CN111754432A - 一种帧间差分运动检测方法及装置 - Google Patents

一种帧间差分运动检测方法及装置 Download PDF

Info

Publication number
CN111754432A
CN111754432A CN202010572882.4A CN202010572882A CN111754432A CN 111754432 A CN111754432 A CN 111754432A CN 202010572882 A CN202010572882 A CN 202010572882A CN 111754432 A CN111754432 A CN 111754432A
Authority
CN
China
Prior art keywords
motion
value
motion estimation
mean
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010572882.4A
Other languages
English (en)
Other versions
CN111754432B (zh
Inventor
陈鹤林
王海波
曾纪国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Goke Microelectronics Co ltd
Original Assignee
Chengdu Goke Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Goke Microelectronics Co ltd filed Critical Chengdu Goke Microelectronics Co ltd
Priority to CN202010572882.4A priority Critical patent/CN111754432B/zh
Publication of CN111754432A publication Critical patent/CN111754432A/zh
Application granted granted Critical
Publication of CN111754432B publication Critical patent/CN111754432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧间差分运动检测方法及装置,使用帧间均值做差算法,减少了运动检测时噪声对物体运动状态判断的影响,设定了不同大小的运动均值区域,使得无论是大物体还是小物体的运动检测都能较为准确判定,使用相邻三帧来确定运动结果,能有效减低随机噪声影响和减轻边缘变厚现象。方法包括:获取CFA图像,CFA图像至少为连续三帧;在CFA图像中设定不同大小的运动均值区域;根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,得到帧间运动估计值;根据帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,根据第一运动标志位和第二运动标志位确定运动结果。

Description

一种帧间差分运动检测方法及装置
技术领域
本发明涉及数字图像处理领域,特别是涉及一种帧间差分运动检测方法及装置。
背景技术
随着数字网络技术的飞速发展,视频图像成为信息传递的重要载体。视频图像序列所包含的大量、丰富的运动信息引起了人们极大的兴趣。尽管人的眼睛可以直接从视频图像序列中分辨运动的物体、提取运动的信息,但是仅仅依靠人类的自然智力来获取和加工运动信息已经无法满足社会发展的需求。用计算机视觉替代人类视觉,从图像序列中提取、分析和理解运动信息成为现代科研领域的一个热门方向,视频图像序列中运动目标的检测作为计算机视觉运动分析的基础环节,在理论研究和实际应用中都具有十分重大的价值。
帧间差分法是一种在视屏图像处理中经常使用的运动检测方法。通过对相邻两帧的色彩滤波阵列(Color Filter Array,CFA)格式的图像做差,通过对差值与设定阈值作比较,得到图像的运动情况。帧间差分法的优点是算法实现简单、硬件消耗较小、运行速度快、对光线的变化不敏感,环境适应性强。
但是,直接对相邻两帧的图像做差作为运动检测的依据,使得对噪声极为敏感,在信噪比较低的地区相邻两帧的差值也会变得极大,容易出现误判。帧间差分法在图像的边缘处会出现边缘变厚的现象。
发明内容
本发明的目的是提供一种帧间差分运动检测方法及装置,使用帧间均值做差算法,减少了运动检测时噪声对物体运动状态判断的影响,设定了不同大小的运动均值区域,使得无论是大物体还是小物体的运动检测都能较为准确判定,使用相邻三帧来确定运动结果,能有效减低随机噪声影响和减轻边缘变厚现象。
本发明第一方面提供一种帧间差分运动检测方法,包括:
获取CFA图像,CFA图像至少为连续三帧;
在CFA图像中设定不同大小的运动均值区域,运动均值区域至少为三个;
根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,上一帧与上两帧的帧间运动估计值为第二帧间运动估计值;
根据帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,根据第一运动标志位和第二运动标志位确定运动结果。
本发明第二方面提供一种帧间差分运动检测装置,包括:
图像获取模块,用于获取色彩滤波阵列CFA图像,CFA图像至少为连续三帧;
图像处理模块,用于在CFA图像中设定不同大小的运动均值区域,运动均值区域至少为三个;
运动估计模块,用于根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,上一帧与上两帧的帧间运动估计值为第二帧间运动估计值;
运动结果模块,用于根据帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,根据第一运动标志位和第二运动标志位确定运动结果。
本发明技术方案的帧间差分运动检测方法,先获取连续三帧以上的CFA图像,在CFA图像中设定不同大小的运动均值区域,运动均值区域至少为三个,根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,上一帧与上两帧的帧间运动估计值为第二帧间运动估计值,根据帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,根据第一运动标志位和第二运动标志位确定运动结果。由于本发明使用帧间均值做差算法,减少了运动检测时噪声对物体运动状态判断的影响;而设定了不同大小的运动均值区域,使得无论是大物体还是小物体的运动检测都能较为准确判定;并且使用相邻三帧来确定运动结果,能有效减低随机噪声影响和减轻边缘变厚现象。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的帧间差分运动检测方法的一个实施例的流程示意图;
图2为本发明提供的帧间差分运动检测方法的另一个实施例的流程示意图;
图3为本发明提供的6X6矩形阵列中等运动均值区域的示意图;
图4为本发明提供的中等运动均值区域的左上区域像素点的示意图;
图5为本发明提供的中等运动均值区域的右下区域像素点的示意图;
图6为本发明提供的12X12矩形阵列大块运动均值区域的示意图;
图7为本发明提供的大块运动均值区域的图像缩小组的示意图;
图8为本发明提供的大块运动均值区域的4倍图像缩小的示意图;
图9为本发明提供的帧间差分运动检测装置的一个实施例的结构示意图;
图10为本发明提供的帧间差分运动检测装置的另一个实施例的结构示意图;
图11为本发明提供的帧间差分运动检测装置的再一个实施例的结构示意图;
图12为本发明提供的帧间差分运动检测装置的又一个实施例的结构示意图。
具体实施方式
本发明的核心是提供一种帧间差分运动检测方法及装置,使用帧间均值做差算法,减少了运动检测时噪声对物体运动状态判断的影响,设定了不同大小的运动均值区域,使得无论是大物体还是小物体的运动检测都能较为准确判定,使用相邻三帧来确定运动结果,能有效减低随机噪声影响和减轻边缘变厚现象。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例提供一种帧间差分运动检测方法,包括:
101、获取CFA图像,CFA图像至少为连续三帧;
本实施例中,针对的是视频图像的处理,视频图像的配置规则是BayerFilter CFA配置,包括1个红光、1个蓝光和2个绿光滤波器(25%Red,25%Blue,50%Green),故也简称RGGB。在获取CFA图像时,需要获取至少连续三帧的图像。
102、在CFA图像中设定不同大小的运动均值区域;
本实施例中,在现有的均值做差方式中,使用均值做差的方式代替直接做差的方式判断运动区域。这种方式随着均值范围的扩大,信噪比小的范围内的运动判断值,逐渐趋近于信噪比大的范围内的运动判断值。但同时也有负面效果,即随着均值范围的扩大,对微小物体变化较大的运动判断变得不准确,对大物体变化较小的运动变得更为精准。所以在使用均值做差的方式时,需要取得不同均值范围内的运动判断结果,综合判断当前点的运动状态。因此,需要在CFA图像中设定不同大小的运动均值区域,并且运动均值区域的大小规模至少包括三个以上。
103、根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,上一帧与上两帧的帧间运动估计值为第二帧间运动估计值;
本实施例中,根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,即先获取当前帧CFA图像的运动均值区域的像素均值,再获取上一帧CFA图像的运动均值区域的像素均值,将当前帧与上一帧的像素均值进行绝对差值计算,得到当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,同理计算得到上一帧与上两帧的帧间运动估计值为第二帧间运动估计值。
104、根据帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,根据第一运动标志位和第二运动标志位确定运动结果。
本实施例中,为了解决运动检测时边缘变厚的问题,对于当前点是否运动,不仅仅取决于相邻两帧之间的运动检测结果,而是取相邻三帧的结果作为当前点运动检测的最终结果。因此需要根据第一帧间运动估计值和第二帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,再根据第一运动标志位和第二运动标志位确定运动结果。
本发明实施例中,使用帧间均值做差算法,减少了运动检测时噪声对物体运动状态判断的影响,设定了不同大小的运动均值区域,使得无论是大物体还是小物体的运动检测都能较为准确判定,使用相邻三帧来确定运动结果,能有效减低随机噪声影响和减轻边缘变厚现象。
在以上图1所示的实施例中,并未对具体如何设定不同大小的运动均值区域以及帧间均值做差算法进行说明,下面通过图2的实施例进行陈述,具体如下:
请参阅图2,本发明实施例提供一种帧间差分运动检测方法,包括:
201、获取CFA图像,CFA图像至少为连续三帧;
202、在CFA图像中设定不同大小的运动均值区域;
本实施例中,不同大小的运动均值区域具体分为了三类,微小运动均值区域、中等运动均值区域和大块运动均值区域,具体的设置方式如下:
在CFA图像中设定一个当前像素点作为微小运动均值区域;
在CFA图像中设定一个当前像素点的邻域内(4n+2)X(4n+2)的矩阵区域作为中等运动均值区域,n为大于等于1的正整数;
在CFA图像中设定一个当前像素点的邻域内2m倍的中等运动均值区域作为大块运动均值区域,m为大于等于2的正整数。
203、根据帧间均值做差算法,对相邻两帧CFA图像的微小运动均值区域进行运动估计,得到微小运动估计值;
本实施例中,获取相邻两帧CFA图像中微小运动均值区域的当前像素点的像素值,并进行绝对差值计算,得到当前像素点的差值,假设当前帧的当前像素点为PN(x,y),上一帧为PN-1(x,y)。则(x,y)点的差值diff_s为:
diff_s=|PN(x,y)-PN-1(x,y)|
设定4个阈值Threshold[4]与对应的运动估计值为ThresholdNum[4],则微小运动估计值MoveNum_Sml为:
Figure BDA0002550293510000061
204、根据帧间均值做差算法,对相邻两帧CFA图像的中等运动均值区域进行运动估计,得到中等运动估计值;
本实施例中,具体过程为:
(1)、先确定中等运动均值区域中与当前像素点的颜色通道相同的待选像素点,如图3所示,假设n=1,中等运动均值区域是6X6的矩形阵列,当前像素点为R(x,y),与R(x,y)颜色通道相同的待选像素点有R(x-2,y-2)、R(x-2,y)、R(x-2,y+2)、R(x,y-2)、R(x,y+2)、R(x+2,y-2)、R(x+2,y)、R(x+2,y+2);
(2)、以R(x,y)为原点,按照左上、左下、右上及右下四个方向,分别选取3个待选像素点,与当前像素点组成左上区域像素点、左下区域像素点、右上区域像素点及右下区域像素点,如图4所示,在R(x,y)的左上方向,选取3个R(x-2,y-2)、R(x-2,y)、R(x,y-2),与R(x,y)组成了左上区域像素点;如图5所示,在R(x,y)的右下方向,选取3个R(x,y+2)、R(x+2,y)、R(x+2,y+2),与R(x,y)组成了右下区域像素点。左下区域像素点和右上区域像素点类似。
(3)、获取左上区域像素点、左下区域像素点、右上区域像素点及右下区域像素点中每一个像素点的像素值,分别通过预置的权重配置进行加权平均算法得到左上平均像素值、左下平均像素值、右上平均像素值及右下平均像素值;
以图4所示的左上区域像素点为例进行说明,获取左上区域像素点中每一个像素点的像素值,预置的权重配置一般是按照距离进行设置的,例如,
Figure BDA0002550293510000071
那么,按照加权平均算法得到左上平均像素值Average_LU,计算公式为:
Figure BDA0002550293510000072
通过同样的方式,计算出左下平均像素值、右上平均像素值及右下平均像素值。相邻帧(上一帧)的左上平均像素值也是通过同样的方式,左上平均像素值记为Ref_Average_LU。
(4)、将相邻两帧CFA图像的左上平均像素值、左下平均像素值、右上平均像素值及右下平均像素值分别进行绝对差值计算,得到左上差值、左下差值、右上差值及右下差值;
以上一帧的左上平均像素值Ref_Average_LU和当前帧的左上平均像素值Average_LU进行绝对差值计算,得到左上差值diff_LU,
diff_LU=|Average_LU-Ref_Average_LU|
(5)、根据预先设置的阈值及左上差值、左下差值、右上差值及右下差值,得到左上运动估计值、左下运动估计值、右上运动估计值及右下运动估计值;
按照步骤203中设定4个阈值Threshold[4]与对应的运动估计值为ThresholdNum[4],得到左上运动估计值MoveNum_LU,
Figure BDA0002550293510000073
同样的方式,求得右上运动估计值MoveNum_RU、左下运动估计值MoveNum_LD、右下角运动估计值MoveNum_RD。
(6)、根据左上差值、左下差值、右上差值及右下差值,计算得到中等运动估计值。
需要说明的是,具体的计算方式可以为左上差值、左下差值、右上差值及右下差值进行求和,中等物体的运动估计值MoveNum_Mid为:
MoveNum_Mid=MoveNum_LU+MoveNum_RU+MoveNum_LD+MoveNum_RD;
在实际应用中,中等物体的运动估计值MoveNum_Mid除了求和计算方式之外,还可以为其他的计算方式,具体不做限定。
205、根据帧间均值做差算法,对相邻两帧CFA图像的大块运动均值区域进行运动估计,得到大块运动估计值;
本实施例中,大块运动均值区域是2m倍的中等运动均值区域,中等运动均值区域以图3所示的6X6矩阵阵列为例,m取值为2,那么大块运动均值区域的大小是中等运动均值区域的4倍,因此,大块运动均值区域是12X12的矩阵阵列,具体的大块运动估计值计算过程为:
1、如图6所示,在大块运动均值区域中确定与当前像素点的颜色通道相同的目标像素点,颜色通道以R为例;
2、按照邻近原则将当前像素点及目标像素点划分为2m个一组的图像缩小组,由于预设了m为2,因此,此处为4个目标像素点一组组成图像缩小组,按照邻近原则,如图7所示,总共分为了9组;
3、计算图像缩小组的目标像素点的像素平均值,得到图像缩小组像素平均值;
在每一个图像缩小组里面具有4个R,采用的方法是将4个R的像素值相加,然后求平均值,得到图像缩小组像素平均值;
4、根据图像缩小组对大块运动均值区域进行2m倍缩小,并将图像缩小组作为R颜色通道的像素点,从而得到缩小运动均值区域;
如图8所示,对大块运动均值区域进行4倍缩小,即将图像缩小组作为R颜色通道的像素点,像素值为图像缩小组像素平均值;得到的缩小运动均值区域与中等运动均值区域类似。
5、采用对中等运动均值区域进行运动估计的方式,计算得到缩小运动均值区域的运动估计值,作为大块运动估计值。
执行步骤204中的(1)-(6)的执行步骤,就能够计算出缩小运动均值区域的运动估计值,作为大块运动估计值MoveNum_Lag。
206、根据微小运动估计值、中等运动估计值及大块运动估计值,计算得到帧间运动估计值;
本实施例中,在计算出微小运动估计值、中等运动估计值及大块运动估计值之后,进行求和运算,得到帧间运动估计值MoveNum,
MoveNum=MoveNum_Sml+MoveNum_Mid+MoveNum_Lag;
需要说明的是,帧间运动估计值MoveNum除了本实施例中的求和计算方式之外,在实际应用中,计算方式还可以是除了求和之外的其他方式,具体不做限定。
207、根据预设的运动估计边界阈值对第一帧间运动估计值进行去噪、归一化及处理,得到第一帧间运动强度参数值;
本实施例中,在计算出帧间运动估计值MoveNum之后,为了减小噪声对运动估计值的影响,设置运动估计边界阈值MV_Low和MV_High,运动估计边界阈值和帧间运动估计值MoveNum的关系式为:
Figure BDA0002550293510000091
将MV进行归一化处理,得到第一帧间运动强度参数值,将归一化的值设置为0~255(即8bit)。
Figure BDA0002550293510000092
208、将第一帧间运动强度参数值代入预设的运动强度映射函数,得到第一帧间运动强度值;
本实施例中,将归一化处理之后的MV带入预设的运动强度映射函数,得到第一帧间运动强度值MV_Strength。
209、根据预设的运动强度阈值对第一帧间运动强度值和第二帧间运动强度值进行二值化处理,分别得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位;
本实施例中,将运动强度值与预设的阈值MV_Threshold比较,得出运动标志位值MV_Flag,
Figure BDA0002550293510000101
由于第二帧间运动估计值的去噪、归一化、获得运动强度等步骤已经在上一帧进行了计算,因此在当前帧不用再重新计算,就能获取到一帧的帧间差分运动检测计算得到的第二运动标志位。
因此,得到的运动标志位值MV_Flag是二值化的,要么为1,要么为0。
210、根据第一运动标志位与第二运动标志位确定运动结果。
本实施例中,判断第一运动标志位MV_Flag与第二运动标志位MV_Flag的值,若二者都为1,则判定运动结果是运动状态,并将运动结果MV_Final设为1。如果第一运动标志位MV_Flag=1,第二运动标志位MV_Flag=0,把运动结果MV_Final置为0,但运动结果MV_Final还是为1传递给下一帧,如果下一帧与当前帧的MV_Flag还是1,那么下一帧的点就会被判定为运动,即MV_Final不会向下传递,不会漏掉运动状态。但如果这一点是随机的噪声,噪声出现是随机的不连续的,那么这样做就不会把随机噪声错判成运动。
需要说明的是,在以上实施例中,步骤203-步骤205的执行顺序不分先后,也可以同时进行。
以上图1和图2所示的实施例具体说明了帧间差分运动检测方法的实施过程,下面通过实施例对应用该方法的帧间差分运动检测装置进行说明。
请参阅图9,本发明提供一种帧间差分运动检测装置,包括:
图像获取模块901,用于获取色彩滤波阵列CFA图像,CFA图像至少为连续三帧;
图像处理模块902,用于在CFA图像中设定不同大小的运动均值区域,运动均值区域至少为三个;
运动估计模块903,用于根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,上一帧与上两帧的帧间运动估计值为第二帧间运动估计值;
运动结果模块904,用于根据帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,根据第一运动标志位和第二运动标志位确定运动结果。
本发明实施例中,图像获取模块901获取至少连续三帧的CFA图像,图像处理模块902CFA图像中设定不同大小的运动均值区域,运动均值区域至少为三个,运动估计模块903根据帧间均值做差算法,对相邻两帧CFA图像的运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,上一帧与上两帧的帧间运动估计值为第二帧间运动估计值,运动结果模块904根据帧间运动估计值得到第一运动标志位,并获取上一帧的帧间差分运动检测计算得到的第二运动标志位,根据第一运动标志位和第二运动标志位确定运动结果。使用帧间均值做差算法,减少了运动检测时噪声对物体运动状态判断的影响,设定了不同大小的运动均值区域,使得无论是大物体还是小物体的运动检测都能较为准确判定,使用相邻三帧来确定运动结果,能有效减低随机噪声影响和减轻边缘变厚现象。
可选的,结合图9所示的实施例,如图10所示,本发明的一些实施例中,图像处理模块902包括:
微小设定单元1001,用于在CFA图像中设定一个当前像素点作为微小运动均值区域;
中等设定单元1002,用于在CFA图像中设定一个当前像素点的邻域内(4n+2)X(4n+2)的矩阵区域作为中等运动均值区域,n为大于等于1的正整数;
大块设定单元1003,用于在CFA图像中设定一个当前像素点的邻域内2m倍的中等运动均值区域作为大块运动均值区域,m为大于等于2的正整数。
本发明实施例中,不同大小的运动均值区域具体分为了三类,微小运动均值区域、中等运动均值区域和大块运动均值区域,微小设定单元1001是将CFA图像中设定一个当前像素点作为微小运动均值区域,中等设定单元1002是在CFA图像中设定一个当前像素点的邻域内(4n+2)X(4n+2)的矩阵区域作为中等运动均值区域,大块设定单元1003在CFA图像中设定一个当前像素点的邻域内2m倍的中等运动均值区域作为大块运动均值区域。
可选的,结合图10所示的实施例,如图11所示,本发明的一些实施例中,运动估计模块903包括:
微小运动估计单元1101,用于根据帧间均值做差算法,对相邻两帧CFA图像的微小运动均值区域进行运动估计,得到微小运动估计值;
中等运动估计单元1102,用于根据帧间均值做差算法,对相邻两帧CFA图像的中等运动均值区域进行运动估计,得到中等运动估计值;
大块运动估计单元1103,用于根据帧间均值做差算法,对相邻两帧CFA图像的大块运动均值区域进行运动估计,得到大块运动估计值;
帧间运动估计值计算单元1104,用于根据微小运动估计值、中等运动估计值及大块运动估计值,计算得到帧间运动估计值。
可选的,如图11所示,本发明的一些实施例中,
微小运动估计单元1101,具体用于获取相邻两帧CFA图像中微小运动均值区域的当前像素点的像素值,并进行绝对差值计算,得到当前像素点的差值;
微小运动估计单元1101,还用于根据预先设置的阈值及当前像素点的差值,得到微小运动估计值。
可选的,如图11所示,本发明的一些实施例中,
中等运动估计单元1102,具体用于确定中等运动均值区域中与当前像素点的颜色通道相同的待选像素点;
中等运动估计单元1102,还用于以当前像素点为原点,按照左上、左下、右上及右下四个方向,分别选取(n+1)2-1个待选像素点,与当前像素点组成左上区域像素点、左下区域像素点、右上区域像素点及右下区域像素点;
中等运动估计单元1102,具体还获取左上区域像素点、左下区域像素点、右上区域像素点及右下区域像素点中每一个像素点的像素值,分别通过预置的权重配置进行加权平均算法得到左上平均像素值、左下平均像素值、右上平均像素值及右下平均像素值;
中等运动估计单元1102,还用于将相邻两帧CFA图像的左上平均像素值、左下平均像素值、右上平均像素值及右下平均像素值分别进行绝对差值计算,得到左上差值、左下差值、右上差值及右下差值;
中等运动估计单元1102,还用于根据预先设置的阈值及左上差值、左下差值、右上差值及右下差值,得到左上运动估计值、左下运动估计值、右上运动估计值及右下运动估计值;
中等运动估计单元1102,还用于根据左上运动估计值、左下运动估计值、右上运动估计值及右下运动估计值,计算得到中等运动估计值。
可选的,如图11所示,本发明的一些实施例中,
大块运动估计单元1103,具体用于确定大块运动均值区域中与当前像素点的颜色通道相同的目标像素点;
大块运动估计单元1103,还用于按照邻近原则将当前像素点及目标像素点划分为2m个像素点为一组的图像缩小组;
大块运动估计单元1103,还用于计算图像缩小组的目标像素点的像素平均值,得到图像缩小组像素平均值;
大块运动估计单元1103,还用于根据图像缩小组对大块运动均值区域进行2m缩小,并将图像缩小组替换为与当前像素点的颜色通道相同的像素点,从而得到缩小运动均值区域;
大块运动估计单元1103,还用于采用对中等运动均值区域进行运动估计的方式,计算得到缩小运动均值区域的运动估计值,作为大块运动估计值。
在以上的图11所示的实施例中,微小运动估计单元1101的具体实施步骤参考图2所示的实施例中步骤203的内容,中等运动估计单元1102具体实施步骤参考图2所示的实施例中步骤204的(1)-(6)所执行的过程,中等运动估计单元1102具体实施步骤参考图2所示的实施例中步骤205的1-5所执行的过程。
可选的,结合图9-图11所示的实施例,如图12所示,本发明的一些实施例中,运动结果模块904包括:
去噪归一化处理单元1201,用于根据预设的运动估计边界阈值分别对所述第一帧间运动估计值进行去噪、归一化及处理,得到第一帧间运动强度参数值;
运动强度单元1202,用于将第一帧间运动强度参数值代入预设的运动强度映射函数,得到第一帧间运动强度值;
二值化处理单元1203,用于根据预设的运动强度阈值对第一帧间运动强度值和第二帧间运动强度值进行二值化处理,分别得到第一运动标志位;
运动结果处理单元1204,用于获取上一帧的帧间差分运动检测计算得到的第二运动标志位;
运动结果处理单元1204,还用于根据第一运动标志位与第二运动标志位确定运动结果。
本发明实施例中,去噪归一化处理单元1201的具体实施细节参考图2所示实施例中的步骤207,通过设置的运动估计边界阈值可以有效的减小噪声对运动估计值的影响;运动强度单元1202的具体实施细节参考图2所示实施例中的步骤208;二值化处理单元1203的具体实施细节参考图2所示实施例中的步骤209;运动结果处理单元1204获取第二运动标志位的过程参考图2所示实施例中的步骤209,根据第一运动标志位与第二运动标志位确定运动结果的过程参考图2所示实施例中的步骤210。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种帧间差分运动检测方法,其特征在于,包括:
获取色彩滤波阵列CFA图像,所述CFA图像至少为连续三帧;
在所述CFA图像中设定不同大小的运动均值区域,所述运动均值区域至少为三个;
根据帧间均值做差算法,对相邻两帧所述CFA图像的所述运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,所述上一帧与上两帧的帧间运动估计值为第二帧间运动估计值;
根据所述帧间运动估计值得到第一运动标志位,并获取所述上一帧的帧间差分运动检测计算得到的第二运动标志位,根据所述第一运动标志位和所述第二运动标志位确定运动结果。
2.根据权利要求1所述的方法,其特征在于,所述在所述CFA图像中设定不同大小的运动均值区域,包括:
在所述CFA图像中设定一个当前像素点作为微小运动均值区域;
在所述CFA图像中设定一个当前像素点的邻域内(4n+2)X(4n+2)的矩阵区域作为中等运动均值区域,n为大于等于1的正整数;
在所述CFA图像中设定一个当前像素点的邻域内2m倍的中等运动均值区域作为大块运动均值区域,所述m为大于等于2的正整数。
3.根据权利要求2所述的方法,其特征在于,所述根据帧间均值做差算法,对相邻两帧所述CFA图像的所述运动均值区域进行运动估计,得到帧间运动估计值,包括:
根据帧间均值做差算法,对相邻两帧所述CFA图像的所述微小运动均值区域进行运动估计,得到微小运动估计值;
根据帧间均值做差算法,对相邻两帧所述CFA图像的所述中等运动均值区域进行运动估计,得到中等运动估计值;
根据帧间均值做差算法,对相邻两帧所述CFA图像的所述大块运动均值区域进行运动估计,得到大块运动估计值;
根据所述微小运动估计值、所述中等运动估计值及所述大块运动估计值,计算得到帧间运动估计值。
4.根据权利要求3所述的方法,其特征在于,所述根据帧间均值做差算法,对相邻两帧所述CFA图像的所述微小运动均值区域进行运动估计,得到微小运动估计值,包括:
获取相邻两帧所述CFA图像中所述微小运动均值区域的所述当前像素点的像素值,并进行绝对差值计算,得到所述当前像素点的差值;
根据预先设置的阈值及所述当前像素点的差值,得到微小运动估计值。
5.根据权利要求3所述的方法,其特征在于,所述根据帧间均值做差算法,对相邻两帧所述CFA图像的所述中等运动均值区域进行运动估计,得到中等运动估计值,包括:
确定所述中等运动均值区域中与所述当前像素点的颜色通道相同的待选像素点;
以所述当前像素点为原点,按照左上、左下、右上及右下四个方向,分别选取(n+1)2-1个待选像素点,与所述当前像素点组成左上区域像素点、左下区域像素点、右上区域像素点及右下区域像素点;
获取所述左上区域像素点、所述左下区域像素点、所述右上区域像素点及所述右下区域像素点中每一个像素点的像素值,分别通过预置的权重配置进行加权平均算法得到左上平均像素值、左下平均像素值、右上平均像素值及右下平均像素值;
将相邻两帧所述CFA图像的所述左上平均像素值、所述左下平均像素值、所述右上平均像素值及所述右下平均像素值分别进行绝对差值计算,得到左上差值、左下差值、右上差值及右下差值;
根据预先设置的阈值及所述左上差值、所述左下差值、所述右上差值及所述右下差值,得到左上运动估计值、左下运动估计值、右上运动估计值及右下运动估计值;
根据所述左上运动估计值、所述左下运动估计值、所述右上运动估计值及所述右下运动估计值,计算得到中等运动估计值。
6.根据权利要求5所述的方法,其特征在于,所述根据帧间均值做差算法,对相邻两帧所述CFA图像的所述大块运动均值区域进行运动估计,得到大块运动估计值,包括:
确定所述大块运动均值区域中与所述当前像素点的颜色通道相同的目标像素点;
按照邻近原则将所述当前像素点及所述目标像素点划分为2m个像素点为一组的图像缩小组;
计算所述图像缩小组的所述目标像素点的像素平均值,得到图像缩小组像素平均值;
根据所述图像缩小组对所述大块运动均值区域进行2m缩小,并将所述图像缩小组替换为与所述当前像素点的颜色通道相同的像素点,从而得到缩小运动均值区域;
采用对所述中等运动均值区域进行运动估计的方式,计算得到所述缩小运动均值区域的运动估计值,作为大块运动估计值。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述根据所述帧间运动估计值得到第一运动标志位,并获取所述上一帧的帧间差分运动检测计算得到的第二运动标志位,根据所述第一运动标志位和所述第二运动标志位确定运动结果,包括:
根据预设的运动估计边界阈值对所述第一帧间运动估计值进行去噪、归一化处理,得到第一帧间运动强度参数值;
将所述第一帧间运动强度参数值代入预设的运动强度映射函数,得到第一帧间运动强度值;
根据预设的运动强度阈值对所述第一帧间运动强度值进行二值化处理,得到第一运动标志位;
获取所述上一帧的帧间差分运动检测计算得到的第二运动标志位;
根据所述第一运动标志位与所述第二运动标志位确定运动结果。
8.一种帧间差分运动检测装置,其特征在于,包括:
图像获取模块,用于获取色彩滤波阵列CFA图像,所述CFA图像至少为连续三帧;
图像处理模块,用于在所述CFA图像中设定不同大小的运动均值区域,所述运动均值区域至少为三个;
运动估计模块,用于根据帧间均值做差算法,对相邻两帧所述CFA图像的所述运动均值区域进行运动估计,得到帧间运动估计值,当前帧与上一帧的帧间运动估计值为第一帧间运动估计值,所述上一帧与上两帧的帧间运动估计值为第二帧间运动估计值;
运动结果模块,用于根据所述帧间运动估计值得到第一运动标志位,并获取所述上一帧的帧间差分运动检测计算得到的第二运动标志位,根据所述第一运动标志位和所述第二运动标志位确定运动结果。
9.根据权利要求8所述的装置,其特征在于,所述图像处理模块包括:
微小设定单元,用于在所述CFA图像中设定一个当前像素点作为微小运动均值区域;
中等设定单元,用于在所述CFA图像中设定一个当前像素点的邻域内(4n+2)X(4n+2)的矩阵区域作为中等运动均值区域,n为大于等于1的正整数;
大块设定单元,用于在所述CFA图像中设定一个当前像素点的邻域内2m倍的中等运动均值区域作为大块运动均值区域,所述m为大于等于2的正整数。
10.根据权利要求9所述的装置,其特征在于,所述运动估计模块包括:
微小运动估计单元,用于根据帧间均值做差算法,对相邻两帧所述CFA图像的所述微小运动均值区域进行运动估计,得到微小运动估计值;
中等运动估计单元,用于根据帧间均值做差算法,对相邻两帧所述CFA图像的所述中等运动均值区域进行运动估计,得到中等运动估计值;
大块运动估计单元,用于根据帧间均值做差算法,对相邻两帧所述CFA图像的所述大块运动均值区域进行运动估计,得到大块运动估计值;
帧间运动估计值计算单元,用于根据所述微小运动估计值、所述中等运动估计值及所述大块运动估计值,计算得到帧间运动估计值。
11.根据权利要求10所述的装置,其特征在于,
所述微小运动估计单元,具体用于获取相邻两帧所述CFA图像中所述微小运动均值区域的所述当前像素点的像素值,并进行绝对差值计算,得到所述当前像素点的差值;
所述微小运动估计单元,还用于根据预先设置的阈值及所述当前像素点的差值,得到微小运动估计值。
12.根据权利要求10所述的装置,其特征在于,
所述中等运动估计单元,具体用于确定所述中等运动均值区域中与所述当前像素点的颜色通道相同的待选像素点;
所述中等运动估计单元,还用于以所述当前像素点为原点,按照左上、左下、右上及右下四个方向,分别选取(n+1)2-1个待选像素点,与所述当前像素点组成左上区域像素点、左下区域像素点、右上区域像素点及右下区域像素点;
所述中等运动估计单元,具体还获取所述左上区域像素点、所述左下区域像素点、所述右上区域像素点及所述右下区域像素点中每一个像素点的像素值,分别通过预置的权重配置进行加权平均算法得到左上平均像素值、左下平均像素值、右上平均像素值及右下平均像素值;
所述中等运动估计单元,还用于将相邻两帧所述CFA图像的所述左上平均像素值、所述左下平均像素值、所述右上平均像素值及所述右下平均像素值分别进行绝对差值计算,得到左上差值、左下差值、右上差值及右下差值;
所述中等运动估计单元,还用于根据预先设置的阈值及所述左上差值、所述左下差值、所述右上差值及所述右下差值,得到左上运动估计值、左下运动估计值、右上运动估计值及右下运动估计值;
所述中等运动估计单元,还用于根据所述左上运动估计值、所述左下运动估计值、所述右上运动估计值及所述右下运动估计值,计算得到中等运动估计值。
13.根据权利要求12所述的装置,其特征在于,
所述大块运动估计单元,具体用于确定所述大块运动均值区域中与所述当前像素点的颜色通道相同的目标像素点;
所述大块运动估计单元,还用于按照邻近原则将所述当前像素点及所述目标像素点划分为2m个像素点为一组的图像缩小组;
所述大块运动估计单元,还用于计算所述图像缩小组的所述目标像素点的像素平均值,得到图像缩小组像素平均值;
所述大块运动估计单元,还用于根据所述图像缩小组对所述大块运动均值区域进行2m缩小,并将所述图像缩小组替换为与所述当前像素点的颜色通道相同的像素点,从而得到缩小运动均值区域;
所述大块运动估计单元,还用于采用对所述中等运动均值区域进行运动估计的方式,计算得到所述缩小运动均值区域的运动估计值,作为大块运动估计值。
14.根据权利要求8-13中任一项所述的装置,其特征在于,所述运动结果模块包括:
去噪归一化处理单元,用于根据预设的运动估计边界阈值分别对所述第一帧间运动估计值进行去噪、归一化及处理,得到第一帧间运动强度参数值;
运动强度单元,用于将所述第一帧间运动强度参数值代入预设的运动强度映射函数,得到第一帧间运动强度值;
二值化处理单元,用于根据预设的运动强度阈值对所述第一帧间运动强度值进行二值化处理,分别得到第一运动标志位;
运动结果处理单元,用于获取所述上一帧的帧间差分运动检测计算得到的第二运动标志位;
所述运动结果处理单元,还用于根据所述第一帧间运动标志位与所述第二帧间运动标志位确定运动结果。
CN202010572882.4A 2020-06-22 2020-06-22 一种帧间差分运动检测方法及装置 Active CN111754432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010572882.4A CN111754432B (zh) 2020-06-22 2020-06-22 一种帧间差分运动检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010572882.4A CN111754432B (zh) 2020-06-22 2020-06-22 一种帧间差分运动检测方法及装置

Publications (2)

Publication Number Publication Date
CN111754432A true CN111754432A (zh) 2020-10-09
CN111754432B CN111754432B (zh) 2023-12-29

Family

ID=72675631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010572882.4A Active CN111754432B (zh) 2020-06-22 2020-06-22 一种帧间差分运动检测方法及装置

Country Status (1)

Country Link
CN (1) CN111754432B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606376A (en) * 1994-06-08 1997-02-25 Matsushita Electric Industrial Co., Ltd. Differential motion detection method using background image
WO2006010275A2 (en) * 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d noise reduction
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
CN101621615A (zh) * 2009-07-24 2010-01-06 南京邮电大学 一种自适应背景建模及运动目标检测方法
CN101827204A (zh) * 2010-04-19 2010-09-08 成都索贝数码科技股份有限公司 一种运动目标侦测方法及系统
CN102938824A (zh) * 2012-06-05 2013-02-20 李英明 一种基于改进的自适应双边滤波的视频去噪方法
WO2016165112A1 (zh) * 2015-04-16 2016-10-20 中国科学院自动化研究所 一种对比度自适应的视频去噪系统
WO2016185708A1 (ja) * 2015-05-18 2016-11-24 日本電気株式会社 画像処理装置、画像処理方法、および、記憶媒体
CN106651813A (zh) * 2017-01-03 2017-05-10 长沙全度影像科技有限公司 一种多图像块融合的非局部均值去噪方法
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
CN110378928A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种动静匹配的目标检测与跟踪方法
CN110415268A (zh) * 2019-06-24 2019-11-05 台州宏达电力建设有限公司 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606376A (en) * 1994-06-08 1997-02-25 Matsushita Electric Industrial Co., Ltd. Differential motion detection method using background image
WO2006010275A2 (en) * 2004-07-30 2006-02-02 Algolith Inc. Apparatus and method for adaptive 3d noise reduction
CN101324956A (zh) * 2008-07-10 2008-12-17 上海交通大学 基于均值漂移的抗遮挡运动目标跟踪方法
CN101621615A (zh) * 2009-07-24 2010-01-06 南京邮电大学 一种自适应背景建模及运动目标检测方法
CN101827204A (zh) * 2010-04-19 2010-09-08 成都索贝数码科技股份有限公司 一种运动目标侦测方法及系统
CN102938824A (zh) * 2012-06-05 2013-02-20 李英明 一种基于改进的自适应双边滤波的视频去噪方法
WO2016165112A1 (zh) * 2015-04-16 2016-10-20 中国科学院自动化研究所 一种对比度自适应的视频去噪系统
WO2016185708A1 (ja) * 2015-05-18 2016-11-24 日本電気株式会社 画像処理装置、画像処理方法、および、記憶媒体
CN106651813A (zh) * 2017-01-03 2017-05-10 长沙全度影像科技有限公司 一种多图像块融合的非局部均值去噪方法
CN106846359A (zh) * 2017-01-17 2017-06-13 湖南优象科技有限公司 基于视频序列的运动目标快速检测方法
CN110378928A (zh) * 2019-04-29 2019-10-25 北京佳讯飞鸿电气股份有限公司 一种动静匹配的目标检测与跟踪方法
CN110415268A (zh) * 2019-06-24 2019-11-05 台州宏达电力建设有限公司 一种基于背景差值法和帧间差值法相结合的运动区域前景图像算法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
SAYAKA KURIYAMA等: "Real-Time Estimation Method of the Number of Pedestrians in Video Sequences", 2009 FOURTH INTERNATIONAL CONFERENCE ON DIGITAL TELECOMMUNICATIONS, pages 65 - 70 *
刘玲慧: "工业CT_DR图像缺陷检测算法研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 2, pages 138 - 1158 *
刘秀进;黄晋英;: "基于图像融合的运动目标检测与跟踪方法研究", 机械工程与自动化, no. 04, pages 31 - 33 *
曹小鹿: "动态背景下的运动目标检测算法研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 12, pages 138 - 1309 *
杨莉,张弘,李玉山: "视频运动对象的自动分割", 计算机辅助设计与图形学学报, no. 03, pages 42 - 47 *
沈剑雷;夏定纯;: "基于改进背景差分法的运动物体检测的研究", 通信电源技术, no. 02, pages 43 - 44 *
陈超洁: "十二指肠—胃反流超声检测中的图像分析处理研究", 中国优秀硕士学位论文全文数据库信息科技辑, no. 3, pages 138 - 2446 *

Also Published As

Publication number Publication date
CN111754432B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
JP4720705B2 (ja) プログラム、検出方法、及び検出装置
CN109118498B (zh) 一种摄像头污点检测方法、装置、设备及存储介质
US9183617B2 (en) Methods, devices, and computer readable mediums for processing a digital picture
CN108174057B (zh) 一种利用视频图像帧间差异对画面快速降噪的方法及装置
CN107292828B (zh) 图像边缘的处理方法和装置
CN112036254B (zh) 基于视频图像的运动车辆前景检测方法
CN111833366A (zh) 一种基于Canny算法的边缘检测方法
KR101665137B1 (ko) 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
CN103475838B (zh) 一种基于边缘自适应的去隔行方法
US20110007973A1 (en) Apparatus for removing image noise and method thereof
GB2458934A (en) Detection of linear boundary between image border and picture regions based on pixel spatial gradients
CN107993254A (zh) 基于关联帧差分法的运动目标检测方法
CN111741290B (zh) 图像频闪检测方法及装置、存储介质、终端
CN110853077B (zh) 一种基于形态变化估计的自适应红外动态帧特征提取方法
CN1314273C (zh) 以运动补偿时间内插图像的方法及设备
CN101141655A (zh) 影像信号像素点色彩值调整方法
CN110415275B (zh) 一种基于点对点的运动目标检测与跟踪方法
CN111754432A (zh) 一种帧间差分运动检测方法及装置
CN114612333B (zh) 一种基于显微镜图像的微囊藻类细胞统计方法
US9514545B2 (en) Object detection apparatus and storage medium
US8995765B2 (en) Digital image processing apparatus and method
CN113936030A (zh) 基于卷积编码的运动目标检测方法及系统
KR101372507B1 (ko) 가변 블록 기반 역광 영역 검출을 이용한 영상 개선 장치 및 방법
US20050094877A1 (en) Method and apparatus for detecting the location and luminance transition range of slant image edges
CN103514431B (zh) 自适应障碍物影像侦测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant