CN105338362B - 运动目标检测方法和运动目标检测装置 - Google Patents
运动目标检测方法和运动目标检测装置 Download PDFInfo
- Publication number
- CN105338362B CN105338362B CN201410225979.2A CN201410225979A CN105338362B CN 105338362 B CN105338362 B CN 105338362B CN 201410225979 A CN201410225979 A CN 201410225979A CN 105338362 B CN105338362 B CN 105338362B
- Authority
- CN
- China
- Prior art keywords
- motion vector
- value
- similar value
- matching degree
- local similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种运动目标检测方法和一种运动目标检测装置,其中,运动目标检测方法包括:获取当前编码帧的运动矢量数据;将当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;根据每一运动矢量组计算出一个局部相似值,以得到当前编码帧的局部相似值图;对局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一独立的连通域作为一个运动目标,完成运动目标的检测。在前端设备中无需增加额外的硬件资源,并且在编码的同时输出检测结果,实时性高。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及运动目标检测方法和运动目标检测装置。
背景技术
运动目标检测和跟踪是监控摄像系统智能应用中一个重要的基础部分。根据系统架构,该功能可以既可以被实施在前端设备上也可以被实施在后的应用上。当实施在前端设备上时,需增加额外的硬件资源(例如专用芯片或处理器)来完成该功能;当在后端服务上嵌入软件解决方案时,可能面临一些技术问题例如传输延迟和信道噪声,甚至,对于超大监控系统,对后端服务和网络容量都可能带来繁重的负担。
因此,需要一种新的运动目标检测技术,以至少解决目前的检测方法所存在的实施在前端设备需增加额外硬件资源或实施在后端服务所带来的传输延迟的问题。
发明内容
有鉴于此,本发明提出了一种新的运动目标检测技术,以至少解决现有的目标检测技术的检测精度低的问题以至少解决目前的检测方法所存在的实施在前端设备需增加额外硬件资源或实施在后端服务所带来的传输延迟的问题。
根据本发明的一个方面,提出了一种运动目标检测方法,包括:获取当前编码帧的运动矢量数据;将所述当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;根据每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;对所述局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,完成所述运动目标的检测。
根据本发明的另一方面,还提供了一种运动目标检测装置,包括:获取单元,获取当前编码帧的运动矢量数据;运动矢量组形成单元,将所述当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;局部相似值计算单元,根据每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;检测单元,对所述局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,完成所述运动目标的检测。
根据本发明的再一个方面,还提供了一种电子设备,该电子设备包括如上所述的运动目标检测装置。
根据本发明的又一个方面,还提供了一种存储有机器可读取的指令代码的程序产品,上述程序产品在执行时能够使上述机器执行如上所述的运动目标检测方法。
此外,根据本发明的其他方面,还提供了一种计算机可读存储介质,其上存储有如上所述的程序产品。
上述根据本发明实施例的运动目标检测装置、运动目标检测方法以及电子设备,利用运动矢量组计算局部相似值,根据局部相似值图检测运动目标,能够至少实现以下有益效果之一:在前端设备中无需增加额外的硬件资源;在编码的同时输出检测结果,实时性高;利用运动矢量组的局部相似值,提高运动目标的检测精度;去除突发成组噪声,进一步提高检测精度。
通过以下结合附图对本发明的最佳实施例的详细说明,本发明的这些以及其他优点将更加明显。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中:
图1示出了根据本发明的一个实施例的运动目标检测方法的流程示意图;
图2示出了根据本发明的另一个实施例的噪声过滤处理流程示意图;
图3示出了根据本发明的一个实施例的局部相似值计算流程图;
图4示出了根据本发明的一个实施例的任一运动矢量及其相邻运动矢量示意图;
图5示出了根据本发明的一个实施例的运动矢量组的示意图;
图6示出了根据本发明的一个实施例的计算匹配率进行运动目标跟踪的示意图;
图7示出了根据本发明的一个实施例的视频编解码系统的框图;
图8示出了根据本发明的一个实施例的运动目标检测系统的框架示意图;
图9示出了根据本发明的又一实施例的运动目标检测装置的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例的限制。
以下实施例所描述的运动目标检测方法获取从编码器中输出的运动矢量数据,并使用编码器内置的处理器来完成根据运动矢量数据来检测出运动目标的计算过程,在一帧图像被编码时,相应的检测结果即被输出。在检测运动的过程中,使用局部相似值计算方法来提高运动目标的检测精度。
本发明的实施例提供了一种运动目标检测方法,包括:获取当前编码帧的运动矢量数据;将当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;根据每一运动矢量组计算出一个局部相似值,以得到当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;对局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一独立的连通域作为一个运动目标,完成运动目标的检测。
下面结合图1来详细描述根据本发明的实施例的运动目标检测方法的一个示例。
如图1所示,步骤102,初始化。在本步骤中,根据实际应用来定制生成运动矢量数据的宏块的大小。宏块越小(例如8×8的宏块),基于该宏块的运动矢量数据所得到的检测结果越精确,但相比于大尺寸的宏块(例如16×16的宏块),其所占用的计算资源相对较多。
假设在下文中所提到的运动矢量数据均是16×16宏块的运动矢量数据。另外,在本步骤中,还会定义在下面的计算过程中所需要的一些参数值。
步骤104,将获取的编码帧的运动矢量数据从直角坐标转换为极坐标。
步骤106,对具有极坐标的运动矢量数据进行噪声过滤。
步骤108,将运动矢量数据划分为多个运动矢量组,为每一运动矢量组计算出一个局部相似值,从而得到局部相似值图。
步骤110,对该局部相似值图进行二值化处理,并对运动目标进行分割,检测出运动目标。
步骤112,根据前一编码帧的目标对象在当前编码帧中确定相应的跟踪目标。
步骤114,存储运动目标的运动轨迹,以及存储一些重要的参数值。
下面结合图2详细说明图1中的步骤106的具体处理过程的一个示例。
如图2所示,步骤202,在将当前编码帧的运动矢量数据的直角坐标转换成极坐标之后,根据运动矢量数据的直角坐标建立第一直方图,根据运动矢量数据的极坐标建立第二直方图。
步骤204,在检测是否存在突发承租噪声之前,需要获取一些参数值,用于后续的检测判断。例如,根据第一直方图获取直角坐标系中出现频率最高的运动矢量数占总运动矢量数的分量百分比和出现频率最高的直角坐标系值,以及根据第二直方图获取极坐标系中出现频率最高的运动矢量数占总运动矢量数的极坐标百分比和出现频率最高的极坐标值。
步骤206,在非零运动矢量数据中,若直角坐标百分比以及所述极坐标百分比均大于设定百分比,且出现频率最高的直角坐标值小于坐标值阈值(该阈值可以是在初始化过程中预先设置的),则确定存在突发成组噪声。在确定存在突发成组噪声时,进入步骤208,否则进入步骤210。突发成组噪声可能是抖动的树叶,其对应的运动矢量数据之间也具有相似性,但矢量长度较短,去除这些突发成组噪声可避免将该区域识别为运动目标的错误,从而提高运动目标的检测准确率。
步骤208,去除突发成组噪声。
步骤210,使用高通滤波器过滤随机噪声,该高通滤波器采用自适应的阈值。该阈值可以是非零运动矢量的平均运动矢量数据与预设值的乘积。
下面结合图3详细说明图1中的步骤108的具体处理过程的一个示例。
步骤302,定义两个运动矢量之间的关系。
在任一运动矢量组中,根据每两个相邻运动矢量之间的夹角(T[m,n]),计算每两个相邻运动矢量之间的相似值(SV[m,n])。
根据相似值的大小和夹角的大小与匹配度划分范围的对应关系,确定每两个相邻运动矢量之间的匹配度等级(RT[m,n]),其中,每一匹配度划分范围对应一个匹配度等级。
其中,在两个运动矢量之间的夹角小于等于90度时,其相似值为:
其中,m,n表示两个不同的运动矢量
符号,r表示运动矢量的长度,MV表示运动矢量。在角度大于90度时,其相似值是-1。
下面表1描述了根据角度和相似值两个参数如何确定两个运动矢量之间的关系标识。
T[m,n] | SV[m,n] | RT[m,n] |
0<=T[m,n]<10 | >0.5 | “SP” |
10<=T[m,n]<45 | >0 | “AP” |
45<=T[m,n]<90 | >0 | “BP” |
90<T[m,n]<180 | - | “N” |
- | =0 | “Z” |
表1
在上述表1中“SP”表示强匹配,“AP”表示中度匹配,“BP”表示一般匹配,“N”表示不匹配,“Z”表示两个运动矢量相互垂直。
如果夹角小于10度且相似值大于0.5,则匹配度等级标记为SP(最高级);否则:
如果夹角小于45度且相似值大于0,匹配度等级标记为AP;如果夹角大于45度且小于90度,相似值大于0,匹配度等级标记为BP;如果相似值为0,匹配度等级标记为Z;如果夹角大于90度,匹配度等级标记为N(最低级)。
步骤304,在确定两个运动矢量之间的关系之后,需要对运动矢量进行空间修正。
针对每一运动矢量,根据参考运动矢量判断是否对每一运动矢量进行修正,参考运动矢量是与该每一运动矢量相邻的运动矢量,判断是否对每一运动矢量进行修正的方法包括:
若参考运动矢量中任意两个相邻运动矢量的匹配度等级(表1中所示的“SP”、“AP”、“BP”即表示匹配度等级)大于预设等级,且每一运动矢量与任一参考运动矢量的匹配度等级小于预设等级,则将运动矢量修正为任一参考运动矢量。也就是说,如果一个运动矢量与其周围的运动矢量均不匹配,而其周围的运动矢量之间均匹配,说明该运动矢量是不正常的,需要将其修正为与周围的运动矢量相同。
需说明的是,例如对于运动矢量MVc,其参考运动矢量可以是该运动矢量MVc的上(MV0)、下(MV2)、左(MV3)、右(MV1)四个运动矢量,如图4所示。
步骤306,将匹配度等级属于最高等级的两个相邻运动矢量作为一个强特征对。
对于任意一个运动矢量,如果其属于至少一个强特征对,则将其贡献值(PF)设为第一值(例如1),否则将其贡献值设为第二值(例如0)。
步骤308,根据运动矢量组中的强特征对的数量、每两个相邻运动矢量的相似值及匹配度等级、每个运动矢量的贡献值计算局部相似值。
下面以2×2运动矢量组为例来说明局部相似值的计算过程,但不仅限于下面的例子。
如图5所示,四个运动矢量为一组,首先按顺时针方向依次计算4个相邻运动矢量对的相似值及匹配度等级。假设该运动矢量组中的强特征对的数量为1,进一步的:
如果4个相邻运动矢量对中有3个匹配度等级为Z,在局部相似度值为0;
如果4个相邻运动矢量对中有2个匹配度等级为Z,则有如下处理方案:
若等级为N或BP的运动矢量对的数量之和不小于1,且所述4个运动矢量的贡献值之和是3,局部相似度值是-1,否则,局部相似度值是4个相邻运动矢量对的相似值之和;
如果4个相邻运动矢量对中有1个或0个匹配度等级为Z,则有如下决策:
若等级为N或BP的矢量对的数量之和不小于2,且所述4个运动矢量的贡献值之和不小于3,在局部相似度值为-1;否则,局部相似度值为4个相邻运动矢量对的相似值之和。
当前局部运动矢量组中的强特征对的数量为0、2,3或4时,局部相似度值将根据类似的列举方式判断,预设的参数会有所差别,在此不一一举例说明。
步骤310,为了进一步提高检测准确率,对计算出的局部相似值进行修正,从而得到准确的局部相似值图。
修正方法为:
针对每一运动矢量组,根据前一编码帧中的局部相似值修正当前编码帧的局部相似值。
具体的,对于前一编码帧中的每个运动矢量组,根据运动矢量组中全部运动矢量的平均值,预测运动矢量组在当前编码帧中的位置,该位置上的局部相似值是在当前编码帧中所计算的局部相似值与所述前一编码帧中的局部相似值的加权和,加权系数是预设值。
在获取局部相似值图之后,对局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一独立的连通域作为一个运动目标,完成运动目标的检测。
最后,在完成运动目标检测之后进行运动目标跟踪。跟踪方法为:
如图6所示,根据以下公式计算出在当前编码帧的运动目标与前一编码帧中的各目标对象的匹配率:
其中,ML,K是匹配率,SL,K是所述运动目标与所述目标对象的重合区域(即图6中的覆盖区域)大小,SC是所述运动目标的区域大小,SP是所述目标对象的区域大小,L是当前编码帧中的第L个运动目标,K是前一编码帧中的第K个目标对象。
在当前编码帧中的每个运动目标,选择其与前一编码帧中匹配率值最大的目标对象为最优匹配目标;若最大匹配率大于预设的匹配率阈值,则确定运动目标为最优匹配目标在当前编码帧中的跟踪目标;若未发现大于匹配率阈值的目标对象,则确定所述运动目标为新的目标对象。
最后,更新运动目标的信息以用于下一帧的运动跟踪,并且运动轨迹数据可以被用于后端应用,来实现一些智能功能例如入侵检测和目标计数。
如图7所示,根据本发明的实施例的视频编解码系统702包括视频编解码专用集成电路704。视频编解码系统702中运动目标检测和跟踪的计算过程由视频编解码专用集成电路704中的处理器来完成。视频编解码专用集成电路704中的视频编解码器将运动数据输出至处理器,以供进行运动目标检测和跟踪。
如图8所示,根据本发明的实施例的运动目标检测系统802被应用在监控系统的后端设备,运动目标检测系统802主要包括三个部分,候选运动目标检测部分8022、运动目标跟踪部分8024以及运动目标信息以及运动轨迹信息的存储部分8026。
图7是根据本发明的运动目标检测系统的硬件实施示意图,图8是根据本发明的运动目标检测系统的结构框架示意图,结合图7和图8可知,根据本发明运动目标检测系统使用原视频编解码器的处理器来完成运动目标检测和跟踪,相比于现有技术无需增加额外的硬件资源,节约硬件成本。另外,从图8中也可看出,该运动目标检测系统实施在前端设备,相比于实施在后端应用的技术,实时性好,从编解码器中直接获取运动矢量数据,因此在编码的同时就可以实行运动目标的检测,检测速度快,没有时间延迟。此外,在检测运动目标的过程中,采用基于运动矢量组的局部相似值计算方法以及提出了突发成组噪声的检测和去除方法,因此检测的精度也被大大提高。
图9示出了根据本发明的又一实施例的运动目标检测装置的框图。
如图9所示,根据本发明的实施例的运动目标检测装置900可以包括:
获取单元902,获取当前编码帧的运动矢量数据;运动矢量组形成单元904,将当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;局部相似值计算单元906,根据每一运动矢量组计算出一个局部相似值,以得到当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;运动目标检测单元908,对局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一独立的连通域作为一个运动目标,完成运动目标的检测。
其中,局部相似值计算单元906包括:
第一计算单元9062,在任一运动矢量组中,根据每两个相邻运动矢量之间的夹角,计算每两个相邻运动矢量之间的相似值;匹配度确定单元9064,根据相似值的大小和夹角的大小与匹配度划分范围的对应关系,确定每两个相邻运动矢量之间的匹配度等级,其中,每一匹配度划分范围对应一个匹配度等级,以及将匹配度等级属于最高等级的两个相邻运动矢量作为一个强特征对;贡献值确定单元9066,对于任意一个运动矢量,如果其属于至少一个强特征对,则将其贡献值设为第一值,否则将其贡献值设为第二值;第二计算单元9068,根据运动矢量组中的强特征对的数量、每两个相邻运动矢量的相似值及匹配度等级、每个运动矢量的贡献值计算局部相似值。
运动目标检测装置900还可以包括:判断单元910,在确定匹配度等级之后且在计算强特征对之前,针对每一运动矢量,根据参考运动矢量判断是否对每一运动矢量进行修正,参考运动矢量是与每一运动矢量相邻的运动矢量,其中,判断单元910的判断依据是:
若参考运动矢量中任意两个相邻运动矢量的匹配度等级大于预设等级,且每一运动矢量与任一参考运动矢量的匹配度等级小于所述预设等级,则将所述运动矢量修正为任一参考运动矢量。
运动目标检测装置900还可以包括:第一修正单元912,在计算出局部相似值之后,针对每一运动矢量组,根据前一编码帧中的局部相似值修正当前编码帧的局部相似值。
第一修正单元912对于前一编码帧中的每个运动矢量组,根据运动矢量组中全部运动矢量的平均值,预测运动矢量组在当前编码帧中的位置,位置上的局部相似值是在当前编码帧中所计算的局部相似值与前一编码帧中的局部相似值的加权和,加权系数是预设值。
运动目标检测装置900还可以包括:噪声检测单元914,在计算局部相似值之前,检测在当前编码帧的运动矢量数据中是否存在突发成组噪声;噪声去除单元916,在存在突发成组噪声时,在运动矢量数据中去除突发成组噪声,以及将去除突发成组噪声的运动矢量数据进行高通过滤处理,得到过滤的运动矢量数据。
其中,噪声检测单元914包括:
坐标转换单元9142,将当前编码帧的运动矢量数据的直角坐标转换成极坐标;建立单元9144,根据运动矢量数据的直角坐标建立第一直方图,根据运动矢量数据的极坐标建立第二直方图;运算单元9146,第一直方图获取直角坐标系中出现频率最高的运动矢量数占总运动矢量数的分量百分比和出现频率最高的直角坐标系值,以及根据第二直方图获取极坐标系中出现频率最高的运动矢量数占总运动矢量数的极坐标百分比和出现频率最高的极坐标值;比较单元9148,在非零运动矢量数据中,若直角坐标百分比以及极坐标百分比均大于设定百分比,且出现频率最高的直角坐标值小于坐标值阈值,则确定存在突发成组噪声。
在存在突发成组噪声时,突发成组噪声的值是出现频率最高的直角坐标值;运动目标检测装置还可以包括:
第二修正单元918,针对每一运动矢量,若该运动矢量在直角坐标系上的分量大于突发成组噪声的值,则将对应的运动矢量修正为运动矢量与突发成组噪声的值之间的差值。
优选的,第二修正单元918还用于若修正前运动矢量的水平方向分量或垂直方向分量与修正后的水平方向分量或垂直方向极性相反,则将修正前运动矢量的水平方向分量或垂直方向分量的值修正为0。
运动目标检测装置还可以包括:
匹配率计算单元920,根据以下公式计算出在当前编码帧的运动目标与前一编码帧中的各目标对象的匹配率:
其中,ML,K是匹配率,SL,K是运动目标与所述目标对象的重合区域大小,SC是所述运动目标的区域大小,SP是所述目标对象的区域大小,L是所述当前编码帧中的第L个运动目标,K是所述前一编码帧中的第K个目标对象;
目标跟踪单元922,在所述当前编码帧中的每个运动目标,选择其与前一编码帧中匹配率值最大的目标对象为最优匹配目标,以及若最大匹配率大于预设的匹配率阈值,则确定所述运动目标为所述最优匹配目标在所述当前编码帧中的跟踪目标,以及若未发现大于所述匹配率阈值的目标对象,则确定所述运动目标为新的目标对象。
此外,本发明的实施例还提供了一种电子设备,该电子设备包括如上所述的运动目标检测装置或运动目标检测系统。在根据本发明的实施例的上述电子设备的具体实现方式中,上述电子设备可以是以下设备中的任意一种设备:计算机;平板电脑;个人数字助理;多媒体播放设备;手机以及电纸书等等。其中,该电子设备具有上述用于运动目标检测装置的各种功能和技术效果,这里不再赘述。
上述根据本发明的实施例的运动对象检测装置中的各个组成单元、子单元、模块等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下,可从存储介质或网络向具有专用硬件结构的机器安装构成该软件或固件的程序,该机器在安装有各种程序时,能够执行上述各组成单元、子单元的各种功能。
此外,本发明还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时,可执行上述根据本发明的实施例的运动目标检测方法。相应地,用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本发明的公开中。
此外,本发明的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行,也可以按照其他的时间顺序、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
此外,显然,根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且,本发明的目的也可以通过下述方式实现:将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备,并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
此时,只要该系统或者设备具有执行程序的功能,则本发明的实施方式不局限于程序,并且该程序也可以是任意的形式,例如,目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于:各种存储器和存储单元,半导体设备,磁盘单元例如光、磁和磁光盘,以及其它适于存储信息的介质等。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
综上,在根据本发明的实施例中,本发明提供了如下方案但不限于此:
附记1.一种运动目标检测装置,包括:
获取单元,获取当前编码帧的运动矢量数据;
运动矢量组形成单元,将所述当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;
局部相似值计算单元,根据每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;
运动目标检测单元,对所述局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,完成所述运动目标的检测。
附记2.根据附记1所述的运动目标检测装置,所述局部相似值计算单元包括:
第一计算单元,在任一运动矢量组中,根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值;
匹配度确定单元,根据相似值的大小和夹角的大小与匹配度划分范围的对应关系,确定每两个相邻运动矢量之间的匹配度等级,其中,每一匹配度划分范围对应一个匹配度等级,以及将匹配度等级属于最高等级的两个相邻运动矢量作为一个强特征对;
贡献值确定单元,对于任意一个运动矢量,如果其属于至少一个强特征对,则将其贡献值设为第一值,否则将其贡献值设为第二值;
第二计算单元,根据所述运动矢量组中的强特征对的数量、每两个相邻运动矢量的相似值及匹配度等级、每个运动矢量的贡献值计算所述局部相似值。
附记3.根据附记2所述的运动目标检测装置,其中,在所述夹角小于等于90度时,所述相似值为:
其中,m,n表示两个不同的运动矢量
符号,r表示运动矢量的长度,MV表示运动矢量;
在所述角度大于90度时,所述相似值是-1。
附记4.根据附记2所述的运动目标检测装置,还包括:判断单元,在确定所述匹配度等级之后且在计算所述强特征对之前,针对每一运动矢量,根据参考运动矢量判断是否对所述每一运动矢量进行修正,所述参考运动矢量是与所述每一运动矢量相邻的运动矢量,其中,所述判断单元的判断依据是:
若所述参考运动矢量中任意两个相邻运动矢量的匹配度等级大于预设等级,且所述每一运动矢量与任一参考运动矢量的匹配度等级小于所述预设等级,则将所述运动矢量修正为任一参考运动矢量。
附记5.根据附记2所述的运动目标检测装置,还包括:
第一修正单元,在计算出所述局部相似值之后,针对每一运动矢量组,根据前一编码帧中的局部相似值修正所述当前编码帧的局部相似值。
附记6.根据附记5所述的运动目标检测装置,所述第一修正单元对于前一编码帧中的每个运动矢量组,根据所述运动矢量组中全部运动矢量的平均值,预测所述运动矢量组在所述当前编码帧中的位置,所述位置上的局部相似值是在所述当前编码帧中所计算的局部相似值与所述前一编码帧中的局部相似值的加权和,加权系数是预设值。
附记7.根据附记1所述的运动目标检测装置,还包括:
噪声检测单元,在计算所述局部相似值之前,检测在所述当前编码帧的运动矢量数据中是否存在突发成组噪声;
噪声去除单元,在存在所述突发成组噪声时,在所述运动矢量数据中去除所述突发成组噪声,以及将去除突发成组噪声的运动矢量数据进行高通过滤处理,得到过滤的运动矢量数据。
附记8.根据附记7所述的运动目标检测装置,所述噪声检测单元包括:
坐标转换单元,将所述当前编码帧的运动矢量数据的直角坐标转换成极坐标;
建立单元,根据所述运动矢量数据的直角坐标建立第一直方图,根据所述运动矢量数据的极坐标建立第二直方图;
运算单元,所述第一直方图获取直角坐标系中出现频率最高的运动矢量数占总运动矢量数的分量百分比和出现频率最高的直角坐标系值,以及根据所述第二直方图获取极坐标系中出现频率最高的运动矢量数占总运动矢量数的极坐标百分比和出现频率最高的极坐标值;
比较单元,在非零运动矢量数据中,若所述直角坐标百分比以及所述极坐标百分比均大于设定百分比,且所述出现频率最高的直角坐标值小于坐标值阈值,则确定存在所述突发成组噪声。
附记9.根据8所述的运动目标检测装置,在存在所述突发成组噪声时,突发成组噪声的值是所述出现频率最高的直角坐标值;
所述运动目标检测装置还包括:
第二修正单元,针对每一运动矢量,若该运动矢量在直角坐标系上的分量大于所述突发成组噪声的值,则将对应的运动矢量修正为所述运动矢量与所述突发成组噪声的值之间的差值。
附记10.根据附记9所述的运动目标检测装置,所述第二修正单元还用于若修正前运动矢量的水平方向分量或垂直方向分量与修正后的水平方向分量或垂直方向极性相反,则将所述修正前运动矢量的水平方向分量或垂直方向分量的值修正为0。
附记11.根据附记1至10中任一项所述的运动目标检测装置,还包括:
匹配率计算单元,根据以下公式计算出在所述当前编码帧的运动目标与前一编码帧中的各目标对象的匹配率:
其中,ML,K是匹配率,SL,K是所述运动目标与所述目标对象的重合区域大小,SC是所述运动目标的区域大小,SP是所述目标对象的区域大小,L是所述当前编码帧中的第L个运动目标,K是所述前一编码帧中的第K个目标对象;
目标跟踪单元,在所述当前编码帧中的每个运动目标,选择其与前一编码帧中匹配率值最大的目标对象为最优匹配目标,以及若最大匹配率大于预设的匹配率阈值,则确定所述运动目标为所述最优匹配目标在所述当前编码帧中的跟踪目标,以及若未发现大于所述匹配率阈值的目标对象,则确定所述运动目标为新的目标对象。
附记12.一种运动目标检测方法,包括:
获取当前编码帧的运动矢量数据;
将所述当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;
根据每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;
对所述局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,完成所述运动目标的检测。
附记13.根据附记12所述的运动目标检测方法,所述根据每一运动矢量组计算出一个局部相似值,包括:
在任一运动矢量组中,根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值;
根据相似值的大小和夹角的大小与匹配度划分范围的对应关系,确定每两个相邻运动矢量之间的匹配度等级,其中,每一匹配度划分范围对应一个匹配度等级;
将匹配度等级属于最高等级的两个相邻运动矢量作为一个强特征对;
对于任意一个运动矢量,如果其属于至少一个强特征对,则将其贡献值设为第一值,否则将其贡献值设为第二值;
根据所述运动矢量组中的强特征对的数量、每两个相邻运动矢量的相似值及匹配度等级、每个运动矢量的贡献值计算所述局部相似值。
附记14.根据附记13所述的运动目标检测方法,在确定所述匹配度等级之后且在计算所述强特征对之前,还包括:
针对每一运动矢量,根据参考运动矢量判断是否对所述每一运动矢量进行修正,所述参考运动矢量是与所述每一运动矢量相邻的运动矢量,判断是否对所述每一运动矢量进行修正的方法包括:
若所述参考运动矢量中任意两个相邻运动矢量的匹配度等级大于预设等级,且所述每一运动矢量与任一参考运动矢量的匹配度等级小于所述预设等级,则将所述运动矢量修正为任一参考运动矢量。
附记15.根据附记13所述的运动目标检测方法,在计算出所述局部相似值之后,还包括:
针对每一运动矢量组,根据前一编码帧中的局部相似值修正所述当前编码帧的局部相似值。
附记16.根据附记15所述的运动目标检测方法,对于前一编码帧中的每个运动矢量组,根据所述运动矢量组中全部运动矢量的平均值,预测所述运动矢量组在所述当前编码帧中的位置;
所述位置上的局部相似值是在所述当前编码帧中所计算的局部相似值与所述前一编码帧中的局部相似值的加权和,加权系数是预设值。
附记17.根据附记12至16中任一项所述的运动目标检测方法,在计算所述局部相似值之前,还包括:
检测在所述当前编码帧的运动矢量数据中是否存在突发成组噪声;
若存在所述突发成组噪声,则在所述运动矢量数据中去除所述突发成组噪声;
将去除突发成组噪声的运动矢量数据进行高通过滤处理,得到过滤的运动矢量数据。
附记18.根据附记17所述的运动目标检测方法,所述检测在所述当前编码帧的运动矢量数据中是否存在突发成组噪声,包括:
将所述当前编码帧的运动矢量数据的直角坐标转换成极坐标;
根据所述运动矢量数据的直角坐标建立第一直方图,根据所述运动矢量数据的极坐标建立第二直方图;
根据所述第一直方图获取直角坐标系中出现频率最高的运动矢量数占总运动矢量数的分量百分比和出现频率最高的直角坐标系值,以及根据所述第二直方图获取极坐标系中出现频率最高的运动矢量数占总运动矢量数的极坐标百分比和出现频率最高的极坐标值;
在非零运动矢量数据中,若所述直角坐标百分比以及所述极坐标百分比均大于设定百分比,且所述出现频率最高的直角坐标值小于坐标值阈值,则确定存在所述突发成组噪声。
附记19.根据附记18所述的运动目标检测方法,在存在所述突发成组噪声时,突发成组噪声的值是所述出现频率最高的直角坐标值;
针对每一运动矢量,若该运动矢量在直角坐标系上的分量大于所述突发成组噪声的值,则将对应的运动矢量修正为所述运动矢量与所述突发成组噪声的值之间的差值。
附记20.根据附记19所述的运动目标检测方法,若修正前运动矢量的水平方向分量或垂直方向分量与修正后的水平方向分量或垂直方向极性相反,则将所述修正前运动矢量的水平方向分量或垂直方向分量的值修正为0。
Claims (9)
1.一种运动目标检测装置,包括:
获取单元,获取当前编码帧的运动矢量数据;
运动矢量组形成单元,将所述当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;
局部相似值计算单元,根据每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;
运动目标检测单元,对所述局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,完成所述运动目标的检测,
所述局部相似值计算单元包括:
第一计算单元,在任一运动矢量组中,根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值;
匹配度确定单元,根据相似值的大小和夹角的大小与匹配度划分范围的对应关系,确定每两个相邻运动矢量之间的匹配度等级,其中,每一匹配度划分范围对应一个匹配度等级,以及将匹配度等级属于最高等级的两个相邻运动矢量作为一个强特征对;
贡献值确定单元,对于任意一个运动矢量,如果其属于至少一个强特征对,则将其贡献值设为第一值,否则将其贡献值设为第二值;
第二计算单元,根据所述运动矢量组中的强特征对的数量、每两个相邻运动矢量的相似值及匹配度等级、每个运动矢量的贡献值计算所述局部相似值。
2.根据权利要求1所述的运动目标检测装置,还包括:判断单元,在确定所述匹配度等级之后且在计算所述强特征对之前,针对每一运动矢量,根据参考运动矢量判断是否对所述每一运动矢量进行修正,所述参考运动矢量是与所述每一运动矢量相邻的运动矢量,其中,所述判断单元的判断依据是:
若所述参考运动矢量中任意两个相邻运动矢量的匹配度等级大于预设等级,且所述每一运动矢量与任一参考运动矢量的匹配度等级小于所述预设等级,则将所述运动矢量修正为任一参考运动矢量。
3.根据权利要求1所述的运动目标检测装置,还包括:
第一修正单元,在计算出所述局部相似值之后,针对每一运动矢量组,根据前一编码帧中的局部相似值修正所述当前编码帧的局部相似值。
4.根据权利要求3所述的运动目标检测装置,所述第一修正单元对于前一编码帧中的每个运动矢量组,根据所述运动矢量组中全部运动矢量的平均值,预测所述运动矢量组在所述当前编码帧中的位置,所述位置上的局部相似值是在所述当前编码帧中所计算的局部相似值与所述前一编码帧中的局部相似值的加权和,加权系数是预设值。
5.根据权利要求1至4中任一项所述的运动目标检测装置,还包括:
噪声检测单元,在计算所述局部相似值之前,检测在所述当前编码帧的运动矢量数据中是否存在突发成组噪声;
噪声去除单元,在存在所述突发成组噪声时,在所述运动矢量数据中去除所述突发成组噪声,以及将去除突发成组噪声的运动矢量数据进行高通过滤处理,得到过滤的运动矢量数据。
6.根据权利要求5所述的运动目标检测装置,所述噪声检测单元包括:
坐标转换单元,将所述当前编码帧的运动矢量数据的直角坐标转换成极坐标;
建立单元,根据所述运动矢量数据的直角坐标建立第一直方图,根据所述运动矢量数据的极坐标建立第二直方图;
运算单元,所述第一直方图获取直角坐标系中出现频率最高的运动矢量数占总运动矢量数的分量百分比和出现频率最高的直角坐标系值,以及根据所述第二直方图获取极坐标系中出现频率最高的运动矢量数占总运动矢量数的极坐标百分比和出现频率最高的极坐标值;
比较单元,在非零运动矢量数据中,若所述直角坐标百分比以及所述极坐标百分比均大于设定百分比,且所述出现频率最高的直角坐标值小于坐标值阈值,则确定存在所述突发成组噪声。
7.根据权利要求6所述的运动目标检测装置,在存在所述突发成组噪声时,突发成组噪声的值是所述出现频率最高的直角坐标值;
所述运动目标检测装置还包括:
第二修正单元,针对每一运动矢量,若该运动矢量在直角坐标系上的分量大于所述突发成组噪声的值,则将对应的运动矢量修正为所述运动矢量与所述突发成组噪声的值之间的差值。
8.根据权利要求7所述的运动目标检测装置,所述第二修正单元还用于若修正前运动矢量的水平方向分量或垂直方向分量与修正后的水平方向分量或垂直方向极性相反,则将所述修正前运动矢量的水平方向分量或垂直方向分量的值修正为0。
9.一种运动目标检测方法,包括:
获取当前编码帧的运动矢量数据;
将所述当前编码帧进行区域划分,每一区域对应N个运动矢量,形成一个运动矢量组;
根据每一运动矢量组计算出一个局部相似值,以得到所述当前编码帧的局部相似值图,其中,N是大于3小于等于9的整数;
对所述局部相似值图进行二值化,在经过二值化的局部相似值图中分割出多个独立的连通域,将每一所述独立的连通域作为一个运动目标,完成所述运动目标的检测,
所述根据每一运动矢量组计算出一个局部相似值,包括:
在任一运动矢量组中,根据每两个相邻运动矢量之间的夹角,计算所述每两个相邻运动矢量之间的相似值;
根据相似值的大小和夹角的大小与匹配度划分范围的对应关系,确定每两个相邻运动矢量之间的匹配度等级,其中,每一匹配度划分范围对应一个匹配度等级;
将匹配度等级属于最高等级的两个相邻运动矢量作为一个强特征对;
对于任意一个运动矢量,如果其属于至少一个强特征对,则将其贡献值设为第一值,否则将其贡献值设为第二值;
根据所述运动矢量组中的强特征对的数量、每两个相邻运动矢量的相似值及匹配度等级、每个运动矢量的贡献值计算所述局部相似值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410225979.2A CN105338362B (zh) | 2014-05-26 | 2014-05-26 | 运动目标检测方法和运动目标检测装置 |
JP2015104929A JP6558073B2 (ja) | 2014-05-26 | 2015-05-22 | 移動目標の検出方法及び移動目標の検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410225979.2A CN105338362B (zh) | 2014-05-26 | 2014-05-26 | 运动目标检测方法和运动目标检测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105338362A CN105338362A (zh) | 2016-02-17 |
CN105338362B true CN105338362B (zh) | 2018-10-19 |
Family
ID=54842311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410225979.2A Active CN105338362B (zh) | 2014-05-26 | 2014-05-26 | 运动目标检测方法和运动目标检测装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6558073B2 (zh) |
CN (1) | CN105338362B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107743209A (zh) * | 2017-10-19 | 2018-02-27 | 佛山市章扬科技有限公司 | 一种根据周围环境间歇式录制视频的方法 |
CN108646931B (zh) * | 2018-03-21 | 2022-10-14 | 深圳市创梦天地科技有限公司 | 一种终端控制方法及终端 |
CN112135127B (zh) * | 2019-11-05 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置、设备及机器可读存储介质 |
CN111179302B (zh) * | 2019-12-27 | 2023-03-24 | 普联国际有限公司 | 一种运动目标检测方法、装置、存储介质及终端设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101339661A (zh) * | 2008-08-18 | 2009-01-07 | 清华大学 | 一种基于手持设备运动检测的实时人机交互方法和系统 |
CN101478675A (zh) * | 2008-01-03 | 2009-07-08 | 中国科学院计算技术研究所 | 一种视频中语义事件检测方法及系统 |
CN103034993A (zh) * | 2012-10-30 | 2013-04-10 | 天津大学 | 一种数字视频转码检测方法 |
CN103067646A (zh) * | 2011-10-21 | 2013-04-24 | 索尼公司 | 运动特征提取方法和装置,以及视频处理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3363039B2 (ja) * | 1996-08-29 | 2003-01-07 | ケイディーディーアイ株式会社 | 動画像内の移動物体検出装置 |
JP2008117119A (ja) * | 2006-11-02 | 2008-05-22 | Sony Corp | 動きベクトル検出方法、動きベクトル除去方法及び動きベクトル検出装置 |
CN102831442A (zh) * | 2011-06-13 | 2012-12-19 | 索尼公司 | 异常行为检测设备和方法及生成该检测设备的设备和方法 |
-
2014
- 2014-05-26 CN CN201410225979.2A patent/CN105338362B/zh active Active
-
2015
- 2015-05-22 JP JP2015104929A patent/JP6558073B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101478675A (zh) * | 2008-01-03 | 2009-07-08 | 中国科学院计算技术研究所 | 一种视频中语义事件检测方法及系统 |
CN101339661A (zh) * | 2008-08-18 | 2009-01-07 | 清华大学 | 一种基于手持设备运动检测的实时人机交互方法和系统 |
CN103067646A (zh) * | 2011-10-21 | 2013-04-24 | 索尼公司 | 运动特征提取方法和装置,以及视频处理装置 |
CN103034993A (zh) * | 2012-10-30 | 2013-04-10 | 天津大学 | 一种数字视频转码检测方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015225667A (ja) | 2015-12-14 |
CN105338362A (zh) | 2016-02-17 |
JP6558073B2 (ja) | 2019-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3488388B1 (en) | Video processing method and apparatus | |
US9852511B2 (en) | Systems and methods for tracking and detecting a target object | |
KR102074555B1 (ko) | 비디오 처리를 위한 블록 기반 정적 영역 검출 | |
CN105338362B (zh) | 运动目标检测方法和运动目标检测装置 | |
CN107481271B (zh) | 一种立体匹配方法、系统及移动终端 | |
EP2180695B1 (en) | Apparatus and method for improving frame rate using motion trajectory | |
CN101102397A (zh) | 噪声抑制方法和噪声抑制装置 | |
CN104284192A (zh) | 图像处理设备和图像处理方法 | |
CN102930559B (zh) | 图像处理的方法及装置 | |
CN105718848A (zh) | 一种指纹图像的质量评估方法及装置 | |
JPWO2017038395A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN105338355B (zh) | 视频分析方法和视频分析装置 | |
Kang et al. | GuidedMixup: an efficient mixup strategy guided by saliency maps | |
CN109327669A (zh) | 帧率提升转换装置与方法 | |
CN112651429B (zh) | 一种音频信号时序对齐方法和装置 | |
CN113158904A (zh) | 一种基于双掩膜模板更新的孪生网络目标跟踪方法及装置 | |
CN106897735A (zh) | 一种快速移动目标的跟踪方法及装置 | |
CN104284195B (zh) | 三维视频中的深度图预测方法、装置、编码器和解码器 | |
CN107645663A (zh) | 一种运动估计搜索范围的确定方法以及装置 | |
KR20200038360A (ko) | 병변 검출 장치 및 제어 방법 | |
CN106993108B (zh) | 一种确定视频图像在运动估计中的随机量的方法和装置 | |
CN115329813A (zh) | 基于改进U-Net的垂测电离图O波与X波信号分离方法 | |
US20190050966A1 (en) | Method and apparatus for detecting noise of satellite image and restoring image | |
CN104636745A (zh) | 尺度不变特征提取方法和装置、对象识别方法和装置 | |
JP4997179B2 (ja) | 画像処理装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |