CN105243673B - 一种基于块匹配的运动估计方法、运动估计系统及其应用 - Google Patents

Abstract

本发明提供了一种基于块匹配的运动估计方法、运动估计系统及其应用。其中，所述方法包括如下步骤：获取微小物体的旋转运动图像序列；通过基于块匹配的自定义块算法对目标微小物体进行平动补偿；对平动补偿后所述目标微小物体进行像素块相关分析，以计算所述目标微小物体的旋转圈数；所述基于块匹配的自定义算法使用圆形旋转模板。所述方法针对目标的旋转运动跟踪，使用圆形旋转模板，从而有效的改进了块匹配算法对于目标物体的旋转运动的追踪效率，并据此提出了基于上述匹配算法应用于细胞旋转速度估计，对于细胞的动力学特性分析具有非常深远的意义。

Description

一种基于块匹配的运动估计方法、运动估计系统及其应用

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于块匹配算法的图像运动估计方法、运动估计系统及其在细胞动力学分析上的应用。

背景技术

基于计算机视觉的运动估计是一门有着广泛的应用前景的研究项目，例如在军事领域的目标跟踪，工业过程的动态监控，商业领域的视频数据压缩、视频数据分析，医学领域的心脏运动研究以及虚拟现实方面等方面。

在随时间变化的视频序列中，帧与帧之间存在着很大的空间冗余，运动估计的目标在于实现如下目标：如果景物和摄像设备都是静止的，则景物在当前帧中的位置与在下一帧中的位置应当是相同的。如果在静止景物中还有运动的物体，则对当前帧中运动物体上某一像素点，在未来时刻的最佳运动位置估计，应为该像素点在下一帧中的位置。

因此，运动估计可有效地去除冗余，保留帧间的有效信息，这对于图像序列（包括视频）数据压缩和传输都非常重要。

运动估计算法多种多样，大体上可以把它们分成四类：块匹配法、递归估计法、贝叶斯估计法和光流法。其中块匹配算法最为简单有效，被广泛采用。块匹配算法中较为典型的算法包括有：全搜索算法（在搜索窗（M+2w）x（N+2w）内计算所有的像素来寻找具有最小误差的最佳匹配块。对于当前帧一个待匹配块的运动向量的搜索要计算（2w+1）x（2w+1）次误差值）；三步搜索算法（三步搜索流程为：（1）以w /2为步长，测试以原点为中心的八点；（2）以最小匹配误差点为中心，步长折半，测试新的八点；（3）重复第2步得到最后的运动向量。TSS算法对于每一块的测试点为固定的（9 8 8）25个。当位移大小w<7时，三步搜索相对于全搜索算法的加速因子为9）以及二维对数搜索（以跟踪最小均方差所在的方向为主要思想。初始化计算五点，一点为原点，其他四点为（±w/2，±w/2）；再以相同的步长，以上一步搜索到的最小点为中心测试点；然后，步长折半重复以上步骤，直到步长大小变为1停止）等等。

但在已有的块匹配算法中，全搜索算法虽然准确度高，但是速度太慢；而其他的快速搜索方法通过限制搜索位置的数目来减小计算复杂度，但不利于估计小的运动且搜索容易陷入局部最优；而且使用了矩形的匹配模板，只能进行平移操作，在目标做旋转运动时跟踪效率过低。

递归估计法虽然在运动目标较小时,递归估计算法收敛较快,还有利用过去信息进行估计的能力。但是，当图像序列前后帧变化比较大的时候,这种方法很难得到正确的结果，而且点位移的帧差绝对值常有多个最小值,造成递归估计算法的结果有时是局部最小值而不是全局最小值。

贝叶斯估计法的计算量太大。而光流场方法的迭代速度虽然比较快，但得到的光流场只是速度场的一种近似。在图像的亮度突变和运动不连续处,由于该算法所依赖的假设不成立，因而所得的结果误差也较大。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于块匹配的运动估计方法、运动估计系统及其应用，旨在解决现有块匹配算法对旋转运动追踪效率过低，无法兼顾运算速度及准确度的问题。

为了达到上述目的，本发明采取了以下技术方案：

一种基于块匹配的运动估计方法，其中，所述方法包括如下步骤：获取微小物体的旋转运动图像序列；通过基于块匹配的自定义块算法对目标微小物体进行平动补偿；对平动补偿后所述目标微小物体进行像素块相关分析，以计算所述目标微小物体的旋转圈数；所述基于块匹配的自定义算法使用圆形旋转模板。

所述的运动估计方法，其中，所述方法还包括：对所述微小物体的旋转运动图像序列通过使用高斯低通滤波器进行降噪以及通过直方图均衡化增强目标微小物体与背景的对比度。

所述的运动估计方法，其中，所述通过基于块匹配的自定义块算法对目标微小物体进行平动补偿的步骤具体包括：生成圆形旋转模板；利用所述圆形旋转模板进行块匹配，估计所述目标微小物体的运动轨迹。

所述的运动估计方法，其中，所述生成圆形旋转模板的步骤具体包括：将目标图像转换为灰度等级图像；通过自适应阈值算法将所述灰度等级图像转换为二值图像；计算所述圆形旋转模板的圆心及半径，形成所述圆形旋转模板。

所述的运动估计方法，其中，所述块匹配步骤具体包括：在搜索窗口依据预设的匹配标准计算获得最佳匹配块作为参考块；计算所述参考块到宏块当前位置的运动向量。

所述的运动估计方法，其中，所述匹配标准具体由如下算式表示：其中，，S为搜索窗口，M为圆形旋转模板。

所述的运动估计方法，其中，与所述运动向量相对应的搜索窗口中绝对差和最小的运动向量具体由如下算式计算具体由如下算式计算：。

所述的运动估计方法，其中，所述像素相关分析具体包括：通过算式1计算模板与顺序图像块之间的相关系数；寻找所述相关系数的局部最大值以追踪峰点；依据峰点的索引计算获得所述微小物体的旋转圈数；所述算式1为：，其中，为模板，为顺序图像块，和分别是和的平均数。

一种细胞运动动力学特性分析方法，其中，应用如上所述的运动估计方法对处于介电泳力场的细胞进行旋转速度分析。

一种基于块匹配的运动估计系统，其中，所述系统包括：图像获取模块，用于获取微小物体的旋转运动图像序列；平动补偿模块，用于通过基于块匹配的自定义块算法对目标微小物体进行平动补偿；以及相关系数计算模块，用于对平动补偿后所述目标微小物体进行像素块相关分析，以计算所述目标微小物体的旋转圈数；所述所述基于块匹配的自定义算法使用圆形旋转模板。

有益效果：本发明提供的一种基于块匹配的运动估计方法、运动估计系统及其应用，针对目标的旋转运动跟踪，使用圆形旋转模板，从而有效的改进了块匹配算法对于目标物体的旋转运动的追踪效率，在保持准确度的同时大幅度提高了块匹配算法的效率。并据此提出了基于上述匹配算法应用于细胞旋转速度估计，对于细胞的动力学特性分析具有非常深远的意义，能够为细胞动力学特性分析提供极大的便利。

附图说明

图1为本发明具体实施例的光诱导介电泳平台的系统示意图。

图2为本发明具体实施例的基于块匹配的运动估计方法的方法流程图。

图3为本发明具体实施例的运动估计方法中生成圆形旋转模板步骤的示意图。

图4为本发明具体实施例的运动估计方法中块匹配步骤的示意图。

图5为本发明具体实施例的运动估计方法中生成圆形旋转模板步骤的方法流程图。

具体实施方式

本发明提供一种基于块匹配的运动估计方法、运动估计系统及其应用。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明具体实施例中，使用处于介电泳力场中进行自转运动的染色细胞图像序列为例进行陈述。应当理解的是，本发明所述基于块匹配的运动估计方法及其估计系统尤其适用于其他图像特点相类似的微小物体进行旋转运动的图像序列分析，也可以应用于包含所述染色细胞图像序列图像特点的其他任何合适的图像序列或者视频流等分析处理中。

如图1所示，为获取所述细胞图像序列的系统的具体实施例。

所述系统包括： ODEP芯片100、光学显微镜200、高分辨率投影仪300、可编程的高精度ODEP芯片驱动器（图中未示出）以及计算机500。（亦即一个完整的光诱导介电泳平台）

其中，所述计算机500可以采用现有技术中任何合适的，具有能够满足需要的运算能力的电子运算设备或者平台，例如个人电脑、手提电脑、云端主机等等。

ODEP是指光诱导介电泳（optically-induced dielectrophoresis）。所述ODEP芯片具体可以由三层结构组成：其中，基底110是涂有一层1微米厚的氢化非晶硅（a-Si:H）涂层11的ITO玻璃，最上层是普通ITO玻璃120，基底与最上层之间利用PDMS或是双面胶封装出一个100微米高的微流体通道130。

所述计算机通过数据线10与与投影仪连接，投影仪的镜头则与显微镜的入射光路通过转接装置相连（如图1中A1所示）。ODEP芯片置于显微镜载物台上（其中图中200具体为显微镜的物镜）。

所述系统的使用过程为：

首先、培养细胞，并将细胞和基质放入ODEP芯片中。所述细胞具体可以为任何类型的细胞，具体依据实际研究的需求而确定，例如肿瘤细胞，免疫活性细胞（ICC）等等。

然后、在计算机上生成图案，由投影仪投射到位于显微镜载物台上的ODEP芯片上，形成如图1中所示的图案（即图1中矩形框B1）。通过所述芯片驱动器400为ODEP芯片加上交流电，改变交流电信号的频率和大小，并配合对应的投射图案，使ODEP芯片中的细胞13做旋转运动。

最后，通过显微镜的高速CCD记录细胞运动的图像序列。

如图2所示，为使用本发明所述的基于块匹配的运动估计方法对上述显微镜的高速CCD记录的细胞运动的图像序列进行分析，计算细胞旋转圈数的方法流程图。

所述方法包括如下步骤：

S1、获取微小物体的旋转运动图像序列。如上所述，此处获取需要进行分析的图像序列为显微镜的高速CCD记录的细胞运动的图像序列。

S2、通过基于块匹配的自定义块算法对目标微小物体进行平动补偿。其中，所述基于块匹配的自定义算法使用圆形旋转模板。

S3、对平动补偿后所述目标微小物体进行像素块相关分析，以计算所述目标微小物体的旋转圈数。

一般的，可以将细胞在介电泳力场中的自转运动分解为平动及自转两种运动。为了准确的分析细胞的转动情况，首先通过步骤S2进行平动补偿，然后再通过步骤S3对补偿后的图像进行转动分析。

较佳的是，为了提高后续处理的效率以及准确度，可以对所述图像进行预处理。所述预处理方法包括：对所述微小物体的旋转运动图像序列通过使用高斯低通滤波器进行降噪以及通过直方图均衡化增强目标微小物体与背景的对比度。

关于降噪预处理：一般的，采用上述系统获得的图像序列中，图像帧的噪声主要来源是相机。因为图像到电荷的转换是由相机中的CCD完成的，而CCD会随机产生一些电子，这些电子夹杂在信号中形成了噪声。由于这些噪声是随机分布的，因此可以使用高斯低通滤波器从而有效滤除噪声。

所述高斯滤波器的核心公式具体如下：

关于对比度预处理：所述直方图均衡化是图像对比度增强的常用方法之一。具体原理为：把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。其灰度图像的修正像素值转换函数可通过如下算式表示：

其中，灰度图像{x}包含L个离散的灰度等级，表示为{Xi}。当然，也可以采用其他合适的方法或者不同方法的组合对所述图像序列中的图像帧进行对比度增强（例如直方图拉伸）或者提高图像质量。

具体的，所述通过基于块匹配的自定义块算法对目标微小物体进行平动补偿的步骤（即S2）具体包括：生成圆形旋转模板；利用所述圆形旋转模板进行块匹配，估计所述目标微小物体的运动轨迹。在常规的块匹配算法中，使用的为矩形模板。由于细胞在图像序列中为旋转运动，使用矩形模板的追踪效率将非常低下。而使用圆形旋转模板进行匹配则能够非常良好的实现对旋转运动的追踪，极大的提高了算法的效率与准确度。

在本发明的一个具体实施例中，如图3及图5所示，所述生成圆形旋转模板的步骤具体可以包括：

S100、将目标图像（图3中A图像）转换为灰度等级图像（图3中B图像）。

S200、通过自适应阈值算法将所述灰度等级图像转换为二值图像（图3中C图像）。

S300、计算所述圆形旋转模板的圆心及半径，形成所述圆形旋转模板（图3中D图像）。

所述圆形旋转模板可旋转一定的角度进行匹配（图3中E图像），亦即由D图像旋转一定角度获得的E图像。由此，使用术语“圆形旋转模板”用以表示这一重新自定义的匹配模板。

具体的，所述块匹配步骤则可以包括（如图4所示，为图像序列中的参考图像帧以及当前运算图像帧之间的匹配过程）：

首先、在搜索窗口依据预设的匹配标准计算获得最佳匹配块作为参考块10。其中，所述匹配标准具体由如下算式表示：

其中，，S为搜索窗口，M为圆形旋转模板（亦即图像遮罩）。SAD为运算估计中一种主要的运算形式，具体运算方式为本领域技术人员所熟知，在此不作赘述。

然后、计算所述参考块10到宏块20当前位置的运动向量30（如图4所示）。“宏块”是视频编码中的一个基本概念。即在视频编码中，一个图像帧通常由若干个宏块构成。其中，对应的搜索窗口中绝对差和最小的运动向量可通过如下算式表示：

。

基于所述参考块（其为圆形旋转模板）的最小绝对差和计算过程则可以由如下伪代码表示：

1. for (x,y) in search window S

2. { for( θ = 0 to 2π )

3. { calculate SAD(x, y, θ)

4. increment θ by a step Δ

5. }

6. increment x,y by 1

上述“通过基于块匹配的自定义块算法”的步骤使用了圆形旋转模板进行匹配从而跟踪目标细胞的平动，有效的提升了块匹配算法对于旋转运动物体的追踪准确度，同时又能兼顾计算效率，具有良好的应用前景。

在完成平动补偿后，可以使用像素相关分析进行细胞旋转圈数的估算。具体的，所述像素相关分析可以包括如下步骤：

对于两个灰度等级图像块，通过算式1计算两者之间的相关系数。

寻找所述相关系数的局部最大值以追踪峰点。

依据峰点的索引计算获得模板细胞的旋转圈数。

其中，所述算式1为：，其中，为选中的模板块（亦即上述使用的匹配模板），为顺序图像块，和分别是和的平均数。

本发明还提供了一种细胞运动动力学特性分析方法。所述分析方法应用如上所述的运动估计方法对处于介电泳力场的细胞进行旋转速度分析。亦即通过获得的目标细胞旋转圈数，估算其旋转运动速度从而进行进一步分析。

本发明还进一步提供了一种基于块匹配的运动估计系统。所述系统具体包括：图像获取模块100，用于获取微小物体的旋转运动图像序列；平动补偿模块200，用于通过基于块匹配的自定义块算法对目标微小物体进行平动补偿；以及相关系数计算模块300，用于对平动补偿后所述目标微小物体进行像素块相关分析，以计算所述目标微小物体的旋转圈数。如上所述，所述图像获取模块可以依据实际情况，采用合适的系统实现图像序列的获取，例如图1所示的系统获取细胞的运动图像序列。所述平动补偿模块200以及相关系数计算模块300则可以在任何合适的电子计算平台上执行，或者作为一个功能模块整合到某系统中作为实现运动估计功能的组件。

当然，也可以将需要分析的图像序列直接输入到平动补偿模块200及相关系数计算模块300进行分析计算，而无需通过图像获取模块100。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及本发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.一种基于块匹配的运动估计方法，其特征在于，所述方法包括如下步骤：获取微小物体的旋转运动图像序列；

通过基于块匹配的自定义块算法对目标微小物体进行平动补偿；

对平动补偿后所述目标微小物体进行像素块相关分析，以计算所述目标微小物体的旋转圈数；

所述基于块匹配的自定义算法使用圆形旋转模板；

所述像素块相关分析具体包括：

通过算式1计算模板与顺序图像块之间的相关系数；

寻找所述相关系数的局部最大值以追踪峰点；

依据峰点的索引计算获得所述微小物体的旋转圈数；

所述算式1为：

其中，t(·)为模板，f(·)为顺序图像块，和分别是t(·)和f(·)的平均数；所述方法还包括：对所述微小物体的旋转运动图像序列通过使用高斯低通滤波器进行降噪以及通过直方图均衡化增强目标微小物体与背景的对比度；

所述通过直方图均衡化增强目标微小物体与背景的对比度具体包括：把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布；

所述通过基于块匹配的自定义块算法对目标微小物体进行平动补偿的步骤具体包括：

生成圆形旋转模板；

利用所述圆形旋转模板进行块匹配，估计所述目标微小物体的运动轨迹；

所述圆形旋转模板旋转一定的角度进行块匹配；

所述生成圆形旋转模板的步骤具体包括：

将目标图像转换为灰度等级图像；

通过自适应阈值算法将所述灰度等级图像转换为二值图像；

计算所述圆形旋转模板的圆心及半径，形成所述圆形旋转模板；

所述块匹配步骤具体包括：

在搜索窗口依据预设的匹配标准计算获得最佳匹配块作为参考块；

计算所述参考块到宏块当前位置的运动向量；

所述匹配标准具体由如下算式表示：

其中，(x,y)∈S，(i,j)∈M，S为搜索窗口，M为圆形旋转模板；

与所述运动向量相对应的搜索窗口中绝对差和最小的运动向量具体由如下算式计算：

2.一种细胞运动动力学特性分析方法，其特征在于，应用如权利要求1所述的运动估计方法对处于介电泳力场的细胞进行旋转速度分析。

3.一种基于块匹配的运动估计系统，其特征在于，所述系统包括：

图像获取模块，用于获取微小物体的旋转运动图像序列；

平动补偿模块，用于通过基于块匹配的自定义块算法对目标微小物体进行平动补偿；

以及相关系数计算模块，用于对平动补偿后所述目标微小物体进行像素块相关分析，以计算所述目标微小物体的旋转圈数；

所述基于块匹配的自定义算法使用圆形旋转模板；

所述像素块相关分析具体包括：

通过算式1计算模板与顺序图像块之间的相关系数；

寻找所述相关系数的局部最大值以追踪峰点；

依据峰点的索引计算获得所述微小物体的旋转圈数；

所述算式1为：

其中，t(·)为模板，f(·)为顺序图像块，和分别是t(·)和f(·)的平均数；所述图像获取模块还包括：用于对所述微小物体的旋转运动图像序列通过使用高斯低通滤波器进行降噪以及通过直方图均衡化增强目标微小物体与背景的对比度；

所述通过直方图均衡化增强目标微小物体与背景的对比度具体包括：把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布；

所述通过基于块匹配的自定义块算法对目标微小物体进行平动补偿的步骤具体包括：

生成圆形旋转模板；

利用所述圆形旋转模板进行块匹配，估计所述目标微小物体的运动轨迹；所述圆形旋转模板旋转一定的角度进行块匹配；

所述生成圆形旋转模板的步骤具体包括：

将目标图像转换为灰度等级图像；

通过自适应阈值算法将所述灰度等级图像转换为二值图像；

计算所述圆形旋转模板的圆心及半径，形成所述圆形旋转模板；

所述块匹配步骤具体包括：

在搜索窗口依据预设的匹配标准计算获得最佳匹配块作为参考块；

计算所述参考块到宏块当前位置的运动向量；

所述匹配标准具体由如下算式表示：

其中，(x,y)∈S，(i,j)∈M，S为搜索窗口，M为圆形旋转模板；

与所述运动向量相对应的搜索窗口中绝对差和最小的运动向量具体由如下算式计算：