CN105263026B - 基于概率统计与图像梯度信息的全局矢量获取方法 - Google Patents
基于概率统计与图像梯度信息的全局矢量获取方法 Download PDFInfo
- Publication number
- CN105263026B CN105263026B CN201510655270.0A CN201510655270A CN105263026B CN 105263026 B CN105263026 B CN 105263026B CN 201510655270 A CN201510655270 A CN 201510655270A CN 105263026 B CN105263026 B CN 105263026B
- Authority
- CN
- China
- Prior art keywords
- mrow
- motion vector
- image
- macro block
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于概率统计和图像梯度信息的全局矢量获取方法，主要用于解决两幅图像匹配过程中全局矢量求解不精确，运算时间长，易造成匹配失真等问题。其实现步骤为：1)利用横纵梯度算子分别对待处理图像进行二维卷积处理；2)计算梯度信息矩阵；3)对梯度信息矩阵进行宏块划分，并求各宏块梯度和；4)对宏块梯度和进行排序，并在最大值附近确定待匹配块；5)利用全搜索法处理待匹配块；6)利用局部运动矢量概率分布函数确定全局运动矢量。本发明利用图像灰度信息及引入局部运动矢量概率密度函数，提高了全局矢量精度，且运算复杂度低，并行性好，易于实时实现，可用于电子稳像、视频压缩等带有图像匹配过程的数字图像及视频处理。
Description
技术领域
本发明属于数字图像处理技术领域，特别涉及全局矢量的获取方法，可用于完成非平稳状态下的电子稳像、视频压缩等过程。
背景技术
随着数字图像技术的发展和普及，单一图像的处理已经不能满足人们日益增长的需求，对连续图像序列的处理以及视频处理正在增多。比如在电子稳像领域，人们使用电子稳像技术，得到稳定清晰的高质量视频；在视频压缩领域，人们使用更为高效的压缩算法产生更小容量的清晰视频。
在上述各类技术中，其关键环节均在于两幅图像间的准确匹配，以寻找两图之间的相关信息。然而，该环节的精度与速度严重依赖于全局矢量的获取过程。因而，全局矢量的获取则成为了该类技术的重中之重。其常用的方法是对连续图像序列或视频直接进行分块搜索，并遍历宏块，计算其平均运动矢量以作为当前图像的全局运动矢量。但是，这样不但没有充分利用到图像的灰度信息，还需要遍历图像中各个像素，极大的增加了运算时间；同时也因为图像边缘匹配失真等问题造成匹配结果不准确，影响算法精度。因而，如何准确、高效的确定全局运动矢量，成为了一个至关重要的问题。
目前为止，已提出的全局矢量获取算法有以下几种：
三星电子株式会社提出的专利申请“块匹配方法中采用遗传算法进行运动矢量初始化的方法”，专利申请号为CN98118490，公开了一种依据在应用了遗传算法的块匹配方法中被检测形状的特征块的初始化方法。该方法首先从一幅图像的参考帧中检测出一个预定形状，并将该图像分段成预定块。然后按照各块与该形状的关系特征划分被分段图像的块，最后通过应用合适的运动矢量到各特征块中来初始化运动矢量。然而，该算法在划分特征块时严重依赖从参考帧中检测到的特定形状，故在复杂运动背景干扰下的检测效果并不是很好。
汤姆森许可公司提出的专利申请“利用快速搜索块匹配的运动估计”，专利申请号为CN200480020433，公开了一种视频编码和译码中利用快速搜索块匹配的运动估计的装置和方法。该方法让一个未压缩图像块与至少一个特定参考图片相对应地块匹配该图像块，同时比较该图像块像素的归一化和参考图像像素的归一化，并通过逐次消元法来排除非最佳搜索点，最终计算相应于该图像块和该至少一个特定参考图片之间差异的运动矢量，以进行运动补偿。
中国科学院自动化研究所提出的专利申请“一种具有最小误差的快速变尺寸块匹配的运动估计方法”，专利申请号为CN200610007814，公开了一种改进的“自上而下”的变尺寸块匹配方法和宏模式预测方法。该方法将匹配误差最小的运动矢量作为候选量，并通过判断匹配误差阈值以及通过改进的变尺寸块匹配的方法确定全局运动矢量，实现运动估计与补偿。然而，该算法在预测后一帧时，需要用到前一帧的宏块选择结果，故在连续预测时存在误差累积效应。
上海师范大学提出的专利申请“一种新型块匹配运动估计方法”，专利申请号为CN201010550570，公开了一种新型块匹配运动估计方法。该方法获取视频图像中与当前宏块相邻的上下左右四个宏块的运动矢量，根据所述运动矢量确定搜索中心，并在搜索范围内利用改进的最小绝对误差准则进行匹配，最终确定全局运动矢量。然而，该算法在匹配过程中需要人为选择不同的模板进行实现，此步骤在不同场景的应用中限制了算法的实现速度，同时不同模板的选取也将极大影响算法精度。
发明内容
本发明的目的在于针对上述已有技术中的不足，提出一种基于概率统计与图像梯度信息块的全局矢量获取方法，以减少运算时间，提高图像匹配精度和在复杂运动背景干扰下的检测效果。
局部抗干扰能力。
实现本发明目的技术思路是：根据图像横、纵梯度信息分布，划分梯度信息宏块，在数量不超过总宏块数15％的前提下，确定待匹配块，依次求解局部运动矢量，并利用概率分布函数确定全局运动矢量。其具体步骤包括如下：
(1)对于待处理图像，分别利用横向梯度算子Dv和纵向梯度算子Dh对其进行二维卷积处理，得到横向梯度信息矩阵MatDv(x,y)，和纵向梯度信息矩阵MatDh(x,y)，其中，x为图像行坐标，y为图像列坐标，Dv取值为[1,-1；0,0]，Dh取值为[1,0；-1,0]；
(2)利用横向梯度信息矩阵MatDv(x,y)和纵向梯度信息矩阵MatDh(x,y)，计算梯度信息矩阵Matg(x,y)：
Matg(x,y)＝MatDv(x,y)2+MatDh(x,y)2
其中，x∈m，y∈n，m为图像行数，n为图像列数；
(3)将梯度信息矩阵Matg(x,y)划分为大小相同的N个宏块，并分别对每个宏块求其梯度和BLKi：
其中，i为宏块编号，r为宏块行数，c为宏块列数；
(4)根据步骤(3)中所得结果，对所有宏块的梯度和值进行排序，并选取梯度最大值附近的M个宏块作为待匹配块，M取值为宏块总数量N的15％；
(5)在参考图像内，分别对以上M个待匹配块进行全路径搜索法处理，得到M个待匹配块的局部运动矢量其中k∈[1,M]；
(6)统计M个局部运动矢量出现次数，得到局部运动矢量概率密度函数
(7)根据概率密度函数选择其中概率最大值对应的局部运动矢量作为全局运动矢量即满足：
本发明与现有技术相比具有以下优点：
第一，本发明将图像像素灰度信息与块匹配法结合，通过寻找在横纵梯度最大值附近的最优匹配块来缩小匹配范围，不仅排除了无用或冗余信息，提高了匹配精度，而且降低了运算复杂度，大幅减小运算时间。
第二，本发明在确定全局运动矢量时引入了局部运动矢量的概率分布函数，通过求解概率最大处的局部运动矢量来确定全局矢量，以确保全局矢量在概率上最优。
第三，本发明在搜索宏块时采用全路径搜索法，不仅可以确保局部运动矢量的精度，而且继承了原有块匹配算法的并行性，使本发明更加易于实时实现。
下面结合附图和实施例对本发明进行详细说明。
附图说明
图1为本发明的实现总流程图；
图2为本发明中求解待匹配宏块局部运动矢量的子流程图。
具体实施方式
参照图1，本发明的实现步骤如下：
步骤1，获得待匹配块。
本步骤的具体实现如下：
1a)利用梯度算子对待匹配图像进行二维卷积处理：
分别利用横向梯度算子Dv和纵向梯度算子Dh对待匹配图像进行二维卷积处理，得到横向梯度信息矩阵MatDv(x,y)，以及纵向梯度信息矩阵MatDh(x,y)，其中Dv取值为[1,-1；0,0]，Dh取值为[1,0；-1,0]，可随实际情况调整；
2a)计算梯度信息矩阵Matg(x,y)：
针对步骤(1a)所得的横、纵梯度信息矩阵，计算梯度信息矩阵Matg(x,y)：
Matg(x,y)＝MatDv(x,y)2+MatDh(x,y)2x∈m，y∈n
其中，x为图像行坐标，y为图像列坐标，m为图像行数，n为图像列数；
3a)对梯度信息矩阵Matg(x,y)划分宏块并求其梯度和：
将梯度信息矩阵Matg(x,y)均匀划分为大小相同的N个宏块，宏块尺寸与数量根据实际需求而定，并分别对每个宏块求其梯度之和，用BLKi表示：
其中，i为宏块编号，r为该宏块行数，c为宏块列数；
4a)对各宏块梯度和值BLKi进行排序，确定待匹配块：
将BLKi值依次从大到小进行排序，并选取最大值附近的M个宏块作为待匹配块，舍弃其他宏块。本实例选取极大值附近的15个宏块，待匹配块数量M可视实际情况而定，一般为宏块总数量N的15％。
步骤2，在参考图像内使用全路径搜索法处理待匹配块。
参考图2，本步骤的具体实现如下：
2a)对于待处理图像中的第s个待匹配块，根据其在待处理图像中的坐标，确定其对应于参考图像中左上角处坐标(a,b)，其中s∈[1,M]；本实例中待匹配块在待处理图像和参考图像中坐标相同，均为(a,b)；
2b)在参考图像中，以坐标(a,b)所对应的待匹配块s为中心，确定一个大小为[dxmax,dymax]的搜索范围，其中，dxmax为水平最大可搜索范围，dymax为竖直最大可搜索范围，本实例中dxmax＝51像素，dymax＝51像素；
2c)在搜索范围中设定一个与待匹配块大小相同的区域，称之为滑窗并使其位于搜索范围左上角，滑窗水平宽度为X，竖直高度为Y；
2d)对于滑窗求其与待匹配块s的平均绝对误差函数MAD(k,l)，其中(k,l)为相对于s的坐标偏移量，即局部运动矢量：
其中，x为图像水平坐标，y为图像竖直坐标；
2e)以一个像素为单位滑动滑窗，并重复执行(2d)，直至滑窗遍历搜索范围[dxmax,dymax]内全部像素点，得到所有MAD(k,l)值；
2f)对所有MAD(k,l)值进行排序，并选取其中最小值，以该最小值所对应的运动矢量作为匹配块s的局部运动矢量；
2g)对下一个待匹配块重复执行(2a)-(2f)，直至确定全部M个待匹配块的运动矢量其中k∈[1,M]。
步骤3，计算M个待匹配块的运动矢量概率密度函数并确定全局运动矢量
3a)对以上得到的M个局部运动矢量，统计其中不同矢量的出现次数，得到局部运动矢量的概率密度函数
3b)根据概率密度函数选择其中概率最大值对应的局部运动矢量作为全局运动矢量即满足：
以上描述仅是本发明的一个具体实例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。
Claims (2)
1.一种基于概率统计与图像梯度信息的全局矢量获取方法，包括如下步骤：
(1)对于待处理图像，分别利用横向梯度算子Dv和纵向梯度算子Dh对其进行二维卷积处理，得到横向梯度信息矩阵MatDv(x,y)，和纵向梯度信息矩阵MatDh(x,y)，其中，x为图像行坐标，y为图像列坐标，Dv取值为[1,-1；0,0]，Dh取值为[1,0；-1,0]；
(2)利用横向梯度信息矩阵MatDv(x,y)和纵向梯度信息矩阵MatDh(x,y)，计算梯度信息矩阵Matg(x,y)：
Matg(x,y)＝MatDv(x,y)2+MatDh(x,y)2
其中，x∈m，y∈n，m为图像行数，n为图像列数；
(3)将梯度信息矩阵Matg(x,y)划分为大小相同的N个宏块，并分别对每个宏块求其梯度和BLKi：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>BLK</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>r</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>c</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>Mat</mi>
<mi>g</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>,</mo>
<mi>N</mi>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，i为宏块编号，r为宏块行数，c为宏块列数；
(4)根据步骤(3)中所得结果，对所有宏块的梯度和值进行排序，并选取梯度最大值附近的M个宏块作为待匹配块，M取值为宏块总数量N的15％；
(5)在参考图像内，分别对以上M个待匹配块进行全路径搜索法处理，得到M个待匹配块的局部运动矢量其中k∈[1,M]；
(6)统计M个局部运动矢量出现次数，得到局部运动矢量概率密度函数
(7)根据概率密度函数选择其中概率最大值对应的局部运动矢量作为全局运动矢量即满足：
2.根据权利要求1所述的全局矢量获取方法，其中所述步骤(5)，按如下步骤进行：
(5a)对待处理图像中的第s个待匹配块，s∈[1,M]，根据其在待处理图像中的坐标，确定其对应于参考图像中左上角顶点处的坐标(a,b)；
(5b)在参考图像中，以坐标(a,b)所对应的待匹配块s为中心，确定一个大小为[dxmax,dymax]的搜索范围，其中，dxmax为水平最大可搜索范围，dymax为竖直最大可搜索范围；
(5c)在搜索范围中设定一个与待匹配块大小相同的区域，称之为滑窗并使其位于搜索范围左上角，滑窗水平宽度为X，竖直高度为Y；
(5d)对于滑窗求其与待匹配块s的平均绝对误差函数MAD(k,l)，其中(k,l)为相对于s的坐标偏移量，即局部运动矢量：
<mrow>
<mi>M</mi>
<mi>A</mi>
<mi>X</mi>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>,</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>X</mi>
<mo>&CenterDot;</mo>
<mi>Y</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>=</mo>
<mi>a</mi>
</mrow>
<mi>X</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mi>b</mi>
</mrow>
<mi>Y</mi>
</munderover>
<mo>|</mo>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mi>s</mi>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>k</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
其中，x为图像水平坐标，y为图像竖直坐标；
(5e)以一个像素为单位滑动滑窗，并重复执行(5d)，直至滑窗遍历搜索范围[dxmax,dymax]内全部像素点，得到所有MAD(k,l)值；
(5f)对所有MAD(k,l)值进行排序，并选取其中最小值，以该最小值所对应的运动矢量作为匹配块s的局部运动矢量；
(5g)对下一个待匹配块重复执行(5a)-(5f)，直至确定全部M个待匹配块的运动矢量其中k∈[1,M]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510655270.0A CN105263026B (zh) | 2015-10-12 | 2015-10-12 | 基于概率统计与图像梯度信息的全局矢量获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510655270.0A CN105263026B (zh) | 2015-10-12 | 2015-10-12 | 基于概率统计与图像梯度信息的全局矢量获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105263026A CN105263026A (zh) | 2016-01-20 |
| CN105263026B true CN105263026B (zh) | 2018-04-17 |
Family
ID=55102507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510655270.0A Active CN105263026B (zh) | 2015-10-12 | 2015-10-12 | 基于概率统计与图像梯度信息的全局矢量获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105263026B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110933428B (zh) * | 2019-10-17 | 2023-03-17 | 西安万像电子科技有限公司 | 图像处理方法及装置 |
| CN110839157B (zh) * | 2019-10-17 | 2023-03-17 | 西安万像电子科技有限公司 | 图像处理方法及装置 |
| CN111524376B (zh) * | 2020-04-30 | 2021-05-14 | 云南路翔智联生态城市发展股份有限公司 | 智能交通指示发光装置、监控装置、系统及方法 |
| CN111787179B (zh) * | 2020-05-30 | 2022-02-15 | 上海电力大学 | 一种图像哈希获取方法、图像安全认证方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206638A (ja) * | 2002-12-26 | 2004-07-22 | Sony Corp | 動きベクトルの検出装置および検出方法 |
| CN101309424A (zh) * | 2008-07-04 | 2008-11-19 | 四川虹微技术有限公司 | 一种快速运动估计的方法 |
| CN103237156A (zh) * | 2013-04-02 | 2013-08-07 | 哈尔滨工业大学 | 应用于电子稳像的改进块匹配算法 |
| CN103426182A (zh) * | 2013-07-09 | 2013-12-04 | 西安电子科技大学 | 基于视觉注意机制的电子稳像方法 |
-
2015
- 2015-10-12 CN CN201510655270.0A patent/CN105263026B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004206638A (ja) * | 2002-12-26 | 2004-07-22 | Sony Corp | 動きベクトルの検出装置および検出方法 |
| CN101309424A (zh) * | 2008-07-04 | 2008-11-19 | 四川虹微技术有限公司 | 一种快速运动估计的方法 |
| CN103237156A (zh) * | 2013-04-02 | 2013-08-07 | 哈尔滨工业大学 | 应用于电子稳像的改进块匹配算法 |
| CN103426182A (zh) * | 2013-07-09 | 2013-12-04 | 西安电子科技大学 | 基于视觉注意机制的电子稳像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105263026A (zh) | 2016-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
| US6990233B2 (en) | Apparatus and method for extracting object based on feature matching between segmented regions in images | |
| US6380986B1 (en) | Motion vector search method and apparatus | |
| CN105263026B (zh) | 基于概率统计与图像梯度信息的全局矢量获取方法 | |
| CN101699865B (zh) | 一种块运动自适应的亚像素快速搜索方法 | |
| CN112203095B (zh) | 视频运动估计方法、装置、设备及计算机可读存储介质 | |
| CN101366279B (zh) | 自适应的运动搜索范围 | |
| US20030189980A1 (en) | Method and apparatus for motion estimation between video frames | |
| CN106210449B (zh) | 一种多信息融合的帧率上变换运动估计方法及系统 | |
| US20070041445A1 (en) | Method and apparatus for calculating interatively for a picture or a picture sequence a set of global motion parameters from motion vectors assigned to blocks into which each picture is divided | |
| CN102291581B (zh) | 支持帧场自适应运动估计的实现方法 | |
| CN101120594B (zh) | 全局运动估计 | |
| CN102801972A (zh) | 基于特征的运动矢量估计和传递方法 | |
| CN105100807A (zh) | 一种基于运动矢量后处理的帧率提升方法 | |
| CN113112519A (zh) | 基于感兴趣目标分布的关键帧筛选方法 | |
| CN1956547A (zh) | 运动矢量检测装置及运动矢量检测方法 | |
| US8837595B2 (en) | Motion estimation method | |
| CN101600106B (zh) | 一种全局运动估计方法及装置 | |
| CN109643437A (zh) | 图像处理装置、立体照相机装置以及图像处理方法 | |
| CN106658024B (zh) | 一种快速的视频编码方法 | |
| CN1201589C (zh) | 运动估计方法和装置 | |
| CN101365133B (zh) | 一种dct域插值舍入误差补偿方法 | |
| CN110827324B (zh) | 一种视频目标跟踪方法 | |
| CN1713733A (zh) | 一种基于mpeg－4的视频对象快速运动估值方法 | |
| CN110519597B (zh) | 一种基于hevc的编码方法、装置、计算设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210802 Address after: 710000 room 4-2-4457, floor 2, building 4, Free Trade Industrial Park, No. 2168, Zhenghe Fourth Road, Fengdong new town, Xi'an City, Shaanxi Province Patentee after: Xi'an Jiashu Zhihua Information Technology Co.,Ltd. Address before: 710071 No. 2 Taibai South Road, Shaanxi, Xi'an Patentee before: XIDIAN University |
|
| TR01 | Transfer of patent right |