CN103839259B - 一种图像搜寻最优匹配块方法及装置 - Google Patents

一种图像搜寻最优匹配块方法及装置 Download PDF

Info

Publication number
CN103839259B
CN103839259B CN201410050167.9A CN201410050167A CN103839259B CN 103839259 B CN103839259 B CN 103839259B CN 201410050167 A CN201410050167 A CN 201410050167A CN 103839259 B CN103839259 B CN 103839259B
Authority
CN
China
Prior art keywords
value
similarity
blocks
similarity value
search window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410050167.9A
Other languages
English (en)
Other versions
CN103839259A (zh
Inventor
周艳辉
葛晨阳
姚慧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Xian Jiaotong University
Original Assignee
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd, Xian Jiaotong University filed Critical NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201410050167.9A priority Critical patent/CN103839259B/zh
Publication of CN103839259A publication Critical patent/CN103839259A/zh
Application granted granted Critical
Publication of CN103839259B publication Critical patent/CN103839259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种图像搜寻最优匹配块方法及装置,通过对当前帧图像块与参考匹配块之间根据相似度计算方法求出的相似度值进行数据结构扩展,增加匹配搜索窗中所有匹配块中心点相对匹配搜索窗中心点之间位置的标定信息,并采用便于硬件实现的并行计算结构对数据扩展后的相似度值进行比较,且位置信息伴随该相似度值不变,从而快速准确地输出最小或最大相似度值,该值对应的匹配块即为最优匹配块,可输出最优匹配块及位置信息。本发明适用于一维、二维、三维等多维图像数据的匹配搜寻及位置标定。

Description

一种图像搜寻最优匹配块方法及装置
技术领域
本发明属于图像处理和集成电路技术领域,具体涉及一种便于硬件实现的多维图像搜寻最优匹配块方法及装置。
背景技术
在数字图像处理中,图像匹配技术是图像处理的重要内容,对图像进行特征提取、目标识别、图像解压缩等过程都不可或缺。在工业生产、生物医学、航空航天、国防安全等许多领域得到广泛应用,因此受到人们的重点关注。因原始图像在生成、传输和转换过程中可能会受到多种因素的影响,如各种各样的噪声、通道带宽等,往往会匹配过程出现误差或出错。而图像匹配过程中可能需要在大量图像数据中求取最优匹配块,即搜寻相似度值最大或最小值,并要求输出该值对应的最优匹配块及位置信息。比如在图像块匹配计算求取最优匹配块过程中,输入图像块与匹配搜索窗中对应大小的匹配块进行匹配计算输出相似度值,需要在大量相似度值中选取最小或最大值,并同时输出该值对应的匹配块位置信息。
发明内容
鉴于此,本发明的目的在于提供一种图像搜寻最优匹配块方法及装置,旨在快速准确地输出匹配过程中所求的最小或最大相似度值,并同时得到最优匹配块及其位置信息,提高图像块匹配的速度。
为实现以上发明目的,本发明采用以下技术方案:
一种图像搜寻最优匹配块方法,包括以下步骤:
步骤1、匹配块位置标定:对匹配搜索窗中所有匹配块中心点的图像数据位置相对匹配搜索窗的中心点位置(o点)进行标定;
步骤2、相似度值数据结构扩展:对匹配搜索窗中所有匹配块中心点对应的相似度值结合所标定的位置值进行数据结构扩展;
步骤3、相似度并行比较:对当前帧图像块与匹配搜索窗中所有匹配块进行相似度计算得到的、并已进行数据结构扩展的n个相似度值进行并行比较,求出最小或最大相似度值;
步骤4、最优匹配块输出:根据相似度计算公式选择最小或最大相似度值对应的位置信息所指示的匹配搜索窗中的匹配块作为最优匹配块输出,当前帧图像块与最优匹配块之间的偏移量由最小或最大相似度值对应的位置信息来表示。
一种图像搜寻最优匹配块装置,包括:
匹配块位置标定模块,用于对匹配搜索窗中所有匹配块中心点的图像数据位置相对匹配搜索窗的中心点位置(o点)进行标定;
相似度值数据结构扩展模块,用于对匹配搜索窗中所有匹配块中心点对应的相似度值结合所标定的位置值进行数据结构扩展;
相似度并行比较模块,用于对当前帧图像块与匹配搜索窗中所有匹配块进行相似度计算得到的、并已进行数据结构扩展的n个相似度值进行并行比较,求出最小或最大相似度值;
最优匹配块输出模块,用于根据相似度计算公式选择最小或最大相似度值对应的位置信息所指示的匹配搜索窗中的匹配块作为最优匹配块输出,当前帧图像块与最优匹配块之间的偏移量由最小或最大相似度值对应的位置信息来表示。
本发明不仅可用于快速计算图像最优匹配块的位置,也可用于其它领域的多维大数据比较。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。
附图说明
图1是本发明实施例的并行结构求最小或最大相似度值的装置结构图;
图2是本发明实施例的一维图像数据结构扩展;
图3是本发明实施例的二维图像数据结构扩展;
图4是本发明实施例的三维图像数据结构扩展;
图5是本发明实施例的图像数据最小值比较器。
具体实施方式
下面结合附图对本发明进行进一步的详细说明。
本发明的总体构思为:对当前帧图像块与参考匹配块之间根据相似度计算方法求出的相似度值进行数据结构扩展,增加匹配搜索窗中所有匹配块中心点相对匹配搜索窗中心点之间位置的标定信息,并采用便于硬件实现的并行计算结构对数据扩展后的相似度值进行比较,且位置信息伴随该相似度值不变,从而快速准确地输出最小或最大相似度值,该值对应的匹配块即为最优匹配块,可输出最优匹配块及位置信息,从而完成图像匹配过程。
本发明实施例的图像搜寻最优匹配块装置,包括:匹配块位置标定模块、相似度值数据结构扩展模块、相似度值并行比较模块和最优匹配块输出模块。
所述的匹配搜索窗是参考图像中用于在一定范围内搜寻与当前帧图像块最相似的匹配块的图像数据块blockM×N,大小为M×N,M、N为整数,其中心点为o点;假设匹配块为blockm×n,m、n是整数,一般M>m,N>=n;
所述的相似度值是当前帧图像块与参考匹配块之间根据相似度计算方法计算得到,相似度计算方法有很多种,如求SAD,即利用当前图像块与参考块之间对应像素的差绝对值之和表征二者的相似度;对于某些特殊图像,如二值图像而言,由于像素值取值为1或者0,也可以利用当前图像块与参考块之间的“与值”表征二者的相似度。由相似度计算方法决定在相似度值序列中求出最小值还是最大值,用该值表示当前帧图像块与参考匹配块之间相似度最高,即最匹配;
匹配块位置标定模块在对匹配搜索窗中所有匹配块中心点的图像数据位置相对匹配搜索窗的中心点位置(o点)进行标定。一维图像数据位置以匹配搜索窗中心点为中心向两侧递变,向左表示(-1,-2,-3....-n),向右表示(1,2,3....n);二维图像数据以匹配搜索窗中心点为中心向X、Y方向递变(x,y),其中x,y∈-n,...-2,-1,0,1,2...n;三维图像数据以匹配搜索窗中心点为中心向X、Y、Z方向递变(x,y,z),其中x,y,z∈-n,...-2,-1,0,1,2...n;
相似度值数据结构扩展模块对匹配搜索窗中所有匹配块中心点对应的相似度值结合所标定的位置值进行数据结构扩展,一维图像数据结构为{符号位,位置值,相似度值},二维图像数据结构为{{符号位,X方向位置值},{符号位,Y方向位置值},相似度值},三维图像数据结构为{{符号位,X方向位置值},{符号位,Y方向位置值},{符号位,Z方向位置值},相似度值};
相似度值并行比较模块对当前帧图像块与匹配搜索窗中所有匹配块进行相似度计算得到的、并已进行数据结构扩展的n个相似度值进行比较,求出最小或最大相似度值。具体过程为,该n个相似度值组成的相似度值序列并行输入至包括多级二输入比较单元网络的相似度值并行比较模块,对序列数据值按时钟节拍进行两两并行比较,其中每次比较统一选择两个数据值中的最小或最大值输出至后一级,并保持其符号位及位置值不变;
经第一个时钟节拍的比较,原输入n个相似度值变为个(2k-1≤n≤2k),如n为奇数,则第n个相似度值用寄存器延时一个时钟参与下一个时钟节拍的比较,经k个时钟节拍即获得该相似度值序列的最小或最大值,并同时输出该最小或最大值对应的位置信息,如图1所示。其中,相似度值例如为SAD、SATD等。
最优匹配块输出模块选择最小或最大相似度值对应的位置信息所指示的匹配搜索窗中的匹配块作为最优匹配块输出,该匹配块即为当前帧图像块根据相似度计算公式拟搜寻的最优匹配块,当前帧图像块与最优匹配块之间的偏移量(运动向量)可用最小或最大相似度值对应的位置信息来表示。
为了清楚说明,下文中将结合图2、图3、图4、图5来描述本发明实施例的图像搜寻最优匹配块方法。
步骤1、匹配块位置标定:对匹配搜索窗中所有匹配块中心点的图像数据位置相对匹配搜索窗的中心点位置(o点)进行标定,如图2所示,一维图像数据位置以匹配搜索窗中心点(o点)为中心向两侧递变,向左表示-1,-2,-3....-n,向右表示(1,2,3....n);如图3所示,二维图像数据以匹配搜索窗中心点(o点)为中心向X、Y方向递变(x,y),其中x,y∈-n,...-2,-1,0,1,2...n,位置值示意见图3;如图4所示,三维图像数据以匹配搜索窗中心点(o点)为中心向X、Y、Z方向递变(x,y,z),其中x,y,z∈-n,...-2,-1,0,1,2...n,垂直于Z轴的X、Y平面位置值示意见图4。
步骤2、相似度值数据结构扩展:对匹配搜索窗中所有匹配块中心点对应的相似度值结合所标定的位置值进行数据结构扩展,图2所示以二进制数据表示的一维图像数据扩展结构{符号位,位置值,相似度值};图3所示以二进制数据表示的二维图像数据结构{{符号位,X方向位置值},{符号位,Y方向位置值},相似度值};图4所示以三维图像数据结构{{符号位,X方向位置值},{符号位,Y方向位置值},{符号位,Z方向位置值},相似度值};其中符号位为1位二进制数表示,1表示负,对应o点X左方向或Y下方向像素;0表示正,对应o点X右方向或Y上方向像素,位置值的位宽由比较数据的个数决定,如数据个数小于128,则可采用7位二进制数表示。
步骤3、相似度并行比较:对当前帧图像块与匹配搜索窗中所有匹配块进行相似度计算得到的、并已进行数据结构扩展的n个相似度值进行并行比较,求出最小或最大相似度值。具体过程,该n个相似度值组成的相似度值序列并行输入至包括多级二输入比较单元网络的相似度并行比较模块,对序列数据值按时钟节拍进行两两并行比较,其中每次比较统一选择两个数据值中的最小或最大值输出至后一级,并保持其符号位及位置值不变,如图5所示的二输入最小值比较器,在选择输出最小值对应的数据值同时其原位置信息保持不变。经第一个时钟节拍的比较,原输入n个相似度值变为
(2k-1≤n≤2k),如n为奇数,则最后一个相似度值用寄存器延时一个时钟参与下一个时钟节拍的比较,经k个时钟节拍即获得该相似度值序列的最小或最大值,并同时输出该最小或最大值对应的位置信息(即该最小或最大值对应的匹配块在匹配搜索窗中的位置信息)。其中,相似性度量值例如为SAD、SATD等。
步骤4、最优匹配块输出:选择最小或最大相似度值对应的位置信息所指示的匹配搜索窗中的匹配块作为最优匹配块输出,该匹配块即为当前帧图像块根据相似度计算公式拟搜寻的最优匹配块,当前帧图像块与最优匹配块之间的偏移量(运动向量)可用最小或最大相似度值对应的位置信息来表示。
优选地,如一维图像数据比较,可先分别进行X轴或Y轴正方向和负方向数据的比较,各自得到最小或最大值后再进行比较;而二维图像数据比较,可按X/Y轴上下左右四个区域的数据进行比较,各自得到该区域的最小或最大值后再进行比较;而三维图像数据比较,可按X/Y/Z轴上下左右前后八个空间区域的数据进行比较,各自得到该空间区域的最小或最大值后再进行比较。
作为示例,本发明用于一维、二维、三维图像数据比较的位置标定,然而该方法同样也适用于其它多维空间中图像数据的位置标定及比较。本发明中进行两两比较求最小或最大值,其位置标定方法同样也适用于其它数据比较方法,比如先采用多个数据输入的比较子模块输出1个或多个最小/最大值,在下一个时钟节拍中对这批最小或最大值再采用相同的比较子模块进行比较,最终输出所有图像数据的1个或多个最小/最大值。
虽然上述的实施例在特定的系统中完成,然其并非限定本发明,本发明可类似的应用到相似的大量数据比较系统中,包括一维、二维、三维等多维数据。因而在不脱离本发明的精神和范围内的修改和完善,均应包含在上述的权利要求范围内。

Claims (8)

1.一种图像搜寻最优匹配块方法,包括以下步骤:
步骤1、匹配块位置标定:对匹配搜索窗中所有匹配块中心点的图像数据位置相对匹配搜索窗的中心点位置o点进行标定;
步骤2、相似度值数据结构扩展:对匹配搜索窗中所有匹配块中心点对应的相似度值结合所标定的位置值进行数据结构扩展;
步骤3、相似度并行比较:对当前帧图像块与匹配搜索窗中所有匹配块进行相似度计算得到的、并已进行数据结构扩展的n个相似度值进行并行比较,求出最小或最大相似度值;
步骤4、最优匹配块输出:根据相似度计算公式,选择最小或最大相似度值对应的位置信息所指示的匹配块作为最优匹配块输出,当前帧图像块与最优匹配块之间的偏移量由最小或最大相似度值对应的位置信息来表示,
其中,步骤1中,一维图像数据的位置值以匹配搜索窗中心点为中心向两侧递变,向左表示为(-1,-2,-3....-n),向右表示为(1,2,3....n);二维图像数据的位置值以匹配搜索窗中心点为中心向X、Y方向递变(x,y),其中x,y∈-n,....-2,-1,0,1,2...n;三维图像数据的位置值以匹配搜索窗中心点为中心向X、Y、Z方向递变(x,y,z),其中x,y,z∈-n,...-2,-1,0,1,2...n。
2.根据权利要求1所述的方法,步骤2中,一维图像数据的扩展结构为{符号位,位置值,相似度值};二维图像数据的扩展结构为{{符号位,X方向位置值},{符号位,Y方向位置值},相似度值};三维图像数据的扩展结构为{{符号位,X方向位置值},{符号位,Y方向位置值},{符号位,Z方向位置值},相似度值}。
3.根据权利要求2所述的方法,其中,所述扩展结构均为二进制表示,符号位为1位二进制数,1表示负,对应o点X左方向或Y下方向像素;0表示正,对应o点X右方向或Y上方向像素,位置值的位宽由比较数据的个数决定。
4.根据权利要求1所述的方法,步骤3中,该n个相似度值组成的相似度值序列并行输入至包括多级二输入比较单元网络的相似度并行比较模块,对序列数据值按时钟节拍进行两两并行比较,其中每次比较统一选择两个数据值中的最小或最大值输出至后一级,并保持其符号位及位置值不变。
5.一种图像搜寻最优匹配块装置,包括:
匹配块位置标定模块,用于对匹配搜索窗中所有匹配块中心点的图像数据位置相对匹配搜索窗的中心点位置o点进行标定;
相似度值数据结构扩展模块,用于对匹配搜索窗中所有匹配块中心点对应的相似度值结合所标定的位置值进行数据结构扩展;
相似度并行比较模块,用于对当前帧图像块与匹配搜索窗中所有匹配块进行相似度计算得到的、并已进行数据结构扩展的n个相似度值进行并行比较,求出最小或最大相似度值;
最优匹配块输出模块,用于根据相似度计算公式选择最小或最大相似度值对应的位置信息所指示的匹配搜索窗中的匹配块作为最优匹配块输出,当前帧图像块与最优匹配块之间的偏移量由最小或最大相似度值对应的位置信息来表示,
其中,一维图像数据的位置值以匹配搜索窗中心点为中心向两侧递变,向左表示为(-1,-2,-3....-n),向右表示为(1,2,3....n);二维图像数据的位置值以匹配搜索窗中心点为中心向X、Y方向递变(x,y),其中x,y∈-n,...-2,-1,0,1,2...n;三维图像数据的位置值以匹配搜索窗中心点为中心向X、Y、Z方向递变(x,y,z),其中x,y,z∈-n,...-2,-1,0,1,2...n。
6.根据权利要求5所述的装置,一维图像数据的扩展结构为{符号位,位置值,相似度值};二维图像数据的扩展结构为{{符号位,X方向位置值},{符号位,Y方向位置值},相似度值};三维图像数据的扩展结构为{{符号位,X方向位置值},{符号位,Y方向位置值},{符号位,Z方向位置值},相似度值}。
7.根据权利要求6所述的装置,其中,所述扩展结构均为二进制表示,符号位为1位二进制数,1表示负,对应o点X左方向或Y下方向像素;0表示正,对应o点X右方向或Y上方向像素,位置值的位宽由比较数据的个数决定。
8.根据权利要求5所述的装置,所述相似度并行比较模块包括多级二输入比较单元网络,该n个相似度值组成的相似度值序列并行输入至相似度并行比较模块,对序列数据值按时钟节拍进行两两并行比较,其中每次比较统一选择两个数据值中的最小或最大值输出至后一级,并保持其符号位及位置值不变。
CN201410050167.9A 2014-02-13 2014-02-13 一种图像搜寻最优匹配块方法及装置 Active CN103839259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410050167.9A CN103839259B (zh) 2014-02-13 2014-02-13 一种图像搜寻最优匹配块方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410050167.9A CN103839259B (zh) 2014-02-13 2014-02-13 一种图像搜寻最优匹配块方法及装置

Publications (2)

Publication Number Publication Date
CN103839259A CN103839259A (zh) 2014-06-04
CN103839259B true CN103839259B (zh) 2016-11-23

Family

ID=50802725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410050167.9A Active CN103839259B (zh) 2014-02-13 2014-02-13 一种图像搜寻最优匹配块方法及装置

Country Status (1)

Country Link
CN (1) CN103839259B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021383A (zh) * 2014-06-27 2014-09-03 广东远峰汽车电子有限公司 车载多媒体系统的功能状态的识别方法及装置
CN104809705B (zh) * 2015-04-29 2018-01-12 厦门美图之家科技有限公司 一种基于阈值块匹配的图像去噪的方法和系统
WO2019000300A1 (zh) * 2017-06-29 2019-01-03 北京清影机器视觉技术有限公司 二维数据匹配方法、装置和逻辑电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
CN103020988A (zh) * 2012-11-27 2013-04-03 西安交通大学 一种激光散斑图像的运动向量生成方法
CN103425764A (zh) * 2013-07-30 2013-12-04 广东工业大学 一种基于视频的车辆匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
CN103020988A (zh) * 2012-11-27 2013-04-03 西安交通大学 一种激光散斑图像的运动向量生成方法
CN103425764A (zh) * 2013-07-30 2013-12-04 广东工业大学 一种基于视频的车辆匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Population-Based Incremental Learning:A Method for Integrating Genetic Search Based Function Optimization and Competitive Learning;Shumeet Baluja;《Population Based Incremental Learning》;19940602;第1-41页 *
一种块匹配的图像修复算法;张显全 等;《光电子·激光》;20120430;第23卷(第4期);805-811 *
一种改进的紧凑遗传算法及其在分形图像压缩中的应用;周晨光 等;《中国图象图形学报》;20070430;第12卷(第4期);597-602 *

Also Published As

Publication number Publication date
CN103839259A (zh) 2014-06-04

Similar Documents

Publication Publication Date Title
Yu et al. Lite-hrnet: A lightweight high-resolution network
CN110738143A (zh) 定位方法及装置、设备、存储介质
CN112070821B (zh) 一种低功耗立体匹配系统及获取深度信息的方法
CN109377530A (zh) 一种基于深度神经网络的双目深度估计方法
CN104778688A (zh) 点云数据的配准方法及装置
EP3872764B1 (en) Method and apparatus for constructing map
CN102999913A (zh) 一种基于可信点传播的局部立体匹配方法
CN112862874A (zh) 点云数据匹配方法、装置、电子设备及计算机存储介质
CN103839259B (zh) 一种图像搜寻最优匹配块方法及装置
WO2021057309A1 (zh) 跟踪目标确定方法及相关设备
CN114119371B (zh) 视频超分模型训练方法和装置、视频超分处理方法和装置
CN111160378A (zh) 基于单张图像的多任务增强的深度估计系统
CN115860091A (zh) 一种基于正交约束的深度特征描述符学习方法
CN115329111A (zh) 一种基于点云与影像匹配的影像特征库构建方法及系统
Ling et al. Lite-stereo: a resource-efficient hardware accelerator for real-time high-quality stereo estimation using binary neural network
CN116051926B (zh) 图像识别模型的训练方法、图像识别方法和装置
CN114638846A (zh) 拾取位姿信息确定方法、装置、设备和计算机可读介质
CN115393826A (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
Zhang et al. Cross-CBAM: A Lightweight network for Scene Segmentation
CN116310615A (zh) 图像处理方法、装置、设备及介质
CN202931463U (zh) 基于特征块的视频稳像装置
CN113283423A (zh) 基于生成网络的自然场景扭曲文本图像矫正方法及系统
CN111292365A (zh) 生成深度图的方法、装置、电子设备和计算机可读介质
CN108804475B (zh) 搜索颜色相似图片的方法和装置
Zhu et al. LRSNet: a high-efficiency lightweight model for object detection in remote sensing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant