CN104284172A - 影像匹配方法及立体匹配系统 - Google Patents

影像匹配方法及立体匹配系统 Download PDF

Info

Publication number
CN104284172A
CN104284172A CN201310279902.9A CN201310279902A CN104284172A CN 104284172 A CN104284172 A CN 104284172A CN 201310279902 A CN201310279902 A CN 201310279902A CN 104284172 A CN104284172 A CN 104284172A
Authority
CN
China
Prior art keywords
matching
image block
stereo
result
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310279902.9A
Other languages
English (en)
Inventor
周磊
刘广智
周正伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN201310279902.9A priority Critical patent/CN104284172A/zh
Priority to US14/033,515 priority patent/US9042638B2/en
Publication of CN104284172A publication Critical patent/CN104284172A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Abstract

本发明公开了一种影像匹配方法,用于一立体匹配系统中执行一第一影像区块至一第二影像区块的立体匹配,该影像匹配方法包含有根据第一匹配算法,对该第一影像区块至该第二影像区块执行匹配运算以产生第一匹配结果;根据第二匹配算法,对该第一影像区块与该第二影像区块间执行匹配运算以产生第二匹配结果与第三匹配结果;根据第二匹配结果与第三匹配结果,获得该第一影像区块的匹配误差值及匹配相似度;以及根据匹配误差值与匹配相似度,判断该第一影像区块的立体匹配结果。

Description

影像匹配方法及立体匹配系统
技术领域
本发明涉及一种影像匹配方法及立体匹配系统,尤涉及一种可配合影像中对象的特性,选择出适当立体匹配结果的影像匹配方法及立体匹配系统。
背景技术
随着影像技术不断进步,消费者可挑选显示装置的尺寸与功能日益多元,而为了满足不同的使用者需求,各家显示装置的制造商也设法提供输出效能及分辨率更佳的新产品,其中最值得关注的产品之一是具有三维立体显示的显示装置。而一般常见的三维立体显示技术有偏光式(Polarized)、交错式(Interlaced)或分时式(Anaglyph)等显示方式,其原理为将相关于深度信息的不同视角影像利用特殊光学设计分别投射到人的左右眼,如此可使人的左右眼分别看到不同视角的影像,并经过人脑的合成后而产生三维深度信息,让人感觉出三维立体的影像。
当具有三维立体显示功能的显示装置欲显示的来源影像为不具有深度信息的二维影像时,由于来源影像缺少深度信息,故显示装置无法产生出各种相关于深度信息的多视角(multi-view)影像,以投射到人的左右眼。在此情形下,显示装置需另针对二维影像进行分析以获得深度信息,进而才能显示出多视角影像。在现有技术中,需利用如多个影像撷取装置分别位于不同位置来获得至少两个不同的视角影像,才可分析出深度信息,而针对两个不同视角影像来进行分析以获得深度信息的流程称为立体匹配(stereo matching),其原理为于两个不同视角影像间相互搜寻是否有匹配的对象(或者也可为特征或像素点等),进而获得两个不同视角影像中匹配对象位置值的差值,成为视差(disparity)信息(即所谓的视差图),并通过视差信息可计算出匹配对象的深度信息。
然而,当于两个不同视角影像间执行立体匹配来取得深度信息时,由于影像的景观不尽相同,且用来取得兩不同视角影像的两影像撷取装置间位置距离也不相同,因此如何于两不同视角影像间正确地搜寻出匹配对象并获得正确的视差信息将会影响深度信息的准确性。例如,当两影像的对象发生匹配错误时,例如左视角影像的A对象匹配至右视角影像的B对象而非A对象,则对象的视差信息便会产生错误,故会获得错误的深度信息而使对象显示出错误深度,并使人看不见相对应的对象,或者造成对象变形。因此,当两视角影像间执行立体匹配时,如何准确获得影像中各对象的立体匹配结果,已成为立体视觉技术最重要的课题之一。
发明内容
因此,本发明的主要目的即在于提供一种影像匹配方法及立体匹配系统,其可配合影像中对象的特性,选择出适当的立体匹配结果。
本发明公开一种影像匹配方法,用于一立体匹配系统中执行一第一影像区块至一第二影像区块的一立体匹配,该影像匹配方法包含有根据一第一匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第一匹配结果;根据一第二匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第二匹配结果;根据该第二匹配算法,对该第二影像区块至该第一影像区块执行匹配运算,以产生一第三匹配结果;根据该第二匹配结果与该第三匹配结果,获得该第一影像区块相关于该第二匹配算法的一匹配误差值,并根据该第二匹配结果,获得该第一影像区块匹配至该第二影像区块的一匹配相似度;以及根据该匹配误差值与该匹配相似度,判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
本发明还公开一种立体匹配系统,用以执行一第一影像区块至一第二影像区块的一立体匹配,该立体匹配系统包含有一第一匹配模块,用来根据一第一匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第一匹配结果;一第二匹配模块,用来根据一第二匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第二匹配结果,及对该第二影像区块至该第一影像区块执行匹配运算,以产生一第三匹配结果,并且根据该第二匹配结果与该第三匹配结果,获得该第一影像区块相关于该第二匹配算法的一匹配误差值,及根据该第二匹配结果,获得该第一影像区块匹配至该第二影像区块的一匹配相似度;以及一计算判断模块,用来根据该匹配误差值与该匹配相似度,判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
附图说明
图1为本发明实施例一立体匹配系统的示意图。
图2为本发明实施例第一影像区块相关于动态规划算法的第一匹配结果的示意图。
图3为本发明实施例第一影像区块与第二影像区块相关于扫描线最佳化算法的第二匹配结果与第三匹配结果的示意图。
图4为本发明实施例一影像匹配流程的流程图。
其中,附图标记说明如下:
10        立体匹配系统
100       第一匹配模块
102       第二匹配模块
104       计算判断模块
110       第一影像区块
112       第二影像区块
120       第一立体匹配结果
122       第二立体匹配结果
RES1      第一匹配结果
RES2      第二匹配结果
ERR       匹配误差值
SIM       匹配相似度
X0~X7    像素点
Y0~Y7    像素点
A0~A7    像素点
B0~B7    像素点
40        流程
400~412  步骤
具体实施方式
请参考图1,图1为本发明实施例一立体匹配(stereo matching)系统10的示意图。如图1所示,立体匹配系统10包含有一第一匹配模块100、一第二匹配模块102及一计算判断模块104,而立体匹配系统10可执行第一影像区块110与第二影像区块112间的立体匹配,以获得第一影像区块110与第二影像区块112的视差信息,即第一立体匹配结果120与第二立体匹配结果122。
一般而言,藉由两影像撷取装置分别于一待摄物左右两边可取得相对于该待摄物的两不同视角影像,称为左视角影像与右视角影像,当欲执行左视角影像与右视角影像的立体匹配时,由于计算成本与复杂度的考虑,会将左视角影像与右视角影像切割成较小单位的影像区块来执行立体匹配,以获得小单位影像区块的立体匹配结果,并最后再将小单位影像区块的立体匹配结果整合为整体左视角影像与右视角影像的立体匹配结果。
于图1中,第一影像区块110与第二影像区块112可视为左视角影像与右视角影像中个别小单位的影像区块,如左视角影像的扫描线与右视角影像的扫描线,或也可视为左视角影像的小区块与右视角影像的小区块,如方形或矩形的像素点区块等。以第一影像区块110与第二影像区块112为两不同视角影像的两扫描线而言,第一影像区块110与第二影像区块112的区块大小(即扫描线的像素点数目)并非固定,可视计算时间、计算成本与结果需求来加以调整,例如当扫描线的像素点数目较多时,立体匹配系统10可于较多像素点内执行立体匹配,即具有较大的匹配搜索范围,如此可使匹配结果较为正确,但相对地需增加较多的计算时间及成本。
最后,由于立体匹配系统10产生第一立体匹配结果120与第二立体匹配结果122中包含有视差信息,故可据以分析出第一影像区块110与第二影像区块112的深度信息并合成出相关于第一影像区块110与第二影像区块112的多视角影像区块,进而整合出左视角影像与右视角影像的多视角影像。
详细来说,第一匹配模块100、第二匹配模块102及计算判断模块104分别可利用特殊应用集成电路(application-specific integrated circuit,ASIC)来实现,或者也可通过微处理器(microprocessor)结合储存装置来实现,而储存装置可储存程序代码指示微处理器执行匹配运算与计算判断相关流程。其中,储存装置为只读式内存(read-only memory,ROM)、随机存取内存(random-access memory,RAM)、光盘只读存储器(CD-ROMs)、磁带(magnetic tapes)、软盘(floppy disks)、光学数据储存装置(optical data storagedevices)等等,并不限于此。
首先,立体匹配系统10会执行第一影像区块110至第二影像区块112的立体匹配,以获得第一影像区块110的第一立体匹配结果120。在此情形下,第一匹配模块100以第一影像区块110为来源影像区块,以第二影像区块112为目的影像区块,根据第一匹配算法对第一影像区块110至第二影像区块112执行匹配搜寻与视差计算,以获得第一匹配结果RES1,其包含有第一影像区块110相关于第一匹配算法的视差信息,并且第一匹配模块100再将第一匹配结果RES1输出至计算判断模块104。同时,第二匹配模块102以第一影像区块110为来源影像区块,以第二影像区块112为目的影像区块,根据第二匹配算法对第一影像区块110至第二影像区块112执行匹配搜寻与视差计算,以获得第二匹配结果RES2,其包含有第一影像区块110相关于第二匹配算法的视差信息,并且第二匹配模块102再将第二匹配结果RES2输出至计算判断模块104。此外,第二匹配模块102另会以第二影像区块112为来源影像区块,以第一影像区块110为目的影像区块,同样根据第二匹配算法对第二影像区块112至第一影像区块110执行匹配搜寻与视差计算,以获得第三匹配结果RES3,而其包含有第二影像区块112相关于第二匹配算法的视差信息。
借此,第二匹配模块102根据第二匹配结果RES2中所包含相关于第一影像区块110的视差信息,可获得第一影像区块110的一代表点于第二影像区块112中的视差匹配位置,并标示为第二影像区块112的一匹配点。进一步地,第二匹配模块102根据第三匹配结果RES3所包含相关于第二影像区块112的视差信息,可再获得第二影像区块112的匹配点于第一影像区块110中的视差匹配位置,并标示为第一影像区块110的一验证点。接着,第二匹配模块102计算第一影像区块110代表点与验证点间的距离差值,以获得匹配误差值ERR,用以表示于第二匹配算法的匹配演算下,同一匹配特征点于第一影像区块110的视差信息与于第二影像区块112的视差信息间的误差值大小,第二匹配模块102并输出匹配误差值ERR至计算判断模块104。
另外,第二匹配模块102根据第二匹配结果RES2中所包含相关于第一影像区块110的视差信息,可获得第一影像区块110中所有原始点于第二影像区块112中的所有视差匹配位置,并标示为第二影像区块112的所有相似点。接着,第二匹配模块102计算第一影像区块110的所有原始点与第二影像区块112的所有相似点间像素值的整体相似程度,以获得匹配相似度SIM,并将匹配相似度SIM输出至计算判断模块104。
最后,计算判断模块104根据所接收到的匹配误差值ERR与匹配相似度SIM,当匹配误差值ERR小于一误差临界值且匹配相似度SIM小于一相似临界值时,判断第一影像区块110相关于第二算法匹配运算的匹配结果为合理,而选择第二匹配结果RES2成为第一立体匹配结果120。并且,当匹配误差值ERR大于误差临界值或匹配相似度SIM大于相似临界值时,计算判断模块104判断第一影像区块110相关于第二算法匹配运算的匹配结果为不合理,而选择第一匹配结果RES1成为第一立体匹配结果120。其中,误差临界值与相似临界值可视需求来加以调整并不受限,以使匹配结果能更准确。
立体匹配系统10执行完第一影像区块110至第二影像区块112的立体匹配,而获得第一影像区块110的第一立体匹配结果120之后,立体匹配系统10同样地根据上述的匹配运算来执行第二影像区块112至第一影像区块110的立体匹配,以获得第二影像区块112的第二立体匹配结果122,其包含有第二影像区块112的视差信息。
如此一来,立体匹配系统10可针对不具有深度信息的两不同视角影像,依序地执行影像中相对应个别影像区块的立体匹配,并产生个别影像区块的立体匹配结果,而可整合出两不同视角影像的整体立体匹配结果,并可进一步根据立体匹配结果所包含的视差信息(即两不同视角影像的视差图),获得两不同视角影像的深度信息并合成出多视角影像。需注意的是,立体匹配系统10是同时利用两个不同的算法(第一匹配算法与第二匹配算法)来执行立体匹配以获得两个不同的立体匹配结果,故可分别设计两个不同算法以分别适用影像中所包含两不同对象的对象特性,并于执行立体匹配后判断其中一个匹配算法的匹配结果是否合理,选择出适当的立体匹配结果,使得立体匹配系统10的立体匹配结果能更准确。
值得注意地,第一匹配模块100根据第一匹配算法来执行立体匹配的实现方式未有所限。较佳地,第一匹配模块100可根据一动态规划(DynamicProgramming)算法对第一影像区块110至第二影像区块112执行匹配搜寻与视差计算,以获得第一匹配结果RES1。根据动态规划算法的匹配运算,第一影像区块110与第二影像区块112先相互执行匹配搜寻,以获得各自的匹配状态后,再将各自的匹配状态转换为视差能量评价函数,此函数由数据项和平滑项构成,并搭配算法來求得视差能量评价函数的能量最小值,进而获得第一影像区块110与第二影像区块112中每像素点的视差信息(即为每像素点的视差值)。也就是说,动态规划算法是根据第一影像区块110与第二影像区块112间的匹配状态,通过视差能量评价函数以评量出最适当的视差信息。
请参考图2,图2为本发明实施例第一影像区块110相关于动态规划算法的第一匹配结果RES1的示意图。如图2所示,第一影像区块110为包含有像素点X0~X7的扫描线,而第二影像区块112为包含有像素点Y0~Y7的扫描线。于本实施例中第一影像区块110的像素点X0~X7经由动态规划算法的匹配运算后,可获得第一匹配结果RES1,其为像素点X0~X7的视差值4、4、4、4、3、2、1、0。由此可知,根据动态规划算法所评量的像素点X0~X3的视差值,第一影像区块110的像素点X0~X3于第二影像区块112中相距离4个像素点的位置为像素点X0~X3于第二影像区块112的视差匹配位置,即第二影像区块112的像素点Y4~Y7(如图2中相连接的箭头线所示)。而根据动态规划算法所评量的像素点X4~X7的视差值,第一影像区块110的像素点X4~X7于第二影像区块112中相距离3、2、1、0个像素点的位置为像素点X4~X7于第二影像区块112的视差匹配位置,即第二影像区块112的像素点Y7、Y7、Y7、Y7(未特别标示于图2中)。
借此,由于动态规划算法是基于第一影像区块110与第二影像区块112间具有顺序相关性的特征所设计,因此除搭配算法來求得视差能量评价函数的能量最小值以获取视差信息外,动态规划算法还会限制需依循第一影像区块110与第二影像区块112间的顺序相关性来求得视差信息,故当像素点X0~X3视为具有4像素点宽的大型对象时,所评量出视差信息是具有顺序且无快速变动的特性,即像素点X0~X3为整体视差匹配至像素点Y4~Y7。因此,动态规划算法可适用于第一影像区块110与第二影像区块112中具有大型对象的匹配运算,并具有视差信息较稳定的特性。
再者,第二匹配模块102根据第二匹配算法来执行立体匹配的实现方式亦未有所限。较佳地,第二匹配模块102可根据一扫描线最佳化(Scan-lineOptimization)算法对第一影像区块110与第二影像区块112执行匹配搜寻与视差计算,以获得第二匹配结果RES2与第三匹配结果RES3。根据扫描线最佳化算法的匹配运算,第一影像区块110与第二影像区块112亦需先相互执行匹配搜寻,以获得各自的匹配状态后,再将各自的匹配状态转换为视差能量评价函数,并搭配算法來求得能量的最小值,进而获得第一影像区块110与第二影像区块112中每像素点的视差信息。相较于动态规划算法,扫描线最佳化算法为基于第一影像区块110与第二影像区块112间不具有顺序相关性的特征所设计,因此是单纯地搜寻视差能量评价函数的能量最小值以获得视差信息,而无相关的搜寻限制。
请参考图3,图3为本发明实施例第一影像区块110与第二影像区块112相关于扫描线最佳化算法的第二匹配结果RES2与第三匹配结果RES3的示意图。如图3所示,第一影像区块110为包含有像素点A0~A7的扫描线,而第二影像区块112为包含有像素点B0~B7的扫描线。当本实施例中第一影像区块110的像素点A0~A7经由扫描线最佳化算法的匹配运算后,可获得像素点A0~A7的第二匹配结果RES2,其为像素点A0~A7的视差值4、5、4、5、3、2、1、0。第二影像区块112的像素点B0~B7经由扫描线最佳化算法的匹配运算后,可获得像素点B0~B7的第三匹配结果RES3,其为像素点B0~B7的视差值7、6、6、5、2、3、4、5。
进一步地,当以像素点A0为第一影像区块110的代表点时,根据像素点A0的视差值为4,第一影像区块110的像素点A0于第二影像区块112中相距离4个像素点的位置,为像素点A0于第二影像区块112的视差匹配位置,即第二影像区块112的像素点B4。另一方面,根据第二影像区块112的像素点B4相关于最佳化算法所评量的视差值为2,故第二影像区块112的像素点B4于第一影像区块110中相距离2个像素点的位置,为像素点B4于第一影像区块110的视差匹配位置,即第一影像区块110的像素点A2。
由此可知,第二匹配模块102根据扫描线最佳化算法,同时对第一影像区块110至第二影像区块112执行匹配运算,及对第二影像区块112至第一影像区块110执行匹配运算,可获得第一影像区块110的像素点A0视差匹配至第二影像区块112的像素点B4,而第二影像区块112的像素点B4视差匹配至第一影像区块110的像素点A2,故于第一影像区块110中,计算像素点A0与像素点A2间的距离差值(即为2个像素点),可获得第一影像区块110的匹配误差值ERR。
同时,第二匹配模块102根据像素点A0~A7的视差值,可获得第一影像区块110的像素点A0~A7于第二影像区块112中的所有视差匹配位置,并可分别计算像素点A0~A7与相对应第二影像区块112中视差匹配位置的像素点的像素差值的绝对值,以分别获得像素点A0~A7的相似度,再将像素点A0~A7的相似度累加以获得第一影像区块110匹配至第二影像区块112的匹配相似度SIM。
借此,由于扫描线最佳化算法是基于第一影像区块110与第二影像区块112间不具有顺序相关性的特征所设计,因此单以求得视差能量评价函数的能量最小值以获得视差信息,故所评量出的视差信息不具有顺序性而有快速变动的特性,如第一影像区块110的像素点A0于第二影像区块112的视差匹配位置为像素点B4,而第一影像区块110的像素点A1于第二影像区块112的视差匹配位置为像素点B6,其非连续稳定变化。因此,扫描线最佳化算法较适用于第一影像区块110与第二影像区块112中具有小型对象的匹配运算,可快速反应出小型对象的视差信息并具有快速变动的特性。
如此一来,第一匹配模块100可根据如动态规划算法的设计执行适用于大对象的匹配运算,第二匹配模块102可根据如扫描线最佳化算法的设计执行适用于小对象的匹配运算。由于第一匹配模块100适用于大对象,故第一匹配模块100用于两不同视角影像中具有大对象的匹配运算时,其匹配结果会较稳定且不会有快速变动。另外,由于第二匹配模块102适用于小对象,故第二匹配模块102用于两不同视角影像中具有小对象的匹配运算时,其匹配结果快速反应出小型对象的视差信息。同时,为了避免第二匹配模块102所产生的视差信息因快速变动而造成不正确的立体匹配结果,第二匹配模块102同时进行计算匹配误差值ERR与匹配相似度SIM,并通过计算判断模块104判断当匹配误差值ERR小于预定的误差临界值且匹配相似度SIM小于预定的相似临界值时,第一影像区块110于扫描线最佳化算法的匹配运算下的匹配结果为合理,故选择第二匹配结果RES2为第一立体匹配结果120。而计算判断模块104判断当匹配误差值ERR大于预定的误差临界值或匹配相似度SIM大于预定的相似临界值时,第一影像区块110于扫描线最佳化算法的匹配运算下的匹配结果为不合理,故选择第一匹配结果RES1为第一立体匹配结果120。因此,可于两不同特性的算法所评量出的匹配结果中适当地选择出匹配结果,而可使得匹配结果能更正确。
关于立体匹配系统10执行第一影像区块110与第二影像区块112间的立体匹配,以获得第一立体匹配结果120所适用的方法,可进一步归纳为一影像匹配流程40,如图4所示。影像匹配流程40包含以下步骤:
步骤400:开始。
步骤402:根据第一匹配算法,对第一影像区块110至第二影像区块112执行匹配运算,以产生第一匹配结果RES1。
步骤404:根据第二匹配算法,对第一影像区块110至第二影像区块112执行匹配运算,以产生第二匹配结果RES2。
步骤406:根据第二匹配算法,对第二影像区块112至第一影像区块110执行匹配运算,以产生第三匹配结果RES3。
步骤408:根据第二匹配结果RES2与第三匹配结果RES3,获得第一影像区块110相关于第二匹配算法的匹配误差值ERR,并根据第二匹配结果,获得第一影像区块匹配至第二影像区块的匹配相似度SIM。
步骤410:根据匹配误差值ERR与匹配相似度SIM,判断第一影像区块110的第一立体匹配结果120为第一匹配结果RES1或第二匹配结果RES2。
步骤412:结束。
影像匹配流程40中每一步骤的详细操作,可参考前述实施例的相关段落说明,在此不赘述。较佳地,步骤402到步骤408的先后操作顺序,亦可根据实际需求来对应调整,例如先进行步骤404到步骤408先获得第一影像区块110相关于第二匹配算法的匹配结果、匹配误差值及匹配相似度后,再进行步骤402获得第一影像区块110相关于第一匹配算法的匹配结果,亦为本发明的范畴。另外,本实施例所提供的影像匹配流程40是针对第一影像区块110的匹配运算,用以获得第一立体匹配结果120,关于第二影像区块112的第二立体匹配结果122,同样可依据影像匹配流程40,根据第一匹配算法获得第二影像区块112的匹配结果,并且根据第二匹配算法获得第二影像区块112的匹配结果、匹配误差值及匹配相似度后,再根据匹配误差值及匹配相似度判断出第二立体匹配结果122为相关于第一匹配算法的匹配结果或相关于第二匹配算法的匹配结果。
具体而言,本发明实施例是在立体匹配系统中,考虑适用于小对象的算法所产生的视差信息具有快速变动的特性,故针对适用于小对象的算法如扫描线最佳化算法,执行两图像区块间的匹配运算,并根据两图像区块间匹配运算的结果,相互比较以获得其中图像区块的匹配误差值及匹配相似度,用以判断视差信息是否合理。本领域的技术人员当可据以进行修饰或变化,举例来说,于本实施例中,第二算法为扫描线最佳化算法,于其它实施例中,第二算法也可为如可信度传递算法(Belief Propagation,BP)等同样适用于小对象的算法,并不受限。
再者,于本实施例中,动态规划算法与扫描线最佳化算法通过匹配搜寻与计算能量评价函数来获得视差信息。于其它实施例,动态规划算法与扫描线最佳化算法也可再增加其它限制或增加其它计算与判断,来增加视差信息的准确性,如根据两扫描线的时间相关性或空间相关性来加以判断,以获得相关于动态规划算法与扫描线最佳化算法的准确视差信息,之后才可再依据较准确的视差信息,计算出匹配误差值及匹配相似度,并据以判断与选择出正确的匹配结果。
此外,于本实施例中,先执行完第一影像区块110至第二影像区块112的立体匹配,而获得第一影像区块110的第一立体匹配结果120的后,再执行第二影像区块112至第一影像区块110的立体匹配,以获得第二影像区块112的第二立体匹配结果122。于其它实施例中,也可同时执行第一影像区块110至第二影像区块112的立体匹配及第二影像区块112至第一影像区块110的立体匹配,并同时获得第一影像区块110的第一立体匹配结果120与第二影像区块112的第二立体匹配结果122,而不受限。
综上所述,在现有技术中,仅利用单一算法来执行兩不同视角影像间的立体匹配,由于影像的景观不尽相同,因此当算法不适用于影像中对象的特性时,便会获得错误的视差信息,而影响深度信息的准确性。相较之下,本发明同时利用两不同算法执行兩不同视角影像间的匹配运算,且可设计两不同算法为适用于大对象与小对象的匹配运算,并可同时获得相对应的两不同匹配结果。借此,本发明可再针对视差信息较易快速变动的算法,执行两不同视角影像间的匹配运算,用以比较并获得匹配误差值及匹配相似度,而据以判断以选择出准确的匹配结果。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (22)

1.一种影像匹配方法,用于一立体匹配系统中执行一第一影像区块至一第二影像区块的一立体匹配,该影像匹配方法包含有:
根据一第一匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第一匹配结果;
根据一第二匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第二匹配结果;
根据该第二匹配算法,对该第二影像区块至该第一影像区块执行匹配运算,以产生一第三匹配结果;
根据该第二匹配结果与该第三匹配结果,获得该第一影像区块相关于该第二匹配算法的一匹配误差值,并根据该第二匹配结果,获得该第一影像区块匹配至该第二影像区块的一匹配相似度;以及
根据该匹配误差值与该匹配相似度,判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
2.如权利要求1所述的方法,其中该第一影像区块与该第二影像区块为一影像的两条扫描线或两个区块。
3.如权利要求1所述的方法,其中第一匹配算法包含根据该第一影像区块与该第二影像区块间具有一顺序相关性的特征所设计,并适用于该第一影像区块与该第二影像区块中具有一大型对象的匹配运算。
4.如权利要求1所述的方法,其中第一匹配算法包含根据一动态规划算法来执行匹配运算。
5.如权利要求1所述的方法,其中第二匹配算法包含根据该第一影像区块与该第二影像区块间不具有一顺序相关性的特征所设计,并适用于该第一影像区块与该第二影像区块中具有一小型对象的匹配运算。
6.如权利要求1所述的方法,其中第二匹配算法包含根据一扫描线最佳化算法来执行匹配运算。
7.如权利要求1所述的方法,其中根据该第二匹配结果与该第三匹配结果,获得该第一影像区块相关于该第二匹配算法的该匹配误差值的步骤,包含有:
根据该第二匹配结果,获得该第一影像区块的一代表点匹配至该第二影像区块的一匹配点;
根据该第三匹配结果,获得该第二影像区块的该匹配点匹配至该第一影像区块的一验证点;以及
计算该代表点与该验证点的一距离差值,以获得该第一影像区块相关于该第二匹配算法的该匹配误差值。
8.如权利要求1所述的方法,其中根据该第二匹配结果,获得该第一影像区块匹配至该第二影像区块的该匹配相似度,包含有:
根据该第二匹配结果,获得该第一影像区块的至少一原始点匹配至该第二影像区块的至少一相似点;以及
根据该第一影像区块的该至少一原始点与该第二影像区块的该至少一相似点,获得该匹配相似度。
9.如权利要求1所述的方法,其中该匹配相似度为该至少一原始点与该至少一相似点的至少一像素差值的一绝对值的一总和。
10.如权利要求1所述的方法,其中根据该匹配误差值与该匹配相似度,判断该第一影像区块的该立体匹配结果为该第一匹配结果或该第二匹配结果的步骤,包含有:
当该匹配误差值小于一误差临界值且该匹配相似度小于一相似临界值时,判断该立体匹配结果为该第二匹配结果,以及当该匹配误差值大于该误差临界值或该匹配相似度大于该相似临界值时,判断该立体匹配结果为该第一匹配结果。
11.如权利要求1所述的方法,其中该立体匹配结果包含有该第一影像区块至该第二影像区块的一视差信息。
12.一种立体匹配系统,用以执行一第一影像区块至一第二影像区块的一立体匹配,该立体匹配系统包含有:
一第一匹配模块,用来根据一第一匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第一匹配结果;
一第二匹配模块,用来根据一第二匹配算法,对该第一影像区块至该第二影像区块执行匹配运算,以产生一第二匹配结果,及对该第二影像区块至该第一影像区块执行匹配运算,以产生一第三匹配结果,并且根据该第二匹配结果与该第三匹配结果,获得该第一影像区块相关于该第二匹配算法的一匹配误差值,及根据该第二匹配结果,获得该第一影像区块匹配至该第二影像区块的一匹配相似度;以及一计算判断模块,用来根据该匹配误差值与该匹配相似度,判断该第一影像区块的一立体匹配结果为该第一匹配结果或该第二匹配结果。
13.如权利要求12所述的立体匹配系统,其中该第一影像区块与该第二影像区块为一影像的两条扫描线或两个区块。
14.如权利要求12所述的立体匹配系统,其中第一匹配算法包含根据该第一影像区块与该第二影像区块间具有一顺序相关性的特征所设计,并适用于该第一影像区块与该第二影像区块中具有一大型对象的匹配运算。
15.如权利要求12所述的立体匹配系统,其中第一匹配算法包含根据一动态规划算法来执行匹配运算。
16.如权利要求12所述的立体匹配系统,其中第二匹配算法包含根据该第一影像区块与该第二影像区块间不具有一顺序相关性的特征所设计,并适用于该第一影像区块与该第二影像区块中具有一小型对象的匹配运算。
17.如权利要求12所述的立体匹配系统,其中第二匹配算法包含根据一扫描线最佳化算法来执行匹配运算。
18.如权利要求12所述的立体匹配系统,其中根据该第二匹配结果与该第三匹配结果,获得该第一影像区块相关于该第二匹配算法的该匹配误差值的步骤,包含有:
根据该第二匹配结果,获得该第一影像区块的一代表点匹配至该第二影像区块的一匹配点;
根据该第三匹配结果,获得该第二影像区块的该匹配点匹配至该第一影像区块的一验证点;以及
计算该代表点与该验证点的一距离差值,以获得该第一影像区块相关于该第二匹配算法的该匹配误差值。
19.如权利要求12所述的立体匹配系统,其中根据该第二匹配结果,获得该第一影像区块匹配至该第二影像区块的该匹配相似度,包含有:
根据该第二匹配结果,获得该第一影像区块的至少一原始点匹配至该第二影像区块的至少一相似点;以及
根据该第一影像区块的该至少一原始点与该第二影像区块的该至少一相似点,获得该匹配相似度。
20.如权利要求12所述的立体匹配系统,其中该匹配相似度为该至少一原始点与该至少一相似点的至少一像素差值的一绝对值的一总和。
21.如权利要求12所述的立体匹配系统,其中根据该匹配误差值与该匹配相似度,判断该第一影像区块的该立体匹配结果为该第一匹配结果或该第二匹配结果的步骤,包含有:
当该匹配误差值小于一误差临界值且该匹配相似度小于一相似临界值时,判断该立体匹配结果为该第二匹配结果,以及当该匹配误差值大于该误差临界值或该匹配相似度大于该相似临界值时,判断该立体匹配结果为该第一匹配结果。
22.如权利要求12所述的立体匹配系统,其中该立体匹配结果包含有该第一影像区块至该第二影像区块的一匹配信息,并可由该匹配信息获得该第一影像区块的一视差信息。
CN201310279902.9A 2013-07-04 2013-07-04 影像匹配方法及立体匹配系统 Pending CN104284172A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310279902.9A CN104284172A (zh) 2013-07-04 2013-07-04 影像匹配方法及立体匹配系统
US14/033,515 US9042638B2 (en) 2013-07-04 2013-09-22 Image matching method and stereo matching system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310279902.9A CN104284172A (zh) 2013-07-04 2013-07-04 影像匹配方法及立体匹配系统

Publications (1)

Publication Number Publication Date
CN104284172A true CN104284172A (zh) 2015-01-14

Family

ID=52132865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310279902.9A Pending CN104284172A (zh) 2013-07-04 2013-07-04 影像匹配方法及立体匹配系统

Country Status (2)

Country Link
US (1) US9042638B2 (zh)
CN (1) CN104284172A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006296A1 (en) * 2016-07-06 2018-01-11 SZ DJI Technology Co., Ltd. Systems and methods for stereoscopic imaging
CN109741387A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 立体匹配方法、装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2514132A (en) * 2013-05-14 2014-11-19 Ibm Two-directional biometric matching
CN104346770A (zh) * 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补系统
US10187623B2 (en) * 2014-12-26 2019-01-22 Korea Electronics Technology Institute Stereo vision SoC and processing method thereof
US10291845B2 (en) * 2015-08-17 2019-05-14 Nokia Technologies Oy Method, apparatus, and computer program product for personalized depth of field omnidirectional video
US10462445B2 (en) 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
US10839535B2 (en) 2016-07-19 2020-11-17 Fotonation Limited Systems and methods for providing depth map information
KR20180087994A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치
CN111739083A (zh) * 2020-07-02 2020-10-02 深兰人工智能芯片研究院(江苏)有限公司 一种匹配方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262619A (zh) * 2008-03-30 2008-09-10 深圳华为通信技术有限公司 视差获取方法和装置
US20110013028A1 (en) * 2009-07-17 2011-01-20 Jie Zhou Video stabilizing method and system using dual-camera system
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068815B2 (en) * 2003-06-13 2006-06-27 Sarnoff Corporation Method and apparatus for ground detection and removal in vision systems
US7660436B2 (en) * 2003-06-13 2010-02-09 Sarnoff Corporation Stereo-vision based imminent collision detection
US7860301B2 (en) * 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
JP4876080B2 (ja) * 2008-01-25 2012-02-15 富士重工業株式会社 環境認識装置
KR100955483B1 (ko) * 2008-08-12 2010-04-30 삼성전자주식회사 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법
EP2332340B1 (en) * 2008-10-10 2015-12-23 Koninklijke Philips N.V. A method of processing parallax information comprised in a signal
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
WO2012017650A1 (ja) * 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
JP5002702B2 (ja) * 2010-12-03 2012-08-15 株式会社東芝 視差画像生成装置、立体映像表示装置及び視差画像生成方法
KR20120089921A (ko) * 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
US9602799B2 (en) * 2011-01-14 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Device, method, and computer program for three-dimensional video processing
CN103621078B (zh) * 2011-04-14 2016-01-13 株式会社尼康 图像处理装置和图像处理程序
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
US9019344B2 (en) * 2011-07-25 2015-04-28 Stmicroelectronics (Canada), Inc. Apparatus and method for adjusting the perceived depth of 3D visual content
JP5988213B2 (ja) * 2011-11-28 2016-09-07 パナソニックIpマネジメント株式会社 演算処理装置
CN102595185B (zh) * 2012-02-27 2014-06-25 宁波大学 一种立体图像质量客观评价方法
KR101862199B1 (ko) * 2012-02-29 2018-05-29 삼성전자주식회사 원거리 획득이 가능한 tof카메라와 스테레오 카메라의 합성 시스템 및 방법
EP2959684A4 (en) * 2013-02-20 2016-11-09 Intel Corp REAL-TIME AUTOMATIC CONVERSION OF IMAGES OR TWO-DIMENSIONAL VIDEO TO OBTAIN STEREO IMAGES OR VIDEO IN THREE DIMENSIONS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262619A (zh) * 2008-03-30 2008-09-10 深圳华为通信技术有限公司 视差获取方法和装置
US20110013028A1 (en) * 2009-07-17 2011-01-20 Jie Zhou Video stabilizing method and system using dual-camera system
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006296A1 (en) * 2016-07-06 2018-01-11 SZ DJI Technology Co., Ltd. Systems and methods for stereoscopic imaging
CN109314774A (zh) * 2016-07-06 2019-02-05 深圳市大疆创新科技有限公司 用于立体成像的系统和方法
US10896519B2 (en) 2016-07-06 2021-01-19 SZ DJI Technology Co., Ltd. Systems and methods for stereoscopic imaging
CN109314774B (zh) * 2016-07-06 2021-05-25 深圳市大疆创新科技有限公司 用于立体成像的系统和方法
CN109741387A (zh) * 2018-12-29 2019-05-10 北京旷视科技有限公司 立体匹配方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20150010230A1 (en) 2015-01-08
US9042638B2 (en) 2015-05-26

Similar Documents

Publication Publication Date Title
CN104284172A (zh) 影像匹配方法及立体匹配系统
US9600714B2 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
US11100706B2 (en) Three-dimensional reconstruction method, three-dimensional reconstruction apparatus, and generation method for generating three-dimensional model
CN113874870A (zh) 基于图像的定位
Ramalingam et al. A generic structure-from-motion framework
Stier et al. Vortx: Volumetric 3d reconstruction with transformers for voxelwise view selection and fusion
US20190122414A1 (en) Method and apparatus for generating virtual object
CN110276829A (zh) 通过多尺度体素哈希处理的三维表示
CN101689299A (zh) 用于图像的立体匹配的系统和方法
CN104081434A (zh) 经配置以基于运动传感器数据计算3d模型的移动装置
EP2756680A1 (en) Using motion parallax to create 3d perception from 2d images
CN111881804B (zh) 基于联合训练的姿态估计模型训练方法、系统、介质及终端
US11748905B2 (en) Efficient localization based on multiple feature types
US20190114797A1 (en) Floor detection in virtual and augmented reality devices using stereo images
CN104427324A (zh) 视差计算方法及其立体匹配装置
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
Bhayani et al. Partially calibrated semi-generalized pose from hybrid point correspondences
Mallik et al. A multi-sensor information fusion approach for efficient 3D reconstruction in smart phone
CN114757822B (zh) 一种基于双目的人体三维关键点检测方法及系统
WO2021220688A1 (en) Reinforcement learning model for labeling spatial relationships between images
Zhang et al. Passive 3D reconstruction based on binocular vision
CN104469337A (zh) 视差计算方法及其立体匹配系统
Peng et al. Projective reconstruction with occlusions
CN104301703A (zh) 匹配搜寻方法与匹配搜寻系统
CN115937299B (zh) 在视频中放置虚拟对象的方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150114