CN104301703A - 匹配搜寻方法与匹配搜寻系统 - Google Patents

Abstract

本发明公开了一种匹配搜寻方法，用于一匹配搜寻系统中执行一第一影像区块至一第二影像区块的一匹配搜寻，该匹配搜寻方法包含有根据该第一影像区块中一第一影像数据及该第二影像区块中一第二影像数据间的一偏移关系，获得该第一影像区块相对于该第二影像区块的一整体偏移值；以及根据该整体偏移值与一搜寻范围值，执行该第一影像区块至该第二影像区块的该匹配搜寻。

Description

匹配搜寻方法与匹配搜寻系统

技术领域

本发明涉及一种匹配搜寻方法与匹配搜寻系统，尤其涉及一种可根据影像数据来动态决定搜寻位置与范围的匹配搜寻方法与匹配搜寻系统。

背景技术

随着影像技术不断进步，消费者可挑选的显示装置的尺寸与功能日益多元，而为了满足不同的使用者需求，各家显示装置的制造商也设法提供输出效能及分辨率更佳的新产品，其中最值得关注的产品之一是具有三维立体显示的显示装置。而一般常见的三维立体显示技术有偏光式（Polarized）、交错式（Interlaced）或分时式（Anaglyph）等显示方式，其原理为将相关于深度信息的不同视角影像利用特殊光学设计分别投射到人的左右眼，如此可使人的左右眼分别看到不同视角的影像，并经过人脑的合成后而产生三维深度信息，让人感觉出三维立体的影像。

当具有三维立体显示功能的显示装置欲显示的来源影像为不具有深度信息的二维影像时，由于来源影像缺少深度信息，故显示装置无法产生出各种相关于深度信息的多视角（multi-view）影像，以投射到人的左右眼。在此情形下，显示装置需另针对二维影像进行分析以获得深度信息，进而才能显示出多视角影像。针对两不同视角影像来进行分析以获得深度信息的流程称之为立体匹配（stereo matching），其原理为在两不同视角影像之间执行匹配搜寻，以相互搜寻是否有匹配的对象（或者也可为特征或像素点等），进而获得两不同视角影像中匹配对象位置值的差值，成为视差（disparity）信息（即所谓的视差图），并通过视差信息可计算出匹配对象的深度信息。

然而，由于两不同视角影像中景观远近不尽相同，故现有技术需针对两不同视角影像中所有数据范围来进行匹配搜寻，才能获得准确的匹配搜寻结果，但相对地需付出较大的搜寻计算成本，如增加搜寻计算时间、计算硬件成本或功耗等，且当影像的分辨率越高，如高画质影像，其数据范围更广而匹配搜寻的计算成本也将越高。因此如何适当决定匹配搜寻的搜寻范围，以节省匹配搜寻所需的计算成本且又可不影响匹配结果的准确性，已成为立体视觉技术最重要的课题之一。

发明内容

因此，本发明的主要目的即在于提供一种匹配搜寻方法与匹配搜寻系统，其可根据影像数据来动态决定匹配搜寻的搜寻位置与范围，以节省匹配搜寻的计算成本且不影响匹配结果的准确性。

本发明公开一种匹配搜寻方法，用于一匹配搜寻系统中执行一第一影像区块至一第二影像区块的一匹配搜寻，该匹配搜寻方法包含有根据该第一影像区块中一第一影像数据及该第二影像区块中一第二影像数据间的一偏移关系，获得该第一影像区块相对于该第二影像区块的一整体偏移值；以及根据该整体偏移值与一搜寻范围值，执行该第一影像区块至该第二影像区块的该匹配搜寻。

本发明还公开一种匹配搜寻系统，用来执行一第一影像区块至一第二影像区块间的一匹配搜寻，该匹配搜寻系统包含有一计算模块，用来根据该第一影像区块中一第一影像数据及该第二影像区块中一第二影像数据间的一偏移关系，获得该第一影像区块相对于该第二影像区块的一整体偏移值；以及一匹配模块，用来根据该整体偏移值与一搜寻范围值，执行该第一影像区块至该第二影像区块的该匹配搜寻。

附图说明

图1为本发明实施例一匹配搜寻系统的示意图。

图2为本发明实施例一计算模块获得一整体偏移值的示意图。

图3为本发明实施例一匹配模块执行图2中第一影像区块至第二影像区块的匹配搜寻的示意图。

图4为本发明实施例一匹配搜寻流程的示意图。

其中，附图标记说明如下：

具体实施方式

请参考图1，图1为本发明实施例一匹配搜寻系统10的示意图。如图1所示，匹配搜寻系统10包含有一计算模块100、一匹配模块102及一搜寻范围值DV，匹配搜寻系统10用来执行第一影像区块110至第二影像区块112的匹配搜寻，以获得第一影像区块110至第二影像区块112的匹配搜寻结果120。

一般而言，通过两影像撷取装置分别在一待摄物左右两边可取得相对于该待摄物的两不同视角影像，称为左视角影像与右视角影像，当欲执行左视角影像与右视角影像的立体匹配时，需先执行左视角影像与右视角影像的匹配搜寻，而后再根据匹配搜寻的结果来计算视差以获得立体匹配结果。由于计算成本与复杂度的考虑，会将左视角影像与右视角影像切割成较小单位的影像区块来执行立体匹配，以获得小单位影像区块的立体匹配结果，最后再将小单位影像区块的立体匹配结果整合为整体左视角影像与右视角影像的立体匹配结果。

在图1中，第一影像区块110与第二影像区块112可视为左视角影像与右视角影像中个别小单位的影像区块，如左视角影像的扫描线与右视角影像的扫描线，或者可视为左视角影像的小区块与右视角影像的小区块，如方形或矩形的像素点区块等，且不限于此。当第一影像区块110与第二影像区块112为两不同视角影像的两扫描线时，第一影像区块110与第二影像区块112的区块大小（即扫描线的像素点数目）并非固定，可视系统需求来加以调整。借此，匹配搜寻系统10根据第一影像区块110与第二影像区块112的区块大小，在所决定的搜寻位置与搜寻范围内，执行第一影像区块110至第二影像区块112的匹配搜寻，以获得第一影像区块110至第二影像区块112的匹配搜寻结果120。

详细来说，计算模块100与匹配模块102可分别利用特殊应用集成电路（application-specific integrated circuit，ASIC）来实现或整合在同一特殊应用集成电路中。此外，计算模块100与匹配模块102也可通过微处理器（microprocessor）结合储存装置来实现，而储存装置可储存程序代码指示微处理器执行计算与匹配搜寻相关流程。其中，储存装置为只读式内存（read-only memory，ROM）、随机存取内存（random-access memory，RAM）、光盘只读存储器（CD-ROMs）、磁带（magnetic tapes）、软盘（floppy disks）、光学数据储存装置（optical data storage devices）等等，并不限于此。搜寻范围值为匹配搜寻系统10的默认值，可储存在重复储存闪存（Flash ROM）、只读式内存或随机存取内存等。

首先，计算模块100根据第一影像区块110中第一影像数据与第二影像区块112中第二影像数据间的偏移关系，获得第一影像区块110相对于第二影像区块112的整体偏移值DG。具体而言，计算模块100会先将第一影像数据分别偏移至少一偏移值，产生至少一偏移影像数据。例如，将第一影像数据的所有像素值分别偏移1～3像素点，产生偏移1像素点的偏移影像数据、偏移2像素点的偏移影像数据及偏移3像素点的偏移影像数据。接着，计算模块100将至少一偏移影像数据与第二影像数据进行比对，在至少一偏移影像数据中获得与第二影像数据最相似的一偏移影像数据，并标记为相似影像数据。其中，通过计算至少一偏移影像数据与第二影像数据之间的相似度，可产生至少一相似度，而比对至少一相似度，便可判断出至少一偏移影像数据中最相似于第二影像数据的相似影像数据。再者，至少一偏移影像数据与第二影像数据间相似度的计算，可依据常用的算法如绝对差的总和或平方差的总和等等，并不受限。最后，至少一偏移值中相对应于相似影像数据的一偏移值便是整体偏移值DG，代表第一影像数据与第二影像数据之间的偏移关是具有当第一影像数据偏移了整体偏移值DG时，其偏移后的影像数据与第二影像数据最为相似。

举例来说，当第一影像区块110与第二影像区块112为两扫描线时，第一影像数据与第二影像数据为扫描线的所有像素点的像素值。在此情形下，计算模块100可将第一影像数据的所有像素值分别偏移1～3像素点，以产生偏移1像素点、偏移2像素点及偏移3像素点的偏移影像数据。然后，计算模块100再分别计算此三个偏移影像数据与第二影像数据中所有像素值的相似度，以获得三个相似度。其中相似度便可根据绝对差值总和的算法来计算，即计算偏移影像数据中所有像素值与第二影像数据中所有像素值个别的差值后再取绝对值，最后将所有个别的绝对差值加总起来，以获得相似度。最后，判断所获得的三个相似度中最小值为最大相似度，以获得相对应于最大相似度的偏移影像数据，例如偏移2像素点的偏移影像数据，借此整体偏移值DG即为2。

当计算模块100获得整体偏移值DG后，匹配模块102可根据整体偏移值DG与搜寻范围值DV，来执行第一影像区块110至第二影像区块112的匹配搜寻，以产生匹配搜寻结果120。具体而言，匹配模块102会先对第一影像区块110中第一影像数据偏移整体偏移值DG，产生整体偏移数据。接着，匹配模块102以整体偏移数据为来源数据，以第二影像区块中第二影像数据为目的数据，在搜寻范围值DV内执行第一影像区块110至第二影像区块112的匹配搜寻，以获得匹配搜寻结果120。需注意的是，搜寻范围值DV为匹配搜寻系统10预定的搜寻范围，而由于匹配模块102是以整体偏移数据与第二影像数据来执行匹配搜寻，故匹配搜寻系统10所预定的搜寻范围值DV将可设定为较小于第一影像区块或第二影像区块的全部搜寻范围（即区块大小），借以节省匹配搜寻的计算成本。

也就是说，匹配搜寻系统10可先根据第一影像区块110与第二影像区块112中影像数据间的偏移关系，获得当第一影像区块110的影像数据偏移了整体偏移值DG时，第一影像区块110的影像数据最相似于第二影像区块112的影像数据。借此，匹配搜寻系统10不需在第一影像区块110或第二影像区块112的全部数据范围内执行匹配搜寻，而可先将第一影像区块110的影像数据偏移整体偏移值DG以使其最相似于与第二影像区块112的影像数据，在较小的搜寻范围值DV内执行第一影像区块至第二影像区块的匹配搜寻。如此一来，除了可节省匹配搜寻所需的计算成本外，也不会影响匹配搜寻结果的准确性。另外，匹配搜寻系统10当每次欲执行第一影像区块110至第二影像区块112的匹配搜寻时，皆判断两影像区块中影像数据间的偏移关系而获得整体偏移值DG，以偏移影像数据并在搜寻范围值DV内执行第一影像区块至第二影像区块的匹配搜寻，故可随时根据影像数据动态地决定匹配搜寻的搜寻位置与范围。

计算模块100判断第一影像区块110与第二影像区块112的影像数据间偏移关系以获得整体偏移值DG的实施方式，不受限特定步骤。举例来说，请参考图2，图2为本发明实施例计算模块100获得整体偏移值DG的示意图。如图2所示，第一影像区块110为包含有像素值X0～X7的扫描线，而第二影像区块112为包含有像素值Y0～Y7的扫描线。计算模块100先将第一影像区块110的像素值X0～X7分别向右偏移1～4像素点而形成影像区块200～203，其中由于偏移而产生的新像素值在本实施例中将以Z0～Z3来表示以方便说明，其像素值Z0～Z3可视实际需求进一步设定为特定值，如像素最小值（如0）、像素最大值（如255）或全以像素值X0来取代等，而不受限。将第一影像区块110偏移1～4像素点后所形成的影像区块200包含有像素值Z0、X0～X6，影像区块201包含有像素值Z1～Z0、X0～X5，影像区块202包含有像素值Z2～Z0、X0～X4，影像区块203包含有像素值Z3～Z0、X0～X3。

接着，计算模块100分别计算影像区块200～203的八像素值与第二影像区块112的像素值Y0～Y7间的相似度。例如，以影像区块203来说，可计算影像区块203的像素值Z3～Z0、X0～X3与第二影像区块112的像素值Y0～Y7之间的差值后再计算差值的绝对值，而可获得八绝对差值，将此八绝对差值加总起来便可获得影像区块203与第二影像区块112的相似度。并按同样的计算方法，以获得影像区块200～203与第二影像区块112的相似度。最后，计算模块100比对影像区块200～203的相似度的大小，判断出最小值即代表最相似，而可获得最相似于第二影像区块112的像素值Y0～Y7的相似影像数据，如影像区块202的像素值Z2～Z0、X0～X4，而由于影像区块202是经由第一影像区块110偏移3像素点而形成，因此计算模块100可获得整体偏移值DG为3。

再者，请参考图3，图3为本发明实施例匹配模块102执行图2中第一影像区块110至第二影像区块112的匹配搜寻的示意图。如图3所示，匹配模块102会根据计算模块100所产生的整体偏移值DG，偏移第一影像区块110的像素值X0～X7以获得影像区块300，而依据第二图中整体偏移数据为3，故影像区块300的像素值为Z2～Z0、X0～X4。同样地，由于偏移而产生的新像素值在本实施例中以Z0～Z2来表示以方便说明，而像素值Z0～Z2可视实际需求设定为不同的特定值，而不受限。最后，匹配模块102以影像区块300的像素值为Z2～Z0、X0～X4为来源数据，以第二影像区块112的像素值为Y0～Y7为目的数据，在搜寻范围值DV内执行第一影像区块110至第二影像区块112的匹配搜寻。由于本实施例的搜寻范围值DV设定为5，故匹配模块102会以5像素点大小的搜寻区块301～304，依序地以像素点为单位针对第二影像区块112相对应大小的目的区块进行匹配搜寻，以获得第一影像区块110至第二影像区块112的匹配搜寻结果120。

如此一来，匹配搜寻系统10不需以第一影像区块110的全部像素范围（8像素点的大小）为搜寻范围，依序地以像素点为单位针对来执行匹配搜寻，而可通过计算模块100先根据第一影像区块110的像素值X0～X7与第二影像区块112的像素值Y0～Y7间的偏移关系获得整体偏移值DG后，再偏移第一影像区块110的像素值X0～X7成为整体偏移数据，以与第二影像区块112的像素值Y0～Y7进行匹配搜寻。借此，匹配搜寻系统10可设定搜寻范围值DV为较小的搜寻范围来执行匹配搜寻，以节省匹配搜寻的计算成本，而且由于整体偏移数据与第二影像区块112的像素值Y0～Y7最为相似，故在较小搜寻范围的搜寻范围值DV内搜寻也可正确地搜寻出匹配对象，并不影响匹配结果的准确性。

关于匹配搜寻系统10执行第一影像区块110至第二影像区块112间的匹配搜寻，以获得匹配搜寻结果120所适用的方法，可进一步归纳为一匹配搜寻流程40，如图4所示。匹配搜寻流程40包含以下步骤：

步骤400：开始。

步骤402：根据第一影像区块110中第一影像数据及第二影像区块112中第二影像数据间的偏移关系，获得第一影像区块110相对于第二影像区块112的整体偏移值DG。

步骤404：根据整体偏移值DG与搜寻范围值DV，执行第一影像区块110至第二影像区块112的匹配搜寻。

步骤406：结束。

影像匹配流程40中每一步骤的详细操作，可参考前述实施例的相关段落说明，在此不赘述。另外，本实施例所提供的影像匹配流程40是用来执行第一影像区块110至第二影像区块112的匹配搜寻，关于第二影像区块112至第一影像区块110的匹配搜寻同样也可依据匹配搜寻流程40来执行以获得第二影像区块112的匹配搜寻结果。

具体而言，本发明是根据欲执行匹配搜寻的两影像数据的偏移关系来获得整体偏移值DG，并将影像数据偏移整体偏移值DG，使两影像数据最为相似，以达成可在较小的搜寻范围值DV内来执行匹配搜寻，并同样可获得准确的匹配搜寻结果。本领域的技术人员当可据以进行修饰或变化，举例来说，在本实施例中，搜寻范围值DV为匹配搜寻系统10所预定的大小值，其可视系统的需求来变化，例如，搜寻范围值DV也可再根据两影像数据的相似度大小来随时调整，当两影像数据相似程度较大时，代表两影像数据的对象移动变化较小，而可缩小搜寻范围值DV，当两影像数据相似程度较小时，代表两影像数据的对象移动变化较大，而可放大搜寻范围值DV，以在节省计算成本下同时可使匹配结果能更准确。再者，在本实施例中，整体偏移值DG是通过比对两影像数据的相似度来获得，而相似度为两影像区块的像素绝对差值的总和。在其它实施例中，两影像区块相似度的计算，也可为像素差值平方的总和或转换为频率域后再计算其在频率域的差值等，而不受限。

综上所述，在现有技术中，在两不同视角影像的所有数据范围内来进行匹配搜寻，需付出较大的搜寻计算成本。相较之下，本发明可根据影像数据来动态决定匹配搜寻的搜寻范围，以节省匹配搜寻的计算成本且不影响匹配结果的准确性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种匹配搜寻方法，用于一匹配搜寻系统中执行一第一影像区块至一第二影像区块的一匹配搜寻，该匹配搜寻方法包含有：

根据该第一影像区块中一第一影像数据及该第二影像区块中一第二影像数据间的一偏移关系，获得该第一影像区块相对于该第二影像区块的一整体偏移值；以及

根据该整体偏移值与一搜寻范围值，执行该第一影像区块至该第二影像区块的该匹配搜寻。

2.如权利要求1所述的方法，其中该第一影像区块与该第二影像区块是一影像的两扫描线或两区块。

3.如权利要求1所述的方法，其中根据该第一影像区块中该第一影像数据及该第二影像区块中该第二影像数据间的该偏移关系，获得该第一影像区块相对于该第二影像区块的该整体偏移值的步骤，包含有：

将该第一影像数据分别偏移至少一偏移值，以产生至少一偏移影像数据；

比对该至少一偏移影像数据与该第二影像数据，以获得该至少一偏移影像数据中最相似于该第二影像数据的一相似影像数据；以及

获得该整体偏移值为该至少一偏移值中相对应于该相似影像数据的一偏移值。

4.如权利要求3所述的方法，其中比对该至少一偏移影像数据与该第二影像数据，以获得该至少一偏移影像数据中最相似于该第二影像数据的该相似影像数据的步骤，包含有：

计算该至少一偏移影像数据与该第二影像数据的相似度，以产生至少一相似度；以及

根据该至少一相似度，获得该至少一偏移影像数据中最相似于该第二影像数据的该相似影像数据。

5.如权利要求4所述的方法，其中该至少一相似度的每一相似度为该至少一偏移影像数据的每一偏移影像数据中至少一偏移像素值与该第二影像数据中相对应的至少一像素值之间的至少一绝对差值的一总和。

6.如权利要求5所述的方法，其中判断该至少一相似度中一最小值为一最大相似度，获得该至少一偏移影像数据中相对应于该最大相似度的该相似影像数据。

7.如权利要求1所述的方法，其中根据该整体偏移值与该搜寻范围值，执行该第一影像区块至该第二影像区块的该匹配搜寻的步骤，包含有：

对该第一影像区块中该第一影像数据偏移该整体偏移值，产生一整体偏移数据；以及

以该整体偏移数据为来源数据且以该第二影像区块中该第二影像数据为目的数据，在该搜寻范围值内执行该第一影像区块至该第二影像区块的该匹配搜寻。

8.一种匹配搜寻系统，用来执行一第一影像区块至一第二影像区块间的一匹配搜寻，该匹配搜寻系统包含有：

一计算模块，用来根据该第一影像区块中一第一影像数据及该第二影像区块中一第二影像数据间的一偏移关系，获得该第一影像区块相对于该第二影像区块的一整体偏移值；以及

一匹配模块，用来根据该整体偏移值与一搜寻范围值，执行该第一影像区块至该第二影像区块的该匹配搜寻。

9.如权利要求8所述的匹配搜寻系统，其中该第一影像区块与该第二影像区块是一影像的两扫描线或两区块。

10.如权利要求8所述的匹配搜寻系统，其中根据该第一影像区块中该第一影像数据及该第二影像区块中该第二影像数据间的该偏移关系，获得该第一影像区块相对于该第二影像区块的该整体偏移值的步骤，包含有：

将该第一影像数据分别偏移至少一偏移值，以产生至少一偏移影像数据；

比对该至少一偏移影像数据与该第二影像数据，以获得该至少一偏移影像数据中最相似于该第二影像数据的一相似影像数据；以及

获得该整体偏移值为该至少一偏移值中相对应于该相似影像数据的一偏移值。

11.如权利要求10所述的系统，其中比对该至少一偏移影像数据与该第二影像数据，以获得该至少一偏移影像数据中最相似于该第二影像数据的该相似影像数据的步骤，包含有：

计算该至少一偏移影像数据与该第二影像数据的相似度，以产生至少一相似度；以及

根据该至少一相似度，获得该至少一偏移影像数据中最相似于该第二影像数据的该相似影像数据。

12.如权利要求11所述的系统，其中该至少一相似度的每一相似度为该至少一偏移影像数据的每一偏移影像数据中至少一偏移像素值与该第二影像数据中相对应的至少一像素值之间的至少一绝对差值的一总和。

13.如权利要求12所述的系统，其中判断该至少一相似度中一最小值为一最大相似度，获得该至少一偏移影像数据中相对应于该最大相似度的该相似影像数据。

14.如权利要求8所述的系统，其中根据该整体偏移值与该搜寻范围值，执行该第一影像区块至该第二影像区块的该匹配搜寻的步骤，包含有：

对该第一影像区块中该第一影像数据偏移该整体偏移值，产生一整体偏移数据；以及

以该整体偏移数据为来源数据且以该第二影像区块中该第二影像数据为目的数据，在该搜寻范围值内执行该第一影像区块至该第二影像区块的该匹配搜寻。