CN114866758B - 视差图像填补方法以及图像处理装置 - Google Patents

Abstract

本申请实施例公开了一种视差图像填补方法以及图像处理装置，视差图像填补方法包括：对一视差图像数据中的多个第一无效点进行填补，以产生一第一图像数据，以及对所述第一图像数据中多个第二无效点进行填补，以产生一第二图像数据。所述多个第一无效点是基于一第一步长搜索所述视差图像数据中的有效点来进行填补，所述多个第二无效点是基于一第二步长搜索所述第一图像数据中的有效点来进行填补，且所述第一步长小于所述第二步长。

Description

视差图像填补方法以及图像处理装置

技术领域

本申请涉及视差图像填补方法，具体涉及一种利用局部遮挡区的信息来填补视差图像数据的视差图像填补方法以及图像处理装置。

背景技术

在一般应用中，视差图可提供机器来判断空间中某一点的深度信息。视差图是由多个相机从不同角度进行拍摄来产生的图像信息。由于多个相机之间的取景角度的差异，视差图的部分像素可能会缺少视差信息。在一些应用中，是直接通过滤波方式来填补该部分像素所缺少的视差信息。然而，直接使用滤波来进行填补所得到的视差信息可能会较不准确，进而降低深度信息的准确性。

发明内容

在一些实施例中，本申请提供一种可利用局部遮挡区的信息来填补视差图像数据的视差图像填补方法以及图像处理装置，以改善先前技术的不足。

在一些实施例中，视差图像填补方法包括：对一视差图像数据中的多个第一无效点进行填补，以产生一第一图像数据；以及对所述第一图像数据中多个第二无效点进行填补，以产生一第二图像数据；其中，所述多个第一无效点是基于一第一步长搜索所述视差图像数据中的有效点来进行填补，所述多个第二无效点是基于一第二步长搜索所述第一图像数据中的有效点来进行填补，且所述第一步长小于所述第二步长。

在一些实施例中，图像处理装置包括：一第一图像填补电路，对一视差图像数据中的多个第一无效点进行填补，以产生一第一图像数据；以及一第二图像填补电路，对所述第一图像数据中多个第二无效点进行填补，以产生一第二图像数据；其中，所述多个第一无效点是基于一第一步长搜索所述视差图像数据中的有效点来进行填补，所述多个第二无效点是基于一第二步长搜索所述第一图像数据中的有效点来进行填补，且所述第一步长小于所述第二步长。

在一些实施例中，视差图像填补方法包括：判断一第一图像数据中的多个无效点是否位于一第一遮挡区与一第二遮挡区中的一对应遮挡区；以及根据所述第一图像数据中位于所述对应遮挡区所处方向上的多个第一有效点填补所述多个无效点中的一对应者，以产生一第二图像数据。

有关本申请的特征、实作与功效，兹配合图式作较佳实施例详细说明如下。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的视差图像填补方法的流程图；

图2为本申请实施例提供的对视差图像数据中的一个第一无效点进行填补的流程示意图；

图3A为本申请实施例提供的视差图像数据的图像示意图；

图3B为本申请实施例提供的搜索第一图像数据中的一个第二无效点周围的有效点的流程示意图；

图3C为本申请实施例提供的对第二图像数据中的一个第二无效点进行填补的流程示意图；

图4A为本申请实施例提供的图像处理装置的示意图；

图4B为本申请实施例提供的图4A中的图像填补电路的第一示意图；

图4C为本申请实施例提供的图4A中的图像填补电路的第二示意图；

图5A为本申请实施例提供的图4A中的缓冲器的示意图；

图5B为本申请实施例提供的图5A中的暂存器的数据储存方式的示意图；

图6A为本申请实施例提供的图4A中的缓冲器的示意图；

图6B为本申请实施例提供的图6A中的多个内存的数据排列方式的示意图。

【符号说明】

1～9:像素

100:视差图像填补方法

300:物体

310:左遮挡区

320:右遮挡区

400:图像处理装置

410:视差判断电路

420:缓冲器

430,440:图像填补电路

431:有限状态机

432:处理电路

433,510,610,620,630:存储器

434:读取控制电路

450:滤波电路

520:暂存器

D1,D2:图像数据

DA:无效图像数据

DA1,DA2:部分数据

DIN:视差图像数据

DO:输出图像数据

L1～L6:虚线

P1,P5:无效点

N:空白点

P1,P2:无效点

P2～P4,P6～P9:有效点

S110,S120,S130:步骤

具体实施方式

本文所使用的所有词汇具有其通常的意涵。上述词汇在普遍常用字典中的定义，在本申请的内容中包括任一于此讨论的词汇的使用例子仅为示例，不应限制到本申请的范围与意涵。同样地，本申请亦不仅以于此说明书所示出的各种实施例为限。

关于本文中所使用的“耦接”或“连接”，均可指二或多个组件相互直接作实体或电性接触，或是相互间接作实体或电性接触，亦可指二或多个组件相互操作或动作。如本文所用，用语“电路”可为由至少一个晶体管与/或至少一个主被动组件按一定方式连接以处理信号的装置。

在一些实施例中，本申请通过侦测遮挡区来预测视差图像数据中缺失视差信息的像素，并据此填补该像素的数据值以产生更为准确的视差图像数据。

图1为本申请实施例提供的视差图像填补方法100的流程图。在一些实施例中，视差图像填补方法100可用来填补视差(disparity)图像数据中缺失视差信息的像素(后称为无效点)的数据值。在一些应用中，视差图像数据为通过两个摄影机从物体前的不同方向(例如为左前方与右前方)进行拍摄所产生的图像数据。例如，位于左前方的摄影机可拍摄该物体来产生第一图像数据，位于右前方的摄影机可拍摄该物体来产生第二图像数据，并可根据该物体在第一图像数据与第二图像数据中的成像位置的差异来产生视差图像数据。在一些应用中，视差图像数据可用来判断物体与摄影机之间的距离。

在步骤S110，对视差图像数据中的多个第一无效点进行填补，以产生第一图像数据。在一些实施例中，可利用该多个第一无效点中每一者周围的多个有效点(即在视差图像数据中具有视差信息的像素)的数据值来填补该多个第一无效点。通过上述步骤，可填补视差图像数据中一些面积较小的无效区域(可能由一或多个无效点形成)，以使在该无效区域中的像素具有一定的数据值。关于此处的详细步骤将于后参照图2说明。

在步骤S120，判断第一图像数据中的多个第二无效点是否位于第一遮挡区与第二遮挡区中的一对应遮挡区。在步骤S130，根据第一图像数据中位于该对应遮挡区所处方向上的多个有效点填补多个第二无效点中之一者，以产生第二图像数据。在一些实施例中，遮挡区是指因为多个摄影机之间的拍摄角度的差异而在视差图像数据形成的一特定区域，在该特定区域中的像素缺失视差信息(故为由无效点形成的区域)。通过上述两个步骤，可填补视差图像数据中一些面积较大的无效区域(即为遮挡区)，以使在该无效区域中的像素具有有效的数据值。关于步骤S120与步骤S130将于后参照图3B和图3C详细说明。

在一些实施例中，视差图像填补方法100可还包括另一步骤(未示出)，在此步骤中，可对第二图像数据执行滤波(例如为中值滤波)，以产生输出图像数据。例如，可根据位于第二图像数据中的无效点周围的多个有效点的数值来计算出该无效点的数据值。在一些实施例中，可将该无效点的上方、下方、左方、左上方、左下方、右方、右上方、右下方的多个有效点的数值进行排序，并取出该多个有效点的数值之间的一中间值为该无效点的数据值。如此，通过重复执行上述步骤，可填补第二图像数据中剩余的无效点，以产生具有完整视差信息的输出图像数据。

上述视差图像填补方法100的多个步骤仅为示例，并非限定需依照此示例中的顺序执行。在不违背本申请的各实施例的操作方式与范围下，在视差图像填补方法100下的各种步骤当可适当地增加、替换、省略或以不同顺序执行(例如可以是同时执行或是部分同时执行)。

图2为本申请实施例提供的对视差图像数据中的一个第一无效点进行填补的流程示意图。图2所示的操作对应于图1的步骤S110。在图2中，具有网点背景的方格表示搜寻范围内的像素，具有空白背景的方格表示为缺失视差信息的像素(即无效点)，而具有斜线背景的方格表示为具有视差信息的像素(即有效点)。

在一些实施例中，步骤S110可包括四个步骤。在第一步骤中，找出在视差图像数据中位于第一无效点(例如为无效点P1)周围的有效点。详细而言，可将无效点P1作为中心，沿着左方向、左上方向、上方向、右上方向、右方向、右下方向、下方向以及左下方向以第一步长(或可理解为搜寻半径)搜寻最近的有效点。在图2的例子中，第一步长为3个像素。以无效点P1为中心，可沿着左上方向、右上方向以及右方向依序找到有效点P2、P3以及P4，而在其它方向则找不到有效点。

在第二步骤中，若该多个有效点的数量大于或等于预设值，根据该多个有效点填补该第一无效点。在第三步骤中，若该多个有效点的数量小于预设值，不填补该第一无效点。例如，预设值可为(但不限于)6。在前述的例子中，有效点P2～P4的数量小于6。因此，在此例中，无效点P1未被填补。在一些实施例中，若该多个有效点的数量大于或等于6，可将无效点的数据值设置为该多个有效点的数值之间的一中间值。在另一些实施例中，若该多个有效点的数量大于或等于6，可根据该多个有效点的数值进行一统计运算来决定该无效点的数据值。在第四步骤中，重复执行第一至第三步骤，直到处理完视差图像数据中所有的第一无效点，并将填补后的视差图像数据输出为第一图像数据。

图3A为本申请实施例提供的视差图像数据的图像示意图。如前所述，视差图像数据为通过两个(或两个以上)摄影机从一物体的左前方与右前方进行拍摄所产生的。例如，在图3A中，物体300为被拍摄的主体，而左遮挡区310以及右遮挡区320是因为拍摄角度的差异所产生的无效区域。例如，位于物体300右前方的摄影机(未示出)因物体300的遮挡而无法拍到物体左后方的特定区域，使得视差图像数据在该特定区域缺失视差信息而形成左遮挡区310。类似地，位于物体300左前方的摄影机(未示出)因物体300的遮挡而无法拍到物体右后方的特定区域，使得视差图像数据在该特定区域缺失视差信息而形成右遮挡区320。上述关于遮挡区的形成来源仅用于示例，且本申请并不以此为限。

为了可提高在左遮挡区310以及右遮挡区320的视差信息的预测准确率，在一些实施例中，将以下列多个概念为基础来分析图3A的图像内容。首先，同样位于前景或位于背景的多个像素之间的视差信息的关联度较高，且若多个像素之间的位置越接近，关联度就越高。一般而言，根据景深的差异，图像可以大致分成前景或背景。例如，物体300本身以及物体300之前的景物(若有)属于前景，而物体300之后的景物属于背景。若两个像素的位置皆位于前景(例如都位于物体300上)，则可推测这两个像素的视差较为接近。若两个像素在物体300上的位置越接近，则两个像素的视差信息越有可能相同，故关联度就越高。再者，若像素位于遮挡区，则该像素的视差接近于背景。例如，可将前述的左遮挡区310与右遮挡区320理解为受到前景的景物影响而使得背景的景物没有同时被左右两个摄影机拍摄到所形成的无效区域。由于被遮挡的景物属于背景，故可合理认为左遮挡区310与右遮挡区320中的像素的视差与背景较为接近。

一般来说，位于前景的像素视差较大，而位于背景的像素视差较小。因此，可进一步推得，若位于无效点左方最近的有效点与位于该无效点右方最近的有效点之间的视差差值大于或等于一临界值，则可判断该无效点位于右遮挡区320；反之，位于无效点右方最近的有效点与该位于无效点左方最近的有效点之间的视差差值大于或等于该临界值，则可判断该无效点位于左遮挡区310。若前述的视差差值小于临界值，则判断该无效点不位于右遮挡区320或左遮挡区310。基于上述概念，在一些实施例中，可利用位于左遮挡区310的像素左方的有效点来填补该像素，并可利用位于右遮挡区320的像素右方的有效点来填补该像素。关于此处的详细步骤将于后参照图3B说明。

图3B为本申请实施例提供的搜索第一图像数据中的一个第二无效点周围的有效点的流程示意图。图3B所示的操作对应于图1的步骤S120。类似于图2，在图3B，具有网点背景的方格表示搜寻范围内的像素，具有空白背景的方格表示为无效点，而具有斜线背景的方格表示为有效点。

在一些实施例中，步骤S120可包括下述多个步骤。在第一步骤中，从多个第二无效点中的一对应者沿着朝向第一遮挡区的第一方向找出第一有效点。在第二步骤中，从该对应者沿着朝向第二遮挡区的第二方向找出第二有效点，其中第一方向与第二方向为互相相反的方向。例如，如图3B所示，可将无效点P5作为中心，沿着左方向(即第一方向，其朝向左遮挡区310)以第二步长(此例中为6个像素)搜寻最近的有效点并沿着右方向(即第二方向，其朝向右遮挡区320)以第二步长搜寻最近的有效点。通过上述方式，可在无效点P5左方找到有效点P6(即第一有效点)，并在无效点P5右方找到有效点P7(即第二有效点)。

在第三步骤，比较第一有效点以及第二有效点，以确认该多个第二无效点中的该对应者是位于第一遮挡区或是第二遮挡区。例如，可确认有效点P6的数据值减去有效点P7的数据值所得到的差值是否大于或等于一临界值。若该差值大于或等于临界值，代表有效点P6的视差(即数据值)较大而有效点7的视差较小。在此条件下，可判断有效点P6的视差接近前景(例如，有效点P6可位于图3A的物体300上)，并判断有效点P7的视差接近背景(例如，有效点P7可位于图3A的物体300左后方的景物上)，进而判断出无效点P5位于右遮挡区320。类似地，若有效点P7的数据值减去有效点P6的数据值所得到的差值大于或等于临界值，可判断无效点P7位于左遮挡区310。或者，若有效点P6的数据值与有效点P7的数据值之间的差值小于临界值，代表有效点P6与有效点P7两者的视差很接近，故可判断出无效点P5不位于左遮挡区310或是右遮挡区320。在一些实施例中，若在第二步骤中，沿着左方向以第二步长无法找到有效点，可判断无效点P5位于右遮挡区320。类似地，在第二步骤中，沿着右方向以第二步长无法找到有效点，可判断无效点P5位于左遮挡区310。

图3C为本申请实施例提供的对第二图像数据中的一个第二无效点进行填补的流程示意图。图3C所示的操作对应于图1的步骤S130。类似于图3B，具有网点背景的方格表示搜寻范围内的像素，具有空白背景的方格表示为无效点，而具有斜线背景的方格表示为有效点。

在一些实施例中，步骤S130可包括下述多个步骤。在第一步骤中，从多个第二无效点中的对应者沿着朝向该对应遮挡区的多个方向找出多个有效点。在第二步骤中，根据该多个有效点填补该多个第二无效点中的对应者。

例如，在图3B的例子中，确认无效点P5位于图3A的右遮挡区320(即对应遮挡区)。因此，如图3C所示，可以无效点P5为中心，沿着朝向右遮挡区320的右方向、右上方向以及右下方向以第二步长找出最近的多个有效点P7、P8以及P9。接着，可排序多个有效点P7～P9的数据值以选出具有中间值的一者，并将无效点P5的数据值设定为该中间值。通过上述的设置方式，可判断无效点P5位于的对应遮挡区为何，再利用同样位于该对应遮挡区的多个有效点P7～P9来填补无效点P5，以提升无效点P5的视差准确度。

在一些实施例中，前述的第二步长可基于第二图像数据中的一区块(tile)的数据尺寸设定，其中该区块为每次处理的数据大小。例如，若区块的数据尺寸为128×128(即一个区块内含有128×128个像素)，则第二步长可设置为127，以确保在每次的搜索过程中可以完整搜索完一个区块。在一些实施例中，步骤S110中所使用的第一步长可设置为小于步骤S120与S130中所使用的第二步长。通过上述设置方式，步骤S110可用来填补面积较小的无效区域，而步骤S130可用来填补面积较大的无效区域。

为易于理解，图3B与图3C是以一个无效点进行填补为例进行说明。应当理解，通过重复执行图3B与图3C的多个操作，可填补第一图像数据中的大部分无效点，以产生第二图像数据。接着，可利用中值滤波等操作来填补第二图像数据中剩余的零星无效点，以产生更为完整的输出图像数据。

图4A为本申请实施例提供的图像处理装置400的示意图。图像处理装置400可用来执行图1的视差图像填补方法100。

图像处理装置400包括视差判断电路410、缓冲器420、图像填补电路430、图像填补电路440以及滤波电路450。视差判断电路410搜索视差图像数据DIN的多个无效点，以产生无效图像数据DA。例如，在视差图像数据DIN中，有效点的数据值可设定为0至256(依视差而定)，而无效点的数据值可设定为一预设负数。视差判断电路410可逐一查看视差图像数据DIN中所有像素的数据值，以将具有数据值为预设负数的多个像素的位置进行标记以产生无效图像数据DA。换言之，无效图像数据DA可指示视差图像数据DIN的多个无效点的对应位置。例如，在无效图像数据DA中，可将对应于有效点的像素数据值设置为逻辑值1，并将对应于无效点的像素数据值设置为逻辑值0。如此，可根据多个逻辑值0的位置快速找到视差图像数据DIN的多个无效点。

缓冲器420储存视差图像数据DIN以及无效图像数据DA。图像填补电路430耦接至缓冲器420，以读取视差图像数据DIN或无效图像数据DA中的至少一者，以对视差图像数据DIN的多个无效点进行填补以产生图像数据D1(即图1的步骤S110)，并储存图像数据D1于缓冲器420。例如，图像填补电路430可根据视差图像数据DIN中多个像素的数据值确认多个无效点的位置，并执行步骤S110填补多个第一无效点以产生图像数据D1。或者，图像填补电路430可根据无效图像数据DA的数据值确认视差图像数据DIN中多个无效点的位置，并根据视差图像数据DIN执行步骤S110填补多个无效点以产生图像数据D1。在一些实施例中，图像填补电路430可逐块地读入视差图像数据DIN和/或无效图像数据DA，并依序执行步骤S110。

图像填补电路440耦接至缓冲器420，以读取无效图像数据DA以及图像数据D1。图像填补电路440可判断图像数据D1中的多个无效点是否位于一对应遮挡区(即图1的步骤S120)，并根据图像数据D1中位于该对应遮挡区所处方向上的多个有效点填补图像数据D1中的多个无效点以产生图像数据D2(即图1的步骤S130)，并储存该图像数据D2至缓冲器420。滤波电路450耦接至缓冲器420，以读取图像数据D2并对图像数据D2执行中值滤波以产生输出图像数据DO。

图4B为根据本申请实施例提供的图4A中的图像填补电路430的第一示意图。在此例中，图像填补电路430包括有限状态机431以及处理电路432。有限状态机431可用来实现步骤S110的多个步骤。在一些实施例中，处理电路432可包括加法器、计数器、比较器等电路，以对数据进行比较与排序。处理电路432可与有限状态机431协同运作，以根据缓冲器420中的视差图像数据DIN和/或无效图像数据DA中至少一者来执行图1的步骤S110。在一些实施例中，图像填补电路430可依序更新缓冲器420中的视差图像数据DIN中的多个数据值并根据已填补的多个第一无效点更新缓冲器420中的无效图像数据DA。例如，可由左到右，并从上到下的顺序来依序更新视差图像数据DIN中的多个数据值，以将视差图像数据DIN更新为图像数据D1并对应地更新缓冲器420中的无效图像数据DA。在一些实施例中，图像填补电路440的实施方式可类似于图4B中所示的设置方式，故在此不再重复赘述。

图4C为本申请实施例提供的图4A中的图像填补电路430的第二示意图。相较于图4B，在此例中，图像填补电路430还包括存储器433以及读取控制电路434。读取控制电路434以区块(title)为单位从缓冲器420逐块地读取视差图像数据DIN到存储器433，以供处理电路432与有限状态机431进行无效点填补的操作。在一些实施例中，存储器433可由暂存器实施。在图像填补电路430处理完一个区块(相当于图像数据D1的一部分数据)后，图像填补电路440可接着对处理完的该区块进行第二次填补(即步骤S120与S130)。通过上述设置方式，可进一步提高图像填补的操作速度。

图5A为本申请实施例提供的图4A中的缓冲器420的示意图。在此例中，缓冲器420包括存储器510与暂存器520。存储器510储存视差图像数据DIN，暂存器520储存无效图像数据DA。在一些实施例中，存储器510可为(但不限于)静态随机存取存储器。图像填补电路440可从暂存器520读取无效图像数据DA以找出视差图像数据DIN中多个有效点并执行步骤S130。

图5B为本申请实施例提供的图5A中的暂存器520的数据储存方式的示意图。如先前图3B所示，在确认对应遮挡区后，可沿着无效点P5来朝向对应遮挡区的多个方向来搜索多个有效点，其中该多个方向包括水平方向(例如左方向或右方向)、具有正斜率的斜线方向(例如为右上方向或左下方向)与具有负斜率的斜线方向(例如为右下方向或左上方向)。一般而言，图像数据为依照行列的方式排序储存于暂存器中，然而，当沿着一斜线方向来搜索有效点时，读取暂存器中以此种方式储存的数据需要读取多条数据读取线的数据才能得到对应该斜线方向上各像素对应的值，此举将耗费大量时间。在此例中，无效图像数据DA中的数据排列方式旋转特定角度(此例为45度)后再储存于暂存器520，使一斜线方向上的所有像素位于暂存器520同一数据读取在线，如此一来，读取同一条数据读取线即可得到一斜线方向上的所有像素所对应值，借此可提升斜线方向上的搜索效率。

详细来说，如图5B所示，无效图像数据DA上标记有像素1～9的对应数据值。像素1～9分别对应于视差图像数据DIN中前3行与前3列的多个像素。多条虚线L1～L5相当于暂存器520的数据读取线，沿着虚线L1读取，可读取到像素1的对应数据值。沿着虚线L2读取，可读取到像素4与像素2的对应数据值。沿着虚线L3读取，可读取到排列像素7、像素5与像素3的对应数据值，以此类推。按照上述的读取方式，相当于沿着右上方向(若读取顺序相反，为左下方向)来读取多个像素的对应数据值。若数据值为1，代表该像素在视差图像数据DIN为有效点。暂存器520可通过这些数据读取线来沿着斜线方向搜索斜线方向上的有效点，以快速地获取该多个有效点的对应地址。

图6A为本申请实施例提供的图4A中的缓冲器420的示意图。在此例中，缓冲器420包含存储器610、620与630。存储器610储存视差图像数据DIN。在一些实施例中，存储器610、620与630中每一者可为(但不限于)静态随机存取内存。存储器620储存无效图像数据DA的部分数据DA1，且存储器630储存无效图像数据DA的另一部分数据DA2。在一些实施例中，部分数据DA1及部分数据DA2可分别包括无效图像数据DA的全部数据，而部分数据DA1的储存方式不同于部分数据DA2的储存方式。图像填补电路440可从存储器620与存储器630读取无效图像数据DA以获得视差图像数据DIN中多个有效点的储存地址，以找出该些有效点并执行步骤S130。

图6B为本申请实施例提供的图6A的存储器610、620与630的数据储存方式的示意图。不同于图5B，在图6A的例子，存储器620与存储器630可为静态随机存取内存。一般而言，静态随机存取内存是逐行逐列读取数据。若图像数据中的多个像素的数据值仍是以原有的行列方式储存于内存，将耗费大量时间来读取内存才可得到对应斜线方向上的像素的数据值。在此例中，部分数据DA1中标记的多个像素的数据值是将无效图像数据DA按照具有正斜率的斜线方向(例如，右上方向或左下方向)重新排列后再储存于存储器620。如前所述，像素1～9分别对应于视差图像数据DIN中前3行与前3列的多个像素。在存储器620中，第一列的数据值依序对应于像素1、空白点N(相当于无效点)与空白点N，第二列的数据值依序对应于像素4、像素2与空白点N，第三列的数据值依序对应于像素7、像素5与像素3。依此类推，应可理解，若逐行逐列读取存储器620，相当于按照沿着右上方向(若阅读顺序相反，为左下方向)搜索多个有效点。如此，存储器620可读取出无效图像数据DA在具有正斜率的斜线方向上的多个像素被标记的数据值。

类似地，部分数据DA2中标记的多个像素的数据值是将无效图像数据DA按照具有负斜率的斜线方向(例如，左上方向或右下方向)重新排列后再储存于存储器630。例如，在存储器630中，第一列的数据值依序对应于像素1、空白点N与空白点N，第二列的数据值依序对应于像素4、像素2与空白点N，第三列的数据值依序对应于像素3、像素5与像素7。依此类推，应可理解，若逐行逐列读取存储器620，可相当于按照沿着左上方向(若阅读顺序相反，为右下方向)搜索多个有效点。如此，存储器630可读取出无效图像数据DA在具有负斜率的斜线方向上的多个像素被标记的数据值。相较于图5B，通过图6A与图6B的设置方式，在一些应用中可节省一些数据读取线的数量，进而降低整体电路的整体面积。应当理解，图6B是用来说明部分数据DA1与DA2的数据排列方式与视差图像数据DIN中的多个像素1～9之间的对应位置关系，其中部分数据DA1与DA2载有的数据值是用来标记视差图像数据DIN中的多个像素1～9是有效点或无效点，而视差图像数据DIN所载有的数据值是多个像素1～9的视差信息。

需要说明的是，本申请实施例中，“多个”包括“两个”或“两个以上”。

综上所述，本申请一些实施例中的视差图像填补方法与图像处理装置可利用局部遮挡区的信息来填补视差图像数据中缺失视差信息的像素。如此，可提升该像素的视差信息的准确性。

以上对本申请实施例所提供的视差图像填补方法与图像处理装置进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种视差图像填补方法，其特征在于，包括：

对一视差图像数据中的多个第一无效点进行填补，以产生一第一图像数据；以及

对所述第一图像数据中多个第二无效点进行填补，以产生一第二图像数据；

其中，所述多个第一无效点是基于一第一步长搜索所述视差图像数据中的有效点来进行填补，所述多个第二无效点是基于一第二步长搜索所述第一图像数据中的有效点来进行填补，且所述第一步长小于所述第二步长；

其中，所述对一视差图像数据中的多个第一无效点进行填补，以产生一第一图像数据，包括：

找出在所述视差图像数据中位于所述多个第一无效点中的一第一点周围的多个第二有效点；

若所述多个第二有效点的数量大于或等于一预设值，根据所述多个第二有效点填补所述第一点；以及

若所述多个第二有效点的数量小于所述预设值，不填补所述第一点。

2.如权利要求1所述的视差图像填补方法，其特征在于，所述方法还包括：

判断所述第一图像数据中的所述多个第二无效点是否位于一第一遮挡区与一第二遮挡区中的一对应遮挡区；

所述对所述第一图像数据中多个第二无效点进行填补，包括：

根据所述第一图像数据中位于所述对应遮挡区所处方向上的多个第一有效点填补所述多个第二无效点中的一对应者。

3.如权利要求2所述的视差图像填补方法，其特征在于，所述判断所述第一图像数据中的所述多个第二无效点是否位于一第一遮挡区与一第二遮挡区中的一对应遮挡区，包括：

从所述多个第二无效点中的所述对应者沿着朝向所述第一遮挡区的一第一方向找出一第二有效点；

从所述对应者沿着朝向所述第二遮挡区的一第二方向搜索一第三有效点；

比较所述第二有效点与所述第三有效点，以确认所述对应者是位于所述第一遮挡区或是所述第二遮挡区。

4.如权利要求3所述的视差图像填补方法，其特征在于，所述第一方向与所述第二方向互相相反。

5.如权利要求1所述的视差图像填补方法，其特征在于，所述方法还包括：

对所述第二图像数据执行一中值滤波，以产生一输出图像数据。

6.一种图像处理装置，其特征在于，用于执行权利要求1至5中任意一项所述的视差图像填补方法；所述图像处理装置包括：

一第一图像填补电路，对一视差图像数据中的多个第一无效点进行填补，以产生一第一图像数据；以及

一第二图像填补电路，对所述第一图像数据中多个第二无效点进行填补，以产生一第二图像数据；

其中，所述多个第一无效点是基于一第一步长搜索所述视差图像数据中的有效点来进行填补，所述多个第二无效点是基于一第二步长搜索所述第一图像数据中的有效点来进行填补，且所述第一步长小于所述第二步长。

7.如权利要求6所述的图像处理装置，其特征在于，所述装置还包括：

一视差判断电路，搜索所述视差图像数据中所述多个第一无效点，以产生一无效图像数据；以及

一缓冲器，储存所述视差图像数据以及所述无效图像数据。

8.如权利要求7所述的图像处理装置，其特征在于，所述第一图像填补电路根据所述第一图像数据更新所述缓冲器中所储存的所述无效图像数据。

9.如权利要求7所述的图像处理装置，其特征在于，所述缓冲器包括：

一静态随机存取存储器，储存所述视差图像数据；以及

一暂存器，储存所述无效图像数据。

10.如权利要求9所述的图像处理装置，其特征在于，所述暂存器中的一数据读取线可读取所述无效图像数据在一斜线方向上多个像素的标记值。

11.如权利要求9所述的图像处理装置，其特征在于，所述第二图像填补电路根据所述缓冲器中的所述无效图像数据搜索所述第一图像数据中的有效点。

12.如权利要求6所述的图像处理装置，其特征在于，所述装置还包括：

一第一存储器，储存所述视差图像数据；

一第二存储器，储存一第一数据；以及

一第三存储器，储存一第二数据；

其中，所述第一数据为一无效图像数据沿一第一斜率方向排列的数据，而所述第二数据为所述无效图像数据沿一第二斜率方向排列的数据，所述无效图像数据标示所述视差图像数据中的多个无效点。

13.一种视差图像填补方法，其特征在于，包括：

判断一第一图像数据中的多个无效点是否位于一第一遮挡区与一第二遮挡区中的一对应遮挡区；以及

根据所述第一图像数据中位于所述对应遮挡区所处方向上的多个第一有效点填补所述多个无效点中的一对应者，以产生一第二图像数据；

其中，所述根据所述第一图像数据中位于所述对应遮挡区所处方向上的多个第一有效点填补所述多个无效点中的一对应者，以产生一第二图像数据，包括：

从多个第二无效点中的所述对应者沿着朝向所述对应遮挡区的多个方向找出所述多个第一有效点；以及

根据所述多个第一有效点的数据值填补所述多个第二无效点中的所述对应者；

其中，所述根据所述多个第一有效点的数据值填补所述多个第二无效点中的所述对应者，包括：

排序所述多个第一有效点的数据值以选出具有中间值的一者，并将所述对应者的数据值设定为所述中间值。

14.如权利要求13所述的视差图像填补方法，其特征在于，所述判断一第一图像数据中的多个无效点是否位于一第一遮挡区与一第二遮挡区中的一对应遮挡区，包括：

从所述多个无效点中的所述对应者沿着朝向所述第一遮挡区的一第一方向找出一第二有效点；

从所述对应者沿着朝向所述第二遮挡区的一第二方向搜索一第三有效点；

比较所述第二有效点与所述第三有效点，以确认所述对应者是位于所述第一遮挡区或是所述第二遮挡区。

15.如权利要求14所述的视差图像填补方法，其特征在于，所述第一方向与所述第二方向互相相反。