CN104915941B - 计算视差的方法和装置 - Google Patents
计算视差的方法和装置 Download PDFInfo
- Publication number
- CN104915941B CN104915941B CN201410088304.8A CN201410088304A CN104915941B CN 104915941 B CN104915941 B CN 104915941B CN 201410088304 A CN201410088304 A CN 201410088304A CN 104915941 B CN104915941 B CN 104915941B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- parallax value
- power flow
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001595 flow curve Methods 0.000 claims abstract description 41
- 238000010030 laminating Methods 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明的实施例提供了一种计算视差的方法和装置。根据本发明实施例的计算视差值的方法，包括：根据基准图像和参照图像获得基准图像中第一像素点的初始匹配代价曲线；确定初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否大于预定值；当差值大于预定值时，将初始匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值；以及当差值小于或等于预定值时，利用灰度信息获得第一像素点的修正匹配代价曲线，并且将修正匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。
Description
技术领域
本发明涉及计算视差值的方法和装置，更具体地，本发明涉及基于匹配代价曲线的计算视差值的方法和装置。
背景技术
随着三维重建、虚拟现实等技术的发展，指示相机和所拍摄的特定对象之间距离的视差信息已被广泛使用。通过立体图像匹配技术，可在关于相同三维场景的基准图像和参照图像中找到匹配的像素点对，计算出每个像素点坐标对应的视差值。进而可利用视差值来准确地描述场景的三维空间信息。
在视差计算的过程中，已经提出了通过计算匹配代价曲线并且将匹配代价曲线中匹配代价的最小值所对应的偏移作为第一像素点的视差值的视差值计算方法。然而，无纹理或者有噪音的区域会导致错误的匹配代价曲线。
图1a示意性地示出了一示例区域的基准图像，并且图1b示意性地示出了所述示例区域的参照图像。图1a和图1b所示的示例区域为无纹理或者有噪音的区域。图2a是示出了按照传统方法根据图1a所示的基准图像和图1b所示的参照图像获得的图1a中的像素点A的匹配代价曲线的示意性说明图。如图2a所示，无纹理或者有噪音的区域会导致产生错误的匹配代价曲线，并且难以根据匹配代价曲线获得有效的视差值。图2b示意性地示出了按照传统方法根据图1a所示的基准图像和图1b所示的参照图像获得的匹配代价曲线确定的视差值构成的视差图。如图2b所示，在无纹理或者有噪音的区域中，根据传统的计算方法获得的视差值不能准确地反映拍摄对象的深度信息。
目前提出了通过设定阈值来改善根据匹配代价曲线获得的视差值。具体地，如果匹配代价曲线中匹配代价的最小值与该曲线的第二小值之间的差值大于设定的阈值，则保留该视差值；并且如果匹配代价曲线中匹配代价的最小值与该曲线的第二小值之间的差值小于或等于设定的阈值，则舍弃该视差值，从而可去除不可靠的视差值，并且得到更准确的视差图。
图3示意性地示出了由视差值构成的视差图，其中所述视差值是通过图1a所示的基准图像和图1b所示的参照图像获得的匹配代价曲线以及预先设定的阈值确定的。可以容易地看出，与图2b中示出的由未经过与预先设定的阈值进行比较而获得的视差值构成的视差图相比，图3中所示的视差图更加可靠。
然而，由于阈值是人为设定的，因此存在所确定的阈值较为主观，而不适用于所有的情况的问题。此外，为了不引入错误的视差值通常将阈值设置为较大值，这导致大量正确的视差值被舍弃。
发明内容
本发明实施例的目的在于提供一种计算视差的方法和装置，以解决上述问题。
本发明的一个实施例提供了一种计算视差值的方法，包括：根据基准图像和参照图像获得基准图像中第一像素点的初始匹配代价曲线；确定初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否大于预定值；当差值大于预定值时，将初始匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值；以及当差值小于或等于预定值时，利用灰度信息获得第一像素点的修正匹配代价曲线，并且将修正匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。
本发明的另一实施例提供了一种计算视差值的装置，包括：初始曲线获取单元，配置来根据基准图像和参照图像获得基准图像中第一像素点的初始匹配代价曲线；差值确定单元，配置来确定初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否大于预定值；视差值确定单元，配置来当差值大于预定值时，将初始匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值；修正曲线获取单元，配置来当差值小于或等于预定值时，利用灰度信息获得第一像素点的修正匹配代价曲线，其中视差值确定单元还配置来当差值小于或等于预定值时，将修正匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。
在上述发明实施例提供的计算视差值的方法和装置中，对于视差值不可靠的点，通过灰度信息来重新计算该点的匹配代价曲线，并根据重新计算的匹配代价曲线的来获得更准确的时差值，从而获得比传统方法更加准确稠密的视差图。
附图说明
图1a示意性地示出了一示例区域的基准图像；
图1b示意性地示出了所述示例区域的参照图像；
图2a是示出了按照传统方法、根据图1a所示的基准图像和图1b所示的参照图像获得的图1a中的像素点A的匹配代价曲线的示意性说明图；
图2b示意性地示出了按照传统方法、根据图1a所示的基准图像和图1b所示的参照图像获得的匹配代价曲线确定的视差值构成的视差图；
图3示意性地示出了由视差值构成的视差图，其中所述视差值是通过图1a所示的基准图像和图1b所示的参照图像获得的匹配代价曲线以及预先设定的阈值确定的；
图4是描述了根据本发明一个实施例的计算视差的方法的流程图；
图5是描述了根据本发明一个实施例的获得第一像素点的初始匹配代价曲线的方法的流程图；
图6是描述了根据本发明一个实施例的获得第一像素点的修正匹配代价曲线的方法的流程图；
图7是描述了根据本发明一个实施例利用调整后的惩罚参数估算该路径的修正匹配代价的方法的流程图；
图8a是示出了按照本发明一个实施例利用调整后的惩罚参数、根据图1a所示的基准图像和图1b所示的参照图像获得的图1a中的像素点A的修正匹配代价曲线的示意性说明图；
图8b是示出了按照本发明一个实施例利用调整后的惩罚参数、根据图1a所示的基准图像和图1b所示的参照图像获得的修正匹配代价曲线确定的视差值构成的视差图；
图9是示出了根据本发明的一个实施例的计算视差值的装置的示范性结构框图。
图10是示出了根据本发明的一个实施例的初始曲线获取单元的示范性结构框图。
图11是示出了根据本发明的一个实施例的修正曲线获取单元的示范性结构框图。
图12是示出了根据本发明的一个实施例的第二估算模块的示范性结构框图。
图13是示出按照本发明实施例的计算视差值的硬件系统的总体硬件框图。
具体实施方式
为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。
图4是描述了根据本发明一个实施例的计算视差的方法的流程图。下面，将参照图4来描述根据本发明实施例的计算视差的方法。如图4所示，在步骤S401中，根据基准图像和参照图像获得基准图像中第一像素点的初始匹配代价曲线。根据本发明的一个示例，可通过双目相机，拍摄得到左图像和右图像，并且可以任选左图像和右图像中的一个作为参考图像，而将另一个作为匹配图像。
为了获得更加准确的匹配点，在步骤S401中，可综合不同的到达第一像素点的路径的初始匹配代价来生成第一像素点的初始匹配代价曲线。可根据具体需要来选择到达第一像素点的路径，例如，可选择5个路径，8个路径，16个路径等等。以下将结合图5来描述根据本发明一个实施例的获得第一像素点的初始匹配代价曲线的方法。图5是描述了根据本发明一个实施例的获得第一像素点的初始匹配代价曲线的方法的流程图。
如图5所示，在步骤S501中，利用惩罚参数，对于到达第一像素点的多个路径中的每一个路径来估算初始匹配代价。优选地，惩罚参数可包括关于微小视差值变化的第一惩罚参数，和关于较大视差值变化的第二惩罚参数。例如，在斜面或曲面可产生微小视差值变化，而物体之间中断可产生较大的视差变化。
根据本发明的一个示例，可通过以下公式(1)来计算到达第一像素点p的路径r的初始匹配代价Lr(p,d)：
Lr(p,d)=C(p,d)+f(Lr(p-r,d))……（1）
其中d为视差值，C(p,d)为第一像素点的初始匹配代价，f(Lr(p-r,d))为关于第二像素点的匹配代价的函数，其中可预先确定所述视差值d的取值范围，以及所述第二像素点为第一像素点沿该路径的前一像素点。
可通过各种已知方案来获得第一像素点的初始匹配代价。例如，可利用互信息（MI）来计算在基准图像和参考图像中，第一像素点的初始匹配代价。此外，可通过第一惩罚参数和第二惩罚参数来确定关于第二像素点的匹配代价。例如，可通过以下公式(2)来确定关于第二像素点的匹配代价的函数f(Lr(p-r,d)):
f(Lr(p-r,d))=min(Lr(p-r,d),Lr(p-r,d-1)+P1,
Lr(p-r,d+1)+P1,miniLr(p-r,i)+P2)……（2）
其中P1为第一惩罚参数，P2为第二惩罚参数，i为在视差值d的取值范围中除了视差值d,d-1和d+1的当前取值以外的值。此外，为了防止第一像素点的匹配代价的值过大，优选地，可从Lr(p-r,d)、Lr(p-r,d-1)+P1、Lr(p-r,d+1)+P1以及miniLr(p-r,i)+P2的最小值中减去minkLr(p-r,k)，以作为关于第二像素点的匹配代价的函数，其中k的取值范围与视差值d的取值范围相同。
然后，在步骤S502中，叠加在步骤S501中估算的多个初始匹配代价，以获得初始匹配代价曲线。
返回图4，在步骤S402中，确定初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否大于一预定值。当差值大于预定值时，认为根据初始匹配代价曲线获得的视差值是可靠的，并且在步骤S403中，将在步骤S401中获得的初始匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。
另一方面，当差值小于或等于预定值时，认为根据初始匹配代价曲线获得的视差值是不可靠的。步骤S404中，利用灰度信息获得第一像素点的修正匹配代价曲线，并且将修正匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。换言之，在步骤S404中，利用灰度信息对在步骤S401中根据基准图像和参照图像获得的第一像素点的初始匹配代价曲线进行调整，以获得该像素点的修正匹配代价曲线。
如以下将结合图7详细描述的，根据本发明的一个示例，在步骤S404中，可利用灰度信息对接近第一像素点的第二像素点的视差值所对应的匹配代价进行调整，从而提高将与第一像素点条件类似的第二像素点的视差值作为第一像素点的视差值的可能性。因此，希望第二像素点的视差值为可靠的视差值。优选地，图4中所示的方法还可包括当差值小于或等于预定值时，确定在第二像素点的视差值是否为可靠视差值。例如，当差值小于或等于预定值时，确定在第二像素点的视差值是否为零。当第二像素点的视差值为不可靠视差值时，可直接将第一像素点的视差值设置为指示视差值不可靠的值，例如，将第一像素点的视差值设置为零。另一方面，当第二像素点的视差值为可靠视差值时，可执行步骤S404。从而可减少针对视差值的应运算量，提高了系统效率。
以下将结合图6来描述根据本发明一个实施例在步骤S404中获得第一像素点的修正匹配代价曲线的方法。如以上结合图5所描述的，根据本发明的一个实施例，可利用惩罚参数对于到达第一像素点的多个路径中的每一个路径估算初始匹配代价。在此情况下，根据图6所示的实施例，可通过灰度信息来调整惩罚参数，并进而获得修正匹配代价曲线。
图6是描述了根据本发明一个实施例的获得第一像素点的修正匹配代价曲线的方法的流程图。如图6所示，在步骤S601中，对于到达第一像素点的多个路径中的每一个路径通过灰度信息来调整惩罚参数，并且利用调整后的惩罚参数估算该路径的修正匹配代价。在根据本发明的示例中，灰度信息可包括灰度值。如以上结合图5描述的，惩罚参数可包括关于微小视差值变化的第一惩罚参数，和关于较大视差值变化的第二惩罚参数。优选地，在步骤S601中可根据以下公式(3)来调整第一惩罚参数：
其中，P1(r)为调整后的第一惩罚参数，r为路径，P1为未经调整的第一惩罚参数，p为第一像素点，p-r为第二像素点，g(p-r)是第二像素点的灰度值，并且g(p)是第一像素点的灰度值。如上所述，第二像素点为第一像素点沿该路径的前一像素点。
此外，图7是描述了根据本发明一个实施例利用调整后的惩罚参数估算该路径的修正匹配代价的方法的流程图。以下将结合图7来描述根据本发明一个实施例在步骤S601中利用调整后的惩罚参数估算修正匹配代价的方法。
如图7所示，在步骤S701中，利用调整后的惩罚参数，对于第二像素点的视差值估算该路径的修正匹配代价。第二像素点为第一像素点沿该路径的前一像素点。此外，通过先前的计算，已确定了第二像素点的视差值。
例如，在通过以上公式(1)计算到达第一像素点p的路径r的初始匹配代价的情况下，可通过以下公式(4)来计算当视差值d的值为已确定的第二像素点的视差值dp-r时，路径r的修正匹配代价Lr(p,dp-r)：
Lr(p,dp-r)=C(p,dp-r)+P1(r)*f(Lr(p-r,dp-r))……（4）
其中，C(p,dp-r)为当视差值d的值为已确定的第二像素点的视差值dp-r时第一像素点的初始匹配代价，f(Lr(p-r,dp-r))为当视差值d的值为已确定的第二像素点的视差值dp-r时关于第二像素点的匹配代价的函数，P1(r)为调整后的惩罚参数，例如，可通过上述公式(3)来获得P1(r)。
然后，在步骤S702中，利用未经调整的惩罚参数，对于视差值的取值范围中除了第二像素点的视差值以外的视差值估算该路径的初始匹配代价。例如，可通过以上公式(1)来计算当视差值d的值为在视差值的预定取值范围中、除了第二像素点的视差值以外的值时，路径r的初始匹配代价。
最后，在步骤S703中，结合在步骤S701中获得的第二像素点的视差值的修正匹配代价和在步骤S702中获得的除了第二像素点的视差值以外的视差值的初始匹配代价，以获得该路径的修正匹配代价。
返回图6，在步骤S602中，叠加在步骤S601中所估算的多个修正匹配代价，以获得修正匹配代价曲线。
图8a是示出了按照本发明一个实施例利用调整后的惩罚参数、根据图1a所示的基准图像和图1b所示的参照图像获得的修正匹配代价曲线的示意性说明图。在根据本发明以上实施例的计算视差的方法中，当第一像素点的初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值小于或等于预定值时，利用灰度信息获得第一像素点的修正匹配代价曲线，从而如图8a所示，提高了将与第一像素点位置接近并且灰度信息接近的第二像素点的视差值作为第一像素点的视差值的可能性。图8b示意性地示出了在图1a和图1b所示的场景中，由根据本发明以上实施例的计算视差的方法获得的视差值构成的视差图。如图8b所示，通过根据本发明以上实施例的计算视差的方法，即使在无纹理或者有噪音的区域中也能够得到准确并且稠密的视差图。
下面，参照图9说明本发明的实施例的计算视差值的装置。图9是示出了根据本发明的一个实施例的计算视差值的装置900的示范性结构框图。如图9中所示，本实施例的计算视差值的装置900包括初始曲线获取单元910、差值确定单元920、视差值确定单元930和修正曲线获取单元940。计算视差值的装置900的各个单元可分别执行上述图4中的计算视差值的方法400的各个步骤/功能。因此，以下仅对计算视差值的装置900的主要部件进行了描述，而省略了以上已经结合图4描述过的细节内容。
初始曲线获取单元910可根据来自双目相机（即，立体相机）的基准图像和参照图像获得所述基准图像中第一像素点的初始匹配代价曲线。为了获得更加准确的匹配点,初始曲线获取单元910可综合不同的到达第一像素点的路径的初始匹配代价来生成第一像素点的初始匹配代价曲线。可根据具体需要来选择到达第一像素点的路径，例如，可选择5个路径，8个路径，16个路径等等。
图10是示出了根据本发明的一个实施例的初始曲线获取单元910的示范性结构框图。如图10中所示，初始曲线获取单元910可包括第一估算模块1010和第一叠加模块1020。初始曲线获取单元910的各个模块可分别执行上述图5中的获得第一像素点的初始匹配代价曲线的方法500的各个步骤/功能。
具体地，第一估算模块1010可利用惩罚参数，对于到达第一像素点的多个路径中的每一个路径来估算初始匹配代价。优选地，惩罚参数可包括关于微小视差值变化的第一惩罚参数，和关于较大视差值变化的第二惩罚参数。例如，在斜面或曲面可产生微小视差值变化，而物体之间中断可产生较大的视差变化。
根据本发明的一个示例，第一估算模块1010可通过以下公式(1)来计算到达第一像素点p的路径r的初始匹配代价Lr(p,d)：
Lr(p,d)=C(p,d)+f(Lr(p-r,d))……（1）
其中d为视差值，C(p,d)为第一像素点的初始匹配代价，f(Lr(p-r,d))为关于第二像素点的匹配代价的函数，其中可预先确定所述视差值d的取值范围，以及所述第二像素点为第一像素点沿该路径的前一像素点。
第一估算模块1010可通过各种已知方案来获得第一像素点的初始匹配代价。例如，可利用互信息（MI）来计算在基准图像和参考图像中，第一像素点的初始匹配代价。此外，第一估算模块1010可通过第一惩罚参数和第二惩罚参数来确定第二像素点的匹配代价。例如，可通过以下公式(2)来确定关于第二像素点的匹配代价f(Lr(p-r,d))的函数:
f(Lr(p-r,d))=min(Lr(p-r,d),Lr(p-r,d-1)+P1,
Lr(p-r,d+1)+P1,miniLr(p-r,i)+P2)……（2）
其中P1为第一惩罚参数，P2为第二惩罚参数，i为在视差值d的取值范围中除了视差值d,d-1和d+1的当前取值以外的值。此外，为了防止第二像素点的匹配代价的值过大，优选地，可从Lr(p-r,d)、Lr(p-r,d-1)+P1、Lr(p-r,d+1)+P1以及miniLr(p-r,i)+P2的最小值中减去minkLr(p-r,k)作为关于第二像素点的匹配代价的函数，其中k的取值范围与视差值d的取值范围相同。
然后，第一叠加模块1020可叠加第一估算模块1010估算的多个初始匹配代价，以获得初始匹配代价曲线。
返回图9，差值确定单元920可确定初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否大于一预定值。当差值大于预定值时，认为根据初始匹配代价曲线获得的视差值是可靠的，并且视差值确定单元930将初始曲线获取单元910获得的初始匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。
另一方面，当差值小于或等于预定值时，认为根据初始匹配代价曲线获得的视差值是不可靠的。修正曲线获取单元940利用灰度信息获得第一像素点的修正匹配代价曲线，并且将修正匹配代价曲线中匹配代价的最小值所对应的视差值作为第一像素点的视差值。换言之，修正曲线获取单元940利用灰度信息对初始曲线获取单元910根据基准图像和参照图像获得的第一像素点的初始匹配代价曲线进行调整，以获得该像素点的修正匹配代价曲线。
如以下将结合图12详细描述的，根据本发明的一个示例，修正曲线获取单元940可利用灰度信息对接近第一像素点的第二像素点的视差值所对应的匹配代价进行调整，从而提高将与第一像素点条件类似的第二像素点的视差值作为第一像素点的视差值的可能性。因此，希望第二像素点的视差值为可靠的视差值。优选地，图9中所示的计算视差值的装置900还可包括可靠性确定单元。当差值小于或等于预定值时，可靠性确定单元可确定在第二像素点的视差值是否为可靠视差值。例如，当差值小于或等于预定值时，确定在第二像素点的视差值是否为零。当第二像素点的视差值为不可靠视差值时，视差值确定单元930可直接将第一像素点的视差值设置为指示视差值不可靠的值，例如，将第一像素点的视差值设置为零。另一方面，当第二像素点的视差值为可靠视差值时，修正曲线获取单元940可利用灰度信息获得第一像素点的修正匹配代价曲线。从而可减少针对视差值的应运算量，提高了系统效率。
如以上结合图10所描述的，根据本发明的一个实施例，可利用惩罚参数对于到达第一像素点的多个路径中的每一个路径估算初始匹配代价。在此情况下，根据本发明的一个实施例，修正曲线获取单元940可通过灰度信息来调整惩罚参数，并进而获得修正匹配代价曲线。
图11是示出了根据本发明的一个实施例的修正曲线获取单元940的示范性结构框图。如图11中所示，修正曲线获取单元940包括第二估算模块1110和第二叠加模块1120。修正曲线获取单元940的各个模块可分别执行上述图6中的获得第一像素点的修正匹配代价曲线的方法600的各个步骤/功能。
具体地，第二估算模块1110可对于到达第一像素点的多个路径中的每一个路径通过灰度信息来调整惩罚参数，并且利用调整后的惩罚参数估算该路径的修正匹配代价。在根据本发明的示例中，灰度信息可包括灰度值。
图12是示出了根据本发明的一个实施例的第二估算模块1110的示范性结构框图。如图12中所示，第二估算模块1110可包括参数调整组件1210、修正匹配代价估算组件1220、初始匹配代价估算组件1230和结合组件1240。
参数调整组件1210可对于到达第一像素点的多个路径中的每一个路径通过灰度信息来调整惩罚参数。如以上结合图10描述的，惩罚参数可包括关于微小视差值变化的第一惩罚参数，和关于较大视差值变化的第二惩罚参数。优选地，第二估算模块1110可根据以下公式(3)来调整第一惩罚参数：
其中，P1(r)为调整后的第一惩罚参数，r为路径，P1为未经调整的第一惩罚参数，p为第一像素点，p-r为第二像素点，g(p-r)是第二像素点的灰度值，并且g(p)是第一像素点的灰度值。如上所述，第二像素点为第一像素点沿该路径的前一像素点。
此外，修正匹配代价估算组件1220、初始匹配代价估算组件1230和结合组件1240可分别执行上述图7中的利用调整后的惩罚参数估算修正匹配代价的方法700的各个步骤/功能。具体地，修正匹配代价估算组件1220可利用调整后的惩罚参数，对于第二像素点的视差值估算该路径的修正匹配代价。第二像素点为第一像素点沿该路径的前一像素点。此外，通过先前的计算，已确定了第二像素点的视差值。
例如，在通过以上公式(1)计算到达第一像素点p的路径r的初始匹配代价的情况下，修正匹配代价估算组件1220可通过以下公式(4)来计算当视差值d的值为已确定的第二像素点的视差值dp-r时，路径r的修正匹配代价Lr(p,dp-r)：
Lr(p,dp-r)=C(p,dp-r)+P1(r)*f(Lr(p-r,dp-r))……（4）
其中，C(p,dp-r)为当视差值d的值为已确定的第二像素点的视差值dp-r时第一像素点的初始匹配代价，f(Lr(p-r,dp-r))为当视差值d的值为已确定的第二像素点的视差值dp-r时关于第二像素点的匹配代价的函数，P1(r)为调整后的惩罚参数，例如，可通过上述公式(3)来获得P1(r)。
然后，初始匹配代价估算组件1230可利用未经调整的惩罚参数，对于视差值的取值范围中除了第二像素点的视差值以外的视差值估算该路径的初始匹配代价。例如，初始匹配代价估算组件1230可通过以上公式(1)来计算当视差值d的值为在视差值的预定取值范围中、除了第二像素点的视差值以外的值时，路径r的初始匹配代价。
最后，结合组件1240可结合修正匹配代价估算组件1220获得的第二像素点的视差值的修正匹配代价和初始匹配代价估算组件1230获得的除了第二像素点的视差值以外的视差值的初始匹配代价，以获得该路径的修正匹配代价。
返回图11，第二叠加模块1120可叠加第二估算模块1110所估算的多个修正匹配代价，以获得修正匹配代价曲线。
通过根据本发明以上实施例的计算视差的装置，当第一像素点的初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值小于或等于预定值时，利用灰度信息获得第一像素点的修正匹配代价曲线，从而提高了将与第一像素点位置接近并且灰度信息接近的第二像素点的视差值作为第一像素点的视差值的可能性，从而即使在无纹理或者有噪音的区域中也能够得到准确并且稠密的视差图。
此外，根据本发明的另一示例，本发明还可以通过一种计算视差值的硬件系统来实施。图13是示出按照本发明实施例的计算视差值的硬件系统1300的总体硬件框图。如图13所示，视差图改善系统1300可以包括：输入设备1310，用于从外部输入有关图像或信息，例如摄像机拍摄的左图像和右图像、摄像机的参数、或初始视差图等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1320，用于实施上述的按照本发明实施例的计算视差值的方法，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，此外，处理设备1320还可以连接到诸如因特网的网络（未示出），根据处理过程的需要向远程传送处理后的图像等等；输出设备1330，用于向外部输出实施上述视差图改善过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1340，用于以易失或非易失的方式存储上述视差图改善过程所涉及的诸如初始视差图、相似度矩阵、图模型、改善后的视差图等数据，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“组件、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
上面参照本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品（manufacture）。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (8)
1.一种计算视差值的方法，包括：
根据基准图像和参照图像获得所述基准图像中第一像素点的初始匹配代价曲线；
确定在所述初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否大于预定值；
当所述差值大于所述预定值时，将所述初始匹配代价曲线中匹配代价的最小值所对应的视差值作为所述第一像素点的视差值；以及
当所述差值小于或等于所述预定值时，利用灰度信息获得所述第一像素点的修正匹配代价曲线，并且将所述修正匹配代价曲线中匹配代价的最小值所对应的视差值作为所述第一像素点的视差值，
其中，所述基准图像中第一像素点的初始匹配代价曲线包括：
利用惩罚参数，对于到达所述第一像素点的多个路径中的每一个路径估算初始匹配代价，以及
叠加所估算的多个初始匹配代价，以获得所述初始匹配代价曲线；
所述利用灰度信息获得所述第一像素点的修正匹配代价曲线包括：
对于到达所述第一像素点的多个路径中的每一个路径通过灰度信息来调整所述惩罚参数，并且利用调整后的惩罚参数估算该路径的修正匹配代价，以及
叠加所估算的多个修正匹配代价，以获得所述修正匹配代价曲线。
2.如权利要求1所述的方法，其中
每一个路径的所述初始匹配代价包括不同视差值在该路径上所对应的初始匹配代价，其中预先设定所述视差值的取值范围；
所述利用调整后的惩罚参数估算该路径的修正匹配代价包括：
利用调整后的惩罚参数，对于第二像素点的视差值估算该路径的修正匹配代价，其中所述第二像素点为所述第一像素点沿该路径的前一像素点，
利用未经调整的惩罚参数，对于所述视差值的取值范围中除了所述第二像素点的视差值以外的视差值估算该路径的初始匹配代价，以及
结合所述第二像素点的视差值的修正匹配代价和除了所述第二像素点的视差值以外的视差值的初始匹配代价，以获得该路径的修正匹配代价。
3.如权利要求2所述的方法，其中
所述惩罚参数包括关于微小视差值变化的第一惩罚参数，和关于较大视差值变化的第二惩罚参数，
所述通过灰度信息来调整惩罚参数包括：
如下通过灰度信息来调整所述第一惩罚参数：
其中，P1(r)为调整后的第一惩罚参数，r为路径，P1为未经调整的第一惩罚参数，p为第一像素点，p-r为第二像素点，g(p-r)是第二像素点的灰度值，并且g(p)是第一像素点的灰度值。
4.如权利要求2或3所述的方法，还包括：
当所述差值小于或等于所述预定值时，确定在所述第二像素点的视差值是否为可靠视差值；
当所述第二像素点的视差值为不可靠视差值时，将所述第一像素点的视差值设置为指示视差值不可靠的值；以及
当所述第二像素点的视差值为可靠视差值时，利用灰度信息获得所述第一像素点的修正匹配代价曲线。
5.一种计算视差值的装置，包括：
初始曲线获取单元，配置来根据基准图像和参照图像获得所述基准图像中第一像素点的初始匹配代价曲线；
差值确定单元，配置来确定所述初始匹配代价曲线中匹配代价的最小值和倒数第二小值之间的差值是否大于预定值；
视差值确定单元，配置来当所述差值大于所述预定值时，将所述初始匹配代价曲线中匹配代价的最小值所对应的视差值作为所述第一像素点的视差值；
修正曲线获取单元，配置来当所述差值小于或等于所述预定值时，利用灰度信息获得所述第一像素点的修正匹配代价曲线，其中
所述视差值确定单元还配置来当所述差值小于或等于所述预定值时，将所述修正匹配代价曲线中匹配代价的最小值所对应的视差值作为所述第一像素点的视差值，
其中，所述初始曲线获取单元包括：
第一估算模块，配置来利用惩罚参数，对于到达所述第一像素点的多个路径中的每一个路径估算初始匹配代价价，以及
第一叠加模块，配置来叠加所估算的多个初始匹配代价，以获得所述初始匹配代价曲线；
所述修正曲线获取单元包括：
第二估算模块，配置来对于到达所述第一像素点的多个路径中的每一个路径通过灰度信息来调整所述惩罚参数，并且利用调整后的惩罚参数估算该路径的修正匹配代价，以及
第二叠加模块，配置来叠加所估算的多个修正匹配代价，以获得所述修正匹配代价曲线。
6.如权利要求5所述的装置，其中
每一个路径的所述初始匹配代价包括不同视差值在该路径上所对应的初始匹配代价，其中预先设定所述视差值的取值范围；
所述第二估算模块包括：
参数调整组件，配置来对于到达所述第一像素点的多个路径中的每一个路径通过灰度信息来调整所述惩罚参数，
修正匹配代价估算组件，配置来利用调整后的惩罚参数，对于第二像素点的视差值估算该路径的修正匹配代价，其中所述第二像素点为所述第一像素点沿该路径的前一像素点，
初始匹配代价估算组件，配置来利用未经调整的惩罚参数，对于所述视差值的取值范围中除了所述第二像素点的视差值以外的视差值估算该路径的初始匹配代价，以及
结合组件，配置来结合所述第二像素点的视差值的修正匹配代价和除了所述第二像素点的视差值以外的视差值的初始匹配代价，以获得该路径的修正匹配代价。
7.如权利要求6所述的装置，其中
所述惩罚参数包括关于微小视差值变化的第一惩罚参数，和关于较大视差值变化的第二惩罚参数，
所述参数调整组件如下通过灰度信息来调整第一惩罚参数：
其中，P1(r)为调整后的第一惩罚参数，r为路径，P1为未经调整的第一惩罚参数，p为第一像素点，p-r为第二像素点，g(p-r)是第二像素点的灰度值，并且g(p)是第一像素点的灰度值。
8.如权利要求6或7所述的装置，还包括：
可靠性确定单元，配置来当所述差值小于或等于所述预定值时，确定在所述第二像素点的视差值是否为可靠视差值，其中
所述视差值确定单元还配置来当所述第二像素点的视差值为不可靠视差值时，将所述第一像素点的视差值设置为指示视差值不可靠的值；以及
当所述第二像素点的视差值为可靠视差值时，所述修正曲线获取单元利用灰度信息获得所述第一像素点的修正匹配代价曲线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410088304.8A CN104915941B (zh) | 2014-03-11 | 2014-03-11 | 计算视差的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410088304.8A CN104915941B (zh) | 2014-03-11 | 2014-03-11 | 计算视差的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104915941A CN104915941A (zh) | 2015-09-16 |
| CN104915941B true CN104915941B (zh) | 2017-08-04 |
Family
ID=54084980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410088304.8A Expired - Fee Related CN104915941B (zh) | 2014-03-11 | 2014-03-11 | 计算视差的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104915941B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564053A (zh) * | 2017-08-28 | 2018-01-09 | 海信集团有限公司 | 一种应用于道路场景下的视差值修正方法及装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815594A (zh) * | 2015-11-30 | 2017-06-09 | 展讯通信（上海）有限公司 | 立体匹配方法及装置 |
| KR101856344B1 (ko) * | 2016-08-22 | 2018-06-25 | 현대자동차주식회사 | 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101938668A (zh) * | 2010-09-10 | 2011-01-05 | 中国科学院自动化研究所 | 对多级透镜多视角场景的三维重建的方法 |
| CN101996399A (zh) * | 2009-08-18 | 2011-03-30 | 三星电子株式会社 | 在左图像与右图像之间估计视差的设备和方法 |
| CN103310421A (zh) * | 2013-06-27 | 2013-09-18 | 清华大学深圳研究生院 | 针对高清图像对的快速立体匹配方法及视差图获取方法 |
| CN103325120A (zh) * | 2013-06-30 | 2013-09-25 | 西南交通大学 | 一种快速自适应支持权值双目视觉立体匹配方法 |
| JP2013250907A (ja) * | 2012-06-04 | 2013-12-12 | Ricoh Co Ltd | 視差算出装置、視差算出方法及び視差算出用プログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366354B (zh) * | 2012-03-27 | 2016-09-07 | 富士通株式会社 | 用于立体匹配的方法和系统 |
-
2014
- 2014-03-11 CN CN201410088304.8A patent/CN104915941B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996399A (zh) * | 2009-08-18 | 2011-03-30 | 三星电子株式会社 | 在左图像与右图像之间估计视差的设备和方法 |
| CN101938668A (zh) * | 2010-09-10 | 2011-01-05 | 中国科学院自动化研究所 | 对多级透镜多视角场景的三维重建的方法 |
| JP2013250907A (ja) * | 2012-06-04 | 2013-12-12 | Ricoh Co Ltd | 視差算出装置、視差算出方法及び視差算出用プログラム |
| CN103310421A (zh) * | 2013-06-27 | 2013-09-18 | 清华大学深圳研究生院 | 针对高清图像对的快速立体匹配方法及视差图获取方法 |
| CN103325120A (zh) * | 2013-06-30 | 2013-09-25 | 西南交通大学 | 一种快速自适应支持权值双目视觉立体匹配方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107564053A (zh) * | 2017-08-28 | 2018-01-09 | 海信集团有限公司 | 一种应用于道路场景下的视差值修正方法及装置 |
| CN107564053B (zh) * | 2017-08-28 | 2020-06-09 | 海信集团有限公司 | 一种应用于道路场景下的视差值修正方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104915941A (zh) | 2015-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI419078B (zh) | 即時立體影像產生裝置與方法 | |
| CN104574342B (zh) | 视差深度图像的噪声识别方法和噪声识别装置 | |
| CN106327454B (zh) | 合成图像的方法和装置 | |
| Meshram et al. | P-HRTF: Efficient personalized HRTF computation for high-fidelity spatial sound | |
| JP2006244387A (ja) | ３次元モデル生成装置、３次元モデル生成方法および３次元モデル生成プログラム | |
| CN101247530A (zh) | 增强图像的立体效果的三维图像显示设备和方法 | |
| KR20100119559A (ko) | 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템 | |
| JP2020515931A5 (zh) | ||
| CN104915941B (zh) | 计算视差的方法和装置 | |
| CN103179414B (zh) | 深度控制方法和装置 | |
| CN105530502B (zh) | 根据立体相机拍摄的图像帧生成视差图的方法和装置 | |
| WO2019128676A1 (zh) | 过滤光斑的方法和装置 | |
| US10147240B2 (en) | Product image processing method, and apparatus and system thereof | |
| KR20120018915A (ko) | 컬러 영상과 시점 및 해상도가 동일한 깊이 영상 생성 방법 및 장치 | |
| CN110197149A (zh) | 耳部关键点检测方法、装置、存储介质及电子设备 | |
| CN102447917A (zh) | 立体图像匹配方法及其设备 | |
| CN107392898B (zh) | 应用于双目立体视觉中的像素点视差值计算方法及装置 | |
| CN103295223B (zh) | 用于使用可见性能量模型估计视差的设备和方法 | |
| CN111310567A (zh) | 一种多人场景下的人脸识别方法及装置 | |
| CN107077719A (zh) | 数码照片中基于深度图的透视校正 | |
| CN106470337A (zh) | 用于个性化全方向视频景深的方法、装置和计算机程序产品 | |
| CN105447885B (zh) | 计算视差的方法和装置 | |
| JP2016148588A (ja) | デプス推定モデル生成装置及びデプス推定装置 | |
| CN103714543A (zh) | 基于不变矩空间信息的简单树动态规划的双目立体匹配方法 | |
| CN105335984B (zh) | 跟踪对象的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170804 |