CN108074250B - 匹配代价计算方法和装置 - Google Patents

匹配代价计算方法和装置 Download PDF

Info

Publication number
CN108074250B
CN108074250B CN201610988828.1A CN201610988828A CN108074250B CN 108074250 B CN108074250 B CN 108074250B CN 201610988828 A CN201610988828 A CN 201610988828A CN 108074250 B CN108074250 B CN 108074250B
Authority
CN
China
Prior art keywords
image
pixel point
projection
neighborhood
projection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610988828.1A
Other languages
English (en)
Other versions
CN108074250A (zh
Inventor
刘振华
刘殿超
师忠超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201610988828.1A priority Critical patent/CN108074250B/zh
Priority to EP17189984.2A priority patent/EP3321882B1/en
Publication of CN108074250A publication Critical patent/CN108074250A/zh
Application granted granted Critical
Publication of CN108074250B publication Critical patent/CN108074250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种匹配代价计算方法和装置，所述匹配代价计算方法包括：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。

Description

匹配代价计算方法和装置
技术领域
本申请涉及图像处理领域，尤其涉及一种匹配代价计算方法和装置。
背景技术
立体匹配方法在诸如机器人、监控以及智能车辆等众多领域中有着广泛的应用。通过立体匹配方法得到的视差信息(或称之为，深度信息)可以用来估计图像捕捉设备和物体之间的相对距离。例如，以智能车辆为例，通过由立体匹配方法获得的视差信息，可以容易地检测路面、白线和栅栏，进而检测例如行人和车辆等目标并对目标进行分类，由此能够全面掌控车辆的整体行驶状况。
立体匹配方法的基本原理是对通过图像捕捉设备(例如，立体相机)所拍摄的两个不同视角下(当双目相机时)或更多个不同视角下(当多目相机时)同一物体的图像进行比较，通过寻找对应像素来计算参考图像和目标图像的像素点之间的位置偏差，从而得到视差信息，并依据该视差信息来绘制视差图像。一般来说，基于普通针孔相机的立体匹配算法对于参考图像中的每个给定像素均采用固定的支持区域，同时，对于该给定像素在目标图像中的每个候选像素位置将同样采用固定的支持区域。
而当立体相机由例如鱼眼相机等全景相机构成时，由于鱼眼相机的成像原理所致，立体相机所获得的图像会产生畸变，同一个目标在参考图像和目标图像中会呈现不同的形状。因此，现有技术中通过固定支持区域来进行立体匹配的方式将不再适用，容易导致产生错误的视差图像/深度图。
发明内容
为解决上述技术问题，根据本发明的一个方面，提供了一种匹配代价计算方法，包括：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。
根据本发明的另一个方面，提供了一种匹配代价计算装置，所述装置包括：投影单元，配置为获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；第一确定单元，配置为根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；第二确定单元，配置为根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；匹配代价计算单元，配置为根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。
根据本发明的再一个方面，提供一种匹配代价计算装置，所述装置包括：处理器；和存储器，所述存储器中存储有计算机程序指令，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。
根据本发明的上述匹配代价计算方法和装置，能够将构成立体相机的全景相机所采集到的参考立体图像和目标立体图像分别进行投影，根据预设的映射关系确定参考投影图像和目标投影图像中的相应像素点及其邻域，并由此计算两个像素点之间的匹配代价。本发明的方法利用预设的映射关系在传统匹配代价计算方法的基础上考虑了成像过程中的失真因素，能够得到更加精确的匹配结果和视差信息。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出利用现有技术中的匹配代价计算方法对全景图像进行匹配代价计算的示意图，其中图1(a)为参考投影图像的固定支持区域示意图，图1(b)为目标投影图像的每个候选像素的固定支持区域示意图；
图2示出全景图像的参考投影图像和目标投影图像中同一个目标畸变的示意图，其中图2(a)示出来自图1(a)的参考投影图像中的魔方，图2(b)示出来自图1(b)的目标投影图像中的魔方；
图3示出本发明实施例的匹配代价计算方法进行自适应支持区域选择的示意图，其中图3(a)为参考投影图像的自适应支持区域示意图，图3(b)为目标投影图像的自适应支持区域示意图；
图4示出本发明实施例的匹配代价计算方法的流程图；
图5示出本发明实施例的匹配代价计算方法中对立体图像进行球面矩形投影的示意图；
图6示出本发明实施例的匹配代价计算方法中坐标转换的示意图；
图7示出本发明实施例的匹配代价计算方法中立体图像的外切平面投影示意图；
图8示出本发明实施例的匹配代价计算方法中在参考透视图像上选定相同大小的第一投影邻域后在参考投影图像上投影得到的第一邻域分布示意图；
图9示出本发明实施例的匹配代价计算方法中匹配代价曲线的示意图；
图10示出本发明一个实施例的匹配代价计算装置的结构示意图；
图11示出本发明另一个实施例的匹配代价计算装置的结构示意图。
具体实施方式
下面将参照附图来描述根据本发明实施例的匹配代价计算方法和装置。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
现有技术中基于针孔相机的立体相机的立体匹配算法主要包括局部立体匹配方法(例如，块匹配方法)、全局立体匹配方法(例如，动态规划方法)和半全局立体匹配方法(例如，半全局匹配(SGM)方法)等，其通常都包含下面的四个步骤或其中的几步：匹配代价计算、支持求和、视差计算\优化和视差改进，其中匹配代价计算是这几个步骤中非常关键的步骤，其主要包括以下几个子步骤：
(1)对于参考投影图像中每个给定像素，选择一个邻域作为支持区域；
(2)对于给定像素在目标投影图像中的每个候选像素，选择一个邻域作为支持区域；
(3)通过比较参考投影图像的支持区域与目标投影图像中每个候选支持区域来计算匹配代价。
在上述传统的匹配代价计算方法中，参考投影图像的每个给定像素通常都会采用固定的支持区域。而与此同时，对于该给定像素在目标投影图像中的每个候选像素的位置，同样会采用固定的支持区域来进行计算。
当上述立体相机由例如鱼眼相机等全景相机构成时，由于全景相机的成像原理所致，其获得的图像会产生畸变。在这种情况下，如果仍然采用上述方法来进行立体匹配中的匹配代价计算，则如图1所示，对于图1(a)中参考投影图像的每个给定像素均采用如图1(a)中的深色方框所示的固定的支持区域，而对于该给定像素在图1(b)中目标投影图像中的每个候选像素位置也同样采用如图1(b)中的浅色方框所示的固定支持区域。此时，由于图像畸变，参考投影图像和目标投影图像将不再存在位置上的一一对应关系，并且同一个目标在两个全景相机分别形成的参考投影图像和目标投影图像中也会呈现不同的大小和形状(例如图2(a)和图2(b)中所示的分别来自图1(a)的参考投影图像和图1(b)的目标投影图像中的魔方)。因此，上述固定的支持区域内所包含的像素将不一定会来自同一目标，而有可能产生较大的偏差。可见，现有技术中通过固定支持区域来进行立体匹配的方式将不再适用，这种方法易于导致错误的视差图像/深度图的产生。
因此，参照上述全景相机成像导致图像畸变的影响因素，本发明将如图3(a)和图3(b)中所示的参考投影图像和目标投影图像中相对应的固定支持区域，例如1和1’，根据一定的映射关系调整为相对应的自适应支持区域，例如2和2’，然后根据自适应支持区域来进行匹配代价计算，从而满足了全景相机的成像要求，在考虑图像失真的基础上得到更加精确的匹配结果和视差信息。
在此，参照图4描述根据本发明实施例的匹配代价计算方法。图4示出该匹配代价计算方法400的流程图。
如图4所示，在步骤S401中，获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像。
本步骤中，参考立体图像和目标立体图像可以分别由立体相机中的两个全景(鱼眼、球形、全向)相机在两个不同视角下获得，当然，当立体相机包含两个以上全景相机时，参考立体图像和目标立体图像也可以在多个视角下由每个全景相机获得，所获得的参考立体图像和目标立体图像可以为一幅或多幅。参考立体图像和目标立体图像可以为球面图像，也可以为半球图像或球面图像中的任意一部分。
参考投影图像和目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影(equirectangle)图像。球面矩形投影也称等距圆柱投影，它将球面图像(或半球图像、球面图像中的任意一部分)投射到如图5所示的一个m×n的矩形平面上，矩形平面上的坐标系为xy平面坐标系。当所投影的图像为整个球面时，满足关系n＝2m。另外，如图6所示，图5中的球面矩形投影图像也可以利用如下公式通过坐标转换将xy平面坐标系(以下也称为第三坐标系)转换为φλ经纬度坐标系：
Figure BDA0001149471730000051
球面矩形投影图像反映了均匀的经纬度分布，其λ轴为赤道，赤道上的投影没有变形，而越靠近图像的南北两极图像的扭曲变形将越严重。
步骤S402中，根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域。
在本发明一个实施例中，所述预设的映射关系可以通过如下方法得到：获取立体图像，将所述立体图像进行球面矩形投影，获取其投影图像；将所述立体图像进行外切平面投影，获取其透视图像；获取所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系，作为所述映射关系。其中，将立体图像进行球面矩形投影的方法如前所述，在此不再赘述。可选地，将立体相机中两个不同视角的全景相机所获得的立体图像进行外切平面投影的示意图可以如图7所示。图7中的直线abcd所在的平面即为左右两个立体图像的公共外切平面，这一公共外切平面同时位于两个立体图像和目标之间，参见图7，其坐标系为uv坐标系。图7中的AB表示实际场景中的目标，ae和fg是该目标在左右立体图像上的成像，左右立体图像分别对应于参考立体图像和目标立体图像，并可将其转换为投影图像的φλ经纬度坐标系，如图7所示，ae不等于fg。而ab和cd则分别是该目标在外切平面上的投影，即透视图像，根据三角函数的相似性以及图7示出的立体图像和透视图像之间的对应关系，可知ab＝cd。所以，在本实施例中，可以利用透视域中的ab和cd的透视图像利用逆透视投影(IPP)变换来推断投影图像中的ae和fg，从而获取所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系：
Figure BDA0001149471730000061
作为映射关系。其中第一坐标系可以为φλ经纬度坐标系，经纬度坐标系可以经由立体图像通过球面矩形投影并经公式(1)的(x,y)→(φ,λ)的坐标变换获得。
在获得上述映射关系之后，可以根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域。在本发明一个实施例中，具体的做法可以为：获取所述参考立体图像的外切平面投影，作为参考透视图像；根据所述映射关系确定所述参考投影图像上的第一像素点在其参考透视图像上的第一投影点，并选择所述参考透视图像上第一投影点(与第一像素点对应)周围具有预定形状的区域作为第一投影邻域；根据所述映射关系确定所述第一投影邻域在所述参考投影图像上的对应区域，作为第一像素点的第一邻域。
在上述方法中，首先需要在参考投影图像上确定第一像素点(x,y)，作为匹配代价算法中的参考像素点，随后将参考投影图像上的第三坐标系中的第一像素点(x,y)首先转换为经纬度坐标系中的(φ,λ)，并通过前述映射关系映射到参考透视图像上的第一投影点(u,v)，并在参考透视图像的uv坐标系中选择第一投影点周围的预设区域作为匹配代价算法中的第一投影邻域，第一投影邻域中的像素点的集合记为N(u,v)，其中所包含的像素点记为(u*,v*)。随后，根据映射关系将第一投影邻域投回参考投影图像φλ坐标系，将其对应区域表示为第一邻域，第一邻域中的像素点的集合记为S(φ,λ)，其中所包含的像素点记为(φ*,λ*)。
因此，可知
S(φ,λ)＝{(φ*,λ*),(u*,v*∈N(u,v))} 公式(3)
并且由于
Figure BDA0001149471730000062
可知
Figure BDA0001149471730000071
根据上述关系，可以对参考投影图像上的每个像素点均进行如上的逆透视投影变换，以在参考投影图像中获得每个像素点所对应的第一邻域，从而自适应地支持全景相机中的匹配代价计算。其中，当在参考透视图像上选择的多个离散的第一像素点的第一投影邻域均为形状和大小相同的矩形时，投影回参考投影图像上的第一邻域的形状和大小将随其位置的不同而变化，相应的变化关系如图8所示，这也体现了参考投影图像上相同目标在不同位置的畸变。
回到图4，在步骤S403中，根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域。第二像素点及其第二邻域的选择方法为：根据所述第一像素点在所述目标投影图像上选择与其对应的第二像素点；获取所述目标立体图像的外切平面投影，作为目标透视图像；根据所述映射关系确定所述目标投影图像上的第二像素点在其目标透视图像上的第二投影点，并选择所述目标透视图像上第二投影点周围具有预定形状的区域作为第二投影邻域；根据所述映射关系确定所述第二投影邻域在所述目标投影图像上的对应区域，作为第二像素点的第二邻域。
在本发明一个实施例中，目标投影图像上的第二像素点是根据第一像素点而选择的，其选择依据可以例如为灰度值等。第二像素点可以为按照一定选择依据选择的多个像素点，由此得到的第二邻域也可以为多个。对于每一个第二像素点，都可以执行上述的逆投影变换步骤从而得到其对应的第二邻域，具体的投影方法与步骤S402中类似，在此不再赘述。
在本发明一个实施例中，步骤S402和步骤S403中选择的第一投影邻域和第二投影邻域也可以为除矩形之外的其他任何形状，如椭圆形、圆形、正方形等。
在步骤S404中，根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。当给定第一邻域和第二邻域之后，可以针对第一像素点和第二像素点进行匹配代价计算。本步骤中的匹配代价计算方法可以包括绝对灰度差之和(SAD)的匹配算法、基于平方灰度差之和(SSD)的匹配算法、归一化积相关算法(NCC)和基于统计普查(Census)变换的匹配算法等。在计算过程中，由于第一邻域和第二邻域中所包含的像素点的数目可能不同，因此可能需要在匹配代价计算之前对其进行归一化，如对第一邻域和第二邻域中的像素点通过插值和加权平均来计算(灰度、色调、色度)的差值。
在本发明的一个实施例中，在计算得到第一像素点和第二像素点的匹配代价之后，还可以根据所述匹配代价计算结果进行视差值和相应的深度值的计算，具体地，计算方法可以为：通过所述第一像素点和所述第二像素点之间的匹配代价获取所述第一像素点的匹配代价曲线；根据预设规则选择所述匹配代价曲线中的第一视差值作为所述第一像素点和所述第二像素点之间的视差值；根据所述第一视差值计算与所述第一视差值相对应的深度值。其中
在本发明一个实施例中，匹配代价曲线的示意图可以如图9所示，在获取累积匹配代价曲线和视差值的关系之后，可以根据预设规则选择匹配代价曲线中的第一视差值，作为第一像素点和所述第二像素点之间的视差值，可选地，在本发明一个实施例中，可以选择匹配代价曲线中(灰度、色调、色度)差值最小的点对应的第一像素点和第二像素点之间的距离作为第一视差值。在获取第一视差值之后，可以根据所述第一视差值计算与其相对应的深度值，并获得深度图像。在本发明实施例的坐标变换关系中，深度值z与第一视差值d的关系可以表示为：
Figure BDA0001149471730000081
其中B为基线长度，基线指的是两个全景相机成像传感器中心点的距离，(φl,λl)和(φr,λr)分别对应参考投影图像和目标投影图像的φλ坐标。
根据xy平面坐标系和φλ经纬度坐标系的对应关系：
(xl,yl)→(φl,λl) 公式(7)
(xr,yr)→(φr,λr) 公式(8)
(xl,yl)＝(xr+d,yr) 公式(9)
可以计算得到与第一视差值d对应的深度值z并将视差图像转换为深度图像。
根据本发明的上述匹配代价计算方法，能够将构成立体相机的全景相机所采集到的参考立体图像和目标立体图像分别进行投影，根据预设的映射关系确定参考投影图像和目标投影图像中的相应像素点及其邻域，并由此计算两个像素点之间的匹配代价。本发明的方法利用预设的映射关系在传统匹配代价计算方法的基础上考虑了成像过程中的失真因素，能够得到更加精确的匹配结果和视差信息。
下面，参照图10来描述根据本发明实施例的匹配代价计算装置。图10示出了根据本发明实施例的匹配代价计算装置1000的框图。如图10所示，匹配代价计算装置1000包括投影单元1010、第一确定单元1020、第二确定单元1030和匹配代价计算单元1040。除了这些单元以外，装置1000还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的匹配代价计算装置1000执行的下述操作的具体细节与在上文中参照图4-9描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
图10中的匹配代价计算装置1000的投影单元410配置为获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像。
参考立体图像和目标立体图像可以分别由立体相机中的两个全景(鱼眼、球形、全向)相机在两个不同视角下获得，当然，当立体相机包含两个以上全景相机时，参考立体图像和目标立体图像也可以在多个视角下由每个全景相机获得，所获得的参考立体图像和目标立体图像可以为一幅或多幅。参考立体图像和目标立体图像可以为球面图像，也可以为半球图像或球面图像中的任意一部分。
参考投影图像和目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影(equirectangle)图像。球面矩形投影也称等距圆柱投影，它将球面图像(或半球图像、球面图像中的任意一部分)投射到如图5所示的一个m×n的矩形平面上，矩形平面上的坐标系为xy平面坐标系。当所投影的图像为整个球面时，满足关系n＝2m。另外，如图6所示，图5中的球面矩形投影图像也可以利用前述公式(1)通过坐标转换将xy平面坐标系转换为φλ经纬度坐标系。球面矩形投影图像反映了均匀的经纬度分布，其λ轴为赤道，赤道上的投影没有变形，而越靠近图像的南北两极图像的扭曲变形将越严重。
第一确定单元1020配置为根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域。
在本发明一个实施例中，匹配代价计算装置1000还可以包括映射关系计算单元(未示出)，配置为获取立体图像，将所述立体图像进行球面矩形投影，获取其投影图像；将所述立体图像进行外切平面投影，获取其透视图像；获取所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系，作为所述映射关系。可选地，立体相机中两个不同视角的全景相机所获得的立体图像进行外切平面投影的示意图可以如图7所示。图7中的直线abcd所在的平面即为左右两个立体图像的公共外切平面，这一公共外切平面同时位于两个立体图像和目标之间，参见图7，其坐标系为uv坐标系。图7中的AB表示实际场景中的目标，ae和fg是该目标在左右立体图像上的成像，左右立体图像分别对应于参考立体图像和目标立体图像，并可将其转换为投影图像的φλ经纬度坐标系，如图7所示，ae不等于fg。而ab和cd则分别是该目标在外切平面上的投影，即透视图像，根据三角函数的相似性以及图7示出的立体图像和透视图像之间的对应关系，可知ab＝cd。所以，在本实施例中，映射关系计算单元可以利用透视域中的ab和cd的透视图像利用逆透视投影(IPP)变换来推断投影图像ae和fg，从而获取公式(2)中的所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系作为映射关系。其中第一坐标系可以为φλ经纬度坐标系，经纬度坐标系可以经由立体图像通过球面矩形投影并经(x,y)→(φ,λ)的坐标变换获得。
在映射关系计算单元获得上述映射关系之后，第一确定单元1020可以根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域。在本发明一个实施例中，第一确定单元1020可以获取所述参考立体图像的外切平面投影，作为参考透视图像；根据所述映射关系确定所述参考投影图像上的第一像素点在其参考透视图像上的第一投影点(与第一像素点对应)，并选择所述参考透视图像上第一投影点周围具有预定形状的区域作为第一投影邻域；根据所述映射关系确定所述第一投影邻域在所述参考投影图像上的对应区域，作为第一像素点的第一邻域。
在本发明一个实施例中，第一确定单元1020首先需要在参考投影图像上确定第一像素点(x,y)，作为匹配代价算法中的参考像素点，随后将参考投影图像上的随后将参考投影图像上的第三坐标系中的第一像素点(x,y)首先转换为经纬度坐标系中的(φ,λ)，并通过前述映射关系映射到参考透视图像上的第一投影点(u,v)，并在参考透视图像的uv坐标系中选择第一投影点周围的预设区域作为匹配代价算法中的第一投影邻域，第一投影邻域中的像素点的集合记为N(u,v)，其中所包含的像素点记为(u*,v*)。随后，根据映射关系将第一投影邻域投回参考投影图像φλ坐标系，将其对应区域表示为第一邻域，第一邻域中的像素点的集合记为S(φ,λ)，其中所包含的像素点记为(φ*,λ*)。
因此，可知S(φ,λ)＝{(φ*,λ*),(u*,v*∈N(u,v))}，并且由于
Figure BDA0001149471730000111
可知
Figure BDA0001149471730000112
根据上述关系，第一确定单元1020可以对参考投影图像上的每个像素点均进行如上的逆透视投影变换，以在参考投影图像中获得每个像素点所对应的第一邻域，从而自适应地支持全景相机中的匹配代价计算。其中，当在参考透视图像上选择的多个离散的第一像素点的第一投影邻域均为形状和大小相同的矩形时，第一确定单元1020投影回参考投影图像上的第一邻域的形状和大小将随其位置的不同而变化，相应的变化关系如图8所示，这也体现了参考投影图像上相同目标在不同位置的畸变。
第二确定单元1030配置为根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域。具体地，第二确定单元1030根据所述第一像素点在所述目标投影图像上选择与其对应的第二像素点；获取所述目标立体图像的外切平面投影，作为目标透视图像；根据所述映射关系确定所述目标投影图像上的第二像素点在其目标透视图像上的第二投影点，并选择所述目标透视图像上第二投影点周围具有预定形状的区域作为第二投影邻域；根据所述映射关系确定所述第二投影邻域在所述目标投影图像上的对应区域，作为第二像素点的第二邻域。
在本发明一个实施例中，目标投影图像上的第二像素点是根据第一像素点而选择的，其选择依据可以例如为灰度值等。第二像素点可以为按照一定选择依据选择的多个像素点，由此得到的第二邻域也可以为多个。对于每一个第二像素点，第二确定单元1030都可以得到其对应的第二邻域。
在本发明一个实施例中，第一确定单元1020和第二确定单元1030选择的第一投影邻域和第二投影邻域也可以为除矩形之外的其他任何形状，如椭圆形、圆形、正方形等。
匹配代价计算单元1040配置为根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。当给定第一邻域和第二邻域之后，匹配代价计算单元1040可以针对第一像素点和第二像素点进行匹配代价计算。其采用的匹配代价计算方法可以包括绝对灰度差之和(SAD)的匹配算法、基于平方灰度差之和(SSD)的匹配算法、归一化积相关算法(NCC)和基于统计普查(Census)变换的匹配算法等。由于第一邻域和第二邻域中所包含的像素点的数目可能不同，匹配代价计算单元1040可能需要在匹配代价计算之前对其进行归一化，如对第一邻域和第二邻域中的像素点通过插值和加权平均来计算(灰度、色调、色度)的差值。
在本发明的一个实施例中，在匹配代价计算单元1040计算得到第一像素点和第二像素点的匹配代价之后，匹配代价计算装置1000还可以包括深度值计算单元(未示出)，配置为根据所述匹配代价计算结果进行视差值和相应的深度值的计算。具体地，深度值计算单元通过所述第一像素点和所述第二像素点之间的匹配代价获取所述第一像素点的匹配代价曲线；根据预设规则选择所述匹配代价曲线中的第一视差值作为所述第一像素点和所述第二像素点之间的视差值；根据所述第一视差值计算与所述第一视差值相对应的深度值。其中
在本发明一个实施例中，深度值计算单元获取的匹配代价曲线的示意图可以如图9所示，在深度值计算单元获取累积匹配代价曲线和视差值的关系之后，可以根据预设规则选择匹配代价曲线中的第一视差值，作为第一像素点和所述第二像素点之间的视差值，可选地，在本发明一个实施例中，深度值计算单元可以选择匹配代价曲线中(灰度、色调、色度)差值最小的点对应的第一像素点和第二像素点之间的距离作为第一视差值。在获取第一视差值之后，可以根据所述第一视差值计算与其相对应的深度值，并获得深度图像。在本发明实施例的坐标变换关系中，深度值z与第一视差值d的关系可以表示为：
Figure BDA0001149471730000121
其中B为基线长度，(φl,λl)和(φr,λr)分别对应参考投影图像和目标投影图像的φλ坐标。
根据xy平面坐标系和φλ经纬度坐标系的对应关系：(xl,yl)→(φl,λl)，(xr,yr)→(φr,λr)以及(xl,yl)＝(xr+d,yr)，深度值计算单元可以计算得到与第一视差值d对应的深度值z并将视差图像转换为深度图像。
根据本发明的上述匹配代价计算装置，能够将构成立体相机的全景相机所采集到的参考立体图像和目标立体图像分别进行投影，根据预设的映射关系确定参考投影图像和目标投影图像中的相应像素点及其邻域，并由此计算两个像素点之间的匹配代价。本发明实施例利用预设的映射关系在传统匹配代价计算方法的基础上考虑了成像过程中的失真因素，能够得到更加精确的匹配结果和视差信息。
下面，参照图11来描述根据本发明实施例的匹配代价计算装置。图11示出了根据本发明实施例的匹配代价计算装置1100的框图。如图11所示，该装置1100可以是计算机或服务器。
如图11所示，匹配代价计算装置1100包括一个或多个处理器1110以及存储器1120，当然，除此之外，匹配代价计算装置1100还可能包括具有多个全景相机的立体相机以及输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图11所示的匹配代价计算装置1100的组件和结构只是示例性的，而非限制性的，根据需要，匹配代价计算装置1100也可以具有其他组件和结构。
处理器1110可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1120中所存储的计算机程序指令以执行期望的功能，可以包括：获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；配置为根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价。
存储器1120可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1110可以运行所述程序指令，以实现上文所述的本公开的实施例的匹配代价计算装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的匹配代价计算方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
因此，通过使用上述实施例详细解释了本发明；然而，本领域技术人员应清楚本发明不限于在理解释的实施例。本发明在不背离由权利要求限定的本发明的范围的情况下可以被实现为校正的、修改的模式。因此，说明书的描述仅意图解释示例，并且不对本发明施加任何限制含义。

Claims (9)

1.一种匹配代价计算方法，包括：
获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；
根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；
根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；
根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价；
其中，所述匹配代价计算方法还包括：
获取立体图像，将所述立体图像进行球面矩形投影，获取其投影图像；
将所述立体图像进行外切平面投影，获取其透视图像，其中所述外切平面为所述立体图像的外切平面，所述立体图像上的点和所述点在透视图像上的对应点以及所述立体图像的中心在一条直线上；
获取所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系，作为所述映射关系。
2.如权利要求1所述的匹配代价计算方法，其中，
所述投影图像上的第一坐标系为经纬度坐标系，
所述经纬度坐标系由所述立体图像通过球面矩形投影并经坐标变换得到。
3.如权利要求1所述的匹配代价计算方法，其中，所述根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域包括：
获取所述参考立体图像的外切平面投影，作为参考透视图像；
根据所述映射关系确定所述参考投影图像上的第一像素点在其参考透视图像上的第一投影点，并选择所述参考透视图像上第一投影点周围具有预定形状的区域作为第一投影邻域；
根据所述映射关系确定所述第一投影邻域在所述参考投影图像上的对应区域，作为第一像素点的第一邻域。
4.如权利要求1所述的匹配代价计算方法，其中，所述根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域包括：
根据所述第一像素点在所述目标投影图像上选择与其对应的第二像素点；
获取所述目标立体图像的外切平面投影，作为目标透视图像；
根据所述映射关系确定所述目标投影图像上的第二像素点在其目标透视图像上的第二投影点，并选择所述目标透视图像上第二投影点周围具有预定形状的区域作为第二投影邻域；
根据所述映射关系确定所述第二投影邻域在所述目标投影图像上的对应区域，作为第二像素点的第二邻域。
5.如权利要求1所述的匹配代价计算方法，其中，所述根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价包括：
将所述第一邻域中包含的像素和所述第二邻域中包含的像素进行归一化以计算所述匹配代价。
6.如权利要求1所述的匹配代价计算方法，其中，所述匹配代价计算方法还包括：
通过所述第一像素点和所述第二像素点之间的匹配代价获取所述第一像素点的匹配代价曲线；
根据预设规则选择所述匹配代价曲线中的第一视差值作为所述第一像素点和所述第二像素点之间的视差值；
根据所述第一视差值计算与所述第一视差值相对应的深度值。
7.一种匹配代价计算装置，包括：
投影单元，配置为获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；
第一确定单元，配置为根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；
第二确定单元，配置为根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；
匹配代价计算单元，配置为根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价；
其中，所述匹配代价计算装置还包括：
映射关系计算单元，配置为获取立体图像，将所述立体图像进行球面矩形投影，获取其投影图像；将所述立体图像进行外切平面投影，获取其透视图像，其中所述外切平面为所述立体图像的外切平面，所述立体图像上的点和所述点在透视图像上的对应点以及所述立体图像的中心在一条直线上；获取所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系，作为所述映射关系。
8.如权利要求7所述的匹配代价计算装置，其中，所述匹配代价计算装置还包括：
深度值计算单元，配置为通过所述第一像素点和所述第二像素点之间的匹配代价获取所述第一像素点的匹配代价曲线；根据预设规则选择所述匹配代价曲线中的第一视差值作为所述第一像素点和所述第二像素点之间的视差值；根据所述第一视差值计算与所述第一视差值相对应的深度值。
9.一种匹配代价计算装置，其特征在于，包括：
处理器；
和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取参考投影图像和目标投影图像，所述参考投影图像和所述目标投影图像分别为参考立体图像对应的球面矩形投影图像和目标立体图像对应的球面矩形投影图像；
根据预设的映射关系确定所述参考投影图像上的第一像素点及其第一邻域；
根据所述映射关系和所述参考投影图像上的第一像素点选择所述目标投影图像上的第二像素点及其第二邻域；以及
根据所述第一像素点及其第一邻域和所述第二像素点及其第二邻域计算所述第一像素点和所述第二像素点之间的匹配代价；
其中，所述处理器获取立体图像，将所述立体图像进行球面矩形投影，获取其投影图像；
将所述立体图像进行外切平面投影，获取其透视图像，其中所述外切平面为所述立体图像的外切平面，所述立体图像上的点和所述点在透视图像上的对应点以及所述立体图像的中心在一条直线上；
获取所述投影图像上的第一坐标系和所述透视图像上的第二坐标系之间的对应关系，作为所述映射关系。
CN201610988828.1A 2016-11-10 2016-11-10 匹配代价计算方法和装置 Active CN108074250B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610988828.1A CN108074250B (zh) 2016-11-10 2016-11-10 匹配代价计算方法和装置
EP17189984.2A EP3321882B1 (en) 2016-11-10 2017-09-07 Matching cost computation method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610988828.1A CN108074250B (zh) 2016-11-10 2016-11-10 匹配代价计算方法和装置

Publications (2)

Publication Number Publication Date
CN108074250A CN108074250A (zh) 2018-05-25
CN108074250B true CN108074250B (zh) 2022-01-04

Family

ID=59829247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610988828.1A Active CN108074250B (zh) 2016-11-10 2016-11-10 匹配代价计算方法和装置

Country Status (2)

Country Link
EP (1) EP3321882B1 (zh)
CN (1) CN108074250B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796690B (zh) * 2018-08-01 2023-04-07 株式会社理光 图像匹配方法和图像匹配装置
CN110517255A (zh) * 2019-08-29 2019-11-29 北京理工大学 基于吸引子模型的浅裂缝检出方法
CN110706262B (zh) * 2019-10-09 2023-06-02 上海思岚科技有限公司 图像处理方法、装置、设备及存储介质
CN113284206A (zh) * 2021-05-19 2021-08-20 Oppo广东移动通信有限公司 信息获取方法及装置、计算机可读存储介质、电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754035A (zh) * 2008-12-11 2010-06-23 上海杰图软件技术有限公司 一种鱼眼图像自动生成匹配点的方法
CN102005039A (zh) * 2010-08-24 2011-04-06 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN103226840A (zh) * 2013-04-24 2013-07-31 武汉大学 全景影像拼接及量测系统及方法
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
CN103582802A (zh) * 2011-05-30 2014-02-12 松下电器产业株式会社 立体照相机装置和计算机可读记录介质
CN103679686A (zh) * 2012-09-11 2014-03-26 株式会社理光 匹配测度方法和装置、视差计算方法、图像匹配方法
CN104463791A (zh) * 2013-09-25 2015-03-25 北京环境特性研究所 一种基于球面模型的鱼眼图像校正法
CN105335952A (zh) * 2014-06-19 2016-02-17 株式会社理光 匹配代价计算方法和装置、以及视差值计算方法和设备
CN105574875A (zh) * 2015-12-18 2016-05-11 燕山大学 一种基于极曲线几何的鱼眼图像稠密立体算法
CN106056539A (zh) * 2016-06-24 2016-10-26 中国南方电网有限责任公司 一种全景视频拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014054958A2 (en) * 2012-10-05 2014-04-10 Universidade De Coimbra Method for aligning and tracking point regions in images with radial distortion that outputs motion model parameters, distortion calibration, and variation in zoom

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754035A (zh) * 2008-12-11 2010-06-23 上海杰图软件技术有限公司 一种鱼眼图像自动生成匹配点的方法
CN102005039A (zh) * 2010-08-24 2011-04-06 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
CN103582802A (zh) * 2011-05-30 2014-02-12 松下电器产业株式会社 立体照相机装置和计算机可读记录介质
CN102222337A (zh) * 2011-06-14 2011-10-19 重庆大学 用于图像拼接的鱼眼图像校正方法
CN102298771A (zh) * 2011-08-16 2011-12-28 淮安盈科伟力科技有限公司 全景泊车辅助系统的鱼眼图像快速校正方法
CN103679686A (zh) * 2012-09-11 2014-03-26 株式会社理光 匹配测度方法和装置、视差计算方法、图像匹配方法
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
CN103226840A (zh) * 2013-04-24 2013-07-31 武汉大学 全景影像拼接及量测系统及方法
CN104463791A (zh) * 2013-09-25 2015-03-25 北京环境特性研究所 一种基于球面模型的鱼眼图像校正法
CN105335952A (zh) * 2014-06-19 2016-02-17 株式会社理光 匹配代价计算方法和装置、以及视差值计算方法和设备
CN105574875A (zh) * 2015-12-18 2016-05-11 燕山大学 一种基于极曲线几何的鱼眼图像稠密立体算法
CN106056539A (zh) * 2016-06-24 2016-10-26 中国南方电网有限责任公司 一种全景视频拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fisheye stereo camera using equirectangular images;Akira Ohashi 等;《2016 11th France-Japan & 9th Europe-Asia Congress on Mechatronics (MECATRONICS) /17th International Conference on Research and Education in Mechatronics (REM)》;20160617;第284-289页 *
Fish-eye-stereo calibration and epipolar rectification;SteffenAbraham 等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20050831;第59卷(第5期);第278-288页 *
基于极曲线几何和支持邻域的鱼眼图像立体匹配;宋涛 等;《光学精密工程》;20160831;第24卷(第8期);第2050-2058页 *

Also Published As

Publication number Publication date
CN108074250A (zh) 2018-05-25
EP3321882A1 (en) 2018-05-16
EP3321882B1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
US20190012804A1 (en) Methods and apparatuses for panoramic image processing
CN108074250B (zh) 匹配代价计算方法和装置
US10692262B2 (en) Apparatus and method for processing information of multiple cameras
US10565803B2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
WO2018102990A1 (en) System and method for rectifying a wide-angle image
CN108362205B (zh) 基于条纹投影的空间测距方法
WO2023035301A1 (en) A camera calibration method
JP5369873B2 (ja) 判定プログラムおよびキャリブレーション装置
Brückner et al. Active self-calibration of multi-camera systems
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
Wong et al. A study of different unwarping methods for omnidirectional imaging
KR20200122870A (ko) 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
WO2018100230A1 (en) Method and apparatuses for determining positions of multi-directional image capture apparatuses
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
JP2020004219A (ja) ３次元形状データを生成する装置、方法、及びプログラム
CN112215048B (zh) 一种3d目标检测方法、装置和计算机可读存储介质
US10430971B2 (en) Parallax calculating apparatus
Goyal et al. Layart: generating indoor layout using arcore transformations
WO2013173383A1 (en) Methods and apparatus for processing image streams
Fuchs et al. Perspectively correct construction of virtual views
Reategui et al. Fast omni-image unwarping using pano-mapping pointers array
JP7286388B2 (ja) 位置推定システム、位置推定装置、位置推定方法、及びプログラム
EP4177823A1 (en) Producing an output image of a scene from a plurality of source images captured by different cameras
CN111080689B (zh) 确定面部深度图的方法和装置
CN116757928A (zh) 一种全景图像处理方法、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant