CN101272511A

CN101272511A - 图像深度信息和图像像素信息的获取方法及装置

Info

Publication number: CN101272511A
Application number: CNA2007100874871A
Authority: CN
Inventors: 陈海
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2007-03-19
Filing date: 2007-03-19
Publication date: 2008-09-24
Anticipated expiration: 2027-03-19
Also published as: CN101272511B

Abstract

本发明公开了一种图像深度信息获取方法和一种图像深度信息获取装置。本发明还公开了一种图像像素信息获取方法和一种图像像素信息获取装置。通过将在同一光轴上进行两次不同聚焦成像得到的主成像和参考成像进行匹配；并根据匹配后的每一对像素点的像素坐标信息，直接获取了主成像中每个位置的深度信息；在进行匹配时，抽取出主成像和参考成像中的特征点进行匹配，减小了计算量和难度。而且，采用单镜头获取深度信息，节省了成本；依据像素点在成像中对应的极坐标确定了一定的范围，并在确定的范围内进行匹配，进一步减少了处理过程中的计算量；能够将深度信息、二维平面位置信息与纹理信息合并，得到完整的像素信息，以便于恢复真实的三维场景。

Description

图像深度信息和图像像素信息的获取方法及装置

技术领域

本发明涉及信息采集和处理技术，特别涉及一种图像深度信息获取方法、一种图像像素信息获取方法、一种图像深度信息获取装置、一种图像像素信息获取装置。

背景技术

媒体发展经历了音频、图像、视频三个阶段。但随着图像显示技术的飞速发展，人们已经不再满足于仅仅能重现信息的视频阶段。因此，出现了作为第四代媒体的表示物体空间位置的三维信息，通常包括二维平面位置信息和深度信息，且三维信息的需求将会越来越广泛。

现有技术中，如果需要实际采集获取到真实的深度信息，可以通过一种基于双目视觉的三维照相机来实现。该三维照相机具有两个摄像头：活动摄像头和固定摄像头，通过调节活动摄像头来获得不同视差的两幅图像，识别并匹配活动摄像头和固定摄像头获得的图像的像素点，结合两个摄像头的已知参数，然后用后处理的方法计算出深度信息。

但这种三维照相机具有如下缺陷：

1、仅仅是从两个平行视点分别记录了两个视场，而该三维照相机内部不具有信息处理功能，还需要经过对该照相机获取的信息进行后续处理才能得到深度信息；

2、在后续处理过程中，通常需要先对所有像素点进行匹配，计算量大且实现难度大；而且，如果固定摄像头与活动摄像头的拍摄方向不平行，即具有一定的夹角，则在计算深度信息的过程中还需考虑该夹角，进一步增加了匹配过程中的计算量；

3、结构上与现有的普通照相机相差较大，制造工艺实现困难较大；

4、由于照相机的成本主要集中在光学镜头上，而这种三维照相机具有两个摄像头，使得相比于普通照相机需要很高的成本。

可见，现有的照相机无法直接获取深度信息，且间接获取深度信息的计算量较大、实现难度也较大、成本非常高。

发明内容

有鉴于此，本发明实施例提供一种图像深度信息获取方法和装置，能够直接获取深度信息且减小获取深度信息的计算量和难度。

本发明实施例还提供一种图像像素信息获取方法和装置，能够直接获取包括了深度信息的像素信息，且减小获取深度信息的计算量和难度。

本发明实施例提供的一种图像深度信息获取方法，包括：

根据预先设定的特征规则，从主成像和参考成像的像素点中抽取特征点，其中，主成像和参考成像是在同一光轴上通过不同焦距成像得到的；

匹配主成像中的每个特征点与参考成像中的对应特征点，得到特征点对；

根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息。

本发明实施例提供的一种图像像素信息获取方法，包括：

根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息，并确定主成像中每一个像素点对应的二维平面位置信息，确定主成像中每个像素点的纹理信息；

将每个像素点的深度信息、二维平面位置信息和纹理信息合并，作为像素信息。

本发明实施例提供的一种图像深度信息获取装置，包括：特征抽取单元、特征匹配单元和信息计算单元，

所述特征抽取单元，接收在同一光轴上通过不同焦距成像得到的主成像和参考成像；根据内部存储的预设特征规则，从主成像和参考成像的像素点中抽取特征点，并将抽取的特征点输出给特征匹配单元；

所述特征匹配单元，匹配主成像中的每个特征点与参考成像中的对应特征点，得到特征点对；将得到的每对特征点输出给信息计算单元；

所述信息计算单元，根据每一对特征点的像素坐标信息，计算得到主成像中每一个像素点对应的深度信息。

本发明实施例提供的一种图像像素信息获取装置，包括：特征抽取单元、特征匹配单元、信息计算单元和信息合并单元；

所述信息计算单元，根据每一对特征点的像素坐标信息，计算得到主成像中每一个像素点对应的深度信息，将计算得到的深度信息输出给信息合并单元；

所述信息合并单元，提取出每个像素点的纹理信息，将提取的每个像素点的纹理信息与对应的深度信息和二维平面位置信息合并，并存储合并后的信息。

由上述技术方案可见，本实施例的技术方案具有如下有益效果：

将在同一光轴上进行两次不同聚焦成像得到的主成像和参考成像进行匹配，并根据匹配后的每一对像素点的像素坐标信息，直接获取了主成像中每个位置的深度信息，而不需要后续处理；而且，在匹配过程中，抽取主成像和参考成像中的特征点，并将抽取的特征点进行匹配，还减小了计算量和难度，并保证了匹配的精度；能够根据获取的深度信息获得完整的三维信息，并能够将三维信息与纹理信息合并，得到完整的像素信息，以便于恢复真实的三维场景，具有较高的实用性。

附图说明

图1为本发明实施例中图像深度信息获取装置的示例性结构图。

图2为本发明实施例中图像深度信息获取方法的示例性流程图。

图3a和3b为本发明实施例中的成像示意图。

图4为本发明实施例中的平面极坐标系的示意图。

图5a和5b为本发明实施例中图像深度信息获取装置的结构图。

图6为本发明实施例中图像深度信息获取方法的流程图。

具体实施方式

以下参照附图并举实施例，对本发明实施例进一步详细说明。

本发明的实施例将在同一光轴上进行两次不同聚焦成像得到的大焦距成像和小焦距成像进行匹配，即匹配大焦距成像中每一像素点与小焦距成像中的对应像素点，然后根据匹配得到的每一对像素点的像素坐标信息，获取每个位置像素点的深度信息。

其中，可选择大焦距成像或小焦距成像作为主成像，而将另一个成像作为参考成像。

图1为本发明实施例中图像深度信息获取装置的示例性结构图。如图1所示，本发明实施例中的图像深度信息获取装置包括：特征抽取单元、特征匹配单元和信息计算单元。

特征抽取单元，接收外界通过不同焦距成像得到的主成像和参考成像；根据内部存储的预设特征规则，从主成像和参考成像的所有像素点中抽取特征点，并将抽取的特征点输出给特征匹配单元。

其中，特征点是指：图像中符合预设的特征规则的像素点。例如，某一像素点相对于其周围的像素点，锐度值达到预设的阈值，则该像素点即可被确定为特征点。特征规则可以为：坎尼(Canny)边检测算法、哈里斯(Harrys)角检测算法等任意一种特征规则。

特征匹配单元，根据主成像中的特征点与参考成像中的特征点的匹配程度，匹配主成像中的每个特征点与参考成像中的对应特征点，得到与主成像中特征点数量相等的特征点对；将得到的每对特征点输出给信息计算单元。

其中，匹配程度可以通过像素点的亮度差和/或平滑度等参数来确定。

信息计算单元，根据每一对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息。

上述装置中，特征抽取单元接收到的主成像和参考成像可以通过两次拍摄得到，但两次拍摄基于同一光轴。特征抽取单元还可以将主成像和参考成像中抽取后剩余的像素点作为非特征点输出给特征匹配单元，由特征匹配单元对非特征点进行匹配，并输出给信息计算单元；信息计算单元分别根据匹配得到的每一对特征点和每一对非特征点的像素坐标信息，计算得到主成像中每一个特征点和非特征点对应的深度信息。这样，就获取了成像中所有像素点的深度信息。或者由信息计算单元可以根据特征点的像素信息计算每一个特征点对应的深度信息，并根据特征点的深度信息估计出非特征点的深度信息，也可以实现对所有像素点的深度信息的获取。

如果在如图1所示的装置基础上，再增加一个信息合并单元，接收并存储信息计算单元输出的深度信息；提取出每个像素点的纹理信息，将提取的每个像素点的纹理信息与对应的深度信息和二维平面位置信息合并，得到主成像中每一个像素点的像素信息。这样就构成了本实施例中的图像像素信息获取装置。

图2为本发明实施例中图像深度信息获取方法的示例性流程图。如图2所示，本发明实施例中的图像深度信息获取方法包括以下步骤：

步骤201，从通过不同焦距成像得到的主成像和参考成像的所有像素点中，根据预先设定的特征规则抽取特征点。

步骤202，根据主成像中的特征点与参考成像中的特征点的匹配程度，匹配主成像中的每个特征点与参考成像中的对应特征点，得到与主成像中特征点数量相等的特征点对。

两次成像的光照等条件不可能完全一样，而且由于成像是由多个离散的像素点构成的，从主成像中抽取的特征点很有可能对应在参考成像中的两个特征点之间，因此，特征点匹配是找出匹配程度最大的对应特征点。

本步骤的同时或之后，还可以将抽取后剩余的像素点作为非特征点，并按照相同的或其他任意方式进行匹配。

步骤203，根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息。

本步骤中，如果在本步骤之前进行了非特征点的匹配，则可以根据匹配得到的每一对非特征点的像素坐标信息，这样，得到主成像中每一个非特征点对应的深度信息，即可确定所有像素点的深度信息；如果本步骤之前不进行非特征点的匹配，还可以根据特征点的像素信息计算每一个特征点对应的深度信息，并根据特征点的深度信息估计出每一个非特征点对应的深度信息，也可以确定所有像素点的深度信息。

上述流程中，主成像和参考成像可以是通过两次拍摄得到的，例如可以在第一次拍摄得到主成像后立即调整焦距，并在同一光轴上再次拍摄得到参考成像；也可以不对非特征点进行匹配，而是根据特征点的深度信息估计出非特征点的深度信息，例如采用插值运算等方法。

在上述流程中步骤203之前、同时或之后，确定主成像中每一个像素点对应的二维平面位置信息，确定主成像中每个像素点的纹理信息，然后再将每个像素点的深度信息、二维平面位置信息和纹理信息合并，作为像素信息，即实现了包括了深度信息的像素信息获取，即构成了本实施例中的图像像素信息获取方法。

将大焦距成像作为主成像，将小焦距成像作为参考成像时，匹配特征点的过程是根据低分辨率图像中的像素点在高分辨率图像中寻找匹配的像素点，因而，相对于小焦距成像作为主成像、大焦距成像作为参考成像的情况，匹配精度及后续得到的深度信息的精度会较高。以下以大焦距成像作为主成像、小焦距成像作为参考成像为例进行说明。

图3a和3b为本发明实施例中的成像示意图。如图3a和3b所示，本实施例中通过两次成像得到主成像和参考成像，在穿过拍摄镜头所构成的圆柱面轴心的某一截面内，主成像中某个像素点M1(特征点或非特征点)的像素坐标信息可以表示为(-f₁，r₁)，参考成像中对应的像素点M2的像素坐标信息可以表示为(z₀-f₂，r₂)。

其中，f₁和f₂分别为主成像和参考成像的成像焦距；r₁和r₂分别为主成像中的像素点M1和参考成像中的像素点M2到光轴的距离，也可以表示为极坐标中的极径ρ；z₀为两次成像的相机光学中心的距离，即针孔1与针孔2的距离。

f₁和r₁具有如下关系：

\frac{R}{Z} = \frac{r_{1}}{f_{1}}

公式1

f₂和r₂具有如下关系：

\frac{R}{Z - z_{0}} = \frac{r_{2}}{f_{2}}

公式2

其中，Z为深度信息、R表示为极坐标的二维平面位置信息；R、Z以及如图3a或3b所示的平面与水平面或垂直面的夹角，可表示M1和M2对应的空间点M所处的位置。

因此，f₁和f₂、r₁和r₂、z₀均可通过常用手段检测或者计算得到，例如r₁和r₂可以通过计算像素点在成像中相对于成像中心的横向距离与纵向距离的平方和的开方运算结果来获得。

两次成像可以分别通过两个感光元件来实现，也可以通过一个带有缓存的感光元件来实现。

如果主成像和参考成像分别通过两个感光元件来实现，则两个感光元件可以处于不同位置，即如图3a所示的与光轴垂直的实线和虚线，也可以处于相同位置，即重叠于如图3b所示的与光轴垂直的实线。

如果主成像和参考成像通过一个带缓存的感光元件实现，即如图3b所示的与光轴垂直的实线，则此时的z₀可表示为：

z₀＝f₂-f₁ 公式3

本实施例中，可以根据公式1和公式2得到每一个像素点对应的深度信息的计算过程，该过程可表示为：

Z = z_{0} \frac{f_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

公式4

其中，Z表示像素点的深度信息；f₁和f₂分别为主成像和参考成像的成像焦距；r₁和r₂分别为主成像中的像素点和参考成像中的像素点到光轴的距离；z₀为两次成像的相机光学中心的距离，即针孔1与针孔2的距离。

本实施例中，在获取深度信息的同时，还可以计算出表示为极坐标的二维平面位置信息，该计算过程可以表示为：

R = z_{0} \frac{r_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

公式5

其中，R表示该像素点与光轴之间的距离。

如果两次成像的相机光学中心的距离z₀满足条件：z₀＝f₂-f₁，则上述计算深度信息的公式4还可以表示为：

Z = \frac{(f_{2} - f_{1}) f_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

公式6

基于上述情况，在获取深度信息的同时，计算表示为极坐标的二维平面位置信息的过程可以表示为：

R = \frac{(f_{2} - f_{1}) r_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

公式7

如果在计算过程中，依次按照位于不同极角的像素点的Z和R，则使得极角θ为已知量，则Z、R和θ的组合即可表示一个像素点的空间位置，即表示物体空间位置的完整三维信息。也可以由已知的每个像素点在图像中的位置坐标，即x和y，与Z组合为完整的三维信息。

这样，在如图3b所示的情况下确定z₀的计算过程，相对于如图3a所示的情况下要简单，同时也简化了获取深度信息的处理过程。

对于本实施例中如图1所示的图像深度信息获取装置，像素坐标信息中的焦距可以被预先存储在一个功能单元中，也可以由外部输入；而像素点到光轴的距离可以由任意一个功能单元根据每个像素点在成像中所处的位置来确定；两次成像的相机光学中心的距离可以预先存储在一个功能单元中，也可以计算获得，还可以由外部输入。同理，对于如图2所示的图像深度信息获取方法，也可以采用类似的原理获取像素坐标信息。

本实施例中，为了减少处理过程中的计算量和复杂程度，在进行特征点和非特征点的匹配时，可以依据各点在成像中对应的极坐标或直角坐标进行匹配。

图4为本发明实施例中的平面极坐标系的示意图。如图4所示，以依据各像素点在成像中对应的极坐标进行匹配为例，左图为主成像，右图为参考成像。由于成像中心始终对应于相机光轴，而两次成像的光轴并没发生变化，所以两次成像得到的主成像和参考成像的中心就是相互对应的像素点。以成像中心为极点，分别在主成像和参考成像向右方向的水平轴为极轴建立平面极坐标系。如图4所示的左右两图中的像素点至少存在以下规律：

A、主成像中的像素点与其在参考成像中对应的像素点的极角相等；

B、由于主成像的焦距大于参考成像的焦距，因此，主成像中的像素点极径ρ大于在参考成像中对应的像素点的极径ρ’；

C、主成像极角相同的两个像素点n(n为正整数)和n-1，如果有极径ρn＞ρ(n-1)，则它们在参考成像中对应的像素点n’和(n-1)’，有ρn’＞ρ(n-1)’。其中，ρn为在当前极角上的第n个特征点对应于主成像的极径；ρ(n-1)’和ρn’分别为在当前极角上的第n-1个和第n个特征点对应于参考成像的极径。

因此，如果只考虑主成像中极角为θ的像素点，则从主成像中心向外的第n个像素点，即像素点n的极径为ρn，在参考成像中与像素点n对应的像素点n’的极角也为θ，但其极径ρn’具有如下限制：ρ(n-1)’＜ρn’＜ρm’，其中，ρm’等于ρn。即像素点n’必定在像素点(n-1)’与像素点m’所连接的线段上。

这样，在匹配特征点或非特征点时，只需在如上所述的限定范围内进行匹配即可，而无需进行所有特征点或非特征点的匹配运算。

以上是对本发明实施例中的图像深度信息获取装置和方法的总体说明，下面，对本发明实施例中的图像深度信息获取装置和方法进行详细说明。

图5a和5b为本发明实施例中图像深度信息获取装置的结构图。如图5a所示，以主成像和参考成像通过一个带缓存的感光元件实现为例，本实施例中的图像深度信息获取装置1包括：输入单元、成像单元、缓存单元、采集控制单元、特征抽取单元、特征匹配单元和信息计算单元。

输入单元，可以为带焦距调整结构的任意一种光学镜头，在采集控制单元的控制下进行焦距调整，并将光信号投影到成像单元。

成像单元，将接收到的光信号转换为图像信号，即主成像和参考成像；在采集控制单元的控制下，将主成像输出给缓存单元，将参考成像输出给特征抽取单元。

缓存单元，接收并存储成像单元输出的主成像，并在采集控制单元的控制下输出给特征抽取单元。

实际应用中，任意一种具有缓存的感光元件均可以实现成像单元和缓存单元的组合，例如具有缓存的电荷耦合器件(Charged Coupled Device，CCD)或互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)。

采集控制单元，向输入单元输出焦距调整信号，当输出的焦距调整信号为缩小焦距时，即表示需要获取参考成像，向成像单元输出缓存信号，控制成像单元将得到的主成像输出给缓存单元；当输出的焦距调整信号为放大焦距时，即表示需要获取主成像，向成像单元和缓存单元输出控制信号，控制成像单元将得到的参考成像输出给特征抽取单元，控制缓存单元将存储的主成像输出给特征抽取单元。

实际应用中，采集控制单元可以根据预先设定的时间间隔，输出各控制信号。例如，在完成主成像拍摄后的时间间隔t1之后，输出缩小焦距的焦距调整信号，并在完成参考成像拍摄后的时间间隔t2之后，输出放大焦距的焦距调整信号。如果两次拍摄中，先拍摄主成像，则为了保证主成像和参考成像中的所有特征点尽可能相同，应当尽可能地将t1设定为很小的值，使得两次聚焦成像的时间间隔尽可能地短；同理，如果先拍摄参考成像，则应当尽可能地将t2设定为很小的值，此时，需要控制成像单元得到的参考成像经由缓存单元进行缓存，而主成像直接输出给特征抽取单元。

特征抽取单元，接收成像单元和缓存单元输出的主成像和参考成像；根据内部存储的预设特征规则，抽取主成像和参考成像中对应位置的特征点，并将抽取的特征点输出给特征匹配单元；将抽取后剩余的像素点作为非特征点输出给特征匹配单元。

特征匹配单元，依据各特征点在成像中对应的极坐标或直角坐标，计算主成像中的特征点与参考成像中的特征点的匹配程度；依据各非特征点在成像中对应的极坐标或直角坐标，计算主成像中的非特征点与参考成像中的非特征点的匹配程度；根据计算得到的匹配程度，并按照动态规划法，计算每一个特征点和非特征点的最高匹配程度，分别确定参考成像中与主成像中每一个特征点和非特征点对应的特征点和非特征点，得到与主成像中特征点数量相等的特征点对、与主成像中非特征点数量相等的非特征点对；将匹配得到的每一对特征点和每一对非特征点输出给信息计算单元。

信息计算单元，根据每一对特征点和非特征点的像素坐标信息，计算得到主成像中每个像素对应的三维信息。

本实施例中，像素坐标信息中的主成像和参考对应的焦距可以预先存储在特征抽取单元、或特征匹配单元、或采集控制单元中，并提供给信息计算单元，也可以直接存储于信息计算单元中；两次成像的相机的光学中心距离可以预先存储在特征抽取单元、或特征匹配单元、或采集控制单元中，也可以由特征抽取单元、或特征匹配单元、采集控制单元检测或计算并输出给信息计算单元，还可以直接存储于信息计算单元中或由信息计算单元直接检测；特征点和非特征点到光轴的距离可以由特征抽取单元、或特征匹配单元根据每个特征点在成像中所处的位置来确定，并输出给信息计算单元，也可以直接由信息计算单元来确定。

本实施例的图像深度信息获取装置1中，通过一个带缓存的感光元件来实现主成像和参考成像的获取。本实施例中的图像深度信息获取装置2则可通过两个感光元件来实现成像。

如图5b所示，以主成像和参考成像通过一个带缓存的感光元件实现为例，本实施例中的图像深度信息获取装置2包括：输入单元、主成像单元、参考成像单元、采集控制单元、特征抽取单元、特征匹配单元和信息计算单元。

输入单元，可以为带焦距调整结构的任意一种光学镜头，在采集控制单元的控制下进行焦距调整，如果采集控制单元输出的焦距调整信号为缩小焦距，则将光信号投影到参考成像单元；如果采集控制单元输出的焦距调整信号为放大焦距，则将光信号投影到主成像单元。

主成像单元，将接收到的光信号转换为图像信号，即主成像，并在采集控制单元的控制下输出给特征抽取单元。

参考成像单元，将接收到的光信号转换为图像信号，即参考成像，并在采集控制单元的控制下输出给特征抽取单元。

实际应用中，主成像单元和参考成像单元，可以分别为任意一种感光元件，例如CCD或CMOS；参考成像单元为捕捉亮度的高分辨率感光元件，即对于参考成像不需要纹理信息，这样可以降低装置的成本以及简化后续处理过程。

采集控制单元，向输入单元输出焦距调整信号，当输出的焦距调整信号为缩小焦距时，即表示需要获取参考成像；当输出的焦距调整信号为放大焦距时，即表示需要获取主成像；在完成两次拍摄后，即控制输入单元缩小一次焦距和放大一次焦距之后，向主成像单元和参考成像单元输出拍摄完成信号，控制主成像单元和参考成像单元分别将主成像和参考成像输出给特征抽取单元。

实际应用中，采集控制单元可以根据预先设定的时间间隔，输出各控制信号。例如，在完成主成像拍摄后的时间间隔t1之后，输出缩小焦距的焦距调整信号，并在完成参考成像拍摄后的时间间隔t2之后，输出放大焦距的焦距调整信号。如果两次拍摄中，先拍摄主成像，则为了保证主成像和参考成像中的所有特征点尽可能相同，应当尽可能地将t1设定为很小的值，使得两次聚焦成像的时间间隔尽可能地短；同理，如果先拍摄参考成像，则应当尽可能地将t2设定为很小的值。

本实施例的图像深度信息获取装置2中的特征抽取单元、特征匹配单元和信息计算单元可以与图像深度信息获取装置1中的相同。

上述图像深度信息获取装置1和图像深度信息获取装置2中，也可以不控制输入单元进行焦距调整，而是由外力带动装置在光轴方向上移动，以获取主成像和参考成像；特征匹配单元也可以不对非特征点进行匹配，而是由信息计算单元根据特征点的深度信息估计出非特征点的深度信息，例如采用插值运算等方式。

考虑到实际应用中的需求，本实施例还提供了两种图像像素信息获取装置，即图像像素信息获取装置1和图像像素信息获取装置2。

图像像素信息获取装置1包括：如图5a所示的图像深度信息获取装置1和一个信息合并单元。

图像深度信息获取装置1的信息计算单元将计算得到的主成像中所有特征点和非特征点及计算得到的深度信息输出给信息合并单元；

信息合并单元提取出每个特征点和非特征点的纹理信息，按照每个特征点的位置，将提取的纹理信息与对应的深度信息和二维平面位置信息合并，得到并存储像素信息(包括：三维信息和纹理信息，即每个像素点的像素信息)。

图像像素信息获取装置2包括：如图5b所示的图像深度信息获取装置2和一个信息合并单元，其工作原理可以与图像像素信息获取装置相同。

实际应用中，信息合并单元还可以在得到主成像中所有像素点的深度信息后，再按照线性插值算法，将三个相邻像素点的深度信息线性叠加，再将叠加后的深度信息作为中间一个像素点的最终三维信息。这样，提高了深度信息的精度。

本实施例在实际应用中，成像的清晰与否与拍摄时的焦平面以及镜头(即如图5a～5b所示的输入单元)景深有密切的关系。景深越大，能够清晰成像的范围就越大。而且景深的1/3会落在焦平面前，景深的2/3会落在焦平面后。景深的深度和三个因素有关：光圈的大小、相机到对象的距离、镜头的焦距。因此，在本实施例的图像深度信息获取装置中，较佳地选择光圈小、景深大的镜头作为输入单元，以获得尽可能清晰的主成像和参考成像。

下面，对本实施例中的图像深度信息获取方法进行详细说明。

图6为本发明实施例中图像深度信息获取方法的流程图。如图6所示，本实施例中的图像深度信息获取方法包括以下步骤：

步骤601，进行大焦距成像，得到主成像。

本步骤之前，需要选择光圈，调整焦距。

步骤602，进行小焦距成像，得到参考成像。

本步骤之前，需要缩短拍摄的焦距；如果进行拍摄的装置包括两个感光元件，则需要进行感光元件的切换，较佳地，还可以将步骤601拍摄时使用的感光元件切换到另一个捕捉亮度的高分辨率感光元件，即对于参考成像不需要纹理信息，这样可以降低装置的成本以及后续处理过程。

上述步骤601～步骤602可以为在较短的时间间隔内轮换调整焦距并通过一个感光元件获取主成像和参考成像的过程，也可以为在较短的时间间隔内轮换调整焦距并交替切换两个感光元件获取主成像和参考成像的过程；得到的成像可以如图3a～3b所示。

上述步骤601～步骤602也可以为在较短的时间间隔内带动拍摄装置在光轴方向上移动拍摄的过程。

步骤603，根据预先设定的特征规则，分别从主成像和参考成像的所有像素点中提取特征点。

本步骤中，同时将主成像和参考成像中剩余的像素点作为非特征点。

步骤604，计算主成像中的特征点与参考成像中的特征点的匹配程度。

本步骤中，可以按照如图4所示的方式，确定每个特征点对应于主成像中的极坐标值，依次在不同的极角上，计算主成像中第n个特征点与参考成像中，在大于ρ(n-1)’且小于ρn范围内的所有特征点的匹配程度。

匹配程度可以通过多种方式来确定，例如，计算主成像第i个特征点和参考成像中第j个特征点的亮度差和/或平滑度等参数，并根据计算出的参数的实际取值来确定。

步骤605，按照动态规划法，计算每一个特征点和非特征点的最高匹配程度，并根据计算出的最高匹配程度确定参考成像中与主成像中每一个特征点对应的特征点。

本实施例中，主成像的特征点有且只有一个参考成像中的匹配特征点，因此，在极角为θ的特征匹配上，本步骤得到的特征点对数与主成像的特征点个数相同。显然，主成像和参考成像的匹配是符合马尔可夫规则的，每个像素只和相邻的像素相关；而且从如图4所示的极坐标系可见，匹配的决策过程也是有序的，即规律C。这就完全符合了动态规划算法应用的两个条件。

按照动态规划算法计算最高匹配程度的过程可以表示为：

E_i，m＝min{W_i，k+E_(i-1)，n} n≤k≤m

其中，E_i，m表示主成像中第i个特征点分别与参考成像中第n～第m个特征点的最小不匹配度，即最大匹配程度；W_i，k表示主成像中第i个特征点与参考成像中第k个特征点的亮度差。

在执行上述计算过程的同时，记录每个E_i，m对应的k值，即得到了导致最高匹配程度也就是E_i，m值的最小的匹配集<i，k>，即实现了主成像中的第i个特征点和参考成像中的第k个特征点匹配。

步骤606，对主成像中非特征点与参考成像中的非特征点进行匹配。

本步骤中，非特征点的匹配过程可以与步骤604～步骤605相同，也可以不按照每个非特征点在如图4所示的范围内进行匹配的方式，而是按照其他任意方式来执行，例如计算主成像中的每个非特征点与参考成像中所有非特征点的匹配程度，再确定参考成像中具有最大匹配程度的非特征点，为与主成像中相应非特征点匹配的非特征点。

步骤607，根据每一对特征点和非特征点的像素坐标信息，计算得到主成像中每个像素对应的深度信息。

本步骤中，由于在特征点和非特征点的匹配过程中获知每一个特征点和非特征点在成像中所处的位置，即在主成像中对应的极坐标值(r，θ)和在参考成像中对应的极坐标值(r’，θ)，而且根据预先获知的拍摄参数f₁，、f₂，、z₀，因此，可以根据本实施例中的公式4，计算出每个像素点的深度信息Z，即确定了每个像素点的深度信息；还可以根据本实施例中的公式5计算出每个像素点相对于光轴的位置R。

当步骤601～步骤602中基于一个感光元件获取主成像和参考成像，或者通过两个处于相同位置的感光元件获取主成像和参考成像时，本步骤还可以采用公式6来计算每个像素点的深度信息Z以及根据本实施例中的公式7来计算每个像素点相对于光轴的位置R。

在步骤607之后，为了提高步骤607获得的深度信息的精度，采用线性插值的方法确定主成像中每个像素点的深度信息，即由相邻的三个像素点的深度信息线性叠加得到。

本步骤中，也可以不进行线性叠加而是直接将步骤607获取的深度信息作为最终确定的深度信息。

如果需要最终获取图像像素信息，则在步骤607之后，根据每个像素点包括的RGB(红、绿、蓝)信息确定每个像素点的纹理信息，再将每个像素点的深度信息、二维平面位置信息和纹理信息合并，并存储合并后的像素信息。

即步骤601～步骤607，以及步骤607之后的信息合并处理，即构成了本实施例的图像像素信息获取方法。

其中，最终的纹理信息较佳地仅采用主成像中的纹理信息。这样，最终的纹理信息相对于其它一些合成的纹理信息来说，可具有光照一致的效果。

合并后的像素信息包括：x、y、red、green、blue、depth。x和y表示像素点在主成像中的位置坐标的已知量，depth表示深度信息，即x、y和depth构成了表示物体空间位置的三维信息，red、green、blue为纹理信息。合并后的像素信息也可以包括：ρ、θ、red、green、blue、depth。ρ为计算出的R，θ为在进行匹配计算时即获知的已知量，depth表示深度信息，即ρ、θ和depth构成了表示物体空间位置的三维信息。

至此，本流程结束。

上述流程中，也可以先执行步骤602再执行步骤601；步骤606可以与步骤604～步骤605同时执行，或者在步骤604～步骤605之前执行；也可以不执行步骤606，而是在步骤607根据特征点的深度信息估计出非特征点的深度信息，例如采用插值运算等方式。

较佳地，上述流程是在拍摄成像之后立即执行的，即拍摄后即可通过上述流程直接获得深度信息，而不需要其他后续处理。

上述实施例中的图像深度信息获取装置和图像深度信息获取方法、图像像素信息获取装置和图像像素信息获取方法，均是以大焦距成像作为主成像、以小焦距成像作为参考成像进行的说明。如果以小焦距成像作为主成像、以大焦距成像作为参考成像，则图像深度信息获取装置和图像像素信息获取装置可按照相同的原理进行处理，图像深度信息获取方法和图像像素信息获取方法也可以按照相同的操作过程进行处理。

可见，本实施例的技术方案能够实现深度信息的获取，而且，采用单镜头获取深度信息，节省了成本；根据特征规则抽取特征点，单独对所有特征点进行匹配，减小了计算量和难度，并保证了匹配的精度；依据像素点在成像中对应的极坐标确定了一定的范围，并在确定的范围内进行匹配，进一步减少了处理过程中的计算量，降低了对硬件性能的要求，易于实现；能够根据获取的深度信息获得完整的三维信息，并能够将三维信息与纹理信息合并，得到完整的像素信息，以便于恢复真实的三维场景，具有较高的实用性。

本实施例的技术方案至少可用于各种光学相机、摄像机，还可以用于包括网络摄像头和监控摄像头在内的所有摄像头。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims

1. 一种图像深度信息获取方法，其特征在于，包括：

2. 如权利要求1所述的方法，其特征在于，所述抽取特征点之前进一步包括：

轮换调整焦距并通过一个感光元件获取主成像和参考成像；

或者，轮换调整焦距并交替切换两个感光元件分别获取主成像和参考成像。

3. 如权利要求1所述的方法，其特征在于，所述匹配主成像中的每个特征点与参考成像中的对应特征点包括：

计算主成像中的特征点与参考成像中的特征点的匹配程度；

根据计算得到的匹配程度，并按照动态规划算法，计算每一个特征点的最高匹配程度，根据计算出的最高匹配程度确定参考成像中与主成像中每一个特征点对应的特征点。

4. 如权利要求3所述的方法，其特征在于，所述计算主成像中的特征点与参考成像中的特征点的匹配程度为：

确定每个特征点对应于主成像中的极坐标值，依次在不同的极角上，计算主成像中第n个特征点与参考成像中，在大于ρ(n-1)’且小于ρn范围内的所有特征点的匹配程度；

其中，n为正整数；ρn为在当前极角上的第n个特征点对应于主成像的极径；ρ(n-1)’为第n-1个特征点对应于参考成像的极径。

5. 如权利要求1所述的方法，其特征在于，所述抽取特征点之后，该方法进一步包括：将抽取后剩余的特征点作为非特征点，并匹配主成像中的每个非特征点与参考成像中的对应非特征点；

所述根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息为：根据匹配得到的每一对特征点的像素坐标信息，计算得到主成像中每一个特征点对应的深度信息；根据匹配得到的每一对非特征点的像素坐标信息，计算得到主成像中每一个非特征点对应的深度信息。

6. 如权利要求1所述的方法，其特征在于，所述根据匹配得到的每一对特征点的像素坐标信息，确定主成像中每一个像素点对应的深度信息为：将抽取特征点之后剩余的像素点作为非特征点；根据匹配得到的每一对特征点的像素坐标信息，计算得到主成像中每一个特征点对应的深度信息；根据所述计算得到主成像中每一个特征点对应的深度信息，估计主成像中每一个非特征点对应的深度信息。

7. 如权利要求5或6所述的方法，其特征在于，所述确定深度信息为：

Z = z_{0} \frac{f_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

其中，Z为深度信息；f₁和f₂分别为主成像和参考成像的成像焦距；r₁和r₂分别为主成像中的像素点和参考成像中的像素点到光轴的距离；z₀为两次成像的相机光学中心的距离。

8. 如权利要求5或6所述的方法，其特征在于，所述通过不同焦距成像得到的主成像和参考成像是通过一个感光元件或通过处于相同位置的两个感光元件获取的；

所述确定深度信息为：

Z = \frac{(f_{2} - f_{1}) f_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

其中，Z为深度信息；f₁和f₂分别为主成像和参考成像的成像焦距；r₁和r₂分别为主成像中的像素点和参考成像中的像素点到光轴的距离。

9. 一种图象像素信息获取方法，其特征在于，包括：

将每个像素点的深度信息、二维平面位置信息和纹理信息合并，得到主成像中每一个像素点的像素信息。

10. 如权利要求9所述的方法，其特征在于，所述匹配主成像中的每个特征点与参考成像中的对应特征点包括：

计算主成像中的特征点与参考成像中的特征点的匹配程度；

11. 如权利要求10所述的方法，其特征在于，所述计算主成像中的特征点与参考成像中的特征点的匹配程度为：

12. 如权利要求9所述的方法，其特征在于，所述确定深度信息为：

Z = z_{0} \frac{f_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

13. 如权利要求9所述的方法，其特征在于，所述通过不同焦距成像得到的主成像和参考成像是通过一个感光元件或通过处于相同位置的两个感光元件获取的；

所述确定深度信息为：

Z = \frac{(f_{2} - f_{1}) f_{1} r_{2}}{f_{1} r_{2} - f_{2} r_{1}}

14. 一种图像深度信息获取装置，其特征在于，包括：特征抽取单元、特征匹配单元和信息计算单元，

15. 如权利要求14所述的装置，其特征在于，该装置进一步包括：输入单元、成像单元、缓存单元和采集控制单元；

所述输入单元，在采集控制单元的控制下进行焦距调整，并将光信号投影到成像单元；

所述成像单元，根据所述投影的光信号生成主成像和参考成像；在采集控制单元的控制下，将生成的主成像输出给缓存单元，将生成的参考成像输出给特征抽取单元；

所述缓存单元，接收并存储成像单元输出的主成像，并在采集控制单元的控制下输出给特征抽取单元；

所述采集控制单元，当控制输入单元缩小焦距时，控制成像单元将得到的主成像输出给缓存单元；当控制输入单元放大焦距时，控制成像单元将得到的参考成像输出给特征抽取单元，控制缓存单元将存储的主成像输出给特征抽取单元。

16. 如权利要求14所述的装置，其特征在于，该装置进一步包括：输入单元、主成像单元、参考成像单元、采集控制单元；

所述输入单元，在采集控制单元的控制下缩小焦距后，将光信号投影到参考成像单元；在采集控制单元的控制下放大焦距后，将光信号投影到主成像单元；

所述主成像单元，根据所述投影的光信号生成主成像；在采集控制单元的控制下，将生成的主成像输出给特征抽取单元；

所述参考成像单元，根据所述投影的光信号生成参考成像；在采集控制单元的控制下，将生成的参考成像输出给特征抽取单元；

所述采集控制单元，交替控制输入单元缩小焦距和放大焦距；控制主成像单元和参考成像单元分别将主成像和参考成像输出给特征抽取单元。

17. 如权利要求16所述的装置，其特征在于，所述参考成像单元为捕捉亮度信息的感光元件。

18. 一种图像像素信息获取装置，其特征在于，包括：特征抽取单元、特征匹配单元、信息计算单元和信息合并单元；

所述信息合并单元，提取出每个像素点的纹理信息，将提取的每个像素点的纹理信息与对应的深度信息和二维平面位置信息合并，得到主成像中每一个像素点的像素信息。

19. 如权利要求18所述的装置，其特征在于，该装置进一步包括：输入单元、成像单元、缓存单元和采集控制单元；

20. 如权利要求18所述的装置，其特征在于，该装置进一步包括：输入单元、主成像单元、参考成像单元、采集控制单元；

21. 如权利要求20所述的装置，其特征在于，所述参考成像单元为捕捉亮度信息的感光元件。