CN101833759B - 一种基于连续视频的机器人场景深度判别方法 - Google Patents

Abstract

本发明属于机器视觉模拟、图像匹配技术领域，具体为一种基于连续视频的机器人场景深度判别方法。该方法包括：对场景进行拍摄，获取不同位置的场景照片；对拍摄的照片进行图像匹配，然后通过场景的深度计算公式，得到场景的深度地图。其中，本发明采用了新的摄像坐标设定方法。图像匹配利用待匹配点所在区域的光强度矩阵，寻找与之接近的区域，新区域的中心点即为匹配点。本发明方法计算量较小，准确率高，稳定性好。

Description

一种基于连续视频的机器人场景深度判别方法

技术领域

本发明属于机器人视觉模拟、图像匹配技术领域，具体涉及一种机器人场景深度判别方法。

背景技术

人具有感知三维世界的能力。在一场景中，人的左右眼以不同的视点来观察同一个目标，所以在左右眼中所形成的图像有稍微的差别，而大脑利用这些差别再进行信息加工即可估算出目标的深度。这就是人感知三维场景中目标深度的原理。许多研究者，试图让被赋予三维感知能力的机器能在未知场景中自由地探索，机器通过建立场景的三维模型或者是场景的深度地图，来“理解”场景，从而能够完成被赋予的任务。

对于场景的三维重建和深度估算，人们提出了各种各样的方法。例如，[4]通过维护由单目图像和对应的深度图组成的训练集，用学习的方法来进行深度估算；在[5]中，作者把单目线索加入到立体视觉系统中，获得了更精确的深度估算；[6]提出了一个能从单目图像上重建平面法向的互动系统。

在这些研究尝试中，人们以各种各样的方法来模拟人的视觉系统，有摄像机、激光、声纳及各种射线等等。其中，

(1)激光和各种射线可以用来测距，对场景进行深度估算，能够达到很高的精度，并且重量轻功耗小，但是它们只能对场景中某一点或者某一小片的范围进行测距，不能像相机那样记录下整个场景的信息，所以激光测距不适合复杂场景的深度估算。在[1]中，作者分析了激光的各种性能，也提到了激光对人眼的伤害；因此综合考虑激光的各种性能，激光更适合于军事武器的制导作用等军用[2]。

(2)声纳技术由于其成本高、体积重量大、能耗大，很难被用于小型测距探测系统，而由于其在水中传播的稳定性，故常常用于水下通信和导航、以及鱼雷制导、水雷引信等领域[3]。

最常用就是摄像机(或者照相机)，这是因为相机的成像原理与人眼的成像原理是类似的。广义的摄像机包括了多目视觉系统和单目视觉系统。毫无疑问，如果多目视觉系统具有三维感知能力，那么这并不难理解，因为人眼就是一个双目视觉系统。但是单目视觉系统也可以具有三维感知能力。当人只睁开一只眼睛时，他依然具有能力感知到三维世界的深度信息，这很大程度上归咎于他脑中的大量视觉经验；依据类似的原理，被加上视觉经验的单目视觉系统也可以具有三维感知能力。除此之外，一个处于“运动”状态的单目视觉系统同样具备三维感知能力。当一单目系统在一位置获得场景的图像后，再移动到另一位置获得场景的令一张图像，利用这两张图像的差别以及相关原理，可以计算出场景的三维模型或深度信息。这就是本发明提出的一个新方法。

另外，在图像处理中，不得不涉及的一个技术就是图像上点的匹配，传统的方法只利用了单个待匹配点的光强，在某范围内来搜索与之光强接近的匹配点，这种方法虽然计算量少，但准确率和稳定性极低；本发明中的一个新的匹配方法突破了传统，它考虑的是某个区域的光强值组成的矩阵，来搜索与光强矩阵“接近”的匹配区域，只要把区域的大小设置成合适的值，可以做到计算量不大，准确率和稳定性极高的效果。

发明内容

本发明的目的在于提出一种计算量小，准确率高，稳定性好的机器人场景深度判别方法。

本发明提出的机器人场景深度判别方法，具体步骤如下：

1)在一未知场景中，装备上单目视觉系统的机器人通过拍照获得关于场景的一张照片P1，再向前移动适当的距离，设长度为S，再拍照获得关于场景的另一种照片P2。由于向前移动的误差，照片P1和照片P2的相片中心点不是同一个目标点，即相片中心点存在误差，在后面的深度估算中这个误差信息是要被用到的。

2)对照片P2进行角点检测，对于照片P2上的每一个角点A2，利用本发明提出的关于单目机器人时间邻近帧图像的匹配方法进行匹配，从而在照片P1上找出A2的匹配点A1。所述的匹配利用待匹配点所在的一块合适大小的区域的光强度矩阵，寻找与该光强接近的另一块同样大小的区域，新区域的中心点即为匹配点，经过实验验证，此方法稳定好、准确率高；

3)利用本发明请提出的单目机器人连续移动使用前后帧图像的深度计算方法，计算出场景中每一个角点对应的目标的深度，从而形成一个深度地图。

在此深度估算的过程中，无需知道相机的任何参数。其中，移动的距离S一般为10～200cm。

本发明的计算步骤见图8所示。

上述方法中，涉及到单目机器人坐标体系设定，具体内容如下：

1.通过把相机成像原理近似成点透视投影，建立起相机成像的三维坐标系；

2.并用数学公式表示出像点和原像点间的关系。

被装备到机器人身上的单目视觉系统，其镜头为一凸透镜，故其成像原理是凸透镜的成像原理。设物距(物体到镜头的距离)表示为u，镜头的焦距为f，像距(胶卷到镜头的距离)为v。当u＞2f时，凸透镜的成像为附图1所示。

注意到，当u＞＞2f时，v≈f。一般情况下，由于相机的f较小，都满足u＞＞2f，故可以认为v＝f，这时凸透镜成像可以用点透视投影来近似，如附图2所示。

现在把相机成像原理在三维坐标系中表示出来。以相机的投影中心为坐标系的原点O，正前方(镜头方向)为Z轴负方向，水平向右为X轴正方向。以点O′(0，0，-f)(其中f为相机的焦距)为中心画一个与相机底片同样大小的矩形，称为投影平面。假设A为空间中某一点，那么直线OA与投影平面的交点A′称为A的投影点(根据点透视投影的原理)。显然投影平面与底片关于坐标系原点(0，0，0)中心对称，投影点与相机胶卷上的像点对称，研究投影平面上的点相当于研究了底片上的成像点。称此三维坐标系为摄像坐标系，如附图3示。

假设三维场景中目标的空间位置点A在摄像坐标系中的坐标为A(x_A，y_A，z_A)，A点的投影点A′的坐标为A′(x_A′，y_A′，f)。过点A′作X轴和Z轴的垂线，那么可以得到A′的X轴坐标x_A′和Z轴坐标f；过点A作X轴和Z轴的垂线，那么可以得到A的X轴坐标x_A和Z轴坐标z_A。如附图4示。

根据相似三角形的性质可得：

$\frac{{x_A}^{\′}}{x_A}=\frac{{\mathrm{OA}}^{\′}}{\mathrm{OA}}$

$\frac{f}{z_A}=\frac{{\mathrm{OA}}^{\′}}{\mathrm{OA}}$

故： $\frac{{x_A}^{\′}}{x_A}=\frac{f}{z_A},$ 即 $x_A=\frac{{x_A}^{\′}}{-f}{z}_A$

同理，可得 $y_A=\frac{{y_A}^{\′}}{-f}{z}_A$

故： $\left\{\begin{array}{c}{x}_A=\frac{{x_A}^{\′}}{-f}{z}_A\\ y_A=\frac{{y_A}^{\′}}{-f}{z}_A\\ z_A=z_A\end{array}\right\}$

由照片的信息，可以得到A′(x_A′，y_A′，f)的坐标值。从上可以看出，要求A的坐标，即三维场景中目标的空间位置，还需要知道z_A，即A点相对于摄像头的深度。

本发明中，步骤2所述的单目机器人时间邻近帧图像的匹配，具体如下：

该方法的目的在于提出一种有别于传统的基于图像区域块光强矩阵的点匹配方法，摆脱基于单个像素光强的匹配思想束缚，以图像区域为考察对象，形成了一种更准确更稳定的匹配方法。

考虑在二维图像上建立一二维直角坐标系X′O′Y′，以二维图像的中心O′为原点，向右为X′轴，向上为Y′轴，如附图5示。

那么图像上的像素点可以表示为以像素为单位的二维坐标。

设待匹配图像上点(x，y)的光强度函数为f₂(x，y)，目标图像上点(x，y)的光强度函数为f₁(x，y)；设待匹配图像上的待匹配点A₂的坐标为(x₂，y₂)，如附图6示。

在目标图像上寻找这样的点(x，y)，使下面的目标函数P(x，y)达到最小值：

$P(x,y)=$

$\frac{1}{(2M+1)\×(2N+1)}\·\underset{\underset{j=0,\±1,......,\±N}{i=0,\±1,......,\±M}}{\mathrm{\Σ}}|f_1(x+i,y+j)-f_2(x_2+i,y_2+j)|$

说明：待匹配区域是待匹配图像上以像素点A₂为中心的(2M+1)×(2N+1)像素区域，目标区域是目标图像上以像素点(x，y)为中心的(2M+1)×(2N+1)像素区域。这里，M为待匹配区域在x′方向上的像素个数，N为待匹配区域在y′方向上的像素个数。

具体的计算步骤见图9所示。

本发明中，步骤3所述单目机器人连续移动使用前后帧图像的深度计算方法，具体如下：

本发明在图像匹配的基础上，研究未知场景中机器人移动时获取的一序列二维图像的关系，揭露出邻近帧图像间的数学几何关系以及与三维场景深度间的关系，提出了一种深度计算方法。

对于场景中的目标点A，当机器人位于点O₁时(即相机的投影中心位于点O₁)，点A在投影平面上的投影点为A₁(x₁′，y₁′，-f)，P₁(0，0，-f)为此时投影平面的中心点；当机器人移动了距离s后到位置O₂时，点A在投影平面上的投影点为A₂(x₂′，y₂′，-f)，P₂(0，0，-f)为此时投影平面的中心点。如附图7示。

在附图7中，过点A作一竖直平面(即与投影平面平行)，设直线O₁P₁和O₂P₂分别交此平面于点H₁和H₂，在此平面上分别过H₁和H₂作水平线H₁I₁和H₂I₂，并交于竖直线AI₁于点I₁和点I₂。如果从点O₁到点O₂的移动为正前方向，那么点H₁和H₂是重合的。但在实际操作中，往往存在误差，不妨设点H₁和H₂横向和纵向距离分别为w和h，并规定：当H₂在H₁的右边时，w为正数，否则为负；当H₂在H₁的上边时，h为正数，否则为负。

从附图7中容易得到：

$\left\{\begin{array}{c}{H}_1{I}_1={x_1}^{\′}\·\frac{O_1{H}_1}{f}\\ H_2{I}_2={x_2}^{\′}\·\frac{O_2{H}_2}{f}\\ O_1{H}_1=O_2{H}_2+s\end{array}\right\}$

故： $w=H_1{I}_1-H_2{I}_2$

$={x_1}^{\′}\·\frac{O_2{H}_2+s}{f}-{x_2}^{\′}\·\frac{O_2{H}_2}{f}$

$=\frac{1}{f}(({x_1}^{\′}-{x_2}^{\′})\·O_2{H}_2+s\·{x_1}^{\′})$

故： $O_2{H}_2=\frac{w\·f-s\·{x_1}^{\′}}{{x_1}^{\′}-{x_2}^{\′}}$ (式1)

再由附图7中得到：

$\left\{\begin{array}{c}{I}_{1}A={y_1}^{\′}\·\frac{O_1{H}_1}{f}\\ I_{2}A={y_2}^{\′}\·\frac{O_2{H}_2}{f}\\ h=I_{1}A-I_{2}A\end{array}\right\}$

故： $h=I_{1}A-I_{2}A$

$={y_1}^{\′}\·\frac{O_1{H}_1}{f}-{y_2}^{\′}\·\frac{O_2{H}_2}{f}$

$={y_1}^{\′}\·\frac{O_2{H}_2+s}{f}-{y_2}^{\′}\·\frac{O_2{H}_2}{f}$

$=\frac{1}{f}\·(({y_1}^{\′}-{y_2}^{\′})O_2{H}_2+{y_1}^{\′}\·s)$

故： $O_2{H}_2=\frac{h\·f-{y_1}^{\′}\·s}{({y_1}^{\′}-{y_2}^{\′})}$ (式2)

由式1和式2，可得：

$\frac{w\·f-s\·{x_1}^{\′}}{{x_1}^{\′}-{x_2}^{\′}}=\frac{h\·f-{y_1}^{\′}\·s}{({y_1}^{\′}-{y_2}^{\′})}$

解得，

$f=\frac{{x_1}^{\′}\·{y_2}^{\′}-{x_2}^{\′}\·{y_1}^{\′}}{({x_1}^{\′}-{x_2}^{\′})h-({y_1}^{\′}-{y_2}^{\′})w}\·s$ (式3)

再把式3代入式1中，可得：

$O_2{H}_2$

$=\frac{{y_1}^{\′}\·w-{x_1}^{\′}\·h}{({x_1}^{\′}-{x_2}^{\′})h-({y_1}^{\′}-{y_2}^{\′})w}\·s$

即为深度公式。深度公式中的参数s由机器运动系统获得，x₁′和y₁′由单目图像上的信息获取，而参数w和h反应了移动和拍摄的横向和纵向的偏差，可由前后两帧图像上中心点的匹配获取，采用的匹配方法如前所述。估算的实验结果见实施例。

附图说明

图1为物距对凸透镜成像的影响。

图2为点透视投影近似凸透镜成像。

图3为摄像坐标系。

图4为成像公式的推导。

图5为二维图像上的平面直角坐标系。

图6为点的匹配。

图7为移动前后的成像图。

图8为本发明计算步骤框图。

图9为本发明图像匹配方法计算步骤框图。

图10为单目机器人在4个不同位置拍摄的4幅(P1、P2、P3、P4)图像

具体实施方式

如图8所示，本发明的实施过程的具体步骤如下：

1)在一未知场景中，装备上单目视觉系统的机器人通过拍照获得一张关于场景的照片P1，再向前移动适当的距离(设长度为S，取值范围为10cm≤S≤200cm)，再拍照获得另一种照片P2。

2)取P2上的中心点(x_center，y_center)(x_center为P2横向上以像素为单位的长度的一半，y_center为P2纵向上以像素为单位的长度的一半)，利用本发明介绍的匹配方法在P1中寻找匹配点(x_center′，y_center′)。令横向偏差w＝x_center′-x_center，纵向偏差h＝y_center′-y_center。

3)执行角点检测函数cvGoodFeaturesToTrack(P2，……，C，&MAX，……)对P2进行角点检测，那么所有的角点坐标就都存放在数组C[MAX]中(MAX的取值范围为100≤MAX≤500)。

4)令i＝0。

5)对P2中的角点C[i](假设具体的坐标值为(x₁′[i]，y₁′[i]))，利用本发明介绍的匹配方法在P1中寻找匹配点(用M[i]来表示，具体坐标为(x₂′[i]，y₂′[i]))。

6)计算角点C[i]所对应的三维场景深度值为：

并把此深度值标注在P2的位置(x₁′[i]，y₁′[i])上。

7)令i＝i+1；若i＜MAX，转至第5)步骤执行；否则，执行下一步。

8)在P2上形成了关于场景的深度地图。

本发明中，图像匹配方法的计算过程见图9所示，具体步骤如下：

1)对于P2中的角点C[i](假设具体的坐标值为(x₂，y₂))。

2)令j＝-R(R的取值范围为10≤R≤200，单位是像素)，MAX_VALUE＝0。

3)令k＝-R。

4)令x₁＝x₂+j，y₁＝y₂+k。

5)计算其中f₁(x₁+j，y₁+k)表示P1上点(x+j，y+k)的光强值，f₂(x+j，y+k)表示P2上点(x₂+j，y₂+k)的光强值。(M和N的取值范围是：0≤M，N≤100，单位是像素)

6)若temp＞MAX_VALUE，那么令MAX_VALUE＝temp，x＝x₁，y＝y₁。

7)k＝k+1。若k＜R，则转至第4)步骤；否则，执行下一步。

8)j＝j+1。若j＜R，转至第3)步骤；否则，执行下一步。

9)输出P1上的匹配点坐标(x，y)。

下面是利用本发明方法估算场景深度的实验例子。其中P1、P2、P3、P4是单目机器人在4个不同位置对同一场景拍摄的4个照片，像素块的大小为832×624，计算结果如下：

表1深度求解实验

实验次数	1	2	3
				实验材料	P1、P2	P2、P3	P3、P4
A2的坐标	(171，118)	(196，167)	(259，181)
				匹配点A1	(145，101)	(174，139)	(199，144)
移动距离s/单位：cm	10	10	10
				移动后的深度d2/cm	56.9	44	34.9
实际深度/cm	约60	约50	约40
				与实际深度的误差/cm	3.9	6	5.1

参考文献

[1]XU Jun，SU Liang-Bi，XU Xiao-Dong，ZHAO Zhi-Wei，and ZHAO Guang-Jun，“Recent Developments and Research Frontier of Laser Crystals”，JOURNAL OF INORGANICMATERIALS，2006，21(5).

[2]WANG Kuang-biao，“Status quo，key technology and development of laser guidedweapon”，INFRARED AND LASER ENGINEERING，2007，36(5).

[3]ZHENG Kun，WANG Ying-rain，and ZHANG Zheng-qi，“Design and Emulation ofSonar Target Simulation System”，COMPUTER SIMULATION，2008，25(12).

[4]Ashutosh Saxena，Sung H.Chung，and Andrew Y.Ng，“Learning Depth from SingleMonocular Images”，NIPS，2005，pp 18.

[5]Ashutosh Saxena，Jamie Schulte，Andrew Y.Ng，“Depth Estimation using Monocularand Stereo Cues”，IJCAI，2007.

[6]Tai-Pang Wu，Jian Sun，Chi-Keung Tang，Heung-Yeung Shum，“Interactive NormalReconstruction from a Single Image”，ACM Transaction on Graphics，Vol.27，No.5，Article 119，December 2008.

Claims (1)

1.一种基于连续视频的机器人场景深度判别方法，其特征在于具体步骤如下：

1)在一未知场景中，装备上单目视觉系统的机器人通过拍照获得关于场景的一张照片P1，再向前移动适当的距离，设长度为S，再拍照获得关于场景的另一种照片P2；

2)对照片P2进行角点检测，对于照片P2上的每一个角点A2，利用关于单目机器人时间邻近帧图像的匹配方法进行匹配，从而在照片P1上找出A2的匹配点A1；所述的匹配利用待匹配点所在的一块合适大小的区域的光强度矩阵，寻找与该光强接近的另一块同样大小的区域，新区域的中心点即为匹配点；

3)利用单目机器人连续移动使用前后帧图像的深度计算方法，计算出场景中每一个角点对应的目标的深度，从而形成一个深度地图；

其中，涉及到单目机器人坐标体系的设定，假设三维场景中目标的空间位置点A在摄像坐标系中的坐标为A(x_A，y_A，z_A)，A点的投影点A′的坐标为A′(x_A′，y_A′，f)，其关系为：

$\left\{\begin{array}{c}{x}_A=\frac{{x_A}^{\′}}{-f}{z}_A\\ y_A=\frac{{y_A}^{\′}}{-f}{z}_A\\ z_A=z_A\end{array}\right\}$

A′(x_A′，y_A′，f)的坐标值由照片的信息获得，f为镜头的焦距；

所述单目机器人时间邻近帧图像的匹配方法，具体如下：

设待匹配图像上点(x，y)的光强度函数为f₂(x，y)，目标图像上点(x，y)的光强度函数为f₁(x，y)；设待匹配图像上的待匹配点A₂的坐标为(x₂，y₂)；

在目标图像上寻找这样的点(x，y)，使下面的目标函数P(x，y)达到最小值：

$P(x,y)=$

$\frac{1}{(2M+1)\×(2N+1)}\·\underset{\underset{j=\mathrm{0,}\±1,......,\±N}{i=\mathrm{0,}\±1,......,\±M,}}{\mathrm{\Σ}}|f_1(x+i,y+j)-f_2(x_2+i,y_2+j)|$

说明：待匹配区域是待匹配图像上以像素点A₂为中心的(2M+1)×(2N+1)像素区域，目标区域是目标图像上以像素点(x，y)为中心的(2M+1)×(2N+1)像素区域；这里，M为待匹配区域在x′方向上的像素个数，N为待匹配区域在y′方向上的像素个数；

所述单目机器人连续移动使用前后帧图像的深度计算方法，具体如下：

对于场景中的目标点A，当机器人位于点O₁时，点A在投影平面上的投影点为A₁(x₁′，y₁′，-f)，P₁(0，0，-f)为此时投影平面的中心点；当机器人移动了距离s后到位置O₂时，点A在投影平面上的投影点为A₂(x₂′，y₂′，-f)，P₂(0，0，-f)为此时投影平面的中心点；

则深度O₂H₂的计算式为：

$O_2{H}_2=\frac{{y_1}^{\′}\·w-{x_1}^{\′}\·h}{({x_1}^{\′}-{x_2}^{\′})h-({y_1}^{\′}-{y_2}^{\′})w}\·s$

w、h分别为移动和拍摄的横向偏差、纵向偏差。

Images