CN103810700B - 基于深度图像利用遮挡信息确定下一最佳观测方位的方法 - Google Patents

Abstract

本发明公开了一种利用深度图像中的遮挡信息确定下一最佳观测方位的方法，属于计算机视觉领域，包括以下步骤：获取视觉目标的一幅深度图像及其遮挡边界和摄像机内外参数；根据已获得的深度图像中的遮挡边界信息确定出每个遮挡边界点对应的最大深度差相邻点；利用深度图像中的遮挡边界点及其对应的最大深度差相邻点的三维坐标以及摄像机的当前观测方位计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点；基于投影降维思想确定遮挡区域外接表面最佳小平面集合并基于该最佳小平面集合的信息计算下一最佳观测方位。本发明无需预先获取视觉目标的先验知识及将摄像机的观测位置限定在固定表面上，适用于具有不同型面的视觉目标。

Description

基于深度图像利用遮挡信息确定下一最佳观测方位的方法

技术领域

本发明涉及计算机视觉领域，尤其是涉及一种下一最佳观测方位的确定方法。

背景技术

下一最佳观测方位的确定一直是三维重建、机器人导航、自动装配、目标识别等领域重要且困难的研究课题之一，它根据当前观测到的信息，确定出摄像机(传感器)的下一观测方向和位置，使得从该方向和位置能够最大量地获取场景或视觉目标的未知信息。

目前下一最佳观测方位确定算法所基于的图像信息类型主要有两种：图像亮度信息和图像深度信息。基于图像亮度信息的下一最佳观测方位确定算法相对较少，并且同2D的亮度图像相比，2.5D的深度图像更利于获得场景的三维信息，因此，现有的下一最佳观测方位确定算法一般都基于深度图像实现。然而，既基于深度图像又仅利用遮挡信息确定下一最佳观测方位的文献较少。同时，少数几个既基于深度图像又利用遮挡信息确定下一最佳观测方位的方法在求解方式、适用范围等方面存在一些不足。Maver J和Bajcsy R在文章“Occlusion as a guide for planning the next view.IEEE Transactions on PatternAnalysis and Machine Intelligence,1993，15(5)：417-432”所提方法针对于特定的设备。Banta J E和Wong L M等在文章“Next-best-view system for autonomous3-D objectreconstruction.IEEE Transactions on Systems,Man,and Cybernetics,Part A:Systems and Humans,2000,30(5):589-598”所提方法确定出的观测位置被限定在一个固定的表面(如球体表面、圆柱体表面等)，因此方法的通用性受到了限制。Chen S Y和Li Y F在文章“Automatic sensor placement for model-based robot vision.IEEETransactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2004,34(1):393-408”中所提方法需要预先获取场景的先验知识，如场景中视觉目标的尺寸等，因此不适用于未知场景。

发明内容

针对上述存在问题，为了基于遮挡信息确定出下一最佳观测方位，本发明旨在提出一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，本发明避免了对摄像机观测方位的限制，通过综合考虑最佳小平面集合中每个小平面的影响，确定出合理的下一最佳观测方位。

本发明通过下述技术方案来实现：一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，该方法包含以下步骤：

（1）获取深度图像及其遮挡边界和摄像机内外参数；

（2）提取深度图像最大深度差相邻点：

2a）计算深度图像中各像素点的最大深度差值，记录下该最大深度差值对应的邻域点的像素坐标，

2b）结合拍摄深度图像时摄像机的内外参数信息，对深度图像进行反投影变换，重建深度图像中每个像素点的三维坐标；

（3）利用深度图像中的遮挡边界点及其对应的最大深度差相邻点的三维坐标以及摄像机的当前观测方位计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点；

（4）基于投影降维思想确定遮挡区域外接表面最佳小平面集合并根据该最佳小平面集合的信息计算下一最佳观测方位：

4a）计算每个候选参考观测方向所对应的遮挡边界点和最大深度差相邻点的欧氏距离，即每个小平面所对应的遮挡线段的长度，

4b）计算每个候选参考观测方向在指定的坐标系xoy平面内的投影与该坐标系x轴正方向的夹角α，

4c）根据已计算出的每个候选参考观测方向对应投影向量的夹角α，基于积分原理，计算由指定角度φ起始，固定角度γ范围内对应的遮挡区域外接表面面积S_φ，其中0°≤φ<360°；记录计算最大观测面积S_max及其对应的角度范围[φ_begin,φ_end]，其中φ_end=φ_begin+γ,S_max对应的φ值为φ_begin；对每个对应夹角值在[φ_begin,φ_end]范围内的候选参考观测方向计算其对应的权值w_i，

4d）根据上述计算出的信息，计算下一最佳观测方向及观测中心点，如果S_max小于遮挡区域外接表面面积阈值S_t,则进行步骤4d1）及4d2），如果S_max大于或等于遮挡区域外接表面面积阈值S_t，则进行步骤4d3）至4d6）：

4d1）计算摄像机当前观测方向的反方向并将其作为下一最佳观测方向，

4d2）计算当前观测方位下获取到的视觉目标三维坐标的中心点并将其作为下一最佳观测中心点，

4d3）获得夹角α在[φ_i,φ_i+γ]范围内的所有投影向量对应的候选参考观测方向，

4d4）获取上述候选参考观测方向对应的观测中心点和权值ω_i，

4d5）对获取的所有候选参考观测方向加权求和得到下一最佳观测方向，

4d6）对获取的所有观测中心点加权求和得到下一最佳观测中心点，

4e）依据计算出的下一最佳观测方向和观测中心点计算摄像机的观测位置，

4f）输出计算出的下一最佳观测方位。

本发明首先从某一观测方位获取视觉目标的一幅深度图像，然后根据已获得的深度图像中的遮挡信息确定出下一最佳观测方位，从而使摄像机在所求观测方位下能够最大量地观测到当前观测方位下视觉目标上的被遮挡区域。本发明从遮挡区域出发展开研究，避免了对摄像机观测方位的限制，通过综合考虑最佳小平面集合中每个小平面的影响，确定出合理的下一最佳观测方位。

本发明较之现有技术的优势在于：

(1)所需输入数据为深度图像、该图像中的遮挡边界以及获取该幅深度图像时摄像机的内外参数，无需预先获取视觉目标的先验知识。

(2)基于分治思想，依据深度图像中的遮挡边界点及其最大深度差相邻点的信息确定下一最佳观测方位，对视觉目标表面形状无依赖关系，适用于具有不同型面的视觉目标。

(3)以遮挡区域为研究对象，利用遮挡区域外接表面最佳小平面集合实现了对下一最佳观测方位简便、高效的求解，整个过程未对摄像机位置做特殊限制。

附图说明

图1是本发明基于深度图像利用遮挡信息确定下一最佳观测方位的方法的流程图；

图2是本发明不同情形下候选参考观测方向及观测中心点示意图；

图3是本发明不同情形下Q点在深度图像平面的投影点位置示意图；

图4是本发明摄像机观测遮挡区域外接表面时的可视空间及候选参考观测方向投影示意图；

图5是本发明投影向量的分布情况示意图；

图6是本发明候选参考观测方向在指定坐标系xoy平面的投影示意图；

图7是本发明下一最佳观测方向和观测中心点与摄像机观测位置之间的关系；

图8是基于本发明的部分实验结果。

具体实施方式

以下结合附图对本发明做出更加详细的说明，但该实施过程不应理解为对本发明的限制。

如图1所示，所述基于深度图像利用遮挡信息确定下一最佳观测方位包括以下步骤：

步骤1：获取深度图像及其遮挡边界和摄像机内外参数。

利用已有深度图像或深度图像获取设备(如Kinect)获取深度图像同时记录下获取深度图像时的摄像机内外参数，在此基础上利用已有的遮挡检测方法对深度图像进行遮挡检测得到遮挡信息。

步骤2：提取深度图像最大深度差相邻点。

2.1）设深度图像中某点的坐标为(i,j)，深度值为depth(i,j)，则其8个邻域点的坐标分别为(i-1,j-1)、(i,j-1)、(i+1,j-1)、(i-1,j)、(i+1,j)、(i-1,j+1)、(i,j+1)和(i+1,j+1)，深度值分别为depth(i-1,j-1)、depth(i,j-1)、depth(i+1,j-1)、depth(i-1,j)、depth(i+1,j)、depth(i-1,j+1)、depth(i,j+1)和depth(i+1,j+1)。定义点(i,j)的最大深度差值为

$\max \left(\begin{array}{ccc}\mathrm{depth}(i-1,j-1)-\mathrm{depth}(i,j)& \mathrm{depth}(i,j-1)-\mathrm{depth}(i,j)& \mathrm{depth}(i+1,j-1)-\mathrm{depth}(i,j)\\ \mathrm{depth}(i-1,j)-\mathrm{depth}(i,j)& 0& \mathrm{depth}(i+1,j)-\mathrm{depth}(i,j)\\ \mathrm{depth}(i-1,j+1)-\mathrm{depth}(i,j)& \mathrm{depth}(i,j+1)-\mathrm{depth}(i,j)& \mathrm{depth}(i+1,j+1)-\mathrm{depth}(i,j)\end{array}\right)---\left(1\right)$

提取一幅深度图像的最大深度差相邻点的具体方法为：遍历整幅深度图像中的各点，按公式(1)计算该点的最大深度差值，记录下该最大深度差值对应的邻域点的像素坐标。遍历完整幅图像后，即可得到每个像素点的最大深度差相邻点的像素坐标。

2.2）获取深度图像中每个像素点的三维坐标，对于已获取的单幅深度图像，可以利用拍摄该幅深度图像时摄像机的内外参数信息，依据投影变换原理，对该幅深度图像进行反投影变换，从而重建出深度图像中每个像素点在世界坐标系中的三维坐标。

步骤3：利用深度图像中的遮挡边界点及其对应的最大深度差相邻点的三维坐标以及摄像机的当前观测方位计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点。

设摄像机当前的观测方向为V_camera，在当前观测方位下，任取一个遮挡边界点A，坐标为(x_A,y_A,z_A)，其对应的最大深度差相邻点F的坐标为(x_F,y_F,z_F)，记由点A和点F确定的遮挡线段为l_AF，由l_AF表示的小平面为Patch_AF，则该小平面的候选参考观测中心点和观测方向的计算方法如下：

3.1）计算候选参考观测中心点P。设其坐标为(x_P,y_P,z_P)，计算公式为

$\left\{\begin{array}{c}{x}_P=(x_A+x_F)/2\\ y_P=(y_A+y_F)/2\\ z_P=(z_A+z_F)/2\end{array}\right.---\left(2\right)$

3.2）计算候选参考观测方向V_candidate。对于小平面Patch_AF由其对应的遮挡线段l_AF近似表示，Patch_AF的候选参考观测方向V_candidate(Patch_AF法向量的反方向)应垂直指向l_AF且过其中点。因此，确定V_candidate至少需要Patch_AF上的两个方向向量，而目前Patch_AF上可利用的方向向量只有V_AF(点A和点F确定的向量)，因此需要利用V_camera与V_AF计算出Patch_AF上另一个方向向量V_x(V_x为V_camera与V_AF的叉积)，然后再利用V_x与V_AF进一步求得V_candidate。分析发现，摄像机与遮挡区域空间位置关系有两种情形，其中，情形1为摄像机主光轴穿过遮挡区域，与遮挡区域相交；情形2为摄像机主光轴未穿过遮挡区域，与遮挡区域不相交。由于同一视觉目标中可能存在多处遮挡现象，因此，这两种情形可能会在摄像机的某一观测方位下同时出现。为了区别这两种情形，图2(a)和图2(b)分别给出了这两种情形对应的遮挡边界点A及其最大深度差相邻点F确定出的候选参考观测方向及观测中心点的示意图。

3.2a）计算V_x和V_temp，并将V_temp作为临时候选参考观测方向。V_x和V_temp的计算公式分别为

V_x=V_camera×V_AF (3)和

V_temp=V_AF×V_x (4)

3.2b）将V_temp单位化，得到其对应的单位向量v_temp，将式(2)中计算出的观测中心点P作为v_temp的终点，计算v_temp的起点Q的坐标(x_Q,y_Q,z_Q)。此处使用v_temp而不直接使用V_temp来确定Q点的坐标是为了保证后续对Q点进行投影变换时，其所对应的投影点位于深度图像的平面内。

3.2c）利用已得到的摄像机内外参数，对Q点进行投影变换，可以获得Q点在深度图像平面内的投影点Q_project。图3(a)和图3(b)分别给出了图2(a)和图2(b)所示两种情形下Q_project相对于遮挡边界点A及其最大深度差相邻点F的投影点A_project和F_project的位置关系。其中，图3(a)所示情形为摄像机主光轴与遮挡区域相交时点Q_project、点A_project和点F_project的位置关系，而图3(b)所示情形为摄像机主光轴与遮挡区域不相交时点Q_project、点A_project和点F_project的位置关系。

3.2d）记A_project和Q_project所形成的向量与A_project和F_project所形成的向量的夹角为θ。由图2(a)分析可知，当摄像机主光轴与遮挡区域相交时，θ角小于90°，而由图2(b)分析可知，当摄像机主光轴与遮挡区域不相交时，θ角大于90°。因此，可以根据θ角的大小来确定V_candidate的方向。分别记Q_project、A_project和F_project的坐标为(i_Q,j_Q),(i_A,j_A)和(i_F,j_F),记A_project和Q_project形成的向量为记A_project和F_project形成的向量为则θ角的计算公式为:

$\begin{array}{c}\mathrm{\&theta;}=\arccos \left(\frac{V_{A^{*}{Q}^{*}}\&CenterDot;V_{A^{*}{F}^{*}}}{\left|\right|V_{A^{*}{Q}^{*}}\left|\right|\&times;\left|\right|V_{A^{*}{F}^{*}}\left|\right|}\right)\\ =\arccos \left(\frac{(i_Q-i_A)\&times;(i_F-i_A)+(j_Q-j_A)\&times;(j_F-j_A)}{\sqrt{{(i_Q-i_A)}^2+{(j_Q-j_A)}^2}\&times;\sqrt{{(i_F-i_A)}^2+{(j_F-j_A)}^2}}\right)\end{array}---\left(5\right)$

3.2e）根据计算出的θ角的值确定出候选参考观测方向V_candidate，方法为:

步骤4：基于投影降维思想确定遮挡区域外接表面最佳小平面集合并根据该最佳小平面集合的信息计算下一最佳观测方位。

4.1）计算每个候选参考观测方向所对应的遮挡边界点和最大深度差相邻点的欧氏距离，即每个小平面所对应的遮挡线段的长度。

4.2）计算每个候选参考观测方向在指定的坐标系(要求该坐标系的z轴正方向为摄像机当前的观测方向)xoy平面内的投影与该坐标系x轴正方向的夹角α。

4.2a）确定指定坐标系的x轴、y轴和z轴正方向的单位向量。任取一个遮挡边界点A及其最大深度差相邻点F的三维坐标，二者可以确定一个向量V_AF，应用步骤3中公式(3)可计算出摄像机当前观测方向V_camera与向量V_AF的叉积V_x，将V_x的方向作为x轴的正方向，同时，将其单位化可得到x轴正方向的单位向量e_x，然后，将V_camera的方向作为z轴的正方向，将其单位化可得到z轴正方向的单位向量e_z，则根据右手螺旋定则，y轴正方向单位向量e_y即为e_z与e_x的叉积。

4.2b）获取所有候选参考观测方向对应的投影向量。摄像机对遮挡区域外接表面进行观测时，其可视空间(视野)及候选参考观测方向在指定平面内的梯形投影区域如图4所示，通过该区域可以确定出一个有意义的投影向量集合。该集合中任意两个投影向量的夹角应小于等于一个固定角度γ，以便保证该集合中所有投影向量对应的小平面(遮挡线段)可见。分析图4可知，若摄像机可视空间对应的梯形投影区域两个腰的夹角为β，则γ应为π-β。一般情况下，β取为摄像机的水平视场角。基于该投影方式，将所有候选参考观测方向向指定坐标系的xoy平面进行投影，并将所有投影向量的起点都移到指定坐标系xoy平面的原点，则平移前的投影向量分布情况如图5(a)所示，平移后的投影向量分布如图5(b)所示。

4.2c）计算每个候选参考观测方向在指定坐标系xoy平面的投影向量。在世界坐标系下，对任意候选参考观测方向V_candidate，记其坐标为(x_c,y_c,z_c)。记e_x、e_y和e_z的坐标分别为和则V_candidate在指定坐标系的坐标(x′_c,y′_c,z′_c)的计算公式为

$\left[\begin{array}{c}{x}_c^{\&prime;}\\ y_c^{\&prime;}\\ z_c^{\&prime;}\end{array}\right]={\left[\begin{array}{ccc}{x}_{e_x}& x_{e_y}& x_{e_z}\\ y_{e_x}& y_{e_y}& y_{e_z}\\ z_{e_x}& z_{e_y}& z_{e_z}\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]---\left(7\right)$

设V_candidate在指定坐标系xoy平面的投影向量为V_project，坐标为(x_project,y_project)，则其坐标值x_project和y_project应分别为V_candidate在指定坐标系x轴和y轴的坐标值x′_c和y′_c，即

(x_project,y_project)=(x′_c,y′_c) (8)

4.2d）计算每个投影向量与x轴正方向的夹角α。任取一个候选参考观测方向V_candidate，其在指定坐标系xoy平面的投影V_project的位置如图6所示，夹角α为x轴正方向沿箭头所示方向与V_project的夹角，其中α∈[0°,360°)。对任意投影向量V_project，坐标为(x_project,y_project)，其与x轴正方向的夹角α的计算公式为

4.3）对于每组由遮挡边界点及其最大深度差相邻点组成的点对，其都与一个候选参考观测方向和一个观测中心点相对应，根据已计算出的每个候选参考观测方向对应投影向量的夹角α的值，基于积分原理，计算由指定角度φ起始，固定角度γ范围内对应的遮挡区域外接表面面积S_φ，计算公式为

$S_{\mathrm{\&phi;}}=\underset{l_i\&Element;{\left\{L\right\}}_{\mathrm{\&phi;}}}{\mathrm{\&Sigma;}}\mathrm{area}\left(l_i\right)---\left(10\right)$

其中，{L}_φ为遮挡线段的集合，该集合中每条遮挡线段对应的候选参考观测方向的投影向量的夹角α均在[φ,φ+γ]范围内，φ∈[0°,360°)，area(l_i)为集合{L}_φ中第i条遮挡线段l_i所代表的小平面的面积。在此基础上，设定φ的初始值为0°，以某一设定步长遍历φ所有可能的取值(遍历方向如图5(b)所示)，即可计算出不同φ值所对应的遮挡区域外接表面面积S_φ。

4.4）依据公式(11)计算出S_max,公式如下：

同时，记录下S_max对应的φ值，记为φ_begin，从而得到S_max对应的角度范围[φ_begin,φ_end]，其中φ_end=φ_begin+γ。

4.5）根据上述已计算出的信息，计算下一最佳观测方向V_NBV及观测中心点P_view。设V_NBV的坐标为(x_NBV,y_NBV,z_NBV)，P_view的坐标为(x_view,y_view,z_view)，遮挡区域外接表面面积阈值为S_t。根据S_max与S_t的大小关系，分两种情况进行讨论。

①当0≤S_max<S_t时，即当前观测方位不存在遮挡区域或者外接表面面积小于给定阈值S_t时，按如下方法计算V_NBV和P_view。设摄像机当前的观测方向为V_camera，坐标为(x_camera,y_camera,z_camera)，当前观测方位下获得的视觉目标点总数为N_model，当前观测方位下观测到的任意视觉目标点M_i的坐标为则V_NBV的计算公式为

$\left\{\begin{array}{c}{x}_{\mathrm{NBV}}=-x_{\mathrm{camera}}\\ y_{\mathrm{NBV}}=-y_{\mathrm{camera}}\\ z_{\mathrm{NBV}}=-z_{\mathrm{camera}}\end{array}\right.---\left(12\right)$

P_view的计算公式为

$\left\{\begin{array}{c}{x}_{\mathrm{view}}=\left(\mathrm{\&Sigma;}{x}_{M_i}\right)/N_{\mathrm{mode}l}\\ y_{\mathrm{view}}=\left(\mathrm{\&Sigma;}{y}_{M_i}\right)/N_{\mathrm{mode}l}\\ z_{\mathrm{view}}=\left(\mathrm{\&Sigma;}{z}_{M_i}\right)/N_{\mathrm{mode}l}\end{array}\right.---\left(13\right)$

②当S_max≥S_t时，即遮挡区域外接表面面积大于给定阈值S_t时，V_NBV和P_view计算方法如下所述。设V_i为任意对应夹角值在[φ_begin,φ_end]范围内的候选参考观测方向，V_i对应的观测中心点为P_i，V_i和P_i的坐标分别为(x_i,y_i,z_i)和则V_NBV的计算公式为

$\left\{\begin{array}{c}{x}_{\mathrm{NBV}}=\mathrm{\&Sigma;}{\mathrm{\&omega;}}_i\&CenterDot;x_i\\ y_{\mathrm{NBV}}=\mathrm{\&Sigma;}{\mathrm{\&omega;}}_i\&CenterDot;y_i\\ z_{\mathrm{NBV}}=\mathrm{\&Sigma;}{\mathrm{\&omega;}}_i\&CenterDot;z_i\end{array}\right.---\left(14\right)$

P_view的计算公式为

$\left\{\begin{array}{c}{x}_{\mathrm{view}}=\mathrm{\&Sigma;}{\mathrm{\&omega;}}_i\&CenterDot;x_{P_i}\\ y_{\mathrm{view}}=\mathrm{\&Sigma;}{\mathrm{\&omega;}}_i\&CenterDot;y_{P_i}\\ z_{\mathrm{view}}=\mathrm{\&Sigma;}{\mathrm{\&omega;}}_i\&CenterDot;z_{P_i}\end{array}\right.---\left(15\right)$

式(14)和(15)中，ω_i为V_i对应的权值，设V_i对应的遮挡线段为l_i，则ω_i的计算公式为

${\mathrm{\&omega;}}_i=\frac{\mathrm{area}\left(l_i\right)}{S_{\max }}---\left(16\right)$

4.6）根据计算出的下一最佳观测方向和观测中心点计算摄像机的观测位置P_camera。图7给出了下一最佳观测方向和观测中心点与摄像机观测位置之间的关系。

记P_camera的坐标为摄像机相对于观测中心点的观测距离为d_camera。设由点P_camera和点P_view确定的向量为V′_NBV，P_camera为V′_NBV的起点，P_view为V′_NBV的终点。由图6可知，||V′_NBV||=d_camera，V′_NBV是V_NBV的平行向量，且方向相同，记V′_NBV的坐标为(x′_NBV,_y′_NBV,z′_NBV)，由平行向量的性质可得

$\begin{array}{c}(x_{\mathrm{NBV}}^{\&prime;},y_{\mathrm{NBV}}^{\&prime;},z_{\mathrm{NBV}}^{\&prime;})=\frac{\left|\right|V_{\mathrm{NBV}}^{\&prime;}\left|\right|}{\left|\right|V_{\mathrm{NBV}}\left|\right|}(x_{\mathrm{NBV}},y_{\mathrm{NBV}},z_{\mathrm{NBV}})\\ =\frac{d_{\mathrm{camera}}}{\left|\right|V_{\mathrm{NBV}}\left|\right|}(x_{\mathrm{NBV}},y_{\mathrm{NBV}},z_{\mathrm{NBV}})\end{array}---\left(17\right)$

又由于

$(x_{\mathrm{NBV}}^{\&prime;},y_{\mathrm{NBV}}^{\&prime;},z_{\mathrm{NBV}}^{\&prime;})=(x_{\mathrm{view}}-x_{P_{\mathrm{camera}}},y_{\mathrm{view}}-y_{P_{\mathrm{camera}}},z_{\mathrm{view}}-z_{P_{\mathrm{camera}}})---\left(18\right)$

因此，通过公式(17)和公式(18)可得P_camera的计算公式为

$\left\{\begin{array}{c}{x}_{P_{\mathrm{camera}}}=x_{\mathrm{view}}-x_{\mathrm{NBV}}\&CenterDot;\frac{d_{\mathrm{camera}}}{\left|\right|V_{\mathrm{NBV}}\left|\right|}\\ y_{P_{\mathrm{camera}}}=y_{\mathrm{view}}-y_{\mathrm{NBV}}\&CenterDot;\frac{d_{\mathrm{camera}}}{\left|\right|V_{\mathrm{NBV}}\left|\right|}\\ z_{P_{\mathrm{camera}}}=z_{\mathrm{view}}-z_{\mathrm{NBV}}\&CenterDot;\frac{d_{\mathrm{camera}}}{\left|\right|V_{\mathrm{NBV}}\left|\right|}\end{array}\right.---\left(19\right)$

至此，已确定出下一最佳观测方位(V_NBV,P_camera)。

图8给出了基于本发明的部分实验结果，从上到下6种不同复杂程度的视觉目标名称分别为Bunny，Duck，Mole，Rocker，Dragon，Banana。此6个视觉目标图像来自于http://range.informatik.uni-stuttgart.de/htdocs/html上的Stuttgart Range ImageDatabase。图8中，第1列为摄像机在当前观测方位下拍摄到的视觉目标的深度图像，第2列为视觉目标深度图像中的遮挡边界点(黄色像素点)及其最大深度差相邻点(红色像素点)，第3列为计算出的所有候选参考观测方向(绿色向量，方向指向物体)及最终的下一最佳观测方向(黄色向量，方向指向物体)，第4列为所求下一最佳观测方位对应的遮挡线段(红色线段)及观测中心点(绿色像素点)，第5列为摄像机移动到下一最佳观测方位时获取到的深度图像。

Claims (10)

1.一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其特征在于，该方法包含以下步骤：

(1)获取深度图像及其遮挡边界和摄像机内外参数；

(2)提取深度图像最大深度差相邻点：

2a)计算深度图像中各像素点的最大深度差值，记录下该最大深度差值对应的邻域点的像素坐标，

2b)结合拍摄深度图像时摄像机的内外参数信息，对深度图像进行反投影变换，重建深度图像中每个像素点的三维坐标，

(3)计算遮挡区域外接表面上各小平面的观测中心点和候选参考观测方向：

3a)利用深度图像中的遮挡边界点及其对应的最大深度差相邻点的三维坐标的中点来表示外接表面上各小平面的观测中心点P，

3b)计算候选参考观测方向，首先，通过V_temp＝V_AF×V_x确定临时候选参考观测方向V_temp，其中公式中的V_x通过V_x＝V_camera×V_AF计算得到，其次，将V_temp单位化，并设定P为该单位向量的终点，并计算其起点Q并将Q点进行投影变换，最后，利用点A在深度图像平面内的投影点A_project与Q点在深度图像平面内的投影点Q_project所形成的向量点A在深度图像平面内的投影点A_project与F点在深度图像平面内的投影点F_project所形成的向量这两个向量的夹角θ和临时候选参考观测方向V_temp来确定各小平面候选参考观测方向，

(4)基于投影降维思想确定遮挡区域外接表面最佳小平面集合并根据该最佳小平面集合的信息计算下一最佳观测方位：

4a)计算每个候选参考观测方向所对应的遮挡边界点和最大深度差相邻点的欧氏距离，即每个小平面所对应的遮挡线段的长度，

4b)计算每个候选参考观测方向在指定的坐标系xoy平面内的投影与该坐标系x轴正方向的夹角α，

4c)根据已计算出的每个候选参考观测方向对应投影向量的夹角α，基于积分原理，计算由指定角度φ起始，固定角度γ范围内对应的遮挡区域外接表面面积S_φ，其中0°≤φ<360°；记录计算最大观测面积S_max及其对应的角度范围[φ_begin,φ_end]，其中φ_end＝φ_begin+γ,S_max对应的φ值为φ_begin；对每个对应夹角值在[φ_begin,φ_end]范围内的候选参考观测方向计算其对应的权值ω_i，

4d)根据上述计算出的信息，计算下一最佳观测方向及观测中心点，如果S_max小于遮挡区域外接表面面积阈值S_t,则进行步骤4d1)及4d2)，如果S_max大于或等于遮挡区域外接表面面积阈值S_t，则进行步骤4d3)至4d6)：

4d1)计算摄像机当前观测方向的反方向并将其作为下一最佳观测方向，

4d2)计算当前观测方位下获取到的视觉目标三维坐标的中心点并将其作为下一最佳观测中心点，

4d3)获得夹角α在[φ_i,φ_i+γ]范围内的所有投影向量对应的候选参考观测方向，

4d4)获取上述候选参考观测方向对应的观测中心点和权值ω_i，

4d5)对获取的所有候选参考观测方向加权求和得到下一最佳观测方向，

4d6)对获取的所有观测中心点加权求和得到下一最佳观测中心点，

4e)依据计算出的下一最佳观测方向和观测中心点计算摄像机的观测位置；

4f)输出计算出下一最佳观测方位。

2.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤2a)所述的计算深度图像中各像素点的最大深度差值，按如下公式计算：

$Max\left(\begin{array}{ccc}depth\left(i-1,j-1\right)-depth\left(i,j\right)& depth\left(i,j-1\right)-depth\left(i,j\right)& depth\left(i+1,j-1\right)-depth\left(i,j\right)\\ depth\left(i-1,j\right)-depth\left(i,j\right)& 0& depth\left(i+1,j\right)-depth\left(i,j\right)\\ depth\left(i-1,j+1\right)-depth\left(i,j\right)& depth\left(i,j+1\right)-depth\left(i,j\right)& depth\left(i+1,j+1\right)-depth\left(i,j\right)\end{array}\right)$

其中(i,j)和depth(i,j)分别为深度图像中某点的坐标和深度值。

3.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤(3)所述的计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点，按如下步骤进行：

3a)计算候选参考观测中心点P，设其坐标为(x_P,y_P,z_P)，计算公式如下：

$\left\{\begin{array}{c}{x}_P=(x_A+x_F)/2\\ y_P=(y_A+y_F)/2\\ z_P=(z_A+z_F)/2\end{array}\right.$

其中(x_A,y_A,z_A)为在当前观测方位下，任取一个遮挡边界点A的三维坐标，(x_F,y_F,z_F)为A点对应的最大深度差相邻点F点的三维坐标，

3b)计算候选参考观测方向V_candidate，按如下步骤进行：

3b1)计算V_x和V_temp，并将V_temp作为临时候选参考观测方向，按如下公式计算：

V_x＝V_camera×V_AF

V_temp＝V_AF×V_x

其中V_x为V_camera与V_AF的叉积，V_camera为摄像机当前的观测方向，V_AF为点A和点F确定的向量，

3b2)将V_temp单位化，得到其对应的单位向量v_temp，将上述计算出的观测中心点P作为v_temp的终点，计算v_temp的起点Q的坐标(x_Q,y_Q,z_Q)，

3b3)利用摄像机内外参数，对Q点进行投影变换，获得Q点在深度图像平面内的投影点Q_project，

3b4)计算由A点在深度图像平面内的投影点A_project和Q点在深度图像平面内的投影点Q_project所形成的向量与A_project和F点在深度图像平面内的投影点F_project所形成的向量的夹角θ，按如下公式计算：

$\begin{array}{c}\mathrm{\&theta;}=\arccos \left(\frac{V_{A^{*}{Q}^{*}}\&CenterDot;V_{A^{*}{F}^{*}}}{\left|\right|V_{A^{*}{Q}^{*}}\left|\right|\&times;\left|\right|V_{A^{*}{F}^{*}}\left|\right|}\right)\\ =\arccos \left(\frac{\left(i_Q-i_A\right)\&times;\left(i_F-i_A\right)+\left(j_Q-j_A\right)\&times;\left(j_F-j_A\right)}{\sqrt{{\left(i_Q-i_A\right)}^2+{\left(j_Q-j_A\right)}^2}\&times;\sqrt{{\left(i_F-i_A\right)}^2+{\left(j_F-j_A\right)}^2}}\right)\end{array}$

其中(i_Q,j_Q),(i_A,j_A)和(i_F,j_F)为Q_project、A_project和F_project的坐标，为A_project和Q_project形成的向量，为A_project和F_project形成的向量，

3b5)根据计算出的θ角值确定候选参考观测方向V_candidate，按如下方法：

其中V_temp为临时候选参考观测方向。

4.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4b)所述的计算每个候选参考观测方向在指定的坐标系xoy平面内的投影与该坐标系x轴正方向的夹角α，按如下步骤进行：

4b1)确定指定坐标系的x轴、y轴和z轴正方向的单位向量，

4b2)获取所有候选参考观测方向对应的投影向量，

4b3)计算每个候选参考观测方向在指定坐标系xoy平面的投影向量，

4b4)计算每个投影向量与x轴正方向的夹角α，按下式计算：

其中x_project,y_project为任一候选参考观测方向V_candidate在指定的坐标系xoy平面内的投影向量V_project的坐标。

5.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4c)中

所述的遮挡区域外接表面面积S_φ，按下式计算：

$S_{\mathrm{\&phi;}}=\underset{l_i\&Element;{\left\{L\right\}}_{\mathrm{\&phi;}}}{\&Sigma;}area\left(l_i\right)$

其中{L}_φ为遮挡线段的集合，该集合由对应的候选参考观测方向投影向量夹角α在[φ,φ+γ]范围内的所有遮挡线段组成，φ∈[0°,360°)，area(l_i)为集合{L}_φ中第i条遮挡线段l_i所代表的小平面的面积，

所述的最大观测面积S_max，按下式计算：

6.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4d1)所述的下一最佳观测方向V_NBV，按下式计算：

$\left\{\begin{array}{c}{x}_{NBV}=-x_{camera}\\ y_{NBV}=-y_{camera}\\ z_{NBV}=-z_{camera}\end{array}\right.$

其中x_NBV,y_NBV,z_NBV为V_NBV的坐标，x_camera,y_camera,z_camera为摄像机当前的观测方向V_camera的坐标。

7.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4d2)所述的下一最佳观测中心点P_view，按下式计算：

$\left\{\begin{array}{c}{x}_{view}=\left({\mathrm{\&Sigma;x}}_{M_i}\right)/N_{\mathrm{mod}el}\\ y_{view}=\left({\mathrm{\&Sigma;y}}_{M_i}\right)/N_{\mathrm{mod}el}\\ z_{view}=\left({\mathrm{\&Sigma;z}}_{M_i}\right)/N_{\mathrm{mod}el}\end{array}\right.$

其中x_view,y_view,z_view为P_view的坐标，N_model为当前观测方位下获得的视觉目标点总数，为当前观测方位下观测到的任意视觉目标点M_i的坐标。

8.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4d5)所述的下一最佳观测方向V_NBV，按下式计算：

$\left\{\begin{array}{c}{x}_{NBV}={\mathrm{\&Sigma;\&omega;}}_i\&CenterDot;x_i\\ y_{NBV}={\mathrm{\&Sigma;\&omega;}}_i\&CenterDot;y_i\\ z_{NBV}={\mathrm{\&Sigma;\&omega;}}_i\&CenterDot;z_i\end{array}\right.$

其中x_NBV,y_NBV,z_NBV为V_NBV的坐标，x_i,y_i,z_i为V_i的坐标，V_i为任意对应夹角值在(φ_begin,φ_end)范围内的候选参考观测方向，ω_i为每个对应夹角值在[φ_begin,φ_end]范围内的候选参考观测方向对应的权值，按下式计算：

${\mathrm{\&omega;}}_i=\frac{area\left(l_i\right)}{S_{max}}.$

9.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4d6)所述的下一最佳观测中心点P_view，按下式计算：

$\left\{\begin{array}{c}{x}_{view}={\mathrm{\&Sigma;\&omega;}}_i\&CenterDot;x_{P_i}\\ y_{view}={\mathrm{\&Sigma;\&omega;}}_i\&CenterDot;y_{P_i}\\ z_{view}={\mathrm{\&Sigma;\&omega;}}_i\&CenterDot;z_{P_i}\end{array}\right.$

其中P_i为V_i对应的观测中心点，为P_i的坐标。

10.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4e)所述的摄像机的观测位置P_camera，按下式计算：

$\left\{\begin{array}{c}{x}_{P_{camera}}=x_{view}-x_{NBV}\&CenterDot;\frac{d_{camera}}{\left|\right|V_{NBV}\left|\right|}\\ y_{P_{camera}}=y_{view}-y_{NBV}\&CenterDot;\frac{d_{camera}}{\left|\right|V_{NBV}\left|\right|}\\ z_{P_{camera}}=z_{view}-z_{NBV}\&CenterDot;\frac{d_{camera}}{\left|\right|V_{NBV}\left|\right|}\end{array}\right.$

其中为P_camera的坐标，d_camera为摄像机相对于观测中心点的观测距离。