CN101853395A - 从单幅图形和图像识别部分遮挡的三维目标的方法 - Google Patents

Abstract

本发明属于目标识别技术领域，具体为一种从单幅图形和图像识别部分遮挡的三维目标的方法。该方法首先对采集到的图像进行处理得到线图，然后根据线图标记技术，通过详细分析T型节点与遮挡的关系，提出复杂场景中多目标线图是否存在遮挡的判断机理和算法；给出恢复互遮挡目标T型节点附近拓扑结构的规则；给出基于线图标记技术分割线图的新方法；多目标聚类场景经过分割和拓扑结构恢复后则转变成单个的目标。本发明提出用属性关系图(ARG)表示模型物体和待识别目标线图，该方法在匹配待识别线图与模型结点之前，先用拓扑信息进行候选模型的筛选，各部分大小、比例不相同的目标区分开。

Description

从单幅图形和图像识别部分遮挡的三维目标的方法

技术领域

本发明涉及一种识别三维目标存在部分遮挡的方法，尤其涉及一种从单幅图形和图像识别部分遮挡的三维目标的方法。

背景技术

在机器人装配线中，由于多个物体堆积或重叠在一起，物体的图像产生相互遮挡；在遥感图像识别方面，物体可能被树、房屋和车辆的影子遮挡，因此有必要开展部分遮挡物体的识别研究。目前，对于部分遮挡物体的识别学者们已进行了一些研究。Krolupper提出用圆弧逼进物体的边界，是对物体的局部描述，且对遮挡是鲁棒的。但该方法假设物体的边界是一条封闭曲线，物体只经过平移、旋转和比例变化。Shan提出了将模型物体表示为直方图的集合，然后将待识别物体的直方图与模型直方图匹配。可解决部分遮挡物体的匹配。Park提出用特征间的二值向量关系描述物体，物体的标记仅仅受特征间的二值关系值的影响，该方法是基于局部特征的描述方法。Cho根据很多物体都具有对称性的特点，首先根据对称性恢复物体被遮挡部分的形状，而后再进行匹配，该方法能识别刚体变换下的三维物体，但该方法只适合于识别有对称结构和截面为椭圆或近似圆的部分遮挡物体。Dinesh提出了基于完美哈希法(perfecthash)识别部分遮挡的物体。Gorman用动态规划识别被遮掩形状，他们首先提出了基于Fourier描绘子的线段表示方法，每个形状被分成几个线段，每个线段由一个长度为2的Fourier描绘子表示，然后计算模型与待识别目标之间的动态匹配表，最后根据匹配的线段数来判断是否匹配。Schwartz直接匹配两条曲线，将两条曲线进行等间距的分割，由此产生了两个曲线的点集，然后用最小二乘法计算两条曲线点集间的距离。计算出的距离小于给定的阈值则认为这两条曲线是匹配的。这种方法只适合于模型曲线完全包含了场景曲线，并且这种直接匹配的方法在复杂的变换下是失效的。Rajpal提出了用神经网络来解决遮掩问题，使用了多层感知网和索引的方法来匹配部分遮挡的形状，在一定程度上解决了部分遮掩问题。上述的别方法均只适用于刚体或相似变换，在仿射变换或透视变换下会失效。Orrite提出用双切点描述物体的局部边界，并用优化的Hausdorff距离(简称PHD)度量模型和目标的匹配程度，但该度量的可区分性小，会导致误判，且在存在较大几何变换的情况下，模型和图像的一一对应关系不能获得。

上述大部分的方法都只适合于简单的刚体变换和相似变换，而摄像机成像模型不是简单的刚体和相似变换。Orrite的识别方法虽然适合于透视变换，但它的方法将物体简化为二维模型，实际上很多物体都不能简化为二维模型，且与完整的物体识别以及部分遮挡二维物体的识别相比，部分遮挡的三维目标识别有更多的复杂性和更强的实用性，因而更受到重视，已成为当前物体识别的重要研究领域之一。

发明内容

本发明的目的在于提供一种从单幅图形和图像识别部分遮挡的三维目标的方法，该方法首先将多目标聚类场景进行分割和拓扑结构的恢复，将多目标聚类场景转化为单目标场景，再用属性关系图(ARG)表示模型物体和场景线图，在匹配待识别线图与模型结点之前，先用拓扑信息进行候选模型的筛选，大大提高了识别的效率。

本发明是这样来实现的，其特征是识别方法步骤为：

(1)首先基于线图标记技术，详细分析T型节点与遮挡的关系，提出复杂场景中多个目标是否存在局部遮挡的机理和算法；

(2)结合人类的认知模型，给出恢复互遮挡目标T型节点附近拓扑结构的规则，正确恢复出线图互遮挡部分的拓扑结构后，线图的识别率得到了明显提高；

(3)根据线图标记技术，给出一种分割多目标聚类场景线图的新方法；多目标聚类场景经过分割和拓扑结构恢复后则转变成单个的目标；

(4)然后结合表面特征和几何特征，提出用属性关系图表示三维模型立体和待识别目标线图；

(5)在匹配待识别线图与模型结点之前，先用拓扑信息进行候选模型的筛选，大大提高了识别的效率，结合几何特征和拓扑特征表示属性关系图中的每个结点，不仅能识别不同形状的目标，而且能把拓扑结构相同，但各部分大小、比例不相同的目标区分开。

所述的T型节点与遮挡的关系为：

(1)若自然线图中仅存在一个T型节点，则该T型节点是由自遮挡产生；

(2)由多个物体组成的场景，当出现互遮挡时，自然线图至少存在两个T型节点；

(3)由多个物体组成的相互遮挡场景，其自然线图至少存在两个T型节点；线图中至少存在两个T型节点，其对应的场景不一定是多个物体互遮挡；

(4)在多物体互遮挡的自然线图中，每个物体投影线图的最外围轮廓线为各条棱线均标记为箭头的封闭线框，且这个线框中包含有至少2个T型节点的遮挡棱或者被遮挡棱，也即是这个线框不能只包含一个T型节点的遮挡棱和另一个T型节点的被遮挡棱；

(5)自然线图中存在遮挡当且仅当线图中至少存在一个T型节点，当线图中只有一个T型节点时，该T型节点是由于自遮挡而产生的；当线图中T型节点超过两个，且线图中封闭的外围轮廓线中同时包含至少两个T型节点的遮挡棱或者被遮挡棱时，该线图一定是多个物体的投影线图，并且多个物体互遮挡。

本发明的优点是：1国内外现有的部分遮挡物体识别方法大部分都仅适合于简单的刚体变换或相似变换，而摄像机成像模型不是简单的刚体和相似变换，本发明将部分遮挡物体的识别扩展到仿射变换；2国内外部分遮挡物体的识别都假设物体可以简化为二维模型，实际上很多物体都不能简化为二维模型，物体的厚度不能忽略，本发明将部分遮挡物体的识别方法扩展到三维目标识别；3、本发明结合几何特征和拓扑特征表示ARG中的每个结点，不仅能识别不同形状的目标，而且能把拓扑结构相同，但各部分大小、比例不相同的目标区分开。

具体实施方式

本发明实施方式是这样的，具体如下：

首先，判断复杂场景中多个目标是否存在遮挡。

根据线图标记技术，通过详细分析T型节点与遮挡的关系，可得到如下定理：

定理1：若自然线图中仅存在一个T型节点，则该T型节点是由自遮挡产生。

定理2：由多个物体组成的场景，当出现互遮挡时，自然线图至少存在两个T型节点。

定理3：由多个物体组成的相互遮挡场景，其自然线图至少存在两个T型节点；线图中至少存在两个T型节点，其对应的场景不一定是多个物体互遮挡。

定理4：在多物体互遮挡的自然线图中，每个物体投影线图的最外围轮廓线为各条棱线均标记为箭头的封闭线框，且这个线框中包含有至少2个T型节点的遮挡棱(或者被遮挡棱)。也即是这个线框不能只包含一个T型节点的遮挡棱和另一个T型节点的被遮挡棱。

据此可以得到如下判断遮挡的方法：

定理5：自然线图中存在遮挡当且仅当线图中至少存在一个T型节点。当线图中只有一个T型节点时，该T型节点是由于自遮挡而产生的；当线图中T型节点超过两个，且线图中封闭的外围轮廓线中同时包含至少两个T型节点的遮挡棱(或者被遮挡棱)时，该线图一定是多个物体的投影线图，并且多个物体互遮挡。

对拍摄的图像进行图像处理后得到线图，将线图进行标记，根据定理5可以判断复杂场景中多个目标是否存在遮挡。

其次，为了便于用关系属性图(ARG)表示模型物体和待识别目标的线图，首先需将多目标聚类场景线图分割成单目标物体的线图。由于遮挡均与T型节点有关，所以分割线图也从T型节点入手。分割之前我们首先要判断该场景中是否存在多个目标相互遮挡，在存在相互遮挡的情况下，才需要进行目标分割。分割算法如下：

1、根据标记规则标记待识别线图的最外围轮廓线和节点，然后由外向内传播，标记线图的内部棱线和节点；

2、搜寻到T型节点，标记线图，再根据T型节点附近拓扑结构的恢复规则补全T型节点附近的拓扑结构；

3、根定理1-3和定理5判断线图是否存在遮挡；若不存在互遮挡，则不需要分割目标，转步骤6；

4、根据定理4分割物体，找到极限位置的T型节点，选最低的T型节点(若有多个最低的T型节点，选最右的)，从该节点的遮挡棱(或被遮挡棱)开始，向外侧搜索，找到各棱线均标记为箭头，且该线框中包含有其它T型节点的遮挡棱(或被遮挡棱)的封闭线框；

5、移走该线框，将剩下的线图一部分虚线变成实线，对未标记的棱线和节点进行标记。重复步骤4，直至剩下的线图只存在一个各棱线均标记为箭头的封闭线框；

第三，提出用属性关系图(ARG)表示三维模型立体和待识别目标线图。

本发明选平面立体的每个面作为结点。在平面立体中，由于面的数量比顶点和线段少得多，并且面包含的信息也更丰富，因此用面作为结点也更有效。本方法选用每个结点(平面立体的面)改进的同底面积比基元，作为属性赋予对应的结点。结点的相互关系用相邻和不相邻、平行与不平行两种属性来表示。

线图的每个面用一个结点表示，在相邻的结点间加一条连接边(交线)，则该线图可用一个图来表示，再将与每个结点所对应的属性赋予相应的结点，则待识别线图可用一个属性关系图(ARG)^[3]来表示。

用一个有序三元数组G＝(V，R，F)来描述一个物体，其中：

V＝{V(i)|1≤i≤N}是N个结点(物体特征)的集合。对于任一结点i，V(i)＝{V^k(i)|1≤k≤K₁}，其属性V^k(i)分别对应着多边形的顶点个数、顶点的NRLCC码、多边形的不变量基元，即K₁＝3。本方法选线图的每个面作为结点，在结点集合中，结点的排列顺序按面的复杂程度排列，即边数多、NRLCC码较复杂的多边形排在首位。

R(i)＝{R(i，j)|1≤i，j≤N，i≠j}是结点间的二元关系集合，对于任一对结点i和j，R(i，j)＝{R^k(i，j)|1≤k≤K₂}表示面i与面j之间的二元关系，其中R^k(i)分别对应着相邻关系和平行关系，即K₂＝2，因此R¹(i，j)＝1表示结点i所对应的面与结点j对应的面是相邻的，否则R¹(i，j)＝0；R²(i，j)＝1表示结点i所对应的面与结点j对应的面是平行的，否则R²(i，j)＝0。在仿射变换下，面的平行性和相邻性是不变的。

F＝{R(i)|i＝1，2，...N}是结点的二元关系空间集合。在某一结点i处的关系向量空间R(i)被定义为F的子集，即R(i)＝{R(i，j)|1≤i，j≤N，i≠j}，它表示在结点集合V中结点i和其它结点间的二元关系集合，能有效的描述物体在特定结点上的拓扑信息。F中R(i)的排列顺序与结点集合中结点的排列顺序一致。

最后，提出识别方法，为了提高匹配效率，在匹配之前先进行预处理工作，即从模型库中选取和待识别线图最有可能对应的物体。

设待识别线图ARG的结点集合为S{s_j，j＝1，2，...，N1}，模型库中模型ARG的结点集合为M_t{m_ti，i＝1，2，...，N₂}，待识别线图、候选模型结点间的拓扑关系——二元向量空间集合分别为F_S，

于是选取候选模型应遵循以下准则：

准则1：若模型t与待识别线图被视作候选匹配对，则集合S中元素的个数必须小于或等于模型ARG结点集合M_t中的元素个数，即N₁≤N₂；

准则2：若模型t与待识别线图被视作候选匹配对，则它们对应结点的局部结构(是否包含孔洞)应该一致、其次待识别线图的二元向量空间集合是候选模型二元向量空间集合的子集，即

满足这两个准则的模型称为候选模型，记作

后面的搜索都将在这M个候选模型中进行。

若待识别线图ARG中结点集合为S{s_j，j＝1，2，...，N₁}，候选模型中模型ARG的结点集合为M_t{m_ti，i＝1，2，...，N₂，t＝1，2，...，M}(结点的排列顺序是按照从复杂到简单排列，如顶点数较多的，凹点较多的排在前面；顶点数相同，凹凸性也相同的，尽量把平行较少的排在前面，如梯形排在平行四边形的前面)，则从s_j开始，在集合M中进行搜索，寻找候选匹配结点，以生成候选匹配对。其匹配步骤为

1、对待识别线图的结点s_j，获取其属性(局部不变量)，与候选模型的局部特征匹配，找到候选模型中对应的结点，计算对应结点间的相似度

并归一化。

取相似度值在一定阈值以上的匹配结点，生成候选匹配对的集合

MH_j＝{(s_j，m_l)，(s_j，m_m)...}

2、进行匹配，直到线图的每一个结点都匹配完毕，可得候选匹配结点对集合MH₁，MH₂，...MH_N1。

3、首先，检查集合MH_j中，每一候选匹配对与前面MH₁，MH₂，...，MH_j-1集合中匹配对的相容性，即计算

$E_j=\underset{L=1}{\overset{j-1}{\mathrm{\Σ}}}B[R_s(j,L),R_m(j^{\′},L^{\′})]---\left(1\right)$

其中R_s(j，L)为线图中结点s_j与结点s_L的结点的二元属性关系，R_m(j′，L′)是MH_j中s_j的任一候选匹配结点m_j与前面MH₁，MH₂，...，MH_j-1集合中s_L的任一候选匹配结点m_L(L＝1，2，...，j-1)之间的二元属性关系。B(·)为Boole函数，即当两个二元属性关系一致时，其值为1，否则为零。

然后，在MH_j中，删除那些二元属性关系不一致的结点对。若经过这样筛选后，集合MH_j为空，则s_j的匹配结点为空结点。

4、检查MH₁，MH₂，...，MH_N1。若每个集合中均为空或只有一对匹配结点，则可求出待识别线图与该模型的相似度

$S=\frac{1}{N_1}\underset{j=1}{\overset{N1}{\mathrm{\Σ}}}{S}_j^{\′}---\left(2\right)$

按步骤3中的方法反复检查MH₁，MH₂，...，MH_N1中候选结点的相容性，删除不一致的结点对，直到收敛到每个集合中均为空或只有一对匹配结点。如果不收敛，则取max(S)为该线图与模型的相似度。

选用多组装配线上的三维目标在相互遮挡和重叠的情况下拍照进行实验，摄像机和待识别目标的距离与物体的厚度之比在10倍以上，此时摄像机的成像模型可近似为仿射变换，实验结果表明本发明的方法是可行的，效果较好。

Claims (2)

1.一种从单幅图形和图像识别部分遮挡的三维目标的方法，其特征是识别方法步骤为：

(1)首先基于线图标记技术，详细分析T型节点与遮挡的关系，提出复杂场景中多个目标是否存在局部遮挡的机理和算法；

(2)结合人类的认知模型，给出恢复互遮挡目标T型节点附近拓扑结构的规则，正确恢复出线图互遮挡部分的拓扑结构后，线图的识别率得到了明显提高；

(3)根据线图标记技术，给出一种分割多目标聚类场景线图的新方法；多目标聚类场景经过分割和拓扑结构恢复后则转变成单个的目标；

(4)然后结合表面特征和几何特征，提出用属性关系图表示三维模型立体和待识别目标线图；

(5)在匹配待识别线图与模型结点之前，先用拓扑信息进行候选模型的筛选，大大提高了识别的效率，结合几何特征和拓扑特征表示属性关系图中的每个结点，不仅能识别不同形状的目标，而且能把拓扑结构相同，但各部分大小、比例不相同的目标区分开。

2.根据权利要求1所述的从单幅图形和图像识别部分遮挡的三维目标的方法，其特征是所述的T型节点与遮挡的关系为：

(1)若自然线图中仅存在一个T型节点，则该T型节点是由自遮挡产生；

(2)由多个物体组成的场景，当出现互遮挡时，自然线图至少存在两个T型节点；

(3)由多个物体组成的相互遮挡场景，其自然线图至少存在两个T型节点；线图中至少存在两个T型节点，其对应的场景不一定是多个物体互遮挡；

(4)在多物体互遮挡的自然线图中，每个物体投影线图的最外围轮廓线为各条棱线均标记为箭头的封闭线框，且这个线框中包含有至少2个T型节点的遮挡棱或者被遮挡棱，也即是这个线框不能只包含一个T型节点的遮挡棱和另一个T型节点的被遮挡棱；

(5)自然线图中存在遮挡当且仅当线图中至少存在一个T型节点，当线图中只有一个T型节点时，该T型节点是由于自遮挡而产生的；当线图中T型节点超过两个，且线图中封闭的外围轮廓线中同时包含至少两个T型节点的遮挡棱或者被遮挡棱时，该线图一定是多个物体的投影线图，并且多个物体互遮挡。