CN104809456A - 一种基于二值描述符的三维目标识别方法 - Google Patents

Abstract

本发明提出了一种基于二值描述符的三维目标识别方法，包括三维目标特征描述步骤，所述三维目标特征描述步骤包括以下过程:S1，将三维目标中的网格深度图像Q进行网格分辩率R的计算；S2，根据计算所得的网格分辨率R对网格深度图像Q进行均匀采样，得到特征点P'的坐标；S3，根据计算所得的特征点P'的坐标构建局部参考系，并对该局部参考系的x轴、y轴和z轴的方向进行消歧处理；S4，根据消歧后的局部参考系构建特征向量，得到特征点P'的二值化三维特征f_p。本发明计算方法简单，特征提取和特征匹配效率高，可快速准确的实现对三维目标的二值化描述。

Description

一种基于二值描述符的三维目标识别方法

技术领域

本发明涉及机器视觉领域，具体涉及一种基于二值描述符的三维目标识别方法。

背景技术

三维目标识别的目标就是在三维场景中正确地识别目标并确定目标的位置与姿态。三维目标识别相比于基于二维图像的目标识别技术有着其独特的技术优势：其一，包含更多的深度信息；其二，特征提取受尺度、旋转和光照的影响小；其三，对目标姿态的估计更精确。有望解决基于二维图像的目标识别中面临的诸多难题。此外，在过去二十年中计算机性能的大幅提升和深度数据传感器成本的降低，使得三维目标识别一直是机器视觉领域里的一大研究热点。

对场景和模型进行特征描述是三维目标识别的核心环节，它决定着三维目标识别算法的效率和准确性。对于存在噪声、遮挡、网格分辨率变化的复杂场景，现有的局部特征描述符已经获得了较高的识别率，如郭裕兰等人提出的“基于旋转投影统计的三维目标描述及识别方法”(发表于国际计算机视觉杂志，2013年第105期)。

然而，现有特征描述方法通常使用一行浮点数向量表征三维局部表面的特征，并且特征向量维度普遍较高。因此，特征匹配的计算量大，对设备计算性能有较高要求，算法应用场景受限；识别过程耗时长，不利于三维目标识别的实时化。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种计算方法简单，特征提取和特征匹配效率高的三维目标识别方法。

为了实现本发明的上述目的，本发明提供了一种基于二值描述符的三维目标识别方法，包括三维目标特征描述步骤，所述三维目标特征描述步骤包括以下过程:

S1，将三维目标中的网格深度图像Q进行网格分辩率R的计算；

S2，根据计算所得的网格分辨率R对网格深度图像Q进行均匀采样，得到特征点P'的坐标；

S3，根据计算所得的特征点P'的坐标构建局部参考系，并对该局部参考系的x轴、y轴和z轴的方向进行消歧处理；

S4，根据消歧后的局部参考系构建特征向量，得到特征点P'的二值化三维特征f_p。

通过网格分辨率计算与随机均匀采样两个步骤可以快速获得网格深度图像表面上各个特征点，实现对图像的特征检测。对网格深度图像作随机均匀采样，直接获取特征点，不仅计算量小而且简便快捷，实时性好。构建局部参考系不仅有助于提升提取特征的有效性以及计算效率，还有助于提升三维目标识别算法的准确性。

进一步的，步骤S1包括以下步骤：

S1-1，将三维目标中的网格深度图像Q表示为图G＝(P，H)，其中P＝{p₁,p₂,...,p_m}，表示该网格深度图像Q中的所有顶点，p_m为第m个顶点，m为正整数；Η＝{h₁,h₂,...,h_n}，表示该原始点云Q中的所有边，h_n为第n条边，n为正整数；

S1-2，对所述网格深度图像Q中所有的边长求平均值，即得到该网格深度图像的网格分辩率R，具体公式为：其中，|h_i|为边h_i的长度，N表示网格深度图像Q中的边的数量。

网格分辨率是随机均匀采样以及三维特征提取的基准，通过该方法得到的网格分辩率准确度高，而且计算方法简单、快捷。

进一步的，步骤S2包括以下步骤：

S2-1，将网格深度图像Q均匀划分为多个边长为n·R的立体网格，每个立体网格包含有多个顶点P；

S2-2，当立体网格中的顶点P的数量小于τ时，不提取该立体网格的特征点；当立体网格中的顶点P的数量不小于τ时，执行步骤S2-3，τ为预先设定的已知阈值；

S2-3，对顶点P的数量不小于τ的立体网格中的所有顶点P的x，y，z坐标分别求均值，得到第i个立体网格的特征点P_i'的坐标，具体公式为：其中，P_ik表示第i个立体网格中第k个顶点。

加入约束条件τ，避免了在网格深度图像Q的边缘或者网格深度图像Q上深度信息缺失的区域附近提取特征点。

对每个立体网格的特征点P'坐标的确定，为后续局部参考系以及特征向量的构建起到重要作用，该计算方法简单，有效，能快速得到特征点P'坐标。

进一步的，步骤S3包括以下步骤：

S3-1，给定特征点P'和支持半径r，建立协方差矩阵C：

其中，P_i为以特征点P'为中心点，半径为r的区域内的点，d_i＝|P'-P_i|为点P_i到特征点P'的距离，表示从点P_i到特征点P'的向量；

S3-2，对协方差矩阵C作特征值分解：CV＝EV，其中，

对角矩阵E＝{λ₁，λ₂，λ₃}，λ₁，λ₂，λ₃为特征值且λ₁≥λ₂≥λ₃，矩阵为λ₁，λ₂，λ₃对应的正交特征向量，且为x，y，z轴的坐标基；

S3-3，在特征点P'所在的局部表面上选取离特征点P'最近的g个点，g为奇数；

S3-4，若且i＞g/2，则保持v₁符号不变，反之，变为由此确定x轴的方向；

S3-5，以步骤S3-4中所述方法确定z轴方向；

S3-6，根据确定y轴方向。

在局部参考系的构建中，对向量的符号的消歧处理，克服了向量符号的不确定性，使得它们的方向与局部表面上点到特征点向量的主体方向保持了一致。

进一步的，步骤S4包括以下步骤：

S4-1，以特征点P'为原点，r为半径，在原始点云Q上截得局部点云Q'；

S4-2，将局部点云Q'向局部参考系的xy，yz，zx三个坐标平面投影，得到三个二维的投影点云Q₁'，Q₂'和Q₃'；

S4-3，对投影点云Q₁'，Q₂'和Q₃'作l×l的分块，并统计每个子块中的点的数目，根据子块中的点数分别构造l×l的方阵D₁，D₂和D₃；

S4-4，随机选取方阵D₁中2u个元素，按先后顺序，每两个元素一组，构建u组测试对，对每组测试对执行如下测试：

$T\left(i\right)=\left\{\begin{array}{c}1,\mathrm{ifD}\left(i\right)\≥D{\left(i\right)}^{\′}\\ 0,\mathrm{others}\end{array}\right.,$

得到一行唯一的u维二值位串其中，D(i)，D(i)′分别是第i组测试对的第一和第二个元素；

S4-5，对方阵D₂和D₃选择与方阵D₁位置相同的测试序列，按照步骤S4-4中所述的方法确定二值位串f₂和f₃；

S4-6，依次将f₁，f₂和f₃拼接起来，即得到特征点P'的二值化三维特征f_p＝{f₁,f₂,f₃}。

该方法计算简单，准确性高，能快速计算得到特征点P'的二值化三维特征f_p

进一步的，该三维目标识别方法还包括三维目标识别过程，具体包括以下步骤：

第一步，在三维目标场景中，对模型深度图像和场景深度图像分别进行步骤S1和步骤S2，实现对模型深度图像和场景深度图像的特征检测，得到模型特征点集合p＝{p₁,p₂,...,p_i}和场景特征点集合q＝{q₁,q₂,...q_j}；

第二步，对模型特征点集合p＝{p₁,p₂,...,p_i}和场景特征点集合q＝{q₁,q₂,...q_j}中的每一个特征点进行步骤S3和步骤S4，实现对每一个特征点的特征描述，得到模型特征集合和场景特征集合

第三步，将场景特征集合中的特征和模型特征集合中的特征进行特征匹配，即将场景特征集合中的每一特征与模型特征集合中的特征逐一比对，度量两个特征的汉明距离；

第四步，当汉明距离最小且小于预先设定的距离阈值δ时，两个特征点构成一组特征对应，特征匹配结束后，最终得到k组特征对应；

第五步，对这k组特征对应执行三维霍夫投票运算，根据特征对应判断场景中是否存在待识别目标，若存在，则计算该目标在场景中的位置与姿态，完成三维目标的识别。

对三维场景中存在的目标进行正确的辨认并估计目标在场景中的位置与姿态是三维目标识别算法的目的，而本方法首先通过对图像的特征检测和特征描述，然后通过对两个特征的汉明距离的度量得到特征对应，最后通过三维霍夫投票运算简单、有效并且准确的实现了对三维场景中存在的目标进行正确的辨认并估计目标在场景中的位置与姿态。

本发明的有益效果是：以二值位串表示特征向量，占用更小的存储和更少的计算资源，并且该方法计算简单，便于高效运算，利于三维目标识别算法的实时化。在计算机计算性能和存储资源受限的设备上或对算法实时性要求较高的场景中适用性高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明中特征提取流程图；

图2是本发明中三维目标识别流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种基于二值描述符的三维目标识别方法，包括三维目标特征描述步骤和三维目标识别过程，所述三维目标特征描述步骤如图1所示，包括以下过程:

第一步，将三维目标中的网格深度图像Q进行网格分辩率R的计算；

这里对于网格分辨率R的计算有两个步骤：

S1-1，将三维目标中的网格深度图像Q表示为图G＝(P，H)，其中P＝{p₁,p₂,...,p_m}，表示该网格深度图像Q中的所有顶点，p_m为第m个顶点，m为正整数；Η＝{h₁,h₂,...,h_n}，表示该原始点云Q中的所有边，h_n为第n条边，n为正整数；

S1-2，对所述网格深度图像Q中所有的边长求平均值，即得到该网格深度图像的网格分辩率R，具体公式为：其中，|h_i|为边h_i的长度，N表示网格深度图像Q中的边的数量。

网格分辨率是随机均匀采样以及三维特征提取的基准，通过该方法得到的网格分辩率准确度高，而且计算方法简单、快捷。

第二步，根据计算所得的网格分辨率R对网格深度图像Q进行均匀采样，得到特征点P'的坐标；

特征点P'的坐标获得得可以分为以下两个步骤：

S2-1，将网格深度图像Q均匀划分为多个边长为n·R的立体网格，每个立体网格包含有多个顶点P；

S2-2，当立体网格中的顶点P的数量小于τ时，不提取该立体网格的特征点；当立体网格中的顶点P的数量不小于τ时，执行步骤S2-3，τ为预先设定的已知阈值；

S2-3，对顶点P的数量不小于τ的立体网格中的所有顶点P的x，y，z坐标分别求均值，得到第i个立体网格的特征点P_i'的坐标，具体公式为：其中，P_ik表示第i个立体网格中第k个顶点。

第三步，根据计算所得的特征点P'的坐标构建局部参考系，并对该局部参考系的x轴、y轴和z轴的方向进行消歧处理；

具体可以分为以下步骤：

S3-1，给定特征点P'和支持半径r，建立协方差矩阵C：

其中，P_i为以特征点P'为中心点，半径为r的区域内的点，d_i＝|P'-P_i|为点P_i到特征点P'的距离，表示从点P_i到特征点P'的向量；

S3-2，对协方差矩阵C作特征值分解：CV＝EV，其中，

对角矩阵E＝{λ₁，λ₂，λ₃}，λ₁，λ₂，λ₃为特征值且λ₁≥λ₂≥λ₃，矩阵为λ₁，λ₂，λ₃对应的正交特征向量，且为x，y，z轴的坐标基；

S3-3，在特征点P'所在的局部表面上选取离特征点P'最近的g个点，g为奇数；

S3-4，若且i＞g/2，则保持v₁符号不变，反之，变为由此确定x轴的方向；

S3-5，以步骤S3-4中所述方法确定z轴方向；

S3-6，根据确定y轴方向。

第四步，S4，根据消歧后的局部参考系构建特征向量，得到特征点P'的二值化三维特征f_p。

具体为以下步骤：

S4-1，以特征点P'为原点，r为半径，在原始点云Q上截得局部点云Q'；

S4-2，将局部点云Q'向局部参考系的xy，yz，zx三个坐标平面投影，得到三个二维的投影点云Q₁'，Q₂'和Q₃'；

S4-3，对投影点云Q₁'，Q₂'和Q₃'作l×l的分块，并统计每个子块中的点的数目，根据子块中的点数分别构造l×l的方阵D₁，D₂和D₃；

S4-4，随机选取方阵D₁中2u个元素，按先后顺序，每两个元素一组，构建u组测试对，对每组测试对执行如下测试：

$T\left(i\right)=\left\{\begin{array}{c}1,\mathrm{ifD}\left(i\right)\≥D{\left(i\right)}^{\′}\\ 0,\mathrm{others}\end{array}\right.,$

得到一行唯一的u维二值位串其中，D(i)，D(i)′分别是第i组测试对的第一和第二个元素；

S4-5，对方阵D₂和D₃选择与方阵D₁位置相同的测试序列，按照步骤S4-4中所述的方法确定二值位串f₂和f₃；

S4-6，依次将f₁，f₂和f₃拼接起来，即得到特征点P'的二值化三维特征f_p＝{f₁,f₂,f₃}。

通过网格分辨率计算与随机均匀采样两个步骤可以快速获得点云表面上各个特征点。对原始点云作随机均匀采样，直接获取特征点，不仅计算量小而且简便快捷，实时性好。构建局部参考系不仅有助于提升提取特征的有效性以及计算效率，还有助于提升三维目标识别算法的准确性。

三维目标识别过程，如图2所示，具体包括：

首先，第一步，在三维目标场景中，对模型深度图像和场景深度图像分别进行步骤S1和步骤S2，实现对模型深度图像和场景深度图像的特征检测，得到模型特征点集合p＝{p₁,p₂,...,p_i}和场景特征点集合q＝{q₁,q₂,...q_j}；并对模型特征点集合p＝{p₁,p₂,...,p_i}和场景特征点集合q＝{q₁,q₂,...q_j}中的每一个特征点进行步骤S3和步骤S4，实现对每一个特征点的特征描述，得到模型特征集合 $f_p=\{f_{p_1},f_{p_2},...,f_{p_i}\}$ 和场景特征集合 $f_q=\{f_{q_1},f_{q_2},...,f_{q_j}\};$

再将场景特征集合中的特征和模型特征集合中的特征进行特征匹配，即将场景特征集合中的每一特征与模型特征集合中的特征逐一比对，度量两个特征的汉明距离。这里对两行二值位串逐位执行异或运算即可求得汉明距离，当然也可以采用现有已知的计算方法计算求得两个特征的汉明距离。

当汉明距离最小且小于预先设定的距离阈值δ时，两个特征点构成一组特征对应，特征匹配结束后，最终得到k组特征对应。

最后对这k组特征对应执行三维霍夫投票运算，根据特征对应判断场景中是否存在待识别目标，若存在，则计算该目标在场景中的位置与姿态，这里的计算方法采用本领域已知的计算方法计算即可，最终完成对三维目标的识别。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种基于二值描述符的三维目标识别方法，其特征在于，包括三维目标特征描述步骤，所述三维目标特征描述步骤包括以下过程:

S1，将三维目标中的网格深度图像Q进行网格分辩率R的计算；

S2，根据计算所得的网格分辨率R对网格深度图像Q进行均匀采样，得到特征点P'的坐标；

S3，根据计算所得的特征点P'的坐标构建局部参考系，并对该局部参考系的x轴、y轴和z轴的方向进行消歧处理；

S4，根据消歧后的局部参考系构建特征向量，得到特征点P'的二值化三维特征f_p。

2.根据权利要求1所述的基于二值描述符的三维目标识别方法，其特征在于，步骤S1包括以下步骤：

S1-1，将三维目标中的网格深度图像Q表示为图G＝(P，H)，其中P＝{p₁,p₂,...,p_m}，表示该网格深度图像Q中的所有顶点，p_m为第m个顶点，m为正整数；Η＝{h₁,h₂,...,h_n}，表示该原始点云Q中的所有边，h_n为第n条边，n为正整数；

S1-2，对所述网格深度图像Q中所有的边长求平均值，即得到该网格深度图像的网格分辩率R，具体公式为：其中，|h_i|为边h_i的长度，N表示网格深度图像Q中的边的数量。

3.根据权利要求1所述的基于二值描述符的三维目标识别方法，其特征在于，步骤S2包括以下步骤：

S2-1，将网格深度图像Q均匀划分为多个边长为n·R的立体网格，每个立体网格包含有多个顶点P；

S2-2，当立体网格中的顶点P的数量小于τ时，不提取该立体网格的特征点；当立体网格中的顶点P的数量不小于τ时，执行步骤S2-3，τ为预先设定的已知阈值；

S2-3，对顶点P的数量不小于τ的立体网格中的所有顶点P的x，y，z坐标分别求均值，得到第i个立体网格的特征点P′_i的坐标，具体公式为：其中，P_ik表示第i个立体网格中第k个顶点。

4.根据权利要求1所述的基于二值描述符的三维目标识别方法，其特征在于，步骤S3包括以下步骤：

S3-1，给定特征点P'和支持半径r，建立协方差矩阵C：

其中，P_i为以特征点P'为中心点，半径为r的区域内的点，d_i＝|P'-P_i|为点P_i到特征点P'的距离，表示从点P_i到特征点P'的向量；

S3-2，对协方差矩阵C作特征值分解：CV＝EV，其中，

对角矩阵E＝{λ₁，λ₂，λ₃}，λ₁，λ₂，λ₃为特征值且λ₁≥λ₂≥λ₃，矩阵为λ₁，λ₂，λ₃对应的正交特征向量，且为x，y，z轴的坐标基；

S3-3，在特征点P'所在的局部表面上选取离特征点P'最近的g个点，g为奇数；

S3-4，若且i＞g/2，则保持v₁符号不变，反之，变为由此确定x轴的方向；

S3-5，以步骤S3-4中所述方法确定z轴方向；

S3-6，根据确定y轴方向。

5.根据权利要求1所述的基于二值描述符的三维目标识别方法，其特征在于，步骤S4包括以下步骤：

S4-1，以特征点P'为原点，r为半径，在原始点云Q上截得局部点云Q'；

S4-2，将局部点云Q'向局部参考系的xy，yz，zx三个坐标平面投影，得到三个二维的投影点云Q′₁，Q′₂和Q′₃；

S4-3，对投影点云Q′₁，Q′₂和Q′₃作l×l的分块，并统计每个子块中的点的数目，根据子块中的点数分别构造l×l的方阵D₁，D₂和D₃；

S4-4，随机选取方阵D₁中2u个元素，按先后顺序，每两个元素一组，构建u组测试对，对每组测试对执行如下测试：

$T\left(i\right)=\left\{\begin{array}{c}1,\mathrm{ifD}\left(i\right)\≥D{\left(i\right)}^{\′}\\ 0,\mathrm{other}\end{array}\right.,$

得到一行唯一的u维二值位串其中，D(i)，D(i)′分别是第i组测试对的第一个和第二个元素；

S4-5，对方阵D₂和D₃选择与方阵D₁位置相同的测试序列，按照步骤S4-4中所述的方法确定二值位串f₂和f₃；

S4-6，依次将f₁，f₂和f₃拼接起来，即得到特征点P'的二值化三维特征f_p＝{f₁,f₂,f₃}。

6.根据权利要求1-5任意一项所述的基于二值描述符的三维目标识别方法，其特征在于，还包括三维目标识别过程，具体包括以下步骤：

第一步，在三维目标场景中，对模型深度图像和场景深度图像分别进行步骤S1和步骤S2，实现对模型深度图像和场景深度图像的特征检测，得到模型特征点集合p＝{p₁,p₂,...,p_i}和场景特征点集合q＝{q₁,q₂,...q_j}；

第二步，对模型特征点集合p＝{p₁,p₂,...,p_i}和场景特征点集合q＝{q₁,q₂,...q_j}中的每一个特征点进行步骤S3和步骤S4，实现对每一个特征点的特征描述，得到模型特征集合f_p＝{f_p1,f_p2,...,f_pi}和场景特征集合f_q＝{f_q1,f_q2,...,f_qj}；

第三步，将场景特征集合中的特征和模型特征集合中的特征进行特征匹配，即将场景特征集合中的每一特征与模型特征集合中的特征逐一比对，度量两个特征的汉明距离；

第四步，当汉明距离最小且小于预先设定的距离阈值δ时，两个特征点构成一组特征对应，特征匹配结束后，最终得到k组特征对应；

第五步，对这k组特征对应执行三维霍夫投票运算，根据特征对应判断场景中是否存在待识别目标，若存在，则计算该目标在场景中的位置与姿态，完成三维目标的识别。