CN101915573B - 一种基于标记物的关键点检测的定位测量方法 - Google Patents

Abstract

本发明是一种基于标记物的关键点检测的定位测量方法，分为四个部分：第一，标尺和标记物的设计，实现了环境适应性强、方便使用制作的标尺和标记物；第二，用于标定的标尺检测，根据自定义分割函数对压缩后的图像实施多阈值分割，并通过轮廓检测、多边形拟合等方法定位标尺；第三，标记物的关键点检测，主要采用了直方图匹配、灰度投影法、霍夫变换线段检测以及最小二乘法直线拟合等方法检测定位关键点；第四，三维世界坐标的重建，这里采用摄影测量的二维方法。本发明提到的多阈值分割以及将霍夫变换与最小二乘法相结合来定位直线等方法，提高了算法的性能和精度。本发明应用范围广泛，适用各种基于关键点检测的定位测量问题。

Description

一种基于标记物的关键点检测的定位测量方法

技术领域

本发明涉及图像处理领域，设计和实现了一种基于标记物的关键点检测的定位测量方法。

背景技术

在监控以及其它相关领域，我们经常需要获得某些特征点的位置信息。背景环境的复杂性以及不确定性，使得这种基于机器视觉的定位测量变得异常困难。这种困难表现为：图像的预处理阶段阈值的鲁棒性问题，特征点初始定位分割的错误定位问题，以及精确再分割定位的精确性问题。本发明的意义在于通过设计具有明显特征的标尺和标记物，实现复杂环境中关键点的定位测量，并具有相当高的精度和鲁棒性。

目前，很多现场、环境信息的记录都采用现场测量和报告的形式，由于现场测量的局限性，报告不一定能完全而详细地记录或者再现所需的所有信息。由于现场的不可再现性，很多信息很难再从现场重新勘测得到，从而给现场分析带来困难，而这些信息大都存在于现场照片中。因此，使用一定的手段和方法从现场拍摄的照片中提取需要的信息，对进行后续分析具有重要意义。本发明采用摄影测量、图像处理与分析等方法，设计和实现了一种基于标记物的关键点检测的定位测量方法，有效地解决了现场测量的局限性。

发明内容

本发明的目的是设计一种具有明显特征的标尺和标记物，提供一种采用由普通数码相机的图像摄取系统和多功能的图像处理和分析系统组成的基于标记物的关键点检测的定位测量方法。

为达成所述目的，本发明提供一种基于标记物的关键点检测的定位测量方法，该方法的步骤包括：

步骤S1：在待定位测量的复杂环境中设置标尺和标记关键点的标记物，并建立世界坐标系，确定标尺四个顶点的世界坐标；

步骤S2：使用采样方法对含有待定位关键点环境的摄取图像进行压缩，根据自定义分割函数对压缩后的图像进行多阈值彩色分割，并通过轮廓检测、多边形拟合对标尺定位，得到标尺四个顶点的图像坐标；

步骤S3：首先，使用采样方法对所述摄取图像进行压缩，根据自定义阈值分割函数对压缩后的图像进行分割，得到二值图像，对二值图像进行轮廓检测，得到所有轮廓，其次，以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区域的直方图进行匹配，得到包含标记物的轮廓区域，即子图像，然后，利用灰度投影法对子图像进行精确再分割，得到包含标记物的精确子图像最后对精确子图像采用霍夫变换线段检测以及最小二乘法直线拟合相结合的方法对标记物的关键点进行，得到每一个标记物的关键点的图像坐标；

步骤S4：根据摄影图像的二位重建方法，设三维空间坐标系中任意点(X，Y，Z)和所述任意点在二维图像平面坐标系上的坐标为(x，y)，如果空间点都在同一个平面上，Z为常数，则空间点和图像点的坐标满足：

$X=\frac{C_{1}x+C_{2}y+C_3}{C_{7}x+C_{8}y+1}$

$Y=\frac{C_{4}x+C_{5}y+C_6}{C_{7}x+C_{8}y+1}$

式中，C₁，C₂，...，C₈为线形成像模型的系数，根据标尺四个顶点的世界坐标和图像坐标来确定这8个系数C₁，C₂，...，C₈，然后根据空间平面和图像平面的坐标变换关系，以及步骤S3的关键点的图像坐标计算出关键点的世界坐标。

优选实施例，所述标尺其形状为正方形或长方形的中空框架，中空框架表面由不同颜色的薄层组成，选择不同颜色薄层可以是黄蓝颜色、蓝黄蓝颜色、黄蓝黄颜色或者是多种颜色相间匹配的薄层结构。

优选实施例，所述标记物采用正方形形状的硬质材料，将正方形某一顶点近似三等分，三等分的三个部分采用黄蓝黄或者蓝黄蓝相间的薄层，或者根据环境情况而定的具有不同颜色薄层组成。

优选实施例，所述多阈值分割是利用标尺与地面的彩色非彩色差异设计自定义分割函数f(R，G，B)，

$f(R,G,B)=\frac{\left(\right|R-B|+|R-G|+|G-B\left|\right)}{3D}$

R，G，B为RGB颜色模型下三通道的灰度值，D为非彩色提取参数，再利用所述的阈值函数对压缩后的图像进行分割，如果f(R，G，B)＜1，则表示非彩色像素点，反之，如果f(R，G，B)＞1，则表示彩色像素点，采用多个阈值作为函数f(R，G，B)的比较值，得到多个二值图像。

优选实施例，所述以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区域的直方图进行匹配步骤如下：：

步骤S31：提取所有轮廓对应的所述摄取图像区域，得到子图像，根据标记物薄层的两种颜色特征，对子图像进行阈值分割，得到两种颜色区域并由两种灰度值填充、两种颜色区域以外的区域由第三灰度值填充的灰度图；

步骤S32：计算灰度图的直方图，通过限定三种灰度的比例关系来进行匹配。

优选实施例，所述利用灰度投影法对子图像进行精确再分割是采用灰度投影的方法把一幅m×n的图像的灰度值映射成两个独立的一维波形如下，

$G\left(x\right)=\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y);$ $G\left(y\right)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}f(x,y)$

式中f(x，y)表示图像上(x，y)点的灰度值，M和N分别为图像的高度和宽度，G(x)表示第x行像素的投影值，是第x行像素灰度值的累加；G(y)表示第y列像素的投影值，是第y列像素灰度值的累加，根据G(x)和G(y)的波形设置相应的阈值来选取分割的区域，得到子图像。

本发明的有益效果：本发明的基本原理是利用普通数码相机摄取图像，已知图像与空间对应关系的标尺进行标定，然后基于图像处理及分析的方法检测标记物的关键点，最后通过摄影测量方法进行关键点坐标重建。本发明创造性地设计出了用于标定的标尺和标识空间关键点的标记物。本发明在标尺检测中采用多阈值进行分割，从而提高了算法的性能。本发明在标记物检测中对压缩后的图像进行粗定位，对原始图像进行分割，这样在保证定位精度的前提下大大提高了检测速度。本发明巧妙地将霍夫变换线段检测与最小二乘法直线拟合方法相结合来逼近直线，大大提高了关键点定位的精度。本发明所提供的算法应用范围广泛，适用各种基于关键点检测的定位测量问题。

附图说明

图1蓝黄蓝相间和黄蓝相间标尺样式图；

图2蓝黄蓝相间和黄蓝黄相间标记物样式图；

图3本发明的系统框架图；

图4本发明的系统流程图；

图5用于标定的标尺检测算法流程图；

图6标记物的关键点检测算法流程图；

图7采用行、列投影方法实现的精确再分割前后效果图；

图8标记物的关键点检测的系列实验结果图(图中用圆圈标记)；

图9摄影测量中的空间平面到图像平面的变换示意图；

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明是通过设计具有明显特征的标尺和标记物，采用普通摄像机进行二维重建，实现复杂环境中关键点的定位测量，并具有相当高的精度和鲁棒性。本发明系统框架如图3，首先，对含有待定位关键点的环境图像摄影；然后，对摄取图像进行标尺检测、标记物检测等一系列图像分析，即识别、标定、测量等，得到系列关键点坐标，对复杂环境进行描述；最后，根据二维重建结果，一方面可以通过角点定位得到关键点坐标，另一方面可以对复杂环境进行三维描述，虚拟现实。

本发明的系统流程图如图4。该方法的步骤如下：

步骤S1：为了解决上述复杂背景环境中关键点精确定位测量的问题，我们需要设计一种标记物，用于标识空间中待定位的关键点，然后对标记物进行识别定位即可。另外，为了采用普通数码相机实现三维世界坐标的重建，我们采用摄影测量的二维方法，此方法中需要已知标准物体的参数(即三维世界坐标系坐标和对应图像中的坐标)至少4个，因此，我们设计了一种形状、尺寸已知的标准物体即标尺来对图像进行标定。

标尺为近似正方形，四边采用黄蓝、蓝黄蓝或者黄蓝黄相间的样式。正方形边长为80cm-120cm，边宽5cm-10cm。这仅仅是本发明的一个具体事例。标尺样式如图1。

标记物采用正方形形状的硬质材料，将正方形某一顶点近似三等分，三个部分采用黄蓝黄、蓝黄蓝相间的样式，标记物边长为15cm左右。标记物样式如图2。

步骤S2：用于标定的标尺检测，具体步骤如下，

步骤S21：由普通摄像机摄取的含有待定位关键点环境的摄取图像大小为3872像素*2592像素，为了提高定位检测速率，我们压缩图像为968像素*648像素，约为摄取图像的1/4大小，采用采样方法进行压缩即可。如下步骤则对压缩后的图像进行处理即可。

步骤S22：我们首先想到的是根据不同彩色空间模型来分割所述摄影图像中的标尺区域，分割中遇到的第一个困难是图像光照条件的变化以及标尺颜色的退化。采用HIS颜色空间模型，选取H通道和S通道的合适的阈值对大部分光照条件下的标尺定位有效。为了达到更好的分割效果，考虑到标尺与地面的彩色非彩色差异，这里我们定义一个阈值函数。

$f(R,G,B)=\frac{\left(\right|R-B|+|R-G|+|G-B\left|\right)}{3D}$

R，G，B为RGB颜色模型下三通道的灰度值。D为非彩色提取参数，这里我们取为20。f(R，G，B)＜1，则表示非彩色像素点，反之，则表示彩色像素点。为了提高算法的鲁棒性，使得不同光照、不同环境下都能够达到良好效果，这里我们采用1～5多阈值作为函数f(R，G，B)的比较值，得到多个二值图像。

步骤S23：标尺具有以下几个特征，首先，对其轮廓进行多边形近似之后，其多边形顶点数目为4；其次，该轮廓必为凸多边形；再次，其面积必限定在某一范围内；最后，标尺轮廓的内部灰度值统计要小于某一常数(经彩色非彩色分割之后内部用黑色灰度值填充)。根据以上分析，我们可以对经彩色非彩色分割得到的二值图像进行轮廓检测，然后实施多边形近似加之上面的判定条件定位标尺区域。如果条件满足，四边形识别正确则进行下一步，否则对步骤S22中的其他二值图像进行轮廓检测、多边形近似等步骤，直至定位标尺区域。由于标尺的边宽度为5cm，我们会得到内、外两个四边形轮廓，而我们需要的是四边形边的中线的四个交点处的坐标值，因此可以通过简单计算两个四边形对应顶点坐标的均值得到标尺四个顶点的中心位置，用于标定的标尺检测的算法流程如图5。

步骤S3：标记物的关键点检测具体步骤如下，

步骤S31：采用采样方法对所述摄取图像进行压缩，压缩至摄取图像的1/4大小；

步骤S32：我们定义一个阈值函数，

$f(R,G,B)=\frac{\left(\right|R-B|+|R-G|+|G-B\left|\right)}{3D}$

R，G，B为RGB颜色模型下三通道的灰度值。D为非彩色提取参数，这里我们取为20。f(R，G，B)＜1，则表示非彩色像素点，反之，则表示彩色像素点。这里采用单一阈值进行分割，只要对标记物粗定位即可。

步骤S33：这里需要对分割之后的二值图像进行2次膨胀处理，目的是消除光照等条件影响，使得每一个标记物的整体属于一个轮廓，便于下一步的定位分割。光照的明暗、地面的干扰都会使得单阈值的分割鲁棒性差，我们采用3X3正方形结构对图像进行两次膨胀处理，解决了上述问题。

步骤S34：提取所有轮廓对应的所述摄取图像区域，得到子图像，为了进行直方图匹配，需要标记物中三色块的灰度信息，因此这里不能把所有彩色像素分为同一类。考虑到蓝色和黄色的特征，我们定义新的阈值函数。

$f(R,G,B)=\frac{(B-R)+(B-G)}{2Z}$

R，G，B，D意义同上，Z＝75。f(R，G，B)＞1表示蓝色区域像素点，f(R，G，B)＜-1表示黄色区域像素点，其余像素点的灰度值赋0即可。这样子图像便只有三种灰度值，我们可以通过限定三种灰度值直接的比例关系来选择提取含有标记物的轮廓区域以进行下一步操作。

步骤S35：对于标记物轮廓，我们需要对其进行精确再分割。如果跳过此步骤，下一步中的线段检测便会产生诸多干扰线段，使得关键点定位的精确性变差。这里我们的方法是对整个图像进行行投影和列投影，去掉投影值较小的即可，然后再对子图像进行一步包围矩形统计，得到精确分割子图像。灰度投影把一幅m×n的图像的灰度值映射成两个独立的一维波形如下：

$G\left(x\right)=\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y);$ $G\left(y\right)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}f(x,y)$

其中f(x，y)表示图像上(x，y)点的灰度值，M和N为图像的高度和宽度，G(x)表示第x行像素的投影值，即第x行像素灰度值的累加；G(y)表示第y列像素的投影值，即第y列像素灰度值的累加。这样我们便可以根据G(x)和G(y)的波形设置相应的阈值来选取精确分割的区域。

采用行、列投影方法实现的精确再分割前后效果图如图7，其中，第一列和第三列为精确分割前的子图像，第二列和第四列分别为第一列和第三列对应的精确分割后的子图像。

步骤S36：对于精确分割之后的子图像，我们只要精确检测出色块之间的直线便可以通过求取直线交点的方法定位角点。这里我们采用霍夫变换线段检测与最小二乘法相结合的方法来求取直线。首先对子图像进行线段检测，由于色块之间的直线非单像素宽度，会检测到很多条直线。于是我们采用最小二乘法对这些线段进行拟合，得到较精确的两条相交直线。用直线y＝kx+b对点系列(x_i，y_i)进行拟合如下。

$k=\frac{(n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{y}_i-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i)}{[n\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i^2-{\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i\right)}^2]}$

$b=\frac{1}{n}(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i-k\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i)$

步骤S37：根据两拟合直线求出交点即可。然后对所有的轮廓进行如上处理，如果直方图匹配失败，检测下一轮廓，如果成功则求出交点坐标并存储，检测下一个待定位点，直至得到每一个标记物的关键点坐标。

最后的检测效果如图8所示，其中算法检测到的关键点的坐标位置用圆圈标记，标记物的关键点检测算法流程图如图6所示。

步骤S4：由于所述摄影图像使用二维平面表示三维空间，在成像过程中丢失了深度信息，所以，在没有其它信息的情况下，无法直接根据一幅所述摄影图像上二维坐标信息恢复三维空间信息。如果假设图像上的点在实际坐标系空间中对应的点都在同一个平面上，则可以根据直接线性变换关系，推出从空间平面到图像平面的对应关系，并能由4个已知其在空间平面上的位置和图像平面上的位置的参考点，求出空间平面的点和其在图像平面上投影点之间的对应关系，这就是所述摄影图像的二维重建方法。使用二维方法，可以根据所述摄影图像上点的位置计算出其对应的空间平面上点的位置。设三维空间坐标系中任意点(X，Y，Z)和它在二维图像平面坐标系上的坐标为(x，y)，如果空间点都在同一个平面上，即Z为常数，则空间点和图像点的坐标满足：

$X=\frac{C_{1}x+C_{2}y+C_3}{C_{7}x+C_{8}y+1}$

$Y=\frac{C_{4}x+C_{5}y+C_6}{C_{7}x+C_{8}y+1}$

其中，C₁，C₂，...，C₈为线性成像模型的8个系数。我们根据步骤1得到的标尺的四个顶点的世界坐标以及步骤2得到的标尺的四个顶点的图像坐标，来计算线性成像模型的8个系数，然后根据8个系数以及步骤3得到的关键点的图像坐标，来得到关键点的世界坐标，从而达到定位测量的目的。

摄影测量中的空间平面到图像平面的变换如图9所示，其中，A、B、C、D为空间平面上的四个点，a、b、c、d为摄取图像平面上的A、B、C、D点的对应点，x、y为图像平面坐标系，X、Y为空间平面坐标系，透视中心为普通数码相机的凸透镜中心。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种基于标记物的关键点检测的定位测量方法，其特征在于，该方法的步骤包括：

步骤S1：在待定位测量的复杂环境中设置标尺和标记关键点的标记物，并建立世界坐标系，确定标尺四个顶点的世界坐标；

步骤S2：使用采样方法对含有待定位关键点环境的摄取图像进行压缩，根据自定义分割函数对压缩后的图像进行多阈值彩色分割，并通过轮廓检测、多边形拟合对标尺定位，得到标尺四个顶点的图像坐标；

步骤S3：首先，使用采样方法对所述摄取图像进行压缩，根据自定义阈值分割函数对压缩后的图像进行分割，得到二值图像，对二值图像进行轮廓检测，得到所有轮廓，其次，以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区域的直方图进行匹配，得到包含标记物的轮廓区域，即子图像，然后，利用灰度投影法对子图像进行精确再分割，得到包含标记物的精确子图像最后对精确子图像采用霍夫变换线段检测以及最小二乘法直线拟合相结合的方法对标记物的关键点进行，得到每一个标记物的关键点的图像坐标；

步骤S4：根据摄影图像的二位重建方法，设三维空间坐标系中任意点(X，Y，Z)和所述任意点在二维图像平面坐标系上的坐标为(x，y)，如果空间点都在同一个平面上，Z为常数，则空间点和图像点的坐标满足：

$X=\frac{C_{1}x+C_{2}y+C_3}{C_{7}x+C_{8}y+1}$

$Y=\frac{C_{4}x+C_{5}y+C_6}{C_{7}x+C_{8}y+1}$

式中，C₁，C₂，...，C₈为线性成像模型的系数，根据标尺四个顶点的世界坐标和图像坐标来确定这8个系数C₁，C₂，...，C₈，然后根据空间平面和图像平面的坐标变换关系，以及步骤S3的关键点的图像坐标计算出关键点的世界坐标。

2.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所述标尺其形状为正方形或长方形的中空框架，中空框架表面由不同颜色的薄层组成，选择不同颜色薄层是黄蓝颜色、蓝黄蓝颜色或者是黄蓝黄颜色的薄层结构。

3.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所述标记物采用正方形形状的硬质材料，将正方形某一顶点近似三等分，三等分的三个部分采用黄蓝黄或者蓝黄蓝相间的薄层。

4.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所述多阈值分割是利用标尺与地面的彩色非彩色差异设计自定义分割函数f(R，G，B)，

$f(R,G,B)=\frac{\left(\right|R-B|+|R-G|+|G-B\left|\right)}{3D}$

R，G，B为RGB颜色模型下三通道的灰度值，D为非彩色提取参数，再利用所述的阈值函数对压缩后的图像进行分割，如果f(R，G，B)＜1，则表示非彩色像素点，反之，如果f(R，G，B)＞1，则表示彩色像素点，采用多个阈值作为函数f(R，G，B)的比较值，得到多个二值图像。

5.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所述以标记物的直方图为模板对每一个轮廓对应的所述摄取图像区域的直方图进行匹配步骤如下：：

步骤S31：提取所有轮廓对应的所述摄取图像区域，得到子图像，根据标记物薄层的两种颜色特征，对子图像进行阈值分割，得到两种颜色区域并由两种灰度值填充、两种颜色区域以外的区域由第三灰度值填充的灰度图；

步骤S32：计算灰度图的直方图，通过限定三种灰度的比例关系来进行匹配。

6.根据权利要求1所述的基于标记物的关键点检测的定位测量方法，其特征在于，所述利用灰度投影法对子图像进行精确再分割是采用灰度投影的方法把一幅m×n的图像的灰度值映射成两个独立的一维波形如下，

$G\left(x\right)=\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y);$ $G\left(y\right)=\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)$

式中f(x，y)表示图像上(x，y)点的灰度值，M和N分别为图像的高度和宽度，G(x)表示第x行像素的投影值，是第x行像素灰度值的累加；G(y)表示第y列像素的投影值，是第y列像素灰度值的累加，根据G(x)和G(y)的波形设置相应的阈值来选取分割的区域，得到子图像。

Images