CN114842335B - 用于建筑机器人的开槽目标识别方法及系统 - Google Patents

Abstract

本发明提供了一种用于建筑机器人的开槽目标识别方法及系统，对得到的二值掩码图像进行霍夫圆检测，当检测到轮廓半径在预设阈值范围内时，判定识别到圆孔标记，获取最靠近视野中心的圆心坐标，并进入下一步；否则，直接进入下一步；对二值掩码图像进行轮廓检测，对目标轮廓进行最小矩形框拟合，当矩形框的长度、宽度以及长宽比均在阈值范围内时，且有矩形框满足线段特征时，判定识别到槽标记，获取最靠近视野中心的线段两端坐标，并进入下一步；否则，判断是否检测到圆孔标记，如是，则进入下一步，否则识别结束；将识别到的坐标值全部转换为机器人坐标，得到开槽目标识别结果；本发明实现了孔标记和槽标记的更快速和准确识别。

Description

用于建筑机器人的开槽目标识别方法及系统

技术领域

本发明涉及建筑机器人技术领域，特别涉及一种用于建筑机器人的开槽目标识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

建筑开槽机器人是一种用于建筑工地中帮助建筑工人更方便快捷的进行开槽和打孔作业的机器人，机器人的应用大大提高工人作业的效率，并降低工人亲自操作时的安全事故概率，实现建筑作业的自动化与智能化。

HSV(Hue Saturation Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。由HSV色彩空间其相对于RGB色彩空间更符合人类眼睛对颜色的直观认知，且拥有辨识度高、原理简单、检测速度快等特点，现已被广泛应用于机器视觉领域的目标检测、对象跟踪。

发明人发现，开槽机器人检测目标的难点在于克服复杂的工作环境和工控机的性能限制。目前很多专家对目标检测方法都有深入的研究，但是对应用在工控机上的高效目标检测方法的研究比较少；目前通过神经网络进行目标检测的方法能达到极高的检测精度并实现分类；然而基于神经网络的目标检测方法对机器性能的要求较高，尤其对于需要多线程运行的工控机来说更是天方夜谭；其次需要大量的训练数据和训练时间，大大增加了机器人开发周期，基于传统图像处理的目标检测方法占用内存少、检测速度快，但是检测特征单一，且在复杂的工作环境下检测效果不佳。

发明内容

为了解决现有技术的不足，本发明提供了一种用于建筑机器人的开槽目标识别方法及系统，实现了孔标记和槽标记的更快速和准确识别。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种用于建筑机器人的开槽目标识别方法。

一种用于建筑机器人的开槽目标识别方法，包括以下过程：

获取待识别的图像；

对获取的图像进行预处理，得到二值掩码图像；

对得到的二值掩码图像进行霍夫圆检测，当检测到轮廓半径在预设阈值范围内时，判定识别到圆孔标记，获取最靠近视野中心的圆心坐标，并进入下一步；否则，直接进入下一步；

对二值掩码图像进行轮廓检测，对目标轮廓进行最小矩形框拟合，当矩形框的长度、宽度以及长宽比均在阈值范围内时，且有矩形框满足线段特征时，判定识别到槽标记，获取最靠近视野中心的线段两端坐标，并进入下一步；否则，判断是否检测到圆孔标记，如是，则进入下一步，否则识别结束；

将识别到的坐标值全部转换为机器人坐标，得到开槽目标识别结果。

作为可选的一种实现方式，对获取的图像进行预处理，得到二值掩码图像，包括：

对获取的图像依次进行旋转图像、图像增强、均值滤波、转换色彩空间、提取颜色特征和形态学处理。

进一步的，图像增强，包括：

采用增强对比度和亮度的方式对图像颜色进行增强处理，输出图像的像素为第一系数与源图像像素的乘积，再与第一常数的加和。

作为可选的一种实现方式，当存在轮廓半径在预设阈值范围内的圆时，判定识别到圆孔标记，包括：

若圆的轮廓半径符合阈值条件，且圆心横坐标位于图像视野横坐标范围的四分之一至四分之三之间，则检测到了圆孔标记。

作为可选的一种实现方式，获取最靠近视野中中心的圆心坐标，包括：

对检测到的所有圆心坐标进行位置判定，若圆心横坐标位于图像视野横坐标范围的四分之一至四分之三之间，且在检测到多个圆心时，选取最靠近视野中心的圆心坐标。

作为可选的一种实现方式，矩形框满足线段特征，包括：

当矩形框的长度、宽度以及长宽比均在阈值范围内时，将矩形拟合为一条线段，得到线段的两端坐标值，判断两端坐标值的横坐标是否都位于图像视野横坐标范围的四分之一至四分之三之间，如果有，则判定矩形满足线段特征。

作为可选的一种实现方式，根据得到的线段两端坐标值判断该标记是否为直槽，即计算线段与x、y轴的夹角，当夹角小于预设角度阈值时，将该标记判定为直槽，坐标值重新拟合为水平线段或垂线段段，否则判定为斜槽，原线段两端坐标不变。

本发明第二方面提供了一种用于建筑机器人的开槽目标识别系统。

一种用于建筑机器人的开槽目标识别系统，包括以下过程：

图像获取模块，被配置为：获取待识别的图像；

图像预处理模块，对获取的图像进行预处理，得到二值掩码图像；

霍夫圆检测检测模块，被配置为：对得到的二值掩码图像进行霍夫圆检测，当检测到轮廓半径在预设阈值范围内时，判定识别到圆孔标记，获取最靠近视野中心的圆心坐标，并进入下一步；否则，直接进入下一步；

轮廓检测模块，被配置为：对二值掩码图像进行轮廓检测，对目标轮廓进行最小矩形框拟合，当矩形框的长度、宽度以及长宽比均在阈值范围内时，且有矩形框满足线段特征时，判定识别到槽标记，获取最靠近视野中心的线段两端坐标，并进入下一步；否则，判断是否检测到圆孔标记，如是，则进入下一步，否则识别结束；

坐标转换模块，被配置为：将识别到的坐标值全部转换为机器人坐标，得到开槽目标识别结果。

本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的用于建筑机器人的开槽目标识别方法中的步骤。

本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的用于建筑机器人的开槽目标识别方法中的步骤。

与现有技术相比，本发明的有益效果是：

1、本发明对得到的二值掩码图像进行霍夫圆检测，当检测到轮廓半径在预设阈值范围内时，判定识别到圆孔标记，获取最靠近视野中心的圆心坐标，对二值掩码图像进行轮廓检测，对目标轮廓进行最小矩形框拟合，当矩形框的长度、宽度以及长宽比均在阈值范围内时，且有矩形框满足线段特征时，判定识别到槽标记，获取最靠近视野中心的线段两端坐标；否则，判断是否检测到圆孔标记，实现了圆孔标记和槽标记的更全面和准确的识别。

2、本发明使用标记目标在图像中相对相机视野中心的距离对检测到的目标划分优先级，靠近视野中心的标记坐标被优先传出处理，保证了圆孔标记和槽标记的识别的准确性。

3、本发明提供的用于建筑机器人的开槽目标识别方法及系统，在进行图像采集时，对摄像头获取的图像顺时针旋转90°，同时将摄像头同方向旋转90°，调整摄像头姿态以获取最大的视野高度。

4、本发明提供的用于建筑机器人的开槽目标识别方法及系统，对待识别图像分割之前进行预处理，所述预处理至少包括依次进行图像对比度增强、亮度增强和图像滤波，进一步的保证了后续圆孔标记和槽标记的识别精度。

5、本发明提供的用于建筑机器人的开槽目标识别方法及系统，通过TCP/IP将坐标信息发送给机器人引导机器人完成开槽/打孔作业，图像适应能力强，识别率高，识别快速且造价便宜。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的HSV色彩空间的组成示意图。

图2为本发明实施例1提供的机器人动作流程图。

图3为本发明实施例1提供的目标检测算法流程图。

图4为本发明实施例1提供的HSV色彩阈值调试模块UI。

图5为本发明实施例1提供的相机坐标转换示意图。

图6为本发明实施例1提供的目标检测流效果图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1：

本发明实施例1提供了一种开槽标记目标检测方法，机器人动作流程如图1所示，基于如图2所示HSV色彩空间，具体的检测流程如图3所示，包括以下过程：

S1：对获取的待识别图像进行预处理并提取颜色特征，得到二进制掩码颜色特征图；

S2：对提取的颜色特征图进行圆形检测和直线检测，得到检测结果的像素坐标并转换为机器人坐标；

S3：准备标定板和标记点的机器人坐标，标定相机的内外参数，得到坐标转换矩阵，利用坐标转换矩阵进行像素坐标的转换。

在本实施例中，S1中为图像的简单处理，可以提取出墙面上的有色标记的二值特征图，包括：对获取的每帧图像进行旋转图像、图像增强、均值滤波、转换色彩空间、提取颜色特征、形态学处理等，具体地，包括：

S11：本实施例采用帧率为30帧率、焦距3.5mm的相机获取待识别图像；

S12：对获取的图像进行旋转处理时，先将原图像进行转置，然后关于y轴翻转。

S13：本实施例采用增强对比度和亮度的方式对图像颜色进行增强处理，可以认为f(x)是源图像像素，g(x)是输出图像像素，然后，对比度和亮度调整公式：

g(i,j)＝α·f(i,j)+β

其中，i和j表示像素位于第i行和第j列，α作为系数乘以源像素值，会扩大最大像素值和最小像素值之间的差异，从而提升对比度，β作为加数，直接增大源像素值，能提升亮度。

S14：使用3×3的核进行均值滤波，其中：

通过将上述的3×3核与待识别图像进行卷积，从而实现均值滤波的模糊去噪效果。

S15：将模糊后的图像转换到HSV色彩空间。

S16：在HSV色彩图像中提取颜色特征，得到表示颜色特征的二值图像，其中HSV色彩空间中的6个阈值由图4中的调试软件测试得到。

在进行图像的获取时，对摄像头获取的图像顺时针旋转90°，同时将摄像头同方向旋转90°，调整摄像头姿态以获取最大的视野高度；在图像检测之前对设置定时器，以获取每一帧的检测时间，以此测试算法的运行速度。

本实施例中，S2中，主要包括对提取的颜色特征图进行圆形检测和直线检测，通过坐标转换矩阵将检测结果的像素坐标转换为机器人坐标，具体地，包括：

S21：霍夫圆检测，对提取出的颜色特征图像进行霍夫圆检测，设定标记圆的半径大小范围，剔除重叠的圆，然后将剩下的圆心坐标存储下来送入S22进行判定。

S22：判断霍夫圆检测是否检测到符合条件的圆，若圆的大小符合阈值条件且圆心横坐标位于图像视野横坐标范围的四分之一至四分之三之间，则认为是检测到了圆。若检测到，将检测圆标志位置1，然后进入S23，否则标志位置0，程序跳过S23直接进入S24。

S23：获取最靠近视野中心的圆心像素坐标。

本实施例中将检测到的所有圆心坐标进行位置判定，若圆心横坐标位于图像视野横坐标范围的四分之一至四分之三之间，且在检测到多个圆心时，选取最靠近视野中心的圆心坐标并存在坐标数据缓冲区。

S24：提取颜色特征的轮廓，只关注每个特征最外围的轮廓而忽略特征中的孔洞。

S25：对检测到的特征轮廓创建最小外接矩形。在本实施例中轮廓长度小于200像素的轮廓被过滤，不创建最小外接矩形。

S26：判断得到的最小外接矩形是否满足直线特征。

本实例中先对外接矩形的长宽进行比较，得到长边与短边，对长边与短边的长度进行限制，并限制矩形的长宽比不得小于8，，然后将满足上述条件的矩形拟合为一条线段，得到线段的两端坐标值，判断坐标值横坐标是否都位于图像视野横坐标范围的四分之一至四分之三之间，如果有，则判定有矩形满足直线特征，得到直线两端点的像素坐标值，然后程序进入S27，否则进入S29。

S27：获取最靠近视野中心的直线两端点像素坐标。首先通过得到的线段两端坐标值来判断该标记是否为直槽，即计算直线与x、y轴的夹角，当夹角小于5°时，将该标记判定为直槽，坐标值重新拟合为水平线段或垂直线段，否则判定为斜槽，原线段两端坐标不变。当检测到多个符合条件的直线时，选取最靠近视野中心的两端点坐标并存在坐标数据缓冲区。

S28：像素坐标转机器人坐标，将坐标数据缓冲区中的数据通过标定得到的坐标转换矩阵转换到机器人坐标。

其转换关系为：

如图5所示，为世界坐标到像素坐标的各坐标关系。

S29：判断是否检测到了标记，此环节只需判断前面是否检测到了圆即可，若前面S22环节中有满足要求的圆，则程序进入S28，否则未检测到任何标记，即未检测到圆和直线。

本实施例中，可通过调整标记轮廓大小的阈值，过滤环境中的干扰物；可调整检测颜色标记所用的HSV三通道阈值，以检测不同颜色的标记。

在本实施例中，S3为标定相机参数得到坐标转换矩阵，坐标转换矩阵将传入S28中用于将像素坐标转换成机器人坐标，随后用TCP/IP将转换后的坐标传给机器人处理。

S31：本实施例采用的相机内参标定法为openCV中的棋盘格标定法，标定板大小为10乘7。在采集图像前先将图像旋转90°以扩大垂直方向的视野范围，采集的图像为从不同角度拍摄的棋盘格20张图像。

S32：本实施例采用的相机标定后的内参矩阵参数为：

cameraMatrix＝(639.6,0,337.412685485874,0,640.9,628.4,0,0,1)。

S33：获取测试标记的机器人坐标，本实施例采用的测试标记为8个直径为12mm的绿色圆形，将其均匀固定在墙面上并保证能被检测到。调整机器人机械臂的位姿使钻孔钻头对准一个圆形标记的圆心，从机器人调试程序中读出圆心的机器人坐标，同时通过开槽机器人目标检测调试系统读出圆心的在图像中的像素坐标。重复8次，共获得8组圆心坐标。

S34：标定相机外参。将前面得到的8对坐标值输入到openCV的solvePnP函数中求解出旋转向量rVec和平移向量tVec，以此将像素坐标转换为相应的机器人坐标值。

本实施例将上述方案进行测试，分辨率为720×1280，环境为ubuntu18.04系统下，单帧图像测试耗时在60～90毫秒内，完全可以达到工业领域的应用。

如图6所示，为目标检测流效果图。

实施例2：

本发明实施例2提供了一种用于建筑机器人的开槽目标识别系统，包括以下过程：

图像获取模块，被配置为：获取待识别的图像；

图像预处理模块，对获取的图像进行预处理，得到二值掩码图像；

霍夫圆检测检测模块，被配置为：对得到的二值掩码图像进行霍夫圆检测，当检测到轮廓半径在预设阈值范围内时，判定识别到圆孔标记，获取最靠近视野中心的圆心坐标，并进入下一步；否则，直接进入下一步；

轮廓检测模块，被配置为：对二值掩码图像进行轮廓检测，对目标轮廓进行最小矩形框拟合，当矩形框的长度、宽度以及长宽比均在阈值范围内时，且有矩形框满足线段特征时，判定识别到槽标记，获取最靠近视野中心的线段两端坐标，并进入下一步；否则，判断是否检测到圆孔标记，如是，则进入下一步，否则识别结束；

坐标转换模块，被配置为：将识别到的坐标值全部转换为机器人坐标，得到开槽目标识别结果。

所述系统的工作方法与实施例1提供的用于建筑机器人的开槽目标识别方法相同，这里不再赘述。

实施例3：

本发明实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的用于建筑机器人的开槽目标识别方法中的步骤。

实施例4：

本发明实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的用于建筑机器人的开槽目标识别方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于建筑机器人的开槽目标识别方法，其特征在于：

包括以下过程：

获取待识别的图像；

对获取的图像进行预处理，得到二值掩码图像；

对得到的二值掩码图像进行霍夫圆检测，当检测到轮廓半径在预设阈值范围内时，判定识别到圆孔标记，获取最靠近视野中心的圆心坐标，并进入下一步；否则，直接进入下一步；

对二值掩码图像进行轮廓检测，对目标轮廓进行最小矩形框拟合，当矩形框的长度、宽度以及长宽比均在阈值范围内时，且有矩形框满足线段特征时，判定识别到槽标记，获取最靠近视野中心的线段两端坐标，并进入下一步；否则，判断是否检测到圆孔标记，如是，则进入下一步，否则识别结束；

将识别到的坐标值全部转换为机器人坐标，得到开槽目标识别结果；

矩形框满足线段特征，包括：

当矩形框的长度、宽度以及长宽比均在阈值范围内时，将矩形拟合为一条线段，得到线段的两端坐标值，判断两端坐标值的横坐标是否都位于图像视野横坐标范围的四分之一至四分之三之间，如果有，则判定矩形满足线段特征。

2.如权利要求1所述的用于建筑机器人的开槽目标识别方法，其特征在于：

对获取的图像进行预处理，得到二值掩码图像，包括：

对获取的图像依次进行旋转图像、图像增强、均值滤波、转换色彩空间、提取颜色特征和形态学处理。

3.如权利要求2所述的用于建筑机器人的开槽目标识别方法，其特征在于：

图像增强，包括：

采用增强对比度和亮度的方式对图像颜色进行增强处理，输出图像的像素为第一系数与源图像像素的乘积，再与第一常数的加和。

4.如权利要求1所述的用于建筑机器人的开槽目标识别方法，其特征在于：

当存在轮廓半径在预设阈值范围内的圆时，判定识别到圆孔标记，包括：

若圆的轮廓半径符合阈值条件，且圆心横坐标位于图像视野横坐标范围的四分之一至四分之三之间，则检测到了圆孔标记。

5.如权利要求1所述的用于建筑机器人的开槽目标识别方法，其特征在于：

获取最靠近视野中中心的圆心坐标，包括：

对检测到的所有圆心坐标进行位置判定，若圆心横坐标位于图像视野横坐标范围的四分之一至四分之三之间，且在检测到多个圆心时，选取最靠近视野中心的圆心坐标。

6.如权利要求1所述的用于建筑机器人的开槽目标识别方法，其特征在于：

根据得到的线段两端坐标值判断该标记是否为直槽，即计算线段与x、y轴的夹角，当夹角小于预设角度阈值时，将该标记判定为直槽，坐标值重新拟合为水平线段或垂线段段，否则判定为斜槽，原线段两端坐标不变。

7.一种利用如权利要求1-6任一所述建筑机器人的开槽目标识别方法的系统，其特征在于：

包括以下过程：

图像获取模块，被配置为：获取待识别的图像；

图像预处理模块，对获取的图像进行预处理，得到二值掩码图像；

霍夫圆检测检测模块，被配置为：对得到的二值掩码图像进行霍夫圆检测，当检测到轮廓半径在预设阈值范围内时，判定识别到圆孔标记，获取最靠近视野中心的圆心坐标，并进入下一步；否则，直接进入下一步；

轮廓检测模块，被配置为：对二值掩码图像进行轮廓检测，对目标轮廓进行最小矩形框拟合，当矩形框的长度、宽度以及长宽比均在阈值范围内时，且有矩形框满足线段特征时，判定识别到槽标记，获取最靠近视野中心的线段两端坐标，并进入下一步；否则，判断是否检测到圆孔标记，如是，则进入下一步，否则识别结束；

坐标转换模块，被配置为：将识别到的坐标值全部转换为机器人坐标，得到开槽目标识别结果。

8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的用于建筑机器人的开槽目标识别方法中的步骤。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的用于建筑机器人的开槽目标识别方法中的步骤。