CN113733100A - 巡检操作机器人的目标定位方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及电力安全技术领域，提供一种巡检操作机器人的目标定位方法、装置、设备及存储介质，用于解决巡检操作机器人无法对操作目标进行准确定位的问题。巡检操作机器人的目标定位方法包括：获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于所述三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，所述目标操作点为所述目标物体的任务操作点；获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，并基于所述目标操作点图像计算所述目标操作点的二维坐标；基于所述二维坐标和所述高度坐标生成所述目标操作点的修正三维坐标。

Description

巡检操作机器人的目标定位方法、装置、设备及存储介质

技术领域

本发明涉及电力安全技术领域，尤其涉及一种巡检操作机器人的目标定位方法、装置、设备及存储介质。

背景技术

随着机器人技术的发展，机器人在电力领域的应用也越来越广泛，巡检操作机器人代替人工执行巡检任务，已经在变电领域成为较为普遍的现象。目前，通过操作机器人对电气设备进行定位。但是，现有的操作机器人的操作方法对操作目标的定位的坐标固定且分析因素单一，导致了巡检操作机器人无法对操作目标进行准确定位的问题。

发明内容

本发明提供一种巡检操作机器人的目标定位方法、装置、设备及存储介质，用于解决巡检操作机器人无法对操作目标进行准确定位的问题。

本发明第一方面提供了一种巡检操作机器人的目标定位方法，所述巡检操作机器人的目标定位方法包括：获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于所述三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，所述目标操作点为所述目标物体的任务操作点；获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，并基于所述目标操作点图像计算所述目标操作点的二维坐标；基于所述二维坐标和所述高度坐标生成所述目标操作点的修正三维坐标。

在一种可行的实施方式中，所述获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于所述三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，所述目标操作点为所述目标物体的任务操作点，包括：获取本体理想基准点信息，并接收三维相机发送的三维标记点位置图像；通过所述三维标记点位置图像和所述本体理想基准点信息，计算补偿位置信息，所述补偿位置信息包括补偿距离和补偿角度；对所述三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，所述目标操作点为所述目标物体的任务操作点，所述高度坐标用于指示所述目标操作点相对于所述目标物体的表面之间的距离位置。

在一种可行的实施方式中，所述获取本体理想基准点信息，并接收三维相机发送的三维标记点位置图像，包括：对三维相机进行标定，以使得本体理想基准点垂直于所述目标物体的表面；提取标定后的机器人本体的本体理想基准点垂直于所述目标物体的表面之间的本体理想基准点距离和本体理想基准点角度，得到本体理想基准点信息；接收标定后的三维相机发送的三维标记点位置图像，所述三维标记点位置图像为所述三维相机对目标物体的目标标记点部位进行拍摄所得的图像。

在一种可行的实施方式中，所述通过所述三维标记点位置图像和所述本体理想基准点信息，计算补偿位置信息，所述补偿位置信息包括补偿距离和补偿角度，包括：基于所述三维标记点位置图像计算机器人本体实际位置信息，所述机器人本体实际位置信息包括所述机器人本体的本体实际基准点垂直于所述目标物体的表面之间的本体实际基准点距离和本体实际基准点角度；基于所述本体理想基准点信息中的本体理想基准点距离与所述本体实际基准点距离计算补偿距离；基于所述本体理想基准点信息中的本体实际基准点角度和所述本体理想基准点角度计算补偿角度；将所述补偿距离和所述补偿角度确定为补偿位置信息。

在一种可行的实施方式中，所述对所述三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，所述目标操作点为所述目标物体的任务操作点，所述高度坐标用于指示所述目标操作点相对于所述目标物体的表面之间的距离位置，包括：对所述三维标记点位置图像分别进行目标操作点的位置坐标提取和目标物体的表面的位置坐标提取，得到目标操作点的位置坐标和物体表面位置坐标；通过所述目标操作点的位置坐标和所述物体表面位置坐标进行运算，得到高度坐标。

在一种可行的实施方式中，所述获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，并基于所述目标操作点图像计算所述目标操作点的二维坐标，包括：获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，所述目标操作点图像为所述二维相机位于基于所述补偿距离和所述补偿角度调整后的位置，对所述目标物体的目标部位的表面进行拍摄所得的图像；对所述目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标。

在一种可行的实施方式中，所述获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，所述目标操作点图像为所述二维相机位于基于所述补偿距离和所述补偿角度调整后的位置，对所述目标物体的目标部位的表面进行拍摄所得的图像，包括：控制预置的机械臂或移动底盘，基于所述补偿距离和所述补偿角度进行运动，以使得二维相机的相机理想基准点垂直于柜体表面之间的距离为相机理想基准点距离，所述二维相机的相机理想基准点垂直于柜体表面之间的角度为相机理想基准点角度，得到基于所述补偿位置信息调整后的二维相机；控制基于所述补偿位置信息调整后的二维相机，对所述目标物体的目标部位的表面进行拍摄，得到目标操作点图像，并接收基于所述补偿位置信息调整后的二维相机发送的目标操作点图像。

在一种可行的实施方式中，所述对所述目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标，包括：通过预设的操作目标，对所述目标操作点图像中操作对象的身份标识进行识别；当识别到所述操作对象的身份标识与所述操作目标相符时，对所述操作点图像中的操作对象依次进行识别和目标操作点坐标提取，得到二维坐标。

在一种可行的实施方式中，所述基于所述二维坐标和所述高度坐标生成所述目标操作点的修正三维坐标，包括：将所述二维坐标和所述高度坐标进行组合，得到目标操作点的修正三维坐标；或者，将所述二维坐标和所述高度坐标进行合并和世界坐标系转换，得到目标操作点的修正三维坐标。

本发明的第二方面提供了一种巡检操作机器人的目标定位装置，包括：第一计算模块，用于获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于所述三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，所述目标操作点为所述目标物体的任务操作点；第二计算模块，用于获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，并基于所述目标操作点图像计算所述目标操作点的二维坐标；生成模块，用于基于所述二维坐标和所述高度坐标生成所述目标操作点的修正三维坐标。

在一种可行的实施方式中，所述第一计算模块包括：接收单元，用于获取本体理想基准点信息，并接收三维相机发送的三维标记点位置图像；计算单元，用于通过所述三维标记点位置图像和所述本体理想基准点信息，计算补偿位置信息，所述补偿位置信息包括补偿距离和补偿角度；提取单元，用于对所述三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，所述目标操作点为所述目标物体的任务操作点，所述高度坐标用于指示所述目标操作点相对于所述目标物体的表面之间的距离位置。

在一种可行的实施方式中，所述接收单元具体用于：对三维相机进行标定，以使得本体理想基准点垂直于所述目标物体的表面；提取标定后的机器人本体的本体理想基准点垂直于所述目标物体的表面之间的本体理想基准点距离和本体理想基准点角度，得到本体理想基准点信息；接收标定后的三维相机发送的三维标记点位置图像，所述三维标记点位置图像为所述三维相机对目标物体的目标标记点部位进行拍摄所得的图像。

在一种可行的实施方式中，所述计算单元具体用于：基于所述三维标记点位置图像计算机器人本体实际位置信息，所述机器人本体实际位置信息包括所述机器人本体的本体实际基准点垂直于所述目标物体的表面之间的本体实际基准点距离和本体实际基准点角度；基于所述本体理想基准点信息中的本体理想基准点距离与所述本体实际基准点距离计算补偿距离；基于所述本体理想基准点信息中的本体实际基准点角度和所述本体理想基准点角度计算补偿角度；将所述补偿距离和所述补偿角度确定为补偿位置信息。

在一种可行的实施方式中，所述提取单元具体用于：对所述三维标记点位置图像分别进行目标操作点的位置坐标提取和目标物体的表面的位置坐标提取，得到目标操作点的位置坐标和物体表面位置坐标；通过所述目标操作点的位置坐标和所述物体表面位置坐标进行运算，得到高度坐标。

在一种可行的实施方式中，所述第二计算模块包括：获取单元，用于获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，所述目标操作点图像为所述二维相机位于基于所述补偿距离和所述补偿角度调整后的位置，对所述目标物体的目标部位的表面进行拍摄所得的图像；识别单元，用于对所述目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标。

在一种可行的实施方式中，所述获取单元具体用于：控制预置的机械臂或移动底盘，基于所述补偿距离和所述补偿角度进行运动，以使得二维相机的相机理想基准点垂直于柜体表面之间的距离为相机理想基准点距离，所述二维相机的相机理想基准点垂直于柜体表面之间的角度为相机理想基准点角度，得到基于所述补偿位置信息调整后的二维相机；控制基于所述补偿位置信息调整后的二维相机，对所述目标物体的目标部位的表面进行拍摄，得到目标操作点图像，并接收基于所述补偿位置信息调整后的二维相机发送的目标操作点图像。

在一种可行的实施方式中，所述识别单元具体用于：通过预设的操作目标，对所述目标操作点图像中操作对象的身份标识进行识别；当识别到所述操作对象的身份标识与所述操作目标相符时，对所述操作点图像中的操作对象依次进行识别和目标操作点坐标提取，得到二维坐标。

在一种可行的实施方式中，所述生成模块具体用于：将所述二维坐标和所述高度坐标进行组合，得到目标操作点的修正三维坐标；或者，将所述二维坐标和所述高度坐标进行合并和世界坐标系转换，得到目标操作点的修正三维坐标。

本发明实施例的第三方面提供了一种巡检操作机器人的目标定位设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述巡检操作机器人的目标定位设备执行上述的巡检操作机器人的目标定位方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的巡检操作机器人的目标定位方法。

本发明提供的技术方案中，获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标；获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标；基于二维坐标和高度坐标生成目标操作点的修正三维坐标，通过三维相机提供基准偏移量精确计算以及操作目标的高度坐标、通过二维相机提供平面精确坐标，从而得到精确的三维坐标位置(即修正三维坐标)，实现了操作目标的精确定位，解决了巡检操作机器人无法对操作目标进行准确定位的问题。

附图说明

图1为本发明实施例中巡检操作机器人的目标定位方法的一个实施例示意图；

图2为本发明实施例中巡检操作机器人的目标定位方法的另一个实施例示意图；

图3为本发明实施例中标定后的本体理想基准点和相机理想基准点位置的一个结构示意图；

图4为本发明实施例中标定后的本体理想基准点和相机理想基准点位置的一个位置示意图；

图5为本发明实施例中机器人本体的本体实际基准点的一个位置示意图；

图6为本发明实施例中当通过调整机械臂的方式进行修正时的相机补偿量计算方法对应的一个实施例示意图；

图7为本发明实施例中当通过调整机器人本体的方式进行修正时的相机补偿量计算方法对应的一个实施例示意图；

图8为本发明实施例中通过调整机械臂的方式进行修正后的一个位置示意图；

图9为本发明实施例中通过调整机器人本体的方式进行修正后的一个位置示意图；

图10为本发明实施例中巡检操作机器人的目标定位装置的一个实施例示意图；

图11为本发明实施例中巡检操作机器人的目标定位装置的另一个实施例示意图；

图12为本发明实施例中巡检操作机器人的目标定位设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种巡检操作机器人的目标定位方法、装置、设备及存储介质，解决了巡检操作机器人无法对操作目标进行准确定位的问题。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，图1是本发明实施例提供的一种本发明实施例中巡检操作机器人的目标定位方法的示意图，本发明实施例中巡检操作机器人的目标定位方法的一个实施例包括：

S101、获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，目标操作点为目标物体的任务操作点。

本发明的巡检操作机器人和巡检操作机器人的目标定位方法可适用于工业、轨道交通和发电厂等，在此不做具体的限定，例如，轨道交通中，巡检操作机器人可为轨道智能巡检操作机器人，通过轨道智能巡检操作机器人，结合三维相机和二维相机，对各轨道设备进行精确识别、精确定位和对应的精确操作。本发明的巡检操作机器人对应操作的目标物体可为电气设备和非电气设备，电气设备如：变电站内某处的开关柜上的按钮、开关等，在此不做具体的限定。为了便于说明，作为示例而非限定的是，本实施例中的目标物体以电气设备为例进行说明。

作为示例而非限定的是，本发明以巡检操作机器人作为巡检操作机器人的目标定位方法的执行主体进行说明。

其中，操作任务的预设的电气设备的表面(一个或一个以上的表面)上设置有一个或一个以上的标记点。巡检操作机器人设有三维相机。巡检操作机器人通过控制器按照既定的行走路径将巡检操作机器人导航至电气设备的预设位置处，以使得标记点出现在三维(3dimensin，3D)相机的视觉范围内。电气设备为操作任务中的操作目标所在的设备，即目标物体为操作任务中的操作目标所在的物体。

巡检操作机器人通过控制器发送第一摄像指令至三维相机，三维相机接收到第一摄像指令后，基于第一摄像指令对电气设备的表面上的目标标记点部位进行拍摄，得到三维标记点位置图像，并将三维标记点位置图像返回至控制器，其中，目标标记点部位用于指示电气设备的包括标记点在内的部分柜体或全部柜体的表面，三维标记点位置图像包括目标标记点部位的像素坐标(三维相机坐标)。

控制器接收到三维相机发送的三维标记点位置图像后，对三维标记点位置图像进行机器人本体的实际基准点垂直于目标物体的表面的之间的位置信息计算，得到实际基准点位置信息；获取机器人本体的本体理想基准点垂直于目标物体的表面之间的理想基准点位置信息；通过实际基准点位置信息和理想基准点位置信息计算补偿位置信息。

巡检操作机器人通过控制器对三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，高度坐标用于指示目标操作点相对于电气设备(目标物体)的表面之间的距离位置，例如，电气设备为电气柜，操作目标为电气柜的柜门上的门锁，目标操作点位于门锁上，则高度坐标为目标操作点与柜门表面之间的深度位置。

S102、获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标。

巡检操作机器设有二维相机、机械本体和机械臂。巡检操作机器人通过控制器发送第一运动指令至机器人本体或机械臂，机器人本体或机械臂接收到第一运动指令后，基于补偿位置信息进行运动，以使得二维(2dimensin，2D)相机位于相机理想基准点，此时，二维相机与目标物体的表面平行；发送第二拍摄指令至二维相机，二维相机接收到第二拍摄指令后，对电气设备的目标部位的表面进行拍摄得到目标操作点图像，并将目标操作点图像返回至控制器，其中，电气设备的目标部位为包括操作目标在内的部分或全部电气设备的表面。

巡检操作机器人通过控制器调用预置的图像处理算法对目标操作点图像依次进行图像处理、操作目标识别、操作点识别、坐标提取和世界坐标系转换，得到目标操作点的二维坐标。

S103、基于二维坐标和高度坐标生成目标操作点的修正三维坐标。

巡检操作机器人通过控制器将二维坐标和高度坐标进行组合(或合并)并生成对应的三维坐标，从而得到目标操作点的修正三维坐标，即将控制器将二维坐标和高度坐标合并和转换为世界坐标系，从而得到目标操作点的修正三维坐标。通过综合二维坐标和高度坐标确定操作目标上目标操作点的精确三维坐标位置，提高了对操作目标(目标操作点)的定位的准确性，保证了巡检操作机器人的操作的准确性。

本发明实施例中，获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标；获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标；基于二维坐标和高度坐标生成目标操作点的修正三维坐标，通过三维相机提供基准偏移量精确计算以及操作目标的高度坐标、通过二维相机提供平面精确坐标，从而得到精确的三维坐标位置(即修正三维坐标)，实现了操作目标的精确定位，解决了巡检操作机器人无法对操作目标进行准确定位的问题。

请参阅图2，本发明实施例中巡检操作机器人的目标定位方法的另一个实施例包括：

S201、获取本体理想基准点信息，并接收三维相机发送的三维标记点位置图像。

本发明的巡检操作机器人和巡检操作机器人的目标定位方法可适用于油气运输业、工业、轨道交通和发电厂等，在此不做具体的限定，例如，油气运输业中，巡检操作机器人可为油井智能巡检操作机器人，通过油井智能巡检操作机器人，结合双目摄像头、三维相机和二维相机，对油井内各类仪表设备进行精确识别、精确定位和对应的精确操作。本发明的巡检操作机器人对应操作的目标物体可为电气设备和非电气设备，电气设备如：变电站内某处的电气柜上的按钮、开关等，在此不做具体的限定。

为了便于说明，作为示例而非限定的是，本实施例中的目标物体以电气设备中的电气柜、目标物体的表面为柜体表面进行说明。电气柜为操作任务中的操作目标所在的设备，即目标物体为操作任务中的操作目标所在的物体，目标物体的表面可为操作目标所在的柜体表面，即柜体表面。巡检操作机器人设有三维相机、二维相机、机械臂、移动底盘、控制器和机器人本体。控制器包括第一控制模块、第二控制模块、第三控制模块和第四控制模块。

具体的，巡检操作机器人对三维相机进行标定，以使得本体理想基准点垂直于目标物体的表面；提取标定后的机器人本体的本体理想基准点垂直于目标物体的表面之间的本体理想基准点距离和本体理想基准点角度，得到本体理想基准点信息；接收标定后的三维相机发送的三维标记点位置图像，三维标记点位置图像为三维相机对目标物体的目标标记点部位进行拍摄所得的图像。

在电气柜的柜体表面(表面的数量为一个或一个以上的表面)上设置标记点(标记点的数量为一个或一个以上)，获取操作目标的目标操作点相对于标记点的相对三维坐标位置，并将相对三维坐标位置记录到控制器中，进一步地，将相对三维坐标位置记录到控制器的第一控制模块中，可通过相对三维坐标位置对三维相机和二维相机进行标定。

对三维相机和二维相机进行标定，使得三维相机和二维相机均对目标操作点具有较好的拍摄效果。对三维相机和二维相机进行标定后对应的机器人本体的本体理想基准点垂直于柜体表面之间的距离为本体理想基准点距离a，角度为本体理想基准点角度b，本实施例中的本体理想基准点角度b可为90°；对三维相机和二维相机进行标定后对应的二维相机1300的相机理想基准点垂直于柜体表面之间的距离为相机理想基准点距离c、角度为相机理想基准点角度d，本实施例中的相机理想基准点角度d可为90°，本体理想基准点距离a大于相机理想基准点距离c，其中，不同的目标操作点(操作目标)，其距离和角度也不相同，需根据具体的目标操作点(操作目标)进行标定确定，进一步地，机器人本体的本体理想基准点可位于三维相机上。如图3和图4所示，图3为标定后的本体理想基准点和相机理想基准点位置的一个结构示意图，图4为标定后的本体理想基准点和相机理想基准点位置的一个位置示意图。

巡检操作机器人通过第一控制模块根据操作任务的内容，发送引导指令给第四控制模块，第四控制模块根据引导指令控制预置的移动底盘通过激光导航按照既定的行走路径，将巡检操作机器人移动到电气柜(目标物体)的目标位置处，使得电气柜上的待操作的表面的标记点出现在三维相机的视觉范围内。巡检操作机器人通过第一控制模块发送第一拍摄指令至三维相机，三维相机基于第一拍摄指令对电气柜的目标标记点部位进行拍摄，得到三维标记点位置图像，并将三维标记点位置图像发送至第一控制模块，其中，目标标记点部位用于指示电气柜的包括标记点在内的部分柜体或全部柜体的表面，即目标标记点部位用于指示目标物体的包括标记点在内的部分柜体或全部物体的表面。

S202、通过三维标记点位置图像和本体理想基准点信息，计算补偿位置信息，补偿位置信息包括补偿距离和补偿角度。

具体的，巡检操作机器人基于所述三维标记点位置图像计算机器人本体实际位置信息，所述机器人本体实际位置信息包括所述机器人本体的本体实际基准点垂直于所述目标物体的表面之间的本体实际基准点距离和本体实际基准点角度；基于所述本体理想基准点信息中的本体理想基准点距离与所述本体实际基准点距离计算补偿距离；基于所述本体理想基准点信息中的本体实际基准点角度和所述本体理想基准点角度计算补偿角度；将所述补偿距离和所述补偿角度确定为补偿位置信息。

第一控制模块接收到三维标记点位置图像后，调用预置的光度立体算法，对三维标记点位置图像进行三维坐标重建、三维表面的局部梯度计算和三维表面的局部梯度信息整合，得到柜体表面的平面法向量(即目标物体的表面的平面法向量)，第一控制模块通过柜体表面的平面法向量计算机器人本体的本体实际基准点垂直于柜体表面(即目标物体的表面)之间的本体实际基准点距离a₀和本体实际基准点角度b₀，从而得到机器人本体实际位置信息，其中，机器人本体1100的本体实际基准点如图5所示，图5为机器人本体的本体实际基准点的一个位置示意图。如图6所示，图6为当通过调整机械臂的方式进行修正时的相机补偿量计算方法对应的一个实施例示意图，当通过调整机械臂的方式进行修正时，此时，相机实际基准点与相机理想基准点产生偏差，巡检操作机器人通过第一控制模块计算本体理想基准点距离a和实际基准点距离a₀差值，得到补偿距离a₁，a₁＝a-a₀，补偿距离a₁用于指示机械臂所需运动的补偿距离，补偿距离a₁相当于相机理想基准点和相机实际基准点之间的距离，计算本体理想基准点角度(90°)和本体实际基准点角度b₀的差值，得到补偿角度b₁，其中，b₁＝90°-b₀。如图7所示，图7为当通过调整机器人本体的方式进行修正时的相机补偿量计算方法对应的一个实施例示意图，当通过调整机器人本体的方式进行修正时，此时，本体实际基准点与本体理想基准点产生偏差，巡检操作机器人1000通过第一控制模块计算本体理想基准点距离a和本体实际基准点距离a₀差值，得到补偿距离a₂，a₂＝a-a₀，补偿距离a₂用于指示机器人本体(移动底盘)所需运动的补偿距离，计算本体理想基准点角度(90°)和本体实际基准点角度b₀的差值，得到补偿角度b₂，其中，b₂＝90°-b₀，从而得到补偿位置信息。

S203、对三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，目标操作点为目标物体的任务操作点，高度坐标用于指示目标操作点相对于目标物体的表面之间的距离位置。

具体的，巡检操作机器人对三维标记点位置图像分别进行目标操作点的位置坐标提取和目标物体的表面的位置坐标提取，得到目标操作点的位置坐标和物体表面位置坐标；通过目标操作点的位置坐标和物体表面位置坐标进行运算，得到高度坐标。

巡检操作机器人通过第一控制模块对三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，高度坐标用于指示操作目标的操作点相对于电气柜的柜体表面(目标物体的表面)之间的距离位置。进一步地，巡检操作机器人通过第一控制模块调用预置的图像处理算法对三维标记点位置图像依次进行图像处理、目标操作点位置识别、坐标提取和世界坐标系转换，得到目标操作点的位置坐标，并对三维标记点位置图像进行目标物体的表面的位置识别和坐标提取，得到物体表面位置坐标，通过计算操作点位置坐标和物体表面位置坐标之间的坐标差值，得到高度坐标。

S204、获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标。

具体的，巡检操作机器人获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，目标操作点图像为二维相机位于基于补偿距离和补偿角度调整后的位置，对目标物体的目标部位的表面进行拍摄所得的图像；对目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标。

巡检操作机器人获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，目标操作点图像为二维相机位于基于补偿距离和补偿角度调整后的位置，对目标物体的目标部位的表面进行拍摄所得的图像；对目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标。具体的，巡检操作机器人控制预置的机械臂或移动底盘，基于补偿距离和补偿角度进行运动，以使得二维相机的相机理想基准点垂直于柜体表面之间的距离为相机理想基准点距离，二维相机的相机理想基准点垂直于柜体表面之间的角度为相机理想基准点角度，得到基于补偿位置信息调整后的二维相机；控制基于补偿位置信息调整后的二维相机，对目标物体的目标部位的表面进行拍摄，得到目标操作点图像，并接收基于补偿位置信息调整后的二维相机发送的目标操作点图像。

如图8所示，图8为通过调整机械臂的方式进行修正后的一个位置示意图。机械臂包括第一机械臂和第二机械臂，二维相机包括第一二维相机和第二二维相机。当通过调整机械臂的方式进行修正时，巡检操作机器人通过第一控制模块发送包含补偿距离a₁和补偿角度b₀的第一调整指令给第二控制模块或第三控制模块，第二控制模块根据第一调整指令控制第一机械臂的第一二维相机基于补偿距离a₁和补偿角度b₁运动，进而使得相机理想基准点垂直于柜体表面之间的距离为c、角度为90°，或者第三控制模块根据第一调整指令控制第二机械臂上的第二二维相机基于补偿距离a₁和补偿角度b₁运动，进而使得相机理想基准点垂直于柜体表面之间的距离为c、角度为90°。此时，二维相机(第一二维相机和/或第二二维相机)位于相机理想基准点。

如图9所示，图9为通过调整机器人本体的方式进行修正后的一个位置示意图，当通过调整机器人本体的方式进行修正时，巡检操作机器人通过第一控制模块发送包含补偿距离a₁和补偿角度b₂的第二调整指令给第四控制模块，第四控制模块根据第二调整指令控制移动底盘(机器本人体)基于补偿距离a₂和补偿角度b₂运动，使得相机理想基准点垂直于柜体表面之间的距离为c、角度为90°，此时，二维相机(第一二维相机和/或第二二维相机)位于相机理想基准点，二维相机(第一二维相机和/或第二二维相机)的拍摄视角范围与柜体表面平行。

巡检操作机器人通过第一控制模块发送第二拍摄指令给位于相机理想基准点的二维相机，位于相机理想基准点的二维相机基于第二拍摄指令对电气柜的柜体(目标物体)的目标部位的表面进行拍摄得到目标操作点图像，并将目标操作点图像发送至第一控制模块，其中，目标部位为包括操作目标在内的部分或全部柜体(物体)的表面。

巡检操作机器人对目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标。具体的，巡检操作机器人通过预设的操作目标，对目标操作点图像中操作对象的身份标识进行识别；当识别到操作对象的身份标识与操作目标相符时，对操作点图像中的操作对象依次进行识别和目标操作点坐标提取，得到二维坐标。

巡检操作机器人通过第一控制模块通过预设的操作目标(操作任务中的操作目标)对目标操作点图像中操作对应的身份标识进行识别，本实施例中的身份标识为二维码，当识别到二维码的信息与操作目标相符时，对目标操作点图像中的操作对象依次进行识别和目标操作点坐标提取，得到目标操作点的二维坐标。

S205、基于二维坐标和高度坐标生成目标操作点的修正三维坐标。

具体的，巡检操作机器人将二维坐标和高度坐标进行组合，得到目标操作点的修正三维坐标；或者，将二维坐标和高度坐标进行合并和世界坐标系转换，得到目标操作点的修正三维坐标。

巡检操作机器人通过控制器将二维坐标和高度坐标进行组合(或合并)并生成对应的三维坐标，从而得到目标操作点的修正三维坐标，即将控制器将二维坐标和高度坐标合并和转换为世界坐标系，从而得到目标操作点的修正三维坐标。通过综合二维坐标和高度坐标确定目标操作点(操作目标)的精确三维坐标位置，提高了对目标操作点(操作目标)的定位的准确性，保证了巡检操作机器人的操作的准确性。

本发明实施例中，通过三维相机提供基准偏移量精确计算以及操作目标的高度坐标、通过二维相机提供平面精确坐标，从而得到精确的三维坐标位置(即修正三维坐标)，实现了操作目标的精确定位，通过调整机械臂和调整本体两种位置修正方法进行三维坐标修正以及操作前确认操作目标，解决了巡检操作机器人无法对操作目标进行准确定位的问题。

上面对本发明实施例中巡检操作机器人的目标定位方法进行了描述，下面对本发明实施例中巡检操作机器人的目标定位装置进行描述，请参阅图10，本发明实施例中巡检操作机器人的目标定位装置一个实施例包括：

第一计算模块110，用于获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，目标操作点为目标物体的任务操作点；

第二计算模块120，用于获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标；

生成模块130，用于基于二维坐标和高度坐标生成目标操作点的修正三维坐标。

上述巡检操作机器人的目标定位装置中各个模块的功能实现与上述巡检操作机器人的目标定位方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

本发明实施例中，获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标；获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标；基于二维坐标和高度坐标生成目标操作点的修正三维坐标，通过三维相机提供基准偏移量精确计算以及操作目标的高度坐标、通过二维相机提供平面精确坐标，从而得到精确的三维坐标位置(即修正三维坐标)，实现了操作目标的精确定位，解决了巡检操作机器人无法对操作目标进行准确定位的问题。

请参阅图11，本发明实施例中巡检操作机器人的目标定位装置的另一个实施例包括：

第一计算模块110，用于获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，目标操作点为目标物体的任务操作点；

其中，第一计算模块110具体包括：

接收单元111，用于获取本体理想基准点信息，并接收三维相机发送的三维标记点位置图像；

计算单元112，用于通过三维标记点位置图像和本体理想基准点信息，计算补偿位置信息，补偿位置信息包括补偿距离和补偿角度；

提取单元113，用于对三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，目标操作点为目标物体的任务操作点，高度坐标用于指示目标操作点相对于目标物体的表面之间的距离位置。

第二计算模块120，用于获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，并基于目标操作点图像计算目标操作点的二维坐标；

生成模块130，用于基于二维坐标和高度坐标生成目标操作点的修正三维坐标。

可选的，接收单元111还可以具体用于：

对三维相机进行标定，以使得本体理想基准点垂直于目标物体的表面；

提取标定后的机器人本体的本体理想基准点垂直于目标物体的表面之间的本体理想基准点距离和本体理想基准点角度，得到本体理想基准点信息；

接收标定后的三维相机发送的三维标记点位置图像，三维标记点位置图像为三维相机对目标物体的目标标记点部位进行拍摄所得的图像。

可选的，计算单元112还可以具体用于：

基于三维标记点位置图像计算机器人本体实际位置信息，机器人本体实际位置信息包括机器人本体的本体实际基准点垂直于目标物体的表面之间的本体实际基准点距离和本体实际基准点角度；

基于本体理想基准点信息中的本体理想基准点距离与本体实际基准点距离计算补偿距离；

基于本体理想基准点信息中的本体实际基准点角度和本体理想基准点角度计算补偿角度；

将补偿距离和补偿角度确定为补偿位置信息。

可选的，提取单元113还可以具体用于：

对三维标记点位置图像分别进行目标操作点的位置坐标提取和目标物体的表面的位置坐标提取，得到目标操作点的位置坐标和物体表面位置坐标；

通过目标操作点的位置坐标和物体表面位置坐标进行运算，得到高度坐标。

可选的，第二计算模块120包括：

获取单元121，用于获取二维相机基于补偿位置信息调整后拍摄的目标操作点图像，目标操作点图像为二维相机位于基于补偿距离和补偿角度调整后的位置，对目标物体的目标部位的表面进行拍摄所得的图像；

识别单元122，用于对目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标。

可选的，获取单元121还可以具体用于：

控制预置的机械臂或移动底盘，基于补偿距离和补偿角度进行运动，以使得二维相机的相机理想基准点垂直于柜体表面之间的距离为相机理想基准点距离，二维相机的相机理想基准点垂直于柜体表面之间的角度为相机理想基准点角度，得到基于补偿位置信息调整后的二维相机；

控制基于补偿位置信息调整后的二维相机，对目标物体的目标部位的表面进行拍摄，得到目标操作点图像，并接收基于补偿位置信息调整后的二维相机发送的目标操作点图像。

可选的，识别单元122还可以具体用于：

通过预设的操作目标，对目标操作点图像中操作对象的身份标识进行识别；

当识别到操作对象的身份标识与操作目标相符时，对操作点图像中的操作对象依次进行识别和目标操作点坐标提取，得到二维坐标。

可选的，生成模块130还可以具体用于：

将二维坐标和高度坐标进行组合，得到目标操作点的修正三维坐标；

或者，将二维坐标和高度坐标进行合并和世界坐标系转换，得到目标操作点的修正三维坐标。

本发明实施例中，通过三维相机提供基准偏移量精确计算以及操作目标的高度坐标、通过二维相机提供平面精确坐标，从而得到精确的三维坐标位置(即修正三维坐标)，实现了操作目标的精确定位，通过调整机械臂和调整本体两种位置修正方法进行三维坐标修正以及操作前确认操作目标，解决了巡检操作机器人无法对操作目标进行准确定位的问题。

上面图10和图11从模块化功能实体的角度对本发明实施例中的巡检操作机器人的目标定位装置进行详细描述，下面从硬件处理的角度对本发明实施例中巡检操作机器人的目标定位设备进行详细描述。

图12是本发明实施例提供的一种巡检操作机器人的目标定位设备的结构示意图，该巡检操作机器人的目标定位设备1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)1210(例如，一个或一个以上处理器)和存储器1220，一个或一个以上存储应用程序1233或数据1232的存储介质1230(例如一个或一个以上海量存储设备)。其中，存储器1220和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对巡检操作机器人的目标定位设备1200中的一系列指令操作。更进一步地，处理器1210可以设置为与存储介质1230通信，在巡检操作机器人的目标定位设备1200上执行存储介质1230中的一系列指令操作。

巡检操作机器人的目标定位设备1200还可以包括一个或一个以上电源1240，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1260，和/或，一个或一个以上操作系统1231，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图12示出的巡检操作机器人的目标定位设备结构并不构成对巡检操作机器人的目标定位设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行巡检操作机器人的目标定位方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种巡检操作机器人的目标定位方法，其特征在于，所述巡检操作机器人的目标定位方法包括：

获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于所述三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，所述目标操作点为所述目标物体的任务操作点；

获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，并基于所述目标操作点图像计算所述目标操作点的二维坐标；

基于所述二维坐标和所述高度坐标生成所述目标操作点的修正三维坐标。

2.根据权利要求1所述的巡检操作机器人的目标定位方法，其特征在于，所述获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于所述三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，所述目标操作点为所述目标物体的任务操作点，包括：

获取本体理想基准点信息，并接收三维相机发送的三维标记点位置图像；

通过所述三维标记点位置图像和所述本体理想基准点信息，计算补偿位置信息，所述补偿位置信息包括补偿距离和补偿角度；

对所述三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，所述目标操作点为所述目标物体的任务操作点，所述高度坐标用于指示所述目标操作点相对于所述目标物体的表面之间的距离位置。

3.根据权利要求2所述的巡检操作机器人的目标定位方法，其特征在于，所述获取本体理想基准点信息，并接收三维相机发送的三维标记点位置图像，包括：

对三维相机进行标定，以使得本体理想基准点垂直于所述目标物体的表面；

提取标定后的机器人本体的本体理想基准点垂直于所述目标物体的表面之间的本体理想基准点距离和本体理想基准点角度，得到本体理想基准点信息；

接收标定后的三维相机发送的三维标记点位置图像，所述三维标记点位置图像为所述三维相机对目标物体的目标标记点部位进行拍摄所得的图像。

4.根据权利要求2所述的巡检操作机器人的目标定位方法，其特征在于，所述通过所述三维标记点位置图像和所述本体理想基准点信息，计算补偿位置信息，所述补偿位置信息包括补偿距离和补偿角度，包括：

基于所述三维标记点位置图像计算机器人本体实际位置信息，所述机器人本体实际位置信息包括所述机器人本体的本体实际基准点垂直于所述目标物体的表面之间的本体实际基准点距离和本体实际基准点角度；

基于所述本体理想基准点信息中的本体理想基准点距离与所述本体实际基准点距离计算补偿距离；

基于所述本体理想基准点信息中的本体实际基准点角度和所述本体理想基准点角度计算补偿角度；

将所述补偿距离和所述补偿角度确定为补偿位置信息。

5.根据权利要求2所述的巡检操作机器人的目标定位方法，其特征在于，所述对所述三维标记点位置图像进行目标操作点的目标相机坐标提取，得到高度坐标，所述目标操作点为所述目标物体的任务操作点，所述高度坐标用于指示所述目标操作点相对于所述目标物体的表面之间的距离位置，包括：

对所述三维标记点位置图像分别进行目标操作点的位置坐标提取和目标物体的表面的位置坐标提取，得到目标操作点的位置坐标和物体表面位置坐标；

通过所述目标操作点的位置坐标和所述物体表面位置坐标进行运算，得到高度坐标。

6.根据权利要求2所述的巡检操作机器人的目标定位方法，其特征在于，所述获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，并基于所述目标操作点图像计算所述目标操作点的二维坐标，包括：

获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，所述目标操作点图像为所述二维相机位于基于所述补偿距离和所述补偿角度调整后的位置，对所述目标物体的目标部位的表面进行拍摄所得的图像；

对所述目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标。

7.根据权利要求6所述的巡检操作机器人的目标定位方法，其特征在于，所述获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，所述目标操作点图像为所述二维相机位于基于所述补偿距离和所述补偿角度调整后的位置，对所述目标物体的目标部位的表面进行拍摄所得的图像，包括：

控制预置的机械臂或移动底盘，基于所述补偿距离和所述补偿角度进行运动，以使得二维相机的相机理想基准点垂直于柜体表面之间的距离为相机理想基准点距离，所述二维相机的相机理想基准点垂直于柜体表面之间的角度为相机理想基准点角度，得到基于所述补偿位置信息调整后的二维相机；

控制基于所述补偿位置信息调整后的二维相机，对所述目标物体的目标部位的表面进行拍摄，得到目标操作点图像，并接收基于所述补偿位置信息调整后的二维相机发送的目标操作点图像。

8.根据权利要求6所述的巡检操作机器人的目标定位方法，其特征在于，所述对所述目标操作点图像依次进行身份标识识别和目标操作点坐标提取，得到二维坐标，包括：

通过预设的操作目标，对所述目标操作点图像中操作对象的身份标识进行识别；

当识别到所述操作对象的身份标识与所述操作目标相符时，对所述操作点图像中的操作对象依次进行识别和目标操作点坐标提取，得到二维坐标。

9.根据权利要求1-8中任一项所述的巡检操作机器人的目标定位方法，其特征在于，所述基于所述二维坐标和所述高度坐标生成所述目标操作点的修正三维坐标，包括：

将所述二维坐标和所述高度坐标进行组合，得到目标操作点的修正三维坐标；

或者，将所述二维坐标和所述高度坐标进行合并和世界坐标系转换，得到目标操作点的修正三维坐标。

10.一种巡检操作机器人的目标定位装置，其特征在于，所述巡检操作机器人的目标定位装置包括：

第一计算模块，用于获取三维相机对目标物体的目标标记点部位进行拍摄所得的三维标记点位置图像，并基于所述三维标记点位置图像，计算补偿位置信息和提取目标操作点的高度坐标，所述目标操作点为所述目标物体的任务操作点；

第二计算模块，用于获取二维相机基于所述补偿位置信息调整后拍摄的目标操作点图像，并基于所述目标操作点图像计算所述目标操作点的二维坐标；

生成模块，用于基于所述二维坐标和所述高度坐标生成所述目标操作点的修正三维坐标。

11.一种巡检操作机器人的目标定位设备，其特征在于，所述巡检操作机器人的目标定位设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述巡检操作机器人的目标定位设备执行如权利要求1-9中任意一项所述的巡检操作机器人的目标定位方法。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述巡检操作机器人的目标定位方法。

Images