CN111083376A - 确定目标物安装位置的方法、系统、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种确定目标物安装位置的方法、系统、装置以及电子设备。所述方法包括：基于相机拍摄的第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整；对所述机械臂的转角进行第二调整；基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移；基于所述距离偏移确定所述待安装目标物的安装位置。通过上述方法，使得机械臂的转动角度和移动距离都经过精确计算，使得目标物安装时，可以获得更好的、精度更高的安装效果。

Description

确定目标物安装位置的方法、系统、装置以及电子设备

技术领域

本申请属于机器视觉技术领域，具体涉及一种确定目标物安装位置的方法、系统、装置、电子设备及存储介质。

背景技术

随着建筑行业的不断发展，对帮助建筑作业的可移动安装设备越来越受到建筑行业的欢迎，目前，在一些建筑中，需要对目标物进行安装，由于地面存在高低差，可移动安装设备安装目标物的精度还不高。

发明内容

鉴于上述问题，本申请提出了一种确定目标物安装位置的方法、系统、装置、电子设备以及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种确定目标物安装位置的方法，该方法包括：基于相机拍摄的第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移；对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度；基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像；基于所述距离偏移确定所述待安装目标物的安装位置。

第二方面，本申请实施例提供了一种确定目标物安装位置的装置，该装置包括：第一边缘特征获取单元，用于基于相机拍摄的第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；第二角度偏移获取单元，用于根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移；第三角度偏移获取单元，用于对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度；距离偏移获取单元，用于基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像；安装位置获取单元，用于基于所述距离偏移确定所述待安装目标物的安装位置。

第三方面，本申请实施例提供了一种确定目标物安装位置的系统，所述系统包括上位机和安装设备，所述安装设备配置有机械臂以及安装在所述机械臂上的相机；所述安装设备，用于触发所述相机拍摄的第一目标图像；所述上位机，用于基于所述第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；还用于根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，基于所述第一角度偏移，对承载所述待安装目标物的所述机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移；所述上位机，还用于对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度；所述安装设备，还用于触发所述相机拍摄的第二目标图像，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像；所述上位机，还用于基于所述相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，基于所述距离偏移确定所述待安装目标物的安装位置。

第四方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供了一种确定目标物安装位置的方法、系统、装置、电子设备以及存储介质。获取相机拍摄的图像，并从中提取第一边缘特征，根据第一边缘特征与参考边缘特征计算出待安装目标物与参考目标物的角度偏移与距离偏移，再根据待安装目标物与参考目标物的角度偏移与距离偏移调整机械臂的转动角度与移动距离。通过上述方法，使得机械臂的转动角度和移动距离都经过精确计算，使得目标物安装时，目标物之间的平行度和目标物之间的间隙都能得到精确的控制，从而获得更好的、精度更高的安装效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提出的一种确定目标物安装位置方法的流程图；

图2示出了本申请一实施例提出的一种示教的场景示意图；

图3示出了本申请一实施例提出的一种角度偏移计算示意图；

图4示出了本申请一实施例提出的一种距离偏移计算示意图；

图5示出了本申请另一实施例提出的一种确定目标物安装位置方法的流程图；

图6示出了本申请另一实施例提出的一种九点标定方法示意图；

图7示出了本申请再一实施例提出的一种确定目标物安装位置方法的流程图；

图8示出了本申请又一实施例提出的一种确定目标物安装位置系统的结构框图；

图9示出了本申请实施例提出的一种确定目标物安装位置装置的结构框图；

图10示出了本申请实施例提出的一种第二角度偏移单元的结构框图；

图11示出了本申请一实施例提出的一种确定目标物安装位置装置的结构框图；

图12示出了本申请一实施例提出的一种映射关系建立单元的结构框图；

图13示出了本申请实时中的用于执行根据本申请实施例的图像处理方法的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着建筑行业的不断发展，对帮助建筑作业的可移动安装设备越来越受到建筑行业的欢迎，随着可移动安装设备技术的发展，高可靠性、高效率的建筑可移动安装设备已经进入市场，可代替人类从事复杂性和危险性较高的是作业，具备广阔的发展和应用前景。

发明人在对相关确目标物安装位置方法的研究过程中发现，目前，在一些建筑中，需要对目标物进行安装，比如地板。由于地面存在高低差，地板安装可移动安装设备安装地板的精度还不高。

因此，发明人提出了本申请中的通过获取相机拍摄的图像，并从中提取第一边缘特征，根据第一边缘特征与参考边缘特征计算出待安装目标物与参考目标物的角度偏移与距离偏移，再根据待安装目标物与参考目标物的角度偏移与距离偏移调整机械臂的转转动角度与移动距离，使得机械臂的转动角度和移动距离都经过精确计算，使得目标物安装时，目标物之间的平行度和目标物之间的间隙都能得到精确的控制，从而获得更好的、精度更高的安装效果的方法、系统、装置、电子设备及存储介质。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，本申请实施例提供的一种确定目标物安装位置的方法，所述方法包括：

步骤S110：基于相机拍摄的第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征。

随着机器视觉在工业中应用的普及，高精度的工业生产设备对机器视觉提出了高精度和大视野的要求，单相机很难同时做到高精度和大视野，而多相机则可以实现高精度和大视野的要求。

本申请实施例提供一种可移动安装设备，示例性的，可移动安装设备可以为目标物安装可移动安装设备可以包括多个相机、机械臂以及控制器，其中，相机安装在可移动安装设备的机械臂上，或者相机与机械臂独立安装在同一载体上，载体可选择如AGV小车等具有导航移动能力、安全保护以及各种移载功能的运输车。其中，相机可以选择手眼相机或者工业相机。进一步的，在可移动安装设备进行工作之前，可以先调整相机的位置，让相机的靶面平行于参考目标物。

作为一种方式，通过控制器控制可移动安装设备运动至目标物安装点，接着机械臂移动到固定位置抓取木地板并运动到固定拍照位置，触发相机第一次采集参考目标物的图像。其中，所述固定位置可以为目标物堆放处，所述固定拍照位可以为预设的能够使相机获取到目标物边角信息的位置。

进一步的，基于相机第一次采集的参考目标物图像，获取参考目标物的第一边缘特征。

步骤S120：根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移。

作为一种方式，其中，基于示教的方式控制可移动安装设备的机械臂完成一次目标物的安装，通过拍照获取所述示教过程中所安装完成的目标物的图像，获取示教过程中所安装完成的目标物的边缘特征作为参考边缘特征。

作为一种方式，将通过上述方式获取的第一边缘特征与参考边缘特征进行对比，计算两者之间的差值，得到待安装目标物与参考目标物的第一角度偏移，基于第一角度偏移调整承载待安装目标物的可移动安装设备的机械臂的转动角度进行第一次调整，这次调整属于粗调可移动安装设备的机械臂转动角度。

示例性的，如图2所示，通过将目标物放到示教点1、示教点2或者示教点3中进行示教过程，通过示教获取参考目标物的边缘点坐标，其中，线激光倾斜45°打在目标物表面的时候，沿着目标物边缘会发生偏折，通过激光细化算法可以精确找到边缘点。激光细化算法采用的是骨架细化的原理，通过不断的迭代，将原本较粗的激光线细化成一条细线，然后找到细线的端点作为参考目标物的边缘点。如图3所示，先人为示教一个基准位置，通过拍照计算得到基准像素坐标P1和基准像素坐标P2，每当可移动安装设备移动到安装位置的时候，机械臂抓取木板移动到固定拍照位开始拍照，计算得到边缘点像素坐标P3和边缘点像素坐标P4，此时将像素坐标P1、基准像素坐标P2、边缘点像素坐标P3和边缘点像素坐标P4转换为世界坐标P1(x1,y1)、P2(x2,y2)、P3(x3,y3)和P4(x3,y4)，通过四个世界坐标可以计算出角度dR，dR＝arctan((x4-x3)/(y4-y3))-arctan((x1-x2)/(y1-y2))。根据计算出的角度dR对可移动安装设备的机械臂进行第一次调整。由于地面不平，相机表面相对参考目标物会有小幅度倾斜，因此如果AGV小车倾斜较大的话，第一次视觉计算出来的倾斜角度误差也会较大，因此相机第一次采集参考目标物的图像属于粗调倾斜角度。

步骤S130：对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度。

作为一种方式，通过上述方式对可移动安装设备的机械臂进行第一调节后，再利用相机进行第二次采集参考目标物的图像，再通过上述方式获取待安装目标物和参考目标物的第二角度偏移，基于第二角度偏移再次调节可移动安装设备的机械臂的转动角度进行调节，这次调整由于微调可移动安装设备的机械臂转动角度。

步骤S140：基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像。

作为一种方式，根据角度偏移对可移动安装设备的机械臂的转动角度进行调节后，再利用相机第三次采集参考目标物的图像，根据所述图像提取参考目标物的第一边缘特征，将第一边缘特征与参考边缘特征进行比较，计算得到待安装目标物与参考目标物的距离偏移。

示例性的，如图4所示，先人为示教一个基准位置，通过拍照计算得到基准像素坐标P1和基准像素坐标P2，每当可移动安装设备移动到安装位置的时候，机械臂抓取木板移动到固定拍照位开始拍照，计算得到边缘点像素坐标P3和边缘点像素坐标P4，此时将像素坐标P1、基准像素坐标P2、边缘点像素坐标P3和边缘点像素坐标P4转换为世界坐标P1(x1,y1)、P2(x2,y2)、P3(x3,y3)和P4(x3,y4)，通过四个世界坐标，根据两点间距离公式，可以计算到dx1和dx2，取dx1和dx2的平均值作为P1P2到P3P4的距离。

步骤S150：基于所述距离偏移确定所述待安装目标物的安装位置。

作为一种方式，根据上述方式获得距离偏移后，基于距离偏移调整可移动安装设备的机械臂，调整后相当于可移动安装设备的机械臂可以移动到通过示教获得的位置准确安装，其中，可以将相邻目标物的缝隙偏差控制在±0.5mm内。

本申请实施例提供的一种确定目标物安装位置的方法，获取相机拍摄的图像，并从中提取第一边缘特征，根据第一边缘特征与参考边缘特征计算出待安装目标物与参考目标物的角度偏移与距离偏移，再根据待安装目标物与参考目标物的角度偏移与距离偏移调整机械臂的转动角度与移动距离。通过上述方法，使得机械臂的转动角度和移动距离都经过精确计算，使得目标物安装时，目标物之间的平行度和目标物之间的间隙都能得到精确的控制，从而获得更好的、精度更高的安装效果。

请参阅图5，本申请实施例提供的一种确定目标物安装位置的方法，所述方法包括：

步骤S210：建立相机的像素坐标系与机械臂的世界坐标系的映射关系。

作为一种方式，建立相机的像素坐标系与机械臂的世界坐标系的映射关系的步骤包括：操作所述机械臂依次经过所述相机的视野范围内的若干预设位置，并获取所述预设位置在世界坐标系内的坐标以及所述预设位置在像素坐标系内的坐标；根据所述预设位置在像素坐标系内的坐标和所述预设位置在世界坐标系内的坐标，计算得到所述像素坐标系到所述世界坐标系的变换矩阵；基于所述变换矩阵，得到所述像素坐标系与所述世界坐标系之间的映射关系。

目前，视觉系统对可移动安装设备的标定方法有刻度校准法、九点标定法和棋盘格标定法。可以理解的是，本实施例可以通过九点标定的方式，获取像素坐标点以及世界坐标点，通过计算得到像素坐标点和世界坐标点之间的仿射变换矩阵。

如图6所示，九点标定方式是通过操作可移动安装设备的机械臂按照固定距离移动九个点(图6中每一个方框代表一个点)，机械臂每移动到一个点，相机拍一次照，同时并记录机械臂当前坐标和计算图像中固定特征点像素坐标，走完九个点后，计算九个像素坐标点和机械臂走的九个世界坐标点之间的仿射变换矩阵，该矩阵相当于建立起了像素坐标和机械臂坐标之间的转换关系。

可选的，如果相机有两台及以上，则建立相机的像素坐标系与机械臂的世界坐标系的映射关系时，需要将多个相机的像素坐标系映射到同一个世界坐标系中。

首先与机械臂的世界坐标系建立映射关系的相机为第一相机，随后通过第一相机与同一个世界坐标系建立映射关系的第N个相机为第二相机，N可以为2、3或者4，具体过程如下：驱动所述机械臂以使机械臂上的标志物依次经过第一相机的视野范围内的若干第一预设位置，并获取所述第一预设位置在世界坐标系内的坐标以及在第一相机的像素坐标系内的坐标；根据所述第一预设位置在第一相机的像素坐标系内的坐标和所述第一预设位置在世界坐标系内的坐标，计算第一相机的像素坐标系到所述世界坐标系的第一变换矩阵。即如上所述的方法先将第一相机的像素坐标系与机械臂的世界坐标系建立映射关系。

获取第一相机和第二相机视野范围的重合区间内若干个第二预设位置在第一相机的像素坐标系内的坐标和在第二相机的像素坐标系内的坐标。第二预设位置可在第一相机和第二相机视野范围的重合区间内自定义，也可以将一棋盘格标定板置于所述重合区间内，选用棋盘格标定板上的特征点为第二预设位置。

根据所述第二预设位置在第一相机的像素坐标系内的坐标和第二相机的像素坐标系内的坐标，计算第一相机的像素坐标系到第二相机的像素坐标系的第二变换矩阵；再根据所述第一变换矩阵和所述第二变换矩阵计算出第二相机的像素坐标系到上述机械臂的世界坐标系的第三变换矩阵。

至此，所有相机的像素坐标系都能通过各自的变换矩阵转换到一个世界坐标系上。在相机数量在三台以上时，第一相机和第二相机为相邻的两个相机，这样两个相机之间有更大的视野重合范围。

步骤S220：基于所述映射关系，获取所述待安装目标物与所述参考目标物之间的第一角度偏移。

作为一种方式，基于所述映射关系，获取所述待安装目标物与所述参考目标物之间的第一角度偏移的步骤包括：基于所述第一边缘特征，获取所述参考目标物在像素坐标系中的第一像素坐标；基于所述参考边缘特征，获取所述参考目标物在像素坐标系中的第二像素坐标；根据映射关系，基于所述第一像素坐标与所述第二像素坐标，获取所述参考目标物在世界坐标系中的第一世界坐标和第二世界坐标；基于所述第一世界坐标和所述第二世界坐标，获取所述待安装目标物与所述参考目标物之间的第一角度偏移。

可以理解的是，通过九点标定的方式，通过计算得到像素坐标系和世界坐标系之间的仿射变换矩阵，从而得到像素坐标系中的坐标点与世界坐标系中的坐标点的映射关系。进一步的通过所述映射关系，可以将参考目标物在像素坐标系中的像素坐标通过仿射变换矩阵转换为世界坐标系中的世界坐标。

可选的，相机通过第一次采集参考目标物图像获得第一边缘特征，可以通过第一边缘特征得到参考目标物在像素坐标系中的第一像素坐标，将第一像素坐标根据仿射变换矩阵计算得到第一世界坐标；通过同样的方法，可以将通过示教过程获得的参考边缘特征对应的第二像素坐标转换为第二世界坐标。进一步的，通过将第一世界坐标和第二世界坐标做比较，计算得到待安装目标物与参考目标物之间的第一角度偏移。

步骤S230：基于所述第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移。

步骤S240：对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度。

步骤S250：基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像。

可以理解的是，所述第二目标图像为相机第三次拍摄的参考目标物图像。

步骤S260：基于所述距离偏移确定所述待安装目标物的安装位置。

作为一种方式，基于所述距离偏移确定所述待安装目标物的安装位置的步骤包括：将所述第二世界坐标作为所述待安装目标物的参考安装坐标；基于所述参考安装坐标和所述距离偏移确定所述待安装目标物的安装位置。

可以理解的是，第二世界坐标是通过示教获得的待安装目标物的参考安装坐标，通过将三次拍照得到的参考目标物的坐标与参考安装坐标进行比较，计算得到待安装目标物与参考目标物的距离偏移，根据距离偏移和待安装目标物的参考安装坐标确定待安装目标物的安装位置。

本申请实施例提供的一种确定目标物安装位置的方法，建立相机的像素坐标系与机械臂的世界坐标系的映射关系，基于映射关系，获取待安装目标物与参考目标物之间的第一角度偏移，基于第一角度偏移，对承载待安装目标物的机械臂的转角进行第一调整，以使待安装目标物与参考目标物之间的第一角度偏移变换为第二角度偏移，基于相机拍摄的第二目标图像，计算得到待安装目标物与参考目标物的距离偏移，基于距离偏移确定所述待安装目标物的安装位置。通过上述方法，通过多次拍照计算待安装目标物与参考目标物的偏移量，再根据得到的偏移量去调整可移动安装设备的机械臂的转动角度和移动距离，使得能够更精确的安装目标物。

请参阅图7，本申请实施例提供的一种确定目标物安装位置的方法，所述方法包括：

步骤S310：获取相机拍摄的第一目标图像，所述第一目标图像包括所述参考目标物以及待安装目标物的图像。

可以理解的是，要同时获取到参考目标物以及待安装目标物的图像，可以通过调节相机的视野范围来实现。相机的视野范围由相机的工作距离、靶面尺寸和焦距决定。可以通过以下几个方式进行选择：(1)选择具有较大靶面尺寸的相机；(2)选择较小焦距的镜头；(3)增大工作距离。这些因素如果只考虑其一必然都存在一定的缺陷，比如靶面尺寸越大的相机其成本越高，焦距越小的镜头其畸变也越大，而如果工作距离越大，其像素精度也就越低，因此需要综合考虑。

作为一种方式，可以通过将可移动安装设备机械臂下降到一定高度，同时使用焦距较小的镜头，使得相机可以同时拍摄到待安装目标物和参考目标物的图像，省去示教过程，可以提高效率。

步骤S320：基于所述第一目标图像，获取第一边缘特征以及参考边缘特征。

作为一种方式，将相机第一次拍摄的同时包括待安装目标物和参考目标物的图像作为第一目标图像，从图像中可以同时提取到第一边缘特征以及参考边缘特征，其中，所述第一边缘特征为参考目标物的边缘特征，所述参考边缘特征为待安装目标物的边缘特征。

步骤S330：根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移。

作为一种方式，通过将第一边缘特征与参考边缘特征进行对比，计算出待安装目标物与参考目标物之间的第一角度偏移，根据第一角度偏移调整可移动安装设备的机械臂的转动角度；调整好后，再利用相机进行第二次拍照，第二次拍摄的图像也同时包括待安装目标物和参考目标物的图像，根据第二次拍摄的图像再次提取第一边缘特征与参考边缘特征，计算第二角度偏移。

步骤S340：对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度。

作为一种方式，根据通过上述方式获得的第二角度偏移，调整可移动安装设备的机械臂的转动角度。可以理解的是，第二次调整的机械臂的转动幅度小于第一次调整机械臂的转动幅度。

步骤S350：基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像。

作为一种方式，第二次调整好可移动安装设备的机械臂的转动角度后，开始第三次拍照，并对第三次拍摄的图像提取第一边缘特征与参考边缘特征，根据第一边缘特征与参考边缘特征计算待安装目标物与参考目标物的距离偏移，其中，距离偏移包括x方向和y方向上的距离偏差。

步骤S360：基于所述距离偏移确定所述待安装目标物的安装位置。

本申请实施例提供的一种确定目标物安装位置的方法，获取相机拍摄的图像，并从中提取第一边缘特征和参考边缘特征，根据第一边缘特征与参考边缘特征计算出待安装目标物与参考目标物的角度偏移与距离偏移，再根据待安装目标物与参考目标物的角度偏移与距离偏移调整机械臂的转动角度与移动距离。通过上述方法，使得机械臂的转动角度和移动距离都经过精确计算，使得目标物安装时，目标物之间的平行度和目标物之间的间隙都能得到精确的控制，从而获得更好的、精度更高的安装效果。

请参阅图8，本申请实施例提供的一种确定目标物安装位置的系统400，所述系统400包括上位机410和安装设备420，所述安装设备420配置有机械臂以及安装在所述机械臂上的相机；

所述安装设备420，用于触发所述相机拍摄的第一目标图像。

所述上位机410，用于基于所述第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；还用于根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，基于所述第一角度偏移，对承载所述待安装目标物的所述机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移。

所述上位机410，还用于对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度。

所述安装设备420，还用于触发所述相机拍摄的第二目标图像，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像。

所述上位机410，还用于基于所述相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，基于所述距离偏移确定所述待安装目标物的安装位置。

需要说明的是，系统400首先分别对安装设备420的机械臂上的每个相机进行九点标定，然后通过两个相机之间的距离进行映射，建立两个相机之间的世界坐标系关系。进一步的，所述上位机410与安装设备420之间可以通过TCP/IP协议建立通信，上位机410控制安装设备420运动。

请参阅图9，本申请实施例提供的一种确定目标物安装位置的装置500，所述装置500包括：

第一边缘特征获取单元510，用于基于相机拍摄的第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征。

第二角度偏移获取单元520，用于根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移。

第三角度偏移获取单元530，用于对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度。

距离偏移获取单元540，用于基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像。

安装位置获取单元550，用于基于所述距离偏移确定所述待安装目标物的安装位置。

请参阅图10，本申请实施例提供的一种第二角度偏移获取单元520，所述第二角度偏移获取单元520包括：

第一像素坐标获取模块522，用于基于所述第一边缘特征，获取所述参考目标物在像素坐标系中的第一像素坐标。

第二像素坐标获取模块524，用于基于所述参考边缘特征，获取所述参考目标物在像素坐标系中的第二像素坐标。

世界坐标获取模块526，用于根据映射关系，基于所述第一像素坐标与所述第二像素坐标，获取所述参考目标物在世界坐标系中的第一世界坐标和第二世界坐标。

第一角度偏移获取模块528，用于基于所述第一世界坐标和所述第二世界坐标，获取所述待安装目标物与所述参考目标物之间的第一角度偏移。

请参阅图11，本申请实施例提供的一种确定目标物安装位置的装置500还包括映射关系建立单元560，用于建立相机的像素坐标系与机械臂的世界坐标系的映射关系。

请参阅图12，所述映射关系建立单元560包括：

坐标获取模块562，用于操作所述机械臂依次经过所述相机的视野范围内的若干预设位置，并获取所述预设位置在世界坐标系内的坐标以及所述预设位置在像素坐标系内的坐标。

变换矩阵获取模块564，用于根据所述预设位置在像素坐标系内的坐标和所述预设位置在世界坐标系内的坐标，计算得到所述像素坐标系到所述世界坐标系的变换矩阵。

映射关系获取模块566，用于基于所述变换矩阵，得到所述像素坐标系与所述世界坐标系之间的映射关系。

可以理解的是，通过九点标定的方式，坐标获取模块562获取到预设位置在世界坐标系内的坐标以及预设位置在像素坐标系内的坐标，变换矩阵获取模块564通过计算得到像素坐标系和世界坐标系之间的仿射变换矩阵，映射关系获取模块566根据所述仿射变换矩阵得到像素坐标系中的坐标点与世界坐标系中的坐标点的映射关系。进一步的通过所述映射关系，可以将参考目标物在像素坐标系中的像素坐标通过仿射变换矩阵转换为世界坐标系中的世界坐标。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图13对本申请提供的一种电子设备进行说明。

本发明实施例提供了一种确定目标物安装位置的电子设备，该确定目标物安装位置电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的确定目标物安装位置的方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

图13是本发明实施例提供的一种确定目标物安装位置的电子设备的硬件结构框图。如图13所示，该电子设备1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(ProcessingUnits，CPU)1110(处理器1110可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1130，一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中，存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，处理器1110可以设置为与存储介质1120通信，在电子设备1100上执行存储介质1120中的一系列指令操作。电子设备1100还可以包括一个或一个以上电源1160，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1140，和/或，一个或一个以上操作系统1121，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1100的通信供应商提供的无线网络。在一个实例中，输入输出接口1140包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1140可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图13所示的结构仅为示意，其并不对上述确定目标物安装位置的电子设备的结构造成限定。例如，电子设备1100还可包括比图13中所示更多或者更少的组件，或者具有与图13所示不同的配置。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述确定目标物安装位置的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

本申请提供的一种确定目标物安装位置的方法、系统、装置以及电子设备，获取相机拍摄的图像，并从中提取第一边缘特征，根据第一边缘特征与参考边缘特征计算出待安装目标物与参考目标物的角度偏移与距离偏移，再根据待安装目标物与参考目标物的角度偏移与距离偏移调整机械臂的与移动距离。通过上述方法，使得机械臂的转动角度和移动距离都经过精确计算，使得目标物安装时，目标物之间的平行度和目标物之间的间隙都能得到精确的控制，从而获得更好的、精度更高的安装效果。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种确定目标物安装位置的方法，其特征在于，所述方法包括：

基于相机拍摄的第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；

根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移；

对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度；

基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像；

基于所述距离偏移确定所述待安装目标物的安装位置。

2.根据权利要求1所述的方法，其特征在于，所述基于相机拍摄的第一目标图像，获取第一边缘特征之前，还包括：

建立相机的像素坐标系与机械臂的世界坐标系的映射关系；

所述根据所述第一边缘特征与所述参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移包括：

基于所述映射关系，获取所述待安装目标物与所述参考目标物之间的第一角度偏移。

3.根据权利要求2所述的方法，其特征在于，所述建立相机的像素坐标系与机械臂的世界坐标系的映射关系包括：

操作所述机械臂依次经过所述相机的视野范围内的若干预设位置，并获取所述预设位置在世界坐标系内的坐标以及所述预设位置在像素坐标系内的坐标；

根据所述预设位置在像素坐标系内的坐标和所述预设位置在世界坐标系内的坐标，计算得到所述像素坐标系到所述世界坐标系的变换矩阵；

基于所述变换矩阵，得到所述像素坐标系与所述世界坐标系之间的映射关系。

4.根据权利要求2所述的方法，其特征在于，所述基于所述映射关系，获取所述待安装目标物与所述参考目标物之间的第一角度偏移包括：

基于所述第一边缘特征，获取所述参考目标物在像素坐标系中的第一像素坐标；

基于所述参考边缘特征，获取所述参考目标物在像素坐标系中的第二像素坐标；

根据映射关系，基于所述第一像素坐标与所述第二像素坐标，获取所述参考目标物在世界坐标系中的第一世界坐标和第二世界坐标；

基于所述第一世界坐标和所述第二世界坐标，获取所述待安装目标物与所述参考目标物之间的第一角度偏移。

5.根据权利要求4所述的方法，其特征在于，所述基于所述距离偏移确定所述待安装目标物的安装位置包括：

将所述第二世界坐标作为所述待安装目标物的参考安装坐标；

基于所述参考安装坐标和所述距离偏移确定所述待安装目标物的安装位置。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

基于示教的方式控制所述机械臂完成一次目标物的安装，通过拍照获取所述示教过程中所安装完成的目标物的图像，获取所述示教过程中所安装完成的目标物的边缘特征作为参考边缘特征。

7.根据权利要求1-5任一所述的方法，其特征在于，所述第一目标图像包括所述参考目标物以及待安装目标物的图像，所述方法还包括：

基于所述第一目标图像获取所述待安装目标物的图像的边缘特征作为参考边缘特征。

8.一种确定目标物安装位置的系统，其特征在于，所述系统包括上位机和安装设备，所述安装设备配置有机械臂以及安装在所述机械臂上的相机；

所述安装设备，用于触发所述相机拍摄的第一目标图像；

所述上位机，用于基于所述第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；还用于根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，基于所述第一角度偏移，对承载所述待安装目标物的所述机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移；

所述上位机，还用于对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度；

所述安装设备，还用于触发所述相机拍摄的第二目标图像，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像；

所述上位机，还用于基于所述相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，基于所述距离偏移确定所述待安装目标物的安装位置。

9.一种确定目标物安装位置的装置，其特征在于，所述装置包括：

第一边缘特征获取单元，用于基于相机拍摄的第一目标图像，获取第一边缘特征，所述第一边缘特征为参考目标物的边缘特征；

第二角度偏移获取单元，用于根据所述第一边缘特征与参考边缘特征，获取待安装目标物与所述参考目标物之间的第一角度偏移，对承载所述待安装目标物的机械臂的转角进行第一调整，以使所述待安装目标物与所述参考目标物之间的第一角度偏移变换为第二角度偏移；

第三角度偏移获取单元，用于对所述机械臂的转角进行第二调整，以使所述待安装目标物与所述参考目标物之间的第二角度偏移变换为第三角度偏移，所述第二调整的幅度小于所述第一调整的幅度；

距离偏移获取单元，用于基于相机拍摄的第二目标图像，计算得到所述待安装目标物与所述参考目标物的距离偏移，所述第二目标图像为表征所述待安装目标物与所述参考目标物之间呈所述第三角度偏移的图像；

安装位置获取单元，用于基于所述距离偏移确定所述待安装目标物的安装位置。

10.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-7任一所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。

Images