CN112329530B - 支架的安装状态检测方法、设备及系统 - Google Patents

Abstract

本申请提供一种支架的安装状态检测方法、设备及系统，该方法包括：接收支架检测请求，根据支架检测请求中参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定机器人的第一终点，并确定机器人从当前位置运动至第一终点的第一运动轨迹；将第一运动轨迹发送给机器人；接收机器人发送的第一图像，根据第一图像和预存的目标全景图确定第一图像中每个支架的检测结果；根据检测结果确定机器人下一次进行拍摄的运动轨迹，将下一次进行拍摄的运动轨迹发送给机器人，重复执行直至确定出支架面板图像中所有支架的检测结果，提高了检测效率。

Description

支架的安装状态检测方法、设备及系统

技术领域

本申请涉及计算机视觉技术，尤其涉及一种支架的安装状态检测方法、设备及系统。

背景技术

在飞机、汽车等大型设备中存在大量如导管、导线等的紧固件安装支架，这些支架是否安装正确会影响到设备的安全性，因此，保证支架安装正确就变得尤为重要。

为了保证支架安装正确，目前常用的做法是在支架安装完成后，通过人工检测的方式对每一个支架的安装状态进行检测，并对未安装正确的支架进行维护，以保证全部支架均安装正确。随着计算机视觉技术的发展，相关技术中逐渐开始利用机器人视觉系统对支架安装状态进行检测。

然而，目前的机器人视觉系统缺乏完整主动视觉功能，使用过程中常常需要靠人工调整来重新搜索目标物，效率低下。

发明内容

本申请提供一种支架的安装状态检测方法、设备及系统，提高了检测效率。

第一方面，本申请提供一种支架的安装状态检测方法，应用于服务器，包括：

接收支架检测请求，所述支架检测请求中包括支架面板图像上的参考点的世界坐标，所述支架面板上包括多个支架的图像；

根据所述参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定所述机器人的第一终点，并确定所述机器人从当前位置运动至所述第一终点的第一运动轨迹；

将所述第一运动轨迹发送给所述机器人；

接收所述机器人发送的第一图像，所述第一图像由所述机器人在所述第一运动轨迹的终点处拍摄；所述第一图像中包括所述支架面板上的至少一个支架；根据所述第一图像和预存的目标全景图确定所述第一图像中每个支架的检测结果；所述检测结果为安装正确、安装错误或漏装；所述目标全景图为所述支架面板上的每个支架均安装正确的图片；根据所述检测结果确定所述机器人下一次进行拍摄的运动轨迹，将所述下一次进行拍摄的运动轨迹发送给所述机器人，并将所述下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至确定出所述支架面板上所有支架的检测结果。

在一种可行的实现方式中，根据所述所述参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定所述机器人的第一终点，包括：

根据所述参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定所述支架面板图像中每个支架的正确世界坐标；

根据所述每个支架的正确世界坐标确定所述机器人的第一终点。

在一种可行的实现方式中，所述根据所述检测结果确定所述机器人下一次进行拍摄的运动轨迹，包括：

若所述检测结果为安装正确，则根据所述每个支架的正确世界坐标确定所述机器人的第二终点以及所述机器人从所述第一终端运动至所述第二终点的第二运动轨迹；所述第二终点与所述第一终点不同；

若所述检测结果为安装错误或漏装，则确定与所述第一终点之间的距离小于预设值的第三终点，以及所述机器人从所述第一终端运动至所述第三终点的第三运动轨迹。

在一种可行的实现方式中，所述方法还包括：

接收所述机器人发送的实时运动轨迹状态。

第二方面，本申请提供一种支架的安装状态检测方法，应用于机器人，包括：

拍摄支架面板图像，并根据所支架面板图像确定所述支架面板上的参考点的世界坐标，所述支架面板上包括多个支架；

将所述参考点的世界坐标发送给服务器；

接收所述服务器发送的第一运动轨迹；

按照所述第一运动轨迹从当前位置运动并在所述第一运动轨迹的终点处拍摄第一图像；将所述第一图像发送给所述服务器，所述第一图像中包括所述支架面板上的至少一个支架；所述第一图像用于指示所述服务器根据所述第一图像和预存的目标全景图确定所述第一图像中每个支架的检测结果；所述检测结果为安装正确、安装错误或漏装；所述目标全景图为所述支架面板上的每个支架均安装正确的图片；接收所述服务器发送的下一次拍摄的运动轨迹，并将所述下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至所述服务器确定出所述支架面板上所有支架的检测结果。

在一种可行的实现方式中，所述根据所述支架面板图像确定所述支架面板上的参考点的世界坐标，包括：

根据所述支架面板图像确定所述参考点在相机坐标系下的坐标；

根据所述机器人的运动学模型，将所述参考点在相机坐标系下的坐标转化为所述参考点的世界坐标。

在一种可行的实现方式中，所述方法还包括：

将所述机器人的实时运动轨迹状态发送给所述服务器。

第三方面，本申请提供一种支架的安装状态检测装置，包括：

收发单元，用于接收支架检测请求，所述支架检测请求中包括支架面板上的参考点的世界坐标，所述支架面板上包括多个支架的图像；

处理单元，用于根据所述参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定所述机器人的第一终点，并确定所述机器人从当前位置运动至所述第一终点的第一运动轨迹；

所述收发单元还用于，将所述第一运动轨迹发送给所述机器人；

所述收发单元还用于，接收所述机器人发送的第一图像，所述第一图像由所述机器人在所述第一运动轨迹的终点处拍摄；所述第一图像中包括所述支架面板上的至少一个支架；所述处理单元还用于根据所述第一图像和预存的目标全景图确定所述第一图像中每个支架的检测结果；所述检测结果为安装正确、安装错误或漏装；所述目标全景图为所述支架面板上的每个支架均安装正确的图片；所述处理单元还用于，根据所述检测结果确定所述机器人下一次进行拍摄的运动轨迹，所述收发单元还用于，将所述下一次进行拍摄的运动轨迹发送给所述机器人，并将所述下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至确定出所述支架面板上所有支架的检测结果。

在一种可行的实现方式中，所述处理单元用于：

根据所述参考点的世界坐标和和预存的支架相对于参考点的相对坐标确定所述支架面板图像中每个支架的正确世界坐标；

根据所述每个支架的正确世界坐标确定所述机器人的第一终点。

在一种可行的实现方式中，所述处理单元用于：

若所述检测结果为安装正确，则根据所述每个支架的正确世界坐标确定所述机器人的第二终点以及所述机器人从所述第一终端运动至所述第二终点的第二运动轨迹；所述第二终点与所述第一终点不同；

若所述检测结果为安装错误或漏装，则确定与所述第一终点之间的距离小于预设值的第三终点，以及所述机器人从所述第一终端运动至所述第三终点的第三运动轨迹。

在一种可行的实现方式中，所述收发单元还用于：

接收所述机器人发送的实时运动轨迹状态。

第四方面，本申请提供一种支架的安装状态检测装置，包括：

处理单元，用于拍摄支架面板图像，并根据所述支架面板图像确定所述支架面板上的参考点的世界坐标，所述支架面板上包括多个支架；

收发单元，用于将所述参考点的世界坐标发送给服务器；

所述收发单元还用于，接收所述服务器发送的第一运动轨迹；

所述处理单元还用于，按照所述第一运动轨迹从当前位置运动并在所述第一运动轨迹的终点处拍摄第一图像；所述收发单元还用于将所述第一图像发送给所述服务器，所述第一图像中包括所述支架面板上的至少一个支架；所述第一图像用于指示所述服务器根据所述第一图像和预存的目标全景图确定所述第一图像中每个支架的检测结果；所述检测结果为安装正确、安装错误或漏装；所述目标全景图为所述支架面板上的每个支架均安装正确的图片；所述收发单元还用于接收所述服务器发送的下一次拍摄的运动轨迹，并将所述下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至所述服务器确定出所述支架面板上所有支架的检测结果。

在一种可行的实现方式中，所述处理单元用于：

根据所述支架面板图像确定所述参考点在相机坐标系下的坐标；

根据所述机器人的运动学模型，将所述参考点在相机坐标系下的坐标转化为所述参考点的世界坐标。

在一种可行的实现方式中，所述收发单元还用于：

将所述机器人的实时运动轨迹状态发送给所述服务器。

第五方面，本申请提供一种服务器，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于在计算机程序被执行时，实现如上述第一方面中任一项所述的支架的安装状态检测方法。

第六方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面中任一项所述的方法。

第七方面，本申请提供一种机器人，包括存储器、处理器和拍摄装置；

所述存储器，用于存储计算机程序；

所述处理器，用于在计算机程序被执行时，实现如上述第二方面中任一项所述的支架的安装状态检测方法。

第八方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第二方面中任一项所述的方法。

第九方面，本申请提供一种支架的安装状态检测系统，包括：第五方面所述的服务器和第七方面所述的机器人。

本申请提供一种支架的安装状态检测方法、设备及系统，通过服务器规划机器人的运动轨迹，利用计算机视觉可以鲁棒的识别工业场景中的支架位置，无需人工控制和干预，提高了检测效率。并且采用云离线编程将机器人轨迹规划过程放入云服务器中，提高了机器人的模块化程度，不需要对每个机器人再进行本地离线编程，由云服务器进行云离线编程，面对新任务与场景时，系统的改动小，适用性高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种支架的安装状态检测方法的应用场景图；

图2为本申请提供的一种支架的安装状态检测方法的流程示意图；

图3为本申请提供的一种支架的安装状态检测装置的结构示意图一；

图4为本申请提供的一种支架的安装状态检测装置的结构示意图二

图5为本申请提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在飞机、汽车等大型设备中存在大量如导管、导线等的紧固件安装支架，这些支架是否安装正确会影响到设备的安全性，为了保证支架安装正确，目前常用的做法是在支架安装完成后，通过人工检测的方式对每一个支架的安装状态进行检测，并对未安装正确的支架进行维护，以保证全部支架均安装正确。随着计算机视觉技术的发展，相关技术中逐渐开始利用机器人视觉系统对支架安装状态进行检测。然而，目前的机器人视觉系统缺乏主动视觉功能，使用过程中常常需要靠人工调整来重新搜索目标物，效率低下。

为了解决上述问题，本申请提供一种支架的安装状态检测方法，图1为本申请提供的一种支架的安装状态检测方法的应用场景图。图1中支架面板10上安装有多个支架11，用于示例性地表示实际应用中各类设备上的支架。机器人20具有图像获取装置21、控制器22和骨架及外壳23。其中，图像获取装置21可以为相机等摄像装置。控制器22可以包括机器人控制柜、上位机和信号传输装置等，其中，上位机中安装有机器人仿真同步软件，用于将服务器30发送的运动轨迹转化为控制指令，以及获取机器人的状态信息并仿真机器人的运动状态，机器人的状态信息包括但不限于：机器人各个关节的转角、运动速度和载荷信号灯；机器人控制柜用于将控制指令转化为机器人的动作指令，信号传输装置用于与服务器30进行通信，实现命令、信息等的发送和接收等，信号传输装置也可以成为通信装置，通信装置可以使用以太网线、通用串行总线(Universal Serial Bus，USB)数据线、蓝牙等方式进行通信，本申请实施例对此不做限定。服务器30可以为云端服务器。

机器人20在支架面板10前的某一位置拍摄图像，并将图像发送至服务器30，由服务器30判断该图像中的支架的安装状态的检测结果，并进一步根据图像以及该图像中的支架的安装状态的检测结果，确定机器人20的运动轨迹，即机器人20下次拍摄图像时应处的位置，服务器30将运动轨迹发送给机器人20，机器人20按照运动轨迹移动后再次拍摄图像并发送给服务器30，如此循环执行，直至检测完支架面板10上所有支架的安装状态。以下结合实施例对本申请提供的支架的安装状态检测方法进行说明。

图2为本申请提供的一种支架的安装状态检测方法的流程示意图。如图1所示，该方法包括：

S201、机器人拍摄支架面板图像，并根据支架面板图像确定支架面板上的参考点的世界坐标，将参考点的世界坐标发送给服务器。

本步骤中机器人初次拍摄支架面板时，可以初步调节机器人末端执行器，实现初步的粗定位，使用机器人上位机中的工业相机控制程序控制相机到达特定位置后拍摄支架面板正面的支架面板图像。支架面板上包括多个支架，支架面板的指定位置设置有参考点，示例的，该参考点可以为支架面板的指定位置固定的正方形的二维码，支架面板图像中包括了该参考点。

机器人根据支架面板图像确定参考点在相机坐标系下的坐标；并根据机器人的运动学模型，将参考点在相机坐标系下的坐标转化为参考点的世界坐标。

机器人上位机中的相机控制程序在得到支架面板图像后，通过图像处理的方法，得到支架面板图像中的参考点在相机坐标系下的三维坐标。示例的，使用图像处理库OpenCV中的ArUco应用程序编程接口(Application Programming Interface，API)得到该三维坐标。需要说明的是，使用该方法可以对相机的内参与外参进行标定后再进行计算，防止相机镜头畸变带来的误差。

进一步地，机器人上位机根据机器人的运动学模型，将参考点在相机坐标系下的坐标转化为机器人世界坐标系下的世界坐标，并将该世界坐标通过云服务的形式作为支架检测请求的一部分发给服务器。该支架检测请求中还包括了支架面板图像。

S202、服务器根据参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定机器人的第一终点，并确定机器人从当前位置运动至第一终点的第一运动轨迹，将第一运动轨迹发送给机器人。

服务器在得到支架检测请求后，根据参考点的世界坐标和每个支架相对于参考点的相对坐标确定支架面板图像中每个支架的世界坐标，具体的，服务器通过参考点的世界坐标以及预存的支架面板上每个支架对应于参考点的相对坐标，得到每个支架的正确世界坐标，并根据每个支架的正确世界坐标确定机器人的第一终点。

服务器中的运动决策模块针将对支架面板上的所有支架进行路径规划，以使机器人能够拍摄每个支架的图像来确定其安装状态。首先对第一部分支架进行规划，根据每个支架的正确世界坐标选择确定第一终点，规划机器人末端执行器运动至该第一终点，使末端执行器上的相机可以拍摄获得对应的支架图像。需要说明的是，第一部分支架可以为一个支架或多个支架，即服务器可以为一个支架或多个支架规划路径，以使机器人拍摄一个支架或多个支架的图像。服务器中的轨迹规划模块将根据运动决策模块给出的第一终点，确定发送给机器人的第一运动轨迹。

服务器通过最小路径法计算机器人的第一运动轨迹，避开运动场景中的一些的障碍物，包括机器人控制柜，其他机器人等，利用机器人逆运动学的解算，得到运动轨迹中每个点对应的机器人各个关节角度等。本申请中涉及的机器人运动轨迹包括但不限于：机器人运动的末端执行器运动坐标，末端执行器各个位置下的机器人关节转动转角。可选的，服务器将第一运动轨迹的轨迹离散点通过云服务形式实时分步传输至机器人上位机的同步仿真程序，同步仿真程序只能得到实时情况下的部分轨迹信息。

S203、机器人按照第一运动轨迹从当前位置运动并在第一运动轨迹的终点处拍摄第一图像，将第一图像发送给服务器，第一图像中包括支架面板上的至少一个支架。

第一图像用于指示服务器根据第一图像和预存的目标全景图确定第一图像中每个支架的安装状态。

机器人上位机的同步仿真程序中得到当前的第一运动轨迹后，将轨迹离散点信息转化为控制指令，并发送给机器人控制柜，机器人控制柜将控制指令转化为运动指令后，控制机器人运动至第一运动轨迹的终点。

机器人运动至第一运动轨迹的终点，机器人末端的相机拍摄第一图像，第一图像中包括支架面板上的至少一个支架。该第一图像用于使服务器确定该位置是否存在支架以及支架是否安装正确。需要说明的是，第一图像可以是RGB图像，也可以是RGB-D图像，本申请实施例对此不做限定。可选的，机器人上位机将拍摄的第一图像以云服务的方式发送至服务器的计算机视觉模块。

可选的，在机器人运动过程中，机器人控制柜与上位机通信，使得上位机中的同步仿真程序中的机器人运动与机器人实时运动轨迹状态一致。同时，上位机将机器人的实时运动轨迹状态发送给服务器，保证服务器端的仿真运动与真实机器人的运动一致，从而服务器能够在机器人发生异常停机时可以重新进行运动轨迹规划。

S204、服务器根据第一图像和预存的目标全景图确定第一图像中每个支架的检测结果；检测结果为安装正确、安装错误或漏装；目标全景图为支架面板上的每个支架均安装正确的图片。

服务器可以采用计算机视觉模块对第一图像进行图像处理，结合目标全景图对比安装状态，以确认第一图像的支架是否安装正确。目标全景图是指预设的支架面板上全部支架正确安装时的图片，目标全景图可以存储在预先构建的支架安装状态检索数据库中，该数据库中包含多个支架面板下的正确安装支架的图像。

可选的，服务器使用实例分割算法对第一图像进行图像处理，得到第一图像中的支架在第一图像中的位置，以及对应支架的掩膜，并利用对应支架的掩膜得到安装状态。将第一图像中的支架的安装状态，与目标全景图中对应支架的安装状态进行匹配，确定第一图像中的支架的检测结果。

若第一图像中的支架的安装状态与目标全景图中对应支架的安装状态匹配，则检测结果为安装正确；若第一图像中的支架的安装状态与目标全景图中对应支架的安装状态不匹配，则检测结果为安装错误或漏装。

第一图像中的支架的安装状态与目标全景图中的对应支架的安装状态相匹配是指各个支架的安装型号、安装位置和安装姿态均匹配；第一图像中的支架的安装状态与目标全景图中的对应支架的安装状态不匹配是指，安装型号、安装位置和安装姿态中任一个或多个不匹配。

安装正确是指，安装的数量一致、安装的型号匹配、安装位置和安装姿态均正确，安装位置是指相比于目标全景图中的安装位置正确，安装姿态是指支架正反安装姿态是否正确，是否可以提供固定功能。

示例地，若安装型号不匹配，则确定支架的型号错误，需要重新替换安装正确型号的支架；若安装位置不匹配，则确定支架安装位置有偏差，需要对安装位置进行调整；若安装姿态不匹配，则确定支架的安装方向、角度等不正确，需要进行调整。

需要说明的是，使用实例分割算法需要使用大量图像训练，以得到较好的分割效果，在本申请实施例中，对图像的训练方法以及训练图像的生成方法不做限定。

可选的，服务器的计算机视觉模块将检测结果以云服务的形式发送至服务器的运动决策模块。

S205、服务器根据检测结果确定机器人下一次进行拍摄的运动轨迹，将下一次进行拍摄的运动轨迹发送给机器人。

在服务器的计算机视觉模块将第一图像中每个支架的检测结果返回给服务器的运动决策模块后，运动决策模块将根据检测结果来确定机器人下一次进行拍摄的运动轨迹。若检测结果为安装正确，则服务器将会对拍摄下一个支架的运动轨迹进行规划，若检测结果为安装错误或漏装，则在上次的拍摄点附近重新对该支架进行拍摄以再次确定安装状态。同时服务器可以将检测结果存储，用于生成支架检测报告，或者在可视化平台中显示。

若检测结果为安装正确，则根据每个支架的正确世界坐标确定机器人的第二终点以及机器人从第一终端运动至第二终点的第二运动轨迹；第二终点与第一终点不同；若安装状态为安装错误或漏装，则确定与第一终点之间的距离小于预设值的第三终点，以及机器人从第一终端运动至第三终点的第三运动轨迹。其中，第二运动轨迹即拍摄第一图像中的支架以外的其他支架的运动轨迹，第三运动轨迹为重新拍摄第一图像中的支架的运动轨迹，也就是在第一终点附近再次拍摄第一图像中的支架的运动轨迹。

S206、机器人将下一次进行拍摄的运动轨迹作为新的第一运动轨迹，并且机器人和服务器重复执行S203-S206，直至服务器确定出支架面板上所有支架的安装状态。

机器人将下一次进行拍摄的运动轨迹作为新的第一运动轨迹，运动至新的第一运动轨迹的终点，并在新的第一运动轨迹的终点再次拍摄新的图像，将新的图像发送至服务器，服务器对新的图像中的支架的安装状态进行识别后再次规划下一次拍摄的运动轨迹，直至检测完支架面板上的所有支架。

本申请实施例提供的支架的安装状态检测方法，利用计算机视觉可以鲁棒的识别工业场景中的支架位置，无需人工控制和干预，提高了检测效率。并且采用云离线编程将机器人轨迹规划过程放入云服务器中，提高了机器人的模块化程度，不需要对每个机器人再进行本地离线编程，由云服务器进行云离线编程，面对新任务与场景时，系统的改动小，适用性高。

本申请实施例提供的支架的安装状态检测方法，可以应用于航空装配产业，用于自动化检测飞机装配空间内面板上固定线缆的支架，通过该方法，能充分利用机器人工作，减少机器人的非工作时间，当对下一任务进行编程时，无需在机器人本地部署编程算法，就可以变更工作任务，此外，在遇到异常机器人停机后，可以自动的继续工作，有利于在实际产线中的应用。

图3为本申请提供的一种支架的安装状态检测装置的结构示意图一。如图3所示，支架的安装状态检测装置300包括：

收发单元301，用于接收支架检测请求，支架检测请求中包括支架面板上的参考点的世界坐标，支架面板上包括多个支架；

处理单元302，用于根据参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定机器人的第一终点，并确定机器人从当前位置运动至第一终点的第一运动轨迹；

收发单元301还用于，将第一运动轨迹发送给机器人；

收发单元301还用于，接收机器人发送的第一图像，第一图像由机器人在第一运动轨迹的终点处拍摄；第一图像中包括支架面板上的至少一个支架；处理单元302还用于根据第一图像和预存的目标全景图确定第一图像中每个支架的安装状态；安装状态为安装正确、安装错误或漏装；目标全景图为支架面板上的每个支架均安装正确的图片；处理单元302还用于，根据安装状态确定机器人下一次进行拍摄的运动轨迹，收发单元301还用于，将下一次进行拍摄的运动轨迹发送给机器人，并将下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至确定出支架面板上所有支架的安装状态。

在一种可行的实现方式中，处理单元302用于：

根据参考点的世界坐标和预存的每个支架相对于参考点的相对坐标确定待检测的每个支架的正确世界坐标；

根据每个支架的正确世界坐标确定机器人的第一终点。

在一种可行的实现方式中，处理单元302用于：

若安装状态为安装正确，则根据每个支架的正确世界坐标确定机器人的第二终点以及机器人从第一终端运动至第二终点的第二运动轨迹；第二终点与第一终点不同；

若安装状态为安装错误或漏装，则确定与第一终点之间的距离小于预设值的第三终点，以及机器人从第一终端运动至第三终点的第二运动轨迹。

在一种可行的实现方式中，收发单元301还用于：

接收机器人发送的实时运动轨迹状态。

本实施例的装置，可以用于执行图2所示实施例中服务器执行的方法，其实现原理和技术效果类似，此处不再赘述。

图4为本申请提供的一种支架的安装状态检测装置的结构示意图二。如图4所示，支架的安装状态检测装置400包括：

处理单元401，用于拍摄支架面板图像，并根据支架面板图像确定支架面板上的参考点的世界坐标，支架面板上包括多个支架；

收发单元402，用于将参考点的世界坐标发送给服务器；

收发单元402还用于，接收服务器发送的第一运动轨迹；

处理单元401还用于，按照第一运动轨迹从当前位置运动并在第一运动轨迹的终点处拍摄第一图像；收发单元402还用于将第一图像发送给服务器，第一图像中包括支架面板上的至少一个支架；第一图像用于指示服务器根据第一图像和预存的目标全景图确定每个支架的安装状态；安装状态为安装正确、安装错误或漏装；目标全景图为支架面板上的每个支架均安装正确的图片；收发单元402还用于接收服务器发送的下一次拍摄的运动轨迹，并将下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至服务器确定出支架面板上所有支架的安装状态。

在一种可行的实现方式中，处理单元401用于：

根据支架面板图像确定参考点在相机坐标系下的坐标；

根据机器人的运动学模型，将参考点在相机坐标系下的坐标转化为参考点的世界坐标。

在一种可行的实现方式中，收发单元402还用于：

将机器人的实时运动轨迹状态发送给服务器。

图5为本申请提供的一种电子设备的结构示意图。如图5所示，电子设备500包括：存储器501、处理器502和收发器503；存储器501、处理器502和收发器503通过总线504连接。

存储器501，用于存储计算机程序；

处理器502，用于在计算机程序被执行时，实现如图2所示实施例中服务器或机器人执行的方法。

本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如图2所示实施例中服务器或机器人执行的方法。

本申请还提供一种支架的安装状态检测系统，包括：如图2所示实施例中的服务器和机器人。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种支架的安装状态检测方法，应用于服务器，其特征在于，包括：

接收支架检测请求，所述支架检测请求中包括支架面板上的参考点的世界坐标，所述支架面板上包括多个支架；

根据所述参考点的世界坐标和预存的每个支架相对于所述参考点的相对坐标确定所述每个支架的正确世界坐标；根据所述每个支架的正确世界坐标确定机器人的第一终点，并确定所述机器人从当前位置运动至所述第一终点的第一运动轨迹；

将所述第一运动轨迹发送给所述机器人；

接收所述机器人发送的第一图像，所述第一图像由所述机器人在所述第一运动轨迹的终点处拍摄；所述第一图像中包括所述支架面板上的至少一个支架；根据所述第一图像和预存的目标全景图确定所述第一图像中每个支架的检测结果；所述检测结果为安装正确、安装错误或漏装；所述目标全景图为所述支架面板上的每个支架均安装正确的图片；根据所述检测结果确定所述机器人下一次进行拍摄的运动轨迹，将所述下一次进行拍摄的运动轨迹发送给所述机器人，并将所述下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至确定出所述支架面板上所有支架的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述检测结果确定所述机器人下一次进行拍摄的运动轨迹，包括：

若所述检测结果为安装正确，则根据所述每个支架的正确世界坐标确定所述机器人的第二终点以及所述机器人从所述第一终点运动至所述第二终点的第二运动轨迹；所述第二终点与所述第一终点不同；

若所述检测结果为安装错误或漏装，则确定与所述第一终点之间的距离小于预设值的第三终点，以及所述机器人从所述第一终点运动至所述第三终点的第三运动轨迹。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述机器人发送的实时运动轨迹状态。

4.一种支架的安装状态检测方法，应用于机器人，其特征在于，包括：

拍摄支架面板图像，并根据所述支架面板图像确定所述支架面板上的参考点的世界坐标，所述支架面板上包括多个支架；

将所述参考点的世界坐标发送给服务器；

接收所述服务器发送的第一运动轨迹；其中，所述第一运动轨迹的建立过程为：所述服务器根据所述参考点的世界坐标和预存的每个支架相对于所述参考点的相对坐标确定所述每个支架的正确世界坐标；根据所述每个支架的正确世界坐标确定所述机器人的第一终点，并确定所述机器人从当前位置运动至所述第一终点的第一运动轨迹；

按照所述第一运动轨迹从当前位置运动并在所述第一运动轨迹的终点处拍摄第一图像；将所述第一图像发送给所述服务器，所述第一图像中包括所述支架面板上的至少一个支架；所述第一图像用于指示所述服务器根据所述第一图像和预存的目标全景图确定所述第一图像中每个支架的检测结果；所述检测结果为安装正确、安装错误或漏装；所述目标全景图为所述支架面板上的每个支架均安装正确的图片；接收所述服务器发送的下一次拍摄的运动轨迹，并将所述下一次进行拍摄的运动轨迹作为新的第一运动轨迹，重复执行此步骤，直至所述服务器确定出所述支架面板上所有支架的检测结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述支架面板图像确定所述支架面板上的参考点的世界坐标，包括：

根据所述支架面板图像确定所述参考点在相机坐标系下的坐标；

根据所述机器人的运动学模型，将所述参考点在相机坐标系下的坐标转化为所述参考点的世界坐标。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述机器人的实时运动轨迹状态发送给所述服务器。

7.一种服务器，其特征在于，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于在计算机程序被执行时，实现如上述权利要求1-3中任一项所述的支架的安装状态检测方法。

8.一种机器人，其特征在于，包括存储器、处理器和拍摄装置；

所述存储器，用于存储计算机程序；

所述处理器，用于在计算机程序被执行时，实现如上述权利要求4-6中任一项所述的支架的安装状态检测方法。

9.一种支架的安装状态检测系统，其特征在于，包括：权利要求7所述的服务器和权利要求8所述的机器人。

Images