CN113936209A - 巡逻机器人的协同作业方法及相关设备 - Google Patents
巡逻机器人的协同作业方法及相关设备 Download PDFInfo
- Publication number
- CN113936209A CN113936209A CN202111031437.8A CN202111031437A CN113936209A CN 113936209 A CN113936209 A CN 113936209A CN 202111031437 A CN202111031437 A CN 202111031437A CN 113936209 A CN113936209 A CN 113936209A
- Authority
- CN
- China
- Prior art keywords
- patrol
- task
- area
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
本发明实施例提供一种巡逻机器人的协同作业方法，所述方法包括：当检测到巡逻机器人进入到图像设备所在区域时，控制巡逻机器人与所述图像设备建立连接；获取图像设备正在执行的第一作业任务的任务信息；根据第一作业任务的任务信息确定图像设备的有效区域；通过巡逻地图与有效区域，确定巡逻机器人的协同区域；基于协同区域，对巡逻机器人的巡逻路线进行优化，并根据第一作业任务生成协同任务，协同任务包括巡逻任务与第二作业任务，第二作业任务与第一作业任务的任务相同。通过巡逻机器人的自由灵活，在巡逻机器人经过图像设备时，先确定图像设备的协同区域，再对图像设备的协同区域进行任务协同，可以实现对图像设备协同区域的各种监控作业。
Description
技术领域
本发明涉及智能机器人领域，尤其涉及一种巡逻机器人的协同作业方法及相关设备。
背景技术
随着人工智能相关技术不断进步，硬件性能的不断提高，越来越多图像设备端搭载了对应的图像处理模型。受限于图像设备端的安装位置和安装数量，比如摄像头的安装位置固定和安装数量有限，使得摄像头的监控范围是一个有限范围，对于一些盲区是无法进行监控的。
发明内容
本发明实施例提供一种巡逻机器人的协同作业方法，通过巡逻机器人的自由灵活，在巡逻机器人经过图像设备时，巡逻机器人对图像设备的协同区域进行任务协同，完成对图像设备协同区域的各种监控作业。
第一方面，本发明实施例提供一种巡逻机器人的协同作业方法，所述方法包括：
当检测到所述巡逻机器人进入到图像设备所在区域时，控制所述巡逻机器人与所述图像设备建立连接；
获取所述图像设备正在执行的第一作业任务的任务信息；
根据所述第一作业任务的任务信息确定所述图像设备的有效区域；
通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域；
基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，并根据所述第一作业任务生成协同任务，所述协同任务包括巡逻任务与第二作业任务，所述第二作业任务与所述第一作业任务的任务相同。
可选的，在所述根据所述第一作业任务的任务信息确定所述图像设备的有效区域之前，所述方法还包括：
根据所述第一作业任务的任务信息，判断所述第一作业任务是否需要协同；
若所述第一作业任务需要协同，则向管理端申请协同；
当接收到所述管理端的同意申请时，建立所述巡逻机器人与所述图像设备之间的临时协同通道。
可选的，所述第一作业任务的任务信息包括所述图像设备的视野信息，所述根据所述第一作业任务的任务信息确定所述图像设备的有效区域，包括：
获取图像设备所在区域的三维实景地图；
根据所述图像设备的视野信息，确定所述第一作业任务在所述三维实景地图中的视野空间；
通过模拟图像设备对所述视野空间进行模拟拍照，得到模拟图像信息；
获取图像设备中存储的动态图像信息；
根据所述动态图像信息，构建图像背景信息；
将所述图像背景信息与所述模拟图像信息进行误差计算，得到误差参数；
通过所述误差参数对所述视野空间进行修正，将修正后的视野空间作为所述图像设备在所述三维实景地图中的有效区域。
可选的，所述将所述图像背景信息与所述模拟图像信息进行误差计算，得到误差参数，包括：
提取所述背景图像信息中的第一SIFT特征点；
提取所述模拟图像信息中的第二SIFT特征点；
将所述第一SIFT特征点与所述第二SIFT特征点进行匹配，得到SIFT特征点对；
计算所述SIFT特征点对中的所述第一SIFT特征点与所述第二SIFT特征点之间的位置误差；
基于所述位置误差，计算得到误差参数。
可选的，所述通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域，包括：
获取巡逻地图，所述巡逻地图包括巡逻路线与巡逻范围，所述巡逻范围在所述巡逻路线上进行的扩展；
将所述有效区域在所述巡逻地图中进行标记，得到第一标记区域；
将所述图像设备所在区域在所述巡逻地图中进行标记，得到第二标记区域；
计算所述巡逻范围与所述第二标记区域之间的第一交集区域，以及计算所述第一标记区域在所述第二标记区域中的补集区域，其中，所述第一交集区域以及所述补集区域均在所述巡逻地图中；
计算所述第一交集区域与所述补集区域之间的第二交集区域，并将所述第二交集区域作为所述协同区域，其中，所述第二交集区域在所述巡逻地图中。
可选的，所述基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，包括：
计算所述协同区域与所述补集区域之间的交并比；
当所述协同区域与所述补集区域之间的交并比大于或等于预设的交并比阈值时，保持巡逻路线不变；
当所述协同区域与所述补集区域之间的交并比小于预设的交并比阈值时，对所述巡逻路线进行最短路径优化，直至所述巡逻路线不再发生变化。
可选的，所述第一作业任务通过图像处理模型进行执行，所述根据所述第一作业任务生成协同任务，包括：
通过所述临时协同通道，获取所述第一作业任务对应的图像处理模型参数以及历史处理结果，所述历史处理结果包括历史图像以及对应的历史结果；
根据所述第一作业任务对应的图像处理模型参数部署所述第二作业任务对应的图像处理模型；
根据所述历史处理结果对所述第二作业任务对应的图像处理模型进行微调，得到调整好的图像处理模型；
基于所述调整好的图像处理模型以及所述巡逻路线，生成所述协同任务。
第二方面，本发明实施例提供一种巡逻机器人的协同作业装置，所述装置包括：
连接模块，用于当检测到所述巡逻机器人进入到图像设备所在区域时，控制所述巡逻机器人与所述图像设备建立连接；
获取模块，用于获取所述图像设备正在执行的第一作业任务的任务信息；
第一确定模块，用于根据所述第一作业任务的任务信息确定所述图像设备的有效区域；
第二确定模块，用于通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域；
处理模块，用于基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，并根据所述第一作业任务生成协同任务，所述协同任务包括巡逻任务与第二作业任务，所述第二作业任务与所述第一作业任务的任务相同。
第三方面，本发明实施例提供一种巡逻机器人，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的巡逻机器人的协同作业方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的巡逻机器人的协同作业方法中的步骤。
本发明实施例中，当检测到所述巡逻机器人进入到图像设备所在区域时，控制所述巡逻机器人与所述图像设备建立连接；获取图像设备正在执行的第一作业任务的任务信息；根据第一作业任务的任务信息确定图像设备的有效区域；通过巡逻地图与有效区域，确定巡逻机器人的协同区域；基于协同区域，对巡逻机器人的巡逻路线进行优化，并根据第一作业任务生成协同任务，协同任务包括巡逻任务与第二作业任务，第二作业任务与第一作业任务的任务相同。通过巡逻机器人的自由灵活，在巡逻机器人经过图像设备时，先确定图像设备的协同区域，再对图像设备的协同区域进行任务协同，可以实现对图像设备协同区域的各种监控作业。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种巡逻机器人的协同作业方法的流程图；
图2是本发明实施例提供的一种巡逻机器人的协同作业装置的结构示意图；
图3是本发明实施例提供的另一种巡逻机器人的协同作业装置的结构示意图；
图4是本发明实施例提供的一种第一确定模块的结构示意图；
图5是本发明实施例提供的一种第一计算子模块的结构示意图；
图6是本发明实施例提供的一种第二确定模块的结构示意图；
图7是本发明实施例提供的一种处理模块的结构示意图；
图8是本发明实施例提供的另一种处理模块的结构示意图；
图9是本发明实施例提供的一种巡逻机器人的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种巡逻机器人的协同作业方法的流程图，如图1所示，该巡逻机器人的协同作业方法包括以下步骤：
101、当检测到巡逻机器人进入到图像设备所在区域时，控制巡逻机器人与图像设备建立连接。
在本发明实施例中，上述图像设备可以是室外图像设备，上述图像设备为智能图像设备，上述智能图像设备上搭载了对应于所需要场景的图像处理模型，可以用于图像采集和图像处理分析，比如，上述智能图像设备可以是交通摄像头、行人摄像头等，上述交通摄像头可以对车道中的车辆进行车辆检测、车辆识别、车辆属性提取、车牌号识别、车辆违法行为等检测识别任务，上述行人摄像头可以对人行道中的行人进行行人检测、身份识别、行人属性识别等检测识别任务。
可以通过无线连接方式与图像设备建立连接，上述无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
在本发明实施例中，各个图像设备所在区域可以通过地图进行确定，进一步的，上述图像设备所在区域可以通过巡逻地图进行。
具体的，每个巡逻机器人中都存储有巡逻地图，在巡逻地图中，每个图像设备都具有设备标识，该设备标识可以标示有图像设备对应的所在区域，比如，A街道的B点设置有图像设备C，则将A街道作为图像设备C的所在区域，同时，巡逻地图中的设备标识还预先设置了与该图像设备进行连接的连接方式。
当检测到巡逻机器人进入到图像设备的所在区域时，控制巡逻机器人根据巡逻地图中图像设备的设备标识，获取到可以与图像设备建立连接的连接方式，通过该连接方式，巡逻机器人与图像设备进行连接。
102、获取图像设备正在执行的第一作业任务的任务信息。
在本发明实施例中，上述图像设备正在执行的第一作业任务可以是车辆检测、车辆识别、车辆属性提取、车牌号识别、车辆违法行为等检测识别任务，也可以是行人检测、身份识别、行人属性识别等检测识别任务。
在一种可能的实施例中，上述图像设备可搭载多个图像处理模型，可以对应执行不同的作业任务，比如，可以执行机动车的车辆检测、车辆识别、车辆属性提取、车牌号识别、车辆违法行为等其中一项或多项检测识别任务。
上述第一作业任务的任务信息可以包括任务类型、执行该任务所需要的图像设备的视野信息、以及对应作业任务是否需要进行协同的标识。
其中，上述任务类型可以是车辆检测、车辆识别、车辆属性提取、车牌号识别、车辆违法行为等类型，上述任务类型还可以是行人检测、身份识别、行人属性识别等类型。
执行不同任务类型的任务所需要的图像设备的视野信息可能相同，也可能不同，比如，执行车辆检测所需要视野信息与执行车牌号识别的视野信息是不同的，上述图像设备的视野信息可以包括上述图像设备的焦距、图像设备的设置高度以及图像设备的设置角度。
上述对应作业任务是否需要进行协同的标识用于表示该任务是否需要进行协同，比如，对于车道中机动车的车牌号识别，由于需要车辆在一定角度范围内的图像，因此，不适合巡逻机器人进行协同，因此，车牌号识别的任务不需要进行协同，对应的，不需要进行协同的标识可以是0，需要进行协同的标识可以是1。
在一种可能的实施例中，在确定图像设备的有效区域之前，可以根据上述第一作业任务的任务信息，判断上述第一作业任务是否需要协同；若上述第一作业任务需要协同，则向管理端申请协同；当接收到上述管理端的同意申请时，建立巡逻机器人与上述图像设备之间的临时协同通道。若上述第一作业任务不需要协同，则巡逻机器人按原来的巡逻计划进行巡逻。接收到上述管理端的不同意申请时，则巡逻机器人也按原来的巡逻计算进行巡逻。上述临时协同通道用于巡逻机器人与图像设备之间的作业任务数据交互。上述临时协同通道可以是基于短距离高速无线数据传输的通信通道。
进一步的，可以根据上述协同的标识来判断上述第一作业任务中否存在需要协同的作业任务，若存在需要作业任务的协同的标识为1，则该作业任务需要协同，若存在需要作业任务的协同的标识为0，则该作业任务不需要协同。
103、根据第一作业任务的任务信息确定图像设备的有效区域。
在本发明实施例中，上述有效区域可以理解为图像设备拍摄到的区域，上述有效区域与图像设备的焦距、图像设备的设置高度以及图像设备的设置角度相关。
可选的，可以获取图像设备所在区域的三维实景地图；根据上述图像设备的视野信息，确定上述第一作业任务在上述三维实景地图中的视野空间；通过模拟图像设备对上述视野空间进行模拟拍照，得到模拟图像信息；获取图像设备中存储的动态图像信息；根据上述动态图像信息，构建图像背景信息；将上述图像背景信息与上述模拟图像信息进行误差计算，得到误差参数；通过上述误差参数对上述视野空间进行修正，将修正后的视野空间作为上述图像设备在上述三维实景地图中的有效区域。
其中，上述三维实景地图可以是预存储在巡逻机器人上的三维实景地图，上述三维实景地图也可以是巡逻机器人根据环境感知技术利用采集到的环境数据进行生成的。上述三维实景地图还可以是通过网络进行下载得到的实时三维实景地图。
上述图像设备的视野信息包括图像设备的焦距、设置高度以及设置角度。可以根据图像设备的焦距、设置高度以及设置角度在三维实景地图中对图像设备进行模拟，得到模拟相机，根据模拟相机在三维实景地图中采集对应的模拟图片信息。
上述动态图像信息可以是图像设备采集到的视频流信息，可以通过动态背景重建技术，利用上述视频流信息构建图像背景信息。
可选的，上述图像背景信息包括背景图像，上述模拟图像信息包括模拟图像，可以提取上述背景图像信息中的第一SIFT特征点；提取上述模拟图像信息中的第二SIFT特征点；将上述第一SIFT特征点与上述第二SIFT特征点进行匹配，得到SIFT特征点对；计算上述SIFT特征点对中的上述第一SIFT特征点与上述第二SIFT特征点之间的位置误差；基于上述位置误差，计算得到误差参数。
进一步的，可以通过上述误差参数对上述视野空间进行修正，将修正后的视野空间作为上述图像设备在上述三维实景地图中的有效区域。具体的，上述的修正可以如下述式子所述：
Sin＝αnSjn
上述式子中，Sin与Sjn为第n对SIFT特征点对，其中，上述Sin为第一SIFT特征点的位置，上述Sjn为第二SIFT特征点的位置，上述αn为第n对SIFT特征点对的位置误差，上述L(Fj，Hj，Cj)为图像设备的焦距、设置高度以及设置角度的隐函数，表示图像设备的焦距、设置高度以及设置角度与位置误差的隐含关系；上述Fj为最小化位置误差下模拟相机的焦距，上述Hj为最小化位置误差下模拟相机的高度，上述Cj为最小化位置误差下模拟相机的角度。以最小化位置误差
为目标不断迭代上述Fj，Hj和Cj，得到最优化的模拟相机的焦距、高度以及角度。这样可以使得三维实景地图中模拟相机采集到的模拟图像与图像设备采集到图像更接近，可以得到更准确的视野空间，进而得到更准确的有效区域。
104、通过巡逻地图与有效区域，确定巡逻机器人的协同区域。
在本发明实施例中，上述巡逻地图可以是上述整个三维实景地图进行二维投影所得到的二维投影地图，上述有效区域为上述视野空间在三维实景地图的二维投影区域，即上述有效区域是属于巡逻地图上的一个区域。上述协同区域指的是需要巡逻机器人进行协同的区域。
可选的，巡逻机器人可以读取巡逻地图，上述巡逻地图包括巡逻路线与巡逻范围，上述巡逻范围在上述巡逻路线上进行的扩展；将上述有效区域在上述巡逻地图中进行标记，得到第一标记区域；将上述图像设备所在区域在上述巡逻地图中进行标记，得到第二标记区域；计算上述巡逻范围与上述第二标记区域之间的第一交集区域，以及计算上述第一标记区域在上述第二标记区域中的补集区域，其中，上述第一交集区域以及上述补集区域均在上述巡逻地图中；计算上述第一交集区域与上述补集区域之间的第二交集区域，并将上述第二交集区域作为上述协同区域，其中，上述第二交集区域在上述巡逻地图中。
上述巡逻路线可以预先设定的，上述巡逻范围指的是基于上述巡逻路线的巡逻范围，可以理解为在巡逻路线上，巡逻机器人的任务处理范围，也可以理解为巡逻机器人的视野范围。可以根据巡逻机器人的视野范围在巡逻路线上进行扩展，得到巡逻范围。
105、基于协同区域，对巡逻机器人的巡逻路线进行优化，并根据第一作业任务生成协同任务。
在本发明实施例中，上述协同包括巡逻任务与第二作业任务，上述第二作业任务与上述第一作业任务的任务相同。进一步的，第一作业任务包括多个时，第二作业任务与第一作业任务中需要进行协同的作业任务相同。
可选的，上述对巡逻路线进行优化可以计算上述协同区域与上述补集区域之间的交并比；当上述协同区域与上述补集区域之间的交并比大于或等于预设的交并比阈值时，保持巡逻路线不变；当上述协同区域与上述补集区域之间的交并比小于预设的交并比阈值时，则对上述巡逻路线进行最短路径优化，直至上述巡逻路线不再发生变化。
具体的，可以通过随机路径变化进行最短路径优化，在满足上述协同区域与上述补集区域之间的交并比大于或等于预设的交并比阈值的情况下，迭代上述随机路径变化过程，直至上述巡逻路线不再发生变化。
当上述协同区域与上述补集区域之间的交并比大于或等于预设的交并比阈值时，说明巡逻机器人的巡逻范围覆盖较多的上述补集区域，比如，当上述协同区域与上述补集区域之间的交并比为1，则说明上述协同区域与上述补集区域完全重合。当上述协同区域与上述补集区域之间的交并比小于预设的交并比阈值时，则说明巡逻机器人的巡逻范围覆盖较少的上述补集区域，比如，当上述协同区域与上述补集区域之间的交并比为0，则说明上述协同区域与上述补集区域完全分离。
在巡逻机器人的巡逻范围覆盖较少的上述补集区域，说明协同力度较小，此时，可以对巡逻机器人的巡逻路线在图像设备所在区域进行重规划，从而优化巡逻机器人的巡逻路线，增强巡逻机器人对于图像设备的协同力度。
可选的，上述第一作业任务通过图像处理模型进行执行，上述根据上述第一作业任务生成协同任务的过程，具体可以通过上述临时协同通道获取上述第一作业任务的图像处理模型参数，以及历史处理结果，上述历史处理结果包括历史图像以及对应的历史结果；根据上述第一作业任务对应的图像处理模型参数部署上述第二作业任务对应的图像处理模型；根据上述历史处理结果对上述第二作业任务对应的图像处理模型进行微调，得到调整好的图像处理模型；基于调整好的图像处理模型以及上述巡逻路线生成协同任务。通过历史处理结果对上述第二作业任务对应的图像处理模型进行微调，可以很好消除图像设备与巡逻机器人之间的硬件差异，使得上述第二作业任务的图像处理模型的准确率得到保障。需要说明的是，第二作业任务对应的图像处理模型用于执行上述第二作业任务，比如，第一作业任务是行人识别任务，第一作业任务对应的图像处理模型为行为识别模型，则第二作业任务也是行为识别任务，第二作业任务对应的图像处理模型也为行人识别模型，区别在于，第一作业任务是由图像设备对其视野范围内的行人进行行人识别，而第二作业任务是由巡逻机器人对图像设备视野范围外的行人进行行人识别。
其中，在微调过程中，将上述历史图像作为样本，上述历史结果作为标签，将历史图像输入到第二作业任务的图像处理模型中，得到处理结果，计算处理结果与历史结果之间的误差损失，根据上述误差损失，通过反向传播的方式对上述第二作业任务的图像处理模型进行微调。
在得到微调好的第二作业任务的图像处理模型后，巡逻机器人可以将在协同区域采集到的图像通过微调好的第二作业任务的图像处理模型进行处理，并将处理后的结果通过临时协同通道发送到图像设备中。
在本发明实施例中，进入图像设备所在区域时，与所述图像设备建立连接；获取图像设备正在执行的第一作业任务的任务信息；根据所述第一作业任务的任务信息确定所述图像设备的有效区域；通过巡逻地图与所述有效区域，确定协同区域；基于所述协同区域，对巡逻路线进行优化，并生成协同任务，所述协同包括巡逻任务与第二作业任务，所述第二作业任务与所述第一作业任务的任务相同。通过巡逻机器人的自由灵活，在巡逻机器人经过图像设备时，先确定图像设备的协同区域，再对图像设备的协同区域进行任务协同，完成对图像设备协同区域的各种监控作业。
需要说明的是，本发明实施例提供的巡逻机器人的协同作业方法可以应用于可以进行巡逻机器人的协同作业的智能手机、电脑、服务器等设备。
可选的，请参见图2，图2是本发明实施例提供的一种巡逻机器人的协同作业装置的结构示意图，如图2所示，所述装置包括：
连接模块201，用于当检测到所述巡逻机器人进入到图像设备所在区域时，控制所述巡逻机器人与所述图像设备建立连接；
获取模块202，用于获取所述图像设备正在执行的第一作业任务的任务信息；
第一确定模块203，用于根据所述第一作业任务的任务信息确定所述图像设备的有效区域；
第二确定模块204，用于用于通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域；
处理模块205，用于用于基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，并根据所述第一作业任务生成协同任务，所述协同任务包括巡逻任务与第二作业任务，所述第二作业任务与所述第一作业任务的任务相同。
可选的，如图3所示，所述装置还包括：
判断模块206，用于根据所述第一作业任务的任务信息，判断所述第一作业任务是否需要协同；
申请模块207，用于若所述第一作业任务需要协同，则向管理端申请协同；
建立模块208，用于当接收到所述管理端的同意申请时，建立所述巡逻机器人与所述图像设备之间的临时协同通道。
可选的，如图4所示，所述第一作业任务的任务信息包括所述图像设备的视野信息，所述第一确定模块203包括：
第一获取子模块2031，用于获取图像设备所在区域的三维实景地图；
确定子模块2032，用于根据所述图像设备的视野信息，确定所述第一作业任务在所述三维实景地图中的视野空间；
模拟子模块2033，用于通过模拟图像设备对所述视野空间进行模拟拍照，得到模拟图像信息；
第二获取子模块2034，用于获取图像设备中存储的动态图像信息；
构建子模块2035，用于根据所述动态图像信息，构建图像背景信息；
第一计算子模块2036，用于将所述图像背景信息与所述模拟图像信息进行误差计算，得到误差参数；
修正子模块2037，用于通过所述误差参数对所述视野空间进行修正，将修正后的视野空间作为所述图像设备在所述三维实景地图中的有效区域。
可选的，如图5所示，所述第一计算子模块2036包括：
第一提取单元20361，用于提取所述背景图像信息中的第一SIFT特征点；
第二提取单元20362，用于提取所述模拟图像信息中的第二SIFT特征点；
匹配单元20363，用于将所述第一SIFT特征点与所述第二SIFT特征点进行匹配，得到SIFT特征点对；
第一计算单元20364，用于计算所述SIFT特征点对中的所述第一SIFT特征点与所述第二SIFT特征点之间的位置误差；
第二计算单元20365，用于基于所述位置误差，计算得到误差参数。
可选的，如图6所示，所述第二确定模块204包括：
第三获取子模块2041，用于获取巡逻地图，所述巡逻地图包括巡逻路线与巡逻范围，所述巡逻范围在所述巡逻路线上进行的扩展；
第一标记子模块2042，用于将所述有效区域在所述巡逻地图中进行标记，得到第一标记区域；
第二标记子模块2043，用于将所述图像设备所在区域在所述巡逻地图中进行标记，得到第二标记区域；
第二计算子模块2044，用于计算所述巡逻范围与所述第二标记区域之间的第一交集区域；
第三计算子模块2045，用于计算所述第一标记区域在所述第二标记区域中的补集区域，其中，所述第一交集区域以及所述补集区域均在所述巡逻地图中；
第四计算子模块2046，用于计算所述第一交集区域与所述补集区域之间的第二交集区域，并将所述第二交集区域作为所述协同区域，其中，所述第二交集区域在所述巡逻地图中。
可选的，如图7所示，所述处理模块205包括：
第五计算子模块2051，用于计算所述协同区域与所述补集区域之间的交并比；
第一处理子模块2052，用于当所述协同区域与所述补集区域之间的交并比大于或等于预设的交并比阈值时，保持巡逻路线不变；
第二处理子模块2053，用于当所述协同区域与所述补集区域之间的交并比小于预设的交并比阈值时，对所述巡逻路线进行最短路径优化，直至所述巡逻路线不再发生变化。
可选的，如图8所示，所述第一作业任务通过图像处理模型进行执行，所述处理模块205还包括：
第四获取子模块2054，用于通过所述临时协同通道，获取所述第一作业任务对应的图像处理模型参数，以及历史处理结果，所述历史处理结果包括历史图像以及对应的历史结果；
部署子模块2055，用于部署子模块，用于根据所述第一作业任务对应的图像处理模型参数部署所述第二作业任务对应的图像处理模型；
微调子模块2056，用于根据所述历史处理结果对所述第二作业任务对应的图像处理模型进行微调，得到调整好的图像处理模型；
生成子模块2057，用于基于所述调整好的图像处理模型以及所述巡逻路线，生成所述协同任务。
需要说明的是，本发明实施例提供的巡逻机器人的协同作业装置可以应用于可以进行巡逻机器人的协同作业的巡逻机器人以及机器人的外接设备等设备。
本发明实施例提供的巡逻机器人的协同作业装置能够实现上述方法实施例中巡逻机器人的协同作业方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图9，图9是本发明实施例提供的一种巡逻机器人的结构示意图，如图9所示，包括：存储器902、处理器901及存储在所述存储器902上并可在所述处理器901上运行的巡逻机器人的协同作业方法的计算机程序，其中：
处理器901用于调用存储器902存储的计算机程序，执行如下步骤：
当检测到所述巡逻机器人进入到图像设备所在区域时，控制所述巡逻机器人与所述图像设备建立连接；
获取所述图像设备正在执行的第一作业任务的任务信息；
根据所述第一作业任务的任务信息确定所述图像设备的有效区域；
通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域；
基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，并根据所述第一作业任务生成协同任务，所述协同任务包括巡逻任务与第二作业任务，所述第二作业任务与所述第一作业任务的任务相同。
可选的，在所述根据所述第一作业任务的任务信息确定所述图像设备的有效区域之前，处理器901执行的所述方法还包括：
根据所述第一作业任务的任务信息，判断所述第一作业任务是否需要协同；
若所述第一作业任务需要协同，则向管理端申请协同；
当接收到所述管理端的同意申请时，建立所述巡逻机器人与所述图像设备之间的临时协同通道。
可选的，所述第一作业任务的任务信息包括所述图像设备的视野信息，处理器901执行的所述根据所述第一作业任务的任务信息确定所述图像设备的有效区域，包括：
获取图像设备所在区域的三维实景地图；
根据所述图像设备的视野信息，确定所述第一作业任务在所述三维实景地图中的视野空间；
通过模拟图像设备对所述视野空间进行模拟拍照，得到模拟图像信息；
获取图像设备中存储的动态图像信息；
根据所述动态图像信息，构建图像背景信息；
将所述图像背景信息与所述模拟图像信息进行误差计算，得到误差参数；
通过所述误差参数对所述视野空间进行修正，将修正后的视野空间作为所述图像设备在所述三维实景地图中的有效区域。
可选的，处理器901执行的所述将所述图像背景信息与所述模拟图像信息进行误差计算，得到误差参数，包括：
提取所述背景图像信息中的第一SIFT特征点；
提取所述模拟图像信息中的第二SIFT特征点；
将所述第一SIFT特征点与所述第二SIFT特征点进行匹配，得到SIFT特征点对；
计算所述SIFT特征点对中的所述第一SIFT特征点与所述第二SIFT特征点之间的位置误差；
基于所述位置误差，计算得到误差参数。
可选的，处理器901执行的所述通过巡逻地图与所述有效区域，确定协同区域，包括：
获取巡逻地图，所述巡逻地图包括巡逻路线与巡逻范围，所述巡逻范围在所述巡逻路线上进行的扩展；
将所述有效区域在所述巡逻地图中进行标记，得到第一标记区域；
将所述图像设备所在区域在所述巡逻地图中进行标记，得到第二标记区域；
计算所述巡逻范围与所述第二标记区域之间的第一交集区域，以及计算所述第一标记区域在所述第二标记区域中的补集区域，其中，所述第一交集区域以及所述补集区域均在所述巡逻地图中；
计算所述第一交集区域与所述补集区域之间的第二交集区域，并将所述第二交集区域作为所述协同区域，其中，所述第二交集区域在所述巡逻地图中。
可选的，处理器901执行的所述基于所述协同区域，对巡逻路线进行优化，包括：
计算所述协同区域与所述补集区域之间的交并比；
当所述协同区域与所述补集区域之间的交并比大于或等于预设的交并比阈值时，保持巡逻路线不变；
当所述协同区域与所述补集区域之间的交并比小于预设的交并比阈值时，对所述巡逻路线进行最短路径优化，直至所述巡逻路线不再发生变化。
可选的，所述第一作业任务通过图像处理模型进行执行，处理器901执行的所述根据所述第一作业任务生成协同任务，包括：
通过所述临时协同通道，获取所述第一作业任务对应的图像处理模型参数以及历史处理结果，所述历史处理结果包括历史图像以及对应的历史结果；
根据所述第一作业任务对应的图像处理模型参数部署所述第二作业任务对应的图像处理模型；
根据所述历史处理结果对所述第二作业任务对应的图像处理模型进行微调，得到调整好的图像处理模型；
基于所述调整好的图像处理模型以及所述巡逻路线生成所述协同任务。
需要说明的是，本发明实施例提供的电子设备可以应用于可以进行巡逻机器人的协同作业的巡逻机器人以及机器人的外接设备等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中巡逻机器人的协同作业方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的巡逻机器人的协同作业方法或应用端巡逻机器人的协同作业方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种巡逻机器人的协同作业方法，其特征在于，包括以下步骤：
当检测到所述巡逻机器人进入到图像设备所在区域时，控制所述巡逻机器人与所述图像设备建立连接；
获取所述图像设备正在执行的第一作业任务的任务信息；
根据所述第一作业任务的任务信息确定所述图像设备的有效区域；
通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域；
基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，并根据所述第一作业任务生成协同任务，所述协同任务包括巡逻任务与第二作业任务，所述第二作业任务与所述第一作业任务的任务相同。
2.如权利要求1所述的方法，其特征在于，在所述根据所述第一作业任务的任务信息确定所述图像设备的有效区域之前，所述方法还包括：
根据所述第一作业任务的任务信息，判断所述第一作业任务是否需要协同；
若所述第一作业任务需要协同，则向管理端申请协同；
当接收到所述管理端的同意申请时，建立所述巡逻机器人与所述图像设备之间的临时协同通道。
3.如权利要求2所述的方法，其特征在于，所述第一作业任务的任务信息包括所述图像设备的视野信息，所述根据所述第一作业任务的任务信息确定所述图像设备的有效区域，包括：
获取图像设备所在区域的三维实景地图；
根据所述图像设备的视野信息，确定所述第一作业任务在所述三维实景地图中的视野空间；
通过模拟图像设备对所述视野空间进行模拟拍照，得到模拟图像信息；
获取图像设备中存储的动态图像信息；
根据所述动态图像信息，构建图像背景信息；
将所述图像背景信息与所述模拟图像信息进行误差计算，得到误差参数；
通过所述误差参数对所述视野空间进行修正，将修正后的视野空间作为所述图像设备在所述三维实景地图中的有效区域。
4.如权利要求3所述的方法，其特征在于，所述将所述图像背景信息与所述模拟图像信息进行误差计算，得到误差参数，包括：
提取所述背景图像信息中的第一SIFT特征点；
提取所述模拟图像信息中的第二SIFT特征点；
将所述第一SIFT特征点与所述第二SIFT特征点进行匹配，得到SIFT特征点对；
计算所述SIFT特征点对中的所述第一SIFT特征点与所述第二SIFT特征点之间的位置误差；
基于所述位置误差，计算得到误差参数。
5.如权利要求4所述的方法，其特征在于，所述通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域，包括：
获取巡逻地图，所述巡逻地图包括巡逻路线与巡逻范围，所述巡逻范围在所述巡逻路线上进行的扩展；
将所述有效区域在所述巡逻地图中进行标记，得到第一标记区域；
将所述图像设备所在区域在所述巡逻地图中进行标记，得到第二标记区域；
计算所述巡逻范围与所述第二标记区域之间的第一交集区域，以及计算所述第一标记区域在所述第二标记区域中的补集区域，其中，所述第一交集区域以及所述补集区域均在所述巡逻地图中；
计算所述第一交集区域与所述补集区域之间的第二交集区域，并将所述第二交集区域作为所述协同区域，其中，所述第二交集区域在所述巡逻地图中。
6.如权利要求5所述的方法，其特征在于，所述基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，包括：
计算所述协同区域与所述补集区域之间的交并比；
当所述协同区域与所述补集区域之间的交并比大于或等于预设的交并比阈值时，保持巡逻路线不变；
当所述协同区域与所述补集区域之间的交并比小于预设的交并比阈值时，对所述巡逻路线进行最短路径优化，直至所述巡逻路线不再发生变化。
7.如权利要求6所述的方法，其特征在于，所述第一作业任务通过图像处理模型进行执行，所述根据所述第一作业任务生成协同任务，包括：
通过所述临时协同通道，获取所述第一作业任务对应的图像处理模型参数以及历史处理结果，所述历史处理结果包括历史图像以及对应的历史结果；
根据所述第一作业任务对应的图像处理模型参数部署所述第二作业任务对应的图像处理模型；
根据所述历史处理结果对所述第二作业任务对应的图像处理模型进行微调，得到调整好的图像处理模型；
基于所述调整好的图像处理模型以及所述巡逻路线，生成所述协同任务。
8.一种巡逻机器人的协同作业装置，其特征在于，所述装置包括：
连接模块，用于若检测到所述巡逻机器人进入到图像设备所在区域时，控制所述巡逻机器人与所述图像设备建立连接；
获取模块，用于获取所述图像设备正在执行的第一作业任务的任务信息；
第一确定模块，用于根据所述第一作业任务的任务信息确定所述图像设备的有效区域；
第二确定模块，用于通过巡逻地图与所述有效区域，确定所述巡逻机器人的协同区域；
处理模块，用于基于所述协同区域，对所述巡逻机器人的巡逻路线进行优化，并根据所述第一作业任务生成协同任务，所述协同任务包括巡逻任务与第二作业任务，所述第二作业任务与所述第一作业任务的任务相同。
9.一种巡逻机器人，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的巡逻机器人的协同作业方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的巡逻机器人的协同作业方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111031437.8A CN113936209A (zh) | 2021-09-03 | 2021-09-03 | 巡逻机器人的协同作业方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111031437.8A CN113936209A (zh) | 2021-09-03 | 2021-09-03 | 巡逻机器人的协同作业方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113936209A true CN113936209A (zh) | 2022-01-14 |
Family
ID=79274963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111031437.8A Pending CN113936209A (zh) | 2021-09-03 | 2021-09-03 | 巡逻机器人的协同作业方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936209A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114924513A (zh) * | 2022-06-07 | 2022-08-19 | 中迪机器人(盐城)有限公司 | 一种多机器人协同控制系统及方法 |
-
2021
- 2021-09-03 CN CN202111031437.8A patent/CN113936209A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114924513A (zh) * | 2022-06-07 | 2022-08-19 | 中迪机器人(盐城)有限公司 | 一种多机器人协同控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9185402B2 (en) | Traffic camera calibration update utilizing scene analysis | |
| CN108297115B (zh) | 一种机器人的自主重定位方法 | |
| WO2021134325A1 (zh) | 基于无人驾驶技术的障碍物检测方法、装置和计算机设备 | |
| CN111161202A (zh) | 车辆行为信息获取方法、装置、计算机设备和存储介质 | |
| CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
| CN110796104A (zh) | 目标检测方法、装置、存储介质及无人机 | |
| CN109685062A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN113936209A (zh) | 巡逻机器人的协同作业方法及相关设备 | |
| CN113189989B (zh) | 车辆意图预测方法、装置、设备及存储介质 | |
| CN109903308B (zh) | 用于获取信息的方法及装置 | |
| CN112765302A (zh) | 位置信息的处理方法、装置及计算机可读介质 | |
| CN114565952A (zh) | 行人轨迹生成方法、装置、设备和存储介质 | |
| CN110781730A (zh) | 智能驾驶感知方法及感知装置 | |
| CN116107902A (zh) | 测试数据的回灌方法和装置、测试数据的回灌系统 | |
| CN111488762A (zh) | 一种车道级定位方法、装置及定位设备 | |
| CN111738906B (zh) | 室内路网生成方法、装置、存储介质及电子设备 | |
| CN112433193B (zh) | 一种基于多传感器的模位置定位方法及系统 | |
| JP2019095345A (ja) | 物体識別システム | |
| CN113902047A (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| CN114326794A (zh) | 幕墙缺陷的识别方法、控制终端、服务器及可读存储介质 | |
| CN113628251A (zh) | 一种智慧酒店终端监测方法 | |
| CN115035359A (zh) | 一种点云数据处理方法、训练数据处理方法及装置 | |
| CN113643374A (zh) | 基于道路特征的多目相机标定方法、装置、设备和介质 | |
| CN117274843B (zh) | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 | |
| Kanáliková et al. | Parking system with image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |