CN116117805A - 巡逻机器人控制方法、装置、电子设备及存储介质 - Google Patents

巡逻机器人控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116117805A
CN116117805A CN202211719931.8A CN202211719931A CN116117805A CN 116117805 A CN116117805 A CN 116117805A CN 202211719931 A CN202211719931 A CN 202211719931A CN 116117805 A CN116117805 A CN 116117805A
Authority
CN
China
Prior art keywords
target
patrol
patrol robot
suspicious
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211719931.8A
Other languages
English (en)
Inventor
程冰
陈俊霖
陈耀沃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202211719931.8A priority Critical patent/CN116117805A/zh
Publication of CN116117805A publication Critical patent/CN116117805A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例提供一种巡逻机器人控制方法,巡逻机器人用于执行森林巡逻任务,方法包括:获取巡逻机器人在执行森林巡逻任务过程中的巡逻图像;对巡逻图像进行目标检测,若检测出可疑目标,则根据可疑目标所在位置确定巡逻机器人的目标观察位置;控制巡逻机器人移动到目标观察位置获取可疑目标的待确认图像,并根据待确认图像确定所述可疑目标是否为预设目标。能够控制巡逻机器人移动到更容易观察可疑目标的位置进行拍照确认,提高了巡逻机器人的检测准确率,进而能够提高巡逻机器人的巡逻效果。

Description

巡逻机器人控制方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理领域,尤其涉及一种巡逻机器人控制方法、装置、电子设备及存储介质。
背景技术
通过巡逻机器人代替护林人员在森林中进行巡逻,可以减少护林人员的巡逻工作量,但是巡逻机器人受感知系统的限制,其感知范围较小,尤其是在森林场景中,存在较多的遮挡物,消防机器人无法做出灵活的应变,比如在远处有烟雾时,护林人员往往会换个较好的观察位置进行确定,而巡逻机器人的巡逻路线是预设好的,在巡逻过程中更依赖于感知精度进行确定,感知精度不够或被遮挡则识别不出或错误识别远处的烟雾,因此,现有的巡逻机器人存在检测准确率低的问题,导致巡逻效果不佳。
发明内容
本发明实施例提供一种巡逻机器人控制方法,旨在解决现有技术中巡逻机器人存在检测准确率低的问题。通过对巡逻图像进行目标检测,在检测到可疑目标时,根据可疑目标的位置确定目标观察位置,控制巡逻机器人移动到目标观察位置对可疑目标进行拍照,进而通过拍照得到的待确认图像确认可疑目标是否为预设目标,能够控制巡逻机器人移动到更容易观察可疑目标的位置进行拍照确认,提高了巡逻机器人的检测准确率,进而能够提高巡逻机器人的巡逻效果。
第一方面,本发明实施例提供一种巡逻机器人控制方法,所述方法包括:
获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;
对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;
控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。
可选的,所述对所述巡逻图像进行目标检测,包括:
通过训练好的目标检测模型对所述巡逻图像进行目标检测,得到目标检测框,所述目标检测框包括目标置信度;
当所述目标检测框的目标置信度大于或等于第一置信度时,则确定检测出预设目标;
当所述目标检测框的目标置信度小于第一置信度阈值且大于或等于第二置信度阈值时,则确定检测出可疑目标,所述第一置信度阈值大于所述第二置信度阈值。
可选的,所述根据所述可疑目标所在位置确定观察位置,包括:
根据所述目标检测框,确定所述可疑目标在图像坐标中的所在位置;
根据所述可疑目标在图像坐标中的所在位置,确定所述可疑目标在真实世界坐标中的所在位置;
根据所述可疑目标在真实世界坐标中的所在位置,确定观察位置。
可选的,所述根据所述可疑目标在图像坐标中的所在位置,确定所述可疑目标在真实世界坐标中的所在位置,包括:
获取所述图像坐标与所述真实世界坐标之间的转换参数;
根据所述转换参数,对所述可疑目标在图像坐标中的所在位置进行转换,得到所述可疑目标在真实世界坐标中的所在位置。
可选的,所述根据所述可疑目标在真实世界坐标中的所在位置,确定所述巡逻机器人的观察位置,包括:
获取所述巡逻机器人在真实世界坐标中的当前位置;
根据所述巡逻机器人在真实世界坐标中的当前位置以及所述可疑目标在真实世界坐标中的所在位置,确定所述巡逻机器人的目标观察位置。
可选的,所述根据所述巡逻机器人的当前位置以及所述可疑目标的真实世界坐标中的所在位置,确定所述巡逻机器人的目标观察位置,包括:
获取巡逻机器人的环境扫描图像;
根据所述环境扫描图像,对所述巡逻机器人的当前环境进行三维建模,得到三维地图;
根据所述可疑目标在真实世界坐标中的所在位置确定所述可疑目标在所述三维地图中的所在位置,以及根据所述巡逻机器人在真实世界坐标中的当前位置确定所述巡逻机器人在所述三维地图中的所在位置;
根据所述可疑目标在所述三维地图中的所在位置以及所述巡逻机器人在所述三维地图中的所在位置,确定所述三维地图中的观察位置;
根据所述三维地图中的观察位置,确定所述巡逻机器人的目标观察位置。
可选的,所述控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,包括:
根据所述巡逻机器人的当前位置以及所述目标观察位置,确定所述巡逻中的临时规划路线;
根据所述临时规划路线,控制所述巡逻机器人移动到所述目标观察位置;
当所述巡逻机器人移动到的目标观察位置时,控制所述巡逻机器人对所述可疑目标进行拍照,以获取所述可疑目标的待确认图像。
第二方面,本发明实施例提供一种巡逻机器人控制装置,所述装置包括:
获取模块,用于获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;
第一确定模块,用于对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;
第二确定模块,用于控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。
第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例提供的巡逻机器人控制方法中的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现发明实施例提供的巡逻机器人控制方法中的步骤。
本发明实施例中,获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。通过对巡逻图像进行目标检测,在检测到可疑目标时,根据可疑目标的位置确定目标观察位置,控制巡逻机器人移动到目标观察位置对可疑目标进行拍照,进而通过拍照得到的待确认图像确认可疑目标是否为预设目标,能够控制巡逻机器人移动到更容易观察可疑目标的位置进行拍照确认,提高了巡逻机器人的检测准确率,进而能够提高巡逻机器人的巡逻效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种巡逻机器人控制方法的流程图;
图2是本发明实施例提供的一种巡逻机器人控制装置的结构示意图;
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1是本发明实施例提供的一种巡逻机器人控制方法的流程图,如图1所示,上述巡逻机器人用于执行森林巡逻任务,该巡逻机器人控制方法包括以下步骤:
101、获取巡逻机器人在执行森林巡逻任务过程中的巡逻图像。
在本发明实施例中,上述巡逻机器人可以是全地形机器人,全地形机器人具备适应各种地形的移动机构,巡逻机器人上设置有图像采集设备,通过图像采集设备进行图像采集。
巡逻机器人可以按巡逻路线在森林中的目标区域进行巡逻,具体的,巡逻机器人中存储有森林巡逻任务,森林巡逻任务中包括巡逻路线,巡逻机器人在执行森林巡逻任务时,控制器会读取巡逻路线转换成对应的控制指令,通过控制指令控制移动机构执行对应的动作。
在巡逻机器人执行巡逻任务过程中,图像采集设备实时采集巡逻路线上的图像,得到巡逻图像。
102、对巡逻图像进行目标检测,若检测出可疑目标,则根据可疑目标所在位置确定巡逻机器人的目标观察位置。
在本发明实施例中,在得到巡逻图像后,可以通过图像处理器对巡逻图像进行目标检测,根据目标检测结果判断是否检测出可疑目标,若检测到可疑目标,则说明当前位置拍摄到的巡逻图像并不能很好的确定可疑目标是否为预设目标。需要说明的是,未检测到可疑目标有两种情况,一种是没有检测到任何目标,一种是检测到的目标直接被确认为预设目标。上述预设目标可以是巡逻任务所要检测的目标,比如烟雾、火焰、泥石流等目标。上述可疑目标可以理解为无法确认为预设目标的目标,可能由于距离、遮挡等原因,使得巡逻图像质量较差,检测到的目标无法直接确认为预设目标,从而被确认为可疑目标,需要通过进一步的确认,才可以确认可疑目标为预设目标或非预设目标。
在检测出可疑目标后,可以根据可疑目标所在位置,以及巡逻机器人的当前位置,确定出适合观察可疑目标的目标观察位置。上述目标观察位置可以是离可疑目标较近且无遮挡的位置。当然,上述目标观察位置偏离规划路线的偏移量被控制在预设范围内。
103、控制巡逻机器人移动到目标观察位置获取可疑目标的待确认图像,并根据待确认图像确定可疑目标是否为预设目标。
在本发明实施例中,在确定目标观察位置后,若目标观察位置不在规划路线上,则可以生成到达目标观察位置的临时规划路线,通过临时规划路线控制巡逻机器人移动到目标观察位置,当巡逻机器人移动到目标观察位置后,控制巡逻机器人通过图像采集设备对可疑目标进行拍照,得到可疑目标的待确认图像。若目标观察位置在规划路线上,则在规划路线上对目标观察位置进行标记,当巡逻机器人移动到标记点时,即可确定巡逻机器人移动到目标观察位置,此时,可以控制巡逻通过图像采集设备对可疑目标进行拍照,得到可疑目标的待确认图像。
在得到可疑目标的待确认图像后,可以对待确认图像进行目标检测,从而根据待确认图像的目标检测结果,确定可疑目标是否为预设目标。在确定可疑目标为预设目标后,可以将预设目标的位置和对应的图像发送到相关森林管理部门,以使相关管理部门及时作出应对。
本发明实施例中,获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。通过对巡逻图像进行目标检测,在检测到可疑目标时,根据可疑目标的位置确定目标观察位置,控制巡逻机器人移动到目标观察位置对可疑目标进行拍照,进而通过拍照得到的待确认图像确认可疑目标是否为预设目标,能够控制巡逻机器人移动到更容易观察可疑目标的位置进行拍照确认,提高了巡逻机器人的检测准确率,进而能够提高巡逻机器人的巡逻效果。
可选的,在对巡逻图像进行目标检测的步骤中,可以通过训练好的目标检测模型对巡逻图像进行目标检测,得到目标检测框,目标检测框包括目标置信度;当目标检测框的目标置信度大于或等于第一置信度时,则确定检测出预设目标;当目标检测框的目标置信度小于第一置信度阈值且大于或等于第二置信度阈值时,则确定检测出可疑目标,第一置信度阈值大于所述第二置信度阈值。
在本发明实施例中,上述目标检测模型可以是基于神经网络的模型,上述目标检测模型可以是基于YOLO系列、ResNet系列、VggNet系列、MobileNet系列等的目标检测模型。可以获取数据集以及初始目标检测模型,数据集中包括样本图像,每个样本图像对应一个标签,初始目标检测模型可以是基于YOLO系列、ResNet系列、VggNet系列、MobileNet系列等的目标检测模型,将样本图像输入到初始目标检测模型中进行处理,得到输出结果,将输出结果与标签进行误差计算,得到输出结果与标签之间的误差损失,以最小化误差损失为优化目标,对初始目标检测模型中的参数进行调整,迭代上述参数调整过程,当迭代次数达到预设次数,或初始目标检测模型在最小化误差损失处理收敛,则停止训练,得到训练好的目标检测模型。
将巡逻图像输入到训练好的目标检测模型中,通过训练好的目标检测模型输出目标检测框,上述目标检测框可以表示为(x,y,w,h,u),其中,(x,y)表示目标检测框的中心位置,w表示目标检测框的宽度,h表示目标检测框的高度,u表示目标检测框为预设目标的目标置信度。
当目标检测框的目标置信度大于或等于第一置信度时,说明目标检测框中的目标为预设目标的概率极大,此时,可以直接确定检测出的目标为预设目标。在确定检测出的目标为预设目标后,可以将预设目标的位置和对应的图像发送到相关森林管理部门,以使相关管理部门及时作出应对。
当目标检测框的目标置信度小于第一置信度阈值且大于或等于第二置信度阈值时,说明目标检测框中的目标为预设目标的概率不大也不小,可能是由于图像质量的原因导致目标置信度在第一置信度阈值与第二置信度阈值之间,此时,可以将目标检测框中的目标作为可疑目标,从而可以确定在巡逻图像中检测出可疑目标。
第一置信度阈值大于第二置信度阈值,当目标检测模型目标置信度小于第二置信度阈值时,说明目标检测框中的目标不是预设目标的概率极大,可以不进行处理。
可选的,在根据可疑目标所在位置确定观察位置的步骤中,可以根据目标检测框,确定可疑目标在图像坐标中的所在位置;根据可疑目标在图像坐标中的所在位置,确定可疑目标在真实世界坐标中的所在位置;根据可疑目标在真实世界坐标中的所在位置,确定观察位置。
在本发明实施例中,上述目标检测框可以表示为(x,y,w,h,u),(x,y)表示目标检测框的中心位置,可以通过目标检测框的中心位置表示可疑目标在图像坐标中的所在位置。
上述图像坐标指的是图像采集设备的坐标系,上述真实世界坐标指的是GPS系统坐标系或北斗系统坐标系,通过坐标系转换算法,可以将可疑目标在图像坐标中的所在位置转换到真实世界坐标中,从而得到可疑目标在真实世界坐标中的所在位置。
得到在真实世界坐标中的所在位置后,可以根据在真实世界坐标中的所在位置,以及巡逻机器人的当前位置,确定出适合观察可疑目标的目标观察位置。上述目标观察位置可以是离可疑目标较近且无遮挡的位置。
可选的,在根据可疑目标在图像坐标中的所在位置,确定可疑目标在真实世界坐标中的所在位置的步骤中,可以获取图像坐标与真实世界坐标之间的转换参数;根据转换参数,对可疑目标在图像坐标中的所在位置进行转换,得到可疑目标在真实世界坐标中的所在位置。
在本发明实施例中,上述图像坐标为一个二维的坐标,上述真实世界坐标为一个三维的坐标,在二维的图像平面上,存在任意一个图像坐标(a,b),对应到三维的真实世界坐标(x,y,z)。图像坐标(a,b)到真实世界坐标(x,y,z)的转换关系如下述式子所示:
Figure BDA0004029440400000081
其中,
Figure BDA0004029440400000082
是图像采集设备的内部参数。
Figure BDA0004029440400000083
是图像采集设备的外部参数。
fx,fy是焦距。cx和cy是图片的中心点。
rij是旋转参数,tx,ty和tz是平移参数。
上述的K和RT则为转换参数。
上述图像采集设备的内部参数为K,上述图像采集设备的外部参数为RT。由于图像采集设备的内部参数K和图像采集设备的安装角度没有关系(内部参数K只跟图像采集设备型号有关)。因此,可以根据图像采集设备的型号在图像采集设备部署之前进行实验标定。比如,在实验室环境,通过已知尺寸的标定板进行实验计算,得到图像采集设备的内部参数K。
外部参数RT是和摄像头安装有关系的,可以通过执行巡逻任务前利用一个或多个参照物进行自动标定,或者在执行巡逻任务过程中利用巡逻机器人自身参照物进行自动标定,比如巡逻机器人的车辆尺寸、巡逻机器人的手臂尺寸等。具体的,可以采用具有固定尺度的标准参照物对外部参数RT进行校正等。
可选的,在根据可疑目标在真实世界坐标中的所在位置,确定巡逻机器人的观察位置的步骤中,可以获取巡逻机器人在真实世界坐标中的当前位置;根据巡逻机器人在真实世界坐标中的当前位置以及可疑目标在真实世界坐标中的所在位置,确定巡逻机器人的目标观察位置。
在本发明实施例中,在得到在真实世界坐标中的所在位置后,可以根据在真实世界坐标中的所在位置,以及巡逻机器人的当前位置,确定出适合观察可疑目标的目标观察位置。上述目标观察位置可以是离可疑目标较近且无遮挡的位置。
具体的,可以确定可疑目标的位置,根据可疑目标的位置与巡逻机器人的当前位置,确定可疑目标到巡逻机器人的距离是否为可疑目标到巡逻机器人规划路线的最小距离,若是,则在可疑目标的位置方向确定出目标观察位置,该目标观察位置可以缩小可疑目标到巡逻机器人的距离,若不是,则将可疑目标到巡逻机器人规划路线的最小距离确定为目标观察点。进一步的,还可以根据目标检测框的宽和高,确定可疑目标的大小,若可疑目标的大小满足预设大小,则可以在规划路线附近寻找高点作为目标观察点,若可疑目标的大小不满足预设大小,则在可疑目标的位置方向确定出目标观察位置,该目标观察位置可以缩小可疑目标到巡逻机器人的距离,从而可以采集到更大尺寸的可疑目标。
可选的,在根据巡逻机器人的当前位置以及可疑目标的真实世界坐标中的所在位置,确定巡逻机器人的目标观察位置的步骤中,可以获取巡逻机器人的环境扫描图像;根据环境扫描图像,对巡逻机器人的当前环境进行三维建模,得到三维地图;根据可疑目标在真实世界坐标中的所在位置确定可疑目标在三维地图中的所在位置,以及根据巡逻机器人在真实世界坐标中的当前位置确定巡逻机器人在三维地图中的所在位置;根据可疑目标在三维地图中的所在位置以及巡逻机器人在三维地图中的所在位置,确定三维地图中的观察位置;根据三维地图中的观察位置,确定巡逻机器人的目标观察位置。
在本发明实施例中,在得到环境扫描图像后,可以通过环境感知算法来得到当前环境信息,根据当前环境信息在三维空间中对环境进行三维建模,得到当前环境对应的三维地图。在得到三维地图后,可以将可疑目标在真实世界坐标中的所在位置映射到三维地图中,以及将巡逻机器人的当前位置映射到三维地图中。
在三维地图中,可以根据可疑目标在三维地图中的所在位置以及巡逻机器人在三维地图中的所在位置,确定可疑目标到巡逻机器人的距离是否为可疑目标到巡逻机器人规划路线的最小距离,若是,则在可疑目标的位置方向确定出多个候选观察位置,该候选观察位置可以缩小可疑目标到巡逻机器人的距离。通过模拟候选观察位置对于可疑目标的观察情况,以偏移距离最小为优化目标,以图像质量满足要求为约束,通过穷举法从候选观察位置中确定出三维地图中的观察位置。根据三维地图中的观察位置映射到真实世界坐标中,得到巡逻机器人的目标观察位置。三维地图的坐标系与真实世界坐标系存在映射关系。
可选的,在控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像的步骤中,可以根据巡逻机器人的当前位置以及目标观察位置,确定巡逻中的临时规划路线;根据临时规划路线,控制巡逻机器人移动到目标观察位置;当巡逻机器人移动到的目标观察位置时,控制巡逻机器人对可疑目标进行拍照,以获取可疑目标的待确认图像。
在本发明实施例中,在确定目标观察位置后,以巡逻机器人的当前位置为起点,以及目标观察位置为终点进行路线规划,得到临时规划路线。控制器将临时规划路线转换成对应的临时控制指令,通过临时控制指令控制移动机构执行对应的动作,从而将巡逻机器人移动到目标观察位置。当巡逻机器人移动目标观察位置后,控制巡逻机器对可疑目标进行高清拍照,从而得到图像质量较高的可疑目标的待确认图像。
在得到待确认图像后,对待确认图像进行目标检测,当目标检测结果中目标置信度大于或等于第一置信度阈值时,说明可疑目标为预设目标,当目标置信度小于第二围住度阈值时,说明可疑目标为非预设目标。当目标检测框的目标置信度小于第一置信度阈值且大于或等于第二置信度阈值时,则根据待确认图像寻找新的目标观察位置,直到确定可疑目标为非预设目标或预设目标为止。
需要说明的是,本发明实施例提供的巡逻机器人控制方法可以应用于可以进行巡逻机器人控制方法的智能摄像头、智能手机、电脑、服务器等设备。
可选的,请参见图2,图2是本发明实施例提供的一种巡逻机器人控制装置的结构示意图,如图2所示,所述装置包括:
获取模块201,用于获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;
第一确定模块202,用于对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;
第二确定模块203,用于控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。
可选的,所述第一确定模块202,包括:
检测子模块,用于通过训练好的目标检测模型对所述巡逻图像进行目标检测,得到目标检测框,所述目标检测框包括目标置信度;
第一确定子模块,用于当所述目标检测框的目标置信度大于或等于第一置信度时,则确定检测出预设目标;
第二确定子模块,用于当所述目标检测框的目标置信度小于第一置信度阈值且大于或等于第二置信度阈值时,则确定检测出可疑目标,所述第一置信度阈值大于所述第二置信度阈值。
可选的,所述第一确定模块202,包括:
第三确定子模块,用于根据所述目标检测框,确定所述可疑目标在图像坐标中的所在位置;
第四确定子模块,用于根据所述可疑目标在图像坐标中的所在位置,确定所述可疑目标在真实世界坐标中的所在位置;
第五确定子模块,用于根据所述可疑目标在真实世界坐标中的所在位置,确定观察位置。
可选的,所述第四确定子模块,包括:
第一获取单元,用于获取所述图像坐标与所述真实世界坐标之间的转换参数;
转换单元,用于根据所述转换参数,对所述可疑目标在图像坐标中的所在位置进行转换,得到所述可疑目标在真实世界坐标中的所在位置。
可选的,所述第五确定子模块,包括:
第二获取单元,用于获取所述巡逻机器人在真实世界坐标中的当前位置;
确定单元,用于根据所述巡逻机器人在真实世界坐标中的当前位置以及所述可疑目标在真实世界坐标中的所在位置,确定所述巡逻机器人的目标观察位置。
可选的,所述确定单元,包括:
获取子单元,用于获取巡逻机器人的环境扫描图像;
建模子单元,用于根据所述环境扫描图像,对所述巡逻机器人的当前环境进行三维建模,得到三维地图;
第一确定子单元,用于根据所述可疑目标在真实世界坐标中的所在位置确定所述可疑目标在所述三维地图中的所在位置,以及根据所述巡逻机器人在真实世界坐标中的当前位置确定所述巡逻机器人在所述三维地图中的所在位置;
第二确定子单元,用于根据所述可疑目标在所述三维地图中的所在位置以及所述巡逻机器人在所述三维地图中的所在位置,确定所述三维地图中的观察位置;
第三确定子单元,用于根据所述三维地图中的观察位置,确定所述巡逻机器人的目标观察位置。
可选的,所述第二确定模块203,包括:
第六确定子模块,用于根据所述巡逻机器人的当前位置以及所述目标观察位置,确定所述巡逻中的临时规划路线;
第一控制子模块,用于根据所述临时规划路线,控制所述巡逻机器人移动到所述目标观察位置;
第二控制子模块,用于当所述巡逻机器人移动到的目标观察位置时,控制所述巡逻机器人对所述可疑目标进行拍照,以获取所述可疑目标的待确认图像。
需要说明的是,本发明实施例提供的巡逻机器人控制装置可以应用于可以进行巡逻机器人控制方法的智能摄像头、智能手机、电脑、服务器等设备。
本发明实施例提供的巡逻机器人控制装置能够实现上述方法实施例中巡逻机器人控制方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
参见图3,图3是本发明实施例提供的一种电子设备的结构示意图,如图3所示,包括:存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的巡逻机器人控制方法的计算机程序,其中:
处理器301用于调用存储器302存储的计算机程序,执行如下步骤:
获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;
对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;
控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。
可选的,处理器301执行的所述对所述巡逻图像进行目标检测,包括:
通过训练好的目标检测模型对所述巡逻图像进行目标检测,得到目标检测框,所述目标检测框包括目标置信度;
当所述目标检测框的目标置信度大于或等于第一置信度时,则确定检测出预设目标;
当所述目标检测框的目标置信度小于第一置信度阈值且大于或等于第二置信度阈值时,则确定检测出可疑目标,所述第一置信度阈值大于所述第二置信度阈值。
可选的,处理器301执行的所述根据所述可疑目标所在位置确定观察位置,包括:
根据所述目标检测框,确定所述可疑目标在图像坐标中的所在位置;
根据所述可疑目标在图像坐标中的所在位置,确定所述可疑目标在真实世界坐标中的所在位置;
根据所述可疑目标在真实世界坐标中的所在位置,确定观察位置。
可选的,处理器301执行的所述根据所述可疑目标在图像坐标中的所在位置,确定所述可疑目标在真实世界坐标中的所在位置,包括:
获取所述图像坐标与所述真实世界坐标之间的转换参数;
根据所述转换参数,对所述可疑目标在图像坐标中的所在位置进行转换,得到所述可疑目标在真实世界坐标中的所在位置。
可选的,处理器301执行的所述根据所述可疑目标在真实世界坐标中的所在位置,确定所述巡逻机器人的观察位置,包括:
获取所述巡逻机器人在真实世界坐标中的当前位置;
根据所述巡逻机器人在真实世界坐标中的当前位置以及所述可疑目标在真实世界坐标中的所在位置,确定所述巡逻机器人的目标观察位置。
可选的,处理器301执行的所述根据所述巡逻机器人的当前位置以及所述可疑目标的真实世界坐标中的所在位置,确定所述巡逻机器人的目标观察位置,包括:
获取巡逻机器人的环境扫描图像;
根据所述环境扫描图像,对所述巡逻机器人的当前环境进行三维建模,得到三维地图;
根据所述可疑目标在真实世界坐标中的所在位置确定所述可疑目标在所述三维地图中的所在位置,以及根据所述巡逻机器人在真实世界坐标中的当前位置确定所述巡逻机器人在所述三维地图中的所在位置;
根据所述可疑目标在所述三维地图中的所在位置以及所述巡逻机器人在所述三维地图中的所在位置,确定所述三维地图中的观察位置;
根据所述三维地图中的观察位置,确定所述巡逻机器人的目标观察位置。
可选的,处理器301执行的所述控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,包括:
根据所述巡逻机器人的当前位置以及所述目标观察位置,确定所述巡逻中的临时规划路线;
根据所述临时规划路线,控制所述巡逻机器人移动到所述目标观察位置;
当所述巡逻机器人移动到的目标观察位置时,控制所述巡逻机器人对所述可疑目标进行拍照,以获取所述可疑目标的待确认图像。
本发明实施例提供的电子设备能够实现上述方法实施例中巡逻机器人控制方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的巡逻机器人控制方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Nenory,RON)或随机存取存储器(Randon AccessNenory,简称RAN)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种巡逻机器人控制方法,其特征在于,所述巡逻机器人用于执行森林巡逻任务,包括以下步骤:
获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;
对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;
控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。
2.如权利要求1所述的巡逻机器人控制方法,其特征在于,所述对所述巡逻图像进行目标检测,包括:
通过训练好的目标检测模型对所述巡逻图像进行目标检测,得到目标检测框,所述目标检测框包括目标置信度;
当所述目标检测框的目标置信度大于或等于第一置信度时,则确定检测出预设目标;
当所述目标检测框的目标置信度小于第一置信度阈值且大于或等于第二置信度阈值时,则确定检测出可疑目标,所述第一置信度阈值大于所述第二置信度阈值。
3.如权利要求2所述的巡逻机器人控制方法,其特征在于,所述根据所述可疑目标所在位置确定观察位置,包括:
根据所述目标检测框,确定所述可疑目标在图像坐标中的所在位置;
根据所述可疑目标在图像坐标中的所在位置,确定所述可疑目标在真实世界坐标中的所在位置;
根据所述可疑目标在真实世界坐标中的所在位置,确定观察位置。
4.如权利要求3所述的巡逻机器人控制方法,其特征在于,所述根据所述可疑目标在图像坐标中的所在位置,确定所述可疑目标在真实世界坐标中的所在位置,包括:
获取所述图像坐标与所述真实世界坐标之间的转换参数;
根据所述转换参数,对所述可疑目标在图像坐标中的所在位置进行转换,得到所述可疑目标在真实世界坐标中的所在位置。
5.如权利要求4所述的巡逻机器人控制方法,其特征在于,所述根据所述可疑目标在真实世界坐标中的所在位置,确定所述巡逻机器人的观察位置,包括:
获取所述巡逻机器人在真实世界坐标中的当前位置;
根据所述巡逻机器人在真实世界坐标中的当前位置以及所述可疑目标在真实世界坐标中的所在位置,确定所述巡逻机器人的目标观察位置。
6.如权利要求5所述的巡逻机器人控制方法,其特征在于,所述根据所述巡逻机器人的当前位置以及所述可疑目标的真实世界坐标中的所在位置,确定所述巡逻机器人的目标观察位置,包括:
获取巡逻机器人的环境扫描图像;
根据所述环境扫描图像,对所述巡逻机器人的当前环境进行三维建模,得到三维地图;
根据所述可疑目标在真实世界坐标中的所在位置确定所述可疑目标在所述三维地图中的所在位置,以及根据所述巡逻机器人在真实世界坐标中的当前位置确定所述巡逻机器人在所述三维地图中的所在位置;
根据所述可疑目标在所述三维地图中的所在位置以及所述巡逻机器人在所述三维地图中的所在位置,确定所述三维地图中的观察位置;
根据所述三维地图中的观察位置,确定所述巡逻机器人的目标观察位置。
7.如权利要求6所述的巡逻机器人控制方法,其特征在于,所述控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,包括:
根据所述巡逻机器人的当前位置以及所述目标观察位置,确定所述巡逻中的临时规划路线;
根据所述临时规划路线,控制所述巡逻机器人移动到所述目标观察位置;
当所述巡逻机器人移动到的目标观察位置时,控制所述巡逻机器人对所述可疑目标进行拍照,以获取所述可疑目标的待确认图像。
8.一种巡逻机器人控制装置,其特征在于,所述装置包括:
获取模块,用于获取所述巡逻机器人在执行森林巡逻任务过程中的巡逻图像;
第一确定模块,用于对所述巡逻图像进行目标检测,若检测出可疑目标,则根据所述可疑目标所在位置确定所述巡逻机器人的目标观察位置;
第二确定模块,用于控制所述巡逻机器人移动到所述目标观察位置获取所述可疑目标的待确认图像,并根据所述待确认图像确定所述可疑目标是否为预设目标。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的巡逻机器人控制方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的巡逻机器人控制方法中的步骤。
CN202211719931.8A 2022-12-30 2022-12-30 巡逻机器人控制方法、装置、电子设备及存储介质 Pending CN116117805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211719931.8A CN116117805A (zh) 2022-12-30 2022-12-30 巡逻机器人控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211719931.8A CN116117805A (zh) 2022-12-30 2022-12-30 巡逻机器人控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116117805A true CN116117805A (zh) 2023-05-16

Family

ID=86309524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211719931.8A Pending CN116117805A (zh) 2022-12-30 2022-12-30 巡逻机器人控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116117805A (zh)

Similar Documents

Publication Publication Date Title
CN111192331B (zh) 一种激光雷达和相机的外参标定方法及装置
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
EP3771198B1 (en) Target tracking method and device, movable platform and storage medium
CN110633629A (zh) 基于人工智能的电网巡检方法、装置、设备及存储介质
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
CN110825101A (zh) 一种基于深度卷积神经网络的无人机自主降落方法
JP6877293B2 (ja) 位置情報記録方法および装置
CN111985300A (zh) 自动驾驶动态目标定位方法、装置、电子设备及存储介质
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN109143167B (zh) 一种障碍信息获取装置及方法
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
KR20200076628A (ko) 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스
WO2022198508A1 (zh) 镜头异常提示方法、装置、可移动平台及可读存储介质
CN114217303A (zh) 目标定位跟踪方法及装置、水下机器人和存储介质
CN116486290B (zh) 一种无人机监测追踪方法、装置、电子设备及存储介质
CN112381873A (zh) 一种数据标注方法及装置
CN116117805A (zh) 巡逻机器人控制方法、装置、电子设备及存储介质
KR20210048220A (ko) 무인비행체를 이용한 송전선로 금구류 위치 추정 장치 및 방법
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台
CN113190013A (zh) 控制终端运动的方法和装置
CN116266402A (zh) 对象自动标注方法、装置、电子设备及存储介质
CN114155258A (zh) 一种公路施工围封区域的检测方法
CN113561181A (zh) 目标检测模型的更新方法、装置及系统
CN111950420A (zh) 一种避障方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination