CN118181300B - 一种验电接地机器人的作业对象定位方法、装置和巡检系统 - Google Patents
一种验电接地机器人的作业对象定位方法、装置和巡检系统 Download PDFInfo
- Publication number
- CN118181300B CN118181300B CN202410588844.6A CN202410588844A CN118181300B CN 118181300 B CN118181300 B CN 118181300B CN 202410588844 A CN202410588844 A CN 202410588844A CN 118181300 B CN118181300 B CN 118181300B
- Authority
- CN
- China
- Prior art keywords
- target
- data set
- coordinate information
- information
- monocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000012360 testing method Methods 0.000 title claims description 10
- 238000007689 inspection Methods 0.000 title description 18
- 230000008569 process Effects 0.000 claims description 62
- 238000003860 storage Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000005611 electricity Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本申请提供了一种验电接地机器人的作业对象定位方法、装置和巡检系统,涉及自动控制技术领域,该方法包括:获取多个第一目标图像并对各第一目标图像进行识别得到构成第一位置数据集;对单目相机进行定位获取单目相机的坐标信息得到第二位置数据集;控制验电接地机器人在目标范围内移动并获取坐标信息以及实时图像得到第三位置数据集;根据第一位置数据集和第二位置数据集进行拟合得到第一目标公式,根据第三位置数据集代入第一目标公式修正第一目标公式得到第二目标公式;将第一位置数据集代入第二目标公式求解目标位置。该方法解决了现有技术中机器人依赖人工操作,存在误操作的安全隐患的问题。
Description
技术领域
本发明涉及自动控制技术领域,具体而言,涉及一种验电接地机器人的作业对象定位方法、装置、计算机可读存储介质和巡检系统。
背景技术
针对配网线路的施工、检修和维护作业,目前作业过程中的验电、接地线作业主要以人工上塔为主,不仅耗时、费力,而且易出现误操作,有些作业现场甚至需要登高作业车配合来完成验电及挂接地线作业任务,效率极低、操作人员人身安全难以得到保障。因此,采用机器人代替人工进行验电、接地作业具有重要的现实意义。
验电接地机器人进行验电、接地作业过程中,对于如何能够准确定位作业目标,是实现机器人自动精准验电和接地作业的关键所在。视觉定位传感器主要包括单目相机、双目相机、3D结构光相机,其中,双目相机在室内定位精度较好,但其定位稳定性较差且难以适应户外复杂场景;3D结构光相机定位精度最高,但其点云采集速度慢、成本昂贵、传感器体积大,难以满足验电接地机器人轻量化及实时性的要求;单目相机,成本低廉、体积小,其定位范围较小,但能满足验电接地机器人作业目标近距离精准定位的要求。
现有验电接地机器人进行验电、接地线的方式均以地面操作人员遥控操作控制完成,不仅效率低下且易造成误操作而带来安全隐患。
发明内容
本申请的主要目的在于提供一种验电接地机器人的作业对象定位方法、装置、计算机可读存储介质和巡检系统,以至少解决现有技术中机器人依赖人工操作,存在误操作的安全隐患的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种验电接地机器人的作业对象定位方法,验电接地机器人包括单目相机,所述单目相机安装于所述验电接地机器人的尾端,包括:获取多个第一目标图像并对各所述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,所述第一目标图像为所述单目相机的视野范围内包括所述作业对象的实时图像,所述第一坐标信息为所述作业对象在所述第一目标图像中的图像坐标系中的坐标;在获取所述第一位置数据集的过程中,对所述单目相机进行定位确定所述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,所述第二坐标信息与所述第一目标图像一一对应,所述第二坐标信息为所述单目相机在世界坐标系下的坐标;根据所述第一位置数据集和所述第二位置数据集确定所述验电接地机器人与所述作业对象的相对位置得到第一位置信息,在所述第一位置信息在预设范围内的情况下控制所述验电接地机器人在目标范围内以预设步长移动并获取移动过程中所述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;根据所述第一位置数据集和所述第二位置数据集进行拟合得到第一目标公式,将所述第三位置数据集代入第一目标公式并根据运算结果修正所述第一目标公式得到第二目标公式,所述第一目标公式用于求解所述单目相机与所述作业对象之间的相对空间距离;获取当前时刻的所述第一坐标信息和所述尺寸信息得到目标坐标信息和目标尺寸信息,将所述目标尺寸信息代入所述第二目标公式求解所述单目相机与所述作业对象之间的相对空间距离,并将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入第三目标公式求解第四坐标信息,所述第四坐标信息为所述作业对象在以所述单目相机为原点的相机坐标系下的坐标。
可选地,识别步骤,通过图像识别算法标定所述第一目标图像中所述作业对象的第一数据列表objt:objt i=[clst i,xi,yi,wi,hi];其中,objt i为t时刻作业对象i的类别信息、所述第一坐标信息和所述尺寸信息的所述第一数据列表,clsi为作业对象i的类别信息,xi和yi分别为所述作业对象在所述第一目标图像中的横坐标和纵坐标,wi和hi分别为作业对象i在所述第一目标图像中的像素宽度和像素高度;重复所述识别步骤至少一次,直至确定所有的所述第一目标图像对应的所述第一数据列表;根据各所述第一数据列表构建第四位置数据集Dt boxes,所述第四位置数据集包括所有的所述作业对象:Dt boxes=[ objt 1,objt 2,…,objt n];其中,n为所述第一数据列表的总数;对所述第四位置数据集进行分组得到多个所述第一位置数据集Bi boxes:Bi boxes={A1,A2,A3,…,At};At=[ xt,yt,wt,ht];其中,Bi boxes为第i个作业对象类别t时刻的所述第一位置数据集,At为t时刻,所述作业对象的第一坐标信息和尺寸信息的第二数据列表,xt和yt分别为t时刻所述作业对象在所述第一目标图像中的横坐标和纵坐标,wt和ht分别为t时刻所述作业对象在所述第一目标图像中的像素宽度和像素高度。
可选地,在获取所述第一位置数据集的过程中,对所述单目相机进行定位确定所述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,包括:定位步骤,在获取所述第一目标图像的同时对所述单目相机进行定位得到所述第一目标图像对应的所述第二坐标信息:;其中,为t时刻所述单目相机的所述第二坐标信息,、和为t时刻,所述单目相机在所述世界坐标系中的所述坐标信息;重复所述定位步骤至少一次,直至确定所有的所述第一目标图像对应的所述第二坐标信息;根据所有所述第二坐标信息构建所述第二位置数据集:。
可选地,在所述第一位置信息在预设范围内的情况下控制所述验电接地机器人在目标范围内以预设步长移动并获取移动过程中所述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集,包括:控制所述验电接地机器人以所述预设步长沿远离所述作业对象的方向行进直至所述第一位置信息等于第一预设值,在行进过程中,每间隔所述预设步长获取所述第三坐标信息和所述第二目标图像,并对所述第二目标图像进行分析确定所述作业对象的像素宽度,分别根据各所述第三坐标信息和所述像素宽度构建第一数据组得到多个第一数据组;在所述第一位置信息等于所述第一预设值的情况下,控制所述验电接地机器人以所述预设步长沿靠近所述作业对象的方向行进直至所述第一位置信息等于第二预设值,在行进过程中,每间隔所述预设步长获取所述第三坐标信息和所述第二目标图像,并对所述第二目标图像进行分析确定所述作业对象的像素宽度,分别根据各所述第三坐标信息和所述像素宽度构建第一数据组得到多个第二数据组;根据所述第一数据组和所述第二数据组构建所述第三位置数据集: ;其中,为第k个所述第一数据组和所述第二数据组。
可选地,根据所述第一位置数据集和所述第二位置数据集进行拟合得到第一目标公式,包括:根据所述第一位置数据集和所述第二位置数据集中数据的对应关系进行拟合得到第四目标公式:;其中,F为所述单目相机的焦距,W为所述作业对象的实际宽度信息,为所述验电接地机器人从初始时刻到t时刻的移动距离,为t时刻所述作业对象的像素宽度,为所述初始时刻所述单目相机与所述作业对象之间的初始距离;进而根据所述第四目标公式进行推导得到所述第一目标公式:;其中,为t时刻所述单目相机与所述作业对象之间的所述相对空间距离。
可选地,将所述第三位置数据集代入第一目标公式并根据运算结果修正所述第一目标公式得到第二目标公式,包括:计算步骤,将所述第三位置数据集中各所述第三坐标信息和对应的所述像素宽度代入所述第四目标公式进行拟合求解得到一组所述实际宽度信息和所述初始距离;第一确定步骤,根据求解得到的所述实际宽度信息和所述初始距离更新所述第一目标公式并将所述第三位置数据集中各所述第一数据组或所述第二数据组代入更新后的所述第一目标公式进行求解并确定对应的误差得到目标误差;第二确定步骤,在存在所述目标误差大于或等于第三预设值的情况下,删除对应所述目标误差最大值的所述第一数据组或所述第二数据组;依次重复所述计算步骤、所述第一确定步骤和所述第二确定步骤直至各所述目标误差均小于所述第三预设值,将所述第一目标公式确定为所述第二目标公式。
可选地,将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入第三目标公式求解第四坐标信息,包括:将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入所述第三目标公式求解所述作业对象在所述相机坐标系下的坐标得到所述第四坐标信息:;为所述第四坐标信息,X、Y和Z为所述作业对象在所述相机坐标系下的坐标,x和y分别为当前时刻所述作业对象在所述第一目标图像中的横坐标和纵坐标,w为当前时刻所述作业对象在所述第一目标图像中的所述像素宽度,distance为当前时刻所述作业对象与所述单目相机之间的所述相对空间距离。
根据本申请的另一方面,提供了一种验电接地机器人的作业对象定位装置,验电接地机器人包括单目相机,所述单目相机安装于所述验电接地机器人的尾端,所述装置包括:获取单元,用于获取多个第一目标图像并对各所述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,所述第一目标图像为所述单目相机的视野范围内包括所述作业对象的实时图像,所述第一坐标信息为所述作业对象在所述第一目标图像中的图像坐标系中的坐标;第一确定单元,用于在获取所述第一位置数据集的过程中,对所述单目相机进行定位确定所述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,所述第二坐标信息与所述第一目标图像一一对应,所述第二坐标信息为所述单目相机在世界坐标系下的坐标;第二确定单元,用于根据所述第一位置数据集和所述第二位置数据集确定所述验电接地机器人与所述作业对象的相对位置得到第一位置信息,在所述第一位置信息在预设范围内的情况下控制所述验电接地机器人在目标范围内以预设步长移动并获取移动过程中所述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;第一计算单元,用于根据所述第一位置数据集和所述第二位置数据集进行拟合得到第一目标公式,将所述第三位置数据集代入第一目标公式并根据运算结果修正所述第一目标公式得到第二目标公式,所述第一目标公式用于求解所述单目相机与所述作业对象之间的相对空间距离;第二计算单元,用于获取当前时刻的所述第一坐标信息和所述尺寸信息得到目标坐标信息和目标尺寸信息,将所述目标尺寸信息代入所述第二目标公式求解所述单目相机与所述作业对象之间的相对空间距离,并将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入第三目标公式求解第四坐标信息,所述第四坐标信息为所述作业对象在以所述单目相机为原点的相机坐标系下的坐标。
根据本申请的再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。
根据本申请的又一方面,提供了一种巡检系统,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的方法。
应用本申请的技术方案,在上述验电接地机器人的作业对象定位方法中,首先,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为所述单目相机的视野范围内包括上述作业对象的实时图像,所述第一坐标信息为所述作业对象在所述第一目标图像中的图像坐标系中的坐标;然后,在获取所述第一位置数据集的过程中,对上述单目相机进行定位获取上述第一位置数据集过程中确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,所述第二坐标信息为所述单目相机在世界坐标系下的坐标;之后,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;之后,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;最后,获取当前时刻的所述第一坐标信息和所述尺寸信息得到目标坐标信息和目标尺寸信息,将所述目标尺寸信息代入所述第二目标公式求解所述单目相机与所述作业对象之间的相对空间距离,并将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入第三目标公式求解第四坐标信息,所述第四坐标信息为所述作业对象在以所述单目相机为原点的相机坐标系下的坐标。本申请采用基于动态迭代的验电机器人作业对象单目视觉定位方法,通过对单目相机在机器人行进过程中的图像结合定位的坐标将图像信息的坐标距离转换为实际距离,建立坐标之间的转换关系,进而根据坐标完成验电接地机器人与作业对象之间的相对位置的确定,完成对接地验电机器人的定位,进而实现自动的作业,解决现有技术中机器人依赖人工操作,存在误操作的安全隐患的问题。
附图说明
图1示出了根据本申请的实施例中提供的一种执行验电接地机器人的作业对象定位方法的移动终端的硬件结构框图;
图2示出了根据本申请的实施例提供的一种验电接地机器人的作业对象定位方法的流程示意图;
图3示出了根据本申请的实施例提供的一种验电接地机器人的作业对象定位装置的结构框图。
其中,上述附图包括以下附图标记:
102、处理器;104、存储器;106、传输设备;108、输入输出设备。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
背景技术中所介绍的,现有技术中验电接地机器人进行验电、接地线的方式均以地面操作人员遥操作控制完成,不仅效率低下且易造成误操作而带来安全隐患,为解决现有技术中机器人依赖人工操作,存在误操作的安全隐患的问题,本申请的实施例提供了一种验电接地机器人的作业对象定位方法、装置、计算机可读存储介质和巡检系统。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的一种执行验电接地机器人的作业对象定位方法的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的设备信息的显示方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于移动终端、计算机终端或者类似的运算装置的验电接地机器人的作业对象定位方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本申请实施例的验电接地机器人的作业对象定位方法的流程图。如图2所示,该方法包括以下步骤:
步骤S201,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;
具体地,根据单目相机实时采集含有作业对象的图像得到上述第一目标图像,采用图像识别算法识别作业对象的类别信息、坐标信息和尺寸信息并转换为作业对象位置框数据集合得到上述第一位置数据集。
步骤S202,在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;
具体地,在单目相机采集每一帧作业图像的同时,对单目相机,即验电接地机器人的尾端进行定位,确定位置信息,进一步构建机器人运动过程中尾端位置数据集合得到上述第二位置数据集。
步骤S203,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
具体地,根据实时图像和运动规划对验电接地机器人进行定位,进而在验电接地机器人运动至作业对象的附近且正对作业目标的情况下,控制接地验电机器人以预设步长前进和后退一定距离,采集T帧数据,T帧数据包括图像信息和坐标信息得到上述第三位置数据集。
步骤S204,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;
具体地,根据作业对象位置框数据集合和机器人尾端位置数据集合可以确定作业对象任意时刻的像素宽度和尾端坐标,进而由单目相机的成像原理可以拟合得到作业对象到单目相机的空间距离的表达式,即上述第一目标公式,进而根据T帧数据代入表达式对作业对象的实际宽度和初始距离进行求解,基于求解得到的参数修正上述第一目标公式得到第二目标公式。
步骤S205,获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。
具体地,根据最新时刻的像素宽度和尾端坐标代入上述第二目标公式即可对验电接地机器人与作业对象的相对距离进行定位,进一步的,根据图像的尺寸信息可将图像坐标系下的定位转换为相机坐标系下的定位,完成对作业对象的定位。
通过本实施例,首先,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;然后,在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;之后,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;之后,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;最后,获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。本申请采用基于动态迭代的验电机器人作业对象单目视觉定位方法,通过对单目相机在机器人行进过程中的图像结合定位的坐标将图像信息的坐标距离转换为实际距离,建立坐标之间的转换关系,进而根据坐标完成验电接地机器人与作业对象之间的相对位置的确定,完成对接地验电机器人的定位,进而实现自动的作业,解决现有技术中机器人依赖人工操作,存在误操作的安全隐患的问题。
为了采集上述第一位置数据集,在一种可选的实施方式中,上述步骤S201包括:
步骤S2011,识别步骤,通过图像识别算法标定所述第一目标图像中所述作业对象的第一数据列表objt:
objt i=[clst i,xi,yi,wi,hi];
其中,objt i为t时刻作业对象i的类别信息、所述第一坐标信息和所述尺寸信息的所述第一数据列表,clsi为作业对象i的类别信息,xi和yi分别为所述作业对象在所述第一目标图像中的横坐标和纵坐标,wi和hi分别为作业对象i在所述第一目标图像中的像素宽度和像素高度;
具体地,采用图像识别算法获取作业对象的类别信息、坐标信息和尺寸信息,其形式化表达如上式所示。
步骤S2012,重复上述识别步骤至少一次,直至确定所有的上述第一目标图像对应的上述第一数据列表;
具体的额,对采集到的所有上述第一目标图像重复上述操作得到所有上述第一目标图像对应的作业对象的类别信息、坐标信息和尺寸信息,得到上述第一数据列表。
步骤S2013,根据各所述第一数据列表构建第四位置数据集Dt boxes,所述第四位置数据集包括所有的所述作业对象:
Dt boxes=[ objt 1,objt 2,…,objt n];
其中,n为上述第一数据列表的总数;
具体地,构建整个第一数据列表对应的所有上数据的集合,将数据按帧归类,得到上述第四位置数据集。
步骤S2014,对所述第四位置数据集进行分组得到多个所述第一位置数据集Bi boxes:
Bi boxes={A1,A2,A3,…,At};
At=[ xt,yt,wt,ht];
其中,Bi boxes为第i个作业对象类别t时刻的所述第一位置数据集,At为t时刻,所述作业对象的第一坐标信息和尺寸信息的第二数据列表,xt和yt分别为t时刻所述作业对象在所述第一目标图像中的横坐标和纵坐标,wt和ht分别为t时刻所述作业对象在所述第一目标图像中的像素宽度和像素高度。
具体地,按照作业对象的类别对上述第四位置集中的样本进行分组,将数据按照作业对象和帧进一步划分,得到上述第一位置数据集。
为了得到上述第二位置数据集,在一种可选的实施方式中,上述步骤S202包括:
步骤S2021,定位步骤,在获取上述第一目标图像的同时对上述单目相机进行定位得到上述第一目标图像对应的上述第二坐标信息:
;
其中,为t时刻上述单目相机的上述第二坐标信息,、和为t时刻,上述单目相机在上述世界坐标系中的上述坐标信息;
具体地,在获取每一帧上述第一目标图像的同时对单目相机进行定位,并将对应的坐标数据以上述形式存储得到上述第二坐标信息。
步骤S2022,重复上述定位步骤至少一次,直至确定所有的上述第一目标图像对应的上述第二坐标信息;
具体地,重复定位步骤直至得到所有上述第一目标图像对应的第二坐标信息。
步骤S2023,根据所有上述第二坐标信息构建上述第二位置数据集:
。
具体地,将上述第二坐标信息按顺序存储至上述第二位置数据集中。
为了得到上述第三位置数据集,在一种可选的实施方式中,上述步骤S203包括:
步骤S2031,控制上述验电接地机器人以上述预设步长沿远离上述作业对象的方向行进直至上述第一位置信息等于第一预设值,在行进过程中,每间隔上述预设步长获取上述第三坐标信息和上述第二目标图像,并对上述第二目标图像进行分析确定上述作业对象的像素宽度,分别根据各上述第三坐标信息和上述像素宽度构建第一数据组得到多个第一数据组;
具体地,控制上述验电接地机器人以预设步长m毫米后退,直至上述验电接地机器人与作业对象之间的距离达到预设的最大距离即上述第一预设值。进而在行进过程中每行进预设步长,采集一次图像并对单目相机进行定位,获取一帧图像中作业对象的像素宽度和单目相机的坐标信息得到一个第一数据组。
步骤S2032,在上述第一位置信息等于上述第一预设值的情况下,控制上述验电接地机器人以上述预设步长沿靠近上述作业对象的方向行进直至上述第一位置信息等于第二预设值,在行进过程中,每间隔上述预设步长获取上述第三坐标信息和上述第二目标图像,并对上述第二目标图像进行分析确定上述作业对象的像素宽度,分别根据各上述第三坐标信息和上述像素宽度构建第一数据组得到多个第二数据组;
具体地,控制上述验电接地机器人以预设步长前进,直至上述验电接地机器人与作业对象之间的距离达到预设的最小距离,即上述第二预设值,进而在行进过程中每行进预设步长,采集一次图像并对单目相机进行定位,获取一帧图像中作业对象的像素宽度和单目相机的坐标信息得到一个第二数据组。
步骤S2033,根据上述第一数据组和上述第二数据组构建上述第三位置数据集:
;
其中, 为第k个上述第一数据组和上述第二数据组。
具体地,将上述第一数据组和上述第二数据组按照采集顺序存入集合得到上述第三位置集。
为了得到上述第一目标公式,在一种可选的实施方式中,上述步骤S204包括:
步骤S2041,根据上述第一位置数据集和上述第二位置数据集中数据的对应关系进行拟合得到第四目标公式:
;
其中,F为上述单目相机的焦距,W为上述作业对象的实际宽度信息,为上述验电接地机器人从初始时刻到t时刻的移动距离,为t时刻上述作业对象的像素宽度,为上述初始时刻上述单目相机与上述作业对象之间的初始距离;
具体地,根据上述第一位置数据集和上述第二位置数据集可以确定作业对象在初始时刻以及t时刻的像素宽度w和单目相机坐标信息,进而对多组数据进行拟合,即可得到上述第四目标公式。在计算上述移动距离的过程中采用坐标信息计算欧式距离的方式进行计算。
步骤S2042,进而根据上述第四目标公式进行推导得到上述第一目标公式:
;
其中,为t时刻上述单目相机与上述作业对象之间的上述相对空间距离。
进而,根据作业目标与单目相机之间的距离与初始时刻像素宽度以及初始距离的关系确定上述单目相机与上述作业对象之间的上述相对空间距离的表达式为上述第一目标公式。
为了提高定位的准确性,在一种可选的实施方式中,上述步骤S204还包括:
步骤S2043,计算步骤,将上述第三位置数据集中各上述第三坐标信息和对应的上述像素宽度代入上述第四目标公式进行拟合求解得到一组上述实际宽度信息和上述初始距离;
具体地,将上述第三位置数据集中的数据对上述第四目标公式进行拟合求解,得到一组参数W和D。
步骤S2044,第一确定步骤,根据求解得到的上述实际宽度信息和上述初始距离更新上述第一目标公式并将上述第三位置数据集中各上述第一数据组或上述第二数据组代入更新后的上述第一目标公式进行求解并确定对应的误差得到目标误差;
具体地,分别将上述第三位置数据集中的数据重新代入上述第四目标公式进行求解,并根据求解的结果计算误差。
步骤S2045,第二确定步骤,在存在上述目标误差大于或等于第三预设值的情况下,删除对应上述目标误差最大值的上述第一数据组或上述第二数据组;
具体地,删除对应误差最大的一组数据。
步骤S2046,依次重复上述计算步骤、上述第一确定步骤和上述第二确定步骤直至各上述目标误差均小于上述第三预设值,将上述第一目标公式确定为上述第二目标公式。
具体地,重复上述计算步骤、上述第一确定步骤和上述第二确定步骤,直至魅族的误差均小于上述第三预设值,确定参数W和D的精度满组定位要求,将第一目标公式中的W确定为修正后的参数得到上述第二目标公式。
为了完成对验电接地机器人的定位,在一种可选的实施方式中,上述步骤S205包括:
步骤S2051,将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入上述第三目标公式求解上述作业对象在上述相机坐标系下的坐标得到上述第四坐标信息:
;
为上述第四坐标信息,X、Y和Z为上述作业对象在上述相机坐标系下的坐标,x和y分别为当前时刻上述作业对象在上述第一目标图像中的横坐标和纵坐标,w为当前时刻上述作业对象在上述第一目标图像中的上述像素宽度,distance为当前时刻上述作业对象与上述单目相机之间的上述相对空间距离。
具体地,将上述第一位置数据集中的最后一组数据代入上述第二目标公式可以求解验电接地机器人与作业对象之间的相对距离,进而根据当前帧的坐标信息和像素宽度代入上公式,即完成定位。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例还提供了一种验电接地机器人的作业对象定位装置,需要说明的是,本申请实施例的验电接地机器人的作业对象定位装置可以用于执行本申请实施例所提供的用于验电接地机器人的作业对象定位方法。该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
以下对本申请实施例提供的验电接地机器人的作业对象定位装置进行介绍。
图3是根据本申请实施例的验电接地机器人的作业对象定位装置的结构框图。如图3所示,该装置包括:
获取单元10,用于获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;
具体地,根据单目相机实时采集含有作业对象的图像得到上述第一目标图像,采用图像识别算法识别作业对象的类别信息、坐标信息和尺寸信息并转换为作业对象位置框数据集合得到上述第一位置数据集。
第一确定单元20,用于在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;
具体地,在单目相机采集每一帧作业图像的同时,对单目相机,即验电接地机器人的尾端进行定位,确定位置信息,进一步构建机器人运动过程中尾端位置数据集合得到上述第二位置数据集。
第二确定单元30,用于根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
具体地,根据实时图像和运动规划对验电接地机器人进行定位,进而在验电接地机器人运动至作业对象的附近且正对作业目标的情况下,控制接地验电机器人以预设步长前进和后退一定距离,采集T帧数据,T帧数据包括图像信息和坐标信息得到上述第三位置数据集。
第一计算单元40,用于根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;
具体地,根据作业对象位置框数据集合和机器人尾端位置数据集合可以确定作业对象任意时刻的像素宽度和尾端坐标,进而由单目相机的成像原理可以拟合得到作业对象到单目相机的空间距离的表达式,即上述第一目标公式,进而根据T帧数据代入表达式对作业对象的实际宽度和初始距离进行求解,基于求解得到的参数修正上述第一目标公式得到第二目标公式。
第二计算单元50,用于获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。
具体地,根据最新时刻的像素宽度和尾端坐标代入上述第二目标公式即可对验电接地机器人与作业对象的相对距离进行定位,进一步的,根据图像的尺寸信息可将图像坐标系下的定位转换为相机坐标系下的定位,完成对作业对象的定位。
通过本实施例,获取单元获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;第一确定单元在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;第二确定单元根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;第一计算单元根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;第二计算单元获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。本申请采用基于动态迭代的验电机器人作业对象单目视觉定位方法,通过对单目相机在机器人行进过程中的图像结合定位的坐标将图像信息的坐标距离转换为实际距离,建立坐标之间的转换关系,进而根据坐标完成验电接地机器人与作业对象之间的相对位置的确定,完成对接地验电机器人的定位,进而实现自动的作业,解决现有技术中机器人依赖人工操作,存在误操作的安全隐患的问题。
为了采集上述第一位置数据集,在一种可选的实施方式中,上述获取单元包括:
识别模块,用于执行识别步骤,通过图像识别算法标定所述第一目标图像中所述作业对象的第一数据列表objt:
objt i=[clst i,xi,yi,wi,hi];
其中,objt i为t时刻作业对象i的类别信息、所述第一坐标信息和所述尺寸信息的所述第一数据列表,clsi为作业对象i的类别信息,xi和yi分别为所述作业对象在所述第一目标图像中的横坐标和纵坐标,wi和hi分别为作业对象i在所述第一目标图像中的像素宽度和像素高度;
具体地,采用图像识别算法获取作业对象的类别信息、坐标信息和尺寸信息,其形式化表达如上式所示。
第一重复模块,用于重复上述识别步骤至少一次,直至确定所有的上述第一目标图像对应的上述第一数据列表;
具体的额,对采集到的所有上述第一目标图像重复上述操作得到所有上述第一目标图像对应的作业对象的类别信息、坐标信息和尺寸信息,得到上述第一数据列表。
第一构建模块,用于根据各所述第一数据列表构建第四位置数据集Dt boxes,所述第四位置数据集包括所有的所述作业对象:
Dt boxes=[ objt 1,objt 2,…,objt n];
其中,n为上述第一数据列表的总数;
具体地,构建整个第一数据列表对应的所有上数据的集合,将数据按帧归类,得到上述第四位置数据集。
第一处理模块,用于对所述第四位置数据集进行分组得到多个所述第一位置数据集Bi boxes:
Bi boxes={A1,A2,A3,…,At};
At=[ xt,yt,wt,ht];
其中,Bi boxes为第i个作业对象类别t时刻的所述第一位置数据集,At为t时刻,所述作业对象的第一坐标信息和尺寸信息的第二数据列表,xt和yt分别为t时刻所述作业对象在所述第一目标图像中的横坐标和纵坐标,wt和ht分别为t时刻所述作业对象在所述第一目标图像中的像素宽度和像素高度。
具体地,按照作业对象的类别对上述第四位置集中的样本进行分组,将数据按照作业对象和帧进一步划分,得到上述第一位置数据集。
为了得到上述第二位置数据集,在一种可选的实施方式中,上述第一确定单元包括:
定位模块,用于执行定位步骤,在获取上述第一目标图像的同时对上述单目相机进行定位得到上述第一目标图像对应的上述第二坐标信息:
;
其中,为t时刻上述单目相机的上述第二坐标信息,、和为t时刻,上述单目相机在上述世界坐标系中的上述坐标信息;
具体地,在获取每一帧上述第一目标图像的同时对单目相机进行定位,并将对应的坐标数据以上述形式存储得到上述第二坐标信息。
第二重复模块,用于重复上述定位步骤至少一次,直至确定所有的上述第一目标图像对应的上述第二坐标信息;
具体地,重复定位步骤直至得到所有上述第一目标图像对应的第二坐标信息。
第二构建模块,用于根据所有上述第二坐标信息构建上述第二位置数据集:
。
具体地,将上述第二坐标信息按顺序存储至上述第二位置数据集中。
为了得到上述第三位置数据集,在一种可选的实施方式中,上述第二确定模块包括:
第一控制模块,用于控制上述验电接地机器人以上述预设步长沿远离上述作业对象的方向行进直至上述第一位置信息等于第一预设值,在行进过程中,每间隔上述预设步长获取上述第三坐标信息和上述第二目标图像,并对上述第二目标图像进行分析确定上述作业对象的像素宽度,分别根据各上述第三坐标信息和上述像素宽度构建第一数据组得到多个第一数据组;
具体地,控制上述验电接地机器人以预设步长m毫米后退,直至上述验电接地机器人与作业对象之间的距离达到预设的最大距离即上述第一预设值。进而在行进过程中每行进预设步长,采集一次图像并对单目相机进行定位,获取一帧图像中作业对象的像素宽度和单目相机的坐标信息得到一个第一数据组。
第二控制模块,用于在上述第一位置信息等于上述第一预设值的情况下,控制上述验电接地机器人以上述预设步长沿靠近上述作业对象的方向行进直至上述第一位置信息等于第二预设值,在行进过程中,每间隔上述预设步长获取上述第三坐标信息和上述第二目标图像,并对上述第二目标图像进行分析确定上述作业对象的像素宽度,分别根据各上述第三坐标信息和上述像素宽度构建第一数据组得到多个第二数据组;
具体地,控制上述验电接地机器人以预设步长前进,直至上述验电接地机器人与作业对象之间的距离达到预设的最小距离,即上述第二预设值,进而在行进过程中每行进预设步长,采集一次图像并对单目相机进行定位,获取一帧图像中作业对象的像素宽度和单目相机的坐标信息得到一个第二数据组。
第三构建模块,用于根据上述第一数据组和上述第二数据组构建上述第三位置数据集:
;
其中, 为第k个上述第一数据组和上述第二数据组。
具体地,将上述第一数据组和上述第二数据组按照采集顺序存入集合得到上述第三位置集。
为了得到上述第一目标公式,在一种可选的实施方式中,上述第一计算单元包括:
第一拟合模块,用于根据上述第一位置数据集和上述第二位置数据集中数据的对应关系进行拟合得到第四目标公式:
;
其中,F为上述单目相机的焦距,W为上述作业对象的实际宽度信息,为上述验电接地机器人从初始时刻到t时刻的移动距离,为t时刻上述作业对象的像素宽度,为上述初始时刻上述单目相机与上述作业对象之间的初始距离;
具体地,根据上述第一位置数据集和上述第二位置数据集可以确定作业对象在初始时刻以及t时刻的像素宽度w和单目相机坐标信息,进而对多组数据进行拟合,即可得到上述第四目标公式。在计算上述移动距离的过程中采用坐标信息计算欧式距离的方式进行计算。
第二拟合模块,用于进而根据上述第四目标公式进行推导得到上述第一目标公式:
;
其中,为t时刻上述单目相机与上述作业对象之间的上述相对空间距离。
进而,根据作业目标与单目相机之间的距离与初始时刻像素宽度以及初始距离的关系确定上述单目相机与上述作业对象之间的上述相对空间距离的表达式为上述第一目标公式。
为了提高定位的准确性,在一种可选的实施方式中,上述第一计算单元还包括:
第一计算模块,用于执行计算步骤,将上述第三位置数据集中各上述第三坐标信息和对应的上述像素宽度代入上述第四目标公式进行拟合求解得到一组上述实际宽度信息和上述初始距离;
具体地,将上述第三位置数据集中的数据对上述第四目标公式进行拟合求解,得到一组参数W和D。
第一确定模块,用于执行第一确定步骤,根据求解得到的上述实际宽度信息和上述初始距离更新上述第一目标公式并将上述第三位置数据集中各上述第一数据组或上述第二数据组代入更新后的上述第一目标公式进行求解并确定对应的误差得到目标误差;
具体地,分别将上述第三位置数据集中的数据重新代入上述第四目标公式进行求解,并根据求解的结果计算误差。
第二确定模块,用于执行第二确定步骤,在存在上述目标误差大于或等于第三预设值的情况下,删除对应上述目标误差最大值的上述第一数据组或上述第二数据组;
具体地,删除对应误差最大的一组数据。
第三重复模块,用于依次重复上述计算步骤、上述第一确定步骤和上述第二确定步骤直至各上述目标误差均小于上述第三预设值,将上述第一目标公式确定为上述第二目标公式。
具体地,重复上述计算步骤、上述第一确定步骤和上述第二确定步骤,直至魅族的误差均小于上述第三预设值,确定参数W和D的精度满组定位要求,将第一目标公式中的W确定为修正后的参数得到上述第二目标公式。
为了完成对验电接地机器人的定位,在一种可选的实施方式中,上述第二计算单元包括:
第二计算模块,用于将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入上述第三目标公式求解上述作业对象在上述相机坐标系下的坐标得到上述第四坐标信息:
;
为上述第四坐标信息,X、Y和Z为上述作业对象在上述相机坐标系下的坐标,x和y分别为当前时刻上述作业对象在上述第一目标图像中的横坐标和纵坐标,w为当前时刻上述作业对象在上述第一目标图像中的上述像素宽度,distance为当前时刻上述作业对象与上述单目相机之间的上述相对空间距离。
具体地,将上述第一位置数据集中的最后一组数据代入上述第二目标公式可以求解验电接地机器人与作业对象之间的相对距离,进而根据当前帧的坐标信息和像素宽度代入上公式,即完成定位。
上述验电接地机器人的作业对象定位装置包括处理器和存储器,上述获取单元、第一确定单元、第二确定单元、第一计算单元和第二计算单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高通信的效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种计算机可读存储介质,上述计算机可读存储介质包括存储的程序,其中,在上述程序运行时控制上述计算机可读存储介质所在设备执行上述验电接地机器人的作业对象定位方法。
具体地,验电接地机器人的作业对象定位方法包括:
步骤S201,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;
具体地,根据单目相机实时采集含有作业对象的图像得到上述第一目标图像,采用图像识别算法识别作业对象的类别信息、坐标信息和尺寸信息并转换为作业对象位置框数据集合得到上述第一位置数据集。
步骤S202,在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;
具体地,在单目相机采集每一帧作业图像的同时,对单目相机,即验电接地机器人的尾端进行定位,确定位置信息,进一步构建机器人运动过程中尾端位置数据集合得到上述第二位置数据集。
步骤S203,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
具体地,根据实时图像和运动规划对验电接地机器人进行定位,进而在验电接地机器人运动至作业对象的附近且正对作业目标的情况下,控制接地验电机器人以预设步长前进和后退一定距离,采集T帧数据,T帧数据包括图像信息和坐标信息得到上述第三位置数据集。
步骤S204,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;
具体地,根据作业对象位置框数据集合和机器人尾端位置数据集合可以确定作业对象任意时刻的像素宽度和尾端坐标,进而由单目相机的成像原理可以拟合得到作业对象到单目相机的空间距离的表达式,即上述第一目标公式,进而根据T帧数据代入表达式对作业对象的实际宽度和初始距离进行求解,基于求解得到的参数修正上述第一目标公式得到第二目标公式。
步骤S205,获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。
具体地,根据最新时刻的像素宽度和尾端坐标代入上述第二目标公式即可对验电接地机器人与作业对象的相对距离进行定位,进一步的,根据图像的尺寸信息可将图像坐标系下的定位转换为相机坐标系下的定位,完成对作业对象的定位。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述验电接地机器人的作业对象定位方法。
具体地,验电接地机器人的作业对象定位方法包括:
步骤S201,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;
具体地,根据单目相机实时采集含有作业对象的图像得到上述第一目标图像,采用图像识别算法识别作业对象的类别信息、坐标信息和尺寸信息并转换为作业对象位置框数据集合得到上述第一位置数据集。
步骤S202,在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;
具体地,在单目相机采集每一帧作业图像的同时,对单目相机,即验电接地机器人的尾端进行定位,确定位置信息,进一步构建机器人运动过程中尾端位置数据集合得到上述第二位置数据集。
步骤S203,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
具体地,根据实时图像和运动规划对验电接地机器人进行定位,进而在验电接地机器人运动至作业对象的附近且正对作业目标的情况下,控制接地验电机器人以预设步长前进和后退一定距离,采集T帧数据,T帧数据包括图像信息和坐标信息得到上述第三位置数据集。
步骤S204,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;
具体地,根据作业对象位置框数据集合和机器人尾端位置数据集合可以确定作业对象任意时刻的像素宽度和尾端坐标,进而由单目相机的成像原理可以拟合得到作业对象到单目相机的空间距离的表达式,即上述第一目标公式,进而根据T帧数据代入表达式对作业对象的实际宽度和初始距离进行求解,基于求解得到的参数修正上述第一目标公式得到第二目标公式。
步骤S205,获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。
具体地,根据最新时刻的像素宽度和尾端坐标代入上述第二目标公式即可对验电接地机器人与作业对象的相对距离进行定位,进一步的,根据图像的尺寸信息可将图像坐标系下的定位转换为相机坐标系下的定位,完成对作业对象的定位。
本发明实施例提供了一种巡检系统,巡检系统包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
步骤S201,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;
步骤S202,在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;
步骤S203,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
步骤S204,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;
步骤S205,获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有至少如下方法步骤的程序:
步骤S201,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;
步骤S202,在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;
步骤S203,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
步骤S204,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;
步骤S205,获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
本申请的验电接地机器人的作业对象定位方法,首先,获取多个第一目标图像并对各上述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,上述第一目标图像为上述单目相机的视野范围内包括上述作业对象的实时图像,上述第一坐标信息为上述作业对象在上述第一目标图像中的图像坐标系中的坐标;然后,在获取上述第一位置数据集的过程中,对上述单目相机进行定位确定上述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,上述第二坐标信息与上述第一目标图像一一对应,上述第二坐标信息为上述单目相机在世界坐标系下的坐标;之后,根据上述第一位置数据集和上述第二位置数据集确定上述验电接地机器人与上述作业对象的相对位置得到第一位置信息,在上述第一位置信息在预设范围内的情况下控制上述验电接地机器人在目标范围内以预设步长移动并获取移动过程中上述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;之后,根据上述第一位置数据集和上述第二位置数据集进行拟合得到第一目标公式,将上述第三位置数据集代入第一目标公式并根据运算结果修正上述第一目标公式得到第二目标公式,上述第一目标公式用于求解上述单目相机与上述作业对象之间的相对空间距离;最后,获取当前时刻的上述第一坐标信息和上述尺寸信息得到目标坐标信息和目标尺寸信息,将上述目标尺寸信息代入上述第二目标公式求解上述单目相机与上述作业对象之间的相对空间距离,并将上述相对空间距离、上述尺寸信息和上述目标坐标信息代入第三目标公式求解第四坐标信息,上述第四坐标信息为上述作业对象在以上述单目相机为原点的相机坐标系下的坐标。本申请采用基于动态迭代的验电机器人作业对象单目视觉定位方法,通过对单目相机在机器人行进过程中的图像结合定位的坐标将图像信息的坐标距离转换为实际距离,建立坐标之间的转换关系,进而根据坐标完成验电接地机器人与作业对象之间的相对位置的确定,完成对接地验电机器人的定位,进而实现自动的作业,解决现有技术中机器人依赖人工操作,存在误操作的安全隐患的问题。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (6)
1.一种验电接地机器人的作业对象定位方法,其特征在于,验电接地机器人包括单目相机,所述单目相机安装于所述验电接地机器人的尾端,包括:
获取多个第一目标图像并对各所述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,所述第一目标图像为所述单目相机的视野范围内包括所述作业对象的实时图像,所述第一坐标信息为所述作业对象在所述第一目标图像中的图像坐标系中的坐标;
在获取所述第一位置数据集的过程中,对所述单目相机进行定位确定所述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,所述第二坐标信息与所述第一目标图像一一对应,所述第二坐标信息为所述单目相机在世界坐标系下的坐标;
根据所述第一位置数据集和所述第二位置数据集确定所述验电接地机器人与所述作业对象的相对位置得到第一位置信息,在所述第一位置信息在预设范围内的情况下控制所述验电接地机器人在目标范围内以预设步长移动并获取移动过程中所述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
根据所述第一位置数据集和所述第二位置数据集进行拟合得到第一目标公式,将所述第三位置数据集代入第一目标公式并根据运算结果修正所述第一目标公式得到第二目标公式,所述第一目标公式用于求解所述单目相机与所述作业对象之间的相对空间距离;
获取当前时刻的所述第一坐标信息和所述尺寸信息得到目标坐标信息和目标尺寸信息,将所述目标尺寸信息代入所述第二目标公式求解所述单目相机与所述作业对象之间的相对空间距离,并将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入第三目标公式求解第四坐标信息,所述第四坐标信息为所述作业对象在以所述单目相机为原点的相机坐标系下的坐标;在所述第一位置信息在预设范围内的情况下控制所述验电接地机器人在目标范围内以预设步长移动并获取移动过程中所述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集,包括:控制所述验电接地机器人以所述预设步长沿远离所述作业对象的方向行进直至所述第一位置信息等于第一预设值,在行进过程中,每间隔所述预设步长获取所述第三坐标信息和所述第二目标图像,并对所述第二目标图像进行分析确定所述作业对象的像素宽度,分别根据各所述第三坐标信息和所述像素宽度构建第一数据组得到多个第一数据组;在所述第一位置信息等于所述第一预设值的情况下,控制所述验电接地机器人以所述预设步长沿靠近所述作业对象的方向行进直至所述第一位置信息等于第二预设值,在行进过程中,每间隔所述预设步长获取所述第三坐标信息和所述第二目标图像,并对所述第二目标图像进行分析确定所述作业对象的像素宽度,分别根据各所述第三坐标信息和所述像素宽度构建第一数据组得到多个第二数据组;根据所述第一数据组和所述第二数据组构建所述第三位置数据集:;其中,为第k个所述第一数据组和所述第二数据组;根据所述第一位置数据集和所述第二位置数据集进行拟合得到第一目标公式,包括:根据所述第一位置数据集和所述第二位置数据集中数据的对应关系进行拟合得到第四目标公式:;其中,F为所述单目相机的焦距,W为所述作业对象的实际宽度信息,为所述验电接地机器人从初始时刻到t时刻的移动距离,为t时刻所述单目相机的所述第二坐标信息,pos 1为单目相机在所述初始时刻采集的所述第二坐标信息,为t时刻所述作业对象的像素宽度,为所述初始时刻所述单目相机与所述作业对象之间的初始距离;进而根据所述第四目标公式进行推导得到所述第一目标公式:;其中,为t时刻所述单目相机与所述作业对象之间的所述相对空间距离;将所述第三位置数据集代入第一目标公式并根据运算结果修正所述第一目标公式得到第二目标公式,包括:计算步骤,将所述第三位置数据集中各所述第三坐标信息和对应的所述像素宽度代入所述第四目标公式进行拟合求解得到一组所述实际宽度信息和所述初始距离;第一确定步骤,根据求解得到的所述实际宽度信息和所述初始距离更新所述第一目标公式并将所述第三位置数据集中各所述第一数据组或所述第二数据组代入更新后的所述第一目标公式进行求解并确定对应的误差得到目标误差;第二确定步骤,在存在所述目标误差大于或等于第三预设值的情况下,删除对应所述目标误差最大值的所述第一数据组或所述第二数据组;依次重复所述计算步骤、所述第一确定步骤和所述第二确定步骤直至各所述目标误差均小于所述第三预设值,将所述第一目标公式确定为所述第二目标公式;将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入第三目标公式求解第四坐标信息,包括:将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入所述第三目标公式求解所述作业对象在所述相机坐标系下的坐标得到所述第四坐标信息:;为所述第四坐标信息,X、Y和Z为所述作业对象在所述相机坐标系下的坐标,x和y分别为当前时刻所述作业对象在所述第一目标图像中的横坐标和纵坐标,w为当前时刻所述作业对象在所述第一目标图像中的所述像素宽度,distance为当前时刻所述作业对象与所述单目相机之间的所述相对空间距离。
2.根据权利要求1所述的方法,其特征在于,对所述第一目标图像进行识别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,包括:
识别步骤,通过图像识别算法标定所述第一目标图像中所述作业对象的第一数据列表obj t :
obj t i =[cls i ,x i ,y i ,w i ,h i ];
其中,obj t i 为t时刻作业对象i的类别信息、所述第一坐标信息和所述尺寸信息的所述第一数据列表,cls i 为作业对象i的类别信息,x i 和y i 分别为所述作业对象在所述第一目标图像中的横坐标和纵坐标,w i 和h i 分别为作业对象i在所述第一目标图像中的像素宽度和像素高度;
重复所述识别步骤至少一次,直至确定所有的所述第一目标图像对应的所述第一数据列表;
根据各所述第一数据列表构建第四位置数据集D t boxes ,所述第四位置数据集包括所有的所述作业对象:
D t boxes =[ obj t 1 ,obj t 2 ,…,obj t n ];
其中,n为所述第一数据列表的总数;
对所述第四位置数据集进行分组得到多个所述第一位置数据集B i boxes :
B i boxes ={A 1 ,A 2 ,A 3 ,…,A t };
A t =[ x t ,y t ,w t ,h t ];
其中,B i boxes 为第i个作业对象类别t个时刻的所述第一位置数据集,A t 为t时刻,所述作业对象的第一坐标信息和尺寸信息的第二数据列表,x t 和y t 分别为t时刻所述作业对象在所述第一目标图像中的横坐标和纵坐标,w t 和h t 分别为t时刻所述作业对象在所述第一目标图像中的像素宽度和像素高度。
3.根据权利要求2所述的方法,其特征在于,在获取所述第一位置数据集的过程中,对所述单目相机进行定位确定所述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,包括:
定位步骤,在获取所述第一目标图像的同时对所述单目相机进行定位得到所述第一目标图像对应的所述第二坐标信息:
;
其中,为t时刻所述单目相机的所述第二坐标信息,、和为t时刻,所述单目相机在所述世界坐标系中的所述坐标信息;
重复所述定位步骤至少一次,直至确定所有的所述第一目标图像对应的所述第二坐标信息;
根据所有所述第二坐标信息构建所述第二位置数据集:
。
4.一种验电接地机器人的作业对象定位装置,其特征在于,验电接地机器人包括单目相机,所述单目相机安装于所述验电接地机器人的尾端,所述装置包括:
获取单元,用于获取多个第一目标图像并对各所述第一目标图像进行识别分别得到作业对象的类别信息、第一坐标信息和尺寸信息构成第一位置数据集,所述第一目标图像为视野范围内包括所述作业对象的实时图像,所述第一坐标信息为所述作业对象在所述第一目标图像中的图像坐标系中的坐标;
第一确定单元,用于对所述单目相机进行定位获取所述第一位置数据集过程中确定所述单目相机的坐标信息得到多个第二坐标信息构成第二位置数据集,所述第二坐标信息与所述第一目标图像一一对应,所述第二坐标信息为所述单目相机在世界坐标系下的坐标;
第二确定单元,用于根据所述第一位置数据集和所述第二位置数据集确定所述验电接地机器人与所述作业对象为相对位置得到第一位置信息,在所述第一位置信息在预设范围内的情况下控制所述验电接地机器人在目标范围内以预设步长移动并获取移动过程中所述单目相机的坐标信息以及实时图像得到第三坐标信息和第二目标图像构成第三位置数据集;
第一计算单元,用于根据所述第一位置数据集和所述第二位置数据集进行拟合得到第一目标公式,根据所述第三位置数据集代入第一目标公式并根据运算结果修正所述第一目标公式得到第二目标公式,所述第一目标公式用于求解所述单目相机与所述作业对象之间的相对空间距离;
第二计算单元,用于获取当前时刻的所述第一坐标信息和所述尺寸信息得到目标坐标信息和目标尺寸信息,将所述目标尺寸信息代入所述第二目标公式求解所述单目相机与所述作业对象之间的相对空间距离,并将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入第三目标公式求解第四坐标信息,所述第四坐标信息为所述作业对象在以所述单目相机为原点的相机坐标系下的坐标;所述第二确定单元,包括:第一控制模块,用于控制所述验电接地机器人以所述预设步长沿远离所述作业对象的方向行进直至所述第一位置信息等于第一预设值,在行进过程中,每间隔所述预设步长获取所述第三坐标信息和所述第二目标图像,并对所述第二目标图像进行分析确定所述作业对象的像素宽度,分别根据各所述第三坐标信息和所述像素宽度构建第一数据组得到多个第一数据组;第二控制模块,用于在所述第一位置信息等于所述第一预设值的情况下,控制所述验电接地机器人以所述预设步长沿靠近所述作业对象的方向行进直至所述第一位置信息等于第二预设值,在行进过程中,每间隔所述预设步长获取所述第三坐标信息和所述第二目标图像,并对所述第二目标图像进行分析确定所述作业对象的像素宽度,分别根据各所述第三坐标信息和所述像素宽度构建第一数据组得到多个第二数据组;第三构建模块,用于根据所述第一数据组和所述第二数据组构建所述第三位置数据集:;其中,为第k个所述第一数据组和所述第二数据组;所述第一计算单元包括:第一拟合模块,用于根据所述第一位置数据集和所述第二位置数据集中数据的对应关系进行拟合得到第四目标公式:;其中,F为所述单目相机的焦距,W为所述作业对象的实际宽度信息,为所述验电接地机器人从初始时刻到t时刻的移动距离,t时刻所述单目相机的所述第二坐标信息,pos 1为单目相机在所述初始时刻采集的所述第二坐标信息,为t时刻所述作业对象的像素宽度,为所述初始时刻所述单目相机与所述作业对象之间的初始距离;第二拟合模块,用于进而根据所述第四目标公式进行推导得到所述第一目标公式:;其中,为t时刻所述单目相机与所述作业对象之间的所述相对空间距离;所述第一计算单元还包括:第一计算模块,用于执行计算步骤,将所述第三位置数据集中各所述第三坐标信息和对应的所述像素宽度代入所述第四目标公式进行拟合求解得到一组所述实际宽度信息和所述初始距离;第一确定模块,用于执行第一确定步骤,根据求解得到的所述实际宽度信息和所述初始距离更新所述第一目标公式并将所述第三位置数据集中各所述第一数据组或所述第二数据组代入更新后的所述第一目标公式进行求解并确定对应的误差得到目标误差;第二确定模块,用于执行第二确定步骤,在存在所述目标误差大于或等于第三预设值的情况下,删除对应所述目标误差最大值的所述第一数据组或所述第二数据组;第三重复模块,用于依次重复所述计算步骤、所述第一确定步骤和所述第二确定步骤直至各所述目标误差均小于所述第三预设值,将所述第一目标公式确定为所述第二目标公式;所述第二计算单元包括:第二计算模块,用于将所述相对空间距离、所述尺寸信息和所述目标坐标信息代入所述第三目标公式求解所述作业对象在所述相机坐标系下的坐标得到所述第四坐标信息:;为所述第四坐标信息,X、Y和Z为所述作业对象在所述相机坐标系下的坐标,x和y分别为当前时刻所述作业对象在所述第一目标图像中的横坐标和纵坐标,w为当前时刻所述作业对象在所述第一目标图像中的所述像素宽度,distance为当前时刻所述作业对象与所述单目相机之间的所述相对空间距离。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至3中任意一项所述的方法。
6.一种巡检系统,其特征在于,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至3中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410588844.6A CN118181300B (zh) | 2024-05-13 | 2024-05-13 | 一种验电接地机器人的作业对象定位方法、装置和巡检系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410588844.6A CN118181300B (zh) | 2024-05-13 | 2024-05-13 | 一种验电接地机器人的作业对象定位方法、装置和巡检系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118181300A CN118181300A (zh) | 2024-06-14 |
CN118181300B true CN118181300B (zh) | 2024-08-02 |
Family
ID=91398825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410588844.6A Active CN118181300B (zh) | 2024-05-13 | 2024-05-13 | 一种验电接地机器人的作业对象定位方法、装置和巡检系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118181300B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977813A (zh) * | 2019-03-13 | 2019-07-05 | 山东沐点智能科技有限公司 | 一种基于深度学习框架的巡检机器人目标定位方法 |
CN113963254A (zh) * | 2021-08-30 | 2022-01-21 | 武汉众智鸿图科技有限公司 | 一种融合目标识别的车载式智能巡检方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111673735A (zh) * | 2020-04-28 | 2020-09-18 | 平安科技(深圳)有限公司 | 一种基于单目视觉定位的机械臂控制方法及装置 |
CN114474056B (zh) * | 2022-01-26 | 2023-07-21 | 北京航空航天大学 | 一种面向抓取操作的单目视觉高精度目标定位方法 |
CN115972217B (zh) * | 2023-03-20 | 2023-06-27 | 深圳鹏行智能研究有限公司 | 基于单目相机的地图建立方法和机器人 |
CN117381800B (zh) * | 2023-12-12 | 2024-02-06 | 菲特(天津)检测技术有限公司 | 一种手眼标定方法及系统 |
-
2024
- 2024-05-13 CN CN202410588844.6A patent/CN118181300B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977813A (zh) * | 2019-03-13 | 2019-07-05 | 山东沐点智能科技有限公司 | 一种基于深度学习框架的巡检机器人目标定位方法 |
CN113963254A (zh) * | 2021-08-30 | 2022-01-21 | 武汉众智鸿图科技有限公司 | 一种融合目标识别的车载式智能巡检方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN118181300A (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009718B (zh) | 一种三维高精度地图生成方法及装置 | |
CN112633535A (zh) | 一种基于无人机图像的光伏电站智能巡检方法及系统 | |
CN109540142A (zh) | 一种机器人定位导航的方法、装置、计算设备 | |
CN114706933A (zh) | 基于无人机作业的喷洒区域确定方法及装置 | |
CN104020475A (zh) | 一种基于机载LiDAR数据的电力线提取及建模方法 | |
CN111539355A (zh) | 一种基于深层神经网络的光伏板异物检测系统及检测方法 | |
CN110910440B (zh) | 一种基于电力影像数据的输电线路长度确定方法和系统 | |
CN112419512B (zh) | 一种基于语义信息的空中三维模型修复系统及方法 | |
CN111968048A (zh) | 电力巡检少样本图像数据增强方法及系统 | |
CN112348737B (zh) | 模拟图像生成的方法、电子设备及存储介质 | |
CN111652977A (zh) | 一种变电站三维场景智能漫游方法 | |
CN115017578A (zh) | 一种建筑的智能实测实量方法、装置、ugv及存储介质 | |
CN109407112A (zh) | 基于LiDAR点云数据的果树树冠体积测算方法及系统 | |
CN115825984A (zh) | 一种基于激光点云的输电线路巡检系统及巡检方法 | |
CN118181300B (zh) | 一种验电接地机器人的作业对象定位方法、装置和巡检系统 | |
CN114548228A (zh) | 一种基于soc和mesh组网的无人机电网巡检方法与系统 | |
CN108875164B (zh) | 一种带电更换跌落式熔断器作业场景的快速重构方法 | |
CN116483118A (zh) | 一种适用于导地线弧垂变化的无人机自主巡检航线自动生成方法 | |
CN110441751A (zh) | 双雷达探测方法、装置、可读存储介质及终端设备 | |
CN113988482B (zh) | 基于互联网数据链的三维空间轨迹路径自动匹配生成系统 | |
CN106303153A (zh) | 一种图像处理方法及装置 | |
CN115454126A (zh) | 无人机巡检方法、装置、设备及存储介质 | |
CN115346081A (zh) | 基于多数据融合的输电线路点云数据分类方法 | |
CN113561181A (zh) | 目标检测模型的更新方法、装置及系统 | |
CN116022196B (zh) | 一种基于计算机视觉的轨道变形监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |