CN113184767B - 高空作业平台导航方法、装置、设备及高空作业平台 - Google Patents
高空作业平台导航方法、装置、设备及高空作业平台 Download PDFInfo
- Publication number
- CN113184767B CN113184767B CN202110430435.XA CN202110430435A CN113184767B CN 113184767 B CN113184767 B CN 113184767B CN 202110430435 A CN202110430435 A CN 202110430435A CN 113184767 B CN113184767 B CN 113184767B
- Authority
- CN
- China
- Prior art keywords
- platform
- target point
- function
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F11/00—Lifting devices specially adapted for particular uses not otherwise provided for
- B66F11/04—Lifting devices specially adapted for particular uses not otherwise provided for for movable platforms or cabins, e.g. on vehicles, permitting workmen to place themselves in any desired position for carrying out required operations
- B66F11/044—Working platforms suspended from booms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Structural Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Geology (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Navigation (AREA)
- Forklifts And Lifting Vehicles (AREA)
Abstract
本发明涉及作业平台控制领域,其实施方式提供了高空作业平台导航方法、装置、设备及高空作业平台。其中高空作业平台导航方法包括:获取用户在工作场景图像中对目标点的选定;从所述工作场景图像提取所述目标点的连续特征值;将所述连续特征值构建为所述目标点的目标函数;响应于导航开始指令,获取作业平台视角的包括所述目标点的图像;从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;根据所述相对位置生成动作执行指令;所述动作执行指令用于控制所述作业平台的各支撑部件使所述作业平台靠近或到达所述目标点。本发明提供的实施方式提升了作业平台控制的智能化。
Description
技术领域
本发明涉及作业平台控制领域,特别涉及一种高空作业平台导航方法、一种高空作业平台导航装置、一种高空作业平台导航设备以及一种高空作业平台。
背景技术
高空作业设备是一种将工作人员、机器设备举升至高空指定位置,以便从事安装、检修、救援等作业的专用设备,如登高消防车、直臂式高空作业平台、曲臂式高空作业平台、剪叉式高空作业平台、高空作业车(车载式高空作业平台)等。高空作业设备在安装、检修、救援等作业过程中,需要通过工作平台将作业人员送到指定位置,目前主要依赖于操作人员来实现,具体操作人员先目测工作平台到目标点的方位,然后操作各活动关节逐步靠近目标点,最终达到指定位置,该方法主要依赖操作人员的经验,对于不熟练的操作手定位时间长且可能定位不准,而且对于复杂的定位需要操作多个关节联动,操作不方便,严重影响作业效率。
中国专利CN201310581218.6公开了一种登高平台消防车工作平台的定位导航装置、消防车和方法,但是该专利并未公开如何获取目标点信息的方式,而是采用直接输入目标点信息,现有技术中目标点信息获取通常有超声波定位技术、红外线定位技术、超宽带定位技术、射频定位技术、激光定位技术和可见光定位技术等,这些技术有一个共同特点就是,需要借助电子标签或者类似装置定位目标点,这类技术通常应用于场所比较固定(如室内)或者目标物比较固定(电子标签附着在定位物体上)的场合,成本也比较高,高空作业车需要在室外空旷环境工作,目标点经常变换且不易安装电子标签,就不适合采用上述空间定位技术了。
专利CN109353972 B公开了另一种高空作业机械的导航控制方法及装置。其提供的装置如图1所示,图1是现有技术中一种高空作业平台导航装置的结构示意图。该定位系统包括各关节位置传感器8、工作平台9和高空作业设备导航定位装置10,高空作业设备导航定位装置10设置于作业平台9上,包括光束发生器、三轴位置传感器等。该定位系统通过光束发生器向目标点7发射可见光,利用三轴位置传感器用于检测光束发生器在X、Y、Z三个方向角度信息,根据位置求解各关节运动方向、运动幅度、速度和方向偏差数据,并将这些数据发送给设备的主机系统,主机控制系统按求解器给出的控制参数控制各关节将工作平台按照光束方向移动至目标点,移动过程中通过操作机构进行控制。只求解一次目标的位置信息,且在运动的过程中光束发生器也会发生偏移,导致定位的准确度不高;在进行目标定位的过程中,需要操作人员辅助进行,且如果出现异常情况需要人工参与切断控制,没有安全保护。
发明内容
有鉴于此,本发明旨在提出高空作业平台导航方法、装置、设备及高空作业平台,以至少部分地解决以上问题。
在本发明的第一方面,提供了一种高空作业平台导航方法,包括:
获取用户在工作场景图像中对目标点的选定;从所述工作场景图像提取所述目标点的连续特征值;将所述连续特征值构建为所述目标点的目标函数;响应于导航开始指令,获取作业平台视角的包括所述目标点的图像;从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;根据所述相对位置生成动作执行指令;所述动作执行指令用于控制所述作业平台的各支撑部件使所述作业平台靠近或到达所述目标点。
优选的,所述获取作业平台视角的包括所述目标点的图像;从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;根据所述相对位置生成动作执行指令的步骤被配置为:从导航开始后循环执行,直至所述作业平台到达所述目标点。
优选的,所述高空作业平台导航方法还包括:获取作业平台视角的所述作业平台的周围环境图像;从所述周围环境图像识别出障碍物;根据所述障碍物与所述作业平台的相对位置以及预设的控制逻辑,执行对应的规避动作。
优选的,所述从所述周围环境图像识别出障碍物,包括:确定所述周围环境图像存在除所述目标点以外的其他物体,将所述其他物体与高空作业平台环境样本数据库进行对比,根据对比结果确定所述其他物体为障碍物或误识别障碍。
优选的,根据所述相对位置生成动作执行指令,包括:计算所述目标点与所述图像中心点的平面相对位置,所述平面相对位置包括水平夹角和竖直夹角;根据所述水平夹角和竖直夹角的正负生成对应的动作执行指令,用于调整所述作业平台的位置使所述水平夹角和竖直夹角均等于0;保持所述水平夹角和竖直夹角均等于0的状态,生成对应的动作执行指令用于控制所述作业平台靠近所述目标点,直至所述作业平台到达所述目标点。
优选的,所述动作执行指令包括:转台回转、塔臂变幅、主臂变幅、飞臂变幅、平台回转和主臂伸缩中的至少一者。
优选的,将所述连续特征值构建为所述目标点的目标函数,包括:将所述连续特征值经过对应层相关滤波器计算分值;根据所述分值与训练样本所构造的高斯函数之间的最小二乘函数;将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数。
优选的,在根据所述分值与训练样本所构造的高斯函数之间的最小二乘函数之后,所述高空作业平台导航方法还包括:在所述最小二乘函数后增加权值惩罚项;将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数,包括:将所述最小二乘函数和权值惩罚项分别通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数。
在本发明的第二方面,还提供了一种高空作业平台导航装置,所述高空作业平台导航装置包括:选定获取模块,用于获取用户在工作场景图像中对目标点的选定;特征提取模块,用于从所述工作场景图像提取所述目标点的连续特征值;函数构建模块,用于将所述连续特征值构建为所述目标点的目标函数;图像监测模块,用于响应于导航开始指令,获取作业平台视角的包括所述目标点的图像;图像识别模块,用于从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;指令输出模块,用于根据所述相对位置生成动作执行指令;所述动作执行指令用于控制所述作业平台的各支撑部件使所述作业平台靠近或到达所述目标点。
优选的,函数构建模块包括滤波计算单元,用于将所述连续特征值经过对应层相关滤波器计算分值;高斯函数单元,用于针对训练样本构造高斯函数;差值计算单元,用于构造所述分值与所述高斯函数之间的最小二乘函数;傅里叶变化单元,用于将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数。
在本发明的第三方面,还提供了一种高空作业平台导航设备,所述高空作业平台导航设备包括:设置于作业平台上的图像传感器,用于获取所述作业平台周围的图像;设置于作业平台上的距离传感器,用于获取所述作业平台与目标点的距离;以及处理器,用于执行前述的高空作业平台导航方法,并通过与整车控制系统的配合控制所述作业平台的各支撑部件使所述作业平台到达所述目标点。
优选的,所述处理器还被配置为:从获取到的所述周围环境图像识别出障碍物;并根据所述障碍物与所述作业平台的相对位置以及预设的控制逻辑,执行对应的规避动作。
优选的,所述图像传感器和所述距离传感器被集成于雷达和单目相机复合传感器。
优选的,所述雷达和单目相机复合传感器为多个,分别朝向所述工作平台的不同方向。
优选的,所述图像传感器为双目相机或多目相机,所述距离传感器被所述双目相机或所述多目相机的测距功能等效替换。
在本发明的第四方面,还提供了一种高空作业平台,包括:前述的高空作业设备导航定位装置,或者前述的高空作业平台导航设备。
本发明的第五方面,还提供了一种计算机可读存储介质,所述存储介质中存储有指令,当其在计算机上运行时,使得计算机执行前述的高空作业平台导航方法。
本发明提供的以上技术方案,具有以下有益效果:通过单目相机实时计算平台与目标点的相对位置,控制精准;且定位追踪的过程中全程不需要操作人员的参与,实现智能定位;同时还配套了防碰撞系统,当进行定位追踪过程中,出现障碍物时,实现减速、停止甚至避障等功能。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施方式及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是现有技术中一种高空作业平台导航装置的结构示意图;
图2是本发明一种实施方式提供的高空作业平台导航方法的步骤示意图;
图3是本发明一种实施方式提供的目标点的相对位置的示意图;
图4是本发明一种实施方式提供的高空作业平台导航方法的实施流程示意图;
图5是本发明一种实施方式提供的高空作业平台导航装置的结构示意图;
图6是本发明一种实施方式提供的曲臂式高空作业平台的结构示意图;
图7是本发明一种实施方式提供的高空作业平台导航设备的结构示意图。
附图标记说明
1-底盘,2-转台,3-折叠臂,4-伸缩臂,5-飞臂,6-平台,7-目标点,8-各关节位置传感器,9-作业平台,10-高空作业设备导航定位装置,11-朝上雷达和单目相机复合传感器,12-朝下单目相机,13-朝右雷达和单目相机复合传感器,14-朝后雷达和单目相机复合传感器,15-朝左雷达和单目相机复合传感器。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施方式及实施方式中的特征可以相互组合。
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
图2是本发明一种实施方式提供的高空作业平台导航方法的步骤示意图,如图2所示。该高空作业平台导航方法,包括:
S01、获取用户在工作场景图像中对目标点的选定;将工作场景图像呈现于控制终端的显示设备上,用户可以通过鼠标等输入器件对图像内对象的点击获取用户对于目标点的选定,也可以通过触摸屏等输入装置对图像内对象的点击获取用户对于目标点的选定,获取方式取决于现场的控制终端的硬件配置。
S02、从所述工作场景图像提取所述目标点的连续特征值;本实施方式中通过图像检测不断调整作业平台的位置使其与目标点靠近,因此需要对目标点进行特定的图像识别。此处的连续特征值包括目标点的像素分布信息、像素之间的关联信息、目标点像素集合的边缘信息中的至少一者。
S03、将所述连续特征值构建为所述目标点的目标函数;本步骤中通过识别目标函数来实现目标点的检测,因此构建合适的目标函数有利于更准确地识别出目标点在图像中的位置。此处的目标函数优选为目标点图像的频域上的特征函数。
S04、响应于导航开始指令,获取作业平台视角的包括所述目标点的图像;当导航开始之后,通过设置于作业平台的图像采集装置获取图像,获取的图像中应当包括目标点。当获取的图像为多个时,需要选择包括目标点的图像。当多个图像包括目标点时,需要选择视角最佳的图像。
S05、从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;本步骤通过前述的目标函数进行识别,对比其他AI识别或对比识别的方式,具有运算量小,反映快速的优点。此处的相对位置包括相对方位和相对距离。相对方位通过图像中的目标点的位置进行确定,而相对距离可以多个图像的视差进行确定,也可以通过距离传感器进行确定。
S06、根据所述相对位置生成动作执行指令;所述动作执行指令用于控制所述作业平台的各支撑部件使所述作业平台靠近或到达所述目标点。此处生成动作执行指令的主体可以是整车控制器,该整车控制器根据解算出的相对位置得到作业平台的位移动作的方向和幅度,将其分解为具体的动作执行指令发送至各支撑部件。支撑部件包括转台、塔臂、主臂、飞臂、平台旋转机构等。
通过以上实施方式,能够快速识别并追踪目标点的位置,从而实现精准控制和智能定位。
在本发明提供的一种实施方式中,所述获取作业平台视角的包括所述目标点的图像;从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;根据所述相对位置生成动作执行指令的步骤被配置为:从导航开始后循环执行,直至所述作业平台到达所述目标点。当作业平台从初始位置到达所述目标点的过程中,图像的获取为实时且连续的,对应的,目标检测和指令生成也是动态实时的。通过在运行过程中实时输出动作执行指令,以体现本方案的实时性。同时能够定位追踪的过程中全程不需要操作人员的参与,实现智能定位。
在本发明提供的一种实施方式中,所述高空作业平台导航方法还包括:获取作业平台视角的所述作业平台的周围环境图像;从所述周围环境图像识别出障碍物;根据所述障碍物与所述作业平台的相对位置以及预设的控制逻辑,执行对应的规避动作。如果周围环境图像存在除所述目标点以外的其他物体,将所述其他物体的图像与高空作业平台环境样本数据库进行对比,根据对比结果确定所述其他物体为障碍物或误识别障碍。若与数据库匹配的结果为障碍物时,实现减速、停止甚至避障等规避动作。如果识别结果为误识别障碍物,例如人体、作业工具、安全保护工具(安全帽、安全绳)、空中安全漂浮物(例如塑料)等,则继续执行动作;其中,高空作业平台环境样本数据库的数据来源有人工输入、AI学习、云平台数据获取等方式。
在本发明提供的一种实施方式中,根据所述相对位置生成动作执行指令,包括:计算所述目标点与所述图像中心点的平面相对位置,所述平面相对位置包括水平夹角和竖直夹角;根据所述水平夹角和竖直夹角的正负生成对应的动作执行指令,用于调整所述作业平台的位置使所述水平夹角和竖直夹角均等于0;保持所述水平夹角和竖直夹角均等于0的状态,生成对应的动作执行指令用于控制所述作业平台靠近所述目标点,直至所述作业平台到达所述目标点。具体如下:
根据用户选定的目标,进行上面的目标识别,识别后得到关于目标的一个傅里叶函数;由于相机的中心就是图片的中心,利用相机拍下的照片,判断目标距离相机中心的位置利用目标与相机中心的相对位置来判断运动的方位,计算竖直夹角(俯仰角,pitch)和水平夹角(航向角,yaw)。图3是本发明一种实施方式提供的目标点的相对位置的示意图,如图3所示,俯仰角(pitch)为α,航向角为β。其中:
根据计算的俯仰角(pitch)、航向角(yaw)确定△x和△y大于、小于或者等于0,并将该信息发送给整车控制器,确认平台移动的方向;当控制平台使目标在相机中心时(俯仰角=0,航向角=0),通过超声波雷达进行测距,可得到目标与相机的距离,从而可以控制平台不断靠近目标,实现跟踪,达到智能定位的目的。
在本发明提供的一种实施方式中,所述动作执行指令包括:转台回转、塔臂变幅、主臂变幅、飞臂变幅、平台回转和主臂伸缩中的至少一者。与本方法实施主体相连的整车控制器或者能够执行本方法的整车控制器根据方向信息,根据动作执行指令执行相应的动作,例如:转台回转、塔臂变幅、主臂变幅、飞臂变幅、平台回转、主臂伸缩等,使俯仰角和航向角不断变小直至为0。再通过相应的动作,使作业平台不断靠近目标点,直至达到目标点。
在本发明提供的一种实施方式中,将所述连续特征值构建为所述目标点的目标函数,包括:将所述连续特征值经过对应层相关滤波器计算分值;针对训练样本构造高斯函数;构造所述分值与所述高斯函数之间的最小二乘函数;将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数。以及一种包括权值惩罚项的实施方式;以下主要以C-COT架构进行说明:
(1)提取目标点的连续特征值:
其中,bd为周期T>0的插值核,xd[n]表示每个平移后的函数的加权值,Nd为每个特征通道中的采样数(分辨率)。
(2)根据对应层相关滤波器计算Score(分值):
f=(f1…fD)
线性卷积算子Sf{x}将样本x映射成定义在连续区间t∈[0,T)中的目标置信函数,它是目标在图像的t位置处的置信分数,我们通过寻找图片区域中的最大置信分数来定位目标。Sf由一系列卷积滤波器f参数化,fd是针对特征通道d的连续滤波器。
(3)定义目标点的目标函数:
(3-1)针对训练样本xj构造高斯函数yj,通过L2Norm构造最小二乘目标函数,并添加权值惩罚项w:
滤波器f是在给定的M个训练样本对下,最小化泛函E(f)得到(相当于最小化loss函数。αj控制每个训练样本的影响力(权重),是正则化项,C-COT的正则化策略与SRDCF算法中相同。采用这种正则化策略可以通过控制滤波器的空间长度在任意大的区域上学习,w是关于空间位置的权重矩阵,通常背景区域的w值大,目标区域的w值小。
(3-2)通过帕塞瓦尔公式进行傅里叶变换得到:
图4是本发明一种实施方式提供的高空作业平台导航方法的实施流程示意图。在实施过程中大致包括以下步骤:显示屏上选取目标点,对选取的目标点进行目标识别,在作业平台移动过程中进行目标追踪,直至作业平台运动至目标点。
图5是本发明一种实施方式提供的高空作业平台导航装置的结构示意图,如图5所示。在本实施方式中,还提供了一种高空作业平台导航装置,所述高空作业平台导航装置包括:选定获取模块,用于获取用户在工作场景图像中对目标点的选定;特征提取模块,用于从所述工作场景图像提取所述目标点的连续特征值;函数构建模块,用于将所述连续特征值构建为所述目标点的目标函数;图像监测模块,用于响应于导航开始指令,获取作业平台视角的包括所述目标点的图像;图像识别模块,用于从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;指令输出模块,用于根据所述相对位置生成动作执行指令;所述动作执行指令用于控制所述作业平台的各支撑部件使所述作业平台靠近或到达所述目标点。
上述的高空作业平台导航装置中的各个功能模块的具体限定可以参见上文中高空作业平台导航方法的限定,在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
以及进一步的,其中函数构建模块包括:滤波计算单元,用于将所述连续特征值经过对应层相关滤波器计算分值;高斯函数单元,用于针对训练样本构造高斯函数;差值计算单元,用于构造所述分值与所述高斯函数之间的最小二乘函数;傅里叶变化单元,用于将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数。此处的函数构建模块的技术细节同样参照前述,此处不再重复。
图6是本发明一种实施方式提供的曲臂式高空作业平台的结构示意图,以下以图6为例进行说明。曲臂式高空作业机械包括依次连接的底盘1、转台2、折叠臂3、伸缩臂4、飞臂5和平台6,其中平台6对应本申请中的作业平台。在曲臂式高空作业平台上,平台6的一个侧面与飞臂5连接,底盘1通过转台2、折叠臂3、伸缩臂4和飞臂5对平台6升降或者平移,在这种情况下,平台6与飞臂5连接侧不易发生碰撞,因而在布置各类环境数据传感器时,可以省略飞臂侧的监测。如图6所示,定义平台6与飞臂5连接侧为前,对应的可以确定出左、右和后方位,上、下方位根据常识确定。
在本发明提供的一种本实施方式中,还提供一种高空作业平台导航设备,所述高空作业平台导航设备包括:设置于作业平台上的图像传感器,用于获取所述作业平台周围的图像;设置于作业平台上的距离传感器,用于获取所述作业平台与目标点的距离;以及处理器,用于执行前述的高空作业平台导航方法,并通过与整车控制系统的配合控制所述作业平台的各支撑部件使所述作业平台到达所述目标点。此处的控制模块或处理器具有数值计算和逻辑运算的功能,其至少具有数据处理能力的中央处理器CPU、随机存储器RAM、只读存储器ROM、多种I/O口和中断系统等。本实施方式中的处理器和存储器也可以是现有的平台操作控制模块,其实现的高空作业平台导航功能为该平台操作控制模块的子功能。该处理器的具体形式为依赖于现有的平台操作控制模块中的控制器的硬件运行环境中的一段软件代码。此处处理器或平台操作控制模块中的控制器可以例如为单片机、芯片、PLC或处理器等常用硬件。该处理器也可以是独立硬件。
在本发明提供的一种实施方式中,所述处理器还被配置为:从获取到的所述周围环境图像识别出障碍物;并根据所述障碍物与所述作业平台的相对位置以及预设的控制逻辑,执行对应的规避动作。本实施方式的处理器除了识别目标点之外,还能从图像中识别障碍物,进而实现防碰撞的功能。当进行定位追踪过程中,出现障碍物时,实现减速、停止甚至避障等动作。
在一种可选实施方式中,所述图像传感器和所述距离传感器被集成于雷达和单目相机复合传感器。所述雷达和单目相机复合传感器的雷达测距角度大于110°,测量范围为100-2000mm;所述雷达和单目相机复合传感器的视觉传感器检测角度大于180°,测量范围为20-5000mm。采用的视觉传感器检测角度大于180°,使得各个方位以安装方向为法线方向的最少180°范围都在视觉传感器的检测视角内。当雷达和单目相机复合传感器的可视角度较大的情况下,其设置的数目可以相应减少。
图7是本发明一种实施方式提供的高空作业平台导航设备的结构示意图,如图7所示。在本实施方式中,所述雷达和单目相机复合传感器为多个,分别朝向所述工作平台的不同方向。由于目标和工作平台的位置关系存在多种可能,需要保证目标在单目相机所获取的图像之内,因此需要设置多个单目相机,并朝向所述工作平台的不同方向。单目相机的数量根据单目相机的参数进行确定,以其获取的图像范围能够覆盖工作平台的周围环境为准。如图7所示,作业平台上包括:朝上雷达和单目相机(Monocular)复合传感器11,用于获取工作平台上方的距离数据和图像;朝下单目相机12,用于获取工作平台下方的图像;朝右雷达和单目相机复合传感器13,用于获取工作平台右方的距离数据和图像;朝后雷达和单目相机复合传感器14,用于获取工作平台后方的距离数据和图像,以及朝左雷达和单目相机复合传感器15,用于获取工作平台左方的距离数据和图像。
在另一种可选的实施方式中,所述图像传感器为双目相机或多目相机,所述距离传感器被所述双目相机或所述多目相机的测距功能等效替换。由于现有技术中的双目相机或多目相机能够利用双目之间的视差确定出拍摄物体的景深,因此采用双目相机或多目相机获取图像并通过解算,能够计算出与拍摄物体的距离,此时距离传感器可以在硬件上不再额外需要,其测距的功能被双目相机或多目相机所包含。
在本发明提供的一种实施方式中,还提供了一种高空作业平台,包括:前述的高空作业设备导航定位装置,或者前述的高空作业平台导航设备。本实施方式提供的高空作业平台能够实现智能精准定位以及防止与障碍物碰撞的技术效果。
在本发明提供的一种实施方式中,还提供了一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器执行前述的高空作业平台导航方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种高空作业平台导航方法,其特征在于,包括:
获取用户在工作场景图像中对目标点的选定;
从所述工作场景图像提取所述目标点的连续特征值;
将所述连续特征值构建为所述目标点的目标函数,包括:将所述连续特征值经过对应层相关滤波器计算分值;针对训练样本构造高斯函数;构造所述分值与所述高斯函数之间的最小二乘函数;将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数;
响应于导航开始指令,获取作业平台视角的包括所述目标点的图像;
从获取的图像中识别所述目标点的目标函数,得到所述目标点与所述作业平台的相对位置;
根据所述相对位置生成动作执行指令;所述动作执行指令用于控制所述作业平台的各支撑部件使所述作业平台靠近或到达所述目标点。
2.根据权利要求1所述的高空作业平台导航方法,其特征在于,所述获取作业平台视角的包括所述目标点的图像;从获取的图像中识别所述目标函数,得到所述目标点与所述作业平台的相对位置;根据所述相对位置生成动作执行指令的步骤被配置为:从导航开始后循环执行,直至所述作业平台到达所述目标点。
3.根据权利要求1或2所述的高空作业平台导航方法,其特征在于,所述高空作业平台导航方法还包括:
获取作业平台视角的所述作业平台的周围环境图像;
从所述周围环境图像识别出障碍物;
根据所述障碍物与所述作业平台的相对位置以及预设的控制逻辑,执行对应的规避动作。
4.根据权利要求3所述的高空作业平台导航方法,其特征在于,所述从所述周围环境图像识别出障碍物,包括:
确定所述周围环境图像存在除所述目标点以外的其他物体;
将所述其他物体与高空作业平台环境样本数据库进行对比,根据对比结果确定所述其他物体为障碍物或误识别障碍。
5.根据权利要求1所述的高空作业平台导航方法,其特征在于,根据所述相对位置生成动作执行指令,包括:
计算所述目标点与所述图像中心点的平面相对位置,所述平面相对位置包括水平夹角和竖直夹角;
根据所述水平夹角和竖直夹角的正负生成对应的动作执行指令,用于调整所述作业平台的位置使所述水平夹角和竖直夹角均等于0;
保持所述水平夹角和竖直夹角均等于0的状态,生成对应的动作执行指令控制所述作业平台靠近所述目标点,直至所述作业平台到达所述目标点。
6.根据权利要求1或5所述的高空作业平台导航方法,其特征在于,所述动作执行指令包括:转台回转、塔臂变幅、主臂变幅、飞臂变幅、平台回转和主臂伸缩中的至少一者。
7.根据权利要求1所述的高空作业平台导航方法,其特征在于,在构造所述分值与所述高斯函数之间的最小二乘函数之后,所述高空作业平台导航方法还包括:在所述最小二乘函数后增加权值惩罚项;
将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数,包括:
将所述最小二乘函数和权值惩罚项分别通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数。
8.一种高空作业平台导航装置,其特征在于,所述高空作业平台导航装置包括:
选定获取模块,用于获取用户在工作场景图像中对目标点的选定;
特征提取模块,用于从所述工作场景图像提取所述目标点的连续特征值;
函数构建模块,用于将所述连续特征值构建为所述目标点的目标函数;所述函数构建模块包括:滤波计算单元,用于将所述连续特征值经过对应层相关滤波器计算分值;高斯函数单元,用于针对训练样本构造高斯函数;差值计算单元,用于构造所述分值与所述高斯函数之间的最小二乘函数;傅里叶变化单元,用于将所述最小二乘函数通过帕塞瓦尔公式进行傅里叶变换得到所述目标函数;
图像监测模块,用于响应于导航开始指令,获取作业平台视角的包括所述目标点的图像;
图像识别模块,用于从获取的图像中识别所述目标点的目标函数,得到所述目标点与所述作业平台的相对位置;
指令输出模块,用于根据所述相对位置生成动作执行指令;所述动作执行指令用于控制所述作业平台的各支撑部件使所述作业平台靠近或到达所述目标点。
9.一种高空作业平台导航设备,其特征在于,所述高空作业平台导航设备包括:
设置于作业平台上的图像传感器,用于获取所述作业平台周围的图像;
设置于作业平台上的距离传感器,用于获取所述作业平台与目标点的距离;以及
处理器,用于执行权利要求1至7任意一项权利要求所述的高空作业平台导航方法,并通过与整车控制系统的配合控制所述作业平台的各支撑部件使所述作业平台到达所述目标点。
10.根据权利要求9所述的高空作业平台导航设备,其特征在于,所述处理器还被配置为:
从获取到的所述周围环境图像识别出障碍物;并根据所述障碍物与所述作业平台的相对位置以及预设的控制逻辑,执行对应的规避动作。
11.根据权利要求9所述的高空作业平台导航设备,其特征在于,所述图像传感器和所述距离传感器被集成于雷达和单目相机复合传感器。
12.根据权利要求11所述的高空作业平台导航设备,其特征在于,所述雷达和单目相机复合传感器为多个,分别朝向所述作业平台的不同方向。
13.根据权利要求9所述的高空作业平台导航设备,其特征在于,所述图像传感器为双目相机或多目相机,所述距离传感器被所述双目相机或所述多目相机的测距功能等效替换。
14.一种高空作业平台,其特征在于,包括:权利要求8所述的高空作业设备导航定位装置,或者权利要求9至13中任意一项所述的高空作业平台导航设备。
15.一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令用于使得机器执行权利要求1至7中任意一项所述的高空作业平台导航方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110430435.XA CN113184767B (zh) | 2021-04-21 | 2021-04-21 | 高空作业平台导航方法、装置、设备及高空作业平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110430435.XA CN113184767B (zh) | 2021-04-21 | 2021-04-21 | 高空作业平台导航方法、装置、设备及高空作业平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113184767A CN113184767A (zh) | 2021-07-30 |
CN113184767B true CN113184767B (zh) | 2023-04-07 |
Family
ID=76977844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110430435.XA Active CN113184767B (zh) | 2021-04-21 | 2021-04-21 | 高空作业平台导航方法、装置、设备及高空作业平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113184767B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115285904B (zh) * | 2022-10-09 | 2022-12-16 | 临工重机股份有限公司 | 高空作业平台的启停控制方法、装置及高空作业平台 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103727936B (zh) * | 2013-11-19 | 2017-03-29 | 徐工消防安全装备有限公司 | 登高平台消防车工作平台的定位导航装置、消防车和方法 |
CN107030693B (zh) * | 2016-12-09 | 2019-09-13 | 南京理工大学 | 一种基于双目视觉的带电作业机器人目标跟踪方法 |
CN107053168A (zh) * | 2016-12-09 | 2017-08-18 | 南京理工大学 | 一种基于深度学习网络的目标识别方法及带电作业机器人 |
CN106931961B (zh) * | 2017-03-20 | 2020-06-23 | 成都通甲优博科技有限责任公司 | 一种自动导航方法及装置 |
CN109909998B (zh) * | 2017-12-12 | 2020-10-02 | 北京猎户星空科技有限公司 | 一种控制机械臂运动的方法及装置 |
CN110293553B (zh) * | 2018-03-21 | 2021-03-12 | 北京猎户星空科技有限公司 | 控制机械臂操作物体的方法、装置及模型训练方法、装置 |
CN111028265B (zh) * | 2019-11-11 | 2023-03-31 | 河南理工大学 | 一种基于迭代法构建相关滤波响应的目标跟踪方法 |
CN111141300A (zh) * | 2019-12-18 | 2020-05-12 | 南京理工大学 | 基于深度强化学习的智能移动平台无地图自主导航方法 |
CN116332037A (zh) * | 2020-06-24 | 2023-06-27 | 中联重科股份有限公司 | 起重机及其吊装作业的定位系统和定位方法、存储介质 |
CN112434559A (zh) * | 2020-10-26 | 2021-03-02 | 广东凯宝机器人科技有限公司 | 一种机器人识别定位方法 |
-
2021
- 2021-04-21 CN CN202110430435.XA patent/CN113184767B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113184767A (zh) | 2021-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11915502B2 (en) | Systems and methods for depth map sampling | |
CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
CN111932588A (zh) | 一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法 | |
JP2018512687A (ja) | 環境の走査及び無人航空機の追跡 | |
US20210039265A1 (en) | Autonomous working system, method and computer readable recording medium | |
CN111615677A (zh) | 一种无人机的安全降落方法、装置、无人机及介质 | |
CN109872355B (zh) | 一种基于深度相机的最短距离获取方法及装置 | |
CN109443345A (zh) | 用于监控导航的定位方法及系统 | |
CN113184767B (zh) | 高空作业平台导航方法、装置、设备及高空作业平台 | |
Weigel et al. | Vehicle tracking with lane assignment by camera and lidar sensor fusion | |
WO2022004333A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP2014006188A (ja) | レーダ監視システム、映像取得方法及び映像取得プログラム | |
CN112597946A (zh) | 障碍物表示方法、装置、电子设备及可读存储介质 | |
Stokkeland | A computer vision approach for autonomous wind turbine inspection using a multicopter | |
CN115755575A (zh) | 一种基于ros的双云台无人机自主降落方法 | |
WO2021060136A1 (ja) | 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム | |
Baratoff et al. | Combined space-variant maps for optical-flow-based navigation | |
CN114212106A (zh) | 一种车辆的可行驶区域内安全概率的确定方法及装置 | |
Canh et al. | Multisensor data fusion for reliable obstacle avoidance | |
Lin et al. | 6DoF Motion estimation for UAV landing on a moving shipdeck using real-Time on-board vision | |
CN114415659B (zh) | 一种机器人安全避障方法、装置、机器人及存储介质 | |
Gao et al. | Onboard optical flow and vision based localization for a quadrotor in unstructured indoor environments | |
EP4024155B1 (en) | Method, system and computer program product of control of unmanned aerial vehicles | |
US20230182305A1 (en) | Cooperation System | |
Halodová¹ et al. | Check for updates Adaptive Image Processing Methods for Outdoor Autonomous Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |