CN107728633B - 获取目标物位置信息方法及装置、移动装置及其控制方法 - Google Patents
获取目标物位置信息方法及装置、移动装置及其控制方法 Download PDFInfo
- Publication number
- CN107728633B CN107728633B CN201710992577.9A CN201710992577A CN107728633B CN 107728633 B CN107728633 B CN 107728633B CN 201710992577 A CN201710992577 A CN 201710992577A CN 107728633 B CN107728633 B CN 107728633B
- Authority
- CN
- China
- Prior art keywords
- target object
- real
- information
- time image
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 113
- 230000002596 correlated effect Effects 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 67
- 230000000875 corresponding effect Effects 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 25
- 230000004888 barrier function Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000001276 controlling effect Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 13
- 238000003384 imaging method Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种获取目标物位置信息的方法、装置、终端及系统,包括:从包含关联物的第一实时图像中提取关联物特征信息,基于关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线;获取包含被投射光线后的所述关联物的第二实时图像,判断所述第二实时图像中是否存在与所述关联物相关联的目标物;当确定存在所述目标物时,提取所述目标物的特征信息,基于所述目标物的特征信息确定所述目标物的位置信息。本发明通过开启光源并向细长目标物投射光线,在白天光照较强,细长目标物与天空背景对比度较低时,增加细长目标物与天空背景的对比度,避免了无人机撞击到细长目标物上而导致的无人机损坏。
Description
技术领域
本发明涉及定位、图像处理及飞行器领域,具体而言,本发明涉及一种获取目标物位置信息的方法、装置、终端、系统与移动装置及其控制方法。
背景技术
目前,随着无人机的不断发展,无人机已运用于农业、航拍、航测领域等,然而,无人机在飞行过程中需要识别阻碍无人机飞行的细长物体,以确保无人机的安全飞行,提高无人机的使用寿命,在空间中光照强度较高时,会导致环境中的细长的线状物体与环境的背景的对比度较小,在拍摄图像时,线状物体与环境背景在图像中融为一体,导致无人机不能从拍摄的图像中识别出细长的线状物体,特别地,无人机通过摄像装置恢复户外环境深度信息过程中,在无人机与细长物体距离较远且白天光照强度较高时,天空背景过亮,导致斜拉线、电线树枝等细小线状物体与天空的对比度很小,使得摄像装置拍摄的图片中的斜拉线、电线树枝等细小线状物体难以被检测出,导致无人机飞行过程中,容易与线状物体发生碰撞,降低了无人机的使用寿命,影响了无人机的安全飞行,增加了无人机完成任务的难度。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一,特别是在线状物体与天空的对比度小,使得图像中的线状物体难以被检测出,导致无人机容易与线状物体发生碰撞的问题。
本发明提供了一种获取目标物位置信息的方法,其特征在于,包括:
从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线;
获取包含被投射光线后的所述关联物的第二实时图像,判断所述第二实时图像中是否存在与所述关联物相关联的目标物;
当确定存在所述目标物时,提取所述目标物的特征信息,基于所述目标物的特征信息确定所述目标物的位置信息。
进一步地,在所述基于所述目标物的特征信息确定所述目标物的位置信息的步骤之后,包括:
依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息;
依据所述通行障碍区域信息,确定绕行所述目标物的通行路线。
进一步地,在所述依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息的步骤之后,还包括:
将所述通行障碍区域信息以映射关系存储至数据库中。
进一步地,在所述判断所述第二实时图像中是否存在与所述关联物相关联的目标物的过程中,具体包括:
依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定。
优选地,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体包括:
所述第二实时图像单位区域内梯度方向相同的像素点的个数大于预设阈值,且所述像素与该像素相对应的基准线的最小夹角在预设容忍度τ内相同,则判断所述第二实时图像中存在目标物。
进一步地,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体还包括:
构建四方形基准场,以使四方形基准场内包含单位区域内的方向和最小夹角相同的像素,且在所述四方形的相对边相互平行相等,且四方形的长:宽≥1:1时,则判断所述第二实时图像中存在目标物。
进一步地,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体还包括:
以所述四方形中像素与该像素相对应的基准线的最小夹角与所述四方形主方向的角度差小于2τ的像素为对齐像素,在所述四方形的长:宽≥1:1时,且所述对齐像素个数大于预设像素个数值时,则判断所述第二实时图像中存在目标物。
优选地,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体包括:
在所述第二实时图像中建立二维坐标系,当所述第二实时图像中满足y=kx+b的像素点的数量大于预设像素点数量值时,则判断所述第二实时图像中存在目标物,其中,x为像素点在二维坐标系x-y中对应x轴的坐标值,y为像素点在二维坐标系x-y中对应y轴的坐标值,k为直线在二维坐标系x-y中的斜率,b为直线在二维坐标系x-y中函数与y轴的截距。
优选地,在所述当确定存在所述目标物时,提取所述目标物的特征信息的过程中,具体包括:
通过直线检测算法从所述第二实时图像中获取所述目标物的特征信息。
进一步地,在所述从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线的步骤之前,包括:
建立世界坐标系、摄像装置坐标系及图像坐标系。
优选地,所述第二实时图像中至少包括两幅实时图像的图像组,在所述根据所述目标物的特征信息确定所述目标物的位置信息的步骤中,具体包括:
将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值;
依据所述视差值以及三角几何关系确定所述目标物的深度信息和所述目标物的位置信息。
优选地,所述直线检测算法为LSD算法,所述目标物特征为直线,在所述将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值的步骤中,具体包括:
对LSD算法检测出的同一组实时图像中的所述目标物的特征信息进行运算确定直线LBD描述子;
根据同一组实时图像中所述LBD描述子之间距离,确定距离最小的所述LBD描述子,距离最小的所述LBD描述子为匹配直线对;
获取所述匹配直线对在摄像装置坐标系下同一坐标轴上的坐标值差的绝对值,确定所述匹配直线对的视差值。
优选地,所述第二实时图像的对比度高于所述第一实时图像。
优选地,基于双目视觉原理和立体视觉算法确定所述目标物的位置信息。
优选地,所述目标物的位置信息包括:目标物在世界坐标系中的坐标值、目标物在摄像坐标系中的坐标值。
优选地,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角。
优选地,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理。
一种获取目标物位置信息的装置,包括:光线启动模块、判断模块、位置信息确定模块;
所述光线启动模块,用于从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线;
所述判断模块,用于获取包含被投射光线后的所述关联物的第二实时图像,判断所述第二实时图像中是否存在与所述关联物相关联的目标物;
所述位置信息确定模块,用于当确定存在所述目标物时,提取所述目标物的特征信息,基于所述目标物的特征信息确定所述目标物的位置信息。
进一步地,在所述位置信息确定模块之后,包括障碍区域信息确定模块、路线确定模块;
所述障碍区域信息确定模块,用于依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息。
所述路线确定模块,用于依据所述目标物的位置信息和所述目标物的特征信息,确定绕行所述目标物的通行路线。
进一步地,在所述障碍区域信息确定模块之后,还包括:存储模块,
所述存储模块,用于将所述通行障碍区域信息以映射关系存储至数据库中。
进一步地,所述判断模块中,具体包括:线性特征判定模块,
所述线性特征判定模块,用于依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定。
优选地,所述线性判断模块中,具体包括:
方向判断单元,用于所述第二实时图像单位区域内梯度方向相同的像素点的个数大于预设阈值,且所述像素与该像素相对应的基准线的最小夹角在预设容忍度τ内相同,则判断所述第二实时图像中存在目标物。
进一步地,所述线性判断模块中,具体还包括:
构件基准场单元,用于构建四方形基准场,以使四方形基准场内包含单位区域内的方向和最小夹角相同的像素,且在所述四方形的相对边相互平行相等,且四方形的长:宽≥1:1时,则判断所述第二实时图像中存在目标物。
进一步地,所述线性判断模块中,具体还包括:
对齐像素个数判断单元,用于以所述四方形中像素与该像素相对应的基准线的最小夹角与所述四方形主方向的角度差小于2τ的像素为对齐像素,在所述四方形的长:宽≥1:1时,且所述对齐像素个数大于预设像素个数值时,则判断所述第二实时图像中存在目标物。
优选地,所述线性判断模块中,具体包括:
像素点数量判断单元,用于在所述第二实时图像中建立二维坐标系,当所述第二实时图像中满足直线方程y=kx+b的像素点的数量大于预设像素点数量值时,则判断所述第二实时图像中存在目标物,其中,x为像素点在二维坐标系x-y中对应x轴的坐标值,y为像素点在二维坐标系x-y中对应y轴的坐标值,k为直线在二维坐标系x-y中的斜率,b为直线在二维坐标系x-y中函数与y轴的截距。
优选地,在所述位置信息确定模块中,具体包括:
直线检测模块,用于通过直线检测算法从所述第二实时图像中获取所述目标物的特征信息。
进一步地,在所述光线启动模块之前,包括:
坐标系建立模块,用于建立世界坐标系、摄像装置坐标系及图像坐标系。
优选地,所述位置信息确定模块中,还具体包括:
视差值确定模块,用于将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值;
目标物位置信息确定模块,用于依据所述视差值以及三角几何关系确定所述目标物的深度信息和所述目标物的位置信息。
优选地,所述直线检测算法为LSD算法,所述目标物特征为直线,在所述视差值确定模块中,具体包括:
LBD描述子确定模块,用于对LSD算法检测出的同一组实时图像中的所述目标物的特征信息进行运算确定直线LBD描述子;
直线对匹配模块,用于根据同一组实时图像中所述LBD描述子之间距离,确定距离最小的所述LBD描述子,距离最小的所述LBD描述子为匹配直线对;
直线对的视差值确定模块,用于获取所述匹配直线对在摄像装置坐标系下同一坐标轴上的坐标值差的绝对值,确定所述匹配直线对的视差值。
优选地,所述第二实时图像的对比度高于所述第一实时图像。
优选地,基于双目视觉原理和立体视觉算法确定所述目标物的位置信息。
优选地,所述目标物的位置信息包括:目标物在世界坐标系中的坐标值、目标物在摄像坐标系中的坐标值。
优选地,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角。
优选地,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现前述任一项所述获取目标物位置信息的方法的步骤。
一种获取目标物位置信息的终端,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现前述任一项所述获取目标物位置信息的方法的步骤。
一种获取目标物位置信息的系统,包括摄像装置、光源装置和前述所述的计算机可读存储介质或前述的所述获取目标物位置信息的终端。
优选地,所述摄像装置为双目摄像机,所述光源装置为阵列和/或线性光源。
一种移动装置,包括前述任意一项所述获取目标物位置信息的系统。
一种移动装置的控制方法,该控制方法包括:
通过前述任意一项所述获取目标物位置信息的方法获得所述目标物的位置信息;
依据所述目标物的位置信息,获取所述通行障碍区域信息;
依据所述通行障碍区域信息,控制绕行所述目标物的通行路线。
与现有技术相比,本发明具有以下有益效果:
1、本发明提供的获取目标物位置信息的方法、装置、终端及系统,从第一实时图像中获取关联物特征信息,根据所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息向关联物所在区域投射光束;由于关联物的体积较大,便于识别,因此在对比度不高的情况下,如白天时,无人机能从实时图像中能获取到关联物的特征信息,并以此确定关联物的位置信息,依据常规环境情况,在有关联物的区域内,同时会有目标物,由于环境光照过强且目标物过于细小,如白天太阳光光照过强,天空背景过亮,而电线、斜拉线、树枝等目标物过于细小,使得目标物与环境的对比度较低,从而在实时图像中在能获取到关联物的特征信息而不能获取到目标物的特征信息时,此时,无人机可开启自身携带光源,并可将光源发射出光束投射到关联物的区域,增加与关联物相关的目标物与环境的对比度,便于从实时图像中检测到目标物的特征信息;获取所述关联物被投射光线后的第二实时图像,判断所述第二实时图像中是否存在与所述关联物关联的目标物;在前述的基础上,获取光束投射后的第二实时图像,由于光束投射以及细长目标物(如电线、斜拉线、树枝等)反光特征等,提高了细长目标物(如电线、斜拉线、树枝等)与环境(如白天时的天空)的对比度,从而便于从第二实时图像中获取目标物的特征信息,以用于确定第二实时图像中是否存在目标物,便于确定障碍区域,设定无人机的通行路线;若是,获取所述目标物的特征信息,根据所述目标物的特征信息确定所述目标物的位置信息,从第二实时图像中获取到目标物的特征信息后,能够依据目标物的特征信息以及确定位置信息的算法实现确定目标物的位置信息。
2、本发明能够依据所述目标物的位置信息和所述目标物的特征信息,重新设定无人机绕行所述目标物的通行路线,避免了无人机在飞行过程中撞击到目标物上,如前述如电线、斜拉线、树枝等细长的目标物,从而提高了无人机的使用寿命,降低无人机的飞行的损坏率,实现无人机的安全飞行。
3、本发明依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息,将所述通行障碍区域信息以映射关系存储至数据库中,其中数据库可以是云端或者本地存储介质中,以便于下次有无人机飞行至该区域时,无人机能够依据本发明获取目标物位置信息的方法确定目标物的位置信息,并能依据该信息从数据库中获取到障碍区域,并进一步的设定无人绕行目标物的通行路线,从而提高避免无人机在飞行过程中撞击到目标物上,提高无人机的使用寿命,实现了无人机的安全飞行,降低了无人机完成任务的难度。
4、本发明主要依据了LSD算法对第二实时图像进行直线检测,LSD是一种直线检测分割算法,它能在线性的时间内得出亚像素级精度的检测结果,该算法无需调节参数便能实现在任何数字图像上进行直线检,并且LSD算法可以控制误检数量,提高直线检测的精度,并进一步地提高了无人机的使用寿命,实现无人机的安全飞行。
5、本发明目标物位置信息的确定,可依据双目视觉原理以及立体视觉算法确定目标物的位置信息,且其主要依据一组图像中匹配特征的视差值以及简单的三角几何关系确定目标物的位置信息,降低了确定目标物位置信息的时间,降低了确定目标物位置信息的过程中对内存占有率,提高了运算的效率。
6、本发明的发光单元为阵列和/或线性光源,扩大了光束的投射范围,以及光照强度,有利于提高第二实时图像的对比度,便于从第二实时图像中检测到目标物,如电线、斜拉线、树枝等细小的线状物。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一种获取目标物位置信息的方法的典型的实施例流程图;
图2为本发明一种获取目标物位置信息的方法的又一实施例的流程图;
图3为本发明一种获取目标物位置信息的方法的又一实施例的流程图;
图4为本发明霍夫算法直线检测原理图;
图5为本发明一种获取目标物位置信息的方法的又一实施例的流程图;
图6为本发明一种获取目标物位置信息的方法的又一实施例的流程图;
图7为本发明的双目视觉原理图;
图8为本发明的世界坐标系、摄像机坐标系、图像坐标系转换关系的示例图;
图9为本发明一种获取目标物位置信息的装置的典型实施例的结构示意图;
图10为本发明一种获取目标物位置信息的装置的又一实施例的结构示意图;
图11为本发明一种获取目标物位置信息的装置的又一实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
无人机是一种以无线电遥控或由自身程序控制为主的小型飞行器。它具有体积小、造价低、使用方便等优点,使其常用于航拍摄影、电力巡检、环境监测、森林防火、灾情巡查、防恐救生、军事侦察、战场评估、植保、航拍、航测等领域,能够有效克服有人驾驶飞机进行空中作业的不足,降低购买与维护成本,提高运载工具的安全性。无人机在白天作业时,在光照过强,天空背景过亮,细长的斜拉线、电线、树枝等物体给无人机飞行造成有形障碍的安全威胁,如果躲避不及就会发生坠机事件、产生安全隐患,甚至对操作者或者他人造成伤害;同时也会造成一定的经济损失,也从而造成无人机的工作效率降低,因此有必要改进无人机在环境光照过强,使得目标物与背景对比度过低,导致无人机不能识别细长目标物的情况。
本发明提供了一种获取目标物位置信息的方法,在一种实施方式中,如图1,包括S100至S300。
S100:从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线。
无人机在飞行过程中,通过摄像装置连续地拍摄图像,其中图像显示的是一个区域的画面,在对图像检测的过程中可以检测出多种物体的特征信息,依据物体特征信息可以确定具体的物体,在本发明中,从第一实时图像中提取关联物的特征信息,其中关联物的特征信息包括:关联物的长和高、关联物的长高比、关联物与地面最小夹角、关联物的灰度、纹理等特征,依据提取到的关联物的特征信息确定具体的关联物以及关联物的位置信息,具体可以依据立体视觉算法原理,如采用Slam技术,通过sift和/或ORB提取图像中的特征,并依据RANSAC估计各特征的运动参数,使得图像中的所有的相关的特征能被统一到一个坐标系下,并在该坐标系下构建立体图,在立体图中在获取关联物的长和高、关联物的长高比、关联物与地面最小夹角、关联物的灰度、纹理等特征,从而确定关联物,并可根据关联物的特征信息依据Slam技术确定关联物的具体位置信息,依据关联物的具体位置信息,无人机驱动发光单元向关联物所在区域投射光线,即开启自身携带的光源,向关联物所在的区域投射光束,用以增加其他物体与环境的对比度,进一步的,在数据库中预设有前述任一项或者多项关联物的特征信息,以及与关联物相关联的目标物,无人机在进行识别时,调用预设的关联物的特征信息与从第一实时图像中提取出的关联物的特征信息进行匹配对比,用以确定第一实时图像中是存在关联物,并进一步依据该关联物确定与关联物相关联的目标物。
具体的,例如无人机在光照较为强烈的白天飞行时,依据飞行过程中的第一实时图像和Slam技术确定对了构建了立体图像,无人机从该立体图像中提取关联物(如电线杆、树干等)的特征信息,例如关联物为电线杆时,提取电线杆的长宽比、电线杆的长度、电线杆的宽度、电线杆与地面的最小角夹角、电线杆的灰度、纹理等特征,由于电线杆有固定的长宽比,固定的色彩以及材质,因此其对应的灰度和纹理时固定的。因此满足固定的长宽比则可确定为关联物,Slam技术依据通过sift和/或ORB提取第二实时图像中的电线杆的长宽比、长度、宽度等特征,由于第二实时图像包括了一组图像,将通过sift和/或ORB提取的电线杆的特征通过RANSAC估计电线杆的运动参数,依据提取任一项或多项特征信息:电线杆的长宽比、电线杆的长度、电线杆的宽度、电线杆与地面的最小角夹角、电线杆的灰度、纹理等特征,电线杆的特征信息预设在数据库中,在识别第一实时图像时,将预设的电线杆的特征信息与第一实时图像中的特征信息进行对比,已确定第一实时图像中包括关联物电线杆,依据关联物的特征信息构建包括关联物位置信息的立体图像,其中,关联物位置信息包括关联物在世界坐标系中的位置,关联物与无人机的距离(即关联物在无人机上的摄像装置确定的坐标系中的坐标值),根据关联物的位置信息以及构建的包括关联物立体图像,无人机驱动发光单元向关联物所在的区域投射光线,其中,发光单元为阵列和/或线性光源,本发明也可通过其他立体视觉算法获取关联物的位置信息。
S200:获取包含被投射光线后的所述关联物的第二实时图像,判断所述第二实时图像中是否存在与所述关联物相关联的目标物。
在S100的基础上,发光单元向关联物照射光线,用以增加与关联物相关联且在第一实时图像中未能被识别的目标物的对比度,主要增加的是目标物与环境的对比度,以便于能更好的识别关联物所在区域内包含的具体的物体特征信息,并从识别出的物体的特征信息中确定是否存在与关联物相关联的目标物,以便于后续确定目标物的位置信息。进一步地,发光单元向关联物照射的可以为不可见光也可以为可见光,不可见光包括:光波长<380nm的光(如紫外线)和光波长>760nm的光(如红外线、远红外线)。进一步地,在数据库中可预设与关联物相关联的目标物的特征信息,在获取到关联物的特征信息后,可依据关联物确定关联物所在的区域是否有可能存在目标物,在进行目标物的判断时,可依据从第二实时图像中提取出的特征信息与预设目标物的特征信息进行对比,确定第二实时图像中是否存在目标物。
具体的,例如在白天光照强度较高时,天空的背景过亮,在第一实时图像中,可能会出现细长的物体与天空的对比度较低,从而不能从第一实时图像中识别出目标物,因此,当关联物为电线杆,目标物为电线时,在S100的基础上,白天光照强度较高,天空的背景过亮,无人机驱动发光单元向电线杆所在的区域投射光线,在电线杆所在的区域存在细长的目电线时,由于细长电线的反光特征,增加了细长电线与天空的对比度,并进一步增加了第二实时图像的对比度,使得第二实时图像的对比度高于第一实时图像,便于从该图像中检测到电线,其中,由于电线具有直线的特征,便可通过直线检测算法从第二实时图像中检测是否存在直线,若存在,便可确定电线杆所在的区域存在电线,确定电线后便可提取电线的特征信息,用以确定电线的位置信息。
S300:当确定存在所述目标物时,提取所述目标物的特征信息,基于所述目标物的特征信息确定所述目标物的位置信息。
在前述的基础上,依据第二实时图像,确定关联物所在的区域内存在目标物,依据立体视觉算法,提取用于确定目标物位置信息的特征信息,将提取出的目标物的特征信息应用到立体视觉算法中,确定目标物的位置信息,进一步,目标物的位置信息包括了目标物在世界坐标系中的坐标值,以无人机携带的摄像装置的为原点的坐标系中的坐标值。目标物的特征信息包括任意一项或多项如下信息:直线长度、直线宽度、直线对地面的倾斜角、直线在图像坐标系中坐标值,如电线的长度、电线的宽度、电线对地面的倾斜角,目标物的特征信息结合摄像坐标系、世界坐标系、图像坐标系三者的转换关系确定目标物的位置信息。
进一步地,在又一种实施方式中,如图2,在所述基于所述目标物的特征信息确定所述目标物的位置信息的步骤S300之后,包括S310和S320。
S310:依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息。
在前述的S100至S300基础上,分别确定了关联物的位置信息和目标物的位置信息,结合关联物的特征信息和目标物的特征信息,共同确定通行障碍区域,通行障碍区域可以为圈定的一个包括目标物和关联物的区域,或者分别圈定的以目标物和关联物为障碍物的小区域,具体的,例如前述的电线杆和电线,在前述的步骤中,确定了电线杆两端和电线两端端点和/或顶点分别在世界坐标系中坐标值,又根据第一实时图像和第二实时图像提取出了电线杆的长度、电线杆的宽度、电线杆与地面的倾斜角、电线杆与作物水平面的倾斜角、电线的长度、电线的宽度、电线与地面的倾斜角、电线与作物水平面的倾斜角,将前述得信息结合,可知道电线杆、电线以及地面可共同构成一个几何图形,或者电线杆、电线以及作物水平面可共同构成一个几何图形,再依据电线杆两端端点和/或顶点和电线两端端点和/或顶点分别在世界坐标系中坐标值以及几何原理,确定一个包括电线杆和电线的大区域几何图形各顶点在世界坐标系中的坐标值,依据几何图形各顶点的坐标值边确定了障碍区域,几何图形各顶点的坐标值位通行障碍区域信息,几何图形形状也为通行障碍区域信息。由于电线杆以及电线都是长条状物体,可分别依据电线杆和电线两端端点和/或顶点的坐标值,以及电线杆和电线两端端点和/或顶点与地面或者其农作物水平面间的距离,确定电线杆和电线两端端点和/或顶点与地面或者其农作物水平面构成的区域是否符合无人机飞行,当符合无人机飞行时,则将电线杆两端端点和/或顶点的连线和电线两端端点和/或顶点的连线构成的形状确定为障碍区域,电线杆两端端点和/或顶点和电线两端端点和/或顶点为通行障碍区域信息,进一步的电线杆两端端点和/或顶点的连线和电线两端端点和/或顶点的连线构成的形状也为通行障碍区域信息。
S320:依据所述通行障碍区域信息,确定绕行所述目标物的通行路线。
在步骤S310中,确定了通行障碍区域信息后,无人机便可结合通行障碍区域信息设定绕行障碍物的通行路线,使得无人机可以安全地绕过障碍物进行飞行,避免无人机撞击到障碍物上。具体的,如在步骤S310中包括了电线和电线杆的几何图形为障碍区域,几何图形各顶点的坐标值为通行障碍区域信息,根据几何图形各顶点的坐标值,无人机便可设置绕过几何图形的通行路线,从几何图形的外围绕过几何图形,也可以是,在无人机判断几何图形围绕的内部区域能够实现无人机通行的情况时,无人机可设置穿过几何图形内部的通行路线。
进一步地,在又一种实施方式中,如图3,在所述依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息的步骤S310之后,还包括S330。
S330:将所述通行障碍区域信息以映射关系存储至数据库中。
将通行障碍区域信息以映射关系存储至数据库中,其中数据库可以是本地数据库,也可以是云端,若是本地数据库,则将通信障碍区域信息以映射关系记录在本地数据库,待无人机完成飞行的时候,将本地数据库中的通信障碍区域信息拷贝下来,存储在大数据库中,便于下次无人机飞行时,可将该数据导入无人机;若是直接上传至云端数据库中,则下次无人机飞行时,便可依据位置信息从云端数据库中调用通行障碍区域信息,通行障碍区域信息主要包括任意一项或多项如下信息:目标物各顶点和/或端点在世界坐标系中的坐标值、关联物各顶点和/或端点在世界坐标系中的坐标值,目标物、关联物与地面或者作物平面构成的几何图形。
进一步地,在所述判断所述第二实时图像中是否存在与所述关联物相关联的目标物的过程中,具体包括:
依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定。
在进行判断过程中,主要检测所述第二实时图像中是否具有直线特征,由于在判断过程中,其中一些像素点可能是在直线上,而另外一些像素点是分布在直线附近,导致像素点不能直接的构成一条直线,然而这些点具有线性关系特征,将第二实时图像中的像素点进行拟合,从而使得像素点间具有线性关系,并使拟合后的像素点能够称为一条直线,则能够判断第二实时图像中存在具有直线特征的目标物,具体解析如后文。
优选地,在其中一种实施方式中,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体包括:
所述第二实时图像单位区域内梯度方向相同的像素点的个数大于预设阈值,且所述像素与该像素相对应的基准线的最小夹角在预设容忍度τ内相同且像素方向相同,则判断所述第二实时图像中存在目标物。
在对第二实时图像做判断时,首先将第二实时图像划分区域,每个区域内包括了多个像素,对第二实时图像成组地在高斯下进行单位区域内像素采集,计算每一个像素点的梯度值和梯度方向,将所述像素点的梯度值进行对比,确定最大梯度值的像素点,而后计算每一个像素与level-line的夹角,以最大梯度值的像素点为基准点,判断组内是否有方向相同的像素。其中,单位区域内所有像素与该像素相对应的基准线的最小夹角预设有容忍度,在预设容忍度τ内的最小夹角都可以判断为具有相同的夹角,且通过对像素梯度值以及梯度的方向进行计算,当计算出单位区域内像素梯度方向相同的像素点大于预设阈值时,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
进一步地,在其中一种实施方式中,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体还包括:
构建四方形基准场,以使四方形基准场内包含单位区域内的方向和最小夹角相同的所述像素,且在所述四方形的相对边相互平行相等,且四方形的长:宽≥1:1时,则判断所述第二实时图像中存在目标物。
构建四方形基准场,四方形基准场中包含了单位区域中所有最小夹角相同且方向相同的所述像素,且四方形的长宽相互平行且相等,四方形的长:宽≥1:1时,说明四方形构建为矩形,满足构成直线条件,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
进一步地,在其中一种实施方式中,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体还包括:
以所述四方形中像素与该像素相对应的基准线的最小夹角与所述四方形主方向的角度差小于2τ的像素为对齐像素,在所述四方形的长:宽≥1:1时,且所述对齐像素个数大于预设像素个数值时,则判断所述第二实时图像中存在目标物。
每一个基准场其实就是一组像素,它也是直线段的候选。当一组像素构成的区域,特别细长时,那么这组像素更加可能是直线段。基于此,构建的矩形基准场的主方向。基准场中的一个像素的与该像素相对应的基准线的最小夹角的角度与矩形基准场的主方向的角度差在容忍度2τ内的时,那么这个像素点被称作对齐像素,统计矩形基准场内的所有像素数和对齐像素个数,在对齐像素个数值和所有像素个数值得基础上。采用“a contrarioapproach”和“Helmholtz principle”准则确定对齐像素的个数值是否大于预设像素个数值,在大于预设像素个数值时,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
优选地,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体包括:
在所述第二实时图像中建立二维坐标系,当所述图像中满足y=kx+b的像素点的数量大于预设像素点数量值时,则判断所述第二实时图像中存在目标物,其中,x为像素点在二维坐标系x-y中对应x轴的坐标值,y为像素点在二维坐标系x-y中对应y轴的坐标值,k为直线在二维坐标系x-y中的斜率,b为直线在二维坐标系x-y中函数与y轴的截距。
优选地,如图4,在所述第二实时图像中建立二维坐标系,y=kx+b函数转换为极坐标方程,为ρ=xcosθ+ysinθ,ρ为原点到直线的垂直距离,θ为与x轴的夹角。从上述极坐标方程可以看出,将该直线变换到ρθ坐标系后将是一系列不同初相、幅度,但是周期均为2π的正弦曲线,所有正弦曲线交点处的ρ和θ将代表xy空间中的这条直线,应用极坐标方程ρ=xcosθ+ysinθ和坐标系中可测量的像素点的坐标值到图像笛卡尔坐标系统中,并进一步从图像笛卡尔坐标系统转换到极坐标霍夫空间系统,这种从点到曲线的变换称为直线的霍夫变换。变换通过量化霍夫参数空间为有限个值间隔等分或者累加格子。当霍夫变换算法开始,每个像素坐标点(x,y)被转换到(ρ,θ)的曲线点上面,累加到对应的格子数据点,当一个波峰出现时候,说明有直线存在,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
优选地,在所述当确定存在所述目标物时,提取所述目标物的特征信息的过程中,具体包括:
通过直线检测算法从所述第二实时图像中获取所述目标物的特征信息。
由前述可知,在判断所述第二实时图像中是否存在目标物时,对第二实时图像进行直线检测,检测第二实时图像中是否存在直线,若存在,表明第二实时图像中存在直线,其中直线则为目标物,进一步地,根据直线检测结果确定第二实时图像中存在目标物之后,提取与所述直线对应的特征,即为目标物的特征,如目标物的长度、目标物的宽度、目标物与地面或者作物平面的倾斜角度,提取目标物的特征信息用于确定目标物在世界坐标系中的坐标值以及目标物在摄像坐标系中的坐标值,其中,目标物如前述的电线,也可以是斜拉线、树枝等细长的线状物。
进一步地,在又一种实施方式中,如图5,在所述从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线的步骤之前S100,包括S101。
S101:建立世界坐标系、摄像装置坐标系及图像坐标系。
具体的,如图5,如前文所述,需要建立世界坐标系、摄像坐标系、图像坐标系,才能通过立体视觉算法以及双目视觉原理确定目标物在不同坐标系中的具体位置信息,并进一步通过坐标系之间的转换确定目标物在世界坐标系中位置信息,目标物与无人机的距离,以及在处理图像过程中会利用图像坐标系确定直线等。
优选地,在又一种实施方式中,如图6,所述第二实时图像中至少包括两幅实时图像的图像组,在所述基于所述目标物的特征信息确定所述目标物的位置信息的步骤S300中,具体包括S340至S350。
S340:将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值;
S350:依据所述视差值以及三角几何关系确定所述目标物的深度信息和所述目标物的位置信息。
将所述实时图像组中的所述目标物的特征信息进行匹配的过程中,具体包括:1.尺度空间中提取线段,当拿到一张第二实时图像时,先构建一个尺度金字塔,通过一组尺度因子scale factors和高斯模糊Gaussian blurring,对一张图片进行N个下采样,就可以得到N层尺度金字塔,金字塔最底层是原图,每高一层就是一层高斯模糊后的图像;构建尺度空间后,我们对一个尺度金字塔中每一层的图片都进行一次EDLine算法的线特征提取,于是在每一层空间里都能够获得一组线段。然后将尺度空间里的线进行重组,以发现对应线段。对于每一个从尺度空间里取出的线段,如果他们在图像中是相同的线段,但是在不同的尺度空间里,我们都安排一个唯一ID并将其存入到同一个LineVec变量中。最终提取出一组LineVec变量。因为重新组织的尺度空间中的线段特征为LineVec,所以这减少了图匹配问题的维度。所以同一个LineVec中的不同的线段,指的是不同尺度空间下的同一个线段。所以在同一个LineVec下的线段都拥有相同的方向,并且对应于原图的同一个区域;2.条带(Band)来表示线的支持域,在octave image给出了线段,描述符将从线段支持域(LSR)计算。该支持区域被划分为一组条带{B1;B2;...;Bm},每个条带都是LSR的子区域并且他们之间的平行的,条代数m的和每个条带的宽度w,条带的长度等于线段的长度;3.构造条带描述符,(the Line Band Descriptor)LBD:LBD=(BD1 T,BD2 T,……BDM T);每条条带的描述子BDj:通过其最近的两相邻行的条带Bj-1;Bj+1来计算。特别是,在顶部和底部的条带带B1和Bm在LSR之外,在计算B1和Bm的描述时不会被考虑在内。BDj是描述的上下左右四个方向,BDj构成BDMj矩阵,BDj由BDMj矩阵的均值向量Mj和标准方差Sj得到:LBD的均值部分和标准方差部分由于其大小不同,分别进行规范化处理。前述处理过程之后,选择最近邻匹配准则,根据描述符的距离对线进行匹配,避免了由于不同描述符偏爱不同阈值而造成距离阈值的偏差,依据前述利用LBD直线的描述子,计算左右视图LBD描述子的距离,其中LBD描述子距离最小的为匹配直线对。进一步地,也可以是单目立体视觉算法,获取单目相机同时照射的不同透镜面的包含目标物和关联物的第二实时图像,第二实时图像为一组图像,并进一步依据前述的直线检测算法以及LBD算法进行直线匹配,并进一步的执行后续的步骤。
双目立体视觉三维测量是基于视差原理,图7所示为简单的平视双目立体成像原理图,两摄像机的投影中心的连线的距离,即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处,坐标系如图7所示。事实上摄像机的成像平面在镜头的光心后,图7中将左右成像平面绘制在镜头的光心前f处,这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上,则点P图像坐标的Y坐标相同,即v1=v2。由三角几何关系得到:
上式中(xc,yc,zc)为点P在左摄像机坐标系中的坐标,b为基线距,f为两个摄像机的焦距,(u1,v1)和(u2,v2)分别为点P在左图像和右图像中的坐标。
视差定义为某一点在两幅图像中相应点的位置差:
由此可计算出空间中某点P在左摄像机坐标系中的坐标为:
式(3)中zc为无人机与目标物之间的绝对距离及景深信息。
进一步地,如图8,依据下述公式确定目标物在世界坐标系中的位置信息以及关联物在世界坐标系中的位置信息:
其中,R为摄像装置坐标系相对世界坐标系的旋转矩阵,T为摄像装置坐标系相对世界坐标系的平移矩阵,fx为沿摄像装置x轴的等效焦距,fy沿摄像装置y轴的等效焦距,uo、vo为摄像装置光轴与图像坐标系二维平面的交点,uo为交点在图像坐标系中x轴上的坐标,vo为焦点在图像坐标系中y轴上的坐标,u为目标物或者关联物在图像中的图像坐标系中X轴的坐标,v为目标物或者关联物在图像中的图像坐标系中Y轴的坐标,Z为目标物或者关联物高度,且为世界坐标系Z轴上的坐标,X目标物或者关联物在世界坐标系中X轴上的坐标,Y为目标物或者关联物在世界坐标系中Y轴上的坐标,k为目标物或者关联物在摄像装置坐标系中的Z轴坐标值的倒数。
优选地,所述直线检测算法为LSD算法,所述目标物特征为直线,在所述将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值的步骤S340中,具体包括:
对LSD算法检测出的同一组实时图像中的所述目标物的特征信息进行运算确定直线LBD描述子;
根据同一组实时图像中所述LBD描述子之间距离,确定距离最小的所述LBD描述子,距离最小的所述LBD描述子为匹配直线对;
获取所述匹配直线对在摄像装置坐标系下同一坐标轴上的坐标值差的绝对值,确定所述匹配直线对的视差值。
具体过程如前文步骤S340和S350的描述,在此不做赘述。
优选地,所述第二实时图像的对比度高于所述第一实时图像。
如前文所述,无人机开启光源后,由于细长目标物的反光性,提高了细长物体与环境的对比度,使得所述第二实时图像的对比度高于所述第一实时图像,便于从第二实时图像中识别出目标物。
优选地,基于双目视觉原理和立体视觉算法确定所述目标物的位置信息。如前文所述,本发明主要基于双目视觉原理和立体视觉算法确定所述目标物的位置信息,进一步地,也可通过单目视觉原理和立体视觉算法确定所述目标物的位置信息。
优选地,所述目标物的位置信息包括:目标物在世界坐标系中的坐标值、目标物在摄像坐标系中的坐标值、目标物在图像坐标系中的坐标值。
如前文所述,所述目标物的位置信息包括前述的目标物在世界坐标系中的坐标值、目标物在摄像坐标系中的坐标值、目标物在图像坐标系中的坐标值。其中,目标物在图像坐标系中的坐标值在构建坐标系时,可直接从图像中读取。
优选地,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角。如前文所述,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角,在此不做赘述。
优选地,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理。如前文所述,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理,在此不做赘述。
一种获取目标物位置信息的装置,在一种实施方式中,如图9,包括:光线启动模块10、判断模块20、位置信息确定模块30。
所述光线启动模块10,用于从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线。
无人机在飞行过程中,通过摄像装置连续地拍摄图像,其中图像显示的是一个区域的画面,在对图像检测的过程中可以检测出多种物体的特征信息,依据物体特征信息可以确定具体的物体,在本发明中,从第一实时图像中提取关联物的特征信息,其中关联物的特征信息包括:关联物的长和高、关联物的长高比、关联物与地面最小夹角、关联物的灰度、纹理等特征,依据提取到的关联物的特征信息确定具体的关联物以及关联物的位置信息,具体可以依据立体视觉算法原理,如采用Slam技术,通过sift和/或ORB提取图像中的特征,并依据RANSAC估计各特征的运动参数,使得图像中的所有的相关的特征能被统一到一个坐标系下,并在该坐标系下构建立体图,在立体图中在获取关联物的长和高、关联物的长高比、关联物与地面最小夹角、关联物的灰度、纹理等特征,从而确定关联物,并可根据关联物的特征信息依据Slam技术确定关联物的具体位置信息,无人机的光线启动模块10依据关联物的具体位置信息,无人机的光线启动模块10驱动发光单元向关联物所在区域投射光线,即开启自身携带的光源,向关联物所在的区域投射光束,用以增加其他物体与环境的对比度,进一步的,在数据库中预设有前述任一项或者多项关联物的特征信息,以及与关联物相关联的目标物,无人机在进行识别时,调用预设的关联物的特征信息与从第一实时图像中提取出的关联物的特征信息进行匹配对比,用以确定第一实时图像中是存在关联物,并进一步依据该关联物确定与关联物相关联的目标物。
具体的,例如无人机在光照较为强烈的白天飞行时,依据飞行过程中的第一实时图像和Slam技术确定对了构建了立体图像,无人机从该立体图像中获取关联物的特征信息,例如关联物为电线杆时,提取电线杆的长宽比、电线杆的长度、电线杆的宽度、电线杆与地面的最小角夹角、电线杆的灰度、纹理等特征,由于电线杆有固定的长宽比,固定的色彩以及材质,因此其对应的灰度和纹理时固定的。因此满足固定的长宽比则可确定为关联物,Slam技术依据通过sift和/或ORB提取第二实时图像中的电线杆的长宽比、长度、宽度等特征,由于第二实时图像包括了一组图像,将通过sift和/或ORB提取的电线杆的特征通过RANSAC估计电线杆的运动参数,依据提取任一项或多项特征信息:电线杆的长宽比、电线杆的长度、电线杆的宽度、电线杆与地面的最小角夹角、电线杆的灰度、纹理等特征,电线杆的特征信息预设在数据库中,在识别第一实时图像时,将预设的电线杆的特征信息与第一实时图像中的特征信息进行对比,已确定第一实时图像中包括关联物电线杆,依据关联物的特征信息构建包括关联物位置信息的立体图像,其中,关联物位置信息包括关联物在世界坐标系中的位置,关联物与无人机的距离(即关联物在无人机上的摄像装置确定的坐标系中的坐标值),无人机的光线启动模块10根据关联物的位置信息以及构建的包括关联物立体图像,无人机的光线启动模块10驱动发光单元向关联物所在的区域投射光线,其中,发光单元为阵列和/或线性光源,本发明也可通过其他立体视觉算法获取关联物的位置信息。
所述判断模块20,用于获取包含被投射光线后的所述关联物的第二实时图像,判断所述第二实时图像中是否存在与所述关联物相关联的目标物。
无人机的光线启动模块10启动发光单元后,发光单元向关联物照射光线,用以增加与关联物相关联且在第一实时图像中未能被识别的目标物的对比度,主要增加的是目标物与环境的对比度,以便于所述判断模块20能更好的识别关联物所在区域内包含的具体的物体特征信息,并从识别出的物体的特征信息中确定是否存在与关联物相关联的目标物,以便于后续确定目标物的位置信息。进一步地,发光单元向关联物照射的可以为不可见光也可以为可见光,不可见光包括:光波长<380nm的光(如紫外线)和光波长>760nm的光(如红外线、远红外线)。进一步地,在数据库中可预设与关联物相关联的目标物的特征信息,在提取到关联物的特征信息后,所述判断模块20可依据关联物确定关联物所在的区域是否有可能存在目标物,在进行目标物的判断时,所述判断模块20可依据从第二实时图像中提取出的特征信息与预设目标物的特征信息进行对比,确定第二实时图像中是否存在目标物。
具体的,例如在白天光照强度较高时,天空的背景过亮,在第一实时图像中,可能会出现细长的物体与天空的对比度较低,从而不能从第一实时图像中识别出目标物,因此,当关联物为电线杆,目标物为电线时,光线启动模块10启动发光单元后,白天光照强度较高,天空的背景过亮,无人机光线启动模块10驱动发光单元向电线杆所在的区域投射光线,在电线杆所在的区域存在细长的目电线时,由于细长电线的反光特征,增加了细长电线与天空的对比度,并进一步增加了第二实时图像的对比度,使得第二实时图像的对比度高于第一实时图像,便于所述判断模块20从该图像中检测到电线,其中,由于电线具有直线的特征,所述判断模块20便可通过直线检测算法从第二实时图像中检测是否存在直线,若存在,便可确定电线杆所在的区域存在电线,确定电线后便可提取电线的特征信息,用以确定电线的位置信息。
所述位置信息确定模块30,用于当确定存在所述目标物时,提取所述目标物的特征信息,基于所述目标物的特征信息确定所述目标物的位置信息。
所述判断模块20依据第二实时图像,确定关联物所在的区域内存在目标物,所述位置信息确定模块30依据立体视觉算法,提取用于确定目标物位置信息的特征信息,将提取出的目标物的特征信息应用到立体视觉算法中,确定目标物的位置信息,进一步,目标物的位置信息包括了目标物在世界坐标系中的坐标值,以无人机携带的摄像装置的为原点的坐标系中的坐标值。目标物的特征信息包括任意一项或多项如下信息:直线长度、直线宽度、直线对地面的倾斜角、直线在图像坐标系中坐标值,如电线的长度、电线的宽度、电线对地面的倾斜角,目标物的特征信息结合摄像坐标系、世界坐标系、图像坐标系三者的转换关系确定目标物的位置信息。
进一步地,在又一种实施方式中,如图10,在所述位置信息确定模块30之后,包括障碍区域信息确定模块31、路线确定模块32,
所述障碍区域信息确定模块31,用于依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息。
通过前述位置信息确定模块30,分别确定了关联物的位置信息和目标物的位置信息,所述障碍区域信息确定模块31结合关联物的特征信息和目标物的特征信息、关联物的位置信息和目标物的位置信息,共同确定通行障碍区域,通行障碍区域可以为圈定的一个包括目标物和关联物的区域,或者分别圈定的以目标物和关联物为障碍物的小区域,具体的,例如前述的电线杆和电线,所述位置信息确定模块30确定了电线杆两端和电线两端端点和/或顶点分别在世界坐标系中坐标值,又根据第一实时图像和第二实时图像提取出了电线杆的长度、电线杆的宽度、电线杆与地面的倾斜角、电线杆与作物水平面的倾斜角、电线的长度、电线的宽度、电线与地面的倾斜角、电线与作物水平面的倾斜角,将前述得信息结合,可知道电线杆、电线以及地面可共同构成一个几何图形,或者电线杆、电线以及作物水平面可共同构成一个几何图形,所述障碍区域信息确定模块31依据电线杆两端端点和/或顶点和电线两端端点和/或顶点分别在世界坐标系中坐标值以及几何原理,确定一个包括电线杆和电线的大区域几何图形各顶点在世界坐标系中的坐标值,所述障碍区域信息确定模块31依据几何图形各顶点的坐标值边确定了障碍区域,几何图形各顶点的坐标值位通行障碍区域信息,几何图形形状也为通行障碍区域信息。由于电线杆以及电线都是长条状物体,所述障碍区域信息确定模块31分别依据电线杆和电线两端端点和/或顶点的坐标值,以及电线杆和电线两端端点和/或顶点与地面或者其农作物水平面间的距离,确定电线杆和电线两端端点和/或顶点与地面或者其农作物水平面构成的区域是否符合无人机飞行,当符合无人机飞行时,则将电线杆两端端点和/或顶点的连线和电线两端端点和/或顶点的连线构成的形状确定为障碍区域,电线杆两端端点和/或顶点和电线两端端点和/或顶点为通行障碍区域信息,进一步的电线杆两端端点和/或顶点的连线和电线两端端点和/或顶点的连线构成的形状也为通行障碍区域信息。
所述路线确定模块32,用于依据所述目标物的位置信息和所述目标物的特征信息,确定绕行所述目标物的通行路线。
所述障碍区域信息确定模块31确定了通行障碍区域信息后,无人机的所述路线确定模块32便可结合通行障碍区域信息设定绕行障碍物的通行路线,使得无人机可以安全地绕过障碍物进行飞行,避免无人机撞击到障碍物上。具体的,如在所述障碍区域信息确定模块31包括了电线和电线杆的几何图形为障碍区域,几何图形各顶点的坐标值为通行障碍区域信息,根据几何图形各顶点的坐标值,无人机所述路线确定模块32便可设置绕过几何图形的通行路线,从几何图形的外围绕过几何图形,也可以是,在无人机判断几何图形围绕的内部区域能够实现无人机通行的情况时,无人机可设置穿过几何图形内部的通行路线。
进一步地,在又一种实施方式中,如图11,在所述障碍区域信息确定模块30之后,还包括:存储模块33,
所述存储模块33,用于将所述通行障碍区域信息以映射关系存储至数据库中。
所述存储模块33将通行障碍区域信息以映射关系存储至数据库中,其中数据库可以是本地数据库,也可以是云端,若是本地数据库,则所述存储模块33将通信障碍区域信息以映射关系记录在本地数据库,待无人机完成飞行的时候,将本地数据库中的通信障碍区域信息拷贝下来,存储在大数据库中,便于下次无人机飞行时,可将该数据导入无人机;若所述存储模块33直接上传至云端数据库中,则下次无人机飞行时,便可依据位置信息从云端数据库中调用通行障碍区域信息,通行障碍区域信息主要包括任意一项或多项如下信息:目标物各顶点和/或端点在世界坐标系中的坐标值、关联物各顶点和/或端点在世界坐标系中的坐标值,目标物、关联物与地面或者作物平面构成的几何图形。
进一步地,所述判断模块中,具体包括:线性特征判定模块,
所述线性特征判定模块,用于依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定。
在进行判断过程中,主要检测所述第二实时图像中是否具有直线特征,由于在判断过程中,其中一些像素点可能是在直线上,而另外一些像素点是分布在直线附近,导致像素点不能直接的构成一条直线,然而这些点具有线性关系特征,因此通过所述线性特征判定模块,将第二实时图像中的像素点进行拟合,从而使得像素点间具有线性关系,并使拟合后的像素点能够称为一条直线,则能够判断第二实时图像中存在具有直线特征的目标物,具体解析如后文。
优选地,在其中一种实施方式中,所述线性判断模块中,具体包括:
方向判断单元,用于所述第二实时图像单位区域内梯度方向相同的像素点的个数大于预设阈值,且所述像素与该像素相对应的基准线的最小夹角在预设容忍度τ内相同,则判断所述第二实时图像中存在目标物。
在对第二实时图像做判断时,首先将第二实时图像划分区域,每个区域内包括了多个像素,对第二实时图像成组地在高斯下进行单位区域内像素采集,计算每一个像素点的梯度值和梯度方向,将所述像素点的梯度值进行对比,确定最大梯度值的像素点,而后计算每一个像素与level-line的夹角,以最大梯度值的像素点为基准点,判断组内是否有方向相同的像素。其中,单位区域内所有像素与该像素相对应的基准线的最小夹角预设有容忍度,在预设容忍度τ内的最小夹角都可以判断为具有相同的夹角,且通过对像素梯度值以及梯度的方向进行计算,当计算出单位区域内像素梯度方向相同的像素点大于预设阈值时,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
进一步地,在其中一种实施方式中,所述线性判断模块中,具体还包括:
构件基准场单元,用于构建四方形基准场,以使四方形基准场内包含单位区域内的方向和最小夹角相同的像素,且在所述四方形的相对边相互平行相等,且四方形的长:宽≥1:1时,则判断所述第二实时图像中存在目标物。
构建四方形基准场,四方形基准场中包含了单位区域中所有最小夹角相同且方向相同的所述像素,且四方形的长宽相互平行且相等,四方形的长:宽≥1:1时,说明四方形构建为矩形,满足构成直线条件,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
进一步地,在其中一种实施方式中,所述线性判断模块中,具体还包括:
对齐像素个数判断单元,用于以所述四方形中像素与该像素相对应的基准线的最小夹角与所述四方形主方向的角度差小于2τ的像素为对齐像素,在所述四方形的长:宽≥1:1时,且所述对齐像素个数大于预设像素个数值时,则判断所述第二实时图像中存在目标物。
每一个基准场其实就是一组像素,它也是直线段的候选。当一组像素构成的区域,特别细长时,那么这组像素更加可能是直线段。基于此,构建的矩形基准场的主方向。基准场中的一个像素的与该像素相对应的基准线的最小夹角的角度与矩形基准场的主方向的角度差在容忍度2τ内的时,那么这个像素点被称作对齐像素,统计矩形基准场内的所有像素数和对齐像素个数,在对齐像素个数值和所有像素个数值得基础上。采用“a contrarioapproach”和“Helmholtz principle”准则确定对齐像素的个数值是否大于预设像素个数值,在大于预设像素个数值时,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
优选地,在其中一种实施方式中,所述线性判断模块中,具体包括:
像素点数量判断单元,用于在所述第二实时图像中建立二维坐标系,当所述图像中满足直线方程y=kx+b的像素点的数量大于预设像素点数量值时,则判断所述第二实时图像中存在目标物,其中,x为像素点在二维坐标系x-y中对应x轴的坐标值,y为像素点在二维坐标系x-y中对应y轴的坐标值,k为直线在二维坐标系x-y中的斜率,b为直线在二维坐标系x-y中函数与y轴的截距。
优选地,如图4,在其中一种实施方式中,在所述第二实时图像中建立二维坐标系,y=kx+b函数转换为极坐标方程,为ρ=xcosθ+ysinθ,ρ为原点到直线的垂直距离,θ为与x轴的夹角。从上述极坐标方程可以看出,将该直线变换到ρθ坐标系后将是一系列不同初相、幅度,但是周期均为2π的正弦曲线,所有正弦曲线交点处的ρ和θ将代表xy空间中的这条直线,应用极坐标方程ρ=xcosθ+ysinθ和坐标系中可测量的像素点的坐标值到图像笛卡尔坐标系统中,并进一步从图像笛卡尔坐标系统转换到极坐标霍夫空间系统,这种从点到曲线的变换称为直线的霍夫变换。变换通过量化霍夫参数空间为有限个值间隔等分或者累加格子。当霍夫变换算法开始,每个像素坐标点(x,y)被转换到(ρ,θ)的曲线点上面,累加到对应的格子数据点,当一个波峰出现时候,说明有直线存在,则判断第二实时图像中存在直线,存在直线则判断第二实时图像中存在目标物。
优选地,在所述位置信息确定模块中,具体包括:
直线检测模块,用于通过直线检测算法从所述第二实时图像中获取所述目标物的特征信息。
由前述可知,在判断模块20判断所述第二实时图像中是否存在目标物时,对第二实时图像进行直线检测,检测第二实时图像中是否存在直线,若存在,表明第二实时图像中存在直线,其中直线则为目标物,进一步地,根据直线检测结果确定第二实时图像中存在目标物之后,提取与所述直线对应的特征,即为目标物的特征,如目标物的长度、目标物的宽度、目标物与地面或者作物平面的倾斜角度,提取目标物的特征信息用于确定目标物在世界坐标系中的坐标值以及目标物在摄像坐标系中的坐标值,其中,目标物如前述的电线,也可以是斜拉线、树枝等细长的线状物。
进一步地,在所述光线启动模块10之前,包括:
坐标系建立模块,用于建立世界坐标系、摄像装置坐标系及图像坐标系。
具体的,如图5,如前文所述,坐标系建立模块建立世界坐标系、摄像坐标系、图像坐标系,才能通过立体视觉算法以及双目视觉原理确定目标物在不同坐标系中的具体位置信息,并进一步通过坐标系之间的转换确定目标物在世界坐标系中位置信息,目标物与无人机的距离,以及在处理图像过程中会利用图像坐标系确定直线等。
优选地,所述位置信息确定模块30中,还具体包括:
视差值确定模块,用于将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值;
目标物位置信息确定模块,用于依据所述视差值以及三角几何关系确定所述目标物的深度信息和所述目标物的位置信息。
视差值确定模块将所述实时图像组中的所述目标物的特征信息进行匹配的过程中,具体包括:1.尺度空间中提取线段,当拿到一张第二实时图像时,先构建一个尺度金字塔,通过一组尺度因子scale factors和高斯模糊Gaussian blurring,对一张图片进行N个下采样,就可以得到N层尺度金字塔,金字塔最底层是原图,每高一层就是一层高斯模糊后的图像;构建尺度空间后,我们对一个尺度金字塔中每一层的图片都进行一次EDLine算法的线特征提取,于是在每一层空间里都能够获得一组线段。然后将尺度空间里的线进行重组,以发现对应线段。对于每一个从尺度空间里取出的线段,如果他们在图像中是相同的线段,但是在不同的尺度空间里,我们都安排一个唯一ID并将其存入到同一个LineVec变量中。最终提取出一组LineVec变量。因为重新组织的尺度空间中的线段特征为LineVec,所以这减少了图匹配问题的维度。所以同一个LineVec中的不同的线段,指的是不同尺度空间下的同一个线段。所以在同一个LineVec下的线段都拥有相同的方向,并且对应于原图的同一个区域;2.条带(Band)来表示线的支持域,在octave image给出了线段,描述符将从线段支持域(LSR)计算。该支持区域被划分为一组条带{B1;B2;...;Bm},每个条带都是LSR的子区域并且他们之间的平行的,条代数m的和每个条带的宽度w,条带的长度等于线段的长度;3.构造条带描述符,(the Line Band Descriptor)LBD:LBD=(BD1 T,BD2 T,……BDM T);每条条带的描述子BDj:通过其最近的两相邻行的条带Bj-1;Bj+1来计算。特别是,在顶部和底部的条带带B1和Bm在LSR之外,在计算B1和Bm的描述时不会被考虑在内。BDj是描述的上下左右四个方向,BDj构成BDMj矩阵,BDj由BDMj矩阵的均值向量Mj和标准方差Sj得到:LBD的均值部分和标准方差部分由于其大小不同,分别进行规范化处理。前述处理过程之后,选择最近邻匹配准则,根据描述符的距离对线进行匹配,避免了由于不同描述符偏爱不同阈值而造成距离阈值的偏差,依据前述利用LBD直线的描述子,计算左右视图LBD描述子的距离,其中LBD描述子距离最小的为匹配直线对。进一步地,也可以是单目立体视觉算法,获取单目相机同时照射的不同透镜面的包含目标物和关联物的第二实时图像,第二实时图像为一组图像,并进一步依据前述的直线检测算法以及LBD算法进行直线匹配,并进一步的执行后续的步骤。
视差值确定模块依据双目立体视觉三维测量的视差原理,图7所示为简单的平视双目立体成像原理图,两摄像机的投影中心的连线的距离,即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处,坐标系如图7所示。事实上摄像机的成像平面在镜头的光心后,图7中将左右成像平面绘制在镜头的光心前f处,这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上,则点P图像坐标的Y坐标相同,即v1=v2。目标物位置信息确定模块由三角几何关系得到:
上式中(xc,yc,zc)为点P在左摄像机坐标系中的坐标,b为基线距,f为两个摄像机的焦距,(u1,v1)和(u2,v2)分别为点P在左图像和右图像中的坐标。
视差值确定模块依据为某一点在两幅图像中相应点的位置差得到视差值,如式(2):
目标物位置信息确定模块由此可计算出空间中某点P在左摄像机坐标系中的坐标为:
式(3)中zc为无人机与目标物之间的绝对距离及景深信息。
进一步地,如图8,目标物位置信息确定模块依据下述公式确定目标物在世界坐标系中的位置信息以及关联物在世界坐标系中的位置信息:
其中,R为摄像装置坐标系相对世界坐标系的旋转矩阵,T为摄像装置坐标系相对世界坐标系的平移矩阵,fx为沿摄像装置x轴的等效焦距,fy沿摄像装置y轴的等效焦距,uo、vo为摄像装置光轴与图像坐标系二维平面的交点,uo为交点在图像坐标系中x轴上的坐标,vo为焦点在图像坐标系中y轴上的坐标,u为目标物或者关联物在图像中的图像坐标系中X轴的坐标,v为目标物或者关联物在图像中的图像坐标系中Y轴的坐标,Z为目标物或者关联物高度,且为世界坐标系Z轴上的坐标,X目标物或者关联物在世界坐标系中X轴上的坐标,Y为目标物或者关联物在世界坐标系中Y轴上的坐标,k为目标物或者关联物在摄像装置坐标系中的Z轴坐标值的倒数。
优选地,所述直线检测算法为LSD算法,所述目标物特征为直线,在所述视差值确定模块中,具体包括:
LBD描述子确定模块,用于对LSD算法检测出的同一组实时图像中的所述目标物的特征信息进行运算确定直线LBD描述子;
直线对匹配模块,用于根据同一组实时图像中所述LBD描述子之间距离,确定距离最小的所述LBD描述子,距离最小的所述LBD描述子为匹配直线对;
直线对的视差值确定模块,用于获取所述匹配直线对在摄像装置坐标系下同一坐标轴上的坐标值差的绝对值,确定所述匹配直线对的视差值。
具体过程如前文视差值确定模块的描述,在此不做赘述。
优选地,所述第二实时图像的对比度高于所述第一实时图像。
如前文所述,无人机开启光源后,由于细长目标物的反光性,提高了细长物体与环境的对比度,使得所述第二实时图像的对比度高于所述第一实时图像,便于从第二实时图像中识别出目标物。
优选地,基于双目视觉原理和立体视觉算法确定所述目标物的位置信息。如前文所述,本发明主要基于双目视觉原理和立体视觉算法确定所述目标物的位置信息,进一步地,也可通过单目视觉原理和立体视觉算法确定所述目标物的位置信息。
优选地,所述目标物的位置信息包括:目标物在世界坐标系中的坐标值、目标物在摄像坐标系中的坐标值、目标物在图像坐标系中的坐标值。如前文所述,所述目标物的位置信息包括前述的目标物在世界坐标系中的坐标值、目标物在摄像坐标系中的坐标值、目标物在图像坐标系中的坐标值。其中,目标物在图像坐标系中的坐标值在构建坐标系时,可直接从图像中读取。
优选地,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角。如前文所述,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角,在此不做赘述。
优选地,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理。如前文所述,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理,在此不做赘述。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序执行时实现前述任一项所述获取目标物位置信息的方法的步骤。
一种获取目标物位置信息的终端,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现前述任一项所述获取目标物位置信息的方法的步骤。
一种获取目标物位置信息的系统,包括摄像装置、光源装置和前述所述的计算机可读存储介质或前述的所述获取目标物位置信息的终端。
优选地,所述摄像装置为双目摄像机,所述光源装置为阵列和/或线性光源。
一种移动装置,包括前述任意一项所述获取目标物位置信息的系统。具体的,该移动装置可以为前述的无人机。
一种移动装置的控制方法,该控制方法包括:
通过前述任意一项所述获取目标物位置信息的方法获得所述目标物的位置信息;
依据所述目标物的位置信息,获取所述通行障碍区域信息;
依据所述通行障碍区域信息,控制绕行所述目标物的通行路线。
无人机可在前述的基础上所述获取目标物位置信息的方法获得所述目标物的位置信息,依据获取到的所述目标物的位置信息从云端数据库或者本地数据库中调用与该目标物位置信息以映射关系存储的通行障碍区域信息。在获取到的通行障碍区域信息的基础上,无人机设定绕行所述目标物的通行路线,具体设定绕行所述目标物的通行路线如前文所述。
本发明提供的一种所述获取目标物位置信息的方法、装置、终端、系统及移动装置,在白天或者环境光照强度较高,导致天空或者环境背景过亮,使得细长目标物(如电线、斜拉线、树枝等)与天空或者环境背景的对比度较低,导致不能从第一实时图像中识别到细长目标物,因此,在系统中设置了与目标物相关联的关联物(如电线杆、树干等)的特征信息,具体包括任意一项或者多项如下特征信息:关联物的长度、宽度、灰度、纹理、长宽比等,在从第一实时图像中检测到任意一项或者多项上述关联物的信息时,通过立体视觉原理,如Slam确定关联物的位置信息,可初步确定关联物所在的区域可能存在目标物,且未能从第一实时图像中检测到,为了避免无人机与目标物撞击,无人机通过光线启动单元10驱动发光单元发光,并向关联物所在的区域投射光线,由于细长目标物具有反光的特征,因此,可增强目标物与环境或者天空的对比度,从而判断模块20依据直线检测算法(如LSD、霍夫算法等)从第二实时图像中确定是否存在目标物,若检测到直线时,则判断第二实时图像中存在目标物,进而位置信息确定模块30便可采用LBD算法对不同摄像头同时获取到的第二实时图像中提取目标物的直线特征,以及目标物在图像坐标系中的坐标值,将提取出的特征依据像素特征进行匹配,将距离最近的直线确定为匹配直线对,进一步通过双目视觉原理以及三角几何原理确定目标物在世界坐标系中的位置信息,以及目标物与无人机的绝对距离(景深信息),通行障碍区域信息确定模块31依据前述目标物的位置信息、关联物的位置信息、目标物的特征信息以及关联物的特征信息确定通行障碍区域信息,其主要包括了目标物各顶点和/或端点、关联物各顶点和/或端点在世界坐标系中的坐标值,路线确定模块32设定无人机绕行目标物的路线,可从目标物的上或者下绕过,也可以从左或者右绕过。进一步的,无人机中的存储模块将通信障碍区域信息33记录存储在本地数据库和/或云端数据库,使得再有无人机飞行至该位置时,可从数据中调用通信障碍区域信息,设定绕行目标物的路线。进一步的,本发明在目标物与背景的对比度较高(如夜晚)时,无人机可不进行通过启动光线模块10驱动发光单元发光,可直接执行如步骤S100之后的其他获取目标物位置信息的方法的步骤,避免无人机撞击到目标物上,确保无人机的安全飞行,提高无人机作业效率。进一步地,本发明时在双目视觉原理以及立体视觉算法的基础上进行的,在其他的实施方式中,也可以采用个单目视觉原理和立体视觉算法进行,单目视觉原理为在单摄像头前方设置有多个透视镜,使得一幅图像中具有从不同角度拍摄到目标物和/或关联物的实时图像,结合前述的方法步骤实现目标物位置信息的确定以及通信障碍区域信息的确定、绕行目标物路线的设定、目标物位置信息和/或关联物位置信息的存储等,
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (38)
1.一种获取目标物位置信息的方法,其特征在于,包括:
从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线;
获取包含被投射光线后的所述关联物的第二实时图像,判断所述第二实时图像中是否存在与所述关联物相关联的目标物;其中,第二实时图像的对比度高于所述第一实时图像;
当确定存在所述目标物时,提取所述目标物的特征信息,基于所述目标物的特征信息确定所述目标物的位置信息。
2.根据权利要求1所述获取目标物位置信息的方法,其特征在于,在所述基于所述目标物的特征信息确定所述目标物的位置信息的步骤之后,包括:
依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息;
依据所述通行障碍区域信息,确定绕行所述目标物的通行路线。
3.根据权利要求2所述获取目标物位置信息的方法,其特征在于,在所述依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息的步骤之后,还包括:
将所述通行障碍区域信息以映射关系存储至数据库中。
4.根据权利要求1所述获取目标物位置信息的方法,其特征在于,在所述判断所述第二实时图像中是否存在与所述关联物相关联的目标物的过程中,具体包括:
依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定。
5.根据权利要求4所述获取目标物位置信息的方法,其特征在于,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体包括:
所述第二实时图像单位区域内梯度方向相同的像素点的个数大于预设阈值,且所述像素与该像素相对应的基准线的最小夹角在预设容忍度τ内相同,则判断所述第二实时图像中存在目标物。
6.根据权利要求5所述获取目标物位置信息的方法,其特征在于,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体还包括:
构建四方形基准场,以使四方形基准场内包含单位区域内的方向和最小夹角相同的像素,且在所述四方形的相对边相互平行相等,且四方形的长:宽≥1:1时,则判断所述第二实时图像中存在目标物。
7.根据权利要求6所述获取目标物位置信息的方法,其特征在于,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体还包括:
以所述四方形中像素与该像素相对应的基准线的最小夹角与所述四方形主方向的角度差小于2τ的像素为对齐像素,在所述四方形的长:宽≥1:1时,且所述对齐像素个数大于预设像素个数值时,则判断所述第二实时图像中存在目标物。
8.根据权利要求4所述获取目标物位置信息的方法,其特征在于,在所述依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定的步骤中,具体包括:
在所述第二实时图像中建立二维坐标系,当所述第二实时图像中满足y=kx+b的像素点的数量大于预设阈值时,则判断所述第二实时图像中存在目标物,其中,x为像素点在二维坐标系x-y中对应x轴的坐标值,y为像素点在二维坐标系x-y中对应y轴的坐标值,k为直线在二维坐标系x-y中的斜率,b为直线在二维坐标系x-y中函数与y轴的截距。
9.根据权利要求1所述获取目标物位置信息的方法,其特征在于,在所述当确定存在所述目标物时,提取所述目标物的特征信息的过程中,具体包括:
通过直线检测算法从所述第二实时图像中获取所述目标物的特征信息。
10.根据权利要求9所述获取目标物位置信息的方法,其特征在于,在所述从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线的步骤之前,包括:
建立世界坐标系、摄像装置坐标系及图像坐标系。
11.根据权利要求10所述获取目标物位置信息的方法,其特征在于,所述第二实时图像中至少包括两幅实时图像的图像组,在所述基于所述目标物的特征信息确定所述目标物的位置信息的步骤中,具体包括:
将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值;
依据所述视差值以及三角几何关系确定所述目标物的深度信息和所述目标物的位置信息。
12.根据权利要求11所述获取目标物位置信息的方法,其特征在于,所述直线检测算法为LSD算法,所述目标物特征为直线,在所述将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值的步骤中,具体包括:
对LSD算法检测出的同一组实时图像中的所述目标物的特征信息进行运算确定直线LBD描述子;
根据同一组实时图像中所述LBD描述子之间距离,确定距离最小的所述LBD描述子,距离最小的所述LBD描述子为匹配直线对;
获取所述匹配直线对在摄像装置坐标系下同一坐标轴上的坐标值差的绝对值,确定所述匹配直线对的视差值。
13.根据权利要求1至12任意一项所述获取目标物位置信息的方法,其特征在于,基于双目视觉原理和立体视觉算法确定所述目标物的位置信息。
14.根据权利要求1所述获取目标物位置信息的方法,其特征在于,所述目标物的位置信息包括:目标物在世界坐标系中的坐标值、目标物在摄像装置坐标系中的坐标值。
15.根据权利要求12所述获取目标物位置信息的方法,其特征在于,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角。
16.根据权利要求1所述获取目标物位置信息的方法,其特征在于,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理。
17.一种获取目标物位置信息的装置,其特征在于,包括:光线启动模块、判断模块、位置信息确定模块;
所述光线启动模块,用于从包含关联物的第一实时图像中提取关联物特征信息,基于所述关联物特征信息确定关联物的位置信息,依据所述关联物的位置信息驱动发光单元向关联物所在区域投射光线;
所述判断模块,用于获取包含被投射光线后的所述关联物的第二实时图像,判断所述第二实时图像中是否存在与所述关联物相关联的目标物;其中,第二实时图像的对比度高于所述第一实时图像;
所述位置信息确定模块,用于当确定存在所述目标物时,提取所述目标物的特征信息,基于所述目标物的特征信息确定所述目标物的位置信息。
18.根据权利要求17所述获取目标物位置信息的装置,其特征在于,在所述位置信息确定模块之后,包括障碍区域信息确定模块、路线确定模块;
所述障碍区域信息确定模块,用于依据所述关联物特征信息、所述关联物的位置信息、所述目标物的特征信息以及所述目标物的位置信息,确定通行障碍区域信息;
所述路线确定模块,用于依据所述目标物的位置信息和所述目标物的特征信息,确定绕行所述目标物的通行路线。
19.根据权利要求18所述获取目标物位置信息的装置,其特征在于,在所述障碍区域信息确定模块之后,还包括:存储模块,
所述存储模块,用于将所述通行障碍区域信息以映射关系存储至数据库中。
20.根据权利要求17所述获取目标物位置信息的装置,其特征在于,所述判断模块中,具体包括:线性特征判定模块,
所述线性特征判定模块,用于依据所述第二实时图像中像素点间的线性关系特征,对所述第二实时图像中是否存在与所述关联物相关联的目标物进行判定。
21.根据权利要求20所述获取目标物位置信息的装置,其特征在于,所述线性特征判定模块中,具体包括:
方向判断单元,用于所述第二实时图像单位区域内梯度方向相同的像素点的个数大于预设阈值,且所述像素与该像素相对应的基准线的最小夹角在预设容忍度τ内相同,则判断所述第二实时图像中存在目标物。
22.根据权利要求21所述获取目标物位置信息的装置,其特征在于,所述线性特征判定模块中,具体还包括:
构件基准场单元,用于构建四方形基准场,以使四方形基准场内包含单位区域内的方向和最小夹角相同的像素,且在所述四方形的相对边相互平行相等,且四方形的长:宽≥1:1时,则判断所述第二实时图像中存在目标物。
23.根据权利要求22所述获取目标物位置信息的装置,其特征在于,所述线性特征判定模块中,具体还包括:
对齐像素个数判断单元,用于以所述四方形中像素与该像素相对应的基准线的最小夹角与所述四方形主方向的角度差小于2τ的像素为对齐像素,在所述四方形的长:宽≥1:1时,且所述对齐像素个数大于预设像素个数值时,则判断所述第二实时图像中存在目标物。
24.根据权利要求20所述获取目标物位置信息的装置,其特征在于,所述线性特征判定模块中,具体包括:
像素点数量判断单元,用于在所述第二实时图像中建立二维坐标系,当所述第二实时图像中满足y=kx+b的像素点的数量大于预设像素点数量值时,则判断所述第二实时图像中存在目标物,其中,x为像素点在二维坐标系x-y中对应x轴的坐标值,y为像素点在二维坐标系x-y中对应y轴的坐标值,k为直线在二维坐标系x-y中的斜率,b为直线在二维坐标系x-y中函数与y轴的截距。
25.根据权利要求17所述获取目标物位置信息的装置,其特征在于,在所述位置信息确定模块中,具体包括:
直线检测模块,用于通过直线检测算法从所述第二实时图像中获取所述目标物的特征信息。
26.根据权利要求25所述获取目标物位置信息的装置,其特征在于,在所述光线启动模块之前,包括:
坐标系建立模块,用于建立世界坐标系、摄像装置坐标系及图像坐标系。
27.根据权利要求26所述获取目标物位置信息的装置,其特征在于,所述第二实时图像中至少包括两幅实时图像的图像组,所述位置信息确定模块中,还具体包括:
视差值确定模块,用于将所述实时图像组中的所述目标物的特征信息进行匹配,确定所述实时图像组中所述目标物的特征信息对应的目标物特征的视差值;
目标物位置信息确定模块,用于依据所述视差值以及三角几何关系确定所述目标物的深度信息和所述目标物的位置信息。
28.根据权利要求27所述获取目标物位置信息的装置,其特征在于,所述直线检测算法为LSD算法,所述目标物特征为直线,在所述视差值确定模块中,具体包括:
LBD描述子确定模块,用于对LSD算法检测出的同一组实时图像中的所述目标物的特征信息进行运算确定直线LBD描述子;
直线对匹配模块,用于根据同一组实时图像中所述LBD描述子之间距离,确定距离最小的所述LBD描述子,距离最小的所述LBD描述子为匹配直线对;
直线对的视差值确定模块,用于获取所述匹配直线对在摄像装置坐标系下同一坐标轴上的坐标值差的绝对值,确定所述匹配直线对的视差值。
29.根据权利要求17至28任意一项所述获取目标物位置信息的装置,其特征在于,基于双目视觉原理和立体视觉算法确定所述目标物的位置信息。
30.根据权利要求17所述获取目标物位置信息的装置,其特征在于,所述目标物的位置信息包括:目标物在世界坐标系中的坐标值、目标物在摄像装置坐标系中的坐标值。
31.根据权利要求28所述获取目标物位置信息的装置,其特征在于,所述目标物的特征信息至少包括一项如下特征信息:直线长度、直线宽度、直线对地面的倾斜角。
32.根据权利要求17所述获取目标物位置信息的装置,其特征在于,所述关联物特征信息至少包括一项如下特征信息:关联物长高比、关联物对地面的倾斜角、关联物的灰度、关联物纹理。
33.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序执行时实现权利要求1至16任一项所述获取目标物位置信息的方法的步骤。
34.一种获取目标物位置信息的终端,其特征在于,包括处理器、存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时实现权利要求1至16任一项所述获取目标物位置信息的方法的步骤。
35.一种获取目标物位置信息的系统,其特征在于,包括摄像装置、光源装置和权利要求33所述的计算机可读存储介质或权利要求34所述获取目标物位置信息的终端。
36.根据权利要求35所述获取目标物位置信息的系统,其特征在于,所述摄像装置为双目摄像机,所述光源装置为阵列和/或线性光源。
37.一种移动装置,其特征在于,包括权利要求35至36任意一项所述获取目标物位置信息的系统。
38.一种移动装置的控制方法,其特征在于,该控制方法包括:
通过权利要求1至16任意一项所述获取目标物位置信息的方法获得所述目标物的位置信息;
依据所述目标物的位置信息,获取通行障碍区域信息;
依据所述通行障碍区域信息,控制绕行所述目标物的通行路线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710992577.9A CN107728633B (zh) | 2017-10-23 | 2017-10-23 | 获取目标物位置信息方法及装置、移动装置及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710992577.9A CN107728633B (zh) | 2017-10-23 | 2017-10-23 | 获取目标物位置信息方法及装置、移动装置及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107728633A CN107728633A (zh) | 2018-02-23 |
CN107728633B true CN107728633B (zh) | 2020-12-18 |
Family
ID=61213187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710992577.9A Active CN107728633B (zh) | 2017-10-23 | 2017-10-23 | 获取目标物位置信息方法及装置、移动装置及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107728633B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241896B (zh) * | 2018-08-28 | 2022-08-23 | 腾讯数码(天津)有限公司 | 一种通道安全检测方法、装置及电子设备 |
CN111667531B (zh) * | 2019-03-06 | 2023-11-24 | 西安远智电子科技有限公司 | 定位方法及装置 |
CN111982291B (zh) * | 2019-05-23 | 2022-11-04 | 杭州海康机器人技术有限公司 | 一种基于无人机的火点定位方法、装置及系统 |
CN110187720B (zh) * | 2019-06-03 | 2022-09-27 | 深圳铂石空间科技有限公司 | 无人机导引方法、装置、系统、介质及电子设备 |
CN110909668B (zh) * | 2019-11-20 | 2021-02-19 | 广州极飞科技有限公司 | 目标检测方法、装置、计算机可读存储介质和电子设备 |
CN111308456B (zh) * | 2020-04-08 | 2023-05-23 | 加特兰微电子科技(上海)有限公司 | 目标物位置判断方法、装置、毫米波雷达及存储介质 |
CN111650936B (zh) * | 2020-06-03 | 2023-01-17 | 杭州迦智科技有限公司 | 一种伺服控制方法、处理器、存储介质和可移动平台 |
CN112285738B (zh) * | 2020-10-23 | 2023-01-31 | 中车株洲电力机车研究所有限公司 | 一种轨道交通车辆的定位方法及其装置 |
CN114283183B (zh) * | 2020-11-16 | 2024-08-06 | 星猿哲科技(上海)有限公司 | 一种双目成像装置、深度图像获取系统、方法及介质 |
CN113052839A (zh) * | 2021-04-28 | 2021-06-29 | 闫丹凤 | 一种地图检测方法及装置 |
CN114762977B (zh) * | 2022-05-19 | 2023-01-10 | 深圳市大族机器人有限公司 | 一种基于双关节模组的六轴协助机器人 |
CN116452878B (zh) * | 2023-04-20 | 2024-02-02 | 广东工业大学 | 一种基于深度学习算法与双目视觉的考勤方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011106578A2 (en) * | 2010-02-26 | 2011-09-01 | Gentex Corporation | Automatic vehicle equipment monitoring, warning, and control system |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10351714B4 (de) * | 2003-11-05 | 2005-09-29 | Eads Astrium Gmbh | Vorrichtung zur optischen Erfassung eines entfernten Objekts |
EP2217471A4 (en) * | 2007-11-05 | 2011-08-10 | Volvo Lastvagnar Ab | VEHICLE GENERATING NIGHT VIEW ARRANGEMENT AND OPERATING METHOD THEREFOR |
CN102338621B (zh) * | 2011-04-27 | 2013-11-20 | 天津工业大学 | 一种室内视觉导航用障碍物高度检测方法 |
EP2717238B1 (en) * | 2011-06-02 | 2016-11-09 | Toyota Jidosha Kabushiki Kaisha | Vehicular field of view assistance device |
JP5761069B2 (ja) * | 2012-02-15 | 2015-08-12 | 株式会社デンソー | 車両周辺障害物検出装置及び障害物検出システム |
CN103884272B (zh) * | 2012-12-20 | 2016-10-05 | 联想(北京)有限公司 | 一种物体位置确定方法、装置及移动电子设备 |
CN106537479A (zh) * | 2014-07-22 | 2017-03-22 | 三菱电机株式会社 | 驾驶辅助系统、驾驶辅助方法和程序 |
US10163177B2 (en) * | 2014-07-31 | 2018-12-25 | Emmett Farris | System and method for controlling drone delivery or pick up during a delivery or pick up phase of drone operation |
JP6189284B2 (ja) * | 2014-12-29 | 2017-08-30 | セコム株式会社 | 画像センシング装置 |
FR3034841B1 (fr) * | 2015-04-08 | 2019-12-13 | Psa Automobiles Sa. | Dispositif d’eclairage pour un bloc optique de vehicule, a faisceau lumineux assurant un eclairement constant d’un obstacle quelle que soit sa position |
CA2952098A1 (en) * | 2015-12-18 | 2017-06-18 | Wal-Mart Stores, Inc. | Apparatus and method for surveying premises of a customer |
CN106340009B (zh) * | 2016-08-18 | 2018-12-11 | 河海大学常州校区 | 一种基于平行双目的电力线检测方法及系统 |
CN206460244U (zh) * | 2016-11-22 | 2017-09-01 | 广州极飞科技有限公司 | 避障装置及具有其的无人机 |
-
2017
- 2017-10-23 CN CN201710992577.9A patent/CN107728633B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011106578A2 (en) * | 2010-02-26 | 2011-09-01 | Gentex Corporation | Automatic vehicle equipment monitoring, warning, and control system |
Non-Patent Citations (4)
Title |
---|
Detection of Thin Lines using Low-Quality Video from Low-Altitude Aircraft in Urban Settings;Joshua Candamo,等;《IEEE Transactions on Aerospace and Electronic Systems》;20091231;第45卷(第3期);937-949页 * |
Improvements on obstacle detection in the pantograph gauge due to the recognition of steady arms;I. Puhlmann,等;《IEEE Intelligent Vehicles Symposium, 2004》;20041231;518-521页 * |
基于全景视觉的移动机器人的运动目标检测;汤一平,等;《计算机科学》;20151130;第42卷(第11期);314-319页 * |
基于红外技术的机载高压线防撞线装置设计与研究;陈国君;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20150315;C031-30页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107728633A (zh) | 2018-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107728633B (zh) | 获取目标物位置信息方法及装置、移动装置及其控制方法 | |
KR102538645B1 (ko) | 편광을 사용한 센서 시스템 및 이미징 시스템의 증강 시스템 및 방법 | |
Xiang et al. | Mini-unmanned aerial vehicle-based remote sensing: Techniques, applications, and prospects | |
CN110415342B (zh) | 一种基于多融合传感器的三维点云重建装置与方法 | |
US10303966B2 (en) | Method and system of image-based change detection | |
US10301041B2 (en) | Systems and methods for tracking moving objects | |
US10401872B2 (en) | Method and system for collision avoidance | |
Fritz et al. | UAV-based photogrammetric point clouds–tree stem mapping in open stands in comparison to terrestrial laser scanner point clouds | |
Schneider et al. | Fusing vision and lidar-synchronization, correction and occlusion reasoning | |
US8116527B2 (en) | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background | |
CN108227738A (zh) | 一种无人机避障方法及系统 | |
US20110115812A1 (en) | Method for colorization of point cloud data based on radiometric imagery | |
CN106444837A (zh) | 一种无人机避障方法及系统 | |
US10589860B2 (en) | Spherical infrared emitter | |
US10877143B2 (en) | Method and device for geo-referencing aerial image data with the aid of SAR image data | |
KR20170139548A (ko) | 이미지 라인들로부터의 카메라 외부 파라미터들 추정 | |
CN102368137A (zh) | 嵌入式标定立体视觉系统 | |
CA2897778C (en) | Enhanced optical detection and ranging | |
CN106846385B (zh) | 基于无人机的多传感遥感影像匹配方法、装置和系统 | |
CN108564654A (zh) | 三维大场景的画面进入方式 | |
Sirmacek et al. | Detection of windows and doors from thermal images by grouping geometrical features | |
CN117309856A (zh) | 烟幕效果监测方法、装置、电子设备和存储介质 | |
CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
CN114353667A (zh) | 基于ar与无人机单目视觉的地面目标测量方法及其应用 | |
Ahmed et al. | Modeling complex building structure (LoD2) using image-based point cloud |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province Patentee after: XAG Co., Ltd. Address before: 510032 Si Cheng Road No. 1, Tianhe District Gaotang Software Park, Guangzhou, Guangdong Province, 3A01 Patentee before: Guangzhou Xaircraft Technology Co.,Ltd. |