CN209991983U - 一种障碍物检测设备及无人机 - Google Patents
一种障碍物检测设备及无人机 Download PDFInfo
- Publication number
- CN209991983U CN209991983U CN201920265154.1U CN201920265154U CN209991983U CN 209991983 U CN209991983 U CN 209991983U CN 201920265154 U CN201920265154 U CN 201920265154U CN 209991983 U CN209991983 U CN 209991983U
- Authority
- CN
- China
- Prior art keywords
- laser
- texture
- assembly
- laser texture
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本实用新型实施例涉及无人机技术领域,具体公开了一种障碍物检测设备及无人机,该障碍物检测设备包括:双目摄像组件,用于采集目标双目视图;激光纹理组件,用于发射出可被所述双目摄像组件感测的激光纹理;以及,处理器,其分别与双目摄像组件和激光纹理组件通信连接,用于启动激光纹理组件,获取双目摄像组件采集到的目标双目视图以及基于所述目标双目视图进行障碍物检测,其中,当激光纹理组件启动时,目标双目视图中包含所述激光纹理。通过上述技术方案,本实用新型实施例能够在不改变原有双目匹配算法和结构的情况下,提升了双目立体匹配精度,进而提升障碍物检测的精度。
Description
技术领域
本实用新型实施例涉及无人机技术领域,尤其涉及一种障碍物检测设备及无人机。
背景技术
无人机是一种通过无线电遥控设备和内置的程序来控制飞行姿态的不载人飞机,由于其具有机动灵活、反应快速、无人驾驶、操作要求低等优点,现已广泛应用于航拍、植保、电力巡检、救灾等众多领域。
随着无人机的应用越来越广泛,无人机需要应对的外部环境越来越复杂,无人机可能遇到的障碍也越来越多。当前,为了保障飞行安全,无人机上一般会配置有障碍物检测设备。
目前,为了适应大探测距离的要求,市面上的消费无人机大多使用基于双目视觉的障碍物检测设备。但是,双目视觉的匹配精度受环境光线以及被检测物体的纹理的影响较大,现有的基于双目视觉的障碍物检测设备在弱纹理或重复纹理环境下的检测效果较差,大大影响了无人机在室内工作时的稳定性以及在瓷砖水泥等无纹理地面降落时下方障碍物检测的精度。
因此,现有的障碍物检测技术还有待改进和发展。
实用新型内容
有鉴于此,本实用新型实施例提供一种障碍物检测设备及无人机,以达到提升双目立体匹配精度,进而提升障碍物检测精度的目的。
为解决上述技术问题,本实用新型实施例提供了如下技术方案:
一方面,本实用新型实施例提供一种障碍物检测设备,应用于无人机,所述障碍物检测设备包括:
双目摄像组件,用于采集所述无人机的运动方向上的目标双目视图;
激光纹理组件,用于发射出可被所述双目摄像组件感测的激光纹理;
以及,
处理器,其分别与所述双目摄像组件和所述激光纹理组件通信连接;其中,所述处理器包括控制单元和障碍物检测单元,所述控制单元用于启动所述激光纹理组件,所述障碍物检测单元用于获取所述双目摄像组件采集到的目标双目视图并基于所述目标双目视图进行障碍物检测,其中,当所述激光纹理组件启动时,所述目标双目视图中包含所述激光纹理。
在一些实施例中,所述双目摄像组件包括间隔设置的第一图像采集装置和第二图像采集装置,所述激光纹理组件设置于所述第一图像采集装置和所述第二图像采集装置之间。
在一些实施例中,所述激光纹理组件包括:激光纹理产生装置,所述激光纹理产生装置包括依次序设置的激光发射器、散射屏以及出射透镜;
所述激光发射器发射的激光光束投射至所述散射屏后形成随机的激光纹理,所述激光纹理经所述出射透镜调制光路后射出。
在一些实施例中,所述激光纹理产生装置还包括:聚焦透镜,所述聚焦透镜设置于所述激光发射器和所述散射屏之间,用于将所述激光发射器发射的激光光束聚焦到所述散射屏。
在一些实施例中,所述激光纹理组件包括两个所述激光纹理产生装置,所述两个激光纹理产生装置并排设置。
在一些实施例中,所述两个激光纹理产生装置紧贴排列。
在一些实施例中,所述障碍物检测设备还包括:亮度传感器,用于获取所述无人机所处的环境的亮度;
则,所述控制单元具体用于:当所述亮度传感器检测到所述无人机所处的环境的亮度低于预设值时,启动所述激光纹理组件。
在一些实施例中,所述障碍物检测设备还包括:距离传感器,用于确定所述激光纹理组件的探测范围内是否存在障碍物;
则,所述控制单元具体用于:当所述距离传感器确定所述激光纹理组件的探测范围内存在障碍物时,启动所述激光纹理组件。
在一些实施例中,所述障碍物检测设备还包括纹理检测装置,用于确定所述无人机所处的场景是否为弱纹理场景或重复纹理场景;
则,所述控制单元具体用于:当所述距离传感器确定所述激光纹理组件的探测范围内存在障碍物,并且,所述纹理检测装置确定所述无人机所处的场景为弱纹理场景或重复纹理场景时,启动所述激光纹理组件。
另一方面,本实用新型实施例还提供了一种无人机,其包括:
机身;
机臂,与所述机身相连;
动力装置,设于所述机臂;
以及,
设置于所述机身上的如上所述的障碍物检测设备。
本实用新型实施例的有益效果是:区别于现有技术的情况,本实用新型实施例提供的障碍物检测设备及无人机通过新增激光纹理组件,并使激光纹理组件在双目摄像组件的双目视角范围内呈现出激光纹理,能够增强双目摄像组件的拍摄场景的纹理,从而,在不改变原有双目匹配算法和结构的情况下,提升了双目立体匹配精度,进而提升障碍物检测的精度;此外,通过激光纹理组件发射出激光纹理,还可以实现照明功能,使得无人机在夜间飞行时也可以进行双目感知。
附图说明
为了更清楚地说明本实用新型实施例的技术方案,下面将对本实用新型实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本实用新型实施例提供的一种无人机的硬件组成框图;
图2是图1所示的无人机的外部结构的正视示意图;
图3是图1所示的无人机的外部结构的俯视示意图;
图4是图1所示的无人机的激光纹理组件的结构示意图;
图5是图1所示的无人机的机身的内部结构示意图;
图6是本实用新型实施例提供的一种障碍物检测方法的流程示意图;
图7是本实用新型实施例提供的另一种障碍物检测方法的流程示意图;
图8是本实用新型实施例提供的一种障碍物检测装置的结构示意图。
具体实施方式
为了使本实用新型的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本实用新型进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本实用新型,并不用于限定本实用新型。
需要说明的是,如果不冲突,本实用新型实施例中的各个特征可以相互结合,均在本实用新型的保护范围之内。
下面结合附图,对本实用新型实施例作进一步阐述。
请参阅图1,为本实用新型实施例提供的一种无人机的硬件组成框图,该无人机100包括:机身11、与所述机身11相连的机臂、设于所述机臂的动力装置以及设置于所述机身11的障碍物检测设备12。所述机臂的数量为至少两个,所述机臂可以与所述机身11固定连接、一体成型或可拆卸连接。所述动力装置通常包括设于所述机臂末端的电机和与所述电机相连的螺旋桨,所述动力装置用于提供所述无人机100飞行的升力或飞行的动力。
其中,所述机身11即所述无人机100的主体部分,其上可以设置有所述无人机100的各种功能部件(比如,用于支撑所述无人机100的起落架等)以及所述无人机100的各类功能电路组件(比如,微程序控制器(Micro-programmed Control Unit,MCU)、数字信号处理器(Digital Signal Processor,DSP)等)。
所述障碍物检测设备12用于探测所述无人机100的运动方向上的障碍物,以便所述无人机100能够基于该障碍物检测设备12提供的障碍物检测结果进行避障。
其中,所述障碍物检测设备12包括双目摄像组件121、激光纹理组件122以及处理器123。所述处理器123分别与所述双目摄像组件121和所述激光纹理组件122通信连接。
具体地,在本实施例中,如图2或图3所示,所述双目摄像组件121和所述激光纹理组件122均设置于所述机身11的外部,并朝向所述无人机100的运动方向。
所述双目摄像组件121用于采集所述无人机100的运动方向上的目标双目视图。其中,所述“目标双目视图”是指用于进行障碍物检测的左右视图。所述双目摄像组件121具体可以包括间隔设置的第一图像采集装置1211和第二图像采集装置1212。所述第一图像采集装置1211采集到的图像为左视图,所述第二图像采集装置1212采集到的图像为右视图。所述左视图和所述右视图构成所述无人机100的运动方向上的双目视图(或者说,所述双目摄像组件121的拍摄场景的双目视图)。
所述激光纹理组件122用于发射出可被所述双目摄像组件121感测的激光纹理,所述“激光纹理”即激光光束打到障碍物表面后在所述障碍物表面呈现出的纹理图案,该纹理图案可被双目摄像组件121识别和记录。在一些实施例中,所述激光纹理组件122的投射范围可以部分或全部覆盖所述双目摄像组件121的双目视角范围。其中,所述“投射范围”是指激光纹理组件122发射出的激光光束的发射视角(如图3所示的视角α)对应的范围,其与所述激光纹理的覆盖范围相对应。所述“双目视角范围”是指所述第一图像采集装置1211的采集视角与所述第二图像采集装置1212的采集视角之间的交叠区域(如图3所示的视角β所包括的区域),亦即,所述第一图像采集装置1211和所述第二图像采集装置1212均能识别和记录到的区域。
在本实施例中,为了尽可能少地改变现有的基于双目立体视觉的障碍物检测设备的结构,所述激光纹理组件122可以设置于所述第一图像采集装置1211和所述第二图像采集装置1212之间。当然,应当理解的是,由于所述激光纹理组件122主要用于添加场景纹理,不需要进行标定,因此,所述激光纹理组件122的安装位置也可以不限于此,只要所述激光纹理组件122的投射范围基本覆盖所述双目摄像组件121的双目视角范围即可。
具体地,所述激光纹理组件122包括至少一个激光纹理产生装置1220。如图4所示,所述激光纹理产生装置1220可以包括依次序设置的激光发射器1221、聚焦透镜1222、散射屏1223以及出射透镜1224。其中,所述散射屏1223为一粗糙不规则的透光面,可以将单束激光散射为随机的纹理图案(即,所述“激光纹理”)。所述出射透镜1224用于调制光路,以在特定区域内呈现所述激光纹理。在所述激光纹理产生装置1220工作时,所述激光发射器1221发射出激光,所述激光经所述聚焦透镜1222聚焦至所述散射屏1223,以形成随机的激光纹理,所述激光纹理经所述出射透镜1224调制光路后射出。
其中,应当理解的是,在本实施例中,设置所述聚焦透镜1222主要是为了尽可能保证所述激光发射器1221发射出的激光都聚集到所述散射屏1223,减少光能损耗。从而,在一些实施例中,当所选用的激光发射器1221的发射角较小时,也可以省略所述聚焦透镜1222。
此外,在实际应用中,激光光束和出射透镜均为圆形,为了保证激光散射损失最小,投射出的激光纹理区域一般也是圆形,但图像采集装置的采集区域多为矩形。因此,在一些实施例中,为了保证圆形的激光纹理能够最大程度地覆盖矩形的双目视角范围,同时降低光能损失,所述激光纹理组件122可以包括两个所述激光纹理产生装置1220,这两个激光纹理产生装置1220并排设置(即,左右并排排列)。进一步地,在实际使用时,为了使得所述激光纹理组件122的结构更加紧凑,所述两个激光纹理产生装置1220可以紧贴排列。
所述处理器123设置于所述机身11的内部,用于提供计算和控制能力,以控制所述无人机100执行本实用新型实施例提供的任意一种障碍物检测方法。比如,所述处理器123内可以运行有控制单元和障碍物检测单元,所述控制单元用于启动所述激光纹理组件122,所述障碍物检测单元用于获取所述双目摄像组件121采集到的目标双目视图并基于所述目标双目视图进行障碍物检测。其中,当所述激光纹理组件122启动时,所述目标双目视图中包含所述激光纹理;当所述激光纹理组件122关闭时,所述目标双目视图中不包含所述激光纹理。
进一步地,所述障碍物检测设备12还包括存储器124,如图5所示,所述存储器124设置于所述机身11的内部,并且通过总线或者其他任意合适的连接方式与所述处理器123通信连接(在图5中以通过总线连接为例)。
所述存储器124作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块,如本实用新型实施例中的障碍物检测方法对应的程序指令/模块。所述处理器123通过运行存储在存储器124中的非暂态软件程序、指令以及模块,可以实现下述任一方法实施例中的障碍物检测方法。具体地,所述存储器124可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器124还可以包括相对于处理器123远程设置的存储器,这些远程存储器可以通过网络连接至处理器123。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在实际应用中,可以首先由所述处理器123在确定开启所述激光纹理组件122之后,启动所述激光纹理组件122,以发射出激光纹理,以及,启动所述双目摄像组件121进行图像采集;然后,所述处理器123获取所述双目摄像组件采集到的包含所述激光纹理的双目视图,并将所述包含所述激光纹理的双目视图设定为目标双目视图,进而基于所述目标双目视图进行障碍物检测。
进一步地,考虑到激光纹理组件122的功耗较大,为了节能能耗,可以在常规情况下(即,不存在弱纹理、重复纹理、弱光线等影响双目立体匹配精度的因素的情况下),关闭所述双目摄像组件121,并将所述双目摄像组件121采集到的不包含激光纹理的双目视图作为目标双目视图进行障碍物检测;而在一些特定的条件下(比如,光线暗、弱纹理、重复纹理等)才启动所述激光纹理组件122,并将所述双目摄像组件121采集到的包含激光纹理的双目视图作为目标双目视图进行障碍物检测。
从而,在一些实施例中,所述障碍物检测设备12还可以包括:亮度传感器,用于获取所述无人机100所处的环境的亮度。则,所述处理器123中的控制单元可以在所述亮度传感器检测到所述无人机100所处的环境的亮度低于预设值时,才启动所述激光纹理组件122。
在一些实施例中,所述障碍物检测设备12还可以包括:距离传感器,用于确定所述激光纹理组件122的探测范围内是否存在障碍物。从而,在该实施例中,所述处理器123中的控制单元可以在所述距离传感器确定所述激光纹理组件122的探测范围内存在障碍物时,才启动所述激光纹理组件122。进一步地,在又一些实施例中,所述障碍物检测设备12还可以包括:纹理检测装置,用于确定所述无人机100前方的场景是否为弱纹理场景或重复纹理场景。从而,在该实施例中,所述处理器123中的控制单元可以在所述距离传感器确定所述激光纹理组件122的探测范围内存在障碍物,并且,所述纹理检测装置确定所述无人机100前方的场景为弱纹理场景或重复纹理场景时,才启动所述激光纹理组件122。其中,所述纹理检测装置具体可以为一双目摄像装置,该双目摄像装置实时采集所述双目摄像组件121的拍摄场景的图像信息,并基于所述图像信息确定所述双目摄像组件121的拍摄场景的场景类型。
其中,应当理解的是,上述亮度传感器、距离传感器以及纹理检测装置的功能也可以通过本实用新型实施例中的双目摄像组件121以及处理器123中相应的软件模块共同实现。
通过上述技术方案可知,本实用新型实施例的有益效果在于:本实用新型实施例提供的障碍物检测设备及无人机通过新增激光纹理组件,并使激光纹理组件在双目摄像组件的双目视角范围内呈现出激光纹理,能够增强双目摄像组件的拍摄场景的纹理,从而,在不改变原有双目匹配算法和结构的情况下,提升了双目立体匹配精度,进而提升障碍物检测的精度;此外,通过激光纹理组件发射出激光纹理,还可以实现照明功能,使得无人机在夜间飞行时也可以进行双目感知。
图6是本实用新型实施例提供的一种障碍物检测方法的流程示意图,该方法可应用于任意具有双目摄像组件和激光纹理组件的可移动载体,比如,如图1所示的无人机100。
具体的,请参阅图6,该方法可以包括但不限于如下步骤:
步骤110:启动激光纹理组件,以发射出激光纹理。
如上所述,所述激光纹理组件用于发射出能够被双目摄像组件感测的激光纹理。所述激光纹理组件的投射范围可以部分或者全部覆盖所述双目摄像组件的双目视角范围。从而,所述激光纹理组件发射出的激光纹理能够填补所述双目摄像组件的拍摄场景中纹理稀疏的区域,增强双目摄像组件的拍摄场景的纹理。
具体实施时,可以由障碍物检测设备的处理器向激光纹理组件发送启动指令,所述激光纹理组件接收到该启动指令,即可发射出激光纹理。该激光纹理到达某一障碍物的表面后,可在该障碍物的表面呈现出相应的纹理图案,以为后续的立体匹配提供更多的特征匹配点。
步骤120:获取双目摄像组件采集到的包含所述激光纹理的双目视图,并将所述包含所述激光纹理的双目视图设定为目标双目视图。
其中,所述“目标双目视图”即用于进行障碍物检测的目标左视图和目标右视图。
在启动激光纹理组件,并发射出激光纹理之后,所述双目摄像组件的拍摄场景内包含所述激光纹理,从而,所述双目摄像组件采集到的双目视图中也会包含所述激光纹理对应的图像特征。
在本实施例中,将双目摄像组件采集到的包含所述激光纹理的双目视图设定为目标双目视图,以进行后续的障碍物检测。
步骤130:基于所述目标双目视图进行障碍物检测。
在本实施例中,可以按照常规的基于双目视觉的障碍物检测方法,基于所述目标双目视图进行障碍物检测。比如,可以首先基于BM、SGBM等双目匹配算法,对目标双目视图进行立体匹配,得到对应视差图;然后根据该视差图以及双目摄像组件的相关参数,计算出拍摄场景的三维点云图,从而实现对无人机的运动方向上的障碍物检测。
通过上述技术方案可知,本实用新型实施例的有益效果在于:本实用新型实施例提供的障碍物检测方法通过使激光纹理组件在双目摄像组件的双目视角范围内呈现出激光纹理,能够增强双目摄像组件的拍摄场景的纹理,从而,在不改变原有双目匹配算法和结构的情况下,提升了双目立体匹配精度,进而提升障碍物检测的精度。
在对障碍物检测精度要求较高的应用场景中,比如,在无人机降落时,可以参考如图6所示的障碍物检测方法,全程启动所述激光纹理组件,以发射出激光纹理。但在其他的一些应用场合中,比如,在场景纹理较丰富、光线充足等情况下,只进行常规的双目感测(即,不需要激光组件发射出激光纹理)也可达到较高的障碍物检测精度。
由此,为了能够在保证障碍物检测的精度的同时,降低障碍物检测设备的能量损耗,本实用新型实施例还提供了另一种障碍物检测方法。该方法与如图6所示的障碍物检测方法的不同之处在于:在启动所述激光纹理组件,以发射出激光纹理之前,首先确定开启所述激光纹理组件。
具体地,请参阅图7,该方法可以包括但不限于如下步骤:
步骤210:确定开启激光纹理组件。
在本实施例中,可以结合实际应用环境来确定是否需要开启所述激光纹理组件,并在确定需要开启激光纹理组件的时候才执行下述步骤220。如果不需要开启激光纹理组件,则可以将双目摄像组件采集到的不包含激光纹理的双目视图设为目标双目视图进行障碍物检测。
其中,由于激光纹理组件存在一定的探测范围,其所发射的激光纹理只会投射到其探测范围内的障碍物表面以呈现出相应的纹理图案,亦即,激光纹理组件发射的激光纹理实质上只能增强其探测范围内的障碍物的表面纹理,而无法增强其探测范围之外的障碍物的表面纹理。因此,在一些实施例中,所述确定开启激光纹理组件具体可以包括:确定激光纹理组件的探测范围内存在障碍物。
具体实施时,可通过确定距离所述无人机最近的障碍物与所述无人机之间的距离是否小于或等于激光纹理组件的探测距离,来确定激光纹理组件的探测范围内是否存在障碍物:如果该距离小于或等于激光纹理组件的探测距离,则确定激光纹理组件的探测范围内存在障碍物;否则,确定激光纹理组件的探测范围内不存在障碍物。
其中,在一些实施例中,所述无人机上可以搭载有距离传感器。从而,可以利用该距离传感器对双目摄像组件的拍摄场景内的障碍物进行检测,进而确定距离所述无人机最近的障碍物与所述无人机之间的距离。
或者,在另一些实施例中,也可以通过对双目摄像组件采集到的双目视图进行计算和分析,来确定距离所述无人机最近的障碍物与所述无人机之间的距离。具体地,可以首先获取所述双目摄像组件当前采集到的初始双目视图,然后基于所述初始双目视图,获取拍摄场景中的深度信息,进而确定距离所述无人机最近的障碍物与所述无人机之间的距离。其中,所述“初始双目视图”即在启动激光纹理组件之前,双目摄像组件采集到的不包含激光纹理的双目视图。
进一步地,由于激光纹理组件主要用于填补双目摄像组件的拍摄场景中纹理稀疏的区域,以提高立体匹配精度;而在一些拍摄场景中,有可能本身就是纹理丰富且便于识别特征匹配点的场景,即便不启动激光纹理组件也可以达到较高的立体匹配精度,此时,若启动激光纹理组件反而会增加障碍物检测设备的功耗。因此,在又一些实施例中,所述确定开启激光纹理组件,还可以包括:确定所述双目摄像组件的拍摄场景为弱纹理场景或者重复纹理场景。亦即,在该实施例中,除了需要确定激光纹理组件的探测范围内存在障碍物之外,还需确定双目摄像组件的拍摄场景为弱纹理场景或重复纹理场景,才执行下述步骤220。
具体地,确定双目摄像组件的拍摄场景为弱纹理场景的具体实施方式可以为:
获取所述双目摄像组件当前采集到的初始双目视图中的其中一个初始视图;对所述其中一个初始视图进行梯度运算,获得所述其中一个初始视图中各个像素点的梯度值;统计所述梯度值小于或等于梯度阈值的像素点的个数N;若所述个数N小于或等于数量阈值Nth,则确定所述双目摄像组件的拍摄场景为弱纹理场景。
其中,所述“梯度阈值”可以设为10~100中的任意一个合适的值,若某一像素点的梯度值小于或等于该梯度阈值,则可以认为该像素点为一个弱纹理点。所述“数量阈值Nth”可以根据像素点的总个数确定,比如,其可以为像素点的总个数的30%~60%。
其中,由于BM等双目匹配算法具有极线匹配特性,为了减少运算,可以只对该初始视图进行横向的梯度运算。所采用的梯度算法可以包括但不限于:sobel,prewitt,robort等。此外,为了能够更加准确地确定双目摄像组件的拍摄场景是否为弱纹理场景,在另一些实施例中,还可以对所述初始双目视图中的另一个初始视图进行上述计算,只要在任意一个初始视图中,梯度值小于或等于梯度阈值的像素点的个数N小于或等于数量阈值Nth,就确定所述双目摄像组件的拍摄场景为弱纹理场景。
另外,确定双目摄像组件的拍摄场景为重复纹理场景的具体实施方式可以为:
获取所述双目摄像组件当前采集到的初始双目视图;对所述初始双目视图进行立体匹配,并获取各个匹配块对应的最小代价值C1i和次小代价值C2i,其中,i表示第i个匹配块;若存在满足下述公式的匹配块i,则确定所述双目摄像组件的拍摄场景为重复纹理场景:
其中,所述K的取值范围为:0.5≤K<1。
其中,在进行立体匹配时,可使用SAD(sum of absolute difference),SSD(sumof squared distance),NCC(normalized cross correlation)等不同的块匹配代价算法进行计算。若某一匹配块i对应的最小代价值C1i与次小代价值C2i相接近,则表示该匹配块i存在至少两个代价值接近的最佳匹配,此时,可以认为该拍摄场景中至少存在两个重复的纹理,该拍摄场景为重复纹理场景。
此外,在光线不足的环境下,双目摄像组件难以获取到清晰的双目视图,即便拍摄场景的纹理丰富,也难以获得准确的障碍物检测结果,因此,在另一些实施例中,所述确定开启所述激光纹理组件,也可以包括:确定所述无人机所处环境的亮度低于预设值。亦即,当确定所述无人机所处环境的亮度低于预设值时,执行下述步骤220。
具体地,在一些实施例中,所述无人机上可以设置有亮度传感器,从而,通过读取所述亮度传感器的数据,即可获取无人机所处的环境的亮度,进而确定所述无人机所处环境的亮度是否低于预设值。
或者,在另一些实施例中,为了精简无人机的结构,也可以省略所述亮度传感器,通过对双目摄像组件采集到双目视图进行分析,来确定所述无人机所处环境的亮度是否低于预设值。具体地,可以获取所述双目摄像组件当前采集到的初始双目视图中的其中一个初始视图;根据所述其中一个初始视图中各个像素点的平均灰度值,确定所述无人机所处的环境的亮度,进而将该亮度与预设值进行比较,即可确定所述无人机所处环境的亮度是否低于预设值。其中,根据灰度值确定环境亮度的具体实施方式可参见相关现有技术,此处便不详述。
当然,在又一些实施例中,为了保障亮度检测结果的准确性,也可以同时结合亮度传感器以及对初始视图的分析结果,确定无人机所处的环境的亮度是否低于预设值。
再者,还应当理解的是,基于上述描述,为了达到智能管理激光纹理组件的耗电量的目的,还可以结合亮度、距离、场景等实际因素,综合考虑何时启动所述激光纹理组件以发射出激光纹理。
比如,在一些实施例中,可以在确定无人机所处的环境的亮度低于预设值时,直接执行下述步骤220;而在确定所述人机所处的环境的亮度大于或等于所述预设值时,进一步确定所述激光纹理组件的探测范围内是否存在障碍物,如果不存在,则不启动激光纹理组件;如果存在,则执行下述步骤220,或者,进一步确定所述双目摄像组件的拍摄场景是否为弱纹理场景或者重复纹理场景:若是,则执行下述步骤220,若否,则不启动激光纹理组件。
步骤220:启动激光纹理组件,以发射出激光纹理。
步骤230:获取双目摄像组件采集到的包括所述激光纹理的双目视图,并将所述包括所述激光纹理的双目视图设定为目标双目视图;
步骤240:基于所述目标双目视图进行障碍物检测。
其中,需说明的是,上述步骤220至240分别与如图6所示的障碍物检测方法中的步骤110至130具有相同的技术特征,因此,其具体实施方式可以参考上述实施例的步骤110至130中相应的描述,在本实施例中便不再赘述。
通过上述技术方案可知,本实用新型实施例的有益效果在于:本实用新型实施例提供的障碍物检测方法通过在确定开启激光纹理组件之后,才启动激光纹理组件,以发射出激光纹理,能够智能管理激光纹理组件的启动和关闭,在不损失障碍物检测精度的同时,节约能耗。
图8是本实用新型实施例提供的一种障碍物检测装置的结构示意图,该障碍物检测装置80可以运行于如图1所示的无人机100。
具体地,请参阅图8,该障碍物检测装置80包括:确定单元81、控制单元82、图像获取单83以及检测单元84。
其中,所述确定单元81,用于确定开启所述激光纹理组件;所述控制单元82用于启动所述激光纹理组件,以发射出激光纹理;所述图像获取单元83用于获取所述双目摄像组件采集到的包含所述激光纹理的双目视图,并将所述包含所述激光纹理的双目视图设定为目标双目视图;所述检测单元84用于基于所述目标双目视图进行障碍物检测。
在本实施例中,可以在所述确定单元81确定开启所述激光纹理组件之后,通过控制单元82启动所述激光纹理组件,以发射出激光纹理;然后,通过图像获取单元83获取所述双目摄像组件采集到的包含所述激光纹理的双目视图,并将所述包含所述激光纹理的双目视图设定为目标双目视图;最后由检测单元84基于所述目标双目视图进行障碍物检测。
其中,在一些实施例中,所述确定单元81包括:距离检测模块811,用于确定所述激光纹理组件的探测范围内存在障碍物。具体地,在一些实施例中,所述距离检测模块811具体用于:获取所述双目摄像组件当前采集到的初始双目视图;基于所述初始双目视图,确定距离所述无人机最近的障碍物与所述无人机之间的距离;若所述距离小于或等于所述激光纹理组件的探测距离,则确定所述激光纹理组件的探测范围内存在障碍物。
进一步地,在一些实施例中,所述确定单元81还包括:弱纹理检测模块812,用于确定所述双目摄像组件的拍摄场景为弱纹理场景。具体地,在一些实施例中,弱纹理检测模块812具体用于:获取所述双目摄像组件当前采集到的初始双目视图中的其中一个初始视图;对所述其中一个初始视图进行梯度运算,获得所述其中一个初始视图中各个像素点的梯度值;统计所述梯度值小于或等于梯度阈值的像素点的个数N;若所述个数N小于或等于数量阈值Nth,则确定所述双目摄像组件的拍摄场景为弱纹理场景。
或者,在另一些实施例中,所述确定单元81还包括:重复纹理检测模块813,用于确定所述双目摄像组件的拍摄场景为重复纹理场景。具体地,在一些实施例中,所述重复纹理检测模块813具体用于:获取所述双目摄像组件当前采集到的初始双目视图;对所述初始双目视图进行立体匹配,并获取各个匹配块对应的最小代价值C1i和次小代价值C2i,其中,i表示第i个匹配块;若存在满足下述公式的匹配块i,则确定所述双目摄像组件的拍摄场景为重复纹理场景:
其中,所述K的取值范围为:0.5≤K<1。
此外,在又一些实施例中,所述确定单元81包括:亮度检测模块814,用于确定所述无人机所处环境的亮度低于预设值。具体地,在一些实施例中,所述亮度检测模块814具体用于:获取所述双目摄像组件当前采集到的初始双目视图中的其中一个初始视图;根据所述其中一个初始视图中各个像素点的平均灰度值,确定所述无人机所处的环境的亮度。
需要说明的是,由于所述障碍物检测装置与上述方法实施例中的障碍物检测方法基于相同的发明构思,因此,上述各方法实施例的相应内容同样适用于本装置实施例,此处不再详述。
通过上述技术方案可知,本实用新型实施例的有益效果在于:本实用新型实施例提供的障碍物检测装置通过控制单元启动激光纹理组件,以使激光纹理组件在双目摄像组件的双目视角范围内呈现出激光纹理,能够增强双目摄像组件的拍摄场景的纹理特征,从而,在不改变原有双目匹配算法和结构的情况下,提升了双目立体匹配精度,进而提升障碍物检测的精度。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本实施例方案的目的。
本实用新型实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如,被图5中的一个处理器123执行,可使得上述一个或多个处理器执行上述任意方法实施例中的障碍物检测方法,例如,执行以上描述的图6中的方法步骤110至130,或者图7中的方法步骤210至240。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序产品中的计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非暂态计算机可读取存储介质中,该计算机程序包括程序指令,当所述程序指令被无人机执行时,可使所述无人机执行上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
上述产品可执行本实用新型实施例所提供的障碍物检测方法,具备执行障碍物检测方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本实用新型实施例所提供的障碍物检测方法。
最后应说明的是:以上实施例仅用以说明本实用新型的技术方案,而非对其限制;在本实用新型的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本实用新型的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本实用新型进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本实用新型各实施例技术方案的范围。
Claims (9)
1.一种障碍物检测设备,应用于无人机,其特征在于,所述障碍物检测设备包括:
双目摄像组件,用于采集所述无人机的运动方向上的目标双目视图;
激光纹理组件,用于发射出可被所述双目摄像组件感测的激光纹理;
以及,
处理器,其分别与所述双目摄像组件和所述激光纹理组件通信连接;其中,所述处理器包括控制单元和障碍物检测单元,所述控制单元用于启动所述激光纹理组件,所述障碍物检测单元用于获取所述双目摄像组件采集到的目标双目视图并基于所述目标双目视图进行障碍物检测,其中,当所述激光纹理组件启动时,所述目标双目视图中包含所述激光纹理。
2.根据权利要求1所述的障碍物检测设备,其特征在于,所述双目摄像组件包括间隔设置的第一图像采集装置和第二图像采集装置,所述激光纹理组件设置于所述第一图像采集装置和所述第二图像采集装置之间。
3.根据权利要求1所述的障碍物检测设备,其特征在于,所述激光纹理组件包括:激光纹理产生装置,所述激光纹理产生装置包括依次序设置的激光发射器、散射屏以及出射透镜;
所述激光发射器发射的激光光束投射至所述散射屏后形成随机的激光纹理,所述激光纹理经所述出射透镜调制光路后射出。
4.根据权利要求3所述的障碍物检测设备,其特征在于,所述激光纹理产生装置还包括:聚焦透镜,所述聚焦透镜设置于所述激光发射器和所述散射屏之间,用于将所述激光发射器发射的激光光束聚焦到所述散射屏。
5.根据权利要求3所述的障碍物检测设备,其特征在于,所述激光纹理组件包括两个所述激光纹理产生装置,所述两个激光纹理产生装置并排设置。
6.根据权利要求5所述的障碍物检测设备,其特征在于,所述两个激光纹理产生装置紧贴排列。
7.根据权利要求1-6任一项所述的障碍物检测设备,其特征在于,所述障碍物检测设备还包括:亮度传感器,用于获取所述无人机所处的环境的亮度;
则,所述控制单元具体用于:当所述亮度传感器检测到所述无人机所处的环境的亮度低于预设值时,启动所述激光纹理组件。
8.根据权利要求1-6任一项所述的障碍物检测设备,其特征在于,所述障碍物检测设备还包括:距离传感器,用于确定所述激光纹理组件的探测范围内是否存在障碍物;
则,所述控制单元具体用于:当所述距离传感器确定所述激光纹理组件的探测范围内存在障碍物时,启动所述激光纹理组件。
9.一种无人机,其特征在于,包括:
机身;
机臂,与所述机身相连;
动力装置,设于所述机臂;
以及,
设置于所述机身上的如权利要求1-8任一项所述的障碍物检测设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201920265154.1U CN209991983U (zh) | 2019-02-28 | 2019-02-28 | 一种障碍物检测设备及无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201920265154.1U CN209991983U (zh) | 2019-02-28 | 2019-02-28 | 一种障碍物检测设备及无人机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN209991983U true CN209991983U (zh) | 2020-01-24 |
Family
ID=69289078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201920265154.1U Active CN209991983U (zh) | 2019-02-28 | 2019-02-28 | 一种障碍物检测设备及无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN209991983U (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885053A (zh) * | 2019-02-28 | 2019-06-14 | 深圳市道通智能航空技术有限公司 | 一种障碍物检测方法、装置及无人机 |
CN111323767A (zh) * | 2020-03-12 | 2020-06-23 | 武汉理工大学 | 一种夜间无人车障碍物检测系统与方法 |
CN111753799A (zh) * | 2020-07-03 | 2020-10-09 | 深圳市目心智能科技有限公司 | 一种基于主动双目的视觉传感器及机器人 |
-
2019
- 2019-02-28 CN CN201920265154.1U patent/CN209991983U/zh active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885053A (zh) * | 2019-02-28 | 2019-06-14 | 深圳市道通智能航空技术有限公司 | 一种障碍物检测方法、装置及无人机 |
WO2020173461A1 (zh) * | 2019-02-28 | 2020-09-03 | 深圳市道通智能航空技术有限公司 | 障碍物检测方法、装置及无人机 |
CN111323767A (zh) * | 2020-03-12 | 2020-06-23 | 武汉理工大学 | 一种夜间无人车障碍物检测系统与方法 |
CN111323767B (zh) * | 2020-03-12 | 2023-08-08 | 武汉理工大学 | 一种夜间无人车障碍物检测系统与方法 |
CN111753799A (zh) * | 2020-07-03 | 2020-10-09 | 深圳市目心智能科技有限公司 | 一种基于主动双目的视觉传感器及机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220191460A1 (en) | Obstacle detection method and apparatus and unmanned aerial vehicle | |
CN209991983U (zh) | 一种障碍物检测设备及无人机 | |
CN108270970A (zh) | 一种图像采集控制方法及装置、图像采集系统 | |
CN109831660B (zh) | 深度图像获取方法、深度图像获取模组及电子设备 | |
US11587261B2 (en) | Image processing apparatus and ranging apparatus | |
CN101451833B (zh) | 激光测距装置及方法 | |
CN109819173B (zh) | 基于tof成像系统的深度融合方法和tof相机 | |
US10156437B2 (en) | Control method of a depth camera | |
US20200082160A1 (en) | Face recognition module with artificial intelligence models | |
CN110572630B (zh) | 三维图像拍摄系统、方法、装置、设备以及存储介质 | |
US10679369B2 (en) | System and method for object recognition using depth mapping | |
CN110443186B (zh) | 立体匹配方法、图像处理芯片及移动载具 | |
KR20220123268A (ko) | 파노라마 3차원 이미지를 캡처 및 생성하는 시스템 및 방법 | |
US20210011358A1 (en) | Control method and device, gimbal, unmanned aerial vehicle, and computer-readable storage medium | |
KR101914179B1 (ko) | 무인비행체의 충전위치 탐지 장치 | |
CN110751336A (zh) | 无人载具的避障方法、避障装置及无人载具 | |
CN112749643A (zh) | 一种障碍物检测方法、装置及系统 | |
CN207475756U (zh) | 机器人红外立体视觉系统 | |
CN113711229A (zh) | 电子设备的控制方法、电子设备和计算机可读存储介质 | |
CN109618085B (zh) | 电子设备和移动平台 | |
CN109803089B (zh) | 电子设备和移动平台 | |
CN116389901A (zh) | 一种航天相机在轨智能曝光及对焦方法、系统和电子设备 | |
CN110770739A (zh) | 一种基于图像识别的控制方法、装置及控制设备 | |
WO2022040940A1 (zh) | 标定方法、装置、可移动平台及存储介质 | |
CN114640842A (zh) | 隐藏摄像头的检测方法、终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Patentee after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd. Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Patentee before: AUTEL ROBOTICS Co.,Ltd. |
|
CP01 | Change in the name or title of a patent holder |