CN106054737A - 基于光敏传感器的无人飞行器视觉识别装置及其使用方法 - Google Patents
基于光敏传感器的无人飞行器视觉识别装置及其使用方法 Download PDFInfo
- Publication number
- CN106054737A CN106054737A CN201610572970.8A CN201610572970A CN106054737A CN 106054737 A CN106054737 A CN 106054737A CN 201610572970 A CN201610572970 A CN 201610572970A CN 106054737 A CN106054737 A CN 106054737A
- Authority
- CN
- China
- Prior art keywords
- threshold
- light sensor
- flight
- light
- identity module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 30
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 14
- 210000003128 head Anatomy 0.000 description 9
- 230000004888 barrier function Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 210000000695 crystalline len Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 241000127225 Enceliopsis nudicaulis Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
一种基于光敏传感器的无人飞行器的视觉识别装置及其使用方法,基于光敏传感器的无人飞行器的视觉识别装置包括视觉识别模块(1)、用于检测飞行环境的光线强度的光敏传感器(2)和飞行控制器(3),当所述光敏传感器(2)测量的飞行环境的光线强度大于第一阈值时,所述飞行控制器(3)断开与所述视觉识别模块(1)的连接或关闭所述视觉识别模块(1)。
Description
技术领域
本发明属于无人飞行器安全领域,特别是涉及一种基于光敏传感器的无人飞行器的视觉识别装置及其使用方法。
背景技术
2016年5月发生在特斯拉Model S自动驾驶上的一宗夺命车祸近期被曝光。特斯拉公司表示,在强烈的日照条件下,汽车自动驾驶系统未能注意到牵引式挂车的白色车身,因此未能及时启动刹车系统,导致驾驶员不幸遇难。这款特斯拉Model S自动驾驶系统依靠一套机器视觉识别系统判断一定距离上的障碍物,从而引导汽车自动完成减速、避让等操作。但从该次自动驾驶系统的事故来看,机器视觉识别系统中存在一定的弊端,在强烈光线特别是太阳光线下,容易出现判断错误的情况,因此存在较大改进的空间。
类似的视觉避障技术同时也被应用于无人机避障模块中,采用摄像头获取图像信息,分析识别图像内容判断飞行方向上的障碍物。图像采集的方式又被分为主动式采集和被动式采集,两者的主要区别在于观测的传感器系统是否主动向环境中的探测方向发出探测光。例如,当前热门的大疆精灵4型号无人飞行器上配置的双目视觉传感器就是一种被动式采集图像,其技术特点是摄像头不主动向环境中发出探测光,而通过两个以上摄像头采集环境图像并计算特征点的坐标差得出环境中障碍物信息,有些类似人类用双眼去观察事物的时差,从而获得空间坐标的方式。但是该技术最大的弊端与前述自动驾驶汽车类似,识别精度依赖环境光线,无法处理特征比不明显的环境场景,尤其是在环境光线过强或过弱时都会容易导致图像识别计算错误,引发事故。
专利文献CN205131672U公开了一种带有双目视觉结构的无人机,其包括无人机本体、固定架、探测装置,所述固定架设置于所述无人机本体的下部,所述探测装置通过固定架与无人机本体相连接,所述探测装置包括第一摄像头和第二摄像头、电源模块、通信模块,所述第一摄像头为红外成像仪,所述红外成像仪用于采集红外图像信息,所述第二摄像头为彩色摄像机,所述彩色摄像机用于采集彩色图像信息,所述电源模块用于给所述红外成像仪和彩色摄像机供电,所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统。该专利设置双目视觉结构,包括了第一摄像头和第二摄像头,第一摄像头为红外成像仪,所述红外成像仪用于采集红外图像信息,所述第二摄像头为彩色摄像机,所述彩色摄像机用于采集彩色图像信息,所述探测装置通过通信模块将红外图像信息和彩色图像信息发送给控制系统,通过分析红外图像信息和彩色图像信息可以解决多种场景下的清晰图像采集的问题。但该专利的视觉结构依赖环境光线,无法处理特征比不明显的环境场景,尤其是在环境光线过强或过弱时都会容易导致图像识别计算错误,因此,容易引发事故。
专利文献CN205049143U公开的一种基于双目视觉的无人机自主障碍物检测系统,包括无人机,在无人机上装载有双目视觉系统、其他传感器模块及飞行控制系统;所述双目视觉系统由两台机载摄像机、视觉采集处理单元构成,所述两台机载摄像机用于获取无人机的视觉信息,所述视觉采集处理单元处理视觉数据建立三维飞行环境信息;所述其他传感器模块用于获取无人机的飞行状态信息;所述飞行控制系统接收来自于双目视觉系统及其他传感器单元的视觉信息和无人机飞行状态数据,通过融合处理生成飞行控制指令,用于控制无人机飞行;所述无人机根据飞行控制系统的飞行控制指令进行飞行,实现对障碍物规避飞行功能。该专利将双目视觉系统与其他传感器单元结合在一起,进行飞行路径控制和路径规划以对障碍物进行规避,使其具备利用机载摄像机完成视觉避障的能力。但该专利的视觉系统依赖环境光线,无法处理特征比不明显的环境场景,尤其是在环境光线过强或过弱时都会容易导致图像识别计算错误,因此,安全性存在问题。
专利文献CN105137440A公开的一种基于超声波与双目视觉的无人机避险探测装置,包括电源管理系统、测距系统和接口系统;所述电源管理系统包括电源输出管理单元、充电管理单元和锂电池,所述电源输出管理单元能够为整个系统提供稳定的电源供给,所述充电管理单元用于为锂电池提供稳定的充电保障;所述测距系统包括视觉单元、超声单元、信息处理单元和惯量单元,视觉单元能够实时采集视觉信息并及时传递到信息处理单元,并能够根据信息处理单元的控制指令,调整采集参数,超声单元能够定期采集视觉单元的朝向距离信息,并能够将采集的数据信息实时传递到信息处理单元,信息处理单元,能够实时采集视觉单元和超声单元采集的数据,并能够根据采集的数据经数据融合得出前方障碍物的距离和系统的倾角信息,并将产生的数据经接口系统上传或显示;惯量单元能够提供系统的倾角信息,用于云台的控制;所述接口系统包括显示单元、接口单元和无线单元,显示单元能够将测距系统传递的数据显示;接口单元能够外接各种设备,测距系统的数据能够经过接口单元传递给外接设备;无线单元能够将测距系统的数据以无线通信的形式发送到相应无线通信设备中。该专利可以实现设备朝向的精确测距与障碍物的识别,最大限度提高测距的精度和成功避障的可靠性。但该专利的避障依赖视觉系统,而视觉系统依赖环境光线,无法处理特征比不明显的环境场景,尤其是在环境光线过强或过弱时都会容易导致图像识别计算错误,因此,安全性存在问题。
因此,本领域急需要解决的技术问题在于,在飞行中,特别是在飞行环境光线强度太强或太弱的情况下,判断视觉系统的可信度以提高飞行的安全性。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解,因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
本申请关注到以上问题,提出在一种基于光敏传感器的感应结果来进一步优化的无人机视觉识别辅助系统。
本发明的目的是通过以下技术方案予以实现。
根据本发明的一方面,一种基于光敏传感器的无人飞行器的视觉识别装置包括视觉识别模块、用于检测飞行环境的光线强度的光敏传感器和用于控制无人飞行器飞行的飞行控制器,当所述光敏传感器测量的飞行环境的光线强度大于第一阈值时,所述飞行控制器断开与所述视觉识别模块的连接或关闭所述视觉识别模块。
优选地,所述飞行控制器设有计算光敏传感器检测周期的计时器(4),当在N个检测周期内,其中N=1,2,3···,所述光线强度均小于第一阈值时,所述飞行控制器发送启动信号到所述视觉识别模块。
优选地,当所述光敏传感器测量的飞行环境的光线强度小于第二阈值时,所述飞行控制器断开与所述视觉识别模块的连接或关闭所述视觉识别模块,所述第二阈值小于所述第一阈值。
优选地,所述视觉识别装置设有雷达探测模块,当所述视觉识别模块断开或停止时,启动所述雷达探测模块。
优选地,当所述飞行控制器断开与所述视觉识别模块的连接或关闭所述视觉识别模块时,所述飞行控制器控制无人飞行器进行减速、悬停或切换飞行控制模式或发送警报到用户。
优选地,所述视觉识别装置设有光源,当所述光敏传感器测量的飞行环境的光线强度小于第二阈值时,启动所述光源,当在N个检测周期后,所述光线强度均大于第三阈值时,关闭所述光源,所述第三阈值大于所述第二阈值,所述第三阈值小于第一阈值。
优选地,当所述光敏传感器、测量的飞行环境的光线强度大于第一阈值或小于第二阈值时,所述飞行控制器、)忽略来自所述视觉识别模块、的数据。
优选地,所述视觉识别模块包括第一摄像设备、用于采集和数字化所述第一摄像设备的图像的第一图像处理模块、第二摄像设备、用于采集和数字化所述第二摄像设备的图像的第二图像处理模块以及用于获得三维几何信息的视觉处理模块,所述视觉处理模块连接所述第一图像处理模块和第二图像处理模块,所述光源是可调节性的LED光源,所述光敏传感器为光敏电阻型传感器。
根据本发明的另一方面,一种使用所述的基于光敏传感器的无人飞行器的视觉识别装置的方法包括以下步骤。
第一步骤中,光敏传感器检测无人飞行器的飞行环境的光线强度。
第二步骤中,当所述光敏传感器测量的飞行环境的光线强度大于第一阈值或小于第二阈值时,所述飞行控制器断开与所述视觉识别模块的连接或关闭所述视觉识别模块。
优选地,在N个检测周期内,其中N=1,2,3···,所述光线强度均小于第一阈值时,所述飞行控制器发送启动信号到所述视觉识别模块,当所述光敏传感器测量的飞行环境的光线强度小于第二阈值时,启动所述光源,当在N个检测周期后,所述光线强度均大于第三阈值时,关闭所述光源。
上述说明仅是本发明技术方案的概述,为了能够使得本发明的技术手段更加清楚明白,达到本领域技术人员可依照说明书的内容予以实施的程度,并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂,下面以本发明的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述,本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。显而易见地,下面描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。而且在整个附图中,用相同的附图标记表示相同的部件。
在附图中:
图1是根据本发明一个实施例的基于光敏传感器的无人飞行器的视觉识别装置的结构示意图;
图2是根据本发明另一个实施例的基于光敏传感器的无人飞行器的视觉识别装置的结构示意图;
图3是根据本发明又一个实施例的基于光敏传感器的无人飞行器的视觉识别装置的结构示意图;
图4是根据本发明一个实施例的使用基于光敏传感器的无人飞行器的视觉识别装置的方法的步骤示意图;
图5是根据本发明一个实施例的使用基于光敏传感器的无人飞行器的视觉识别装置的工作流程图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
下面将参照附图更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个附图并不构成对本发明实施例的限定。
图1为本发明的一个实施例的基于光敏传感器的无人飞行器的视觉识别装置的结构示意图,本发明实施例将结合图1进行具体说明。
如图1所示,本发明的一个实施例提供了一种基于光敏传感器的无人飞行器的视觉识别装置,基于光敏传感器的无人飞行器的视觉识别装置包括视觉识别模块1、用于检测飞行环境的光线强度的光敏传感器2和用于控制无人飞行器飞行的飞行控制器3,当所述光敏传感器2测量的飞行环境的光线强度大于第一阈值时,所述飞行控制器3断开与所述视觉识别模块1的连接或关闭所述视觉识别模块1。
实施例中,无人飞行器简称“无人机”,英文缩写为“UAV”(unmanned aerialvehicle),是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。从技术角度定义可以分为:无人直升机、无人固定翼机、无人多旋翼飞行器、无人飞艇、无人伞翼机等。
本发明实施例中优选的无人飞行器为多旋翼无人飞行器,多旋翼无人飞行器可以是四旋翼、六旋翼及旋翼数量大于六的无人飞行器。
本发明技术方案采用的无人飞行器主要是指小、微型多旋翼无人飞行器,这种无人飞行器体积小、成本低、飞行稳定性较好,飞行成本低等。本发明使用的飞行器,典型的以四轴多旋翼飞行器为代表。
本发明实施例优选的是,所述视觉识别模块1包括第一摄像设备、用于采集和数字化所述第一摄像设备的图像的第一图像处理模块、第二摄像设备、用于采集和数字化所述第二摄像设备的图像的第二图像处理模块以及用于获得三维几何信息的视觉处理模块,所述视觉处理模块连接所述第一图像处理模块和第二图像处理模块的视觉处理模块。
在一个实施例中,第一摄像设备和/或第二摄像设备包括光学镜头和相机。光学镜头相当于人眼的晶状体,在双目视觉识别模块中非常重要。光线镜头的主要性能指标有焦距、光阑系数、光圈、倍率和接口等。相机是双目视觉识别模块获取原始信息的最主要部分,主要使用CMOS相机或CCD相机。
在一个实施例中,第一图像处理模块和第二图像处理模块主要用于控制摄像机拍照,完成图像采集与数字化。
在一个实施例中,视觉处理模块包含双目视觉处理单元,基于视差原理并利用第一摄像设备和/或第二摄像设备从不同的位置获取被测物体或障碍物的两幅图像,通过计算图像对应点间的位置偏差,来获取目标的三维几何信息。通过图像并计算它们之间的差别视差图像,使该模块可以获得明显三维目标的深度感,从而计算出与目标之间的距离、方位等信息。
在一个实施例中,光敏传感器用于测量双目视觉模块环境光线强度。光敏元件可包括光电管、光敏电阻、光敏三极管、红外线传感器、紫外线传感器、色彩传感器等,优选地,采用简单的光敏电阻型传感器,当光子冲击接合处就会产生电流,从而获得飞行环境的光线强度。光敏传感器利用光敏元件将光信号转换为电信号,通过电信号来衡量光强。它的敏感波长在可见光波长附近,包括红外线波长和紫外线波长。
在本发明实施例中优选地,所述飞行控制器3是无人飞行器自身的飞行控制器或独立的处理器,该处理器根据光敏传感器测量的光强和预设的第一阈值、第二阈值或第三阈值比较,从而进行判断。所述处理器可以包括通用处理器、数字信号处理器、专用集成电路ASIC,现场可编程门阵列FPGA、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。
在一个实施例中,所述视觉识别模块1是双目视觉识别模块1,视觉识别模块1也可以是多目视觉识别模块1。
图2为本发明的另一个实施例的基于光敏传感器的无人飞行器的视觉识别装置的结构示意图,本发明实施例将结合图2进行具体说明。
如图2所示,本发明的一个实施例提供了一种基于光敏传感器的无人飞行器的视觉识别装置,基于光敏传感器的无人飞行器的视觉识别装置包括视觉识别模块1、用于检测飞行环境的光线强度的光敏传感器2和飞行控制器3,所述飞行控制器3设有计算光敏传感器检测周期的计时器4,当所述光敏传感器2测量的飞行环境的光线强度大于第一阈值时,所述飞行控制器3断开与所述视觉识别模块1的连接或关闭所述视觉识别模块1,当在N个检测周期内,所述光线强度均小于第一阈值时,所述飞行控制器3发送启动信号到所述视觉识别模块1。
在一个实施例中,当所述光敏传感器2测量的飞行环境的光线强度小于第二阈值时,所述飞行控制器3发送停止信号到所述视觉识别模块1,所述第二阈值小于所述第一阈值。
在一个实施例中,所述视觉识别装置设有雷达探测模块5,当所述视觉识别模块1停止时,启动所述雷达探测模块5。雷达探测模块5可以是超声波探测模块。超声波探测传感器可在短距离探测无人机周围障碍物,在飞行方向的一定距离上探测到障碍物时,飞行控制器3向飞行控制模块发出减速避障请求,当距离进一步缩小时,向飞行控制模块发出悬停请求。
在另一个实施例中,所述飞行控制器3连接无人飞行器的飞行控制模块6,当所述视觉识别模块1停止时,所述飞行控制器3发送减速信号、悬停信号或警示信号在一个实施例中,飞行控制器3接收地面控制端对无人飞行器的控制指令,完成飞行操作;或根据视觉识别模块1输出信息,进行目标跟踪飞行;或按照规划航迹执行飞行任务;根据阈值判决结果,判断是否接收视觉识别模块1的输出结果。在如超声波探测模块的其他避障模块发出近障警告情况下,采取避障飞行动作。所述飞行控制器3还可以切换飞行控制模式,例如,在飞行控制器3中存储有全自动飞行模式、手动飞行模式、运动模式或新手模式等,当所述飞行控制器3断开与所述视觉识别模块1的连接或关闭所述视觉识别模块1,飞行控制器3切换到手动飞行模式,或者还可以将全自动飞行模式的飞行性能降低、或者从运动模式转换到新手模式,也就是降低飞行器的最大飞行速度等。
在本发明实施例中优选地,光敏传感器2实时探测飞行环境光线强度,并设定环境光线强度判断阈值,如果环境光线强度高于第一阈值,即该环境可能导致例如双目视觉的视觉识别模块1的图像信息曝光过度,立即停止使用基于视觉识别模块1的避障模式,减速、悬停,发出警示信息或改为手动操作或启用近距离雷达探测模块。直到N个环境光线探测周期内,光敏传感器2始终低于第一阈值,则重新启用如双目视觉传感器模块的避障信息。另外,如果环境光线强度低于第二阈值,即该环境可能导致双目视觉传感器图像信息因光线不足而判断错误,同样,立即停止使用基于视觉识别模块1的避障模式,减速、悬停,发出警示信息或改为手动操作或启用近距离雷达探测模块。
图3为本发明的另一个实施例的基于光敏传感器的无人飞行器的视觉识别装置的结构示意图,本发明实施例将结合图3进行具体说明。
如图3所示,本发明的一个实施例提供了一种基于光敏传感器的无人飞行器的视觉识别装置,基于光敏传感器的无人飞行器的视觉识别装置包括视觉识别模块1、用于检测飞行环境的光线强度的光敏传感器2、光源7和飞行控制器3,所述飞行控制器3设有计算光敏传感器检测周期的计时器4,当所述光敏传感器2测量的飞行环境的光线强度小于第二阈值时,启动所述光源7,当在N个检测周期后,所述光线强度均大于第三阈值时,关闭所述光源7,所述第三阈值大于所述第二阈值,所述第三阈值小于第一阈值。
在一个实施例中,在环境光线强度低于第二阈值的情况下,选择同时开启光源7辅助探测光线,帮助加强环境光线。开启光源7的辅助光线后,如果环境光线强度在计时器N个检测周期后,光敏传感器高于第三阈值,第三阈值高于第二阈值,则关闭电源7的辅助探测光线,否则就持续开启电源7的辅助光线;该电源7的辅助光线能够使无人飞行器在强光环境下和弱光环境避免双目视觉传感器的视觉识别错误;并在弱光环境下,增加辅助光线,提高双目视觉传感器的视觉识别精度;极大地提高了无人机依靠双目视觉传感器时的飞行安全性。本发明并不限制无人飞行器上使用光敏传感器和辅助光源,随着技术的演进,各类光敏传感器和辅助光源设备体积减小、重量减轻、精度提高,均可应用于无人机辅助双目视觉传感器进行视觉识别。
在一个实施例中,具体的第一阈值、第二阈值和第三阈值的数值,探测周期,以及判断周期N,均以不同双目视觉识别设备的镜头焦距、光阑系数、光圈、倍率等参数,结合实际测量无人飞行器的视觉避障模式下的工作情况,来进行样本采集得出。
通常而言,在视觉识别模块1性能越好的情况下,该视觉避障模式能够正常工作的范围越大。在视觉识别模块1的性能越差的情况下,则该视觉避障模式可能工作的范围越小。然而,为了确保无人机在自动飞行模式下避障的可靠性,尤其是在指飞行等脱离了用户控制和监管的自动飞行模式下,对于上述第一阈值、第二阈值、第三阈值的数值范围选取则倾向于采用更加保守和谨慎的原则,换句话说,在全自动飞行模式下,随着无人机的智能化,在某些飞行控制模式下,用户只需要指定飞行目的地,无人飞行器会按照预定的飞行策略来设计飞行路线,并自动完成飞行任务,其间为了确保飞行安全,会兼用避障模式来躲避或者绕开障碍物,此时由于无人飞行器的飞行控制脱离了用户的操控,所以可以称之为全自动飞行模式,相对的,在用户的飞行控制之下,也可以兼用避障模式,此时主要是防止因为用户的误操作或者不小心所导致的飞行器朝向危险区域的飞行,一般而言,这种情况下,对于避障模式的要求可以放低,因为用户在得到避障模式的预警就能迅速反应过来,并不一定真的需要最终依赖避障模式下,系统优先切断用户的不当飞行控制指令,相较于普通情况下的避障模式的第一阈值和第二阈值而言,此时的第一阈值的取值会更低、第二阈值的取值会更高。
在一个实施例中,所述光源7是可调节性的LED光源,所述光敏传感器2为光敏电阻型传感器。
在一个实施例中,所述飞行控制器3可包括存储器,存储器可以是易失性存储器或非易失性存储器。存储器可以包括一个或多个只读存储器ROM、随机存取存储器RAM、快闪存储器、电子可擦除可编程只读存储器EEPROM或其它类型的存储器。
在一个实施例中,用于环境光线较弱或双目视觉识别模块对特定目标进行跟踪的情况下,开启辅助光源。辅助光源应尽可能地突出目标物体的特征量,在物体需要检测的部分与那些不重要部份之间应尽可能地产生明显的区别。目前,根据应用不同辅助光源可选择高频荧光灯、光纤卤素灯、LED。本实用例选择LED辅助光源。
在一个实施例中,光源7可设有辅助光源控制模块:根据阈值判决模块的判决结果,控制辅助光源的开启和关闭。也可根据视觉处理模块对跟踪目标的需求,选择辅助光源的形状。
参见图4,根据本发明一个实施例的使用所述的基于光敏传感器的无人飞行器的视觉识别装置的方法包括以下步骤。
第一步骤S1中,光敏传感器2检测无人飞行器的飞行环境的光线强度。
第二步骤S2中,当所述光敏传感器2测量的飞行环境的光线强度大于第一阈值或小于第二阈值时,飞行控制器3断开与所述视觉识别模块1的连接或关闭所述视觉识别模块1。
本发明的实施例优选的是,在N个检测周期内,所述光线强度均小于第一阈值时,所述飞行控制器3发送启动信号到所述视觉识别模块1,当所述光敏传感器2测量的飞行环境的光线强度小于第二阈值时,启动所述光源7,当在N个检测周期后,所述光线强度均大于第三阈值时,关闭所述光源7。
下面我们将在图5中进一步说明本发明的视觉识别装置工作流程。
如图5所示的视觉识别装置的工作流程图,首选,的基于光敏传感器的无人飞行器的视觉识别装置初始化,光敏传感器2周期性地采集飞行环境的光线强度,当环境光线强度小于预设的第一阈值且大于第二阈值,计时器计算是否连续N个检测周期中,环境光线强度均是小于预设的第一阈值且大于第二阈值,如果是,则视觉识别模块的数据是可信的,无人飞行器可根据该数据正常飞行,如果不是,光敏传感器2继续周期性地采集飞行环境的光线强度,当环境光线强度不是小于预设的第一阈值且大于第二阈值的时候,视觉处理模块输出数据不可信任,无人飞行器减速、悬停、转为手动操作模式或启动短距离避障雷达,当环境光线强度小于第二阈值时,光源7保持开启状态,当大于第三阈值时,光源7关闭。
尽管以上结合附图对本发明的实施方案进行了描述,但本发明并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本发明保护之列。
Claims (10)
1.一种基于光敏传感器的无人飞行器的视觉识别装置,其包括视觉识别模块(1)、用于检测飞行环境的光线强度的光敏传感器(2)和用于控制无人飞行器飞行的飞行控制器(3),其特征在于:当所述光敏传感器(2)测量的飞行环境的光线强度大于第一阈值时,所述飞行控制器(3)断开与所述视觉识别模块(1)的连接或关闭所述视觉识别模块(1)。
2.根据权利要求1所述的基于光敏传感器的无人飞行器的视觉识别装置,其特征在于:所述飞行控制器(3)设有计算光敏传感器检测周期的计时器(4),当在N个检测周期内,其中N=1,2,3···,所述光线强度均小于第一阈值时,所述飞行控制器(3)发送启动信号到所述视觉识别模块(1)。
3.根据权利要求1所述的基于光敏传感器的无人飞行器的视觉识别装置,其特征在于:当所述光敏传感器(2)测量的飞行环境的光线强度小于第二阈值时,所述飞行控制器(3)断开与所述视觉识别模块(1)的连接或关闭所述视觉识别模块(1),所述第二阈值小于所述第一阈值。
4.根据权利要求1或3所述的基于光敏传感器的无人飞行器的视觉识别装置,其特征在于:所述视觉识别装置设有雷达探测模块(5),当所述视觉识别模块(1)停止时,启动所述雷达探测模块(5)。
5.根据权利要求1所述的基于光敏传感器的无人飞行器的视觉识别装置,其特征在于:当所述飞行控制器(3)断开与所述视觉识别模块(1)的连接或关闭所述视觉识别模块(1)时,所述飞行控制器(3)控制无人飞行器进行减速、悬停或切换飞行控制模式或发送警报到用户。
6.根据权利要求2所述的基于光敏传感器的无人飞行器的视觉识别装置,其特征在于:所述视觉识别装置设有光源(7),当所述光敏传感器(2)测量的飞行环境的光线强度小于第二阈值时,启动所述光源(7),当在N个检测周期后,所述光线强度均大于第三阈值时,关闭所述光源(7),所述第三阈值大于所述第二阈值,所述第三阈值小于第一阈值。
7.根据权利要求1所述的基于光敏传感器的无人飞行器的视觉识别装置,其特征在于:当所述光敏传感器(2)测量的飞行环境的光线强度大于第一阈值或小于第二阈值时,所述飞行控制器(3)忽略来自所述视觉识别模块(1)的数据。
8.根据权利要求6所述的基于光敏传感器的无人飞行器的视觉识别装置,其特征在于:所述视觉识别模块(1)包括第一摄像设备、用于采集和数字化所述第一摄像设备的图像的第一图像处理模块、第二摄像设备、用于采集和数字化所述第二摄像设备的图像的第二图像处理模块以及用于获得三维几何信息的视觉处理模块(6),所述视觉处理模块(6)连接所述第一图像处理模块和第二图像处理模块,所述光源(7)是可调节性的LED光源,所述光敏传感器(2)为光敏电阻型传感器。
9.一种使用根据权利要求1-8中任一项所述的基于光敏传感器的无人飞行器的视觉识别装置的方法,其包括以下步骤:
第一步骤(S1)中,光敏传感器(2)检测无人飞行器的飞行环境的光线强度;
第二步骤(S2)中,当所述光敏传感器(2)测量的飞行环境的光线强度大于第一阈值或小于第二阈值时,所述飞行控制器(3)断开与所述视觉识别模块(1)的连接或关闭所述视觉识别模块(1)。
10.根据权利要求9所述的方法,其特征在于:
在N个检测周期内,其中N=1,2,3···,所述光线强度均小于第一阈值时,所述飞行控制器(3)发送启动信号到所述视觉识别模块(1),当所述光敏传感器(2)测量的飞行环境的光线强度小于第二阈值时,启动所述光源(7),当在N个检测周期后,所述光线强度均大于第三阈值时,关闭所述光源(7)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610572970.8A CN106054737A (zh) | 2016-07-19 | 2016-07-19 | 基于光敏传感器的无人飞行器视觉识别装置及其使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610572970.8A CN106054737A (zh) | 2016-07-19 | 2016-07-19 | 基于光敏传感器的无人飞行器视觉识别装置及其使用方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106054737A true CN106054737A (zh) | 2016-10-26 |
Family
ID=57187248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610572970.8A Pending CN106054737A (zh) | 2016-07-19 | 2016-07-19 | 基于光敏传感器的无人飞行器视觉识别装置及其使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106054737A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106275410A (zh) * | 2016-11-17 | 2017-01-04 | 湖南科瑞特科技股份有限公司 | 一种防风扰无人机 |
CN106646514A (zh) * | 2016-12-30 | 2017-05-10 | 易瓦特科技股份公司 | 应用于无人机进行避障距离获取的方法及装置 |
CN106647410A (zh) * | 2016-12-30 | 2017-05-10 | 易瓦特科技股份公司 | 用于飞行过程中的避障距离进行监测的方法及系统 |
CN109996509A (zh) * | 2016-11-11 | 2019-07-09 | 直观外科手术操作公司 | 带有基于外科医生技能水平的器械控制的远程操作手术系统 |
CN110095998A (zh) * | 2019-04-28 | 2019-08-06 | 苏州极目机器人科技有限公司 | 一种自动控制设备的控制方法及装置 |
CN110223539A (zh) * | 2019-07-09 | 2019-09-10 | 飞牛智能科技(南京)有限公司 | 适于低空无人机的预警范围实时获取方法 |
CN110730899A (zh) * | 2018-08-23 | 2020-01-24 | 深圳市大疆创新科技有限公司 | 一种可移动平台的控制方法及装置 |
CN111381599A (zh) * | 2018-12-28 | 2020-07-07 | 中强光电股份有限公司 | 无人机避障系统及其控制方法 |
CN113853561A (zh) * | 2020-07-30 | 2021-12-28 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、装置、无人飞行器及存储介质 |
CN114879744A (zh) * | 2022-07-01 | 2022-08-09 | 浙江大学湖州研究院 | 一种基于机器视觉的夜间作业无人机系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1936330A1 (fr) * | 2006-12-21 | 2008-06-25 | Eurocopter | Procédé et systéme de traitement et de visualisation d`images de l`environment d`un aéronef |
CN102717893A (zh) * | 2011-03-31 | 2012-10-10 | 昆山弧光信息科技有限公司 | 自动飞行控制器 |
CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
CN104477167A (zh) * | 2014-11-26 | 2015-04-01 | 浙江大学 | 一种智能驾驶系统及其控制方法 |
CN204750588U (zh) * | 2015-06-17 | 2015-11-11 | 盛铁丰 | 一种航拍无人机 |
CN105157708A (zh) * | 2015-10-10 | 2015-12-16 | 南京理工大学 | 基于图像处理与雷达的无人机自主导航系统及方法 |
CN205265944U (zh) * | 2015-11-27 | 2016-05-25 | 广州极飞电子科技有限公司 | 一种定位数据获取装置及无人机 |
CN105657282A (zh) * | 2014-11-11 | 2016-06-08 | 宁波舜宇光电信息有限公司 | 一种图像亮度主动优化的视觉识别方法 |
-
2016
- 2016-07-19 CN CN201610572970.8A patent/CN106054737A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1936330A1 (fr) * | 2006-12-21 | 2008-06-25 | Eurocopter | Procédé et systéme de traitement et de visualisation d`images de l`environment d`un aéronef |
CN102717893A (zh) * | 2011-03-31 | 2012-10-10 | 昆山弧光信息科技有限公司 | 自动飞行控制器 |
CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
CN105657282A (zh) * | 2014-11-11 | 2016-06-08 | 宁波舜宇光电信息有限公司 | 一种图像亮度主动优化的视觉识别方法 |
CN104477167A (zh) * | 2014-11-26 | 2015-04-01 | 浙江大学 | 一种智能驾驶系统及其控制方法 |
CN204750588U (zh) * | 2015-06-17 | 2015-11-11 | 盛铁丰 | 一种航拍无人机 |
CN105157708A (zh) * | 2015-10-10 | 2015-12-16 | 南京理工大学 | 基于图像处理与雷达的无人机自主导航系统及方法 |
CN205265944U (zh) * | 2015-11-27 | 2016-05-25 | 广州极飞电子科技有限公司 | 一种定位数据获取装置及无人机 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109996509A (zh) * | 2016-11-11 | 2019-07-09 | 直观外科手术操作公司 | 带有基于外科医生技能水平的器械控制的远程操作手术系统 |
US11931122B2 (en) | 2016-11-11 | 2024-03-19 | Intuitive Surgical Operations, Inc. | Teleoperated surgical system with surgeon skill level based instrument control |
CN106275410A (zh) * | 2016-11-17 | 2017-01-04 | 湖南科瑞特科技股份有限公司 | 一种防风扰无人机 |
CN106275410B (zh) * | 2016-11-17 | 2018-11-23 | 湖南科瑞特科技有限公司 | 一种防风扰无人机 |
CN106646514B (zh) * | 2016-12-30 | 2019-10-18 | 易瓦特科技股份公司 | 应用于无人机进行避障距离获取的方法及装置 |
CN106647410B (zh) * | 2016-12-30 | 2019-02-19 | 易瓦特科技股份公司 | 用于飞行过程中的避障距离进行监测的方法及系统 |
CN106647410A (zh) * | 2016-12-30 | 2017-05-10 | 易瓦特科技股份公司 | 用于飞行过程中的避障距离进行监测的方法及系统 |
CN106646514A (zh) * | 2016-12-30 | 2017-05-10 | 易瓦特科技股份公司 | 应用于无人机进行避障距离获取的方法及装置 |
CN110730899A (zh) * | 2018-08-23 | 2020-01-24 | 深圳市大疆创新科技有限公司 | 一种可移动平台的控制方法及装置 |
WO2020037589A1 (zh) * | 2018-08-23 | 2020-02-27 | 深圳市大疆创新科技有限公司 | 一种可移动平台的控制方法及装置 |
CN110730899B (zh) * | 2018-08-23 | 2024-01-16 | 深圳市大疆创新科技有限公司 | 一种可移动平台的控制方法及装置 |
CN111381599A (zh) * | 2018-12-28 | 2020-07-07 | 中强光电股份有限公司 | 无人机避障系统及其控制方法 |
CN110095998A (zh) * | 2019-04-28 | 2019-08-06 | 苏州极目机器人科技有限公司 | 一种自动控制设备的控制方法及装置 |
CN110223539A (zh) * | 2019-07-09 | 2019-09-10 | 飞牛智能科技(南京)有限公司 | 适于低空无人机的预警范围实时获取方法 |
CN113853561A (zh) * | 2020-07-30 | 2021-12-28 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制方法、装置、无人飞行器及存储介质 |
CN114879744A (zh) * | 2022-07-01 | 2022-08-09 | 浙江大学湖州研究院 | 一种基于机器视觉的夜间作业无人机系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106054737A (zh) | 基于光敏传感器的无人飞行器视觉识别装置及其使用方法 | |
US20210389762A1 (en) | Systems and methods for augmented stereoscopic display | |
CN205844824U (zh) | 基于光敏传感器的无人飞行器的视觉识别装置 | |
US11748898B2 (en) | Methods and system for infrared tracking | |
CN102707724B (zh) | 一种无人机的视觉定位与避障方法及系统 | |
US20170313439A1 (en) | Methods and syststems for obstruction detection during autonomous unmanned aerial vehicle landings | |
US9632509B1 (en) | Operating a UAV with a narrow obstacle-sensor field-of-view | |
GB2557715A (en) | Unmanned aerial vehicles | |
KR101895343B1 (ko) | 충돌 회피용 드론 제어장치 | |
WO2018121247A1 (zh) | 控制无人机飞行的方法、装置以及无人机 | |
JP2020026990A (ja) | 画像処理装置 | |
CN106394555A (zh) | 基于3d摄像头的无人驾驶汽车避障系统及方法 | |
KR102391771B1 (ko) | 이진화된 3차원 공간맵 기반의 자율 이동체 운영 방법 | |
CN106965675A (zh) | 一种货车集群智能安全作业系统 | |
US20220342428A1 (en) | Unmanned aerial vehicles | |
CN205121351U (zh) | 一种用于控制无人机的智能眼镜及系统 | |
WO2021027886A1 (zh) | 无人机飞行控制方法及无人机 | |
WO2023272633A1 (zh) | 无人机的控制方法、无人机、飞行系统及存储介质 | |
EP3480118A1 (en) | Aerial vehicle landing method, aerial vehicle, and computer readable storage medium | |
CN106168807A (zh) | 一种飞行器的飞行控制方法和飞行控制装置 | |
CN106155082B (zh) | 一种基于光流的无人机仿生智能避障方法 | |
CN115423865A (zh) | 障碍物检测方法、装置、割草机器人以及存储介质 | |
WO2023102911A1 (zh) | 数据采集方法、数据展示方法、数据处理方法、飞行器的降落方法、数据展示系统及存储介质 | |
AU2020102304A4 (en) | I-Drone: INTELLIGENT DRONE TO DETECT THE HUMAN AND PROVIDE HELP | |
CN106598065A (zh) | 一种无人机的双目-超声波融合避障控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190603 Address after: 100020 Building 2, No. 12, West Da Wang Road, Chaoyang District, Beijing (No. 25978, national advertising Industrial Park incubator) Applicant after: High domain (Beijing) Intelligent Technology Research Institute Co., Ltd. Address before: Room 3002, Dajiang Skyline Building No. 2, 20 Jiangda Road, Wuhan City, Hubei Province Applicant before: Chen Hao |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161026 |
|
RJ01 | Rejection of invention patent application after publication |