CN107437050B - 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法 - Google Patents

小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法 Download PDF

Info

Publication number
CN107437050B
CN107437050B CN201610360616.9A CN201610360616A CN107437050B CN 107437050 B CN107437050 B CN 107437050B CN 201610360616 A CN201610360616 A CN 201610360616A CN 107437050 B CN107437050 B CN 107437050B
Authority
CN
China
Prior art keywords
area
landing
areas
lens
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610360616.9A
Other languages
English (en)
Other versions
CN107437050A (zh
Inventor
李恒宇
袁泽峰
程洪涛
谢少荣
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201610360616.9A priority Critical patent/CN107437050B/zh
Publication of CN107437050A publication Critical patent/CN107437050A/zh
Application granted granted Critical
Publication of CN107437050B publication Critical patent/CN107437050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明涉及一种小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域的方法。其实现操作步骤为:（1）自主着陆无人机悬停在备选着陆区域上空的适当距离，将液态可调焦镜头视场分为左上、左下、右上、右下四块区域，采集图像并采用清晰度评价函数对四块区域的图像的清晰度值进行评价。遍历镜头焦距，保存并记录下不同镜头焦距对应的驱动电流以及相对应的四块区域的图像清晰度值;（2）查询步骤（1）中保存的数据，分别找出四块区域的清晰度最大值对应的电流值进行比较，从而判断出此块区域是否适合着陆。该方法用单目电动可调焦液体镜头，结构简单，功耗较小，对焦速度快，算法实现简单有效。所述基于单目可调焦电动液态镜头寻找适合着陆区域的方法的，可以满足小型自旋翼机的自主着陆过程中寻找适合的着陆区域。

Description

小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域 方法
技术领域
本发明涉及无人飞行器技术领域，尤其是一种小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法，着重于基于单目可调焦液态镜头的视觉信息来判断地面倾斜度，选择适合着陆的地表区域。
技术背景
小型旋翼机由于结构简单，控制灵活，可在空间中实现自由移动以及稳定悬停等特点，广泛应用于航拍、探测、测绘、植保等方面。而无人机着陆的平稳性以及自适应性始终是无人机性能评价的重要指标，着陆平稳性对无人机的损耗及使用寿命起关键作用，在非平地面上着陆会使无人机机身和螺旋桨碰及地面而对无人机造成损伤。因而无人机要实现自主着陆就必须具备自主判断地表区域是否平整，是否适合着陆。本文即提出一种简单有效的判别方法。
发明内容
为了确保无人机着陆在地表平整区域，防止着陆时对无人机造成损害，本发明的目的在于提供一种小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法，在进行着陆时实时探测地面，判别并选择安全着陆的区域，以达到平稳着陆。
为达到上述目的，本发明的构思是：无人旋翼机采用单目电动可调焦液体镜头，将视场区域分为左上、左下、右上、右下四块区域，如图1所示。在旋翼机自主着陆的过程中，镜头通过自动变焦技术遍历焦距，可分别得出这四块区域最佳清晰度图像时各块区域对应的液态镜头驱动电流值，而该液态镜头的不同电流值对应于不同的焦距，不同的焦距分别对应于四块区域距无人机的距离。所以，可以通过对比这四个区域各自最清晰时相应的电流值差值的大小来判别地面倾斜度。当这四个电流值中最大值与最小值差的绝对值在一定的范围内，就可以确定地面的倾斜度符合降落条件，进而无人机可以实施自主降落。
传统的自动变焦系统因体积功耗等原因很难在小型旋翼机上得到应用，本发明采用一种电动可调焦液体镜头来实现机载相机的自动对焦，这种电动可调焦液体镜头结构紧凑，体积、功耗较小，仅靠USB串口驱动器产生不同的电流便可改变镜头折射率从而实现变焦，且电流大小与焦距成近似线性关系，因而可以根据不同目标区域最佳清晰度图像的电流值差的绝对值大小得出地表区域的倾斜度。
根据上述发明构思，本发明采用下述技术方案：
小型无人自旋翼机用单目可调焦液态镜头寻找适合着陆区域的方法，其特征在于包含以下步骤：
（1）获取各个焦距下镜头所采集的地表照片四个区域的清晰度值：自主着陆无人机悬停在备选着陆区域上空的适当距离，将液态可调焦镜头视场分为左上、左下、右上、右下四块区域，采集图像并采用清晰度评价函数对四块区域的图像的清晰度值进行评价。遍历镜头焦距，保存并记录下不同镜头焦距对应的驱动电流以及相对应的四块区域的图像清晰度值。包含以下步骤：
(1-1)当小型无人自旋翼机完成特定任务准备着陆时，悬停在备选着陆地面的上空1~3米内；
(1-2)单目液态可调焦镜头采集一帧地表图像；
(1-3)采用图像分割算法在图像像素分辨率（
Figure 793827DEST_PATH_IMAGE001
）的宽和高中点，将图像左右上下对称分割成A、B、C、D四个区域；
(1-4)利用清晰度评价函数分别计算当前A、B、C、D四个区域地表图像的清晰度值，并将当前的镜头驱动的电流值与四块区域的清晰度值对应保存起来；
(1-5)改变电动可调焦液体镜头的驱动电流，即改变其焦距，重新采集图像；
(1-6)重复步骤(1-2)至(1-5)直到遍历完全部镜头焦距，从而保存下来所有的焦距对应的驱动电流值以及对应的A、B、C、D四块区域图像清晰度值；运算过程中无人机悬停在空中固定位置。
（2）判断安全着陆区域：查询步骤（1）中保存的数据，分别找出四块区域的清晰度最大值对应的电流值进行比较，从而判断出此块区域是否适合着陆:
(2-1) 查询步骤（1）中保存的数据，分别找出A、B、C、D四块区域的清晰度最大值对应的电流值
Figure 100002_DEST_PATH_IMAGE002
。
(2-2) 找出
Figure 343888DEST_PATH_IMAGE002
中的最大值和最小值：
Figure 867273DEST_PATH_IMAGE003
(2-3) 判断
Figure 100002_DEST_PATH_IMAGE004
是否小于一个阈值C，如果小于则可判定地面区域倾斜度适合着陆，否则，重选一块区域重复所有步骤，直到找到适合着陆区域为止。
实施本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：本发明小型无人自旋翼机自主寻找适合着陆区域的方法，采用单目电动可调焦液体镜头，结构简单，功耗较小，对焦速度快，算法实现简单有效。所述基于单目可调焦电动液态镜头寻找适合着陆区域的方法的，可以满足小型自旋翼机的自主着陆过程中寻找适合的着陆区域。
附图说明
图1为本发明内容所述的将视场区域分成的左上、左下、右上、右下四块区域。
图2为本发明步骤（1）所述的将视场区域分成的A、B、C、D四块区域。
图3为本发明方法主程序框图。
图3a为本发明实施例三用于获取所有焦距下图像四块区域清晰度值的示意图。
图3b为一典型的清晰度评价函数曲线。
图3c 为本发明实施例三用于判别区域是否符合着陆条件的方法。
图4为本发明整个方法流程图。
具体实施方式
为使本发明的目的、技术方案、和优点更加清楚，下面结合附图对本发明的优选实施例进一步地详细描述。
实施例一
参见图1 ~ 图3，本小型无人自旋翼机用单目电动可调焦液态镜头寻找安全着陆区域方法，其特征在于使用配有单目电动可调焦液体镜头的机载相机解决由于旋翼机着陆时判别并选择平整区域着陆问题，以避免在非平地面上着陆会使无人机机身和螺旋桨碰及地面而对无人机造成损伤；其实现操作步骤如下：
（1）获取各个焦距下镜头所采集的地表四个区域的清晰度值：自主着陆无人机悬停在备选着陆区域上空的适当距离，将液态可调焦镜头视场分为左上、左下、右上、右下四块区域，采集图像并采用清晰度评价函数对四块区域的图像的清晰度值进行评价。遍历镜头焦距，保存并记录下不同镜头焦距对应的驱动电流以及相对应的四块区域的图像清晰度值；
（2）判断安全着陆区域：查询步骤（1）中保存的数据，分别找出四块区域的清晰度最大值对应的电流值进行比较，从而判断出此块区域是否适合着陆。
实施例二
本实施例与实施例一基本相同，特例之处如下：
所述步骤（1）获取各个焦距下镜头所采集的地表照片四个区域的清晰度值所采用下列具体步骤：
(1-1)当小型无人自旋翼机完成特定任务准备着陆时，悬停在备选着陆地面的上空1~3米内；
(1-2)单目液态可调焦镜头采集一帧地表图像；
(1-3)采用图像分割算法在图像像素分辨率（
Figure 359434DEST_PATH_IMAGE001
）的宽和高中点，将图像左右上下对称分割成A、B、C、D四个区域；
(1-4)利用清晰度评价函数分别计算当前A、B、C、D四个区域地表图像的清晰度值，并将当前的镜头驱动的电流值与四块区域的清晰度值对应保存起来；
(1-5)改变电动可调焦液体镜头的驱动电流，即改变其焦距，重新采集图像；
(1-6)重复步骤(1-2)至(1-5)直到遍历完全部镜头焦距，从而保存下来所有的焦距对应的驱动电流值以及对应的A、B、C、D四块区域图像清晰度值；运算过程中无人机悬停在空中固定位置。
所述步骤（2）判断安全着陆区域：根据镜头所获得的数据，对比分析得出地表是否适合着陆的结论采用下列具体步骤：
(2-1) 查询步骤（1）中保存的数据，分别找出A、B、C、D四块区域的清晰度最大值对应的电流值
Figure 601060DEST_PATH_IMAGE002
。
(2-2) 找出
Figure 876184DEST_PATH_IMAGE002
中的最大值和最小值：
Figure 332704DEST_PATH_IMAGE003
(2-3) 判断
Figure 667870DEST_PATH_IMAGE004
是否小于一个阈值C，如果小于则可判定地面区域倾斜度适合着陆，否则，重选一块区域重复所有步骤，直到找到适合着陆区域为止。
实施例三
本发明实施例提供了一种小型无人自旋翼机用单目电动可调焦液态镜头寻找适合着陆区域的方法，包括：
参见图3a，
10:获取各个焦距下镜头所采集的地表照片四个区域的清晰度值。
包括：
101：自主着陆无人机悬停在备选着陆区域上空的适当距离（1~3米），将液态可调焦镜头视场分为A、B、C、D四块区域；
其中，在具体实现101中包括：无人机悬停在空中适当距离。是为后面遍历镜头焦距获取图像清晰度值提供统一的环境条件。
102：遍历液态可调焦镜头的焦距，在每个焦距下都采集一帧地表图像，将图像分割成A、B、C、D四块区域并用清晰度评价函数计算该焦距下四块区域的清晰度值，记录每一个焦距的驱动电流与该焦距下对应图像四块区域的清晰度值；
其中，在具体实现 102中包括：改变液态可调焦镜头的驱动电流，电流从小到大遍历一遍。每改变一次焦距，就采集一帧地表图像。采用图像分割算法将图像分割成A、B、C、D四个区域，采用图像清晰度评价函数分别计算四个区域的清晰度值。并将电流值与该电流值下四个区域的图像清晰度值对应的储存下来。给下个步骤判别地表倾斜度提供数据。
图像的清晰度可由清晰度评价函数来进行评判，参见图3b为某一焦距下典型的清晰度评价函数曲线，横轴代表地表与镜头距离，纵轴代表图像清晰度值。常用的图像清晰度值计算方法有很多如灰度变化函数、梯度函数、图像灰度熵函数、频域类函数等。在本实施例的成像系统中对不同模糊程度成像的图像进行评价后发现“归一化方差法”产生的评价曲线较其它计算方法具有更好的单峰性、抗噪性，的计算公如下：
Figure 396792DEST_PATH_IMAGE005
，
其中，H为图像的高度，W位图像的宽度，μ位图像的平均像素值。
参见图3c，
20：根据镜头所获得的数据，对比分析得出地表是否适合着陆的结论：
包括：
201：查询保存的数据，找出所有图像中A、B、C、D四块区域的清晰度最大值分别对应的电流值
Figure 537923DEST_PATH_IMAGE002
；
其中，因为清晰度最大时焦距即对应该块区域距离无人机的距离，而焦距又与驱动电流成一对一关系，所以可以用电流值对应此时的子区域距无人机的距离大小。
202：找出
Figure 35901DEST_PATH_IMAGE002
中的最大值和最小值:
Figure 807547DEST_PATH_IMAGE003
代表四块区域中距无人机距离的最近区域与最远区域。并判别最大值与最小值差的绝对值:
Figure 100002_DEST_PATH_IMAGE006
。如果
Figure 571235DEST_PATH_IMAGE007
，则可确定地表倾斜度符合着陆条件。实验C=21mA时，效果理想。其中，C即代表地表是否符合着陆条件的阈值，即地表四块区域中距无人机距离的最大值与最小值之差在一定范围内，表示地表倾斜度满足无人机的降落条件。
本发明实施例利用基于电动可调焦液体镜头的机载相机，小型无人自旋翼机自主寻找适合着陆区域的方法，结构简单，功耗较小，对焦速度快，算法实现简单有效，可以满足小型自旋翼机的自主着陆过程中寻找适合的着陆区域。
图4 为本发明的本发明小型无人自旋翼机用单目电动可调焦液态镜头寻找适合着陆区域整个方法流程图。

Claims (2)

1.一种小型无人自旋翼机用单目电动可调焦液态镜头寻找安全着陆区域方法，其特征在于：使用配有单目电动可调焦液体镜头的机载相机解决由于旋翼机着陆时判别并选择平整区域着陆问题，以避免在非平地面上着陆会使无人机机身和螺旋桨碰及地面而对无人机造成损伤；其实现操作步骤如下：
（1）获取各个焦距下镜头所采集的地表四个区域的清晰度值：
自主着陆无人机悬停在备选着陆区域上空的适当距离，将液态可调焦镜头视场分为左上、左下、右上、右下四块区域，采集图像并采用清晰度评价函数对四块区域的图像的清晰度值进行评价，遍历镜头焦距，保存并记录下不同镜头焦距对应的驱动电流以及相对应的四块区域的图像清晰度值；
（2）判断安全着陆区域：
查询步骤（1）中保存的数据，分别找出四块区域的清晰度最大值对应的电流值进行比较，从而判断出此块备选着陆区域是否适合着陆；
所述步骤（2）判断安全着陆区域：根据镜头所获得的数据，对比分析得出地表是否适合着陆的结论采用下列具体步骤：
(2-1) 查询步骤（1）中保存的数据，分别找出A、B、C、D四块区域的清晰度最大值对应的电流值
Figure DEST_PATH_IMAGE002
；
(2-2)找出
Figure 411740DEST_PATH_IMAGE002
中的最大值和最小值：
Figure DEST_PATH_IMAGE004
（2-3）判断
Figure DEST_PATH_IMAGE006
是否小于一个阈值C，如果小于则可判定地面区域倾斜度适合着陆，否则，重选一块区域重复所有步骤，直到找到适合着陆区域为止。
2.根据权利要求1所述的小型无人自旋翼机用单目电动可调焦液态镜头寻找安全着陆区域方法，其特征在于所述步骤（1）获取各个焦距下镜头所采集的地表照片四个区域的清晰度值所采用下列具体步骤：
(1-1)当小型无人自旋翼机完成特定任务准备着陆时，悬停在备选着陆地面的上空1~3米内；
(1-2)单目液态可调焦镜头采集一帧地表图像；
(1-3)采用图像分割算法在图像像素分辨率（w×h）的宽和高中点，将图像左右上下对称分割成A、B、C、D四个区域；
(1-4)利用清晰度评价函数分别计算当前A、B、C、D四个区域地表图像的清晰度值，并将当前的镜头驱动的电流值与四块区域的清晰度值对应保存起来；
(1-5)改变电动可调焦液体镜头的驱动电流，即改变其焦距，重新采集图像；
(1-6)重复步骤(1-2)至(1-5)直到遍历完全部镜头焦距，从而保存下来所有的焦距对应的驱动电流值以及对应的A、B、C、D四块区域图像清晰度值；运算过程中无人机悬停在空中固定位置。
CN201610360616.9A 2016-05-28 2016-05-28 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法 Active CN107437050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610360616.9A CN107437050B (zh) 2016-05-28 2016-05-28 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610360616.9A CN107437050B (zh) 2016-05-28 2016-05-28 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法

Publications (2)

Publication Number Publication Date
CN107437050A CN107437050A (zh) 2017-12-05
CN107437050B true CN107437050B (zh) 2021-02-23

Family

ID=60453211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610360616.9A Active CN107437050B (zh) 2016-05-28 2016-05-28 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法

Country Status (1)

Country Link
CN (1) CN107437050B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108519654B (zh) * 2018-04-13 2020-01-17 上海大学 一种基于电液可调焦镜头的自动对焦方法
CN108597186B (zh) * 2018-04-18 2020-04-28 广东小天才科技有限公司 一种基于用户行为的溺水报警方法及可穿戴设备
JP7271132B2 (ja) 2018-10-26 2023-05-11 キヤノン株式会社 撮像装置および監視システム
CN110231829B (zh) * 2019-06-20 2022-01-07 上海大学 基于数据增融的强化学习小型无人旋翼机自主着陆方法
CN112911135B (zh) * 2020-12-31 2022-07-15 Oppo广东移动通信有限公司 对焦控制方法、前置图像处理器及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104215239A (zh) * 2014-08-29 2014-12-17 西北工业大学 基于视觉的无人机自主着陆导引装置及导引方法
CN104880154A (zh) * 2015-06-03 2015-09-02 西安交通大学 一种物联网双目视觉变焦动态目标跟踪试验系统平台与测距方法
CN105043341A (zh) * 2015-06-19 2015-11-11 广州快飞计算机科技有限公司 无人机对地高度的测量方法及装置
CN105527778A (zh) * 2016-01-16 2016-04-27 上海大学 电动可调焦液体镜头的自动对焦方法
CN105929837A (zh) * 2016-04-23 2016-09-07 上海大学 小型无人旋翼机自主着陆位姿估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140336928A1 (en) * 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104215239A (zh) * 2014-08-29 2014-12-17 西北工业大学 基于视觉的无人机自主着陆导引装置及导引方法
CN104880154A (zh) * 2015-06-03 2015-09-02 西安交通大学 一种物联网双目视觉变焦动态目标跟踪试验系统平台与测距方法
CN105043341A (zh) * 2015-06-19 2015-11-11 广州快飞计算机科技有限公司 无人机对地高度的测量方法及装置
CN105527778A (zh) * 2016-01-16 2016-04-27 上海大学 电动可调焦液体镜头的自动对焦方法
CN105929837A (zh) * 2016-04-23 2016-09-07 上海大学 小型无人旋翼机自主着陆位姿估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于无人旋翼机自主着陆模型的摄像机外参数在线自标定》;张丽薇，谢少荣，罗均，王涛;《制造业自动化》;20091231;第31卷(第12期);全文 *
《基于无人机序列成像的地形重建及其在导航中的应用研究》;李立春;《中国博士学位论文全文数据库 信息科技辑》;20110415(第4期);第I138-28页 *

Also Published As

Publication number Publication date
CN107437050A (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
CN107437050B (zh) 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法
US11915502B2 (en) Systems and methods for depth map sampling
JP7252943B2 (ja) 航空機のための対象物検出及び回避
US11526998B2 (en) Methods and system for infrared tracking
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN108140245B (zh) 测距方法、装置以及无人机
US20190265734A1 (en) Method and system for image-based object detection and corresponding movement adjustment maneuvers
CN107329490B (zh) 无人机避障方法及无人机
US11019322B2 (en) Estimation system and automobile
CN110988912A (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
EP3488603B1 (en) Methods and systems for processing an image
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
CN103458261B (zh) 一种基于立体视觉的视频场景变化检测方法
JP6712775B2 (ja) 路面推定装置、車両制御装置、路面推定方法、およびプログラム
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN105929837B (zh) 小型无人旋翼机自主着陆位姿估计方法
CN108496201A (zh) 图像处理方法和设备
CN109840463A (zh) 一种车道线识别方法和装置
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
WO2017143550A1 (en) Imaging system and method
EP4078087B1 (en) Method and mobile entity for detecting feature points in an image
JP2016081108A (ja) 物体検出装置
JP2021154857A (ja) 操縦支援装置、操縦支援方法、及びプログラム
KR102131585B1 (ko) 전력선로 감시기기의 영상 획득 장치 및 방법
Pinard et al. Multi range Real-time depth inference from a monocular stabilized footage using a Fully Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant