CN115562355A - 基于机器视觉的室内环境内旋翼无人机的航向校准系统 - Google Patents

基于机器视觉的室内环境内旋翼无人机的航向校准系统 Download PDF

Info

Publication number
CN115562355A
CN115562355A CN202211408880.7A CN202211408880A CN115562355A CN 115562355 A CN115562355 A CN 115562355A CN 202211408880 A CN202211408880 A CN 202211408880A CN 115562355 A CN115562355 A CN 115562355A
Authority
CN
China
Prior art keywords
image
aerial vehicle
unmanned aerial
target object
course
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211408880.7A
Other languages
English (en)
Other versions
CN115562355B (zh
Inventor
曹世鹏
倪莎
余万金
郭浩
曹翠珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongxin Hanchuang Beijing Technology Co Ltd
Original Assignee
Zhongxin Hanchuang Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongxin Hanchuang Beijing Technology Co Ltd filed Critical Zhongxin Hanchuang Beijing Technology Co Ltd
Priority to CN202211408880.7A priority Critical patent/CN115562355B/zh
Publication of CN115562355A publication Critical patent/CN115562355A/zh
Application granted granted Critical
Publication of CN115562355B publication Critical patent/CN115562355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种基于机器视觉的室内环境内旋翼无人机的航向校准系统,控制旋翼无人机对飞行到预设水平位置上拍摄的第一图像执行目标分割操作而确定相对航向零度角,通过判定第二图像的基准目标对象在图中的位置是否居中而确定航向偏角零度位置,再根据航向偏角基准零度位置与相对航向零度角的位置确定航向校准角,最后控制旋翼无人机在航向偏角基准零度位置以航向校准角的角度大小发生水平摆动,并标记此刻旋翼无人机的正前方为航向校准基准零度位置,以完成对旋翼无人机的航向校准操作,有利于满足旋翼无人机在使用过程中的航向校准需求。

Description

基于机器视觉的室内环境内旋翼无人机的航向校准系统
技术领域
本发明涉及机器视觉技术领域,尤其涉及一种基于机器视觉的室内环境内旋翼无人机的航向校准系统。
背景技术
机器视觉是人工智能正在快速发展的一个分支,它的技术核心就是用机器代替人眼来做测量和判断。机器视觉系统通过图像摄取装置将被摄取目标转换成图像信号,传送给专用的图像处理系统,得到被摄目标的形态信息,根据像素分布和亮度、颜色等信息,转变成数字化信号;而图像系统对这些信号进行各种运算来抽取目标的特征,进而根据判别的结果来控制现场的设备动作。
目前,无人机主要分为固定翼飞机、单旋翼直升机和多旋翼直升机,其中多旋翼直升机(即多旋翼无人机)应用较广泛。
专利CN105352505B提出了一种室内无人机导航方法及无人机,该导航方法包括:采用三轴陀螺仪测量无人机的角速度,并采用多组超声波测距传感器测量超声波信号、采用温度传感器测量室内的温度数据;根据所述室内的温度数据对测量的超声波信号进行温度补偿;利用温度补偿后的超声波信号分别计算所述无人机、与室内的四壁、天花板和地板的距离,并根据无人机与室内的四壁、天花板和地板的距离反向定位出所述无人机的位置;根据所述无人机的角速度,计算所述无人机的姿态角。专利CN108445504A公开了一种多旋翼无人机室内导航方法,包括在多旋翼无人机上设置二维激光雷达和装在有ROS系统的处理器,二维激光雷达与串口通信模块连接,所述串口通信模块通过USB接口与处理器连接;通过二维激光雷达扫描出多旋翼无人机周围环境的轮廓数据,并通过串口通信模块将扫描得到的轮廓数据发送给处理器;所述处理器通过如下步骤建立代价地图,并在建立的代价地图之上进行室内导航。上述提到的专利文献中,均未采用机器视觉相关技术,并且其主要针对的是无人机的室内导航问题,而未涉及无人机的航向校准问题。无人机在运行过程中若需要进行内部数据恢复或者复位操作,往往需要对航向进行校准操作。可见,如何设计一款基于机器视觉的室内环境内旋翼无人机的航向校准系统是亟需解决的技术问题。
发明内容
本发明所要解决的技术问题在于,提供一种基于机器视觉的室内环境内旋翼无人机的航向校准系统,有利于满足旋翼无人机在使用过程中的航向校准需求。
本发明公开的一种基于机器视觉的室内环境内旋翼无人机的航向校准系统,所述旋翼无人机上水平固定安装有摄像机,所述摄像机用于拍摄所述旋翼无人机正前方的图像,
所述航向校准系统控制所述旋翼无人机执行以下操作:
所述旋翼无人机飞行到预设的水平位置,所述摄像机拍摄第一图像,
所述旋翼无人机对所述第一图像执行目标分割的操作,将在所述第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,并将此刻所述旋翼无人机的水平摆角标定为相对航向零度角,
所述旋翼无人机在所述水平位置上发生若干次水平摆动,在每个摆动止点位置上拍摄关于所述基准目标对象的第二图像,
所述旋翼无人机判定所述基准目标对象的图像在所述第二图像中的位置是否居中,若是,则获取所述旋翼无人机对应的摆动止点位置,并将所述摆动止点位置标记为航向偏角基准零度位置,
所述旋翼无人机将所述航向偏角基准零度位置与所述相对航向零度角的位置之间的摆角标记为航向校准角,其中,所述航向校准角为方向角,
所述旋翼无人机在所述航向偏角基准零度位置以所述航向校准角的角度大小发生水平摆动,并标记此刻所述旋翼无人机的正前方为航向校准基准零度位置。
可见,本发明公开的一种基于机器视觉的室内环境内旋翼无人机的航向校准系统,控制旋翼无人机对飞行到预设水平位置上拍摄的第一图像执行目标分割操作而确定相对航向零度角,通过判定第二图像的基准目标对象在图中的位置是否居中而确定航向偏角零度位置,再根据航向偏角基准零度位置与相对航向零度角的位置确定航向校准角,最后控制旋翼无人机在所述航向偏角基准零度位置以所述航向校准角的角度大小发生水平摆动,并标记此刻所述旋翼无人机的正前方为航向校准基准零度位置,以完成对旋翼无人机的航向校准操作,有利于满足旋翼无人机在使用过程中的航向校准需求。
作为一种可选的实施方式,本发明中,所述旋翼无人机设置有水平仪以及正面朝下的激光测距装置,
所述旋翼无人机在飞行过程中,通过所述激光测距装置获取所述旋翼无人机相对于地面的当前飞行高度,以及通过所述水平仪获取所述旋翼无人机相对于水平位置的当前偏角,
当所述当前飞行高度与预先确定的飞行高度匹配且所述当前偏角与预先确定的水平位置偏角匹配时,所述旋翼无人机判定到达预设的水平位置。
作为一种可选的实施方式,本发明中,所述旋翼无人机对所述第一图像执行目标分割的操作,将各个独立的目标对象的图像在第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,具体包括:
所述旋翼无人机对所述第一图像作网格化处理,得到有序排列的若干个网格图像,利用深度卷积神经网络对每个网格图像作目标检测的操作,输出每个网格图像的目标对象预测标签和对应的置信度,
所述旋翼无人机筛选出相同的目标对象预测标签所对应的网格图像,并将相邻的所述相同的目标对象预测标签所对应的网格图像标记为目标对象关联网格区域,
所述旋翼无人机在所述关联图像区域中,筛选出对应的置信度大于等于预先确定的置信度阈值的相邻的网格图像,并将其标记为目标对象关键网格区域,
所述旋翼无人机在所有目标对象关键网格区域中,筛选出所包含的网格数最多的目标对象关键网格区域,并将其标记为基准目标对象网格区域,对应的目标对象标记为基准目标对象,对应的目标对象预测标签为基准目标对象预测标签。
作为一种可选的实施方式,本发明中,在所述旋翼无人机对所述第一图像作网格化处理之前,所述旋翼无人机将所述第一图像的像素进行转化如下:
Figure BDA0003937733870000041
式中,t为预先确定的转化系数,取值范围为(0,1],xi为转化前的第一图像某一像素点i的像素值,min(x)为转化前的第一图像的最小像素值,max(x)为转化后的第一图像的最大像素值,ni为转化后的第一图像某一像素点i的像素值。
作为一种可选的实施方式,本发明中,所述航向校准系统设置在所述旋翼无人机的外部,所述航向校准系统包括控制器和收发器,所述控制器用于生成控制所述旋翼无人机执行航向校准步骤的控制指令,所述收发器用于接收所述旋翼无人机发送的反馈信息,以及用于发送所述控制指令。
作为一种可选的实施方式,本发明中,所述航向校准系统设置在所述旋翼无人机的内部,所述航向校准系统包括电连接的处理器和飞行驱动模块,所述飞行驱动模块与驱动旋翼转动的电机电连接,所述处理器与所述摄像机电连接,其中,
所述飞行驱动模块用于控制所述旋翼无人机飞行到预设的水平位置,
所述处理器用于对所述第一图像执行目标分割的操作,将在所述第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,并将此刻所述旋翼无人机的水平摆角标定为相对航向零度角,
所述飞行驱动模块还用于控制所述旋翼无人机在所述水平位置上发生若干次水平摆动,
所述处理器还用于判定所述基准目标对象的图像在所述第二图像中的位置是否居中,当判定出所述基准目标对象的图像在所述第二图像中的位置居中时,获取所述旋翼无人机对应的摆动止点位置,并将所述摆动止点位置标记为航向偏角基准零度位置,以及将所述航向偏角基准零度位置与所述相对航向零度角的位置之间的摆角标记为航向校准角。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的旋翼无人机的结构示意图;
图2是本发明实施例的旋翼无人机执行航向校准操作的流程示意图;
图3是本发明实施例的旋翼无人机与基准目标对象的位置关系的示意图;
图4是本发明实施例的其中一种基于机器视觉的室内环境内旋翼无人机的航向校准系统的结构示意图;
图5是本发明实施例的另一种基于机器视觉的室内环境内旋翼无人机的航向校准系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明公开的一种基于机器视觉的室内环境内旋翼无人机的航向校准系统,如图1所示,旋翼无人机100上水平固定安装有摄像机110,摄像机110用于拍摄旋翼无人机正前方的图像。
如图2所示,航向校准系统控制旋翼无人机执行以下操作:
S101、旋翼无人机飞行到预设的水平位置,摄像机拍摄第一图像。
S102、旋翼无人机对第一图像执行目标分割的操作,将在第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,并将此刻旋翼无人机的水平摆角标定为相对航向零度角。
S103、旋翼无人机在水平位置上发生若干次水平摆动,在每个摆动止点位置上拍摄关于基准目标对象的第二图像。
S104、旋翼无人机判定基准目标对象的图像在第二图像中的位置是否居中,若是,则执行步骤S105。
S105、旋翼无人机获取旋翼无人机对应的摆动止点位置,并将摆动止点位置标记为航向偏角基准零度位置。
S106、旋翼无人机将航向偏角基准零度位置与相对航向零度角的位置之间的摆角标记为航向校准角。
其中,航向校准角为方向角。
S107、旋翼无人机在航向偏角基准零度位置以航向校准角的角度大小发生水平摆动,并标记此刻旋翼无人机的正前方为航向校准基准零度位置。
如图3所示,O点表示旋翼无人机位于预先确定的水平位置点,P表示基准目标对象所在的位置,为了使得旋翼无人机水平摆动过程中仍然拍摄到基准目标对象的图像(即第二图像),旋翼无人机需要在预先确定的摆角β的范围内水平摆动,在该水平摆动的过程中,当其到达某摆动止点T1、T2、T3…TN时,将拍摄对应的关于基准目标对象P的图像即第二图像,在此过程中,OT1、OT2、OT3…OTN,分别近似于摄像机的光轴,通过判断基准目标对象P是否在第二图像的居中位置,可以判定基准目标对象P是否落在摄像机的光轴上,从而判定基准目标对象P是否位于旋翼无人机的正前方,当旋翼无人机在预设水平位置所在的水平面内作转动至正对基准目标对象P时,旋翼无人机的正前方为航向校准基准零度位置,这时,航向校准的操作完成。
可见,本发明公开的一种基于机器视觉的室内环境内旋翼无人机的航向校准系统,控制旋翼无人机对飞行到预设水平位置上拍摄的第一图像执行目标分割操作而确定相对航向零度角,通过判定第二图像的基准目标对象在图中的位置是否居中而确定航向偏角零度位置,再根据航向偏角基准零度位置与相对航向零度角的位置确定航向校准角,最后控制旋翼无人机在航向偏角基准零度位置以航向校准角的角度大小发生水平摆动,并标记此刻旋翼无人机的正前方为航向校准基准零度位置,以完成对旋翼无人机的航向校准操作,有利于满足旋翼无人机在使用过程中的航向校准需求。
可选的,旋翼无人机设置有水平仪以及正面朝下的激光测距装置。旋翼无人机在飞行过程中,通过激光测距装置获取旋翼无人机相对于地面的当前飞行高度,以及通过水平仪获取旋翼无人机相对于水平位置的当前偏角。具体而言,当当前飞行高度与预先确定的飞行高度匹配且当前偏角与预先确定的水平位置偏角匹配时,旋翼无人机判定到达预设的水平位置。进一步可选的,旋翼无人机相对于地面的当前飞行高度的检测过程中,可以使得该旋翼无人机向上爬升到某预设时间后,进行盘旋,并在盘旋过程中,在若干个检测点位上停留,并获取检测点位上相对于地面的检测高度,根据上述若干个检测点位的检测高度,确定旋翼无人机的盘旋高度,并判定该高度与预先确定的高度阈值是否匹配,若匹配,则得出当前飞行高度与预先确定的飞行高度匹配的结果。具体而言,当前飞行高度确定如下:
Figure BDA0003937733870000081
式中,m为选定的检测点位个数,Hm表示第m个检测点位检测到的当前飞行高度,k为精度系数,取值范围为(0,1),μ可以为m个检测点位的检测高度的极差,也可以是多次重复试验中的检测高度的极差的稳定范围中的确定取值。
可选的,旋翼无人机对第一图像执行目标分割的操作,将各个独立的目标对象的图像在第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,具体包括以下操作:
S1021、旋翼无人机对第一图像作网格化处理,得到有序排列的若干个网格图像,利用深度卷积神经网络对每个网格图像作目标检测的操作,输出每个网格图像的目标对象预测标签和对应的置信度。
其中,目标对象的预测标签用于表示该深度卷积神经网络执行目标检测的操作后得到的对网格图像中的物体类别的预判,置信度表示该预判结果(即目标对象预测标签)为真(即与目标对象的真实的物体类别匹配)的把握或者期望,其中,置信度可以通过百分数表示,比如,置信度为90%。可选的,对于置信度较低结果(即目标对象预测标签)可以在系统内丢弃而无需输出该结果,以有利于系统运行的高效性。通常,系统可以选择丢弃置信度低于90%的结果。
特别地,可以将第一图像划分为S×S个网格,并将各个网格图像作为输入,分别输入至经过训练的YOLO模型,该模型对各个网格图像执行进行目标检测的操作,并输出对应的目标对象预测标签和对应的置信度。比如,对于在第一行的依次排列7个网格图像所输出的目标对象预测标签和对应的置信度分别为:立柱-93%;立柱-94%;立柱-90%;窗户-90%;窗户-92%;窗户-91%;窗户-93%。
S1022、旋翼无人机筛选出相同的目标对象预测标签所对应的网格图像,并将相邻的相同的目标对象预测标签所对应的网格图像标记为目标对象关联网格区域。
目标对象关联网格区域,相当于对于目标对象所在的图像区域作初步筛选而得到的图像区域。那么,对于上述提到的在第一行的依次排列的7个网格图像将被划分为两个目标对象关联网格区域,即第一行的前3个网格图像被划分为以“立柱”为目标对象的目标关联网格区域,第一行的后4个网格图像被划分为以“窗户”为目标对象的目标关联网格。
S1023、旋翼无人机在关联图像区域中,筛选出对应的置信度大于等于预先确定的置信度阈值的相邻的网格图像,并将其标记为目标对象关键网格区域。
目标图像关键网格区域,相当于对于目标图像所在的图像区域作进一步的筛选而得到的在目标对象关联网格区域中的部分区域。
上述提到的预先确定的置信度阈值可以是基于多次重复试验而确定的,通常,在精度要求较高的情况下,该置信度阈值取值较大。可选的,该置信度阈值的取值范围可以为90%至95%。
S1024、旋翼无人机在所有目标对象关键网格区域中,筛选出所包含的网格数最多的目标对象关键网格区域,并将其标记为基准目标对象网格区域,对应的目标对象标记为基准目标对象,对应的目标对象预测标签为基准目标对象预测标签。
其中,基准目标对象可以作为该旋翼无人机航向校准的参照物,基准目标对象通常为静止的物体,以有利于旋翼无人机进行航向校准过程的高效性。可选的,在步骤S1021输出每个网格图像的目标对象预测标签之后,可以筛选出所表示的目标对象为静止的目标对象预测标签,比如,立柱、门框、挂画等;相应地,可以剔除所表示的目标对象为活动的目标对象预测标签,比如,动物、钟摆等。
进一步可选的,在旋翼无人机对第一图像作网格化处理之前,
旋翼无人机将第一图像的像素进行转化如下:
Figure BDA0003937733870000091
式中,t为预先确定的转化系数,取值范围为(0,1],xi为转化前的第一图像某一像素点i的像素值,min(x)为转化前的第一图像的最小像素值,max(x)为转化后的第一图像的最大像素值,ni为转化后的第一图像某一像素点i的像素值。这可以使得第一图像的像素值转化为(0,1]之间,使得第一图像的像素值具有相对统一的规范化,有利于提高后续针对第一图像的处理效率。
如图4所示,该航向校准系统可以设置在旋翼无人机的外部,该航向校准系统包括控制器和收发器,控制器用于生成控制旋翼无人机执行航向校准步骤的控制指令,收发器用于接收旋翼无人机发送的反馈信息,以及用于发送控制指令。该航向校准系统可以在同一时间内,对若干个旋翼无人机进行批量化的航向校准,适用于旋翼无人机的生产制造场景。
航向校准系统可以设置在旋翼无人机的内部以适用于旋翼无人机的单独的用户使用场景。如图5所示,航向校准系统包括电连接的处理器和飞行驱动模块,飞行驱动模块与驱动旋翼转动的电机电连接,处理器与摄像机电连接,其中,
飞行驱动模块用于控制旋翼无人机飞行到预设的水平位置,
处理器用于对第一图像执行目标分割的操作,将在第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,并将此刻旋翼无人机的水平摆角标定为相对航向零度角,
飞行驱动模块还用于控制旋翼无人机在水平位置上发生若干次水平摆动,
处理器还用于判定基准目标对象的图像在第二图像中的位置是否居中,当判定出基准目标对象的图像在第二图像中的位置居中时,获取旋翼无人机对应的摆动止点位置,并将摆动止点位置标记为航向偏角基准零度位置,以及将航向偏角基准零度位置与相对航向零度角的位置之间的摆角标记为航向校准角。
以上所描述的装置实施例仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:本发明实施例公开的一种基于机器视觉的室内环境内旋翼无人机的航向校准系统所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述的实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明的实施例技术方案的精神和范围。

Claims (6)

1.一种基于机器视觉的室内环境内旋翼无人机的航向校准系统,其特征在于,所述旋翼无人机上水平固定安装有摄像机,所述摄像机用于拍摄所述旋翼无人机正前方的图像,
所述航向校准系统控制所述旋翼无人机执行以下操作:
所述旋翼无人机飞行到预设的水平位置,所述摄像机拍摄第一图像,
所述旋翼无人机对所述第一图像执行目标分割的操作,将在所述第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,并将此刻所述旋翼无人机的水平摆角标定为相对航向零度角,
所述旋翼无人机在所述水平位置上发生若干次水平摆动,在每个摆动止点位置上拍摄关于所述基准目标对象的第二图像,
所述旋翼无人机判定所述基准目标对象的图像在所述第二图像中的位置是否居中,若是,则获取所述旋翼无人机对应的摆动止点位置,并将所述摆动止点位置标记为航向偏角基准零度位置,
所述旋翼无人机将所述航向偏角基准零度位置与所述相对航向零度角的位置之间的摆角标记为航向校准角,其中,所述航向校准角为方向角,
所述旋翼无人机在所述航向偏角基准零度位置以所述航向校准角的角度大小发生水平摆动,并标记此刻所述旋翼无人机的正前方为航向校准基准零度位置。
2.根据权利要求1所述的基于机器视觉的室内环境内旋翼无人机的航向校准系统,其特征在于,所述旋翼无人机设置有水平仪以及正面朝下的激光测距装置,
所述旋翼无人机在飞行过程中,通过所述激光测距装置获取所述旋翼无人机相对于地面的当前飞行高度,以及通过所述水平仪获取所述旋翼无人机相对于水平位置的当前偏角,
当所述当前飞行高度与预先确定的飞行高度匹配且所述当前偏角与预先确定的水平位置偏角匹配时,所述旋翼无人机判定到达预设的水平位置。
3.根据权利要求1所述的基于机器视觉的室内环境内旋翼无人机的航向校准系统,其特征在于,
所述旋翼无人机对所述第一图像执行目标分割的操作,将各个独立的目标对象的图像在第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,具体包括:
所述旋翼无人机对所述第一图像作网格化处理,得到有序排列的若干个网格图像,利用深度卷积神经网络对每个网格图像作目标检测的操作,输出每个网格图像的目标对象预测标签和对应的置信度,
所述旋翼无人机筛选出相同的目标对象预测标签所对应的网格图像,并将相邻的所述相同的目标对象预测标签所对应的网格图像标记为目标对象关联网格区域,
所述旋翼无人机在所述关联图像区域中,筛选出对应的置信度大于等于预先确定的置信度阈值的相邻的网格图像,并将其标记为目标对象关键网格区域,
所述旋翼无人机在所有目标对象关键网格区域中,筛选出所包含的网格数最多的目标对象关键网格区域,并将其标记为基准目标对象网格区域,对应的目标对象标记为基准目标对象,对应的目标对象预测标签为基准目标对象预测标签。
4.根据权利要求3所述的基于机器视觉的室内环境内旋翼无人机的航向校准系统,其特征在于,在所述旋翼无人机对所述第一图像作网格化处理之前,
所述旋翼无人机将所述第一图像的像素进行转化如下:
Figure FDA0003937733860000021
式中,t为预先确定的转化系数,取值范围为(0,1],xi为转化前的第一图像某一像素点i的像素值,min(x)为转化前的第一图像的最小像素值,max(x)为转化后的第一图像的最大像素值,ni为转化后的第一图像某一像素点i的像素值。
5.根据权利要求1所述的基于机器视觉的室内环境内旋翼无人机的航向校准系统,其特征在于,所述航向校准系统设置在所述旋翼无人机的外部,所述航向校准系统包括控制器和收发器,所述控制器用于生成控制所述旋翼无人机执行航向校准步骤的控制指令,所述收发器用于接收所述旋翼无人机发送的反馈信息,以及用于发送所述控制指令。
6.根据权利要求1所述的基于机器视觉的室内环境内旋翼无人机的航向校准系统,其特征在于,所述航向校准系统设置在所述旋翼无人机的内部,所述航向校准系统包括电连接的处理器和飞行驱动模块,所述飞行驱动模块与驱动旋翼转动的电机电连接,所述处理器与所述摄像机电连接,其中,
所述飞行驱动模块用于控制所述旋翼无人机飞行到预设的水平位置,
所述处理器用于对所述第一图像执行目标分割的操作,将在所述第一图像中所覆盖的区域最大的目标对象确定为基准目标对象,并将此刻所述旋翼无人机的水平摆角标定为相对航向零度角,
所述飞行驱动模块还用于控制所述旋翼无人机在所述水平位置上发生若干次水平摆动,
所述处理器还用于判定所述基准目标对象的图像在所述第二图像中的位置是否居中,当判定出所述基准目标对象的图像在所述第二图像中的位置居中时,获取所述旋翼无人机对应的摆动止点位置,并将所述摆动止点位置标记为航向偏角基准零度位置,以及将所述航向偏角基准零度位置与所述相对航向零度角的位置之间的摆角标记为航向校准角。
CN202211408880.7A 2022-11-11 2022-11-11 基于机器视觉的室内环境内旋翼无人机的航向校准系统 Active CN115562355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211408880.7A CN115562355B (zh) 2022-11-11 2022-11-11 基于机器视觉的室内环境内旋翼无人机的航向校准系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211408880.7A CN115562355B (zh) 2022-11-11 2022-11-11 基于机器视觉的室内环境内旋翼无人机的航向校准系统

Publications (2)

Publication Number Publication Date
CN115562355A true CN115562355A (zh) 2023-01-03
CN115562355B CN115562355B (zh) 2023-11-03

Family

ID=84769861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211408880.7A Active CN115562355B (zh) 2022-11-11 2022-11-11 基于机器视觉的室内环境内旋翼无人机的航向校准系统

Country Status (1)

Country Link
CN (1) CN115562355B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302136A (zh) * 2015-09-23 2016-02-03 上海物景智能科技有限公司 一种基于清洁机器人的区域分割方法
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
CN113655803A (zh) * 2021-08-26 2021-11-16 国网江苏省电力有限公司无锡供电分公司 基于视觉的隧道环境下旋翼无人机航向校准系统及方法
WO2022000197A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 飞行作业方法、无人机及存储介质
WO2022016534A1 (zh) * 2020-07-24 2022-01-27 深圳市大疆创新科技有限公司 无人机的飞行控制方法和无人机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302136A (zh) * 2015-09-23 2016-02-03 上海物景智能科技有限公司 一种基于清洁机器人的区域分割方法
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
WO2022000197A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 飞行作业方法、无人机及存储介质
WO2022016534A1 (zh) * 2020-07-24 2022-01-27 深圳市大疆创新科技有限公司 无人机的飞行控制方法和无人机
CN113655803A (zh) * 2021-08-26 2021-11-16 国网江苏省电力有限公司无锡供电分公司 基于视觉的隧道环境下旋翼无人机航向校准系统及方法

Also Published As

Publication number Publication date
CN115562355B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
US11592844B2 (en) Image space motion planning of an autonomous vehicle
US11242144B2 (en) Aerial vehicle smart landing
JP7020421B2 (ja) 飛行制御装置、無人飛行機、飛行制御方法、及びプログラム
US10060746B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
US11149717B2 (en) Unmanned aerial vehicle wind turbine inspection systems and methods
US10466718B2 (en) Camera configuration on movable objects
US20200301015A1 (en) Systems and methods for localization
WO2017206179A1 (en) Simple multi-sensor calibration
EP3734394A1 (en) Sensor fusion using inertial and image sensors
KR20200083951A (ko) Rfid 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법
KR20200050487A (ko) Rfid 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법
US20210229810A1 (en) Information processing device, flight control method, and flight control system
CN112040175A (zh) 无人机巡检方法、装置、计算机设备和可读存储介质
Urieva et al. Collision detection and avoidance using optical flow for multicopter UAVs
CN114636405A (zh) 飞行器传感器系统同步
JP2022051976A (ja) 無人航空機、通信方法、およびプログラム
Rudol Increasing autonomy of unmanned aircraft systems through the use of imaging sensors
CN115562355A (zh) 基于机器视觉的室内环境内旋翼无人机的航向校准系统
US20230073120A1 (en) Method for Controlling an Unmanned Aerial Vehicle for an Inspection Flight to Inspect an Object and Inspection Unmanned Aerial Vehicle
TWI771231B (zh) 感測系統、感測資料取得方法及控制裝置
WO2020024211A1 (zh) 无人机降落方法、装置及无人机
CN112394744A (zh) 一体化无人机系统
US12116979B2 (en) Unmanned aerial vehicle wind turbine inspection systems and methods
JP7317684B2 (ja) 移動体、情報処理装置、及び撮像システム
Pérez Rodríguez Quadcopter stabilization based on IMU and Monocamera Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant