CN110045750A - 一种基于四旋翼无人机的室内场景构建系统及其实现方法 - Google Patents
一种基于四旋翼无人机的室内场景构建系统及其实现方法 Download PDFInfo
- Publication number
- CN110045750A CN110045750A CN201910393188.3A CN201910393188A CN110045750A CN 110045750 A CN110045750 A CN 110045750A CN 201910393188 A CN201910393188 A CN 201910393188A CN 110045750 A CN110045750 A CN 110045750A
- Authority
- CN
- China
- Prior art keywords
- data
- flight
- unmanned plane
- flight control
- modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 50
- 230000006641 stabilisation Effects 0.000 claims abstract description 5
- 238000011105 stabilization Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 13
- 240000007651 Rubus glaucus Species 0.000 claims description 11
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 11
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 10
- 238000011161 development Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提出了一种基于四旋翼无人机的室内场景构建系统及其实现方法,包括无人机平台和建模平台,所述无人机平台包括供电单元、动力单元、飞行控制单元、远程控制单元和图像采集处理单元;所述供电单元包括一块供电电池和一套电压稳定系统,为整个系统提供稳定的电力;所述动力单元是主要控制实现单元;能完成更大范围的建模,对室内环境进行全方位的扫描;可在更复杂的环境下完成场景勘测任务,尤其对灾后现场的勘测具有重要意义;方便维护,升级简单,通过更改协议可以兼容更多的传感器对数据传输的要求;系统采用模块化设计,可兼容更多类型的传感器,完成更复杂的任务。
Description
技术领域
本发明涉及一种室内场景建模,属于建模领域。
背景技术
从2002年到2012年十年的时间内,旋翼无人机以飞控系统为核心,各大高校实验室开发自己的无人机系统,其中诞生了很多优秀的飞控系统一直沿用至今并被无数开源爱好者推动发展。在2012年大疆公司的几款远程高清图像传输无人机将无人机带入了新的纪元,如今,无人机的应用越来越广泛,从植保机到森林搜救,无处不在。
与此同时,随着工业的发展和人工智能技术的不断普及,以及人们对工作效率要求的不断提高,机器人技术渐渐走进了各大工厂,由此诞生了一系列工业机器人。从京东的无人化快递工厂引入的室内导航小车到美国设计师设计提出的“蜂巢”系统,越来越多的智能化移动机器人进入工厂代替人类的搬运工作。这些机器人最大的特点就是在行走过程中不需要人的引导就可以自行移动,包括转弯、避障等一系列动作。在这些方面,无人机的优势明显。因为无人机无论在自由度和灵活度方面远比那些轮式机器人和履带式机器人在结构上拥有更多的能动性,这就决定了无人机不但可以肩负传统机器人的任务,同时可以开发更多的功能。
但不论是什么机器人平台,要完成自主移动和避障,第一步就是进行周围环境感知和建模,才能进行接下来的路径规划。由于传统机器人都是以地面为依托,在地面上行进,所以它们的建模范围和感知范围仅仅是机器人本身的高度或者略高,这就限制了此类机器人的作用,也就决定了传统机器人单一的功能,一旦将机器人放置于复杂环境或者地面条件不允许的地方,这类机器人也就性能大减。然而无人机却可以胜任,无人机凭借其灵活的移动方式,搭载建模系统,对环境进行全面扫描,这个过程既可以人为控制,也可以让无人机自己完成。
现阶段,传统机器人的缺点就是:环境要求高,这些机器人只适合在平坦的地面上行进,对于楼梯等一些磕绊不能很好地解决;机器人笨重,整套成本高;建模范围有限,功能单一,仅可用于固定的场景。
室内环境是一类典型的复杂环境,与室外的大环境相比,室内环境更加狭小,活动范围更窄,环境较为复杂,同时,在封闭环境内失去了GPS的作用,室内的无人机更多的依赖超声波、激光雷达或相机作为主要的导航传感器。同时,限制于无人机本身的功耗,载重等限制,要求无人机在规定的时间和无外部辅助导航设施的情况下,完成室内的建模任务。
较为广泛的距离传感器在现阶段都有一定的局限性,难以完成室内建模以及飞行的任务。
超声波作为主流的位置传感器,具有测量数据稳定,体积小的特点,但是室内的封闭环境,单超声波无法测距多个方向,这就要求飞机上必须携带多个超声波,但是室内环境封闭,超声波之间存在干扰,同时,当无人机以高速状态飞行时,无法获得准确的位置信息。
激光雷达是最近兴起的一项技术,凭借其快速扫描,体积小,数据可靠等优点,在各个领域发挥作用,但是在无人机上使用激光雷达作为建模工具却显得及其不合适,一方面,激光雷达价格昂贵,成本居高不下,另一方面,激光雷达用途单一,仅仅只是在一个平面内完成建模工作,无法在短时间内做到立体建模。
相比于以上两种工具,深度相机就十分胜任在无人机上完成建模工作,一方面,深度相机种类繁多,适合各种环境的使用,同时,相机采集到的图像数据,其信息量更大,包含许多有用信息,可以在后期进行图像识别等开发,另一方面,技术成熟,深度相机作为本系统中的网络节点中的一个,其将可用数据通过本身的数据处理单元处理之后,通过USB3.0协议进行传输,大大减少数据传输时间和算法运行时间,大大减轻了系统的复杂性。
四旋翼无人机作为最近几年兴起的新型机器人,发展迅猛,由于其灵活的飞行方式,迅猛的速度,庞大的作用范围,无人机开始在各个领域替代传统机器人完成各项任务,使用无人机为平台开发更多的用途为人们服务显得尤为重要。
发明内容
本发明所要解决的技术问题是当前传统机器人只能在简单的室内环境建模,无法胜任在仓库、火灾现场、洞穴等复杂封闭环境的建模任务,为克服现有技术的不足而提供一种基于四旋翼无人机的室内场景构建系统及其实现方法。
本发明提供一种基于四旋翼无人机的室内场景构建系统,包括无人机平台和建模平台,所述无人机平台包括供电单元、动力单元、飞行控制单元、远程控制单元和图像采集处理单元;
所述供电单元包括一块供电电池和一套电压稳定系统,为整个系统提供稳定的电力;
所述动力单元是主要控制实现单元,直接实现对飞机姿态的调节,包括驱动单元、四个高转速无刷电机、四个电子调速器;
所述飞行控制单元包括主控芯片、陀螺仪、加速度计、磁力计和高度传感器,用于完成对无人机平台数据的采集、处理和运算,并接受上级系统的控制指令,通过飞行控制系统的处理,进一步控制电机以完成所需要的功能;
所述远程控制单元包括遥控器和接收机两部分,完成系统的手动模式;
所述图像采集和处理单元包括摄像头、数据处理系统,为了减轻飞行控制单元主控芯片的压力,将图像处理部分分离出来,在飞行主控板上完成对图像数据的处理,将处理结果转换成控制参数直接传送给飞行控制单元实现对无人机的间接控制;
所述建模平台包括深度传感器、数据处理模块,通过对深度传感器输出的数据进行处理,结合相应的算法完成对室内环境模型的建立和室内环境的感知。
进一步的,所述的飞行控制单元可以在手动和自动之间自由切换。
进一步的,所述无人机平台还包括六旋翼和八旋翼的飞行平台。
进一步的,所述建模平台的网络与无人机平台的网络相互独立。
进一步的,所述图像采集和处理单元以及飞行控制单元的自动控制都在树莓派下进行操作。
进一步的,所述建模平台采用双目摄像机,通过景深图像和点云图信息进行建模。
进一步的,所述无人机平台与建模平台的供电系统为分离式,进行单独供电。
进一步的,所述建模平台的控制,是将Jeston TX2和个人PC电脑等终端连接在同一局域网下,通过路由器进行无线控制。
进一步的,所述无人机平台的飞行主控板为运行ROS系统的树莓派3B,建模平台为运行Ubuntu 系统的NVIDIA Jetson TX2开发板。
本发明还提供了一种基于四旋翼无人机的室内场景构建系统的实现方法,包括以下步骤:
步骤一,对无人机的陀螺仪、加速度计、磁力计、高度传感器进行初始化,对电机进行上电操作;
步骤二,对飞行控制系统进行自检,确认各传感器数据正常,通信无误;
步骤三,由主控芯片对飞行控制板进行模式确认,若飞行控制板设置为手动模式,则通过遥控器进行无人机解锁操作,控制无人机起飞;若飞行控制板设置为自动模式,则首先通过飞行主控板发送确认指令,当收到飞行控制板应答后,自行解锁起飞;
步骤四,由图像采集和处理单元将无人机正下方图像数据进行处理,通过计算特征点偏移,确定无人机水平面数据,同时高度传感器读取垂直方向位置数据,将数据传送至飞行控制板,飞行控制板将数据进行融合,进行位置调整,使得无人机固定在空中;
步骤五,当无人机到达指定位置后,由飞行主控板向建模平台发送位置准备就绪指令,建模平台启动双目相机节点,开始对室内环境建模,并存储在本地文件系统。
本发明是一种建立在高度灵活的无人机平台上的建模系统,充分运用了无人机三个轴向的运动,结合建模技术实现对室内环境的全方位扫描,克服了传统机器人只能在地面进行活动的缺点;不仅仅局限于简单的室内环境,其也完全可以胜任在仓库、火灾现场、洞穴等复杂封闭环境的建模任务,因为无人机本身相比于传统机器人拥有小巧、轻便的结构和更加自由的运动范围,所以在一些环境复杂的室内,也同样可以进行建模任务;提供手动模式和自动模式两种模式,以便胜任各种环境,在环境极其复杂的环境,可以使用手动模式避免意外,在简单的环境使用自动模式,大大节约了操作人员的时间;同样本系统在进行建模之外,还可以进行室内巡逻,对大型室内情况进行监控。
整个系统的工作过程:一、系统上电启动,等待系统开机。二、系统完成对陀螺仪、加速度计、电子罗盘自检,确定数据准备就绪。三、系统内协议自检,对各连接系统进行自动测试,确保在飞行过程中数据传输不出错。四、各模块准备就绪,进行任务读取和模式确定,准备起飞。五、飞行器按照任务先进行飞行准备,通过采集陀螺仪、加速度计、电子罗盘、高度传感器数据和图像处理单元的数据帧进行预起飞,数据传输无误后进行数据处理,将任务和数据结合,输出一路PPM波给电机驱动单元控制四个电机上升到就绪高度并保持空中的位置稳定。六、当无人机在空中保持稳定的位置时,通过协议向建模系统发送平台准备就绪命令,或根据需要,通过路由器手动选择建模平台开始时间,准备开始建模。七、深度摄像头进行数据采集,并将数据传送给数据处理芯片,通过算法输出室内的建模结果。
本发明的优点就是摒弃了传统地面机器人,采用四旋翼无人机这种更大胆的方案,其结果就是在原有功能的基础上增加了系统的功能,使系统具有了更广阔的运用环境,同时拓展了机器人的运用领域,打破了基于地面环境的传统建模,将更灵活的方案带入环境建模,可以运用在复杂的环境中。尤其是在灾后现场,未知地域勘测等危险地区,本系统极大的保障了人员的安全,具有十分重要的意义。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:能完成更大范围的建模,对室内环境进行全方位的扫描;可在更复杂的环境下完成场景勘测任务,尤其对灾后现场的勘测具有重要意义;方便维护,升级简单,通过更改协议可以兼容更多的传感器对数据传输的要求;系统采用模块化设计,可兼容更多类型的传感器,完成更复杂的任务。
附图说明
图1为本发明的无人机平台示意图。
图2为本发明的建模平台的示意图。
图3为本发明的建模中跟踪的示意图。
图4为本发明的建模中地图定位的示意图。
图5为本发明的建模中闭环的示意图。
图6为本发明的建模中信息处理示意图。
具体实施方式
下面结合附图1-6对本发明的技术方案做进一步的详细说明:
本实施例提出了一种基于四旋翼无人机的室内场景构建系统,包括无人机平台和建模平台,所述无人机平台包括供电单元、动力单元、飞行控制单元、远程控制单元和图像采集处理单元;所述供电单元包括一块供电电池和一套电压稳定系统,为整个系统提供稳定的电力;所述动力单元是主要控制实现单元,直接实现对飞机姿态的调节,包括驱动单元、四个高转速无刷电机、四个电子调速器;所述飞行控制单元包括主控芯片、陀螺仪、加速度计、磁力计和高度传感器,用于完成对无人机平台数据的采集、处理和运算,并接收上级系统的控制指令,通过飞行控制系统的处理,进一步控制电机以完成所需要的功能;所述远程控制单元包括遥控器和接收机两部分,完成系统的手动模式;所述图像采集和处理单元包括摄像头、数据处理系统,为了减轻飞行控制单元主控芯片的压力,将图像处理部分分离出来,在飞行主控板上完成对图像数据的处理,将处理结果转换成控制参数直接传送给飞行控制单元实现对无人机的间接控制;所述建模平台包括深度传感器、数据处理模块,通过对深度传感器输出的数据进行处理,结合相应的算法完成对室内环境模型的建立和室内环境的感知。
所述的飞行控制单元可以在手动和自动之间自由切换;所述无人机平台还包括六旋翼和八旋翼的飞行平台;所述建模平台的网络与无人机平台的网络相互独立;所述图像采集和处理单元以及飞行控制单元的自动控制都在树莓派下进行操作;所述建模平台采用双目摄像机,通过景深图像和点云图信息进行建模;所述无人机平台与建模平台的供电系统为分离式,进行单独供电;所述建模平台的控制,是将Jeston TX2和个人PC电脑等终端连接在同一局域网下,通过路由器进行无线控制;所述无人机平台的飞行主控板为运行ROS系统的树莓派3B,建模平台为运行Ubuntu 系统的NVIDIA Jetson TX2开发板。
本实施例还提出了一种基于四旋翼无人机的室内场景构建系统的实现方法,包括以下步骤:
步骤一,对无人机的陀螺仪、加速度计、罗盘、高度传感器进行初始化,对电机进行上电操作;
步骤二,对飞行控制系统进行自检,确认各传感器数据正常,通信无误;
步骤三,由主控芯片对飞行控制板进行模式确认,若飞行控制板设置为手动模式,则通过遥控器进行无人机解锁操作,控制无人机起飞;若飞行控制板设置为自动模式,则首先通过飞行自控板发送确认指令,当收到飞行控制板应答后,自行解锁起飞;
步骤四,由图像采集和处理单元将无人机正下方图像数据进行处理,通过计算特征点偏移,确定无人机水平面数据,同时高度传感器读取垂直方向位置数据,将数据传送至飞行控制板,飞行控制板将数据进行融合,进行位置调整,使得无人机固定在空中;
步骤五,当无人机到达指定位置后,由飞行主控板向建模平台发送位置准备就绪指令,建模平台启动双目相机节点,开始对室内环境建模,并存储在本地文件系统。
本发明包括两个平台,分别是无人机平台和建模平台,无人机平台为建模平台提供稳定的环境,无人机平台集成了所有为保障平稳飞行所必要的传感器,通过系统将所有传感器的数据融合处理用以保持无人机平台稳定机身,只有保持无人机在空中稳定,才能为建模平台提供良好的运行环境。建模平台运用高性能的开发板和技术成熟的深度相机,用以实现在低功耗下完成建模任务。本发明用于解决各种环境下的建模任务和巡逻任务,实现了无人机自动驾驶和对复杂环境的建模目标,同时也完成了对标定目标的监测,可以用于大环境的巡逻,保障了自身所负责环境的安全,提高了人们工作效率,保障了人员的生命安全。
无人机平台包括供电单元、动力单元、飞行控制单元、远程控制单元和图像采集处理单元。其中供电单元包括大容量电池和电源管理模块,为飞机和建模平台提供电力支持。考虑到续航时间主要与飞机自身重量、电机功率和整套系统的电能消耗有关,决定了需要一套节能的方案来为飞机提供足够的电量支持。动力单元关系到飞机的稳定和运动状态,主要包括无刷电机和电子调速计,电子调速计主要是接收飞行主控板发出的PWM波数据,通过占空比调节电机的转速,由于电机的速度采用半闭环控制,即通过调节电机转速达到控制机身稳定,而无固定的转速。根据电压越大,电机转速越快的规则,电子调速计根据占空比,调节输入电机的电压大小,进而飞行控制板可达到通过控制输出的PWM占空比控制电机转速。
飞行控制单元是整个无人机平台的核心,飞行控制单元包括主控芯片、陀螺仪、加速度计、磁力计和高度传感器等外围电路,加速度计采集加速度信息,陀螺仪采集偏转、倾斜时的转动角速度信息,磁力计采集磁场信息,将数据传送给主控芯片,芯片将数据进行滤波融合解算之后,转换成欧拉角,进而,通过感知三个方向的角度,判断当前机身是否处于稳定状态。高度传感器用来采集对地的高度信息,同样也是传给主控芯片,作为控制四个电机的转速的其中一个依据。如此一来,飞机就可以在一个恒定的高度保持水平。
远程控制单元包括接收机和遥控器,遥控器安装在飞机上,与飞行控制相连,为了节省端口,接收机和飞行主控制板通过ppm传输信号,接收机收到遥控器接受的多路pwm信号之后,将其编码成一路ppm信号传送给飞行控制板。飞行控制板接受到信号后,在保持机身平稳的基础上,对遥控器信号做出响应。在本专利中,遥控器用来切换模式,是飞机在遥控模式和自动模式之间进行切换,在遥控模式下,对四旋翼主控制板传送的来的控制信息进行过滤,不予以响应;在自动模式下,对遥控器传来的数据不予以响应。
图像采集和处理单元包括摄像头、数据处理系统。图像采集和处理系统包括在四旋翼主控制板内,由于飞行控制板不仅需要处理各种传感器传输来的数据,还要对数据做各种姿态解算,为了提高系统的响应速度和代码执行效率,将图像采集和处理过程搬移到四旋翼主控制板上,这样,四旋翼主控制板采用安装了ROS操作系统的树莓派3b,摄像头采用树莓派专用摄像头,这样,在ROS操作系统下,将飞机封装成一个节点,相机看做一个节点,便可以相对简单的控制无人机平台。之所以采用相机,是因为在室内,无人机无法感知自身的位置,不同于室外,室外无人机可以借助GPS进行定位,在室内我们采用了一种摄像头标定的方法,对飞机进行稳定。
在图像处理上分为以下步骤:
(1)摄像头向下采集图像信息并做滤波处理;
(2)将机身下方区域作为目标区域,在区域中寻找特征点;
(3)判断目标区域在图像中的位置,计算特征点的偏移;
(4)将冗余特征点进行过滤,保留有限个质量良好的特征点;
(5)从此刻开始,将特征点集合相对于原始位置的偏差输出至主系统,主系统做出判断之后,将该偏差通过PID调节为油门的输入量传送给飞行控制板,调节飞机在该位置保持静止。在控制部分,采用树莓派作为主控,将传感器的各种数据包装成一个系统网络中的一个节点,树莓派与飞行控制板之间通过一定的协议传输,树莓派将数据收集之后进行分类和包装,不同的数据按照不同的消息帧封装方式将数据处理好,封装成网络中的一个节点,节点之间通过消息进行沟通,具体操作步骤如下:
数据封装成帧后按照消息订阅者和消息发布者进行标识,同时将每个传感器数据虚拟为系统中的一个个消息节点;设计一个节点管理器对系统的节点进行统一删除、创建等操作;在进行通信时,由系统创建相应的主题,互相通信的数据通过主题进行联络;由消息订阅节点向主题发布消息,请求订阅相关消息发布者;主题通过在节点网络中搜索,如果相应的消息发布者有数据传输,即建立连接,进行节点之间的通信。
本发明简化了系统代码,通过将数据包装成节点,将数据进行分类进行处理,简化CPU处理数据的杂乱性,方便以后向网络中添加新的节点,方便代码维护。
本发明的建模平台包括深度传感器、数据处理模块。对特定环境建模是进行SLAM的基础,对建模算法进行了设计和修改。
首先是双目摄像机对图像的处理,双目相机由左右两个摄像头对同一场景获得的图像的差异,建立点云图和深度图像,并将各类图像信息和参数送到系统的节点;
之后系统摄像头节点的数据进行筛选,对采集到的特定帧(关键帧)进行观察和选择;随着关键帧选择的数量的增加,我们需要对冗余的部分进行删减,同时快速内插一个新的关键帧以达到快速建模的效果,对相邻的关键帧之间进行匹配,寻找最优匹配;循环算法进行建模。
为了加速数据处理的速度,将建模分为3个独立的进程独立计算,这样大大加快了处理的速度,其中建模部分分为:跟踪、本地地图绘制和闭环三个进程。
跟踪负责定位摄像机的每一帧图像并决定何时插入新的关键帧。我们首先执行与前一帧匹配的初始特征,并使用光束平差法来优化位置。如果跟踪丢失(例如由于遮挡或突然移动),则使用地图识别模块来执行全局重定位。一旦存在相机姿态和特征匹配的初始估计,则使用由系统维护的关键帧的隐含图来检索局部可见地图,然后通过重投影搜索与本地地图点的匹配,并且使用所有匹配再次优化相机的姿态。最后,由跟踪线程决定是否插入新的关键帧。
本地地图绘制处理新的关键帧并执行本地光束平差以在相机位置的周围实现最佳重建。在隐蔽图中的连接关键帧中,搜索新关键帧中不匹配的ORB的新对应关系,以执行对新点进行三角测量。在创建后的一段时间,根据跟踪期间收集的信息,运用冗余点剔除策略,仅保留高质量的点。本地映射还负责剔除冗余关键帧。
闭环会循环搜索每个新关键帧。如果检测到类似帧,就计算相似变换,该变换即会得出循环中累积的漂移。然后将循环的两个帧中的对应点对齐并且将重复的点融合。最后,执行相似性约束的姿态优化以实现全局一致性。
建模的步骤为:
(1)摄像头采集外部信息;
(2)将采集的外部信息通过立体深度算法转换为深度信息;
(3)将深度图像通过USB3.0协议传送回数据处理模块;
(4)系统通过USB传回的各种数据包装成节点;
(5)对每一帧数据进行特征点选择,同时将冗余的特征点删除;
(6)对关键帧进行姿态估计和非线性优化;
(7)在下一帧图像中对特征点进行重定位和匹配;
(8)结合相邻两帧图像中特征点的位置判断出图像是否产生平移;
(9)建立初始化地图进行全局优化,构建三维点云图,建立室内3D模型;
(10)循环上述步骤,达到实时建模的效果
本发明的工作流程:
首先,无人机部分与建模部分进行上电操作,无人机部分由飞行控制板读取惯性导航传感器的传感器数据,进行卡尔曼滤波之后输入,进行无人机姿态控制:
首先将加速度计数据进行归一化,将加速度计三维向量转换为单位向量;
其次利用四元数将地理的重力加速度旋转至无人机上面,再将加速度计读出的值做外积得出误差,使用此误差便可以对角速度做校正融合;
接着对误差进行积分,将当前姿态分离出的重力分量,与当前加速计测量得到的重力分量差值进行积分消除误差;
然后使用互补滤波,将姿态误差补偿到角速度上,修正角速度积分漂移;
最后,通过四元数将数据进行归一化,得到欧拉角Pitch、Yaw、Roll用于控制无人机的平衡,与此同时飞行主控板部分全程监控飞行控制板的自检过程,由飞行控制板按照一定协议将数据实时传送至飞行主控板,用以反馈无人机状态,飞行主控板部分,循环接收飞行控制板部分各传感器数据,将数据进行简单处理后,封装成数据节点,同时为方便数据管理和通信,将数据发布到一个主题上,这样各节点按照各自的需求进行数据的获取和发布,当一个节点的数据被另一个节点订阅时,节点管理器直接将两个节点进行连接,不通过主题进行通信。
当飞行控制板初始化成功之后,将自身就绪状态进行反馈,飞行主控板通过订阅相应节点向主题发布的消息进行确认,执行接下来的任务。
当飞行主控板确认无人机可以起飞后,由飞行主控板进行无人机飞行模式确认,对无人机进行自动控制还是手动控制:
当无人机为手动控制状态时,由飞行控制板对无人机模式进行设置,使其工作在定点模式,此模式下,飞行主控板通过摄像头对当前地面数据进行识别,通过光流算法,进行特征点选择和确认,通过,飞行控制板对当前声呐数据进行采样和计算,当飞行主控板接收到遥控器发出的解锁指令后对电调进行上电以便控制电机转速,之后,由遥控器控制油门即可控制无人机起飞,在无人机飞行过程中,飞行主控板上的摄像头一直采集数据,由飞行主控板将计算结果偏移量数据进行发布,由飞行控制板进行订阅,将数据用于融合,控制无人机X轴和Y轴的位置,同时,声呐也将数据进行发布,用于飞行控制板进行高度(Z轴)调节。
当无人机为自动控制状态时,忽略遥控器输入的油门数据,由飞行控制板确认声呐和摄像头数据是否准备就绪,一旦数据准备就绪,飞行主控板按照代码,向无人机发送起飞命令和预期飞行高度,无人机接收到命令之后,对电机进行控制,操控无人机执行命令,待无人机飞到既定位置之后进行悬停和位置保持,等待下一条命令,此控制模式主要是用于后期对无人机进行二次开发。
在无人机启动的同时,建模平台也可以灵活的选择何时建模,通过PC对飞行器携带的TX2进行无线控制,这一步主要通过路由器进行操作,通过局域网和VNC服务,对TX2进行无线控制,运行TX2中的脚本,完成建模任务,并将建立的模型保存至本地。
脚本主要完成以下的操作:
首先启动双目相机进行数据采集和处理,分别对左右摄像头的原始图、景深图、点云图等数据创建相应节点和主题,加入到系统网络,在此不考虑将无人机网络接入建模网络是为了后期维护升级;
得到图像数据节点后,对图像数据进行筛选,选择特征帧图像进行处理,筛选角点和特殊点,将两帧图像进行比对,计算出相机的位置变化,通过三个线程,将数据处理后,传送给建模系统,由建模系统对数据进行二次处理,最后显示在,通过局域网控制的个人PC或其它端,完成整个工作。
本发明分析了当前机器人行业中,无人机的角色,结合机器人自动行驶中的不足,充分发挥无人机的优点,将灵活的无人机引入我们的生活,对无人机室内点位,自我位置感知具有重要的应用价值,目前,市面上流行的建模方式只局限于简单环境,但是,本专利提出的方案不仅仅局限于室内,对于一些较为简单的封闭环境,包括洞穴勘测、灾后救援都有极其重要的意义。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种基于四旋翼无人机的室内场景构建系统,其特征在于,包括无人机平台和建模平台,所述无人机平台包括供电单元、动力单元、飞行控制单元、远程控制单元和图像采集处理单元;
所述供电单元包括一块供电电池和一套电压稳定系统,为整个系统提供稳定的电力;
所述动力单元是主要控制实现单元,直接实现对飞机姿态的调节,包括驱动单元、四个高转速无刷电机、四个电子调速器;
所述飞行控制单元包括主控芯片、陀螺仪、加速度计、磁力计和高度传感器,用于完成对无人机平台数据的采集、处理和运算,并接收上级系统的控制指令,通过飞行控制系统的处理,进一步控制电机以完成所需要的功能;
所述远程控制单元包括遥控器和接收机两部分,用于完成系统的手动模式;
所述图像采集和处理单元包括摄像头、数据处理系统,为了减轻飞行控制单元主控芯片的压力,将图像处理部分分离出来,在飞行主控板上完成对图像数据的处理,将处理结果转换成控制参数直接传送给飞行控制单元实现对无人机的间接控制;
所述建模平台包括深度传感器、数据处理模块,通过对深度传感器输出的数据进行处理,结合相应的算法完成对室内环境模型的建立和室内环境的感知。
2.根据权利要求1所述的一种基于四旋翼无人机的室内场景构建系统,其特征在于,所述的飞行控制单元可以在手动和自动之间自由切换。
3.根据权利要求2所述的一种基于四旋翼无人机的室内场景构建系统,其特征在于,所述无人机平台还包括六旋翼和八旋翼的飞行平台。
4.根据权利要求3所述的一种基于四旋翼无人机的室内场景构建系统,其特征在于,所述建模平台的网络与无人机平台的网络相互独立。
5.根据权利要求4所述的一种基于四旋翼无人机的室内场景构建系统及其实现方法,其特征在于,所述图像采集和处理单元以及飞行控制单元的自动控制都在树莓派下进行操作。
6.根据权利要求5所述的一种基于四旋翼无人机的室内场景构建系统,其特征在于,所述建模平台采用双目摄像机,通过景深图像和点云图信息进行建模。
7.根据权利要求1-6任意一项所述的一种基于四旋翼无人机的室内场景构建系统,其特征在于,所述无人机平台与建模平台的供电系统为分离式,进行单独供电。
8.根据权利要求1-6任意一项所述的一种基于四旋翼无人机的室内场景构建系统,其特征在于,所述建模平台的控制,是将Jeston TX2和个人PC电脑等终端连接在同一局域网下,通过路由器进行无线控制。
9.根据权利要求1-6任意一项所述的一种基于四旋翼无人机的室内场景构建系统,其特征在于,所述无人机平台的飞行主控板为运行ROS系统的树莓派3B,建模平台为运行Ubuntu 系统的NVIDIA Jetson TX2开发板。
10.一种基于四旋翼无人机的室内场景构建系统的实现方法,其特征在于:利用权利要求1-9所述的一种基于四旋翼无人机的室内场景构建系统,包括以下步骤:
步骤一,对无人机的陀螺仪、加速度计、罗盘、高度传感器进行初始化,对电机进行上电操作;
步骤二,对飞行控制系统进行自检,确认各传感器数据正常,通信无误;
步骤三,由主控芯片对飞行控制板进行模式确认,若飞行控制板设置为手动模式,则通过遥控器进行无人机解锁操作,控制无人机起飞;若飞行控制板设置为自动模式,则首先通过飞行主控板发送确认指令,当收到飞行控制板应答后,自行解锁起飞;
步骤四,由图像采集和处理单元将无人机正下方图像数据进行处理,通过计算特征点偏移,确定无人机水平面数据,同时高度传感器读取垂直方向位置数据,将数据传送至飞行控制板,飞行控制板将数据进行融合,进行位置调整,使得无人机稳定在空中;
步骤五,当无人机到达指定位置后,由飞行主控板向建模平台发送位置准备就绪指令,建模平台启动双目相机节点,开始对室内环境建模,并存储在本地文件系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910393188.3A CN110045750A (zh) | 2019-05-13 | 2019-05-13 | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910393188.3A CN110045750A (zh) | 2019-05-13 | 2019-05-13 | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110045750A true CN110045750A (zh) | 2019-07-23 |
Family
ID=67281698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910393188.3A Pending CN110045750A (zh) | 2019-05-13 | 2019-05-13 | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110045750A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377056A (zh) * | 2019-08-19 | 2019-10-25 | 深圳市道通智能航空技术有限公司 | 无人机航向角初值选取方法及无人机 |
CN112233221A (zh) * | 2020-11-10 | 2021-01-15 | 北京邮电大学 | 基于即时定位与地图构建的三维地图重建系统及方法 |
CN112697044A (zh) * | 2020-12-17 | 2021-04-23 | 北京航空航天大学 | 一种基于无人机平台的静态刚性物体视觉测量方法 |
CN113110597A (zh) * | 2021-05-19 | 2021-07-13 | 哈尔滨理工大学 | 一种基于ros系统的室内无人机自主飞行系统 |
CN113867377A (zh) * | 2021-09-29 | 2021-12-31 | 重庆大学 | 基于ros的视觉四旋翼无人机及其开发系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926933A (zh) * | 2014-03-29 | 2014-07-16 | 北京航空航天大学 | 一种无人飞行器室内同时定位与环境建模方法 |
CN104503339A (zh) * | 2015-01-05 | 2015-04-08 | 黑龙江工程学院 | 基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置及方法 |
CN106814744A (zh) * | 2017-03-14 | 2017-06-09 | 吉林化工学院 | 一种无人机飞行控制系统以及方法 |
CN106846485A (zh) * | 2016-12-30 | 2017-06-13 | Tcl集团股份有限公司 | 一种室内三维建模方法及装置 |
CN107341851A (zh) * | 2017-06-26 | 2017-11-10 | 深圳珠科创新技术有限公司 | 基于无人机航拍影像数据的实时三维建模方法及系统 |
US20180184063A1 (en) * | 2016-12-23 | 2018-06-28 | Red Hen Systems Llc | Systems and Methods For Assembling Time Lapse Movies From Consecutive Scene Sweeps |
CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
US20180217614A1 (en) * | 2017-01-19 | 2018-08-02 | Vtrus, Inc. | Indoor mapping and modular control for uavs and other autonomous vehicles, and associated systems and methods |
CN109002059A (zh) * | 2017-06-06 | 2018-12-14 | 武汉小狮科技有限公司 | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 |
CN109254587A (zh) * | 2018-09-06 | 2019-01-22 | 浙江大学 | 可在无线充电条件下稳定悬停的小型无人机及其控制方法 |
CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
CN110488850A (zh) * | 2019-08-02 | 2019-11-22 | 南京理工大学 | 一种基于树莓派的四旋翼无人机视觉导航系统及方法 |
-
2019
- 2019-05-13 CN CN201910393188.3A patent/CN110045750A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103926933A (zh) * | 2014-03-29 | 2014-07-16 | 北京航空航天大学 | 一种无人飞行器室内同时定位与环境建模方法 |
CN104503339A (zh) * | 2015-01-05 | 2015-04-08 | 黑龙江工程学院 | 基于激光雷达和四轴飞行器的多分辨室内三维场景重构装置及方法 |
US20180184063A1 (en) * | 2016-12-23 | 2018-06-28 | Red Hen Systems Llc | Systems and Methods For Assembling Time Lapse Movies From Consecutive Scene Sweeps |
CN106846485A (zh) * | 2016-12-30 | 2017-06-13 | Tcl集团股份有限公司 | 一种室内三维建模方法及装置 |
US20180217614A1 (en) * | 2017-01-19 | 2018-08-02 | Vtrus, Inc. | Indoor mapping and modular control for uavs and other autonomous vehicles, and associated systems and methods |
CN106814744A (zh) * | 2017-03-14 | 2017-06-09 | 吉林化工学院 | 一种无人机飞行控制系统以及方法 |
CN109002059A (zh) * | 2017-06-06 | 2018-12-14 | 武汉小狮科技有限公司 | 一种多旋翼无人机目标实时跟踪拍摄系统及方法 |
CN107341851A (zh) * | 2017-06-26 | 2017-11-10 | 深圳珠科创新技术有限公司 | 基于无人机航拍影像数据的实时三维建模方法及系统 |
CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
CN109254587A (zh) * | 2018-09-06 | 2019-01-22 | 浙江大学 | 可在无线充电条件下稳定悬停的小型无人机及其控制方法 |
CN109509230A (zh) * | 2018-11-13 | 2019-03-22 | 武汉大学 | 一种应用于多镜头组合式全景相机的slam方法 |
CN110488850A (zh) * | 2019-08-02 | 2019-11-22 | 南京理工大学 | 一种基于树莓派的四旋翼无人机视觉导航系统及方法 |
Non-Patent Citations (3)
Title |
---|
ANURAG SAI VEMPATI 等: "Onboard real-time dense reconstruction of large-scale environments for UAV", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
徐君明 等: "《嵌入式硬件设计 第2版》", 31 October 2007 * |
窦赫暄: "基于视觉的机器人室内定位算法研究与嵌入式实现", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377056A (zh) * | 2019-08-19 | 2019-10-25 | 深圳市道通智能航空技术有限公司 | 无人机航向角初值选取方法及无人机 |
CN112233221A (zh) * | 2020-11-10 | 2021-01-15 | 北京邮电大学 | 基于即时定位与地图构建的三维地图重建系统及方法 |
CN112697044A (zh) * | 2020-12-17 | 2021-04-23 | 北京航空航天大学 | 一种基于无人机平台的静态刚性物体视觉测量方法 |
CN113110597A (zh) * | 2021-05-19 | 2021-07-13 | 哈尔滨理工大学 | 一种基于ros系统的室内无人机自主飞行系统 |
CN113867377A (zh) * | 2021-09-29 | 2021-12-31 | 重庆大学 | 基于ros的视觉四旋翼无人机及其开发系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110045750A (zh) | 一种基于四旋翼无人机的室内场景构建系统及其实现方法 | |
Heng et al. | Autonomous obstacle avoidance and maneuvering on a vision-guided mav using on-board processing | |
Giernacki et al. | Crazyflie 2.0 quadrotor as a platform for research and education in robotics and control engineering | |
CN109613931B (zh) | 基于生物社会力的异构无人机集群目标跟踪系统及方法 | |
Tomic et al. | Toward a fully autonomous UAV: Research platform for indoor and outdoor urban search and rescue | |
Achtelik et al. | Onboard IMU and monocular vision based control for MAVs in unknown in-and outdoor environments | |
CN205891228U (zh) | 一种飞行机器人 | |
Bouabdallah et al. | Design and control of a miniature quadrotor | |
Weiss et al. | Monocular‐SLAM–based navigation for autonomous micro helicopters in GPS‐denied environments | |
CN109388150B (zh) | 多传感器环境地图构建 | |
Dryanovski et al. | An open-source navigation system for micro aerial vehicles | |
CN111880573B (zh) | 一种基于视觉惯导融合的四旋翼自主导航方法 | |
CN104977938A (zh) | 一种定维度飞行的多旋翼飞行器及飞行控制方法 | |
Soumelidis et al. | Control of an experimental mini quad-rotor UAV | |
De Nardi et al. | Swarmav: A swarm of miniature aerial vehicles | |
Lin et al. | Development of an unmanned coaxial rotorcraft for the DARPA UAVForge challenge | |
Wang et al. | An intelligent ground-air cooperative navigation framework based on visual-aided method in indoor environments | |
Xie | Dynamic visual servoing of rotary wing unmanned aerial vehicles | |
Doukhi et al. | Deep reinforcement learning for autonomous map-less navigation of a flying robot | |
CN110309883A (zh) | 一种基于视觉slam的无人机自主定位方法 | |
Ngo et al. | UAV Platforms for Autonomous Navigation in GPS-Denied Environments for Search and Rescue Missions | |
Saripalli et al. | Autonomous flying vehicle research at the University of Southern California | |
Saeedi et al. | 3d mapping for autonomous quadrotor aircraft | |
Fässler | Quadrotor control for accurate agile flight | |
Grobler | Automated recharging and vision-based improved localisation for a quadrotor UAV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190723 |
|
RJ01 | Rejection of invention patent application after publication |