CN109270954A - 一种基于姿态识别的无人机交互系统及其控制方法 - Google Patents
一种基于姿态识别的无人机交互系统及其控制方法 Download PDFInfo
- Publication number
- CN109270954A CN109270954A CN201811278212.0A CN201811278212A CN109270954A CN 109270954 A CN109270954 A CN 109270954A CN 201811278212 A CN201811278212 A CN 201811278212A CN 109270954 A CN109270954 A CN 109270954A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- module
- operator
- subsystem
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000013100 final test Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 description 9
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
- G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
- G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于姿态识别的无人机交互系统及其控制方法，所述系统包括无人机机体、视觉处理子系统、飞行控制子系统以及手持遥控器；视觉处理子系统和飞行控制子系统均搭建于无人机机体上，且相互之间通过UART接口通信连接，手持遥控器分别与视觉处理子系统以及飞行控制子系统通信连接。本发明结合了计算机视觉技术和无人机控制技术，实现了无人机的交互系统，使无人机在执行任务时更方便、更快捷、更智能，且任务可根据实际需求设定，具有良好的实用性和可扩展性。
Description
技术领域
本发明属于计算机视觉与无人机控制技术领域，具体涉及一种基于姿态识别的无人机交互系统及其控制方法的设计。
背景技术
随着科技的进步和发展，人机交互技术越来越受到人们的关注和重视，无人机(Unmanned Aerial Vehicle，UAV)以灵活、不受环境的限制、可监控范围广等优点被应用到很多领域，无人机在农业、环境和安防异常行为监测领域的应用急剧增加。然而如何实现无人机的控制，使无人机在执行任务时更方便、更快捷、更智能，仍然是无人机控制领域的热点和难点。现行的无人机控制主要依靠用遥控器、摇杆或者地面站等专用的设备，由经过专业训练的人来完成，其智能化水平较低，在任务执行时存在不够简单和快捷的问题。
发明内容
本发明的目的是为了解决现有的无人机控制在任务执行时不够简单、快捷、智能的问题，提出了一种基于姿态识别的无人机交互系统及其控制方法。
本发明的技术方案为：一种基于姿态识别的无人机交互系统，其特征在于，包括无人机机体、视觉处理子系统、飞行控制子系统以及手持遥控器；视觉处理子系统和飞行控制子系统均搭建于无人机机体上，且相互之间通过UART接口通信连接，手持遥控器分别与视觉处理子系统以及飞行控制子系统通信连接；视觉处理子系统用于获取无人机机体所在环境的视频图像，并对其进行处理，得到目标检测和姿态识别结果；飞行控制子系统用于根据目标检测和姿态识别结果控制无人机机体执行相应的动作和任务；手持遥控器设置有显示屏，用于实时显示视觉处理子系统获取到的视频图像，同时手持遥控器还用于控制无人机机体的起飞。
本发明的有益效果是：本发明结合了计算机视觉技术和无人机控制技术，实现了无人机的交互系统，使无人机在执行任务时更方便、更快捷、更智能，且任务可根据实际需求设定，具有良好的实用性和可扩展性。
进一步地，视觉处理子系统包括视频采集卡、运动相机、视频处理模块以及图传模块；视频采集卡和运动相机搭载于无人机机体上，且相互通信连接，用于获取无人机机体所在环境的视频图像；视频处理模块通过USB接口与视频采集卡连接，用于对视频图像进行处理，得到目标检测和姿态识别结果；图传模块与运动相机通信连接，并与手持遥控器无线通信连接，用于将采集到的视频图像发送至手持遥控器进行实时显示。
上述进一步方案的有益效果是：本发明中的视觉处理子系统应用了视频采集及计算机视觉处理技术，能够将采集到的视频图像发送至手持遥控器进行实时显示的同时，通过视频处理模块对视频图像进行目标检测和姿态识别，为飞行控制子系统的控制提供相应指示。
进一步地，视频处理模块采用Jetson TX1嵌入式开发板。
上述进一步方案的有益效果是：Jetson TX1嵌入式开发板具有高性能的特点，能够对视频采集卡和运动相机采集到的视频图像进行目标检测和姿势识别，加快了视频图像处理的速度，增加了系统的实时性。
进一步地，飞行控制子系统包括动力模块、电源管理模块、传感器模块、GPS定位模块、无线通信模块以及控制模块；电源管理模块与飞行控制子系统中的其余模块电连接，用于为各个模块提供适配的电源；控制模块与动力模块通信连接，并通过PWM控制技术对动力模块进行调制，为无人机机体提供飞行动力；传感器模块与控制模块通信连接，并通过SPI/IIC数据传输标准将采集到的数据信息传输至控制模块；GPS定位模块通过UART接口与控制模块通信连接，用于对无人机机体进行定位；无线通信模块通过SPI接口与控制模块通信连接，并与手持遥控器无线通信连接，用于实现飞行控制子系统与手持遥控器的通信。
上述进一步方案的有益效果是：本发明中的飞行控制子系统以视觉处理子系统得到的目标检测和姿态识别结果作为控制输入数据，通过高性能控制模块进行无人机的控制，执行相应的动作和任务。
进一步地，动力模块包括电子调速器和无刷电机；传感器模块包括陀螺仪、加速度计、气压计和电子罗盘，用于采集无人机机体的位姿、方向、加速度以及所处环境的气压信息；控制模块采用STM32F427微控制器，无线通信模块采用nRF24L01无线模块。
上述进一步方案的有益效果是：本发明采用传感器模块对无人机机体的位姿、方向、加速度以及所处环境的气压信息进行采集，便于在对操作人员进行目标检测时根据上述信息小范围调整无人机位姿，以增加视频采集卡和运动相机检测的鲁棒性；STM32F427微控制器作为控制模块，能够很好地协调飞行控制子系统中各个模块的功能；nRF24L01无线模块作为无线通信模块，具有低功耗以及传输距离较远的优点。
本发明还提供了一种基于姿态识别的无人机交互系统的控制方法，包括以下步骤：
S1、通过手持遥控器控制无人机机体起飞，悬停于设定高度，并通过视觉处理子系统中的运动相机采集环境视频图像。
S2、根据环境视频图像判断是否检测到操作人员，若是则进入步骤S3，否则重复步骤S2，直到达到检测时间阈值，控制无人机机体自主降落。
S3、控制无人机机体向操作人员靠近，并悬停于指定位置。
S4、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出随动跟踪指令，若是则进入步骤S5，否则保持无人机机体的悬停状态，重复步骤S4。
S5、获取操作人员的起点位置并进行存储。
S6、控制无人机随动跟踪操作人员进入作业地带。
S7、判断无人机是否有需要执行的任务，若是则进入步骤S8，否则进入步骤S11。
S8、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出任务执行指令，若是则进入步骤S9，否则重复步骤S8。
S9、执行任务。
S10、判断任务是否结束，若是则返回步骤S7，否则返回步骤S9。
S11、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出返航指令，若是则进入步骤S12，否则重复步骤S11。
S12、控制无人机返航，降落在起点位置。
本发明的有益效果是：本发明结合了计算机视觉技术和无人机控制技术，通过对操作人员目标检测结果，控制无人机悬停员操作人员附近，并通过对操作人员的姿态识别结果，控制无人机执行相应的随动跟踪、任务执行或者返航操作，使无人机在执行任务时更方便、更快捷、更智能，且任务可根据实际需求设定，具有良好的实用性和可扩展性。
进一步地，步骤S2中采用yolov3网络对操作人员进行检测，具体步骤为：
A1、将环境视频图像分成7*7个网格。
A2、采用每个网格预测2个边框以及一个类别信息，并用每个边框预测自身的(x,y,w,h)和confidence五个值；其中(x,y)表示边框在图像上的二维坐标，w和h分别表示边框的宽度和高度，confidence值包括边框中含有目标的置信度和边框预测的准确度两重信息。
A3、将每个网格预测的类别信息和边框预测的confidence信息相乘，得到每个边框的具体分类置信度。
A4、设置置信度阈值，将具体分类置信度小于置信度阈值的边框滤除，并对保留下来的边框进行非极大值抑制处理，得到最终的检测结果。
上述进一步方案的有益效果是：yolov3网络具有检测精度高、对小目标检测敏感、实时性好和鲁棒性强的优点，适用于无人机对操作人员进行目标检测。
进一步地，步骤S4、S8和S11中均采用Openpose网络对操作人员进行姿态识别，具体步骤为：
B1、将环境视频图像输入Openpose网络模型进行检测，得到人体关键点。
B2、根据人体关键点得到操作人员的姿势。
B3、将操作人员的姿势与姿态动作模板进行匹配，判断操作人员是否发出随动跟踪、任务执行或返航指令。
上述进一步方案的有益效果是：Openpose网络能够在图像中高效地对操作人员进行2D姿态检测和识别，并且无论视频图像中有多少人，都可以在实现实时性的同时保持高识别准确度。
进一步地，步骤B1中采用Openpose网络模型进行检测的具体步骤为：
C1、将环境视频图像输入VGG神经网络，经VGG神经网络的前十层得到特征度F。
C2、将Openpose网络分为两个分支，并采用其中第一分支预测置信度图S，即人体关节的关键点，采用其中第二分支预测部分亲和力场L，即像素点在肢体骨架中的走向。
C3、将特征度F作为输入，对两个分支进行第一阶段预测，得到第一阶段预测结果，预测公式为：
其中S1表示第一阶段预测的置信度图，L1表示第一阶段预测的部分亲和力场，ρ1(·)和φ1(·)均表示第一阶段预测采用的CNN网络模型。
C4、将特征度F和第t-1阶段预测的结果作为输入，对两个分支进行第t阶段预测，得到第t阶段预测结果，预测公式为：
其中St和St-1分别表示第t阶段和第t-1阶段预测的置信度图，Lt和Lt-1分别表示第t阶段和第t-1阶段预测的部分亲和力场，ρt(·)和φt(·)均表示第t阶段预测采用的CNN网络模型。
C5、当t＝6时，将第t阶段预测结果St和Lt作为Openpose网络的最终输出S和L，得到人体关键点。
上述进一步方案的有益效果是：本发明中将Openpose网络分为两个分支，同时对置信度图和部分亲和力场进行预测，具有较高的识别准确度和识别效率。
附图说明
图1所示为本发明实施例一提供的一种基于姿态识别的无人机交互系统结构框图。
图2所示为本发明实施例一提供的视觉处理子系统结构框图。
图3所示为本发明实施例一提供的飞行控制子系统结构框图。
图4所示为本发明实施例二提供的一种基于姿态识别的无人机交互系统的控制方法流程图。
图5所示为本发明实施例二提供的采用yolov3网络对操作人员进行检测的流程图。
图6所示为本发明实施例二提供的采用Openpose网络对操作人员进行姿态识别的流程图。
图7所示为本发明实施例二提供的人体关键点示意图。
图8所示为本发明实施例二提供的采用Openpose网络模型进行检测的流程图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
实施例一：
本发明实施例提供了一种基于姿态识别的无人机交互系统，如图1所示，包括无人机机体、视觉处理子系统、飞行控制子系统以及手持遥控器；视觉处理子系统和飞行控制子系统均搭建于无人机机体上，且相互之间通过UART接口通信连接，手持遥控器分别与视觉处理子系统以及飞行控制子系统通信连接；视觉处理子系统用于获取无人机机体所在环境的视频图像，并对其进行处理，得到目标检测和姿态识别结果；飞行控制子系统用于根据目标检测和姿态识别结果控制无人机机体执行相应的动作和任务；手持遥控器设置有显示屏，用于实时显示视觉处理子系统获取到的视频图像，同时手持遥控器还用于控制无人机机体的起飞。
如图2所示，视觉处理子系统包括视频采集卡、运动相机、视频处理模块以及图传模块；视频采集卡和运动相机搭载于无人机机体上，且相互通信连接，用于获取无人机机体所在环境的视频图像；视频处理模块通过USB接口与视频采集卡连接，用于对视频图像进行处理，得到目标检测和姿态识别结果；图传模块与运动相机通信连接，并与手持遥控器无线通信连接，用于将采集到的视频图像发送至手持遥控器进行实时显示。
本发明实施例中，视频处理模块采用Jetson TX1嵌入式开发板，Jetson TX1嵌入式开发板具有高性能的特点，能够对视频采集卡和运动相机采集到的视频图像进行目标检测和姿势识别，加快了视频图像处理的速度，增加了系统的实时性。运动相机的镜头具有3个自由度的旋转运动，使得无人机视野范围更宽广。
如图3所示，飞行控制子系统包括动力模块、电源管理模块、传感器模块、GPS定位模块、无线通信模块以及控制模块；电源管理模块与飞行控制子系统中的其余模块电连接，用于为各个模块提供适配的电源；控制模块与动力模块通信连接，并通过PWM控制技术对动力模块进行调制，为无人机机体提供飞行动力；传感器模块与控制模块通信连接，并通过SPI/IIC数据传输标准将采集到的数据信息传输至控制模块；GPS定位模块通过UART接口与控制模块通信连接，用于对无人机机体进行定位；无线通信模块通过SPI接口与控制模块通信连接，并与手持遥控器无线通信连接，用于实现飞行控制子系统与手持遥控器的通信。
本发明实施例中，动力模块包括电子调速器和无刷电机。传感器模块包括陀螺仪、加速度计、气压计和电子罗盘，用于采集无人机机体的位姿、方向、加速度以及所处环境的气压信息，便于在对操作人员进行姿态检测时根据上述信息小范围调整无人机位姿。控制模块采用STM32F427微控制器，能够很好地协调飞行控制子系统中各个模块的功能。无线通信模块采用nRF24L01无线模块，具有低功耗以及传输距离较远的优点。
实施例二：
本发明实施例提供了一种基于姿态识别的无人机交互系统的控制方法，如图4所示，包括以下步骤S1～S12：
S1、通过手持遥控器控制无人机机体起飞，悬停于设定高度，并通过视觉处理子系统中的运动相机3自由度旋转采集环境视频图像。
本发明实施例中，设定高度为10～15m。
S2、根据环境视频图像判断是否检测到操作人员，若是则进入步骤S3，否则重复步骤S2，直到达到检测时间阈值，控制无人机机体自主降落。
本发明实施例中，在对操作人员进行检测时，需要根据传感器模块采集到的无人机机体的位姿、方向、加速度以及所处环境的气压信息小范围调整无人机位姿，以增加视频采集卡和运动相机检测的鲁棒性。检测时间阈值设置为2分钟。
S3、控制无人机机体向操作人员靠近，并悬停于指定位置。
本发明实施例中，指定位置为距离操作人员6～8m位置。
S4、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出随动跟踪指令，若是则进入步骤S5，否则保持无人机机体的悬停状态，重复步骤S4。
S5、获取操作人员的起点位置并进行存储，方便返航。
S6、控制无人机随动跟踪操作人员进入作业地带。
S7、判断无人机是否有需要执行的任务，若是则进入步骤S8，否则进入步骤S11。
S8、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出任务执行指令，若是则进入步骤S9，否则重复步骤S8。
S9、执行任务。
S10、判断任务是否结束，若是则返回步骤S7，否则返回步骤S9。
S11、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出返航指令，若是则进入步骤S12，否则重复步骤S11。
S12、控制无人机返航，降落在起点位置。
如图5所示，本发明实施例中，步骤S2中采用yolov3网络对操作人员进行检测，具有检测精度高、对小目标检测敏感、实时性好和鲁棒性强的优点，其具体步骤为：
A1、将环境视频图像分成7*7个网格。
若检测到有人的中心落在某个网格中，则这个网格就负责预测这个目标。
A2、采用每个网格预测2个边框以及一个类别信息，并用每个边框预测自身的(x,y,w,h)和confidence五个值；其中(x,y)表示边框在图像上的二维坐标，w和h分别表示边框的宽度和高度，confidence值包括边框中含有目标的置信度和边框预测的准确度两重信息。
本发明实施例中，由于只需要预测是否有人，因此每个网格只有一个类别信息。则7*7个网格，每个网格要预测2个边框，还要预测1个类别，输出就是7*7*(5*2+1)＝539的一个张量。
A3、将每个网格预测的类别信息和边框预测的confidence信息相乘，得到每个边框的具体分类置信度。
A4、设置置信度阈值，将具体分类置信度小于置信度阈值的边框滤除，并对保留下来的边框进行非极大值抑制(NMS，Non Maximum Suppression)处理，得到最终的检测结果。
如图6所示，步骤S4、S8和S11中均采用Openpose网络对操作人员进行姿态识别，具体步骤为：
B1、将环境视频图像输入Openpose网络模型进行检测，得到人体关键点。
本发明实施例中，人体关键点包括人的右手腕关键点，右手肘关键点，右肩膀关键点，左手腕关键点，左手肘关键点，左肩膀关键点等。如图7所示，本发明实施例中姿态识别所要用到的关键点为4、3、2、5、6、7，其中4为右手腕关节点，3为右手肘关键点，2为右肩膀关键点，7为左手腕关键点，6为左手肘关键点，5为左肩膀关键点。
B2、根据人体关键点得到操作人员的姿势。
本发明实施例中，根据人体关键点构成肢体向量，然后计算肢体向量之间的夹角，从而得到操作人员的姿势。
B3、将操作人员的姿势与姿态动作模板进行匹配，判断操作人员是否发出随动跟踪、任务执行或返航等指令。
本发明实施例中，姿态动作模板包括随动跟踪动作模板、任务执行动作模板以及返航动作模板。
如图8所示，本发明实施例中，步骤B1中采用Openpose网络模型进行检测的具体步骤为：
C1、将环境视频图像输入VGG神经网络，经VGG神经网络的前十层得到特征度F。
C2、将Openpose网络分为两个分支，并采用其中第一分支预测置信度图S，即人体关节的关键点，采用其中第二分支预测部分亲和力场L，即像素点在肢体骨架中的走向。
C3、将特征度F作为输入，对两个分支进行第一阶段预测，得到第一阶段预测结果，预测公式为：
其中S1表示第一阶段预测的置信度图，L1表示第一阶段预测的部分亲和力场，ρ1(·)和φ1(·)均表示第一阶段预测采用的CNN网络模型。
C4、将特征度F和第t-1阶段预测的结果作为输入，对两个分支进行第t阶段预测，得到第t阶段预测结果，预测公式为：
其中St和St-1分别表示第t阶段和第t-1阶段预测的置信度图，Lt和Lt-1分别表示第t阶段和第t-1阶段预测的部分亲和力场，ρt(·)和φt(·)均表示第t阶段预测采用的CNN网络模型。
C5、当t＝6时，将第t阶段预测结果St和Lt作为Openpose网络的最终输出S和L，得到人体关键点。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (9)
1.一种基于姿态识别的无人机交互系统，其特征在于，包括无人机机体、视觉处理子系统、飞行控制子系统以及手持遥控器；所述视觉处理子系统和飞行控制子系统均搭建于无人机机体上，且相互之间通过UART接口通信连接，所述手持遥控器分别与视觉处理子系统以及飞行控制子系统通信连接；
所述视觉处理子系统用于获取无人机机体所在环境的视频图像，并对其进行处理，得到目标检测和姿态识别结果；
所述飞行控制子系统用于根据目标检测和姿态识别结果控制无人机机体执行相应的动作和任务；
所述手持遥控器设置有显示屏，用于实时显示视觉处理子系统获取到的视频图像，同时所述手持遥控器还用于控制无人机机体的起飞。
2.根据权利要求1所述的无人机交互系统，其特征在于，所述视觉处理子系统包括视频采集卡、运动相机、视频处理模块以及图传模块；
所述视频采集卡和运动相机搭载于无人机机体上，且相互通信连接，用于获取无人机机体所在环境的视频图像；
所述视频处理模块通过USB接口与视频采集卡连接，用于对视频图像进行处理，得到目标检测和姿态识别结果；
所述图传模块与运动相机通信连接，并与手持遥控器无线通信连接，用于将采集到的视频图像发送至手持遥控器进行实时显示。
3.根据权利要求2所述的无人机交互系统，其特征在于，所述视频处理模块采用JetsonTX1嵌入式开发板。
4.根据权利要求1所述的无人机交互系统，其特征在于，所述飞行控制子系统包括动力模块、电源管理模块、传感器模块、GPS定位模块、无线通信模块以及控制模块；
所述电源管理模块与飞行控制子系统中的其余模块电连接，用于为各个模块提供适配的电源；
所述控制模块与动力模块通信连接，并通过PWM控制技术对动力模块进行调制，为无人机机体提供飞行动力；
所述传感器模块与控制模块通信连接，并通过SPI/IIC数据传输标准将采集到的数据信息传输至控制模块；
所述GPS定位模块通过UART接口与控制模块通信连接，用于对无人机机体进行定位；
所述无线通信模块通过SPI接口与控制模块通信连接，并与手持遥控器无线通信连接，用于实现飞行控制子系统与手持遥控器的通信。
5.根据权利要求4所述的无人机交互系统，其特征在于，所述动力模块包括电子调速器和无刷电机；所述传感器模块包括陀螺仪、加速度计、气压计和电子罗盘，用于采集无人机机体的位姿、方向、加速度以及所处环境的气压信息；所述控制模块采用STM32F427微控制器，所述无线通信模块采用nRF24L01无线模块。
6.一种基于姿态识别的无人机交互系统的控制方法，其特征在于，包括以下步骤：
S1、通过手持遥控器控制无人机机体起飞，悬停于设定高度，并通过视觉处理子系统中的运动相机采集环境视频图像；
S2、根据环境视频图像判断是否检测到操作人员，若是则进入步骤S3，否则重复步骤S2，直到达到检测时间阈值，控制无人机机体自主降落；
S3、控制无人机机体向操作人员靠近，并悬停于指定位置；
S4、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出随动跟踪指令，若是则进入步骤S5，否则保持无人机机体的悬停状态，重复步骤S4；
S5、获取操作人员的起点位置并进行存储；
S6、控制无人机随动跟踪操作人员进入作业地带；
S7、判断无人机是否有需要执行的任务，若是则进入步骤S8，否则进入步骤S11；
S8、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出任务执行指令，若是则进入步骤S9，否则重复步骤S8；
S9、执行任务；
S10、判断任务是否结束，若是则返回步骤S7，否则返回步骤S9；
S11、对环境视频图像中的操作人员进行姿态识别，根据操作人员的姿势判断其是否发出返航指令，若是则进入步骤S12，否则重复步骤S11；
S12、控制无人机返航，降落在起点位置。
7.根据权利要求6所述的无人机交互系统的控制方法，其特征在于，所述步骤S2中采用yolov3网络对操作人员进行检测，具体步骤为：
A1、将环境视频图像分成7*7个网格；
A2、采用每个网格预测2个边框以及一个类别信息，并用每个边框预测自身的(x,y,w,h)和confidence五个值；其中(x,y)表示边框在图像上的二维坐标，w和h分别表示边框的宽度和高度，confidence值包括边框中含有目标的置信度和边框预测的准确度两重信息；
A3、将每个网格预测的类别信息和边框预测的confidence信息相乘，得到每个边框的具体分类置信度；
A4、设置置信度阈值，将具体分类置信度小于置信度阈值的边框滤除，并对保留下来的边框进行非极大值抑制处理，得到最终的检测结果。
8.根据权利要求6所述的无人机交互系统的控制方法，其特征在于，所述步骤S4、S8和S11中均采用Openpose网络对操作人员进行姿态识别，具体步骤为：
B1、将环境视频图像输入Openpose网络模型进行检测，得到人体关键点；
B2、根据人体关键点得到操作人员的姿势；
B3、将操作人员的姿势与姿态动作模板进行匹配，判断操作人员是否发出随动跟踪、任务执行或返航指令。
9.根据权利要求8所述的无人机交互系统的控制方法，其特征在于，所述步骤B1中采用Openpose网络模型进行检测的具体步骤为：
C1、将环境视频图像输入VGG神经网络，经VGG神经网络的前十层得到特征度F；
C2、将Openpose网络分为两个分支，并采用其中第一分支预测置信度图S，即人体关节的关键点，采用其中第二分支预测部分亲和力场L，即像素点在肢体骨架中的走向；
C3、将特征度F作为输入，对两个分支进行第一阶段预测，得到第一阶段预测结果，预测公式为：
其中S1表示第一阶段预测的置信度图，L1表示第一阶段预测的部分亲和力场，ρ1(·)和φ1(·)均表示第一阶段预测采用的CNN网络模型；
C4、将特征度F和第t-1阶段预测的结果作为输入，对两个分支进行第t阶段预测，得到第t阶段预测结果，预测公式为：
其中St和St-1分别表示第t阶段和第t-1阶段预测的置信度图，Lt和Lt-1分别表示第t阶段和第t-1阶段预测的部分亲和力场，ρt(·)和φt(·)均表示第t阶段预测采用的CNN网络模型；
C5、当t＝6时，将第t阶段预测结果St和Lt作为Openpose网络的最终输出S和L，得到人体关键点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278212.0A CN109270954A (zh) | 2018-10-30 | 2018-10-30 | 一种基于姿态识别的无人机交互系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278212.0A CN109270954A (zh) | 2018-10-30 | 2018-10-30 | 一种基于姿态识别的无人机交互系统及其控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109270954A true CN109270954A (zh) | 2019-01-25 |
Family
ID=65194691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811278212.0A Pending CN109270954A (zh) | 2018-10-30 | 2018-10-30 | 一种基于姿态识别的无人机交互系统及其控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109270954A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047108A (zh) * | 2019-03-07 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机位姿确定方法、装置、计算机设备及存储介质 |
| CN110502965A (zh) * | 2019-06-26 | 2019-11-26 | 哈尔滨工业大学 | 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 |
| CN110611877A (zh) * | 2019-04-24 | 2019-12-24 | 西南科技大学 | 一种基于无人机的暴力异常行为监测系统及方法 |
| CN110633791A (zh) * | 2019-09-26 | 2019-12-31 | 北航（四川）西部国际创新港科技有限公司 | 一种基于卷积神经网络的无人机异常行为识别方法 |
| CN110633608A (zh) * | 2019-03-21 | 2019-12-31 | 广州中科凯泽科技有限公司 | 一种姿态图像的人体肢体相似度评估方法 |
| CN111103891A (zh) * | 2019-12-30 | 2020-05-05 | 西安交通大学 | 一种基于骨骼点检测的无人机快速姿势控制系统与方法 |
| CN111144263A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
| CN111474953A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多动态视角协同的空中目标识别方法及系统 |
| CN114578858A (zh) * | 2022-03-16 | 2022-06-03 | 思翼科技（深圳）有限公司 | 一种无人机遥控器遥控系统 |
| WO2022269595A1 (en) * | 2021-06-21 | 2022-12-29 | Camhera Ltd | Unmanned autonomous vehicle camerabot |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100235034A1 (en) * | 2009-03-16 | 2010-09-16 | The Boeing Company | Method, Apparatus And Computer Program Product For Recognizing A Gesture |
| CN205139708U (zh) * | 2015-10-28 | 2016-04-06 | 上海顺砾智能科技有限公司 | 一种无人机的动作识别远程控制装置 |
| CN105676860A (zh) * | 2016-03-17 | 2016-06-15 | 歌尔声学股份有限公司 | 一种可穿戴设备、无人机控制装置和控制实现方法 |
| CN205507550U (zh) * | 2015-11-23 | 2016-08-24 | 杨珊珊 | 一种无人飞行器的飞行控制系统和飞行控制器 |
| CN105892474A (zh) * | 2016-03-31 | 2016-08-24 | 深圳奥比中光科技有限公司 | 无人机以及无人机控制方法 |
| CN106020227A (zh) * | 2016-08-12 | 2016-10-12 | 北京奇虎科技有限公司 | 无人机的控制方法、装置 |
| CN106227231A (zh) * | 2016-07-15 | 2016-12-14 | 深圳奥比中光科技有限公司 | 无人机的控制方法、体感交互装置以及无人机 |
| CN106444843A (zh) * | 2016-12-07 | 2017-02-22 | 北京奇虎科技有限公司 | 无人机相对方位控制方法及装置 |
| CN106527455A (zh) * | 2017-01-03 | 2017-03-22 | 北京博瑞空间科技发展有限公司 | 无人机降落控制方法及装置 |
| US20170235308A1 (en) * | 2016-02-11 | 2017-08-17 | International Business Machines Corporation | Control of an aerial drone using recognized gestures |
| CN107128492A (zh) * | 2017-05-05 | 2017-09-05 | 成都通甲优博科技有限责任公司 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
| CN107748860A (zh) * | 2017-09-01 | 2018-03-02 | 中国科学院深圳先进技术研究院 | 无人机的目标跟踪方法、装置、无人机及存储介质 |
| CN108711172A (zh) * | 2018-04-24 | 2018-10-26 | 中国海洋大学 | 基于细粒度分类的无人机识别与定位方法 |
-
2018
- 2018-10-30 CN CN201811278212.0A patent/CN109270954A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100235034A1 (en) * | 2009-03-16 | 2010-09-16 | The Boeing Company | Method, Apparatus And Computer Program Product For Recognizing A Gesture |
| CN205139708U (zh) * | 2015-10-28 | 2016-04-06 | 上海顺砾智能科技有限公司 | 一种无人机的动作识别远程控制装置 |
| CN205507550U (zh) * | 2015-11-23 | 2016-08-24 | 杨珊珊 | 一种无人飞行器的飞行控制系统和飞行控制器 |
| US20170235308A1 (en) * | 2016-02-11 | 2017-08-17 | International Business Machines Corporation | Control of an aerial drone using recognized gestures |
| CN105676860A (zh) * | 2016-03-17 | 2016-06-15 | 歌尔声学股份有限公司 | 一种可穿戴设备、无人机控制装置和控制实现方法 |
| CN105892474A (zh) * | 2016-03-31 | 2016-08-24 | 深圳奥比中光科技有限公司 | 无人机以及无人机控制方法 |
| CN106227231A (zh) * | 2016-07-15 | 2016-12-14 | 深圳奥比中光科技有限公司 | 无人机的控制方法、体感交互装置以及无人机 |
| CN106020227A (zh) * | 2016-08-12 | 2016-10-12 | 北京奇虎科技有限公司 | 无人机的控制方法、装置 |
| CN106444843A (zh) * | 2016-12-07 | 2017-02-22 | 北京奇虎科技有限公司 | 无人机相对方位控制方法及装置 |
| CN106527455A (zh) * | 2017-01-03 | 2017-03-22 | 北京博瑞空间科技发展有限公司 | 无人机降落控制方法及装置 |
| CN107128492A (zh) * | 2017-05-05 | 2017-09-05 | 成都通甲优博科技有限责任公司 | 一种基于人头检测的无人机跟踪方法、装置及无人机 |
| CN107748860A (zh) * | 2017-09-01 | 2018-03-02 | 中国科学院深圳先进技术研究院 | 无人机的目标跟踪方法、装置、无人机及存储介质 |
| CN108711172A (zh) * | 2018-04-24 | 2018-10-26 | 中国海洋大学 | 基于细粒度分类的无人机识别与定位方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHE CAO等: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110047108A (zh) * | 2019-03-07 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机位姿确定方法、装置、计算机设备及存储介质 |
| CN110633608A (zh) * | 2019-03-21 | 2019-12-31 | 广州中科凯泽科技有限公司 | 一种姿态图像的人体肢体相似度评估方法 |
| CN110611877A (zh) * | 2019-04-24 | 2019-12-24 | 西南科技大学 | 一种基于无人机的暴力异常行为监测系统及方法 |
| CN110502965B (zh) * | 2019-06-26 | 2022-05-17 | 哈尔滨工业大学 | 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 |
| CN110502965A (zh) * | 2019-06-26 | 2019-11-26 | 哈尔滨工业大学 | 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法 |
| CN110633791A (zh) * | 2019-09-26 | 2019-12-31 | 北航（四川）西部国际创新港科技有限公司 | 一种基于卷积神经网络的无人机异常行为识别方法 |
| CN111144263A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
| CN111144263B (zh) * | 2019-12-20 | 2023-10-13 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
| CN111103891B (zh) * | 2019-12-30 | 2021-03-16 | 西安交通大学 | 一种基于骨骼点检测的无人机快速姿势控制系统与方法 |
| CN111103891A (zh) * | 2019-12-30 | 2020-05-05 | 西安交通大学 | 一种基于骨骼点检测的无人机快速姿势控制系统与方法 |
| CN111474953A (zh) * | 2020-03-30 | 2020-07-31 | 清华大学 | 多动态视角协同的空中目标识别方法及系统 |
| WO2022269595A1 (en) * | 2021-06-21 | 2022-12-29 | Camhera Ltd | Unmanned autonomous vehicle camerabot |
| CN114578858A (zh) * | 2022-03-16 | 2022-06-03 | 思翼科技（深圳）有限公司 | 一种无人机遥控器遥控系统 |
| CN114578858B (zh) * | 2022-03-16 | 2022-09-20 | 思翼科技（深圳）有限公司 | 一种无人机遥控器遥控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109270954A (zh) | 一种基于姿态识别的无人机交互系统及其控制方法 | |
| US11067977B2 (en) | Wearable device, apparatus for controlling unmanned aerial vehicle and method for realizing controlling | |
| US20180186452A1 (en) | Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation | |
| Monajjemi et al. | UAV, come to me: End-to-end, multi-scale situated HRI with an uninstrumented human and a distant UAV | |
| Natarajan et al. | Hand gesture controlled drones: An open source library | |
| CN109571513B (zh) | 一种沉浸式移动抓取服务机器人系统 | |
| CN109044651B (zh) | 未知环境中基于自然手势指令的智能轮椅控制方法及系统 | |
| CN106598226A (zh) | 一种基于双目视觉和深度学习的无人机人机交互方法 | |
| CN107850902A (zh) | 可移动物体上的相机配置 | |
| CN102190081B (zh) | 基于视觉的飞艇定点鲁棒控制方法 | |
| CN104898524A (zh) | 基于手势的无人机遥控系统 | |
| CN103112007A (zh) | 基于混合传感器的人机交互方法 | |
| Ali et al. | Real-time hand gestures system for mobile robots control | |
| Monajjemi et al. | UAV, do you see me? Establishing mutual attention between an uninstrumented human and an outdoor UAV in flight | |
| MohaimenianPour et al. | Hands and faces, fast: Mono-camera user detection robust enough to directly control a uav in flight | |
| CN105159452A (zh) | 一种基于人脸姿态估计的控制方法与系统 | |
| Khajone et al. | Implementation of a wireless gesture controlled robotic arm | |
| Kassab et al. | Real-time human-UAV interaction: New dataset and two novel gesture-based interacting systems | |
| KR101657086B1 (ko) | 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템 | |
| Sato et al. | A simple autonomous flight control of multicopter using only web camera | |
| Rudol | Increasing autonomy of unmanned aircraft systems through the use of imaging sensors | |
| CN116476074A (zh) | 基于混合现实技术的远程机械臂操作系统及人机交互方法 | |
| Piponidis et al. | Towards a Fully Autonomous UAV Controller for Moving Platform Detection and Landing | |
| Choi et al. | Wearable gesture control of agile micro quadrotors | |
| CN205899385U (zh) | 一种可进行手势识别操作的四轴飞行器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190125 |