CN112099526A - 基于语音和手势识别的无人机控制系统及控制方法 - Google Patents

基于语音和手势识别的无人机控制系统及控制方法 Download PDF

Info

Publication number
CN112099526A
CN112099526A CN202010942938.0A CN202010942938A CN112099526A CN 112099526 A CN112099526 A CN 112099526A CN 202010942938 A CN202010942938 A CN 202010942938A CN 112099526 A CN112099526 A CN 112099526A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
voice
gesture
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010942938.0A
Other languages
English (en)
Inventor
赵丹培
陈剑奇
王亚东
马力
师浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010942938.0A priority Critical patent/CN112099526A/zh
Publication of CN112099526A publication Critical patent/CN112099526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于语音和手势识别的无人机控制系统及控制方法，手势采集模块用于采集手势图像；手势处理模块对手势图像进行手势分割、特征提取、并利用分类器进行手势识别，得到手势识别结果；语音采集模块用于采集语音信号；语音处理模块对接收的语音信号进行分析与识别，得到语音识别结果；无人机机载处理器基于接收的手势识别结果或语音识别结果进行分析，并根据指令库存储的各个指令对应的关键字，提取出具体指令；指令库用于预先存储各个指令对应的关键字；无人机飞控用于根据具体运动指令控制无人机；通讯模块用于将手势识别结果和语音识别发送至所述无人机机载处理器。实现了一种新型的无人机控制方式，简化传统了无人机手动控制的操作流程。

Description

基于语音和手势识别的无人机控制系统及控制方法
技术领域
本发明涉及智能控制技术领域，更具体的说是涉及无人机的控制技术。
背景技术
近年来，无人机迅速普及，让许多行业的工作空间立体化——航拍、测绘、执法、电力巡检、农林植保、地质勘探等在空中开展的工作，总少不了无人机的身影。一款操作便捷的无人机，在为操作人员带来极大便利的同时，也提升了工作质量。
国内外无人机的控制方式依然以遥控器控制为主。无人机的遥控器控制主要分为四个环节：操作人员拨转遥控器上的操作杆；遥控器遥控指令发送给无人机上的信号接收器；信号接收器将接收到的信号传递给飞控板；飞控板对信号进行分析，通过控制桨叶电机的转速，实现对无人机飞行姿态的控制。
此外，目前常见的无人机遥控器也分为多种，有“中国手”、“美国手”、“日本手”等类型，它们的主要区别在于控制通道的排列方式不同。在使用遥控器对无人机飞行姿态进行控制时，需要对方向舵、升降舵、油门、副翼等多个部分进行同时协调，这就需要操控手具备一定的无人机操控经验。因此，主流的遥控器控制方式主要具有两个缺点：操作复杂和控制精度低。无人机遥控器制式并不统一，在同一时间内，操作人员需要对多个按键同时进行协调，这对于缺乏经验的操作人员是十分不友好的，很难同时将多个因素同时把控到位，导致无人机坠毁风险升高，造成安全隐患，还有可能引起经济纠纷。此外，现有的遥控器都是通过人为拨动操作杆进行控制，具体无人机运动距离、高度完全取决于操控手拨动操控杆的幅度，由于主观判断因素的影响，无法保证无人机运动控制的精度，进而使得无人机在高精度领域应用非常少，不利于无人机技术应用层面的拓展。
因此，如何提供一种控制方式简单且精度高的无人机控制系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于语音和手势识别的无人机控制系统及控制方法，拓宽了无人机的适用人群，简化了无人机的控制，丰富了无人机的功能，开拓了无人机在高精度领域的应用。
为了实现上述目的，本发明采用如下技术方案：
基于语音和手势识别的无人机控制系统，包括：手势采集模块、手势处理模块、语音采集模块、语音处理模块、无人机机载处理器、指令库和无人机飞控；
所述手势采集模块用于采集手势图像；
所述手势处理模块对接收的所述手势图像进行手势分割、特征提取、并利用分类器进行手势识别，得到手势识别结果；
所述语音采集模块用于采集语音信号；
所述语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；
所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行分析，并根据所述指令库存储的各个指令对应的关键字，提取出具体运动指令；
所述指令库用于预先存储各个指令对应的关键字；
所述无人机飞控用于根据所述具体运动指令控制无人机。
进一步，所述手势采集模块包括地面控制端摄像头。
进一步，所述语音采集模块包括地面端录音设备。
进一步，还包括通讯模块，所述通讯模块采用ROS话题通信机制，用于将所述手势识别结果和所述语音识别发送至所述无人机机载处理器。
进一步，还包括无人机机载摄像头，所述无人机机载摄像头与所述无人机机载处理器连接。
基于语音和手势识别的无人机控制方法，包括以下步骤：
步骤1：手势采集模块和语音采集模块分别对应采集手势图像和语音信号；
步骤2：手势处理模块根据肤色检测算法和大津阈值法对接收的所述手势图像进行手势分割、根据椭圆傅里叶描述子提取特征、并利用K近邻算法进行手势识别，得到手势识别结果；
语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；
步骤3：所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行字符串搜索，提取出具体运动指令，并将所述具体指令通过 MAVLink协议发送至无人机飞控，从而实现无人机控制。
进一步，所述手势采集模块包括地面控制端摄像头。
进一步，所述语音采集模块包括地面控制端录音设备。
进一步，还包括通讯模块，所述通讯模块采用ROS话题通信机制，将所述手势识别结果和所述语音识别发送至所述无人机机载处理器。
进一步，还包括无人机机载摄像头，所述无人机机载摄像头与所述无人机机载处理器连接，当所述无人机机载处理器提取出的指令为图像处理指令时，控制所述无人机机载摄像头打开，并对接收到的图像进行处理，返回处理结果。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于语音和手势识别的无人机控制系统及控制方法，在操控者做出手势或发出语音后，经由地面控制端处理器(手势处理模块和语音处理模块)进行识别，将识别结果通过ROS通讯机制发送给机载处理器，在经过指令提取后，交由机载处理器和飞控进行最终实现，操控者只需做出手势或发出语音，后续的实现环节全权交由处理器来处理，实现了指令发布与指令实现的切割：指令发布由人来决定发布什么指令，指令实现则交由计算机，解决了指令实现过程中的人为不确定因素，从而可以实现无人机的高精度控制，也推动了无人机在高精度领域的应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于语音和手势识别的无人机控制系统连接原理图。
图2为本发明提供的基于语音和手势识别的无人机控制方法流程图。
图3为本发明提供的近距离手势控制效果图。
图4为本发明提供的远距离手势控制效果图。
图5为本发明提供的远距离语音控制效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于语音和手势识别的无人机控制系统，利用手势、语音识别技术，将手势、语音转化为指令信号，再通过搭建通讯模块，将信号传输给无人机端，进而实现了一种新型的无人机控制方式。以手势、语音替代遥控器，简化了无人机的控制，推动无人机控制的大众化；而手势、语音指令所具备的多样、具体的特性，也能够开拓无人机更多的功能、使无人机的飞行运动精度更高。
如图1所示，包括：手势采集模块、手势处理模块、语音采集模块、语音处理模块、无人机机载处理器、指令库和无人机飞控。
具体的，(1)手势采集模块包括地面控制端摄像头或无人机机载摄像头，从地面控制端摄像头或是无人机机载摄像头获得手势图像，手势处理模块对手势图像进行手势分割、提取特征，并训练分类器进行手势识别。
对手势图像，首先进行手势区域分割，避免背景对结果识别的影响，具体采用肤色检测方法，基本原理是通过YCrCb颜色空间的Cr分量来划分出人的手部区域，再使用大津阈值法进行分割，排除图像中的无关背景。
由于手势图像的关键信息是不同手势的轮廓，手势的轮廓边界是闭合曲线，因此沿边界曲线移动点的坐标变化是一个周期性函数，在规范化后可以扩展到傅立叶序列中，因此，使用椭圆傅里叶描述子来描述手势图像的特征，能较好保留目标形状轮廓信息。
得到手势图像的特征后，利用K近邻算法即可实现分类，得到手势识别结果。
(2)语音采集模块包括地面控制端录音设备，从地面控制端录音设备获得语音信号，语音处理模块利用已有的语音识别技术进行语音信号的分析与识别；
对地面控制端录音设备收集到的语音信号，本系统直接调用了较为成熟的语音识别API接口进行信号分析与识别，最终得到手势识别结果。
(3)手势识别结果、语音识别结果传递给无人机机载处理器；
本系统选用了ROS(机器人操作系统)话题通讯机制来实现识别结果的传递。ROS话题通信机制包含并定义了两种不同类型的节点：发布者Talker，订阅者Listener。通讯过程中，数据信息由发布者发出，而订阅者可以选择接受获取这些数据。两个节点通过RPC通信协议进行连接确认，最后采用TCP 协议进行数据的相互传输。
本系统在地面控制端先建立发布者节点，将识别到的语音或者手势识别结果实时发送，之后在无人机端建立订阅者节点，利用局域网，与地面控制端节点进行通讯连接，这样就能实时接收地面控制端发出的识别结果。
(4)识别结果的指令提取，以及具体无人机运动与功能的控制；
无人机机载处理器在接收到地面控制端的识别结果后，需要先对识别结果进行分析，从而提取出具体指令。
本系统采用的是字符串搜索、匹配的方法：先建立指令库，即提前设定好各个指令对应的关键字；之后，对识别结果进行字符串搜索，检测是否存在某条指令的关键字；若存在某条指令的关键字，再继续搜索是否存在与该指令相关的具体有求；最终提取出具体的指令。例如，语音信号的识别结果为“……上升15厘米……”，本系统的指令库中存放有“上升”这个指令，那在第一次字符串搜索与匹配中就能提取出“上升”指令，考虑到指令中可能会存在具体运动的尺度信息，因此本系统将开启第二次搜索，将数字、单位这些具体信息检测提取出来，最终得到“上升15cm”这一最终指令。
无人机具体运动与功能的控制与提取到的具体指令相互绑定。当提取到的是类似于“上升15cm”这样的具体运动指令后，将会通过MAVLink协议，将指令传达给无人机飞控，从而实现该具体指令；若仅为“上升”这类粗略的指令，则将按默认值进行控制。
此外，本系统不仅可以实现无人机运动方面的控制，还可以实现功能指令控制，若提取到的语音指令或手势指令为“开启目标识别”、“开启人脸识别”等有关图像功能的指令时，此时指令不传递给飞控，而是直接通过机载处理器进行处理，例如控制无人机机载摄像头打开，并对摄像图像进行处理，得到预期结果。通过上述步骤，最终完成了无人机的飞行运动与功能控制。
控制系统可以大大推动无人机功能创新，如技术方案中所述，本控制系统的指令与具体控制是绑定在一起的，因此，若想开发无人机的其他功能，使用者可以自由发挥，通过在指令库中加入新的指令关键字，再与具体飞控或图像功能进行绑定，即可十分简便的添加新的指令，体现了本系统的指令设计多元化。
如图2所示，一种基于语音和手势识别的无人机控制方法，包括：
步骤1：手势采集模块和语音采集模块分别对应采集手势图像和语音信号；
步骤2：手势处理模块根据肤色检测算法和大津阈值法对接收的所述手势图像进行手势分割、根据椭圆傅里叶描述子提取特征、并利用K近邻算法进行手势识别，得到手势识别结果；
语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；
步骤3：所述无人机机载处理器基于接收的所述手势识别结果和/或所述语音识别结果进行字符串搜索，第一次搜索判断是否存在某条指令的关键字，若存在再继续搜索是否存在与该指令相关的具体有求，进而提取出具体运动指令，并将所述具体运动指令通过MAVLink协议发送至无人机飞控，从而实现无人机控制。
本发明具有以下优点：
1)利用成熟的手势和语音识别技术，通过ROS通讯机制进行指令的传输，将指令的实现最终都交由机载处理器和无人机飞控实现，开创了无人机控制的新方式。
2)操控简单、通过语音、手势等简单而直白的信号即可轻松地精准控制无人机。
3)利用指令实现无人机控制的全程，剔除了人为因素，无人机控制精度高。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.基于语音和手势识别的无人机控制系统，其特征在于，包括：手势采集模块、手势处理模块、语音采集模块、语音处理模块、无人机机载处理器、指令库和无人机飞控；
所述手势采集模块用于采集手势图像；
所述手势处理模块对接收的所述手势图像进行手势分割、特征提取、并利用分类器进行手势识别，得到手势识别结果；
所述语音采集模块用于采集语音信号；
所述语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；
所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行分析，并根据所述指令库存储的各个指令对应的关键字，提取出具体运动指令；
所述指令库用于预先存储各个指令对应的关键字；
所述无人机飞控用于根据所述具体运动指令控制无人机。
2.根据权利要求1所述的基于语音和手势识别的无人机控制系统，其特征在于，所述手势采集模块包括地面控制端的摄像头。
3.根据权利要求2所述的基于语音和手势识别的无人机控制系统，其特征在于，所述语音采集模块包括地面控制端录音设备。
4.根据权利要求1～3任意一项所述的基于语音和手势识别的无人机控制系统，其特征在于，还包括通讯模块，所述通讯模块采用ROS话题通信机制，用于将所述手势识别结果和所述语音识别发送至所述无人机机载处理器。
5.根据权利要求1～3任意一项所述的基于语音和手势识别的无人机控制系统，其特征在于，还包括无人机机载摄像头，所述无人机机载摄像头与所述无人机机载处理器连接。
6.基于语音和手势识别的无人机控制方法，其特征在于，包括以下步骤：
步骤1：手势采集模块和语音采集模块分别对应采集手势图像和语音信号；
步骤2：手势处理模块根据肤色检测算法和大津阈值法对接收的所述手势图像进行手势分割、根据椭圆傅里叶描述子提取特征、并利用K近邻算法进行手势识别，得到手势识别结果；
语音处理模块对接收的所述语音信号进行分析与识别，得到语音识别结果；
步骤3：所述无人机机载处理器基于接收的所述手势识别结果或所述语音识别结果进行字符串搜索，提取出具体运动指令，并将所述具体运动指令通过MAVLink协议发送至无人机飞控，从而实现无人机控制。
7.根据权利要求6所述的基于语音和手势识别的无人机控制方法，其特征在于，所述手势采集模块包括地面控制端摄像头。
8.根据权利要求7所述的基于语音和手势识别的无人机控制方法，其特征在于，所述语音采集模块包括地面端录音设备。
9.根据权利要求6～8任意一项所述的基于语音和手势识别的无人机控制方法，其特征在于，还包括通讯模块，所述通讯模块采用ROS话题通信机制，将所述手势识别结果和所述语音识别发送至所述无人机机载处理器。
10.根据权利要求9所述的基于语音和手势识别的无人机控制方法，其特征在于，还包括无人机机载摄像头，所述无人机机载摄像头与所述无人机机载处理器连接，当所述无人机机载处理器提取出的指令为图像处理指令时，控制所述无人机机载摄像头打开，并对接收到的图像进行处理，返回处理结果。
CN202010942938.0A 2020-09-09 2020-09-09 基于语音和手势识别的无人机控制系统及控制方法 Pending CN112099526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010942938.0A CN112099526A (zh) 2020-09-09 2020-09-09 基于语音和手势识别的无人机控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010942938.0A CN112099526A (zh) 2020-09-09 2020-09-09 基于语音和手势识别的无人机控制系统及控制方法

Publications (1)

Publication Number Publication Date
CN112099526A true CN112099526A (zh) 2020-12-18

Family

ID=73751216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010942938.0A Pending CN112099526A (zh) 2020-09-09 2020-09-09 基于语音和手势识别的无人机控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN112099526A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310903A (zh) * 2022-01-19 2022-04-12 梅蓉 一种基于双边遥操作的机械手控制方法及系统
CN114944014A (zh) * 2022-05-30 2022-08-26 国网江苏省电力有限公司徐州供电分公司 一种基于3d姿态的端到端手势识别设备
CN116215842A (zh) * 2023-03-10 2023-06-06 重庆信易源智能科技有限公司 一种基于空中平台的智能人机交互系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150365159A1 (en) * 2014-06-17 2015-12-17 Northrop Grumman Systems Corporation Unmanned air vehicle with autonomous air traffic control communications capability
CN106094864A (zh) * 2016-06-30 2016-11-09 成都西可科技有限公司 一种飞行器手环及其交互方法
CN106529432A (zh) * 2016-11-01 2017-03-22 山东大学 一种深度融合显著性检测与先验知识的手部区域分割方法
CN107783553A (zh) * 2016-08-26 2018-03-09 北京臻迪机器人有限公司 控制无人机的方法、装置及系统
CN108257145A (zh) * 2017-12-13 2018-07-06 北京华航无线电测量研究所 一种基于ar技术的无人机智能侦察处理系统及方法
US20190392833A1 (en) * 2019-08-07 2019-12-26 Lg Electronics Inc. A method for associating an ai device with a device based on a behavior pattern of a user and an apparatus therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150365159A1 (en) * 2014-06-17 2015-12-17 Northrop Grumman Systems Corporation Unmanned air vehicle with autonomous air traffic control communications capability
CN106094864A (zh) * 2016-06-30 2016-11-09 成都西可科技有限公司 一种飞行器手环及其交互方法
CN107783553A (zh) * 2016-08-26 2018-03-09 北京臻迪机器人有限公司 控制无人机的方法、装置及系统
CN106529432A (zh) * 2016-11-01 2017-03-22 山东大学 一种深度融合显著性检测与先验知识的手部区域分割方法
CN108257145A (zh) * 2017-12-13 2018-07-06 北京华航无线电测量研究所 一种基于ar技术的无人机智能侦察处理系统及方法
US20190392833A1 (en) * 2019-08-07 2019-12-26 Lg Electronics Inc. A method for associating an ai device with a device based on a behavior pattern of a user and an apparatus therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薛俊韬等: "基于改进的YCbCr空间及多特征融合的手势识别", 《计算机应用与软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114310903A (zh) * 2022-01-19 2022-04-12 梅蓉 一种基于双边遥操作的机械手控制方法及系统
CN114944014A (zh) * 2022-05-30 2022-08-26 国网江苏省电力有限公司徐州供电分公司 一种基于3d姿态的端到端手势识别设备
CN114944014B (zh) * 2022-05-30 2024-04-30 国网江苏省电力有限公司徐州供电分公司 一种基于3d姿态的端到端手势识别设备
CN116215842A (zh) * 2023-03-10 2023-06-06 重庆信易源智能科技有限公司 一种基于空中平台的智能人机交互系统

Similar Documents

Publication Publication Date Title
CN112099526A (zh) 基于语音和手势识别的无人机控制系统及控制方法
CN101989326A (zh) 人体姿态识别方法和装置
CN107423398B (zh) 交互方法、装置、存储介质和计算机设备
CN100567898C (zh) 无人直升机着陆引导方法及其装置
CN105787471A (zh) 一种应用于助老助残移动服务机器人控制的手势识别方法
CN110458494A (zh) 一种无人机物流送货方法及系统
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
US20230041943A1 (en) Method for automatically producing map data, and related apparatus
CN110110580B (zh) 一种面向Wi-Fi信号的手语孤立词识别网络构建及分类方法
US10971152B2 (en) Imaging control method and apparatus, control device, and imaging device
CN113189989B (zh) 车辆意图预测方法、装置、设备及存储介质
CN110390356A (zh) 视觉词典生成方法及装置、存储介质
CN110568437A (zh) 一种基于雷达辅助的精确环境建模方法
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
KR102572995B1 (ko) 폴리곤 간소화 방법 및 이를 수행하는 장치
CN113449566A (zh) 人在回路的“低慢小”目标智能图像跟踪方法及系统
CN112926454B (zh) 一种动态手势识别方法
CN112699776B (zh) 训练样本优化方法、目标检测模型生成方法、设备及介质
KR20220166784A (ko) 자율주행에 기반한 승차 방법, 장치, 설비 및 저장매체
Chai et al. 3D gesture recognition method based on faster R-CNN network
CN113569849A (zh) 基于计算机视觉的汽车充电桩界面检测智能交互系统
WO2021167734A1 (en) Extended reality gesture recognition in proximity to a tracked object
US20240142995A1 (en) Information processing method, information processing apparatus, and information processing system, and program
CN112669843A (zh) 智能语音输入设备、智能语音输入系统及其控制方法
CN110032195A (zh) 一种车辆自动驾驶系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201218