CN113205798A - 一种无人机集群控制方法及系统 - Google Patents

一种无人机集群控制方法及系统 Download PDF

Info

Publication number
CN113205798A
CN113205798A CN202110505316.6A CN202110505316A CN113205798A CN 113205798 A CN113205798 A CN 113205798A CN 202110505316 A CN202110505316 A CN 202110505316A CN 113205798 A CN113205798 A CN 113205798A
Authority
CN
China
Prior art keywords
unmanned aerial
voice
aerial vehicle
voice signal
output result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110505316.6A
Other languages
English (en)
Inventor
董希旺
魏嘉宏
周思全
任章
李清东
吕金虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110505316.6A priority Critical patent/CN113205798A/zh
Publication of CN113205798A publication Critical patent/CN113205798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/08—Trunked mobile radio systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种无人机集群控制方法和系统。该无人机集群控制方法在对获取的语音信号进行预处理得到预处理后的语音信号后，采用ASRT模型，根据预处理后的语音信号得到输出结果，然后，根据输出结果确定语音指令，最后采用语音指令对无人机集群进行控制，以在时间延迟和切换拓扑同时存在的情况下将人类智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。

Description

一种无人机集群控制方法及系统
技术领域
本发明涉及人与无人机集群智能协同控制领域，特别是涉及一种基于语音人机交互的无人机集群控制方法及系统。
背景技术
无人机集群相对单机作战，有无可取代的优势。由于反无人机系统和技术近些年来飞速的发展，对“低小慢”无人机的杀伤和拦截效果很好，杀伤概率提升非常快。面对反无人机系统，单机作战的无人机一旦被捕获，不仅会造成装备损失，也会对战术侦察任务造成巨大影响。而集群式无人机则不同，它构成一个任务编队，即便一架、两架无人机被防空系统或反无人机系统击落，集群内其它无人机也能成功执行侦察任务。而且与单兵侦察无人机相比，集群无人机具有编队侦察的优势，可以对更广阔的区域进行编队搜索，探测能力强于单架无人机；此外集群无人机还可以对某一区域进行反复多次地毯式搜索，避免单次搜索造成的侦察遗漏或错漏，进一步提高侦察成功率；而且，对于运动中的作战平台目标，单兵无人机往往难于跟踪监视，而对于集群无人机而言，对移动目标进行接力侦察跟踪是非常轻松的事；此外，多架无人机侦察同一个目标，可以从不同角度对同一目标有不同的观察，对目标的观察更为立体和细致，侦察效果更好，细节更为突出。
然而，与单兵无人机相比，“集群人机系统”在技术上难度更大，需要解决任务协同、智能编队等技术瓶颈，用更合理高效的方式完成无人机的自组队和对同一目标的协同探测，在人机交互方面也提出了更高要求。
目前，随着新兴人机交互技术的兴起，世界对各类基于语音、视觉、手势、复合体感的人机交互方式的研究都有了较大进展，而将各种交互方式用于无人机集群控制的研究则相对缺乏。
目前，语音人机交互技术已较为成熟，但在机器人集群控制方面研究并不多。现有的识别语音的方法有：基于动态时间规整的DTW算法、基于参数模型的隐马尔可夫模型HMM方法与基于卷积神经网络CNN与连续性时序分类方法CTC的ASRT语音识别模型。但是现有的这些语音识别模型在时间延迟和切换拓扑同时存在的情况下，并不能有效将人类智能引入机器人集群协同控制系统，其存在集群系统对模糊与不确定性场景的适应性低的问题。
发明内容
基于此，本发明提供了一种基于语音人机交互的无人机集群控制方法及系统，以在时间延迟和切换拓扑同时存在的情况下将人类智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。
为实现上述目的，本发明提供了如下方案：
一种无人机集群控制方法，包括：
获取语音信号；
对所述语音信号进行预处理得到预处理后的语音信号；
采用ASRT模型，根据所述预处理后的语音信号得到输出结果；
根据所述输出结果确定语音指令；
采用所述语音指令对所述无人机集群进行控制。
优选地，所述对所述语音信号进行预处理得到预处理后的语音信号，具体包括：
对所述语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号；所述处理后的语音信号即为预处理后的语音信号。
优选地，所述采用ASRT模型，根据所述预处理后的语音信号得到输出结果，具体包括：
对所述预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号；
利用语音数据库对VGG卷积神经网络进行训练得到收敛模型；
采用所述收敛模型根据所述二维频谱图像信号得到输出结果。
优选地，所述根据所述输出结果确定语音指令，具体包括：
对所述输出结果使用CTC解码实现连续符号的合并，得到符号序列；
确定所述符号序列中概率最大的输出序列；所述概率最大的输出序列即为所述语音指令。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的无人机集群控制方法，在对获取的语音信号进行预处理得到预处理后的语音信号后，采用ASRT模型，根据预处理后的语音信号得到输出结果，然后，根据输出结果确定语音指令，最后采用语音指令对无人机集群进行控制，以在时间延迟和切换拓扑同时存在的情况下将人类智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。
对应于上述提供的无人机集群控制方法，本发明还提供了以下系统结构：
一种无人机集群控制系统，包括：
语音信号获取模块，用于获取语音信号；
预处理模块，用于对所述语音信号进行预处理得到预处理后的语音信号；
输出结果确定模块，用于采用ASRT模型，根据所述预处理后的语音信号得到输出结果；
语音指令确定模块，用于根据所述输出结果确定语音指令；
控制模块，用于采用所述语音指令对所述无人机集群进行控制。
优选地，所述预处理模块具体包括：
预处理单元，用于对所述语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号；所述处理后的语音信号即为预处理后的语音信号。
优选地，所述输出结果确定模块具体包括：
频谱图像单元，用于对所述预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号；
收敛模型确定单元，用于利用语音数据库对VGG卷积神经网络进行训练得到收敛模型；
输出结果确定单元，用于采用所述收敛模型根据所述二维频谱图像信号得到输出结果。
优选地，所述语音指令确定模块具体包括：
符号序列确定单元，用于对所述输出结果使用CTC解码实现连续符号的合并，得到符号序列；
语音指令确定确定单元，用于确定所述符号序列中概率最大的输出序列；所述概率最大的输出序列即为所述语音指令。
因本发明提供的无人机集群控制系统达到的技术效果与本发明提供的无人机集群控制方法达到的技术效果相同，故在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的无人机集群控制方法的流程图；
图2为本发明提供的基于PyQt5与ROS的人与无人机集群平台UI界面；
图3为本发明实施例提供的二维频谱图像示例图；
图4为本发明实施例提供的语音识别功能流程图；
图5为本发明提供的无人机集群控制系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于语音人机交互的无人机集群控制方法及系统，以在时间延迟和切换拓扑同时存在的情况下将人类智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供的无人机集群控制方法，包括：
步骤100：获取语音信号。
步骤101：对语音信号进行预处理得到预处理后的语音信号。具体的，对语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号。处理后的语音信号即为预处理后的语音信号。分帧指将非平稳语音信号分为若干帧得到稳定信号进行处理。预加重指利用高通滤波器的方法加重语音信号中有用的高频信号。端点检测指通过双门限法识别输入语音的起始点与终止点。
步骤102：采用ASRT模型，根据预处理后的语音信号得到输出结果。
步骤103：根据输出结果确定语音指令。
步骤104：采用语音指令对无人机集群进行控制。
为了提高对语音信号的处理精度，上述步骤102具体包括：
对预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号。具体的，将wav格式的语音信号进行分帧加窗等操作后进行特征提取，转换为二维频谱图像信号，即语谱图。
利用语音数据库对VGG卷积神经网络进行训练得到收敛模型。即使用VGG卷积神经网络作为项目的框架对频谱图像进行训练。
采用收敛模型根据二维频谱图像信号得到输出结果。
考虑到声音模型输出包含大量连续重复的符号，所以本发明上述步骤103具体包括：
对输出结果使用CTC解码实现连续符号的合并，得到符号序列。
确定符号序列中概率最大的输出序列。概率最大的输出序列即为语音指令。
下面以将本发明提供的上述无人机集群控制方法植入到便携式平板电脑中为例，对本发明提供的上述控制方法的优点进行说明。在具体应用过程中，本发明提供的无人机集群控制方法还可以植入到其他处理器中。
采用便携式平板电脑对无人机集群进行控制的过程为：
通过便携式平板电脑采集操作者的声音信号，经预处理之后，经由ASRT模型识别处理之后得到拼音输出结果。将输出结果进行判断即可得到语音指令。最后将经语音识别后得到的指令通过ROS网络发送至无人机集群，ROS网络通信方式为利用话题对无人机集群发送指令，无人机集群响应指令并做出该指令所对应的行为。待无人机集群执行相应行为完毕后，返回完成响应至控制者。其中，主要是基于如图2所示的PyQt5与ROS的人与无人机集群平台UI界面进行相关操作。
具体的，A、便携式平板电脑通过将采集的语音信号划分为若干帧，得到相对稳定的语音信号。接着将语音信号通过一个一阶高通滤波器，加重含有有用信息的高频信号分量。通过双门限法进行端点检测，得到输入语音的起始点与终止点。
B、将经预处理后的语音信息交由语音识别模型进行识别处理，具体操作流程如图4所示：
步骤201：对经预处理后的语音信号进行分帧加窗等操作进行特征提取，转换为二维频谱图像信号，频谱图像示例如图3所示。
步骤202：利用语音数据库，提前使用VGG卷积神经网络作为项目框架进行训练，将频谱信号输入至得到的收敛模型，得到输出结果。
步骤203：对输出结果，考虑道声音模型输出包含大量连续重复的负好，使用CTC解码实现对连续符号的合并，寻找得到输入符号序列中概率最大的输出序列，最终得到语音指令。
C、将经语音识别后得到的指令通过ROS网络发送至无人机集群，ROS网络通信方式为利用话题对无人机集群发送指令，无人机集群响应指令并做出该指令所对应的行为。待无人机集群执行相应行为完毕后，返回完成响应至控制者。该过程具体包括：
将步骤B的识别结果输出结果与无人机集群的行为集进行匹配，并将指令发送至无人机集群，从而实现通过语音识别对无人机集群进行控制，实现一种基于语音人机交互的无人机集群控制系统。
语音指令与无人机群系统控制命令对应关系为：“起飞”对应无人机集群起飞的笔画指令、“降落”对应无人机集群从空中降落至地面的指令、“向左”对应无人机集群相对当前位置在同一平面内向左平移、“向右”对应无人机集群相对当前位置在同一平面内向右平移、“前进”无人机集群相对当前位置在同一平面内向前平移、“长方形”对应无人机集群(本发明中为四架无人机组成的集群系统)形成长方形的阵型、“后退”对应无人机集群相对当前位置在同一平面内向后平移、“一字型”对应无人机集群在同一水平面内形成一直线、“三角形”对应无人机集群在同一水平面内形成一三角形。
待无人机集群完成编队运动后，将已完成信息发送至操作者，从而实现用户通过笔画交互对无人机集群进行控制。
对应于上述提供的无人机集群控制方法，本发明还提供了一种无人机集群控制系统，如图5所示，该无人机集群控制系统包括：语音信号获取模块1、预处理模块2、输出结果确定模块3、语音指令确定模块4和控制模块5。
其中，语音信号获取模块1用于获取语音信号。
预处理模块2用于对语音信号进行预处理得到预处理后的语音信号。
输出结果确定模块3用于采用ASRT模型，根据预处理后的语音信号得到输出结果。
语音指令确定模块4用于根据输出结果确定语音指令。
控制模块5用于采用语音指令对无人机集群进行控制。
作为本发明的一个优选实施例，上述提供的预处理模块2具体包括：预处理单元。该预处理单元用于对语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号。处理后的语音信号即为预处理后的语音信号。
作为本发明的另一个优选实施例，上述提供的输出结果确定模块3具体包括：频谱图像单元、收敛模型确定单元和输出结果确定单元。
其中，频谱图像单元用于对预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号。
收敛模型确定单元用于利用语音数据库对VGG卷积神经网络进行训练得到收敛模型。
输出结果确定单元用于采用收敛模型根据二维频谱图像信号得到输出结果。
作为本发明的又一个优选实施例，上述提供的语音指令确定模块4具体包括：符号序列确定单元和语音指令确定确定单元。
其中，符号序列确定单元用于对输出结果使用CTC解码实现连续符号的合并，得到符号序列。
语音指令确定确定单元用于确定符号序列中概率最大的输出序列。概率最大的输出序列即为语音指令。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种无人机集群控制方法，其特征在于，包括：
获取语音信号；
对所述语音信号进行预处理得到预处理后的语音信号；
采用ASRT模型，根据所述预处理后的语音信号得到输出结果；
根据所述输出结果确定语音指令；
采用所述语音指令对所述无人机集群进行控制。
2.根据权利要求1所述的无人机集群控制方法，其特征在于，所述对所述语音信号进行预处理得到预处理后的语音信号，具体包括：
对所述语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号；所述处理后的语音信号即为预处理后的语音信号。
3.根据权利要求1所述的无人机集群控制方法，其特征在于，所述采用ASRT模型，根据所述预处理后的语音信号得到输出结果，具体包括：
对所述预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号；
利用语音数据库对VGG卷积神经网络进行训练得到收敛模型；
采用所述收敛模型根据所述二维频谱图像信号得到输出结果。
4.根据权利要求1所述的无人机集群控制方法，其特征在于，所述根据所述输出结果确定语音指令，具体包括：
对所述输出结果使用CTC解码实现连续符号的合并，得到符号序列；
确定所述符号序列中概率最大的输出序列；所述概率最大的输出序列即为所述语音指令。
5.一种无人机集群控制系统，其特征在于，包括：
语音信号获取模块，用于获取语音信号；
预处理模块，用于对所述语音信号进行预处理得到预处理后的语音信号；
输出结果确定模块，用于采用ASRT模型，根据所述预处理后的语音信号得到输出结果；
语音指令确定模块，用于根据所述输出结果确定语音指令；
控制模块，用于采用所述语音指令对所述无人机集群进行控制。
6.根据权利要求5所述的无人机集群控制系统，其特征在于，所述预处理模块具体包括：
预处理单元，用于对所述语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号；所述处理后的语音信号即为预处理后的语音信号。
7.根据权利要求5所述的无人机集群控制系统，其特征在于，所述输出结果确定模块具体包括：
频谱图像单元，用于对所述预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号；
收敛模型确定单元，用于利用语音数据库对VGG卷积神经网络进行训练得到收敛模型；
输出结果确定单元，用于采用所述收敛模型根据所述二维频谱图像信号得到输出结果。
8.根据权利要求5所述的无人机集群控制系统，其特征在于，所述语音指令确定模块具体包括：
符号序列确定单元，用于对所述输出结果使用CTC解码实现连续符号的合并，得到符号序列；
语音指令确定确定单元，用于确定所述符号序列中概率最大的输出序列；所述概率最大的输出序列即为所述语音指令。
CN202110505316.6A 2021-05-10 2021-05-10 一种无人机集群控制方法及系统 Pending CN113205798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110505316.6A CN113205798A (zh) 2021-05-10 2021-05-10 一种无人机集群控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110505316.6A CN113205798A (zh) 2021-05-10 2021-05-10 一种无人机集群控制方法及系统

Publications (1)

Publication Number Publication Date
CN113205798A true CN113205798A (zh) 2021-08-03

Family

ID=77030601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110505316.6A Pending CN113205798A (zh) 2021-05-10 2021-05-10 一种无人机集群控制方法及系统

Country Status (1)

Country Link
CN (1) CN113205798A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190348062A1 (en) * 2018-05-08 2019-11-14 Gyrfalcon Technology Inc. System and method for encoding data using time shift in an audio/image recognition integrated circuit solution
CN110827801A (zh) * 2020-01-09 2020-02-21 成都无糖信息技术有限公司 一种基于人工智能的自动语音识别方法及系统
CN111246026A (zh) * 2020-03-11 2020-06-05 兰州飞天网景信息产业有限公司 一种基于卷积神经网络和连接性时序分类的录音处理方法
CN111554286A (zh) * 2020-04-26 2020-08-18 云知声智能科技股份有限公司 一种基于语音控制无人机的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190348062A1 (en) * 2018-05-08 2019-11-14 Gyrfalcon Technology Inc. System and method for encoding data using time shift in an audio/image recognition integrated circuit solution
CN110827801A (zh) * 2020-01-09 2020-02-21 成都无糖信息技术有限公司 一种基于人工智能的自动语音识别方法及系统
CN111246026A (zh) * 2020-03-11 2020-06-05 兰州飞天网景信息产业有限公司 一种基于卷积神经网络和连接性时序分类的录音处理方法
CN111554286A (zh) * 2020-04-26 2020-08-18 云知声智能科技股份有限公司 一种基于语音控制无人机的方法和设备

Similar Documents

Publication Publication Date Title
WO2021082749A1 (zh) 一种基于人工智能的动作识别方法和相关装置
CN103353935B (zh) 一种用于智能家居系统的3d动态手势识别方法
CN108227903B (zh) 一种虚拟现实语言交互系统与方法
KR100948600B1 (ko) 제스처/음성 융합 인식 시스템 및 방법
CN108874126B (zh) 基于虚拟现实设备的交互方法及系统
CN108983636B (zh) 人机智能共生平台系统
CN106598226A (zh) 一种基于双目视觉和深度学习的无人机人机交互方法
CN106157956A (zh) 语音识别的方法及装置
CN111898407B (zh) 一种基于人脸动作识别的人机交互操作系统
CN109508687A (zh) 人机交互控制方法、装置、存储介质和智能设备
CN109767769A (zh) 一种语音识别方法、装置、存储介质及空调
CN1797284A (zh) 基于玩家姿势和语音的电子游戏场景和角色控制方法
CN110031827B (zh) 一种基于超声波测距原理的手势识别方法
CN112965594A (zh) 一种基于视觉手势识别的机器人人机交互系统和方法
CN105867595A (zh) 联合语音信息与手势信息的人机交互方式以及实施装置
CN111898420A (zh) 一种唇语识别系统
Huu et al. Proposing recognition algorithms for hand gestures based on machine learning model
CN107452381B (zh) 一种多媒体语音识别装置及方法
CN116934926B (zh) 一种基于多模态数据融合的识别方法和系统
CN104598138A (zh) 电子地图控制方法及装置
CN117528135A (zh) 语音驱动的脸部视频生成方法、装置、电子设备及介质
CN113223125A (zh) 一种虚拟形象的面部驱动方法、装置、设备和介质
Jebali et al. Extension of hidden markov model for recognizing large vocabulary of sign language
CN113205798A (zh) 一种无人机集群控制方法及系统
CN106997449A (zh) 具有人脸识别功能的机器人和人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210803

RJ01 Rejection of invention patent application after publication