CN104749995A - 人机交互平台及其应用的无人机地面控制站 - Google Patents
人机交互平台及其应用的无人机地面控制站 Download PDFInfo
- Publication number
- CN104749995A CN104749995A CN201510061039.9A CN201510061039A CN104749995A CN 104749995 A CN104749995 A CN 104749995A CN 201510061039 A CN201510061039 A CN 201510061039A CN 104749995 A CN104749995 A CN 104749995A
- Authority
- CN
- China
- Prior art keywords
- man
- machine interactive
- control unit
- control
- interactive platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种人机交互平台及其应用的无人机地面控制站,人机交互平台包括前端语音辨识单元、控制席主控单元和控制席其他硬件,前端语音辨识单元能够将操作员发出的语音指令经过信号放大、滤波、模数转换和解析处理后,转换成对应的操作指令码,并传输给控制席主控单元,以使控制席主控单元执行与语音指令对应的操作。本申请提供的人机交互平台具有语音操作功能,操作员不仅可以按传统的机械键盘、鼠标等方式控制无人机系统及相关地面显示界面,还可以通过语音辨识输入控制指令实现以上功能,由此增加了操作员与无人机地面控制站的交互方式,使得操作员可以使用双手和语音两种操控方法相结合的方式对无人机系统及相关地面显示界面进行控制。
Description
技术领域
本发明涉及无人机控制技术领域,更具体的说,涉及一种人机交互平台及其应用的无人机地面控制站。
背景技术
无人机系统是无人机机体及其配套的飞控系统、数据链系统、任务载荷系统、发射回收系统、地面保障系统等系统的统称。
无人机系统由无人机地面控制站控制指挥,无人机地面控制站上设有多个控制席位,各控制席位上的操作员通过双手操控该席位人机交互平台上的机械键盘、鼠标、操纵杆、触摸屏等硬件交互设备,实现对无人机的控制及相关显示界面的切换等操作。
随着无人机系统性能日益强大、功能日益丰富,其复杂度越来越高,无人机地面控制站作为无人机系统的控制指挥中心,其规模、操作逻辑也随之越来越复杂,从而使单个操作员因操控工作量变大而导致操控效率和操控有效性在一定程度上降低。
发明内容
有鉴于此,本发明提供一种人机交互平台及其应用的无人机地面控制站,以实现在操控工作量变大时,仍能提高单个操作员的操控效率和操控有效性。
一种人机交互平台,包括:前端语音辨识单元、与所述前端语音辨识单元连接的控制席主控单元、以及与所述控制席主控单元连接的控制席其他硬件;
所述前端语音辨识单元包括:
用于采集操作员发出的语音指令的麦克风;
与所述麦克风连接,用于将所述麦克风输出的语音指令信号放大的运算放大器;
与所述运算放大器连接,用于对放大的所述语音指令信号进行滤波的抗混叠滤波器;
与所述抗混叠滤波器连接,用于将模拟语音指令信号转换成数字语音指令信号的模数转换器;
分别与所述模数转换器、所述控制席主控单元连接,用于运行语音辨识算法,提取所述数字语音指令信号的特征进行辨识,在确定辨识结果匹配预设要求后,将所述数字语音指令信号解析成相应的操作指令码,并向所述控制席主控单元输出所述操作指令码的语音处理单元。
优选的,所述语音处理单元和所述控制席主控单元通过串口连接。
优选的,所述抗混叠滤波器为一带通滤波器。
优选的,所述模数转换器为型号为TLC0834的模数转换芯片或型号为TLV320AIC23的音频芯片。
优选的,所述语音处理单元的中央核心处理器为数字信号处理器DSP或现场可编程门阵列FPGA。
优选的,所述DSP为TI公司的TMS320C54XX系列芯片。
优选的,所述FPGA为Xilinx公司的Virtex-Ⅱ系列芯片。
优选的,所述控制席主控单元将所述操作指令码转成对应的文字或提示框在所述控制席其他硬件中的显示屏的预设位置显示。
一种无人机地面控制站,包括若干个上述所述的人机交互平台。
从上述的技术方案可以看出,本发明提供了一种人机交互平台及其应用的无人机地面控制站,人机交互平台包括:前端语音辨识单元、控制席主控单元和控制席其他硬件,前端语音辨识单元能够将操作员发出的语音指令经过信号放大、滤波、模数转换和解析处理后,转换成对应的操作指令码,并传输给控制席主控单元,以使控制席主控单元执行与语音指令对应的操作。本申请提供的人机交互平台具有语音操作功能,操作员不仅可以按传统的机械键盘、鼠标、摇杆等方式控制无人机系统及相关地面显示界面,还可以通过语音辨识输入控制指令实现以上功能,由此,增加了操作员与无人机地面控制站的交互方式,使得操作员可以使用双手和语音两种操控方法相结合的方式对无人机系统及相关地面显示界面进行控制。相比现有技术仅采用双手这单一操作方式而言,本申请在操控工作量变大时,仍能提高单个操作员的操控效率和操控有效性,进而提升了单个操作员的操控覆盖范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种人机交互平台的组成示意图;
图2为本发明实施例公开的一种人机交互平台的外观图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种人机交互平台及其应用的无人机地面控制站,以实现在操控工作量变大时,仍能提高单个操作员操控效率和操控有效性。
参见图1,本发明实施例公开的一种人机交互平台的组成示意图,包括:前端语音辨识单元10、与前端语音辨识单元10连接的控制席主控单元20、以及与控制席主控单元20连接的控制席其他硬件30;
其中,
前端语音辨识单元10包括麦克风11、运算放大器12、抗混叠滤波器13、模数转换器14和语音处理单元15;
麦克风11用于采集操作员发出的语音指令;
运算放大器12与麦克风11连接,运算放大器12用于将麦克风11输出的语音指令信号放大;
抗混叠滤波器13与运算放大器12连接,抗混叠滤波器13用于对放大的所述语音指令信号进行滤波;
模数转换器14与抗混叠滤波器13连接,模数转换器14用于模拟语音指令信号转换成数字语音指令信号;
语音处理单元15分别与模数转换器14、控制席主控单元20连接,语音处理单元15用于运行语音辨识算法,提取所述数字语音指令的特征进行辨识,在确定辨识结果匹配预设要求后,将所述数字语音指令信号解析成相应的操作指令码,并向控制席主控单元20输出所述操作指令码,以使控制席主控单元20执行与操作指令对应的操作。
需要说明的是,所述特征可以为数字语音指令中包含的关键词,所述辨识结果匹配预设要求可以为:该关键词在预存储的语音辨识数据库中可以查找到。
当语音处理单元15从预存储的语音辨识数据库中没有查找到所述关键词时,语音处理单元15向控制席主控单元20输出语音指令错误的提示信息。
从预存储的语音辨识数据库中没有查找到关键词的原因包括:语音指令为错误指令、矛盾指令、并发指令等非有效指令。
其中,对数字语音指令的特征进行辨识的方法包括但不局限于上述方法,只要是可以将数字语音指令进行辨识的方法均属于本申请的保护范围。
综上可以看出,本发明提供的人机交互平台具有语音操作功能,操作员不仅可以按传统的机械键盘、鼠标、摇杆等方式控制无人机系统及相关地面显示界面,还可以通过语音辨识输入控制指令实现以上功能,由此,增加了操作员与无人机地面控制站的交互方式,使得操作员可以使用双手和语音两种操控方法相结合的方式对无人机系统及相关地面显示界面进行控制。相比现有技术仅采用双手这单一操作方式而言,本申请在操控工作量变大时,仍能提高单个操作员的操控效率和操控有效性,进而提升了单个操作员的操控覆盖范围。
较优的,语音处理单元15和控制席主控单元20通过串口连接。
其中,与控制席主控单元20连接的控制席其他硬件30包括显示屏、触摸屏、视频键盘等,具体参见图2,本发明实施例提供的一种人机交互平台的外观图,各控制席通过显示屏31显示各种信息,同时,人机交互平台向操作员提供触摸屏32、视频键盘33、操纵杆34、机械键盘35、鼠标36等操控方式,使无人机能按照操作员的要求进行爬升、巡航、盘旋、返航等。
为进一步规避语音指令带来的误操作,前端语音辨识单元10解析出操作员的语音指令,并将与该语音指令对应的操作指令码输出至控制席主控单元20后,控制席主控单元20可将该操作指令码转成对应的文字或提示框在显示屏31的预设位置予以显示,以让操作员确认解析出的语音指令正确与否,达到规避误操作的目的。
当然,控制席主控单元20也可以将操作指令码转换成对应的语音提示操作员,然后由操作员语音或操作传统输入设备做出相应的选择。
可以看出,本申请提供的人机交互平台不仅具有双手操控和语音操控两种操控方式,而且还可以对错误指令、矛盾指令、并发指令等非有效指令有智能处理能力,在无人机执行任务过程中,有需要操作员做出选择时,可以通过文字/提示框/语音提示操作员,然后由操作员采用语音或双手操作传统输入设备做出选择。
上述实施例中,抗混叠滤波器13可采用一带通滤波器,用以滤除不需要的频率分量(如低频噪声等),得到较纯净的语音指令信号频率分量(300Hz~3000Hz)。
模数转换器14可采用TI公司的TLC0834模数转换芯片,亦可采用TI公司的TLV320AIC23音频芯片。
语音处理单元15可采用DSP(Digital Signal Processing,数字信号处理器)或FPGA(Field-Programmable Gate Array,现场可编程门阵列)作为中央核心处理器,辅之以外围SDRAM(Synchronous Dynamic Random AccessMemory,同步动态随机存储器)、FLASH(固态存储器)储存初始化程序、语音辨识数据库、程序运行临时数据,对语音指令信号进行处理辨识。
其中,DSP可采用TI公司的TMS320C54XX系列芯片,FPGA可采用Xilinx公司的Virtex-Ⅱ系列芯片。
需要说明的是,上述实施例中,语音处理单元15可同时结合语音指令信号的时域特征和频域特征对语音指令信号进行辨识。
与上述实施例相对应,本发明还提供了一种无人机地面控制站,该无人机地面控制站包括若干个上述实施例中的人机交互平台。
本领域技术人员可以理解的是,无人机地面控制站一般包括以下几个席位:飞行控制席位、链路监控席位、载荷控制席位、任务规划席位,每个席位配备一位操作员,各席位上的操作员通过操控该席位的人机交互平台,实现对无人机控制指令的输入及相关显示界面的操作。
当完成某一项任务需要多个操作员协同操作时,对操纵员操作的准确性、协同性的要求较高,尤其是需要对无人机各分系统协同操作时,多个操作员之间的协同操作对无人机系统完成任务的有效性、准确性,乃至无人机系统的安全性都尤为重要。
本发明提供的人机交互平台可使操作员使用双手和语音两种操控方法相结合的方式对无人机系统及相关地面显示界面进行控制,由此提升了单个操作员的操控范围,进而可以减少无人机地面控制站操作员、席位的数量,规避了多个操作员间的协调问题,提升了对无人机系统完成任务的有效性和准确性,与此同时,本发明,还可以有效减少地面站方舱的体积和重量。
需要说明的是,本发明提供的语音控制无人机地面控制站也可以用于微型/小型旋翼、固定翼无人机/无人飞行器。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种人机交互平台,其特征在于,包括:前端语音辨识单元、与所述前端语音辨识单元连接的控制席主控单元、以及与所述控制席主控单元连接的控制席其他硬件;
所述前端语音辨识单元包括:
用于采集操作员发出的语音指令的麦克风;
与所述麦克风连接,用于将所述麦克风输出的语音指令信号放大的运算放大器;
与所述运算放大器连接,用于对放大的所述语音指令信号进行滤波的抗混叠滤波器;
与所述抗混叠滤波器连接,用于将模拟语音指令信号转换成数字语音指令信号的模数转换器;
分别与所述模数转换器、所述控制席主控单元连接,用于运行语音辨识算法,提取所述数字语音指令信号的特征进行辨识,在确定辨识结果匹配预设要求后,将所述数字语音指令信号解析成相应的操作指令码,并向所述控制席主控单元输出所述操作指令码的语音处理单元。
2.根据权利要求1所述的人机交互平台,其特征在于,所述语音处理单元和所述控制席主控单元通过串口连接。
3.根据权利要求1所述的人机交互平台,其特征在于,所述抗混叠滤波器为一带通滤波器。
4.根据权利要求1所述的人机交互平台,其特征在于,所述模数转换器为型号为TLC0834的模数转换芯片或型号为TLV320AIC23的音频芯片。
5.根据权利要求1所述的人机交互平台,其特征在于,所述语音处理单元的中央核心处理器为数字信号处理器DSP或现场可编程门阵列FPGA。
6.根据权利要求5所述的人机交互平台,其特征在于,所述DSP为TI公司的TMS320C54XX系列芯片。
7.根据权利要求5所述的人机交互平台,其特征在于,所述FPGA为Xilinx公司的Virtex-Ⅱ系列芯片。
8.根据权利要求1所述的人机交互平台,其特征在于,所述控制席主控单元将所述操作指令码转成对应的文字或提示框在所述控制席其他硬件中的显示屏的预设位置显示。
9.一种无人机地面控制站,其特征在于,包括若干个权利要求1至8任意一项所述的人机交互平台。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510061039.9A CN104749995A (zh) | 2015-02-05 | 2015-02-05 | 人机交互平台及其应用的无人机地面控制站 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510061039.9A CN104749995A (zh) | 2015-02-05 | 2015-02-05 | 人机交互平台及其应用的无人机地面控制站 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104749995A true CN104749995A (zh) | 2015-07-01 |
Family
ID=53589860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510061039.9A Pending CN104749995A (zh) | 2015-02-05 | 2015-02-05 | 人机交互平台及其应用的无人机地面控制站 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104749995A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105355200A (zh) * | 2015-11-20 | 2016-02-24 | 深圳狗尾草智能科技有限公司 | 直接训练和修改机器人交互内容的系统及方法 |
CN105827260A (zh) * | 2016-04-15 | 2016-08-03 | 上海理工大学 | 语音控制无人机 |
CN105894871A (zh) * | 2016-06-01 | 2016-08-24 | 李美杰 | 一种英语教学无线遥控移动教学装置 |
CN106406356A (zh) * | 2016-12-13 | 2017-02-15 | 天津成周科技有限公司 | 一种电子信息无人机编队管理用控制系统及管理方法 |
CN106448689A (zh) * | 2016-09-30 | 2017-02-22 | 安徽省云逸智能科技有限公司 | 一种用于语音信号的数字化处理系统 |
CN107589757A (zh) * | 2017-10-24 | 2018-01-16 | 成都天麒科技有限公司 | 一种无人机语音控制系统 |
CN108885463A (zh) * | 2017-02-27 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 无人机的远程控制方法、设备和系统 |
CN110232918A (zh) * | 2019-05-22 | 2019-09-13 | 成都飞机工业(集团)有限责任公司 | 一种无人机地面控制站语音控制系统及控制方法 |
CN112083842A (zh) * | 2020-09-02 | 2020-12-15 | 中国航空无线电电子研究所 | 一种通用的无人机指挥控制多功能标准显控台 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109641A (zh) * | 2006-07-21 | 2008-01-23 | 英华达(上海)电子有限公司 | 用于gps设备的语音控制与交互装置及其方法 |
CN101704411A (zh) * | 2009-11-04 | 2010-05-12 | 北京航空航天大学 | 一种适用于无人机的飞行遥控器 |
CN102436813A (zh) * | 2011-12-21 | 2012-05-02 | 成都众询科技有限公司 | 一种可控语音控制系统 |
CN102774505A (zh) * | 2012-07-16 | 2012-11-14 | 北京航空航天大学 | 一种通用化可配置无人机地面站 |
US8903568B1 (en) * | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
-
2015
- 2015-02-05 CN CN201510061039.9A patent/CN104749995A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109641A (zh) * | 2006-07-21 | 2008-01-23 | 英华达(上海)电子有限公司 | 用于gps设备的语音控制与交互装置及其方法 |
CN101704411A (zh) * | 2009-11-04 | 2010-05-12 | 北京航空航天大学 | 一种适用于无人机的飞行遥控器 |
CN102436813A (zh) * | 2011-12-21 | 2012-05-02 | 成都众询科技有限公司 | 一种可控语音控制系统 |
CN102774505A (zh) * | 2012-07-16 | 2012-11-14 | 北京航空航天大学 | 一种通用化可配置无人机地面站 |
US8903568B1 (en) * | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105355200A (zh) * | 2015-11-20 | 2016-02-24 | 深圳狗尾草智能科技有限公司 | 直接训练和修改机器人交互内容的系统及方法 |
CN105827260A (zh) * | 2016-04-15 | 2016-08-03 | 上海理工大学 | 语音控制无人机 |
CN105894871A (zh) * | 2016-06-01 | 2016-08-24 | 李美杰 | 一种英语教学无线遥控移动教学装置 |
CN105894871B (zh) * | 2016-06-01 | 2018-10-02 | 李美杰 | 一种英语教学无线遥控移动教学装置 |
CN106448689A (zh) * | 2016-09-30 | 2017-02-22 | 安徽省云逸智能科技有限公司 | 一种用于语音信号的数字化处理系统 |
CN106406356A (zh) * | 2016-12-13 | 2017-02-15 | 天津成周科技有限公司 | 一种电子信息无人机编队管理用控制系统及管理方法 |
CN108885463A (zh) * | 2017-02-27 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 无人机的远程控制方法、设备和系统 |
CN107589757A (zh) * | 2017-10-24 | 2018-01-16 | 成都天麒科技有限公司 | 一种无人机语音控制系统 |
CN110232918A (zh) * | 2019-05-22 | 2019-09-13 | 成都飞机工业(集团)有限责任公司 | 一种无人机地面控制站语音控制系统及控制方法 |
CN110232918B (zh) * | 2019-05-22 | 2022-05-06 | 成都飞机工业(集团)有限责任公司 | 一种无人机地面控制站语音控制系统及控制方法 |
CN112083842A (zh) * | 2020-09-02 | 2020-12-15 | 中国航空无线电电子研究所 | 一种通用的无人机指挥控制多功能标准显控台 |
CN112083842B (zh) * | 2020-09-02 | 2023-08-11 | 中国航空无线电电子研究所 | 一种通用的无人机指挥控制多功能标准显控台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104749995A (zh) | 人机交互平台及其应用的无人机地面控制站 | |
CN105679322B (zh) | 一种基于机载语音操控的无人机系统及控制方法 | |
CN110503970B (zh) | 一种音频数据处理方法、装置及存储介质 | |
US6832194B1 (en) | Audio recognition peripheral system | |
USRE49067E1 (en) | Flight deck multifunction control display unit | |
US9805712B2 (en) | Method and device for recognizing voice | |
CN104281698B (zh) | 一种高效的大数据查询方法 | |
US10156637B2 (en) | Apparatus and method for controlling noise in vehicle | |
CN107910003A (zh) | 一种用于智能设备的语音交互方法及语音控制系统 | |
CN103591947B (zh) | 移动终端的语音后台导航方法及移动终端 | |
CN101383150B (zh) | 语音软开关的控制方法及其在地理信息系统中的应用 | |
CN104570835A (zh) | 飞机驾驶舱语音指令控制系统及其操作方法 | |
CN106228983A (zh) | 一种人机自然语言交互中的场景处理方法及系统 | |
CN106919684A (zh) | 数据导出方法、装置、设备及存储介质 | |
KR102140585B1 (ko) | 사람의 행위 의도 인지를 위한 온톨로지 기반 사건 연산 규칙 생성 장치 및 그 방법 | |
CN109947791A (zh) | 一种数据库语句优化方法、装置、设备及存储介质 | |
RU2013118346A (ru) | Дистанционный концентратор данных | |
CN108182940A (zh) | 一种基于自然语言智能理解对话的机器人及语音交互方法 | |
CN107045308A (zh) | 智能互动服务机器人 | |
CN106782547B (zh) | 一种基于语音识别的机器人语义识别系统 | |
CN102855873A (zh) | 一种控制电子设备的方法及电子设备 | |
CN206282609U (zh) | 音频信号处理系统 | |
CN110232918B (zh) | 一种无人机地面控制站语音控制系统及控制方法 | |
JP2022116285A (ja) | 車両に対する音声処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
WO2018119795A1 (zh) | 机器人指令的处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150701 |
|
RJ01 | Rejection of invention patent application after publication |