CN110673499A - 一种用于智能机器人的视听交互系统及其交互控制方法 - Google Patents

一种用于智能机器人的视听交互系统及其交互控制方法 Download PDF

Info

Publication number
CN110673499A
CN110673499A CN201910916454.6A CN201910916454A CN110673499A CN 110673499 A CN110673499 A CN 110673499A CN 201910916454 A CN201910916454 A CN 201910916454A CN 110673499 A CN110673499 A CN 110673499A
Authority
CN
China
Prior art keywords
module
instruction
voice
information
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910916454.6A
Other languages
English (en)
Inventor
胡峰俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuren University
Original Assignee
Zhejiang Shuren University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shuren University filed Critical Zhejiang Shuren University
Priority to CN201910916454.6A priority Critical patent/CN110673499A/zh
Publication of CN110673499A publication Critical patent/CN110673499A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种用于智能机器人的视听交互系统及其交互控制方法，包括机器人本体，所述机器人本体上连接设有视觉交互机构和听觉交互机构；其中，所述视觉交互机构包括动作捕捉模块，所述动作捕捉模块的一侧通过蓝牙模块与移动设备模块相连接，所述动作捕捉模块上连接有身份信息识别模块，所述身份信息识别模块与所述动作捕捉模块均通过互联网模块与云储存器模块相连接，所述身份信息识别模块上连接设有动作指令储存模块和动作识别对比模块，其中，所述动作识别对比模块与所述动作指令储存模块相连接。本发明的有益效果为：能够通过语音或者动作对机器人进行操控，并且，识别度高，误差率小，用户体验度高，方便推广。

Description

一种用于智能机器人的视听交互系统及其交互控制方法
技术领域
本发明涉及机器人交互领域，具体来说，涉及一种用于智能机器人的视听交互系统及其交互控制方法。
背景技术
机器人是自动控制机器(Robot)的俗称，自动控制机器包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗，机器猫等)。狭义上对机器人的定义还有很多分类法及争议，有些电脑程序甚至也被称为机器人。在当代工业中，机器人指能自动执行任务的人造机器装置，用以取代或协助人类工作。
而现有的机器人大都为提前录入指令，机器人重复该指令动作，若需要修改指令则需要通过计算机进行修改，然而可通过语音和动作输入一个视听交互，从而令机器人作出相应的指令动作，是计算机输入的进一步发展，但是该方式容易出现失误，识别度底。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种用于智能机器人的视听交互系统及其交互控制方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种用于智能机器人的视听交互系统，包括机器人本体，所述机器人本体上连接设有视觉交互机构和听觉交互机构；
其中，所述视觉交互机构包括动作捕捉模块，所述动作捕捉模块的一侧通过蓝牙模块与移动设备模块相连接，所述动作捕捉模块上连接有身份信息识别模块，所述身份信息识别模块与所述动作捕捉模块均通过互联网模块与云储存器模块相连接，所述身份信息识别模块上连接设有动作指令储存模块和动作识别对比模块，其中，所述动作识别对比模块与所述动作指令储存模块相连接，所述动作指令储存模块上连接设有动作指令录入模块和动作指令编辑输入模块，所述动作指令录入模块与所述动作捕捉模块相连接，所述动作识别对比模块上连接设有动作指令发送模块；
所述听觉交互机构包括声音捕捉模块，所述声音捕捉模块上连接设有声音指令判断模块，所述声音指令判断模块上连接设有语音关键信息提取模块，所述语音关键信息提取模块上连接设有语音指令核查对比模块，所述语音指令核查对比模块上连接设有语音指令储存模块，所述语音指令储存模块上连接设有语音指令录入模块，所述语音指令录入模块与所述声音捕捉模块相连接，所述语音指令核查对比模块上连接设有语音信息指令发送模块，所述语音信息指令发送模块和所述动作指令发送模块分别与所述机器人本体相连接。
可选的，所述动作捕捉模块上连接设有捕捉信息反馈模块。
可选的，所述移动设备模块包括手机、平板电脑、手表电话、带有蓝牙连接的智能腕带其中的一种。
可选的，所述身份信息识别模块包括密码输入识别模块、人脸输入识别模块、特殊动作输入识别模块、音色判断识别模块、体态特征输入识别模块和指纹输入识别模块中的一种。
可选的，所述动作识别对比模块上连接设有语音提示模块一。
可选的，所述语音指令核查对比模块上连接设有语音提示模块二。
可选的，所述语音信息指令发送模块与所述动作指令发送模块分别与组合信息对比模块相连接，所述组合信息对比模块上连接有所述机器人本体和组合信息储存模块。
可选的，所述听觉交互机构上设有深度声音识别机构，所述深度声音识别机构包括音色信息录取储存模块、音色判断模块、信息通断模块一和信息通断模块二，其中，所述音色信息录取储存模块与所述声音捕捉模块和所述音色判断模块相连接，所述音色判断模块通过信息通断模块二与所述语音关键信息提取模块相连接，所述信息通断模块一位于所述声音指令判断模块和所述语音关键信息提取模块之间连接。
可选的，所述机器人本体上设有指令完成反馈模块。
根据本发明的另一方面，提供了一种用于智能机器人的交互控制方法。
包括以下步骤：
通过提前录入语音指令和动作指令到语音指令储存模块和动作指令储存模块内；
通过相关人员进行语音指令输入和动作指令输入，通过语音指令核查对比模块和动作识别对比模块进行识别，若正确，则将该指令发送给机器人本体，机器人本体进行做出相应的动作；
若指令不正确，则对比识别语音提示一和对比识别语音提示二进行语音提示；
若相关人员指令动作较多，可通过组合信息储存模块进行拓展组合信息，进而拓展操作机器人本体的指令，在通过语音信息指令发送模块和动作指令发送模块发送到组合信息判断对比模块中判断是否为组合指令，若不是则发送给机器人本体，若是则通过对比组合信息储存模块中的储存信息，将其发送给机器人本体；
机器人完成相关指令动作后，指令完成反馈模块做出相应。
本发明的有益效果为：能够通过语音或者动作对机器人进行操控，并且，识别度高，误差率小，用户体验度高，方便推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种用于智能机器人的视听交互系统的结构示意图；
图2是根据本发明实施例的一种用于智能机器人的视听交互系统中身份信息识别模块的结构示意图；
图3是根据本发明实施例的一种用于智能机器人的交互控制方法的流程图。
附图标记；
1、机器人本体；2、视觉交互机构；3、听觉交互机构；4、动作捕捉模块；5、蓝牙模块；6、移动设备模块；7、身份信息识别模块；8、互联网模块；9、云储存器模块；10、指令完成反馈模块；11、动作指令储存模块；12、动作识别对比模块；13、动作指令录入模块；14、动作指令编辑输入模块；15、动作指令发送模块；16、声音捕捉模块；17、声音指令判断模块；18、语音关键信息提取模块；19、语音指令核查对比模块；20、语音指令储存模块；21、语音指令录入模块；22、语音信息指令发送模块；23、捕捉信息反馈模块；24、密码输入识别模块；25、人脸输入识别模块；26、特殊动作输入识别模块；27、音色判断识别模块；28、体态特征输入识别模块；29、指纹输入识别模块；30、语音提示模块一；31、语音提示模块二；32、组合信息对比模块；33、组合信息储存模块；34、音色信息录取储存模块；35、音色判断模块；36、信息通断模块一；37、信息通断模块二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，根据本发明的实施例，提供了一种用于智能机器人的视听交互系统，包括机器人本体1，所述机器人本体1上连接设有视觉交互机构2和听觉交互机构3；
其中，所述视觉交互机构2包括动作捕捉模块4，所述动作捕捉模块4的一侧通过蓝牙模块5与移动设备模块6相连接，所述动作捕捉模块4上连接有身份信息识别模块7，所述身份信息识别模块7与所述动作捕捉模块4均通过互联网模块8与云储存器模块9相连接，所述身份信息识别模块7上连接设有动作指令储存模块11和动作识别对比模块12，其中，所述动作识别对比模块12与所述动作指令储存模块11相连接，所述动作指令储存模块11上连接设有动作指令录入模块13和动作指令编辑输入模块14，所述动作指令录入模块13与所述动作捕捉模块4相连接，所述动作识别对比模块12上连接设有动作指令发送模块15；
所述听觉交互机构3包括声音捕捉模块16，所述声音捕捉模块16上连接设有声音指令判断模块17，所述声音指令判断模块17上连接设有语音关键信息提取模块18，所述语音关键信息提取模块18上连接设有语音指令核查对比模块19，所述语音指令核查对比模块19上连接设有语音指令储存模块20，所述语音指令储存模块20上连接设有语音指令录入模块21，所述语音指令录入模块21与所述声音捕捉模块16相连接，所述语音指令核查对比模块19上连接设有语音信息指令发送模块22，所述语音信息指令发送模块22和所述动作指令发送模块15分别与所述机器人本体1相连接。
另外，在一个实施例中，所述动作捕捉模块4上连接设有捕捉信息反馈模块23。所述移动设备模块包括手机、平板电脑、手表电话、带有蓝牙连接的智能腕带其中的一种。所述身份信息识别模块7包括密码输入识别模块24、人脸输入识别模块25、特殊动作输入识别模块26、音色判断识别模块27、体态特征输入识别模块28和指纹输入识别模块29中的一种。所述动作识别对比模块12上连接设有语音提示模块一30。所述语音指令核查对比模块19上连接设有语音提示模块二31。所述语音信息指令发送模块22与所述动作指令发送模块15分别与组合信息对比模块32相连接，所述组合信息对比模块32上连接有所述机器人本体1和组合信息储存模块33。所述听觉交互机构3上设有深度声音识别机构，所述深度声音识别机构包括音色信息录取储存模块34、音色判断模块35、信息通断模块一36和信息通断模块二37，其中，所述音色信息录取储存模块34与所述声音捕捉模块16和所述音色判断模块35相连接，所述音色判断模块35通过信息通断模块二37与所述语音关键信息提取模块18相连接，所述信息通断模块一36位于所述声音指令判断模块17和所述语音关键信息提取模块18之间连接。所述机器人本体1上设有指令完成反馈模块10。
如图3所示，根据本发明的实施例，还提供了一种用于智能机器人的交互控制方法。
包括以下步骤：
步骤S101，通过提前录入语音指令和动作指令到语音指令储存模块和动作指令储存模块内；
步骤S103，通过相关人员进行语音指令输入和动作指令输入，通过语音指令核查对比模块和动作识别对比模块进行识别，若正确，则将该指令发送给机器人本体，机器人本体进行做出相应的动作；
步骤S105，若指令不正确，则对比识别语音提示一和对比识别语音提示二进行语音提示；
步骤S105，若相关人员指令动作较多，可通过组合信息储存模块进行拓展组合信息，进而拓展操作机器人本体的指令，在通过语音信息指令发送模块和动作指令发送模块发送到组合信息判断对比模块中判断是否为组合指令，若不是则发送给机器人本体，若是则通过对比组合信息储存模块中的储存信息，将其发送给机器人本体；
步骤S107，机器人完成相关指令动作后，指令完成反馈模块做出相应。
综上所述，借助于本发明的上述技术方案，能够通过语音或者动作对机器人进行操控，并且，识别度高，误差率小，用户体验度高，方便推广。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于智能机器人的视听交互系统，其特征在于，包括机器人本体(1)，所述机器人本体(1)上连接设有视觉交互机构(2)和听觉交互机构(3)；
其中，所述视觉交互机构(2)包括动作捕捉模块(4)，所述动作捕捉模块(4)的一侧通过蓝牙模块(5)与移动设备模块(6)相连接，所述动作捕捉模块(4)上连接有身份信息识别模块(7)，所述身份信息识别模块(7)与所述动作捕捉模块(4)均通过互联网模块(8)与云储存器模块(9)相连接，所述身份信息识别模块(7)上连接设有动作指令储存模块(11)和动作识别对比模块(12)，其中，所述动作识别对比模块(12)与所述动作指令储存模块(11)相连接，所述动作指令储存模块(11)上连接设有动作指令录入模块(13)和动作指令编辑输入模块(14)，所述动作指令录入模块(13)与所述动作捕捉模块(4)相连接，所述动作识别对比模块(12)上连接设有动作指令发送模块(15)；
所述听觉交互机构(3)包括声音捕捉模块(16)，所述声音捕捉模块(16)上连接设有声音指令判断模块(17)，所述声音指令判断模块(17)上连接设有语音关键信息提取模块(18)，所述语音关键信息提取模块(18)上连接设有语音指令核查对比模块(19)，所述语音指令核查对比模块(19)上连接设有语音指令储存模块(20)，所述语音指令储存模块(20)上连接设有语音指令录入模块(21)，所述语音指令录入模块(21)与所述声音捕捉模块(16)相连接，所述语音指令核查对比模块(19)上连接设有语音信息指令发送模块(22)，所述语音信息指令发送模块(22)和所述动作指令发送模块(15)分别与所述机器人本体(1)相连接。
2.根据权利要求1所述的一种用于智能机器人的视听交互系统，其特征在于，所述动作捕捉模块(4)上连接设有捕捉信息反馈模块(23)。
3.根据权利要求2所述的一种用于智能机器人的视听交互系统，其特征在于，所述移动设备模块包括手机、平板电脑、手表电话、带有蓝牙连接的智能腕带其中的一种。
4.根据权利要求3所述的一种用于智能机器人的视听交互系统，其特征在于，所述身份信息识别模块(7)包括密码输入识别模块(24)、人脸输入识别模块(25)、特殊动作输入识别模块(26)、音色判断识别模块(27)、体态特征输入识别模块(28)和指纹输入识别模块(29)中的一种。
5.根据权利要求4所述的一种用于智能机器人的视听交互系统，其特征在于，所述动作识别对比模块(12)上连接设有语音提示模块一(30)。
6.根据权利要求5所述的一种用于智能机器人的视听交互系统，其特征在于，所述语音指令核查对比模块(19)上连接设有语音提示模块二(31)。
7.根据权利要求6所述的一种用于智能机器人的视听交互系统，其特征在于，所述语音信息指令发送模块(22)与所述动作指令发送模块(15)分别与组合信息对比模块(32)相连接，所述组合信息对比模块(32)上连接有所述机器人本体(1)和组合信息储存模块(33)。
8.根据权利要求7所述的一种用于智能机器人的视听交互系统，其特征在于，所述听觉交互机构(3)上设有深度声音识别机构，所述深度声音识别机构包括音色信息录取储存模块(34)、音色判断模块(35)、信息通断模块一(36)和信息通断模块二(37)，其中，所述音色信息录取储存模块(34)与所述声音捕捉模块(16)和所述音色判断模块(35)相连接，所述音色判断模块(35)通过信息通断模块二(37)与所述语音关键信息提取模块(18)相连接，所述信息通断模块一(36)位于所述声音指令判断模块(17)和所述语音关键信息提取模块(18)之间连接。
9.根据权利要求8所述的一种用于智能机器人的视听交互系统，其特征在于，所述机器人本体(1)上设有指令完成反馈模块(10)。
10.一种用于智能机器人的交互控制方法，其特征在于，用于权利要求9所述的用于智能机器人的视听交互系统的使用，包括以下步骤：
通过提前录入语音指令和动作指令到语音指令储存模块和动作指令储存模块内；
通过相关人员进行语音指令输入和动作指令输入，通过语音指令核查对比模块和动作识别对比模块进行识别，若正确，则将该指令发送给机器人本体，机器人本体进行做出相应的动作；
若指令不正确，则对比识别语音提示一和对比识别语音提示二进行语音提示；
若相关人员指令动作较多，可通过组合信息储存模块进行拓展组合信息，进而拓展操作机器人本体的指令，在通过语音信息指令发送模块和动作指令发送模块发送到组合信息判断对比模块中判断是否为组合指令，若不是则发送给机器人本体，若是则通过对比组合信息储存模块中的储存信息，将其发送给机器人本体；
机器人完成相关指令动作后，指令完成反馈模块做出相应。
CN201910916454.6A 2019-09-26 2019-09-26 一种用于智能机器人的视听交互系统及其交互控制方法 Withdrawn CN110673499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910916454.6A CN110673499A (zh) 2019-09-26 2019-09-26 一种用于智能机器人的视听交互系统及其交互控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910916454.6A CN110673499A (zh) 2019-09-26 2019-09-26 一种用于智能机器人的视听交互系统及其交互控制方法

Publications (1)

Publication Number Publication Date
CN110673499A true CN110673499A (zh) 2020-01-10

Family

ID=69079167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910916454.6A Withdrawn CN110673499A (zh) 2019-09-26 2019-09-26 一种用于智能机器人的视听交互系统及其交互控制方法

Country Status (1)

Country Link
CN (1) CN110673499A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443717A (zh) * 2020-04-24 2020-07-24 张咏 一种基于语音识别控制的巡检机器人系统
CN114683260A (zh) * 2020-12-29 2022-07-01 大连理工江苏研究院有限公司 一种视听交互智能机器人及控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111443717A (zh) * 2020-04-24 2020-07-24 张咏 一种基于语音识别控制的巡检机器人系统
CN114683260A (zh) * 2020-12-29 2022-07-01 大连理工江苏研究院有限公司 一种视听交互智能机器人及控制系统

Similar Documents

Publication Publication Date Title
CN107773982B (zh) 游戏语音交互方法及装置
US8897500B2 (en) System and method for dynamic facial features for speaker recognition
CN109300347A (zh) 一种基于图像识别的听写辅助方法及家教设备
CN106128188A (zh) 桌面教育专注度分析系统及其分析方法
CN103456299A (zh) 一种控制语音识别的方法和装置
CN111933108B (zh) 一种智能网联终端智能语音交互系统自动化测试方法
CN102842306A (zh) 语音控制方法及装置、语音响应方法及装置
CN109634552A (zh) 一种应用于听写的报读控制方法及终端设备
CN112836691A (zh) 智能面试方法及装置
CN104538034A (zh) 一种语音识别方法及系统
CN110673499A (zh) 一种用于智能机器人的视听交互系统及其交互控制方法
CN104965589A (zh) 一种基于人脑智慧和人机交互的人体活体检测方法与装置
US10891959B1 (en) Voice message capturing system
CN110473556A (zh) 语音识别方法、装置和移动终端
CN107808085A (zh) 智能终端的指纹控制方法及系统
Chang et al. A kinect-based gesture command control method for human action imitations of humanoid robots
CN113299287A (zh) 基于多模态的服务机器人交互方法、系统及存储介质
CN107452381B (zh) 一种多媒体语音识别装置及方法
CN107633844A (zh) 设备控制方法及装置
CN106571087A (zh) 一种具有记忆功能的教学系统及教学方法
CN111370004A (zh) 人机交互方法、语音处理方法及设备
CN109036392A (zh) 机器人交互系统
CN110695989A (zh) 一种用于智能机器人的视听交互系统及其交互控制方法
CN106251717A (zh) 智能机器人语言跟读学习方法和装置
EP4064031A1 (en) Method and system for tracking in extended reality using voice commmand

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200110