CN106648054B - 一种基于RealSense的陪伴机器人的多模式交互方法 - Google Patents

一种基于RealSense的陪伴机器人的多模式交互方法 Download PDF

Info

Publication number
CN106648054B
CN106648054B CN201610876958.6A CN201610876958A CN106648054B CN 106648054 B CN106648054 B CN 106648054B CN 201610876958 A CN201610876958 A CN 201610876958A CN 106648054 B CN106648054 B CN 106648054B
Authority
CN
China
Prior art keywords
operational
realsense
gesture
mode
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610876958.6A
Other languages
English (en)
Other versions
CN106648054A (zh
Inventor
刘小峰
刘策
顾晨婷
周小芹
蒋爱民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201610876958.6A priority Critical patent/CN106648054B/zh
Publication of CN106648054A publication Critical patent/CN106648054A/zh
Application granted granted Critical
Publication of CN106648054B publication Critical patent/CN106648054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Abstract

本发明公开了一种基于RealSense的陪伴机器人的多模式交互方法，包括三大功能模块和六种工作模式，多模式交互方法具体包括如下步骤：步骤1、初次使用时，设置机器人系统默认的操作性模式和默认的非操作性模式，对于每个功能模块，操作性模式和非操作性模式不同，操作性模式输入的优先权高于非操作性模式输入；步骤2、机器人系统启动后通过操作性模式选择并进入一个功能模块；步骤3、在各功能模块中根据设置的操作性模式和非操作性模式，利用RealSense传感器进行识别并进行对应的分析和处理。采用手势、人脸及语音的多模式交互方法，方便用户与机器人交互。

Description

一种基于RealSense的陪伴机器人的多模式交互方法
技术领域
本发明涉及一种基于RealSense的陪伴机器人的多模式交互方法。
背景技术
随着社会老龄化的日益加剧，陪伴机器人正在逐渐走入家庭和养老机构。但目前的机器人多使用语音、触摸屏进行交互，交互模式单一，使用不便。部分基于Kinect相机的机器人能够识别人体骨骼点，但是对于人脸、手指等细微部位的识别精度低、延时高。
RealSense 3D camera是英特尔提供的一套感知计算解决方案，RealSense摄像头为该方案的一种硬件设备。RealSense摄像头内置红外传感器、色彩传感器及麦克风阵列，可以采集深度图像、彩色图像和语音信号。该摄像头具有精度高、延时短和体积小的优势。
与Kinect相比，RealSense能够准确、快速地识别人脸及手指，并可以获取人脸和手指上的标识点。RealSense可以提供手势、人脸和语音三种交互模式，与单模式相比，多种交互模式相互配合，一方面机器人可以准确地识别用户的需求，另一方面用户可以更方便地与机器人进行交互，以便机器人在与人服务的过程中区分操作命令信息与非操作指令信息，从而使交互更加自然灵活。
发明内容
本发明提供一种基于RealSense的陪伴机器人的多模式交互方法，利用RealSense传感器设计多种交互模式，为陪伴机器人设计人机对话、新闻播报和移动控制等功能。采用手势、人脸及语音的多模式交互方法，方便用户与机器人交互。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种基于RealSense的陪伴机器人的多模式交互方法，其特征在于，包括三大功能模块和六种工作模式，所述三大功能模块是人机对话、新闻播报和移动控制功能模块，所述六种工作模式分为非操作性模式和操作性模式，其中：
非操作性模式包括：
A)非操作性语音模式：利用语音识别技术识别全部的语音输入信号；
B)非操作性手势模式：通过预设的手势命令表，利用手势识别技术识别手势信号；
C)非操作性人脸模式：通过预设的人脸表情表，利用人脸识别技术识别人脸的表情信息；
操作性模式包括：
A)操作性语音模式：通过预设的语音命令表，利用语音识别技术将语音输入转变为操控机器人的指令；
B)操作性手势模式：通过预设的手势命令表，利用手势识别技术将手势信号转变为操控机器人的指令；
C)操作性人脸模式：通过预设的人脸命令表，利用人脸识别技术将人脸表情转变为操控机器人的指令；
多模式交互方法具体包括如下步骤：
步骤1、初次使用时，设置机器人系统默认的操作性模式和默认的非操作性模式，对于每个功能模块，操作性模式和非操作性模式不同，操作性模式输入的优先权高于非操作性模式输入；
步骤2、机器人系统启动后通过操作性模式选择并进入一个功能模块；
步骤3、在各功能模块中根据设置的操作性模式和非操作性模式，利用RealSense传感器进行识别并进行对应的分析和处理。
优选，步骤3中，对于人机对话功能模块：默认的操作性模式为操作性手势模式或操作性人脸模式的一种，默认的非操作性模式包括非操作性语音模式，具体交互步骤如下：
A1、使用RealSense传感器提供的函数启动RealSense传感器的语音识别模块，启动RealSense传感器与操作性模式对应的手势识别模块或操作性人脸模式；
A2、若用户输入语音信号，则进入步骤A3；否则，进入步骤A7；
A3、利用RealSense传感器识别用户的语音，获取语音识别结果；
A4、对识别结果进行分析，若其置信度大于50％，即为识别成功，获取识别结果中的文字内容；
A5、调用网络上提供的聊天机器人接口，将文字内容发送至聊天机器人，并获取应答；
A6、使用RealSense传感器提供的函数对聊天机器人的回答进行语音合成并输出；
A7、利用RealSense传感器识别用户的人脸或手势，获取人脸数据或手势数据，进而判断用户是否需要暂停或退出人机对话功能模块。
优选，步骤3中，对于新闻播报功能模块：默认的操作性模式为操作性手势模式，具体交互步骤如下：
B1、启动RealSense传感器的手势识别模块；
B2、获取网络上的新闻资源；
B3、使用RealSense传感器提供的函数将新闻标题进行语音合成并输出；
B4、利用RealSense传感器识别用户的手势，使用RealSense传感器提供的函数获取手势数据，进而判断用户是否希望播报该新闻，或者播报下一条新闻，或者退出新闻；
B5、在某条新闻播报过程中，利用RealSense传感器识别用户的手势，使用RealSense传感器获取手势数据判断用户是否希望结束播报该新闻。
优选，步骤3中，对于移动控制功能模块：默认的操作性模式为操作性语音模式、操作性手势模式或操作性人脸模式的一种，具体交互步骤如下：
C1、启动RealSense传感器的语音识别模块、手势识别模块和人脸识别模块；
C2、用户输入语音、人脸或手势信号；
C3、利用RealSense传感器识别用户的语音输入信号、人脸数据和手势数据，对识别结果进行分析；
C4、机器人根据移动命令进行移动。
本发明的有益效果是：通过设置默认的操作性模式和默认的非操作性模式，避免了将交互中的一些与操控机器人的指令相同的语音或符号等一般性输入当作操控机器人的命令，避免混淆。多模式交互方便残障人士，例如聋哑人、手部有残疾的人等与机器人交互。
附图说明
图1是本发明陪伴机器人功能模块示意图；
图2是本发明一种基于RealSense的陪伴机器人交互模式关系示意图；
图3是本发明信号处理流程图；
图4是本发明交互模式转换示意图；
图5是本发明陪伴机器人功能流程图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
RealSense传感器提供了多种交互技术，方便用户与机器人进行交互，例如：
(1)手势识别技术：RealSense传感器提供了手部22个标识点数据(PXCMHandData.JointType)，并定义多个手势(PXCMHandData.QueryFiredGestureData())，开发人员可以根据需要，定义符合需求的手势。
(2)人脸识别技术：RealSense传感器提供了人脸77个标识点数据(PXCMFaceData.LandmarksData)，利用这些数据，开发人员可以定义人脸命令，并可以分析用户的表情。
(3)语音识别与合成技术：利用RealSense传感器提供的语音库，可以方便地对用户的语音信号进行识别(PXCMSpeechRecognition)，并将文字转化为语音告知用户(PXCMSpeechSynthesis)。
一种基于RealSense的陪伴机器人的多模式交互方法，包括三大功能模块和六种工作模式，如图1所示，所述三大功能模块是人机对话、新闻播报和移动控制功能模块，如图2所示，所述六种工作模式分为非操作性模式和操作性模式，其中：
非操作性模式包括：
A)非操作性语音模式：利用语音识别技术识别全部的语音输入信号；
B)非操作性手势模式：通过预设的手势命令表，利用手势识别技术识别手势信号，以便进行符号语言(如哑语)的交流；
C)非操作性人脸模式：通过预设的人脸表情表，利用人脸识别技术识别人脸的表情信息，从而判断用户的情感与情绪等信息。
操作性模式包括：
A)操作性语音模式：通过预设的语音命令表，利用语音识别技术将语音输入转变为操控机器人的指令；
B)操作性手势模式：通过预设的手势命令表，利用手势识别技术将手势信号转变为操控机器人的指令；
C)操作性人脸模式：通过预设的人脸命令表，利用人脸识别技术将人脸表情转变为操控机器人的指令。
定义了多模式交互过程中的两种输入：操作性输入和非操作性输入，在交互过程中，操作性输入与非操作性输入采用不同的模式，如语音、手势、人脸。操作性输入优先权高于非操作性输入，以便在交互过程中方便的操作机器人并改变当前交互进程。
多模式交互方法具体包括如下步骤：
步骤1、初次使用时，设置机器人系统默认的操作性模式和默认的非操作性模式，并对每个功能模块设置默认的操作性模式和默认的非操作性模式，系统启动时，根据客户喜欢或实际需求，设置默认的操作性模式(如操作性手势模式)和默认的非操作性模式(如非操作性语音模式)。
对于每个功能模块，操作性模式和非操作性模式不同，操作性模式输入的优先权高于非操作性模式输入。这样，避免了将交互中的一些与操控机器人的指令相同的语音或符号等一般性输入当作操控机器人的命令，比如，在对话聊天过程中，非操作性语音输入中含有“….停止….”或“…退出….”的语音不会被识别为让机器人停止或退出当前任务的指令。
步骤2、机器人系统启动后通过操作性模式选择并进入一个功能模块；
步骤3、在各功能模块中根据设置的操作性模式和非操作性模式，利用RealSense传感器进行识别并进行对应的分析和处理，如图3所示。
下面进行详细介绍，如图4所示，陪伴机器人默认操作模式是操作性语音模式，设计语音命令表，该表共包括3个语音命令：“人机对话”、“新闻播报”、“移动控制”。用户使用相应的语音命令启动相应的功能。
如图5所示，对于人机对话功能模块：由于需要识别用户所有的语音信号，机器人默认的非操作性模式包括非操作性语音模式，而默认的操作性模式为操作性手势模式或操作性人脸模式的一种。在对话过程如果用户想要操控机器人，如退出当前对话，则可以很方便地采用操作性手势控制机器人，如暂停、退出对话等操作，具体交互步骤如下：
A1、使用RealSense传感器提供的函数pxcmStatus SpeechRecognition.StartRec(PXCMAudioSource source,PXCMSpeechRecognition.Handler handler)启动RealSense传感器的语音识别模块，因为是默认的操作性模式为操作性手势或操作性人脸模式，所以根据用户的选择，二者启动一种即可，比如，使用RealSense提供的函数pxcmStatusPXCMSenseManager.AcquireFrame(bool ifall)启动RealSense传感器的手势识别模块；
A2、若用户输入语音信号，则进入步骤A3；否则，进入步骤A7；
A3、利用RealSense传感器识别用户的语音，使用自定义函数PXCMSpeechRecognition.RecognitionData OnRecognition()获取语音识别结果PXCMSpeechRecognition.RecognitionData；本文自定义函数均采用C#语言。
A4、对识别结果PXCMSpeechRecognition.RecognitionData进行分析，若其置信度(PXCMSpeechRecognition.RecognitionData.scores[0].confidence)大于50％，即为识别成功，获取识别结果中的文字内容(PXCMSpeechRecognition.RecognitionData.scores[0].sentence)；
A5、使用自定义函数void Chat(string question,out string answer)调用网络上提供的聊天机器人接口，将文字内容(question)发送至聊天机器人，并获取应答(answer)；
A6、使用RealSense提供的函数pxcmStatus PXCMSpeechSynthesis.BuildSentence(int sid,string sentence)对聊天机器人的回答(sentence)进行语音合成并输出；
A7、利用RealSense传感器识别用户的人脸或手势，使用RealSense提供的函数PXCMFaceData.Face PXCMFaceData.QueryFaceByIndex(int index)获取人脸数据PXCMFaceData.Face，使用RealSense提供的函数pxcmStatusPXCMHandData.QueryHandDataById(int handId,out PXCMHandData.IHand handData)获取手势数据handData，进而判断用户是否需要暂停或退出对话功能模块。需说明的是，只有操作性模式下的操作才能进行暂停或退出。
对于新闻播报功能模块：机器人发出的新闻声音可能会干扰用户语音信号的识别。因而，默认的操作性模式为操作性手势模式。用户通过手势选取希望播报的新闻，以及控制播报新闻时的进度，具体交互步骤如下：
B1、使用RealSense传感器提供的函数pxcmStatusPXCMSenseManager.AcquireFrame(bool ifall)启动RealSense传感器的手势识别模块；
B2、使用自定义函数string sendPost(string urlHotNews,string parameter)获取网络上的新闻资源；
B3、使用RealSense传感器提供的函数pxcmStatus PXCMSpeechSynthesis.BuildSentence(int sid,string sentence)将新闻标题(sentence)进行语音合成并输出；
B4、利用RealSense传感器识别用户的手势，使用RealSense提供的函数pxcmStatus PXCMHandData.QueryHandDataById(int handId,out PXCMHandData.IHandhandData)获取手势数据，进而判断用户是否希望播报该新闻，或者播报下一条新闻，或者退出新闻；
B5、在某条新闻播报过程中，利用RealSense传感器识别用户的手势，使用RealSense提供的函数pxcmStatus PXCMHandData.QueryHandDataById(int handId,outPXCMHandData.IHand handData)获取手势数据判断用户是否希望结束播报该新闻。
对于移动控制功能模块：用户可以通过使用人脸命令、语音命令和手势命令控制机器人的移动，默认的操作性模式为操作性语音模式、操作性手势模式或操作性人脸模式的一种，一般的，机器人处于移动控制状态时，主要操作性输入为语音。语音命令包括5个语音命令：“前进”、“后退”、“左转”、“右转”、“停止”。手势与人脸也可以作为操作性输入。这种多种操作性输入，方便残障人士，例如聋哑人、手部有残疾的人等，控制机器人，具体交互步骤如下：
C1、使用RealSense传感器提供的函数pxcmStatusSpeechRecognition.StartRec(PXCMAudioSource source,PXCMSpeechRecognition.Handler handler)启动RealSense传感器的语音识别模块，使用RealSense提供的函数pxcmStatusPXCMSenseManager.AcquireFrame(bool ifall)启动RealSense传感器的手势识别模块和人脸识别模块；
C2、用户输入语音、人脸或手势信号；
C3、利用RealSense传感器识别用户的输入信号，使用RealSense提供的函数PXCMFaceData.Face PXCMFaceData.QueryFaceByIndex(int index)获取人脸数据PXCMFaceData.Face，使用RealSense提供的函数pxcmStatusPXCMHandData.QueryHandDataById(int handId,out PXCMHandData.IHand handData)获取手势数据handData，使用自定义函数PXCMSpeechRecognition.RecognitionDataOnRecognition()获取语音识别结果PXCMSpeechRecognition.RecognitionData,对数据和识别结果进行分析；
C4、机器人根据移动命令进行移动。
本发明的有益效果是：通过设置默认的操作性模式和默认的非操作性模式，避免了将交互中的一些与操控机器人的指令相同的语音或符号等一般性输入当作操控机器人的命令，避免混淆。多模式交互方便残障人士，例如聋哑人、手部有残疾的人等与机器人交互。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于RealSense的陪伴机器人的多模式交互方法，其特征在于，包括三大功能模块和六种工作模式，所述三大功能模块是人机对话、新闻播报和移动控制功能模块，所述六种工作模式分为非操作性模式和操作性模式，其中：非操作性模式包括：
A)非操作性语音模式：利用语音识别技术识别全部的语音输入信号；
B)非操作性手势模式：通过预设的手势命令表，利用手势识别技术识别手势信号；
C)非操作性人脸模式：通过预设的人脸表情表，利用人脸识别技术识别人脸的表情信息；
操作性模式包括：
A)操作性语音模式：通过预设的语音命令表，利用语音识别技术将语音输入转变为操控机器人的指令；
B)操作性手势模式：通过预设的手势命令表，利用手势识别技术将手势信号转变为操控机器人的指令；
C)操作性人脸模式：通过预设的人脸命令表，利用人脸识别技术将人脸表情转变为操控机器人的指令；
多模式交互方法具体包括如下步骤：
步骤1、初次使用时，设置机器人系统默认的操作性模式和默认的非操作性模式，对于每个功能模块，操作性模式和非操作性模式不同，操作性模式输入的优先权高于非操作性模式输入；
步骤2、机器人系统启动后通过操作性模式选择并进入一个功能模块；
步骤3、在各功能模块中根据设置的操作性模式和非操作性模式，利用RealSense传感器进行识别并进行对应的分析和处理。
2.根据权利要求1所述的一种基于RealSense的陪伴机器人的多模式交互方法，其特征在于，步骤3中，对于人机对话功能模块：默认的操作性模式为操作性手势模式或操作性人脸模式的一种，默认的非操作性模式包括非操作性语音模式，具体交互步骤如下：
A1、使用RealSense传感器提供的函数启动RealSense传感器的语音识别模块，启动RealSense传感器与操作性模式对应的手势识别模块或操作性人脸模式；
A2、若用户输入语音信号，则进入步骤A3；否则，进入步骤A7；
A3、利用RealSense传感器识别用户的语音，获取语音识别结果；
A4、对识别结果进行分析，若其置信度大于50％，即为识别成功，获取识别结果中的文字内容；
A5、调用网络上提供的聊天机器人接口，将文字内容发送至聊天机器人，并获取应答；
A6、使用RealSense传感器提供的函数对聊天机器人的回答进行语音合成并输出；
A7、利用RealSense传感器识别用户的人脸或手势，获取人脸数据或手势数据，进而判断用户是否需要暂停或退出人机对话功能模块。
3.根据权利要求1所述的一种基于RealSense的陪伴机器人的多模式交互方法，其特征在于，步骤3中，对于新闻播报功能模块：默认的操作性模式为操作性手势模式，具体交互步骤如下：
B1、启动RealSense传感器的手势识别模块；
B2、获取网络上的新闻资源；
B3、使用RealSense传感器提供的函数将新闻标题进行语音合成并输出；
B4、利用RealSense传感器识别用户的手势，使用RealSense传感器提供的函数获取手势数据，进而判断用户是否希望播报该新闻，或者播报下一条新闻，或者退出新闻；
B5、在某条新闻播报过程中，利用RealSense传感器识别用户的手势，使用RealSense传感器获取手势数据判断用户是否希望结束播报该新闻。
4.根据权利要求1所述的一种基于RealSense的陪伴机器人的多模式交互方法，其特征在于，步骤3中，对于移动控制功能模块：默认的操作性模式为操作性语音模式、操作性手势模式或操作性人脸模式的一种，具体交互步骤如下：
C1、启动RealSense传感器的语音识别模块、手势识别模块和人脸识别模块；
C2、用户输入语音、人脸或手势信号；
C3、利用RealSense传感器识别用户的语音输入信号、人脸数据和手势数据，对识别结果进行分析；
C4、机器人根据移动命令进行移动。
CN201610876958.6A 2016-10-08 2016-10-08 一种基于RealSense的陪伴机器人的多模式交互方法 Active CN106648054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610876958.6A CN106648054B (zh) 2016-10-08 2016-10-08 一种基于RealSense的陪伴机器人的多模式交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610876958.6A CN106648054B (zh) 2016-10-08 2016-10-08 一种基于RealSense的陪伴机器人的多模式交互方法

Publications (2)

Publication Number Publication Date
CN106648054A CN106648054A (zh) 2017-05-10
CN106648054B true CN106648054B (zh) 2019-07-16

Family

ID=58854452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610876958.6A Active CN106648054B (zh) 2016-10-08 2016-10-08 一种基于RealSense的陪伴机器人的多模式交互方法

Country Status (1)

Country Link
CN (1) CN106648054B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255308A (zh) * 2018-02-11 2018-07-06 北京光年无限科技有限公司 一种基于虚拟人的手势交互方法及系统
CN109358747B (zh) * 2018-09-30 2021-11-30 平潭诚信智创科技有限公司 陪伴机器人控制方法、系统、移动终端及存储介质
CN109376669A (zh) * 2018-10-30 2019-02-22 南昌努比亚技术有限公司 智能助手的控制方法、移动终端及计算机可读存储介质
JP2020160725A (ja) * 2019-03-26 2020-10-01 株式会社東海理化電機製作所 音声対話装置、入力装置及び出力装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN202753154U (zh) * 2012-07-18 2013-02-27 深圳市中科睿成智能科技有限公司 一种用于交互的机器人装置
CN105034009A (zh) * 2015-09-22 2015-11-11 邱炳辉 机器人及控制方法
CN105468145A (zh) * 2015-11-18 2016-04-06 北京航空航天大学 一种基于手势和语音识别的机器人人机交互方法和装置
CN105721259A (zh) * 2016-01-29 2016-06-29 江西智能无限物联科技有限公司 智能交互机器人
CN105739703A (zh) * 2016-02-02 2016-07-06 北方工业大学 面向无线头戴显示设备的虚拟现实体感交互系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN202753154U (zh) * 2012-07-18 2013-02-27 深圳市中科睿成智能科技有限公司 一种用于交互的机器人装置
CN105034009A (zh) * 2015-09-22 2015-11-11 邱炳辉 机器人及控制方法
CN105468145A (zh) * 2015-11-18 2016-04-06 北京航空航天大学 一种基于手势和语音识别的机器人人机交互方法和装置
CN105721259A (zh) * 2016-01-29 2016-06-29 江西智能无限物联科技有限公司 智能交互机器人
CN105739703A (zh) * 2016-02-02 2016-07-06 北方工业大学 面向无线头戴显示设备的虚拟现实体感交互系统及方法

Also Published As

Publication number Publication date
CN106648054A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106648054B (zh) 一种基于RealSense的陪伴机器人的多模式交互方法
CN106985137B (zh) 用于智能机器人的多模态交互方法及系统
US11237635B2 (en) Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
US10146318B2 (en) Techniques for using gesture recognition to effectuate character selection
CN112162628A (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
Vajpai et al. Industrial applications of automatic speech recognition systems
Rodolitz et al. Accessibility of voice-activated agents for people who are deaf or hard of hearing
JP6810764B2 (ja) ヒューマンマシンインタラクションに使用される方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体
CN109101663A (zh) 一种基于互联网的机器人对话系统
CN112837401B (zh) 一种信息处理方法、装置、计算机设备及存储介质
CN109300469A (zh) 基于机器学习的同声传译方法及装置
Antunes et al. A framework to support development of sign language human-computer interaction: Building tools for effective information access and inclusion of the deaf
JP7405093B2 (ja) 情報処理装置および情報処理方法
CN104679733B (zh) 一种语音对话翻译方法、装置及系统
Liu Analysis of gender differences in speech and hand gesture coordination for the design of multimodal interface systems
CN109272983A (zh) 用于亲子教育的双语切换装置
TW200821894A (en) Voice control system and method for controlling computers
Kirkpatrick Technology for the deaf
Martínez et al. Multimodal system based on electrooculography and voice recognition to control a robot arm
CN104424942A (zh) 一种提高文字语音输入准确率的方法
CN209625781U (zh) 用于亲子教育的双语切换装置
Sreekanth et al. Multimodal interface for effective man machine interaction
CN113111664A (zh) 文本的生成方法、装置、存储介质及计算机设备
CN113782023A (zh) 一种基于程控指令的语音控制方法及系统
Du et al. Composite Emotion Recognition and Feedback of Social Assistive Robot for Elderly People

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant