CN111191544A - 一种体感动作识别设备主动移动服务方法及系统 - Google Patents
一种体感动作识别设备主动移动服务方法及系统 Download PDFInfo
- Publication number
- CN111191544A CN111191544A CN201911329927.9A CN201911329927A CN111191544A CN 111191544 A CN111191544 A CN 111191544A CN 201911329927 A CN201911329927 A CN 201911329927A CN 111191544 A CN111191544 A CN 111191544A
- Authority
- CN
- China
- Prior art keywords
- user
- recognition
- voice
- service
- needs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Abstract
本发明公开一种体感动作识别设备主动移动服务方法及系统。方法包括步骤：在预定范围内检测到用户后，检测用户手部动作，在检测到用户手部预定动作时，开启微表情识别以及语音识别，播报询问是否需要提供服务语音，通过识别用户的微表情、唇型以及语音，识别判断用户是否需服务，若是，则锁定用户的位置，并移动到用户面前进行服务。本发明解决了在通过体感识别、微表情识别、语音识别能够远程通过用户招手及语音命令达到设备主动移动到用户面前提供服务的效果，增强了客户体验度。
Description
技术领域
本发明涉及智能交互技术领域，特别是涉及一种体感动作识别设备主动移动服务方法和系统。
背景技术
随着实体服务机器人、智能交互机具的的广泛应用，在复杂环境中，智能交互系统无法高效让设备识别用户需求，需要被动等待用户走到设备面前进行操作，从而降低了用户体验度。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种体感动作识别设备主动移动服务方法和系统，是一种能识别用户招手动作进行主动移动上前服务的方法及系统。
为实现本发明的目的所采用的技术方案是：
一种体感动作识别设备主动移动服务方法，包括步骤：
在预定范围内检测到用户后，检测用户手部动作，在检测到用户手部预定动作时，开启微表情识别以及语音识别，播报询问是否需要提供服务语音，通过识别用户的微表情、唇型以及语音，识别判断用户是否需服务，若是，则锁定用户的位置，并移动到用户面前进行服务。
进一步的，所述移动到用户面前进行服务前，启动运动系统以及避障系统。
进一步的，识别用户不需要服务时则继续保持可视范围内用户动作识别。
本发明的目的还在于提供一种体感动作识别设备主动移动系统，包括主控系统以及与所述主控系统连接的摄像模块、语音模块，语音识别库、微表情识别库以及动作人判断库，所述摄像模块包括摄像头以及深度摄像头，所述语音模块包括麦克风阵列以及喇叭；
所述深度摄像头，用于捕捉用户面向设备的招手动作，联动开启语音识别、微表情识别以及唇语识别，联动语音模块播报询问是否需要提供服务语音；
所述摄像头，用于捕捉用户微表情、口型以进行微表情识别与唇语识别，以配合语音识别结果配合确认用户是否需要提供服务；
通过所述深度摄像头识别用户招手动作后，开启语音识别、微表情识别以及唇语识别，通过识别用户语音、微表情、唇语确认是否需要提供服务；如确认需要，则锁定用户位置，主动到达用户面前提供服务。
本发明解决了在通过体感识别、微表情识别、语音识别能够远程通过用户招手及语音命令达到设备主动移动到用户面前提供服务的效果，增强了客户体验度。
附图说明
图1是体感动作识别设备主动移动服务方法的流程图；
图2是体感动作识别设备主动移动服务系统的结构原理图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明通过设备识别用户招手动作，设备询问用户是否需要提供服务，通过语音识别、微表情识别、唇语识别确认用户需求；如需要提供服务设备启动运动系统、避障系统，深度摄像头锁定用户位置移动到用户面前提供服务。
如图1所示，本发明一种体感动作识别设备主动移动服务方法，包括步骤：
在预定范围内检测到用户后，检测用户手部动作，在检测到用户手部预定动作时，开启微表情识别以及语音识别，播报询问是否需要提供服务语音，通过识别用户的微表情、唇型以及语音，识别判断用户是否需服务，若是，则锁定用户的位置，并移动到用户面前进行服务。
进一步的，所述移动到用户面前进行服务前，启动运动系统以及避障系统。
进一步的，识别用户不需要服务时则继续保持可视范围内用户动作识别。
本发明的目的还在于提供一种体感动作识别设备主动移动系统，包括主控系统以及与所述主控系统连接的摄像模块、语音模块，语音识别库、微表情识别库以及动作人判断库，所述摄像模块包括摄像头以及深度摄像头，所述语音模块包括麦克风阵列以及喇叭；
所述深度摄像头，用于捕捉用户面向设备的招手动作，联动开启语音识别、微表情识别以及唇语识别，联动语音模块播报询问是否需要提供服务语音；
所述摄像头，用于捕捉用户微表情、口型以进行微表情识别与唇语识别，以配合语音识别结果配合确认用户是否需要提供服务；
所述麦克风阵列，用于采集外部音频，然后通过语音识别库进行识别音频信息，所述喇叭，用于输出语音信息，与用户交互；
通过所述深度摄像头识别用户招手动作后，开启语音识别、微表情识别以及唇语识别，通过识别用户语音、微表情、唇语确认是否需要提供服务；如确认需要后，则通过深度摄像头锁定用户位置，主动到达用户面前提供服务。
本发明解决了在通过体感识别、微表情识别、语音识别能够远程通过用户招手及语音命令达到设备主动移动到用户面前提供服务的效果，增强了客户体验度。本发明解决了在复杂环境中能够让用户以更加便捷的方式让机器人上前提供服务，增强了客户体验度。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种体感动作识别设备主动移动服务方法，其特征在于，包括步骤：
在预定范围内检测到用户后，检测用户手部动作，在检测到用户手部预定动作时，开启微表情识别以及语音识别，播报询问是否需要提供服务语音，通过识别用户的微表情、唇型以及语音，识别判断用户是否需服务，若是，则锁定用户的位置，并移动到用户面前进行服务。
2.根据权利要求1所述体感动作识别设备主动移动服务方法，其特征在于，所述移动到用户面前进行服务前，启动运动系统以及避障系统。
3.根据权利要求1所述体感动作识别设备主动移动服务方法，其特征在于，识别用户不需要服务时则继续保持可视范围内用户动作识别。
4.一种体感动作识别设备主动移动系统，其特征在于，包括主控系统以及与所述主控系统连接的摄像模块、语音模块，语音识别库、微表情识别库以及动作人判断库，所述摄像模块包括摄像头以及深度摄像头，所述语音模块包括麦克风阵列以及喇叭；
所述深度摄像头，用于捕捉用户面向设备的招手动作，联动开启语音识别、微表情识别以及唇语识别，联动语音模块播报询问是否需要提供服务语音；
所述摄像头，用于捕捉用户微表情、口型以进行微表情识别与唇语识别，以配合语音识别结果配合确认用户是否需要提供服务；
通过所述深度摄像头识别用户招手动作后，开启语音识别、微表情识别以及唇语识别，通过识别用户语音、微表情、唇语确认是否需要提供服务；如确认需要，则锁定用户位置，主动到达用户面前提供服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911329927.9A CN111191544A (zh) | 2019-12-20 | 2019-12-20 | 一种体感动作识别设备主动移动服务方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911329927.9A CN111191544A (zh) | 2019-12-20 | 2019-12-20 | 一种体感动作识别设备主动移动服务方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111191544A true CN111191544A (zh) | 2020-05-22 |
Family
ID=70707463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911329927.9A Pending CN111191544A (zh) | 2019-12-20 | 2019-12-20 | 一种体感动作识别设备主动移动服务方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191544A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968628A (zh) * | 2020-08-22 | 2020-11-20 | 彭玲玲 | 一种用于语音指令捕捉的信号精确度调节系统及方法 |
-
2019
- 2019-12-20 CN CN201911329927.9A patent/CN111191544A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968628A (zh) * | 2020-08-22 | 2020-11-20 | 彭玲玲 | 一种用于语音指令捕捉的信号精确度调节系统及方法 |
| CN111968628B (zh) * | 2020-08-22 | 2021-06-25 | 南京硅基智能科技有限公司 | 一种用于语音指令捕捉的信号精确度调节系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11037561B2 (en) | Method and apparatus for voice interaction control of smart device | |
| CN106024003B (zh) | 结合图像的语音定位和增强系统及方法 | |
| US10529360B2 (en) | Speech enhancement method and apparatus for same | |
| US20190057696A1 (en) | Information processing apparatus, information processing method, and program | |
| US20150331490A1 (en) | Voice recognition device, voice recognition method, and program | |
| WO2015154419A1 (zh) | 一种人机交互装置及方法 | |
| JP2005059170A (ja) | 情報収集ロボット | |
| CN105635776B (zh) | 虚拟操作界面遥控控制方法及系统 | |
| CN103295029A (zh) | 手势控制终端的交互方法及装置 | |
| CN105912128A (zh) | 面向智能机器人的多模态交互数据处理方法及装置 | |
| CN104269172A (zh) | 基于视频定位的语音控制方法和系统 | |
| CN105022470A (zh) | 一种基于唇读的终端操作方法及装置 | |
| CN111191544A (zh) | 一种体感动作识别设备主动移动服务方法及系统 | |
| US20230229387A1 (en) | Providing audio information with a digital assistant | |
| CN104065949A (zh) | 一种电视虚拟触控方法及系统 | |
| CN113488043B (zh) | 乘员说话检测方法及装置、电子设备和存储介质 | |
| CN110657561A (zh) | 空调器及其语音指令识别方法、控制装置和可读存储介质 | |
| CN103716446B (zh) | 一种提高移动终端通话音质的方法及装置 | |
| KR101688164B1 (ko) | 차량 단말 장치 및 이의 제어방법 | |
| US20140218516A1 (en) | Method and apparatus for recognizing human information | |
| JP4468777B2 (ja) | 脚式歩行ロボットの制御装置 | |
| KR20130064270A (ko) | 인간로봇상호작용 통합 프레임워크 장치 및 그를 이용하는 인간로봇상호작용 서비스 제공 방법 | |
| CN212445232U (zh) | 一种导盲机器人 | |
| CN115464049A (zh) | 一种斜楔整形方法、电子设备和存储介质 | |
| CN117784102A (zh) | 超声波雷达控制方法、装置、自移动设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200522 |