CN108428453A - 一种基于唇语识别的智能终端操控系统 - Google Patents

一种基于唇语识别的智能终端操控系统 Download PDF

Info

Publication number
CN108428453A
CN108428453A CN201810256940.5A CN201810256940A CN108428453A CN 108428453 A CN108428453 A CN 108428453A CN 201810256940 A CN201810256940 A CN 201810256940A CN 108428453 A CN108428453 A CN 108428453A
Authority
CN
China
Prior art keywords
end equipment
main body
lip reading
controller
identifying system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810256940.5A
Other languages
English (en)
Inventor
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810256940.5A priority Critical patent/CN108428453A/zh
Publication of CN108428453A publication Critical patent/CN108428453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种基于唇语识别的智能终端操控系统，包括使用端设备和执行端设备，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7；在使用端设备中，语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别系统可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令；在执行端设备中，控制器6通过信息传递介质5接收识别系统信息，对执行端主体7进行控制；控制器6通过信息传递介质5将执行端设备周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3进行实时监控。

Description

一种基于唇语识别的智能终端操控系统
技术领域
本发明涉及唇语识别技术领域，尤其是通过唇语识别操控计算机、手机、机器人、智能车等智能终端设备的技术领域。
背景技术
目前语音识别技术已经得到普及，如人们可以很轻松地通过语音识别将声音转化为文字，输入到电脑，进行编辑、搜索等，大大提高了效率。但语音识别仍存在问题，当我们在公共场合使用语音识别时，可能会对别人造成干扰，还会受到噪声的干扰，也容易造成信息的泄露。因此，唇语识别技术可以很好地解决这类问题，此外，也能为语言障碍者提供帮助。
通过唇语识别操控计算机、手机、机器人、智能车等智能执行终端设备，也将是唇语识别技术的重要应用领域。
发明内容
本发明的目的在于提出一种基于唇语识别的智能终端操控系统。
本发明通过以下技术方案来描述一种基于唇语识别的智能终端操控系统，显然，所描述的技术方案是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于唇语识别的智能终端操控系统包括使用端设备和执行端设备，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7；信息传递介质5可为有线或无线方式；在使用端设备中，语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别系统可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令，识别系统，包括软、硬件系统，可以分布在使用端设备和执行端设备中，也可单独布置在使用端设备或执行端设备中；在执行端设备中，控制器6通过信息传递介质5接收识别系统信息，对执行端主体7进行控制，实现对执行端设备的操控；控制器6通过信息传递介质5将执行端设备周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3进行实时监控。
识别系统可同时对语音信息进行语音识别和对口型图像信息进行唇语识别，当两者识别结果一致时，识别系统向控制器6发出指令，对执行端主体7进行控制；当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对执行端主体7进行控制，该过程可使识别系统进行自学习，逐步提高准确性。
附图说明
附图1是一种基于唇语识别的智能终端操控系统结构图
1-使用端主体，2-语音接收装置，3-显示界面，4-视频采集装置，5-信号传递介质，6-控制器， 7-执行端主体
具体实施方式
结合附图1以唇语操控智能小车为例详细说明本发明。
一种基于唇语识别的智能终端操控系统包括使用端设备和执行端设备，执行端设备以智能小车为例，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7。
通过使用端设备语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别系统可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令，当两者识别结果一致时，识别系统向控制器6发出指令，对智能小车进行控制；当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对智能小车进行控制；作为一个实施例，执行端设备，即智能小车，可通过识别系统进行“前进”、“后退”、“停止”、“左转”、“右转”等控制。
控制器6通过信息传递介质5将智能小车周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3等人机界面进行实时监控。

Claims (5)

1.所述一种基于唇语识别的智能终端操控系统，其特征在于，基于唇语识别的智能终端操控系统包括使用端设备和执行端设备，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7；信息传递介质5可为有线或无线方式；在使用端设备中，语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别系统可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令，识别系统，包括软、硬件系统，可以分布在使用端设备和执行端设备中，也可单独布置在使用端设备或执行端设备中；在执行端设备中，控制器6通过信息传递介质5接收识别系统信息，对执行端主体7进行控制，实现对执行端设备的操控。
2.根据权利要求1所述识别系统，其特征在于，可同时对语音信息进行语音识别和对口型图像信息进行唇语识别，当两者识别结果一致时，识别系统向控制器6发出指令，对执行端主体7进行控制。
3.根据权利要求1所述识别系统，其特征在于，当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对执行端主体7进行控制。
4.根据权利要求1所述识别系统，其特征在于，当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对执行端主体7进行控制，通过该过程可使识别系统进行自学习，逐步提高准确性。
5.根据权利要求1所述识别系统，其特征在于，控制器6可通过信息传递介质5将执行端设备周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3进行实时监控。
CN201810256940.5A 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控系统 Pending CN108428453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810256940.5A CN108428453A (zh) 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810256940.5A CN108428453A (zh) 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控系统

Publications (1)

Publication Number Publication Date
CN108428453A true CN108428453A (zh) 2018-08-21

Family

ID=63159839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810256940.5A Pending CN108428453A (zh) 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控系统

Country Status (1)

Country Link
CN (1) CN108428453A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241907A (zh) * 2018-09-03 2019-01-18 北京旷视科技有限公司 标注方法、装置及电子设备
CN109377995A (zh) * 2018-11-20 2019-02-22 珠海格力电器股份有限公司 一种控制设备的方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制系统及其控制方法
CN102932212A (zh) * 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制系统
CN105278817A (zh) * 2014-05-30 2016-01-27 金兆栋 一种语音、唇语控制装置及控制方法
CN106875941A (zh) * 2017-04-01 2017-06-20 彭楚奥 一种服务机器人的语音语义识别方法
CN107239139A (zh) * 2017-05-18 2017-10-10 刘国华 基于正视的人机交互方法与系统
CN107702273A (zh) * 2017-09-20 2018-02-16 珠海格力电器股份有限公司 空调控制方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制系统及其控制方法
CN102932212A (zh) * 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制系统
CN105278817A (zh) * 2014-05-30 2016-01-27 金兆栋 一种语音、唇语控制装置及控制方法
CN106875941A (zh) * 2017-04-01 2017-06-20 彭楚奥 一种服务机器人的语音语义识别方法
CN107239139A (zh) * 2017-05-18 2017-10-10 刘国华 基于正视的人机交互方法与系统
CN107702273A (zh) * 2017-09-20 2018-02-16 珠海格力电器股份有限公司 空调控制方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241907A (zh) * 2018-09-03 2019-01-18 北京旷视科技有限公司 标注方法、装置及电子设备
CN109377995A (zh) * 2018-11-20 2019-02-22 珠海格力电器股份有限公司 一种控制设备的方法与装置

Similar Documents

Publication Publication Date Title
US20170060850A1 (en) Personal translator
US20150379896A1 (en) Intelligent eyewear and control method thereof
CN104410883A (zh) 一种移动可穿戴非接触式交互系统与方法
KR20170033641A (ko) 전자 장치 및 전자 장치의 동작 제어 방법
WO2018107489A1 (zh) 一种聋哑人辅助方法、装置以及电子设备
CN106440192A (zh) 一种家电控制方法、装置、系统及智能空调
JP6200369B2 (ja) 未知の話し手を識別するシステム
US11910852B2 (en) Facemask with automated voice display
US10453459B2 (en) Interpreting assistant system
US20210158802A1 (en) Voice processing method based on artificial intelligence
KR20160093529A (ko) 청각 장애인을 위한 착용형 장치
CN110097875A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN108428453A (zh) 一种基于唇语识别的智能终端操控系统
CN108073572A (zh) 信息处理方法及其装置、同声翻译系统
CN109117484A (zh) 一种语音翻译方法和语音翻译设备
CN105843395A (zh) 一种实现与电子设备交互的眼镜及交互方法
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
US20220180886A1 (en) Methods for clear call under noisy conditions
CN105118356A (zh) 一种手语语音转换方法及装置
CN205582480U (zh) 一种智能声控系统
US9554261B1 (en) Responding to a message generated by an event notification system
CN209571226U (zh) 一种语音识别装置及系统
CN111128180A (zh) 一种听力障碍者的辅助对话系统
CN111326175A (zh) 一种对话者的提示方法及穿戴设备
KR20160023226A (ko) 글라스형 웨어러블 디바이스를 이용한 글라스형 웨어러블 디바이스와 연동된 외부단말기 위치 탐색 시스템 및 탐색 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180821

WD01 Invention patent application deemed withdrawn after publication