CN104635927A - 互动显示系统及方法 - Google Patents

互动显示系统及方法 Download PDF

Info

Publication number
CN104635927A
CN104635927A CN201510040421.1A CN201510040421A CN104635927A CN 104635927 A CN104635927 A CN 104635927A CN 201510040421 A CN201510040421 A CN 201510040421A CN 104635927 A CN104635927 A CN 104635927A
Authority
CN
China
Prior art keywords
electronic installation
display system
speech
cartoon
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510040421.1A
Other languages
English (en)
Inventor
杨乃林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Futaihong Precision Industry Co Ltd
Original Assignee
Shenzhen Futaihong Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Futaihong Precision Industry Co Ltd filed Critical Shenzhen Futaihong Precision Industry Co Ltd
Priority to CN201510040421.1A priority Critical patent/CN104635927A/zh
Priority to US14/680,712 priority patent/US20160216944A1/en
Publication of CN104635927A publication Critical patent/CN104635927A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information

Abstract

本发明提供一种互动显示系统，其应用于电子装置，该互动显示系统包括：语音获取模块，用于接收语音命令并对语音命令进行预处理；语音识别模块，用于从语音命令中提取语音特征参数，并将提取到的语音特征参数与一预存的语音数据库比对，从而获得识别结果；执行模块，用于依据识别结果调用相应的带2D/3D卡通的动画数据，并通过电子装置显示该2D/3D卡通的动画。本发明还提供一种互动显示方法，该互动显示系统会根据采集到的语音命令，使2D/3D卡通作出相应的回应，功能较多且生动有趣。

Description

互动显示系统及方法
技术领域
本发明涉及电子装置的互动显示系统及方法。
背景技术
随着科技的发展，具有人机交互系统的智能电子设备（如智能手表或智能手机等）被广泛应用，但是这些人机交互系统大都功能比较单一，趣味性差，无法满足客户的需求。
发明内容
鉴于以上内容，有必要提供一种多功能的互动显示系统。
另，还有必要提供一种互动显示方法。
一种互动显示方法，其应用于电子装置，该互动显示方法包括：语音获取步骤，接收语音命令并对语音命令进行预处理；语音识别步骤，从语音命令中提取语音特征参数，并将提取到的语音特征参数与一预存的语音数据库比对，从而获得识别结果；执行步骤，依据识别结果调用相应的带2D/3D卡通的动画数据，并通过电子装置显示该2D/3D卡通的动画。
一种互动显示系统，其应用于电子装置，该互动显示系统包括：语音获取模块，用于接收语音命令并对语音命令进行预处理；语音识别模块，用于从语音命令中提取语音特征参数，并将提取到的语音特征参数与一预存的语音数据库比对，从而获得识别结果；执行模块，用于依据识别结果调用相应的带2D/3D卡通的动画数据，并通过电子装置显示该2D/3D卡通的动画。
上述的互动显示系统及方法通过语音获取模块接收语音命令，通过语音识别模块比对语音特征参数及语音数据库以获得识别结果，并通过执行模块调用相应的带2D/3D卡通的动画数据和/或语音数据。如此，该互动显示系统会根据采集到的语音命令，使2D/3D卡通作出相应的回应，功能较多且生动有趣。
附图说明
图1是本发明较佳实施例的互动显示系统的运行环境示意图；
图2是本发明较佳实施例的互动显示方法的流程图。
主要元件符号说明
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
如图1所示，是本发明互动显示系统的运行环境示意图。该互动显示系统10运行于电子装置1中。该电子装置1还包括触控屏11、存储器12、处理器13以及麦克风14。
在本实施例中，所述触控屏11支持触控操作，例如，该触控屏11可为支持多点触控操作的电容式触控屏或电阻式触控屏等。支持触控操作是指触控屏11能感应到来自该触控屏11上产生的触控操作，并将该感应到的触控操作交由处理器13进行处理。所述存储器12可以是所述电子装置1的内存，还可以是可外接于该电子装置1的存储卡，如智能媒体卡（Smart Media Card，SM卡）、安全数字卡（Secure Digital Card，SD卡）等随机存取存储器(Random-Access Memory，RAM)。所述处理器13可为单片机或其他微型集成电路。所述麦克风14与处理器13电性连接，用于采集用户的语音命令。
所述互动显示系统10包括语音获取模块101、语音识别模块102、以及执行模块103。该互动显示系统10可固化在电子装置1的操作系统中，也可存储在所述存储器12中，并由所述处理器13执行。该电子装置1可以是，但不限于，智能手表、平板电脑、智能手机、PDA、移动上网设备等包含所述麦克风14的便携式移动装置。优选地，该电子装置1为包含麦克风14的智能手表。
所述语音获取模块101用于接收由麦克风14传送的语音命令。并且，该语音获取模块101还用于对语音命令进行预处理，例如包括语音命令采样、反混叠带通滤波、去除用户个体发音差异和设备、环境引起的噪声影响等。
所述语音识别模块102用于从经语音获取模块101处理后的语音命令中提取语音特征参数，如短时平均幅度、短时平均能量、线性预测编码系数、短时频谱等。并且，该语音识别模块102还用于将提取到的语音特征参数与一语音数据库比对，从而获得识别结果。优选地，该语音数据库预存于所述存储器12中。
所述执行模块103依据语音识别模块102的识别结果从存储器12中调用相应的带2D/3D卡通的动画数据，并可选择地调用相应的语音数据等。需要说明的是，上述的带2D/3D卡通的动画数据和语音数据与识别结果均一一对应，并且可被擦写地预存于存储器12中。例如，当用户发出的语音命令为“打开文档”，则该执行模块103从存储器12中调用与该“打开文档”相应的2D/3D卡通的动画数据，从而于所述触控屏11上显示该2D/3D卡通的动画。在此过程中，该2D/3D卡通的动画可以表征为双击文档的动作，以便与用户互动。又如，当用户发出的语音命令为“你的名字叫什么”，则该执行模块103从存储器12中调用与该“你的名字叫什么”相应的2D/3D卡通的动画数据和语音数据，从而于所述触控屏11上显示该2D/3D卡通的动画，并通过电子装置1的扬声器（图未示）语音播报该2D/3D卡通的名字。在此过程中，该2D/3D卡通的动画可以表征为自我介绍的动作。
可以选择的，该互动显示系统10还包括一模式设定模块104。该模式设定模块104用于设定电子装置1工作于动画模式或语音模式。当电子装置1被模式设定模块104设定为动画模式时，该执行模块103仅提取并执行与语音命令对应的带2D/3D卡通的动画数据。当电子装置1被模式设定模块104设定为语音模式时，该执行模块103可同时调用并执行与语音命令对应的带2D/3D卡通的动画数据和语音数据。显然，通过该模式设定模块104，用户可以自主选择是否需要启动电子装置1的语音播报功能，从而适用于特定的公共场合。通常地，该模式设定模块104可生成“动画模式”及“语音模式”两个对话框，并通过触控屏11显示以供用户选择。
如图2所示，是本发明的电子装置1的互动显示方法的较佳实施例的流程图示。
步骤S1，设定电子装置1的工作模式。具体地，模式设定模块104生成“动画模式”及“语音模式”两个对话框，用户选择不同的对话框以控制电子装置1处于动画模式或语音模式。
步骤S2，获取语音命令并对语音命令进行预处理。具体地，所述麦克风14采集用户的语音命令，所述语音获取模块101接收并预处理由麦克风14传送的语音命令。
步骤S3，从语音命令中提取语音特征参数，并获得识别结果。具体地，所述语音识别模块102从经语音获取模块101处理后的语音命令中提取语音特征参数，并将提取到的语音特征参数与语音数据库比对，从而获得识别结果。
步骤S4，依据识别结果调用相应的带2D/3D卡通的动画数据，并可选择地调用相应的语音数据。当电子装置1处于动画模式时，所述执行模块103仅调用并执行与语音命令对应的带2D/3D卡通的动画数据。当电子装置1处于语音模式时，该执行模块103可同时调用并执行与语音命令对应的带2D/3D卡通的动画数据和语音数据。
可以理解，上述的步骤S1也可省略，电子装置1默认开机处于语音模式。
由于本发明的互动显示系统10可显示2D/3D卡通的动画，当设计的2D/3D卡通的外形为卡通动物时，随着语音体系变化还可以应用在独生子女家庭，以儿童机器人身份陪伴儿童日常生活，使得孩子不再孤单。当设计的2D/3D卡通的外形为卡通人物时，随着语音体系变化应用在孤寡老人家庭，以老年机器人伴侣身份陪伴老年人日常生活，每天有人陪老人说话，减少老年人的孤独症疾病发生。
本发明的互动显示系统10及方法通过语音获取模块101接收语音命令，通过语音识别模块102比对语音特征参数及语音数据库以获得识别结果，并通过执行模块103调用相应的带2D/3D卡通的动画数据和/或语音数据。如此，该互动显示系统10会根据采集到的语音以及触摸命令，使2D/3D卡通作出相应的回应以便与用户互动，该互动显示系统10功能较多且生动有趣。

Claims (10)

1.一种互动显示方法，其应用于电子装置，其特征在于，该互动显示方法包括：
语音获取步骤，接收语音命令并对语音命令进行预处理；
语音识别步骤，从语音命令中提取语音特征参数，并将提取到的语音特征参数与一预存的语音数据库比对，从而获得识别结果；
执行步骤，依据识别结果调用相应的带2D/3D卡通的动画数据，并通过电子装置显示该2D/3D卡通的动画。
2.如权利要求1所述的互动显示方法，其特征在于：所述互动显示方法还包括设定电子装置的工作模式的步骤，所述电子装置的工作模式包括动画模式和及语音模式。
3.如权利要求2所述的互动显示方法，其特征在于：当电子装置处于动画模式时，所述执行步骤包括仅调用并执行带2D/3D卡通的动画数据；当电子装置处于语音模式时，所述执行步骤包括同时调用并执行带2D/3D卡通的动画数据和与识别结果对应的语音数据。
4.一种互动显示系统，其应用于电子装置，其特征在于，该互动显示系统包括：
语音获取模块，用于接收语音命令并对语音命令进行预处理；
语音识别模块，用于从语音命令中提取语音特征参数，并将提取到的语音特征参数与一预存的语音数据库比对，从而获得识别结果；
执行模块，用于依据识别结果调用相应的带2D/3D卡通的动画数据，并通过电子装置显示该2D/3D卡通的动画。
5.如权利要求4所述的互动显示系统，其特征在于：所述互动显示系统还包括模式设定模块，所述模式设定模块用于设定电子装置的工作模式，所述电子装置的工作模式包括动画模式和及语音模式。
6.如权利要求5所述的互动显示系统，其特征在于：当电子装置处于动画模式时，所述执行模块仅调用并执行带2D/3D卡通的动画数据；当电子装置处于语音模式时，所述执行模块同时调用并执行带2D/3D卡通的动画数据和与识别结果对应的语音数据。
7.如权利要求4所述的互动显示系统，其特征在于：所述电子装置为智能手表。
8.如权利要求4所述的互动显示系统，其特征在于：所述电子装置还包括麦克风，所述语音获取模块用于接收由麦克风传送的语音命令。
9.如权利要求4所述的互动显示系统，其特征在于：所述电子装置还存储器和处理器，所述互动显示系统存储在所述存储器中，并由所述处理器执行。
10.如权利要求4所述的互动显示系统，其特征在于：所述电子装置还包括触控屏，所述2D/3D卡通的动画通过所述触控屏显示。
CN201510040421.1A 2015-01-27 2015-01-27 互动显示系统及方法 Pending CN104635927A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510040421.1A CN104635927A (zh) 2015-01-27 2015-01-27 互动显示系统及方法
US14/680,712 US20160216944A1 (en) 2015-01-27 2015-04-07 Interactive display system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510040421.1A CN104635927A (zh) 2015-01-27 2015-01-27 互动显示系统及方法

Publications (1)

Publication Number Publication Date
CN104635927A true CN104635927A (zh) 2015-05-20

Family

ID=53214774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510040421.1A Pending CN104635927A (zh) 2015-01-27 2015-01-27 互动显示系统及方法

Country Status (2)

Country Link
US (1) US20160216944A1 (zh)
CN (1) CN104635927A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678918A (zh) * 2016-01-04 2016-06-15 上海斐讯数据通信技术有限公司 一种语音存取件方法及装置
CN106791789A (zh) * 2016-11-28 2017-05-31 深圳哈乐派科技有限公司 一种3d影像展示方法及一种机器人
CN106910506A (zh) * 2017-02-23 2017-06-30 广东小天才科技有限公司 一种通过声音模仿识别人物角色的方法及装置
WO2018023316A1 (zh) * 2016-07-31 2018-02-08 李仁涛 会作画的早教机
US10474417B2 (en) 2017-07-20 2019-11-12 Apple Inc. Electronic device with sensors and display devices
CN112034986A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 基于ar的交互方法、终端设备以及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229641A (zh) * 2017-12-20 2018-06-29 广州创显科教股份有限公司 一种基于多层代理的人工智能分析系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1372660A (zh) * 2000-03-09 2002-10-02 皇家菲利浦电子有限公司 与消费电子系统进行交互的方法
US6650889B1 (en) * 1997-07-22 2003-11-18 Orange Personal Communications Services Ltd. Mobile handset with browser application to be used to recognize textual presentation
CN1916992A (zh) * 2005-08-19 2007-02-21 陈修志 交互式学习机及其运作方法
CN101715018A (zh) * 2009-11-03 2010-05-26 沈阳晨讯希姆通科技有限公司 手机功能的语音控制方法
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统
CN102750125A (zh) * 2011-04-19 2012-10-24 无锡天堂软件技术有限公司 基于语音的控制方法与控制系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682469A (en) * 1994-07-08 1997-10-28 Microsoft Corporation Software platform having a real world interface with animated characters
US6466232B1 (en) * 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US6377928B1 (en) * 1999-03-31 2002-04-23 Sony Corporation Voice recognition for animated agent-based navigation
US20030004720A1 (en) * 2001-01-30 2003-01-02 Harinath Garudadri System and method for computing and transmitting parameters in a distributed voice recognition system
US6791529B2 (en) * 2001-12-13 2004-09-14 Koninklijke Philips Electronics N.V. UI with graphics-assisted voice control system
US7966188B2 (en) * 2003-05-20 2011-06-21 Nuance Communications, Inc. Method of enhancing voice interactions using visual messages
US20050044500A1 (en) * 2003-07-18 2005-02-24 Katsunori Orimoto Agent display device and agent display method
BRPI0413407A (pt) * 2003-08-26 2006-10-10 Clearplay Inc método e processador de controle da reprodução de um sinal de áudio
US7983920B2 (en) * 2003-11-18 2011-07-19 Microsoft Corporation Adaptive computing environment
US20080038707A1 (en) * 2005-06-20 2008-02-14 Sports Learningedge Llc Multi-modal learning system, apparatus, and method
US8290543B2 (en) * 2006-03-20 2012-10-16 Research In Motion Limited System and methods for adaptively switching a mobile device's mode of operation
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
EP1933303B1 (en) * 2006-12-14 2008-08-06 Harman/Becker Automotive Systems GmbH Speech dialog control based on signal pre-processing
US8195430B2 (en) * 2009-03-31 2012-06-05 Microsoft Corporation Cognitive agent
US9575963B2 (en) * 2012-04-20 2017-02-21 Maluuba Inc. Conversational agent
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9310957B2 (en) * 2013-03-07 2016-04-12 Tencent Technology (Shenzhen) Company Limited Method and device for switching current information providing mode
US9134952B2 (en) * 2013-04-03 2015-09-15 Lg Electronics Inc. Terminal and control method thereof
US20150302856A1 (en) * 2014-04-17 2015-10-22 Qualcomm Incorporated Method and apparatus for performing function by speech input
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3480811A1 (en) * 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9462112B2 (en) * 2014-06-19 2016-10-04 Microsoft Technology Licensing, Llc Use of a digital assistant in communications
US9613624B1 (en) * 2014-06-25 2017-04-04 Amazon Technologies, Inc. Dynamic pruning in speech recognition
US20160021105A1 (en) * 2014-07-15 2016-01-21 Sensory, Incorporated Secure Voice Query Processing
US9837081B2 (en) * 2014-12-30 2017-12-05 Microsoft Technology Licensing, Llc Discovering capabilities of third-party voice-enabled resources

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6650889B1 (en) * 1997-07-22 2003-11-18 Orange Personal Communications Services Ltd. Mobile handset with browser application to be used to recognize textual presentation
CN1372660A (zh) * 2000-03-09 2002-10-02 皇家菲利浦电子有限公司 与消费电子系统进行交互的方法
CN1916992A (zh) * 2005-08-19 2007-02-21 陈修志 交互式学习机及其运作方法
CN101715018A (zh) * 2009-11-03 2010-05-26 沈阳晨讯希姆通科技有限公司 手机功能的语音控制方法
CN102750125A (zh) * 2011-04-19 2012-10-24 无锡天堂软件技术有限公司 基于语音的控制方法与控制系统
CN102354349A (zh) * 2011-10-26 2012-02-15 华中师范大学 提高孤独症儿童社会互动能力的人机互动多模态早期干预系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678918A (zh) * 2016-01-04 2016-06-15 上海斐讯数据通信技术有限公司 一种语音存取件方法及装置
WO2018023316A1 (zh) * 2016-07-31 2018-02-08 李仁涛 会作画的早教机
CN106791789A (zh) * 2016-11-28 2017-05-31 深圳哈乐派科技有限公司 一种3d影像展示方法及一种机器人
CN106910506A (zh) * 2017-02-23 2017-06-30 广东小天才科技有限公司 一种通过声音模仿识别人物角色的方法及装置
US10474417B2 (en) 2017-07-20 2019-11-12 Apple Inc. Electronic device with sensors and display devices
US11150692B2 (en) 2017-07-20 2021-10-19 Apple Inc. Electronic device with sensors and display devices
US11609603B2 (en) 2017-07-20 2023-03-21 Apple Inc. Electronic device with sensors and display devices
CN112034986A (zh) * 2020-08-31 2020-12-04 深圳传音控股股份有限公司 基于ar的交互方法、终端设备以及可读存储介质

Also Published As

Publication number Publication date
US20160216944A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
CN104635927A (zh) 互动显示系统及方法
WO2021082941A1 (zh) 视频人物识别方法、装置、存储介质与电子设备
US20150128044A1 (en) Mobile terminal and control method thereof
CN104468959A (zh) 移动终端通话过程中显示图像的方法、装置及移动终端
CN103730120A (zh) 电子设备的语音控制方法及系统
US20170249934A1 (en) Electronic device and method for operating the same
CN104050966A (zh) 终端设备的语音交互方法和使用该方法的终端设备
CN108847221B (zh) 语音识别方法、装置、存储介质及电子设备
CN103631506A (zh) 基于终端的阅读方法及相应的终端
WO2014004865A1 (en) System for adaptive delivery of context-based media
CN105549841A (zh) 一种语音交互方法、装置及设备
CN103366745A (zh) 基于语音识别保护终端设备的方法及其终端设备
CN104866308A (zh) 一种场景图像的生成方法及装置
CN106302933A (zh) 通话语音信息处理方法及终端
CN112420069A (zh) 一种语音处理方法、装置、机器可读介质及设备
WO2021184837A1 (zh) 诈骗电话的识别方法、装置、存储介质及终端
CN102299934A (zh) 一种基于云模式和语音识别的语音输入方法
US20190199939A1 (en) Suggestion of visual effects based on detected sound patterns
CN106302972A (zh) 语音使用的提示方法以及终端设备
CN113033245A (zh) 一种功能调节方法、装置、存储介质及电子设备
CN110827824B (zh) 语音处理方法、装置、存储介质及电子设备
CN108322770B (zh) 视频节目识别方法、相关装置、设备和系统
AU2015100672A4 (en) Full-voice interaction system for mobile intelligent devices
CN103095927A (zh) 基于移动通讯终端及眼镜的显示及语音输出方法及系统
CN105869636A (zh) 一种语音识别装置及其方法、一种智能电视及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150520

WD01 Invention patent application deemed withdrawn after publication