CN103034323A - 人机互动系统和方法 - Google Patents

Abstract

本发明是有关于一种人机互动系统和方法。其中的方法包括：实时摄取图像，并拾取声音信号；从图像中提取用户手部轮廓信息；根据该用户手部轮廓信息确定用户的手部姿势；将该手部姿势在预先存储的手部姿势与控制设备的输入信息的对应关系信息中匹配查找，以确定用户的手部姿势对应的控制设备的输入信息；对声音信号进行语音识别处理，并从语音识别处理结果中提取关键词；在确定出的上述查找到的输入信息与所述关键词相匹配时，根据确定出的输入信息或者关键词执行相应的操作。本发明提供的技术方案能够基于手部姿势信息和语音实现人机互动，从而使人机互动的实现方式多元化，非常适于实用。

Description

人机互动系统和方法

技术领域

本发明涉及一种人机互动技术，特别是涉及一种人机互动系统和方法。

背景技术

人机互动技术已广泛应用于人们的日常生活和工作中。例如，体感游戏以及电器设备的控制等等。尤其是人机互动技术中的体感游戏由于其兼有健身和娱乐的目的而倍受人们的喜爱。

目前现有的人机互动技术通常是基于控制设备来实现的，例如，体感游戏通常是通过计算机和体感控制装置来实现或者是通过电视机、机顶盒以及体感控制装置来实现。体感控制装置如游戏手柄等，体感控制装置通常会被用户单手或者双手握于手中，并进行控制操作。

发明人在实现本发明过程中发现：人机互动中的控制设备通常是一个物理实体设备，且通常由多个按键、摇杆、光源、重力加速度传感器以及小屏幕等元件组成。然而，目前人机互动技术已经可以不限于物理的实体设备来实现了，而且，现有的人机互动的实现方式有待于进一步的丰富。

有鉴于上述现有的人机互动技术存在的需求，本发明人基于从事此类产品设计制造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种新的人机互动系统和方法，能够满足现有的人机互动技术存在的需求，使其更具有实用性。经过不断的研究设计，并经过反复试作样品及改进后，终于创设出确具实用价值的本发明。

发明内容

本发明的目的在于，满足人机互动技术存在的需求，而提供一种新的人机互动系统和方法，所要解决的技术问题是，使人机互动技术的实现方式多元化，非常适于实用。

本发明的目的以及解决其技术问题可以采用以下的技术方案来实现。

依据本发明提出的一种人机互动系统，所述人机互动系统包括：视频捕捉装置、声音捕捉装置和控制装置；所述视频捕捉装置，用于实时摄取图像，并输出；所述声音捕捉装置，用于拾取声音信号，并输出；所述控制装置包括：接收模块，用于接收所述视频捕捉装置传输来的图像；手部提取模块，用于从接收模块接收到的图像中提取用户手部轮廓信息，并根据所述手部轮廓信息确定用户的手部姿势；存储模块，用于预先存储手部姿势与控制设备的输入信息的对应关系信息；控制模块，用于将手部提取模块确定的手部姿势在所述存储模块中存储的对应关系信息中进行匹配查找，以确定手部提取模块确定出的手部姿势对应的控制装置的输入信息；语音识别模块，用于对所述声音捕捉装置拾取的声音信号进行语音识别处理；关键词模块，用于从所述语音识别模块的语音识别处理结果中提取关键词，并输出所述关键词；执行模块，用于在所述控制模块确定出的输入信息与所述关键词相匹配时，根据所述控制模块确定出的输入信息或所述关键词执行相应的操作。

本发明的目的以及解决其技术问题还可以采用以下的技术措施来进一步实现。

较佳的，前述的人机互动系统，其中所述视频捕捉装置和所述声音捕捉装置与所述控制装置集成设置于同一电子设备中。

较佳的，前述的人机互动系统，其中所述电子设备包括：计算机、游戏机、移动电话、平板电脑、机顶盒、电视机顶盒一体机或者电视机。

较佳的，前述的人机互动系统，其中所述视频捕捉装置和/或声音捕捉装置与所述控制装置独立分离设置。

较佳的，前述的人机互动系统，其中所述控制装置设置于计算机、游戏机、移动电话、平板电脑、机顶盒、电视机顶盒一体机或者电视机中。

本发明还提供一种人机互动方法，所述方法包括：实时摄取图像，并拾取声音信号；从所述摄取的图像中提取用户手部轮廓信息；根据所述手部轮廓信息确定用户的手部姿势；将所述手部姿势在预先存储的手部姿势与控制设备的输入信息的对应关系信息中匹配查找，以确定所述用户的手部姿势对应的控制设备的输入信息；对所述声音信号进行语音识别处理；从所述语音识别处理结果中提取关键词；在所述确定出的输入信息与所述关键词相匹配时，根据所述确定出的输入信息或者所述关键词执行相应的操作。

借由上述技术方案，本发明的人机互动系统和方法至少具有下列优点及有益效果：本发明通过利用视频捕捉装置摄取图像、手部提取模块确定摄取的图像中的用户手部图像并确定用户的手部姿势信息，使控制模块可以根据该手部姿势信息和存储模块中存储的对应关系确定出控制装置的输入信息，而且，在该确定出的输入信息与采集的声音信号中的关键词一致时，执行模块执行相应的操作，实现了基于手部姿势信息和语音的人机互动，从而使人机互动的实现方式多元化，非常适于实用。

综上所述，本发明在技术上有显著的进步，具有明显的积极效果，诚为一新颖、进步、实用的新设计。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图详细说明如下。

附图说明

图1为本发明的人机互动系统示意图；

图2为本发明的人机互动方法流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的人机互动系统和方法其具体实施方式、结构、特征、流程及其功效，详细说明如后。

实施例一、人机互动系统。该系统如附图1所示。

图1示出的人机互动系统包括：视频捕捉装置1、声音捕捉装置2以及控制装置3。其中的控制装置3包括：接收模块31、手部提取模块32、存储模块33、控制模块34、语音识别模块35、关键词模块36以及执行模块37。其中的接收模块31与手部提取模块32连接，控制模块34与手部提取模块32、存储模块33以及执行模块37均连接，语音识别模块35与声音捕捉装置2和关键词模块36均连接，执行模块37与控制模块34和关键词模块36均连接。

视频捕捉装置1主要用于实时摄取图像，并将其摄取到的图像向控制装置3发送。这里的实时摄取如视频捕捉装置1按照预定采样频率进行图像采样。该视频捕捉装置1可以与控制装置3集成设置，也可以与控制装置3相互分离独立设置。在视频捕捉装置1与控制装置3相互分离独立设置的情况下，视频捕捉装置1可以与控制装置3采用有线连接方式连接或者采用无线连接方式连接，即视频捕捉装置通过有线或者无线的方式将其摄取到的图像传输给控制装置3。

视频捕捉装置1可以采用现有的摄像头、以及摄像机等摄像设备，如RGB彩色摄像头或者3D深度感应器等。本发明不限制视频捕捉装置1的具体类型。

声音捕捉装置2主要用于拾取声音，即拾取对话方发出的声音。声音捕捉装置2将拾取到的声音的音频信号输出至语音识别模块35。声音捕捉装置2可以具体表现为麦克风、或者耳麦等形式。

控制装置3主要用于根据视频捕捉装置1实时摄取的图像、以及其预先存储的手部姿势信息与控制装置的输入信息的对应关系信息确定出摄取到的图像中显示出的用户的手部姿势信息对应的控制装置的输入信息，控制装置3通过对声音捕捉装置2拾取的声音信号进行语音识别以及关键词提取处理，并在确定出的输入信息与提取出的关键词一致时执行相应的操作，从而实现了同时基于用户手部姿势和语音的人机互动。

由于本发明提供的人机互动系统仅仅是基于用户的手部姿势和语音来实现人机互动，因此，用户完全可以坐在桌前或者站在桌前或者位于其它近距离的地方来进行人机互动如体感游戏或者设备控制等，从而可以实现近距离体感游戏，并可以使用户在游戏过程中同时进行手部和语言的反应训练，增强用户对身体锻炼的兴趣。

控制装置3中的接收模块31主要用于接收视频捕捉装置1传输来的图像序列。在视频捕捉装置1与控制装置3独立分离设置的情况下，接收模块31可以通过有线或者无线方式接收到视频捕捉装置1传输来的图像。一个具体的例子：接收模块31可以通过蓝牙、2.4GHz、WIFI、红外传输、以及USB等传输方式接收视频捕捉装置1传输来的图像，即接收模块31可以为蓝牙模块、2.4GHz模块、WIFI模块、红外模块、或者USB模块。在视频捕捉装置1与控制装置3集成设置在同一电子设备的情况下，接收模块31可以为缓存介质。本发明不限制接收模块31的具体实现方式。

控制装置3中的手部提取模块32主要用于从接收模块31接收到的图像中提取用户的手部图像，并进一步判断出该手部图像对应的手部姿势信息(如OK手势或者剪刀手势或者表示1的手势等等)，之后，手部提取模块32向控制模块34输出其确定出的手部姿势信息。这里的手部姿势信息可以为一个手部姿势信息的索引号或者标识符等，以便于控制模块23进行匹配查找。

本发明中的手部提取模块32可以采用相似度比较方式来确定用户的手部姿势信息，一个具体的例子，手部提取模块32中预先存储有多个手部轮廓图像，手部提取模块32可以先从视频捕捉装置1传输来的图像信息中提取出手部图像信息，然后从该手部图像信息中抠取出手部轮廓(如采用现有的图像抠取技术抠取出手部轮廓)，并将抠取出的该手部轮廓进行进行缩放处理，以便于和其存储的手部轮廓图像的大小相近似，之后，手部提取模块32将缩放处理后的手部轮廓与其预先存储的多个手部轮廓图像进行相似度比较，确定出与抠取出的手部轮廓相似度最高的手部轮廓图像，该图像对应的图像编号即为上述手部提取模块32传输给控制模块23的手部姿势信息。

需要说明的是，手部提取模块32在接收到视频捕捉装置1传输来的图像后，可以先对其接收到的图像进行优化处理操作，之后，再进行提取用户的手部图像信息以及确定手部姿势信息的操作。上述对接收到的图像进行的优化处理操作可以包括：去除无效信息处理、去除干扰信息处理、纠正镜头畸变处理、以及增强有效信息处理等操作中的一个或者多个操作。

另外，手部提取模块32在提取用户的手部图像信息的过程中，可以先将视频捕捉装置1传输来的图像转换为黑白图像，从而手部提取模块32可以根据黑白图像中的像素的灰度值，提取出用户的手部图像信息(如手部轮廓信息)。

控制装置3中的存储模块33主要用于存储手部姿势信息与控制装置的输入信息的对应关系信息，例如，存储模块33中存储有手部姿势的索引号与控制装置3的输入信息的对应关系信息。上述输入信息可以包括针对控制装置3的某具体应用的控制命令，例如电视机换台、浏览照片翻页、关闭正在浏览的网页或者体感游戏中的游戏命令等等。上述输入信息也可以包括游戏输入信息，例如，控制装置3中的石头剪子布游戏根据该输入信息获知用户此时作了个剪子的手势，从而该游戏可以对该剪子、提取出的语音关键词与游戏中的手势进行输赢判断；再例如，控制装置3中的手口练习游戏根据该输入信息判断用户此时作的手势是否与屏幕上显示的手势相同，且提取出的语音关键词是否与屏幕上显示出的手势匹配，该手口练习游戏通过对屏幕上显示的手势进行快速变化，来锻炼用户的手口脑的反映速度。

本发明可以动态的设置存储模块33中存储的对应关系信息，一个具体的例子：首先，开启视频捕捉装置1，视频捕捉装置1开始摄像操作，视频捕捉装置1摄取到的包含用户手部的图片被显示在控制装置3所在设备的显示屏上，控制装置3可以在显示屏上显示手部区域位置范围，用户可以通过调整其坐姿或者站位等使视频捕捉装置1摄取到的用户手部位于该手部区域位置范围内，之后，用户点击摄取图片对应的按键(该按键如计算机键盘上的回车键或者屏幕上显示的注册键或者遥控器上的确定键等)；控制装置3在监测到由该按键产生的摄取图片的命令之后，获取包含有用户手部区域的图片，该图片可以是黑白图片或者彩色图片，然后，控制装置3基于该图片确定手部姿势，并确定出该手部姿势索引值，之后，将该手部姿势索引值和当前需要设置的控制装置3的输入信息以表中记录的形式对应存储到存储模块33中。

当然，本发明中的控制装置3也可以采用其它操作过程在存储模块33中存储手部姿势信息和控制装置3的输入信息之间的对应关系信息，本发明不限制在存储模块33存储手部姿势信息和控制装置3的输入信息之间的对应关系信息的具体实现方式。

控制装置3中的控制模块34主要用于基于存储模块33中存储的对应关系信息将手部提取模块32传输来的手部姿势信息转换为相应的输入信息，并将该输入信息提供给控制装置3中的执行模块37，以实现人机交互如体感游戏等。一个具体的例子：控制模块34可以利用手部提取模块32输出的手部姿势信息在存储模块33中存储的对应关系信息中进行匹配查找，匹配到的记录中的输入信息即为其接收到的手部姿势信息对应的输入信息。

控制装置3中的语音识别模块35主要用于将声音捕捉装置2输出的音频信号进行语音识别处理。语音识别模块35可以在语音识别处理前对声音捕捉装置2输出的音频信号进行去噪、以及格式转换等处理，之后再进行语音识别处理。一个具体的例子，语音识别模块35将其接收到的音频信号转换为文本格式信息。本发明中的语音识别模块35可以采用现有的多种语音识别技术来进行语音识别，本发明不限制语音识别模块35进行语音识别的具体实现过程。

关键词模块36主要用于从语音识别模块35的语音识别处理结果(如转换后的文本格式信息)中提取关键词，并向执行模块37输出其提取出的关键词。关键词模块36提取出的关键词可以具体为数字或者文字等等。关键词模块36可以采用预定的提取策略进行关键词的提取，例如，关键词模块36在提取关键词的过程中可以忽略“的”、“了”、以及“你、我、他”等语气助词和代词等。关键词模块36可以采用现有的提取策略进行关键词的提取，本发明不限制关键词模块36提取关键词的具体实现过程。

控制装置3中的执行模块37主要用于接收控制模块34传输来的输入信息以及关键词模块36输出的关键词，并在该输入信息与该关键词匹配(如精确匹配或者模糊匹配)时，根据该输入信息或者根据该关键词执行相应的操作，例如，根据该输入信息或者关键词进行游戏的判分，再例如，根据该输入信息或者关键词打开相应的菜单等等。

控制装置3还可以包括显示屏以及电源模块等元件。显示屏主要用于显示画面(如游戏画面、以及视频捕捉装置1摄取获得的图像等)。该显示屏可以为计算机的显示屏、移动电话的显示屏、电视机显示屏、平板电脑显示屏、或者游戏机显示屏等。电源模块主要用于为控制装置3中的各用电元件(如控制装置3中的各模块、或者视频捕捉装置1和控制装置3中的各模块等)提供电力资源，该电源模块可以为计算机、移动电话、电视机、平板电脑、或者游戏机等电子设备本身自带的电源模块，也可以为专为本发明中的人机互动系统设置的电源模块。

上述实施例中记载的人机互动系统的设置方式可以为如下两种形式：

第一种形式为：整个人机互动系统集成设置在同一个电子设备中，从而整个人机互动系统成为一个电子设备的一部分，该电子设备可以具体为计算机、移动电话、电视机、平板电脑、机顶盒、电视机机顶盒一体机或者游戏机等。一个具体的例子：在人机互动系统集成设置在计算机中的情况下，视频捕捉装置1集成设置在计算机显示屏的左上角，声音捕捉装置2集成设置在主机的侧面，而控制装置3集成设置在计算机的主机的内部电路中。

第二种形式为：人机互动系统中的视频捕捉装置1与控制装置3独立分离设置，且视频捕捉装置1与控制装置3之间可以通过有线(如USB)或者无线(如蓝牙或者wifi或者红外等)的方式连接，而声音捕捉装置2与控制装置3集成设置在同一个电子设备中。具体的，视频捕捉装置1可以为摄像头或者摄像机等独立的设备，声音捕捉装置2和控制装置3则可以集成设置在计算机、移动电话、电视机、平板电脑(PAD)、机顶盒、电视机机顶盒一体机或者游戏机等电子设备中。

实施例二、人机互动方法。该方法的流程如附图2所示。

图2中示出的人机互动方法包括如下步骤：

S200、实时摄取图像，并拾取声音信号。具体的，可以按照预定采样频率进行图像采样和声音信号的采样。

S210、从实时摄取的图像中提取用户手部图像信息。

具体的，本发明可以采用现有的图像定位截取技术来提取用户手部图像信息，例如，用户的手指上带有发光源设备，从而可以根据该发光源截取该发光源周边预定大小区域的图像。需要说明的是，本发明可以先对实时摄取的图像进行优化处理操作，之后，再进行提取用户的手部图像信息的操作。上述对实时摄取的图像进行的优化处理操作可以包括：去除无效信息处理、去除干扰信息处理、纠正镜头畸变处理、以及增强有效信息处理等操作中的一个或者多个操作。另外，在提取用户的手部图像信息的过程中，可以先将实时采集到的图像转换为黑白图像，从而可以根据黑白图像中的像素的灰度值，提取出用户的手部图像信息(如手部轮廓信息)。

S220、根据提取的用户手部图像信息确定用户的手部姿势信息。

具体的，本发明可以采用图像相似度比较方式来确定用户的手部姿势信息，一个具体的例子，预先存储有多个手部轮廓图像，先从提取出的手部图像信息中抠取出用户手部轮廓，并将抠取出的该手部轮廓进行进行缩放处理，以便于和预先存储的手部轮廓图像的大小相近似，之后，将缩放处理后的手部轮廓与预先存储的多个手部轮廓图像进行相似度比较，确定出与抠取出的手部轮廓相似度最高的手部轮廓图像，该图像对应的图像编号即为手部姿势信息。

S230、将上述确定出的手部姿势信息在预先存储的手部姿势信息与控制装置的输入信息的对应关系信息中匹配查找，以确定用户的手部姿势信息对应的控制装置的输入信息。

具体的，预先存储的对应关系信息可以为手部姿势的索引号与控制装置的输入信息的对应关系信息。上述输入信息可以包括针对控制装置的某具体应用的控制命令，例如电视机换台、浏览照片翻页、关闭正在浏览的网页或者体感游戏中的游戏命令等等。上述输入信息也可以包括游戏输入信息，例如，控制装置中的石头剪子布游戏根据该输入信息获知用户此时作了个剪子的手势，从而该游戏可以对该剪子以及语音关键词提取结果与游戏中的手势进行输赢判断；再例如，控制装置中的手口练习游戏根据该输入信息判断用户此时作的手势是否与屏幕上显示的手势相同，且提取出的语音关键词是否与屏幕上显示出的手势匹配，该手口练习游戏通过对屏幕上显示的手势进行快速变化，来锻炼用户的手口脑的反映速度。

本发明可以动态的设置并存储该对应关系信息，一个具体的例子：首先，开启视频捕捉装置，视频捕捉装置开始摄像操作，视频捕捉装置摄取到的包含用户手部的图片被显示在控制装置所在设备的显示屏上，控制装置可以在显示屏上显示手部区域位置范围，用户可以通过调整其坐姿或者站位等使视频捕捉装置摄取到的用户手部位于该手部区域位置范围内，之后，用户点击摄取图片对应的按键(该按键如计算机键盘上的回车键或者屏幕上显示的注册键或者遥控器上的确定键等)；控制装置在监测到由该按键产生的摄取图片的命令之后，获取包含有用户手部区域的图片，该图片可以是黑白图片或者彩色图片，然后，控制装置基于该图片确定用户手部姿势，并确定出该手部姿势索引值，之后，将该手部姿势索引值和当前需要设置的控制装置3的输入信息以表中记录的形式对应存储到存储介质中。

当然，本发明也可以采用其它操作过程来存储手部姿势信息和控制装置的输入信息之间的对应关系信息，本发明不限制在存储手部姿势信息和控制装置的输入信息之间的对应关系信息的具体实现方式。

上述匹配查找的一个具体的例子：利用上述步骤中确定出的手部姿势信息在预先存储的对应关系信息中进行精确匹配查找，精确匹配到的记录中的输入信息即为确定出的用户的手部姿势信息对应的控制装置的输入信息。

S240、对上述拾取的声音信号进行语音识别处理，并从语音识别处理结果中提取关键词。

具体的，本发明可以先对拾取的音频信号进行去噪处理、以及格式转换等处理，并对处理后的音频信号进行语音识别处理操作。一个具体的例子，本发明可以将上述拾取的音频信号转换为文本格式信息。本发明可以采用现有的多种语音识别技术来进行语音识别，本发明不限制语音识别的具体实现过程。

上述提取的关键词可以具体为数字或者文字等等。本发明可以采用预定的提取策略进行关键词的提取，例如，在提取关键词的过程中可以忽略“的”、“了”、以及“你、我、他”等语气助词和代词等。本发明可以采用现有的提取策略进行关键词的提取，本发明不限制提取关键词的具体实现过程。

S250、在上述确定出的输入信息与上述提取出的关键词相匹配时，根据确定出的输入信息或者根据关键词执行相应的操作。

一个具体的例子，在两者精确匹配或者模糊匹配的情况下，本发明可以根据该输入信息或者关键词进行游戏的判分；另一个具体的例子，在两者精确匹配或者模糊匹配的情况下，本发明可以根据该输入信息或者关键词打开相应的菜单等等。

针对实施例二需要说明的是，虽然实施例二顺序描述了S200-S250，但实际上，本发明中的S210-S230与S240并不存在先后顺序执行的情况，即图像的处理过程和语音的处理过程这两者是相互并行的。

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (6)

1.一种人机互动系统，其特征在于，包括：视频捕捉装置、声音捕捉装置和控制装置；

所述视频捕捉装置，用于实时摄取图像，并输出；

所述声音捕捉装置，用于拾取声音信号，并输出；

所述控制装置包括：

接收模块，用于接收所述视频捕捉装置传输来的图像；

手部提取模块，用于从所述接收模块接收到的图像中提取用户手部轮廓信息，并根据所述手部轮廓信息确定用户的手部姿势；

存储模块，用于预先存储手部姿势与控制设备的输入信息的对应关系信息；

控制模块，用于将手部提取模块确定的手部姿势在所述存储模块中存储的对应关系信息中进行匹配查找，以确定手部提取模块确定出的手部姿势对应的控制装置的输入信息；

语音识别模块，用于对所述声音捕捉装置拾取的声音信号进行语音识别处理；

关键词模块，用于从所述语音识别模块的语音识别处理结果中提取关键词，并输出所述关键词；

执行模块，用于在所述控制模块确定出的输入信息与所述关键词相匹配时，根据所述控制模块确定出的输入信息或所述关键词执行相应的操作。

2.如权利要求1所述的人机互动系统，其特征在于，所述视频捕捉装置和所述声音捕捉装置与所述控制装置集成设置于同一电子设备中。

3.如权利要求2所述的人机互动系统，其特征在于，所述电子设备包括：计算机、游戏机、移动电话、平板电脑、机顶盒、电视机顶盒一体机或者电视机。

4.如权利要求1所述的人机互动系统，其特征在于，所述视频捕捉装置和/或声音捕捉装置与所述控制装置独立分离设置。

5.如权利要求4所述的人机互动系统，其特征在于，所述控制装置设置于计算机、游戏机、移动电话、平板电脑、机顶盒、电视机顶盒一体机或者电视机中。

6.一种人机互动方法，其特征在于，所述方法包括：

实时摄取图像，并拾取声音信号；

从所述摄取的图像中提取用户手部轮廓信息；

根据所述手部轮廓信息确定用户的手部姿势；

将所述手部姿势在预先存储的手部姿势与控制设备的输入信息的对应关系信息中匹配查找，以确定所述用户的手部姿势对应的控制设备的输入信息；

对所述声音信号进行语音识别处理；

从所述语音识别处理结果中提取关键词；

在所述确定出的输入信息与所述关键词相匹配时，根据所述确定出的输入信息或者所述关键词执行相应的操作。

Images