CN102645968B - 一种通讯终端及人机交互的方法 - Google Patents

Abstract

本发明提供了一种通讯终端及人机交互的方法，所述方法包括下述步骤：通讯终端被唤醒后，通讯终端的摄像头输入用户的面部信息；对输入的面部信息进行身份的判别；若判别通过，通讯终端解锁进入应用。本发明通过在通讯终端被唤醒后，对摄像头输入的用户面部信息进行身份判别，若判别通过，则通讯终端解锁进入应用，实现了通讯终端和用户之间的人机交互及情感交流，提升了用户的使用体验。

Description

一种通讯终端及人机交互的方法

技术领域

本发明涉及通讯技术领域，尤其涉及一种通讯终端及人机交互的方法。

背景技术

计算机人脸表情识别技术是近几十年才逐渐发展起来的，现在逐渐成为科研的热点。最早的人脸表情研究是Suwa和Sugie等人于1978年对表情识别所做的一个最初的尝试，他跟踪一段脸部视频动画，得到每帧图片上20个关键的运动规律，将此运动规律与预先建立的不同表情的关键点运动模型相比较，这是一种初步尝试。到1981年有人用仿生学方法从肌肉角度的观点为面部表情建立模型。

起初Ekman和Frieman系统建立了一个由上千幅不同人脸表情的图像库。近来美国CMU机器人研究所和心理学系共同建立了Cohn-Kanade、AU-Coded人脸表情库。现有210个18岁到50岁成年人的脸部表情图像序列。CMU还建立有PIE表情库，包括68人的41368幅图像。加州大学圣克鲁兹分校知觉实验室的人脸运动表情图像是基于FACE的主要用于神经网络方法分类面部行为的训练图像。然而目前越来越普及使用的通讯终端还不能够很好地实现人机交互，尤其是一种情感上的交互，以满足用户更好地使用体验。

发明内容

有鉴于此，本发明的主要目的在于提供一种通讯终端及人机交互的方法，实现了通讯终端和用户之间的人机交互及情感交流。

为达到上述目的，本发明的技术方案是这样实现的：

一种人机交互的方法，所述方法包括：

通讯终端被唤醒后，通讯终端的摄像头输入用户的面部信息；

对输入的面部信息进行身份的判别；

若判别通过，通讯终端解锁进入应用。

进一步地，所述对输入的面部信息进行身份的识别为：

通讯终端将输入的面部信息与预先存储的用户特征数据进行比对，当比对通过时，则判别通过；否则为判别未通过。

进一步地，在对用户的身份进行判别之后，所述方法还包括：

若判别未通过，提示用户进行密码的输入，当密码输入错误时，通讯终端做出告警提示。

进一步地，所述通讯终端解锁进入应用之后，所述方法还包括：

所述摄像头输入用户的面部信息；

对输入的面部信息进行表情的判别；

若判别成功，则确认用户的心情，并按照用户的心情进行交互。

其中，所述对输入的面部信息进行表情的判别为：

通讯终端识别的对象锁定为用户，将输入的面部信息与预先存储的表情特征数据进行比对，当比对通过时，则判别成功；否则为判别未成功。

进一步地，在对输入的面部信息进行表情的判别之后，所述方法还包括：

若判别未成功，通讯终端提示用户进行心情选择，并根据用户输入的选择信息，确认用户的心情，按照用户的心情进行交互。

其中，所述按照用户的心情进行交互为：

按照用户的心情，更换用户界面UI颜色主体、改变通讯终端的灯光颜色、显示预先设置的语言和/或图标、演示预设的声音的一种或几种。

其中，所述对输入的面部信息进行表情的判别的时间间隔为大于1个小时。

一种通讯终端，包括摄像头，所述通讯终端还包括：判别单元、解锁单元；其中，

摄像头，用于在通讯终端被唤醒后，输入用户的面部信息；

判别单元，用于对所述摄像头输入的面部信息进行身份的判别；

解锁单元，用于当所述判别单元进行的身份的判别通过时，解锁通讯终端进入应用。

其中，所述判别单元具体用于对所述摄像头输入的面部信息与预先存储的用户特征数据进行比对，当比对通过时，则判别通过；否则为判别未通过。

进一步地，所述通讯终端还包括：提示单元，用于当所述判别单元进行的身份的判别未通过时，提示用户进行密码的输入，当密码输入错误时，做出告警提示。

进一步地，所述通讯终端还包括交互单元；其中，

所述摄像头，还用于在通讯终端解锁进入应用后，再次输入用户的面部信息；

所述判别单元，还用于对所述摄像头输入的面部信息进行表情的判别；

所述交互单元，用于当所述判别单元进行的表情的判别成功时，确认用户的心情，并按照用户的心情进行交互。

其中，所述判别单元具体用于锁定识别的对象为用户，将所述摄像头输入的面部信息与预先存储的表情特征数据进行比对，当比对通过时，则判别成功；否则为判别未成功。

其中，所述提示单元还用于当所述判别单元进行的表情的判别未成功时，提示用户进行心情的选择；

相应地，所述交互单元根据提示单元接收到的用户输入的选择信息，确认用户的心情，按照用户的心情进行交互。

其中，所述通讯终端的前壳采用透光材料注塑，并喷有半透明油漆、或者采用透光真空镀；

所述通讯终端的触摸板丝印半透明油漆、或者采用透光真空镀。

本发明通过在通讯终端被唤醒后，对摄像头输入的用户面部信息进行身份判别，若判别通过，则通讯终端解锁进入应用，实现了通讯终端和用户之间的人机交互及情感交流，提升了用户的使用体验。

附图说明

图1为本发明提供的人机交互的方法的实现流程图；

图2为本发明提供的通讯终端的结构示意图。

具体实施方式

本发明的基本思想为：通讯终端被唤醒后，通讯终端的摄像头输入用户的面部信息；对输入的面部信息进行身份的判别；若判别通过，通讯终端解锁进入应用。

为使本发明的目的、技术方案和优点更加清楚明白，以下举实施例并参照附图，对本发明进一步详细说明。

图1示出了本发明人机交互的方法的实现流程，如图1所示，所述方法包括下述步骤：

步骤101，当通讯终端检测到按键的按压信息时，通讯终端被唤醒；

具体地，当用户需要使用通讯终端时，通过按压任意键进行通讯终端的唤醒操作。

步骤102，通讯终端的摄像头对用户进行拍照，输入用户的面部信息；

本步骤中，具体可以通过通讯终端的前置摄像头对用户拍照，进行面部信息的输入，同时，一般可以将摄像头对用户进行拍照的像素设置为300×400像素的格式，以减小通讯终端CPU的负担。

步骤103，通讯终端对输入的面部信息进行身份的判别，若判别未通过，执行步骤104；若判别通过，执行步骤106；

本步骤中，通讯终端将输入的面部信息与预先存储的用户特征数据进行比对，若存在多于预设个数的特征数据吻合，则比对通过，认为该用户的身份判别通过；否则为判别未通过；其中，预先存储的用户的特征数据可以通过运用摄像头输入用户不同角度的面部信息，其中不同角度包括正视、侧视、俯视、仰视等，将所述摄像头输入的一组面部信息保存为用户的特征数据。

步骤104，提示用户进行密码的输入；

通讯终端进入密码输入页面，提示用户进行密码的输入，当密码输入正确，则通讯终端解锁进入应用，否则，执行步骤105。

步骤105，当密码输入错误时，通讯终端做出告警提示；

具体地，一般可以设置当密码输入3次连续失败时，通讯终端可以通过提示音乐或警报进行告警，以起到保护隐私以及防盗的目的。

步骤106，通讯终端解锁，进入应用；

步骤107，通讯终端的摄像头对用户进行拍照，输入用户的面部信息；

本步骤中，具体可以通过通讯终端的前置摄像头在用户的使用过程中对用户拍照，进行面部信息的输入，同时，一般可以将摄像头对用户进行拍照的像素设置为300×400像素的格式，以减小通讯终端CPU的负担。

步骤108，通讯终端对输入的面部信息进行表情的判别，若判别未成功，则执行步骤109；若判别成功，则执行步骤110；

本步骤中，为了提高脸部表情识别的效率和准确性，可以将通讯终端进行识别的对象锁定为用户，并且在识别的过程中可以不需要考虑不同长相、不同肤色的影响，来减小表情识别难度；也可以设置为只进行快乐、常态、失意三种简单表情的识别；具体为，通讯终端将所述面部信息与预设的简单表情的特征数据进行比对，若存在多于预设个数的特征数据吻合，则比对通过时，此时为判别成功，否则为判别未成功。

若输入的面部信息为无效信息，可以触发摄像头间隔5分钟或10分钟等时长后，再次对用户进行拍照，进行用户面部信息的输入；

当输入的面部信息多次为无效信息或面部信息有效但多次不能确认判别成功时，则执行步骤109。

步骤109，通讯终端提示用户进行心情选择；

本步骤中，通讯终端可以通过弹出对话框来供用户进行心情的选择，接收到用户输入的选择信息后，执行步骤110。

步骤110，确认用户的心情，并按照用户的心情进行交互；

本步骤中，可以根据确认得到的心情的不同，更换适当的用户界面(UserInterface，UI)颜色主体，通过灯光控制改变通讯终端局部(如上壳、触摸板等)的颜色，并进行相关智能动作的交互；

具体地，UI颜色主体的内容包括：除应用程序图标外的所有界面，如背景、系统图标、工具条等等。UI交互可以选用主色调为黑白的普通色调的UI方案，同时可以增加多个颜色主体的UI，如增加红色主体和蓝色主体的UI，使得UI可在黑白主体、红色主体、蓝色主体之间根据确认的用户的心情进行切换；如当确认得到的用户心情为常态时，则UI为黑白主体的界面；当确认得到的用户心情为快乐、开心或兴奋等状态时，UI为红色主体的界面；当确认得到的用户心情为失意、伤心等状态时，UI为蓝色主体的界面。

其中，通过灯光控制改变通讯终端局部(如上壳、触摸板等)的颜色的实现可以通过对通讯终端的硬件进行设计实现，本发明实施例中以直板触摸屏通讯终端进行具体说明：通讯终端的前壳可以采用透光材料注塑，并喷涂半透明油漆，或者采用透光真空镀；触摸板(TP)丝印半透明油漆，或者采用透光真空镀；在通讯终端的主板上布置有三色灯或多色灯，运用灯光来改变前壳和TP的颜色；为了使灯光均匀，可以选用呼吸灯，即在通讯终端主板上均匀布置多个呼吸灯，同时在布置的同时需要将灯的遮光板因素考虑在内，以避免灯光直接从前壳、TP透出，造成前壳、TP的透光效果不均匀。

另外，本步骤中还可以包括在UI适当区域内增加文档显示功能，用以与用户进行情感交流，如根据确认得到的用户心情，自动显示预先设置的语言和/或图标等与用户进行互动；应当理解，若通讯终端所进行的表情的判别设置为只进行快乐、常态、示意三种简单表情的识别时，则此处可以适应地设置相对于上述三种简单表情的语言和/或图标；

同理，也可以演示预设的用于情感表达的声音与上述文档显示配合，增强用户的使用体验。

应当理解，本发明实施例中，为了减少摄像头拍照时的耗电量，可以设置通讯终端进行表情判别的时间间隔为大于1小时，这样，例如当用户在使用通讯终端的过程中，在九点整的时刻点，通讯终端进行了表情判别，则在前述设置的时间间隔为大于1个小时的情况下，只有用户在十点之后的时刻，再进行通讯终端的使用时，该通讯终端才会再次进行用户的表情判别。

图2示出了本发明提供的通讯终端的结构示意，如图2所示，所述通讯终端包括摄像头21、判别单元22、及解锁单元23；其中，

摄像头21，用于在通讯终端被唤醒后，输入用户的面部信息；具体地，当通讯终端的CPU检测到通讯终端的按键被按压时，则通讯终端被唤醒，并且，在本发明实施例中，摄像头21对用户进行拍照的像素设置为300×400像素的格式，以减小通讯终端CPU的负担；

判别单元22，用于对所述摄像头21输入的面部信息进行身份的判别；

解锁单元23，用于当所述判别单元22进行的身份的判别通过时，解锁通讯终端进入应用。

进一步地，所述判别单元22具体用于对所述摄像头21输入的面部信息与预先存储的用户特征数据进行比对，当比对通过时，则判别通过；否则为判别未通过；具体地，判别单元22将输入的面部信息与预先存储的用户特征数据进行比对，若存在多余预设个数的特征数据相吻合，则比对通过，认为该用户的身份判别通过；否则为判别未通过；其中，预先存储的用户的特征数据可以通过运用摄像头21输入用户不同角度的面部信息，其中不同角度包括正视、俯视、仰视等，将所述摄像头21输入的一组面部信息保存为用户的特征数据。

进一步地，所述通讯终端还包括：提示单元24，用于当所述判别单元22进行的身份的判别未通过时，提示用户进行密码的输入，当密码输入错误时，做出告警提示，具体可以通过音乐或警报做出告警提示；当密码输入正确，则解锁单元23解锁通讯终端进入应用。

进一步地，所述通讯终端还包括交互单元25；其中，

所述摄像头21，还用于在解锁单元23对通讯终端解锁进入应用后，再次输入用户的面部信息，在本发明实施例中，摄像头21对用户进行拍照的像素设置为300×400像素的格式，以减小通讯终端CPU的负担；

所述判别单元22，还用于对所述摄像头21输入的面部信息进行表情的判别；

所述交互单元25，用于当所述判别单元22进行的表情的判别成功时，确认用户的心情，并按照用户的心情进行交互。

其中，所述判别单元22具体用于锁定识别的对象为用户，将所述摄像头21输入的面部信息与预先存储的表情特征数据进行比对，当比对通过时，则判别成功；否则为判别未成功；具体地，在判别单元进行识别的过程中可以不需要考虑不同长相、不同肤色的影响，来减小表情识别难度；也可以设置为只进行快乐、常态、失意三种简单表情的识别；本发明实施例中，判别单元22将所述面部信息与预设的简单表情的特征数据进行比对，若存在多于预设个数的特征数据吻合，则比对通过时，此时为判别成功，否则为判别未成功。

若摄像头21输入的面部信息为无效信息，判别单元22还可以触发摄像头间隔5分钟或10分钟等时长后，再次对用户进行拍照，进行用户面部信息的输入。

其中，所述提示单元24还用于当所述判别单元22进行的表情的判别未成功时，提示用户进行心情的选择；其中，判别单元22进行的表情的判别未成功的情形包括摄像头21输入的面部信息多次为无效信息、或面部信息有效但多次不能判别成功等情形。

相应地，所述交互单元25根据提示单元24接收到的用户输入的选择信息，确认用户的心情，按照用户的心情进行交互；具体地，本发明实施例中，交互单元25可以根据确认得到的心情的不同，更换适当的UI颜色主体，通过灯光控制改变通讯终端局部(如上壳、触摸板等)的颜色，并进行相关智能动作的交互；

具体地，UI颜色主体的内容包括：除应用程序图标外的所有界面，如背景、系统图标、工具条等等。UI交互可以选用主色调为黑白的普通色调的UI方案，同时可以增加多个颜色主体的UI，如增加红色主体和蓝色主体的UI，使得UI可在黑白主体、红色主体、蓝色主体之间根据确认的用户的心情进行切换；如当确认得到的用户心情为常态时，则UI为黑白主体的界面；当确认得到的用户心情为快乐、开心或兴奋等状态时，UI为红色主体的界面；当确认得到的用户心情为失意、伤心等状态时，UI为蓝色主体的界面。

交互单元25还可以控制灯光颜色的变换来改变通讯终端局部(如上壳、触摸板等)的颜色，如当确认的用户的心情为开心时，交互单元25将灯光颜色变换为红色，其中，可以通过对通讯终端的硬件进行设计实现，本发明实施例中以直板触摸屏通讯终端进行具体说明：通讯终端的前壳可以采用透光材料注塑，并喷涂半透明油漆，或者采用透光真空镀；触摸板(TP)丝印半透明油漆，或者采用透光真空镀；在通讯终端的主板上布置有三色灯或多色灯，运用灯光来改变前壳和TP的颜色；为了使灯光均匀，可以选用呼吸灯，即在通讯终端主板上均匀布置多个呼吸灯，同时在布置的同时需要将灯的遮光板因素考虑在内，以避免灯光直接从前壳、TP透出，造成前壳、TP的透光效果不均匀。

另外，交互单元25还可以在UI适当区域内增加文档显示功能，用以与用户进行情感交流，如根据确认得到的用户心情，自动显示预先设置的语言和/或图标等与用户进行互动；应当理解，若判别单元22所进行的表情的判别设置为只进行快乐、常态、示意三种简单表情的识别时，则此处可以适应地设置相对于上述三种简单表情的语言和/或图标；

同理，交互单元25也可以演示预设的用于情感表达的声音与上述文档显示配合，增强用户的使用体验。

应当理解，本发明实施例中，为了减少摄像头21拍照时的耗电量，可以设置通讯终端进行表情判别的时间间隔为大于1小时，这样，例如当用户在使用通讯终端的过程中，在九点整的时刻点，通讯终端进行了表情判别，则在前述设置的时间间隔为大于1个小时的情况下，只有用户在十点之后的时刻，再进行通讯终端的使用时，该通讯终端才会再次进行用户的表情判别。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种人机交互的方法，其特征在于，所述方法包括：

通讯终端被唤醒后，通讯终端的摄像头输入用户的面部信息；

对输入的面部信息进行身份的判别；

若判别通过，通讯终端解锁进入应用；其中，

所述通讯终端解锁进入应用之后，所述摄像头输入用户的面部信息；

对输入的面部信息进行表情的判别；

若判别成功，则确认用户的心情，并按照用户的心情，更换用户界面UI颜色主体、改变通讯终端的灯光颜色、显示预先设置的语言和/或图标、演示预设的声音的一种或几种；

在对输入的面部信息进行表情的判别之后，所述方法还包括：

若判别未成功，通讯终端提示用户进行心情选择，并根据用户输入的选择信息，确认用户的心情，按照用户的心情进行交互；

所述对输入的面部信息进行表情的判别为：

通讯终端识别的对象锁定为用户，将输入的面部信息与预先存储的表情特征数据进行比对，当比对通过时，则判别成功；否则为判别未成功。

2.根据权利要求1所述的方法，其特征在于，所述对输入的面部信息进行身份的判别为：

通讯终端将输入的面部信息与预先存储的用户特征数据进行比对，当比对通过时，则判别通过；否则为判别未通过。

3.根据权利要求1所述的方法，其特征在于，在对用户的身份进行判别之后，所述方法还包括：

若判别未通过，提示用户进行密码的输入，当密码输入错误时，通讯终端做出告警提示。

4.根据权利要求1所述的方法，其特征在于，所述对输入的面部信息进行表情的判别的时间间隔为大于1个小时。

5.一种通讯终端，包括摄像头，其特征在于，所述通讯终端还包括：判别单元、解锁单元；其中，

摄像头，用于在通讯终端被唤醒后，输入用户的面部信息；

判别单元，用于对所述摄像头输入的面部信息进行身份的判别；

解锁单元，用于当所述判别单元进行的身份的判别通过时，解锁通讯终端进入应用；

所述通讯终端还包括交互单元；其中，

所述摄像头，还用于在通讯终端解锁进入应用后，再次输入用户的面部信息；

所述判别单元，还用于对所述摄像头输入的面部信息进行表情的判别；

所述交互单元，用于当所述判别单元进行的表情的判别成功时，确认用户的心情，并按照用户的心情进行交互；

所述按照用户的心情进行交互为：

按照用户的心情，更换用户界面UI颜色主体、改变通讯终端的灯光颜色、显示预先设置的语言和/或图标、演示预设的声音的一种或几种；

所述提示单元还用于当所述判别单元进行的表情的判别未成功时，提示用户进行心情的选择；

相应地，所述交互单元根据提示单元接收到的用户输入的选择信息，确认用户的心情，按照用户的心情进行交互；

所述判别单元具体用于锁定识别的对象为用户，将所述摄像头输入的面部信息与预先存储的表情特征数据进行比对，当比对通过时，则判别成功；否则为判别未成功。

6.根据权利要求5所述的通讯终端，其特征在于，所述判别单元具体用于对所述摄像头输入的面部信息与预先存储的用户特征数据进行比对，当比对通过时，则判别通过；否则为判别未通过。

7.根据权利要求6所述的通讯终端，其特征在于，所述通讯终端还包括：提示单元，用于当所述判别单元进行的身份的判别未通过时，提示用户进行密码的输入，当密码输入错误时，做出告警提示。

8.根据权利要求5所述的通讯终端，其特征在于，所述通讯终端的前壳采用透光材料注塑，并喷有半透明油漆、或者采用透光真空镀；

所述通讯终端的触摸板丝印半透明油漆、或者采用透光真空镀。