CN112639719A - 终端设备、终端设备的控制方法和存储介质 - Google Patents

Abstract

根据实施例的终端设备(1)包括：麦克风(12)；通信单元(121)，其通过网络进行通信；第一传感器(14)，其获取深度信息；第一脸部检测单元(112)，其基于所述深度信息检测脸部和到所述脸部的距离；以及处理器(1000)。当执行通信程序时，并且所述通信单元在执行的所述通信程序的控制下接收到消息时，所述处理器使用所述第一脸部检测单元执行所述第一脸部检测，并且根据所述第一脸部检测的结果控制声音输入模式的开启和关闭，其中，所述通信程序用于使所述处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有用于能够使用所述麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式。

Description

终端设备、终端设备的控制方法和存储介质

技术领域

本公开涉及终端设备、终端设备的控制方法和存储介质。

背景技术

能够进行无线通信并且易于携带的设备(称为移动设备)，例如多功能蜂窝电话终端(智能电话)和平板电脑，正在变得越来越普遍。通常，这样的移动设备被配备为使用电话功能或使用基于互联网的语音通信来执行语音消息的通信。在以下说明中，将执行语音消息通信的这种功能统称为语音通信功能。在移动设备中使用语音通信功能的情况下，必须轻敲触摸面板一次或多次。因此，例如，如果一个人手中握有其他东西，那么常常会发现敲击操作很麻烦。

因此，对于智能电话，已经提出了各种操作方法来以非接触方式激活预定功能而无需进行敲击操作。例如，专利文献1公开了其中组合使用多个传感器并且根据用户的动作和话语来操作设备的构造。此外，专利文献2公开了其中根据移动设备的方向来确定该移动设备的操作模式的构造。

引用列表

专利文献

专利文献1：日本专利申请特开第2017-215970号

专利文献2：PCT国际申请特开第2012-508530号的日语译文

发明内容

技术问题

然而，在传统的非接触式操作方法中，不重视安全性。例如，当在用户的移动设备中有基于语音通信功能的呼入电话时，存在响应于在所关注的用户附近存在的某个其他人执行的预定动作来应答呼入电话的风险。

本公开的目的是提供能够仅由特定用户非接触地激活语音通信功能的终端设备、终端设备的控制方法和存储介质。

解决问题的技术方案

为了解决上述问题，根据本公开的一方面的终端设备具有：麦克风；通信单元，其通过网络进行通信；第一传感器，其获取深度信息；第一脸部检测单元，其基于所述深度信息执行用于检测脸部和到所述脸部的距离的第一脸部检测；和处理器，其中，当执行通信程序时以及当在执行的所述通信程序的控制下所述通信单元接收到消息时，所述处理器使用所述第一脸部检测单元执行所述第一脸部检测，并且根据所述第一脸部检测的结果控制声音输入模式的开启和关闭，其中，所述通信程序用于使所述处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有用于能够使用所述麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式。

附图说明

图1是示意性地示出适用于本发明的示例性信息处理系统的图。

图2是示出可在实施例中应用的终端设备的示例性外观的图。

图3是用于示意性地说明根据现有技术的针对语音消息发送执行的一系列操作的示例性流程图。

图4A是示出在其中接收消息的终端设备的显示单元上的显示的示例的图。

图4B是在显示单元中显示的用于发送语音消息的画面的图。

图5是用于示意性地说明根据第一实施例的针对语音消息发送执行的一系列操作的示例性流程图。

图6是示出可应用于第一实施例的终端设备的硬件配置的示例性框图。

图7是示出第一传感器的更详细的构造示例的图。

图8是用于说明在第一传感器中实现的测距原理的图。

图9是示出根据第一实施例的第一传感器输出的深度信息的示例的图。

图10是用于说明根据第一实施例的终端设备的功能的示例性功能框图。

图11是用于说明在根据第一实施例的终端设备中执行的语音消息发送操作的示例性流程图。

图12是用于说明在根据第一实施例的第一变形例的终端设备中执行的语音消息发送操作的示例性流程图。

图13是用于说明在根据第一实施例的第二变形例的终端设备中执行的语音消息发送操作的示例性流程图。

图14是用于说明在根据第二实施例的终端设备中执行的语音消息发送操作的示例性流程图。

图15A是示出在显示锁定状态的显示单元中显示的横幅图像的示例的图。

图15B是示出根据脸部识别来释放显示锁的显示锁解除画面的示例的图。

图16是用于说明在根据第二实施例的第一变形例的终端设备中执行的语音消息发送操作的示例性流程图。

图17是用于说明在根据第二实施例的第二变形例的终端设备中执行的语音消息发送操作的示例性流程图。

图18是示意性地示出适用于第三实施例并且在实现推送通知的情况下使用的信息处理系统的示例的图。

图19是用于说明根据第三实施例的终端设备的功能的示例性功能框图。

图20是用于说明在根据第三实施例的终端设备中执行的语音消息发送操作的示例性流程图。

图21是用于说明在根据第三实施例的第一变形例的终端设备中执行的语音消息发送操作的示例性流程图。

图22是用于说明在根据第三实施例的第二变形例的终端设备中执行的语音消息发送操作的示例性流程图。

具体实施方式

下面参考附图详细地说明本发明的优选实施例。在下述的实施例中，相同的构成元件由相同的附图标记表示，并且不再重复地给出它们的说明。

[第一实施例]

(适用于各实施例的信息处理系统)

图1是示意性地示出可应用于本公开的示例性信息处理系统的图。参考图1，多个终端设备1经由网络2(例如，因特网)连接到服务器3。此外，服务器3还连接到存储器4，该存储器4表示由硬盘驱动器或闪存构成的高容量存储介质。

每个终端设备1安装有能够使用例如由服务器3提供的SNS(Social NetworkingService：社交网络服务)的应用软件5(以下称为SNS应用5)。由服务器3提供的SNS例如是使得能够经由网络2在各终端设备1之间发送和接收包括语音消息的消息的服务。例如，终端设备1的用户从服务器3接收存储在存储器4中的SNS应用5；将其安装在终端设备1中；并且在服务器3中注册账户信息。由此，用户就能够从SNS应用5使用服务器3提供的SNS。

存储器4能够用于存储用于实现根据本发明的实施例及其变形例的功能(稍后所述)的程序。例如，用户能够使用终端设备1访问服务器3；通过服务器3从存储器4获取程序；以及将程序安装在终端设备1中。

终端设备1是尺寸小、重量轻并且容易携带的信息处理设备。终端设备1的示例包括多功能蜂窝电话(智能电话)和平板电脑。在假定终端设备1是智能电话的情况下给出以下说明。

图2是示出可应用于实施例的终端设备1的示例性外观的图。参考图2，终端设备1包括显示单元10、主页按钮11、麦克风12、扬声器13、第一传感器14和第二传感器15。显示单元10是触摸感应的面板，例如显示装置和输入装置以集成的方式配置在其中。显示装置的示例包括LCD(Liquid Crystal Display：液晶显示器)和有机EL(Electro-Luminescence：电致发光)显示器。输入装置根据触摸的位置输出控制信号。

主页按钮11例如是用于接收旨在控制终端设备1的整体操作的用户操作的按钮。例如，当显示单元10上的显示被锁定从而限制用户对显示单元10的操作时，能够操作主页按钮11以解除显示锁定。麦克风12例如收集用户的语音并且将其转换为语音信号。扬声器13将语音信号转换成语音输出。

例如，使用测距元件作为第一传感器14。在所涉及的应用中，使用ToF(Time ofFlight：飞行时间)传感器作为第一传感器14，该ToF传感器基于通过照射激光而获得的照明光与由该激光从测距目标反射回来而获得的反射光之间的差来执行测距。例如，用户以安装有第一传感器14的一侧指向他或她的脸部的方式握持终端设备1，并且通过第一传感器14测量到脸部的各部分的距离(深度)。然后，基于通过第一传感器14获得的关于脸部的各部分的深度信息和基于脸部的预先登记的深度信息，终端设备1能够进行用户的人脸验证。

作为第二传感器15，例如，使用进行摄像并获得图像的图像传感器。

在信息处理系统中，各终端设备1的用户能够在相应的终端设备1中激活SNS应用5，并且与其他用户的终端设备1传达包括语音消息的消息。

(根据现有技术的语音消息通信)

在说明第一实施例之前，以示意性的方式说明根据现有技术执行的通信。以下说明着重于在两个终端设备1之间发送和接收语音信息的示例。这里，将两个终端设备1称为终端设备1(A)和终端设备1(B)；并且将终端设备1(A)和终端设备1(B)的用户分别称为用户A和用户B。

图3是用于示意性地说明根据现有技术的针对语音消息发送执行的一系列操作的示例性流程图。例如，用户A激活终端设备1(A)中的SNS应用5(步骤S1000)。以相同的方式激活了终端设备1(B)中的SNS应用5的用户B将例如具有文本数据的消息发送到终端设备1(A)。在终端设备1(A)中接收该消息(步骤S1001)。

图4A是示出接收到消息的终端设备1(A)的显示单元10上的显示的示例的图。在显示单元10的显示中，例如，从屏幕的顶部到底部指示经过的时间，并且在屏幕的上端显示接收到的消息20。在图4A所示的示例中，在下端显示用于语音消息发送的按钮21。

如果用户A想要使用语音消息答复在步骤S1001中接收到的消息，那么他或她就要操作(轻击)按钮21。响应于按钮21的操作，终端设备1(A)将显示单元10的屏幕切换为用于语音消息发送的屏幕。图4B是在显示单元10中显示的用于启用语音消息发送的屏幕的图。在显示单元10的屏幕中，显示具有通话按钮31的通话区域30。

当检测到通话按钮31的操作(例如，轻击)时(步骤S1002)，终端设备1(A)开始对由麦克风12收集的声音进行音频记录(步骤S1003)。在通话按钮31处于操作状态时，连续进行音频记录。当检测到通话按钮31从操作状态被释放时(步骤S1004)，终端设备1(A)结束音频记录，并且将所记录的内容发送到终端设备1(B)(步骤S1005)。

以这种方式，在根据现有技术的语音消息的发送中，操作通话按钮31，并且在通话按钮31处于操作状态时，记录要发送的语音。因此，想要发送语音消息的用户A恰好一只手握住终端设备1，另一只手操作通话按钮31。因此，例如，当用户A一只手握住其他东西时，终端设备1的操作就变得非常麻烦。

在上面给出的说明中，在通话按钮31处于操作状态时，执行音频记录；并且发送在将通话按钮31从操作状态释放的时间点之前记录的语音消息。然而，那不是唯一可能的示例。可替代地，也可以考虑在通话按钮31仍处于操作状态时发送语音消息的方法。然而，在该方法中，仍然存在以下事实：一只手握住终端设备1，而另一只手操作通话按钮31。

(根据第一实施例的语音消息发送)

下面给出了关于根据第一实施例执行的语音消息发送的示意性说明。图5是用于示意性地说明根据第一实施例的针对语音消息发送执行的一系列操作的示例性流程图。在下面的说明中，例如，假设用户A使终端设备1(A)使用第一传感器14获得他或她的脸部图像，并且进行人脸验证。关于验证的脸部的信息被存储在终端设备1(A)中。

例如，用户A激活终端设备1(A)中的SNS应用5(步骤S1100)。已经以相同的方式激活了终端设备1(B)中的SNS应用5的用户B将例如具有文本数据的消息发送到终端设备1(A)。在终端设备1(A)中接收该消息(步骤S1101)。

终端设备1(A)接收到消息，将第一传感器14转向他或她的脸部，并且将第一传感器14移近脸部。基于由第一传感器14获得的脸部检测结果，终端设备1(A)判定检测到的脸部是否是已经被验证的脸部。如果判定检测到的脸部是已经被验证的脸部(步骤S1102)，则终端设备1(A)开始对由麦克风12收集的语音进行音频记录(步骤S1103)。连续进行音频记录，直到基于第一传感器14的检测结果判定脸部已经移开。当基于第一传感器14的检测结果检测到脸部已经从终端设备1(A)移开预定距离或更大距离时(步骤S1104)，终端设备1(A)结束音频记录，并且将记录的内容发送到终端设备1(B)(步骤S1105)。

以这种方式，在第一实施例中，仅通过使脸部靠近终端设备1(A)移动，就能够设置语音消息，而不必在终端设备1(A)中进行任何按钮操作。因此，响应于来自用户B的消息，用户A将能够仅使用一只手容易地发送语音消息。

在上面给出的说明中，在保持脸部靠近终端设备1(A)的同时，进行音频记录；并且一旦脸部从终端设备1(A)移开预定距离或更大距离，就发送记录的语音消息。然而，这不是唯一可能的情况。可替代地，还可以考虑在保持脸部靠近终端设备1(A)的同时发送语音消息的方法。在那种情况下，仍然存在这样的事实，即仅用一只手就能够容易地发送语音消息作为响应。

(第一实施例的更详细的说明)

下面给出的是第一实施例的更详细的说明。

(根据第一实施例的终端设备的具体构造)

首先，关于根据第一实施例的终端设备1，下面给出了具体说明。图6是示出可应用于第一实施例的终端设备1的硬件配置的示例性框图。参考图6，终端设备1包括通过总线1020彼此连接的CPU(Central Processing Unit：中央处理单元)1000、ROM(Read OnlyMemory：只读存储器)1001、RAM(Random Access Memory：随机存取存储器)1002、摄像单元1003、测距单元1004、存储器1006、输入装置1007、显示控制单元1009、数据I/F(interface：接口)1010、通信I/F 1011、音频I/F 1012和方向检测单元1013。此外，终端设备1包括向终端设备1的组成元件供电的电源单元1060。

光源单元1005连接到测距单元1004。电源单元1060分别经由开关1061a和1061b向测距单元1004和光源单元1005供电。此外，电源单元1060经由开关1062向摄像单元1003供电。开关1061a、1061b和1062例如在CPU 1000的控制下在接通状态和断开状态之间切换。

存储器1006是诸如闪存或硬盘驱动器等的非易失性存储介质。CPU 1000遵循在存储在存储器1006或ROM 1001中的程序中写入的指令，并且在使用RAM 1002作为工作存储器时控制终端设备1的整体操作。

输入装置1007根据用户操作输出控制信号。显示控制单元1009基于由CPU 1000发送的显示控制信号来生成显示信号，该显示信号可以由显示装置1008显示出来。输入装置1007和显示装置1008以集成的方式配置并且用作触摸感应面板1030。

数据I/F 1010是用于使终端设备1能够与外部设备进行数据通信的接口。例如，USB(Universal Serial Bus：通用串行总线)或Bluetooth(注册商标)能够用作数据I/F1010。通信I/F 1011执行与网络2的通信。麦克风12和扬声器13连接到音频I/F 1012。音频I/F 1012对模拟声音信号(其是基于由麦克风12收集的)进行AD(Analog to Digital：模拟到数字)转换，并且输出数字声音数据。此外，音频I/F 1012对经由总线1020接收到的声音数据进行DA(Digital to Analog：数字到模拟)转换为模拟声音信号，并且将声音信号发送到扬声器13。

方向检测单元1013检测终端设备1的方向。例如，作为方向检测单元1013，可以实现9轴传感器，该9轴传感器包括分别沿三个轴(即，x轴、y轴和z轴)进行检测的陀螺仪传感器(角速度传感器)、加速度传感器和地磁传感器。

摄像单元1003对应于第二传感器15，并且摄像单元1003包括：图像传感器，其输出与所照射的光相对应的图像信号；光学系统，其将来自摄影对象的光引导到图像传感器的光接收表面；和处理单元，其对从图像传感器输出的图像信号进行预定的信号处理和预定的图像处理。作为图像传感器，可以使用其中使用了CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)的固态图像感测装置(CIS:CMOS图像传感器)。

固态摄像装置能够通过在单个半导体芯片上形成图像传感器单元(其中，像素以阵列状的方式布置)和处理单元来构成。此外，固态摄像装置能够具有通过将形成有图像传感器的层和形成有处理单元的层接合而构成的两层结构。然而，这不是唯一可能的情况。可替代地，固态摄像装置能够具有通过将形成有存储器的层进一步接合到形成有图像传感器单元和处理单元的层而构成的三层结构。

测距单元1004和光源单元1005构成表示第一传感器14的ToF传感器。尽管稍后将详细说明，但是光源单元1005包括例如红外光(IR)的光源。测距单元1004包括光接收元件，该光接收元件接收从光源单元1005发射到目标上的红外光的反射光，并且测距单元包括信号处理单元，该信号处理单元基于光接收元件的输出来生成点组信息，其中每个点具有深度信息(沿光轴方向的距离信息)。

图7是示出第一传感器14的更详细的构造示例的图。在第一传感器14中，光源单元1005包括光调制单元1050、VCSEL(Vertical Cavity-Surface Emitting Laser：垂直腔表面发射激光器)1051和投影镜1052。测距单元1004包括光接收透镜1040、ToF传感器1041、存储单元1042、无效信息生成单元1043、算术处理单元1044和输出单元1045。

光调制单元1050向VCSEL 1051提供调制信号，该调制信号用于以例如大约10MHz的高频调制从VCSEL 1051输出的光。此外，光调制单元1050将指示VCSEL 1051的光被调制的时序的时序信号发送到ToF传感器1041和无效信息生成单元1043。

根据光调制单元1050发送的调制信号，VCSEL 1051在对诸如红外光等不可见区域的光进行高速调制的同时发光；并且将所得的光发射到目标物体上以通过第一传感器14进行距离测量。在第一实施例中，把向目标物体发光的光源解释为VCSEL 1051。然而，可替代地，可以使用诸如激光二极管等的其他光源。

使用用于调节光分布的窄角透镜构成投影镜1052，从而从VCSEL 1051发出的光具有期望的照射角。

使用广角透镜构成光接收透镜1040，该广角透镜覆盖为了测距而通过第一传感器14接收的光的光接收范围。光接收透镜1040在ToF传感器1041的传感器表面上形成以光接收范围的视角聚集的光的图像。

ToF传感器1041由在从VCSEL 1051发出的光的波长区域具有灵敏度的光接收元件(像素)构成；并且使用在传感器表面上以阵列状的方式布置的多个光接收元件接收由光接收透镜1040成像的光。例如，ToF传感器1041包括大约180×240个阵列的光接收元件。ToF传感器1041布置在VCSEL 1051附近，并且接收来自光接收范围的光，该光接收范围包括其中从VCSEL 1051发出光的照射范围。然后，ToF传感器1041将由每个光接收元件接收的光量作为测量值来输出RAW信号。

存储单元1042用于存储使用从ToF传感器1041输出的RAW信号建立的点组信息。例如，存储单元1042能够用于存储在光接收范围发生变化时获得的最新点组信息、或者能够用于存储在光接收范围中不存在目标物体的状态下的点组信息作为背景信息。

根据从光调制单元1050接收的时序信号，无效信息生成单元1043从从ToF传感器1041接收到的RAW信号消除环境光的影响。结果，无效信息生成单元1043生成仅具有与从VCSEL 1051发出的光相对应的反射光分量作为测量值的点组信息(以下称为无效信息)；并且将无效信息发送到算术处理单元1044。此外，无效信息生成单元1043读取存储在存储单元1042中的背景信息；获得背景信息和使用从ToF传感器1041接收到的RAW信号建立的点组信息之间的差异；并且在光接收范围内产生仅限于目标物体的无效信息。

关于算术处理单元1044，每当从无效信息生成单元1043接收到无效信息时，算术处理单元1044就进行计算以获得无效信息中的每个点到目标物体的距离；并且将表示距离的深度信号发送到输出单元1045。此外，必要时，算术处理单元1044能够读取存储在存储单元1042中的最新点组信息，并且使用该点组信息获得到目标物体的距离。

输出单元1045基于从算术处理单元1044接收到的深度信号，生成深度信息，在该深度信息中，根据光接收元件的布置来排列到拍摄对象的距离；并且输出单元1045将深度信息输出到总线1020。

同时，在以上给出的说明中，VCSEL被用作光源单元1005中的光源元件。然而，这不是唯一可能的情况。可替代地，例如，LED(Light Emitting Diode：发光二极管)能够用作在光源单元1005中使用的光源元件。

下面参考图8说明的是在第一传感器14中实现的距离测量的原理。例如，VCSEL1051向目标物体发出照明光，并且根据到目标物体的距离，从照明光的发出时刻起延迟时间段φ，ToF传感器1041接收到反射光，该反射光是由来自目标物体的照明光的反射而产生的。此时，在ToF传感器1041中，由光接收单元A和光接收单元B接收反射光，光接收单元A以与VCSEL 1051发出照明光的时间间隔相同的时间间隔接收光，光接收单元B从光接收单元A停止接收光开始以相同的时间间隔接收光。因此，电荷累积在光接收单元A和B中。

基于在光接收单元A中累积的电荷与在光接收单元B中累积的电荷的比率，能够获得在接收到反射光之前所花费的时间段φ；并且能够根据光速计算到目标物体的距离。这种基于电荷的比率来计算到目标物体的距离的ToF方法称为间接ToF。

相比之下，基于照明光和反射光之间的时间差来计算到目标物体的距离的ToF方法称为直接ToF。在相关的应用中，能够实现间接ToF和直接ToF中的一种。

图9是示出根据第一实施例的由第一传感器14输出的深度信息的示例的图。在图9所示的示例中，通过在各点之间进行插值，以灰度的形式表示深度信息。在图9中，除了背景部分之外，阴影较深(黑色阴影)的部分表示距离较短，阴影较浅(白色阴影)的部分表示距离较长。

更特别地，关于如图9所示的侧向取向的脸部，可以理解，颞区域50、耳廓的外边缘51a和耳环52具有最暗的阴影并且距离最短。此外，可以理解，颌53的阴影比颞区域50的阴影浅，并且比颞区域50更远。此外，可以理解，头后部的头发54具有最浅的阴影，并且距离脸部的其他区域最远。此外，可以理解，在耳廓中，外边缘51a和内部51b具有不同程度的暗度，并且内部51b比外边缘51a更远。

以这种方式，基于由第一传感器14获得的测距结果，可以获得目标物体的凹凸形状。

图10是用于说明根据第一实施例的终端设备1的功能的示例性功能框图。参考图10，终端设备1包括SNS应用单元100、检测/控制单元110、整体控制单元120、通信单元121、显示单元122、输入接收单元123、验证单元124和用户信息存储单元125。

在这些功能中，SNS应用单元100对应于由服务器3提供的SNS应用5，并且SNS应用单元100通过将从服务器3获得的安装程序安装在终端设备1中而在终端设备1中进行配置。检测/控制单元110执行根据第一实施例的操作，并且通过将从服务器3或另一服务器获得的安装程序安装在终端设备1中而在终端设备1中进行配置。然而，这不是唯一可能的情况。可替代地，用于配置检测/控制单元110的安装程序能够被包括在用于配置SNS应用单元100的安装程序中。

另一方面，整体控制单元120、通信单元121、显示单元122、输入接收单元123和验证单元124被预先安装在终端设备1中。例如使用存储器1006的预定区域配置用户信息存储单元125。

整体控制单元120例如表示用于控制终端设备1的整体操作的OS(OperatingSystem：操作系统)。通信单元121控制经由网络2执行的通信。显示单元122生成用于在显示装置1008中执行显示的显示控制信号。输入接收单元123接收关于输入装置1007的用户操作。

验证单元124基于存储在用户信息存储单元125中的用户信息来验证终端设备1的用户。验证单元124在进行用户验证时使用的用户信息包括：用户ID；密码；PIN(PersonalIdentification Number：个人识别号)码；基于由第一脸部检测单元112(稍后描述)检测到的深度信息的脸部信息；和由第二脸部检测单元114(稍后描述)检测到的拍摄图像。

SNS应用单元100包括UI(User Interface：用户界面)单元101、通信处理单元102和声音处理单元103。UI单元101提供使用户能够扫描终端设备1的用户界面；并且用于定义由显示单元122在显示装置1008中显示的显示屏幕的配置，并用于定义针对输入装置1007执行并由输入接收单元123接收的用户操作。通信处理单元102执行与有关SNS中的通信有关的处理。声音处理单元103执行与有关SNS中语音消息的发送和接收有关的处理。

检测/控制单元110包括测距处理单元111、第一脸部检测单元112、摄像处理单元113、第二脸部检测单元114、移动估计单元115和应用控制单元116。

测距处理单元111使用第一传感器14(即，使用测距单元1004和光源单元1005)进行测距；并且获得深度信息。第一脸部检测单元112基于由测距处理单元111获得的深度信息来检测脸部。此外，第一脸部检测单元112能够比较按时间顺序获得的多组深度信息，并且相应地检测脸部的运动。

摄像处理单元113使用摄像单元1003进行摄像并且获得拍摄图像。第二脸部检测单元114基于由摄像处理单元113获得的拍摄图像来检测脸部。此外，第二脸部检测单元114能够比较按时间顺序获得的多个拍摄图像，并且相应地检测脸部的运动。

移动估计单元115基于方向检测单元1013的输出来估计终端设备1的移动。例如，当用户手持终端设备1并将其移动时，移动估计单元115能够基于方向检测单元1013的输出根据移动估计结果来检测运动。

应用控制单元116控制SNS应用单元100的操作，并且获得SNS应用单元100的状态。例如，基于由第一脸部检测单元112和第二脸部检测单元114执行的脸部检测的结果，应用控制单元116控制SNS应用单元100的操作。

在终端设备1中为了实现SNS应用单元100和检测/控制单元110的操作而编写的程序以可下载的方式存储在连接到网络2(例如，因特网)的计算机(例如，服务器3)中。可替代地，能够经由网络2(例如，因特网)来分发程序。此外，可替代地，能够将程序作为可安装文件或可执行文件记录在诸如CD(Compact Disk：光盘)、软盘(FD)或DVD(Digital VersatileDisk：数字通用光盘)等计算机可读的记录介质中。

在这些程序中，为配置SNS应用单元100(即，SNS应用5)而编写的程序具有包括UI单元101、通信处理单元102和声音处理单元103的模块化配置。为配置检测/控制单元110而编写的程序(即，控制程序)具有包括测距处理单元111、第一脸部检测单元112、摄像处理单元113、第二脸部检测单元114和应用控制单元116的模块化配置。就实际硬件而言，CPU1000从诸如ROM 1001或存储器1006等记录介质读取程序，并且执行该程序；因此，上述构成要素被装载到诸如RAM 1002等主存储装置中并在其中生成。

同时，在检测/控制单元110中包括的功能中，关于与终端设备1中的预安装功能相同的功能，能够使用终端设备1中的预安装功能。例如，当终端设备1具有基于深度信息执行人脸认证的预安装功能时，能够在测距处理单元111和第一脸部检测单元112中使用该人脸认证功能。

(根据第一实施例的操作细节)

下面给出了关于在根据第一实施例的终端设备1中执行的操作的更详细说明。图11是用于说明在根据第一实施例的终端设备1中执行的语音消息发送操作的示例性流程图。在图11中的流程图所示的操作开始时，假定开关1061a和1061b处于断开状态。因此，没有为测距单元1004和光源单元1005供电，并且它们的功能被禁用。以相同的方式，假定开关1062处于断开状态。因此，没有为摄像单元1003供电，并且摄像单元1003的功能被禁用。

在步骤S100，应用控制单元116获得SNS应用单元100的状态，并且判定SNS应用5是否正在运行。如果应用控制单元116判定SNS应用5未在运行(步骤S100为否)，则系统控制返回至步骤S100。另一方面，如果应用控制单元116判定SNS应用5正在运行(步骤S100为是)，则控制系统进入步骤S101。

在步骤S101，应用控制单元116判定在设置中是否开启了语音输入自动检测模式。语音输入自动检测模式是例如使用由整体控制单元120呈现的设置屏幕设置的选项。当开启了语音输入自动检测模式时，启用检测/控制单元110的与语音输入相关的自动检测功能。如果应用控制单元116判定在设置中没有开启语音输入自动检测模式(步骤S101为否)，则系统控制进入到步骤S120。

在步骤S120，应用控制单元116指示SNS应用单元100保持用于将消息输入成正常字符输入模式的操作模式。在执行了步骤S120的操作之后，应用控制单元116结束图11中的流程图所示的一系列操作。

同时，在步骤S101，如果应用控制单元116判定在设置中开启了语音输入自动检测模式(步骤S101为是)，则系统控制进入步骤S102。在步骤S102，应用控制单元116判定SNS应用单元100是否已经接收到使用相应的SNS应用5从另一终端设备1发送的消息。在这种情况下，该消息能够是通过输入字符编写的文本消息，或者是通过输入语音给出的语音消息。

如果应用控制单元116判定SNS应用单元100尚未接收到消息(步骤S102为否)，则系统控制返回至步骤S102。另一方面，如果应用控制单元116判定SNS应用单元100已经接收到消息(步骤S102为是)，则系统控制进入步骤S103。

在步骤S103，应用控制单元116使测距单元1004和光源单元1005启用。更具体地，应用控制单元116例如指示整体控制单元120将开关1061a和1061b控制为接通状态。作为接通开关1061a和1061b的结果，测距单元1004和光源单元1005被供电，并且它们的功能被启用。一旦启用测距单元1004和光源单元1005的功能，测距处理单元111就基于从测距单元1004输出的深度信息开始测距操作。

随后，在步骤S104，应用控制单元116判定在从步骤S102接收消息的时间点起的预定时段内终端设备1是否移动。应用控制单元116能够例如基于移动估计单元115的输出来确定关于终端设备1的移动。

这里，尽管给出了关于在步骤S104中判定终端设备1是否已经移动的情况的说明，但是这不是唯一可能的情况。例如，在步骤S104，能够基于由测距处理单元111获得的深度信息来检测脸部，并且能够确定所检测到的脸部是否已经移近终端设备1。这意味着获得终端设备1与表示测距目标的脸部之间的相对位置的变化。

如果应用控制单元116在步骤S104中判定终端设备1在预定时间段内尚未移动(步骤S104为否)，则系统控制进入步骤S112。另一方面，如果应用控制单元116在步骤S104中判定终端设备1在预定时间段内已经移动(步骤S104为是)，则系统控制进入步骤S105。

在步骤S105，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果，获得到对象(脸部)的距离。随后，在步骤S106，基于在步骤S105获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动到预定距离内。

如果应用控制单元116在步骤S106判定对象(脸部)在预定时间段内没有接近预定距离内(步骤S106为否)，则系统控制进入步骤S112。即，在这种情况下，可以认为用户无意进行语音输入和发送语音消息。因此，取消与语音消息发送有关的后续操作。

另一方面，如果应用控制单元116在步骤S106中判定对象(脸部)在预定时间段内已经移动到预定距离内(步骤S106为是)，则系统控制进入步骤S107。

同时，在图11中，尽管示出了步骤S105和S106中的操作仅在一次迭代中完成；但是实际上，步骤S105和S106中的操作是循环执行的，直到满足步骤S106的条件为止。

在步骤S107，应用控制单元116指示SNS应用单元100将操作模式设置为语音输入模式(即，开启语音输入模式)。响应于该指示，SNS应用单元100将操作模式设置为语音输入模式，并且基于麦克风12收集的声音，使用声音处理单元103开始语音输入处理。

然后，在步骤S108，在SNS应用单元100中，通信处理单元102将通过声音处理单元103执行的处理而获得的语音数据作为语音消息发送给在步骤S102接收的消息的发送者。

随后，在步骤S109，基于由第一脸部检测单元112获得的脸部检测结果，应用控制单元116判定对象(脸部)是否已经与终端设备1相距预定距离。如果应用控制单元116判定对象(脸部)尚未远离预定距离(步骤S109为否)，则系统控制返回至步骤S108。

另一方面，在步骤S109，如果应用控制单元116判定对象(脸部)已经远离定距离(步骤S109为是)，则系统控制进入步骤S110。即，在这种情况下，可以认为用户打算中止或结束语音消息的发送。在步骤S110，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指示，SNS应用单元100结束由声音处理单元103执行的语音输入处理，并且结束由通信处理单元102执行的语音消息发送。

随后，在步骤S111，应用控制单元116判定在步骤S110中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S111为是)，则系统控制返回至步骤S104。另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S111为否)，则系统控制进入步骤S112。

在步骤S112，应用控制单元116使测距单元1004和光源单元1005关闭。更具体地，应用控制单元116例如指示整体控制单元120将开关1061a和1061b控制为断开状态。作为断开开关1061a和1061b的结果，从电源单元1060向测距单元1004和光源单元1005的供电被停止，并且测距单元1004和光源单元1005的功能被禁用。

当步骤S112的操作完成时，图11中的流程图所示的一系列操作结束。

以这种方式，在第一实施例中，SNS应用单元100基于终端设备1和脸部之间的距离来控制打开和关闭语音输入模式的操作。这消除了用户为了打开或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等操作的必要，并且能够例如仅通过一只手握住终端设备1并将其靠近脸部来发送语音消息。即，除了握住终端设备1之外，用户将能够以非接触的方式发送语音消息。

此外，在第一实施例中，SNS应用单元100基于其中红外光用作光源的ToF传感器1041的输出，来控制打开和关闭语音输入模式的操作。因此，即使在诸如夜间等的黑暗环境中，也能够执行用于打开和关闭语音输入模式的控制。例如，在使用诸如CIS等图像传感器执行上述控制的情况下，必须具有一定亮度的外部光。因此，这种图像传感器不适合在黑暗环境中使用。

此外，在第一实施例中，在执行用于发送语音消息的语音输入时测量到脸部的距离。因此，能够基于到脸部的距离来调节麦克风12的灵敏度(相对于麦克风12的输出的增益)。因此，能够以适当的音量发送语音消息。

[第一实施例的第一变形例]

下面给出的是第一实施例的第一变形例的说明。在第一实施例中，SNS应用单元100基于脸部到终端设备1的距离来控制语音输入模式。相比之下，在第一实施例的第一变形例中，SNS应用单元100基于深度信息通过检测嘴部的移动来控制语音输入模式。

在第一实施例的第一变形例中，能够不加修改地实施根据第一实施例的参考图6至图10说明的终端设备1的配置。

图12是用于说明在根据第一实施例的第一变形例的终端设备1中执行的语音消息发送操作的示例性流程图。在图12中，与图11中的流程图所示的操作相同的操作由相同的步骤编号表示，并且简要说明。在图12中的流程图所示的操作开始时，假定开关1061a和1061b处于断开状态。以相同的方式，假定开关1062处于断开状态。因此，没有为摄像单元1003供电，并且摄像单元1003的功能被禁用。

在图12所示的流程图中，从步骤S100至步骤S107的操作与图11中的流程图所示的从步骤S100至步骤S107执行的操作相同。即，在步骤S100，应用控制单元116判定SNS应用5是否正在运行。如果应用控制单元116判定SNS应用5未在运行(步骤S100为否)，则系统控制返回至步骤S100。另一方面，如果应用控制单元116判定SNS应用5正在运行(步骤S100为是)，则系统控制进入步骤S101。

在步骤S101，应用控制单元116判定在设置中是否开启了语音输入自动检测模式。如果应用控制单元116判定在设置中没有开启语音输入自动检测模式(步骤S101为否)，则系统控制进入到步骤S120。在步骤S120，应用控制单元116指示SNS应用单元100保持用于将消息输入成正常字符输入模式的操作模式。这标志着图12中的流程图所示的一系列操作结束。

同时，在步骤S101，如果应用控制单元116判定在设置中开启了语音输入自动检测模式(步骤S101为是)，则系统控制进入步骤S102。在步骤S102，应用控制单元116判定SNS应用单元100是否已经接收到使用相应的SNS应用5从另一终端设备1发送的消息。如果应用控制单元116判定SNS应用单元100尚未接收到消息(步骤S102为否)，则系统控制返回至步骤S102。

另一方面，如果应用控制单元116判定SNS应用单元100已经接收到消息(步骤S102为是)，则系统控制进入步骤S103。在步骤S103，应用控制单元116使测距单元1004和光源单元1005启用。

随后，在步骤S104，应用控制单元116使用陀螺仪检测终端设备1的移动，并且判定在从步骤S102接收消息的时间点起的预定时段内终端设备1是否移动。如果应用控制单元116判定终端设备1尚未移动(步骤S104为否)，则系统控制进入步骤S205。

另一方面，如果应用控制单元116在步骤S104中判定终端设备1在预定时间段内已经移动(步骤S104为是)，则系统控制进入步骤S105。在步骤S105，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果，获得到对象(脸部)的距离。

随后，在步骤S106，基于在步骤S105获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动到预定距离内。以与参考图11给出的说明相同的方式，实际上，步骤S105和S106中的操作是循环执行的，直到满足步骤S106的条件为止。

在步骤S106，如果应用控制单元116判定对象(脸部)在预定时间段内没有接近预定距离内(步骤S106为否)，则系统控制进入步骤S205，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S106中判定对象(脸部)在预定时间段内已经移动到预定距离内(步骤S106为是)，则系统控制进入步骤S107。在步骤S107，应用控制单元116指示SNS应用单元100开启语音输入模式。

随后，在步骤S200，应用控制单元116指示第一脸部检测单元112使用基于深度信息的脸部检测结果来开始检测嘴部在脸部的运动。响应于该指令，第一脸部检测单元112将例如按时间顺序获得的多组深度信息进行比较，并且检测嘴部的运动。

随后，在步骤S201，在SNS应用单元100中，通信处理单元102将通过声音处理单元103处理的语音数据作为语音消息发送给在步骤S102接收的消息的发送者。

然后，在步骤S202，基于第一脸部检测单元112在步骤S200开始的嘴部运动检测的结果，应用控制单元116判定嘴部的运动是否已经停止了预定时间段。在步骤S202，如果应用控制单元116判定嘴部的运动在预定时间段内没有停止(步骤S202为否)，则系统控制返回至步骤S201。另一方面，如果应用控制单元116判定嘴部的运动已经停止了预定时间段(步骤S202为是)，则系统控制进入步骤S203。

同时，在图12中，尽管示出了步骤S201和S202中的操作仅在一次迭代中完成；但是实际上，步骤S201和S202中的操作是循环执行的，直到满足步骤S202的条件为止。

从步骤S203开始执行的操作与根据第一实施例的图11中的流程图所示的从步骤S110开始执行的操作相同。即，在步骤S203，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指令，SNS应用单元100结束使用声音处理单元103执行的语音输入处理，并且结束使用通信处理单元102执行的语音消息发送操作。

随后，在步骤S204，应用控制单元116判定在步骤S203中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S203为是)，则系统控制返回至步骤S104。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S204为否)，则系统控制进入步骤S205。在步骤S205，应用控制单元116使测距单元1004和光源单元1005关闭。当步骤S205的操作完成时，图11中的流程图所示的一系列操作结束。

以这种方式，在第一实施例的第一变形例中，根据基于深度信息检测嘴部运动的结果，执行用于关闭语音输入模式的控制。因此，能够以更高的精度来控制语音消息发送。

此外，在第一实施例的第一变形例中，以与第一实施例相同的方式，用户不需要为了开启或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等的操作，并且能够例如仅通过一只手握住终端设备1并将其移近脸部来发送语音消息。

此外，在第一实施例的第一变形例中，以与第一实施例相同的方式，SNS应用单元100基于使用红外光作为光源的ToF传感器1041的输出来控制开启和关闭语音输入模式的操作。因此，即使在诸如夜间等黑暗环境中，也能够执行用于开启和关闭语音输入模式的控制。

[第一实施例的第二变形例]

下面给出的是第一实施例的第二变形例的说明。在第一实施例的第一变形例中，SNS应用单元100通过基于深度信息检测嘴部的运动，来控制语音输入模式。相比之下，在第一实施例的第二变形例中，SNS应用单元100通过基于拍摄的图像检测嘴部的运动，来控制语音输入模式。

在第一实施例的第一变形例中，能够不加修改地应用根据第一实施例的参考图6至图10说明的终端设备1的配置。

图13是用于说明在根据第一实施例的第二变形例的终端设备1中执行的语音消息发送操作的示例性流程图。在图13中，与图11中的流程图所示的操作相同的操作由相同的步骤编号表示，并且简要地给出说明。在图13中的流程图所示的操作开始时，假定开关1061a和开关1061b都处于断开状态。以相同的方式，假定开关1062处于断开状态。因此，不向摄像单元1003供电，并且摄像单元1003的功能被禁用。

在图13所示的流程图中，从步骤S100至步骤S107的操作与图11中的流程图所示的从步骤S100至步骤S107执行的操作相同。即，在步骤S100，应用控制单元116判定SNS应用5是否正在运行。如果应用控制单元116判定SNS应用5未在运行(步骤S100为否)，则系统控制返回至步骤S100。另一方面，如果应用控制单元116判定SNS应用5正在运行(步骤S100为是)，则系统控制进入步骤S101。

在步骤S101，应用控制单元116判定在设置中是否开启了语音输入自动检测模式。如果应用控制单元116判定在设置中没有开启语音输入自动检测模式(步骤S101为否)，则系统控制进入到步骤S120。在步骤S120，应用控制单元116指示SNS应用单元100保持用于将消息输入成正常字符输入模式的操作模式。这标志着图13中的流程图所示的一系列操作结束。

同时，在步骤S101，如果应用控制单元116判定在设置中开启了语音输入自动检测模式(步骤S101为是)，则系统控制进入步骤S102。在步骤S102，应用控制单元116判定SNS应用单元100是否已经接收到使用相应的SNS应用5从另一终端设备1发送的消息。如果应用控制单元116判定SNS应用单元100尚未接收到消息(步骤S102为否)，则系统控制返回至步骤S102。

另一方面，如果应用控制单元116判定SNS应用单元100已经接收到消息(步骤S102为是)，则系统控制进入步骤S103。在步骤S103，应用控制单元116使测距单元1004和光源单元1005启用。

随后，在步骤S104，应用控制单元116基于移动估计单元115的输出来检测终端设备1的移动，并且判定在从步骤S102接收消息的时间点起的预定时段内终端设备1是否移动。如果应用控制单元116判定终端设备1尚未移动(步骤S104为否)，则系统控制进入步骤S306。

另一方面，如果应用控制单元116在步骤S104中判定终端设备1在预定时间段内已经移动(步骤S104为是)，则系统控制进入步骤S105。在步骤S105，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果，获得到对象(脸部)的距离。

随后，在步骤S106，基于在步骤S105获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动靠近到预定距离内。实际上，以与参考图11给出的说明相同的方式，步骤S105和S106中的操作是循环执行的，直到满足步骤S106的条件为止。

在步骤S106，如果应用控制单元116判定对象(脸部)在预定时间段内没有移动靠近到预定距离内(步骤S106为否)，则系统控制进入步骤S306，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S106中判定对象(脸部)在预定时间段内已经移动靠近到预定距离内(步骤S106为是)，则系统控制进入步骤S107。在步骤S107，应用控制单元116指示SNS应用单元100开启语音输入模式。

随后，在步骤S300，应用控制单元116开启摄像单元1003的功能。更具体地，应用控制单元116例如指示整体控制单元120开始给摄像单元1003供电。响应于该指示，整体控制单元120接通开关1062，并且开始从电源单元1060到摄像单元1003的供电。结果，启用了摄像单元1003的功能，并且摄像处理单元113开始获取拍摄的图像。

然后，在步骤S301，应用控制单元116指示第二脸部检测单元114使用基于拍摄的图像的脸部检测结果来开始检测嘴部在脸部的运动。响应于该指令，第二脸部检测单元114将例如按时间顺序获得的多个拍摄图像进行比较，并且检测嘴部的运动。

随后，在步骤S302，在SNS应用单元100中，通信处理单元102将通过声音处理单元103进行处理而获得的语音数据作为语音消息发送给在步骤S102接收的消息的发送者。

然后，在步骤S303，基于在步骤S301开始的由第二脸部检测单元114检测的嘴部运动结果，应用控制单元116判定嘴部的运动是否已经停止了预定时间段。在步骤S303，如果应用控制单元116判定嘴部的运动在预定时间段内没有停止(步骤S303为否)，则系统控制返回至步骤S302。另一方面，如果应用控制单元116判定嘴部的运动已经停止了预定时间段(步骤S303为是)，则系统控制进入步骤S304。

同时，在图13中，尽管示出了步骤S302和S303中的操作仅在一次迭代中完成；但是实际上，步骤S302和S303中的操作是循环执行的，直到满足步骤S303的条件为止。

从步骤S304开始执行的操作与根据第一实施例的图11中的流程图所示的从步骤S110开始执行的操作相同。即，在步骤304，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指令，SNS应用单元100结束使用声音处理单元103执行的语音输入处理，并且结束使用通信处理单元102执行的语音消息发送操作。

随后，在步骤S304，应用控制单元116判定在步骤S304中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S304为是)，则系统控制返回至步骤S104。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S305为否)，则系统控制进入步骤S306。在步骤S306，应用控制单元116使摄像单元1003、测距单元1004和光源单元1005关闭。更具体地，应用控制单元116例如指示整体控制单元120停止向摄像单元1003、测距单元1004和光源单元1005供电。响应于该指示，整体控制单元120使开关1061a、1061b和1062断开；从而停止向摄像单元1003、测距单元1004和光源单元1005供电。

当步骤S306的操作完成时，图13中的流程图所示的一系列操作结束。

以这种方式，在第一实施例的第二变形例中，根据基于拍摄的图像检测嘴部运动的结果，执行用于关闭语音输入模式的控制。在此，与ToF传感器1041基于点组信息始终获得深度信息的情况相反，摄像单元1003的图像传感器能够输出例如表示使用R(红色)、G(绿色)和B(蓝色)颜色拍摄的全色图像的拍摄图像。因此，能够以更高的精度来检测嘴部的运动。因此，在第一实施例的第二变形例中，与第一实施例的第一变形例相比，能够以更高的精度来控制语音消息发送。

此外，在第一实施例的第二变形例中，以与第一实施例相同的方式，用户不需要为了开启或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等的操作，并且能够例如仅通过一只手握住终端设备1并将其移近脸部来发送语音消息。

[第二实施例]

下面给出第二实施例的说明。在第二实施例中，当SNS应用5在由OS(整体控制单元120)施加的显示锁定期间接收到消息时，基于深度信息执行人脸认证，并且解除显示锁定。

同时，在第二实施例中，能够不加修改地应用根据第一实施例参考图6至图10说明的终端设备1的配置。

图14是用于说明在根据第二实施例的终端设备1中执行的语音消息发送操作的示例性流程图。在图14中的流程图所示的操作开始时，假定开关1061a、1061b和1062处于断开状态。

在图14中的流程图所示的操作之前，在终端设备1中，假定OS(整体控制单元120)已经锁定了显示单元10的显示，使得例如在使用输入装置1007执行的用户操作中，输入接收单元123能够接收的操作受到限制。此外，在显示锁定状态下，例如，在后台仅激活并执行SNS应用5的一些功能(例如，通信处理单元102)。

在步骤S500，应用控制单元116判定SNS应用单元100是否已经接收到使用相应的SNS应用5从另一终端设备1发送的消息。如果应用控制单元116判定SNS应用单元100尚未接收到消息(步骤S500为否)，则系统控制返回至步骤S500。另一方面，如果应用控制单元116判定SNS应用单元100已经接收到消息(步骤S500为是)，则系统控制进入步骤S501。

此时，例如，SNS应用单元100的UI单元101在显示单元10中显示指示已经接收到消息的标题图像。图15A是示出在处于显示锁定状态的显示单元10中显示的标题图像16的示例的图。在图15A所示的示例中，在显示单元10的上端显示包括所接收的消息的摘要的标题图像16。在现有技术中，例如，当轻敲(用手指触摸)标题图像16时，在显示单元10中显示用于输入消息以解除显示锁定的显示锁定解除屏幕。图15B是示出用于根据人脸认证解除显示锁定的显示锁定解除屏幕17的示例的图。

在步骤S501，应用控制单元116判定在设置中是否开启了语音输入自动检测模式。如果应用控制单元116判定在设置中没有开启语音输入自动检测模式(步骤S501为否)，则系统控制进入步骤S520。在步骤S520，应用控制单元116指示SNS应用单元100保持用于将消息输入成正常字符输入模式的操作模式。这标志着图14中的流程图所示的一系列操作结束。

另一方面，如果应用控制单元116判定在设置中开启了语音输入自动检测模式(步骤S501为是)，则系统控制进入步骤S502。在步骤S502，应用控制单元116启用测距单元1004和光源单元1005。

随后，在步骤S503，应用控制单元116指示验证单元124基于由第一脸部检测单元112获得的深度信息来进行人脸认证。此时，期望应用控制单元116指示整体控制单元120显示图15B所示的显示锁定解除屏幕17，以提示用户进行人脸认证。

然后，在步骤S504，应用控制单元116判定由验证单元124执行的人脸认证是否成功。如果应用控制单元116判定人脸认证不成功(步骤S504为否)，则图14中的流程图所示的一系列操作结束。另一方面，如果应用控制单元116判定人脸认证成功(步骤S504为是)，则系统控制进入步骤S505。在步骤S505，应用控制单元116指示整体控制单元120解除显示锁定。随后，在步骤S506，应用控制单元116激活SNS应用5的主体(即，激活包括UI单元101、通信处理单元102和声音处理单元103的整个SNS应用单元100)。

从步骤S507开始执行的操作与根据第一实施例的图11中的流程图所示的从步骤S104开始执行的操作相同。即，在步骤S507，应用控制单元116基于移动估计单元115的输出来检测终端设备1的移动，并且判定终端设备1在步骤S102接收消息的时间点起的预定时间段内是否已经移动。如果应用控制单元116判定终端设备1尚未移动(步骤S507为否)，则系统控制进入步骤S515。

另一方面，如果应用控制单元116判定终端设备1在预定时间段内已经移动(步骤S507为是)，则系统控制进入步骤S508。在步骤S508，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果获得到对象(脸部)的距离。

随后，在步骤S509，基于在步骤S508中获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动靠近到预定距离内。同时，在图14中，尽管示出了步骤S508和S509中的操作仅在一次迭代中完成；但是实际上，步骤S508和S509中的操作是循环执行的，直到满足步骤S509的条件为止。

如果应用控制单元116在步骤S509中判定对象(脸部)在预定时间段内尚未移动靠近在预定距离内(步骤S509为否)，则系统控制进入步骤S515，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S509中判定对象(脸部)在预定时间段内已经移动靠近到预定距离内(步骤S509为是)，则系统控制进入步骤S510。在步骤S510，应用控制单元116指示SNS应用单元100开启语音输入模式。然后，在步骤S511，在SNS应用单元100中，通信处理单元102将通过声音处理单元103进行处理而获得的语音数据作为语音消息发送给在步骤S500接收的消息的发送者。

随后，在步骤S512，应用控制单元116判定对象(脸部)是否与终端设备1相距了预定距离。如果应用控制单元116判定对象(脸部)没有移动离开预定距离(步骤S512为否)，则系统控制返回至步骤S511。另一方面，如果应用控制单元116判定对象(脸部)移动离开预定距离(步骤S512为是)，则系统控制进入步骤S513。

同时，在图14中，尽管示出了步骤S511和S512中的操作仅在一次迭代中完成；但是实际上，步骤S511和S512中的操作是循环执行的，直到满足步骤S512的条件为止。

在步骤S513，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指示，SNS应用单元100结束由声音处理单元103执行的语音输入处理，并且结束由通信处理单元102执行的语音消息发送。

随后，在步骤S514，应用控制单元116判定在步骤S513中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S513为是)，则系统控制返回至步骤S507。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S514为否)，则系统控制进入步骤S515。在步骤S515，应用控制单元116使测距单元1004和光源单元1005关闭。当步骤S515的操作完成时，图14中的流程图所示的一系列操作结束。

以这种方式，在第二实施例中，当在显示锁定状态下在后台运行的SNS应用5接收到消息时，通过使用深度信息进行人脸认证来解除显示锁定，并且激活SNS应用5的主体。因此，即使在显示锁定状态下SNS应用5接收到消息，用户仍然能够例如仅通过一只手握住终端设备1并进行人脸认证来解除显示锁定并使用SNS应用5发送语音消息，而不必执行轻敲终端设备1的触摸感应面板1030的操作。

此时，基于将红外光作为光源的ToF传感器1041的输出，来执行人脸认证。因此，即使在诸如夜间等黑暗环境中，当在显示锁定状态下SNS应用5接收到消息时，也可以解除显示锁定。此外，就通过SNS应用单元100开启或关闭语音输入模式而言，由于基于将红外光作为光源的ToF传感器1041的输出来执行控制，因此，即使在诸如夜间等黑暗环境中，也能够执行语音输入模式的开启/关闭控制。

此外，在第二实施例中，以与第一实施例相同的方式，SNS应用单元100基于终端设备1和脸部之间的距离来控制开启和关闭语音输入模式的操作。这消除了用户为了打开或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等操作的必要，并且用户能够例如仅通过一只手握住终端设备1并将其靠近脸部来发送语音消息。

此外，在第二实施例中，在执行用于发送语音消息的语音输入时，测量到脸部的距离。因此，能够基于到脸部的距离来调节麦克风12的灵敏度(相对于麦克风12的输出的增益)。因此，能够以适当的音量发送语音消息。

[第二实施例的第一变形例]

下面给出了第二实施例的第一变形例的说明。在第二实施例的第一变形例中，当在由OS(整体控制单元120)施加的显示锁定状态下SNS应用5接收到消息时，基于深度信息进行人脸认证并解除显示锁定。另外，以与第一实施例的第一变形例相同的方式，SNS应用单元100通过基于深度信息检测嘴部的运动来控制语音输入模式。

在第二实施例的第一变形例中，能够不加修改地应用根据第一实施例的参考图6至图10说明的终端设备1的配置。

图16是用于说明在根据第二实施例的第一变形例的终端设备1中执行的语音消息发送操作的示例性流程图。在图16中，与图14中的流程图所示的操作相同的操作由相同的步骤编号表示，并且简要地给出说明。在图16中的流程图所示的操作开始时，假定开关1061a、1061b和1062处于断开状态。

在图16中的流程图所示的操作之前，在终端设备1中，假定OS(整体控制单元120)已经锁定了显示单元10的显示，使得例如在后台执行SNS应用5的某些功能。

从步骤S500至步骤S510执行的操作与图14中的流程图所示的从步骤S500至步骤S510执行的操作相同。即，在步骤S500，应用控制单元116判定SNS应用单元100是否已经接收到使用相应的SNS应用5从另一终端设备1发送的消息。如果应用控制单元116判定SNS应用单元100尚未接收到消息(步骤S500为否)，则系统控制返回至步骤S500。

另一方面，如果应用控制单元116判定SNS应用单元100已经接收到消息(步骤S500为是)，则系统控制进入步骤S501。此时，例如，如图15A所示，SNS应用单元100的UI单元101在显示单元10中显示指示已经接收到消息的标题图像16。

在步骤S501，应用控制单元116判定在设置中是否开启了语音输入自动检测模式。如果应用控制单元116判定在设置中没有开启语音输入自动检测模式(步骤S501为否)，则系统控制进入步骤S520。在步骤S520，应用控制单元116指示SNS应用单元100保持用于将消息输入成正常字符输入模式的操作模式。这标志着图16中的流程图所示的一系列操作结束。

另一方面，如果应用控制单元116判定在设置中开启了语音输入自动检测模式(步骤S501为是)，则系统控制进入步骤S502。在步骤S502，应用控制单元116启用测距单元1004和光源单元1005。

随后，在步骤S503，应用控制单元116指示验证单元124基于由第一脸部检测单元112获得的深度信息来进行人脸认证。此时，期望应用控制单元116指示整体控制单元120显示图15B所示的显示锁定解除屏幕17，以提示用户进行人脸认证。

然后，在步骤S504，应用控制单元116判定由验证单元124执行的人脸认证是否成功。如果应用控制单元116判定人脸认证不成功(步骤S504为否)，则图16中的流程图所示的一系列操作结束。另一方面，如果应用控制单元116判定人脸认证成功(步骤S504为是)，则系统控制进入步骤S505。在步骤S505，应用控制单元116指示整体控制单元120解除显示锁定。随后，在步骤S506，应用控制单元116激活SNS应用5的主体。

从步骤S507开始执行的操作与根据第一实施例的第一变形例的图12中的流程图所示的从步骤S104开始执行的操作相同。即，在步骤S507，应用控制单元116基于移动估计单元115的输出来检测终端设备1的移动，并且判定终端设备1在步骤S500接收消息的时间点起的预定时间段内是否已经移动。如果应用控制单元116判定终端设备1尚未移动(步骤S507为否)，则系统控制进入步骤S535。

另一方面，如果应用控制单元116判定终端设备1在预定时间段内已经移动(步骤S507为是)，则系统控制进入步骤S508。在步骤S508，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果获得到对象(脸部)的距离。

随后，在步骤S509，基于在步骤S508中获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动靠近到预定距离内。实际上，以与参考图11说明的方式相同的方式，步骤S508和S509中的操作是循环执行的，直到满足步骤S509的条件为止。

如果应用控制单元116在步骤S509中判定对象(脸部)在预定时间段内尚未移动靠近在预定距离内(步骤S509为否)，则系统控制进入步骤S535，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S509中判定对象(脸部)在预定时间段内已经移动靠近到预定距离内(步骤S509为是)，则系统控制进入步骤S510。在步骤S510，应用控制单元116指示SNS应用单元100开启语音输入模式。

随后，在步骤S530，应用控制单元116指示第一脸部检测单元112使用基于深度信息的脸部检测结果来开始检测嘴部在脸部的运动。响应于该指示，第一脸部检测单元112将例如按时间顺序获得的多组深度信息进行比较，并且检测嘴部的运动。

随后，在步骤S531，在SNS应用单元100中，通信处理单元102将通过声音处理单元103进行处理的语音数据作为语音消息发送给在步骤S500接收的消息的发送者。

然后，在步骤S532，基于在步骤S530开始的由第一脸部检测单元112检测的嘴部运动结果，应用控制单元116判定嘴部的运动是否已经停止了预定时间段。在步骤S532，如果应用控制单元116判定嘴部的运动在预定时间段内尚未停止(步骤S532为否)，则系统控制返回至步骤S531。另一方面，如果应用控制单元116判定嘴部的运动已经停止了预定时间段(步骤S532为是)，则系统控制进入步骤S533。

同时，在图16中，尽管示出了步骤S531和S532中的操作仅在一次迭代中完成；但是实际上，步骤S531和S532中的操作是循环执行的，直到满足步骤S202的条件为止。

从步骤S533开始执行的操作与根据第一实施例的图11中的流程图所示的从步骤S110开始执行的操作相同。即，在步骤S533，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指示，SNS应用单元100结束使用声音处理单元103执行的语音输入处理，并且结束使用通信处理单元102执行的语音消息发送操作。

随后，在步骤S534，应用控制单元116判定在步骤S533中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S533为是)，则系统控制返回至步骤S507。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S534为否)，则系统控制进入步骤S535。在步骤S535，应用控制单元116使测距单元1004和光源单元1005关闭。当步骤S535的操作完成时，图16中的流程图所示的一系列操作结束。

以这种方式，在第二实施例的第一变形例中，以与第二实施例相同的方式，当在显示锁定状态下在后台运行的SNS应用5接收消息时，通过使用深度信息进行人脸认证来解除显示锁定，并且激活SNS应用5的主体。因此，即使在显示锁定状态下SNS应用5接收消息，用户仍然能够例如仅通过一只手握住终端设备1并进行人脸认证来解除显示锁定并使用SNS应用5发送语音消息，而不必执行轻敲终端设备1的触摸感应面板1030的操作。

此外，在第二实施例的第一变形例中，根据基于深度信息检测嘴部运动的结果，来执行用于关闭语音输入模式的控制。因此，能够以更高的精度来控制语音消息发送。

此外，在第二实施例的第一变形例中，以与第二实施例相同的方式，用户不需要为了开启或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等的操作，并且能够例如仅通过一只手握住终端设备1并将其移近脸部来发送语音消息。

此外，在第二实施例的第一变形例中，以与第二实施例相同的方式，就通过SNS应用单元100开启或关闭语音输入模式而言，由于基于将红外光作为光源的ToF传感器1041的输出来执行控制，因此，即使在诸如夜间等黑暗环境中，也能够执行语音输入模式的开启/关闭控制。

此外，在第二实施例的第一变形例中，以与第二实施例相同的方式，在执行用于发送语音消息的语音输入时，测量到脸部的距离。因此，能够基于到脸部的距离来调节麦克风12的灵敏度(相对于麦克风12的输出的增益)。因此，能够以适当的音量发送语音消息。

[第二实施例的第二变形例]

下面给出了第二实施例的第二变形例的说明。在第二实施例的第二变形例中，当在由OS(整体控制单元120)施加的显示锁定状态下SNS应用5接收到消息时，基于深度信息进行人脸认证并解除显示锁定。另外，以与第一实施例的第二变形例相同的方式，SNS应用单元100通过基于拍摄的图像检测嘴部的运动来控制语音输入模式。

在第二实施例的第二变形例中，能够不加修改地应用根据第一实施例的参考图6至图10说明的终端设备1的配置。

图17是用于说明在根据第二实施例的第二变形例的终端设备1中执行的语音消息发送操作的示例性流程图。在图17中，与图14中的流程图所示的操作相同的操作由相同的步骤编号表示，并且简要地给出说明。在图17中的流程图所示的操作开始时，假定开关1061a、1061b和1062处于断开状态。

在图17中的流程图所示的操作之前，在终端设备1中，假定OS(整体控制单元120)已经锁定了显示单元10的显示，并且例如在后台执行SNS应用5的某些功能。

从步骤S500至步骤S510执行的操作与图14中的流程图所示的从步骤S500至步骤S510执行的操作相同。即，在步骤S500，应用控制单元116判定SNS应用单元100是否已经接收到使用相应的SNS应用5从另一终端设备1发送的消息。如果应用控制单元116判定SNS应用单元100尚未接收到消息(步骤S500为否)，则系统控制返回至步骤S500。

另一方面，如果应用控制单元116判定SNS应用单元100已经接收到消息(步骤S500为是)，则系统控制进入步骤S501。此时，例如，如图15A所示，SNS应用单元100的UI单元101在显示单元10中显示指示已经接收到消息的标题图像16。

在步骤S501，应用控制单元116判定在设置中是否开启了语音输入自动检测模式。如果应用控制单元116判定在设置中没有开启语音输入自动检测模式(步骤S501为否)，则系统控制进入步骤S520。在步骤S520，应用控制单元116指示SNS应用单元100保持用于将消息输入成正常字符输入模式的操作模式。这标志着图16中的流程图所示的一系列操作结束。

另一方面，如果应用控制单元116判定在设置中开启了语音输入自动检测模式(步骤S501为是)，则系统控制进入步骤S502。在步骤S502，应用控制单元116开启测距单元1004和光源单元1005。

随后，在步骤S503，应用控制单元116指示验证单元124基于由第一脸部检测单元112获得的深度信息来进行人脸认证。此时，期望应用控制单元116指示整体控制单元120显示图15B所示的显示锁定解除屏幕17，以提示用户进行人脸认证。

然后，在步骤S504，应用控制单元116判定由验证单元124执行的人脸认证是否成功。如果应用控制单元116判定人脸认证不成功(步骤S504为否)，则图17中的流程图所示的一系列操作结束。另一方面，如果应用控制单元116判定人脸认证成功(步骤S504为是)，则系统控制进入步骤S505。在步骤S505，应用控制单元116指示整体控制单元120解除显示锁定。随后，在步骤S506，应用控制单元116激活SNS应用5的主体。

从步骤S507开始执行的操作与根据第一实施例的第二变形例的图13中的流程图所示的从步骤S104开始执行的操作相同。即，在步骤S507，应用控制单元116基于移动估计单元115的输出来检测终端设备1的移动，并且判定终端设备1在步骤S500接收消息的时间点起的预定时间段内是否已经移动。如果应用控制单元116判定终端设备1尚未移动(步骤S507为否)，则系统控制进入步骤S546。

另一方面，如果应用控制单元116判定终端设备1在预定时间段内已经移动(步骤S507为是)，则系统控制进入步骤S508。在步骤S508，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果获得到对象(脸部)的距离。

随后，在步骤S509，基于在步骤S508中获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动靠近到预定距离内。实际上，以与参考图13给出说明相同的方式，步骤S508和S509中的操作是循环执行的，直到满足步骤S509的条件为止。

如果应用控制单元116在步骤S509中判定对象(脸部)在预定时间段内尚未移动靠近预定距离内(步骤S509为否)，则系统控制进入步骤S546，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S509中判定对象(脸部)在预定时间段内已经移动靠近到预定距离内(步骤S509为是)，则系统控制进入步骤S510。在步骤S510，应用控制单元116指示SNS应用单元100开启语音输入模式。

从步骤S540开始执行的操作与根据第一实施例的第二变形例的图13中的流程图所示的从步骤S300开始执行的操作相同。即，在步骤S540，应用控制单元116开启摄像单元1003的功能，并且使用摄像处理单元113开始获取拍摄的图像。然后，在步骤S541，应用控制单元116指示第二脸部检测单元114使用基于拍摄的图像的脸部检测结果来开始检测嘴部在脸部的运动。

随后，在步骤S542，在SNS应用单元100中，通信处理单元102将通过声音处理单元103进行处理而获得的语音数据作为语音消息发送给在步骤S102接收的消息的发送者。

然后，在步骤S543，基于在步骤S541开始的由第二脸部检测单元114检测的嘴部运动结果，应用控制单元116判定嘴部的运动是否已经停止了预定时间段。在步骤S543，如果应用控制单元116判定嘴部的运动在预定时间段内没有停止(步骤S543为否)，则系统控制返回至步骤S542。另一方面，如果应用控制单元116判定嘴部的运动已经停止了预定时间段(步骤S543为是)，则系统控制进入步骤S544。

同时，实际上，以与参考图13给出的说明相同的方式，步骤S542和S543中的操作是循环执行的，直到满足步骤S543的条件为止。

在步骤S544，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指令，SNS应用单元100结束由声音处理单元103执行的语音输入处理，并且结束由通信处理单元102执行的语音消息发送。

随后，在步骤S544，应用控制单元116判定在步骤S544中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S544为是)，则系统控制返回至步骤S507。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S545为否)，则系统控制进入步骤S546。在步骤S546，应用控制单元116使摄像单元1003、测距单元1004和光源单元1005关闭。当步骤S546的操作完成时，图17中的流程图所示的一系列操作结束。

以这种方式，在第二实施例的第二变形例中，以与第二实施例相同的方式，当在显示锁定状态下在后台运行的SNS应用5接收到消息时，通过基于深度信息进行人脸认证来解除显示锁定，并且激活SNS应用5的主体。因此，即使在显示锁定状态下SNS应用5接收到消息，用户仍然能够例如仅通过一只手握住终端设备1并进行人脸认证来解除显示锁定并使用SNS应用5发送语音消息，而不必执行轻敲终端设备1的触摸感应面板1030的操作。

此外，在第二实施例的第二变形例中，根据基于所拍摄图像检测嘴部运动的结果，来执行用于关闭语音输入模式的控制。在此，与ToF传感器1041基于点组信息获得深度信息的情况形成对比，摄像单元1003的图像传感器能够输出例如表示使用RGB颜色拍摄的全色图像的所拍摄图像。因此，能够以更高的精度检测嘴部的运动。因此，在第二实施例的第二变形例中，与第二实施例的第一变形例相比，能够以更高的精度控制语音消息发送。

此外，在第二实施例的第二变形例中，以与第二实施例相同的方式，用户不需要为了开启或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等的操作，并且能够例如仅通过一只手握住终端设备1并将其移近脸部来发送语音消息。

[第三实施例]

下面，将说明第三实施例。在第三实施例中，以其中在由OS(整体控制单元120)施加的显示锁定状态下以推送通知的形式由SNS应用5接收与来自另一终端设备1a的消息接收有关的通知为例进行说明。图18是示意性地示出适用于第三实施例并且用于执行推送通知的情况的信息处理系统的示例的图。参考图18，多个终端设备1a经由网络2(诸如因特网)连接到SNS系统3a。此外，提供已知的推送通知服务的推送通知服务器6连接到网络2。

(适用于第三实施例的配置)

在终端设备1a中，能够不加修改地应用参考图6和图7说明的硬件配置。每个终端设备1a中安装有SNS应用5以用于使用由SNS系统3a提供的SNS，并且安装有根据第三实施例的驱动程序500。驱动程序500与SNS应用5协同运行，并且通过在OS(Operating System：操作系统)和测距单元1004之间进行中介来控制终端设备1a中的测距单元1004。

SNS系统3a包括SNS服务器300、存储部301、通知服务器310和消息服务器311。SNS服务器300的功能与服务器3的功能等效。例如，SNS服务器300提供用于能够经由网络2在各终端设备1a之间发送和接收包括语音消息的消息的服务。存储部301对应于图1所示的存储器4。

通知服务器310和消息服务器311表示用于发布推送通知的配置。消息服务器311接收由每个终端设备1a的SNS应用5发送到SNS系统3a的消息。当消息服务器311接收到消息时，通知服务器310指示推送通知服务器6为该消息发出推送通知。

关于现有的推送通知，参考图18所示的配置给出示意性的说明。从推送通知服务器6向其中安装有与推送通知相对应的应用程序的设备(终端设备1a)发布推送通知。在第三实施例中，假设SNS应用5是对应于推送通知的应用程序。当执行用户操作以允许对安装在相关的终端设备1a中的SNS应用5进行推送通知时，SNS应用5在诸如激活终端设备1a或SNS应用5时等的预定时刻将能够对其进行识别的识别信息发送到推送通知服务器6，并且请求通知ID。

响应于该请求，推送通知服务器6发布对于相关的终端设备1a唯一的通知ID，存储所发布的通知ID，并且将该通知ID与SNS应用的标识信息一起发送给通知ID请求的发送者。通知ID是使推送通知服务器6能够识别允许推送通知的SNS应用5和其中安装有该相关SNS应用5的终端设备1a的识别信息。当设备的OS(Operating System：操作系统)是由美国Apple Inc.提供的iOS(注册商标)时，通知ID表示设备令牌。

SNS应用5将所获得的通知ID存储在终端设备1a的存储单元(例如，RAM 1002)中。此外，SNS应用5将该通知ID发送给SNS应用5的提供者或发送给SNS系统3a，该SNS系统3a是用于向SNS应用5发布推送通知的消息的提供者。SNS系统3a将通知ID存储在通知服务器310中。

在SNS系统3a中，当要由通知服务器310例如向特定设备发布推送通知时，通知服务器310将该设备的通知ID发送给推送通知服务器6；从消息服务器311接收要推送通知的消息，并将该消息发送给推送通知服务器6；并且请求推送通知服务器6发布推送通知。响应于该请求，推送通知服务器6将通知ID和消息发送到由通知ID识别的终端设备1a。

当终端设备1接收到通知ID和消息时；如果SNS应用5正在运行，则该终端设备1a的OS检测与通知ID相对应的SNS应用5，并且所检测到的SNS应用5根据预定的方法显示消息。另一方面，如果OS已经锁定了显示单元10的显示并且如果SNS应用5没有在运行；则例如OS在锁定状态下的显示单元10中显示表示接收到消息的标题图像16(见图15A)。

图19是用于说明根据第三实施例的终端设备1a的功能的示例性功能框图。在终端设备1a中，与参考图10说明的检测/控制单元110相比，检测/控制单元110'还包括激活控制单元117。激活控制单元117对应于参考图18所说明的驱动程序500，并且激活控制单元117通过在OS(Operating System：操作系统)和测距单元1004之间进行中介来控制测距单元1004的操作。通过在终端设备1a中安装驱动安装程序，能够在终端设备1a中形成激活控制单元117，该驱动安装程序通过网络2下载或记录在诸如CD、FD或DVD等计算机可读记录介质中。

同时，在第三实施例中，关于终端设备1a的硬件配置，能够不加修改地应用根据第一实施例的参考图6和图7所说明的终端设备1的配置。

(根据第三实施例的操作细节)

图20是用于说明在根据第三实施例的终端设备1a中执行的语音消息发送操作的示例性流程图。

在图20中的流程图所示的操作开始时，假定开关1061a、1061b和1062处于断开状态。在图20中的流程图所示的操作之前，在终端设备1a中，假设OS(整体控制单元120)已经锁定了显示单元10的显示。此外，此时，假设SNS应用5甚至在后台也没有运行。

在步骤S600，激活控制单元117向整体控制单元120查询是否存在推送通知形式的消息接收通知。如果激活控制单元117根据查询结果判定没有通知(步骤S600为否)，则系统控制返回至步骤S600。另一方面，如果激活控制单元117根据查询结果判定有通知(步骤S600为是)，则系统控制进入步骤S601。此时，例如，整体控制单元120在显示单元10中显示表示接收到消息的标题图像16(见图15A)。

在步骤S601，激活控制单元117向整体控制单元120查询在设置中是否开启了语音输入自动检测模式。如果激活控制单元117根据查询结果判定在设置中没有开启语音输入自动检测模式(步骤S601为否)，则图20所示的一系列操作结束。

在这种情况下，在整体控制单元120的正常控制下，例如，作为在显示单元10中显示的标题图像16的位置上轻敲的结果，整体控制单元120在显示单元10中显示显示锁定解除屏幕。然后，响应于预定的显示锁定解除操作，整体控制单元120激活SNS应用5。因此，能够使用SNS应用5发送和接收消息。

另一方面，如果激活控制单元117根据查询结果判定在设置中开启了语音输入自动检测模式(步骤S601为是)，则系统控制进入步骤S602。在步骤S602，激活控制单元117使测距单元1004和光源单元1005开启。

随后，在步骤S603，激活控制单元117请求整体控制单元120，以确保验证单元124基于由第一脸部检测单元112获得的深度信息进行人脸认证。响应于该请求，整体控制单元120基于深度信息执行人脸认证。此时，整体控制单元120能够在显示单元10中显示图15B所示的显示锁定解除屏幕17，以提示用户进行人脸认证。

然后，在步骤S604，激活控制单元117向整体控制单元120查询由验证单元124进行的人脸认证是否成功。如果激活控制单元117根据查询结果判定验证不成功(步骤S604为否)，则图20中的流程图所示的一系列操作结束。另一方面，如果激活控制单元117根据查询结果判定验证成功(步骤S604为是)，则系统控制进入步骤S605。

在步骤S605，激活控制单元117请求整体控制单元120解除显示锁定。响应于该请求，整体控制单元120解除显示锁定。然后，在步骤S606，激活控制单元117激活SNS应用5的主体。可替代地，能够由整体控制单元120执行SNS应用5的主体的激活。

从步骤S607开始执行的操作与根据第一实施例的图11中的流程图所示的从步骤S104开始执行的操作相同。即，在步骤S607，应用控制单元116基于移动估计单元115的输出来检测终端设备1a的移动，并且判定例如在步骤S600接收消息的时间点起的预定时间段内终端设备1a是否已经移动。如果应用控制单元116判定终端设备1a尚未移动(步骤S607为否)，则系统控制进入步骤S615。

另一方面，如果应用控制单元116在步骤S607中判定终端设备1a在预定时间段内已经移动(步骤S607为是)，则系统控制进入步骤S608。在步骤S608，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果，获得到对象(脸部)的距离。

随后，在步骤S609，基于在步骤S608获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动靠近到预定距离内。同时，在图20中，尽管示出了步骤S608和S609中的操作仅在一次迭代中完成；但是实际上，步骤S608和S609中的操作是循环执行的，直到满足步骤S609的条件为止。

如果应用控制单元116在步骤S609判定对象(脸部)在预定时间段内尚未移动靠近到预定距离内(步骤S609为否)，则系统控制进入步骤S615，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S609中判定对象(脸部)在预定时间段内已经移动靠近到预定距离内(步骤S609为是)，则系统控制进入步骤S610。在步骤S610，应用控制单元116指示SNS应用单元100开启语音输入模式。然后，在步骤S611，在SNS应用单元100中，通信处理单元102将通过声音处理单元103执行的处理而获得的语音数据作为语音消息发送给在步骤S600接收的消息的发送者。

随后，在步骤S612，基于由第一脸部检测单元112获得的脸部检测结果，应用控制单元116判定对象(脸部)是否已经与终端设备1a相距预定距离。如果应用控制单元116判定对象(脸部)尚未移动离开预定距离(步骤S612为否)，则系统控制返回至步骤S611。另一方面，在步骤S612，如果应用控制单元116判定对象(脸部)已经移动离开预定距离(步骤S612为是)，则系统控制进入步骤S613。

同时，在图20中，尽管示出了步骤S611和S612中的操作仅在一次迭代中完成；但是实际上，步骤S611和S612中的操作是循环执行的，直到满足步骤S612的条件为止。

在步骤S613，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指示，SNS应用单元100结束由声音处理单元103执行的语音输入处理，并且结束由通信处理单元102执行的语音消息发送。

随后，在步骤S614，应用控制单元116判定在步骤S613中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S614为是)，则系统控制返回至步骤S607。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S614为否)，则系统控制进入步骤S615。在步骤S615，激活控制单元117使测距单元1004和光源单元1005关闭。当步骤S615的操作完成时，图20中的流程图所示的一系列操作结束。

以这种方式，在第三实施例中，测距单元1004和光源单元1005响应于推送通知而开启，并且基于深度信息进行人脸认证。因此，即使在显示锁定状态下接收到从另一终端设备1a使用相应的SNS应用5发送来的消息，用户仍然能够例如仅通过一只手握住终端设备1a并进行人脸认证来解除显示锁定并使用SNS应用5发送语音消息，而不必执行轻敲终端设备1a的触摸感应面板1030的操作。

此外，在第三实施例中，以与第一实施例相同的方式，SNS应用单元100基于终端设备1a和脸部之间的距离来控制开启和关闭语音输入模式的操作。这消除了用户为了打开或关闭语音输入模式而执行诸如轻敲终端设备1a的触摸感应面板1030等操作的必要，并且能够例如仅通过一只手握住终端设备1a并将其靠近脸部来发送语音消息。

此外，在第三实施例中，在执行用于发送语音消息的语音输入时，测量到脸部的距离。因此，能够基于到脸部的距离来调节麦克风12的灵敏度(相对于麦克风12的输出的增益)。因此，能够以适当的音量发送语音消息。

[第三实施例的第一变形例]

下面给出了第三实施例的第一变形例的说明。在第三实施例的第一变形例中，在OS(整体控制单元120)施加的显示锁定状态下，SNS应用5以推送通知的形式接收与来自另一终端设备1a的消息接收有关的通知。除此之外，以与第一实施例的第一变形例相同的方式，SNS应用单元100通过基于深度信息检测嘴部的运动来控制语音输入模式。

同时，在第三实施例的第一变形例中，关于终端设备1a的硬件配置，能够不加修改地应用根据第一实施例的参考图6和图7所说明的终端设备1的配置。

图21是用于说明在根据第三实施例的第一变形例的终端设备1a中执行的语音消息发送操作的示例性流程图。

在图21中，与图20中的流程图所示的操作相同的操作由相同的步骤编号表示，并且简要地给出说明。在图21中的流程图所示的操作开始时，假定开关1061a、1061b和1062处于断开状态。此外，以与图20所示的流程图相同的方式，在图21中的流程图所示的操作之前，在终端设备1a中，假定OS(整体控制单元120)已经锁定了显示单元10的显示。此外，此时，假设SNS应用5甚至在后台都不运行。

在图21中，从步骤S600至步骤S606的操作与图20中的流程图所示的从步骤S600至步骤S606的操作相同。即，在步骤S600，激活控制单元117向整体控制单元120查询是否存在推送通知形式的消息接收通知。如果激活控制单元117根据查询结果判定没有通知(步骤S600为否)，则系统控制返回至步骤S600。另一方面，如果激活控制单元117根据查询结果判定有通知(步骤S600为是)，则系统控制进入步骤S601。此时，例如，整体控制单元120在显示单元10中显示表示接收到消息的标题图像16(见图15A)。

在步骤S601，激活控制单元117向整体控制单元120查询在设置中是否开启了语音输入自动检测模式。如果激活控制单元117根据查询结果判定在设置中没有开启语音输入自动检测模式(步骤S601为否)，则图20所示的一系列操作结束。

在这种情况下，在整体控制单元120的正常控制下，例如，作为在显示单元10中显示的标题图像16的位置上轻敲的结果，整体控制单元120在显示单元10中显示显示锁定解除屏幕。然后，响应于预定的显示锁定解除操作，整体控制单元120激活SNS应用5。因此，能够使用SNS应用5发送和接收消息。

另一方面，如果激活控制单元117根据查询结果判定在设置中开启了语音输入自动检测模式(步骤S601为是)，则系统控制进入步骤S602。在步骤S602，激活控制单元117使测距单元1004和光源单元1005开启。

随后，在步骤S603，激活控制单元117请求整体控制单元120，以确保验证单元124基于由第一脸部检测单元112获得的深度信息执行人脸认证。响应于该请求，整体控制单元120基于深度信息执行人脸认证。

然后，在步骤S604，激活控制单元117向整体控制单元120查询由验证单元124进行的人脸认证是否成功。如果激活控制单元117根据查询结果判定验证不成功(步骤S604为否)，则图20中的流程图所示的一系列操作结束。另一方面，如果激活控制单元117根据查询结果判定验证成功(步骤S604为是)，则系统控制进入步骤S605。

在步骤S605，激活控制单元117请求整体控制单元120解除显示锁定。响应于该请求，整体控制单元120解除显示锁定。然后，在步骤S606，激活控制单元117激活SNS应用5的主体。可替代地，能够由整体控制单元120执行SNS应用5的主体的激活。

从步骤S607开始执行的操作与根据第一实施例的第一变形例的图12中的流程图所示的从步骤S104开始执行的操作相同。即，在步骤S607，应用控制单元116基于移动估计单元115的输出来检测终端设备1的移动，并且判定在步骤S600接收消息的时间点起的预定时间段内终端设备1是否已经移动。如果应用控制单元116判定终端设备1尚未移动(步骤S607为否)，则系统控制进入步骤S625。

另一方面，如果应用控制单元116判定终端设备1在预定时间段内已经移动(步骤S607为是)，则系统控制进入步骤S608。在步骤S608，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果，获得到对象(脸部)的距离。

随后，在步骤S609，基于在步骤S608获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动靠近到预定距离内。实际上，以与参考图11给出说明相同的方式，步骤S608和S609中的操作是循环执行的，直到满足步骤S609的条件为止。

如果应用控制单元116在步骤S609判定对象(脸部)在预定时间段内尚未移动靠近到预定距离内(步骤S609为否)，则系统控制进入步骤S625，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S609中判定对象(脸部)在预定时间段内已经移动靠近到预定距离内(步骤S609为是)，则系统控制进入步骤S610。在步骤S610，应用控制单元116指示SNS应用单元100开启语音输入模式。

然后，在步骤S620，应用控制单元116指示第一脸部检测单元112使用基于深度信息的脸部检测结果来开始检测嘴部在脸部中的运动。响应于该指示，第一脸部检测单元112将例如按时间顺序获得的多组深度信息进行比较，并且检测嘴部的运动。

随后，在步骤S621，在SNS应用单元100中，通信处理单元102将通过声音处理单元103处理的语音数据作为语音消息发送给在步骤S600接收的消息的发送者。

然后，在步骤S622，基于在步骤S620开始的由第一脸部检测单元112检测的嘴部运动结果，应用控制单元116判定嘴部的运动是否已经停止了预定时间段。在步骤S622，如果应用控制单元116判定嘴部的运动在预定时间段内没有停止(步骤S622为否)，则系统控制返回至步骤S621。另一方面，如果应用控制单元116判定嘴部的运动已经停止了预定时间段(步骤S622为是)，则系统控制进入步骤S623。

同时，在图21中，尽管示出了步骤S621和S622中的操作仅在一次迭代中完成；但是实际上，步骤S621和S622中的操作是循环执行的，直到满足步骤S202的条件为止。

从步骤S623开始执行的操作与根据第一实施例的图11中的流程图所示的从步骤S110开始执行的操作相同。即，在步骤S623，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指令，SNS应用单元100结束使用声音处理单元103执行的语音输入处理，并且结束使用通信处理单元102执行的语音消息发送操作。

随后，在步骤S624，应用控制单元116判定在步骤S623中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S623为是)，则系统控制返回至步骤S607。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S624为否)，则系统控制进入步骤S625。在步骤S625，应用控制单元116使测距单元1004和光源单元1005关闭。当步骤S625的操作完成时，图21中的流程图所示的一系列操作结束。

以这种方式，在第三实施例的第一变形例中，测距单元1004和光源单元1005响应于推送通知而开启，并且基于深度信息进行人脸认证。因此，即使在显示锁定状态下接收到从另一终端设备1a使用相应的SNS应用5发送来的消息，用户仍然能够例如仅通过一只手握住终端设备1a并进行人脸认证来解除显示锁定并使用SNS应用5发送语音消息，而不必执行轻敲终端设备1a的触摸感应面板1030的操作。

此外，在第三实施例的第一变形例中，根据基于深度信息检测嘴部运动的结果，来执行用于开启语音输入模式的控制。因此，能够以更高的精度来控制语音消息发送。

此外，在第三实施例的第一变形例中，以与第二实施例相同的方式，用户不必为了打开或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等操作，并且用户能够例如仅通过一只手握住终端设备1并将其靠近脸部来发送语音消息。

此外，在第三实施例的第一变形例中，以与第二实施例相同的方式，就通过SNS应用单元100开启或关闭语音输入模式而言，由于基于将红外光作为光源的ToF传感器1041的输出来执行控制，因此，即使在诸如夜间等黑暗环境中，也能够执行语音输入模式的开启/关闭控制。

此外，在第三实施例的第一变形例中，以与第二实施例相同的方式，在执行用于发送语音消息的语音输入时，测量到脸部的距离。因此，能够基于到脸部的距离来调节麦克风12的灵敏度(相对于麦克风12的输出的增益)。因此，能够以适当的音量发送语音消息。

[第三实施例的第二变形例]

下面给出了第三实施例的第二变形例的说明。在第三实施例的第二变形例中，在OS(整体控制单元120)施加的显示锁定状态下，SNS应用5以推送通知的形式接收与来自另一终端设备1a的消息接收相关的通知。除此之外，以与第一实施例的第二变形例相同的方式，SNS应用单元100通过基于拍摄图像检测嘴部的运动来控制语音输入模式。

同时，在第三实施例的第二变形例中，关于终端设备1a的硬件配置，能够不加修改地应用根据第一实施例的参考图6和图7所说明的终端设备1的配置。

图22是用于说明在根据第三实施例的第二变形例的终端设备1a中执行的语音消息发送操作的示例性流程图。

在图22中，与图20中的流程图所示的操作相同的操作由相同的步骤编号表示，并且简要地给出说明。在图22中的流程图所示的操作开始时，假定开关1061a、1061b和1062处于断开状态。此外，以与图20所示的流程图相同的方式，在图21中的流程图所示的操作之前，在终端设备1a中，假定OS(整体控制单元120)已经锁定了显示单元10的显示。此外，此时，假设SNS应用5甚至在后台都不运行。

在图21中，从步骤S600至步骤S606的操作与图20中的流程图所示的从步骤S600至步骤S606的操作相同。即，在步骤S600，激活控制单元117向整体控制单元120查询是否存在推送通知形式的消息接收通知。如果激活控制单元117根据查询结果判定没有通知(步骤S600为否)，则系统控制返回至步骤S600。另一方面，如果激活控制单元117根据查询结果判定有通知(步骤S600为是)，则系统控制进入步骤S601。此时，例如，整体控制单元120在显示单元10中显示表示接收到消息的标题图像16(见图15A)。

在步骤S601，激活控制单元117向整体控制单元120查询在设置中是否开启了语音输入自动检测模式。如果激活控制单元117根据查询结果判定在设置中没有开启语音输入自动检测模式(步骤S601为否)，则图22所示的一系列操作结束。

在这种情况下，在整体控制单元120的正常控制下，例如，作为在显示单元10中显示的标题图像16的位置上轻敲的结果，整体控制单元120在显示单元10中显示显示锁定解除屏幕。然后，响应于预定的显示锁定解除操作，整体控制单元120激活SNS应用5。因此，能够使用SNS应用5发送和接收消息。

另一方面，如果激活控制单元117根据查询结果判定在设置中开启了语音输入自动检测模式(步骤S601为是)，则系统控制进入步骤S602。在步骤S602，激活控制单元117使测距单元1004和光源单元1005开启。

随后，在步骤S603，激活控制单元117请求整体控制单元120，以确保验证单元124基于由第一脸部检测单元112获得的深度信息执行人脸认证。响应于该请求，整体控制单元120基于深度信息执行人脸认证。

然后，在步骤S604，激活控制单元117向整体控制单元120查询由验证单元124进行的人脸认证是否成功。如果激活控制单元117根据查询结果判定验证不成功(步骤S604为否)，则图22中的流程图所示的一系列操作结束。另一方面，如果激活控制单元117根据查询结果判定验证成功(步骤S604为是)，则系统控制进入步骤S605。

在步骤S605，激活控制单元117请求整体控制单元120解除显示锁定。响应于该请求，整体控制单元120解除显示锁定。然后，在步骤S606，激活控制单元117激活SNS应用5的主体。可替代地，能够由整体控制单元120执行SNS应用5的主体的激活。

从步骤S607开始执行的操作与根据第一实施例的第二变形例的图13中的流程图所示的从步骤S104开始执行的操作相同。即，在步骤S607，应用控制单元116基于移动估计单元115的输出来检测终端设备1a的移动，并且判定例如在步骤S600接收消息的时间点起的预定时间段内终端设备1a是否已经移动。如果应用控制单元116判定终端设备1a尚未移动(步骤S607为否)，则系统控制进入步骤S636。

另一方面，应用控制单元116在步骤S607判定终端设备1a在预定时间段内已经移动(步骤S607为是)，则系统控制进入步骤S608。在步骤S608，应用控制单元116基于由第一脸部检测单元112获得的脸部检测结果，获得到对象(脸部)的距离。

随后，在步骤S609，基于在步骤S608获得的距离，应用控制单元116判定对象(脸部)在预定时间段内是否已经移动靠近到预定距离内。实际上，以与参考图13给出说明相同的方式，步骤S608和S609中的操作是循环执行的，直到满足步骤S609的条件为止。

如果应用控制单元116在步骤S609判定对象(脸部)在预定时间段内尚未移动靠近到预定距离内(步骤S609为否)，则系统控制进入步骤S636，并且取消与语音消息发送相关的后续操作。

另一方面，如果应用控制单元116在步骤S609中判定对象(脸部)在预定时间段内已经移动靠近到预定距离内(步骤S609为是)，则系统控制进入步骤S610。在步骤S610，应用控制单元116指示SNS应用单元100开启语音输入模式。

从步骤S630开始执行的操作与根据第一实施例的第二变形例的图13中的流程图所示的从步骤S300开始执行的操作相同。即，在步骤S630，应用控制单元116开启摄像单元1003的功能，并且使用摄像处理单元113开始获得拍摄的图像。然后，在步骤S631，应用控制单元116指示第二脸部检测单元114使用基于拍摄图像的脸部检测结果来开始检测嘴部在脸部的运动。

随后，在步骤S632，在SNS应用单元100中，通信处理单元102将通过声音处理单元103进行处理而获得的语音数据作为语音消息发送给在步骤S600接收的消息的发送者。

然后，在步骤S633，基于在步骤S631开始的由第二脸部检测单元114检测的嘴部运动结果，应用控制单元116判定嘴部的运动是否已经停止了预定时间段。在步骤S633，如果应用控制单元116判定嘴部的运动在预定时间段内没有停止(步骤S633为否)，则系统控制返回至步骤S632。另一方面，如果应用控制单元116判定嘴部的运动已经停止了预定时间段(步骤S633为是)，则系统控制进入步骤S634。

实际上，以与参考图13给出说明相同的方式，步骤S632和S633中的操作是循环执行的，直到满足步骤S633的条件为止。

在步骤S634，应用控制单元116指示SNS应用单元100结束(关闭)语音输入模式。响应于该指令，SNS应用单元100结束由声音处理单元103执行的语音输入处理，并且结束由通信处理单元102执行的语音消息发送。

随后，在步骤S634，应用控制单元116判定在步骤S634中结束语音输入模式之后的预定时间段内是否接收到下一条消息。如果应用控制单元116判定接收到下一条消息(步骤S634为是)，则系统控制返回至步骤S607。

另一方面，如果应用控制单元116判定在预定时间段内未接收到下一条消息(步骤S635为否)，则系统控制进入步骤S636。在步骤S636，应用控制单元116使摄像单元1003、测距单元1004和光源单元1005关闭。当步骤S636的操作完成时，图22中的流程图所示的一系列操作结束。

以这种方式，在第三实施例的第二变形例中，测距单元1004和光源单元1005响应于推送通知而开启，并且基于深度信息进行人脸认证。因此，即使在显示锁定状态下接收到从另一终端设备1a使用相应的SNS应用5发送来的消息，用户仍然能够例如仅通过一只手握住终端设备1a并进行人脸认证来解除显示锁定并使用SNS应用5发送语音消息，而不必执行轻敲终端设备1a的触摸感应面板1030的操作。

此外，在第三实施例的第二变形例中，根据基于拍摄的图像检测嘴部运动的结果，执行用于关闭语音输入模式的控制。在此，与ToF传感器1041基于点组信息获得深度信息的情况相对比，摄像单元1003的图像传感器能够输出例如表示使用RGB颜色拍摄的全色图像的拍摄图像。因此，能够以更高的精度来检测嘴部的运动。因此，在第三实施例的第二变形例中，与第三实施例的第一变形例相比，能够以更高的精度来控制语音消息发送。

此外，在第三实施例的第二变形例中，以与第三实施例相同的方式，用户不需要为了开启或关闭语音输入模式而执行诸如轻敲终端设备1的触摸感应面板1030等的操作，并且能够例如仅通过一只手握住终端设备1并将其移近脸部来发送语音消息。

同时，在本说明书中描述的效果仅是说明性和示例性的，并且其范围不受限制。即，还可以实现其他效果。

同时，如下所述的配置也落入本申请的技术范围内。

(1)一种终端设备，其包括：

麦克风；

通信单元，其通过网络进行通信；

第一传感器，其获取深度信息；

第一脸部检测单元，其基于所述深度信息执行用于检测脸部和到所述脸部的距离的第一脸部检测；和

处理器，其中，

当执行通信程序时，并且所述通信单元在执行的所述通信程序的控制下接收到消息时，其中，所述通信程序用于使所述处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有用于能够使用所述麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式，

所述处理器使用所述第一脸部检测单元执行所述第一脸部检测，并且根据所述第一脸部检测的结果控制所述声音输入模式的开启和关闭。

(2)根据(1)所述的终端设备，其中，当所述第一脸部检测单元检测到的所述距离小于预定距离时，所述处理器执行控制以开启所述声音输入模式。

(3)根据(1)或(2)所述的终端设备，其中，当所述第一脸部检测单元检测到的所述距离等于或大于预定距离时，所述处理器执行控制以关闭所述声音输入模式。

(4)根据(1)至(3)中任一项所述的终端设备，还包括脸部验证单元，所述脸部验证单元基于由所述第一脸部检测单元检测到的所述脸部进行验证，其中，

当执行所述通信程序时以及当所述通信单元在所述处理器已经对所述终端设备中的显示施加显示限制的状态下接收到所述消息时，所述处理器使用所述脸部验证单元进行人脸认证，并且

当在所述人脸认证中脸部通过验证时，所述处理器解除所述显示限制。

(5)根据(1)至(4)中任一项所述的终端设备，其中，当所述通信单元接收到所述消息时，所述处理器执行控制以开启所述第一传感器的功能。

(6)根据(1)至(5)中任一项所述的终端设备，还包括运动检测单元，所述运动检测单元执行运动检测以检测所述终端设备的运动，其中，

当在由所述运动检测单元执行的所述运动检测中检测到预定运动时，所述处理器使用所述第一脸部检测单元执行所述第一脸部检测，并且根据所述第一脸部检测的结果执行控制以开启和关闭所述声音输入模式。

(7)根据(1)所述的终端设备，还包括：

第二传感器，其获取图像信息；和

第二脸部检测单元，其执行第二脸部检测，在所述第二脸部检测中，基于所述图像信息检测脸部，其中，

当所述第一脸部检测单元检测到的所述距离小于预定距离并且开启所述声音输入模式时，所述处理器使用所述第二脸部检测单元来执行所述第二脸部检测，并且检测嘴部在脸部中的运动，并且

当在预定时间段内未检测到嘴部的所述运动时，所述处理器执行控制以关闭所述声音输入模式。

(8)根据(1)所述的终端设备，其中，

当所述第一脸部检测单元检测到的所述距离小于预定距离并且开启所述声音输入模式时，所述处理器使用所述第一脸部检测单元来执行所述第一脸部检测，并且检测嘴部在脸部中的运动，并且

当在预定时间段内未检测到嘴部的运动时，所述处理器执行控制以关闭所述声音输入模式。

(9)一种终端设备的控制方法，其包括：

深度信息获取步骤，其包括：使用第一传感器获取深度信息；

第一脸部检测步骤，其包括：基于在所述深度信息获取步骤中获取的深度信息来执行用于检测脸部和到所述脸部的距离的第一脸部检测；

执行步骤，其包括：执行通信程序，所述通信程序用于使处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有用于能够使用麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式；

判定步骤，其包括：所述处理器基于在所述执行步骤中执行的通信程序，判定是否接收到消息；以及

控制步骤，当在所述判定步骤中判定接收到所述消息时，所述控制步骤包括：

执行所述第一脸部检测步骤中的所述第一脸部检测；和

所述处理器根据所述第一脸部检测的结果执行控制，以开启和关闭所述声音输入模式。

(10)根据(9)所述的终端设备的控制方法，其中，当在所述第一脸部检测步骤中检测到的所述距离小于预定距离时，所述控制步骤包括：执行控制以开启所述声音输入模式。

(11)根据(9)或(10)所述的终端设备的控制方法，其中，当在所述第一脸部检测步骤中检测到的所述距离等于或大于预定距离时，所述控制步骤包括：执行控制以关闭所述声音输入模式。

(12)根据(9)至(11)中任一项所述的终端设备的控制方法，还包括人脸认证步骤，所述人脸认证步骤基于在所述第一脸部检测步骤中检测到的所述脸部进行验证，其中，

当执行所述通信程序时并且当通过网络进行通信的通信单元在所述处理器已经对所述终端设备中的显示施加显示限制的状态下接收到所述消息时，所述控制步骤包括：执行所述人脸认证步骤中的人脸认证，并且

当在所述人脸认证中脸部通过验证时，所述控制步骤包括：解除所述显示限制。

(13)根据(9)至(12)中任一项所述的终端设备的控制方法，其中，当通过网络进行通信的通信单元接收到所述消息时，所述控制步骤包括：执行控制以开启所述第一传感器的功能。

(14)根据(9)至(13)中任一项所述的终端设备的控制方法，还包括运动检测步骤，所述运动检测步骤包括：执行运动检测以检测所述终端设备的运动，其中，

当在所述运动检测步骤中执行的所述运动检测中检测到预定运动时，所述控制步骤包括：执行所述第一脸部检测步骤中的所述第一脸部检测，以及根据所述第一脸部检测的结果执行控制以开启和关闭所述声音输入模式。

(15)根据(9)所述的终端设备的控制方法，还包括：

图像信息获取步骤，其包括使用第二传感器获取图像信息；和

第二脸部检测步骤，其包括执行第二脸部检测，在所述第二脸部检测中，基于在所述图像信息获取步骤中获取的所述图像信息来检测脸部，其中，

当在所述第一脸部检测步骤中检测到的所述距离小于预定距离并且开启所述声音输入模式时，所述控制步骤包括：执行所述第二脸部检测步骤中的所述第二脸部检测，并且检测嘴部在脸部中的运动，并且

当在预定时间段内未检测到嘴部的所述运动时，所述控制步骤包括：执行控制以关闭所述声音输入模式。

(16)根据(9)所述的终端设备的控制方法，其中，

当在所述第一脸部检测步骤中检测到的所述距离小于预定距离并且开启所述声音输入模式时，所述控制步骤包括：执行所述第一脸部检测步骤中的所述第一脸部检测，并且检测嘴部在脸部中的运动，并且

当在预定时间段内未检测到嘴部的运动时，所述控制步骤包括：执行控制以关闭所述声音输入模式。

(17)一种计算机可读的存储介质，其用于存储旨在使处理器执行以下步骤的控制程序，所述步骤包括：

脸部检测步骤，其包括：基于由传感器获取的深度信息来执行用于检测脸部和到所述脸部的距离的脸部检测；

执行步骤，其包括：执行通信程序，所述通信程序用于使所述处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有能够使用麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式作为在所述处理器中执行时的操作模式；

判定步骤，其包括：基于在所述执行步骤中执行的所述通信程序，判定是否接收到消息；和

控制步骤，当在所述判定步骤中判定接收到所述消息时，所述控制步骤包括：

执行所述脸部检测步骤中的所述脸部检测；和

根据所述脸部检测的结果执行控制，以开启和关闭所述声音输入模式。

附图标记列表

1 终端设备

2 网络

3 服务器

5 SNS应用

10 显示单元

12 麦克风

13 扬声器

14 第一传感器

15 第二传感器

16 标题图像

17 显示锁定解除屏幕

100 SNS应用单元

101 UI单元

102 通信处理单元

103 声音处理单元

110 检测/控制单元

111 测距处理单元

112 第一脸部检测单元

113 摄像处理单元

114 第二脸部检测单元

115 移动估计单元

116 应用控制单元

117 激活控制单元

120 整体控制单元

124 验证单元

500 驱动程序

1003 摄像单元

1004 测距单元

1005 光源单元

1013 方向检测单元

1041 ToF传感器

1051 VCSEL。

Claims (17)

1.一种终端设备，其包括：

麦克风；

通信单元，其通过网络进行通信；

第一传感器，其获取深度信息；

第一脸部检测单元，其基于所述深度信息执行用于检测脸部和到所述脸部的距离的第一脸部检测；以及

处理器，其中，

当执行通信程序，并且所述通信单元在执行中的所述通信程序的控制下接收到消息时，其中，所述通信程序用于使所述处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有能够使用所述麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式，

所述处理器使用所述第一脸部检测单元执行所述第一脸部检测，并且根据所述第一脸部检测的结果控制所述声音输入模式的开启和关闭。

2.根据权利要求1所述的终端设备，其中，当所述第一脸部检测单元检测到的所述距离小于预定距离时，所述处理器执行控制以开启所述声音输入模式。

3.根据权利要求1所述的终端设备，其中，当所述第一脸部检测单元检测到的所述距离等于或大于预定距离时，所述处理器执行控制以关闭所述声音输入模式。

4.根据权利要求1所述的终端设备，还包括脸部验证单元，所述脸部验证单元基于由所述第一脸部检测单元检测到的所述脸部进行验证，其中，

当执行所述通信程序，并且所述通信单元在所述处理器已经对所述终端设备中的显示施加显示限制的状态下接收到所述消息时，所述处理器使用所述脸部验证单元进行人脸认证，并且

当在所述人脸认证中脸部通过验证时，所述处理器解除所述显示限制。

5.根据权利要求1所述的终端设备，其中，当所述通信单元接收到所述消息时，所述处理器执行控制以开启所述第一传感器的功能。

6.根据权利要求1所述的终端设备，还包括运动检测单元，所述运动检测单元执行检测所述终端设备的运动的运动检测，其中，

当在由所述运动检测单元执行的所述运动检测中检测到预定运动时，所述处理器使用所述第一脸部检测单元执行所述第一脸部检测，并且根据所述第一脸部检测的结果执行控制以开启和关闭所述声音输入模式。

7.根据权利要求1所述的终端设备，还包括：

第二传感器，其获取图像信息；以及

第二脸部检测单元，其执行第二脸部检测，在所述第二脸部检测中，基于所述图像信息检测脸部，其中，

当所述第一脸部检测单元检测到的所述距离小于预定距离并且开启所述声音输入模式时，所述处理器使用所述第二脸部检测单元来执行所述第二脸部检测，并且检测脸部中嘴部的运动，并且

当在预定时间段内未检测到所述嘴部的运动时，所述处理器执行控制以关闭所述声音输入模式。

8.根据权利要求1所述的终端设备，其中，

当所述第一脸部检测单元检测到的所述距离小于预定距离并且开启所述声音输入模式时，所述处理器使用所述第一脸部检测单元来检测脸部中嘴部的运动，所述脸部中嘴部的运动执行所述第一脸部检测，并且

当在预定时间段内未检测到所述嘴部的运动时，所述处理器执行控制以关闭所述声音输入模式。

9.一种终端设备的控制方法，其包括：

深度信息获取步骤，其中，使用第一传感器获取深度信息；

第一脸部检测步骤，其中基于在所述深度信息获取步骤中获取的所述深度信息来执行用于检测脸部和到所述脸部的距离的第一脸部检测；

执行步骤，其中，执行通信程序，所述通信程序用于使处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有能够使用麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式；

判定步骤，其中，所述处理器基于在所述执行步骤中执行的所述通信程序，判定是否接收到消息；以及

控制步骤，当在所述判定步骤中判定接收到所述消息时，所述控制步骤

执行所述第一脸部检测步骤中的所述第一脸部检测；和

所述处理器根据所述第一脸部检测的结果执行控制，以开启和关闭所述声音输入模式。

10.根据权利要求9所述的终端设备的控制方法，其中，当在所述第一脸部检测步骤中检测到的所述距离小于预定距离时，所述控制步骤执行控制以开启所述声音输入模式。

11.根据权利要求9所述的终端设备的控制方法，其中，当在所述第一脸部检测步骤中检测到的所述距离等于或大于预定距离时，所述控制步骤执行控制以关闭所述声音输入模式。

12.根据权利要求9所述的终端设备的控制方法，还包括人脸认证步骤，所述人脸认证步骤基于在所述第一脸部检测步骤中检测到的所述脸部进行验证，其中，

当执行所述通信程序，并且通过网络进行通信的通信单元在所述处理器已经对所述终端设备中的显示施加显示限制的状态下接收到所述消息时，所述控制步骤执行所述人脸认证步骤中的人脸认证，并且

当在所述人脸认证中脸部通过验证时，所述控制步骤解除所述显示限制。

13.根据权利要求9所述的终端设备的控制方法，其中，当通过网络进行通信的通信单元接收到所述消息时，所述控制步骤执行控制以开启所述第一传感器的功能。

14.根据权利要求9所述的终端设备的控制方法，还包括运动检测步骤，所述运动检测步骤执行检测所述终端设备的运动的运动检测，其中，

当在所述运动检测步骤中执行的所述运动检测中检测到预定运动时，所述控制步骤执行所述第一脸部检测步骤中的所述第一脸部检测以及根据所述第一脸部检测的结果执行控制以开启和关闭所述声音输入模式。

15.根据权利要求9所述的终端设备的控制方法，还包括：

图像信息获取步骤，其中，使用第二传感器获取图像信息；以及

第二脸部检测步骤，其中，执行第二脸部检测，在所述第二脸部检测中，基于在所述图像信息获取步骤中获取的所述图像信息来检测脸部，其中，

当在所述第一脸部检测步骤中检测到的所述距离小于预定距离并且开启所述声音输入模式时，所述控制步骤通过所述第二脸部检测步骤进行所述第二脸部检测，并且检测脸部中嘴部的运动，并且

当在预定时间段内未检测到所述嘴部的运动时，所述控制步骤执行控制以关闭所述声音输入模式。

16.根据权利要求9所述的终端设备的控制方法，其中，

当在所述第一脸部检测步骤中检测到所述距离小于预定距离并且开启所述声音输入模式时，所述控制步骤通过所述第一脸部检测步骤检测脸部中嘴部的运动，所述脸部中嘴部的运动执行所述第一脸部检测，并且检测脸部中嘴部的运动，并且

当在预定时间段内未检测到所述嘴部的运动时，所述控制步骤执行控制以关闭所述声音输入模式。

17.一种计算机可读的存储介质，其存储有旨在使处理器执行以下步骤的控制程序，所述步骤包括：

脸部检测步骤，其中，基于由传感器获取的深度信息来执行用于检测脸部和到所述脸部的距离的脸部检测；

执行步骤，其中，执行通信程序，所述通信程序用于使所述处理器执行包括语音消息的消息的发送和接收，并且所述通信程序具有能够使用麦克风来收集声音并且基于所收集的声音来发送语音消息的声音输入模式作为在所述处理器中执行时的操作模式；

判定步骤，其中，基于在所述执行步骤中执行的所述通信程序，判定是否接收到消息；以及

控制步骤，当在所述判定步骤中判定接收到所述消息时，所述控制步骤

执行所述脸部检测步骤中的所述脸部检测；和

根据所述脸部检测的结果执行控制，以开启和关闭所述声音输入模式。

Images