CN1940964A - 识别装置和方法、记录介质、以及程序 - Google Patents

Abstract

本发明提供识别装置和方法、记录介质、以及程序。本发明使得能够容易且准确地识别表示用户意图的用户动作。基于由摄像机(13)拍摄的图像数据，面部方向感测部(14)感测用户面部的方向，视线感测部(15)感测用户视线的方向。当用户面部朝向下方、同时用户视线相对于面部方向朝向上方时，点头识别部(21)识别出用户已经点头。当用户面部朝向右方或者左方、同时用户视线朝向在水平方向上与面部方向相反的方向时，摇头识别部(22)识别出用户已经摇头。本发明可以应用于检查驾驶员意图的意图检查装置。

Description

识别装置和方法、记录介质、以及程序

技术领域

本发明涉及一种识别装置和方法、记录介质、以及程序，具体地，涉及使得能够容易且准确地对表示用户意图的动作进行识别的识别装置和方法、记录介质、以及程序。

背景技术

已经提出了，如果一装置在等待用户的指令，则当检测到用户在凝视显示在显示部上的多个候选项中的任一项的同时点头时，该装置确定选择了用户所凝视的项目，并且由此执行预定处理(例如参见日本特开2000-163196号公报)。

然而，日本特开2000-163196号公报中描述的发明在用户例如因为其在驾驶汽车而无法凝视显示部上的单个点的情况下不能检测到用户的意图。

鉴于这种情况提出了本发明。本发明的目的是使得能够容易且准确地识别表示用户意图的用户动作。

发明内容

根据本发明的一方面的识别装置包括：面部方向感测装置，用于感测用户面部的方向；视线方向感测装置，用于感测用户的视线的方向；以及动作识别装置，用于基于面部方向与视线方向之间的差异来识别表示用户意图的用户动作。

根据本发明的该方面的识别装置感测用户面部的方向，感测用户视线的方向，并且基于面部方向与视线方向之间的差异来识别表示用户意图的用户动作。

由此可以容易且准确地识别表示用户意图的用户动作。从而可以容易且可靠地识别用户的意图。

面部方向感测装置、视线方向感测装置、以及动作识别装置例如由CPU构成。面部方向感测装置例如可以由感测面部方向的专用装置构成。视线方向感测装置例如可以由感测视线方向的专用装置构成。

如果用户处于其面部朝向下方、而其视线相对于面部方向朝向上方的状态，则动作识别装置可以识别出用户已经点头来表示其意图。

这使得能够容易且准确地识别用户的点头。

如果在催促用户表示其意图之后的预定时间内用户进行了其从与作为上述状态的第一状态不同的第二状态改变到第一状态的第一改变、或者其从第一状态改变到第二状态的第二改变，则动作识别装置可以识别出用户已经点头以表示其意图。

这使得能够更准确地识别用户的点头。

如果在所述预定时间内用户进行了至少预定的第一次数的第一改变、并且进行了至少预定第二次数的第二改变，则动作识别装置可以识别出用户已经点头以表示其意图。

这使得能够更准确地识别用户的点头。

如果用户处于如下的第一状态中，则动作识别装置可以识别出用户已经点头以表示其意图，在所述第一状态中，在所述预定时间内面部从预定方向向下倾斜至少预定的第一角度；在所述第一状态中，在所述预定时间内视线相对于面部方向向上倾斜至少预定的第二角度；在所述第一状态中，在所述预定时间内面部从所述预定方向向下倾斜的角度和视线相对于面部方向向上倾斜的角度之和至少为预定的阈值；并且在所述第一状态中，在所述预定时间内面部从所述预定方向向左或者向右的方向小于预定的第三角度。

这使得能够更准确地识别用户的点头。

如果用户处于其面部朝向右方、同时其视线相对于面部方向朝向左方的第一状态中、或者处于其面部朝向左方、同时其视线相对于面部方向朝向右方的第二状态中，则动作识别装置可以识别出用户已经摇头以表示其意图。

这使得能够更容易且准确地识别用户的摇头。

如果在催促用户表示其意图之后的预定时间内用户进行了其从与第一状态和第二状态不同的第三状态改变到第一状态的第一改变、其从第三状态改变到第二状态的第二改变、其从第一状态改变到第三状态的第三改变、或者其从第二状态改变到第三状态的第四改变，则动作识别装置可以识别出用户已经摇头以表示其意图。

这使得能够更准确地识别用户的摇头。

如果在所述预定时间内用户进行了至少预定第一次数的第一改变、并且进行了至少预定第二次数的第二改变，则动作识别装置可以识别出用户已经摇头来表示其意图。

这使得能够更准确地识别用户的摇头。

如果用户处于如下的第三状态中、或者如果用户处于如下的第四状态中，则动作识别装置可以识别出用户已经摇头来表示其意图，在所述第三状态中，在所述预定时间内面部从预定方向向右倾斜至少预定的第一角度；并且在所述第三状态中，在所述预定时间内视线相对于面部方向向左倾斜至少预定的第二角度；并且在所述第三状态中，在所述预定时间内面部从所述预定方向向右倾斜的角度和视线相对于面部方向向左倾斜的角度之和至少为预定阈值；并且在所述第三状态中，在所述预定时间内面部从所述预定方向向上或者向下的方向小于预定的第三角度；在所述第四状态中，在所述预定时间内面部从所述预定方向向左倾斜至少所述第一角度；并且在所述第四状态中，在所述预定时间内视线相对于面部方向向右倾斜至少所述第二角度；并且在所述第四状态中，在所述预定时间内面部从所述预定方向向左倾斜的角度和视线相对于面部方向向右倾斜的角度之和至少为所述阈值；并且在所述第四状态中，在所述预定时间内面部从所述预定方向向上或者向下的方向小于所述预定第三角度。

这使得能够更准确地识别用户的摇头。

识别装置可以进一步包括意图识别装置，所述意图识别装置用于基于由动作识别装置识别出的表示用户意图的用户动作来识别用户意图。

这使得能够容易且准确地识别用户意图。

意图识别装置例如由CPU构成。

根据本发明的一个方面的识别方法或者程序包括以下步骤：面部方向感测步骤，感测用户面部的方向；视线方向感测步骤，感测用户视线的方向；以及动作识别步骤，基于面部方向与视线方向之间的差异来识别表示用户意图的用户动作。

按照根据本发明的该方面的识别方法或者程序，感测用户面部的方向，感测用户视线的方向，并且基于面部方向与视线方向之间的差异来识别表示用户意图的用户动作。

由此可以容易且准确地识别表示用户意图的用户动作。从而可以容易且可靠地识别用户意图。

面部方向感测步骤包括以下步骤：基于关于用户面部图像的数据，通过CPU来感测用户面部的方向。视线方向感测步骤包括以下步骤：基于关于用户面部图像的数据，通过CPU来感测用户视线的方向。动作识别步骤例如包括通过CPU来识别表示用户意图的用户动作。

如上所述，本发明的该方面使得能够容易且准确地识别表示用户意图的用户动作。这使得能够容易且可靠地识别用户意图。

附图说明

图1是示出应用了本发明的意图检查装置的实施例的框图；

图2是例示出图1中的意图检查装置的意图检查处理的流程图；

图3是详细例示出图2中的步骤S4中的点头识别处理的流程图；

图4是示意性地示出看正前方的人的面部方向和视线方向的图；

图5是示意性地示出图4所示的人的眼睛的状态的图；

图6是示意性地示出点头的人的面部方向和视线方向的图；

图7是示意性地示出图6所示的人的眼睛的状态的图；

图8是示出点头的可能性至少是阈值的状态的曲线图；

图9是例示出识别驾驶员的点头的示例的曲线图；

图10是详细例示出图2中的步骤S5中的摇头识别处理的流程图；

图11是示意性示出看正前方的人的面部方向和视线方向的图；

图12是示意性地示出图11所示的人的眼睛的状态的图；

图13是示意性地示出摇头的人的面部方向和视线方向的图；

图14是示意性地示出图13所示的人的眼睛的状态的图；

图15是示出其中摇头的可能性至少是上限阈值或者至多是下限阈值的状态的曲线图；

图16是例示出识别驾驶员的摇头的示例的曲线图；

图17是例示出对驾驶员的点头进行识别的另一方法的图；

图18是例示出对驾驶员的摇头进行识别的另一方法的图；

图19是例示出对驾驶员的点头进行识别的又一方法的图；

图20是例示出对驾驶员的摇头进行识别的又一方法的图；

图21是例示出对驾驶员的点头进行识别的再一方法的图；

图22是例示出对驾驶员的摇头进行识别的再一方法的图；以及

图23是示出个人计算机的配置的示例的框图。

附图标记的说明

1 意图检查装置

11 声音输出部

13 摄像机

14 面部方向感测部(面部方向感测装置)

15 视线方向感测部(视线方向感测装置)

16 动作识别部(动作识别装置)

17 意图识别部(意图识别装置)

21 点头识别部

22 摇头识别部

901 CPU

902 ROM

903 RAM

908 记录部

910 驱动器

911 可更换介质

具体实施方式

下面参照附图对本发明的实施例进行描述。

图1是示出应用了本发明的意图检查装置的实施例的框图。意图检查装置1包括声音输出部11、扬声器12、摄像机13、面部方向感测部14、视线方向感测部15、动作识别部16、以及意图识别部17。动作识别部16包括点头识别部21和摇头识别部22。

下面将主要以将意图检查装置1安装在汽车内部以检查汽车驾驶员的意图的情况为例来进行说明。然而，意图检查装置1的安装位置不限于汽车的内部。通过意图检查装置1来检查其意图的对象不限于汽车的驾驶员。

如果外部应用装置(未示出；例如驾驶支持装置、导航装置、汽车空调、或者汽车音响)向意图检查装置1输入了请求检查驾驶员意图的信息，则声音输出部11生成催促驾驶员表示其意图的声音数据。声音输出部11基于该声音数据通过扬声器12输出声音。例如，为了催促驾驶员表示其意图，声音输出部11通过扬声器12输出诸如“将自动改变设置。可以吗？”的声音消息。

摄像机13例如使用CCD(电荷耦合装置)图像拾取元件、CMOS(互补金属氧化物半导体)图像拾取元件、对数变换型图像拾取元件(例如，HDRC(高动态范围CMOS(互补金属氧化物半导体))(注册商标))等。摄像机13具有感测驾驶员面部方向和视线方向所需要的性能(例如，分辨率为640(每行)×480(每列)像素；灰度级数为256；帧速率为每秒30帧)。摄像机13安装在能够拾取驾驶员面部的图像的位置处。摄像机13将包括通过图像拾取而获得的驾驶员面部的图像数据提供给面部方向感测部14和视线方向感测部15。

面部方向感测部14基于摄像机13提供的图像数据来感测驾驶员面部的方向。面部方向感测部14感测面部方向的技术不限于任何具体技术。优选使用能够既快速又准确地感测面部方向的技术。面部方向感测部14将表示感测到的驾驶员面部方向的信息提供给点头识别部21和摇头识别部22。

例如，面部方向感测部14在垂直方向和水平方向上每0.2秒地按5°的角度分辨率基于驾驶员朝向基准方向(例如相对于汽车前方和地面的水平方向)的状态来感测面部方向。在下面的描述中，对于面部方向，基于驾驶员朝向基准方向的状态，用正值表示向上的方向，而用负值表示向下的方向。用正值表示向右的方向，而用负值表示向左的方向。例如，如果驾驶员从其朝向基准方向的状态将其头部向上倾斜10°，则在垂直方向上的面部方向为10°。如果驾驶员将其头部向下倾斜10°，则在垂直方向上的面部方向是-10°。如果驾驶员将其头部向右倾斜10°，则在水平方向上的面部方向是10°。如果驾驶员将其头部向左倾斜10°，则在水平方向上的面部方向是-10°。

视线方向感测部15基于摄像机13提供的图像数据来感测驾驶员视线相对于驾驶员面部方向的方向。视线方向感测部15感测视线方向的技术不限于任何具体技术。优选使用能够既快速又准确地感测视线方向的技术。视线方向感测部15将表示感测到的驾驶员视线方向的信息提供给点头识别部21和摇头识别部22。

例如，视线方向感测部15在面部的垂直方向和水平方向上每0.2秒地按5°的角度分辨率来感测驾驶员视线相对于驾驶员面部方向的方向。在下文的描述中，对于视线方向，基于面部方向，在垂直方向中，用正值表示向上的方向，而用负值表示向下的方向。在水平方向中，用正值表示向右的方向，而用负值表示向左的方向。例如，如果驾驶员基于其面部方向将其视线向上移动10°，则在垂直方向面部方向中的视线方向是10°。如果驾驶员将其视线向下移动10°，则在垂直方向面部方向中的视线方向是-10°。如果驾驶员将其视线向右移动10°，则在水平方向面部方向中的视线方向是10°。如果驾驶员将其视线向左移动10°，则在水平方向面部方向中的视线方向是-10°。

下列内容不限于上述示例：感测面部或者视线方向所使用的时间间隔和角度分辨率，以及表示面部或者视线方向的坐标系。

动作识别部16基于驾驶员面部方向与视线方向之间的差异来识别表示驾驶员意图的驾驶员动作。

如稍后参照图3所述，点头识别部21基于驾驶员面部方向与视线方向之间的差异来识别驾驶员是否已经点头以表示其意图。点头识别部21将表示识别结果的信息提供给意图识别部17。

摇头识别部22基于驾驶员面部方向与视线方向之间的差异来识别驾驶员是否已经摇头以表示其意图。摇头识别部22将表示识别结果的信息提供给意图识别部17。

意图识别部17基于点头识别部21或者摇头识别部22提供的识别结果来识别驾驶员的意图。意图识别部17将表示识别结果的信息输出给请求检查驾驶员意图的应用装置。

现在，参照图2到图16来描述意图检查装置1执行的处理。

首先，参照图2中的流程图来描述意图检查装置1执行的意图检查处理。例如，当外部应用装置(未示出)向意图检查装置1输入了请求检查驾驶员意图的信息时开始该处理。

在步骤S1，声音输出部11催促驾驶员表示其意图。具体地，声音输出部11生成催促驾驶员表示其意图的声音数据。随后，声音输出部11基于该声音数据使扬声器12输出声音。

在步骤S2，面部方向感测部14基于摄像机13提供的图像数据开始感测面部方向。面部方向感测部14开始将表示感测到的驾驶员面部方向的信息提供给点头识别部21和摇头识别部22。

在步骤S3，视线方向感测部15基于摄像机13提供的图像数据开始感测视线方向。视线方向感测部15开始将表示感测到的驾驶员视线方向的信息提供给点头识别部21和摇头识别部22。

在步骤S4，点头识别部21执行点头识别处理。稍后将参照图3详细描述点头识别处理。此处理识别驾驶员是否响应于催促其表示其意图的消息而点了头。点头识别部21将表示识别结果的信息提供给意图识别部17。

在步骤S5，摇头识别部22执行摇头识别处理。稍后参照图10详细描述摇头识别处理。此处理识别驾驶员是否响应于催促其表示其意图的消息而摇了头。摇头识别部22将表示识别结果的信息提供给意图识别部17。

步骤S4和S5是并行执行的。

在步骤S6，意图识别部17基于点头识别部21或者摇头识别部22的识别结果来识别驾驶员的意图，以完成意图检查处理。具体地，如果点头识别部21识别出驾驶员已经点头、而摇头识别部22识别出驾驶员没有摇头，则意图识别部17识别出该驾驶员已经表示肯定。如果点头识别部21识别出驾驶员没有点头、而摇头识别部22识别出驾驶员已经摇头，则意图识别部17识别出驾驶员已经表示否定。如果点头识别部21识别出驾驶员没有点头、并且摇头识别部22识别出驾驶员没有摇头，则意图识别部17识别出驾驶员尚未表示其意图。

如果点头识别部21识别出驾驶员已经点头、并且摇头识别部22识别出驾驶员已经摇头，则意图识别部17例如基于较早或者较晚识别出的驾驶员动作来识别其意图。另选地，可以基于点头可能性(驾驶员是否已经点头是根据该点头可能性来确定的)和摇头可能性(驾驶员是否已经摇头是根据该摇头可能性来确定的)来识别驾驶员的意图。稍后将描述点头可能性和摇头可能性。

意图识别部17将表示识别结果的信息输出到请求检查驾驶员意图的应用装置。所述应用装置基于识别出的驾驶员意图来执行处理。

点头动作或者摇头动作可能根据国家或者文化而发生变化。例如，基于这些变化来预先改变意图检查装置1中的设置以使得能够准确识别驾驶员的意图。

现在参照图3的流程图来详细描述图2中的步骤S4的点头识别处理。

在步骤S21，点头识别部21设置基准方向。具体地，点头识别部21设置的基准方向例如是当在步骤S2中开始感测面部方向时观察到的面部方向、或者在驾驶过程中驾驶员最常看的方向。

在步骤S22，点头识别部21开始计算点头的可能性。现在，参照图4到7对计算点头可能性的方法进行描述。

图4示意性地示出几乎看向正前方的人当从其头部侧面观察时的面部方向和视线方向。图5示意性地示出图4所示的人的眼睛的状态。如图4所示，如果人几乎看正前方，例如，如果驾驶员在驾驶汽车时看前方，则面部方向几乎与视线方向一致。无论个体之间的差异如何，如图5所示，虹膜几乎位于各个眼睛的中央。

图6示意性地示出点头以表示其意图的人的当从其头部侧面观察时的面部方向和视线方向。图7示意性地示出图6所示的人的眼睛的状态。当人点头以表示其意图时，其往往仅改变面部方向而几乎固定其视线。例如，当两个人谈话时，其各自在几乎将其视线聚焦于另一人的同时点头。在进行诸如驾驶的操作时，人在几乎将其视线聚焦在操作对象上的同时点头。即使人没有要注视的这种对象，其也不必看向点头的方向，因此在几乎固定其视线的同时点头。

因此，如图6所示，当人点头时，面部方向偏离视线方向。即，面部向下移动，而眼睛相对于面部方向向上移动。因此，无论个体之间的差异如何，如图7所示，在各个眼睛中虹膜向上移动，即沿与面部移动方向相反的方向移动。换言之，人看向上方。

点头识别部21着眼于当人点头时观察到的在垂直方向中面部与视线的动作(方向)之间的差异来计算点头的可能性。具体地，如果驾驶员的面部从基准方向向下至少预定第一角度(例如5°)、驾驶员的视线从面部方向向上至少预定第二角度(例如5°)、并且面部方向从基准方向向左或者向右小于预定第三角度(例如5°)，即，如果驾驶员面部朝下并且几乎沿水平基准方向、同时向上看，则根据如下所示的式(1)来计算点头的可能性。

点头的可能性＝在垂直方向上视线相对于面部方向的方向-垂直方向上的面部方向…(1)

即，通过当人向上看时观察到的面部方向与视线方向之间的角度以及当人向下看时观察到的面部方向与视线方向之间的角度之和来表示点头的可能性(因为角度的符号，所以式(1)是减法)。

另一方面，如果面部和视线方向不在上述状态下，则点头的可能性为零。

点头识别部21基于上述方法开始计算点头的可能性。

在步骤S23，点头识别部21确定从催促驾驶员表示其意图起是否已经经过了预定时间。如果点头识别部21确定从步骤S1中的催促表示驾驶员意图的消息起尚未经过预定时间(例如7秒)，则处理进入步骤S24。

在步骤S24，点头识别部21确定点头的可能性是否至少为预定阈值。如果点头识别部21确定了点头的可能性低于预定阈值(例如30)，则处理返回步骤S23。

随后，重复步骤S23和S24中的处理，直到点头识别部21在步骤S23中确定了从催促驾驶员表示其意图起已经经过了预定时间、或者直到点头识别部21在步骤S24中确定了点头的可能性至少为预定阈值。

如果点头识别部21在步骤S24中确定了点头的可能性至少为阈值，则处理进入步骤S25。

图8是其中横轴表示在垂直方向上视线相对于面部方向的方向、而纵轴表示在垂直方向上面部相对于基准方向的方向的曲线图。视线方向向上的角度随着横轴上的点从原点向右移动而增大。视线方向向下的角度随着横轴上的点从原点向左移动而增大。面部方向向上的角度随着纵轴上的点从原点向上移动而增大。面部方向向下的角度随着纵轴上的点从原点向下移动而增大。

在图8中的阴影区域中，点头的可能性至少为预定阈值(在图8所示的示例中为30)。即，在阴影区域，驾驶员的面部从基准方向至少向下预定第一角度(在图8所示的示例中为5°)，驾驶员的视线从面部方向至少向上预定第二角度(图8所示的示例中为5°)，向下的面部方向与基准方向之间的角度以及向上的视线方向与面部方向之间的角度之和(点头的可能性)至少为预定阈值(在图8所示的示例中为30)。

在步骤S25，点头识别部21识别出驾驶员已经点头，从而完成点头识别处理。随后，点头识别部21将表示识别结果的信息提供给意图识别部17。

如果点头识别部21在步骤S23中确定了从催促驾驶员表示其意图起已经经过了预定时间，则处理进入步骤S26。

在步骤S26，点头识别部21识别出驾驶员没有点头，从而完成点头识别处理。随后，点头识别部21将表示识别结果的信息提供给意图识别部17。

图9是示出当驾驶员点头时观察到的驾驶员面部和视线方向以及点头可能性的变化的曲线图。在图9中，横轴表示时间，而纵轴表示面部和视线的方向以及点头的可能性。线51表示在垂直方向上面部方向的变化。线52表示在垂直方向上视线方向相对于面部方向的变化。线53表示在水平方向上面部方向的变化。线54表示点头可能性的变化。

在图9所示的示例中，确定驾驶员是否点头所使用的阈值是30。该图示出了在催促驾驶员表示其意图之后的5.2到5.6秒，点头的可能性等于或者大于阈值。点头识别部21由此识别出驾驶员点头。

现在，参照图10的流程图，详细描述图2的步骤S5中的摇头识别处理。

在步骤S41，与如上所述的在图3的步骤S21中通过点头识别部21执行的处理的情况相同，摇头识别部22设置基准方向。

在步骤S42，摇头识别部22开始计算摇头的可能性。现在，参照图11到14来描述摇头可能性的计算方法。

图11示意性地示出当从几乎看向正前方的人的头部上方观察时此人的面部方向和视线方向。图12示意性地示出图11所示的人的眼睛的状态。如图11所示，如果人几乎看向正前方，例如如果驾驶员在驾驶汽车时看向前方，则面部方向几乎与视线方向相一致。无论个体之间的差异如何，如图12所示，虹膜几乎位于各个眼睛的中央。

图13示意性地示出当从摇头以表示其意图的人的头部上方观察时此人的面部方向和视线方向。图14示意性地示出图13所示的人的眼睛的状态。当人摇头以表示其意图时，其往往仅改变面部方向，而几乎固定其视线。例如，当两个人在谈话时，其各自在几乎将其视线聚焦于另一人的同时摇头。在进行诸如驾驶的操作时，人在几乎将其视线聚焦在操作对象上的同时摇头。即使人没有要注视的这种对象，其也不必看向摇头的方向，因此在几乎固定其视线的同时摇头。

因此，如图13所示，当人摇头时，面部方向偏离视线方向。即，面部方向与视线方向相反。因此，无论个体之间的差异如何，如图14所示，虹膜在各个眼睛中沿与面部移动方向(在这种情况下为向右)相反的方向(在这种情况下为向左)移动。换言之，人看向侧面。

摇头识别部22着眼于当人摇头时观察到的在水平方向中面部动作(方向)与视线动作(方向)之间的差异来计算摇头的可能性。具体地，如果驾驶员的面部从基准方向向右或者向左至少预定第一角度(例如5°)、驾驶员的视线在与面部方向相反的方向上距水平方向的面部方向至少预定第二角度(例如5°)、并且面部方向从基准方向向上或者向下小于预定第三角度(例如5°)，即如果驾驶员面部向左或者向右并且几乎沿垂直基准方向、同时将目光投向在水平方向上与面部方向相反的方向，则根据如下所示的式(2)来计算摇头的可能性。

摇头的可能性＝在水平方向上视线相对于面部方向的方向-在水平方向上的面部方向…(2)

即，通过当人看向侧面时观察到的面部方向与视线方向之间的角度以及当人的头部朝向侧面方向时观察到的面部方向与视线方向之间的角度之和来表示摇头的可能性(因为角度的符号，所以式(2)是减法)。

另一方面，如果面部和视线方向不在上述状态下，则摇头的可能性为零。

摇头识别部22基于上述方法开始计算摇头的可能性。

在步骤S43，摇头识别部22确定从催促驾驶员表示其意图起是否已经经过了预定时间。如果摇头识别部22确定了从步骤S41中的催促表示驾驶员意图的消息起尚未经过预定时间(例如7秒)，则处理进入步骤S44。

在步骤S44，摇头识别部22确定是否满足下列两个条件：面部朝向左方，并且摇头的可能性至少为预定上限阈值。如果摇头识别部22确定了面部朝向右方(面部方向在水平方向上的角度大于0°)或者摇头的可能性小于预定上限阈值(例如30)，即如果确定了驾驶员没有向左摇头，则处理进入步骤S45。

在步骤S45，摇头识别部22确定是否满足下列两个条件：面部朝向右方，并且摇头的可能性至多为预定下限阈值。如果摇头识别部22确定了面部朝向左方(面部方向在水平方向上的角度小于0°)或者摇头的可能性大于预定下限阈值(例如-30)，即如果确定了驾驶员没有向右摇头，则处理返回步骤S43。

随后，重复步骤S43到S45的处理，直到摇头识别部22在步骤S43中确定了从催促驾驶员表示其意图起已经经过了预定时间、直到摇头识别部22在步骤S44中确定了面部朝向左方并且摇头的可能性至少为预定上限阈值、或者直到摇头识别部22在步骤S45中确定了面部朝向右方并且摇头的可能性至多为预定下限阈值。

如果摇头识别部22在步骤S45中确定了面部朝向右方并且摇头的可能性至多为预定下限阈值，即如果摇头识别部22确定了驾驶员已经向右摇头，则处理进入步骤S46。

图15是其中横轴表示在水平方向上视线相对于面部方向的方向、而纵轴表示在水平方向上面部相对于基准方向的方向的曲线图。视线方向向右的角度随着横轴上的点从原点向右移动而增大。视线方向向左的角度随着横轴上的点从原点向左移动而增大。面部方向向右的角度随着纵轴上的点从原点向上移动而增大。面部方向向左的角度随着纵轴上的点从原点向下移动而增大。

在图15中的网格区域R中，当面部朝向右方时，摇头的可能性至少为预定下限阈值(在图15所示的示例中为-30)。即，在区域R中，驾驶员面部从基准方向向右至少预定第一角度(在图15所示的示例中为5°)，驾驶员的视线从面部方向向左至少预定第二角度(图15所示的示例中为5°)，并且向右的面部方向与基准方向之间的角度以及向左的视线方向与面部方向之间的角度之和(摇头的可能性)至少为预定阈值(在图15所示的示例中为30(下限阈值的绝对值))。

在步骤S46，与步骤S43中的处理的情况一样，摇头识别部22确定从催促驾驶员表示其意图起是否已经经过了预定时间。如果摇头识别部22确定从催促表示驾驶员意图的消息起尚未经过预定时间，则处理进入步骤S47。

在步骤S47，与步骤S44中的处理的情况一样，摇头识别部22确定是否满足下列两个条件：面部朝向左方，并且摇头的可能性至少为预定上限阈值。如果摇头识别部22确定了面部朝向右方或者摇头的可能性小于预定上限阈值(例如30)，即如果确定了驾驶员并非在向左摇头，则处理返回步骤S46。

随后，重复步骤S46和S47中的处理，直到摇头识别部22在步骤S46中确定了从催促驾驶员表示其意图起已经经过了预定时间，或者直到摇头识别部22在步骤S47中确定了面部朝向左方并且摇头的可能性至少为预定上限阈值。

如果摇头识别部22在步骤S47中确定了面部朝向左方并且摇头的可能性至少为预定上限阈值，即如果摇头识别部22确定了驾驶员已经向左摇头，则处理进入步骤S50。这表示摇头识别部22还基于步骤S45中的确定结果而确定了驾驶员已经在催促表示其意图的消息之后的预定时间内向左右两方向摇头的情况。

在图15的阴影区域L中，当面部朝向左方时，摇头的可能性至少为预定上限阈值(在图15所示的示例中为30)。即，在区域L中，驾驶员的面部从基准方向向左至少预定第一角度(在图15所示的示例中为5°)，驾驶员的视线从面部方向向右至少预定第二角度(在图15所示的示例中为5°)，并且向左的面部方向与基准方向之间的角度以及向右的视线方向与面部方向之间的角度之和(摇头的可能性)至少为预定阈值(在图15所示的示例中为30)。

如果摇头识别部22在步骤S44中确定了面部朝向左方并且摇头的可能性至少为预定上限阈值，即，如果确定了驾驶员已经向左摇头，则处理进入步骤S48。

在步骤S48，与步骤S43中的处理的情况一样，摇头识别部22确定从催促驾驶员表示其意图起是否已经经过了预定时间。如果摇头识别部22确定了从催促表示驾驶员意图的消息起尚未经过预定时间，则处理进入步骤S49。

在步骤S49，与步骤S45中的处理的情况一样，摇头识别部22确定是否满足下列两个条件：面部朝向右方，并且摇头的可能性至多为预定下限阈值。如果摇头识别部22确定了面部朝向左方或者摇头的可能性大于预定下限阈值，即如果确定了驾驶员并非在向右摇头，则处理返回步骤S48。

随后，重复步骤S48和S49中的处理，直到摇头识别部22在步骤S48中确定了从催促驾驶员表示其意图起已经经过了预定时间，或者直到摇头识别部22在步骤S49中确定了面部朝向右方并且摇头的可能性至多为预定下限阈值。

如果摇头识别部22在步骤S48中确定了面部朝向右方并且摇头的可能性最多为预定下限阈值，即如果摇头识别部22确定了驾驶员已经向右摇头，则处理进入步骤S50。这表示摇头识别部22还基于步骤S44中的确定结果而确定了驾驶员已经在催促表示其意图的消息之后的预定时间内向左右两方向摇头的情况。

在步骤S50，摇头识别部22识别出驾驶员已经摇头，从而完成摇头识别处理。随后，摇头识别部22将表示识别结果的信息提供给意图识别部17。

如果摇头识别部22在步骤S43、S46或者S48中确定了从催促表示驾驶员意图的消息起已经经过了预定时间，即如果摇头识别部22确定了没有向右方或者左方中的至少一方摇头，则处理进入步骤S51。

在步骤S51，摇头识别部22识别出驾驶员没有摇头，从而完成摇头识别处理。随后，摇头识别部22将表示识别结果的信息提供给意图识别部17。

图16是示出当驾驶员摇头时发生变化的面部和视线方向以及摇头可能性的变化的曲线图。在图16中，横轴表示时间，而纵轴表示面部和视线的方向以及摇头的可能性。线61表示在水平方向上面部方向的变化。线62表示在水平方向上视线方向相对于面部方向的变化。线63表示在垂直方向上面部方向的变化。线64表示摇头可能性的变化。

在图16所示的示例中，将确定驾驶员是否向左摇头所使用的上限阈值设置在30。将确定驾驶员是否向右摇头所使用的下限阈值设置在-30。于是，摇头的可能性在催促表示驾驶员意图的消息之后的3.4到3.6秒等于或者大于上限阈值。摇头识别部22由此识别出驾驶员已经向左摇头。摇头的可能性在催促表示驾驶员意图的消息之后的4.4到5.0秒等于或者小于下限阈值。摇头识别部22由此识别出驾驶员已经向右摇头。

如上所述，本实施例使得能够容易且准确地识别表示用户(驾驶员)意图的用户动作。这使得可以容易且可靠地识别用户意图。本实施例仅需要用户进行诸如点头或者摇头的非常自然的动作。这防止了对用户造成沉重负担。此外，用户不必将目光投向或将其面部转向预定方向或者移动其手脚。因此用户可以在连续地执行诸如驾驶的操作的同时向意图检查装置1表示其意图。

现在，对识别点头和摇头的另一方法进行描述。

如图17所示，基于在垂直方向上的面部方向与相对于面部方向的视线方向的组合，存在下列九个状态：状态SV1，其中面部朝向上方，同时视线相对于面部方向朝向下方；状态SV2，其中面部朝向上方，同时面部方向几乎与视线方向相同；状态SV3，其中面部朝向上方，同时视线相对于面部方向朝向上方；状态SV4，其中面部几乎朝向水平方向，同时视线相对于面部方向朝向下方；状态SV5，其中面部几乎朝向水平方向，面部方向几乎与视线方向相同；状态SV6，其中面部几乎朝向水平方向，同时视线相对于面部方向朝向上方；状态SV7，其中面部朝向下方，视线相对于面部方向朝向下方；状态SV8，其中面部朝向下方，面部方向几乎与视线方向相同；以及状态SV9，其中面部朝向下方，同时视线相对于面部方向朝向上方。

如上所述，当人点头时，其动作往往是将其面部转向下方，同时将其视线相对于面部方向转向上方。因此，一种可能的方法在检测到人处于状态SV9时识别出其点头。这种方法不如参照图3和其他图所述的方法准确，但能够更快速地识别人的点头。

类似地，如图18所示，基于在水平方向上的面部方向与相对于面部方向的视线方向的组合，存在下列九个状态：状态SH1，其中面部朝向右方，同时视线相对于面部方向朝向左方；状态SH2，其中面部朝向右方，面部方向几乎与视线方向相同；状态SH3，其中面部朝向右方，视线相对于面部方向朝向右方；状态SH4，其中面部几乎朝向正前方，同时视线相对于面部方向朝向左方；状态SH5，其中面部几乎朝向正前方，面部方向几乎与视线方向相同；状态SH6，其中面部方向几乎朝向正前方，同时视线相对于面部方向朝向右方；状态SH7，其中面部朝向左方，视线相对于面部方向朝向左方；状态SH8，其中面部朝向左方，面部方向几乎与视线方向相同；以及状态SH9，其中面部朝向左方，同时视线相对于面部方向朝向右方。

如上所述，当人摇头时，其动作往往是将其面部转向左方或右方，同时将其视线转向与面部方向相反的方向。因此，一种可能的方法在检测到人处于状态SH1时识别出其在向右摇头，并且在检测到人处于状态SH9时识别出其在向左摇头。这种方法不如参照图10和其他图所述的方法准确，但能够更快速地识别人的摇头。

另一种可能的方法使用下面示出的式(3)和(4)来替代上述计算方法，当点头的可能性至少为预定阈值、并且面部从基准方向向右或者向左的方向小于预定角度(例如5°)时，识别出人的点头。

点头的可能性＝在垂直方向上视线相对于面部方向的方向×(-1×在垂直方向上的面部方向)    (在垂直方向上的面部方向＜0)…(3)

点头的可能性＝0          (在垂直方向上的面部方向≥0)…(4)

在这种情况下，在坐标轴与图8所示曲线图的坐标轴相同的图19的曲线图中，在以曲线为界的阴影区域中，点头的可能性至少为预定阈值。

类似地，另一种可能的方法使用如下所示的式(5)来替代上述计算方法，当摇头的可能性至多为预定阈值、并且面部从基准方向向上或者向下的方向小于预定角度(例如5°)时识别出人的摇头。

摇头的可能性＝在水平方向上视线相对于面部方向的方向×(在水平方向上的面部方向)…(5)

在这种情况下，在坐标轴与图15所示曲线图的坐标轴相同的图20的曲线图中，在以双曲线定界的网格区域R和阴影区域L中，摇头的可能性至多为预定阈值。区域R对应于向右摇头，而区域L对应于向左摇头。

如图21所示，将坐标轴与图8所示曲线图的坐标轴相同的曲线图划分为多个区域。对各个得到的区域指配点头可能性的值。于是，一种可能的方法在如下情况下识别出驾驶员的点头：与感测到的在垂直方向上的面部方向和在垂直方向上视线相对于面部方向的方向的组合所属于的区域对应的点头可能性至少为预定阈值、并且面部从基准方向向右或者向左的方向小于预定角度(例如5°)。

类似地，如图22所示，将坐标轴与图15所示曲线图的坐标轴相同的曲线图划分为多个区域。对各个得到的区域指配摇头可能性的值。于是，一种可能的方法在如下情况下识别出驾驶员的摇头：与感测到的在水平方向上的面部方向和在水平方向上视线相对于面部方向的方向的组合所属于的区域对应的摇头可能性至少为预定阈值、并且面部从基准方向向上或者向下的方向小于预定角度(例如5°)。

在上述示例的描述中，如果感测到被确定为驾驶员点头的状态(此后称为点头状态)，则点头识别部识别出人已经点头。然而，如果感测到从并非被确定为驾驶员点头的状态(此后称为非点头状态)到点头状态的变化、或者如果感测到从点头状态到非点头状态的变化，则点头识别部也可以识别出驾驶员点头。另选地，如果在预定时间内至少预定第一次数地感测到从点头状态到非点头状态的变化、并且如果在所述预定时间内至少预定第二次数地感测到从非点头状态到点头状态的变化，即如果感测到人的点头动作的重复，则点头识别部也可以识别出驾驶员的点头。

在上述示例的描述中，如果驾驶员向右并且向左摇头一次，则摇头识别部识别出驾驶员摇头。然而，如果感测到下列变化中的任一种，则摇头识别部也可以识别出驾驶员摇头：从被确定为驾驶员既不向右摇头也不向左摇头的状态(此后称为非摇头状态)到被确定为驾驶员向右摇头的状态(此后称为向右摇头状态)或到被确定为驾驶员向左摇头的状态(此后称为向左摇头状态)的变化；或者从向右摇头状态或向左摇头状态到非摇头状态的变化。另选地，如果在预定时间内至少预定第一次数地感测到从非摇头状态到向右摇头状态的变化、并且如果在所述预定时间内至少预定第二次数地感测到从非摇头状态到向左摇头状态的变化，即如果感测到人摇头动作的重复，则摇头识别部也可以识别出驾驶员的摇头。

如上所述，第一通信装置设置第一表达方法和与所述第一表达方法相关联的第二表达方法，随后将表示第二表达方法的数据发送到第一通信装置与之通信的第二通信装置；随后，在第二通信装置使用第二表达方法的同时，第一通信装置使用第一表达方法来表达在第一通信装置与第二通信装置之间的通信的建立，第二通信装置接收由第一通信装置发送的并且表示第二表达方法的数据；当在第一通信装置使用第一表达方法的同时使用第二表达方法表达了在第一通信装置与第二通信装置之间的通信的建立时，这使得通信装置能够确定它们之间的通信的建立。此外，各个通信装置可以容易地识别另一通信装置，由此可以进行容易、可靠且安全的通信。

在上述示例的描述中，输出声音消息来催促用户表示其意图。然而，例如可以通过发出峰鸣声、在显示装置上显示字符或符号、或者闪灯来产生相同的效果。

除了上述车载装置之外，本发明还可以应用于检查用户意图的各种装置，例如个人计算机、蜂窝电话、PDA(个人数字助理)、AV(视听)设备、各种电器、以及自动售货机。

可以通过硬件或者软件来执行上述一系列处理。如果通过软件来执行这一系列处理，则将程序记录介质中的构成软件的程序安装在并入专用硬件的计算机中，或者例如安装可以在根据各种安装的程序来执行各种功能的通用计算机中。

图23是示出根据程序来执行上述一系列处理的个人计算机的配置示例的框图。CPU(中央处理单元)901根据存储在ROM(只读存储器)902或者记录部908中的程序来执行各种处理。RAM(随机存取存储器)903适当地存储CPU 901执行的程序和数据。CPU 901、ROM 902和RAM903经由总线904连接在一起。

I/O接口905也经由总线904连接到CPU 901。I/O接口905连接到由键盘、鼠标、麦克风等构成的输入部906和由显示器、扬声器等构成的输出部907。CPU 901对应于经由输入部906输入的指令来执行各种处理。随后CPU 901将处理结果输出到输出部907。

连接到I/O接口905的记录部908例如由硬盘构成，用于存储CPU901执行的程序和各种数据。通信部909经由诸如因特网或者局域网的网络与外部装置进行通信。

可以经由通信部909来获得程序并且将其存储在记录部908中。

当将诸如磁盘、光盘、磁光盘或者半导体存储器的可更换介质911安装在连接到I/O接口905的驱动器910中时，驱动器910驱动可更换介质911来获得记录在其中的程序或者数据。根据需要将获得的程序或者数据传送并且存储到记录部908中。

如图23所示，安装在计算机中的用于存储计算机可执行程序的记录介质可以包括可更换介质911、或者其中临时或永久存储程序的ROM902、或者构成记录部908的硬盘，所述可更换介质911是包括磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器)或者DVD(数字多功能盘))、磁光盘、或者半导体存储器的介质集合(package media)。利用诸如局域网、因特网、或者数字卫星广播的有线或者无线通信介质，经由诸如路由器或者调制解调器的作为接口的通信部909将程序存储在程序记录介质中。

在本说明书中，对存储在程序记录介质中的程序进行描述的步骤不仅包括根据时间序列按所描述的顺序执行的处理，还包括不必根据时间序列执行而是并行或者个别执行的处理。

本发明的实施例不限于上文所述的实施例，而是可以在不脱离本发明的精神的情况下进行各种修改。

Claims (13)

1、一种识别装置，该识别装置包括：

面部方向感测装置，用于感测用户面部的方向；

视线方向感测装置，用于感测用户视线的方向；以及

动作识别装置，用于基于面部方向与视线方向之间的差异来识别表示用户意图的用户动作。

2、根据权利要求1所述的识别装置，其中，如果用户处于其面部朝向下方、同时其视线相对于面部方向朝向上方的状态，则所述动作识别装置识别出用户已经点头以表示其意图。

3、根据权利要求1所述的识别装置，其中，如果在催促用户表示其意图之后的预定时间内，用户进行了其从与作为所述状态的第一状态不同的第二状态改变到所述第一状态的第一改变、或者其从所述第一状态改变到所述第二状态的第二改变，则所述动作识别装置识别出用户已经点头以表示其意图。

4、根据权利要求3所述的识别装置，其中，如果在所述预定时间内，用户进行了至少预定第一次数的所述第一改变、并且进行了至少预定第二次数的所述第二改变，则所述动作识别装置识别出用户已经点头以表示其意图。

5、根据权利要求2所述的识别装置，其中，如果用户处于如下的第一状态中，则所述动作识别装置识别出用户已经点头以表示其意图，所述第一状态是如下的状态：其中在所述预定时间内面部从一预定方向向下倾斜至少预定第一角度，并且其中在所述预定时间内视线相对于面部方向向上倾斜至少预定第二角度，并且其中在所述预定时间内面部从所述预定方向向下倾斜的角度和视线相对于面部方向向上倾斜的角度之和至少为一预定阈值，并且其中在所述预定时间内面部从所述预定方向向左或者向右的方向小于预定第三角度。

6、根据权利要求1所述的识别装置，其中，如果用户处于其面部朝向右方、同时其视线相对于面部方向朝向左方的第一状态、或者处于其面部朝向左方、同时其视线相对于面部方向朝向右方的第二状态，则所述动作识别装置识别出用户已经摇头以表示其意图。

7、根据权利要求6所述的识别装置，其中，如果在催促用户表示其意图之后的预定时间内，用户进行了其从与所述第一状态和所述第二状态不同的第三状态改变到所述第一状态的第一改变、其从所述第三状态改变到所述第二状态的第二改变、其从所述第一状态改变到所述第三状态的第三改变、或者其从所述第二状态改变到所述第三状态的第四改变，则所述动作识别装置识别出用户已经摇头以表示其意图。

8、根据权利要求7所述的识别装置，其中，如果在所述预定时间内用户进行了至少预定第一次数的所述第一改变、并且进行了至少预定第二次数的所述第二改变，则所述动作识别装置识别出用户已经摇头以表示其意图。

9、根据权利要求6所述的识别装置，其中，如果用户处于如下的第三状态、或者如果用户处于如下的第四状态，则所述动作识别装置识别出用户已经摇头以表示其意图，所述第三状态是如下的状态：其中在所述预定时间内面部从一预定方向向右倾斜至少预定第一角度，并且其中在所述预定时间内视线相对于面部方向向左倾斜至少预定第二角度，并且其中在所述预定时间内面部从所述预定方向向右倾斜的角度和视线相对于面部方向向左倾斜的角度之和至少为一预定阈值，并且其中在所述预定时间内面部从所述预定方向向上或者向下的方向小于预定第三角度；所述第四状态是如下的状态：其中在所述预定时间内面部从所述预定方向向左倾斜至少所述第一角度，并且其中在所述预定时间内视线相对于面部方向向右倾斜至少所述第二角度，并且其中在所述预定时间内面部从所述预定方向向左倾斜的角度和视线相对于面部方向向右倾斜的角度之和至少为所述阈值，并且其中在所述预定时间内面部从所述预定方向向上或者向下的方向小于所述预定第三角度。

10、根据权利要求1所述的识别装置，该识别装置进一步包括意图识别装置，所述意图识别装置用于基于由所述动作识别装置识别出的表示用户意图的用户动作来识别用户意图。

11、一种识别方法，该识别方法包括如下步骤：

感测用户面部的方向；

感测用户视线的方向；以及

基于面部方向与视线方向之间的差异来识别表示用户意图的用户动作。

12、一种程序，该程序使得计算机可以执行包括如下步骤的处理：

面部方向感测步骤，感测用户面部的方向；

视线方向感测步骤，感测用户视线的方向；以及

动作识别步骤，基于面部方向与视线方向之间的差异来识别表示用户意图的用户动作。

13、一种记录介质，在该记录介质上记录有根据权利要求12所述的程序。

Images