CN113221611A - 情绪推断装置、方法、程序以及车辆 - Google Patents

Abstract

本发明涉及情绪推断装置、方法、程序以及车辆，情绪推断装置具备控制部，该控制部被搭载于车辆，能够执行第1推断部、第2推断部以及第3推断部的功能，上述第1推断部根据用户的表情来推断用户的情绪，上述第2推断部根据用户的动作来推断用户的情绪，上述第3推断部根据第1推断部推断出的情绪与第2推断部推断出的情绪来推断用户的情绪，控制部能够至少根据控制部的处理负荷来实现第1推断部、第2推断部、第3推断部的功能的至少一部分的执行限制。

Description

情绪推断装置、方法、程序以及车辆

技术领域

本公开涉及对用户的情绪进行推断的装置。

背景技术

提出了拍摄人物的面部、身体并提取面部的表情、身体的姿势、动作来根据它们推断情绪的各种技术。例如，日本特开2008－146318公开了一种预先学习表情与情绪的对应建立而创建表情映射并根据表情映射从人物的表情来推断情绪的技术。

可考虑将这样的情绪推断功能安装到被搭载于车辆的称为ECU(ElectronicControl Unit)的电子设备，来推断搭乘于车辆的用户的情绪、提供与情绪对应的各种服务。

一般，情绪推断的处理负荷很高。因此，在进行情绪推断的ECU还进行其他应用的处理的情况下，根据情绪推断的处理负荷，存在产生其他应用的处理延迟、处理器变为高温而处理被强制中断等影响的担忧。

发明内容

本公开是鉴于上述课题而完成的，其目的在于，提供能够在减少对其他应用的影响的同时执行情绪推断处理的情绪推断装置。

本公开的一个方面涉及情绪推断装置，具备控制部，该控制部被搭载于车辆，能够执行第1推断部、第2推断部以及第3推断部的功能，上述第1推断部根据用户的表情来推断用户的情绪，上述第2推断部根据用户的动作来推断用户的情绪，上述第3推断部根据第1推断部推断出的情绪与第2推断部推断出的情绪来推断用户的情绪，控制部能够至少根据控制部的处理负荷来进行第1推断部、第2推断部、第3推断部的功能的至少一部分的执行限制。

根据本公开，由于情绪推断装置根据控制部的处理负荷来进行情绪推断处理的执行限制，所以能够在减少对其他应用的影响的同时执行情绪推断处理。

附图说明

以下，参照附图对本发明的示例性实施例的特征、优点、技术及工业重要性进行说明，在附图中相同的附图标记表示相同的构成要素，其中：

图1是表示一个实施方式所涉及的情绪推断装置及其周边部的功能模块的图。

图2是表示一个实施方式所涉及的情绪推断装置的情绪推断处理的状态迁移的图。

图3是表示一个实施方式所涉及的情绪推断装置的处理负荷减少的效果的图。

具体实施方式

(实施方式)

在构成控制部的CPU、GPU的处理负荷高的情况下、推断为无法取得用户的表情或者用户的动作未反映情绪的情况下等推断为无法恰当地执行情绪推断处理的情况下，本公开技术的一个实施方式所涉及的情绪推断装置抑制情绪推断处理来减少情绪推断处理的负荷。由此，能够抑制情绪推断装置所执行的其他应用的处理延迟、停止的担忧。以下，参照附图对本实施方式详细进行说明。

＜结构＞

图1表示本实施方式所涉及的情绪推断装置100的功能模块。情绪推断装置100包括第1推断部11、第2推断部12、第3推断部13以及负荷取得部14。上述各部的功能由控制部10执行。典型的情况下，控制部10是由CPU(Central Processing Unit)、GPU(GraphicsProcessing Unit)、存储器等构成的计算机。

第1推断部11进行面部情绪推断，该面部情绪推断是指周期性地取得拍摄用户的面部而得到的图像并提取表情来根据表情推断用户的情绪。

第2推断部12进行动作情绪推断，该动作情绪推断是指周期性地取得拍摄用户的身体而得到的图像并提取手、头、躯干等的位置或运动，进而提取由它们确定的动作，基于动作来推断用户的情绪。

第3推断部13进行综合情绪推断，该综合情绪推断是指取得第1推断部11的面部情绪推断结果与第2推断部12的动作情绪推断结果并根据它们来进行综合的情绪推断。在综合情绪推断中，通过将面部情绪与动作情绪组合，由此与仅进行面部情绪推断或者动作情绪推断的情况相比，能够提高情绪推断的精度。

第1推断部11、第2推断部12、第3推断部13各自进行的情绪推断的方法并不限定，能够适当地选择各种算法。作为各推断部的情绪推断处理的执行状态的组合，作为一个例子，存在如下的5个状态。

第1状态是第1推断部11、第2推断部12、第3推断部13的处理全部被执行的状态。在该状态下，第3推断部13的综合情绪推断结果成为情绪推断装置100的情绪推断结果。该状态是情绪推断装置100的通常状态。

第2状态是执行第1推断部11的处理、并停止第2推断部12、第3推断部13的处理的状态。在该状态下，第1推断部11的面部情绪推断结果成为情绪推断装置100的情绪推断结果。

第3状态是执行第2推断部12的处理、并停止第1推断部11、第3推断部13的处理的状态。在该状态下，第2推断部12的动作情绪推断结果成为情绪推断装置100的情绪推断结果。

第4状态是虽然第1推断部11、第2推断部12、第3推断部13的处理全部被执行、但与上述的第1状态相比延长了各处理的执行周期的状态。在该状态下，与第1状态同样，第3推断部13的综合情绪推断结果成为情绪推断装置100的情绪推断结果，但情绪推断处理的执行频率比第1状态降低。

第5状态是第1推断部11、第2推断部12、第3推断部13的处理均停止的状态。在该状态下，情绪推断装置100的情绪推断停止。

在第2、第3、第4、第5状态下，由于处理的停止或者执行频率的降低而使CPU、GPU的处理负荷比第1状态均变低。

负荷取得部14取得CPU以及GPU各自的处理负荷。作为处理负荷的指标，例如能够采用使用率，但只要根据构成控制部10的CPU、GPU等处理器的结构、功能分担、情绪推断处理的负荷特性等来使用适当的指标即可。

控制部10如后述那样根据负荷取得部14所取得的处理负荷等来在上述的第1状态～第5状态间控制状态迁移。

此外，除了上述的情绪推断处理以外，为了实现车辆的各种功能，控制部10还能够与情绪推断处理并列地执行一个以上的应用。

情绪推断装置100被搭载于车辆，经由车内网络与车辆所具备的各种设备连接为能够通信。作为一个例子，各种设备包括TOF(Time-of-Flight Camera)照相机21、IR(Infrared)照相机22、指向性麦克风23、换挡控制部24、操作受理部25、门控开关26、就坐传感器27、导航装置28等。

TOF照相机21以及IR照相机22是能够测定至被拍摄体为止的距离的距离影像传感器，被配置为能够拍摄采取通常的乘车姿势的用户的身体、面部。例如，第1推断部11根据IR照相机22所拍摄的用户的面部的图像来进行面部情绪推断处理。另外，例如第2推断部12根据TOF照相机21所拍摄的用户的上半身的图像来进行动作情绪推断处理。

指向性麦克风23是能够对用户的声音进行收音的麦克风，能够根据指向特性来确定例如用户正朝向车厢内的哪个方向说话。

换挡控制部24是进行P(驻车)、D(前进)、R(倒车)等挡位的检测、控制的设备。

操作受理部25具备按钮、开关、触摸面板等，是进行来自用户的各种操作的受理的设备。

门控开关26是检测车辆的门的开闭的传感器。

就坐传感器27是对用户是否就坐于座椅进行检测的传感器。

导航装置28是根据地图信息以及由GPS获得的车辆的位置信息等来引导直至用户等所指定的目的地为止的路径、到达预定时刻的装置。

另外，除了上述以外，取得情绪推断装置100的情绪推断结果并在处理中加以利用的设备与车内网络连接。作为这样的设备，例如能够举出具备执行与用户的对话功能的代理功能的设备。

＜处理＞

图2是对情绪推断装置100的控制部10所执行的状态迁移处理的例子进行说明的流程图。参照图2对上述的第1状态～第5状态间的状态迁移进行说明。这里以通常状态为起点来进行说明。另外，设想为情绪推断装置100进行就坐于驾驶座的用户的情绪推断。

(步骤S101)

控制部10将情绪推断处理的执行状态设为第1推断部11、第2推断部12、第3推断部13的处理全部被执行的通常状态(第1状态)。

(步骤S102)

控制部10对用户是否就坐于驾驶座进行判定。例如，控制部10能够根据就坐传感器27的检测结果来进行该判定。在判定为用户就坐于驾驶座的情况下，进入步骤S103，在并非如此的情况下，进入至步骤S107。其中，向就坐传感器27的检测结果组合由门控开关26对驾驶座门的开闭检测，例如若在门控开关26检测到开门、然后就坐传感器27检测到就坐、进而之后门控开关26检测到关门的情况下判定为用户就坐，则能够更高精度地进行就坐的判定。

(步骤S103)

控制部10根据从负荷取得部14取得的GPU的处理负荷来判定GPU是否处于高负荷。例如，控制部10能够构成为若GPU的处理负荷为第1值以上则判定为处于高负荷，若非如此则判定为不处于高负荷。在判定为GPU处于高负荷的情况下，进入至步骤S104，在并非如此的情况下，进入至步骤S114。

(步骤S104)

控制部10对是否能够取得用户的表情进行判定。例如，若检测到从指向性麦克风23取得的用户的声音的方向是从驾驶座朝向后排座的方向，则控制部10能够判定为处于用户为了与后排座的乘员进行对话而将面部朝向后排座、无法拍摄面部而无法取得表情的状态。或者，例如若检测到从换挡控制部24取得的挡位是表示为倒车行驶中的「R」，则控制部10能够判定为处于用户为了确认后方而将面部朝向后方、无法拍摄面部而无法取得表情的状态。另外，在这样的作为无法拍摄面部的状态而确定的状态均不成立的情况下，能够判定为可取得用户的表情。在判定为能够取得用户的表情的情况下，进入至步骤S110，在并非如此的情况下，进入至步骤S105。

(步骤S105)

控制部10将情绪推断处理的执行状态设为执行第2推断部12的处理、并停止第1推断部11、第3推断部13的处理的状态(第3状态)。

(步骤S106)

控制部10根据从负荷取得部14取得的GPU的处理负荷来判定GPU是否处于高负荷。例如，控制部10能够构成为若GPU的处理负荷为第2值以上则判定为处于高负荷，若非如此则判定为不处于高负荷。在判定为GPU处于高负荷的情况下，进入至步骤S107，在并非如此的情况下，进入至步骤S109。

(步骤S107)

控制部10将情绪推断处理的执行状态设为第1推断部11、第2推断部12、第3推断部13的处理均停止的状态(第5状态)。

(步骤S108)

控制部10对从第5状态向第1状态的恢复条件是否成立进行判定。这里，从第5状态向第1状态的恢复条件是指用户就坐且能够取得用户的表情。能够与步骤S102同样地对用户是否就坐进行判定。另外，能够与步骤S104同样地对是否能够取得用户的表情进行判定。在从第5状态向第1状态的恢复条件成立的情况下，进入至步骤S101，在并非如此的情况下，进入至步骤S107。

(步骤S109)

控制部10对从第3状态向第1状态的恢复条件是否成立进行判定。这里，从第3状态向第1状态的恢复条件是能够取得用户的表情且GPU不处于高负荷。能够与步骤S104同样地对是否能够取得用户的表情进行判定。另外，若从负荷取得部14取得的GPU的处理负荷小于第3值，则能够判定为GPU不处于高负荷。在从第3状态向第1状态的恢复条件成立的情况下，进入至步骤S101，在并非如此的情况下，进入至步骤S105。

(步骤S110)

控制部10对用户是否处于设备操作中进行判定。例如，若从导航装置28或操作受理部25等取得了表示为用户正对于设置于导航装置28、仪表面板的按钮等进行操作的信息，则控制部10能够判定为用户处于设备操作中。在用户处于设备操作中的情况下，用户的动作是为了设备操作而进行的动作，是反映用户的情绪的动作的可能性很低。在判定为用户处于设备操作中的情况下，进入至步骤S112，在并非如此的情况下，进入至步骤S111。

(步骤S111)

控制部10根据从负荷取得部14取得的GPU的处理负荷来对GPU是否处于高负荷进行判定。例如，控制部10能够构成为若GPU的处理负荷为第4值以上则判定为处于高负荷，若并非如此则能够判定为不处于高负荷。在判定为GPU处于高负荷的情况下，进入至步骤S112，在并非如此的情况下，进入至步骤S101。

(步骤S112)

控制部10将情绪推断处理的执行状态设为执行第1推断部11的处理、并停止第2推断部12、第3推断部13的处理的状态(第2状态)。

(步骤S113)

控制部10对从第2状态向第1状态的恢复条件是否成立进行判定。这里，从第2状态向第1状态的恢复条件是用户不处于设备操作中且GPU不处于高负荷。能够与步骤S110同样地对用户是否处于设备操作中进行判定。另外，若从负荷取得部14取得的GPU的处理负荷小于第5值，则能够判定为GPU不处于高负荷。在从第2状态向第1状态的恢复条件成立的情况下，进入至步骤S101，在并非如此的情况下，进入至步骤S112。

(步骤S114)

控制部10根据从负荷取得部14取得的CPU的处理负荷来对CPU是否处于高负荷进行判定。例如，控制部10能够构成为若CPU的处理负荷为第6值以上则判定为处于高负荷，若非如此则判定为不处于高负荷。在判定为CPU处于高负荷的情况下，进入至步骤S115，在并非如此的情况下，进入至步骤S104。

(步骤S115)

控制部10将情绪推断处理的执行状态设为虽然第1推断部11、第2推断部12、第3推断部13的处理全部被执行、但作为各处理的执行周期比第1状态延长了的状态的状态(第4状态)。

(步骤S116)

控制部10对从第4状态向第1状态的恢复条件是否成立进行判定。这里，从第4状态向第1状态的恢复条件是GPU不处于高负荷且CPU不处于高负荷。若从负荷取得部14取得的GPU的处理负荷小于第7值，则能够判定为GPU不处于高负荷，若从负荷取得部14取得的CPU的处理负荷小于第8值，则能够判定为CPU不处于高负荷。在从第4状态向第1状态的恢复条件成立的情况下，进入至步骤S101，在并非如此的情况下，进入至步骤S115。

通过以上的状态迁移处理来切换情绪推断装置100涉及的情绪推断处理的执行状态。由此，在CPU、GPU的处理负荷高的情况下、推断为因用户的姿势等而无法恰当地执行情绪推断处理的情况下，通过抑制情绪推断处理而减少负荷，能够抑制控制部10所进行的其他应用的处理延迟、停止的担忧。此外，负荷的判定所使用的上述的第1值～第8值可以各自不同，也可以相同。

另外，控制部10也可以构成为在步骤S109中，当从第3状态向第1状态的恢复条件成立且进而以下的追加条件成立的情况下，进入至步骤S101，在并非如此的情况下，进入至步骤S105。另外，控制部10也可以构成为在步骤S113中，当从第2状态向第1状态的恢复条件成立且进而以下的追加条件成立的情况下，进入至步骤S101，在并非如此的情况下，进入至步骤S112。追加条件成立例如是指以下的任一个成立。

(1)指向性麦克风23或者车辆所具备的其他麦克风检测到用户的声音。

(2)进行了车辆所具备的音频设备对音乐等的再生。

(3)就坐传感器27检测到就坐于后部座位的乘员以及就坐于副驾驶座的乘员的一方或者两方。或者，门控开关26检测到副驾驶座侧或后部的门的开闭。

(4)车辆到达了对导航装置28设定的目的地。

在以上的追加条件成立的情况下，可认为用户的情绪存在变化或处于容易变化的状态的可能性很高。若只在这样的追加条件成立的情况下迁移至第1状态，则能够进一步抑制情绪推断处理来减少负荷。

另外，在用户的情绪不存在变化的可能性高的情况持续的情况下，控制部10可以使情绪推断处理的执行频率降低。例如，在每当导航装置28导出的向目的地的到达预料时刻因交通拥堵等被更新时变晚的期间，由于用户的急躁的情绪不变化的可能性高，所以在上述的状态迁移处理中，可以将第1状态置换为第4状态。

图3表示示意性地说明本实施方式涉及的情绪推断处理的负荷减少的效果的图。图3中用实线表示本实施方式中的情绪推断处理的负荷，为了比较，用虚线表示假定为维持了第1推断部11、第2推断部12以及第3推断部13的处理全部被执行的状态(第1状态)的情况下的负荷。

图3所示的期间T1、T7是用户未乘车的期间。在该期间中，处于第1推断部11、第2推断部12以及第3推断部13的处理均停止的状态(第5状态)。

另外，期间T2、T4、T6是用户就坐而处于能够取得用户的表情且未进行设备操作的状态、控制部10的负荷不高的期间。在该期间中，处于第1推断部11、第2推断部12以及第3推断部13的处理全部被执行的状态(第1状态)。

另外，期间T3、T5是无法取得用户的表情、或正进行设备操作、或者控制部10的负荷高的期间。在该期间中，处于第1推断部11、第2推断部12、第3推断部13的处理被部分限制的状态(第2～第4状态中的任一个状态)。

如图3所示，在期间T1、T3、T5、T7中，与维持第1推断部11、第2推断部12以及第3推断部13的处理全部被执行的状态(第1状态)的情况相比，能够抑制用于情绪推断处理的控制部10的负荷。

＜效果＞

在以上的实施方式中，当CPU、GPU的处理负荷高的情况下、无法取得用户的表情或者推断为用户的动作未反映情绪的情况下等推断为无法恰当地执行情绪推断处理的情况下，抑制情绪推断处理来减少情绪推断处理的负荷。由此，能够抑制情绪推断装置100所执行的其他应用的处理延迟、停止的担忧。

另外，在实施方式中，能够不依赖于处理负荷一般很高的、基于从TOF照相机21以及IR照相机22那样的影像传感器取得的图像数据的图像处理来进行用户是否就坐、是否能够取得用户的表情、用户是否处于设备操作中的判定。由此，能够在抑制了处理负荷的状态下进行执行状态的迁移判定。

以上，对本公开技术的一个实施方式进行了说明，但在本公开技术中，只要在情绪推断困难或不存在需要性的情况下能够减少情绪推断处理的负荷即可，上述的状态迁移处理可以适当地变形。例如，第1推断部、第2推断部以及第3推断部的功能的执行限制的内容、条件并不限定于实施方式所示的情形。另外，例如在上述的实施方式中，设想为用户就坐于驾驶座，但也可以将就坐于副驾驶座等其他座位的用户作为情绪推断的对象。

本公开技术不仅能够是情绪推断装置，还能够理解为情绪推断装置所具备的计算机(处理器)所执行的方法、程序以及存储有程序的计算机可读取的非暂时性记录介质、具备情绪推断装置的车辆。

本公开在进行情绪推断的装置中是有用的。

Claims (10)

1.一种情绪推断装置，其中，

具备控制部，该控制部被搭载于车辆，能够执行第1推断部、第2推断部以及第3推断部的功能，

所述第1推断部根据用户的表情来推断用户的情绪，

所述第2推断部根据用户的动作来推断用户的情绪，

所述第3推断部根据所述第1推断部推断出的情绪与所述第2推断部推断出的情绪来推断用户的情绪，

所述控制部能够至少根据所述控制部的处理负荷来进行所述第1推断部、所述第2推断部以及所述第3推断部的功能的至少一部分的执行限制。

2.根据权利要求1所述的情绪推断装置，其中，

所述执行限制包括所述第1推断部、所述第2推断部、所述第3推断部的功能的任一功能的执行的停止或者执行周期的延长。

3.根据权利要求1或2所述的情绪推断装置，其中，

所述控制部还判定用户或者车辆的状态，并根据判定结果来进行所述执行限制。

4.根据权利要求3所述的情绪推断装置，其中，

在判定为处于用户未就坐的状态的情况下，所述控制部停止所述第1推断部、所述第2推断部以及所述第3推断部的功能的全部来作为所述执行限制。

5.根据权利要求3或4所述的情绪推断装置，其中，

在判定为处于无法取得用户的表情的状态的情况下，所述控制部停止所述第1推断部以及所述第3推断部的功能来作为所述执行限制。

6.根据权利要求3～5中任一项所述的情绪推断装置，其中，

在判定为处于用户正操作规定的设备的状态的情况下，所述控制部停止所述第2推断部以及所述第3推断部的功能来作为所述执行限制。

7.根据权利要求3～6中任一项所述的情绪推断装置，其中，

在是否进行所述执行限制的判定中，所述控制部不利用从车辆所具备的一个以上影像传感器取得的任何信息。

8.一种情绪推断方法，由搭载于车辆的情绪推断装置的计算机执行，其中，所述情绪推断方法包括：

第1推断步骤，根据用户的表情来推断用户的情绪；

第2推断步骤，根据用户的动作来提取用户的动作，并推断用户的情绪；

第3推断步骤，根据在所述第1推断步骤中推断出的情绪与在所述第2推断步骤中推断出的情绪来推断用户的情绪；以及

执行限制步骤，至少根据所述计算机的处理负荷来进行所述第1推断步骤、所述第2推断步骤以及所述第3推断步骤的至少一部分的执行限制。

9.一种存储介质，存储有供搭载于车辆的情绪推断装置的计算机执行的情绪推断程序，所述情绪推断程序包括：

第1推断步骤，根据用户的表情来推断用户的情绪；

第2推断步骤，根据用户的动作来提取用户的动作，并推断用户的情绪；

第3推断步骤，根据在所述第1推断步骤中推断出的情绪与在所述第2推断步骤中推断出的情绪来推断用户的情绪；以及

执行限制步骤，至少根据所述计算机的处理负荷来进行所述第1推断步骤、所述第2推断步骤以及所述第3推断步骤的至少一部分的执行限制。

10.一种车辆，其中，

具备权利要求1～7中任一项所述的情绪推断装置。

Images