CN113221611B - 情绪推断装置、方法、程序以及车辆 - Google Patents
情绪推断装置、方法、程序以及车辆 Download PDFInfo
- Publication number
- CN113221611B CN113221611B CN202011345939.3A CN202011345939A CN113221611B CN 113221611 B CN113221611 B CN 113221611B CN 202011345939 A CN202011345939 A CN 202011345939A CN 113221611 B CN113221611 B CN 113221611B
- Authority
- CN
- China
- Prior art keywords
- state
- estimation
- user
- processing
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000006870 function Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims description 56
- 230000007704 transition Effects 0.000 claims description 14
- 230000002035 prolonged effect Effects 0.000 claims description 4
- 230000036651 mood Effects 0.000 claims 3
- 238000011084 recovery Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010049976 Impatience Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及情绪推断装置、方法、程序以及车辆,情绪推断装置具备控制部,该控制部被搭载于车辆,能够执行第1推断部、第2推断部以及第3推断部的功能,上述第1推断部根据用户的表情来推断用户的情绪,上述第2推断部根据用户的动作来推断用户的情绪,上述第3推断部根据第1推断部推断出的情绪与第2推断部推断出的情绪来推断用户的情绪,控制部能够至少根据控制部的处理负荷来实现第1推断部、第2推断部、第3推断部的功能的至少一部分的执行限制。
Description
技术领域
本公开涉及对用户的情绪进行推断的装置。
背景技术
提出了拍摄人物的面部、身体并提取面部的表情、身体的姿势、动作来根据它们推断情绪的各种技术。例如,日本特开2008-146318公开了一种预先学习表情与情绪的对应建立而创建表情映射并根据表情映射从人物的表情来推断情绪的技术。
可考虑将这样的情绪推断功能安装到被搭载于车辆的称为ECU(ElectronicControl Unit)的电子设备,来推断搭乘于车辆的用户的情绪、提供与情绪对应的各种服务。
一般,情绪推断的处理负荷很高。因此,在进行情绪推断的ECU还进行其他应用的处理的情况下,根据情绪推断的处理负荷,存在产生其他应用的处理延迟、处理器变为高温而处理被强制中断等影响的担忧。
发明内容
本公开是鉴于上述课题而完成的,其目的在于,提供能够在减少对其他应用的影响的同时执行情绪推断处理的情绪推断装置。
本公开的一个方面涉及情绪推断装置,具备控制部,该控制部被搭载于车辆,能够执行第1推断部、第2推断部以及第3推断部的功能,上述第1推断部根据用户的表情来推断用户的情绪,上述第2推断部根据用户的动作来推断用户的情绪,上述第3推断部根据第1推断部推断出的情绪与第2推断部推断出的情绪来推断用户的情绪,控制部能够至少根据控制部的处理负荷来进行第1推断部、第2推断部、第3推断部的功能的至少一部分的执行限制。
根据本公开,由于情绪推断装置根据控制部的处理负荷来进行情绪推断处理的执行限制,所以能够在减少对其他应用的影响的同时执行情绪推断处理。
附图说明
以下,参照附图对本发明的示例性实施例的特征、优点、技术及工业重要性进行说明,在附图中相同的附图标记表示相同的构成要素,其中:
图1是表示一个实施方式所涉及的情绪推断装置及其周边部的功能模块的图。
图2是表示一个实施方式所涉及的情绪推断装置的情绪推断处理的状态迁移的图。
图3是表示一个实施方式所涉及的情绪推断装置的处理负荷减少的效果的图。
具体实施方式
(实施方式)
在构成控制部的CPU、GPU的处理负荷高的情况下、推断为无法取得用户的表情或者用户的动作未反映情绪的情况下等推断为无法恰当地执行情绪推断处理的情况下,本公开技术的一个实施方式所涉及的情绪推断装置抑制情绪推断处理来减少情绪推断处理的负荷。由此,能够抑制情绪推断装置所执行的其他应用的处理延迟、停止的担忧。以下,参照附图对本实施方式详细进行说明。
<结构>
图1表示本实施方式所涉及的情绪推断装置100的功能模块。情绪推断装置100包括第1推断部11、第2推断部12、第3推断部13以及负荷取得部14。上述各部的功能由控制部10执行。典型的情况下,控制部10是由CPU(Central Processing Unit)、GPU(GraphicsProcessing Unit)、存储器等构成的计算机。
第1推断部11进行面部情绪推断,该面部情绪推断是指周期性地取得拍摄用户的面部而得到的图像并提取表情来根据表情推断用户的情绪。
第2推断部12进行动作情绪推断,该动作情绪推断是指周期性地取得拍摄用户的身体而得到的图像并提取手、头、躯干等的位置或运动,进而提取由它们确定的动作,基于动作来推断用户的情绪。
第3推断部13进行综合情绪推断,该综合情绪推断是指取得第1推断部11的面部情绪推断结果与第2推断部12的动作情绪推断结果并根据它们来进行综合的情绪推断。在综合情绪推断中,通过将面部情绪与动作情绪组合,由此与仅进行面部情绪推断或者动作情绪推断的情况相比,能够提高情绪推断的精度。
第1推断部11、第2推断部12、第3推断部13各自进行的情绪推断的方法并不限定,能够适当地选择各种算法。作为各推断部的情绪推断处理的执行状态的组合,作为一个例子,存在如下的5个状态。
第1状态是第1推断部11、第2推断部12、第3推断部13的处理全部被执行的状态。在该状态下,第3推断部13的综合情绪推断结果成为情绪推断装置100的情绪推断结果。该状态是情绪推断装置100的通常状态。
第2状态是执行第1推断部11的处理、并停止第2推断部12、第3推断部13的处理的状态。在该状态下,第1推断部11的面部情绪推断结果成为情绪推断装置100的情绪推断结果。
第3状态是执行第2推断部12的处理、并停止第1推断部11、第3推断部13的处理的状态。在该状态下,第2推断部12的动作情绪推断结果成为情绪推断装置100的情绪推断结果。
第4状态是虽然第1推断部11、第2推断部12、第3推断部13的处理全部被执行、但与上述的第1状态相比延长了各处理的执行周期的状态。在该状态下,与第1状态同样,第3推断部13的综合情绪推断结果成为情绪推断装置100的情绪推断结果,但情绪推断处理的执行频率比第1状态降低。
第5状态是第1推断部11、第2推断部12、第3推断部13的处理均停止的状态。在该状态下,情绪推断装置100的情绪推断停止。
在第2、第3、第4、第5状态下,由于处理的停止或者执行频率的降低而使CPU、GPU的处理负荷比第1状态均变低。
负荷取得部14取得CPU以及GPU各自的处理负荷。作为处理负荷的指标,例如能够采用使用率,但只要根据构成控制部10的CPU、GPU等处理器的结构、功能分担、情绪推断处理的负荷特性等来使用适当的指标即可。
控制部10如后述那样根据负荷取得部14所取得的处理负荷等来在上述的第1状态~第5状态间控制状态迁移。
此外,除了上述的情绪推断处理以外,为了实现车辆的各种功能,控制部10还能够与情绪推断处理并列地执行一个以上的应用。
情绪推断装置100被搭载于车辆,经由车内网络与车辆所具备的各种设备连接为能够通信。作为一个例子,各种设备包括TOF(Time-of-Flight Camera)照相机21、IR(Infrared)照相机22、指向性麦克风23、换挡控制部24、操作受理部25、门控开关26、就坐传感器27、导航装置28等。
TOF照相机21以及IR照相机22是能够测定至被拍摄体为止的距离的距离影像传感器,被配置为能够拍摄采取通常的乘车姿势的用户的身体、面部。例如,第1推断部11根据IR照相机22所拍摄的用户的面部的图像来进行面部情绪推断处理。另外,例如第2推断部12根据TOF照相机21所拍摄的用户的上半身的图像来进行动作情绪推断处理。
指向性麦克风23是能够对用户的声音进行收音的麦克风,能够根据指向特性来确定例如用户正朝向车厢内的哪个方向说话。
换挡控制部24是进行P(驻车)、D(前进)、R(倒车)等挡位的检测、控制的设备。
操作受理部25具备按钮、开关、触摸面板等,是进行来自用户的各种操作的受理的设备。
门控开关26是检测车辆的门的开闭的传感器。
就坐传感器27是对用户是否就坐于座椅进行检测的传感器。
导航装置28是根据地图信息以及由GPS获得的车辆的位置信息等来引导直至用户等所指定的目的地为止的路径、到达预定时刻的装置。
另外,除了上述以外,取得情绪推断装置100的情绪推断结果并在处理中加以利用的设备与车内网络连接。作为这样的设备,例如能够举出具备执行与用户的对话功能的代理功能的设备。
<处理>
图2是对情绪推断装置100的控制部10所执行的状态迁移处理的例子进行说明的流程图。参照图2对上述的第1状态~第5状态间的状态迁移进行说明。这里以通常状态为起点来进行说明。另外,设想为情绪推断装置100进行就坐于驾驶座的用户的情绪推断。
(步骤S101)
控制部10将情绪推断处理的执行状态设为第1推断部11、第2推断部12、第3推断部13的处理全部被执行的通常状态(第1状态)。
(步骤S102)
控制部10对用户是否就坐于驾驶座进行判定。例如,控制部10能够根据就坐传感器27的检测结果来进行该判定。在判定为用户就坐于驾驶座的情况下,进入步骤S103,在并非如此的情况下,进入至步骤S107。其中,向就坐传感器27的检测结果组合由门控开关26对驾驶座门的开闭检测,例如若在门控开关26检测到开门、然后就坐传感器27检测到就坐、进而之后门控开关26检测到关门的情况下判定为用户就坐,则能够更高精度地进行就坐的判定。
(步骤S103)
控制部10根据从负荷取得部14取得的GPU的处理负荷来判定GPU是否处于高负荷。例如,控制部10能够构成为若GPU的处理负荷为第1值以上则判定为处于高负荷,若非如此则判定为不处于高负荷。在判定为GPU处于高负荷的情况下,进入至步骤S104,在并非如此的情况下,进入至步骤S114。
(步骤S104)
控制部10对是否能够取得用户的表情进行判定。例如,若检测到从指向性麦克风23取得的用户的声音的方向是从驾驶座朝向后排座的方向,则控制部10能够判定为处于用户为了与后排座的乘员进行对话而将面部朝向后排座、无法拍摄面部而无法取得表情的状态。或者,例如若检测到从换挡控制部24取得的挡位是表示为倒车行驶中的「R」,则控制部10能够判定为处于用户为了确认后方而将面部朝向后方、无法拍摄面部而无法取得表情的状态。另外,在这样的作为无法拍摄面部的状态而确定的状态均不成立的情况下,能够判定为可取得用户的表情。在判定为能够取得用户的表情的情况下,进入至步骤S110,在并非如此的情况下,进入至步骤S105。
(步骤S105)
控制部10将情绪推断处理的执行状态设为执行第2推断部12的处理、并停止第1推断部11、第3推断部13的处理的状态(第3状态)。
(步骤S106)
控制部10根据从负荷取得部14取得的GPU的处理负荷来判定GPU是否处于高负荷。例如,控制部10能够构成为若GPU的处理负荷为第2值以上则判定为处于高负荷,若非如此则判定为不处于高负荷。在判定为GPU处于高负荷的情况下,进入至步骤S107,在并非如此的情况下,进入至步骤S109。
(步骤S107)
控制部10将情绪推断处理的执行状态设为第1推断部11、第2推断部12、第3推断部13的处理均停止的状态(第5状态)。
(步骤S108)
控制部10对从第5状态向第1状态的恢复条件是否成立进行判定。这里,从第5状态向第1状态的恢复条件是指用户就坐且能够取得用户的表情。能够与步骤S102同样地对用户是否就坐进行判定。另外,能够与步骤S104同样地对是否能够取得用户的表情进行判定。在从第5状态向第1状态的恢复条件成立的情况下,进入至步骤S101,在并非如此的情况下,进入至步骤S107。
(步骤S109)
控制部10对从第3状态向第1状态的恢复条件是否成立进行判定。这里,从第3状态向第1状态的恢复条件是能够取得用户的表情且GPU不处于高负荷。能够与步骤S104同样地对是否能够取得用户的表情进行判定。另外,若从负荷取得部14取得的GPU的处理负荷小于第3值,则能够判定为GPU不处于高负荷。在从第3状态向第1状态的恢复条件成立的情况下,进入至步骤S101,在并非如此的情况下,进入至步骤S105。
(步骤S110)
控制部10对用户是否处于设备操作中进行判定。例如,若从导航装置28或操作受理部25等取得了表示为用户正对于设置于导航装置28、仪表面板的按钮等进行操作的信息,则控制部10能够判定为用户处于设备操作中。在用户处于设备操作中的情况下,用户的动作是为了设备操作而进行的动作,是反映用户的情绪的动作的可能性很低。在判定为用户处于设备操作中的情况下,进入至步骤S112,在并非如此的情况下,进入至步骤S111。
(步骤S111)
控制部10根据从负荷取得部14取得的GPU的处理负荷来对GPU是否处于高负荷进行判定。例如,控制部10能够构成为若GPU的处理负荷为第4值以上则判定为处于高负荷,若并非如此则能够判定为不处于高负荷。在判定为GPU处于高负荷的情况下,进入至步骤S112,在并非如此的情况下,进入至步骤S101。
(步骤S112)
控制部10将情绪推断处理的执行状态设为执行第1推断部11的处理、并停止第2推断部12、第3推断部13的处理的状态(第2状态)。
(步骤S113)
控制部10对从第2状态向第1状态的恢复条件是否成立进行判定。这里,从第2状态向第1状态的恢复条件是用户不处于设备操作中且GPU不处于高负荷。能够与步骤S110同样地对用户是否处于设备操作中进行判定。另外,若从负荷取得部14取得的GPU的处理负荷小于第5值,则能够判定为GPU不处于高负荷。在从第2状态向第1状态的恢复条件成立的情况下,进入至步骤S101,在并非如此的情况下,进入至步骤S112。
(步骤S114)
控制部10根据从负荷取得部14取得的CPU的处理负荷来对CPU是否处于高负荷进行判定。例如,控制部10能够构成为若CPU的处理负荷为第6值以上则判定为处于高负荷,若非如此则判定为不处于高负荷。在判定为CPU处于高负荷的情况下,进入至步骤S115,在并非如此的情况下,进入至步骤S104。
(步骤S115)
控制部10将情绪推断处理的执行状态设为虽然第1推断部11、第2推断部12、第3推断部13的处理全部被执行、但作为各处理的执行周期比第1状态延长了的状态的状态(第4状态)。
(步骤S116)
控制部10对从第4状态向第1状态的恢复条件是否成立进行判定。这里,从第4状态向第1状态的恢复条件是GPU不处于高负荷且CPU不处于高负荷。若从负荷取得部14取得的GPU的处理负荷小于第7值,则能够判定为GPU不处于高负荷,若从负荷取得部14取得的CPU的处理负荷小于第8值,则能够判定为CPU不处于高负荷。在从第4状态向第1状态的恢复条件成立的情况下,进入至步骤S101,在并非如此的情况下,进入至步骤S115。
通过以上的状态迁移处理来切换情绪推断装置100涉及的情绪推断处理的执行状态。由此,在CPU、GPU的处理负荷高的情况下、推断为因用户的姿势等而无法恰当地执行情绪推断处理的情况下,通过抑制情绪推断处理而减少负荷,能够抑制控制部10所进行的其他应用的处理延迟、停止的担忧。此外,负荷的判定所使用的上述的第1值~第8值可以各自不同,也可以相同。
另外,控制部10也可以构成为在步骤S109中,当从第3状态向第1状态的恢复条件成立且进而以下的追加条件成立的情况下,进入至步骤S101,在并非如此的情况下,进入至步骤S105。另外,控制部10也可以构成为在步骤S113中,当从第2状态向第1状态的恢复条件成立且进而以下的追加条件成立的情况下,进入至步骤S101,在并非如此的情况下,进入至步骤S112。追加条件成立例如是指以下的任一个成立。
(1)指向性麦克风23或者车辆所具备的其他麦克风检测到用户的声音。
(2)进行了车辆所具备的音频设备对音乐等的再生。
(3)就坐传感器27检测到就坐于后部座位的乘员以及就坐于副驾驶座的乘员的一方或者两方。或者,门控开关26检测到副驾驶座侧或后部的门的开闭。
(4)车辆到达了对导航装置28设定的目的地。
在以上的追加条件成立的情况下,可认为用户的情绪存在变化或处于容易变化的状态的可能性很高。若只在这样的追加条件成立的情况下迁移至第1状态,则能够进一步抑制情绪推断处理来减少负荷。
另外,在用户的情绪不存在变化的可能性高的情况持续的情况下,控制部10可以使情绪推断处理的执行频率降低。例如,在每当导航装置28导出的向目的地的到达预料时刻因交通拥堵等被更新时变晚的期间,由于用户的急躁的情绪不变化的可能性高,所以在上述的状态迁移处理中,可以将第1状态置换为第4状态。
图3表示示意性地说明本实施方式涉及的情绪推断处理的负荷减少的效果的图。图3中用实线表示本实施方式中的情绪推断处理的负荷,为了比较,用虚线表示假定为维持了第1推断部11、第2推断部12以及第3推断部13的处理全部被执行的状态(第1状态)的情况下的负荷。
图3所示的期间T1、T7是用户未乘车的期间。在该期间中,处于第1推断部11、第2推断部12以及第3推断部13的处理均停止的状态(第5状态)。
另外,期间T2、T4、T6是用户就坐而处于能够取得用户的表情且未进行设备操作的状态、控制部10的负荷不高的期间。在该期间中,处于第1推断部11、第2推断部12以及第3推断部13的处理全部被执行的状态(第1状态)。
另外,期间T3、T5是无法取得用户的表情、或正进行设备操作、或者控制部10的负荷高的期间。在该期间中,处于第1推断部11、第2推断部12、第3推断部13的处理被部分限制的状态(第2~第4状态中的任一个状态)。
如图3所示,在期间T1、T3、T5、T7中,与维持第1推断部11、第2推断部12以及第3推断部13的处理全部被执行的状态(第1状态)的情况相比,能够抑制用于情绪推断处理的控制部10的负荷。
<效果>
在以上的实施方式中,当CPU、GPU的处理负荷高的情况下、无法取得用户的表情或者推断为用户的动作未反映情绪的情况下等推断为无法恰当地执行情绪推断处理的情况下,抑制情绪推断处理来减少情绪推断处理的负荷。由此,能够抑制情绪推断装置100所执行的其他应用的处理延迟、停止的担忧。
另外,在实施方式中,能够不依赖于处理负荷一般很高的、基于从TOF照相机21以及IR照相机22那样的影像传感器取得的图像数据的图像处理来进行用户是否就坐、是否能够取得用户的表情、用户是否处于设备操作中的判定。由此,能够在抑制了处理负荷的状态下进行执行状态的迁移判定。
以上,对本公开技术的一个实施方式进行了说明,但在本公开技术中,只要在情绪推断困难或不存在需要性的情况下能够减少情绪推断处理的负荷即可,上述的状态迁移处理可以适当地变形。例如,第1推断部、第2推断部以及第3推断部的功能的执行限制的内容、条件并不限定于实施方式所示的情形。另外,例如在上述的实施方式中,设想为用户就坐于驾驶座,但也可以将就坐于副驾驶座等其他座位的用户作为情绪推断的对象。
本公开技术不仅能够是情绪推断装置,还能够理解为情绪推断装置所具备的计算机(处理器)所执行的方法、程序以及存储有程序的计算机可读取的非暂时性记录介质、具备情绪推断装置的车辆。
本公开在进行情绪推断的装置中是有用的。
Claims (6)
1.一种情绪推断装置,其中,
具备控制部,该控制部被搭载于车辆,能够执行第1推断部、第2推断部以及第3推断部的功能,
所述第1推断部根据用户的表情来推断用户的情绪,
所述第2推断部根据用户的动作来推断用户的情绪,
所述第3推断部根据所述第1推断部推断出的情绪与所述第2推断部推断出的情绪来推断用户的情绪,
所述控制部能够根据所述控制部的处理负荷以及是否能够取得所述用户的表情来进行所述第1推断部、所述第2推断部以及所述第3推断部的功能的至少一部分的执行限制,
所述控制部根据处理负荷来在下述的第1状态~第5状态间控制状态迁移,
第1状态是所述第1推断部、所述第2推断部、所述第3推断部的处理全部被执行的状态,第2状态是执行所述第1推断部的处理、并停止所述第2推断部、所述第3推断部的处理的状态,第3状态是执行所述第2推断部的处理、并停止所述第1推断部、所述第3推断部的处理的状态,第4状态是虽然所述第1推断部、所述第2推断部、所述第3推断部的处理全部被执行、但与所述第1状态相比延长了各处理的执行周期的状态,第5状态是所述第1推断部、所述第2推断部、所述第3推断部的处理均停止的状态,
所述控制部在执行状态迁移处理时,
从作为通常状态的所述第1状态起对用户是否就坐于驾驶座进行判定,在判定为用户未就坐于驾驶座的情况下,将情绪推断处理的执行状态设为所述第1推断部、所述第2推断部、所述第3推断部的处理均停止的所述第5状态,另一方面,在判定为用户就坐于驾驶座的情况下,判定GPU是否处于高负荷,在判定为不处于高负荷的情况下,对CPU是否处于高负荷进行判定,若判定为CPU的处理负荷处于高负荷,则将情绪推断处理的执行状态设为虽然所述第1推断部、所述第2推断部、所述第3推断部的处理全部被执行、但各处理的执行周期比所述第1状态延长了的所述第4状态,另一方面,在判定为GPU处于高负荷的情况下,对是否能够取得用户的表情进行判定,在判定为是无法取得表情的状态的情况下,将情绪推断处理的执行状态设为执行所述第2推断部的处理、并停止所述第1推断部、所述第3推断部的处理的所述第3状态,
在判定为是能够取得表情的状态的情况下,对用户是否处于设备操作中进行判定,在用户不处于设备操作中的情况下且此时的GPU处于高负荷的情况下、或者在用户处于设备操作中的情况下,将情绪推断处理的执行状态设为执行所述第1推断部的处理、并停止所述第2推断部、所述第3推断部的处理的所述第2状态。
2.根据权利要求1所述的情绪推断装置,其中,
所述控制部还判定用户或者车辆的状态,并根据判定结果来进行所述执行限制。
3.根据权利要求1所述的情绪推断装置,其中,
在是否进行所述执行限制的判定中,所述控制部不利用从车辆所具备的一个以上影像传感器取得的任何信息。
4.一种情绪推断方法,由搭载于车辆的情绪推断装置的计算机执行,其中,所述情绪推断方法包括:
第1推断步骤,根据用户的表情来推断用户的情绪;
第2推断步骤,根据用户的动作来提取用户的动作,并推断用户的情绪;
第3推断步骤,根据在所述第1推断步骤中推断出的情绪与在所述第2推断步骤中推断出的情绪来推断用户的情绪;以及
执行限制步骤,根据所述计算机的处理负荷以及是否能够取得所述用户的表情来进行所述第1推断步骤、所述第2推断步骤以及所述第3推断步骤的至少一部分的执行限制,
根据处理负荷来在下述的第1状态~第5状态间控制状态迁移,
第1状态是所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理全部被执行的状态,第2状态是执行所述第1推断步骤的处理、并停止所述第2推断步骤、所述第3推断步骤的处理的状态,第3状态是执行所述第2推断步骤的处理、并停止所述第1推断步骤、所述第3推断步骤的处理的状态,第4状态是虽然所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理全部被执行、但与所述第1状态相比延长了各处理的执行周期的状态,第5状态是所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理均停止的状态,
在执行状态迁移处理时,
从作为通常状态的所述第1状态起对用户是否就坐于驾驶座进行判定,在判定为用户未就坐于驾驶座的情况下,将情绪推断处理的执行状态设为所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理均停止的所述第5状态,另一方面,在判定为用户就坐于驾驶座的情况下,判定GPU是否处于高负荷,在判定为不处于高负荷的情况下,对CPU是否处于高负荷进行判定,若判定为CPU的处理负荷处于高负荷,则将情绪推断处理的执行状态设为虽然所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理全部被执行、但各处理的执行周期比所述第1状态延长了的所述第4状态,另一方面,在判定为GPU处于高负荷的情况下,对是否能够取得用户的表情进行判定,在判定为是无法取得表情的状态的情况下,将情绪推断处理的执行状态设为执行所述第2推断步骤的处理、并停止所述第1推断步骤、所述第3推断步骤的处理的所述第3状态,
在判定为是能够取得表情的状态的情况下,对用户是否处于设备操作中进行判定,在用户不处于设备操作中的情况下且此时的GPU处于高负荷的情况下、或者在用户处于设备操作中的情况下,将情绪推断处理的执行状态设为执行所述第1推断步骤的处理、并停止所述第2推断步骤、所述第3推断步骤的处理的所述第2状态。
5.一种存储介质,存储有供搭载于车辆的情绪推断装置的计算机执行的情绪推断程序,所述情绪推断程序包括:
第1推断步骤,根据用户的表情来推断用户的情绪;
第2推断步骤,根据用户的动作来提取用户的动作,并推断用户的情绪;
第3推断步骤,根据在所述第1推断步骤中推断出的情绪与在所述第2推断步骤中推断出的情绪来推断用户的情绪;以及
执行限制步骤,根据所述计算机的处理负荷以及是否能够取得所述用户的表情来进行所述第1推断步骤、所述第2推断步骤以及所述第3推断步骤的至少一部分的执行限制,
根据处理负荷来在下述的第1状态~第5状态间控制状态迁移,
第1状态是所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理全部被执行的状态,第2状态是执行所述第1推断步骤的处理、并停止所述第2推断步骤、所述第3推断步骤的处理的状态,第3状态是执行所述第2推断步骤的处理、并停止所述第1推断步骤、所述第3推断步骤的处理的状态,第4状态是虽然所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理全部被执行、但与所述第1状态相比延长了各处理的执行周期的状态,第5状态是所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理均停止的状态,
在执行状态迁移处理时,
从作为通常状态的所述第1状态起对用户是否就坐于驾驶座进行判定,在判定为用户未就坐于驾驶座的情况下,将情绪推断处理的执行状态设为所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理均停止的所述第5状态,另一方面,在判定为用户就坐于驾驶座的情况下,判定GPU是否处于高负荷,在判定为不处于高负荷的情况下,对CPU是否处于高负荷进行判定,若判定为CPU的处理负荷处于高负荷,则将情绪推断处理的执行状态设为虽然所述第1推断步骤、所述第2推断步骤、所述第3推断步骤的处理全部被执行、但各处理的执行周期比所述第1状态延长了的所述第4状态,另一方面,在判定为GPU处于高负荷的情况下,对是否能够取得用户的表情进行判定,在判定为是无法取得表情的状态的情况下,将情绪推断处理的执行状态设为执行所述第2推断步骤的处理、并停止所述第1推断步骤、所述第3推断步骤的处理的所述第3状态,
在判定为是能够取得表情的状态的情况下,对用户是否处于设备操作中进行判定,在用户不处于设备操作中的情况下且此时的GPU处于高负荷的情况下、或者在用户处于设备操作中的情况下,将情绪推断处理的执行状态设为执行所述第1推断步骤的处理、并停止所述第2推断步骤、所述第3推断步骤的处理的所述第2状态。
6.一种车辆,其中,
具备权利要求1~3中任一项所述的情绪推断装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-017904 | 2020-02-05 | ||
JP2020017904A JP7264079B2 (ja) | 2020-02-05 | 2020-02-05 | 感情推定装置、方法、プログラムおよび車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113221611A CN113221611A (zh) | 2021-08-06 |
CN113221611B true CN113221611B (zh) | 2024-03-15 |
Family
ID=77062011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011345939.3A Active CN113221611B (zh) | 2020-02-05 | 2020-11-26 | 情绪推断装置、方法、程序以及车辆 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11423669B2 (zh) |
JP (1) | JP7264079B2 (zh) |
CN (1) | CN113221611B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101436098A (zh) * | 2008-12-24 | 2009-05-20 | 华为技术有限公司 | 降低多核对称多处理系统的功耗的方法及装置 |
CN104244824A (zh) * | 2012-04-10 | 2014-12-24 | 株式会社电装 | 情绪监视系统 |
CN104904188A (zh) * | 2013-01-08 | 2015-09-09 | 歌乐株式会社 | 通话控制装置、服务器和程序 |
CN106803423A (zh) * | 2016-12-27 | 2017-06-06 | 智车优行科技(北京)有限公司 | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 |
CN107145326A (zh) * | 2017-03-28 | 2017-09-08 | 浙江大学 | 一种基于目标面部表情采集的音乐自动播放系统及方法 |
CN110147729A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 用户情绪识别方法、装置、计算机设备及存储介质 |
CN110704179A (zh) * | 2019-09-09 | 2020-01-17 | 中科创达(重庆)汽车科技有限公司 | 一种车载系统负荷调整方法、装置、电子设备及存储介质 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4757787B2 (ja) | 2006-12-08 | 2011-08-24 | 株式会社トヨタIt開発センター | 感情推定装置 |
JP2010003213A (ja) | 2008-06-23 | 2010-01-07 | Denso Corp | 制御装置、演算モード切換方法及びプログラム |
JP5494822B2 (ja) * | 2010-12-01 | 2014-05-21 | トヨタ自動車株式会社 | 車両の運動制御装置 |
JP2012116400A (ja) | 2010-12-02 | 2012-06-21 | Jvc Kenwood Corp | コーナーポール投影装置 |
US9493130B2 (en) * | 2011-04-22 | 2016-11-15 | Angel A. Penilla | Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input |
JP6000117B2 (ja) | 2012-12-25 | 2016-09-28 | 三菱電機株式会社 | 車載情報機器、制御装置および制御方法 |
KR101531924B1 (ko) * | 2014-07-11 | 2015-06-26 | 현대자동차주식회사 | 블루투스 부하 제어 방법 및 장치 |
JP6985005B2 (ja) * | 2015-10-14 | 2021-12-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体 |
JP2020502718A (ja) * | 2016-12-19 | 2020-01-23 | スルグリーン・エルエルシー | デジタル優先度付与をもつ接続された適応型車両交通管理システム |
US20200365015A1 (en) * | 2016-12-19 | 2020-11-19 | ThruGreen, LLC | Connected and adaptive vehicle traffic management system with digital prioritization |
US10536815B2 (en) * | 2017-06-08 | 2020-01-14 | Ford Global Technologies, Llc | Tracking a wireless device using a seamless handoff between a vehicle and a mobile device |
JP2019101472A (ja) | 2017-11-28 | 2019-06-24 | トヨタ自動車株式会社 | 感情推定装置 |
US11919531B2 (en) * | 2018-01-31 | 2024-03-05 | Direct Current Capital LLC | Method for customizing motion characteristics of an autonomous vehicle for a user |
JP6713490B2 (ja) * | 2018-02-07 | 2020-06-24 | 本田技研工業株式会社 | 情報提供装置及び情報提供方法 |
US10641228B2 (en) * | 2018-04-09 | 2020-05-05 | Ford Global Technologies, Llc | Methods and systems for enabling engine start/stop function |
JP7137628B2 (ja) * | 2018-09-27 | 2022-09-14 | 本田技研工業株式会社 | 車両制御システム、及びアプリケーション実行装置 |
JP7191752B2 (ja) * | 2019-03-27 | 2022-12-19 | 本田技研工業株式会社 | 車両制御システム及び車両 |
MX2019006648A (es) * | 2019-06-06 | 2020-12-07 | Affect Sense S C | Sistema de monitoreo, proceso, analisis y almacenamiento de señales fisiologicas para el reconocimiento de emociones. |
JP7431546B2 (ja) * | 2019-09-25 | 2024-02-15 | 株式会社Subaru | 車両制御装置 |
US11562206B2 (en) * | 2019-09-30 | 2023-01-24 | Wipro Limited | System and method for providing personalized driving or navigation assistance |
-
2020
- 2020-02-05 JP JP2020017904A patent/JP7264079B2/ja active Active
- 2020-11-26 CN CN202011345939.3A patent/CN113221611B/zh active Active
- 2020-11-27 US US17/105,869 patent/US11423669B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101436098A (zh) * | 2008-12-24 | 2009-05-20 | 华为技术有限公司 | 降低多核对称多处理系统的功耗的方法及装置 |
CN104244824A (zh) * | 2012-04-10 | 2014-12-24 | 株式会社电装 | 情绪监视系统 |
CN104904188A (zh) * | 2013-01-08 | 2015-09-09 | 歌乐株式会社 | 通话控制装置、服务器和程序 |
CN106803423A (zh) * | 2016-12-27 | 2017-06-06 | 智车优行科技(北京)有限公司 | 基于用户情绪状态的人机交互语音控制方法、装置及车辆 |
CN107145326A (zh) * | 2017-03-28 | 2017-09-08 | 浙江大学 | 一种基于目标面部表情采集的音乐自动播放系统及方法 |
CN110147729A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 用户情绪识别方法、装置、计算机设备及存储介质 |
CN110704179A (zh) * | 2019-09-09 | 2020-01-17 | 中科创达(重庆)汽车科技有限公司 | 一种车载系统负荷调整方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11423669B2 (en) | 2022-08-23 |
JP7264079B2 (ja) | 2023-04-25 |
US20210241009A1 (en) | 2021-08-05 |
CN113221611A (zh) | 2021-08-06 |
JP2021124947A (ja) | 2021-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6466385B2 (ja) | サービス提供装置、サービス提供方法およびサービス提供プログラム | |
JP4973722B2 (ja) | 音声認識装置、音声認識方法、及びナビゲーション装置 | |
WO2023273064A1 (zh) | 对象说话检测方法及装置、电子设备和存储介质 | |
JP7354056B2 (ja) | 車両制御システム、及び車両制御方法 | |
WO2017032099A1 (zh) | 一种语音识别参数调整的方法、装置及移动终端 | |
JP2020057139A (ja) | 機器制御装置 | |
US20190197329A1 (en) | Drowsiness estimating apparatus | |
JP6667743B2 (ja) | 乗員検知装置、乗員検知システム及び乗員検知方法 | |
JP2018165070A (ja) | 乗員状態推定装置及び乗員状態推定方法 | |
JP2018027731A (ja) | 車載装置、車載装置の制御方法およびコンテンツ提供システム | |
CN113221611B (zh) | 情绪推断装置、方法、程序以及车辆 | |
JP2019101472A (ja) | 感情推定装置 | |
JP5263315B2 (ja) | 車両挙動データ記憶装置 | |
JP5687889B2 (ja) | 車室内監視装置 | |
JP4613999B2 (ja) | 行動推定装置、プログラム | |
CN111413961B (zh) | 控制装置以及计算机可读存储介质 | |
JP2010152487A (ja) | 行動推定装置、プログラム | |
US11565707B2 (en) | Occupant behavior determining apparatus, occupant behavior determining method, and storage medium | |
CN217705659U (zh) | 包括可移动平台的车辆 | |
JP2020095564A (ja) | 情報処理システム、プログラム、及び情報処理方法 | |
US20210284188A1 (en) | Electronic apparatus, input locking control method, and input locking control program | |
JP6332072B2 (ja) | 対話装置 | |
CN114655083A (zh) | 下车动作判定装置、车辆、下车动作判定法以及存储有程序的非临时性存储介质 | |
JP7359084B2 (ja) | 感情推定装置、感情推定方法及びプログラム | |
JP2021188295A (ja) | 車両制御システム、及び車両制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |