CN108549720A - 一种基于情绪识别的安抚方法、装置及设备、存储介质 - Google Patents

一种基于情绪识别的安抚方法、装置及设备、存储介质 Download PDF

Info

Publication number
CN108549720A
CN108549720A CN201810371545.1A CN201810371545A CN108549720A CN 108549720 A CN108549720 A CN 108549720A CN 201810371545 A CN201810371545 A CN 201810371545A CN 108549720 A CN108549720 A CN 108549720A
Authority
CN
China
Prior art keywords
user
mode
mood
pacifying
pacified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810371545.1A
Other languages
English (en)
Inventor
杨向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810371545.1A priority Critical patent/CN108549720A/zh
Publication of CN108549720A publication Critical patent/CN108549720A/zh
Priority to PCT/CN2018/119384 priority patent/WO2019205642A1/zh
Priority to US16/472,012 priority patent/US11498573B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于情绪识别的安抚方法、装置及设备、存储介质，涉及计算机领域，在根据用户的语音确定用户当前的情绪出现异常时，可以根据用户的情绪确定安抚方式，对该用户进行情绪安抚。从而实现在用户出现情绪异常时，及时获得安抚，避免用户在情绪异常时，给行车或其它操作带来安全隐患。

Description

一种基于情绪识别的安抚方法、装置及设备、存储介质
技术领域
本公开一般涉及计算机领域，具体涉及人工智能领域，尤其涉及一种基于情绪识别的安抚方法、装置及设备、存储介质。
背景技术
在一些不宜出现情绪波动的场景中，例如驾驶汽车等场景，由于各种情况的出现，司机和其它乘坐人员还是难以避免的会出现情绪波动。
当车内的司机及其他乘坐人员，在行车过程中会会出现各种情绪变化时，如生气、厌恶、恐惧、悲伤等情绪，如果情绪控制不好，就很可能因情绪产生一些不恰当的举动，容易给行车带来安全隐患。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种基于情绪识别的安抚方法、装置及设备、存储介质，以实现在用户出现情绪波动时，及时获得安抚。
第一方面，本发明实施例提供一种基于情绪识别的安抚方法，包括：
获取用户的语音和/或图像；
根据所述用户的语音和/或图像判断所述用户是否情绪异常；
响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚。
进一步，所述获取用户的语音和/或图像，具体包括：
采集所述用户的语音和/或图像，并确定所采集的用户的乘坐位置；
所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚，具体包括：
根据所述用户的情绪、乘坐的位置确定安抚方式，对所述用户进行情绪安抚。
更进一步，所述根据所述用户的情绪、乘坐的位置确定安抚方式，对所述用户进行情绪安抚，具体包括：
获取所述用户的图像；
根据所述用户的图像获取用户的性别和年龄；
根据所述用户的情绪、性别、年龄、乘坐的位置，选择至少一种安抚方式对所述用户进行情绪安抚。
优选的，所述用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
所述安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
进一步，还包括：
根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
更进一步，还包括：
将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器。
更进一步，所述根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器；
接收云服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；
从所述云服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。
第二方面，本发明实施例提供一种基于情绪识别的安抚装置，包括：
获取单元，用于获取用户的语音和/或图像；
判断单元，用于根据所述用户的语音和/或图像判断所述用户是否情绪异常；
安抚单元，用于响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚。
进一步，所述获取单元具体用于：
采集所述用户的语音和/或图像，并确定所采集的用户的乘坐位置；
所述安抚单元具体用于：
根据所述用户的情绪、用户乘坐的位置确定安抚方式，对所述用户进行情绪安抚。
更进一步，所述安抚单元根据所述用户的情绪、用户乘坐的位置确定安抚方式，对所述用户进行情绪安抚，具体包括：
获取所述用户的图像；
根据所述用户的图像获取用户的性别和年龄；
根据所述用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对所述用户进行情绪安抚。
优选的，所述用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
所述安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
进一步，所述安抚单元还用于：
根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
更进一步，所述安抚单元还用于：
将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器。
更进一步，所述安抚单元根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器；
接收云服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；
从所述云服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。
第三方面，本发明实施例还相应提供一种基于情绪识别的安抚系统，包括：中心控制模块和至少一个终端模块，其中，
终端模块，用于采集用户的语音和/或图像，根据用户的语音和/或图像确定用户当前的情绪异常，并将用户当前的情绪发送给所述中心控制模块，根据中心控制模块发送的安抚方式对用户进行情绪安抚；
中心控制模块，用于接收所述终端模块发送的用户当前的情绪，根据用户的情绪确定安抚方式，并将安抚方式发送给所述终端模块。
进一步，所述中心控制模块具体用于：
根据用户的情绪、发送用户当前的情绪的终端模块的位置确定安抚方式，并将安抚方式发送给所述终端模块。
更进一步，所述终端模块还用于：
采集用户的图像；
根据用户的图像判断用户的性别和年龄，并发送给中心控制模块；
所述中心控制模块具体用于：
根据用户的情绪、性别、年龄、发送用户当前的情绪的终端模块的位置，选择至少一种安抚方式并发送给所述终端模块。
优选的，所述用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
所述安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
进一步，所述终端模块还用于：
接收用户设置的安抚方式喜好和/或音视频娱乐资源喜好，并发送给中心控制模块；
所述中心控制模块根据用户的情绪确定安抚方式，具体包括：
根据用户设置的安抚方式喜好，确定与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，准备与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
更进一步，还包括云服务器，
所述中心控制模块还用于：
将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器。
更进一步，所述中心控制模块根据用户的情绪确定安抚方式，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器；
接收云服务器推送的安抚方式，并从所述云服务器推送的安抚方式中，选择至少一种安抚方式；
所述云服务器用于，接收中心控制模块发送的用户的情绪、性别、年龄、用户乘坐的位置，根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，确定至少一种安抚方式，并推送给中心控制模块。
第四方面，本发明实施例还提供一种设备，包括处理器和存储器；
所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如第一方面中所述的方法。
第五方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如第一方面中所述的方法。
本发明实施例提供一种基于情绪识别的安抚方法、装置及设备、存储介质，在根据用户的语音确定用户当前的情绪出现异常时，可以根据用户的情绪确定安抚方式，对该用户进行情绪安抚。从而实现在用户出现情绪异常时，及时获得安抚，避免用户在情绪异常时，给行车或其它操作带来安全隐患。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明实施例提供的基于情绪识别的安抚方法流程图；
图2为本发明实施例提供的基于情绪识别的安抚系统结构示意图；
图3为本发明实施例提供的具有云服务器的基于情绪识别的安抚系统结构示意图；
图4为本发明实施例提供的喜好定义的数据结构示意图；
图5为本发明实施例提供的基于情绪识别的安抚装置结构示意图；
图6为本发明实施例提供的基于情绪识别的安抚设备结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，本发明实施例提供的基于情绪识别的安抚方法，包括：
步骤S101、获取用户的语音和/或图像；
步骤S102、根据用户的语音和/或图像判断用户是否情绪异常；
步骤S103、响应于用户情绪异常，根据用户的情绪确定安抚方式，并对该用户进行情绪安抚。
由于通过该方法，可以及时识别出用户的情绪，并及时对用户进行安抚，从而实现在用户出现情绪异常时，及时获得安抚，避免用户在情绪异常时，给行车或其它操作带来安全隐患。
步骤S101中，可以直接通过摄像头拍摄图像、直接从麦克风采集语音，也可以通过有线或无线的通信连接，接收其它设备发送的语音和/或图像。
进一步，该方法应用在汽车中时，可以参考用户的乘坐位置来确定安抚方式，此时，步骤S101，获取用户的语音和/或图像，具体包括：
采集所述用户的语音和/或图像，并确定所采集的用户的乘坐位置；
步骤S103，响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚，具体包括：
根据用户的情绪、乘坐的位置确定安抚方式，对用户进行情绪安抚。
参考用户的乘坐位置来确定安抚方式，可以将驾驶位和非驾驶位的安抚方式区别开，从而向用户提供更有效的安抚，例如，对于驾驶位的用户，就不宜采用播放视频的方式进行安抚。
还可以进一步参考用户的性别、年龄，选择更适合用户当前性别和年龄的安抚方式对用户进行安抚，从而提高用户的体验，此时，根据用户的情绪、用户乘坐的位置确定安抚方式，对情绪异常的用户进行情绪安抚，具体包括：
获取用户的图像；
根据用户的图像获取用户的性别和年龄；
根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚。
在本发明实施例中，用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
为更有针对性的对用户进行有效安抚，可以进一步根据用户的喜好来选择安抚方式和/或安抚资源，此时，该方法还包括：
根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
用户在乘坐时，可以手动登录，也可以通过人脸识别进行登录，根据登录的用户标识，即可获取用户曾经设置的安抚方式喜好和/或音视频娱乐资源喜好，进而为用户提供更精准的服务。
更进一步，还可以在接收到用户设置的安抚方式喜好和/或音视频娱乐资源喜好后，将用户标识以及用户的设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器，由云服务器进行存储和统计，当有未进行喜好设置的用户需要进行安抚时，云服务器可以根据统计数据和用户的性别、年龄等资料，推送适合该用户的安抚内容。
此时，根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器；
接收云服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；
从云服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
对于应用在汽车内的场景，或者应用在其它具有多个用户的场景中时，可以设置至少一个终端模块和一个中心控制模块，从而节省硬件成本，终端模块设置在对应用户的位置上，用来进行音频视频采集和实施安抚，中心控制模块则用来确定安抚方式和安抚资源。
具体的，如图2所示，本发明实施例还提供一种基于情绪识别的安抚系统，包括：中心控制模块201和至少一个终端模块202，其中，
终端模块202，用于采集用户的语音和/或图像，根据用户的语音和/或图像确定用户当前的情绪异常，并将用户当前的情绪发送给中心控制模块，根据中心控制模块发送的安抚方式对用户进行情绪安抚；
中心控制模块201，用于接收终端模块发送的用户当前的情绪，根据用户的情绪确定安抚方式，并将安抚方式发送给终端模块。
进一步，中心控制模块201具体用于：
根据用户的情绪、发送用户当前的情绪的终端模块202的位置确定安抚方式，并将安抚方式发送给终端模块202。
更进一步，终端模块202还用于：
采集用户的图像；
根据用户的图像判断用户的性别和年龄，并发送给中心控制模块201；
中心控制模块201具体用于：
根据用户的情绪、性别、年龄、发送用户当前的情绪的终端模块202的位置，选择至少一种安抚方式并发送给终端模块202。
通常，用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
进一步，终端模块202还用于：
接收用户设置的安抚方式喜好和/或音视频娱乐资源喜好，并发送给中心控制模块201；
中心控制模块201根据用户的情绪确定安抚方式，具体包括：
根据用户设置的安抚方式喜好，确定与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，准备与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
进一步，如图3所示，该系统中还包括云服务器203，
中心控制模块201还用于：
将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器203。
更进一步，中心控制模块201根据用户的情绪确定安抚方式，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器203；
接收云服务器203推送的安抚方式，并从云服务器203推送的安抚方式中，选择至少一种安抚方式；
云服务器203用于，接收中心控制模块201发送的用户的情绪、性别、年龄、用户乘坐的位置，根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，确定至少一种安抚方式，并推送给中心控制模块201。
具体的，在本发明一个具体的应用在汽车内的实施例中，可以将进行音频视频采集、进行安抚的终端模块设置在车辆中对应座位的位置，各个终端模块通过有线或者无线方式连接中心控制模块，中心控制模块负责确定安抚方式、安抚资源以及与云服务器的交互，中心控制模块也可以负责根据语音和/或图像进行情感识别；也可以是在车辆中对应座位的位置都设置一个能够完全实现基于情绪识别的安抚方法的设备，每个设备独立完成对应座位的用户的情绪判断和安抚。
当采用终端模块和中心控制模块的方式时，通过部署在各乘车位置上的终端模块，进行定向语音特征提取，优选的，可以避免背景语音对相应位置语音特征的影响，对应的语音特征通过经过深度学习和迁移学习训练的语言模型进行情感识别，识别出生气、厌恶、恐惧、悲伤情感变化；例如，可以通过部署在各位置上的定向麦克进行语音特征采集，并通过深度学习及迁移学习训练出的语言特征模型及语言字典库进行情感识别，识别出相应位置的乘车人的生气、厌恶、恐惧、悲伤情感的变化，并将识别结果传输到中心控制模块；
通过终端模块中的视觉识别，也可以经过深度学习和迁移学习训练的图像模型进行情感识别，识别出生气、厌恶、恐惧、悲伤情感变化；
通过终端模块中的视觉识别，还可以识别出对应位置乘车人的年龄段及性别，例如，根据部署在各乘车位置的摄像头，提取乘车人员的脸部特征，基于人脸识别模型进行年龄段和性别的识别，并把对应的识别结果传输到中心控制模块；
中心控制模块根据情感识别结果和视觉识别结果确定安抚方法，并将本地端及云服务端的安抚资源推送到对应的终端模块，由该终端模块呈现给用户进行安抚。例如，根据乘车位置ID、情感类型、乘车人的年龄段和性别，进行安抚方式准备，并将本地端和云服务端的安抚资源推送至乘车位置端的情绪安抚模块；
中心控制模块在确定安抚方式时，可以针对用户在车内的位置进行情感管理，确定是否使用该情绪变化对应的安抚方式，在管理过程中对驾驶位置及非驾驶位置的情感管理侧重点不同，在驾驶位置对疲劳产生恐惧感，及路怒症产生的愤怒情感比较侧重，对非驾驶位置乘车人的晕车产生的厌恶感及乘车前产生的生气情感及会影响驾驶员的驾驶安全的愤怒感比较侧重；
各终端模块的安抚方法通过自定义或爱好收集方式产生，安抚方法可以通过音视频播放或语音建议方式对安抚方法进行实施。
终端模块还为该位置乘车人提供喜好定义接口，喜好定义可以根据生气、厌恶、恐惧、悲伤四类进行资源选择，资源可以根据云服务端的情感安抚资源管理列表及资源自定方式进行喜好定义，喜好定义的数据结构如图4所示。
在进行情绪安抚时，由部署在乘车位置上终端模块对推送来的情绪安抚方法进行实施，如在驾驶位置上可以根据驾驶位置的用户的喜好数据进行情绪安抚，该位置上只有音频和语音交互的安抚方法，其中，语音交互除了人机语言交互还可以进行远程人员的语音交互；非驾驶位置则可以提供视频、音频及语音交互方法。
中心控制模块可以进一步将各终端模块收集的用户喜好发送至云服务器；中心控制模块也可以根据行车过程中驾驶位置及非驾驶位置的人员的年龄段及性别的情绪变化进行权重统计，并进行安抚方法及安抚方法中喜好资源的本地部署，从而在有用户进行安抚时，有针对性的对用户实现安抚。
云服务器主要进行数据分析及数据管理，数据管理根据车内驾驶位置及非驾驶位置来创建该车辆的情感类型与安抚方式、安抚资源对应关系的数据库，根据乘车人员的喜好交互数据进行数据分析，分析过程中根据乘车次数及乘车位置产生的情感类型及性别及年龄段为维度，进行安抚方法及安抚方法的资源的分析，以供安抚方法的自动选择。
对于终端模块中，定向麦克风、摄像头、声音输出单元、视频输出单元的布置，可以采用如下方式：
对于主驾驶及副驾驶，可以在后视镜上设置定向麦克风、摄像头、声音输出单元，后视镜上的两套定向麦克风、摄像头、声音输出单元分别向两侧车门方向部署，以便供定向语音采集、图像采集及定向声音输出；
在后排位置的座位，可以在座位正上方设置以对应位置为中心的30度角部署定向麦克风、摄像头及声音输出单元，以供后排位置乘车人员的定向语音采集、图像采集及定向语音输出；
针对后排位置，在对应的前排座椅后背部署视频输出单元；
麦克风、摄像头、声音输出单元、视频输出单元通过独立的硬件处理模块完成相应功能，麦克风、摄像头、声音输出单元、视频输出单元可以通过串口向中心控制模块发送数据，声音输出单元、视频输出单元可以通过网口接收中心控制模块传输的安抚方式中的音视频数据。中心控制模块可以与车载系统的中控系统合并设置，实现终端模块的管理、安抚方式管理及资源的喜好管理，并建立各终端模块与云服务端的数据路由。
各终端模块通过各位置的定向语音采集模块进行语言特征提取，并通过部署在各终端模块中语音情感识别模型进行情感识别；各终端模块根据视觉识别模块进行乘车人员的脸部识别，识别出各位置的乘车人员的年龄段及性别，终端模块将语音情感识别及视觉识别结果传输到中心控制模块。
各乘车人可以在对应的终端模块上设置安抚方式喜好，终端模块将设置的安抚方式喜好发送至中心控制模块，中心控制模块进行云服务端的资源申请及云服务端的资源同步；中心控制模块根据语音情感识别及视觉识别结果及用户的喜好，确定安抚方式和安抚资源，并发送给终端模块。
本发明实施例还提供一种基于情绪识别的安抚装置，如图5所示，包括：
获取单元501，用于获取用户的语音和/或图像；
判断单元502，用于根据用户的语音和/或图像判断所述用户是否情绪异常；
安抚单元503，用于响应于用户情绪异常，根据用户的情绪确定安抚方式，并对用户进行情绪安抚。
进一步，获取单元501具体用于：
采集所述用户的语音和/或图像，并确定所采集的用户的乘坐位置；
安抚单元503具体用于：
根据用户的情绪、用户乘坐的位置确定安抚方式，对用户进行情绪安抚。
安抚单元503根据用户的情绪、用户乘坐的位置确定安抚方式，对情绪异常的用户进行情绪安抚，具体包括：
获取所述用户的图像；
根据用户的图像判断用户的性别和年龄；
根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚。
通常，用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
进一步，安抚单元503还用于：
根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
更进一步，安抚单元503还用于：
将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至云服务器。
更进一步，安抚单元503根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至云服务器；
接收云服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；
从云服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。
应当理解，该装置中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于该装置及其中包含的单元，在此不再赘述。该装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。该装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
下面参考图6，其示出了适于用来实现本申请实施例的基于情绪识别的安抚设备的计算机系统的结构示意图，该设备可以具体为终端模块或中心控制模块，也可以具体为终端模块和中心控制模块合并设置的设备。
如图6所示，计算机系统包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。CPU601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
其中，为减少硬件成本，中心控制模块也可以不包括输入部分606和输出部分607。
特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括XX单元、YY单元以及ZZ单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，XX单元还可以被描述为“用于XX的单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (17)

1.一种基于情绪识别的安抚方法，其特征在于，包括：
获取用户的语音和/或图像；
根据所述用户的语音和/或图像判断所述用户是否情绪异常；
响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚。
2.如权利要求1所述的方法，其特征在于，所述获取用户的语音和/或图像，具体包括：
采集所述用户的语音和/或图像，并确定所采集的用户的乘坐位置；
所述响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚，具体包括：
根据所述用户的情绪、乘坐的位置确定安抚方式，对所述用户进行情绪安抚。
3.如权利要求2所述的方法，其特征在于，所述根据所述用户的情绪、乘坐的位置确定安抚方式，对所述用户进行情绪安抚，具体包括：
获取所述用户的图像；
根据所述用户的图像获取用户的性别和年龄；
根据所述用户的情绪、性别、年龄、乘坐的位置，选择至少一种安抚方式对所述用户进行情绪安抚。
4.如权利要求3所述的方法，其特征在于，所述用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
所述安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
5.如权利要求4所述的方法，其特征在于，还包括：
根据用户设置的安抚方式喜好，向用户提供与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，向用户展示与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
6.如权利要求5所述的方法，其特征在于，还包括：
将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至服务器。
7.如权利要求6所述的方法，其特征在于，所述根据用户的情绪、性别、年龄、用户乘坐的位置，选择至少一种安抚方式对该用户进行情绪安抚，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至服务器；
接收服务器根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，推送的安抚方式；
从所述服务器推送的安抚方式中，选择至少一种安抚方式对该用户进行情绪安抚。
8.一种基于情绪识别的安抚装置，其特征在于，包括：
获取单元，用于获取用户的语音和/或图像；
判断单元，用于根据所述用户的语音和/或图像判断所述用户是否情绪异常；
安抚单元，用于响应于所述用户情绪异常，根据所述用户的情绪确定安抚方式，并对所述用户进行情绪安抚。
9.一种基于情绪识别的安抚系统，其特征在于，包括：中心控制模块和至少一个终端模块，其中，
终端模块，用于采集用户的语音和/或图像，根据用户的语音和/或图像确定用户当前的情绪异常，并将用户当前的情绪发送给所述中心控制模块，根据中心控制模块发送的安抚方式对用户进行情绪安抚；
中心控制模块，用于接收所述终端模块发送的用户当前的情绪，根据用户的情绪确定安抚方式，并将安抚方式发送给所述终端模块。
10.如权利要求9所述的系统，其特征在于，所述中心控制模块具体用于：
根据用户的情绪、发送用户当前的情绪的终端模块的位置确定安抚方式，并将安抚方式发送给所述终端模块。
11.如权利要求10所述的系统，其特征在于，所述终端模块还用于：
采集用户的图像；
根据用户的图像判断用户的性别和年龄，并发送给中心控制模块；
所述中心控制模块具体用于：
根据用户的情绪、性别、年龄、发送用户当前的情绪的终端模块的位置，选择至少一种安抚方式并发送给所述终端模块。
12.如权利要求11所述的系统，其特征在于，所述用户的情绪具体包括如下之一或组合：
愤怒、疲劳、晕车感、厌恶、恐惧、悲伤；
所述安抚方式包括如下之一或组合：
语音交互、音视频娱乐、播放行车建议。
13.如权利要求12所述的系统，其特征在于，所述终端模块还用于：
接收用户设置的安抚方式喜好和/或音视频娱乐资源喜好，并发送给中心控制模块；
所述中心控制模块根据用户的情绪确定安抚方式，具体包括：
根据用户设置的安抚方式喜好，确定与该用户当前设置的安抚方式喜好匹配的安抚方式；和/或
响应于所述安抚方式采用音视频娱乐，根据用户设置的音视频娱乐资源喜好，准备与当前设置的音视频娱乐资源喜好匹配的音视频娱乐资源。
14.如权利要求13所述的系统，其特征在于，还包括服务器，
所述中心控制模块还用于：
将用户标识以及用户设置的安抚方式喜好和/或音视频娱乐资源喜好发送至服务器。
15.如权利要求14所述的系统，其特征在于，所述中心控制模块根据用户的情绪确定安抚方式，具体包括：
将用户的情绪、性别、年龄、用户乘坐的位置发送至服务器；
接收服务器推送的安抚方式，并从所述服务器推送的安抚方式中，选择至少一种安抚方式；
所述服务器用于，接收中心控制模块发送的用户的情绪、性别、年龄、用户乘坐的位置，根据行车过程中驾驶位置及非驾驶位置的人员的年龄、性别、情绪变化的权重统计结果，和当前用户的情绪、性别、年龄、用户乘坐的位置，确定至少一种安抚方式，并推送给中心控制模块。
16.一种设备，包括处理器和存储器；其特征在于：
所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如权利要求1-7任一所述的方法。
17.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如权利要求1-7任一所述的方法。
CN201810371545.1A 2018-04-24 2018-04-24 一种基于情绪识别的安抚方法、装置及设备、存储介质 Pending CN108549720A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810371545.1A CN108549720A (zh) 2018-04-24 2018-04-24 一种基于情绪识别的安抚方法、装置及设备、存储介质
PCT/CN2018/119384 WO2019205642A1 (zh) 2018-04-24 2018-12-05 基于情绪识别的安抚方法、装置、系统、计算机设备以及计算机可读存储介质
US16/472,012 US11498573B2 (en) 2018-04-24 2018-12-05 Pacification method, apparatus, and system based on emotion recognition, computer device and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810371545.1A CN108549720A (zh) 2018-04-24 2018-04-24 一种基于情绪识别的安抚方法、装置及设备、存储介质

Publications (1)

Publication Number Publication Date
CN108549720A true CN108549720A (zh) 2018-09-18

Family

ID=63512191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810371545.1A Pending CN108549720A (zh) 2018-04-24 2018-04-24 一种基于情绪识别的安抚方法、装置及设备、存储介质

Country Status (3)

Country Link
US (1) US11498573B2 (zh)
CN (1) CN108549720A (zh)
WO (1) WO2019205642A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302486A (zh) * 2018-10-26 2019-02-01 广州小鹏汽车科技有限公司 一种根据车内环境推送音乐的方法和系统
CN109448409A (zh) * 2018-10-30 2019-03-08 百度在线网络技术（北京）有限公司 交通信息交互的方法、装置、设备和计算机存储介质
CN109471954A (zh) * 2018-09-29 2019-03-15 百度在线网络技术（北京）有限公司 基于车载设备的内容推荐方法、装置、设备和存储介质
CN109550133A (zh) * 2018-11-26 2019-04-02 赵司源 一种情绪安抚方法及系统
CN109616109A (zh) * 2018-12-04 2019-04-12 北京蓦然认知科技有限公司 一种语音唤醒方法、装置及系统
WO2019205642A1 (zh) * 2018-04-24 2019-10-31 京东方科技集团股份有限公司 基于情绪识别的安抚方法、装置、系统、计算机设备以及计算机可读存储介质
CN110598611A (zh) * 2019-08-30 2019-12-20 深圳智慧林网络科技有限公司 看护系统、基于看护系统的病人看护方法和可读存储介质
CN111605556A (zh) * 2020-06-05 2020-09-01 吉林大学 一种防路怒症识别及控制系统
CN111741116A (zh) * 2020-06-28 2020-10-02 海尔优家智能科技（北京）有限公司 情感交互方法、装置、存储介质及电子装置
CN112061058A (zh) * 2020-09-07 2020-12-11 华人运通(上海)云计算科技有限公司 场景触发的方法、装置、设备和存储介质
CN112733763A (zh) * 2021-01-15 2021-04-30 北京华捷艾米科技有限公司 人机语音交互的实现方法及装置、电子设备、存储介质
CN113183900A (zh) * 2021-03-31 2021-07-30 江铃汽车股份有限公司 车辆人员监测方法、装置、可读存储介质及车载系统
CN113221933A (zh) * 2020-02-06 2021-08-06 本田技研工业株式会社 信息处理装置、车辆、计算机可读存储介质以及信息处理方法
CN113581187A (zh) * 2021-08-06 2021-11-02 阿尔特汽车技术股份有限公司 用于车辆的控制方法及相应的系统、车辆、设备和介质
CN113657134A (zh) * 2020-05-12 2021-11-16 北京地平线机器人技术研发有限公司 语音播放方法和装置、存储介质及电子设备
CN113780062A (zh) * 2021-07-26 2021-12-10 岚图汽车科技有限公司 一种基于情感识别的车载智能交互方法、存储介质及芯片
CN114954332A (zh) * 2021-08-16 2022-08-30 长城汽车股份有限公司 一种车辆控制方法、装置、存储介质及车辆
CN117445805A (zh) * 2023-12-22 2024-01-26 吉林大学 面向公交车司乘冲突的人员预警和行车控制方法及系统
CN113221933B (zh) * 2020-02-06 2024-06-28 本田技研工业株式会社 信息处理装置、车辆、计算机可读存储介质以及信息处理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836549A (zh) * 2019-11-22 2021-05-25 虹软科技股份有限公司 用户信息的检测方法及系统、电子设备
CN112947740A (zh) * 2019-11-22 2021-06-11 深圳市超捷通讯有限公司 基于动作分析的人机交互方法、车载装置
CN111540358B (zh) * 2020-04-26 2023-05-26 云知声智能科技股份有限公司 人机交互方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201838333U (zh) * 2010-11-12 2011-05-18 北京工业大学 基于驾驶员状态的音乐播放器
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN203075421U (zh) * 2012-07-31 2013-07-24 深圳市赛格导航科技股份有限公司 一种基于情绪变化的音乐播放系统
CN103873512A (zh) * 2012-12-13 2014-06-18 深圳市赛格导航科技股份有限公司 基于脸部识别技术的车载无线传输音乐的方法
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107423351A (zh) * 2017-05-24 2017-12-01 维沃移动通信有限公司 一种信息处理方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734685B2 (en) * 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
JP6149824B2 (ja) * 2014-08-22 2017-06-21 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
CN108549720A (zh) 2018-04-24 2018-09-18 京东方科技集团股份有限公司 一种基于情绪识别的安抚方法、装置及设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201838333U (zh) * 2010-11-12 2011-05-18 北京工业大学 基于驾驶员状态的音乐播放器
CN102874259A (zh) * 2012-06-15 2013-01-16 浙江吉利汽车研究院有限公司杭州分公司 一种汽车驾驶员情绪监视及车辆控制系统
CN203075421U (zh) * 2012-07-31 2013-07-24 深圳市赛格导航科技股份有限公司 一种基于情绪变化的音乐播放系统
CN103873512A (zh) * 2012-12-13 2014-06-18 深圳市赛格导航科技股份有限公司 基于脸部识别技术的车载无线传输音乐的方法
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107423351A (zh) * 2017-05-24 2017-12-01 维沃移动通信有限公司 一种信息处理方法及电子设备

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205642A1 (zh) * 2018-04-24 2019-10-31 京东方科技集团股份有限公司 基于情绪识别的安抚方法、装置、系统、计算机设备以及计算机可读存储介质
US11498573B2 (en) 2018-04-24 2022-11-15 Beijing Boe Technology Development Co., Ltd. Pacification method, apparatus, and system based on emotion recognition, computer device and computer readable storage medium
CN109471954A (zh) * 2018-09-29 2019-03-15 百度在线网络技术（北京）有限公司 基于车载设备的内容推荐方法、装置、设备和存储介质
CN109302486A (zh) * 2018-10-26 2019-02-01 广州小鹏汽车科技有限公司 一种根据车内环境推送音乐的方法和系统
CN109302486B (zh) * 2018-10-26 2021-09-03 广州小鹏汽车科技有限公司 一种根据车内环境推送音乐的方法和系统
CN109448409A (zh) * 2018-10-30 2019-03-08 百度在线网络技术（北京）有限公司 交通信息交互的方法、装置、设备和计算机存储介质
US11322022B2 (en) 2018-10-30 2022-05-03 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method for interacting traffic information, device and computer storage medium
CN109550133B (zh) * 2018-11-26 2021-05-11 赵司源 一种情绪安抚方法及系统
CN109550133A (zh) * 2018-11-26 2019-04-02 赵司源 一种情绪安抚方法及系统
CN109616109A (zh) * 2018-12-04 2019-04-12 北京蓦然认知科技有限公司 一种语音唤醒方法、装置及系统
CN110598611A (zh) * 2019-08-30 2019-12-20 深圳智慧林网络科技有限公司 看护系统、基于看护系统的病人看护方法和可读存储介质
CN113221933B (zh) * 2020-02-06 2024-06-28 本田技研工业株式会社 信息处理装置、车辆、计算机可读存储介质以及信息处理方法
CN113221933A (zh) * 2020-02-06 2021-08-06 本田技研工业株式会社 信息处理装置、车辆、计算机可读存储介质以及信息处理方法
CN113657134B (zh) * 2020-05-12 2024-04-23 北京地平线机器人技术研发有限公司 语音播放方法和装置、存储介质及电子设备
CN113657134A (zh) * 2020-05-12 2021-11-16 北京地平线机器人技术研发有限公司 语音播放方法和装置、存储介质及电子设备
CN111605556A (zh) * 2020-06-05 2020-09-01 吉林大学 一种防路怒症识别及控制系统
CN111741116A (zh) * 2020-06-28 2020-10-02 海尔优家智能科技（北京）有限公司 情感交互方法、装置、存储介质及电子装置
CN111741116B (zh) * 2020-06-28 2023-08-22 海尔优家智能科技（北京）有限公司 情感交互方法、装置、存储介质及电子装置
CN112061058A (zh) * 2020-09-07 2020-12-11 华人运通(上海)云计算科技有限公司 场景触发的方法、装置、设备和存储介质
CN112733763A (zh) * 2021-01-15 2021-04-30 北京华捷艾米科技有限公司 人机语音交互的实现方法及装置、电子设备、存储介质
CN112733763B (zh) * 2021-01-15 2023-12-05 北京华捷艾米科技有限公司 人机语音交互的实现方法及装置、电子设备、存储介质
CN113183900A (zh) * 2021-03-31 2021-07-30 江铃汽车股份有限公司 车辆人员监测方法、装置、可读存储介质及车载系统
CN113780062A (zh) * 2021-07-26 2021-12-10 岚图汽车科技有限公司 一种基于情感识别的车载智能交互方法、存储介质及芯片
CN113581187A (zh) * 2021-08-06 2021-11-02 阿尔特汽车技术股份有限公司 用于车辆的控制方法及相应的系统、车辆、设备和介质
CN114954332A (zh) * 2021-08-16 2022-08-30 长城汽车股份有限公司 一种车辆控制方法、装置、存储介质及车辆
CN117445805B (zh) * 2023-12-22 2024-02-23 吉林大学 面向公交车司乘冲突的人员预警和行车控制方法及系统
CN117445805A (zh) * 2023-12-22 2024-01-26 吉林大学 面向公交车司乘冲突的人员预警和行车控制方法及系统

Also Published As

Publication number Publication date
WO2019205642A1 (zh) 2019-10-31
US11498573B2 (en) 2022-11-15
US20210362725A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
CN108549720A (zh) 一种基于情绪识别的安抚方法、装置及设备、存储介质
US11186241B2 (en) Automated emotion detection and environmental response
CN108875682A (zh) 信息推送方法和装置
US20180089605A1 (en) Enhanced ride sharing user experience
WO2017000489A1 (zh) 车载语音指令识别方法、装置和存储介质
US20130030645A1 (en) Auto-control of vehicle infotainment system based on extracted characteristics of car occupants
KR20160101079A (ko) 가상 어시스턴트를 제공하기 위한 시스템 및 방법
CN109302486A (zh) 一种根据车内环境推送音乐的方法和系统
US20220360641A1 (en) Dynamic time-based playback of content in a vehicle
CN110807049A (zh) 试驾车型推荐方法及装置、计算机可读存储介质
US20200220948A1 (en) Unique id for correlating services across regions
CN114117196A (zh) 用于在车辆内向用户提供推荐服务的方法和系统
CN111400514A (zh) 一种信息推荐方法、装置和系统
Berger et al. Designing for a convenient in-car passenger experience: A repertory grid study
CN107566896A (zh) 多媒体信息推荐方法及装置、存储介质、终端
CN111703385B (zh) 一种内容互动方法以及一种车辆
CN107662565A (zh) 车辆的信息获取方法、系统及车辆
JP7120148B2 (ja) 製品情報提供システム
DE102022001264A1 (de) Verfahren zur Ausgabe an Insassen eines Fahrzeuges angepasster Kommunikationsinhalte
Vijayakumar et al. AI-derived quality of experience prediction based on physiological signals for immersive multimedia experiences: research proposal
WO2021185998A1 (en) Technique for providing a user-adapted service to a user
DE102018205618B3 (de) Verfahren zum Betreiben einer Ausgabeeinrichtung eines Kraftfahrzeugs, Zuordnungseinrichtung, Datenservereinrichtung, Kraftfahrzeug, Speichermedium mit einem Programmcode, und mobiles, portables Endgerät
CN114710553A (zh) 信息获取方法、信息推送方法以及终端设备
DE102022208736B3 (de) Verfahren zum Durchführen einer Lachtherapie in einem Kraftfahrzeug
CN110285824A (zh) 信息提供装置及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180918

RJ01 Rejection of invention patent application after publication