CN111813491B - 一种车载助手的拟人化交互方法、装置及汽车 - Google Patents

一种车载助手的拟人化交互方法、装置及汽车 Download PDF

Info

Publication number
CN111813491B
CN111813491B CN202010834708.2A CN202010834708A CN111813491B CN 111813491 B CN111813491 B CN 111813491B CN 202010834708 A CN202010834708 A CN 202010834708A CN 111813491 B CN111813491 B CN 111813491B
Authority
CN
China
Prior art keywords
preset
voice
vehicle
temperature
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010834708.2A
Other languages
English (en)
Other versions
CN111813491A (zh
Inventor
张进
冉光伟
张莹
张宗煜
蔡吉晨
邓贵中
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010834708.2A priority Critical patent/CN111813491B/zh
Publication of CN111813491A publication Critical patent/CN111813491A/zh
Application granted granted Critical
Publication of CN111813491B publication Critical patent/CN111813491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

本发明提供一种车载助手的拟人化交互方法、装置及汽车，所述方法包括当符合预设触发条件时，将与所述预设触发条件对应的动态人脸头像元和与所述预设触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设触发条件对应的表情指引操作获取的人脸特征；将与所述预设触发条件对应的语音情感特征和与所述预设触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设触发条件对应的语音指引操作获取的语音情感特征；播放合成的具有动画效果的所述动态人脸头像元以及合成的具有所述语音情感特征的所述预设语音。本发明解决了现有车载助手只是简单的文字反馈和单调语音，无法真正达共情的问题。

Description

一种车载助手的拟人化交互方法、装置及汽车
技术领域
本发明涉及汽车控制技术领域，尤其涉及一种车载助手的拟人化交互方法、装置及汽车。
背景技术
目前市面上的车载助手，通常都是通过车载助手的屏幕界面和语音进行交互，而很普遍的车载助手界面中，都是通过一些简单的图形和文字进行显示，而车载助手的语音提示，也只是单调机械式的合成语音，无法真正达到共情。
发明内容
本发明所要解决的技术问题在于，提供一种车载助手的拟人化交互方法、装置及汽车，用于解决现有车载助手仅仅通过一些简单图形和文字显示，而车载助手的语音提示，也只是单调机械式的合成语音，无法真正达到共情的问题。
本发明提供的一种车载助手的拟人化交互方法，所述方法包括：
步骤S1、当符合预设触发条件时，将与所述预设触发条件对应的动态人脸头像元和与所述预设触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设触发条件对应的表情指引操作获取的人脸特征；
步骤S2、将与所述预设触发条件对应的所述语音情感特征和与所述预设触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设触发条件对应的语音指引操作获取的语音情感特征；
步骤S3、播放合成的具有动画效果的所述动态人脸头像元以及合成的具有所述语音情感特征的所述预设语音。
进一步地，所述步骤S1之前还包括：
步骤S11、播放与所述预设触发条件对应的所述表情指引操作和所述语音指引操作，并录入包含拟人对象的表情和语音的语音视频流数据；
步骤S12、将所述语音视频流数据进行图像和语音分离，对被分离的所述图像以帧为单元按照一个时序单位进行顺序归集；
步骤S13、从每一时序单位中的帧图像提取出一帧图像，提取所述一帧图像的人脸特征，将每一时序单位中提取的所述人脸特征构建为对应所述表情指引操作的所述动态人脸头像元。
进一步地，所述步骤S2之前还包括：
步骤S21、对被分离的所述语音进行所述语音情感特征提取。
进一步地，步骤S3还包括：
当检测到眼球视线时，根据眼球视线调整所述动态人脸头像元作出姿态偏向；
当不能检测到眼球视线且检测到音源时，根据音源调整所述动态人脸头像元作出姿态偏向；
当不能检测到眼球视线且不能检测到音源时，随机调整所述动态人脸头像元作出姿态偏向。
进一步地，步骤S3中播放合成的具有动画效果的所述动态人脸头像元具体包括：
唤醒位于显示屏的当前显示容器的下一层显示容器中休眠动态人脸播放器；
将所述下一层显示容器的所述具有动画效果的动态人脸头像元以背景透明的形式显示在所述当前显示容器的上一层。
进一步地，所述步骤S1之前还包括：
获取车内环境信号，所述车内环境信号包括发动机仓烟雾信号、车内温度信号和车内空气质量信号中的任一种；
根据所述车内环境信号，判断所述车内环境是否符合对应的预设触发条件。
进一步地，根据获取的发动机仓烟雾信号，判定所述车内环境符合烟雾信号触发条件时，
所述步骤S1具体为：将与所述烟雾信号触发条件对应的所述动态人脸头像元和与所述烟雾信号触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述烟雾信号触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述烟雾信号触发条件对应的所述语音情感特征和与所述烟雾信号触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述烟雾信号触发条件对应的语音指引操作获取的语音情感特征。
进一步地，根据获取的所述车内温度信号，分别比较所述车内温度与预设高温阈值和预设低温阈值；
当所述车内温度高于所述预设高温阈值，判定所述车内环境符合预设高温触发条件；当所述车内温度低于所述预设低温阈值，判定所述车内环境符合预设低温触发条件；
当所述车内环境符合高温触发条件时，
进一步地，根据获取的所述车内温度信号，分别比较所述车内温度与预设高温阈值和预设低温阈值；
当所述车内温度高于所述预设高温阈值，判定所述车内环境符合预设高温触发条件；当所述车内温度低于所述预设低温阈值，判定所述车内环境符合预设低温触发条件；
当所述车内环境符合预设高温触发条件时，
所述步骤S1具体为：将与所述预设高温触发条件对应的所述动态人脸头像元和与所述预设高温触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设高温触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设高温触发条件对应的所述语音情感特征和与所述预设高温触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设高温触发条件对应的语音指引操作获取的语音情感特征；
当所述车内环境符合预设低温触发条件时，
所述步骤S1具体为：将与所述预设低温触发条件对应的所述动态人脸头像元和与所述预设低温触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设低温触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设低温触发条件对应的所述语音情感特征和与所述预设低温触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设低温触发条件对应的语音指引操作获取的语音情感特征。
进一步地，根据获取的车内空气质量信号，比较车内空气质量信号数值与预设空气质量信号阈值；
当所述车内控制质量信号数值大于预设空气质量信号阈值，判定所述车内环境符合预设空气质量信号触发条件；
所述步骤S1具体为：将与所述预设空气质量信号触发条件对应的所述动态人脸头像元和与所述预设空气质量信号触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设空气质量信号触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设空气质量信号触发条件对应的所述语音情感特征和与所述预设空气质量信号触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设空气质量信号触发条件对应的语音指引操作获取的语音情感特征。
本发明提供的一种车载助手的拟人化交互装置，所述装置包括：
第一合成单元，用于当符合预设触发条件时，将与所述预设触发条件对应的动态人脸头像元和与所述预设触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设触发条件对应的表情指引操作获取的人脸特征；
第二合成单元，用于将与所述预设触发条件对应的语音情感特征和与所述预设触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设触发条件对应的语音指引操作获取的语音情感特征；
播放单元，用于播放合成的具有动画效果的所述动态人脸头像元以及合成的具有所述语音情感特征的所述预设语音。
本发明提供一种汽车，所述汽车包括上述车载助手的拟人化交互装置。
实施本发明，具有如下有益效果：
通过本发明，根据拟人对象获取仿真人脸头像元和语音情感特征，将仿真人脸头像元和语音情感特征与应用场景相结合，合成对应的动态人脸头像元和AI智能语音进行播放，该动态人脸头像元和AI智能语音为拟人化表达，能够和驾驶者产生共情，解决现有普遍的车载助手界面中，都是通过一些简单的图形和文字进行显示，车载助手的语音提示，只是单调机械式的合成语音，无法真正达到共情的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车载助手的拟人化交互方法的流程图。
图2是本发明实施例提供的车辆故障检测的流程图。
图3是本发明实施例提供的车载助手的拟人化交互方法的流程图。
图4是本发明实施例提供的车载助手的拟人化交互装置的结构图。
具体实施方式
本专利中，以下结合附图和实施例对该具体实施方式做进一步说明。
如图1所示，本发明实施例提供了车载助手的拟人化交互方法，所述方法包括：
步骤S1、当符合预设触发条件时，将与所述预设触发条件对应的所述动态人脸头像元和与所述预设触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设触发条件对应的表情指引操作获取的人脸特征；
步骤S2、将与所述预设触发条件对应的所述语音情感特征和与所述预设触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设触发条件对应的语音指引操作获取的语音情感特征；
步骤S3、播放合成的具有动画效果的所述动态人脸头像元以及合成的具有所述语音情感特征的所述预设语音。
需要说明的是，预设触发条件是可以设置的，在本实施例中判定所述车内环境是否符合预设触发条件的依据包括获取到发动机仓烟雾、温度过高或者过低以及空气质量信号数值大于预设空气质量信号阈值；当然也可以是通过按键触发，或者其他情况下预设触发条件即可。
步骤S3中播放合成的具有动画效果的所述动态人脸头像元具体包括：
唤醒位于显示屏的当前显示容器的下一层显示容器中休眠动态人脸播放器；
将所述下一层显示容器的所述具有动画效果的动态人脸头像元以背景透明的形式显示在所述当前显示容器的上一层。
采用上述隐藏式唤醒方式，在未唤醒时，动态人脸播放器为休眠态，并位于车机显示屏的当前显示容器的下一层显示容器中，不会对位于车机显示屏的当前显示容器中的画面造成遮挡。
为了提高互动的友好性，为了更好互动控制，步骤S3还包括：
当检测到眼球视线时，根据眼球视线调整所述动态人脸头像元作出姿态偏向；
当不能检测到眼球视线且检测到音源时，根据音源调整所述动态人脸头像元作出姿态偏向；
当不能检测到眼球视线且不能检测到音源时，随机调整所述动态人脸头像元作出姿态偏向。
在本实施例中，眼动跟随的优先级高于音源跟随的优先级，音源跟随的优先级高于随机跟随的优先级。
一并结合图2，本发明实施例提供多种符合预设触发条件方式，步骤S1之前还包括：
获取车内环境信号，所述车内环境信号包括发动机仓烟雾信号、车内温度信号和车内空气质量信号中的任一种；
根据所述车内环境信号，判断所述车内环境是否符合对应的预设触发条件。
在本发明提供的一实施例中，车内环境采集传感器为烟雾传感器，烟雾传感器设置在轿车的发动机仓盖内，用于监测发动机仓盖内是否有烟雾；当烟雾传感器将检测到的信号上传到车辆ECU，所述车辆ECU根据该传入的信号判断是否为发动机仓烟雾信号；当车辆ECU确定所述烟雾传感器检测到的信号是发动机仓烟雾信号时，判定车辆符合预设触发条件，所述预设触发条件为烟雾信号触发条件。
在本发明提供的另一实施例中，车内环境采集传感器为车内温度传感器，所述车内温度传感器设置在车内前排座椅间的扶手上，用于监测车内温度是否超过预设阈值；当车内温度传感器将检测到的车内温度上传到车辆ECU，所述车辆ECU根据该传入的车内温度分别与预设低温阈值、预设高温阈值进行比较；当所述车内温度小于预设低温阈值，判定所述车内环境符合预设低温触发条件；当所述车内温度大于预设高温阈值，判定所述车辆符合预设高温触发条件，预设触发条件包括温度过低和温度过高。
在本发明提供的又一实施例中，车内环境采集传感器为车内PM2.5传感器，车内PM2.5传感器设置在车内前排座椅间的扶手上，用于监测车内空气质量是否超标；当车内PM2.5传感器将检测到的空气质量信号上传至车辆ECU中，车辆ECU比较车内空气质量信号数值与预设空气质量信号阈值，当所述空气质量信号数值大于预设空气质量信号阈值时，判定所述车辆空气质量不佳，符合所述预设空气质量信号触发条件。
如图3所示，本发明实施例提供了车载助手的拟人化交互方法，步骤S1之前还包括：
步骤S11、播放与所述预设触发条件对应的所述表情指引操作和所述语音指引操作，并录入包含拟人对象的表情和语音的语音视频流数据。
需要说明的是，拟人对象是指提供仿真人脸头像或者仿真语音的人，一般是自己、亲密朋友或者家人等，可以使用移动智能终端上车载助手APP，提供不同情景下的相应表情指引和语音指引，所述车载助手APP调用移动智能终端的摄像头和麦克风录入语音视频流数据。
步骤S12、将所述语音视频流数据进行图像和语音分离，对被分离的所述图像以帧为单元按照一个时序单位进行顺序归集。
步骤S13、从每一时序单位中的帧图像提取出一帧图像，提取所述一帧图像的人脸特征，将每一时序单位中提取的所述人脸特征构建为对应所述表情指引操作的所述动态人脸头像元。
需要说明的是，例如预设触发条件为烟雾信号触发条件时，表情指引操作和语音指引操作被用于引导拟人对象在烟雾信号触发条件下的表情和语音，最终来提取与所述烟雾信号触发条件对应的动态人脸头像元和语音情感特征提取；因而在步骤S2之前还包括：步骤S21、对被分离的所述语音进行所述语音情感特征提取，在本实施例中，分离语音可以采用HuWSF算法。
在本发明实施例中，根据获取的发动机仓烟雾信号，判定所述车内环境符合烟雾信号触发条件时，
所述步骤S1具体为：将与所述烟雾信号触发条件对应的所述动态人脸头像元和与所述烟雾信号触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述烟雾信号触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述烟雾信号触发条件对应的所述语音情感特征和与所述烟雾信号触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述烟雾信号触发条件对应的语音指引操作获取的语音情感特征。
需要说明的是，与所述烟雾信号触发条件对应的预设动画为“发动机冒着火”的动画，与所述烟雾信号触发条件对应的预设语音为“发动机仓有烟雾，有起火风险，请立即排查!”。
在本发明实施例中，根据获取的所述车内温度信号，分别比较所述车内温度与预设高温阈值和预设低温阈值；
当所述车内温度高于所述预设高温阈值，判定所述车内环境符合预设高温触发条件；当所述车内温度低于所述预设低温阈值，判定所述车内环境符合预设低温触发条件；
当所述车内环境符合高温触发条件时，
所述步骤S1具体为：将与所述预设高温触发条件对应的所述动态人脸头像元和与所述预设高温触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设高温触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设高温触发条件对应的所述语音情感特征和与所述预设高温触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设高温触发条件对应的语音指引操作获取的语音情感特征；
当所述车内环境符合预设低温触发条件时，
所述步骤S1具体为：将与所述预设低温触发条件对应的所述动态人脸头像元和与所述预设低温触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设低温触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设低温触发条件对应的所述语音情感特征和与所述预设低温触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设低温触发条件对应的语音指引操作获取的语音情感特征。
需要说明的是，当所述车内环境符合预设低温触发条件时，与所述预设低温触发条件对应的预设动画为“过冷战栗”动画，与所述预设低温触发条件对应的预设语音为“车内温度过低”；当所述车内环境符合高温触发条件时，与所述预设高温触发条件对应的预设动画为“过热流汗”动画，与所述预设高温触发条件对应的预设语音为“车内温度过高”。
在本发明实施例中，根据获取的车内空气质量信号，比较车内空气质量信号数值与预设空气质量信号阈值；
当所述车内空气质量信号数值大于预设空气质量信号阈值，判定所述车内环境符合预设空气质量信号触发条件；
所述步骤S1具体为：将与所述预设空气质量信号触发条件对应的所述动态人脸头像元和与所述预设空气质量信号触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设空气质量信号触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设空气质量信号触发条件对应的所述语音情感特征和与所述预设空气质量信号触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设空气质量信号触发条件对应的语音指引操作获取的语音情感特征。
需要说明的是，当所述车内环境符合预设空气质量信号触发条件时，与所述预设空气质量信号触发条件对应的预设动画是“口罩和雾霾”，与所述预设空气质量信号触发条件对应的预设语音是“车内空气质量不佳，请开启车内空气净化”。
如图4所示，本发明实施例提供了车载助手的拟人化交互装置，所述装置包括：
第一合成单元41，用于当符合预设触发条件时，将与所述预设触发条件对应的所述动态人脸头像元和与所述预设触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设触发条件对应的表情指引操作获取的人脸特征；
第二合成单元42，用于将与所述预设触发条件对应的所述语音情感特征和与所述预设触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设触发条件对应的语音指引操作获取的语音情感特征；
播放单元43，用于播放合成的具有动画效果的所述动态人脸头像元以及合成的具有所述语音情感特征的所述预设语音。
本发明实施例提供了汽车，所述汽车包括上述车载助手的拟人化交互装置。
实施本发明，具有如下有益效果：
通过本发明，根据拟人对象获取仿真人脸头像元和语音情感特征，将仿真人脸头像元和语音情感特征与应用场景相结合，合成对应的动态人脸头像元和AI智能语音进行播放，该动态人脸头像元和AI智能语音为拟人化表达，能够和驾驶者产生共情，解决现有普遍的车载助手界面中，都是通过一些简单的图形和文字进行显示，车载助手的语音提示，只是单调机械式的合成语音，无法真正达到共情的问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种车载助手的拟人化交互方法，其特征在于，所述方法包括：
步骤S11、播放与预设触发条件对应的表情指引操作和语音指引操作，并录入包含拟人对象的表情和语音的语音视频流数据；
步骤S12、将所述语音视频流数据进行图像和语音分离，对被分离的所述图像以帧为单元按照一个时序单位进行顺序归集；
步骤S13、从每一时序单位中的帧图像提取出一帧图像，提取所述一帧图像的人脸特征，将每一时序单位中提取的所述人脸特征构建为对应所述表情指引操作的动态人脸头像元；
步骤S1、当符合预设触发条件时，将与所述预设触发条件对应的动态人脸头像元和与所述预设触发条件对应的预设动画合成；
步骤S21、对被分离的所述语音进行语音情感特征提取；
步骤S2、将与所述预设触发条件对应的语音情感特征和与所述预设触发条件对应的预设语音合成；
步骤S3、播放合成的具有动画效果的所述动态人脸头像元以及合成的具有所述语音情感特征的所述预设语音。
2.如权利要求1所述方法，其特征在于，步骤S3还包括：
当检测到眼球视线时，根据眼球视线调整所述动态人脸头像元作出姿态偏向；
当不能检测到眼球视线且检测到音源时，根据音源调整所述动态人脸头像元作出姿态偏向；
当不能检测到眼球视线且不能检测到音源时，随机调整所述动态人脸头像元作出姿态偏向。
3.如权利要求1所述方法，其特征在于，步骤S3中播放合成的具有动画效果的所述动态人脸头像元具体包括：
唤醒位于显示屏的当前显示容器的下一层显示容器中休眠动态人脸播放器；
将所述下一层显示容器的所述具有动画效果的所述动态人脸头像元以背景透明的形式显示在所述当前显示容器的上一层。
4.如权利要求1所述方法，其特征在于，所述步骤S1之前还包括：
获取车内环境信号，所述车内环境信号包括发动机仓烟雾信号、车内温度信号和车内空气质量信号中的任一种；
根据所述车内环境信号，判断车内环境是否符合对应的预设触发条件。
5.如权利要求4所述方法，其特征在于，根据获取的发动机仓烟雾信号，判定所述车内环境符合烟雾信号触发条件时，
所述步骤S1具体为：将与所述烟雾信号触发条件对应的所述动态人脸头像元和与所述烟雾信号触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述烟雾信号触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述烟雾信号触发条件对应的所述语音情感特征和与所述烟雾信号触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述烟雾信号触发条件对应的语音指引操作获取的语音情感特征。
6.如权利要求4所述方法，其特征在于，根据获取的所述车内温度信号，分别比较车内温度与预设高温阈值和预设低温阈值；
当所述车内温度高于所述预设高温阈值，判定所述车内环境符合预设高温触发条件；当所述车内温度低于所述预设低温阈值，判定所述车内环境符合预设低温触发条件；
当所述车内环境符合高温触发条件时，
所述步骤S1具体为：将与所述预设高温触发条件对应的所述动态人脸头像元和与所述预设高温触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设高温触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设高温触发条件对应的所述语音情感特征和与所述预设高温触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设高温触发条件对应的语音指引操作获取的语音情感特征；
当所述车内环境符合预设低温触发条件时，
所述步骤S1具体为：将与所述预设低温触发条件对应的所述动态人脸头像元和与所述预设低温触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设低温触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设低温触发条件对应的所述语音情感特征和与所述预设低温触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设低温触发条件对应的语音指引操作获取的语音情感特征。
7.如权利要求4所述方法，其特征在于，根据获取的车内空气质量信号，比较车内空气质量信号数值与预设空气质量信号阈值；
当所述车内空气质量信号数值大于预设空气质量信号阈值，判定所述车内环境符合预设空气质量信号触发条件；
所述步骤S1具体为：将与所述预设空气质量信号触发条件对应的所述动态人脸头像元和与所述预设空气质量信号触发条件对应的预设动画合成，其中，所述动态人脸头像元为根据与所述预设空气质量信号触发条件对应的表情指引操作获取的人脸特征；
所述步骤S2具体为：将与所述预设空气质量信号触发条件对应的所述语音情感特征和与所述预设空气质量信号触发条件对应的预设语音合成，其中，所述语音情感特征为根据与所述预设空气质量信号触发条件对应的语音指引操作获取的语音情感特征。
8.一种车载助手的拟人化交互装置，其特征在于，所述装置包括：
第一合成单元，用于播放与预设触发条件对应的表情指引操作和语音指引操作，并录入包含拟人对象的表情和语音的语音视频流数据；
将所述语音视频流数据进行图像和语音分离，对被分离的所述图像以帧为单元按照一个时序单位进行顺序归集；
从每一时序单位中的帧图像提取出一帧图像，提取所述一帧图像的人脸特征，将每一时序单位中提取的所述人脸特征构建为对应所述表情指引操作的动态人脸头像元；
当符合预设触发条件时，将与所述预设触发条件对应的动态人脸头像元和与所述预设触发条件对应的预设动画合成；
第二合成单元，用于对被分离的所述语音进行语音情感特征提取；
将与所述预设触发条件对应的语音情感特征和与所述预设触发条件对应的预设语音合成；
播放单元，用于播放合成的具有动画效果的所述动态人脸头像元以及合成的具有所述语音情感特征的所述预设语音。
9.一种汽车，其特征在于，所述汽车包括如权利要求8所述车载助手的拟人化交互装置。
CN202010834708.2A 2020-08-19 2020-08-19 一种车载助手的拟人化交互方法、装置及汽车 Active CN111813491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010834708.2A CN111813491B (zh) 2020-08-19 2020-08-19 一种车载助手的拟人化交互方法、装置及汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010834708.2A CN111813491B (zh) 2020-08-19 2020-08-19 一种车载助手的拟人化交互方法、装置及汽车

Publications (2)

Publication Number Publication Date
CN111813491A CN111813491A (zh) 2020-10-23
CN111813491B true CN111813491B (zh) 2020-12-18

Family

ID=72859481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010834708.2A Active CN111813491B (zh) 2020-08-19 2020-08-19 一种车载助手的拟人化交互方法、装置及汽车

Country Status (1)

Country Link
CN (1) CN111813491B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327705B (zh) * 2021-12-10 2023-07-14 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN115086466B (zh) * 2022-06-21 2023-08-18 安徽江淮汽车集团股份有限公司 一种基于移动终端的车载语音形象的定制方法及装置
CN117727303A (zh) * 2024-02-08 2024-03-19 翌东寰球(深圳)数字科技有限公司 一种音视频的生成方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014175703A1 (en) * 2013-04-26 2014-10-30 Samsung Electronics Co., Ltd. User terminal device for providing animation effect and display method thereof
CN108227932A (zh) * 2018-01-26 2018-06-29 上海智臻智能网络科技股份有限公司 交互意图确定方法及装置、计算机设备及存储介质
CN108845849A (zh) * 2018-05-07 2018-11-20 深圳壹账通智能科技有限公司 动画处理方法、装置、计算机设备和存储介质
CN110171372A (zh) * 2019-05-27 2019-08-27 广州小鹏汽车科技有限公司 车载终端的界面显示方法、装置及车辆
CN110599573A (zh) * 2019-09-03 2019-12-20 电子科技大学 一种基于单目相机的人脸实时交互动画的实现方法
CN110827378A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质
CN110825469A (zh) * 2019-09-18 2020-02-21 华为技术有限公司 语音助手显示方法及装置
EP2488944B1 (en) * 2009-10-15 2020-04-29 Airbiquity, Inc. Centralized management of motor vehicle software applications and services

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9285944B1 (en) * 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US9349234B2 (en) * 2012-03-14 2016-05-24 Autoconnect Holdings Llc Vehicle to vehicle social and business communications
CN103818311A (zh) * 2012-11-19 2014-05-28 泓谷(大连)科技发展有限公司 一种载重车辆运行的动画提示系统
RU2014111971A (ru) * 2014-03-28 2015-10-10 Юрий Михайлович Буров Способ и система голосового интерфейса
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
US10623460B2 (en) * 2016-11-18 2020-04-14 Google Llc Streaming application environment with remote device input synchronization
CN107170029B (zh) * 2017-05-10 2018-03-13 广州梦映动漫网络科技有限公司 一种动漫角色素材组合的显示方法、存储设备及电子设备
US10373364B2 (en) * 2017-05-17 2019-08-06 Google Llc Termination of animation
CN110009716B (zh) * 2019-03-28 2023-09-26 网易（杭州）网络有限公司 面部表情的生成方法、装置、电子设备及存储介质
CN111311339A (zh) * 2020-05-09 2020-06-19 支付宝(杭州)信息技术有限公司 一种目标对象展示方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2488944B1 (en) * 2009-10-15 2020-04-29 Airbiquity, Inc. Centralized management of motor vehicle software applications and services
WO2014175703A1 (en) * 2013-04-26 2014-10-30 Samsung Electronics Co., Ltd. User terminal device for providing animation effect and display method thereof
CN108227932A (zh) * 2018-01-26 2018-06-29 上海智臻智能网络科技股份有限公司 交互意图确定方法及装置、计算机设备及存储介质
CN108845849A (zh) * 2018-05-07 2018-11-20 深圳壹账通智能科技有限公司 动画处理方法、装置、计算机设备和存储介质
CN110171372A (zh) * 2019-05-27 2019-08-27 广州小鹏汽车科技有限公司 车载终端的界面显示方法、装置及车辆
CN110599573A (zh) * 2019-09-03 2019-12-20 电子科技大学 一种基于单目相机的人脸实时交互动画的实现方法
CN110825469A (zh) * 2019-09-18 2020-02-21 华为技术有限公司 语音助手显示方法及装置
CN110827378A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
客车车身计算机辅助造型与动画演示设计;李曦;《客车技术与研究》;20060630;第17页-第21页 *

Also Published As

Publication number Publication date
CN111813491A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111813491B (zh) 一种车载助手的拟人化交互方法、装置及汽车
US9704484B2 (en) Speech recognition method and speech recognition device
US11014508B2 (en) Communication support system, communication support method, and storage medium
JP2019158975A (ja) 発話システム
JP2014096632A (ja) 撮像システム
JP6969493B2 (ja) 映像出力装置、映像出力方法、及びコンピュータプログラム
CN113139070A (zh) 车内用户的交互方法、装置、计算机设备和存储介质
CN112954486B (zh) 基于视线注意力的车载视频留痕处理方法
CN112455365A (zh) 针对车内后排座椅的监控方法、系统、设备及存储介质
CN112511746A (zh) 车内拍照处理方法及装置、计算机可读存储介质
CN116883977A (zh) 一种乘客状态监控方法、装置、终端设备和车辆
CN110908576A (zh) 车辆系统/车辆应用显示方法、装置及电子设备
CN114760417A (zh) 一种图像拍摄方法和装置、电子设备和存储介质
CN114170559A (zh) 车载设备的控制方法、装置和车辆
CN111736700A (zh) 基于数字人的车舱交互方法、装置及车辆
WO2021196751A1 (zh) 基于数字人的车舱交互方法、装置及车辆
CN114390254B (zh) 一种后排驾驶舱监控方法、装置及车辆
JP2019191859A (ja) 車両の情報提示装置及び車両の情報提示方法
CN115696174A (zh) 听音位调节方法、装置、电子设备、存储介质及车辆
CN117930690A (zh) 用于儿童的车载辅助控制系统、方法、存储介质及设备
JP2022061873A (ja) 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
CN115473987A (zh) 交互方法、装置、电子设备和存储介质
CN114842532A (zh) 一种基于ai的安卓端车载相机显示拍照方法
CN115139900A (zh) 一种信息提醒方法、电子设备及存储介质
CN116486383A (zh) 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant