CN115951779A - 车载数字虚拟形象交互、生成方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种车载数字虚拟形象交互、生成方法、装置、设备及介质，该方法通过获取车辆的内在交互数据和外在交互数据，根据内在交互数据和外在交互数据确定决策指令，控制车辆执行决策指令，以及基于决策指令确定车辆的车载数字虚拟形象的展示内容，并进行展示，以使车载数字虚拟形象与车辆用户进行交互，提供了一种针对于车端的车载数字虚拟形象交互的方案，结合了车辆的内在交互数据和外在交互数据来进行互动，使得互动更具有针对性和更符合车辆使用的要求，有效的提升了用户的体验度。

Description

车载数字虚拟形象交互、生成方法、装置、设备及介质

技术领域

本发明实施例涉及车辆技术领域，具体涉及一种车载数字虚拟形象交互、生成方法、装置、设备及介质。

背景技术

数字虚拟人的“虚拟”指存在于非物理世界中，“数字”就是指由图形学、人工智能、动作捕捉、语音合成等技术手段而创造；“人”则指具有近人的如外貌、表情等交互的特征，随着概念与技术的完善，数字虚拟人的外观与类型也更加多样。

而随着智能网联汽车技术的普及与发展，使得数字虚拟人在汽车上应用得以成为可能。但在其他领域如动画领域中的数字虚拟人的相关技术并不能直接应用于车辆的数字虚拟人的领域中，一个重要的原因在于，车载的数字虚拟人，或者称之为车载数字虚拟形象按照一定规则进行预先设定其动画和语音，重复播放某一片段，而并不能与车辆的车辆用户进行交互的数字虚拟人并不能满足车端的需求，因此，亟需一种针对于车端的车载数字虚拟形象交互的方案。

发明内容

鉴于以上所述现有技术的缺点，本发明实施例提供一种车载数字虚拟形象交互、生成方法、装置、设备及介质，以解决上述技术问题。

本发明实施例提供的车载数字虚拟形象交互方法，所述方法包括：获取车辆的内在交互数据和外在交互数据，所述内在交互数据用户表征车辆自身的交互数据，所述外在交互数据用于表征车辆环境与车辆用户的交互数据；根据所述内在交互数据和所述外在交互数据确定决策指令；控制所述车辆执行所述决策指令，以及基于所述决策指令确定所述车辆的车载数字虚拟形象的展示内容，并进行展示，以使所述车载数字虚拟形象与所述车辆用户进行交互。

于本发明一实施例中，获取车辆的外在交互数据之前，所述车载数字虚拟形象交互方法还包括：获取车辆环境语音数据，对所述车辆环境语音数据进行语音识别和自然语言处理得到语音数据；通过数据埋点和事件上传采集用户对所述车辆的目标对象的触控数据；通过所述车辆的图像数据采集装置采集所述车辆的车辆图像数据，对所述车辆图像数据进行目标识别或事件分类处理中至少之一，得到图像融合数据；基于所述语音数据、所述触控数据和所述图像融合数据中至少之一生成所述外在交互数据。

于本发明一实施例中，获取车辆的内在交互数据之前，所述车载数字虚拟形象交互方法还包括：获取车辆多个目标设备的状态数据；基于至少一个所述状态数据，生成所述内在交互数据。

于本发明一实施例中，根据所述内在交互数据和所述外在交互数据确定决策指令包括：根据所述内在交互数据和所述外在交互数据以及预先设定的决策规则确定决策指令，所述决策指令包括车身控制指令、应用控制指令、查询指令、闲聊指令、精灵交互反馈指令、疲劳提醒指令、分心提醒指令、危险预警指令、老幼模式切换指令、抽烟识别指令、骨骼识别指令、车况同显指令和故障解读指令中至少之一。

于本发明一实施例中，基于所述决策指令确定所述车辆的车载数字虚拟形象的展示方式包括：将所述决策指令与预设的展示形式策略进行匹配，确定所述决策指令的展示形式，所述展示形式包括语音展示、动画展示中至少之一,所述预设的展示形式策略包括多个预设决策指令,以及各所述预设决策指令对应的展示形式；将所述决策指令与预设的展示文本策略进行匹配，确定所述决策指令的展示文本,所述预设的展示文本策略包括预设决策指令，以及各所述预设决策指令对应的展示文本；基于所述展示形式和所述展示文本中至少之一确定所述车载数字虚拟形象的展示方式。

于本发明一实施例中，若所述展示形式包括语音展示，以及若所述外在交互数据包括语音数据，基于所述决策指令确定所述车辆的车载数字虚拟形象的展示内容还包括：将所述语音数据与预设闲聊数据库进行比对；若所述预设闲聊数据库包括所述语音数据，将所述预设闲聊数据库中与所述语音数据匹配的一预设关联数据确定为应答文本，并通过所述车载数字虚拟形象播报所述应答文本；若所述预设闲聊数据库不包括所述语音数据，将所述语音数据与预设常用问题数据库进行比对，将所述预设常用问题数据库中与所述语音数据匹配的一预设回答数据确定为应答文本，并通过所述车载数字虚拟形象播报所述应答文本。

于本发明一实施例中，将所述语音数据与预设闲聊数据库进行比对之前，所述车载数字虚拟形象交互方法还包括：对所述语音数据进行合法性审核；若所述语音数据合法，将所述语音数据与预设闲聊数据库进行比对。

于本发明一实施例中，基于所述展示形式和所述展示文本中至少之一确定所述车载数字虚拟形象的展示方式还包括：获取所述车辆的当前场景，基于所述当前场景确定与所述当前场景匹配的预设动作策略和预设播报策略中至少之一；基于所述预设动作策略、所述预设播报策略、所述展示形式和所述展示文本中至少之一确定所述车载数字虚拟形象的展示方式。

本发明实施例提供的一种车载数字虚拟形象生成方法，包括：获取初始数字虚拟形象数据，所述初始数字虚拟形象数据包括名称、描述、缩略图、形象、组合资源和预览形象中至少之一；基于所述初始数字虚拟形象数据生成初始数字虚拟形象；创建预设技能能力，所述预设技能能力包括对话技能能力、任务成长路线、场景交互策略中至少之一；关联所述初始数字虚拟形象与预设技能能力，生成车载数字虚拟形象。

本发明实施例提供的一种车载数字虚拟形象交互装置，所述装置包括：获取模块，用于获取车辆的内在交互数据和外在交互数据，所述内在交互数据用户表征车辆自身的交互数据，所述外在交互数据用于表征车辆环境与车辆用户的交互数据；决策模块，用于根据所述内在交互数据和所述外在交互数据确定决策指令；交互模块，用于控制所述车辆执行所述决策指令，以及基于所述决策指令确定所述车辆的车载数字虚拟形象的展示内容，并进行展示，以使所述车载数字虚拟形象与所述车辆用户进行交互。

本发明实施例提供的一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述任一项实施例所述的互方法。

本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行上述任一项实施例所述的方法。

本发明实施例的有益效果：本发明实施例中的车载数字虚拟形象交互、生成方法、装置、设备及介质，该方法通过获取车辆的内在交互数据和外在交互数据，根据内在交互数据和外在交互数据确定决策指令，控制车辆执行决策指令，以及基于决策指令确定车辆的车载数字虚拟形象的展示内容，并进行展示，以使车载数字虚拟形象与车辆用户进行交互，提供了一种针对于车端的车载数字虚拟形象交互的方案，结合了车辆的内在交互数据和外在交互数据来进行互动，使得互动更具有针对性和更符合车辆使用的要求，有效的提升了用户的体验度_。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请一示例性实施例示出的系统架构图；

图2是本申请的一示例性实施例示出的车载数字虚拟形象交互方法的流程图。；

图3是本申请的一示例性实施例示出的车载数字虚拟形象生成方法的流程图；

图4是本申请的一示例性实施例示出的车载数字虚拟形象交互装置的框图；

图5是本申请的一示例性实施例示出的车载数字虚拟形象整体业务架构的框图；

图6是本申请的一示例性实施例示出的车载数字虚拟形象生成装置的框图；

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

请参见图1，图1为本申请一示例性实施例示出的系统架构图。如图1所示，车辆101将车辆自身或者其他设备采集的该车辆的内在交互数据和外在交互数据上传至云端服务器102，云端服务器基于该内在交互数据和外在交互数据和云端服务器预先配置的多种决策策略确定针对于该车辆的决策指令，并下发至该车辆，以控制该车辆执行该决策指令，以及基于该决策指令确定车辆的车载数字虚拟形象的展示内容，并展示，这样，可以实现车载数字虚拟形象与车辆用户进行交互，同时，该交互并非是一成不变的，而是基于车辆的内资交互数据和外在交互数据有针对性的控制车载数字虚拟形象进行展示，更加生动、互动性强、趣味性加。需要说明的是，为使车端更为轻量化，故上述实施例采用的是车云交互的方式实现本实施例中所提供的各种方法，但若车端功能足够强大，且也不需要考虑资源的问题，本实施例方法的实现也可以直接基于车端的处理器和存储器实现，具体的实现方式在此不做限定，可以由本领域技术人员根据需要进行选择。

相关技术中，按技术分类，虚拟数字人可分为算法驱动型和真人驱动型；按视觉维度，分为2D型和3D型；依照商业模式分类，分为服务型和演绎型，一种可选的虚拟数字人制作环节为形象生成、动画生成和语音合成，从而赋予数字人长相、行动以及对话的能力。通过3D建模、CG渲染、动作捕捉、语音处理等几大步骤。建模可以设计数字人的外貌；驱动可以培养数字人的动作能力，这又分为真人驱动和智能驱动。真人驱动是指通过捕捉技术采集真人演员的动作和面部表情数据，之后将这些数据迁移合成到虚拟数字人身上；而智能驱动则是数字人基于算法深度学习唇动、表情、语音语调等；最后渲染技术将对虚拟人的外观、动作的精细流畅程度进行调整，保证虚拟人所处环境表现效果的良好。

发明人发现，而随着智能网联汽车技术的普及与发展，使得数字虚拟人在汽车上应用得以成为可能。但在其他领域如动画领域中的数字虚拟人的相关技术并不能直接应用于车辆的数字虚拟人的领域中，一个重要的原因在于，车载的数字虚拟人，或者称之为车载数字虚拟形象按照一定规则进行预先设定其动画和语音，重复播放某一片段，而并不能与车辆的车辆用户进行交互的数字虚拟人并不能满足车端的需求，因此，亟需一种针对于车端的车载数字虚拟形象交互的方案。为解决上述问题，本申请的实施例分别提出一种车载数字虚拟形象交互方法、一种车载数字虚拟形象生成方法、一种车载数字虚拟形象交互装置、一种车载数字虚拟形象生成装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品，以下将对这些实施例进行详细描述。

请参阅图2，图2是本申请的一示例性实施例示出的车载数字虚拟形象交互方法的流程图。该方法可以通过图1所示的系统架构所执行，也可以通过本领域技术人员所知晓的其他实施环境执行。如图2所示，在一示例性的实施例中，该车载数字虚拟形象交互方法至少包括步骤S201至步骤S203，详细介绍如下：

步骤S201，获取车辆的内在交互数据和外在交互数据。

其中，内在交互数据用户表征车辆自身的交互数据，外在交互数据用于表征车辆环境与车辆用户的交互数据。

该内在交互数据和外在交互数据可以由车辆自身的传感器等设备采集，也可以由车辆自身的设备与外部设备联合采集。比如，可以由交通信号灯系统采集车辆当前所要经过的第一个路口的交通信号等的亮灯情况，并传输给车辆，车辆将该亮灯情况作为外在交互数据的一种，与车辆自身的如雷达等所采集的点云数据一并作为外在交互数据。

在一实施例中，获取车辆的外在交互数据之前，该车载数字虚拟形象交互方法还包括：

获取车辆环境语音数据，对车辆环境语音数据进行语音识别和自然语言处理得到语音数据，该车辆环境语音数据可以为设置于车辆内部的麦克风采集车辆内部的车辆用户(驾乘人员)的聊天语音等，该车辆环境语音数据也可以为设置于车辆外部的麦克风所采集的车辆外部的声音，如该车辆前方或后方等相邻方位车辆的鸣笛声音、隧道中的警示声音、救护车鸣笛声音、救火车鸣笛声音、行人的呼喊声音等，对车辆环境语音数据进行语音识别可以采用ASR(Automaticspeechrecognition，自动语音识别技术)，一种将人的语音转换为文本的技术和NLU(Naturallanguageprocessing，自然语言处理技术)实现，也可以由具有语音识别和自然语言处理功能的数字虚拟形象处理得到；

通过数据埋点和事件上传采集用户对车辆的目标对象的触控数据，其中目标对象可以为车端车机的显示屏、物理按键、各车端传感器等，比如对车辆终端如多媒体显示屏进行切换歌曲的触控处理等的触控信号进行采集等，还可以是对车辆用户对车载数字虚拟形象的按压、滑动等信号的采集；

通过车辆的图像数据采集装置采集车辆的车辆图像数据，对车辆图像数据进行目标识别或事件分类处理中至少之一，得到图像融合数据，可以通过车辆的摄像头、雷达、DMS(Driver Monitoring System，驾驶员监控系统)采集得到视频、图片数据，然后对采集得到的车辆图像数据进行目标识别，比如烟头的识别，或者进行事件分类，比如前方道路的拥挤与否等，对上述目标识别的结果和事件分类的结果进行融合，得到图像融合数据；

基于语音数据、触控数据和图像融合数据中至少之一生成外在交互数据。

可见，外在交互数据可以体现为听觉、触觉和视觉，能够基于该外在交互数据实现车辆用户与车辆环境(外在环境)的交互情况。当然，在后续的技术发展中，车辆的外在交互数据还可以升级到包括有嗅觉数据，这样可以更加快速的识别得到车辆外部起火等事件。

在一实施例中，获取车辆的内在交互数据之前，该车载数字虚拟形象交互方法还包括：

获取车辆多个目标设备的状态数据；

基于至少一个状态数据，生成内在交互数据。

其中，目标设备包括但不限于车端的VIU、C2等控制器，或电池电机等零部件，状态数据可以为由车端的VIU、C2等控制器，或电池电机等零部件自动上报的数据等，可以通过该车辆的内在交互数据实现与车本身或系统的交互。

在一实施例中，可以预先对车载数字虚拟形象构建感知层、融合/决策层、执行层、展示/表现四层平台能力架构，一种示例性的实现方式如下：

a)由ASR(Automaticspeechrecognition)自动语音识别技术(一种将人的语音转换为文本的技术)和NLU(Naturallanguageprocessing)自然语言处理技术构成“语言中枢”，使数字虚拟形象可以处理由麦克风收集来的语音数据；

b)由数据埋点及事件上传&处理构成的“触觉中枢”，可以处理由屏幕/按键/

传感器等收集的数据；

c)由识别算法与分类模型等构成的“视觉中枢”：可以处理由摄像头、雷达、

DMS等收集的视频、图像数据。

步骤S202，根据内在交互数据和所述交互数据确定决策指令。

在一实施例中，根据内在交互数据和外在交互数据确定决策指令包括：

根据内在交互数据和外在交互数据以及预先设定的决策规则确定决策指令，决策指令包括车身控制指令、应用控制指令、查询指令、闲聊指令、精灵交互反馈指令、疲劳提醒指令、分心提醒指令、危险预警指令、老幼模式切换指令、抽烟识别指令、骨骼识别指令、车况同显指令和故障解读指令中至少之一。

决策指令的生成可以采用本领域技术人员所知晓的方式实现，比对，对雷达采集到的车辆前方道路上的前方车辆的情况所生成的外在交互数据，可以基于目标识别技术确定本车与前车的距离，进而进行车距控制等决策，比如刹车，生成车身控制指令和危险预警指令，作为决策指令。又例如，基于车辆的转向灯的触控信号生成的外在交互数据，可以生成控制车辆转向灯启闭的决策指令，此时该决策指令为车身控制指令，控制车辆的转向灯启闭。又例如，基于车辆中控屏的触控信号所得到的外在交互数据，可以生成控制车辆的中控屏当前所显示的应用，或者应用的音量、亮度、显示内容的切换等的决策指令，此时该决策指令可以理解为应用控制指令。又例如，基于车辆用户的语音信息得到的外在交互数据，该语音信息表征车辆用户需要查询天气，则可以生成查询天气的决策指令，此时，该决策指令可以理解为查询指令。又例如，当检测到车辆用户具有闲聊倾向时(比如检测到闲聊触发的关键词或语句等)，则决策指令为闲聊指令，指示车载数字虚拟形象与车辆用户进行闲聊。又例如，当前车辆用户发出某一要求的语音，比如关闭车窗，一方面会生成车身控制指令，以关闭车窗，另一方面会生成精灵交互反馈指令，告知车辆用户车窗已关闭，比如通过语音反馈“搞定”等。又例如，通过车内摄像头采集驾驶员的脸部图像得到外部交互数据，检测驾驶员的眼睛状态，若闭眼的时长过长，则判断可能出现疲劳驾驶，此时，可以生成疲劳提醒指令作为决策指令。又例如，通过车内摄像头采集驾驶员的驾驶位图像得到外部交互数据，若检测到该图像中驾驶员正在接打电话，则可以生成分心提醒指令作为决策指令。又例如，还可以采集当前驾驶员的面部图像作为外部交互数据，并对驾驶员进行年龄检测，基于其年龄生成老幼模型切换指令作为决策指令。又例如，通过车内摄像头采集驾驶员的脸部图像得到外部交互数据，检测该脸部图像中是否出现了烟头，若检测到烟头，则生成抽烟识别指令作为决策指令。又例如，基于触控信号等生成骨骼识别指令，通过车内摄像头采集驾驶员的驾驶位图像，对驾驶员进行骨骼识别。又例如，基于车辆用户的语音提取到车辆用户的意图为车况同步显示或者当前故障原因，则可以生成车况同显指令和故障解读指令作为决策指令。需要说明的是，上述实施例仅作为一个示例，本领域技术人员还可以根据自身的需要进行对应的决策指令生成方式的选取。

车载数字虚拟形象通过“语言中枢”、“触觉中枢”、“视觉中枢”，结合仲裁规则，构成了平台能力的融合/决策层。该融合/决策层用于决策出的指令，再由云端系统下发到车端执行，包括车身控制、应用控制、查询、闲聊、疲劳提醒、分心提醒、危险预警、抽烟识别、车况同显、故障解读等。

步骤S203，控制车辆执行决策指令，以及基于决策指令确定车辆的车载数字虚拟形象的展示内容，并进行展示，以使车载数字虚拟形象与车辆用户进行交互。

一种可选的方式为，通过TTS(Texttospeech)语音合成技术、数字虚拟形象动画、数字虚拟形象播报内容等方式进行展示。

在一实施例中，基于决策指令确定车辆的车载数字虚拟形象的展示方式包括：

将决策指令与预设的展示形式策略进行匹配，确定决策指令的展示形式，展示形式包括语音展示、动画展示中至少之一,预设的展示形式策略包括多个预设决策指令,以及各预设决策指令对应的展示形式；

将决策指令与预设的展示文本策略进行匹配，确定决策指令的展示文本,预设的展示文本策略包括预设决策指令,以及各预设决策指令对应的展示文本；

基于展示形式和展示文本中至少之一确定车载数字虚拟形象的展示方式。

预先对各决策指令均配置好其所对应的展示形式、展示文本，其中，该展示文本可以仅是文本框架，比如“今天天气”，空白处可以由查询得到的结果进行填写。

在一实施例中，若展示形式包括语音展示，以及若外在交互数据包括语音数据，基于决策指令确定车辆的车载数字虚拟形象的展示内容还包括：

将语音数据与预设闲聊数据库进行比对；

若预设闲聊数据库包括语音数据，将预设闲聊数据库中与语音数据匹配的一预设关联数据确定为应答文本，并通过车载数字虚拟形象播报应答文本；

若预设闲聊数据库不包括语音数据，将语音数据与预设常用问题数据库进行比对，将预设常用问题数据库中与语音数据匹配的一预设回答数据确定为应答文本，并通过车载数字虚拟形象播报应答文本。

在一实施例中，将语音数据与预设闲聊数据库进行比对之前，还需要获取车辆当前娱乐模式，如是闲聊模式，则将语音数据与预设闲聊数据库进行比对，执行上述实施例中提供的步骤，但若是驾驶模式，则将语音数据预先与预设常用问题数据库进行比对，若比对不到结果，再与预设闲聊数据库进行比对。

预设常用问题数据库中的预设回答数据可以是回答数据所在的存储位置，比如车辆用户的诉求是知晓当前车辆的剩余电量，则该预设回答数据可以是剩余电量的数据存储位置，并将当前剩余电量作为应答文本的组成部分，此时预设回答数据可以是某一回答模板加上当前剩余电量。

预设闲聊数据库中针对于某一问题所关联的预设关联数据可以是一个或多个，当针对于一个语音数据匹配到多个预设关联数据时，可以随机选择一个预设关联数据作为应答文本，也可以基于当前车辆的场景、时间、天气、车辆用户的性别等选择合适的预设关联数据。

在一实施例中，将语音数据与预设闲聊数据库进行比对之前，车载数字虚拟形象交互方法还包括：

对语音数据进行合法性审核；

若语音数据合法，将语音数据与预设闲聊数据库进行比对。

有时，为避免车辆内部人员过多，导致人员之间的谈话被误认为语音数据，可以设定车载数字虚拟形象所应答的目标对象，目标对象可以为驾驶员等，比如仅应答车辆驾驶员的发问，此时，可以预先存储合法用户的声纹特征，将当前获取到的语音数据的声纹特征与预先存储的声纹特征进行比对，以对语音数据进行合法性审核，当审核通过，语音数据合法后，再通过上述实施例提供的方案进行应答文本的确定。当然，合法性审核的方式可以有多种，本领域技术人员可以根据需要进行选定。

在一实施例中，基于展示形式和展示文本中至少之一确定车载数字虚拟形象的展示方式还包括：

获取车辆的当前场景，基于当前场景确定与当前场景匹配的预设动作策略和预设播报策略中至少之一；

基于预设动作策略、预设播报策略、展示形式和展示文本中至少之一确定车载数字虚拟形象的展示方式。

例如，预设动作策略包括车载数字虚拟形象的动画效果、动作顺序等，预设播报策略包括但不限于播报音色、播报语速、播报语种、播报感情色彩等。

上述实施例提供的车载数字虚拟形象交互方法，通过获取车辆的内在交互数据和外在交互数据，根据内在交互数据和外在交互数据确定决策指令，控制车辆执行决策指令，以及基于决策指令确定车辆的车载数字虚拟形象的展示内容，并进行展示，以使车载数字虚拟形象与车辆用户进行交互，提供了一种针对于车端的车载数字虚拟形象交互的方案，结合了车辆的内在交互数据和外在交互数据来进行互动，使得互动更具有针对性和更符合车辆使用的要求，有效的提升了用户的体验度。

请参阅图3，图3是本申请的一示例性实施例示出的车载数字虚拟形象生成方法的流程图。如图3所示，在一示例性的实施例中，该车载数字虚拟形象生成方法至少包括步骤S301至步骤S304，详细介绍如下：

步骤S301，获取初始数字虚拟形象数据。

其中，初始数字虚拟形象数据包括名称、描述、缩略图、形象、组合资源和预览形象中至少之一。

上述初始数字虚拟形象数据可以由本领域技术人员所知晓的方式所获取，例如名称、描述可以由车辆用户根据需要自行命名，缩略图、形象、预览形象可以由开发人员预先设置多个形象，由车辆用户来进行选择，也可以由车辆用户在预先提供的图像资源的基础上，自行修改后来生成。组合资源可以是对车载数字虚拟形象的形象素材的组合等。通过上述方式能够塑造得到一个初始的数字虚拟形象。

初始数字虚拟形象数据可以是预先提供的多个数据中被车辆用户所选择的数据，也可以是由车辆用户自行设计的数据。

在一实施例中，上述初始数字虚拟形象数据可以通过形象塑造系统来获取，通过该形象塑造系统赋予精灵(车载数字虚拟形象)好看的皮囊，实现有形有影，支持平台上传精灵素材，组合精灵素材以构建精灵的皮囊。该形象塑造系统主要功能包括：形象素材上传、形象素材组合、形象预览、形象管理等。

步骤S302，基于初始数字虚拟形象数据生成初始数字虚拟形象。

初始数字虚拟形象的生成方式可以采用相关技术的技术手段实现，在此不做限定。

在生成初始数字虚拟形象的过程中，可次多次进行形象预览，并获取车辆用户修改后的新的初始数字虚拟形象数据，基于车辆用户最后确定的初始数字虚拟形象数据生成初始数字虚拟形象。

步骤S303，创建预设技能能力。

其中，创建预设技能能力包括对话技能能力、任务成长路线、场景交互策略中至少之一。

对话技能能力可以通过预先设置对话管理、对话审核、FAQ(Frequently AskedQuestions)库、对话数据分析、多轮对话流式编辑、对话记录、闲聊库等实现，具体的对话技能能力训练方式可以参考本领域技术人员所知晓的方式实现。

任务成长路线，能够赋予车载数字虚拟形象车长能力，通过后台创建&管理任务与定义成长阶段，通过预设的任务系统与成长系统来实现任务模板定义、任务管理、成长阶段定义、成长任务选取、成长阶段关联等功能。

场景交互策略，预先设置不同场景下车载数字虚拟形象的交互策略，比如在驾驶场景下、休闲场景下、紧急制动场景下，车载数字虚拟形象均有不同的互动方式，互动方式的不同可以体现在车载数字虚拟形象的外形颜色、语速、语调等方面。

赋予精灵触觉/感觉/视觉能力，实现有情有景，支持平台配置精灵不同场景下的交互策略

步骤S304，关联初始数字虚拟形象与预设技能能力，生成车载数字虚拟形象。

将初始数字虚拟形象这一外形与与预设技能能力进行关联，配置到车辆上，可以得到车载数字虚拟形象。

图4是本申请的一示例性实施例示出的车载数字虚拟形象交互装置的框图。如图4所示，该示例性的车载数字虚拟形象交互装置600包括：

获取模块601，用于获取车辆的内在交互数据和外在交互数据，内在交互数据用户表征车辆自身的交互数据，外在交互数据用于表征车辆环境与车辆用户的交互数据；

决策模块602，用于根据内在交互数据和外在交互数据确定决策指令；

交互模块603，用于控制车辆执行决策指令，以及基于决策指令确定车辆的车载数字虚拟形象的展示内容，并进行展示，以使车载数字虚拟形象与车辆用户进行交互。

需要说明的是，上述实施例所提供的车载数字虚拟形象交互装置与上述实施例图2所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

图5是本申请的一示例性实施例示出的车载数字虚拟形象整体业务架构的框图。如图5所示，将车载数字虚拟形象赋予包括“听觉”、“触觉”、“视觉”的外在交互即用户环境交互、包括“感觉”的内在交互即车系统的自身交互，通过车辆的麦克风、屏幕、按键、传感器、摄像头、雷达、DMS、VIU、C2、电池电机系统等构建感知层，来感知如低电量、故障灯等信息。构建融合决策层，通过对麦克风采集的音频进行ASR处理和NLU处理，通过埋点和事件上报形成触觉中枢，通过多个识别算法和分类模型构成视觉中枢，基于检测到感觉的多个事件的神经元，通过预设的仲裁规则，基于规则、模型和透传技术得到决策指令，通过执行层执行该决策指令，决策指令涉及到车身控制、应用控制、查询(FAQ、天气、日期等)、闲聊、精灵交互反馈(也即车载数字虚拟形象交互反馈)、应用控制、疲劳提醒、分心提醒、老幼模式、危险预警、抽烟识别、骨骼识别、车况同显、故障解读等多个方面。再通过车载数字虚拟形象展示表现，表现的方式包括但不限于TTS、精灵形象动画、精灵播报内容展示等。

图6是本申请的一示例性实施例示出的车载数字虚拟形象生成装置的框图。如图6所示，该示例性的车载数字虚拟形象生成装置800包括：

采集模块801，用于采集初始数字虚拟形象数据，初始数字虚拟形象数据包括名称、描述、缩略图、形象、组合资源和预览形象中至少之一；

形象生成模块802，用于基于初始数字虚拟形象数据生成初始数字虚拟形象；

能力创建模块803，用于创建预设技能能力，预设技能能力包括对话技能能力、任务成长路线、场景交互策略中至少之一；

生成模块804，用于关联初始数字虚拟形象与预设技能能力，生成车载数字虚拟形象。

需要说明的是，上述实施例所提供的车载数字虚拟形象生成装置与上述实施例图3所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的方法。

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图7示出的电子设备的计算机系统1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统1100包括中央处理单元(Central Processing Unit，CPU)1101，其可以根据存储在只读存储器(Read-Only Memory，ROM)1102中的程序或者从储存部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1103中，还存储有系统操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，I/O)接口1105也连接至总线1104。

以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的储存部分1108；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入储存部分1108。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的装置中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的方法。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种车载数字虚拟形象交互方法，其特征在于，所述车载数字虚拟形象交互方法包括：

获取车辆的内在交互数据和外在交互数据，所述内在交互数据用户表征车辆自身的交互数据，所述外在交互数据用于表征车辆环境与车辆用户的交互数据；

根据所述内在交互数据和所述外在交互数据确定决策指令；

控制所述车辆执行所述决策指令，以及基于所述决策指令确定所述车辆的车载数字虚拟形象的展示内容，并进行展示，以使所述车载数字虚拟形象与所述车辆用户进行交互。

2.如权利要求1所述的车载数字虚拟形象交互方法，其特征在于，获取车辆的外在交互数据之前，所述车载数字虚拟形象交互方法还包括：

获取车辆环境语音数据，对所述车辆环境语音数据进行语音识别和自然语言处理得到语音数据；

通过数据埋点和事件上传采集用户对所述车辆的目标对象的触控数据；

通过所述车辆的图像数据采集装置采集所述车辆的车辆图像数据，对所述车辆图像数据进行目标识别或事件分类处理中至少之一，得到图像融合数据；

基于所述语音数据、所述触控数据和所述图像融合数据中至少之一生成所述外在交互数据。

3.如权利要求1所述的车载数字虚拟形象交互方法，其特征在于，获取车辆的内在交互数据之前，所述车载数字虚拟形象交互方法还包括：

获取车辆多个目标设备的状态数据；

基于至少一个所述状态数据，生成所述内在交互数据。

4.如权利要求1-3任一项所述的车载数字虚拟形象交互方法，其特征在于，根据所述内在交互数据和所述外在交互数据确定决策指令包括：

根据所述内在交互数据和所述外在交互数据以及预先设定的决策规则确定决策指令，所述决策指令包括车身控制指令、应用控制指令、查询指令、闲聊指令、精灵交互反馈指令、疲劳提醒指令、分心提醒指令、危险预警指令、老幼模式切换指令、抽烟识别指令、骨骼识别指令、车况同显指令和故障解读指令中至少之一。

5.如权利要求1-3任一项所述的车载数字虚拟形象交互方法，其特征在于，基于所述决策指令确定所述车辆的车载数字虚拟形象的展示方式包括：

将所述决策指令与预设的展示形式策略进行匹配，确定所述决策指令的展示形式，所述展示形式包括语音展示、动画展示中至少之一，所述预设的展示形式策略包括多个预设决策指令,以及各所述预设决策指令对应的展示形式；

将所述决策指令与预设的展示文本策略进行匹配，确定所述决策指令的展示文本,所述预设的展示文本策略包括预设决策指令，以及各所述预设决策指令对应的展示文本；

基于所述展示形式和所述展示文本中至少之一确定所述车载数字虚拟形象的展示方式。

6.如权利要求5所述的车载数字虚拟形象交互方法，其特征在于，若所述展示形式包括语音展示，以及若所述外在交互数据包括语音数据，基于所述决策指令确定所述车辆的车载数字虚拟形象的展示内容还包括：

将所述语音数据与预设闲聊数据库进行比对；

若所述预设闲聊数据库包括所述语音数据，将所述预设闲聊数据库中与所述语音数据匹配的一预设关联数据确定为应答文本，并通过所述车载数字虚拟形象播报所述应答文本；

若所述预设闲聊数据库不包括所述语音数据，将所述语音数据与预设常用问题数据库进行比对，将所述预设常用问题数据库中与所述语音数据匹配的一预设回答数据确定为应答文本，并通过所述车载数字虚拟形象播报所述应答文本。

7.如权利要求6所述的车载数字虚拟形象交互方法，其特征在于，将所述语音数据与预设闲聊数据库进行比对之前，所述车载数字虚拟形象交互方法还包括：

对所述语音数据进行合法性审核；

若所述语音数据合法，将所述语音数据与预设闲聊数据库进行比对。

8.如权利要求5所述的车载数字虚拟形象交互方法，其特征在于，基于所述展示形式和所述展示文本中至少之一确定所述车载数字虚拟形象的展示方式还包括：

获取所述车辆的当前场景，基于所述当前场景确定与所述当前场景匹配的预设动作策略和预设播报策略中至少之一；

基于所述预设动作策略、所述预设播报策略、所述展示形式和所述展示文本中至少之一确定所述车载数字虚拟形象的展示方式。

9.一种车载数字虚拟形象生成方法，其特征在于，所述车载数字虚拟形象生成方法包括：

获取初始数字虚拟形象数据，所述初始数字虚拟形象数据包括名称、描述、缩略图、形象、组合资源和预览形象中至少之一；

基于所述初始数字虚拟形象数据生成初始数字虚拟形象；

创建预设技能能力，所述预设技能能力包括对话技能能力、任务成长路线、场景交互策略中至少之一；

关联所述初始数字虚拟形象与预设技能能力，生成车载数字虚拟形象。

10.一种车载数字虚拟形象交互装置，其特征在于，所述车载数字虚拟形象交互装置包括：

获取模块，用于获取车辆的内在交互数据和外在交互数据，所述内在交互数据用户表征车辆自身的交互数据，所述外在交互数据用于表征车辆环境与车辆用户的交互数据；

决策模块，用于根据所述内在交互数据和所述外在交互数据确定决策指令；

交互模块，用于控制所述车辆执行所述决策指令，以及基于所述决策指令确定所述车辆的车载数字虚拟形象的展示内容，并进行展示，以使所述车载数字虚拟形象与所述车辆用户进行交互。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至9中任一项所述的方法。

Images