CN116168125A - 一种虚拟形象和场景控制方法、系统、智能座舱及其车辆 - Google Patents

一种虚拟形象和场景控制方法、系统、智能座舱及其车辆 Download PDF

Info

Publication number
CN116168125A
CN116168125A CN202310160000.7A CN202310160000A CN116168125A CN 116168125 A CN116168125 A CN 116168125A CN 202310160000 A CN202310160000 A CN 202310160000A CN 116168125 A CN116168125 A CN 116168125A
Authority
CN
China
Prior art keywords
scene
virtual
emotion
voice
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310160000.7A
Other languages
English (en)
Inventor
芦聪
王聃星
郑红丽
赵默涵
张惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202310160000.7A priority Critical patent/CN116168125A/zh
Publication of CN116168125A publication Critical patent/CN116168125A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/2053D [Three Dimensional] animation driven by audio data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟形象和场景控制方法、系统、智能座舱及其车辆,具体包括:响应于接收的语音信号,将语音信号转化为语音文本;对语音文本进行数据分析,并根据用户当前的情绪曲线,结合车辆所处的场景,选择对应的情绪表达所需要的情绪维度值;根据不同的场景,生成对应的虚拟形象,并建立对应的虚拟场景,进行具象化的智能交互展现和操作。本发明通过对智能座舱的语音信号进行自动语音识别,并对语音文本进行数据分析,结合用户当前的情绪曲线、车辆所处场景及情绪表达所需要的情绪维度值,与用户进行具象化的智能交互展现和操作,使用户在座舱内使用语音场景和具体的语音形象动画建立交互,提交智能交互的体验度。

Description

一种虚拟形象和场景控制方法、系统、智能座舱及其车辆
技术领域
本发明涉及一种控制方法、系统、座舱及其车辆,尤其涉及一种虚拟形象和场景控制方法、系统、智能座舱及其车辆。
背景技术
近年来,随着智能汽车行业的蓬勃发展,智能座舱和自动驾驶成为构成智能汽车的两大核心要素,自动驾驶主要研究的是让用户减少驾驶操作的情况下如何从A点到达B点,智能座舱满足的是在A点到B点的过程中,如何调用座舱内的功能从而创造出更好的用户体验。因此智能汽车所搭载的功能日趋丰富,各大汽车品牌的在智能座舱功能上严重的同质化,让如何树立产品的品牌形象和品牌形象的差异化,成为智能座舱功能求异白热化竞争的一个重要手段。与此同时,在保证用户安全驾驶的前提下,语音控制整车功能的多寡、语音的反应速率、以及语音交互的反馈等,也逐渐成为评价智能座舱智能与否、用户体验是否良好的重要指标。
当前市面上算法存在的问题主要集中在缺少结合实际任务为导向的方法调整,缺少对于多模态数据的直观融合理念,对于非专业研究者,存在一定的技术壁垒,无法得出更好的解决办法,从而使交互缺少温度和人文关怀,难以获得有效的客户体验感,已经不能满足人们的要求。
发明内容
本发明的目的在于提供一种虚拟形象和场景控制方法、系统、智能座舱及其车辆,首先要解决的技术问题是基于智能交互生成对应的虚拟形象和建立场景,让用户在座舱内使用语音场景和具体的语音形象动画建立交互,获取良好的交互体验;其次要解决的技术问题是针对不同的场景提供不同的虚拟形象和虚拟场景,为用户提供个性化的用车体验。
本发明提供了下述方案:
一种基于智能交互的虚拟形象和场景控制方法,具体包括:
响应于接收的语音信号,将语音信号转化为语音文本;
对所述语音文本进行数据分析,并根据用户当前的情绪曲线,结合车辆所处的场景,选择对应的情绪表达所需要的情绪维度值;
根据不同的场景,生成对应的虚拟形象,并建立对应的虚拟场景;
基于所述虚拟形象和虚拟场景,进行具象化的智能交互展现和操作。
进一步的,所述情绪曲线具体为:用于描述在驾驶车辆时,用户产生的情绪与车辆的车辆动态数据的关联关系。
进一步的,所述场景和情绪维度值具体包括:
第一场景:充电桩查询、停车场查询、控制导航、路况查询、天气查询或电话沟通,在第一场景下情绪维度值为安心;
第二场景:讲笑话和闲聊,在第二场景下情绪维度值为惊喜;
第三场景:景点查询、酒店查询和美食查询,在第三场景下情绪维度值为期待;
第四场景:百科和多音区,在第四场景下情绪维度值为有趣;
第五场景:控制氛围灯、控制座椅、控制天窗、控制视频、控制音乐、控制收音机、控制空调,在第五场景下情绪维度值为愉快;
第六场景:可见可说、POI选择,在第六场景下情绪维度值为兴奋。
进一步的,在第一场景下,虚拟形象和虚拟场景包括:电量不足的特效或动作、展示查询停车位的动作;结合地图表现出向目的地出发的动作、通过放大地图的动作体现精准查找,结合天气软件进行换装,电话接通后显示蓝牙连接成功的状态;
在第二场景下,虚拟形象和虚拟场景包括:虚拟形象配合笑话和闲聊做出对应的表情;
在第三场景下,虚拟形象和虚拟场景包括:展示与景点或旅行相关的动作,展示夜晚困意来袭或想要睡觉的状态,展示出查询美食的动作;
在第四场景下,虚拟形象和虚拟场景包括:展示博学多才的形态,虚拟形象身体或面部朝向有相应变化的方向进行倾斜;
在第五场景下,虚拟形象和虚拟场景包括:反馈基本语音动作,体现向下休息和休闲状态,显示与天窗互动的动作,对应视频显示动作停止后回到原状态,显示变装或动态效果,做出关闭收音机的表情,增加趣味互动;
在第六场景下,虚拟形象和虚拟场景包括:反馈基本语音动作,展示查询动作。
进一步的,在第一场景下,所述结合天气软件进行换装,具体为结合车端或移动端的墨迹App进行换装;
在第二场景下,虚拟形象和场景结合传统节日、法定节假日、休假日,展示对应的庆祝动作及相关辅助道具。
一种基于智能交互的虚拟形象和场景控制系统,具体包括:语音信号接收转化模块,响应于接收的语音信号,将语音信号转化为语音文本;
语音文本分析和情绪维度判断模块,用于对所述语音文本进行数据分析,并根据用户当前的情绪曲线,结合车辆所处的场景,选择对应的情绪表达所需要的情绪维度值;
虚拟形象生成及虚拟场景建立模块,根据不同的场景,生成对应的虚拟形象,并建立对应的虚拟场景;
具象化智能交互模块,基于所述虚拟形象和虚拟场景,进行具象化的智能交互展现和操作。
一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行所述方法的步骤。
一种计算机可读存储介质,其存储有可由电子设备执行的计算机程序,当所述计算机程序在所述电子设备上运行时,使得所述电子设备执行所述方法的步骤。
一种智能座舱,所述智能座舱中设置有基于智能交互的虚拟形象和场景控制系统。
一种车辆,所述车辆上设置有智能座舱。
本发明与现有技术相比具有以下的优点:
本发明通过对智能座舱的语音信号进行自动语音识别,并对语音文本进行数据分析,结合用户当前的情绪曲线、车辆所处场景及情绪表达所需要的情绪维度值,生成对应的虚拟形象,并建立对应的虚拟场景,与用户进行具象化的智能交互展现和操作,使用户在座舱内使用语音场景和具体的语音形象动画建立交互,提交智能交互的体验度。
本发明还能针对不同的场景提供不同的虚拟形象和虚拟场景,基于用户当前的情绪曲线、车辆所处场景及情绪表达所需要的情绪维度值,生成不同的虚拟形象和虚拟场景,在语音控制整车功能时,配合进行形态变化,增强智能座舱内的用户体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是基于智能交互的虚拟形象和场景控制方法的流程图。
图2是基于智能交互的虚拟形象和场景控制系统的架构图。
图3是本发明实施例的一种具体应用方式。
图4是语音虚拟形象接收到指令后,由待机/默认状态变为有风吹过的状态。
图5是形象拟人化惬意的呈现形态之一。
图6是形象拟人化惬意的呈现形态之二。
图7是形象拟人化惬意的呈现形态之三。
图8是电子设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中,将打造品牌形象和增强语音功能的用户体验度作为结合点,将用户在座舱内使用语音场景和具体的语音形象动画建立交互,本发明实施例解决的技术问题是语音形象在场景中显示的必要性,数据视角下AI语音传播的发展探析等,在相关领域较少有从数据的综合效果角度进行研究。
语音形象与场景的建立解决了汽车品牌的语音形象和场景研究的关联度、形象吸引力、形象时代感、形象创造性、形象生动性、形象认同感、形象品质感、语音音频的打分、声音的第一感受、音频年龄、音频职业、音频性格气质、音频符合气质、音频符合语气、语调起伏程度、语速快慢程度、说话强弱程度多个方面对品牌的语音人物形象进行评价,可以很好的分析出不同驾驶年限的人对于车载智能语音形象的评价,且性别,年龄,职业及教育程度分布均衡有利于更好的进行语音形象的市场投入。我们通过文案调研法、实地调研法、特殊调研法和竞争对手调研法来对市面上整车厂及车企语音形象进行分析,搜集大量资料,深度研究目标群体喜好,利用多元化的创意表现手法,帮助车企更好地孵化智能语音助手,获得更高效的品牌流量增长,同时使整车交互在用户体验方面有卓越提升。
本发明实施例所提出的智能语音形象与场景交互的建立,包括至少五个串联的必要元素:
(1)语音可控制的整车功能;
(2)语音可控制的整车功能对应的语料库;
(3)落实到实际应用中的操作场景;
(4)用户体验的痛点及优化点;
(5)具有品牌基因的虚拟形象;
其中对于具有品牌基因的语音形象设计应追求的用户对品牌价值和文化的认同,提供给用户的是一种情感的寄托;实际应用中的操作场景讲究的是在保障安全驾驶的情况下,通过语音可调用的某一整车功能,要求智能语音形象进行简单有效的交互显示;根据用户体验的痛点和优化点,要求语音形象的反馈更像一个有个性和温度的真人,凸显其智能的特性,例如:在汽车驾驶过程中,通过语音调整空调温度的场景下,我们根据用户惯常的说话习惯形成控制该功能的语料库,并发出相应指令,如“我要开空调”“帮我调高/低温度”、“设置温度到xx度”,目前市面上大多数类似产品会直接通过语音进行指令完成的回复,如“好的,已为您打开空调”、“温度已为您设置成xx度”、“空调功能已开启”等,仅能回应交互意图,不能达到提升用户体验的意图,故在本发明实施例中,除正常的语音交互外,借助具体的语音形象,打通多模态交互形态,配合动效进行显示---在语音形象接收到指令后,由待机/默认状态变为有风吹过,形象拟人化惬意的呈现形态,使形象做到真正懂人理解人的高度智能语音形象,打造具有品牌的专属属性,为后续的品牌推广做基础储备,增加用户粘性,从而产生品牌收益。
在下面的实施例的在语音可调控的整车功能中,我们将根据对标分析、目标用户跟访、用户旅行图等方法,进行了用户在使用过程中的痛点挖掘,从而优化用户体验,为语音助手形象的设计提供现实的理论依据。
可以理解的是,在本发明实施例中虚拟形象和虚拟场景不可分割,即使在肉眼上只看到了虚拟形象,没有看到虚拟场景,但虚拟场景也是存在的,比如可以是单色的背景色,也可以是只有颜色没有图案的渐变色背景色,只不过在应用层面上普通观众难以察觉而已。
如图1所示的基于智能交互的虚拟形象和场景控制方法的流程,具体包括:
步骤S1,响应于接收的语音信号,将语音信号转化为语音文本;示例性的,利用自动语音识别技术将语音信号转化为语音文本;
步骤S2,对语音文本进行数据分析,并根据用户当前的情绪曲线,结合车辆所处的场景,选择对应的情绪表达所需要的情绪维度值;显然,在本发明实施例中,“用户”包括驾驶员和非驾驶员的乘车人员;
具体的,情绪曲线具体为:用于描述在驾驶车辆时,用户产生的情绪与车辆的车辆动态数据的关联关系。
示例性的,情绪曲线还可以是:基于用户的实时会话数据,将实时会话数据进行语义拆分和数据分析,获取用户的会话数据,基于用户的会话数据绘制用户的情绪曲线,根据用户的情绪曲线与平和状态下进行会话的情绪曲线进行对比,判断情绪曲线的偏差值是否大于预设的偏差值,据此绘制用户的情绪曲线。
示例性的,在对用户的实时会话数据进行拆分和数据分析时,确定目标文本信息中各个文本段包含的虚拟对象的情绪参数,同时结合预设的情绪曲线参数,生成连续的情绪曲线,使用户在特定场景下展现产生的情绪变化能够量化并具备可处理性。
具体的,根据不同的场景,确定场景对应的情绪维度值,具体包括:
第一场景:充电桩查询、停车场查询、控制导航、路况查询、天气查询或电话沟通,在第一场景下情绪维度值为安心;
第二场景:讲笑话和闲聊,在第二场景下情绪维度值为惊喜;
第三场景:景点查询、酒店查询和美食查询,在第三场景下情绪维度值为期待;
第四场景:百科和多音区,在第四场景下情绪维度值为有趣;
第五场景:控制氛围灯、控制座椅、控制天窗、控制视频、控制音乐、控制收音机、控制空调,在第五场景下情绪维度值为愉快;
第六场景:可见可说、POI选择,在第六场景下情绪维度值为兴奋。
具体的,在第一场景下,虚拟形象和虚拟场景包括:电量不足的特效或动作、展示查询停车位的动作;结合地图表现出向目的地出发的动作、通过放大地图的动作体现精准查找,结合天气软件进行换装,电话接通后显示蓝牙连接成功的状态;示例性的,天气软件可以选用墨迹App;
在第二场景下,虚拟形象和虚拟场景包括:虚拟形象配合笑话和闲聊做出对应的表情;
在第三场景下,虚拟形象和虚拟场景包括:展示与景点或旅行相关的动作,展示夜晚困意来袭或想要睡觉的状态,展示出查询美食的动作;
在第四场景下,虚拟形象和虚拟场景包括:展示博学多才的形态,虚拟形象身体或面部朝向有相应变化的方向进行倾斜;
在第五场景下,虚拟形象和虚拟场景包括:反馈基本语音动作,体现向下休息和休闲状态,显示与天窗互动的动作,对应视频显示动作停止后回到原状态,显示变装或动态效果,做出关闭收音机的表情,增加趣味互动;
示例性的,在第一场景下,结合天气软件进行换装,具体为结合车端或移动端的墨迹App进行换装;
示例性的,在第二场景下,虚拟形象和场景结合传统节日、法定节假日、休假日,展示对应的庆祝动作及相关辅助道具。
在第六场景下,虚拟形象和虚拟场景包括:反馈基本语音动作,展示查询动作。
需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
示例性的,采用自然语言分析的方法对语音文本进行数据分析;
步骤S3,根据不同的场景,生成对应的虚拟形象,并建立对应的虚拟场景;
步骤S4,基于所述虚拟形象和虚拟场景,进行具象化的智能交互展现和操作。
示例性的,在单人通勤场景下,模拟离家至目的地的完整用户旅程图(离家-上车-出发-行车-堵车-停车-目的地),进行功能场景还原,分析总结同一功能下的不同情绪表达。利用用户情绪曲线分析每个行为触点下的情绪波动程度,聚焦情绪波动的原因,输出不同场景下的用户痛点,以用户痛点为核心,提出针对性的解决方案,生成对应的虚拟形象并建立对应的虚拟场景。
可以理解的是,在本发明实施例中具象化指的是非抽象化,可以是抽象化的逆过程,例如可以是虚拟出一个物体的总体形貌或者局部细节,也可以是将一个抽象的概念、情绪、心理通过具体的图形、图像、度量进行表达,本领域技术人员凭借其掌握的本领域普通技术知识,即可在第一时间识别出虚拟形象与虚拟场景和当前真实场景、真实车辆操作、车况之间的关系。
对于上述实施例公开的方法步骤,出于简单描述的目的将方法步骤表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
流程图或以其他方式描述的任何过程或方法描述可以被理解为:表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序执行并实现功能,或者按照循环、分支等程序结构执行计算机指令并实现相应的功能,这是本领域技术人员在实施本发明实施例时理所当然可以理解的。
如图2所示的智能交互的虚拟形象和场景控制系统架构,具体包括:
语音信号接收转化模块,响应于接收的语音信号,将语音信号转化为语音文本;
语音文本分析和情绪维度判断模块,用于对所述语音文本进行数据分析,并根据用户当前的情绪曲线,结合车辆所处的场景,选择对应的情绪表达所需要的情绪维度值;
虚拟形象生成及虚拟场景建立模块,根据不同的场景,生成对应的虚拟形象,并建立对应的虚拟场景;
具象化智能交互模块,基于所述虚拟形象和虚拟场景,进行具象化的智能交互展现和操作。
值得注意的是,虽然在本发明实施例中只披露了一些基本功能模块,但并不意味着本系统的组成仅仅局限于上述基本功能模块,相反,本实施例所要表达的意思是:在上述基本功能模块的基础之上本领域技术人员可以结合现有技术任意添加一个或多个功能模块,形成无穷多个实施例或技术方案,也就是说本系统是开放式而非封闭式的,不能因为本实施例仅仅披露了个别基本功能模块,就认为本发明权利要求的保护范围局限于所公开的基本功能模块。同时,为了描述的方便,描述以上装置时以功能分为各种单元、模块分别描述。当然在实施本发明时可以把各单元、模块的功能在同一个或多个软件和/或硬件中实现。
以上所描述的系统的实施方式仅仅是示意性的,例如:其中作为系统中的各个功能模块、单元或子系统等可以是也可以不是物理上分开的,或者可以是或者也可以不是物理单元,即可以位于同一个地方,也可以分布到多个不同的系统及其子系统或模块上。本领域技术人员可以根据实际的需要选择其中的部分或者全部功能模块、单元或子系统来实现本发明实施例的目的,对于上述情形本领域普通技术人员在不付出创造性劳动的情况下即可以理解并实施。
如图3所示,图3示意性示出了根据本发明实施例的一个可能的系统架构。需要注意的是,图3所示仅为可以应用本发明实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
根据该实施例的系统架构100可以包括车端Vehicle001,网络NetworkClouds和服务器Server001、服务器Server002。网络NetworkClouds用以在车端Vehicle001和服务器Server001和/或服务器Server002之间提供通信链路的介质。网络NetworkClouds可以包括各种连接无线通信类型,例如无线通信链路,等等。
用户可以使用车端Vehicle001通过网络NetworkClouds与服务器Server001、服务器Server002交互,以生成虚拟形象和建立虚拟场景,等等。车端Vehicle001上可以安装有各种车载电子装置,以通过网络NetworkClouds与服务器Server001、服务器Server002之间实现车-端协作,例如根据不同的车况、不同用户的情绪曲线生成虚拟形象和建立虚拟场景,通过车端与云端(例如:服务器Server001、服务器Server002)的通信交互,实现与生成虚拟形象和建立虚拟场景相关的通信交互,并进行存储和调用。
车端Vehicle001可以是现有技术中的车载电子设备,服务器Server001、服务器Server002可以是提供各种服务的服务器,例如对服务器Server001、服务器Server002所涉及的虚拟形象、虚拟场景提供技术支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的车端请求等数据进行分析等处理,并将处理结果(例如根据车端Vehicle001请求获取或生成的虚拟形象、虚拟场景等)反馈给车端Vehicle001。另外,服务器Server001、服务器Server002还可以是云服务器,即服务器Server001、服务器Server002具有云计算功能。
需要说明的是,本发明实施例所提供的基于智能交互的虚拟形象和场景控制方法可以由车端Vehicle001执行,相应地,本发明实施例所提供的基于智能交互的虚拟形象和场景控制系统可以设置于车端Vehicle001中。
在一个可能的实施例中,车端Vehicle001可以基于智能交互向云端提出虚拟形象和场景的请求,并将请求通过网络NetworkClouds发送给服务器Server001和/或服务器Server002。服务器Server001、服务器Server002可以通过网络NetworkClouds接收来自车端Vehicle001的请求,并基于智能交互的规则,结合车端Vehicle001实际所处的车况和场景(例如在本发明说明书中公开的第一至第六场景),向车端Vehicle001发送响应报文,将车端Vehicle001所需的虚拟形象和虚拟场景通过网络NetworkClouds返回给车端Vehicle001。
应该理解,在本发明实施例中车端Vehicle001、网络NetworkClouds和服务器Server001、服务器Server002的数目仅仅是示意性的。在不用的应用场景下,根据实现需要可以具有任意数目的车端设备、车载电子设备、网络和服务器。
本发明实施例提供了一种单人通勤场景的具体应用方式:
以单人通勤场景为例,模拟离家至目的地的完整用户旅程图(离家-上车-出发-行车-堵车-停车-目的地),进行功能场景还原,通过头脑风暴分析总结同一功能下的不同情绪表达。利用用户情绪曲线分析每个行为触点下的情绪波动程度,聚焦情绪波动的原因,输出不同场景下的用户痛点,以用户痛点为核心,提出针对性的解决方案,进而重新定义不同场景下的情绪表达,共6个情绪维度,具体如表1所示:
表1用户痛点、解决方案与情绪表达
Figure BDA0004093778110000131
Figure BDA0004093778110000141
在上述实施例的基础上,总结出了与生成虚拟形象和建立虚拟场景相关的设计要求与原则:
用户痛点与解决方案的提出更深入的确定了不同场景下通过场景还原分析,细致阐述了场景的情绪性特点。研究发现,解决方案对应不同的任务内容,从任务性质的角度将其细分为6类任务场景,针对任务特性提出设计原则和要求,具体如表2,直接指导车载语音助手场景的设计。
表2设计要求与原则
Figure BDA0004093778110000142
Figure BDA0004093778110000151
结合上述实施例及其具体应用场景的内容,可以得出如下结论:
本发明实施例提供的车载语音助手虚拟形象与虚拟场景的关联及对应反馈是智能座舱语音功能的具象化呈现,可以在语音控制整车功能时,配合进行形态变化,增强智能座舱内的用户体验,传递企业的人文关怀;
带有品牌意志的语音助手形象与整车功能配合下的形象变化,是车企实现产品差异化、提升产品品质,建立与消费者连接的重要表现形式;
配合整车功能的不断完善和车企内部的品牌运营,车载语音助手形象不断丰富扩大,形态不拘泥于中控屏幕内部,可通过其他技术,如AR、实物等形式出现。
如图4至图7所示,语音交互的基本通讯原理为①通过车载系统设备收到指令的语音→②自动语音识别(ASR)→③将指令转化为文本→④自然语言处理(NLP)→⑤了解用户需要解决什么问题→⑥通过Skill→⑦将处理好的结果处理成回复文本→⑧最后再通过TTS播报形式→⑨形成回复音频→⑩通过车载系统回复给用户解决结,这是绝大多数车企的任务执行逻辑,在本发明实施例中重点优化⑦-⑩环节在座舱内中控端的显示效果,考虑到车机内存和呈现效果,最终呈现的实现方式以序列帧的形式进行实现,或者以车端-云端协同工作的方式予以实现。
对于具有品牌基因的语音形象设计应追求的用户对品牌价值和文化的认同,提供给用户的是一种情感的寄托;实际应用中的操作场景讲究的是在保障安全驾驶的情况下,通过语音可调用的某一整车功能,要求智能语音形象进行简单有效的交互显示;根据用户体验的痛点和优化点,要求语音形象的反馈更像一个有个性和温度的真人,凸显其智能的特性,例如:在汽车驾驶过程中,通过语音调整空调温度的场景下,我们根据用户惯常的说话习惯形成控制该功能的语料库,并发出相应指令,如“我要开空调”“帮我调高/低温度”、“设置温度到xx度”,目前市面上大多数类似产品会直接通过语音进行指令完成的回复,如“好的,已为您打开空调”、“温度已为您设置成xx度”、“空调功能已开启”等,仅能回应交互意图,不能达到提升用户体验的意图,故在本专利中,除正常的语音交互外,借助具体的语音形象,打通多模态交互形态,配合动效进行显示——如图4所示在语音形象接收到指令后,由待机/默认状态变为有风吹过,如图5至图7所示,形象拟人化惬意的呈现形态,使形象做到真正懂人理解人的高度智能语音形象,打造具有品牌的专属属性,为后续的品牌推广做基础储备,增加用户粘性,从而产生品牌收益。
如图8所示,本发明还公开了与基于智能交互的虚拟形象和场景控制方法、系统相对应的智能座舱、电子设备、存储介质及其车辆:
一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行基于智能交互的虚拟形象和场景控制方法的步骤。
一种计算机可读存储介质,其存储有可由电子设备执行的计算机程序,当所述计算机程序在所述电子设备上运行时,使得所述电子设备执行基于智能交互的虚拟形象和场景控制方法的步骤。
一种智能座舱,所述智能座舱中设置有基于智能交互的虚拟形象和场景控制系统。关于智能座舱:人车交互是用户体验的核心,传统汽车座舱功能区布局碎片化、信息过载造成了人车交互的障碍,导致将汽车本身作为交互入口的价值被低估,而随着电子信息技术开始向车内转移,产生了智能座舱,智能座舱能够通过各种智能化手段满足不同人在车内的不同需求,将带来更为智能、安全的交互体验,同时也是高级辅助驾驶、自动驾驶和人工智能等新时代技术的关键接口。
一种车辆,所述车辆上设置有智能座舱。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
电子设备包括硬件层,运行在硬件层之上的操作系统层,以及运行在操作系统上的应用层。该硬件层包括中央处理器(CPU,Central Processing Unit)、内存管理单元(MMU,Memory Management Unit)和内存等硬件。该操作系统可以是任意一种或多种通过进程(Process)实现电子设备控制的计算机操作系统,例如,Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。并且在本发明实施例中该电子设备可以是智能手机、平板电脑等手持设备,也可以是桌面计算机、便携式计算机等电子设备,本发明实施例中并未特别限定。
本发明实施例中的电子设备控制的执行主体可以是电子设备,或者是电子设备中能够调用程序并执行程序的功能模块。电子设备可以获取到存储介质对应的固件,存储介质对应的固件由供应商提供,不同存储介质对应的固件可以相同可以不同,在此不做限定。电子设备获取到存储介质对应的固件后,可以将该存储介质对应的固件写入存储介质中,具体地是往该存储介质中烧入该存储介质对应固件。将固件烧入存储介质的过程可以采用现有技术实现,在本发明实施例中不做赘述。
电子设备还可以获取到存储介质对应的重置命令,存储介质对应的重置命令由供应商提供,不同存储介质对应的重置命令可以相同可以不同,在此不做限定。
此时电子设备的存储介质为写入了对应的固件的存储介质,电子设备可以在写入了对应的固件的存储介质中响应该存储介质对应的重置命令,从而电子设备根据存储介质对应的重置命令,对该写入对应的固件的存储介质进行重置。根据重置命令对存储介质进行重置的过程可以现有技术实现,在本发明实施例中不做赘述。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
需要说明的是,本说明书与权利要求中使用了某些词汇来指称特定元件。本领域技术人员应可以理解,不同的制造商、生产厂商可能会用不同名词来称呼同一个元件。本说明书与权利要求并不以名词的差异来作为区分元件的方式,而是以元件在功能上的差异作为区分的准则。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如:在权利要求书中所要求保护的实施例的任意之一都可以以本发明实施例以任意的组合方式来使用。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。本说明书中公开的任一特征,除非特别叙述,均可被其它等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而己。在整个说明书中,同样的附图标记指示同样的元件。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括相应的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括相应的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现,例如:以上所描述的装置实施例仅仅是示意性的;例如:单元的划分仅仅为一种逻辑功能划分,实际实现时可以有其他的划分方式;例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行某些指令。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它未示出的形式。
在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于智能交互的虚拟形象和场景控制方法,其特征在于,具体包括:
响应于接收的语音信号,将语音信号转化为语音文本;
对所述语音文本进行数据分析,并根据用户当前的情绪曲线,结合车辆所处的场景,选择对应的情绪表达所需要的情绪维度值;
根据不同的场景,生成对应的虚拟形象,并建立对应的虚拟场景;
基于所述虚拟形象和虚拟场景,进行具象化的智能交互展现和操作。
2.根据权利要求1所述的基于智能交互的虚拟形象和场景控制方法,其特征在于,所述情绪曲线具体为:用于描述在驾驶车辆时,用户产生的情绪与车辆的车辆动态数据的关联关系。
3.根据权利要求1所述的基于智能交互的虚拟形象和场景控制方法,其特征在于,所述场景和情绪维度值具体包括:
第一场景:充电桩查询、停车场查询、控制导航、路况查询、天气查询或电话沟通,在第一场景下情绪维度值为安心;
第二场景:讲笑话和闲聊,在第二场景下情绪维度值为惊喜;
第三场景:景点查询、酒店查询和美食查询,在第三场景下情绪维度值为期待;
第四场景:百科和多音区,在第四场景下情绪维度值为有趣;
第五场景:控制氛围灯、控制座椅、控制天窗、控制视频、控制音乐、控制收音机、控制空调,在第五场景下情绪维度值为愉快;
第六场景:可见可说、POI选择,在第六场景下情绪维度值为兴奋。
4.根据权利要求3所述的基于智能交互的虚拟形象和场景控制方法,其特征在于,在第一场景下,虚拟形象和虚拟场景包括:电量不足的特效或动作、展示查询停车位的动作;结合地图表现出向目的地出发的动作、通过放大地图的动作体现精准查找,结合天气软件进行换装,电话接通后显示蓝牙连接成功的状态;
在第二场景下,虚拟形象和虚拟场景包括:虚拟形象配合笑话和闲聊做出对应的表情;
在第三场景下,虚拟形象和虚拟场景包括:展示与景点或旅行相关的动作,展示夜晚困意来袭或想要睡觉的状态,展示出查询美食的动作;
在第四场景下,虚拟形象和虚拟场景包括:展示博学多才的形态,虚拟形象身体或面部朝向有相应变化的方向进行倾斜;
在第五场景下,虚拟形象和虚拟场景包括:反馈基本语音动作,体现向下休息和休闲状态,显示与天窗互动的动作,对应视频显示动作停止后回到原状态,显示变装或动态效果,做出关闭收音机的表情,增加趣味互动;
在第六场景下,虚拟形象和虚拟场景包括:反馈基本语音动作,展示查询动作。
5.根据权利要求4所述的基于智能交互的虚拟形象和场景控制方法,其特征在于,在第一场景下,所述结合天气软件进行换装,具体为结合车端或移动端的墨迹App进行换装;
在第二场景下,虚拟形象和场景结合传统节日、法定节假日、休假日,展示对应的庆祝动作及相关辅助道具。
6.一种基于智能交互的虚拟形象和场景控制系统,其特征在于,具体包括:语音信号接收转化模块,响应于接收的语音信号,将语音信号转化为语音文本;
语音文本分析和情绪维度判断模块,用于对所述语音文本进行数据分析,并根据用户当前的情绪曲线,结合车辆所处的场景,选择对应的情绪表达所需要的情绪维度值;
虚拟形象生成及虚拟场景建立模块,根据不同的场景,生成对应的虚拟形象,并建立对应的虚拟场景;
具象化智能交互模块,基于所述虚拟形象和虚拟场景,进行具象化的智能交互展现和操作。
7.一种电子设备,其特征在于,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;所述存储器中存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质,其特征在于,其存储有可由电子设备执行的计算机程序,当所述计算机程序在所述电子设备上运行时,使得所述电子设备执行权利要求1至5中任一项所述方法的步骤。
9.一种智能座舱,其特征在于,所述智能座舱中设置有如权利要求6所述的基于智能交互的虚拟形象和场景控制系统。
10.一种车辆,其特征在于,所述车辆上设置有如权利要求9所述的智能座舱。
CN202310160000.7A 2023-02-24 2023-02-24 一种虚拟形象和场景控制方法、系统、智能座舱及其车辆 Pending CN116168125A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310160000.7A CN116168125A (zh) 2023-02-24 2023-02-24 一种虚拟形象和场景控制方法、系统、智能座舱及其车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310160000.7A CN116168125A (zh) 2023-02-24 2023-02-24 一种虚拟形象和场景控制方法、系统、智能座舱及其车辆

Publications (1)

Publication Number Publication Date
CN116168125A true CN116168125A (zh) 2023-05-26

Family

ID=86419728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310160000.7A Pending CN116168125A (zh) 2023-02-24 2023-02-24 一种虚拟形象和场景控制方法、系统、智能座舱及其车辆

Country Status (1)

Country Link
CN (1) CN116168125A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825107A (zh) * 2023-08-21 2023-09-29 北京集度科技有限公司 一种语音交互方法、装置、电子设备及存储介质
CN117150089A (zh) * 2023-10-26 2023-12-01 环球数科集团有限公司 一种基于aigc技术的人物艺术形象更改系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116825107A (zh) * 2023-08-21 2023-09-29 北京集度科技有限公司 一种语音交互方法、装置、电子设备及存储介质
CN116825107B (zh) * 2023-08-21 2023-11-21 北京集度科技有限公司 一种语音交互方法、装置、电子设备及存储介质
CN117150089A (zh) * 2023-10-26 2023-12-01 环球数科集团有限公司 一种基于aigc技术的人物艺术形象更改系统
CN117150089B (zh) * 2023-10-26 2023-12-22 环球数科集团有限公司 一种基于aigc技术的人物艺术形象更改系统

Similar Documents

Publication Publication Date Title
WO2021000734A1 (zh) 消息推送方法、存储介质及服务器
CN116168125A (zh) 一种虚拟形象和场景控制方法、系统、智能座舱及其车辆
CN110505675B (zh) 网络连接方法及装置、存储介质、通信终端
CN111145721B (zh) 个性化提示语生成方法、装置和设备
CN107564510A (zh) 一种语音虚拟角色管理方法、装置、服务器和存储介质
DE102010036666A1 (de) Intelligente Musikauswahl in Fahrzeugen
JP2019533212A (ja) 音声放送方法及び装置
CN105491126A (zh) 基于人工智能的服务提供方法及装置
CN109891405A (zh) 基于用户装置的消费模式来修改视频内容在用户装置上的呈现的方法、系统和介质
Braun et al. A design space for conversational in-vehicle information systems
CN111951157A (zh) 图像处理方法、设备及存储介质
CN113589938A (zh) 具备弹幕功能的车载终端信息分享系统
CN116401349A (zh) 一种多模态回复生成的方法、装置、电子设备及存储介质
CN117290605A (zh) 一种车载智能场景推荐方法、装置、设备和介质
CN112052316A (zh) 模型评估方法、装置、存储介质及电子设备
EP4123477A1 (en) Recommending multimedia information
CN113709954B (zh) 一种氛围灯的控制方法、装置、电子设备及存储介质
CN115858850A (zh) 内容推荐方法、装置、车辆及计算机可读存储介质
CN115527542A (zh) 车载语音助手的设计方法、装置、终端设备以及存储介质
CN115214696A (zh) 一种车机虚拟形象交互方法、系统、车辆及存储介质
CN113902455A (zh) 客户服务提供方法及装置
Yang et al. Research on man-machine interface design based on intelligent vehicle
Shen et al. P‐16.7: Discussion on Design of Intelligent Cockpit System in 5G Communication Era
CN110895576A (zh) 一种终端屏幕保护的显示方法及装置
CN110931014A (zh) 基于正则匹配规则的语音识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination