CN116483305A - 智能网联汽车数字虚拟人应用系统及其使用方法、车辆 - Google Patents

智能网联汽车数字虚拟人应用系统及其使用方法、车辆 Download PDF

Info

Publication number
CN116483305A
CN116483305A CN202310153071.4A CN202310153071A CN116483305A CN 116483305 A CN116483305 A CN 116483305A CN 202310153071 A CN202310153071 A CN 202310153071A CN 116483305 A CN116483305 A CN 116483305A
Authority
CN
China
Prior art keywords
scene
current position
service
digital virtual
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310153071.4A
Other languages
English (en)
Inventor
石小峰
任若兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202310153071.4A priority Critical patent/CN116483305A/zh
Publication of CN116483305A publication Critical patent/CN116483305A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/387—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Library & Information Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种智能网联汽车数字虚拟人应用系统及其使用方法、车辆，包括：原子化信息模块，采集车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号；场景引擎模块，融合车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，根据融合信号识别车辆的当前场景和当前场景对应的原子化服务；原子化服务模块，基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，根据动画指令和/或情感语音指令控制数字虚拟人执行动作。由此，解决了智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足等问题，提升智能网联汽车车载助手智拟人化、智能化的交互体验。

Description

智能网联汽车数字虚拟人应用系统及其使用方法、车辆
技术领域
本申请涉及车载数字虚拟人技术领域，特别涉及一种智能网联汽车数字虚拟人应用系统及其使用方法、车辆。
背景技术
“软件定义汽车”的时代即将来临，智能网联汽车在数字化、智能化升级转型过程中，车载助手在汽车至下一代智能终端，也将成为个人的智能生活助手。助手的拟人化智能交互体验将成为各家车企的差异化竞争之地。智能网联汽车车载助手目前面临着在各个终端场景中语音智能交互体验升级的困难。
随着计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机技术的新迅速发展，让虚拟数字人得以融合多模态交互方式，提供各个终端拟人化智能化交互体验，人性化的温度服务,并提升营销和客服效率,优化用工成本，提供多渠道营销能力，助力汽车行业实现颠覆式科技创新。
然而，相关技术存在以下缺点：(1)大部分智能网联汽车车载助手均采用抽象的几何动图作为语音助手与用户交互反馈的补充，几何形象无法准确反映对话结果中所要表现的含义；(2)语音交互逐渐由抽象到拟人化转变，几何形象动作状态的情感化设计体验相对较差，几何形象无法准确表达对话输出结果中的情感状态；(3)有拟人化形象的少数车载助手中，融合多模识别感知、数字虚拟人形象渲染、情感表达等的拟人化表达效果欠佳。
发明内容
本申请提供一种智能网联汽车数字虚拟人应用系统及其使用方法、车辆，解决了智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足等问题，更加符合车载终端用户场景化体验的要求，有效提高用户的使用体验，提升智能网联汽车车载助手智拟人化、智能化的交互体验。
本申请第一方面实施例提供一种智能网联汽车数字虚拟人应用系统，包括：原子化信息模块，用于采集车辆的状态信号、当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号；场景引擎模块，用于融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，并根据融合信号识别所述车辆的当前场景和所述当前场景对应的原子化服务；原子化服务模块，用于基于所述当前场景和所述原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据所述动画指令和/或所述情感语音指令控制所述数字虚拟人执行相应的动作。
根据上述技术手段，解决了智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足等问题，更加符合车载终端用户场景化体验的要求，有效提高用户的使用体验，提升智能网联汽车车载助手智拟人化、智能化的交互体验。
进一步地，上述的智能网联汽车数字虚拟人应用系统，还包括：对话管理模块，用于接收并解析用户的输入的语音信息，并根据解析结果确定所述数字虚拟人的输出文本和情感类型，并根据所述输出文本和所述情感类型驱动所述数字虚拟人执行预设的动作和播报预设语音，以完成和所述用户的互动。
根据上述技术手段，通过解析用户语音信息，从而控制数字虚拟人完成互动，提升人车交互的体验感。
进一步地，所述场景引擎模块，包括：云端识别单元，用于融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第一识别场景和第一场景服务；终端识别单元，用于融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第二识别场景和第二场景服务；输出单元，用于根据所述第一识别场景和所述第一场景服务，及所述第二识别场景和所述第二场景服务得到所述当前场景和所述当前场景对应的原子化服务，并输出所述第一识别场景和所述第一场景服务，或者输出所述第二识别场景和第二场景服务，或者输出所述当前场景和所述当前场景对应的原子化服务。
根据上述技术手段，通过融合获取的当前场景和原子化服务，用力与提升车载助手识别感知的能力。
进一步地，上述的智能网联汽车数字虚拟人应用系统，还包括：可视化编辑平台模块，用于基于预设的定义与编排策略，在预设云端对所述场景引擎模块输入过程、处理过程和输出过程进行定义和编排。
根据上述技术手段，通过可视化编辑平台模块可以查看原子化的信息数据。
进一步地，所述可视化编辑平台模块，还用于：定义所述数字虚拟人的动作和情感TTS。
根据上述技术手段，可根据车辆所处的当前场景定义数字虚拟人的动作和情感，提高车载助手的智能化。
本申请第二方面实施例提供一种智能网联汽车数字虚拟人应用系统的使用方法，采用上述的智能网联汽车数字虚拟人应用系统，包括以下步骤：通过所述原子化信息模块采集车辆的状态信号、当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号；通过所述场景引擎模块融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，并根据融合信号识别所述车辆的当前场景和所述当前场景对应的原子化服务；通过所述原子化服务模块基于所述当前场景和所述原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据所述动画指令和/或所述情感语音指令控制所述数字虚拟人执行相应的动作。
进一步地，上述的智能网联汽车数字虚拟人应用系统的使用方法，还包括：通过对话管理模块接收并解析用户的输入的语音信息，并根据解析结果确定所述数字虚拟人的输出文本和情感类型，并根据所述输出文本和所述情感类型驱动所述数字虚拟人执行预设的动作和播报预设语音，以完成和所述用户的互动。
进一步地，上述的智能网联汽车数字虚拟人应用系统的使用方法，还包括：通过云端识别单元融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第一识别场景和第一场景服务；通过终端识别单元融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第二识别场景和第二场景服务；通过所述输出单元根据所述第一识别场景和所述第一场景服务，及所述第二识别场景和所述第二场景服务得到所述当前场景和所述当前场景对应的原子化服务，并输出所述第一识别场景和所述第一场景服务，或者输出所述第二识别场景和第二场景服务，或者输出所述当前场景和所述当前场景对应的原子化服务。
进一步地，上述的智能网联汽车数字虚拟人应用系统的使用方法，还包括：通过可视化编辑平台模块基于预设的定义与编排策略，在预设云端对所述场景引擎模块输入过程；通过所述可视化编辑平台模块定义所述数字虚拟人的动作和情感TTS。
本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的智能网联汽车数字虚拟人应用系统的使用方法。
由此，本申请通过原子化信息模块采集车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，并通过场景引擎模块进行融合得到融合信号，根据融合信号识别车辆的当前场景和当前场景对应的原子化服务，原子化服务模块基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据动画指令和/或情感语音指令控制数字虚拟人执行对应动作。由此，解决了智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足等问题，更加符合车载终端用户场景化体验的要求，有效提高用户的使用体验，提升智能网联汽车车载助手智拟人化、智能化的交互体验。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例的智能网联汽车数字虚拟人应用系统的方框示意图；
图2为根据本申请一个实施例的智能网联汽车助手场景引擎系统的业务架构的示意图；
图3为根据本申请一个实施例的智能网联汽车对话管理系统架构的示意图；
图4为根据本申请一个实施例的融合场景引擎及对话管理的数字虚拟人业务流程图；
图5为根据本申请实施例提供的一种智能网联汽车数字虚拟人应用系统的使用方法的流程图；
图6为根据本申请实施例的车辆的结构示意图。
附图标记说明：10-智能网联汽车数字虚拟人应用系统、100-原子化信息模块、200-场景引擎模块、300-原子化服务模块、603-通信接口、601-存储器、602-处理器。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的智能网联汽车数字虚拟人应用系统及其使用方法、车辆。针对上述背景技术中提到的智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足的问题，本申请提供了一种智能网联汽车数字虚拟人应用系统，在该系统中，通过原子化信息模块采集车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，并通过场景引擎模块进行融合得到融合信号，根据融合信号识别车辆的当前场景和当前场景对应的原子化服务，原子化服务模块基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据动画指令和/或情感语音指令控制数字虚拟人执行对应动作。由此，解决了智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足等问题，更加符合车载终端用户场景化体验的要求，有效提高用户的使用体验，提升智能网联汽车车载助手智拟人化、智能化的交互体验。
具体而言，图1为本申请实施例所提供的一种智能网联汽车数字虚拟人应用系统的方框示意图。
如图1所示，该智能网联汽车数字虚拟人应用系统10包括：原子化信息模块100、场景引擎模块200和原子化服务模块300。其中，原子化信息模块100，用于采集车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号；场景引擎模块200，用于融合车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，并根据融合信号识别车辆的当前场景和当前场景对应的原子化服务；原子化服务模300，用于基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据动画指令和/或情感语音指令控制数字虚拟人执行相应的动作。
其中，在一些实施例中，如图2所示，场景引擎模块200，包括：云端识别单元201、终端识别单元202和输出单元。其中，云端识别单元201用于融合车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，得到第一识别场景和第一场景服务；终端识别单元202，用于融合车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，得到第二识别场景和第二场景服务；输出单元，用于根据第一识别场景和第一场景服务，及第二识别场景和第二场景服务得到当前场景和当前场景对应的原子化服务，并输出第一识别场景和第一场景服务，或者输出第二识别场景和第二场景服务，或者输出当前场景和当前场景对应的原子化服务。
具体地，如图2所示，原子化信息模块100采集硬件信号，软件信号，时间信号、位置信号，路况信号以及天气信号。其中，车辆至少含有摄像头、毫米雷达等传感器其中的一种。车辆的状态信号通过车辆的传感器采集车辆的速度信号、加速度信号以及转角信号，通过GPS显示车辆当前的实际地点和实时天气获取车辆当前位置信号以及当前位置的天气信号，通过车辆自带的摄像头拍摄交通信号灯的状态，并根据交通信号灯的颜色特征值确定当前位置的交通信号。并将原子化信息模块100作为场景引擎模块200的前置输入，为场景引擎的场景定义提供了基础的信号源。
场景引擎模块200包含云端识别单元201和终端识别单元202两个部分，通过对云端识别单元201将采集车辆的状态信号、位置信号、交通信号或者天气信号通过融合算法进行融合，并进行场景识别，得到第一识别场景和第一场景服务，并通过终端识别单元202将采集的信号进行融合，并进行场景识别，得到第二识别场景和第二场景服务，最后通过输出单元根据第一识别场景和第一场景服务，以及第二识别场景和第二场景服务得到当前场景和当前场景对应的原子化服务，输出第一识别场景和第一场景服务，或者第二识别场景和第二场景服务，或者当前场景和当前场景对应的原子化服务。其中场景引擎模块200可在云端对场景所需的判断条件，在规则限定的范围内进行自由组合定义，场景引擎模块200的输出则为原子化服务模块300的输入。在部分场景中数据采集的动作还会伴随更新和学习的能力，提升对车主意图的分析和感知能力，有利于提升车载助手的识别感知能力。
原子化服务模块300用于接收来自场景引擎的输出，其作用在于响应终端识别单元202输出的或者云端识别单元201推送的场景，将终端原子化的服务能力按照场景编排定义的效果有序执行，完成从信息输入、场景识别、场景响应的全流程的闭环。其中，空调、车窗、音频、数字虚拟人均可作为原子化服务的执行单元，基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据动画指令，或者情感语音指令，或者动画指令和情感语音指令，控制数字虚拟人执行相应的动作。其中，动画指令包括口型动画指令、表情动画指令和肢体动画指令，情感语音指令包括高兴、悲伤、精力充沛、昏昏欲睡等。
可选地，在一些实施例中，上述的智能网联汽车数字虚拟人应用系统10，还包括：对话管理模块400，用于接收并解析用户的输入的语音信息，并根据解析结果确定数字虚拟人的输出文本和情感类型，并根据输出文本和情感类型驱动数字虚拟人执行预设的动作和播报预设语音，以完成和用户的互动。
具体地，如图3所示，对话管理包含ASR(Automatic Speech Recognition，自动语音识别)—NLP(Natural Language Understanding，自然语言理解)—TTS流程，在ASR阶段，车辆的用户可以通过对话的方式将语音信息发送至车机端麦克风，车机端麦克风将用户的语音信息转换为文本，并通过云端语义解析模块NLU对文本进行预处理及词法分析、句法分析、语义分析(包括情感类型分析)，并映射用户对话类型，包括闲聊类型、问答类型和多轮对话类型。对话管理模块DM(Dialog Management)选择需要执行的系统行为，如果这个系统行为需要和用户交互，那么语言生成模块NLG(Natural Language Generation，语言生成)会被触发，生成自然语言或者系统话语，生成的语言由下发至车载终端语音合成模块TTS(Text To Speech，语音合成)朗读对应文本。
进一步地，如图4所示，对话对话管理模块400除生成以上文本内容外，会对文本解析结果做情感类型分析，以情感标签的形式进行存储，该情感标签作为数字虚拟人动作选择的输入参数，智能分析与决策环节根据情感标签与语音文本结果与动画指令或者情感语音指令，使数字虚拟人进行动画渲染，同时数字虚拟人通过语音系统播报用户的语音信息。
可选地，在一些实施例中，上述的智能网联汽车数字虚拟人应用系统10，还包括：可视化编辑平台模块500，用于基于预设的定义与编排策略，在预设云端对场景引擎模块输入过程、处理过程和输出过程进行定义和编排。
可选地，在一些实施例中，可视化编辑平台模块500，还用于：定义数字虚拟人的动作和情感TTS。
具体地，可视化编辑平台模块500为场景引擎在云端提供可视化控制中心，方便平台运营人员在云端以可视化的方式查看终端原子化信息的数据，并支持在平台根据场景事件定义所需的数据信号及相应的触发条件，同时支持云端对终端场景事件的响应进行原子化服务编排，并且可以根据车辆所处的当前场景定义虚拟人的动作和情感TTS。
根据本申请实施例提出的智能网联汽车数字虚拟人应用系统，通过原子化信息模块采集车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，并通过场景引擎模块进行融合得到融合信号，根据融合信号识别车辆的当前场景和当前场景对应的原子化服务，原子化服务模块基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据动画指令和/或情感语音指令控制数字虚拟人执行对应动作。由此，解决了智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足等问题，更加符合车载终端用户场景化体验的要求，有效提高用户的使用体验，提升智能网联汽车车载助手智拟人化、智能化的交互体验。
其次参照附图描述根据本申请实施例提出的智能网联汽车数字虚拟人应用系统的使用方法。
图5是本申请实施例的智能网联汽车数字虚拟人应用系统的使用方法的流程图。
如图5所示，该智能网联汽车数字虚拟人应用系统的使用方法采用上述的智能网联汽车数字虚拟人应用系统，包括以下步骤：
步骤S501中，通过原子化信息模块采集车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号。
步骤S502中，通过场景引擎模块融合车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，并根据融合信号识别车辆的当前场景和当前场景对应的原子化服务。
步骤S503中，通过原子化服务模块基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据动画指令和/或情感语音指令控制数字虚拟人执行相应的动作。
可选地，在一些实施例中，上述的智能网联汽车数字虚拟人应用系统的使用方法，还包括：通过对话管理模块接收并解析用户的输入的语音信息，并根据解析结果确定数字虚拟人的输出文本和情感类型，并根据输出文本和情感类型驱动数字虚拟人执行预设的动作和播报预设语音，以完成和用户的互动。
可选地，在一些实施例中，上述的智能网联汽车数字虚拟人应用系统的使用方法，还包括：通过云端识别单元融合车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，得到第一识别场景和第一场景服务；通过终端识别单元融合车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，得到第二识别场景和第二场景服务；通过输出单元根据第一识别场景和第一场景服务，及第二识别场景和第二场景服务得到当前场景和当前场景对应的原子化服务，并输出第一识别场景和第一场景服务，或者输出第二识别场景和第二场景服务，或者输出当前场景和当前场景对应的原子化服务。
可选地，在一些实施例中，上述的智能网联汽车数字虚拟人应用系统的使用方法，还包括：通过可视化编辑平台模块基于预设的定义与编排策略，在预设云端对场景引擎模块输入过程、处理过程和输出过程进行定义和编排；通过可视化编辑平台模块定义数字虚拟人的动作和情感TTS。
需要说明的是，前述对智能网联汽车数字虚拟人应用系统实施例的解释说明也适用于该实施例的智能网联汽车数字虚拟人应用系统的使用方法，此处不再赘述。
根据本申请实施例提出的智能网联汽车数字虚拟人应用系统的使用方法，通过原子化信息模块采集车辆的状态信号、当前位置信号、当前位置对应的交通信号和/或当前位置对应的天气信号，通过场景引擎模块融合得到融合信号，并根据融合信号识别车辆的当前场景和当前场景对应的原子化服务，原子化服务模块基于当前场景和原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据动画指令和/或情感语音指令控制数字虚拟人执行相应的动作。由此，解决了智能网联汽车车载助手拟人化形象场景感知弱、情感表现力不足等问题，更加符合车载终端用户场景化体验的要求，有效提高用户的使用体验，提升智能网联汽车车载助手智拟人化、智能化的交互体验。
图6为本申请实施例提供的车辆的结构示意图。该车辆可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的智能网联汽车数字虚拟人应用系统的使用方法。
进一步地，车辆还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器402可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种智能网联汽车数字虚拟人应用系统，其特征在于，包括：
原子化信息模块，用于采集车辆的状态信号、当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号；
场景引擎模块，用于融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，并根据融合信号识别所述车辆的当前场景和所述当前场景对应的原子化服务；
原子化服务模块，用于基于所述当前场景和所述原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据所述动画指令和/或所述情感语音指令控制所述数字虚拟人执行相应的动作。
2.根据权利要求1所述的智能网联汽车数字虚拟人应用系统，其特征在于，还包括：
对话管理模块，用于接收并解析用户的输入的语音信息，并根据解析结果确定所述数字虚拟人的输出文本和情感类型，并根据所述输出文本和所述情感类型驱动所述数字虚拟人执行预设的动作和播报预设语音，以完成和所述用户的互动。
3.根据权利要求2所述的智能网联汽车数字虚拟人应用系统，其特征在于，所述场景引擎模块，包括：
云端识别单元，用于融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第一识别场景和第一场景服务；
终端识别单元，用于融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第二识别场景和第二场景服务；
输出单元，用于根据所述第一识别场景和所述第一场景服务，及所述第二识别场景和所述第二场景服务得到所述当前场景和所述当前场景对应的原子化服务，并输出所述第一识别场景和所述第一场景服务，或者输出所述第二识别场景和第二场景服务，或者输出所述当前场景和所述当前场景对应的原子化服务。
4.根据权利要求3所述的智能网联汽车数字虚拟人应用系统，其特征在于，还包括：
可视化编辑平台模块，用于基于预设的定义与编排策略，在预设云端对所述场景引擎模块输入过程、处理过程和输出过程进行定义和编排。
5.根据权利要求4所述的智能网联汽车数字虚拟人应用系统，其特征在于，所述可视化编辑平台模块，还用于：
定义所述数字虚拟人的动作和情感TTS。
6.一种智能网联汽车数字虚拟人应用系统的使用方法，其特征在于，采用如权利要求1-5任一项所述的智能网联汽车数字虚拟人应用系统，所述方法包括以下步骤：
通过所述原子化信息模块采集车辆的状态信号、当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号；
通过所述场景引擎模块融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，并根据融合信号识别所述车辆的当前场景和所述当前场景对应的原子化服务；以及
通过所述原子化服务模块基于所述当前场景和所述原子化服务确定数字虚拟人的动画指令和情感语音指令，并根据所述动画指令和/或所述情感语音指令控制所述数字虚拟人执行相应的动作。
7.根据权利要求6所述的方法，其特征在于，还包括：
通过对话管理模块接收并解析用户的输入的语音信息，并根据解析结果确定所述数字虚拟人的输出文本和情感类型，并根据所述输出文本和所述情感类型驱动所述数字虚拟人执行预设的动作和播报预设语音，以完成和所述用户的互动。
8.根据权利要求7所述的方法，其特征在于，还包括：
通过云端识别单元融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第一识别场景和第一场景服务；
通过终端识别单元融合所述车辆的状态信号、所述当前位置信号、所述当前位置对应的交通信号和/或所述当前位置对应的天气信号，得到第二识别场景和第二场景服务；
通过所述输出单元根据所述第一识别场景和所述第一场景服务，及所述第二识别场景和所述第二场景服务得到所述当前场景和所述当前场景对应的原子化服务，并输出所述第一识别场景和所述第一场景服务，或者输出所述第二识别场景和第二场景服务，或者输出所述当前场景和所述当前场景对应的原子化服务。
9.根据权利要求8所述的方法，其特征在于，还包括：
通过可视化编辑平台模块基于预设的定义与编排策略，在预设云端对所述场景引擎模块输入过程、处理过程和输出过程进行定义和编排；
通过所述可视化编辑平台模块定义所述数字虚拟人的动作和情感TTS。
10.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求6-9中任一所述的智能网联汽车数字虚拟人应用系统的使用方法。
CN202310153071.4A 2023-02-22 2023-02-22 智能网联汽车数字虚拟人应用系统及其使用方法、车辆 Pending CN116483305A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310153071.4A CN116483305A (zh) 2023-02-22 2023-02-22 智能网联汽车数字虚拟人应用系统及其使用方法、车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310153071.4A CN116483305A (zh) 2023-02-22 2023-02-22 智能网联汽车数字虚拟人应用系统及其使用方法、车辆

Publications (1)

Publication Number Publication Date
CN116483305A true CN116483305A (zh) 2023-07-25

Family

ID=87216700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310153071.4A Pending CN116483305A (zh) 2023-02-22 2023-02-22 智能网联汽车数字虚拟人应用系统及其使用方法、车辆

Country Status (1)

Country Link
CN (1) CN116483305A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117391822A (zh) * 2023-12-11 2024-01-12 中汽传媒(天津)有限公司 一种汽车营销的vr虚拟现实数字展示方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117391822A (zh) * 2023-12-11 2024-01-12 中汽传媒(天津)有限公司 一种汽车营销的vr虚拟现实数字展示方法及系统
CN117391822B (zh) * 2023-12-11 2024-03-15 中汽传媒(天津)有限公司 一种汽车营销的vr虚拟现实数字展示方法及系统

Similar Documents

Publication Publication Date Title
CN106874597B (zh) 一种应用于自动驾驶车辆的高速公路超车行为决策方法
US9189879B2 (en) Emotive engine and method for generating a simulated emotion for an information system
CN113723528B (zh) 车载语视融合多模态交互方法及系统、设备、存储介质
CN109878441B (zh) 车辆控制方法和装置
CN107680591A (zh) 基于车载终端的语音交互方法、装置及其设备
CN113221580B (zh) 语义拒识方法、语义拒识装置、交通工具及介质
CN110503948A (zh) 对话系统和对话处理方法
EP4047561A1 (en) Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle
CN116483305A (zh) 智能网联汽车数字虚拟人应用系统及其使用方法、车辆
CN111540222A (zh) 基于无人车的智能交互方法、装置及无人车
CN110503947A (zh) 对话系统、包括其的车辆和对话处理方法
CN114684152A (zh) 驾驶体验数据处理的方法、装置、车辆及介质
CN111797755A (zh) 一种汽车乘员情绪识别方法及电子设备
CN113320537A (zh) 一种车辆控制方法和系统
WO2023193652A1 (zh) 一种车机虚拟形象交互方法、系统、车辆及存储介质
CN114084144A (zh) 用于结合驾驶环境确定驾驶员情绪的方法和系统
CN112927721A (zh) 人车互动方法、系统以及车辆和计算机可读存储介质
CN116049548A (zh) 车辆服务的推送方法及装置
US20220319308A1 (en) Smart traffic assistant systems and methods
CN116039653B (zh) 状态识别方法、装置、车辆及存储介质
JP2020009371A (ja) 運転評価装置及び運転評価方法
CN115859219A (zh) 多模态交互方法、装置、设备及存储介质
US20230290342A1 (en) Dialogue system and control method thereof
CN117496968A (zh) 车辆的交互方法及装置
CN117032443A (zh) 一种基于车载终端与虚拟数字人交互的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination