CN111966221A - 车内互动处理方法及装置 - Google Patents

车内互动处理方法及装置 Download PDF

Info

Publication number
CN111966221A
CN111966221A CN202010796633.3A CN202010796633A CN111966221A CN 111966221 A CN111966221 A CN 111966221A CN 202010796633 A CN202010796633 A CN 202010796633A CN 111966221 A CN111966221 A CN 111966221A
Authority
CN
China
Prior art keywords
family member
vehicle
voice
library file
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010796633.3A
Other languages
English (en)
Other versions
CN111966221B (zh
Inventor
伍令胜
冉光伟
李贺
王娜
覃云萍
欧杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202010796633.3A priority Critical patent/CN111966221B/zh
Publication of CN111966221A publication Critical patent/CN111966221A/zh
Application granted granted Critical
Publication of CN111966221B publication Critical patent/CN111966221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种车内互动处理方法和装置,用于营造亲人陪伴体验,使得互动过程更具多样性和丰富性,而非冷冰式的互动应答,提高用户与车载互动模块之间的粘性,提高用户使用车载互动模块的频率。方法部分包括:确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;若有,则从车辆本地家庭成员组中确定出目标家庭成员,目标家庭成员不包括驾乘人员中的家庭成员;当检测到预设情景下的互动需求被触发时,根据目标家庭成员对应的真人动态仿真人脸库文件中确定互动需求相应的动态仿真人脸形象;根据目标家庭成员对应的真人仿真语音库文件中确定互动需求相应的真人仿真语音;根据动态仿真人脸形象和真人仿真语音对互动需求进行互动反馈。

Description

车内互动处理方法及装置
技术领域
本发明涉及车辆互动处理技术领域,尤其涉及一种车内互动处理方法及装置。
背景技术
随着智能网联汽车的磅礴发展,车载助手在汽车里的应用已经越来越普遍,人们已经逐渐依赖车载助手完成一些简单的车辆控制,比如调节空调温度等。现有技术中,在一些车辆中,可以通过将车载助手在车载中控屏幕上以动画图形进行人机交互,一般通过使用车载助手对应的动画图形形象来表达车载助手在监听、识别、回答等不同状态的人机交互;或是在车厢内设置车载助手的实体玩偶模型,通过实体玩偶模型的车载助手以拟人化形象来进行在监听、识别、回答等不同状态的人机交互。
可见,在上述现有技术中,虽然采用了动画形象或拟人的实体模型来完成交互,但本质还是一种机械式、程式化、冷漠的人机互动形式,交互方式较为机械、灵活度低,在一定程度上难以提高用户使用车载互动模块的频率、用户与车载的互动模块之间的粘性不够,使互动模块得不到充分利用。
发明内容
本发明提供一种车内互动处理方法和装置,以解决现有技术中,用户与车载交互系统之间的粘性不够,难以提高用户使用车载交互系统的频率的问题。
一种车内互动处理方法,包括:
确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;
若有,则从所述车辆本地家庭成员组中确定出目标家庭成员,所述目标家庭成员不包括所述驾乘人员中的家庭成员;
当检测到预设情景下的互动需求被触发时,根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象;
根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音;
根据所述动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈。
进一步地,所述根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象之前,所述方法还包括:
为所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与车辆的互动模块建立关联路径映射关系;
若确定所述驾乘人员中有所述车辆本地家庭成员组的家庭成员,则断开所述驾乘人员中的家庭成员与所述互动模块的映射路径;
根据当前的关联路径映射关系确定其中任意一条目标映射路径对应的家庭车成员作为所述目标家庭成员;
根据所述目标映射路径调用所述目标家庭成员对应的真人动态仿真人脸库文件和真人仿真语音库文件。
进一步地,所述为所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与车辆的互动模块建立关联路径映射关系,包括:
为所述车辆本地家庭成员组中的每个家庭成员建立带有映射值的成员文件,并将对应家庭成员的真人仿真语音库文件和真人动态仿真人脸库文件存储在对应的成员文件中,其中,每个所述成员文件的映射值为对应家庭成员的人脸识别特征参数;
为不同的预设情景配置触发所述互动模块执行对应互动响应的触发指令;其中,不同的预设情景的所述互动需求与所述真人动态仿真人脸库文件对应的动态人脸头像元一一映射,不同的预设情景的所述互动需求与所述真人仿真语音库文件中对应的语音情感特征一一映射。
进一步地,所述根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象,包括:
从所述目标家庭成员对应的真人动态仿真人脸库文件中获取所述互动需求相应的动态人脸头像元;
根据所述互动需求相应的动态人脸头像元生成所述动态仿真人脸形象;
所述根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音,包括:
确定所述互动需求相应的语音情感特征;
根据所述互动需求相应的语音情感特征从所述目标家庭成员对应的真人仿真语音库文件中获取所述互动需求相应的真人仿真语音。
进一步地,所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件预先通过如下方式获取:
获取所述家庭成员在不同情景下按照相应表情指引操作和语音指引操作所录入的语音视频流数据;
对所述语音视频流数据进行图像分离和语音分离处理,以获取各不同情景下对应的图像数据和语音数据;
根据不同情景下对应的图像数据,分别获取每个情景下对应的每一帧图像的人脸特征,并按照预设时序进行顺序归集;
根据每个情景下顺序归集的人脸特征构建相应情景下的动态人脸头像元;
根据不同情景下对应的所述动态人脸头像元进行打包以创建所述家庭成员对应的真人动态仿真人脸库文件;
根据各不同情景下对应的语音数据,分别获取每个情景下对应的语音情感特征;
根据每个情景下的语音情感特征对每个情景下对应的语音数据进行打包,以创建所述家庭成员对应的真人仿真语音库文件。
进一步地,所述方法还包括:
若确定所述驾乘人员中没有所述车辆本地家庭成员组的家庭成员,则保持所述车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系。
进一步地,在所述车辆预设驾驶过程中,根据当前所述驾乘人员的家庭成员的识别结果动态更新的所述关联路径映射关系保持不变。
进一步地,所述方法还包括:
在所述车辆经过所述预设驾驶过程之后,则恢复所述车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系。
一种车内互动处理装置,包括:
第一确定模块,用于确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;
第二确定模块,用于若所述第一确定模块确定所述车内驾乘人员中有车辆本地家庭成员组的家庭成员,则从所述车辆本地家庭成员组中确定出目标家庭成员,所述目标家庭成员不包括所述驾乘人员中的家庭成员;
第三确定模块,用于当检测到预设情景下的互动需求被触发时,根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象;
第四确定模块,用于根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音;
反馈模块,用于根据所述动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈。
一种车内互动处理装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述车内互动处理方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述车内互动处理方法的步骤。
综上,在本发明提供的方案中,可预先建立车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件,在车辆开启驾驶前或驾驶过程中,识别当前车内驾乘人员中在对应本地家庭成员人脸识别样本中的家庭成员,在互动需求被触发时,调用非驾乘人员的其他家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件,并进行相应家庭成员的动态仿真人脸形象和真人仿真语音互动,营造亲人陪伴左右的互动体验,与现有技术相比,本发实施例提供的互动过程营造亲人陪伴左右的感受,且提供的动态仿真人脸形象和真人仿真语音与不同的互动需求相对应,使得互动过程更具多样性和丰富性,而非冷冰式的互动应答,可有效地提高用户与车载内互动模块之间的粘性,提高用户使用互动模块的频率,提升了互动实用性,且极高地提升了用户的使用体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中车内互动处理的一个流程示意图;
图2是本发明实施例中创建真人动态仿真人脸库文件和真人仿真语音库文件的一个流程示意图;
图3是本发明实施例中调用真人动态仿真人脸库文件和真人仿真语音库文件的一个流程示意图;
图4是本发明实施例中车内互动处理装置的一个结构示意图;
图5是本发明实施例中车内互动处理装置的一个结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在一实施例中,如图1所示,提供一种车内互动处理方法,以该方法应用在图1中的车辆中的控制器为例进行说明,包括如下步骤:
S10:确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员。
在车辆启动之后,会实时确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员。其中,车辆本地家庭成员组为预先配置,车辆本地家庭成员组中包括多个本地家庭成员。在该实施例中,需预先建立车辆本地家庭成员组的人脸识别样本,以便实施该步骤。具体地,车辆本地家庭成员组可通过如下方式建立:本地家庭成员组的各家庭成员通过预设车载助手应用(车载助手APP)上传各自的人脸照片,通过调用云平台的人脸特征提取算法对所有家庭成员的人脸照片进行人脸特征提取,根据对应的提取的人脸特征对应建立各个不同家庭成员的人脸识别样本,并存储在车辆本地中,例如存储在车辆的车载助手中。例如,该本地家庭成员组的家庭成员可以包括爷爷、奶奶、父亲、母亲、儿子、女儿。
因此,在车辆启动之前或驾驶过程中,可通过车辆内置摄像头实时获取车内驾乘人员的人脸信息并进行人脸特征提取,通过实时提取的人脸特征与车辆本地家庭成员组的人脸识别样本的人脸特征进行比对,若有符合的人脸特征,则说明驾乘人员中有车辆本地家庭成员组的家庭成员。值得注意的是,该驾乘人员包括主驾驶位的驾驶员和其他乘位的乘客。
S20:若有,则从车辆本地家庭成员组中确定出目标家庭成员,该目标家庭成员不包括驾乘人员中的家庭成员。
若确定车内驾乘人员中有车辆本地家庭成员组的家庭成员,则从车辆本地家庭成员组中确定出目标家庭成员,该目标家庭成员不包括所述驾乘人员中的家庭成员。例如,本地家庭成员组的家庭成员可以包括爷爷、奶奶、父亲、母亲、儿子和女儿,若驾乘人员为家庭成员中的儿子,则对应的目标家庭成员为除儿子以外的其他任意一个或多个家庭成员。优选地,在绝大多数应用场景下,对应的目标家庭成员可配置除儿子以外的其他任意一个家庭成员。
S30:当检测到预设情景下的互动需求被触发时,根据目标家庭成员对应的真人动态仿真人脸库文件中确定互动需求相应的动态仿真人脸形象。
S40:根据目标家庭成员对应的真人仿真语音库文件中确定互动需求相应的真人仿真语音。
本发明实施例中,在车辆启动之后,还会实时判断互动需求是否被触发,其中,预设情景下的互动需求可以是驾驶员基于互动需求主动触发,或某个场景下自动触发,具体不做限定。在一个应用场景中,会确定车辆的互动模块是否被触发而确定是否有相应互动需求,其中,在互动模块被触发时,说明驾驶员基于互动需求主动触发了该互动模块,或者在某个场景的互动需求下,互动模块根据该场景自动触发。
例如,上述预设情景包括检测到车内驾驶员(家庭成员)的处于疲劳驾驶、家庭成员小孩哭闹、其他家庭成员的电话接入等,如当前驾驶员(父亲)在处于疲劳驾驶情景时(母亲不在车内),则对应的疲劳驾驶互动被触发。或者,驾驶员(父亲)在长途驾驶过程中,为减少孤独感和疲倦感主动触发互动模块,从而产生相应的互动需求。
当检测到预设情景下的互动需求被触发时,会根据目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象,并根据目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音。
需要说明的是,本发明实施例中,会预先创建车辆本地家庭成员组中各家庭的真人动态仿真人脸库文件和真人仿真语音库文件。其中,对于某个家庭成员而言,该家庭成员对应的真人动态仿真人脸库文件中包含有该家庭成员对应的真人动态仿真人脸信息,该家庭成员对应的真人仿真语音库文件中包含有该家庭成员对应的真人仿真语音信息。因此,可以根据目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象,并根据目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音。也就是说,不同的互动需求下可以获取该目标家庭成员对应的动态仿真人脸形象和真人仿真语音,使得后续的互动反馈更加丰富和多样。
另外需要说明的是,步骤S30和步骤S40之间并无执行先后顺序限定,具体不做限定。
S50:根据动态仿真人脸形象和真人仿真语音对所述互动需求进行互动反馈。
在根据目标家庭成员对应的真人动态仿真人脸库文件中确定互动需求相应的动态仿真人脸形象,并根据目标家庭成员对应的真人仿真语音库文件中确定互动需求相应的真人仿真语音之后,便根据动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈,例如,通过车辆中控显示屏侠显示此时确定的动态仿真人脸形象和播放对应真人仿真语音进行互动反馈,具体地显示或展示形式不定,但与动态仿真人脸形象和真人仿真语音相关。
以实际应用场景为例,例如,以驾驶员(父亲)的某个疲劳驾驶情景为例,在该疲劳驾驶情景的互动需求被触发时,可以从不在车内的目标家庭成员(如母亲)的真人动态仿真人脸库文件中,确定母亲预先针对该疲劳驾驶景下所配置的动态仿真人脸形象,以及从母亲的真人仿真语音库文件中,确定母亲预先针对该疲劳驾驶景下所配置的真人仿真语音进行互动反馈。
可见,本发明实施例提出了一种车内互动处理方法,预先建立本地家庭成员人脸识别样本,并预先建立车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件,在车辆开启驾驶前或驾驶过程中,识别当前车内驾乘人员中在对应本地家庭成员人脸识别样本中的家庭成员,在互动需求被触发时,调用非驾乘人员的其他家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件,并进行相应家庭成员的动态仿真人脸形象和真人仿真语音互动,营造亲人陪伴左右的互动体验,与现有技术相比,本发实施例提供的互动过程营造亲人陪伴左右的感受,且提供的动态仿真人脸形象和真人仿真语音与不同的互动需求相对应,使得互动过程更具多样性和丰富性,而非冷冰式的互动应答,可有效地提高用户与车载内互动模块之间的粘性,提高用户使用互动模块的频率,提升了互动实用性,且极高地提升了用户的使用体验。
需要说明的是,如图2所示,在一实施方式中,所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件预先通过如下方式获取:
S01:获取家庭成员在不同情景下按照相应表情指引操作和语音指引操作所录入的语音视频流数据。
本发明实施例中,会预先创建车辆本地家庭成员组中各家庭成员对应的真人动态仿真人脸库文件和真人仿真语音库文件,可以理解,为了适应各种各样的互动需求情景,以提供更为丰富的互动体验,以及为了有效地保证本的车内互动处理过程得以实现,会先获取每个家庭成员在不同情景下按照相应表情指引操作和语音指引操作所录入的语音视频流数据。不同情景下具有对应的表情指引操作和语音指引操作,表情指引操作用于指引家庭成员录入相应的表情,语音指引操作用于指引家庭成员录入相应的语音。因此,经过该步骤S01,对于每个家庭成员而言,可以获取该家庭成员在不同情景下按照相应表情指引操作和语音指引操作所录入的语音视频流数据。
为便于理解,将以疲劳驾驶情景下构建母亲的真人动态仿真人脸库文件和真人仿真语音库文件为例进行说明,对于其他家庭成员以及其他情景可以此类推。例如,可以通过预设终端获取母亲针对疲劳驾驶情景下,按照疲劳驾驶情景相应的表情指引操作和语音指引操作所录入语音视频流数据。示例性的,通过预设终端提示母亲录入针对疲劳驾驶情景下的表情指引操和语音指引操作为:“请用亲切的表情提示驾驶员注意驾驶”,依据上述指引,母亲便可录入一段针对该疲劳驾驶情景的语音视频流数据,依据不同情景的指引操作,便可录入一系列针对不同情景下的语音视频流数据。
S02:对语音视频流数据进行图像分离和语音分离处理,以获取各不同情景下对应的图像数据和语音数据。
在获取了家庭成员在不同情景下按照相应表情指引操作和语音指引操作所录入的语音视频流数据,便可对语音视频流数据进行图像分离和语音分离处理,以获取各不同情景下对应的图像数据和语音数据。例如,对母亲录入的语音视频流数据进行图像分离和语音分离处理,以获取母亲针对疲劳驾驶情景以及其他情景下所录入的图像数据和语音数据。
S03:根据不同情景下对应的图像数据,分别获取每个情景下对应的每一帧图像的人脸特征,并按照预设时序进行顺序归集。
在获取到母亲各不同情景下对应的图像数据,便可分别获取每个情景下对应的每一帧图像的人脸特征,并按照预设时序进行顺序归集,以得到每个情景下对应的人脸特征归集。例如,分离出母亲针对疲劳驾驶情景下所录入的图像数据之后,按照预设时序对该疲劳驾驶情景下录入的每一帧图像的人脸特征进行顺序归集,得到该疲劳驾驶情景下对应的人脸特征时序归集。
S04:根据每个情景下顺序归集的人脸特征构建相应情景下的动态人脸头像元。
在得到每个情景下对应的人脸特征归集之后,根据每个情景下顺序归集的人脸特征构建相应情景下的动态人脸头像元。例如,在得到母亲针对该疲劳驾驶情景下对应的人脸特征时序归集之后,根据该疲劳驾驶情景下顺序归集的人脸人构建母亲针对疲劳驾驶情景下的动态人脸头像元,在一应用场景中,该疲劳驾驶情景下的动态人脸头像元,就是母亲在针对疲劳驾驶情景下录入的一段动态人脸头像。
S05:根据不同情景下对应的动态人脸头像元进行打包以创建家庭成员对应的真人动态仿真人脸库文件。
在得到每个情景下顺序归集的人脸特征构建相应情景下的动态人脸头像元后,根据不同情景下对应的动态人脸头像元进行打包以创建该家庭成员对应的真人动态仿真人脸库文件。例如,在得到母亲针对疲劳驾驶、小孩睡觉等不同情景下对应的动态人脸头像元之后,便可对母亲在不同情景下对应的动态人脸头像元进行打包以创建所母亲对应的真人动态仿真人脸库文件。
S06:根据各不同情景下对应的语音数据,分别获取每个情景下对应的语音情感特征。
S07:根据每个情景下的语音情感特征对每个情景下对应的语音数据进行打包,以创建家庭成员对应的真人仿真语音库文件。
对于步骤S06-S07,为获取真人仿真语音文件的过程,在获取到家庭成员各不同情景下对应的语音数据,便可分别获取每个情景下对应的语音情感特征,根据每个情景下的语音情感特征对每个情景下对应的语音数据进行打包,以创建家庭成员对应的真人仿真语音库文件。例如,分离出母亲针对疲劳驾驶情景下所录入的语音数据之后,对该疲劳驾驶情景下录入的语音数据的语音情感特征,根据该疲劳驾驶情景下的语音情感特征,对该疲劳驾驶情景下的语音数据进行打包,以获取该疲劳驾驶情景母亲对应的真人仿真语音,对母亲每个情景下对应的语音数据进行打包,从而创建母亲对应的真人仿真语音库文件。
可见,在步骤S01-S07中,描述了如何创建车辆本地家庭成员组中各家庭成员对应的丰富的真人动态仿真人脸库文件和真人仿真语音库文件的过程,文件包含的动态人脸头像元和真人仿真语音可对应适应各种不同的互动需求情景,为实现本发明的车内互动处理方法奠定了基础。这里需强调的是,上述以疲劳情景为例进行说明,对于其他场景和其他家庭成员的处理方式类似,这里不一一描述。
在一实施例中,结合上述库文件创建方式获取的目标家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件,步骤S30中,也即根据目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象,指的是从目标家庭成员对应的真人动态仿真人脸库文件中获取所述互动需求相应的动态人脸头像元;根据所述互动需求相应的动态人脸头像元生成动态仿真人脸形象。步骤S40中,也即根据目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音,包括:确定所述互动需求相应的语音情感特征;根据所述互动需求相应的语音情感特征从目标家庭成员对应的真人仿真语音库文件中获取真人仿真语音。
可以理解,真人动态仿真人脸库文件中的动态人脸头像元是依据不同情景下所录入的图像数据所生成,当某个情景的互动需求被触发时,可以从真人动态仿真人脸库文件获取该互动需求相应的动态人脸头像元,也即该场景对应的动态人脸头像元,从而依据动态人脸头像元生成动态仿真人脸形象。同理,真人仿真语音库文件的语音数据是依据不同情景下所录入的语音数据,当某个情景的互动需求被触发时,可以从真人仿真语音库文件获取该互动需求相应的语音情感特征,也即该场景对应的语音情感特征,从而依据语音情感特征提取相应的语音数据以获得相应的真人仿真语音,动态仿真人脸形象和真人仿真语音分别与互动需求相对应,具有较强的针对性,可提高互动实用性和丰富性。
需要说明的是,在步骤S30和S40之前,也即根据目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象,和根据目标家庭成员对应的真人仿真语音库文件中确定互动需求相应的真人仿真语音之前,需获取或找到目标家庭成员对应的真人动态仿真人脸库文件和真人仿真语音库文件,以便获取得到所需的动态仿真人脸形象和真人仿真语音,对此,如图3所示,本发明实施例提供了一种极为便利的调用真人动态仿真人脸库文件和真人仿真语音库文件的方式,具体如下步骤所示:
S101:为车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与车辆的互动模块建立关联路径映射关系。
在创建得到车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件之后,将这两个库文件与车辆的互动模块建立关联路径映射关系。其中,车辆的互动模块是实现车辆互动功能的模块、系统或装置。
具体地,在一实施方式中,步骤S101中,也即为车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与互动模块建立关联路径映射关系,具体指的是如下两个过程:
第一个过程:为车辆本地家庭成员组中的每一个家庭成员建立一个带有映射值的成员文件,将对应家庭成员的真人仿真语音库文件和真人动态仿真人脸库文件存储在成员文件中,每个所述成员文件的映射值为对应家庭成员的人脸识别特征参数。该过程中,可将当前识别的车内家庭成员的ID(人脸特征识别参数)作为关联路径映射关系中的原象,映射值则作为映射关系,相应的真人动态仿真人脸库文件的数据和真人仿真语音库文件中的数据则作为该家庭成员ID在映射函数下的象,以此建立关联映射路径关系。例如,以母亲为例,可以提取母亲的人脸识别特征参数(例如面部特征、和/或瞳孔特征、和/或轮廓特征等)为映射值创建母亲的成员文件,将母亲对应的真人仿真语音库文件和真人动态仿真人脸库文件存储在母亲的成员文件中。
第二个过程,为不同的预设情景配置触发所述互动模块执行对应互动响应的触发指令;其中,不同的预设情景的所述互动需求与所述真人动态仿真人脸库文件对应的动态人脸头像元一一映射;不同的预设情景的所述互动需求与所述真人仿真语音库文件中对应的语音情感特征一一映射。
如此,经过上述两个过程,为车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与互动模块建立关联路径映射关系。在该实施例中,提出了一种具体地的建立各家庭成员对应两个库文件与互动模块的关联路径映射关系,以为后续调用奠定基础。
S102:若确定驾乘人员中有车辆本地家庭成员组的家庭成员,则断开驾乘人员中的家庭成员与所述互动模块的映射路径。
在该实施例中,若确定驾乘人员中没有车辆本地家庭成员组的家庭成员,则保持车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系不变,可以理解,驾乘人员中没有车辆本地家庭成员组的家庭成员,此时不会执行本发实施例中的互动过程,但保留住关联路径映射关系,以便驾乘人员有车辆本地家庭成员组的家庭成员可实现本发明实施例所提供的互动过程,提高了方案的可实施性。
若确定驾乘人员中有车辆本地家庭成员组的家庭成员,则断开驾乘人员中的家庭成员与所述互动模块的映射路径。
S103:根据当前的关联路径映射关系确定任意其中一条目标映射路径对应的家庭车成员作为目标家庭成员。
S104:根据目标映射路径调用所述目标家庭成员对应的真人动态仿真人脸库文件和真人仿真语音库文件。
对于步骤S103-S104,如前述步骤,会建立车辆本地家庭成员组中各家庭成员与互动模块的关联路径映射关系。而在确定驾乘人员中有车辆本地家庭成员组的家庭成员后,会断开驾乘人员中的家庭成员与所述互动模块的映射路径。举个简单例子,若当前驾乘人员中的驾驶员为父亲,此时会断开父亲与互动模块的关联路径映射关系,也就是说,会断开父亲的真人动态仿真人脸库文件、真人仿真语音库文件这两个库文件与互动模块的关联路径映射关系,而其他关联路径映射关系保持不变。
在断开驾乘人员中的家庭成员与所述互动模块的映射路径之后,如断开了驾乘人员父亲与互动模块的关联路径映射关系之后,根据当前的关联路径映射关系调用其中任意一条或多条目标映射路径,从而确定出目标家庭成员,并根据该目标映射路径调用所目标家庭成员对应的真人动态仿真人脸库文件和真人仿真语音库文件。
可见,在实现互动处理的过程中,可通过建立的关联映射关系极为便利地调用了不同互动需求下所需的人脸数据和语音数据,提高了方案的实用性。另外值得注意的是,在一些实施例中,在断开驾乘人员中的家庭成员与所述互动模块的映射路径之后,可从当前剩余的关联路径映射关系随机调用任意一条或多条目标映射路径,以快速并准确地调用所需的真人动态仿真人脸库文件和真人仿真语音库文件,从而可以获取到所需的动态仿真人脸形象和真人仿真语音。
在一个实施例中,在所述车辆预设驾驶过程中,根据当前所述驾乘人员的家庭成员的识别结果动态更新的所述关联路径映射关系保持不变。此过程是为了有效地保证车辆预设驾驶过程中,例如连续驾驶过程中或,车辆启动但暂时停车过程中均能实现本发明实施例涉及的互动过程,以有效地保证可以实时营造亲人体验的效果,保证互动过程得以进行,提高用户使用体验性。其中,该预设驾驶过程包括车的连续行驶,即中途未停车。
在一个实施例中,在车辆经过所述预设驾驶过程之后,则恢复所述车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系,以便下次重新进行识别与互动的过程,例如在停车重新启动车辆后,车载的人脸识别模块被唤醒,进行新一轮的识别,以此完成对该初始建立的关联映射路径关系的动态更新。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种车内互动处理装置,该车内互动处理装置与上述实施例中车内互动处理方法一一对应。如图4所示,该车内互动处理装置包括第一确定模块101、第二确定模块102、第三确定模块102、第四确定模块104和反馈模块105。各功能模块详细说明如下:
第一确定模块101,用于确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;
第二确定模块102,用于若所述第一确定模块确定所述车内驾乘人员中有车辆本地家庭成员组的家庭成员,则从所述车辆本地家庭成员组中确定出目标家庭成员,所述目标家庭成员不包括所述驾乘人员中的家庭成员;
第三确定模块103,用于当检测到预设情景下的互动需求被触发时,根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象;
第四确定模块104,用于根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音;
反馈模块105,用于根据所述动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈。
在一实施例中,车内互动处理装置还包括映射模块,该映射模块用于:
根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象之前,为所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与车辆的互动模块建立关联路径映射关系;
若确定所述驾乘人员中有所述车辆本地家庭成员组的家庭成员,则断开所述驾乘人员中的家庭成员与所述互动模块的映射路径;
根据当前的关联路径映射关系确定其中任意一条目标映射路径对应的家庭车成员作为所述目标家庭成员;
根据所述目标映射路径调用所述目标家庭成员对应的真人动态仿真人脸库文件和真人仿真语音库文件。
在一实施例中,所述映射模块为所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与车辆的互动模块建立关联路径映射关系,具体是指:
为所述车辆本地家庭成员组中的每个家庭成员建立带有映射值的成员文件,并将对应家庭成员的真人仿真语音库文件和真人动态仿真人脸库文件存储在对应的成员文件中,其中,每个所述成员文件的映射值为对应家庭成员的人脸识别特征参数;
为不同的预设情景配置触发所述互动模块执行对应互动响应的触发指令;其中,不同的预设情景的所述互动需求与所述真人动态仿真人脸库文件对应的动态人脸头像元一一映射,不同的预设情景的所述互动需求与所述真人仿真语音库文件中对应的语音情感特征一一映射。
在一实施例中,第三确定模块,具体用于:
从所述目标家庭成员对应的真人动态仿真人脸库文件中获取所述互动需求相应的动态人脸头像元;
根据所述互动需求相应的动态人脸头像元生成所述动态仿真人脸形象;
第四确定模块,具体用于:
确定所述互动需求相应的语音情感特征;
根据所述互动需求相应的语音情感特征从所述目标家庭成员对应的真人仿真语音库文件中获取所述互动需求相应的真人仿真语音。
在一实施例中,所述映射模块调用的车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件预先通过如下方式获取:
获取所述家庭成员在不同情景下按照相应表情指引操作和语音指引操作所录入的语音视频流数据;
对所述语音视频流数据进行图像分离和语音分离处理,以获取各不同情景下对应的图像数据和语音数据;
根据不同情景下对应的图像数据,分别获取每个情景下对应的每一帧图像的人脸特征,并按照预设时序进行顺序归集;
根据每个情景下顺序归集的人脸特征构建相应情景下的动态人脸头像元;
根据不同情景下对应的所述动态人脸头像元进行打包以创建所述家庭成员对应的真人动态仿真人脸库文件;
根据各不同情景下对应的语音数据,分别获取每个情景下对应的语音情感特征;
根据每个情景下的语音情感特征对每个情景下对应的语音数据进行打包,以创建所述家庭成员对应的真人仿真语音库文件。
在一实施例中,所述映射模块还用于:若确定所述驾乘人员中没有所述车辆本地家庭成员组的家庭成员,则保持所述车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系。
在一实施例中,所述映射模块还用于:在所述车辆预设驾驶过程中,根据当前所述驾乘人员的家庭成员的识别结果动态更新的所述关联路径映射关系保持不变。
在一实施例中,所述映射模块还用于:在所述车辆经过所述预设驾驶过程之后,则恢复所述车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系。
可见,本发明实施例提出了一种车内互动处理装置,该装置会在车辆开启驾驶前或驾驶过程中,识别当前车内驾乘人员中在对应本地家庭成员人脸识别样本中的家庭成员,在互动需求被触发时,调用非驾乘人员的其他家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件,并进行相应家庭成员的动态仿真人脸形象和真人仿真语音互动,营造亲人陪伴左右的互动体验,与现有技术相比,本发实施例提供的互动过程营造亲人陪伴左右的感受,且提供的动态仿真人脸形象和真人仿真语音与不同的互动需求相对应,使得互动过程更具多样性和丰富性,而非冷冰式的互动应答,可有效地提高用户与车载内互动模块之间的粘性,提高用户使用互动模块的频率,提升了互动实用性,且极高地提升了用户的使用体验。
关于车内互动处理装置的具体限定可以参见上文中对于车内互动处理方法的限定,在此不再赘述。上述车内互动处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种车内互动处理装置,该车内互动处理装置可以是车上的控制器,其内部结构图可以如图5所示。该车内互动处理装置包括通过系统总线连接的处理器、存储器和网络接口。其中,该车内互动处理装置的处理器用于提供计算和控制能力。该车内互动处理装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该车内互动处理装置的网络接口用于与外部设备、模块通过网络连接通信。该计算机程序被处理器执行时以实现一种车内互动处理方法。
在一个实施例中,提供了一种车内互动处理装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;
若有,则从所述车辆本地家庭成员组中确定出目标家庭成员,所述目标家庭成员不包括所述驾乘人员中的家庭成员;
当检测到预设情景下的互动需求被触发时,根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象;
根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音;
根据所述动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;
若有,则从所述车辆本地家庭成员组中确定出目标家庭成员,所述目标家庭成员不包括所述驾乘人员中的家庭成员;
当检测到预设情景下的互动需求被触发时,根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象;
根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音;
根据所述动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种车内互动处理方法,其特征在于,包括:
确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;
若有,则从所述车辆本地家庭成员组中确定出目标家庭成员,所述目标家庭成员不包括所述驾乘人员中的家庭成员;
当检测到预设情景下的互动需求被触发时,根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象;
根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音;
根据所述动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈。
2.如权利要求1所述的车内互动处理方法,其特征在于,所述根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象之前,所述方法还包括:
为所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与车辆的互动模块建立关联路径映射关系;
若确定所述驾乘人员中有所述车辆本地家庭成员组的家庭成员,则断开所述驾乘人员中的家庭成员与所述互动模块的映射路径;
根据当前的关联路径映射关系确定其中任意一条目标映射路径对应的家庭车成员作为所述目标家庭成员;
根据所述目标映射路径调用所述目标家庭成员对应的真人动态仿真人脸库文件和真人仿真语音库文件。
3.如权利要求2所述的车内互动处理方法,其特征在于,所述为所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件、真人仿真语音库文件与车辆的互动模块建立关联路径映射关系,包括:
为所述车辆本地家庭成员组中的每个家庭成员建立带有映射值的成员文件,并将对应家庭成员的真人仿真语音库文件和真人动态仿真人脸库文件存储在对应的成员文件中,其中,每个所述成员文件的映射值为对应家庭成员的人脸识别特征参数;
为不同的预设情景配置触发所述互动模块执行对应互动响应的触发指令;其中,不同的预设情景的所述互动需求与所述真人动态仿真人脸库文件对应的动态人脸头像元一一映射,不同的预设情景的所述互动需求与所述真人仿真语音库文件中对应的语音情感特征一一映射。
4.如权利要求3所述的车内互动处理方法,其特征在于,所述根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象,包括:
从所述目标家庭成员对应的真人动态仿真人脸库文件中获取所述互动需求相应的动态人脸头像元;
根据所述互动需求相应的动态人脸头像元生成所述动态仿真人脸形象;
所述根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音,包括:
确定所述互动需求相应的语音情感特征;
根据所述互动需求相应的语音情感特征从所述目标家庭成员对应的真人仿真语音库文件中获取所述互动需求相应的真人仿真语音。
5.如权利要求4所述的车内互动处理方法,其特征在于,所述车辆本地家庭成员组中各家庭成员的真人动态仿真人脸库文件和真人仿真语音库文件预先通过如下方式获取:
获取所述家庭成员在不同情景下按照相应表情指引操作和语音指引操作所录入的语音视频流数据;
对所述语音视频流数据进行图像分离和语音分离处理,以获取各不同情景下对应的图像数据和语音数据;
根据不同情景下对应的图像数据,分别获取每个情景下对应的每一帧图像的人脸特征,并按照预设时序进行顺序归集;
根据每个情景下顺序归集的人脸特征构建相应情景下的动态人脸头像元;
根据不同情景下对应的所述动态人脸头像元进行打包以创建所述家庭成员对应的真人动态仿真人脸库文件;
根据各不同情景下对应的语音数据,分别获取每个情景下对应的语音情感特征;
根据每个情景下的语音情感特征对每个情景下对应的语音数据进行打包,以创建所述家庭成员对应的真人仿真语音库文件。
6.如权利要求2-5任一项所述的车内互动处理方法,其特征在于,所述方法还包括:
若确定所述驾乘人员中没有所述车辆本地家庭成员组的家庭成员,则保持所述车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系。
7.如权利要求2-5任一项所述的车内互动处理方法,其特征在于,在所述车辆预设驾驶过程中,根据当前所述驾乘人员的家庭成员的识别结果动态更新的所述关联路径映射关系保持不变。
8.如权利要求7所述的车内互动处理方法,其特征在于,所述方法还包括:
在所述车辆经过所述预设驾驶过程之后,则恢复所述车辆本地家庭成员组中的各家庭成员与所述互动模块的关联路径映射关系。
9.一种车内互动处理装置,其特征在于,包括:
第一确定模块,用于确定车内驾乘人员中是否有车辆本地家庭成员组的家庭成员;
第二确定模块,用于若所述第一确定模块确定所述车内驾乘人员中有车辆本地家庭成员组的家庭成员,则从所述车辆本地家庭成员组中确定出目标家庭成员,所述目标家庭成员不包括所述驾乘人员中的家庭成员;
第三确定模块,用于当检测到预设情景下的互动需求被触发时,根据所述目标家庭成员对应的真人动态仿真人脸库文件中确定所述互动需求相应的动态仿真人脸形象;
第四确定模块,用于根据所述目标家庭成员对应的真人仿真语音库文件中确定所述互动需求相应的真人仿真语音;
反馈模块,用于根据所述动态仿真人脸形象和所述真人仿真语音对所述互动需求进行互动反馈。
10.一种计算机存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任一项所述的车内互动处理方法的步骤。
CN202010796633.3A 2020-08-10 2020-08-10 车内互动处理方法及装置 Active CN111966221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010796633.3A CN111966221B (zh) 2020-08-10 2020-08-10 车内互动处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010796633.3A CN111966221B (zh) 2020-08-10 2020-08-10 车内互动处理方法及装置

Publications (2)

Publication Number Publication Date
CN111966221A true CN111966221A (zh) 2020-11-20
CN111966221B CN111966221B (zh) 2024-04-26

Family

ID=73365409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010796633.3A Active CN111966221B (zh) 2020-08-10 2020-08-10 车内互动处理方法及装置

Country Status (1)

Country Link
CN (1) CN111966221B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658580A (zh) * 2021-06-24 2021-11-16 大众问问(北京)信息科技有限公司 语音提示方法、装置、计算机设备和存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US20130257876A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Providing An Interactive Avatar
US20140108019A1 (en) * 2012-10-08 2014-04-17 Fluential, Llc Smart Home Automation Systems and Methods
JP3198714U (ja) * 2015-05-07 2015-07-16 金鼎聯合科技纖維股▲分▼有限公司 コンテクスチュアリゼーションシミュレート装置
US20160378852A1 (en) * 2015-06-29 2016-12-29 International Business Machines Corporation Question and answer system emulating people and clusters of blended people
CN108341049A (zh) * 2017-01-22 2018-07-31 昊翔电能运动科技(昆山)有限公司 家庭智能无人机
CN108537321A (zh) * 2018-03-20 2018-09-14 北京智能管家科技有限公司 一种机器人教学方法、装置、服务器和存储介质
CN108847239A (zh) * 2018-08-31 2018-11-20 上海擎感智能科技有限公司 语音交互/处理方法、系统、存储介质、车机端及服务端
CN109584648A (zh) * 2018-11-08 2019-04-05 北京葡萄智学科技有限公司 数据生成方法及装置
US20190272846A1 (en) * 2018-03-01 2019-09-05 Fu Tai Hua Industry (Shenzhen) Co., Ltd. Smart robot and method for man-machine interaction
CN110362666A (zh) * 2019-07-09 2019-10-22 邬欣霖 应用虚拟人物的交互处理方法、装置、存储介质和设备
CN110395260A (zh) * 2018-04-20 2019-11-01 比亚迪股份有限公司 车辆、安全驾驶方法和装置
CN110633349A (zh) * 2019-09-09 2019-12-31 北京安云世纪科技有限公司 一种信息添加方法、装置及智能设备
CN110816470A (zh) * 2019-11-18 2020-02-21 上海擎感智能科技有限公司 基于车载终端的用户授权添加方法、系统、介质及车载终端
CN110871447A (zh) * 2018-08-31 2020-03-10 比亚迪股份有限公司 车载机器人及其人机交互方法
CN110929074A (zh) * 2018-08-31 2020-03-27 长城汽车股份有限公司 车载语音播报方法及系统
CN111045582A (zh) * 2019-11-28 2020-04-21 深圳市木愚科技有限公司 一种个性化虚拟人像活化互动系统及方法
CN111399798A (zh) * 2020-03-10 2020-07-10 上海博泰悦臻电子设备制造有限公司 车载语音助理个性化实现方法、系统、介质及车载设备
US10714081B1 (en) * 2016-03-07 2020-07-14 Amazon Technologies, Inc. Dynamic voice assistant interaction

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130155237A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Interacting with a mobile device within a vehicle using gestures
US20130257876A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Providing An Interactive Avatar
US20140108019A1 (en) * 2012-10-08 2014-04-17 Fluential, Llc Smart Home Automation Systems and Methods
JP3198714U (ja) * 2015-05-07 2015-07-16 金鼎聯合科技纖維股▲分▼有限公司 コンテクスチュアリゼーションシミュレート装置
US20160378852A1 (en) * 2015-06-29 2016-12-29 International Business Machines Corporation Question and answer system emulating people and clusters of blended people
US10714081B1 (en) * 2016-03-07 2020-07-14 Amazon Technologies, Inc. Dynamic voice assistant interaction
CN108341049A (zh) * 2017-01-22 2018-07-31 昊翔电能运动科技(昆山)有限公司 家庭智能无人机
US20190272846A1 (en) * 2018-03-01 2019-09-05 Fu Tai Hua Industry (Shenzhen) Co., Ltd. Smart robot and method for man-machine interaction
CN108537321A (zh) * 2018-03-20 2018-09-14 北京智能管家科技有限公司 一种机器人教学方法、装置、服务器和存储介质
CN110395260A (zh) * 2018-04-20 2019-11-01 比亚迪股份有限公司 车辆、安全驾驶方法和装置
CN108847239A (zh) * 2018-08-31 2018-11-20 上海擎感智能科技有限公司 语音交互/处理方法、系统、存储介质、车机端及服务端
CN110871447A (zh) * 2018-08-31 2020-03-10 比亚迪股份有限公司 车载机器人及其人机交互方法
CN110929074A (zh) * 2018-08-31 2020-03-27 长城汽车股份有限公司 车载语音播报方法及系统
CN109584648A (zh) * 2018-11-08 2019-04-05 北京葡萄智学科技有限公司 数据生成方法及装置
CN110362666A (zh) * 2019-07-09 2019-10-22 邬欣霖 应用虚拟人物的交互处理方法、装置、存储介质和设备
CN110633349A (zh) * 2019-09-09 2019-12-31 北京安云世纪科技有限公司 一种信息添加方法、装置及智能设备
CN110816470A (zh) * 2019-11-18 2020-02-21 上海擎感智能科技有限公司 基于车载终端的用户授权添加方法、系统、介质及车载终端
CN111045582A (zh) * 2019-11-28 2020-04-21 深圳市木愚科技有限公司 一种个性化虚拟人像活化互动系统及方法
CN111399798A (zh) * 2020-03-10 2020-07-10 上海博泰悦臻电子设备制造有限公司 车载语音助理个性化实现方法、系统、介质及车载设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658580A (zh) * 2021-06-24 2021-11-16 大众问问(北京)信息科技有限公司 语音提示方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111966221B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
US20220189093A1 (en) Interaction based on in-vehicle digital persons
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
US11498573B2 (en) Pacification method, apparatus, and system based on emotion recognition, computer device and computer readable storage medium
JP6902683B2 (ja) 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器
CN110641476A (zh) 基于车载机器人的交互方法、装置、控制器和存储介质
EP3620319B1 (en) Method for operating a virtual assistant for a motor vehicle and corresponding backend system
CN115516464A (zh) 通过停放的车辆的处理能力进行的ann训练
CN111654715B (zh) 直播的视频处理方法、装置、电子设备及存储介质
CN109878441B (zh) 车辆控制方法和装置
CN113459943B (zh) 车辆控制方法、装置、设备和存储介质
CN112959998B (zh) 一种车载人机交互方法、装置、车辆及电子设备
CN114179730A (zh) 一种车辆座舱观影方法、装置及计算机可读存储介质
DE102018126525A1 (de) Fahrzeuginternes System, Verfahren und Speichermedium
CN113139070A (zh) 车内用户的交互方法、装置、计算机设备和存储介质
CN111966221A (zh) 车内互动处理方法及装置
CN111813491A (zh) 一种车载助手的拟人化交互方法、装置及汽车
CN116168696A (zh) 一种车载多指令执行方法、装置、电子设备和存储介质
CN115951779A (zh) 车载数字虚拟形象交互、生成方法、装置、设备及介质
WO2022217500A1 (zh) 一种车载影院模式的控制方法、装置、设备及存储介质
CN110310639B (zh) 一种互动表情的实现方法及终端
CN117891337A (zh) 基于车载的云旅游场景构建方法、装置、系统、介质及设备
CN114475479A (zh) 汽车的控制方法、装置及计算机存储介质
CN118608638A (zh) 车辆的虚拟场景生成方法、装置及电子设备
CN112061058B (zh) 场景触发的方法、装置、设备和存储介质
CN117523047A (zh) 一种车载智能助手的控制方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant