CN113808281A - 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质 - Google Patents

一种汽车虚拟精灵形象生成方法、系统、装置和存储介质 Download PDF

Info

Publication number
CN113808281A
CN113808281A CN202110967795.3A CN202110967795A CN113808281A CN 113808281 A CN113808281 A CN 113808281A CN 202110967795 A CN202110967795 A CN 202110967795A CN 113808281 A CN113808281 A CN 113808281A
Authority
CN
China
Prior art keywords
information
image
face
feature
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110967795.3A
Other languages
English (en)
Other versions
CN113808281B (zh
Inventor
庞智明
侯启家
文志勋
莫桓
王冬
罗兴梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin Future Pengchuang Software Co ltd
Original Assignee
Guilin Future Pengchuang Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin Future Pengchuang Software Co ltd filed Critical Guilin Future Pengchuang Software Co ltd
Priority to CN202110967795.3A priority Critical patent/CN113808281B/zh
Publication of CN113808281A publication Critical patent/CN113808281A/zh
Application granted granted Critical
Publication of CN113808281B publication Critical patent/CN113808281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种汽车虚拟精灵形象生成方法、系统、装置和存储介质，包括获取用户的图像信息和音频信息，对图像信息和音频信息进行识别，得到多维情感特征信息和多维人脸特征信息；基于模糊层次分析法，根据多维情感特征信息确定交互氛围；根据多维人脸特征信息，计算得到每个面部器官的面部特征向量，并基于K近邻分类方法，将每个面部特征向量与预设面部模板库进行匹配，得到每个面部器官的目标面部模板向量；根据多维人脸特征信息、交互氛围和所有目标面部模板向量，生成虚拟精灵形象。本发明生成了同时与用户情感和人脸特征相匹配的虚拟形象，能与用户进行生动形象的交互，为驾驶体验增加了乐趣，有利于提升汽车中控娱乐系统的使用率。

Description

一种汽车虚拟精灵形象生成方法、系统、装置和存储介质
技术领域
本发明涉及车载配置领域，尤其涉及一种汽车虚拟精灵形象生成方法、系统、装置和存储介质。
背景技术
目前市场上汽车中控娱乐系统的车载精灵、车载助手和虚拟精灵形象单一、刻板，不具备生动形象的特征，无法吸引用户，且驾驶过程单调枯燥，与用户的情感氛围不匹配，驾驶体验乏味；因此很多用户喜欢使用手机的功能替代汽车中控娱乐系统进行操作，使得汽车中控娱乐系统成了一个摆设，从而导致汽车中控娱乐系统的使用率大大降低。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种汽车虚拟精灵形象生成方法、系统、装置和存储介质，生成了同时与用户情感和人脸特征相匹配的虚拟形象，能与用户进行生动形象的交互，为驾驶体验增加了乐趣，有利于提升汽车中控娱乐系统的使用率。
本发明解决上述技术问题的技术方案如下：
一种汽车虚拟精灵形象生成方法，包括以下步骤：
获取用户的图像信息和音频信息，对所述图像信息和所述音频信息进行识别，得到特征信息集；所述特征信息集包括多维情感特征信息和多维人脸特征信息；
基于模糊层次分析法，根据所述多维情感特征信息确定交互氛围；
根据所述多维人脸特征信息，计算得到所述用户每个面部器官的面部特征向量，并基于K近邻分类方法，将每个面部特征向量与预设面部模板库进行匹配，得到每个面部器官的目标面部模板向量；
根据所述多维人脸特征信息、所述交互氛围和所有目标面部模板向量，生成所述用户的虚拟精灵形象。
依据本发明的另一方面，还提供了一种汽车虚拟精灵形象生成系统，应用于本发明中的汽车虚拟精灵形象生成方法中，包括数据获取模块、特征识别模块、模糊分析模块、面部匹配模块和形象生成模块；
所述数据获取模块，用于获取用户的图像信息和音频信息；
所述特征识别模块，用于对所述图像信息和所述音频信息进行识别，得到特征信息集；所述特征信息集包括多维情感特征信息和多维人脸特征信息；
所述模糊分析模块，用于基于模糊层次分析法，根据所述多维情感特征信息确定交互氛围；
所述面部匹配模块，用于根据所述多维人脸特征信息，计算得到所述用户每个面部器官的面部特征向量，并基于K近邻分类方法，将每个面部特征向量与预设面部模板库进行匹配，得到每个面部器官的目标面部模板向量；
所述形象生成模块，用于根据所述多维人脸特征信息、所述交互氛围和所有目标面部模板向量，生成所述用户的虚拟精灵形象。
依据本发明的另一方面，提供了一种汽车虚拟精灵形象生成装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现本发明的汽车虚拟精灵形象生成方法中的步骤。
依据本发明的另一方面，提供了一种计算机存储介质，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现本发明的汽车虚拟精灵形象生成方法中的步骤。
本发明的汽车虚拟精灵形象生成方法、系统、装置和存储介质的有益效果是：获取用户的图像信息和音频信息，可以从多方面识别出用户的特征信息集，包括能反映用户的情感状态的多个维度的情感特征信息(即多维情感特征信息)以及能反映用户的面部特征的多维人脸特征信息(即多维人脸特征信息)，进而便于后续根据多维情感特征信息分析出用户的交互氛围，以及根据多维人脸特征信息匹配出用户每个面部器官对应的目标面部模板向量；最后再根据多维人脸特征信息、确定出的交互氛围和得到的所有目标面部模板向量，生成对应的虚拟精灵形象，该虚拟精灵形象同时考虑用户情感和人脸特征，能更生动地反映用户的形象，进而实现与汽车用户更生动、更富乐趣地人机交互；
本发明的汽车虚拟精灵形象生成方法、系统、装置和存储介质，生成了同时与用户情感和人脸特征相匹配的虚拟形象，能与用户进行生动形象的交互，为驾驶体验增加了乐趣，有利于提升汽车中控娱乐系统的使用率。
附图说明
图1为本发明实施例一中一种汽车虚拟精灵形象生成方法的流程示意图；
图2为本发明实施例二中一种汽车虚拟精灵形象生成系统的结构示意图；
图3为本发明实施例二中另一种汽车虚拟精灵形象生成系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
下面结合附图，对本发明进行说明。
实施例一、如图1所示，一种汽车虚拟精灵形象生成方法，包括以下步骤：
S1：获取用户的图像信息和音频信息，对所述图像信息和所述音频信息进行识别，得到特征信息集；所述特征信息集包括多维情感特征信息和多维人脸特征信息；
S2：基于模糊层次分析法，根据所述多维情感特征信息确定交互氛围；
S3：根据所述多维人脸特征信息，计算得到所述用户每个面部器官的面部特征向量，并基于K近邻分类方法，将每个面部特征向量与预设面部模板库进行匹配，得到每个面部器官的目标面部模板向量；
S4：根据所述多维人脸特征信息、所述交互氛围和所有目标面部模板向量，生成所述用户的虚拟精灵形象。
本实施例获取用户的图像信息和音频信息，可以从多方面识别出用户的特征信息集，包括能反映用户的情感状态的多个维度的情感特征信息(即多维情感特征信息)以及能反映用户的面部特征的多维人脸特征信息(即多维人脸特征信息)，进而便于后续根据多维情感特征信息分析出用户的交互氛围，以及根据多维人脸特征信息匹配出用户每个面部器官对应的目标面部模板向量；最后再根据多维人脸特征信息、确定出的交互氛围和得到的所有目标面部模板向量，生成对应的虚拟精灵形象，该虚拟精灵形象同时考虑用户情感和人脸特征，能更生动地反映用户的形象，进而实现与汽车用户更生动、更富乐趣地人机交互；
本实施例的汽车虚拟精灵形象生成方法，生成了同时与用户情感和人脸特征相匹配的虚拟形象，能与用户进行生动形象的交互，为驾驶体验增加了乐趣，有利于提升汽车中控娱乐系统的使用率。
应理解，S2和S3两个步骤不分先后，既可以按照本实施例中先执行S2再执行S3，也可以先执行S3再执行S2，最后只需保证将该两个步骤中的结果输入S4中即可。
具体地，本实施例中的图像信息为汽车内的图像采集装置(例如摄像头)对用户所拍摄的半身照，包括用户的面部头像和上本身的服饰图像；音频信息为汽车的录音装置对用户所发出的声音所录制的；对图像信息进行识别和对音频信息进行识别的具体方法为现有技术，细节此处不再赘述。
优选地，所述多维情感特征信息包括声纹情感特征信息、表情情感特征信息和服装色彩情感特征信息；S2的具体步骤包括：
对所述声纹情感特征信息、所述表情情感特征信息和所述服装色彩情感特征信息分别进行去噪处理；
分别根据去噪处理后的所述声纹情感特征信息、所述表情情感特征信息和所述服装色彩情感特征信息进行情感分类，分别得到所述声纹情感特征信息对应的第一情感状态、所述表情情感特征信息对应的第二情感状态和所述服装色彩情感特征信息对应的第三情感状态；
采用所述模糊层次分析法，确定出所述第一情感状态、所述第二情感状态和所述第三情感状态对于形成所述交互氛围的权重集，并根据所述第一情感状态、所述第二情感状态、所述第三情感状态和所述权重集，得到所述交互氛围。
对声纹情感特征信息、表情情感特征信息和服装色彩情感特征信息分别进行去噪处理，可以去除这些信息中的噪音或干扰数据，提高数据质量，便于后续情感分类的准确率。
在生活中，当人们激动时，发出的声音就高而强，情绪平静或低落时，声音就低而弱；兴高采烈时发出的声音就清脆、明亮，忧郁悲伤时声音低沉、暗淡；而当所发之声让人赶到柔和、甜美时，那么发声者的心中一定充满着温情和爱意，这些由于激动、平静、高兴或悲伤等等不同的情绪与情感而引发的高、低、强、弱、明、暗、柔等不同的声音，就是由于不同的情绪或情感作用于发声系统各器官的生理活动，导致气息运用，声带发声的方法和共鸣腔调节的形状等不同使然。因为，当发声者情绪激动，感情激烈时，气息呼出量就大，气势也较强，易形成较高压力的气流冲击声带振动，构成较强和较高效能的声波在共鸣声道中产生充分、丰富的共振，其声音就较高、强。反之，声音就相对较低、较弱；当发声者兴高采烈时，就会有喜笑颜开的面部表情相伴，这样，虽然在发声过程中笑肌等共鸣部位兴奋、积极，但口咽腔共鸣管相对减少了竖和长的成分，因为声音就较为清脆、明亮；反之当发声者在忧郁、悲伤时，其声音就会因面部表情较为凝重而使笑肌等共鸣部位不够积极兴奋而缺乏头脑共鸣，显得较为低沉、暗淡；而当发声者的心中充满温柔的感情时，其在发声时由于气息的力度与速度以及声带振动等都处于平和中庸之状态，因而声音就如春风拂面般的温和、柔美。因此，声纹情感特征与用户的情感状态有紧密的关联，能一定程度上反映用户的情感状态。通过对去噪处理后的声纹情感特征信息进行情感分类，可以声纹角度来判别用户当前的情感状态，即第一情感状态，便于后续基于该第一情感状态来进一步确定适宜用户情感状态的交互氛围。
用户的表情情感特征信息则能更直接反映用户当前的情感状态，因此同理，通过对去噪处理后的表情纹情感特征信息进行情感分类，可以面部表情角度来判别用户当前的情感状态，即第二情感状态，便于后续基于该第二情感状态来进一步确定适宜用户情感状态的交互氛围。
服装色彩与人的性格有着非常密切的联系，不同的色彩分别代表了不同的情感与性格，不同情感与性格的人群对于服装的颜色也有着不同的个性需求，因此服装色彩也可以在一定程度上反映出用户的情感变化和内心活动，例如红色象征热情和危险，喜欢红色服装的用户，代表用户热情奔放、积极乐观、真诚主动，也象征着大起大落的情绪波动；而红色还分很多种，例如大红、玫红、粉色等，玫红能体现出用户的乐观、娇柔的性格和情感状态，粉色能体现出用户的可爱、青春明快的性格和情感状态。因此同理，通过对去噪处理后的服装色彩纹情感特征信息进行情感分类，可以服装角度来判别用户当前的情感状态，即第三情感状态，便于后续基于该第三情感状态来进一步确定适宜用户情感状态的交互氛围。
通过模糊层次分析法可以动态计算出三种情感状态对用户当前的真实情感状态的权重大小，用户当前的真实情感状态即代表用户的交互氛围，便于后续生成适宜用户交互氛围的虚拟精灵形象，提高生动性。
具体地，采用模糊层析分析法来动态分析多因素的权重大小的具体方法为现有技术，例如通过构建优先关系矩阵、将优先关系矩阵转换成模糊一致性矩阵以及根据模糊一致性矩阵来计算出第一情感状态、第二情感状态和第三情感状态分别对于形成交互氛围的权重，这些权重即构成了权重集，具体细节此处不再赘述。
优选地，所述多维人脸特征信息包括眉毛特征点信息、眼睛特征点信息、鼻子特征点信息、嘴巴特征点信息和面部轮廓特征点信息；所述用户的面部特征向量包括眉毛特征向量、眼睛特征向量、鼻子特征向量、嘴巴特征向量和面部轮廓特征向量；S3中，计算得到每个面部器官对应的面部特征向量的具体步骤包括：
从所述图像信息中提取眉毛图像，对所述眉毛图像依次进行归一化处理和高斯模糊处理，得到眉毛处理图像；根据所述眉毛特征点信息将所述眉毛处理图像划分为多个眉毛区域，计算每个眉毛区域中像素之和，并根据所有眉毛区域的像素之和构建所述眉毛特征向量；
从所述图像信息中提取眼睛图像，对所述眼睛图像进行归一化处理，并根据所述眼睛特征点信息对归一化处理后的所述眼睛图像进行HOG特征计算，得到所述眼睛特征向量；
从所述图像信息中提取鼻子图像，对所述鼻子图像进行归一化处理，并根据所述鼻子特征点信息对归一化处理后的所述鼻子图像进行HOG特征计算，得到所述鼻子特征向量；
从所述图像信息中提取嘴巴图像，对所述嘴巴图像进行归一化处理，并根据所述嘴巴特征点信息对归一化处理后的所述嘴巴图像进行HOG特征计算，得到所述嘴巴特征向量；
从所述图像信息中提取面部轮廓图像，根据所述面部轮廓特征点信息获取所述轮廓图像的最小外接矩形框；根据所述最小外接矩形框对所述面部轮廓特征点信息进行归一化处理，得到多个目标轮廓特征点坐标；
分别计算每个目标轮廓特征点坐标与所述最小外接矩形框的中心之间的欧式距离，得到多个目标轮廓特征点距离，并根据所有目标轮廓特征点距离构建所述面部轮廓特征向量。
通过在图像信息中提取出各器官图像并根据识别出的眉毛特征点信息、眼睛特征点信息、鼻子特征点信息、嘴巴特征点信息和面部轮廓特征点信息，一方面便于提取出用户面部的主要器官的面部特征向量，描述出用户主要器官的特征，进而便于后续进行建模得到三维人脸图像，另一方面便于后续计算出各主要器官的位置信息，在面部特征向量描述用户面部器官的特征的基础上，为各面部器官进行定位，生成符合用户真实情况的三维人脸图像。通过本实施例对各特征点信息的处理和计算，能得到准确率更高的面部特征向量，进而提高三维人脸图像的可靠性。
优选地，S4的具体步骤包括：
根据所述眉毛特征点信息计算出眉心位置信息；根据所述鼻子特征点信息和所述眉毛特征点信息，计算出面部高度信息；根据所述鼻子特征点信息和所述眼睛特征点信息，计算出面部中心位置信息；
根据所述眉心位置信息、所述面部高度信息和所述面部中心位置信息，计算得到额头高度信息；根据所述面部轮廓特征点信息和所述眼睛特征点信息，计算出面部宽度信息；
根据所述眉心位置信息、所述面部中心位置信息、所述面部高度信息、所述面部宽度信息、所述额头高度信息和所有面部模板向量，生成三维人脸图像；
根据所述交互氛围，对所述三维人脸图像进行变换，得到所述用户的对应的所述虚拟精灵形象。
具体地，计算所述眉心位置信息的具体公式为：C1＝(p22-p21)×0.5+p21；
计算所述面部高度信息的具体公式为：f1＝2×|C1-p30|；
计算所述面部中心位置信息的具体公式为：C2＝(p16-p0)×0.5+p0；
计算所述额头高度信息的具体公式为：f2＝f1+|C2-C1|；
计算所述面部宽度信息的具体公式为：f3＝2×|C3|×0.5×0.65；
其中，C1为所述眉心位置信息，p21和p22分别为所述眉毛特征点信息中的左眉头特征点信息和右眉头特征点信息；f1为所述面部高度信息，p30为所述鼻子特征点信息中的鼻尖特征点信息；C2为所述面部中心位置信息，p0和p16分别为所述面部轮廓特征点信息中与左眼齐平的左特征点信息和与右眼齐平的右特征点信息；f2为所述额头高度信息；f3为所述面部宽度信息，C3为预设过程参数。
通过上述方法和对应的计算公式分别计算出的眉心位置信息、面部高度信息、面部中心位置信息、额头高度信息和面部宽度信息，能准确定位出用户整个面部的位置，再结合能描述各面部器官特征的面部模板向量，生成符合用户真实面部形象的三维人脸图像，再根据交互氛围对三维人脸图像进行变换，使得生成的虚拟精灵形象既符合用户的真实面部形象，还能表现出用户的真实情感状态的，更加真实、生动和形象，有利于提升汽车中控系统的人机交互效果，进而帮助提升该中控系统的利用率。
优选地，所述预设面部模板库中包含多个面部模板向量，在S3中，得到每个面部器官对应的目标面部模板的具体步骤包括：
任选一个面部特征向量，计算选取的面部特征向量与预设面部模板库中每个面部模板向量之间的欧式距离；
自定义K近邻分类方法中的K值，根据所述K值对所有欧式距离进行近邻搜索匹配，得到目标欧式距离，并将目标欧式距离对应的面部模板向量确定为选取的面部特征向量对应的目标面部模板向量；
遍历每个面部特征向量，得到所述用户每个面部器官对应的目标面部模板向量。
通过计算欧式距离，再根据K值来选取最小的前K个欧式距离，实现近邻搜索匹配，找出K个欧式距离中包含最多类的数据，即匹配出选取的面部特征向量所对应的类(即目标面部模板向量)，上述匹配目标面部模板向量的方法，能以简单高效的分类方法，准确匹配出各目标面部模板向量，有利于提高整个形象生成方法的效率。
具体地，本实施例中K值取1。
优选地，所述特征信息集还包括身体特征信息和服装装扮信息；在S4之后还包括以下步骤：
预设生成的所述虚拟精灵形象与所有面部模板向量之间的控制策略，根据所述控制策略，对所述虚拟精灵形象进行调整，得到调整虚拟精灵形象；
根据所述身体特征信息，在预设身体模板库为所述调整虚拟精灵形象拼接身体形象，得到中间虚拟精灵形象，并根据所述服装装扮信息在预设装扮库中为所述中间虚拟精灵形象匹配装扮，得到目标虚拟精灵形象。
在生成虚拟精灵形象之后，通过预设虚拟精灵形象和面部模板向量之间的控制策略，可以实现依据用户个性化需求，对生成的虚拟精灵形象进行个性化调整，进一步提升了用户的体验感。由于图像信息是根据用户来采集的，其至少包括用户面部特征和半身特征的图像，因此通过图像信息的识别，还能得到身体特征信息和服装装扮信息；利用身体特征信息来和预设身体模板库来进行身体形象的拼接，并利用服装装扮信息和预设装扮库来进行匹配装扮，在只包含有面部特征的虚拟精灵形象的基础上，既实现了用户身体形象的生动体现，又实现了服装、饰物等形象的生动体现，进一步提升了汽车中控系统的人机交互效果和用户的体验感。
具体地，本实施例的控制策略中，包括设定虚拟精灵形象中每个面部器官特征点为控制点，设定所有面部模板向量中对应的面部器官特征点为随动点，以及设定上述两种面部器官特征点之间的控制-随动关系，通过用户操作各控制点，来实现各随动点的调整，最后再依据各调整后的随动点生成调整虚拟精灵形象。其具体操作方法为现有技术，具体细节此处不再赘述。
优选地，所述特征信息集还包括声纹身份特征信息；
在S1之后还包括以下步骤：
根据所述声纹身份特征信息和/或所述多维人脸特征信息，判断所述用户是否为非授权用户，若是，发出未授权告警信息；若否，则执行确定所述交互氛围的步骤。
每个人的声纹都有差异，用户所输入的音频信息除了能识别反映用户情感状态的声纹情感特征信息，还能识别出反映用户身份的声纹身份特征信息，其中用户身份包括用户的性别和年龄等信息，采用该声纹身份特征信息能判断用户是否为非授权用户，当为非授权用户时发出未授权告警信息，只有当为授权用户时，才能进行后续的步骤，能有效避免非授权用户非法操作汽车，提高汽车的安全性；同理，多维人脸特征信息中也能反映出上述性别和年龄等信息，也能进行非授权用户的筛选判断。
具体地，本实施例中非授权用户可以为对年龄有限制的儿童和老人，根据所述声纹身份特征信息和/或所述多维人脸特征信息，得到用户年龄，根据所述用户年龄和预设第一年龄阈值判断所述用户是否为儿童，若是，发出未授权告警信息；否则根据所述用户年龄和预设第二年龄阈值判断所述用户是否为老人，若是，发出所述未授权告警信息，否则执行确定所述交互氛围的步骤。
当这些非授权用户操作汽车时，可能会带来安全隐患，因此本实施例通过上述利用声纹身份特征信息和/或多维人脸特征信息来筛选非授权用户的方法，能提高汽车及其中控系统的安全性。
具体地，本实施例的预设第一年龄阈值为[0,16]，意味着当用户年龄不超过16岁时，该用户为儿童(或非授权用户)；预设第二年龄阈值为[65,∞](实际用户年龄不可能为无穷大，可理解为大于等于65)，意味着当用户年龄超过65岁时，该用户为老人(或非授权用户)。
实施例二、如图2所示，一种汽车虚拟精灵形象生成系统，应用于实施例一的汽车虚拟精灵形象生成方法中，包括数据获取模块、特征识别模块、模糊分析模块、面部匹配模块和形象生成模块；
所述数据获取模块，用于获取用户的图像信息和音频信息；
所述特征识别模块，用于对所述图像信息和所述音频信息进行识别，得到特征信息集；所述特征信息集包括多维情感特征信息和多维人脸特征信息；
所述模糊分析模块，用于基于模糊层次分析法，根据所述多维情感特征信息确定交互氛围；
所述面部匹配模块，用于根据所述多维人脸特征信息，计算得到所述用户每个面部器官的面部特征向量，并基于K近邻分类方法，将每个面部特征向量与预设面部模板库进行匹配，得到每个面部器官的目标面部模板向量；
所述形象生成模块，用于根据所述多维人脸特征信息、所述交互氛围和所有目标面部模板向量，生成所述用户的虚拟精灵形象。
本实施例的汽车虚拟精灵形象生成系统，生成了同时与用户情感和人脸特征相匹配的虚拟形象，能与用户进行生动形象的交互，为驾驶体验增加了乐趣，有利于提升汽车中控娱乐系统的使用率。
优选地，所述多维情感特征信息包括声纹情感特征信息、表情情感特征信息和服装色彩情感特征信息；所述模糊分析模块具体用于：
对所述声纹情感特征信息、所述表情情感特征信息和所述服装色彩情感特征信息分别进行去噪处理；
分别根据去噪处理后的所述声纹情感特征信息、所述表情情感特征信息和所述服装色彩情感特征信息进行情感分类，分别得到所述声纹情感特征信息对应的第一情感状态、所述表情情感特征信息对应的第二情感状态和所述服装色彩情感特征信息对应的第三情感状态；
采用所述模糊层次分析法，确定出所述第一情感状态、所述第二情感状态和所述第三情感状态对于形成所述交互氛围的权重集，并根据所述第一情感状态、所述第二情感状态、所述第三情感状态和所述权重集，得到所述交互氛围。
优选地，所述多维人脸特征信息包括眉毛特征点信息、眼睛特征点信息、鼻子特征点信息、嘴巴特征点信息和面部轮廓特征点信息；所述用户的面部特征向量包括眉毛特征向量、眼睛特征向量、鼻子特征向量、嘴巴特征向量和面部轮廓特征向量；所述面部匹配模块具体用于：
从所述图像信息中提取眉毛图像，对所述眉毛图像依次进行归一化处理和高斯模糊处理，得到眉毛处理图像；根据所述眉毛特征点信息将所述眉毛处理图像划分为多个眉毛区域，计算每个眉毛区域中像素之和，并根据所有眉毛区域的像素之和构建所述眉毛特征向量；
从所述图像信息中提取眼睛图像，对所述眼睛图像进行归一化处理，并根据所述眼睛特征点信息对归一化处理后的所述眼睛图像进行HOG特征计算，得到所述眼睛特征向量；
从所述图像信息中提取鼻子图像，对所述鼻子图像进行归一化处理，并根据所述鼻子特征点信息对归一化处理后的所述鼻子图像进行HOG特征计算，得到所述鼻子特征向量；
从所述图像信息中提取嘴巴图像，对所述嘴巴图像进行归一化处理，并根据所述嘴巴特征点信息对归一化处理后的所述嘴巴图像进行HOG特征计算，得到所述嘴巴特征向量；
从所述图像信息中提取面部轮廓图像，根据所述面部轮廓特征点信息获取所述轮廓图像的最小外接矩形框；根据所述最小外接矩形框对所述面部轮廓特征点信息进行归一化处理，得到多个目标轮廓特征点坐标；
分别计算每个目标轮廓特征点坐标与所述最小外接矩形框的中心之间的欧式距离，得到多个目标轮廓特征点距离，并根据所有目标轮廓特征点距离构建所述面部轮廓特征向量。
优选地，所述形象生成模块具体用于：
根据所述眉毛特征点信息计算出眉心位置信息；根据所述鼻子特征点信息和所述眉毛特征点信息，计算出面部高度信息；根据所述鼻子特征点信息和所述眼睛特征点信息，计算出面部中心位置信息；
根据所述眉心位置信息、所述面部高度信息和所述面部中心位置信息，计算得到额头高度信息；根据所述面部轮廓特征点信息和所述眼睛特征点信息，计算出面部宽度信息；
根据所述眉心位置信息、所述面部中心位置信息、所述面部高度信息、所述面部宽度信息、所述额头高度信息和所有面部模板向量，生成三维人脸图像；
根据所述交互氛围，对所述三维人脸图像进行变换，得到所述用户的对应的所述虚拟精灵形象。
优选地，所述预设面部模板库中包含多个面部模板向量，所述面部匹配模块还具体用于：
任选一个面部特征向量，计算选取的面部特征向量与预设面部模板库中每个面部模板向量之间的欧式距离；
自定义K近邻分类方法中的K值，根据所述K值对所有欧式距离进行近邻搜索匹配，得到目标欧式距离，并将目标欧式距离对应的面部模板向量确定为选取的面部特征向量对应的目标面部模板向量；
遍历每个面部特征向量，得到所述用户每个面部器官对应的目标面部模板向量。
优选地，所述特征信息集还包括身体特征信息和服装装扮信息；如图3所示，所述汽车虚拟精灵形象生成系统还包括形象调整模块，所述形象调整模块具体用于：
预设生成的所述虚拟精灵形象与所有面部模板向量之间的控制策略，根据所述控制策略，对所述虚拟精灵形象进行调整，得到调整虚拟精灵形象；
根据所述身体特征信息，在预设身体模板库为所述调整虚拟精灵形象拼接身体形象，得到中间虚拟精灵形象，并根据所述服装装扮信息在预设装扮库中为所述中间虚拟精灵形象匹配装扮，得到目标虚拟精灵形象。
优选地，所述特征信息集还包括声纹身份特征信息；如图3所示，所述汽车虚拟精灵形象生成系统还包括身份识别模块，所述身份识别模块具体用于：
根据所述声纹身份特征信息和/或所述多维人脸特征信息，判断所述用户是否为非授权用户，若是，发出未授权告警信息；若否，则执行确定所述交互氛围的步骤。
本实施例中的未尽细节，详见实施例一以及图1的具体描述内容，此处不再赘述。
实施例三、基于实施例一和实施例二，本实施例还公开了一种汽车虚拟精灵形象生成装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如图1所示的S1至S4的具体步骤。
通过存储在存储器上的计算机程序，并运行在处理器上，生成了同时与用户情感和人脸特征相匹配的虚拟形象，能与用户进行生动形象的交互，为驾驶体验增加了乐趣，有利于提升汽车中控娱乐系统的使用率。
本实施例还提供一种计算机存储介质，所述计算机存储介质上存储有至少一个指令，所述指令被执行时实现所述S1至S4的具体步骤。
通过执行包含至少一个指令的计算机存储介质，生成了同时与用户情感和人脸特征相匹配的虚拟形象，能与用户进行生动形象的交互，为驾驶体验增加了乐趣，有利于提升汽车中控娱乐系统的使用率。
本实施例中S1至S4的未尽细节，详见实施例一以及图1的具体描述内容，此处不再赘述。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种汽车虚拟精灵形象生成方法，其特征在于，包括以下步骤：
获取用户的图像信息和音频信息，对所述图像信息和所述音频信息进行识别，得到特征信息集；所述特征信息集包括多维情感特征信息和多维人脸特征信息；
基于模糊层次分析法，根据所述多维情感特征信息确定交互氛围；
根据所述多维人脸特征信息，计算得到所述用户每个面部器官的面部特征向量，并基于K近邻分类方法，将每个面部特征向量与预设面部模板库进行匹配，得到每个面部器官的目标面部模板向量；
根据所述多维人脸特征信息、所述交互氛围和所有目标面部模板向量，生成所述用户的虚拟精灵形象。
2.根据权利要求1所述的汽车虚拟精灵形象生成方法，其特征在于，所述多维情感特征信息包括声纹情感特征信息、表情情感特征信息和服装色彩情感特征信息；确定所述用户的交互氛围的具体步骤包括：
对所述声纹情感特征信息、所述表情情感特征信息和所述服装色彩情感特征信息分别进行去噪处理；
分别根据去噪处理后的所述声纹情感特征信息、所述表情情感特征信息和所述服装色彩情感特征信息进行情感分类，分别得到所述声纹情感特征信息对应的第一情感状态、所述表情情感特征信息对应的第二情感状态和所述服装色彩情感特征信息对应的第三情感状态；
采用所述模糊层次分析法，确定出所述第一情感状态、所述第二情感状态和所述第三情感状态对于形成所述交互氛围的权重集，并根据所述第一情感状态、所述第二情感状态、所述第三情感状态和所述权重集，得到所述交互氛围。
3.根据权利要求1所述的汽车虚拟精灵形象生成方法，其特征在于，所述多维人脸特征信息包括眉毛特征点信息、眼睛特征点信息、鼻子特征点信息、嘴巴特征点信息和面部轮廓特征点信息；面部特征向量包括眉毛特征向量、眼睛特征向量、鼻子特征向量、嘴巴特征向量和面部轮廓特征向量；计算得到每个面部器官的面部特征向量的具体步骤包括：
从所述图像信息中提取眉毛图像，对所述眉毛图像依次进行归一化处理和高斯模糊处理，得到眉毛处理图像；根据所述眉毛特征点信息将所述眉毛处理图像划分为多个眉毛区域，计算每个眉毛区域中像素之和，并根据所有眉毛区域的像素之和构建所述眉毛特征向量；
从所述图像信息中提取眼睛图像，对所述眼睛图像进行归一化处理，并根据所述眼睛特征点信息对归一化处理后的所述眼睛图像进行HOG特征计算，得到所述眼睛特征向量；
从所述图像信息中提取鼻子图像，对所述鼻子图像进行归一化处理，并根据所述鼻子特征点信息对归一化处理后的所述鼻子图像进行HOG特征计算，得到所述鼻子特征向量；
从所述图像信息中提取嘴巴图像，对所述嘴巴图像进行归一化处理，并根据所述嘴巴特征点信息对归一化处理后的所述嘴巴图像进行HOG特征计算，得到所述嘴巴特征向量；
从所述图像信息中提取面部轮廓图像，根据所述面部轮廓特征点信息获取所述轮廓图像的最小外接矩形框；根据所述最小外接矩形框对所述面部轮廓特征点信息进行归一化处理，得到多个目标轮廓特征点坐标；
分别计算每个目标轮廓特征点坐标与所述最小外接矩形框的中心之间的欧式距离，得到多个目标轮廓特征点距离，并根据所有目标轮廓特征点距离构建所述面部轮廓特征向量。
4.根据权利要求3所述的汽车虚拟精灵形象生成方法，其特征在于，生成所述用户对应的所述虚拟精灵形象的具体步骤包括：
根据所述眉毛特征点信息计算出眉心位置信息；根据所述鼻子特征点信息和所述眉毛特征点信息，计算出面部高度信息；根据所述鼻子特征点信息和所述眼睛特征点信息，计算出面部中心位置信息；
根据所述眉心位置信息、所述面部高度信息和所述面部中心位置信息，计算得到额头高度信息；根据所述面部轮廓特征点信息和所述眼睛特征点信息，计算出面部宽度信息；
根据所述眉心位置信息、所述面部中心位置信息、所述面部高度信息、所述面部宽度信息、所述额头高度信息和所有面部模板向量，生成三维人脸图像；
根据所述交互氛围，对所述三维人脸图像进行变换，得到所述用户的对应的所述虚拟精灵形象。
5.根据权利要求1所述的汽车虚拟精灵形象生成方法，其特征在于，所述预设面部模板库中包含多个面部模板向量，得到每个面部器官对应的目标面部模板的具体步骤包括：
任选一个面部特征向量，计算选取的面部特征向量与预设面部模板库中每个面部模板向量之间的欧式距离；
自定义K近邻分类方法中的K值，根据所述K值对所有欧式距离进行近邻搜索匹配，得到目标欧式距离，并将目标欧式距离对应的面部模板向量确定为选取的面部特征向量对应的目标面部模板向量；
遍历每个面部特征向量，得到所述用户每个面部器官对应的目标面部模板向量。
6.根据权利要求1所述的汽车虚拟精灵形象生成方法，其特征在于，所述特征信息集还包括身体特征信息和服装装扮信息；在生成所述用户对应的所述虚拟精灵形象之后还包括以下步骤：
预设生成的所述虚拟精灵形象与所有面部模板向量之间的控制策略，根据所述控制策略，对所述虚拟精灵形象进行调整，得到调整虚拟精灵形象；
根据所述身体特征信息，在预设身体模板库为所述调整虚拟精灵形象拼接身体形象，得到中间虚拟精灵形象，并根据所述服装装扮信息在预设装扮库中为所述中间虚拟精灵形象匹配装扮，得到目标虚拟精灵形象。
7.根据权利要求1至6任一项所述的汽车虚拟精灵形象生成方法，其特征在于，所述特征信息集还包括声纹身份特征信息；
在得到所述特征信息集之后还包括以下步骤：
根据所述声纹身份特征信息和/或所述多维人脸特征信息，判断所述用户是否为非授权用户，若是，发出未授权告警信息；若否，则执行确定所述交互氛围的步骤。
8.一种汽车虚拟精灵形象生成系统，其特征在于，应用于如权利要求1至7任一项所述的汽车虚拟精灵形象生成方法中，包括数据获取模块、特征识别模块、模糊分析模块、面部匹配模块和形象生成模块；
所述数据获取模块，用于获取用户的图像信息和音频信息；
所述特征识别模块，用于对所述图像信息和所述音频信息进行识别，得到特征信息集；所述特征信息集包括多维情感特征信息和多维人脸特征信息；
所述模糊分析模块，用于基于模糊层次分析法，根据所述多维情感特征信息确定交互氛围；
所述面部匹配模块，用于根据所述多维人脸特征信息，计算得到所述用户每个面部器官的面部特征向量，并基于K近邻分类方法，将每个面部特征向量与预设面部模板库进行匹配，得到每个面部器官的目标面部模板向量；
所述形象生成模块，用于根据所述多维人脸特征信息、所述交互氛围和所有目标面部模板向量，生成所述用户的虚拟精灵形象。
9.一种汽车虚拟精灵形象生成装置，其特征在于，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如权利要求1至7任一项所述的方法步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现如权利要求1至7任一项所述的方法步骤。
CN202110967795.3A 2021-08-23 2021-08-23 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质 Active CN113808281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110967795.3A CN113808281B (zh) 2021-08-23 2021-08-23 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110967795.3A CN113808281B (zh) 2021-08-23 2021-08-23 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质

Publications (2)

Publication Number Publication Date
CN113808281A true CN113808281A (zh) 2021-12-17
CN113808281B CN113808281B (zh) 2024-02-27

Family

ID=78893867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110967795.3A Active CN113808281B (zh) 2021-08-23 2021-08-23 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113808281B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193652A1 (zh) * 2022-04-06 2023-10-12 长城汽车股份有限公司 一种车机虚拟形象交互方法、系统、车辆及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0904540A2 (pt) * 2009-11-27 2011-07-12 Samsung Eletronica Da Amazonia Ltda método de sìntese de movimento labial para animação de cabeças virtuais através do processamento de voz em dispositivos portáteis
CN108875539A (zh) * 2018-03-09 2018-11-23 北京旷视科技有限公司 表情匹配方法、装置和系统及存储介质
CN109308727A (zh) * 2018-09-07 2019-02-05 腾讯科技（深圳）有限公司 虚拟形象模型生成方法、装置及存储介质
JP6796762B1 (ja) * 2019-11-28 2020-12-09 有限会社クロマニヨン 仮想人物対話システム、映像生成方法、映像生成プログラム
CN112164135A (zh) * 2020-09-30 2021-01-01 山西智优利民健康管理咨询有限公司 一种虚拟人物形象的构建装置和方法
US20210041957A1 (en) * 2019-02-01 2021-02-11 Beijing Sensetime Technology Development Co., Ltd. Control of virtual objects based on gesture changes of users
CN112650831A (zh) * 2020-12-11 2021-04-13 北京大米科技有限公司 虚拟形象生成方法、装置、存储介质及电子设备
CN112669417A (zh) * 2020-12-18 2021-04-16 北京大米科技有限公司 虚拟形象的生成方法、装置、存储介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0904540A2 (pt) * 2009-11-27 2011-07-12 Samsung Eletronica Da Amazonia Ltda método de sìntese de movimento labial para animação de cabeças virtuais através do processamento de voz em dispositivos portáteis
CN108875539A (zh) * 2018-03-09 2018-11-23 北京旷视科技有限公司 表情匹配方法、装置和系统及存储介质
CN109308727A (zh) * 2018-09-07 2019-02-05 腾讯科技（深圳）有限公司 虚拟形象模型生成方法、装置及存储介质
US20210041957A1 (en) * 2019-02-01 2021-02-11 Beijing Sensetime Technology Development Co., Ltd. Control of virtual objects based on gesture changes of users
JP6796762B1 (ja) * 2019-11-28 2020-12-09 有限会社クロマニヨン 仮想人物対話システム、映像生成方法、映像生成プログラム
CN112164135A (zh) * 2020-09-30 2021-01-01 山西智优利民健康管理咨询有限公司 一种虚拟人物形象的构建装置和方法
CN112650831A (zh) * 2020-12-11 2021-04-13 北京大米科技有限公司 虚拟形象生成方法、装置、存储介质及电子设备
CN112669417A (zh) * 2020-12-18 2021-04-16 北京大米科技有限公司 虚拟形象的生成方法、装置、存储介质及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AUGUSTA GASPAR等: "Virtual characters with affective facial behavior", 《2014 INTERNATIONAL CONFERENCE ON COMPUTER GRAPHICS THEORY AND APPLICATIONS(GRAPP)》, vol. 27, no. 2, pages 1 - 8, XP032791979 *
CONSTANTIONS CHARALAMBOUS等: "Audio-driven emotional speech animation for interactive virtual characters", 《COMPUTER ANIMATION AND VIRTUAL WORDS》, vol. 30, no. 3, pages 1892 *
THOMAS KOHLER等: "Avatar-based innovation:Using virtual worlds for real-world innovation", 《TECHNOVATION》, vol. 29, no. 7, pages 395 - 407, XP026094605, DOI: 10.1016/j.technovation.2008.11.004 *
冯静怡: "基于web的三维虚拟形象生成与控制方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2021, pages 138 - 1331 *
曾晨: "基于人脸识别的儿童互动学习系统设计与实现", 《中国优秀硕士论文全文数据库 社会科学II辑》, pages 127 - 57 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193652A1 (zh) * 2022-04-06 2023-10-12 长城汽车股份有限公司 一种车机虚拟形象交互方法、系统、车辆及存储介质

Also Published As

Publication number Publication date
CN113808281B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN111145282B (zh) 虚拟形象合成方法、装置、电子设备和存储介质
JP7041763B2 (ja) ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
Olszewski et al. High-fidelity facial and speech animation for VR HMDs
EP3381175B1 (en) Apparatus and method for operating personal agent
CN110399837B (zh) 用户情绪识别方法、装置以及计算机可读存储介质
Busso et al. Rigid head motion in expressive speech animation: Analysis and synthesis
CN106992013A (zh) 语音情感修改
KR20180136387A (ko) 커뮤니케이션 장치, 커뮤니케이션 로봇 및 컴퓨터가 판독 가능한 기록 매체
JP3178393B2 (ja) 行動生成装置、行動生成方法及び行動生成プログラム記録媒体
CN111081371A (zh) 基于虚拟现实的孤独症早期筛查评估系统及方法
WO2016011457A1 (en) Generating and using a predictive virtual personification
CN113760101A (zh) 一种虚拟角色控制方法、装置、计算机设备以及存储介质
CN109278051A (zh) 基于智能机器人的交互方法及系统
Rizzo et al. Performance-driven facial animation: basic research on human judgments of emotional state in facial avatars
JP6796762B1 (ja) 仮想人物対話システム、映像生成方法、映像生成プログラム
CN108052250A (zh) 基于多模态交互的虚拟偶像演绎数据处理方法及系统
US9449521B2 (en) Method for using virtual facial and bodily expressions
CN115662388B (zh) 虚拟形象面部驱动方法、装置、电子设备及介质
WO2020129959A1 (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
JP2021068404A (ja) アバターの顔の表情生成システムおよびアバターの顔の表情生成方法
KR101913811B1 (ko) 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
CN116704085B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN113808281A (zh) 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质
Goudé et al. Real-time multi-map saliency-driven gaze behavior for non-conversational characters
CN114712862A (zh) 虚拟宠物交互方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant