CN112508161A - 陪伴数字替身的控制方法、系统和存储介质 - Google Patents
陪伴数字替身的控制方法、系统和存储介质 Download PDFInfo
- Publication number
- CN112508161A CN112508161A CN202011348178.7A CN202011348178A CN112508161A CN 112508161 A CN112508161 A CN 112508161A CN 202011348178 A CN202011348178 A CN 202011348178A CN 112508161 A CN112508161 A CN 112508161A
- Authority
- CN
- China
- Prior art keywords
- data
- target object
- behavior
- digital avatar
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000006467 substitution reaction Methods 0.000 title claims description 8
- 230000006399 behavior Effects 0.000 claims abstract description 117
- 230000008451 emotion Effects 0.000 claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 230000000875 corresponding effect Effects 0.000 claims description 34
- 230000001276 controlling effect Effects 0.000 claims description 29
- 230000014509 gene expression Effects 0.000 claims description 21
- 238000003062 neural network model Methods 0.000 claims description 17
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 9
- 230000036760 body temperature Effects 0.000 claims description 9
- 238000001931 thermography Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000037237 body shape Effects 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种陪伴数字替身的控制方法、系统和存储介质。该方法包括：获取陪伴人员做出不同行为时的深度图像数据和平面图像数据，根据所述深度图像数据和平面图像数据生成陪伴人员的虚拟数字替身；获取对目标对象的监控图像数据，根据所述监控图像数据判断目标对象是否处于消极情绪；当判断目标对象处于消极情绪时，向目标对象展示陪伴人员的虚拟数字替身，并获取陪伴人员用以控制虚拟数字替身的行为数据，通过对行为数据进行分析，生成相应的行为控制数据，根据行为控制数据控制虚拟数字替身做出相应的行为，以陪伴目标对象。能够为目标对象带来更加真实来自陪伴人员的陪伴，使目标对象用户具有更沉浸式的使用体验。
Description
技术领域
本发明涉及计算机图形处理技术领域，尤其涉及一种陪伴数字替身的控制方法、系统和存储介质。
背景技术
当今社会生活压力越来越大，许多家庭都存在留守儿童的问题。孩子在成长的道路中长时间得不到父母的关爱，难免会造成性格上或是心理上的问题。在现有技术中，父母可以通过音频聊天或视频聊天来抚慰孩子幼小的心灵。但是，无论是照片、音频聊天还是视频聊天，多半不具备较强的真实性，无法还原远方父母的真实形象、声音和动作等，远远达不到替代真实父母对孩童进行安慰和陪伴的作用，并且有时会起反作用，进一步让彼此之间感受到很强烈的距离感，增加孩子对亲人的思念。
因此，亟需一种更好的互动方式，以让父母与孩子互动时能够沉浸其中，尽可能地消弭彼此之间的距离感，为用户带来更好的使用体验。
“数字替身”是我们自身的虚拟模型，这些模型可以在各种各样的模拟中互动，帮助我们在日常生活中做出更快速、更全面的决策。如今的各种语音助手音响已经是这个替身的雏形。
发明内容
本发明的主要目的是提供一种陪伴数字替身的控制方法、系统和存储介质，以通过逼真的虚拟人物形象给需要陪伴的对象带来更好的体验。
第一方面，本申请提供一种陪伴数字替身的控制方法，包括以下步骤：获取陪伴人员做出不同行为时的深度图像数据和平面图像数据，根据所述深度图像数据和平面图像数据生成陪伴人员的虚拟数字替身；获取对目标对象的监控图像数据，根据所述监控图像数据判断目标对象是否处于消极情绪；当判断目标对象处于消极情绪时，向目标对象展示陪伴人员的虚拟数字替身，并获取陪伴人员用以控制虚拟数字替身的行为数据，通过对行为数据进行分析，生成相应的行为控制数据，根据行为控制数据控制虚拟数字替身做出相应的行为，以陪伴目标对象。
在一个实施例中，根据所述深度图像数据和平面图像数据生成陪伴人员的虚拟数字替身，包括：根据深度图像数据建立与陪伴人员体形相同的虚拟三维人体模型；利用预设的图像转换卷积神经网络模型，根据所述平面图像数据，生成虚拟数字替身的体表贴图数据；根据体表贴图数据建立与陪伴人员外表相同的虚拟三维样貌模型；将所述虚拟三维人体模型与所述虚拟三维样貌模型进行整合，生成陪伴人员的虚拟数字替身。
在一个实施例中，根据所述监控图像数据判断目标对象是否处于消极情绪，包括：获取目标对象的表情数据；将目标对象的表情数据与预存的目标对象在消极情绪下的表情数据进行匹配，根据匹配结果判断目标对象是否处于消极情绪。
在一个实施例中，所述监控图像数据包括热成像数据；根据所述监控图像数据判断目标对象是否处于消极情绪，包括：根据所述热成像数据生成目标对象的体温数据；利用预设的情绪判断神经网络模型，根据目标对象的体温数据，确定目标对象是否处于消极情绪，其中，所述情绪判断神经网络模型为目标对象的体温数据与消极情绪的对应关系模型。
在一个实施例中，通过对行为数据进行分析，生成相应的行为控制数据，包括：利用行为分析神经网络模型对陪伴人员的行为数据进行分析，生成行为控制数据。
在一个实施例中，在虚拟数字替身根据行为控制数据做出相应的行为之后，所述方法还包括：将数字替身根据行为控制数据做出的行为与陪伴人员用以控制虚拟数字替身的行为数据所指示的行为进行比对，根据比对结果对行为分析神经网络模型进行调整。
在一个实施例中，所述行为数据包括以下至少其中之一：动作数据、表情数据和声音数据；其中，当所述行为数据包括声音数据时，通过对行为数据进行分析，生成相应的行为控制数据，包括：通过对声音数据进行分析，生成相应的声纹控制数据；根据行为控制数据控制虚拟数字替身做出相应的行为，包括：获取虚拟数字替身的位置信息；根据虚拟数字替身的位置信息，利用空间音频技术，将声音的来源定位在虚拟数字替身所在的位置，并根据声纹控制数据控制从虚拟数字替身所在的位置发出与声音数据所指示的声音相同的声音。
在一个实施例中，当目标对象处于消极情绪时，所述方法还包括：向陪伴人员发送目标对象需要陪伴的提示信息。
在一个实施例中，所述行为数据包括：预存的行为数据和实时采集的行为数据；获取陪伴人员用以控制虚拟数字替身的行为数据，包括：获取陪伴人员用以控制数字替身的预存的行为数据或实时采集的行为数据。
第二方面，本申请提供一种陪伴数字替身的控制系统，包括：三维图像采集装置，用于采集陪伴人员做出不同行为时的深度图像数据，以及陪伴人员用以控制虚拟数字替身的行为数据；二维图像采集装置，用于采集陪伴人员做出不同行为时的平面图像数据，以及对目标对象的监控图像数据；形象生成装置，用于生成陪伴人员的虚拟数字替身；控制器和存储器，所述存储器中存储有程序代码，当所述程序代码被所述控制器执行时，所述控制器用于控制所述三维图像采集装置、所述二维图像采集装置以及形象生成装置执行如上文所述的陪伴数字替身的控制方法的步骤，用以当目标对象处于消极情绪时，根据行为控制数据控制所述形象生成装置生成的虚拟数字替身做出相应的行为，以陪伴目标对象。
第三方面，本申请提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的陪伴数字替身的控制方法的步骤。
本发明利用数字替身技术，将陪伴人员的虚拟人物形象以虚拟数字替身的形式展现给目标对象并通过控制虚拟数字替身与目标对象进行互动，从而能够为目标对象带来更加真实来自陪伴人员的陪伴，使用户具有更沉浸式的使用体验。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，在附图中：
图1为根据本申请一示例性实施方式的陪伴数字替身的控制方法的流程图；
图2为根据本申请一具体实施例的陪伴数字替身的控制方法的流程图；
图3为根据本申请一具体实施例的数据采集并传输的流程图；
图4为根据本申请一具体实施例的虚拟数字替身的显示场景的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
实施例一
本实施例提供一种陪伴数字替身的控制方法，图1为根据本申请一示例性实施方式的陪伴数字替身的控制方法的流程图。如图1所示，该方法包括以下步骤S100：获取陪伴人员做出不同行为时的深度图像数据和平面图像数据，根据所述深度图像数据和平面图像数据生成陪伴人员的虚拟数字替身。
具体的，根据所述深度图像数据和平面图像数据生成陪伴人员的虚拟数字替身，可以包括：根据深度图像数据建立与陪伴人员体形相同的虚拟三维人体模型；利用预设的图像转换卷积神经网络模型，根据所述平面图像数据，生成虚拟数字替身的体表贴图数据；根据体表贴图数据建立与陪伴人员外表相同的虚拟三维样貌模型；将所述虚拟三维人体模型与所述虚拟三维样貌模型进行整合，生成陪伴人员的虚拟数字替身。
其中，事先利用大量的数据样本对预设的图像转换卷积神经网络模型进行了训练，该数据样本可以为人体的平面图像数据与虚拟数字替身的体表贴图数据之间的对应关系样本。
S200：获取对目标对象的监控图像数据，根据所述监控图像数据判断目标对象是否处于消极情绪。
其中，目标对象可以包括人，尤其可以为孩童、老人等。当然，目标对象也可以包括动物等。
具体的，根据所述监控图像数据判断目标对象是否处于消极情绪，可以包括：获取目标对象的表情数据；将目标对象的表情数据与预存的目标对象在消极情绪下的表情数据进行匹配，根据匹配结果判断目标对象是否处于消极情绪。
在此之前，可以采集目标对象的各种表情数据，并将其中表示消极情绪的表情数据进行存储。
在另一个示例中，所述监控图像数据包括热成像数据。从而，根据所述监控图像数据判断目标对象是否处于消极情绪，可以包括：根据所述热成像数据生成目标对象的体温数据；利用预设的情绪判断神经网络模型，根据目标对象的体温数据，确定目标对象是否处于消极情绪，其中，所述情绪判断神经网络模型为目标对象的体温数据与消极情绪的对应关系模型。
当目标对象处于消极情绪时，所述方法还包括：向陪伴人员发送目标对象需要陪伴的提示信息。陪伴人员可以根据提示信息手动触发向目标对象展示虚拟数字替身，并控制虚拟数字替身陪伴目标对象。
S300：当判断目标对象处于消极情绪时，向目标对象展示陪伴人员的虚拟数字替身，并获取陪伴人员用以控制虚拟数字替身的行为数据，通过对行为数据进行分析，生成相应的行为控制数据，根据行为控制数据控制虚拟数字替身做出相应的行为，以陪伴目标对象。
在S100中生成陪伴人员的虚拟数字替身后可以暂时存储在存储器中，先不展示出来，以免给不需陪伴的目标对象造成困扰、给陪伴人员带来麻烦。当判断目标对象处于消极情绪需要陪伴时，再将已经生成的虚拟数字替身向目标对象展示。
行为数据可以包括：预存的行为数据和实时采集的行为数据。从而，获取陪伴人员用以控制虚拟数字替身的行为数据，可以包括：获取陪伴人员用以控制数字替身的预存的行为数据或实时采集的行为数据。
具体的，通过对行为数据进行分析，生成相应的行为控制数据，可以包括：利用行为分析神经网络模型对陪伴人员的行为数据进行分析，生成行为控制数据。
其中，行为分析神经网络模型为行为数据与行为控制数据之间的对应关系模型，可以事先利用大量的数据样本对该神经网络模型进行训练，以在向模型输入行为数据之后得到具有足够准确度的行为控制数据的输出结果。
在虚拟数字替身根据行为控制数据做出相应的行为之后，还可以将数字替身根据行为控制数据做出的行为与陪伴人员用以控制虚拟数字替身的行为数据所指示的行为进行比对，根据比对结果对行为分析神经网络模型进行调整，以使虚拟数字替身做出的行为与行为数据所指示的行为更加契合。
具体的，行为数据可以包括以下至少其中之一：动作数据、表情数据和声音数据。
当行为数据包括声音数据时，通过对行为数据进行分析，生成相应的行为控制数据，可以包括：通过对声音数据进行分析，生成相应的声纹控制数据。从而，根据行为控制数据控制虚拟数字替身做出相应的行为，可以包括：获取虚拟数字替身的位置信息；根据虚拟数字替身的位置信息，利用空间音频技术，将声音的来源定位在虚拟数字替身所在的位置，并根据声纹控制数据控制从虚拟数字替身所在的位置发出与声音数据所指示的声音相同的声音。
利用空间音频技术，可以使目标对象感受到的声音的来源方位与虚拟数字替身所在的位置相一致，增加虚拟数字替身的真实感，使目标对象更加逼真的感受到其正在与一个真实的人对话，为目标对象带来更好的互动体验。
通过本申请的技术方案，当在远方家中的孩童或老人等目标对象需要陪伴时，可以通过在远方家中生成陪伴人员的高仿真的虚拟数字替身，并控制虚拟数字替身执行相应的行为来陪伴远方家中的孩童或老人等目标对象。本申请的技术方案通过利用虚拟数字替身进行互动，能够为用户带来更加真实的来自陪伴人员的陪伴，为用户带来更加沉浸式互动体验，能够更加深入的宽慰远方家中的孩童或老人等目标对象。
实施例二
本实施例提供一个陪伴数字替身的控制方法的具体实施例，图2为根据本申请一具体实施例的陪伴数字替身的控制方法的流程图。
本实施例提供了一种利用数字替身技术生成虚拟人物形象(即虚拟数字替身)，并控制虚拟人物形象陪伴目标对象的控制系统。本实施例能够解决父母远程和孩子沟通的不真实、代入感差、体验差的问题。
该系统具体可以包括数据采集系统、形象生成系统和服务器、存储器。
首先，数据采集系统可以包括捕捉设备，用于捕捉父母的外形特征以生成仿真的虚拟形象，外形特征可以包括外表数据，还可以捕捉父母的动作、表情和语言等特征。其中，捕捉设备可以包括家用摄像头、红外感应器、声音麦克风或其他基础的体感设备等等。
所捕捉到的数据会被传输到服务器，服务器通过运行相应的程序代码，根据父母的外形特征生成仿真的虚拟人物形象，并根据接收到的父母的动作数据、表情数据和音频数据等生成相应的控制数据，通过该控制数据对生成的仿真的虚拟人物形象进行控制。
数据采集系统可以采集生成虚拟形象所需要的原始数据。采集的过程如图3所示，01-04可以分别对应父母的外貌信息、音频信息、位置信息(表示父母在房间中的具体方位，从而可以控制虚拟数字替身在房间中的移动)、动作信息。当然，也可以对应父母的其他信息，只要能够用以生成并控制父母的虚拟人物形象即可。然后由服务器05根据所采集的父母的外貌信息、音频信息、位置信息、动作信息分析虚拟人物形象的基本特征。例如，当行为数据包括表情数据时，可以由机器学习得出各微表情的原始数据，再将该原始数据匹配至三维模型，并通过用户测试修正表情细节及触发准确度。音频数据可以由5.1环绕声设备录入，声纹信息同步输入算法，经过后期修饰处理生成虚拟替身的声音，最后将采集到的5.1环绕音频信息上传远程服务器，可供虚拟替身在线或者离线使用。
本实施例可以以孩童作为目标对象进行说明。捕捉孩童的情绪信息，当识别到孩童正在哭闹或处于其他消极情绪时，服务器可以控制形象生成系统中的图像生成设备可以自动展示父母的虚拟人物形象，同时数据采集系统采集父母的动作数据、音频数据、表情数据并将所采集的数据传输到服务器，并基于这些数据对父母的虚拟人物形象进行控制，以对孩童形成虚拟陪伴。
其中，图像生成设备可以包括AR眼镜、摄像头、全息投影设备等。除此之外，还可以利用空间音频输出设备发出声音。空间音频输出设备主要是利用空间音频技术，保证声音极强的空间定位感觉，声源不会因为目标对象的耳部运动而改变方位。
在本步骤中，可以通过两种方式捕捉孩童的情绪信息。第一种可以为人工识别，即父母通过图4所示的“显示场景”图中的摄像头F远程查看孩童的状态，当观察到孩童情绪低落或者有其他紧急状况的时候，父母可以手动触发生成虚拟数字替身来对孩童进行安抚。第二种则可以对孩童情绪进行自动识别，系统能够通过摄像头实时捕捉小孩的动作以及面部表情，后台人AI机器人会分析当前时间段内小孩的行为特点，从而确定孩童是否处于消极情绪。当判断孩童处于消极情绪时，则需要父母的陪伴，由此可以触发生成父母的虚拟数字替身。
触发生成父母的虚拟数字替身之后，则在B点生成一个虚拟的父母形象，该形象的表情数据可以直接从服务器调取，也可以实时采集父母的当前表情数据。在图4中，E1-E4为空间音频输出模块，能够实时从服务器调取音频数据(该音频数据可以由父母提前录入系统、也可以实时采集父母的音频数据、还可以由系统根据录入的音频数据生成新的音频数据)，并发出以虚拟数字替身所在的位置为音源的声音。C、D为房间内其他联网设备，为了给孩童营造更加沉浸式的陪伴体验，父母可以控制或设置其他联网设备在恰当的时间点开启，从而加强场景的沉浸式体验。例如，在需要陪伴孩子睡觉的时候，孩子躺在床内，可以远程控制婴儿床摇动，并开启各种带WIFI、蓝牙的家电设备或电子玩具(玩具木马)等，以达到具有真实性的陪伴效果。虚拟数字替身会移动到床边，床体会缓慢摇晃，同时窗帘和房间的灯均自动关闭，智能音箱还可以开始讲故事。
更进一步的，该系统还可以实现两地同步展示虚拟数字替身。具体的，还可以在父母所在的场景展示服务器根据数据采集系统采集的孩童的相关数据生成的孩子的虚拟形象，父母能够通过虚拟形象生成设备或者其他普通设备查看到孩子当前的状态，达到在线互动的目的。
实施例三
本实施例提供一种陪伴数字替身的控制系统，包括：三维图像采集装置，用于采集陪伴人员做出不同行为时的深度图像数据，以及陪伴人员用以控制虚拟数字替身的行为数据；二维图像采集装置，用于采集陪伴人员做出不同行为时的平面图像数据，以及对目标对象的监控图像数据；形象生成装置，用于生成陪伴人员的虚拟数字替身；控制器和存储器，所述存储器中存储有程序代码，当所述程序代码被所述控制器执行时，所述控制器用于控制所述三维图像采集装置、所述二维图像采集装置以及形象生成装置执行如权利要求1至9中任一项所述的陪伴数字替身的控制方法的步骤，用以当目标对象处于消极情绪时，根据行为控制数据控制所述形象生成装置生成的虚拟数字替身做出相应的行为，以陪伴目标对象。
其中，三维图像采集装置可以为带有3D结构光(现有技术)测量功能的图像采集装置。
在一个示例中，形象生成装置还包括声音播放装置。当存储器中的程序代码被控制器执行时，控制器还用于控制声音播放装置利用空间音频技术将声音的来源定位在虚拟数字替身所在的位置，并播放与声音数据所指示的声音相同的声音。
实施例四
本实施例提供一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的陪伴数字替身的控制方法的步骤。
存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。存储介质的例子包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够除了在这里图示或描述的那些以外的顺序实施。
应当理解的是，本说明书中的示例性实施方式可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施方式。提供这些实施方式是为了使得本申请的公开彻底且完整，并且将这些示例性实施方式的构思充分传达给本领域普通技术人员，而不应当理解为对本发明的限制。
Claims (11)
1.一种陪伴数字替身的控制方法，其特征在于，包括以下步骤：
获取陪伴人员做出不同行为时的深度图像数据和平面图像数据，根据所述深度图像数据和平面图像数据生成陪伴人员的虚拟数字替身；
获取对目标对象的监控图像数据，根据所述监控图像数据判断目标对象是否处于消极情绪；
当判断目标对象处于消极情绪时，向目标对象展示陪伴人员的虚拟数字替身，并获取陪伴人员用以控制虚拟数字替身的行为数据，通过对行为数据进行分析，生成相应的行为控制数据，根据行为控制数据控制虚拟数字替身做出相应的行为，以陪伴目标对象。
2.根据权利要求1所述的陪伴数字替身的控制方法，其特征在于，根据所述深度图像数据和平面图像数据生成陪伴人员的虚拟数字替身，包括：
根据深度图像数据建立与陪伴人员体形相同的虚拟三维人体模型；
利用预设的图像转换卷积神经网络模型，根据所述平面图像数据，生成虚拟数字替身的体表贴图数据；
根据体表贴图数据建立与陪伴人员外表相同的虚拟三维样貌模型；
将所述虚拟三维人体模型与所述虚拟三维样貌模型进行整合，生成陪伴人员的虚拟数字替身。
3.根据权利要求1所述的陪伴数字替身的控制方法，其特征在于，根据所述监控图像数据判断目标对象是否处于消极情绪，包括：
获取目标对象的表情数据；
将目标对象的表情数据与预存的目标对象在消极情绪下的表情数据进行匹配，根据匹配结果判断目标对象是否处于消极情绪。
4.根据权利要求1所述的陪伴数字替身的控制方法，其特征在于，所述监控图像数据包括热成像数据；
根据所述监控图像数据判断目标对象是否处于消极情绪，包括：
根据所述热成像数据生成目标对象的体温数据；
利用预设的情绪判断神经网络模型，根据目标对象的体温数据，确定目标对象是否处于消极情绪，其中，所述情绪判断神经网络模型为目标对象的体温数据与消极情绪的对应关系模型。
5.根据权利要求1所述的陪伴数字替身的控制方法，其特征在于，通过对行为数据进行分析，生成相应的行为控制数据，包括：
利用行为分析神经网络模型对陪伴人员的行为数据进行分析，生成行为控制数据。
6.根据权利要求5所述的陪伴数字替身的控制方法，其特征在于，在虚拟数字替身根据行为控制数据做出相应的行为之后，所述方法还包括：
将数字替身根据行为控制数据做出的行为与陪伴人员用以控制虚拟数字替身的行为数据所指示的行为进行比对，根据比对结果对行为分析神经网络模型进行调整。
7.根据权利要求1所述的陪伴数字替身的控制方法，其特征在于，所述行为数据包括以下至少其中之一：动作数据、表情数据和声音数据；
其中，当所述行为数据包括声音数据时，通过对行为数据进行分析，生成相应的行为控制数据，包括：
通过对声音数据进行分析，生成相应的声纹控制数据；
根据行为控制数据控制虚拟数字替身做出相应的行为，包括：
获取虚拟数字替身的位置信息；
根据虚拟数字替身的位置信息，利用空间音频技术，将声音的来源定位在虚拟数字替身所在的位置，并根据声纹控制数据控制从虚拟数字替身所在的位置发出与声音数据所指示的声音相同的声音。
8.根据权利要求1所述的陪伴数字替身的控制方法，其特征在于，当目标对象处于消极情绪时，所述方法还包括：
向陪伴人员发送目标对象需要陪伴的提示信息。
9.根据权利要求1所述的陪伴数字替身的控制方法，其特征在于，所述行为数据包括：预存的行为数据和实时采集的行为数据；
获取陪伴人员用以控制虚拟数字替身的行为数据，包括：
获取陪伴人员用以控制数字替身的预存的行为数据或实时采集的行为数据。
10.一种陪伴数字替身的控制系统，其特征在于，包括：
三维图像采集装置，用于采集陪伴人员做出不同行为时的深度图像数据，以及陪伴人员用以控制虚拟数字替身的行为数据；
二维图像采集装置，用于采集陪伴人员做出不同行为时的平面图像数据，以及对目标对象的监控图像数据；
形象生成装置，用于生成陪伴人员的虚拟数字替身；
控制器和存储器，所述存储器中存储有程序代码，当所述程序代码被所述控制器执行时，所述控制器用于控制所述三维图像采集装置、所述二维图像采集装置以及形象生成装置执行如权利要求1至9中任一项所述的陪伴数字替身的控制方法的步骤，用以当目标对象处于消极情绪时，根据行为控制数据控制所述形象生成装置生成的虚拟数字替身做出相应的行为，以陪伴目标对象。
11.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至9中任一项所述的陪伴数字替身的控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011348178.7A CN112508161A (zh) | 2020-11-26 | 2020-11-26 | 陪伴数字替身的控制方法、系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011348178.7A CN112508161A (zh) | 2020-11-26 | 2020-11-26 | 陪伴数字替身的控制方法、系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112508161A true CN112508161A (zh) | 2021-03-16 |
Family
ID=74966297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011348178.7A Pending CN112508161A (zh) | 2020-11-26 | 2020-11-26 | 陪伴数字替身的控制方法、系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508161A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106775198A (zh) * | 2016-11-15 | 2017-05-31 | 捷开通讯(深圳)有限公司 | 一种基于混合现实技术实现陪伴的方法及装置 |
| CN109032328A (zh) * | 2018-05-28 | 2018-12-18 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| CN111078005A (zh) * | 2019-11-29 | 2020-04-28 | 恒信东方文化股份有限公司 | 一种虚拟伙伴创建方法及虚拟伙伴系统 |
| CN111833418A (zh) * | 2020-07-14 | 2020-10-27 | 北京百度网讯科技有限公司 | 动画交互方法、装置、设备以及存储介质 |
-
2020
- 2020-11-26 CN CN202011348178.7A patent/CN112508161A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106775198A (zh) * | 2016-11-15 | 2017-05-31 | 捷开通讯(深圳)有限公司 | 一种基于混合现实技术实现陪伴的方法及装置 |
| CN109032328A (zh) * | 2018-05-28 | 2018-12-18 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| CN111078005A (zh) * | 2019-11-29 | 2020-04-28 | 恒信东方文化股份有限公司 | 一种虚拟伙伴创建方法及虚拟伙伴系统 |
| CN111833418A (zh) * | 2020-07-14 | 2020-10-27 | 北京百度网讯科技有限公司 | 动画交互方法、装置、设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 齐越 等: "《博物馆数字资源的管理与展示》", 30 June 2008, 上海科学技术出版社, pages: 85 - 92 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6888096B2 (ja) | ロボット、サーバおよびヒューマン・マシン・インタラクション方法 | |
| CN109789550B (zh) | 基于小说或表演中的先前角色描绘的社交机器人的控制 | |
| KR102502228B1 (ko) | 환경 제어 특징을 갖는 소셜 로봇 | |
| KR102334942B1 (ko) | 돌봄 로봇을 위한 데이터 처리 방법 및 장치 | |
| US9824606B2 (en) | Adaptive system for real-time behavioral coaching and command intermediation | |
| US20150298315A1 (en) | Methods and systems to facilitate child development through therapeutic robotics | |
| CN109635616B (zh) | 互动方法和设备 | |
| JP2020507835A5 (zh) | ||
| CN109521927B (zh) | 机器人互动方法和设备 | |
| CN107000210A (zh) | 用于提供持久伙伴装置的设备和方法 | |
| US20210151154A1 (en) | Method for personalized social robot interaction | |
| KR20190075416A (ko) | 디지털 에이전트 이동 매니퓰레이터 및 그 동작 방법 | |
| TW201913643A (zh) | 智慧型機器人 | |
| Martelaro | Wizard-of-oz interfaces as a step towards autonomous hri | |
| CN112508161A (zh) | 陪伴数字替身的控制方法、系统和存储介质 | |
| Wang et al. | Natural emotion elicitation for emotion modeling in child-robot interactions. | |
| KR20060091329A (ko) | 대화식 시스템 및 대화식 시스템을 제어하는 방법 | |
| EP3576075A1 (en) | Operating a toy for speech and language assessment and therapy | |
| Canazza et al. | A multimodal learning system for individuals with sensorial, neuropsychological, and relational impairments | |
| CN112148111A (zh) | 网络教学系统及其网络教学方法 | |
| Hanke et al. | Embodied Ambient Intelligent Systems. | |
| Naeem et al. | An AI based Voice Controlled Humanoid Robot | |
| JP7403552B2 (ja) | ロボット、制御処理方法及び制御処理プログラム | |
| Naeem et al. | Voice controlled humanoid robot | |
| TW201741816A (zh) | 控制方法、電子裝置及非暫態電腦可讀取記錄媒體 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |