CN111078005A - 一种虚拟伙伴创建方法及虚拟伙伴系统 - Google Patents
一种虚拟伙伴创建方法及虚拟伙伴系统 Download PDFInfo
- Publication number
- CN111078005A CN111078005A CN201911198160.0A CN201911198160A CN111078005A CN 111078005 A CN111078005 A CN 111078005A CN 201911198160 A CN201911198160 A CN 201911198160A CN 111078005 A CN111078005 A CN 111078005A
- Authority
- CN
- China
- Prior art keywords
- virtual
- data
- user
- virtual object
- partner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 210000000988 bone and bone Anatomy 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 238000006748 scratching Methods 0.000 claims description 3
- 230000002393 scratching effect Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T3/02—
Abstract
本申请公开了一种虚拟伙伴创建方法及虚拟伙伴系统，其中，虚拟伙伴创建方法包括：获取用户初始数据；分析用户初始数据，并根据分析结果选择一个虚拟对象图像；对选择的虚拟对象图像进行处理，获取虚拟模型；对虚拟模型进行基础设置，获得虚拟伙伴，并通过虚拟伙伴实现成长陪伴。本申请具有能够与孩子进行双向交互以及陪伴孩子成长的技术效果。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟伙伴创建方法及虚拟伙伴系统。
背景技术
现有的虚拟偶像技术中的虚拟偶像只有编程好的表演和人为干预互动两种功能，无法与孩子进行设定功能外的互动，对孩子的成长进行陪伴。
再有，打造一个虚拟形象需要大量的成熟技术进行整合，技术面比较宽泛，难以覆盖，而虚拟偶像业务则十分具有针对性，一般的虚拟偶像的形象均为外表光鲜亮丽的虚拟模型，无法针对孩子的喜好进行匹配。
此外，虚拟偶像只能配合编辑好的舞美效果，在业务范围内达到拟人化，节目外需要人为配合双簧与用户交流，应用面过于狭窄。并且，虚拟偶像表演时，用户仅仅是在欣赏一段动画，表演外，用户很清楚虚拟角色不是智慧体更不是生命体，很难建立任何情感联系。
发明内容
本申请的目的在于提供一种虚拟伙伴创建方法及虚拟伙伴系统，具有能够与孩子进行双向交互以及陪伴孩子成长的技术效果。
为达到上述目的，本申请提供一种虚拟伙伴创建方法，包括：获取用户初始数据；分析用户初始数据，并根据分析结果选择一个虚拟对象图像；对选择的虚拟对象图像进行处理，获取虚拟模型；对虚拟模型进行基础设置，获得虚拟伙伴，并通过虚拟伙伴实现成长陪伴。
优选的，用户初始数据的子步骤如下：接收启动指令，根据启动指令进入工作模式；显示预置的初始虚拟主持人；通过初始虚拟主持人引导对用户初始数据进行获取。
优选的，分析用户初始数据，并根据分析结果选择一个虚拟对象图像的子步骤如下：对用户初始数据的类别进行判断，并生成判断结果；根据判断结果，选择分析用户初始数据的分析模式；使用选择的分析模式提取用户初始数据中的关键节点，并根据关键节点获取虚拟对象图像。
优选的，对选择的虚拟对象图像进行处理，创建虚拟模型的子步骤如下：对虚拟对象图像进行抠取，获取虚拟对象；对虚拟对象进行处理，获取虚拟模型。
优选的，虚拟对象图像进行抠取，获取虚拟对象的子步骤如下：对虚拟对象图像进行边缘化处理，得到初始图像；对初始图像进行处理，获得虚拟对象；其中，从左往右计算虚拟对象图像，得出初始图像，具体的计算公式如下：P2(x)＝u[P1(x)-P2(x-1)]+P2(x-1)；其中，P1为虚拟对象图像；P2为初始图像；x是指取虚拟对象图像或初始图像从左至右的第几个像素的像素值；u为权重，用于实现滑动领域操作，获取边缘图像，取值为：u大于0小于1；P2(1)＝P1(1)，即虚拟对象图像从左至右的第一个像素的像素值与初始图像从左至右的第一个像素的像素值相等。
优选的，图像处理单元获取到虚拟对象后，将虚拟对象发送至模型创建模块，通过模型创建模块对虚拟对象进行处理并获取虚拟模型，子步骤如下：在虚拟对象中添加骨架，骨架包括多根骨头；在多根骨头上均设置网格，由骨头的移动带动网格运动以完成对虚拟对象的蒙皮操作，完成蒙皮操作后的虚拟对象即为虚拟模型。
本申请还提供一种虚拟伙伴系统，包括虚拟伙伴装置、第三方平台、客户端以及云端数据库；虚拟伙伴装置分别与第三方平台、客户端以及云端数据库连接；云端数据库还与客户端连接；其中，虚拟伙伴装置：用于创建和使用上述的虚拟伙伴创建方法创建虚拟伙伴；第三方平台：接收虚拟伙伴装置的获取指令，向虚拟伙伴装置提供垂直业务；客户端：用于向虚拟伙伴装置发送指令，并接收虚拟伙伴装置反馈的数据；云端数据库：用于存储虚拟伙伴装置上传的数据，根据虚拟伙伴装置或客户端的指令向虚拟伙伴装置或客户端反馈数据。
优选的，虚拟伙伴装置包括处理器、显示器、模型创建模块、存储模块、推送模块和数据采集装置；其中，处理器：用于处理图像数据和音频数据，获取虚拟对象，并将虚拟对象发送给模型创建模块；显示器：用于显示初始虚拟主持人、虚拟伙伴以及提供的垂直业务的具体内容；模型创建模块：用于创建初始虚拟主持人；用于对虚拟对象进行处理，并获取虚拟模型；存储模块：用于存储模型创建模块创建的初始虚拟主持人以及设置虚拟模型后获得的虚拟伙伴；推送模块：用于根据用户的兴趣爱好或者客户端的指令，向用户推送垂直业务；数据采集装置：用于采集用户初始数据以及用户的使用数据，并发送至存储模块和云端数据库。
优选的，处理器包括：数据接收单元、判断单元、语音处理单元、图像处理单元和搜索单元；其中，数据接收单元：用于接收数据采集装置采集的用户的数据，并将该数据发送至判断单元；判断单元：用于判断用户的数据的类别，选择对用户的数据进行分析的分析模式，并将判断结果反馈至语音处理单元或图像处理单元；语音处理单元：用于处理用户的数据，从中获取关键节点，并将关键节点发送至搜索单元；图像处理单元：用于处理用户的数据，从中获取关键节点，并将关键节点发送至搜索单元；接收并处理搜索单元获取的虚拟对象图像，获取虚拟对象，并将该虚拟对象发送至模型创建模型；搜索单元：用于接收关键节点，并对关键节点进行搜索以获取虚拟对象图像，并将虚拟对象图像反馈至图像处理单元。
优选的，虚拟伙伴装置具有人工智能技术，能够自主学习用户的习惯、性格、喜好，并为用户进行画像建模。
本申请实现的有益效果如下：
(1)本申请虚拟伙伴创建方法及虚拟伙伴系统中的虚拟伙伴能够通过语音或者动作等方式，与用户进行双向沟通，使孩子更容易敞开心扉，有效的提高了孩子的语言表达能力，促使孩子乐于主动交流。
(2)本申请的虚拟伙伴创建方法及虚拟伙伴系统利用虚拟伙伴通过朋友建议的方式向孩子转达家长对孩子的要求，有效的减少了孩子对于家长要求的抵触情绪。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为虚拟伙伴系统一种实施例的结构示意图；
图2为虚拟伙伴创建方法一种实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本申请提供一种虚拟伙伴系统，包括虚拟伙伴装置1、第三方平台2、客户端3以及云端数据库4；虚拟伙伴装置1分别与第三方平台2、客户端3以及云端数据库4连接；云端数据库4还与客户端3连接。
其中，虚拟伙伴装置1：用于创建和使用下述的虚拟伙伴创建方法创建虚拟伙伴。
第三方平台2：接收虚拟伙伴装置的获取指令，向虚拟伙伴装置提供垂直业务。
具体的，垂直业务包括：知识教育、游戏、绘画以及动漫等。
客户端3：用于向虚拟伙伴装置发送指令，并接收虚拟伙伴装置反馈的数据。
具体的，作为一个实施例，若客户端向虚拟伙伴装置发送获取用户数据的指令，则虚拟伙伴装置向客户端反馈用户数据，以方便家长实时了解孩子的成长情况。若客户端向虚拟伙伴装置发送建议指令，建议指令包括家长对孩子的要求内容，则虚拟伙伴装置对接收到的要求内容进行处理，并通过虚拟伙伴向孩子提出相应的建议，并向客户端反馈孩子接收到该建议的反馈数据。
云端数据库4：用于存储虚拟伙伴装置上传的数据，根据虚拟伙伴装置或客户端的指令向虚拟伙伴装置或客户端反馈数据。
进一步的，云端数据库4具有用户数据模型，其中用户数据模型是针对每个用户通过将该用户的喜好、样貌、操作记录等数据进行分类、建表、排序和聚合后创建的数据模型。
进一步的，虚拟伙伴装置1包括处理器、显示器、模型创建模块、存储模块、推送模块和数据采集装置。
处理器：用于处理图像数据和音频数据，获取虚拟对象，并将虚拟对象发送给模型创建模块。
显示器：用于显示初始虚拟主持人、虚拟伙伴以及提供的垂直业务的具体内容。
模型创建模块：用于创建初始虚拟主持人；用于对虚拟对象进行处理，并获取虚拟模型。
存储模块：用于存储模型创建模块创建的初始虚拟主持人以及设置虚拟模型后获得的虚拟伙伴。
推送模块：用于根据用户的兴趣爱好或者客户端的指令，向用户推送垂直业务。
数据采集装置：用于采集用户初始数据以及用户的使用数据，并发送至存储模块和云端数据库。
进一步的，虚拟伙伴装置1具有人工智能技术，能够自主学习用户的习惯、性格、喜好，并为用户进行画像建模。
进一步的，处理器包括：数据接收单元、判断单元、语音处理单元、图像处理单元和搜索单元。
其中，数据接收单元：用于接收数据采集装置采集的用户的数据，并将该数据发送至判断单元。
判断单元：用于判断用户的数据的类别，选择对用户的数据进行分析的分析模式，并将判断结果反馈至语音处理单元或图像处理单元。
语音处理单元：用于处理用户的数据，从中获取关键节点，并将关键节点发送至搜索单元。
图像处理单元：用于处理用户的数据，从中获取关键节点，并将关键节点发送至搜索单元；接收并处理搜索单元获取的虚拟对象图像，获取虚拟对象，并将该虚拟对象发送至模型创建模型。
搜索单元：用于接收关键节点，并对关键节点进行搜索以获取虚拟对象图像，并将虚拟对象图像反馈至图像处理单元。
如图2所示，本申请提供一种虚拟伙伴创建方法，包括：
S1：获取用户初始数据。
具体的，获取用户初始数据的子步骤如下：
S110：接收启动指令，根据启动指令进入工作模式。
具体的，虚拟伙伴装置1接收启动指令，根据启动指令开始工作。其中，启动指令可以为导电信号或者客户端发送的启动请求等。
作为一个实施例，虚拟伙伴装置具有开机按键，通过按下开机按键连接电源，完成电源连接后，虚拟伙伴装置接收到导电信号，并根据导电信号进入工作模式，执行S120。
作为另一个实施例，虚拟伙伴装置可以为智能手机或者平板计算机等具备显示屏的智能型电子装置，通过接收客户端发送的启动请求进入工作模式，执行S120。
S120：显示预置的初始虚拟主持人。
具体的，虚拟伙伴装置进入工作模式后，通过显示器向用户显示自身中预置的初始虚拟主持人，该初始虚拟主持人以用户肉眼看得见的具象化方式显示于显示器上，执行S130。
其中，预置初始虚拟主持人的子步骤如下：
A1：创建初始虚拟主持人。
具体的，通过模型创建模块创建初始虚拟主持人。其中，初始虚拟主持人可以为卡通人物、动物或植物等形象；该初始虚拟主持人为2D或3D。
A2：设置初始虚拟主持人的基础引导语。
A3：将初始虚拟主持人和基础引导语存储于存储模块。
S130：通过初始虚拟主持人引导对用户初始数据进行获取。
具体的，初始虚拟主持人通过语音或者动作对用户进行引导。当初始虚拟主持人显示于显示器上后，通过基础引导语对用户进行引导，从而实现对用户的初始数据的采集，并将初始数据发送至处理器，执行S2。
具体的，作为一个实施例，引导场景如下：
初始虚拟主持人向用户进行问候：你好，我是A，很高兴认识你。
用户回复初始虚拟主持人：你好，我叫B，很高兴认识你。
初始虚拟主持人继续向用户进行引导：B喜欢什么样的虚拟对象图像作为小伙伴呢？
用户反馈：哈士奇狗狗。
初始虚拟主持人：你需要现在开始创建属于自己的虚拟伙伴吗？
用户：好的。
初始虚拟主持人将用户的语音作为用户初始数据进行采集，并发送至处理器，执行S2。
S2：分析用户初始数据，并根据分析结果选择一个虚拟对象图像。
进一步的，分析用户初始数据，并根据分析结果选择一个虚拟对象图像的子步骤如下：
S210：对用户初始数据的类别进行判断，并生成判断结果。
具体的，用户初始数据的类别包括：语音数据和图像数据。
S220：根据判断结果，选择分析用户初始数据的分析模式。
进一步的，处理器对用户初始数据进行分析的分析模式包括：语音分析和图像分析。
具体的，数据接收单元接收到用户初始数据后，通过判断单元对用户初始数据进行类别判断，若判断用户初始数据为语音数据，则生成的判断结果为：执行语音分析，并将判断结果发送至语音处理单元，执行S230；若判断用户为图像数据，则生成的判断结果为：执行图像分析，并将判断结果发送至图像处理单元，执行S230。
S230：使用选择的分析模式提取用户初始数据中的关键节点，并根据关键节点获取虚拟对象图像。
具体的，作为一个实施例，以用户初始数据为语音数据为例进行说明。通过选择的分析模式提取用户初始数据中的关键节点，并根据关键节点获取虚拟对象图像的子步骤如下：
B1：接收判断结果，根据判断结果启动分析模式，并提取用户初始数据中的关键节点。
具体的，语音处理单元接收到判断单元发送的执行语音分析后，对用户初始数据进行分析，提取出用户初始数据中的关键节点。例如：初始虚拟主持人继续向用户进行引导：B喜欢什么样的虚拟对象图像作为小伙伴呢？用户反馈：哈士奇狗狗。其中，关键节点为哈士奇狗狗。
B2：接收关键节点，并通过搜索单元对关键节点进行搜索以获取虚拟对象图像。
B210：接收关键节点。
具体的，语音处理单元或图像处理单元将提取的用户初始数据中的关键节点发送至搜索单元，执行B220。
B220：对关键节点进行搜索，获取具有关键节点相对应的内容的搜索图片。
具体的，通过搜索单元对关键节点进行搜索，获取与关键节点相对应的搜索图片，执行B230。例如：关键节点为哈士奇狗狗，搜索单元对哈士奇狗狗进行搜索，获取到搜索图片为具有哈士奇狗狗的图像。
B230：对搜索图片进行确认，若确认，则将该搜索图片作为虚拟对象图像，并对该虚拟对象图像进行处理；若否认，则重新进行搜索。
进一步的，搜索单元获取的搜素图片发送至显示器，并通过初始虚拟主持人向用户进行确认，若用户确认选用该搜索图片，则将该搜索图片作为虚拟对象图像，执行S3；若用户否认选用该搜索图片，则通过搜索单元对关键节点重新进行搜索，执行B230。
进一步的，作为一个实施例，若在对搜索图片进行确认的过程中，接收到用户对当前搜索图片的否认选用结果，以及新的关键节点，则重新对新的关键节点进行搜索。
进一步的，作为另一个实施例，若在对搜索图片进行确认的过程中，接收到用户对当前搜索图片的否认选用结果，重新搜索次数大于三次，则重新获取新的关键节点进行搜索。
S3：对选择的虚拟对象图像进行处理，获取虚拟模型。
进一步的，对选择的虚拟对象图像进行处理，创建虚拟模型的子步骤如下：
S310：对虚拟对象图像进行抠取，获取虚拟对象。
具体的，通过图像处理单元对虚拟对象图像进行区域划分，得到主体区域和非主体区域。其中，主体区域：为主体物所在的区域；非主体区域：为背景所在区域；交界区域：为主体区域与非主体区域的交界区域。作为一个实施例，虚拟对象图像具有哈士奇狗狗、草地、天空以及空白区，其中，哈士奇狗狗为主体物，哈士奇狗狗所在的区域为主体区域；草地、天空和空白区为非主体物，草地、天空和空白区所在的区域为非主体区域。
进一步的，对虚拟对象图像进行抠取，获取虚拟对象的子步骤如下：
C1：对虚拟对象图像进行边缘化处理，得到初始图像。
进一步的，从左往右计算虚拟对象图像，得出初始图像，具体的计算公式如下：
P2(x)＝u[P1(x)-P2(x-1)]+P2(x-1)；
其中，P1为虚拟对象图像；P2为初始图像；x是指取虚拟对象图像或初始图像从左至右的第几个像素的像素值；u为权重，用于实现滑动领域操作，获取边缘图像，取值为：u大于0小于1；P2(1)＝P1(1)，即虚拟对象图像从左至右的第一个像素的像素值与初始图像从左至右的第一个像素的像素值相等。
C2：对初始图像进行处理，获得虚拟对象。
具体的，图像处理单元将初始图像中的非主体区域处理为透明，通过阿尔法通道对初始图像进行读取，在初始图像上获取到主体区域，该主体区域即为虚拟对象。
S320：对虚拟对象进行处理，获取虚拟模型。
具体的，图像处理单元获取到虚拟对象后，将虚拟对象发送至模型创建模块，通过模型创建模块对虚拟对象进行处理并获取虚拟模型，子步骤如下：
D1：在虚拟对象中添加骨架，骨架包括多根骨头。
D2：在多根骨头上均设置网格，由骨头的移动带动网格运动以完成对虚拟对象的蒙皮操作，完成蒙皮操作后的虚拟对象即为虚拟模型。
进一步的，实现虚拟模型自然高质量变形(即在互动过程中，保证虚拟模型能够产生合理运动)的子步骤：
E1：在虚拟模型的骨头上选择多个控制单元。
E2：计算控制单元对虚拟模型的影响权重，拖动控制单元，虚拟模型随控制单元发生相应的变形。
具体的，影响权重gi用于使虚拟模型发生平滑变形；控制单元为Ki∈Ω，i＝1、2、……、n，i表示控制单元的编号，每个控制单元Ki的仿射变换为Vi；虚拟模型的顶点Q∈Ω；变形后顶点Q′的位置为控制单元Ki仿射变换为Vi的加权线性组合：
其中，gi(Q)为顶点Q受控制单元Ki的权重影响；
其中，影响权重gi计算如下：
其中，dv为微积分公式的一部分；Δ2gi＝0；
其中，仿射变换(Affine Transformation)是空间直角坐标系的变换，从一个二维坐标变换到另一个二维坐标的一个线性变换，仿射变换比较常用的特殊变换有平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和剪切(Shear)。每个控制单元Ki的仿射变换为Vi为：每个控制单元Ki乘以一个矩阵(线性变换)，再加上一个向量(平移)，其中，矩阵和向量可以通过人为设定或OPenCV函数等方式获得。
例如：使用矩阵A和向量B对控制单元K1(控制单元的坐标为：
)做变换，其中，
则，控制单元K1的仿射变换
进一步的，模型创建模块通过调整骨架中的每根骨头的空间位置关系，并通过加入多个动作帧以形成虚拟模型的动作。
S4：对虚拟模型进行基础设置，获得虚拟伙伴，并通过虚拟伙伴实现成长陪伴。
进一步的，获取到虚拟模型后，虚拟伙伴装置通过语音引导用户对虚拟模型进行基础设置，其中，基础设置至少包括设定昵称。完成基础设置的虚拟模型即为虚拟伙伴。
本申请实现的有益效果如下：
(1)本申请虚拟伙伴创建方法及虚拟伙伴系统中的虚拟伙伴能够通过语音或者动作等方式，与用户进行双向沟通，使孩子更容易敞开心扉，有效的提高了孩子的语言表达能力，促使孩子乐于主动交流。
(2)本申请的虚拟伙伴创建方法及虚拟伙伴系统利用虚拟伙伴通过朋友建议的方式向孩子转达家长对孩子的要求，有效的减少了孩子对于家长要求的抵触情绪。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种虚拟伙伴创建方法，其特征在于，包括：
获取用户初始数据；
分析用户初始数据，并根据分析结果选择一个虚拟对象图像；
对选择的虚拟对象图像进行处理，获取虚拟模型；
对虚拟模型进行基础设置，获得虚拟伙伴，并通过虚拟伙伴实现成长陪伴。
2.根据权利要求1所述的虚拟伙伴创建方法，其特征在于，用户初始数据的子步骤如下：
接收启动指令，根据启动指令进入工作模式；
显示预置的初始虚拟主持人；
通过初始虚拟主持人引导对用户初始数据进行获取。
3.根据权利要求1所述的虚拟伙伴创建方法，其特征在于，分析用户初始数据，并根据分析结果选择一个虚拟对象图像的子步骤如下：
对用户初始数据的类别进行判断，并生成判断结果；
根据判断结果，选择分析用户初始数据的分析模式；
使用选择的分析模式提取用户初始数据中的关键节点，并根据关键节点获取虚拟对象图像。
4.根据权利要求1所述的虚拟伙伴创建方法，其特征在于，对选择的虚拟对象图像进行处理，创建虚拟模型的子步骤如下：
对虚拟对象图像进行抠取，获取虚拟对象；
对虚拟对象进行处理，获取虚拟模型。
5.根据权利要求4所述的虚拟伙伴创建方法，其特征在于，虚拟对象图像进行抠取，获取虚拟对象的子步骤如下：
对虚拟对象图像进行边缘化处理，得到初始图像；
对初始图像进行处理，获得虚拟对象；
其中，从左往右计算虚拟对象图像，得出初始图像，具体的计算公式如下：
P2(x)＝u[P1(x)-P2(x-1)]+P2(x-1)；
其中，P1为虚拟对象图像；P2为初始图像；x是指取虚拟对象图像或初始图像从左至右的第几个像素的像素值；u为权重，用于实现滑动领域操作，获取边缘图像，取值为：u大于0小于1；P2(1)＝P1(1)，即虚拟对象图像从左至右的第一个像素的像素值与初始图像从左至右的第一个像素的像素值相等。
6.根据权利要求4所述的虚拟伙伴创建方法，其特征在于，图像处理单元获取到虚拟对象后，将虚拟对象发送至模型创建模块，通过模型创建模块对虚拟对象进行处理并获取虚拟模型，子步骤如下：
在虚拟对象中添加骨架，骨架包括多根骨头；
在多根骨头上均设置网格，由骨头的移动带动网格运动以完成对虚拟对象的蒙皮操作，完成蒙皮操作后的虚拟对象即为虚拟模型。
7.一种虚拟伙伴系统，其特征在于，包括虚拟伙伴装置、第三方平台、客户端以及云端数据库；虚拟伙伴装置分别与第三方平台、客户端以及云端数据库连接；云端数据库还与客户端连接；
其中，虚拟伙伴装置：用于创建和使用权利要求1-6所述的虚拟伙伴创建方法创建虚拟伙伴；
第三方平台：接收虚拟伙伴装置的获取指令，向虚拟伙伴装置提供垂直业务；
客户端：用于向虚拟伙伴装置发送指令，并接收虚拟伙伴装置反馈的数据；
云端数据库：用于存储虚拟伙伴装置上传的数据，根据虚拟伙伴装置或客户端的指令向虚拟伙伴装置或客户端反馈数据。
8.根据权利要求7所述的虚拟伙伴系统，其特征在于，虚拟伙伴装置包括处理器、显示器、模型创建模块、存储模块、推送模块和数据采集装置；
其中，处理器：用于处理图像数据和音频数据，获取虚拟对象，并将虚拟对象发送给模型创建模块；
显示器：用于显示初始虚拟主持人、虚拟伙伴以及提供的垂直业务的具体内容；
模型创建模块：用于创建初始虚拟主持人；用于对虚拟对象进行处理，并获取虚拟模型；
存储模块：用于存储模型创建模块创建的初始虚拟主持人以及设置虚拟模型后获得的虚拟伙伴；
推送模块：用于根据用户的兴趣爱好或者客户端的指令，向用户推送垂直业务；
数据采集装置：用于采集用户初始数据以及用户的使用数据，并发送至存储模块和云端数据库。
9.根据权利要求8所述的虚拟伙伴系统，其特征在于，处理器包括：数据接收单元、判断单元、语音处理单元、图像处理单元和搜索单元；
其中，数据接收单元：用于接收数据采集装置采集的用户的数据，并将该数据发送至判断单元；
判断单元：用于判断用户的数据的类别，选择对用户的数据进行分析的分析模式，并将判断结果反馈至语音处理单元或图像处理单元；
语音处理单元：用于处理用户的数据，从中获取关键节点，并将关键节点发送至搜索单元；
图像处理单元：用于处理用户的数据，从中获取关键节点，并将关键节点发送至搜索单元；接收并处理搜索单元获取的虚拟对象图像，获取虚拟对象，并将该虚拟对象发送至模型创建模型；
搜索单元：用于接收关键节点，并对关键节点进行搜索以获取虚拟对象图像，并将虚拟对象图像反馈至图像处理单元。
10.根据权利要求7或9所述的虚拟伙伴系统，其特征在于，虚拟伙伴装置具有人工智能技术，能够自主学习用户的习惯、性格、喜好，并为用户进行画像建模。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198160.0A CN111078005B (zh) | 2019-11-29 | 2019-11-29 | 一种虚拟伙伴创建方法及虚拟伙伴系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911198160.0A CN111078005B (zh) | 2019-11-29 | 2019-11-29 | 一种虚拟伙伴创建方法及虚拟伙伴系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111078005A true CN111078005A (zh) | 2020-04-28 |
| CN111078005B CN111078005B (zh) | 2024-02-20 |
Family
ID=70312388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911198160.0A Active CN111078005B (zh) | 2019-11-29 | 2019-11-29 | 一种虚拟伙伴创建方法及虚拟伙伴系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111078005B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508161A (zh) * | 2020-11-26 | 2021-03-16 | 珠海格力电器股份有限公司 | 陪伴数字替身的控制方法、系统和存储介质 |
| CN112530218A (zh) * | 2020-11-19 | 2021-03-19 | 深圳市木愚科技有限公司 | 多对一陪伴智能教学系统及教学方法 |
| CN113760142A (zh) * | 2020-09-30 | 2021-12-07 | 完美鲲鹏(北京)动漫科技有限公司 | 基于虚拟角色的交互方法及装置、存储介质、计算机设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130107003A1 (en) * | 2011-10-31 | 2013-05-02 | Electronics And Telecommunications Research Institute | Apparatus and method for reconstructing outward appearance of dynamic object and automatically skinning dynamic object |
| CN103218852A (zh) * | 2013-04-19 | 2013-07-24 | 牡丹江师范学院 | 一种面向蒙皮动画的基于网格收缩的三维网格模型骨架提取系统及骨架提取方法 |
| CN106846499A (zh) * | 2017-02-09 | 2017-06-13 | 腾讯科技（深圳）有限公司 | 一种虚拟模型的生成方法及装置 |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
| CN107053191A (zh) * | 2016-12-31 | 2017-08-18 | 华为技术有限公司 | 一种机器人，服务器及人机互动方法 |
| CN109445579A (zh) * | 2018-10-16 | 2019-03-08 | 翟红鹰 | 基于区块链的虚拟形象交互方法、终端及可读存储介质 |
| CN110362666A (zh) * | 2019-07-09 | 2019-10-22 | 邬欣霖 | 应用虚拟人物的交互处理方法、装置、存储介质和设备 |
-
2019
- 2019-11-29 CN CN201911198160.0A patent/CN111078005B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130107003A1 (en) * | 2011-10-31 | 2013-05-02 | Electronics And Telecommunications Research Institute | Apparatus and method for reconstructing outward appearance of dynamic object and automatically skinning dynamic object |
| CN103218852A (zh) * | 2013-04-19 | 2013-07-24 | 牡丹江师范学院 | 一种面向蒙皮动画的基于网格收缩的三维网格模型骨架提取系统及骨架提取方法 |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
| CN107053191A (zh) * | 2016-12-31 | 2017-08-18 | 华为技术有限公司 | 一种机器人，服务器及人机互动方法 |
| CN106846499A (zh) * | 2017-02-09 | 2017-06-13 | 腾讯科技（深圳）有限公司 | 一种虚拟模型的生成方法及装置 |
| CN109445579A (zh) * | 2018-10-16 | 2019-03-08 | 翟红鹰 | 基于区块链的虚拟形象交互方法、终端及可读存储介质 |
| CN110362666A (zh) * | 2019-07-09 | 2019-10-22 | 邬欣霖 | 应用虚拟人物的交互处理方法、装置、存储介质和设备 |
Non-Patent Citations (2)
| Title |
|---|
| CHIH-FAN CHEN: "Virtual_Content_Creation_Using_Dynamic_Omnidirectional_Texture_Synthesis", 《2018 IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFACES (VR)》, pages 521 - 522 * |
| 刘文苗;杨雪;王丽;吴春雨;: "基于Maya技术的医学虚拟实验模型构建", 实验技术与管理, no. 04 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113760142A (zh) * | 2020-09-30 | 2021-12-07 | 完美鲲鹏(北京)动漫科技有限公司 | 基于虚拟角色的交互方法及装置、存储介质、计算机设备 |
| CN112530218A (zh) * | 2020-11-19 | 2021-03-19 | 深圳市木愚科技有限公司 | 多对一陪伴智能教学系统及教学方法 |
| CN112508161A (zh) * | 2020-11-26 | 2021-03-16 | 珠海格力电器股份有限公司 | 陪伴数字替身的控制方法、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111078005B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11790589B1 (en) | System and method for creating avatars or animated sequences using human body features extracted from a still image | |
| CN110531860B (zh) | 一种基于人工智能的动画形象驱动方法和装置 | |
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| CN100468463C (zh) | 用于处理图像的方法、装置 | |
| CN111078005B (zh) | 一种虚拟伙伴创建方法及虚拟伙伴系统 | |
| CN112396679B (zh) | 虚拟对象显示方法及装置、电子设备、介质 | |
| CN111432267A (zh) | 视频调整方法、装置、电子设备及存储介质 | |
| CN111667588A (zh) | 人物图像处理方法、装置、ar设备以及存储介质 | |
| CN110766519A (zh) | 一种房屋装修方案推荐系统及其方法 | |
| CN114245155A (zh) | 直播方法、装置及电子设备 | |
| CN109739353A (zh) | 一种基于手势、语音、视线追踪识别的虚拟现实交互系统 | |
| CN114904268A (zh) | 一种虚拟形象的调整方法、装置、电子设备及存储介质 | |
| CN116630508A (zh) | 3d模型处理方法、装置及电子设备 | |
| CN111506184A (zh) | 化身呈现方法及电子设备 | |
| CN115130493A (zh) | 基于图像识别的面部形变推荐方法、装置、设备和介质 | |
| CN113408452A (zh) | 表情重定向训练方法、装置、电子设备和可读存储介质 | |
| CN112686990A (zh) | 一种三维模型显示方法、装置、存储介质和计算机设备 | |
| CN117789306A (zh) | 图像处理方法、装置及存储介质 | |
| CN114792356A (zh) | 脸部图像的处理方法、装置和系统 | |
| CN117853625A (zh) | 虚拟人物运营系统及方法 | |
| CN117504296A (zh) | 动作生成方法、动作显示方法、装置、设备、介质及产品 | |
| CN117768740A (zh) | 虚拟资源的生成方法、装置、设备、介质及程序产品 | |
| CN113448466A (zh) | 动画显示方法、装置、电子设备及存储介质 | |
| CN116883559A (zh) | 数字人表情制作方法、移动终端及存储介质 | |
| CN114757836A (zh) | 图像处理方法、装置、存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |