CN104866101A - 虚拟对象的实时互动控制方法及装置 - Google Patents
虚拟对象的实时互动控制方法及装置 Download PDFInfo
- Publication number
- CN104866101A CN104866101A CN201510282095.5A CN201510282095A CN104866101A CN 104866101 A CN104866101 A CN 104866101A CN 201510282095 A CN201510282095 A CN 201510282095A CN 104866101 A CN104866101 A CN 104866101A
- Authority
- CN
- China
- Prior art keywords
- instruction
- data
- driving
- virtual object
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009471 action Effects 0.000 claims abstract description 166
- 238000009877 rendering Methods 0.000 claims abstract description 107
- 230000003993 interaction Effects 0.000 claims abstract description 101
- 230000000694 effects Effects 0.000 claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims description 133
- 230000014509 gene expression Effects 0.000 claims description 54
- 230000000875 corresponding effect Effects 0.000 claims description 39
- 230000001276 controlling effect Effects 0.000 claims description 16
- 230000008451 emotion Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008921 facial expression Effects 0.000 abstract description 3
- 210000003414 extremity Anatomy 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005672 electromagnetic field Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种虚拟对象的实时互动控制方法，该方法包括：检测是否接收到第一远程动作驱动数据，其中，第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；在接收到第一远程动作驱动数据的情况下，根据第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据；在没有接收到第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染虚拟对象，生成并播放第二动画影像数据。通过本发明，解决了相关技术中虚拟对象的实时互动性较差、用户体验不好的问题，进而达到了较好的实时互动性、较高的用户体验度的效果。
Description
技术领域
本发明涉及计算机通信领域，具体而言，涉及一种虚拟对象的实时互动控制方法及装置。
背景技术
当前手机电视节目中仍然是传统主持人的模式，虚拟动画形象很难加入到节目中。即使将虚拟动画形象加入到节目中，也是需要费力费时的后期制作和动画渲染过程，而不能做到实时与现场主持人互动和实时动画渲染录制。
因此，在相关技术中，无法实现与虚拟对象的实时互动，从而影响到虚拟对象的全面应用。
发明内容
本发明提供了一种虚拟对象的实时互动控制方法及装置，解决了相关技术中虚拟对象的实时互动性较差、用户体验不好的问题。
根据本发明的一方面，提供了一种虚拟对象的实时互动控制方法，该方法包括：检测是否接收到第一远程动作驱动数据，其中，所述第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；在接收到所述第一远程动作驱动数据的情况下，根据所述第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据；在没有接收到所述第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染所述虚拟对象，生成并播放第二动画影像数据。
优选地，生成并播放所述第一动画影像数据之后，所述方法还包括：将所述用户的互动信息发送给采集所述第一远程动作驱动数据的采集现场，其中，所述互动信息包括所述用户的至少以下之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；接收根据所述互动信息生成的第三远程动作驱动数据；根据所述第三远程动作驱动数据驱动并渲染所述虚拟对象，生成并显示第三动画影像数据。
优选地，根据所述用户的所述互动指令驱动并渲染所述虚拟对象包括：检测所述互动指令，其中，所述互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令；根据所述互动指令驱动并渲染所述虚拟对象。
优选地，根据所述互动指令驱动并渲染所述虚拟对象包括：检测所述互动指令的指令类型；在所述指令类型是表情指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前表情，或者，根据识别的情绪控制所述虚拟对象执行相应的动作，其中，所述情绪根据所述用户的表情识别；在所述指令类型是语音指令的情况下，控制所述虚拟对象与所述用户进行语音交流，或者，驱动并渲染所述虚拟对象按照所述语音指令执行相应的动作；在所述指令类型是动作指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前动作，或者，驱动并渲染所述虚拟对象执行与所述动作指令相应的动作；在所述指令类型是文字指令的情况下，驱动并渲染所述虚拟对象根据所述文字指令进行相应的动作。
优选地，在所述指令类型是语音指令或所述文字指令的情况下，将所述第二动画影像数据发送给所述用户指定的对象，在所述指令类型是所述表情指令或所述动作指令的情况下，将所述第二动画影像数据或者所述互动指令发送给所述用户指定的对象，其中，所述互动指令是预定义数据结构的、包含所述用户的动作参数的数据。
优选地，检测是否接收到所述第一远程动作驱动数据之前，所述方法还包括：接收所述用户的定制指令；根据所述定制指令设置所述虚拟对象的属性参数，其中，所述属性参数包括以下至少之一：用于配置所述虚拟对象的形象的参数，用于配置所述虚拟对象的道具的参数，用于配置所述虚拟对象所处场景的参数，用于配置所述虚拟对象的特效的参数；根据所述属性参数驱动并渲染所述虚拟对象。
根据本发明的还一方面，提供了一种虚拟对象的实时互动控制装置，该装置包括检测模块，用于检测是否接收到第一远程动作驱动数据，其中，所述第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；第一驱动渲染模块，用于在接收到所述第一远程动作驱动数据的情况下，根据所述第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据；第二驱动渲染模块，用于在没有接收到所述第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染所述虚拟对象，生成并播放第二动画影像数据。
优选地，所述装置还包括：采集模块和接收模块，其中，所述采集模块，用于将所述用户的互动信息发送给采集所述第一远程动作驱动数据的采集现场，其中，所述互动信息包括所述用户的至少以下之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；所述接收模块，用于接收根据所述互动信息生成的第三远程动作驱动数据；所述第一驱动渲染模块，还用于根据所述第三远程动作驱动数据驱动并渲染所述虚拟对象，生成并显示第三动画影像数据。
优选地，所述第二驱动渲染模块还包括：指令检测单元，用于检测所述互动指令，其中，所述互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令；控制单元，用于检测所述互动指令的指令类型；在所述指令类型是表情指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前表情，或者，根据识别的情绪控制所述虚拟对象执行相应的动作，其中，所述情绪根据所述用户的表情识别；在所述指令类型是语音指令的情况下，控制所述虚拟对象与所述用户进行语音交流，或者，驱动并渲染所述虚拟对象按照所述语音指令执行相应的动作；在所述指令类型是动作指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前动作，或者，驱动并渲染所述虚拟对象执行与所述动作指令相应的动作；在所述指令类型是文字指令的情况下，驱动并渲染所述虚拟对象根据所述文字指令进行相应的动作。
优选地，共享模块，用于在所述指令类型是语音指令或所述文字指令的情况下，将所述第二动画影像数据发送给所述用户指定的对象；在所述指令类型是所述表情指令或所述动作指令的情况下，将所述第二动画影像数据或者所述互动指令发送给所述用户指定的对象，其中，所述互动指令是预定义数据结构的、包含所述用户的动作参数的数据。
在本发明中，检测是否接收到第一远程动作驱动数据，其中，第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；在接收到第一远程动作驱动数据的情况下，根据第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据；在没有接收到第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染虚拟对象，生成并播放第二动画影像数据，解决了相关技术中虚拟对象的实时互动性较差、用户体验不好的问题的问题，进而达到了较好的实时互动性、较高的用户体验度的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明第一实施例的虚拟对象的实时互动控制方法的流程图；
图2是根据本发明第二实施例的虚拟对象的实时互动控制方法的流程图；
图3是根据本发明第三实施例的虚拟对象的实时互动控制方法的流程图；
图4是根据本发明第四实施例的虚拟对象的实时互动控制方法的流程图；
图5是根据本发明第五实施例的虚拟对象的实时互动控制方法的流程图；
图6是根据本发明实施例的虚拟对象的实时互动控制装置的流程图；以及
图7是根据本发明优选实施例的虚拟对象的实时互动控制装置的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种虚拟对象的实时互动控制方法，图1是根据本发明第一实施例的虚拟对象的实时互动控制方法的流程图，如图1所示，该流程包括如下步骤S102至S106。
步骤S102，检测是否接收到第一远程动作驱动数据，其中，第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令。
步骤S104，在接收到第一远程动作驱动数据的情况下，根据第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据。
步骤S106，在没有接收到第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染虚拟对象，生成并播放第二动画影像数据。
通过上述步骤，在存在远程动作驱动数据的情况下，可以根据远程动作驱动数据实时驱动并渲染虚拟对象，在不存在远程动作驱动数据的情况下，可以根据用户的互动指令实时驱动并渲染虚拟对象，解决了相关技术中虚拟对象的实时互动性较差、用户体验不好的问题，进而达到了较好的实时互动性、可玩性强、并改进了当前节目的制作生产流程、提高用户对节目的粘度、具有较高的用户体验度的效果。
图2是根据本发明第二实施例的虚拟对象的实时互动控制方法的流程图，如图2所示，该流程包括如下步骤S202至S210。
步骤S202，检测用户选择的虚拟对象，在移动终端上驱动并渲染所选虚拟对象。
移动终端检测到用户选择的虚拟对象之后，提供定制属性，供用户定制该虚拟对象。移动终端接收到用户的定制指令，根据该定制指令设置虚拟对象的属性参数，其中，该属性参数包括以下至少之一：用于配置虚拟对象的形象的参数，用于配置虚拟对象的道具的参数，用于配置虚拟对象所处场景的参数，用于配置虚拟对象的特效的参数；根据用户配置的上述属性参数驱动并渲染虚拟对象。比如，假设检测到用户选择的虚拟对象是公主，并进一步检测到形象参数设置的是粉色公主裙，道具参数设置的是魔法棒，场景参数设置的王宫，那么根据这些属性参数就可以渲染出一位身处王宫、穿着粉色公主裙、拿着魔法棒的公主的动画影像。当然，用户也可以不选择虚拟对象，不对虚拟对象进行配置，而是系统默认一个虚拟对象，并且可以根据默认的属性参数驱动并渲染虚拟对象，生成并播放第一动画影像数据。
步骤S204，检测是否有第一远程动作驱动数据。
检测是否有第一远程动作驱动数据。用户可以设置是否连接到远程，当然也可以是系统默认设置是否连接到远程。在检测到当前模式是连接到远程、并从远程获取到第一远程动作驱动数据的情况下，执行步骤S206，否则，执行步骤S210。
在一个实施例中，第一远程动作驱动数据是具有第一预定义数据结构的数据，并且，该第一预定义数据结构中的数据元素的个数小于第一数量阈值，其中，数据元素用于定义所捕捉的采集对象的动作参数。比如，在捕捉表情数据时，数据元素用于定义采集对象面部运动单元的运动变化量；在捕捉动作数据时，数据元素用于定义采集对象的动作运动轨迹和旋转角度。这样，传输第一远程动作驱动数据时占用的带宽将远小于传统的视频流的传送方式。
步骤S206，根据第一远程动作驱动数据实时驱动并渲染所选虚拟对象，生成并播放第一动画影像数据。
步骤S208，实时互动。
检测到用户的互动信息，将该互动信息发送给采集第一远程动作驱动数据的采集现场，其中，该互动信息包括至少以下之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令。
接收根据互动信息生成的第三远程动作驱动数据，根据第三远程动作驱动数据驱动并渲染虚拟对象，生成并显示第三动画影像数据。
步骤S210，根据用户的互动指令驱动并渲染虚拟对象，生成并播放第二动画影像数据。
检测互动指令，其中，该互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令。
检测互动指令的指令类型。在指令类型是表情指令的情况下，驱动并渲染虚拟对象模仿用户的当前表情，或者，根据识别的情绪控制虚拟对象执行相应的动作，其中，情绪识别是根据用户的当前表情进行的；在指令类型是语音指令的情况下，控制虚拟对象与用户进行语音交流，或者，驱动并渲染虚拟对象按照语音指令执行相应的动作；在指令类型是动作指令的情况下，驱动并渲染虚拟对象模仿用户的当前动作，或者，驱动并渲染虚拟对象执行与动作指令相应的动作；在指令类型是文字指令的情况下，驱动并渲染虚拟对象根据文字指令进行相应的动作。
在指令类型是语音指令或文字指令的情况下，还可以将生成的第二动画影像数据发送给用户指定的对象；在指令类型是表情指令或动作指令的情况下，可以将第二动画影像数据或者互动指令发送给所述用户指定的对象，其中，互动指令是预定义数据结构的、包含所述用户的动作参数的数据。当然，在指令类型是语音指令或文字指令的情况下，也可以直接将语音指令或文字指令发送给用户指定的对象。
在指令类型是表情指令或动作指令的情况下，互动指令可以是具有第二预定义数据结构的数据，并且，该第二预定义数据结构中的数据元素的个数小于第二数量阈值，其中，数据元素用于定义用户的动作参数。比如，在捕捉表情数据时，数据元素用于定义采集对象面部运动单元的运动变化量；在捕捉动作数据时，数据元素用于定义采集对象的动作运动轨迹和旋转角度即动作参数。这样，传输互动指令时占用的带宽将远小于传统的视频流的传送方式。
用户指定的对象在接收到第二动画影像数据的情况下，可以直接播放第二动画影像数据；在接收到语音指令或文字指令的情况下，可以根据语音指令或文字指令驱动渲染本机的虚拟对象，其中，本机的虚拟对象可以是用户指定的，也可以是用户指定的对象自身选择的；在接收到互动指令的情况下，根据互动指令的数据结构中的动作参数驱动并渲染本机的虚拟对象。比如，用户发送的语音指令是跳舞，将语音指令和用户选定的虚拟对象灰姑娘的虚拟对象ID发送给用户指定的对象，用户指定的对象将驱动并渲染出灰姑娘跳舞的动画影像；再比如，在互动指令是表情指令的情况下，将用户的面部各运动单元的运动变化量等动作参数设置到互动指令对应的数据结构中，然后将该互动指令发送给用户指定的对象，用户指定的对象根据该数据结构中的动作参数驱动并渲染虚拟对象。
图3是根据本发明第三实施例的虚拟对象的实时互动控制方法的流程图，如图3所示，该流程包括如下步骤S302至S308。
本实施例针对的是检测到第一远程动作驱动数据的情形。
步骤S302，实时捕捉采集对象的第一远程动作驱动数据。
实时捕捉采集对象的第一远程动作驱动数据可以有很多种方式。
比如，可以通过下述方法获取采集对象的表情数据：在采集对象是人或动物的情况下，运动捕捉设备可以拍摄包含采集对象面部的图像，并分析该图像，定位该图像上采集对象的面部特征位置，然后根据面部特征位置确定采集对象各表情运动单元的运动幅度即表情数据。其中，面部特征位置可以包括以下至少之一：面部整体轮廓的位置，眼睛的位置，瞳孔的位置，鼻子的位置，嘴的位置，眉毛的位置。
再比如，可以通过下述方法获取采集对象的动作数据：在采集对象上设置至少一个传感装置，采集传感装置输出的传感数据，根据该传感数据解算出采集对象的动作数据，其中，动作数据包括采集对象的当前动作的世界坐标的位置和旋转角度。
又比如，可以通过下述方法获取用于控制虚拟对象运动的控制指令：在采集对象是外部设备比如摇杆或游戏杆的情况下，采集外部设备输出的脉冲数据，并将脉冲数据转换成控制指令。
另外，为了节目的需要或者为了效果的需要，在获取第一远程动作驱动数据的同时，还可以采集与采集对象相关的音频数据。
步骤S304，对第一远程动作驱动数据进行时间同步处理和/或均匀帧率的处理。
在播放根据第一远程动作驱动数据生成的第一动画影像数据时，为了互动的需要或者为了效果的需要，还需要播放采集的音频数据，而为了使第一远程动作驱动数据与采集的音频数据同步，还需要对第一远程动作驱动数据进行时间同步处理。另外，为了更好地显示第一动画影像数据，还可以对第一远程动作驱动数据进行均匀帧率的处理。
步骤S306，根据第一远程动作驱动数据驱动并渲染虚拟对象实时生成并播放第一动画影像数据。
本实施例中，可以单屏显示或者全息模式显示。在单屏显示的情况下，生成的是单视口的第一动画影像数据。在全息模式显示的情况下，可以通过以下两种方式中的任一种驱动并渲染虚拟对象生成第一动画影像数据：
方式一、采用在多个不同的方位上部署摄像机、同时渲染多个摄像机视口的渲染方式，根据第一远程动作驱动数据驱动并渲染对应于多个摄像机视口的不同视角的虚拟对象，并将渲染出的不同视角的虚拟对象合成多视口的第一动画影像数据；
方式二、采用在不同的方位上复制多个虚拟对象的渲染方式，复制虚拟对象得到多个虚拟对象，将多个虚拟对象以不同的朝向部署在不同的方位上，并根据第一远程动作驱动数据分别驱动并渲染多个虚拟对象，生成单视口的第一动画影像数据。
步骤S308，实时互动。
采集设备实时采集用户的互动信息，并将互动信息发送到捕捉第一远程动作驱动数据的采集现场，其中，互动信息可以包括以下至少之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；采集设备可以是手机、PAD等移动终端。
实时捕捉采集对象根据互动信息生成的第三远程动作驱动数据或特效数据，根据第三远程动作驱动数据驱动并渲染虚拟对象实时生成并播放第三动画影像数据。
这样，便实现了用户和运动捕捉设备现场的采集对象之间的互动。
图4是根据本发明第四实施例的虚拟对象的实时互动控制方法的流程图，如图4所示，该流程包括以下步骤S402至S412。
本实施例针对的是检测到第一远程动作驱动数据的情形。
步骤S402，运动捕捉，获取采集对象的第一远程动作驱动数据。
确定运动捕捉的对象即采集对象。采集对象可以是自然界中能够运动的任何物体，比如，人，动物，机器人，甚至流动的水、摇摆的绳索、行驶中的汽车等。
第一远程动作驱动数据是采集对象在多维空间中的运动数据，其可以包括以下至少之一：表情数据，动作数据，特效数据，控制指令。其中，表情数据是在采集对象是动物或人的情况下其面部各运动单元的运动幅度；动作数据是采集对象的运动轨迹和/或姿态，比如，在采集对象是人或动物的情况下，动作数据可以包括人或动物的肢体运动轨迹和/或姿态，在采集对象是流动的水的情况下，动作数据可以是水波纹的运动轨迹，在采集对象是摇摆的绳索的情况下，动作数据可以是绳索的运动轨迹；特效数据是与采集对象相关的特效的数据，比如，在采集对象是正在表演歌舞的演员的情况下，特效数据可以包括随着演员动作变换的粒子效果或舞台中释放的烟雾的相关数据；控制指令是摇杆或游戏杆输出的用于控制虚拟对象运动的脉冲数据，比如，可以向左拨动摇杆，控制虚拟对象向左转头。
运动捕捉的实现方式可以有很多种，比如机械式、声学式、电磁式、光学式、惯性导航式等。
其中，
机械式运动捕捉装置依靠机械装置来跟踪和测量采集对象的运动轨迹。比如，在采集对象上的多个关节上安装角度传感器，可以测得关节转动角度的变化情况。当采集对象运动时，根据角度传感器所测得的角度变化，可以获取采集对象的肢体在空间中的位置和运动轨迹；
声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器，接收器一般由呈三角形排列的三个超声探头组成，设置在采集对象的各个关节上。通过测量声波从发送器到接收器的时间或者相位差，可以计算并确定接收器的位置和方向，从而获取采集对象的肢体在空间中的位置和运动轨迹；
电磁式运动捕捉装置一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器设置在采集对象的关键位置上，采集对象在电磁场内运动时，接收传感器将接收到的信号通过电缆或无线的方式传送给处理单元，根据这些接收到的信号可以解算出每个传感器的空间位置和方向，从而获取采集对象的肢体在空间中的位置和运动轨迹；
光学式运动捕捉装置通常使用多个摄像机环绕采集对象排列，这些摄像机的视野重叠区域就是采集对象的动作范围。为了便于处理，通常要求采集对象穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为"Marker"，视觉系统将识别和处理这些标志。系统定标后，摄像机连续拍摄采集对象的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。
惯性导航式运动捕捉装置在采集对象的主要关键点绑定至少一个惯性陀螺仪，通过分析惯性陀螺仪的姿态变化来得到采集对象的姿态和运动轨迹。
另外，在无法设置传感装置的情况下，也可以通过直接识别采集对象的特征而确定采集对象的运动轨迹。
在捕捉第一远程动作驱动数据的同时，运动捕捉设备还需要采集与第一远程动作驱动数据对应的音频数据。
步骤S404，运动捕捉设备将捕捉的第一远程动作驱动数据和采集的音频数据发送给服务器。
第一远程动作驱动数据对应的数据帧的数量小于等于预设的第一阈值，比如10帧。优选地，第一远程动作驱动数据对应的数据帧的数量为1，这样能够保证第一远程动作驱动数据传输的实时性。但是，在实时性要求并不是非常高的情况下，第一远程动作驱动数据对应的数据帧的数量也可以为几帧，十几帧或者几十帧。
步骤S406，服务器对采集的第一远程动作驱动数据进行同步处理和/或均匀帧率处理。
服务器接收并保存第一远程动作驱动数据和音频数据，同时将第一远程动作驱动数据和音频数据发送给驱动渲染装置(相当于实时互动动画的全息投影装置)。在发送第一远程动作驱动数据和音频数据之前，还需要对第一远程动作驱动数据进行同步处理。正常情况下，第一远程动作驱动数据可以按照设定的帧率发送数据，如每秒25帧就是40ms下发一次数据包。
另外，同步处理的过程可以采用如下的实现方式：
服务器根据设定帧率按照固定的时间间隔下发数据，在下发数据前，缓存前一个数据包和当前数据包之间接收到的数据，根据接收到的第一动作驱动数据的类型进行帧率均匀处理，也就是插值处理。比如，在第一动作驱动数据的数据类型是动作数据的情况下，对动作数据进行四元素球面插值处理；在第一动作驱动数据的数据类型是表情数据的情况下，对表情数据进行线性插值处理。然后，将第一动作驱动数据打上统一的时间戳，音频数据直接将前一个数据包和当前数据包间接收到的数据写入，封装成一个数据包下发，其中，该时间戳是驱动渲染装置同步的依据。
步骤S408，驱动渲染装置实时处理第一远程动作驱动数据，生成第一运动驱动数据。
驱动渲染装置接收到服务器发送的第一远程动作驱动数据后，对第一远程动作驱动数据进行坐标转换以及旋转次序转换，从世界坐标转换成驱动渲染装置对应的坐标以及其对应的旋转次序上，生成第一运动驱动数据。
步骤S410，根据生成的第一运动驱动数据实时驱动并渲染虚拟对象，生成第一动画影像数据。
虚拟对象是受控于第一运动驱动数据的动画模型，可以是任何角色，比如灰姑娘、蓝精灵、某位电影明星等，甚至可以是设计出的任何动画形象，比如石头、怪物等。虚拟对象不是明确地在背景中画出的对象，而是在第一运动驱动数据的驱动下不仅能够在屏幕上移动、而且在移动过程中栩栩如生的对象。例如，一个不仅能够水平方向、垂直方向移动、而且还能够移动其肢体、展现不同面部表情的动画模型。
第一运动驱动数据包括以下至少之一：表情驱动数据，动作驱动数据，特效驱动数据，其中，表情驱动数据用于驱动并渲染虚拟对象的表情，动作驱动数据用于驱动并渲染虚拟对象的除表情外的运动，比如人的肢体运动，水流的动作等，特效驱动数据用于控制虚拟对象的特效动作触发或者场景中的特效触发。
虚拟对象的模型预先存储在驱动渲染装置的存储器中，每一个模型都对应相应的多种属性。
用户从多个预先存储的模型中选择一个或多个模型，根据第一运动驱动数据更新所选模型的多种属性，从而驱动并渲染所选模型即虚拟对象，生成并播放第一动画影像数据。渲染的方式如上所述，此处不再赘述。
步骤S412，实时互动。
检测到用户的互动信息，将该互动信息发送给采集第一远程动作驱动数据的采集现场，其中，该互动信息包括至少以下之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令。
接收根据互动信息生成的第三远程动作驱动数据，根据第三远程动作驱动数据驱动并渲染虚拟对象，生成并显示第三动画影像数据。
比如，采集主持人(相当于采集对象)的第一远程动作驱动数据和音频数据，并根据第一远程动作驱动数据生成第一运动驱动数据后，用第一运动驱动数据驱动并渲染虚拟主持人(相当于虚拟对象)，生成并播放第一动画影像数据，同时还播放音频数据。此时，如果用户想与主持人互动，可以通过移动终端采集用户的互动信息，并将该互动信息发送给主持人，主持人根据观众的互动信息进行节目内容的调整，运动捕捉设备捕捉主持人根据互动信息生成的第三动作驱动数据，并将第三动作驱动数据发送给驱动渲染装置，驱动渲染装置根据第三动作驱动数据驱动并渲染虚拟主持人，生成并播放第三动画影像数据，从而实现主持人和用户的互动。比如，可以通过移动终端点击献花的按钮，此时互动指令指示献花。献花的数量可以累计，并在超过第一阈值时，渲染一个鲜花雨场景的第三动画影像数据。
图5是根据本发明第五实施例的虚拟对象的实时互动控制方法的流程图，如图5所示，该流程包括以下步骤S502至S504。
本实施例针对的是没有检测到第一远程动作驱动数据的情形。
步骤S502，获取用户的互动指令。
获取互动指令的方式有很多种，比如动作捕捉、音频采集、文字录入、预设的指令等。
在一个实施例中，可以在用户的控制下，采集任何对象(包括用户自身)在多维空间中的运动轨迹数据，其可以包括以下至少之一：表情数据，动作数据，特效数据，控制指令。其中，表情数据是在采集对象是动物或人的情况下其面部各运动单元的运动幅度；动作数据是采集对象的运动轨迹和/或姿态，比如，在采集对象是人或动物的情况下，动作数据可以包括人或动物的肢体运动轨迹和/或姿态，在采集对象是流动的水的情况下，动作数据可以是水波纹的运动轨迹，在采集对象是摇摆的绳索的情况下，动作数据可以是绳索摇摆的运动轨迹；特效数据是与采集对象相关特效的数据，比如，在采集对象是正在表演歌舞的演员的情况下，特效数据可以包括随着人物动作变换的粒子效果或者舞台中释放的烟雾的相关数据；控制指令是摇杆或游戏杆输出的用于控制虚拟对象运动的脉冲数据。
分析这些运动轨迹数据，可以生成相应的互动指令。比如，如果检测到的用户的动作是睡觉的动作，那么互动指令指示的可以是睡觉动作；如果采集的是摇手机的动作，那么互动指令指示的可以是跳舞动作；如果检测到摇杆被向左拨动，那么互动指令指示的可以是向左转头的动作。
运动捕捉的实现方式可以有很多种，比如机械式、声学式、电磁式、光学式、惯性导航式等。
其中，
机械式运动捕捉装置依靠机械装置来跟踪和测量采集对象的运动轨迹。比如，在采集对象上的多个关节上安装角度传感器，可以测得关节转动角度的变化情况。当采集对象运动时，根据角度传感器所测得的角度变化，可以获取采集对象的肢体在空间中的位置和运动轨迹；
声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器，接收器一般由呈三角形排列的三个超声探头组成，设置在采集对象的各个关节上。通过测量声波从发送器到接收器的时间或者相位差，可以计算并确定接收器的位置和方向，从而获取采集对象的肢体在空间中的位置和运动轨迹；
电磁式运动捕捉装置一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器设置在采集对象的关键位置上，采集对象在电磁场内运动时，接收传感器将接收到的信号通过电缆或无线的方式传送给处理单元，根据这些接收到的信号可以解算出每个传感器的空间位置和方向，从而获取采集对象的肢体在空间中的位置和运动轨迹；
光学式运动捕捉装置通常使用多个摄像机环绕采集对象排列，这些摄像机的视野重叠区域就是采集对象的动作范围。为了便于处理，通常要求采集对象穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为"Marker"，视觉系统将识别和处理这些标志。系统定标后，摄像机连续拍摄采集对象的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。
惯性导航式运动捕捉装置在采集对象的主要关键点绑定至少一个惯性陀螺仪，通过分析惯性陀螺仪的位移变化来得到采集对象的运动轨迹。
另外，在无法设置传感装置的情况下，也可以通过直接识别采集对象的特征而确定采集对象的运动轨迹。
上述采集的运动轨迹相关的数据可以统称为动作参数，将这些动作参数设置到预先定义的数据结构中，便生成互动指令。换句话说，在捕捉到用户表情或用户动作的情况下，可以预先为互动指令定义一个数据结构，该数据结构中可以定义属性不同的数据元素，这些数据元素用于承载所捕捉的运动参数。
在另一个实施例中，还可以通过检测音频数据，生成互动指令。比如，在通过语音识别检测到用户说跳舞的情况下，互动指令指示的是跳舞动作；在检测到查询北京天气情况下，互动指令自动上网搜索天气状况，用语音播报出来。比如，还可以通过语音识别跟虚拟角色交流沟通。
在又一个实施例中，还可以通过检测用户输入的文字，生成互动指令。比如，检测到用户输入唱歌两个字，则互动指令可以自动搜索歌曲及其自带的歌曲动作文件，播放歌曲和舞蹈动作以及唱歌时的表情动画。当然，还可以通过预设的指令，驱动并渲染虚拟对象；比如触摸虚拟角色的身体某个部位发出特定指令驱动虚拟角色运动。
步骤S504，根据用户的互动指令驱动并渲染虚拟对象，生成并播放第二动画影像数据。
虚拟对象是受控于互动指令的动画模型，可以是任何角色比如灰姑娘、蓝精灵、某位电影明星等，甚至可以是设计出的任何动画形象，比如石头、怪物等。虚拟对象不是明确地在背景中画出的对象，而是在互动指令的驱动下不仅能够在屏幕上移动、而且在移动过程中栩栩如生的对象。例如，一个不仅能够水平方向、垂直方向移动、而且还能够移动其肢体、展现不同面部表情的动画模型。
虚拟对象的模型预先存储在驱动渲染装置的存储器中，每一个模型都对应相应的多种属性。
用户从多个预先存储的模型中选择一个或多个模型，根据互动指令更新所选模型的多种属性，从而驱动并渲染所选模型即虚拟对象，生成并播放第二动画影像数据。渲染的方式如上所述，此处不再赘述。
图6是根据本发明实施例的实时互动装置的结构示意图，如图6所示，该装置包括检测模块60，第一驱动渲染模块62和第二驱动渲染模块64。下面对该装置进行说明。
检测模块60，用于检测是否接收到第一远程动作驱动数据，其中，第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；
第一驱动渲染模块62，用于在接收到第一远程动作驱动数据的情况下，根据第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据；
第二驱动渲染模块64，用于在没有接收到第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染虚拟对象，生成并播放第二动画影像数据。
图7是根据本发明实施例的实时互动装置的结构示意图，如图7所示，该装置包括检测模块60，第一驱动渲染模块62，第二驱动渲染模块64，采集模块66，接收模块68，共享模块69，其中，第二驱动渲染模块64包括指令检测单元642，控制单元644。下面对该装置进行说明。
检测模块60，用于检测是否接收到第一远程动作驱动数据，其中，第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令。
第一驱动渲染模块62，用于在接收到第一远程动作驱动数据的情况下，根据第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据。
在第一驱动渲染模块62播放第一动画影像数据的情况下，采集模块66，用于将采集用户的互动信息并发送给采集第一远程动作驱动数据的采集现场，其中，互动信息包括用户的至少以下之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；接收模块68，用于接收根据互动信息生成的第三远程动作驱动数据；第一驱动渲染模块62根据第三远程动作驱动数据驱动并渲染虚拟对象，生成并显示第三动画影像数据。
第二驱动渲染模块64，用于在没有接收到第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染虚拟对象，生成并播放第二动画影像数据。
第二驱动渲染模块64还包括指令检测单元642和控制单元644。
其中，指令检测单元642，用于检测互动指令，其中，互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令；
控制单元644，用于检测互动指令的指令类型；在指令类型是表情指令的情况下，驱动并渲染虚拟对象模仿该用户的当前表情，或者，根据识别的情绪控制该虚拟对象执行相应的动作，其中，情绪识别是根据用户的表情识别的；在指令类型是语音指令的情况下，控制该虚拟对象与用户进行语音交流，或者，驱动并渲染虚拟对象按照该语音指令执行相应的动作；在指令类型是动作指令的情况下，驱动并渲染虚拟对象模仿该用户的当前动作，或者，驱动并渲染虚拟对象执行与该动作指令相应的动作；在指令类型是文字指令的情况下，驱动并渲染该虚拟对象根据文字指令进行相应的动作。
共享模块69，与第二驱动渲染模块64相连，用于在指令类型是语音指令或文字指令的情况下，将第二动画影像数据发送给用户指定的对象；在指令类型是表情指令或动作指令的情况下，将第二动画影像数据或者互动指令发送给所述用户指定的对象，其中，互动指令是预定义数据结构的、包含所述用户的动作参数的数据。
本发明解决了相关技术中虚拟对象的实时互动性较差、用户体验不好的问题，进而达到了较好的实时互动性、可玩性强、并改进了当前节目的制作生产流程、提高用户对节目的粘度、具有较高的用户体验度的效果。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们需要分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种虚拟对象的实时互动控制方法，其特征在于，包括：
检测是否接收到第一远程动作驱动数据，其中，所述第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；
在接收到所述第一远程动作驱动数据的情况下，根据所述第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据；
在没有接收到所述第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染所述虚拟对象，生成并播放第二动画影像数据。
2.根据权利要求1所述的方法，其特征在于，生成并播放所述第一动画影像数据之后，所述方法还包括：
将所述用户的互动信息发送给采集所述第一远程动作驱动数据的采集现场，其中，所述互动信息包括所述用户的至少以下之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；
接收根据所述互动信息生成的第三远程动作驱动数据；
根据所述第三远程动作驱动数据驱动并渲染所述虚拟对象，生成并显示第三动画影像数据。
3.根据权利要求1所述的方法，其特征在于，根据所述用户的所述互动指令驱动并渲染所述虚拟对象包括：
检测所述互动指令，其中，所述互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令；
根据所述互动指令驱动并渲染所述虚拟对象。
4.根据权利要求3所述的方法，其特征在于，根据所述互动指令驱动并渲染所述虚拟对象包括：
检测所述互动指令的指令类型；
在所述指令类型是表情指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前表情，或者，根据识别的情绪控制所述虚拟对象执行相应的动作，其中，所述情绪根据所述用户的表情识别；
在所述指令类型是语音指令的情况下，控制所述虚拟对象与所述用户进行语音交流，或者，驱动并渲染所述虚拟对象按照所述语音指令执行相应的动作；
在所述指令类型是动作指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前动作，或者，驱动并渲染所述虚拟对象执行与所述动作指令相应的动作；
在所述指令类型是文字指令的情况下，驱动并渲染所述虚拟对象根据所述文字指令进行相应的动作。
5.根据权利要求4所述的方法，其特征在于，在所述指令类型是语音指令或所述文字指令的情况下，将所述第二动画影像数据发送给所述用户指定的对象，在所述指令类型是所述表情指令或所述动作指令的情况下，将所述第二动画影像数据或者所述互动指令发送给所述用户指定的对象，其中，所述互动指令是预定义数据结构的、包含所述用户的动作参数的数据。
6.根据权利要求1至5中任一项所述的方法，其特征在于，检测是否接收到所述第一远程动作驱动数据之前，所述方法还包括：
接收所述用户的定制指令；
根据所述定制指令设置所述虚拟对象的属性参数，其中，所述属性参数包括以下至少之一：用于配置所述虚拟对象的形象的参数，用于配置所述虚拟对象的道具的参数，用于配置所述虚拟对象所处场景的参数，用于配置所述虚拟对象的特效的参数；
根据所述属性参数驱动并渲染所述虚拟对象。
7.一种虚拟对象的实时互动控制装置，其特征在于，包括：
检测模块，用于检测是否接收到第一远程动作驱动数据，其中，所述第一远程动作驱动数据包括以下至少之一：表情数据，动作数据，特效数据，控制指令；
第一驱动渲染模块，用于在接收到所述第一远程动作驱动数据的情况下，根据所述第一远程动作驱动数据实时驱动并渲染虚拟对象，生成并播放第一动画影像数据；
第二驱动渲染模块，用于在没有接收到所述第一远程动作驱动数据的情况下，根据用户的互动指令驱动并渲染所述虚拟对象，生成并播放第二动画影像数据。
8.根据权利要求7所述的装置，其特征在于，
所述装置还包括：采集模块和接收模块，其中
所述采集模块，用于将所述用户的互动信息发送给采集所述第一远程动作驱动数据的采集现场，其中，所述互动信息包括所述用户的至少以下之一的信息：语音信息，图像信息，动作信息，文字信息，互动指令；
所述接收模块，用于接收根据所述互动信息生成的第三远程动作驱动数据；
所述第一驱动渲染模块，还用于根据所述第三远程动作驱动数据驱动并渲染所述虚拟对象，生成并显示第三动画影像数据。
9.根据权利要求7所述的装置，其特征在于，所述第一驱动渲染模块还包括：
指令检测单元，用于检测所述互动指令，其中，所述互动指令包括至少以下之一：语音指令，表情指令，动作指令，文字指令；
控制单元，用于检测所述互动指令的指令类型；在所述指令类型是表情指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前表情，或者，根据识别的情绪控制所述虚拟对象执行相应的动作，其中，所述情绪根据所述用户的表情识别；在所述指令类型是语音指令的情况下，控制所述虚拟对象与所述用户进行语音交流，或者，驱动并渲染所述虚拟对象按照所述语音指令执行相应的动作；在所述指令类型是动作指令的情况下，驱动并渲染所述虚拟对象模仿所述用户的当前动作，或者，驱动并渲染所述虚拟对象执行与所述动作指令相应的动作；在所述指令类型是文字指令的情况下，驱动并渲染所述虚拟对象根据所述文字指令进行相应的动作。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括共享模块，用于在所述指令类型是语音指令或所述文字指令的情况下，将所述第二动画影像数据发送给所述用户指定的对象；在所述指令类型是所述表情指令或所述动作指令的情况下，将所述第二动画影像数据或者所述互动指令发送给所述用户指定的对象，其中，所述互动指令是预定义数据结构的、包含所述用户的动作参数的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510282095.5A CN104866101B (zh) | 2015-05-27 | 2015-05-27 | 虚拟对象的实时互动控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510282095.5A CN104866101B (zh) | 2015-05-27 | 2015-05-27 | 虚拟对象的实时互动控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104866101A true CN104866101A (zh) | 2015-08-26 |
| CN104866101B CN104866101B (zh) | 2018-04-27 |
Family
ID=53911982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510282095.5A Active CN104866101B (zh) | 2015-05-27 | 2015-05-27 | 虚拟对象的实时互动控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104866101B (zh) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105959718A (zh) * | 2016-06-24 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种视频直播中实时互动的方法及装置 |
| CN106462257A (zh) * | 2016-07-07 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 实时互动动画的全息投影系统、方法及人工智能机器人 |
| CN106471572A (zh) * | 2016-07-07 | 2017-03-01 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| CN106775198A (zh) * | 2016-11-15 | 2017-05-31 | 捷开通讯(深圳)有限公司 | 一种基于混合现实技术实现陪伴的方法及装置 |
| CN107137928A (zh) * | 2017-04-27 | 2017-09-08 | 杭州哲信信息技术有限公司 | 实时互动动画三维实现方法及系统 |
| CN107168540A (zh) * | 2017-07-06 | 2017-09-15 | 苏州蜗牛数字科技股份有限公司 | 一种玩家与虚拟角色互动方法 |
| CN107172450A (zh) * | 2016-03-07 | 2017-09-15 | 百度在线网络技术（北京）有限公司 | 视频数据的传输方法、装置及系统 |
| CN107357416A (zh) * | 2016-12-30 | 2017-11-17 | 长春市睿鑫博冠科技发展有限公司 | 一种人机交互装置及交互方法 |
| CN107454435A (zh) * | 2017-06-21 | 2017-12-08 | 白冰 | 一种基于实体互动的直播方法及直播系统 |
| CN107509117A (zh) * | 2017-06-21 | 2017-12-22 | 白冰 | 一种直播互动方法及直播互动系统 |
| CN107635154A (zh) * | 2017-06-21 | 2018-01-26 | 白冰 | 一种实体互动直播控制装置 |
| CN107861626A (zh) * | 2017-12-06 | 2018-03-30 | 北京光年无限科技有限公司 | 一种虚拟形象被唤醒的方法及系统 |
| CN108037829A (zh) * | 2017-12-13 | 2018-05-15 | 北京光年无限科技有限公司 | 基于全息设备的多模态交互方法及系统 |
| CN108052250A (zh) * | 2017-12-12 | 2018-05-18 | 北京光年无限科技有限公司 | 基于多模态交互的虚拟偶像演绎数据处理方法及系统 |
| CN108182697A (zh) * | 2018-01-31 | 2018-06-19 | 中国人民解放军战略支援部队信息工程大学 | 一种动作捕捉系统及方法 |
| CN108681390A (zh) * | 2018-02-11 | 2018-10-19 | 腾讯科技（深圳）有限公司 | 信息交互方法和装置、存储介质及电子装置 |
| CN108671539A (zh) * | 2018-05-04 | 2018-10-19 | 网易（杭州）网络有限公司 | 目标对象交互方法及装置、电子设备、存储介质 |
| CN108724171A (zh) * | 2017-09-25 | 2018-11-02 | 北京猎户星空科技有限公司 | 智能机器人的控制方法、装置和智能机器人 |
| CN108920069A (zh) * | 2018-06-13 | 2018-11-30 | 网易（杭州）网络有限公司 | 一种触控操作方法、装置、移动终端和存储介质 |
| CN108986227A (zh) * | 2018-06-28 | 2018-12-11 | 北京市商汤科技开发有限公司 | 粒子特效程序文件包的生成及粒子特效生成方法与装置 |
| CN109313484A (zh) * | 2017-08-25 | 2019-02-05 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互系统、方法及计算机存储介质 |
| CN110070594A (zh) * | 2019-04-25 | 2019-07-30 | 深圳市金毛创意科技产品有限公司 | 一种演绎时实时渲染输出的三维动画制作方法 |
| CN110083043A (zh) * | 2019-05-20 | 2019-08-02 | 上海格乐丽雅文化产业有限公司 | 一种3d全息成像方法 |
| CN110139170A (zh) * | 2019-04-08 | 2019-08-16 | 顺丰科技有限公司 | 视频贺卡生成方法、装置、系统、设备及存储介质 |
| CN110148406A (zh) * | 2019-04-12 | 2019-08-20 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
| CN110688080A (zh) * | 2019-09-29 | 2020-01-14 | 深圳市未来感知科技有限公司 | 三维画面的远程显示方法、装置及计算机可读存储介质 |
| CN111249748A (zh) * | 2020-03-09 | 2020-06-09 | 深圳心颜科技有限责任公司 | 玩具驱动装置的控制方法、装置、玩具驱动装置及系统 |
| WO2020147794A1 (zh) * | 2019-01-18 | 2020-07-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111460872A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111541908A (zh) * | 2020-02-27 | 2020-08-14 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| WO2020221186A1 (zh) * | 2019-04-30 | 2020-11-05 | 广州虎牙信息科技有限公司 | 一种虚拟形象控制方法、装置、电子设备及存储介质 |
| CN112529991A (zh) * | 2020-12-09 | 2021-03-19 | 威创集团股份有限公司 | 一种数据可视化展示方法、系统及存储介质 |
| WO2021057424A1 (zh) * | 2019-09-23 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 基于文本的虚拟形象行为控制方法、设备和介质 |
| CN114155605A (zh) * | 2021-12-03 | 2022-03-08 | 北京字跳网络技术有限公司 | 一种控制方法、装置以及计算机存储介质 |
| US12029977B2 (en) | 2021-05-28 | 2024-07-09 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for generating special effect in virtual environment, device, and storage medium |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465957A (zh) * | 2008-12-30 | 2009-06-24 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
| CN101692205A (zh) * | 2009-05-27 | 2010-04-07 | 上海文广新闻传媒集团 | 三维财经分析软件 |
| EP2431936A2 (en) * | 2009-05-08 | 2012-03-21 | Samsung Electronics Co., Ltd. | System, method, and recording medium for controlling an object in virtual world |
| CN102685461A (zh) * | 2012-05-22 | 2012-09-19 | 深圳市环球数码创意科技有限公司 | 一种与观众实时交互的实现方法及其系统 |
| CN103020648A (zh) * | 2013-01-09 | 2013-04-03 | 北京东方艾迪普科技发展有限公司 | 一种动作类型识别方法、节目播出方法及装置 |
| CN103179437A (zh) * | 2013-03-15 | 2013-06-26 | 苏州跨界软件科技有限公司 | 虚拟人物视频录制及播放系统和方法 |
-
2015
- 2015-05-27 CN CN201510282095.5A patent/CN104866101B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465957A (zh) * | 2008-12-30 | 2009-06-24 | 应旭峰 | 一种虚拟三维场景中实现遥控互动的系统 |
| EP2431936A2 (en) * | 2009-05-08 | 2012-03-21 | Samsung Electronics Co., Ltd. | System, method, and recording medium for controlling an object in virtual world |
| CN101692205A (zh) * | 2009-05-27 | 2010-04-07 | 上海文广新闻传媒集团 | 三维财经分析软件 |
| CN102685461A (zh) * | 2012-05-22 | 2012-09-19 | 深圳市环球数码创意科技有限公司 | 一种与观众实时交互的实现方法及其系统 |
| CN103020648A (zh) * | 2013-01-09 | 2013-04-03 | 北京东方艾迪普科技发展有限公司 | 一种动作类型识别方法、节目播出方法及装置 |
| CN103179437A (zh) * | 2013-03-15 | 2013-06-26 | 苏州跨界软件科技有限公司 | 虚拟人物视频录制及播放系统和方法 |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107172450A (zh) * | 2016-03-07 | 2017-09-15 | 百度在线网络技术（北京）有限公司 | 视频数据的传输方法、装置及系统 |
| CN105959718A (zh) * | 2016-06-24 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种视频直播中实时互动的方法及装置 |
| WO2018006369A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| CN106462257A (zh) * | 2016-07-07 | 2017-02-22 | 深圳狗尾草智能科技有限公司 | 实时互动动画的全息投影系统、方法及人工智能机器人 |
| CN106471572A (zh) * | 2016-07-07 | 2017-03-01 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| CN106471572B (zh) * | 2016-07-07 | 2019-09-03 | 深圳狗尾草智能科技有限公司 | 一种同步语音及虚拟动作的方法、系统及机器人 |
| CN106775198A (zh) * | 2016-11-15 | 2017-05-31 | 捷开通讯(深圳)有限公司 | 一种基于混合现实技术实现陪伴的方法及装置 |
| WO2018090740A1 (zh) * | 2016-11-15 | 2018-05-24 | 捷开通讯(深圳)有限公司 | 一种基于混合现实技术实现陪伴的方法及装置 |
| CN107357416A (zh) * | 2016-12-30 | 2017-11-17 | 长春市睿鑫博冠科技发展有限公司 | 一种人机交互装置及交互方法 |
| CN107137928A (zh) * | 2017-04-27 | 2017-09-08 | 杭州哲信信息技术有限公司 | 实时互动动画三维实现方法及系统 |
| CN107509117A (zh) * | 2017-06-21 | 2017-12-22 | 白冰 | 一种直播互动方法及直播互动系统 |
| CN107682320A (zh) * | 2017-06-21 | 2018-02-09 | 白冰 | 一种实体互动直播通信装置 |
| CN107635154A (zh) * | 2017-06-21 | 2018-01-26 | 白冰 | 一种实体互动直播控制装置 |
| CN107454435A (zh) * | 2017-06-21 | 2017-12-08 | 白冰 | 一种基于实体互动的直播方法及直播系统 |
| CN107168540A (zh) * | 2017-07-06 | 2017-09-15 | 苏州蜗牛数字科技股份有限公司 | 一种玩家与虚拟角色互动方法 |
| CN109313484A (zh) * | 2017-08-25 | 2019-02-05 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互系统、方法及计算机存储介质 |
| CN108724171B (zh) * | 2017-09-25 | 2020-06-05 | 北京猎户星空科技有限公司 | 智能机器人的控制方法、装置和智能机器人 |
| CN108724171A (zh) * | 2017-09-25 | 2018-11-02 | 北京猎户星空科技有限公司 | 智能机器人的控制方法、装置和智能机器人 |
| CN107861626A (zh) * | 2017-12-06 | 2018-03-30 | 北京光年无限科技有限公司 | 一种虚拟形象被唤醒的方法及系统 |
| CN108052250A (zh) * | 2017-12-12 | 2018-05-18 | 北京光年无限科技有限公司 | 基于多模态交互的虚拟偶像演绎数据处理方法及系统 |
| CN108037829A (zh) * | 2017-12-13 | 2018-05-15 | 北京光年无限科技有限公司 | 基于全息设备的多模态交互方法及系统 |
| CN108182697A (zh) * | 2018-01-31 | 2018-06-19 | 中国人民解放军战略支援部队信息工程大学 | 一种动作捕捉系统及方法 |
| CN108182697B (zh) * | 2018-01-31 | 2020-06-30 | 中国人民解放军战略支援部队信息工程大学 | 一种动作捕捉系统及方法 |
| CN108681390A (zh) * | 2018-02-11 | 2018-10-19 | 腾讯科技（深圳）有限公司 | 信息交互方法和装置、存储介质及电子装置 |
| US11353950B2 (en) | 2018-02-11 | 2022-06-07 | Tencent Technology (Shenzhen) Company Limited | Information interaction method and device, storage medium and electronic device |
| CN108671539A (zh) * | 2018-05-04 | 2018-10-19 | 网易（杭州）网络有限公司 | 目标对象交互方法及装置、电子设备、存储介质 |
| CN108920069A (zh) * | 2018-06-13 | 2018-11-30 | 网易（杭州）网络有限公司 | 一种触控操作方法、装置、移动终端和存储介质 |
| CN108986227A (zh) * | 2018-06-28 | 2018-12-11 | 北京市商汤科技开发有限公司 | 粒子特效程序文件包的生成及粒子特效生成方法与装置 |
| US11741629B2 (en) | 2019-01-18 | 2023-08-29 | Beijing Sensetime Technology Development Co., Ltd. | Controlling display of model derived from captured image |
| US11538207B2 (en) | 2019-01-18 | 2022-12-27 | Beijing Sensetime Technology Development Co., Ltd. | Image processing method and apparatus, image device, and storage medium |
| US11468612B2 (en) | 2019-01-18 | 2022-10-11 | Beijing Sensetime Technology Development Co., Ltd. | Controlling display of a model based on captured images and determined information |
| WO2020147794A1 (zh) * | 2019-01-18 | 2020-07-23 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111460872A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111460872B (zh) * | 2019-01-18 | 2024-04-16 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN110139170B (zh) * | 2019-04-08 | 2022-03-29 | 顺丰科技有限公司 | 视频贺卡生成方法、装置、系统、设备及存储介质 |
| CN110139170A (zh) * | 2019-04-08 | 2019-08-16 | 顺丰科技有限公司 | 视频贺卡生成方法、装置、系统、设备及存储介质 |
| CN110148406A (zh) * | 2019-04-12 | 2019-08-20 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
| CN110070594A (zh) * | 2019-04-25 | 2019-07-30 | 深圳市金毛创意科技产品有限公司 | 一种演绎时实时渲染输出的三维动画制作方法 |
| CN110070594B (zh) * | 2019-04-25 | 2024-01-02 | 深圳市金毛创意科技产品有限公司 | 一种演绎时实时渲染输出的三维动画制作方法 |
| WO2020221186A1 (zh) * | 2019-04-30 | 2020-11-05 | 广州虎牙信息科技有限公司 | 一种虚拟形象控制方法、装置、电子设备及存储介质 |
| CN110083043A (zh) * | 2019-05-20 | 2019-08-02 | 上海格乐丽雅文化产业有限公司 | 一种3d全息成像方法 |
| US11714879B2 (en) | 2019-09-23 | 2023-08-01 | Tencent Technology (Shenzhen) Company Limited | Method and device for behavior control of virtual image based on text, and medium |
| WO2021057424A1 (zh) * | 2019-09-23 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 基于文本的虚拟形象行为控制方法、设备和介质 |
| CN110688080A (zh) * | 2019-09-29 | 2020-01-14 | 深圳市未来感知科技有限公司 | 三维画面的远程显示方法、装置及计算机可读存储介质 |
| CN111541908A (zh) * | 2020-02-27 | 2020-08-14 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| CN111249748A (zh) * | 2020-03-09 | 2020-06-09 | 深圳心颜科技有限责任公司 | 玩具驱动装置的控制方法、装置、玩具驱动装置及系统 |
| WO2022121044A1 (zh) * | 2020-12-09 | 2022-06-16 | 威创集团股份有限公司 | 一种数据可视化展示方法、系统及存储介质 |
| CN112529991A (zh) * | 2020-12-09 | 2021-03-19 | 威创集团股份有限公司 | 一种数据可视化展示方法、系统及存储介质 |
| CN112529991B (zh) * | 2020-12-09 | 2024-02-06 | 威创集团股份有限公司 | 一种数据可视化展示方法、系统及存储介质 |
| US12029977B2 (en) | 2021-05-28 | 2024-07-09 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for generating special effect in virtual environment, device, and storage medium |
| CN114155605B (zh) * | 2021-12-03 | 2023-09-15 | 北京字跳网络技术有限公司 | 一种控制方法、装置以及计算机存储介质 |
| CN114155605A (zh) * | 2021-12-03 | 2022-03-08 | 北京字跳网络技术有限公司 | 一种控制方法、装置以及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104866101B (zh) | 2018-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104866101B (zh) | 虚拟对象的实时互动控制方法及装置 | |
| CN111970535B (zh) | 虚拟直播方法、装置、系统及存储介质 | |
| US11948260B1 (en) | Streaming mixed-reality environments between multiple devices | |
| JP6276882B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
| CN104883557A (zh) | 实时全息投影方法、装置及系统 | |
| CN113822970B (zh) | 直播控制方法、装置、存储介质与电子设备 | |
| JP6750046B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP6348741B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 | |
| CN102622774B (zh) | 起居室电影创建 | |
| CN110969905A (zh) | 混合现实的远程教学互动、教具互动系统及其互动方法 | |
| CN112198959A (zh) | 虚拟现实交互方法、装置及系统 | |
| US20110216946A1 (en) | Information processing device, information processing method, program, and information storage medium | |
| CN114900678B (zh) | 一种vr端端云结合的虚拟演唱会渲染方法及系统 | |
| WO2020110323A1 (ja) | 動画合成装置、動画合成方法及び記録媒体 | |
| JP6730461B2 (ja) | 情報処理システム及び情報処理装置 | |
| CN105739703A (zh) | 面向无线头戴显示设备的虚拟现实体感交互系统及方法 | |
| WO2020110322A1 (ja) | 動画合成装置、動画合成方法及び記録媒体 | |
| US12092834B2 (en) | Barometric pressure sensor arrays for detecting presence and motion of objects for tracking or triggering a response | |
| US20160179206A1 (en) | Wearable interactive display system | |
| KR20050082559A (ko) | 댄스 학습 시스템, 이를 이용한 인터넷 커뮤니티 서비스시스템과 인터넷 커뮤니티 서비스 방법, 댄스 학습 방법및 상기 방법들을 실행하는 프로그램을 기록한 컴퓨터로읽을 수 있는 기록매체 | |
| EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
| CN106445121A (zh) | 虚拟现实设备与终端的交互方法和装置 | |
| JP2020087429A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
| WO2016174784A1 (ja) | 制御装置および表示装置 | |
| WO2021078182A1 (zh) | 一种播放方法以及播放系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Building 60, 1st Floor, No.7 Jiuxianqiao North Road, Chaoyang District, Beijing, 100015, China 021 Patentee after: Shiyou (Beijing) Technology Co.,Ltd. Country or region after: China Address before: Room 7364, 7th Floor, Building 1, Dongbeiwang Village South, Haidian District, Beijing 100089 Patentee before: 4U (BEIJING) TECHNOLOGY CO.,LTD. Country or region before: China |