CN111880659A - 虚拟人物控制方法及装置、设备、计算机可读存储介质 - Google Patents
虚拟人物控制方法及装置、设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN111880659A CN111880659A CN202010761734.7A CN202010761734A CN111880659A CN 111880659 A CN111880659 A CN 111880659A CN 202010761734 A CN202010761734 A CN 202010761734A CN 111880659 A CN111880659 A CN 111880659A
- Authority
- CN
- China
- Prior art keywords
- real
- display
- interactive
- virtual
- virtual character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000002452 interceptive effect Effects 0.000 claims abstract description 196
- 230000000694 effects Effects 0.000 claims abstract description 123
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 230000003190 augmentative effect Effects 0.000 claims abstract description 14
- 210000001508 eye Anatomy 0.000 claims description 61
- 210000003128 head Anatomy 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004438 eyesight Effects 0.000 claims description 6
- 230000004886 head movement Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 28
- 230000003993 interaction Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 210000004279 orbit Anatomy 0.000 description 9
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
本公开实施例公开了一种虚拟人物控制方法及装置、设备、计算机可读存储介质。该方法包括：分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像；根据所述多帧交互图像，确定所述交互对象的状态信息；根据所述交互对象的状态信息，确定虚拟人物的姿态信息；根据所述展示图像，确定所述目标展示对象的虚拟效果数据；采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像；在显示设备上展示包括所述虚拟效果图像的增强现实效果。通过本公开，能够提高虚拟人物和展示对象的展示灵活性，丰富虚拟人物和展示对象的展示效果。
Description
技术领域
本公开涉及图像处理技术，尤其涉及一种虚拟人物控制方法及装置、设备、计算机可读存储介质。
背景技术
目前，对于一些大型展会，如历史文物展示、汽车展示、工地楼体展示或建筑规划沙盘展示等场景，经常需要展示展品，并对展品等其他物品进行讲解。相关技术中，已出现在播放讲解录音的同时，在屏幕上显示数字人的方案。然而，相关技术中，在展品讲解或其他实际场景中，数字人的展示模式单一，展示方式不够灵活，从而影响了讲解效果；同时，相关技术中，对展品的展示方式也较为单一，不够灵活，展示效果不够丰富。
发明内容
本公开实施例提供一种虚拟人物控制方法及装置、设备、计算机可读存储介质，能够提高虚拟人物和展示对象的展示灵活性，丰富虚拟人物和展示对象的展示效果。
本公开实施例的技术方案是这样实现的：
本公开实施例提供一种虚拟人物控制方法，包括：分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像；根据所述多帧交互图像，确定所述交互对象的状态信息；根据所述交互对象的状态信息，确定虚拟人物的姿态信息；根据所述展示图像，确定所述目标展示对象的虚拟效果数据；采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像；在显示设备上展示包括所述虚拟效果图像的增强现实效果。
本公开实施例提供一种虚拟人物控制装置，包括：采集单元，用于分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像；确定单元，用于根据所述多帧交互图像，确定所述真实场景中的交互对象的状态信息；根据所述交互对象的状态信息，控制虚拟人物的姿态信息；根据所述展示图像，确定所述目标展示对象的虚拟效果数据；渲染单元，用于采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像；显示单元，用于在显示设备上展示包括所述虚拟效果图像的增强现实效果。
本公开实施例提供一种显示设备，所述显示设备包括：显示屏幕、摄像头、存储器和处理器；所述存储器，用于存储可执行计算机程序；所述处理器，用于执行所述存储器中存储的可执行计算机程序时，结合所述摄像头和显示屏幕，实现上述方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器执行时，实现上述方法。
本公开实施例提供的虚拟人物控制方法及装置、设备、计算机可读存储介质，分别采集真实场景中的交互对象的多帧交互图像和真实场景中的目标展示对象的展示图像，根据多帧交互图像，确定交互对象的状态信息，根据交互对象的状态信息，确定虚拟人物的姿态信息，根据展示图像，确定目标展示对象的虚拟效果数据，采用虚拟人物的姿态信息和虚拟效果数据进行渲染得到虚拟效果图像，在显示设备上展示包括虚拟效果图像的增强现实效果。采用上述技术实现方案，由于根据真实场景中的交互对象的状态信息确定虚拟人物的姿态信息，所以，虚拟人物的姿态信息可以随着交互对象的状态信息而改变，可以实现虚拟人物与交互对象之间的互动，从而提高了虚拟人物的展示灵活性，丰富了虚拟人物的展示效果；同时，由于根据目标展示对象的展示图像获得目标展示对象的虚拟效果数据，并根据虚拟效果数据渲染得到了虚拟效果图像，所以，可以展示出与真实场景中的展示对象对应的虚拟效果，从而增加了展示对象的展示方式，提高了展示对象的展示灵活性，丰富了展示对象的展示效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例提供的展示系统的一个可选的架构示意图；
图2是本公开实施例提供的一种应用场景的示意图；
图3是本公开实施例提供的一种显示设备的示意图一；
图4是本公开实施例提供的一种显示设备的示意图二；
图5是本公开实施例提供的虚拟人物控制方法的一个可选的流程示意图；
图6是本公开实施例提供的一种示例性的显示设备的显示界面示意图；
图7是本公开实施例提供的另一种示例性的显示设备的显示界面示意图；
图8是本公开实施例提供的虚拟人物控制方法的另一个可选的流程示意图；
图9是本公开实施例提供的虚拟人物控制方法的又一个可选的流程示意图；
图10是本公开实施例提供的虚拟人物控制方法的再一个可选的流程示意图；
图11是本公开实施例提供的虚拟人物控制方法的另一个可选的流程示意图；
图12A是本公开实施例提供的一种示例性的显示设备展示的虚拟人物的效果示意图；
图12B是本公开实施例提供的另一种示例性的显示设备展示的虚拟人物的效果示意图；
图13是本公开实施例提供的虚拟人物控制方法的又一个可选的流程示意图；
图14A是本公开实施例提供的一种示例性的显示设备的显示界面示意图；
图14B是本公开实施例提供的另一种示例性的显示设备的显示界面示意图；
图15是本公开实施例提供的虚拟人物控制装置的结构示意图；
图16是本公开实施例提供的显示设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，用户可以通过AR设备可以观看到叠加在真实场景中的虚拟对象，比如可以看到叠加在真实的校园操场上的虚拟大树，看到叠加在天空中的虚拟飞翔小鸟，如何使得这些虚拟大树和虚拟飞翔小鸟这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果，为本公开实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。
本公开实施例提供一种虚拟人物控制方法，能够提高虚拟人物和展示对象的展示灵活性，丰富虚拟人物和展示对象的展示效果。本公开实施例提供的虚拟人物控制方法应用于虚拟人物控制设备，该虚拟人物控制设备可以为显示设备。
下面说明本公开实施例提供的显示设备的示例性应用，本公开实施例提供的显示设备可以实施为AR眼镜、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端(以下简称终端)，也可以实施为服务器。下面，将说明显示设备实施为终端时的示例性应用。当显示设备实施为终端时，可以分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像，根据所述多帧交互图像，确定所述交互对象的状态信息，根据所述交互对象的状态信息，确定虚拟人物的姿态信息，根据所述展示图像，确定所述目标展示对象的虚拟效果数据；终端也可以与云端服务器进行交互，通过与云端服务器的交互，获取与所述交互对象的状态信息对应的虚拟人物的姿态信息，获取目标展示对象的虚拟效果数据，并采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像，展示包括所述虚拟效果图像的增强现实效果。下面结合在包括有目标展示对象和交互对象的真实场景中，终端通过与服务器交互的方式获取与所述交互对象的状态信息对应的虚拟人物的姿态信息，获取目标展示对象的虚拟效果数据，并采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像，展示包括所述虚拟效果图像的增强现实效果为例进行展示系统的说明。
参见图1，图1是本公开实施例提供的展示系统的一个可选的架构示意图，为支撑一个虚拟人物控制应用，在展示系统100中，终端400(显示设备，示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。在真实的展示场景中，如文物展示、沙盘展示和工地楼宇展示等，终端400用于分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像，根据所述多帧交互图像，确定所述交互对象的状态信息，根据所述交互对象的状态信息，确定虚拟人物的姿态信息，根据所述展示图像，确定所述目标展示对象的虚拟效果数据，采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像，并在图形界面401(图中示例性示出了图形界面401-1和图形界面401-2)展示包括所述虚拟效果图像的增强现实效果。
示例性的，当终端400实施为手机时，可以启动手机上的预设展示应用，通过预设展示应用调用摄像头分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像，根据所述多帧交互图像，确定所述交互对象的状态信息，根据所述展示图像，确定所述目标展示对象，并向服务器200发起数据请求，服务器200接收到数据请求后，从预存在数据库500中的虚拟人物的姿态数据中确定与交互对象的状态信息对应的虚拟人物的姿态信息，从预存在数据库500中的虚拟效果数据中确定与目标展示对象对应的虚拟效果数据；并将确定出的虚拟人物的姿态信息和虚拟效果数据发回给终端400。终端400得到服务器反馈的虚拟人物的姿态信息和虚拟效果数据之后，利用虚拟人物的姿态数据和虚拟效果数据进行渲染得到虚拟效果图像，并在终端400的图形界面401上展示包括所述虚拟效果图像的增强现实效果。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例中不做限制。
示例性的，下面对本公开实施例可适用的应用场景进行示例性说明。
图2为本公开实施例提供的一种应用场景的示意图，如图2所示，显示设备可以包括可移动的显示屏101，该可移动的显示屏101可以设置在展会的多个展品周围，可移动的显示屏101上配置有后置摄像头，可以用于拍摄展品，可移动的显示屏101上可以显示展品、关于展品的虚拟效果，以及虚拟人物等。展品的虚拟效果可以是展品的介绍信息、展品的内部细节展示信息、展品的轮廓线、展品虚拟模型，与展品的作用相关的物体，以及展品上原本存在的信息或部件中的至少一种。例如，在展品是一个为酒杯的文物的情况下，与该展品对应的虚拟效果可以是与酒杯的作用相关的物体，如，酒杯中的美酒；在展品是一个为鼎的文物的情况下，与该展品对应的虚拟效果可以是展品上原本存在的信息，如，鼎的外壁上原有的文字信息。可移动的显示屏101上还配置有前置摄像头，用于拍摄位于可移动的显示屏101前的交互对象(例如参展者)，进而，可移动的显示屏101能够识别拍摄图像中交互对象发出的指令(例如，交互对象的视线的注视方向、交互对象的移动方向，以及交互对象的手势动作等等)，从而实现对展品的虚拟效果的显示和调整。
在本公开的一些实施例中，显示设备的显示屏幕为可移动屏幕。其中，显示设备的显示屏幕可以如图3所示，在预设滑动轨道上移动，也可以如图4所示，通过固定在可移动的滑动支架上实现滑动。在显示屏幕的移动过程中，屏幕可以显示不同的内容以供用户阅览和/或点击；显示屏幕可以是触摸屏或非触摸屏。
基于上述的展示系统以及应用场景，以下对本公开实施例提供的虚拟人物控制方法进行描述。
图5是本公开实施例提供的虚拟人物控制方法的一个可选的流程示意图，将结合图5示出的步骤进行说明。
S101、分别采集真实场景中的交互对象的多帧交互图像和真实场景中的目标展示对象的展示图像。
在本公开实施例中，显示设备可以采用第一图像采集装置采集真实场景中的交互对象的多帧交互图像，采用第二图像采集装置采集真实场景中的展示对象的展示图像。交互对象可以是真实场景中的物体或真实场景的其他信息等。真实场景中可以包括多个展示对象，目标展示对象可以是多个展示对象中任意一个展示对象，也可以是多个展示对象中属于特定种类或特定属性的一个展示对象，还可以是通过条件匹配等其他方法选择出的一个展示对象，本公开实施例对此不作限定。
在本公开的一些实施例中，第一图像采集装置与第二图像采集装置位于显示设备的同一侧面；或者第一图像采集装置与第二图像采集装置分别位于显示设备的两个相对或相邻的侧面。示例性的，第一图像采集装置可以是显示设备的前置摄像头，第二图像采集装置可以是显示设备的后置摄像头。
在本公开的一些实施例中，交互对象为真实场景中的真实人物；展示对象可以是展会中的展品等，例如，博物馆中的展示的文物，科技馆中展示的高科技产品等。
S102、根据多帧交互图像，确定交互对象的状态信息。
在本公开实施例中，显示设备可以通过对采集的交互对象的多帧交互图像进行图像识别与分析，获得真实场景中的交互对象的状态信息。在本公开的一些实施例中，交互对象的状态信息包括以下至少一种：真实人物的运动状态信息、肢体动作信息和视线信息。
S103、根据交互对象的状态信息，确定虚拟人物的姿态信息。
在本公开实施例中，显示设备根据交互图像确定出交互对象的状态信息之后，可以根据交互对象的状态信息确定出虚拟人物的姿态信息。在本公开的一些实施例中，虚拟人物的姿态信息包括以下至少一种：虚拟人物的肢体动作和视线方向；如此，可以实现虚拟人物与真实人物之间的互动。在本公开实施例中，虚拟人物可以是显示设备上显示的虚拟讲解对象，例如虚拟讲解员，虚拟机器人等。例如，图6是本公开实施例提供的一种示例性的显示设备的显示界面示意图；如图6所示，虚拟人物402可以是显示设备400上显示的虚拟讲解员。
S104、根据展示图像，确定目标展示对象的虚拟效果数据。
在本公开实施例中，显示设备在采集到目标展示对象的展示图像之后，可以根据获得的展示对象确定出目标展示对象的虚拟效果数据。虚拟效果数据可以是目标展示对象的虚拟模型数据，也可以是与展示对象对应的虚拟展示内容数据，本公开实施例对此不作限定。示例性的，虚拟模型可以是虚拟细节模型、虚拟展示对象模型、与展示对象的作用相关的物体模型和/或展品上原本存在的部件模型等。示例性的，虚拟展示内容可以是该展示对象的虚拟介绍内容和/或该展示对象的虚拟轮廓线等(例如，图6所示的位于展示对象403周围的404)。例如，当展示对象为一个“鼎”时，虚拟展示内容可以是“鼎”表面所雕刻的文字放大后的效果，还可以是鼎的口径尺寸，以及鼎壁的厚度等等内容。
S105、采用虚拟人物的姿态信息和虚拟效果数据进行渲染得到虚拟效果图像。
在本公开实施例中，显示设备在获得虚拟人物的姿态信息和目标展示对象的虚拟效果数据之后，可以渲染出包含虚拟人物和目标展示对象的虚拟展示效果的虚拟效果图。例如，当虚拟效果数据是目标展示对象的虚拟模型数据时，显示设备可以渲染出包含虚拟人物和目标展示对象的虚拟模型的虚拟效果图；当虚拟效果数据是与目标展示对象对应的虚拟展示内容数据时，显示设备可以渲染出包含虚拟人物和目标展示对象的虚拟展示内容的虚拟效果图像。
示例性的，图7是本公开实施例提供的另一种示例性的显示设备的显示界面示意图；如图7所示，虚拟效果图像是显示设备400上显示的包括虚拟人物402，以及目标展示对象403的虚拟展示内容404和虚拟模型405的图像，其中，虚拟介绍内容可以是“口径75.6厘米”，虚拟模型可以是展示对象的虚拟内部细节模型。
S106、在显示设备上展示包括虚拟效果图像的增强现实效果。
在本公开实施例中，显示设备的显示屏幕为透明显示屏或者非透明显示屏。显示设备在得到虚拟效果图像之后，可以展示包括虚拟效果图像的AR效果；例如，在显示设备的显示屏幕为透明显示屏，且透过该透明显示屏可以看到目标展示对象的情况下，显示设备可以在显示屏幕上显示虚拟效果图像与目标展示对象相叠加的AR效果；当显示设备为非透明显示屏，或透过该透明显示屏无法看到该目标展示对象的情况下，显示设备可以在显示屏幕上显示虚拟效果图像与该目标展示对象的展示图像相叠加的AR效果。
本公开实施例中，显示设备根据真实场景中的交互对象的状态信息确定虚拟人物的姿态信息，所以，虚拟人物的姿态信息可以随着交互对象的状态信息而改变，可以实现虚拟人物与交互对象之间的互动，从而提高了虚拟人物的展示灵活性，丰富了虚拟人物的展示效果；同时，由于根据目标展示对象的展示图像获得目标展示对象的虚拟效果数据，并根据虚拟效果数据渲染得到了虚拟效果图像，所以，可以展示出与真实场景中的展示对象对应的虚拟效果，从而增加了展示对象的展示方式，提高了展示对象的展示灵活性，丰富了展示对象的展示效果。
图8是本公开实施例提供的虚拟人物控制方法的另一个可选的流程示意图；上述S102可以通过S1021-S1022实现，将结合图8示出的步骤进行说明。
S1021、通过识别多帧交互图像中真实人物的画面内容，确定真实人物的移动方向和移动距离。
在本公开的实施例中，显示设备通过第一图像采集装置采集交互对象的连续的多帧交互图像，从每帧交互图像中识别出真实人物，并通过比对连续帧图像中真实人物所在的位置，确定出真实人物在图像中的移动方向和移动距离，再将获得的真实人物在图像中的移动方向和移动距离，换算为真实场景中的移动方向和移动距离，将换算出的移动方向和移动距离作为真实人物的移动方向和移动距离。
在本公开的另一些实施例中，显示设备还可以预先建立坐标系，通过分析采集的交互对象的多帧交互图像，确定出交互对象在坐标系中的位置坐标，从而根据交互对象在坐标系中的位置坐标，确定出交互对象的移动方向和移动距离。
S1022、将移动方向和移动距离确定为真实人物的运动状态信息。
在本公开的实施例中，显示设备确定出真实人物的移动距离和移动方向之后，可以将真实人物的移动距离和移动方向作为真实人物的运动状态信息。
本公开实施例中，显示设备通过确定真实人物的移动距离和移动方向，将真实人物的移动距离和移动方向作为真实人物的运动状态信息，可以实现根据真实人物的移动距离和移动方向，控制展示的虚拟物的姿态和展示对象的虚拟效果的展示，实现虚拟人物和展示对象与真实人物之间的互动。
图9是本公开实施例提供的虚拟人物控制方法的又一个可选的流程示意图，上述S102还可以通过S1023-S1024实现，将结合图9示出的步骤进行说明。
S1023、在检测到真实场景中存在多个真实人物的情况下，通过识别多帧交互图像中真实人物的画面内容，确定多个真实人物中每个真实人物的移动方向。
在本公开实施例中，显示设备可以通过识别采集的多帧交互图像中的真实人物，检测真实场景中存在的真实人物的数量，并在检测到真实场景中存在多个真实人物的情况下，识别出每帧交互图像中的每个真实人物，并通过比较连续帧交互图像中每个真实人物的位置，获得每个真实人物的移动方向。这里，显示设备还可以以其他方式确定每个真实人物的移动方向，本公开实施例对此不作限定。需要说明的是，本公开所述的“多个”是指两个或两个以上。
S1024、在预设数量的真实人物的移动方向属于同一方向的情况下，将预设数量的真实人物的移动方向确定为真实人物的运动状态信息。
在本公开实施例中，显示设备可以比较每个真实人物的移动方向，在确定出预设数量的真实人物的移动方向属于同一方向的情况下，将该预设数量的真实人物的移动方向作为确定出的移动方向，并将该移动方向确定为真实人物的运动状态信息。预设数量可以是显示设备根据检测出的真实人物的数量和预设分数值获得，例如，预设分数值可以是90％或四分之三等。例如，在显示设备检测出真实场景中存在10个真实人物，且预设分数值为90％的情况下，显示设备可以确定出预设数量为9，从而可以在确定9个真实人物的移动方向属于同一方向的情况下，将该9个真实人物的移动方向作为确定出的移动方向。
本公开实施例中，显示设备在检测到真实场景中存在多个真实人物的情况下，将预设数量的真实人物的移动方向作为真实人物的运动状态信息，可以实现根据人群的移动方向而控制虚拟人物的姿态和展示对象的展示。
图10是本公开实施例提供的虚拟人物控制方法的再一个可选的流程示意图，上述S102可以通过S201-S202实现，将结合图10示出的步骤进行说明。
S201、通过对多帧交互图像中真实人物的人脸识别，确定真实人物的眼部的视线方向。
在本公开实施例中，显示设备可以通过对多帧交互图像中每帧交互图像进行眼部视线识别，通过比较连续帧交互图像中的真实人物的眼部视线，而确定出真实人物的眼部视线方向。例如，当采集的多帧交互图像为同一个真实人物的多帧交互图像时，显示设备可以对多帧交互图像中的每帧交互图像进行眼部视线识别，通过比较连续帧交互图像中的真实人物的眼部视线区域，最终得到该真实人物的眼部视线方向，例如，真实人物的眼部视线方向可以是看向显示设备的左侧方向，或看向显示设备的显示屏幕上的左下方等等，本公开实施例对此不作限定。
S202、将视线方向确定为真实人物的视线信息。
在本公开实施例中，显示设备在确定出真实人物的眼部的视线方向之后，可以将真实人物的眼部的视线方向确定为真实人物的视线信息。
本公开实施例中，显示设备确定出真实人物的视线方向，将真实人物的视线方向确定为真实人物的状态信息，可以实现根据真实人物的视线方向控制虚拟人物的姿态和展示对象的虚拟效果的展示，从而实现虚拟人物和展示对象与真实人物之间的互动。
在本公开的一些实施例中，上述S201可以通过S2011-S2014实现，具体如下：
S2011、在检测到真实场景中存在多个真实人物的情况下，对多帧交互图像中的每帧交互图像进行人脸识别，识别出关键人物。
在本公开实施例中，显示设备可以通过识别采集的多帧交互图像中的真实人物来检测真实场景中存在的真实人物的数量，并在检测到真实场景中存在多个真实人物的情况下，通过人脸识别，识别出多个真实人物中的关键人物。
在本公开的一些实施例中，关键人物可以是VIP客户、导游和老师等，本公开实施例对此不作限定。例如，在关键人物是VIP客户的情况下，显示设备中可以预先存储多个VIP客户的人脸图像，显示设备可以比较每个VIP客户的人脸图像与从多帧交互图像中识别出的每个真实人物的人脸图像，确定多个真实人物中是否存在VIP客户；这里，本公开对确定关键人物为VIP客户的方法不作限定。例如，在关键人物是老师的情况下，显示设备可以分析从多帧交互图像中识别出的每个真实人物的位置关系和/或视线方向，当其中一个真实人物位于多个真实人物中间，和/或多个真实人物的视线注视该真实人物时，可以确定该真实人物为老师；这里，本公开对确定关键人物为老师的方法不作限定。例如，在关键人物是导游的情况下，由于导游通常会携带话筒等设备，所以，显示设备可以通过识别真实人物是否携带话筒，来确定真实人物是否为导游，以从多个真实人物中识别出导游；这里，本公开对确定关键人物为导游的方法也不作限定。
S2012、比对多帧交互图像中连续帧交互图像中的关键人物的眼部图像区域，获得比对结果。
在本公开实施例中，显示设备在确定出关键人物之后，可以比对多帧交互图像中的连续帧交互图像中关键人物的眼部图像区域，获得至少一个比对结果；例如，该比对结果可以是关键人物的眼珠在眼眶中的位置变化过程和/或真实人物的眼睛在交互图像中的位置变化过程等等，本公开实施例对此不作限定。需要说明的是，在比对结果可以是真实人物的眼珠在眼眶中的位置变化过程和/或真实人物的眼睛在交互图像中的位置变化过程的情况下，显示设备可以先通过比对多帧交互图像中连续帧交互图像中的关键人物的头部区域，以确定关键人物的头部的位置是否发生变化，并在关键人物的头部的位置未发生变化的情况下，比对多帧交互图像中连续帧交互图像中的关键人物的眼部图像区域，获得关键人物的眼珠在眼眶中的位置变化过程和/或真实人物的眼睛在交互图像中的位置变化过程，以避免用户的头部有轻微转动或用户的视线有轻微改变的情况下，虚拟人物的姿态的不必要的变化。
S2013、根据比对结果，确定关键人物的眼部的视线方向。
在本公开实施例中，显示设备在获得比对结果之后，可以根据比对结果确定关键人物的眼部的视线方向。在比对结果是关键人物的眼珠在眼眶中的位置变化过程的情况下，显示设备可以根据关键人物的眼珠在眼眶中的位置变化过程，确定关键人物的眼部的视线方向；例如，在关键人物的眼珠在眼眶中的初始位置为眼眶中间，且最终位置在眼眶左侧的情况下，可以确定关键人物的视线方向为左侧方向。
S2014、将关键人物的眼部的视线方向确定为真实人物的眼部的视线方向。
在本公开实施例中，显示设备在确定出关键人物的眼部的视线方向后，可以将关键人物的眼部的视线方向确定为多个真实人物的视线方向。
本公开实施例中，显示设备在检测到真实场景中存在多个真实人物时，将多个真实人物中的关键人物的视线方向确定为这多个真实人物的视线方向，并进行相应虚拟人物的姿态和展示对象的虚拟效果的展示，可以使虚拟人物的互动效果和展示对象的虚拟效果的展示更有针对性，从而可以提高虚拟人物的互动效果和展示对象的虚拟效果的展示效果。
在本公开的一些实施例中，上述S201可以通过S2001-S2003实现，具体如下：
S2001、在检测到真实场景中存在多个真实人物的情况下，对多帧交互图像中的每帧交互图像进行人脸识别，确定出每个真实人物。
在本公开实施例中，显示设备可以通过识别采集的多帧交互图像中的真实人物，检测真实场景中存在的真实人物的数量，并在检测到真实场景中存在多个真实人物的情况下，识别出每帧交互图像中的每个真实人物，从而确定出多帧图像中的每个真实人物。
S2002、对多帧交互图像中连续帧交互图像中的每个真实人物的眼部图像区域分别进行比较，获得每个真实人物的眼部的视线方向。
在本公开实施例中，对于每个真实人物，显示设备可以比较多帧交互图像中连续帧交互图像中该真实人物的眼部图像区域，根据比较结果，获得该真实人物的眼部的视线方向；例如，该比对结果可以是该真实人物的眼珠在眼眶中的位置变化过程和/或该真实人物的眼睛在交互图像中的位置变化过程等等，从而获得每个真实人物的眼部的视线方向。
S2003、在预设数量的真实人物的眼部的视线方向属于同一方向的情况下，确定预设数量的真实人物的眼部的视线方向为真实人物的眼部的视线方向。
在本公开实施例中，显示设备在获得每个真实人物的眼部的视线方向之后，可以比较每个真实人物的眼部的视线方向，并在预设数量的真实人物的眼部的视线方向属于同一方向的情况下，将预设数量的真实人物的眼部的视线方向作为确定出的真实人物的眼部的视线方向。预设数量可以是显示设备根据检测出的真实人物的数量和预设分数值(可以与上述的预设分数值相同，也可以不同)获得，例如，预设分数值可以是80％或五分之三等。例如，在显示设备检测出真实场景中存在10个真实人物，且预设分数值为80％的情况下，显示设备可以确定出预设数量为8，从而可以在确定8个真实人物的眼部的视线属于同一方向的情况下，将该8个真实人物的视线作为确定出的视线方向。
在本公开的一些实施例中，显示设备确定出的真实人物的眼部的视线方向可以包括：显示设备的左侧、显示设备的右侧、显示设备的显示屏幕的左上方，显示设备的显示屏幕的左下方、显示设备的显示屏幕的右上方、显示设备的显示屏幕的右下方等等，本公开实施例对此不作限定。
图11是本公开实施例提供的虚拟人物控制方法的另一个可选的流程示意图；交互对象的状态信息包括真实人物的运动状态信息，虚拟人物的姿态信息包括虚拟人物的肢体动作和视线方向，虚拟人物的肢体动作包括虚拟人物的头部动作；上述图8中的S103可以通过S301-S302实现，将结合图11示出的步骤进行说明。
S301、在确定真实人物的移动距离小于或等于预设距离的情况下，确定将虚拟人物的头部转动目标角度，以使虚拟人物展示对应的头部动作。
在本公开实施例中，显示设备在获得真实人物的移动距离后，可以先判断真实人物的移动距离是否小于或等于预设距离，并在确定真实人物的移动距离小于或等于预设距离的情况下，确定将虚拟人物的头部转动目标角度，以通过使虚拟人物的头部转动目标角度来使虚拟人物展示相应的头部动作。
S302、确定将虚拟人物的视线方向调整为目标视线方向；目标角度和目标视线方向根据虚拟人物的当前身体朝向、真实人物的移动距离和移动方向，以及真实人物的当前位置确定。
在本公开实施例中，显示设备在确定真实人物的移动距离小于或等于预设距离的情况下，可以根据获得的真实人物的移动距离确定真实人物的当前位置，并获取虚拟人物当前的身体朝向，根据获得的虚拟人物的身体朝向、确定出的真实人物的当前位置、以及真实人物的移动距离和移动方向，确定虚拟人物的头部需要转动的角度，并将确定出的角度作为目标角度；以及，根据获得的虚拟人物的身体朝向、确定出的真实人物的当前位置、以及真实人物的移动方向，确定出虚拟人物的眼部需要注视的方向，并将确定出的方向作为目标视线方向。例如，在真实人物向显示设备的左侧移动了1米并停止的情况下，显示设备可以先确定出真实人物的移动方向为左侧，且移动距离为1米，之后，判断1米是否小于或等于预设距离，并在1米小于或等于预设距离，确定出虚拟人物的当前身体朝向为显示设备的正前方，以及真实人物当前位于显示设备的左前方35°的情况下，确定虚拟人物的头部需要向左旋转35°，并确定虚拟人物的眼部的视线方向为显示设备的左前方35°方向，以使虚拟人物的视线注视该真实人物。在本公开实施例中，上述步骤S301和S302可以同时执行，以实现随着虚拟人物的头部转动，虚拟人物的视线自然地追随真实人物的效果。
示例性的，图12A是本公开实施例提供的一种示例性的显示设备展示的虚拟人物的效果示意图；图12B是本公开实施例提供的另一种示例性的显示设备展示的虚拟人物的效果示意图。在显示设备确定出真实人物向左侧的移动距离小于1米，且真实人物当前位于显示设备的左前方35°的情况下，显示设备可以控制图12A中的虚拟人物的头部向左旋转35°，并确定虚拟人物的眼部的视线方向为显示设备的左前方35°方向，从而使得虚拟人物的可以展示出如图12B所示的姿态，实现虚拟人物与真实人物之间的互动。
在本公开的一些实施例中，在设置的预设距离较大的情况下，可以使该预设距离与真实人物距离屏幕较远的情况相对应；在设置的预设距离较小的情况下，可以使该预设距离与真实人物距离屏幕较近的情况相对应；预设距离的具体数值可以根据实际需要自行设定，本公开实施例对此不作限定。
本公开实施例中，显示设备可以根据真实场景中的真实人物的移动方向和移动距离，控制虚拟人物的头部动作和眼部的视线方向，从而可以实现显示设备上展示的虚拟人物与真实场景中的真实人物之间的互动。
在本公开的一些实施例中，交互对象的状态信息包括真实人物的肢体动作信息，虚拟人物的姿态信息包括虚拟人物的肢体动作；上述S103可以通过S401实现，具体如下：
S401、在检测到真实人物的肢体动作信息表征真实人物做出预设动作的情况下，确定虚拟人物展示与预设动作相对应的肢体动作。
在本公开实施例中，显示设备可以通过分析采集到的多帧交互图像，获得真实人物的肢体动作，并判断真实人物的肢体动作是否为预设动作，并在确定真实人物的肢体动作为某一预设动作的情况下，根据真实人物的肢体动作与虚拟人物的肢体动作之间的预设对应关系，确定出该预设动作所对应的虚拟人物的肢体动作，并将确定出的该虚拟人物的肢体动作作为虚拟人物要展示的动作。例如，当显示设备确定真实人物的肢体动作为从站立变为下蹲时，显示设备可以确定出与下蹲动作对应的虚拟人物的肢体动作是低头，此时，显示设备可以将低头确定为虚拟人物要展示的肢体动作，以控制虚拟人物进行低头讲解。
本公开实施例中，显示设备可以根据真实场景中的真实人物的肢体动作，控制虚拟人物的肢体动作，从而可以实现显示设备上展示的虚拟人物与真实场景中的真实人物之间的互动。
图13是本公开实施例提供的虚拟人物控制方法的又一个可选的流程示意图；交互对象的状态信息包括真实人物的视线信息，且虚拟人物的姿态信息包括虚拟人物的肢体动作；上述S103可以通过S501-S502实现，将以图10中的S103可以通过S501-S502实现为例，结合图13示出的步骤进行说明。
S501、根据视线方向，确定真实人物在显示设备上的注视位置。
在本公开实施例中，显示设备在确定出真实人物的视线方向后，可以确定真实人物的视线方向是否与显示设备的显示屏幕所在的位置对应，并在真实人物的视线方向与显示设备的显示屏幕所在的位置对应的情况下，确定真实人物在显示屏幕上的注视位置，例如，确定真实人物在注视显示屏幕的哪个区域等。
S502、确定虚拟人物展示与注视位置相对应的肢体动作。
在本公开实施例中，显示设备在确定出真实人物的注视位置后，可以根据透过该注视位置所能看到的内容或该注视位置所展示的内容，控制虚拟人物展示与注视位置相对应的肢体动作，例如，在显示设备确定出真实人物注视显示屏幕的左下方，且显示屏幕的左下方显示的是“鼎”的一个鼎脚的情况下，显示设备可以确定虚拟人物的肢体动作为指向该鼎脚所在的位置，以控制虚拟人物的手指指向该鼎脚所在的位置，对该鼎脚进行讲解。又例如，在显示设备确定出真实人物注视显示屏幕中的区域1，且透过显示屏幕的区域1看到的是“鼎”的一个鼎脚的情况下，显示设备可以确定虚拟人物的肢体动作为指向该鼎脚所在的位置，以控制虚拟人物的手指指向该鼎脚所在的位置，对该鼎脚进行讲解。
示例性的，图14A是本公开实施例提供的一种示例性的显示设备的显示界面示意图；图14B是本公开实施例提供的另一种示例性的显示设备的显示界面示意图。在显示设备确定真实人物的注视位置显示的是“鼎”的一个鼎耳的情况下，显示设备可以确定虚拟人物的肢体动作为手指指向该鼎耳所在的位置，并对该鼎耳进行讲解，从而显示设备可以控制显示界面上虚拟人物的姿态从图14A中的姿态，改变为图14B中的姿态。
本公开实施例中，显示设备根据真实人物在显示设备上的注视位置，确定虚拟人物所展示的肢体动作，可以实现显示设备上展示的虚拟人物与真实场景中的真实人物之间的互动。
在本公开的一些实施例中，所述方法还包括S107，具体如下：
S107、根据交互对象的状态信息，控制显示设备的移动。
本公开实施例中，显示设备可以根据交互对象的运动状态信息、视线信息和/或肢体信息，控制显示设备的移动。
本公开实施例中，S107可以与上述步骤S103-S106同时执行。
例如，在显示设备检测到真实人物向左侧移动的情况下，显示设备可以控制显示屏幕向左侧移动；在显示设备检测到真实人物的视线方向聚焦到一个展示对象的情况下，显示设备可以控制显示屏幕移动至该展示对象所在的位置处；在显示设备检测到真实人物指向一个展示对象的情况下，显示设备可以控制显示屏幕移动至该展示对象所在的位置处，等等。
在本公开的一些实施例中，真实场景中包括至少一个展示对象；交互对象的状态信息包括真实人物的视线信息，虚拟人物的姿态信息包括虚拟人物的肢体动作；上述S107可以通过S1071实现，且在S1071之后，还可以包括S108，具体如下：
S1071、在视线信息为至少一个展示对象中任意的一个展示对象的位置方向的情况下，控制显示设备的显示屏幕移动至展示对象的位置处。
在本公开实施例中，显示设备在获得真实人物的视线信息之后，可以根据该视线信息确定真实人物所注视的位置，在确定真实人物所注视的位置为真实场景中的多个展示对象中的任意一个展示对象的情况下，将该展示对象所在的位置确定为目标位置，并控制显示设备移动至该目标位置处。在本公开实施例中，真实人物的视线信息可以为真实人物的视线方向。
S108、控制虚拟人物展示与展示对象对应的肢体动作。
在本公开实施例中，显示设备在确定到达该展示对象所在的位置处后，可以控制虚拟人物展示与该展示对象对应的肢体动作。虚拟人物展示的肢体动作可以是预先设置的且与该展示对象具有预设对应关系的肢体动作。例如，当展示对象为一个可穿戴的物品时，虚拟人物展示的肢体动作可以为将该展示对象(该展示对象的虚拟模型)穿戴上，并进行该物品的讲解。
本公开实施例中，显示设备根据真实场景中的真实人物的视线信息控制显示设备的显示屏幕的移动和虚拟人物展示相应的肢体动作，可以实现显示设备上展示的虚拟人物与真实场景中的真实人物之间的互动。
本公开实施例还提供一种显示设备，图15是本公开实施例提供的虚拟人物控制装置的结构示意图，如图15所示，虚拟人物控制装置1包括：采集单元11，用于分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像；确定单元12，用于根据所述多帧交互图像，确定所述真实场景中的交互对象的状态信息；根据所述交互对象的状态信息，控制虚拟人物的姿态信息；根据所述展示图像，确定所述目标展示对象的虚拟效果数据；渲染单元13，用于采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像；显示单元14，用于在显示设备上展示包括所述虚拟效果图像的增强现实效果。
在本公开的一些实施例中，所述交互对象包括真实人物；所述交互对象的状态信息包括以下至少一种：所述真实人物的运动状态信息、肢体动作信息和视线信息。
在本公开的一些实施例中，所述虚拟人物的姿态信息包括以下至少一种：所述虚拟人物的肢体动作和视线方向。
在本公开的一些实施例中，所述交互对象的状态信息包括所述真实人物的运动状态信息；确定单元12，还用于通过识别所述多帧交互图像中真实人物的画面内容，确定所述真实人物的移动方向和移动距离；将所述移动方向和移动距离确定为所述真实人物的运动状态信息。
在本公开的一些实施例中，所述交互对象的状态信息包括所述真实人物的运动状态信息；确定单元12，还用于在检测到所述真实场景中存在多个真实人物的情况下，通过识别所述多帧交互图像中真实人物的画面内容，确定所述多个真实人物中每个真实人物的移动方向；在预设数量的真实人物的移动方向属于同一方向的情况下，将所述预设数量的真实人物的移动方向确定为所述真实人物的运动状态信息。
在本公开的一些实施例中，所述交互对象的状态信息包括所述真实人物的视线信息；确定单元12，还用于通过对所述多帧交互图像中真实人物的人脸识别，确定所述真实人物的眼部的视线方向；将所述视线方向确定为所述真实人物的视线信息。
在本公开的一些实施例中，确定单元12，还用于在检测到所述真实场景中存在多个真实人物的情况下，对所述多帧交互图像中的每帧交互图像进行人脸识别，识别出关键人物；比对所述多帧交互图像中连续帧交互图像中的所述关键人物的眼部图像区域，获得比对结果；根据所述比对结果，确定所述关键人物的眼部的视线方向；将所述关键人物的眼部的视线方向确定为所述真实人物的眼部的视线方向。
在本公开的一些实施例中，确定单元12，还用于在检测到所述真实场景中存在多个真实人物的情况下，对所述多帧交互图像中的每帧交互图像进行人脸识别，确定出每个真实人物；对所述多帧交互图像中连续帧交互图像中的每个真实人物的眼部图像区域分别进行比较，获得每个真实人物的眼部的视线方向；在预设数量的真实人物的眼部的视线方向属于同一方向的情况下，确定所述预设数量的真实人物的眼部的视线方向为所述真实人物的眼部的视线方向。
在本公开的一些实施例中，所述交互对象的状态信息包括所述真实人物的运动状态信息，所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作和视线方向，所述虚拟人物的肢体动作包括所述虚拟人物的头部动作；确定单元12，还用于在确定所述真实人物的移动距离小于或等于预设距离的情况下，确定将所述虚拟人物的头部转动目标角度，以使所述虚拟人物展示对应的头部动作；确定将所述虚拟人物的视线方向调整为目标视线方向；所述目标角度和所述目标视线方向根据所述虚拟人物的当前身体朝向、所述真实人物的移动距离和移动方向，以及所述真实人物的当前位置确定。
在本公开的一些实施例中，所述交互对象的状态信息包括所述真实人物的肢体动作信息，所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作；确定单元12，还用于在检测到所述真实人物的肢体动作信息表征所述真实人物做出预设动作的情况下，确定所述虚拟人物展示与所述预设动作相对应的肢体动作。
在本公开的一些实施例中，所述交互对象的状态信息包括所述真实人物的视线信息，且所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作；确定单元12，还用于根据所述视线方向，确定所述真实人物在所述显示设备上的注视位置；确定所述虚拟人物展示与所述注视位置相对应的肢体动作。
在本公开的一些实施例中，上述装置还包括控制单元15(图中未示出)，用于根据所述交互对象的状态信息，控制所述显示设备的移动。
在本公开的一些实施例中，所述真实场景中包括至少一个展示对象；所述交互对象的状态信息包括所述真实人物的视线信息，所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作；控制单元15，还用于在所述视线信息为所述至少一个展示对象中任意的一个展示对象的位置方向的情况下，控制所述显示设备的显示屏幕移动至所述展示对象的位置处；控制所述虚拟人物展示与所述展示对象对应的肢体动作。
在本公开的一些实施例中，采集单元11，还用于采用所述显示设备的第一图像采集装置，采集真实场景中的交互对象的所述多帧交互图像；采用所述显示设备的第二图像采集装置，采集所述真实场景中的展示对象的所述展示图像。
在本公开的一些实施例中，所述第一图像采集装置与所述第二图像采集装置位于所述显示设备的同一侧面；或者所述第一图像采集装置与所述第二图像采集装置分别位于所述显示设备的两个相对或相邻的侧面。
在本公开的一些实施例中，所述显示设备的显示屏幕在预设滑动轨道上移动。
在本公开的一些实施例中，所述显示设备的显示屏幕为透明显示屏或者非透明显示屏。
本公开实施例还提供一种显示设备，图16是本公开实施例提供的显示设备的结构示意图，如图16所示，显示设备2包括：显示屏21、摄像头22、存储器23和处理器24，其中，显示屏21、摄像头22、存储器23和处理器24通过通信总线25连接；存储器23，用于存储可执行计算机程序；处理器24，用于执行存储器23中存储的可执行计算机程序时，结合显示屏21和摄像头22，实现本公开实施例提供的方法，例如，本公开实施例提供的虚拟人物控制方法。
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器24执行时，实现本公开实施例提供的方法，例如，本公开实施例提供的虚拟人物控制方法。
在本公开的一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在本公开的一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，采用本技术实现方案，由于根据真实场景中的交互对象的状态信息确定虚拟人物的姿态信息，所以，虚拟人物的姿态信息可以随着交互对象的状态信息的变化而改变，可以实现虚拟人物与交互对象之间的互动，从而提高虚拟人物的展示灵活性，丰富了虚拟人物的展示效果；同时，由于根据目标展示对象的展示图像获得目标展示对象的虚拟效果数据，并根据虚拟效果数据渲染得到了虚拟效果图像，所以，可以展示出与真实场景中的展示对象对应的虚拟效果，从而增加了展示对象的展示方式，提高了展示对象的展示灵活性，丰富了展示对象的展示效果。
以上所述，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。
Claims (20)
1.一种虚拟人物控制方法，其特征在于，包括：
分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像；
根据所述多帧交互图像，确定所述交互对象的状态信息；
根据所述交互对象的状态信息，确定虚拟人物的姿态信息；
根据所述展示图像，确定所述目标展示对象的虚拟效果数据；
采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像；
在显示设备上展示包括所述虚拟效果图像的增强现实效果。
2.根据权利要求1所述的方法，其特征在于，所述交互对象包括真实人物；所述交互对象的状态信息包括以下至少一种：所述真实人物的运动状态信息、肢体动作信息和视线信息。
3.根据权利要求2所述的方法，其特征在于，所述虚拟人物的姿态信息包括以下至少一种：所述虚拟人物的肢体动作和视线方向。
4.根据权利要求2所述的方法，其特征在于，所述交互对象的状态信息包括所述真实人物的运动状态信息，所述根据所述多帧交互图像，确定所述真实场景中的交互对象的状态信息，包括：
通过识别所述多帧交互图像中真实人物的画面内容，确定所述真实人物的移动方向和移动距离；
将所述移动方向和移动距离确定为所述真实人物的运动状态信息。
5.根据权利要求2所述的方法，其特征在于，所述交互对象的状态信息包括所述真实人物的运动状态信息，所述根据所述多帧交互图像，确定所述真实场景中的交互对象的状态信息，包括：
在检测到所述真实场景中存在多个真实人物的情况下，通过识别所述多帧交互图像中真实人物的画面内容，确定所述多个真实人物中每个真实人物的移动方向；
在预设数量的真实人物的移动方向属于同一方向的情况下，将所述预设数量的真实人物的移动方向确定为所述真实人物的运动状态信息。
6.根据权利要求2所述的方法，其特征在于，所述交互对象的状态信息包括所述真实人物的视线信息，所述根据所述多帧交互图像，确定所述真实场景中的交互对象的状态信息，包括：
通过对所述多帧交互图像中真实人物的人脸识别，确定所述真实人物的眼部的视线方向；
将所述视线方向确定为所述真实人物的视线信息。
7.根据权利要求6所述的方法，其特征在于，所述通过对所述多帧交互图像中真实人物的人脸识别，确定所述真实人物的眼部的视线方向，包括：
在检测到所述真实场景中存在多个真实人物的情况下，对所述多帧交互图像中的每帧交互图像进行人脸识别，识别出关键人物；
比对所述多帧交互图像中连续帧交互图像中的所述关键人物的眼部图像区域，获得比对结果；
根据所述比对结果，确定所述关键人物的眼部的视线方向；
将所述关键人物的眼部的视线方向确定为所述真实人物的眼部的视线方向。
8.根据权利要求6所述的方法，其特征在于，所述通过对所述多帧交互图像中真实人物的人脸识别，确定所述真实人物的眼部的视线方向，包括：
在检测到所述真实场景中存在多个真实人物的情况下，对所述多帧交互图像中的每帧交互图像进行人脸识别，确定出每个真实人物；
对所述多帧交互图像中连续帧交互图像中的每个真实人物的眼部图像区域分别进行比较，获得每个真实人物的眼部的视线方向；
在预设数量的真实人物的眼部的视线方向属于同一方向的情况下，确定所述预设数量的真实人物的眼部的视线方向为所述真实人物的眼部的视线方向。
9.根据权利要求4所述的方法，其特征在于，所述交互对象的状态信息包括所述真实人物的运动状态信息，所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作和视线方向，所述虚拟人物的肢体动作包括所述虚拟人物的头部动作；所述根据所述交互对象的状态信息，确定虚拟人物的姿态信息，包括：
在确定所述真实人物的移动距离小于或等于预设距离的情况下，确定将所述虚拟人物的头部转动目标角度，以使所述虚拟人物展示对应的头部动作；
确定将所述虚拟人物的视线方向调整为目标视线方向；所述目标角度和所述目标视线方向根据所述虚拟人物的当前身体朝向、所述真实人物的移动距离和移动方向，以及所述真实人物的当前位置确定。
10.根据权利要求2所述的方法，其特征在于，所述交互对象的状态信息包括所述真实人物的肢体动作信息，所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作；所述根据所述交互对象的状态信息，确定虚拟人物的姿态信息，包括：
在检测到所述真实人物的肢体动作信息表征所述真实人物做出预设动作的情况下，确定所述虚拟人物展示与所述预设动作相对应的肢体动作。
11.根据权利要求6-8任一项所述的方法，其特征在于，所述交互对象的状态信息包括所述真实人物的视线信息，且所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作；所述根据所述交互对象的状态信息，确定虚拟人物的姿态信息，包括：
根据所述视线方向，确定所述真实人物在所述显示设备上的注视位置；
确定所述虚拟人物展示与所述注视位置相对应的肢体动作。
12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述交互对象的状态信息，控制所述显示设备的移动。
13.根据权利要求12所述的方法，其特征在于，所述真实场景中包括至少一个展示对象；所述交互对象的状态信息包括所述真实人物的视线信息，所述虚拟人物的姿态信息包括所述虚拟人物的肢体动作；所述根据所述交互对象的状态信息，控制所述显示设备的移动，包括：
在所述视线信息为所述至少一个展示对象中任意的一个展示对象的位置方向的情况下，控制所述显示设备的显示屏幕移动至所述展示对象的位置处；
所述方法还包括：
控制所述虚拟人物展示与所述展示对象对应的肢体动作。
14.根据权利要求1-13任一项所述的方法，其特征在于，所述分别采集真实场景中的交互对象的多帧交互图像和真实场景中的目标展示对象的展示图像，包括：
采用所述显示设备的第一图像采集装置，采集真实场景中的交互对象的所述多帧交互图像；
采用所述显示设备的第二图像采集装置，采集所述真实场景中的展示对象的所述展示图像。
15.根据权利要求14所述的方法，其特征在于，所述第一图像采集装置与所述第二图像采集装置位于所述显示设备的同一侧面；或者所述第一图像采集装置与所述第二图像采集装置分别位于所述显示设备的两个相对或相邻的侧面。
16.根据权利要求1-15任一项所述的方法，其特征在于，所述显示设备的显示屏幕在预设滑动轨道上移动。
17.根据权利要求1-16任一项所述的方法，其特征在于，所述显示设备的显示屏幕为透明显示屏或者非透明显示屏。
18.一种虚拟人物控制装置，其特征在于，包括：
采集单元，用于分别采集真实场景中的交互对象的多帧交互图像和所述真实场景中的目标展示对象的展示图像；
确定单元，用于根据所述多帧交互图像，确定所述真实场景中的交互对象的状态信息；根据所述交互对象的状态信息，控制虚拟人物的姿态信息；根据所述展示图像，确定所述目标展示对象的虚拟效果数据；
渲染单元，用于采用所述虚拟人物的姿态信息和所述虚拟效果数据进行渲染得到虚拟效果图像；
显示单元，用于在显示设备上展示包括所述虚拟效果图像的增强现实效果。
19.一种显示设备，其特征在于，所述显示设备包括：显示屏幕、摄像头、存储器和处理器；所述存储器，用于存储可执行计算机程序；所述处理器，用于执行所述存储器中存储的可执行计算机程序时，结合所述摄像头和显示屏幕，实现权利要求1至17任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于引起处理器执行时，实现权利要求1至17任一项所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761734.7A CN111880659A (zh) | 2020-07-31 | 2020-07-31 | 虚拟人物控制方法及装置、设备、计算机可读存储介质 |
| JP2021570511A JP2022545851A (ja) | 2020-07-31 | 2021-05-24 | 仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体 |
| PCT/CN2021/095571 WO2022022028A1 (zh) | 2020-07-31 | 2021-05-24 | 虚拟对象控制方法及装置、设备、计算机可读存储介质 |
| KR1020227027031A KR20220119494A (ko) | 2020-07-31 | 2021-05-24 | 가상 객체 제어 방법 및 장치, 기기, 컴퓨터 판독 가능 저장 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761734.7A CN111880659A (zh) | 2020-07-31 | 2020-07-31 | 虚拟人物控制方法及装置、设备、计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111880659A true CN111880659A (zh) | 2020-11-03 |
Family
ID=73204365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010761734.7A Withdrawn CN111880659A (zh) | 2020-07-31 | 2020-07-31 | 虚拟人物控制方法及装置、设备、计算机可读存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP2022545851A (zh) |
| KR (1) | KR20220119494A (zh) |
| CN (1) | CN111880659A (zh) |
| WO (1) | WO2022022028A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112379812A (zh) * | 2021-01-07 | 2021-02-19 | 深圳追一科技有限公司 | 仿真3d数字人交互方法、装置、电子设备及存储介质 |
| CN112669422A (zh) * | 2021-01-07 | 2021-04-16 | 深圳追一科技有限公司 | 仿真3d数字人生成方法、装置、电子设备及存储介质 |
| CN113721804A (zh) * | 2021-08-20 | 2021-11-30 | 北京市商汤科技开发有限公司 | 一种显示方法、装置、电子设备及计算机可读存储介质 |
| CN113900526A (zh) * | 2021-10-29 | 2022-01-07 | 深圳Tcl数字技术有限公司 | 三维人体形象展示控制方法、装置、存储介质及显示设备 |
| WO2022022028A1 (zh) * | 2020-07-31 | 2022-02-03 | 北京市商汤科技开发有限公司 | 虚拟对象控制方法及装置、设备、计算机可读存储介质 |
| CN114693890A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种增强现实交互方法及电子设备 |
| CN115390678A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| TWI793837B (zh) * | 2020-11-19 | 2023-02-21 | 大陸商騰訊科技（深圳）有限公司 | 虛擬物件的控制方法、裝置、設備、儲存媒體及電腦程式產品 |
| CN117456611A (zh) * | 2023-12-22 | 2024-01-26 | 拓世科技集团有限公司 | 一种基于人工智能的虚拟人物训练方法及系统 |
| CN117727303A (zh) * | 2024-02-08 | 2024-03-19 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116704843B (zh) * | 2023-06-07 | 2024-02-23 | 广西茜英信息技术有限公司 | 基于通信工程勘察设计的虚拟仿真实训平台 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140002493A1 (en) * | 2012-06-29 | 2014-01-02 | Disney Enterprises, Inc., A Delaware Corporation | Augmented reality simulation continuum |
| CN103544636A (zh) * | 2013-11-08 | 2014-01-29 | 梁涛 | 基于虚拟商场的互动方法及设备 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN111273772A (zh) * | 2020-01-17 | 2020-06-12 | 江苏艾佳家居用品有限公司 | 基于slam测绘方法的增强现实交互方法、装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9911231B2 (en) * | 2013-10-08 | 2018-03-06 | Samsung Electronics Co., Ltd. | Method and computing device for providing augmented reality |
| CN107992188B (zh) * | 2016-10-26 | 2021-12-07 | 宏达国际电子股份有限公司 | 虚拟现实交互方法、装置与系统 |
| CN111367402B (zh) * | 2018-12-26 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 任务触发方法、交互设备及计算机设备 |
| CN111880659A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 虚拟人物控制方法及装置、设备、计算机可读存储介质 |
-
2020
- 2020-07-31 CN CN202010761734.7A patent/CN111880659A/zh not_active Withdrawn
-
2021
- 2021-05-24 JP JP2021570511A patent/JP2022545851A/ja not_active Withdrawn
- 2021-05-24 KR KR1020227027031A patent/KR20220119494A/ko not_active Application Discontinuation
- 2021-05-24 WO PCT/CN2021/095571 patent/WO2022022028A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140002493A1 (en) * | 2012-06-29 | 2014-01-02 | Disney Enterprises, Inc., A Delaware Corporation | Augmented reality simulation continuum |
| CN103544636A (zh) * | 2013-11-08 | 2014-01-29 | 梁涛 | 基于虚拟商场的互动方法及设备 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN111273772A (zh) * | 2020-01-17 | 2020-06-12 | 江苏艾佳家居用品有限公司 | 基于slam测绘方法的增强现实交互方法、装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022022028A1 (zh) * | 2020-07-31 | 2022-02-03 | 北京市商汤科技开发有限公司 | 虚拟对象控制方法及装置、设备、计算机可读存储介质 |
| TWI793837B (zh) * | 2020-11-19 | 2023-02-21 | 大陸商騰訊科技（深圳）有限公司 | 虛擬物件的控制方法、裝置、設備、儲存媒體及電腦程式產品 |
| WO2022143322A1 (zh) * | 2020-12-31 | 2022-07-07 | 华为技术有限公司 | 一种增强现实交互方法及电子设备 |
| CN114693890A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种增强现实交互方法及电子设备 |
| CN112379812A (zh) * | 2021-01-07 | 2021-02-19 | 深圳追一科技有限公司 | 仿真3d数字人交互方法、装置、电子设备及存储介质 |
| WO2022148083A1 (zh) * | 2021-01-07 | 2022-07-14 | 深圳追一科技有限公司 | 仿真3d数字人交互方法、装置、电子设备及存储介质 |
| CN112669422A (zh) * | 2021-01-07 | 2021-04-16 | 深圳追一科技有限公司 | 仿真3d数字人生成方法、装置、电子设备及存储介质 |
| CN113721804A (zh) * | 2021-08-20 | 2021-11-30 | 北京市商汤科技开发有限公司 | 一种显示方法、装置、电子设备及计算机可读存储介质 |
| CN113900526A (zh) * | 2021-10-29 | 2022-01-07 | 深圳Tcl数字技术有限公司 | 三维人体形象展示控制方法、装置、存储介质及显示设备 |
| CN115390678A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| CN115390678B (zh) * | 2022-10-27 | 2023-03-31 | 科大讯飞股份有限公司 | 虚拟人交互方法、装置、电子设备及存储介质 |
| CN117456611A (zh) * | 2023-12-22 | 2024-01-26 | 拓世科技集团有限公司 | 一种基于人工智能的虚拟人物训练方法及系统 |
| CN117456611B (zh) * | 2023-12-22 | 2024-03-29 | 拓世科技集团有限公司 | 一种基于人工智能的虚拟人物训练方法及系统 |
| CN117727303A (zh) * | 2024-02-08 | 2024-03-19 | 翌东寰球(深圳)数字科技有限公司 | 一种音视频的生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022545851A (ja) | 2022-11-01 |
| WO2022022028A1 (zh) | 2022-02-03 |
| KR20220119494A (ko) | 2022-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111880659A (zh) | 虚拟人物控制方法及装置、设备、计算机可读存储介质 | |
| CN111897431B (zh) | 展示方法及装置、显示设备、计算机可读存储介质 | |
| US11734906B2 (en) | Automatic transparency of VR avatars | |
| EP3117290B1 (en) | Interactive information display | |
| KR20190088545A (ko) | 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들 | |
| US20150277699A1 (en) | Interaction method for optical head-mounted display | |
| WO2013033842A1 (en) | System and method for using eye gaze information to enhance interactions | |
| US20210312887A1 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
| CN111880720B (zh) | 虚拟显示方法、装置、设备和计算机可读存储介质 | |
| US20170092223A1 (en) | Three-dimensional simulation system for generating a virtual environment involving a plurality of users and associated method | |
| US11340697B2 (en) | System and a method to create extended reality using wearables and virtual environment set | |
| Vafadar | Virtual reality: Opportunities and challenges | |
| CN108594999A (zh) | 用于全景图像展示系统的控制方法和装置 | |
| CN112528768A (zh) | 视频中的动作处理方法、装置、电子设备及存储介质 | |
| CN102262705A (zh) | 实景虚拟现实方法 | |
| JP2023177310A (ja) | ３ｄ（３次元）仮想環境においてナビゲーション支援を提供する方法及びシステム | |
| WO2024022070A1 (zh) | 画面显示方法、装置、设备及介质 | |
| US20230368464A1 (en) | Information processing system, information processing method, and information processing program | |
| CN110717993B (zh) | 一种分体式ar眼镜系统的交互方法、系统及介质 | |
| Roccetti et al. | Day and night at the museum: intangible computer interfaces for public exhibitions | |
| CN110850976A (zh) | 一种基于环境感知的虚拟现实投射和检索系统 | |
| CN117826976A (zh) | 一种基于xr的多人协同方法及系统 | |
| Eslami et al. | SignCol: Open-Source Software for Collecting Sign Language Gestures | |
| Asiri et al. | The Effectiveness of Mixed Reality Environment-Based Hand Gestures in Distributed Collaboration | |
| RU2626867C1 (ru) | Система для организации развлекательных, образовательных и/или рекламных мероприятий |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40039696 Country of ref document: HK |
|
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201103 |