CN111857335A - 虚拟对象的驱动方法、装置、显示设备和存储介质 - Google Patents
虚拟对象的驱动方法、装置、显示设备和存储介质 Download PDFInfo
- Publication number
- CN111857335A CN111857335A CN202010658912.3A CN202010658912A CN111857335A CN 111857335 A CN111857335 A CN 111857335A CN 202010658912 A CN202010658912 A CN 202010658912A CN 111857335 A CN111857335 A CN 111857335A
- Authority
- CN
- China
- Prior art keywords
- virtual object
- motion
- display device
- target object
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例提供一种虚拟对象的驱动方法、装置、显示设备和存储介质,其中,所述方法包括:获取目标对象的当前活动信息;其中,所述目标对象包括与显示设备展示的虚拟对象进行交互的真实对象;根据所述当前活动信息,确定所述虚拟对象的运动状态;以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应。
Description
技术领域
本申请实施例涉及计算机视觉技术领域,涉及但不限于虚拟对象的驱动方法、装置、显示设备和存储介质。
背景技术
人机交互的方式大多基于按键、触摸、语音进行输入,通过在显示屏上呈现图像、文本或虚拟对象进行回应。在相关技术中,虚拟对象多是在语音助理的基础上改进得到的,其只是对设备的语音进行输出,观看者与虚拟对象之间交互生硬且不自然。
发明内容
本申请实施例提供一种虚拟对象的驱动方法、装置、显示设备和存储介质。
本申请实施例提供一种虚拟对象的驱动方法,所述方法包括:
获取目标对象的当前活动信息;其中,所述目标对象包括与显示设备展示的虚拟对象进行交互的真实对象;
根据所述当前活动信息,确定所述虚拟对象的运动状态;
以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应。
在一些可能的实现方式中,所述当前活动信息包括以下至少一种:所述目标对象的运动信息、姿态信息和属性信息。
在一些可能的实现方式中,所述运动信息包括运动速度以及运动方式;所述根据所述当前活动信息,确定所述虚拟对象的运动状态,包括:
根据所述目标对象的运动速度,确定所述虚拟对象的运动速度;
根据所述目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一,确定所述虚拟对象的运动姿态;其中,所述运动姿态包括所述虚拟对象的运动方式和肢体动作;
将所述虚拟对象按照所述虚拟对象的运动速度执行的所述运动姿态,确定为所述虚拟对象的运动状态。
在一些可能的实现方式中,所述以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应,包括:
根据所述运动状态,确定在所述显示设备上渲染所述虚拟对象的渲染速度;
以所述渲染速度,渲染生成所述虚拟对象响应于所述当前活动信息的响应动画,并在所述显示设备上展示所述响应动画。
在一些可能的实现方式中,所述以所述渲染速度,渲染生成所述虚拟对象响应于所述当前活动信息的响应动画,包括:
根据所述运动状态和所述显示设备的显示参数,确定用于渲染所述虚拟对象的渲染参数;
根据所述渲染参数,以所述渲染速度,对所述虚拟对象进行渲染,生成所述虚拟对象响应于所述当前活动信息的所述响应动画。
在一些可能的实现方式中,所述以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应之前,所述方法还包括:
基于所述目标对象的当前活动信息,确定所述目标对象的运动起始时刻;
根据所述运动起始时刻,确定对所述虚拟对象进行渲染的起始时刻。
在一些可能的实现方式中,所述方法还包括:
获取多帧场景图像;
根据所述多帧场景图像中出现的所述目标对象的画面内容,确定所述目标对象的移动距离和移动速度;
根据所述移动距离和所述移动速度,确定所述目标对象的运动信息。
在一些可能的实现方式中,所述显示设备至少包括以下之一:具有沿着预设滑动轨道进行移动的显示屏的第一显示设备;具有屏幕尺寸超过预设尺寸的显示屏的第二显示设备。
在一些可能的实现方式中,在所述显示设备为所述第一显示设备的情况下,所述方法还包括:
根据所述虚拟对象的运动速度,确定所述第一显示设备的移动速度;
以所述虚拟对象的运动速度,驱动所述虚拟对象对所述当前活动信息的响应的同时,控制所述第一显示设备的显示屏以所述移动速度进行移动。
在一些可能的实现方式中,所述方法还包括:
确定所述多帧场景图像中出现的所述目标对象的画面内容;
如果所述画面内容非空,根据所述画面内容,确定所述目标对象的活动状态;其中,所述活动状态至少包括以下之一:运动状态和静止状态;
如果所述画面内容为空,或所述目标对象的活动状态为所述静止状态,从存储虚拟对象的预设响应动画的动画库中获取与所述静止状态相匹配的目标预设响应动画,将所述目标预设响应动画展示在所述显示设备上。
本申请实施例提供一种虚拟对象的驱动装置,所述装置包括:
第一获取模块,用于获取目标对象的当前活动信息;其中,所述目标对象包括与显示设备展示的虚拟对象进行交互的真实对象;
第一确定模块,用于根据所述当前活动信息,确定所述虚拟对象的运动状态;
第一驱动模块,用于以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应。
在一些可能的实现方式中,所述当前活动信息包括以下至少一种:所述目标对象的运动信息、姿态信息和属性信息。
在一些可能的实现方式中,所述运动信息包括运动速度以及运动方式;所述第一确定模块,包括:
第一确定子模块,用于根据所述目标对象的运动速度,确定所述虚拟对象的运动速度;
第二确定子模块,用于根据所述目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一,确定所述虚拟对象的运动姿态;其中,所述运动姿态包括所述虚拟对象的运动方式和肢体动作;
第三确定子模块,用于将所述虚拟对象按照所述虚拟对象的运动速度执行的所述运动姿态,确定为所述虚拟对象的运动状态。
在一些可能的实现方式中,所述第一驱动模块,包括:
第四确定子模块,用于根据所述运动状态,确定在所述显示设备上渲染所述虚拟对象的渲染速度;
第一渲染子模块,用于以所述渲染速度,渲染生成所述虚拟对象响应于所述当前活动信息的响应动画,并在所述显示设备上展示所述响应动画。
在一些可能的实现方式中,所述第一渲染子模块,包括:
第一确定单元,用于根据所述运动状态和所述显示设备的显示参数,确定用于渲染所述虚拟对象的渲染参数;
第一渲染单元用于根据所述渲染参数,以所述渲染速度,对所述虚拟对象进行渲染,生成所述虚拟对象响应于所述当前活动信息的所述响应动画。
在一些可能的实现方式中,所述装置还包括:
第二确定模块,用于基于所述目标对象的当前活动信息,确定所述目标对象的运动起始时刻;
第三确定模块,用于根据所述运动起始时刻,确定对所述虚拟对象进行渲染的起始时刻。
在一些可能的实现方式中,所述装置还包括:
第二获取模块,用于获取多帧场景图像;
第四确定模块,用于根据所述多帧场景图像中出现的所述目标对象的画面内容,确定所述目标对象的移动距离和移动速度;
第五确定模块,用于根据所述移动距离和所述移动速度,确定所述目标对象的运动信息。
在一些可能的实现方式中,所述显示设备至少包括以下之一:具有沿着预设滑动轨道进行移动的显示屏的第一显示设备;具有屏幕尺寸超过预设尺寸的显示屏的第二显示设备。
在一些可能的实现方式中,在所述显示设备为所述第一显示设备的情况下,所述装置还包括:
第六确定模块,用于根据所述虚拟对象的运动速度,确定所述第一显示设备的移动速度;
第二驱动模块,用于以所述虚拟对象的运动速度,驱动所述虚拟对象对所述当前活动信息的响应的同时,控制所述第一显示设备的显示屏以所述移动速度进行移动。
在一些可能的实现方式中,所述装置还包括:
第七确定模块,用于确定所述多帧场景图像中出现的所述目标对象的画面内容;
第八确定模块,用于如果所述画面内容非空,根据所述画面内容,确定所述目标对象的活动状态;其中,所述活动状态至少包括以下之一:运动状态和静止状态;
第一展示模块,用于如果所述画面内容为空,或所述目标对象的活动状态为所述静止状态,从存储虚拟对象的预设响应动画的动画库中获取与所述静止状态相匹配的目标预设响应动画,将所述目标预设响应动画展示在所述显示设备上。
本申请实施例提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现上述的方法步骤。
本申请实施例提供一种显示设备,所述显示设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现上述的方法步骤。
本申请实施例提供一种计算机程序,包括用于实现上述的方法步骤的计算机指令。
本申请实施例提供的技术方案,针对获取的获取目标对象的当前活动信息,首先,基于该当前活动信息,确定出虚拟对象的运动状态;然后,基于该运动状态驱动显示设备展示虚拟对象对当前活动信息的响应;如此,能够实现虚拟对象的运动与真实对象的运动的保持一致,从而能够使得目标对象与虚拟对象之间的交互更加自然逼真。
附图说明
图1是本发明实施例提供的虚拟对象的驱动方法的实现流程示意图;
图2为本申请实施例提供的虚拟对象的驱动方法的另一实现流程示意图;
图3为本申请实施例提供的数字人的基础功能展示图;
图4是本申请实施例提供的滑轨式屏幕的界面示意图;
图5是本申请实施例提供的超长拼接屏幕设备的界面示意图;
图6为本申请实施例提供的虚拟对象的驱动装置的组成结构示意图;
图7为本申请实施例提供的显示设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的,不是旨在限制本发明。
本申请至少一个实施例提供了一种虚拟对象的驱动方法,所述驱动方法可以由显示设备或服务器等电子设备执行,所述显示设备可以是具有显示功能的固定终端或移动终端,例如手机、平板电脑、游戏机、台式机、广告机、一体机、车载终端、包括滑轨式屏幕的设备和包括超长拼接屏幕的设备等等,所述方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
在本申请实施例中,虚拟对象可以是任意一种能够与目标对象进行交互的虚拟对象,其可以是虚拟人物,还可以是虚拟动物、虚拟物品、卡通形象等等其他能够实现交互功能的虚拟形象。所述目标对象可以是真人观看者,也可以是机器人,还可以是其他智能设备或者现实场景中的实体物体等,本申请对此并不限定。所述虚拟对象和所述目标对象之间的交互方式可以是主动交互方式,也可以是被动交互方式。一示例中,目标对象可以通过做出手势或者肢体动作来发出需求,通过主动交互的方式来触发虚拟对象与其交互。另一示例中,虚拟对象可以通过主动打招呼、提示目标对象做出动作等方式,使得目标对象采用被动方式与虚拟对象进行交互。
在一些可能的实现方式中,该显示设备可以是具有透明显示屏的显示设备,其可以在透明显示屏上显示立体画面,以呈现出具有立体效果的虚拟场景以及虚拟对象。在一些实施例中,本申请中所述显示设备中配置有存储器和处理器,存储器用于存储可在处理器上运行的计算机指令,所述处理器用于在执行所述计算机指令时实现本申请提供的虚拟对象的驱动方法,以驱动透明显示屏中显示的虚拟对象执行动作。
在一些实施例中,该方法所实现的功能可以通过显示设备中的处理器调用程序代码来实现,其中,程序代码可以保存在计算机存储介质中。
本申请实施例提供一种虚拟对象的驱动方法,下面结合图1进行详细描述。
步骤S101,获取目标对象的当前活动信息。
在一些可能的实现方式中,目标对象表征与显示设备展示的虚拟对象进行交互的真实对象。比如,与虚拟对象进行交互的观看者、设备或动物等。显示设备展示的虚拟对象为虚拟对象,比如,显示设备上显示的虚拟人物。目标对象的当前活动信息以下至少一种:目标对象的运动信息(比如,运动速度或运动方式)、姿态信息、属性信息、语音信息和手势动作等;其中,运动方式包括目标对象的运动类型,例如,弹跳、正常直立行走、站立或下蹲等;姿态信息为目标对象进行运动时的肢体姿态,比如,挥手、点头、弯腰、摇头、各种类型的手势(比如,表示肯定的OK手势、表示否定的NO手势)、口型、挥动手臂等;属性信息为目标对象自身的特征,比如,身高、体型、性别和年龄等。
步骤S102,根据所述当前活动信息,确定所述虚拟对象的运动状态。
在一些可能的实现方式中,获得目标对象的活动信息之后,根据该活动信息中的运动信息,确定虚拟对象的运动状态,比如,可以通过该运动状态确定出在显示设备上对虚拟对象进行渲染的渲染速度,以该渲染速度对虚拟对象进行渲染,从而使得虚拟对象在显示设备上运动。在一个具体例子中,根据所述当前活动信息,确定所述虚拟对象的运动状态,可以将当前活动信息中的运动速度作为该虚拟对象的运动状态中的运动速度,还可以是事先设定虚拟对象的多种运动速度,根据当前活动信息,确定与该活动信息匹配的运动速度,以该运动速度,确定渲染速度,对虚拟对象进行渲染。比如,事先设定虚拟对象的运动速度包括快速、中速和慢速,然后,根据通过判断当前活动信息相匹配的运动速度,对虚拟对象进行渲染。
步骤S103,以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应。
在一些可能的实现方式中,首先,基于该运动状态,确定渲染速度,然后,采用该渲染速度,对虚拟对象进行渲染的同时展示虚拟对象对目标对象的当前活动信息进行的响应。如果显示设备包括屏幕尺寸超过预设尺寸的超长显示屏,那么保持显示设备处于静止状态,以该渲染速度,渲染虚拟对象在该显示屏上运动,使得虚拟对象的运动与目标对象的运动相匹配。如果显示设备包括沿着预设滑动轨道进行移动的显示屏,那么以该渲染速度驱动显示设备的显示屏滑动,使得显示设备的显示屏的滑动速度与虚拟对象的运动速度保持一致;如此,通过目标对象的活动信息,确定出虚拟对象的渲染速度,基于该渲染速度控制虚拟对象在显示设备上的显示,从而能够实现虚拟对象的渲染速度与目标对象的活动信息保持一致。
在一些实施例中,在当前活动信息包括运动速度以及运动方式的情况下,为能够准确的确定出虚拟对象的运动状态,步骤S102,根据所述当前活动信息,确定所述虚拟对象的运动状态,可以通过以下步骤实现:
步骤S121,根据所述目标对象的运动速度,确定所述虚拟对象的运动速度。
在一些可能的实现方式中,虚拟对象的运动速度可以根据目标对象的运动速度确定,比如将目标对象的运动速度设定为虚拟对象的运动速度。在一个具体例子中,以目标对象为观看者为例进行说明,按照与观看者相同的运动速度,与观看者同步移动,具体的运动状态可以是按照与观看者相同的运动速度进行跳跃式运动,或者按照大于观看者的运动速度边走边回头等;如此,通过参考目标对象的运动速度,对虚拟对象的运动速度进行确定,能够保证虚拟对象与观看者之间的良好的交互。虚拟对象的运动速度还可以是事先为虚拟对象设定不同级别的运动速度,比如,首先,设定虚拟对象的运动速度与目标对象的运动速度之间的匹配关系,得到匹配关系库;根据目标对象的运动速度,在匹配关系库中,确定虚拟对象的运动速度。比如,将虚拟对象设定运动速度为快速(比如,3米/秒)、中速(比如,1米/秒)和慢速(比如,0.5米/秒)。
步骤S122,根据所述目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一,确定所述虚拟对象的运动姿态。
在一些可能的实现方式中,所述运动姿态包括所述虚拟对象的运动方式和肢体动作。其中,虚拟对象的运动方式包括虚拟对象的运动类型,例如,弹跳、奔跑、正常直立行走、站立或下蹲等。肢体动作包括:虚拟对象的任意部位的动作,比如,挥手、点头、弯腰、摇头、各种类型的手势、口型、挥动手臂等。
对于虚拟对象的运动方式,可以是与目标对象的运动方式相同,也可以不同;比如,将目标对象的运动方式,确定为虚拟对象的运动方式。还可以是事先设定虚拟对象的多种运动方式,以及每一种运动方式和目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一的匹配关系,根据该匹配关系和目标对象的运动方式,确定出虚拟对象的运动方式。
对于虚拟对象的肢体动作,可以是通过事先设定虚拟对象的多种类型的肢体动作,以及每一类型的肢体动作和目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一的匹配关系,根据该匹配关系,确定出虚拟对象的肢体动作;还可以是根据目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一,实时的确定虚拟对象的肢体动作;比如,目标对象的姿态信息为挥手,属性信息为成人,那么虚拟对象的肢体动作可以是直立挥手;如果目标对象的姿态信息为挥手,属性信息为儿童,那么虚拟对象的肢体动作可以是弯腰挥手。虚拟对象的肢体动作,包括:可以是对当前活动信息的姿态信息的响应,比如,姿态信息为目标对象弯腰,那么虚拟对象的肢体动作可以设置为弯腰;或者,如果目标对象年龄较小,那么虚拟对象的肢体动作可以设置为边走边回头,或者是跳跃式行走,以及采用儿童化的语音进行语音输出。还可以事先设定虚拟对象的肢体动作与活动信息的匹配关系,当获取到当前活动信息时,判断该当前活动信息是否为已设定匹配关系的活动信息,如果是,则将确定出相匹配的虚拟对象的肢体动作,否则,不匹配虚拟对象的肢体动作。
在其他实施例中,虚拟对象的肢体动作还与显示设备的显示参数相关,显示设备的显示参数包括:屏幕尺寸(包括:长宽高等)、亮度和清晰度等。在一个可能的实现方式中,根据显示参数中的显示屏尺寸,检测当前位置到沿着运动方向的显示屏边缘的距离,从而确定响应动画中的虚拟对象在什么位置转身或停止运动等。比如,设定响应动画中虚拟对象在靠近显示屏的边缘(比如,虚拟对象距离沿着运动方向的显示屏边缘小于预设距离(比如,可以设定预设距离为15厘米)处,虚拟对象转身。
步骤S123,将所述虚拟对象按照所述虚拟对象的运动速度执行的所述运动姿态,确定为所述虚拟对象的运动状态。
在本申请实施例中,通过目标对象的运动速度、运动方式、所述姿态信息和所述属性信息等,来确定出虚拟对象的肢体动作、运动方式和运动速度,从而能够实现虚拟对象与目标对象的交互。
在一些实施例中,在当前活动信息包括目标对象的姿态信息和属性信息的情况下,为实现虚拟对象与目标对象的交互,步骤S103可以通过以下步骤实现,参见图2,图2为本申请实施例提供的虚拟对象的驱动方法的另一实现流程示意图,结合图1进行以下说明:
步骤S201,根据所述运动状态,确定在所述显示设备上渲染所述虚拟对象的渲染速度。
在一些可能的实现方式中,可以是将该运动状态的运动速度,确定为显示设备上虚拟对象的渲染速度,从而,以该渲染速度对虚拟对象进行渲染,实现虚拟对象在显示设备上的移动。
步骤S202,以所述渲染速度,渲染生成所述虚拟对象响应于所述当前活动信息的响应动画,并在所述显示设备上展示所述响应动画。
在一些可能的实现方式中,以该渲染速度结合显示设备的显示参数,对虚拟对象进行渲染,以生成虚拟对象响应于当前活动信息的响应动画;比如,在显示设备上呈现虚拟对象以响应于当前活动信息的运动方式和运动速度进行移动,而且在移动的同时,响应于检测到的目标对象的姿态信息和属性信息,展示虚拟对象的肢体动作和语音输出等。在一些实施例中,首先,根据所述运动状态和所述显示设备的显示参数,确定用于渲染所述虚拟对象的渲染参数;其中,渲染参数包括:渲染范围、对虚拟对象的各个部位进行渲染的时间顺序、渲染颜色等。根据虚拟对象的运动速度,确定出渲染速度;根据虚拟对象的运动方式和肢体动作以及显示设备的显示参数,确定渲染参数;比如,根据虚拟对象的运动方式和肢体动作,确定对虚拟对象的各个部位进行渲染的时间顺序、渲染颜色等;根据显示设备的显示参数,确定渲染范围。然后,根据所述渲染参数,以所述渲染速度,对所述虚拟对象进行渲染,生成所述虚拟对象响应于所述当前活动信息的所述响应动画。比如,按照对虚拟对象的各个部位进行渲染的时间顺序,结合渲染范围和渲染颜色,以该渲染速度,对所述虚拟对象进行渲染,从而生成虚拟对象响应于所述当前活动信息的所述响应动画。
在一个具体例子中,以目标对象为观看者,虚拟对象为数字人,场景为观看者观看展会的展品,为例进行说明:首先获取观看者的活动信息,确定渲染速度(可以是根据该活动信息实时确定渲染速度,还可以是根据该活动信息从事先设定好的活动信息与渲染速度的匹配库中确定出渲染速度),然后,如果显示设备包括能够在滑轨上滑动的显示屏,那么以该渲染速度驱动数字人和显示设备的显示屏移动,可以是在检测到观看者移动时,数字人开始移动并保持该显示设备的显示屏与数字人同步移动;数字人在移动过程中,可以根据识别出的观看者的手势、语音等信息,进行交互;数字人的移动速度还可以是大于观看者的运动速度,这样可以设置数字人边运动边回头看观看者,以进行交互。
在本申请实施例中,通过获取观看者的姿态信息,实现虚拟对象在移动的同时还可以与观看者进行交互。
在一些实施例中,为实现虚拟对象对目标对象无感知的跟随,在步骤S102之后,还包括以下步骤:
第一步,基于所述目标对象的当前活动信息,确定所述目标对象的运动起始时刻。
在一些可能的实现方式,通过监测目标对象的运动状态,以确定目标对象的运动起始时刻。
第二步,根据所述运动起始时刻,确定对所述虚拟对象进行渲染的起始时刻。
在一些可能的实现方式中,通过根据目标对象的运动起始时刻,对虚拟对象进行渲染的起始时刻。比如,可以将确定渲染生成的所述响应动画中所述虚拟对象的运动起始时刻与确定的所述目标对象的运动起始时刻对齐。这样,将该运动起始时刻,作为渲染虚拟对象的起始时刻,这样在监测到目标对象开始运动的情况下,可以开始渲染虚拟对象,以保证虚拟对象与目标对象的运动一致性。这样,通过监测目标对象的运动起始时刻,从而当观看者稍微开始向左或者向右移动时,使得观看者对于虚拟对象跟随过程中产生的延迟无感知。
在其他实施例中,还可以是将确定渲染生成的所述响应动画中所述虚拟对象的运动起始时刻与确定的所述目标对象的运动起始时刻不对齐,比如,虚拟对象的运动起始时刻晚于目标对象的运动起始时刻,这样,当检测到目标对象的运动时长大于一定时长时,虚拟对象开始运动,避免由于观看者只是在短时间内运动一下后停止运动,引起的对虚拟对象的频繁启动和停止;或者,在检测到观看者的运动幅度大于设定幅度的情况下,再控制虚拟对象的运动,避免是由于目标对象的微小运动引起的误判。
在一些实施例中,为能够准确确定出虚拟对象的渲染速度,可以通过以下步骤实现:
第一步,获取多帧场景图像。
在一些实施例中,场景图像的画面内容包括所述目标对象;场景图像可以是采集的当前场景下包含目标对象的画面。比如,目标对象为观看者,场景图像可以是采集的观看者观看显示设备整个过程中的图像。所述场景图像的采集方式至少包括以下之一:广角采集方式和长图采集方式;比如,广角采集方式可以通过采用显示设备上自带的摄像设备或者外接固定的摄像设备来实现,以固定位置为中心,通过较小的焦距(比如,焦距小于50毫米)采集图像,这样能够采集到较大视角的图像,得到广角图像;长图采集方式,可以采用手机上的摄像头或者可不在是滑动屏上随滑动屏移动的摄像头,还可以是外接的固定好的摄像头等,通过旋转摄像头,将每一旋转角度下采集到的图像进行拼接,得到长图图像。在一个具体例子中,广角画面上的摄像设备不动,采集内容包括目标对象的多帧场景图像,以使通过该多帧场景图像来确定目标对象的移动距离。
第二步,根据所述多帧场景图像中出现的所述目标对象的画面内容,确定所述目标对象的移动距离和移动速度。
在一些可能的实现方式中,根据所述至少一帧场景图像,确定所述目标对象的移动距离和移动速度,可以通过以下过程实现:首先,对场景图像中的图像特征进行提取;其次,从预设地图中存储的图像特征中匹配出目标图像特征;最后,通过目标图像特征和场景图像的图像特征,实现对目标对象的定位。比如,首选,在图像采集设备所处的三维坐标空间,将场景图像的特征点的二维(two Dimensional,2D)位置信息转换为三维(threeDimensional,3D)位置信息,然后,将该3D位置信息与预设地图的三维坐标系中的图像的特征点的3D位置信息,进行比对,以确定目标对象的位置信息,即可得到目标对象的移动距离和移动速度。
第三步,根据所述移动距离和所述移动速度,确定所述目标对象的运动信息。
在一些可能的实现方式中,确定目标对象的移动距离和移动速度之后,根据移动速度确定该运动信息中的运动速度,根据移动距离结合移动速度,确定目标对象的运动方式。
在本申请实施例中,通过多帧图像对观看者的移动距离进行定位,从而准确得到观看者的移动距离和移动速度,进而能够确定出虚拟对象的运动速度。
在一些实施例中,显示设备至少包括以下之一:具有沿着预设滑动轨道进行移动的显示屏的第一显示设备;比如,具有能够在滑动轨道上滑动的屏幕的显示设备。或者,具有屏幕尺寸超过预设尺寸的显示屏的第二显示设备;比如,具有超长拼接式屏的显示设备。显示设备的显示屏的形式不同,呈现响应动画的方式不同,具体如下:
方式一:在所述显示设备为所述第一显示设备的情况下,可以通过以下步骤呈现响应动画:
第一步,根据所述虚拟对象的运动速度,确定所述第一显示设备的移动速度。
在一些可能的实现方式中,将虚拟对象的运动速度设定为第一显示设备的移动速度,这样可以保证第一显示设备与虚拟对象同步移动。
第二步,以所述虚拟对象的运动速度,驱动所述虚拟对象对所述当前活动信息的响应的同时,控制所述第一显示设备的显示屏以所述移动速度进行移动。
在一些可能的实现方式中,以虚拟对象的运动速度,驱动虚拟对象对当前活动信息进行响应,以在第一显示设备上呈现响应当前活动信息的响应动画;与此同时,控制第一显示设备以该移动速度进行滑动。第一显示设备的移动速度可以与所述虚拟对象的运动速度对齐,以保证虚拟对象和第一显示设备同步移动。第一显示设备的移动速度与所述虚拟对象的运动速度也可以不对齐;比如,第一显示设备的移动速度大于虚拟对象的运动速度,且二者之间的差值小于一定阈值,示例性的,该阈值是根据第一显示设备的尺寸确定的,以保证第一显示设备和虚拟对象进行移动时,虚拟对象的移动距离不会大于从虚拟对象的当前位置到沿运动方向的第一显示设备的边缘,即保证虚拟对象在移动的过程中不会超出第一显示设备的显示屏。
方式二:在所述显示设备为所述第二显示设备的情况下,可以通过以下过程在第二显示设备上呈现响应动画:
在处于静止状态的第二显示设备上,根据渲染参数,以渲染速度,对所述虚拟对象进行渲染,生成所述虚拟对象响应于所述当前活动信息的所述响应动画,并呈现在第二显示设备上。
在一些实施例中,在不同的场景下,对虚拟对象的渲染输出方式不同,可以通过以下步骤实现:
首先,确定所述多帧场景图像中出现的所述目标对象的画面内容。
在一些可能的实现方式中,多帧场景图像可以是在与当前时刻间隔小于一定时长的历史时刻采集到的场景图像。确定出每一帧场景图像中出现目标对象的画面内容;比如,根据这些画面内容,确定目标对象的活动状态。然后,如果所述画面内容非空,根据所述画面内容,确定所述目标对象的活动状态。
在一些可能的实现方式中,目标对象的活动状态包括:运动状态和静止状态。画面内容为非空,说明该多帧场景图像中包含目标对象,即目标对象出现在多帧场景图像中。根据该画面内容,按照这多帧场景图像采集的时间顺序,判断目标对象是否进行了运动,如果多帧场景图像中目标对象的姿态或位置均相同,说明目标对象处于静止状态。
如果所述画面内容为空,或所述目标对象的活动状态为所述静止状态,从存储虚拟对象的预设响应动画的动画库中获取目标预设响应动画,将所述目标预设响应动画展示在所述显示设备上。
在一些可能的实现方式中,如果所述画面内容为空,从存储虚拟对象的预设响应动画的动画库中获取第一目标预设响应动画,将第一目标预设响应动画展示在所述显示设备上;这里,第一目标预设响应动画可以是非交互类动画,比如,对展会的介绍视频或对于展品的循环介绍视频等。如果所述画面内容为空,说明该目标对象未出现在多帧场景图像中,即当前场景中,没有目标对象。以目标对象为例进行说明,如果画面内容为空,则该场景下没有观看者观看显示设备上显示的画面。在这样的情况下,即不需要虚拟对象与目标对象进行交互,那么从动画库中,确定非交互类动画的第一目标预设响应动画,将该第一目标预设响应动画展示在显示设备上。
如果画面内容为非空,且目标对象的活动状态为所述静止状态,从存储虚拟对象的预设响应动画的动画库中获取第二目标预设响应动画,将所述第二目标预设响应动画展示在所述显示设备上;这里,第二目标预设响应动画可以是交互类动画,比如,打招呼类动画或询问类动画等。如果画面内容为非空,且目标对象的活动状态为所述静止状态,说明该目标对象出现在多帧场景图像中,即当前场景中,有目标对象。以目标对象为观看者为例进行说明,如果目标对象的活动状态为所述静止状态,说明观看者是驻足在显示屏前,具有要观看的倾向,在这样的情况下,可以通过播放交互类动画主动向观看者打招呼以吸引观看者的注意力。
在其他实施例中,如果画面内容为非空,且通过按照这多帧场景图像采集的时间顺序,判断得出目标对象进行了运动,那么根据目标对象的移动距离和移动速度,确定目标对象的运动信息,对虚拟对象进行实时渲染,从而生成响应于目标对象的当前活动信息的响应动画,以在显示设备上实时呈现该响应动画。
下面,将说明本发明实施例在一个实际的应用场景中的示例性应用,以虚拟对象为数字人,以目标对象为观看者为例进行说明:
图3为本申请实施例提供的数字人的基础功能展示图,如图3所示呈现了数字人300的基础功能、数字人300呈现形式及适用平台的介绍,包括:
自然交互301,用于根据观看者特征、人数和动作等信息作出自然交互。
在本申请实施例中,运用人工智能(Artificial Intelligence,AI)技术,通过对观看者已标注动作的学习,使得数字人在互动和问答过程中,达到拟人化的标签和动作,从而为观看者提供更加自然流畅的交互体验。
客群分析302,用于能够分析客群特征,有效识别线下非注册老客户。
真人接管303,用于在预设问题无法满足客户需求时由真人接管交互。
趣味互动304,用于与观看者进行趣味互动,促销引流。
本申请实施例提供的数字人与观看者的交互,区别于语音对话机器人,数字人结合视觉的信息输入和人工智能技术,对观看者的身份、属性和动作进行识别,并提供针对面前观看者的交互和反馈。
个性化定制305,用于可根据行业需求,顾客需求提供定制解决方案。
本申请实施例提供的虚拟对象的驱动方法可以流畅运行在手机应用程序(Application,APP)、网页和小程序中;该方法还可以运行在硬件平台上,比如,运行在线下数字人一体机中,而且线下数字人一体机的显示屏可无延迟运行影视级超写实3D数字人的响应动画,而且响应动画中的数字人毛孔发丝清晰可见,从而能够为观看者提供较佳的视觉体验。
示例性的,本申请实施例提供的数字人,可以借助显示设备,实现跟随客走动进行讲解的功能,实现过程为:将数字人由右往左走的程序预设好,数字人移动的虚拟距离与真实坐标系是对齐的,数字人移动速度跟着渲染速度走,能够实现数字人的移动速度和真实空间一致,从而能够实现数字人像在真实空间走动的效果。
在一些可能的实现方式中,首先,对于的数字人行走程序,由3D渲染生成数字人行走画面;在行走过程中,数字人还可以若干种不同的行走姿态,比如,数字人可通过转动头部实现边走边看着观看者的效果。
然后,将数字人的空间及速度进行对齐,通过借助真实相机拍摄,能够判断出当前观看者的移动距离,比如,观看者是向前走还是向后走,具体移动的距离是1米还是2米。数字人还可分析当前观看者的行走方向,比如,通过当检测搭配当前观看者稍微开始向左或者向右移动时,数字人即开始移动,从而实现观看者无感知延迟的跟随。
最后,在显示设备(比如,显示设备的显示功能可以通过硬件设备实现)上进行展示,数字人根据不同的设备有不同的控制方式,主要有两种设备形态:
一种是具有沿着预设滑动轨道进行移动的显示屏的第一显示设备,比如,显示设备的显示屏为滑轨式屏幕,如图4所示,图4是本申请实施例提供的滑轨式屏幕的界面示意图,结合图4进行以下说明:
第一显示设备包括显示屏401与滑轨402,显示屏401与滑轨402相匹配,当需要在该显示屏401上呈现数字人介绍展品的视频时,显示屏401的滑动速度,与显示屏401上数字人的移动速度保持一致,从而实现针对包括滑轨式屏幕的显示设备,通过驱动滑轨电机,按照数字人要求的速度移动滑轨,同时数字人作出行走动作。
第二种是具有屏幕尺寸超过预设尺寸的显示屏的第二显示设备,比如,显示设备的显示屏为超长拼接屏幕,如图5所示,图5是本申请实施例提供的超长拼接屏幕设备的界面示意图,结合图5进行以下说明:
第二显示设备的超长拼接屏幕501上设置有摄像设备,通过采集观看者502(观看者502可以是图5所示的任意一个观看者)的运动信息,来确定超长拼接屏幕501上显示的数字人的运动信息,使得超长拼接屏幕501上显示的数字人与观看者502的移动速度保持一致,从而实现数字人可在超长拼接屏幕501上跟随观看者左右行走。
在本申请实施例中,观看者的运动信息可以通过观看者的移动距离和移动速度来确定,其中,对于观看者的移动距离可以通过以下三种方式实现:
方式一、通过广角采集方式采集多帧图像,比如,通过控制具有广角采集功能的摄像设备在当前位置处,以较大的视角采集多帧包括观看者的广角图像,根据该多帧广角图像,确定观看者在图像坐标系上的移动距离。
方式二、通过手机移动拍摄多帧长图,确定长图中人物的移动距离。
方式三,基于即时定位与地图构建(Simultaneous Localization and Mapping,SLAM),识别手机移动距离,从而确定出观看者的移动距离。
这样通过以上三种方式确定出观看者的移动距离,从而基于该移动距离和观看者的移动速度,确定出观看者的运动信息,从而基于观看者的运动信息确定出熟悉人的运动信息,使得屏幕上的数字人的移动速度和移动距离与观看者保持一致。
在一些实施例中,不同的场景下,可以针对数字人采用不同的渲染时输出方式。在一些可能的实现方式中,首先,获取多帧场景图像;其次,确定多帧场景图像中出现的观看者的画面内容;再次,对画面内容进行检测,如果画面内容为空,说明该场景下无观看者,那么不需要实现数字人与观看者的交互;在这样的场景下,从动画库中获取第一目标预设响应动画,将该动画呈现在显示设备上,即通过视频播放器及若干控制键来实现数字人的移动展示功能。这里,动画库中存储的响应动画,可以是针对数字人提前渲染输出高质量影片(比如,对展品进行介绍的视频等)。
如果画面内容非空,但是检测到观看者处于静止状态,那么可以从该动画库中获取交互类视频播放在显示设备上。
如果画面内容非空,且检测到观看者处于运动状态,说明需要数字人与观看者进行实时交互,那么通过实时渲染的方式,渲染数字人,直接运行在显示设备的屏幕上和观看者互动,实现数字人的行走移动展示功能。
本申请实施例提供一种虚拟对象的驱动装置,图6为本申请实施例提供的虚拟对象的驱动装置的组成结构示意图,如图6所示,所述虚拟对象的驱动装置600包括:
第一获取模块601,用于获取目标对象的当前活动信息;其中,所述目标对象包括与显示设备展示的虚拟对象进行交互的真实对象;
第一确定模块602,用于根据所述当前活动信息,确定所述虚拟对象的运动状态;
第一驱动模块603,用于以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应。
在一些可能的实现方式中,所述当前活动信息包括以下至少一种:所述目标对象的运动信息、姿态信息和属性信息。
在一些可能的实现方式中,所述运动信息包括运动速度以及运动方式;所述第一确定模块602,包括:
第一确定子模块,用于根据所述目标对象的运动速度,确定所述虚拟对象的运动速度;
第二确定子模块,用于根据所述目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一,确定所述虚拟对象的运动姿态;其中,所述运动姿态包括所述虚拟对象的运动方式和肢体动作;
第三确定子模块,用于将所述虚拟对象按照所述虚拟对象的运动速度执行的所述运动姿态,确定为所述虚拟对象的运动状态。
在一些可能的实现方式中,所述第一驱动模块603,包括:
第四确定子模块,用于根据所述运动状态,确定在所述显示设备上渲染所述虚拟对象的渲染速度;
第一渲染子模块,用于以所述渲染速度,渲染生成所述虚拟对象响应于所述当前活动信息的响应动画,并在所述显示设备上展示所述响应动画。
在一些可能的实现方式中,所述第一渲染子模块,包括:
第一确定单元,用于根据所述运动状态和所述显示设备的显示参数,确定用于渲染所述虚拟对象的渲染参数;
第一渲染单元用于根据所述渲染参数,以所述渲染速度,对所述虚拟对象进行渲染,生成所述虚拟对象响应于所述当前活动信息的所述响应动画。
在一些可能的实现方式中,所述装置还包括:
第二确定模块,用于基于所述目标对象的当前活动信息,确定所述目标对象的运动起始时刻;
第三确定模块,用于根据所述运动起始时刻,确定对所述虚拟对象进行渲染的起始时刻。
在一些可能的实现方式中,所述装置还包括:
第二获取模块,用于获取多帧场景图像;
第四确定模块,用于根据所述多帧场景图像中出现的所述目标对象的画面内容,确定所述目标对象的移动距离和移动速度;
第五确定模块,用于根据所述移动距离和所述移动速度,确定所述目标对象的运动信息。
在一些可能的实现方式中,所述显示设备至少包括以下之一:具有沿着预设滑动轨道进行移动的显示屏的第一显示设备;具有屏幕尺寸超过预设尺寸的显示屏的第二显示设备。
在一些可能的实现方式中,在所述显示设备为所述第一显示设备的情况下,所述装置还包括:
第六确定模块,用于根据所述虚拟对象的运动速度,确定所述第一显示设备的移动速度;
第二驱动模块,用于以所述虚拟对象的运动速度,驱动所述虚拟对象对所述当前活动信息的响应的同时,控制所述第一显示设备的显示屏以所述移动速度进行移动。
在一些可能的实现方式中,所述装置还包括:
第七确定模块,用于确定所述多帧场景图像中出现的所述目标对象的画面内容;
第八确定模块,用于如果所述画面内容非空,根据所述画面内容,确定所述目标对象的活动状态;其中,所述活动状态至少包括以下之一:运动状态和静止状态;
第一展示模块,用于如果所述画面内容为空,或所述目标对象的活动状态为所述静止状态,从存储虚拟对象的预设响应动画的动画库中获取与所述静止状态相匹配的目标预设响应动画,将所述目标预设响应动画展示在所述显示设备上。
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的虚拟对象的驱动方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台显示设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令用于实现本申请实施例提供的虚拟对象的驱动方法中的步骤。
相应的,本申请实施例再提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令用于实现上述实施例提供的虚拟对象的驱动方法的步骤。
相应的,本申请实施例提供一种显示设备,图7为本申请实施例提供的显示设备的结构示意图,如图7所示,所述显示设备700包括:一个处理器701、至少一个通信接口702、存储器703和至少一个通信总线704。其中,通信总线704配置为实现这些组件之间的连接通信。其中,观看者接口可以包括显示屏,通信接口702可以包括标准的有线接口和无线接口。其中所述处理器701,配置为执行存储器中图像处理程序,以实现上述实施例提供的虚拟对象的驱动方法的步骤。
以上显示设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请显示设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种虚拟对象的驱动方法,其特征在于,所述方法包括:
获取目标对象的当前活动信息;其中,所述目标对象包括与显示设备展示的虚拟对象进行交互的真实对象;
根据所述当前活动信息,确定所述虚拟对象的运动状态;
以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应。
2.根据权利要求1中所述的方法,其特征在于,所述当前活动信息包括以下至少一种:所述目标对象的运动信息、姿态信息和属性信息。
3.根据权利要求2中所述的方法,其特征在于,所述运动信息包括运动速度以及运动方式;所述根据所述当前活动信息,确定所述虚拟对象的运动状态,包括:
根据所述目标对象的运动速度,确定所述虚拟对象的运动速度;
根据所述目标对象的运动方式、所述姿态信息和所述属性信息中的至少之一,确定所述虚拟对象的运动姿态;其中,所述运动姿态包括所述虚拟对象的运动方式和肢体动作;
将所述虚拟对象按照所述虚拟对象的运动速度执行的所述运动姿态,确定为所述虚拟对象的运动状态。
4.根据权利要求1至3任一所述的方法,其特征在于,所述以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应,包括:
根据所述运动状态,确定在所述显示设备上渲染所述虚拟对象的渲染速度;
以所述渲染速度,渲染生成所述虚拟对象响应于所述当前活动信息的响应动画,并在所述显示设备上展示所述响应动画。
5.根据权利要求4所述的方法,其特征在于,所述以所述渲染速度,渲染生成所述虚拟对象响应于所述当前活动信息的响应动画,包括:
根据所述运动状态和所述显示设备的显示参数,确定用于渲染所述虚拟对象的渲染参数;
根据所述渲染参数,以所述渲染速度,对所述虚拟对象进行渲染,生成所述虚拟对象响应于所述当前活动信息的所述响应动画。
6.根据权利要求4或5所述的方法,其特征在于,所述以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应之前,所述方法还包括:
基于所述目标对象的当前活动信息,确定所述目标对象的运动起始时刻;
根据所述运动起始时刻,确定对所述虚拟对象进行渲染的起始时刻。
7.根据权利要求2至6任一中所述的方法,其特征在于,所述方法还包括:
获取多帧场景图像;
根据所述多帧场景图像中出现的所述目标对象的画面内容,确定所述目标对象的移动距离和移动速度;
根据所述移动距离和所述移动速度,确定所述目标对象的运动信息。
8.根据权利要求1至7任一项中所述的方法,其特征在于,所述显示设备至少包括以下之一:具有沿着预设滑动轨道进行移动的显示屏的第一显示设备;具有屏幕尺寸超过预设尺寸的显示屏的第二显示设备。
9.根据权利要求8中所述的方法,其特征在于,在所述显示设备为所述第一显示设备的情况下,所述方法还包括:
根据所述虚拟对象的运动速度,确定所述第一显示设备的移动速度;
以所述虚拟对象的运动速度,驱动所述虚拟对象对所述当前活动信息的响应的同时,控制所述第一显示设备的显示屏以所述移动速度进行移动。
10.根据权利要求1至9任一中所述的方法,其特征在于,所述方法还包括:
确定所述多帧场景图像中出现的所述目标对象的画面内容;
如果所述画面内容非空,根据所述画面内容,确定所述目标对象的活动状态;其中,所述活动状态至少包括以下之一:运动状态和静止状态;
如果所述画面内容为空,或所述目标对象的活动状态为所述静止状态,从存储虚拟对象的预设响应动画的动画库中获取目标预设响应动画,将所述目标预设响应动画展示在所述显示设备上。
11.一种虚拟对象的驱动装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标对象的当前活动信息;其中,所述目标对象包括与显示设备展示的虚拟对象进行交互的真实对象;
第一确定模块,用于根据所述当前活动信息,确定所述虚拟对象的运动状态;
第一驱动模块,用于以所述运动状态,在所述显示设备上展示所述虚拟对象对所述当前活动信息的响应。
12.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令被执行后,能够实现权利要求1至10任一项所述的方法步骤。
13.一种显示设备,其特征在于,所述显示设备包括存储器和处理器,所述存储器上存储有计算机可执行指令,所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至10任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010658912.3A CN111857335A (zh) | 2020-07-09 | 2020-07-09 | 虚拟对象的驱动方法、装置、显示设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010658912.3A CN111857335A (zh) | 2020-07-09 | 2020-07-09 | 虚拟对象的驱动方法、装置、显示设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111857335A true CN111857335A (zh) | 2020-10-30 |
Family
ID=73152551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010658912.3A Pending CN111857335A (zh) | 2020-07-09 | 2020-07-09 | 虚拟对象的驱动方法、装置、显示设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111857335A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112860068A (zh) * | 2021-02-10 | 2021-05-28 | 北京百度网讯科技有限公司 | 人机交互方法、装置、电子设备、介质和计算机程序产品 |
CN113888677A (zh) * | 2021-09-29 | 2022-01-04 | 广州歌神信息科技有限公司 | 虚拟对象的交互显示方法及装置 |
WO2023098090A1 (zh) * | 2021-11-30 | 2023-06-08 | 达闼机器人股份有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
WO2023103380A1 (zh) * | 2021-12-07 | 2023-06-15 | 达闼机器人股份有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104076920A (zh) * | 2013-03-28 | 2014-10-01 | 索尼公司 | 信息处理设备、信息处理方法及存储介质 |
CN105892651A (zh) * | 2016-03-28 | 2016-08-24 | 联想(北京)有限公司 | 一种虚拟对象的显示方法和电子设备 |
KR101919077B1 (ko) * | 2017-08-24 | 2018-11-16 | 에스케이텔레콤 주식회사 | 증강 현실 표시 방법 및 장치 |
CN110991327A (zh) * | 2019-11-29 | 2020-04-10 | 深圳市商汤科技有限公司 | 交互方法及装置、电子设备和存储介质 |
-
2020
- 2020-07-09 CN CN202010658912.3A patent/CN111857335A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104076920A (zh) * | 2013-03-28 | 2014-10-01 | 索尼公司 | 信息处理设备、信息处理方法及存储介质 |
CN105892651A (zh) * | 2016-03-28 | 2016-08-24 | 联想(北京)有限公司 | 一种虚拟对象的显示方法和电子设备 |
KR101919077B1 (ko) * | 2017-08-24 | 2018-11-16 | 에스케이텔레콤 주식회사 | 증강 현실 표시 방법 및 장치 |
CN110991327A (zh) * | 2019-11-29 | 2020-04-10 | 深圳市商汤科技有限公司 | 交互方法及装置、电子设备和存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112860068A (zh) * | 2021-02-10 | 2021-05-28 | 北京百度网讯科技有限公司 | 人机交互方法、装置、电子设备、介质和计算机程序产品 |
CN113888677A (zh) * | 2021-09-29 | 2022-01-04 | 广州歌神信息科技有限公司 | 虚拟对象的交互显示方法及装置 |
WO2023098090A1 (zh) * | 2021-11-30 | 2023-06-08 | 达闼机器人股份有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
WO2023103380A1 (zh) * | 2021-12-07 | 2023-06-15 | 达闼机器人股份有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111857335A (zh) | 虚拟对象的驱动方法、装置、显示设备和存储介质 | |
US11335379B2 (en) | Video processing method, device and electronic equipment | |
WO2019216419A1 (ja) | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 | |
TWI779343B (zh) | 狀態識別方法、裝置、電子設備及電腦可讀儲存介質 | |
CN111324253B (zh) | 虚拟物品交互方法、装置、计算机设备及存储介质 | |
US20230360184A1 (en) | Image processing method and apparatus, and electronic device and computer-readable storage medium | |
CN105339867A (zh) | 使用视觉逼真的对象显示 | |
CN111880720B (zh) | 虚拟显示方法、装置、设备和计算机可读存储介质 | |
CN103858074A (zh) | 经由3d显示器与装置交互的系统和方法 | |
KR20210124312A (ko) | 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체 | |
WO2018142756A1 (ja) | 情報処理装置及び情報処理方法 | |
CN113507621A (zh) | 直播方法、装置、系统、计算机设备以及存储介质 | |
WO2023273500A1 (zh) | 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质 | |
CN111638784B (zh) | 人脸表情互动方法、互动装置以及计算机存储介质 | |
WO2023030010A1 (zh) | 交互方法、电子设备及存储介质 | |
CN108038726A (zh) | 物品展示方法及装置 | |
US20210166461A1 (en) | Avatar animation | |
US11889222B2 (en) | Multilayer three-dimensional presentation | |
CN113709549A (zh) | 特效数据包生成、图像处理方法、装置、设备及存储介质 | |
CN113920167A (zh) | 一种图像处理方法、装置、存储介质及计算机系统 | |
CN110716641A (zh) | 交互方法、装置、设备以及存储介质 | |
CN109658167A (zh) | 试妆镜设备及其控制方法、装置 | |
CN113946223A (zh) | 一种采用显示屏的旅游互动方法 | |
JPWO2017037952A1 (ja) | プログラム、記録媒体、コンテンツ提供装置及び制御方法 | |
WO2023141340A1 (en) | A user controlled three-dimensional scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |