CN111880720A - 虚拟显示方法、装置、设备和计算机可读存储介质 - Google Patents

虚拟显示方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN111880720A
CN111880720A CN202010763221.XA CN202010763221A CN111880720A CN 111880720 A CN111880720 A CN 111880720A CN 202010763221 A CN202010763221 A CN 202010763221A CN 111880720 A CN111880720 A CN 111880720A
Authority
CN
China
Prior art keywords
virtual
display screen
display
image
virtual character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010763221.XA
Other languages
English (en)
Other versions
CN111880720B (zh
Inventor
张子隆
孙林
许亲亲
栾青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010763221.XA priority Critical patent/CN111880720B/zh
Publication of CN111880720A publication Critical patent/CN111880720A/zh
Priority to KR1020227026538A priority patent/KR20220116056A/ko
Priority to JP2022527984A priority patent/JP2023501642A/ja
Priority to PCT/CN2021/095583 priority patent/WO2022022029A1/zh
Application granted granted Critical
Publication of CN111880720B publication Critical patent/CN111880720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例提供了一种虚拟显示方法、装置、设备和计算机可读存储介质,所述方法包括:获取控制信息;根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动;根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;在所述显示屏上显示所述虚拟效果图像。通过本公开增加了显示的灵活性,提升了显示效果。

Description

虚拟显示方法、装置、设备和计算机可读存储介质
技术领域
本公开涉及图像处理技术,尤其涉及一种虚拟显示方法、装置、设备和计算机可读存储介质。
背景技术
目前,对于一些大型展会,如历史文物展示、汽车展示、工地楼体展示或建筑规划沙盘展示等场景,经常需要展示展品,并对展品等其他物品进行讲解。相关技术中,已出现在播放讲解录音的同时,在屏幕上显示虚拟人的方案。然而,相关技术中,在展品讲解或其他实际场景中,对虚拟人以及展品的显示模式单一,显示方式不够灵活。
发明内容
本公开实施例提供一种虚拟显示方法、装置、设备和计算机可读存储介质。
本公开的技术方案是这样实现的:
本公开实施例提供一种虚拟显示方法,包括:
获取控制信息;根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动;根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;在所述显示屏上显示所述虚拟效果图像。
上述方法中,所述获取控制信息,包括:接收针对终端的触控操作;基于所述触控操作,生成所述控制信息。
上述方法中,所述获取控制信息,包括:通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像;根据所述多帧交互图像,确定所述多帧交互图像中的目标交互对象的第二移动信息;其中,所述第二移动信息作为所述控制信息。
上述方法中,所述第二移动信息包括所述目标交互对象的真实移动方向和/或真实移动速度;所述根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动,包括:根据所述目标交互对象的真实移动方向和/或真实移动速度,确定第一移动方向和/或第一移动速度;其中,所述第一移动方向和/或所述第一移动速度为第一移动信息;所述真实移动速度与所述第一移动速度成正比;按照所述第一移动方向和/或所述第一移动速度,控制所述显示屏进行移动。
上述方法中,所述第一移动信息包括所述显示屏的第一移动速度;所述虚拟对象包括:虚拟人物;所述根据第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像,包括:基于所述第一移动速度,确定所述虚拟人物的第一动作数据;其中,不同的第一移动速度对应不同的第一动作数据;基于所述第一动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第一动作效果;所述虚拟效果图像包括所述第一动作效果。
上述方法中,所述第一动作数据包括以下至少一种:
虚拟人物的步伐尺度;
虚拟人物的步伐频率;
虚拟人物的四肢的摆动幅度;
虚拟人物的四肢的摆动频率;
虚拟人物的预设指示动作数据。
上述方法中,所述第一移动信息包括显示屏的第一移动方向;所述虚拟对象包括:虚拟人物;所述根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像,包括:基于所述第一移动方向,确定所述虚拟人物的第二动作数据;基于所述第二动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第二动作效果;所述虚拟效果图像包括所述第二动作效果。
上述方法中,所述第二动作效果包括所述虚拟人物的转身动作;所述基于所述第一移动方向,确定所述虚拟人物的第二动作数据,包括:基于所述第一移动方向,确定所述虚拟人物的目标朝向;所述目标朝向与所述第一移动方向相同;若所述虚拟人物的当前朝向与所述目标朝向不同,则将所述当前朝向切换为目标朝向,得到所述虚拟人物的朝向切换信息;根据所述朝向切换信息,确定所述第二动作数据。
上述方法中,所述方法还包括:在所述显示屏处于静止的情况下,通过第二图像采集装置,采集真实场景图像;识别所述真实场景图像的图像内容,得到目标展示对象;获取所述目标展示对象的虚拟展示数据,并对所述虚拟展示数据和虚拟对象进行渲染得到虚拟展示图像;在所述显示屏上显示所述虚拟展示图像与所述真实场景相叠加的增强现实效果。
上述方法中,所述通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像,包括:通过第一图像采集装置,采集真实场景的多帧图像;从所述多帧图像中识别多个交互对象;从所述多个交互对象中确定所述目标交互对象;将所述多帧图像中包括所述目标交互对象的图像作为所述多帧交互图像。
上述方法中,所述图像显示设备的显示屏幕为透明显示屏或者非透明显示屏。
本公开实施例提供一种虚拟显示装置,包括:
获取模块,用于获取控制信息;
控制模块,用于根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动;
渲染模块,用于根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;
显示模块,用于在所述显示屏上显示所述虚拟效果图像。
上述装置中,所述获取控制信息,包括:接收针对终端的触控操作;基于所述触控操作,生成所述控制信息。
上述装置中,所述获取控制信息,包括:通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像;根据所述多帧交互图像,确定所述多帧交互图像中的目标交互对象的第二移动信息;其中,所述第二移动信息作为所述控制信息。
上述装置中,所述第二移动信息包括所述目标交互对象的真实移动方向和/或真实移动速度;所述控制模块,还用于根据所述目标交互对象的真实移动方向和/或真实移动速度,确定第一移动方向和/或第一移动速度;其中,所述第一移动方向和/或所述第一移动速度为第一移动信息;所述真实移动速度与所述第一移动速度成正比;按照所述第一移动方向和/或所述第一移动速度,控制所述显示屏进行移动。
上述装置中,所述第一移动信息包括所述显示屏的第一移动速度;所述虚拟对象包括:虚拟人物;所述渲染模块,还用于基于所述第一移动速度,确定所述虚拟人物的第一动作数据;其中,不同的第一移动速度对应不同的第一动作数据;基于所述第一动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第一动作效果;所述虚拟效果图像包括所述第一动作效果。
上述装置中,所述第一动作数据包括以下至少一种:
虚拟人物的步伐尺度;
虚拟人物的步伐频率;
虚拟人物的四肢的摆动幅度;
虚拟人物的四肢的摆动频率;
虚拟人物的预设指示动作数据。
上述装置中,所述第一移动信息包括显示屏的第一移动方向;所述虚拟对象包括:虚拟人物;所述渲染模块,还用于基于所述第一移动方向,确定所述虚拟人物的第二动作数据;基于所述第二动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第二动作效果;所述虚拟效果图像包括所述第二动作效果。
上述装置中,所述第二动作效果包括所述虚拟人物的转身动作;所述渲染模块,还用于基于所述第一移动方向,确定所述虚拟人物的目标朝向;所述目标朝向与所述第一移动方向相同;若所述虚拟人物的当前朝向与所述目标朝向不同,则将所述当前朝向切换为目标朝向,得到所述虚拟人物的朝向切换信息;根据所述朝向切换信息,确定所述第二动作数据。
上述装置中,还包括:采集模块,用于在所述显示屏处于静止的情况下,通过第二图像采集装置,采集真实场景图像;识别模块,用于识别所述真实场景图像的图像内容,得到目标展示对象;所述渲染模块,还用于获取所述目标展示对象的虚拟展示数据,并对所述虚拟展示数据和虚拟对象进行渲染得到虚拟展示图像;在所述显示屏上显示所述虚拟展示图像与所述真实场景相叠加的增强现实效果。
上述装置中,所述采集模块,还用于通过第一图像采集装置,采集真实场景的多帧图像;从所述多帧图像中识别多个交互对象;从所述多个交互对象中确定所述目标交互对象;将所述多帧图像中包括所述目标交互对象的图像作为所述多帧交互图像。
上述装置中,所述显示屏为透明显示屏或者非透明显示屏。
本公开实施例提供一种显示设备,包括:
显示屏,用于在所述显示设备上显示虚拟效果图像;
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序时,结合所述显示屏,实现上述虚拟显示方法。
本公开实施例提供一种计算机可读存储介质,存储有计算机程序,用于被处理器执行时,实现上述虚拟显示方法。
本公开实施例具有以下有益效果:
本公开实施例所提供了一种虚拟显示方法、装置、设备和计算机可读存储介质,获取控制信息;根据控制信息,确定显示屏的第一移动信息,控制显示屏按照第一移动信息进行移动;根据显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;在显示屏上显示虚拟效果图像;也就是说,可以根据控制信息控制显示屏移动,使虚拟对象对显示屏的移动呈现相应的虚拟效果图像,增加了显示的灵活性,提升了显示效果。
附图说明
图1是本公开实施例提供的一个可选的虚拟显示系统架构的结构示意图;
图2为本公开实施例提供的一种可选的应用场景示意图;
图3为本公开实施例提供的一种可选的虚拟显示方法流程图;
图4为本公开实施例提供的一种可选的虚拟人物的步伐尺度示意图;
图5为本公开实施例提供的一种可选的虚拟人物的步伐尺度示意图;
图6为本公开实施例提供的一种可选的虚拟人物的朝向示意图;
图7为本公开实施例提供的一种可选的虚拟人物的朝向示意图;
图8为本公开实施例提供的一种可选的显示效果的示意图;
图9为本公开实施例提供的一种可选的显示效果的示意图;
图10为本公开实施例提供的一种虚拟显示装置的组成结构示意图;
图11为本公开实施例提供的一种显示设备的组成结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,所描述的实施例不应视为对本公开的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
本公开实施例提供一种虚拟显示方法、装置、设备和计算机可读存储介质,能够提高显示方式的灵活性,本公开实施例提供的虚拟显示方法应用于显示设备中,下面说明本公开实施例提供的显示设备的示例性应用,本公开实施例提供的显示设备可以实施为AR眼镜、笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的终端。在公开实施例中,显示设备包括显示屏幕,其中,显示屏幕实施为可移动的显示屏幕,例如显示屏幕可以在预设滑动轨道上移动,或者在可移动的滑动支架上实现移动,或者用户手持显示设备移动,以实现显示屏幕的移动。
下面,将说明显示设备实施为终端时示例性应用。当显示设备实施为终端时,可以控制显示屏按照第一移动信息进行移动,并根据第一移动信息对虚拟对象进行渲染,得到虚拟效果图像;终端也可以与云端服务器进行交互,根据第一移动信息,从预存在云端服务器的预设的虚拟效果图像数据库中确定虚拟效果数据。
参见图1,图1是本公开实施例提供的虚拟显示系统100的一个可选的架构示意图,为实现支撑一个虚拟显示应用,终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。终端400可以是可移动的显示屏,可移动的显示屏可以在预设轨道上移动。
终端400用于获取控制信息;根据控制信息,确定显示屏的第一移动信息,控制显示屏按照第一移动信息进行移动;根据显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;在显示屏410上显示虚拟效果图像。
示例性地,当终端400实施为手机时,可以启动手机上的预设显示应用,通过预设显示应用获取控制信息,进而确定第一移动信息,基于第一移动信息向服务器200发起数据请求,服务器200接收到数据请求后,从预存在数据库500中的预设虚拟效果图像中确定与第一移动信息匹配的虚拟效果数据;并将虚拟效果数据发回给终端400。终端400得到服务器反馈的虚拟效果数据之后,通过渲染工具根据虚拟效果数据渲染出虚拟效果图像,将虚拟效果图像呈现在终端400的图形界面上。
在一些实施例中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本公开实施例中不做限制。
图2为本公开实施例提供的一种应用场景的示意图,如图2所示,显示设备可以包括可移动的显示屏201,该可移动的显示屏201可以设置在展会的多个展品的周围,可移动的显示屏201上配置有后置摄像头,可以用于拍摄展品,可移动的显示屏201上可以显示展品、关于展品的虚拟效果以及虚拟人物。展品的虚拟效果可以是展品的介绍信息、展品的内部细节展示信息、展品的轮廓线、展品的虚拟讲解员中的至少一种。可移动的显示屏201上还配置有前置摄像头,用于拍摄位于可移动的显示屏201前的目标交互对象(例如参展者),进而,可移动的显示屏201能够识别拍摄图像中目标交互对象发出的指令,从而实现对目标交互对象控制显示屏移动,并根据目标交互对象的指令与虚拟人物交互,并展示展品的效果。
本公开实施例提供了一种虚拟显示方法,所述虚拟显示方法应用于显示设备中,显示设备包括可移动的显示屏;参见图3,图3是本公开实施例提供的一个可选的虚拟显示方法的流程图,将结合图3示出的步骤进行说明。
S301、获取控制信息;
在本公开实施例中,显示设备可以获取控制信息,基于控制信息控制显示屏移动。
这里,控制信息可以是显示屏被用户控制的控制信息;控制信息可以包括用于通过终端对显示屏操作信息,例如向左移动、向右移动、加速、减速、停止等;控制信息也可以包括用户的行走、静止、手臂摆动等用户的移动信息,对此,本公开实施例不作限制。
在本公开的实施例中,获取控制信息的方式可以包括:1)通过传感器感应用户的移动信息;2)通过摄像头捕捉用户的移动信息;3)接收用户在终端上进行操作的操作信息;对此,本公开实施例不作限制。
S302、根据控制信息,确定显示屏的第一移动信息,控制显示屏按照第一移动信息进行移动;
在本公开实施例中,显示设备获取到控制信息后,可以根据控制信息确定出第一移动信息;第一移动信息用于表征显示屏的移动情况,第一移动信息可以包括显示屏的第一移动方向和/或显示屏的第一移动速度。在确定出第一移动信息后,控制显示屏按照第一移动信息进行移动。
示例性地,控制信息为用户操作显示屏向左移动,则第一移动信息可以为显示屏向左移动,并且按照预设的速度移动;或者,控制信息为用户手臂指向左侧的动作,第一移动信息可以为显示屏向左移动,并且按照预设的速度移动;或者,控制信息为用户向左行走,第一移动信息可以为显示屏向左移动,并且跟随用户的速度移动。
S303、根据显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;
在本公开实施例中,显示屏上显示有虚拟对象;根据第一移动信息需要对虚拟对象进行渲染,从而呈现虚拟效果图像;通过虚拟效果图像实现虚拟对象对显示屏的第一移动信息的相应的响应情况。
在本公开实施例中,虚拟对象可以包括虚拟人物、是虚拟动物、虚拟物品、虚拟卡通形象等等,对此,本公开实施例不作限制。
在本公开实施例中,显示设备可以根据显示屏的第一移动信息,对虚拟对象进行渲染,使不同的显示屏的第一移动信息可以对应不同的虚拟效果图像,即第一移动信息与虚拟效果图像相匹配。
示例性地,显示屏按照第一移动信息静止不动,则虚拟效果图像可以为虚拟对象静止不动;显示屏按照第一移动信息开始移动,则虚拟效果图像可以为虚拟对象按照相同的方向和速度进行移动;也就是说,用户控制显示屏静止时,则虚拟对象静止;用户控制显示屏移动时,则虚拟对象跟随显示屏移动。
S304、在显示屏上显示虚拟效果图像。
在本公开实施例中,在得到虚拟效果图像后,将虚拟效果图像显示在显示屏上,这样,用户可以通过显示屏观看虚拟对象对显示屏第一移动信息响应的情况。
可以理解的是,显示设备在获取控制信息后,可以基于控制信息控制显示屏按照第一移动信息进行移动,进而在显示屏上显示与第一的移动信息匹配的虚拟对象的虚拟效果图像,增加了显示的灵活性,提高了显示效果。
在本公开的一些实施例中,S301中获取控制信息,可以包括:
S401、接收针对终端的触控操作;
在本公开实施例中,可以接收用户在终端上的触控操作,通过触控操作控制显示屏移动。
其中,终端可以是显示设备本身;也可以是与显示设备建立连接关系的,使显示设备可以接收到用户对终端的触控操作的终端;对此,本公开实施例不作限制。
这里,终端可以为手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理、便捷式媒体播放器、智能手环等可穿戴设备、虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备、计步器等;对此,本公开实施例不作限制。
S402、基于触控操作,生成控制信息。
在本公开实施例中,显示设备接收到用户对终端的触控操作后,可以基于触控操作生成对应的控制信息。
在本公开实施例中,显示设备接收用户的第一触控操作,则生成控制信息指示显示屏向左移动;显示设备接收用户的第二触控操作,则生成控制信息指示显示屏向右移动;显示设备接收用户的第三触控操作,则生成控制信息指示显示屏静止;在移动过程中,显示设备接收用户的第四触控操作,则生成控制信息指示显示屏加速;显示设备接收用户的第五触控操作,则生成控制信息指示显示屏减速。
这里,第一触控操作、第二触控操作、第二触控操作、第三触控操作、第四触控操作和第五触控操作均可以根据需要进行设置,在此,本公开实施例不作限制。
示例性地,显示设备接收用户在手机上向左滑动的操作,则生成控制信息指示显示屏向左移动;进而确定显示屏第一移动信息为按照初始预设速度0.2m/s向左移动;在显示屏向左移动过程中,再次接收用户向左滑动的操作,则生成控制信息指示显示屏加速移动;进而确定显示屏第一移动信息为按照第二预设速度0.4m/s向左移动;其中,第二预设速度可以为初始预设速度的基础上增加预设速度步长0.2m/s;同时,也可以设置速度上限为0.8m/s,这样,即使用户在手机上多次向左滑动,显示屏最大移动速度不会超过0.8m/s。
可以理解的是,显示设备可以基于用户对终端的触控操作,控制显示屏按照第一移动信息进行移动,进而根据第一移动信息对虚拟对象进行渲染,在显示屏上显示与第一移动信息匹配的虚拟效果图像,增加了显示的灵活性,提高了显示效果。
在本公开的一些实施例中,S301中获取控制信息的实现,可以包括:
S501、通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像;
在本公开实施例中,为了获取用户的移动信息,将用户的移动信息作为控制信息控制显示屏移动;可以在显示设备上设置第一图像采集装置,拍摄针对第一图像采集装置的真实场景图像,将用户作为控制显示屏移动的目标交互对象,采集包括目标交互对象的多帧交互图像;对比多帧交互图像中目标交互对象在画面中的动作变化情况,得到目标交互对象的移动信息。
在本公开的一些实施例中,S501中通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像的实现,可以包括:
S5011、通过第一图像采集装置,采集真实场景的多帧图像;
在本公开实施例中,显示设备通过第一图像采集装置拍摄真实场景图像后,可以得到多帧图像;多帧图像中每一帧图像可能包括目标交互对象,也可能不包括目标交互对象。
这里,第一图像采集装置可以为显示屏上的摄像头,跟随显示屏移动而实时采集目标交互对象的移动动作;也可以为固定摄像头,采集目标交互对象静止时的手臂动作,对此,本公开实施例不作限制。
S5012、从多帧图像中识别多个交互对象;
S5013、从多个交互对象中确定目标交互对象;
在本公开实施例中,显示设备需要先对多帧图像中的交互对象进行识别。多帧图像中每一帧图像可能包括交互对象,也可能不包括交互对象;在不包括交互对象的情况下,图像中也不会存在目标交互对象。
在本公开实施例中,显示设备可以识别到多个交互对象,则显示设备需要进一步从多个交互对象中确定出目标交互对象。
在本公开实施例中,显示设备可以根据预设选取条件从多个交互对象中确定出目标交互对象;例如,显示设备可以将多个交互对象中距离显示屏最近的交互对象确定为目标交互对象;显示设备也可以提前建立目标交互对象与显示设备的关联关系,这样,显示设备可以将多个交互对象与目标交互对象进行对比,从而确定多个交互对象中的目标交互对象;显示设备还可以将多个交互对象中接收视线数量最多的交互对象作为目标交互对象,例如多个观看者注视讲解人员,将讲解人员作为目标交互对象;这里,预设选取条件可以根据需要设置,对比,本公开实施例不作限制。
S5014、将多帧图像中包括目标交互对象的图像作为多帧交互图像。
在本公开实施例中,显示设备从多个识别对象中确定出目标交互对象之后,可以将包括目标交互对象的多帧图像作为多帧交互图像;多帧交互图像中每一帧图像都包括目标交互对象。
可以理解的是,显示设备通过第一图像采集装置拍摄真实场景图像,从而获取多帧图像,对多帧图像识别出交互对象后,再从交互对象中确定出目标交互对象,进而获得多帧交互图像。
S502、根据多帧交互图像,确定多帧交互图像中的目标交互对象的第二移动信息;其中,第二移动信息作为控制信息。
在本公开实施例中,显示设备在获取多帧交互图像后,可以根据多帧交互图像确定目标交互对象的移动信息,即第二移动信息;将第二移动信息作为控制信息。
这里,第二移动信息可以包括目标交互对象的移动方向、移动速度、手臂移动方向、手臂移动速度等,对此,本公开实施例不作限制。
在本公开的一些实施例中,显示设备可以根据多帧交互图像中目标交互对象在画面中的变化,确定第二移动信息。
示例性地,显示屏上设置有前置摄像头,通过前置摄像头拍摄目标交互对象行走过程,通过对比目标交互对象在图像中的位置,确定目标交互对象与显示屏之间的距离;再通过多帧交互图像中目标交互对象在图像中的位置变化以及多帧交互图像的时间信息,确定目标交互对象的真实移动方向和真实移动速度,作为第二移动信息。
在本公开的一些实施例中,显示设备可以根据真实场景图像建立三维空间,根据多帧交互图像中目标交互对象在图像中的位置确定目标交互对象在三维空间中的坐标,进而根据目标交互对象在三维空间中坐标的变化情况,确定第二移动信息。
在本公开的一些实施例中,第二移动信息包括目标交互对象的真实移动方向和/或真实移动速度,则S302中根据控制信息,确定显示屏的第一移动信息,控制显示屏按照第一移动信息进行移动的实现,包括:
S601、根据目标交互对象的真实移动方向和/或真实移动速度,确定第一移动方向和/或第一移动速度;其中,第一移动方向和/或第一移动速度为第一移动信息;
在本公开实施例中,显示屏跟随目标交互对象的移动而移动;第二移动信息包括目标交互对象的真实移动方向和/或真实移动速度;这样,显示设备在获取第二移动信息后,可以根据目标交互对象的真实移动方向和/或真实移动速度确定显示屏的第一移动信息;第一移动信息包括第一移动方向和/或第一移动速度。
在本公开的一些实施例中,可以根据目标交互对象的移动方向确定显示屏的第一移动方向,将第一移动方向作为第一移动信息。
在本公开实施例中,显示设备将目标交互对象的移动方向在显示屏滑轨上投影的方向作为第一移动方向;例如,显示屏滑轨方向为向左和向右方向的延伸,当目标交互对象的移动方向为左向时,第一移动方向为左向;当目标交互对象的移动方向为左前向时,投影在滑轨上的方向为左向,第一移动方向为左向;当目标交互对象静止时,目标交互对象没有真实移动方向,则显示屏也没有第一移动方向,即显示屏也静止。
在本公开的一些实施例中,显示设备可以根据目标交互对象的移动速度确定显示屏的第一移动速度,将第一移动速度作为第一移动信息;其中,第一移动速度和真实移动速度成正比。
在本公开实施例中,可以将真实移动速度作为第一移动速度;也可以将真实移动速度划分为预设的多个速度范围,每个范围对应一个显示屏的移动速度,从而在确定真实移动速度所属的速度范围后,可以确定对应的第一移动速度;对于根据真实移动速度确定第一移动速度的方式,可以根据需要设置,对此,本公开实施例不作限制。
在本公开的一些实施例中,可以根据目标交互对象的移动方向确定显示屏的第一移动方向,再根据目标交互对象的移动速度确定显示屏的第一移动速度,从而确定显示屏的第一移动信息,将第一移动方向和第一移动速度作为第一移动信息。
S602、按照第一移动方向和/或第一移动速度,控制显示屏进行移动。
在本公开实施例中,在确定第一移动方向和/或第一移动速度后,控制显示屏根据第一移动方向和/或第一移动速度进行移动。
在本公开的一些实施例中,第一移动信息为第一移动方向,显示设备控制显示屏按照第一移动方向和预设移动速度进行移动;也就是说,目标交互对象移动时,显示屏按照第一移动方向和预设移动速度进行移动;目标交互对象静止不动时,显示屏静止不动。
在本公开的一些实施例中,第一移动信息为第一移动速度,显示设备控制显示屏按照预设移动方向和第一移动速度进行移动。
示例性地,目标交互对象可以从左向右移动,进而依次观看各个展品,则显示屏的第一移动方向可以预设为从左向右移动,最左侧为显示屏移动的初始位置;这样,在显示设备确定了显示屏的第一移动速度的情况下,显示屏将按照第一移动速度向右移动;当目标交互对象超出第一图像采集装置的拍摄范围时,显示屏静止不动;移动至初始位置。
在本公开的一些实施例中,第一移动信息为第一移动方向和第一移动速度,显示设备控制显示屏按照第一移动方向和第一移动速度进行移动。由于真实移动速度与第一移动速度成正比,目标交互对象移动速度越快,显示屏的移动速度就越快;目标交互对象移动速度越慢,显示屏的移动速度也就越慢。
示例性地,目标交互对象的真实移动方向为左向,真实移动速度为0.3m/s,由此确定第一移动方向为左向,第一移动速度为0.3m/s;当真实移动速度提高至0.4m/s时,第一移动速度也为0.4m/s;由此,显示屏和目标交互对象向左同步移动。
在本公开的一些实施例中,第一移动信息包括显示屏的第一移动速度;虚拟对象包括:虚拟人物,S303中根据显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像的实现,可以包括:
S701、基于第一移动速度,确定虚拟人物的第一动作数据;其中,不同的第一移动速度对应不同的第一动作数据;
在本公开实施例中,在确定显示屏的第一移动速度后,可以基于第一移动速度确定虚拟人物的第一动作数据;第一动作数据表示虚拟人物移动的状态。当显示屏移动较快时,第一动作数据表示虚拟人物移动较快;当显示屏移动较慢时,第一动作数据表示虚拟人物移动较慢;当显示屏静止时,第一动作数据表示虚拟人物处于休闲状态。
在本公开的一些实施例中,第一动作数据包括以下至少一种:虚拟人物的步伐尺度;虚拟人物的步伐频率;虚拟人物的四肢的摆动幅度;虚拟人物的四肢的摆动频率;虚拟人物的预设指示动作数据。
在本公开实施例中,每一种第一动作数据可以设置多个数据,每个数据表示虚拟人物不同的移动速度;设置显示屏的第一移动速度和第一动作数据的对应关系,通过对应关系确定第一动作数据。
这里,第一移动速度可以与一种第一动作数据对应,也可以与多种第一动作数据对应,对此,本公开实施例不作限制。
示例性地,可以将第一移动速度按照不同的速度范围分类,每一类对应一个第一动作数据;以第一动作数据为步伐尺度为例,第一移动速度为(0.1-0.3)m/s时,对应步伐尺度为0.2m;第一移动速度为(0.3-0.5)m/s时,对应步伐尺度为0.4m。
需要说明的是,显示屏静止时,即第一移动速度为0,则确定第一动作数据为预设指示动作数据;预设指示动作数据表示虚拟人物处于休闲状态,预设指示动作数据可以包括:虚拟人物挥手的动作数据、虚拟人物自由踱步的动作数据、虚拟人物伸出手臂表示欢迎的动作数据等;对于预设指示动作数据可以根据需要设置,对此,本公开实施例不作限制。
S702、基于第一动作数据,对虚拟人物进行渲染,得到虚拟人物的第一动作效果;虚拟效果图像包括第一动作效果。
在本公开实施例中,在确定出第一动作数据后,基于第一动作数据对虚拟人物进行渲染,得到虚拟人物的第一动作效果;不同的第一动作数据可以得到不同的第一动作效果。
示例性地,通过不同的步伐尺度对虚拟人物渲染,得到的第一动作效果不同;步伐尺度0.2m和步伐尺度0.4m相比,对应的虚拟人物的第一动作效果中呈现出步伐大小不同;步伐尺度0.2m对应的第一动作效果参考图4,步伐尺度0.4m对应的第一动作效果参考图5,图5中虚拟人物的步伐尺度大于图4中的步伐尺度;也就是说,可以设置不同的步伐尺度对应不同的步伐大小,通过步伐大小体现虚拟人物的移动速度。
其中,通过预设指示动作数据对虚拟人物进行渲染,可以得到预设指示动作;例如虚拟人物挥手的动作、虚拟人物自由踱步的动作等。
可以理解的是,根据显示屏的第一移动速度对虚拟人物进行渲染,得到第一动作效果,通过第一动作效果的不同体现第一移动速度的差异;也就是说,目标交互对象移动速度越快,显示屏移动速度越快,则第一动作效果呈现出虚拟人物的移动速度越快,从而增加了显示的灵活性,提高了显示效果。
在本公开的一些实施例中,第一移动信息包括显示屏的第一移动方向;虚拟对象包括:虚拟人物;S303中根据显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像的实现,可以包括:
S801、基于第一移动方向,确定虚拟人物的第二动作数据;
在本公开实施例中,在确定显示屏的第一移动方向后,可以基于第一移动方向确定虚拟人物的第二动作数据;第二动作数据表示虚拟人物的目标朝向的切换过程。
在本公开实施例中,显示屏静止时,虚拟人物可以朝向目标交互者;也可以执行预设指示动作;如果显示屏开始移动,则虚拟人物可以从当前朝向切换为移动方向,再按照移动方向进行移动。
其中,第二动作数据可以包括虚拟人物转身方向,通过虚拟人物转身表示虚拟人物的移动反向发生改变;第二动作数据也可以为虚拟人物左侧/右侧手臂抬起;通过虚拟人物左侧手臂抬起表示虚拟人物移动方向为左向;这里,对于第二动作数据可以根据需要设置,对此,本公开实施例不作限制。
在本公开的一些实施例中,第二动作效果包括虚拟人物的转身动作;S801中基于第一移动方向,确定虚拟人物的第二动作数据的实现,可以包括:
S8011、基于第一移动方向,确定虚拟人物的目标朝向;目标朝向与第一移动方向相同;
在本公开实施例中,可以将显示屏的第一移动方向确定为虚拟人物的目标朝向;例如,第一移动方向为左向,则确定虚拟人物的目标朝向为左向;第一移动方向为右向,则确定虚拟人物的目标朝向为右向;显示屏静止,则确定虚拟人物的目标朝向为显示屏正前方。
S8012、若虚拟人物的当前朝向与目标朝向不同,则将当前朝向切换为目标朝向,得到虚拟人物的朝向切换信息;
在本公开实施例中,如果显示屏的第一移动方向发生变化,则虚拟人物的当前朝向与目标朝向不同,需要将虚拟人物从当前朝向切换为目标朝向,从而得到虚拟人物的朝向切换信息。
示例性地,显示屏从静止开始移动,则虚拟人物的当前朝向为显示屏正前方,目标朝向为右向,则朝向切换信息为从显示屏正前方切换为右向。
参考图6,图6为显示屏静止状态下虚拟人物的当前朝向为显示屏正前方,当显示屏从静止开始向右移动时,虚拟人物向右侧转身,转身后虚拟人物的朝向为右向,如图7所示。
S8013、根据朝向切换信息,确定第二动作数据。
在本公开实施例中,在确认朝向切换信息后,可以确定第二动作数据虚拟人物从当前方向转身面向目标朝向。
在本公开实施例中,当显示屏持续向一个方向移动的过程中,由于虚拟人物的当前朝向和目标朝向相同,不需要进行虚拟人物的朝向切换,因此,可以不进行虚拟人物的目标朝向的确定。
S802、基于第二动作数据,对虚拟人物进行渲染,得到虚拟人物的第二动作效果;虚拟效果图像包括第二动作效果。
在本公开实施例中,在确定出第二动作数据后,基于第二动作数据对虚拟人物进行渲染,得到虚拟人物的第二动作效果;不同的第二动作数据可以得到不同的第二动作效果。
示例性地,显示屏静止时,目标交互对象位于显示屏正前方,虚拟人物朝向显示屏正前方;当显示屏的第一移动方向为左向时,第二动作效果为虚拟人物向左转身;当显示屏的第一移动方向为右向时,则第二动作效果为为虚拟人物向右转身;当显示屏向右移动后停止,则第二动作效果为虚拟人物从朝向右侧转身朝向显示屏正前方。
可以理解的是,通过第一移动方向确定出第二动作数据,进而对虚拟人物渲染得到第二动作效果,通过第二动作效果显示显示屏的移动方向的变化,增加了显示灵活性,提高了显示效果。
基于上述实施例,本公开实施例提供一种虚拟显示方法,该方法可以包括:
S901、在显示屏处于静止的情况下,通过第二图像采集装置,采集真实场景图像;
S902、识别真实场景图像的图像内容,得到目标展示对象;
在本公开实施例中,显示设备还设置有第二图像采集装置,用于采集真实场景的图像;其中,真实场景可以是建筑物室内场景、街道场景、具体的物体等能够叠加虚拟对象的场景,通过在真实场景中叠加虚拟对象,来呈现增强现实(Augmented Reality,AR)的效果,对此,本公开实施例不作限制。
AR技术是一种将虚拟信息与真实世界巧妙融合的技术,用户可以通过AR设备观看到叠加在真实场景中的虚拟对象,比如叠加在真实的校园操场上的虚拟大树,叠加在天空中的虚拟飞翔小鸟,实现增强现实场景中对虚拟对象的呈现效果。
在本公开实施例中,在显示屏静止时,显示设备基于采集的真实场景图像进行识别,得到真实场景中的目标展示对象;则显示设备需要对目标展示对象以及虚拟对象进行渲染,得到虚拟展示对象。
需要说明的是,如果显示屏静止时,显示设基于真实场景图像没有识别到目标展示对象,则在显示屏上显示虚拟对象的预设指示动作。
S903、获取目标展示对象的虚拟展示数据,并对虚拟展示数据和虚拟对象进行渲染得到虚拟展示图像;
在本公开实施例中,在识别到目标展示对象后,显示设备需要获取目标展示对象的虚拟展示数据,对虚拟展示数据和虚拟对象进行渲染,得到虚拟展示图像。
示例性地,目标展示对象为文物,则文物的虚拟展示数据可以包括文物名称、尺寸、出土年代、文物说明、虚拟细节等;此时,虚拟人物可以作为对文物的讲解者进行展示,因此,显示设备还可以对虚拟人物进行渲染,使虚拟人物呈现预设讲解动作,并将虚拟人物的显示位置、和/或显示大小进行调整,避免虚拟人物遮挡文物。
S904、在显示屏上显示虚拟展示图像与真实场景相叠加的增强现实效果。
在本公开实施例中,在渲染后得到虚拟展示对象后,将虚拟展示对象和采集到的真实场景图像叠加,显示增强显示效果。
图8给出了一种显示效果的示意图,如图8所示,显示屏800静止时,确定的目标展示对象为文物804,并且,文物804在真实场景图像中位于图像右侧;则显示屏上显示的虚拟人物805位于显示屏800左侧,文物804位于显示屏右侧,文物804的虚拟展示数据包括:文物说明8041以及文物虚拟细节8042;其中,文物说明8041可以是“口径75.6厘米”。
基于前述实施例,在本公开的一些实施例中,显示设备的显示屏可以为透明显示屏或者非透明显示屏。
当显示设备的显示屏幕为非透明显示屏时,可以在非透明显示屏的背面(即未设置显示屏的一面)设置单目摄像头或双目摄像头,用于采集非透明显示屏背面对着的目标展示对象,并通过非透明显示屏正面的显示屏显示目标展示对象对应的真实场景图像与虚拟展示图像相叠加的增强现实AR效果。这样,目标交互对象可以位于非透明显示屏的正面,观看真实场景图像与虚拟展示图像相叠加的增强现实AR效果。
当显示设备的显示屏幕为透明显示屏时,可以在透明显示屏的一侧设置单目摄像头或双目摄像头,用于采集位于透明显示屏一侧的展示物体。显示设备通过识别采集到的目标展示对象,在透明的屏幕上显示目标展示对象对应的真实场景图像与虚拟展示图像相叠加的增强现实AR效果。基于此,参考图9所示显示效果示意图,目标交互对象可以透过透明显示屏观看到位于透明显示屏后面的目标展示对象,并从透明显示屏上观看到上述增强显示AR效果。
本公开实施例提供一种虚拟显示装置,图10为本公开实施例提供的虚拟显示装置的一个可选的组成结构示意图,如图10所示,该虚拟显示装置10包括:
获取模块1001,用于获取控制信息;
控制模块1002,用于根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动;
渲染模块1003,用于根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;
显示模块1004,用于在所述显示屏上显示所述虚拟效果图像。
在一些实施例中,所述获取控制信息,包括:接收针对终端的触控操作;基于所述触控操作,生成所述控制信息。
在一些实施例中,所述获取控制信息,包括:通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像;根据所述多帧交互图像,确定所述多帧交互图像中的目标交互对象的第二移动信息;其中,所述第二移动信息作为所述控制信息。
在一些实施例中,所述第二移动信息包括所述目标交互对象的真实移动方向和/或真实移动速度;所述控制模块1002,还用于根据所述目标交互对象的真实移动方向和/或真实移动速度,确定第一移动方向和/或第一移动速度;其中,所述第一移动方向和/或所述第一移动速度为第一移动信息;所述真实移动速度与所述第一移动速度成正比;按照所述第一移动方向和/或所述第一移动速度,控制所述显示屏进行移动。
在一些实施例中,所述第一移动信息包括所述显示屏的第一移动速度;所述虚拟对象包括:虚拟人物;所述渲染模块1003,还用于基于所述第一移动速度,确定所述虚拟人物的第一动作数据;其中,不同的第一移动速度对应不同的第一动作数据;基于所述第一动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第一动作效果;所述虚拟效果图像包括所述第一动作效果。
在一些实施例中,所述第一动作数据包括以下至少一种:
虚拟人物的步伐尺度;
虚拟人物的步伐频率;
虚拟人物的四肢的摆动幅度;
虚拟人物的四肢的摆动频率;
虚拟人物的预设指示动作数据。
在一些实施例中,所述第一移动信息包括显示屏的第一移动方向;所述虚拟对象包括:虚拟人物;所述渲染模块1003,还用于基于所述第一移动方向,确定所述虚拟人物的第二动作数据;基于所述第二动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第二动作效果;所述虚拟效果图像包括所述第二动作效果。
在一些实施例中,所述第二动作效果包括所述虚拟人物的转身动作;所述渲染模块1003,还用于基于所述第一移动方向,确定所述虚拟人物的目标朝向;所述目标朝向与所述第一移动方向相同;若所述虚拟人物的当前朝向与所述目标朝向不同,则将所述当前朝向切换为目标朝向,得到所述虚拟人物的朝向切换信息;根据所述朝向切换信息,确定所述第二动作数据。
在一些实施例中,还包括:采集模块1005(图中未示出),用于在所述显示屏处于静止的情况下,通过第二图像采集装置,采集真实场景图像;识别模块1006(图中未示出),用于识别所述真实场景图像的图像内容,得到目标展示对象;所述渲染模块1003,还用于获取所述目标展示对象的虚拟展示数据,并对所述虚拟展示数据和虚拟对象进行渲染得到虚拟展示图像;在所述显示屏上显示所述虚拟展示图像与所述真实场景相叠加的增强现实效果。
在一些实施例中,所述采集模块1005,还用于通过第一图像采集装置,采集真实场景的多帧图像;从所述多帧图像中识别多个交互对象;从所述多个交互对象中确定所述目标交互对象;将所述多帧图像中包括所述目标交互对象的图像作为所述多帧交互图像。
在一些实施例中,所述显示屏为透明显示屏或者非透明显示屏。
本公开实施例还提供一种显示设备,图11为本公开实施例提供的显示设备的一个可选的组成结构示意图,如图11所示,该显示设备11包括:
显示屏1101,用于在所述显示设备上显示虚拟效果图像;
存储器1102,用于存储计算机程序;
处理器1103,用于执行所述存储器1102中存储的计算机程序时,结合所述展示屏1101,实现上述实施例提供的虚拟显示方法的步骤。
展示设备11还包括:通信总线1104。通信总线1104配置为实现这些组件之间的连接通信。
存储器1102配置为存储由处理器1103计算机程序和应用,还可以缓存待处理器1103以及展示设备中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
处理器1103执行程序时实现上述任一项虚拟显示方法的步骤。处理器1103通常控制显示设备11的总体操作。
上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本公开实施例不作限制。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本公开存储介质和设备实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本公开的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
在本公开所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本公开实施例方案的目的。
另外,在本公开各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
或者,本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得设备自动测试线执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本公开所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本公开所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本公开的实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种虚拟显示方法,其特征在于,所述方法应用于显示设备,所述显示设备包括可移动的显示屏;所述方法包括:
获取控制信息;
根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动;
根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;
在所述显示屏上显示所述虚拟效果图像。
2.根据权利要求1所述的虚拟显示方法,其特征在于,所述获取控制信息,包括:
接收针对终端的触控操作;
基于所述触控操作,生成所述控制信息。
3.根据权利要求1所述的虚拟显示方法,其特征在于,所述获取控制信息,包括:
通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像;
根据所述多帧交互图像,确定所述多帧交互图像中的目标交互对象的第二移动信息;其中,所述第二移动信息作为所述控制信息。
4.根据权利要求3所述的虚拟显示方法,其特征在于,所述第二移动信息包括所述目标交互对象的真实移动方向和/或真实移动速度;所述根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动,包括:
根据所述目标交互对象的真实移动方向和/或真实移动速度,确定第一移动方向和/或第一移动速度;其中,所述第一移动方向和/或所述第一移动速度为第一移动信息;所述真实移动速度与所述第一移动速度成正比;
按照所述第一移动方向和/或所述第一移动速度,控制所述显示屏进行移动。
5.根据权利要求1至4任一项所述的显示方法,其特征在于,所述第一移动信息包括所述显示屏的第一移动速度;所述虚拟对象包括:虚拟人物;所述根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像,包括:
基于所述第一移动速度,确定所述虚拟人物的第一动作数据;其中,不同的第一移动速度对应不同的第一动作数据;
基于所述第一动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第一动作效果;所述虚拟效果图像包括所述第一动作效果。
6.根据权利要求5所述的方法,所述第一动作数据包括以下至少一种:
虚拟人物的步伐尺度;
虚拟人物的步伐频率;
虚拟人物的四肢的摆动幅度;
虚拟人物的四肢的摆动频率;
虚拟人物的预设指示动作数据。
7.根据权利要求1至6任一项所述的显示方法,其特征在于,所述第一移动信息包括显示屏的第一移动方向;所述虚拟对象包括:虚拟人物;所述根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像,包括:
基于所述第一移动方向,确定所述虚拟人物的第二动作数据;
基于所述第二动作数据,对所述虚拟人物进行渲染,得到所述虚拟人物的第二动作效果;所述虚拟效果图像包括所述第二动作效果。
8.根据权利要求7所述的方法,所述第二动作效果包括所述虚拟人物的转身动作;所述基于所述第一移动方向,确定所述虚拟人物的第二动作数据,包括:
基于所述第一移动方向,确定所述虚拟人物的目标朝向;所述目标朝向与所述第一移动方向相同;
若所述虚拟人物的当前朝向与所述目标朝向不同,则将所述当前朝向切换为目标朝向,得到所述虚拟人物的朝向切换信息;
根据所述朝向切换信息,确定所述第二动作数据。
9.根据权利要求1至8任一项所述的显示方法,其特征在于,所述方法还包括:
在所述显示屏处于静止的情况下,通过第二图像采集装置,采集真实场景图像;
识别所述真实场景图像的图像内容,得到目标展示对象;
获取所述目标展示对象的虚拟展示数据,并对所述虚拟展示数据和虚拟对象进行渲染得到虚拟展示图像;
在所述显示屏上显示所述虚拟展示图像与所述真实场景相叠加的增强现实效果。
10.根据权利要求3所述的方法,其特征在于,所述通过第一图像采集装置,采集真实场景中的目标交互对象的多帧交互图像,包括:
通过第一图像采集装置,采集真实场景的多帧图像;
从所述多帧图像中识别多个交互对象;
从所述多个交互对象中确定所述目标交互对象;
将所述多帧图像中包括所述目标交互对象的图像作为所述多帧交互图像。
11.根据权利要求1至10任一项所述的方法,其特征在于,所述显示屏为透明显示屏或者非透明显示屏。
12.一种虚拟显示装置,其特征在于,所述显示装置包括:
获取模块,用于获取控制信息;
控制模块,用于根据所述控制信息,确定显示屏的第一移动信息,控制所述显示屏按照所述第一移动信息进行移动;
渲染模块,用于根据所述显示屏的第一移动信息,对虚拟对象进行渲染,得到虚拟效果图像;
显示模块,用于在所述显示屏上显示所述虚拟效果图像。
13.一种显示设备,其特征在于,包括:
显示屏,用于在所述显示设备上显示虚拟效果图像;
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序时,结合所述显示屏,实现权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,存储有计算机程序,用于被处理器执行时,实现权利要求1至11任一项所述的方法。
CN202010763221.XA 2020-07-31 2020-07-31 虚拟显示方法、装置、设备和计算机可读存储介质 Active CN111880720B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010763221.XA CN111880720B (zh) 2020-07-31 2020-07-31 虚拟显示方法、装置、设备和计算机可读存储介质
KR1020227026538A KR20220116056A (ko) 2020-07-31 2021-05-24 가상 디스플레이 방법, 장치, 기기 및 컴퓨터 판독 가능한 저장 매체
JP2022527984A JP2023501642A (ja) 2020-07-31 2021-05-24 仮想表示方法、装置、デバイス及びコンピュータ可読記憶媒体
PCT/CN2021/095583 WO2022022029A1 (zh) 2020-07-31 2021-05-24 虚拟显示方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010763221.XA CN111880720B (zh) 2020-07-31 2020-07-31 虚拟显示方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111880720A true CN111880720A (zh) 2020-11-03
CN111880720B CN111880720B (zh) 2022-05-27

Family

ID=73204998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010763221.XA Active CN111880720B (zh) 2020-07-31 2020-07-31 虚拟显示方法、装置、设备和计算机可读存储介质

Country Status (4)

Country Link
JP (1) JP2023501642A (zh)
KR (1) KR20220116056A (zh)
CN (1) CN111880720B (zh)
WO (1) WO2022022029A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270767A (zh) * 2020-11-09 2021-01-26 重庆智慧之源科技有限公司 建筑物虚拟显示控制方法、装置、可穿戴设备及存储介质
CN114003092A (zh) * 2021-10-29 2022-02-01 深圳康佳电子科技有限公司 一种虚拟现实的智能显示设备及虚拟现实方法
WO2022022029A1 (zh) * 2020-07-31 2022-02-03 北京市商汤科技开发有限公司 虚拟显示方法、装置、设备和计算机可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114618163A (zh) * 2022-03-21 2022-06-14 北京字跳网络技术有限公司 虚拟道具的驱动方法、装置、电子设备及可读存储介质
CN114942716A (zh) * 2022-05-11 2022-08-26 美的集团(上海)有限公司 Vr场景建立方法及装置
CN116681869B (zh) * 2023-06-21 2023-12-19 西安交通大学城市学院 基于虚拟现实应用的文物3d展示处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160078262A (ko) * 2014-12-24 2016-07-04 임머숀 코퍼레이션 햅틱으로 인에이블되는 홀더를 위한 시스템 및 방법
CN208418084U (zh) * 2018-05-15 2019-01-22 宁波市沃野文化科技有限公司 一种智能滑轨电视交互展示系统
CN110397827A (zh) * 2019-07-22 2019-11-01 上海爱道电子科技有限公司 一种互动轨道屏装置
CN210344839U (zh) * 2019-05-20 2020-04-17 杭州立众数字科技有限公司 互动滑轨屏
CN211118620U (zh) * 2019-11-15 2020-07-28 李莉 一种电动移动式滑轨屏

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116451B (zh) * 2013-01-25 2018-10-26 腾讯科技(深圳)有限公司 一种智能终端的虚拟角色交互方法、装置和系统
CN111880720B (zh) * 2020-07-31 2022-05-27 北京市商汤科技开发有限公司 虚拟显示方法、装置、设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160078262A (ko) * 2014-12-24 2016-07-04 임머숀 코퍼레이션 햅틱으로 인에이블되는 홀더를 위한 시스템 및 방법
CN208418084U (zh) * 2018-05-15 2019-01-22 宁波市沃野文化科技有限公司 一种智能滑轨电视交互展示系统
CN210344839U (zh) * 2019-05-20 2020-04-17 杭州立众数字科技有限公司 互动滑轨屏
CN110397827A (zh) * 2019-07-22 2019-11-01 上海爱道电子科技有限公司 一种互动轨道屏装置
CN211118620U (zh) * 2019-11-15 2020-07-28 李莉 一种电动移动式滑轨屏

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雪敏LOVEYOU: ""华崖科技滑轨屏虚拟主持人视频.mp4"", 《HTTPS://V.YOUKU.COM/V_SHOW/ID_XNDY3MDKWMZUZMG==.HTML》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022022029A1 (zh) * 2020-07-31 2022-02-03 北京市商汤科技开发有限公司 虚拟显示方法、装置、设备和计算机可读存储介质
CN112270767A (zh) * 2020-11-09 2021-01-26 重庆智慧之源科技有限公司 建筑物虚拟显示控制方法、装置、可穿戴设备及存储介质
CN114003092A (zh) * 2021-10-29 2022-02-01 深圳康佳电子科技有限公司 一种虚拟现实的智能显示设备及虚拟现实方法

Also Published As

Publication number Publication date
JP2023501642A (ja) 2023-01-18
CN111880720B (zh) 2022-05-27
KR20220116056A (ko) 2022-08-19
WO2022022029A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
CN111880720B (zh) 虚拟显示方法、装置、设备和计算机可读存储介质
US11043031B2 (en) Content display property management
CN110276840B (zh) 多虚拟角色的控制方法、装置、设备及存储介质
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
EP3396511A1 (en) Information processing device and operation reception method
CN111344749B (zh) 引向用户关注
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
EP3383036A2 (en) Information processing device, information processing method, and program
US11250636B2 (en) Information processing device, information processing method, and program
JP2022545851A (ja) 仮想対象制御方法及び装置、機器、コンピュータ可読記憶媒体
CN111897431B (zh) 展示方法及装置、显示设备、计算机可读存储介质
JP2017162309A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
US20210042980A1 (en) Method and electronic device for displaying animation
JP2023139033A (ja) 視点回転の方法、装置、端末およびコンピュータプログラム
CN112105983A (zh) 增强的视觉能力
CN108744511B (zh) 虚拟环境中的瞄准镜显示方法、设备及存储介质
US20220147138A1 (en) Image generation apparatus and information presentation method
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
US20230260235A1 (en) Information processing apparatus, information processing method, and information processing system
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
RU2695053C1 (ru) Способ и устройство для управления трехмерными объектами в виртуальном пространстве
CN112891940A (zh) 图像数据处理方法及装置、存储介质、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40039072

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant