CN109544698B - 图像展示方法、装置及电子设备 - Google Patents

图像展示方法、装置及电子设备 Download PDF

Info

Publication number
CN109544698B
CN109544698B CN201710866908.4A CN201710866908A CN109544698B CN 109544698 B CN109544698 B CN 109544698B CN 201710866908 A CN201710866908 A CN 201710866908A CN 109544698 B CN109544698 B CN 109544698B
Authority
CN
China
Prior art keywords
image
virtual image
virtual
action
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710866908.4A
Other languages
English (en)
Other versions
CN109544698A (zh
Inventor
吴晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710866908.4A priority Critical patent/CN109544698B/zh
Publication of CN109544698A publication Critical patent/CN109544698A/zh
Application granted granted Critical
Publication of CN109544698B publication Critical patent/CN109544698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

本申请实施例公开了图像展示方法、装置及电子设备,所述方法包括:确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;创建第二虚拟图像,所述第二虚拟图像用于展示在所述目标实景图像的前方,对位于所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡。通过本申请实施例,可以实现更接近现实情况的效果,使得画面的真实性增强。

Description

图像展示方法、装置及电子设备
技术领域
本申请涉及图像展示技术领域,特别是涉及图像展示方法、装置及电子设备。
背景技术
增强现实(AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。在AR场景中,真实的物体和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
在传统的AR技术中,虚拟物体通常是展示在实景图像的上层,也就是说,以实景图像为背景,或者参照物,重点专注于对虚拟物体的展示。例如,用户对某商场中陈列的洗碗机进行拍摄时,通过AR技术,可以在洗碗机对应的实景图像所在的位置,展示预先设计的动画,通过该动画展示该洗碗机的洗碗过程、清洗效果等,使得用户可以对具体商品进行更深入的了解,等等。
但是,在一些AR场景中,可能会在某些时刻需要将虚拟物体至于实景图像的后面,例如,某AR场景中设计了某个飞行的小鸟作为虚拟物体,在对某目标实景图像拍摄时,该虚拟的小鸟可以环绕该实景图像飞行。此时,理想的展示效果是,该虚拟的小鸟在飞到该实景图像的前面时,正常的将该虚拟的小鸟展示在实景图像的上层,使得用户能够观察到该虚拟的小鸟;而当该虚拟的小鸟飞到该实景图像的后面时,则被实景图像遮挡住。但是,在现有技术中,如果要达到上述目的,则需要使用具有深度信息的摄像头对实景图像进行拍摄,获得实景图像在拍摄画面中的深度信息,进而才能够将实景图像与虚拟物体之间的前后位置关系进行设定,从而达到上述效果。但是,在实际应用中,普通的用户最常用的工具是手机等移动终端设备,而这种设备中通常又不会配备有具有深度信息的摄像头,以至于就无法获得上述效果。针对这种情况,现有技术的处理方式通常是,不区分实景图像与虚拟物体之间的前后位置关系,也即,即使虚拟物体运动到实景图像后面,用户也能够在画面中看到该虚拟物体,显然,这样会使得画面的真实感降低,看上去比较“假”。
因此,如何在未配备带有深入信息摄像头的终端设备上,也能够实现虚拟物体在位于实景图像后方时被实景图像遮挡的效果,成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了图像展示方法、装置及电子设备,可以实现更接近现实情况的效果,使得画面的真实性增强。
本申请提供了如下方案:
一种图像展示方法,包括:
确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
创建第二虚拟图像,所述第二虚拟图像用于展示在所述目标实景图像的前方,对位于所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡。
一种图像展示装置,包括:
第一虚拟图像确定单元,用于确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
第二虚拟图像创建单元,用于创建第二虚拟图像,所述第二虚拟图像用于展示在所述目标实景图像的前方,对位于所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡。
一种电子设备,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
创建第二虚拟图像,所述第二虚拟图像用于展示在所述目标实景图像的前方,对位于所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,在画面中展示某实景图像关联的第一虚拟图像之前,首先可以创建一第二虚拟图像,该第二虚拟图像的作用就是用于对位于其后方的第一虚拟图像进行遮挡,但同时对于画面中的实景图像而言具有透明属性。也就是说,对于用户而言,该第二虚拟图像是透明的,但是,第一虚拟图像的渲染是基于该第二虚拟图像进行的,当第一虚拟图像位于第二虚拟图像后方时,就会被第二虚拟图像遮挡。此时,由于第二虚拟图像自身是透明的,用户感知不到第二虚拟图像的存在,并且其在画面中的位置又可以是根据目标实景图像所在的位置确定的,因此,用户看上去会认为是第一虚拟图像在运动到目标实景图像的后面时,被该目标实景图像遮挡。以此可以实现更接近现实情况的效果,使得画面的真实性增强。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的各图像相对位置关系示意图;
图2是本申请实施例提供的另一图像相对位置关系示意图;
图3是本申请实施例提供的再一图像相对位置关系示意图;
图4-1至4-4是本申请实施例提供的画面展示效果示意图;
图5是本申请实施例提供的系统架构的示意图;
图6是本申请实施例提供的方法的流程图;
图7是本申请实施例提供的装置的示意图;
图8是本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
在本申请实施例中,为了在未配备带有深度信息摄像头的终端设备上,也能够实现虚拟物体在位于实景图像后方时被实景图像遮挡的效果,提供了以下解决方案:在终端设备摄像头拍摄到目标实景图像后,在对该实景图像相关联的第一虚拟图像(实际需要通过AR方式向用户展示的虚拟物体)进行渲染之前,可以首先对目标实景图像的形状、位置、大小等进行识别,然后,可以创建一个与目标实景图像在整体形状或部分形状上相似的第二虚拟图像,并将该第二虚拟图像的属性设置为:对于画面中的实景图像是透明的,但能够对位于其后方的第一虚拟图像进行遮挡;这样,具体在进行界面渲染时,可以根据实景图像所在的位置,对该第二虚拟图像进行渲染,并对第一虚拟图像与第二虚拟图像之间的前后位置关系进行设定(两者都是虚拟的,因此,其前后位置关系是可以设定的),这样,画面中的实景图像可以正常展示,而对于第一虚拟图像则可以呈现出以下特点:当第一虚拟图像在第二虚拟图像前方时,该第一虚拟图像就可以正常展示给用户,而当第一虚拟图像在第二虚拟图像后方时,就会被第二虚拟图像遮挡,用户将观察不到该第一虚拟图像。同时,由于第二虚拟图像的形状是与实景图像相似的,并且第二虚拟图像对于实景图像而言是具有透明属性,因此,用户是无法用肉眼观察到该第二虚拟图像的存在的,这样,第二虚拟图像对第一虚拟图像构成的遮挡,在用户看来,是由于被画面中的实景图像遮挡而造成的。也就是说,在本申请实施例中,是通过第一虚拟图像与第二虚拟图像之间的前后位置关系,来模拟第一虚拟图像与实景图像之间的前后位置关系,再结合对第二虚拟图像的展示属性进行配置,获得在第一虚拟图像位于实景图像后方时被实景图像遮挡的视觉效果,从而提高AR场景的真实感,使得整个画面更和谐。
其中,关于第二虚拟图像,可以是根据实景图像的三维形状进行创建的,例如,可以是构建实景图像的三维模型等,或者,为了降低渲染量,可以仅生成近似的形状即可。例如,如图1所示,假设拍摄到的实景图像是一台电视机101(为了避免干扰,图1中仅将与该电视机相关的实景图像以及虚拟图像进行了展示,在实际应用中,图1中展示的图像通常是位于终端设备中的某界面中,例如,手机中的某界面等,并且,界面中还会包括背景等其他实景图像,对于这些内容,图1中均未示出),则创建的第二虚拟图像可以如102所示,具体在进行渲染时,可以使得第二虚拟图像与实景图像所在的位置相重叠(或者,也可以是大致重叠),并且,该第二虚拟图像对于用户而言是透明的。在该图1中,为了便于描述其与实景图像、第一虚拟图像之间的相对位置关系,将第二虚拟图像102的形状用网格线进行填充,可以理解的是,实际在AR界面中展示时,该第二虚拟图像102对于用户而言是不可见的。另外假设第一虚拟图像是103所示的虚拟小鸟形象,并且在AR互动的过程中,需要体现出该第一虚拟图像围绕实景图像101旋转的效果。此时,就可以根据第一虚拟图像103与第二虚拟图像102之间的相对位置关系,来呈现出第一虚拟图像103时而可见,时而不可见的效果。例如,在第一虚拟图像103位于POS_1的位置时,其位于第二虚拟图像102的前面,因此,其为可见状态,当第一虚拟图像103运动到POS_2所示的位置时,其位于第二虚拟图像102的后面,则会被第二虚拟图像102所遮挡,也就是,对于用户而言,该第一虚拟图像103将会是不可见的。当然,由于第二虚拟图像102对于用户而言也是不可见的,并且第二虚拟图像102所在的位置是根据实景图像101确定的,甚至可以相互重叠,因此,在用户看上去,会认为第一虚拟图像103是运动到了实景图像101的后面,并且被实景图像101遮挡住了。
为了更好理解,图2中还提供了将图1倾斜一定角度后的示意图,其中,实景图像201与图1中的101相对应,第二虚拟图像202与图1中的102相对应,第一虚拟图像203与图1中的103相对应,204是一终端设备,通过该终端设备204对实景进行图像采集后,可以在该终端设备的界面中查看到图1所示的AR效果。需要说明的是,在具体实现时,实景图像201与第二虚拟图像202之间并不会相隔太远,甚至可以是重叠的,在该图2中是为了便于观察各层图像之间的关系,将实景图像201与第二虚拟图像202之间的距离进行了拉大处理。从图2中可以更明显的看出,第一虚拟图像203实际上一以第二虚拟图像202为参照物进行展示,在需要将第一虚拟图像203展示在实景图像201的后面,且被实景图像遮挡时,可以通过将该第一虚拟图像203放置到第二虚拟图像202的后面来实现。
在另一种实现方式下,还可以仅根据实景图像的一部分的形状进行创建。例如,在AR交互过程中,第一虚拟图像需要按照一定轨迹围绕实景图像运动,此时,只要根据该第一虚拟图像沿着轨迹运动的过程中所投影到实景图像上的部分的形状,创建第二虚拟图像即可。例如,如图3所示,同样是针对实景图像301,可以创建一矩形形状,或者,三维的长方体等形状的第二虚拟图像302,具体在对第一虚拟图像303进行展示时,可以基于与这种第二虚拟图像302之间的相对位置关系来进行展示,这样,可以进一步降低渲染量。
需要说明的是,关于第二虚拟图像的属性,如前文所述,同时满足两个条件,一是对与画面中的实景图像而言具有透明属性,二是能够对位于其后面的其他虚拟物体图像进行遮挡。也就是说,这种第二虚拟图像具有双重属性,对于画面中的实体物体图像而言是透明的,即使第二虚拟图像是展示在实景图像的上层,也不会遮挡实景图像;同时,对于画面中的虚拟物体图像又是不透明的,当虚拟物体图像位于这种虚拟物体图像的后面时,则会被该虚拟物体图像所遮挡。具体实现时,为了实现对第二虚拟物体上述属性的设置,可以有多种方式。例如,在一种方式下,如果描述语言中定义了上述双重属性,则可以直接使用描述语言中定义的属性描述方式对第二虚拟图像的属性进行设置。而更为常见的情况可能是:描述语言中通常仅会对如何设置一个对象的透明属性进行定义,在这种情况下,第二虚拟图像在默认状态下是不透明的,可以正常展示,如果被设定为透明属性,则意味着该第二虚拟图像对于画面中的实景图像而言是透明的,但是无法遮挡位于其后面的虚拟图像。因此,如果仅进行上述设定,则只能使得第二虚拟图像符合前述第一个条件,第二个条件则无法满足。针对这种情况,在本申请实施例中,可以进行以下处理:
在创建了第二虚拟图像后,首先可以直接将其设定为透明属性,也即,使其满足前述第一个条件,另外,还可以通过对第一虚拟图像的展示属性进行设置,以达到第一虚拟图像位于第二虚拟图像后面时,被第二虚拟图像遮挡的效果。具体的,可以将第一虚拟图像的展示属性设置为:当所述第一虚拟图像的全部或者部分位于所述第二虚拟图像的后面时,则该第一虚拟图像的全部或部分图像展示为透明属性。例如,假设第一虚拟图像在画面中是运动的状态,时而出现在第二虚拟图像的前面,时而出现在第二虚拟图像的后面,则可以将第一虚拟图像的属性设定为:当运动到第二虚拟图像的后面时,第一虚拟图像自动变为透明的,当运动到第二虚拟图像的前面时,第一虚拟图像自动恢复为普通展示状态。这样可以呈现出第二虚拟图像对位于其后面的第一虚拟图像造成遮挡的效果。
需要说明的是,在具体实现时,关于第一虚拟图像与第二虚拟图像之间的前后位置关系,通常可以通过图像的上下层关系来进行表达,上层图像在前,下层图像在后,也就是说,如果第一虚拟图像位于第二虚拟图像的前面,则第一虚拟图像位于上层,第二虚拟图像位于下层,如果第一虚拟图像位于第二虚拟图像的后面,则第一虚拟图像位于下层,第二虚拟图像位于上层。
也就是说,在本申请实施例中,在增强现实画面中展示某实景图像关联的第一虚拟图像之前,首先可以创建一第二虚拟图像,该第二虚拟图像的作用就是用于对位于其下层的第一虚拟图像进行遮挡,但同时对于画面中的实景图像而言具有透明属性。也就是说,对于用户而言,该第二虚拟图像是透明的,但是,第一虚拟图像的渲染是基于该第二虚拟图像进行的,当第一虚拟图像位于第二虚拟图像下层时,就会被第二虚拟图像遮挡。此时,由于第二虚拟图像自身是透明的,用户感知不到第二虚拟图像的存在,并且其在画面中的位置又可以是根据目标实景图像所在的位置确定的,因此,用户看上去会认为是第一虚拟图像在运动到目标实景图像的后面时,被该目标实景图像遮挡。以此可以实现更接近现实情况的效果,使得画面的真实性增强。
例如,具体的AR场景界面的展示效果可以如图4-1所示,其中包括目标实景图像401,以及第一虚拟图像402,除此之外,画面中还可以包括其他的实景图像,具体还会根据目标实景图像所在空间内的布局、物品陈设情况等而有所不同。当然,关于图4-1只是demo状态下的AR场景画面,其中的“宽”、“窄”、“高”、“低”等字样,以及界面下方的播放进度条,在实际的AR场景界面中并不存在。另外,关于第二虚拟图像,在图4-1所示的画面中,以及实际的AR场景画面中,对于用户而言都是不可见的。其中,第一虚拟图像402在AR交互过程中,围绕实景图像401进行运动。在图4-1的状态下,第一虚拟图像402运动到图示的位置,此时,第一虚拟图像位于实景图像的前面,因此,正常进行展示。继续运动到图4-2所示的位置处时,第一虚拟图像402仍然位于实景图像401的前面,因此,继续正常进行展示。而继续运动到图4-3中所示的位置时,第一虚拟图像402已经部分运动到实景图像401的后面,因此,第一虚拟图像402已经是部分不可见的状态。在此基础上继续运动,则第一虚拟图像402会完全被实景图像401遮挡,AR界面中的展示情况如图4-4所示。直到第一虚拟图像继续运动至实景图像401的前面时,该第一虚拟图像401将会重新出现在界面中。可见,在用户观察到的AR场景界面中,可以呈现出第一虚拟图像被实景图像遮挡的效果,当然,实际上是借助于第二虚拟图像来实现的上述效果。
具体实现时,从系统架构角度而言,参见图5,本申请实施例提供的上述功能可以是在AR客户端中实现,具体的AR客户端可以是安装于移动终端设备中的App等,例如,可以是在“天猫”App中提供某功能或活动入口,在用户从该入口启动后,可以进入到AR模式,在进行AR交互的过程中,就可以使用本申请实施例提供的前述功能提供相应的交互效果。另外,在系统中还可以包括一服务端,服务端主要用于提供具体的第一虚拟图像的信息,例如,对于不同类型的目标实景图像而言,对应的需要在AR交互中提供的第一虚拟图像可能是不同的,第一虚拟图像在AR画面中所期望达到的展示效果可能也会不同。例如,某些实景图像关联的第一虚拟图像可能在画面中是静止不动的,但是希望其中部分出现在目标实景图像之前,部分出现在实景图像之后;或者,某些实景图像关联的第一虚拟图像可能在画面中是按照某预订的轨迹运动的,并希望其在运动过程中,时而出现在实景图像之前,时而出现在实景图像之后,等等。上述关于第一虚拟图像的信息可以保存在服务端。客户端在采集到具体的目标实景图像的信息后,可以首先提供给服务端,由服务端确定出对应的第一虚拟图像的相关信息后,提供给客户端,然后,再由客户端执行创建第二虚拟图像创建,并以第二虚拟图像为参照,设定第一虚拟图像的展示方式等相关操作。
下面分别主要从客户端的角度,对本申请实施例提供的具体技术方案进行详细介绍。
具体的,本申请实施例从客户端的角度提供了一种增强现实展示方法,参见图6,该方法可以包括:
S601:确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
具体实现时,所述画面可以是增强现实AR画面,或者有类似展示需求或者效果的画面,等等。例如,在AR画面的情况下,可以在移动终端设备中安装的App等应用程序中提供用于启动AR功能的操作入口,AR场景画面就可以是在用户触发了具体的AR交互功能之后创建的。在创建了AR场景画面的情况下,还可以启动终端设备中的摄像头等硬件设备,对实景图像进行采集,然后,可以对实景图像中的目标实景图像进行物体识别,并通过服务端获得与物体识别结果对应的第一虚拟图像。例如,假设当前采集的目标实景图像是一台电视机,则物体识别结果就可以是电视机等物体的名称信息,然后,可以从服务端获得与电视机对应的第一虚拟图像。当然,在实际应用中,还可以根据不同的品牌、型号等提供不同的第一虚拟图像,此时,具体在进行物体识别时,可以识别出更丰富的信息,以便获得更匹配的第一虚拟图像。
S602:创建第二虚拟图像,所述第二虚拟图像用于展示在所述目标实景图像的前方,对位于所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡。
其中,具体在创建第二虚拟图像时,可以是在对所述第一虚拟图像进行渲染之前,创建所述第二虚拟图像并进行渲染。并且,可以根据所述目标实景图像在所述画面中的位置对所述第二虚拟图像进行渲染。所述第二虚拟图像与所述目标实景图像之间的前后距离可以小于预置阈值,也即,两者之间的距离比较近,以便获得更好的模拟效果。另外,还可以使得所述第二虚拟图像的位置跟随所述目标实景图像的位置变化。也就是说,在创建了第二虚拟图像,并对其属性进行配置后,可以首先对该第二虚拟图像进行渲染,需要说明的是,第二虚拟图像具有透明属性,仅意味着对于用户而言,该第二虚拟图像是透明的,但是,并不代表其不存在,并且,后续第一虚拟图像的展示可以以该第二虚拟图像为参照物进行,因此,还是需要对该第二虚拟图像进行渲染。
具体在创建所述第二虚拟图像时,可以根据所述目标实景图像的形状创建对应的几何三维形状,并将所述几何三维形状设置为透明属性。具体的,可以是根据所述目标实景图像的整体轮廓形状创建对应的几何三维形状。或者,还可以根据所述目标实景图像中部分图像的形状创建对应的几何三维形状。创建了所述几何三维形状后,还可以将形状内部的具体带有颜色等属性的像素做抠除处理,使得其具有透明属性。
具体在根据所述目标实景图像中部分图像的形状创建所述第二虚拟图像时,可以包括:如果所述第一虚拟图像按照预置的轨迹围绕所述目标实景图像运动,则可以首先确定出所述第一虚拟图像在运动过程中投影到所述目标实景图像上的部分区域,然后,根据所述部分区域对应的形状创建对应的几何三维形状。
在创建了第二虚拟图像并进行了渲染之后,就可以在对所述第一虚拟图像进行渲染的过程中,以所述第二虚拟图像为参照物,根据所述第一虚拟图像与所述第二虚拟图像之间的前后相对位置关系,对所述第一虚拟图像进行展示。
具体实现时,为了使得第二虚拟图像能够对位于其后方的虚拟图像进行遮挡,且对于所述画面中的实景图像具有透明属性,可以有多种实现方式,例如,一种方式下,可以将所述第二虚拟图像设定为透明属性;然后,具体在对所述第一虚拟图像进行展示时,如果所述第一虚拟图像的全部或部分图像位于所述第二虚拟图像的后方,则将所述第一虚拟图像的全部或部分图像设定为透明属性。
其中,如果第一虚拟图像在AR交互过程中为运动状态,则可以是当所述第一虚拟图像的全部或部分图像运动到所述第二虚拟图像的后方时,将所述第一虚拟图像的全部或部分图像设定为透明属性。另外,还可以当所述第一虚拟图像的全部或部分图像运动到所述第二虚拟图像的前方时,取消对所述第一虚拟图像的全部或部分图像的透明属性的设定,以便对所述第一虚拟图像的全部或部分图像进行展示。
需要说明的是,关于前述实施例中各步骤的具体实现,还可以参见本申请说明书其他部分的记载,这里不再赘述。
与前述图像展示方法相对应,本申请实施例还提供了一种图像展示装置,参见图7,该装置具体可以包括:
第一虚拟图像确定单元701,用于确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
第二虚拟图像创建单元702,用于创建第二虚拟图像,所述第二虚拟图像用于展示在所述目标实景图像的前方,对位于所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡。
具体实现时,该装置还可以包括:
第一虚拟图像渲染单元,用于在对所述第一虚拟图像进行渲染的过程中,以所述第二虚拟图像为参照物,根据所述第一虚拟图像与所述第二虚拟图像之间的前后相对位置关系,对所述第一虚拟图像进行展示。
其中,所述第二虚拟图像创建单元还用于:创建第二虚拟图像之后,将所述第二虚拟图像设定为透明属性;
所述第一虚拟图像渲染单元具体用于:如果所述第一虚拟图像的全部或部分图像位于所述第二虚拟图像的后方,则将所述第一虚拟图像的全部或部分图像设定为透明属性。
具体的,所述第一虚拟图像渲染单元用于:
当所述第一虚拟图像的全部或部分图像运动到所述第二虚拟图像的下层时,将所述第一虚拟图像的全部或部分图像设定为透明属性。
另外,所述第一虚拟图像渲染单元还可以用于:
当所述第一虚拟图像的全部或部分图像运动到所述第二虚拟图像的上层时,取消对所述第一虚拟图像的全部或部分图像的透明属性的设定,以便对所述第一虚拟图像的全部或部分图像进行展示。
其中,所述第二虚拟图像创建单元具体可以用于:在对所述第一虚拟图像进行渲染之前,创建所述第二虚拟图像并进行渲染。
其中,还可以包括:
第二虚拟图像渲染单元,用于根据所述目标实景图像在所述画面中的位置对所述第二虚拟图像进行渲染。
具体的,所述第二虚拟图像创建单元可以用于:
根据所述目标实景图像的形状创建对应的几何三维形状,并将所述几何三维形状设置为透明属性。
其中,可以根据所述目标实景图像的整体轮廓形状创建对应的几何三维形状。
或者,根据所述目标实景图像中部分图像的形状创建对应的几何三维形状。
具体在根据所述目标实景图像中部分图像的形状创建对应的几何三维形状时,所述第二虚拟图像创建单元具体可以用于:
如果所述第一虚拟图像按照预置的轨迹围绕所述目标实景图像运动,则确定所述第一虚拟图像在运动过程中投影到所述目标实景图像上的部分区域;
根据所述部分区域对应的形状创建对应的几何三维形状。
其中,所述第二虚拟图像与所述目标实景图像之间的前后距离小于预置阈值。
所述第二虚拟图像的位置可以跟随所述目标实景图像的位置变化。
所述画面包括增强现实AR画面。
另外,本申请实施例还提供了一种电子设备,该电子设备可以包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
创建第二虚拟图像,所述第二虚拟图像用于展示在所述目标实景图像的前方,对位于所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡。
其中,图8示例性的展示出了电子设备的架构,例如,设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理,飞行器等。
参照图8,设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令,以完成本公开技术方案提供的视频播放方法中的当满足预设条件时,生成流量压缩请求,并发送给服务器,其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息,所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率;根据服务器返回的码流文件播放所述码流文件对应的视频内容,其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理部件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为设备800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为设备800的显示器和小键盘,传感器组件814还可以检测设备800或设备800一个组件的位置改变,用户与设备800接触的存在或不存在,设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由设备800的处理器820执行以完成本公开技术方案提供的视频播放方法中的当满足预设条件时,生成流量压缩请求,并发送给服务器,其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息,所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率;根据服务器返回的码流文件播放所述码流文件对应的视频内容,其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的图像展示方法、装置及电子设备,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种图像展示方法,其特征在于,包括:
确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
创建第二虚拟图像,将所述第二虚拟图像设定为透明属性,所述第二虚拟图像用于展示在所述目标实景图像的前方,对所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡;
在对所述第一虚拟图像进行渲染的过程中,以所述第二虚拟图像为参照物,如果所述第一虚拟图像的全部或部分图像位于所述第二虚拟图像的后方,则将所述第一虚拟图像的全部或部分图像设定为透明属性。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一虚拟图像的全部或部分图像设定为透明属性,包括:
当所述第一虚拟图像的全部或部分图像运动到所述第二虚拟图像的下层时,将所述第一虚拟图像的全部或部分图像设定为透明属性。
3.根据权利要求2所述的方法,其特征在于,还包括:
当所述第一虚拟图像的全部或部分图像运动到所述第二虚拟图像的上层时,取消对所述第一虚拟图像的全部或部分图像的透明属性的设定,以便对所述第一虚拟图像的全部或部分图像进行展示。
4.根据权利要求1所述的方法,其特征在于,所述创建第二虚拟图像,包括:
在对所述第一虚拟图像进行渲染之前,创建所述第二虚拟图像并进行渲染。
5.根据权利要求4所述的方法,其特征在于,在对所述第二虚拟图像进行渲染时,包括:
根据所述目标实景图像在所述画面中的位置对所述第二虚拟图像进行渲染。
6.根据权利要求1所述的方法,其特征在于,所述创建第二虚拟图像,包括:
根据所述目标实景图像的形状创建对应的几何三维形状,并将所述几何三维形状设置为透明属性。
7.根据权利要求6所述的方法,其特征在于,所述根据所述目标实景图像的形状创建对应的几何三维形状,包括:
根据所述目标实景图像的整体轮廓形状创建对应的几何三维形状。
8.根据权利要求6所述的方法,其特征在于,所述根据所述目标实景图像的形状创建对应的几何三维形状,包括:
根据所述目标实景图像中部分图像的形状创建对应的几何三维形状。
9.根据权利要求8所述的方法,其特征在于,所述根据所述目标实景图像中部分图像的形状创建对应的几何三维形状,包括:
如果所述第一虚拟图像按照预置的轨迹围绕所述目标实景图像运动,则确定所述第一虚拟图像在运动过程中投影到所述目标实景图像上的部分区域;
根据所述部分区域对应的形状创建对应的几何三维形状。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述第二虚拟图像与所述目标实景图像之间的前后距离小于预置阈值。
11.根据权利要求1至9任一项所述的方法,其特征在于,所述第二虚拟图像的位置跟随所述目标实景图像的位置变化。
12.根据权利要求1至9任一项所述的方法,其特征在于,所述画面包括增强现实AR画面。
13.一种图像展示装置,其特征在于,包括:
第一虚拟图像确定单元,用于确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
第二虚拟图像创建单元,用于创建第二虚拟图像,将所述第二虚拟图像设定为透明属性,所述第二虚拟图像用于展示在所述目标实景图像的前方,对所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡;
第一虚拟图像渲染单元,用于如果所述第一虚拟图像的全部或部分图像位于所述第二虚拟图像的后方,则将所述第一虚拟图像的全部或部分图像设定为透明属性。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
确定画面中的目标实景图像,并确定所述目标实景图像关联的第一虚拟图像;
创建第二虚拟图像,将所述第二虚拟图像设定为透明属性,所述第二虚拟图像用于展示在所述目标实景图像的前方,对所述目标实景图像具有透明属性,并对位于其后方的虚拟图像进行遮挡;
在对所述第一虚拟图像进行渲染的过程中,以所述第二虚拟图像为参照物,如果所述第一虚拟图像的全部或部分图像位于所述第二虚拟图像的后方,则将所述第一虚拟图像的全部或部分图像设定为透明属性。
CN201710866908.4A 2017-09-22 2017-09-22 图像展示方法、装置及电子设备 Active CN109544698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710866908.4A CN109544698B (zh) 2017-09-22 2017-09-22 图像展示方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710866908.4A CN109544698B (zh) 2017-09-22 2017-09-22 图像展示方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109544698A CN109544698A (zh) 2019-03-29
CN109544698B true CN109544698B (zh) 2023-04-07

Family

ID=65828284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710866908.4A Active CN109544698B (zh) 2017-09-22 2017-09-22 图像展示方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN109544698B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951407A (zh) * 2020-08-31 2020-11-17 福州大学 一种具有真实位置关系的增强现实模型叠加方法
CN115937667A (zh) * 2021-09-29 2023-04-07 杭州海康威视系统技术有限公司 一种目标位置的确定方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
GB201219221D0 (en) * 2012-10-25 2012-12-12 Sony Comp Entertainment Europe Apparatus and method of augmented reality
WO2014113455A1 (en) * 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
CN105931289A (zh) * 2016-04-14 2016-09-07 大连新锐天地传媒有限公司 实现真实模型遮盖虚拟物体的系统及方法
WO2017020489A1 (zh) * 2015-08-03 2017-02-09 京东方科技集团股份有限公司 虚拟现实显示方法及系统
CN106683161A (zh) * 2016-12-13 2017-05-17 中国传媒大学 基于图像分割与自定义图层法的增强现实遮挡方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9697647B2 (en) * 2014-04-28 2017-07-04 The Regents Of The University Of Michigan Blending real and virtual construction jobsite objects in a dynamic augmented reality scene of a construction jobsite in real-time

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
GB201219221D0 (en) * 2012-10-25 2012-12-12 Sony Comp Entertainment Europe Apparatus and method of augmented reality
WO2014113455A1 (en) * 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
WO2017020489A1 (zh) * 2015-08-03 2017-02-09 京东方科技集团股份有限公司 虚拟现实显示方法及系统
CN105931289A (zh) * 2016-04-14 2016-09-07 大连新锐天地传媒有限公司 实现真实模型遮盖虚拟物体的系统及方法
CN106683161A (zh) * 2016-12-13 2017-05-17 中国传媒大学 基于图像分割与自定义图层法的增强现实遮挡方法

Also Published As

Publication number Publication date
CN109544698A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
US11636653B2 (en) Method and apparatus for synthesizing virtual and real objects
CN108965982B (zh) 视频录制方法、装置、电子设备和可读存储介质
US11315336B2 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
US20170178289A1 (en) Method, device and computer-readable storage medium for video display
CN110321048B (zh) 三维全景场景信息处理、交互方法及装置
CN105450736B (zh) 与虚拟现实连接的方法和装置
CN108038726B (zh) 物品展示方法及装置
WO2016192325A1 (zh) 视频文件的标识处理方法及装置
CN110928627B (zh) 界面展示方法及装置、电子设备和存储介质
US11880999B2 (en) Personalized scene image processing method, apparatus and storage medium
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
CN110751707B (zh) 动画显示方法、装置、电子设备及存储介质
CN110782532B (zh) 图像生成方法、生成装置、电子设备及存储介质
CN110798726A (zh) 弹幕显示方法、装置、电子设备及存储介质
WO2022151686A1 (zh) 场景图像展示方法、装置、设备、存储介质、程序及产品
CN108346179B (zh) Ar设备显示方法和装置
CN109544698B (zh) 图像展示方法、装置及电子设备
CN112783316A (zh) 基于增强现实的控制方法及装置、电子设备和存储介质
CN107820116B (zh) 视频播放方法及装置
EP3799415A2 (en) Method and device for processing videos, and medium
CN109308740B (zh) 3d场景数据处理方法、装置及电子设备
CN112906467A (zh) 合影图像生成方法及装置、电子设备和存储介质
CN113747113A (zh) 图像显示方法及装置、电子设备、计算机可读存储介质
CN106598217B (zh) 显示方法、显示装置和电子设备
CN111223114A (zh) 一种图像区域的分割方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant