CN113721804A - 一种显示方法、装置、电子设备及计算机可读存储介质 - Google Patents
一种显示方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113721804A CN113721804A CN202110961689.4A CN202110961689A CN113721804A CN 113721804 A CN113721804 A CN 113721804A CN 202110961689 A CN202110961689 A CN 202110961689A CN 113721804 A CN113721804 A CN 113721804A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- real
- virtual
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 205
- 230000002452 interceptive effect Effects 0.000 claims abstract description 93
- 230000004044 response Effects 0.000 claims abstract description 84
- 238000009877 rendering Methods 0.000 claims abstract description 55
- 230000003190 augmentative effect Effects 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 214
- 230000003993 interaction Effects 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 10
- 230000009191 jumping Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 27
- 239000002131 composite material Substances 0.000 description 10
- 241000282414 Homo sapiens Species 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
本公开实施例公开了一种显示方法、装置、电子设备及计算机可读存储介质;方法包括:响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像;通过对目标图像进行识别,确定目标图像对应的虚拟对象,并在目标功能页面中展示对虚拟对象进行渲染得到的虚拟效果图像;目标功能页面包含至少一个交互控件;虚拟效果图像用于展示目标图像对应的增强现实效果;响应于针对至少一个交互控件中目标交互控件的交互操作,确定虚拟对象对应的响应效果数据,并通过响应效果数据,更新展示的虚拟效果图像。通过本公开,能够提高显示内容的丰富性与显示效果。
Description
技术领域
本公开涉及终端技术领域,尤其涉及一种显示方法、装置、电子设备及计算机可读存储介质。
背景技术
目前,一些商品的商家,会在其销售的实体商品上附赠虚拟服务产品供用户享受。例如,在官方应用程序中制定专属的活动或服务来供用户参加。然而,目前虚拟服务产品与用户的交互方式通常较为单一,从而降低了虚拟服务产品,如一些显示服务类应用的中显示内容的丰富性与显示效果。
发明内容
本公开实施例期望提供一种显示方法、装置、电子设备及计算机可读存储介质,能够提高显示内容的丰富性与显示效果。
本公开的技术方案是这样实现的:
本公开实施例提供一种显示方法,包括:
响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像;
通过对所述目标图像进行识别,确定所述目标图像对应的虚拟对象,并在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像;所述目标功能页面包含至少一个交互控件;所述虚拟效果图像用于展示所述目标图像对应的增强现实效果;
响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,并通过所述响应效果数据,更新展示的所述虚拟效果图像。
上述方法中,所述方法还包括:
响应于针对显示小程序入口的触发操作,展示显示功能菜单页面,所述显示功能菜单页面用于展示至少一个功能入口;
所述响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像,包括:
响应于针对所述至少一个功能入口中目标功能入口的触发操作,进入目标功能对应的图像采集页面,采集真实场景中真实对象的目标图像。
上述方法中,所述进入目标功能对应的图像采集页面,包括:
从所述显示功能菜单页面跳转至目标功能加载界面,在所述目标功能加载界面的显示过程中同步加载目标功能后台数据;所述目标功能后台数据包括至少一种预设渲染数据;
在所述目标功能后台数据加载完成的情况下,进入图像采集界面。
上述方法中,所述真实对象包括:真实人物;所述目标功能入口包括:合成拍照入口;所述响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像,包括:
从所述显示功能菜单页面跳转至合成拍照界面,并在所述合成拍照界面上展示拍照控件;
在接收到针对所述拍照控件的交互操作的情况下,对所述真实场景中的所述真实人物进行图像采集,得到真实人物图像作为所述目标图像。
上述方法中,所述从所述显示功能菜单页面跳转至合成拍照界面之后,所述方法还包括:
从目标功能后台数据中加载预设特效贴纸,在所述合成拍照界面显示所述预设特效贴纸。
上述方法中,所述至少一个交互控件,包括:旋转控件;所述响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,包括:
在所述目标交互控件为所述旋转控件的情况下,展示旋转引导图标;
接收针对于所述旋转引导图标的旋转操作,根据所述旋转操作确定所述虚拟对象的旋转方向与旋转角度;
根据所述旋转方向与所述旋转角度,对所述虚拟对象进行旋转,并获取旋转后的虚拟对象对应的预设渲染数据,作为所述响应效果数据。
上述方法中,所述至少一个交互控件,包括:信息显示控件;所述响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,包括:
在所述目标交互控件为所述信息显示控件的情况下,获取所述虚拟对象对应的预设介绍数据,作为所述响应效果数据;所述预设介绍数据用于在预设显示位置上显示所述目标真实物品的介绍信息。
上述方法中,所述至少一个交互控件,包括:图像采集控件;所述响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,包括:
在所述目标交互控件为所述图像采集控件的情况下,对所述虚拟对象对应的当前的虚拟效果图像进行采集,得到当前对象图像;
获取第一预设模板,结合所述第一预设模板与所述当前对象图像,生成模板对象图像,将所述模板对象图像作为所述响应效果数据;所述第一预设模板用于为展示所述当前对象图像提供预设的图像模板。
通过图像采集、旋转、信息简介的交互方式,提高了显示内容的丰富性,并提高了显示方法互动模式的多样性。
上述方法中,所述第一预设模板还包括:预设识别码;所述预设识别码用于提供预设功能的链接。
上述方法中,所述预设识别码为小程序识别码,所述小程序识别码用于提供显示小程序入口的链接。
上述方法中,所述方法还包括:
在生成所述模板对象图像的情况下,跳转至分享页面,在所述分享页面上显示所述模板对象图像,所述分享页面包含第一分享控件;
在接收到针对所述第一分享控件的分享操作的情况下,生成所述模板对象图像对应的第一小程序链接,将所述第一小程序链接分享至目标设备。
通过将虚拟效果图像分享至目标设备,进一步提高了显示方法交互方式的多样性,并有利于虚拟服务产品的推广。
上述方法中,所述分享页面还包含第一保存控件,所述方法还包括:
在接收到针对所述第一保存控件的保存操作的情况下,将所述模板对象图像保存至本地存储空间。
上述方法中,所述采集真实场景中真实对象的目标图像,包括:
在进入图像采集界面的情况下,在所述图像采集界面上显示采集范围引导信息;所述采集范围引导信息包括预设采集范围边界;
通过所述图像采集界面对所述真实对象进行图像采集,将所述预设采集范围边界内的图像作为所述目标图像。
上述方法中,所述真实对象包括:目标真实物品,所述虚拟对象为与所述目标真实物品对应的目标虚拟模型;
所述通过对所述目标图像进行识别,确定所述目标图像对应的虚拟对象,包括:
对所述目标图像进行至少一种预设真实物品的目标识别,得到目标真实物品的检测结果;
基于所述检测结果,获取所述目标真实物品对应的目标虚拟模型作为所述虚拟对象。
上述方法中,所述方法还包括:
在所述目标图像中未识别到预设真实物品的情况下,在所述图像采集界面上显示用于提示调整所述预设采集范围边界的位置的引导信息。
上述方法中,所述方法还包括:
在显示所述虚拟效果图像的情况下,播放所述虚拟效果图像对应的多媒体音频数据。
通过动态的虚拟效果图像结合多媒体音频数据,进一步丰富了显示功能的展示效果,并提高了交互方式的多样性。
上述方法中,所述在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像,包括:
获取所述目标图像在预设屏幕坐标系中对应的位置信息,作为所述目标真实物品在所述目标功能页面上展示的屏幕位置信息;
基于所述目标图像进行姿态评估,得到所述目标真实物品在所述真实场景中的真实位置信息;
从目标功能后台数据中,获取所述虚拟对象对应的目标预设渲染数据,基于所述真实位置信息与所述屏幕位置信息的映射关系,使用所述目标预设渲染数据对所述虚拟对象进行渲染,得到所述虚拟效果图像。
通过对虚拟对象进行渲染得到增强现实效果的虚拟效果图像,可以将真实物品与将虚拟世界中的显示内容无缝结合,增强了显示内容的多样性和体验感,提高了显示内容的丰富性。
上述方法中,所述目标图像包括:真实人物图像,所述虚拟对象包括:预设特效贴纸;
所述在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像,包括:
对所述真实人物图像与所述预设特效贴纸进行叠加,生成并展示叠加后的当前合成图像作为所述虚拟效果图像。
通过将真实人物图像与预设特效贴纸进行叠加展示出合成图像效果,提高了交互方式的多样性,并进一步提高了显示内容的丰富性。
上述方法中,所述方法还包括:
所述显示方法通过小程序或网页客户端实现。
通过小程序页面或网页端实现显示方法,提高了显示方法使用的便捷性,更有利于虚拟服务产品的推广。
本公开实施例提供一种显示装置,包括:
采集单元,用于响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像;
渲染单元,用于通过对所述目标图像进行识别,确定所述目标图像对应的虚拟对象,并在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像;所述目标功能页面包含至少一个交互控件;所述虚拟效果图像用于展示所述目标图像对应的增强现实效果;
操作单元,用于响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,并通过所述响应效果数据,更新展示的所述虚拟效果图像。
本公开实施例提供一种电子设备,包括:
显示屏;存储器,用于存储可执行计算机程序;
处理器,用于执行所述存储器中存储的可执行计算机程序时,结合所述显示屏实现如上述的任一种显示方法。
本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,用于引起处理器执行时,实现如上述的任一种显示方法。
本公开实施例提供了一种显示方法、装置、电子设备及计算机可读存储介质;通过采集真实场景中真实对象的目标图像,确定虚拟对象,并对虚拟对象进行渲染得到的虚拟效果图像,从而利用虚拟效果图像的增强现实效果提高并丰富了显示应用的显示效果。并且,电子设备可以通过至少一个交互控件接收用户的交互操作,并对虚拟对象进行相应的操作与更新展示,从而提高了显示内容的丰富性。
附图说明
图1为本公开实施例提供的一种显示系统的架构示意图;
图2为本公开实施例提供的一种显示方法的可选的流程示意图;
图3为本公开实施例提供的一种显示方法的可选的流程示意图;
图4为本公开实施例提供的一种目标功能加载界面的可选的效果示意图;
图5为本公开实施例提供的一种图像采集界面的可选的效果示意图;
图6为本公开实施例提供的一种显示方法的可选的流程示意图;
图7为本公开实施例提供的一种目标功能页面的可选的效果示意图;
图8为本公开实施例提供的一种引导信息的可选的效果示意图;
图9为本公开实施例提供的一种旋转控件的响应效果的可选的示意图;
图10为本公开实施例提供的一种信息简介控件的响应效果的可选的示意图;
图11为本公开实施例提供的一种图像采集控件的响应效果的可选的示意图;
图12为本公开实施例提供的一种至少一个交互控件的响应效果的可选的示意图;
图13为本公开实施例提供的一种目标功能加载界面的可选的效果示意图;
图14为本公开实施例提供的一种图像采集界面的可选的效果示意图;
图15为本公开实施例提供的一种目标功能页面的可选的效果示意图;
图16为本公开实施例提供的一种信息简介控件的响应效果的可选的示意图;
图17为本公开实施例提供的一种图像采集控件的响应效果的可选的示意图;
图18为本公开实施例提供的一种显示方法的可选的流程示意图;
图19为本公开实施例提供的一种合成拍照功能的可选的交互效果示意图;
图20为本公开实施例提供的显示装置的一种可选的结构示意图;
图21为本公开实施例提供的电子设备的一种可选的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。
为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,所描述的实施例不应视为对本公开的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的,不是旨在限制本公开。
对本公开实施例进行进一步详细说明之前,对本公开实施例中涉及的名词和术语进行说明,本公开实施例中涉及的名词和术语适用于如下的解释。
1)小程序(Mini Program),也称为网络程序(Web Program),是一种基于面向前端的语言(例如JavaScript)开发的、在超文本标记语言(HTML,Hyper Text MarkupLanguage)页面中实现服务的程序,由应用程序(例如浏览器或内嵌浏览器核心的任意客户端)经由网络(如互联网)下载、并在应用程序的浏览器环境中解释和执行的软件,节省下载应用程序的安装的步骤。
2)网页客户端(Client)也称为网页用户端,是指与服务器相对应,为客户提供本地服务的程序。通常安装在普通的客户机上,需要与服务端互相配合运行,较常用的网页客户端包括了如万维网使用的网页浏览器,收寄电子邮件时的电子邮件客户端,以及即时通讯的客户端软件等。
3)增强现实(Augmented Reality,AR),增强现实技术也被称为扩增现实,AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后,能够在同一个画面以及空间中同时存在。
增强现实技术不仅能够有效体现出真实世界的内容,也能够促使虚拟的信息内容显示出来,这些细腻内容相互补充和叠加。在视觉化的增强现实中,真实世界能够和电脑图形之间重合在一起,在重合之后可以充分看到真实的世界围绕着它。增强现实技术中主要有多媒体和三维建模以及场景融合等新的技术和手段,增强现实所提供的信息内容和人类能够感知的信息内容之间存在着明显不同。
目前,一些商品的商家,会在其销售的实体商品上附赠虚拟服务产品供用户享受。例如,在官方应用程序中制定专属的活动或服务来供用户参加。用户可以通过二维码扫描或应用商店下载安装等途径获取商品对应的应用程序,再通过购买凭证登录应用程序,进行权益领取和虚拟服务的体验。然而这类方法操作过程较为复杂,且虚拟服务产品与用户的交互方式通常较为单一,不利于虚拟服务产品的推广,从而降低了虚拟服务产品,如一些显示服务类应用中显示内容的丰富性与显示效果,并降低了虚拟服务产品使用的便捷性。
本公开实施例提供一种显示方法,能够提高显示应用的便捷性与丰富性。本公开实施例提供的显示方法应用于电子设备。
下面说明本公开实施例提供的电子设备的示例性应用,本公开实施例提供的电子设备可以实施为增强现实(Augmented Reality,AR)眼镜、笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,智能手表,个人数字助理,专用信息设备,便携式游戏设备)等各种类型的用户终端(以下简称终端)。
参见图1,图1是本公开实施例提供的显示系统的一个可选的架构示意图,在显示系统100中,终端(电子设备)400通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合。终端400用于在接收到用户启动显示小程序的操作的情况下,示例性地,接收到用户针对显示小程序入口的触发操作的情况下,从服务器200获取显示小程序并加载在自身运行;通过内置或外接的显示屏401,展示显示小程序的首页主页面,如显示功能菜单页面。其中,显示功能菜单页面上可以展示至少一个功能入口,以通过至少一个功能入口接收用户的操作。
终端400还用于在接收到用户针对至少一个功能入口中目标功能入口的触发操作的情况下,响应于目标功能入口的触发操作,进入目标功能对应的图像采集页面,通过内置或外接的图像采集设备402,采集真实场景中真实对象500的目标图像501。示例性地,真实对象可以是书籍或日历,目标图像可以是书籍或日历上的图像,如展示品图像等等。
终端400还用于通过对目标图像进行识别,确定目标图像对应的虚拟对象,并通过显示屏401,在目标功能页面中展示对虚拟对象进行渲染得到的虚拟效果图像600;目标功能页面包含至少一个交互控件;虚拟效果图像用于展示目标图像对应的增强现实效果;并响应于针对至少一个交互控件中目标交互控件的交互操作,确定虚拟对象对应的响应效果数据,并通过响应效果数据,更新虚拟效果图像,展示交互操作对应的响应效果。示例性地,虚拟对象可以是书籍或日历上的图像对应的AR模型。
在本公开的一些实施例中,终端400可以在将虚拟对象预存在终端本地,终端400也可以借助服务器端,如上述的服务器200或其他具备图像处理功能的服务器生成或确定目标图像对应的虚拟对象,进而从服务器端加载虚拟对象至终端400本地,对虚拟对象进行渲染以及后续的交互操作等。这里的服务器端可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本公开实施例中不做限制。
下面,将说明电子设备实施为终端的情况下的示例性应用。
图2是本公开实施例提供的显示方法的一个可选的流程示意图,将结合图2示出的步骤进行说明。
S101、响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像。
本公开实施例中的显示方法适用于用户通过小程序或网页客户端,对真实物品附带的虚拟服务产品进行体验的场景。如对纸质日历中的展示品图像进行AR展示体验、或对活动展板上的展品图片进行多媒体交互体验等等。本公开实施例中的显示方法可以依托小程序或网页客户端,以轻量级的方式提供实物对象与虚拟对象相结合显示的用户体验以及丰富的互动模式。
本公开实施例中,目标功能入口可以显示在小程序页面或网页客户端,用于接收用户的触发操作,以启动对应的目标功能。这里,目标功能用于通过采集真实场景的图像,并确定真实场景图像对应的虚拟对象,如AR模型或特效图像,从而提供真实场景与虚拟对象相结合的增强现实效果或图像合成效果。
在一些实施例中,电子设备可以通过预设页面上呈现的显示小程序入口,示例性地,在应用软件下拉页面的小程序列表中呈现的显示小程序图标入口,或者,网页端呈现的显示小程序链接入口等等,在接收到用户针对显示小程序入口的触发操作的情况下,电子设备响应于针对显示小程序入口的触发操作,展示显示功能菜单页面。通过显示功能菜单页面展示显示小程序中包含的至少一个功能对应的至少一个功能入口。这样,电子设备可以响应于针对至少一个功能入口中目标功能入口的触发操作,进入目标功能入口对应的目标功能。
在一些实施例中,电子设备也可以直接在预设页面,如小程序页面或网页客户端显示目标功能入口,或者根据实际需要设计菜单层级以布局目标功能入口,具体的根据实际情况进行选择,本公开实施例不作限定。
本公开实施例中,电子设备可以响应于针对目标功能入口的触发操作,进入目标功能对应的图像采集页面,并调用图像采集设备,对真实场景中真实对象的图像进行采集,得到目标图像。
本公开实施例中,真实场景为真实的现实场景,真实对象存在于真实场景中;在一些实施例中,真实场景中可以包含至少一个真实物品,真实对象可以是至少一个真实物品中的一个真实物品;在一些实施例中,真实对象也可以包括真实人物。示例性地,真实场景中可以包含实体物品,如纸质日历,纸质日历中包含有至少一个展示品图像,其中,真实对象可以是至少一个展示品图像中的目标展示品图像,如香炉陶器图像,或艺术画像等等。电子设备可以对目标展示品图像进行图像采集,得到目标图像。
在一些实施例中,真实场景中的真实物品也可以是科技馆或艺术馆中展示的展品或展板、或商场陈列的商品或商品图册等等,具体的根据实际情况进行选择,本公开实施例不作限定。
S102、通过对目标图像进行识别,确定目标图像对应的虚拟对象,并在目标功能页面中展示对虚拟对象进行渲染得到的虚拟效果图像;目标功能页面包含至少一个交互控件;虚拟效果图像用于展示目标图像对应的增强现实效果。
本公开实施例中,电子设备在得到目标图像的情况下,可以对目标图像进行特征提取与图像分析,以对目标图像进行识别。对于真实对象为目标真实物品的情况,电子设备可以识别出目标图像对应的预设真实物品,进而确定该预设真实物品对应的虚拟对象,如预设真实物品对应的虚拟AR模型。对于真实对象为真实人物的情况,电子设备可以对目标图像进行人体识别,识别出目标图像中包含的人体部位,如五官或头部、手部等等,进而确定出人体部位对应的虚拟对象,如特定人体部位对应的特效贴纸。
在一些实施例中,虚拟对象可以是预先建模的图像模型,包括具体的形象参数或动作逻辑。电子设备可以根据预设真实物品的种类预先生成每种预设真实物品对应的预设虚拟模型并保存,在从目标图像中识别出对应的预设真实物品的情况下,获取该预设真实物品对应的预设虚拟模型作为虚拟对象。在一些实施例中,电子设备也可以通过对目标图像的识别,实时地生成目标对象对应的虚拟对象,示例性地,电子设备可以根据从日历中采集到的展示品图像进行实时的AR建模,得到展示品的AR模型作为虚拟对象。具体的根据实际情况进行选择,本公开实施例不作限定。
本公开实施例中,电子设备在确定出虚拟对象的情况下,可以进入目标功能页面,并基于目标图像,利用计算机视觉方法估计出真实对象在真实场景中的真实位置信息,并获取目标图像在电子设备的显示屏中的屏幕位置信息,进而建立现实世界与屏幕之间的映射关系。电子设备可以在目标功能页面中,根据真现实世界与屏幕之间的映射关系,使用虚拟对象对应的预设渲染数据对虚拟对象进行渲染,将对虚拟对象的渲染结果附加在真实场景的物品图像中,从而展示出虚拟与现实相结合的增强显示效果。
在一些实施例中,真实对象可以是真实场景中的平面图像,如日历中的展示品图像。电子设备可以将真实对象作为真实场景中的一个标记平面,通过摄像头对该标记平面进行识别和姿态评估(Pose Estimation),并确定该标记平面在真实场景中的位置信息。电子设备将该三维的真实场景下的标记平面映射到电子设备的二维屏幕页面上,在映射得到的在二维屏幕页面上渲染和绘制虚拟对象对应的虚拟效果图像。
S103、响应于针对至少一个交互控件中目标交互控件的交互操作,确定虚拟对象对应的响应效果数据,并通过响应效果数据,更新展示的虚拟效果图像。
本公开实施例中,目标功能页面包含至少一个交互控件,电子设备可以通过至少一个交互控件中的目标交互控件接收用户的交互操作,进而响应于交互操作,根据目标交互控件的控件功能对虚拟对象进行操作,从而将用户的交互操作施加在虚拟对象上,实现用户与虚拟对象的交互。
本公开实施例中,电子设备可以通过目标交互控件的交互操作,确定对虚拟对象的操作方式,进而确定操作方式对应的响应效果数据,电子设备使用响应效果数据对当前真实的虚拟效果图像进行更新,从而使得虚拟对象体现出对交互操作进行响应的交互效果。
在一些实施例中,基于至少一个交互控件中每个交互控件对应的交互功能,响应效果数据可以是对虚拟对象进行重新渲染的渲染数据,也可以是与虚拟对象结合显示的文字或图像效果数据,具体的根据实际情况进行选择,本公开实施例不作限定。
可以理解的是,本公开实施例中,通过采集真实场景中真实对象的目标图像,确定虚拟对象,并对虚拟对象进行渲染得到的虚拟效果图像,从而利用虚拟效果图像的增强现实效果提高并丰富了显示应用的显示效果。并且,电子设备可以通过至少一个交互控件接收用户的交互操作,并对虚拟对象进行相应的操作与更新展示,从而提高了显示内容的丰富性。
在一些实施例中,基于图2,如图3所示,S101可以通过S1011-S1012来实现,如下:
S1011、响应于对目标功能入口的触发操作,从显示功能菜单页面跳转至目标功能加载界面,在目标功能加载界面的显示过程中同步加载目标功能后台数据。
本公开实施例中,电子设备响应于对目标功能入口的触发操作,可以在进入图像采集界面之前,先从显示功能菜单页面跳转至目标功能加载界面,通过目标功能加载界面显示目标功能后台数据的加载进度以及目标功能的介绍信息。
本公开实施例中,电子设备可以在目标功能加载界面的显示过程中同步加载目标功能后台数据,用于后续步骤中对虚拟对象进行渲染。这里,目标功能后台数据包括至少一种预设渲染数据;目标功能后台数据可以存放在服务器上,由电子设备加载到本地;也可以存放在电子设备本地,在运行过程中加载至自身内存,具体的根据实际情况进行选择,本公开实施例不作限定。
S1012、在目标功能后台数据加载完成的情况下,进入图像采集界面,采集真实场景中真实对象的目标图像。
在一些实施例中,示例性地,目标功能可以是日历中附带的虚拟服务产品中的“展示品带回家”功能,该功能可以提供用户与展示品AR模型的互动,其对应的目标功能加载界面可以如图4所示。图4的目标功能加载界面中示出了目标功能的名称11、目标功能后台数据的加载进度12、目标功能的介绍信息13等信息。
在一些实施例中,电子设备在进入图像采集界面的情况下,采集真实场景中真实对象的目标图像的过程可以通过执行S201-S202实现,如下:
S201、在进入图像采集界面的情况下,在图像采集界面上显示采集范围引导信息;采集范围引导信息包括预设采集范围边界。
本公开实施例中,电子设备在进入图像采集界面的情况下,可以在图像采集界面上显示采集范围引导信息,以将电子设备对真实场景的图像采集范围有针对性地集中在真实对象上,减少真实场景中无关信息的干扰,提高后续步骤中对目标图像进行识别的准确度。
在一些实施例中,采集范围引导信息可以包含预设采集范围边界,示例性地,预设采集范围边界可以是扫描框、瞄准框等图形边界。在一些实施例中,采集范围引导信息还可以包含文字引导信息,用于提供图像采集的文字指导。
示例性地,基于图4,图像采集界面可以如图5所示,图5中示出了预设采集范围边界21。
S202、通过图像采集界面对真实场景中的真实对象进行图像采集,将预设采集范围边界内的图像作为目标图像。
本公开实施例中,电子设备可以通过图像采集界面对真实场景中的真实对象进行图像采集,舍弃预设采集范围边界之外的图像信息,将预设采集范围边界内的图像作为目标图像。
在一些实施例中,电子设备对真实对象进行图像采集的方式可以包括扫描或拍照的方式,也可以是其他图像采集方式,具体的根据实际情况进行选择,本公开实施例不作限定。
在一些实施例中,真实对象包括:目标真实物品,虚拟对象为与目标真实物品对应的目标虚拟模型,示例性地,目标真实物品可以是日历中的展示品图像,如香炉图像;虚拟对象可以是展示品图像对应的虚拟模型,如香炉AR模型。下面以真实对象为目标真实物品为例,对本公开实施例中的显示方法进行介绍。
基于图2与图3,如图6所示,S102中通过对目标图像进行识别,确定目标图像对应的虚拟对象的过程可以通过执行S1021-S1022的过程来实现;S102中在目标功能页面中展示对虚拟对象进行渲染得到的虚拟效果图像的过程可以通过S1023-S1025的过程来实现,将结合各步骤进行说明。
S1021、对目标图像进行至少一种预设真实物品的目标识别,得到目标真实物品的检测结果。
本公开实施例中,电子设备可以通过机器学习的方式得到多目标分类的神经网络,用于识别输入图像对应至少一个预设真实物品的分类概率。电子设备可以通过多目标分类的神经网络,对目标图像进行特征提取和分类预测,得到目标图像属于至少一个预设真实物品中每个预设真实物品的分类概率;基于目标图像属于每个预设真实物品的分类概率,得到目标图像对应的目标真实物品的检测结果。
在一些实施例中,基于图5所示的图像采集界面,电子设备可以以扫描的方式采集预设采集范围边界内的目标图像,并对实时扫描得到的目标图像进行实时地识别,预测出目标图像对应的预设真实物品,作为目标真实物品的检测结果。
S1022、基于检测结果,获取目标真实物品对应的目标虚拟模型作为虚拟对象。
本公开实施例中,电子设备可以基于目标真实物品的检测结果,使用预设的建模数据实时地生成目标真实物品对应的目标虚拟模型作为虚拟对象,电子设备也可以在显示小程序的目标功能后台数据中预存由至少一个预设真实物品对应的至少一个预设虚拟模型,从而可以基于目标真实物品的检测结果,从预存的至少一个预设虚拟模型中,获取目标真实物品对应的目标虚拟模型作为虚拟对象。具体的根据实际情况进行选择,本公开实施例不作限定。
示例性地,电子设备对目标图像进行识别,得到目标真实物品为香炉图像的检测结果。电子设备可以进行针对香炉图像进行虚拟场景下的三维建模,得到香炉的三维虚拟模型作为香炉图像对应的虚拟对象。
S1023、获取目标图像在预设屏幕坐标系中对应的位置信息,作为目标真实物品在目标功能页面上展示的屏幕位置信息。
本公开实施例中,由于目标图像为目标真实物品在显示屏上当前显示的目标功能页面中所展示的图像,电子设备可以获取目标图像中每个像素点在显示屏的预设屏幕坐标系中对应的位置信息,作为目标真实物品在目标功能页面上展示的屏幕位置信息。
S1024、基于目标图像进行姿态评估,得到目标真实物品在真实场景中的真实位置信息。
本公开实施例中,由于目标图像也反映了目标真实物品在真实场景中的位置和姿态信息,电子设备可以基于目标图像,结合图像采集设备的标定参数,如相机的内参矩阵,对目标图像进行姿态评估,得到目标真实物品在真实场景中的真实位置信息。
在一些实施例中,电子设备可以将以目标真实物品的中心为原点的坐标系作为真实坐标系,利用3D射影几何的变换关系,将真实坐标系旋转平移到图像采集设备对应的摄像机坐标系,再从摄像机坐标系映射到屏幕坐标系,从而得到真实位置信息与屏幕位置信息的映射关系。
S1025、从目标功能后台数据中,获取虚拟对象对应的目标预设渲染数据,基于真实位置信息与屏幕位置信息的映射关系,使用目标预设渲染数据对虚拟对象进行渲染,得到虚拟效果图像。
本公开实施例中,电子设备在建立了真实坐标系和屏幕坐标系建立映射关系的情况下,就可以根据真实位置信息与屏幕位置信息的映射关系,在显示屏上对虚拟对象进行渲染,得到渲染出的虚拟对象图像依附在真实场景的物品图像上的虚拟效果图像。
本公开实施例中,电子设备在通过加载过程获取到目标功能后台数据的情况下,可以从目标功能后台数据中,获取虚拟对象对应的目标预设渲染数据。这里,目标功能后台数据中包含的至少一种预设渲染数据可以是至少一种预设虚拟模型对应的预设渲染数据。电子设备可以获取目标虚拟模型在至少一个预设渲染数据中对应的预设渲染数据,作为目标预设渲染数据。
在一些实施例中,电子设备在从目标图像中识别出目标真实物品的检测结果的情况下,可以从图像采集界面跳转至目标功能页面,在目标功能页面上进行虚拟对象的渲染与虚拟效果图像的展示。示例性地,电子设备从目标图像中识别出香炉图像的情况下,可以获取香炉图像对应的香炉AR模型,并通过预设渲染数据,在目标功能页面上渲染出香炉AR模型的虚拟对象图像,如图7中的31部分所示。这里,虚拟对象图像可以是三维立体效果的香炉模型图像,电子设备将虚拟对象图像叠加在真实场景中的日历的物品图像上,得到虚拟效果图像,并通过目标功能页面展现出虚拟与现实相结合的增强现实效果。
可以理解的是,本公开实施例中,通过对虚拟对象进行渲染得到增强现实效果的虚拟效果图像,可以将真实物品与将虚拟世界中的显示内容无缝结合,增强了显示内容的多样性和体验感,提高了显示内容的丰富性。
在一些实施例中,基于图6,S1021之后,还可以执行S1026,如下:
S1026、在目标图像中未识别到预设物品对象的情况下,在图像采集界面上显示用于提示调整预设采集范围边界的位置的引导信息。
本公开实施例中,电子设备对目标图像进行至少一种预设真实物品的目标识别,在未识别到预设真实物品的情况下,电子设备确定预设采集范围边界中不包含任何一种预设真实物品,电子设备在在图像采集界面上显示用于提示调整预设采集范围边界的位置的引导信息,以提示用户将预设采集范围边界对准真实对象进行图像采集。
示例性地,基于图5,在预设采集范围边界即扫描框,没有对准日历中的展示品,如香炉图像的情况下,如图8所示,电子设备无法根据扫描框内的目标图像正常识别到预设的展示品对象。电子设备在图像采集界面上显示引导信息41,以提示用户将扫描框对准日历上的展示品。
在一些实施例中,基于图2与图6,电子设备在目标功能页面上展示的至少一个交互控件可以包括:旋转控件,S103中响应于针对至少一个交互控件中目标交互控件的交互操作,确定虚拟对象对应的响应效果数据的过程可以通过S1031-S1033来实现,如下:
S1031、在目标交互控件为旋转控件的情况下,展示旋转引导图标。
本公开实施例中,旋转控件用于对虚拟对象进行旋转,以通过对虚拟对象的旋转全方位地展示目标真实物品。在用户触发的交互操作对应的目标交互控件为旋转控件的情况下,电子设备可以展示旋转引导图标,通过旋转引导图标指导用户以图标指示的操作,对虚拟对象进行旋转。
在一些实施例中,基于图7示出的目标功能页面,旋转控件可以如图9中的控件51所示,在控件51接收到交互操作,如用户点击了控件51的情况下,响应于控件51上的交互操作,电子设备可以在控件51附近展示出旋转引导图标52。旋转引导图标52指示用户通过左右滑动的方式对虚拟对象进行旋转。
S1032、接收针对于旋转引导图标的旋转操作,根据旋转操作确定虚拟对象的旋转方向与旋转角度。
本公开实施例中,电子设备通过旋转引导图标接收旋转操作,并根据旋转操作的操作信息,如操作方向或操作距离,确定虚拟对象的旋转方向与旋转角度。
在一些实施例中,旋转操作可以是左右滑动的操作,电子设备可以根据左右滑动的方向确定虚拟对象顺时针或逆时针的旋转方向,并根据左右滑动的距离确定虚拟对象的旋转角度。
S1033、根据旋转方向与旋转角度,对虚拟对象进行旋转,并获取旋转后的虚拟对象对应的预设渲染数据,作为响应效果数据。
本公开实施例中,电子设备可以根据旋转操作指示的旋转方向与旋转角度,对虚拟对象进行旋转,得到旋转后的虚拟对象。电子设备根据旋转后的虚拟对象,获取对应的预设渲染数据作为响应效果数据,以通过响应效果数据更新虚拟效果图像,展示出对虚拟对象进行旋转后呈现的虚拟效果图像。
需要说明的是,在一些实施例中,电子设备在接收到针对旋转控件的交互操作,如点击的情况下,可以将旋转控件设置为开启状态;这样,在旋转控件为开启状态的情况下,显示旋转引导图标,用户可以通过旋转操作对对虚拟对象进行旋转。在完成对虚拟对象的旋转的情况下,用户可以通过再次点击旋转控件,将旋转控件转换为关闭状态,从而将虚拟对象退出旋转状态,关闭旋转引导图标,在旋转控件为关闭状态的情况下不响应旋转操作。
在一些实施例中,目标功能页面上的至少一个交互控件可以包括:信息显示控件,S103可以通过S1034来实现,如下:
S1034、在目标交互控件为信息显示控件的情况下,获取虚拟对象对应的预设介绍数据,作为响应效果数据;预设介绍数据用于在预设显示位置上显示目标真实物品的介绍信息。
本公开实施例中,信息显示控件用于展示虚拟对象的预设介绍数据,预设介绍数据用于在预设显示位置上显示目标真实物品的介绍信息,这里,介绍信息可以包含文字介绍信息与图像介绍信息中的至少一种。电子设备在接收到针对信息显示控件的交互操作的情况下,获取虚拟对象对应的预设介绍数据,作为响应效果数据,以通过响应效果数据对虚拟效果图像进行更新,将预设介绍数据显示在当前的目标功能页面上。
在一些实施例中,电子设备可以通过预设显示位置上的弹出窗口或弹出界面显示预设介绍数据,对虚拟效果图像进行更新。示例性地,基于图7示出的目标功能页面,信息显示控件可以如图10中的控件61所示,在控件61接收到交互操作,如用户点击了控件61的情况下,响应于控件61上的交互操作,电子设备可以获取虚拟对象,如香炉AR模型对应的香炉的介绍信息作为预设介绍数据,在当前的目标功能页面的预设显示位置上弹出香炉的介绍窗口62,通过介绍窗口62显示预设介绍数据。
在一些实施例中,目标功能页面上的至少一个交互控件可以包括:图像采集控件,S103可以通过S1035-S1036来实现,如下:
S1035、在目标交互控件为图像采集控件的情况下,对虚拟对象对应的当前的虚拟效果图像进行采集,得到当前对象图像。
本公开实施例中,图像采集控件用于对目标功能页面上当前呈现的虚拟效果图像进行采集。在目标交互控件为图像采集控件的情况下,电子设备对虚拟对象对应的当前的虚拟效果图像进行采集,示例性地,可以通过截屏或截图的方式进行采集,得到当前对象图像。
S1036、获取第一预设模板,结合第一预设模板与当前对象图像,生成模板对象图像,将模板对象图像作为响应效果数据;第一预设模板用于为展示当前对象图像提供预设的图像模板。
本公开实施例中,电子设备获取第一预设模板,并将当前对象图像与第一预设模板相结合,生成模板对象图像,作为响应效果数据。
本公开实施例中,第一预设模板为展示当前对象图像提供了预设的图像模板。在一些实施例中,第一预设模板可以是预设的相框,电子设备将当前对象图像与预设的相框相结合,得到模板对象图像。示例性地,如图11所示。目标功能页面上显示有图像采集控件70,在图像采集控件70接收到交互操作,如用户点击了图像采集控件70的情况下,响应于图像采集控件70上的交互操作,电子设备可以对目标功能页面上当前呈现的虚拟效果图像进行采集,得到当前对象图像71。电子设备获取第一预设模板72,结合第一预设模板72与当前对象图像71,生成模板对象图像,如图11中虚线框内的部分73所示,将模板对象图像73作为响应效果数据。
在本公开的一些实施例中,基于上述图9至图11,目标功能页面可以同时展示出至少一个交互控件,示例性地,如图12所示,目标功能页面上同时展示有旋转控件51、信息显示控件61与图像采集控件70,以在目标功能页面上实现旋转控件、信息显示控件与图像采集控件对应的多种交互方式。在一些实施例中,在目标功能页面上同时显示有至少两个交互控件的情况下,电子设备每次只响应针对一个交互控件的交互操作。示例性地,在用户点击旋转控件51的情况下,旋转控件51进入开启状态,显示旋转引导图标52;此时若接收到针对信息显示控件61的交互操作,则将旋转控件转换为关闭状态,关闭旋转引导图标,将虚拟对象退出关闭状态,弹出预设介绍数据62的界面;此时若接收到针对图像采集控件70的交互操作,则关闭预设介绍数据62的界面的显示,对虚拟对象对应的当前的虚拟效果图像进行采集,得到当前对象图像;结合第一预设模板与当前对象图像,生成模板对象图像73。
可以理解的是,本公开实施例中,可以通过图像采集、旋转、信息简介至少之一的交互方式,丰富显示应用的展示效果,并提高显示应用与用户的互动性。
在一些实施例中,第一预设模板上还可以包括:预设识别码;预设识别码用于提供预设功能的链接。
本公开实施例中,电子设备可以在第一预设模板上生成并显示预设识别码,以将预设识别码附加在根据第一预设模板生成的模板对象图像上,使得目标设备可以通过对预设识别码的识别,进入预设功能的链接。在一些实施例中,预设识别码为小程序识别码,小程序识别码用于提供显示小程序入口。在目标设备对小程序识别码扫描识别成功的情况下,可以在目标设备上启动目标功能。
在一些实施例中,基于上述的S1036与图11,在生成模板对象图像的情况下,电子设备可以从当前的目标功能页面跳转至分享页面,在分享页面上显示模板对象图像,分享页面包含第一分享控件。在接收到针对第一分享控件的分享操作的情况下,电子设备可以生成模板对象图像对应的第一小程序链接,将第一小程序链接分享至目标设备。这样,目标设备可以通过点击第一小程序链接,在目标设备上打开模板对象图像,或进入显示小程序的页面,实现向目标设备的分享。
在一些实施例中,上述的分享页面还可以包含第一保存控件,在接收到针对第一保存控件的保存操作的情况下,将模板对象图像保存至本地存储空间。
在一些实施例中,分享页面还可以包括返回控件,如“重新拍”功能控件。返回控件用于在接收到对应的触发操作的情况下,重新返回目标功能页面对虚拟效果图像进行采集。
在一些实施例中,分享页面也可以以文字信息的形式,提示用户通过预设的触发分享操作,如通过长按模板对象图像的操作进行分享。具体的根据实际情况进行选择,本公开实施例不作限定。
在一些实施例中,电子设备生成的模板对象图像可以是webview形式的页面,由于webview形式的页面不便于直接分享,电子设备可以通过响应于第一分享控件的分享操作;或者,通过响应于的预设的触发分享操作,如在模板对象图像上进行长按的操作,从分享页面跳转至分享小程序,进入分享小程序的页面,以利用分享小程序的页面实现对模板对象图像的保存操作或分享操作。
在一些实施例中,电子设备可以将分享小程序的页面作为二级分享页面,在二级分享页面上显示第二保存控件与第二分享的控件。在第二保存控件被触发的情况下,将模板对象图像保存至本地;在第二分享的控件被触发的情况下,生成模板对象图像对应的第一小程序链接,将第一小程序链接分享至目标设备。
可以理解的是,本公开实施例中,通过将虚拟效果图像分享至目标设备,进一步丰富了显示小程序的互动性,并有利于显示小程序对应的虚拟服务产品的推广。
在一些实施例中,真实对象可以是日历中的艺术画像,目标功能可以是日历附带的虚拟服务产品中的“艺术画动起来”功能。基于上述的图2、图3与图6中的描述,电子设备可以响应于对目标功能入口“艺术画动起来”的触发操作,进入如图13所示的目标功能加载界面,在目标功能加载界面的显示过程中同步加载目标功能后台数据。这里,目标功能后台数据可以包含预设动态效果渲染数据与预设的多媒体音频数据。在加载目标功能后台数据的加载过程中,电子设备还可以在目标功能加载界面弹出开启声音的提示窗口,以提醒用户开启声音,获得更好的体验。在目标功能后台数据加载完成的情况下,从目标功能加载界面进入如图14所示的图像采集界面,通过图像采集界面采集日历上的艺术画像。在通过图像采集界面,对采集艺术画像得到的目标图像成功识别的情况下,电子设备确定艺术画像对应的目标虚拟模型作为虚拟对象,并获取虚拟对象对应的目标预设渲染数据,在目标功能页面上对虚拟对象进行渲染,得到虚拟效果图像。在一些实施例中,虚拟效果图像可以是动态的艺术画像,如图15所示。电子设备在显示虚拟效果图像,即动态的艺术画像的情况下,还可以播放虚拟效果图像对应的多媒体音频数据。
在一些实施例中,电子设备在从图像采集界面进入如图15所示的目标功能页面之前,可以检测自身的声音是否被开启,在未开启声音的情况下,在图像采集界面上弹出提示窗口以提醒用户开启声音。
在一些实施例中,图15所示的目标功能页面可以包含图像采集控件120与信息显示控件121,在信息显示控件121接收到交互操作的情况下,电子设备在当前的目标功能页面上弹出预设介绍数据对应的窗口界面130,用于对当前识别到的艺术画像进行介绍,如图16所示。在图像采集控件120接收到交互操作的情况下,电子设备对当前的虚拟效果图像进行采集,并获取第一预设模板生成模板对象图像。在生成模板对象图像的情况下,电子设备跳转至分享界面,如图17所示,在分享界面上显示模板对象图像131与第一分享控件132。
在一些实施例中,基于图17,在接收到针对第一分享控件132的分享操作,或者响应于预设的触发分享操作的情况下,电子设备可以跳转至分享小程序,进入分享小程序对应的二级分享界面;通过二级分享页面上的第二分享控件生成模板对象图像对应的第一小程序链接,将第一小程序链接分享至目标设备,完成对模板对象图像的分享。或者,通过二级分享页面上的第二保存控件将模板对象图像保存至本地。
可以理解的是,本公开实施例中,可以通过动态的虚拟效果图像结合多媒体音频数据,进一步丰富显示功能的展示效果,并提高与用户的交互性。
在一些实施例中,真实对象包括:真实人物,显示功能菜单页面上的至少一个功能入口包括:合成拍照功能对应的合成拍照入口,电子设备可以通过合成拍照功能,实现对真实人物在预设主题下的特效拍摄。下面以真实对象为真实人物为例,对本公开实施例中的显示方法进行说明。
基于图2,如图18所示,S101的过程可以通过S301-S302来实现,S102的过程可以通过S303来实现,将结合各步骤进行说明。
S301、响应于对合成拍照入口的触发操作,从显示功能菜单页面跳转至合成拍照界面,并在合成拍照界面上展示拍照控件。
本公开实施例中,在目标功能入口为合成拍照入口的情况下,电子设备响应于对合成拍照入口的触发操作,从显示功能菜单页面跳转至合成拍照界面,以通过合成拍照界面对真实人物进行图像采集。
在一些实施例中,电子设备也可以响应于针对合成拍照入口的触发操作,跳转至如图19中示出的目标功能加载界面,在目标功能加载界面加载目标功能后台数据。其中,目标功能后台数据可以包括预设特效贴纸。在目标功能后台数据加载完成的情况下,跳转至合成拍照界面。
本公开实施例中,电子设备在合成拍照界面上展示拍照控件。如图19中的控件140所示。
在一些实施例中,在跳转至合成拍照界面后,电子设备可以从目标功能后台数据中加载预设特效贴纸,在合成拍照界面显示预设特效贴纸。如图19的贴纸141所示。
S302、在接收到针对拍照控件的交互操作的情况下,对真实场景中的真实人物进行图像采集,得到真实人物图像作为目标图像。
本公开实施中,在接收到针对拍照控件的交互操作的情况下,电子设备对真实场景中的真实人物进行图像采集,得到真实人物图像作为目标图像。
S303、在目标图像为真实人物图像的情况下,对真实人物图像进行识别,确定真实人物图像对应的预设特效贴纸,对真实人物图像与预设特效贴纸进行叠加,生成并展示叠加后的当前合成图像作为虚拟效果图像。
本公开实施例中,在目标图像为真实人物图像的情况下,电子设备可以对真实人物图像进行识别,得到真实人物图像中包含的人体部位信息,进而,确定出人体部位信息对应的预设特效贴纸,如头部对应的预设特效贴纸或眼部对应的预设特效贴纸,进而,对真实人物图像与预设特效贴纸进行对应部位的叠加,生成并展示叠加后的当前合成图像作为虚拟效果图像。
在一些实施例中,电子设备在生成当前合成图像之后,可以跳转至如图19示出的拍照完成界面展示当前合成图像,当前合成图像如图19中的图像151所示。电子设备可以将拍照完成界面作为目标功能页面,在拍照完成界面上显示至少一个交互控件中的第三分享控件,如图19中的控件150所示。电子设备在接收到针对第三分享控件150的分享操作的情况下,可以获取第二预设模板,基于第二预设模板与当前合成图像生成如图19示出的模板合成图像160;将模板合成图像160作为响应效果数据,更新当前合成图像也即虚拟效果图像。
在一些实施例中,图19示出了第三保存控件161和第四分享控件162。在第三保存控件161接收到点击操作的情况下,将模板合成图像保存至本地。在第四分享控件162接收到点击操作的情况下,生成模板合成图像对应的第二小程序链接,将第二小程序链接分享至目标设备。电子设备对模板合成图像的分享过程与上述对模板对象图像的分享过程描述一致,此处不再赘述。
在一些实施例中,目标设备可以通过扫描模板合成图像上的预设识别码,进入加载页面,在加载完成后,在目标设备上呈现包含模板对象图像的分享效果页面。目标设备的使用者可以通过分享效果页面上的拍照体验控件,对合成拍照功能进行体验。
可以理解的是,通过合成拍照功能,可以为用户提供虚拟服务产品中预设主题的特效拍照,进一步丰富了虚拟服务产品的显示功能与用户的交互体验。
本公开实施例提供一种显示装置,如图20所示,显示装置1包括:采集单元10、渲染单元20与操作单元30,其中
所述采集单元10,用于响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像;
所述渲染单元20,用于通过对所述目标图像进行识别,确定所述目标图像对应的虚拟对象,并在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像;所述目标功能页面包含至少一个交互控件;所述虚拟效果图像用于展示所述目标图像对应的增强现实效果;
所述操作单元30,用于响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,并通过所述响应效果数据,更新展示的所述虚拟效果图像。
上述装置中,所述显示装置1还包括:展示单元,所述展示单元,用于响应于针对显示小程序入口的触发操作,展示显示功能菜单页面,所述显示功能菜单页面用于展示至少一个功能入口;
所述采集单元10,还用于响应于针对所述至少一个功能入口中目标功能入口的触发操作,进入目标功能对应的图像采集页面,采集真实场景中真实对象的目标图像。
上述装置中,所述显示装置1还包括:加载单元,所述加载单元,用于从所述显示功能菜单页面跳转至目标功能加载界面,在所述目标功能加载界面的显示过程中同步加载目标功能后台数据;所述目标功能后台数据包括至少一种预设渲染数据;在所述目标功能后台数据加载完成的情况下,进入图像采集界面。
上述装置中,所述真实对象包括:真实人物;所述目标功能入口包括:合成拍照入口;所述采集单元10,还用于从所述显示功能菜单页面跳转至合成拍照界面,并在所述合成拍照界面上展示拍照控件;在接收到针对所述拍照控件的交互操作的情况下,对所述真实场景中的所述真实人物进行图像采集,得到真实人物图像作为所述目标图像。
上述装置中,所述加载单元,还用于所述从所述显示功能菜单页面跳转至合成拍照界面之后,从目标功能后台数据中加载预设特效贴纸,在所述合成拍照界面显示所述预设特效贴纸。
上述装置中,所述至少一个交互控件,包括:旋转控件;所述操作单元30,还用于在所述目标交互控件为所述旋转控件的情况下,展示旋转引导图标;接收针对于所述旋转引导图标的旋转操作,根据所述旋转操作确定所述虚拟对象的旋转方向与旋转角度;根据所述旋转方向与所述旋转角度,对所述虚拟对象进行旋转,并获取旋转后的虚拟对象对应的预设渲染数据,作为所述响应效果数据。
上述装置中,所述至少一个交互控件,包括:信息显示控件;所述操作单元30,还用于在所述目标交互控件为所述信息显示控件的情况下,获取所述虚拟对象对应的预设介绍数据,作为所述响应效果数据;所述预设介绍数据用于在预设显示位置上显示所述目标真实物品的介绍信息。
上述装置中,所述至少一个交互控件,包括:图像采集控件;所述操作单元30,还用于在所述目标交互控件为所述图像采集控件的情况下,对所述虚拟对象对应的当前的虚拟效果图像进行采集,得到当前对象图像;获取第一预设模板,结合所述第一预设模板与所述当前对象图像,生成模板对象图像,将所述模板对象图像作为所述响应效果数据;所述第一预设模板用于为展示所述当前对象图像提供预设的图像模板。
上述装置中,所述第一预设模板还包括:预设识别码;所述预设识别码用于提供预设功能的链接。
上述装置中,所述预设识别码为小程序识别码,所述小程序识别码用于提供显示小程序入口的链接。
上述装置中,所述操作单元30,还用于在生成所述模板对象图像的情况下,跳转至分享页面,在所述分享页面上显示所述模板对象图像,所述分享页面包含第一分享控件;在接收到针对所述第一分享控件的分享操作的情况下,生成所述模板对象图像对应的第一小程序链接,将所述第一小程序链接分享至目标设备。
上述装置中,所述分享页面还包含第一保存控件;所述操作单元30,还用于在接收到针对所述第一保存控件的保存操作的情况下,将所述模板对象图像保存至本地存储空间。
上述装置中,所述采集单元10,还用于在进入图像采集界面的情况下,在所述图像采集界面上显示采集范围引导信息;所述采集范围引导信息包括预设采集范围边界;通过所述图像采集界面对所述真实对象进行图像采集,将所述预设采集范围边界内的图像作为所述目标图像。
上述装置中,所述真实对象包括:目标真实物品,所述虚拟对象为与所述目标真实物品对应的目标虚拟模型;所述渲染单元20还包括识别子单元,所述识别子单元,用于对所述目标图像进行至少一种预设真实物品的目标识别,得到目标真实物品的检测结果;基于所述检测结果,获取所述目标真实物品对应的目标虚拟模型作为所述虚拟对象。
上述装置中,所述图像采集单元10,还用于在所述目标图像中未识别到预设真实物品的情况下,在所述图像采集界面上显示用于提示调整所述预设采集范围边界的位置的引导信息。
上述装置中,所述显示装置1还包括播放单元;所述播放单元,还用于在显示所述虚拟效果图像的情况下,播放所述虚拟效果图像对应的多媒体音频数据。
上述装置中,所述渲染单元20,还用于获取所述目标图像在预设屏幕坐标系中对应的位置信息,作为所述目标真实物品在所述目标功能页面上展示的屏幕位置信息;基于所述目标图像进行姿态评估,得到所述目标真实物品在所述真实场景中的真实位置信息;从目标功能后台数据中,获取所述虚拟对象对应的目标预设渲染数据,基于所述真实位置信息与所述屏幕位置信息的映射关系,使用所述目标预设渲染数据对所述虚拟对象进行渲染,得到所述虚拟效果图像。
上述装置中,所述目标图像包括:真实人物图像,所述虚拟对象包括:预设特效贴纸;所述渲染单元20,还用于对所述真实人物图像与所述预设特效贴纸进行叠加,生成并展示叠加后的当前合成图像作为所述虚拟效果图像。
在一些实施例中,所述显示装置1通过小程序或网页客户端实现。
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节,请参照本公开方法实施例的描述而理解。
本公开实施例还提供一种电子设备,图21为本公开实施例提供的电子设备2的结构示意图,如图21所示,包括:显示屏201、存储器202和处理器203,其中,显示屏201、存储器202和处理器203通过通信总线204连接;存储器202,用于存储可执行计算机程序;处理器203,用于执行存储器202中存储的可执行计算机程序时,结合显示屏201,实现本公开实施例提供的方法,例如,本公开实施例提供的显示方法。
本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,用于引起处理器203执行时,实现本公开实施例提供的方法,例如,本公开实施例提供的显示方法。
在本公开的一些实施例中,存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在本公开的一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
综上所述,通过采集真实场景中真实对象的目标图像,确定虚拟对象,并对虚拟对象进行渲染得到的虚拟效果图像,从而利用虚拟效果图像的增强现实效果提高并丰富了显示应用的显示效果。并且,电子设备可以通过至少一个交互控件接收用户的交互操作,并对虚拟对象进行相应的操作与更新展示,从而提高了显示内容的丰富性。进一步的,通过将虚拟效果图像分享至目标设备,进一步丰富了显示小程序的互动性,并有利于显示小程序对应的虚拟服务产品的推广。进一步的,通过合成拍照功能,可以为用户提供虚拟服务产品中预设主题的特效拍照,进一步丰富了虚拟服务产品的显示功能与用户的交互体验。
以上所述,仅为本公开的较佳实施例而已,并非用于限定本公开的保护范围。
Claims (22)
1.一种显示方法,其特征在于,包括:
响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像;
通过对所述目标图像进行识别,确定所述目标图像对应的虚拟对象,并在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像;所述目标功能页面包含至少一个交互控件;所述虚拟效果图像用于展示所述目标图像对应的增强现实效果;
响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,并通过所述响应效果数据,更新展示的所述虚拟效果图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于针对显示小程序入口的触发操作,展示显示功能菜单页面,所述显示功能菜单页面用于展示至少一个功能入口;
所述响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像,包括:
响应于针对所述至少一个功能入口中目标功能入口的触发操作,进入目标功能对应的图像采集页面,采集真实场景中真实对象的目标图像。
3.根据权利要求2所述的方法,其特征在于,所述进入目标功能对应的图像采集页面,包括:
从所述显示功能菜单页面跳转至目标功能加载界面,在所述目标功能加载界面的显示过程中同步加载目标功能后台数据;所述目标功能后台数据包括至少一种预设渲染数据;
在所述目标功能后台数据加载完成的情况下,进入图像采集界面。
4.根据权利要求1或2所述的方法,其特征在于,所述真实对象包括:真实人物;所述目标功能入口包括:合成拍照入口;所述响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像,包括:
从所述显示功能菜单页面跳转至合成拍照界面,并在所述合成拍照界面上展示拍照控件;
在接收到针对所述拍照控件的交互操作的情况下,对所述真实场景中的所述真实人物进行图像采集,得到真实人物图像作为所述目标图像。
5.根据权利要求4所述的方法,其特征在于,所述从所述显示功能菜单页面跳转至合成拍照界面之后,所述方法还包括:
从目标功能后台数据中加载预设特效贴纸,在所述合成拍照界面显示所述预设特效贴纸。
6.根据权利要求1-3任一项所述的方法,其特征在于,所述至少一个交互控件,包括:旋转控件;所述响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,包括:
在所述目标交互控件为所述旋转控件的情况下,展示旋转引导图标;
接收针对于所述旋转引导图标的旋转操作,根据所述旋转操作确定所述虚拟对象的旋转方向与旋转角度;
根据所述旋转方向与所述旋转角度,对所述虚拟对象进行旋转,并获取旋转后的虚拟对象对应的预设渲染数据,作为所述响应效果数据。
7.根据权利要求1-3任一项所述的方法,其特征在于,所述至少一个交互控件,包括:信息显示控件;所述响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,包括:
在所述目标交互控件为所述信息显示控件的情况下,获取所述虚拟对象对应的预设介绍数据,作为所述响应效果数据;所述预设介绍数据用于在预设显示位置上显示所述目标真实物品的介绍信息。
8.根据权利要求1-3任一项所述的方法,其特征在于,所述至少一个交互控件,包括:图像采集控件;所述响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,包括:
在所述目标交互控件为所述图像采集控件的情况下,对所述虚拟对象对应的当前的虚拟效果图像进行采集,得到当前对象图像;
获取第一预设模板,结合所述第一预设模板与所述当前对象图像,生成模板对象图像,将所述模板对象图像作为所述响应效果数据;所述第一预设模板用于为展示所述当前对象图像提供预设的图像模板。
9.根据权利要求8所述的方法,其特征在于,所述第一预设模板还包括:预设识别码;所述预设识别码用于提供预设功能的链接。
10.根据权利要求9所述的方法,其特征在于,所述预设识别码为小程序识别码,所述小程序识别码用于提供显示小程序入口的链接。
11.根据权利要求8-10任一项所述的方法,其特征在于,所述方法还包括:
在生成所述模板对象图像的情况下,跳转至分享页面,在所述分享页面上显示所述模板对象图像,所述分享页面包含第一分享控件;
在接收到针对所述第一分享控件的分享操作的情况下,生成所述模板对象图像对应的第一小程序链接,将所述第一小程序链接分享至目标设备。
12.根据权利要求11所述的方法,其特征在于,所述分享页面还包含第一保存控件,所述方法还包括:
在接收到针对所述第一保存控件的保存操作的情况下,将所述模板对象图像保存至本地存储空间。
13.根据权利要求1-12任一项所述的方法,其特征在于,所述采集真实场景中真实对象的目标图像,包括:
在进入图像采集界面的情况下,在所述图像采集界面上显示采集范围引导信息;所述采集范围引导信息包括预设采集范围边界;
通过所述图像采集界面对所述真实对象进行图像采集,将所述预设采集范围边界内的图像作为所述目标图像。
14.根据权利要求1-13任一项所述的方法,其特征在于,所述真实对象包括:目标真实物品,所述虚拟对象为与所述目标真实物品对应的目标虚拟模型;
所述通过对所述目标图像进行识别,确定所述目标图像对应的虚拟对象,包括:
对所述目标图像进行至少一种预设真实物品的目标识别,得到目标真实物品的检测结果;
基于所述检测结果,获取所述目标真实物品对应的目标虚拟模型作为所述虚拟对象。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
在所述目标图像中未识别到预设真实物品的情况下,在所述图像采集界面上显示用于提示调整所述预设采集范围边界的位置的引导信息。
16.根据权利要求1-15任一项所述的方法,其特征在于,所述方法还包括:
在显示所述虚拟效果图像的情况下,播放所述虚拟效果图像对应的多媒体音频数据。
17.根据权利要求1-16任一项所述的方法,其特征在于,所述在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像,包括:
获取所述目标图像在预设屏幕坐标系中对应的位置信息,作为所述目标真实物品在所述目标功能页面上展示的屏幕位置信息;
基于所述目标图像进行姿态评估,得到所述目标真实物品在所述真实场景中的真实位置信息;
从目标功能后台数据中,获取所述虚拟对象对应的目标预设渲染数据,基于所述真实位置信息与所述屏幕位置信息的映射关系,使用所述目标预设渲染数据对所述虚拟对象进行渲染,得到所述虚拟效果图像。
18.根据权利要求1-16任一项所述的方法,其特征在于,所述目标图像包括:真实人物图像,所述虚拟对象包括:预设特效贴纸;
所述在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像,包括:
对所述真实人物图像与所述预设特效贴纸进行叠加,生成并展示叠加后的当前合成图像作为所述虚拟效果图像。
19.根据权利要求1-17任一项所述的方法,其特征在于,所述方法还包括:
所述显示方法通过小程序或网页客户端实现。
20.一种显示装置,其特征在于,包括:
采集单元,用于响应于对目标功能入口的触发操作,采集真实场景中真实对象的目标图像;
渲染单元,用于通过对所述目标图像进行识别,确定所述目标图像对应的虚拟对象,并在目标功能页面中展示对所述虚拟对象进行渲染得到的虚拟效果图像;所述目标功能页面包含至少一个交互控件;所述虚拟效果图像用于展示所述目标图像对应的增强现实效果;
操作单元,用于响应于针对所述至少一个交互控件中目标交互控件的交互操作,确定所述虚拟对象对应的响应效果数据,并通过所述响应效果数据,更新展示的所述虚拟效果图像。
21.一种电子设备,其特征在于,包括:
显示屏;存储器,用于存储可执行计算机程序;
处理器,用于执行所述存储器中存储的可执行计算机程序时,结合所述显示屏实现权利要求1至19任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,用于引起处理器执行时,实现权利要求1至19任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110961689.4A CN113721804A (zh) | 2021-08-20 | 2021-08-20 | 一种显示方法、装置、电子设备及计算机可读存储介质 |
PCT/CN2022/113746 WO2023020622A1 (zh) | 2021-08-20 | 2022-08-19 | 一种显示方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110961689.4A CN113721804A (zh) | 2021-08-20 | 2021-08-20 | 一种显示方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113721804A true CN113721804A (zh) | 2021-11-30 |
Family
ID=78677163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110961689.4A Withdrawn CN113721804A (zh) | 2021-08-20 | 2021-08-20 | 一种显示方法、装置、电子设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113721804A (zh) |
WO (1) | WO2023020622A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114371904A (zh) * | 2022-01-12 | 2022-04-19 | 北京字跳网络技术有限公司 | 数据显示方法、装置、移动终端及存储介质 |
CN114390214A (zh) * | 2022-01-20 | 2022-04-22 | 脸萌有限公司 | 一种视频生成方法、装置、设备以及存储介质 |
CN114398133A (zh) * | 2022-01-14 | 2022-04-26 | 北京字跳网络技术有限公司 | 显示方法、装置、电子设备及存储介质 |
CN115016688A (zh) * | 2022-06-28 | 2022-09-06 | 维沃移动通信有限公司 | 虚拟信息显示方法、装置和电子设备 |
CN115033148A (zh) * | 2022-06-13 | 2022-09-09 | 北京字跳网络技术有限公司 | 文档的显示方法、装置、电子设备和存储介质 |
WO2023020622A1 (zh) * | 2021-08-20 | 2023-02-23 | 上海商汤智能科技有限公司 | 一种显示方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品 |
CN115712344A (zh) * | 2022-09-27 | 2023-02-24 | 汉华智能科技(佛山)有限公司 | 一种智慧电子祭祀的场景交互方法、系统及存储介质 |
WO2024021792A1 (zh) * | 2022-07-25 | 2024-02-01 | 腾讯科技(深圳)有限公司 | 虚拟场景的信息处理方法、装置、设备、存储介质及程序产品 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117412019A (zh) * | 2023-12-14 | 2024-01-16 | 深圳市欧冠微电子科技有限公司 | 空中成像及虚拟现实动态背光确定方法、装置及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110677587A (zh) * | 2019-10-12 | 2020-01-10 | 北京市商汤科技开发有限公司 | 一种照片打印方法、装置、电子设备及存储介质 |
CN111643899A (zh) * | 2020-05-22 | 2020-09-11 | 腾讯数码(天津)有限公司 | 一种虚拟物品显示方法、装置、电子设备和存储介质 |
CN111880659A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 虚拟人物控制方法及装置、设备、计算机可读存储介质 |
CN111897431A (zh) * | 2020-07-31 | 2020-11-06 | 北京市商汤科技开发有限公司 | 展示方法及装置、显示设备、计算机可读存储介质 |
CN112135059A (zh) * | 2020-09-30 | 2020-12-25 | 北京字跳网络技术有限公司 | 拍摄方法、装置、电子设备和存储介质 |
CN112148189A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种ar场景下的交互方法、装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK180470B1 (en) * | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
WO2020077500A1 (en) * | 2018-10-15 | 2020-04-23 | Midea Group Co., Ltd. | System and method for providing real-time product interaction assistance |
CN112051961A (zh) * | 2020-09-04 | 2020-12-08 | 脸萌有限公司 | 虚拟交互方法、装置、电子设备及计算机可读存储介质 |
CN113721804A (zh) * | 2021-08-20 | 2021-11-30 | 北京市商汤科技开发有限公司 | 一种显示方法、装置、电子设备及计算机可读存储介质 |
-
2021
- 2021-08-20 CN CN202110961689.4A patent/CN113721804A/zh not_active Withdrawn
-
2022
- 2022-08-19 WO PCT/CN2022/113746 patent/WO2023020622A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110677587A (zh) * | 2019-10-12 | 2020-01-10 | 北京市商汤科技开发有限公司 | 一种照片打印方法、装置、电子设备及存储介质 |
CN111643899A (zh) * | 2020-05-22 | 2020-09-11 | 腾讯数码(天津)有限公司 | 一种虚拟物品显示方法、装置、电子设备和存储介质 |
CN111880659A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 虚拟人物控制方法及装置、设备、计算机可读存储介质 |
CN111897431A (zh) * | 2020-07-31 | 2020-11-06 | 北京市商汤科技开发有限公司 | 展示方法及装置、显示设备、计算机可读存储介质 |
CN112148189A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 一种ar场景下的交互方法、装置、电子设备及存储介质 |
CN112135059A (zh) * | 2020-09-30 | 2020-12-25 | 北京字跳网络技术有限公司 | 拍摄方法、装置、电子设备和存储介质 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023020622A1 (zh) * | 2021-08-20 | 2023-02-23 | 上海商汤智能科技有限公司 | 一种显示方法、装置、电子设备、计算机可读存储介质、计算机程序及计算机程序产品 |
CN114371904A (zh) * | 2022-01-12 | 2022-04-19 | 北京字跳网络技术有限公司 | 数据显示方法、装置、移动终端及存储介质 |
CN114371904B (zh) * | 2022-01-12 | 2023-09-15 | 北京字跳网络技术有限公司 | 数据显示方法、装置、移动终端及存储介质 |
CN114398133A (zh) * | 2022-01-14 | 2022-04-26 | 北京字跳网络技术有限公司 | 显示方法、装置、电子设备及存储介质 |
CN114390214A (zh) * | 2022-01-20 | 2022-04-22 | 脸萌有限公司 | 一种视频生成方法、装置、设备以及存储介质 |
CN114390214B (zh) * | 2022-01-20 | 2023-10-31 | 脸萌有限公司 | 一种视频生成方法、装置、设备以及存储介质 |
CN115033148A (zh) * | 2022-06-13 | 2022-09-09 | 北京字跳网络技术有限公司 | 文档的显示方法、装置、电子设备和存储介质 |
CN115033148B (zh) * | 2022-06-13 | 2024-04-19 | 北京字跳网络技术有限公司 | 文档的显示方法、装置、电子设备和存储介质 |
CN115016688A (zh) * | 2022-06-28 | 2022-09-06 | 维沃移动通信有限公司 | 虚拟信息显示方法、装置和电子设备 |
WO2024021792A1 (zh) * | 2022-07-25 | 2024-02-01 | 腾讯科技(深圳)有限公司 | 虚拟场景的信息处理方法、装置、设备、存储介质及程序产品 |
CN115712344A (zh) * | 2022-09-27 | 2023-02-24 | 汉华智能科技(佛山)有限公司 | 一种智慧电子祭祀的场景交互方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023020622A1 (zh) | 2023-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113721804A (zh) | 一种显示方法、装置、电子设备及计算机可读存储介质 | |
CN110300909B (zh) | 用于显示交互式增强现实展示的系统、方法和介质 | |
MacIntyre et al. | The Argon AR Web Browser and standards-based AR application environment | |
US11615592B2 (en) | Side-by-side character animation from realtime 3D body motion capture | |
US10026229B1 (en) | Auxiliary device as augmented reality platform | |
US9652046B2 (en) | Augmented reality system | |
US20190333478A1 (en) | Adaptive fiducials for image match recognition and tracking | |
US20150185825A1 (en) | Assigning a virtual user interface to a physical object | |
US11734894B2 (en) | Real-time motion transfer for prosthetic limbs | |
KR20230107844A (ko) | 개인화된 아바타 실시간 모션 캡처 | |
CN114930399A (zh) | 使用基于表面的神经合成的图像生成 | |
US20140002443A1 (en) | Augmented reality interface | |
KR20230107655A (ko) | 신체 애니메이션 공유 및 재혼합 | |
WO2014136103A1 (en) | Simultaneous local and cloud searching system and method | |
WO2018142756A1 (ja) | 情報処理装置及び情報処理方法 | |
CN112752162B (zh) | 虚拟物品赠送方法、装置、终端及计算机可读存储介质 | |
US20210312887A1 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
CN113867531A (zh) | 交互方法、装置、设备及计算机可读存储介质 | |
JP2022500795A (ja) | アバターアニメーション | |
WO2023045964A1 (zh) | 显示方法、装置、设备、计算机可读存储介质、计算机程序产品及计算机程序 | |
KR20140078083A (ko) | 증강 현실이 구현된 만화책 | |
US20230410440A1 (en) | Integrating augmented reality experiences with other components | |
US20240119690A1 (en) | Stylizing representations in immersive reality applications | |
Niemelä | Mobile augmented reality client for citizen participation | |
CN113867874A (zh) | 页面编辑及显示方法、装置、设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40056854 Country of ref document: HK |
|
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211130 |
|
WW01 | Invention patent application withdrawn after publication |