CN111815782A - Ar场景内容的显示方法、装置、设备及计算机存储介质 - Google Patents

Ar场景内容的显示方法、装置、设备及计算机存储介质 Download PDF

Info

Publication number
CN111815782A
CN111815782A CN202010617926.0A CN202010617926A CN111815782A CN 111815782 A CN111815782 A CN 111815782A CN 202010617926 A CN202010617926 A CN 202010617926A CN 111815782 A CN111815782 A CN 111815782A
Authority
CN
China
Prior art keywords
determining
target
real object
virtual effect
semantic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010617926.0A
Other languages
English (en)
Inventor
刘旭
栾青
侯欣如
王鼎禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010617926.0A priority Critical patent/CN111815782A/zh
Publication of CN111815782A publication Critical patent/CN111815782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes

Abstract

本申请实施例提供一种AR场景内容的显示方法、装置、设备及计算机可读存储介质,所述方法包括:获取针对现实模型的图像数据;根据所述图像数据确定所述现实模型中目标真实对象的语义信息;根据所述语义信息确定所述目标真实对象对应的目标虚拟效果;在显示设备上显示所述目标真实对象与所述目标虚拟效果相叠加的增强现实数据。从而提升了沙盘模型的展示效果,用户可以对不同的语义信息设定不同的虚拟效果,提高了沙盘模型的展示效果的可编辑性。

Description

AR场景内容的显示方法、装置、设备及计算机存储介质
技术领域
本申请实施例涉及增强现实技术领域,涉及但不限于一种AR场景内容的显示方法、装置、设备及计算机存储介质。
背景技术
沙盘是根据地形图、航空像片或实地地形,按一定的比例关系,用泥沙和其它材料堆制的模型。沙盘用于将地形地貌或建筑物小型化展示,从而方便人们观察,目前已广泛地应用于军事或商业活动中,但沙盘制作定型之后的可编辑性较低,展示效果不够丰富。
发明内容
本申请实施例提供一种AR场景内容的显示方法、装置、设备及计算机存储介质。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种AR场景内容的显示方法,所述方法包括:
获取针对现实模型的图像数据;
根据所述图像数据确定所述现实模型中目标真实对象的语义信息;
根据所述语义信息确定所述目标真实对象对应的目标虚拟效果;
在显示设备上显示所述目标真实对象与所述目标虚拟效果相叠加的增强现实数据。
在一些实施例中,所述根据所述语义信息确定所述目标真实对象对应的目标虚拟效果,包括:
根据所述语义信息确定影响目标虚拟效果的至少一个影响因子;
获取所述至少一个影响因子对应的至少一个特征值,并根据所述至少一个特征值确定对应的虚拟效果;
根据所述至少一个特征值对应的虚拟效果确定所述目标真实对象对应的目标虚拟效果。
在一些实施例中,所述根据所述至少一个特征值对应的虚拟效果确定所述目标真实对象对应的目标虚拟效果,包括:
当所述特征值为一个时,将所述特征值对应的虚拟效果确定为所述目标真实对象对应的目标虚拟效果;或,
当所述特征值为多个时,根据多个特征值对应的虚拟效果确定组合虚拟效果,并将所述组合虚拟效果确定为所述目标真实对象对应的目标虚拟效果。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括以下至少之一:车流量、红绿灯信息和道路类型,所述获取所述至少一个影响因子对应的至少一个特征值,包括:
获取所述道路的车流量、红绿灯信息和道路类型至少之一对应的预设值;
将所述预设值确定为所述车流量、红绿灯信息和道路类型至少之一的特征值。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括车流量和/或红绿灯信息,所述获取所述至少一个影响因子对应的至少一个特征值,包括:
获取所述道路的实时交通数据;
基于所述实时交通数据确定车流量和/或红绿灯信息对应的特征值。
在一些实施例中,所述方法还包括:
获取样本图像数据集;其中,样本图像数据包括目标真实对象的语义信息;
基于所述样本图像数据集对初始的识别模型进行训练,得到训练好的识别模型;
所述根据所述图像数据确定所述现实模型中目标真实对象的语义信息,包括:
将所述图像数据输入至所述训练好的识别模型进行语义识别,确定所述现实模型中目标真实对象的语义信息。
在一些实施例中,所述根据所述目标对象的语义信息确定目标对象的目标虚拟效果,包括:
根据所述语义信息从效果模型库中进行查找,得到查找结果;
根据所述查找结果确定所述语义信息对应的目标虚拟效果。
本申请实施例提供一种AR场景内容的显示装置,所述装置包括:
第一获取模块,用于获取针对现实模型的图像数据;
第一确定模块,用于根据所述图像数据确定所述现实模型中目标真实对象的语义信息;
第二确定模块,用于根据所述语义信息确定所述目标真实对象对应的目标虚拟效果;
显示模块,用于在显示设备上显示所述目标真实对象与所述目标虚拟效果相叠加的增强现实数据。
在一些实施例中,所述第二确定模块,包括:
第一确定单元,用于根据所述语义信息确定影响目标虚拟效果的至少一个影响因子;
第二确定单元,用于获取所述至少一个影响因子对应的至少一个特征值,并根据所述至少一个特征值确定对应的虚拟效果;
第三确定单元,用于根据所述至少一个特征值对应的虚拟效果确定所述目标真实对象对应的目标虚拟效果。
在一些实施例中,所述第三确定单元,包括:
第一确定子单元,用于当所述特征值为一个时,将所述特征值对应的虚拟效果确定为所述目标真实对象对应的目标虚拟效果;或,
第二确定子单元,用于当所述特征值为多个时,根据多个特征值对应的虚拟效果确定组合虚拟效果,并将所述组合虚拟效果确定为所述目标真实对象对应的目标虚拟效果。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括以下至少之一:车流量、红绿灯信息和道路类型,第二确定单元,包括:
第一获取子单元,用于获取所述道路的车流量、红绿灯信息和道路类型至少之一对应的预设值;
第三确定子单元,用于将所述预设值确定为所述车流量、红绿灯信息和道路类型至少之一的特征值。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括车流量和/或红绿灯信息,第二确定单元,包括:
第二获取子单元,用于获取所述道路的实时交通数据;
第四确定子单元,用于基于所述实时交通数据确定车流量和/或红绿灯信息对应的特征值。
在一些实施例中,所述AR场景内容的显示装置还包括:
第二获取单元,用于获取样本图像数据集;其中,样本图像数据包括目标真实对象的语义信息;
训练单元,用于基于所述样本图像数据集对初始的识别模型进行训练,得到训练好的识别模型;
第一确定单元,用于将所述图像数据输入至所述训练好的识别模型进行语义识别,确定所述现实模型中目标真实对象的语义信息。
在一些实施例中,所述第二确定模块,包括:
查找单元,用于根据所述语义信息从效果模型库中进行查找,得到查找结果;
第四确定单元,用于根据所述查找结果确定所述语义信息对应的目标虚拟效果。
本申请实施例提供一种AR场景内容的显示设备,所述AR场景内容的显示设备至少包括:
处理器;以及
存储器,用于存储可在所述处理器上运行的计算机程序;
其中,所述计算机程序被处理器执行时实现所述AR场景内容的显示方法的步骤。
本申请实施例提供一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行所述的AR场景内容的显示方法的步骤。
本申请实施例提供一种AR场景内容的显示方法、装置、设备及计算机存储介质,在该AR场景内容的显示方法中,当获取针对现实模型(如沙盘模型)的图像数据时,通过获取的图像数据确定沙盘模型中目标真实对象的语义信息,通过语义信息确定目标真实对象的目标虚拟效果,在显示设备上显示目标真实对象与所述目标虚拟效果相叠加的增强现实数据,从而提升了沙盘模型的展示效果,用户可以设定不同的语义信息对应不同的虚拟效果,提高了沙盘模型的展示效果的可编辑性。
附图说明
在附图(其不一定是按比例绘制的)中,相似的附图标记可在不同的视图中描述相似的部件。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本申请实施例提供的一种AR场景内容的显示方法实现流程示意图;
图2为本申请实施例提供的显示增强现实数据的效果示意图;
图3为本申请实施例提供的所述根据所述语义信息确定所述目标真实对象对应的目标虚拟效果的实现流程示意图;
图4为本申请实施例提供的一种增强现实数据的显示效果示意图;
图5为本申请实施例提供的获取样本图像数据集的网络架构示意图;
图6为本申请实施例提供的一种AR场景内容的显示装置的结构示意图;
图7为本申请实施例提供的计算机设备的组成结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明,在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
增强现实(Augmented Reality,AR)技术可以应用于AR设备中,AR设备可以为任何能够支持AR功能的电子设备,包括但不限于AR眼镜、平板电脑、智能手机等。为便于对本实施例进行理解,首先对本公开实施例所公开的一种AR场景内容的显示方法进行详细介绍,本公开实施例所提供的AR场景内容的显示方法的执行主体可以为上述AR设备,也可以为其它具有AR场景内容的显示能力的处理装置,例如本地或云端服务器等,本申请实施例中不作限定。
下面说明本申请实施例提供的AR场景内容的显示设备的示例性应用,本申请实施例提供的设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的用户终端,也可以实施为服务器。
该AR场景内容的显示方法可以应用于计算机设备,在一些实施例中,AR场景内容的显示方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现,其中,程序代码可以保存在计算机存储介质中。在一些实施例中,该计算机程序可以被计算机设备中的处理器执行。图1为本申请实施例提供的一种AR场景内容的显示方法实现流程示意图,如图1所示,所述方法包括:
步骤S101,获取针对现实模型的图像数据。
本申请实施例中,获取针对现实模型的图像数据可以通过以下方式实现:AR场景内容的显示设备通过自身的摄像头采集现实模型的图像,从而获取该现实模型的图像数据,在一些实施例中,可以是通过其他设备将现实模型的图像数据传送给AR场景内容的显示设备,从而使得AR场景内容的显示设备获取到该现实模型的图像数据,其他设备可以是服务器,服务器可以通过有线传输或无线传输的方式将现实模型的图像数据传送给AR场景内容的显示设备。
本申请实施例中,所述现实模型可以是沙盘模型,所述沙盘模型包括:建筑物模型,所述建筑模型可以包括:商场建筑模型、住宅楼建筑模型等等,所述沙盘模型中还包括:道路,红绿灯,公交站等等。
本申请实施例中,所述图像数据可以现实模型的图片、现实模型的视频等。本申请实施例中,当图像数据是现实模型的视频时,可以从视频中截取图像,比如,可以通过视频截图或者界面截图等方式截取视频中的图像。
在一些可能的实现方式中,当AR场景内容的显示设备获取到现实模型的图像数据后,可以基于该图像数据生成现实模型对应的虚拟模型,本申请实施例中,所述虚拟模型是对应于现实模型的三维虚拟模型。这里三维虚拟模型用于表征现实模型,与现实模型在相同坐标系是等比例呈现的,比如,以现实模型以沙盘模型为例,沙盘模型中某条街道包含一栋高楼,则表征该沙盘模型的三维虚拟模型同样包括该条街道的模型以及该条街道中的该栋高楼,且三维虚拟模型与现实场景在相同坐标系中是按照1:1呈现的,即若将三维虚拟模型放入该沙盘模型所在的坐标系中,则该三维虚拟模型会与该现实模型完全重合。现实模型的三维虚拟模型可以是预先创建好的,基于图像数据直接调取对应的三维虚拟模型即可。在一些实施例中,可以通过双目立体视觉测量方法创建现实模型的三维虚拟模型,该方法模拟人类双眼的立体成像原理,左右两个有合适角度的摄像机在同一时间拍摄场景中某一物体,通过三角几何关系和视差原理,获取左右摄像机相同视角下物体表面点的坐标信息,进而构建出目标对象的位置和形状,即可得到三维虚拟模型。在本申请实施例中,还可以通过其他方法进行三维虚拟模型的创建,这里不做限定。
步骤S102,根据所述图像数据确定所述现实模型中目标真实对象的语义信息。
本申请实施例中,所述AR场景内容的显示设备可以根据图像数据确定所述现实模型中目标真实对象的语义信息,在实现时,可以是将图像数据输入至训练好的识别模型中进行语义识别,从而确定目标对象的语义信息。本申请实施例中,可以通过样本图像数据集对初始模型进行训练,该样本图像数据集包括目标对象的语义,从而经过训练后得到的训练好的识别模型可以识别出目标对象的语义。承接上面的示例,将沙盘模型的图像数据输入至训练好的识别模型中,识别出道路、建筑物等。
步骤S103,根据所述目标对象的语义信息确定所述目标对象的目标虚拟效果。
本申请实施例中,当确定了目标对象的语义信息后,可以根据语义信息与虚拟效果的对应关系确定目标虚拟效果。本申请实施例中,所述语义信息与虚拟效果的对应关系是预先设定的。例如:预先设置建筑物对应一种或多种虚拟效果,道路对应一种或多种虚拟效果,所述虚拟效果可以包括:虚拟标签、非交互类动画、视频或交互类动画。通过预先设置好的语义信息与虚拟效果的对应关系,来调取目标真实对象在现实模型中的目标虚拟效果。
为了使相同的语义信息对应有不同的虚拟效果,可以预先设置影响因子的特征值与虚拟效果的对应关系,本申请实施例中,所述影响因子可以是目标真实对象自身的属性信息,例如:建筑物自身的高度,道路的宽度或类型等。在一些实施例中,所述影响因子是会对目标虚拟效果产生影响的其他因素。以道路为例,影响因子可以是道路类型、车流量、红绿灯等。道路类型可以是商圈道路、主路、辅路等。当确定了目标对象的语义信息后,可以确定影响目标虚拟效果的至少一个影响因子,从而获取影响因子对应的至少一个特征值,然后根据特征值来确定对应的虚拟效果,从而根据特征值对应的虚拟效果确定目标虚拟效果。本申请实施例中,当确定了目标虚拟效果后,可以基于该三维虚拟模型中目标虚拟对象的位置信息匹配目标虚拟效果,即可以在AR设备中展示出逼真的增强现实场景的效果。
步骤S104,在显示设备上显示所述目标真实对象与所述目标虚拟效果相叠加的增强现实数据。
本申请实施例中,显示设备可以是AR场景内容的显示设备自身的显示设备,也可以是与AR场景内容的显示设备建立有通信连接的显示设备。本申请实施例中,增强现实数据可以是AR图像,将目标虚拟效果叠加到图像数据对应的图像上,形成虚实结合的AR图像,并将该AR图像呈现在显示设备上。用户在显示设备上观看采集到的现实模型的图像时可以观看到叠加在真实场景图像上的虚拟对象。图2为本申请实施例提供的显示增强现实数据的效果示意图,如图2所示,图像数据对应的图像中的目标真实对象包括:道路202,建筑物203等,确定了目标虚拟效果后,那么将该虚拟效果叠加在该图像数据对应的图像中,形成AR图像201,将AR图像201在AR场景内容的显示设备200显示。
本申请实施例提供的一种AR场景内容的显示方法,当获取针对现实模型的图像数据时,通过获取的图像数据确定现实模型中目标真实对象的语义信息,通过语义信息确定目标真实对象的目标虚拟效果,在显示设备上显示目标真实对象与所述目标虚拟效果相叠加的增强现实数据,从而提升了现实模型的展示效果,用户可以对不同的语义信息设定不同的虚拟效果,提高了展示效果的可编辑性。
在一些实施例中,步骤S103“所述根据所述语义信息确定所述目标真实对象对应的目标虚拟效果”可以通过图3中的步骤1031至步骤S1033实现,
步骤S1031,根据所述语义信息确定影响目标虚拟效果的至少一个影响因子。
本申请实施例中,当确定了语义信息后,可以根据预先设置的语义信息与影响因子的对应关系,确定对应的影响因子。例如:建筑物对应的影响因子可以包括:建筑物的高度,建筑物的面积等。道路对应的影响因子可以包括:道路类型、车流量、红绿灯等。
步骤S1032,获取所述至少一个影响因子对应的至少一个特征值,并根据所述至少一个特征值确定对应的虚拟效果。
本申请实施例中,当确定了语义信息对应的影响因子后,可以获取所述至少一个影响因子对应的至少一个特征值,本申请实施例中,可以直接从存储的现实模型的数据中获取对应的至少一个特征值。
本申请实施例中,当确定了至少一个特征值,可以根据预先建立的特征值与虚拟效果的对应关系,确定至少一个特征值分别对应的虚拟效果。
步骤S1033,根据所述至少一个特征值对应的虚拟效果确定所述目标真实对象对应的目标虚拟效果。
本申请实施例中,当所述特征值为一个时,即影响因子只有一个,将所述特征值对应的虚拟效果确定为所述目标真实对象对应的目标虚拟效果。
本申请实施例中,不同的特征值可以对应不同的虚拟效果,在一些实施例中,可以设置不同的特征值范围对应不同的虚拟效果。以不同的特征值可以对应不同的虚拟效果为例,该目标真实对象为道路,影响因子为道路宽度,特征值为宽度值,图4为本申请实施例提供的一种增强现实数据的显示效果示意图,如图4所示,道路401的宽度值与道路402的宽度值不同,对应的虚拟效果不同,由于道路401和道路402对应的目标虚拟效果不同,使得道路401和道路402在AR场景内容的显示设备200显示的显示效果也不同。
在一些实施例中,当所述特征值为多个时,即影响因子为多个,根据多个特征值对应的虚拟效果确定组合虚拟效果,并将所述组合虚拟效果确定为所述目标真实对象对应的目标虚拟效果。本申请实施例中,多个虚拟效果对应的组合虚拟效果也可以是预先设定好的。
本申请实施例中,通过语义信息确定影响因子,根据影响因子对应的特征值来确定虚拟效果,从而实现对于同一语义信息的目标对象,根据特征值确定不同的目标虚拟效果,丰富了现实模型的展示效果。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括以下至少之一:车流量、红绿灯信息和道路类型,步骤S1032“获取所述至少一个影响因子对应的至少一个特征值”可以通过以下步骤实现:
S1,获取所述道路的车流量、红绿灯信息和道路类型至少之一对应的预设值。
本申请实施例中,可以给车流量、红绿灯信息和道路类型设置对应的预设值,例如:车流量的预设值为5辆/秒;本申请实施例中,红灯信息和绿灯信息可以用两个不同的数字表征,预设值为1表示红灯信息,预设值为0表示绿灯信息;道路类型可以用道路的宽度值作为预设值,例如,预设值大于10米为主路,预设值小于10米,确定为辅路。
S2,将所述预设值确定为所述车流量、红绿灯信息和道路类型至少之一的特征值。
本申请实施例中,当获取到车流量的预设值,就可以将该预设值确定为车流量的特征值,承接上面的示例,将车流量对应的特征值为5辆/秒。在一些实施例中,当获取到红绿灯信息的预设值,就可以该该预设值确定为红绿灯信息的特征值,同样地,当获取到道路类型的预设值,就可以将该预设值确定为道路类型的特征值。
本申请实施例中,由于影响因子对应的特征值对应有不同的虚拟效果,当确定了特征值后,即可以根据特征值与虚拟效果的对应关系确定目标虚拟效果。由于特征值对应的虚拟效果不同,使得目标虚拟效果也不同,从而提升了现实模型的展示效果。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括车流量和/或红绿灯信息,步骤S1032“获取所述至少一个影响因子对应的至少一个特征值”可以通过以下步骤实现:
步骤S3,获取所述道路的实时交通数据。
本申请实施例中,所述道路为沙盘模型上的道路,所述实时交通数据是虚拟出来的,可以获取现实中道路的数据,虚拟出沙盘中道路的实时交通数据。
步骤S4,基于所述实时交通数据确定车流量和/或红绿灯信息对应的特征值。
本申请实施例中,可以通过获取实时交通数据,提取出实时交通数据中包括的车流量数据和/或红绿灯信息数据,对该车流量数据和/或红绿灯信息数据进行解析以获取车流量和/或红绿灯信息对应的特征值。本申请实施例中,虚拟出的实时交通数据是动态变化的,不同的时间实时交通数据是不同的,从而确定的车流量和/或红绿灯信息对应的特征值也是动态变化的。
本申请实施例中,通过虚拟出沙盘模型上的道路的实时交通数据,由于实时交通数据是动态变化的,使得根据实时交通数据来获取车流量和/或红绿灯信息对应的特征值也动态变化,进而使得特征值对应的虚拟效果也动态变化,进而使得现实模型的展示效果更加丰富。
在一些实施例中,在步骤S101之前,所述方法还包括:
步骤S101A,获取样本图像数据集。
本申请实施例中,样本图像数据包括目标真实对象的语义信息。所述样本图像数据可以是采集的多个现实模型的图像数据得到。在一些实施例中,图5为本申请实施例提供的获取样本图像数据集的场景示意图,如图5所示,AR场景内容的显示设备200可以从服务器500中获得样本图像数据集。
步骤S101B,基于所述样本图像数据集对初始的识别模型进行训练,得到训练好的识别模型。
本申请实施例中,所述初始的识别模型可以是神经网络模型,由于样本图像数据中包括真实目标对象的语义信息,在基于所述样本图像数据集进行训练时,神经网络模型可以得到每一个样本图像数据的预测语义信息,基于样本图像数据的预测语义信息和样本图像数据包括的实际语义信息,可以对神经网络的参数进行调整,直至达到训练目标,从而得到训练好的神经网络模型,也即得到训练好的识别模型。
对应地,步骤S102“根据所述图像数据确定所述现实模型中目标真实对象的语义信息”可以通过以下步骤实现:
步骤S1021,将所述图像数据输入至所述训练好的识别模型进行语义识别,确定所述虚拟模型中目标真实对象的语义信息。
本申请实施例提供的方法,通过样本图像数据集对初始的识别模型进行训练,从而得到训练好的识别模型,当得到图像数据时,可以将图像数据输入进训练好的识别模型中,从而确定现实模型中目标真实对象的语义信息,进而根据语义信息确定目标虚拟效果,提升了沙盘模型的展示效果。
在一些实施例中,所述步骤S103“所述根据所述语义信息确定目标真实对象的目标虚拟效果”还可以通过以下步骤实现:
步骤S31,根据所述语义信息从效果模型库中进行查找,得到查找结果。
本申请实施例中,效果模型库中存储有至少一个语义信息与虚拟效果的对应关系。在确定了语言信息后,可以以语义信息为搜索条件在效果模型库中进行查找,得到对应的查找结果。例如:语义信息为道路,以道路为搜索条件在效果模型库中进行查找,所述查找结果为道路对应虚拟效果1。
步骤S32,根据所述查找结果确定所述语义信息对应的目标虚拟效果。
承接上面的示例,将虚拟效果1确定为道路的目标虚拟效果。
本申请实施例提供的方法,可以通过语义信息来确定目标虚拟效果,在进行显示时,相同的语义信息对应的目标对象叠加的虚拟效果相同,从而实现可以基于虚拟效果区分不同的真实目标对象,同时可以提升AR场景内容的显示设备处理器的处理速度。
基于前述的实施例,本申请实施例提供一种AR场景内容的显示装置,该装置包括的各模块、以及各模块包括的各单元,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU,CentralProcessing Unit)、微处理器(MPU,MicroprocessorUnit)、数字信号处理器(DSP,DigitalSignal Processing)或现场可编程门阵列(FPGA,Field Programmable Gate Array)等。
本申请实施例提供一种AR场景内容的显示装置,图6为本申请实施例提供的一种AR场景内容的显示装置的结构示意图,如图6所示,所述AR场景内容的显示装置600包括:
第一获取模块601,用于获取针对现实模型的图像数据;
第一确定模块602,用于根据所述图像数据确定所述现实模型中目标真实对象的语义信息;
第二确定模块603,用于根据所述语义信息确定所述目标真实对象对应的目标虚拟效果;
显示模块604,用于在显示设备上显示所述目标真实对象与所述目标虚拟效果相叠加的增强现实数据。
在一些实施例中,所述第二确定模块603,包括:
第一确定单元,用于根据所述语义信息确定影响目标虚拟效果的至少一个影响因子;
第二确定单元,用于获取所述至少一个影响因子对应的至少一个特征值,并根据所述至少一个特征值确定对应的虚拟效果;
第三确定单元,用于根据所述至少一个特征值对应的虚拟效果确定所述目标真实对象对应的目标虚拟效果。
在一些实施例中,所述第三确定单元,包括:
第一确定子单元,用于当所述特征值为一个时,将所述特征值对应的虚拟效果确定为所述目标真实对象对应的目标虚拟效果;或,
第二确定子单元,用于当所述特征值为多个时,根据多个特征值对应的虚拟效果确定组合虚拟效果,并将所述组合虚拟效果确定为所述目标真实对象对应的目标虚拟效果。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括以下至少之一:车流量、红绿灯信息和道路类型,第二确定单元,包括:
第一获取子单元,用于获取所述道路的车流量、红绿灯信息和道路类型至少之一对应的预设值;
第三确定子单元,用于将所述预设值确定为所述车流量、红绿灯信息和道路类型至少之一的特征值。
在一些实施例中,所述目标真实对象为道路,所述影响因子包括车流量和/或红绿灯信息,第二确定单元,包括:
第二获取子单元,用于获取所述道路的实时交通数据;
第四确定子单元,用于基于所述实时交通数据确定车流量和/或红绿灯信息对应的特征值。
在一些实施例中,所述AR场景内容的显示装置600还包括:
第二获取模块,用于获取样本图像数据集;其中,样本图像数据包括目标真实对象的语义信息;
训练模块,用于基于所述样本图像数据集对初始的识别模型进行训练,得到训练好的识别模型;
第一确定单元602,用于将所述图像数据输入至所述训练好的识别模型进行语义识别,确定所述虚拟模型中目标真实对象的语义信息。
在一些实施例中,所述第二确定模块603,包括:
查找单元,用于根据所述语义信息从效果模型库中进行查找,得到查找结果;
第四确定单元,用于根据所述查找结果确定所述语义信息对应的目标虚拟效果。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的AR场景内容的显示方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
相应地,本申请实施例提供一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述实施例中提供的AR场景内容的显示方法中的步骤。
本申请实施例提供一种AR场景内容的显示设备,图7为本申请实施例提供的AR场景内容的显示设备的组成结构示意图,如图7所示,所述AR场景内容的显示设备700包括:一个处理器701、至少一个通信总线702、用户接口703、至少一个外部通信接口704和存储器705。其中,通信总线702配置为实现这些组件之间的连接通信。其中,用户接口703可以包括显示屏,外部通信接口704可以包括标准的有线接口和无线接口。其中,所述处理器701配置为执行存储器中存储的AR场景内容的显示方法的程序,以实现以上述实施例提供的AR场景内容的显示方法中的步骤
以上AR场景内容的显示设备和存储介质实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请计算机设备和存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种AR场景内容的显示方法,其特征在于,所述方法包括:
获取针对现实模型的图像数据;
根据所述图像数据确定所述现实模型中目标真实对象的语义信息;
根据所述语义信息确定所述目标真实对象对应的目标虚拟效果;
在显示设备上显示所述目标真实对象与所述目标虚拟效果相叠加的增强现实数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述语义信息确定所述目标真实对象对应的目标虚拟效果,包括:
根据所述语义信息确定影响目标虚拟效果的至少一个影响因子;
获取所述至少一个影响因子对应的至少一个特征值,并根据所述至少一个特征值确定对应的虚拟效果;
根据所述至少一个特征值对应的虚拟效果确定所述目标真实对象对应的目标虚拟效果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述至少一个特征值对应的虚拟效果确定所述目标真实对象对应的目标虚拟效果,包括:
当所述特征值为一个时,将所述特征值对应的虚拟效果确定为所述目标真实对象对应的目标虚拟效果;或,
当所述特征值为多个时,根据多个特征值对应的虚拟效果确定组合虚拟效果,并将所述组合虚拟效果确定为所述目标真实对象对应的目标虚拟效果。
4.根据权利要求3所述的方法,其特征在于,所述目标真实对象为道路,所述影响因子包括以下至少之一:车流量、红绿灯信息和道路类型,所述获取所述至少一个影响因子对应的至少一个特征值,包括:
获取所述道路的车流量、红绿灯信息和道路类型至少之一对应的预设值;
将所述预设值确定为所述车流量、红绿灯信息和道路类型至少之一的特征值。
5.根据权利要求3所述的方法,其特征在于,所述目标真实对象为道路,所述影响因子包括车流量和/或红绿灯信息,所述获取所述至少一个影响因子对应的至少一个特征值,包括:
获取所述道路的实时交通数据;
基于所述实时交通数据确定车流量和/或红绿灯信息对应的特征值。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取样本图像数据集;其中,样本图像数据包括目标真实对象的语义信息;
基于所述样本图像数据集对初始的识别模型进行训练,得到训练好的识别模型;
所述根据所述图像数据确定所述现实模型中目标真实对象的语义信息,包括:
将所述图像数据输入至所述训练好的识别模型进行语义识别,确定所述现实模型中目标真实对象的语义信息。
7.根据权利要求1所述的方法,所述根据所述语义信息确定目标真实对象的目标虚拟效果,包括:
根据所述语义信息从效果模型库中进行查找,得到查找结果;
根据所述查找结果确定所述语义信息对应的目标虚拟效果。
8.一种AR场景内容的显示装置,其特征在于,包括:
第一获取模块,用于获取针对现实模型的图像数据;
第一确定模块,用于根据所述图像数据确定所述现实模型中目标真实对象的语义信息;
第二确定模块,用于根据所述语义信息确定所述目标真实对象对应的目标虚拟效果;
显示模块,用于在显示设备上显示所述目标真实对象与所述目标虚拟效果相叠加的增强现实数据。
9.一种AR场景内容的显示设备,其特征在于,所述AR场景内容的显示设备至少包括:
处理器;以及
存储器,用于存储可在所述处理器上运行的计算机程序;
其中,所述计算机程序被处理器执行时实现权利要求1至7任一项所述AR场景内容的显示方法的步骤。
10.一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,该计算机可执行指令配置为执行上述权利要求1至7任一项所述AR场景内容的显示方法的步骤。
CN202010617926.0A 2020-06-30 2020-06-30 Ar场景内容的显示方法、装置、设备及计算机存储介质 Pending CN111815782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010617926.0A CN111815782A (zh) 2020-06-30 2020-06-30 Ar场景内容的显示方法、装置、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010617926.0A CN111815782A (zh) 2020-06-30 2020-06-30 Ar场景内容的显示方法、装置、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN111815782A true CN111815782A (zh) 2020-10-23

Family

ID=72856444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010617926.0A Pending CN111815782A (zh) 2020-06-30 2020-06-30 Ar场景内容的显示方法、装置、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111815782A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991752A (zh) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 基于ar与物联网道路车辆可视化展示方法、装置及设备
CN113012299A (zh) * 2021-02-22 2021-06-22 北京市商汤科技开发有限公司 显示方法及装置、设备、存储介质
CN115294488A (zh) * 2022-10-10 2022-11-04 江西财经大学 一种ar快速实物匹配显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN108062158A (zh) * 2016-11-08 2018-05-22 富士施乐株式会社 信息处理系统和信息处理方法
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN109087376A (zh) * 2018-07-31 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US20200043210A1 (en) * 2018-08-06 2020-02-06 Baidu Online Network Technology (Beijing) Co., Ltd. Mixed reality interaction method, apparatus, device and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN108062158A (zh) * 2016-11-08 2018-05-22 富士施乐株式会社 信息处理系统和信息处理方法
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN109087376A (zh) * 2018-07-31 2018-12-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US20200043210A1 (en) * 2018-08-06 2020-02-06 Baidu Online Network Technology (Beijing) Co., Ltd. Mixed reality interaction method, apparatus, device and storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012299A (zh) * 2021-02-22 2021-06-22 北京市商汤科技开发有限公司 显示方法及装置、设备、存储介质
CN112991752A (zh) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 基于ar与物联网道路车辆可视化展示方法、装置及设备
CN115294488A (zh) * 2022-10-10 2022-11-04 江西财经大学 一种ar快速实物匹配显示方法
CN115294488B (zh) * 2022-10-10 2023-01-24 江西财经大学 一种ar快速实物匹配显示方法

Similar Documents

Publication Publication Date Title
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
CN109688451B (zh) 摄像机效应的提供方法及系统
CN111652678A (zh) 物品信息显示方法、装置、终端、服务器及可读存储介质
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN108600632B (zh) 拍照提示方法、智能眼镜及计算机可读存储介质
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN111815782A (zh) Ar场景内容的显示方法、装置、设备及计算机存储介质
CN111638796A (zh) 虚拟对象的展示方法、装置、计算机设备及存储介质
CN111833458B (zh) 图像显示方法及装置、设备、计算机可读存储介质
CN106575354A (zh) 有形界面对象的虚拟化
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
US11151791B2 (en) R-snap for production of augmented realities
CN103310099A (zh) 一种利用图像捕获和识别技术实现增强现实的方法和系统
US11232636B2 (en) Methods, devices, and systems for producing augmented reality
CN110908504B (zh) 一种增强现实博物馆协作交互方法与系统
CN108628985B (zh) 一种相册的处理方法及移动终端
CN111815780A (zh) 展示方法、显示装置、设备及计算机可读存储介质
CN112989214A (zh) 一种旅游信息展示方法及相关设备
CN111833454A (zh) 展示方法、装置、设备和计算机可读存储介质
CN112330819A (zh) 基于虚拟物品的交互方法、装置及存储介质
CN108537149B (zh) 图像处理方法、装置、存储介质及电子设备
CN105138763A (zh) 一种增强现实中实景与现实信息叠加的方法
US20170034586A1 (en) System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
CN114092670A (zh) 一种虚拟现实显示方法、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023

RJ01 Rejection of invention patent application after publication