CN111679741B - 一种图像处理方法、装置、电子设备和存储介质 - Google Patents
一种图像处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111679741B CN111679741B CN202010514682.3A CN202010514682A CN111679741B CN 111679741 B CN111679741 B CN 111679741B CN 202010514682 A CN202010514682 A CN 202010514682A CN 111679741 B CN111679741 B CN 111679741B
- Authority
- CN
- China
- Prior art keywords
- scene
- virtual item
- item content
- theme park
- display data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000003190 augmentative effect Effects 0.000 claims abstract description 11
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 241000272470 Circus Species 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 241000251730 Chondrichthyes Species 0.000 description 5
- 241000238413 Octopus Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 241001481833 Coryphaena hippurus Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 241001125840 Coryphaenidae Species 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种图像处理方法、装置、电子设备和存储介质，其中，该方法包括：获取增强现实AR设备拍摄的场景图像；判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗；在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容；生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，通过上述方法丰富了主题乐园的项目内容。
Description
技术领域
本公开涉及增强现实AR技术领域，具体而言，涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
增强现实(Augmented Reality，AR)技术是通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来，AR设备的应用领域越来越广，使得AR设备在生活、工作、娱乐中起到了重要的作用。
如何使用AR技术来丰富主题乐园的项目内容是值得研究的问题。
发明内容
本公开实施例至少提供一种图像处理方法、装置、电子设备和存储介质。
第一方面，本公开实施例提供了一种图像处理方法，所述图像处理方法包括：
获取增强现实AR设备拍摄的场景图像；
判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗；
在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容；
生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示。
本公开实施例中，通过AR设备拍摄到场景图像，并判断场景图像中是否包含指定类型的场景物，其中，指定类型的场景物包括属于主题乐园的门和/或窗，在确定出场景图像中包含指定类型的场景物时，表示用户当前将要进入主题乐园，此时，根据指定类型的场景物的属性特征，确定主题乐园的虚拟项目内容，然后生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，通过上述方法，可以根据主题乐园的门和/或窗的不同属性特征，展示不同的虚拟项目内容，一方面丰富了主题乐园的项目内容，另一方面基于不同属性特征的门和/或窗，展示不同虚拟项目内容，可以更好地匹配现实场景，提高虚拟项目内容的融入性。
在一种可能的实施方式中，所述场景图像中的所述场景物为打开状态；
或者，所述场景图像中的所述场景物为关闭状态；所述生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，包括：在检测到获取的更新后的场景图像中的所述场景物变更为打开状态后，生成将所述虚拟项目内容融入更新后的现实场景的AR展示数据，并通过所述AR设备进行展示。
在一种可能的实施方式中，所述场景图像中的所述场景物为关闭状态；确定所述主题乐园的虚拟项目内容之后，生成将所述虚拟项目内容融入现实场景的AR展示数据之前，还包括：
确定与所述主题乐园的虚拟项目内容对应的提示信息，生成将该提示信息展示在所述指定类型的场景物上的AR展示数据，并通过所述AR设备进行展示。
本公开实施例中，可以向用户展示虚拟提示信息，以方便用户选择，提高用户的游玩效率。
在一种可能的实施方式中，所述判断所述场景图像中是否包含指定类型的场景物，包括：
基于训练的目标检测网络对所述场景图像进行目标检测，确定出至少一个检测目标；
将识别出的每个检测目标的特征信息与指定类型的场景物的特征信息进行比对，判断该检测目标是否为所述指定类型的场景物。
在一种可能的实施方式中，所述指定类型的场景物的属性特征包括以下至少一种：
年代特征、风格特征、对应的乐园主题名称。
本公开实施例中，通过年代特征、风格特征和/或对应的乐园主题名称来确定主题乐园的虚拟项目内容，有利于使确定出来的虚拟项目内容更加丰富。
在一种可能的实施方式中，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容，包括：
根据所述指定类型的场景物的属性特征，以及预先存储不同类型的属性特征与虚拟项目内容之间的对应关系，确定所述主题乐园的虚拟项目内容。
在一种可能的实施方式中，生成将所述虚拟项目内容融入现实场景的AR展示数据，包括：
生成将所述虚拟项目内容、以及用于表示欢迎进入所述主题乐园的虚拟元素融入现实场景的AR展示数据。
本公开实施例中，有利于进一步提高用户初到主题乐园时的用户体验。
在一种可能的实施方式中，所述虚拟元素包括以下至少一种：
虚拟欢迎标语、展现欢迎动作的虚拟角色和用于表示欢迎的虚拟动画。
本公开实施例中，可以使主题乐园的虚拟项目内容更加丰富，从而满足不同用户的感官需求。
在一种可能的实施方式中，所述生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，包括：
基于所述虚拟项目内容在预先构建的所述主题乐园的三维场景模型中的展示数据，生成将所述虚拟项目内容融入现实场景的AR展示数据。
第二方面，本公开实施例提供了一种图像处理装置，所述图像处理装置包括：
获取单元，用于获取增强现实AR设备拍摄的场景图像；
判断单元，用于判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗；
确定单元，用于在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容；
展示单元，用于生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示。
在一种可能的实施方式中，所述场景图像中的所述场景物为打开状态；
或者，所述场景图像中的所述场景物为关闭状态；所述展示单元的配置用于生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示时，包括：在检测到获取的更新后的场景图像中的所述场景物变更为打开状态后，生成将所述虚拟项目内容融入更新后的现实场景的AR展示数据，并通过所述AR设备进行展示。
在一种可能的实施方式中，所述场景图像中的所述场景物为关闭状态；
所述确定单元，还用于：确定所述主题乐园的虚拟项目内容之后，生成将所述虚拟项目内容融入现实场景的AR展示数据之前，确定与所述主题乐园的虚拟项目内容对应的提示信息；
所述展示单元，还用于生成将该提示信息展示在所述指定类型的场景物上的AR展示数据，并通过所述AR设备进行展示。
在一种可能的实施方式中，所述判断单元的配置在用于判断所述场景图像中是否包含指定类型的场景物时，包括：
基于训练的目标检测网络对所述场景图像进行目标检测，确定出至少一个检测目标；
将识别出的每个检测目标的特征信息与指定类型的场景物的特征信息进行比对，判断该检测目标是否为所述指定类型的场景物。
在一种可能的实施方式中，所述指定类型的场景物的属性特征包括以下至少一种：
年代特征、风格特征、对应的乐园主题名称。
在一种可能的实施方式中，所述确定单元的配置在用于根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容时，包括：
根据所述指定类型的场景物的属性特征，以及预先存储不同类型的属性特征与虚拟项目内容之间的对应关系，确定所述主题乐园的虚拟项目内容。
在一种可能的实施方式中，所述展示单元的配置在用于生成将所述虚拟项目内容融入现实场景的AR展示数据时，包括：
生成将所述虚拟项目内容、以及用于表示欢迎进入所述主题乐园的虚拟元素融入现实场景的AR展示数据。
在一种可能的实施方式中，所述虚拟元素包括以下至少一种：
虚拟欢迎标语、展现欢迎动作的虚拟角色和用于表示欢迎的虚拟动画。
在一种可能的实施方式中，所述展示单元的配置在用于生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示时，包括：
基于所述虚拟项目内容在预先构建的所述主题乐园的三维场景模型中的展示数据，生成将所述虚拟项目内容融入现实场景的AR展示数据。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的图像处理方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的图像处理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开实施例提供的一种图像处理方法的流程示意图；
图2为本公开实施例提供的另一种图像处理方法的流程示意图；
图3为本公开实施例提供的一种图像处理装置的结构示意图；
图4为本公开实施例还提供了一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，AR技术能够给用户带来更加生动形象的体验，并且将AR技术和主题乐园结合起来后，还能为用户带来丰富的项目内容，例如：通过AR技术，可以在同一个主题乐园中展示出不同的项目内容，从而有利于丰富主题乐园的项目内容，相对于传统的主题乐园，还可以节省主题乐园的占用空间。
基于上述研究，本公开提供了一种图像处理方法、装置、电子设备和存储介质，通过AR设备拍摄到场景图像，并判断场景图像中是否包含指定类型的场景物，其中，指定类型的场景物包括属于主题乐园的门和/或窗，在确定出场景图像中包含指定类型的场景物时，表示用户当前将要进入主题乐园，此时，根据指定类型的场景物的属性特征，确定主题乐园的虚拟项目内容，然后生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，通过上述方法，可以根据主题乐园的门和/或窗的不同属性特征，展示不同的虚拟项目内容，一方面丰富了主题乐园的项目内容，另一方面基于不同属性特征的门和/或窗，展示不同虚拟项目内容，可以更好地匹配现实场景，提高虚拟项目内容的融入性。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体可以为具有一定计算能力的计算机设备，具体可以为终端设备或服务器或其他处理设备，比如可以是与AR设备连接的服务器，AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备，本公开实施例中不作限定，在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
图1为本公开实施例提供的一种图像处理方法的流程示意图，如图1所示，该图像处理方法包括以下步骤：
步骤101、获取增强现实AR设备拍摄的场景图像。
步骤102、判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗。
步骤103、在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容。
步骤104、生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示。
具体的，用户可以佩戴AR设备来拍摄场景图像，在AR设备获取到场景图像后，需要对场景图像进行分析，以确定用户当前是否到了将要进入主题乐园的位置，在对场景图像进行分析时，可以判断场景图像中是否包含指定类型的场景物，如：主题乐园的门和/或窗，当场景图像中包含主题乐园的门和/或窗时，表示用户当前将要进入主题乐园，由于不同的属性特征的所述场景物对应不同的虚拟项目内容，因此，可以根据指定类型的场景物的属性特征，确定主题乐园的虚拟项目内容，并生成将虚拟项目内容融入到现实场景的AR展示数据，并通过所述AR设备进行展示，此时用户可以通过AR设备看到融入现实场景的虚拟项目内容。
以海洋生物主题乐园为例，通常情况下，海洋生物主题乐园的门和/或窗上会设置有与海洋生物主题乐园相关的属性特征，例如：海洋生物主题乐园的门和/或窗上会设置有海豚、浪花、鲨鱼、章鱼等用于表示该主题乐园为海洋生物主题乐园，用户在佩戴AR设备采集到场景图像，且场景图像中包含海洋生物主题乐园的门和/或窗时，表示用户此时将要进入海洋生物主题乐园，并且在获取到海洋生物主题乐园的门和/或窗时，需要根据获取到的门和/或窗的属性特征，确定出主题乐园的虚拟项目内容，例如：在获取到门和/或窗的属性特征后，确定出来的主题乐园的虚拟项目内容可以为海洋馆主题的项目内容，比如展示各种各样的海洋生物，如海豚、鲨鱼和/或章鱼在水中嬉戏的虚拟项目内容，或者是对海豚、鲨鱼和/或章鱼的生活习性的讲解的虚拟项目内容等等，其中，虚拟项目内容将要展示的内容可以是动态的，然后生成将动态的虚拟项目内容融入现实场景的AR展示数据，并通过AR设备进行展示，此时用户可以看到虚拟项目内容中的展示的动态内容。
以马戏团主题乐园为例，马戏团主题乐园可以将气球、独轮车、小丑和/或火圈作为场景物的属性特征，用户在通过AR设备拍摄到场景图像后，且场景图像中包括场景物时，可以根据拍摄到的场景物上的属性特征确定马戏团主题乐园的虚拟项目内容，例如：可以为独轮车表演的虚拟项目内容，或者可以时动物钻火圈的虚拟项目内容，再或者可以是小丑表情的虚拟项目内容等，其中，虚拟项目内容将要展示的内容可以是动态的，然后生成将虚拟项目内容融入现实场景的AR展示数据，并通过AR设备进行展示，此时用户可以看到虚拟项目内容中的展示的内容。
通过上述方法，可以根据主题乐园的门和/或窗的不同属性特征，展示不同的虚拟项目内容，一方面丰富了主题乐园的项目内容，另一方面基于不同属性特征的门和/或窗，展示不同虚拟项目内容，可以更好地匹配现实场景，提高虚拟项目内容的融入性。
需要说明的是，场景物的属性特征对应的具体的虚拟项目内容，以及该虚拟项目内容具体展示的内容和展示方式可以根据实际需要进行设置，以海洋生物主题乐园为例，确定出来的虚拟项目内容可以包括：海豚和鲨鱼，动画效果可以为鲨鱼张着嘴追逐海豚，或者确定出来的虚拟项目内容也可以包括：鲨鱼和章鱼，动画效果可以为章鱼使用触角缠绕这鲨鱼，再或者确定出来的虚拟项目内容也可以仅包括：海豚，动画效果可以为海豚不停的游动，并朝着用户的方向点头，具体的展示方式在此不做具体限定。
在一个可行的实施方案中，所述场景图像中的所述场景物为打开状态；或者，所述场景图像中的所述场景物为关闭状态；所述生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，包括：在检测到获取的更新后的场景图像中的所述场景物变更为打开状态后，生成将所述虚拟项目内容融入更新后的现实场景的AR展示数据，并通过所述AR设备进行展示。
具体的，场景物在打开状态时，场景物所在的主题乐园为工作状态，此时可以为用户提供虚拟项目内容，并生成对应的AR展示数据。
在一个可行的实施方案中，所述场景图像中的所述场景物为关闭状态；确定所述主题乐园的虚拟项目内容之后，生成将所述虚拟项目内容融入现实场景的AR展示数据之前，可以确定与所述主题乐园的虚拟项目内容对应的提示信息，生成将该提示信息展示在所述指定类型的场景物上的AR展示数据，并通过所述AR设备进行展示。
具体的，生成的提示信息可以是用于提醒类的提示信息，或者可以是指示类的提示信息，例如：对于一个主题乐园而言，不一定适合所有的用户，例如：以鬼屋为主题的主题乐园不适合老年人或者患有心脏类疾病的用户游玩，因此为了避免用户直接进入到主题乐园内，在生成AR展示数据之前，场景物为关闭状态，将主题乐园的虚拟项目内容对应的提示信息融入到现实场景中展示出来，以避免用户贸然进入，从而有利于降低用户出现身体不适的概率；再例如，对于一个主题乐园而言，不是所有的用户都喜欢主题乐园将要展示的内容，因此在展示AR数据之前，生成用于表示将要展示的内容的提示信息，以方便用户选择是否继续游玩，从而有利于提高用户的游玩效率。
在一个可行的实施方案中，图2为本公开实施例提供的另一种图像处理方法的流程示意图，如图2所示，在执行步骤102时，可以通过以下步骤实现：
步骤201、基于训练的目标检测网络对所述场景图像进行目标检测，确定出至少一个检测目标。
步骤202、将识别出的每个检测目标的特征信息与指定类型的场景物的特征信息进行比对，判断该检测目标是否为所述指定类型的场景物。
具体的，可以预先对目标检测网络进行训练，以便使目标检测网络能够检测出场景图像中包含的实体物(即：检测目标)，由于主题乐园的门和窗具有其特有的特征信息，因此预先获取主题乐园的门和窗的特征信息并存储，在AR设备拍摄的场景图像后，可以将场景图像输入到目标检测网络中，从而确定出场景图像中包含的实体物，为了确定实体物是是否包含主题乐园的门和窗，使用实体物的特征信息与预先存储的主题乐园的门和窗的特征信息进行比对，以确定场景图像中是否包含主题乐园的门和/或窗。
当然，在确定场景图像中是否包含指定类型的场景物时还可以通过其他方式，例如：使用图像检测模型来检测场景图像中是否包含指定类型的场景物，关于具体使用何种方式判断场景图像中是否包含指定类型的场景物在此不做具体限定。
需要说明的是，关于具体的目标检测网络，以及具体的特征信息可以根据实际需要进行设定，在此不做具体限定。
在一个可行的实施方案中，所述指定类型的场景物的属性特征包括以下至少一种：年代特征、风格特征、对应的乐园主题名称。
具体的，不同主题的主题乐园具有其特有的年代特征、风格特征、对应的乐园主题名称是存在不同的，例如：马戏团主题乐园和海洋生物主题乐园的乐园主题名称是不同的，并且，马戏团主题乐园的外部风格特征和海洋生物主题乐园的外部风格特征也是不同，因此可以根据这两个特征确定出当前将要进入的主题乐园是马戏团主题乐园还是海洋生物主题乐园，又例如，老式飞机主题乐园和新式飞机主题乐园的年代特征是不同的，如：老式飞机主题乐园的年代特征为造型简单，新式飞机主题乐园的年代特征为造型科幻，因此可以根据年代特征确定将要进入的主题乐园是老式飞机主题乐园还是新式飞机主题乐园，因此根据场景物的年代特征、风格特征、对应的乐园主题名称可以更加准确地确定出具体的主题乐园，由于不同的主题乐园展示的内容是不同的，进而在确定出具体的主题乐园后，可以确定该主题乐园的虚拟项目内容，例如：马戏团主题乐园的虚拟项目可以是会动的虚拟小丑，海洋生物主题乐园的虚拟项目可以是会动的虚拟鲨鱼，老式飞机主题乐园的虚拟项目可以是飞行在空中的虚拟老式飞机，新式飞机主题乐园的虚拟项目可以是飞行在空中的虚拟新式飞机。
在一个可行的实施方案中，在执行步骤103时，可以根据所述指定类型的场景物的属性特征，以及预先存储不同类型的属性特征与虚拟项目内容之间的对应关系，确定所述主题乐园的虚拟项目内容，通过上述方法有利于快速且准确地确定出主题乐园对应的虚拟项目内容。
在一个可行的实施方案中，为了使用户感受到主题乐园的热情，以及满足用户对服务的要求，在生成将所述虚拟项目内容融入现实场景的AR展示数据时，可以生成将所述虚拟项目内容、以及用于表示欢迎进入所述主题乐园的虚拟元素融入现实场景的AR展示数据，通过该方法有利于进一步提高用户初到主题乐园时的用户体验。
在一个可行的实施方案中，所述虚拟元素包括以下至少一种：虚拟欢迎标语、展现欢迎动作的虚拟角色和用于表示欢迎的虚拟动画。
以海洋生物主题乐园为例，在将上述虚拟元素和虚拟项目内容融入到主题乐园的场景图像后的展示效果可以为：海洋生物主题乐园的门口上方显示欢迎光临的虚拟欢迎标语、在海洋生物主题乐园的门口有两排虚拟海洋生物拿着鲜花进行欢迎，并且在海洋生物主题乐园的门口周围显示有欢迎用的彩带、烟花等虚拟动画，同时，还显示有用于展示海洋生物主题乐园所展示的项目的虚拟动画。
需要说明的是，上述仅是示例性的说明，并不对本公开形成限定，关于具体的虚拟元素的种类，以及每种虚拟元素的展示方式可以根据实际需要进行设定，在此不做具体限定。
在一个可行的实施方案中，在执行步骤104时，可以基于所述虚拟项目内容在预先构建的所述主题乐园的三维场景模型中的展示数据，生成将所述虚拟项目内容融入现实场景的AR展示数据。
具体的，预先构建主题乐园的三维场景模型，在确定出主题乐园的虚拟项目内容后，将主题乐园的虚拟项目内容展示到主题乐园的三维场景模型上，以根据主题乐园的虚拟项目内容在主题乐园的三维场景模型上的展示位置，确定将主题乐园的虚拟项目内容融入到主题乐园的场景图像上时，主题乐园的虚拟项目内容在主题乐园的场景图像上的位置，以便在进行图像展示时，具有更好的展示效果。
图3为本公开实施例提供的一种图像处理装置的结构示意图，如图3所示，该图像处理装置包括：
获取单元31，用于获取增强现实AR设备拍摄的场景图像；
判断单元32，用于判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗；
确定单元33，用于在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容；
展示单元34，用于生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示。
在一种可能的实施方式中，所述场景图像中的所述场景物为打开状态；
或者，所述场景图像中的所述场景物为关闭状态；所述展示单元34的配置用于生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示时，包括：在检测到获取的更新后的场景图像中的所述场景物变更为打开状态后，生成将所述虚拟项目内容融入更新后的现实场景的AR展示数据，并通过所述AR设备进行展示。
在一种可能的实施方式中，所述场景图像中的所述场景物为关闭状态；
所述确定单33元，还用于：确定所述主题乐园的虚拟项目内容之后，生成将所述虚拟项目内容融入现实场景的AR展示数据之前，确定与所述主题乐园的虚拟项目内容对应的提示信息；
所述展示单元34，还用于生成将该提示信息展示在所述指定类型的场景物上的AR展示数据，并通过所述AR设备进行展示。
在一种可能的实施方式中，所述判断单元32的配置在用于判断所述场景图像中是否包含指定类型的场景物时，包括：
基于训练的目标检测网络对所述场景图像进行目标检测，确定出至少一个检测目标；
将识别出的每个检测目标的特征信息与指定类型的场景物的特征信息进行比对，判断该检测目标是否为所述指定类型的场景物。
在一种可能的实施方式中，所述指定类型的场景物的属性特征包括以下至少一种：
年代特征、风格特征、对应的乐园主题名称。
在一种可能的实施方式中，所述确定单元33的配置在用于根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容时，包括：
根据所述指定类型的场景物的属性特征，以及预先存储不同类型的属性特征与虚拟项目内容之间的对应关系，确定所述主题乐园的虚拟项目内容。
在一种可能的实施方式中，所述展示单元34的配置在用于生成将所述虚拟项目内容融入现实场景的AR展示数据时，包括：
生成将所述虚拟项目内容、以及用于表示欢迎进入所述主题乐园的虚拟元素融入现实场景的AR展示数据。
在一种可能的实施方式中，所述虚拟元素包括以下至少一种：
虚拟欢迎标语、展现欢迎动作的虚拟角色和用于表示欢迎的虚拟动画。
在一种可能的实施方式中，所述展示单元34的配置在用于生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示时，包括：
基于所述虚拟项目内容在预先构建的所述主题乐园的三维场景模型中的展示数据，生成将所述虚拟项目内容融入现实场景的AR展示数据。
对应于图1中的图像处理方法，图4为本公开实施例还提供了一种电子设备的结构示意图，如图4所示，该电子设备包括：
处理器41、存储器42、和总线43；存储器42用于存储执行指令，包括内存421和外部存储器422；这里的内存421也称内存储器，用于暂时存放处理器41中的运算数据，以及与硬盘等外部存储器422交换的数据，处理器41通过内存421与外部存储器422进行数据交换，当所述电子设备运行时，所述处理器41与所述存储器42之间通过总线43通信，使得所述处理器41执行以下指令：获取增强现实AR设备拍摄的场景图像；判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗；在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容；生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
获取增强现实AR设备拍摄的场景图像；
判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗；
在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容；
生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示；其中，所述AR展示数据包括所述虚拟项目内容的展示方式；所述展示方式指示所述虚拟项目内容展示的动画效果；
其中，在所述场景图像中的所述场景物为关闭状态的情况下，在确定所述主题乐园的虚拟项目内容之后，生成将所述虚拟项目内容融入现实场景的AR展示数据之前，还包括：确定与所述主题乐园的虚拟项目内容对应的提示信息，生成将该提示信息展示在所述指定类型的场景物上的AR展示数据，并通过所述AR设备进行展示；其中，所述关闭状态指示避免直接通过所述场景物进入至所述主题乐园的状态；所述提示信息用于提醒或指示避免直接通过所述场景物进入至所述主题乐园；
所述场景图像中的所述场景物还包括打开状态；所述生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，包括：在检测到获取的更新后的场景图像中的所述场景物变更为打开状态后，生成将所述虚拟项目内容融入更新后的现实场景的AR展示数据，并通过所述AR设备进行展示。
2.如权利要求1所述的方法，其特征在于，所述判断所述场景图像中是否包含指定类型的场景物，包括：
基于训练的目标检测网络对所述场景图像进行目标检测，确定出至少一个检测目标；
将识别出的每个检测目标的特征信息与指定类型的场景物的特征信息进行比对，判断该检测目标是否为所述指定类型的场景物。
3.如权利要求1～2任一所述的方法，其特征在于，所述指定类型的场景物的属性特征包括以下至少一种：
年代特征、风格特征、对应的乐园主题名称。
4.如权利要求1～2任一所述的方法，其特征在于，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容，包括：
根据所述指定类型的场景物的属性特征，以及预先存储不同类型的属性特征与虚拟项目内容之间的对应关系，确定所述主题乐园的虚拟项目内容。
5.如权利要求1～2任一所述的方法，其特征在于，生成将所述虚拟项目内容融入现实场景的AR展示数据，包括：
生成将所述虚拟项目内容、以及用于表示欢迎进入所述主题乐园的虚拟元素融入现实场景的AR展示数据。
6.如权利要求5所述的方法，其特征在于，所述虚拟元素包括以下至少一种：
虚拟欢迎标语、展现欢迎动作的虚拟角色和用于表示欢迎的虚拟动画。
7.如权利要求1～2任一所述的方法，其特征在于，所述生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，包括：
基于所述虚拟项目内容在预先构建的所述主题乐园的三维场景模型中的展示数据，生成将所述虚拟项目内容融入现实场景的AR展示数据。
8.一种图像处理装置，其特征在于，所述图像处理装置包括：
获取单元，用于获取增强现实AR设备拍摄的场景图像；
判断单元，用于判断所述场景图像中是否包含指定类型的场景物，其中，所述指定类型的场景物包括：属于主题乐园的门和/或窗；
确定单元，用于在所述场景图像中包含所述指定类型的场景物的情况下，根据所述指定类型的场景物的属性特征，确定所述主题乐园的虚拟项目内容；其中，不同的属性特征的所述场景物对应不同的虚拟项目内容；
展示单元，用于生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示；其中，所述AR展示数据包括所述虚拟项目内容的展示方式；所述展示方式指示所述虚拟项目内容展示的动画效果；
其中，在所述场景图像中的所述场景物为关闭状态的情况下，在确定所述主题乐园的虚拟项目内容之后，生成将所述虚拟项目内容融入现实场景的AR展示数据之前，还包括：确定与所述主题乐园的虚拟项目内容对应的提示信息，生成将该提示信息展示在所述指定类型的场景物上的AR展示数据，并通过所述AR设备进行展示；其中，所述关闭状态指示避免直接通过所述场景物进入至所述主题乐园的状态；所述提示信息用于提醒或指示避免直接通过所述场景物进入至所述主题乐园；
所述场景图像中的所述场景物还包括打开状态；所述生成将所述虚拟项目内容融入现实场景的AR展示数据，并通过所述AR设备进行展示，包括：在检测到获取的更新后的场景图像中的所述场景物变更为打开状态后，生成将所述虚拟项目内容融入更新后的现实场景的AR展示数据，并通过所述AR设备进行展示。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514682.3A CN111679741B (zh) | 2020-06-08 | 2020-06-08 | 一种图像处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010514682.3A CN111679741B (zh) | 2020-06-08 | 2020-06-08 | 一种图像处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111679741A CN111679741A (zh) | 2020-09-18 |
| CN111679741B true CN111679741B (zh) | 2023-11-28 |
Family
ID=72454293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010514682.3A Active CN111679741B (zh) | 2020-06-08 | 2020-06-08 | 一种图像处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111679741B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903129A (zh) * | 2019-02-18 | 2019-06-18 | 北京三快在线科技有限公司 | 增强现实显示方法与装置、电子设备、存储介质 |
| CN110286773A (zh) * | 2019-07-01 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 基于增强现实的信息提供方法、装置、设备及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN110858134A (zh) * | 2018-08-22 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据、显示处理方法、装置、电子设备和存储介质 |
-
2020
- 2020-06-08 CN CN202010514682.3A patent/CN111679741B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110858134A (zh) * | 2018-08-22 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据、显示处理方法、装置、电子设备和存储介质 |
| CN109903129A (zh) * | 2019-02-18 | 2019-06-18 | 北京三快在线科技有限公司 | 增强现实显示方法与装置、电子设备、存储介质 |
| CN110286773A (zh) * | 2019-07-01 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 基于增强现实的信息提供方法、装置、设备及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111679741A (zh) | 2020-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106803057B (zh) | 图像信息处理方法及装置 | |
| KR102296906B1 (ko) | 이미지 또는 비디오 데이터로부터의 가상 캐릭터 생성 | |
| US11544884B2 (en) | Virtual clothing try-on | |
| US9223469B2 (en) | Configuring a virtual world user-interface | |
| CN111640171B (zh) | 一种历史场景的讲解方法、装置、电子设备及存储介质 | |
| CN111640202B (zh) | 一种ar场景特效生成的方法及装置 | |
| CN108942919B (zh) | 一种基于虚拟人的交互方法及系统 | |
| CN111627117B (zh) | 画像展示特效的调整方法、装置、电子设备及存储介质 | |
| US20220019640A1 (en) | Automatic website data migration | |
| CN111643900B (zh) | 一种展示画面控制方法、装置、电子设备和存储介质 | |
| TW202117676A (zh) | 擴增實境資料呈現方法、設備、儲存介質 | |
| US11517826B2 (en) | Game result overlay system | |
| CA3045132C (en) | Communication with augmented reality virtual agents | |
| CN111638797A (zh) | 一种展示控制方法及装置 | |
| US11956190B2 (en) | Messaging system with a carousel of related entities | |
| CN111667588A (zh) | 人物图像处理方法、装置、ar设备以及存储介质 | |
| CN111652987A (zh) | 一种ar合影图像生成的方法及装置 | |
| CN109032328A (zh) | 一种基于虚拟人的交互方法及系统 | |
| CN111639613B (zh) | 一种增强现实ar特效生成方法、装置及电子设备 | |
| US20230177755A1 (en) | Predicting facial expressions using character motion states | |
| CN111679741B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN111665942A (zh) | 一种ar特效触发展示方法、装置、电子设备和存储介质 | |
| CN112333473B (zh) | 一种交互方法、装置以及计算机存储介质 | |
| CN111640199B (zh) | 一种ar特效数据生成的方法及装置 | |
| CN111625103A (zh) | 雕塑展示方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |