CN110738737A - 一种ar场景图像处理方法、装置、电子设备及存储介质 - Google Patents

一种ar场景图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110738737A
CN110738737A CN201910979900.8A CN201910979900A CN110738737A CN 110738737 A CN110738737 A CN 110738737A CN 201910979900 A CN201910979900 A CN 201910979900A CN 110738737 A CN110738737 A CN 110738737A
Authority
CN
China
Prior art keywords
real scene
scene
pose data
dimensional
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910979900.8A
Other languages
English (en)
Inventor
侯欣如
栾青
盛崇山
焦飞
欧华富
石盛传
王楠
姜翰青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910979900.8A priority Critical patent/CN110738737A/zh
Publication of CN110738737A publication Critical patent/CN110738737A/zh
Priority to PCT/CN2020/112707 priority patent/WO2021073292A1/zh
Priority to KR1020207037428A priority patent/KR102417645B1/ko
Priority to JP2020572865A priority patent/JP7150894B2/ja
Priority to SG11202013117XA priority patent/SG11202013117XA/en
Priority to TW109134292A priority patent/TW202117673A/zh
Priority to US17/134,811 priority patent/US11423625B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种AR场景图像处理方法、装置、电子设备及存储介质，其中，该方法包括：获取增强现实AR设备的拍摄位姿数据；基于拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息；基于呈现特效信息，通过AR设备展示AR场景图像。

Description

一种AR场景图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及增强现实技术领域，具体而言，涉及一种AR场景图像处理方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality，AR)技术，通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后，叠加到真实世界中，从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来，AR设备的应用领域越来越广，使得AR设备在生活、工作、娱乐中起到了重要的作用，对AR设备呈现的增强现实场景的效果的优化，愈发重要。
发明内容
有鉴于此，本公开至少提供一种AR场景图像处理方案。
第一方面，本公开实施例提供了一种AR场景图像处理方法，包括：
获取AR设备的拍摄位姿数据；
基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息；
基于所述呈现特效信息，通过所述AR设备展示AR场景图像。
本公开实施例基于AR设备的拍摄位姿数据，以及提前设置好的虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，来确定虚拟对象在现实场景中的呈现特效信息，这里，由于三维场景模型可以表征现实场景，基于该三维场景模型所构建好的虚拟对象的位姿数据能够较好地融入现实场景，从该虚拟对象在三维场景模型中的位姿数据中，确定出与AR设备的位姿数据相匹配的呈现特效信息，可以在AR设备中展示出逼真的增强现实场景的效果。
一种可能的实施方式中，所述基于获取的所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息，包括：
基于获取的所述拍摄位姿数据、所述虚拟对象在所述三维场景模型中的位姿数据、以及所述三维场景模型，获取与所述拍摄位姿数据对应的虚拟对象的呈现特效信息。
上述实施例通过AR设备的拍摄位姿数据、虚拟对象在三维场景模型中的位姿数据和三维场景模型结合来确定虚拟对象在现实场景中的呈现特效信息时，当确定出虚拟对象被三维场景模型对应的现实场景中的实体物体遮挡时，能够通过三维场景模型实现对虚拟对象的遮挡效果，从而在AR设备中展示出更为逼真的增强现实场景。
一种可能的实施方式中，所述三维场景模型是按照以下方式生成：
获取与所述现实场景对应的多张现实场景图像；
基于所述多张现实场景图像，生成所述三维场景模型。
一种可能的实施方式中，所述基于所述多张现实场景图像，生成所述三维场景模型，包括：
从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
基于提取的多个特征点，以及预存的与所述现实场景匹配的三维样本图，生成所述三维场景模型；其中，所述三维样本图为预存储的表征所述现实场景形貌特征的三维图。
本公开实施例通过多张现实场景图像中的每张现实场景图像中的多个特征点，构成稠密点云，通过该稠密点云以及具有尺寸标注的三维样本图生成表征现实场景的三维模型，然后基于等比例的坐标转换，得到表征现实场景的三维场景模型，通过该方式得到的三维场景模型能够精确地表征现实场景。
一种可能的实施方式中，所述获取AR设备的拍摄位姿数据，包括：
获取所述AR设备拍摄的现实场景图像；
基于所述现实场景图像和预先存储的用于定位的第一神经网络模型，确定与所述现实场景图像对应的拍摄位姿数据；所述拍摄位姿数据包括拍摄位置和/或拍摄角度信息。
一种可能的实施方式中，根据以下步骤训练所述第一神经网络模型：
基于预先拍摄所述现实场景得到的多张样本图片，和与每张样本图片对应的拍摄位姿数据，训练所述第一神经网络模型。
本公开实施例基于深度学习的方式确定与现实场景图像对应的拍摄位姿数据，当预先拍摄现实场景得到的样本图片足够多时，可以得到识别拍摄位姿数据精度较高的第一神经网络模型，根据该第一神经网络模型即可以基于AR设备拍摄的现实场景图像，确定与现实场景图像对应的精度较高的拍摄位姿数据。
一种可能的实施方式中，所述获取AR设备的拍摄位姿数据，包括：
获取所述AR设备拍摄的现实场景图像；
基于所述现实场景图像和对齐后的三维样本图，确定与所述现实场景图像对应的拍摄位姿数据；所述拍摄位姿数据包括拍摄位置和/或拍摄角度信息；所述对齐后的三维样本图为基于预先拍摄所述现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图；所述预存的三维样本图为预存储的表征所述现实场景形貌特征的三维图。
一种可能的实施方式中，所述基于所述现实场景图像和对齐后的三维样本图，确定与所述现实场景图像对应的拍摄位姿数据，包括：
基于所述对齐后的三维样本图，确定与拍摄的所述现实场景图像中的特征点匹配的三维样本图中的特征点；
基于所述匹配的三维样本图中的特征点在所述对齐后的三维样本图中的坐标信息，确定所述样本图库中与所述现实场景图像匹配的目标样本图片；所述样本图库包括预先拍摄所述现实场景得到的样本图片，以及每张样本图片对应的拍摄位姿数据；
将与所述目标样本图片对应的拍摄位姿数据，确定为所述现实场景图像对应的拍摄位姿数据。
本公开实施例提前构建了预先拍摄现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图，当接收到现实场景图像后，就可以根据该现实场景图像中的特征点，以及该对齐后的三维样本图，精确地确定出样本图库中与该现实场景图像匹配的目标样本图片，然后可以将该目标样本图片对应的拍摄位姿数据作为现实场景图像对应的拍摄位姿数据。
一种可能的实施方式中，所述获取AR设备的拍摄位姿数据之后，所述方法还包括：
获取所述AR设备拍摄的现实场景图像；
基于所述现实场景图像和预先存储的用于确定现实场景图像属性信息的第二神经网络模型，确定所述现实场景图像对应的属性信息；
所述基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息，包括：
基于所述拍摄位姿数据、所述属性信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息。
上述实施方式将AR设备的拍摄位姿数据和现实场景图像属性信息结合来确定虚拟对象在现实场景中的呈现特效信息，能够使虚拟对象的呈现特效更好地融入现实场景。
一种可能的实施方式中，根据以下步骤训练所述第二神经网络模型：
基于预先拍摄所述现实场景得到的多张样本图片，和与每张样本图片对应的属性信息，训练所述第二神经网络模型。
一种可能的实施方式中，所述获取AR设备的拍摄位姿数据之后，所述方法还包括：
获取所述AR设备拍摄的现实场景的预设标识；
基于所述预设标识，以及预存的预设标识与附加虚拟对象信息的映射关系，确定所述现实场景对应的附加虚拟对象信息；
所述基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息，包括：
基于所述拍摄位姿数据、所述附加虚拟对象信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息。
上述实施方式将AR设备的拍摄位姿数据和现实场景的预设标签对应的附加虚拟对象信息一起结合来确定AR场景图像的呈现特效信息，从而使得AR场景图像的展示方式更加丰富。
一种可能的实施方式中，所述基于所述呈现特效信息，通过所述AR设备展示AR场景图像之后，所述方法还包括：
获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息。
一种可能的实施方式中，所述虚拟对象包括目标乐器，所述获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对所述AR设备中展示的虚拟对象的触发操作，按照所述AR设备中展示的所述虚拟对象被触发后对应的声音播放效果进行更新。
一种可能的实施方式中，所述虚拟对象包括目标乐器，所述AR设备包括多个，所述获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对多个所述AR设备中展示的同一个虚拟对象的触发操作，按照多个所述AR设备中展示的所述同一个虚拟对象被触发后对应的混合声音播放效果进行更新。
一种可能的实施方式中，所述虚拟对象包括目标乐器，所述AR设备包括多个，所述获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对多个所述AR设备中至少一个AR设备展示的虚拟对象的触发操作，按照多个所述AR设备中展示的所述至少一个虚拟对象被触发后对应的混合声音播放效果进行更新。
本公开实施例提供的当获取到针对AR设备中展示的虚拟对象的触发操作时，可以更新AR场景图像中的呈现特效信息，提高了增强现实场景的可操作性，提升了用户体验。
第二方面，本公开实施例提供了一种AR场景图像处理方法，包括：
获取与现实场景对应的多张现实场景图像；
基于所述多张现实场景图像，生成用于表征所述现实场景的三维场景模型；
基于所述三维场景模型和与所述现实场景匹配的虚拟对象，生成所述虚拟对象在AR场景下的呈现特效信息。
本公开实施例基于多张与现实场景对应的现实场景图像，能够得到用于表征现实场景的三维场景模型，比如，得到与现实场景在相同坐标系中按照1：1呈现的三维场景模型，这样，可以提前基于该三维场景模型和与现实场景匹配的虚拟对象，确定出虚拟对象在AR场景下的呈现特效信息，从而当虚拟对象按照该呈现特效信息在1:1的现实场景中呈现时，可以在AR设备中展示出逼真的增强现实场景的效果。
一种可能的实施方式中，所述基于所述多张现实场景图像，生成用于表征所述现实场景的三维场景模型，包括：
从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
基于提取的多个特征点，以及预存的与所述现实场景匹配的三维样本图，生成所述三维场景模型；其中，所述三维样本图为预存储的表征所述现实场景形貌特征的三维图。
本公开实施例可以通过多张现实场景图像中的每张现实场景图像中的多个特征点，构成稠密点云，通过该稠密点云以及具有尺寸标注的三维样本图生成表征现实场景的三维模型，然后基于等比例的坐标转换，得到表征现实场景的三维场景模型，通过该方式得到的三维场景模型能够精确地表征三维场景模型。
第三方面，本公开实施例提供了一种AR场景图像处理装置，包括：
第一获取模块，用于获取AR设备的拍摄位姿数据；
第二获取模块，用于基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息；
展示模块，用于基于所述呈现特效信息，通过所述AR设备展示AR场景图像。
一种可能的实施方式中，所述第二获取模块用于采用以下方式基于获取的所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息：
基于获取的所述拍摄位姿数据、所述虚拟对象在所述三维场景模型中的位姿数据、以及所述三维场景模型，获取与所述拍摄位姿数据对应的虚拟对象的呈现特效信息。
一种可能的实施方式中，所述装置还包括生成模块，所述生成模块用于采用以下方式生成所述三维场景模型：
获取与所述现实场景对应的多张现实场景图像；
基于所述多张现实场景图像，生成所述三维场景模型。
一种可能的实施方式中，所述生成模块用于采用以下方式基于所述多张现实场景图像，生成所述三维场景模型：
从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
基于提取的多个特征点，以及预存的与所述现实场景匹配的三维样本图，生成所述三维场景模型；其中，所述三维样本图为预存储的表征所述现实场景形貌特征的三维图。
一种可能的实施方式中，所述第一获取模块用于采用以下方式获取AR设备的拍摄位姿数据：
获取所述AR设备拍摄的现实场景图像；
基于所述现实场景图像和预先存储的用于定位的第一神经网络模型，确定与所述现实场景图像对应的拍摄位姿数据；所述拍摄位姿数据包括拍摄位置和/或拍摄角度信息。
一种可能的实施方式中，所述装置还包括第一模型训练模块，所述第一模型训练模块根据以下步骤训练所述第一神经网络模型：
基于预先拍摄所述现实场景得到的多张样本图片，和与每张样本图片对应的拍摄位姿数据，训练所述第一神经网络模型。
一种可能的实施方式中，所述第一获取模块用于采用以下方式获取AR设备的拍摄位姿数据：
获取所述AR设备拍摄的现实场景图像；
基于所述现实场景图像和对齐后的三维样本图，确定与所述现实场景图像对应的拍摄位姿数据；所述拍摄位姿数据包括拍摄位置和/或拍摄角度信息；所述对齐后的三维样本图为基于预先拍摄所述现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图；所述预存的三维样本图为预存储的表征所述现实场景形貌特征的三维图。
一种可能的实施方式中，所述第一获取模块用于采用以下方式基于所述现实场景图像和对齐后的三维样本图，确定与所述现实场景图像对应的拍摄位姿数据：
基于所述对齐后的三维样本图，确定与拍摄的所述现实场景图像中的特征点匹配的三维样本图中的特征点；
基于所述匹配的三维样本图中的特征点在所述对齐后的三维样本图中的坐标信息，确定所述样本图库中与所述现实场景图像匹配的目标样本图片；所述样本图库包括预先拍摄所述现实场景得到的样本图片，以及每张样本图片对应的拍摄位姿数据；
将与所述目标样本图片对应的拍摄位姿数据，确定为所述现实场景图像对应的拍摄位姿数据。
一种可能的实施方式中，所述第一获取模块在获取AR设备的拍摄位姿数据之后，还用于：
获取所述AR设备拍摄的现实场景图像；
基于所述现实场景图像和预先存储的用于确定现实场景图像属性信息的第二神经网络模型，确定所述现实场景图像对应的属性信息；
所述第二获取模块用于采用以下方式基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息：
基于所述拍摄位姿数据、所述属性信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息。
一种可能的实施方式中，所述装置还包括第二模型训练模块，所述第二模型训练模块根据以下步骤训练所述第二神经网络模型：
基于预先拍摄所述现实场景得到的多张样本图片，和与每张样本图片对应的属性信息，训练所述第二神经网络模型。
一种可能的实施方式中，所述第一获取模块在获取AR设备的拍摄位姿数据之后，还用于：
获取所述AR设备拍摄的现实场景的预设标识；
基于所述预设标识，以及预存的预设标识与附加虚拟对象信息的映射关系，确定所述现实场景对应的附加虚拟对象信息；
所述第二获取模块用于采用以下方式基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息：
基于所述拍摄位姿数据、所述附加虚拟对象信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息。
一种可能的实施方式中，所述展示模块在基于所述呈现特效信息，通过所述AR设备展示AR场景图像之后，还用于：
获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息。
一种可能的实施方式中，所述虚拟对象包括目标乐器，所述展示模块用于采用以下方式获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对所述AR设备中展示的虚拟对象的触发操作，按照所述AR设备中展示的所述虚拟对象被触发后对应的声音播放效果进行更新。
一种可能的实施方式中，所述虚拟对象包括目标乐器，所述AR设备包括多个，所述展示模块用于采用以下方式获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对多个所述AR设备中展示的同一个虚拟对象的触发操作，按照多个所述AR设备中展示的所述同一个虚拟对象被触发后对应的混合声音播放效果进行更新。
一种可能的实施方式中，所述虚拟对象包括目标乐器，所述AR设备包括多个，所述展示模块用于采用以下方式获取到针对所述AR设备中展示的所述虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对多个所述AR设备中至少一个AR设备展示的虚拟对象的触发操作，按照多个所述AR设备中展示的所述至少一个虚拟对象被触发后对应的混合声音播放效果进行更新。
第四方面，本公开实施例提供了一种AR场景图像处理装置，包括：
获取模块，用于获取与现实场景对应的多张现实场景图像；
第一生成模块，用于基于所述多张现实场景图像，生成用于表征所述现实场景的三维场景模型；
第二生成模块，用于基于所述三维场景模型和与所述现实场景匹配的虚拟对象，生成所述虚拟对象在AR场景下的呈现特效信息。
一种可能的实施方式中，所述第一生成模块用于采用以下方式基于所述多张现实场景图像，生成用于表征所述现实场景的三维场景模型：
从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
基于提取的多个特征点，以及预存的与所述现实场景匹配的三维样本图，生成所述三维场景模型；其中，所述三维样本图为预存储的表征所述现实场景形貌特征的三维图。
第五方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行的情况下，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行的情况下执行第一方面或第二方面任一所述方法的步骤。
第六方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行的情况下执行第一方面或第二方面任一所述方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的第一种AR场景图像处理方法的流程图；
图2示出了本公开实施例所提供的第一种确定拍摄位姿数据的方法流程图；
图3示出了本公开实施例所提供的第二种确定拍摄位姿数据的方法流程图；
图4示出了本公开实施例所提供的第二种确定拍摄位姿数据的具体方法流程图；
图5示出了本公开实施例所提供的一种增强现实的效果图；
图6示出了本公开实施例所提供的第一种AR场景图像处理方法的流程图；
图7示出了本公开实施例所提供的一种三维场景模型的生成方法流程图；
图8示出了本公开实施例所提供的一种三维场景模型的具体生成方法流程图；
图9示出了本公开实施例所提供的一种AR场景图像处理装置的结构示意图；
图10示出了本公开实施例所提供的另一种AR场景图像处理装置的结构示意图；
图11示出了本公开实施例所提供的一种电子设备的结构示意图；
图12示出了本公开实施例所提供的另一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。提下所获得的所有其他实施例，都属于本公开保护的范围。
增强现实(Augmented Reality，AR)技术可以应用于AR设备中，AR设备可以为任何能够支持AR功能的电子设备，包括但不限于AR眼镜、平板电脑、智能手机等。当AR设备在现实场景中被操作时，通过该AR设备可以观看到叠加在现实场景中的虚拟对象，比如可以看到叠加在真实的校园操场上的虚拟大树，看到叠加在天空中的虚拟飞翔小鸟，如何使得这些虚拟大树和虚拟飞翔小鸟这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果，为本公开实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种AR场景图像处理方法进行详细介绍，本公开实施例所提供的AR场景图像处理方法的执行主体可以为上述AR设备，也可以为其它具有数据处理能力的处理装置，例如本地或云端服务器等，本公开实施例中不作限定。
参见图1所示，为本公开实施例提供的一种AR场景图像处理方法的流程图，包括以下步骤S101～S103：
S101，获取AR设备的拍摄位姿数据。
这里的AR设备可以包括但不限于AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备。
这里的AR设备的拍摄位姿数据可以包括用户在手持或佩戴AR设备时，用于显示虚拟对象的显示部件所在的位置和/或显示角度，为了方便解释拍摄位姿数据，这里引入坐标系的概念，比如世界坐标系，这里的拍摄位姿数据包括AR设备的显示部件在世界坐标系中的坐标位置，或者包括AR设备的显示部件与世界坐标系中各个坐标轴的夹角，或者同时包括AR设备的显示部件在世界坐标系中的坐标位置以及与世界坐标中各个坐标轴的夹角，拍摄位姿数据具体包括的内容与对增强现实场景中虚拟对象设定的显示方式相关，在此不做具体限定。
S102，基于拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息。
这里的现实场景可以是建筑物室内场景、街道场景、具体的物体等能够叠加虚拟对象的现实场景，通过在现实场景中叠加虚拟对象，可以在AR设备中呈现增强现实的效果。
这里三维场景模型用于表征现实场景，与现实场景在相同坐标系是等比例呈现的，比如以现实场景为某条街道场景为例，该街道包含一栋高楼，则表征该现实场景的三维场景模型同样包括该条街道的模型以及该条街道中的该栋高楼，且三维场景模型与现实场景在相同坐标系中是按照1：1呈现的，即若将三维场景模型放入该现实场景所在的世界坐标系中，则该三维场景模型会与该现实场景完全重合。
这里的虚拟对象例如为在现实场景中展现的虚拟物体，比如上文提到的虚拟大树和虚拟小鸟。
这里的虚拟对象在三维场景模型中的位姿数据是指虚拟对象在三维场景模型中呈现时的位置数据、姿态数据以及样貌数据等，比如上述提到的虚拟小鸟在天空飞翔时或者虚拟大树位于操场出现时的位置数据、姿态数据以及样貌数据等。
因为三维场景模型与现实场景在相同坐标系中按照1：1呈现，在不同坐标系中等比例呈现，故这里提前设置好虚拟对象在三维场景模型中呈现时的位姿数据，则根据该位姿数据，能够表征出虚拟对象在现实场景中的呈现特效信息。
比如，三维场景模型是某校园操场，虚拟对象为10株圣诞树，位姿数据对应的呈现特效信息是这10株圣诞树在该校园操场的东北角呈现，进一步地，可以根据AR设备的拍摄位姿数据，和虚拟对象在现实场景中与AR设备在同一坐标系中的坐标位置，确定出这10株圣诞树在现实场景中的呈现特效信息，比如AR设备距离该校园操场的东北角较近时，因为AR设备的视野范围有限，获取到的与拍摄位姿数据对应的10株圣诞树在现实场景中的呈现特效信息可以为这10株圣诞树中的一部分，比如中间5株圣诞树在某校园操场东北角呈现。
S103，基于呈现特效信息，通过AR设备展示AR场景图像。
这里AR设备展示的AR场景图像为与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息与现实场景叠加后的景象，比如上述提到的与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息为10株圣诞树的中的5株在某校园操场东北角呈现，现实场景为该校园操场，则AR场景图像即为10株圣诞树中的5株在某校园操场东北角呈现的场景图像。
以上内容S101～S103提出的AR场景图像处理方案，通过提前设置好的虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，来确定虚拟对象在现实场景中的呈现特效信息，这里，由于三维场景模型可以表征现实场景，基于该三维场景模型所构建好的虚拟对象的位姿数据能够较好地融入现实场景，从该虚拟对象在三维场景模型中的位姿数据中，确定出与AR设备的位姿数据相匹配的呈现特效信息，即可以在AR设备中展示出逼真的增强现实场景的效果。
在以上过程的执行主体为部署在AR设备上的处理器执行的情况下，在基于以上方式确定出与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息后，可以直接通过AR设备展示AR场景图像；在以上过程的执行主体为部署在云平台服务器的情况下，在确定出与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息后，还可以将该呈现特效信息发送至AR设备端，然后通过AR设备展示AR场景图像。
下面结合具体的实施例来对上述S101～S103的过程进行分析。
针对上述S101，AR设备的拍摄位姿数据可以通过多种方式获取，比如当AR设备配置有位姿传感器时，可以通过AR设备上的位姿传感器来确定AR设备的拍摄位姿数据；当AR设备配置有图像采集部件，比如摄像头时，可以通过摄像头采集的现实场景图像来确定拍摄位姿数据。
这里的位姿传感器可以包括用来确定AR设备的拍摄角度的角速度传感器，比如陀螺仪、惯性测量单元(Inertial measurement unit，IMU)等；可以包括用来确定AR设备拍摄位置的定位部件，比如可以是基于全球定位系统(Global Positioning System,GPS)、全球导航卫星系统(Global Navigation Satellite System,GLONASS)，无线保真(WirelessFidelity,WiFi)定位技术的定位部件；也可以同时包括用来确定AR设备的拍摄角度的角速度传感器和拍摄位置的定位部件。
本公开实施例以通过摄像头采集的现实场景图像来确定拍摄位姿数据为例，来具体说明如何获取AR设备的拍摄位姿数据。
在一种实施方式中，如图2所示，通过摄像头采集的现实场景图像来确定拍摄位姿数据时，可以执行以下步骤S201～S202：
S201，获取AR设备拍摄的现实场景图像。
S202，基于现实场景图像和预先存储的用于定位的第一神经网络模型，确定与现实场景图像对应的拍摄位姿数据；拍摄位姿数据包括拍摄位置和/或拍摄角度信息。
这里当获取到AR设备的摄像头采集到现实场景图像后，可以将该现实场景图像输入预先训练好的用于定位的第一神经网络模型中，即可以得到该现实场景图像对应的拍摄位姿数据。
这里的拍摄位姿数据即可以包括摄像头的拍摄位置，或者摄像头的拍摄角度信息，或者同时包括摄像头的拍摄位置和拍摄角度信息。
具体地，可以根据以下步骤训练第一神经网络模型：
基于预先拍摄现实场景得到的多张样本图片，和与每张样本图片对应的拍摄位姿数据，训练第一神经网络模型。
比如可以预先在现实场景中设置多个不同位置，然后在每个位置均按照不同的拍摄角度对现实场景进行拍摄，由此得到大量的样本图片，以及与每张样本图片对应的拍摄位姿数据，然后将样本图片作为模型输入端，将与样本图片对应的拍摄位姿数据作为模型输出端，输入待训练的第一神经网络模型进行训练，在达到预设条件后，得到训练完成的第一神经网络模型。
这里的预设条件可以是训练次数达到设定阈值，也可以是拍摄位姿数据识别精度达到设定精度范围，在此不进行详细介绍。
这种通过摄像头采集的现实场景图像来确定拍摄位姿数据，是基于深度学习的方式确定的，当预先拍摄现实场景得到的样本图片足够多时，可以得到精度较高的用于识别拍摄位姿数据的第一神经网络模型，根据该第一神经网络模型即可以基于AR设备拍摄的现实场景图像，确定与现实场景图像对应的精度较高的拍摄位姿数据。
在另一种实施方式中，如图3所示，通过摄像头采集的现实场景图像来确定拍摄位姿数据时，可以执行以下步骤S301～S302：
S301，获取AR设备拍摄的现实场景图像。
S302，基于现实场景图像和对齐后的三维样本图，确定与现实场景图像对应的拍摄位姿数据；拍摄位姿数据包括拍摄位置和/或拍摄角度信息。
其中，对齐后的三维样本图为基于预先拍摄现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图；预存的三维样本图为预存储的表征现实场景形貌特征的三维图。
这里预存的三维样本图可以包括提前设置好的能够表征现实场景形貌特征、且带有尺寸标注的三维图，比如可以是表征现实场景形貌特征的计算机辅助设计(ComputerAided Design，CAD)三维图，比如，可以提前在CAD软件上绘制表征各种现实场景形貌特征的三维图，然后将这些三维图与对应的现实场景进行关联存储。
具体地，可以根据以下方式得到齐后的三维样本图：
(1)以不同的拍摄位姿数据拍摄现实场景得到多张样本图片，构成样本图库；
(2)针对每张样本图片，提取多个特征点，构成表征现实场景的特征点云；
(3)将该特征点云与预存储的表征现实场景形貌特征的三维图进行对齐，得到对齐后的三维样本图。
这里针对每张样本图片提取的特征点可以为该表征现实场景关键信息的点，比如针对人脸图片，特征点可以为表示五官信息的一些特征点，比如眼角、嘴角、眉尖、鼻翼等特征点。
当提取的特征点足够多时，特征点构成的特征点云，即可以构成表征现实场景的三维模型，这里的特征点云中的特征点是没有单位的，特征点云构成的三维模型也是没有单位的，然后将该特征点云与带有尺度标注的且能够表征现实场景形貌特征的三维图对齐后，即得到对齐后的三维样本图，因为能够表征现实场景形貌特征的三维图是带有尺度标注的三维图，比如，这里的尺度标注可以为像素坐标系中的像素坐标，所以可以基于对齐后的三维样本图确定从每张样本图片中提取的特征点在该对齐后的三维样本图中对应的坐标信息。
上述在拍摄现实场景得到的样本图库中可以包括每张样本图片对应的拍摄位姿数据，这样，当获取到AR设备拍摄的现实场景图像后，可以先提取该现实场景图像中的特征点，然后基于对齐后的三维样本图，确定与该现实场景图像匹配的样本图片，然后在基于样本图库中包含的样本图片对应的拍摄位姿数据，确定出与该现实场景图像对应的拍摄位姿数据。
具体地，如图4所示，在基于现实场景图像和对齐后的三维样本图，确定与现实场景图像对应的拍摄位姿数据时，可以执行以下步骤S401～S403：
S401，基于对齐后的三维样本图，确定与拍摄的现实场景图像中的特征点匹配的三维样本图中的特征点。
S402，基于匹配的三维样本图中的特征点在对齐后的三维样本图中的坐标信息，确定样本图库中与现实场景图像匹配的目标样本图片；样本图库包括预先拍摄现实场景得到的样本图片，以及每张样本图片对应的拍摄位姿数据。
S403，将与目标样本图片对应的拍摄位姿数据，确定为现实场景图像对应的拍摄位姿数据。
这里，在获取到AR设备拍摄的现实场景图像后，提取该现实场景图像中的特征点，然后将该现实场景图像中的特征点与对齐后的三维样本图对齐，得到在对齐后的三维样本图中与该现实场景图像中的特征点匹配的三维样本图中的特征点，然后以匹配的三维样本图中的特征点在对齐后的三维样本图中的坐标信息作为该现实场景图像中的特征点的坐标信息，这样就可以基于该现实场景图像的特征点的坐标信息和样本图库中每张样本图片的特征点的特征信息，确定出样本图库中与现实场景图像匹配的目标样本图片，比如可以基于现实场景图像的特征点的坐标信息和每张样本图片的特征点的特征信息确定该现实场景图像和每张样本图片的相似度值，将相似度值最高且超过相似度阈值的样本图片作为这里的目标样本图片。
在确定出目标样本图片后，将该目标样本图片对应的拍摄位姿数据作为这里现实场景图像对应的拍摄位姿数据。
本公开实施例提前构建了预先拍摄现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图，当接收到现实场景图像后，就可以根据该现实场景图像中的特征点，以及该对齐后的三维样本图，精确地确定出样本图库中与该现实场景图像匹配的目标样本图片，然后即可以将该目标样本图片对应的拍摄位姿数据作为现实场景图像对应的拍摄位姿数据。
以上是几种获取AR设备的拍摄位姿数据的方式，在获取到AR设备的拍摄位姿数据后，可以进一步地基于该拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息。
针对上述S102，这里的三维场景模型在上文进行过介绍，其主要作用包括两个方面，一种是为了得到虚拟对象在该三维场景模型中的位姿数据，从而获得该虚拟对象在现实场景中的呈现特效信息；第二种是在现实场景中呈现虚拟对象时，用于呈现遮挡效果的作用，比如，若基于虚拟对象、AR设备以及现实场景在AR设备所在坐标系下的坐标，确定虚拟对象在现实场景中的呈现特效信息为该虚拟对象被现实场景中的实体物体遮挡时，可以通过该三维场景模型来呈现遮挡效果，遮挡效果在后文进行介绍，这里首先介绍三维场景模型的前期生成过程。
具体地，三维场景模型是按照以下方式生成：
(1)获取与现实场景对应的多张现实场景图像；
(2)基于多张现实场景图像，生成三维场景模型。
这里，在获取与现实场景对应的多种现实场景图像时，为了得到准确表征该现实场景的三维场景模型，在获取与现实场景对应的多张现实场景图像时，可以在该现实场景中预设的多个位置上，按照不同的拍摄角度对现实场景进行拍摄，比如可以通过R-GBD摄像机对该现实场景图像进行拍摄，得到能够全面表征该现实场景样貌的大量现实场景图像，然后基于这些现实场景图像，生成三维场景模型。
具体地，在基于多张现实场景图像，生成三维场景模型时，具体可以包括以下过程：
(1)从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
(2)基于提取的多个特征点，以及预存的与现实场景匹配的三维样本图，生成三维场景模型；其中，三维样本图为预存储的表征现实场景形貌特征的三维图。
为了得到准确度高的三维场景模型，会从获取的多种现实场景图像中的每张现实场景图像中提取多个特征点，比如构成能够表征现实场景形貌的稠密点云，然后基于该稠密点云，以及预存的与现实场景匹配的三维样本图，生成三维场景模型，这里与现实场景匹配的三维样本图在上文进行过介绍，在此不再赘述。
具体生成三维场景模型的过程，可以是先将能够表征现实场景的稠密点云与这里的三维样本图对齐，得到该现实场景对应的对齐后的三维样本图，即得到表征现实场景的三维模型，以及该三维模型在对齐后的三维样本图中的第一坐标信息，然后根据该三维模型在对齐后的三维样本图中的第一坐标信息，以及齐后的三维样本图中的像素坐标系与uinity坐标系的转换关系，确定出该三维模型在uinity坐标系中的第二坐标信息，进一步地，根据该三维模型在uinity坐标系中的第二坐标信息和uinity坐标系与世界坐标系的转换关系，确定出该三维模型在世界坐标系中的第三坐标信息，即得到三维场景模型，这里能够表征现实场景的稠密点云在多个坐标系中转换时，均是等比例进行转换的，得到的三维场景模型与现实场景在同一坐标系中出现时是按照1：1比例呈现的，即该三维场景模型会与该现实场景完全重合。
本公开实施例通过多张现实场景图像中的每张现实场景图像中的多个特征点，构成稠密点云，通过该稠密点云以及具有尺寸标注的三维样本图生成表征现实场景的三维模型，然后基于等比例的坐标转换，得到表征现实场景的三维场景模型，通过该方式得到的三维场景模型能够精确地表征三维场景模型。
具体地，为了表示虚拟对象被现实场景中的实体物体遮挡时，虚拟对象的呈现特效，在获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息时，需要引入三维场景模型，即基于获取的拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息时，可以包括：
基于获取的拍摄位姿数据、虚拟对象在三维场景模型中的位姿数据、以及三维场景模型，获取与拍摄位姿数据对应的虚拟对象的呈现特效信息。
当三维场景模型与AR设备处于同一坐标系中，可以根据该三维场景模型的位置坐标、AR设备的拍摄位姿数据、以及虚拟对象在三维场景模型中的位姿数据，确定该虚拟对象是否被三维场景模型对应的现实场景中的实体物体遮挡，在确定该虚拟对象的部分区域被三维场景模型对应的现实场景中的实体物体遮挡时，将不会对被遮挡的该部分区域进行渲染，该三维场景模型在其表征的现实场景中可以被处理为透明状形态，即用户在AR设备中不会看到透明形态的三维场景模型，而能够看到虚拟对象被现实场景中的实体物体遮挡的呈现效果。
如图5所示，即为一种增强现实场景，图5中的虚拟对象为一条虚拟恐龙，现实场景为建筑物，图5中显示的建筑物图像为现实场景对应的三维场景模型，若根据该三维场景模型的位置坐标、AR设备的拍摄位置数据、以及虚拟恐龙在三维场景模型中的位姿数据，确定出该虚拟恐龙被三维场景模型对应的现实场景中的实体物体(建筑物)遮挡时，则不会对虚拟恐龙被遮挡的部分进行渲染，在渲染的过程中会使得该三维场景模型呈透明形态，则AR用户通过AR设备中可以看到逼真的遮挡效果，即虚拟恐龙部分区域被建筑物遮挡后，能够展现出虚拟恐龙从建筑物的后方走出的呈现特效。
上述实施例通过AR设备的拍摄位姿数据、虚拟对象在三维场景模型中的位姿数据和三维场景模型结合来确定虚拟对象在现实场景中的呈现特效信息时，当确定出虚拟对象被三维场景模型对应的现实场景中的实体物体遮挡时，能够通过三维场景模型实现对虚拟对象的遮挡效果，从而在AR设备中展示出更为逼真的增强现实场景。
在一种实施方式中，在基于呈现特效信息，通过AR设备展示AR场景图像之后，本公开实施例提供的AR场景图像处理方法还包括：
获取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息。
这里更新AR场景图像中展示的呈现特效信息可以指触发AR场景中虚拟对象画面的更新，或者指触发与虚拟对象对应的声音播放效果的更新，或者指触发与虚拟对象对应的气味散发的更新，或者触发AR场景中虚拟对象画面的更新、与虚拟对象对应的声音播放效果的更新、以及与虚拟对象对应的气味散发的更新中的多种组合。
这里，针对AR设备中展示的虚拟对象的触发操作可以通过用户的手势动作进行触发，比如特定的手势动作代表对AR设备中展示的虚拟对象的一种触发操作，比如伸出食指进行左右滑动，可以表示对虚拟对象进行切换，该种触发操作可以应用于设置有图像采集部件的AR设备；当然针对AR设备中展示的虚拟对象的触发操作也可以通过显示屏上设置的虚拟按钮进行触发，这种触发操作主要应用于具有显示部件的AR设备。
本公开实施例以虚拟对象包括目标乐器为例，比如可以是虚拟钢琴、虚拟编钟等，上述获取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，可以包括：
获取到针对AR设备中展示的虚拟对象的触发操作，按照该AR设备中展示的虚拟对象被触发后对应的声音播放效果进行更新。
比如，当目标乐器为虚拟编钟时，当获取到针对AR设备中展示的虚拟编钟的触发操作时，可以按照该AR设备中展示的虚拟编钟被触发后对应的声音播放效果进行声音播放。
仍然以虚拟对象包括目标乐器为例，当AR设备包括多个时，多个AR用户可以在AR设备展示的AR场景图像中与该虚拟对象进行交互，上述获取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，可以包括：
(1)获取到针对多个AR设备中展示的同一个虚拟对象的触发操作，按照多个AR设备中展示的同一个虚拟对象被触发后对应的混合声音播放效果进行更新；或者，
(2)获取到针对多个AR设备中至少一个AR设备展示的虚拟对象的触发操作，按照多个AR设备中展示的至少一个虚拟对象被触发后对应的混合声音播放效果进行更新。
比如，当获取到多个AR用户在各自的AR设备中对展示的同一架虚拟钢琴的触发操作，则可以按照多个AR设备中展示的该虚拟钢琴被触发后对应的混合声音播放效果进行播放；或者，当获取到多个AR用户在各自的AR设备中对展示的不同的虚拟编钟的触发操作，可以按照多个AR设备中展示的不同虚拟编钟被触发后对应的混合声音播放效果进行播放。
本公开实施例提供的当获取到针对AR设备中展示的虚拟对象的触发操作时，可以更新AR场景图像中展示的呈现特效信息，提高了增强现实场景的可操作性，提升了用户体验。
参见图6所示，本公开实施例还提供了一种AR场景图像处理方法，具体可以包括以下步骤S601～S603：
S601，获取AR设备的拍摄位姿数据，以及AR设备拍摄的现实场景图像。
这里的拍摄位姿数据与上文介绍的一致，在此不再进行赘述。
S602，基于现实场景图像和预先存储的用于确定现实场景图像属性信息的第二神经网络模型，确定现实场景图像对应的属性信息。
这里的属性信息是指现实场景图像表征的现实场景的类型，具体可以通过标签标识进行表示，比如针对同一个室内空间，可以被装扮为多种装修类型，每种装修类型可以对应一种虚拟对象的呈现特效，比如，虚拟对象为可以发出不同色彩的虚拟吊灯，该室内空间对应的属性信息可以包括欧式风格、中式风格和美式风格，欧式风格对应的虚拟对象为展示第一种色彩的吊灯，中式风格对应的虚拟对象为展示第二种色彩的吊灯，美式风格对应的虚拟对象为展示第三种色彩的吊灯。
S603，基于拍摄位姿数据、属性信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息。
S604，基于呈现特效信息，通过AR设备展示AR场景图像。
针对步骤S602～S603进行以下具体描述。
针对上述S602，可以根据以下步骤训练第二神经网络模型：
基于预先拍摄现实场景得到的多张样本图片，和与每张样本图片对应的属性信息，训练第二神经网络模型。
这里可以针对每种现实场景，可以针对该现实场景按照不同的拍摄位姿进行拍摄，得到大量样本图片，以及与每张样本图片对应的属性信息，然后将样本图片作为模型输入端，将与样本图片对应的属性信息作为模型输出端，输入待训练的第二神经网络模型进行训练，在达到预设条件后，得到训练完成的第二神经网络模型。
这里的预设条件可以是训练次数达到设定阈值，也可以是拍摄位姿数据识别精度达到设定精度范围，在此不进行详细介绍。
针对上述步骤S603，这里在上文S102的基础上，增加了现实场景的属性信息，即同时基于拍摄位姿数据、属性信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，来获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息，比如针对上述例子，若拍摄到的室内空间的属性信息为欧式风格，则虚拟对象为展示第一种色彩的吊灯，这样可以得到欧式风格的室内空间对应的呈现特效信息；若拍摄到的室内空间的属性信息为中式风格，则虚拟对象为展示第二种色彩的吊灯，这样可以得到中式风格的室内空间对应的呈现特效信息。
针对这里拍摄位姿数据在获取呈现特效信息中的作用，与上文相似，在此不再赘述。
针对虚拟对象在呈现时被现实场景中的实体物体遮挡的情况，与上文阐述的情况相似，在此不再赘述。
上述实施方式将AR设备的拍摄位姿数据和现实场景图像属性信息结合来确定虚拟对象在现实场景中的呈现特效信息，能够使虚拟对象的呈现特效更好地融入现实场景。
另外，本公开实施例还提供了一种AR场景图像处理方法，该情况可以在现实场景中添加预设标识，预设标识存储有与附加虚拟对象信息映射的预设标识信息，这里的附加虚拟对象信息可以是与该现实场景关联的动画、文字、图片等信息，该方法包括：
(1)获取AR设备的拍摄位姿数据和AR设备拍摄的现实场景的预设标识；
(2)基于预设标识，以及预存的预设标识与附加虚拟对象信息的映射关系，确定现实场景对应的附加虚拟对象信息。
(3)基于拍摄位姿数据、预设标识信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息；
(4)基于呈现特效信息，通过AR设备展示AR场景图像。
比如，可以在现实场景花瓶上粘贴预设标识，该预设标识可以是二维码、图像标签等，当获取到AR设备拍摄到的该预设标识后，可以提取该预设标识存储的预设标识信息，以及可以基于该预设标识信息以及预存的预设标识信息和附加虚拟对象信息的映射关系，确定在扫描到该花瓶上的预设标识后，可以在AR设备中呈现附加虚拟对象信息，然后基于AR设备的拍摄位姿数据、虚拟对象在用于表征现实场景的三维场景模型中的位姿数据以及与预设标签信息对应的附加虚拟对象信息，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息，进而基于该呈现特效信息，通过AR设备展示AR场景图像。这里针对这里拍摄位姿数据在获取呈现特效信息中的作用，与上文相似，在此不再赘述。
比如，附加虚拟对象信息是针对室内空间中某花瓶的一个文字介绍，该花瓶上粘贴有二维码，该二维码上存储有与该附加虚拟信息对应的预设标识信息，与进入到该室内空间的AR设备的拍摄位姿数据对应的虚拟对象为一个虚拟讲解员，当AR设备扫描到该花瓶上粘贴的二维码，获取到预设标识信息后，可以得到的呈现特效信息为该虚拟讲解员针对该花瓶旁边出现的附加虚拟对象信息即该花瓶的文字介绍进行讲解。
上述实施方式将AR设备的拍摄位姿数据和现实场景的预设标签对应的附加虚拟对象信息一起结合来确定AR场景图像的呈现特效信息，从而使得AR场景图像的展示方式更加丰富。
另外，当基于呈现特效信息，通过AR设备展示AR场景图像时，本公开实施例提出，当AR设备靠近静止的虚拟对象时，通过实时调整虚拟对象的坐标，使得虚拟对象的坐标系与AR设备的坐标系保持一致，这样能够展现出当AR用户靠近虚拟对象时，与现实场景中一致的靠近效果，比如AR用户通过AR设备看到真实的圆形桌子上放置的虚拟花瓶，当AR用户靠近该虚拟花瓶时，可以感觉到与该虚拟花瓶的距离逐渐变小，即真实的靠近效果。
参见图7所示，本申请实施例还提供了一种AR场景图像处理方法，这里的执行主体可以为部署在云平台服务器端的处理器，具体包括以下步骤S701～S703：
S701，获取与现实场景对应的多张现实场景图像；
S702，基于多张现实场景图像，生成用于表征现实场景的三维场景模型；
S703，基于三维场景模型和与现实场景匹配的虚拟对象，生成虚拟对象在AR场景下的呈现特效信息。
这里生成三维场景模型的过程与上文介绍的三维场景模型的生成过程相同，在此不再赘述。
这里，可以设置虚拟对象在三维场景模型中的位姿数据，即可以得到虚拟对象在三维场景模型中的呈现特效信息，因为三维场景模型与其表征的现实场景在相同坐标系下是完全重合的，则根据虚拟对象在三维场景模型中的位姿数据即可以得到虚拟对象在AR场景下的呈现特效信息。
本公开实施例基于多张与现实场景对应的现实场景图像，能够得到用于表征现实场景的三维场景模型，比如，得到与现实场景在相同坐标系中按照1：1呈现的三维场景模型，这样，可以提前基于该三维场景模型和与现实场景匹配的虚拟对象，确定出虚拟对象在AR场景下的呈现特效信息，从而当虚拟对象按照该呈现特效信息在1：1的现实场景中呈现时，可以在AR设备中展示出逼真的增强现实场景的效果。
如图8所示，在基于多张现实场景图像，生成用于表征现实场景的三维场景模型时，可以执行以下步骤S801～S802：
S801，从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
S802，基于提取的多个特征点，以及预存的与现实场景匹配的三维样本图，生成三维场景模型；其中，三维样本图为预存储的表征现实场景形貌特征的三维图。
该过程为基于多张现实场景图像生成用于表征现实场景的三维场景模型时的具体过程，已经在上文进行过详细介绍，在此不做具体赘述。
本公开实施例可以通过多张现实场景图像中的每张现实场景图像中的多个特征点，构成稠密点云，通过该稠密点云以及具有尺寸标注的三维样本图生成表征现实场景的三维模型，然后基于等比例的坐标转换，得到表征现实场景的三维场景模型，通过该方式得到的三维场景模型能够精确地表征三维场景模型。
基于同一技术构思，本公开实施例中还提供了与AR场景图像处理方法对应的AR场景图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR场景图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图9所示，为本公开实施例提供的一种AR场景图像处理装置900，包括：
第一获取模块901，用于获取AR设备的拍摄位姿数据；
第二获取模块902，用于基于拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息；
展示模块903，用于基于呈现特效信息，通过AR设备展示AR场景图像。
一种可能的实施方式中，第二获取模块902用于采用以下方式基于获取的拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息：
基于获取的拍摄位姿数据、虚拟对象在三维场景模型中的位姿数据、以及三维场景模型，获取与拍摄位姿数据对应的虚拟对象的呈现特效信息。
一种可能的实施方式，AR场景图像处理装置还包括生成模块904，生成模块904用于采用以下方式生成三维场景模型：
获取与现实场景对应的多张现实场景图像；
基于多张现实场景图像，生成三维场景模型。
一种可能的实施方式，生成模块904用于采用以下方式基于多张现实场景图像，生成三维场景模型：
从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
基于提取的多个特征点，以及预存的与现实场景匹配的三维样本图，生成三维场景模型；其中，三维样本图为预存储的表征现实场景形貌特征的三维图。
一种可能的实施方式，第一获取模块901用于采用以下方式获取AR设备的拍摄位姿数据：
获取AR设备拍摄的现实场景图像；
基于现实场景图像和预先存储的用于定位的第一神经网络模型，确定与现实场景图像对应的拍摄位姿数据；拍摄位姿数据包括拍摄位置和/或拍摄角度信息。
一种可能的实施方式，AR场景图像处理装置还包括第一模型训练模块905，第一模型训练模块905根据以下步骤训练第一神经网络模型：
基于预先拍摄现实场景得到的多张样本图片，和与每张样本图片对应的拍摄位姿数据，训练第一神经网络模型。
一种可能的实施方式，第一获取模块901用于采用以下方式获取AR设备的拍摄位姿数据：
获取AR设备拍摄的现实场景图像；
基于现实场景图像和对齐后的三维样本图，确定与现实场景图像对应的拍摄位姿数据；拍摄位姿数据包括拍摄位置和/或拍摄角度信息；对齐后的三维样本图为基于预先拍摄现实场景得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图；预存的三维样本图为预存储的表征现实场景形貌特征的三维图。
一种可能的实施方式，第一获取模块901用于采用以下方式基于现实场景图像和对齐后的三维样本图，确定与现实场景图像对应的拍摄位姿数据：
基于对齐后的三维样本图，确定与拍摄的现实场景图像中的特征点匹配的三维样本图中的特征点；
基于匹配的三维样本图中的特征点在对齐后的三维样本图中的坐标信息，确定样本图库中与现实场景图像匹配的目标样本图片；样本图库包括预先拍摄现实场景得到的样本图片，以及每张样本图片对应的拍摄位姿数据；
将与目标样本图片对应的拍摄位姿数据，确定为现实场景图像对应的拍摄位姿数据。
一种可能的实施方式，第一获取模块901还用于：
获取所述AR设备拍摄的现实场景图像；
基于现实场景图像和预先存储的用于确定现实场景图像属性信息的第二神经网络模型，确定现实场景图像对应的属性信息；
第二获取模块902用于采用以下方式基于拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息：
基于拍摄位姿数据、属性信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息。
一种可能的实施方式，AR场景图像处理装置还包括第二模型训练模块906，第二模型训练模块906根据以下步骤训练第二神经网络模型：
基于预先拍摄现实场景得到的多张样本图片，和与每张样本图片对应的属性信息，训练第二神经网络模型。
一种可能的实施方式，第一获取模块901在获取AR设备的拍摄位姿数据之后，还用于：
获取AR设备拍摄的现实场景的预设标识；
基于预设标识，以及预存的预设标识与附加虚拟对象信息的映射关系，确定现实场景对应的附加虚拟对象信息；
第二获取模块902用于采用以下方式基于拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息：
基于拍摄位姿数据、附加虚拟对象信息以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息。
一种可能的实施方式，展示模块903在基于呈现特效信息，通过AR设备展示AR场景图像之后，还用于：
获取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息。
一种可能的实施方式，虚拟对象包括目标乐器，展示模块903用于采用以下方式获取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对AR设备中展示的虚拟对象的触发操作，按照AR设备中展示的虚拟对象被触发后对应的声音播放效果进行更新。
一种可能的实施方式，虚拟对象包括目标乐器，AR设备包括多个，展示模块903用于采用以下方式获取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对多个AR设备中展示的同一个虚拟对象的触发操作，按照多个AR设备中展示的同一个虚拟对象被触发后对应的混合声音播放效果进行更新。
一种可能的实施方式，虚拟对象包括目标乐器，AR设备包括多个，展示模块903用于采用以下方式获取到针对AR设备中展示的虚拟对象的触发操作，更新AR场景图像中展示的呈现特效信息，包括：
获取到针对多个AR设备中至少一个AR设备展示的虚拟对象的触发操作，按照多个AR设备中展示的至少一个虚拟对象被触发后对应的混合声音播放效果进行更新。
如图10所示，为本公开实施例提供的一种AR场景图像处理装置1000，包括：
获取模块1001，用于获取与现实场景对应的多张现实场景图像；
第一生成模块1002，用于基于多张现实场景图像，生成用于表征现实场景的三维场景模型；
第二生成模块1003，用于基于三维场景模型和与现实场景匹配的虚拟对象，生成虚拟对象在AR场景下的呈现特效信息。
一种可能的实施方式中，第一生成模块1002用于采用以下方式基于多张现实场景图像，生成用于表征现实场景的三维场景模型：
从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
基于提取的多个特征点，以及预存的与现实场景匹配的三维样本图，生成三维场景模型；其中，三维样本图为预存储的表征现实场景形貌特征的三维图。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提供了一种电子设备1100，如图11所示，为本公开实施例提供的电子设备结构示意图，包括：
处理器1101、存储器1102、和总线1103；存储器1102用于存储执行指令，包括内存11021和外部存储器11022；这里的内存11021也称内存储器，用于暂时存放处理器1101中的处理数据，以及与硬盘等外部存储器11022交换的数据，处理器1101通过内存11021与外部存储器11022进行数据交换，当电子设备1100运行的情况下，处理器1101与存储器1102之间通过总线1103通信，使得处理器1101在执行以下指令：获取AR设备的拍摄位姿数据；基于拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与拍摄位姿数据对应的虚拟对象在现实场景中的呈现特效信息；基于呈现特效信息，通过AR设备展示AR场景图像。
本公开实施例还提供了一种电子设备1200，如图12所示，为本公开实施例提供的电子设备结构示意图，包括：
处理器1201、存储器1202、和总线1203；存储器1202用于存储执行指令，包括内存12021和外部存储器12022；这里的内存12021也称内存储器，用于暂时存放处理器1201中的处理数据，以及与硬盘等外部存储器12022交换的数据，处理器1201通过内存12021与外部存储器12022进行数据交换，当电子设备1200运行的情况下，处理器1201与存储器1202之间通过总线1203通信，使得处理器1201在执行以下指令：获取与现实场景对应的多张现实场景图像；基于多张现实场景图像，生成用于表征现实场景的三维场景模型；基于三维场景模型和与现实场景匹配的虚拟对象，生成虚拟对象在AR场景下的呈现特效信息。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行的情况下执行上述方法实施例中的AR场景图像处理方法的步骤。
本公开实施例所提供的AR场景图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中的AR场景图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现的情况下可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用的情况下，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种AR场景图像处理方法，其特征在于，包括：
获取AR设备的拍摄位姿数据；
基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息；
基于所述呈现特效信息，通过所述AR设备展示AR场景图像。
2.根据权利要求1所述的方法，其特征在于，所述基于获取的所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息，包括：
基于获取的所述拍摄位姿数据、所述虚拟对象在所述三维场景模型中的位姿数据、以及所述三维场景模型，获取与所述拍摄位姿数据对应的虚拟对象的呈现特效信息。
3.根据权利要求1或2所述的方法，其特征在于，所述三维场景模型是按照以下方式生成：
获取与所述现实场景对应的多张现实场景图像；
基于所述多张现实场景图像，生成所述三维场景模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述多张现实场景图像，生成所述三维场景模型，包括：
从获取的多张现实场景图像中的每张现实场景图像中提取多个特征点；
基于提取的多个特征点，以及预存的与所述现实场景匹配的三维样本图，生成所述三维场景模型；其中，所述三维样本图为预存储的表征所述现实场景形貌特征的三维图。
5.根据权利要求1至4任一所述的方法，其特征在于，所述获取AR设备的拍摄位姿数据，包括：
获取所述AR设备拍摄的现实场景图像；
基于所述现实场景图像和预先存储的用于定位的第一神经网络模型，确定与所述现实场景图像对应的拍摄位姿数据；所述拍摄位姿数据包括拍摄位置和/或拍摄角度信息。
6.一种AR场景图像处理方法，其特征在于，包括：
获取与现实场景对应的多张现实场景图像；
基于所述多张现实场景图像，生成用于表征所述现实场景的三维场景模型；
基于所述三维场景模型和与所述现实场景匹配的虚拟对象，生成所述虚拟对象在AR场景下的呈现特效信息。
7.一种AR场景图像处理装置，其特征在于，包括：
第一获取模块，用于获取AR设备的拍摄位姿数据；
第二获取模块，用于基于所述拍摄位姿数据以及虚拟对象在用于表征现实场景的三维场景模型中的位姿数据，获取与所述拍摄位姿数据对应的虚拟对象在所述现实场景中的呈现特效信息；
展示模块，用于基于所述呈现特效信息，通过所述AR设备展示AR场景图像。
8.一种AR场景图像处理装置，其特征在于，包括：
获取模块，用于获取与现实场景对应的多张现实场景图像；
第一生成模块，用于基于所述多张现实场景图像，生成用于表征所述现实场景的三维场景模型；
第二生成模块，用于基于所述三维场景模型和与所述现实场景匹配的虚拟对象，生成所述虚拟对象在AR场景下的呈现特效信息。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行的情况下，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行的情况下执行如权利要求1至5任一所述方法的步骤，或者，执行如权利要求6所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行的情况下执行如权利要求1至5任一所述方法的步骤，或者，执行如权利要求6所述的方法的步骤。
CN201910979900.8A 2019-10-15 2019-10-15 一种ar场景图像处理方法、装置、电子设备及存储介质 Pending CN110738737A (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910979900.8A CN110738737A (zh) 2019-10-15 2019-10-15 一种ar场景图像处理方法、装置、电子设备及存储介质
PCT/CN2020/112707 WO2021073292A1 (zh) 2019-10-15 2020-08-31 一种ar场景图像处理方法、装置、电子设备及存储介质
KR1020207037428A KR102417645B1 (ko) 2019-10-15 2020-08-31 Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
JP2020572865A JP7150894B2 (ja) 2019-10-15 2020-08-31 Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
SG11202013117XA SG11202013117XA (en) 2019-10-15 2020-08-31 Augmented reality scene image processing method and apparatus, electronic device and storage medium
TW109134292A TW202117673A (zh) 2019-10-15 2020-09-30 一種ar場景圖像處理方法、電子設備及儲存介質
US17/134,811 US11423625B2 (en) 2019-10-15 2020-12-28 Augmented reality scene image processing method and apparatus, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910979900.8A CN110738737A (zh) 2019-10-15 2019-10-15 一种ar场景图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110738737A true CN110738737A (zh) 2020-01-31

Family

ID=69269003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979900.8A Pending CN110738737A (zh) 2019-10-15 2019-10-15 一种ar场景图像处理方法、装置、电子设备及存储介质

Country Status (5)

Country Link
KR (1) KR102417645B1 (zh)
CN (1) CN110738737A (zh)
SG (1) SG11202013117XA (zh)
TW (1) TW202117673A (zh)
WO (1) WO2021073292A1 (zh)

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246118A (zh) * 2020-04-27 2020-06-05 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111581547A (zh) * 2020-06-04 2020-08-25 浙江商汤科技开发有限公司 一种游览信息推送方法、装置、电子设备及存储介质
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示系统及装置
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111623782A (zh) * 2020-06-10 2020-09-04 浙江商汤科技开发有限公司 导航路线的展示方法、三维场景模型的生成方法及装置
CN111625100A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 图画内容的呈现方法、装置、计算机设备及存储介质
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111640201A (zh) * 2020-06-11 2020-09-08 浙江商汤科技开发有限公司 虚拟沙盘展示的控制方法、装置、电子设备及存储介质
CN111651054A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 音效控制方法、装置、电子设备及存储介质
CN111650953A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN111651053A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 城市沙盘的展示方法、装置、电子设备及存储介质
CN111651056A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 一种沙盘演示方法、装置、计算机设备及存储介质
CN111651051A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111652983A (zh) * 2020-06-10 2020-09-11 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及设备
CN111651052A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 虚拟沙盘的展示方法、装置、电子设备及存储介质
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN111651048A (zh) * 2020-06-08 2020-09-11 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质
CN111665943A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种位姿信息展示方法及装置
CN111665947A (zh) * 2020-06-10 2020-09-15 浙江商汤科技开发有限公司 一种宝箱展示方法、装置、电子设备及存储介质
CN111667590A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质
CN111666550A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 一种互动合影的方法、装置、电子设备及存储介质
CN111679806A (zh) * 2020-06-10 2020-09-18 浙江商汤科技开发有限公司 播放控制方法、装置、电子设备及存储介质
CN111694430A (zh) * 2020-06-10 2020-09-22 浙江商汤科技开发有限公司 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111696215A (zh) * 2020-06-12 2020-09-22 上海商汤智能科技有限公司 一种图像处理方法、装置及设备
CN111698646A (zh) * 2020-06-08 2020-09-22 浙江商汤科技开发有限公司 一种定位方法及装置
CN111815785A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 现实模型的呈现方法、装置、电子设备及存储介质
CN111815780A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 展示方法、显示装置、设备及计算机可读存储介质
CN111815781A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备和计算机存储介质
CN111833457A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN111833458A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像显示方法及装置、设备、计算机可读存储介质
CN111857341A (zh) * 2020-06-10 2020-10-30 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111860252A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN111882675A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111899349A (zh) * 2020-07-31 2020-11-06 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111970557A (zh) * 2020-09-01 2020-11-20 深圳市慧鲤科技有限公司 图像显示方法、装置、电子设备及存储介质
CN112001947A (zh) * 2020-07-30 2020-11-27 海尔优家智能科技（北京）有限公司 拍摄位置的确定方法及装置、存储介质、电子装置
CN112053450A (zh) * 2020-09-10 2020-12-08 脸萌有限公司 文字的显示方法、装置、电子设备及存储介质
CN112070901A (zh) * 2020-07-21 2020-12-11 马小淞 一种园林的ar场景构建方法、装置、存储介质及终端
CN112181141A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar定位的方法、装置、电子设备及存储介质
CN112684894A (zh) * 2020-12-31 2021-04-20 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
WO2021073292A1 (zh) * 2019-10-15 2021-04-22 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN112954437A (zh) * 2021-02-02 2021-06-11 深圳市慧鲤科技有限公司 一种视频资源处理方法、装置、计算机设备及存储介质
CN113015018A (zh) * 2021-02-26 2021-06-22 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
CN113220123A (zh) * 2021-05-10 2021-08-06 深圳市慧鲤科技有限公司 一种音效控制的方法、装置、电子设备及存储介质
CN113313812A (zh) * 2020-09-16 2021-08-27 阿里巴巴集团控股有限公司 家具展示、交互方法、装置、电子设备和存储介质
CN113379822A (zh) * 2020-03-16 2021-09-10 天目爱视（北京）科技有限公司 一种基于采集设备位姿信息获取目标物3d信息的方法
CN113486205A (zh) * 2021-07-06 2021-10-08 北京林业大学 基于增强虚拟现实技术的植物科普信息系统
WO2022057308A1 (zh) * 2020-09-16 2022-03-24 北京市商汤科技开发有限公司 显示方法、装置，显示设备及计算机可读存储介质
CN114584681A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 目标对象的运动展示方法、装置、电子设备及存储介质
CN114625468A (zh) * 2022-03-21 2022-06-14 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
US11423625B2 (en) 2019-10-15 2022-08-23 Beijing Sensetime Technology Development Co., Ltd. Augmented reality scene image processing method and apparatus, electronic device and storage medium
CN115223028A (zh) * 2022-06-02 2022-10-21 支付宝(杭州)信息技术有限公司 场景重建及模型训练方法、装置、设备、介质及程序产品
WO2023020239A1 (zh) * 2021-08-16 2023-02-23 北京字跳网络技术有限公司 特效生成方法、装置、电子设备及存储介质
CN116860113A (zh) * 2023-08-16 2023-10-10 深圳职业技术学院 一种xr组合场景体验生成方法、系统及存储介质
EP4148675A4 (en) * 2020-05-09 2023-10-18 Vivo Mobile Communication Co., Ltd. METHOD AND DEVICE FOR IMAGE DATA CODING, DISPLAY METHOD AND DEVICE AND ELECTRONIC DEVICE

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538703A (zh) * 2021-06-30 2021-10-22 北京市商汤科技开发有限公司 数据展示方法、装置、计算机设备及存储介质
CN114332417B (zh) * 2021-12-13 2023-07-14 亮风台（上海）信息科技有限公司 一种多人场景交互的方法、设备、存储介质及程序产品
CN114398132A (zh) * 2022-01-14 2022-04-26 北京字跳网络技术有限公司 一种场景数据展示方法、装置、计算机设备和存储介质
CN114489337A (zh) * 2022-01-24 2022-05-13 深圳市慧鲤科技有限公司 一种ar互动方法、装置、设备及存储介质
CN114900545A (zh) * 2022-05-10 2022-08-12 中国电信股份有限公司 增强现实实现方法和系统、云服务器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240354A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Augmented reality apparatus and method
CN104899920A (zh) * 2015-05-25 2015-09-09 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN109685906A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的场景融合方法和装置
CN110163903A (zh) * 2019-05-27 2019-08-23 百度在线网络技术（北京）有限公司 三维图像的获取及图像定位方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
KR20170054638A (ko) * 2015-11-09 2017-05-18 현대오트론 주식회사 헤드업 디스플레이를 이용한 선행 차량 정보 표시 장치 및 방법
KR102560558B1 (ko) * 2016-05-20 2023-07-27 매직 립, 인코포레이티드 사용자 인터페이스 메뉴의 콘텍추얼 인식
CN106774937B (zh) * 2017-01-13 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种增强现实技术中的图像交互方法及其装置
CN106980381A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
CN108022306B (zh) * 2017-12-30 2021-09-21 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240354A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Augmented reality apparatus and method
CN104899920A (zh) * 2015-05-25 2015-09-09 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN109685906A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的场景融合方法和装置
CN110163903A (zh) * 2019-05-27 2019-08-23 百度在线网络技术（北京）有限公司 三维图像的获取及图像定位方法、装置、设备和存储介质

Cited By (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073292A1 (zh) * 2019-10-15 2021-04-22 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
US11423625B2 (en) 2019-10-15 2022-08-23 Beijing Sensetime Technology Development Co., Ltd. Augmented reality scene image processing method and apparatus, electronic device and storage medium
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN113379822B (zh) * 2020-03-16 2024-03-22 天目爱视（北京）科技有限公司 一种基于采集设备位姿信息获取目标物3d信息的方法
CN113379822A (zh) * 2020-03-16 2021-09-10 天目爱视（北京）科技有限公司 一种基于采集设备位姿信息获取目标物3d信息的方法
CN111246118B (zh) * 2020-04-27 2020-08-21 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
CN111246118A (zh) * 2020-04-27 2020-06-05 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
EP4148675A4 (en) * 2020-05-09 2023-10-18 Vivo Mobile Communication Co., Ltd. METHOD AND DEVICE FOR IMAGE DATA CODING, DISPLAY METHOD AND DEVICE AND ELECTRONIC DEVICE
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示系统及装置
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
CN111625100A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 图画内容的呈现方法、装置、计算机设备及存储介质
CN111638793B (zh) * 2020-06-04 2023-09-01 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111638793A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111581547A (zh) * 2020-06-04 2020-08-25 浙江商汤科技开发有限公司 一种游览信息推送方法、装置、电子设备及存储介质
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111581547B (zh) * 2020-06-04 2023-12-15 浙江商汤科技开发有限公司 一种游览信息推送方法、装置、电子设备及存储介质
CN111651048B (zh) * 2020-06-08 2024-01-05 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质
CN111665943B (zh) * 2020-06-08 2023-09-19 浙江商汤科技开发有限公司 一种位姿信息展示方法及装置
CN111569414A (zh) * 2020-06-08 2020-08-25 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111651048A (zh) * 2020-06-08 2020-09-11 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质
CN111665943A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种位姿信息展示方法及装置
CN111569414B (zh) * 2020-06-08 2024-03-29 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111698646A (zh) * 2020-06-08 2020-09-22 浙江商汤科技开发有限公司 一种定位方法及装置
CN111650953B (zh) * 2020-06-09 2024-04-16 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN111650953A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN111651054A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 音效控制方法、装置、电子设备及存储介质
CN111651051A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111694430A (zh) * 2020-06-10 2020-09-22 浙江商汤科技开发有限公司 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111623782A (zh) * 2020-06-10 2020-09-04 浙江商汤科技开发有限公司 导航路线的展示方法、三维场景模型的生成方法及装置
CN111651051B (zh) * 2020-06-10 2023-08-22 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111857341B (zh) * 2020-06-10 2023-06-13 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111651053A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 城市沙盘的展示方法、装置、电子设备及存储介质
CN111651056A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 一种沙盘演示方法、装置、计算机设备及存储介质
CN111857341A (zh) * 2020-06-10 2020-10-30 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111652983A (zh) * 2020-06-10 2020-09-11 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及设备
CN111651052A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 虚拟沙盘的展示方法、装置、电子设备及存储介质
CN111665947A (zh) * 2020-06-10 2020-09-15 浙江商汤科技开发有限公司 一种宝箱展示方法、装置、电子设备及存储介质
CN111679806A (zh) * 2020-06-10 2020-09-18 浙江商汤科技开发有限公司 播放控制方法、装置、电子设备及存储介质
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN111640201A (zh) * 2020-06-11 2020-09-08 浙江商汤科技开发有限公司 虚拟沙盘展示的控制方法、装置、电子设备及存储介质
CN111666550A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 一种互动合影的方法、装置、电子设备及存储介质
CN111667590A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质
CN111667590B (zh) * 2020-06-12 2024-03-22 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质
CN111696215A (zh) * 2020-06-12 2020-09-22 上海商汤智能科技有限公司 一种图像处理方法、装置及设备
CN111815781A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备和计算机存储介质
CN111833458B (zh) * 2020-06-30 2023-06-23 北京市商汤科技开发有限公司 图像显示方法及装置、设备、计算机可读存储介质
CN111815785A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 现实模型的呈现方法、装置、电子设备及存储介质
CN111815780A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 展示方法、显示装置、设备及计算机可读存储介质
CN111833458A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像显示方法及装置、设备、计算机可读存储介质
CN111833457A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN111860252A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN112070901A (zh) * 2020-07-21 2020-12-11 马小淞 一种园林的ar场景构建方法、装置、存储介质及终端
CN112001947A (zh) * 2020-07-30 2020-11-27 海尔优家智能科技（北京）有限公司 拍摄位置的确定方法及装置、存储介质、电子装置
CN111882675A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111899349A (zh) * 2020-07-31 2020-11-06 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111899349B (zh) * 2020-07-31 2023-08-04 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111970557A (zh) * 2020-09-01 2020-11-20 深圳市慧鲤科技有限公司 图像显示方法、装置、电子设备及存储介质
CN112053450A (zh) * 2020-09-10 2020-12-08 脸萌有限公司 文字的显示方法、装置、电子设备及存储介质
US11836437B2 (en) 2020-09-10 2023-12-05 Lemon Inc. Character display method and apparatus, electronic device, and storage medium
WO2022057308A1 (zh) * 2020-09-16 2022-03-24 北京市商汤科技开发有限公司 显示方法、装置，显示设备及计算机可读存储介质
CN113313812A (zh) * 2020-09-16 2021-08-27 阿里巴巴集团控股有限公司 家具展示、交互方法、装置、电子设备和存储介质
CN112181141A (zh) * 2020-09-23 2021-01-05 北京市商汤科技开发有限公司 Ar定位的方法、装置、电子设备及存储介质
CN112181141B (zh) * 2020-09-23 2023-06-23 北京市商汤科技开发有限公司 Ar定位的方法、装置、电子设备及存储介质
CN114584681A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 目标对象的运动展示方法、装置、电子设备及存储介质
CN112684894A (zh) * 2020-12-31 2021-04-20 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN112954437A (zh) * 2021-02-02 2021-06-11 深圳市慧鲤科技有限公司 一种视频资源处理方法、装置、计算机设备及存储介质
CN113015018B (zh) * 2021-02-26 2023-12-19 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
CN113015018A (zh) * 2021-02-26 2021-06-22 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
CN113220123A (zh) * 2021-05-10 2021-08-06 深圳市慧鲤科技有限公司 一种音效控制的方法、装置、电子设备及存储介质
CN113486205A (zh) * 2021-07-06 2021-10-08 北京林业大学 基于增强虚拟现实技术的植物科普信息系统
CN113486205B (zh) * 2021-07-06 2023-07-25 北京林业大学 基于增强虚拟现实技术的植物科普信息系统
WO2023020239A1 (zh) * 2021-08-16 2023-02-23 北京字跳网络技术有限公司 特效生成方法、装置、电子设备及存储介质
CN114625468A (zh) * 2022-03-21 2022-06-14 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114625468B (zh) * 2022-03-21 2023-09-22 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN115223028A (zh) * 2022-06-02 2022-10-21 支付宝(杭州)信息技术有限公司 场景重建及模型训练方法、装置、设备、介质及程序产品
CN115223028B (zh) * 2022-06-02 2024-03-29 支付宝(杭州)信息技术有限公司 场景重建及模型训练方法、装置、设备、介质及程序产品
CN116860113B (zh) * 2023-08-16 2024-03-22 深圳职业技术大学 一种xr组合场景体验生成方法、系统及存储介质
CN116860113A (zh) * 2023-08-16 2023-10-10 深圳职业技术学院 一种xr组合场景体验生成方法、系统及存储介质

Also Published As

Publication number Publication date
SG11202013117XA (en) 2021-05-28
TW202117673A (zh) 2021-05-01
WO2021073292A1 (zh) 2021-04-22
KR102417645B1 (ko) 2022-07-06
KR20210047278A (ko) 2021-04-29

Similar Documents

Publication Publication Date Title
CN110738737A (zh) 一种ar场景图像处理方法、装置、电子设备及存储介质
US20220051022A1 (en) Methods and apparatus for venue based augmented reality
KR101876419B1 (ko) 프로젝션 기반 증강현실 제공장치 및 그 방법
JP5934368B2 (ja) 可搬装置、仮想現実システムおよび方法
US9171399B2 (en) Shadow rendering in a 3D scene based on physical light sources
KR101692335B1 (ko) 증강현실 영상표시 시스템 및 증강현실 영상표시 방법
US11423625B2 (en) Augmented reality scene image processing method and apparatus, electronic device and storage medium
CN107689082B (zh) 一种数据投影方法以及装置
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
Pucihar et al. Exploring the evolution of mobile augmented reality for future entertainment systems
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
JP2020537200A (ja) 画像に挿入される画像コンテンツについての影生成
CN112070906A (zh) 一种增强现实系统及增强现实数据的生成方法、装置
WO2004088595A1 (ja) データオーサリング処理装置
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
CN112882576A (zh) Ar交互方法、装置、电子设备及存储介质
CN113377205B (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
KR101864717B1 (ko) 오브젝트 조립 형상에 따른 무(無)마커 맞춤공간표출형 증강현실 컨텐츠 형성장치 및 방법
US10366495B2 (en) Multi-spectrum segmentation for computer vision
CN113470190A (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
CN112947756A (zh) 内容导览方法、装置、系统、计算机设备及存储介质
CN111815783A (zh) 虚拟场景的呈现方法及装置、电子设备及存储介质
KR101983233B1 (ko) 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법
Střelák Augmented reality tourist guide

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022490

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20200131

RJ01 Rejection of invention patent application after publication