TW202117673A - 一種ar場景圖像處理方法、電子設備及儲存介質 - Google Patents

一種ar場景圖像處理方法、電子設備及儲存介質 Download PDF

Info

Publication number
TW202117673A
TW202117673A TW109134292A TW109134292A TW202117673A TW 202117673 A TW202117673 A TW 202117673A TW 109134292 A TW109134292 A TW 109134292A TW 109134292 A TW109134292 A TW 109134292A TW 202117673 A TW202117673 A TW 202117673A
Authority
TW
Taiwan
Prior art keywords
real scene
scene
virtual object
pose data
dimensional
Prior art date
Application number
TW109134292A
Other languages
English (en)
Inventor
侯欣如
欒青
盛崇山
焦飛
歐華富
石盛傳
王楠
姜翰青
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202117673A publication Critical patent/TW202117673A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本發明提供了一種AR場景圖像處理方法、電子設備及儲存介質，其中，該方法包括：獲取擴增實境AR設備的拍攝位姿資料；基於拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊；基於呈現特效資訊，通過AR設備展示AR場景圖像。

Description

一種AR場景圖像處理方法、電子設備及儲存介質
公開關於擴增實境技術領域，尤其關於一種AR場景圖像處理方法、電子設備及儲存介質。
擴增實境（Augmented Reality，AR）技術，通過將實體資訊（視覺資訊、聲音、觸覺等）通過模擬模擬後，疊加到真實世界中，從而將真實的環境和虛擬的物體即時地在同一個畫面或空間呈現。近年來，AR設備的應用領域越來越廣，使得AR設備在生活、工作、娛樂中起到了重要的作用，對AR設備呈現的擴增實境場景的效果的優化，愈發重要。
本發明實施例提出了一種AR場景圖像處理方法、電子設備和儲存介質。
本發明實施例的技術方案是如下這樣實現的。
本發明實施例提供了一種AR場景圖像處理方法，所述方法包括：獲取AR設備的拍攝位姿資料；基於所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊；基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
本發明實施例基於AR設備的拍攝位姿資料，以及提前設置好的虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，來確定虛擬對象在現實場景中的呈現特效資訊，這裡，由於三維場景模型可以表徵現實場景，基於該三維場景模型所構建好的虛擬對象的位姿資料能夠較好地融入現實場景，從該虛擬對象在三維場景模型中的位姿資料中，確定出與AR設備的位姿資料相匹配的呈現特效資訊，可以在AR設備中展示出逼真的擴增實境場景的效果。
一種可能的實施方式中，所述基於獲取的所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊，包括：基於獲取的所述拍攝位姿資料、所述虛擬對象在所述三維場景模型中的位姿資料、以及所述三維場景模型，獲取與所述拍攝位姿資料對應的虛擬對象的呈現特效資訊。
上述實施例通過AR設備的拍攝位姿資料、虛擬對象在三維場景模型中的位姿資料和三維場景模型結合來確定虛擬對象在現實場景中的呈現特效資訊，在確定出虛擬對象被三維場景模型對應的現實場景中的實體物體遮擋的情況下，能夠通過三維場景模型實現對虛擬對象的遮擋效果，從而在AR設備中展示出更為逼真的擴增實境場景。
一種可能的實施方式中，所述三維場景模型是按照以下方式生成：獲取與所述現實場景對應的多張現實場景圖像；基於所述多張現實場景圖像，生成所述三維場景模型。
一種可能的實施方式中，所述基於所述多張現實場景圖像，生成所述三維場景模型，包括：從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點；基於提取的多個特徵點，以及預存的與所述現實場景匹配的三維樣本圖，生成所述三維場景模型；其中，所述三維樣本圖為預儲存的表徵所述現實場景形貌特徵的三維圖。
本發明實施例通過多張現實場景圖像中的每張現實場景圖像中的多個特徵點，構成稠密點雲，通過該稠密點雲以及具有尺寸標注的三維樣本圖生成表徵現實場景的三維模型，然後基於等比例的座標轉換，得到表徵現實場景的三維場景模型，通過該方式得到的三維場景模型能夠精確地表徵現實場景。
一種可能的實施方式中，所述獲取AR設備的拍攝位姿資料，包括：獲取所述AR設備拍攝的現實場景圖像；基於所述現實場景圖像和預先儲存的用於定位的第一神經網路模型，確定與所述現實場景圖像對應的拍攝位姿資料；所述拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊。
一種可能的實施方式中，根據以下步驟訓練所述第一神經網路模型：基於預先拍攝所述現實場景得到的多張樣本圖片，和與每張樣本圖片對應的拍攝位姿資料，訓練所述第一神經網路模型。
本發明實施例基於深度學習的方式確定與現實場景圖像對應的拍攝位姿資料，在預先拍攝現實場景得到的樣本圖片足夠多的情況下，可以得到識別拍攝位姿資料精度較高的第一神經網路模型，根據該第一神經網路模型即可以基於AR設備拍攝的現實場景圖像，確定與現實場景圖像對應的精度較高的拍攝位姿資料。
一種可能的實施方式中，所述獲取AR設備的拍攝位姿資料，包括：獲取所述AR設備拍攝的現實場景圖像；基於所述現實場景圖像和對齊後的三維樣本圖，確定與所述現實場景圖像對應的拍攝位姿資料；所述拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊；所述對齊後的三維樣本圖為基於預先拍攝所述現實場景得到的樣本圖庫與預存的三維樣本圖進行特徵點對齊後的三維樣本圖；所述預存的三維樣本圖為預儲存的表徵所述現實場景形貌特徵的三維圖。
一種可能的實施方式中，所述基於所述現實場景圖像和對齊後的三維樣本圖，確定與所述現實場景圖像對應的拍攝位姿資料，包括：基於所述對齊後的三維樣本圖，確定與拍攝的所述現實場景圖像中的特徵點匹配的三維樣本圖中的特徵點；基於所述匹配的三維樣本圖中的特徵點在所述對齊後的三維樣本圖中的座標資訊，確定所述樣本圖庫中與所述現實場景圖像匹配的目標樣本圖片；所述樣本圖庫包括預先拍攝所述現實場景得到的樣本圖片，以及每張樣本圖片對應的拍攝位姿資料；將與所述目標樣本圖片對應的拍攝位姿資料，確定為所述現實場景圖像對應的拍攝位姿資料。
本發明實施例提前構建了預先拍攝現實場景得到的樣本圖庫與預存的三維樣本圖進行特徵點對齊後的三維樣本圖，在獲取到現實場景圖像的情況下，就可以根據該現實場景圖像中的特徵點，以及該對齊後的三維樣本圖，精確地確定出樣本圖庫中與該現實場景圖像匹配的目標樣本圖片，然後可以將該目標樣本圖片對應的拍攝位姿資料作為現實場景圖像對應的拍攝位姿資料。
一種可能的實施方式中，所述獲取AR設備的拍攝位姿資料之後，所述方法還包括：獲取所述AR設備拍攝的現實場景圖像；基於所述現實場景圖像和預先儲存的用於確定現實場景圖像屬性資訊的第二神經網路模型，確定所述現實場景圖像對應的屬性資訊；所述基於所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊，包括：基於所述拍攝位姿資料、所述屬性資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊。
本發明實施例將AR設備的拍攝位姿資料和現實場景圖像屬性資訊結合來確定虛擬對象在現實場景中的呈現特效資訊，能夠使虛擬對象的呈現特效更好地融入現實場景。
一種可能的實施方式中，根據以下步驟訓練所述第二神經網路模型：基於預先拍攝所述現實場景得到的多張樣本圖片，和與每張樣本圖片對應的屬性資訊，訓練所述第二神經網路模型。
一種可能的實施方式中，所述獲取AR設備的拍攝位姿資料之後，所述方法還包括：獲取所述AR設備拍攝的現實場景的預設標識；基於所述預設標識，以及預存的預設標識與附加虛擬對象資訊的映射關係，確定所述現實場景對應的附加虛擬對象資訊；所述基於所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊，包括：基於所述拍攝位姿資料、所述附加虛擬對象資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊。
本發明實施例將AR設備的拍攝位姿資料和現實場景的預設標識對應的附加虛擬對象資訊一起結合來確定AR場景圖像的呈現特效資訊，從而使得AR場景圖像的展示方式更加豐富。
一種可能的實施方式中，所述基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像之後，所述方法還包括：獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊。
一種可能的實施方式中，所述虛擬對象包括目標樂器，所述獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括：獲取到針對所述AR設備中展示的虛擬對象的觸發操作，按照所述AR設備中展示的所述虛擬對象被觸發後對應的聲音播放效果進行更新。
一種可能的實施方式中，所述虛擬對象包括目標樂器，所述AR設備包括多個，所述獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括：獲取到針對多個所述AR設備中展示的同一個虛擬對象的觸發操作，按照多個所述AR設備中展示的所述同一個虛擬對象被觸發後對應的混合聲音播放效果進行更新。
一種可能的實施方式中，所述虛擬對象包括目標樂器，所述AR設備包括多個，所述獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括：獲取到針對多個所述AR設備中至少一個AR設備展示的虛擬對象的觸發操作，按照多個所述AR設備中展示的所述至少一個虛擬對象被觸發後對應的混合聲音播放效果進行更新。
本發明實施例提供的在獲取到針對AR設備中展示的虛擬對象的觸發操作的情況下，可以更新AR場景圖像中的呈現特效資訊，提高了擴增實境場景的可操作性，提升了用戶體驗。
本發明實施例提供了另一種AR場景圖像處理方法，包括：獲取與現實場景對應的多張現實場景圖像；基於所述多張現實場景圖像，生成用於表徵所述現實場景的三維場景模型；基於所述三維場景模型和與所述現實場景匹配的虛擬對象，生成所述虛擬對象在AR場景下的呈現特效資訊；基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
本發明實施例基於多張與現實場景對應的現實場景圖像，能夠得到用於表徵現實場景的三維場景模型，比如，得到與現實場景在相同座標系中按照1：1呈現的三維場景模型，這樣，可以提前基於該三維場景模型和與現實場景匹配的虛擬對象，確定出虛擬對象在AR場景下的呈現特效資訊，從而在虛擬對象按照該呈現特效資訊在1:1的現實場景中呈現的情況下，可以在AR設備中展示出逼真的擴增實境場景的效果。
一種可能的實施方式中，所述基於所述多張現實場景圖像，生成用於表徵所述現實場景的三維場景模型，包括：從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點；基於提取的多個特徵點，以及預存的與所述現實場景匹配的三維樣本圖，生成所述三維場景模型；其中，所述三維樣本圖為預儲存的表徵所述現實場景形貌特徵的三維圖。
本發明實施例可以通過多張現實場景圖像中的每張現實場景圖像中的多個特徵點，構成稠密點雲，通過該稠密點雲以及具有尺寸標注的三維樣本圖生成表徵現實場景的三維模型，然後基於等比例的座標轉換，得到表徵現實場景的三維場景模型，通過該方式得到的三維場景模型能夠精確地表徵三維場景模型。
本發明實施例提供了一種AR場景圖像處理裝置，包括：第一獲取模組，配置為獲取AR設備的拍攝位姿資料；第二獲取模組，配置為基於所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊；展示模組，配置為基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
本發明實施例提供了另一種AR場景圖像處理裝置，包括：獲取模組，配置為獲取與現實場景對應的多張現實場景圖像；第一生成模組，配置為基於所述多張現實場景圖像，生成用於表徵所述現實場景的三維場景模型；第二生成模組，配置為基於所述三維場景模型和與所述現實場景匹配的虛擬對象，生成所述虛擬對象在AR場景下的呈現特效資訊；展示模組，配置為基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
本發明實施例提供了一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，在電子設備運行的情況下，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行的情況下執行所述方法的步驟。
本發明實施例提供了一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行的情況下執行所述方法的步驟。
本發明實施例提供了一種電腦程式產品，包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，所述電子設備中的處理器執行所述方法的步驟。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明實施例。
根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
擴增實境（Augmented Reality，AR）技術可以應用於AR設備中，AR設備可以為任何能夠支援AR功能的電子設備，包括但不限於AR眼鏡、平板電腦、智慧手機等。在AR設備在現實場景中被操作的情況下，通過該AR設備可以觀看到疊加在現實場景中的虛擬對象，比如可以看到疊加在真實的校園操場上的虛擬大樹，看到疊加在天空中的虛擬飛翔小鳥，如何使得這些虛擬大樹和虛擬飛翔小鳥這些虛擬對象能夠更好地與現實場景相融合，實現擴增實境場景中對虛擬對象的呈現效果，為本發明實施例所要討論的內容，下面將結合以下實施例進行闡述。
為便於對本實施例進行理解，首先對本發明實施例所公開的一種AR場景圖像處理方法進行詳細介紹，本發明實施例所提供的AR場景圖像處理方法的執行主體可以為上述AR設備，也可以為其它具有資料處理能力的處理裝置，例如本地或雲端伺服器等，本發明實施例中不作限定。
參見圖1所示，為本發明實施例提供的一種AR場景圖像處理方法的流程圖，包括以下步驟S101~S103。
S101，獲取AR設備的拍攝位姿資料。
這裡的AR設備可以包括但不限於AR眼鏡、平板電腦、智慧手機、智慧穿戴式設備等具有顯示功能和資料處理能力的設備。
這裡的AR設備的拍攝位姿資料可以包括使用者在手持或佩戴AR設備的情況下，用於顯示虛擬對象的顯示部件所在的位置和/或顯示角度，為了方便解釋拍攝位姿資料，這裡引入座標系的概念，比如世界座標系，這裡的拍攝位姿資料包括AR設備的顯示部件在世界座標系中的座標位置，或者包括AR設備的顯示部件與世界座標系中各個座標軸的夾角，或者同時包括AR設備的顯示部件在世界座標系中的座標位置以及與世界座標系中各個座標軸的夾角，拍攝位姿資料包括的內容與對擴增實境場景中虛擬對象設定的顯示方式相關，在此不做限定。
S102，基於拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊。
這裡的現實場景可以是建築物室內場景、街道場景、物體等能夠疊加虛擬對象的現實場景，通過在現實場景中疊加虛擬對象，可以在AR設備中呈現擴增實境的效果。
這裡三維場景模型用於表徵現實場景，與現實場景在相同座標系可以是等比例呈現的，比如以現實場景為某條街道場景為例，在該街道包含一棟高樓的情況下，表徵該現實場景的三維場景模型同樣包括該條街道的模型以及該條街道中的該棟高樓，且三維場景模型與現實場景在相同座標系中是按照1：1呈現的，即在將三維場景模型放入該現實場景所在的世界座標系中的情況下，該三維場景模型會與該現實場景完全重合。
這裡的虛擬對象例如為在現實場景中展現的虛擬物體，比如上文提到的虛擬大樹和虛擬小鳥。
這裡的虛擬對象在三維場景模型中的位姿資料是指虛擬對象在三維場景模型中呈現時的位置資料、姿態資料以及樣貌資料等，比如上述提到的虛擬小鳥在天空飛翔時或者虛擬大樹位於操場出現時的位置資料、姿態資料以及樣貌資料等。
因為三維場景模型與現實場景在相同座標系中按照1：1呈現，在不同座標系中等比例呈現，故這裡提前設置好虛擬對象在三維場景模型中呈現時的位姿資料，根據該位姿資料，能夠表徵出虛擬對象在現實場景中的呈現特效資訊。
比如，三維場景模型是某校園操場，虛擬對象為10株聖誕樹，位姿資料對應的呈現特效資訊是這10株聖誕樹在該校園操場的東北角呈現，在本發明的一些實施例中，可以根據AR設備的拍攝位姿資料，和虛擬對象在現實場景中與AR設備在同一座標系中的座標位置，確定出這10株聖誕樹在現實場景中的呈現特效資訊，比如在AR設備距離該校園操場的東北角較近的情況下，因為AR設備的視野範圍有限，獲取到的與拍攝位姿資料對應的10株聖誕樹在現實場景中的呈現特效資訊可以為這10株聖誕樹中的一部分，比如中間5株聖誕樹在某校園操場東北角呈現。
S103，基於呈現特效資訊，通過AR設備展示AR場景圖像。
這裡AR設備展示的AR場景圖像為與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊與現實場景疊加後的景象，比如上述提到的與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊為10株聖誕樹的中的5株在某校園操場東北角呈現，在現實場景為該校園操場的情況下，AR場景圖像即為10株聖誕樹中的5株在某校園操場東北角呈現的場景圖像。
以上內容S101~S103提出的AR場景圖像處理方法，通過提前設置好的虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，來確定虛擬對象在現實場景中的呈現特效資訊，這裡，由於三維場景模型可以表徵現實場景，基於該三維場景模型所構建好的虛擬對象的位姿資料能夠較好地融入現實場景，從該虛擬對象在三維場景模型中的位姿資料中，確定出與AR設備的位姿資料相匹配的呈現特效資訊，即可以在AR設備中展示出逼真的擴增實境場景的效果。
在以上過程的執行主體為部署在AR設備上的處理器執行的情況下，在基於以上方式確定出與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊後，可以直接通過AR設備展示AR場景圖像；在以上過程的執行主體為部署在雲平臺伺服器端的處理器的情況下，在確定出與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊後，還可以將該呈現特效資訊發送至AR設備端，然後通過AR設備展示AR場景圖像。
下面結合實施例來對上述S101~S103的過程進行分析。
針對上述S101，AR設備的拍攝位姿資料可以通過多種方式獲取，比如在AR設備配置有位姿感測器的情況下，可以通過AR設備上的位姿感測器來確定AR設備的拍攝位姿資料；在AR設備配置有圖像採集部件，比如攝影頭的情況下，可以通過攝影頭採集的現實場景圖像來確定拍攝位姿資料。
這裡的位姿感測器可以包括用來確定AR設備的拍攝角度的角速度感測器，比如陀螺儀、慣性測量單元(Inertial measurement unit，IMU)等；可以包括用來確定AR設備拍攝位置的定位部件，比如可以是基於全球定位系統（Global Positioning System, GPS）、全球導航衛星系統（Global Navigation Satellite System, GNSS），無線保真（Wireless Fidelity, WiFi）定位技術的定位部件；也可以同時包括用來確定AR設備的拍攝角度的角速度感測器和拍攝位置的定位部件。
本發明實施例以通過攝影頭採集的現實場景圖像來確定拍攝位姿資料為例，來說明如何獲取AR設備的拍攝位姿資料。
在一種實施方式中，如圖2所示，在通過攝影頭採集的現實場景圖像來確定拍攝位姿資料的情況下，可以執行以下步驟S201~S202：S201，獲取AR設備拍攝的現實場景圖像。S202，基於現實場景圖像和預先儲存的用於定位的第一神經網路模型，確定與現實場景圖像對應的拍攝位姿資料；拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊。
這裡在獲取到AR設備的攝影頭採集到現實場景圖像的情況下，可以將該現實場景圖像輸入預先訓練好的用於定位的第一神經網路模型中，即可以得到該現實場景圖像對應的拍攝位姿資料。
這裡的拍攝位姿資料即可以包括攝影頭的拍攝位置，或者攝影頭的拍攝角度資訊，或者同時包括攝影頭的拍攝位置和拍攝角度資訊。
可以根據以下步驟訓練第一神經網路模型：基於預先拍攝所述現實場景得到的多張樣本圖片，和與每張樣本圖片對應的拍攝位姿資料，訓練第一神經網路模型。
比如可以預先在現實場景中設置多個不同位置，然後在每個位置均按照不同的拍攝角度對現實場景進行拍攝，由此得到大量的樣本圖片，以及與每張樣本圖片對應的拍攝位姿資料，然後將樣本圖片作為模型輸入端，將與樣本圖片對應的拍攝位姿資料作為模型輸出端，輸入待訓練的第一神經網路模型進行訓練，在達到預設條件後，得到訓練完成的第一神經網路模型。
這裡的預設條件可以是訓練次數達到設定閾值，也可以是拍攝位姿資料識別精度達到設定精度範圍，在此不進行詳細介紹。
這種通過攝影頭採集的現實場景圖像來確定拍攝位姿資料，是基於深度學習的方式確定的，在預先拍攝現實場景得到的樣本圖片足夠多的情況下，可以得到精度較高的用於識別拍攝位姿資料的第一神經網路模型，根據該第一神經網路模型即可以基於AR設備拍攝的現實場景圖像，確定與現實場景圖像對應的精度較高的拍攝位姿資料。
在另一種實施方式中，如圖3所示，在通過攝影頭採集的現實場景圖像來確定拍攝位姿資料的情況下，可以執行以下步驟S301~S302：S301，獲取AR設備拍攝的現實場景圖像。S302，基於現實場景圖像和對齊後的三維樣本圖，確定與現實場景圖像對應的拍攝位姿資料；拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊。
其中，所述對齊後的三維樣本圖為基於預先拍攝所述現實場景得到的樣本圖庫與預存的三維樣本圖進行特徵點對齊後的三維樣本圖；所述預存的三維樣本圖為預儲存的表徵現實場景形貌特徵的三維圖。
這裡預存的三維樣本圖可以包括提前設置好的能夠表徵現實場景形貌特徵、且帶有尺寸標注的三維圖，比如可以是表徵現實場景形貌特徵的電腦輔助設計（Computer Aided Design，CAD）三維圖，比如，可以提前在CAD軟體上繪製表徵各種現實場景形貌特徵的三維圖，然後將這些三維圖與對應的現實場景進行關聯儲存。
可以根據以下步驟得到齊後的三維樣本圖。
以不同的拍攝位姿資料拍攝現實場景得到多張樣本圖片，構成樣本圖庫；針對每張樣本圖片，提取多個特徵點，構成表徵現實場景的特徵點雲；將該特徵點雲與預儲存的表徵現實場景形貌特徵的三維圖進行對齊，得到對齊後的三維樣本圖。
這裡針對每張樣本圖片提取的特徵點可以為該表徵現實場景關鍵資訊的點，比如針對人臉圖片，特徵點可以為表示五官資訊的一些特徵點，比如眼角、嘴角、眉尖、鼻翼等特徵點。
在提取的特徵點足夠多的情況下，特徵點構成的特徵點雲，即可以構成表徵現實場景的三維模型，這裡的特徵點雲中的特徵點是沒有單位的，特徵點雲構成的三維模型也是沒有單位的，然後將該特徵點雲與帶有尺度標注的且能夠表徵現實場景形貌特徵的三維圖對齊後，即得到對齊後的三維樣本圖，因為能夠表徵現實場景形貌特徵的三維圖是帶有尺度標注的三維圖，比如，這裡的尺度標注可以為像素座標系中的像素座標，所以可以基於對齊後的三維樣本圖確定從每張樣本圖片中提取的特徵點在該對齊後的三維樣本圖中對應的座標資訊。
上述在拍攝現實場景得到的樣本圖庫中可以包括每張樣本圖片對應的拍攝位姿資料，這樣，在獲取到AR設備拍攝的現實場景圖像的情況下，可以先提取該現實場景圖像中的特徵點，然後基於對齊後的三維樣本圖，確定與該現實場景圖像匹配的樣本圖片，然後基於樣本圖庫中包含的樣本圖片對應的拍攝位姿資料，確定出與該現實場景圖像對應的拍攝位姿資料。
如圖4所示，在基於現實場景圖像和對齊後的三維樣本圖，確定與現實場景圖像對應的拍攝位姿資料的情況下，可以執行以下步驟S401~S403：S401，基於對齊後的三維樣本圖，確定與拍攝的現實場景圖像中的特徵點匹配的三維樣本圖中的特徵點。S402，基於匹配的三維樣本圖中的特徵點在對齊後的三維樣本圖中的座標資訊，確定樣本圖庫中與現實場景圖像匹配的目標樣本圖片；樣本圖庫包括預先拍攝現實場景得到的樣本圖片，以及每張樣本圖片對應的拍攝位姿資料。S403，將與目標樣本圖片對應的拍攝位姿資料，確定為現實場景圖像對應的拍攝位姿資料。
這裡，在獲取到AR設備拍攝的現實場景圖像後，提取該現實場景圖像中的特徵點，然後將該現實場景圖像中的特徵點與對齊後的三維樣本圖對齊，得到在對齊後的三維樣本圖中與該現實場景圖像中的特徵點匹配的三維樣本圖中的特徵點，然後以匹配的三維樣本圖中的特徵點在對齊後的三維樣本圖中的座標資訊作為該現實場景圖像中的特徵點的座標資訊，這樣就可以基於該現實場景圖像的特徵點的座標資訊和樣本圖庫中每張樣本圖片的特徵點的特徵資訊，確定出樣本圖庫中與現實場景圖像匹配的目標樣本圖片，比如可以基於現實場景圖像的特徵點的座標資訊和每張樣本圖片的特徵點的特徵資訊確定該現實場景圖像和每張樣本圖片的相似度值，將相似度值最高且超過相似度閾值的樣本圖片作為這裡的目標樣本圖片。
在確定出目標樣本圖片後，將該目標樣本圖片對應的拍攝位姿資料作為這裡現實場景圖像對應的拍攝位姿資料。
本發明實施例提前構建了預先拍攝現實場景得到的樣本圖庫與預存的三維樣本圖進行特徵點對齊後的三維樣本圖，在獲取到現實場景圖像的情況下，就可以根據該現實場景圖像中的特徵點，以及該對齊後的三維樣本圖，精確地確定出樣本圖庫中與該現實場景圖像匹配的目標樣本圖片，然後即可以將該目標樣本圖片對應的拍攝位姿資料作為現實場景圖像對應的拍攝位姿資料。
以上是幾種獲取AR設備的拍攝位姿資料的方式，在獲取到AR設備的拍攝位姿資料後，在本發明的一些實施例中，可以基於該拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊。
針對上述S102，這裡的三維場景模型在上文進行過介紹，其主要作用包括兩個方面，一種是為了得到虛擬對象在該三維場景模型中的位姿資料，從而獲得該虛擬對象在現實場景中的呈現特效資訊；另一種是在現實場景中呈現虛擬對象的情況下，用於呈現遮擋效果的作用，比如，在基於虛擬對象、AR設備以及現實場景在AR設備所在座標系下的座標，確定虛擬對象在現實場景中的呈現特效資訊為該虛擬對象被現實場景中的實體物體遮擋的情況下，可以通過該三維場景模型來呈現遮擋效果，遮擋效果在後文進行介紹，這裡首先介紹三維場景模型的前期生成過程。
三維場景模型是按照以下步驟生成：獲取與現實場景對應的多張現實場景圖像；基於多張現實場景圖像，生成三維場景模型。
這裡，在獲取與現實場景對應的多種現實場景圖像的情況下，為了得到準確表徵該現實場景的三維場景模型，在獲取與現實場景對應的多張現實場景圖像的情況下，可以在該現實場景中預設的多個位置上，按照不同的拍攝角度對現實場景進行拍攝，比如可以通過RGB-D（Red Green Blue Depth，紅綠藍色彩模式的深度圖）攝影機對該現實場景圖像進行拍攝，得到能夠全面表徵該現實場景樣貌的大量現實場景圖像，然後基於這些現實場景圖像，生成三維場景模型。
在基於多張現實場景圖像，生成三維場景模型的情況下，可以包括以下過程：從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點；基於提取的多個特徵點，以及預存的與現實場景匹配的三維樣本圖，生成三維場景模型；其中，三維樣本圖為預儲存的表徵現實場景形貌特徵的三維圖。
為了得到準確度高的三維場景模型，會從獲取的多種現實場景圖像中的每張現實場景圖像中提取多個特徵點，比如構成能夠表徵現實場景形貌的稠密點雲，然後基於該稠密點雲，以及預存的與現實場景匹配的三維樣本圖，生成三維場景模型，這裡與現實場景匹配的三維樣本圖在上文進行過介紹，在此不再贅述。
生成三維場景模型的過程，可以是先將能夠表徵現實場景的稠密點雲與這裡的三維樣本圖對齊，得到該現實場景對應的對齊後的三維樣本圖，即得到表徵現實場景的三維模型，以及該三維模型在對齊後的三維樣本圖中的第一座標資訊，然後根據該三維模型在對齊後的三維樣本圖中的第一座標資訊，以及對齊後的三維樣本圖中的像素座標系與unity座標系的轉換關係，確定出該三維模型在unity座標系中的第二座標資訊，在本發明的一些實施例中，根據該三維模型在unity座標系中的第二座標資訊和unity座標系與世界座標系的轉換關係，確定出該三維模型在世界座標系中的第三座標資訊，即得到三維場景模型，這裡能夠表徵現實場景的稠密點雲在多個座標系中轉換的情況下，均是等比例進行轉換的，得到的三維場景模型與現實場景在同一座標系中出現的情況下是按照1：1比例呈現的，即該三維場景模型會與該現實場景完全重合。
本發明實施例通過多張現實場景圖像中的每張現實場景圖像中的多個特徵點，構成稠密點雲，通過該稠密點雲以及具有尺寸標注的三維樣本圖生成表徵現實場景的三維模型，然後基於等比例的座標轉換，得到表徵現實場景的三維場景模型，通過該方式得到的三維場景模型能夠精確地表徵三維場景模型。
為了表示在虛擬對象被現實場景中的實體物體遮擋的情況下，虛擬對象的呈現特效，在獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊的情況下，需要引入三維場景模型，即基於獲取的拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊，可以包括：基於獲取的拍攝位姿資料、虛擬對象在三維場景模型中的位姿資料、以及三維場景模型，獲取與拍攝位姿資料對應的虛擬對象的呈現特效資訊。
在三維場景模型與AR設備處於同一座標系中的情況下，可以根據該三維場景模型的位置座標、AR設備的拍攝位姿資料、以及虛擬對象在三維場景模型中的位姿資料，確定該虛擬對象是否被三維場景模型對應的現實場景中的實體物體遮擋，在確定該虛擬對象的部分區域被三維場景模型對應的現實場景中的實體物體遮擋的情況下，將不會對被遮擋的該部分區域進行渲染，該三維場景模型在其表徵的現實場景中可以被處理為透明狀形態，即使用者在AR設備中不會看到透明形態的三維場景模型，而能夠看到虛擬對象被現實場景中的實體物體遮擋的呈現效果。
如圖5所示，即為一種擴增實境場景，圖5中的虛擬對象S501為一條虛擬恐龍，現實場景S502為建築物，圖5中顯示的建築物圖像為現實場景對應的三維場景模型，在根據該三維場景模型的位置座標、AR設備的拍攝位置資料、以及虛擬恐龍在三維場景模型中的位姿資料，確定出該虛擬恐龍被三維場景模型對應的現實場景中的實體物體（建築物）遮擋的情況下，不會對虛擬恐龍被遮擋的部分進行渲染，在渲染的過程中會使得該三維場景模型呈透明形態，AR使用者通過AR設備中可以看到逼真的遮擋效果，即虛擬恐龍部分區域被建築物遮擋後，能夠展現出虛擬恐龍從建築物的後方走出的呈現特效。
上述實施例通過AR設備的拍攝位姿資料、虛擬對象在三維場景模型中的位姿資料和三維場景模型結合來確定虛擬對象在現實場景中的呈現特效資訊，在確定出虛擬對象被三維場景模型對應的現實場景中的實體物體遮擋的情況下，能夠通過三維場景模型實現對虛擬對象的遮擋效果，從而在AR設備中展示出更為逼真的擴增實境場景。
在一種實施方式中，在基於呈現特效資訊，通過AR設備展示AR場景圖像之後，本發明實施例提供的AR場景圖像處理方法還包括：獲取到針對AR設備中展示的虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊。
這裡更新AR場景圖像中展示的呈現特效資訊可以指觸發AR場景中虛擬對象畫面的更新，或者指觸發與虛擬對象對應的聲音播放效果的更新，或者指觸發與虛擬對象對應的氣味散發的更新，或者觸發AR場景中虛擬對象畫面的更新、與虛擬對象對應的聲音播放效果的更新、以及與虛擬對象對應的氣味散發的更新中的多種組合。
這裡，針對AR設備中展示的虛擬對象的觸發操作可以通過用戶的手勢動作進行觸發，比如特定的手勢動作代表對AR設備中展示的虛擬對象的一種觸發操作，比如伸出食指進行左右滑動，可以表示對虛擬對象進行切換，該種觸發操作可以應用於設置有圖像採集部件的AR設備；當然針對AR設備中展示的虛擬對象的觸發操作也可以通過顯示幕上設置的虛擬按鈕進行觸發，這種觸發操作主要應用於具有顯示部件的AR設備。
本發明實施例以虛擬對象包括目標樂器為例，比如可以是虛擬鋼琴、虛擬編鐘等，上述獲取到針對AR設備中展示的虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，可以包括如下。
獲取到針對AR設備中展示的虛擬對象的觸發操作，按照該AR設備中展示的虛擬對象被觸發後對應的聲音播放效果進行更新。
比如，在目標樂器為虛擬編鐘，並且獲取到針對AR設備中展示的虛擬編鐘的觸發操作的情況下，可以按照該AR設備中展示的虛擬編鐘被觸發後對應的聲音播放效果進行聲音播放。
仍然以虛擬對象包括目標樂器為例，在AR設備包括多個的情況下，多個AR使用者可以在AR設備展示的AR場景圖像中與該虛擬對象進行交互，上述獲取到針對AR設備中展示的虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，可以包括： （1）獲取到針對多個AR設備中展示的同一個虛擬對象的觸發操作，按照多個AR設備中展示的同一個虛擬對象被觸發後對應的混合聲音播放效果進行更新；或者， （2）獲取到針對多個AR設備中至少一個AR設備展示的虛擬對象的觸發操作，按照多個AR設備中展示的至少一個虛擬對象被觸發後對應的混合聲音播放效果進行更新。
比如，在獲取到多個AR使用者在各自的AR設備中對展示的同一架虛擬鋼琴的觸發操作的情況下，可以按照多個AR設備中展示的該虛擬鋼琴被觸發後對應的混合聲音播放效果進行播放；或者，在獲取到多個AR使用者在各自的AR設備中對展示的不同的虛擬編鐘的觸發操作，可以按照多個AR設備中展示的不同虛擬編鐘被觸發後對應的混合聲音播放效果進行播放。
本發明實施例提供的在獲取到針對AR設備中展示的虛擬對象的觸發操作的情況下，可以更新AR場景圖像中展示的呈現特效資訊，提高了擴增實境場景的可操作性，提升了用戶體驗。
參見圖6所示，本發明實施例還提供了另一種AR場景圖像處理方法，可以包括以下步驟S601~S603。
S601，獲取AR設備的拍攝位姿資料，以及AR設備拍攝的現實場景圖像。
這裡的拍攝位姿資料與上文介紹的一致，在此不再進行贅述。
S602，基於現實場景圖像和預先儲存的用於確定現實場景圖像屬性資訊的第二神經網路模型，確定現實場景圖像對應的屬性資訊。
這裡的屬性資訊是指現實場景圖像表徵的現實場景的具體類型，可以通過標籤標識進行表示，比如針對同一個室內空間，可以被裝扮為多種裝修類型，每種裝修類型可以對應一種虛擬對象的呈現特效，比如，虛擬對象為可以發出不同色彩的虛擬吊燈，該室內空間對應的屬性資訊可以包括歐式風格、中式風格和美式風格，歐式風格對應的虛擬對象為展示第一種色彩的吊燈，中式風格對應的虛擬對象為展示第二種色彩的吊燈，美式風格對應的虛擬對象為展示第三種色彩的吊燈。
S603，基於拍攝位姿資料、屬性資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊。
S604，基於呈現特效資訊，通過AR設備展示AR場景圖像。
針對步驟S602~S603進行以下描述。
針對上述S602，可以根據以下步驟訓練第二神經網路模型： 基於預先拍攝現實場景得到的多張樣本圖片，和與每張樣本圖片對應的屬性資訊，訓練第二神經網路模型。
這裡可以針對每種現實場景，可以針對該現實場景按照不同的拍攝位姿進行拍攝，得到大量樣本圖片，以及與每張樣本圖片對應的屬性資訊，然後將樣本圖片作為模型輸入端，將與樣本圖片對應的屬性資訊作為模型輸出端，輸入待訓練的第二神經網路模型進行訓練，在達到預設條件後，得到訓練完成的第二神經網路模型。
這裡的預設條件可以是訓練次數達到設定閾值，也可以是拍攝位姿資料識別精度達到設定精度範圍，在此不進行詳細介紹。
針對上述步驟S603，這裡在上文S102的基礎上，增加了現實場景的屬性資訊，即同時基於拍攝位姿資料、屬性資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，來獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊，比如針對上述例子，在拍攝到的室內空間的屬性資訊為歐式風格的情況下，虛擬對象為展示第一種色彩的吊燈，這樣可以得到歐式風格的室內空間對應的呈現特效資訊；在拍攝到的室內空間的屬性資訊為中式風格的情況下，虛擬對象為展示第二種色彩的吊燈，這樣可以得到中式風格的室內空間對應的呈現特效資訊。
針對這裡拍攝位姿資料在獲取呈現特效資訊中的作用，與上文相似，在此不再贅述。
針對虛擬對象在呈現時被現實場景中的實體物體遮擋的情況，與上文闡述的情況相似，在此不再贅述。
上述實施方式將AR設備的拍攝位姿資料和現實場景圖像屬性資訊結合來確定虛擬對象在現實場景中的呈現特效資訊，能夠使虛擬對象的呈現特效更好地融入現實場景。
另外，本發明實施例還提供了一種AR場景圖像處理方法，該情況可以在現實場景中添加預設標識，預設標識儲存有與附加虛擬對象資訊映射的預設標識資訊，這裡的附加虛擬對象資訊可以是與該現實場景關聯的動畫、文字、圖片等資訊，該方法包括以下步驟：獲取AR設備的拍攝位姿資料和AR設備拍攝的現實場景的預設標識；基於所述預設標識，以及預存的預設標識與附加虛擬對象資訊的映射關係，確定現實場景對應的附加虛擬對象資訊。基於所述拍攝位姿資料、所述附加虛擬對象資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊；基於呈現特效資訊，通過AR設備展示AR場景圖像。
比如，可以在現實場景花瓶上粘貼預設標識，該預設標識可以是二維碼、圖像標籤等，在獲取到AR設備拍攝到的該預設標識的情況下，可以提取該預設標識儲存的預設標識資訊，以及可以基於該預設標識資訊以及預存的預設標識資訊和附加虛擬對象資訊的映射關係，確定在掃描到該花瓶上的預設標識後，可以在AR設備中呈現附加虛擬對象資訊，然後基於AR設備的拍攝位姿資料、虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料以及與預設標識資訊對應的附加虛擬對象資訊，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊，進而基於該呈現特效資訊，通過AR設備展示AR場景圖像。這裡針對這裡拍攝位姿資料在獲取呈現特效資訊中的作用，與上文相似，在此不再贅述。
比如，附加虛擬對象資訊是針對室內空間中某花瓶的一個文字介紹，該花瓶上粘貼有二維碼，該二維碼上儲存有與該附加虛擬資訊對應的預設標識資訊，與進入到該室內空間的AR設備的拍攝位姿資料對應的虛擬對象為一個虛擬講解員，在AR設備掃描到該花瓶上粘貼的二維碼，獲取到預設標識資訊後，可以得到的呈現特效資訊為該虛擬講解員針對該花瓶旁邊出現的附加虛擬對象資訊即該花瓶的文字介紹進行講解。
上述實施方式將AR設備的拍攝位姿資料和現實場景的預設標籤對應的附加虛擬對象資訊一起結合來確定AR場景圖像的呈現特效資訊，從而使得AR場景圖像的展示方式更加豐富。
另外，在基於呈現特效資訊，通過AR設備展示AR場景圖像的情況下，本發明實施例提出，在AR設備靠近靜止的虛擬對象的情況下，通過即時調整虛擬對象的座標，使得虛擬對象的座標系與AR設備的座標系保持一致，這樣能夠展現出在AR使用者靠近虛擬對象的情況下，與現實場景中一致的靠近效果，比如AR使用者通過AR設備看到真實的圓形桌子上放置的虛擬花瓶，在AR用戶靠近該虛擬花瓶的情況下，可以感覺到與該虛擬花瓶的距離逐漸變小，即真實的靠近效果。
參見圖7所示，本發明實施例還提供了一種AR場景圖像處理方法，這裡的執行主體可以為部署在雲平臺伺服器端的處理器，包括以下步驟S701~S703：S701，獲取與現實場景對應的多張現實場景圖像；S702，基於多張現實場景圖像，生成用於表徵現實場景的三維場景模型；S703，基於三維場景模型和與現實場景匹配的虛擬對象，生成虛擬對象在AR場景下的呈現特效資訊；S704，基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
這裡生成三維場景模型的過程與上文介紹的三維場景模型的生成過程相同，在此不再贅述。
這裡，可以設置虛擬對象在三維場景模型中的位姿資料，即可以得到虛擬對象在三維場景模型中的呈現特效資訊，因為三維場景模型與其表徵的現實場景在相同座標系下是完全重合的，所以根據虛擬對象在三維場景模型中的位姿資料即可以得到虛擬對象在AR場景下的呈現特效資訊。
本發明實施例基於多張與現實場景對應的現實場景圖像，能夠得到用於表徵現實場景的三維場景模型，比如，得到與現實場景在相同座標系中按照1：1呈現的三維場景模型，這樣，可以提前基於該三維場景模型和與現實場景匹配的虛擬對象，確定出虛擬對象在AR場景下的呈現特效資訊，從而在虛擬對象按照該呈現特效資訊在1：1的現實場景中呈現的情況下，可以在AR設備中展示出逼真的擴增實境場景的效果。
如圖8所示，在基於多張現實場景圖像，生成用於表徵現實場景的三維場景模型的情況下，可以執行以下步驟S801~S802：S801，從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點；S802，基於提取的多個特徵點，以及預存的與現實場景匹配的三維樣本圖，生成三維場景模型；其中，三維樣本圖為預儲存的表徵現實場景形貌特徵的三維圖。
該過程為基於多張現實場景圖像生成用於表徵現實場景的三維場景模型的過程，已經在上文進行過詳細介紹，在此不做贅述。
本發明實施例可以通過多張現實場景圖像中的每張現實場景圖像中的多個特徵點，構成稠密點雲，通過該稠密點雲以及具有尺寸標注的三維樣本圖生成表徵現實場景的三維模型，然後基於等比例的座標轉換，得到表徵現實場景的三維場景模型，通過該方式得到的三維場景模型能夠精確地表徵三維場景模型。
本發明實施例提供一種AR場景圖像處理方法，本發明實施例所提供的AR場景圖像處理方法的執行主體可以為上述AR設備，也可以為其它具有資料處理能力的處理裝置，例如本地或雲端伺服器等，以AR場景圖像處理方法的執行主體為AR設備為例進行說明，所述AR場景圖像處理方法可以包括以下步驟S901至S906。
S901，使用者進入一個區域後，AR設備獲取拍攝的該區域的現實場景圖像； 其中，可以基於三維重建的SFM（structure-from-motion，運動重構）演算法確定定位的樣本圖庫，樣本圖庫的建立可以包括以下步驟S9011至S9012： S9011：所述AR設備採集大量不同角度對應的圖片，並提取該三維物體中各個圖片的特徵點，形成SFM點雲構成的三維模型； S9012：所述AR設備將SFM點雲與CAD（Computer Aided Design，電腦輔助設計）樣本圖進行對齊（基於採集的特徵點數據，選擇一個標準的CAD樣本圖）；得到樣本圖庫。
S902，所述AR設備提取所述現實場景圖像的特徵點。
S903，所述AR設備將所述特徵點與樣本圖庫中的特徵點進行匹配，將樣本庫中對應匹配度最高的圖作為目標樣本圖片。
S904，所述AR設備將與所述目標樣本圖片對應的拍攝位姿資料，確定為所述現實場景圖像對應的拍攝位姿資料； 其中，所述拍攝位姿資料可以為AR設備的當前定位位置資訊，所述當前定位位置資訊可以是地理座標和/或拍攝角度。
S905，所述AR設備基於所述拍攝位姿資料，確定用於表徵現實場景的三維場景模型和佈置好的虛擬對象； 其中，所述三維場景模型的構建可以採用稠密重建方法，可以包括步驟S9051至S9052： S9051：所述AR設備提取大量圖片上的特徵點； S9052：所述AR設備連接各個特徵點，得到模型的平面，模型的平面構成三維場景模型； 另外，所述三維場景模型的構建可以採用另一種構建方法，可以包括步驟S9053： S9053：所述AR設備基於現實場景三維圖或二維圖，構建大量與現實場景對應的三維場景模型。
基於構建的三維場景模型，可以將虛擬對象佈置在場景模型對應的場景下。儲存：三維場景模型+佈置好的虛擬對象+地理位置資訊（VR設備位置，即拍攝位姿資料），以便後續應用。
S906，所述AR設備將虛擬對象按照在三維場景模型下的位姿資料，顯示在現實場景中，呈現擴增實境效果。
其中，所述位姿資料可以為虛擬對象在三維場景模型下的部署位置關係。
本發明實施例再提供一種AR場景圖像處理方法，可以包括以下步驟S1001至S1004。
S1001，使用者進入一個區域後，AR設備獲取拍攝的該區域的現實場景圖像。
S1002，所述AR設備基於所述現實場景圖像和預先儲存的用於定位的神經網路模型，確定與所述現實場景圖像對應的拍攝位姿資料；所述拍攝位姿資料包括拍攝位置和/或拍攝角度資訊； 其中，所述神經網路的訓練可以包括以下步驟S10021至S10022： S10021：預先建立大量圖片位置樣本，將圖片作為模型輸入端，將位置模型輸出端，輸入神經網路模型進行訓練，得到位置預測模型； S10022：獲取到圖片後，將圖片輸入至位置預測模型，確定該圖片對應的位置（即拍攝位姿資料）。
S1003，所述AR設備基於所述拍攝位姿資料，確定用於表徵現實場景的三維場景模型和佈置好的虛擬對象。
S1004，所述AR設備將虛擬對象按照在三維場景模型下的位姿資料，顯示在現實場景中，呈現擴增實境效果。
上述AR場景圖像處理方法中的過程還可結合區域識別、物體屬性識別、虛擬物路線規劃等實施。
基於同一技術構思，本發明實施例中還提供了與AR場景圖像處理方法對應的AR場景圖像處理裝置，由於本發明實施例中的裝置解決問題的原理與本發明實施例上述AR場景圖像處理方法相似，因此裝置的實施可以參見方法的實施，重複之處不再贅述。
如圖9所示，為本發明實施例提供的一種AR場景圖像處理裝置900，包括： 第一獲取模組901，配置為獲取AR設備的拍攝位姿資料；第二獲取模組902，配置為基於拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊；展示模組903，配置為基於呈現特效資訊，通過AR設備展示AR場景圖像。
一種可能的實施方式中，第二獲取模組902配置為採用以下方式基於獲取的拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊：基於獲取的拍攝位姿資料、虛擬對象在三維場景模型中的位姿資料、以及三維場景模型，獲取與拍攝位姿資料對應的虛擬對象的呈現特效資訊。
一種可能的實施方式，AR場景圖像處理裝置還包括生成模組904，生成模組904配置為採用以下方式生成三維場景模型：獲取與現實場景對應的多張現實場景圖像；基於多張現實場景圖像，生成三維場景模型。
一種可能的實施方式，生成模組904配置為採用以下方式基於多張現實場景圖像，生成三維場景模型：從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點；基於提取的多個特徵點，以及預存的與現實場景匹配的三維樣本圖，生成三維場景模型；其中，三維樣本圖為預儲存的表徵現實場景形貌特徵的三維圖。
一種可能的實施方式，第一獲取模組901配置為採用以下方式獲取AR設備的拍攝位姿資料：獲取AR設備拍攝的現實場景圖像；基於現實場景圖像和預先儲存的用於定位的第一神經網路模型，確定與現實場景圖像對應的拍攝位姿資料；拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊。
一種可能的實施方式，AR場景圖像處理裝置還包括第一模型訓練模組905，第一模型訓練模組905根據以下步驟訓練第一神經網路模型：基於預先拍攝現實場景得到的多張樣本圖片，和與每張樣本圖片對應的拍攝位姿資料，訓練第一神經網路模型。
一種可能的實施方式，第一獲取模組901配置為採用以下方式獲取AR設備的拍攝位姿資料：獲取AR設備拍攝的現實場景圖像；基於現實場景圖像和對齊後的三維樣本圖，確定與現實場景圖像對應的拍攝位姿資料；拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊；對齊後的三維樣本圖為基於預先拍攝現實場景得到的樣本圖庫與預存的三維樣本圖進行特徵點對齊後的三維樣本圖；預存的三維樣本圖為預儲存的表徵現實場景形貌特徵的三維圖。
一種可能的實施方式，第一獲取模組901配置為採用以下方式基於現實場景圖像和對齊後的三維樣本圖，確定與現實場景圖像對應的拍攝位姿資料：基於對齊後的三維樣本圖，確定與拍攝的現實場景圖像中的特徵點匹配的三維樣本圖中的特徵點；基於匹配的三維樣本圖中的特徵點在對齊後的三維樣本圖中的座標資訊，確定樣本圖庫中與現實場景圖像匹配的目標樣本圖片；樣本圖庫包括預先拍攝現實場景得到的樣本圖片，以及每張樣本圖片對應的拍攝位姿資料；
將與目標樣本圖片對應的拍攝位姿資料，確定為現實場景圖像對應的拍攝位姿資料。
一種可能的實施方式，第一獲取模組901還配置為：獲取所述AR設備拍攝的現實場景圖像；基於現實場景圖像和預先儲存的用於確定現實場景圖像屬性資訊的第二神經網路模型，確定現實場景圖像對應的屬性資訊；第二獲取模組902配置為採用以下方式基於拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊：基於拍攝位姿資料、屬性資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊。
一種可能的實施方式，AR場景圖像處理裝置還包括第二模型訓練模組906，第二模型訓練模組906根據以下步驟訓練第二神經網路模型：基於預先拍攝現實場景得到的多張樣本圖片，和與每張樣本圖片對應的屬性資訊，訓練第二神經網路模型。
一種可能的實施方式，第一獲取模組901在獲取AR設備的拍攝位姿資料之後，還配置為：獲取AR設備拍攝的現實場景的預設標識；基於預設標識，以及預存的預設標識與附加虛擬對象資訊的映射關係，確定現實場景對應的附加虛擬對象資訊；第二獲取模組902配置為採用以下方式基於拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊：基於拍攝位姿資料、附加虛擬對象資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊。
一種可能的實施方式，展示模組903在基於呈現特效資訊，通過AR設備展示AR場景圖像之後，還配置為：獲取到針對AR設備中展示的虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊。
一種可能的實施方式，虛擬對象包括目標樂器，展示模組903配置為採用以下方式獲取到針對AR設備中展示的虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括：獲取到針對AR設備中展示的虛擬對象的觸發操作，按照AR設備中展示的虛擬對象被觸發後對應的聲音播放效果進行更新。
一種可能的實施方式，虛擬對象包括目標樂器，AR設備包括多個，展示模組903配置為採用以下方式獲取到針對AR設備中展示的虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括：獲取到針對多個AR設備中展示的同一個虛擬對象的觸發操作，按照多個AR設備中展示的同一個虛擬對象被觸發後對應的混合聲音播放效果進行更新。
一種可能的實施方式，虛擬對象包括目標樂器，AR設備包括多個，展示模組903配置為採用以下方式獲取到針對AR設備中展示的虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括：獲取到針對多個AR設備中至少一個AR設備展示的虛擬對象的觸發操作，按照多個AR設備中展示的至少一個虛擬對象被觸發後對應的混合聲音播放效果進行更新。
如圖10所示，為本發明實施例提供的一種AR場景圖像處理裝置1000，包括： 獲取模組1001，配置為獲取與現實場景對應的多張現實場景圖像；第一生成模組1002，配置為基於多張現實場景圖像，生成用於表徵現實場景的三維場景模型；第二生成模組1003，配置為基於三維場景模型和與現實場景匹配的虛擬對象，生成虛擬對象在AR場景下的呈現特效資訊；展示模組1004，配置為基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
一種可能的實施方式中，第一生成模組1002配置為採用以下方式基於多張現實場景圖像，生成用於表徵現實場景的三維場景模型：從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點；基於提取的多個特徵點，以及預存的與現實場景匹配的三維樣本圖，生成三維場景模型；其中，三維樣本圖為預儲存的表徵現實場景形貌特徵的三維圖。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的範本可以用於執行上文方法實施例描述的方法，其實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提供了一種電子設備1100，如圖11所示，為本發明實施例提供的電子設備結構示意圖，包括： 處理器1101、記憶體1102、和匯流排1103；記憶體1102配置為儲存執行指令，包括記憶體11021和外部記憶體11022；這裡的記憶體11021也稱內記憶體，配置為暫時存放處理器1101中的處理資料，以及與硬碟等外部記憶體11022交換的資料，處理器1101通過記憶體11021與外部記憶體11022進行資料交換，在電子設備1100運行的情況下，處理器1101與記憶體1102之間通過匯流排1103通信，使得處理器1101在執行以下指令：獲取AR設備的拍攝位姿資料；基於拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與拍攝位姿資料對應的虛擬對象在現實場景中的呈現特效資訊；基於呈現特效資訊，通過AR設備展示AR場景圖像。
本發明實施例還提供了一種電子設備1200，如圖12所示，為本發明實施例提供的電子設備結構示意圖，包括： 處理器1201、記憶體1202、和匯流排1203；記憶體1202配置為儲存執行指令，包括記憶體12021和外部記憶體12022；這裡的記憶體12021也稱內記憶體，配置為暫時存放處理器1201中的處理資料，以及與硬碟等外部記憶體12022交換的資料，處理器1201通過記憶體12021與外部記憶體12022進行資料交換，在電子設備1200運行的情況下，處理器1201與記憶體1202之間通過匯流排1203通信，使得處理器1201在執行以下指令：獲取與現實場景對應的多張現實場景圖像；基於多張現實場景圖像，生成用於表徵現實場景的三維場景模型；基於三維場景模型和與現實場景匹配的虛擬對象，生成虛擬對象在AR場景下的呈現特效資訊；基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
本發明實施例還提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行的情況下執行上述方法實施例中的AR場景圖像處理方法的步驟。
本發明實施例所提供的AR場景圖像處理方法的電腦程式產品，包括儲存了程式碼的電腦可讀儲存介質，所述程式碼包括的指令可用於執行上述方法實施例中的AR場景圖像處理方法的步驟，可參見上述方法實施例，在此不再贅述。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現的情況下可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用的情況下，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是：以上所述實施例，僅為本發明的實施方式，用以說明本發明的技術方案，而非對其限制，本發明的保護範圍並不局限於此，儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本發明實施例技術方案的精神和範圍，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應所述以申請專利範圍的保護範圍為準。
工業實用性 本發明實施例中，基於AR設備的拍攝位姿資料，以及提前設置好的虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，來確定虛擬對象在現實場景中的呈現特效資訊，這裡，由於三維場景模型可以表徵現實場景，基於該三維場景模型所構建好的虛擬對象的位姿資料能夠較好地融入現實場景，從該虛擬對象在三維場景模型中的位姿資料中，確定出與AR設備的位姿資料相匹配的呈現特效資訊，可以在AR設備中展示出逼真的擴增實境場景的效果。
900:AR場景圖像處理裝置 901:第一獲取模組 902:第二獲取模組 903:展示模組 904:生成模組 905:第一模型訓練模組 906:第二模型訓練模組 1000:AR場景圖像處理裝置 1001:獲取模組 1002:第一生成模組 1003:第二生成模組 1004:展示模組 1100:電子設備 1101:處理器 1102:記憶體 1103:匯流排 11021:內記憶體(記憶體) 11022:外部記憶體 1200:電子設備 1201:處理器 1202:記憶體 1203:匯流排 12021:內記憶體(記憶體) 12022:外部記憶體 S101~S103:步驟 S201~S202:步驟 S301~S302:步驟 S401~S403:步驟 S501:虛擬對象 S502:現實場景 S601~S604:步驟 S701~S704:步驟 S801~S802:步驟
為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。 圖1示出了本發明實施例所提供的一種AR場景圖像處理方法的流程圖； 圖2示出了本發明實施例所提供的一種確定拍攝位姿資料的方法流程圖； 圖3示出了本發明實施例所提供的另一種確定拍攝位姿資料的方法流程圖； 圖4示出了本發明實施例所提供的又一種確定拍攝位姿資料的方法流程圖； 圖5示出了本發明實施例所提供的一種擴增實境的效果圖； 圖6示出了本發明實施例所提供的另一種AR場景圖像處理方法的流程圖； 圖7示出了本發明實施例所提供的又一種AR場景圖像處理方法的流程圖； 圖8示出了本發明實施例所提供的一種三維場景模型的生成方法流程圖； 圖9示出了本發明實施例所提供的一種AR場景圖像處理裝置的結構示意圖； 圖10示出了本發明實施例所提供的另一種AR場景圖像處理裝置的結構示意圖； 圖11示出了本發明實施例所提供的一種電子設備的結構示意圖； 圖12示出了本發明實施例所提供的另一種電子設備的結構示意圖。
S101~S103:步驟

Claims (19)

  1. 一種AR場景圖像處理方法，包括： 獲取AR設備的拍攝位姿資料； 基於所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊； 基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像。
  2. 根據請求項1所述的方法，其中，所述基於獲取的所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊，包括： 基於獲取的所述拍攝位姿資料、所述虛擬對象在所述三維場景模型中的位姿資料、以及所述三維場景模型，獲取與所述拍攝位姿資料對應的虛擬對象的呈現特效資訊。
  3. 根據請求項1或2所述的方法，其中，所述三維場景模型是按照以下方式生成： 獲取與所述現實場景對應的多張現實場景圖像； 基於所述多張現實場景圖像，生成所述三維場景模型。
  4. 根據請求項3所述的方法，其中，所述基於所述多張現實場景圖像，生成所述三維場景模型，包括： 從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點； 基於提取的多個特徵點，以及預存的與所述現實場景匹配的三維樣本圖，生成所述三維場景模型；其中，所述三維樣本圖為預儲存的表徵所述現實場景形貌特徵的三維圖。
  5. 根據請求項1或2所述的方法，其中，所述獲取AR設備的拍攝位姿資料，包括： 獲取所述AR設備拍攝的現實場景圖像； 基於所述現實場景圖像和預先儲存的用於定位的第一神經網路模型，確定與所述現實場景圖像對應的拍攝位姿資料；所述拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊。
  6. 根據請求項5所述的方法，係根據以下步驟訓練所述第一神經網路模型： 基於預先拍攝所述現實場景得到的多張樣本圖片，和與每張樣本圖片對應的拍攝位姿資料，訓練所述第一神經網路模型。
  7. 根據請求項1或2所述的方法，其中，所述獲取AR設備的拍攝位姿資料，包括： 獲取所述AR設備拍攝的現實場景圖像； 基於所述現實場景圖像和對齊後的三維樣本圖，確定與所述現實場景圖像對應的拍攝位姿資料；所述拍攝位姿資料包括拍攝位置資訊和/或拍攝角度資訊；所述對齊後的三維樣本圖為基於預先拍攝所述現實場景得到的樣本圖庫與預存的三維樣本圖進行特徵點對齊後的三維樣本圖；所述預存的三維樣本圖為預儲存的表徵所述現實場景形貌特徵的三維圖。
  8. 根據請求項7所述的方法，其中，所述基於所述現實場景圖像和對齊後的三維樣本圖，確定與所述現實場景圖像對應的拍攝位姿資料，包括： 基於所述對齊後的三維樣本圖，確定與拍攝的所述現實場景圖像中的特徵點匹配的三維樣本圖中的特徵點； 基於所述匹配的三維樣本圖中的特徵點在所述對齊後的三維樣本圖中的座標資訊，確定所述樣本圖庫中與所述現實場景圖像匹配的目標樣本圖片；所述樣本圖庫包括預先拍攝所述現實場景得到的樣本圖片，以及每張樣本圖片對應的拍攝位姿資料； 將與所述目標樣本圖片對應的拍攝位姿資料，確定為所述現實場景圖像對應的拍攝位姿資料。
  9. 根據請求項1或2所述的方法，其中，所述獲取AR設備的拍攝位姿資料之後，所述方法還包括： 獲取所述AR設備拍攝的現實場景圖像； 基於所述現實場景圖像和預先儲存的用於確定現實場景圖像屬性資訊的第二神經網路模型，確定所述現實場景圖像對應的屬性資訊； 所述基於所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊，包括： 基於所述拍攝位姿資料、所述屬性資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊。
  10. 根據請求項9所述的方法，係根據以下步驟訓練所述第二神經網路模型： 基於預先拍攝所述現實場景得到的多張樣本圖片，和與每張樣本圖片對應的屬性資訊，訓練所述第二神經網路模型。
  11. 根據請求項1或2所述的方法，其中，所述獲取AR設備的拍攝位姿資料之後，所述方法還包括： 獲取所述AR設備拍攝的現實場景的預設標識； 基於所述預設標識，以及預存的預設標識與附加虛擬對象資訊的映射關係，確定所述現實場景對應的附加虛擬對象資訊； 所述基於所述拍攝位姿資料以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊，包括： 基於所述拍攝位姿資料、所述附加虛擬對象資訊以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，獲取與所述拍攝位姿資料對應的虛擬對象在所述現實場景中的呈現特效資訊。
  12. 根據請求項1或2所述的方法，其中，所述基於所述呈現特效資訊，通過所述AR設備展示AR場景圖像之後，所述方法還包括： 獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊。
  13. 根據請求項12所述的方法，其中，所述虛擬對象包括目標樂器，所述獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括： 獲取到針對所述AR設備中展示的虛擬對象的觸發操作，按照所述AR設備中展示的所述虛擬對象被觸發後對應的聲音播放效果進行更新。
  14. 根據請求項12所述的方法，其中，所述虛擬對象包括目標樂器，所述AR設備包括多個，所述獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括： 獲取到針對多個所述AR設備中展示的同一個虛擬對象的觸發操作，按照多個所述AR設備中展示的所述同一個虛擬對象被觸發後對應的混合聲音播放效果進行更新。
  15. 根據請求項12所述方法，其中，所述虛擬對象包括目標樂器，所述AR設備包括多個，所述獲取到針對所述AR設備中展示的所述虛擬對象的觸發操作，更新AR場景圖像中展示的呈現特效資訊，包括： 獲取到針對多個所述AR設備中至少一個AR設備展示的虛擬對象的觸發操作，按照多個所述AR設備中展示的所述至少一個虛擬對象被觸發後對應的混合聲音播放效果進行更新。
  16. 一種AR場景圖像處理方法，包括： 獲取與現實場景對應的多張現實場景圖像； 基於所述多張現實場景圖像，生成用於表徵所述現實場景的三維場景模型； 基於所述三維場景模型和與所述現實場景匹配的虛擬對象，生成所述虛擬對象在AR場景下的呈現特效資訊。
  17. 根據請求項16所述的方法，其中，所述基於所述多張現實場景圖像，生成用於表徵所述現實場景的三維場景模型，包括： 從獲取的多張現實場景圖像中的每張現實場景圖像中提取多個特徵點； 基於提取的多個特徵點，以及預存的與所述現實場景匹配的三維樣本圖，生成所述三維場景模型；其中，所述三維樣本圖為預儲存的表徵所述現實場景形貌特徵的三維圖。
  18. 一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，在電子設備運行的情況下，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行的情況下執行如請求項1至15任一項所述方法的步驟，或者，執行如請求項16或17所述的方法的步驟。
  19. 一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行的情況下執行如請求項1至15任一項所述方法的步驟，或者，執行如請求項16或17所述的方法的步驟。
TW109134292A 2019-10-15 2020-09-30 一種ar場景圖像處理方法、電子設備及儲存介質 TW202117673A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910979900.8 2019-10-15
CN201910979900.8A CN110738737A (zh) 2019-10-15 2019-10-15 一种ar场景图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
TW202117673A true TW202117673A (zh) 2021-05-01

Family

ID=69269003

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109134292A TW202117673A (zh) 2019-10-15 2020-09-30 一種ar場景圖像處理方法、電子設備及儲存介質

Country Status (5)

Country Link
KR (1) KR102417645B1 (zh)
CN (1) CN110738737A (zh)
SG (1) SG11202013117XA (zh)
TW (1) TW202117673A (zh)
WO (1) WO2021073292A1 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7150894B2 (ja) 2019-10-15 2022-10-11 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111462213B (zh) * 2020-03-16 2021-07-13 天目爱视（北京）科技有限公司 一种在运动过程中获取物体3d坐标及尺寸的设备及方法
CN111246118B (zh) * 2020-04-27 2020-08-21 成都派沃特科技股份有限公司 Ar元素的显示方法、装置、设备及存储介质
CN111583348B (zh) * 2020-05-09 2024-03-29 维沃移动通信有限公司 图像数据编码方法及装置、显示方法及装置、电子设备
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示系统及装置
CN111625100A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 图画内容的呈现方法、装置、计算机设备及存储介质
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
CN111638793B (zh) * 2020-06-04 2023-09-01 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111581547B (zh) * 2020-06-04 2023-12-15 浙江商汤科技开发有限公司 一种游览信息推送方法、装置、电子设备及存储介质
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111569414B (zh) * 2020-06-08 2024-03-29 浙江商汤科技开发有限公司 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质
CN111698646B (zh) * 2020-06-08 2022-10-18 浙江商汤科技开发有限公司 一种定位方法及装置
CN111651048B (zh) * 2020-06-08 2024-01-05 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质
CN111665943B (zh) * 2020-06-08 2023-09-19 浙江商汤科技开发有限公司 一种位姿信息展示方法及装置
CN111650953B (zh) * 2020-06-09 2024-04-16 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN111651054A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 音效控制方法、装置、电子设备及存储介质
CN111694430A (zh) * 2020-06-10 2020-09-22 浙江商汤科技开发有限公司 一种ar场景画面呈现方法、装置、电子设备和存储介质
CN111651052A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 虚拟沙盘的展示方法、装置、电子设备及存储介质
CN111857341B (zh) * 2020-06-10 2023-06-13 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111651056A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 一种沙盘演示方法、装置、计算机设备及存储介质
CN111652983A (zh) * 2020-06-10 2020-09-11 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及设备
CN111623782A (zh) * 2020-06-10 2020-09-04 浙江商汤科技开发有限公司 导航路线的展示方法、三维场景模型的生成方法及装置
CN111665947A (zh) * 2020-06-10 2020-09-15 浙江商汤科技开发有限公司 一种宝箱展示方法、装置、电子设备及存储介质
CN111651053A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 城市沙盘的展示方法、装置、电子设备及存储介质
CN111651051B (zh) * 2020-06-10 2023-08-22 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111679806A (zh) * 2020-06-10 2020-09-18 浙江商汤科技开发有限公司 播放控制方法、装置、电子设备及存储介质
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN111640201A (zh) * 2020-06-11 2020-09-08 浙江商汤科技开发有限公司 虚拟沙盘展示的控制方法、装置、电子设备及存储介质
CN111666550A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 一种互动合影的方法、装置、电子设备及存储介质
CN111696215A (zh) * 2020-06-12 2020-09-22 上海商汤智能科技有限公司 一种图像处理方法、装置及设备
CN111667590B (zh) * 2020-06-12 2024-03-22 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质
CN111833458B (zh) * 2020-06-30 2023-06-23 北京市商汤科技开发有限公司 图像显示方法及装置、设备、计算机可读存储介质
CN111815780A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 展示方法、显示装置、设备及计算机可读存储介质
CN111815781A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备和计算机存储介质
CN111833457A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN111815785A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 现实模型的呈现方法、装置、电子设备及存储介质
CN111860252A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 图像处理方法、设备及存储介质
CN112070901A (zh) * 2020-07-21 2020-12-11 马小淞 一种园林的ar场景构建方法、装置、存储介质及终端
CN112001947A (zh) * 2020-07-30 2020-11-27 海尔优家智能科技（北京）有限公司 拍摄位置的确定方法及装置、存储介质、电子装置
CN111882675A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111899349B (zh) * 2020-07-31 2023-08-04 北京市商汤科技开发有限公司 一种模型呈现方法、装置、电子设备及计算机存储介质
CN111970557A (zh) * 2020-09-01 2020-11-20 深圳市慧鲤科技有限公司 图像显示方法、装置、电子设备及存储介质
CN112053450A (zh) 2020-09-10 2020-12-08 脸萌有限公司 文字的显示方法、装置、电子设备及存储介质
CN112132940A (zh) * 2020-09-16 2020-12-25 北京市商汤科技开发有限公司 显示方法、装置，显示设备及存储介质
CN113313812A (zh) * 2020-09-16 2021-08-27 阿里巴巴集团控股有限公司 家具展示、交互方法、装置、电子设备和存储介质
CN112181141B (zh) * 2020-09-23 2023-06-23 北京市商汤科技开发有限公司 Ar定位的方法、装置、电子设备及存储介质
CN114584681A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 目标对象的运动展示方法、装置、电子设备及存储介质
CN112684894A (zh) * 2020-12-31 2021-04-20 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN112954437B (zh) * 2021-02-02 2022-10-28 深圳市慧鲤科技有限公司 一种视频资源处理方法、装置、计算机设备及存储介质
CN113015018B (zh) * 2021-02-26 2023-12-19 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
CN113220123A (zh) * 2021-05-10 2021-08-06 深圳市慧鲤科技有限公司 一种音效控制的方法、装置、电子设备及存储介质
CN113538703A (zh) * 2021-06-30 2021-10-22 北京市商汤科技开发有限公司 数据展示方法、装置、计算机设备及存储介质
CN113486205B (zh) * 2021-07-06 2023-07-25 北京林业大学 基于增强虚拟现实技术的植物科普信息系统
CN115937379A (zh) * 2021-08-16 2023-04-07 北京字跳网络技术有限公司 一种特效生成方法、装置、电子设备及存储介质
CN114332417B (zh) * 2021-12-13 2023-07-14 亮风台（上海）信息科技有限公司 一种多人场景交互的方法、设备、存储介质及程序产品
CN114489337A (zh) * 2022-01-24 2022-05-13 深圳市慧鲤科技有限公司 一种ar互动方法、装置、设备及存储介质
CN114625468B (zh) * 2022-03-21 2023-09-22 北京字跳网络技术有限公司 增强现实画面的展示方法、装置、计算机设备及存储介质
CN114900545A (zh) * 2022-05-10 2022-08-12 中国电信股份有限公司 增强现实实现方法和系统、云服务器
CN115223028B (zh) * 2022-06-02 2024-03-29 支付宝(杭州)信息技术有限公司 场景重建及模型训练方法、装置、设备、介质及程序产品
CN116860113B (zh) * 2023-08-16 2024-03-22 深圳职业技术大学 一种xr组合场景体验生成方法、系统及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240354A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Augmented reality apparatus and method
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
CN104899920B (zh) * 2015-05-25 2019-03-08 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
KR20170054638A (ko) * 2015-11-09 2017-05-18 현대오트론 주식회사 헤드업 디스플레이를 이용한 선행 차량 정보 표시 장치 및 방법
CN107682688B (zh) * 2015-12-30 2020-02-07 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
EP4060462A1 (en) * 2016-05-20 2022-09-21 Magic Leap, Inc. Contextual awareness of user interface menus
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN106774937B (zh) * 2017-01-13 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种增强现实技术中的图像交互方法及其装置
CN108629248A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN106980381A (zh) * 2017-03-31 2017-07-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
CN109685906A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的场景融合方法和装置
CN108022306B (zh) * 2017-12-30 2021-09-21 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
CN110163903B (zh) * 2019-05-27 2022-02-25 百度在线网络技术（北京）有限公司 三维图像的获取及图像定位方法、装置、设备和存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021073292A1 (zh) 2021-04-22
CN110738737A (zh) 2020-01-31
KR20210047278A (ko) 2021-04-29
SG11202013117XA (en) 2021-05-28
KR102417645B1 (ko) 2022-07-06

Similar Documents

Publication Publication Date Title
WO2021073292A1 (zh) 一种ar场景图像处理方法、装置、电子设备及存储介质
AU2023200357B2 (en) System and method for augmented and virtual reality
US20230252744A1 (en) Method of rendering using a display device
US8854356B2 (en) Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method
JP5602618B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
US11423625B2 (en) Augmented reality scene image processing method and apparatus, electronic device and storage medium
CN107689082B (zh) 一种数据投影方法以及装置
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
US20180239514A1 (en) Interactive 3d map with vibrant street view
US11302067B2 (en) Systems and method for realistic augmented reality (AR) lighting effects
KR101864717B1 (ko) 오브젝트 조립 형상에 따른 무(無)마커 맞춤공간표출형 증강현실 컨텐츠 형성장치 및 방법
CN113470190A (zh) 场景显示方法及装置、设备、车辆、计算机可读存储介质
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
CN110060611A (zh) 智能互动导游方法、装置及存储介质、服务器
JP2019512173A (ja) マルチメディア情報を表示する方法及び装置
Kyriazi A survey of Augmented Reality technology in the field of Cultural Heritage
Blanco Pons Analysis and development of augmented reality applications for the dissemination of cultural heritage