TWI783472B - Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質 - Google Patents

Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI783472B
TWI783472B TW110116126A TW110116126A TWI783472B TW I783472 B TWI783472 B TW I783472B TW 110116126 A TW110116126 A TW 110116126A TW 110116126 A TW110116126 A TW 110116126A TW I783472 B TWI783472 B TW I783472B
Authority
TW
Taiwan
Prior art keywords
virtual object
data
data package
scene
initial
Prior art date
Application number
TW110116126A
Other languages
English (en)
Other versions
TW202145150A (zh
Inventor
侯欣如
欒青
王鼎祿
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010456843.8A external-priority patent/CN111610998A/zh
Priority claimed from CN202010456842.3A external-priority patent/CN111610997A/zh
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202145150A publication Critical patent/TW202145150A/zh
Application granted granted Critical
Publication of TWI783472B publication Critical patent/TWI783472B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Abstract

本發明提供了一種AR場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質,其中,生成方法包括:回應於第一觸發操作,獲取所述第一觸發操作指示的目標現實場景關聯的初始AR資料包;獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料;所述更新資料包括所述至少一個虛擬對象對應的第一位姿資料;基於所述至少一個虛擬對象的更新資料,對所述初始AR資料包進行更新,生成更新後的AR資料包。

Description

AR場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
本發明關於擴增實境技術領域,具體而言,關於一種AR場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質。
擴增實境(Augmented Reality,AR)技術是一種將虛擬對象與真實世界巧妙融合的技術,將電腦生成的文字、圖像、三維模型、音樂、視頻等虛擬對象類比模擬後,應用到真實世界中,從而呈現擴增實境場景。
將呈現擴增實境場景之前,可以提前確定出在擴增實境場景中展示的AR內容,比如可以包含虛擬對象,以及虛擬對象的展示資訊,但是若當前現實場景的內部環境發生變化,前期製作的虛擬對象與當前現實場景不再匹配,這樣在現實場景中疊加虛擬對象時,擴增實境場景的展示效果較差。
本發明實施例至少提供一種AR場景內容的生成方案。
第一方面,本發明實施例提供了一種擴增實境AR場景內容的生成方法,包括: 回應於第一觸發操作,獲取所述第一觸發操作指示的目標現實場景關聯的初始AR資料包; 獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料;所述更新資料包括所述至少一個虛擬對象對應的第一位姿資料; 基於所述至少一個虛擬對象的更新資料,對所述初始AR資料包進行更新,生成更新後的AR資料包。
本發明實施例中,檢測到第一觸發操作時,可以獲取與目標現實場景關聯的初始AR資料包,進一步可以獲取與初始AR資料包括關聯至少一個虛擬對象的更新資料,比如可以包含至少一個虛擬對象對應的第一位姿資料,然後基於更新資料對初始AR資料包更新,得到與目標現實場景更加匹配的虛擬對象,提高擴增實境場景的逼真效果。
第二方面,本發明實施例提供了一種擴增實境AR場景內容的展示方法,包括: 回應於第二觸發操作,獲取與所述第二觸發操作指示的目標現實場景關聯的AR資料包;所述AR資料包中包含至少一個虛擬對象對應的第一位姿資料; 基於AR設備當前拍攝所述目標現實場景的第二位姿資料,以及所述AR資料包中至少一個虛擬對象對應的所述第一位姿資料,確定所述至少一個虛擬對象的呈現特效資訊; 基於所述呈現特效資訊,通過所述AR設備展示所述至少一個虛擬對象。
本發明實施例中,可以回應第二觸發操作,獲取到與該第二觸發操作關聯的AR資料包,進一步可以基於AR設備對應的第二位姿資料,以及提前設置好AR資料包中的虛擬對象在目標現實場景的第一位姿資料,確定虛擬對象在該目標現實場景中的呈現特效資訊,最終在AR設備中展示出逼真的擴增實境場景效果。
第三方面,本發明實施例提供了一種擴增實境AR場景內容的生成裝置,包括: 第一獲取模組,用於回應於第一觸發操作,獲取所述第一觸發操作指示的目標現實場景關聯的初始AR資料包; 第二獲取模組,用於獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料;所述更新資料包括所述至少一個虛擬對象對應的第一位姿資料; 更新模組,用於基於所述至少一個虛擬對象的更新資料,對所述初始AR資料包進行更新,生成更新後的AR資料包。
第四方面,本發明實施例提供了一種擴增實境AR場景內容的展示裝置,包括: 獲取模組,用於回應於第二觸發操作,獲取與所述第二觸發操作指示的目標現實場景關聯的AR資料包;所述AR資料包中包含至少一個虛擬對象對應的第一位姿資料; 確定模組,用於基於AR設備當前拍攝所述目標現實場景的第二位姿資料,以及所述AR資料包中至少一個虛擬對象對應的所述第一位姿資料,確定所述至少一個虛擬對象的呈現特效資訊; 展示模組,用於基於所述呈現特效資訊,通過所述AR設備展示所述至少一個虛擬對象。
第五方面,本發明實施例提供了一種電子設備,包括:處理器、記憶體和匯流排,所述記憶體儲存有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述記憶體之間通過匯流排通信,所述機器可讀指令被所述處理器執行時執行如第一方面所述的生成方法的步驟,或者執行如第二方面所述的展示方法的步驟。
第六方面,本發明實施例提供了一種電腦可讀儲存介質,該電腦可讀儲存介質上儲存有電腦程式,該電腦程式被處理器運行時執行如第一方面所述的生成方法的步驟,或者執行如第二方面所述的展示方法的步驟。
為使本發明實施例的目的、技術方案和優點更加清楚,下面將結合本發明實施例中附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的元件可以以各種不同的配置來佈置和設計。因此,以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍,而是僅僅表示本發明的選定實施例。基於本發明的實施例,本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例,都屬於本發明保護的範圍。
應注意到:相似的標號和字母在下面的附圖中表示類似項,因此,一旦某一項在一個附圖中被定義,則在隨後的附圖中不需要對其進行進一步定義和解釋。
本文中術語“和/或”,僅僅是描述一種關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
擴增實境(Augmented Reality,AR)技術可以應用於AR設備中,AR設備可以為任何能夠支援AR功能的電子設備,包括但不限於AR眼鏡、平板電腦、智慧手機等。當AR設備在現實場景中被操作時,通過該AR設備可以觀看到疊加在現實場景中的虛擬對象,比如路過一些建築物或者旅遊景點時,通過AR設備可以看到疊加在建築物或者旅遊景點附近的虛擬圖文介紹,這裡的虛擬圖文可以稱為虛擬對象,建築物或者旅遊景點可以為真實場景,這種場景下,通過AR眼鏡看到的虛擬圖文介紹,會隨著AR眼鏡的朝向角度變化而變化,這裡虛擬圖文介紹與AR眼鏡位置關係相關,然而在另一些場景中,我們希望看到更加真實的虛實結合的擴增實境場景,比如想要看到放置在真實桌子上的虛擬花盆,看到比如可以看到疊加在真實的校園操場上的虛擬大樹等,這種方式下,需要考慮如何使得虛擬花盆和虛擬大樹能夠更好地與現實場景相融合,實現擴增實境場景中對虛擬對象的呈現效果,該呈現效果如何實現,為本發明實施例所要討論的內容,下面將結合以下具體實施例進行闡述。
為便於對本實施例進行理解,首先對本發明實施例所公開的一種AR場景內容的生成方法進行詳細介紹,本發明實施例所提供的AR場景內容的生成方法的執行主體可以為上述AR設備,比如可以包括AR眼鏡、平板電腦、智慧手機、智慧穿戴式設備等具有顯示功能和資料處理能力的設備,本發明實施例中不作限定,在一些可能的實現方式中,該AR場景內容的生成方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
參見圖1所示,為本發明實施例提供的AR場景內容的生成方法的流程圖,該生成方法包括以下S101~S103。
S101,回應於第一觸發操作,獲取第一觸發操作指示的目標現實場景關聯的初始AR資料包。
示例性地,第一觸發操作可以是對目標現實場景關聯的任一初始AR資料包對應的編輯選項的觸發操作,觸發操作例如為選中編輯選項的操作,或者,直接通過語音或者手勢等方式進行觸發等,本發明對此並不限定。
如圖2a所示,為 “XXX大廈-15層”以及其它現實場景分別關聯的AR資料包的示意圖,若檢測到“XXX大廈-15層”對應的任一AR資料包的編輯選項被觸發,比如“〈示例〉科幻”類的初始AR資料包的編輯選項被觸發,進而可以向伺服器請求獲取目標現實場景“XXX大廈-15層”關聯的“〈示例〉科幻”類的初始AR數據包。
其中,與目標現實場景關聯的初始AR資料包的個數可以為至少一個,不同初始AR資料包可對應不同的AR場景的類別。示例性地,每個初始AR資料包可以包含有標籤資訊,該標籤資訊用於表徵該初始AR資料包的類別,比如可以包括“科幻類別”、“卡通類別”和“歷史類別”中的一種或多種,每種類別用於表示AR場景中待展示的虛擬對象的風格;其中,每個初始AR資料包中可以包含預先設置好的虛擬對象,也可以不包含虛擬對象。
示例性地,目標現實場景可以是建築物的室內場景、或者是街道場景,還可以是任一能夠疊加虛擬對象的目標現實場景。
S102,獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象對應的第一位姿資料。
其中,初始AR資料包關聯的至少一個虛擬對象可以包括初始AR資料包中本地包含的虛擬對象,還可以包括通過網路下載的虛擬對象,還可以包括從預先建立的素材庫中獲取的虛擬對象,其中,素材庫既可以設置在本地,也可以設置在雲端,本發明對此並不限定。
示例性地,虛擬對象可以為上述提到的虛擬花盆、虛擬大樹等靜態的虛擬模型、或者可以為一些虛擬視頻和虛擬動畫等動態的虛擬對象,虛擬對象的第一位姿資料包括但不限於能夠表示虛擬對象呈現時的位置和/或姿態的資料,比如可以包括虛擬對象在目標現實場景對應的座標系下的位置座標、偏轉角度以及尺寸資訊。
S103,基於至少一個虛擬對象的更新資料,對初始AR資料包進行更新,生成更新後的AR資料包。
在一些實施例中,基於獲取到的更新資料,可以對初始AR資料包中的有關虛擬對象的內容進行更新,得到更新後的AR資料包,其中,更新方式可以是直接將更新資料添加在初始AR資料包中,或者,是替換初始AR資料包中原有的部分資料,得到更新後的AR資料包,該更新後的AR資料包中包含上述提到的初始AR資料包關聯的虛擬對象,以及至少一個虛擬對象的更新資料。
得到的更新後的AR資料包可以用於在AR設備拍攝目標現實場景時,按照更新後的AR資料包展示融入目標現實場景的虛擬對象。
本發明實施例中,檢測到第一觸發操作時,可以獲取與目標現實場景關聯的初始AR資料包,進一步可以獲取與初始AR資料包括關聯至少一個虛擬對象的更新資料,比如可以包含至少一個虛擬對象對應的第一位姿資料,然後基於更新資料對初始AR資料包更新,得到與目標現實場景更加匹配的虛擬對象,提高擴增實境場景的逼真效果。
下面將結合具體實施例對上述S101~S103進行具體闡述。
在一種實施方式中,本發明實施例提供的生成方法可以應用於AR生成端,該生成方法還包括: 獲取第一觸發操作指示的目標現實場景的三維場景模型。
示例性地,AR生成端可以為電腦、筆記本、平板等設備,這些設備中可以安裝用於生成及編輯AR場景內容的應用程式或者可以訪問用於生成及編輯AR場景內容的WEB頁面,使用者可以在應用程式或WEB頁面中遠端編輯AR場景內容,比如,可以通過表示目標現實場景的三維場景模型來類比目標現實場景,直接在三維場景模型中配置待展示的虛擬對象的相關資料,無需前往目標現實場景中進行配置,便可以實現生成AR場景內容。
在一些實施例中,AR生成端的顯示介面中可以展示多個現實場景對應的編輯選項,在檢測到其中任一編輯選項被觸發後,可將被觸發的編輯選項對應的現實場景作為目標現實場景,目標現實場景的編輯選項被觸發,進而可獲取該目標現實場景的三維場景模型,以便後續在該目標現實場景模型的三維場景模型中添加待展示的虛擬對象。或者,AR生成端的顯示介面中可以展示地圖,該地圖中設置有多個興趣點(Point Of Interest,POI),每個POI點可對應一個現實場景,當用戶點擊任一現實場景的POI時,AR生成端同樣可以檢測到針對該目標現實場景的編輯選項被觸發,進而獲取表示目標現實場景的三維場景模型,以及與目標現實場景關聯的初始擴增實境AR資料包,以便後續在該目標現實場景模型的三維場景模型中添加待展示的虛擬對象。
示例性地,表示目標現實場景的三維場景模型與該目標現實場景在相同座標系下是等比例呈現的,比如目標現實場景中包括街道以及街道兩側的樓棟,則表示該目標現實場景的三維場景模型同樣包括該條街道的模型以及該條街道兩側的樓棟,且三維場景模型與目標現實場景在相同座標系中例如可以是按照1:1呈現的,或者也可以是等比例呈現的。
如圖2b所示,展示有AR場景內容的編輯頁面,在檢測到編輯介面中“更新體驗包清單”選項被觸發,可以獲取到多種現實場景,比如可以包括“XXX大廈-15層”,在檢測到編輯介面中“下載場景”被觸發,可視為檢測到針對目標現實場景的第一觸發操作,進而可以獲取表示該目標現實場景的三維場景模型,以及與該目標現實場景關聯的初始AR資料包,比如標籤資訊為“耶誕節”和“元旦節”的兩個初始AR體驗包。
可以看到上述目標現實場景關聯的初始AR體驗包(初始AR資料包)“耶誕節”的類別標籤中進一步包含“科幻”和“自然”的標籤,說明創建的虛擬對象可以是屬於科幻類別的虛擬對象,以及屬於自然類別的虛擬對象,當然在後期編輯的時候,可以基於上傳的虛擬對象的類別對AR資料包的類別進行更改。
進一步地,針對上述S102,在獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: S1021,展示載入的三維場景模型; S1022,獲取至少一個虛擬對象在置於三維場景模型中的情況下的更新資料,更新資料包括至少一個虛擬對象在置於三維場景模型中的第一位姿資料。
示例性地,虛擬對象在置於三維場景模型中的第一位姿資料中包含該虛擬對象位於該三維場景模型的座標系中的位置座標,偏轉角度以及尺寸資訊,其中,偏轉角度可以通過虛擬對象的指定正方向與三維場景模型座標系的座標軸之間的夾角表示。
示例性地,三維場景模型與目標現實場景在相同座標系中可以按照1:1呈現,在不同座標系中等比例呈現,故這裡獲取到虛擬對象在三維場景模型中呈現時的第一位姿資料,在後期AR設備中呈現時,能夠表示出虛擬對象在目標現實場景中的呈現特效資訊。
其中,通過檢測用戶在AR生成端展示的編輯頁面中輸入的編輯操作,可以得到該編輯操作所編輯的內容,並將該編輯操作所編輯的內容作為更新資料。比如在編輯頁面中可以展示出三維場景模型的示意圖以及關於虛擬對象的位姿資料編輯欄,使用者可以在虛擬對象的位姿資料編輯欄中對虛擬對象在三維場景模型中的第一位姿資料進行編輯,在編輯完成後,AR生成端可以獲取到虛擬對象在三維場景模型中的第一位姿資料。
進一步地,可以基於虛擬對象在三維場景模型中的第一位姿資料,確定虛擬對象在目標現實場景中被展示時的第一位姿資料,按照該第一位姿資料在目標現實場景中進行展示時,可以使得虛擬對象能夠與目標現實場景更好的融合,這樣可以在AR設備中展示出逼真的擴增實境場景的效果。
本發明實施例中,可以向使用者提供與該目標現實場景關聯的三維場景模型和初始AR資料包,便於使用者按照自身需求直觀地通過三維場景模型對初始AR資料包關聯的至少一個虛擬對象進行編輯更新,通過該方式得到更新後的AR資料包,當擴增實境體驗者在目標現實場景中進行擴增實境體驗時,可以直接調用更新後的AR資料包進行擴增實境體驗,通過本發明給出的遠端編輯AR資料包的方式,能夠簡化AR資料包的生成方式,為後續擴增實境場景的展示提供了便利的AR素材。
此外,因為可以提供用於編輯虛擬對象的第一位姿資料的三維場景模型,便於使用者能夠直觀地編輯虛擬對象在三維場景中的第一位姿資料,從而能夠基於使用者需求個性化地進行虛擬對象的第一位姿資料的設置。
在另一種實施方式中,本發明實施例提供的生成方法還可以在AR場景進行體驗的過程中生成,比如應用於進行AR場景展示的AR設備,該方法還包括: 基於AR設備當前拍攝目標現實場景時的第二位姿資料,以及初始AR資料包,展示與初始AR資料包關聯的至少一個虛擬對象。
示例性地,AR設備中可以安裝用於展示及編輯AR場景內容的應用程式,使用者可以在AR設備中打開該應用程式在擴增實境場景中編輯AR場景內容,打開該應用程式後,AR設備的顯示介面中可以展示出至少一個現實場景對應的編輯選項,每個現實場景關聯有多個初始AR資料包,每個初始AR資料包具有對應的編輯選項,可以針對這些初始AR資料包進行線上編輯。
在一些實施例中,AR設備的顯示介面中可以展示多個現實場景分別對應的初始AR資料包,在檢測到其中任一初始AR資料包的編輯選項被觸發後,可將被觸發的編輯選項對應的初始AR資料包作為上述目標現實場景關聯的AR資料包。
在展示虛擬對象之前可以先獲取AR設備當前拍攝目標現實場景時的第二位姿資料,然後基於AR設備當前拍攝目標現實場景時的第二位姿資料,來確定應該在該AR設備中展示的虛擬對象,可見本發明實施例提供的是一種在體驗擴增實境場景的過程中,對AR場景內容進行編輯的方案。
示例性地,AR設備當前拍攝目標現實場景時的第二位姿資料可以包括用於顯示虛擬對象的顯示部件所在的位置和/或顯示角度,為了方便解釋AR設備對應的第二位姿資料,這裡引入座標系的概念,比如以目標現實場景所在的世界座標系為例,示例性地,AR設備對應第二位姿資料可以包括但不限於以下至少一種:AR設備的顯示部件在該世界座標系中的座標位置;AR設備的顯示部件與世界座標系中各個座標軸的夾角;包括AR設備的顯示部件在世界座標系中的座標位置以及與世界座標中各個座標軸的夾角。
其中,AR設備的顯示部件具體指該AR設備中用於顯示虛擬對象的部件,示例性地,AR設備為手機或者平板時,對應的顯示部件可以為顯示幕,當AR設備為AR眼鏡時,對應的顯示部件可以為用於顯示虛擬對象的鏡片。
AR設備對應的第二位姿資料可以通過多種方式獲取,比如當AR設備配置有位姿感測器時,可以通過AR設備上的位姿感測器來確定AR設備的第二位姿資料;當AR設備配置有圖像採集部件,比如攝影頭時,可以通過攝影頭採集的目標現實場景圖像來確定該第二位姿資料。
示例性地,位姿感測器可以包括用來確定AR設備的拍攝角度的角速度感測器,比如陀螺儀、慣性測量單元(Inertial measurement unit,IMU)等;可以包括用來確定AR設備拍攝位置的定位部件,比如可以是基於全球定位系統(Global Positioning System, GPS)、全球導航衛星系統( Global Navigation Satellite System, GLONASS),無線保真(Wireless Fidelity, WiFi)定位技術的定位部件;也可以同時包括用來確定AR設備的拍攝角度的角速度感測器和拍攝位置的定位部件。
具體地,在通過AR設備拍攝的目標現實場景圖像確定該AR設備對應的第二位姿資料時,可以通過該目標現實場景圖像和預先儲存的用於定位的第一神經網路,來確定該AR設備對應的第二位姿資料。
示例性地,第一神經網路可以基於預先拍攝目標現實場景得到的多張樣本圖片,和拍攝每張樣本圖片時對應的第二位姿資料,訓練得到。
針對AR設備拍攝的目標現實場景圖像來確定AR設備對應的第二位姿資料時,如圖3所示,在AR設備展示用於提示使用者已進入編輯狀態,開始定位的資訊,比如展示用於提示使用者拍攝用於定位的目標現實場景圖像的資訊。
當獲取到AR設備當前拍攝目標現實場景時的第二位姿資料時,可以基於該AR設備對應的第二位姿資料、以及與初始AR資料包關聯的至少一個虛擬對象在該目標現實場景下的初始第一位姿資料,對該至少一個虛擬對象進行展示,在對該虛擬對象進行展示的同時,還可以展示該至少一個虛擬對象的位姿資料展示介面,如圖4所示,為虛擬對象唐三彩馬的展示示意圖,以及針對該展示區域內的虛擬對象的位姿資料展示介面,該位姿資料展示介面上展示有虛擬對象唐三彩馬在目標現實場景下的初始第一位姿資料,主要是包括該唐三彩馬在目標現實場景下的座標資訊。
示例性地,圖4左側示出的位姿資料展示介面中包含“我的地圖座標”,能夠表示AR設備的顯示部件在目標現實場景所在的座標系中的座標資訊;模型清單中包含多個虛擬對象在該目標現實場景中的座標資訊,比如包括虛擬對象“唐三彩馬”和“石獅子”分別在目標現實場景中的座標資訊,進一步地,還可以添加其它虛擬對象,以及其它虛擬對象在該目標現實場景中的座標資訊。
進一步地,針對上述S102,在獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 獲取對展示的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象在目標現實場景中的第一位姿資料。
其中,通過檢測使用者在AR設備展示的位姿資料編輯頁面中輸入的編輯操作,可以得到該編輯操作所編輯的內容,並將該編輯操作所編輯的內容作為更新資料,比如在位姿資料編輯頁面中可以在AR設備上展示出關於虛擬對象的位姿資料編輯欄,如圖5所示,使用者可以在虛擬對象的位姿資料編輯欄中對虛擬對象在目標現實場景中的第一位姿資料進行編輯,示例性地,針對虛擬對象的位姿資料的編輯是在目標現實場景所在的世界座標系中完成的,因此在編輯完成後,AR設備可以獲取到虛擬對象在目標現實場景中的第一位姿資料。
示例性地,圖5中的左側展示出當前展示的虛擬對象“唐三彩馬”在目標現實場景中的座標資訊,以及該虛擬對象在目標現實場景中的交互資料,針對交互資料將在後文進行解釋。圖5中的右側展示出針對當前展示出的虛擬對象在目標現實場景中的第一位姿資料進行編輯的介面,在該介面中,可以對虛擬對象在目標現實場景所在座標系中的座標資訊進行編輯,以及可以對該虛擬對象的尺寸比例進行編輯,以及可以對該虛擬對象分別與座標系中的三個座標軸的夾角進行編輯。
本發明實施例中,並在獲取到AR設備對應的第二姿資料後,可以基於該AR設備對應的第二位姿資料,展示出與初始AR資料包關聯的至少一個虛擬對象,便於使用者在AR設備中能夠按照需求直觀地對虛擬對象在目標現實場景中的第一位姿資料進行編輯調整,從而可以簡化AR場景內容的生成過程,因為該過程可以在擴增實境場景的體驗過程中對AR資料包進行的直觀調整,因而能夠使得調整後的AR資料包的準確度更高。
在一種實施方式中,針對上述提到的獲取對展示的至少一個虛擬對象的更新資料,包括: 展示位姿資料編輯介面,並獲取通過位姿資料編輯介面接收的至少一個虛擬對象的第一位姿資料; 其中,第一位姿資料中包括以下至少一種:在目標現實場景所處座標系中的位置座標、偏轉角度以及尺寸資訊。
示例性地,可以通過AR設備展示的位姿資料編輯頁面,獲取對展示的至少一個虛擬對象在目標現實場景中的位置座標、偏轉角度以及尺寸資訊的編輯操作,從而得到該至少一個虛擬對象在目標現實場景中的第一位姿資料。
示例性地,參見圖5所示,為針對虛擬對象“唐三彩馬”的位姿資料編輯介面,具體地,該位姿資料編輯介面可以包括針對“唐三彩馬”在目標現實場景中的位置座標的編輯,可以包括針對“唐三彩馬”在目標現實場景中的尺寸資訊的編輯,以及可以包括針對“唐三彩馬”在目標現實場景所在的世界座標系中沿座標軸的偏轉角度的編輯。
本發明實施例中,在擴增實境場景中,可以提供用於編輯虛擬對象的第一位姿資料的展示位姿資料編輯介面,便於使用者能夠直觀地調整虛擬對象在目標現實場景中的第一位姿資料,從而能夠基於使用者需求個性化地進行虛擬對象的第一位姿資料的設置。
在另一種實施方式中,上述提到的更新資料除了包括至少一個虛擬對象在目標現實場景中的第一位姿資料以外,還可以包括至少一個虛擬對象在目標現實場景中的交互資料,或者,至少一個虛擬對象在表徵目標現實場景的三維場景模型中的交互資料,本發明實施例提供的更新資料還包括至少一個虛擬對象對應的交互資料,針對上述S102,在獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 展示交互資料編輯介面,並獲取通過所述交互資料編輯介面分別接收的每個虛擬對象的交互資料; 其中,所述交互資料中包括以下至少一種:至少一種狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後的循環展示次數。
示例性地,可以在AR設備展示的交互資料編輯介面,或者AR生成端展示的交互資料編輯介面,獲取針對至少一個虛擬對象的交互資料的編輯操作,即可以在目標現實場景中針對交互資料進行現場編輯,也可以在表徵目標現實場景的三維場景模型中針對交互資料進行遠端編輯,從而得到針對至少一個虛擬對象的至少一種狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後的循環展示次數中的至少一種。
示例性地,基於獲取到的針對任一虛擬對象的交互資料,後續可以基於虛擬對象的狀態觸發條件,觸發該虛擬對象按照與該狀態觸發條件對應的呈現狀態進行呈現,和/或,按照在被該狀態觸發條件觸發展示後的循環展示次數進行展示。
如圖6所示,在觸發圖6中(a)所示的創建觸發條件按鈕後,展示出如圖6中(b)所示的交互資料編輯介面,具體是指標對虛擬動畫的交互資料進行編輯的介面,該交互資料編輯介面中可以包含針對至少一個虛擬對象的狀態觸發條件、與該狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後的循環展示次數的編輯區域。
示例性地,可以通過狀態觸發條件對應的編輯區域獲取針對虛擬對象的狀態觸發條件的編輯操作,從而得到該虛擬對象對應的狀態觸發條件,後續AR設備可以在獲取到該狀態觸發條件後觸發該虛擬對象在目標現實場景中進行展示。
示例性地,可以通過呈現狀態的編輯區域對虛擬對象被觸發後是否進行顯示進行編輯,如圖6中(b)所示,在“模型顯示”對應的按鈕處於被選中狀態時,表示當前虛擬動畫對應的觸發條件1被觸發後,當前虛擬動畫被顯示,若“模型顯示”對應的按鈕處於未被選中狀態時,表示當前虛擬動畫對應的觸發條件1被觸發後,當前虛擬動畫不被顯示。
示例性地,可以通過循環次數對應的編輯區域獲取針對虛擬對象在展示後的循環展示次數的編輯操作,比如獲取的展示次數為n次,則可以表示當前虛擬動畫在觸發條件1被觸發後,循環展示n次。
特別地,在交互資料中包括多種狀態觸發條件的情況下,交互資料還包括:每種狀態觸發條件的優先順序。
示例性地,在AR設備展示的交互資料編輯介面對交互資料進行編輯的情況下,可以在如圖5所示的頁面中進行展示,比如,可以在圖5的左側,展示出當前展示的虛擬對象“唐三彩馬”在目標現實場景所在座標系下的座標資訊,以及該虛擬對象“唐三彩馬”對應的交互資料(圖5中未示出),包括觸發條件、顯示狀態、是否循環展示、優先順序等。
示例性地,交互資料包含多種狀態觸發條件具體是指初始AR資料包關聯的虛擬對象包含多個,每個虛擬對象對應一個狀態觸發條件的情況,可以對每個虛擬對象對應的狀態觸發條件設置優先順序,當後續AR設備同時獲取到多個狀態觸發條件時,將觸發優先順序最高的狀態觸發條件對應的虛擬對象,按照該虛擬對象對應的狀態觸發條件對應的呈現狀態,和/或,按照該虛擬對象在被觸發展示後的循環展示次數進行展示。
這裡提到的狀態觸發條件可以包含但不局限於以下至少一種: 點擊模型觸發條件、滑動模型觸發條件、距離識別觸發條件、指定區域觸發條件、手勢識別觸發條件、朝向當前模型觸發條件以及朝向指定模型觸發條件。
下面將對結合針對虛擬對象A來說明這些狀態觸發條件的含義: 其中,(1)點擊模型觸發條件是指通過點擊AR設備中展示的虛擬對象A的三維模型後觸發在AR設備中展示該虛擬對象A的狀態觸發條件,示例性地,AR設備可以展示待進行展示的虛擬對象的三維模型,在檢測到針對該三維模型的點擊操作後,展示該三維模型對應的虛擬對象; (2)滑動模型觸發條件是指通過在AR設備中按照設定方式滑動虛擬對象A的三維模型觸發的針對該虛擬對象A的狀態觸發條件,示例性地,可以設置在AR設備中針對虛擬對象A的三維模型進行右滑操作觸發虛擬對象A進行展示,在AR設備中針對虛擬對象A的三維模型進行左滑操作觸發虛擬對象A進行消失; (3)距離觸發條件是指在AR設備所在的位置座標與設定位置點之間的距離滿足設定距離的情況下,觸發的針對該虛擬對象A的狀態觸發條件; (4)指定區域觸發條件是指AR設備進入指定區域後,觸發的針對虛擬對象A的狀態觸發條件; (5)手勢識別觸發條件是指通過設定的手勢動作,觸發的針對虛擬對象A的狀態觸發條件; (6)朝向當前模型觸發條件是指當AR設備的拍攝角度朝向虛擬對象A所在的位置時,觸發的針對該虛擬對象A的狀態觸發條件; (7)朝向指定模型觸發條件是指AR設備朝向特定的虛擬對象所在的位置時,觸發的針對虛擬對象A的狀態觸發條件。
當AR資料包中包含多個虛擬對象時,且每個虛擬對象對應一種狀態觸發條件時,可以針對這些狀態觸發條件形成觸發邏輯鏈,比如AR資料包中包含3個虛擬對象,若將第1個虛擬對象、第2個虛擬對象和第3個虛擬對象各自對應的狀態觸發條件分別記錄為狀態觸發條件1、狀態觸發條件2和狀態觸發條件3,當狀態觸發條件1、狀態觸發條件2和狀態觸發條件3形成觸發邏輯鏈後,比如形成的觸發邏輯鏈的順序為狀態觸發條件1、狀態觸發條件2和狀態觸發條件3,則當使用者依次觸發了狀態觸發條件1、狀態觸發條件2和狀態觸發條件3,則可以依次展示虛擬對象1、虛擬對象2和虛擬對象3。
本發明實施例中,可以提供針對虛擬對象的交互資料進行編輯的交互資料編輯介面,以支援編輯虛擬對象的觸發方式以及展示形式。
在一種實施方式中,本發明實施例提供的生成方法還包括: 獲取與初始AR資料包關聯的至少一個虛擬物體模型對應的第三位姿資料,至少一個虛擬物體模型表示目標現實場景中的目標物體; 基於至少一個虛擬對象的更新資料,對初始AR資料包進行更新,生成更新後的AR資料包,包括: 基於至少一個虛擬對象的更新資料,以及虛擬物體模型對應的第三位姿資料,對初始AR資料包進行更新,生成更新後的AR資料包。
示例性地,虛擬物體模型對應的第三位姿資料,可以包括但不限於能夠表示虛擬物體模型在目標現實場景中呈現時的位置和/或姿態的資料,或者可以包括但不限於能夠表示虛擬物體模型在三維場景模型中的位置和/或姿態的資料,比如可以包括虛擬物體模型在目標現實場景或者三維場景模型所處座標系中的位置座標、偏轉角度以及尺寸資訊。
具體地,虛擬物體模型在目標現實場景中或者三維場景模型中的第三位姿資料,能夠表示該虛擬物體模型對應的目標真實物體在目標現實場景中的第三位姿資料,此外,還可以編輯虛擬物體模型在AR設備中被展示時的展示形態,比如將虛擬物體模型在AR設備中的展示形態編輯為遮擋形態,並在AR設備中呈現時進行透明處理,該虛擬物體模型可以用於對需要被遮擋的虛擬對象進行遮擋,比如在對虛擬對象進行展示時,對虛擬對象需要被遮擋的部分區域不進行渲染,可以通過虛擬物體模型對被遮擋的部分區域進行透明處理,從而可以達到遮擋效果。
本發明實施例中,可以編輯用於呈現遮擋效果的虛擬物體模型,通過編輯虛擬物體模型對應的第三位姿資料,可以實現還原虛擬物體模型在目標現實場景中的真實第三位姿資料,便於後續在AR設備展示虛擬對象時,提供更加逼真的展示效果。
在一種實施方式中,至少一個虛擬對象包含至少一個第一虛擬對象,針對上述S102,在獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 獲取初始AR資料包中包含的至少一個第一虛擬對象的更新資料。
當初始AR資料包中包含虛擬對象時,這裡獲取初始AR資料包關聯的至少一個虛擬對象的更新資料,可以是獲取初始AR資料包中包含的至少一個第一虛擬對象的更新資料。
在另一種實施方式中,至少一個虛擬對象包括至少一個第二虛擬對象,針對上述S102,在獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 從預先建立的素材庫中獲取與初始AR資料包關聯的至少一個第二虛擬對象,並獲取至少一個第二虛擬對象的更新資料。
當初始AR資料包中包含虛擬對象或者不包含虛擬對象時,獲取初始AR資料包關聯的至少一個虛擬對象的更新資料,可以從預先建立的素材庫中獲取與初始AR資料包關聯的至少一個第二虛擬對象,並獲取至少一個第二虛擬對象的更新資料。
在另一種實施方式中,在獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,可以同時獲取初始AR資料包中包含的至少一個第一虛擬對象的更新資料,以及從預先建立的素材庫中獲取與該初始AR資料包關聯的至少一個第二虛擬對象的更新資料。
示例性地,預先建立的素材庫中可以包含多種虛擬靜態模型、動畫和視頻等虛擬對象,使用者可以在預先建立的素材庫中選擇要上傳至該初始AR資料包中的虛擬對象。
示例性地,第二虛擬對象可以和第一虛擬對象相同,也可以不相同,可以通過第一虛擬對象和/或第二虛擬對象的更新資料對初始AR資料包進行更新。
本發明實施例中,可以通過多種方式獲取初始AR資料包關聯的虛擬對象以及該虛擬對象的更新資料,可以靈活獲取虛擬對象的更新資料。
對應的,在展示與初始AR資料包關聯的至少一個虛擬對象時,可以包括: 展示初始AR資料包中的至少一個第一虛擬對象,和/或,展示從預先建立的素材庫中獲取的與初始AR資料包關聯的至少一個第二虛擬對象。
上文提到初始AR資料包中可能包含虛擬對象,也可能不包含虛擬對象,當初始AR資料包中包含虛擬對象時,展示的初始AR資料包關聯的至少一個虛擬對象,可以是展示初始AR資料包中包含的至少一個第一虛擬對象,也可以從預先建立的素材庫中獲取與該初始AR資料包關聯的至少一個第二虛擬對象後進行展示,或者,可以同時展示初始AR資料包中包含的至少一個第一虛擬對象,以及從預先建立的素材庫中獲取的與該初始AR資料包關聯的至少一個第二虛擬對象。
進一步地,在生成更新後的AR資料包之後,本發明實施例提供的生成方法還包括: 將更新後的AR資料包發送至伺服器;或者,將更新後的AR資料包以及指示更新後的AR資料包是否啟用的狀態資訊發送至伺服器。
示例性地,如圖7所示,在針對初始AR資料包編輯完成得到更新後的AR資料包後,可以點擊保存,比如AR設備檢測到使用者觸發的保存觸發操作,並在保存成功後,可以將該更新後的AR資料包發送至伺服器。
示例性地,指示更新後的AR資料包是否啟用的狀態資訊可以通過在圖2a展示的介面中進行設置,針對每個AR資料包下面可以設置有“啟用”按鈕(圖2a中未示出),若該AR資料包下面的“啟用”按鈕被觸發,則表示該AR資料包對應的更新後的AR資料包上傳至伺服器後,可以被AR設備下載體驗。
本發明實施例中,可以將生成的更新後的AR資料包發佈至伺服器,可以供其它用戶進行下載使用,示例性地,可以供其它AR設備下載進行編輯,同時可以供AR設備下載體驗AR資料包。
在另一種實施方式中,在生成更新後的AR資料包之後,本發明實施例提供的生成方法還包括: 回應於對更新後的AR資料包的上傳觸發操作,獲取更新後的AR資料包的標籤資訊,並將更新後的AR資料包和標籤資訊發送至伺服器。
示例性地,針對初始AR資料包進行編輯,得到更新後的AR資料包後,可以將更新後的資料包發送至伺服器,如圖8所示,得到的與目標現實場景關聯的AR資料包可以包括多個,用戶觸發圖8中(a)所示頁面的上傳體驗包操作後,為了確定使用者要上傳的目標更新後的AR資料包,可以展示出如圖8中(b)所示的頁面,使用者可以在該頁面中填寫要上傳的目標更新後的AR資料包對應的標籤資訊。
示例性地,標籤資訊可以包含目標現實場景的名稱、樓層名稱、體驗包名稱、主題、備註等資訊,標籤資訊的填寫一方面便於確定待上傳的更新後的AR資料包,另一方面,便於伺服器基於該標籤資訊對上傳的更新後的AR資料包進行保存,從而方便AR設備端的使用者在AR設備下載AR資料包進行體驗。
本發明實施例中,可以將生成的更新後的AR資料包發佈至伺服器,可以供其它用戶進行下載使用,示例性地,可以供其它AR生成端下載進行編輯,同時可以供AR設備下載體驗AR資料包。
示例性地,將更新後的AR資料包和標籤資訊發送至伺服器,包括: 將更新後的AR資料包、標籤資訊以及指示更新後的AR資料包是否啟用的狀態資訊發送至伺服器; 其中,處於啟用狀態的AR資料包能夠被使用。
示例性地,指示更新後的AR資料包是否啟用的狀態資訊可以通過在圖8的(a)圖中進行設置,每個AR資料包下面設置有“啟用”按鈕,若該AR資料包下面的“啟用”按鈕被觸發,則表示該AR資料包對應的更新後的AR資料包上傳至伺服器後,可以被AR設備下載體驗。
下面介紹對AR場景內容的展示過程,該展示過程可以應用於AR設備,該AR設備可以與上述用於生成AR資料包的AR設備相同,也可以不相同,在此不進行限定,如圖9所示,包括以下S201~S203。
S201,回應於第二觸發操作,獲取與第二觸發操作指示的目標現實場景關聯的AR資料包;AR資料包中包含至少一個虛擬對象對應的第一位姿資料。
示例性地,AR設備可以包括但不限於AR眼鏡、平板電腦、智慧手機、智慧穿戴式設備等具有顯示功能和資料處理能力的設備,這些AR設備中可以安裝用於展示AR場景內容的應用程式,使用者可以在該應用程式中體驗AR場景內容。
在AR設備打開用於展示AR場景內容的應用程式後,該AR設備可以展示出至少一個現實場景,以及每個現實場景關聯的AR資料包,示例性地,第二觸發操作可以是對目標現實場景中關聯的AR資料包的觸發操作,在一種實施例中,如圖2a所示,使用者可以在AR設備展示的現實場景關聯的AR資料包中,點擊目標現實場景“XXX大廈-15層”關聯的AR資料包,比如點擊“〈示例〉科幻”該AR資料包,則AR設備可以檢測到存在針對該AR資料包的第二觸發操作,進而可以向伺服器請求獲取目標現實場景“XXX大廈-15層”關聯的AR資料包。
其中,AR資料包包含的至少一個虛擬對象對應的第一位姿資料可以為在目標現實場景中的第一位姿資料,或者,AR資料包中包含的至少一個虛擬對象對應第一位姿資料可以為在目標現實場景的三維場景模型中的第一位姿資料,具體詳見上文描述,這裡不再贅述。
S202,基於AR設備當前拍攝目標現實場景的第二位姿資料,以及AR資料包中至少一個虛擬對象對應的第一位姿資料,確定至少一個虛擬對象的呈現特效資訊。
其中,AR設備當前拍攝目標現實場景時的第二位姿資料,以及獲取該AR設備對應的第二位姿資料的方式詳見上文描述,在此不再贅述。
在獲取到AR設備當前拍攝目標現實場景的第二位姿資料之前,如圖10所示,可以在AR設備展示用於提示使用者使用AR設備進行拍攝的資訊。
在虛擬對象對應的第一位姿資料為在目標現實場景中的第一位姿資料的情況下,因為AR設備對應的第二位姿資料和虛擬對象對應的第一位姿資料均為在相同座標系下位姿資料,這樣基於AR設備對應的第二位姿資料、至少一個虛擬對象對應第一位姿資料,可以確定出該虛擬對象在AR設備中的呈現特效資訊。
在虛擬對象對應的第一位姿資料為在目標現實場景的三維場景模型中的第一位姿資料的情況下,因為三維場景模型與現實場景在相同座標系中按照1:1呈現,在不同座標系中等比例呈現,故通過提前設置好的虛擬對象在三維場景模型中呈現時的第一位姿資料,以及AR設備對應的第二位姿資料,能夠確定該虛擬對象在AR設備中的呈現特效資訊。
S203,基於呈現特效資訊,通過AR設備展示至少一個虛擬對象。
在得到虛擬對象在目標現實場景中的呈現特效資訊後,可以通過AR設備按照該呈現特效資訊展示該至少一個虛擬對象,如圖11所示,為在目標現實場景中展示虛擬對象“唐三彩馬”的示意圖。
本發明實施例中,可以回應第二觸發操作,獲取到與該第二觸發操作關聯的AR資料包,進一步可以基於AR設備對應的第二位姿資料,以及提前設置好AR資料包中的虛擬對象對應的第一位姿資料,確定虛擬對象在該目標現實場景中的呈現特效資訊,最終在AR設備中展示出逼真的擴增實境場景效果。
進一步地,AR資料包還包括至少一個虛擬物體模型對應的第三位姿資料;虛擬物體模型表示目標現實場景中的目標物體; 在基於AR設備當前拍攝目標現實場景時的第二位姿資料,以及AR資料包中至少一個虛擬對象對應的第一位姿資料,確定至少一個虛擬對象的呈現特效資訊時,包括: 基於AR設備當前拍攝目標現實場景時的第二位姿資料、AR資料包中至少一個虛擬對象對應的第一位姿資料、以及虛擬物體模型對應的第三位姿資料,確定至少一個虛擬對象的呈現特效資訊。
示例性地,可以根據該虛擬物體模型在目標現實場景中的第三位姿資料、AR設備對應的第二位姿資料、以及虛擬對象對應的第一位姿資料,確定該虛擬對象是否被虛擬物體模型對應的實體物體遮擋,在確定該虛擬對象的部分區域或者全部區域被虛擬物體模型對應的實體物體遮擋時,將不會對被遮擋的該部分區域進行渲染,該虛擬物體模型可以被處理為遮擋形態,並對該遮擋形態的虛擬物體模型進行透明化處理,這樣使用者在AR設備中不會看到透明處理後的虛擬物體模型,這樣能夠展示出虛擬對象被目標現實場景中的實體物體遮擋的呈現效果。
本發明實施例中,通過虛擬物體模型的第三位姿資料,可以實現還原虛擬物體模型在目標現實場景中的真實第三位姿資料,當確定出虛擬對象被虛擬物體模型對應的實體物體遮擋時,能夠通過虛擬物體模型實現對虛擬對象的遮擋效果,從而在AR設備中展示出更為逼真的擴增實境場景的效果。
在一種實施方式中,AR資料包中還包括至少一個虛擬對象對應的交互資料,交互資料包括至少一種狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後的循環展示次數中的至少一種。
示例性地,交互資料中包含的狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後的循環展示次數的解釋詳見上文,在此不再贅述。
基於上文提到的狀態觸發條件可以包含多種,比如包括點擊模型觸發條件、滑動模型觸發條件、距離識別觸發條件、指定區域觸發條件、手勢識別觸發條件、朝向當前模型觸發條件以及朝向指定模型觸發條件中的至少一種或多種,每種觸發條件的解釋詳見上文,這裡不進行贅述,可以看到狀態觸發條件可以包含兩種類型,一種類型為與AR設備對應的第二位姿資料有關的狀態觸發條件,比如距離識別觸發條件、指定區域觸發條件、朝向當前模型觸發條件以及朝向指定模型觸發條件中的至少一種或多種,另一種類型為與AR設備對應的第二位姿資料無關的狀態觸發條件,比如點擊模型觸發條件、滑動模型觸發條件和手勢識別觸發條件中的至少一種或多種,下面將針對這兩種類型,來分別考慮與虛擬對象的交互。
在一種可能的實施方式中,本發明實施例提供的展示方法還包括: (1)檢測到作用於至少一個虛擬對象的交交互操作; (2)在作用於至少一個虛擬對象的交交互操作符合第一類狀態觸發條件的情況下,基於至少一個虛擬對象在該第一類狀態觸發條件下對應的呈現狀態,和/或,至少一個虛擬對象在該第一類狀態觸發條件被觸發展示後的循環展示次數,對至少一個虛擬對象的呈現特效資訊進行更新,得到更新後的呈現特效資訊; 進一步地,基於呈現特效資訊,通過AR設備展示至少一個虛擬對象,包括: 基於更新後的呈現特效資訊,通過AR設備展示至少一個虛擬對象。
示例性地,交交互操作可以為用於觸發虛擬對象的呈現特效資訊進行更新的操作,其中,第一類狀態觸發條件可以為上述提到的與AR設備對應的第二位姿資料無關的狀態觸發條件,比如點擊模型觸發條件、滑動模型觸發條件和手勢識別觸發條件中的至少一種或多種。
示例性地,AR設備檢測到存在該交交互操作,比如,若檢測到使用者作用於AR設備中針對虛擬對象A觸發的滑動操作,則可以獲取該虛擬對象A在滑動操作下對應的呈現狀態,和/或,該虛擬對象A在該滑動操作下被觸發展示後的循環展示次數,然後基於此對虛擬對象A的呈現特效資訊進行更新。
示例性地,對虛擬對象的呈現特效資訊進行更新的方式可以分為三種情況,第一種情況可以單獨基於至少一個虛擬對象在該第一類狀態觸發條件下對應的呈現狀態對該至少一個虛擬對象的呈現特效資訊進行更新,第二種情況可以單獨基於該至少一個虛擬對象在該第一類狀態觸發條件被觸發展示後的循環展示次數,對至少一個虛擬對象的呈現特效資訊進行更新,第三種情況可以同時結合至少一個虛擬對象在該第一類狀態觸發條件下對應的呈現狀態,以及至少一個虛擬對象在該第一類狀態觸發條件被觸發展示後的循環展示次數,共同對至少一個虛擬對象的呈現特效資訊進行更新。
下面分別結合具體實施例來對以上三種情況進行介紹。
針對第一種情況,示例性地,虛擬對象A的初始呈現特效資訊為在桌子上顯示的虛擬花瓶,交互操作為作用於虛擬對象上的滑動操作,且則該虛擬對象A在滑動操作下對應的呈現狀態為不顯示,可以在檢測到存在作用於針對該虛擬花瓶的滑動操作後,將虛擬花瓶的呈現特效資訊從原來的顯示變為消失。
針對第二種情況,示例性地,虛擬對象A為呈現在牆壁上從A位置走向B位置的虛擬花貓,交互操作為作用於虛擬花貓對應的三維模型上的點擊操作,且該虛擬對象在點擊操作下被觸發展示後的循環展示次數為5次,可以在檢測到用戶作用於針對該虛擬花貓的點擊操作時,觸發該虛擬花貓按照從A位置走向B位置的展示方式循環5次。
針對第三種情況,示例性地,虛擬對象A是在一展花燈中的閃爍一次的虛擬燈光,交互操作為手勢識別操作,該虛擬燈光在該手勢識別操作下對應的呈現狀態為顯示,且該虛擬對象在該手勢識別操作下被觸發展示後的循環展示次數為5次,可以在檢測到該手勢識別操作時,將虛擬燈光的呈現特效資訊更新為閃爍5次。
本發明實施例中,在檢測到存在針對虛擬對象的交交互操作時,可以在確定該交交互操作符合設定狀態觸發條件的情況下,按照虛擬對象在該設定狀態觸發條件下的展示方式,對虛擬對象進行展示,示例性地,擴增實境體驗者可以對AR設備展示設定的手勢,從而觸發虛擬對象按照與該手勢對應的呈現特效進行展示,該方式提高了擴增實境體驗者在目標現實場景中與虛擬對象的交互性,提升了用戶體驗。
在另一種可能的實施方式中,本發明實施例提供的展示方法還包括: 在第二位姿資料符合第二類狀態觸發條件的情況下,基於至少一個虛擬對象在該第二類狀態觸發條件下對應的呈現狀態,和/或,至少一個虛擬對象在該第二類狀態觸發條件被觸發展示後的循環展示次數,對至少一個虛擬對象的呈現特效資訊進行更新,得到更新後的呈現特效資訊; 基於呈現特效資訊,通過AR設備展示至少一個虛擬對象,包括: 基於更新後的呈現特效資訊,通過AR設備展示至少一個虛擬對象。
示例性地,第二類狀態觸發條件可以為上述提到的與AR設備對應的第二位姿資料有關的狀態觸發條件,比如距離識別觸發條件、指定區域觸發條件、朝向當前模型觸發條件以及朝向指定模型觸發條件中的至少一種或多種。
示例性地,AR設備對應的第二位姿資料符合第二類狀態觸發條件包括多種情況,具體可以通過AR設備的顯示部件所在的位置和/或顯示角度來確定AR設備對應的第二位姿資料是否符合第二類狀態觸發條件,可以單獨通過AR設備的顯示部件所在的位置來確定AR設備對應的第二位姿資料是否符合第二類狀態觸發條件,也可以單獨通過AR設備的顯示角度來確定AR設備對應的第二位姿資料是否符合第二類狀態觸發條件,或者通過結合AR設備的顯示部件所在的位置和顯示角度來確定AR設備對應的第二位姿資料是否符合第二類狀態觸發條件。
示例性地,當AR設備的顯示部件所在的位置座標與設定位置點之間距離滿足設定距離時,則可以確定該AR設備對應的第二位姿資料符合第二類狀態觸發條件;或者,還可以在確定AR設備的顯示角度朝向虛擬對象A所在的位置時,同樣可以確定該AR設備對應的第二位姿資料符合第二類狀態觸發條件;或者,還可以在AR設備的顯示部件所在的位置座標與設定位置點之間的距離滿足設定距離,且該AR設備的顯示角度朝向虛擬對象A所展示的位置時,確定該AR設備對應的第二位姿資料符合第二類狀態觸發條件,這種情況較多,在此不再一一贅述。
進一步地,在AR設備對應的第二姿資料符合第二類狀態觸發條件的情況下,可以按照至少一個虛擬對象在該第二類狀態觸發條件下對應的呈現狀態,和/或,至少一個虛擬對象在該第二類狀態觸發條件被觸發展示後的循環展示次數,對至少一個虛擬對象的呈現特效資訊進行更新,具體更新方式與上文基於交交互操作進行更新的方式相似,比在此不再贅述。
本發明實施例中,在檢測到AR設備對應的第二位姿資料符合設定狀態觸發條件的情況下,按照虛擬對象在該設定狀態觸發條件下的展示方式,對虛擬對象進行展示,示例性地,當AR設備靠近設定位置,且AR設備的顯示角度朝向虛擬對象A所在的位置時,觸發虛擬對象A按照該AR設備的第二位姿資料對應的呈現特效進行展示,該過程可以使得擴增實境場景效果更加逼真,從而提升用戶體驗。
下面以基於AR生成端遠端生成AR場景內容的過程進行說明,如圖12所示,包括: S301,回應於第一觸發操作,獲取第一觸發操作指示的目標現實場景的三維場景模型,以及與目標現實場景關聯的初始AR資料包; S302,獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象在三維場景模型中的第一位姿資料; S303,基於至少一個虛擬對象的更新資料,對初始AR資料包進行更新,生成更新後的AR資料包。
本發明實施例中,可以回應第一觸發操作,向使用者提供與該目標現實場景關聯的三維場景模型和初始AR資料包,便於使用者按照自身需求直觀地通過三維場景模型對初始AR資料包關聯的至少一個虛擬對象進行編輯更新,通過該方式得到更新後的AR資料包,當擴增實境體驗者在目標現實場景中進行擴增實境體驗時,可以直接調用更新後的AR資料包進行擴增實境體驗,通過本發明給出的遠端編輯AR資料包的方式,能夠簡化AR資料包的生成方式,為後續擴增實境場景的展示提供了便利的AR素材。
參見圖13所示,本發明實施例還提供了一種AR場景內容的展示系統400,包括AR生成端401、伺服器402以及AR設備403,AR生成端401與伺服器402通信連接,AR設備403與伺服器402通信連接; AR生成端401,用於回應於第一觸發操作,獲取第一觸發操作指示的目標現實場景的三維場景模型,以及與目標現實場景關聯的初始擴增實境AR資料包;獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象在三維場景模型中的第一位姿資料;以及用於基於至少一個虛擬對象的更新資料,對初始AR資料包進行更新,並將更新後的AR資料包發送至伺服器; 伺服器402,用於接收更新後的AR資料包,以及向AR設備轉發更新後的AR資料包; AR設備403,用於回應於第二觸發操作,獲取伺服器中保存的與第二觸發操作指示的目標現實場景關聯的更新後的AR資料包;基於AR設備當前拍攝目標現實場景時的第二位姿資料,以及更新後的AR資料包中至少一個虛擬對象在三維場景模型中的第一位姿資料,確定至少一個虛擬對象的呈現特效資訊;基於呈現特效資訊,通過AR設備展示至少一個虛擬對象。
本發明實施例提供的展示系統,能夠遠端編輯生成AR資料包,並將生成的AR資料包發佈至伺服器,供AR設備端進行擴增實境體驗,具體可以在AR生成端提供一種針對AR資料包的簡便生成方式,便於使用者編輯,伺服器端能夠對AR資料包進行保存,便於AR設備對AR資料包進行下載體驗。
下面以基於AR設備在擴增實境場景中現場生成AR場景內容的過程進行說明,應用於AR設備,如圖14所示,包括: S501,回應於第一觸發操作,獲取與第一觸發操作指示的目標現實場景關聯的初始AR資料包; S502,基於AR設備當前拍攝目標現實場景時的第二位姿資料,以及初始AR資料包,展示與初始AR資料包關聯的至少一個虛擬對象; S503,獲取對展示的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象在目標現實場景中的第一位姿資料; S504,基於更新資料,對初始AR資料包進行更新,生成更新後的AR資料包。
本發明實施例中,可以回應第一觸發操作,進入AR資料包編輯狀態,並在獲取到AR設備對應的第二位姿資料後,基於該AR設備對應的第二位姿資料,展示出與初始AR資料包關聯的至少一個虛擬對象,便於使用者在AR設備中能夠按照需求直觀地對虛擬對象在目標現實場景中的第二位姿資料進行編輯調整,從而可以簡化AR場景內容的生成過程,也可以使調整後的AR資料包的準確度更高。
基於同一技術構思,本發明實施例中還提供了與圖1所示的AR場景內容的生成方法對應的生成裝置,由於本發明實施例中的裝置解決問題的原理與本發明實施例上述生成方法相似,因此裝置的實施可以參見方法的實施,重複之處不再贅述。
參見圖15所示,為本發明實施例提供的一種AR場景內容的生成裝置600,包括: 第一獲取模組601,用於回應於第一觸發操作,獲取第一觸發操作指示的目標現實場景關聯的初始AR資料包; 第二獲取模組602,用於獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象對應的第一位姿資料; 更新模組603,用於基於至少一個虛擬對象的更新資料,對初始AR資料包進行更新,生成更新後的AR資料包。
在一種可能的實施方式中,第一獲取模組601還用於: 獲取第一觸發操作指示的目標現實場景的三維場景模型; 第二獲取模組602在用於獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 展示載入的三維場景模型; 獲取至少一個虛擬對象在置於三維場景模型中的情況下的更新資料,更新資料包括至少一個虛擬對象在置於三維場景模型中的第一位姿資料。
在一種可能的實施方式中,生成裝置還包括展示模組604,展示模組604用於: 基於AR設備當前拍攝目標現實場景時的第二位姿資料,以及初始AR資料包,展示與初始AR資料包關聯的至少一個虛擬對象; 第二獲取模組602用於獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 獲取對展示的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象在目標現實場景中的第一位姿資料。
在一種可能的實施方式中,第二獲取模組在用於獲取對展示的至少一個虛擬對象的更新資料時,包括: 展示位姿資料編輯介面,並獲取通過位姿資料編輯介面接收的至少一個虛擬對象的第一位姿資料; 其中,第一位姿資料中包括以下至少一種:在目標現實場景所處座標系中的位置座標、偏轉角度以及尺寸資訊。
在一種可能的實施方式中,更新資料還包括至少一個虛擬對象對應的交互資料; 第二獲取模組在用於獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 展示交互資料編輯介面,並獲取通過交互資料編輯介面分別接收的每個虛擬對象的交互資料; 其中,交互資料中包括以下至少一種:至少一種狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後的循環展示次數。
在一種可能的實施方式中,在交互資料中包括多種狀態觸發條件的情況下,交互資料還包括:每種狀態觸發條件的優先順序。
在一種可能的實施方式中,第二獲取模組602還用於: 獲取與初始AR資料包關聯的至少一個虛擬物體模型對應的第三位姿資料,至少一個虛擬物體模型表示目標現實場景中的目標物體; 更新模組603在用於基於至少一個虛擬對象的更新資料,對初始AR資料包進行更新,生成更新後的AR資料包時,包括: 基於至少一個虛擬對象的更新資料,以及虛擬物體模型對應的第三位姿資料,對初始AR資料包進行更新,生成更新後的AR資料包。
在一種可能的實施方式中,至少一個虛擬對象包括至少一個第一虛擬對象,第二獲取模組602在用於獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 獲取初始AR資料包中包含的至少一個第一虛擬對象的更新資料。
在一種可能的實施方式中,至少一個虛擬對象包括至少一個第二虛擬對象,第二獲取模組在用於獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料時,包括: 從預先建立的素材庫中獲取與初始AR資料包關聯的至少一個第二虛擬對象,並獲取至少一個第二虛擬對象的更新資料。
在一種可能的實施方式中,生成裝置還包括發送模組605,生成更新後的AR資料包括之後,發送模組605用於: 將更新後的AR資料包發送至伺服器;或者,將更新後的AR資料包以及指示更新後的AR資料包是否啟用的狀態資訊發送至伺服器。
在一種可能的實施方式中,生成更新後的AR資料包之後,發送模組605還用於: 回應於對更新後的AR資料包的上傳觸發操作,獲取更新後的AR資料包的標籤資訊,並將標籤資訊發送至伺服器。
基於同一技術構思,本發明實施例中還提供了圖9所示的AR場景內容的展示方法對應的展示裝置,由於本發明實施例中的裝置解決問題的原理與本發明實施例上述展示方法相似,因此裝置的實施可以參見方法的實施,重複之處不再贅述。
參照圖16所示,為本發明實施例提供的一種AR場景內容的展示裝置700的示意圖,包括: 獲取模組701,用於回應於第二觸發操作,獲取與第二觸發操作指示的目標現實場景關聯的AR資料包;AR資料包中包含至少一個虛擬對象對應的第一位姿資料; 確定模組702,用於基於AR設備當前拍攝目標現實場景的第二位姿資料,以及AR資料包中至少一個虛擬對象對應的第一位姿資料,確定至少一個虛擬對象的呈現特效資訊; 展示模組703基於呈現特效資訊,通過AR設備展示至少一個虛擬對象。
在一種可能的實施方式中,AR資料包還包括至少一個虛擬物體模型對應的第三位姿資料;虛擬物體模型表示目標現實場景中的目標物體; 確定模組702在用於基於AR設備當前拍攝目標現實場景時的第二位姿資料,以及AR資料包中至少一個虛擬對象對應的第一位姿資料,確定至少一個虛擬對象的呈現特效資訊時,包括: 基於AR設備當前拍攝目標現實場景時的第二位姿資料、AR資料包中至少一個虛擬對象對應的第一位姿資料、以及虛擬物體模型對應的第三位姿資料,確定至少一個虛擬對象的呈現特效資訊。
在一種可能的實施方式中,AR資料包中還包括至少一個虛擬對象對應的交互資料,交互資料包括至少一種狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後的循環展示次數中的至少一種。
在一種可能的實施方式中,展示裝置還包括交互模組704,交互模組704用於: 檢測作用於至少一個虛擬對象的交交互操作; 在作用於至少一個虛擬對象的交交互操作符合第一類狀態觸發條件的情況下,基於至少一個虛擬對象在該第一類狀態觸發條件下對應的呈現狀態,和/或,至少一個虛擬對象在該第一類狀態觸發條件被觸發展示後的循環展示次數,對至少一個虛擬對象的呈現特效資訊進行更新,得到更新後的呈現特效資訊; 展示模組704在用於基於呈現特效資訊,通過AR設備展示至少一個虛擬對象時,包括: 基於更新後的呈現特效資訊,通過AR設備展示至少一個虛擬對象。
在一種可能的實施方式中,展示裝置還包括交互模組704,交互模組704用於: 在第二位姿資料符合第二類狀態觸發條件的情況下,基於至少一個虛擬對象在該第二類狀態觸發條件下對應的呈現狀態,和/或,至少一個虛擬對象在該第二類狀態觸發條件被觸發展示後的循環展示次數,對至少一個虛擬對象的呈現特效資訊進行更新,得到更新後的呈現特效資訊; 展示模組在用於基於呈現特效資訊,通過AR設備展示至少一個虛擬對象時,包括: 基於更新後的呈現特效資訊,通過AR設備展示至少一個虛擬對象。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明,這裡不再詳述。
對應於圖1中的AR場景內容的生成方法,本發明實施例還提供了一種電子設備800,如圖17所示,為本發明實施例提供的電子設備800結構示意圖,包括: 處理器81、記憶體82、和匯流排83;記憶體82用於儲存執行指令,包括內部記憶體821和外部記憶體822;這裡的內部記憶體821用於暫時存放處理器81中的運算資料,以及與硬碟等外部記憶體822交換的資料,處理器81通過內部記憶體821與外部記憶體822進行資料交換,當電子設備800運行時,處理器81與記憶體82之間通過匯流排83通信,使得處理器81執行以下指令:回應於第一觸發操作,獲取第一觸發操作指示的目標現實場景關聯的初始AR資料包;獲取與初始AR資料包關聯的至少一個虛擬對象的更新資料;更新資料包括至少一個虛擬對象對應的第一位姿資料;基於至少一個虛擬對象的更新資料,對初始AR資料包進行更新,生成更新後的AR資料包。
或者,可以使得處理器81執行以下指令:回應於第二觸發操作,獲取與第二觸發操作指示的目標現實場景關聯的AR資料包;AR資料包中包含至少一個虛擬對象對應的第一位姿資料;基於AR設備當前拍攝目標現實場景的第二位姿資料,以及AR資料包中至少一個虛擬對象對應的第一位姿資料,確定至少一個虛擬對象的呈現特效資訊;基於呈現特效資訊,通過AR設備展示至少一個虛擬對象。
本發明實施例還提供一種電腦可讀儲存介質,該電腦可讀儲存介質上儲存有電腦程式,該電腦程式被處理器運行時執行上述方法實施例中的生成方法或展示方法的步驟。其中,該儲存介質可以是易失性或非易失的電腦可讀取儲存介質。
本發明實施例還提供一種電腦程式產品,該電腦程式產品承載有程式碼,所述程式碼包括的指令可用於執行上述方法實施例中所述的生成方法或展示方法的步驟,具體可參見上述方法實施例,在此不再贅述。
其中,上述電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中,所述電腦程式產品具體體現為電腦儲存介質,在另一個可選實施例中,電腦程式產品具體體現為軟體產品,例如軟體發展包(Software Development Kit,SDK)等等。
所屬領域的技術人員可以清楚地瞭解到,為描述的方便和簡潔,上述描述的系統和裝置的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。在本發明所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,又例如,多個單元或元件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在一個儲存介質中,包括若干指令用以使得一台電腦設備(可以是個人電腦,伺服器,或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括:U盤、移動硬碟、唯讀記憶體(Read-Only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是:以上所述實施例,僅為本發明的具體實施方式,用以說明本發明的技術方案,而非對其限制,本發明的保護範圍並不局限於此,儘管參照前述實施例對本發明進行了詳細的說明,本領域的普通技術人員應當理解:任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內,其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化,或者對其中部分技術特徵進行等同替換;而這些修改、變化或者替換,並不使相應技術方案的本質脫離本發明實施例技術方案的精神和範圍,都應涵蓋在本發明的保護範圍之內。因此,本發明的保護範圍應所述以申請專利範圍請求項的保護範圍為準。
400:AR場景內容的展示系統 401:AR生成端 402:伺服器 403:AR設備 600:AR場景內容的生成裝置 601:第一獲取模組 602:第二獲取模組 603:更新模組 604:展示模組 605:發送模組 700:AR場景內容的展示裝置 701:獲取模組 702:確定模組 703:展示模組 704:交互模組 800:電子設備 81:處理器 82:記憶體 821:內部記憶體 822:外部記憶體 83:匯流排 S101~S103,S201~S203,S301~S303,S501~S504:步驟
為了更清楚地說明本發明實施例的技術方案,下面將對實施例中所需要使用的附圖作簡單地介紹,此處的附圖被併入說明書中並構成本說明書中的一部分,這些附圖示出了符合本發明的實施例,並與說明書一起用於說明本發明的技術方案。應當理解,以下附圖僅示出了本發明的某些實施例,因此不應被看作是對範圍的限定,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他相關的附圖。 圖1示出了本發明實施例所提供的第一種AR場景內容的生成方法的流程圖; 圖2a示出了本發明實施例所提供的一種AR資料包下載介面示意圖; 圖2b示出了本發明實施例所提供的一種AR資料包下載和上傳的介面示意圖; 圖3示出了本發明實施例所提供的一種定位提示的頁面示意圖; 圖4示出了本發明實施例所提供的一種虛擬對象的位姿資料展示頁面示意圖; 圖5示出了本發明實施例所提供的一種虛擬對象的位姿資料編輯頁面示意圖; 圖6示出了本發明實施例所提供的一種交互資料生成的介面示意圖; 圖7示出了本發明實施例所提供的一種AR資料包保存頁面示意圖; 圖8示出了本發明實施例所提供的一種上傳更新後的AR資料包的介面流程圖; 圖9示出了本發明實施例所提供的一種AR場景內容的展示方法的流程圖; 圖10示出了本發明實施例所提供的一種AR場景內容展示時在AR設備進行的定位提示示意圖; 圖11示出了本發明實施例所提供的一種擴增實境的場景示意圖; 圖12示出了本發明實施例所提供的第二種AR場景內容的生成方法的流程圖; 圖13示出了本發明實施例所提供的一種AR場景內容的展示系統的結構示意圖; 圖14示出了本發明實施例所提供的第三種AR場景內容的生成方法的流程圖; 圖15示出了本發明實施例所提供的第一種AR場景內容的生成裝置的結構示意圖; 圖16示出了本發明實施例所提供的第一種AR場景內容的展示裝置的結構示意圖; 圖17示出了本發明實施例所提供的一種電子設備的結構示意圖。
S101~S103:步驟

Claims (16)

  1. 一種擴增實境AR場景內容的生成方法,包括:回應於第一觸發操作,獲取所述第一觸發操作指示的目標現實場景關聯的初始AR資料包;獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料;所述更新資料包括所述至少一個虛擬對象對應的第一位姿資料;基於所述至少一個虛擬對象的更新資料,對所述初始AR資料包進行更新,生成更新後的AR資料包;所述更新資料還包括所述至少一個虛擬對象對應的交互資料;所述獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料,包括:通過交互資料編輯介面獲取針對所述至少一個虛擬對象的交互資料編輯操作,得到所述至少一個虛擬對象的交互資料;其中,所述交互資料中包括以下至少一種:至少一種狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、虛擬對象在被觸發展示後的循環展示次數。
  2. 根據情求項1所述的生成方法,還包括:獲取所述第一觸發操作指示的目標現實場景的三維場景模型;所述獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料,包括:展示載入的所述三維場景模型; 獲取所述至少一個虛擬對象在置於所述三維場景模型中的情況下的更新資料,所述更新資料包括所述至少一個虛擬對象在置於所述三維場景模型中的第一位姿資料。
  3. 根據情求項1所述的生成方法,還包括:基於AR設備當前拍攝所述目標現實場景時的第二位姿資料,以及所述初始AR資料包,展示與所述初始AR資料包關聯的至少一個虛擬對象;所述獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料,包括:獲取對展示的至少一個虛擬對象的更新資料;所述更新資料包括所述至少一個虛擬對象在所述目標現實場景中的第一位姿資料。
  4. 根據情求項3所述的生成方法,所述獲取對展示的至少一個虛擬對象的更新資料,包括:展示位姿資料編輯介面,並獲取通過所述位姿資料編輯介面接收的所述至少一個虛擬對象的第一位姿資料;其中,所述第一位姿資料中包括以下至少一種:在所述目標現實場景所處座標系中的位置座標、偏轉角度以及尺寸資訊。
  5. 根據情求項1所述的生成方法,在所述交互資料中包括多種狀態觸發條件的情況下,所述交互資料還包括:每種狀態觸發條件的優先順序。
  6. 根據情求項1至4任一項所述的生成方法,還包括: 獲取與所述初始AR資料包關聯的至少一個虛擬物體模型對應的第三位姿資料,所述至少一個虛擬物體模型表示所述目標現實場景中的目標物體;所述基於所述至少一個虛擬對象的所述更新資料,對所述初始AR資料包進行更新,生成更新後的AR資料包,包括:基於所述至少一個虛擬對象的所述更新資料,以及所述虛擬物體模型對應的所述第三位姿資料,對所述初始AR資料包進行更新,生成更新後的AR資料包。
  7. 根據情求項1至4任一項所述的生成方法,所述至少一個虛擬對象包括至少一個第一虛擬對象,所述獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料,包括:獲取所述初始AR資料包中包含的至少一個第一虛擬對象的更新資料。
  8. 根據情求項1至4任一項所述的生成方法,所述至少一個虛擬對象包括至少一個第二虛擬對象,所述獲取與所述初始AR資料包關聯的至少一個虛擬對象的更新資料,包括:從預先建立的素材庫中獲取與所述初始AR資料包關聯的至少一個第二虛擬對象,並獲取所述至少一個第二虛擬對象的更新資料。
  9. 根據情求項1至4任一項所述的生成方法,生成更新後的AR資料包括之後,所述生成方法還包括: 將所述更新後的AR資料包發送至伺服器;或者,將所述更新後的AR資料包以及指示所述更新後的AR資料包是否啟用的狀態資訊發送至伺服器。
  10. 根據情求項9所述的生成方法,所述生成更新後的AR資料包之後,還包括:回應於對所述更新後的AR資料包的上傳觸發操作,獲取所述更新後的AR資料包的標籤資訊,並將所述標籤資訊發送至所述伺服器。
  11. 一種擴增實境AR場景內容的展示方法,包括:回應於第二觸發操作,獲取與所述第二觸發操作指示的目標現實場景關聯的AR資料包;所述AR資料包中包含至少一個虛擬對象對應的第一位姿資料;基於AR設備當前拍攝所述目標現實場景的第二位姿資料,以及所述AR資料包中至少一個虛擬對象對應的所述第一位姿資料,確定所述至少一個虛擬對象的呈現特效資訊;基於所述呈現特效資訊,通過所述AR設備展示所述至少一個虛擬對象;所述AR資料包中還包括至少一個虛擬對象對應的交互資料,所述交互資料是通過交互資料編輯介面獲取針對所述至少一個虛擬對象的交互資料編輯操作得到的;所述交互資料包括至少一種狀態觸發條件、與每種狀態觸發條件對應的呈現狀態、以及虛擬對象在被觸發展示後 的循環展示次數中的至少一種。
  12. 根據情求項11所述的展示方法,所述AR資料包還包括至少一個虛擬物體模型對應的第三位姿資料;所述虛擬物體模型表示所述目標現實場景中的目標物體;所述基於所述AR設備當前拍攝所述目標現實場景時的第二位姿資料,以及所述AR資料包中至少一個虛擬對象對應的所述第一位姿資料,確定所述至少一個虛擬對象的呈現特效資訊,包括:基於所述AR設備當前拍攝所述目標現實場景時的所述第二位姿資料、所述AR資料包中至少一個虛擬對象對應的所述第一位姿資料、以及所述虛擬物體模型對應的所述第三位姿資料,確定所述至少一個虛擬對象的呈現特效資訊。
  13. 根據情求項11所述的展示方法,還包括:檢測作用於所述至少一個虛擬對象的交交互操作;在所述作用於所述至少一個虛擬對象的交交互操作符合第一類狀態觸發條件的情況下,基於所述至少一個虛擬對象在該第一類狀態觸發條件下對應的呈現狀態,和/或,所述至少一個虛擬對象在該第一類狀態觸發條件被觸發展示後的循環展示次數,對所述至少一個虛擬對象的呈現特效資訊進行更新,得到更新後的呈現特效資訊;所述基於所述呈現特效資訊,通過所述AR設備展示所述至少一個虛擬對象,包括:基於所述更新後的呈現特效資訊,通過所述AR設備展 示所述至少一個虛擬對象。
  14. 根據情求項11所述的展示方法,還包括:在所述第二位姿資料符合第二類狀態觸發條件的情況下,基於所述至少一個虛擬對象在該第二類狀態觸發條件下對應的呈現狀態,和/或,所述至少一個虛擬對象在該第二類狀態觸發條件被觸發展示後的循環展示次數,對所述至少一個虛擬對象的呈現特效資訊進行更新,得到更新後的呈現特效資訊;所述基於所述呈現特效資訊,通過所述AR設備展示所述至少一個虛擬對象,包括:基於所述更新後的呈現特效資訊,通過所述AR設備展示所述至少一個虛擬對象。
  15. 一種電子設備,包括:處理器、記憶體和匯流排,所述記憶體儲存有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述記憶體之間通過匯流排通信,所述機器可讀指令被所述處理器執行時執行如情求項1至10任一項所述的生成方法的步驟,或者執行如情求項11至14任一項所述的展示方法的步驟。
  16. 一種電腦可讀儲存介質,該電腦可讀儲存介質上儲存有電腦程式,該電腦程式被處理器運行時執行如情求項1至10任一項所述的生成方法的步驟,或者執行如情求項11至14任一項所述的展示方法的步驟。
TW110116126A 2020-05-26 2021-05-04 Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質 TWI783472B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202010456843.8A CN111610998A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、装置及存储介质
CN202010456843.8 2020-05-26
CN202010456842.3A CN111610997A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、展示系统及装置
CN202010456842.3 2020-05-26

Publications (2)

Publication Number Publication Date
TW202145150A TW202145150A (zh) 2021-12-01
TWI783472B true TWI783472B (zh) 2022-11-11

Family

ID=78745558

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110116126A TWI783472B (zh) 2020-05-26 2021-05-04 Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP2022537861A (zh)
KR (1) KR20210148074A (zh)
SG (1) SG11202108241QA (zh)
TW (1) TWI783472B (zh)
WO (1) WO2021238145A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114942737A (zh) * 2022-04-28 2022-08-26 Oppo广东移动通信有限公司 显示方法、装置、显示设备、头戴式设备及存储介质
CN114764327B (zh) * 2022-05-09 2023-05-05 北京未来时空科技有限公司 一种三维可交互媒体的制作方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071038A1 (en) * 2000-12-07 2002-06-13 Joe Mihelcic Method and system for complete 3D object and area digitizing
TW201621799A (zh) * 2014-12-09 2016-06-16 財團法人工業技術研究院 擴增實境方法與系統
CN109564472A (zh) * 2016-08-11 2019-04-02 微软技术许可有限责任公司 沉浸式环境中的交互方法的选取
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
EP3621039A1 (en) * 2018-09-06 2020-03-11 Tata Consultancy Services Limited Real time overlay placement in videos for augmented reality applications
CN113544748A (zh) * 2018-10-05 2021-10-22 奇跃公司 交叉现实系统
CN110764614B (zh) * 2019-10-15 2021-10-08 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备及存储介质
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示系统及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071038A1 (en) * 2000-12-07 2002-06-13 Joe Mihelcic Method and system for complete 3D object and area digitizing
TW201621799A (zh) * 2014-12-09 2016-06-16 財團法人工業技術研究院 擴增實境方法與系統
CN109564472A (zh) * 2016-08-11 2019-04-02 微软技术许可有限责任公司 沉浸式环境中的交互方法的选取
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20210148074A (ko) 2021-12-07
TW202145150A (zh) 2021-12-01
SG11202108241QA (en) 2021-12-30
JP2022537861A (ja) 2022-08-31
WO2021238145A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
KR102534637B1 (ko) 증강 현실 시스템
KR102257167B1 (ko) 표면 인식 렌즈
KR102653793B1 (ko) 비디오 클립 객체 추적
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
US11721080B2 (en) Augmented reality system
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
KR20220030263A (ko) 텍스처 메시 빌딩
KR20210047278A (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
US11604562B2 (en) Interface carousel for use with image processing software development kit
TWI749795B (zh) 擴增實境資料呈現方法、設備、儲存介質
US11698822B2 (en) Software development kit for image processing
CN112070906A (zh) 一种增强现实系统及增强现实数据的生成方法、装置
CN111610997A (zh) Ar场景内容的生成方法、展示方法、展示系统及装置
CN109448050B (zh) 一种目标点的位置的确定方法及终端
US20210118236A1 (en) Method and apparatus for presenting augmented reality data, device and storage medium
KR20150079387A (ko) 카메라 광 데이터로 가상 환경을 조명하는 방법
KR20180075222A (ko) 전자 장치 및 그 동작 방법
JP2023544072A (ja) ハイブリッド深度マップ