TW201835723A - 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 - Google Patents

圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 Download PDF

Info

Publication number
TW201835723A
TW201835723A TW107116847A TW107116847A TW201835723A TW 201835723 A TW201835723 A TW 201835723A TW 107116847 A TW107116847 A TW 107116847A TW 107116847 A TW107116847 A TW 107116847A TW 201835723 A TW201835723 A TW 201835723A
Authority
TW
Taiwan
Prior art keywords
message
picture
videos
target
information
Prior art date
Application number
TW107116847A
Other languages
English (en)
Other versions
TWI659335B (zh
Inventor
劉皓
Original Assignee
大陸商騰訊科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技（深圳）有限公司 filed Critical 大陸商騰訊科技（深圳）有限公司
Publication of TW201835723A publication Critical patent/TW201835723A/zh
Application granted granted Critical
Publication of TWI659335B publication Critical patent/TWI659335B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申請提供一種圖形處理方法和裝置、虛擬實境系統和計算機儲存介質，該方法包括：獲取觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境VR畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；以及展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。

Description

圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
本申請係關於圖形處理領域，特別有關一種圖形處理方法和裝置、虛擬實境系統和計算機儲存介質。
當前生成虛擬實境(Virtual Reality，VR)場景的一種主流技術是三維(three dimensional，3D)建模技術。3D建模技術生成VR場景主要是根據3D模型製作VR場景。在某些VR遊戲產品中，VR場景主要是採用3D建模技術結合實時(real time)渲染技術完成的。用戶以VR頭戴式顯示設備，例如VR眼鏡或VR頭盔等，作為觀察媒體，融入到VR場景中，與VR場景中的人物或其他物體進行互動，從而得到真實的空間感受。最常見的例如雲霄飛車VR場景等。
本申請實施例提供了一種圖形處理方法，包括：一種圖形處理方法，應用於計算設備，包括：獲取觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境VR畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標 物體的圖像；展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
本申請實施例提供了一種圖形處理裝置，其包括處理器和儲存器，所述儲存器中儲存有計算機可讀指令，可以使所述處理器執行：獲取觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境VR畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
本申請實施例提供了一種圖形處理方法，適應於計算設備，包括：收集觀察者當前的姿態訊息；根據所述姿態訊息，得到所述觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境VR畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
本申請實施例提供了一種虛擬實境VR系統，包括姿態收集裝置、處理裝置和顯示裝置：所述姿態收集裝置用於：收集觀察者當前的姿態訊息；所述處理裝置用於：根據所述姿態訊息，得到所述觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境VR畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍 攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；所述顯示裝置用於展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
本申請實施例提供一種計算機儲存介質，其上儲存有指令，當所述指令在計算機上運行時，使得所述計算機執行本申請實施例所述的方法。
本申請實施例提供一種計算機儲存介質，其上儲存有指令，當所述指令在計算機上運行時，使得所述計算機執行本申請實施例所述的方法。
本申請實施例提供一種包括指令的計算機程式產品，當計算機運行所述計算機程式產品的所述指令，所述計算機執行本申請實施例所述的方法。
本申請實施例提供一種包括指令的計算機程式產品，當計算機運行所述計算機程式產品的所述指令，所述計算機執行本申請實施例所述的方法。
30‧‧‧VR系統
32‧‧‧姿態收集裝置
34‧‧‧處理裝置
36‧‧‧顯示裝置
42‧‧‧人物
43‧‧‧物體
44‧‧‧物體
46‧‧‧物體
52‧‧‧物體
54‧‧‧物體
82‧‧‧第一紋理
84‧‧‧第二紋理
86‧‧‧第三紋理
88‧‧‧第四紋理
101‧‧‧VR頭顯設備
102‧‧‧計算設備
103‧‧‧攝像機
201~205‧‧‧步驟
900‧‧‧技術設備
901‧‧‧處理器
902‧‧‧儲存器
903‧‧‧I/O介面
904‧‧‧顯示介面
905‧‧‧網路通訊介面
906‧‧‧匯流排
907‧‧‧操作系統
908‧‧‧I/O模組
909‧‧‧通訊模組
900A‧‧‧圖形處理裝置
900B‧‧‧處理器
910‧‧‧獲取模組
920‧‧‧計算模組
930‧‧‧渲染模組
1000‧‧‧VR頭盔
1010‧‧‧頭部跟蹤器
1011‧‧‧角度感應器
1012‧‧‧訊號處理器
1013‧‧‧資料傳輸器
1014‧‧‧顯示器
1020‧‧‧CPU
1030‧‧‧GPU
1040‧‧‧顯示器
1110‧‧‧VR眼鏡
1112‧‧‧角度感應器
1114‧‧‧訊號處理器
1116‧‧‧資料傳輸器
1118‧‧‧顯示器
1120‧‧‧主機
C1‧‧‧拍攝位置
C2‧‧‧拍攝位置
C3‧‧‧拍攝位置
Cview‧‧‧平均位置
L41‧‧‧物體
L80‧‧‧左眼畫面
LE‧‧‧左眼位置
R45‧‧‧物體
R80‧‧‧右眼畫面
RE‧‧‧右眼位置
S310~S370‧‧‧步驟
第1圖是本申請一個實施例所述的VR系統的示意圖。
第2圖是本申請一個實施例的圖形處理方法的示意性流程圖。
第3圖是本申請一個實施例的圖形處理方法的示意性流程圖。
第4圖是本申請一個實施例的需要呈現的場景的示意圖。
第5圖是本申請一個實施例的進行預先拍攝的場景的示意圖。
第6圖是本申請一個實施例的在不同拍攝位置得到的視頻的示意圖。
第7圖是本申請一個實施例的確定目標視頻的示意圖。
第8圖是本申請一個實施例的呈現目標視頻的示意圖。
第9A圖是本申請一個實施例的圖形處理裝置所在的計算設備的結構示意圖。
第9B圖是本申請一個實施例的處理器的示意性方塊圖。
第10圖是本申請一個實施例的虛擬實境系統的示意圖。
第11圖是本申請另一個實施例的虛擬實境系統的示意圖。
下面將結合圖式，對本申請中的技術方案進行描述。
本申請實施例提供了一種圖形處理方法、裝置和VR系統。
應理解，本申請各實施例的方法和設備應用於VR場景領域，例如，可以應用於VR遊戲領域，還可以應用於其他的可互動場景，例如可互動的VR電影，可互動的VR演唱會等，本申請各實施例對此不作限定。
在詳細說明本申請實施例的圖形處理方法之前，首先介紹本申請各實施例涉及的實時渲染技術。實時渲染技術的本質是圖形資料的實時計算和輸出，其最大的特性是實時(real time)性。當前，個人電腦(Personal Computer，PC)、工作站、遊戲機、行動設備或VR系統等中的處理器每秒至少以24幀以上的速度進行運算。也就是說，渲染一畫面的圖像，至少也要在1/24秒以內。而在實際的3D遊戲中，每秒幀數要求則更高。正是由於實時渲染的實時性，才有可能實現3D遊戲的連貫播放，以及實現3D遊戲中用戶 與遊戲場景中的人物或其他物體進行互動。
本申請各實施例涉及的實時渲染可以是透過中央處理器(Central Processing Unit，CPU)或圖形處理器(Graphics Processing Unit，GPU)實現的，本申請實施例對此不作限定。具體而言，GPU是一種專門用於實現圖像運算工作的處理器，其可以存在於顯卡中，又稱顯示核心、視覺處理器或顯示晶片。是一種VR眼鏡
第1圖示出的是本申請實施例的一種VR系統的示意圖。第1圖所示，該系統包括VR頭顯設備101與計算設備102。
其中，VR頭顯設備101可以是VR眼鏡或VR頭盔等，可以包括角度感應器1011、訊號處理器1012、資料傳輸器1013和顯示器1014。其中，角度感應器1011可以收集觀察者的姿態訊息。
計算設備102可以是個人電腦(PC)、筆記型電腦等智能終端設備，也可以是智慧手機、PAD或者平板電腦等智能移動終端設備，可以包括CPU和GPU，用於計算並渲染觀察畫面，並將觀察畫面發送給顯示器1014進行顯示。訊號處理器1012和資料傳輸器1013主要用於VR頭顯設備101與計算設備102之間的通訊。
在一些實例中，本申請實施例的VR系統還可以進一步包括：攝像機103，用於從多個不同的拍攝位置拍攝的VR場景內物體的視頻。
基於第1圖所示的系統，本申請實施例提出了一種圖形處理方法。第2圖是本申請實施例提供的一種圖形處理方法200的流程圖，該方法由VR系統中的計算設備102執行。如第2圖所示，該方法包括以下步驟：
步驟201：獲取觀察者的位置訊息。
在一些實例中，獲取所述觀察者的左眼位置訊息、右眼 位置訊息、左眼朝向訊息和右眼朝向訊息。其中，所述左眼位置訊息、所述右眼位置訊息、所述左眼朝向訊息和所述右眼朝向訊息是根據所收集的用戶當前的姿態訊息確定的，所述姿態訊息包括頭部姿態訊息、四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、眼球跟蹤訊息、皮膚感知訊息、運動感知訊息和腦訊號訊息中的至少一種。
步驟202：根據所述位置訊息確定待展示的虛擬實境VR畫面中的目標物體。
在一些實例中，所述目標物體可以為人物。其中，該人物是希望被改善其真實性的物體，也即為所述目標物體。
例如，每個場景或多個場景可以存在一個目標物體列表，在生成VR場景時，根據目標物體列表找到該目標場景中的目標物體。再如，在VR場景的遊戲設計中規定，近景(距離用戶一定範圍內的場景)處的人物是目標物體，近景處除人物以外的其他物體不是目標物體，遠景(距離用戶一定範圍外的場景)處的所有物體均不是目標物體，等等。確定場景中的目標物體可以由處理裝置34來執行，例如可以由處理裝置34中的CPU確定，本申請實施例對此不作限定。
步驟203：獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像。
在一些實例中，根據待展示的所述VR畫面的時間訊息，從預先拍攝的多個視頻中確定每個視頻中所述時間訊息對應的視頻幀作為所述圖像，其中，所述VR畫面的時間訊息可以為VR畫面當前的時間。
步驟204：根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖 像為所述觀察者的位置對應的所述目標物體的圖像。
在一些實例中，將所述目標圖像渲染到所述VR畫面中的第一預設紋理上，其中，所述第一預設紋理是基於廣告牌(billboard)面片(patch)技術的。
在一些實例中，根據所述位置訊息，確定所述VR畫面中的第一物體；從三維模型庫中確定出所述第一物體對應的三維模型；將所述三維模型渲染到所述VR畫面的第二預設紋理上，其中，其中，所述VR畫面內包括上述目標物體和上述目標物體以外的上述第一物體，所述第二預設紋理可以為所述VR畫面的背景。
在一些實例中，所述多個視頻是對所述多個視頻的原始視頻經過透明處理後的僅包括所述目標物體的視頻，其中，所述目標物體可以為人物。
在一些實例中，在確定所述目標圖像的步驟中，對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取至少兩個視頻，所述多個視頻是從不同的拍攝位置拍攝得到；從所述至少兩個視頻中的每個視頻中選取一個視頻幀作為所述圖像；根據所述平均位置和所述至少兩個視頻的拍攝位置之間的空間位置關係，對所述圖像進行運算得到所述目標圖像。
具體的，在得到上述平均位置之後，從所述平均位置左右兩側各選取至少一個視頻，從選取的至少一個視頻中各選取一個與上述時間訊息對應的視頻幀作為所述圖像，其中，上述時間訊息可以為上述VR畫面當前的時間訊息，根據上述平均位置和上述至少兩個視頻的拍攝位置之間的空間位置關係，對所述圖像進行插值運算得到所述目標圖像。
在一些實例中，在確定所述目標圖像的步驟中，對所述 左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取出目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述預先拍攝的多個視頻的拍攝位置與所述平均位置的空間距離中最小的；從所述目標視頻中選取一個視頻幀，並將所述視頻幀作為所述目標圖像。
具體的，在得到上述平均位置之後，從上述預先拍攝的多個視頻中選取一個拍攝位置距離上述平均位置最近的視頻最為目標視頻，從上述目標視頻中選取一個上述時間訊息對應的視頻幀作為上述目標圖像，其中，上述時間訊息可以為上述VR畫面當前的時間訊息。
步驟205：展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
在一些實例中，根據所述左眼位置訊息和所述左眼朝向訊息確定所述左眼畫面；根據所述右眼位置訊息和所述右眼朝向訊息確定所述右眼畫面；根據所述左眼朝向訊息和所述目標圖像，實時渲染所述左眼畫面，並在所述左眼畫面中渲染所述目標圖像；根據所述右眼朝向訊息和所述目標圖像，實時渲染所述右眼畫面，並在所述右眼畫面中渲染所述目標圖像。
本申請實施例的技術方案可以根據觀察者的位置訊息，確定待展示的虛擬實境VR畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。該VR 畫面可以真實的展現實景，在保持整個VR場景可互動性的基礎上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。
第3圖是本申請一個實施例的圖形處理方法300的示意性流程圖。該方法300由VR系統30執行。其中，VR系統30可以包括姿態收集裝置32、處理裝置34和顯示裝置36。該方法300可以包括以下步驟。
S310，收集用戶當前的姿態訊息。應理解，S310可以由姿態收集裝置32來執行。
S320，根據姿態訊息，得到用戶的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息。
S330，根據左眼位置訊息和右眼位置訊息，從三維模型庫中確定出目標三維模型。
S340，根據左眼位置訊息、右眼位置訊息和預先拍攝的多個視頻，確定目標視頻，其中，多個視頻是分別從不同的拍攝位置拍攝的視頻。
S350，根據左眼朝向訊息、目標三維模型和目標視頻，實時渲染左眼畫面。
S360，根據右眼朝向訊息、目標三維模型和目標視頻，實時渲染右眼畫面。
應理解，S320至S360可以由處理裝置34來執行。
S370，顯示左眼畫面和右眼畫面，其中，左眼畫面和右眼畫面顯示時形成VR場景，VR場景中包括目標三維模型的圖像和目標視頻的圖像。
應理解，S370可以由顯示裝置36來執行。
本申請實施例的圖形處理方法，收集用戶的姿態訊息來確定用戶左右眼的位置，根據用戶的左右眼的位置訊息，確定目 標三維模型並且根據預先拍攝的多個視頻確定目標視頻，透過實時渲染的方式渲染技術分別渲染左眼畫面和右眼畫面，從而顯示VR場景，其中，VR場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現實景，在保持整個VR場景可互動性的基礎上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。
應理解，通常而言VR系統30包括VR頭顯設備，顯示裝置36可以集成(integrate)在VR頭顯設備中。本申請實施例的處理裝置34和/或姿態收集裝置32可以集成在VR頭顯設備中，也可以獨立於VR頭顯設備單獨部署，其中，上述VR頭顯設備可以是VR頭戴式顯示設備，例如VR眼鏡或VR頭盔等。姿態收集裝置32、處理裝置34和顯示裝置36之間可以透過有線通訊也可以透過無線通訊，本申請實施例對此不作限定。
下面具體描述本申請的圖形處理方法300的各個步驟以及VR系統30的各組件。
在本申請實施例中，S310，姿態收集裝置32收集用戶當前的姿態訊息。
姿態收集裝置32可以包括VR頭戴式顯示設備，例如VR眼鏡或VR頭盔中的傳感器。傳感器可以包括光敏傳感器，例如紅外傳感器、攝像鏡頭等；傳感器還可以包括力敏傳感器，例如陀螺儀等；傳感器還可以包括磁敏傳感器，例如腦機連接埠等；傳感器還可以包括聲敏傳感器等，本申請實施例對傳感器的具體類型不作限定。VR頭戴式顯示設備中的傳感器可以收集用戶當前的頭部姿態訊息、眼球跟蹤訊息、皮膚感知訊息、肌肉電刺激訊息和腦訊號訊息中的至少一種。然後，處理裝置34可以根據這些訊息確定用戶的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右 眼朝向訊息。
在一個具體的例子中，在VR場景中，用戶的視角是指用戶的人眼視線方向在虛擬空間中的方位角，其中，包括人眼的位置和朝向。在虛擬空間中，用戶的視角可以隨用戶的頭部在現實空間中姿態的變化而變化。在一種具體的情況下，虛擬空間中用戶的視角的變化與現實空間中用戶的頭部姿態的變化同速且同方向。其中，用戶的視角又包括左眼視角和右眼視角，即包括用戶的左眼位置、右眼位置、左眼朝向和右眼朝向。
在該例子中，用戶佩戴的VR頭顯設備上的傳感器可以在用戶使用VR頭顯設備的過程中感測頭部的轉動、移動等運動及其姿態變化，並對各項運動進行運算，得到相關的頭部姿態訊息(例如運動的速度、角度等)，處理裝置34根據得到的頭部姿態訊息就可以確定用戶的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息。
姿態收集裝置32還可以包括定位器、操控手柄、體感手套、體感衣服，以及跑步機等動感裝置等等，用於收集用戶的姿態訊息，繼而由處理裝置34處理得到用戶的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息。其中，姿態收集裝置32可以透過操控手柄、體感手套、體感衣服和跑步機等收集用戶的四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、皮膚感知訊息和運動感知訊息等。
在一個具體的例子中，VR頭顯設備上可以設有一個或多個定位器，用於監測用戶頭部位置(可以包括高度)、朝向等。此時，用戶在佩戴VR頭顯設備所在的現實空間中可以設有定位系統，該定位系統可以與用戶佩戴的VR頭顯設備上的一個或多個定位器進行定位通訊，確定用戶在此現實空間中的具體位置(可以 包括高度)、朝向等姿態訊息。然後。可以由處理裝置34將上述姿態訊息轉換為用戶頭部在虛擬空間中的相關位置(可以包括高度)、朝向等訊息。亦即，處理裝置34得到用戶的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息。
應理解，本申請實施例的左眼位置訊息、右眼位置訊息可以透過在座標系中的座標值來表示；左眼朝向訊息和右眼朝向訊息可以透過在座標系中的一個向量來表示，但本申請實施例對此不作限定。
還應理解，姿態收集裝置32在收集到姿態訊息後，需透過有線通訊或無線通訊，將姿態訊息發送給處理裝置34，文中對此不進行贅述。
還應理解，本申請實施例還可以透過其他方式收集用戶的姿態訊息，透過其他的方式來獲取和/或表示左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息，本申請實施例對具體的方式不作限定。
在VR場景的設計中，例如在VR場景的遊戲設計中，一個位置被設計為對應一個物體組。在一個具體的例子中，用戶的左眼位置LE和右眼位置RE分別對應的物體如第4圖所示。用戶的左眼位置對應物體L41、物體43、物體44、物體46和人物42，用戶的右眼位置對應物體R45、物體43、物體44、物體46和人物42。其中，該人物42是希望被改善其真實性的物體，為目標物體。
具體地，確定用戶的左眼位置或右眼位置對應的物體組中哪個物體是目標物體，可以基於VR場景的設計。例如，每個場景或多個場景可以存在一個目標物體列表，在生成VR場景時，根據目標物體列表找到該目標場景中的目標物體。再如，在VR場景的遊戲設計中規定，近景(距離用戶一定範圍內的場景)處的人 物是目標物體，近景處除人物以外的其他物體不是目標物體，遠景(距離用戶一定範圍外的場景)處的所有物體均不是目標物體，等等。確定場景中的目標物體可以由處理裝置34來執行，例如可以由處理裝置34中的CPU確定，本申請實施例對此不作限定。
應理解，對於VR場景而言，其中除目標物體以外的其他物體可以是預先透過3D建模生成3D模型，儲存在3D模型庫中。具體而言，第4圖示出的物體L41、物體43、物體44、物體R45和物體46的3D模型均儲存在3D模型庫中。處理裝置34(例如處理裝置34中的CPU)得到左眼位置訊息和右眼位置訊息後，從3D模型庫中確定出目標三維模型，即物體L41、物體43、物體44、物體R45和物體46的3D模型，以供後續渲染畫面使用。當然，也可以透過其他方式確定目標三維模型，本申請實施例對此不作限定。
對於VR場景中的目標物體，例如第4圖所示的VR場景中的人物42，則根據預先拍攝的多個視頻來生成。其中，該多個視頻是分別從不同的拍攝位置拍攝的包括目標物體的視頻。
具體地，假設該目標物體是人物42，則本申請實施例會從多個拍攝位置預先拍攝的關於該人物42的多個視頻。第5圖示出了預先拍攝的場景的示意圖。如第5圖所示，要拍攝的場景中包括人物42、物體52和物體54，要拍攝的場景儘量與最終顯示的VR場景的情況接近，以增加真實感。針對要拍攝的場景，可以在水平方向上放置多個拍攝設備，分別從拍攝位置C1、拍攝位置C2和拍攝位置C3進行攝像，可以得到人物在不同拍攝位置的原始視頻如第6圖所示。
應理解，預先拍攝視頻時可以在距離目標物體一定半徑的圓周上進行拍攝。在該圓周上拍攝位置選取得越多越密集，從中選擇出與用戶的左眼位置或右眼位置相同或相近的概率也越 大，最終選擇出的或者計算出的目標視頻放到VR場景中的真實性也越高。
更進一步的，拍預先拍攝視頻時的拍攝位置除了在一條直線上或距離目標物體一定半徑的圓周上以外，拍攝位置還可以組成一個平面或曲面甚至在三維空間內不同的位置，進而實現360度全景拍攝。
在本申請實施例中，多個視頻可以是對原始視頻經過透明處理後的僅包括目標物體的視頻。具體地，可以將分別從3個拍攝位置所拍攝的3個視頻中將人物42與構成背景的物體52和物體54進行分離，就可以得到只包括人物42的3個視頻。3個視頻是在相同的時間進行攝製的時間長度也相同的視頻。
可選地，本申請實施例中，透明處理可以是基於阿爾法(alpha)透明技術的處理。具體而言，如果VR場景的3D環境中允許像素擁有一組alpha值，alpha值用來記載像素的透明度，這樣使得物體可以擁有不同的透明程度。本申請實施例中，可以將原始視頻中的目標物體人物42處理為不透明的，構成背景的物體52和物體54處理為透明的。
一種具體的方案中，S340根據所述左眼位置訊息、所述右眼位置訊息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。
應理解，本申請各實施例中，左眼位置、右眼位置和拍攝位置在VR場景中可以統一表示為虛擬空間的座標，例如在x軸、y軸和z軸三軸座標系的座標或者球座標。左眼位置、右眼位置和 拍攝位置也可以以其他形式表示，本申請實施例對此不作限定。
在本方案中，對左眼位置訊息和右眼位置訊息求平均值，得到平均位置。例如，以三軸座標系為例，左眼位置為(x1，y1，z1)，右眼位置為(x2，y2，z2)，則平均位置為((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)。從多個視頻中選出拍攝位置與平均位置最接近的視頻作為目標視頻。
在多個拍攝位置是距離目標物體一定半徑的圓周上的多個位置的情況下，目標視頻的拍攝位置與平均位置最接近可以理解為目標視頻的拍攝位置(xt，yt，zt)與平均位置((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)的距離需小於預設的閾值，即保證目標視頻的拍攝位置與平均位置的距離足夠小。
在多個拍攝位置不在距離目標物體一定半徑的圓周上的情況下，目標視頻的拍攝位置與平均位置最接近可以理解為，平均位置與目標物體構成的線段與目標視頻的拍攝位置與目標物體構成的線段之間的夾角是平均位置與目標物體構成的線段與所有拍攝位置與目標物體構成的線段之間的夾角中角度最小的。
另一種具體的方案中，S340根據所述左眼位置訊息、所述右眼位置訊息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。
在這個方案中，可以選取用戶的左眼和右眼平均位置的左右至少各一個拍攝位置，從多個視頻中選取出左右至少各一個拍攝位置拍攝的視頻，作為計算目標視頻的參考。截取至少兩個 視頻在同一時刻對應的視頻幀進行插值運算，得到目標視頻。
在多個拍攝位置是距離目標物體一定半徑的圓周上的多個位置的情況下，從多個視頻中選取至少兩個視頻可以是選取與平均位置((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)的距離最小的至少兩個視頻。至少兩個視頻的拍攝位置至少有一個分佈在平均位置的左側，並且至少有一個分佈在平均位置的右側。
在多個拍攝位置不在距離目標物體一定半徑的圓周上的情況下，從多個視頻中選取至少兩個視頻可以是，平均位置與目標物體構成的線段與至少兩個視頻的拍攝位置與目標物體構成的線段之間的夾角是平均位置與目標物體構成的線段與所有拍攝位置與目標物體構成的線段之間的夾角中角度最小的幾個。至少兩個視頻的拍攝位置至少有一個分佈在平均位置的左側，並且至少有一個分佈在平均位置的右側。
應理解，在本申請實施例中，還可以根據其他的準則選取作為參考的視頻，本申請實施例對此不作限定。
還應理解，在本申請實施例中，不同拍攝位置拍攝到的視頻代表著觀察目標物體(例如，人物42)時的不同的觀察位置。換句話說，第6圖所示的3個視頻在同一物理時刻對應的視頻幀，是在不同的觀察位置觀察時的圖像。3個拍攝角度分別可以對應3個拍攝位置C1、C2和C3。
應理解，在本申請實施例中，除了預先拍攝多個視頻以外，也可以採用從多個拍攝位置預先拍攝目標物體的多組照片(或多組圖像)。根據左眼位置和右眼位置(或者平均位置)與多個拍攝位置的關係，從多組圖像中找到至少兩個拍攝位置對應的至少兩張圖像，對至少兩張圖像進行插值運算，得到目標圖像。具體的插值算法，會在下文中詳細描述。
第7圖是本申請一個實施例的確定目標視頻的示意圖。根據平均位置，從多個視頻中選取出至少兩個視頻，將至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來，根據平均位置和至少兩個視頻的拍攝位置，對至少兩個視頻幀進行插值運算，得到當目標視頻的具體過程可以如第7圖所示。
用戶在觀察VR場景時，觀察位置可以發生變化，例如用戶在面向VR場景時，觀察位置可以沿左右方向移動。3個拍攝位置分別為C1、C2和C3。C1、C2和C3可以透過三維直角座標系的座標值來表示，也可以透過球座標系的座標值表示，還可以透過其他方式表示，本申請實施例對此不作限定。根據用戶的左眼位置訊息和右眼位置訊息，可以確定用戶觀察時的平均位置Cview。如第7圖所示，平均位置Cview在C1和C2之間。在確定目標視頻時，因為平均位置Cview介於C1和C2之間，因此選取在拍攝位置C1和C2預先拍攝的視頻作為參考。在生成目標視頻的視頻幀(圖像)時，同時取出C1和C2分別對應的視頻在同一時刻對應的視頻幀I1和I2，然後對兩個視頻幀I1和I2進行插值，例如可以是線性插值。其中，插值的權重依據平均位置Cview與C1和C2的距離而定。輸出的目標視頻的視頻幀Iout=I1*(1-(C1-Cview/C1-C2))+I2*(1-(C2-Cview/C1-C2))。
應理解，以上只討論了用戶的觀察位置沿左右方向移動的情況，如果用戶的觀察位置前後移動，因為是在VR的3D場景中，所以觀察者看到的人物自然會呈現近大遠小的效果，雖然在物理上顯示的角度也應該有所變化，但是這種變化影響很小，一般用戶不會在意或者觀察到。此外，在一般的場景中，用戶只會前後左右移動，很少會進行在上下方向上進行大範圍移動，所以對於根據本申請實施例的方法確定的目標視頻，用戶所產生的失 真感覺也很小。
應理解，本申請實施例以目標物體為人物為例進行說明。當然目標物體也可以為要求真實性的動物，甚至建築物或植物等等，本申請實施例對此不作限定。
可選地，在本申請實施例中，S350根據左眼朝向訊息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面，可以包括：根據所述左眼朝向訊息，將所述目標三維模型渲染到第一紋理上；根據所述左眼朝向訊息，將所述目標視頻渲染到第二紋理上，其中，所述第一紋理可以是所述左眼畫面的背景，所述第二紋理是基於廣告牌面片技術的；S360根據右眼朝向訊息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面，可以包括：根據所述右眼朝向訊息，將所述目標三維模型渲染到第三紋理上；根據所述右眼朝向訊息，將所述目標視頻渲染到第四紋理上，其中，所述第三紋理可以是所述右眼畫面的背景，所述第四紋理是基於廣告牌面片技術的。
下面，結合第8圖詳細說明本申請實施例中渲染左眼畫面和右眼畫面的過程。如前文描述，處理裝置34(例如其中的CPU)在S330中已經確定目標三維模型，在S340中已經確定目標視頻。處理裝置34(例如其中的GPU)根據左眼朝向訊息，確定應呈現的左眼畫面；根據右眼朝向訊息，確定應呈現的右眼畫面。例如如第4圖所示的場景中，根據左眼朝向訊息(面向人物42)，確定左眼畫面中呈現物體L41、物體43、物體44和人物42；根據右眼朝向訊息(面向人物42)，確定右眼畫面中呈現物體43、物體44、物體R45和人物42。
處理裝置34(例如其中的GPU)將目標三維模型物體L41、物體43和物體44，渲染到左眼畫面L800的第一紋理82上，將 所述目標視頻渲染到左眼畫面L800的第二紋理84上；將目標三維模型物體43、物體44和物體R45渲染到右眼畫面R800的第三紋理86上，將所述目標視頻渲染到右眼畫面R800的第四紋理88上。
具體地，分別對於左眼畫面和右眼畫面，可以在畫面的目標物體的位置設置廣告牌面片，在廣告牌面片上呈現目標視頻。廣告牌技術是計算機圖形學領域中進行快速繪製的一種方法。在類似3D遊戲這種對實時性要求較高的情況下，採取廣告牌技術可以大大加快繪製的速度從而提高3D遊戲畫面的流暢性。廣告牌技術是在3D場景中，用2D來表示物體，讓該物體始終朝向用戶。
具體地，廣告牌面片在左眼畫面可以具有傾斜角度，傾斜角度的具體參數可以根據左眼位置訊息來計算；廣告牌面片在右眼畫面可以具有傾斜角度，傾斜角度的具體參數可以根據右眼位置訊息來計算。
實際上，由於VR場景是實時渲染的，在任一時刻，可以認為是將前述透過插值得到的視頻幀呈現在目標物體的位置上。在場景變化的一個連續時間段內，可以等效為視頻在廣告牌面片上進行播放。
如第8圖所示，在目標物體對應的位置設置廣告牌面片，將視頻的每一幀作為貼圖紋理繪製到上述廣告牌面片的貼圖，則視頻的每一幀會是一直是面對用戶的。
應理解，在渲染左眼畫面和右眼畫面時，可以採用深度緩衝技術與廣告牌技術結合。深度緩衝技術有助於目標物體按遠近距離與其他物體形成遮擋關係和大小比例關係。本申請實施例中，渲染目標視頻還可以使用其他技術，本申請實施例對此不作限定。
還應理解，本申請實施例還提供一種圖形處理方法，包括步驟S320至S360，方法由處理器執行。
還應理解，在本發明的各種實施例中，上述各過程的序號的大小並不意味著執行順序的先後，各過程的執行順序應以其功能和內在邏輯確定，而不應對本申請實施例的實施過程構成任何限定。
上文中結合第1圖至第8圖，詳細描述了根據本申請實施例的圖形處理方法。下面將結合第9A圖、9B和第10圖，詳細描述根據本申請實施例的裝置、處理器和VR系統。
第9A圖是本申請實施例中用於圖形處理方法的計算設備的結構示意圖。如第9A圖所示，該計算設備900包括處理器901、非揮發性計算機可讀儲存器902、I/O介面903、顯示介面904和網路通訊介面905。這些組件透過匯流排906進行通訊。在本申請一些實施例中，儲存器902中儲存有多個程式模組：操作系統907、I/O模組908、通訊模組909和圖像處理裝置900A。處理器901可以讀取儲存器902中的圖像處理裝置900A對應的計算機可讀指令，來實現本申請實施例提供的方案。
在本申請實施例中，I/O介面903可以與輸入/輸出設備連接。I/O介面903將從輸入設備接收到的輸入資料發送給I/O模組908進行處理，並將I/O模組908輸出的資料發送給輸出設備。
網路通訊介面905可以將從通訊匯流排906接收到的資料發送給通訊模組909，並將從通訊模組909接收到的資料透過匯流排906發送出去。
在一些實例中，所述儲存器902中儲存的圖像處理裝置900A對應的計算機可讀指令，可以使所述處理器901執行：獲取觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境VR畫 面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
在一些實例中，所述指令可以使所述處理器901：根據待展示的所述VR畫面的時間訊息，從預先拍攝的多個視頻中確定每個視頻中所述時間訊息對應的視頻幀作為所述圖像。
在一些實例中，所述指令可以使所述處理器901：將所述目標圖像渲染到所述VR畫面中的第一預設紋理上，其中，所述第一預設紋理是基於廣告牌面片技術的。
在一些實例中，其中，所述指令可以使所述處理器901：獲取所述觀察者的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息；其中，所述VR畫面包括左眼畫面和右眼畫面；根據所述左眼位置訊息和所述左眼朝向訊息確定所述左眼畫面；根據所述右眼位置訊息和所述右眼朝向訊息確定所述右眼畫面；根據所述左眼朝向訊息和所述目標圖像，實時渲染所述左眼畫面，並在所述左眼畫面中渲染所述目標圖像；根據所述右眼朝向訊息和所述目標圖像，實時渲染所述右眼畫面，並在所述右眼畫面中渲染所述目標圖像。
在一些實例中，所述指令可以使所述處理器901：根據所述位置訊息，確定所述VR畫面中的第一物體；從三維模型庫中確定出所述第一物體對應的目標三維模型；將所述三維模型渲染到所述VR畫面的第二預設紋理上。在一些實例中，所述指令可以使所述處理器901：對所述左眼位置訊息和所述右眼位置訊息求平 均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取至少兩個視頻，所述多個視頻是從不同的拍攝位置拍攝得到；從所述至少兩個視頻中的每個視頻中選取一個視頻幀作為所述圖像；根據所述平均位置和所述至少兩個視頻的拍攝位置之間的空間位置關係，對所述圖像進行運算得到所述目標圖像。
在一些實例中，所述指令可以使所述處理器901：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取出目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述預先拍攝的多個視頻的拍攝位置中與所述平均位置的空間距離中最小的；從所述目標視頻中選取一個視頻幀，並將所述視頻幀作為所述目標圖像。
在一些實例中，所述多個視頻是對所述多個視頻的原始視頻經過透明處理後的僅包括所述目標物體的視頻，所述目標物體為人物。
在一些實例中，所述左眼位置訊息、所述右眼位置訊息、所述左眼朝向訊息和所述右眼朝向訊息是根據所收集的所述用戶當前的姿態訊息確定的。
在一些實例中，所述姿態訊息包括頭部姿態訊息、四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、眼球跟蹤訊息、皮膚感知訊息、運動感知訊息和腦訊號訊息中的至少一種。
第9B圖是本申請一個實施例的處理器900BB的示意性方塊圖。處理器900B可以對應於前文所述的處理裝置34。如第9圖所示，處理器900B可以包括獲取模組910、計算模組920和渲染模組930。
獲取模組910用於獲取用戶的左眼位置訊息、右眼位置 訊息、左眼朝向訊息和右眼朝向訊息。
計算模組920用於根據所述獲取模組獲取的所述左眼位置訊息和所述右眼位置訊息，從三維模型庫中確定出目標三維模型；計算模組920還用於根據所述左眼位置訊息、所述右眼位置訊息和預先拍攝的多個視頻，確定目標視頻，其中，所述多個視頻是分別從不同的拍攝位置拍攝的視頻。
渲染模組930用於根據左眼朝向訊息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面；渲染模組930還用於根據右眼朝向訊息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面；其中，所述左眼畫面和所述右眼畫面顯示在虛擬實境VR顯示器上時形成VR場景，所述VR場景中包括所述目標三維模型的圖像和所述目標視頻的圖像。
本申請實施例的圖形處理裝置，根據用戶的左右眼的位置訊息，確定目標三維模型並且根據預先拍攝的多個視頻確定目標視頻，透過實時渲染的方式渲染技術分別渲染左眼畫面和右眼畫面，從而顯示VR場景，其中，VR場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現實景，在保持整個VR場景可互動性的基礎上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。
可選地，作為一個實施例，所述渲染模組930具體可以用於：根據所述左眼朝向訊息，將所述目標三維模型渲染到第一紋理上；根據所述左眼朝向訊息，將所述目標視頻渲染到第二紋理上，其中，所述第二紋理是基於廣告牌面片技術的；根據所述右眼朝向訊息，將所述目標三維模型渲染到第三紋理上；根據所述右眼朝向訊息，將所述目標視頻渲染到第四紋理上，其中，所述第四紋理是基於廣告牌面片技術的。
可選地，作為一個實施例，所述計算模組920根據所述左眼位置訊息、所述右眼位置訊息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。
可選地，作為一個實施例，所述計算模組920根據所述左眼位置訊息、所述右眼位置訊息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。
可選地，作為一個實施例，所述多個視頻是對原始視頻經過透明處理後的僅包括目標物體的視頻。
可選地，作為一個實施例，所述目標物體為人物。
可選地，作為一個實施例，所述獲取模組910獲取的所述左眼位置訊息、所述右眼位置訊息、所述左眼朝向訊息和所述右眼朝向訊息是根據所收集的所述用戶當前的姿態訊息確定的。
可選地，作為一個實施例，所述姿態訊息包括頭部姿態訊息、四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、眼球跟蹤訊息、皮膚感知訊息、運動感知訊息和腦訊號訊息中的至少一種。
應理解，所述處理器900B可以是CPU也可以是GPU。處 理器900B還可以既包括CPU的功能又包括GPU的功能，例如，獲取模組910和計算模組920的功能(S320至S340)由CPU執行，渲染模組930的功能(S350和S360)由GPU執行，本申請實施例對此不作限定。
第10圖示出的是本申請實施例的一種VR系統的示意圖。第10圖所示的是一種VR頭盔1000，VR頭盔1000可以包括頭部跟蹤器1010、CPU 1020、GPU 1030和顯示器1040。其中，頭部跟蹤器1010對應於姿態收集裝置，CPU 1020和GPU 1030對應於處理裝置，顯示器1040對應於顯示裝置，此處對頭部跟蹤器1010、CPU 1020、GPU 1030和顯示器1040的功能不再贅述。
應理解，第10圖示出的頭部跟蹤器1010、CPU 1020、GPU 1030和顯示器1040集成在VR頭盔1000中。在VR頭盔1000外部還可以有其他的姿態收集裝置，收集用戶的姿態訊息，發送給CPU 1020進行處理，本申請實施例對此不作限定。
第11圖示出的是本申請實施例的另一種VR系統的示意圖。第11圖所示的是一種VR眼鏡1110與主機1120構成的VR系統，VR眼鏡1110可以包括角度感應器1112、訊號處理器1114、資料傳輸器1116和顯示器1118。其中，角度感應器1112對應於姿態收集裝置，主機1120中包括CPU和GPU對應於處理裝置來計算並渲染畫面，顯示器1118對應於顯示裝置。角度感應器1112收集用戶的姿態訊息，將姿態訊息發送給主機1120進行處理，主機1120計算並渲染左眼畫面和右眼畫面，並將左眼畫面和右眼畫面發送給顯示器1118進行顯示。訊號處理器1114和資料傳輸器1116主要用於VR眼鏡1110與主機1120之間的通訊。
在VR眼鏡1110外部還可以有其他的姿態收集裝置，收集用戶的姿態訊息，發送給主機1120進行處理，本申請實施例對此 不作限定。
本申請實施例的虛擬實境系統，收集用戶的姿態訊息來確定用戶左右眼的位置，根據用戶的左右眼的位置訊息，確定目標三維模型並且根據預先拍攝的多個視頻確定目標視頻，透過實時渲染的方式渲染技術分別渲染左眼畫面和右眼畫面，從而顯示VR場景，其中，VR場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現實景，在保持整個VR場景可互動性的基礎上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。
本申請實施例還提供一種計算機可讀儲存介質，其上儲存有指令，當所述指令在計算機上運行時，使得所述計算機執行上述方法實施例的圖形處理方法。具體地，該計算機可以為上述VR系統或者為處理器。
本申請實施例還提供一種包括指令的計算機程式產品，其特徵在於，當計算機運行所述計算機程式產品的所述指時，所述計算機執行上述方法實施例的圖形處理方法。具體地，該計算機程式產品可以運行於VR系統或者處理器中。
在上述實施例中，可以全部或部分地透過軟體、硬體、韌體或者其任意組合來實現。當使用軟體實現時，可以全部或部分地以計算機程式產品的形式實現。所述計算機程式產品包括一個或多個計算機指令。在計算機上加載和執行所述計算機指令時，全部或部分地產生按照本申請實施例所述的流程或功能。所述計算機可以是通用計算機、特殊應用計算機、計算機網路、或者其他可編程裝置。所述計算機指令可以儲存在計算機可讀儲存介質中，或者從一個計算機可讀儲存介質向另一個計算機可讀儲存介質傳輸，例如，所述計算機指令可以從一個網站站點、計算 機、伺服器或資料中心透過有線(例如同軸電纜、光纖、數位用戶迴路(Digital Subscriber Line，DSL))或無線(例如紅外、無線、微波等)方式向另一個網站站點、計算機、伺服器或資料中心進行傳輸。所述計算機可讀儲存介質可以是計算機能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料儲存設備。所述可用介質可以是磁性介質(例如，軟碟、硬碟、磁帶)、光介質(例如，數位多功能影音光碟(Digital Video Disc，DVD))、或者半導體介質(例如，固態硬碟(Solid State Disk，SSD))等。
應理解，本文中涉及的第一、第二以及各種數位編號僅為描述方便進行的區分，並不用來限制本申請的範圍。
應理解，本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯對象是一種“或”的關係。
所屬技術領域具有通常知識者可以意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、或者計算機軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本申請的範圍。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以透過其他的方式實現。例如，以上所 描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些連接埠，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其他的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
以上所述，僅為本申請的具體實施方式，但本申請的保護範圍並不局限於此，所屬技術領域具有通常知識者在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應所述以申請專利範圍的保護範圍為准。

Claims (46)

  1. 一種圖形處理方法，應用於計算設備，包括：獲取觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境(Virtual Reality,VR)畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；以及展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
  2. 如申請專利範圍第1項所述之方法，其中獲取預先儲存的所述目標物體對應的至少兩個圖像包括：根據待展示的所述VR畫面的時間訊息，從預先拍攝的多個視頻中確定所述時間訊息對應的至少兩個視頻幀作為所述至少兩個圖像。
  3. 如申請專利範圍第1項所述之方法，進一步包括：將所述目標圖像渲染到所述VR畫面中的第一預設紋理上，其中所述第一預設紋理是基於廣告牌(billboard)面片(patch)技術的。
  4. 如申請專利範圍第1項所述之方法，其中獲取所述觀察者的所述位置訊息包括：獲取所述觀察者的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息；其中，所述VR畫面包括左眼畫面和右眼畫面，所述展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像，包括：根據所述左眼位置訊息和所述左眼朝向訊息確定所述左眼畫 面；根據所述右眼位置訊息和所述右眼朝向訊息確定所述右眼畫面；根據所述左眼朝向訊息和所述目標圖像，實時(real time)渲染所述左眼畫面，並在所述左眼畫面中渲染所述目標圖像；以及根據所述右眼朝向訊息和所述目標圖像，實時渲染所述右眼畫面，並在所述右眼畫面中渲染所述目標圖像。
  5. 如申請專利範圍第1項所述之方法，進一步包括根據所述位置訊息，確定所述VR畫面中的第一物體；從三維模型庫中確定出所述第一物體對應的三維模型；以及將所述三維模型渲染到所述VR畫面的第二預設紋理上。
  6. 如申請專利範圍第4項所述之方法，其中獲取預先儲存的所述目標物體對應的所述至少兩個圖像、利用所述至少兩個圖像生成所述目標圖像包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取至少兩個視頻，所述多個視頻是從不同的拍攝位置拍攝得到；從所述至少兩個視頻中的每個視頻中選取一個視頻幀作為所述圖像；以及根據所述平均位置和所述至少兩個視頻的拍攝位置之間的空間位置關係，對所述圖像進行運算得到所述目標圖像。
  7. 如申請專利範圍第4項所述之方法，其中根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成所述目標圖像，包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平 均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取出目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述預先拍攝的多個視頻的拍攝位置與所述平均位置的空間距離中最小的；以及從所述目標視頻中選取一個視頻幀，並將所述視頻幀作為所述目標圖像。
  8. 如申請專利範圍第2項所述之方法，其中所述多個視頻是對所述多個視頻的原始視頻經過透明處理後的僅包括所述目標物體的視頻。
  9. 如申請專利範圍第8項所述之方法，其中所述目標物體為人物。
  10. 如申請專利範圍第4項所述之方法，其中所述左眼位置訊息、所述右眼位置訊息、所述左眼朝向訊息和所述右眼朝向訊息是根據所收集的用戶當前的姿態訊息確定的。
  11. 如申請專利範圍第10項所述之方法，其中所述姿態訊息包括頭部姿態訊息、四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、眼球跟蹤訊息、皮膚感知訊息、運動感知訊息和腦訊號訊息中的至少一種。
  12. 一種圖形處理裝置，包括：處理器和儲存器，所述儲存器中儲存有計算機可讀指令，可以使所述處理器執行：獲取觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境(Virtual Reality,VR)畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像； 根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；以及展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
  13. 如申請專利範圍第12項所述之裝置，其中所述指令可以使所述處理器：根據待展示的所述VR畫面的時間訊息，從預先拍攝的多個視頻中確定每個視頻中所述時間訊息對應的至少兩個視頻幀作為所述至少兩個圖像。
  14. 如申請專利範圍第12項所述之裝置，其中所述指令可以使所述處理器：將所述目標圖像渲染到所述VR畫面中的第一預設紋理上，其中，所述第一預設紋理是基於廣告牌(billboard)面片(patch)技術的。
  15. 如申請專利範圍第12項所述之裝置，其中所述指令可以使所述處理器：獲取所述觀察者的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息；其中，所述VR畫面包括左眼畫面和右眼畫面；根據所述左眼位置訊息和所述左眼朝向訊息確定所述左眼畫面；根據所述右眼位置訊息和所述右眼朝向訊息確定所述右眼畫面；根據所述左眼朝向訊息和所述目標圖像，實時(real time)渲染所述左眼畫面，並在所述左眼畫面中渲染所述目標圖像；以及根據所述右眼朝向訊息和所述目標圖像，實時渲染所述右眼 畫面，並在所述右眼畫面中渲染所述目標圖像。
  16. 如申請專利範圍第14項所述之裝置，其中所述指令可以使所述處理器：根據所述位置訊息，確定所述VR畫面中的第一物體；從三維模型庫中確定出所述第一物體對應的目標三維模型；以及將所述三維模型渲染到所述VR畫面的第二預設紋理上。
  17. 如申請專利範圍第15項所述之裝置，其中所述指令可以使所述處理器：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取至少兩個視頻，所述多個視頻是從不同的拍攝位置拍攝得到；以及從所述至少兩個視頻中的每個視頻中選取一個視頻幀作為所述圖像；根據所述平均位置和所述至少兩個視頻的拍攝位置之間的空間位置關係，對所述圖像進行運算得到所述目標圖像。
  18. 如申請專利範圍第15項所述之裝置，其中所述指令可以使所述處理器：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取出目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述預先拍攝的多個視頻的拍攝位置中與所述平均位置的空間距離中最小的；以及從所述目標視頻中選取一個視頻幀，並將所述視頻幀作為所述目標圖像。
  19. 如申請專利範圍第13項所述之裝置，其中所述多個視頻是對所述多個視頻的原始視頻經過透明處理後的僅包括所述目標物體的視頻。
  20. 如申請專利範圍第19項所述之裝置，其中所述目標物體為人物。
  21. 如申請專利範圍第15項所述之裝置，其中所述左眼位置訊息、所述右眼位置訊息、所述左眼朝向訊息和所述右眼朝向訊息是根據所收集的所述用戶當前的姿態訊息確定的。
  22. 如申請專利範圍第21項所述之裝置，其中所述姿態訊息包括頭部姿態訊息、四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、眼球跟蹤訊息、皮膚感知訊息、運動感知訊息和腦訊號訊息中的至少一種。
  23. 如申請專利範圍第12至22項任一項所述之裝置，其中所述處理器包括中央處理器(Central Processing Unit,CPU)和圖形處理器(Graphics Processing Init,GPU)中的至少一種。
  24. 一種圖形處理方法，適應於計算設備，包括：收集觀察者當前的姿態訊息；根據所述姿態訊息，得到所述觀察者的位置訊息；根據所述位置訊息確定待展示的虛擬實境(Virtual Reality,VR)畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；以及展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
  25. 如申請專利範圍第24項所述之方法，其中根據待展示的所述VR畫面的時間訊息，從預先拍攝的多個視頻中確定每個視頻中所述時間訊息對應的視頻幀作為所述圖像。
  26. 如申請專利範圍第24項所述之方法，進一步包括：將所述目標圖像渲染到所述VR畫面中的第一預設紋理上，其中，所述第一預設紋理是基於廣告牌(billboard)面片(patch)技術的。
  27. 如申請專利範圍第24項所述之方法，其中所述獲取觀察者的位置訊息，包括：獲取所述觀察者的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息；其中，所述VR畫面包括左眼畫面和右眼畫面，所述展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像，包括：根據所述左眼位置訊息和所述左眼朝向訊息確定所述左眼畫面；根據所述右眼位置訊息和所述右眼朝向訊息確定所述右眼畫面；以及根據所述左眼朝向訊息和所述目標圖像，實時(real time)渲染所述左眼畫面，並在所述左眼畫面中渲染所述目標圖像；根據所述右眼朝向訊息和所述目標圖像，實時渲染所述右眼畫面，並在所述右眼畫面中渲染所述目標圖像。
  28. 如申請專利範圍第24項所述之方法，進一步包括：根據所述位置訊息，確定所述VR畫面中的第一物體；從三維模型庫中確定出所述第一物體對應的三維模型；以及將所述三維模型渲染到所述VR畫面的第二預設紋理上。
  29. 如申請專利範圍第27項所述之方法，其中獲取預先儲存 的所述目標物體對應的所述至少兩個圖像、利用所述至少兩個圖像生成所述目標圖像，包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取至少兩個視頻，所述多個視頻是從不同的拍攝位置拍攝得到；從所述至少兩個視頻中的每個視頻中選取一個視頻幀作為所述圖像；以及根據所述平均位置和所述至少兩個視頻的拍攝位置之間的空間位置關係，對所述圖像進行運算得到所述目標圖像。
  30. 如申請專利範圍第27項所述之方法，其中所述根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取出目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述預先拍攝的多個視頻的拍攝位置與所述平均位置的空間距離中最小的；以及從所述目標視頻中選取一個視頻幀，並將所述視頻幀作為所述目標圖像。
  31. 如申請專利範圍第25項所述之方法，其中所述多個視頻是對所述多個視頻的原始視頻經過透明處理後的僅包括所述目標物體的視頻。
  32. 如申請專利範圍第31項所述之方法，其中所述目標物體為人物。
  33. 如申請專利範圍第24項所述之方法，其中所述收集觀察者當前的姿態訊息，包括：收集所述觀察者當前的頭部姿態訊息、四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、眼球跟蹤訊息、皮膚感知訊息、運動感知訊息和腦訊號訊息中的至少一種。
  34. 一種虛擬實境(Virtual Reality,VR)系統，包括姿態收集裝置、處理裝置和顯示裝置：所述姿態收集裝置用於：收集觀察者當前的姿態訊息；所述處理裝置用於：根據所述姿態訊息，得到所述觀察者的位置訊息；根據所述位置訊息確定待展示的VR畫面中的目標物體；獲取預先儲存的所述目標物體對應的至少兩個圖像，所述至少兩個圖像為分別從不同的拍攝位置拍攝的圖像；以及根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，所述目標圖像為所述觀察者的位置對應的所述目標物體的圖像；所述顯示裝置用於：展示所述VR畫面，並在所述VR畫面中渲染所述目標圖像。
  35. 如申請專利範圍第34項所述之VR系統，其中所述處理裝置根據待展示的所述VR畫面的時間訊息，從預先拍攝的多個視頻中確定每個視頻中所述時間訊息對應的視頻幀作為所述圖像。
  36. 如申請專利範圍第34項所述之VR系統，其中所述處理裝置將所述目標圖像渲染到所述VR畫面中的第一預設紋理上，其中，所述第一預設紋理是基於廣告牌(billboard)面片(patch)技術的。
  37. 如申請專利範圍第34項所述之VR系統，其中所述處理裝置，獲取所述觀察者的左眼位置訊息、右眼位置訊息、左眼朝向訊息和右眼朝向訊息；其中，所述VR畫面包括左眼畫面和右眼畫面，其中，所述處理裝置根據所述左眼位置訊息和所述左眼朝向訊息確定所述左眼畫面；根據所述右眼位置訊息和所述右眼朝向訊息確定所述右眼畫面；根據所述左眼朝向訊息和所述目標圖像，實時(real time)渲染所述左眼畫面，並在所述左眼畫面中渲染所述目標圖像；以及根據所述右眼朝向訊息和所述目標圖像，實時渲染所述右眼畫面，並在所述右眼畫面中渲染所述目標圖像。
  38. 如申請專利範圍第34項所述之VR系統，其中所述處理裝置，進一步用於：根據所述位置訊息，確定所述VR畫面中的第一物體；從三維模型庫中確定出所述第一物體對應的三維模型；以及將所述三維模型渲染到所述VR畫面的第二預設紋理上。
  39. 如申請專利範圍第37項所述之VR系統，其中所述處理裝置獲取預先儲存的所述目標物體對應的所述至少兩個圖像、利用所述至少兩個圖像生成所述目標圖像，包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取至少兩個視頻，所述多個視頻是從不同的拍攝位置拍攝得到；從所述至少兩個視頻中的每個視頻中選取一個視頻幀作為所述圖像；以及根據所述平均位置和所述至少兩個視頻的拍攝位置之間的空間位置關係，對所述圖像進行運算得到所述目標圖像。
  40. 如申請專利範圍第34、35和37項任一項所述之VR系統，其中所述處理裝置根據所述位置訊息和所述至少兩個圖像對應的拍攝位置，利用所述至少兩個圖像生成目標圖像，包括：對所述左眼位置訊息和所述右眼位置訊息求平均值，得到平均位置；根據所述平均位置，從所述預先拍攝的多個視頻中選取出目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述預先拍攝的多個視頻的拍攝位置與所述平均位置的空間距離中最小的；以及從所述目標視頻中選取一個視頻幀，並將所述視頻幀作為所述目標圖像。
  41. 如申請專利範圍第37項所述之VR系統，其中所述多個視頻是對所述多個視頻的原始視頻經過透明處理後的僅包括所述目標物體的視頻。
  42. 如申請專利範圍第41項所述之VR系統，其中所述目標物體為人物。
  43. 如申請專利範圍第34項所述之VR系統，其中所述姿態收集裝置具體用於：收集所述用戶當前的頭部姿態訊息、四肢姿態訊息、軀幹姿態訊息、肌肉電刺激訊息、眼球跟蹤訊息、皮膚感知訊息、運動感知訊息和腦訊號訊息中的至少一種。
  44. 如申請專利範圍第34項所述之VR系統，其中所述處理裝置包括中央處理器(Central Processing Unit,CPU)和圖形處理器(Graphics Processing Init,GPU)中的至少一種。
  45. 一種計算機儲存介質，其上儲存有指令，當所述指令在計算機上運行時，使得所述計算機執行申請專利範圍第1至11項 任一項所述的方法。
  46. 一種計算機儲存介質，其上儲存有指令，當所述指令在計算機上運行時，使得所述計算機執行申請專利範圍第24至33項任一項所述的方法。
TW107116847A 2017-05-25 2018-05-17 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 TWI659335B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201710379516.5 2017-05-25
CN201710379516.5A CN107315470B (zh) 2017-05-25 2017-05-25 图形处理方法、处理器和虚拟现实系统

Publications (2)

Publication Number Publication Date
TW201835723A true TW201835723A (zh) 2018-10-01
TWI659335B TWI659335B (zh) 2019-05-11

Family

ID=60182018

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107116847A TWI659335B (zh) 2017-05-25 2018-05-17 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質

Country Status (3)

Country Link
CN (1) CN107315470B (zh)
TW (1) TWI659335B (zh)
WO (1) WO2018214697A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315470B (zh) * 2017-05-25 2018-08-17 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
CN110134222A (zh) * 2018-02-02 2019-08-16 上海集鹰科技有限公司 一种vr头显定位瞄准系统及其定位瞄准方法
CN108616752B (zh) * 2018-04-25 2020-11-06 北京赛博恩福科技有限公司 支持增强现实交互的头戴设备及控制方法
CN109032350B (zh) * 2018-07-10 2021-06-29 深圳市创凯智能股份有限公司 眩晕感减轻方法、虚拟现实设备及计算机可读存储介质
CN110570513B (zh) * 2018-08-17 2023-06-20 创新先进技术有限公司 一种展示车损信息的方法和装置
CN111065053B (zh) * 2018-10-16 2021-08-17 北京凌宇智控科技有限公司 一种视频串流的系统及方法
CN111064985A (zh) * 2018-10-16 2020-04-24 北京凌宇智控科技有限公司 一种实现视频串流的系统、方法及装置
WO2020078354A1 (zh) 2018-10-16 2020-04-23 北京凌宇智控科技有限公司 视频串流系统、视频串流方法及装置
CN109976527B (zh) * 2019-03-28 2022-08-12 重庆工程职业技术学院 交互式vr展示系统
CN112015264B (zh) * 2019-05-30 2023-10-20 深圳市冠旭电子股份有限公司 虚拟现实显示方法、虚拟现实显示装置及虚拟现实设备
CN111857336B (zh) * 2020-07-10 2022-03-25 歌尔科技有限公司 头戴式设备及其渲染方法、存储介质
CN112073669A (zh) * 2020-09-18 2020-12-11 三星电子（中国）研发中心 一种视频通信的实现方法和装置
CN112308982A (zh) * 2020-11-11 2021-02-02 安徽山水空间装饰有限责任公司 一种装修效果展示方法及其装置
CN113436489A (zh) * 2021-06-09 2021-09-24 深圳大学 一种基于虚拟现实的留学体验系统及留学体验方法
CN115713614A (zh) * 2022-11-25 2023-02-24 立讯精密科技(南京)有限公司 一种图像场景构造方法、装置、电子设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100573595C (zh) * 2003-06-20 2009-12-23 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
KR100656342B1 (ko) * 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US8400493B2 (en) * 2007-06-25 2013-03-19 Qualcomm Incorporated Virtual stereoscopic camera
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
WO2011111349A1 (ja) * 2010-03-10 2011-09-15 パナソニック株式会社 立体映像表示装置および視差調整方法
CN102404584B (zh) * 2010-09-13 2014-05-07 腾讯科技(成都)有限公司 调整场景左右摄像机的方法及装置、3d眼镜、客户端
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US20150358539A1 (en) * 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
CN104679509B (zh) * 2015-02-06 2019-11-15 腾讯科技（深圳）有限公司 一种渲染图形的方法和装置
WO2017062268A1 (en) * 2015-10-04 2017-04-13 Thika Holdings Llc Eye gaze responsive virtual reality headset
CN106385576B (zh) * 2016-09-07 2017-12-08 深圳超多维科技有限公司 立体虚拟现实直播方法、装置及电子设备
CN106507086B (zh) * 2016-10-28 2018-08-31 北京灵境世界科技有限公司 一种漫游实景vr的3d呈现方法
CN106527696A (zh) * 2016-10-31 2017-03-22 宇龙计算机通信科技(深圳)有限公司 一种实现虚拟操作的方法以及可穿戴设备
CN106657906B (zh) * 2016-12-13 2020-03-27 国家电网公司 具有自适应场景虚拟现实功能的信息设备监控系统
CN106643699B (zh) * 2016-12-26 2023-08-04 北京互易科技有限公司 一种虚拟现实系统中的空间定位装置和定位方法
CN107315470B (zh) * 2017-05-25 2018-08-17 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统

Also Published As

Publication number Publication date
TWI659335B (zh) 2019-05-11
CN107315470B (zh) 2018-08-17
CN107315470A (zh) 2017-11-03
WO2018214697A1 (zh) 2018-11-29

Similar Documents

Publication Publication Date Title
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
US9613463B2 (en) Augmented reality extrapolation techniques
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
JP6456347B2 (ja) 平面固有の特徴のターゲットのｉｎｓｉｔｕ生成
US20120162384A1 (en) Three-Dimensional Collaboration
JP2017174125A (ja) 情報処理装置、情報処理システム、および情報処理方法
JP7073481B2 (ja) 画像表示システム
JP2016502712A (ja) 単眼視覚ｓｌａｍのための高速初期化
CN104508600A (zh) 三维用户界面装置及三维操作方法
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN115917474A (zh) 在三维环境中呈现化身
CN106843790B (zh) 一种信息展示系统和方法
US11302023B2 (en) Planar surface detection
US20230037750A1 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
JP2022537817A (ja) 動的オクルージョンのための高速の手のメッシュ化
CN107065164B (zh) 图像展示方法及装置
JP6775669B2 (ja) 情報処理装置
US10902554B2 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
US11128836B2 (en) Multi-camera display
CN108416255B (zh) 基于三维动画中角色实时面部表情动画捕捉的系统和方法
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备