JP2017117431A - System and method transmitting media through network - Google Patents

System and method transmitting media through network Download PDF

Info

Publication number
JP2017117431A
JP2017117431A JP2016121237A JP2016121237A JP2017117431A JP 2017117431 A JP2017117431 A JP 2017117431A JP 2016121237 A JP2016121237 A JP 2016121237A JP 2016121237 A JP2016121237 A JP 2016121237A JP 2017117431 A JP2017117431 A JP 2017117431A
Authority
JP
Japan
Prior art keywords
3d model
user device
server
3d
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016121237A
Other languages
Japanese (ja)
Other versions
JP6306089B2 (en
Inventor
榮昌 郭
Jung Chang Kuo
榮昌 郭
昇龍 楊
Sheng Lung Yang
昇龍 楊
安倫 ▲とう▼
安倫 ▲とう▼
An Lun Teng
Original Assignee
ユービッタズ アイエンシーUbitus Inc.
Ubitus Inc
ユービッタズ アイエンシーUbitus Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/976,239 priority Critical
Priority to US14/976,239 priority patent/US9370718B2/en
Application filed by ユービッタズ アイエンシーUbitus Inc., Ubitus Inc, ユービッタズ アイエンシーUbitus Inc. filed Critical ユービッタズ アイエンシーUbitus Inc.
Publication of JP2017117431A publication Critical patent/JP2017117431A/en
Application granted granted Critical
Publication of JP6306089B2 publication Critical patent/JP6306089B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a system and a method transmitting media through a network.SOLUTION: A VR application program 1100 executed by a server 1 produces a virtual VR3D environment including a plurality of 3D models. The server 1 checks respective states in a prescribed order, renders a 3D model that is not downloaded to a user device 21 in a left eye frame and a right eye frame of 2D video streaming, and transmits it to the user device 21. The server 1 does not render other 3D models stored to the user device 21 and performs synchronous transmission of interpretation information. When the user device 21 receives the left and right eye frames and the interpretation information, it uses the 3D model stored to itself on the basis of the interpretation information with the left and right eye frames as a background screen, performs re-rendering to produce a foreground screen, finally mixes the foreground with a background, and produces and outputs a mixed VR frame of output video streaming including a VR scene.SELECTED DRAWING: Figure 8

Description

本発明はネットワークを通して画像や音声等メディアを伝送するシステム及び方法に関し、特に、ユーザーデバイス上でバーチャルリアリティー(Virtual-Reality)(この後、“VR”と略称する)画像の3Dオブジェクトをレンダリングする方法で、同方法はユーザーデバイスが3Dオブジェクトをレンダリングし、サーバーが提供するVRシーンの2Dビデオストリーミングを結合する、ネットワークを通してメディアを伝送するシステム及び方法に関する。 The present invention which relates to a system and method for transmitting pictures and audio, etc. media through a network, in particular, virtual reality on the user device (Virtual-Reality) (thereafter abbreviated as "VR") to render 3D objects in an image in, the method the user device renders the 3D object, the server binds the 2D video streaming VR scene to provide a system and method for transferring media through the network.

この数年間、オンラインゲームは世界のトレンドとなっている。 Over the past few years, online games has become a global trend. クラウドコンピューティング関連システムとテクノロジーの発展に従い、ストリーミングサーバを利用したゲームコンテンツやサービスを提供する技術も現れている。 In accordance with the development of cloud computing-related systems and technology, it has also appeared technology to provide a game content and services using the streaming server.

従来のクラウドゲームサービスを提供する方法は、サーバーによりほとんどすべての演算を行う。 How to provide a traditional cloud game service performs almost all of the operations by the server. つまり、クラウドゲームサービスを提供するには、該サーバーは多数の参加者により移動或いはコントロールできる3Dオブジェクトを含むバーチャル3D環境を作らなければならない。 In other words, in order to provide a cloud gaming service, the server must create a virtual 3D environment, including a 3D object that can be moved or controlled by the large number of participants. 従来の技術において、これら3Dオブジェクトは音声効果を備える。 In the prior art, these 3D objects is provided with a sound effect. 後の参加者(プレーヤー)のコントロール動作に基づき、該サーバーはバーチャル3D環境と3Dオブジェクトとを結合し、ゲーム機のスクリーン上に、立体音声を備える2Dゲームをレンダリングする。 Based on the control operation after the participant (player), the server combines the virtual 3D environment and the 3D object, on the screen of the game machine, render a 2D game with a three-dimensional sound.
続いて、該サーバーは、レンダリング後の画像と立体音声を、音声を備える2Dビデオストリーミングとして、ネットワークを通してプレーヤーのデバイス上に伝送する。 Subsequently, the server transmits the image and a three-dimensional sound after rendering, as a 2D video streaming with audio, on through the network player devices. プレーヤーデバイスはそれを受け取った後、デコードと該2Dビデオストリーミングを表示するだけで、余計な3Dレンダリング演算を行う必要はない。 Players device after receiving it, only displays the decoded and the 2D video streaming, it is not necessary to perform extra 3D rendering operations.
しかしながら、同一サーバーにおいて、多くのプレーヤーがレンダリング演算を行う伝統技術では、3Dレンダリング演算を執行するサーバーの負荷が過大になってしまう。 However, in the same server, in the traditional techniques that many of the players perform the rendering operation, the load on the server to enforce a 3D rendering operation becomes excessive. この他、プレーヤーが目にする画面はすべて、破壊的圧縮を経た2Dビデオストリーミング形式で伝送されるため、画像であろうと音声であろうと、その品質はもともとの3Dオブジェクトの品質とは差がある。 In addition, since the player is to be transmitted in a 2D video streaming format through the screen are all destructive compression to the eye, whether audio and would image, its quality there is a difference from the quality of the original 3D object . しかも、サーバーとプレーヤーデバイス間の大量のネットワーク通信帯域幅も大きな問題となる。 In addition, a large amount of network communication bandwidth between the server and the player device also becomes a big problem.

バーチャルリアリティー(Virtual-Reality)(この後、“VRと略称する)技術は、近年流行している。人の眼にVRの視覚的体験を提供するために、バーチャルなVRシーンには、人の左目だけが見る画像と、人の右目だけが見る画像とが含まれなければならない。本発明が提供するネットワークを通して画像や音声等メディアを伝送するシステム及び方法は、ユーザーデバイス上で3Dオブジェクトをレンダリングし、サーバーが提供するVRシーンの2Dビデオストリーミングを結合する。 Virtual Reality (Virtual-Reality) (after this, "VR and abbreviated) technology, in order to provide a visual experience of recent years prevalent. Members of the eye to the VR, the virtual VR scene, people an image in which only the left eye sees must include an image in which only the right eye of the human viewer. system and method for transmitting pictures and audio such as media through a network that the present invention provides the rendering of 3D objects on the user device and, combining the 2D video streaming of VR scene provided by the server.

特開2015−130164号公報 JP 2015-130164 JP

本発明が解決しようとする課題は、サーバーの負荷を低下させ、ユーザーデバイス上に表示される画像と音声の品質を高め、サーバーとユーザーデバイス間の通信帯域幅を節減し、ユーザーデバイスにおいて3Dオブジェクト(3Dモデルとも称する)をレンダリングし、サーバーが提供するVRシーンの2Dビデオストリーミングとを結合させ、ユーザーデバイス上でレンダリングするバーチャルリアリティー(Virtual-Reality:VR)画像の3Dオブジェクトの結果を得る、ネットワークを通して画像や音声等メディアを伝送するシステム及び方法を提供することである。 An object of the present invention is to solve is to reduce the server load, improve the quality of the image and sound to be displayed on the user device, to save communication bandwidth between the server and the user device, 3D object in a user device renders (3D model also referred to), the server is coupled between 2D video streaming VR scene to provide, virtual reality rendering on the user device (Virtual-Reality: VR) to obtain the results of the 3D object image, the network to provide a system and method for transmitting pictures and audio, etc. media through.

上記課題を解決するため、本発明は下記のネットワークを通してメディアを伝送するシステム及び方法を提供する。 To solve the above problems, the present invention provides a system and method for transferring media through the network below. ネットワークを通してメディアを伝送するシステム及び方法において、メディアは複数の画像を備え、このシステムは、サーバー及びユーザーデバイスを備え、この方法は、以下のステップを含み、ステップ(A):サーバー上でバーチャルリアリティー(VR)アプリケーションプログラムを執行し、複数の3Dモデルを含むバーチャルVR3D環境を産生し、各3Dモデルは、3Dモデルを、ユーザーデバイス中にプレ保存するか否かの状態の指示に対応し、ステップ(B):サーバーは、各3Dモデルの前記状態をチェックし、どの3Dモデルを、2Dビデオストリーミングが含む左目フレーム及び右目フレームにエンコードするべきかを決定し、そのエンコード方式は、ユーザーデバイス中にプレ保存されていない各3Dモデルを、 A system and method for transferring media through the network, the media includes a plurality of images, the system includes a server and a user device, the method comprises the following steps, Step (A): virtual reality on the server (VR) to execute the application program, produce virtual VR3D environment including a plurality of 3D models, each 3D model, the 3D model corresponds to an instruction of whether the state pre-stored in the user device, step (B): the server checks the status of each 3D model, which the 3D model, to determine to be encoded into the left eye frame and right eye frame 2D video streaming comprises, its encoding method, in the user device each 3D model that has not been pre-saved, 目フレーム及び右目フレーム中にエンコードし、ステップ(C):サーバーは、2Dビデオストリーミングフレームの左目フレーム及び右目フレームを、ネットワークを通して、ユーザーデバイスに伝送し、サーバーは、ユーザーデバイス中にプレ保存されていない各3Dモデルを、所定の順序に基づき、ユーザーデバイスに伝送し、ユーザーデバイスが、サーバーから送られて来た各3Dモデルを受け取ると、ユーザーデバイスは、各3Dモデルを保存し、メッセージをサーバーに発信し、各3Dモデルの状態を改変させ、各3Dモデルを現在、ユーザーデバイス中にプレ保存するよう指示し、ステップ(D):ユーザーデバイスは、サーバーからの左目フレーム及び右目フレームを受け取りデコードし、左目フレーム及び右目フレーム Encoded in the eye frame and right-eye frames, the step (C): The server obtains left eye frame and right-eye frames of 2D video streaming frame, through the network, and transmitted to the user device, the server is pre-stored in the user device without the 3D model based on a predetermined order, and transmitted to the user device, the user device receives the respective 3D model sent from the server, the user device stores each 3D model, a message server originated, to alter the state of each 3D model, each 3D model now instructed to pre-stored in the user device, step (D) to: the user device receives the left frame and the right eye frame from the server decodes and, left eye frame and the right eye frame 利用し、各ユーザーデバイス中にプレ保存されるが、左目フレーム及び右目フレーム中に含まれない3Dモデルのバックグラウンドをレンダリングし、これによりアウトプットされるビデオストリーミングの混合VRフレームを産生する。 Use, but is pre-stored in each user device, to render the background of the 3D model not included in the left eye frame and right-eye frames, thereby producing a mixed VR frames of video streaming to be output.

一実施形態中のステップ(D)において、ユーザーデバイスは、サーバーからの左目フレーム及び右目フレームを受け取りデコードし、左目フレーム及び右目フレームフレームを合成したVRフレームに合成し、その後、合成したVRフレームがバックグラウンド画面としてユーザーデバイス中にプレ保存されているが、左目フレーム及び右目フレーム中に含まれない3Dモデルをレンダリングし、これによりVRシーンを含む出力ビデオストリーミングの混合VRフレームを産生する。 In step (D) in one embodiment, the user device receives and decodes the left frame and the right eye frame from the server, synthesized VR frame obtained by combining the left-eye frame and right eye frame frame, then synthesized VR frame It has been pre-stored in the user device as a background screen, to render the 3D model not included in the left eye frame and right-eye frames, thereby producing a mixed VR frame of output video streaming including VR scenes.

一実施形態中の前記サーバーは、VRシーントランスミッター及びVRシーンサーバーをさらに備え、VRシーントランスミッターは、VRアプリケーションプログラム中、或いは執行時間中において、VRアプリケーションプログラム上にプログラム執行時で動態的に連結されるプログラムライブラリーをコンパイルし、VRシーントランスミッターは、すべての3Dモデル及び各3Dモデルの状態を含むリストを保有し、状態は、3Dモデルの状態を“Not Ready (準備中)”、“Loading (ダウンロード中)”及び“Ready for Client(ユーザーはダウンロード済み)”の内の何れか一つで示しており、VRシーンサーバーは、VRアプリケーションプログラムにより、サーバー上で執行されるサーバープログラムで、VRシーンサーバーは、VR The server in an embodiment may further include a VR scene transmitter and VR scene server, VR scenes transmitter during VR application program, or during the execution time, is kinetically coupled with the time of program execution on VR application program compile the that program library, VR scene transmitter, holds a list that contains the state of all of the 3D models and each 3D model, the state, the state of the 3D model "Not ready (in preparation)", "Loading ( downloading) "and" Ready for Client (user is indicated by any one of the downloaded) ", VR scene server, the VR application program, a server program that is enforcement on the server, VR scene server, VR シーントランスミッターとユーザーデバイスとの間のメッセージ伝達の中継点となり、VRシーンサーバーはまた、ユーザーデバイスが、サーバーより、必要な3Dモデルをダウンロードするダウンロードサーバープログラムともなる。 Become a relay point of the message transfer between the scene transmitter and the user device, VR scene server In addition, the user device, than the server, it is downloaded server program to download the 3D model required.

一実施形態中の前記ユーザーデバイスは、VRシーンユーザーエンド、フレーム結合器及びVRシーンキャッシュをさらに備え、VRシーンユーザーエンドは、ユーザーデバイス上で動作するプログラムで、アウトプットビデオストリーミングを産生し、ネットワークを通してサーバーと通じ、フレーム結合器は、左目フレーム及び右目フレームを、合成したVRフレームに合成し、VRシーンキャッシュは、前以てサーバーからダウンロードした少なくとも一個の3Dモデルを保存する。 The user device in one embodiment may further include VR scene user end, the frame couplers and VR scene cache, VR scenes user end is a program running on the user device, it produces an output video streaming, network communication with the server through the frame combiner, the left frame and the right eye frame, synthesized synthesized VR frame, VR scene cache stores at least one of the 3D models downloaded from previously server.

本発明一実施形態によるネットワークを通してメディアを伝送するシステムの模式図である。 It is a schematic diagram of a system for transferring media through the network according to the invention to one embodiment. 本発明一実施形態によるネットワークを通してメディアを伝送するシステムの構成を示す模式図である。 It is a schematic diagram showing the configuration of a system for transferring media through the network according to the invention to one embodiment. 本発明一実施形態によるネットワークを通してメディアを伝送する方法のフローチャートである。 It is a flowchart of a method of transferring media through the network according to the invention to one embodiment. 本発明の別種の実施形態によるネットワークを通してメディアを伝送する方法のフローチャートである。 The media through a network according to another type of embodiment of the present invention is a flow chart of a method for transmitting. 本発明方法において、いかにしてビデオストリーミング及び3Dモデルを伝送するかを示す一実施形態の模式図である。 In the process of the present invention, it is a schematic diagram of an embodiment showing how to transmit video streaming and 3D models how to. 本発明方法において、いかにしてビデオストリーミング及び3Dモデルを伝送するかを示す一実施形態の模式図である。 In the process of the present invention, it is a schematic diagram of an embodiment showing how to transmit video streaming and 3D models how to. 本発明方法において、いかにしてビデオストリーミング及び3Dモデルを伝送するかを示す一実施形態の模式図である。 In the process of the present invention, it is a schematic diagram of an embodiment showing how to transmit video streaming and 3D models how to. 本発明方法において、どの3Dモデルがフレームにエンコードされるべきかをいかにして決定するかを示す実施形態の模式図である。 In the method of the present invention, which the 3D model is a schematic view of the embodiment shown how determined by how what should be encoded in a frame. 本発明方法において、どの3Dモデルがフレームにエンコードされるべきかをいかにして決定するかを示す実施形態の模式図である。 In the method of the present invention, which the 3D model is a schematic view of the embodiment shown how determined by how what should be encoded in a frame. 本発明方法において、どの3Dモデルがフレームにエンコードされるべきかをいかにして決定するかを示す実施形態の模式図である。 In the method of the present invention, which the 3D model is a schematic view of the embodiment shown how determined by how what should be encoded in a frame. 本発明方法において、音声を備えるビデオストリーミング及び3D音声をいかにして伝送するかを示す実施形態の模式図である。 In the process of the present invention, it is a schematic diagram of the embodiment shown how to transmit and how the video streaming and 3D sound with a voice. 本発明方法において、音声を備えるビデオストリーミング及び3D音声をいかにして伝送するかを示す実施形態の模式図である。 In the process of the present invention, it is a schematic diagram of the embodiment shown how to transmit and how the video streaming and 3D sound with a voice. 本発明方法において、音声を備えるビデオストリーミング及び3D音声をいかにして伝送するかを示す実施形態の模式図である。 In the process of the present invention, it is a schematic diagram of the embodiment shown how to transmit and how the video streaming and 3D sound with a voice. 本発明方法において、どの3D音声が音声を備えるビデオストリーミングフレームにエンコードされるべきかをいかにして決定するかを示す一実施形態の模式図である。 In the method of the present invention, which 3D sound is a schematic diagram of an embodiment showing how to to determine to be encoded in the video streaming frame comprising speech. 本発明方法において、どの3D音声が音声を備えるビデオストリーミングフレームにエンコードされるべきかをいかにして決定するかを示す一実施形態の模式図である。 In the method of the present invention, which 3D sound is a schematic diagram of an embodiment showing how to to determine to be encoded in the video streaming frame comprising speech. 本発明方法において、どの3D音声が音声を備えるビデオストリーミングフレームにエンコードされるべきかをいかにして決定するかを示す一実施形態の模式図である。 In the method of the present invention, which 3D sound is a schematic diagram of an embodiment showing how to to determine to be encoded in the video streaming frame comprising speech. 本発明の第1実施形態によるバーチャルリアリティー(VR)シーンシステムのシステムアーキテクチャを示す模式図である。 It is a schematic diagram illustrating the system architecture of the virtual reality (VR) scenes system according to the first embodiment of the present invention. 本発明一実施形態によるバーチャルリアリティー(VR)シーンシステムのフレーム結合器の機能を説明する模式図である。 It is a schematic diagram for explaining the function of the frame coupler virtual reality (VR) scenes system according to the invention to one embodiment. 本発明の第2実施形態によるバーチャルリアリティー(VR)シーンシステムのシステムアーキテクチャを示す模式図である。 It is a schematic diagram illustrating the system architecture of the virtual reality (VR) scenes system according to a second embodiment of the present invention. 本発明の第3実施形態によるバーチャルリアリティー(VR)シーンシステムのシステムアーキテクチャを示す模式図である。 It is a schematic diagram illustrating the system architecture of the virtual reality (VR) scenes system according to a third embodiment of the present invention.

以下に図面を参照しながら本発明を実施するための最良の形態について詳細に説明する。 It will be described in detail the best mode for carrying out the present invention with reference to the drawings.

本発明はオンラインゲームに運用され、プレーヤーはユーザーデバイスを使用し、ネットワークを通して、サーバー上でゲームを行う。 The present invention is operated in online games, players will use the user device, through the network, and the game on the server. このサーバーはプレーヤーの指令に基づき動作し、ユーザーデバイス上でビデオを生じる。 The server operates based on a command players, produces videos on the user device.
例えば、あるプレーヤーがユーザーデバイスでアクションを採ると、この動作はサーバーデバイスに伝送され、それは画像を演算し、画像をユーザーデバイスに回送する。 For example, if there player takes an action in the user device, this operation is transmitted to the server device, which calculates the image, forwards the image to the user device. 多くのオンラインゲームにおいて、サーバーが生じる2D画像は、視線範囲内の他のオブジェクトの3Dレンダリング(Rendering)を含む。 In many online games, 2D image that the server occurs, including a 3D rendering of the other objects in the line-of-sight range (Rendering).

本発明は、サーバーにより、ユーザーデバイスが必要とする3Dモデル及び3D音声を提供し、サーバーとユーザーデバイスとの間で、視線範囲内にあるオブジェクトの3Dレンダリング解析を行う。 The present invention, by the server, provides 3D model and 3D audio user device needs, between the server and the user device, performing a 3D rendering analysis objects in the line of sight range. 例えば、サーバーはいくらか或いはすべての3Dモデル及び3D音声をユーザーデバイスに提供し、並びに各3Dモデル或いは3D音声は位置、ディレクション及び状態データ等の関連する解釈データを付帯する。 For example, the server somewhat or provides all the 3D models and 3D sound to a user device, and the 3D model or 3D audio position, incidental relevant interpretation data, such as direction and status data.

ゲームの初期には、ユーザーデバイス上でゲームと関連するすべての画像(包括関連する3Dレンダリング)は、ネットワークを通してサーバーにより制作され、立体音声を備える2Dビデオストリーミングとなる。 The game of the initial, all images associated with the game on the user device (inclusive associated 3D rendering) is produced by the server through the network, the 2D video stream including a stereoscopic sound. 本発明のシステム、ネットワークを通して、視線範囲内において、3Dモデル及び3D音声等のメディア及びそのレンダリング情報をユーザーデバイスに送るが、その際、比較的近い(目に近い)オブジェクトは優先的に送られる。 The system of the present invention, through the network, within the line of sight range, but sends the media and the rendering information such as 3D models and 3D sound to a user device, the time, the relatively close (close to the eye) objects are sent preferentially . 本発明システムはできるだけユーザーデバイス上で、3Dモデル及び3D音声のレンダリングを行い、次善の策として、サーバー上で、3Dモデル或いは3D音声等のレンダリングを行う。 On the system of the invention as much as possible the user device performs rendering of 3D models and 3D audio, as the next best thing, on the server, it performs rendering such as 3D models or 3D audio.

3Dモデル或いは3D音声がユーザーデバイス上に既に保存されているなら、サーバーはオブジェクト(3Dモデル或いは3D音声)の解釈データをユーザーデバイスに提供するだけでよい。 If 3D model or 3D sound is already stored on the user device, the server may only provide interpretation data object (3D model or 3D audio) to the user device. ユーザーデバイスはこれに基づきこれらオブジェクトをレンダリングし、結果を、サーバーが提供する任意の立体音声を備える2Dビデオの上に表示する。 User devices based on this renders these objects, the result is displayed on a 2D video with any solid voice server provides. ユーザーデバイスの要求でない限り、サーバーはこの3Dモデル及び3D音声をレンダリングしない。 Unless it is a request of the user device, the server does not render this 3D model and 3D sound.
本発明方法のこのアレンジにより、サーバー上のGPU演算を省くことができ、サーバーは3Dモデル及び3D音声を含むアクティブデータベースを維持し、使用者との通信の効果を高めることができる。 This arrangement of the present invention method, it is possible to omit the GPU computing on the server, the server maintains an active database containing 3D model and 3D sound, it is possible to enhance the effect of communication with the user.

本発明において、ユーザーデバイスが示すものは以下の組合せを含む。 In the present invention, those indicated by the user device comprises the following combinations. (A)サーバー上レンダリングの3Dシーン。 (A) 3D scene of the server on the rendering. 結果は立体音声を備える2Dビデオストリーミングの形式で、ユーザーエンドに伝送し、ユーザーデバイスにより再生され、及び(B)サーバー上よりダウンロードされて、ユーザーデバイス上に保存される。 The result is a form of 2D video streaming with a stereo sound, transmitted to the user end, it is reproduced by the user device, and (B) are downloaded from the server and stored on the user device. ユーザーデバイスにより自らレンダリングする3Dモデル及び3D音声の結果。 The results of 3D models and 3D audio rendering themselves by the user device. この立体音声を備える2Dビデオストリーミングとユーザーデバイス上レンダリングの3Dモデル及び3D音声の混合は、帯域幅占用の状況を低下させられるため、カラフルな3Dシーン及び感動的なサラウンド音声効果を作り出すことができる。 Mixing of 3D models and 3D audio 2D video streaming and user devices on a rendering with the stereo sound, because it is to reduce the availability of bandwidth for occupied, it is possible to produce a colorful 3D scene and impressive surround sound effect .

一実施形態において、ユーザーデバイスへと伝送する立体音声を備える2Dビデオストリーミングは、3Dモデル及び3D音声の解釈データを付帯し、ユーザーデバイスは、自分がこの3Dモデル及び3D音声を保存しているかどうかをチェックする。 In one embodiment, whether 2D video streaming with a three-dimensional sound to be transmitted to the user device, incidental interpretation data of a 3D model and 3D audio, the user device, they have saved the 3D model and 3D audio to check. ないなら、ユーザーデバイスは、必要とする3Dモデル及び3D音声を、サーバーよりダウンロードし、ダウンロード後、ユーザーデバイスは、これを保存し、データリストを作り、シーン再現の必要に備える。 If not, the user device, the 3D model and 3D sound you need, download it from the server, after downloading, a user device, save it, create a data list, provided to the needs of the scene reproduction.
こうして、ビデオストリーミングのディレイと大量の帯域幅が必要であるという問題を改善し、しかもユーザーデバイスエンドにより自らレンダリングすることで、より良い質の画像を得ることができる(ビデオ圧縮を経ていないため)。 Thus, to improve the problem that it is necessary delay and a large amount of bandwidth for the video streaming, moreover it renders itself by the user device end, it is possible to obtain an image of better quality (because it does not undergo the video compression) .

前記の解釈データは、ユーザーデバイスが任意の3Dモデル或いは3D音声を遺漏しない、或いは繰り返さないことを許す状況において、ユーザーデバイスエンドが、3Dモデル及び3D音声によりレンダリングした結果と、サーバーが提供する立体音声を備える2Dビデオストリーミングとを正確に混合する。 Interpretation data of said user device does not omissions any 3D model or 3D sound, or in situations that allows not repeated, the user device end, the result of the rendering by the 3D model and 3D audio, stereo supplied by the server mixed accurately and 2D video streaming with audio.
前記のように、ユーザーデバイスが必要なすべての3Dモデル及び3D音声を保存後、ユーザーデバイスは完璧な3Dシーン及び音声を再現することができる。 As described above, after storage of all 3D model and 3D audio requiring user devices, user device can reproduce a perfect 3D scenes and audio. この時、サーバーは、新しく加わり、ユーザーデバイスエンドが未保存の新しい3Dモデル或いは3D音声が出現するまで、一切のレンダリングを行う必要がない。 In this case, the server, a new addition, until the user device end new 3D model or 3D sound of unsaved appears, there is no need to perform any of the rendering. 新しい3Dモデルが出現すると、サーバーは、ユーザーデバイスが自らこの新しい3Dモデルをレンダリングするまで、この新しい3Dモデル及びその後のすべてのオブジェクトをレンダリングする。 When a new 3D model appears, the server, until the user device itself to render this new 3D model, to render all of the objects in this new 3D model and then. この他、新しい3D音声が出現すると、ユーザーデバイスエンドが運用できるまで、サーバーは、この3D音声をレンダリングする。 In addition, a new 3D sound appears, until the user device end can be operated, the server, rendering this 3D sound.

ユーザーデバイスは、後に執行する時に再ダウンロードする必要がないよう、できるだけ自己の保存デバイス上にダウンロードした3Dモデル及び3D音声を保存(キャッシュ)する。 User device, so that there is no need to re-download when the executive after, to save the 3D model and 3D audio that you downloaded on to as far as possible self-storage device (cache). こうして、ネットワークの帯域幅コストはさらに引き下げられ、もし保存できないなら、ダウンロードとレンダリングは執行時に完成させる。 In this way, the bandwidth cost of the network is further pulled down, if you can not save, download and rendering is to be completed at the time of enforcement.

図1は、本発明ネットワークを通してメディアを伝送するシステムの一実施形態の模式図である。 Figure 1 is a schematic diagram of one embodiment of a system for transmitting media throughout the present invention the network. サーバー1は、サービスを提供するアプリケーションプログラムを執行し、このサービスは(これに制限されない)クラウドオンラインゲームサービスである。 Server 1, to enforce the application program that provides a service, this service is (not limited to) the cloud online game service. 複数のユーザーデバイス21、22、23はネットワーク4を通してサーバー1に連結(ログイン)し、サーバー1上で動作されるアプリケーションプログラムが提供するサービスを使用する。 Multiple user devices 21, 22 connected through the network 4 to the server 1 (Log), uses the services application program provided to be operated on the server 1.
本実施形態中では、ネットワーク4はインターネットで、ユーザーデバイス21、22、23はインターネットに接続可能な任意の電子デバイスである。 In the present embodiment, the network 4 is the Internet, the user device 21, 22 and 23 is any electronic device that can be connected to the Internet. それは、例えばスマートフォン21、タブレット、ノート型コンピューター22、デスクトップコンピューター23、ビデオゲーム機、或いはスマートテレビ等(これに制限されない)。 It is, for example smartphone 21, tablet, notebook computer 22, a desktop computer 23, a video game console, or smart TV, etc. (but not limited to). ユーザーデバイス21、22の中には、モバイルアクセスポイントを通して、無線でネットワーク4に連結するものもおり、ユーザーデバイス則ルーターを通して、有線の方式で、ネットワーク4上に連結するものもいる。 Some user devices 21 and 22, through the mobile access point, wireless also cage shall be connected to the network 4, through the user device law router, a wired system, some which connected to the network 4.
サーバー1上で動作されるアプリケーションプログラムは、複数の3Dモデル及び3D音声を含むバーチャル3D環境を作り出すことができる。 Application program running on the server 1 may create a virtual 3D environment containing a plurality of 3D models and 3D audio. 各3Dモデル或いは3D音声は状態を対応させ、3Dモデル或いは3D音声に、ユーザーデバイス21、22、23中にプレ保存するか否かを指示する。 Each 3D model or 3D audio to correspond to the state, the 3D model or 3D sound, to indicate whether or not pre-stored in the user device 21, 22, 23.
本発明の一実施形態中において、各ユーザーデバイスはどれも、対応する独立アプリケーションプログラムを有し、アプリケーションプログラムはユーザーデバイスにだけサービスを提供する。 During one embodiment of the present invention, any each user device has a corresponding independent application program, the application program provides services only to the user device. 但し、多数のアプリケーションプログラムは、同時に同一のサーバー上においてサービスを執行し、多数のユーザーデバイスに提供することができる。 However, a number of application programs can be simultaneously executed the service on the same server, providing a large number of user devices. 図に示すように、ユーザーデバイス21、22、23はネットワーク4を通してサーバー1に連結し、アプリケーションプログラムにより生じ、しかも少なくとも一個の各3Dモデル及び3D音声を含むメディアを得ることができる。 As shown, the user device 21, 22, 23 connected to the server 1 through the network 4, caused by the application program, it is possible to obtain a medium containing at least one of the 3D models and 3D audio. このシステム構成とその特徴は、図2及び関連する記載に示す。 The system configuration and its features are shown in FIGS. 2 and related description.

図2は本発明システム構成の一実施形態の模式図である。 Figure 2 is a schematic diagram of one embodiment of the present invention the system configuration.

本発明において、アプリケーションプログラム100は、サーバー1上で動作し、3D画像3D音声のレンダリング結果を生じ、それは通常3Dゲームである。 In the present invention, the application program 100 operates on the server 1 causes a rendering result of the 3D image 3D sound, it is usually 3D games. 3Dシーントランスミッター110はプログラムライブラリー(library)では、アプリケーションプログラム100のコンパイル時に、これと非稼働状態で静的に連結する静的連結し、或いはアプリケーションプログラム100の執行時に動態状態、すなわち稼働状態で連結する動態連結(Dynamic Linking)にする。 In 3D scene Transmitter 110 program library (library), when compiling the application program 100, which the statically linked statically linked in a non-operational state, or dynamic state during execution of the application program 100, that is, in working state to consolidated dynamics linked to (Dynamic linking). 3Dシーンユーザーエンド(プログラム)170は、ユーザーデバイス21、22、23上で執行するプログラムにおいて、アプリケーションプログラム100により生成される3D画像及び3D音声レンダリング結果を産生してアウトプットする。 3D scene user end (program) 170, the program execution on the user device 21, 22, and 23 output by producing 3D images and 3D audio rendering result is generated by the application program 100. 本実施形態中では、各ユーザーデバイス21、22、23は、それぞれ独立したアプリケーションプログラム100及びシーントランスミッター110に対応する。 In the present embodiment, each user device 21, 22, corresponding to each separate application program 100 and the scene transmitter 110.

本発明において、3Dシーンユーザーエンド170及び3Dシーンキャッシュ190は、ユーザーエンドのプログラムと執行方法を組成し、ユーザーデバイスそのものレンダリング3Dモデルと3D音声の演算能力を発揮する。 In the present invention, 3D scene user end 170 and the 3D scene cache 190 composition user end program and executive method, exhibits a calculation capacity of the user device itself render 3D models and 3D audio.

3Dシーンサーバー120は、アプリケーションプログラム100と共同でサーバー1上で執行するサーバープログラムで、サーバー1の3Dシーントランスミッター110とし、ユーザーデバイス21、22、23の3Dシーンユーザーエンド170との間で、メッセージ伝達の中継点とする。 3D scene server 120 is a server program to enforce on the server 1 in cooperation with the application program 100, a 3D scene Transmitter 110 of server 1, between the 3D scene user end 170 of the user device 21, 22, 23, the message and relay points of the transfer.
同時に、ファイルダウンロードサーバーでもあり、ユーザーデバイス21、22、23の3Dシーンユーザーエンド170は、サーバー1から必要な3Dモデル及び3D音声をダウンロードする。 At the same time, is also a file download server, 3D scene user end 170 of the user device 21, 22 and 23, to download the 3D model and 3D sound you need from the server 1. 3Dシーントランスミッター110はリストを保有し、すべての3Dモデル及び3D音声、及びモデル或いは音声の状態を列記する。 3D scene transmitter 110 holds the list, all the 3D models and 3D audio, and lists the status of the model or voice. この状態は、各3Dモデル或いは3D音声の状態を(1)“Not Ready (準備中)”、(2)“Loading (ダウンロード中)”、及び(3)“Ready for Client(ユーザーはダウンロード済み)”の内の何れか一つで示している。 This state, the state of each 3D model or 3D sound (1) "Not Ready (in preparation)", (2) "Loading (downloading)", and (3) "Ready for Client (users already downloaded) It is shown in any one of the ".

アプリケーションプログラム100のメインプログラム、APIにより呼び出すプログラムライブラリーの方式(図2のルート101)を通して、3Dシーン情報を3Dシーントランスミッター110に伝送する。 The main program of the application program 100, through system program library calls by API (route 101 in FIG. 2), and transmits the 3D scene information in the 3D scene transmitter 110. この3Dシーン情報は、名称、位置、速度、属性、ディレクション及びその他3Dモデル及び3D音声レンダリングが必要とする全てのデータを含む。 The 3D scene information includes the name, position, velocity, attributes, all data direction and other of the 3D model and 3D audio rendering requires. 3Dシーントランスミッター110がこのタイプのデータを受け取ると、以下のプロセスを執行することができる。 When 3D scene Transmitter 110 receives this type of data, it is possible to execute the following processes.

ステップ(A):3Dモデルにおいては、レンダリングが必要なすべての3Dモデルを配列させ、その配列方式は、バーチャル位置(3Dプロジェクション面或いは使用者の目など)に対して、近くから遠くへと配列する。 Step (A): In 3D model rendering are arranged all 3D models required, the sequence scheme for virtual position (such as eye 3D projection surface or the user), sequences from near to far to.

3D音声においては、レンダリングが必要なすべての3D音声を配列させ、その配列方式は、バーチャル位置(3Dプロジェクション面或いは使用者の目など)に対して、近くから遠くへと配列する。 In 3D sound, rendering are arranged all 3D audio required, the sequence scheme for virtual position (such as eye 3D projection surface or the user), arranged off away from nearby.

ある状況において、3Dシーン中の3DモデルAは、もう一つの3DモデルBを含み、或いはその上に重なる。 In some circumstances, the 3D model A in the 3D scene includes another 3D model B, or overlying. 例えば、モデルAは家で、モデルBは家の中のテーブルで、この状況において、どのモデルが、模擬位置に近いかは実は曖昧な問題である。 For example, model A is at home, model B is a table in the house, in this situation, which model is either close to the simulated position is actually an ambiguous question. この時、モデルA及びモデルBは、同一の3Dモデルと見做され、3Dモデル(A+B)と呼ばれる。 At this time, model A and model B are regarded as the same 3D model, called a 3D model (A + B).

シーンに対する既知の情報のいくらかは、ゲーム中の地面などの補助配列に用いられ、他の3Dオブジェクト下の大きくてフラットな3Dモデルと見做される。 Some of the known information for the scene, used in an auxiliary array, such as ground during a game, is greatly regarded as flat 3D models under other 3D objects. 通常、使用者の目は地面より高いため、地面の3Dモデルは、配列中で特別処理が必要で、これにより他の3Dモデルの前に表示されないようにする。 Usually, since the user's eye is higher than the ground, the 3D model of the ground, special processing in the sequence is required, thereby to not be displayed in front of the other 3D models.

ステップ(B):3Dモデルにおいて、最も近い点(目に最も近い点)から”Ready for Client”状態を備えない一個目の3Dモデル“M”を探す。 Step (B): In the 3D model, look for the "Ready for Client" one eye of the 3D model that does not include the state "M" from the closest point (the point closest to the eye). 言い換えれば、一個目の3Dモデル“M”の状態は”Not Ready”状態(この後、”Not Ready”状態はNR状態と略称する)である。 In other words, a single first state of the 3D model "M" of "Not Ready" state (after this, "Not Ready" state is abbreviated as NR state). 当然、このタイプの3Dモデルが存在しない可能性もある(例えば、表示されているすべての3Dモデルが“Ready for Client”状態と標示されている)。 Of course, there is also a possibility that the 3D model of this type does not exist (for example, all of the 3D models are displayed is labeled "Ready for Client" state).

3D音声において、最も近い点(目に最も近い点)から、一個目の”Ready for Client”状態を備えない3D音声“S”を探す。 In 3D sound, from the closest point (the point closest to the eye), look for the 3D sound "S" which does not include the "Ready for Client" state of one eye. 言い換えれば、一個目の3D音声“S”の状態は”Not Ready”状態(この後、”Not Ready”状態はNR状態と略称する)である。 In other words, a single first state of 3D sound "S" is "Not Ready" state (after this, "Not Ready" state is abbreviated as NR state). 当然、このタイプの3D音声が存在しない可能性もある(例えば、表示された3D音声のすべてが、“Ready for Client”状態と標示されている)。 Of course, there is also a possibility that this type of 3D sound does not exist (for example, all of the displayed 3D sound has been labeled "Ready for Client" state).

ステップ(C):3Dモデルにおいて、サーバーは3DモデルM及びその後のすべての3Dモデル(つまり目からの距離がMより遠いすべての3Dモデル)をレンダリングし、(もし3DモデルMがないなら、黒幕により表示する)レンダリング後の結果を、2D ビデオストリーミングフレーム(frame)にエンコードする。 Step (C): If in the 3D model, the server 3D model M and all subsequent 3D model (the distance from the other words eyes far all of the 3D model from M) to render, (if 3D model M is not, mastermind the results after Show) rendering by, encoding the 2D video streaming frame (frame).

3D音声において、サーバー1上で、”Ready for Client”状態を備えないすべての3D音声をレンダリング(再生)する(もしこのタイプの3D音声がないなら、靜音を生じる)。 In 3D audio, on the server 1, "Ready for Client" rendering all the 3D sound that does not include the state (playback) to (if there is not this type of 3D sound, resulting in a Shizuoto). 続いて、レンダリング後の結果を、ステップ(C)中の2Dビデオストリーミングフレームを備える立体音声にエンコードする。 Subsequently, the result after rendering, encoding a stereoscopic sound with a 2D video streaming frame in step (C). 注意:3DモデルS後に続く3D音声は、その状態が”Ready for Client”でない時にのみ、レンダリングされ、これはステップ(C)中の3Dモデルと異なる。 Note: 3D sound followed by a 3D model S is, only when the state is not "Ready for Client", is rendered, this is different from the 3D model in step (C).

ステップ(D):以下の6個の情報を3Dシーンサーバー120(ルート112)に伝送する:[Info 112−A]、[Info 112−B]、[Info 112−C]、[Info 112−D]、[Info 112−E]及び[Info 112−F]。 Step (D): transmitting the following six information to the 3D scene server 120 (route 112): [Info 112-A], [Info 112-B], [Info 112-C], [Info 112-D ], [Info 112-E] and [Info 112-F]. 3Dシーンサーバー120は、以上の情報を、3Dシーンユーザーエンド170(ルート122)に伝送する。 3D scene server 120, the above information is transmitted to the 3D scene user end 170 (root 122).

[Info 112−A]は3DモデルM前のすべての3Dモデルの状態情報(或いは解釈データと呼ぶ)である。 [Info 112-A] is a status information of all 3D models before 3D model M (or referred to as interpretation data). このタイプモデルは存在しない可能性もあることに注意する必要がある。 This type of model, it is necessary to note that there is also a possibility that does not exist. このタイプのモデルはどれも、“Ready for Client”状態を備える。 None of this type of model is provided with a "Ready for Client" state. その意味は、これらモデルは既にユーザーエンドデバイスに予めダウンロードされているということで、ユーザーエンドデバイス21、22、23上面の3Dシーンユーザーエンド(プログラム)170は、これらモデルを既に自らレンダリングすることができる。 Its meaning it models already that has been previously downloaded to the user end device, the user end device 21, 22, 23, the upper surface 3D scene user end (program) 170 are able to already own rendering these models it can. データ伝送の帯域幅は減らすため、3Dシーントランスミッター110は全部の状態情報を伝送する必要はなく、状態情報中の今回のレンダリングと前回のレンダリングとの差異を伝送するだけでよい。 To reduce the bandwidth of the data transmission, 3D scene Transmitter 110 is not necessary to transmit all of the state information, a difference between the current rendering and previous rendering in the state information need only be transmitted.

[Info 112−B]もしサーバーが3DモデルMを見つけ、しかもそのユーザーデバイスが予め保存した状態が“Not Ready(準備中)”である時、サーバーは、そのユーザー状態を“Loading(ダウンロード中)”に変え、3DモデルMのダウンロード指示を送信し、ユーザーエンドに、この3DモデルMをダウンロードするよう要求する。 When [Info 112-B] If the server finds a 3D model M, yet the state in which the user device has previously stored is "Not Ready (in preparation)", the server, the user state "Loading (downloading) changed to "send a download instruction of the 3D model M, the user end, the request to download the 3D model M. もしユーザー状態が既に“Loading”なら、ダウンロード指示は既に送信されているので、一切の指示を送信してはならない。 If If the user state is already "Loading", because the download instruction has already been sent, it must not send any indication.

[Info 112−C]はステップ(C)中のエンコード後のビデオストリーミングフレームである。 [Info 112-C] is a video streaming frames after encoding in step (C).

[Info 112−D]はすべての状態が”Ready for Client”である3D音声(このタイプの3D音声は存在しない可能性もある)の状態情報(或いは解釈データと称する)を指す。 [Info 112-D] refers to all states are "Ready for Client" 3D audio state information (this type of 3D audio might not be found) (or referred to as interpretation data). このタイプの音声タイプはすべて“Ready for Client”状態を備える。 Voice type of this type is provided with all the "Ready for Client" state. つまり、これら音声は既にユーザーエンドデバイスに予めダウンロードされていることを示し、ユーザーエンドデバイス21、22、23上面の3Dシーンユーザーエンド(プログラム)170は、既に自らこれら音声をレンダリング(再生)することができる。 That is, they sound already shown that it is previously downloaded to the user end device, the user end device 21, 22, 23, the upper surface 3D scene user end (program) 170, already themselves render these audio (playback) to can. データ伝送帯域幅を減らすため、3Dシーントランスミッター110は、全部の状態情報を伝送する必要はなく、状態情報中の今回のレンダリングと前回のレンダリングとの差異を伝送するだけでよい。 To reduce data transmission bandwidth, 3D scene transmitter 110 does not need to transmit all of the state information, a difference between the current rendering and previous rendering in the state information need only be transmitted.

[Info 112−E]もしサーバーが3D音声Sを見つけ、しかもそのユーザー状態が“Not Ready”であるなら、そのユーザー状態を“Loading”に変え、3D音声Sのダウンロード指示を送信し、ユーザーエンドに、この3D音声Sをダウンロードするよう要求する。 [Info 112-E] If the server finds a 3D sound S, moreover if the user status is "Not Ready", instead of the "Loading" the user state, and sends the download instruction of 3D sound S, the user end to, to request to download the 3D sound S. ユーザー状態が既に“Loading”なら、ダウンロード指示は既に送信されているので、一切の指示を送信してはならない。 If the user state is already "Loading", because the download instruction has already been sent, it must not send any indication.

[Info 112−F]はステップ(C)中のエンコード後の立体音声である。 [Info 112-F] is a three-dimensional sound after encoding in step (C).

アプリケーションプログラム100のメインプログラムが、新しい3Dシーンデータを、3Dシーントランスミッター110に更新する度に、ステップ(A)〜(D)を繰り返す。 The main program of the application program 100, a new 3D scene data, the time to update the 3D scene Transmitter 110, repeating steps (A) ~ (D). 通常、アプリケーションプログラム100のメインプログラムは、毎回のレンダリング中でこのタイプのデータを更新する。 Normally, the main program of the application program 100, to update this type of data in each of the rendering.

3Dシーンユーザーエンド170が前記データを受け取った後、後述のレンダリングプロセスを行う。 After 3D scene user end 170 receives the data, it performs rendering process described later.

ステップ(i):[Info 112−C]のビデオフレームをデコードし、このフレームを後続の3Dモデルレンダリングのバックグラウンドとして使用する。 Step (i): decoded video frames of [Info 112-C], using this frame as a background for subsequent 3D model rendering. この他、[Info 112−F]ビデオを備える立体音声をデコードし、後続の3D音声レンダリングのバックグラウンド音声として使用する。 In addition, to decode the stereo audio with a [Info 112-F] video used as a background sound of a subsequent 3D audio rendering.

ステップ(ii):ステップ(i)でエンコード後のビデオフレーム上で[Info 112−A]中のすべての3Dモデルをレンダリングし、ネットワーク帯域幅の占用を低下させる。 Step (ii): step in on the video frame after the encoding (i) render all of the 3D model in [Info 112-A], reduce the occupied network bandwidth. 3Dシーンユーザーエンド170は、この[Info 112−A]情報をメモリ中に保存する。 3D scene user end 170 stores this [Info 112-A] information in memory. よって、次の3Dシーントランスミッター110は、次のレンダリングと今回のレンダリングとの状態[Info 112−A]の差異だけを伝送すればよく、全部の状態情報を伝送する必要はない。 Therefore, the following 3D scene Transmitter 110 may be transmitted only difference in the state of the next rendering and the current rendering [Info 112-A], it is not necessary to transmit all of the state information.
同様に、[Info 112−D]に属するすべての3D音声をレンダリングする時には、これをステップ(i)中デコードの立体音声に混合し、ネットワーク帯域幅の占用を低下させる。 Similarly, when rendering all the 3D sound belonging to [Info 112-D], this was mixed with solid audio medium decoding step (i), reduce the occupied network bandwidth. 3Dシーンユーザーエンド170は、この[Info 112−D]情報をメモリ中に保存するため、次の3Dシーントランスミッター110は、次のレンダリングと今回のレンダリングとの間の状態[Info 112−D]の差異を伝送するだけでよく、全部の状態情報を伝送する必要はない。 3D scene user end 170, to save this [Info 112-D] information in memory, the next 3D scene Transmitter 110, between the next rendering and the current rendering state [Info 112-D] of need only transmit the differences, there is no need to transmit all of the state information.

ステップ(iii):ステップ(ii)中において、サーバーから伝送される立体音声を備えるビデオフレームと3Dシーンユーザーエンド170が自らレンダリングした3Dモデルと3D音声とを混合し、両者の混合結果をアウトプットし、音声を備えるアウトプットビデオストリーミング(ルート176)とする。 Step (iii): in a step (ii), mixing the 3D model and the 3D audio video frame and 3D scene user end 170 comprising a three-dimensional sound to be transmitted from the server rendering themselves out both mixing result of the put and, the output video stream comprising audio (route 176).

もし、[Info 112−B]の状態を提供するなら、3Dシーンユーザーエンド170は、以下のプロセスに基づき、3DモデルMを処理する。 If, if providing the state of [Info 112-B], 3D scene user end 170, based on the following process, for processing the 3D model M.

ステップ(I):3Dシーンキャッシュ190を探し(ルート174)、3Dシーンキャッシュ190は前以てユーザーデバイス21、22、23中にダウンロード及び保存していた3Dモデルデータベースを含む。 Step (I): Locate the 3D scene cache 190 (route 174), the 3D scene cache 190 includes a 3D model database that has been downloaded and stored in previously user device 21, 22, 23.

ステップ(II):もし3Dシーンキャッシュ190中に、既に3DモデルMがあるなら、ステップ(V)を執行する。 Step (II): If in the 3D scene cache 190, if already there is a 3D model M, to enforce a step (V).

ステップ(III):もし3Dシーンキャッシュ190中に、3DモデルMがないなら、3Dシーンユーザーエンド170は、ダウンロード要求を、3Dシーンサーバー120に送信する(ルート172)。 Step (III): If in the 3D scene cache 190, if there is no 3D model M, 3D scene user end 170, a download request is transmitted to the 3D scene server 120 (route 172). 3Dシーンサーバー120は、3DモデルMのデータを、3Dシーンユーザーエンド170に回送する(ルート124)。 3D scene server 120, the data of the 3D model M, and forwards the 3D scene user end 170 (root 124).

ステップ(IV):3Dモデルの完全ダウンロード後、3Dシーンユーザーエンド170は、これを3Dシーンキャッシュ190保存し(ルート194)、これにより次に類似の要求があった時には、再度のダウンロードを行う必要はない。 Step (IV): After full download of 3D models, the 3D scene user end 170, which 3D scene cache 190 and stored (route 194), thereby when there is a similar request to the next, the need to download again no.

ステップ(V):3Dシーンユーザーエンド170は、3Dシーンキャッシュ190中から3DモデルMを取り出す(ルート192)。 Step (V): 3D scene user end 170 takes out the 3D model M from the 3D scene cache 190 (route 192).

ステップ(VI):ダウンロードが完成(或いは前以てダウンロード済み)すると、3Dシーンユーザーエンド170は、3DモデルMを取り出すことができる。 Step (VI): Then the download is complete (or previously already downloaded), 3D scene user end 170, it is possible to extract the 3D model M. 3Dシーンユーザーエンド170は、“3D Model is ready on client(3Dモデルは既にユーザーデバイス上)”のメッセージを、3Dシーンサーバー120に伝送する(ルート113)。 3D scene user end 170, a message "3D Model is ready on client (3D model on already user device)", and transmits the 3D scene server 120 (route 113). 3Dシーンサーバー120は、このメッセージを3Dシーントランスミッター110に転送する(ルート114)。 3D scene server 120 forwards this message to the 3D scene Transmitter 110 (route 114).

ステップ(VII):3Dシーントランスミッター110がこのメッセージを受け取り後、3DモデルMの状態を、”Loading”から“Ready for Client”に変える。 Step (VII): after receiving 3D scene transmitter 110 this message, the state of the 3D model M, change to the "Loading" from "Ready for Client".

ステップ(VIII):次のレンダリングにおいて、3Dシーントランスミッター110は、3DモデルMが既にユーザーデバイス中にダウンロードされていることを知っているため、故3Dシーンユーザーエンド170に自らレンダリングさせる。 Step (VIII): in the next rendering, 3D scene transmitter 110, since the 3D model M already knows that it is downloaded into the user device, it is itself rendered the late 3D scene user end 170. よって、サーバー1は、この3DモデルMを、再度レンダリングする必要はない。 Therefore, the server 1, the 3D model M, does not need to be rendered again.

もし、[Info 112−E]の状態を提供するなら、3Dシーンユーザーエンド170は、以下のプロセスに従い、3D音声Sを準備する(前記の[Info 112−B]に関する記述に類似)。 If, if providing the state of [Info 112-E], 3D scene user end 170, according to the following process, (similar to the description relates to the aforementioned [Info 112-B]) to prepare a 3D sound S.

ステップ(I):3Dシーンキャッシュ190を探し(ルート174)、3Dシーンキャッシュ190は、前以てユーザーデバイス21、22、23中にダウンロード及び保存していた3D音声データベースを含む。 Step (I): Locate the 3D scene cache 190 (route 174), the 3D scene cache 190 includes a 3D audio database which has been downloaded and stored in previously user device 21, 22, 23.

ステップ(II):もし3Dシーンキャッシュ190中に、3D音声が準備されているなら、ステップ(V)を執行する。 Step (II): If in the 3D scene cache 190, if the 3D sound is prepared to enforce the step (V).

ステップ(III):もし3Dシーンキャッシュ190中に、3D音声が準備されていないなら、3Dシーンユーザーエンド170は、ダウンロード要求を、3Dシーンサーバー120に送信する(ルート172)。 Step (III): If in the 3D scene cache 190, if 3D sound is not prepared, the 3D scene user end 170, a download request is transmitted to the 3D scene server 120 (route 172). 3Dシーンサーバー120は、3D音声のデータを、3Dシーンユーザーエンド170に回送する(ルート124)。 3D scene server 120, the data of 3D sound, forwards the 3D scene user end 170 (root 124).

ステップ(IV):3D音声の完全ダウンロード後、3Dシーンユーザーエンド170は、これを3Dシーンキャッシュ190に保存する(ルート194)。 Step (IV): After full download of 3D audio, 3D scene user end 170, stores it in the 3D scene cache 190 (route 194). これにより、次に類似の要求があった時には、再度のダウンロードを行う必要はない。 As a result, the next time there is a similar request, it is not necessary to download again.

ステップ(V):3Dシーンユーザーエンド170は、3Dシーンキャッシュ190中から3D音声Sを取り出す(ルート192)。 Step (V): 3D scene user end 170 takes out the 3D sound S from the 3D scene cache 190 (route 192).

ステップ(VI):ダウンロードが完成(或いは前以てダウンロード済み)すると、3Dシーンユーザーエンド170は3D音声Sを取り出す。 Step (VI): the download is complete (or previously already downloaded) Then, 3D scene user end 170 is taken out of the 3D sound S. 3Dシーンユーザーエンド170は、“3D sound is ready on client(3D音声は既にユーザーデバイス上)”のメッセージを、3Dシーンサーバー120に伝送する(ルート113)。 3D scene user end 170, a message "3D sound is ready on client (3D audio on already user device)", and transmits the 3D scene server 120 (route 113). 3Dシーンサーバー120は、このメッセージを3Dシーントランスミッター110に転送する(ルート114)。 3D scene server 120 forwards this message to the 3D scene Transmitter 110 (route 114).

ステップ(VII):3Dシーントランスミッター110がこのメッセージを受け取り後、3D音声Sの状態を”Loading”から“Ready for Client”に変える。 Step (VII): after receiving 3D scene transmitter 110 this message, change to "Ready for Client" from the "Loading" the state of the 3D sound S.

ステップ(VIII):次のレンダリングにおいて、3Dシーントランスミッター110は、3D音声Sが既にユーザーデバイス中にダウンロードされていることを知っているため、3Dシーンユーザーエンド170に自らレンダリング(再生)するよう要請し、サーバー1はこの3D音声Sを、再びレンダリングする必要はない。 Step (VIII): Request in the next rendering, 3D scene transmitter 110, for 3D sound S already knows that it is downloaded into the user device, itself renders (play) the 3D scene user end 170 so and, server 1 is the 3D sound S, does not need to be rendered again.

最初期には、ユーザーデバイス21、22、23中には、一切の3Dモデル及び3D音声がないため、3Dシーントランスミッター110は、すべての3Dモデル及び3D音声をレンダリングし、その結果を、立体音声を備える2Dビデオストリーミングにエンコードする。 The first phase, during the user device 21, 22, 23, since there is no any 3D model and 3D audio, 3D scene Transmitter 110 render all 3D models and 3D sound, the result, three-dimensional sound encoding the 2D video stream comprising a. 3Dシーントランスミッター110は、3Dモデルのダウンロード要求[Info 112−B]及び3D音声のダウンロード要求[Info 112−E]を、最も近い点から3Dプロジェクション面(或いは使用者の目)へ伝送する。 3D scene Transmitter 110, the 3D model download request [Info 112-B] and 3D audio download request [Info 112-E], transmitted from the closest point 3D projection plane to (or the user's eyes).
3Dシーンユーザーエンド170は、3Dシーンサーバー120から、各3Dモデル或いは3D音声をダウンロードし、或いは3Dシーンキャッシュ190上から一つ一つ取り出す。 3D scene user end 170, a 3D scene server 120, download the 3D model or 3D audio, or taken out one by one from the top 3D scene cache 190. より多くの3Dモデル及び3D音声を、3Dシーンユーザーエンド170が取得すると、3Dシーントランスミッター110は、3Dシーンユーザーエンド170に、これらモデル及び音声を自らレンダリングし、3Dシーントランスミッター110からレンダリングする3Dモデル及び3D音声の数を減らすよう自動的に通知する。 More 3D models and 3D sound and 3D scene user end 170 acquires, 3D scene transmitter 110, the 3D scene user end 170, 3D model rendering themselves these models and voice, to render the 3D scene Transmitter 110 and automatically notified to reduce the number of 3D audio.
これにより、最後の3Dシーンユーザーエンド170上からすべての3Dモデル及び3D音声が取得されるまで、エンコードした2Dビデオストリーミング中の3Dモデル及び3D音声はどんどん少なくなる。 Thus, until the acquisition is all 3D models and 3D audio over the last 3D scene user end 170, the encoded 3D model and 3D sound in 2D video streaming has become increasingly less. この後、この段階において、音声を備えない黒幕だけが残る。 Thereafter, at this stage, only the mastermind without a sound remains. 言い換えれば、サーバー1は、2Dビデオストリーミングを、ユーザーデバイス21、22、23中に再伝送する必要はなく、しかもサーバー1及びユーザーデバイス21、22、23間の通信帯域幅の占用も、大幅に低下される。 In other words, the server 1, the 2D video streaming, there is no need to re-transmitted during the user device 21, 22, 23, moreover also occupied by the communication bandwidth between the server 1 and the user device 21, 22, 23, significantly It is reduced.

本発明において、新しい3DモデルNが実景に出現すると、3Dシーントランスミッター110は、(1)3Dシーンユーザーエンド170に、この新しい3DモデルN前に位置する(使用者の目に対して言えば)すべての3Dモデルだけをレンダリングするよう通知する。 In the present invention, when a new 3D model N appears in actual scene, the 3D scene Transmitter 110 (1) to the 3D scene user end 170, (speaking against the user's eyes) new 3D model N positioned before to notify to render the only all of the 3D model.
(2)この新しい3DモデルNをダウンロードするよう、3Dシーンユーザーエンド170に通知する。 (2) to download the new 3D model N, to notify the 3D scene user end 170.
(3)3Dシーントランスミッター110は、この新しい3DモデルN及びその後に位置するすべてのモデルをレンダリングし、その結果を、音声を備える2Dビデオストリーミングにエンコードする。 (3) 3D scene Transmitter 110 renders all models located in this new 3D model N and then, the result is encoded into 2D video streaming with audio. その後、この音声を備える2Dビデオストリーミングを、3Dシーンユーザーエンド170に伝送する。 Thereafter, a 2D video stream including the audio, and transmits the 3D scene user end 170. 3Dシーンユーザーエンド170は、3DモデルNユーザーデバイス上で準備する前に、アプリケーションプログラム100の3D画像及び音声のレンダリング結果を再生し続けることができる。 3D scene user end 170 may be before preparing on 3D model N user devices, continue to play the rendering result of the 3D image and audio of the application program 100.

新しい3D音声Tが実景に出現すると、3Dシーントランスミッター110は、(1)3Dシーンユーザーエンド170にこの新しい3D音声Tをダウンロードするよう通知する。 When a new 3D sound T appears in the actual scene, 3D scene transmitter 110 is notified to download this new 3D sound T to (1) 3D scene user end 170. 及び(2)3Dシーントランスミッター110はこの新しい3D音声Tをレンダリングし、その結果を、立体音声にエンコードする。 And renders (2) 3D scene Transmitter 110 The new 3D sound T, encoding the result, the three-dimensional sound. この後、この立体音声と2Dビデオストリーミングを、3Dシーンユーザーエンド170に伝送する。 Thereafter, the three-dimensional audio and 2D video streaming, and transmits the 3D scene user end 170.
3Dシーンユーザーエンド170は、3D音声Tを、ユーザーデバイス上で準備前に、アプリケーションプログラム100を再製し続ける3D画像及び音声のレンダリング結果である。 3D scene user end 170, a 3D sound T, before preparation on the user device, a rendering result of the 3D image and sound continue to rebuild the application program 100. このプロセスにおいて、新しい3D音声Tだけをレンダリングし、3Dシーントランスミッター110は、他の3D音声T後方のすべての3D音声をさらにレンダリングする必要はない。 In this process, only renders the new 3D audio T, 3D scene transmitter 110 does not need to further render all 3D sound other 3D sound T rear. この方法は、音声の本質が画像と異なることにより、画像はその後画像の表示を遮るが、音声は遮らない。 This method, by the nature of the speech is different from the image, the image is then block the display of images, sound is not interrupted.

BGMは、所定の3D位置を備える3D音声とみなされ、BGMをできるだけ早くダウンロードできるよう、定義する所定の3D位置は使用者の目に近ければ近いほど良い。 BGM is considered a 3D sound with a predetermined 3D position it as soon as possible download BGM, predetermined 3D position defining good closer to the user's eyes.

サーバーの負荷を低下させ、或いは不安定なネットワークデータ伝達が生じる騒音を回避するため、サーバーは、ビデオ中のすべての3D音声のエンコードを放棄することができる。 To avoid noise lowers the server load, the or unstable network data transfer occurs, the server is able to abandon the encoding of all 3D audio in the video. この状況において、3D音声は、ダウンロードされ、ユーザーデバイス中にプレ保存して初めてユーザーデバイス上で再生される。 In this situation, 3D sound, is downloaded and played on the first user device and pre-stored in the user device.

3D音声において、サーバー1は3D音声の状態をチェックし、どの3D音声が立体音声を備える2Dビデオストリーミングにエンコードされるべきかを決定する。 In 3D sound, the server 1 checks the state of the 3D sound, which 3D sound to determine whether to be encoded in the 2D video stream including a stereoscopic sound. そのエンコード方式はユーザーデバイス中にプレ保存されていない3D音声をビデオフレーム中にエンコードするものである。 Its encoding is to encode the 3D sound that is not pre-stored in the user device during a video frame. 3D音声が、ビデオフレーム中の立体音声にエンコードされると、その左右チャンネルの音量は、その位置及び使用者の耳に対する速度により決定される。 3D sound, when it is encoded into stereo audio in a video frame, the volume of the left and right channels is determined by the rate for that position and the user's ear. BGMは、所定位置上の3D音声効果と定義される。 BGM is defined as 3D sound effect on a given position.

図3Aは本発明ネットワークを通してメディアを伝送する方法の一実施形態のフローチャートである。 Figure 3A is a flow diagram of one embodiment of a method of transferring media throughout the present invention the network. ネットワークを通した画像の伝送を開始すると(ステップ60)、サーバー上でアプリケーションプログラムを執行し複数の3Dモデルを含むバーチャル3D環境を産生する(ステップ61)。 When starting the transmission of the image through the network (step 60), and execute the application program on the server to produce a virtual 3D environment with multiple 3D model (step 61). 各3Dモデルは、ある状態に対応し、該状態は、この3Dモデルをユーザーデバイス中にプレ保存するか否かを指示する。 Each 3D model corresponds to a certain state, the state indicates whether or not to pre-store the 3D model in the user device.

サーバーは続いて3Dモデルの状態をチェックし(ステップ62)、どの3Dモデルが2Dビデオストリーミングフレームにエンコードされるべきかを決定し、ユーザーデバイス中にプレ保存されていない3Dモデルは、フレーム中にエンコードされる。 The server checks the status of the subsequently 3D model (step 62), which 3D model determines to be encoded in the 2D video streaming frame, a 3D model that is not pre-stored in the user device, in the frame It is encoded.
サーバーは、あるバーチャル位置(通常は3Dプロジェクション面或いは使用者の目)を基準とし、近くから遠くへと、各3Dモデルの状態を一つ一つチェックする。 Server is a virtual position (usually eye 3D projection surface or the user) as a reference, from near to far, one by one check the status of each 3D model. チェック中に、ユーザーデバイス中にプレ保存されていない一個目の3Dモデルを発見すると、この発見された3Dモデルを、NR状態と標記する。 During the check, and to find the one eye of the 3D model that has not been pre-stored in the user device, the discovered 3D model, to the title and NR state. 続いて、その後の3Dモデルがユーザーデバイス中にプレ保存されるか否かにかかわらず、この3DモデルM及びその後方のすべての3Dモデルは、フレーム中にエンコードされる(ステップ63)。 Then, subsequent 3D model regardless of whether or not pre-stored in the user device, the 3D model M and all 3D model of the rear is encoded in the frame (step 63).
任意の3Dモデルの位置が改変された時、或いは配列参考用のバーチャル位置が改変された時、前記のチェックを再び執行し、しかも最新のチェック結果に基づき、3Dモデルがビデオフレーム中にエンコードされるべきか否かを決定する。 When position modification of any 3D model, or when the virtual position of the sequence for reference is modified, the check again enforcement, yet based on the latest results of the check, the 3D model is encoded in a video frame to determine Rubeki or not.

ステップ64:2Dビデオストリーミングフレームのエンコード後、サーバーは、この2Dビデオストリーミングフレーム及びユーザーデバイス中にプレ保存されていない3Dモデル(すなわち、NR状態を備える3Dモデル及びその後方のすべての3Dモデル)を、所定の順序に基づき、ユーザーデバイスに伝送する。 Step 64: After encoding 2D video streaming frame, server, the 2D video streaming frame and 3D models in the user device is not pre-stored (i.e., the 3D model and all 3D model of the rear comprises a NR state) , based on the predetermined order, and transmits to the user device.
この所定順序は、最も近い3Dプロジェクション面(或いは使用者の目)の一点から最も遠い点の3Dプロジェクション面の一点までの順序である。 This predetermined order is the order of up to a point of the 3D projection surface farthest from one point of closest 3D projection surface (or the user's eyes). ユーザーデバイスが2Dビデオストリーミングフレームを受け取ると(ステップ65)、ユーザーデバイスはサーバーから伝送されるフレームをデコードし、このフレームを使用し、ユーザーデバイス中にプレ保存されるが、フレーム中に含まれない3Dモデルのバックグラウンドのレンダリングを行う。 If the user device receives a 2D video streaming frame (step 65), the user device decodes the frame transmitted from the server, using this frame, but are pre-stored in the user device, not included in the frame performing a rendering of the background of the 3D model. これにより、音声を備えるアウトプットビデオストリーミングの混合フレームを産生する(ステップ66)。 Thus, to produce a mixed frame of the output video stream comprising a voice (step 66).
ユーザーデバイスが、サーバーから伝送される3Dモデルを受け取ると、ユーザーデバイスは、この3Dモデルを保存し、続いてメッセージをサーバーに伝送し、3Dモデルの状態を“現在は既にユーザーデバイス中にプレ保存される”に変更するよう通知する。 The user device receives the 3D model to be transmitted from the server, the user device stores the 3D model, then transmits the message to the server, the pre-store the state of the 3D model "currently is already in the user device It is notified to change to "be. この後、ユーザーデバイスは、サーバーから伝送されるビデオストリーミングと自らレンダリングした結果とを混合してアウトプットし、新しいビデオとする。 Thereafter, the user device, and output by mixing the results of their own rendering and video streaming transmitted from the server, the new video.

ステップ62中において、新しい3Dモデルが3D環境中に出現すると、その後方の3Dモデルがユーザーデバイス中にプレ保存されるか否かに関わらず、新しい3Dモデルとその後方のすべての3Dモデルをフレーム中にエンコードする。 During step 62, the new the 3D model appears in the 3D environment, 3D model of the rear regardless of whether the pre-stored in the user device, the frame all of the 3D model of the new 3D model and its rear to encode in.

ステップ64中において、サーバーは、ビデオストリーミングフレーム中にエンコードされていない3Dモデルの状態情報(或いは解釈データと称する)をユーザーデバイスに伝送する。 During step 64, the server transmits status information of the 3D model that are not encoded in the video stream frame (or referred to as interpretation data) to the user device. ユーザーデバイスが、状態情報を受け取り、及びチェックする時には、以下の方式に基づき行う。 The user device receives the status information, and when checking is performed based on the following scheme.
もし受け取った状態情報中の任意の3Dモデルが、ユーザーデバイス中にプレ保存される者でないなら、ユーザーデバイスは、サーバーに、3Dモデルをダウンロードするよう請求を送信する(ステップ661)。 If any 3D model in the state information received is, if in the user device is not a person that is pre-stored, the user device, the server sends a request to download the 3D model (step 661). 状態情報は、各フレーム中にエンコードされていない解釈データを含み、各解釈データは、3Dモデルの名称、位置、速度、ディレクション、及び属性及び各3Dモデルの状態を含む。 Status information includes interpreting data that is not encoded in each frame, each interpretation data includes the name of the 3D model, position, speed, direction, and the attribute and the state of each 3D model.

図3Bは本発明ネットワークを通してメディアを伝送する方法のもう一つの実施形態のフローチャートである。 Figure 3B is a flow chart of another embodiment of a method of transferring media throughout the present invention the network. ネットワークを通して音声の伝送を開始する(ステップ60a)と、サーバー上でアプリケーションプログラムを執行し、複数の3D音声を含むバーチャル3D環境を産生する(ステップ61a)。 To start the transmission of speech through the network (step 60a), and execute the application program on the server, to produce a virtual 3D environment containing a plurality of 3D sound (step 61a). 各3D音声は、ある状態に対応し、該状態は、この3D音声がユーザーデバイス中にプレ保存するか否かを指示する。 Each 3D sound corresponds to a certain state, the condition is the 3D sound indicates whether pre-stored in the user device.

サーバーは続いて3D音声の状態をチェックし(ステップ62a)、どの3D音声が2Dビデオストリーミングフレームにエンコードされるべきかを決定する。 The server then checks the state of the 3D sound (step 62a), which 3D sound to determine whether to be encoded in the 2D video streaming frame. ユーザーデバイス中にプレ保存されていない3D音声は、フレーム中にエンコードされる。 3D sound that is not pre-stored in the user device is encoded in the frame.
サーバーは、あるバーチャル位置(通常は3Dプロジェクション面或いは使用者の目)を基準とし、近くから遠くへと、各3D音声の状態を一つ一つチェックする。 Server is a virtual position (usually eye 3D projection surface or the user) as a reference, from near to far, one by one check the status of each 3D audio. チェック中に、ユーザーデバイス中にプレ保存されていない一個目の3D音声を発見すると、この発見された3D音声を、NR状態と標記する。 During the check, and to find the one eye of the 3D sound that has not been pre-stored in the user device, the discovered 3D sound, to the title and NR state.

ステップ64a:音声を備えるビデオストリーミングフレームをエンコード後、サーバーは、この音声を備える2Dビデオストリーミングフレーム及びユーザーデバイス中にプレ保存されていない3D音声(すなわち、このNR状態を備える3D音声)を、所定の順序に基づき、ユーザーデバイスに伝送する。 Step 64a: the encoded video streaming frame comprising speech, servers, 3D sound that is not pre-stored in the 2D video streaming frame and user device comprises the audio (i.e., 3D sound with the NR state) to a predetermined based on the sequence, and transmits to the user device.
この所定順序は、最も近い3Dプロジェクション面から(或いは使用者の目)の一点から、最も遠い点の3Dプロジェクション面のもう一つの点までの順序である。 This predetermined order is the order from a point from the closest 3D projection surface (or the user's eyes), to another point in 3D projection surface farthest point. ユーザーデバイスが音声を備えるビデオストリーミングフレームを受け取った(ステップ65a)後、ユーザーデバイスはビデオストリーミング中に含まれるオーディオ(すなわち、音声)をデコードし、このオーディオを、ユーザーデバイス中にプレ保存されるが、ビデオストリーミングフレーム中に含まれない3D音声のバックグラウンドのレンダリングに使用し、これにより混合オーディオを産生する(ステップ66a)。 After the user device receives a video streaming frame comprising speech (step 65a), the audio user device included in the video streaming (i.e., voice) decodes, the audio, but are pre-stored in the user device It was used to render the background 3D sound not included in the video streaming frame, thereby producing a mixed audio (step 66a).
ユーザーデバイスがサーバーから伝送される3D音声を受け取ると、ユーザーデバイスは、この3D音声を保存し、続いてメッセージをサーバーに伝送し、3D音声の状態を”現在は既にユーザーデバイス中にプレ保存される”に変更するように、サーバーに通知する。 Upon receiving the 3D audio user device is transmitted from the server, the user device, this 3D sound to save, then transmits a message to the server, the state of the 3D sound "currently are already pre-stored in the user device so as to change to that ", and notifies the server. この後、ユーザーデバイスは、サーバーから伝送されるビデオストリーミング中のオーディオと自らレンダリング(再生、生成)した3D音声の結果を、混合してアウトプットし、新しいオーディオとする。 Thereafter, the user device, audio and own rendering in video streaming transmitted from the server (playback, generates) the results of the 3D audio, mixed and output, and the new audio.

ステップ62aにおいて、新しい3D音声が3D環境中に出現すると、新しい3D音声を、音声を備える2Dビデオストリーミングフレーム中にエンコードする。 In step 62a, a new 3D sound when appearing in a 3D environment, the new 3D audio encode into 2D video streaming frame comprising speech. この新しい3D音声は、他の3D音声がレンダリングされるか否かに影響せず、この点は、前記ステップ62中の3Dモデルと異なる。 The new 3D sound, other 3D sound not affect whether rendered, this point is different from the 3D model in step 62.

ステップ64aにおいて、サーバーは、フレーム中にエンコードされていない3D音声の状態情報をユーザーデバイスに伝送する。 In step 64a, the server transmits the status information of the 3D sound that is not encoded in the frame to the user device. ユーザーデバイスが、状態情報を受け取り、及びチェックする時には、以下の方式に基づき行う。 The user device receives the status information, and when checking is performed based on the following scheme. もし受け取った状態情報中の任意の3D音声が、ユーザーデバイス中にプレ保存される者でないなら、ユーザーデバイスはサーバーに、3D音声をダウンロードするよう請求を送信する(ステップ661a)。 If any 3D sound in the state information received is, if not who is pre-stored in the user device, the user device sends to the server a request to download the 3D sound (step 661a). 状態情報は、各フレーム中にエンコードされていない解釈データを含み、各解釈データは、3D音声の名称、位置、速度、ディレクション、及び属性及び各3D音声の状態を含む。 Status information includes interpreting data that is not encoded in each frame, each interpretation data includes 3D audio name, position, speed, direction, and the attribute and the state of each 3D audio.

図4A、4B及び4Cは、本発明方法において、いかにしてビデオストリーミング及び3Dモデルを伝送するかを示す一実施形態の模式図である。 Figures 4A, 4B and 4C, in the process of the present invention, is a schematic diagram of an embodiment showing how to transmit video streaming and 3D models how to.

図4Aに示すとおり、最初にユーザーデバイス74がサーバー上で動作するアプリケーションプログラム70にログインしても、一切の3Dモデルは、ユーザーデバイス中にプレ保存されていない。 As shown in FIG. 4A, the first user device 74 be logged in to the application program 70 which runs on the server, the any 3D model, not pre-stored in the user device. よって、サーバーは、すべての3Dモデル(人71及びその後の家72を含む)をレンダリングする。 Thus, the server, to render all of the 3D model (including a person 71 and subsequent house 72). すべての3Dモデルは、ユーザーデバイスのスクリーン上に表示され、サーバーは、レンダリング結果を、2Dビデオストリーミングフレーム73にエンコードする。 All 3D models are displayed on the user device screen, the server, the rendering result is encoded into 2D video streaming frame 73.
続いて、このフレーム73を、ユーザーデバイス74に伝送する。 Subsequently, it transmits the frame 73, the user device 74. この段階において、フレーム73は、人71及び家72を含み、ユーザーデバイス74は、このフレーム73をアウトプットするだけでよく、他のオブジェクトをレンダリングする必要はない。 In this stage, the frame 73 includes a human 71 and house 72, the user device 74, the frame 73 need only output, it is not necessary to render the other objects.

続いて、図4Bに示すとおり、サーバー70は3Dモデルをユーザーデバイスに伝送し始め、ユーザーデバイススクリーンに最も近い3Dプロジェクション面の3Dモデルから開始する。 Subsequently, as shown in FIG. 4B, the server 70 starts to transmit the 3D model to a user device, starting from the 3D model closest 3D projection surface on the user device screen. 本実施形態中では、家72と比較すると、人71は3Dプロジェクション面に近い(或いは使用者の目)。 In the present embodiment, when compared with the home 72, human 71 close to the 3D projection surface (or the user's eyes). よって、人71の3Dモデルは、先にユーザーデバイス74に伝送され、人71の3Dモデルがユーザーデバイス74上に伝送されて保存された後、ユーザーデバイス74はメッセージをサーバー70に伝送し、人71の3Dモデルが、ユーザーデバイス74中にプレ保存していることを知らせる。 Thus, 3D model of the human 71 is transmitted earlier to the user device 74, after the 3D model of the human 71 is stored is transmitted on the user device 74, the user device 74 transmits a message to the server 70, human 71 3D model of informs that it is pre-stored in the user device 74.
この後、サーバー70は、家72をレンダリングし、そのレンダリング結果を2Dビデオストリーミングフレーム73aにレンダリングし、このフレーム73aと人71aの解釈データを、ユーザーデバイス74に伝送し、ユーザーデバイス74は続いて解釈データを自動的に利用し人をレンダリングし、さらに人のレンダリング結果とフレーム73a(家を含む)を結合し、相同のアウトプット結果を得る。 Thereafter, the server 70 renders the house 72, and renders the rendering result to the 2D video streaming frame 73a, the interpretation data of the frame 73a and humans 71a, and transmitted to the user device 74, the user device 74 is subsequently rendered automatically using people to interpret data, and further combines the people of rendering results and the frame 73a (including the house), you get the output result of homologous. このプロセス(例えば、サーバーは一回に一個の方式で3Dモデルをユーザーデバイス74に伝送する)は、すべてのユーザーエンドが表示を要する3Dモデルが伝送され、及びユーザーデバイス74中にプレ保存されるまで、何度も繰り返される。 This process (e.g., the server transmits the 3D model to the user device 74 by a single system at a time), all of the 3D model the user end take a display are transmitted, and are pre-stored in the user device 74 to be repeated many times.

図4Cに示すとおり、ユーザーデバイス74がすべての3Dモデル(人と家の3Dモデルを含む)を擁すると、サーバーのこれ以上のレンダリング操作は不要で、またビデオストリーミングフレームのこれ以上の伝送も不要である(パーツ75)。 As shown in FIG. 4C, when the user device 74 is home to all of the 3D model (including a 3D model of the people and the house), more of the rendering operation of the server is not required, but also more of the transmission of video streaming frame unnecessary it is (part 75). サーバーがユーザーデバイス74に伝送する必要があるのは、3Dモデルの解釈データ(人71a及び家72aを含む)だけである。 The server needs to be transmitted to the user device 74 is only the interpretation data of the 3D model (including the person 71a and house 72a). ユーザーデバイスは自ら、すべての3Dモデルをレンダリングし、相同のアウトプット結果を得る。 Their own user device, to render all of the 3D model, obtain the output result of homologous.

図6A、6B及び6Cは、本発明方法において、音声を備えるビデオストリーミング及び3D音声をいかにして伝送するかを示す実施形態の模式図である。 Figure 6A, 6B and 6C, in the process of the present invention, is a schematic view of the embodiment shown how to transmit and how the video streaming and 3D sound with a voice.

図6Aに示すとおり、初期ユーザーデバイス74がサーバー70上で動作するアプリケーションプログラムにログインしても、一切の3D音声は、ユーザーデバイス中にプレ保存されていない。 As shown in FIG. 6A, the initial user device 74 be logged in to the application program running on server 70, all of 3D sound are not pre-stored in the user device. よって、サーバーは、すべての3D音声(音声81及びその後の音声82を含む)をレンダリングする。 Therefore, the server will render all 3D audio (including voice 81 and subsequent voice 82).
すべての3D音声は、ユーザーデバイスのスピーカー上に現れ、サーバーは、レンダリング結果を、音声を備えるビデオストリーミングフレーム83にエンコードする。 All of the 3D sound, appears on the user device speaker, the server, the rendering result, to encode the video streaming frame 83 with a voice. 続いて、この音声を備えるビデオストリーミングフレーム83を、ユーザーデバイス74に伝送する。 Subsequently, the video streaming frame 83 provided with the voice, is transmitted to the user device 74. この段階において、音声を備えるビデオストリーミングフレーム83は、音声81及び音声82を含む。 In this stage, video streaming frame 83 including a voice includes a voice 81 and audio 82. ユーザーデバイス74は、この音声を備えるビデオストリーミングフレーム83だけをアウトプットし、他の音声をレンダリング(再生)する必要はない。 User device 74, only the video streaming frame 83 provided with the voice and output, it is not necessary to render the other audio (playback).

続いて、図6Bに示すとおり、サーバー70は、ユーザーデバイススクリーンに最も近い3Dプロジェクション面の3D音声から開始し、3D音声の、ユーザーデバイスへの伝送を開始する。 Subsequently, as shown in FIG. 6B, the server 70 starts the 3D audio closest 3D projection surface on the user device screen, a 3D audio and starts transmission to the user device. 本実施形態中では、音声82と比較し、音声81は3Dプロジェクション面(或いは使用者の目)に近い。 In the present embodiment, as compared with speech 82, speech 81 is closer to the 3D projection surface (or the user's eyes). よって、音声81の3D音声は、先にユーザーデバイス74に伝送され、音声81の3D音声が伝送され、ユーザーデバイス74上に保存された後、ユーザーデバイス74はメッセージをサーバー70に伝送し、音声81がユーザーデバイス74中にプレ保存されると知らせる。 Therefore, 3D audio sound 81 is transmitted earlier to the user device 74, is transmitted 3D sound audio 81, after being stored on the user device 74, the user device 74 transmits a message to the server 70, the voice informing and 81 are pre-stored in the user device 74.
この後、サーバー70は音声82をレンダリングし、そのレンダリング結果を音声を備える2Dビデオストリーミングフレーム83aにエンコードし、このフレーム83a及び音声81の解釈データを、ユーザーデバイス74に伝送する。 Thereafter, the server 70 renders the audio 82, encodes the rendering result to the 2D video streaming frame 83a provided with a sound, the interpretation data of this frame 83a and audio 81 transmits to the user device 74. ユーザーデバイス74は続いて解釈データを自動的に利用し、音声をレンダリング(再生)し、さらに音声のレンダリング結果とフレーム83a(音声を含む)とを結び付け、相同のアウトプット結果を得る。 User device 74 automatically utilizing Subsequently interpretation data, voice rendered (play), further linking the audio rendering result and the frame 83a (including voice), to obtain an output result of homologous. このプロセス(例えば、サーバーは一回に一個の方式で3D音声をユーザーデバイス74に伝送する)は、ユーザーデバイスのスピーカー上に再生される必要があるすべての3D音声が伝送され、及びユーザーデバイス74中にプレ保存されるまで、何度も繰り返される。 This process (e.g., the server transmits the 3D audio by a single system at a time to the user device 74), all the 3D audio that needs to be reproduced on the user device speaker is transmitted, and user device 74 before being pre-stored in, it is repeated many times.

図6Cに示すとおり、ユーザーデバイス74がすべての3D音声(音声81と音声82の3D音声を含む)を擁すると、サーバーのこれ以上のレンダリング操作は不要で、つまりビデオストリーミングフレーム(パーツ85)は画像だけを含み、音声を含まない。 As shown in FIG. 6C, when the user device 74 is home to all the 3D sound (including 3D audio voice 81 and audio 82), further rendering operation server does not require, that video streaming frame (part 85) It includes an image only, not including speech. サーバーは、3D音声81の解釈データ(音声を含む81a及び音声82a)をユーザーデバイス74に伝送する必要だけがある。 The server is only necessary to transmit the interpretation data of 3D audio 81 (81a and voice 82a including audio) to the user device 74. ユーザーは続いて、すべての3D音声を自らレンダリング(再生)し、相同のアウトプット結果を得る。 The user can then, all of the 3D sound by itself rendering (playback) to obtain an output result of homologous.

図5A、5B及び5Cは、本発明方法において、どの3Dモデルがフレームにエンコードされるべきかをいかにして決定するかを示す実施形態の模式図である。 5A, 5B and 5C, in the method of the present invention, which the 3D model is a schematic view of the embodiment shown how determined by how what should be encoded in a frame.

本発明において、サーバーは、レンダリングされるべきすべての3Dモデルを所定の順序で配列する。 In the present invention, the server arranges all of the 3D model to be rendered in a predetermined order. この所定の順序は、バーチャル位置(ユーザーデバイススクリーンの3Dプロジェクション面52、或いは使用者の目51)に対して、近くから遠くへの順序である。 This predetermined order, to the virtual position (3D projection surface 52 of the user device screen, or the user's eye 51) is the order from near to far. 図5Aに示すとおり、4個のオブジェクトA、B、C及びDを、ユーザーデバイスのスクリーン上に表示する必要があり、中でも、オブジェクトAはプロジェクション面52に最も近く、次はオブジェクトB、オブジェクトC及びオブジェクトDである。 As shown in FIG. 5A, 4 pieces of objects A, B, and C and D, must be displayed on the user device screen, among them, object A is closest to the projection surface 52, the next object B, object C and is an object D.
初期ユーザーデバイスがサーバー上で動作するアプリケーションプログラムにログインしても、一切の3D音声は、ユーザーデバイス中にプレ保存されていない。 Even the initial user device is logged in to the application program that runs on the server, all of the 3D sound has not been pre-stored in the user device. よって、サーバーはすべてのオブジェクトA、オブジェクトB、オブジェクトC及びオブジェクトDをレンダリングし、レンダリング結果を、ビデオストリーミングフレームにエンコードし、このフレームを、ユーザーデバイスに伝送する。 Therefore, the server all objects A, object B, to render the object C and object D, and rendering result, encoding the video streaming frame, this frame is transmitted to the user device. 同時に、サーバーは、一つ一つ所定の順序に基づき、オブジェクトA、オブジェクトB、オブジェクトC及びオブジェクトD等の3Dモデルの伝送を開始し、オブジェクトAの3Dモデルが先に伝送される。 At the same time, the server, based on one single predetermined order, object A, object B, and starts the transmission of the 3D model of the object such as C and object D, 3D model of the object A is transmitted first.
ユーザーデバイス上に表示されるすべての3Dモデルの伝送が完了するまで、次にオブジェクトB、オブジェクトC及びオブジェクトDを伝送する。 Until the transmission of all the 3D model displayed on the user device has been completed, then the object B, and transmits the object C and object D.

図5Bに示すとおり、オブジェクトA及びBの3Dモデルがユーザーデバイス中にプレ保存された後、サーバーが、前提に基づき、近くから遠くへの所定順序で、3Dモデルの状態をチェックする時、サーバーは、オブジェクトCは一個目のユーザーデバイス中にプレ保存されていないオブジェクトだと発見する。 As shown in FIG. 5B, after the 3D model of the object A and B are pre-stored in the user device, when the server is based on the assumption, in a predetermined order from near to far, to check the status of the 3D model, the server , the object C is to discover that it is an object that has not been pre-stored in one eye of a user device. よって、サーバーは、オブジェクトC、及びオブジェクトC後に位置するすべて他のオブジェクト(オブジェクトDなど)を、オブジェクトDの3Dモデルがユーザーデバイス中にプレ保存されているか否かに関わらず、レンダリングする。 Therefore, the server object C, and all other objects located after the object C (such as object D), 3D model of the object D regardless of whether or not they are pre-stored in the user device renders. この時、サーバーはオブジェクトA及びBの3Dモデルに対してレンダリングを行わないため、この時オブジェクトA及びBは既にユーザーデバイス中にプレ保存され、またオブジェクトCの前にある。 At this time, because the server does not perform the rendering with respect to a 3D model of the object A and B, this time object A and B are already pre-stored in the user device and in front of the object C.

図5Cに示すとおり、新しいオブジェクトEが、アプリケーションプログラムが創造するバーチャル3D環境中に表示されると、このオブジェクトユーザーデバイス中にプレ保存されているか否かに関わらず、オブジェクトE及びその後のすべてオブジェクトはどれもサーバーにレンダリングされる。 As shown in FIG. 5C, a new object E is, when the application program is displayed in the virtual 3D environment to create, regardless of whether it is pre-stored in the object user device, the object E and all subsequent objects none is rendered on the server.
例えば、図5Cに示すとおり、オブジェクトB、オブジェクトC及びオブジェクトDと比較し、新しいオブジェクトEは、3Dプロジェクション面52に比較的近い。 For example, as shown in Figure 5C, as compared with object B, object C, and object D, the new object E is relatively close to the 3D projection surface 52. オブジェクトBの3Dモデルは既にユーザーデバイス中にプレ保存されているが、オブジェクトBは、新しいオブジェクトEの後に位置するため、サーバーは、たとえオブジェクトBのわずかな部分が、その前面の他のオブジェクトに覆われていたとしても、すべてのオブジェクトE、C、B及びDに対して、レンダリングを行う。 Although 3D model of the object B has already been pre-stored in the user device, an object B, to the position after the new object E, server, even if a small portion of the object B is, in addition to the objects in the front even though covered with, all the objects E, C, with respect to B and D, performs rendering.

図7A、7B及び7Cは、本発明方法において、どの3D音声が音声を備えるビデオストリーミングフレームにエンコードされるべきかをいかにして決定するかを示す一実施形態の模式図である。 Figure 7A, 7B and 7C, in the method of the present invention, which 3D sound is a schematic diagram of an embodiment showing how to to determine to be encoded in the video streaming frame comprising speech.

本発明において、サーバーは、レンダリングが必要なすべての3D音声を所定の順序で配列する。 In the present invention, the server arranged render all 3D audio needed in a predetermined order. この所定の順序は、バーチャル位置(ユーザーデバイススクリーンの3Dプロジェクション面52、或いは使用者の目51)に対して、近くから遠くへの順序である。 This predetermined order, to the virtual position (3D projection surface 52 of the user device screen, or the user's eye 51) is the order from near to far. 図7Aに示すとおり、4個の3D音声A、B、C及びDは、ユーザーデバイスのスピーカー上で再生される必要がある。 As shown in FIG. 7A, 4 pieces of 3D audio A, B, C and D has to be played on the user device speaker. その内、音声Aはプロジェクション面52に最も近く、次は音声B、音声C及び音声Dである。 Among them, audio A is closest to the projection surface 52, the following is a speech B, voice C and audio D. 初期ユーザーデバイスがサーバー上で動作するアプリケーションプログラムにログインしても、一切の3D音声は、ユーザーデバイス中にプレ保存されていない。 Even the initial user device is logged in to the application program that runs on the server, all of the 3D sound has not been pre-stored in the user device.
よって、サーバーは、すべての音声A、音声B、音声C及び音声Dをレンダリングし、レンダリング結果を、音声を備えるビデオストリーミングフレームにエンコードし、このフレームを、ユーザーデバイスに伝送する。 Therefore, the server, all voice A, voice B, renders voice C and voice D, and rendering result, encoding the video streaming frame comprising speech, the frame is transmitted to the user device. 同時に、サーバーは、すべての3D音声がユーザーデバイスに保存されるまで、所定の順序に基づき、音声Aの3D音声を先に伝送し、次に順番に音声B、音声C及び音声Dを伝送し、音声A、音声B、音声C及び音声Dのデータを一つ一つ伝送する。 At the same time, the server until all 3D sound is stored in the user device, based on a predetermined order, and transmit the 3D sound audio A first, then the transmission voice B, and audio C and audio D sequentially , voice a, voice B, and one by one transmit data voice C and audio D.

図7Bに示すとおり、音声A及びBの3D音声がユーザーデバイス中にプレ保存されると、サーバーは、前提に基づき、近くから遠くへの所定順序で、3D音声の状態をチェックし、サーバーは音声Cが一個目のユーザーデバイス中にプレ保存されていない音声であることを発見する。 As shown in FIG. 7B, when the 3D sound audio A and B are pre-stored in the user device, the server, based on the assumption, in a predetermined order from near to far, to check the state of the 3D sound, the server It discovers that voice C is a voice that has not been pre-stored in one th user devices. よって、サーバーは、音声C及び音声C後に位置するすべて他の音声(音声Dなど)をレンダリングし、この段階において、音声A及びBは既にユーザーデバイス中にプレ保存されているので、サーバーは、音声A及びBの3D音声に対してはレンダリングを行わない。 Therefore, the server, all located after the sound C and the sound C renders other audio (such as voice D), at this stage, since the audio A and B have already been pre-stored in the user device, the server, not performed rendering for 3D sound audio a and B.

図7Cに示すとおり、新しい音声Eがアプリケーションプログラムが作り出すバーチャル3D環境中に出現すると、音声Eは、サーバーにレンダリングされるが、このレンダリングは、他の音声のレンダリングに影響しない。 As shown in FIG. 7C, when a new voice E appears in a virtual 3D environment to create an application program, voice E, which is rendered on the server, this rendering does not affect the rendering of other voice. これは、図5C中に示す3Dモデルとは異なり、図7Cに示すとおり、音声B、音声C及び音声Dと比較すると、新しい音声Eは、3Dプロジェクション面52に近く、図5C中の3Dモデルとは異なり、ユーザーデバイス中にプレ保存される音声(音声A及びBなど)は、ユーザーデバイスによりレンダリングされるが、ユーザーデバイスにプレ保存される音声(音声E、C及びDなど)ではなく、サーバーがレンダリングする。 This is different from the 3D model shown in Figure 5C, as shown in FIG. 7C, sound B, and comparison with voice C and voice D, new voice E is close to the 3D projection surface 52, the 3D model in Figure 5C Unlike voice (such as audio a and B) which are pre-stored in the user device, but is rendered by the user device rather than audio (voice E, such as C and D) which is pre-stored in the user device, server to render.

本発明の上述した技術は、バーチャルリアリティー(VR)シーンシステムへも応用可能であり、サーバーが執行するVRシーンアプリケーションプログラムが産生した3Dモデル及びVRビデオストリーミングをネットワークを通してユーザーデバイスへ伝送するが、以下、これについて詳細に述べる。 Described techniques of the present invention is also applicable to a virtual reality (VR) scenes systems, transmits 3D model and VR video streaming VR scene application program that the server enforcement produced through the network to the user device, the following , which will be described in detail.

人間に視覚的に疑似体験させるために、バーチャルなVRシーンには、左目用の画像と、右目用の画像とが含まれなければならない。 To humans visually pseudo experience, the virtual VR scenes, and an image for the left eye, it must be included and the image for the right eye. 図8は、本発明の第1実施形態によるバーチャルリアリティー(VR)シーンシステムのシステムアーキテクチャを示す模式図である。 Figure 8 is a schematic diagram illustrating the system architecture of the virtual reality (VR) scenes system according to the first embodiment of the present invention.

本発明において、シーンサーバー1120は、複数の3Dモデルを含むバーチャルVR3D環境を産生させるために、VRシーンアプリケーションプログラム1100(この後、“VRアプリケーションプログラム又はアプリケーションプログラムと略称する)を有するサーバー1上で執行するサーバープログラムである。VRシーンアプリケーションプログラム1100もサーバー1上で執行され、一般にVRゲームである。 In the present invention, the scene server 1120, to produce the virtual VR3D environment including a plurality of 3D models, VR scene application program 1100 (after this, "abbreviated as VR application program or application program) on the server 1 having .VR scene application program 1100 is a server program that enforcement is also executive on the server 1, is generally VR game.
VRシーンサーバー1120は、サーバー1上でアプリケーションプログラム1100と共同で執行されるサーバープログラムであり、サーバー1のVRシーントランスミッター1110と、ユーザーデバイス21,22,23のVRシーンユーザーエンド1170との間のメッセージ伝達のハブとして用いる。 VR scene server 1120 is a server program which is executed at jointly with the application program 1100 on the server 1, and VR scenes transmitter 1110 of the server 1, between the VR scene user end 1170 of the user device 21, 22, 23 used as a hub for messaging. VRシーンサーバー1120は、サーバー1から必要な3Dモデルをダウンロードするユーザーデバイス21,22,23のVRシーンユーザーエンド1170のファイルダウンロードサーバーとしても同時に用いる。 VR scene server 1120, also used at the same time as the file download server of VR scene user end 1170 of the user device 21, 22, 23 to download the required 3D model from the server 1. VRシーントランスミッター1110は、VRシーンアプリケーションプログラム1100がコンパイルされる時期にこれと静的にリンクされるか、VRシーンアプリケーションプログラム1100の執行期間にこれと動的にリンクされるライブラリー(Library)である。 VR scene transmitter 1110, in the VR scene or application program 1100 is linked this and static in time to be compiled, library that is dynamically linked with it to the enforcement period of VR scene application program 1100 (Library) is there. VRシーンユーザーエンド(プログラム)1170は、ユーザーデバイス21,22,23上で執行するプログラムであり、ユーザーデバイス内で産生してVRシーンアプリケーションプログラム1100により生成される3D画像レンダリング結果を産生してアウトプットする。 VR scene user end (program) 1170 is a program for execution on a user device 21, 22, 23, and produce a 3D image rendering results generated by the VR scene application program 1100 and produced in a user device Output Tosuru.
この実施形態では、各ユーザーデバイス21,22,23にとって、それはそれぞれ独立したVRシーンアプリケーションプログラム1100及びVRシーントランスミッター1110に対応する。 In this embodiment, taking the respective user device 21, 22, 23, which corresponds to the VR scene application program 1100 and VR scenes transmitter 1110 were independent. VRシーントランスミッター1110は、リストを保有し、全3Dモデルと、各3Dモデルがユーザーデバイスにすでに保存した状態であるか否かであることとを印刷し、この状態は、各3Dモデルがユーザーデバイス中の状態が(1)“Not Ready(準備中)”、(2)“Loading(ダウンロード中)”及び(3)“Ready for Client(ユーザーはダウンロード済み)”の内の何れか一つである。 VR scenes transmitter 1110 holds a list, all the 3D model, each 3D model is printed and it is whether a state of being already stored in the user device, this state, the 3D model user device is in a state (1) "Not ready (in preparation)" in, is any one of the (2) "Loading Loading (downloading)" and (3) "ready for Client (users already downloaded)" .

サーバー1は、どの3Dモデルを2Dビデオストリームの左目フレームにし、どの3Dモデルを2Dビデオストリームの右目フレームにするかを決定するために、これら3Dモデルの状態を検査する。 Server 1, to which the 3D model to the left eye frame of the 2D video stream, which 3D model to determine whether the right eye frame of the 2D video stream, to inspect the state of these 3D models. 本発明において、それら予め保存されていないユーザーデバイス21,22,23中の3Dモデルは、左目フレーム及び右目フレームにエンコードされる。 In the present invention, 3D Models user devices 21, 22, 23 to which they have not been previously stored is encoded in the left eye frame and right-eye frames. この機能を達成するために、VRシーンアプリケーションプログラム1100のメインプログラムは、API呼出プログラムライブラリの方式(図8のルート1101)により、VRシーン情報をVRシーントランスミッター1110へ伝送する。 To accomplish this function, the main program of the VR scene application program 1100, the method of the API call program library (root 1101 in FIG. 8), transmits the VR scene information into VR scene transmitter 1110. このVRシーン情報は、名称、位置、速度、属性、ディレクション及び全ての別の3Dモデルがレンダリングするのに必要なデータを含む。 The VR scene information includes the name, position, velocity, attributes, data necessary for direction and all other 3D model is rendered. VRシーントランスミッター1110がこのようなデータを受信した後、以下のプロセスを執行する。 After VR scene transmitter 1110 receives such data, execute the following process.

ステップ(a):全ての3Dモデルにとって、左目フレーム中の全てのレンダリングしなければならない3Dモデルの順序方式は、バーチャル位置(例えば、3Dプロジェクション面又は使用者の左目)に対して、近くから遠くへと配列する。 Step (a): for all 3D models, the order system of the 3D model must all rendering in the left eye frame, with respect to the virtual position (e.g., the left eye of the 3D projection surface or the user), far from the near sequence to.

ステップ(b):3Dモデルにとって、最近点(使用者の左目に最も近いもの)から“Ready for Client”状態を備えない1つ目の3Dモデル“M”を探す。 Step (b): For 3D models, look for the "Ready for Client" 1 one eye of the 3D model that does not include the state "M" from the closest point (closest to the left eye of the user). 言い換えると、1つ目の3Dモデル“M”の状態は“Not Ready”の状態である(この後、“Not Ready”状態はNR状態と略称する)。 In other words, first state of the 3D model "M" of a state of "Not Ready" (thereafter, "Not Ready" state is abbreviated as NR state). 勿論、このような3Dモデルは存在しない(例えば、全て表示された3Dモデルは“Ready for Client”の状態と標示される)。 Of course, such a 3D model does not exist (e.g., all the displayed 3D model is labeled state of "Ready for Client").

ステップ(c):3Dモデルにとって、サーバー1により3DモデルM及びその後の全ての3Dモデルをレンダリング、即ち、全てがM距離の左目より遠い3Dモデルである。 Step (c): For 3D models, rendering all the 3D model of the 3D model M and then by the server 1, i.e., all of which are farther 3D model from the left eye of the M distance. (例えば、3DモデルMが無い場合、黒幕が表示される)レンダリング後の結果をエンコードし、2Dビデオストリームの左目フレーム(frame)として用い、使用者の左目で見るために提供される。 Encode (e.g., if the 3D model M is not, mastermind is to be displayed) result after rendering, used as a left frame of the 2D video stream (frame), is provided for viewing by the left eye of the user.

ステップ(d):右目フレームの上述のステップ(a)〜(c)を繰り返す。 Step (d): repeating the above steps for the right eye frame (a) ~ (c). 即ち、上述のステップ(a)〜(c)で述べる左目の操作を右目に替え、もう一つの2Dビデオストリームの他方のフレームの右目フレームが産生し、使用者の右目で見るために提供される。 That is, provided the left eye of the operation described in the above-described step (a) ~ (c) instead of the right eye, without right-eye frames are produced on the other frame of another 2D video stream, in order to view by the right eye of a user .

ステップ(e):左目フレームのために[Info 1112−A]、[Info 1112−B]及び[Info 1112−C]の3つの情報をVRシーンサーバー1120へ伝送する(ルート1112)。 Step (e): [Info 1112-A] for the left eye frame, and transmits [Info 1112-B] and three pieces of information [Info 1112-C] to VR scene server 1120 (routes 1112). 右目フレームのために[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]の3つの情報をVRシーンサーバー1120へ伝送する(ルート1113)。 For right-eye frames [Info 1113-A], and transmits [Info 1113-B] and three pieces of information [Info 1113-C] to VR scene server 1120 (routes 1113).

ステップ(f):VRシーンサーバー1120中のデータパッカー121は、左右両目の情報[Info 1112−A]、[Info 1112−B]及び[Info 1112−C]、[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]をパッケージングし、1つのデータパッケージをつくる。 Step (f): Data packer 121 in VR scene server 1120, the left and right eyes Information [Info 1112-A], [Info 1112-B] and [Info 1112-C], [Info 1113-A], [Info 1113-B] and then packaging [Info 1113-C], making one data package.

ステップ(g):VRシーンサーバー1120は、ステップ(f)中で産生されたデータパッケージをユーザーデバイス21,22,23中のVRシーンユーザーエンド1170へ伝送する(ルート1122)。 Step (g): VR scene server 1120 transmits the data packages produced in step (f) to VR scene user end 1170 in the user device 21, 22, 23 (route 1122).

[Info 1112−A]は、3DモデルM前の全ての3Dモデルの状態情報(又は解釈データ)である。 [Info 1112-A] is the state information of all the 3D models before 3D model M (or interpret data). このタイプモデルは存在しない可能性もあることに注意する必要がある。 This type of model, it is necessary to note that there is also a possibility that does not exist. このタイプモデルは、“Ready for Client”状態を有し、これはこれらのモデルがユーザーデバイスにプリロードし、ユーザーデバイス21,22,23上面のVRシーンユーザーエンド(プログラム)1170は、自らこれらのモデルをレンダリングしたことを意味する。 This type model, "Ready for Client" has a state which these models are preloaded into the user device, the user device 21, 22, 23 top VR scene user end (program) 1170, its these models which means that it has rendered. データ伝達帯域幅を減らすために、VRシーントランスミッター1110は、今回のレンダリングと前回のレンダリングとの差異の状態情報を伝送するだけでよく、全ての状態情報を伝送する必要はない。 To reduce the data transmission bandwidth, VR scenes transmitter 1110 need only transmit the status information of the difference between the current rendering and previous rendering, it is not necessary to transmit all of the state information.

[Info 1112−B]もしサーバーが3DモデルMを見つけ、しかもそのユーザーデバイスが予め保存した状態が“Not Ready”である時、サーバーは、そのユーザー状態を“Loading”に変え、3DモデルMのダウンロード指示を送信し、ユーザーデバイスに、この3DモデルMをダウンロードするよう要求する。 [Info 1112-B] If the server finds a 3D model M, yet when the state user device has previously stored is "Not Ready", the server, instead of the "Loading" the user state, the 3D model M sends a download instruction, the user device requests to download the 3D model M. もしユーザー状態が既に“Loading”なら、ダウンロード指示は既に送信されているので、一切の指示を送信してはならない。 If If the user state is already "Loading", because the download instruction has already been sent, it must not send any indication.

[Info 1112−C]は、ステップ(c)中のエンコードした後の左目のビデオストリーミングフレーム、即ち左目フレームである。 [Info 1112-C] is the left eye video streaming frames after encoding in step (c), that is, the left eye frame.

[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]は、基本的に[Info 1112−A]、[Info 1112−B]及び[Info 1112−C]と実質上等しく、[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]は右目フレームに関する。 [Info 1113-A], [Info 1113-B] and [Info 1113-C] basically [Info 1112-A], [Info 1112-B] and [Info 1112-C] and substantially equal, [Info 1113-A], [Info 1113-B] and [Info 1113-C] relates to right-eye frames.

毎回のVRシーンアプリケーションプログラム1100のメインプログラムが新しいVRシーンデータをVRシーントランスミッター1110へ更新する際、ステップ(a)〜(g)を繰り返し、通常、VRシーンアプリケーションプログラム1100のメインプログラムは、毎回のレンダリングの周期中でこのようなデータを更新する。 When the main program of each of the VR scene application program 1100 to update the new VR scene data to the VR scene transmitter 1110, repeat steps (a) ~ (g), usually, the main program of the VR scene application program 1100, of every time to update such data in the period of rendering.

VRシーンユーザーエンド1170が前述のデータを受信すると、後述のレンダリングプロセスを行う。 When VR scene user end 1170 receives the above data, it performs rendering process described later.

ステップ(i):[Info 1112−C and Info 1113−C]中のビデオフレーム(左目フレーム及び右目フレームの両者を含む)をデコードし、これら2つのフレームをフレーム結合器1171へ伝送する。 Step (i): [Info 1112-C and Info 1113-C] decodes the video frame (including both the left eye frame and right eye frame) in, and transmits the two frames to the frame combiner 1171.

ステップ(ii):フレーム結合器1171は、これら2つのフレーム(左目フレーム1711及び右目フレーム1712の両者を含む)を合成したVRフレーム1713(図9を参照する)へ合成し、後続の3Dモデルレンダリングのバックグラウンドとして用いる。 Step (ii): a frame combiner 1171, these two frames VR frame 1713 was synthesized (including both the left eye frame 1711 and right-eye frames 1712) (refer to FIG. 9) synthesized to a subsequent 3D model rendering used as a background.

ステップ(iii):ステップ(ii)でエンコードした後の合成したVRフレーム上で全ての[Info 1112−A and Info 1113−A]中の3Dモデルをレンダリングする。 Step (iii): to render all [Info 1112-A and Info 1113-A] in the 3D model on synthesized VR frames after encoding in step (ii). ネットワーク帯域幅占用を低下させるために、VRシーンユーザーエンド1170は、この[Info 1112−A and Info 1113−A]の情報をメモリに保存するため、次回のVRシーントランスミッター1110は、次回のレンダリングと今回のレンダリングとの間の[Info 1112−A and Info 1113−A]状態の差異を伝送するだけで良く、全ての状態情報を伝送する必要はない。 To reduce the network bandwidth occupied, VR scene user end 1170, for storing information of this [Info 1112-A and Info 1113-A] in the memory, the next VR scenes transmitter 1110, a next rendering it is only necessary to transmit the [Info 1112-a and Info 1113-a] difference state between the current rendering, it is not necessary to transmit all of the state information.

ステップ(iv):ステップ(iii)中のレンダリング結果をアウトプットし、VRシーンを含んだ出力ビデオストリーミング中のレンダリング後の混合VRフレーム、即ち、最終的に出力されたビデオストリーミング結果として用いる(ルート1176)。 Step (iv): step (iii) to output the rendering result in the mixing VR frames after rendering in the output video streaming including a VR scene, i.e., the final outputted used as video streaming result (Route 1176).
この実施形態において、ユーザーデバイスは、眼鏡タイプ又はヘルメットタイプの電子機器であり、それは使用者の左目及び右目の前方にそれぞれ位置する2つの表示スクリーンを含む。 In this embodiment, the user device is an electronic apparatus of the spectacle type or helmet-type, it includes two display screens respectively located left of and in front of the right eye of the user. 左側のスクリーンは、使用者の左目が見る画像(フレーム)を表示し、右側のスクリーンは、使用者の右目が見る画像(フレーム)を表示する。 Left of the screen displays an image (frame) the left eye of the user sees the right of the screen displays an image (frame) the right eye of the user sees. 出力ビデオストリーミング中の混合VRフレームは、以下で述べる方式でユーザーデバイスの2つのスクリーン上に再生、即ち、混合したVRフレーム中の各ラインの左半分の各画素が左目スクリーンに表示され、混合したVRフレーム中の各ラインの右半分の各画素が右目スクリーンに表示され、使用者に視覚的疑似体験(VR)させる。 Mixing VR frames in the output video streaming, playback on two screens user devices in a manner described below, i.e., each pixel of the left half of each line in the mixed VR frame is displayed to the left eye screen and blended each pixel in the right half of each line in the VR frame is displayed to the right eye screen, make visual virtual experience (VR) to the user.

[Info 1112−B]及び[Info 1113−B]の状態を提供する場合、3DモデルMがVRシーンユーザーエンド1170により準備しなければならないことを表し、このときVRシーンユーザーエンド1170は、以下のプロセスにより3DモデルMを処理する。 [Info 1112-B] and the case of providing the status of [Info 1113-B], indicates that the 3D model M must prepare by VR scene user end 1170, this time VR scene user end 1170, the following processing the 3D model M by the process.

ステップ(I):VRシーンキャッシュ1190を探し(ルート1174)、VRシーンキャッシュ1190は、以前ユーザーデバイス21,22,23にダウンロードして保存した3Dモデルデータファイルを含む。 Step (I): looking for a VR scene cache 1190 (route 1174), VR scene cache 1190, including the 3D model data file which was saved previously downloaded user device 21, 22, 23.

ステップ(II):VRシーンキャッシュ1190中にすでに3DモデルMがある場合、ステップ(V)を直接執行する。 Step (II): If the VR already in the scene cache 1190 there is a 3D model M, and enforcement steps (V) directly.

ステップ(III):VRシーンキャッシュ1190中に3DモデルMが無い場合、VRシーンユーザーエンド1170は、VRシーンサーバー1120へダウンロード請求を送信する(ルート1172)。 Step (III): If the VR scene 3D model M is not in the cache 1190, VR scene user-end 1170, to send a download request to the VR scene server 1120 (route 1172). VRシーンサーバー1120は、3DモデルMのデータをVRシーンユーザーエンド1170へ返送する(ルート1124)。 VR scene server 1120 returns the data of the 3D model M to VR scene user-end 1170 (route 1124).

ステップ(IV):3Dモデルが完全にダウンロードされた後、VRシーンユーザーエンド1170は、これをVRシーンキャッシュ1190に保存し(ルート1194)、これにより次回似たような請求があったときでもダウンロードする必要はない。 Step (IV): After the 3D model has been completely downloaded, VR scene user-end 1170, which was stored in the VR scene cache 1190 (route 1194), As a result, even when there is a claim something similar next time download do not have to.

ステップ(V):VRシーンユーザーエンド1170は、VRシーンキャッシュ1190中から3DモデルMをロードする(ルート1192)。 Step (V): VR scene user-end 1170, to load the 3D model M from in VR scene cache 1190 (route 1192).

ステップ(VI):ダウンロードが完了すると(又は予めダウンロードが完了している)、VRシーンユーザーエンド1170は3DモデルMをロードする。 Step (VI): download (which is or pre-download is complete) Upon completion, VR scene user-end 1170 to load a 3D model M. VRシーンユーザーエンド1170は、“3D model is ready on client(3Dモデルがユーザーデバイス上に既に存在する)”のメッセージをVRシーンサーバー1120へ送信し(ルート1115)、VRシーンサーバー1120は、このメッセージをVRシーントランスミッター1110へ転送する(ルート1114)。 VR scene user-end 1170, "3D model is ready on client (3D model already exists on the user device)" to send a message to the VR scene server 1120 (route 1115), VR scene server 1120, this message and transfers to the VR scene transmitter 1110 (route 1114).

ステップ(VII):VRシーントランスミッター1110がこのメッセージを受信すると、3DモデルMの状態が“Loading”から“Ready for Client”へ変わる。 Step (VII): When the VR scene transmitter 1110 receives this message, the state of the 3D model M changes to "Loading" from "Ready for Client".

ステップ(VIII):次回のレンダリングにおいて、VRシーントランスミッター1110は、3DモデルMがすでにユーザーデバイス中にプリロードされていることを知るため、VRシーンユーザーエンド1170が自らレンダリングすることを請求するため、サーバー1は、3DモデルMをレンダリングする必要はない。 Step (VIII): in the next rendering, VR scenes transmitter 1110, to know that the 3D model M is already preloaded into the user device, for VR scene user end 1170 is claimed to render itself, the server 1, it is not necessary to render a 3D model M.

最初、ユーザーデバイス21,22,23中には3Dモデルが全くないため、VRシーントランスミッター1110は、全ての3Dモデルをレンダリングし、その結果を、左目フレーム及び右目フレームを含む2Dビデオストリーミングへエンコードする。 First, because there is no 3D model in the user device 21, 22, 23, VR scenes transmitter 1110 renders all of the 3D model, the result is encoded into 2D video streaming including left frame and the right eye frame . VRシーントランスミッター1110は、3Dモデルのダウンロード請求[Info 1112−B]及び[Info 1113−B]を、最接近の3Dプロジェクション面(又は使用者の左目又は右目)から処理を開始する。 VR scenes transmitter 1110, a request downloading of the 3D model [Info 1112-B] and [Info 1113-B], starts the process from 3D projection surface of closest approach (or the user's left eye or right eye). VRシーンユーザーエンド1170は、VRシーンサーバー1120から各3Dモデルをダウンロードするか、VRシーンキャッシュ1190から一つ々々ロードする。 VR scene user-end 1170, or download each 3D model from the VR scene server 1120, to one people 's load from the VR scene cache 1190. さらに多くの3DモデルがVRシーンユーザーエンド1170から得られるとき、VRシーントランスミッター1110は、VRシーンユーザーエンド1170を自動的に通知し、これらのモデル及び音声を自らレンダリングし、VRシーントランスミッター1110がレンダリングする3Dモデルの数を減らす。 Further when the number of 3D model is obtained from VR scene user end 1170, VR scenes transmitter 1110, automatically notify the VR scene user end 1170, to render themselves these models and voice, VR scenes transmitter 1110 rendering reduce the number of 3D models.
このように、エンコードされた左目フレーム及び右目フレームを有する2Dビデオストリーミング中の3Dモデルは、最終的にVRシーンユーザーエンド1170上で全ての3Dモデルを得るまで徐々に少なくなる。 Thus, 3D model in 2D video streaming with encoded left frames and right-eye frames are gradually reduced until obtaining all the 3D models on finally VR scene user end 1170. その後、この段階では黒幕のみがサーバー1によりエンコードされ、言い換えると、サーバー1は、2Dビデオストリーミングからユーザーデバイス21,22,23へ伝送する必要無く、サーバー1とユーザーデバイス21,22,23間のネットワーク帯域幅の占用も大幅に低下される。 Thereafter, only the mastermind at this stage is encoded by the server 1, in other words, the server 1 is not necessary to transmit the 2D video streaming to the user device 21, 22, 23, between the server 1 and the user device 21, 22, 23 occupied network bandwidth is also greatly reduced.

新しい3DモデルNがVRシーンに現れると、VRシーントランスミッター1110は、(1)VRシーンユーザーエンド1170を通知し、この新しい3DモデルNの前に位置する全ての3Dモデルをレンダリングする(使用者の左目又は右目に対し)。 When a new 3D model N appears in the VR scene, VR scene transmitter 1110, (1) notifies the VR scene user-end 1170, to render all of the 3D model to be located in front of this new 3D model N (of user for the left eye or right eye).
(2)この新しい3DモデルNをダウンロードするようにVRシーンユーザーエンド1170に通知する。 (2) to notify the VR scene user-end 1170 to download the new 3D model N.
(3)VRシーントランスミッター1110は、この新しい3DモデルNと、その後ろの全てのモデルとをレンダリングし、その結果は、左目フレーム及び右目フレームを含む2Dビデオストリーミングにエンコードされる。 (3) VR scenes transmitter 1110 renders the new 3D model N, and all models of behind, the result is encoded in the 2D video stream including a left frame and a right-eye frames. その後、左目フレーム及び右目フレームを含む2DビデオストリーミングをVRシーンユーザーエンド1170へ伝送する。 Thereafter, it transmits the 2D video stream including a left frame and a right frame to VR scene user end 1170. そこで、VRシーンユーザーエンド1170が依然として3DモデルNでユーザーデバイス上で準備される前に、VRアプリケーションプログラム1100の3D画像レンダリング結果を再製し続ける。 Therefore, before VR scene user end 1170 it is still prepared on the user device in the 3D model N, continue to rebuild a 3D image rendering result of VR application program 1100.

図10は、本発明の第2実施形態によるバーチャルリアリティー(VR)シーンシステムのシステムアーキテクチャを示す模式図である。 Figure 10 is a schematic diagram illustrating the system architecture of the virtual reality (VR) scenes system according to a second embodiment of the present invention. 図10の第2実施形態の大部分の要素及び機能は、図8で開示した第1実施形態と実質上同じであるか類似するが、フレーム結合器1111がVRシーンユーザーエンド1170に位置しているのでなく、VRシーントランスミッター1110中に位置している点のみが異なり、そのため、図10の同じ又は類似した要素には、図8と共通の参照符号が付され、その説明は繰り返さない。 Most elements and functions of the second embodiment of FIG. 10 is similar to or is substantially the same as the first embodiment disclosed in FIG. 8, a frame coupler 1111 is located on the VR scene user end 1170 rather than have, differ only in that located in the VR scene transmitter 1110, therefore, the same or similar elements in FIG. 10, the same reference numerals as in FIG. 8 attached, and description thereof will not be repeated.

図10に示すように、VRアプリケーションプログラム1100のメインプログラムは、API呼出プログラムライブラリ方式により、VRシーン情報をVRシーントランスミッター1110へ伝送し、このVRシーン情報は、名称、位置、速度、属性、ディレクション及びその他3Dモデルレンダリングが必要とする全てのデータを含む。 As shown in FIG. 10, the main program of the VR application program 1100, an API calling program library method, and transmits the VR scene information into VR scene transmitter 1110, the VR scene information, name, position, velocity, attributes, Direction and including all of the data that other 3D model rendering needs. VRシーントランスミッター1110がこのタイプのデータを受け取ると、以下のプロセスを執行することができる。 When VR scene transmitter 1110 receives this type of data, it is possible to execute the following processes.

ステップ(a):全ての3Dモデルにとって、左目フレーム中のレンダリングしなければならない3Dモデルは、バーチャル位置(例えば、3Dプロジェクション面又は使用者の左目)に基づいて近くから遠くへと配列される。 Step (a): for all 3D models, 3D models must be rendered in the left frame, the virtual position (e.g., the left eye of the 3D projection surface or the user) is arranged as far from nearby based on.

ステップ(b):3Dモデルにとって、最も近い点(使用者の左目に最も近い点)から“Ready for Client”状態を備えない一個目の3Dモデル“M”を探す。 Step (b): For 3D models, look for the "Ready for Client" one eye of the 3D model that does not include the state "M" from the closest point (the point closest to the left eye of the user). 言い換えれば、一個目の3Dモデル“M”の状態は“Not Ready”状態(この後、“Not Ready”状態はNR状態と略称する)である。 In other words, a single first state of the 3D model "M" of "Not Ready" state (after this, "Not Ready" state is abbreviated as NR state). 当然、このタイプの3Dモデルが存在しない可能性もある。 Of course, there is also a possibility that the 3D model of this type does not exist.

ステップ(c):サーバー1中の3Dモデル“M”及び後続の3Dモデルすべてをレンダリング(上述した3Dモデル“M”が存在しない場合、黒幕を直接産生する)した後、メモリ中に保存する。 Step (c): (If there is no 3D model "M" described above, mastermind produced directly a) all 3D model "M" and subsequent 3D model in the server 1 rendered after, is stored in the memory.

ステップ(d):右目フレームにより上述したステップ(a)〜(c)を繰り返して説明する。 Step (d): repeatedly describing the steps described above in the right-eye frames (a) ~ (c). つまり、ステップ(a)〜(c)で述べた左目の操作を右目に変え、これにより使用者の右目が見る右目フレームを産生する。 In other words, changing the left eye of the operations described in step (a) ~ (c) in the right eye, thereby producing a right-eye frame eye of the user sees.

ステップ(e):フレーム結合器1111によりすでにレンダリングした左目フレーム及び右目フレームを2Dビデオストリーミング中の合成したVRフレームに合成する。 Step (e): synthesizing a left frame and a right frame which has already been rendered by the frame combiner 1111 to synthesized VR frames in 2D video streaming.

ステップ(e):左目フレーム及び右目フレームは、[Info 1112−A]、[Info 1112−B]及び[Info 1112−C]の3つの情報をVRシーンサーバー1120へ伝送する(ルート1112)。 Step (e): left frame and the right eye frame, [Info 1112-A], and transmits [Info 1112-B] and three pieces of information [Info 1112-C] to VR scene server 1120 (routes 1112). その後、VRシーンサーバー1120は、それをユーザーデバイス21,22,23中のVRシーンユーザーエンド1170へ伝送する(ルート1122)。 Thereafter, VR scenes server 1120 transmits it to the VR scene user end 1170 in the user device 21, 22, 23 (route 1122).

[Info 1112−A]は、3DモデルM前の全ての3Dモデルの状態情報(又は解釈データ)である。 [Info 1112-A] is the state information of all the 3D models before 3D model M (or interpret data). このタイプモデルは存在しない可能性もあることに注意する必要がある。 This type of model, it is necessary to note that there is also a possibility that does not exist. このタイプモデルは、“Ready for Client”状態を有し、これはこれらのモデルがユーザーデバイスにプリロードし、ユーザーデバイス21,22,23上面のVRシーンユーザーエンド(プログラム)1170は、自らこれらのモデルをすでにレンダリングしたことを意味する。 This type model, "Ready for Client" has a state which these models are preloaded into the user device, the user device 21, 22, 23 top VR scene user end (program) 1170, its these models which means that the already rendered. データ伝達帯域幅を減らすために、VRシーントランスミッター1110は、今回のレンダリングと前回のレンダリングとの差異の状態情報を伝送するだけでよく、全ての状態情報を伝送する必要はない。 To reduce the data transmission bandwidth, VR scenes transmitter 1110 need only transmit the status information of the difference between the current rendering and previous rendering, it is not necessary to transmit all of the state information.

[Info 1112−B]もしサーバーが3DモデルMを見つけ、しかもそのユーザーデバイスが予め保存した状態が“Not Ready”である時、サーバーは、そのユーザー状態を“Loading”に変え、3DモデルMのダウンロード指示を送信し、ユーザーデバイスに、この3DモデルMをダウンロードするよう要求する。 [Info 1112-B] If the server finds a 3D model M, yet when the state user device has previously stored is "Not Ready", the server, instead of the "Loading" the user state, the 3D model M sends a download instruction, the user device requests to download the 3D model M. もしユーザー状態が既に“Loading”なら、ダウンロード指示は既に送信されているので、一切の指示を送信してはならない。 If If the user state is already "Loading", because the download instruction has already been sent, it must not send any indication.

[Info 1112−C] [Info 1112-C]
ステップ(e)中ですでにレンダリングし、左目フレーム及び右目フレームを含むビデオビデオストリーミングフレーム中の合成したVRフレームである。 Already rendered in step (e), it is a synthesized VR frames in the video video streaming frame including a left frame and a right-eye frames.

VRシーンユーザーエンド1170が前述の情報を受信した後、後述のレンダリングプロセスを行う。 After VR scene user end 1170 receives the information described above, it performs the rendering process to be described later.

ステップ(i):[Info 1112−C]中の合成したVRフレームをデコードし、後続の3Dモデルをレンダリングするときのバックグラウンドとして用いる。 Step (i): [Info 1112-C] decodes the synthesized VR frame in use as a background when rendering the subsequent 3D model.

ステップ(ii):合成したVRフレーム上で全ての[Info 1112−A]中の3Dモデルをレンダリングする。 Step (ii): rendering a 3D model of all [Info 1112-A] in on synthesized VR frame. ネットワーク帯域幅占用を低下させるために、VRシーンユーザーエンド1170は、この[Info 1112−A]の情報をメモリに保存するため、次回のVRシーントランスミッター1110は、次回のレンダリングと今回のレンダリングとの間の[Info 1112−A]状態の差異を伝送するだけで良く、全ての状態情報を伝送する必要はない。 To reduce the network bandwidth occupied, VR scene user end 1170, the order to store the information of [Info 1112-A] in the memory, the next VR scenes transmitter 1110, the next rendering and the current rendering [Info 1112-a] may only transmit the differences state between, there is no need to transmit all of the state information.

ステップ(iii):ステップ(ii)中のレンダリング結果をアウトプットし、VRシーンを含んだ出力ビデオストリーミング中のレンダリング後の混合VRフレーム、即ち、最終的にアウトプットされたビデオストリーミング結果として用いる(ルート1176)。 Step (iii): the rendering result in step (ii) to output, mixing VR frames after rendering in the output video streaming including a VR scene, i.e., ultimately used as a video streaming result of the output ( route 1176).

図11は、本発明の第3実施形態によるバーチャルリアリティー(VR)シーンシステムのシステムアーキテクチャを示す模式図である。 Figure 11 is a schematic diagram illustrating the system architecture of the virtual reality (VR) scenes system according to a third embodiment of the present invention. 図11の第3実施形態の大部分の要素及び機能は、図8で開示した第1実施形態と実質上同じであるか類似するが、第3実施形態はフレーム結合器を備えていない点のみが異なり、そのため、図11中と同じ又は類似した要素には、図8と共通の参照符号が付され、その説明は繰り返さない。 Most elements and functions of the third embodiment of FIG. 11 is similar to or is substantially the same as the first embodiment disclosed in FIG. 8, the third embodiment only in that does not include a frame coupler is different, therefore, the same or similar elements as the medium 11, the same reference numerals as in FIG. 8 attached, and description thereof will not be repeated.

図11に示すように、VRシーンサーバー1120は、VRシーンアプリケーションプログラム1100を有するサーバー1上でサーバプログラムを執行し、複数の3Dモデルを含むバーチャルVr3D環境を産生する。 As shown in FIG. 11, VR scenes server 1120 execute the server program on the server 1 having the VR scene application program 1100 to produce a virtual Vr3D environment including a plurality of 3D models. VRシーンサーバー1120は、アプリケーションプログラム1100と共同でサーバー1上で執行するサーバープログラムで、サーバー1のVRシーントランスミッター1110とし、ユーザーデバイス21、22、23のVRシーンユーザーエンド1170間で、メッセージ伝達の中継点とする。 VR scene server 1120 is a server program to enforce on the server 1 in cooperation with an application program 1100, and VR scene transmitter 1110 of the server 1, between the VR scene user end 1170 of the user device 21, 22, 23, the message transfer a relay point.
VRシーンサーバー1120は、同時にファイルダウンロードサーバーでもあり、ユーザーデバイス21、22、23のVRシーンユーザーエンド1170は、サーバー1から必要な3Dモデルをダウンロードする。 VR scene server 1120, is also the same time file download server, VR scene user end 1170 of the user device 21, 22 and 23, to download the required 3D model from the server 1. VRシーントランスミッター1110はリストを保有し、すべての3Dモデルと、3Dモデルがユーザーデバイスに保存された状態であるか否かの状態とを列記する。 VR scene Transmitter 1110 holds a list, and all 3D models, 3D models listed and whether or not it is in the state of being stored in the user device state. この状態は、各3Dモデルのユーザーデバイス中の状態を(1)“Not Ready (準備中)”、(2)“Loading (ダウンロード中)”、及び(3)“Ready for Client(ユーザーはダウンロード済み)”の内の何れか一つで示している。 This state is a state in the user device of each 3D model (1) "Not Ready (in preparation)", (2) "Loading (downloading)", and (3) "Ready for Client (users already downloaded ) it is shown in any one of the ".

サーバー1は、どの3Dモデルを2Dビデオストリームの左目フレームにし、どの3Dモデルを2Dビデオストリームの右目フレームにエンコードするかを決定するために、これら3Dモデルの状態を検査する。 Server 1, which the 3D model in the left frame of the 2D video stream, which 3D model to determine whether to encode the right-eye frames of 2D video stream, to inspect the state of these 3D models. 本発明において、それら予め保存されていないユーザーデバイス21,22,23中の3Dモデルは、左目フレーム及び右目フレームにエンコードされる。 In the present invention, 3D Models user devices 21, 22, 23 to which they have not been previously stored is encoded in the left eye frame and right-eye frames. この機能を達成するために、VRシーンアプリケーションプログラム1100のメインプログラムは、API呼出プログラムライブラリの方式(図11のルート1101)により、VRシーン情報をVRシーントランスミッター1110へ伝送する。 To accomplish this function, the main program of the VR scene application program 1100, the method of the API call program library (root 1101 in FIG. 11), transmits the VR scene information into VR scene transmitter 1110. このVRシーン情報は、名称、位置、速度、属性、ディレクション及び全ての別の3Dモデルがレンダリングするのに必要なデータを含む。 The VR scene information includes the name, position, velocity, attributes, data necessary for direction and all other 3D model is rendered. VRシーントランスミッター1110がこのようなデータを受信した後、以下のプロセスを執行する。 After VR scene transmitter 1110 receives such data, execute the following process.

ステップ(a):全ての3Dモデルにとって、左目フレーム中の全てのレンダリングしなければならない3Dモデルの順序方式は、バーチャル位置(例えば、3Dプロジェクション面又は使用者の左目)に対して、近くから遠くへと配列する。 Step (a): for all 3D models, the order system of the 3D model must all rendering in the left eye frame, with respect to the virtual position (e.g., the left eye of the 3D projection surface or the user), far from the near sequence to.

ステップ(b):3Dモデルにとって、最近点(使用者の左目に最も近いもの)から“Ready for Client”状態を備えない1つ目の3Dモデル“M”を探す。 Step (b): For 3D models, look for the "Ready for Client" 1 one eye of the 3D model that does not include the state "M" from the closest point (closest to the left eye of the user). 言い換えると、1つ目の3Dモデル“M”の状態は“Not Ready”の状態である(この後、“Not Ready”状態はNR状態と略称する)。 In other words, first state of the 3D model "M" of a state of "Not Ready" (thereafter, "Not Ready" state is abbreviated as NR state). 勿論、このような3Dモデルは存在しない可能性もある(例えば、全て表示された3Dモデルは“Ready for Client”と標示される)。 Of course, such a 3D model might not be found (e.g., 3D model displayed all of which are labeled "Ready for Client").

ステップ(c):3Dモデルにとって、サーバー1により3DモデルM及びその後の全ての3Dモデルをレンダリングする。 Step (c): for the 3D model, to render all of the 3D model of the 3D model M and then by the server 1. 即ち、全てがM距離の左目より遠い3Dモデルである。 In other words, all of which are far 3D model than the left eye of the M distance. (例えば、3DモデルMが無い場合、黒幕が表示される)レンダリング後の結果をエンコードし、2Dビデオストリームの左目フレーム(frame)として用い、使用者の左目で見るために提供される。 Encode (e.g., if the 3D model M is not, mastermind is to be displayed) result after rendering, used as a left frame of the 2D video stream (frame), is provided for viewing by the left eye of the user.

ステップ(d):右目フレームの上述のステップ(a)〜(c)を繰り返す。 Step (d): repeating the above steps for the right eye frame (a) ~ (c). 即ち、上述のステップ(a)〜(c)で述べる左目の操作を右目に変え、もう一つの2Dビデオストリームの他方のフレームの右目フレームが産生し、使用者の右目で見るために提供される。 That is, provided the left eye of the operation described in the above-described step (a) ~ (c) changing the right eye, without right-eye frames are produced on the other frame of another 2D video stream, in order to view by the right eye of a user .

ステップ(e):左目フレームのために[Info 1112−A]、[Info 1112−B]及び[Info 1112−C]の3つの情報をVRシーンサーバー1120へ伝送する(ルート1112)。 Step (e): [Info 1112-A] for the left eye frame, and transmits [Info 1112-B] and three pieces of information [Info 1112-C] to VR scene server 1120 (routes 1112). 右目フレームのために[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]の3つの情報をVRシーンサーバー1120へ伝送する(ルート1113)。 For right-eye frames [Info 1113-A], and transmits [Info 1113-B] and three pieces of information [Info 1113-C] to VR scene server 1120 (routes 1113).

ステップ(f):VRシーンサーバー1120中のデータパッカー121は、左右両目の情報[Info 1112−A]、[Info 1112−B]、[Info 1112−C]、[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]をパッケージングし、1つのデータパッケージをつくる。 Step (f): Data packer 121 in VR scene server 1120, the left and right eyes Information [Info 1112-A], [Info 1112-B], [Info 1112-C], [Info 1113-A], [Info 1113-B] and then packaging [Info 1113-C], making one data package.

ステップ(g):VRシーンサーバー1120は、ステップ(f)中で産生されたデータパッケージをユーザーデバイス21,22,23中のVRシーンユーザーエンド1170へ伝送する(ルート1122)。 Step (g): VR scene server 1120 transmits the data packages produced in step (f) to VR scene user end 1170 in the user device 21, 22, 23 (route 1122).

[Info 1112−A]は、3DモデルM前の全ての3Dモデルの状態情報(又は解釈データ)である。 [Info 1112-A] is the state information of all the 3D models before 3D model M (or interpret data). このタイプモデルは存在しない可能性もあることに注意する必要がある。 This type of model, it is necessary to note that there is also a possibility that does not exist. このタイプモデルは、“Ready for Client”状態を有し、これはこれらのモデルがユーザーデバイスにプリロードすることを意味し、ユーザーデバイス21,22,23上面のVRシーンユーザーエンド1170(プログラム)は、自らこれらのモデルをレンダリングした。 This type model has a "Ready for Client" state, which means that these models are preloaded into the user device, the user device 21, 22, 23 top VR scene user end 1170 (program), himself was rendering these models. データ伝達帯域幅を減らすために、VRシーントランスミッター1110は、今回のレンダリングと前回のレンダリングとの差異の状態情報を伝送するだけでよく、全ての状態情報を伝送する必要はない。 To reduce the data transmission bandwidth, VR scenes transmitter 1110 need only transmit the status information of the difference between the current rendering and previous rendering, it is not necessary to transmit all of the state information.

[Info 1112−B]は、サーバーが3DモデルMを探す場合、ユーザーデバイスが予め保存した状態が“Not Ready”であるとき、サーバーがユーザー状態を“Loading”に変え、3DモデルMのダウンロード指示を送信し、ユーザーデバイスにこの3DモデルMをダウンロードすることを指示する。 [Info 1112-B] is, if the server looks for the 3D model M, when the state user device has previously stored a "Not Ready", the server is changed to "Loading" the user state, download instruction of the 3D model M to send, to indicate that you download the 3D model M to the user device. ユーザー状態が“Loading”である場合、如何なる指示も送信する必要はなく、ダウンロード指示がすでに送り出されているからである。 If the user state is "Loading", any instruction is also not necessary to send, because the download instruction has already been sent out.

[Info 1112−C]は、ステップ(c)中のエンコードした後の左目のビデオストリーミングフレーム、即ち左目フレームである。 [Info 1112-C] is the left eye video streaming frames after encoding in step (c), that is, the left eye frame.

[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]は、基本的に[Info 1112−A]、[Info 1112−B]及び[Info 1112−C]と実質上等しく、[Info 1113−A]、[Info 1113−B]及び[Info 1113−C]は右目フレームに関する。 [Info 1113-A], [Info 1113-B] and [Info 1113-C] basically [Info 1112-A], [Info 1112-B] and [Info 1112-C] and substantially equal, [Info 1113-A], [Info 1113-B] and [Info 1113-C] relates to right-eye frames.

毎回のVRシーンアプリケーションプログラム1100のメインプログラムが新しいVRシーンデータをVRシーントランスミッター1110へ更新する際、ステップ(a)〜(g)を繰り返し、通常、VRシーンアプリケーションプログラム1100のメインプログラムは、毎回のレンダリングの周期中でこのタイプのデータを更新する。 When the main program of each of the VR scene application program 1100 to update the new VR scene data to the VR scene transmitter 1110, repeat steps (a) ~ (g), usually, the main program of the VR scene application program 1100, of every time to update this type of data in the period of rendering.

VRシーンユーザーエンド1170が前述のデータを受信すると、後述のレンダリングプロセスを行う。 When VR scene user end 1170 receives the above data, it performs rendering process described later.

ステップ(i):[Info 1112−C and Info 1113−C]中のビデオフレーム(左目フレーム及び右目フレームの両者を含む)をデコードし、これら2つのフレームを異なるメモリ空間へ保存する。 Step (i): decodes the [Info 1112-C and Info 1113-C] in the video frame (including both the left eye frame and right eye frame), and stores these two frames into different memory spaces.

ステップ(ii):デコードした後の左目フレーム及び右目フレーム上で、[Info 1112−A and Info 1113−A]中に含まれる全ての3Dモデルをレンダリングする(この3Dモデルが存在する場合)。 Step (ii): on the left eye frame and right eye frame after decoding, to render all of the 3D models contained in [Info 1112-A and Info 1113-A] (if this 3D model is present). ネットワーク帯域幅占用を低下させるために、VRシーンユーザーエンド1170は、この[Info 1112−A and Info 1113−A]の情報をメモリに保存する。 To reduce the network bandwidth occupied, VR scene user end 1170 stores information of this [Info 1112-A and Info 1113-A] in the memory. そのため、次回のVRシーントランスミッター1110は、次回のレンダリングと今回のレンダリングとの間の[Info 1112−A and Info 1113−A]状態の差異を伝送するだけで良く、全ての状態情報を伝送する必要はない。 Therefore, the next time the VR scene transmitter 1110, it is only necessary to transmit the [Info 1112-A and Info 1113-A] state the difference between the next rendering and the current rendering, necessary to transmit all of the state information no.

ステップ(iii):ステップ(ii)中のレンダリング結果をアウトプットし、VRシーンを含んだ出力ビデオストリーミング中のレンダリング後の混合左目フレーム及び混合右目フレーム、即ち、最終的に出力されたビデオストリーミング結果として用いる(ルート1176)。 Step (iii): the rendering result in step (ii) to output the mixed left frame and mixed right-eye frames after rendering in the output video streaming including a VR scene, i.e., the final output video streaming results used as a (root 1176). 上述した混合左目フレーム及び混合右目フレームを混合し、前述したような混合VRフレームと称する。 Mixing the above mixture left frame and mixed right-eye frames, referred to as mixed VR frame as described above.

この実施形態において、ユーザーデバイスは、眼鏡タイプ又はヘルメットタイプの電子機器であり、それは使用者の左目及び右目の前方にそれぞれ位置する2つの表示スクリーンを含む。 In this embodiment, the user device is an electronic apparatus of the spectacle type or helmet-type, it includes two display screens respectively located left of and in front of the right eye of the user. 左側のスクリーンは、使用者の左目が見る画像(フレーム)を表示し、右側のスクリーンは、使用者の右目が見る画像(フレーム)を表示する。 Left of the screen displays an image (frame) the left eye of the user sees the right of the screen displays an image (frame) the right eye of the user sees. 出力ビデオストリーミング中の混合VRフレームは、以下で述べる方式でユーザーデバイスの2つのスクリーン上に再生、即ち、混合したVRフレーム中の各混合左目フレームが左目フレームに表示され、混合したVRフレーム中の各混合右目フレームが右目フレームに表示され、使用者に視覚的疑似体験(VR)させる。 Mixing VR frames in the output video streaming, playback on two screens user devices in a manner described below, i.e., the mixed left frame in the mixed VR frame is displayed to the left eye frame, mixed in VR frame each mixed right-eye frames are displayed in the right-eye frames, causing visual virtual experience (VR) to the user.

他の実施形態において、ユーザーデバイスのスクリーン上にアウトプットされるビデオストリーミングは、同一のスクリーン上に混合左目フレーム及び混合右目フレームを交互に表示する。 In other embodiments, video streaming is output on the user device screen displays alternately mixture left frame and mixed right-eye frames on the same screen. 使用者が眼鏡タイプの電子機器を掛けると、スクリーン上に表示される混合左目フレーム及び混合右目フレームに対応し、左目ウィンドウ及び右目ウィンドウが交互にオン・オフされ、使用者は視覚的疑似体験(VR)することができる。 When the user exerts an electronic device of the glasses type, corresponding to the mixed left frame and mixed right-eye frames are displayed on the screen, the left eye window and right window is turned on and off alternately, the user visually simulated experience ( VR) can be.

当該分野の技術を熟知するものが理解できるように、本発明の好適な実施形態を前述の通り開示したが、これらは決して本発明を限定するものではない。 As is understood by a person skilled in the art, the preferred embodiments of the present invention been described by, but is by no way intended to limit the present invention. 本発明の主旨と領域を逸脱しない範囲内で各種の変更や修正を加えることができる。 It is intended to cover various changes and modifications within the scope not departing from the spirit and regions of the present invention. 従って、本発明の特許請求の範囲は、このような変更や修正を含めて広く解釈されるべきである。 Accordingly, the claims of the present invention should be broadly construed to encompass all such modifications and similar structure.

1 サーバー3 ネットワーク(アクセスポイント) 1 Server 3 network (access point)
4 ネットワーク21 ユーザーデバイス(スマートフォン) 4 network 21 user device (smartphone)
22 ユーザーデバイス(ノート型コンピューター) 22 user devices (notebook computer)
23 ユーザーデバイス(デスクトップコンピューター) 23 user devices (desktop computers)
51 使用者の目52 プロジェクション面70 サーバー71、71a 人72、72a 家73、73a フレーム74 ユーザーデバイス75 ビデオストリーミングフレーム81、81a 音声82、82a 音声83、83a、1711、1712、1713 フレーム85 ビデオストリーミングフレーム100、1100 アプリケーションプログラム110、1110 シーントランスミッター(プログラムライブラリー) Eyes 52 Projection surface 70 server 71,71a's 51 user 72,72a home 73,73a frame 74 the user device 75 video streaming frame 81,81a speech 82,82a voice 83,83a, 1711,1712,1713 frame 85 video streaming frame 100, 1100 application program 110,1110 scene transmitter (program library)
120、1120 シーンサーバー121 データパッカー170、1170 シーンユーザーエンド(プログラム) 120,1120 scene server 121 data packer 170,1170 scene user end (program)
1111、1171 フレーム結合器190、1190 シーンキャッシュ101〜114、122、124、172、174、176、192、1101、1112〜1115、1122、1124、1172、1176、1192、1194 ルート 1111,1171 frame coupler 190,1190 scene cache 101~114,122,124,172,174,176,192,1101,1112~1115,1122,1124,1172,1176,1192,1194 route

Claims (15)

  1. ネットワークを通してメディアを伝送する方法において、該メディアは複数の画像を備え、以下のステップを含み、 A method of transferring media through the network, the media comprises a plurality of images, comprising the following steps,
    ステップ(A):サーバー上でバーチャルリアリティー(VR)アプリケーションプログラムを執行し、複数の3Dモデルを含むバーチャルVR3D環境を産生し、該各3Dモデルは、該3Dモデルを、ユーザーデバイス中にプレ保存するか否かの状態の指示に対応し、 Step (A): to enforce the virtual reality (VR) applications program on the server, produce a virtual VR3D environment including a plurality of 3D models, each of said 3D model, the 3D model, pre-stored in the user device or in response to whether or not the state of the instruction,
    ステップ(B):該サーバーは、該各3Dモデルの前記状態をチェックし、どの3Dモデルを、2Dビデオストリーミングが含む左目フレーム及び右目フレームにエンコードするべきかを決定し、そのエンコード方式は、該ユーザーデバイス中にプレ保存されていない各3Dモデルを、該左目フレーム及び該右目フレーム中にエンコードし、 Step (B): The server checks the status of each of the 3D model, which the 3D model, to determine to be encoded into the left eye frame and right eye frame 2D video streaming comprises, the encoding scheme, the each 3D model that is not pre-stored in the user device, and encoded in the left eye frame and said right eye frame,
    ステップ(C):該サーバーは、該2Dビデオストリーミングフレームの左目フレーム及び右目フレームを、ネットワークを通して、該ユーザーデバイスに伝送し、該サーバーは、該ユーザーデバイス中にプレ保存されていない各3Dモデルを、所定の順序に基づき、該ユーザーデバイスに伝送し、該ユーザーデバイスが、該サーバーから送られて来た各3Dモデルを受け取ると、該ユーザーデバイスは、該各3Dモデルを保存し、メッセージを該サーバーに発信し、該各3Dモデルの状態を改変させ、該各3Dモデルを現在、該ユーザーデバイス中にプレ保存するよう指示し、 Step (C): The server the left frame and the right eye frame of the 2D video streaming frame, through the network, and transmitted to the user device, the server, each 3D model that is not pre-stored in the user device , based on the predetermined order, and transmits to the user device, the user device receives the respective 3D model sent from the server, the user device stores the respective 3D model, the message sent to the server, to modify the state of each of the 3D model, a respective 3D model now instructed to pre-stored in the user device,
    ステップ(D):該ユーザーデバイスは、該サーバーからの左目フレーム及び右目フレームを受け取りデコードし、該左目フレーム及び右目フレームを利用し、該各ユーザーデバイス中にプレ保存されるが、該左目フレーム及び右目フレーム中に含まれない3Dモデルのバックグラウンドをレンダリングし、これによりアウトプットされるビデオストリーミングの混合VRフレームを産生することを特徴とするネットワークを通してメディアを伝送する方法。 Step (D): the user device receives and decodes the left frame and the right eye frame from the server, using the left eye frame and right-eye frames, but is pre-stored in respective user device, left eye frame and how to render the background of the 3D model not included in the right-eye frames, thereby transferring media through a network, characterized in that it produces a mixed VR frames of video streaming to be output.
  2. 前記ステップ(B)において、該各3Dモデルの状態は、該サーバーにより、該バーチャル位置に最も近い点から、該バーチャル位置から最も遠いもう一つの点への順序で、チェックされ、 Wherein in step (B), the state of the respective 3D model, by the server, from the point closest to the virtual position, in order to farthest another point from the virtual position is checked,
    チェック中に、該ユーザーデバイス中にプレ保存されていない一個目の3Dモデルを発見すると、その後の各3Dモデルが、該ユーザーデバイス中にプレ保存されるか否かに関わらず、該発見された3Dモデルを含むすべての他の3Dモデルを、該左目フレーム及び右目フレーム中にエンコードすることを特徴とする請求項1に記載のネットワークを通してメディアを伝送する方法。 During the check, if it finds one eye 3D models that are not pre-stored in the user device, each subsequent 3D model, regardless of whether the pre-stored in the user device, is the discovery all other 3D models, including 3D model, a method of transferring media through a network according to claim 1, wherein the encoding in the left eye frame and the right-eye frames.
  3. 前記新しい3Dモデルが前記3D環境中に出現すると、その後の各3Dモデルが、該ユーザーデバイス中にプレ保存されるか否かに関わらず、該新しい3Dモデルを含むその後のすべての3Dモデルを、該左目フレーム及び右目フレーム中にエンコードすることを特徴とする請求項2に記載のネットワークを通してメディアを伝送する方法。 When the new 3D model appears in the 3D environment, each subsequent 3D model, regardless of whether the pre-stored in the user device, all subsequent 3D models, including the new 3D model, method of transferring media through a network according to claim 2, wherein the encoding in the left eye frame and the right-eye frames.
  4. 該バーチャル位置は、3Dプロジェクション面であり、かつ、ステップ(D)において、該ユーザーデバイスは、該サーバーからの該左目フレーム及び右目フレームを受け取りデコードし、該左目フレーム及び右目フレームフレームを合成したVRフレームに合成し、その後、合成したVRフレームがバックグラウンド画面として該ユーザーデバイス中にプレ保存されているが、該左目フレーム及び右目フレーム中に含まれない3Dモデルをレンダリングし、これによりVRシーンを含む出力ビデオストリーミングの混合VRフレームを産生することを特徴とする請求項2に記載のネットワークを通してメディアを伝送する方法。 The virtual position is a 3D projection surface, and, in step (D), the user device receives and decodes the left eye frame and right eye frame from the server, to synthesize a left eye frame and right-eye frames frame VR synthesized frame, then, is synthesized VR frame is pre-stored as a background screen in the user device, renders the 3D model not included in the left eye frame and right-eye frames, thereby the VR scenes method of transferring media through a network according to claim 2, characterized in that it produces a mixed VR frame of output video streaming including.
  5. 前記ステップ(C)において、該サーバーが、該ユーザーデバイス中にプレ保存されていない該各3Dモデルを、該ユーザーデバイスに伝送する所定順序は、該バーチャル位置に最も近い一点から、該バーチャル位置から最も遠いもう一つの点への順序で、 In step (C), the server, the respective 3D model that is not pre-stored in the user device, the predetermined order of transmission to the user device, from the closest one point to the virtual position, from the virtual position in most the order of distant to another point,
    該ステップ(C)において、該サーバーは、該左目フレーム及び右目フレーム中にエンコードされていない3Dモデルの状態情報を、該ユーザーデバイス中に伝送し、該ユーザーデバイスが、該状態情報を受け取り及びチェックする時には、以下の方式に基づき行い、 In the step (C), the server state information of the 3D model that are not encoded in the left eye frame and right eye frame, transmitted in said user device, said user device, receives and checks the status information when performs based on the following scheme,
    受け取った該状態情報中の任意の3Dモデルが、該デバイス中にプレ保存されていないなら、該ユーザーデバイスは、該サーバーに、該3Dモデルをダウンロードするように請求を送信し、該状態情報は、該2Dビデオストリーミングの該左目フレーム及び右目フレーム中にエンコードされていない該3Dモデルの解釈データを含み、該各3Dモデルの該解釈データは、該3Dモデルの名称、位置、速度、ディレクション、及び属性を含むことを特徴とする請求項1に記載のネットワークを通してメディアを伝送する方法。 Any 3D model in the state information received is, if not pre-stored in the device, the user device to the server, sends a request to download the 3D model, the state information includes interpretation data of the 3D model that are not encoded in the left eye frame and right eye frame of the 2D video streaming, the interpretation data of each of the 3D model, the name of the 3D model, position, speed, direction, and method of transferring media through a network according to claim 1, characterized in that it comprises an attribute.
  6. ネットワークを通してメディアを伝送するシステムは、サーバー及びユーザーデバイスを備え、 A system for transferring media through the network comprises a server and a user device,
    該サーバーは、バーチャルリアリティー(VR)アプリケーションプログラムを執行し、複数の3Dモデルを含むバーチャルVR3D環境を産生し、該各3Dモデルは、該3Dモデルを、ユーザーデバイス中にプレ保存するか否かを指示する状態に対応し、 The server enforces the virtual reality (VR) applications program, produce virtual VR3D environment including a plurality of 3D models, each of said 3D model, the 3D model, whether pre-stored in the user device corresponding to the instruction to state,
    該ユーザーデバイスは、ネットワークを通して該サーバーに連結し、該VRアプリケーションプログラムにより産生する少なくともいくらかの該3Dモデルを含む該メディアを取得し、 The user device is connected to the server through a network, acquires the media, including at least some of the 3D model produced by the VR application program,
    該メディアは、複数の画像を含み、該複数の画像の伝送方式は、以下を含み、 The media includes a plurality of images, the transmission scheme of the plurality of images includes the following:
    ステップ(B):該サーバーは、該各3Dモデルの前記状態をチェックし、どの3Dモデルを、2Dビデオストリーミングの左目フレーム及び右目フレームにエンコードするべきかを決定し、そのエンコード方式は、該ユーザーデバイス中にプレ保存されていない各3Dモデルを、該左目フレーム及び右目フレーム中にエンコードし、 Step (B): The server checks the status of each of the 3D model, which the 3D model, to determine to be encoded into the left eye frame and right-eye frames of 2D video streaming, the encoding scheme, the user each 3D model that is not pre-stored in the device, and encoded in the left eye frame and right-eye frames,
    ステップ(C):該サーバーは、該2Dビデオストリーミングの該左目フレーム及び右目フレームを、ネットワークを通して、該ユーザーデバイスに伝送し、該サーバーは、該ユーザーデバイス中にプレ保存されていない各3Dモデルを、所定の順序に基づき、該ユーザーデバイスに伝送し、該ユーザーデバイスが、該サーバーから送られて来た各3Dモデルを受け取ると、該ユーザーデバイスは、該各3Dモデルを保存し、メッセージを該サーバーに発信し、該各3Dモデルの状態を改変させ、該各3Dモデルを現在、該ユーザーデバイス中にプレ保存するよう指示し、 Step (C): The server the left eye frame and right eye frame of the 2D video streaming through the network, and transmitted to the user device, the server, each 3D model that is not pre-stored in the user device , based on the predetermined order, and transmits to the user device, the user device receives the respective 3D model sent from the server, the user device stores the respective 3D model, the message sent to the server, to modify the state of each of the 3D model, a respective 3D model now instructed to pre-stored in the user device,
    ステップ(D):該ユーザーデバイスは、該サーバーからの該左目フレーム及び右目フレームを受け取りデコードし、該左目フレーム及び右目フレームフレームを合成したVRフレームに合成し、その後、該各ユーザーデバイス中にプレ保存されるが、該合成したVRフレーム中に含まれないバックグラウンド画面をレンダリングし、これによりVRシーンを含むアウトプットされる混合VRフレームを産生し、 Step (D): the user device receives and decodes the left eye frame and right eye frame from the server, synthesized VR frame obtained by combining the left eye frame and right eye frame frame, then pre during respective user devices while stored, it renders the background screen which is not included in the VR frame the synthesized, thereby produce a mixed VR frames to be output, including a VR scene,
    ステップ(E):該ユーザーデバイスは、該VRシーンを含む該アウトプットされるビデオストリーミングの該混合VRフレームをアウトプットすることを特徴とするネットワークを通してメディアを伝送するシステム。 Step (E): the user device, a system for transferring media through a network, characterized by output the mixed VR frames of video streaming is the output containing the VR scene.
  7. 該ステップ(B)において、該各3D音声の状態は、該サーバーにより、該バーチャル位置に最も近い点から、該バーチャル位置から最も遠いもう一つの点への順序で、チェックされ、チェック中に、該ユーザーデバイス中にプレ保存されていない一個目の3Dモデルを発見すると、その後の各3Dモデルが、該ユーザーデバイス中にプレ保存されるか否かに関わらず、該発見された3Dモデルを含むすべての他の3Dモデルを、該左目フレーム及び右目フレーム中にエンコードすることを特徴とする請求項6に記載のネットワークを通してメディアを伝送するシステム。 In the step (B), the state of each of 3D audio, by the server, from the point closest to the virtual position, in order from the virtual position to the farthest another point, is checked, during the check, Upon finding an th 3D models that have not been pre-stored in the user device, each subsequent 3D model, regardless of whether the pre-stored in the user device, including the discovered 3D model all other 3D model, a system for transferring media through a network according to claim 6, wherein the encoding in the left eye frame and the right-eye frames.
  8. 新しい3Dモデルが該VR3D環境中に出現すると、その後の各3Dモデルが、該ユーザーデバイス中にプレ保存されるか否かに関わらず、該新しい3Dモデルを含む他のすべての3Dモデルを、該左目フレーム及び右目フレーム中にエンコードすることを特徴とする請求項7に記載のネットワークを通してメディアを伝送するシステム。 When a new 3D model appears in the VR3D environment, each subsequent 3D model, regardless of whether the pre-stored in the user device, all other 3D models, including the new 3D model, the a system for transferring media through a network according to claim 7, wherein the encoding in the left frame and the right eye frame.
  9. 前記ステップ(C)において、該サーバーが、該ユーザーデバイス中にプレ保存されていない該各3Dモデルを、該ユーザーデバイスに伝送する所定順序は、該バーチャル位置に最も近い一点から、該バーチャル位置から最も遠いもう一つの点への順序で、 In step (C), the server, the respective 3D model that is not pre-stored in the user device, the predetermined order of transmission to the user device, from the closest one point to the virtual position, from the virtual position in most the order of distant to another point,
    該ステップ(C)において、該サーバーはまた、該左目フレーム及び右目フレーム中にエンコードされていない3Dモデルの状態情報を、該ユーザーデバイス中に伝送し、該ユーザーデバイスが、該状態情報を受け取り及びチェックする時には、以下の方式に基づき行い、受け取った該状態情報中の任意の3Dモデルが、該デバイス中にプレ保存されていないなら、該ユーザーデバイスは該サーバーに、該3Dモデルをダウンロードするよう請求を送信し、該状態情報は、該左目フレーム及び右目フレーム中にエンコードされていない該3Dモデルの解釈データを含み、該各3Dモデルの該解釈データは、該3Dモデルの名称、位置、速度、ディレクション、及び属性を含むことを特徴とする請求項6に記載のネットワークを通してメディア In the step (C), the server also sends the presence status of the 3D model that are not encoded in the left eye frame and right eye frame, transmitted in said user device, said user device, and receives the status information when check is carried out based on the following scheme, any 3D model in the state information received is, if not pre-stored in the device, to the user device the server to download the 3D model sending the billing, the status information includes interpreting data of the 3D model that are not encoded in the left eye frame and right-eye frames, the interpretation data of each of the 3D model, the name of the 3D model, position, velocity , the media through a network according to claim 6, characterized in that it comprises direction, and the attributes 伝送するシステム。 System to be transmitted.
  10. 前記サーバーは、VRシーントランスミッター及びVRシーンサーバーをさらに備え、 The server may further include a VR scene transmitter and VR scene server,
    該VRシーントランスミッターは、該VRアプリケーションプログラム中、或いは執行時間中において、該VRアプリケーションプログラム上にプログラム執行時で動態的に連結されるプログラムライブラリーをコンパイルし、該VRシーントランスミッターは、すべての3Dモデル及び各3Dモデルの状態を含むリストを保有し、該状態は、該3Dモデルの状態を“Not Ready (準備中)”、“Loading (ダウンロード中)”及び“Ready for Client(ユーザーはダウンロード済み)”の内の何れか一つで示しており、 The VR scene transmitter, in said VR application program, or during the execution time, compile the program libraries kinetically linked during program execution on the VR application program, the VR scene transmitter, all 3D holds a list that contains the state of the model and the 3D model, the state, the state of the "Not ready (in preparation)" of the 3D model, "Loading (downloading)" and "ready for Client (users already downloaded ) is shown in any one of the "
    該VRシーンサーバーは、VRアプリケーションプログラムにより、サーバー上で執行されるサーバープログラムで、該VRシーンサーバーは、該VRシーントランスミッターと該ユーザーデバイスとの間のメッセージ伝達の中継点となり、該VRシーンサーバーはまた、該ユーザーデバイスが、該サーバーより、必要な3Dモデルをダウンロードするダウンロードサーバープログラムともなることを特徴とする請求項6に記載のネットワークを通してメディアを伝送するシステム。 The VR scene server, the VR application program, a server program to be executed at the server, the VR scene server becomes a relay point of messaging between the VR scene transmitter and said user device, said VR scene server system for transmitting also the user device, from the server, the media through a network according to claim 6, characterized in that also a download server program to download 3D models required.
  11. 前記ユーザーデバイスは、VRシーンユーザーエンド、フレーム結合器及びVRシーンキャッシュをさらに備え、 It said user device further comprises VR scene user end, the frame couplers and VR scene cache,
    該VRシーンユーザーエンドは、該ユーザーデバイス上で動作するプログラムで、該アウトプットビデオストリーミングを産生し、ネットワークを通して該サーバーと通じ、 The VR scene user end is a program running on the user device, it produces the output video streaming, through with the server through the network,
    該フレーム結合器は、該左目フレーム及び右目フレームを、合成したVRフレームに合成し、 The frame combiner, the left eye frame and right-eye frames, synthesized synthesized VR frame,
    該VRシーンキャッシュは、前以て該サーバーからダウンロードした少なくとも一個の該3Dモデルを保存することを特徴とする請求項10に記載のネットワークを通してメディアを伝送するシステム。 The VR scene cache system for transmitting media through a network according to claim 10, wherein the storing at least one of the 3D models downloaded from previously said server.
  12. ネットワークを通してメディアを伝送する方法において、該メディアは、複数の画像を含み、 A method of transferring media through the network, the media includes a plurality of images,
    該方法は、以下のステップを含み、 The method comprises the following steps,
    ステップ(A):サーバー上でバーチャルリアリティー(VR)アプリケーションプログラムを執行し、複数の3Dモデルを含むバーチャルVR3D環境を産生し、該各3Dモデルは、該3Dモデルを、ユーザーデバイス中にプレ保存するか否かを指示する状態に対応し、 Step (A): to enforce the virtual reality (VR) applications program on the server, produce a virtual VR3D environment including a plurality of 3D models, each of said 3D model, the 3D model, pre-stored in the user device It corresponds to the state of indicating whether,
    ステップ(B):該サーバーは、該各3Dモデルの前記状態をチェックし、どの3Dモデルを、2Dビデオストリーミングの左目フレーム及び右目フレームにエンコードする必要があるかを決定し、そのエンコード方式は、該ユーザーデバイス中にプレ保存されない該各3Dモデルを、該2Dビデオストリーミングの該左目フレーム及び右目フレーム中にエンコードし、その後、該サーバは、該左目フレーム及び右目フレームを、該2Dビデオストリーミングの合成したVRフレームに合成し、 Step (B): The server checks the status of each of the 3D model, which the 3D model, to determine whether it is necessary to encode the left eye frame and right-eye frames of 2D video streaming, the encoding scheme, the respective 3D model that is not pre-stored in the user device, and encoded in the left eye frame and right eye frame of the 2D video streaming, then the server, the left eye frame and right-eye frames, the synthesis of the 2D video streaming synthesized in the VR frame,
    ステップ(C):該サーバーは、該2Dビデオストリーミングの該合成したVRフレームを、ネットワークを通して、該ユーザーデバイスに伝送し、該サーバーは、該ユーザーデバイス中にプレ保存されていない該各3Dモデルを、所定の順序に基づき、該ユーザーデバイスに伝送し、該ユーザーデバイスが、該サーバーから送られて来た該各3Dモデルを受け取ると、該ユーザーデバイスは、該各3Dモデルを保存し、メッセージを該サーバーに発信し、該各3Dモデルの状態を改変し、該各3Dモデルを現在該ユーザーデバイス中にプレ保存するよう指示し、 Step (C): The server the synthesized VR frame of the 2D video streaming through the network, and transmitted to the user device, the server, the respective 3D model that is not pre-stored in the user device , based on the predetermined order, and transmits to the user device, the user device receives the respective 3D model sent from the server, the user device stores the respective 3D model, a message sent to the server, to modify the state of the respective 3D model, instructed to pre-save the respective 3D model currently in the user device,
    ステップ(D):該ユーザーデバイスは、該サーバーから受け取った該2Dビデオストリーミングの該合成したVRフレームをデコードし、該合成したVRフレームを利用し、該各ユーザーデバイス中にプレ保存されるが、該合成したVRフレーム中に含まれない3Dモデルのバックグラウンド画面をレンダリングし、これによりVRシーンのアウトプットビデオストリーミングを含む混合VRフレームを産生することを特徴とするネットワークを通してメディアを伝送する方法。 Step (D): the user device decodes the synthesized VR frame of the 2D video streaming received from the server, using the synthesized VR frames, but is pre-stored in respective user device, how to render the background screen of the 3D model that is not included in the VR frame the synthesized, thereby transferring media through a network, characterized in that it produces a mixed VR frame including an output video streaming VR scenes.
  13. 該ステップ(B)において、該各3Dモデルの状態は、該サーバーにより、バーチャル位置に最も近い一点から、該バーチャル位置から最も遠いもう一つの点への順序で、チェックされ、チェック中に、該ユーザーデバイス中にプレ保存されていない一個目の3Dモデルを発見すると、その後の各3Dモデルが、該ユーザーデバイス中にプレ保存されるか否かに関わらず、該発見された3Dモデルの他のすべての3Dモデルを、該2Dビデオストリーミングの該左目フレーム及び右目フレーム中にエンコードし、 In the step (B), the state of the respective 3D model, by the server, the closest one point to a virtual position, in order from the virtual position to the farthest another point, is checked, during the check, the Upon finding an th of 3D models in the user device is not pre-stored, each subsequent 3D model, regardless of whether the pre-stored in the user device, the other of the discovered 3D model all 3D models, and encoded in the left eye frame and right eye frame of the 2D video streaming,
    該ステップ(C)において、該サーバーはまた、該各ユーザーデバイス中にプレ保存されていない3Dモデルを、該バーチャル位置に最も近い一点から、該バーチャル位置から最も遠いもう一つの点への所定順序で、該ユーザーデバイス中に伝送し、該ユーザーデバイスが該サーバーから送られて来た該各3Dモデルを受け取ると、該ユーザーデバイスは、該各3Dモデルを保存し、メッセージを該サーバーに発信し、該各3Dモデルの状態を改変し、該各3Dモデルを現在該ユーザーデバイス中にプレ保存するよう指示することを特徴とする請求項12に記載のネットワークを通してメディアを伝送する方法。 In the step (C), said server also has a predetermined order of the 3D model that is not pre-stored in respective user device, from the nearest one point to the virtual position, the farthest one more point from the virtual position in, and transmitted during the user device receives the respective 3D model to which the user device is sent from the server, the user device stores the respective 3D model, transmits a message to the server the method of respective modification of the state of the 3D model, transferring media through a network according to claim 12, characterized in that an instruction to pre-store the respective 3D model to the current in said user device.
  14. 前記新しい3Dモデルが該VR3D環境中に出現すると、その後の該各3Dモデルが該ユーザーデバイス中にプレ保存されているか否かに関わらず、該新しい3Dモデルの後を含むすべての3Dモデルを、該左目フレーム及び右目フレーム中にエンコードし、該バーチャル位置は、3Dプロジェクション面であることを特徴とする請求項13に記載のネットワークを通してメディアを伝送する方法。 When the new 3D model appears in the VR3D environment, subsequent respective 3D model regardless of whether or not they are pre-stored in the user device, all of the 3D models, including after the new 3D model, encoded into the left eye frame and right-eye frames, the virtual position, a method of transferring media through a network according to claim 13, which is a 3D projection surface.
  15. 前記ステップ(C)において、該サーバーは、該左目フレーム及び右目フレーム中にエンコードされていない3Dモデルの状態情報を、該ユーザーデバイス中に伝送し、該ユーザーデバイスが、該状態情報を受け取り及びチェックする時には、以下の方式に基づき行い、受け取った該状態情報中の任意の3Dモデルが、該デバイス中にプレ保存されていないなら、該ユーザーデバイスは、該サーバーに、該3Dモデルをダウンロードするように請求を送信し、該状態情報は、該2Dビデオストリーミングの該左目フレーム及び右目フレーム中にエンコードされていない該3Dモデルの解釈データを含み、該解釈データは、該3Dモデルの名称、位置、速度、ディレクション、及び属性を含むことを特徴とする請求項12に記載のネットワーク In step (C), the server state information of the 3D model that are not encoded in the left eye frame and right eye frame, transmitted in said user device, said user device, receives and checks the status information the time to perform based on the following scheme, any 3D model in the state information received is, if not pre-stored in the device, the user device to the server, to download the 3D model send a bill, the state information includes interpreting data of the 3D model that are not encoded in the left eye frame and right eye frame of the 2D video streaming, the interpretation data, the name of the 3D model, position, speed, network of claim 12, characterized in that it comprises direction, and the attributes 通してメディアを伝送する方法。 A method of transmitting the media through.
JP2016121237A 2014-01-02 2016-06-17 System and method for transferring media through the network Active JP6306089B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/976,239 2015-12-21
US14/976,239 US9370718B2 (en) 2014-01-02 2015-12-21 System and method for delivering media over network

Publications (2)

Publication Number Publication Date
JP2017117431A true JP2017117431A (en) 2017-06-29
JP6306089B2 JP6306089B2 (en) 2018-04-04

Family

ID=59191073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016121237A Active JP6306089B2 (en) 2014-01-02 2016-06-17 System and method for transferring media through the network

Country Status (3)

Country Link
JP (1) JP6306089B2 (en)
CN (1) CN106899860A (en)
TW (1) TWI637772B (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377257B1 (en) * 1999-10-04 2002-04-23 International Business Machines Corporation Methods and apparatus for delivering 3D graphics in a networked environment
US6384821B1 (en) * 1999-10-04 2002-05-07 International Business Machines Corporation Method and apparatus for delivering 3D graphics in a networked environment using transparent video
US20040207662A1 (en) * 2003-04-16 2004-10-21 Anderson Daryl E. User interface, method and apparatus for providing three-dimensional object fabrication status
US20070146372A1 (en) * 2005-12-09 2007-06-28 Digital Steamworks, Llc System, method and computer program product for creating two dimensional (2D) or three dimensional (3D) computer animation from video
JP2011138354A (en) * 2009-12-28 2011-07-14 Sony Corp Information processing apparatus and information processing method
JP2012186746A (en) * 2011-03-08 2012-09-27 Sony Corp Video transmitter, method for controlling video transmitter, video receiver and method for controlling video receiver
JP2013254501A (en) * 2008-01-17 2013-12-19 Vivox Inc Scalable techniques for providing real-lime per-avatar streaming data in virtual reality systems that employ per-avatar rendered environments
JP2015130164A (en) * 2014-01-02 2015-07-16 ユービッタズ アイエンシーUbitus Inc. System and method for transmitting media through network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US20120016856A1 (en) * 2010-07-15 2012-01-19 Google Inc Content extractor
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CN103888714B (en) * 2014-03-21 2017-04-26 国家电网公司 Based on virtual reality 3d scene Network Video Conference System

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377257B1 (en) * 1999-10-04 2002-04-23 International Business Machines Corporation Methods and apparatus for delivering 3D graphics in a networked environment
US6384821B1 (en) * 1999-10-04 2002-05-07 International Business Machines Corporation Method and apparatus for delivering 3D graphics in a networked environment using transparent video
US20040207662A1 (en) * 2003-04-16 2004-10-21 Anderson Daryl E. User interface, method and apparatus for providing three-dimensional object fabrication status
US20070146372A1 (en) * 2005-12-09 2007-06-28 Digital Steamworks, Llc System, method and computer program product for creating two dimensional (2D) or three dimensional (3D) computer animation from video
JP2013254501A (en) * 2008-01-17 2013-12-19 Vivox Inc Scalable techniques for providing real-lime per-avatar streaming data in virtual reality systems that employ per-avatar rendered environments
JP2011138354A (en) * 2009-12-28 2011-07-14 Sony Corp Information processing apparatus and information processing method
JP2012186746A (en) * 2011-03-08 2012-09-27 Sony Corp Video transmitter, method for controlling video transmitter, video receiver and method for controlling video receiver
JP2015130164A (en) * 2014-01-02 2015-07-16 ユービッタズ アイエンシーUbitus Inc. System and method for transmitting media through network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
四倉達夫, 外4名: ""仮想人物によるサイバースペース上でのコミュニケーションシステムの構築"", 電子情報通信学会技術研究報告, vol. 第98巻, 第683号, JPN6015048564, 23 March 1999 (1999-03-23), JP, pages 39 - 46 *

Also Published As

Publication number Publication date
JP6306089B2 (en) 2018-04-04
CN106899860A (en) 2017-06-27
TW201722520A (en) 2017-07-01
TWI637772B (en) 2018-10-11

Similar Documents

Publication Publication Date Title
US8893010B1 (en) Experience sharing in location-based social networking
KR101527993B1 (en) Shared virtual area communication environment based apparatus and methods
US6753857B1 (en) Method and system for 3-D shared virtual environment display communication virtual conference and programs therefor
RU2527199C2 (en) Avatar integrated shared media selection
KR101656172B1 (en) Enhanced communication between remote participants using augmented and virtual reality
US9498712B2 (en) Qualified video delivery
US7884823B2 (en) Three dimensional rendering of display information using viewer eye coordinates
US9351028B2 (en) Wireless 3D streaming server
US20060116164A1 (en) System and method for divided display on multiple mobile terminals
JP6208151B2 (en) Book object for augmented reality
KR20100002048A (en) Image processing method, image outputting method, and apparatuses thereof
US20150058102A1 (en) Generating content for a virtual reality system
CN1842088B (en) System for efficient remote projection of rich interactive user interfaces
KR101576294B1 (en) Device and method for performing sound processing in a virtual reality system,
US20140068014A1 (en) Just-in-time transcoding of application content
US9596280B2 (en) Multiple stream content presentation
CN104782122B (en) Controlled communication endpoint system and method D
KR101885979B1 (en) Stereo viewing
JP6436320B2 (en) Live selective adaptation bandwidth
Apostolopoulos et al. The road to immersive communication
CN106063277A (en) Methods and apparatus for streaming content
JP6431198B2 (en) Head-mounted display, a method for tracking the movement of the head-mounted display and storage medium
JP5986074B2 (en) A method and apparatus for presenting the media content
JP2018511971A (en) Making and using the resolution reduction image and / or methods and apparatus for communicating such images to a playback device or content distribution device
US8860716B2 (en) 3D image processing method and portable 3D display apparatus implementing the same

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171110

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180307

R150 Certificate of patent or registration of utility model

Ref document number: 6306089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150