JP2019071539A - VR content viewing device - Google Patents

VR content viewing device Download PDF

Info

Publication number
JP2019071539A
JP2019071539A JP2017196473A JP2017196473A JP2019071539A JP 2019071539 A JP2019071539 A JP 2019071539A JP 2017196473 A JP2017196473 A JP 2017196473A JP 2017196473 A JP2017196473 A JP 2017196473A JP 2019071539 A JP2019071539 A JP 2019071539A
Authority
JP
Japan
Prior art keywords
information
information terminal
content
synchronization
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017196473A
Other languages
Japanese (ja)
Other versions
JP6688269B2 (en
Inventor
森田博和
Hirokazu Morita
中村友一
Tomokazu Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spacely Inc
Original Assignee
Spacely Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spacely Inc filed Critical Spacely Inc
Priority to JP2017196473A priority Critical patent/JP6688269B2/en
Publication of JP2019071539A publication Critical patent/JP2019071539A/en
Application granted granted Critical
Publication of JP6688269B2 publication Critical patent/JP6688269B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a VR content viewing device that enables high-speed VR content communication between terminals.SOLUTION: A server device includes: a depiction unit for depicting VR content on the basis of requests from a first information terminal and a second information terminal; and a synchronization processing unit for processing synchronization of the VR content between the first information terminal and second information terminal on the basis of synchronization information. The first information terminal and second information terminal connect to a specific URL or IP address via the Internet through a browser, reproduce the VR content depicted by the depiction unit on the browser, and transmits, to the server device, sight line information indicating a direction of viewing the VR content as the synchronization information in the state where the VR content is reproduced. The synchronization processing unit instructs the depiction unit to depict the VR content on the basis of the sight line information so as to synchronize between the first information terminal and second information terminal.SELECTED DRAWING: None

Description

本発明は、ＶＲコンテンツの視聴装置に関する。   The present invention relates to a viewing device for VR content.


従来、３６０度を見渡せるＶＲコンテンツをスマートフォンなどの情報端末やＶＲ用のヘッドセットを用いて閲覧する場合に、どこを見ているか何をしているかなどの状況を他の人とリアルタイムで同期したいこと場合がある。例えば、ＶＲコンテンツで不動産を仮想的に内見する人の体験状況を、営業マンの持っている別のＰＣなどに同期して表示されたものを見ながら案内や説明を行う場合が想定される。不動産以外にも案内するものとして、観光やウェディング、自動車などの乗り物など空間や雰囲気が重要なものを中心にあらゆるものが対象となる。
Conventionally, when viewing VR content that can overlook 360 degrees using an information terminal such as a smartphone or a headset for VR, we want to synchronize the situation such as where you are looking and what you are doing with other people in real time There is a case. For example, it is assumed that guidance or explanation is given while looking at what is displayed in synchronization with another PC or the like possessed by a salesperson, the experience status of a person who virtually introspects real estate with VR content . As things to guide other than real estate, all things are targeted mainly on things such as sightseeing, weddings, vehicles such as cars, etc. where space and atmosphere are important.


この際には、現状、両者の間は同一のネットワーク内で見ている画像や映像データを常に送って同期する方法や、遠方の場合では映像など大きなデータを送るための高速な回線を別途用意する方法が用いられ、端末間で通信をするためには両端末にあらかじめ同期のための特別なソフトウェアをインストールする必要性があった。
In this case, at present, there is a method to always send and synchronize image or video data viewed in the same network between the two, or separately prepare a high-speed line for transmitting large data such as video in the case of a long distance. In order to communicate between terminals, it is necessary to install special software for synchronization in advance on both terminals.


特開２００２−７４０６号公報Japanese Patent Application Publication No. 2002-7406


このようなことで、両者間の回線速度が問題となって遅延が起こるとリアルタイムでの同期が正常に行われなかったり、別の回線で大容量データを送るようにしていたり、別のこのための特別なソフトウェアをあらかじめインストールするなど、煩わしいプロセスが必要となっていた。
In this way, if there is a problem with the line speed between the two parties causing a delay, synchronization in real time will not be performed properly, large capacity data will be sent over another line, or this is another reason. A cumbersome process was required, such as pre-installing special software for.


本発明は、上記課題を解決するものであり、通信帯域の広い回線を用意する必要や特別なアプリケーションのインストールの必要なく、端末間での高速なVRコンテンツの通信を可能とするVRコンテンツ視聴装置を実現することを目的とする。
The present invention solves the above-mentioned problems, and a VR content viewing apparatus capable of high-speed communication of VR content between terminals without the need for preparing a line with a wide communication band or the need for installation of a special application. Aims to achieve


上記課題を解決するための、第一の発明の実施形態は、第1の情報端末と、第2の情報端末との間でサーバ装置を通じて、VRコンテンツをリアルタイムの共有するVRコンテンツ視聴装置において、前記サーバ装置は、第1の情報端末、及び第2の情報端末からの要求に基づいて前記VRコンテンツを描写する描写部と、前記第1の情報端末、及び前記第2の情報端末との間での前記VRコンテンツの同期を同期情報に基づいて処理する同期処理部とを備え、前記第1の情報端末、及び前記第2の情報端末は、ブラウザを通じてインターネット経由で特定のＵＲＬ、又はIPアドレスに接続して前記描写部によって描写された前記ＶＲコンテンツを前記ブラウザ上で再生するとともに、前記ＶＲコンテンツを再生している状態において、ＶＲコンテンツを閲覧する方向を示す視線情報を前記同期情報として前記サーバ装置に対して送信し、前記同期処理部は、前記第1の情報端末、及び前記第2の情報端末間で同期するように前記視線情報に基づいて前記VRコンテンツの描写を前記描写部に指示することを特徴とする。
An embodiment of the first invention for solving the above problems is a VR content viewing apparatus for sharing VR content in real time through a server apparatus between a first information terminal and a second information terminal, The server device is connected between a first information terminal and a depiction unit for depicting the VR content based on a request from a second information terminal, the first information terminal, and the second information terminal. And a synchronization processing unit that processes synchronization of the VR content in the server on the basis of synchronization information, and the first information terminal and the second information terminal have a specific URL or IP address via the Internet through a browser To view the VR content while playing back the VR content depicted by the depiction unit on the browser while connecting to the Line-of-sight information indicating the information is transmitted to the server device as the synchronization information, and the synchronization processing unit is configured to synchronize between the first information terminal and the second information terminal based on the line-of-sight information The depiction of the VR content is instructed to the depiction unit.


また、前記VRコンテンツは、動画形式の動画データであり、前記第1の情報端末、及び前記第2の情報端末は、前記同期情報として、前記動画データの再生時間情報を前記サーバ装置に送信し、前記同期処理部は、前記第1の情報端末、及び前記第2の情報端末間で同期するように前記視線情報、及び前記再生時間情報に基づいて前記VRコンテンツの描写を前記描写部に指示するようにしてもよい。
The VR content is moving image data of a moving image format, and the first information terminal and the second information terminal transmit reproduction time information of the moving image data to the server device as the synchronization information. The synchronization processing unit instructs the drawing unit to portray the VR content based on the line-of-sight information and the reproduction time information so as to synchronize between the first information terminal and the second information terminal. You may do it.


さらには、前記第1の情報端末、及び前記第2の情報端末は、前記同期情報として、前記VRコンテンツへの操作指示を示すコマンド情報を前記サーバ装置に送信し、前記同期処理部は、前記第1の情報端末、及び前記第2の情報端末間で同期するように前記視線情報、及び前記コマンド情報による操作指示に基づいて前記VRコンテンツの描写を前記描写部に指示するようにしてもよい。
Furthermore, the first information terminal and the second information terminal transmit command information indicating an operation instruction to the VR content to the server device as the synchronization information, and the synchronization processing unit In order to synchronize between the first information terminal and the second information terminal, the depiction of the VR content may be instructed to the depiction unit based on the sight line information and an operation instruction by the command information. .


さらには、前記サーバ装置は、前記第1の情報端末、及び前記第2の情報端末における前記視線情報の送信を許諾するか否か、及び前記コマンド情報の送信を許諾するか否かを定める属性情報を含んだ前記URL、又は前記IPアドレスを生成し、前記第１情報端末、及び前記第2情報端末は、接続した前記属性情報を含む前記URL、又は前記IPアドレスによって前記属性情報が付与され、前記同期処理部は、前記第1情報端末、及び前記第2情報端末に付与された前記属性情報に基づいて、前記第1の情報端末、及び前記第2の情報端末からの前記視線情報、及び前記コマンド情報のうち許容されている前記同期情報のみを用いて前記描写部に描写を指示するようにしてもよい。
Furthermore, the server device is an attribute that determines whether to permit transmission of the line-of-sight information at the first information terminal and the second information terminal and whether to permit transmission of the command information. The URL including information or the IP address is generated, and the first information terminal and the second information terminal are provided with the attribute information by the URL including the attribute information connected or the IP address. The synchronization processing unit is configured to, based on the attribute information given to the first information terminal and the second information terminal, the line-of-sight information from the first information terminal and the second information terminal, And, of the command information, only the permitted synchronization information may be used to instruct the depiction unit.


さらには、前記サーバ装置は、複数の情報端末をグルーピングするグルーピング情報を含んだ前記URL、又は前記IPアドレスを生成し、前記複数の情報端末は、接続した前記属性情報を含む前記URL、又は前記IPアドレスによって所属する前記グルーピング情報が付与され、前記同期処理部は、前記複数の情報端末のうち、同一の前記グルーピング情報が付与されたものに対する前記VRコンテンツの描写を、前記同期情報に基づいて前記描写部に指示するようにしてもよい。
Furthermore, the server device generates the URL including the grouping information for grouping a plurality of information terminals or the IP address, and the plurality of information terminals includes the URL including the connected attribute information or the URL The grouping information to which the group information belongs is attached by an IP address, and the synchronization processing unit describes, based on the synchronization information, the depiction of the VR content with respect to the plurality of information terminals to which the same grouping information is attached. You may make it instruct | indicate to the said depiction part.


本実施形態のシステムの機能構成を示すブロック図。FIG. 1 is a block diagram showing a functional configuration of a system of the present embodiment. 本実施形態の情報端末とサーバ装置間でのデータのやり取りの流れを示すフロー図。FIG. 2 is a flow diagram showing the flow of data exchange between the information terminal of the present embodiment and the server device.


本発明のVRコンテンツ視聴装置を具体化した実施形態について説明する。図１は、VRコンテンツ視聴装置１の機能構成図である。VRコンテンツ視聴装置１は、サーバ装置１０と、第1の情報端末２０、第２の情報端末３０、第３の情報端末４０、第４の情報端末５０を備えている。サーバ装置１０と、各情報端末２０〜５０はインターネットを通じて互いに通信可能である。
An embodiment in which the VR content viewing device of the present invention is embodied will be described. FIG. 1 is a functional configuration diagram of the VR content viewing device 1. The VR content viewing apparatus 1 includes a server device 10, a first information terminal 20, a second information terminal 30, a third information terminal 40, and a fourth information terminal 50. The server device 10 and the information terminals 20 to 50 can communicate with each other through the Internet.


サーバ装置１０は、描写部１１、同期処理部１２、ＵＲＬ生成部１３、データ記憶部１４を備えている。なお、これら各部は同一のサーバ内に設けられてもよいし、複数のサーバに分散して設けられてもよい。描写部１１は、データ記憶部１４に保存されているＶＲコンテンツを読み出し、各情報端末２０〜５０からの要求に応じてこれをブラウザに表示可能なように描写する。情報端末２０〜５０は、ＷＥＢサイト閲覧用のブラウザを通じて、サーバ装置１０へと接続し、ＶＲコンテンツを閲覧する。同期処理部１２は、各端末間で視聴しているＶＲコンテンツを同期させる処理を行う。同期の処理は各情報端末２０〜５０から送られてくる同期情報に基づいて行われる。
The server device 10 includes a drawing unit 11, a synchronization processing unit 12, a URL generation unit 13, and a data storage unit 14. Note that these units may be provided in the same server, or may be provided separately in a plurality of servers. The rendering unit 11 reads out the VR content stored in the data storage unit 14 and renders it so that it can be displayed on a browser in response to a request from each of the information terminals 20 to 50. The information terminals 20 to 50 connect to the server device 10 through the browser for browsing the web site, and browse the VR content. The synchronization processing unit 12 performs processing to synchronize the VR content being viewed between the terminals. The synchronization process is performed based on the synchronization information sent from each information terminal 20-50.


同期情報としては、例えば視線情報、コマンド情報、再生時間情報などが含まれる。視線情報は、ある情報端末がＶＲコンテンツを視聴している際にどの視点からどの方向に向かってみているかを示す情報である。コマンド情報は、ＶＲコンテンツに対する情報端末からの特定のアクションを指示する情報である。指示の方法としてはＶＲコンテンツ内での視線を特定の領域に重ねたり、瞬きや指でコンテンツを操作するなどの方法がとりうる。指示の内容としては、説明コメントをＶＲ空間内に表示させたり、別のシーンに移動したり、所望の画像をＶＲ空間内に表示したり、所望の音声を流したりといったものである。
The synchronization information includes, for example, line-of-sight information, command information, reproduction time information, and the like. The line-of-sight information is information indicating from which viewpoint and when to which direction a certain information terminal is viewing VR content. The command information is information instructing a specific action from the information terminal on the VR content. As a method of instruction, a method of overlapping the gaze in the VR content on a specific area, or operating the content with a blink or a finger can be taken. The contents of the instruction are to display an explanatory comment in the VR space, move to another scene, display a desired image in the VR space, or stream a desired sound.


また、再生時間情報は、ＶＲコンテンツが動画である場合に、動画データのどのタイミングの場面が再生されているかを示す情報である。ＵＲＬ生成部１３は、各情報端末に対してＶＲコンテンツを閲覧するためのＵＲＬを生成する。
In addition, when the VR content is a moving image, the reproduction time information is information indicating at which timing of moving image data a scene is being reproduced. The URL generation unit 13 generates a URL for browsing the VR content to each information terminal.


ＵＲＬ生成部１３は、情報端末２０〜５０がＷＥＢブラウザを通じてアクセスすることによってＶＲコンテンツを視聴可能なＵＲＬ、又はＩＰアドレスを生成する。この際、ＵＲＬ生成部１３は、ＵＲＬに対して情報端末２０〜５０の属性情報を付与する。例えば、http://●●●.ｈｔｍｌ？ｍｏｄｅ＝１のような態様で送る。属性情報としては
属性１：情報端末から同期情報として視線情報、再生時間情報、コマンド情報のすべてを同期情報としてサーバ装置１０へと送信する
属性２：情報端末から同期情報としてコマンド情報は送信するが、視線情報、再生時間情報は送信しない
属性３：情報端末から何も同期情報は送信せずに、VRコンテンツの視聴のみを行う
ものが設定される。
The URL generation unit 13 generates a URL or an IP address from which the VR content can be viewed and listened to by the information terminals 20 to 50 accessing through the WEB browser. At this time, the URL generation unit 13 adds attribute information of the information terminals 20 to 50 to the URL. For example, http: //●●●.html? Send in a mode such as mode = 1. As attribute information, attribute 1: Transmit all of line-of-sight information, reproduction time information and command information as synchronization information from information terminal to server apparatus 10 as synchronization information Attribute 2: Send command information as synchronization information from information terminal , Line-of-sight information, playback time information is not transmitted Attribute 3: Nothing is sent from the information terminal, and only information for viewing VR content is set without sending synchronization information.


また、ＵＲＬ生成部１３は、情報端末２０〜５０をグルーピングするためのグルーピング情報を含んだＵＲＬを生成する。本実施形態では、第1の情報端末２０と第2の情報端末３０とが同じグループに属する。また、第3の情報端末４０と第4の情報端末５０とが同じグループに属する。この場合、グルーピング情報としては、ＵＲＬに対して属性情報と同じような態様で埋め込まれる。したがって、同様のグルーピング情報が付与されたＵＲＬに接続した端末が同一のグループに属することとなる。サーバ装置１０は、接続したすべての情報端末に同期したＶＲコンテンツを送るのではなく、同一のグループに属する端末に対してのみ、同期情報に基づくＶＲコンテンツの描写が行わられるように処理される。したがって、本実施形態では第1の情報端末２０と第2の情報端末３０とは、同期したＶＲコンテンツを視聴し、第3の情報端末４０と第4の情報端末５０とが同期したＶＲコンテンツを視聴する。
In addition, the URL generation unit 13 generates a URL including grouping information for grouping the information terminals 20 to 50. In the present embodiment, the first information terminal 20 and the second information terminal 30 belong to the same group. Further, the third information terminal 40 and the fourth information terminal 50 belong to the same group. In this case, the grouping information is embedded in the URL in the same manner as the attribute information. Therefore, the terminals connected to the URL to which the same grouping information is added will belong to the same group. The server apparatus 10 is processed so that depiction of VR content based on synchronization information is performed only for terminals belonging to the same group, instead of sending synchronized VR content to all connected information terminals. Therefore, in the present embodiment, the first information terminal 20 and the second information terminal 30 view the synchronized VR content and the VR content in which the third information terminal 40 and the fourth information terminal 50 are synchronized. View.


第1の情報端末２０は、同期情報送信部２１を備えている。同期情報送信部２１は、サーバ装置１０へと同期情報を送信する。例えば、視線情報としては、空間全体の緯度経度の一点を向いた方向を伝えており、コマンド情報は、あらかじめ定義されたVRアクションの関数を起動するための文字列などである。同期情報送信部２１は、同期情報を１秒間に約６０回（毎フレーム）程度サーバ装置１０へと送信する。通信の方式としては、ＴＣＰ／ＩＰが用いられる。プロトコルはＨＴＴＰとｗｅｂｓｏｃｋｅｔが用いられ、ｗｅｂｓｏｃｋｅｔは双方向通信して同期するデータのやり取りに用いられる。
The first information terminal 20 includes a synchronization information transmission unit 21. The synchronization information transmission unit 21 transmits synchronization information to the server device 10. For example, as the line-of-sight information, it conveys the direction toward one point of the latitude and longitude of the entire space, and the command information is a character string for activating a function of a VR action defined in advance. The synchronization information transmission unit 21 transmits the synchronization information to the server apparatus 10 about 60 times (every frame) per second. TCP / IP is used as a communication method. Protocols used are HTTP and websocket, and websocket is used for bi-directional communication to exchange synchronized data.


第1の情報端末２０は、ブラウザを通じてインターネット経由で特定のＵＲＬに接続した際に、描写部１１によって描写されたＶＲコンテンツをブラウザ上で閲覧することができる。
When the first information terminal 20 is connected to a specific URL via the browser via the Internet, the first information terminal 20 can browse the VR content described by the drawing unit 11 on the browser.


続いて、情報端末２０〜５０とサーバ装置１０との間のデータのやりとりの流れを図２を用いて説明する。まず、初めにサーバ装置１０のＵＲＬ生成部１３は、属性情報やグルーピング情報事にそれぞれのＵＲＬを生成する（ステップＳ１０１）。ＵＲＬ生成の処理はこの装置を活用して、端末間での同期したＶＲコンテンツを見ようとする者が管理画面から行うことを想定している。例えば、不動産の営業担当者が閲覧する端末に応じて設定を使い分けると、対応したＵＲＬが生成される。
Subsequently, a flow of data exchange between the information terminals 20 to 50 and the server device 10 will be described with reference to FIG. First, the URL generation unit 13 of the server device 10 first generates respective URLs for attribute information and grouping information (step S101). It is assumed that the process of URL generation is performed by a person who wants to view synchronized VR content between terminals using this device from the management screen. For example, if the sales person in charge of real estate uses different settings depending on the terminal to be browsed, a corresponding URL is generated.


各情報端末２０〜５０は、この自分の属性やグループに沿って生成されたＵＲＬをブラウザを通じて入力し、ＵＲＬへの接続要求を行う（ステップＳ１０２）。なお生成されたＵＲＬはメールなどを用いて各端末へと送信される。
Each of the information terminals 20 to 50 inputs the URL generated along the attribute and the group of the user through the browser, and makes a connection request to the URL (step S102). The generated URL is transmitted to each terminal using a mail or the like.


情報端末２０〜５０からの接続要求があると、サーバ装置１０は、その端末の属性情報、及びグルーピング情報を確認し（ステップＳ１０３）、その属性及びグループに対応したＶＲコンテンツを描写部１１に描写させ、ブラウザ上に表示させる（ステップＳ１０４）。
When there is a connection request from the information terminals 20 to 50, the server device 10 confirms the attribute information and the grouping information of the terminal (step S103), and renders the VR content corresponding to the attribute and the group to the depiction unit 11 And display on the browser (step S104).


同期処理部１２は、視線情報やコマンド情報などの同期情報を情報端末２０〜５０から受け取り、（ステップＳ１０５：Ｙｅｓ）、受け取った同期情報が、同期情報に基づく同期処理を許容する属性情報が付与された情報端末からのものかを判定する（ステップＳ１０６）。許容する情報端末からの同期情報である場合（ステップＳ１０６：Ｙｅｓ）、その受け取った同期情報に基づいてＶＲコンテンツを再描写するべく描写部１１へと指示を送る（ステップＳ１０７）。許容しない情報端末からの同期情報である場合（ステップＳ１０６：Ｎｏ）、同期処理部１２はその同期情報に基づく同期処理は行わない。
The synchronization processing unit 12 receives synchronization information such as line-of-sight information and command information from the information terminals 20 to 50 (step S105: Yes), the received synchronization information is provided with attribute information allowing synchronization processing based on the synchronization information It is determined whether it is from the information terminal (step S106). If it is the synchronization information from the information terminal to allow (step S106: Yes), an instruction is sent to the rendering unit 11 to redraw the VR content based on the received synchronization information (step S107). When it is the synchronous information from the information terminal which does not permit (Step S106: No), synchronous processing part 12 does not perform synchronous processing based on the synchronous information.


以上に示した本実施形態のＶＲコンテンツ視聴装置１においては、ＵＲＬを通じてインターネットにアクセス可能な端末においては、すぐにＶＲコンテンツを閲覧可能であるため、新たなデバイスを用意することなくＶＲコンテンツの同期した閲覧が可能となる。またブラウザによってＶＲコンテンツの同期処理が可能となるため、新たなソフトを各情報端末にインストール必要もなく、容易にＶＲコンテンツの同期が可能となる。さらには、情報端末とサーバ装置１０間でやり取りされるデータは、閲覧している画像や動画データは含まず、軽い同期情報のデータのみのやり取りのため大容量通信が可能な帯域でなくても双方向コミュニケーションが十分可能なリアルタイム性が実現される。
In the VR content viewing device 1 according to the present embodiment described above, in a terminal capable of accessing the Internet through a URL, the VR content can be browsed immediately, so synchronization of the VR content can be performed without preparing a new device. Can be viewed. In addition, since the VR content synchronization processing can be performed by the browser, the VR content synchronization can be easily performed without the need to install new software on each information terminal. Furthermore, the data exchanged between the information terminal and the server device 10 does not include the image or moving image data being browsed, and even if it is not a band capable of large-capacity communication because only light synchronization information data is exchanged. Real-time capability sufficient for two-way communication is realized.


また、VRコンテンツの場合は、画像や映像のデータが目の前で見えている範囲以外も同時に読み込まれており、大容量化をしてしまうという特徴がある。端末間でVRコンテンツの閲覧を同期する上で、この大容量になるデータ自体を端末とサーバ間では送ることはせず、空間写真や映像のデータはサーバ上に保存された状態とする。このため、お互いの端末間では同期情報だけを送受信し、サーバ上でVRコンテンツを各デバイスに向けて描写するというやり方で、あたかもミラーリングしているような同期処理を施すことができる。
Further, in the case of VR content, the image and video data are simultaneously read out of the area other than the area where the image and video data are visible in front of the eyes, and there is a feature that the capacity is increased. In order to synchronize browsing of VR content between terminals, this large volume of data itself is not sent between the terminal and the server, but the data of the spatial photo and the video is stored on the server. For this reason, it is possible to perform synchronization processing as if mirroring is performed in such a manner that only synchronization information is transmitted and received between terminals, and VR content is drawn to each device on the server.


１…VRコンテンツ視聴装置

１０…サーバ装置
１１…描写部
１２…同期処理部
１３…URL生成部
１４…記憶部
1 ... VR content viewing device

10: server device 11: depiction unit 12: synchronization processing unit 13: URL generation unit 14: storage unit


Claims (5)

第1の情報端末と、第2の情報端末との間でサーバ装置を通じて、VRコンテンツをリアルタイムの共有するVRコンテンツ視聴装置において、
前記サーバ装置は、
第1の情報端末、及び第2の情報端末からの要求に基づいて前記VRコンテンツを描写する描写部と、
前記第1の情報端末、及び前記第2の情報端末との間での前記VRコンテンツの同期を同期情報に基づいて処理する同期処理部と、
を備え、
前記第1の情報端末、及び前記第2の情報端末は、
ブラウザを通じてインターネット経由で特定のＵＲＬ、又はIPアドレスに接続して前記描写部によって描写された前記ＶＲコンテンツを前記ブラウザ上で再生するとともに、
前記ＶＲコンテンツを再生している状態において、ＶＲコンテンツを閲覧する方向を示す視線情報を前記同期情報として前記サーバ装置に対して送信し、
前記同期処理部は、前記第1の情報端末、及び前記第2の情報端末間で同期するように前記視線情報に基づいて前記VRコンテンツの描写を前記描写部に指示する
ことを特徴とするVRコンテンツ視聴装置。 In a VR content viewing apparatus for sharing VR content in real time through a server apparatus between a first information terminal and a second information terminal,
The server device is
A rendering unit that renders the VR content based on a request from a first information terminal and a second information terminal;
A synchronization processing unit that processes synchronization of the VR content between the first information terminal and the second information terminal based on synchronization information;
Equipped with
The first information terminal and the second information terminal are
Connecting to a specific URL or IP address via the Internet via a browser to play the VR content described by the drawing unit on the browser;
In a state where the VR content is being reproduced, line-of-sight information indicating a direction in which the VR content is browsed is transmitted as the synchronization information to the server device.
The synchronization processing unit instructs the depiction unit to render the VR content based on the line-of-sight information so as to synchronize between the first information terminal and the second information terminal. Content viewing device. 前記VRコンテンツは、動画形式の動画データであり、
前記第1の情報端末、及び前記第2の情報端末は、前記同期情報として、前記動画データの再生時間情報を前記サーバ装置に送信し、
前記同期処理部は、前記第1の情報端末、及び前記第2の情報端末間で同期するように前記視線情報、及び前記再生時間情報に基づいて前記VRコンテンツの描写を前記描写部に指示する
ことを特徴とする請求項１に記載のVRコンテンツ視聴装置。 The VR content is moving image data of moving image format,
The first information terminal and the second information terminal transmit reproduction time information of the moving image data to the server device as the synchronization information.
The synchronization processing unit instructs the rendering unit to render the VR content based on the line-of-sight information and the reproduction time information so as to synchronize between the first information terminal and the second information terminal. The VR content viewing apparatus according to claim 1, characterized in that: 前記第1の情報端末、及び前記第2の情報端末は、前記同期情報として、前記VRコンテンツへの操作指示を示すコマンド情報を前記サーバ装置に送信し、
前記同期処理部は、前記第1の情報端末、及び前記第2の情報端末間で同期するように前記視線情報、及び前記コマンド情報による操作指示に基づいて前記VRコンテンツの描写を前記描写部に指示する
ことを特徴とする請求項１、又は２に記載のVRコンテンツ視聴装置。 The first information terminal and the second information terminal transmit command information indicating an operation instruction to the VR content to the server device as the synchronization information.
The synchronization processing unit causes the depiction unit to portray the depiction of the VR content based on the sight line information and the operation instruction by the command information so as to synchronize between the first information terminal and the second information terminal. The VR content viewing apparatus according to claim 1, wherein the VR content viewing apparatus is instructed. 前記サーバ装置は、前記第1の情報端末、及び前記第2の情報端末における前記視線情報の送信を許諾するか否か、及び前記コマンド情報の送信を許諾するか否かを定める属性情報を含んだ前記URL、又は前記IPアドレスを生成し、
前記第１情報端末、及び前記第2情報端末は、接続した前記属性情報を含む前記URL、又は前記IPアドレスによって前記属性情報が付与され、
前記同期処理部は、前記第1情報端末、及び前記第2情報端末に付与された前記属性情報に基づいて、前記第1の情報端末、及び前記第2の情報端末からの前記視線情報、及び前記コマンド情報のうち許容されている前記同期情報のみを用いて前記描写部に描写を指示する
ことを特徴とする請求項３に記載のVRコンテンツ視聴装置。 The server device includes attribute information that determines whether to permit transmission of the line-of-sight information at the first information terminal and the second information terminal and whether to permit transmission of the command information. Generate the URL or the IP address,
The attribute information is given to the first information terminal and the second information terminal by the URL including the connected attribute information or the IP address.
The synchronization processing unit, based on the attribute information given to the first information terminal and the second information terminal, the line-of-sight information from the first information terminal and the second information terminal, and The VR content viewing apparatus according to claim 3, wherein the depiction is instructed to the depiction unit using only the synchronization information permitted among the command information. 前記サーバ装置は、複数の情報端末をグルーピングするグルーピング情報を含んだ前記URL、又は前記IPアドレスを生成し、
前記複数の情報端末は、接続した前記属性情報を含む前記URL、又は前記IPアドレスによって所属する前記グルーピング情報が付与され、
前記同期処理部は、前記複数の情報端末のうち、同一の前記グルーピング情報が付与されたものに対する前記VRコンテンツの描写を、前記同期情報に基づいて前記描写部に指示する
ことを特徴とする請求項１〜４のいずれか一項に記載のVRコンテンツ視聴装置。


The server device generates the URL or the IP address including grouping information for grouping a plurality of information terminals,
The plurality of information terminals are given the grouping information belonging to the URL including the connected attribute information or the IP address,
The synchronization processing unit, based on the synchronization information, instructs the depiction unit on the depiction of the VR content of the plurality of information terminals to which the same grouping information is added. The VR content viewing apparatus according to any one of Items 1 to 4.


JP2017196473A 2017-10-08 2017-10-08 VR content viewing device Active JP6688269B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017196473A JP6688269B2 (en) 2017-10-08 2017-10-08 VR content viewing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017196473A JP6688269B2 (en) 2017-10-08 2017-10-08 VR content viewing device

Publications (2)

Publication Number Publication Date
JP2019071539A true JP2019071539A (en) 2019-05-09
JP6688269B2 JP6688269B2 (en) 2020-04-28

Family

ID=66441329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017196473A Active JP6688269B2 (en) 2017-10-08 2017-10-08 VR content viewing device

Country Status (1)

Country Link
JP (1) JP6688269B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199074A (en) * 2001-12-25 2003-07-11 Nec Corp Video image presentation system, video image transmission device, video image presentation device and video image processing program
JP2003339038A (en) * 2002-05-22 2003-11-28 Nippon Telegr & Teleph Corp <Ntt> Interactive relaying apparatus and method
JP2004241817A (en) * 2003-02-03 2004-08-26 Ps Network:Kk Image distribution system
JP2004272216A (en) * 2003-02-20 2004-09-30 Shimane Pref Gov Image display device equipped with guard
JP2006005415A (en) * 2004-06-15 2006-01-05 Sharp Corp Content viewing device, television device, content viewing method, program and recording medium
JP2010147845A (en) * 2008-12-19 2010-07-01 Fujitsu Ltd Video image distribution system and unicast-type multipoint video image distribution method
JP2012175178A (en) * 2011-02-17 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> Content reproduction method
WO2014050733A1 (en) * 2012-09-28 2014-04-03 ソニー株式会社 Information processing device, portable terminal, information processing method, program, and information processing system
WO2016002445A1 (en) * 2014-07-03 2016-01-07 ソニー株式会社 Information processing device, information processing method, and program
JP2017183855A (en) * 2016-03-29 2017-10-05 セイコーエプソン株式会社 Display system, head mounted display device, display control method, and program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199074A (en) * 2001-12-25 2003-07-11 Nec Corp Video image presentation system, video image transmission device, video image presentation device and video image processing program
JP2003339038A (en) * 2002-05-22 2003-11-28 Nippon Telegr & Teleph Corp <Ntt> Interactive relaying apparatus and method
JP2004241817A (en) * 2003-02-03 2004-08-26 Ps Network:Kk Image distribution system
JP2004272216A (en) * 2003-02-20 2004-09-30 Shimane Pref Gov Image display device equipped with guard
JP2006005415A (en) * 2004-06-15 2006-01-05 Sharp Corp Content viewing device, television device, content viewing method, program and recording medium
JP2010147845A (en) * 2008-12-19 2010-07-01 Fujitsu Ltd Video image distribution system and unicast-type multipoint video image distribution method
JP2012175178A (en) * 2011-02-17 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> Content reproduction method
WO2014050733A1 (en) * 2012-09-28 2014-04-03 ソニー株式会社 Information processing device, portable terminal, information processing method, program, and information processing system
WO2016002445A1 (en) * 2014-07-03 2016-01-07 ソニー株式会社 Information processing device, information processing method, and program
JP2017183855A (en) * 2016-03-29 2017-10-05 セイコーエプソン株式会社 Display system, head mounted display device, display control method, and program

Also Published As

Publication number Publication date
JP6688269B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
CN106254462B (en) Method, server and system for realizing remote assistance of mobile terminal
KR101702659B1 (en) Appratus and method for syncronizing moving picture contents and e-book contents and system thereof
CN100556055C (en) The human communication system
JP6012049B2 (en) Remote control of telephone
WO2018000634A1 (en) Video broadcasting method, device, equipment and system
JP5359998B2 (en) Information processing system, information processing method, and information processing program
KR20150133496A (en) Method of transmitting video to receiver including head-mounted display through network and transmitter, relay server and receiver for the same
JP6400879B2 (en) Image display device and image display system
WO2014012444A1 (en) Method, device and system for realizing augmented reality information sharing
CN111694625B (en) Method and equipment for projecting screen from car box to car machine
WO2023283257A1 (en) User-configurable spatial audio based conferencing system
JP2024004948A (en) Data processing method, system and computer program
US8937635B2 (en) Device, method and system for real-time screen interaction in video communication
JP5070934B2 (en) Presence exchange terminal, presence exchange method and presence exchange program
WO2016002331A1 (en) Information processing device, information processing method, and content sharing system
CN107251527A (en) Shared scenario objects are synchronous
JP6694637B2 (en) Information providing system and information providing method regarding an object of interest
JP6688269B2 (en) VR content viewing device
KR20140043354A (en) Information processing apparatus, information processing system, and program
JP6268355B2 (en) Relay device, relay system, and program
JP2016521471A (en) Mixed media from multimodal sensors
CN110794966B (en) AR display system and method
CN110636384A (en) System and method for realizing synchronization of one master and multiple slaves of webpage
KR102627239B1 (en) Live video streaming system
US9525901B2 (en) Distribution management apparatus for distributing data content to communication devices, distribution system, and distribution management method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191001

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200403

R150 Certificate of patent or registration of utility model

Ref document number: 6688269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250