JP2012094990A - Image display system associating with view point - Google Patents
Image display system associating with view point Download PDFInfo
- Publication number
- JP2012094990A JP2012094990A JP2010238701A JP2010238701A JP2012094990A JP 2012094990 A JP2012094990 A JP 2012094990A JP 2010238701 A JP2010238701 A JP 2010238701A JP 2010238701 A JP2010238701 A JP 2010238701A JP 2012094990 A JP2012094990 A JP 2012094990A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- information
- range
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
この発明は、例えば視点の移動に連動して画像を表示させるような視点連動画像表示システムに関する。 The present invention relates to a viewpoint-linked image display system that displays an image in conjunction with movement of a viewpoint, for example.
従来、映像情報の録画、配信、再生などにおいて、ＭＰＥＧなどの標準技術をベースにした方式が普及している。そして、高画質化の提案とともに、新たな画像データの圧縮技術も提案されている。 2. Description of the Related Art Conventionally, a method based on a standard technology such as MPEG is widely used for recording, distributing, and reproducing video information. Along with the proposal for higher image quality, a new image data compression technique has also been proposed.
一方、２眼カメラの映像情報を用いた３Ｄ映像表示システムも提案されている。近年では、３ＤＴＶなど２眼カメラによる映像を再生するシステムも実用化が進んでいる。しかし、このようなシステムは、２眼カメラが固定であるから映像情報にカメラの死角が存在し、必ずしも対象物の視点位置からリアルな再現ができているわけではない。対象物をじっくり観察したい場合、あらゆる角度から観ることが求められるが、２眼カメラからの３Ｄ画像の再生では、死角による限界が存在している。 On the other hand, a 3D video display system using video information of a twin-lens camera has also been proposed. In recent years, a system for reproducing video by a twin-lens camera such as 3DTV has been put into practical use. However, in such a system, since the twin-lens camera is fixed, the blind spot of the camera exists in the video information, and realistic reproduction is not necessarily performed from the viewpoint position of the object. When it is desired to observe the object carefully, it is required to view it from all angles, but there is a limit due to blind spots in the reproduction of 3D images from a twin-lens camera.
ここで、複数台のカメラにより多視点で撮影された映像（連続画像）を用いれば、様々な位置に視点を移動しつつ画像を表示することができる。これにより、対象物を様々な視点から見て３次元的にとらえることも可能となる。 Here, by using videos (continuous images) taken from multiple viewpoints by a plurality of cameras, images can be displayed while moving the viewpoint to various positions. As a result, the object can be viewed three-dimensionally from various viewpoints.
多視点映像の符号化方式として、異なる視点映像に対してイントラピクチャ（Ｉフレーム）を配置することで、全ての視点に対して画像劣化を最小化する方法などが提案されている（特許文献１参照）。
しかし、画像再生時においては、特定視点映像（１〜２視点）のみが表示されることになり、視点位置で必要とする映像を配信し、保存する場合には、視点映像の数に応じて多大なリソース（ネットワーク負荷、記録容量）を用いることになる。
As a multi-view video encoding method, a method of minimizing image degradation for all viewpoints by arranging intra pictures (I frames) for different viewpoint videos has been proposed (Patent Document 1). reference).
However, at the time of image reproduction, only the specific viewpoint video (1 to 2 viewpoints) is displayed. When distributing and storing the video required at the viewpoint position, depending on the number of viewpoint videos A lot of resources (network load, recording capacity) are used.
この発明は、上述の問題点に鑑み、遠隔地の映像を視点移動に応じてスムーズに表示でき、かつネットワークの帯域を最小限に抑制する視点連動画像表示システムを提供し、利用者の満足度を向上させることを目的とする。 In view of the above-described problems, the present invention provides a viewpoint-linked image display system that can smoothly display a video from a remote location in accordance with the movement of the viewpoint and suppresses the bandwidth of the network to the minimum. It aims at improving.
この発明は、画像情報を取得する画像情報取得手段を有するサーバと、前記サーバと通信可能なクライアント端末とを備え、前記サーバは、視点位置の情報である視点情報を取得する視点情報取得手段と、前記視点位置の移動範囲を決定する視点移動範囲決定手段と、前記視点移動範囲決定手段により決定した視点移動範囲に基づく所定範囲の各視点位置から観た各視点画像をグループ視点画像として伝送するグループ視点画像伝送手段とを備え、前記クライアント端末は、前記視点位置の移動入力を許容する視点位置移動入力手段と、前記視点位置移動入力手段で入力された視点位置の視点情報を前記サーバへ送信する視点情報送信手段と、前記グループ視点画像を前記サーバから受信するグループ視点画像受信手段と、前記グループ視点画像に基づいて前記視点位置移動入力手段で入力された視点位置に対応する視点画像を表示する視点画像表示手段とを備えた視点連動画像表示システムであることを特徴とする。 The present invention includes a server having image information acquisition means for acquiring image information, and a client terminal capable of communicating with the server, and the server includes viewpoint information acquisition means for acquiring viewpoint information that is information of a viewpoint position; A viewpoint movement range determination means for determining a movement range of the viewpoint position, and each viewpoint image viewed from each viewpoint position within a predetermined range based on the viewpoint movement range determined by the viewpoint movement range determination means is transmitted as a group viewpoint image. Group viewpoint image transmission means, and the client terminal transmits viewpoint information of viewpoint position input by the viewpoint position movement input means that allows movement input of the viewpoint position and viewpoint position input by the viewpoint position movement input means to the server. Viewpoint information transmitting means, group viewpoint image receiving means for receiving the group viewpoint image from the server, and group viewpoint Characterized in that it is a viewpoint interlocking image display system including a viewpoint image display means for displaying the viewpoint images corresponding to the viewpoint position input by the viewpoint position movement input means based on the image.
この発明により、遠隔地の映像を視点移動しつつスムーズに表示することができる。 According to the present invention, it is possible to smoothly display an image of a remote place while moving the viewpoint.
以下、この発明の一実施形態を図面と共に説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、移動視点映像表示システム１のシステム構成と機能を示すブロック図である。
移動視点映像表示システム１は、操作表示端末３と、映像配信サーバ５とがそれぞれ通信可能に接続されて構成されている。
FIG. 1 is a block diagram showing the system configuration and functions of a moving viewpoint
The moving viewpoint
操作表示端末３および映像配信サーバ５は、いずれも、ＣＰＵとＲＯＭとＲＡＭ（メモリ）等で構成される制御手段、ハードディスク等で構成される記憶手段、キーボードやマウス等で構成される入力手段、液晶ディスプレイ等で構成される表示手段、ＬＡＮボード等で構成される通信手段、およびＵＳＢ等で構成される外部接続手段といったハードウェアで構成されており、記憶手段に記憶されているプログラムに従って制御手段が各種動作を実行する。
Each of the
操作表示端末３は、前記プログラムに従って制御手段が各ハードウェアを用いて動作する機能ブロックとして、視点位置検出器１１、視点切替部１２、視点移動履歴部１３、視点切替速度算定部１４、通信装置１５、多視点映像復号化部１６、および表示装置１７を備えている。
The
視点位置検出器１１は、視点となるユーザ（人）の位置を検出するカメラ、センサ等の装置で構成されており、検出した視点位置を視点切替部１２へ送信する。なお、この実施例では、ユーザの動作により視点位置を変更することを想定しているが、これに限らず、タッチパネルやマウス等で視点を入力するなど、視点を特定可能な適宜の装置によって視点位置検出器１１を構成してもよい。
The
視点切替部１２は、ユーザからの視点となる位置情報から多視点映像を選択するための装置である。図示では、１台の視点位置検出器１１に接続されているが、複数台の操作表示端末の視点位置検出器１１が接続されてもよい。これにより、どの視点位置検出器１１から入力されている視点かを認識し、複数のユーザがそれぞれ視点を移動させても、各ユーザの視点を区別して認識することができる。
The
視点移動履歴部１３は、視点の移動履歴を記憶する部位であり、視点切替部１２から送信される視点位置の移動履歴と次の視点切替速度算定部の結果を記憶する。
The viewpoint
視点切替速度算定部１４は、視点移動から視点切替速度を算出する。視点移動履歴部１３に記憶されている移動履歴の情報も参照し、最大視点切替速度も算出する。また、視点切替速度算定部１４は、算出した視点切替速度を通信装置１５に送信する。
The viewpoint switching
通信装置１５は、映像配信サーバ５と通信する有線あるいは無線による適宜の通信装置である。映像配信サーバ５に対して、視点位置と最大視点切替速度などの情報を送信する処理と、映像配信サーバ５から映像情報を受信する処理とを実行する。
The
多視点映像復号化部１６は、通信装置１５から受信した映像情報と、視点切替部１２から送信される視点位置とに基づいて、映像情報を復号化する。
表示装置１７は、多視点映像復号化部１６により復号化された映像を表示する。
The multi-view
The
映像配信サーバ５は、配信制御部２１、セッション管理部２２、および多視点映像符号化装置２３および多視点映像入力装置を備えている。
The
配信制御部２１は、操作表示端末３の通信装置１５との通信、および視点映像を配信する通信制御を実行する。操作表示端末３との通信について、映像伝送品質を確保する通信プロトコル（ＲＴＰ／ＵＤＰ、および、ネットワーク状況最適化できるＤＣＣＰなどのプロトコル）をサポートする。通信装置１５からは、視点位置変更要求（Ｒｅｑｕｅｓｔ）として視点位置情報等を受信する。
The
セッション管理部２２は、マルチユーザに対応した視点映像を配信するために、複数の操作表示端末からの要求に対応したユーザ視点を管理する装置である。
The
多視点映像符号化装置２３は、多視点映像入力装置２４から受信する複数の視点からの映像情報を記憶する。また、セッション管理部２２から受信する視点位置等に基づいて、必要な範囲の映像情報を符号化し、配信制御部２１に送信する。
The multi-view video encoding device 23 stores video information from a plurality of viewpoints received from the multi-view
多視点映像入力装置２４は、複数台のカメラ若しくは複数の映像を記録した映像情報等により構成されており、複数の視点からの映像情報を多視点映像符号化装置２３に送信する。
The multi-view
図２、図３は、多数の視点からの映像情報のうちスムーズな映像再生に必要となる映像情報を抽出する概念の説明図である。 2 and 3 are explanatory diagrams of the concept of extracting video information necessary for smooth video reproduction from video information from many viewpoints.
図２（Ａ）は、複数台のカメラで取得する画像情報と時系列とを示す概念図である。なお、ここで言う画像情報は、連続して撮影した連続画像によって動画表示される映像情報の１コマ（１フレーム）としてのフレーム画像の画像情報を指す。 FIG. 2A is a conceptual diagram showing image information and time series acquired by a plurality of cameras. Note that the image information here refers to image information of a frame image as one frame (one frame) of video information displayed as a moving image by continuous images taken continuously.
図２（Ａ）は、上下方向が視点位置の違いを示し、左右方向が時間の経過を示している。各視点で取得する映像情報は同期がとられており、同じタイミング毎に１フレームの画像情報を取得する構成となっている。 In FIG. 2A, the vertical direction indicates the difference in viewpoint position, and the horizontal direction indicates the passage of time. The video information acquired from each viewpoint is synchronized, and one frame of image information is acquired at the same timing.
画像情報は、Ｉフレーム３１とＢフレーム３２とＰフレーム３３の３種類が設定されている。この３種類の画像は、圧縮のための画像の性質によって異なるものである。
Three types of image information are set: an
すなわち、Ｉフレーム３１は、フレーム（画面）内符号化によって得られる画像を示す。このＩフレーム３１は、１つのＩフレーム３１の画像情報のみで復号できる基準フレームであり、原画像の順序と同じように符号化する。
That is, the
Ｂフレーム３２は、双予測符号化によって得られる画像を示す。この双予測符号化は、進行方向の前後からの差分の画像であり、Ｉフレーム３１とＰフレーム３３間に符号化して挿入される。
The
Ｐフレーム３３は、フレーム（画面）間順方向予測符号化によって得られる画像を示す。このＰフレーム３３は、進行方向の手前のＩフレーム３１かＰフレーム３３からの差分の画像であり、原画像の順序と同じように符号化される。
このＩフレーム３１、Ｂフレーム３２、Ｐフレーム３３の３種類の画像情報を復号して連続再生することにより、なめらかな動画再生とデータ量の圧縮とを実現している。
By decoding and continuously reproducing the three types of image information of the
図２（Ｂ）は、複数台のカメラと、ユーザの視点位置の変化と時間経過を示す視点移動説明図である。
図中の上下方向に並ぶＶｉｅｗ１〜Ｖｉｅｗ１１は、カメラを示している。この図示の例では、１１台のカメラが横並びに配置されている。なお、例えば、Ｖｉｅｗ１，３，５，７，９，１１と間をあけてカメラを配置し、その間の視点での画像（間画像）を合成や補正等によって作成する間画像算出手段を有する構成としてもよい。この場合、間画像算出手段は、視点間を補完する視点間補完画像を間画像として取得する構成にすればよい。
FIG. 2B is an explanatory diagram of viewpoint movement showing a plurality of cameras, a change in the viewpoint position of the user, and the passage of time.
図中の矢印Ｙは、視点が移動する経路を示している。ユーザが歩きながら横移動等をして視点を変えるといった状況を想定した場合、この図に示すように、視点は、時間経過に伴ってなだらかに連続的に移動する。 An arrow Y in the figure indicates a path along which the viewpoint moves. Assuming a situation in which the user changes the viewpoint by moving sideways while walking, as shown in this figure, the viewpoint moves smoothly and continuously over time.
図２（Ｃ）は、画像圧縮の工夫を説明する説明図である。複数視点の画像情報の場合、図２（Ａ）に示したように、通常は全視点、全タイミングの画像情報が必要となる。 FIG. 2C is an explanatory diagram for explaining a technique for image compression. In the case of multi-viewpoint image information, as shown in FIG. 2A, image information of all viewpoints and all timings is usually required.
しかし、図２（Ｂ）に示したように移動範囲が限られることを考えれば、図２（Ｃ）に示すように、左上のＩフレーム３１を起点とすると、その下方の三角形の領域３５ａは、視点となり得ない領域となる。したがって、少なくともこの領域の画像情報は、任意視点での連続した画像情報の再生には不要となる。
However, considering that the movement range is limited as shown in FIG. 2 (B), as shown in FIG. 2 (C), if the upper left I-
同様に、図２（Ｄ）に示すように左端の上下方向中央位置のＩフレーム３１を起点とする場合、Ｉフレーム３１から時間経過とともに視点が離れていく斜め方向より手前側（図示左側）の領域３５ｂ，３５ｃの画像情報は不要となる。
Similarly, as shown in FIG. 2D, when starting from the
ここで、Ｂフレーム３２およびＰフレーム３３は、差分の画像情報であるため、その差分の基礎となる画像情報が必要になる。そして、図２（Ａ）に示した参照状態で上述した領域３５（３５ａ，３５ｂ，３５ｃ）の画像情報を削除すると、差分の参照元画像が存在しないために正しく復号できない。
Here, since the
このため、図２（Ｃ）および図２（Ｄ）に示すように、領域３５の傾斜ライン３６（３６ａ，３６ｂ，３６ｃ）の外側に並ぶフレームについては、図に矢印で示すように斜め方向に参照する差分画像とする。これにより、領域３５の画像情報を削除しても復号できる。 Therefore, as shown in FIGS. 2C and 2D, the frames arranged outside the inclined line 36 (36a, 36b, 36c) of the region 35 are inclined as shown by the arrows in the figure. The difference image to be referred to. Thereby, even if the image information in the area 35 is deleted, it can be decoded.
図３（Ａ）は、必要な画像情報をさらに絞り込むための概念を示している。図示するように、時間経過の範囲Ｗ（Ｗ１，Ｗ２）を所定範囲に区切り、この範囲Ｗ単位で上述した不要な領域３５を削除して、三角形の必要領域４１（４１ａ，４１ｂ）のフレームのみで１つのグループとしている。このグループの画像情報を全て含めてグループ画像情報ＧＧＯＰとする。 FIG. 3A shows a concept for further narrowing down the necessary image information. As shown in the figure, the time lapse range W (W1, W2) is divided into predetermined ranges, and the unnecessary area 35 is deleted in units of the range W, and only the frames of the triangular necessary area 41 (41a, 41b) are displayed. One group. All the image information of this group is included as group image information GGOP.
ここで、図示するように、範囲Ｗは、時間経過における前端の頂点４２が、時間経過における後端の底辺４３より時間経過の過去となる前段側（図示左側）に位置し、換言すれば必要領域４１の内側に位置する。
Here, as shown in the drawing, the range W is located on the front side (the left side in the drawing) where the apex 42 at the front end in the passage of time is past the bottom 43 of the rear end in the passage of time, in other words, necessary. Located inside the
このため、連続する範囲Ｗは、図示の範囲Ｗ１，Ｗ２に示すように重複部分が生じる。このため、時間経過の後段側の範囲Ｗ２に対応する必要領域４１ｂのうち、図形的に範囲Ｗ１との重複部分を除いた台形の領域を転送すべき必要領域４４としている。
For this reason, as shown in the illustrated ranges W1 and W2, overlapping portions occur in the continuous range W. For this reason, of the
図３（Ｂ）は、処理時間の遅延を示している。図中の（Ｂ１）に示す画像情報の取得から、（Ｂ２）に示す符号化遅延、および（Ｂ３）に示す復号遅延が生じ、表示された後に、視点移動の変更（入力）を発するため、これらの遅延時間が経過してから画像表示に視点移動が反映される。 FIG. 3B shows a processing time delay. In order to issue a change (input) of the viewpoint movement after the display of the encoding delay shown in (B2) and the decoding delay shown in (B3) occurs from the acquisition of the image information shown in (B1) in the figure. After these delay times have elapsed, the viewpoint movement is reflected in the image display.
図３（Ｃ）は、必要領域４１ｂのうち重複部分より後段側のフレームで構成される転送必要領域４４を示している。図示するように、転送必要領域４４には、Ｉフレーム３１、Ｂフレーム３２、およびＰフレーム３３が全て存在している。特に、Ｉフレーム３１が必ず１つは存在するように構成される。これにより、通信や復号等で前後の画像グループにエラーが生じた場合でも、Ｉフレーム３１を用いて単独で画像グループの表示を行うことができる。
FIG. 3C shows a transfer required
図４は、視点移動と、その視点移動の数値化を説明する説明図である。図４（Ａ）に示すように、タイムが１経過すると視点画像（ビュー）が１移動する場合、フレームレートｆ＝スイッチスピードｓとなり、このフレームレートｆをスイッチスピードｓで除算した値の床関数の整数部分である移動レベルｋは１となる。 FIG. 4 is an explanatory diagram for explaining viewpoint movement and quantification of the viewpoint movement. As shown in FIG. 4A, when the viewpoint image (view) moves by 1 when time passes, the frame rate f = switch speed s, and the floor function is a value obtained by dividing the frame rate f by the switch speed s. The movement level k which is the integer part of is 1.
図４（Ｂ）に示すように、タイムが２経過すると視点画像が１移動する場合、フレームレートｆはスイッチスピードｓの２倍（ｆ＝２ｓ）となり、移動レベルｋは２となる。 As shown in FIG. 4B, when the viewpoint image moves by 1 when the time has elapsed, the frame rate f is twice the switch speed s (f = 2s), and the movement level k is 2.
図４（Ｃ）に示すように、タイムが１経過すると視点画像が２移動する場合、フレームレートｆはスイッチスピードｓの半分（ｆ＝ｓ／ｓ）となり、移動レベルｋは０となる。 As shown in FIG. 4C, when the viewpoint image moves two times when the time has elapsed, the frame rate f becomes half of the switch speed s (f = s / s), and the movement level k becomes zero.
図５は、時刻（ｔ）で表示すべきフレームＦｉ，ｊ（ｔ）を求める計算式と、時刻（ｔ）で表示される可能性のある範囲を示すＲｉ，ｊ’（ｔ）を求める計算式の説明図である。 FIG. 5 shows a calculation formula for obtaining a frame Fi, j (t) to be displayed at time (t) and a calculation for obtaining Ri, j ′ (t) indicating a range that may be displayed at time (t). It is explanatory drawing of a type | formula.
図５（Ａ）に示すように、まず表示経路Ｎは、Ｎ（ｐ，ｆ，Ｓｒ，Ｔ）で表すことができる。ここで、Ｓｒは図中でＳの上に矢印を記載したものを表している。 As shown in FIG. 5A, first, the display path N can be represented by N (p, f, Sr, T). Here, Sr represents an arrow on S in the drawing.
ｐは、初期位置であるＦｉ０，ｊ０を示す。
ｆは、フレームレートを示す。
Ｓｒは、方向と速度を含むスイッチベクトルリストを示す。
Ｔは、Ｓｒに対応するタイムリストを示す。
p indicates Fi0, j0 which is the initial position.
f indicates a frame rate.
Sr indicates a switch vector list including direction and speed.
T indicates a time list corresponding to Sr.
図５（Ｂ）に示すように、時刻ｔで表示されるべきフレームＦｉ，ｊ（ｔ）は、上記表示経路Ｎを表す各変数ｆ，ｔ，Ｓｒおよび初期位置のｉ０，ｊ０を用いて算出することができる。 As shown in FIG. 5B, the frame Fi, j (t) to be displayed at the time t is calculated using the variables f, t, Sr representing the display path N and the initial positions i0, j0. can do.
図５（Ｃ）に示すように、視点移動によって表示される可能性のある予測範囲Ｎ’は、Ｎ’（ｐ，ｆ，ｓ）で表すことができる。 As shown in FIG. 5C, the prediction range N ′ that may be displayed by moving the viewpoint can be represented by N ′ (p, f, s).
ｐは、初期位置であるＦｉ０，ｊ０を示す。
ｆは、フレームレートを示す。
ｓは、最大スイッチスピードを示す。
p indicates Fi0, j0 which is the initial position.
f indicates a frame rate.
s indicates the maximum switch speed.
図５（Ｄ）に示すように、時刻ｔで表示される可能性のある予測範囲Ｒｉ，ｊ’（ｔ）は、上記予測範囲Ｎ’を表す各変数ｆ，ｔ，ｓおよび初期位置のｉ０，ｊ０を用いて算出することができる。なお、式中のＭは、多視点映像における映像番号を示す。 As shown in FIG. 5D, the prediction range Ri, j ′ (t) that may be displayed at time t is the variables f, t, s representing the prediction range N ′ and i0 of the initial position. , J0 can be used for calculation. Note that M in the equation represents a video number in a multi-view video.
図６は、予測範囲Ｎ’を用いて、必要フレームＰＦｓと不要フレームＲＦｓの比率を求める計算式の説明図である。 FIG. 6 is an explanatory diagram of a calculation formula for obtaining the ratio between the necessary frame PFs and the unnecessary frame RFs using the prediction range N ′.
図６（Ａ）に示すように、視点ｊにおける必要フレームＰＦｓは、視点Ｊから初期視点Ｊ０を除算した絶対値に移動レベルｋを乗算した値となる。 As shown in FIG. 6A, the necessary frame PFs at the viewpoint j is a value obtained by multiplying the absolute value obtained by dividing the initial viewpoint J0 from the viewpoint J by the movement level k.
図６（Ｂ）に示すように、視点ｊの不要フレームＲＦｓの数は、範囲長さＬと前記必要フレームＰＦｓのうち小さいものとなり、これをＥ（ｊ）で表す。 As shown in FIG. 6B, the number of unnecessary frames RFs at the viewpoint j is the smaller of the range length L and the necessary frames PFs, and this is represented by E (j).
図６（Ｃ）に示すように、各範囲の不要フレームＲＦｓの数は、このＥ（ｊ）をｊ＝１からｊ＝視点の数Ｍまで合計して求められる。 As shown in FIG. 6C, the number of unnecessary frames RFs in each range is obtained by summing E (j) from j = 1 to j = the number M of viewpoints.
そして、図６（Ｄ）に示すように、必要フレームＰＦｓと不要フレームＲＦｓの比率Ｒは、ＭにＬを乗算した値からｊ＝１からｊ＝ＭまでのＥ（ｊ）の合計値を除算し、その値からｊ＝１からｊ＝ＭまでのＥ（ｊ）の合計値を除算して求められる。 As shown in FIG. 6D, the ratio R between the necessary frame PFs and the unnecessary frame RFs is obtained by dividing the total value of E (j) from j = 1 to j = M by multiplying L by M. Then, the total value of E (j) from j = 1 to j = M is divided from the value.
図７は、操作表示端末３の制御手段がプログラムに従って各機能ブロックにより実行する視点送信表示処理の動作を示すフローチャートである。
FIG. 7 is a flowchart showing the operation of the viewpoint transmission display process executed by each functional block according to the program by the control means of the
視点位置検出器１１により視点移動を検出すると（ステップＳ１：Ｙｅｓ）、操作表示端末３は、視点切替部１２、視点移動履歴部１３、および視点切替速度算定部１４を介して視点情報を通信装置１５によって映像配信サーバ５へ送信する（ステップＳ２）。
When the viewpoint movement is detected by the viewpoint position detector 11 (step S1: Yes), the
このとき送信する視点情報は、例えば現在の視点位置を示す座標（ｉ，ｊ）、および移動レベルｋとすることができる。
また、操作表示端末３は、視点切替部１２から多視点映像復号化部１６にも視点情報を送信する。この送信は、表示する画像を定めるためのものである。
The viewpoint information transmitted at this time can be, for example, the coordinates (i, j) indicating the current viewpoint position and the movement level k.
The
操作表示端末３は、映像配信サーバ５からグループ画像情報ＧＧＯＰを受信すると（ステップＳ３：Ｙｅｓ）、ＲＡＭ等の記憶部に一時記憶する(ステップＳ４)。
When receiving the group image information GGOP from the video distribution server 5 (step S3: Yes), the
操作表示端末３は、次フレームを表示するタイミングであれば（ステップＳ５）、グループ画像情報ＧＧＯＰのうち表示するフレーム画像を決定する（ステップＳ６）。この表示するフレーム画像は、直前の視点位置を示す座標（ｉ，ｊ）と、移動レベルｋとによって定まる。
If it is the timing for displaying the next frame (step S5), the
すなわち、例えば図４（Ａ）に示したようにｋ＝１であれば、時刻が一つ先（図示右側）で視点方向（図示下方）に一つ移動した斜め方向のフレームのフレーム画像に決定する。図４（Ｂ）に示したようにｋ＝２であれば、時刻が一つ先のフレームか、またはそのフレームから視点方向に一つ移動した斜め方向のフレームのフレーム画像に決定する。 That is, for example, as shown in FIG. 4A, if k = 1, the time is determined to be a frame image of an oblique frame that is moved one point in the view direction (downward in the figure) one time ahead (right side in the figure). To do. If k = 2 as shown in FIG. 4B, the frame time is determined to be the next frame, or the frame image of the frame in the oblique direction moved by one in the viewpoint direction from that frame.
このフレーム画像を表示するタイミングか否かは、時間経過とフレームレートｆとに基づいて定めるなど、連続する画像を表示する適宜のタイミングに定めるとよい。 Whether or not it is the timing to display this frame image may be determined at an appropriate timing for displaying continuous images, for example, based on the passage of time and the frame rate f.
操作表示端末３は、ステップＳ６で表示対象に定めたフレーム画像を表示装置１７に表示する。
The
操作表示端末３は、不要なフレーム画像があればＲＡＭ等の一時記憶部から削除する（ステップＳ８）。この削除は、例えばグループ画像情報ＧＧＯＰ単位で実行し、表示しているフレームの位置が次のグループ画像情報ＧＧＯＰに入れば、それまで使用していたグループ画像情報ＧＧＯＰを削除するように実行すればよい。これにより、画面表示に必要で参照しなければならないフレーム画像（Ｉフレーム３１、Ｂフレーム３２、Ｐフレーム３３）は残しておき、参照されなくなったフレーム画像を削除することができる。
If there is an unnecessary frame image, the
ステップＳ５で次フレームを表示するタイミングでなければ（ステップＳ：Ｎｏ）、ステップＳ９に処理を進める。
操作表示端末３は、終了されなければ（ステップＳ９：Ｎｏ）、ステップＳ１に処理を戻して繰り返し、終了されれば（ステップＳ９：Ｙｅｓ）終了する。
If it is not time to display the next frame in step S5 (step S: No), the process proceeds to step S9.
If the
図８は、映像配信サーバ５の制御手段がプログラムに従って各機能ブロックにより実行するグループ画像情報作成送信処理の動作を示すフローチャートである。
映像配信サーバ５は、操作表示端末３から視点情報を受信すると（ステップＳ１１：Ｙｅｓ）、受信した視点情報をメモリ等に一時記憶する（ステップＳ１２）。
FIG. 8 is a flowchart showing the operation of the group image information creation / transmission process executed by each functional block according to the program by the control means of the
When receiving the viewpoint information from the operation display terminal 3 (step S11: Yes), the
映像配信サーバ５は、所定条件か否かを判定する（ステップＳ１３）。ここで、所定条件とは、新たな視点位置のグループ画像情報ＧＧＯＰを送信するタイミングになったか否か判定できる条件とすることができる。
The
例えば、図３（Ａ）に示した例であれば、１回目のグループ画像情報ＧＧＯＰのフレームレートｆが６で移動レベルｋが２であり、２回目のグループ画像情報ＧＧＯＰの頂点の位置は５フレーム目に位置する。フレーム４３のタイミングで視点位置情報を取得した場合、この５フレーム目での視点位置を頂点４２とする三角形の必要領域４１ｂが定まる。そして、この必要領域４１ｂから１回目の必要領域４１ａとの重複部分を除いた台形状の転送必要領域４４が定まる。従って、現在表示中のフレーム画像が存在しているグループ画像情報ＧＧＯＰ（必要領域４１若しくは転送必要領域４４）において、表示しているフレーム画像が次の転送必要領域４４が定まる次転送領域確定フレームにまで進んだタイミングを、次のグループ画像情報ＧＧＯＰを送信するタイミング、すなわち所定条件とする。
For example, in the example shown in FIG. 3A, the frame rate f of the first group image information GGOP is 6, the movement level k is 2, and the vertex position of the second group image information GGOP is 5 Located in the frame. When the viewpoint position information is acquired at the timing of the
映像配信サーバ５は、所定条件にならなければ（ステップＳ１３：Ｎｏ）ステップＳ１９へ処理を進め、所定条件になれば（ステップＳ１３：Ｙｅｓ）、基準視点を決定する（ステップＳ１４）。このとき決定する基準視点は、上述した次転送領域確定フレームのタイミングで表示するフレーム画像の座標（ｉ，ｊ）とするとよい。
If the predetermined condition is not satisfied (step S13: No), the
映像配信サーバ５は、決定した基準視点と、移動レベルｋ（最大視点切替速度）とに基づいて、三角形の必要領域４１を決定する（ステップＳ１５）。この必要領域４１は、基準視点の座標（ｉ，ｊ）を頂点として時間の進行方向に末広がりな二等辺三角形をなし、この二等辺三角形の斜面の角度が移動レベルｋによって定められているものである。
The
映像配信サーバ５は、この必要領域４１と、現在のグループ画像情報ＧＧＯＰの最終時点のフレーム位置（図３（Ａ）の例では６フレーム目）に基づいて、重複部分を除いた台形状の転送必要領域４４を決定する（ステップＳ１６）。
The
映像配信サーバ５は、転送必要領域４４のグループ画像情報ＧＧＯＰを取得する（ステップＳ１７）。このグループ画像情報ＧＧＯＰは、台形状の転送必要領域４４に含まれているフレーム画像の集合であり、Ｉフレーム３１、Ｂフレーム３２、およびＰフレーム３３が含まれている。
The
このグループ画像情報ＧＧＯＰの取得は、多視点映像入力装置２４から取得した画像からその都度Ｉフレーム３１、Ｂフレーム３２、およびＰフレーム３３を求める構成とするとよい。このとき、三角形の必要領域４１における斜辺に存在するＢフレーム３２、およびＰフレーム３３については、前後の参照を時間軸のまっすぐ前後ではなく、図２（Ｃ），（Ｄ）とともに説明したとおり斜辺に沿った前後とするようにしている。
The group image information GGOP may be acquired by obtaining the
映像配信サーバ５は、生成したグループ画像情報ＧＧＯＰを操作表示端末３に送信する（ステップＳ１８）。
The
映像配信サーバ５は、終了でなければ(ステップＳ１９：Ｎｏ)、ステップＳ１１に処理を戻し、終了であれば（ステップＳ１９：Ｙｅｓ）、処理を終了する。
If the
以上の構成および動作により、ユーザが任意に視点を変更すると、その視点の移動に追従して動画再生する画像の視点を変化させるリアリティの高い映像表示システムを提供することができる。 With the above configuration and operation, it is possible to provide a highly realistic video display system that changes the viewpoint of an image to be played back by moving the viewpoint when the user arbitrarily changes the viewpoint.
図９（Ａ）の説明図に示すように、画像情報の転送の際、ユーザの視点位置４０の視点移動の可能性がある範囲に限ってフレーム画像５０をグループ化したグループ画像情報ＧＧＯＰ単位で行い、それ以外の領域に存在するフレーム画像を転送しないため、転送データ量を必要最小限にするとともに、操作表示端末３での視点移動に追従して視点の異なる画像を連続的に表示する動作をスムーズに実行することができる。すなわち、視点移動に伴って必要となり得る範囲のフレーム画像は全て操作表示端末３に転送されているため、スムーズな再生が可能となる。
As shown in the explanatory diagram of FIG. 9A, when image information is transferred, the group image information GGOP is obtained by grouping
グループ画像情報ＧＧＯＰの範囲を定める際に、頂点４２の位置を前のグループ画像情報ＧＧＯＰの範囲内に定めているため、表示するフレーム画像が途切れるということがなく、連続してグループ画像情報ＧＧＯＰを送信することができる。
When determining the range of the group image information GGOP, since the position of the
また、視点移動が行われていても、その移動後の視点位置に基づいてグループ画像情報ＧＧＯＰの頂点４２が定まるため、視点移動に追従するためのフレーム画像が存在しないということを防止できる。
Further, even if the viewpoint is moved, the
また、グループ画像情報ＧＧＯＰの各フレーム画像は、隣接するカメラの映像情報からの差分圧縮を行ってＢフレーム３２やＰフレーム３３を用いて符号化することで、転送する際の全体のデータ容量を削減することができる。
In addition, each frame image of the group image information GGOP is subjected to differential compression from the video information of the adjacent camera and encoded using the
また、グループ画像情報ＧＧＯＰ内に１つはＩフレーム３１を存在させていることにより、ＧＧＯＰ間の再生途中でエラーが生じても当該Ｉフレーム３１に基づいて表示映像を継続させることができる。
In addition, since one
したがって、エラー後に不適切な画像が表示され続けることを防止でき、エラーの後も適宜自動的に次のＧＧＯＰで修正して適切な画像を継続表示していくことができる。 Accordingly, it is possible to prevent an inappropriate image from being continuously displayed after an error, and it is possible to automatically display an appropriate image continuously after the error by appropriately correcting it with the next GGOP.
なお、以上の実施形態では、複数台のカメラを横並びに設置しておき、ユーザが横方向に視点を移動可能にすることを想定しているが、これに限らず視点移動可能な適宜の構成とすることができる。 In the above embodiment, it is assumed that a plurality of cameras are installed side by side so that the user can move the viewpoint in the horizontal direction. It can be.
例えば、図９（Ｂ）に示すように、３６０度の全方位の映像情報を取得できる広角の全方位カメラでの広角撮影画像５１を使用し、この撮影画像を画像加工して３６０度のパノラマ画像５２とし、このパノラマ画像５２のどの領域を表示するか視点移動によって任意に選択できるようにしてもよい。この場合、パノラマ画像５２のうち、利用者が見たいと思う領域５３を視点移動に伴って移動する構成にすればよい。
For example, as shown in FIG. 9B, a wide-angle captured
この場合でも、複数の領域５３の画像を、複数台のカメラでそれぞれ撮影しているカメラ別画像のようにとらえ、視点移動に追従して表示する画像の視点を変更することができる。
Even in this case, it is possible to change the viewpoint of the image to be displayed following the movement of the viewpoint by capturing the images of the plurality of
また、対象物の周囲を囲むように複数台のカメラを配置し、この各カメラからの映像を多視点映像として取得する構成にしてもよい。この場合、対象物の周りを移動するように視点移動して様々な角度から対象物を視認することができ、対象物の追尾を実施できる。 Further, a configuration may be adopted in which a plurality of cameras are arranged so as to surround the periphery of the object, and images from the respective cameras are acquired as multi-view images. In this case, the viewpoint can be moved so as to move around the object, the object can be viewed from various angles, and the object can be tracked.
また、視点移動の入力は、ユーザが歩く方向や顔を向ける方向を全方位カメラや通常のカメラ等で撮影して画像処理によって視点の方向と移動を検出する構成にする、利用者が体を右に寄せるか左に寄せるかによって右移動と左移動を切り替える構成にする、あるいはマウスやタッチパネルや方向キーといった適宜の入力手段により移動方向と移動速度を入力させるなど、適宜の方法によって実行することができる。 In addition, the input of the viewpoint movement is configured such that the user walks and faces the face with an omnidirectional camera or a normal camera and detects the direction and movement of the viewpoint by image processing. Execute by an appropriate method, such as switching between right and left movements depending on whether it moves to the right or left, or by inputting the moving direction and moving speed using appropriate input means such as a mouse, touch panel, or direction key. Can do.
これにより、人の視点位置（ビューポイント）をリアルタイムに検出し、そのビューポイントに最適な映像情報を送出して、リアルな間隔で詳細な３Ｄ映像をも再現することができる。 Accordingly, it is possible to detect a person's viewpoint position (viewpoint) in real time, transmit video information optimum for the viewpoint, and reproduce a detailed 3D video at realistic intervals.
また、上述した操作表示端末３と映像配信サーバ５の代わりに、図９（Ｃ）のブロック図に示すクライアント端末７０とサーバ８０を備える構成にしてもよい。
この場合、クライアント端末７０は、視点検出装置７１と、視点位置移動入力部７２と、視点情報送信部７３と、視点画像表示部７５と、Ｇ視点画像受信部７６と、視点画像表示装置７９とで構成してもよい。この場合、視点検出装置７１で視点を検出し、視点位置移動入力部７２で視点の移動を入力し、視点情報送信部７３でサーバ８０に視点情報を送信すればよい。また、Ｇ視点画像受信部７６で前記サーバ８０からＧ視点画像情報を受信し、視点画像表示部７５が、前記視点情報送信部７３から受信した視点情報と前記Ｇ視点画像情報に基づいて視点画像表示装置７９に視点画像を表示すればよい。
Further, instead of the
In this case, the
また、サーバ８０は、視点情報取得部８１と、視点移動範囲決定部８２と、画像情報取得部８３と、Ｇ視点画像伝送部８４とで構成してもよい。この場合、視点情報取得部８１でクライアント端末７０から視点情報を取得し、視点移動範囲決定部８２で視点移動の可能性がある所定範囲を決定し、画像入力装置８７から必要な画像情報を取得し、Ｇ視点画像伝送部８４で前記所定範囲の画像情報をクライアント端末７０に送信するとよい。
このように構成した場合でも、上述した実施例と同一の作用効果を奏することができる。
Further, the
Even when configured in this manner, the same operational effects as those of the above-described embodiments can be obtained.
この発明の構成と、上述の実施形態との対応において、
この発明の視点連動画像表示システムは、実施形態の移動視点映像表示システム１に対応し、
以下同様に、
クライアント端末は、操作表示端末３に対応し、
サーバおよびコンピュータは、映像配信サーバ５に対応し、
視点位置移動入力手段は、視点位置検出器１１に対応し、
視点情報送信手段は、ステップＳ２を実行する通信装置１５に対応し、
グループ視点画像受信手段は、ステップＳ３を実行する通信装置１５に対応し、
視点画像表示手段は、表示装置１７に対応し、
グループ視点画像伝送手段は、ステップＳ１８を実行する配信制御部２１に対応し、
視点情報取得手段は、ステップＳ１１を実行する配信制御部２１に対応し、
視点移動範囲決定手段は、ステップＳ１４〜Ｓ１６を実行する配信制御部２１に対応し、
画像情報取得手段は、多視点映像入力装置２４に対応し、
視点移動範囲は、必要領域４１に対応し、
所定範囲は、転送必要領域４４に対応し、
グループ視点画像は、グループ画像情報ＧＧＯＰに対応し、
現在視点位置情報および視点位置は、座標（ｉ，ｊ）に対応し、
視点情報は、座標（ｉ，ｊ）および移動レベルｋに対応し、
最大視点切替範囲情報は、許容する最大の視点切替時の移動レベルｋに対応し、
時間範囲情報は、フレーム数に対応し、
所定時間単位は、６フレーム分の時間単位に対応し、
重複する部分は、必要領域４１ａと必要領域４１ｂの重複部分に対応し、
視点の異なる複数の入力画像は、Ｖｉｅｗ１〜Ｖｉｅｗ１１の撮影画像に対応し、
視点連動画像表示用プログラムは、ステップS11〜S19を実行するプログラムに対応し、
画像情報は、画像情報およびフレーム画像に対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
In correspondence between the configuration of the present invention and the above-described embodiment,
The viewpoint linked image display system of the present invention corresponds to the moving viewpoint
Similarly,
The client terminal corresponds to the
The server and the computer correspond to the
The viewpoint position movement input means corresponds to the
The viewpoint information transmission means corresponds to the
The group viewpoint image receiving means corresponds to the
The viewpoint image display means corresponds to the
The group viewpoint image transmission means corresponds to the
The viewpoint information acquisition unit corresponds to the
The viewpoint movement range determination means corresponds to the
The image information acquisition means corresponds to the multi-view
The viewpoint movement range corresponds to the
The predetermined range corresponds to the transfer required
The group viewpoint image corresponds to the group image information GGOP,
The current viewpoint position information and viewpoint position correspond to coordinates (i, j),
The viewpoint information corresponds to the coordinates (i, j) and the movement level k,
The maximum viewpoint switching range information corresponds to the movement level k at the maximum allowable viewpoint switching,
The time range information corresponds to the number of frames,
The predetermined time unit corresponds to a time unit of 6 frames,
The overlapping part corresponds to the overlapping part of the
A plurality of input images with different viewpoints correspond to the captured images of View1 to View11,
The viewpoint linked image display program corresponds to the program that executes steps S11 to S19,
Image information corresponds to image information and frame images,
The present invention is not limited only to the configuration of the above-described embodiment, and many embodiments can be obtained.
この発明は、遠隔地から視点を移動させて対象物や対象風景等を動画で視認する様々なシステムに利用することができ、例えば、遠隔医療システム、３Ｄゲームシステム、映像監視システム、水族館や動物園などのバーチャル鑑賞システム等、適宜の用途に使用することができる。また、全体の超広域映像を録画したデータから、対象物を追尾するシステム（海上の全方位映像、航空写真からの対象物の映像を追尾するシステム）に応用することや、録画データのトラッキングを目的に再エンコーディングしてネットワーク越しで遠隔再生するシステムに応用することもできる。 The present invention can be used in various systems in which an object or a landscape is visually recognized by moving a viewpoint from a remote place, for example, a telemedicine system, a 3D game system, a video monitoring system, an aquarium or a zoo. It can be used for appropriate applications such as virtual appreciation systems. Also, it can be applied to a system that tracks the object from the data that records the entire ultra wide area video (system that tracks the image of the object from the omnidirectional image and aerial photograph at sea) and tracking of the recorded data. It can also be applied to a system that re-encodes for the purpose and plays back remotely over a network.
１…移動視点映像表示システム、３…操作表示端末、５…映像配信サーバ、１１…視点位置検出器、１５…通信装置、１７…表示装置、２１…配信制御部、２４…多視点映像入力装置、４０…視点位置、４１，４１ａ，４１ｂ…必要領域、４４…転送必要領域、５０…フレーム画像、ＧＧＯＰ…グループ画像情報、ｋ…移動レベル
DESCRIPTION OF
Claims (6)
前記サーバと通信可能なクライアント端末とを備え、
前記サーバは、
視点位置の情報である視点情報を取得する視点情報取得手段と、
前記視点位置の移動範囲を決定する視点移動範囲決定手段と、
前記視点移動範囲決定手段により決定した視点移動範囲に基づく所定範囲の各視点位置から観た各視点画像をグループ視点画像として伝送するグループ視点画像伝送手段とを備え、
前記クライアント端末は、
前記視点位置の移動入力を許容する視点位置移動入力手段と、
前記視点位置移動入力手段で入力された視点位置の視点情報を前記サーバへ送信する視点情報送信手段と、
前記グループ視点画像を前記サーバから受信するグループ視点画像受信手段と、
前記グループ視点画像に基づいて前記視点位置移動入力手段で入力された視点位置に対応する視点画像を表示する視点画像表示手段とを備えた
視点連動画像表示システム。 A server having image information acquisition means for acquiring image information;
A client terminal capable of communicating with the server,
The server
Viewpoint information acquisition means for acquiring viewpoint information which is information of the viewpoint position;
Viewpoint movement range determining means for determining a movement range of the viewpoint position;
Group viewpoint image transmission means for transmitting each viewpoint image viewed from each viewpoint position within a predetermined range based on the viewpoint movement range determined by the viewpoint movement range determination means, as a group viewpoint image,
The client terminal is
Viewpoint position movement input means for allowing movement input of the viewpoint position;
Viewpoint information transmission means for transmitting viewpoint information of the viewpoint position input by the viewpoint position movement input means to the server;
Group viewpoint image receiving means for receiving the group viewpoint image from the server;
A viewpoint linked image display system comprising viewpoint image display means for displaying a viewpoint image corresponding to the viewpoint position input by the viewpoint position movement input means based on the group viewpoint image.
現在の視点位置を示す現在視点位置情報と、
時刻の経過に伴って視点を切替可能な視点切替範囲を示す最大視点切替範囲情報と、
時刻経過に伴って画像の表示切替をしていく時間範囲情報とで定められる
請求項１記載の視点連動画像表示システム。 The predetermined range is
Current viewpoint position information indicating the current viewpoint position;
Maximum viewpoint switching range information indicating a viewpoint switching range in which viewpoints can be switched over time, and
The viewpoint-linked image display system according to claim 1, which is defined by time range information for switching display of an image as time passes.
前記現在の視点位置を基点にして時間進行に伴って範囲が広くなる末広がり形状の少なくとも末側の範囲である
請求項２記載の視点連動画像表示システム。 The predetermined range is
3. The viewpoint-linked image display system according to claim 2, wherein the range is a range at least on the end side of a divergent shape whose range becomes wider as time progresses with respect to the current viewpoint position.
前記グループ視点画像伝送手段は、
前回送信時の所定範囲と今回送信時の所定範囲に重複がある場合、重複する部分の視点画像を除いて送信する構成である
請求項１、２または３記載の視点連動画像表示システム。 The predetermined range is configured to determine a plurality of predetermined time units,
The group viewpoint image transmission means includes:
4. The viewpoint-linked image display system according to claim 1, 2 or 3, wherein when there is an overlap between a predetermined range at the previous transmission and a predetermined range at the current transmission, the overlapping portion of the viewpoint image is excluded.
前記画像情報取得手段により視点の異なる複数の入力画像を取得する構成であり、
前記各入力画像の間の視点での画像である間画像を前記入力画像に基づく演算により算出する間画像算出手段を備えた
請求項１から４のいずれか１つに記載の視点連動画像表示システム。 The server
The image information acquisition unit is configured to acquire a plurality of input images having different viewpoints,
5. The viewpoint-linked image display system according to claim 1, further comprising an inter-image calculation unit that calculates an inter-image that is an image at a viewpoint between the input images by an operation based on the input image. .
画像情報を取得する画像情報取得手段と、
視点位置の情報である視点情報を取得する視点情報取得手段と、
前記視点位置の移動範囲を決定する視点移動範囲決定手段と、
前記視点移動範囲決定手段により決定した視点移動範囲に基づく所定範囲の各視点位置から観た各視点画像をグループ視点画像として伝送するグループ視点画像伝送手段として機能させる
視点連動画像表示用プログラム。 Computer
Image information acquisition means for acquiring image information;
Viewpoint information acquisition means for acquiring viewpoint information which is information of the viewpoint position;
Viewpoint movement range determining means for determining a movement range of the viewpoint position;
A viewpoint linked image display program that functions as group viewpoint image transmission means for transmitting each viewpoint image viewed from each viewpoint position in a predetermined range based on the viewpoint movement range determined by the viewpoint movement range determination means as a group viewpoint image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010238701A JP2012094990A (en) | 2010-10-25 | 2010-10-25 | Image display system associating with view point |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010238701A JP2012094990A (en) | 2010-10-25 | 2010-10-25 | Image display system associating with view point |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012094990A true JP2012094990A (en) | 2012-05-17 |
Family
ID=46387889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010238701A Pending JP2012094990A (en) | 2010-10-25 | 2010-10-25 | Image display system associating with view point |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012094990A (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101350915B1 (en) * | 2013-06-27 | 2014-02-18 | 주식회사 넥스트이온 | Multi-view video steaming system and providing method thereof |
| JP2014072608A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Information processing system, information processing device, display device, and program |
| WO2015012632A1 (en) * | 2013-07-25 | 2015-01-29 | 주식회사 넥스트이온 | Multi-view video streaming system and method for providing same |
| JP2015225529A (en) * | 2014-05-28 | 2015-12-14 | キヤノン株式会社 | Information processing device, information processing method and program |
| JP2016010145A (en) * | 2014-06-23 | 2016-01-18 | パナソニックＩｐマネジメント株式会社 | Video distribution method, video reception method, server, terminal device and video distribution system |
| JP2016507929A (en) * | 2012-12-18 | 2016-03-10 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Real viewpoint video method and apparatus |
| JP2017532918A (en) * | 2014-08-18 | 2017-11-02 | ホー ジョング、グワン | 360 degree spatial image reproduction method and system |
| JP2018506205A (en) * | 2014-12-23 | 2018-03-01 | ノキア テクノロジーズ オーユー | Control virtual reality content |
| US10015551B2 (en) | 2014-12-25 | 2018-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
| US10171794B2 (en) | 2015-04-29 | 2019-01-01 | Panasonic Intellectual Property Management Co., Ltd. | Method for selecting cameras and image distribution system capable of appropriately selecting cameras |
| JP2019012533A (en) * | 2018-08-08 | 2019-01-24 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| US10271082B2 (en) | 2014-04-14 | 2019-04-23 | Panasonic Intellectual Property Management Co., Ltd. | Video distribution method, video reception method, server, terminal apparatus, and video distribution system |
| JP2020524450A (en) * | 2017-06-29 | 2020-08-13 | ４ディーリプレー コリア，インコーポレイテッド | Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof |
| US11223821B2 (en) | 2016-02-03 | 2022-01-11 | Panasonic Intellectual Property Management Co., Ltd. | Video display method and video display device including a selection of a viewpoint from a plurality of viewpoints |
| JP2022007619A (en) * | 2020-06-26 | 2022-01-13 | ＭａｓｔｅｒＶｉｓｉｏｎｓ株式会社 | Image distribution device and image generator and program |
-
2010
- 2010-10-25 JP JP2010238701A patent/JP2012094990A/en active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014072608A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Information processing system, information processing device, display device, and program |
| US10116911B2 (en) | 2012-12-18 | 2018-10-30 | Qualcomm Incorporated | Realistic point of view video method and apparatus |
| JP2016507929A (en) * | 2012-12-18 | 2016-03-10 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Real viewpoint video method and apparatus |
| KR101350915B1 (en) * | 2013-06-27 | 2014-02-18 | 주식회사 넥스트이온 | Multi-view video steaming system and providing method thereof |
| WO2015012632A1 (en) * | 2013-07-25 | 2015-01-29 | 주식회사 넥스트이온 | Multi-view video streaming system and method for providing same |
| US10271082B2 (en) | 2014-04-14 | 2019-04-23 | Panasonic Intellectual Property Management Co., Ltd. | Video distribution method, video reception method, server, terminal apparatus, and video distribution system |
| JP2015225529A (en) * | 2014-05-28 | 2015-12-14 | キヤノン株式会社 | Information processing device, information processing method and program |
| JP2016010145A (en) * | 2014-06-23 | 2016-01-18 | パナソニックＩｐマネジメント株式会社 | Video distribution method, video reception method, server, terminal device and video distribution system |
| JP2017532918A (en) * | 2014-08-18 | 2017-11-02 | ホー ジョング、グワン | 360 degree spatial image reproduction method and system |
| JP2018506205A (en) * | 2014-12-23 | 2018-03-01 | ノキア テクノロジーズ オーユー | Control virtual reality content |
| US10015551B2 (en) | 2014-12-25 | 2018-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
| US10701448B2 (en) | 2014-12-25 | 2020-06-30 | Panasonic Intellectual Property Management Co., Ltd. | Video delivery method for delivering videos captured from a plurality of viewpoints, video reception method, server, and terminal device |
| US10171794B2 (en) | 2015-04-29 | 2019-01-01 | Panasonic Intellectual Property Management Co., Ltd. | Method for selecting cameras and image distribution system capable of appropriately selecting cameras |
| US11223821B2 (en) | 2016-02-03 | 2022-01-11 | Panasonic Intellectual Property Management Co., Ltd. | Video display method and video display device including a selection of a viewpoint from a plurality of viewpoints |
| JP2020524450A (en) * | 2017-06-29 | 2020-08-13 | ４ディーリプレー コリア，インコーポレイテッド | Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof |
| JP2019012533A (en) * | 2018-08-08 | 2019-01-24 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2022007619A (en) * | 2020-06-26 | 2022-01-13 | ＭａｓｔｅｒＶｉｓｉｏｎｓ株式会社 | Image distribution device and image generator and program |
| JP7319228B2 (en) | 2020-06-26 | 2023-08-01 | ＭａｓｔｅｒＶｉｓｉｏｎｓ株式会社 | Image distribution device, image generation device and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012094990A (en) | Image display system associating with view point | |
| US10015527B1 (en) | Panoramic video distribution and viewing | |
| US11706403B2 (en) | Positional zero latency | |
| JP6410918B2 (en) | System and method for use in playback of panoramic video content | |
| EP2490179B1 (en) | Method and apparatus for transmitting and receiving a panoramic video stream | |
| US20170244894A1 (en) | Method and Apparatus for Managing Latency of Remote Video Production | |
| CN113170234B (en) | Adaptive encoding and streaming method, system and storage medium for multi-directional video | |
| US20210407169A1 (en) | Apparatus and method of generating a representation of a virtual environment | |
| US20170125064A1 (en) | Method and Apparatus for Automatic Video Production | |
| US20160198140A1 (en) | System and method for preemptive and adaptive 360 degree immersive video streaming | |
| US20200059675A1 (en) | Image display method and image display apparatus | |
| US10999583B2 (en) | Scalability of multi-directional video streaming | |
| TWI824016B (en) | Apparatus and method for generating and rendering a video stream | |
| US11282169B2 (en) | Method and apparatus for processing and distributing live virtual reality content | |
| JP6512575B2 (en) | Method of distributing or broadcasting three-dimensional shape information | |
| US10601889B1 (en) | Broadcasting panoramic videos from one server to multiple endpoints | |
| EP3742737A2 (en) | Image acquisition system and method | |
| JP2020524450A (en) | Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof | |
| KR20190019407A (en) | Server, method and user device for providing time slice video | |
| KR101922970B1 (en) | Live streaming method for virtual reality contents and system thereof | |
| CN114830674A (en) | Transmitting apparatus and receiving apparatus | |
| WO2022065040A1 (en) | Information processing device, information processing method, and information processing system | |
| KR20180059281A (en) | User device and server for providing time slice video | |
| JP4185013B2 (en) | Moving image reception display method, moving image transmission method, moving image reception display device, moving image transmission device, moving image reception display program, moving image transmission program, and program recording medium thereof | |
| JP2016065958A (en) | Display control system, display control device, and program |