JP2000232659A - Method for processing dynamic image from multi- viewpoint - Google Patents
Method for processing dynamic image from multi- viewpointInfo
- Publication number
- JP2000232659A JP2000232659A JP3218399A JP3218399A JP2000232659A JP 2000232659 A JP2000232659 A JP 2000232659A JP 3218399 A JP3218399 A JP 3218399A JP 3218399 A JP3218399 A JP 3218399A JP 2000232659 A JP2000232659 A JP 2000232659A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- viewpoint
- motion vector
- camera
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、多視点における
動画像の処理方法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for processing a moving image in multiple viewpoints.
【０００２】[0002]
【従来の技術】現在、カメラで撮影された画像を符号化
伝送し、それを受信器側で復号して画像を再生する方式
に対して様々な研究がなされており、ＭＰＥＧ１（Ｍｏ
ｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｏ
ｐ１の略）と言った形で標準化され、実用化されてい
る。これらの研究は、どれも１台のカメラで撮影するこ
とを前提として検討されている。このような動画像の符
号化は、遠方監視装置で現場の様子をリアルタイムで監
視するシステム等に利用されている。このようなシステ
ムを考えた場合、監視する対象物の様子をより詳しく知
るために別の視点からも監視したいという要望が高まっ
てくることが予想される。又、今後バーチャルスタジア
ム（野球等の中継で様々な視点から撮影し、視聴者があ
たかもその場にいるような雰囲気を味わえるようなシス
テム）やマルチメディアへの応用等で異なった視点から
対象物をとらえるため、多視点から対象物を撮影し、そ
れを符号化して伝送することが重要になってくる。現在
の技術で考えられることは、多視点で撮影した映像を独
立にＭＰＥＧ１等を用いて符号化し、伝送することであ
る。2. Description of the Related Art At present, various studies have been made on a method of encoding and transmitting an image photographed by a camera, decoding the image at a receiver side, and reproducing the image.
Ving Picture Experts Group
(abbreviation of p1) has been standardized and put into practical use. All of these studies have been studied on the premise that one camera is used for shooting. Such coding of a moving image is used in a system or the like that monitors the state of a site in real time with a remote monitoring device. When such a system is considered, it is expected that there is an increasing demand for monitoring from another viewpoint in order to know the state of the object to be monitored in more detail. In the future, virtual stadiums (systems that shoot from various viewpoints through live broadcasts of baseball, etc., and allow viewers to enjoy the atmosphere as if they were there) and multimedia applications, etc. Therefore, it is important to capture an object from multiple viewpoints, encode the object, and transmit the encoded object. What can be considered with the current technology is to independently encode and transmit a video shot at multiple viewpoints using MPEG1 or the like.
【０００３】[0003]
【発明が解決しようとする課題】現在、世界標準となっ
ているＭＰＥＧ１（離散コサイン変換（ＤＣＴ）と動き
補償からなる符号化）は、基本的には１台のカメラで撮
影された映像を符号化伝送することを前提としている。
そのため、多視点から撮影された画像をそれぞれ独立に
処理するとなると、かなり符号器側が大規模になってし
まう（ＭＰＥＧ１自体、符号器側は大変複雑にな
る。）。特に、動画像を符号化する際には、動き補償と
して動きベクトルというものを算出することが必要とな
る。現在、この算出法として、ブロックマッチング法が
主流であるが、このブロックマッチング法は大変に計算
量が多く、それぞれカメラ１台ずつについて行うと、リ
アルタイム性を確保することがほとんど不可能であっ
た。At present, MPEG1 (encoding comprising discrete cosine transform (DCT) and motion compensation), which has become a global standard, basically encodes a video image taken by one camera. It is presumed that the transmission is performed in a structured manner.
Therefore, if images taken from multiple viewpoints are processed independently of each other, the scale of the encoder becomes considerably large (the MPEG1 itself becomes very complicated). In particular, when encoding a moving image, it is necessary to calculate a motion vector as motion compensation. At present, the block matching method is mainly used as the calculation method. However, this block matching method requires a very large amount of calculation, and it is almost impossible to secure real-time performance when performing the calculation for each camera. .
【０００４】又、カメラの台数が増えればそれに比例し
て情報量が増加してしまうため、限られた伝送路で非常
に多くの情報を送らなければならない。[0004] Further, as the number of cameras increases, the amount of information increases in proportion thereto, so that a very large amount of information must be sent over a limited transmission path.
【０００５】さらに、従来の符号化方式で蓄積メディア
への利用を考えた場合に、従来の符号化フォーマットで
は、符号化する際に決めた視点から見た画像しか復号化
することができなかった。Further, when considering the use of the conventional encoding system for storage media, the conventional encoding format can decode only an image viewed from a viewpoint determined at the time of encoding. .
【０００６】この発明は上記のような課題を解決するた
めに成されたものであり、符号器側での計算量を削減す
ることができるとともに、伝送する情報量を削減するこ
とができ、かつ復号器側で指定視点からの画像を再生す
ることができる多視点における動画像の処理方法を得る
ことを目的とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and can reduce the amount of calculation on the encoder side and the amount of information to be transmitted. It is an object of the present invention to provide a method for processing a moving image in multiple viewpoints in which an image from a specified viewpoint can be reproduced on a decoder side.
【０００７】[0007]
【課題を解決するための手段】この発明の請求項１に係
る多視点における動画像の処理方法は、複数の基本視点
のカメラからの情報により原点から対象物までのベクト
ルを求めるとともに、原点から任意の視点のカメラまで
のベクトルを求め、両ベクトルの差により対象物から任
意の視点のカメラまでの第１のベクトルを求め、基本視
点の各カメラから見た対象物の動きベクトルから対象物
の実際の動きベクトルを求め、この実際の動きベクトル
を第１のベクトルに射影して第２のベクトルを求め、実
際の動きベクトルと第２のベクトルの差により任意の視
点から見た動きベクトルを求め、このベクトルを符号化
するものである。According to a first aspect of the present invention, there is provided a method for processing a moving image in a multi-viewpoint, wherein a vector from an origin to an object is obtained based on information from cameras at a plurality of basic viewpoints. A vector to a camera at an arbitrary viewpoint is obtained, a first vector from the object to the camera at an arbitrary viewpoint is obtained from a difference between the two vectors, and a motion vector of the object viewed from each camera at the basic viewpoint is obtained from the motion vector of the object. An actual motion vector is obtained, this actual motion vector is projected onto a first vector to obtain a second vector, and a motion vector viewed from an arbitrary viewpoint is obtained from a difference between the actual motion vector and the second vector. , This vector is encoded.
【０００８】請求項２に係る多視点における動画像の処
理方法は、複数の基本視点から見た画像を任意の視点に
より透視変換し、この透視変換された各画像を合成して
イントラフレームを予測し、原画像と予測イントラフレ
ームとの差分情報を求め、この差分情報及び透視変換の
変換パラメータを符号化するものである。According to a second aspect of the present invention, there is provided a method for processing a moving image in multiple viewpoints, wherein an image viewed from a plurality of basic viewpoints is perspective-transformed from an arbitrary viewpoint, and the perspective-transformed images are synthesized to predict an intra frame. Then, difference information between the original image and the predicted intra frame is obtained, and the difference information and the transformation parameters of the perspective transformation are encoded.
【０００９】請求項３に係る多視点における動画像の処
理方法は、複数の基本視点のカメラからの情報を同一の
メディア上に符号化して保存し、復号化の際にはカメラ
の視点を指定し、復号化した基本視点の各カメラからの
情報により原点から対象物までのベクトルを求めるとと
もに、原点から指定視点までのベクトルを求め、両ベク
トルの差により対象物から指定視点までの第１のベクト
ルを求め、基本視点の各カメラから見た対象物の動きベ
クトルから対象物の実際の動きベクトルを求め、この実
際の動きベクトルを第１のベクトルに射影して第２のベ
クトルを求め、実際の動きベクトルと第２のベクトルの
差により指定視点から見た動きベクトルを求め、また復
号化した基本視点の各カメラからの画像を指定視点によ
り透視変換し、この透視変換された各画像を合成してイ
ントラフレームを予測し、指定視点からの画像を復号化
するものである。According to a third aspect of the present invention, there is provided a method for processing a moving image in multiple viewpoints, wherein information from a plurality of basic viewpoint cameras is encoded and stored on the same medium, and at the time of decoding, the viewpoint of the camera is designated. Then, a vector from the origin to the target viewpoint is obtained from the decoded information from each camera of the basic viewpoint, and a vector from the origin to the target viewpoint is obtained. A vector is obtained, an actual motion vector of the object is obtained from the motion vector of the object viewed from each camera at the basic viewpoint, and this actual motion vector is projected on a first vector to obtain a second vector. The motion vector viewed from the specified viewpoint is obtained from the difference between the motion vector of the second viewpoint and the second vector, and the decoded image from each camera of the basic viewpoint is perspectively transformed by the specified viewpoint. Each image perspective transformed synthesized by predicting an intra frame, is to decode the image from the specified viewpoint.
【００１０】[0010]
【発明の実施の形態】以下、この発明の実施の形態を図
面とともに説明する。まず、ＭＰＥＧ１を利用して多視
点での画像を扱う方法を考える。そこで、多視点の画像
をそれぞれ独立に扱うのではなく、他のカメラからの情
報を利用できないかを考える。図２はＸＹＺの基本座標
系を示し、このように３つの視点から見た画像の情報が
得られれば、この３つの視点で囲まれる空間の情報はす
べて得られると考えられる。例えば、Ｘ方向から見て
円、Ｙ方向から見ても円、Ｚ方面から見ても円というこ
とが分かり、初めて見ている対象が球であることが分か
る。このため、この３つの視点で囲まれる空間（Ｘ＞
０，Ｙ＞０，Ｚ＞０の空間）の任意の視点からの画像
は、予想することが可能となる。この３つの視点からの
情報を元に、ＭＰＥＧ１で重要となっている動きベクト
ルの予測（フレーム間の予測）、イントラフレーム（フ
レーム内画像）の予測の予測符号化が可能ではないかと
考えた。ここで、イントラフレームとは、１ピクチャー
のことであり、フレーム内の情報のみで符号化される画
像のことである。Embodiments of the present invention will be described below with reference to the drawings. First, consider a method of handling images from multiple viewpoints using MPEG1. Therefore, it is considered whether information from other cameras can be used instead of handling multi-viewpoint images independently. FIG. 2 shows a basic coordinate system of XYZ. If information on an image viewed from three viewpoints is obtained in this way, it is considered that all information on a space surrounded by these three viewpoints can be obtained. For example, it can be seen that the object is a circle when viewed from the X direction, a circle when viewed from the Y direction, and a circle when viewed from the Z direction, indicating that the object viewed for the first time is a sphere. Therefore, the space (X>) surrounded by these three viewpoints
An image from an arbitrary viewpoint (space of 0, Y> 0, Z> 0) can be predicted. Based on the information from these three viewpoints, it was thought that prediction encoding of motion vector prediction (inter-frame prediction) and intra-frame (intra-frame image) prediction, which are important in MPEG1, would be possible. Here, an intra-frame refers to one picture, and is an image that is encoded using only information in the frame.
【００１１】まず、符号器側での計算量の削減のため
に、動きベクトルを予測することを考える。図３は対象
物２の基本座標系における動きベクトルを示し、ｃは対
象物２の実際の動きベクトル、ｃxはＸ軸上の基本視点
から見た動きベクトル、ｃyはＹ軸上の基本視点から見
た動きベクトル、ｃzはＺ軸上の基本視点から見た動き
ベクトルであり、このようにｃx，ｃy，ｃzが判れば対
象物２の実際の動きベクトルｃを知ることができ、この
ことから任意の視点から見た動きベクトルを図１のフロ
ーチャートに従って容易に算出することができる。First, consider the prediction of a motion vector in order to reduce the amount of calculation on the encoder side. Figure 3 shows a motion vector in the basic coordinate system of the object 2, c is the actual motion vector of the object 2, c x is a motion vector as viewed from the basic point of view on the X-axis, c y is the basic of the Y-axis motion vector from the viewpoint, c z is a motion vector as viewed from the basic point of view on the Z axis, knowing this way c x, c y, c z is the actual motion vector c of the object 2 knowing From this, a motion vector viewed from an arbitrary viewpoint can be easily calculated according to the flowchart of FIG.
【００１２】まず、Ｘ，Ｙ，Ｚの基本座標上に定めたカ
メラの結ぶ点を原点（０，０，０）とし、この各カメラ
から見た動きベクトルを求め、このベクトルを利用して
別の違った視点から見た場合のベクトルを求める。ここ
で、図４に示すように、Ｘ−Ｙ平面でＸ軸からα度、Ｚ
軸からＸ−Ｙ平面に向かってβ度の角度から別の視点の
カメラにより対象物を撮影したとする。図５に示すよう
に、原点から別の視点のカメラ１までのベクトルａ1を
求めるとともに、基本視点の３つのカメラからの情報に
より原点０から対象物２までのベクトルａ2を求め、ａ1
−ａ2により対象物２から任意の視点のカメラ１までの
第１のベクトルａを求める（ステップＳ１）。First, a point connecting the cameras defined on the basic coordinates of X, Y, and Z is defined as an origin (0, 0, 0), and a motion vector viewed from each camera is obtained. Vector from different viewpoints. Here, as shown in FIG. 4, α degrees from the X axis on the XY plane, Z
It is assumed that an object is photographed by a camera at another viewpoint from an angle of β degrees from the axis toward the XY plane. As shown in FIG. 5, with determining the vector a 1 from the origin to the camera 1 of the different point of view to obtain the vector a 2 from the origin 0 to the object 2 by the information from the three cameras fundamental perspective, a 1
Determining a first vector a from the object 2 to the camera 1 of the arbitrary viewpoint by -a 2 (step S1).
【００１３】次に、図３に示すように、３つの基本視点
のカメラから見た対象物２の動きベクトルから対象物２
の実際の動きベクトルＣを算出する（ステップＳ２）。Next, as shown in FIG. 3, the motion vector of the object 2 viewed from the cameras at the three basic viewpoints
Is calculated (step S2).
【００１４】次に、図６に示すように、ベクトルｃをベ
クトルａに射影して、第２のベクトルｄを算出する（ス
テップＳ３）。ベクトルｃは対象物２の３次元的に見た
実際の動きベクトルであり、ベクトルａは対象物２と任
意のカメラ１の視点とを結ぶベクトルであるから、ベク
トルｃをベクトルａに射影するということはベクトルｃ
とベクトルａの内積を取ることであり、動きベクトルｃ
の任意の視点方向の成分ｄを求めることである。Next, as shown in FIG. 6, the vector c is projected onto the vector a to calculate a second vector d (step S3). The vector c is a three-dimensional actual motion vector of the object 2, and the vector a is a vector connecting the object 2 and the viewpoint of an arbitrary camera 1. The thing is the vector c
And the inner product of the vector a and the motion vector c
To find a component d in an arbitrary viewpoint direction.
【００１５】次に、ｃ−ｄにより任意の視点から見た動
きベクトルを簡単かつ正確に算出することができ、予測
することができる（ステップＳ４）。即ち、任意のカメ
ラ１の視点から対象物２を撮影するということは、その
カメラ１に垂直のスクリーンに対象物２を映し出すこと
に他ならず、動きベクトルｃを任意の視点から見たベク
トルというのは、その垂直のスクリーンに投影された成
分となり、ベクトルｄに垂直の成分ということになる。Next, a motion vector viewed from an arbitrary viewpoint can be easily and accurately calculated and predicted by cd (step S4). That is, photographing the object 2 from the viewpoint of an arbitrary camera 1 is nothing less than projecting the object 2 on a screen perpendicular to the camera 1, and the motion vector c is a vector viewed from an arbitrary viewpoint. Is the component projected on that vertical screen, which is the component perpendicular to the vector d.
【００１６】現在ＭＰＥＧ１では、動きベクトルの予測
には、ブロックマッチング法が有力な手段として用いら
れているが、上記したような方法により算出することに
より、符号化プロセスにおいて任意の視点から見た動き
ベクトルを容易かつ正確に算出し、予測することができ
る。At present, in the MPEG1, a block matching method is used as a powerful means for predicting a motion vector. However, by calculating by the above-described method, a motion as viewed from an arbitrary viewpoint in an encoding process is calculated. Vectors can be easily and accurately calculated and predicted.
【００１７】次に、伝送する情報量の削減のために、イ
ントラフレームの予測画像を作成することを考える。ま
ず、３枚の基本座標系のイントラフレームに対して、透
視変換を利用して違った視点角度（Ｘ＞０，Ｙ＞０，Ｚ
＞０内の空間）から見たイントラフレームを予測して見
る。Ｘ＞０，Ｙ＞０，Ｚ＞０の空間の任意の点から見た
画像は、基本３点から見た画像によりすべての情報が得
られているため、予測することが可能となる。Next, consider the creation of an intra-frame predicted image in order to reduce the amount of information to be transmitted. First, different viewpoint angles (X> 0, Y> 0, Z) for three intraframes in the basic coordinate system using perspective transformation.
Intra frame viewed from the space> 0) is predicted and viewed. An image viewed from an arbitrary point in the space of X> 0, Y> 0, Z> 0 can be predicted because all information is obtained from images viewed from three basic points.
【００１８】ここで、１点から見た画像をあるスクリー
ン上に透視変換させた画像を考える。この透視変換は、
次のように示される。Here, consider an image obtained by perspective-transforming an image viewed from one point onto a certain screen. This perspective transformation is
It is shown as follows.
【００１９】 Ｘ＝（Ａｘ＋Ｂｙ＋Ｃ）／（Ｐｘ＋Ｑｙ＋Ｒ） Ｙ＝（Ｄｘ＋Ｅｙ＋Ｆ）／（Ｐｘ＋Ｑｙ＋Ｒ） Ａ〜Ｆ，Ｐ，Ｑ，Ｒは変換パラメータであり、図７に示
す視点の位置Ｓ、画像の位置、大きさ、投影するスクリ
ーンの位置や向きによって変わる。なお、図７におい
て、３は基本視点Ｘから見た変換前の画像を示し、４は
変換後の画像であり、投影するスクリーンに相当する。
これらのパラメータは、同次座標表現を用いたマトリク
ス演算を行うことで求めることができる。３次元平面
（ｘ，ｙ，ｚ）の幾何学変換は、３次元ベクトル（ｘ，
ｙ，ｚ）と３×３のマトリクスで表現できるが、これで
は移動を表現することができない。そのため、仮の次元
ｗを追加して数１のように４次元ベクトル（ｘ，ｙ，
ｚ，ｗ）と４×４のマトリクスを使用する。X = (Ax + By + C) / (Px + Qy + R) Y = (Dx + Ey + F) / (Px + Qy + R) A to F, P, Q, and R are conversion parameters, and the viewpoint position S, image position, and size shown in FIG. It depends on the position and orientation of the screen to be projected. In FIG. 7, reference numeral 3 denotes an image before conversion as viewed from the basic viewpoint X, and reference numeral 4 denotes an image after conversion, which corresponds to a screen to be projected.
These parameters can be obtained by performing a matrix operation using a homogeneous coordinate expression. The geometric transformation of the three-dimensional plane (x, y, z) is a three-dimensional vector (x, y, z).
(y, z) and a 3 × 3 matrix, but this cannot express movement. Therefore, a temporary dimension w is added and a four-dimensional vector (x, y,
z, w) and a 4 × 4 matrix.
【００２０】[0020]
【数１】 (Equation 1)
【００２１】例えば、図８に示すように原点にある（な
い場合には原点に平行移動させる。）対象物２をα＝４
５度、β＝９０度の角度から見た画像７（視点１）は、
基本座標Ｘ，Ｙの２つの視点から見た画像５，６から予
測できる。即ち、基本視点Ｘから見た画像５は図９
（ａ）に示す通りであり、基本視点Ｙから見た画像６は
図９（ｂ）に示す通りである。ここで、画像５を表１に
示す透視変換１のパラメータ等で変換する、即ちＹ方向
に対して縮小変換すると、図９（ｃ）に示す画像が得ら
れ、画像６を表１に示す透視変換２のパラメータ等で変
換する、即ちＸ方向に対して縮小変換すると、図９
（ｄ）に示す画像が得られる。For example, as shown in FIG. 8, the object 2 at the origin (if there is not, the object 2 is translated) is α = 4.
Image 7 (viewpoint 1) viewed from an angle of 5 degrees and β = 90 degrees is
It can be predicted from images 5 and 6 viewed from two viewpoints of basic coordinates X and Y. That is, the image 5 viewed from the basic viewpoint X is shown in FIG.
(A), and the image 6 viewed from the basic viewpoint Y is as shown in FIG. 9 (b). Here, when the image 5 is converted using the parameters of the perspective transformation 1 shown in Table 1 or the like, that is, reduced in the Y direction, the image shown in FIG. 9C is obtained, and the image 6 shown in FIG. When the conversion is performed using the parameters of the conversion 2 or the like, that is, when the reduction conversion is performed in the X direction, FIG.
The image shown in (d) is obtained.
【００２２】[0022]
【表１】 [Table 1]
【００２３】この図９（ｃ），（ｄ）の２つの画像をそ
れぞれ４５度回転させて合成することにより、視点１か
ら見た画像７を図１０に示すように容易に予測すること
ができる。ここでは、簡単な実例としてβ＝９０度の場
合を考えたが、βが９０度以外の場合はＸＹ方向から見
た画像を変換して合成すれば、予測フレーム（予測画
像）を作成することができる。By synthesizing the two images shown in FIGS. 9C and 9D by rotating them by 45 degrees, the image 7 seen from the viewpoint 1 can be easily predicted as shown in FIG. . Here, a case where β = 90 degrees is considered as a simple example, but if β is other than 90 degrees, a predicted frame (predicted image) is created by converting and combining images viewed from the XY directions. Can be.
【００２４】図１１は新しい視点から見たイントラフレ
ームの予測及び符号化の方法を示すフローチャートであ
り、ステップＳ５では任意の視点の位置（α，β）を決
定し、ステップＳ６ではこの任意の視点位置により基本
座標系Ｘ，Ｙ，Ｚから見た画像に対して透視変換する。
ステップＳ７では、透視変換された画像からイントラフ
レームを予測し、ステップＳ８では原画像と予測イント
ラフレームとの差分情報を求め、ステップＳ９では透視
変換の変換パラメータ及び差分情報を符号化する。そし
て、この符号化したものを伝送する。従って、差分情報
と変換パラメータのみを伝送すればよいので、伝送情報
量の削減が期待できる。FIG. 11 is a flowchart showing a method of predicting and encoding an intra frame viewed from a new viewpoint. In step S5, the position (α, β) of an arbitrary viewpoint is determined, and in step S6, the position of this arbitrary viewpoint is determined. Perspective transformation is performed on the image viewed from the basic coordinate system X, Y, Z according to the position.
In step S7, an intra-frame is predicted from the perspective-transformed image. In step S8, difference information between the original image and the predicted intra-frame is obtained. In step S9, transformation parameters and difference information of the perspective transformation are encoded. Then, the encoded data is transmitted. Therefore, since only the difference information and the conversion parameters need to be transmitted, a reduction in the amount of transmitted information can be expected.
【００２５】次に、蓄積メディアへの応用について考え
る。蓄積メディアへの応用を考えた場合、従来の符号化
方式では、一つの視点から見た画像しか復号化すること
ができない。そこで、いくつかの基本となる視点から撮
影した画像の情報を同一のメディア上におくことで、復
号器側で任意の違った視点から見た画像を復号化できる
ようにする。これは、復号化の際に上記方法を利用すれ
ば容易に実施することができる。即ち、図２のように基
本座標系の３つの視点のカメラで撮影した情報を同一の
メディア上に符号化して保存しておき、復号化の際にカ
メラの視点を指定することにより、３つのカメラからの
情報から上記の方法により動きベクトルを計算するとと
もに、イントラフレームを予測し、指定した視点からの
画像を復号化することができる。さらに、基本視点を３
つから６つまで拡張（Ｘ，Ｙ，Ｚ方向から見た視点、及
び−Ｘ，−Ｙ，−Ｚ方向から見た視点）することによ
り、図２の第１次、第２次、第３次、第４次象限上の任
意の視点での予測も可能となる。Next, application to a storage medium will be considered. In consideration of application to storage media, the conventional encoding method can only decode an image viewed from one viewpoint. Therefore, by placing information of images captured from some basic viewpoints on the same medium, the decoder can decode images viewed from any different viewpoints. This can be easily implemented by using the above method at the time of decoding. That is, as shown in FIG. 2, information captured by a camera having three viewpoints in the basic coordinate system is encoded and stored on the same medium, and the viewpoint of the camera is designated at the time of decoding. A motion vector can be calculated from information from a camera by the above-described method, an intra frame can be predicted, and an image from a specified viewpoint can be decoded. Furthermore, three basic viewpoints
By extending from one to six (viewpoints viewed from the X, Y, and Z directions and viewpoints viewed from the -X, -Y, and -Z directions), the first, second, and third orders in FIG. Next, prediction from an arbitrary viewpoint in the fourth quadrant is also possible.
【００２６】動きベクトル及びイントラフレームの予測
においては、各基本視点のカメラからの情報はそれぞれ
独立に符号化され、伝送されるが、任意のカメラ１に対
しては、予測された動きベクトル、及びこの動きベクト
ルと予測されたイントラフレームのそれぞれの差分画像
が符号化して伝送される。一方、蓄積メディアへの応用
においては、各基本視点のカメラからの画像情報を同一
のメディア上に置くだけで、任意の視点からの映像を復
号できる。この際、任意の視点からの映像に対しては、
差分情報を符号化して用意しておくことはしないため、
復号画像の再現性は保証できないが、観賞用として利用
する場合には、問題はないと考えられる。In the prediction of a motion vector and an intra frame, information from cameras at each basic viewpoint is independently encoded and transmitted, but for any camera 1, the predicted motion vector and The difference image between the motion vector and the predicted intra frame is encoded and transmitted. On the other hand, in the application to a storage medium, it is possible to decode a video from an arbitrary viewpoint simply by placing image information from a camera at each basic viewpoint on the same medium. At this time, for video from any viewpoint,
Since the difference information is not encoded and prepared,
Although the reproducibility of the decoded image cannot be guaranteed, it is considered that there is no problem when the image is used for viewing.
【００２７】[0027]
【発明の効果】以上のようにこの発明の請求項１によれ
ば、基本視点を用いて任意の視点から見た場合の対象物
の動きベクトルを予測しており、符号器側での計算量が
多いブロックマッチング法を用いる必要がなく、符号器
側での計算量を削減することができ、符号器の簡略化も
可能となる。As described above, according to the first aspect of the present invention, a motion vector of an object as viewed from an arbitrary viewpoint is predicted using a basic viewpoint, and the amount of calculation on the encoder side is increased. Therefore, it is not necessary to use a block matching method, which is often used, so that the amount of calculation on the encoder side can be reduced and the encoder can be simplified.
【００２８】請求項２によれば、基本視点を用いて任意
の視点から見た場合のイントラフレームを予測してお
り、これを符号化して伝送する際の情報量を削減するこ
とができる。According to the second aspect, an intra frame when viewed from an arbitrary viewpoint is predicted using a basic viewpoint, and the amount of information when encoding and transmitting the intra frame can be reduced.
【００２９】又、請求項１，２は、スポーツ中継や遠方
監視装置において特に有効であり、例えば炉の中の炎の
様子の監視等、比較的動きが少ないものを様々な角度か
ら撮影し、伝送する際に特に有効である。Further, the first and second aspects are particularly effective in a sports broadcast or a remote monitoring apparatus. For example, an object having a relatively small movement such as monitoring of a state of a flame in a furnace is photographed from various angles. This is particularly effective when transmitting.
【００３０】請求項３によれば、蓄積メディアへの応用
において、複数の基本視点からの画像を同一のメディア
上に符号化して保存し、復号化の際にはこの基本視点か
らの画像を用いて指定視点から見た場合の動きベクトル
及びイントラフレームを予測しており、復号器側におい
て任意の視点から見た画像を再生することができる。According to the third aspect, in an application to a storage medium, images from a plurality of basic viewpoints are encoded and stored on the same medium, and the images from the basic viewpoint are used for decoding. Thus, a motion vector and an intra frame when viewed from a specified viewpoint are predicted, and an image viewed from an arbitrary viewpoint can be reproduced on the decoder side.
【図１】この発明による任意の視点から見た対象物の動
きベクトルを算出する方法を示すフローチャートであ
る。FIG. 1 is a flowchart showing a method for calculating a motion vector of an object viewed from an arbitrary viewpoint according to the present invention.
【図２】基本座標系を示す図である。FIG. 2 is a diagram showing a basic coordinate system.
【図３】この発明による基本座標系における対象物の実
際の動きベクトルを求める説明図である。FIG. 3 is an explanatory diagram for obtaining an actual motion vector of an object in a basic coordinate system according to the present invention.
【図４】この発明による任意の視点を示す図である。FIG. 4 is a diagram showing an arbitrary viewpoint according to the present invention.
【図５】この発明による第１のベクトルａを求める説明
図である。FIG. 5 is an explanatory diagram for obtaining a first vector a according to the present invention.
【図６】この発明による第２のベクトルｄ及び任意の視
点から見た対象物の動きベクトルを求める説明図であ
る。FIG. 6 is an explanatory diagram for obtaining a second vector d and a motion vector of an object viewed from an arbitrary viewpoint according to the present invention.
【図７】この発明による透視変換の説明図である。FIG. 7 is an explanatory diagram of perspective transformation according to the present invention.
【図８】この発明によるイントラフレームを作成するた
めの説明図である。FIG. 8 is an explanatory diagram for creating an intra frame according to the present invention.
【図９】この発明による基本視点Ｘ、基本視点Ｙから見
た画像、及びこれらを透視変換した画像の１例を示す図
である。FIG. 9 is a diagram showing an example of an image viewed from a basic viewpoint X and a basic viewpoint Y according to the present invention, and an image obtained by perspective-transforming these images.
【図１０】この発明による、複数の透視変換された画像
を合成して作成されたイントラフレームを示す図であ
る。FIG. 10 is a diagram showing an intra-frame created by combining a plurality of perspective-transformed images according to the present invention.
【図１１】この発明による、任意の視点から見たイント
ラフレームの予測及び符号化の方法を示すフローチャー
トである。FIG. 11 is a flowchart illustrating a method of predicting and encoding an intra frame from an arbitrary viewpoint according to the present invention.
１…任意の視点のカメラ ２…対象物 1. Camera from any viewpoint 2. Object
フロントページの続き Ｆターム(参考） 5C054 CC03 DA01 EA03 EA07 EG06 FC13 FD01 FD03 GB01 HA16 HA18 5C059 KK15 MA00 MA04 MA23 NN01 NN19 PP04 PP05 PP13 PP21 RC11 RC16 SS06 SS11 5C061 AA21 AB04 AB08 AB10 AB17Continued on front page F-term (reference) 5C054 CC03 DA01 EA03 EA07 EG06 FC13 FD01 FD03 GB01 HA16 HA18 5C059 KK15 MA00 MA04 MA23 NN01 NN19 PP04 PP05 PP13 PP21 RC11 RC16 SS06 SS11 5C061 AA21 AB04 AB08 AB10 AB17
Claims (3)
り原点から対象物までのベクトルを求めるとともに、原
点から任意の視点のカメラまでのベクトルを求め、両ベ
クトルの差により対象物から任意の視点のカメラまでの
第１のベクトルを求め、基本視点の各カメラから見た対
象物の動きベクトルから対象物の実際の動きベクトルを
求め、この実際の動きベクトルを第１のベクトルに射影
して第２のベクトルを求め、実際の動きベクトルと第２
のベクトルの差により任意の視点から見た動きベクトル
を求め、この任意の視点から見たベクトルを符号化する
ことを特徴とする多視点における動画像の処理方法。1. A vector from an origin to a target object is obtained from information from cameras at a plurality of basic viewpoints, a vector from an origin to a camera at an arbitrary viewpoint is obtained, and an arbitrary viewpoint from the target is obtained by a difference between the two vectors. The first vector up to the camera is obtained, the actual motion vector of the object is obtained from the motion vector of the object viewed from each camera at the basic viewpoint, and this actual motion vector is projected on the first vector to obtain the first vector. 2 is obtained, and the actual motion vector and the second
A motion vector viewed from an arbitrary viewpoint based on a difference between the vectors, and encoding the vector viewed from the arbitrary viewpoint.
点により透視変換し、この透視変換された各画像を合成
してイントラフレームを予測し、原画像と予測イントラ
フレームとの差分情報を求め、この差分情報及び透視変
換の変換パラメータを符号化することを特徴とする多視
点における動画像の処理方法。2. An image viewed from a plurality of basic viewpoints is perspective-transformed from an arbitrary viewpoint, and the perspective-transformed images are combined to predict an intra frame. Difference information between the original image and the predicted intra frame is calculated. And calculating the difference information and a transformation parameter of the perspective transformation.
一のメディア上に符号化して保存し、復号化の際にはカ
メラの視点を指定し、復号化した基本視点のカメラから
の情報により原点から対象物までのベクトルを求めると
ともに、原点から指定視点までのベクトルを求め、両ベ
クトルの差により対象物から指定視点までの第１のベク
トルを求め、基本視点の各カメラから見た対象物の動き
ベクトルから対象物の実際の動きベクトルを求め、この
実際の動きベクトルを第１のベクトルに射影して第２の
ベクトルを求め、実際の動きベクトルと第２のベクトル
の差により指定視点から見た動きベクトルを求め、また
復号化した基本視点の各カメラからの画像を指定視点に
より透視変換し、この透視変換された各画像を合成して
イントラフレームを予測し、指定視点からの画像を復号
化することを特徴とする多視点における動画像の処理方
法。3. Encoding and storing information from cameras of a plurality of basic viewpoints on the same medium, specifying a viewpoint of the camera at the time of decoding, and using information from the decoded camera of the basic viewpoint. The vector from the origin to the object is obtained, the vector from the origin to the specified viewpoint is obtained, the first vector from the object to the specified viewpoint is obtained from the difference between the two vectors, and the object viewed from each camera at the basic viewpoint is obtained. The actual motion vector of the object is obtained from the motion vector of the object, the actual motion vector is projected on the first vector to obtain the second vector, and the difference between the actual motion vector and the second vector is calculated from the specified viewpoint. Obtained motion vectors are obtained, and the decoded image from each camera of the basic viewpoint is perspective-transformed from the designated viewpoint, and the perspective-transformed images are combined to form an intra frame. A method for processing a moving image in multiple viewpoints, comprising predicting and decoding an image from a specified viewpoint.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3218399A JP2000232659A (en) | 1999-02-10 | 1999-02-10 | Method for processing dynamic image from multi- viewpoint |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3218399A JP2000232659A (en) | 1999-02-10 | 1999-02-10 | Method for processing dynamic image from multi- viewpoint |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000232659A true JP2000232659A (en) | 2000-08-22 |
Family
ID=12351817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3218399A Pending JP2000232659A (en) | 1999-02-10 | 1999-02-10 | Method for processing dynamic image from multi- viewpoint |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000232659A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100754205B1 (en) | 2006-02-07 | 2007-09-03 | 삼성전자주식회사 | Multi-view video encoding apparatus and method |
| WO2011105297A1 (en) * | 2010-02-23 | 2011-09-01 | 日本電信電話株式会社 | Motion vector estimation method, multiview image encoding method, multiview image decoding method, motion vector estimation device, multiview image encoding device, multiview image decoding device, motion vector estimation program, multiview image encoding program and multiview image decoding program |
-
1999
- 1999-02-10 JP JP3218399A patent/JP2000232659A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100754205B1 (en) | 2006-02-07 | 2007-09-03 | 삼성전자주식회사 | Multi-view video encoding apparatus and method |
| US8542734B2 (en) | 2006-02-07 | 2013-09-24 | Samsung Electronics Co., Ltd. | Multi-view video encoding apparatus and method |
| WO2011105297A1 (en) * | 2010-02-23 | 2011-09-01 | 日本電信電話株式会社 | Motion vector estimation method, multiview image encoding method, multiview image decoding method, motion vector estimation device, multiview image encoding device, multiview image decoding device, motion vector estimation program, multiview image encoding program and multiview image decoding program |
| JP5237500B2 (en) * | 2010-02-23 | 2013-07-17 | 日本電信電話株式会社 | Motion vector estimation method, multi-view video encoding method, multi-view video decoding method, motion vector estimation device, multi-view video encoding device, multi-view video decoding device, motion vector estimation program, multi-view video encoding program, and multi Viewpoint video decoding program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4955234B2 (en) | Interactive multi-view video system and method | |
| EP1779662B1 (en) | Method and device for motion estimation and compensation for panorama image | |
| JP4846719B2 (en) | Panorama motion estimation and compensation | |
| JP4989051B2 (en) | Offline multi-view video compression system and method | |
| JP4965092B2 (en) | System and method for calibrating multiple cameras by inter-image homography without using patterns | |
| JP2006081161A (en) | System and method for off-line multi-view video compression | |
| US20060023066A1 (en) | System and Method for Client Services for Interactive Multi-View Video | |
| JP2006074743A (en) | Multi-view video format | |
| KR100700218B1 (en) | Method and Device for making virtual image region for motion estimation and compensation of panorama image | |
| JP2006270676A (en) | Panorama image generating program, panorama image generating apparatus, and panorama image generation method | |
| JP2008509630A (en) | Method and apparatus for generating virtual image regions for motion estimation and compensation of panoramic images | |
| JPH10271511A (en) | Image encoder and image decoder | |
| US20200145695A1 (en) | Apparatus and method for decoding a panoramic video | |
| JP4825984B2 (en) | Image information compression method, image information compression apparatus, and free-viewpoint television system | |
| US6654414B1 (en) | Video conferencing using camera environment panoramas | |
| JP2000232659A (en) | Method for processing dynamic image from multi- viewpoint | |
| JP3895145B2 (en) | Image encoding apparatus, image decoding apparatus and method, image encoding program, and image decoding program | |
| JP4258879B2 (en) | Image encoding method and apparatus, image decoding method and apparatus, and computer-readable recording medium storing a program for causing a computer to realize the image encoding method and the image decoding method | |
| JPH11161800A (en) | Multiple viewpoint picture encoding/decoding device, multiple viewpoint picture encoding/decoding method and picture encoding/decoding device for three-dimensional object | |
| JP2000261808A5 (en) | ||
| JP2000132683A (en) | Method for encoding multi-viewpoint image | |
| JP2000285259A (en) | Method for reproducing optional viewpoint image from multiple viewpoint image | |
| JPH1118091A (en) | Coding/decoding device for multi-viewpoint image and its coding/decoding method | |
| US6184900B1 (en) | Memory management techniques for large sprite objects |