JP2000285259A - 多視点画像からの任意視点画像再生方法 - Google Patents

Abstract

(57)【要約】 【課題】使用するメモリ量および再生に要する演算量を
リーズナブルな範囲に収め、ＰＣレベルのプラットフォ
ームにおいても多視点画像からの任意視点画像のリアル
タイム再生を可能とする。 【解決手段】被写体面上の各点の座標値と輝度値とから
構成されるモデル情報を符号化したモデルデータとモデ
ル情報から多視点画像中の各視点画像を予測して生成さ
れた予測信号の予測誤差を符号化した予測誤差データと
が多重化されている多重化ストリームから分離された予
測誤差データと多重化ストリームからモデルデータを分
離され復号されたモデル情報をメモリに記憶しておき、
記憶されたモデル情報から任意視点画像の予測信号を生
成し、記憶された予測誤差データの任意視点画像に対応
する部分を復号して予測誤差を生成し、これらの生成さ
れた予測信号と予測誤差を加算して得られる再生画像よ
り任意視点画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像を用い
て任意の視点から見た画像をリアルタイムで作成し、仮
想空間内のウォークスルーなどを可能とするような多視
点画像からの任意視点画像再生方法に関する。

【０００２】

【従来の技術】近年、コンピュータ技術、グラフィクス
技術の進展により、バーチャルショッピングモールなど
に代表される仮想空間内のウォークスルーが身近な存在
になりつつある。現状の仮想空間は、構成要素がＣＧ
（コンピュータグラフィクス）によって生成されるもの
が大半である。これに対し、最近ではリアリティに注目
した別のアプローチとして、実写画像から仮想３次元空
間を生成する試みがなされてきている。

【０００３】ＣＧの分野では、モデルを精密にし、演算
資源を投入することによりリアリティを追求する努力が
払われてきたが、これとは別に、近年、“image based
rendering ”と称して、実写を利用してリアリティを高
めようという動きがある。このような技術として既に実
用に供せられている例として、文献１（Ｓ．Ｅ．Ｃｈｅ
ｎ ｅｔ ａｌ，ＳＩＧＧＲＡＰＨ‘９５ ｐ２９−３
８）に開示されているQuickTime ＶＲが挙げられる。

【０００４】QuickTime ＶＲは、一つの視点から撮った
パノラマ画像から視線方向の成分を切り出す技術であ
り、自分の周りの３６０°の視野をインタラクティブに
見渡すような画像表現ができる。但し、この方法では画
像入力の際の視点はある一点に固定されているので、任
意視点からの画像を再構成することはできない。すなわ
ち、視線方向は選択できるものの、視点は常に固定され
ているので、視点が変わったときに発生するオクルージ
ョン（隠れ）の状況の変化を再現することはできない。

【０００５】このような物体との距離方向も含めた任意
視点の実現、オブジェクトとしての操作可能性、空間へ
の配置可能性といった更に進んだ機能を実現することが
できる画像表現方法としては、例えば文献２（「光線情
報による３次元実空間の効率的記述へ向けた光線空間射
影法」苗村他、信学技報ＩＥ９５−１１９）に開示され
ている方法が知られている。この方法では、３次元空間
上を通る光線を表現する「光線空間」という概念を導入
し、多視点画像と光線空間とを相互に変換することによ
り、入力された多視点画像から任意視点画像を生成して
いる。以下、この原理につき具体的に説明する。

【０００６】光線情報に基づく記述の考え方は、３次元
空間を伝播する光線の情報を３次元の直交座標空間上に
おける光線の通過位置（Ｘ，Ｙ，Ｚ）とその方向（θ，
φ）によって定義される５次元情報空間ｆ（Ｘ，Ｙ，
Ｚ，θ，φ）に記述するというものである。ここで、θ
は直交座標空間上の任意の点（Ｘ，Ｙ，Ｚ）を通過する
光線の水平方向の傾き、つまりＸ−Ｚ平面上の角度を示
し、φは（Ｘ，Ｙ，Ｚ）を通過する光線の垂直方向の傾
き、つまりＸ−Ｚ平面上からＹ軸方向への角度を示す。

【０００７】画像情報が直交座標空間上の任意の点
（Ｘ，Ｙ，Ｚ）に視点を置いたときにそこを通過する
（θ，φ）方向の光線の集合により形成されるものであ
ることを考慮すると、画像情報と前述の光線情報は相互
に変換可能であることが分かる。ここで、光線が減衰せ
ずに直進するという仮定が成立するような場合には、５
次元情報空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）を４次元に縮退
させることができる。上述した文献２には、光線情報を
記録する面の取り方によって平面記録、円筒記録、球面
記録の３通りの記録方法があることが記されているが、
ここでは以後の説明を行うために必要な円筒記録につい
て簡単に説明する。

【０００８】図１５に、円筒記録のための座標系を示
す。まず、空間を４次元に縮退するために、（Ｘ，Ｙ，
Ｚ）から（Ｐ，Ｑ，Ｒ）への座標変換が行われる。ここ
で、（Ｐ，Ｑ，Ｒ）座標のＲ軸は、図示のように光線の
進行方向（θ，φ）と一致するように規定される。これ
によりＲ軸に沿った信号の変化はなくなり、この軸は無
視することができるので、（Ｘ，Ｙ，Ｚ，θ，φ）は
（Ｐ，Ｑ，Ｒ）、つまり（Ｐ，Ｑ，θ，φ）の４次元に
変換される。次に、円筒記録ではθが同一であるφ方向
の全ての光線は、θ方向に法線を持つ（Ｐ，Ｑ）平面上
の各点に記録される。これより、 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （１） Ｑ＝−Ｘｓｉｎθ・ｔａｎφ＋Ｙ−Ｚｃｏｓθ・ｔａｎφ （２） の関係が得られる。

【０００９】図１５は、直交座標系Ｏ−ＸＹＺの原点
（０，０，０）を通る進行方向（θ，φ）の光線を記録
する例を示している。Ｒ軸からＸ−Ｙ平面上に降ろした
垂線の足をＭとした場合、Ｏ−Ｍを法線とする（Ｐ，
Ｑ）平面が定義され、そこにφ方向の全ての光線が記録
されることになる。このようにして、同一θ方向の光線
はそのφ方向に関わらず全て同一の（Ｐ，Ｑ）平面上の
対応する座標位置に記録される。

【００１０】次に、この原理を使って多視点画像から光
線空間への記録を行い、記録された光線空間から任意視
点画像を生成する原理について説明する。上述の原理に
よって光線空間が４次元に縮退されたといっても、扱う
べき多視点画像の数や演算量は非常に多く、現実的では
ない。そこで、文献３（「光線情報に基づく３次元空間
操作」石川他、ＰＣＳＪ９６ Ｐ−３．１３）において
はφ方向の視差を無視して、（ｐ，θ）の２次元空間
（以下、ｐ−θ平面という）への記録で代用している。

【００１１】また、実際に扱える光線の数には限りがあ
るので、実用にはサンプリングが介在することになる。
すなわち、入力として扱われる視点の数は有限個にとど
められる。このとき、Ｙ＝一定の平面上でのある視点の
座標（Ｘ，Ｚ）が決まると、その点を通る光線の軌跡は
式（１）のみで与えられる。Ｙ＝一定の平面上ではＱ方
向の値は変化しないからである。

【００１２】有限個の複数の視点を設定して画像を入力
すると、光線空間はある視点の座標（Ｘ，Ｚ）を通る光
線の軌跡に沿った光線情報によって埋められてくる。光
線空間上で光線情報の得られていない部分は、得られて
いる光線情報により内挿等によって補間してやると、密
に光線情報で埋まった光線空間が得られる。再生の際は
任意視点（Ｘ，Ｚ）を指定すると、その点を通る光線の
軌跡が式（１）から得られるので、その軌跡上の光線情
報を入力画像情報から取ってくることにより、任意の視
点画像の画面のＹ＝一定における一つの走査線、つまり
ある特定のＹの値に対応する一本の表示ライン上の画像
が得られる。こうして得られる走査線をＹ方向に積み重
ねることによって、任意の視点から見た１画面分の画像
を得ることができる。

【００１３】上述したように、光線空間を用いた原理に
基づく任意視点画像の生成においては従来、扱うべき情
報ができる限り少なくて済むように簡略化を施してはい
るが、現状では、このような簡略化を施しても情報量、
処理量は依然として非常に多く、再生のリアルタイム
化、情報量の削減などが課題として挙げられている。

【００１４】次に、情報量削減の観点から見た従来の技
術につき説明する。通常、情報量を削減しようとする場
合、符号化が行われる。多視点画像を符号化する場合、
種々の方法が考えられる。第１は、多視点画像を構成す
る各視点画像をそれぞれ静止画とみなして、ＪＰＥＧな
どの方法により符号化する方法である。この方法は、各
視点画像同士の相関を使っておらず無駄がある。第２
は、多視点画像を動画像とみなしてＭＰＥＧなどの方法
により符号化する方法であり、動き補償予測によって隣
り合う視点画像同士の相関がある程度取り除かれる。特
に、多視点画像の１つのケースとしてのステレオ画像の
符号化では、同様の原理は視差補償予測と呼ばれてお
り、これは例えば文献４（特開平２−１００５９２号公
報）などに開示されている。

【００１５】また、ＭＰＥＧ２標準においても類似の原
理はマルチビュープロファイルの範疇にてサポートされ
ている。この方法は画像に対して一種のモデル化を行っ
ていることになるが、モデル化がブロック毎にしか行わ
れておらず、画素単位で見たときにはモデルからのずれ
が大きくなりがちである。また、モデルのパラメータと
しても各ブロックに動きベクトルの形でパラメータを与
えることになり、全体としてモデルパラメータの情報量
もかなり大きくなる。

【００１６】光線空間の概念を取り入れた多視点画像の
符号化に関する技術としては、文献５（「複合現実感表
示のための光線空間データの圧縮」片山他、ＩＭＰＳ９
６Ｉ−６．１）に開示されている技術がある。この方法
では、同一被写体から得た１２０枚の多視点画像のうち
の何枚かを参照画像として設定してそのまま送り、他の
画像については参照画像中のどの画素値に近いか、とい
う画素を指定する情報として送ることによって、情報を
圧縮している。従って、上述の動き補償の流用と比較し
て、モデル化が画素単位で行われてる点でモデルからの
ずれは少なくなるが、モデルのパラメータ情報は逆に多
くなる。

【００１７】また、文献６（特開平８−１１５４３４号
公報）では多視点画像の圧縮に関連する別の技術とし
て、（少ない）多視点画像の対応点の軌跡を規定するパ
ラメータを利用することにより、受信側で任意視点画像
のための内挿を行う技術が開示されている。この際、こ
のパラメータのみによって光線空間を表現すれば、非常
に少ない情報量による表現が可能となる。

【００１８】文献５，６はいずれもモデルのみによって
多視点画像を表現しようとするものであるが、実際には
特に後者の場合、多視点画像からのモデルの推定はかな
り難しく、誤差を伴うものとなる。この結果、モデルの
推定に誤差が生じた部分については、再生される画像が
不自然になってしまう。

【００１９】これに対して、文献７（「３次元構造推定
に基づく多眼３次元画像の圧縮と補間」藤井、原島 ３
次元画像コンファレンス’９４ １−４）には、３次元
構造モデルから多眼画像の予測信号を生成し、予測誤差
を送る方法が開示されている。この文献７でのモデル
は、平面や平面パッチなどの近似であって、これによる
予測の精度はあまりよいとは言えない。しかし単純にモ
デルの精度を良くすると、精度を良くするほどモデル自
体の情報量が大きくなってしまい、全体の情報量を減ら
すことはできない。

【００２０】次に、多視点画像から任意視点画像を再生
する際のメモリ使用量の観点から従来の技術について説
明する。まず、考えられる最も原始的な方法は、多視点
画像を構成する各視点画像、あるいはそれを光線空間に
変換したものを全てそのままメモリに保持する方法であ
る。例えば、文献８（特開平９−２４５１９６号公報）
では再生演算を高速化するために、予め補間済みの光線
空間に変換したものを保持しており、後者の方法に該当
すると思われる。

【００２１】しかし、この方法では再生演算はメモリア
クセスのアドレス計算のみとなるため、高速にできる利
点を有する反面、メモリ使用量が非常に多くなってしま
うという問題がある。例えば、６４０＊４８０のフルカ
ラー画像１２０枚を多視点画像とする場合、１枚当りの
視点画像のデータ量は、６４０＊４８０＊３（ＲＧＢ）
＝０．９ＭＢとなり、１２０枚の視点画像をそのままメ
モリに保持すれば、約１１０ＭＢものメモリ量を要す
る。

【００２２】そこで、文献９（「圧縮した光線情報の局
所的展開による実時間ウォークスルー」、高野他ＰＣＳ
Ｊ９７ Ｐ−２．１１）では、光線空間に４次元ＤＣＴ
（離散コサイン変換）を施し、得られたＤＣＴ係数のう
ち遂次必要な部分のみを取り出して復号再生する方法を
提案している。この方法では、４次元の光線空間を扱っ
ているため４次元ＤＣＴを使用している。

【００２３】この方法では多視点画像を圧縮した形でメ
モリ内にデータを保持するので、必要なメモリ量を減ら
すことができるが、４次元ＤＣＴブロック内において実
際に再生に寄与するのは、その中の１曲面上のデータの
みであり、再生に寄与しない光線空間情報の割合が高い
ため、演算コストが有効に生かされていないという問題
を抱えている。従って、逆に必要以上に演算性能を要求
されることとなり、やはりコストが高くなる。

【００２４】

【発明が解決しようとする課題】上述したように、多視
点画像から任意視点画像を再生する際、多視点画像を構
成する各視点画像あるいはそれを光線空間に変換したも
のを全てそのままメモリに保持する方法では、非常に大
きいメモリ容量を必要とし、一般的なＰＣ（パーソナル
コンピュータ）レベルのプラットフォームで再生を行う
には適さず、コストが高くなるという問題点がある。

【００２５】また、光線空間をそのまま画像と見て符号
化する方法（例えば４次元ＤＣＴを用いる方法）は、圧
縮した形でメモリ内にデータを保持するので、必要なメ
モリ量は減らせるが、４次元ＤＣＴブロック内において
実際に再生に寄与するのはその中の１曲面上のデータの
みであり、再生に寄与しない光線空間情報の割合が高い
ために、演算コストが有効に生かされておらず、逆に必
要以上に演算性能を要求されることとなり、やはりコス
トが高くなるという問題点があった。

【００２６】本発明は、このような問題点を解決すべく
なされたもので、多視点画像から任意の視点画像を再生
する際、メモリに保持する情報量と任意の視点画像の生
成に必要な演算量とのバランスをとり、必要最低限に近
い情報をメモリから読み出して再生できるようにして、
リーズナブルなコストで任意視点画像のリアルタイム再
生を可能とする多視点画像からの任意視点画像再生方法
を提供することを目的とする。

【００２７】

【課題を解決するための手段】上記課題を解決するた
め、本発明は被写体との位置関係が既知の複数の視点に
よって得られた複数の視点画像からなる多視点画像につ
いて、被写体面上の各点の座標値と輝度値とから構成さ
れるモデル情報を符号化したモデルデータと、モデル情
報から多視点画像中の各視点画像を予測して生成された
予測信号の各視点画像に対する予測誤差を符号化した予
測誤差データとが多重化されている多重化ストリームか
ら、指定された視点位置より指定された視線方向を見た
任意視点画像を再生する任意視点画像再生方法であっ
て、多重化ストリームから前記予測誤差データを分離し
て記憶する第１の記憶ステップと、多重化ストリームか
らモデルデータを分離し復号して得られたモデル情報を
記憶する第２の記憶ステップと、第２の記憶ステップに
より記憶されたモデル情報から任意視点画像の予測信号
を生成する予測信号生成ステップと、第２の記憶ステッ
プにより記憶された予測誤差データの任意視点画像に対
応する部分を復号して予測誤差を生成する予測誤差生成
ステップと、予測信号生成ステップにより生成された予
測信号と予測誤差生成ステップにより生成された予測誤
差を加算して再生画像を得るステップと、再生画像より
任意視点画像を生成するステップとを有することを特徴
とする。

【００２８】より具体的には、予測信号の生成に際して
は、任意視点画像を再生するために参照すべき視点画像
の被参照領域の位置を計算し、この被参照領域の位置
に、第２の記憶ステップにより記憶されたモデル情報を
用いて予測信号を生成する。そして、予測誤差について
は第１の記憶ステップにより記憶された予測誤差データ
のうち、被参照領域の位置に対応する部分のデータを復
号することで得る。

【００２９】このような手順で多視点画像から任意視点
画像を再生することにより、使用するメモリ量、演算量
をリーズナブルな範囲に収め、ＰＣレベルのプラットフ
ォームでも任意視点画像のリアルタイム再生を可能とす
ることができる。

【００３０】すなわち、本発明では予測符号化の導入で
各視点画像が仮に２０分の１に圧縮できるとし、また、
モデルの情報量は復号済みの状態で視点画像２枚分程度
であるとすると、両者を合わせたデータ量は約７．３Ｍ
Ｂとなり、使用するメモリ量はリーズナブルな範囲内に
収まる。

【００３１】また、既にモデルデータが復号された状態
で任意視点画像の再生を行うため、必要な演算としては
モデルデータを復号して得られたモデル情報からの予測
画像生成と、画像約１枚分の予測誤差の復号のみで済
む。これはＭＰＥＧデコーダのような通常の動画像復号
化の演算と同種の演算であり、演算量も同レベルとなる
ため、リアルタイムでの任意視点画像の再生が容易に実
現可能な範囲となる。

【００３２】使用メモリ量をより節約するために、モデ
ル情報についても符号化されたモデルデータのままの形
でメモリに保持し、これを毎回復号する方法もあるが、
モデル情報はいわゆるイントラ符号化に相当する符号化
がなされるため、圧縮率は各視点画像ほど大きくとるこ
とはできず、メモリ使用量削減の効果は少ない。また、
毎回モデルデータを復号化処理すると、処理量が倍程度
に増える。しかも、モデル情報は任意視点画像を生成す
るためには必ず参照されるものであるから、この復号を
毎回行うのは非常に冗長な処理である。

【００３３】従って、本発明のように予測誤差について
は符号化された予測誤差データの形でメモリに保持し、
モデル情報については符号化されたモデルデータを復号
したモデル情報の形でメモリに保持しておくことは、必
要なメモリ量を減らしつつ演算量も低減するという観点
で理にかなっているといえる。

【００３４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 （多視点画像符号化について）まず、本発明による任意
視点画像再生方法が適用される多視点画像の符号化方法
について説明する。図１は、多視点画像符号化装置の構
成を機能ブロック図で表したものである。この多視点画
像符号化装置は、実際には後述するように例えばパーソ
ナルコンピュータ（ＰＣ）を用いて実現される。

【００３５】図１において、多視点画像入力部１００は
三次元物体からなる被写体とカメラの位置関係が既知の
条件で複数の視点によって画像の撮影を行って、複数の
視点画像からなる多視点画像を入力できるように構成さ
れた画像入力装置である。この多視点画像入力部１００
により入力された多視点画像の情報は、一旦ハードディ
スクのような記憶部１０１に蓄えられる。制御部１０２
は、符号化全体の制御を行う。

【００３６】符号化の手順は、多視点画像全体を見てモ
デル化、つまりモデルの推定を行い（フェーズ
［１］）、仮符号化を行って全体の符号量との関係から
量子化ステップサイズなどの符号化パラメータを決定し
（フェーズ［２］）、この後に実際の多重化ストリーム
を生成するための本符号化を行う（フェーズ［３］）の
３フェーズよりなる。制御部１０２は、これらの手順に
ついての制御も行う。

【００３７】まず、制御部１０２はモデリング部１０３
にモデル生成の指示を出し、モデルリング部１０３はそ
の指示に従って記憶部１０１をアクセスして記憶部１０
１に記憶されている多視点画像を読み込み、モデル推定
のフェーズ［１］を開始する（モデルの推定方法の詳細
については後述する）。本実施形態では、このモデルを
表す情報（以下、モデル情報という）は被写体面上の各
点の座標値（極座標）とその点の輝度の代表値（代表輝
度値）から構成される。代表輝度値としては、被写体面
上の対応する点からの法線方向に最も近い視点によって
撮影された視点画像の該当する輝度値が用いられるが、
後述する予測を考慮して全体の予測を最適化する値を代
表輝度値として求めてもよい。そして、各点についての
モデル情報の代表輝度値は、その点からの法線方向に最
も近い視点により撮影された視点画像の輝度値としてフ
レーム内符号化されて送られる（詳細は後述する）。

【００３８】このようにモデルリング部１０３の処理
は、被写体面上の各点に対応する座標値ｒの推定と、各
点に対応する代表輝度値を得るべき視点画像の特定であ
る。モデリング部１０３の処理については、後に詳しく
説明する。

【００３９】モデリング部１０３の処理が終了すると、
被写体面上の各点の代表輝度値として使用される視点画
像内の該当するブロックが対応する座標値よりなるブロ
ックとともにＤＣＴ部１１１、量子化部（Ｑ）１１２、
可変長符号化部（ＶＬＣ）１１３よりなるフレーム内符
号化部に送られる。このフレーム内符号化部において
は、まずＤＣＴ部１１１で輝度値および座標値のブロッ
クが離散コサイン変換（ＤＣＴ）され、これによって得
られたＤＣＴ係数が量子化部１１２で量子化された後、
可変長符号化部１１３で可変長符号化され、モデル情報
を符号化したモデルデータとして多重化部１１６に送ら
れる。量子化部１１２により量子化されたＤＣＴ係数デ
ータは、また逆量子化部（Ｑ^−１）１１４で逆量子化さ
れ、さらに逆ＤＣＴ部（ＩＤＣＴ）１１５で逆離散コサ
イン変換（逆ＤＣＴ）された後、モデル蓄積部１０４に
蓄えられる。

【００４０】ここで、座標値は後述する予測信号の作成
の性能に大きく影響を与えるので、できるだけ細かく量
子化することが望ましい。また、ＤＣＴに代えてＤＣＰ
ＣＭなど他の符号化方式を用いてもよいし、さらに完全
に可逆な符号化を用いるようにしてもよい。また、輝度
値についても多視点画像全体の予測に使われる予測値の
基となるので、細かいステップサイズで量子化するのが
望ましい。

【００４１】ＭＰＥＧなどの動画像符号化方式では通
常、ＩピクチャおよびＰピクチャをＢピクチャよりも細
かく量子化するが、この差別化の度合いよりも大きく差
別化する、すなわちモデル情報として送る輝度値は後述
する誤差の符号化で用いる量子化よりもかなり細かく行
うことが望ましい。制御部１０２は、トータルの目標符
号化ビット数よりこれらのモデルの量子化ステップサイ
ズを決定し、それを量子化部１１２および逆量子化部１
１４に通知する。但し、上述したような理由によりモデ
ル量子化ステップサイズは目標符号化ビット数にあまり
大きく影響されないように、細かい値に設定することが
望ましい。

【００４２】こうして輝度値および座標値よりなるモデ
ル情報の符号化が終了すると、次のフェーズ［２］で予
測誤差の仮符号化が行われ、これによって予測誤差符号
化のための量子化ステップサイズが決定される。この場
合、まず記憶部１０１より多視点画像が１フレームずつ
読み出される。なお、各視点画像がそれぞれここでいう
フレームで構成されているとする。各フレームに対し
て、モデル蓄積部１０４に蓄えられた座標値と輝度値よ
りなるモデル情報から、予測信号生成部１０５において
予測信号が作成される。

【００４３】次に、図１の各部について詳細に説明す
る。図２に、多視点画像入力部１００の構成例を示す。
この例では、被写体２０１は回転台２０２に載せられ、
カメラ２０３により撮影される。カメラ２０３の光軸２
０６は回転台２０２の回転軸２０５と交差しており、回
転軸２０５と光軸２０６とは互いに直交しているものと
する。回転軸２０５と光軸２０６の位置関係は既知であ
り、その間の距離はＲであるとする。回転台２０２は制
御装置２０４により一定の角度（例えば３°）ずつステ
ップ的に回転するように制御され、その都度カメラ２０
３により画像が入力される。この例では、カメラ２０３
の一回転で視点の異なる１２０枚の画像が入力されるこ
とになる。次に、この場合の光線空間について説明す
る。

【００４４】前述した文献２に示されているように、円
筒記録の場合、点（Ｘ，Ｙ，Ｚ）を通る光線は、光線空
間上の次式により表現される座標に記録される。 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （３） Ｑ＝−Ｘｓｉｎθ・ｔａｎφ＋Ｙ−Ｚｃｏｓθ・ｔａｎφ （４） ここで今、従来技術の項でも説明したように、扱う情報
量、演算量が大きくなりすぎないようにＱ方向の光線の
変化は考えないものとする。また、光線空間は回転軸２
０５に直交する平面２０７で定義し、これをＹ方向に積
み上げて近似するものとする。この場合、φ方向の変化
によるオクルージョンなどは再現されない。

【００４５】図３は、平面２０７上での被写体２０１の
断面３０１とカメラ２０３の位置関係を表している。こ
こで表記上、回転台２０２の回転軸２０５を中心とする
極座標表現（ｒ，ψ）を図３に示すように導入すると、 Ｘ＝ｒｓｉｎψ （５） Ｚ＝ｒｃｏｓψ （６） であるから、式（３）より Ｐ＝ｒｃｏｓθ・ｓｉｎψ−ｒｓｉｎθ・ｃｏｓψ ＝ｒｓｉｎ（ψ−θ） （７） となる。従って、図４に示すように光線空間であるｐ−
θ平面上での１２０枚の視点画像からなる多視点画像の
光線空間上における軌跡４１１は、 Ｐ＝Ｒｓｉｎ（ｎ＊３°−θ），ｎ＝０，…，１１９ （８） で表される。

【００４６】ここで、軌跡４１１の中の曲線４０１，４
０２，４０３，４０４，…は、それぞれ３°ずつ異なる
角度から撮影した視点画像を示している。すなわち、曲
線４０１，４０２，４０３，４０４，…は、それぞれ互
いに３°ずつ異なる角度から撮影した複数の視点画像に
おける特定のＹ方向位置に対応する一走査線分の画像を
表している。

【００４７】同様の性質は、被写体面上の点においても
当てはまり、被写体面を表す関数ｒ（ψ）を導入する
と、被写体面上の任意の点（ｒ（ψ），ψ）から出る光
線の軌跡４１２は、 Ｐ＝ｒ（ψ）ｓｉｎ（ψ−θ） （９） で表される。

【００４８】従って、被写体面上の任意の点（ｒ
（ψ），ψ）から出る光線の軌跡４１２の光線情報は、
軌跡４１１の中の曲線４０１，４０２，４０３，４０
４，…と軌跡４１２との交点４０５，４０６，４０７，
４０８，…で与えられることになる。このことは、被写
体面上の点のみならず、（Ｘ，Ｙ，Ｚ）座標上の任意の
点についても言える。

【００４９】そこで、多視点画像から任意視点画像を再
生する場合には、その視点の位置情報によってその視点
を通る光線の軌跡が図４の光線空間上に決定され、その
軌跡と軌跡４１１の中の各曲線４０１，４０２，４０
３，４０４，…との交点における光線情報を採ってくる
ことにより、任意視点画像の画面の一つの走査線が再生
される。従って、この例においては平面２０７に平行な
各平面で同様の操作を行い、得られた各走査線をＹ方向
に積み上げることによって、任意視点画像の画面全体、
つまり全てのＹについての走査線を再生できる。

【００５０】被写体面上の一点ｒ（ψ）から出る光線の
光線空間上の軌跡が前述の式（９）で表せるということ
は、被写体面が光線の方向によって光線情報の値があま
り変わらない完全拡散面に近い性質の面である場合に
は、被写体面上の一点ｒ（ψ）に対応する多視点画像
は、その点の座標値ｒと代表輝度値でモデル化でき、ま
た被写体面が完全拡散面から遠い性質の場合には、座標
値ｒとθの関数である輝度Ｌ（θ）でモデル化できるこ
とを示している。ここでいう輝度とは、ＴＶカメラでい
うと輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂ、または３原
色信号Ｒ，Ｇ，Ｂなどに対応するものを称している点に
注意されたい。文献２では、この輝度は光線情報と称せ
られている。

【００５１】次に、図５を用いて予測信号の生成原理を
説明する。図５は、図４で説明したｐ−θ平面の図であ
り、前述したように多視点画像をＹ＝一定の断面で切っ
たときの一つの走査線に対応している。フレーム５０１
は現在符号化しようとしている符号化対象フレーム（あ
る特定角度から被写体を撮影することによって得られた
視点画像）、フレーム５０２はモデルを含むフレーム
（代表輝度値として使用された部分を含む特定角度の視
点画像）、ブロック５０６はモデルとして符号化され、
復号化されたブロックを示している。

【００５２】予測信号の作成は、ブロック５０６のよう
にモデルとして符号化された全てのブロック上の点か
ら、入力される符号化対象フレーム５０１に対して投影
を行うことにより行われる。ブロック５０６上の点５０
７は、復号化された輝度値および座標値ｒの値を有して
いる。この点５０７も被写体上の点より投影されてでき
ているものであるから、点５０７の輝度値は既に説明し
た原理より、点５０７の輝度の源となっている被写体上
の点の極座標表現を（ｒ，ψ）とすれば、ｒｓｉｎ（ψ
−θ）とフレーム５０２の交点として表現される。これ
らのうち座標値ｒは情報として復号化されており、θの
値はフレーム５０２の位置により一意に決まるため、ψ
の値を求めればよい。

【００５３】点５０７を通るｒｓｉｎ（ψ−θ）の曲線
は、例えば図５の例では５０３，５０４の２通り存在す
るが、図６に示すようにｐ−θ平面に見える点として投
影されるのは、ｚ＝ｒｃｏｓ（ψ−θ）の値が大きい方
のψ１であることにより、一意に求められる。従って、
点５０７を通る光線の軌跡は５０３と確定する。このこ
とから、点５０７より投影される符号化対象フレーム５
０１上の点は曲線５０３，５０４の交点５０８となる。
点５０８に投影される光線の軌跡は他にも存在し得る
（この例では軌跡５０５）。一点に複数の光線が投影さ
れた場合、図６の原理に従いｚの値が最も大きい光線が
最終的に投影されたことになる（図５の例では軌跡５０
３）。モデルとして符号化された点５０７のような全て
の点から、符号化対象フレーム５０１への投影を行う
と、フレーム５０１は予測信号で密に埋まる。モデルは
これを満たすように選択され、符号化されている。この
ようにして、符号化対象フレーム５０１毎に被写体面上
の各点のモデル情報によって、そのフレームの画像が予
測される。

【００５４】また、別の方法としてモデル化の負荷を小
さくし、不完全なモデルを許容する方法も考えられる。
この場合は、モデルの全点を投影し終わっても予測信号
が形成されない点があり得ることになる。その場合、予
測信号は０であるとしてよいし（方法１）、あるいは生
成された近隣の予測信号から内挿してもよい（方法
２）。

【００５５】また逆に、本実施形態ではモデルの符号化
の最小単位はブロックになっているので、被写体面上の
ある点に対応する視点画像上の点は、被写体面上のその
一つの点に対して、複数回符号化される可能性があり得
る。この場合、一点に重複して投影されたときは、モデ
ルからの投影における規則として例えば非投影面に角度
的に一番近い視点画像上でモデルとして符号化された点
からの投影を有効にするなどとして、符号化側と復号側
で投影による予測信号生成にミスマッチが起こらないよ
うにすることが必要である。

【００５６】このようにして生成された各フレームの予
測信号は、図１中の減算部１０６において対応する入力
フレームとブロック単位で差分がとられ、予測誤差が求
められる。この予測誤差はＤＣＴ部１０７に送られ、ブ
ロック単位でＤＣＴが行われる。これにより得られたブ
ロック単位のＤＣＴ係数は、記憶部１０８に蓄積される
と共に、量子化部（Ｑ）１０９によりブロック単位で量
子化される。ステップサイズ決定のための仮符号化のス
テージでは、量子化は固定の２通りのステップサイズＱ
１，Ｑ２で行われ、それぞれについて符号量カウンタ１
１７で符号量が全てのフレームについて累積される。

【００５７】制御部１０２は、二通りのステップサイズ
に対してそれぞれ得られた符号量とトータルの目標符号
量から、モデルの符号量に費やした符号量およびヘッダ
等の付加情報に費やす符号量を差し引いた残りの符号量
に従って、トータルの符号量が目標内に入るためのステ
ップサイズＱＥを符号量とステップサイズとの関係を表
す曲線を内挿することによって推定し、この値が次のス
テップである実際の予測誤差の符号化に使われる。具体
的には、 ｌｏｇ（符号量）＝αｌｏｇＱ＋β （１０） を仮定して、Ｑ１，Ｑ２による符号化結果からαとβを
推定し、目標符号量から逆にステップサイズＱＥを求め
る。ここで、各フレームの予測誤差情報はどれも同じ性
質を有しており、ＭＰＥＧのように再生フレーム間に性
質の違いはないので、どのフレームの予測誤差について
も同じステップサイズで量子化されるとの前提で、ステ
ップサイズの推定を行う。

【００５８】次の本符号化のフェーズ［３］では、予測
誤差情報の生成およびＤＣＴについては仮符号化のステ
ージで既に終了しているので、記憶部１０８に蓄えられ
ているＤＣＴ係数を読み出し、量子化部１０９で量子化
する。量子化部１０９での量子化は、前述した制御部１
０２で推定された最適なステップサイズＱＥによって行
われ、量子化結果が可変長符号化部（ＶＬＣ）１１０で
可変長符号化されて、予測誤差が符号化された予測誤差
データとして多重化部１１６に送られる。ここで、量子
化部１０９により量子化されたＤＣＴ係数情報が全て０
のブロックについては無効と判定し、そのブロックにつ
いては情報を全く送らないようにすることにより、後述
するように情報量を大幅に減らしている。

【００５９】次に、多重化部１１６は可変長符号化部１
１３からのモデル情報および対称性に関する情報の符号
化結果と、可変長符号化部１１０からの予測誤差の符号
化結果とを多重化して、多視点画像の符号化データであ
る多重化ストリームを出力する。この時の多重化フォー
マットについては後述する。

【００６０】図７は、図１の多視点画像符号化装置の機
能を実現する具体的な装置の例を示す図であり、典型的
にはＰＣを用いて構成される。この装置はＣＰＵ７０
１、画像入力装置７０２、大容量の記憶装置（典型的な
例としては、ハードディスク装置）７０３およびＲＡＭ
（ランダムアクセスメモリ）７０４をバス７００で接続
して構成される。

【００６１】図１と図７の対応を説明すると、図１の多
視点画像入力部１００は画像入力装置７０２により実現
され、例えば図２に示したように構成される。この場
合、図２の制御部２０４はＣＰＵ７０１が兼ねるように
構成するのがよい。また、図１の制御部１０２もＣＰＵ
７０１により実現される。図１の多視点画像を記憶する
ための記憶部１０１は、記憶装置７０３によって実現さ
れる。図１のモデル蓄積部１０４およびＤＣＴ係数のた
めの記憶部１０８は、ＲＡＭ７０５によって実現され
る。

【００６２】図１中のその他の要素、すなわち、モデリ
ング部１０３、予測信号生成部１０５、減算部１０６、
ＤＣＴ部１０７、量子化部１０９、可変長符号化部１１
０、ＤＣＴ部１１１、量子化部１１２、可変長符号化部
１１３、逆量子化部１１４、逆ＤＣＴ部１１５および多
重化部１１６は、ＣＰＵ７０１によるディジタル演算お
よびディジタル信号処理によって実現される。

【００６３】次に、図８に示すフローチャートを用いて
本実施形態における多視点画像符号化の手順を説明す
る。まず、画像入力装置７０２により多視点画像が入力
され（ステップ８０１）、記憶装置７０３に蓄えられ
る。次に、モデル推定が行われ、モデル情報が生成され
る（ステップ８０２）。このステップ８０２を含め、以
下のステップでの処理は全て多視点画像を記憶装置７０
３から参照しつつ必要なデータをＲＡＭ７０４に蓄え、
ＣＰＵ７０１よりデータを参照することによって行われ
る。

【００６４】本実施形態では、前述したようにモデル情
報は被写体面上の各点の座標値と輝度値からなる。但
し、座標値としては推定の確度により全点に対して与え
るのではなく、高い確度で求まる代表的な点のみについ
て求め、他の点の座標値は代表点の座標値より推測する
ようにしてもよい。

【００６５】ステップ８０２でモデル情報が求まった
ら、次にモデル情報の符号化が行われる（ステップ８０
３）。符号化の典型例としては、モデル情報のうちの輝
度値に対してはテキスチャ画像としてＪＰＥＧやＭＰＥ
ＧのＩピクチャの符号化に代表されるような、ブロック
化した後、ＤＣＴ＋量子化＋可変長符号化を行う方法が
適当であり、座標値についてもブロック上に密に得られ
る場合には輝度値と同様の方法、代表点についてのみ得
られるような場合には予測符号化等の方法が適当であ
る。これらは図１におけるＤＣＴ部１１１、量子化部１
１２および可変長符号化部１１３に相当する処理で実現
される。こうしてモデル情報を符号化して得られたモデ
ルデータは、一旦記憶装置７０３に蓄えられる。

【００６６】次に、モデルデータの局部復号化が行われ
る（ステップ８０４）。この局部復号化はモデルデータ
をステップ８０３の逆の手順で元のモデル情報に戻す操
作であり、例えば逆量子化＋逆ＤＣＴにより行われる。
これは図１における逆量子化部１１４および逆ＤＣＴ部
１１５に相当する処理で実現される。このモデルデータ
の局部復号化によって得られたモデル情報は、後のステ
ップで使用するためにＲＡＭ７０４（図１のモデル蓄積
部１０４）に蓄えられる。

【００６７】こうしてモデル情報の符号化が終了する
と、次に多視点画像を構成する各視点画像の予測符号化
のループに入る。例として、多視点画像の画像の枚数を
ｎmax（例えば１２０枚）として説明する。

【００６８】まず、フレーム番号ｎを０にセットする
（ステップ８０５）。次に、フレーム番号ｎを１ずつイ
ンクリメントし（ステップ８０６）、記憶装置７０３よ
り多視点画像を１フレームずつ読み出す（ステップ８０
７）。なお、多視点画像を構成する個々の視点画像がそ
れぞれここでいうフレームで構成されているとする。

【００６９】次に、各フレームに対してＲＡＭ７０４に
蓄えられたモデル情報から予測信号を生成する（ステッ
プ８０８）。この予測信号の具体的な生成手順は、図５
を用いて説明した通りである。

【００７０】次に、このようにして生成された予測信号
と入力フレームｎとの差分がとられて予測誤差が生成さ
れ（ステップ８０９）、この予測誤差が符号化される
（ステップ８１０）。この予測誤差の符号化の典型例も
ＤＣＴ＋量子化＋可変長符号化であり、図１におけるＤ
ＣＴ部１０７、量子化部１０９および可変長符号化部１
１０に相当する処理で実現される。こうして予測誤差を
符号化して得られた予測誤差データは、記憶装置７０３
に蓄えられる。

【００７１】上述したステップ８０６〜８１０の処理を
多視点画像の全てのフレームについて、つまりステップ
８１１でｎ＝ｎmax と判定されるまで繰り返し行う。

【００７２】ここで、予測誤差符号化ステップ８１０に
おける量子化においては、量子化されたＤＣＴ係数情報
が全て０であった場合に、そのブロックを無効と判定
し、そのブロックについては情報を全く送らないものと
する。本実施形態における予測では、物理現象に直接対
応したモデルを使用しているので、モデル化が良好に行
われる画像については、予測誤差がほとんど発生しない
ことが期待できる。従って、情報量を大幅に減らすため
に、このように有効判定を行って無効なブロックを送ら
なくすることは非常に重要である。

【００７３】次に、記憶装置７０３に蓄えられたモデル
データと予測誤差データを多重化し（ステップ８１
２）、多重化ストリームを生成する。この多重化は図１
中の多重化部１１６に相当する処理である。

【００７４】図９（ａ）〜（ｇ）に、この場合の多重化
フォーマットの例を示す。この多重化フォーマットは、
ＴＶ会議用のＩＴＵ−Ｔ勧告Ｈ．２６１の多重化フォー
マットの記述方法に準じて記述されている。本実施形態
では、多重化フォーマットは可能な限りＭＰＥＧ等の既
存の符号化に似せたフォーマットとなるようにした。ま
ず、フォーマットは階層的な構造とした。各レイヤの情
報にはスタートコード、エンドコードなどのレイヤ固有
の情報を含むヘッダおよびトレイラが存在する。最上位
レイヤは、１セットの多視点画像で表現される図９
（ａ）のオブジェクトレイヤである。

【００７５】オブジェクトレイヤは、次に図９（ｂ）の
モデルレイヤと図９（ｃ）の誤差レイヤに分れる。モデ
ルレイヤのヘッダは、輝度値を量子化するステップサイ
ズ（ＱＵＡＮＴ）、ｒを量子化するステップサイズ（Ｑ
ＵＡＮＴ＿ｒ）を含み、誤差レイヤのヘッダは、誤差情
報を量子化するステップサイズ（ＱＵＡＮＴ）を含む。
再生側では、モデルレイヤはどのような視点からの画像
を再生する場合でも必ず全てが復号の初期のステージで
アクセスされるのに対して、誤差レイヤは視点によって
アクセスされる部分が変わるので、モデルレイヤは図に
示すようにオブジェクトレイヤの情報のうち前の方に固
めて配置され、その後に誤差レイヤの情報が続くように
するのが良い。

【００７６】図９（ｂ）（ｃ）に示したモデルレイヤと
誤差レイヤの内容は共通の構造を持つ。まず、モデルレ
イヤと誤差レイヤの直ぐ下のレイヤとして、図９（ｄ）
に示すフレームレイヤが来る。フレームレイヤのへッダ
はフレーム番号（ＰＮ）、そのフレームが撮影された条
件である、被写体の中心軸とカメラとの距離Ｒおよびカ
メラの光軸と交わる被写体面の角度座標ψの情報を含
む。

【００７７】Ｒ、ψの情報は、図２で説明したように固
定距離、固定回転角での撮影である場合に限定すれば、
オブジェクトレイヤのヘッダに入っていてもよいが、よ
り一般的にはフレーム毎に異なっても問題なく、本実施
形態ではフレームレイヤに存在するものとする。また、
この情報は論理的にはモデルまたは誤差のいずれか一方
に入っていれば再生可能であるが、アクセスを簡単にす
る都合上、ここでは両方に入っているものとする。

【００７８】フレームレイヤの下は、図９（ｆ）に示す
ＭＢ（マクロブロック）レイヤであるが、ＭＰＥＧのよ
うにフレームレイヤとＭＢレイヤの間に図９（ｅ）に示
すスライスレイヤが入ってもよい。スライスレイヤは、
ＳＳＣ（Ｓｌｉｃｅ Ｓｔａｒｔ Ｃｏｄｅ）、ＳＮ
（Ｓｌｉｃｅ Ｎｕｍｂｅｒ）およびそのスライスに属
する複数のマクロブロックレイヤから構成されている。
スライスレイヤが入るとスライス毎へのアクセスがし易
くなり、復号処理が楽になると共にオブジェクトを軸に
直交する面で切った一部のみの再生がしやすくなる。

【００７９】マクロブロックレイヤの下は図９（ｇ）に
示すブロックレイヤであり、この中はＤＣＴ係数（Ｔｃ
ｏｅｆｆ）とＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）より
なる。モデルのマクロブロックは、図１０に示すように
Ｙ（輝度）、ｒ、ＣｒおよびＣｂ（色差）のブロックよ
りなる。誤差のマクロブロックは、図１０からｒのブロ
ックを取り除いたＹ（輝度）、ＣｒおよびＣｂ（色差）
のブロックよりなる。スライス、マクロブロック共にへ
ッダにはフレーム内でのアドレス情報を含み（ＳＮおよ
びＭＢＡ）、情報の無いスライス、マクロブロックは送
られない（スキップ）。マクロブロックレイヤのパリテ
ィ（ＰＡＲＩＴＹ）は、図５の説明で前述したψを指示
するためのパリティ（ｚ：＋ｏｒ−を示す）であり、モ
デルレイヤについてのみ送られる。ＣＢＰはマクロブロ
ック内の情報を含むブロックのパターンを示す情報であ
り、誤差レイヤのマクロブロックについてのみ送られ
る。

【００８０】なお、本実施形態ではＭＰＥＧ等との親和
性からマクロブロックレイヤ（ＭＢレイヤ）を持つ構造
にしたが、マクロブロックレイヤの階層にいきなりブロ
ックレイヤがくるように構成しても、なんら問題はな
い。

【００８１】（多視点画像復号化装置について）次に、
本発明により任意視点画像再生方法が適用される多視点
画像の復号化方法について説明する。図１１は、図１に
示した多視点画像符号化装置に対応する多視点画像復号
化装置の構成を機能ブロック図で表したものであり、実
際には後述するように例えばパーソナルコンピュータ
（ＰＣ）を用いて実現される。

【００８２】図１の多視点画像符号化装置で生成された
多重化ストリームは、記憶装置１０００に記憶されてい
るものとする。この記憶装置１０００から読み出された
多重化ストリームは分離部１１０１に入力され、多重化
ストリーム内のオブジェクトレイヤの情報はモデルレイ
ヤの情報（モデルデータ）と誤差レイヤの情報（予測誤
差データ）とに分離される。

【００８３】分離部１１０１から出力されるデータのう
ち、モデルデータは可変長復号部（ＶＬＤ）１１０７で
可変長復号された後、逆量子化部（Ｑ^−１）１１０８で
逆量子化、さらに逆ＤＣＴ部（ＩＤＣＴ）１１０９で逆
ＤＣＴされてフレーム番号やＲ，ψの値などのようなヘ
ッダに含まれていた付随する情報とともにモデル蓄積部
１１１０にモデル情報として蓄積される。一方、分離部
１１０１からの予測誤差データは復号化されることなく
そのまま誤差記憶部１１０３に蓄積される。これで再生
の準備が整った状態になる。

【００８４】次に、再生の次のステップとして、視点情
報入力部１１００より再生すべき任意視点画像に対応す
る視点位置および視点方向を表す情報が入力される。視
点情報入力部１１００の例としては、ＶＲＭＬブラウザ
で実現されている、表示画面上に仮想的なレバーやハン
ドルを表示し、これをマウスなどのポインティング装置
で仮想的に操作することによって視点の位置および視点
の方向を入力するシステムなどが挙げられる。この入力
によって、対応する視点の視点画像の生成が開始され
る。

【００８５】計算部１１０２は、この際に後述するよう
に複数の視点画像の中で必要な視点画像中の参照すべき
画素位置（参照画素位置）を計算によって求め、さらに
予測信号の生成と平行して、参照画素位置の情報に基づ
きフレームメモリ１１１３に対して、指定された視点画
像を生成すべくアドレスを発生する。このとき、計算部
１１０２は誤差蓄積部１１０３に対しては、対応する参
照画素をアドレス指定するのに必要な、誤差情報を含む
フレーム番号、マクロブロック番号、画素番号を送る。

【００８６】次に、予測信号生成部１１１１は計算部１
１０２で計算された参照画素位置の情報に基づいて予測
信号を生成する。この予測信号生成の手順については、
後に詳しく説明する。

【００８７】図１３は、図１１の多視点画像復号化装置
の機能を実現する具体的な装置の例を示す図であり、典
型的にはＰＣを用いて構成される。この装置はＣＰＵ１
３０１、視点位置・視線方向入力装置９０２、大容量の
記憶装置（典型的な例としては、ハードディスク装置）
１３０３、ＲＡＭ（ランダムアクセスメモリ）１３０４
をバス１３００で接続して構成される。

【００８８】図１１との対応を説明すると、図１１の記
憶装置１０００は記憶装置１３０３に対応し、視点情報
入力部１１００は視点位置・視線方向入力装置１３０２
に対応する。さらに、図１１の誤差記憶部１１０３およ
びモデル蓄積部１１１０は、ＲＡＭ１３０４によって実
現される。

【００８９】図１１中のその他の構成要素、すなわち、
分離部１１０１、アドレス計算部１１０２、可変長復号
化部１１０４、逆量子化部１１０５、逆ＤＣＴ部１１０
６、可変長復号化部１１０７、逆量子化部１１０８、逆
ＤＣＴ部１１０９、予測信号生成部１１１１および加算
部１１１２は、ＣＰＵ１３０１によるディジタル演算お
よびディジタル信号処理によって実現される。

【００９０】次に、図１４に示すフローチャートを用い
て本実施形態における多視点画像からの任意視点画像再
生の手順を説明する。まず、符号化されたデータ（多重
化ストリーム）を記憶装置１３０３に入力する（ステッ
プ１４００）。この多重化ストリームには既に説明した
ように、モデル情報を符号化したモデルデータと、予測
誤差を符号化した予測誤差データが多重化されている。
これらモデルデータと予測誤差データの種別は、多重化
ストリーム中のヘッダによって示される。そこで、この
多重化ストリームを記憶装置１３０３から読み出し、ヘ
ッダを解析しながら、モデルデータと予測誤差データを
分離する。そして、予測誤差データについては、符号化
されたデータのままＲＡＭ１３０４に保持する（ステッ
プ１４０１）。図１３の装置構成の場合、モデルデータ
と予測誤差データの分離処理を含めて、以後の処理は全
てＣＰＵ１３０１で行われる。

【００９１】次に、分離されたデータのうちモデルデー
タについては復号化を行い、得られたモデル情報をＲＡ
Ｍ１３０４に保持する（ステップ１４０２）。モデルデ
ータの復号化は符号化手順で説明したモデルデータの局
部復号化処理と全く同じであり、典型的には可変長復号
＋逆量子化＋逆ＤＣＴといった処理である。これは図１
１における可変長復号化部１１０７、逆量子化部１１０
８および逆ＤＣＴ部１１０９に相当する処理で実現され
る。

【００９２】ステップ１４０１，１４０２の処理は、ソ
フトウェア起動時あるいはソフトウェア内でのオブジェ
クトを選択した時点で、視点位置・視線方向の情報が入
力される前に行われ、これで再生の準備が整った状態と
なる。

【００９３】次に、視点位置・視線方向入力装置１３０
２により視点の位置および視線方向の情報を入力する
（ステップ１４０３）。視点位置・視線方向入力装置１
３０２の例としては、バーチャルリアリティの分野で使
用されるヘッドマウントディスプレイに位置センサ、方
向センサを取り付けたものなどを使用できる。しかし、
ＰＣレベルのプラットフォームで手軽に使うことができ
るデバイスとして、例えばＶＲＭＬブラウザで実現され
ている、表示画面上に仮想的なレバーやハンドルを表示
し、これをマウスなどのポインティング装置で仮想的に
操作することによって、視点位置および視線方向を入力
するシステムのようにソフトウエア的に実現されるもの
でも、視点位置・視線方向入力装置１３０２として用い
ることができる。

【００９４】この視点位置・視線方向入力装置１３０２
による入力によって、指定された視点位置より指定され
た視線方向を見た任意視点画像の再生ループが開始され
る。以下、この任意視点画像再生ループの処理を述べ
る。

【００９５】まず、指定された視点位置より指定された
視線方向を見た再生すべき任意視点画像のｐ−θ平面上
での位置（これを再生画像位置という）を計算する（ス
テップ１４０４）。このステップ１４０４の処理は、次
の通りである。

【００９６】まず、視点位置・視線方向入力装置１３０
２より得られた視点位置、視線方向のパラメータをオブ
ジェクト固定の座標に変換した距離Ｒ、移動角ξのパラ
メータに変換する。次に、移動角ξを０として再生画像
を求め、求まった再生画像をξを考慮して平行移動する
ことによって、指定された視点位置より指定された視線
方向を見た再生画像を作成する。このときの平行移動量
は、カメラの視野角と扱う再生画像の解像度によって決
まる。すなわち、カメラの視野角を±η、扱う画像サイ
ズの横方向をＨとすると、 αｔａｎη＝Ｈ／２ （１１） なる関係を持つαを求め、 Δ＝αｔａｎξ （１２） なるΔだけ平行移動すればよい。

【００９７】次に、ξ＝０として再生画像を求める様子
を図１２を参照して説明する。まず、求められた距離Ｒ
のパラメータより、ｐ−θ平面上の再生画像１２０１
（図１２では曲線で表されている）が求められる。この
再生画像１２０１の曲線は、Ｙの値によらず共通であ
る。

【００９８】図１４に説明を戻すと、ステップ１４０４
で上述のように再生画像位置を計算した後、スライス番
号ｓｌを０にセットし（ステップ１４０５）、スライス
を１つずつカウントして（ステップ１４０６）、スライ
ス毎の処理を行うループに入る。本実施形態では、１マ
クロブロックラインを１スライスとして符号化されたも
のとし、復号はスライス毎に行うとして説明する。図１
２の再生画像１２０１を再生するために参照される視点
画像（図１２では曲線で表されている）１２０３等は、
被写体の形状に応じて異なったｐに相当する部分となる
が、Ｙ座標は同じ値が参照されるので、マクロブロック
ライン（＝スライス）毎の処理は、この性質に適してい
る。

【００９９】次に、再生画像１２０１の各点に対する参
照画素位置を計算する（ステップ１４０７）。例えば、
図１２に示すように再生画像１２０１と視点画像１２０
２，１２０３との交点をそれぞれ点１２０４，１２０５
とすると、再生画像１２０１内で点１２０４から点１２
０５までの間の領域は、光線空間上で近い位置にある曲
線１２０２，１２０３で表される視点画像を参照して再
生される。参照の仕方としては、例えば、領域内の特徴
点からの光線の軌跡を１２０６，１２０７とすると、こ
れらの軌跡１２０６，１２０７には推定された形状情報
が送られているので、視点画像１２０２，１２０３のそ
れぞれのブロックのうち対応する点１２１０，１２１１
に与えられた形状情報に合わせてシフトして参照する方
法が考えられる。言い換えると、このステップ１４０７
は指定された視点位置より指定された視線方向を見た視
点画像（任意視点画像）を再生するために参照すべき、
各視点画像内の被参照領域となるブロックの位置を特定
するステップである。

【０１００】次に、再生画像１２０１の位置にモデルか
ら仮投影を行って予測信号の仮生成を行う（ステップ１
４０８）。このステップ１４０８は、ステップ１４０７
で求められた参照画素位置（被参照領域の位置）に後述
するように予測信号を生成する際に投影すべきモデルの
被写体面上の点を制限して、予測のための演算量を減ら
すための処理である。この先の一連のステップを図１２
を参照しながら説明する。

【０１０１】まず、モデルとして把握している点を全て
再生画像１２０１の位置に投影してみる。このとき、各
視点画像間に挟まれた領域毎に、それらの領域と交わる
モデル上の点を記憶する。図１２でいうと、点１２０４
と１２０５に挟まれた領域に交わるモデル上の点は１２
０６，１２０７であり、これらがＲＡＭ１３０４に記憶
される。

【０１０２】次に、ステップ１４０７で求められた参照
画素位置（被参照領域の位置）に予測信号を生成する
（ステップ１４０９）。例えば、図１２の例では点１２
０４と１２０５に挟まれた領域を再生するのに使用され
る被参照領域は、視点画像１２０２上の点１２１０を含
むブロックおよび視点画像１２０３上の点１２１１を含
むブロックであり、これらの位置に予測信号を生成す
る。この際、モデルとしてＲＡＭ１３０４に保持されて
いる全ての点から投影し、オクルージョンを考慮してこ
こから最前面の投影を選択するのでは演算量が多くな
る。しかし、本実施形態では事前にステップ１４０８で
モデル全体から仮投影を行い、上述の被参照領域に有効
に投影される可能性のあるモデルの点につき絞り込みを
行ってあるので、ここでの予測信号生成のための投影は
ステップ１４０８で記憶された点（図１２の例では１２
０６，１２０７に対応する点）からのみＲＡＭ１３０４
から読み出して投影を行い、オクルージョン判定を行っ
て最終的に有効な投影を決定すればよい。

【０１０３】次に、ステップ１４０７で求められた参照
画素位置（被参照領域の位置）に対応する予測誤差ブロ
ックをＲＡＭ１３０４から読み出し（ステップ１４１
０）、それを復号する（ステップ１４１１）。予測誤差
の復号は、符号化方法で説明した予測誤差の符号化の逆
の処理であり、典型的な例としては可変長復号＋逆量子
化＋逆ＤＣＴである。これは図１１における可変長復号
化部１１０４、逆量子化部１１０５および逆ＤＣＴ部１
１０６に相当する処理で実現される。

【０１０４】次に、予測信号と予測誤差を加算すること
により、上述の領 域における画像（図１２の例では、
視点画像１２０２上の点１２１０を含むブロックおよび
視点画像１２０３上の点１２１１を含むブロック）を再
生する（ステップ１４１２）。

【０１０５】次に、ステップ１４１２で再生された画像
が再生画像位置１２０１に例として上述した規則により
マッピングされる（ステップ１４１３）。

【０１０６】以上の処理をステップ１４１４でスライス
番号ｓｌがｓｌmax に達したと判断されるまで、つまり
ｓｌmax 個の全てのスライスに対して行って、入力され
た視点位置および視線方向に対応する任意視点画像（再
生画像）の生成処理は終了する。また、ステップ１４１
５で別の視点位置および視線方向の入力が新たに行われ
たと判断された場合は、上述と同じ処理を繰り返す。

【０１０７】

【発明の効果】以上説明したように、本発明によれば多
視点画像から任意視点画像を再生する際、使用するメモ
リ量および再生に要する演算量をリーズナブルな範囲に
収め、ＰＣレベルのプラットフォームにおいても任意視
点画像のリアルタイム再生を可能とすることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る多視点画像符号化装
置の構成を機能的に示すブロック図

【図２】図１中の画像入力部の構成例を示す図

【図３】被写体の断面と極座標の関係を説明する図

【図４】入力された多視点画像のｐ−θ平面上での位置
関係を説明する図

【図５】同実施形態における予測信号の作成原理を説明
する図

【図６】重なった光線の処理を説明する図

【図７】同実施形態に係る多視点画像符号化装置を実現
する具体的な装置の構成例を示すブロック図

【図８】同実施形態における多視点画像符号化の手順を
示すフローチャート

【図９】同実施形態における多重化フォーマットの一例
を示す図

【図１０】同実施形態におけるマクロブロックの構成例
を示す図

【図１１】本発明の一実施形態に係る多視点画像復号化
装置の構成を機能的に示すブロック図

【図１２】同実施形態における復号再生時の参照画素を
求める原理を説明する図

【図１３】同実施形態に係る多視点画像復号化装置を実
現する具体的な装置の構成例を示すブロック図

【図１４】同実施形態における多視点画像からの任意視
点画像生成の手順を示すフローチャート

【図１５】光線空間の円筒記録を説明する図

【符号の説明】

１００…多視点画像入力部 １０１，１０８…記憶部 １０２…制御部 １０３…モデリング部 １０４…モデル蓄積部 １０５…予測信号生成部 １０６…減算部 １０７，１１１…ＤＣＴ部 １０９，１１２…量子化部 １１０，１１３…可変長符号化部 １１４…逆量子化部 １１５…逆ＤＣＴ部 １１６…多重化部 １１７…符号量カウンタ ７００…バス ７０１…ＣＰＵ ７０２…画像入力装置 ７０３…記憶装置 ７０４…ＲＡＭ １０００…記憶装置 １１００…視点情報入力部 １１０１…分離部 １１０２…アドレス計算部 １１０３…誤差記憶部 １１０４，１１０７…可変長復号部 １１０５，１１０８…逆量子化部 １１０６，１１０９…逆ＤＣＴ部 １１１０…モデル蓄積部 １１１１…予測信号生成部 １１１２…加算部 １１１３…フレームメモリ １３００…バス １３０１…ＣＰＵ １３０２…視点位置・視線方向入力部 １３０３…記憶装置 １３０４…ＲＡＭ

Claims (2)

【特許請求の範囲】
1. 【請求項１】被写体との位置関係が既知の複数の視点に
   よって得られた複数の視点画像からなる多視点画像につ
   いて、被写体面上の各点の座標値と輝度値とから構成さ
   れるモデル情報を符号化したモデルデータと、前記モデ
   ル情報から多視点画像中の各視点画像を予測して生成さ
   れた予測信号の各視点画像に対する予測誤差を符号化し
   た予測誤差データとが多重化されている多重化ストリー
   ムから、指定された視点位置より指定された視線方向を
   見た任意視点画像を再生する任意視点画像再生方法であ
   って、 前記多重化ストリームから前記予測誤差データを分離し
   て記憶する第１の記憶ステップと、 前記多重化ストリームからモデルデータを分離し復号し
   て得られたモデル情報を記憶する第２の記憶ステップ
   と、 前記第２の記憶ステップにより記憶されたモデル情報か
   ら前記任意視点画像の予測信号を生成する予測信号生成
   ステップと、 前記第２の記憶ステップにより記憶された予測誤差デー
   タの前記任意視点画像に対応する部分を復号して予測誤
   差を生成する予測誤差生成ステップと、 前記予測信号生成ステップにより生成された予測信号と
   前記予測誤差生成ステップにより生成された予測誤差を
   加算して再生画像を得るステップと、 前記再生画像より前記任意視点画像を生成するステップ
   とを有することを特徴とする多視点画像からの任意視点
   画像再生方法。
2. 【請求項２】被写体との位置関係が既知の複数の視点に
   よって得られた複数の視点画像からなる多視点画像につ
   いて、被写体面上の各点の座標値と輝度値とから構成さ
   れるモデル情報を符号化したモデルデータと、前記モデ
   ル情報から多視点画像中の各視点画像を予測して生成さ
   れた予測信号の各視点画像に対する予測誤差を符号化し
   た予測誤差データとが多重化されている多重化ストリー
   ムから、指定された視点位置より指定された視線方向を
   見た任意視点画像を再生する任意視点画像再生方法であ
   って、 前記多重化ストリームから前記予測誤差データを分離し
   て記憶する第１の記憶ステップと、 前記多重化ストリームからモデルデータを分離し復号し
   て得られたモデル情報を記憶する第２の記憶ステップ
   と、 前記任意視点画像を再生するために参照すべき視点画像
   の被参照領域の位置を計算するステップと、 前記第２の記憶ステップにより記憶されたモデル情報を
   用いて前記被参照領域の位置に予測信号を生成するステ
   ップと、 前記第１の記憶ステップにより記憶された予測誤差デー
   タのうち、前記被参照領域の位置に対応する部分のデー
   タを復号して予測誤差を得るステップと、 前記予測信号と前記予測誤差を加算して再生画像を得る
   ステップと、 前記再生画像より前記任意視点画像を生成するステップ
   とを有することを特徴とする多視点画像からの任意視点
   画像再生方法。