JP2000132683A - 多視点画像符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】処理量を増大させることなくモデル情報の精度
を高めて高品質の多視点画像の伝送を可能とした多視点
画像符号化方法を提供する。 【解決手段】被写体のモデル化を行って生成された符号
化されたモデル情報と、モデル情報より各視点画像に対
して生成された予測信号の予測誤差の情報を多重化して
符号化ストリームを生成する多視点画像符号化におい
て、被写体の形状を推定し（ステップ８０２）、推定さ
れた形状に基づき各視点画像についてブロック毎に対応
する被写体面の領域からの法線方向と視線方向とのなす
角度を求め、その角度をしきい値判定してモデルとして
採用するモデルブロックを選択し（ステップ８０３）、
モデルブロックの代表点の３次元空間上の座標を推定さ
れた形状に基づいて算出し（ステップ８０４）、モデル
ブロックの輝度の情報および算出された座標の情報を符
号化してモデル情報を生成する（ステップ８０５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像を用い
て任意視点から見た画像を作成するような画像処理シス
テムにおける多視点画像情報の削減を目的とした符号化
方法に関する。

【０００２】

【従来の技術】近年、コンピュータ技術、グラフィクス
技術の進展により、バーチャルショッピングモールなど
に代表される仮想空間内のウォークスルーが身近な存在
になりつつある。現状の仮想空間は、構成要素がＣＧ
（コンピュータグラフィクス）によって生成されるもの
が大半である。これに対し、最近ではリアリティに注目
した別のアプローチとして、実写画像から仮想３次元空
間を生成する試みがなされてきている。ＣＧの分野で
は、モデルを精密にし、演算資源を投入することにより
リアリティを追求する努力が払われてきたが、これとは
別に、近年、“imagebased rendering ”と称して、実
写を利用してリアリティを高めようという動きがある。

【０００３】このような技術として、例えば文献［１］
「光線情報による３次元実空間の効率的記述へ向けた光
線空間射影法」苗村他、信学技報ＩＥ９５−１１９で
は、３次元空間上を通る光線を表現する「光線空間」と
いう概念を導入し、多視点画像と光線空間とを相互に変
換することにより、入力された多視点画像から任意視点
画像を生成している。以下、この原理につき具体的に説
明する。

【０００４】光線情報に基づく記述の考え方は、３次元
空間を伝播する光線の情報を３次元の直交座標空間上に
おける光線の通過位置（Ｘ，Ｙ，Ｚ）とその方向（θ，
φ）によって定義される５次元情報空間ｆ（Ｘ，Ｙ，
Ｚ，θ，φ）に記述するというものである。ここで、θ
は直交座標空間上の任意の点（Ｘ，Ｙ，Ｚ）を通過する
光線の水平方向の傾き、つまりＸ−Ｚ平面上の角度を示
し、φは（Ｘ，Ｙ，Ｚ）を通過する光線の垂直方向の傾
き、つまりＸ−Ｚ平面上からＹ軸方向への角度を示す。

【０００５】画像情報が直交座標空間上の任意の点
（Ｘ，Ｙ，Ｚ）に視点を置いたときにそこを通過する
（θ，φ）方向の光線の集合により形成されるものであ
ることを考慮すると、画像情報と前述の光線情報は相互
に変換可能であることが分かる。ここで、光線が減衰せ
ずに直進するという仮定が成立するような場合には、５
次元情報空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）を４次元に縮退
させることができる。上述した文献１には、光線情報を
記録する面の取り方によって平面記録、円筒記録、球面
記録の３通りの記録方法があることが記されているが、
ここでは以後の説明を行うために必要な円筒記録につい
て簡単に説明する。

【０００６】図１４に、円筒記録のための座標系を示
す。まず、空間を４次元に縮退するために（Ｘ，Ｙ，
Ｚ）から（Ｐ，Ｑ，Ｒ）への座標変換が行われる。ここ
で、（Ｐ，Ｑ，Ｒ）座標のＲ軸は、図示のように光線の
進行方向（θ，φ）と一致するように規定される。これ
によりＲ軸に沿った信号の変化はなくなり、この軸は無
視することができるので、（Ｘ，Ｙ，Ｚ，θ，φ）は
（Ｐ，Ｑ，Ｒ）、つまり（Ｐ，Ｑ，θ，φ）の４次元に
変換される。次に、円筒記録ではθが同一であるφ方向
の全ての光線は、θ方向に法線を持つ（Ｐ，Ｑ）平面上
の各点に記録される。これより、 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （１） Ｑ＝−Ｘｓｉｎθ・ｔａｎφ＋Ｙ−Ｚｃｏｓθ・ｔａｎφ （２） の関係が得られる。

【０００７】次に、この原理を使って多視点画像から光
線空間への記録を行い、記録された光線空間から任意視
点画像を生成する原理について説明する。上述の原理に
よって光線空間が４次元に縮退されたといっても、扱う
べき多視点画像の数や演算量は非常に多く、現実的では
ない。そこで、文献［２］「光線情報に基づく３次元空
間操作」石川他、ＰＣＳＪ９６ Ｐ−３．１３において
はφ方向の視差を無視して、（ｐ，θ）の２次元空間
（以下、ｐ−θ平面という）への記録で代用している。

【０００８】また、実際に扱える光線の数には限りがあ
るので、実用にはサンプリングが介在することになる。
すなわち、入力として扱われる視点の数は有限個にとど
められる。このとき、Ｙ＝一定の平面上でのある視点の
座標（Ｘ，Ｚ）が決まると、その点を通る光線の軌跡は
式（１）で与えられる。

【０００９】有限個の複数の視点を設定して画像を入力
すると、光線空間はある視点の座標（Ｘ，Ｚ）を通る光
線の軌跡に沿った光線情報によって埋められてくる。光
線空間上で光線情報の得られていない部分は、得られて
いる光線情報により内挿等によって補間してやると、密
に光線情報で埋まった光線空間が得られる。再生の際は
任意視点（Ｘ，Ｚ）を指定すると、その点を通る光線の
軌跡が式（１）から得られるので、その軌跡上の光線情
報を入力画像情報から取ってくることにより、任意の視
点画像の画面のＹ＝一定における一つの走査線、つまり
ある特定のＹの値に対応する一本の表示ライン上の画像
が得られる。こうして得られる走査線をＹ方向に積み重
ねることによって、任意の視点から見た１画面分の画像
を得ることができる。

【００１０】上述したように、光線空間を用いた原理に
基づく任意視点画像の生成においては、扱うべき情報が
できる限り少なくて済むように簡略化を施してはいる
が、現状では、このような簡略化を施しても情報量、処
理量は依然として非常に多く、再生のリアルタイム化、
情報量の削減などが課題として挙げられている。

【００１１】光線空間の概念を取り入れた多視点画像の
符号化に関する技術としては、文献［３］「複合現実感
表示のための光線空間データの圧縮」片山他、ＩＭＰＳ
９６Ｉ−６．１に開示されている技術がある。この方法
では、同一被写体から得た１２０枚の多視点画像のうち
の何枚かを参照画像として設定してそのまま送り、他の
画像については参照画像中のどの画素値に近いか、とい
う画素を指定する情報として送ることによって、情報を
圧縮している。

【００１２】また、文献［４］（特開平８−１１５４３
９号公報）では多視点画像の圧縮に関連する別の技術と
して、比較的少ない多視点画像の対応点の軌跡を規定す
るパラメータを利用することにより、受信側で任意視点
画像のための内挿を行う技術が開示されている。この
際、このパラメータのみによって光線空間を表現すれ
ば、非常に少ない情報量による表現が可能となる。

【００１３】文献［３］［４］はいずれもモデルのみに
よって多視点画像を表現しようとするものであるが、実
際には特に後者の場合、多視点画像からのモデルの推定
はかなり難しく、誤差を伴うものとなる。この結果、モ
デルの推定に誤差が生じた部分については、再生される
画像が不自然になってしまう。

【００１４】一方、文献［５］「３次元構造推定に基づ
く多眼３次元画像の圧縮と補間」藤井、原島 ３次元画
像コンファレンス’９４ １−４には、３次元構造モデ
ルから多視点画像の予測信号を生成し、予測誤差を送る
方法が開示されている。この文献［５］でのモデルは平
面や平面パッチなどの近似であって、これによる予測の
精度はあまり良いとはいえない。しかし、単純にモデル
情報の精度を高くするとその情報量が増大してしまい、
全体の情報量を減らすことはできない。

【００１５】これらの問題を解決するものとして、文献
［６］「多視点画像の符号化に関する方式検討」上野、
ＩＭＰＳ．９７ Ｉ−３．２には、複数の視点画像か
らなる多視点画像を入力し、被写体面の各点の座標と多
視点画像中でモデルとして使用される視点画像内の各点
に対応する輝度値とからなるモデル情報を生成して、こ
のモデル情報を符号化するとともに、モデル情報から多
視点画像中の各視点画像を予測して得られた予測画像と
各視点画像との予測誤差を符号化し、符号化されたモデ
ル情報および予測誤差の情報を多重化して符号化ストリ
ームを生成する技術が記載されている。

【００１６】この方法によると、モデル情報と予測誤差
の情報を多重化して符号化ストリームとして伝送する方
式であるため、モデルのみにより多視点画像を表現する
文献［３］［４］に記載された技術に比較して多視点画
像をより正確に表現でき、再生画像の良好な画質を保証
することが可能であり、さらに文献［５］に比較してモ
デルの精度を高めることができる。特に、視点画像の視
線方向が被写体面からの法線方向に最も近い点（画素）
の輝度値を被写体面の各点の座標と共にモデル情報とし
て生成するため、モデルの輝度の解像度を高くとること
ができ、良好なモデル化が可能となる。

【００１７】しかし、この文献［６］の方法において
は、良好なモデル情報が得られるという利点を有する反
面、視点画像の各点、つまり各画素毎にモデルを求める
ため、処理量の点でまだ改善の余地がある。

【００１８】

【発明が解決しようとする課題】上述したように従来の
多視点画像符号化技術は、いずれも情報量や処理量が大
きく、また特にモデルによって多視点画像を表現するも
のでは、処理量を増やすことなくモデル情報の精度を高
めることが難しいという問題点があった。

【００１９】本発明は、上記の事情を考慮してなされた
ものであり、処理量を増大させることなくモデル情報の
精度を高めて高品質の多視点画像の伝送を可能とした多
視点画像符号化方法を提供することを目的とする。

【００２０】

【課題を解決するための手段】上述の課題を解決するた
め、本発明に係る多視点画像符号化方法では、まず被写
体との位置関係が既知の複数の視点からそれぞれ異なる
視線方向で得られた被写体についての複数の視点画像か
らなる多視点画像を入力する。この多視点画像から被写
体のモデル化を行い、符号化されたモデル情報を生成す
る。このモデル情報より、各視点画像に対する予測信号
を生成し、各視点画像に対する予測信号の予測誤差を符
号化する。そして、これら符号化されたモデル情報およ
び予測誤差の情報を多重化されて符号化ストリームが生
成される。

【００２１】ここで、モデル化は被写体を各視点画像を
分割したブロックに対応する３次元空間上のブロックの
集合として近似するものとし、被写体の形状を推定し、
この推定された形状に基づき、各視点画像について該視
点画像を分割したブロック毎に該ブロックに対応する被
写体面の領域からの法線方向と視線方向とのなす角度を
求め、その角度をしきい値判定することにより該ブロッ
クをモデルとして採用するか否かを判定し、モデルとし
て採用するモデルブロックを選択する。そして、選択さ
れたモデルブロックの代表点の３次元空間上の座標を推
定された形状に基づいて算出し、選択されたモデルブロ
ックの輝度の情報および算出された座標の情報を符号化
してモデル情報を生成する。

【００２２】このように本発明では、モデル化を視点画
像の画素毎でなく、ブロック毎に行うため、処理量を大
幅に低減できる。また、各視点画像についてブロック毎
に被写体面の対応する領域からの法線方向と視線方向と
のなす角度を求め、その角度をしきい値判定すること
で、モデルとして採用するモデルブロックを選択するこ
とにより、モデル情報の精度、特に輝度の解像度を高め
ることができ、復号化側で高品質の多視点画像を再生す
ることが可能となる。

【００２３】また、モデルブロックの選択のための判定
に際して、しきい値判定の判定条件を段階的に緩和して
判定を行うようにすれば、モデルブロックの選択をより
効率的に実行できる。

【００２４】さらに、このしきい値判定の判定条件に応
じて、多視点画像を構成する視点画像から間引きを行
い、間引いた後の視点画像についてブロック毎に判定を
行うようにすることで、不必要な処理を廃してより効率
的にモデルブロックの選択を行うことができる。

【００２５】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。なお、以下の例では前述した文献
［１］に示された円筒記録モデルに従う例を基に説明す
るが、他のモデルを使用した場合においても本発明は適
用することが可能である。

【００２６】図１は、本発明の多視点画像符号化方法が
適用される装置の典型的な構成を示すブロック図であ
る。この装置はＣＰＵ１０１、多視点画像入力部１０
２、大容量の記憶装置（典型的な例としては、ハードデ
ィスク装置）１０３およびＲＡＭ（ランダムアクセスメ
モリ）１０４からなり、これらをバス１００により接続
して構成される。

【００２７】図２は、図１における多視点画像入力部１
０２の構成例を示す図である。この例では、被写体２０
１は回転台２０２に載せられ、カメラ２０３により撮影
される。カメラ２０３の光軸２０６は回転台２０２の回
転軸２０５と交差しており、回転軸２０５と光軸２０６
とは互いに直交しているものとする。回転軸２０５と光
軸２０６の位置関係は既知であり、その間の距離はＲで
あるとする。回転台２０２は、制御装置２０４により一
定の角度（例えば３°）ずつステップ的に回転するよう
に制御され、その都度カメラ２０３により画像が入力さ
れる。この例では、カメラ２０３の一回転で視点の異な
る１２０枚の画像が入力されることになる。制御装置２
０４は、図１のＣＰＵ１０１が兼ねてもよい。次に、こ
の場合の光線空間について説明する。

【００２８】前述した文献２に示されているように、円
筒記録の場合、点（Ｘ，Ｙ，Ｚ）を通る光線は、光線空
間上の次式により表現される座標に記録される。 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （３） Ｑ＝−Ｘｓｉｎθ・ｔａｎφ＋Ｙ−Ｚｃｏｓθ・ｔａｎφ （４） ここで今、従来技術の項でも説明したように、扱う情報
量、演算量が大きくなりすぎないようにＱ方向の光線の
変化は考えないものとする。また、光線空間は回転軸２
０５に直交する平面２０７で定義し、これをＹ方向に積
み上げて近似するものとする。この場合、φ方向の変化
によるオクルージョンなどは再現されない。

【００２９】図３は、平面２０７上での被写体２０１の
断面３０１とカメラ２０３の位置関係を表している。こ
こで表記上、回転台２０２の回転軸２０５を中心とする
極座標表現（ｒ，ψ）を図３に示すように導入すると、 Ｘ＝ｒｓｉｎψ （５） Ｚ＝ｒｃｏｓψ （６） であるから、式（３）より Ｐ＝ｒｃｏｓθ・ｓｉｎψ−ｒｓｉｎθ・ｃｏｓψ ＝ｒｓｉｎ（ψ−θ） （７） となる。従って、図４に示すように光線空間であるｐ−
θ平面上での１２０枚の視点画像からなる多視点画像の
光線空間上における軌跡４１１は、 Ｐ＝Ｒｓｉｎ（ｎ＊３°−θ），ｎ＝０，…，１１９ （８） で表される。

【００３０】ここで、軌跡４１１の中の曲線４０１，４
０２，４０３，４０４，…は、それぞれ３°ずつ異なる
角度から撮影した視点画像を示している。すなわち、曲
線４０１，４０２，４０３，４０４，…は、それぞれ互
いに３°ずつ異なる角度から撮影した複数の視点画像に
おける特定のＹ方向位置に対応する一走査線分の画像を
表している。

【００３１】同様の性質は、被写体面上の点においても
当てはまり、被写体面を表す関数ｒ（ψ）を導入する
と、被写体面上の任意の点（ｒ（ψ），ψ）から出る光
線の軌跡４１２は、 Ｐ＝ｒ（ψ）ｓｉｎ（ψ−θ） （９） で表される。

【００３２】従って、被写体面上の任意の点（ｒ
（ψ），ψ）から出る光線の軌跡４１２の光線情報は、
軌跡４１１の中の曲線４０１，４０２，４０３，４０
４，…と軌跡４１２との交点４０５，４０６，４０７，
４０８，…で与えられることになる。このことは、被写
体面上の点のみならず、（Ｘ，Ｙ，Ｚ）座標上の任意の
点についても言える。

【００３３】そこで、多視点画像から任意視点画像を再
生する場合には、その視点の位置情報によってその視点
を通る光線の軌跡が図４の光線空間上に決定され、その
軌跡と軌跡４１１の中の各曲線４０１，４０２，４０
３，４０４，…との交点における光線情報を採ってくる
ことにより、任意視点画像の画面の一つの走査線が再生
される。従って、この例においては平面２０７に平行な
各平面で同様の操作を行い、得られた各走査線をＹ方向
に積み上げることによって、任意視点画像の画面全体、
つまり全てのＹについての走査線を再生できる。

【００３４】被写体面上の一点ｒ（ψ）から出る光線の
光線空間上の軌跡が前述の式（９）で表せるということ
は、被写体面が光線の方向によって光線情報の値があま
り変わらない完全拡散面に近い性質の面である場合に
は、被写体面上の一点ｒ（ψ）に対応する多視点画像
は、その点の座標値ｒと代表輝度値でモデル化でき、ま
た被写体面が完全拡散面から遠い性質の場合には、座標
値ｒとθの関数である輝度Ｌ（θ）でモデル化できるこ
とを示している。ここでいう輝度とは、ＴＶカメラでい
うと輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂ、または３原
色信号Ｒ，Ｇ，Ｂなどに対応するものを称している点に
注意されたい。文献２では、この輝度は光線情報と称せ
られている。

【００３５】次に、図５に示すフローチャートを参照し
て本発明に係る多視点画像符号化の処理手順を説明す
る。まず、図１の多視点画像入力装置１０２により多視
点画像が入力され（ステップ５０１）、記憶装置１０３
に蓄えられる。次に、モデル推定が行われ、モデル情報
が生成される（ステップ５０２）。このステップ５０２
を含め、以下のステップでの処理は全て多視点画像を記
憶装置１０３から参照しつつ必要なデータをＲＡＭ１０
４に蓄え、ＣＰＵ１０１によりデータを参照することに
よって行われる。

【００３６】ステップ５０２でモデル情報が求まった
ら、次にモデル情報の符号化が行われる（ステップ５０
３）。符号化の典型例としては、モデル情報のうちの輝
度値に対してはテキスチャ画像としてＪＰＥＧやＭＰＥ
ＧのＩピクチャの符号化に代表されるような、ブロック
化した後、ＤＣＴ＋量子化＋可変長符号化を行う方法が
適当である。テキスチャ以外のモデル情報は、後述のよ
うにして符号化される。ＤＣＴ＋量子化＋可変長符号化
により得られたモデル情報のテキスチャ画像の符号化デ
ータは、一旦記憶装置１０３に蓄えられる。

【００３７】次に、モデルデータの局部復号化が行われ
る（ステップ５０４）。この局部復号化はモデルデータ
をステップ５０３の逆の手順で元のモデル情報に戻す操
作であり、例えば逆量子化＋逆ＤＣＴにより行われる。
このモデルデータの局部復号化によって得られたモデル
情報は、後のステップで使用するためにＲＡＭ１０４に
蓄えられる。

【００３８】こうしてモデル情報の符号化が終了する
と、次に多視点画像を構成する各視点画像の予測符号化
のループに入る。例として、多視点画像の画像の枚数を
ｎmax（例えば１２０枚）として説明する。

【００３９】まず、フレーム番号ｎを０にセットする
（ステップ５０５）。次に、フレーム番号ｎを１ずつイ
ンクリメントし（ステップ５０６）、記憶装置１０３よ
り多視点画像を１フレームずつ読み出す（ステップ５０
７）。なお、多視点画像を構成する個々の視点画像がそ
れぞれここでいうフレームで構成されているとする。

【００４０】次に、各フレームに対してＲＡＭ１０４に
蓄えられたモデル情報から予測信号を生成する（ステッ
プ５０８）。この予測信号生成ステップ５０８について
は、後に詳しく説明する。

【００４１】次に、このようにして生成された予測信号
と入力フレームｎとの差分がとられて予測誤差が生成さ
れ（ステップ５０９）、この予測誤差が符号化される
（ステップ５１０）。この予測誤差の符号化の典型例
も、ＤＣＴ＋量子化＋可変長符号化である。こうして予
測誤差を符号化して得られた予測誤差データは、記憶装
置１０３に蓄えられる。

【００４２】上述したステップ５０６〜５１０の処理を
多視点画像の全てのフレームについて、つまりステップ
５１１でｎ＝ｎmax と判定されるまで繰り返し行う。こ
こで、予測誤差符号化ステップ５１０における量子化に
おいては、量子化されたＤＣＴ係数情報が全て０であっ
た場合に、そのブロックを無効と判定し、そのブロック
については情報を全く送らないものとする。本実施形態
における予測では、物理現象に直接対応したモデルを使
用しているので、モデル化が良好に行われる画像につい
ては、予測誤差がほとんど発生しないことが期待でき
る。従って、情報量を大幅に減らすために、このように
有効判定を行って無効なブロックを送らなくすることは
非常に重要である。

【００４３】次に、記憶装置１０３に蓄えられたモデル
データと予測誤差データを多重化し（ステップ５１
２）、多重化ストリームを生成する。次に、ステップ５
１２で一旦記憶装置に蓄えたモデル符号化データと各視
点画像の予測誤差符号化データを多重化する。

【００４４】図６に、この場合の多重化フォーマットの
例を示す。この多重化フォーマットは、ＴＶ会議用のＩ
ＴＵ−Ｔ勧告Ｈ．２６１の多重化フォーマットの記述方
法に準じて記述されている。本実施形態では、フォーマ
ットは可能な限りＭＰＥＧ等の既存の符号化に似せたフ
ォーマットとなるようにしている。まず、フォーマット
は階層的な構造とした。各レイヤの情報にはスタートコ
ード、エンドコードなどレイヤ固有の情報を含むへッダ
およびトレイラが存在する。最上位レイヤは、１セット
の多視点画像で表現される図６（ａ）のオブジェクトレ
イヤである。オブジェクトレイヤは、次の図６（ｂ）の
モデルレイヤと誤差レイヤに分れる。モデルレイヤのヘ
ッダは、輝度情報を量子化する際の量子化ステップサイ
ズ（ＱＵＡＮＴ）とモデルの最小視方向刻み（Δψ）を
含み、誤差レイヤのへッダは、誤差情報を量子化するス
テップサイズ（ＱＵＡＮＴ）を含む。再生側では、モデ
ルレイヤはどのような視点からの画像を再生する場合で
も、必ず全てが復号の初期のステージでアクセスされる
のに対して、誤差レイヤは視点によってアクセスされる
部分が変わるので、モデルレイヤは図に示すようにオブ
ジェクトの情報のうち前の方に固めて配置され、その後
に誤差レイヤの情報が続くようにするのが良い。

【００４５】モデルレイヤの構成について、図６（ｂ−
１），（ｂ−２）および（ｄ）を用いて説明する。モデ
ルから予測信号生成の処理はスライス毎に行う処理とな
るので、モデルレイヤの直ぐ下のレイヤとしては図６
（ｂ−１）に示すスライスレイヤが来る。スライスレイ
ヤは、ＳＳＣ（Ｓｌｉｃｅ Ｓｔａｒｔ Ｃｏｄｅ），
ＳＮ（Ｓｉｌｃｅ Ｎｕｍｂｅｒ）及びそのスライスに
属する複数のマクロブロックレイヤ（ＭＢレイヤ）から
構成されている。マクロブロックレイヤは、図６（ｂ−
２）に示すようにモデルマクロブロックに与えられた３
次元座標のうちの２成分ｘ，ｚ及びそのモデルマクロブ
ロックが選択された視点画像に対応する視方向ψ及び対
応するブロックデータにより構成される。モデルマクロ
ブロックは、この例では図７に示すようにＲＧＢの各ブ
ロックより構成されている。ＲＧＢの各ブロックのサイ
ズは、例えば８×８画素である。マクロブロックはシン
タックス上の用語で、モデルに属する３次元空間で定義
されたブロックに対応するものである。

【００４６】ｘ，ｚ，ψ共に、隣のマクロブロックとの
差分をとって可変長符号化することで、符号量を減らす
ことができる。特に、ψは角度情報を最小刻みΔψを単
位として除算した後に差分をとるものとする。例えば、
３°おきに撮影した多視点画像の場合、Δψ＝３とな
り、３３０°から撮影したモデルマクロブロックのψの
値は３３０／３＝１１０とした後、同様の計算で得られ
た隣のモデルマクロブロックの該当する値と差分がとら
れる。マクロブロックレイヤの下は図６（ｄ）に示すブ
ロックレイヤであり、その中はＤＣＴ係数（Ｔｃｏｅｆ
ｆ）とＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）よりなる。

【００４７】次に、誤差レイヤの構成について図６
（ｃ），（ｃ−１），（ｃ−２），（ｃ−３）および
（ｄ）を用いて説明する。図６（ｃ−１）に示すよう
に、フレームレイヤのヘッダは、フレーム番号（ＰＮ）
及びその視方向ψ（これはフレームが撮影された条件と
して被写体２０１の中心軸とカメラとの距離Ｒ及びカメ
ラの光軸と交わる被写体面の角度座標の情報である）を
含む。Ｒ，ψの情報は、図２で説明したように固定距
離、固定回転角での撮影である場合に限定すれば、オブ
ジェクトレイヤのへッダに入れてもよいが、より一般的
にはフレーム毎に異なっても問題なく、本実施形態では
フレームレイヤに存在するものとする。また、この情報
は論理的にはモデルまたは誤差のいずれか一方に入って
いれば再生可能であるが、アクセスを簡単にする都合
上、ここでは両方に入れておくものとする。

【００４８】フレームレイヤの下は、スライスレイヤで
ある。スライスレイヤは、図６（ｃ−２）に示すように
ＳＳＣ（Ｓｌｉｃｅ Ｓｔａｒｔ Ｃｏｄｅ），ＳＮ
（Ｓｌｉｃｅ Ｎｕｍｂｅｒ）及びそのスライスに属す
る複数のマクロブロックレイヤから構成されている。ス
ライスレイヤが入ると、スライス毎へのアクセスがしや
すくなり、復号処理が楽になると共に、オブジェクトを
軸に直交する面で切った一部のみの再生がしやすくな
る。

【００４９】スライスレイヤの下は図６（ｃ−３）に示
すマクロブロックレイヤであり、誤差マクロブロックは
モデルマクロブロックと同様に、図７のように構成され
ている。誤差レイヤではスライス、マクロブロック共
に、へッダにはフレーム内でのアドレス情報（ＳＮ，Ｍ
ＢＡ）を含み、情報の無いスライス、マクロブロックは
送られない（スキップ）。ＣＢＰは、マクロブロック内
の情報を含むブロックのパターンを示す情報である。ブ
ロックレイヤの構成は、モデルレイヤと全く同じであ
る。

【００５０】次に、図５のモデル推定ステップ５０２及
びモデル情報符号化ステップ５０３を含めた処理の詳細
を説明する。図８は、モデル推定ステップ５０２及びモ
デル情報符号化ステップ５０３における詳細な処理の例
を示す図である。図５の多視点画像入力ステップ５０１
で撮影された多視点画像８０１が入力されると、まず形
状推定ステップ８０２において被写体２０１の３次元形
状（表面形状）が推定される。次のモデルブロック判定
ステップ８０３においては、各視点画像を複数に分割し
たブロック毎に、上記推定された形状を参照して該ブロ
ックの投影元に対応する被写体面の領域からの法線方向
と視線方向とのなす角度を求め、その角度をしきい値判
定することで該ブロックをモデルとして採用するか否か
を判定し、モデルとして採用する場合は、そのブロック
をモデルブロックとして選択する。次の代表点座標算出
ステップ８０４では、モデルブロック判定ステップ８０
３で選択されたモデルブロックの代表点の３次元空間内
での座標を推定された被写体２０１の３次元形状から算
出する。最後に、統合・符号化ステップ８０５において
は、モデルブロック判定ステップ８０３で選択されたモ
デルブロックの輝度の情報と、代表点座標算出ステップ
８０４で算出されたモデルブロックの代表点の３次元空
間内での座標の情報を統合し、これを前述した符号化方
法によって符号化することにより、３次元モデル情報８
０６を出力する。以下、図８の各ステップ８０２〜８０
５の処理について詳細に述べる。

【００５１】（形状推定ステップ８０２について）図９
を用いて図８の形状推定ステップ８０２の処理について
詳細に説明する。図９は、多視点画像上の３次元物体の
輪郭線の情報を用いて３次元物体の形状を推定する方法
を示している。図９（ａ）は、カメラ位置がそれぞれ０
°，４５°，９０°の時に撮影された多視点画像９０
１，９０２，９０３を示している。また図９（ｂ）にお
いて、９０４，９０５はそれぞれ多視点画像９０１，９
０３が撮影された時のカメラのレンズ中心位置、９０８
は形状推定対象の３次元空間であり、さらに９０６，９
０７はそれぞれ多視点画像９０１，９０３における注目
ラインである。

【００５２】ここでは簡単のため、図５の多視点画像入
力ステップ６０１によって入力された多視点画像のう
ち、カメラ位置が０°，９０°の時にそれぞれ撮影され
た画像の注目ライン９０６，９０７における動作を説明
する。

【００５３】まず、多視点画像９０１上での３次元物体
の輪郭線を検出し、さらに注目ライン９０６を抜き出
す。コンピュータ上の仮想された空間に、カメラ位置が
０°の時のレンズ中心９０４と、この時に撮影された画
像の注目ライン９０６を配置する。これらレンズ中心９
０４と、注目ライン９０６上にある３次元物体の輪郭線
が入っている画素とを結ぶ逆投影線を３次元空間９０８
へ向かって引く。図９では、６本の逆投影線９０９〜９
１４が引かれている。

【００５４】これら６本の逆投影線９０９〜９１４のう
ちの２本の逆投影線に挟まれる領域について説明する
と、まず逆投影線９０９，９１０に挟まれる領域は注目
ライン９０６上の画素に３次元物体が写っているので、
３次元物体が存在する可能性がある領域である。同様
に、逆投影線９１１，９１２に挟まれる領域および逆投
影線９１３，９１４に挟まれる領域も、３次元物体が存
在する可能性がある領域である。

【００５５】一方、逆投影線９０９の左側の領域や、逆
投影線９１０，９１１に挟まれる領域は、注目ライン９
０６上の画素に３次元物体が写っていないので、必ず３
次元物体が存在しない領域である。同様に、逆投影線９
１２，９１３に挟まれる領域や、逆投影線９１４の右側
の領域も、３次元物体が存在しない領域である。

【００５６】次に、カメラ位置９０°の時のレンズ中心
９０５と、この時に撮影された画像の注目ライン９０７
も仮想空間内に配置して、同様の処理を行う。カメラ位
置が０°と９０°の２枚の画像から算出した形状は、３
次元空間９０８内の黒く塗り潰された部分である。

【００５７】この説明では、０°と９０°の２つのカメ
ラ位置（視点位置）で撮影された画像から被写体２０１
の概略的な３次元形状を推定したが、実際は全周方向か
ら撮影されている多視点画像全てを用いて３次元形状を
推定する。この場合、順に連続した近い視点位置の画像
を用いて３次元形状を推定するよりは、全周について大
まかに視点位置を移動させて算出する方がより早く３次
元形状が絞られる。ひとたび「３次元物体存在可能領域
ではない」と決まった領域は、以降、逆投影線によって
囲まれる領域との重なりを比較しなくて済むので、上述
のような推定方方法によると計算時間が早くなる。例え
ば、始めに０°，９０°，１８０°，２７０°の視点位
置の画像で形状を推定し、次いで４５°，１３５°，２
２５°，３１５°の視点位置の画像で形状を推定し、以
下同様に、なるべく近い視点位置が続かないように形状
を推定する。さらに、ＣＧ等で用いられているような射
影変換の手法を用いれば、より演算量を少なくすること
ができる。

【００５８】（モデルブロック判定ステップ８０３につ
いて）次に、図８のモデルブロック判定ステップ８０３
の処理について、図１０を用いて説明する。モデルブロ
ック判定ステップ８０３では、各視点画像のブロック毎
に、形状推定ステップ８０２により推定された３次元形
状に逆投影線を引き、３次元形状の該ブロックが投影さ
れた領域（すなわち、視点画像のブロックに対応する被
写体面の領域）からの法線方向と、その視点画像を撮影
したときの視線方向とのなす角度を求め、その角度が角
度が小さく、より高い解像度で撮影されているブロック
から優先的にモデルとして採用し、モデルブロックの選
択を行う。

【００５９】図１０は、このモデルブロック判定ステッ
プ８０３の処理の具体例を説明するための図であり、１
００１はカメラ位置が０°の時に撮影された視点画像、
１００２は視点画像１００１が撮影された時のカメラの
レンズ中心位置、１００３は形状推定ステップ１０２に
よって推定された３次元物体の形状、１００４はモデル
ブロック判定が行われる３次元空間である。

【００６０】ここでも、図８の形状推定ステップ８０２
の説明と同様に、図５の多視点画像入力ステップ５０１
によって入力された多視点画像のうち、カメラ位置が０
°の時に撮影された画像１００１の中のブロックに対し
てモデルブロック判定を行った場合をまず説明する。異
なるカメラ位置の場合も、０°の場合と同じ方法で判定
を行う。

【００６１】まず、カメラ位置が０°の時に撮影された
視点画像１００１を複数のブロックに分ける。図１０で
は、横方向に６つのブロックに分けられている。ここで
は、説明がし易いように視点画像１００１を大きくブロ
ック分けしてあるが、実際は一般の画像（例えば６４０
×４８０画素サイズの画像）を符号化するとき利用され
るような８×８画素サイズのブロックや４×４画素サイ
ズのブロックを用いるので、視点画像は横に８０〜１６
０個、縦に６０〜１２０個のブロックに分けられてい
る。

【００６２】次に、左のブロックから順にブロック両端
から図８の形状推定ステップ８０２で推定された形状１
００３に向けて逆投影線を引いていき、これらの逆投影
線と形状１００３との交点を求める。例えば、左から３
番目のブロック１００５の両端から引いた逆投影線と形
状１００３との交点は、１００６と１００７になる。こ
れらの交点１００６，１００７を結ぶ線分は、形状１０
０３のうちの視点画像のブロック１００５に対応する領
域であり、この領域からの法線方向と、視点画像１００
１を撮影したときの視線方向とのなす角度はほぼ０°、
言い換えれば、この線分とブロック１００５とのなす角
度はほぼ０で、両者はほぼ平行になっている。従って、
このブロック１００５内に撮影されている物体の輝度情
報の解像度は高いということになるので、ブロック１０
０５をモデルとして採用する。すなわち、ブロック１０
０５をモデルブロックとして選択する。

【００６３】これに対して、例えば図１０の一番右のブ
ロック１００８のように、ブロック両端から引いた逆投
影線と推定された形状１００３との交点１００９，１０
１０を結ぶ線分（形状１００３のブロック１００８に対
応する領域）からの法線方向と、視点画像１００１を撮
影したときの視線方向とのなす角度が大きい場合は、そ
のブロック１００８内に撮影されている物体の輝度情報
の解像度は低いということになるので、ブロック１００
８はモデルとしては採用しないことにする。

【００６４】実際には、ブロック両端から引いた逆投影
線と推定された３次元形状との二つの交点を結ぶ線分か
らの法線方向と、その視点画像を撮影したときの視線方
向とのなす角度がある閾値γ以下か否かによって、その
ブロックをモデルとして採用するか否かの判定を行い、
モデルとして採用するモデルブロックの選択を行う。そ
して、同様の判定を多視点画像８０１に含まれる各視点
画像の全てのブロックに対して行う。

【００６５】ここで、上述したモデルブロック判定ステ
ップ１０３でのしきい値判定を以下のように段階的に行
うようにすれば、より効率的に視点画像の各ブロックを
モデルとして採用するか否かの判定を行うことが可能に
なる。すなわち、多視点画像がａ［ｒａｄ］なる角度間
隔の撮影位置毎に撮影された視点画像からなっていると
すると、まず始めに、被写体の推定された３次元形状の
ブロックに対応する被写体面の領域からの法線方向と、
その視点画像を撮影したときの視線方向とのなす角度が
±ａ／２［ｒａｄ］以内にあるブロックのみを選択し、
そのブロックをモデルとして採用するか否かを判定す
る。これは一つ横の多視点画像と重ならず、最も高解像
度の画像を選択して判定を行うことに相当する。全ての
多視点画像について、同様のブロック選択と判定を撮影
位置０［ｒａｄ］から２π［ｒａｄ］まで一周にわたっ
て行う。

【００６６】次に、角度ａ［ｒａｄ］より大きい角度ｂ
［ｒａｄ］を決めて、ブロックに対応する領域からの法
線方向となす角度が±ｂ／２［ｒａｄ］のブロックで、
始めに選択されなかったブロックを一周にわたり選択
し、判定を行う。以下同様に、段階的にブロックを選択
し判定してゆく。

【００６７】このようにして、視点画像のより高解像度
のブロックからモデルとして採用するか否かの判定を行
ってモデルブロックを選択し、それ以前の段階ではモデ
ルとして選ばれなかった比較的解像度の低いブロックを
徐々にモデル化してゆくことが可能となる。ここで、２
巡目以降の処理が必要なのは、オクルージョンによって
被写体面の法線方向以外の方向にしか写っていないよう
な領域が存在し得るためである。

【００６８】また、上述した段階的なモデルブロック判
定において、ｂ＝ｍ×ａ［ｒａｄ］（ｍ：２以上の整
数）となるように決めてゆけば、±ｂ／２［ｒａｄ］に
なるブロックを全て含む多視点画像がｍ枚毎に存在する
ことになるので、判定を行う多視点画像をｍ枚毎に間引
くことが可能になる。これにより、段階が進むにつれて
モデルを一回りする演算量を１／ｍずつに減らしていく
ことが可能になる。

【００６９】（代表点座標算出ステップ８０４につい
て）次に、図１１を用いて図８の代表点座標算出ステッ
プ８０４の処理について説明する。代表点座標算出ステ
ップ８０４では、モデル符号化判定ステップ８０３で選
択されたモデルブロックの代表点の座標を算出する。こ
こでは、一例としてモデルブロックの中心点を代表点と
した場合の代表点座標の算出手順について述べる。

【００７０】すなわち、モデルブロック判定ステップ８
０３によって選択された全てのモデルブロックについ
て、そのモデルブロックが含まれる多視点画像が撮影さ
れたレンズ中心から逆投影線を引き、形状推定ステップ
８０２により推定された形状との２つの交点の中点を該
ブロックの代表点として座標を求める。

【００７１】図１１においては、視点画像１１０１が撮
影されたレンズ中心１１０２から、３次元空間１１０４
内にある形状１１０３に向かって、モデルブロック判定
ステップ８０３によって選択されたモデルブロック１１
０５の両端を通る二つの逆投影線を引き、これらの逆投
影線と形状１１０３との交点１１０６，１１０７を求め
ている。これらの交点１１０６，１１０７を結ぶ線分の
黒点で示す中点が代表点１１０８であり、この代表点１
１０８の座標を選択された全てのモデルブロックに対し
て算出する。

【００７２】（統合・符号化ステップ８０５について）
図８の統合・符号化ステップ８０５においては、モデル
ブロック判定ステップ８０３でモデルとして採用された
ブロックの輝度情報と、代表点座標算出ステップ８０４
で算出された各ブロックの代表点の３次元空間内での座
標、角度情報を組み合わせて、前述した符号化方法によ
って符号化して、３次元モデル８０６を出力する。

【００７３】以上、図８の各ステップの処理について説
明したが、最後に図５の予測信号生成ステップ５０８に
ついて図１２を用いて説明する。図１２において、１２
０１は予測信号を生成すべき視点画像、１２０２は視点
画像１２０１が撮影されたときのレンズ中心、１２０５
〜１２０ｎは３次元空間上に配置したモデルブロックで
ある。予測信号の生成においては、以下の処理をスライ
ス毎に行う。

【００７４】予測信号生成の処理は、基本的には全ての
モデルブロック１２０５〜１２０ｎから視点画像１２０
１への投影を行い、奥行きを考慮して最も手前の投影の
みを有効にするという処理である。モデルブロック１２
０５からの投影を例として説明する。本実施形態では、
モデルブロックの中心点に３次元座標ｘ，ｚが与えられ
ている（図６のシンタックス参照）。このモデルブロッ
ク１２０５の中心点から逆投影線を引き、この逆投影線
と視点画像１２０１との交点１２０３の視点画像１２０
１上の座標を求める。

【００７５】次に、モデルブロック１２０５に与えられ
ている視線方向の情報ψと視点画像１２０１の視線方向
との差（図１２のθ）から投影されるテキスチャ１２１
０を図１３に示すようにモデルブロック１２０５のテキ
スチャ１３０５を水平方向に圧縮することによりテキス
チャ１３１０として求め、視点画像１２０１の対応する
領域１２０４にマッピングする。この際、３次元座標
ｘ，ｚ及び角度θから領域１２０４の各画素毎に対応す
るモデルブロック領域のｚ値（被写体の奥行き情報）を
求め、このｚ値が一番手前にある投影を有効とするよう
に管理しながら重ね書きする。以上の一連の操作を全て
のモデルブロック１２０５〜１２０ｎについて行うこと
により、視点画像１２０１についての最終的な予測信号
が形成される。

【００７６】

【発明の効果】以上説明したように、本発明によれば視
点画像を複数に分割したブロック毎にモデル化を行うと
共に、そのモデル化に際し各視点画像についてブロック
毎に被写体面の対応する領域からの法線方向と視線方向
とのなす角度を求め、その角度をしきい値判定すること
により、モデルとして採用するモデルブロックを選択す
るため、処理量を大幅に低減しつつ、モデル情報の精
度、特に輝度の解像度を高めて、復号化側で高品質の多
視点画像を再生することが可能となる。

【００７７】また、モデル化の際のモデルブロックの選
択時に、しきい値判定の判定条件を段階的に緩和して判
定を行い、さらには、しきい値判定の判定条件に応じ
て、多視点画像中の視点画像の間引きを行い、間引き後
の視点画像についてブロック毎に判定を行うようにする
ことで、より効率的にモデルブロックの選択を行うこと
ができる。

【図面の簡単な説明】

【図１】本発明による多視点画像符号化方法が適用され
る装置の一実施形態を示すブロック図

【図２】図１における多視点画像入力部の構成を示す図

【図３】被写体の断面と極座標の関係を説明する図

【図４】入力された多視点画像のｐ−θ平面上での位置
関係を説明する図

【図５】同実施形態に係る多視点画像符号化方法の処理
手順を示すフローチャート

【図６】同実施形態における多重化フォーマットを示す
図

【図７】マクロブロックの構成を示す図

【図８】図５におけるモデル推定ステップの詳細な処理
手順を示すフローチャート

【図９】図８における形状推定ステップの処理を説明す
る図

【図１０】図８におけるモデルブロック判定ステップの
処理を説明する図

【図１１】図８における代表点座標算出ステップの処理
を説明する図

【図１２】同実施形態における予測信号生成処理を説明
する図

【図１３】予測信号生成におけるマッピングについて説
明する図

【図１４】光線空間の円筒記録を説明する図

【符号の説明】

１００…バス １０１…ＣＰＵ １０２…多視点画像入力部 １０３…記憶装置 １０４…ＲＡＭ ２０１…被写体 ２０３…カメラ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA08 CA13 CA16 CG03 CG05 5C059 LC01 MA00 MB08 MB16 PP12 PP13 RB18 RC38 UA38

Claims (3)

【特許請求の範囲】
1. 【請求項１】被写体との位置関係が既知の複数の視点か
   らそれぞれ異なる視線方向で得られた該被写体について
   の複数の視点画像からなる多視点画像を入力する入力ス
   テップと、 前記被写体をモデル化して符号化されたモデル情報を生
   成するモデル化ステップと、 前記モデル化ステップによって生成されたモデル情報よ
   り前記各視点画像に対する予測信号を生成する予測ステ
   ップと、 前記各視点画像に対する前記予測信号の予測誤差を符号
   化する予測誤差符号化ステップと、 前記モデル化ステップにより生成されたモデル情報およ
   び前記予測誤差符号化ステップにより符号化された予測
   誤差の情報を多重化して符号化ストリームを生成する多
   重化ステップとを備え、 前記モデル化ステップは、 前記被写体の形状を推定する形状推定ステップと、 前記形状推定ステップにより推定された形状に基づき、
   前記各視点画像について該視点画像を分割したブロック
   毎に該ブロックに対応する被写体面の領域からの法線方
   向と前記視線方向とのなす角度を求め、その角度をしき
   い値判定することにより該ブロックをモデルとして採用
   するか否かを判定し、モデルとして採用するモデルブロ
   ックを選択する判定ステップと、 前記判定ステップにより選択されたモデルブロックの代
   表点の３次元空間上の座標を前記形状推定ステップによ
   り推定された形状に基づいて算出する代表点座標算出ス
   テップと、 前記判定ステップにより選択されたモデルブロックの輝
   度の情報および前記代表点座標算出ステップにより算出
   された座標の情報を符号化して前記モデル情報を生成す
   るステップとからなることを特徴とする多視点画像符号
   化方法。
2. 【請求項２】前記判定ステップは、前記しきい値判定の
   判定条件を段階的に緩和して判定を行うことを特徴とす
   る請求項１記載の多視点画像符号化方法。
3. 【請求項３】前記判定ステップは、前記しきい値判定の
   判定条件に応じて前記多視点画像を構成する視点画像か
   ら間引きを行い、間引いた後の視点画像について該視点
   画像を分割したブロック毎に判定を行うことを特徴とす
   る請求項２記載の多視点画像符号化方法。