JP2000349644A

JP2000349644A - 多視点画像符号化復号化装置および多視点画像符号化復号化方法

Info

Publication number: JP2000349644A
Application number: JP16164099A
Authority: JP
Inventors: Nobuyuki Matsumoto; 信幸松本; Hideyuki Ueno; 秀幸上野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-06-08
Filing date: 1999-06-08
Publication date: 2000-12-15

Abstract

(57)【要約】【課題】多視点画像を符号化復号化する際に高効率で符
号化できると共に、任意の多視点画像の任意のブロック
の復号をリアルタイムで行えるようにする。【解決手段】多視点画像入力手段101によって３次元物
体を複数の地点それぞれから撮影した画像を入力し、多
視点画像符号化手段102によって多視点画像をｍ×ｎ画
素に分割してコードブック103を設計すると共に各多視
点画像にベクトル量子化を施してインデクスデータ104
を求め、設計されたコードブック103と算出されたイン
デクスデータ104を多重化手段105により多重化して符号
化データ106を作成し、伝送された符号化データ106を多
重分離手段107によってコードブック108とインデクスデ
ータ109に分離し、多視点画像復号化手段110によりイン
デクスデータ109に対応するコードブック108内の代表ベ
クトルを参照して必要な視点の多視点画像の任意のブロ
ックを復号する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、視点の異なる複
数の画像を入力とし、これらの画像からコードブックを
設計してベクトル量子化により、多視点画像の符号化復
号化を行う多視点画像符号化復号化装置および多視点画
像符号化復号化方法に関するものである。

【０００２】

【従来の技術】コンピュータの利用技術であるバーチャ
ルリアリティ（仮想現実）、動画やゲームに使用する場
合でのＣＧ（コンピュータグラフィックス）、そして、
インターネットの仮想店舗等においては、刻々と変わる
視点方向に追従してその視点方向から対象物を眺めた画
像が得られるようにするイメージベーストレンダリング
の技術は重要である。そして、この場合に、対象物を眺
める方向が変わるに連れて、画像が滑らかに、しかも自
然に変化する必要がある。

【０００３】すなわち、ここで重要なのは、３次元物体
に対するイメージベーストレンダリング技術であり、で
きるだけ高精細な画像を高速で作成できるようにするこ
とが、リアルタイムでこのような画像を取得できるよう
にする今後のイメージベーストレンダリング技術にとっ
て重要である。

【０００４】ここで、イメージベーストレンダリングを
光線に基づくイメージベーストレンダリングを例に説明
する。これは例えば、図１５に示す如きのシステムであ
って、立体造形物の被写体を載せたターンテーブル、及
びこのターンテーブル上の被写体を撮影するカメラとを
用意し、ターンテーブルを数度刻みに回動させつつ、定
位置のカメラにて被写体を撮影することにより、多視点
画像を得、そして、これらの得られた多視点画像と、新
たに画像を合成したい視点位置の情報とを任意視点画像
合成工程に送って処理すると、被写体にあたる光線に基
づいて画像を合成して、指定の視点位置から見える仮想
の画像を出力することができる。

【０００５】ここで、まず、光線に基づいて任意視点画
像を合成する方法について説明する。被写体をカメラで
撮影して画像を得るということは、カメラの焦点を通過
する光線を記録したことに相当する。

【０００６】図１６は、ある位置からある被写体object
の画像を１枚撮影した場合を示す図であり、画像Imagep
lane上の２画素の輝度値が、焦点 focusを通過する２光
線 rayを記録したことに相当している。同様のことを、
撮影された画像内の全領域について考えることができ
る。また、伝搬に伴う光線 rayの変化を無視するなら
ば、カメラの焦点 focusのみならず、記録された光線方
向上の全光線を記録したことになる。よって、１枚画像
を撮影すれば、焦点 focusを通る視野角内の全光線、お
よび、その延長上の光線 rayを記録できる。

【０００７】このように被写体を全周から撮影してい
き、多視点画像を得ることによって、光線情報を獲得し
ていく。また、任意視点画像の合成は、上述した光線情
報の獲得の逆を考えれば良い。画像を合成したい視点位
置（焦点）が指定され、その視点位置を通過する光線を
光線情報から集めてくる。

【０００８】しかし、多視点画像は、全光線空間の部分
空間でしかなく、光線空間を密に埋めるまでの情報では
ない。よって、近くの光線情報を持ってきて画像を合成
することになる。これは、正しい光線情報を含む多視点
画像内のブロックを選択することに相当する。

【０００９】以上の内容をまとめると、図１７の如きと
なる。

【００１０】以降、任意視点画像合成のために多視点画
像内の任意のブロックを高速に、ランダムアクセス性を
保持して再生できることを一つの目的として検討してみ
る。

【００１１】さて、多視点より得た実写画像を元に、こ
のようにして画像合成を連続的に行えば、より写実性を
持った実写ベースでのウォークスルーやバーチャルショ
ップでの商品展示、インタラクティブな電子博物館など
と云った応用が期待できる。

【００１２】しかし、図１５のようにそのまま全多視点
画像を任意視点画像合成工程に送るのではデータ量が多
過ぎ、処理上の障壁となる。例えば、全周３度刻み、４
００×４００画素でＲＧＢ２４［ｂｉｔ］の画像を１２
０枚撮影したとすると、その容量は「１２０枚×４００
×４００×２４［bits］×８［bits］」であり、これは
おおよそ５５．０［ＭＢ］にもなる。

【００１３】よって、図１８に示すように、３次元デー
タである多視点画像を符号化して任意視点画像合成工程
のメモリに保持しておき、指示された視点情報に基づい
て任意ブロック復号工程により必要なデータだけ復号し
ながら任意視点画像合成工程において画像を合成するこ
とにより、任意視点画像を得ることで用意するデータを
できるだけ少なくして、任意視点画像を得られるように
する手法が考えられる。

【００１４】ところで、従来のイメージベーストレンダ
リング技術としては、３次元物体を複数の地点から撮影
した画像を入力し、この複数の多視点画像を符号化復号
化する方法がある。この方法は直交変換符号化を利用し
たイントラ符号化や、動き補償フレーム間予測と直交変
換符号化を組み合わせたハイブリッド方式を利用する。

【００１５】具体的には、図１３や図１４に示す如きの
構成である。これらのうち、図１３に示す多視点画像符
号化復号化装置は、直交変換（ここではＤＣＴ；離散コ
サイン変換）符号化を利用したイントラ符号化によって
多視点画像の符号化復号化を行うものであって次のよう
なものである。

【００１６】すなわち、入力される多視点画像１２０１
のうちの１フレームについてｎ×ｎ画素のブロックに分
割し、ブロック毎にＤＣＴ処理部１２０２により離散コ
サイン変換（ＤＣＴ）が施され、その結果、得られるＤ
ＣＴ係数が量子化部１２０３で量子化され、そして、こ
の量子化されたＤＣＴ係数がＶＬＣ（２次元可変長符号
化）処理部１２０４で２次元可変長符号化される。

【００１７】ここでいう２次元可変長符号化とは国際標
準の画像符号化であるＪＰＥＧなどで用いられているも
のと同じ方法である。

【００１８】この２次元可変長符号化についてふれてお
く。画像を直交変換して得られるＤＣＴ係数の大きさは
画像の空間周波数成分の低域で大きく、高域では減衰し
ていく。よって、低域から高域に向かってジグザグスキ
ャンをしていき、連続する“０”の個数（ＲＵＮ）とそ
の直後の量子化レベル（ＬＥＶＥＬ）を組み合わせた情
報源に対して可変長符号を割り当てて符号化する。この
ような手法がここでの２次元可変長符号化である。以
降、ＤＣＴ係数の２次元可変長符号化復号化はここで説
明した方法を意味することとする。

【００１９】さて、伝送された符号化データ１２０５
は、２次元可変長復号化部１２０６で２次元可変長復号
処理され、逆量子化部１２０７で逆量子化（ＩＱ）され
てから、逆離散コサイン変換部１２０８で逆離散コサイ
ン変換（ＩＤＣＴ）を施されて再生多視点画像１２０９
が復号される。

【００２０】このような符号化を各多視点画像について
別々に行うことによって全多視点画像を符号化すること
ができ、所望の視点位置からの画像を復号することがで
きるようになる。

【００２１】しかし、この場合、画像はそれぞれの多視
点画像毎に符号化するだけであるから、圧縮率が不十分
で、データ量が膨大なものとなってしまい、現実的でな
い。そこで、それぞれの多視点画像間の相関を利用して
高い圧縮率で符号化できる方法としてあげられるのが図
１４に示す多視点画像符号化復号化装置である。

【００２２】すなわち、この図１４に示す多視点画像符
号化復号化装置では、動き補償フレーム間予測と直交変
換符号化を組み合わせたハイブリッド方式によって多視
点画像の符号化復号化を行う。この方法では動き補償フ
レーム間予測によって得られる予測誤差をＤＣＴを用い
て符号化する。

【００２３】作用を説明すると、まず、入力多視点画像
１３０１は動き補償フレーム間予測部１３０２で動き補
償フレーム間予測され、その予測誤差が離散コサイン変
換部１３０３においてブロック毎に離散コサイン変換
（ＤＣＴ）される。そして、離散コサイン変換部１３０
３にて得られたＤＣＴ係数が量子化部１３０４で量子化
され、量子化されたＤＣＴ係数が２次元可変長符号化部
１３０５で２次元可変長符号化される。

【００２４】このデータは可変長符号化部１３０６で可
変長符号化された動きベクトルデータと共に多重化部１
３０７で多重化されて、符号化データ１３０８が伝送さ
れる。

【００２５】さらに符号化部分では、量子化されたＤＣ
Ｔ係数が逆量子化部１３０９で逆量子化（ＩＱ）され、
逆離散コサイン変換部１３１０で逆離散コサイン変換
（ＩＤＣＴ）を施されて量子化差分データが再生され
る。

【００２６】このデータは前の予測画像に加算されて、
復号画像としてフレームメモリ１３１１に蓄えられる。
この局部復号画像は、次のフレームを動き補償予測部１
３０２での動き補償予測するために使われる。伝送され
た符号化データ１３０８は復号化部分に送られて、分離
化部１３１２で量子化差分データと動きベクトルデータ
に多重分離される。量子化差分データは２次元可変長復
号部１３１３で２次元可変長復号され、逆量子化部１３
１４で逆量子化された後、逆離散コサイン変換部１３１
５で逆離散コサイン変換（ＩＤＣＴ）されて予測誤差が
復号される。

【００２７】フレームメモリ１３１６に蓄えられた前フ
レームの復号画像と可変長復号化部１３１７で可変長復
号された動きベクトルデータを用いて動き補償部１３１
８で動き補償して現フレームが復号され、復号された予
測誤差と加算して再生多視点画像１３１９が復号され
る。

【００２８】このように、図１４に示した構成において
は、動き補償フレーム間予測と直交変換符号化を組み合
わせたハイブリッド方式による符号化を採用しており、
この方式においては、直交変換を利用したイントラ符号
化と異なり、フレーム内の相関と共に前フレームとの相
関も利用して符号化するので高圧縮符号化が期待でき
る。

【００２９】

【発明が解決しようとする課題】このように、従来のイ
メージベーストレンダリング技術としては、３次元物体
を複数の地点から撮影した画像を入力し、この複数の多
視点画像を符号化復号化する方法があるが、この方法は
直交変換符号化を利用したイントラ符号化や、動き補償
フレーム間予測と直交変換符号化を組み合わせたハイブ
リッド方式を利用する。

【００３０】しかしながら、上述の直交変換によるイン
トラ符号化を利用した多視点画像符号化復号化方法で
は、多視点画像間の相関を利用しておらず、多視点画像
データを効率よく符号化できないという問題点があっ
た。

【００３１】また、動き補償フレーム間予測と直交変換
符号化を組み合わせたハイブリッド方式による符号化で
は、それぞれの多視点画像間の相関を利用して高い圧縮
率で符号化できるが、反面、必要なフレームを復号する
ために、以前からのフレームも復号する必要が生じる。

【００３２】シーケンシャルに復号化すればよい動画像
の再生では、バッフア等を用いることにより以前のフレ
ームも復号しなければならないという階層的な復号化の
問題は解消されるが、多視点画像を利用しての任意視点
画像の合成を考えた場合、より高いリアルタイム性を持
ってある視点画像が復号される必要があるだけでなく、
合成のために多視点画像内の任意のブロックが素早く参
照される必要がある。

【００３３】よって、ハイブリッド方式を用いた符号化
復号化では必要なブロックの復号を行うために時間がか
かりリアルタイム性に劣るという問題点があった。

【００３４】そこで、この発明の目的とするところは、
多視点画像を符号化する際に、各多視点画像間の相関を
利用して高い圧縮率を実現し、さらに、多視点画像のう
ちの任意の画像およびブロックを素早く復号する必要が
ある多視点画像の再生、任意視点画像の合成をリアルタ
イムに復号できるようにする多視点画像符号化装置およ
び多視点画像復号化装置を提供することにある。

【００３５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。

【００３６】すなわち、本発明は、符号化手段として３
次元物体を複数の地点から撮影した画像を入力する多視
点画像入力手段と、前記入力された多視点画像をｍ×ｎ
画素に分割してコードブックを設計すると共に各多視点
画像にベクトル量子化を施してインデクスデータを求め
る多視点画像符号化手段と、前記設計されたコードブッ
クと前記算出されたインデクスデータより符号化データ
を作成する手段と、これら符号化データを伝送または蓄
積する手段を備えて構成し、また、復号化手段として、
この伝送され、または蓄積された前記符号化データより
コードブックとインデクスデータを得る手段と、コード
ブックよりインデクスデータに対応したブロックを参照
して多視点画像を復号化する多視点画像復号化手段とを
備えて構成する。

【００３７】そして、多視点画像入力手段により被写体
である３次元物体を複数の地点から撮影して得た画像を
入力すると、この多視点画像符号化手段は前記入力され
た多視点画像をｍ×ｎ画素に分割してコードブックを設
計すると共に各多視点画像にベクトル量子化を施してイ
ンデクスデータを求め、符号化データ作成手段は前記設
計されたコードブックと前記算出されたインデクスデー
タより符号化データを作成する。そして、復号化手段で
は、この符号化データよりコードブックとインデクスデ
ータを得、得たコードブックよりインデクスデータに対
応したブロックを参照して多視点画像を復号化する。

【００３８】このように、ベクトル量子化を利用して、
３次元物体毎にコードブックとインデクスデータを作成
して伝送または蓄積するようにしたことにより、物体毎
にコードブックとインデクスデータを作成しても、符号
化側では多視点画像全体の相関を用いた高圧縮な符号化
が実現でき、符号量を小さくして短い伝送時間で復号化
処理側に渡すことができ、また、復号化処理側では受け
取ったコードブックとインデクスデータを保持すれば後
はインデクスの参照という処理だけで所望視点からの物
体の画像を再現できるので高いリアルタイム性を実現し
た実写ベースの画像の復号化を行うことができる技術が
提供できる。また、符号化側よりコードブックとインデ
クスデータを復号化側に渡して画像を復号化し、再生す
るが、コードブックとインデクスデータは固定長のまま
であるから、可変長の場合のように符号を元のデータに
戻すと云った手間が不要で、任意のブロックがテーブル
の参照のみによってメモリから読み取ることができ、リ
アルタイム性を確保できる。

【００３９】また、本発明では汎用ではなく、得たい画
像に応じてその画像用のコードブックも作成して復号化
側にも送り、復号化側ではこれを利用し、受け取ったイ
ンデクスから画像を再生するようしているので実写性を
持った実写ベースでのバーチャルリアリティやウォーク
スルー、そして、バーチャルショップでの商品展示、イ
ンタラクティブな電子博物館などと云った映像分野に最
適な符号化・復号化方法を実現できる。

【００４０】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。はじめに、本発明の概念を説明し
ておく。

【００４１】（本発明の概念）高能率で圧縮可能な方式
としてあげられる、動き補償フレーム間予測と直交変換
符号化を組み合わせたハイブリッド方式による符号化で
は、対象とする動画像の復号は次のようにして行う。す
なわち、ｆ番目の視点画像が復号され、次にｆ＋１番目
の視点画像を復号しようとする場合、フレームメモリに
蓄えられたｆ番目の復号画像と動きベクトルデータを用
いて動き補償され、ｆ＋１番目の視点画像が復号され
る。

【００４２】このように、動き補償フレーム間予測と直
交変換符号化を組み合わせたハイブリッド方式による符
号化では、直交変換を利用したフレーム内符号化と異な
り、フレーム内の相関と共に前フレームとの相関も利用
して符号化しているのでその分、高い圧縮効率が期待で
きる。

【００４３】しかし、このようなハイブリッド方式によ
る符号化では、それぞれの多視点画像間の相関を利用し
て高い圧縮率で符号化できる一方で、必要なフレームを
復号するために、以前からのフレームも復号する必要が
生じる。シーケンシャルに復号化すればよい動画像の再
生では、バッファ等を用いることにより以前のフレーム
も復号しなければならないという階層的な復号の問題は
解消されるが、多視点画像を利用しての任意視点画像の
合成を考えた場合、高速かつランダムアクセス性を持っ
て任意のブロックが復号される必要がある。

【００４４】よって、ハイブリッド方式を用いた符号化
復号化では、必要なブロックの復号に時間がかかり、写
実性を持った実写ベースでのバーチャルリアリティやウ
ォークスルー、そして、バーチャルショップでの商品展
示、インタラクティブな電子博物館などと云った映像分
野に用いる符号化方法としては問題がある。

【００４５】これらフレーム内ＤＣＴ符号化やハイブリ
ッド符号化が持つ問題点を解決するため、多視点画像の
符号化にベクトル量子化を用いることが考えられる。そ
こで、次にそのベクトル量子化による多視点画像の符号
化について検討してみる。

【００４６】＜べクトル量子化利用の一般的な画像符号
化手法＞まずは、一般的なべクトル量子化を用いて画像
符号化を行う手法について説明しておく。上述したフレ
ーム内ＤＣＴ符号化やハイブリッド符号化でもＤＣＴ係
数の量子化（Ｑ）が行われていた。これは、連続する信
号を適当な間隔で代表値に置き換えて、代表値の番号を
符号化しているものであり、スカラー量子化と呼ばれ
る。つまりは、１次元の量子化を行ったことになる。

【００４７】ベクトル量子化（ＶＱ：Vector Quantiza
tion）は、更にデータをまとめ、ベクトル単位で多次元
空間を代表ベクトルに置き換えて、代表ベクトルの番号
（インデクス）を符号化する手法であり、多次元空間の
量子化を行うことを意味する。画像の符号化という意味
では、画像を複数のブロックに分割し、そのブロックに
含まれる画素値をベクトルの要素と見なし、ブロック全
体を一括してある代表ブロックに置き換えて量子化する
ことになる。

【００４８】例えば、２次元の場合のベクトル量子化に
おけるベクトル空間は図１９のようになる。代表べクト
ルｙ毎に自分が代表する領域が決められており、代表ベ
クトルでボロノイ分割された平面になっている。例え
ば、２次元平面内にべクトルｘが入力されると、距離が
最も近い代表ベクトルｙに量子化されて、この代表ベク
トルｙが出力される。

【００４９】ベクトル量子化における一般的な画像符号
化方法について図２０を用いて説明する。入力画像をＫ
［個］の画素からなるブロックに分割して、それぞれを
Ｋ次元のベクトルＰとみなす。

【００５０】Ｐ＝（ｐ１，ｐ２，… …，ｐＫ）ただし、（ｐ１，ｐ２，… …，ｐＫ）は、それぞれ標
本値である。

【００５１】送信側（符号化側）と受信側（復号化側）
ではＮ［個］のＫ次元代表ベクトルからなるコードブッ
ク｛Ｑ１，Ｑ２，… …，ＱＮ｝を用意しておく。送信
側ではこのコードブックの中から入力ベクトルＰとの距
離が最も近い代表ベクトルを距離計算によって求め、そ
れがＱｉであれば、その代表ベクトルのインデクスｉを
出力符号として伝送する。

【００５２】受信側では送られできたインデクスｉで示
される代表ベクトルをコードブックから読み出して逆ブ
ロック化を施して復号画像として出力する。

【００５３】効率の良いベクトル量子化を実現するに
は、コードブックの設計が重要になってくる。一般的に
は入力画像を代表するようなテスト画像を複数枚用意
し、これらに対して符号化歪み（量子化歪み）を最小に
するような代表ベクトルの組を逐次的に求める方法をと
る。コードブックの代表的な設計法である“ｋ−ｍｅａ
ｎ法”（この“ｋ−ｍｅａｎ法”については、高木幹
雄，下田陽久，“画像解析ハンドブック，”東京大学出
版会，ｐｐ．６４８−６５１、（１９９１）に詳しい）
の説明を概略ではあるが以下に示す。

【００５４】（１）代表ベクトルＱｉに量子化される
ｍ×ｎ次元ベクトル空間の領域をＳｉとする。また、ト
レーニングシーケンスｔ１，……，ｔｋを用意する。

【００５５】（２）代表ベクトルＱｉ（１＝１〜Ｎ）
に適当な初期値を与える。

【００５６】（３）代表ベクトルＱｉとトレーニング
シーケンスｔ１，……，ｔｋとの距離を計算して、各Ｓ
ｉに対してどのトレーニングシーケンスｔが属するかを
調べる。

【００５７】（４）各Ｓｉ毎に、その中に属するｔの
重心を新たな代表ベクトルＱｉにする。

【００５８】以上の（３）と（４）を量子化誤差が十分
小さな値に収束するまで続ける。

【００５９】このように設計したコードブックを用いて
画像符号化を行うのである。

【００６０】次に、上述した一般的な画像符号化を多視
点画像に適応させて、多視点画像の符号化復号化を試み
てみる。

【００６１】ベクトル量子化（ＶＱ）を用いて多視点画
像を符号化するに際して、一般的なＶＱによる画像符号
化と大きく異なる点は、３次元物体毎にコードブックを
設計し、この設計したコードブックと全インデクスデー
タを復号化処理側に伝送して復号化処理側のメモリに保
持させるようにするという点である。

【００６２】本発明では、３次元物体毎にコードブック
を設計するが、それに必要な多視点画像は同一被写体を
撮影した画像であり、複数の画像に被写体の同一部分が
多く撮影されている。この相関を十分に利用するため
に、全多視点画像の全ブロックをトレーニングシーケン
スとして入力する。そして、類似のものは代表的なもの
に集約することによって、少ない情報量で一つの被写体
を表現することができるようになる。同様に別の被写体
毎に別途この手法を施す。

【００６３】このように、各３次元物体毎にその物体の
全多視点画像を用いての被写体別コードブックを作成し
て復号化処理側に与えるようにしても、それぞれのコー
ドブックは一般的なＶＱでのコードブックより、少ない
情報量で済み、しかも、再現画像は高い画質を実現でき
る。なお、ベクトル量子化のデータは全て固定長データ
になっている。よって、復号処理に時間がかからず、ま
た、任意の単一ブロックのみを参照するだけで再生する
ことが可能であり、任意ブロックの高速かつランダムア
クセス性を保持した復号にも最適な符号化方法と云うこ
とになる。

【００６４】具体的に、ベクトル量子化による多視点画
像符号化を考えてみる。これは、図１に示すように、符
号化側においては、まずはじめに、全多視点画像をブロ
ック化したものをトレーニングシーケンスとして用意し
て“ｋ−ｍｅａｎ法”を施し、コードブックを設計す
る。作成されたコードブックをもとに、全多視点画像内
のブロックについて距離計算を行い、最も近い代表ベク
トルのインデクスを出力する。

【００６５】符号化処理側は最後に、全多視点画像から
設計されたコードブックと、全多視点画像についてのイ
ンデクスデータを伝送する。

【００６６】復号化処理側ではこれらコードブック、及
び全多視点画像内ブロックについてのインデクスデータ
を受信して、メモリに保持し、任意視点画像合成工程が
視点情報に応じてどのブロックを復号するかの指示を待
つ。そして、要求されたブロックに応じたインデクスの
番号を持つブロックをコードブック内から選んできて、
合成に必要なブロックを復号する。

【００６７】本発明の基本的概念はこのようなものであ
るが、コードブックとインデクスの情報を用いて復号す
ると云う手法は従来よりある。但し、従来の手法の場
合、コードブックは符号化処理側と復号化処理側にそれ
ぞれ初めから同じものを用意しておき、符号化処理側で
は合成しようとする画像に対応するインデクスを自己の
持つコードブックから抽出し、当該インデクスだけを送
って復号化処理側においてはこのインデクスに該当する
画像をコードブックから得て画像を合成するようにして
いる。

【００６８】この場合、コードブックは汎用のものとな
らざるを得ず、最終的に得られる画像は擬似的なものと
ならざるを得ない。

【００６９】本発明の特徴点は、汎用ではなく、画像に
応じてその画像用のコードブックを作成して復号側に送
り、復号側ではこれを利用し、受け取ったインデクスか
ら画像を再生するようして実写性を持った実写ベースで
のバーチャルリアリティやウォークスルー、そして、バ
ーチャルショップでの商品展示、インタラクティブな電
子博物館などと云った映像分野に最適な符号化・復号化
方法を実現するようにする。

【００７０】本発明方式の場合、ブロック単位でベクト
ル量子化しているので、画像内の相関を用いた符号化に
なっている。更には、全多視点画像を用いてコードブッ
クを設計しているので、フレーム内ＤＣＴ符号化とは異
なり、各多視点画像間の相関も利用した符号化がなされ
ている。そのため、効果的なデータ量削減がなされてい
て短時間で情報伝送可能になる。

【００７１】また、メモリに保持されたデータは、設計
されたコードブックと全多視点画像内の各ブロックにつ
いてのインデクスデータであり、どちらも固定長データ
である。よって、フレーム内ＤＣＴ符号化やハイブリッ
ド符号化のように、可変長復号や、階層的な復号を施す
必要がなく、インデクスに応じたコードブック内の代表
ベクトルの参照という単純な操作だけで任意のブロック
を素早く復号することができる。

【００７２】次に、本発明の具体的実施例を説明する。

【００７３】（第１実施形態）図３は第１実施形態の多
視点画像符号化復号化装置の構成を示す図である。図３
において、１０１は３次元物体を複数の地点から撮影し
た画像を入力する多視点画像入力手段、１０２は多視点
画像入力手段１０１によって入力された多視点画像から
コードブックを設計して、ベクトル量子化によって多視
点画像を符号化する多視点画像符号化手段、１０３は多
視点画像符号化手段１０２によって多視点画像から作成
されたコードブック、１０４は多視点画像符号化手段１
０２によって作成された各視点画像を復号するのに必要
なインデクスデータ、１０５は前記設計されたコードブ
ック１０３と前記算出されたインデクスデータ１０４よ
り符号化データ１０６を作成する多重化手段、１０６は
多重化された符号化データ、１０７は伝送された符号化
データ１０６よりコードブック１０８とインデクスデー
タ１０９を得る多重分離手段、１０８は多重分離された
コードブック、１０９は多重分離されたインデクスデー
タ、１１０はインデクスデータ１０９によってコードブ
ック１０８を参照して必要な視点の多視点画像を復号す
る多視点画像復号化手段である。

【００７４】このような構成の本装置は、被写体である
３次元物体を多視点画像入力手段１０１は複数の地点か
ら撮影した画像を入力する。

【００７５】すると、多視点画像符号化手段１０２では
この多視点画像入力手段１０１によって入力された多視
点画像からコードブックを設計して、ベクトル量子化に
よって多視点画像を符号化する。すなわち、多視点画像
符号化手段１０２では図１で説明したように、まずはじ
めに、全多視点画像をブロック化し、これをトレーニン
グシーケンスとして“ｋ−ｍｅａｎ法”を施こすことに
よってコードブック１０３を作成する。この作成された
コードブック１０３をもとに、全多視点画像内のブロッ
クについて距離計算を行い、最も近い代表ベクトルのイ
ンデクス１０４を得る。

【００７６】符号化処理側の構成要素である多視点画像
符号化手段１０２では、全多視点画像から設計された上
記コードブック１０３と、全多視点画像についての上記
インデクスデータ１０４を多重化部１０５に伝送する。
多重化部１０５ではこれらを多重化して符号化データ１
０６として復号化処理側に伝送する。

【００７７】このようにして伝送されてきた符号化デー
タ１０６は復号化処理側において、多重分離手段１０７
にて分離されることにより、コードブック１０８とイン
デクスデータ１０９を得る。多視点画像復号化手段１１
０はインデクスデータ１０９によってコードブック１０
８を参照して必要な視点の多視点画像を復号する。

【００７８】発明の概念で説明したように、本発明で
は、符号化側においては、まずはじめに、全多視点画像
をブロック化したものをトレーニングシーケンスとして
用意して“ｋ−ｍｅａｎ法”を施し、コードブックを設
計して、この設計されて作成されたコードブックをもと
に、全多視点画像内のブロックについて距離計算を行
い、最も近い代表ベクトルのインデクスを求め、符号化
処理側は最後に、全多視点画像から設計されたコードブ
ックと、全多視点画像についてのインデクスデータを伝
送する。

【００７９】そして、復号化処理側ではこれらコードブ
ック、及び全多視点画像内ブロックについてのインデク
スデータを受け取り、メモリに保持し、任意視点画像合
成工程が視点情報に応じてどのブロックを復号するかの
指示を待つ。そして、要求されたブロックに応じたイン
デクスの番号を持つブロックをコードブック内から選ぶ
ことにより、合成に必要なブロックを復号する。

【００８０】この第１の実施形態ではこのような概念を
装置として実現するものであり、この方式の場合、ブロ
ック単位でベクトル量子化しているので、画像内の相関
を用いた符号化になっており、更には、全多視点画像を
用いてコードブックを設計しているので、フレーム内Ｄ
ＣＴ符号化とは異なり、各多視点画像間の相関も利用し
た符号化がなされている。そのため、必要な画像を効率
良く符号化できてデータの短時間伝送が可能になり、物
体毎のコードブックとインデクスデータを復号化装置に
無理なく渡すことができるようになるので、実写ベース
での画像再生が容易となる。また、復号化装置側でのメ
モリに保持されたデータは、設計されたコードブックと
全多視点画像内の各ブロックについてのインデクスデー
タであり、どちらも固定長データである。

【００８１】よって、フレーム内ＤＣＴ符号化やハイブ
リッド符号化のように、可変長復号や、階層的な復号を
施す必要がなく、インデクスに応じたコードブック内の
代表ベクトルの参照という単純な操作だけで任意のブロ
ックを素早く復号することができるのでリアルタイム性
を損なうことがない。

【００８２】第１実施形態における各要素の詳細を説明
しておく。

【００８３】＜多視点画像入力手段＞本システムにおい
ては、イメージベーストレンダリングのもととなる多視
点画像は、多視点画像入力手段１０１で取得して入力す
るが、この多視点画像入力手段１０１の具体的構成は図
２に示す如きである。すなわち、図２において、２０１
は多視点画像を撮影される被写体としての３次元物体、
２０２はこの３次元物体２０１を撮影するカメラ、２０
３は３次元物体２０１を載せて回転するターンテーブル
である。

【００８４】被写体である３次元物体２０１はターンテ
ーブル２０３に載せて、カメラ２０２により撮影する。
ターンテーブル２０３は、ある刻み角度毎に少しずつ回
転させるようにし、各刻み角度毎に、定位置のカメラ２
０２によって３次元物体２０１を撮影する。そして、タ
ーンテーブル２０３が３６０度回転するまで同じ作業を
続ける。

【００８５】αを３６０の約数として、この方法によっ
てα［度］刻みでターンテーブル２０３を回転させて撮
影すると、Ｆ＝３６０／α［枚］の多視点画像を撮影す
ることができる。（以降、多視点画像数をＦ［枚］とす
る。）＜多視点画像符号化手段の構成＞次に多視点画像符号化
手段１０２の構成を説明する。図４は多視点画像符号化
手段１０２の構成を示すブロック図であり、図におい
て、３０１は多視点画像入力手段１０１で撮影された全
Ｆ［枚］の多視点画像、３０２は多視点画像をｍ×ｎ画
素のブロックに分割するブロック化手段、３０３はブロ
ックを元にコードブックを作成するコードブック作成手
段、３０４は多重化手段１０５に送られるコードブッ
ク、３０５はインデクスデータを計算されるi番目の多
視点画像、３０６はｉ番目の多視点画像をｍ×ｎ画素の
ブロックに分割するブロック化手段、３０７はブロック
とコードブックを元にインデクスを算出するインデクス
算出手段、３０８はインデクス算出手段３０７で算出さ
れて多重化手段１０５に送られるi番目の多視点画像の
インデクスデータである。

【００８６】まず、図４におけるコードブック３０４の
作成手段について説明する。多視点画像入力手段１０１
で撮影されたＦ［枚］の全多視点画像３０１は、ブロッ
ク化手段３０２でｍ×ｎ画素のブロックに分割されてト
レーニングシーケンスと呼ばれるｍ×ｎ次元のベクトル
に変換される。次いで、トレーニングシーケンスはコー
ドブック作成手段３０３において、スカラー量子化を多
次元に拡張したかたちで実現できるベクトル量子化が行
われて、より少ないベクトルでトレーニングシーケンス
をベクトル量子化した代表べクトルが出力される。この
代表ベクトルからなるテーブルがコードブック３０４で
ある。

【００８７】コードブックの代表的な設計方法であるＫ
−ｍｅａｎ法を以下に示す。

【００８８】〔１〕代表ベクトルｑに量子化されるｍ×
ｎ次元ベクトル空間の領域をＳｉとする。また、トレー
ニングシーケンスｔ１，……，ｔｋを用意する。

【００８９】〔２〕代表ベクトルＱｊ（ｊ＝１〜Ｎ）に
適当な初期値を与える。

【００９０】〔３〕代表ベクトルｑとトレーニングシー
ケンスｔ１，……，ｔｋとの距離を計算して、各Ｓｊに
対してどのトレーニングシーケンスｔが属するかを調べ
る。

【００９１】〔４〕各Ｓｉ毎にその中に属するｔの重心
を新たな代表ベクトルｑにする。

【００９２】以上の〔３〕と〔４〕を量子化誤差が十分
小さな値に収束するまで続ける。

【００９３】このように処理する構成とすることで、コ
ードブック３０４を作成する手段を実現できる。なお、
得られたコードブック３０４は固定長のデータ構造を持
つ。次に、インデクスデータを算出する手段の実現方法
を説明する。

【００９４】＜インデクスデータを算出する手段＞図４
における、作成されたコードブック３０４を用いてｉ番
目の多視点画像３０１ｉから、ｉ番目のインデクスデー
タを算出する手段について説明する。多視点画像入力手
段１０１で撮影されたｉ番目の多視点画像３０５は、ブ
ロック化手段３０６でｍ×ｎ画素のブロックに分割され
てｍ×ｎ次元の入力ベクトルに変換される。

【００９５】次いで、入力ベクトルはインデクス算出手
段３０７においてコードブック３０４内で、最も距離が
近い代表ベクトルに量子化されて、コードブック３０４
内での選ばれた代表ベクトルのインデクスのみが出力さ
れる。

【００９６】ｉ番目の多視点画像３０１ｉ内の全ブロッ
クについてのインデクスをまとめたものがｉ番目の多視
点画像のインデクスデータ３０８である。尚、得られる
インデクスデータ３０８は固定長のデータ構造である。

【００９７】以降、それぞれの多視点画像３０１ｉ（ｉ
＝１〜Ｆ）についてコードブック３０４を用いてインデ
クスデータが算出される。最終的に、多視点画像符号化
手段１０２からは、コードブック３０４とＦ［枚］分の
インデクスデータ３０８が多重化手段１０５に送られ
る。

【００９８】多重化手段１０５ではコードブック１０３
とインデクスデータ１０４が多重化されて符号化データ
１０６が作成されて伝送される。多重分離手段１０７で
は伝送された符号化データ１０６がコードブック１０８
とインデクスデータ１０９に多重分離される。

【００９９】＜多視点画像復号化手段＞次に多視点画像
復号化手段１１０について説明する。多視点画像復号化
手段１１０は図５に示す如きの構成であって、４０１は
多視点画像符号化手段１０２で作成されて伝送されて多
重分離されたコードブック、４０２は多視点画像符号化
手段１０２で算出されて伝送されて多重分離されたi番
目の多視点画像のインデクスデータ、４０３はi番目の
多視点画像のインデクスデータ４０２に対応するコード
ブック４０１内のｍ×ｎ次元代表ベクトルを参照するコ
ードブック参照手段、４０４はｍ×ｎ画素ブロックを多
視点画像に戻す逆ブロック化手段、４０５は復号化され
たｉ番目の多視点画像である。

【０１００】このような構成において、多重分離された
コードブック４０１と多重分離されたＦ［枚］分のイン
デクスデータ４０２は、固定長データのままメモリに保
持される。すなわち、この実施例においては、符号化側
で作成されたコードブックとＦ［枚］分のインデクスデ
ータ自身は符号化処理されていないので、いずれも固定
長データである。そのため、可変長の場合のように符号
を元のデータに戻すと云った手間が不要で、任意のブロ
ックがテーブルの参照のみによってメモリから読み取る
ことができる。

【０１０１】Ｆ［枚］分のインデクスデータのうち、現
在、復号化したい多視点画像がｉ番目の多視点画像であ
るとすると、ｉ番目の多視点画像のインデクスデータ４
０２内のインデクスが、順にコードブック参照手段４０
３に送られて、同じインデクスを持つｍ×ｎ次元代表ベ
クトルがコードブック４０１から参照される。

【０１０２】参照されたｍ×ｎ次元代表ベクトル、つま
り参照されたｍ×ｎ画素ブロックは順に逆ブロック化手
段４０４に送られてｉ番目の１枚の多視点画像４０５に
復号される。

【０１０３】以上のように、ベクトル量子化を利用し
て、３次元物体毎にコードブックとインデクスデータを
作成して伝送することにより、多視点画像全体の相関を
用いた高圧縮な符号化が実現でき、また、インデクスの
参照という処理だけで済む高いリアルタイム性を実現し
た復号化を行うことができる。

【０１０４】以上、この第１の実施形態に示した実施例
は、符号化手段として３次元物体を複数の地点から撮影
した画像を入力する多視点画像入力手段と、前記入力さ
れた多視点画像をｍ×ｎ画素に分割してコードブックを
設計すると共に各多視点画像にベクトル量子化を施して
インデクスデータを求める多視点画像符号化手段と、前
記設計されたコードブックと前記算出されたインデクス
データより符号化データを作成する手段と、これら符号
化データを伝送または蓄積する手段を備えて構成し、ま
た、復号化手段として、この伝送され、または蓄積され
た前記符号化データよりコードブックとインデクスデー
タを得る手段と、コードブックよりインデクスデータに
対応したブロックを参照して多視点画像を復号化する多
視点画像復号化手段とを備えて構成したものである。

【０１０５】そして、多視点画像入力手段により被写体
である３次元物体を複数の地点から撮影して得た画像を
入力すると、この多視点画像符号化手段は前記入力され
た多視点画像をｍ×ｎ画素に分割してコードブックを設
計すると共に各多視点画像にベクトル量子化を施してイ
ンデクスデータを求め、符号化データ作成手段は前記設
計されたコードブックと前記算出されたインデクスデー
タより符号化データを作成する。そして、復号化手段で
は、この符号化データよりコードブックとインデクスデ
ータを得、得たコードブックよりインデクスデータに対
応したブロックを参照して多視点画像を復号化する。

【０１０６】このように、ベクトル量子化を利用して、
３次元物体毎にコードブックとインデクスデータを作成
して伝送または蓄積するようにしたことにより、符号化
側では多視点画像全体の相関を用いた高圧縮な符号化が
実現でき、符号量を小さくして短い伝送時間で復号化処
理側に渡すことができ、また、復号化処理側では受け取
ったコードブックとインデクスデータを保持すれば後は
インデクスの参照という処理だけで所望視点からの物体
の画像を再現できるので、高いリアルタイム性を実現し
た実写ベースの画像の復号化を行うことができる技術が
提供できる。

【０１０７】また、符号化側よりコードブックとインデ
クスデータを復号化側に渡して画像を復号化し、再生す
るが、コードブックとインデクスデータは固定長のまま
であるから、可変長の場合のように符号を元のデータに
戻すと云った手間が不要で、任意のブロックがテーブル
の参照のみによってメモリから読み取ることができ、リ
アルタイム性を確保できる。

【０１０８】また、本発明では汎用ではなく、得たい画
像に応じてその画像用のコードブックも作成して復号化
側にも送り、復号化側ではこれを利用し、受け取ったイ
ンデクスから画像を再生するようしているので実写性を
持った実写ベースでのバーチャルリアリティやウォーク
スルー、そして、バーチャルショップでの商品展示、イ
ンタラクティブな電子博物館などと云った映像分野に最
適な符号化・復号化方法を実現できる。

【０１０９】（第２実施形態）第２実施形態は、上記第
１実施形態の装置をコンピュータ処理によりプログラム
で実現するための例である。この多視点画像符号化復号
化方法の処理の流れは、図６に示すように、多視点画像
入力工程５０１、多視点画像符号化工程５０２、多重化
工程５０５、多重分離工程５０７、多視点画像復号化工
程５１０からなる。

【０１１０】図６における多視点画像入力工程５０１
は、第１実施形態の図３における多視点画像入力手段１
０１で説明した構成が実現する方法で３次元物体の多視
点画像を撮影する工程である。

【０１１１】図６における多視点画像符号化工程５０２
は、第１実施形態の図３における多視点画像符号化手段
１０２で説明した構成が実現する方法で多視点画像を符
号化する工程である。図６における多重化工程および多
重分離工程は、第１実施形態の図３における多重化手段
１０５および多重分離手段１０７で説明した構成が実現
する方法でコードブックとインデクスデータを多重化、
伝送、多重分離する工程である。図６における多視点画
像復号化工程５１０は、第１実施形態と同様に得られた
コードブック５０８とインデクスデータ５０９を用い
て、第１実施形態の図３における多視点画像復号化手段
１１０で説明した構成が実現する方法で多視点画像を復
号化する工程である。

【０１１２】そして、多視点画像入力工程５０１におい
て３次元物体を複数の地点から撮影した画像を入力する
と、多視点画像符号化工程５０２は多視点画像入力工程
５０１によって入力された多視点画像からコードブック
を設計して、ベクトル量子化により、多視点画像を符号
化する。すなわち、多視点画像符号化工程５０２ではま
ずはじめに、全多視点画像をブロック化し、これをトレ
ーニングシーケンスとして“ｋ−ｍｅａｎ法”を施こす
ことによってコードブック５０３を作成する。この作成
されたコードブック５０３は固定長のデータ構造を持つ
ものである。この作成されたコードブック５０３をもと
に、全多視点画像内のブロックについて距離計算を行
い、最も近い代表ベクトルのインデクス５０４を得る。
このインデクスのデータ５０４も固定長のデータ構造を
持つものである。

【０１１３】そして、このコードブック５０３と、各視
点画像を復号するのに必要なインデクスのデータ５０４
は多重化工程５０５により多重化して符号化データ５０
６を作成する。そして、これを符号化処理側に伝送す
る。

【０１１４】復号化処理側では、伝送されてきた符号化
データ５０６を、多重分離工程５０７にて分離すること
により、コードブック５０８とインデクスデータ５０９
を得る。

【０１１５】多視点画像復号化工程５１０はインデクス
データ５０９によってコードブック５０８を参照して必
要な視点の多視点画像を復号する。

【０１１６】このように、多視点画像入力工程により被
写体である３次元物体を複数の地点から撮影して得た画
像を入力すると、この多視点画像符号化工程は前記入力
された多視点画像をｍ×ｎ画素に分割してコードブック
を設計すると共に各多視点画像にベクトル量子化を施し
てインデクスデータを求め、多重化工程は前記設計され
たコードブックと前記算出されたインデクスデータを多
重化して符号化データ化し、そして、多重分離工程で
は、この符号化データよりコードブックとインデクスデ
ータを得、多視点顔有象復号化工程ではこのコードブッ
クよりインデクスデータに対応したブロックを参照して
多視点画像を復号化する。

【０１１７】このように、ベクトル量子化を利用して、
３次元物体毎にコードブックとインデクスデータを作成
して伝送または蓄積するようにしたことにより、符号化
側では多視点画像全体の相関を用いた高圧縮な符号化が
実現でき、また、復号化側ではインデクスの参照という
処理だけで済むので高いリアルタイム性を実現した復号
化を行うことができる技術が提供できる。また、符号化
側よりコードブックとインデクスデータを復号化側に渡
して画像を復号化し、再生するが、コードブックとイン
デクスデータは固定長のままであるから、可変長の場合
のように符号を元のデータに戻すと云った手間が不要
で、任意のブロックがテーブルの参照のみによってメモ
リから読み取ることができ、リアルタイム性を確保でき
る。

【０１１８】また、本発明では汎用ではなく、得たい画
像に応じてその画像用のコードブックも作成して復号化
側にも送り、復号化側ではこれを利用し、受け取ったイ
ンデクスから画像を再生するようしているので実写性を
持った実写ベースでのバーチャルリアリティやウォーク
スルー、そして、バーチャルショップでの商品展示、イ
ンタラクティブな電子博物館などと云った映像分野に最
適な符号化・復号化方法を実現できる。

【０１１９】以上は、コードブックおよびインデクスを
固定長のまま多重化して復号化処理側に送るようにした
例を説明した。そして、コードブックおよびインデクス
を固定長のまま送ることで、復号化処理側ではそのま
ま、データを利用することができ、処理に関してはリア
ルタイム性を維持できる優れた技術として利用できる
が、しかし、コードブックおよびインデクスが大容量に
なると、伝送に必要な時間が問題となる。その場合に、
伝送時間を短縮でき、また、復号化処理側でのインデク
スデータを使用した画像再生を高速度で行うことができ
るようにした実施例を第３実施形態として説明する。

【０１２０】（第３実施形態）この実施形態は、作成し
たコードブックを可変長符号化して復号化処理側に送る
ようにすることにより、伝送時間を短縮するようにした
もので、コードブックは可変長符号化しているので、イ
ンデクスもこの最初のコードブックではなく、可変長符
号化コードブックを復号化して得たコードブック（復号
化コードブック）を元に算出してこの算出したものを復
号化処理側に送るようにする。

【０１２１】第３実施形態においては、第１実施形態で
の多視点画像符号化復号化装置における多視点画像符号
化手段１０２にコードブックを符号化処理する手段（コ
ードブック符号化手段）を新たに備え、多視点画像復号
化手段１１０に符号化されたコードブックを復号化処理
する手段（コードブック復号化手段）を新たに備えて多
視点画像の符号化復号化を行うようにするもので、これ
によりより符号量を減らすことが可能である。

【０１２２】以下、コードブックの可変長符号化復号化
機能手段を備えた多視点画像符号化復号化装置および多
視点画像符号化復号化方法について説明する。

【０１２３】図７は第３実施形態における多視点画像符
号化手段の構成を説明するブロック図である。図７にお
いて、６０１は多視点画像入力手段で撮影された全Ｆ
［枚］の多視点画像、６０２は多視点画像をｍ×ｎ画素
のブロックに分割するブロック化手段、６０３はブロッ
クを元にコードブックを作成するコードブック作成手
段、６０４はＤＣＴ（離散コサイン変換）部と量子化部
と２次元可変長符号化部から成るコードブック符号化手
段、６０５′はコードブック６０５が符号化された符号
化コードブック、６０６は２次元可変長復号化部と逆量
子化部とＩＤＣＴ（逆離散コサイン変換）部から成るコ
ードブック復号化手段、６０７は符号化コードブック６
０５′を復号化して得られた復号化コードブック、６０
８はインデクスデータを計算されるｉ番目の多視点画
像、６０９はｉ番目の多視点画像をｍ×ｎ画素のブロッ
クに分割するブロック化手段、６１０はブロックと符号
化コードブックを元にインデクスを算出するインデクス
算出手段、６１１はインデクス算出手段６１０で算出さ
れたi番目の多視点画像のインデクスデータである。

【０１２４】図７における構成で第１実施形態における
構成に新たに付加された構成要素部分における処理につ
いて説明する。すなわち、前多視点画像６０１を元に、
ブロック化手段６０２により画像をブロック化し、これ
よりコードブック作成手段６０３にてコードブック６０
５を作成するまでの処理、およびｉ番目の多視点画像６
０８をブロック化手段６０９によりブロック化してイン
デクス算出手段６１０に与え、インデクス算出手段６１
０はコードブックを用いてインデクスを計算するようし
ている点は第１実施形態における対応要素での処理と変
わりはない。但し、第３実施形態ではその後の段におけ
る処理が追加されている点、そして、インデクス算出手
段６１０が用いるコードブックは、符号化したコードブ
ック６０５′を復号化したものである点が異なる。

【０１２５】すなわち、本実施形態においては、コード
ブック作成手段６０３において作成されたコードブック
６０５は、コードブック内の代表べクトル毎に、コード
ブック符号化手段６０４で代表ベクトル内の各成分に含
まれる相関を利用して符号化される。例えば、ここでの
符号化は直交変換による符号化が考えられる。そして、
この場合、ここでは直交変換としてＤＣＴ変換され、こ
れによって得られたＤＣＴ係数が量子化されて、量子化
されたＤＣＴ係数が２次元可変長符号化されている。

【０１２６】このようにしてコードブック符号化手段６
０４により符号化されたコードブック６０５′は多重化
手段に送られると共に、符号化処理側に新たに設けられ
たコードブック復号化手段６０６において２次元可変長
復号化（ＶＬＣ）、逆量子化（ＩＱ）、ＩＤＣＴされ
て、再び局部復号化されることにより、復号化コードブ
ック６０７が得られる。

【０１２７】一方、符号化処理側におけるインデクス算
出手段６１０においては、この復号化コードブック６０
７内で最も距離が近い代表ベクトルに入力ベクトルを量
子化して、復号化コードブック６０７内で選ばれた代表
ベクトルのインデクスが多重化手段に出力される。

【０１２８】このようにして、符号化処理側では、作成
した固定長のコードブック６０５を、データ量圧縮のた
めに可変長符号化し、この可変長符号化されたコードブ
ックを復号化処理側に送る。また、復号化処理側では可
変長符号化されたコードブックしかないので、符号化処
理側ではこの可変長符号化されたコードブックに基づい
て画像を復号できるようにするために、可変長符号化さ
れたコードブックを再度復号して得たコードブックを参
照してインデクスデータを算出する。そして、これをｉ
番目の多視点画像のインデクスデータとして出力し、前
述の可変長符号化されたコードブックと共に多重化して
復号化処理側に送る。これによって、コードブックの符
号量を圧縮して多量のコードブックであっても短時間に
伝送できるようにした。

【０１２９】次にこのようにして伝送されてきた符号化
コードブックとインデクスデータからｉ番目の多視点画
像を復号化する処理を説明する。

【０１３０】図８は第３実施形態における多視点画像復
号化手段の構成を説明する図である。図８において、７
０１は多重分離手段で分離された符号化コードブック、
７０２は２次元可変長復号化部と逆量子化部とＩＤＣＴ
部から成るコードブック復号化手段、７０３は復号化さ
れた復号化コードブック、７０４は多重分離手段で分離
されたｉ番目の多視点画像のインデクスデータ、７０５
は復号化コードブック７０３内からｉ番目の多視点画像
のインデクスデータ７０４に対応するｍ×ｎ次元代表ベ
クトルを参照するコードブック参照手段、７０６はｍ×
ｎ画素ブロックを多視点画像に戻す逆ブロック化手段、
７０７は復号化されたｉ番目の多視点画像である。

【０１３１】図８での新たに第１実施形態に付加された
処理ついて説明する。

【０１３２】多重分離手段によりデータを多重分離する
までは第１実施形態と変わりはない。多重分離手段によ
り多重分離されたデータのうち、符号化コードブック７
０１（６０５′に対応）は、多視点画像符号化手段での
コードブック復号化手段６０６と同じ復号化方法を実施
するコードブック復号化手段７０２において復号化され
る。ここでは、２次元可変長復号化、逆量子化、ＩＤＣ
Ｔ（逆離散コサイン変換）演算処理されている。

【０１３３】コードブック復号化手段７０２において復
号化されて固定長データとなったコードブック７０３と
インデクスデータ７０４がメモリに展開されて保持され
る。メモリに展開されて保持されたコードブック７０３
およびインデクスデータ７０４は、この段階では固定長
データとなっているので、任意のブロックをテーブルの
参照のみによってメモリから読み取ることができる。

【０１３４】コードブック参照手段７０５は、この復号
化コードブック７０３内で同じインデクスを持つｍ×ｎ
次元代表ベクトルを参照して逆ブロック化手段７０６ヘ
ブロックを送る。

【０１３５】以上のように、べクトル量子化を利用し
て、３次元物体毎にコードブックとインデクスデータを
作成して、更にコードブックを符号化して圧縮してから
伝送することによって、伝送する符号量をより減らすこ
とができ、コードブックとインデクスデータを伝送する
に要する時間を短縮できる。従って、３次元物体毎にコ
ードブックとインデクスデータを作成して、伝送する処
理を短時間に実施可能である。また、復号化したコード
ブックは復号化処理側では復号化して固定長データに戻
し、メモリに格納して固定長のコードブックとして用い
るので、インデクスデータからリアルタイム性を維持し
て画像を復元することができる。そのため、写実性の高
い画像をリアルタイム性を以て合成可能なシステムを実
現可能になる。

【０１３６】また、上述した多視点画像符号化手段で説
明した構成で多視点画像を符号化する多視点画像符号化
工程と、多視点画像復号化手段で説明した構成で多視点
画像を復号化する多視点画像復号化工程を考えることに
より、多視点画像符号化復号化方法を実現することがで
きる。

【０１３７】以上は、コードブックを符号化して圧縮し
てから伝送することによって、伝送する符号量を減らす
ようにしたものであるが、代表ベクトル間の相関を利用
して符号量を減らすこともできる。

【０１３８】従って、次にこのような実施例を第４実施
形態として説明する。

【０１３９】（第４実施形態）第３実施形態で説明した
コードブック符号化手段６０４においてコードブック内
の代表ベクトルを並べ替えて、前代表ベクトルとの差分
誤差をＤＣＴ、量子化、２次元可変長符号化する処理を
持たせ、コードブック復号化手段６０６、７０２におい
て符号化された差分誤差を２次元可変長復号化、逆量子
化、ＩＤＣＴ（逆離散コサイン変換）して前代表ベクト
ルに加算する処理を持たせることによって、代表ベクト
ル内の相関のみならず、代表ベクトル間の相関を利用し
て符号量を減らした多視点画像符号化復号化装置および
多視点画像符号化復号化方法を実現することができる。

【０１４０】図９は第４実施形態におけるコードブック
符号化手段およびコードブック復号化手段での多視点画
像符号化復号化装置の構成を説明する図である。図９に
おいて、８０１はコードブックであって、コードブック
作成手段６０３において作成されたコードブックであ
り、８０２はコードブック並べ替え手段であって、コー
ドブック８０１内の代表ベクトルを距離の近い順（差分
を取った際の各成分の２乗和の小さい順）に並べ替える
コードブック並べ替え手段である。

【０１４１】また、８０３はＤＣＴ部、８０４は量子化
部、８０５は２次元可変長符号化部（ＶＬＣ）、８０６
は逆量子化部（ＩＱ）、８０７はＩＤＣＴ部、８０８は
ブロックメモリ（ＢＭ）、８０９はインデクスデータと
共に多重化、伝送、多重分離される符号化差分コードブ
ック、８１０は２次元可変長復号化部、８１１は逆量子
化部、８１２はＩＤＣＴ部、８１３はブロックメモリ、
８１４は復号化されたコードブックである。

【０１４２】図９でのコードブック符号化復号化処理つ
いて説明する。この実施形態は、代表ベクトル間の相関
を利用することにより、符号量削減を図るようにしてお
り、作成されたコードブックの符号化処理に特徴があ
る。

【０１４３】この特徴部分を中心に説明する。各実施形
態で説明した如きの手法により、コードブック８０１は
作成される。作成されたコードブック８０１は固定長の
データである。コードブック並べ替え手段８０２では、
このコードブック８０１内の代表ベクトルを距離の近い
順（差分を取った際の各成分の２乗和の小さい順）に並
べ替える。コードブック内の代表ベクトル数をｎ［個］
とすると、コードブックをシーケンシャルに並べ替える
全場合の数はｎ！［通り］存在して、ｎ！［通り］の並
べ方について差分誤差の和を求めなければ最適な並べ方
は得られない。

【０１４４】しかし、実用的な画質を実現するために必
要な代表ベクトル数はｎ＝２¹⁵［個］程度であり、実時
間での最適な並べ替え方発見は困難であると考えられ
る。よって、〔方法１〕代表ベクトルの各成分の平均値順に代表ベ
クトルを並べ替える。

【０１４５】〔方法２〕まず、最も平均値が高い代表
ベクトルを選ぶ。順に距離の小さい代表ベクトルを探し
て下に付加してｎ[個］並べる。

【０１４６】〔方法３〕まず、ダイナミックレンジか
ら計算して中間的な平均値の代表ベクトルを選ぶ。平均
値が上の代表べクトルの中で距離が最も近い代表ベクト
ルと、平均値が下の代表ベクトルの中で距離が最も近い
代表ベクトルを選び、上下に付加してｎ[個］並べる。

【０１４７】などの方法によって差分誤差の和が小さく
なるように並べ替えることができる。

【０１４８】コードブック並べ替え手段８０２で並べ替
えられたコードブックは、従来例のフレーム間予測と同
様に順番にブロック間差分誤差を求められ、その誤差に
ＤＣＴ、量子化、２次元可変長符号化が施されて、符号
化された符号化差分コードブック８０９が作成される。

【０１４９】符号化差分コードブック８０９は図７の構
成におけるコードブック復号化手段６０６において２次
元可変長復号化、逆量子化、ＩＤＣＴが施されて局部復
号化されて、インデクス算出手段６１０によってインデ
クスデータが算出される。また、符号化差分コードブッ
ク８０９はインデクスデータと共に多重化、伝送、多重
分離されて、図８の構成におけるコードブック復号化手
段７０２において２次元可変長復号化、逆量子化、ＩＤ
ＣＴされて復号化コードブック８１４が得られる。

【０１５０】復号化されて固定長データとなった復号化
コードブック８１４とインデクスデータがメモリに展開
されて保持される。

【０１５１】メモリに展開されて保持された復号化コー
ドブック８１４とインデクスデータはいずれも固定長デ
ータであるので、任意のブロックがテーブルの参照のみ
によってメモリから読み取り可能である。

【０１５２】また、全ての代表ベクトルをシーケンシャ
ルに並べることによって予測して差分を取るのではなく
て、差分誤差がある閾値より大きい場合は途中で直交変
換符号化された代表べクトルを配置する、もしくは、原
画の代表ベクトルを配置するという方法でのコードブッ
クの符号化復号化も実現可能である。

【０１５３】以上のように、ベクトル量子化を利用し
て、３次元物体毎にコードブックとインデクスデータを
作成して、更にコードブック内の代表ベクトルを並べ替
えて差分誤差を符号化して伝送することによって、より
符号量を減らすことができ、コードブックとインデクス
データを伝送するに要する時間を短縮できる。従って、
３次元物体毎にコードブックとインデクスデータを作成
して、伝送する処理を短時間に実施可能である。また、
復号化したコードブックは復号化処理側では復号化して
固定長データに戻し、メモリに格納して固定長のコード
ブックとして用いるので、インデクスデータからリアル
タイム性を維持して画像を復元することができる。その
ため、写実性の高い画像をリアルタイム性を以て合成可
能なシステムを実現可能になる。

【０１５４】また、上述した多視点画像符号化手段で説
明した構成で多視点画像を符号化する多視点画像符号化
工程と、多視点画像復号化手段で説明した構成で多視点
画像を復号化する多視点画像復号化工程を考えることに
より、多視点画像符号化復号化方法を実現することがで
きる。

【０１５５】以上は、ベクトル量子化を利用して、３次
元物体毎にコードブックとインデクスデータを作成し
て、更にコードブック内の代表ベクトルを並べ替えて差
分誤差を符号化して伝送することによって、より符号量
を減らすようにしたものであるが、コードブックを使用
頻度に対応に並べ替えし、使用頻度の高いものほど、小
さい符号に割り当てる符号化方式を適用して符号化すれ
ば、効率的に符号量を減らすことができる。

【０１５６】従って、次にこのような実施例を第５実施
形態として説明する。

【０１５７】（第５実施形態）第３実施形態で説明した
コードブック符号化手段６０４とコードブック復号化手
段６０６、７０２において、予め仮に全多視点画像Ｆ
［枚］分のインデクスデータを求めて代表ベクトルの使
用頻度を求めておき、その使用頻度を利用することより
効率的に符号量を減らす多視点画像符号化復号化装置お
よび多視点画像符号化復号化方法を実現することができ
る。

【０１５８】図１０は第５実施形態におけるコードブッ
ク符号化手段およびコードブック復号化手段での多視点
画像符号化復号化装置の構成を説明する図である。図１
０において、９０１は予め求められたコードブック使用
頻度情報、９０２はコードブック使用頻度情報９０１に
応じて符号化を制御する符号化制御器、９０３はコード
ブック作成手段６０３において作成されたコードブッ
ク、９０４はＤＣＴ部、９０５は量子化部、９０６は２
次元可変長符号化部、９０７はインデクスデータと共に
多重化、伝送、多重分離される符号化コードブック、９
０８は２次元可変長復号化部、９０９は逆量子化部、９
１０はＩＤＣＴ部、９１１は復号化された復号化コード
ブックである。

【０１５９】図１０でのコードブック符号化復号化処理
について説明する。この実施形態は、コードブックを使
用頻度対応に並べ替えし、使用頻度の高いものほど、小
さい符号に割り当てる符号化方式を適用して符号化する
ことにより、一層の符号量削減を図るようにしており、
コードブックの並べ替え機能を付加した点に特徴があ
る。

【０１６０】この特徴部分を中心に説明する。コードブ
ック作成手段６０３で作成されたコードブック９０３
は、コードブック使用頻度情報９０１に応じて符号化を
制御する符号化制御器９０２によって制御されながら、
ＤＣＴ、量子化、２次元可変長符号化を施されて符号化
される。つまり、多重化するインデクスデータを算出す
る前に、予め符号化される前のコードブックを用いて全
多視点画像Ｆ１枚１分のインデクスデータを調べ、コー
ドブック内での代表ベクトルの使用頻度を調べる。この
使用頻度に応じて、より頻度の高い代表ベクトルには多
くの符号量を、頻度の低い代表ベクトルには符号量をあ
まり割り当てないようにして、コードブック符号化手段
６０４において符号化コードブックを求める。また、こ
の符号化手段に応じた復号化手段によってコードブック
復号化手段６０６、７０２で符号化コードブックを復号
化する。

【０１６１】具体的な符号量割り当て方法としては、
[ｉ] 使用頻度がある閾値以上の代表べクトルは符号化
せず、ある閾値以下の代表ベクトルのみ直交変換符号化
する。

【０１６２】あるいは、[ii] 使用頻度に応じたステッ
プサイズでブロック毎に直交変換符号化を施す。

【０１６３】などの符号化制御方法がある。

【０１６４】符号化された符号化コードブック９０７は
図７の構成におけるコードブック復号化手段６０６にお
いて２次元可変長復号化、逆量子化、ＩＤＣＴが施され
て局部復号化され、インデクス算出手段６１０によって
再びインデクスデータが算出される。

【０１６５】また、符号化コードブック９０７はインデ
クスデータと共に多重化、伝送、多重分離されて、図８
の構成におけるコードブック復号化手段７０２において
２次元可変長復号化、逆量子化、ＩＤＣＴされて復号化
コードブック９１１が得られる。復号化されて固定長デ
ータとなった復号化コードブック９１１とインデクスデ
ータがメモリに展開されて保持される。メモリに展開さ
れて保持された復号化コードブック９１１とインデクス
データは固定長データであるので、任意のブロックがテ
ーブルの参照のみによってメモリから読み取り可能であ
る。

【０１６６】以上のように、ベクトル量子化を利用し
て、３次元物体毎にコードブックとインデクスデータを
作成して、更にコードブック使用頻度情報に応じて符号
化を制御してコードブックを符号化して伝送することに
より、より効率的に符号量を割り当てることができる。
故に、コードブックとインデクスデータを伝送するに要
する時間を短縮できるから、３次元物体毎にコードブッ
クとインデクスデータを作成して、伝送する処理を短時
間に実施可能である。また、復号化したコードブックは
復号化処理側では復号化して固定長データに戻し、メモ
リに格納して固定長のコードブックとして用いるので、
インデクスデータからリアルタイム性を維持して画像を
復元することができる。そのため、写実性の高い画像を
リアルタイム性を以て合成可能なシステムを実現可能に
なる。

【０１６７】また、上述した多視点画像符号化手段で説
明した構成で多視点画像を符号化する多視点画像符号化
工程と、多視点画像復号化手段で説明した構成で多視点
画像を復号化する多視点画像復号化工程を考えることに
より、多視点画像符号化復号化方法を実現することがで
きる。

【０１６８】以上は、コードブックの可変長符号化によ
るデータ圧縮を主体に説明したが、更にインデクスデー
タも圧縮することで、符号量削減に効果が期待できる。
コードブックの符号化と併用するわけである。このよう
な目的に利用可能な実施例を第６の実施形態として説明
する。

【０１６９】（第６実施形態）第６実施形態はインデク
スデータの圧縮と伸長処理を中心に説明している。この
第６実施形態においては、第１実施形態の多視点画像符
号化手段１０２にインデクスデータを符号化する処理を
備え、多視点画像復号化手段１１０に符号化されたイン
デクスデータを復号化する処理を備えて多視点画像の符
号化復号化を行い、より符号量を減らすことが可能にし
ている。

【０１７０】以下にインデクスデータの符号化復号化を
備えた多視点画像符号化復号化装置および多視点画像符
号化復号化方法について説明する。

【０１７１】図１１は第６実施形態における多視点画像
符号化手段の構成を説明する図である。図１１におい
て、１００１は多視点画像入力手段で撮影された全Ｆ
[枚]の多視点画像、１００２は多視点画像をｍ×ｎ画素
のブロックに分割するブロック化手段、１００３はブロ
ックを元にコードブックを作成するコードブック作成手
段、１００４は多重化されるコードブック、１０Ｏ５は
インデクスデータを計算されるi番目の多視点画像、１
００６はi番目の多視点面像をｍ×ｎＮ素のブロックに
分割するブロック化手段、１００７はブロックとコード
ブックを元にインデクスを算出するインデクス算出手
段、１００８はインデクスデータを可変長符号化する可
変長符号化手段、１００９は可変長符号化されたｉ番目
の多視点画像のインデクスデータ、１０１０は可変長符
号テーブルである。

【０１７２】図１１での新たに第１実施形態に付加され
た処理について説明する。インデクス算出手段１００７
において入カブロックとコードブック１００４を元に算
出されたインデクスデータは、可変長符号テーブル１０
１０をもとに可変長符号化手段１００８において可変長
符号化される。

【０１７３】そして、可変長符号化された符号化インデ
クスデータ１００９と可変長符号テーブル１０１０が、
コードブック１００４と共に多重化、伝送、多重分離さ
れる。

【０１７４】この可変長符号テーブル１０１０はインデ
クス算出手段１００７で計算されるインデクスの使用頻
度に応じて３次元物体毎に設計して伝送する。また、別
の実施例として、予め決められた平均的な可変長符号テ
ーブルを使うこととしてもよい。

【０１７５】図１２は第６実施形態における多視点画像
復号化手段を説明する図である。図１２において、１１
０１は多視点画像符号化手段で作成されたコードブッ
ク、１１０２は可変長符号化されたインデクスデータ、
１１０３は可変長符号テーブル、１１０４は可変長符号
化されたインデクスデータ１１０２を可変長符号テーブ
ル１１０３をもとに可変長復号化する可変長復号化手段
（ＶＬＤ）、１１０５はｉ番目の多視点画像のインデク
スデータに対応するコードブック１１０１内のｍ×ｎ次
元代表ベクトルを参照するコードブック参照手段、１１
０６はｍ×ｎ画素ブロックを多視点画像に戻す逆ブロッ
ク化手段、１１０７は復号化されたｉ番目の多視点画像
である。

【０１７６】図１２での新たに第１実施形態に付加され
た処理について説明する。多重化、伝送、多重分離され
てきた可変長符号化インデクスデータ１１０２は、可変
長符号テーブル１１０３をもとに可変長復号化手段１１
０４において復号化される。復号化されて固定長データ
となったインデクスデータとコードブック１１０１がメ
モリに展開されて保持される。

【０１７７】メモリに展開されて保持されたインデクス
データとコードブック１１０１は固定長データであるの
で、任意のブロックがテーブルの参照のみによってメモ
リから読み取り可能である。コードブック参照手段１１
０５は、コードブック１１０１内で同じインデクスを持
つｍ×ｎ次元代表ベクトルを参照して逆ブロック化手段
１１０６へブロックを送る。

【０１７８】以上のように、ベクトル量子化を利用し
て、３次元物体毎にコードブックとインデクスデータを
作成して、更にインデクスデータを可変長符号化して伝
送することによって、より符号量を減らすことができ
る。

【０１７９】また、上述した多視点画像符号化手段で説
明した構成で多視点画像を符号化する多視点画像符号化
工程と、多視点画像復号化手段で説明した構成で多視点
画像を復号化する多視点画像復号化工程を考えることに
より、多視点画像符号化復号化方法を実現することがで
きる。

【０１８０】以上、種々の実施形態を説明したが要する
に、本発明の基本的概念は、汎用ではなく、画像に応じ
てその画像用のコードブックを作成して復号側に送り、
復号側ではこれを利用し、受け取ったインデクスから画
像を再生するようして実写性を持った実写ベースでのバ
ーチャルリアリティやウォークスルー、そして、バーチ
ャルショップでの商品展示、インタラクティブな電子博
物館などと云った映像分野に最適な符号化・復号化方法
を実現しようとするものであって、３次元物体毎にコー
ドブックを作成するために、符号化側においては、まず
はじめに、全多視点画像をブロック化したものをトレー
ニングシーケンスとして用意して“ｋ−ｍｅａｎ法”を
施し、コードブックを設計して、この設計されて作成さ
れたコードブックをもとに、全多視点画像内のブロック
について距離計算を行い、最も近い代表ベクトルのイン
デクスを求め、符号化処理側は最後に、全多視点画像か
ら設計されたコードブックと、全多視点画像についての
インデクスデータを伝送するようにし、そして、復号化
処理側ではこれらコードブック、及び全多視点画像内ブ
ロックについてのインデクスデータを受け取り、メモリ
に保持し、任意視点画像合成のためにブロックを復号す
るかの指示を待つようにし、指示が与えられたならばそ
の指示対応のブロック（要求されたブロック）に応じた
インデクスの番号を持つブロックをコードブック内から
選ぶことにより、合成に必要なブロックを復号するとい
うものである。

【０１８１】特に、多視点画像をベクトル量子化するこ
とにより多視点画像全体に含まれる相関を利用して情報
圧縮を行うことができ、効果的なデータ量削減がなされ
ていて短時間で情報伝送可能になり、また、復号化処理
側では固定長データのコードブックとインデクスデータ
をメモリに展開、保持してインデクスを参照するだけで
所望視点の画像再生を行うことができるようになって、
より高いリアルタイム性で多視点画像の復号を実現で
き、実写ベースでリアルタイム性を維持しつつ所望視点
の画像を再現することができるようになる。

【０１８２】これにより、実写ベースでのバーチャルリ
アリティやウォークスルー、そして、バーチャルショッ
プでの商品展示、インタラクティブな電子博物館などと
云った映像分野に最適な符号化・復号化方法を実現でき
るものである。

【０１８３】なお、本発明は上述した実施形態に限定さ
れるものではなく、種々変形して実施可能である。ま
た、上述の実施形態に記載した手法は、コンピュータに
実行させることのできるプログラムとして、磁気ディス
ク（フロッピーディスク、ハードディスクなど）、光デ
ィスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリな
どの記録媒体に格納して頒布することもできる。

【０１８４】

【発明の効果】以上記述したように本発明によれば、多
視点画像をベクトル量子化することにより多視点画像全
体に含まれる相関を利用して情報圧縮を行うことがで
き、短時間で情報伝送可能になり、また、復号化処理側
では固定長データのコードブックとインデクスデータを
メモリに展開、保持してインデクスを参照するだけで所
望視点の画像再生を行うことができるようになって、よ
り高いリアルタイム性で多視点画像の復号を実現でき、
実写ベースでリアルタイム性を維持しつつ所望視点の画
像を再現することができるようになるという効果を奏す
る。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
概念を説明するための図。

【図２】本発明を説明するための図であって、本発明の
第１実施形態での多視点画像符号化復号加装置の多視点
画像入力手段１０１における多視点画像の取得装置を説
明する図。

【図３】本発明を説明するための図であって、本発明の
第１実施形態の多視点画像符号化復号化装置の構成を示
す図。

【図４】本発明を説明するための図であって、本発明の
第１実施形態の多視点画像符号化復号化装置の多視点画
像符号化手段１０２の構成を示す図。

【図５】本発明を説明するための図であって、本発明の
第１実施形態の多視点画像符号化復号化装置の多視点画
像復号化手段１１０の構成を示す図。

【図６】本発明を説明するための図であって、本発明の
第２実施形態の多視点画像符号化復号化方法の流れを示
すフローチャート。

【図７】本発明を説明するための図であって、本発明の
第３実施形態における多視点画像符号化手段での多視点
画像符号化装置の構成を示す図。

【図８】本発明を説明するための図であって、本発明の
第３実施形態における多視点画像復号化手段での多視点
画像復号化装置の構成を示す図。

【図９】本発明を説明するための図であって、本発明の
第４実施形態におけるコードブック符号化手段およびコ
ードブック復号化手段での多視点画像符号化復号化装置
の構成を示す図。

【図１０】本発明を説明するための図であって、本発明
の第５実施形態におけるコードブック符号化手段および
コードブック復号化手段での多視点画像符号化復号化装
置の構成を示す図。

【図１１】本発明を説明するための図であって、本発明
の第６実施形態における多視点画像符号化手段での多視
点画像符号化装置の構成を示す図。

【図１２】本発明を説明するための図であって、本発明
の第６実施形態における多視点画像復号化手段での多視
点画像復号化装置の構成を示す図。

【図１３】従来の技術である直交変換符号化を利用した
フレーム内符号化装置の構成を示す図。

【図１４】従来の技術である動き補償フレーム間予測と
直交変換符号化を組み合わせたハイブリッド方式による
符号化装置の構成を示す図。

【図１５】従来技術を説明するための図。

【図１６】光線に基づく画像合成の概念を説明するため
の図。

【図１７】データ取得と画像合成を説明するための図。

【図１８】符号化を含む任意視点画像合成システム

【図１９】ＶＱにおけるベクトル空間（２次元）を説明
するための図。

【図２０】ベクトル量子化による一般的な画像符号化を
説明するための図。

【符号の説明】

１０１…多視点画像入力手段１０２…多視点画像符号化手段１０３…コードブック１０４…インデクスデータ１０５…多重化手段１０６…符号化データ１０７…多重分離手段１０８，３０４，５０３…コードブック１０９…インデクスデータ１１０…多視点画像復号化手段２０１…３次元物体２０２…カメラ２０３…ターンテーブル３０１…Ｆ[枚]の全多視点画像３０２…ブロック化手段３０３…コードブック作成手段３０５…１番目の多視点画像３０６…ブロック化手段３０７…インデクス算出手段３０８…１番目の多視点画像のインデクスデータ４０１…伝送されたコードブック４０２…伝送されたｉ番目の多視点画像のインデクスデ
ータ４０３…コードブック参照手段４０４…逆ブロック化手段４０５…復号化されたｉ番目の多視点画像５０１…多視点画像入力工程５０２…多視点画像符号化工程５０４…インデクスデー夕５０５…多重化工程５０６…符号化データ５０７…多重分離工程５０８…コードブック５０９…インデクスデータ５１０…多視点画像復号化工程６０１…Ｆ[枚]の全多視点画像６０２…ブロック化手段６０３…コードブック作成手段６０４…コードブック符号化手段（ＤＣＴ→Ｑ→VLＣ）６０５…符号化コードブック６０６…コードブック復号化手段（ＶLＤ→ＩＱ→ＩＤ
ＣＴ）６０７…復号化コードブック６０８…ｉ番目の多視点画像６０９…ブロック化手段６１０…インデクス算出手段６１１…i番目の多視点画像のインデクスデータ７０１…伝送された符号化コードブック７０２…コードブック復号化手段（ＶＬＤ→ＩＱ→ＩＤ
ＣＴ）７０３…復号化コードブック７０４…伝送されたｉ番目の多視点画像のインデクスデ
ータ７０５…コードブック参照手段７０６…逆ブロック化手段７０７…復号化されたｉ番目の多視点画像８０１…コードブック８０２…コードブック並べ替え手段８０３…ＤＣＴ符号化器８０４…量子化器８０５，８１０…可変長符号化器８０６，８１１…逆量子化器８０７…逆ＤＣＴ復号化器８０８，８１３…ブロックメモリ８０９…符号化された差分コードブック８１２…逆ＤＣＴ復号化器８１４，９１１…復号化されたコードブック９０１…コードブック使用頻度情報９０２…符号化制御器９０３，１００４，１１０１…コードブック９０４…ＤＣＴ符号化器９０５…量子化器９０６…可変長符号化器９０７…符号化されたコードブック９０８…可変長復号化器９０９…逆量子化器９１０…逆ＤＣＴ復号化器１００１…Ｆ［枚］の全多視点画像１００２…ブロック化手段１００３…コードブック作成手段１００５…i番目の多視点画像１００６…ブロック化手段１００７…インデクス算出手段１００８…インデクスデータ可変長符号化手段１００９…可変長符号化されたｉ番目の多視点画像のイ
ンデクスデータ１０１０…可変長符号テーブル１１０２…可変長符号化されて伝送されたｉ番目の多視
点画像のインデクスデータ１１０３…可変長符号テーブル１１０４…インデクスデータ可変長復号化手段１１０４…コードブック参照手段１１０５…逆ブロック化手段１１０６…復号化されたｉ番目の多視点画像１２０１…入力多視点画像１２０２…ＤＣＴ符号化器１２０３…量子化器１２０４…可変長符号化器１２０５…符号化データ１２０６…可変長復号化器１２０７…逆量子化器１２０８…逆ＤＣＴ復号化器１２０９…再生多視点画像１３０１…入力多視点画像１３０２…動き補償部１３０３…ＤＣＴ符号化器１３０４…量子化器１３０５…可変長符号化器１３０６…可変長符号化器１３０７…多重化部１３０８…符号化データ１３０９…逆量子化器１３１０…逆ＤＣＴ復号化器１３１１…フレームメモリ１３１２…多重分離器１３１３…可変長復号化器１３１４…逆量子化器１３１５…逆ＤＣＴ復号化器１３１６…フレームメモリ１３１７…可変長復号化器１３１８…動き補償部１３１９…再生多視点画像

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 CA05 DA07 EA10 EA19 EA28 5B057 BA02 CA13 CA16 CB13 CB18 CE08 CG06 5C059 KK15 MA05 MA23 MC11 MC38 MD09 ME01 ME08 ME13 PP12 PP13 RC14 RC38 RC40 SS14 SS26 TA53 TA54 TA55 TB04 TC41 TD07 UA02 UA05 UA32 UA39 5J064 AA03 BA13 BB05 BC01 BC02 BC16 BD03

Claims

【特許請求の範囲】

【請求項１】３次元物体について複数の地点それぞれで
撮影した画像を入力する多視点画像入力手段と、前記入力された多視点画像をｍ×ｎ画素に分割してコー
ドブックを設計すると共に各多視点画像にベクトル量子
化を施してインデクスデータを算出する多視点画像符号
化手段と、前記設計されたコードブックと前記算出されたインデク
スデータより符号化データを作成する手段と、この作成された符号化データを伝送または蓄積する手段
と、この伝送または蓄積された前記符号化データよりコード
ブックとインデクスデータを得る手段と、この得られたコードブックよりインデクスデータに対応
したブロックを参照して多視点画像を復号化する多視点
画像復号化手段と、を備えることを特徴とする多視点画
像符号化復号化装置。
【請求項２】前記多視点画像符号化手段にはコードブッ
クを符号化する処理を備え、前記多視点画像復号化手段
には符号化されたコードブックを復号化する処理を備え
ることを特徴とする請求項１記載の多視点画像符号化復
号化装置。
【請求項３】前記多視点画像符号化手段は、各成分が類
似したベクトルが連続するようコードブック中の代表ベ
クトルを並べ替えて差分誤差を符号化する処理機能を備
え、前記多視点画像復号化手段は、代表ベクトルの差分
誤差が符号化された前記コードブックを復号化する処理
機能を備えることを特徴とする請求項２記載の多視点画
像符号化復号化装置。
【請求項４】前記多視点画像符号化手段は、コードブッ
ク内の代表ベクトルの使用頻度に応じて代表ベクトルに
用いる符号量を変化させてコードブックを符号化する処
理機能を備え、前記多視点画像復号化手段は、符号化さ
れた前記コードブックを復号化する処理機能を備えるこ
とを特徴とする請求項２記載の多視点画像符号化復号化
装置。
【請求項５】前記多視点画像符号化手段は、インデクス
データを符号化する処理機能を備え、前記多視点画像復
号化手段は、符号化されたインデクスデータを復号化す
る処理機能を備えることを特徴とする請求項１記載の多
視点画像符号化復号化装置。
【請求項６】３次元物体について複数の地点それぞれで
撮影した画像を入力する多視点画像入力手段と、前記入力された多視点画像をｍ×ｎ画素に分割してコー
ドブックを設計すると共に各多視点画像にベクトル量子
化を施してインデクスデータを算出する多視点画像符号
化手段と、前記設計されたコードブックと前記算出されたインデク
スデータより符号化データを作成する手段と、この作成された符号化データを伝送または蓄積する手段
と、を備えることを特徴とする多視点画像符号化装置。
【請求項７】符号化装置により作成されたコードブック
とインデクスデータの符号化データを受けてこれよりコ
ードブックとインデクスデータを得る手段と、この得られたコードブックよりインデクスデータに対応
したブロックを参照して多視点画像を復号化する多視点
画像復号化手段と、を備えることを特徴とする多視点画
像復号化装置。
【請求項８】３次元物体を複数の地点それぞれで撮影し
た画像を入力する多視点画像入カ工程と、前記入力され
た多視点画像をｍ×ｎ画素に分割してコードブックを設
計すると共に各多視点画像にベクトル量子化を施してイ
ンデクスデータを求める多視点画像符号化工程と、前記設計されたコードブックと前記算出されたインデク
スデータより符号化データを作成する工程と、この符号化データを伝送または蓄積する工程と、伝送または蓄積された前記符号化データよりコードブッ
クとインデクスデータを得る工程と、得られたコードブックよりインデクスデータに対応した
ブロックを参照して多視点画像を復号化する多視点画像
復号化工程と、を備えることを特徴とする多視点画像符
号化復号化方法。
【請求項９】前記多視点画像符号化工程は、コードブッ
クを符号化する処理を行い、前記多視点画像復号化工程
は、符号化されたコードブックを復号化する処理を行う
ことを特徴とする請求項８記載の多視点画像符号化復号
化方法。
【請求項１０】前記多視点画像符号化工程は、各成分が
類似したベクトルが連続するようコードブック中の代表
ベクトルを並べ替えて差分誤差を符号化する処理を行
い、前記多視点画像復号化工程は、代表ベクトルの差分
誤差が符号化された前記コードブックを復号化する処理
を行うことを特徴とする請求項９記載の多視点画像符号
化復号化方法。
【請求項１１】前記多視点画像符号化工程は、コードブ
ック内の代表ベクトルの使用頻度に応じて代表ベクトル
に用いる符号量を変化させてコードブックを符号化する
処理を行い、前記多視点画像復号化工程は、符号化され
た前記コードブックを復号化する処理を行うことを特徴
とする請求項９記載の多視点画像符号化復号化方法。
【請求項１２】前記多視点画像符号化工程は、インデク
スデータを符号化する処理を行い、前記多視点画像復号
化工程は、符号化されたインデクスデータを復号化する
処理を行うことを特徴とする請求項８記載の多視点画像
符号化復号化方法。