JP2001285074A - 画像合成方法および画像合成プログラムを記録した媒体 - Google Patents

Abstract

(57)【要約】 【課題】ブロック単位の輝度情報によってモデル化され
た３次元物体データを基に観察者の視点から見た画像を
合成する際に、よりリアリティ性の高い画像合成を行え
るようにする。 【解決手段】３次元物体が輝度情報を含むデータによっ
てモデル化され、更に輝度情報がブロック単位でＶＱ符
号化されたモデルから任意視点画像を合成する際に、視
点位置・視線方向入力工程１０１によって視点位置・視
線方向を入力し、視点状態判定工程１０２によって観察
者の視点位置が静止しているか移動中なのかを判定し、
視点状態が静止している場合は高解像度画像合成工程１
０３によって画像が合成され、視点画像が移動中の場合
は低解像度画像合成工程１０４によって高速に画像が合
成され、画像表示工程１０５によってディスプレイ等の
表示装置に合成画像が出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、実写画像を基に
３次元物体をモデル化し、任意視点画像を合成する画像
合成方法および画像合成プログラムを記録した媒体に関
するものである。

【０００２】

【従来の技術】コンピュータの利用技術であるバーチャ
ルリアリティ（仮想現実）、動画やゲームに使用する場
合でのＣＧ（コンピュータグラフィックス）、そして、
インターネットの仮想店舗等においては、刻々と変わる
視点方向に追従してその視点方向から対象物を眺めた画
像が得られるようにするイメージベーストレンダリング
の技術は重要である。そして、この場合に、対象物を眺
める方向が変わるに連れて、画像が滑らかに、しかも自
然に変化する必要がある。

【０００３】すなわち、ここで重要なのは、３次元物体
に対するイメージベーストレンダリング技術であり、で
きるだけ高精細な画像を高速で作成できるようにする必
要がある。

【０００４】イメージベーストレンダリング技術は、実
写画像を基に３次元物体をモデル化し、任意視点画像を
合成するものであるが、そのための従来方法としては、
図１０に示すように光線べースで任意視点画像を合成す
る方法、および、図１１に示すように距離情報を用いて
任意視点画像を合成する方法とがあった。

【０００５】ここで、これらのうち、光線に基づいて任
意視点画像を合成する方法について、図１０を参照し
て、説明する。

【０００６】図１０はレンズ焦点７０３を有するレンズ
を持つカメラを用いて３次元物体７０１を画像位置７０
２の面方向から見た画像として、撮影している様子を上
から見た図である。３次元物体７０１をカメラで撮影し
て画像位置７０２の面方向から見た画像を得るというこ
とは、カメラの焦点７０３を通過する光線７０４を記録
したことに相当する。

【０００７】図１０では、３次元物体７０１の像を画像
位置７０２上の２画素の輝度値として、焦点７０３を通
過する２つの光線を記録した様子を示している。同様
に、このラインの全画素、更には画像内の全ライン上の
画素における輝度値を、実空間の光線記録と考えること
ができる。

【０００８】また、光線の伝搬に伴う変化を無視するな
らば、カメラの焦点７０３のみならず、記録された光線
方向上の全光線を記録したことになる。よって、１枚の
画像を撮影すれば、焦点を通過する視野角内の全光線、
および、その延長上の光線を記録できる。そのため、視
点を変えて３次元物体７０１をより多くの視点から撮影
すれば、３次元物体７０１についてのより多くの光線情
報を獲得できることになる。

【０００９】光線に基づく任意視点画像の合成は、上述
した光線情報の獲得の逆を考えれば良い。

【００１０】合成したい画像位置７０２、焦点位置７０
３が指定された場合、その焦点位置７０３を通過する光
線７０４を光線情報から集めてきて画像７０２を合成す
る。

【００１１】この光線情報は普通、３次元物体をターン
テーブルに載せて回転させ、固定カメラで撮影した多視
点画像を用いて得る。合成画像の写実性を高めようとす
ると、より多くの視点画像が必要になるので、一般的に
は、画像に含まれる相関を利用して情報量を圧縮するた
めに、多視点画像をブロック単位で分割して輝度情報を
圧縮する。

【００１２】次に距離情報を用いて任意視点画像を合成
する方法について図１１を参照して説明する。

【００１３】ある３次元物体が、カメラで多視点から撮
影されて得られた輝度情報８０１と、レンジファインダ
ー等によって取得された距離情報８０２によってモデル
化されている。また、輝度情報を圧縮するためにブロッ
ク単位で輝度情報、距離情報が管理されている。

【００１４】このブロック単位で管理された輝度情報８
０１、距離情報８０２内の点線で囲まれた１ラインに着
目して、他の全ブロックの距離情報とともに３次元空間
に点の投影を行うと、３次元物体の断面８０３が構成さ
れる。合成したい画像位置８０４、焦点位置８０５が指
定された場合、この３次元物体８０３の各点から焦点８
０５に向けて投影を行い、画像８０４との交点に輝度情
報８０１を埋めていく。このようにして、全てのブロッ
クの全ラインについても同様の投影を行うことで、距離
情報を基にして任意視点画像を合成することができる。

【００１５】

【発明が解決しようとする課題】しかしながら、上述し
た光線に基づく３次元物体の画像合成方法や距離情報を
用いた画像合成方法では、常にブロック内の各画素につ
いて合成画像フレームメモリヘの投影先を計算せねばな
らず、多くの演算量とともに多くの合成時間を費やして
いた。よって、観察者の意志で、視点位置が変更されて
いく場合に、十分なフレームレートで画像を合成するの
が困難であり、円滑に視点位置が変わるような画面展開
ととならず、臨場感の欠けた画像となっていた。

【００１６】従って、本発明の目的とするところは、上
記のような従来技術の欠点を除去し、視点位置が変化し
ていく場合の描画速度を上げることができて、十分なフ
レームレートを確保することができ、従って、円滑な視
点位置変化となる画像が得られるようにした画像合成方
法およびプログラムを記録した媒体を提供することにあ
る。

【００１７】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像合成方法は、３次元物体が輝度情報を
含むデータによってモデル化され、更に輝度情報がブロ
ック単位でＶＱ（ベクトル量子化）符号化されたモデル
から任意視点画像を合成する画像合成工程において、視
点位置が静止しているか移動中かを判定する工程を設
け、移動中の場合には各ブロックそれぞれについて、ブ
ロック内の一部の輝度情報のみ、ＶＱ復号化を施すよう
にし、移動中でない場合は通常のＶＱ復号化を施すよう
にして、画像合成を行うようにしたものである。

【００１８】このような本発明によれば、観察者が視点
移動中には高いフレームレートでの描画を行い、３次元
物体を注視している場合には高い解像度での描画を行う
ので、観察者にとってよりリアリティを感じる３次元物
体の画像合成が可能になる。

【００１９】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００２０】（第１の実施形態）視点状態が静止してい
るか移動中であるかによってＶＱ（ベクトル量子化）復
号の方法を変えて画像を合成することにより、観察者が
３次元物体に注視している時には高解像度の画像合成を
行い、観察者が移動中にはよりフレームレートが高くな
るように画像を合成できるようにする手法を説明する。

【００２１】図１は、第１の実施形態での画像合成方法
の流れを示すフローチャートである。

【００２２】図１において、１０１は観察者がマウスや
ジョイスティック等の（ポインティングデバイス）を利
用した入力インターフェースによって視点位置・視線方
向を入力する視点位置・視線方向入力工程、１０２は観
察者の視点状態が静止しているか移動中であるかを判定
する視点状態判定工程、１０３は前記視点位置・視線方
向入力工程１０１によって入力された視点位置・視線方
向情報に基づいて高解像度で３次元物体の画像合成を行
う高解像度画像合成工程、１０４は前記視点位置・視線
方向入力工程１０１によって入力された視点位置・視線
方向情報に基づいて低解像度で３次元物体の画像合成を
行う低解像度画像合成工程、１０５はこれらの画像合成
工程１０３，１０４により合成された画像をディスプレ
イ等の表示装置に出力して観察者に表示する画像表示工
程である。

【００２３】いま、視点位置・視線方向入力工程１０１
において、ある３次元物体に対しての視点位置・視線方
向が入力されると、次に、視点状態判定工程１０２にお
いて、観察者の視点位置が静止しているのか移動中なの
かが判定される。

【００２４】ここで、観察者の視点位置が静止していた
場合は、その観察者が３次元物体を注視していると判断
することができ、この場合、より高い解像度での画像合
成を行う必要がある。

【００２５】また、観察者の視点位置が移動中であった
場合は、３次元物体の周囲を移動していると考えれば良
いから、画像が連続的に滑らかに移り変わっていくよう
に、、連続的に、かつ、高速に画像が合成された方が観
察者に仮想現実感を与えることができる。

【００２６】よって、本発明では、上記判定の結果、視
点状態が静止中の場合は高解像度画像合成工程１０３に
処理を移し、この高解像度画像合成工程１０３によって
画像を合成し、また、視点画像が移動中の場合は低解像
度画像合成工程１０４に処理を移し、この低解像度画像
合成工程１０４によって低解像度ではあるが高遠に画像
を合成させる。

【００２７】このようにして画像が合成されると、当該
合成画像が画像表示工程１０５でディスプレイ等の表示
装置に出力されて再び観察者からの視点位置・視線方向
入力待ちになる。

【００２８】従って、観察者が視点位置・視線方向入力
を与えることで、その視点方向からみた画像が合成さ
れ、表示装置に表示されることになり、しかも、視点状
態が静止状態のときは高解像度の画像が合成され、ま
た、視点状態が移動中のときは低解像度の画像が合成さ
れて表示されることになるので、状態に応じた最適な画
像がリアルタイムで合成表示できるようになる。

【００２９】＜３次元物体の画像合成方法＞次に、高解
像度画像合成工程１０３、低解像度画像合成工程１０４
での３次元物体画像合成方法について説明する。

【００３０】本発明で採用する画像合成方法は、３次元
物体が輝度情報を含むデータによってモデル化され、更
に輝度情報がブロック単位でＶＱ（ベクトル量子化：Ｖ
ector Ｑuantization）符号化されたモデルから任意視
点画像を合成する。

【００３１】ＶＱ符号化について少し触れておく。

【００３２】ベクトル量子化（ＶＱ）は、ベクトル単位
で多次元空間を代表ベクトルに置き換えて、代表ベクト
ルの番号（インデクス）を符号化する手法であり、多次
元空間の量子化を行うことを意味する。画像の符号化と
いう意味では、画像を複数のブロックに分割し、そのブ
ロックに含まれる画素値をベクトルの要素と見なし、ブ
ロック全体を一括してある代表ブロックに置き換えて量
子化することになる。

【００３３】例えば、２次元の場合のベクトル量子化に
おけるベクトル空間は図２のようになる。代表べクトル
ｙ毎に自分が代表する領域が決められており、代表ベク
トルでボロノイ分割された平面になっている。例えば、
２次元平面内にべクトルｘが入力されると、距離が最も
近い代表ベクトルｙに量子化されて、この代表ベクトル
ｙが出力される。

【００３４】ベクトル量子化における一般的な画像符号
化方法について図３を用いて説明する。入力画像をＫ
［個］の画素からなるブロックに分割して、それぞれを
Ｋ次元のベクトルＰとみなす。

【００３５】Ｐ＝（ｐ１，ｐ２，… …，ｐＫ） ただし、（ｐ１，ｐ２，… …，ｐＫ）は、それぞれ標
本値である。

【００３６】送信側（符号化側）と受信側（復号化側）
ではＮ［個］のＫ次元代表ベクトルからなるコードブッ
ク｛Ｑ１，Ｑ２，… …，ＱＮ｝を用意しておく。送信
側ではこのコードブックの中から入力ベクトルＰとの距
離が最も近い代表ベクトルを距離計算によって求め、そ
れがＱｉであれば、その代表ベクトルのインデクスｉを
出力符号として伝送する。

【００３７】受信側では送られできたインデクスｉで示
される代表ベクトルをコードブックから読み出して逆ブ
ロック化を施して復号画像として出力する。

【００３８】効率の良いベクトル量子化を実現するに
は、コードブックの設計が重要になってくる。一般的に
は入力画像を代表するようなテスト画像を複数枚用意
し、これらに対して符号化歪み（量子化歪み）を最小に
するような代表ベクトルの組を逐次的に求める方法をと
る。コードブックの代表的な設計法である“ｋ−ｍｅａ
ｎ法”（この“ｋ−ｍｅａｎ法”については、高木幹
雄，下田陽久，“画像解析ハンドブック，”東京大学出
版会，ｐｐ．６４８−６５１、（１９９１）に詳しい）
の説明を概略ではあるが以下に示す。

【００３９】（１） 代表ベクトルＱｉに量子化される
ｍ×ｎ次元ベクトル空間の領域をＳｉとする。また、ト
レーニングシーケンスｔ１，……，ｔｋを用意する。

【００４０】（２） 代表ベクトルＱｉ（１＝１〜Ｎ）
に適当な初期値を与える。

【００４１】（３） 代表ベクトルＱｉとトレーニング
シーケンスｔ１，……，ｔｋとの距離を計算して、各Ｓ
ｉに対してどのトレーニングシーケンスｔが属するかを
調べる。

【００４２】（４） 各Ｓｉ毎に、その中に属するｔの
重心を新たな代表ベクトルＱｉにする。

【００４３】以上の（３）と（４）を量子化誤差が十分
小さな値に収束するまで続ける。

【００４４】このように設計したコードブックを用いて
画像符号化を行うのである。

【００４５】次に、上述した一般的な画像符号化を多視
点画像に適応させて、多視点画像の符号化復号化を試み
てみる。

【００４６】ベクトル量子化（ＶＱ）を用いて多視点画
像を符号化するに際して、一般的なＶＱによる画像符号
化と大きく異なる点は、３次元物体毎にコードブックを
設計し、この設計したコードブックと全インデクスデー
タを復号化処理側に伝送して復号化処理側のメモリに保
持させるようにするという点である。

【００４７】本発明では、３次元物体毎にコードブック
を設計するが、それに必要な多視点画像は同一被写体を
撮影した画像であり、複数の画像に被写体の同一部分が
多く撮影されている。この相関を十分に利用するため
に、全多視点画像の全ブロックをトレーニングシーケン
スとして入力する。

【００４８】そして、類似のものは代表的なものに集約
することによって、少ない情報量で一つの被写体を表現
できるようになる。同様に別の被写体毎に別途この手法
を施す。

【００４９】このように、各３次元物体毎にその物体の
全多視点画像を用いての被写体別コードブックを作成し
て復号化処理側に与えるようにしても、それぞれのコー
ドブックは一般的なＶＱでのコードブックより、少ない
情報量で済み、しかも、再現画像は高い画質を実現でき
る。なお、ベクトル量子化のデータは全て固定長データ
にすると良い。固定長データとすることによって、復号
処理に時間がかからず、また、任意の単一ブロックのみ
を参照するだけで再生することが可能であり、任意ブロ
ックの高速かつランダムアクセス性を保持した復号にも
最適な符号化方法と云うことになる。

【００５０】具体的に、ベクトル量子化による多視点画
像符号化を考えてみる。

【００５１】これは、図４に示すように、符号化側にお
いては、まずはじめに、全多視点画像をブロック化した
ものをトレーニングシーケンスとして用意して“ｋ−ｍ
ｅａｎ法”を施し、コードブックを設計する。作成され
たコードブックをもとに、全多視点画像内のブロックに
ついて距離計算を行い、最も近い代表ベクトルのインデ
クスを出力する。

【００５２】符号化処理側は最後に、全多視点画像から
設計されたコードブックと、全多視点画像についてのイ
ンデクスデータを伝送する。

【００５３】復号化処理側ではこれらコードブック、及
び全多視点画像内ブロックについてのインデクスデータ
を受信して、メモリに保持し、任意視点画像合成工程が
視点情報に応じてどのブロックを復号するかの指示を待
つ。そして、要求されたブロックに応じたインデクスの
番号を持つブロックをコードブック内から選んできて、
合成に必要なブロックを復号する。

【００５４】本発明の基本的概念はこのようなものであ
るが、コードブックとインデクスの情報を用いて復号す
ると云う手法は従来よりある。但し、従来の手法の場
合、コードブックは符号化処理側と復号化処理側にそれ
ぞれ初めから同じものを用意しておき、符号化処理側で
は合成しようとする画像に対応するインデクスを自己の
持つコードブックから抽出し、当該インデクスだけを送
って復号化処理側においてはこのインデクスに該当する
画像をコードブックから得て画像を合成するようにして
いる。

【００５５】この場合、コードブックは汎用のものとな
らざるを得ず、最終的に得られる画像は擬似的なものと
ならざるを得ない。

【００５６】これを解消するには、汎用ではなく、画像
に応じてその画像用のコードブックを作成して復号側に
送り、復号側ではこれを利用し、受け取ったインデクス
から画像を再生するようにする。このようにすると、実
写性を持った実写ベースでのバーチャルリアリティやウ
ォークスルー、そして、バーチャルショップでの商品展
示、インタラクティブな電子博物館などと云った映像分
野に最適な符号化・復号化方法が実現可能になる。

【００５７】また、メモリに保持されたデータは、設計
されたコードブックと全多視点画像内の各ブロックにつ
いてのインデクスデータであり、どちらも固定長データ
である。よって、フレーム内ＤＣＴ符号化やハイブリッ
ド符号化のように、可変長復号や、階層的な復号を施す
必要がなく、インデクスに応じたコードブック内の代表
ベクトルの参照という単純な操作だけで任意のブロック
を素早く復号することができる。

【００５８】本発明では、高解像度画像合成は通常のＶ
Ｑ（ベクトル量子化）復号処理を行うことにより実現
し、低解像度画像合成はブロック内の一部のブロックの
みを対象にＶＱ復号処理を施すことで実現する。

【００５９】図５において、２０１は前記視点位置・視
線方向入力工程Ｓ１０１により入力された視点位置・視
線方向の情報であり、２０２はブロック単位の輝度情報
によってモデル化された３次元物体のデータのうち、合
成に必要なブロックを選択するブロック選択工程、２０
３はブロック選択工程２０２によって選ばれたブロック
に対応するインデクスを基に輝度情報のＶＱ（ベクトル
量子化（ＶＱ：VectorＱuantizaition））復号を行うＶ
Ｑ復号化工程、２０４はＶＱ復号化工程２０３において
参照されるコードブック、２０５は視点位置・視線方向
の情報２０１と復号された輝度情報からフレームメモリ
にブロックを投影することにより、画像を合成する画像
合成工程、２０６はブロック単位の輝度情報の全てがブ
ロック選択工程２０２を通過したかを判定する終了判定
工程、２０７は画像表示工程１０５に送られる合成画像
である。

【００６０】本発明においては、３次元物体に対する視
点位置・視線方向の情報２０１が入力されると、ブロッ
ク選択工程２０２において、従来例で説明したような光
線に基づく画像合成方法、もしくは距離情報を用いた画
像合成方法によって合成に必要なブロックが３次元物体
データ（ブロック単位）から選択される。

【００６１】そして、選択されたブロックに対応するイ
ンデクスを基に、コードブック２０４を参照して、ＶＱ
符号化されていたブロックの輝度情報を、ＶＱ復号化工
程２０３によってＶＱ復号する。

【００６２】このＶＱ復号化工程２０３では、視点状態
判定工程Ｓ１０２によって判定された静止中・移動中の
判定に応じて、静止中であった場合には、普通にＶＱ復
号を行い、移動中であった場合には、ブロック内の一部
のブロックしか復号を行わない。

【００６３】続いて、画像合成工程２０５において、視
点位置・視線方向２０１とＶＱ復号された輝度情報か
ら、光線に基づく画像合成方法、または距離情報を用い
た画像合成方法によって輝度情報がフレームメモリに投
影される。

【００６４】この投影演算は、ＶＱ復号された輝度情報
にのみ行う。よって、動作中であった場合は静止してい
る場合より少ないデータで投影を行うこととなり、従っ
て、その分、高速に描画できるようになる。

【００６５】最後に、終了判定工程２０６において３次
元物体データの全てのブロックがブロック選択工程２０
２を通過したかが判定され、全てのブロックが通過した
と判定されたならば、合成画像２０７が完成する。

【００６６】このように処理する結果、視点状態が静止
しているか移動中であるかによってＶＱ（ベクトル量子
化）復号の方法を変えて画像を合成することとなり、こ
れによって、観察者が３次元物体に注視している時には
高解像度の画像合成を行い、観察者が移動中にはよりフ
レームレートが高くなるように画像を合成できるように
なる。

【００６７】＜視点状態判定工程の判定結果に応じた復
号方法＞次に、ＶＱ復号化工程２０３での視点状態判定
工程Ｓ１０２の判定に応じた復号方法について図６を用
いて説明する。

【００６８】ＶＱ（ベクトル量子化）における代表ベク
トルのサイズは４×４画素１６次元ベクトルとする。図
６において、３０１、３０２、３０３、３０４は、それ
ぞれ、コードブックとして保存されている４×４画素１
６次元の代表ベクトル、３０５は３０１〜３０４から成
る８×８画素のブロック、３０６は代表ベクトル３０１
内の１６画素が分割されて８×８画素に広がったブロッ
ク、３０７は代表ブロック３０１を基に８×８画素のブ
ロック３０５に対応する解像度“１／２”のブロックと
して作られた８×８画素のブロックである。

【００６９】そして、視点状態判定工程１０２におい
て、観察者の視点が静止中であると判定された場合は、
ＶＱ復号化工程２０３は普通にＶＱ復号を行う。つま
り、選択されたブロックのインデクスに対応する代表ベ
クトルをコードブック２０４から参照してＶＱ復号す
る。

【００７０】例えば、図６での８×８画素の領域３０５
をＶＱ復号するには、３０１から３０４までの代表ベク
トルを独立にＶＱ復号する。

【００７１】一方、視点状態判定工程１０２において、
観察者の視点が移動中であると判定された場合にはＶＱ
復号化工程２０３は、代表ベクトル３０１だけをＶＱ復
号して、３０６のように代表ベクトル３０１を分割して
同じ輝度値を２×２画素まで広げた８×８ブロック３０
５に対応する解像度１／２のブロックとした８×８画素
ブロック３０７を用いる。

【００７２】次に、画像合成工程２０５での処理に入
る。画像合成工程２０５ではブロック投影演算を行って
フレームメモリ上に画素を投影することにより、画像合
成するが、このブロック投影演算について図７を用いて
説明する。

【００７３】まず、距離情報を用いて画像合成を行う場
合を説明する。

【００７４】視点状態判定工程１０２によって視点が移
動中であると判定され、解像度“１／２”の８×８画素
ブロック３０７をフレームメモリに投影する際は、ブロ
ック３０６中で復号された輝度情報が入れられた部分の
画素のみの距離データを用いて投影を行う。つまり、図
７で示すように、ブロック３０６を１６分割した２×２
画素ブロックについて、４画素のうち１画素についての
み投影演算を行い、残り３画素についてはフレームメモ
リ上へ相似に投影する。

【００７５】また、光線に基づいて画像合成を行う場合
は、ブロック３０１の復号された領域のみを光線に基づ
いてフレームメモリ上への投影を行い、残りの３／４の
領域はフレームメモリ上へ図７のように相似に投影を行
う。よって、視点移動中の場合に行わねばならない演算
量が、静止している場合での１／４で済み、従って、そ
の分、高速に３次元物体を合成することができる。

【００７６】以上のように、視点状態が静止しているか
移動中であるかによってＶＱ復号の方法を変えて画像を
合成することにより、観察者が３次元物体に注視してい
る時には高解像度の画像合成を行い、観察者が移動中に
はよりフレームレートが高く画像を合成することが可能
になる。

【００７７】なお、本実施例では、ＶＱ復号の方法が高
解像度画像合成用、低解像度画像合成用の２通りになっ
ているが、高解像度での復号画像の画質になんら影響を
与えておらず、また、コードブック符号量も増加してい
ない。しかし、低解像度での復号画像については、一般
的な解像度“１／２”の画像より画質が落とされてい
る。

【００７８】そこで、次に低解像度の復号画像での画質
を劣化させないようにした例を第２の実施形態として説
明する。

【００７９】（第２実施形態）上述した第１の実施形態
の画像合成方法でのＶＱ復号化工程２０３、コードブッ
ク２０４において、コードブック２０４を作成する際に
縦横方向に１画素ずつ間の空いた互い違いの重ならない
解像度“１／２”のパターンによって、予めコードブッ
クを設計することにより、低解像度での復号画像の画質
劣化を抑制可能である。この第２の実施形態では、この
ことを利用して低解像度での復号画像の画質劣化を抑制
できるようにする。

【００８０】以下、低解像度での画質劣化を防いだ３次
元物体の画像合成方法について説明する。

【００８１】第２の実施形態におけるＶＱ復号化工程２
０３での視点状態判定工程１０２の判定に応じた復号方
法について図８を用いて説明する。

【００８２】この方法では、図８に示すように、８×８
ブロックを４つの４×４ブロックに分割するのでなく、
８×８ブロック５０５を、縦横方向に１画素ずつ間の空
いた互い違いの重ならない解像度“１／２”のパターン
として５０１、５０２、５０３、５０４のように分割し
たトレーニングシーケンスによってコードブックを設計
する。

【００８３】視点状態判定工程１０２において、観察者
の視点が静止している判定された場合は、ＶＱ復号化工
程２０３は代表ベクトル５０１〜５０４を復号して、８
×８ブロック５０５を復号する。

【００８４】視点状態判定工程１０２において、観察者
の視点が移動中であると判定された場合は、代表ベクト
ル５０１だけをＶＱ復号して、８×８ブロック５０５に
対応する解像度“１／２”のブロックとして８×８画素
ブロック５０６を作成する。

【００８５】そして、投影演算を行うが、これは第１の
実施形態で説明した手法と同様の手法にて行う。これに
よって、観察者の視点移動中の場合に扱う投影演算は、
観察者の視点が静止している場合での投影演算の１／４
で済み、従って、高遠に３次元物体を合成できるように
なると共に、一般的な解像度“１／２”の画像の画質に
保つことができ、画質劣化を抑制できる。

【００８６】以上のように、本実施例は、視点状態が静
止しているか移動中であるかによってＶＱ復号の方法を
変えて画像を合成することにより、観察者が３次元物体
に注視している時には高解像度の画像合成を行い、観察
者が移動中にはよりフレームレートが高く画像を合成す
ることが可能になる。

【００８７】また、本実施例によれば、高速に合成でき
る低解像度の復号画像において、一般的な解像度“１／
２”の画像を実現できる。しかし、コードブック２０４
を作成する際に縦横方向に１画素ずつ間の空いた互い違
いの重ならない解像度“１／２”のパターンによって設
計しているため、第１の実施形態ほどブロック内相関を
利用したＶＱ符号化はできていない。また、第１の実施
形態と同じく、コードブック符号量は増加しない。

【００８８】以上は低解像度画像の合成にあたり、解像
度を“１／２”に保つことができる実施例であった。

【００８９】次に、視点状態が静止しているか移動中で
あるかによってＶＱ復号で使用するコードブックを使い
分けて画像を合成することにより、観察者が３次元物体
に注視している時には高解像度の画像合成を行い、観察
者が移動中にはよりフレームレートが高く画像を合成す
ることができるようにする例を第３の実施形態として説
明する。

【００９０】（第３の実施形態）第１の実施形態の画像
合成方法でのＶＱ復号化工程２０３、コードブック２０
４において、予め高解像度と低解像度の２種類のコード
ブック２０４を用意しておいて、観察者の視点静止・移
動中で使い分けることにより、高解像度の画質を低下さ
せることなく、低解像度でも自然なサンプリングを行う
ことが可能である。

【００９１】第３の実施形態におけるＶＱ復号化工程２
０３での視点状態判定工程１０２の判定に応じた復号方
法について図９を用いて説明する。この方法では、第１
の実施形態での図６と同様に、８×８ブロック６０１を
４つの４×４ブロック６０３，６０４，６０５，６０６
に分割して高解像度用のコードブックを設計する。

【００９２】また、予め８×８ブロック６０１に対応す
る低解像度のブロック６０２を作成し、４×４ブロック
６０７を基にして、低解像度用のコードブックも設計し
ておく。コードブック符号量は高解像度用コードブック
の１／４が新たに必要になる。視点状態判定工程１０２
において、観察者の視点が静止している判定された場合
は、ＶＱ復号化工程２０３は高解像度用のコードブック
を用いて、４×４ブロック６０３、６０４、６０５、６
０６を復号する。

【００９３】視点状態判定工程１０２において、観察者
の視点が移動中であると判定された場合は、低解像度用
のコードブックを用いて４×４ブロック６０７をＶＱ復
号して、８×８ブロック６０１に対応する解像度“１／
２”のブロックとして８×８画素ブロック６０２を作成
する。

【００９４】そして、投影演算を行うが、これは第１の
実施形態で説明した手法と同様の手法にて行う。これに
よって、観察者の視点移動中の場合に扱う投影演算は、
観察者の視点が静止している場合での投影演算の１／４
で済み、従って、高遠に３次元物体を合成できるように
なると共に、高解像度の画質を低下させることなく、低
解像度でも自然なサンプリングを行うことが可能とな
る。

【００９５】以上のように、視点状態が静止しているか
移動中であるかによってＶＱ復号で使用するコードブッ
クを使い分けて画像を合成することにより、観察者が３
次元物体に注視している時には高解像度の画像合成を行
い、観察者が移動中にはよりフレームレートが高くでき
るように、画像を合成できるようになる。

【００９６】本実施例では、第１の実施形態で実現でき
る高解像度合成画像での画質、および、第２実施形態で
実現できる低解像度合成画像での画質を共に可能にして
いる。しかし、コードブック符号量は５／４倍になる。

【００９７】尚、本発明は上述した実施例に限定するこ
となく、その要旨を変更しない範囲内で適宜変形して実
施可能である。また、実施形態に記載した手法は、コン
ピュータに実行させることのできるプログラムとして、
磁気ディスク（フロッピー（登録商標）ディスク、ハー
ドディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ
など）、半導体メモリなどの記録媒体に格納して頒布す
ることもできる。

【００９８】

【発明の効果】以上記述したように本発明の画像合成方
法によれば、視点状態が静止状態であるか、移動中かに
よって復号するブロックの解像度を変化させるように
し、観察者が静止中には高解像度の画像合成、動作中に
は高いフレームレートでの画像合成が可能になるという
効果を奏する。

【図面の簡単な説明】

【図１】本発明を説明するための図であって、本発明の
第１実施形態における画像合成方法の流れを示すフロー
チャート。

【図２】ＱＶにおけるベクトル空間を説明するための
図。

【図３】ベクトル量子化による一般的な画像符号化を説
明するための図。

【図４】ベクトル量子化による他視点画像符号化を説明
するための図。

【図５】本発明を説明するための図であって、本発明の
第１実施形態でのる画像合成方法における画像合成工程
Ｓ１０３、Ｓ１０４の流れを示すフローチャート。

【図６】本発明を説明するための図であって、本発明の
第１実施形態のＶＱ符号化工程２０３を説明する図。

【図７】本発明を説明するための図であって、本発明の
第１実施形態での投影方法を説明する図。

【図８】本発明を説明するための図であって、本発明の
第２実施形態のＶＱ符号化工程２０３を説明する図。

【図９】本発明を説明するための図であって、本発明の
第３実施形態のＶＱ符号化工程２０３、コードブック２
０４を説明する図。

【図１０】光線べースで任意視点画像を合成する方法を
説明する図。

【図１１】距離情報を用いて任意視点画像を合成する方
法を説明する図。

【符号の説明】

１０１…視点位置・方向入力工程 １０２…視点状態判定工程 １０３…高解像度画像合成工程 １０４…低解像度画像合成工程 １０５…画像表示工程 ２０１…視点位置・視点方向 ２０２…ブロック選択工程 ２０３…ＶＱ復号化工程 ２０４…コードブック ２０５…画像合成工程 ２０６…終了判定工程 ２０７…合成画像 ３０１〜３０４…４×４ブロック ３０５…８×８ブロック ３０６…４×４ブロック３０１内の画素を分割したブロ
ック ３０７…８×８ブロック３０５に対応する解像度１１２
のブロック ５０１〜５０４…重ならないパターンの１６次元代表ベ
クトル ５０５…８×８ブロック ５０６…８×８ブロック５０５に対応する解像度１/２
のブロック ６０１…８×８ブロック ６０２…８×８ブロック６０１を解像度１１２にしたブ
ロック ６０３〜６０６…８×８ブロックを４分割した４×４ブ
ロック ６０７…８×８ブロック６０１を解像度１１２にしたブ
ロック ７０１…３次元物体 ７０２…カメラ画像 ７０３…レンズ焦点 ７０４…光線情報 ８０１…輝度情報ブロック ８０２…距離情報ブロック ８０３…３次元物体断面 ８０４…カメラ画像 ８０５…レンズ焦点

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA09 BA08 BA09 EA07 EA10 EA19 EA24 FA02 5B057 CA13 CA18 CB13 CB16 CC03 CE08 CG02 DA07 DA16 DB03 5C023 AA01 AA11 BA02 BA11 CA03 DA04 EA03 5J064 AA03 BA13 BA15 BC01 BC02 BC14 BC29 BD03

Claims (5)

【特許請求の範囲】
1. 【請求項１】３次元物体が輝度情報を含むデータによっ
   てモデル化され、輝度情報がブロック単位でベクトル量
   子化符号化されたモデルから、任意に指定される視点で
   の画像を合成する画像合成方法において、 前記指定される視点位置が静止しているか移動中かを判
   定すると共に、判定結果が視点位置移動中である場合に
   は前記ベクトル量子化復号化処理は処理対象の各ブロッ
   ク内の一部の輝度情報についてのみ施こすことにより、
   画像合成を行うことを特徴とする画像合成方法。
2. 【請求項２】前記輝度情報のベクトル量子化復号化処理
   において、 ４ブロック分の輝度情報を１ブロックで代表させて画像
   合成を行うことを特徴とする請求項１記載の画像合成方
   法。
3. 【請求項３】前記輝度情報のベクトル量子化符号化処理
   において、 対象の物体毎にコードブックを設計し、この設計したコ
   ードブックと全インデクスデータを復号化処理側に保持
   させるようにし、画像再生は与えられるインデックスデ
   ータ対応にコードブックから得た代表ベクトルを用いて
   行うと共に、前記コードブックは、縦横方向に１画素ず
   つ間の空いた互い違いの重ならない解像度１／２のパタ
   ーンによって、予め設計するものであることを特徴とす
   る請求項１記載の画像合成方法。
4. 【請求項４】３次元物体が輝度情報を含むデータによっ
   てモデル化され、更に輝度情報がブロック単位でベクト
   ル量子化符号化されたモデルから任意視点画像を合成す
   る画像合成処理において、 ベクトル量子化のコードブックを作成する際に標準的な
   コードブックと低解像度のコードブックを設計してお
   き、視点移動中の場合にはこの低解像度のコードブック
   を用いて画像合成を行うことを特徴とする画像合成方
   法。
5. 【請求項５】３次元物体が輝度情報を含むデータによっ
   てモデル化され、輝度情報がブロック単位でベクトル量
   子化符号化されたモデルから、任意に指定される視点で
   の画像を合成する画像合成方法であって、 前記指定される視点位置が静止しているか移動中かを判
   定するステップと、 この判定結果が視点位置移動中である場合には前記ベク
   トル量子化復号化処理は処理対象の各ブロック内の一部
   の輝度情報についてのみ施こすことにより、画像合成を
   行うステップとを具備するコンピュータで読み取りおよ
   び実行可能な画像合成プログラムを記録した媒体。