JP2006259818A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】再生時において使用者側からインタラクションをかけることができ、とくに動画の様な即座のデータ処理が可能な画像処理装置および画像処理方法の提供が求められていた。
【解決手段】立体画像の立体データを記憶する立体情報記憶手段と、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを記憶する法線情報記憶手段と、立体データと立体表面法線データを組み合わせて照明立体画像を作成する照明立体画像作成手段からなることを特徴とする画像処理装置を提供する。
【選択図】図１

Description

本発明は、３次元立体を表示する静止画や動画の画像処理装置に関し、特にデータ量が多く成りがちな映画やテレビ番組、ビデオゲームのような一般的な動画情報を再生する際場合や、毎秒数十枚の静止画で構成された動画情報を再生するのに適した画像処理装置および画像処理方法に関し、特に利用者が受動的に映像を鑑賞するのみの動画メディアを単に視聴するのみならず、画像表現を操作するという機能を加えて対話的な動画再生が可能を持つことを特徴とする画像処理装置および画像処理方法に係る。

従来の画像処理としては、以下のようなものが知られている。

例えば、普段我々が目にする映画やＴＶ番組などの動画は、毎秒あたり数十枚（約３０枚が一般的）の静止画を、連続して再生するように並べたもの（あるいはそれらを圧縮したもの）であった。この場合、原則的にユーザーはそのデータに定められた画像解像度、縦横比、再生速度を改変することなく再生し、その内容を鑑賞している。この場合に立体感を与えるためにバンプマップ方式を用いること普通であった。

このバンプマップ方式とは、ＣＧで静止画や動画を生成する際に用いる特殊効果で、平坦な形状を持つ物体表面に、物理的な形状データの加工を加えずにきめ細かな凹凸感を与えるものであった。

また、特許文献１のような画像処理装置も公知であり、ここでは立体画像データを記憶する画像データ記憶手段と、材質に応じた表面パターンデータを記憶する表面パターンデータ記憶手段と、立体画像及びその材質を指定する指定手段と、この指定手段により指定された立体画像データを前記画像データ記憶手段から読み出すともに、指定された材質に対応する表面パターンデータを前記表面パターンデータ記憶手段から読み出して、当該表面パターンデータに基づいて当該立体画像を描画する立体画像描画手段と、を備えたことを特徴とする画像処理装置が提案されていた。
特開平９−２９７８５９号公報

しかし、この様な従来技術においては、物体の表面に光が当たって陰影計算を行う際に、その法線情報にプレを与える事で計算結果に差が生じ、凹凸感を出すという仕組みで表現なので、従来の映画やＴＶ番組のようなあらかじめ完全に作りこまれた情報を鑑賞するという使い方を想定しているが、ゲームやＶＴＲ等とは違い、再生時において使用者側からインタラクションをかけることが一切できないという点が問題であった。

他方、特許文献１の様な場合は、その陰影等が材質に応じて陰影データを作成するためにそのたびごとに材質データと光源情報を付与する必要があり、さらに、それらの情報に基づき陰影情報を作成するのに多くの処理を必要とし、とくに動画の様な即座のデータ処理が必要な場合には実際的ではなかった。

また、これらの方法では固定的光源の場合しか実用的ではなかった。

上記課題を解決する為に、まず本発明の第１の発明は、立体画像の立体データを記憶する立体情報記憶手段と、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを記憶する法線情報記憶手段と、立体データと立体表面法線データを組み合わせて照明立体画像を作成する照明立体画像作成手段からなることを特徴とする画像処理装置を提供するものである。

また、本発明の第２の発明は、立体画像の立体データを記憶する立体情報記憶手段と、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを記憶する法線情報記憶手段と、立体表面法線データを照明方向データに基づいて変換し立体照明データを作成する立体照明データ作成手段と、立体データと立体照明データを組み合わせて照明立体画像を作成することを特徴とする画像処理装置を提供するものである。

また、本発明の第３の発明は、照明方向データ入力手段を備えたことを特徴とする請求項２記載の画像処理装置を提供するものである。

また、本発明の第４の発明は、立体画像の立体データと、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを組み合わせて照明立体画像を作成することを特徴とする画像処理方法を提供するものである。

また、本発明の第５の発明は、立体画像の立体データと、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを照明方向データに基づいて変換し立体照明データを作成する組み合わせた立体照明データとを組み合わせて照明立体画像を作成することを特徴とする画像処理方法を提供するものである。

請求項１、４記載の発明によれば、材質に応じた立体感が描画可能となり、対象画像の立体表現に材質感を盛り込むことができる。また、材質に応じた立体感の描画に際し、ユーザーは材質のみを指定するだけでよく、従来のようにマニュアル操作により色や濃淡度等を細かく指定する必要がないので、ユーザーの操作負担を軽減することができる。その結果、画像処理装置の使い勝手を向上することができる。

また、請求項２、５記載の発明によれば、立体画像の表面に材質及び光源に応じたグラデーション処理を施すことが可能となり、対象画像の立体表現に材質及び光源に応じた明暗感を盛り込むことができる。また、材質及び光源に応じた立体画像表面へのグラデーション処理に際し、ユーザーは材質及び光源の種類のみを指定するだけでよく、従来のようにマニュアル操作により色や濃淡度等を細かく指定する必要がないので、ユーザーの操作負担を軽減することができる。その結果、画像処理装置の使い勝手を向上することができる。

請求項３記載の発明によれば、撮影、描画、再生等の時において使用者側から自由にインタラクションをかけることが可能になり、それによりあたかも３６０度自由な方向から照明を自由に付与した様な立体感を持つ画像を提供することが可能になった。

以下、図１〜図３を参照して本発明に好適な実施の形態を詳細に説明する。図１〜図３は、本発明の画像処理装置を適用したコンピュータシステムについて示す図である。まず、構成を説明する。

図１は、本発明を適用したコンピュータシステム１のブロック構成図であり、同図においてコンピュータシステム１は、カラー表示部１１、キー入力部１２、立体データメモリ
１３、法線ベクトルデータメモリ１４、ライトベクトルメモリ１５、ＣＰＵ１６、表示メモリ１７、記憶装置１８、ＲＡＭ１９、画像処理プログラムメモリ２０及びカラープリンタ２１により構成されており、各部はバス２２に接続されている。

カラー表示部１１は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶ディスプレイ等により構成されており、ＣＰＵ１６を介して表示メモリ１７に入力されたキー入力データや、後述する画像処理（図５及び図６参照）によって表示メモリ１７に描画された立体画像データ等をカラー表示する。キー入力部１２は、ファンクションキー、数値キー、文字キー及び他キーを有し、ユーザーによる各キー入力操作に応じた各種操作信号をＣＰＵ１６に出力する。

立体データメモリ１３は、立体画像の通常の静止画もしくは動画データを表し、光線情報を持たない陰影計算前の立体データを格納する。

法線ベクトルデータメモリ１４は、立体画像の表面パターンの各点における法線方向のデータをメモリエリアを格納するものである。

ライトベクトルメモリ１５は、その立体画像に対して仮想的に与える並行光線方向を特定するライトベクトルの値を格納する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６は、ハードディスク等の記憶装置１８に格納される各種制御プログラムや、画像処理プログラムメモリ２０に格納される後述する画像処理に関するプログラムに従ってコンピュータシステム１の各部を制御する中央演算装置である。

具体的には、ＣＰＵ１６は、キー入力部１２から画像処理を行なう旨が指示されると後述する画像処理を実行し、ユーザーにより選択指定された立体データを、それと関連付けられ、もしくはその立体データから算出された立体表面法線データに基づいて表示メモリ１７に描画し、カラー表示部１１に表示する。また、この際、ＣＰＵ１６は、キー入力部１２からライトベクトルの指定がなされていると、ユーザーにより選択指定された光源の方向に応じた処理プログラムに基づいて、前記立体画像の表面に照明立体画像作成処理を施す。さらに、ＣＰＵ１６は、キー入力部１２から印刷指定がなされていると、当該画像処理によって描画された立体画像をカラープリンタ２１により所定用紙に印字させる。

表示メモリ１７は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓｓ Ｍｅｍｏｒｙ）等によって構成されており、カラー表示部１１に表示する各種データを格納するメモリエリアを形成する。記憶装置１８は、ＣＰＵ１６により実行されるコンピュータシステム１の各部を制御するための各種制御プログラムを格納するハードディスク装置や光ディスク装置等である。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１９は、ＣＰＵ１６により各種制御処理が実行される際に、処理される各種データを一時的に格納するメモリエリアを形成する。

画像処理プログラムメモリ２０は、後述する画像処理に関するプログラムを格納するメモリエリアを形成する。カラープリンタ２１は、ＣＰＵ１６からの制御信号に基づいて駆動制御され、ＣＰＵ１６を介して入力されたキー入力データや、後述する画像処理によって描画された立体画像データ等を所定用紙にカラー印字する。以上が、本実施の形態におけるコンピュータシステム１の構成である。

次に、動作を説明する。本実施の形態のＣＰＵ１６において実行される画像処理について、図２に示すフローチャートと、図３に示す立体画像の表示例とに基づいて説明する。

ＣＰＵ１６では、キー入力部１２から画像処理を行なう旨が指示されると、画像処理プログラムメモリ２０に格納される当該画像処理に関するプログラムを読み出して、その処理を開始する。

なお、ＣＰＵ１６の働きを以下説明するが、動画で一般的な動画再生システムに、法線マップによる凹凸感の表現の技術を組み合わせることで、対話的な動画再生を実現する場合を用いて説明するが、動画に限らず、静止画や対話的（インタラクティブ）でなく、特定の光線方向が予め定まっている場合にも変形応用可能である。

再生するデータとして、本来は単体で再生データとして完結していた通常の動画データである立体データ（以下これをＤｅｃａｌムービーと呼ぶ）に加えて、各フレーム毎に法線情報を格納した動画データである立体表面法線データ（以下Ｎｏｒｍａｌムービー）を用意する例で以下説明する。

この二つは再生装置上では一つのファイルの中に複数チャンネル形式にして同時に収まっていてもいいし、複数のファイルになってそれぞれ独立したデータとして存在してもよいが、その２つのデータ、即ちＤｅｃａｌデータとＮｏｒｍａｌデータの対応関係が明らかである必要がある。

また、このＤｅｃａｌデータがＮｏｒｍａｌデータを基に作成されたデータでも、逆にＤｅｃａｌデータを基にＮｏｒｍａｌデータが作成されたものでも、別のデータ、例えば撮影データを基に並行して作成されたものでも構わない。

なおここで、Ｄｅｃａｌムービーを構成する毎秒約３０枚分の静止画一枚一枚をＤｅｃａｌマップ、Ｎｏｒｍａｌムービーを構成する毎秒約３０枚分の静止画一枚一枚をＮｏｒｍａｌマップと定義する。

また、Ｎｏｒｍａｌマップの持つ法線情報とは、Ｘ，Ｙ，Ｚ軸からなる三次元座標系に対する各ピクセルの向きを、ピクセル毎に法線ベクトル（Ｘ，Ｙ，Ｚのベクトル値）の傾きで表現したものであり、Ｘ，Ｙ，Ｚのベクトル値がそれぞれＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）値に変換されてピクセル毎に設定されている。ここで、各法線ベクトルの長さは全て１に正規化されているものとする。

したがって、法線ベクトルの各成分の値は［−１．０，１．０］の範囲となるが、色の強さは［０，２５５］なので、例えば法線ベクトル（Ｘ，Ｙ，Ｚ）が（０．０，０．０，１．０）となる平らの部分は（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，２５６）となり、青に近い色で表現される。

この場合が経験上最も人間の立体感覚に近い立体画像が得られるものであるが、わざとＣＧ的画像感覚や別な画像効果を得るためにＸ，Ｙ，Ｚのベクトル値とＲ，Ｇ，Ｂ値の対応関係の組合せを変更、もしくは一次変換等の関係式で変換する方が好ましい場合もある。

動画再生時に各Ｄｅｃａｌマップを連続して表示する際に、Ｎｏｒｍａｌマップを組み合わせてバンプマップのエフェクトをかけ、特定の光源から照らされて凹凸感が出ている表現をする。この場合のバンプマップのエフェクトは、従来のそこに描かれた物体の凹凸感はＤｅｃａｌマップ内にあらかじめ描かれているものであったが、本発明ではＤｅｃａｌマップ上にはその凹凸感を含まず、再生時にリアルタイムに計算して描かせるものでも構わない。なお、ここで言う凹凸感とは、物体表面につけられた、立体感を表す陰影のこ
とであり、「凹凸感を含まない」とは全く陰影のない事、例えば球が円に見えたり、斜めから見た直方体が六角形に見えたりする状態をさす。

そうする事で、映像内の物体を照らす光源はユーザーが再生時に任意に操作することができるようになり、単なる動画再生に終わらず、対話的な映像の表現が可能となる。

ここでいう操作とは、光源の位置、明るさ、色などを変更する操作をさす。

光源の位置とは、ＤｅｃａｌマップやＮｏｒｍａｌマップの表示される画面を一枚の平面と見立てた時に、例えばこの平面をなす二次元空間の横方向をＸ軸、縦方向をＹ軸、平面に対して垂直となる方向をＺ軸とした時に、Ｘ，Ｙ，Ｚの３軸で構成される三次元空間内の任意の位置をさす。

なお、後述するライトベクトルを求める際には、この座標系はＮｏｒｍａｌマップ上の各ピクセルが示す法線ベクトルの存在する座標系に一致していなければならない。

図２はこの手法による映像表現の動作の流れ図である。

ＳＴ１−３は動画再生開始時の初期化であり、Ｄｅｃａｌムービーの読み込み（ＳＴｌ）に加え、Ｎｏｒｍａｌムービーも読み込み（ＳＴ２）、同時に光源の各種状態（位置、明るさ、色）をあらかじめ設定しておいた適当な値に初期化する（ＳＴ３）。次から動画再生のループに入る。基本的には通常の動画再生と同じ流れだが、リアルタイムに照光計算を行う事により、対話性な鑑賞が可能になった点が異なる。

まず光源の位置を操作するユーザーからの情報入力があるかを判定し（ＳＴ４）、受け取った入力があればそれに応じて光源を操作する（ＳＴ５）。Ｄｅｃａｌムービーから一フレームずつＤｅｃａｌマップを読み込み（ＳＴ６）、ディスプレイに出力するのだが、そのまま出力するのではなく、Ｎｏｒｍａｌマップおよび光源の位置情報を組み合わせた合成を行う。その内容は以下の通りである。

まずＳＴ６に引き続きＮｏｒｍａｌムービーからも一フレーム分Ｎｏｒｍａｌマップを読み込み（ＳＴ７）、そのＮｏｒｍａｌマップ上の各ピクセルについて、「そのピクセル位置からの相対的な光源への方向ベクトルを正規化したもの（以下ライトベクトル）」と、ピクセルの持つ法線ベクトルとで内積を取る（ＳＴ８）。両ベクトルは共に長さが１なので、その内積結果は、そのピクセルの持つ法線ベクトルがライトベクトルに近いほど１に近くなり、遠いほど０に近くなる。

この場合１に近いほど光に強く照らされ、０に近いほど暗くなるとみなせる。

Ｎｏｒｍａｌマップ上の全ピクセルについてこの計算を行う事で、各ピクセル位置に０〜１のスカラー値が入ったマップができる。次にこれと、Ｄｅｃａｌマップとで各ピクセル位置ごとに積算をする（ＳＴ９）。これにより、明るいところほどＤｅｃａｌマップの色情報が強く現れ、暗いところほど黒く陰る、陰影処理の施された最終画像が生成されるので、最後にそれをディスプレイに表示する（ＳＴ１０）。ＳＴ４−ＳＴ１０の処理を動画の終点まで繰り返し、ファイルの終わりに達したと判定すると（ＳＴ１１）再生を終了する。

この合成方法自体は従来からあるバンプマップの手法だが、動画再生にこれを組み込む事でユーザーが光源を動かし、対話的な鑑賞を可能とした点が本発明の特徴である。

図３は図２に示した流れを、ティーポット型の立体モデルが回転する動画の例を用いて図示したものである。

各項目に示したステップの値が図２のそれに対応している。

図３に示したとおり、Ｄｅｃａｌマップは物体の模様を表し、Ｎｏｒｍａｌマップとライトべクトルとの内積の結果得られた画像は物体の凹凸感を表している。従来は一つのデータに合わさつて格納されている両者の情報を分離させることで、凹凸感の見せ方をユーザーに操作させる機能を実現している。

なお、図４〜図１１は各々の拡大図であり、図７と図１１は、その色分布を示す説明図である。但し、実際のデータは色がグラデーション的に分布している。

以上、本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で適宜に変更可能であることは勿論である。

本発明は、３次元立体を表示する静止画や動画の画像処理分野に関し、特にデータ量が多く成りがちな映画やテレビ番組、ビデオゲームのような一般的な動画情報を再生する際場合や、毎秒数十枚の静止画で構成された動画情報を再生するのに適した場合、特に利用者が受動的に映像を鑑賞するのみの動画メディアを単に視聴するのみならず、画像表現をを操作するという対話的な動画再生が可能な画像処理分野に適用可能である。

本発明を適用したコンピュータシステムのブロック構成図である。 図１のＣＰＵにおいて実行される画像処理の流れ図である。 図１のＣＰＵにおいて実行された画像の遷移図である。 図３のＤｅｃａｌマップ（ＳＴ６）の拡大図である。 図３のＮｏｒｍａｌマップ（ＳＴ７）の拡大図である。 図３の内積マップ（ＳＴ８）の拡大図である。 図３の乗算マップ（ＳＴ９）の拡大図である。 図３の時間経過後のＤｅｃａｌマップの拡大図である。 図３の時間経過後のＮｏｒｍａｌマップの拡大図である。 図３の時間経過後の内積マップの拡大図である。 図３の時間経過後の乗算マップの拡大図である。

符号の説明

１ コンピュータシステム
１１ カラー表示部
１２ キー入力部
１３ 立体データメモリ
１４ 法線ベクトルデータメモリ
１５ ライトベクトルメモリ
１６ ＣＰＵ
１７ 表示メモリ
１８ 記憶装置
１９ ＲＡＭ
２０ 画像処理プログラムメモリ
２１ カラープリンタ
２２ バス

Claims (5)

1. 立体画像の立体データを記憶する立体情報記憶手段と、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを記憶する法線情報記憶手段と、立体データと立体表面法線データを組み合わせて照明立体画像を作成する照明立体画像作成手段からなることを特徴とする画像処理装置。
2. 立体画像の立体データを記憶する立体情報記憶手段と、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを記憶する法線情報記憶手段と、立体表面法線データを照明方向データに基づいて変換し立体照明データを作成する立体照明データ作成手段と、立体データと立体照明データを組み合わせて照明立体画像を作成することを特徴とする画像処理装置。
3. 照明方向データ入力手段を備えたことを特徴とする請求項２記載の画像処理装置。
4. 立体画像の立体データと、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを組み合わせて照明立体画像を作成することを特徴とする画像処理方法。
5. 立体画像の立体データと、立体画像の立体表面の法線ベクトルデータを色データに変換した立体表面法線データを照明方向データに基づいて変換し立体照明データを作成する組み合わせた立体照明データとを組み合わせて照明立体画像を作成することを特徴とする画像処理方法。