JP2007004318A - 画像処理方法、画像処理を実行するためのプログラム、及び、当該プログラムが記憶された記憶媒体 - Google Patents

Abstract

【解決課題】 距離画像カメラの出力を３次元画像処理に反映させた画像処理技術を提供する。
【解決手段】 距離画像カメラと画像処理装置とを含み、距離画像カメラの出力を画像処理装置に入力し所定の画像処理を実行する画像処理方法において、前記画像処理装置は、前記距離画像カメラからの出力に基づいて、画像処理プログラムにより定義される仮想空間内に２次元又は３次元のモデルを生成し、このモデルと仮想空間内の当り判定領域との当り判定を行い、この判定結果に応じて前記画像処理を実行する。
【選択図】 図１

Description

本発明は距離画像カメラを用いた画像処理技術に関するのである。

この種の距離画像カメラ(距離画像センサともいう。)として、例えば、特開２００３−５７００７号公報に記載のものが存在する。距離画像カメラは従来周知の構成を有するものであって、レンズにより視野内の像を撮像面に結像し、被写体との間の距離情報を示す画像（距離画像）を取得するものである。

この距離画像カメラは、縦横に配列された複数画素単位にCCDカメラと、赤外線の発光手段を備えている。赤外線発光手段は、対象物に赤外光を照射するよう、CCDの受光面と略同方向を向いて配置されており、CCDカメラは対象物から反射された赤外線を受光し、距離画像カメラを用いた処理システムは、赤外線の発光から受光までの時間差によって、画素毎に対象物までの距離の情報を得ることができる。すなわち、距離画像カメラを用いた情報処理システムは、対象物を撮影した２次元画像情報の他に距離情報を得ることができる。

なお、特開平１１−５３５６３には、プレイヤの姿勢認識装置を備えたゲーム装置が開示されているが、このゲーム装置は、対象物までの距離情報を利用するものではない。
特開２００３−５７００７号公報

従来の距離画像カメラは、静止している人体を検知できるとともに、移動する人体の追跡が可能な距離画像を用いた人体検知方法を提供できるものの、距離画像カメラの出力を、３次元画像処理システムに反映させる事までは配慮していない。

そこで、本発明は、距離画像カメラの出力を３次元画像処理に反映させた画像処理技術を提供する事を目的とする。

この目的を達成するために、本発明は、距離画像カメラと画像処理装置とを含み、距離画像カメラの出力を画像処理装置に入力し所定の画像処理を実行する画像処理方法において、前記画像処理装置は、前記距離画像カメラからの出力に基づいて、画像処理プログラムにより定義される仮想空間内に、必要に応じて２次元又は３次元のモデルを生成し、このモデル又は距離画像カメラの画素の距離データと仮想空間内の当り判定領域との当り判定を行い、この判定結果に応じて前記画像処理を実行するようにした。

本発明の他の構成は、距離画像カメラと画像処理装置とを含み、距離画像カメラの出力を画像処理装置に入力し所定の画像処理を実行してなる画像処理方法おいて、前記画像処理装置は、前記距離画像カメラからの出力に基づいて、画像処理プログラムにより定義される仮想空間内に２次元又は３次元のモデルを生成し、このモデルと仮想空間内のオブジェクトとの当り判定を行い、この判定結果に応じて前記画像処理を実行することを特徴とする。

さらに、本発明の他の構成は、距離画像カメラと画像処理装置とを含み、距離画像カメラの出力を画像処理装置に入力し所定の画像処理を実行する画像処理方法おいて、前記画像処理装置は、前記距離画像カメラからの出力に基づいて、画像処理プログラムにより定義される仮想空間内に２次元又は３次元のモデルを前記仮想空間内に生成することを特徴とする。

本発明によれば、距離画像カメラから出力された情報を３次元画像処理に反映させた画像処理技術を提供することができる。

図１は、本発明に係る画像処理方法を実施するための画像処理システムについて説明するものである。画像処理システムは、距離画像カメラＤ１と、カラー画像カメラＤ２と、画像処理装置Ｄ３と、ディスプレイＤ４から構成されている。画像処理装置としては、例えば、特開２００４−２０２００７号公報の図１に記載されたものが存在する。画像処理装置は、画像処理プログラムによって３次元仮想空間を構成し、入力データに基づいて３次元仮想空間内にオブジェクトを定義し、仮想カメラから当該オブジェクトを見た映像を画面に表示する。

距離画像カメラ（D1）は、ある解像度（例えば、横128画素×縦123画素）を有し、その各画素について、被写体までの距離を、一定の時間間隔で連続的に、測定することができる。すなわち、距離画像カメラは画素毎に、撮影対象物の存在及び撮影対象物までの距離を赤外光の発光タイミングと反射光の受光タイミングとの時間差から求めることができ、画素毎に例えば８〜１０ビットの分解能の値として算出する。距離画像カメラからの信号は信号線によって画像処理装置に出力されている。

カラー画像カメラ（D2）は、被写体をカラー画像の動画または静止画として撮影する装置であり、距離画像カメラに対してなるべく至近に、同一の方向を向けて設置される。ゲームの遊戯者は、これらのカメラの前で手や体を動かすと、画像処理装置は、距離画像カメラ（D1）及びカラー画像カメラ（D2）からのデータを入力とし、ゲームにおける衝突判定や画像処理等の各種処理を行い、結果をディスプレイ装置（D4）に映像として出力する。ディスプレイ装置（D4）は、画像処理装置からの出力映像を表示する装置である。尚、本画像処理システムにおいては、Ｄ１からＤ４までを携帯型情報処理装置のように１つの装置が全て備えていても良い。

図６は、本発明が適用される画像処理装置の一例であり、業務用または家庭用向けのゲーム装置およびパーソナルコンピュータや携帯型コンピュータ、携帯電話などに対応する。この装置は、プログラムにより動作し、装置全体を制御するＣＰＵと、ＣＰＵが使用するプログラムやデータを格納するシステムメモリと、ゲームプログラムや出力する画像や音声などのデータが記憶されたプログラムデータ用ＲＯＭなどの記憶媒体と、装置を起動させた際に各ブロックを初期化するためのプログラムを格納するブートロムと、各ブロック間でプログラムやデータのやり取りを行うバスを制御するバスアービタと、ディスプレイに表示する（ポリゴン）オブジェクトの３次元仮想空間内での位置座標や向きを計算するジオメトリプロセッサと、ジオメトリプロセッサによって算出されたオブジェクトの向きや位置座標等に基づいて、ディスプレイに出力する画像を生成（描画）するレンダリングプロセッサと、それに接続され、画像を生成するためのデータやコマンドなど格納するグラフィックメモリと、スピーカに出力する音声を生成するオーディオプロセッサと、それに接続され、音声を生成するためのデータやコマンドなど格納するオーディオメモリとで構成される。

尚、システムメモリ、グラフィックメモリ、サウンドメモリは、１つのメモリをバスアービタに接続して各機能で共通に使用するようにしてもよく、各機能ブロックも機能として画像処理装置内に存在すればよく、機能ブロック同士が統合されていても、また、機能ブロック内部の各構成要素が他のブロックとして分離されていても良い。

プログラムデータ用のＲＯＭは、マスクロムやフラッシュロムなどの電気的にデータを読み出せるＩＣメモリや、ＣＤ-ＲＯＭ、ＤＶＤ-ＲＯＭなどの光学的にデータを読み出せる装置と光ディスクまたは磁気ディスク等であっても良い。バスアービタには、外部からのデータ入出力を行うインターフェースが組み込まれており、ここに周辺装置としてのペリフェラルが接続される。

ペリフェラルには、マウス（ポインティングデバイス）やキーボード、ゲーム用コントローラ等のキー操作のためのスイッチの他、プログラムの途中経過や生成したデータを保存するバックアップメモリ、表示装置、撮影装置等、画像処理装置本体あるいは他のペリフェラルに接続可能なものが含まれる。

（実施形態１）
次に、距離画像カメラから出力された情報を利用した画像処理の実施形態について説明する。ここで基本となる画像処理は、画面上方から仮想的なオブジェクトを複数落下させるものである。この画像処理は、画像処理装置が画像処理プログラムを実行することによって達成される。画像処理プログラムは、距離画像カメラから見た対象物(被写体)の座標系と仮想空間の座標系とを対応させて、距離画像カメラの出力から２次元又は３次元のモデルを生成し、これを仮想空間の座標系に配置する。

このモデルは、画像として表示される物体であってもよいが、仮想空間に設けられた衝突判定領域に設定することもできる。画像処理プログラムは、距離画像カメラからある一定の距離（Tとする）より前方にある対象物（被写体）の部分を、仮想空間内において、対象物の２次元又は３次元のモデルと認識する。画像処理プログラムは、この部分を当り判定領域に設定し、オブジェクトが落下して当り判定領域に衝突した場合には、オブジェクトの軌道を変化させる。画像処理装置は、この様子を、カラー画像カメラからの被写体の実画像と合成して、ディスプレイ装置に表示する。

図２は、距離画像カメラ得られたデータに基づいて、画像処理が作成した２次元のモデルである。右手を開いた人物が距離画像カメラに対して近づくと、前記Ｔより先にある、距離画像カメラの画素の距離データから、２次元のモデルを構成する。人物が距離画像カメラに近づくに従って、手（１）→上腕（２）→片手全体（３）→人物全体（４）が２次元モデルである、衝突判定領域として画像処理プログラムによって認定される。

次に、この実施形態の動作のフローチャートを示す図３に基づいて説明する。先ず、画像処理装置は、距離画像カメラから、距離画像を取得する(ステップ３００)。次いで、画像処理装置は、ステップ３０２において、距離画像を平滑化する（ノイズの除去）。距離画像カメラから取得した距離画像データには、実際の被写体までの距離とは無関係な、不正な値を含むことがある。この不正な値がノイズである。このノイズを除去する目的で、画像処理装置は、「空間方向の平滑化」と「時間方向の平滑化」をそれぞれ行う。

空間方向の平滑化：距離画像の各画素に対し、近傍の4つの画素の値が比較され、これらの値のうち最大のものをもって、新たにこの画素の測定値とする。値の平均値ではなく最大値を取る理由は、ノイズの傾向として、実際より小さい値が得られる傾向があるためである。これにより、例えば画像内の1点のみに現れるようなノイズを除去することができる。

時間方向の平滑化：画像処理装置は、今回の（空間方向に平滑化した結果の）距離画像データと、前回使用した距離画像データとを、各画素についてある割合で混ぜ合わせ、その結果をもって新たにその画素の測定値とする。これにより、例えば同一座標で値が一瞬だけ突然変化するようなタイプのノイズが測定値から除去される。

次いで、ステップ３０４において、画像処理装置は、距離画像の座標を、カラー画像の座標系に合わせて正規化する。距離画像カメラとカラー画像カメラとは、至近に設置し、同一の方向を向けてあるが、設置位置の違いや画角の違いなどにより、座標系に差が生じる。これを補正するため、距離画像に適切な拡大縮小及び平行移動を施すことで、カラー画像の座標系と一致させる。

ステップ３０６では、画像処理装置は、ある距離の閾値Tを用いて、衝突領域ビットマップ(２次元画像)を作成する。これは距離画像のうちTより近い部分を抜き出す処理である。即ち、図４の（１）から（２）のビットマップ４００が作成される。

先ず、画像処理装置は、距離画像カメラから、距離画像を取得する(ステップ３００)。次いで、画像処理装置は、ステップ３０２において、距離画像を平滑化する（ノイズの除去）。距離画像カメラから取得した距離画像データには、実際の被写体までの距離とは無関係な、不正な値を含むことがある。この不正な値がノイズである。このノイズを除去する目的で、画像処理装置は、「空間方向の平滑化」と「時間方向の平滑化」をそれぞれ行う。

空間方向の平滑化：距離画像の各画素に対し、１近傍の4つの画素の値が比較され、これらの値のうち最大のものをもって、新たにこの画素の測定値とする。値の平均値ではなく最大値を取る理由は、ノイズの傾向として、実際より小さい値が得られる傾向があるためである。これにより、例えば画像内の1点のみに現れるようなノイズを除去することができる。

時間方向の平滑化：画像処理装置は、今回の（空間方向に平滑化した結果の）距離画像データと、前回使用した距離画像データとを、各画素についてある割合で混ぜ合わせ、その結果をもって新たにその画素の測定値とする。これにより、例えば同一座標で値が一瞬だけ突然変化するようなタイプのノイズが測定値から除去される。

次いで、ステップ３０４において、画像処理装置は、距離画像の座標を、カラー画像の座標系に合わせて正規化する。距離画像カメラとカラー画像カメラとは、至近に設置し、同一の方向を向けてあるが、設置位置の違いや画角の違いなどにより、座標系に差が生じる。これを補正するため、距離画像に適切な拡大縮小及び平行移動を施すことで、カラー画像の座標系と一致させる。

ステップ３０６では、画像処理装置は、ある距離の閾値Tを用いて、衝突領域ビットマップ(２次元画像)を作成する。これは距離画像のうちTより近い部分を抜き出す処理である。即ち、図４の（１）から（２）のビットマップが作成される。

ステップ３０８では、画像処理装置は、オブジェクトの発生頻度の設定に基づき、画面上方に新しいオブジェクトを発生させる。例えば画面内に存在する「オブジェクト」の数がほぼ一定になるように調節したり、一時的に大量の「オブジェクト」を降らせたりすることができる。ステップ３１０では、画像処理装置は、各「オブジェクト」について、それぞれの運動ベクトルと、仮想的な重力に従って、1フレーム分動かす。

各「オブジェクト」は、それ自身の位置座標と運動ベクトルを持っている。画像処理装置は、運動ベクトルにフレームの時間差分を乗じたものを位置座標に足しこみ、これを新たな位置座標とする。仮想的な重力とは、「オブジェクト」に対し画面下方に働かせる力で、これにフレームの時間差分を乗じたものを運動ベクトルに足しこみ、これを新たな運動ベクトルとする。

各「オブジェクト」について、画像処理装置は、図５の（１）から（２）にかけて示されているように、衝突領域ビットマップ５００にオブジェクト５０２衝突したら、オブジェクトの運動ベクトルを変化させる。次いで、ステップ３１４に示すように、画像処理プログラムは、各「オブジェクト」について、画面外に出たら消去する。画像処理装置は、カラー画像カメラから、カラー画像を取得し(ステップ３１６)、カラー画像に「ぷよ」を合成した画像を作成し、ディスプレイ装置に出力する(ステップ３１８)。

本実施例では、画像処理プログラムは、距離画像カメラから測定された被写体のデータから、２次元のモデル(衝突判定モデル)を作成したが、３次元モデルを作成するようにしても良い。この場合は、オブジェクトとの衝突判定も３次元的に実行可能である。

(実施形態２)
落下物を楕円状のオブジェクトではなく、水流であり、画面全体で滝を表現する。落下する水流が衝突領域に衝突したら、水流の運動方向を変化させると同時に、その場所に水しぶきの映像効果を発生させる。水流が存在している場所では、合成するカラー画像を歪ませることで、水の屈折を表現する。衝突領域の下側などで水流が存在していない場所では、カラー画像を歪ませずに合成する。

（実施形態３）
上記実施形態１および実施形態２では、距離の閾値Tを用いて、衝突領域ビットマップを作成していた。しかし、落下物の位置が奥行き方向に分布を持つ場合、固定の閾値を用いた判定はできない。その代わり、以下の方法で衝突判定を行う。距離画像の取得、平滑化、及び正規化は、図３の場合と同じである。この実施形態では、衝突領域ビットマップの作成は行わない。各落下物は、自身の位置に対応する、画像領域についての距離画像の値と、自身の奥行きの座標値とを比較し、距離画像の値のほうが自身の奥行きの座標値よりも小さい場合に、衝突したと判断する。なお、この実施形態の場合は、画像処理装置が被写体の３次元モデルを作成することにより、奥行き方向を持った落下物との衝突を判定することができる。

(実施形態４)
距離画像カメラからある一定の距離（Tとする）に、仮想的な水面（当り判断領域）を設定する。距離画像の各画素の値について、Tより小さな場合、水面に衝突があったと判定し、波を生成する。生成された波は、時間経過とともに、波動方程式に従って水面上を伝播し、波紋が形成され、水面上の各点には仮想的な勾配が生じる。この勾配に基づき、カラー画像を歪ませることで、水面に映る遊戯者の映像が波紋により揺らめく様を表現する。また、勾配の向きと程度により、合成画像の各画素の輝度を変化させることで、水と光の質感を表現する。

(実施形態５)
画面内に、仮想的な小物体を複数設置する。距離画像カメラから取得した距離画像の各画素のうち、最も値が小さい（奥行きが浅い）所について、その距離の値Czと位置座標(Cx,Cy)とを検出する。Czがある設定値T1より近くなった場合、その座標に対して最も近くにある物体を「つかんだ」状態にする。「つかんだ」状態にある小物体は、時間経過に伴う(Cx,Cy)の変化に追従して、自身の位置座標を変化させる。これにより、例えば手で画面内の小物体を直接つかんで動かしているような操作感を得られる。ある小物体が「つかんだ」状態にあるときに、Czの値がある設定値T2より大きくなった場合、「つかんだ」状態は解除される。これにより、小物体をつかんだ手を引っ込めることで、その小物体をその場所に置くという操作感が得られる。

（実施形態６）
画面内に、仮想的なボクシングの相手選手を作る。距離画像カメラから取得した距離画像の各画素のうち、最も値が小さい（奥行きが浅い）所について、その距離の値Czと位置座標(Cx,Cy)とを検出する。Czがある設定値T1より近くなった場合であって、かつ(Cx,Cy)が相手の顔や体の位置である場合、遊戯者は相手のその部位にパンチをあてたものと判定する。パンチを当てた部位により、相手の反応を変化させる。また、パンチがあたるまでの間、時間経過に伴う(Cx,Cy)の変化の履歴を記録していき、パンチが当たった際にその履歴を利用してパンチの種類を決定する。すなわち、(Cx,Cy)が右のほうから相手の顔の位置に向かって変化した場合、それは相手の顔への右フックであると判定する。

図７は、上記各実施例における距離画像カメラからの画素毎の出力データの例である。本発明の距離画像カメラは、赤外光を照射したタイミングと被写体に反射した赤外光を受光したタイミングとの時間差を位相差から算出する。これによって各画素における照射した赤外光の到達時間から距離が測定される。

測定された距離は、各画素８ビット乃至１０ビットのデータで画像処理装置に読み出される。
各画素の距離データが８ビットの場合は０から２５５までの数値で被写体や背景までの距離が出力される。

図４の被写体を距離画像カメラにより撮影した場合、被写体の部分はカメラからの距離が背景よりも近いため、大きい数値（または小さい数値）で出力される。

この場合は、背景に当たる部分は、被写体（人物）よりカメラから遠いので、小さい数値が出力され、被写体の部分は、背景よりカメラに近いので大きい数値が出力される。
尚、距離によって数値を大きくするか小さくするかは距離を算出する計算式の設定により変更可能である。そして、これら距離を示す数値に対して閾値を設定して、閾値より数値が大きいか小さいかで被写体を抽出する。

本発明においては、例えば家庭内でビデオゲームに用いることを想定すると、およそ１．５〜３ｍくらいの距離が想定されるため、この範囲に被写体が進入したときの被写体までの距離のみが抽出できるような数値として１００の値を閾値に設定している。このようにすることで、被写体のみの距離情報を抽出することが出来る。

図８および図９は、抽出した被写体の距離情報に基づいて、当たり判定の領域を設定するプログラムのフローである。図８のプログラムフローは、図３での説明とほぼ同様であるが、図９は、３次元の当たり判定領域を生成するフローとなっている。

３次元である奥行き方向の当たり判定には、距離画像カメラから読み出した被写体に対応する各画素の２次元座標を仮想空間の２次元座標に対応付けて変換するステップに加えて、各画素の距離データを仮想空間の奥行き方向の座標に変換することで、立体形状の当たり判定領域を設定している。

図１０は、図９の立体形状の当たり判定を設定する技術を応用した、表示モデルを生成するプログラムステップである。

このプログラムでは、被写体に対応する各画素を３次元座標に変換後、その隣り合う座標を組にして複数の多角形を生成する。更に、多角形を対角線で分割し、ポリゴンの１単位となる三角形の３頂点を組にしたポリゴンモデルを生成する。

ポリゴンモデルの生成方法については、上記の他に、３次元座標に変換した各画素を所定の順番で３つずつ組にしてポリゴンを１つずつ生成していく方法でも何れでも良い。
ポリゴンモデルの生成後は、そのままレンダリング処理を行っても良いが、ＣＣＤカメラＤ２により撮影された画像をテクスチャに用いて、ポリゴンモデルにマッピング処理しても良い。

距離画像センサからの画素のうち、抽出された画素に対応するＣＣＤによる撮影画素の抽出を行い、この抽出した画素をテクスチャデータとしてグラフィックメモリに記憶させる。このようにコンピュータに処理させることで、距離画像カメラからの距離情報に基づいて生成された立体オブジェクトにテクスチャマッピングを行なうことが可能になる。

本発明を実施するための画像処理システムを示すブロック図である。 距離画像カメラから２次元モデルを作成する際の原理図である。 画像処理の一例のフローチャートである。 距離画像カメラから２次元モデル(衝突ビットマップ)を作成する際の原理図である。 衝突ビットマップと落下するオブジェクトの衝突状態を示す図である。 画像処理装置のハードウェアブロック図である。 距離画像カメラから出力される画素毎の距離情報の例である。 距離画像カメラから２次元の当たり判定領域を生成してオブジェクトとの当たり判定を行なう処理のフローチャートである。 距離画像カメラから３次元の当たり判定領域を生成してオブジェクトとの当たり判定を行なう処理のフローチャートである。 距離画像カメラから３次元のポリゴンモデルを生成して、撮影した画像からモデルに対応する領域を抽出してテクスチャとしてモデルにマッピングする処理のフローチャートである。

Claims (7)

1. 距離画像カメラと画像処理装置とを含み、距離画像カメラの出力を画像処理装置に入力し所定の画像処理を実行する画像処理方法において、
   前記画像処理装置は、前記距離画像カメラからの出力に基づいて、画像処理プログラムにより定義される仮想空間内に２次元又は３次元のモデルを生成し、このモデルと仮想空間内の当り判定領域との当り判定を行い、この判定結果に応じて前記画像処理を実行する画像処理方法。
2. 距離画像カメラと画像処理装置とを含み、距離画像カメラの出力を画像処理装置に入力し所定の画像処理を実行してなる画像処理方法おいて、
   前記画像処理装置は、前記距離画像カメラからの出力に基づいて、画像処理プログラムにより定義される仮想空間内に２次元又は３次元のモデルを生成し、このモデルと仮想空間内のオブジェクトとの当り判定を行い、この判定結果に応じて前記画像処理を実行する画像処理方法。
3. 前記画像処理装置は、画像処理の結果の映像に、別途撮影した映像を合成するようにした請求項１又は２記載の画像処理方法。
4. 距離画像カメラと画像処理装置とを含み、距離画像カメラの出力を画像処理装置に入力し所定の画像処理を実行する画像処理方法おいて、
   前記画像処理装置は、前記距離画像カメラからの出力に基づいて、画像処理プログラムにより定義される仮想空間内に２次元又は３次元のモデルを前記仮想空間内に生成する画像処理方法。
5. 前記モデルに、別途撮影した画像をテクスチャとして合成した請求項４記載の画像処理方法。
6. 請求項１乃至５の何れか１項記載の画像処理方法を、前記画像処理装置のコンピュータに実行させる、当該コンピュータが読み取り可能なプログラム。
7. 請求項６記載のプログラムが記憶された、ＤＶＤ、ＣＤ、及びハードディスク等の記憶媒体。
   
   

Images