JP2016162392A - ３次元画像処理装置および３次元画像処理システム - Google Patents

Abstract

【課題】複数の可視光画像データと３次元モデルデータに基づく画像の表示品質を高める３次元画像処理装置及びシステムを提供する。
【解決手段】互いに異なる撮像点から見たシーンの可視光画像データを生成する１又は複数の可視光画像生成装置から複数の可視光画像データを取得する取得部１３１と、複数の距離画像データに基づいて、シーンに含まれる対象を表す３次元モデルデータを生成するモデル生成部１３２と、シーンに対する視点を設定する設定部１３３と、視点から見たシーンを表す表示画像データを、３次元モデルデータと撮像点が互いに異なる複数の記可視光画像データとに基づく描画部１３４を備える。描画部は、３次元モデルデータに表される対象表面の領域に対応する可視光画像データが複数の場合、視点に応じていずれかの可視光画像データを選択し、選択した可視光画像データと３次元モデルデータに基づいて、対象表面に対応する領域を描画する。
【選択図】図２

Description

本発明は３次元画像処理装置および３次元画像処理システムに関する。

従来、設定される視点に応じて表示画像を変化させる３次元画像処理装置が知られている。３次元画像処理装置は、複数の撮像点からシーンを撮像し、同一シーンを撮像した複数の画像記録データに基づいて１つの３次元モデルデータを生成し、画像表示データを３次元モデルデータに基づいて描画する。

特開２０１１−１４９９５２号公報

しかしながら、異なる撮像点からシーンを撮像した複数の可視光画像データから１つの３次元モデルデータを生成する場合、撮像点毎に照明環境が異なったり、誤差があるため、設定される視点によっては表示画像に表れる可視光画像データ同士の境界が不自然に目立ち、表示品質が好ましくなくなることがある。

本発明は、複数の可視光画像データと３次元モデルデータに基づく画像の表示品質を高めることを目的の１つとする。

上記目的を達成するための３次元画像処理装置は、互いに異なる計測点から見たシーンの奥行きを表す距離画像データを生成する複数の距離画像生成装置のそれぞれから前記距離画像データを取得し、互いに異なる撮像点から見た前記シーンの可視光画像データを生成する１または複数の可視光画像生成装置から複数の前記可視光画像データを取得する取得部と、複数の前記距離画像データに基づいて、前記シーンに含まれる対象を表す３次元モデルデータを生成するモデル生成部と、前記シーンに対する視点を設定する設定部と、前記視点から見た前記シーンを表す表示画像データを、前記３次元モデルデータと前記撮像点が互いに異なる複数の可視光画像データとに基づいて描画する描画部と、を備え、前記描画部は、３次元モデルデータに表される対象表面の領域に対応する前記可視光画像データが複数ある場合、前記視点に応じていずれかの前記可視光画像データを選択し、選択した前記可視光画像データと前記３次元モデルデータに基づいて、前記対象表面に対応する領域を描画する。

ここでシーンとは、距離画像データおよび可視光画像データに撮像される対象とその背景を含む空間である。また視点は、表示画像データに基づいて表示される画像が人やカメラの視界の画像であるとの仮定の上で設定される、謂わば仮想的な視点である。したがって視点は、眼球やレンズの位置に対応する位置と視線やレンズの光軸に対応する方向を有する。すなわち視点は位置と方向を持つ。本発明によると、表示画像データを描画する素材となる可視光画像データを、設定された視点に応じて領域毎に選択するため、表示画像データに表れる可視光画像データ同士の境界を、設定された視点に応じて、変更することができる。例えば、可視光画像データ同士の境界が表示画像データの中央領域に表れないように、中央領域を描画する素材となる可視光画像データを１つだけ選択すれば、３次元モデルデータに基づく画像の表示品質を高めることができる。すなわち、視点が定まることにより、表示画像データに表れる対象の範囲が定まり、表示画像データに表れる対象の範囲が定まれば、定まった範囲に対応する可視光画像データの領域も定まる。そして、表示画像データの特定範囲に対応する可視光画像データが複数ある場合、表示画質が高まるように可視光画像データを選択することができる。その結果、３次元モデルデータに基づく画像の表示品質を高めることができる。

請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。さらに、本発明は方法の発明としても、距離画像生成装置と可視光画像生成装置と組み合わせた３次元画像処理システムの発明としても、３次元画像処理プログラムの発明としても、その記録媒体の発明としても成立する。むろん、そのコンピュータプログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体であってもよい。

本発明の実施形態にかかる３次元画像処理装置の利用形態を示す模式図。 本発明の実施形態にかかる３次元画像処理装置を示すブロック図。 本発明の実施形態にかかる３次元画像処理を示すフローチャート。 本発明の実施形態にかかる撮像範囲を説明するための説明図。 本発明の実施形態にかかる表示座標系と絶対座標系の対応関係を示す説明図。 本発明の実施形態にかかる３次元画像処理装置の画面構成図。

以下、本発明の実施の形態を添付図面を参照しながら以下の順に説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。

１．構成
本発明の一実施例として、ゴルフスイングの動画像を記録して表示することにより、ゴルフスイングの指導に役立てる３次元画像処理システムについて説明する。図１に示す３次元画像処理装置１は、対象とする人Ｍを含むシーンの距離画像データと可視光画像データを撮像部２、３、４、５から取得し、取得した距離画像データと可視光画像データとに基づいて、シーンに設定される視点に応じた人Ｍの画像を表示可能に構成されたＰＣ（Personal Computer）である。

撮像部２、３、４、５は、運動を記録する対象である人Ｍの死角を互いに補うように、すなわち人Ｍを囲むように、例えば９０度間隔で配置される。撮像部を配置する数は、２以上であればよく、３または５以上でも良い。撮像部２、３、４、５は、それぞれ、距離画像生成装置としての距離画像生成部２１、３１、４１、５１と、可視光画像生成装置としての可視光画像生成部２２、３２、４２、５２とを備えている。距離画像生成部２１、３１、４１、５１は、近赤外線ＬＥＤを含む光源と近赤外線イメージセンサーとを備え、光源から照射した光が対象で反射して戻るまでの時間を近赤外線イメージセンサーの画素毎にリアルタイムで測定することにより、距離画像データを生成する。このように生成される距離画像データは、距離画像生成部２１、３１、４１、５１から対象までの距離を示す。すなわち、距離画像生成部２１、３１、４１、５１が生成する距離画像データは、互いに異なる計測点から見たシーンの奥行きを表す。可視光画像生成部２２、３２、４２、５２は、可視光イメージセンサーを備え、画素毎に可視光の強度を測定することにより、可視光画像データを生成する。同一の撮像部に備わる可視光画像生成部の撮像点と距離画像生成部の計測点とはほぼ一致し（人Ｍのスケールに対して無視できる程度の距離しか離れていない。）、撮像方向と計測方向は一致する。ここで可視光画像生成部２２、３２、４２、５２の撮像点は可視光イメージセンサーに結像させる光学系の光軸と可視光イメージセンサーとが交わる点である。可視光画像生成部２２、３２、４２、５２の撮像方向は、可視光イメージセンサーに結像させる光学系の光軸が撮像部から延びる方向である。また距離画像生成部２１、３１、４１、５１の計測点は近赤外線イメージセンサーに結像させる光学系の光軸と近赤外線イメージセンサーとが交わる点である。距離画像生成部２１、３１、４１、５１の計測方向は、近赤外線イメージセンサーに結像させる光学系の光軸が撮像部から延びる方向である。これらの撮像点、撮像方向、計測点、計測方向は、各撮像部に固有の３軸直交座標系で定められている。各撮像部は、各撮像部に対して既知の距離画像生成部の計測点と計測方向と可視光画像生成部の撮像点と撮像方向とに基づいて、可視光画像データ生成部が生成した可視光画像データの各画素と距離画像生成部が生成した距離画像データの各画素とを対応付けて出力する。例えば各撮像部は、可視光画像データと距離画像データとを別々のデータファイルとして出力しても良いし、可視光画像データによって構成されるＲＧＢの３チャンネルと距離画像データによって構成される１チャンネルの合計４チャンネルを画素毎に持つ１つのデータファイルを出力しても良い。

ここで、撮像部２、３、４、５の撮像位置と撮像方向が互いに異なっているため、対象の同一領域は一般には異なった色で記録される。例えば、照明光と撮像方向の関係が異なれば、露出補正量が異なるからである。したがって可視光画像データをスティッチングして対象を画面に表示する場合、可視光画像データの境界を画面上で視認できてしまい、不自然な画像となる。以下に説明する３次元画像処理装置１は、複数の可視光画像データと３次元モデルデータに基づく画像の表示品質を高めるものである。

図２に示すように３次元画像処理装置１は、外部インターフェース１１、内部インターフェース１２、プロセッサユニット１３、主記憶部１４、外部記憶部１５、表示部１６等を備えている。外部インターフェース１１は、ＵＳＢ、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡ等の規格に準拠した入出力インターフェースを備え、撮像部２、３、４、５から距離画像データと可視光画像データを入力する。なお、撮像部２、３、４、５と制御部１とは、通信可能に接続してもよいし、接続しなくても良い。撮像部２、３、４、５と３次元画像処理装置１とを接続しない場合、リムーバブルメモリを用いることにより、撮像部２、３、４、５からデータを３次元画像処理装置１に入力すればよい。外部記憶部１５には、ＯＳ（Operating System）、３次元画像処理プログラムなどの各種プログラムが記憶されている。表示部１６は、液晶表示パネル、ディスプレイコントローラーなどを備える。内部インターフェース１２は、外部インターフェース１１、外部記憶部１５、主記憶部１４、表示部１６、プロセッサユニット１３の間でデータ転送を制御する。

プロセッサユニット１３は、外部記憶部１５に記憶された３次元画像処理プログラムを主記憶部１４にロードして実行することにより、取得部１３１、モデル生成部１３２、設定部１３３、描画部１３４および再生部１３５として機能する。取得部１３１としてのプロセッサユニット１３の機能は、撮像部２、３、４、５から距離画像データおよび可視光画像データを取得することである。モデル生成部１３２としてのプロセッサユニット１３の機能は、計測点が互いに異なる複数の距離画像データに基づいて３次元モデルデータを生成することである。設定部１３３としてのプロセッサユニット１３の機能は、対象に対する視点を設定することである。描画部１３４としてのプロセッサユニット１３の機能は、設定された視点から見た対象を表す表示画像データを、生成された３次元モデルデータと、撮像点が互いに異なる複数の可視光画像データとに基づいて描画することである。再生部１３５としてのプロセッサユニット１３の機能は、表示画像データに基づいて表示部１６の画面に対象を表示することである。以下、これらの機能について詳細に説明する。

２．３次元画像処理方法
図３は、３次元画像処理装置１を用いた３次元画像処理方法の流れを示すフローチャートである。以下、図３を参照しながら３次元画像処理装置１の作動を説明する。

はじめにプロセッサユニット１３は、撮像部２、３、４、５の位置と方向（姿勢）を絶対座標系で特定する（Ｓ１）。ここで絶対座標系とは、撮像部２、３、４、５の個々の座標系から独立している３軸直交座標系である。図１、図４および図５において絶対座標系の３軸はＸ軸、Ｙ軸、Ｚ軸として表示する。この絶対座標系は、対象である人Ｍを任意の視点から見た画像を画面表示するための表示画像データの座標系と、撮像部２、３、４、５の座標系とを対応付けるために用いられる。撮像部２、３、４、５のそれぞれの位置関係と方向が正確に分かると、適当な原点を定めることにより撮像部２、３、４、５の位置と方向を絶対座標系で定めることができる。実際には、例えば、キャリブレーションのための既知のターゲットの周りのおよそ予め決められた位置におよそ予め決められた姿勢で撮像部２、３、４、５を設置した後に、それぞれが生成する距離画像データに基づいて導出される対象の形状の一部が対象の同一領域を表していることを前提として撮像部２、３、４、５の位置と方向、すなわち撮像位置と撮像方向と計測位置と計測方向を導出する。具体的には、各撮像部が生成する距離画像データに基づいて、実際の各撮像部の位置と方向を、例えばＩＣＰ（iterative closest point）等のパターンマッチングの手法を用いて絶対座標系で数学的に特定しておけばよい。各撮像部の位置を示す座標と方向を示す単位ベクトルが絶対座標系で特定されると、各撮像部に固有の座標系を絶対座標系に変換するための変換行列を導出可能になる。後述するステップＳ８の描画処理において必要となるため、撮像部２、３、４、５の位置と方向（姿勢）を絶対座標系で導出した後に、各撮像部の座標系を絶対座標系に変換するための変換行列を導出しておく。

ユーザーが３次元画像処理プログラムを起動した後にデータ入力を指示すると、プロセッサユニット１３は、撮像部２、３、４、５から距離画像データと可視光画像データとを取得する（Ｓ２）。例えば３次元画像処理装置１と撮像部２、３、４、５が接続されている場合、ユーザーは３次元画像処理装置１のマウスやキーボードやタッチパネルを操作することによって撮像部２、３、４、５からのデータ入力を指示することができる。

次にプロセッサユニット１３は、撮像部２、３、４、５から取得した４つの距離画像データに基づいて４つの３次元モデルデータを生成する（Ｓ３）。ここでは、例えば、プロセッサユニット１３は、撮像部２、３、４、５が生成した距離画像データ毎に対象である人Ｍのポリゴンモデルを絶対座標系の３次元モデルデータとして生成する。またプロセッサユニット１３は、３次元モデルデータの各ポリゴンと可視光画像データとの対応付けを撮像部毎に生成する。すなわち人Ｍの同一領域に対応するポリゴンと可視画像データの画素とが対応付けられる。具体的には、同一の撮像部によって生成された可視光画像データの各画素と距離画像データの各画素とは、撮像部によって予め対応付けられているため、この対応付けに基づいて、距離画像データに基づく絶対座標系の３次元モデルデータの各ポリゴンと、当該距離画像データに対応する撮像部の座標系の可視光画像データの各画素との対応付けを生成する。

次にプロセッサユニット１３は、シーンに対する視点を設定する（Ｓ４）。本実施例では、絶対座標系において予め決められた球上の点の位置が視点の位置となり、球上の視点から球の中心に向かう方向が視点から対象を仮想的に見たときの視線方向となる。後述するステップＳ８において対象である人Ｍが表示される画面のスクロール操作によって視点が表示部１６の座標系で設定される。具体的には例えば、画面のスクロール操作量と、絶対座標系で定めた球上の視点の位置の移動量とを関連づけておき、画面がスクロールされた場合にスクロール操作量に応じて視点の位置を変更すればよい。このようにして視点の位置がユーザーによって指示されると、プロセッサユニット１３は、視点位置を示す絶対座標と、視点からの視線方向を示す単位ベクトルを設定する。

次にプロセッサユニット１３は、各撮像部の撮像方向と視線方向がなす角度を導出する（Ｓ５）。具体的には、ステップＳ１で導出された各撮像部の撮像方向の単位ベクトルとステップＳ４で導出された視線方向の単位ベクトルに基づいて撮像方向と視線方向がなす角度を導出する。これにより、後述するステップＳ８において表示される画面の垂線がシーンの空間に延びていると仮想した場合に、その垂線と撮像方向とがなす角度が導出されることになる。ここでステップＳ８において表示される画面の垂線は、画面を見るユーザーの視線の方向とみなすことができるため、各撮像部の撮像方向と視線方向がなす角度は、各撮像部が人Ｍを撮像する方向と画面を通して人Ｍを見るユーザーの仮想的な視線の方向とがなす角度に相当する。

次にプロセッサユニット１３は、撮像方向と視線方向がなす角度に基づいて可視光画像データの描画優先順位を設定する（Ｓ６）。具体的には、撮像方向と視線方向がなす角度が最も小さい可視光画像生成部が生成した可視光画像データが優先して描画されるように、撮像方向（すなわち撮像部の視野角の中心）と視線方向がなす角度が小さい順に高い優先順位が設定される。

図４は、撮像部２、３、４、５によって撮像される対象を模式的に示した図である。図４において中心をＯとする円は対象である円柱の水平断面を示し、点Ａ、Ｂ、Ｃ、Ｄはそれぞれ撮像部２、３、４、５の撮像点を示し、矢印ａ、ｂ、ｃ、ｄは撮像方向を示し、点Ｅは視点位置を示し、矢印ｅは視線方向を示している。点Ｇ、Ｈ、Ｉ、Ｋ、Ｌ、Ｎ、Ｐ、Ｑは、撮像部２、３、４、５によって撮像される円柱Ｏの輪郭を示している。すなわち撮像部２からａ方向を撮像して可視光画像データに表れる円柱Ｏの画角は∠ＰＡＨになると仮定している。したがって円柱ＯのＰＱＦＧＨの側面領域が可視光画像データによって記録され、円柱ＯのＰＮＬＫＪＩＨの側面領域は死角となる。また撮像部３からｂ方向を撮像して可視光画像データに表れる円柱Ｏの画角は∠ＧＢＫになると仮定している。したがって円柱ＯのＧＨＩＪＫの側面領域が可視光画像データによって記録され、円柱ＯのＧＦＱＰＮＬＫの側面領域が死角になる。また撮像部４からｃ方向を撮像して可視光画像データに表れる円柱Ｏの画角は∠ＩＣＮになると仮定している。したがって円柱ＯのＩＪＫＬＮの側面領域が可視光画像データによって記録され、円柱ＯのＮＰＱＦＧＨＩＪの側面領域が死角になる。撮像部５についても同様である。そして視点がＥに設定され、ステップＳ８において表示される円柱の画角が∠ＦＥＪになると仮定する。

このように仮定すると、視線方向ｅと撮像方向ａ、ｂ、ｃ、ｄとがなす角度は、撮像方向ｂが最も小さく、撮像方向ｄが最も大きく、角度の小さい順に並べるとｂ、ａ、c、ｄとなる。したがって、可視光画像データの優先描画順位は、撮像部３、撮像部２、撮像部４、撮像部５となる。

次にプロセッサユニット１３は、互いに対応付けられている３次元モデルデータと可視光画像データとに基づいて、対象である人Ｍを視点に応じて表示部１６の画面に表示するための表示画像データを描画する（Ｓ７）。ここで表示画像データに基づいて画像が表示される画面領域に対応する主記憶部１４の記憶領域を描画領域というものとする。描画領域は、表示画像データが生成される領域であって、表示部１６の画面の画素毎に対応するアドレスが定められた記憶領域である。画面の画素に対応する各記憶領域を画素アドレスというものとする。画素アドレスに対応する画面の画素の位置を示す座標系を表示座標系というものとする。画素アドレスは表示座標系の座標と一対一に対応する。表示座標系と絶対座標系の対応関係は、図５に示すように、視点からシーンをのぞくための仮想的な窓Ｗの絶対座標系における位置と姿勢に相当する。すなわち窓Ｗは、描画領域そのものに対応し、視点の方向に対して垂直で、画角によってその広さが決まる。可視光画像生成部２２、３２、４２、５２の画角は予め決められているため、このような窓Ｗは、視点の位置と方向に応じて定まる。すなわち、ステップＳ４において視点の位置と方向が絶対座標系で定まっているため、プロセッサユニット１３は視点の位置と方向に基づいて絶対座標系から表示座標系への変換行列を導出できる。そして既に述べたステップＳ３において、可視画像データと３次元モデルデータとの対応関係が定められており、また３次元モデルデータは絶対座標系で生成されている。すなわち、可視画像データの各画素は対応する３次元モデルデータを介して絶対座標系の座標と対応付けられている。したがってプロセッサユニット１３は、ステップＳ１で導出した撮像部２、３、４、５の座標系と絶対座標系の対応関係と、視点の位置と方向とに基づいて、絶対座標系を介して可視光画像データの座標系から表示座標系に可視画像データの各画素の座標を変換することができる。

そこでプロセッサユニット１３は、全ての可視画像データの各画素の値を描画優先順位が低い順に描画領域の対応する画素アドレスに書き込む。２つ以上の可視画像データの画素と対応している画素アドレスには、描画優先順位が低い方の可視画像データの画素の値が書き込まれた後に、描画優先順位が高い方の可視画像データの値が書き込まれることになる。その結果、描画領域の各画素アドレスには、画素アドレス毎に、最も描画優先順位が高い可視画像データの値が最終的に書き込まれることになる。すなわちプロセッサユニット１３は、４つの可視光画像データのうち描画優先順位が最も高い可視光画像データを視点に応じて結果的に選択し、選択した可視光画像データと、選択した可視光画像データに対応する３次元モデルデータとに基づいて表示画像データを描画する。

例えば図４に示す状態で円柱Ｏが撮像されている場合、円柱Ｏの側面領域ＧＨに対応する図５に示す窓Ｗの領域ｇｈすなわち画素アドレス領域ｇｈには、撮像部２が生成した可視光画像データが書き込まれた後に撮像部３が生成した可視光画像データが書き込まれる。また円柱Ｏの側面領域ＩＪに対応する図５に示す画素アドレス領域ｉｊには、撮像部４が生成した可視光画像データが書き込まれた後に撮像部５が生成した可視光画像データが書き込まれる。円柱Ｏの側面領域ＨＩに対応する図５に示す画素アドレス領域ｈｉには、撮像部３が生成した可視光画像データのみが書き込まれる。その結果、円柱Ｏは、側面領域ＦＧが撮像部２の可視光画像データによって、側面領域ＧＨＩＪが撮像部３の可視光画像データによって描画される。

次にプロセッサユニット１３は、表示画像データに基づいて対象である人Ｍを表示部１６の画面に表示する（Ｓ８）。プロセッサユニット１３は、表示画像データの画素数よりも画素数が少ない画面領域に表示画像データに基づいて画像を表示しても良いし、表示画像データの画素数よりも画素数が多い画面領域に表示画像データに基づいて画像を表示しても良い。本実施例では、表示対象とする画面領域よりも解像度が高い表示画像データをステップＳ７で生成しておき、実際に画面表示される表示画像データの領域をユーザーが指定できるようにする。

図６は、プロセッサユニット１３が表示データに基づいて人Ｍを表示した表示部１６の画面の一例である。プロセッサユニット１３は、表示スケールを指定するためのスライダー１０１を画面表示し、スライダー１０１の操作量に応じて画面表示される表示画像データの領域の大きさを変更する。これにより、あたかも視点を人Ｍに接近させて人Ｍの特定部分を拡大表示したり、視点を人Ｍから遠ざけて人Ｍの全体を表示することが可能になる。また例えば、表示対象とする画面領域よりも解像度が高い表示画像データをステップＳ７で生成しておき、表示領域を平行移動させるためのスライダー１０２、１０３を画面表示し、スライダーの操作量に応じて画面表示される表示画像データの領域の位置を平行移動する。これにより、あたかも視点を視線方向と垂直な方向に移動させて表示領域を変更することが可能になる。このように、ステップＳ４では視点の設定範囲を球面上に限定していても、視点を球の中心に近づけたり、球の中心から遠ざけるのと同様の表示効果を得ることができる。

また図６に示す画面において視点の設定を変更する操作を受け付ける方法としては、例えば、スライダー１０１、１０２、１０３以外の領域に対するドラッグ操作量を、予め決められた球面上での視点の移動量と対応付ければよい。

ここで、人Ｍの頭部のうち図６でハッチングを付した領域が２つの撮像部２、３によって撮像されており、図６Ａの画面について設定されている視線方向は、撮像部３の撮像方向とほぼ平行で、図６Ｂの画面について設定されている視線方向は、撮像部２の撮像方向とほぼ平行であるとする。仮に、ハッチングの領域と可視光画像データとの関係が固定されているとすれば、図６Ａまたは図６Ｂのいずれかのハッチングの境界には、撮像部２によって生成された可視光画像データに基づく表示色と、撮像部３によって生成された可視光画像データに基づく表示色との差異が顕在化する。また距離画像生成部２１、３１、４１、５１のキャリブレーション誤差や計測誤差のため、ハッチングの領域と３次元モデルデータとの関係性が固定されているとすれば、図６Ａまたは図６Ｂのいずれかのハッチングの境界と人Ｍの輪郭が交わる領域において、現実にはない段差が顕在化する。

これに対して、以上説明した本発明の実施例によると、図６Ａに示すハッチングと頭部のその左側の領域は、撮像部３によって生成された可視光画像データに基づいて表示される。したがって図６Ａに示すハッチングの境界に２つの可視光画像データの表示色の差異が現れない。また図６Ｂに示すハッチングと頭部のその右側の領域は、撮像部２によって生成された可視光画像データに基づいて表示される。したがって図６Ｂに示すハッチングの境界にも２つの可視光画像データの表示色の差異が現れない。すなわちハッチングの領域を表示する素材である可視光画像データが視点に応じて切り替わるため、ハッチングの領域の境界に２つの可視光画像データの表示色の差異が現れない。そして図６Ａに示すハッチングと頭部のその左側の領域は、撮像部３によって生成された距離画像データに基づく３次元モデルに基づいて表示される。また図６Ｂに示すハッチングと頭部のその右側の領域は、撮像部２によって生成された距離画像データに基づく３次元モデルに基づいて表示される。したがって、図６Ａ、図６Ｂのいずれの画面においても、ハッチングの境界と人Ｍの輪郭が交わる領域において、現実にはない段差は現れない。すなわち本実施例によると、複数の可視光画像データと３次元モデルデータに基づいて視点に応じて表示される画像の品質を高めることができる。

３．他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、距離画像生成装置は、計測点から見たシーンの奥行きを表す距離画像データを生成できれば良く、縞パターンの光を対象に投影し、直線の縞が対象の表面で変形する形態から距離画像データを生成する方式（構造光方式）のものでもよい。また距離画像生成装置と可視光画像生成装置の撮像素子が統合されていても良い。例えば感光波長領域が広く、可視光から赤外線までを撮像できる撮像素子の出力に基づいて可視光画像データと距離画像データとを生成しても良い。

また上記実施例では、可視光画像データ毎に対応する３次元モデルデータを生成し、視点に応じて、３次元モデルデータを切り換えたが、可視光画像データ毎に対応する３次元モデルデータを生成した後に３つのモデルデータを統合して１つの３次元モデルデータを生成し、視点にかかわらず、統合された１つの３次元モデルデータに基づいて表示画像データを描画しても良い。この場合、１つの３次元モデルデータの各ポリゴンに、例えば４つの可視光画像データのうちの１つ以上の可視光画像データの画素が対応付けられる。すなわち、ポリゴンによっては２つ以上の可視光画像データの画素が対応付けられる。そこで、２つ以上の可視光画像データのいずれかを視点に応じて選択し、選択した可視光画像データと統合された３次元モデルデータとに基づいて表示画像データを描画すればよい。

また３次元モデルデータのモデル形式は、ボクセルを使った形式でも、ポリゴンを使った形式でも、自由曲面を使った形式でもよいし、ポリゴンは三角形でも四角形以上の多角形でも良い。

また上記実施例では、絶対座標系で予め決められた球面上に視点を設定したが、絶対座標系の任意の位置に視点を設定できるようにしてもよい。また上記実施例では、視点の位置に応じて視点の方向が定まる例について説明したが、視点の位置と方向を独立に設定できるようにしても良い。

また上記実施例では、可視光画像データに優先順位を付して優先順位の低い順に描画することで、結果的に最も高い優先順位の可視光画像データを選択して描画する例を示したが、優先順位を付さずに可視光画像データを選択するアルゴリズムを採用しても良い。例えば可視光画像データの撮像方向と視線方向がなす角度を順に求め、求めた角度同士を順に比較して、求めた角度が最も小さな可視光画像データを選択し、選択した可視光画像データだけで表示画像データを描画しても良い。

また上記実施例では、可視光画像データの撮像方向と視線方向がなす角度に応じて可視光画像データを選択する例を示したが、絶対座標系における視点と撮像点の距離に応じて可視光画像データを選択したり、表示座標系における視点と撮像点の距離に応じて可視光画像データを選択しても良い。

また上記実施例では、可視光画像データ単位の描画領域毎に可視光画像データを選択したが、画素単位で可視光画像データを選択しても良い。具体的には、注目画素に対応する対象表面の点と撮像点とを結ぶ線の方向と、視線方向又は視点と注目画素に対応する対象表面の点とを結ぶ線の方向とがなす角度を撮像点毎に導出し、導出した角度が最も小さくなる撮像点に対応する可視光画像データを選択して表示画像データを描画しても良い。

また上記実施例では、人のゴルフスイングを表示対象として説明したが、いうまでもなく表示対象はどのようなシーンのものであっても良く、人以外の生物を表示対象としても、生物以外（例えば住宅等の建設物）を表示対象としてもよい。

また上記実施例では、描画領域毎に１つの可視光画像データに基づいて表示画像データが描画されるため、元になる可視光画像データが異なる隣接領域の境界には、それぞれの可視光画像データが表す色の差異が現れることになるが、そのような隣接領域の境界近傍の画素については、例えば２つの可視光画像データの対応する画素の値の重み付け加算値で表示画像データを描画するなど、複数の可視光画像データを合成して表示画像データを描画しても良い。

１…３次元画像処理装置、２〜５…撮像部、１１…外部インターフェース、１２…内部インターフェース、１３…プロセッサユニット、１４…主記憶部、１５…外部記憶部、１６…表示部、２１…距離画像生成部、３１…距離画像生成部、４１…距離画像生成部、５１…距離画像生成部、２２…可視光画像生成部、３２…可視光画像生成部、４２…可視光画像生成部、５２…可視光画像生成部、１０１〜１０３…スライダー、１３１…取得部、１３２…モデル生成部、１３３…設定部、１３４…描画部、１３５…再生部、Ｅ…視点、ａ，ｂ…撮像方向、ｃ…撮像方向、ｄ…撮像方向、ｅ…視線方向、Ｍ…人、Ｗ…窓

Claims (6)

1. 互いに異なる計測点から見たシーンの奥行きを表す距離画像データを生成する複数の距離画像生成装置のそれぞれから前記距離画像データを取得し、互いに異なる撮像点から見た前記シーンの可視光画像データを生成する１または複数の可視光画像生成装置から複数の前記可視光画像データを取得する取得部と、
   複数の前記距離画像データに基づいて、前記シーンに含まれる対象を表す３次元モデルデータを生成するモデル生成部と、
   前記シーンに対する視点を設定する設定部と、
   前記視点から見た前記シーンを表す表示画像データを、前記３次元モデルデータと前記撮像点が互いに異なる複数の前記可視光画像データとに基づいて描画する描画部と、
   を備え、
   前記描画部は、３次元モデルデータに表される対象表面の領域に対応する前記可視光画像データが複数ある場合、前記視点に応じていずれかの前記可視光画像データを選択し、選択した前記可視光画像データと前記３次元モデルデータに基づいて、前記対象表面に対応する領域を描画する、
   ３次元画像処理装置。
2. 前記描画部は、前記視点と前記撮像点との位置関係に応じて前記可視光画像データのいずれかを選択する、
   請求項１に記載の３次元画像処理装置。
3. 前記描画部は、前記可視光画像生成装置の撮像方向と前記視点の方向とがなす角の大きさに応じて前記可視光画像データのいずれかを選択する、
   請求項２に記載の３次元画像処理装置。
4. 前記モデル生成部は、前記計測点毎に前記３次元モデルデータを生成し、
   前記描画部は、前記視点に応じていずれかの前記３次元モデルデータといずれかの前記可視光画像データとを選択し、選択した前記３次元モデルデータと選択した前記可視光画像データとに基づいて前記表示画像データを描画する、
   請求項１から３のいずれか一項に記載の３次元画像処理装置。
5. 前記描画部は、複数の前記領域同士の境界領域について、当該境界領域に対応する複数の前記可視光画像データを合成して前記表示画像データを描画する、
   請求項１〜４のいずれか一項に記載の３次元画像処理装置。
6. 互いに異なる計測点から見たシーンの奥行きを表す距離画像データを生成する複数の距離画像生成装置と、
   互いに異なる撮像点から見た前記シーンの可視光画像データを生成する可視光画像生成装置と、
   ３次元画像処理装置とを備え、
   前記３次元画像処理装置は、
   前記距離画像生成装置と前記可視光画像生成装置から前記距離画像データと前記可視光画像データとを取得する取得部と、
   複数の前記距離画像データに基づいて、前記シーンに含まれる対象を表す３次元モデルデータを生成するモデル生成部と、
   前記シーンに対する視点を設定する設定部と、
   前記視点から見た前記シーンを表す表示画像データを、前記３次元モデルデータと前記撮像点が互いに異なる複数の可視光画像データとに基づいて描画する描画部と、
   を備え、
   前記描画部は、３次元モデルデータに表される対象表面の領域に対応する前記可視光画像データが複数ある場合、前記視点に応じていずれかの前記可視光画像データを選択し、選択した前記可視光画像データと前記３次元モデルデータに基づいて、前記対象表面に対応する領域を描画する、
   ３次元画像処理システム。

Images