JP4710081B2 - 画像作成システム及び画像作成方法 - Google Patents

Description

本発明は、撮影対象物を撮影した実写画像から撮影対象物の観察に適した仮想カメラ視点における仮想画像を作成する画像作成システム及び画像作成方法に関するものである。

人間は、映像センサにより撮影された映像を一覧するだけで撮影対象空間において行われているイベントを理解及び把握することができる。このため、人間の監視や行動記録を目的とした多くのシステムに映像センサが導入されている。

また、ビデオ機器の軽量化及び小型化に伴い、人間の行動記録を観察の対象とした研究が活発に行われている。例えば、各人物および環境に取り付けられた多数のカメラと赤外線タグ等の他のセンサとから構成される移動体検出装置を用いて各人物の移動位置を検出し、人間の行動及び人間同士のインタラクションを記録及び解析するシステムが開発されている（非特許文献１参照）。

上記のように作業者である人間にカメラを装着して撮影を行う場合、一本の映像により作業者の移動した全ての空間の記録が可能であり、作業者が見たものをそのまま記録することができるとともに、最低限の映像量で作業者の行動範囲をカバーすることができる。また、環境にカメラを取り付けて撮影を行う場合、被写体である作業者を取り囲む環境を含め概観の観測が可能であるため、第三者でも比較的容易に空間で行われたイベントを把握することができる。
角康之他、「複数センサ群による協調的なインタラクションの記録」、インタラクション ２００３、２００３年、ｐ．２５５−ｐ．２６２

しかしながら、作業者にカメラを装着して撮影を行う場合、獲得された映像はあくまでも作業者の主観的な映像であるため、観察者が映像の背景にあるコンテキストを共有しない第三者の場合はその内容を把握することは容易でなく、また、作業者の動き（手ブレ等）に伴い映像のブレが発生して視認が困難となる。また、環境にカメラを取り付けて撮影を行う場合、作業者の見たものをそのまま記録することが困難であり、また、作業者の行動範囲を全てカバーするためには膨大な映像量が必要となる。

本発明の目的は、撮影対象物の動きによる画像ブレがなく且つ第三者による理解が容易な視点から見た画像を少ない映像量で作成することができる画像作成システム及び画像作成方法を提供することである。

本発明に係る画像作成システムは、空間内の所定位置に固定され、撮影対象物を含む画像を撮影する複数の固定撮影手段と、複数の固定撮影手段により撮影された画像から撮影対象物の３次元モデルを作成するモデル作成手段と、モデル作成手段により作成された撮影対象物の３次元モデルを用いて、撮影対象物の観察に適した仮想カメラ視点から撮影対象物を見た仮想画像を作成する画像作成手段とを備え、複数の固定撮影手段は、撮影対象物を含む可視光画像を撮影する複数の可視光撮影手段と、撮影対象物から発せられる赤外線を撮影する複数の赤外線撮影手段とを含み、モデル作成手段は、複数の可視光撮影手段によって撮影された可視光画像より複数の赤外線撮影手段によって撮影された赤外線画像を優先して撮影対象物の３次元モデルを作成し、画像作成手段は、複数の可視光撮影手段によって撮影された可視光画像から撮影対象物のテクスチャを抽出し、抽出したテクスチャを撮影対象物の３次元モデルにレンダリングすることにより、撮影対象物を仮想カメラ視点から見た仮想画像を作成するものである。

本発明に係る画像作成システムにおいて、空間内の所定位置に固定された複数の固定撮影手段により撮影対象物を含む画像が撮影され、撮影された画像から撮影対象物の３次元モデルが作成され、作成された撮影対象物の３次元モデルを用いて撮影対象物の観察に適した仮想カメラ視点から撮影対象物を見た仮想画像が作成されるので、撮影対象物の動きによる画像ブレがなく且つ第三者による理解が容易な視点から見た画像を少ない映像量で作成することができる。
また、可視光画像より赤外線画像を優先して撮影対象物の３次元モデルを作成しているので、可視光画像から撮影対象物の輪郭を安定的に抽出できない場合でも、赤外線画像により撮影対象物の輪郭を安定的に抽出することができ、撮影対象物の３次元モデルを高精度且つ安定的に作成することができる。また、可視光画像から撮影対象物のテクスチャを抽出し、抽出したテクスチャを撮影対象物の３次元モデルにレンダリングしているので、よりリアルな撮影対象物の３次元モデルを作成することができ、リアルな仮想画像を作成することができる。

画像作成手段は、撮影対象物の周りを旋回する仮想カメラ視点から見た仮想画像を作成することが好ましい。この場合、撮影対象物の周りを旋回する仮想カメラ視点から見た仮想画像が作成されるので、撮影対象物の作業内容を第三者が容易に理解することができる。

画像作成手段は、撮影対象物が移動している場合に撮影対象物を追跡する仮想カメラ視点から見た仮想画像を作成し、撮影対象物が停止している場合に撮影対象物の周りを旋回する仮想カメラ視点から見た仮想画像を作成することが好ましい。

この場合、撮影対象物が移動している場合に撮影対象物を追跡する仮想カメラ視点から見た仮想画像が作成され、撮影対象物が停止している場合に撮影対象物の周りを旋回する仮想カメラ視点から見た仮想画像が作成されるので、撮影対象物を取り囲む環境を含め概観の観測が可能となり、空間で行われたイベントを第三者が容易に把握することができるとともに、撮影対象物の作業内容を第三者が容易に理解することができる。

モデル作成手段は、複数の赤外線撮影手段によって撮影された赤外線画像を用いて撮影対象物の３次元基本モデルを作成し、複数の可視光撮影手段によって撮影された可視光画像を用いて３次元基本モデルを修正することにより、撮影対象物の３次元モデルを作成することが好ましい。

この場合、赤外線画像を用いて撮影対象物の３次元基本モデルを作成し、可視光画像を用いて３次元基本モデルを修正しているので、可視光画像を用いて赤外線画像により撮影されにくい部分を補間することができ、撮影対象物の３次元モデルをより高精度に作成することができる。

本発明に係る画像作成方法は、空間内の所定位置に固定された複数の固定撮影手段により撮影された撮影対象物を含む画像を取得する取得ステップと、複数の固定撮影手段により撮影された画像から撮影対象物の３次元モデルを作成する作成ステップと、作成ステップにおいて作成された撮影対象物の３次元モデルを用いて、撮影対象物の観察に適した仮想カメラ視点から撮影対象物を見た仮想画像を作成する画像作成ステップとを含み、複数の固定撮影手段は、撮影対象物を含む可視光画像を撮影する複数の可視光撮影手段と、撮影対象物から発せられる赤外線を撮影する複数の赤外線撮影手段とを含み、作成ステップは、複数の可視光撮影手段によって撮影された可視光画像より複数の赤外線撮影手段によって撮影された赤外線画像を優先して撮影対象物の３次元モデルを作成するステップを含み、画像作成ステップは、複数の可視光撮影手段によって撮影された可視光画像から撮影対象物のテクスチャを抽出し、抽出したテクスチャを撮影対象物の３次元モデルにレンダリングすることにより、撮影対象物を仮想カメラ視点から見た仮想画像を作成するステップを含むものである。

本発明によれば、空間内の所定位置に固定された複数の固定撮影手段により撮影対象物を含む画像が撮影され、撮影された画像から撮影対象物の３次元モデルが作成され、作成された撮影対象物の３次元モデルを用いて撮影対象物の観察に適した仮想カメラ視点から撮影対象物を見た仮想画像が作成されるので、撮影対象物の動きによる画像ブレがなく且つ第三者による理解が容易な視点から見た画像を少ない映像量で作成することができる。

以下、本発明の一実施の形態による画像作成システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による画像作成システムの構成を示すブロック図である。

図１に示す画像作成システムは、３台の赤外線カメラ１１〜１３、３台の赤外線用処理部２１〜２３、３台の可視光カメラ３１〜３３、３台の可視光用処理部４１〜４３、３次元モデル作成部５１、仮想画像作成部５２及び表示部５３を備える。なお、赤外線カメラ、赤外線用処理部、可視光カメラ及び可視光用処理部の台数は、上記の例に特に限定されず、４台以上のカメラ及び処理部を用いてもよい。

赤外線カメラ１１〜１３は、赤外線、特に遠赤外線に対して感度を有するサーマルカメラ（例えば、日本アビオニクス株式会社製ＩＲ−３０）等から構成され、空間内の所定位置、例えば、部屋の天井の四隅のうち所定の三箇所に固定される。赤外線カメラ１１〜１３の各々は、撮影対象物である人物から発せられる遠赤外線を撮影して遠赤外線画像を赤外線用処理部２１〜２３へ出力する。

なお、本実施の形態では、遠赤外線を用いて撮影された遠赤外線画像を用いているが、この例に特に限定されず、赤外線を用いて撮影された赤外線画像等の他の波長域の画像を用いてもよい。また、赤外線カメラ１１〜１３の取り付け位置は、上記の例に特に限定されず、種々の変更が可能であり、３台の場合、それぞれの撮影方向が互いに直交する位置に設置されることが好ましい。この点に関して可視光カメラ３１〜３３も同様である。

可視光カメラ３１〜３３は、可視光に対して感度を有する通常のビデオカメラ（例えば、ソニー株式会社製ＥＶ−１００）等から構成され、空間内の所定位置、例えば、部屋の天井の四隅のうち所定の三箇所に固定される。可視光カメラ３１〜３３の各々は、撮影対象物である人間を含む画像を撮影して可視光画像を可視光用処理部４１〜４３及び仮想画像作成部５２へ出力する。

赤外線用処理部２１〜２３、可視光用処理部４１〜４３及び３次元モデル作成部５１はそれぞれ、コンピュータ等から構成され、後述する画像作成プログラムの該当部分を実行することにより、赤外線用処理部、可視光用処理部及び３次元モデル作成部として機能する。赤外線用処理部２１〜２３、可視光用処理部４１〜４３及び３次元モデル作成部５１は、可視光カメラ３１〜３３によって撮影された可視光画像より赤外線カメラ１１〜１３によって撮影された遠赤外線画像を優先して人間の３次元モデルデータを作成し、３次元モデルデータを仮想画像作成部５２へ出力する。

具体的には、赤外線用処理部２１〜２３は、赤外線カメラ１１〜１３によって撮影された遠赤外線画像を背景領域と前景領域（人物領域）とに分離し、人物領域を特定する遠赤外線画像領域分割結果データを３次元モデル作成部５１へ出力する。赤外線カメラ１１〜１３は、照明の変化に影響されないという特性を有し、撮影対象物である人間は、一般的に背景領域に比べて温度が高く、その温度が一定に保たれるという特性を有しているため、背景領域と人物領域とを容易且つ高精度に分離することができる。

可視光用処理部４１〜４３は、赤外線カメラ１１〜１３の遠赤外線画像による領域分割結果の補助及び補間を目的として、可視光カメラ３１〜３３によって撮影された可視光画像に対して背景差分及びフレーム間差分を用いた領域分割処理を実行して背景領域と前景領域（人物領域）に分離し、人物領域を特定する可視光画像領域分割結果データを３次元モデル作成部５１へ出力する。また、可視光用処理部４１〜４３は、後述する人物の追跡処理のために、人物領域の代表カラー値を算出して３次元モデル作成部５１へ出力する。

このように、赤外線用処理部２１〜２３及び可視光用処理部４１〜４３は、撮影した画像をそのまま送信するのではなく、データ容量の少ない領域分割結果データを送信しているため、伝送容量を抑え、システムの処理速度を向上することができる。

３次元モデル作成部５１は、遠赤外線画像領域分割結果データを用いて人物の３次元基本モデルデータを作成し、さらに、可視光画像領域分割結果データを用いて３次元基本モデルデータを修正することにより、人物の３次元モデルデータを作成して仮想画像作成部５２へ出力する。また、３次元モデル作成部５１は、作成した３次元モデルを含む３次元空間を人物が存在する高さの平面でスライスすることにより人物の位置を検出して位置データを仮想画像作成部５２へ出力する。

仮想画像作成部５２は、コンピュータ等から構成され、後述する画像作成プログラムの該当部分を実行することにより、仮想画像作成部として機能する。仮想画像作成部５２は、可視光カメラ３１〜３３により撮影された可視光画像から人物のテクスチャ情報を抽出して人物の３次元モデルにレンダリングする。また、仮想画像作成部５２は、人物の位置データを基に人物が移動しているか否かを判断し、レンダリングされた人物画像を予め記憶している背景画像に合成することにより、人物が移動している場合に人物を追跡する仮想カメラ視点から見た仮想画像を作成し、人物が停止している場合に人物の周りを旋回する仮想カメラ視点から見た仮想画像を作成する。

表示部５３は、液晶表示装置等から構成され、仮想画像作成部５２により作成された仮想画像を表示する。なお、表示部５３に代えて又は付加して画像記憶装置を設け、作成した仮想画像を記憶するようにしてもよい。この場合、後述する追跡モード又は旋回モード等により作成された仮想画像が順次連続的に記憶される。例えば、旋回モード、追跡モード、旋回モードへの遷移に応じて仮想画像が記憶される。

なお、本実施の形態では、赤外線用処理部２１〜２３、可視光用処理部４１〜４３、３次元モデル作成部５１及び仮想画像作成部５２を個別のコンピュータから構成する例を説明したが、この例に特に限定されず、これらの各処置を１台又は他の台数のコンピュータで実行したり、複数台のコンピュータで並列的に処理する等の種々の変更が可能である。また、各部を専用のハードウエアにより構成することも可能である。

上記の構成により、本実施の形態では、人物（作業者）を追跡しながら、その周囲を衛星のように飛び回る鳥瞰視点から撮影し、常に作業者に付き添いながら撮影を行ったような仮想画像を作成できるので、あらゆる場所における作業内容を一本の連続した映像で記録することができるとともに、第三者による観察を容易にすることができる。また、赤外線カメラ１１〜１３及び可視光カメラ３１〜３３は、作業者の体に取り付けられていないため、作成された仮想画像がぶれることもない。

本実施の形態では、赤外線カメラ１１〜１３及び可視光カメラ３１〜３３が固定撮影手段の一例に相当し、赤外線用処理部２１〜２３、可視光用処理部４１〜４３及び３次元モデル作成部５１がモデル作成手段の一例に相当し、仮想画像作成部５２が画像作成手段の一例に相当する。また、可視光カメラ３１〜３３が可視光撮影手段の一例に相当し、赤外線カメラ１１〜１３が赤外線撮影手段の一例に相当する。

次に、上記のように構成された画像作成システムによる画像作成処理について説明する。図２は、図１に示す画像作成システムによる画像作成処理を説明するためのフローチャートである。なお、図１に示す画像作成システムによる画像作成処理は、実際には、各コンピュータにおいて画像作成プログラムの該当部分を並列的に実行することにより実現されているが、説明を容易にするために、各処理がシーケンス的に実行されているものとして以下に説明する。

まず、ステップＳ１において、赤外線用処理部２１〜２３は、赤外線カメラ１１〜１３により撮影された遠赤外線画像を多視点映像として取得し、可視光用処理部４１〜４３及び仮想画像作成部５２は、可視光カメラ３１〜３３により撮影された可視光画像を多視点映像として取得する。

次に、ステップＳ２において、赤外線用処理部２１〜２３は、赤外線カメラ１１〜１３によって撮影された遠赤外線画像を背景領域と人物領域とに分離し、人物領域を表す遠赤外線画像領域分割結果データを３次元モデル作成部５１へ出力し、可視光用処理部４１〜４３は、可視光カメラ３１〜３３によって撮影された可視光画像を背景領域と人物領域とに分離し、人物領域を特定する可視光画像領域分割結果データを３次元モデル作成部５１へ出力する。また、可視光用処理部４１〜４３は、人物領域の代表カラー値を算出して３次元モデル作成部５１へ出力する。

次に、ステップＳ３において、３次元モデル作成部５１は、３次元データの表現方式として３次元空間を分割格子で表すボクセルデータ形式を用い、Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法により多視点映像（赤外線画像）の輪郭情報（遠赤外線画像領域分割結果データ）を融合して人物の３次元基本モデルデータを作成する。

図３は、Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法による３次元形状復元処理を説明するための模式図である。図３に示すように、３次元モデル作成部５１は、カメラＣｎの射影変換行列をＰｎとすると、下記の式（１）を用いて３次元空間Ｉ１中の点（Ｘ，Ｙ，Ｚ）を多視点映像Ｉ２上の点（ｕ，ｖ）に射影し、遠赤外線画像領域分割結果データを用いて、その写像が人物領域か背景領域かの判定を行う。
（ｕ，ｖ，１）^Ｔ＝Ｐｎ（Ｘ，Ｙ，Ｚ，１）^Ｔ … （１）

３次元モデル作成部５１は、写像が背景領域に含まれる場合には３次元点（Ｘ，Ｙ，Ｚ）に物体すなわち人物が存在しないと判断し、写像が人物領域に含まれる場合には３次元点（Ｘ，Ｙ，Ｚ）に人物が存在すると判断し、同様の処理を全ての入力視点画像について行って３次元形状を推定する。

また、３次元点（Ｘ，Ｙ，Ｚ）において形状推定処理を行うためには、膨大な計算コスト及びデータ量が必要となるため、３次元モデル作成部５１は、Ｏｃｔｒｅｅ構造を用いて階層的にボクセルサイズを変動させることにより、冗長なボクセルと推定処理とを取り除き、計算速度を向上させている。

図４は、Ｏｃｔｒｅｅデータによる３次元形状の表現方法を説明するための模式図であり、（ａ）はグリッドブロックを示し、（ｂ）はＯｃｔｒｅｅ構造を示している。図４に示すように、階層レベル０のボクセルＡは８つのサブボクセル（その一つがボクセルＢ）に分割され、階層レベル１のボクセルは８つのサブボクセル（その一つがボクセルＣ）に分割され、階層レベル２のボクセルは８つのサブボクセル（その一つがボクセルＤ）に分割され、一つのボクセルは各階層で８つのサブボクセルに順次分割される。

３次元モデル作成部５１は、ボクセルの各コーナー、各辺・各面・ボクセル自体の中点の２７点を用いて各ボクセルが人物領域又は背景領域に位置するかを判定する。すなわち、３次元モデル作成部５１は、全ての判定点が背景領域に含まれた場合はそのボクセルをｅｍｐｔｙボクセルと判定し、全ての判定点が人物領域に含まれた場合はそのボクセルをｆｕｌｌボクセルと判定し、これら以外の場合はそのボクセルを８つのサブボクセルに分割し、同様の判定処理を階層的に繰り返す。

また、上記の判定において、本実施の形態では、撮影された全ての遠赤外線画像について上記の条件を満たす場合（ＡＮＤ条件を満たす場合）にｅｍｐｔｙボクセル又はｆｕｌｌボクセルの判定を行い、一つでも条件を満たさない画像がある場合は、そのボクセルを８つのサブボクセルに分割し、同様の判定処理を階層的に繰り返す。この場合、カメラの数が少ない場合でも、高精度に３次元モデルを作成することができる。なお、カメラの数が多い場合、多数決処理により上記の判定を行うようにしてもよい。

次に、ステップＳ４において、３次元モデル作成部５１は、ステップＳ３においてｅｍｐｔｙボクセルと判定されたボクセルに対して、上記と同様にＳｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法により多視点映像（可視光画像）の輪郭情報（可視光画像領域分割結果データ）を融合することにより、３次元基本モデルデータを修正して３次元モデルデータを作成し、仮想画像作成部５２へ出力する。

次に、ステップＳ５において、３次元モデル作成部５１は、作成した３次元モデルを含む３次元空間を人物が位置する高さの平面でスライスすることにより人物の位置を検出する。図５は、３次元モデル作成部５１による人物の位置検出処理を説明するための模式図である。図５に示すように、３次元モデル作成部５１は、人物１（例えば、身長１７０ｃｍ）がほぼ一定の高さＹ（例えば、１２０ｃｍ）の平面２に存在すると仮定し、作成した３次元モデルを含む３次元空間をその平面３でスライスすることにより、２次元平面モデルを抽出する。次に、３次元モデル作成部５１は、その平面モデル上の領域をラベルリングして成長させ、一連のモデルフレームにおいてラベリングされた領域の中心を追跡することにより、人物の位置を検出して人物の位置データを仮想画像作成部５２へ出力する。この場合、Ｏｃｔｒｅｅ構造の再構築処理が不要となり、人物の位置検出を高速に行うことができる。

上記の処理により、３次元モデル作成部５１は、モデリングパラメータ、人物の３次元位置及びＯｃｔｒｅｅモデルのノード情報を仮想画像作成部５２へ出力する。なお、人物が複数等の場合、すなわち撮影対象物が複数の場合、各撮影対象物を特定するためのＩＤ番号を付与してこのＩＤ番号も併せて仮想画像作成部５２へ出力するようにしてもよい。

次に、ステップＳ６において、仮想画像作成部５２は、Ｐｒｏｊｅｃｔｉｖｅ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ法を用いて、可視光カメラ３１〜３３により撮影された可視光画像から人物のテクスチャ情報を抽出して人物の３次元モデルにレンダリングする。ここで、Ｐｒｏｊｅｃｔｉｖｅ Ｔｅｘｔｕｒｅ Ｍａｐｐｉｎｇ法は、多視点カラーカメラにより撮影された画像を仮想プロジェクタによりコンピュータ・グラフィック空間中に投影して３次元物体にテクスチャ情報を付加する手法であり、シリコングラフィックス社製のＯｐｅｎＧＬの関数として組み込まれている。したがって、３次元形状の解像度に関わらず、撮影した高精細なカラー情報を付加することができるとともに、グラフィックアクセラレータを活用することにより高速処理が可能となる。

次に、ステップＳ７において、仮想画像作成部５２は、ステップＳ５で求めた人物の位置が所定期間内に所定範囲以上動いたか否かを判断し、人物の位置が所定範囲以上動いて人物が移動していると判断した場合はステップＳ８へ処理を移行し、人物の位置が所定範囲内にあり人物が停止していると判断した場合はステップＳ９へ処理を移行する。

人物が移動していると判断した場合、ステップＳ８において、仮想画像作成部５２は、仮想カメラが人物を追跡しながら人物の後方上部から撮影する追跡モードによる仮想画像を作成する。一方、人物が停止していると判断した場合、ステップＳ９において、仮想画像作成部５２は、仮想カメラが衛星のように人物の周りを旋回しながら人物を撮影する旋回モードによる仮想画像を作成する。

図６は、追跡モードを説明するための模式図であり、図７は、旋回モードを説明するための模式図である。追跡モードでは、図６に示すように、被写体（人間）ＩＯが時刻ｔから時刻ｔ＋１の間に位置（Ｘ，Ｙ，Ｚ）から位置（Ｘ＋ｓＸ，Ｙ，Ｚ＋ｓＺ）へ移動するとき（高さは一定）、仮想カメラＶＣは、被写体ＩＯから高さｈだけ上空を同じ量（Ｘ方向にｓＸ、Ｚ方向にｓＺ）だけ平行に（位置（Ｘ’，Ｙ＋ｈ，Ｚ’）から位置（Ｘ’＋ｓＸ，Ｙ＋ｈ，Ｚ’＋ｓＺ）へ）移動する。このとき、仮想カメラＶＣは、常に被写体ＩＯの注目点ＡＰを撮影している。一方、旋回モードでは、図７に示すように、時刻ｔから時刻ｔ＋１の間、被写体ＩＯの位置は（Ｘ，Ｙ，Ｚ）に固定されており、仮想カメラＶＣは、被写体ＩＯから高さｈだけ上空を、被写体ＩＯの水平位置（Ｘ，Ｚ）に垂直な線を中心軸として半径ｒで旋回する（時刻ｔの位置（Ｘ＋α，Ｙ＋ｈ，Ｚ＋β）、時刻ｔ＋１の位置（Ｘ＋α，Ｙ＋ｈ，Ｚ＋β）、ここで、α＝ｒ×ｃｏｓθ、β＝ｒ×ｓｉｎθ、θ＝時刻ｔ，ｔ＋１の回転角度）。このとき、仮想カメラＶＣは、常に被写体ＩＯの注目点ＡＰを撮影している。なお、半径ｒ、高さｈ等は、予め実験等で用途に応じて求めたものを用いたり、また、半径ｒ、高さｈ、旋回の形状及び範囲等を変更できるようにしてもよい。

ここで、撮影空間は、本画像作成システム（コンピュータ）内部に仮想化（ＣＧ化）されているので、仮想カメラの位置を指定することにより、その位置から見た仮想画像を作成することができる。すなわち、固定カメラ（赤外線カメラ１１〜１３及び可視光カメラ３１〜３３）の映像から復元された３次元モデルから３次元モデルの位置を求め、予め用意している背景のＣＧモデルから背景の位置を求め、図６及び図７を用いて説明した上記の手法により３次元モデルの位置を基準に仮想カメラの視点位置を算出することにより、３次元空間内での位置（座標）が求められ、それらの位置情報を用いて仮想カメラの視点位置から見た仮想画像を合成することができる。

次に、ステップＳ１０において、表示部５３は、仮想画像作成部５２により作成された画像を表示する。したがって、人物が移動している場合に人物を追跡する仮想カメラ視点から見た仮想画像が表示され、人物が停止した場合に人物の周りを旋回する仮想カメラ視点から見た仮想画像が表示されるので、人物を取り囲む環境を含め概観の観測が可能となり、第三者が空間で行われた人物のイベントを容易に把握することができるとともに、人物の作業内容をも容易に理解することができる。

次に、上記の画像作成装置により作成された３次元モデル及び仮想画像について説明する。図８は、３台の赤外線用処理部２１〜２３による遠赤外線画像の背景領域と人物領域との分離結果の一例を示す図であり、図９は、３台の可視光用処理部４１〜４３による可視光画像の背景領域と人物領域との分離結果の一例を示す図であり、図１０は、図８及び図９に示す分離結果を用いて３次元モデル作成部５１により作成した３次元モデルを示す図である。

図８の（ａ）〜（ｃ）に示すように、遠赤外線画像では、人物領域の大部分（図中の白色部分）を高精度に且つ安定的に分離することができた。一方、図９の（ａ）〜（ｃ）に示すように、可視光画像では、人物領域（図中の白色部分）を安定的に分離することができなかったが、人物の下肢部分等の一部は遠赤外線画像より高精度に分離することができた。この結果、図１０に示すように、人物の３次元モデルを高精度且つ安定的に作成することができた。

図１１は、図１０に示す３次元モデルを用いて仮想画像作成部５２により作成した仮想画像の一例を示す図である。図１１の（ａ）〜（ｄ）に示すように、種々の仮想カメラ視点から見た人物のリアルな仮想画像を約１０フレーム／ｓｅｃで作成することができた。なお、図１１に示す例は、旋回モードにより作成された仮想画像であり、各画像の旋回半径はそれぞれ異なるものである。

上記のように、本実施の形態では、３台の赤外線カメラ１１〜１３及び３台の可視光カメラ３１〜３３により人物を含む遠赤外線画像及び可視光画像が撮影され、撮影された遠赤外線画像及び可視光画像から赤外線用処理部２１〜２３、可視光用処理部４１〜４３及び３次元モデル作成部５１により人物の３次元モデルが作成され、作成された３次元モデルを用いて人物の観察に適した仮想カメラ視点から人物を見た仮想画像が仮想画像作成部５２により作成されるので、人物の動きによる画像ブレがなく且つ第三者による理解が容易な視点から見た画像を、少ない映像量で且つリアルタイムに作成することができる。

また、可視光画像より遠赤外線画像を優先して３次元モデルを作成しているので、可視光画像から人物領域を安定的に抽出できない場合でも、遠赤外線画像により人物領域を安定的に抽出することができ、３次元モデルを高精度且つ安定的に作成することができる。さらに、可視光画像から人物のテクスチャ情報を抽出し、抽出したテクスチャ情報を３次元モデルにレンダリングしているので、リアルな仮想画像をリアルタイムで作成することができる。

なお、上記の説明では、赤外線カメラ及び可視光カメラを用いたが、この例に特に限定されず、照明等の撮影条件が安定している場合は可視光カメラのみを用いたり、また、赤外線カメラに代えて立体視の撮影が可能なステレオカメラ等を用いてもよい。

また、仮想画像の仮想カメラ視点として、人物を追跡する仮想カメラ視点及び人物の周りを旋回する仮想カメラ視点を用いたが、この例に特に限定されず、例えば、人物が手作業をしている場合に手元をズームする仮想カメラ視点等の人物の観察に適した他の仮想カメラ視点を用いてもよい。

また、本発明は、映像でモニタリングする業務全般に適用することができ、例えば、痴呆者の行動、看護士の行動、銀行のキャッシュコーナーにおける人物の行動等の監視システムに用いることができる。

本発明の一実施の形態による画像作成システムの構成を示すブロック図である。 図１に示す画像作成システムによる画像作成処理を説明するためのフローチャートである。 Ｓｈａｐｅ ｆｒｏｍ Ｓｉｌｈｏｕｅｔｔｅ法による３次元形状復元処理を説明するための模式図である。 Ｏｃｔｒｅｅデータによる３次元形状の表現方法を説明するための模式図である。 図１に示す３次元モデル作成部による人物の位置検出処理を説明するための模式図である。 追跡モードを説明するための模式図である。 旋回モードを説明するための模式図である。 図１に示す３台の赤外線用処理部による遠赤外線画像の背景領域と人物領域との分離結果の一例を示す図である。 図１に示す３台の可視光用処理部による可視光画像の背景領域と人物領域との分離結果の一例を示す図である。 図８及び図９に示す分離結果を用いて３次元モデル作成部により作成した３次元モデルを示す図である。 図１０に示す３次元モデルを用いて仮想画像作成部により作成した仮想画像の一例を示す図である。

符号の説明

１１〜１３ 赤外線カメラ
２１〜２３ 赤外線用処理部
３１〜３３ 可視光カメラ
４１〜４３ 可視光用処理部
５１ ３次元モデル作成部
５２ 仮想画像作成部

Claims (5)

1. 空間内の所定位置に固定され、撮影対象物を含む画像を撮影する複数の固定撮影手段と、
   前記複数の固定撮影手段により撮影された画像から撮影対象物の３次元モデルを作成するモデル作成手段と、
   前記モデル作成手段により作成された撮影対象物の３次元モデルを用いて、撮影対象物の観察に適した仮想カメラ視点から撮影対象物を見た仮想画像を作成する画像作成手段とを備え、
   前記複数の固定撮影手段は、
   撮影対象物を含む可視光画像を撮影する複数の可視光撮影手段と、
   撮影対象物から発せられる赤外線を撮影する複数の赤外線撮影手段とを含み、
   前記モデル作成手段は、前記複数の可視光撮影手段によって撮影された可視光画像より前記複数の赤外線撮影手段によって撮影された赤外線画像を優先して撮影対象物の３次元モデルを作成し、
   前記画像作成手段は、前記複数の可視光撮影手段によって撮影された可視光画像から撮影対象物のテクスチャを抽出し、抽出したテクスチャを撮影対象物の３次元モデルにレンダリングすることにより、撮影対象物を仮想カメラ視点から見た仮想画像を作成することを特徴とする画像作成システム。
2. 前記画像作成手段は、撮影対象物の周りを旋回する仮想カメラ視点から見た仮想画像を作成することを特徴とする請求項１記載の画像作成システム。
3. 前記画像作成手段は、撮影対象物が移動している場合に撮影対象物を追跡する仮想カメラ視点から見た仮想画像を作成し、撮影対象物が停止している場合に撮影対象物の周りを旋回する仮想カメラ視点から見た仮想画像を作成することを特徴とする請求項２記載の画像作成システム。
4. 前記モデル作成手段は、前記複数の赤外線撮影手段によって撮影された赤外線画像を用いて撮影対象物の３次元基本モデルを作成し、前記複数の可視光撮影手段によって撮影された可視光画像を用いて３次元基本モデルを修正することにより、撮影対象物の３次元モデルを作成することを特徴とする請求項１記載の画像作成システム。
5. 空間内の所定位置に固定された複数の固定撮影手段により撮影された撮影対象物を含む画像を取得する取得ステップと、
   前記複数の固定撮影手段により撮影された画像から撮影対象物の３次元モデルを作成する作成ステップと、
   前記作成ステップにおいて作成された撮影対象物の３次元モデルを用いて、撮影対象物の観察に適した仮想カメラ視点から撮影対象物を見た仮想画像を作成する画像作成ステップとを含み、
   前記複数の固定撮影手段は、
   撮影対象物を含む可視光画像を撮影する複数の可視光撮影手段と、
   撮影対象物から発せられる赤外線を撮影する複数の赤外線撮影手段とを含み、
   前記作成ステップは、前記複数の可視光撮影手段によって撮影された可視光画像より前記複数の赤外線撮影手段によって撮影された赤外線画像を優先して撮影対象物の３次元モデルを作成するステップを含み、
   前記画像作成ステップは、前記複数の可視光撮影手段によって撮影された可視光画像から撮影対象物のテクスチャを抽出し、抽出したテクスチャを撮影対象物の３次元モデルにレンダリングすることにより、撮影対象物を仮想カメラ視点から見た仮想画像を作成するステップを含むことを特徴とする画像作成方法。