JP2011160221A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】２次元データの３次元復元を好適に行う画像処理装置、画像処理方法、および、プログラムを提供する。
【解決手段】デジタルカメラ１は、通常の可視光画像を撮影するための可視光カメラ部２１に加え、遠赤外線画像を撮影するための遠赤外線カメラ部２４を備える。可視光画像を小領域に分解し、各領域の特徴量を推定する。また、遠赤外線画像に基づき、人物や動物がいる領域を特定する。これらの情報に基づき、各領域の３次元情報を求め、３次元情報を持つ画像データを生成する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

２台のカメラを用いて、被写体の３次元復元が試みられている。この方法は、それぞれのカメラで撮像された写真の視差を利用するため、被写体までの距離が遠い場合、２台のカメラを離して配置する必要があった。そのため、１台の装置でこのような３次元復元を行うことは難しかった。

また、一枚の写真から、画像を複数の領域（セグメント）に分解し、各セグメントの特徴や位置などから、各セグメントの奥行きや向きを推定し、被写体の３次元復元を行う技術も提案されている（例えば、非特許文献１）。

"Make3D: Learning 3D Scene Structure from a Single Still Image", Ashutosh Saxena, Min Sun and Andrew Y. Ng

非特許文献１の技術では、学習データを用いて推定を行っているため、風景だけの写真などは、学習データを有効に使用できる画像については比較的良好な３次元復元が可能である。しかし、その中に人物など学習データを構築することが難しい対象物が含まれている場合は、良好な３次元復元を行うことは困難である。

本発明は、上記実状に鑑みてなされたものであり、２次元データの３次元復元を好適に行う画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点にかかる画像処理装置は、
被写体の可視光画像を取得する可視光画像取得手段と、
前記被写体の遠赤外線画像を取得する赤外線画像取得手段と、
前記可視光画像を複数の領域に分割する分割手段と、
前記可視光画像からエッジを抽出するエッジ抽出手段と、
前記赤外線画像から得られる温度情報と、前記エッジの情報と、に基づいて、前記各領域間の境界を決定する境界決定手段と、
前記分割された各領域の特徴量を求めて、当該特徴量と前記決定された境界の情報とに基づいて各領域の３次元情報を決定する３次元情報決定手段と、
を備えることを特徴とする。

また、前記境界決定手段は、前記各領域が隣接する他の領域と連続しているか不連続であるかを判別することにより前記境界を決定するようにしてもよい。

また、前記３次元情報決定手段により決定された３次元情報に基づいて、前記３次元情報を持つ前記可視光画像を生成する３次元画像生成手段をさらに備えるようにしてもよい。

本発明の第２の観点にかかる画像処理方法は、
被写体の可視光画像を取得する可視光画像取得ステップと、
前記被写体の遠赤外線画像を取得する赤外線画像取得ステップと、
前記可視光画像を複数の領域に分割する分割ステップと、
前記可視光画像からエッジを抽出するエッジ抽出ステップと、
前記赤外線画像から得られる温度情報と、前記エッジの情報と、に基づいて、前記各領域間の境界を決定する境界決定ステップと、
前記分割された各領域の特徴量を求めて、当該特徴量と前記決定された境界の情報とに基づいて各領域の３次元情報を決定する３次元情報決定ステップと、
を備えることを特徴とする。

本発明の第３の観点にかかるプログラムは、
コンピュータを、
被写体の可視光画像を取得する可視光画像取得手段、
前記被写体の遠赤外線画像を取得する赤外線画像取得手段、
前記可視光画像を複数の領域に分割する分割手段、
前記可視光画像からエッジを抽出するエッジ抽出手段、
前記赤外線画像から得られる温度情報と、前記エッジの情報と、に基づいて、前記各領域間の境界を決定する境界決定手段、
前記分割された各領域の特徴量を求めて、当該特徴量と前記決定された境界の情報とに基づいて各領域の３次元情報を決定する３次元情報決定手段、
として機能させることを特徴とする。

本発明によれば、２次元データの３次元復元を好適に行うことができる。

本発明の実施形態に係るデジタルカメラの外観を示す図である。 デジタルカメラの概略構成を示すブロック図である。 ３次元画像生成処理の動作を示すフローチャートである。 （Ａ）可視光画像の一例を示す図である。（Ｂ）遠赤外線画像の一例を示す図である。 （Ａ）可視光画像をセグメンテーションした画像の一例を示す図である。（Ｂ）可視光画像から抽出したエッジの一例を示す図である。 ３次元画像の利用場面を説明するための図である。

本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、本発明の画像処理装置をデジタルスチルカメラ（以下、デジタルカメラ）によって実現した場合を例示する。本実施形態にかかるデジタルカメラ１は、図１に示すように、通常の可視光画像を撮影するための可視光カメラ部２１に加え、遠赤外線画像を撮影するための遠赤外線カメラ部２４を備えることを特徴とする。そして、撮影された可視光画像と遠赤外線画像とに基づき、画像の３次元情報を推定する。なお、デジタルカメラ１は、一般的なデジタルカメラの機能を有するものとする。以下、本発明の特徴的な部分について説明する。

図２は、デジタルカメラ１の概略構成を示すブロック図である。デジタルカメラ１は、ＣＰＵ（Central Processing Unit）２０と、可視光カメラ部２１と、可視光カメラＩ／Ｆ（インターフェース）２２と、メモリ２３と、遠赤外線カメラ部２４と、遠赤外線カメラＩ／Ｆ２５と、画像処理部２６と、操作部２７と、表示部２８と、外部記憶媒体ＩＯ（入出力）装置２９と、プログラムコード記憶装置３０と、から構成される。

ＣＰＵ２０は、プログラムコード記憶装置３０に記憶されるプログラムに従い、デジタルカメラ１の各部を制御する。

可視光カメラ部２１は、可視光画像を撮影する。可視光カメラ部２１は、レンズ、絞り機構、シャッタ機構などの光学装置やＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）のイメージセンサなどから構成される。可視光カメラ部２１は、撮影した可視光画像データを可視光カメラＩ／Ｆ２２に伝送する。

可視光カメラＩ／Ｆ２２は、伝送された可視光画像データをメモリ２３に書き込む。

メモリ２３は、画像データを一時的に保存する領域であり、例えばＲＡＭ（Random Access Memory）から構成される。

遠赤外線カメラ部２４は、遠赤外線画像を撮影する。遠赤外線カメラ部２４は、遠赤外線カメラ用のレンズ（ゲルマニウムレンズなど）や遠赤外線カメラ用のイメージセンサなどから構成される。遠赤外線カメラ部２４は、撮影した遠赤外線画像データを遠赤外線カメラＩ／Ｆ２５に伝送する。

遠赤外線カメラＩ／Ｆ２５は、伝送された遠赤外線画像データをメモリ２３に書き込む。

画像処理部２６は、ＣＰＵ２０の制御のもと、メモリに保存された画像データに画像処理を施し、２次元画像（通常の可視光画像）または３次元画像（２次元画像に奥行きや向きの３次元情報が付加されたもの）に変換する。例えば、画像処理部２６が、例えば、ＤＳＰ（Digital Signal Processor）などから構成される。なお、画像処理部２６は、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されてもよい。

操作部２７は、ユーザが操作するためのインターフェースであり、被写体を撮影するためのシャッターキーや、各種の操作をするための操作ボタンなどから構成される。操作部２７は、ユーザの操作内容に対応した信号をＣＰＵ２０に伝送する。ユーザは、操作部２７により、２次元画像を撮影する操作や、３次元画像を撮影する操作をすることができる。

表示部２８は、液晶表示装置などから構成され、デジタルカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像などを表示する。

外部記憶媒体ＩＯ装置２９は、メモリカード３１とデータのやりとりをするためのインターフェースである。外部記憶媒体ＩＯ装置２９は、メモリカード３１からデータを読み出し、またメモリカード３１にデータを書き込む。ＣＰＵ２０は、画像処理部２６よって変換された画像データを、外部記憶媒体ＩＯ装置２９を介してメモリカード３１に保存する。なお、この実施の形態では、画像データをメモリカード３１に保存するものとするが、デジタルカメラ１の内蔵メモリに保存するようにしてもよい。

プログラムコード記憶装置３０は、デジタルカメラ１の動作プログラムを格納する。プログラムコード記憶装置３０は、例えばＲＯＭ（Read Only Memory）から構成される。

なお、デジタルカメラ１は、これら以外の任意の構成を含んでいてもよい。

次に、デジタルカメラ１により３次元の画像データを生成する際の動作について説明する。

図３は、デジタルカメラ１のＣＰＵ２０が、撮像された画像データから３次元画像を生成する際の３次元画像生成処理の動作を示すフローチャートである。

３次元画像生成処理は、ユーザが操作部２７により被写体の撮影を行い、その３次元画像を生成するための所定の操作をしたとき（例えば３次元画像を生成する設定をした状態でシャッターキーが押下されたときなど）に実行される。

３次元画像生成処理では、ＣＰＵ２０は、先ず、可視光カメラ部２１により可視光画像を撮影し、それと同時に遠赤外線カメラ部２４により遠赤外線画像を撮影する（ステップＳ１０１）。これにより、例えば、図４（Ａ）に示すような可視光画像、及び、図４（Ｂ）に示すような遠赤外線画像が得られる。ここでは、図４（Ａ）に示すような人物４０、建築物４１、及び、道路４２を含む可視光画像が撮影されたものとする。また、図４（Ｂ）に示すような遠赤外線画像が撮影されたものとする。図４（Ｂ）に示すように、遠赤外線画像は、可視光画像において人物４０が写っている部分が明るい画像となっている。このように、遠赤外線画像では、所定の温度を持つ部分が明るく写る。

なお、遠赤外線カメラ部２４を高性能のものとすれば、より精度の高い、あるは高画質な遠赤外線画像を得られるが、本発明では、人物や動物など所定以上の温度を持つ被写体を検出できる程度の簡易な遠赤外線カメラ部２４であってもよい。

次に、ＣＰＵ２０は、可視光カメラ部２１により撮影した可視光画像を、画像処理部２６により、複数の領域（セグメント）に分解する（ステップＳ１０２）。このように、領域に分解する処理をセグメンテーションという。

セグメンテーションは、平面だと推測される画素の集まりを１つの領域とすることにより行う。例えば、ＣＰＵ２０は、各画素の色やテクスチャー（質感）に基づき、マルコフ確率場モデル（Markov random field model）により構築された学習データを用いて平面である部分を推定する。例えば、色やテクスチャーが同一である画素の集まりや、色やテクスチャーが所定の閾値の範囲内で近似している画素の集まりを１つの領域であると決定する。なお、このセグメンテーションに関する技術は、非特許文献１に記載の技術を流用できる。

ここでは、図５（Ａ）に示すように、セグメンテーションが行われたものとする。

また、ＣＰＵ２０は、可視光カメラ部２１により撮影した可視光画像からエッジを抽出する（ステップＳ１０３）。なお、エッジの抽出は、ケニー法などの既知のエッジ抽出手法を用いて行えばよい。図４（Ａ）に示す可視光画像からは、図５（Ｂ）に示すようなエッジが抽出される。

続いて、ＣＰＵ２０は、遠赤外線画像から、ステップＳ１０２にて分割された各領域の温度情報を求める（ステップＳ１０４）。例えば、各領域と、各領域の平均温度と、を対応付けたデータを生成する。

そして、ステップＳ１０３で抽出したエッジと、ステップＳ１０４で求めた各領域の温度情報と、に基づいて、各領域の境界を決定する（ステップＳ１０５）。ここでは、隣り合う各領域同士が、ステップＳ１０３で抽出したエッジによって分断されているか、隣り合う各領域同士の平均温度が所定の範囲内であるか、によって、隣り合う各領域同士が連続しているか、あるいは不連続であるかを判別する。例えば、可視光画像において人物４０が写っている部分は、図４（Ｂ）に示すように、平均温度が高くなっており、また、図５（Ｂ）に示すようにエッジが抽出されているので、他の部分と不連続であると判別され、人物４０の周囲に境界が決定される。このように、この実施の形態では、温度情報やエッジ情報を用いて、人物や動物などを他の部分（背景など）から切り出すことができる。

次に、ＣＰＵ２０は、各領域の特徴量を求める（ステップＳ１０６）。具体的には、各領域の方向性（光スポットの向き）、輝度などの３次元情報の推定に必要な特徴量を求める。

そして、ＣＰＵ２０は、ステップＳ１０５で推定した境界の情報と、ステップＳ１０６で求めた特徴量と、に基づいて、学習データを用いて各領域の３次元情報（奥行き（デジタルカメラからの距離）や向き（法線ベクトル））を求める（ステップＳ１０７）。例えば、３次元情報は、ステップＳ１０５で決定された境界毎に求める。また、この時隣り合う領域であってテクスチャーが類似している場合は、奥行きや向きが統計的に近い数値になる性質を利用して、マルコフ確率場モデルを用いて推測を行う。他方、温度分布が違っている領域、すなわち人物などが写っている領域は周辺部と完全に領域を切り離して、３次元復元に好適な学習データを構築することが可能な領域の３次元情報を求めることができる。

なお、ステップＳ１０７で使用される学習データは、以下のようにして構築される。先ず、様々な場所にて可視光画像の撮影を行う。そして、実際に撮影した場所の３次元構造をレーザスキャナなどにより計測する。そして、撮影した画像のセグメンテーションを行い、各領域の特徴量と、実際の計測データとの対応関係を求め、その対応関係のデータを蓄積することにより学習データを構築する。このようにして構築された学習データがプログラムコード記憶装置３０に格納される。なお、この技術は、非特許文献１に記載の技術を流用できる。

最後に、ＣＰＵ２０は、ステップＳ１０７で求めた奥行きと向きの情報を持つ３次元画像データを生成する（ステップＳ１０８）。具体的には、図４（Ａ）に示した可視光画像に、各画素及び領域の奥行きと向きの情報が付加されたデータが生成される。

続いて、以上のように生成された３次元画像データの利用場面について説明する。先ず、３次元画像データを閲覧するための画像ビュワーに３次元画像データを読み取らせる。このような画像ビュワーは、デジタルカメラに内蔵されていてもよいし、専用の表示装置であってもよい。また、コンピュータに画像ビュワーのソフトウェアを読み込ませて画像ビュワーとして機能させてもよい。

そして、画像ビュワー上では、図６（Ａ）に示すように、可視光カメラ部２１により撮影された可視光画像に対応する正面から見た画像が表示される。この画像ビュワーでは任意の視点を指定して、その視点から見た画像を閲覧することができるものとする。例えば、図６（Ａ）における矢印４３のような視点がユーザにより指定された場合、各画素及び領域の奥行きと向きの情報に基づき、視点方向からの奥行きと向きが計算され、図６（Ｂ）に示すような画像が生成される。

以上説明したように、上記実施の形態のデジタルカメラは、遠赤外線カメラ部２４を備えることで、可視光画像から所定の温度を持つ被写体（人物や動物など）を切り出すことができる。これにより、３次元復元が困難な部分を切り出して、好適な３次元復元をすることができる。

なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。

例えば、図３に示した３次元画像生成処理のフローチャートは一例であり、遠赤外線カメラ部２４により撮影された遠赤外線画像に基づいて、所定の温度を持つ被写体（人物や動物など）を切り出して、３次元復元を行うようにすれば、処理の手順や方法は任意である。

例えば、先ず可視光画像をセグメンテーションして得られた各領域の特徴量に基づいて、各領域の３次元情報を求め、その後、遠赤外線画像から得られた境界情報を用いて、各領域の３次元情報を再計算するようにしてもよい。

また、上記実施の形態では、境界の決定は、エッジの情報と温度情報とに基づいて行っていたが（ステップＳ１０５）、各領域の特徴量をさらに参照して境界を決定するようにしてもよい。

また、図１で、可視光カメラ部２１と遠赤外線カメラ部２４は、デジタルカメラ１正面の左右に並んで配置されているが、この配置は任意であり、例えば、上下に配置してもよい。また、可視光カメラ部２１と遠赤外線カメラ部２４との視差を考慮して、３次元情報を求めるようにしてもよい。例えば、可視光カメラ部２１により撮影される可視光画像、または、遠赤外線カメラ部２４により撮影される遠赤外線画像を、視差に基づいて補正して、可視光画像と遠赤外線画像の座標を一致させるようにしてもよい。

さらに、遠赤外線カメラ部２４や、３次元情報を求める機能をモジュール化して別パーツとして、通常のデジタルカメラ（３次元画像の生成機能を持たないデジタルカメラ）に装着できるようにしてもよい。そして、上記実施の形態のデジタルカメラ１として機能させるようにしてもよい。

また、デジタルカメラ１のＣＰＵ２０が実行するプログラムはプログラムコード記憶装置３０に予め記憶されているものとして説明したが、外部の記憶媒体から取得したものであってもよいし、ネットワークを介して伝送されたものを記憶するようにしてもよい。

１…デジタルカメラ、２０…ＣＰＵ、２１…可視光カメラ部、２２…可視光カメラＩ／Ｆ、２３…メモリ、２４…遠赤外線カメラ部、２５…遠赤外線カメラＩ／Ｆ、２６…画像処理部、２７…操作部、２８…表示部、２９…外部記憶媒体ＩＯ装置、３０…プログラムコード記憶装置、３１…メモリカード

Claims (5)

1. 被写体の可視光画像を取得する可視光画像取得手段と、
   前記被写体の遠赤外線画像を取得する赤外線画像取得手段と、
   前記可視光画像を複数の領域に分割する分割手段と、
   前記可視光画像からエッジを抽出するエッジ抽出手段と、
   前記赤外線画像から得られる温度情報と、前記エッジの情報と、に基づいて、前記各領域間の境界を決定する境界決定手段と、
   前記分割された各領域の特徴量を求めて、当該特徴量と前記決定された境界の情報とに基づいて各領域の３次元情報を決定する３次元情報決定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記境界決定手段は、前記各領域が隣接する他の領域と連続しているか不連続であるかを判別することにより前記境界を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記３次元情報決定手段により決定された３次元情報に基づいて、前記３次元情報を持つ前記可視光画像を生成する３次元画像生成手段をさらに備える
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 被写体の可視光画像を取得する可視光画像取得ステップと、
   前記被写体の遠赤外線画像を取得する赤外線画像取得ステップと、
   前記可視光画像を複数の領域に分割する分割ステップと、
   前記可視光画像からエッジを抽出するエッジ抽出ステップと、
   前記赤外線画像から得られる温度情報と、前記エッジの情報と、に基づいて、前記各領域間の境界を決定する境界決定ステップと、
   前記分割された各領域の特徴量を求めて、当該特徴量と前記決定された境界の情報とに基づいて各領域の３次元情報を決定する３次元情報決定ステップと、
   を備えることを特徴とする画像処理方法。
5. コンピュータを、
   被写体の可視光画像を取得する可視光画像取得手段、
   前記被写体の遠赤外線画像を取得する赤外線画像取得手段、
   前記可視光画像を複数の領域に分割する分割手段、
   前記可視光画像からエッジを抽出するエッジ抽出手段、
   前記赤外線画像から得られる温度情報と、前記エッジの情報と、に基づいて、前記各領域間の境界を決定する境界決定手段、
   前記分割された各領域の特徴量を求めて、当該特徴量と前記決定された境界の情報とに基づいて各領域の３次元情報を決定する３次元情報決定手段、
   として機能させることを特徴とするプログラム。

Images