JP2015070619A - カラー画像及び深さ画像を生成する方法及びその装置 - Google Patents

Abstract

【課題】 カラー画像及び深さ画像を生成する方法及びその装置を提供する。
【解決手段】 多重波長帯域の光を通過させる第１フィルタと、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタとを利用して、カラー画像及び深さ画像を生成する方法及びその装置に係り、既存方式に比べ、光通過率及び画像生成速度が向上したカラー画像及び深さ画像を生成する方法及びその装置である。
【選択図】 図１

Description

本発明は、カラー画像及び深さ画像を生成する方法及びその装置に関する。

被写体の深さ画像を取得する方法として、赤外線（ＩＲ）を被写体に照射した後、照射された赤外線が反射されて戻って来る時間を利用する飛行時間（ＴｏＦ）方式がある。ＴｏＦ方式の深さ画像は、被写体に照射された赤外線信号と、照射された赤外線信号が、被写体から反射されて戻って来る反射信号との位相差を利用して、獲得することができる。かような方法を採用したＴｏＦ深さカメラは、被写体の深さ画像を獲得する従来の他のカメラ（例えば、ステレオカメラ、構造を有する光（structured light）カメラ）に比べ、リアルタイムで全ての画素で被写体の深さを取得することができるという長所がある。

一般的に、対象体の三次元（３Ｄ）画像を生成するためには、対象体の深さ画像だけではなく、対象体のカラー画像が必要である。そのために、ＴｏＦ深さカメラの周辺にカラーカメラを装着し、カラー画像及び深さ画像を獲得する。ＴｏＦ深さカメラ及びカラーカメラの２台のカメラを使用することにより、画像生成システムが大きくなり、２台のカメラの視点が異なり、それぞれで生成された２つの画像を別途に整合する過程が要求される。

最近では、１つのセンサを利用して、カラー画像及び深さ画像を生成する方法が研究されている。一般的に、カラー画像を生成するためには、センサ外部に、可視光通過フィルタが必要であり、深さ画像を生成するためには、赤外線通過フィルタが必要である。従って、１つのセンサを利用して、カラー画像及び深さ画像を生成するためには、可視光通過フィルタ及び赤外線通過フィルタをいずれもセンサ外部に備えなければならない。

本発明が解決しようとする課題は、多重波長帯域の光を通過させる第１フィルタと、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタとを利用して、カラー画像及び深さ画像を生成する方法及びその装置を提供することである。しかし、本実施形態がなすべき技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から他の技術的課題が類推されもする。

本発明の一側面による、被写体から反射された光を利用して画像を生成する装置は、前記被写体から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタ、制御信号により、前記多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタ、前記多重波長帯域の光を光電変換した第１画像信号と、前記特定波長帯域の光を光電変換した第２画像信号とを検出する検出部、及び前記第１画像信号から前記第２画像信号を除去した差分画像信号と、前記第２画像信号とを利用して、カラー画像及び深さ画像を生成する画像処理装置と、を含む。

本発明の他の側面による、被写体から反射された光を利用して画像を生成する方法は、前記被写体から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタリングを行う段階、前記多重波長帯域の光を光電変換し、第１画像信号を検出する段階、前記多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタリングを行う段階、前記特定波長帯域の光を光電変換し、第２画像信号を検出する段階、及び前記第１画像信号から前記第２画像信号を除去した差分画像信号と、前記第２画像信号とを利用して、カラー画像及び深さ画像を生成する段階を含む。

本発明のさらに他の側面により、前述の画像生成方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供する。

本発明によれば、多重波長帯域の光を通過させる第１フィルタと、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタとを利用することにより、１つのイメージセンサで、既存方式に比べ、光通過率と画像生成速度とが向上したカラー画像及び深さ画像を生成することができる。

本発明の一実施形態による画像生成装置を図示したブロック図である。 第１フィルタの光通過特性について説明するための図面である。 第２フィルタの光通過特性について説明するための図面である。 第２フィルタの光通過特性について説明するための図面である。 本発明の第１実施形態によって、カラー画像及び深さ画像を生成する過程について説明するための図面である。 本発明の第１実施形態によって、第１画像信号及び第２画像信号を検出した場合、第１画像信号を利用して生成した画像を示した図面である。 本発明の第１実施形態によって、第１画像信号及び第２画像信号を検出した場合、第２画像信号を利用して生成した画像を示した図面である。 本発明の第１実施形態によって、第１画像信号から第２画像信号を除去した差分画像信号を利用して生成することができる画像を示した図面である。 本発明の第１実施形態によって、第２画像信号を利用して生成することができる深さ画像を示した図面である。 本発明の第２実施形態によって、カラー画像及び深さ画像を生成する過程について説明するための図面である。 本発明の第３実施形態によって、カラー画像及び深さ画像を生成する過程について説明するための図面である。 本発明の一実施形態によって、カラー画像及び深さ画像を生成する方法を示したフローチャートである。 差分画像信号及び第２画像信号を利用して、カラー画像及び深さ画像を生成する段階を具体的に示した詳細フローチャートである。 本発明の他の実施形態によって、カラー画像及び深さ画像を生成する方法を示したフローチャートである。 差分画像信号及び第３画像信号を利用して、カラー画像及び深さ画像を生成する段階を具体的に示した詳細フローチャートである。

以下、添付された図面を参照しながら、本発明を限定することなく、ただ例示のための実施形態によって、本発明について詳細に説明する。本発明の下記実施形態は、本発明を具体化するためのものであるのみ、本発明の権利範囲を制限したり限定したりするものではないということは言うまでもない。本発明の詳細な説明及び実施形態から、本発明が属する当業者が容易に類推することができるものは、本発明の権利範囲に属するとに解釈される。

本実施形態は、カラー画像及び深さ画像を生成する方法及びその装置に係わるものであり、以下の実施形態が属する技術分野で当業者に周知されている事項については、詳細な説明を省略する。

図１は、本発明の一実施形態による画像生成装置を図示したブロック図である。図１を参照すれば、画像生成装置１００は、画像撮像装置２００と、画像処理装置３００とを含む。画像撮像装置２００は、制御部２１０、照射部２２０、第１フィルタ２３０、レンズ２４０、第２フィルタ２５０、検出部２６０を含んでもよい。画像処理装置３００は、差分画像信号獲得部３１０、深さ値計算部３２０、カラー画像生成部３３０、深さ画像生成部３４０を含んでもよい。図１に図示された画像生成装置１００、並びに画像撮像装置２００及び画像処理装置３００には、本発明の一実施形態と係わる構成要素だけが図示されている。従って、図１に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいということは、本発明と係わる技術分野で当業者であるならば、理解することができるであろう。以下、図１を参照し、画像生成装置１００、並びに画像撮像装置２００及び画像処理装置３００に含まれた各構成の機能について具体的に説明する。

画像生成装置１００は、被写体４００に係わる画像を撮像する画像撮像装置２００と、撮像された画像信号に対して画像処理を行う画像処理装置３００と、を含んでもよい。画像生成装置１００は、被写体４００から反射された光を受光し、それを利用して、被写体４００に係わるカラー画像または深さ画像を生成することができる。そのとき、被写体４００から反射された光は、太陽光のような自然光が、被写体４００から反射された光でもある。また、被写体４００に、所定の周波数に変調された光、または特定パターンの光を照射し、被写体４００から反射された光でもある。例えば、被写体４００の深さ画像を取得する方法として、赤外線（ＩＲ：infrared ray）光を被写体４００に照射した後、照射された赤外線が反射して戻って来る時間を利用するＴｏＦ（time of flight）方式を利用することができるが、そのとき、被写体４００から反射された赤外線光を利用することができる。

図１に図示されているように、画像撮像装置２００は、照射部２２０、第１フィルタ２３０、レンズ２４０、第２フィルタ２５０、検出部２６０、及びそれらを制御する制御部２１０を含んでもよい。

照射部２２０は、画像生成装置１００が、被写体４００に係わる画像を生成する場合、所定の波長帯域を有する光を被写体４００に向けて照射することができる。具体的には、照射部２２０は、制御部２１０の制御信号に基づいて、所定の周波数に変調された照射光４１０を、被写体４００に向けて照射する。例えば、照射部２２０は、赤外線光を照射光４１０として、被写体４００に向けて照射することができる。照射部２２０は、発光ダイオード（ＬＥＤ）アレイまたはレーザ装置によって構成されもする。

被写体４００と画像撮像装置２００との距離を示す深さ画像は、赤外線光（特に、近赤外線光）を利用して獲得することができる。従って、画像生成装置１００が深さ画像を生成する場合には、照射部２２０は、被写体４００に向けて赤外線光に該当する所定の周波数に変調された照射光４１０を照射することができる。

第１フィルタ２３０は、被写体４００から反射されて画像撮像装置２００に入射された光において、多重波長帯域の光を通過させる。すなわち、第１フィルタ２３０は、被写体４００から反射された光に含まれた多重波長帯域の光を通過させることができる。そのとき、多重波長帯域の光は、照射部２２０から赤外線光を照射し、被写体４００から反射された赤外線光と、被写体４００から反射された可視光とを含んでもよい。

第１フィルタ２３０は、少なくとも２つの波長帯域の光を通過させることができる、多重帯域通過フィルタから構成されもする。第１フィルタ２３０が通過させることができる多重波長帯域の光に含まれた特定波長帯域の光は、可視光または赤外線光にもなる。第１フィルタ２３０は、通過させることができる波長帯域の光があらかじめ決められている固定フィルタである。第１フィルタ２３０は、レンズ２４０と被写体４００との間、またはレンズ２４０と第２フィルタ２５０との間に配置されもし、レンズ２４０にコーティングされた形態でもある。被写体４００から反射された光は、第１フィルタ２３０及び第２フィルタ２５０を順次に通過する。

画像生成装置１００は、可視光を利用してカラー画像を生成し、赤外線光を利用して深さ画像を生成することができる。画像撮像装置２００に入射される光は、被写体４００から反射された多種の光であり、可視光及び赤外線光だけではなく、他の波長帯域の光も含まれている。従って、第１フィルタ２３０は、被写体４００から反射された多種の光のうちから、カラー画像及び深さ画像の生成のために必要な波長帯域である可視光及び赤外線光を通過させる。それ以外の波長帯域の光は遮断する。

図２は、第１フィルタの光通過特性について説明するための図面である。図２を参照すれば、第１フィルタ２３０が通過させることができる波長帯域は、４００ｎｍないし６５０ｎｍの可視光波長帯域、及び８５０ｎｍ近辺の赤外線光波長帯域にもなる。ただし、それに限定されるものではない。第１フィルタ２３０が通過させることができる光の波長帯域は、第１フィルタ２３０が有する自体特性によって差がある。

レンズ２４０は、画像撮像装置２００に入射される光を集光する。具体的には、レンズ２４０は、被写体４００から反射された多種の光を集光する。レンズ２４０は、照射光４１０が被写体４００から反射された反射光４２０と、被写体４００で反射された自然光とを含む光を集光することができる。

第２フィルタ２５０は、制御信号により、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光を通過させることができる。このとき、第２フィルタが通過させる特定波長帯域の光は、第２フィルタの特性によって任意の波長帯域の光が選択されうるので、特定波長帯域の光は、選択された波長帯域のひかりであるといえる。第２フィルタ２５０は、制御信号によって選択的に通過させることができる波長帯域の光が変わる可変フィルタである。例えば、第２フィルタ２５０は、制御信号が、所定閾値以下の電圧であるならば、全波長帯域の光を通過させ、制御信号が、所定閾値を超える電圧であるならば、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光を通過させることができる。すなわち、第２フィルタ２５０の動作により、第１フィルタ２３０を通過した多重波長帯域の光がそのまま通過するか、あるいは第１フィルタ２３０を通過した多重波長帯域の光のうち、特定波長帯域の光だけ通過することもできる。言い換えれば、制御部２１０が第２フィルタ２５０に出力する制御信号により、第１フィルタ２３０及び第２フィルタ２５０を通過する光が決定される。

図３Ａ及び図３Ｂは、第２フィルタの光通過特性について説明するための図面である。具体的には、図３Ａは、第１制御信号によって、第２フィルタ２５０が通過させる波長帯域の光について説明するための図面である。図３Ｂは、第２制御信号によって、第２フィルタ２５０が通過させる波長帯域の光について説明するための図面である。第１制御信号は、第２制御信号より低い値を有する電圧にもなる。

図３Ａ及び図３Ｂを参照すれば、第２フィルタ２５０は、所定の閾値以下の電圧値を有する第１制御信号であるとき、全波長帯域の光を通過させることができ、所定閾値を超える電圧値を有する第２制御信号であるとき、特定波長帯域の光を通過させることができる。従って、本発明の一実施形態による場合、第２フィルタ２５０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光であるので、結果として、第２フィルタ２５０を通過する光は、第１フィルタ２３０を通過した多重波長帯域の光そのままであるか（第１制御信号であるとき）、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光（第２制御信号であるとき）でもある。図３Ｂでは、第２制御信号によって、赤外線光が通過され、可視光は遮断される第２フィルタ２５０を示しているが、図示されたところと異なり、第２フィルタ２５０は、第２制御信号によって、可視光は通過させ、赤外線光が遮断されもする。第２フィルタ２５０がいかなる特定波長帯域の光を通過させるかということは、第２フィルタ２５０自体の特性による。

検出部２６０は、所定の周波数帯域を有する反射光４２０を光電変換し、画像信号を検出する。検出部２６０は、特定周波数帯域を有する単一光、または互いに異なる周波数帯域を有する複数の光を光電変換し、画像信号を検出することができる。検出部２６０は、光電変換によって変換された電荷量に対応する値を画像信号として検出することができる。例えば、光電変換によって変換された電荷量に対応するセンサアレイのカラー値を画像信号として検出することができる。本発明の一実施形態により、第１フィルタ２３０及び第２フィルタ２５０を通過し、検出部２６０に入射される光は、多重波長帯域の光、または多重波長帯域の光に含まれた特定波長帯域の光であるので、それらをそれぞれ光電変換し、第１画像信号及び第２画像信号を検出することができる。すなわち、検出部２６０は、多重波長帯域の光を光電変換した第１画像信号と、特定波長帯域の光を光電変換した第２画像信号とを検出することができる。検出部２６０は、検出した画像信号を画像処理装置３００に伝送することができる。

検出部２６０は、フォトダイオードアレイまたはフォトゲートアレイによって構成されたＣＭＯＳイメージセンサやＣＣＤイメージセンサを含んでもよい。ここで、フォトダイオードは、ピント−フォトダイオードでもあるが、それに限定されるものではない。

検出部２６０は、フォトダイオード回路が、所定の位相差をおいて動作することによって検出された電荷量を、画像処理装置３００に伝送することもできる。そのとき、所定の位相差は、１８０゜を意味することができる。具体的には、検出部２６０は、フォトダイオード回路のうちいずれか一つが動作する周期を基準（０゜）にして、他のフォトダイオード回路を前述の基準から、１８０゜の位相差を有するように動作させることによって、電荷量を検出することができる。そして、検出部２６０は、フォトダイオード回路のうちいずれか一つを、前述の基準から９０゜の位相差を有するように動作させ、他のフォトダイオード回路を、前述の基準から２７０゜の位相差を有するように動作させることによって、電荷量を検出することができる。検出部２６０は、そのように所定の位相差をおいて検出された電荷量に対応する値を、画像処理装置３００に伝送し、深さ画像を生成するための深さ値計算に使用可能とする。

図１に図示された画像処理装置３００は、差分画像信号獲得部３１０、深さ値計算部３２０、カラー画像生成部３３０、深さ画像生成部３４０を含み、一つまたは複数個のプロセッサから構成されもする。プロセッサは、多数の論理ゲートのアレイによっても具現され、汎用的なマイクロプロセッサと、そのマイクロプロセッサで実行されるプログラムが保存されたメモリとの組み合わせによっても具現される。また、他の形態のハードウェアによって具現されるということは、本実施形態が属する技術分野で当業者であるならば、理解することができるであろう。

差分画像信号獲得部３１０は、多重波長帯域の光を光電変換した第１画像信号と、特定波長帯域の光を光電変換した第２画像信号とを利用して、差分画像信号を獲得することができる。すなわち、第１画像信号から第２画像信号を除去することにより、差分画像信号を獲得することができる。例えば、多重波長帯域の光が可視光及び赤外線光を含み、特定波長帯域の光が赤外線光である場合、差分画像信号は、可視光になる。一方、特定波長帯域の光が可視光である場合、差分画像信号は、赤外線光になる。

差分画像信号獲得部３１０は、差分画像信号が可視光である場合、カラー画像生成部３３０に差分画像信号を伝達し、差分画像信号が赤外線光である場合、深さ値計算部３２０に差分画像信号を伝達する。

深さ値計算部３２０は、被写体４００と画像生成装置１００との距離、すなわち、深さ値を獲得することができる。深さ値計算部３２０は、赤外線光を利用して、深さ値を計算することができる。代表的な方法として、ＴｏＦ方式を使用することができる。ＴｏＦ方式は、被写体４００に照射した赤外線光が戻って来る時間を、赤外線光画像から計算することができる。そして、光の速度を乗じ、被写体４００と画像生成装置１００との距離、すなわち、深さ値を獲得することができる。

カラー画像生成部３３０は、可視光に該当する画像信号を利用して、カラー画像を生成することができる。差分画像信号獲得部３１０で獲得した差分画像信号が、可視光に該当する画像信号である場合には、差分画像信号を利用してカラー画像を生成することができる。または、第２画像信号が可視光に該当する画像信号である場合には、第２画像信号を利用してカラー画像を生成することができる。検出部２６０で検出された電荷量に対応するセンサアレイのカラー値に該当する画像信号は、センサアレイの各ピクセル別に、１つの色相成分情報を有しているので、周辺ピクセルの色相成分情報を利用して、各ピクセルの色相情報を決定することができる。かような画像処理方式を、デモザイク処理という。カラー画像生成部３３０は、ＡＷＢ、γ調節を加えることができる。

深さ画像生成部３４０は、深さ値計算部３２０で計算された深さ値を利用して、深さ画像を生成することができる。例えば、距離値と明暗との関係が決められているルックアップテーブルを利用して、各ピクセルごとに明暗を確認させ、それにより、深さ画像を生成することができる。

一方、１つのセンサを利用して、カラー画像及び深さ画像を生成するためには、可視光通過フィルタ及び赤外線通過フィルタをいずれもセンサ外部に備えなければならない。そのために、フィルタによってフィルタリングされる光の波長を調節するために、機械フィルタ装置を利用する方法と、電気的にフィルタの特性を変化させ、特定波長台の光を透過させる方法とが利用されもする。しかし、機械フィルタ装置を利用する方法は、フィルタ駆動のための別途の時間が必要であるために、カラー画像及び深さ画像の生成速度が遅くなる。電気的にフィルタ特性を変化させ、特定波長台の光を透過させる方法は、いくつかの可変フィルタを重ねて使用するために、光通過率が低下して画像画質が低下する。

しかし、本発明の一実施形態によるカラー画像及び深さ画像を生成する画像生成装置１００は、固定フィルタである第１フィルタ２３０と、可変フィルタである第２フィルタ２５０とを利用することにより、カラー画像及び深さ画像の生成速度と光通過率とが向上した。

図４は、本発明の第１実施形態によって、カラー画像及び深さ画像を生成する過程について説明するための図面である。図４を参照すれば、照射部２２０は、所定の周波数に変調された赤外線光を被写体４００に照射し、画像生成装置１００は、被写体４００から反射された光を、第１フィルタ２３０及び第２フィルタ２５０を利用して、２回の画像信号検出過程を遂行するということが分かる。

まず、最初の画像信号を検出するために、画像生成装置１００の照射部２２０は、被写体４００に向けて、所定の周波数に変調された赤外線光を照射する。被写体４００は、照射部２２０で照射した赤外線光を反射させるだけでなく、太陽光のような自然光も共に反射させる。従って、画像生成装置１００に入射される光は、被写体４００から反射された多種の光であり、可視光及び赤外線光だけではなく、他の波長帯域の光も含まれている。

第１フィルタ２３０は、画像生成装置１００に入射される光において、カラー画像及び深さ画像を生成するために必要な可視光及び赤外線光を含む多重波長帯域の光を通過させる。それは、図２で説明した通りである。第２フィルタ２５０は、制御信号によって、全波長帯域の光を通過させる。それは、図３Ａで説明した通りである。

第２フィルタ２５０において、全波長帯域の光を通過させるので、検出部２６０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光と同じである。検出部２６０は、多重波長帯域の光を光電変換した第１画像信号を検出する。そのとき、多重波長帯域の光は、赤外線光を照射し、被写体４００から反射された赤外線光と、被写体４００から反射された可視光とを含む。

次に、２番目の画像信号を検出するために、画像生成装置１００の照射部２２０は、被写体４００に向けて、所定の周波数に変調された赤外線光を照射する。最初の画像信号を検出するときと同様に、画像生成装置１００に入射される光は、被写体４００から反射された多種の光であり、可視光及び赤外線光だけではなく、他の波長帯域の光も含まれている。

第１フィルタ２３０は、画像生成装置１００に入射される光において、カラー画像及び深さ画像を生成するために必要な可視光及び赤外線光に該当する多重波長帯域の光を通過させる。第２フィルタ２５０は、制御信号によって、多重波長帯域の光に含まれた特定波長帯域の光を通過させる。それは、図３Ｂで説明した通りである。

第２フィルタ２５０において、特定波長帯域の光を通過させるので、検出部２６０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光である。検出部２６０は、多重波長帯域の光に含まれた特定波長帯域の光を光電変換した第２画像信号を検出する。本発明の第１実施形態により、第１フィルタ２３０及び第２フィルタ２５０を通過する多重波長帯域の光に含まれた特定波長帯域の光は、赤外線光を照射し、被写体４００から反射された赤外線光になる。

画像処理装置３００は、検出部２６０で検出した第１画像信号及び第２画像信号を伝達され、第１画像信号から第２画像信号を除去した差分画像信号及び第２画像信号を利用して、カラー画像及び深さ画像を生成することができる。具体的には、本発明の第１実施形態による差分画像信号は、可視光に該当するので、そこからカラー画像を生成し、第２画像信号は、赤外線光に該当するので、そこから深さ画像を生成することができる。

図５Ａ及び図５Ｂは、本発明の第１実施形態によって、第１画像信号及び第２画像信号を検出した場合、第１画像信号を利用して生成した画像と、第２画像信号を利用して生成した画像とを示した図面である。具体的には、図５Ａは、可視光及び赤外線光が含まれた多重波長帯域の光を光電変換して検出した第１画像信号を利用して生成した画像であり、図５Ｂは、多重波長帯域の光に含まれた特定波長帯域の光を光電変換して検出した第２画像信号を利用して生成した画像である。

図５Ａを参照すれば、カラー画像を生成するために必要な可視光だけではなく、赤外線光が含まれており、画像自体が全般的に明るく示される。一方、図５Ｂを参照すれば、赤外線光だけ含まれており、画像が全般的に暗く示される。

図６は、本発明の第１実施形態によって、第１画像信号から第２画像信号を除去した差分画像信号を利用して生成することができる画像を示した図面である。

第１画像信号は、可視光及び赤外線光を含む多重波長帯域の光を光電変換したものであり、第２画像信号は、赤外線光を含む特定波長帯域の光を光電変換したものである。従って、第１画像信号から第２画像信号を除去した差分画像信号は、可視光に該当する特定波長帯域の光を光電変換した結果のようであると見られる。図５Ａの画像と比較するとき、図６の画像は、画質が改善されているということが分かる。

図７は、本発明の第１実施形態によって、第２画像信号を利用して生成することができる深さ画像を示した図面である。図７を参照すれば、被写体４００の遠近により、深さ画像において、被写体４００の明暗が互いに異なるように示されるということを確認することができる。具体的には、画像生成装置１００と近いほど、被写体４００は、深さ画像において、相対的に明るく示され、画像生成装置１００から遠いほど、被写体４００は、深さ画像において、相対的に暗く示される。

図８は、本発明の第２実施形態によって、カラー画像及び深さ画像を生成する過程について説明するための図面である。図８を参照すれば、照射部２２０は、所定の周波数に変調された赤外線光を被写体４００に照射し、画像生成装置１００は、被写体４００から反射された光を、第１フィルタ２３０及び第２フィルタ２５０を利用して、２回の画像信号検出過程を遂行するということが分かる。

まず、最初の画像信号を検出するために、画像生成装置１００の照射部２２０は、被写体４００に向けて、所定の周波数に変調された赤外線光を照射する。被写体４００は、照射部２２０で照射した赤外線光を反射させるだけでなく、太陽光のような自然光も共に反射させる。従って、画像生成装置１００に入射される光は、被写体４００から反射された多種の光であり、可視光及び赤外線光だけではなく、他の波長帯域の光も含まれている。

第１フィルタ２３０は、画像生成装置１００に入射される光において、カラー画像及び深さ画像を生成するために必要な可視光及び赤外線光を含む多重波長帯域の光を通過させる。第２フィルタ２５０は、制御信号によって、全波長帯域の光を通過させる。

第２フィルタ２５０において、全波長帯域の光を通過させるので、検出部２６０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光と同じである。検出部２６０は、多重波長帯域の光を光電変換した第１画像信号を検出する。そのとき、多重波長帯域の光は、赤外線光を照射し、被写体４００から反射された赤外線光と、被写体４００から反射された可視光とを含む。

次に、２番目の画像信号を検出するために、画像生成装置１００の照射部２２０は、被写体４００に向けて、所定の周波数に変調された赤外線光を照射する。最初の画像信号を検出するときと同様に、画像生成装置１００に入射される光は、被写体４００から反射された多種の光であり、可視光及び赤外線光だけではなく、他の波長帯域の光も含まれている。

第１フィルタ２３０は、画像生成装置１００に入射される光において、カラー画像及び深さ画像を生成するために必要な可視光及び赤外線光に該当する多重波長帯域の光を通過させる。第２フィルタ２５０は、制御信号によって、多重波長帯域の光に含まれた特定波長帯域の光を通過させる。図４で説明した第１実施形態と異なる点は、第２フィルタ２５０の特性である。第２実施形態に利用される第２フィルタ２５０は、制御信号によって、全波長帯域の光を通過させたり、あるいは可視光を通過させたりすることができる。一方、第１実施形態に利用される第２フィルタ２５０は、制御信号によって、全波長帯域の光を通過させたり、あるいは赤外線光を通過させたりすることができる。

第２フィルタ２５０において、特定波長帯域の光を通過させるので、検出部２６０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光であり、検出部２６０は、多重波長帯域の光に含まれた特定波長帯域の光を光電変換した第２画像信号を検出する。本発明の第２実施形態によって、第１フィルタ２３０及び第２フィルタ２５０を通過する多重波長帯域の光に含まれた特定波長帯域の光は、可視光になる。

画像処理装置３００は、検出部２６０で検出した第１画像信号及び第２画像信号を伝達され、第１画像信号から第２画像信号を除去した差分画像信号及び第２画像信号を利用して、カラー画像及び深さ画像を生成することができる。具体的には、本発明の第２実施形態において、差分画像信号は、赤外線光に該当するので、そこから深さ画像を生成し、第２画像信号は、可視光に該当するので、そこからカラー画像を生成することができる。

図９は、本発明の第３実施形態によって、カラー画像及び深さ画像を生成する過程について説明するための図面である。図９を参照すれば、画像生成装置１００は、被写体４００から反射された光を、第１フィルタ２３０及び第２フィルタ２５０を利用して、３回の画像信号検出過程を遂行するということが分かる。照射部２２０は、所定の周波数に変調された赤外線光を被写体４００に照射したり照射しなかったりする。最初の画像信号及び２番目の画像信号を検出する過程において、照射部２２０は、光を照射せず、３番目の画像信号を検出する過程でのみ、照射部２２０が被写体４００に向けて、所定の周波数に変調された赤外線光を照射するということが分かる。

まず、最初の画像信号検出は、被写体４００から反射された自然光を利用する。すなわち、画像生成装置１００に入射される光は、被写体４００から反射された太陽光のような自然光であり、自然光に存在する可視光及び赤外線光、その他波長帯域の光も含まれている。

第１フィルタ２３０は、画像生成装置１００に入射される光において、自然光に存在する可視光及び赤外線光を含む多重波長帯域の光を通過させる。第２フィルタ２５０は、制御信号によって、全波長帯域の光を通過させる。

第２フィルタ２５０において、全波長帯域の光を通過させるので、検出部２６０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光と同じである。検出部２６０は、多重波長帯域の光を光電変換した第１画像信号を検出する。そのとき、多重波長帯域の光は、被写体４００から反射された自然光に存在する可視光及び赤外線光を含む。

次に、２番目の画像信号検出過程について説明する。最初の画像信号検出のときと同様に、２番目の画像信号検出にも、被写体４００から反射された自然光を利用する。すなわち、画像生成装置１００に入射される光は、被写体４００から反射された太陽光のような自然光であり、自然光に存在する可視光及び赤外線光、その他波長帯域の光も含まれている。

第１フィルタ２３０は、画像生成装置１００に入射される光において、自然光に存在する可視光及び赤外線光を含む多重波長帯域の光を通過させる。第２フィルタ２５０は、制御信号によって、多重波長帯域の光に含まれた特定波長帯域の光を通過させる。

第２フィルタ２５０において、特定波長帯域の光を通過させるので、検出部２６０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光である。検出部２６０は、多重波長帯域の光に含まれた特定波長帯域の光を光電変換した第２画像信号を検出する。本発明の第３実施形態によって、２番目の画像信号検出に利用される、第１フィルタ２３０及び第２フィルタ２５０を通過する多重波長帯域の光に含まれた特定波長帯域の光は、自然光に存在する赤外線光になる。

次に、３番目の画像信号検出過程について説明する。３番目の画像信号を検出するために、画像生成装置１００の照射部２２０は、被写体４００に向けて、所定の周波数に変調された赤外線光を照射する。被写体４００は、照射部２２０で照射した赤外線光を反射させるだけでなく、太陽光のような自然光も共に反射させる。従って、画像生成装置１００に入射される光は、被写体４００から反射された多種の光であり、可視光及び赤外線光だけではなく、他の波長帯域の光も含まれている。

第１フィルタ２３０は、画像生成装置１００に入射される光において、可視光及び赤外線光に該当する多重波長帯域の光を通過させる。第２フィルタ２５０は、制御信号によって、多重波長帯域の光に含まれた特定波長帯域の光を通過させる。

第２フィルタ２５０において、特定波長帯域の光を通過させるので、検出部２６０に入射される光は、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光である。検出部２６０は、多重波長帯域の光に含まれた特定波長帯域の光を光電変換した第３画像信号を検出する。本発明の第３実施形態により、３番目の画像信号検出に利用される、第１フィルタ２３０及び第２フィルタ２５０を通過する多重波長帯域の光に含まれた特定波長帯域の光は、赤外線光を照射し、被写体４００から反射された赤外線光になる。

画像処理装置３００は、検出部２６０で検出した第１画像信号、第２画像信号及び第３画像信号を伝達され、第１画像信号から第２画像信号を除去した差分画像信号及び第３画像信号を利用して、カラー画像及び深さ画像を生成することができる。具体的には、本発明の第３実施形態による差分画像信号は、可視光に該当するので、そこからカラー画像を生成し、第３画像信号は、赤外線光に該当するので、そこから深さ画像を生成することができる。

第３実施形態によるカラー画像及び深さ画像を生成する過程は、解像度が互いに異なるカラー画像及び深さ画像を生成するときに適用されもする。すなわち、解像度が互いに異なるカラー画像及び深さ画像を生成するためには、同じ解像度を有する２つの画像信号と、異なる解像度を有する１つの画像信号とが必要である。

一般的に、検出部２６０で検出される赤外線光の感度が弱いために、深さ画像を生成するために、さまざまなピクセルを１つのピクセルとして使用するピクセルビニングビニング技法が利用されもする。かようなビニング技法を適用する場合、ビニング技法を適用しない画像信号と解像度が異なるために、差分画像信号を獲得することができない。従って、図４の第１実施形態及び図８の第２実施形態と異なり、図９の第３実施形態は、３回の画像信号検出過程による第１画像信号、第２画像信号及び第３画像信号を検出する。同じ解像度を有する第１画像信号及び第２画像信号を利用して、差分画像信号を獲得し、そこからカラー画像を生成することができる。そして、ビニング技法適用によって、異なる解像度を有する第３画像信号から、深さ画像を生成することができる。

図１０は、本発明の一実施形態によって、カラー画像及び深さ画像を生成する方法を示したフローチャートである。以下、省略された内容であるとしても、画像生成装置１００について以上で記述された内容は、本発明の一実施形態によるカラー画像及び深さ画像を生成する方法にも適用される。

画像生成装置１００は、被写体４００から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタリングを行う（Ｓ１０１０）。

被写体４００から反射された光は、所定の周波数に変調された赤外線光を被写体４００に照射し、被写体から反射された赤外線光と、被写体４００から反射された自然光とを含んでもよい。第１フィルタリングが行われた多重波長帯域の光は、赤外線光を被写体４００に照射し、被写体４００から反射された赤外線光と、被写体４００から反射された自然光とのうち、可視光を含む。

第１フィルタリングは、被写体４００から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタ２３０と、制御信号により、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタ２５０とを利用して行われる。第２フィルタ２５０は、制御信号によって通過させることができる波長帯域の光が変わる可変フィルタにもなる。例えば、第２フィルタ２５０は、制御信号が所定閾値以下の電圧であるならば、全波長帯域の光を通過させ、制御信号が所定閾値を超える電圧であるならば、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光を通過させることができる。すなわち、第２フィルタ２５０の動作により、第１フィルタ２３０を通過した多重波長帯域の光がそのまま通過するか、あるいは第１フィルタ２３０を通過した多重波長帯域の光のうち、特定波長帯域の光だけ通過することもできる。従って、第１フィルタリングは、第１フィルタ２３０及び第２フィルタ２５０を利用するが、第２フィルタ２５０に対して、所定閾値以下の電圧を制御信号として出力し、第１フィルタ２３０を通過した多重波長帯域の光が、第２フィルタ２５０をそのまま通過するように制御することによって行われる。

画像生成装置１００は、第１フィルタリングが行われた多重波長帯域の光を光電変換し、第１画像信号を検出する（Ｓ１０２０）。画像生成装置１００は、光電変換によって変換された電荷に対応する値を画像信号として検出する。第１フィルタリングが行われた多重波長帯域の光を光電変換した第１画像信号は、画像処理過程に利用される。

画像生成装置１００は、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタリングを行う（Ｓ１０３０）。

第１フィルタリングが行われた多重波長帯域の光は、赤外線光を被写体４００に照射し、被写体４００から反射された赤外線光と、被写体４００から反射された自然光とのうち、可視光を含むが、第２フィルタリングは、そのうち、特定波長帯域の光だけ通過させるのである。すなわち、第２フィルタリングによって、被写体４００から反射された赤外線光だけ通過させるか、一方被写体４００から反射された自然光のうち、可視光だけ通過させることができる。

すなわち、第２フィルタリングは、被写体４００から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタ２３０と、制御信号により、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタ２５０とを利用して行われる。第２フィルタリングは、第１フィルタ２３０及び第２フィルタ２５０を利用するが、第２フィルタ２５０に対して、所定閾値を超える電圧を制御信号として出力し、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光が、第２フィルタ２５０を通過するように制御することによって行われる。第２フィルタ２５０がいかなる特定波長帯域の光を通過させるかということは、第２フィルタ２５０自体の特性による。

画像生成装置１００は、第２フィルタリングが行われた特定波長帯域の光を光電変換し、第２画像信号を検出する（Ｓ１０４０）。第２フィルタリングが行われた特定波長帯域の光を光電変換した第２画像信号は、画像処理過程に利用される。

第１フィルタリングと第２フィルタリングは、手順に係わりがないので、第１フィルタリング後に第２フィルタリングを行ったり、あるいは第２フィルタリング後に第１フィルタリングを行ったりしてもよい。

画像生成装置１００は、第１画像信号から第２画像信号を除去した差分画像信号及び第２画像信号を利用して、カラー画像及び深さ画像を生成する（Ｓ１０５０）。以下、図１１を利用して、詳細に説明する。

図１１は、差分画像信号及び第２画像信号を利用して、カラー画像及び深さ画像を生成する段階を具体的に示した詳細フローチャートである。

画像生成装置１００は、第１画像信号及び第２画像信号を獲得する（Ｓ１１１０）。具体的には、第１フィルタリングが行われた多重波長帯域の光を光電変換し、第１画像信号を検出し、第２フィルタリングが行われた多重波長帯域の光に含まれた特定波長帯域の光を光電変換し、第２画像信号を検出することにより、第１画像信号及び第２画像信号を獲得することができる。

画像生成装置１００は、第１画像信号から第２画像信号を除去した差分画像信号を獲得する（Ｓ１１２０）。第１画像信号は、第１フィルタリングが行われた多重波長帯域の光を光電変換したものであり、第１フィルタリングが行われた多重波長帯域の光は、赤外線光を被写体４００に照射し、被写体４００から反射された赤外線光と、被写体４００から反射された自然光とのうち、可視光を含む。一方、第２フィルタリングが行われた特定波長帯域の光が何であるかということにより、第２画像信号が異なり、差分画像信号の種類も異なる。従って、以下、特定波長帯域の光が赤外線である場合と、可視光である場合とに分け、カラー画像及び深さ画像を生成する過程について説明する。

まず、第２フィルタリングが行われた特定波長帯域の光が赤外線光である場合、画像生成装置１００は、第２画像信号を利用して、深さ画像を生成する（Ｓ１１３０）。第２フィルタリングが行われた赤外線光を光電変換した第２画像信号は、深さ画像の生成に利用される。

画像生成装置１００は、差分画像信号を利用して、カラー画像を生成する（Ｓ１１４０）。第２画像信号が、第２フィルタリングが行われた赤外線光を光電変換したものであるので、第１画像信号から第２画像信号を除去した差分画像信号は、被写体４００から反射された自然光のうち、可視光を光電変換した信号に該当する。従って、可視光を光電変換した差分画像信号は、カラー画像の生成に利用される。

一方、第２フィルタリングが行われた特定波長帯域の光が可視光である場合、画像生成装置１００は、第２画像信号を利用して、カラー画像を生成する（Ｓ１１５０）。第２フィルタリングが行われた可視光を光電変換した第２画像信号は、カラー画像の生成に利用される。

画像生成装置１００は、差分画像信号を利用して、深さ画像を生成する（Ｓ１１６０）。第２画像信号が第２フィルタリングが行われた可視光を光電変換したものであるので、第１画像信号から第２画像信号を除去した差分画像信号は、赤外線光を被写体４００に照射し、被写体４００から反射された赤外線光を光電変換した信号に該当する。従って、赤外線光を光電変換した差分画像信号は、深さ画像の生成に利用される。

図１２は、本発明の他の実施形態によって、カラー画像及び深さ画像を生成する方法を示したフローチャートである。以下、省略された内容であるとしても、画像生成装置１００について、以上で記述された内容は、本発明の一実施形態によるカラー画像及び深さ画像を生成する方法にも適用される。

図１２を参照すれば、画像生成装置１００は、３回の画像信号検出過程を遂行するということが分かる。特に、最初の画像信号及び２番目の画像信号を検出する過程において、照射部２２０は、光を照射せず、３番目の画像信号を検出する過程でのみ照射部２２０が被写体４００に向けて、所定の周波数に変調された赤外線光を照射するということが分かる。以下、第１フィルタリング、第２フィルタリング及び第３フィルタリングによって、それぞれ画像信号を検出する過程と、そこからカラー画像及び深さ画像を生成する過程とについて説明する。

画像生成装置１００は、被写体４００から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタリングを行う（Ｓ１２１０）。

最初の画像信号検出過程では、被写体４００に向けて、所定の周波数に変調された赤外線光を照射しないために、被写体４００から反射された光は、太陽光のような自然光であり、自然光に存在する可視光及び赤外線光、その他波長帯域の光も含まれている。

第１フィルタリングは、被写体４００から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタ２３０と、制御信号により、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタ２５０とを利用して行われる。第２フィルタ２５０は、制御信号によって通過させることができる波長帯域の光が変わる可変フィルタにもなる。第１フィルタリングは、第１フィルタ２３０及び第２フィルタ２５０を利用するが、第２フィルタ２５０に対して、所定閾値以下の電圧を制御信号として出力し、第１フィルタ２３０を通過した多重波長帯域の光が、第２フィルタ２５０をそのまま通過するように制御することによって行われる。

画像生成装置１００は、第１フィルタリングが行われた多重波長帯域の光を光電変換し、第１画像信号を検出する（Ｓ１２２０）。画像生成装置１００は、光電変換によって変換された電荷に対応する値を画像信号として検出する。第１フィルタリングが行われた多重波長帯域の光は、被写体４００から反射された自然光のうち、可視光及び赤外線光であり、それを光電変換した第１画像信号は、画像処理過程に利用される。

画像生成装置１００は、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタリングを行う（Ｓ１２３０）。

２番目の画像信号検出過程でも、被写体４００に向けて、所定の周波数に変調された赤外線光を照射しないために、被写体４００から反射された光は、太陽光のような自然光であり、自然光に存在する可視光及び赤外線光、その他波長帯域の光も含まれている。

第２フィルタリングは、被写体４００から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタ２３０と、制御信号により、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタ２５０とを利用して行われる。第２フィルタリングは、第１フィルタ２３０及び第２フィルタ２５０を利用するが、第２フィルタ２５０に対して、所定閾値を超える電圧を制御信号として出力し、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光が、第２フィルタ２５０を通過するように制御することによって行われる。本発明の実施形態によって、第２フィルタリングが行われた特定波長帯域の光は、被写体４００から反射された自然光のうち、赤外線光である。

画像生成装置１００は、第２フィルタリングが行われた特定波長帯域の光を光電変換し、第２画像信号を検出する（Ｓ１２４０）。第２フィルタリングが行われた特定波長帯域の光は、被写体４００から反射された自然光のうち、赤外線光であり、それを光電変換した第２画像信号は、画像処理過程に利用される。

画像生成装置１００は、所定の周波数に変調された赤外線光を被写体４００に照射する（Ｓ１２５０）。被写体４００は、画像生成装置１００で照射した赤外線光を反射させるだけでなく、太陽光のような自然光も共に反射させる。従って、画像生成装置１００に入射される光は、被写体４００から反射された多種の光であり、可視光及び赤外線光だけではなく、他の波長帯域の光も含まれている。

画像生成装置１００は、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第３フィルタリングを行う（Ｓ１２６０）。

第３フィルタリングは、被写体４００から反射された光に含まれた多重波長帯域の光を通過させる第１フィルタ２３０と、制御信号により、多重波長帯域の光に含まれた特定波長帯域の光を通過させる第２フィルタ２５０とを利用して行われる。第３フィルタリングは、第１フィルタ２３０及び第２フィルタ２５０を利用するが、第２フィルタ２５０に対して、所定閾値を超える電圧を制御信号として出力し、第１フィルタ２３０を通過した多重波長帯域の光に含まれた特定波長帯域の光が、第２フィルタ２５０を通過するように制御することによって行われる。本発明の実施形態によって、第３フィルタリングが行われた特定波長帯域の光は、赤外線光を照射し、被写体４００から反射された赤外線光である。

画像生成装置１００は、第３フィルタリングが行われた特定波長帯域の光を光電変換し、第３画像信号を検出する（Ｓ１２７０）。第３フィルタリングが行われた特定波長帯域の光は、赤外線光を照射し、被写体４００から反射された赤外線光であり、それを光電変換した第３画像信号は、画像処理過程に利用される。

画像生成装置１００は、第１画像信号から第２画像信号を除去した差分画像信号及び第３画像信号を利用して、カラー画像及び深さ画像を生成する（Ｓ１２８０）。以下、図１３を利用して、詳細に説明する。

図１３は、差分画像信号及び第３画像信号を利用して、カラー画像及び深さ画像を生成する段階を具体的に示した詳細フローチャートである。

画像生成装置１００は、第１画像信号、第２画像信号及び第３画像信号を獲得する（Ｓ１３１０）。具体的には、第１フィルタリングが行われた多重波長帯域の光を光電変換し、第１画像信号を検出し、第２フィルタリングが行われた多重波長帯域の光に含まれた特定波長帯域の光を光電変換し、第２画像信号を検出し、第３フィルタリングが行われた多重波長帯域の光に含まれた特定波長帯域の光を光電変換し、第３画像信号を検出することにより、第１画像信号、第２画像信号及び第３画像信号を獲得することができる。第１フィルタリングが行われた多重波長帯域の光は、被写体４００から反射された自然光のうち、可視光及び赤外線光であり、第２フィルタリングが行われた特定波長帯域の光は、被写体４００から反射された自然光のうち、赤外線光であり、第３フィルタリングが行われた特定波長帯域の光は、赤外線光を照射し、被写体４００から反射された赤外線光である。

画像生成装置１００は、第１画像信号から第２画像信号を除去した差分画像信号を獲得する（Ｓ１３２０）。第１画像信号は、第１フィルタリングが行われた多重波長帯域の光を光電変換したものであり、第１フィルタリングが行われた多重波長帯域の光は、被写体４００から反射された自然光のうち、可視光及び赤外線光を含む。第２画像信号は、第２フィルタリングが行われた特定波長帯域の光を光電変換したものであり、第２フィルタリングが行われた特定波長帯域の光は、被写体４００から反射された自然光のうち、赤外線光である。従って、差分画像信号は、被写体から反射された自然光のうち、可視光を光電変換したものに該当する信号になる。

画像生成装置１００は、差分画像信号を利用してカラー画像を生成する（Ｓ１３３０）。可視光を光電変換したものに該当する差分画像信号は、カラー画像の生成に利用される。

画像生成装置１００は、第３画像信号を利用して、深さ画像を生成する（Ｓ１３４０）。第３フィルタリングが行われた、赤外線光を照射し、被写体４００から反射された赤外線光を光電変換した第３画像信号は、深さ画像の生成に利用される。

なお、前述の本発明の実施形態によるカラー画像及び深さ画像を生成する方法は、コンピュータで実行されるプログラムでもって作成可能であり、コンピュータで読取り可能な記録媒体を利用して、かようなプログラムを動作させる汎用デジタルコンピュータで具現される。かようなコンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。また、コンピュータで読取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読取り可能なコードが保存される。

以上、本発明についてその実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態でもって具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。

本発明のカラー画像及び深さ画像を生成する方法及びその装置は、例えば、３Ｄ画像処理関連の技術分野に効果的に適用可能である。

１００ 画像生成装置
２００ 画像撮像装置
２１０ 制御部
２２０ 照射部
２３０ 第１フィルタ
２４０ レンズ
２５０ 第２フィルタ
２６０ 検出部
３００ 画像処理装置
３１０ 差分画像信号獲得部
３２０ 深さ値計算部
３３０ カラー画像生成部
３４０ 深さ画像生成部
４００ 被写体
４１０ 照射光
４２０ 反射光

Claims (33)

1. 被写体から反射された光を利用して画像を生成する装置において、
   前記被写体から反射された光に含まれる多重波長帯域の光を通過させる第１フィルタと、
   制御信号により、前記多重波長帯域の光に含まれる特定波長帯域の光を通過させる第２フィルタと、
   前記多重波長帯域の光を光電変換した第１画像信号と、前記特定波長帯域の光を光電変換した第２画像信号と、を検出する検出部と、
   前記第１画像信号から前記第２画像信号を除去した差分画像信号と、前記第２画像信号とを利用して、カラー画像及び深さ画像を生成する画像処理装置と、を含む画像生成装置。
2. 所定の周波数に変調された赤外線光を、前記被写体に照射する照射部をさらに含み、
   前記多重波長帯域の光は、前記赤外線光を照射し、前記被写体から反射された赤外線光と、前記被写体から反射された可視光と、を含むことを特徴とする請求項１に記載の画像生成装置。
3. 前記画像処理装置は、前記特定波長帯域の光が、前記反射した赤外線光である場合、前記第２画像信号を利用して、前記深さ画像を生成し、前記差分画像信号を利用して、前記カラー画像を生成することを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記画像処理装置は、前記特定波長帯域の光が、前記可視光である場合、前記第２画像信号を利用して、前記カラー画像を生成し、前記差分画像信号を利用して、前記深さ画像を生成することを特徴とする請求項１又は２に記載の画像生成装置。
5. 所定の周波数に変調された赤外線光を、前記被写体に照射する照射部をさらに含み、
   前記検出部は、前記赤外線光の照射なしに、前記第１画像信号及び第２画像信号を検出し、前記赤外線光を照射し、前記被写体から反射された赤外線光を含んだ前記被写体から反射された光を、前記第１フィルタ及び前記第２フィルタを通過させ、光電変換した第３画像信号を検出し、
   前記画像処理装置は、前記第１画像信号から前記第２画像信号を除去した差分画像信号と、前記第３画像信号とを利用して、カラー画像及び深さ画像を生成することを特徴とする請求項１乃至４のうちいずれか一項に記載の画像生成装置。
6. 前記検出部は、前記被写体から反射された自然光を、前記第１フィルタ及び第２フィルタを通過させて光電変換し、前記第１画像信号及び前記第２画像信号を検出することを特徴とする請求項１乃至５のうちいずれか一項に記載の画像生成装置。
7. 前記画像処理装置は、前記差分画像信号を利用して、前記カラー画像を生成し、前記第３画像信号を利用して、前記深さ画像を生成することを特徴とする請求項１又は２に記載の画像生成装置。
8. 前記カラー画像と前記深さ画像は、解像度が異なることを特徴とする請求項１乃至７のうちいずれか一項に記載の画像生成装置。
9. 前記被写体から反射された光は、前記第１フィルタ及び前記第２フィルタを順次に通過することを特徴とする請求項１乃至８のうちいずれか一項に記載の画像生成装置。
10. 前記第２フィルタは、前記制御信号が第１所定の条件を満足するとき、全波長帯域の光を通過させ、前記制御信号が第２の所定の条件を満足するとき、前記特定波長帯域の光を通過させることを特徴とする請求項１乃至９のうちいずれか一項に記載の画像生成装置。
11. 前記第１所定の条件と、前記第２所定の条件とが、共通の臨界値を有するとき、前記第２フィルタは、前記制御信号の電圧が、前記制御信号が、前記特定波長帯域の光を通過させる前記臨界値を満足させるときと異なる条件を満足させるとき、全波長帯域の光を通過させることを特徴とする請求項１０に記載の画像生成装置。
12. 前記第２フィルタを制御し、前記第１フィルタ及び前記第２フィルタを通過する光を決定する制御部をさらに含むことを特徴とする請求項１乃至１１のうちいずれか一項に記載の画像生成装置。
13. 前記第２フィルタは、前記多重波長帯域の光が、前記第２フィルタを通過することを防止することにより、前記特定波長帯域の光を通過させることを特徴とする請求項１乃至１２のうちいずれか一項に記載の画像生成装置。
14. 前記カラー画像は、前記差分画像信号に基づき、前記深さ画像は、前記第２画像信号に基づくことを特徴とする請求項１に記載の画像生成装置。
15. 前記深さ画像は、前記差分画像信号に基づかないことを特徴とする請求項１４に記載の画像生成装置。
16. 前記深さ画像は、前記差分画像信号に基づき、前記カラー画像は、前記第２画像信号に基づくことを特徴とする請求項１に記載の画像生成装置。
17. 前記カラー画像は、前記差分画像信号に基づかないことを特徴とする請求項１６に記載の画像生成装置。
18. 被写体から反射された光を利用して画像を生成する方法において、
    前記被写体から反射された光に含まれる多重波長帯域の光を通過させる第１フィルタリングを行う段階と、
    前記多重波長帯域の光を光電変換し、第１画像信号を検出する段階と、
    前記多重波長帯域の光に含まれる特定波長帯域の光を通過させる第２フィルタリングを行う段階と、
    前記特定波長帯域の光を光電変換し、第２画像信号を検出する段階と、
    前記第１画像信号から前記第２画像信号を除去した差分画像信号と、前記第２画像信号とを利用して、カラー画像及び深さ画像を生成する段階と、を含む画像生成方法。
19. 所定の周波数に変調された赤外線光を、前記被写体に照射する段階をさらに含み、
    前記多重波長帯域の光は、前記赤外線光を照射し、前記被写体から反射された赤外線光と、前記被写体から反射された可視光と、を含むことを特徴とする請求項１８に記載の画像生成方法。
20. 前記カラー画像と前記深さ画像とを生成する段階は、前記特定波長帯域の光が、前記反射した赤外線光である場合、前記第２画像信号を利用して、前記深さ画像を生成し、前記差分画像信号を利用して、前記カラー画像を生成することを特徴とする請求項１８又は１９に記載の画像生成方法。
21. 前記カラー画像と前記深さ画像とを生成する段階は、前記特定波長帯域の光が、前記可視光である場合、前記第２画像信号を利用して、前記カラー画像を生成し、前記差分画像信号を利用して、前記深さ画像を生成することを特徴とする請求項１８又は１９に記載の画像生成方法。
22. 所定の周波数に変調された赤外線光を、前記被写体に照射する段階と、
    前記赤外線光を照射し、前記被写体から反射された赤外線光を含む前記被写体から反射された光に含まれた前記特定波長帯域の光を通過させる第３フィルタリングを行う段階と、
    前記第３フィルタリングが行われた特定波長帯域の光を光電変換し、第３画像信号を検出する段階と、をさらに含み、
    前記カラー画像及び深さ画像を生成する段階は、前記第１画像信号から前記第２画像信号を除去した差分画像信号と、前記第３画像信号とを利用して、カラー画像及び深さ画像を生成することを特徴とする請求項１８乃至２１のうちいずれか一項に記載の画像生成方法。
23. 前記照射されたＩＲ光の所定の周波数は、前記第３フィルタリングによって通過された、前記照射されたＩＲ光の反射された光を含む特定波長帯域以内であることを特徴とする請求項２２に記載の画像生成方法。
24. 前記第１フィルタリングを行う段階は、前記被写体から反射された自然光に含まれた前記多重波長帯域の光を通過させ、
    前記第２フィルタリングを行う段階は、前記被写体から反射された自然光に含まれた前記特定波長帯域の光を通過させることを特徴とする請求項１８乃至２３のうちいずれか一項に記載の画像生成方法。
25. 前記カラー画像及び深さ画像を生成する段階は、前記差分画像信号を利用して、前記カラー画像を生成し、前記第３画像信号を利用して、深さ画像を生成することを特徴とする請求項１８乃至２３のうちいずれか一項に記載の画像生成方法。
26. 前記深さ画像を生成する段階は、前記第１画像信号及び前記第２画像信号に基づかないことを特徴とする請求項２２に記載の画像生成方法。
27. 前記カラー画像と前記深さ画像は、解像度が異なることを特徴とする請求項18乃至23のうちいずれか一項に記載の画像生成方法。
28. 前記第２フィルタリングは、前記多重波長帯域において、前記特定波長帯域と異なる帯域の光が、前記第２フィルタリングを通過することを防止することにより、前記特定波長帯域の光を通過させることを特徴とする請求項１８乃至２７のうちいずれか一項に記載の画像生成方法。
29. 前記カラー画像は、前記差分画像信号に基づき、前記深さ画像は、前記第２画像信号に基づくことを特徴とする請求項１８に記載の画像生成方法。
30. 前記深さ画像は、前記差分画像信号に基づかないことを特徴とする請求項２９に記載の画像生成方法。
31. 前記深さ画像は、前記差分画像信号に基づき、前記カラー画像は、前記第２画像信号に基づくことを特徴とする請求項１８に記載の画像生成方法。
32. 前記カラー画像は、前記差分画像信号に基づかないことを特徴とする請求項３１に記載の画像生成方法。
33. 請求項１８ないし３２のうち、いずれか一項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。