JP2020126060A - 深さ情報抽出装置および方法 - Google Patents

Abstract

【課題】ＴＯＦ方式を利用して深さ情報を抽出する際に、光効率の低下と演算量の増加を解決する。【解決手段】本発明の一実施例に係る深さ情報抽出装置１００は、ＩＲ（ＩｎｆｒａＲｅｄ）光を出力する光出力部１１０、前記光出力部から出力された後、物体から反射した光が入力される光入力部１３０、前記物体を含む第１領域に光が照射されるように光の角度を調節した後、第２領域に光が照射されるように光の角度を調節する光調節部１２０、そして前記第１領域に対して入力される光および前記第２領域に対して入力される光の中の少なくとも一つを利用して前記物体の動きを推定する制御部１４０を含む。【選択図】図１

Description

本発明は深さ情報抽出に関するもので、より詳細にはＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を利用して深さ情報を抽出する装置および方法に関するものである。

撮影装置を利用して３次元映像を獲得する技術が発展している。３次元映像を獲得するためには深さ情報（Ｄｅｐｔｈ Ｍａｐ）が必要である。深さ情報は空間上の距離を表す情報であり、２次元映像の一地点に対して他の地点の遠近情報を表す。

深さ情報を獲得する方法中の一つは、ＩＲ（Ｉｎｆｒａｒｅｄ）構造光を客体に投射して、客体から反射した光を解釈して深さ情報を抽出する方式である。ＩＲ構造光方式によれば、動く客体に対して所望の水準の深さ分解能（Ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ）を得ることが難しい問題がある。

ＩＲ構造光方式を代替する技術としてＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式が注目を集めている。ＴＯＦ方式によれば、飛行時間、すなわち光を照射して反射してくる時間を測定することによって物体との距離を計算する。

一般的に、ＴＯＦ方式によるカメラは光の角度を調節して物体の前面に光を照射する。このようなＴＯＦカメラは光効率が低いため、演算量が多い問題がある。

本発明が達成しようとする技術的課題は、ＴＯＦ方式を利用して深さ情報を抽出する深さ情報抽出装置および方法を提供するところにある。

本発明の一実施例に係る深さ情報抽出装置はＩＲ（ＩｎｆｒａＲｅｄ）光を出力する光出力部、前記光出力部から出力された後、物体から反射した光が入力される光入力部、前記物体を含む第１領域に光が照射されるように光の角度を調節した後、前記第１領域の一部である第２領域に光が照射されるように光の角度を調節する光調節部、そして前記第２領域に対して時間に沿って順次入力される光を利用して前記第２領域内の動きを推定する制御部を含む。

前記第１領域は前記物体を含む全体領域であり、前記第２領域は前記第１領域から抽出され、前記物体内の所定領域を含む部分領域であり得る。

前記制御部は前記光出力部から出力された光が前記第２領域に照射された後、反射して前記光入力部に入力されるまでかかる飛行時間を計算することができる。

前記制御部は第１時間で入力される光を利用して計算された第１飛行時間、前記第１時間以前に入力される光を利用して計算された第２飛行時間および前記第２時間以後に入力される光を利用して計算された第３飛行時間を利用して前記第２領域内の動きを推定することができる。

前記制御部は前記第１飛行時間、前記第２飛行時間および前記第３飛行時間間の相対的な差を利用して前記第２領域内の動きを推定した後、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）技法を利用して補正することができる。

前記光入力部はそれぞれが第１受信ユニットおよび第２受信ユニットを含む複数のピクセルを含み、前記制御部は前記第１受信ユニットおよび前記第２受信ユニットに入力される光量の差を利用して前記飛行時間を計算することができる。

前記光調節部はＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）およびＭＥＭＳ制御ユニットを含むことができる。

前記制御部は、前記光出力部、前記光調節部および前記光入力部の時間を制御するタイミング制御ユニット、前記光入力部を通じて入力された電気信号をデジタル信号に変換する変換ユニット、そして前記第２領域に対して時間に沿って順次入力される光の飛行時間を計算し、動きを推定し、深さ情報を抽出する信号処理ユニットを含むことができる。

本発明の一実施例に係る深さ情報抽出方法は、物体を含む第１領域にＩＲ（ＩｎｆｒａＲｅｄ）光を照射する段階、前記第１領域の一部である第２領域にＩＲ光を照射する段階、そして前記第２領域に対して時間に沿って順次入力される光を利用して前記第２領域内の動きを推定する。

前記推定する段階は、第１時間で入力される光に対する第１飛行時間、前記第１時間以前に入力される光に対する第２飛行時間および前記第２時間以後に入力される光に対する第３飛行時間を計算する段階、そして前記第１飛行時間、前記第２飛行時間および前記第３飛行時間間の相対的な差を利用して前記第２領域内の動きを推定する段階を含むことができる。

本発明の他の実施例に係る深さ情報抽出装置は、物体に光を照射する光源、前記光源と前記物体の間に配置され、前記光源の照射領域を調節するホログラフィック素子、第１および第２フレーム周期での前記照射領域が互いに異なるように、前記ホログラフィック素子を駆動するアクチュエーター、前記物体によって反射する反射光を受光する受光レンズ、前記受光レンズを通じて前記反射光を受光し、前記第１および第２フレーム周期のそれぞれに同期化して第１および第２映像信号を出力するセンサ部、前記第１および第２映像信号を信号処理して第１および第２フレームを生成する信号処理部、そして前記第１および第２フレームを結合して深さ映像を生成するデインターレーサー（Ｄｅ−ｉｎｔｅｒｌａｃｅｒ）を含む。

本発明のさらに他の実施例に係る深さ情報抽出装置は、互いに離隔配置され、物体に光を照射する第１および第２光源、前記第１および第２の光源と前記物体の間にそれぞれ配置され、前記第１および第２光源の照射領域が互いに異なるように、前記第１および第２光源の照射領域を調節する第１および第２ホログラフィック素子、第１フレーム周期には前記第１光源が発光し、第２フレーム周期には前記第２光源が発光するように、前記第１および第２光源の点灯を制御する制御部、前記物体によって反射する反射光を受光する受光レンズ、前記受光レンズを通じて前記反射光を受光し、前記第１および第２フレーム周期のそれぞれに同期化して第１および第２映像信号を出力するセンサ部、前記第１および第２映像信号を信号処理して第１および第２フレームを生成する信号処理部、そして前記第１および第２フレームを結合して深さ映像を生成するデインターレーサーを含む。

本発明の実施例によれば、演算量が少なく、深さ分解能が優秀な深さ情報抽出装置を得ることができる。したがって、深さ情報抽出装置の消費電力を節減することができ、物体の距離を精密に抽出することができる。

本発明の一実施例に係る深さ情報抽出システムのブロック図を示す。 本発明の一実施例に係る深さ情報抽出装置の光入力部の構造を示す。 本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出原理を示す。 時間に沿って順次撮影された全体領域および部分領域を示す。 本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出方法を示すフローチャートである。 本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出方法を示すフローチャートである。 本発明の他の実施例に係る深さ情報抽出装置を概略的に図示したブロック図である。 本発明の他の実施例に係る深さ情報抽出装置がホログラフィック素子によって発散角を制御する一例を説明するための図面である。 本発明の他の実施例に係る深さ情報抽出装置がフレーム周期に同期化してフレームを生成する方法を説明するための図面である。 本発明の他の実施例に係る深さ情報抽出装置が奇数フレームおよび偶数フレームを結合して深さ映像を生成する図面である。 本発明の他の実施例に係る深さ情報抽出装置の深さ情報抽出方法を図示したフローチャートである。 本発明のさらに他の実施例に係る深さ情報抽出装置を概略的に図示したブロック図である。 本発明のさらに他の実施例に係る深さ情報抽出装置が深さ情報を抽出する方法を説明するための図面である。 本発明のさらに他の実施例に係る深さ情報抽出装置で深さ情報を抽出する方法を図示したフローチャートである。

本発明は多様な変更を加えることができ、様々な実施例を有することができるところ、特定実施例を図面に例示して説明する。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。

第２、第１などのように序数を含む用語は多様な構成要素の説明に用いることができるが、前記構成要素は前記用語によって限定されるものではない。前記用語は一つの構成要素を他の構成要素から区別する目的にのみ用いられる。例えば、本発明の権利範囲を逸脱することなく第２構成要素を第１構成要素と命名することができ、同様に第１構成要素も第２構成要素と命名することができる。および／またはという用語は複数の関連する記載された項目の組合せまたは複数の関連する記載された項目の中のいずれか一つの項目を含む。

ある構成要素が他の構成要素に「連結されて」あるまたは「接続されて」あると言及された時には、その他の構成要素に直接的に連結されているかまたは接続されていることもあり得るが、中間に他の構成要素が存在することもあると理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」あるまたは「直接接続されて」あると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。

本出願に用いられた用語は単に特定の実施例を説明するために用いられたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたのが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性をあらかじめ排除しないものと理解されるべきである。

特に定義されない限り、技術的または科学的な用語を含めてここで用いられるすべての用語は、本発明が属する技術分野で通常の知識を有した者によって一般的に理解されるものと同じ意味を有している。一般的に用いられる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味と解釈されない。

以下、添付された図面を参照して実施例を詳細に説明するものの、図面符号にかかわらず同一であるかまたは対応する構成要素は同じ参照番号を付与し、これに対する重複する説明は省略する。

本発明の実施例によれば、照射される光の角度を調節して深さ分解能を高めようとする。

本発明の一実施例によれば、物体を含む全体領域に対して光を照射した後、全体領域から部分領域を抽出し、抽出した部分領域に対して光を繰り返し照射して部分領域内の深さ情報を抽出しようとする。

図１は本発明の一実施例に係る深さ情報抽出システムのブロック図を示し、図２は本発明の一実施例に係る深さ情報抽出装置の光入力部の構造を示し、図３は本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出原理を示す。

図１を参照すると、深さ情報抽出システムは、深さ情報抽出装置１００およびＰＣ２００を含む。深さ情報抽出装置は３次元映像カメラまたはその一部であり得る。

深さ情報抽出装置１００は光出力部１１０、光調節部１２０、光入力部１３０および制御部１４０を含む。

光出力部１１０はＩＲ（ｉｎｆｒａｒｅｄ）光を出力する。ＩＲ光は、例えば８００ｎｍ以上の波長帯域を有する光であり得る。光出力部１１０は光源１１２および光変換ユニット１１４を含む。光源は赤外線を投射する少なくとも一つのレーザーダイオード（Ｌａｓｅｒ Ｄｉｏｄｅ）または発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）を含むことができる。そして、光変換ユニット１１４は光源１１２から出力された光を変調（ｍｏｄｕｌａｔｉｏｎ）することができる。光変換ユニット１１４は、例えば光源１１２から出力された光をパルス（ｐｕｌｓｅ）変調または位相（ｐｈａｓｅ）変調することができる。これによって、光出力部１１０は所定間隔で光源を点滅させて出力することができる。

光調節部１２０は物体を含む領域に光が照射されるように光の角度を調節する。このために、光調節部１２０はＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ、１２２）およびＭＥＭＳ制御ユニット１２４を含むことができる。

光調節部１２０は物体を含む全体領域に光が照射されるように光の角度を調節することができる。例えば、図４（ａ）のように、人を含む全体領域に光が照射されるように光の角度を調節することができる。これによって、光出力部１１０から出力された光は全体領域をピクセルまたはライン単位でスキャンすることができる。そして、光調節部１２０は全体領域の一部である部分領域に光が照射されるように光の角度を調節することもできる。例えば、図４（ｂ）のように、全体領域のうち手を含む部分領域に光が照射されるように光の角度を調節することができる。これによって、光出力部１１０から出力された光はの部分領域だけをピクセルまたはライン単位でスキャンすることができる。

一方、光入力部１３０は光出力部１１０から出力された後、物体によって反射した光の入力を受ける。光入力部１３０は入力を受けた光を電気信号に変換することができる。光入力部１３０は、フォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ、ＰＤ）またはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を含むイメージセンサであり得る。図２のように、光入力部１３０は配列された複数のピクセル（ｐｉｘｅｌ）１３２を含むことができる。各ピクセルはＩｎ Ｐｈａｓｅ受信ユニット１３２−１およびＯｕｔ Ｐｈａｓｅ受信ユニット１３２−２を含むことができる。

制御部１４０は深さ情報抽出装置１００を全般的に制御し、深さ情報を抽出する。制御部１４０はコントローラチップ（ｃｏｎｔｒｏｌｌｅｒ ｃｈｉｐ）で具現され得る。制御部１４０はタイミング制御ユニット１４２、変換ユニット１４４、信号処理ユニット１４６およびインタフェースコントローラ１４８を含むことができる。タイミング制御ユニット１４２は光出力部１１０、光調節部１２０、光入力部１３０の時間を制御する。例えば、タイミング制御ユニット１４２は光出力部１１０の点滅周期を制御することができる。変換ユニット１４４は光入力部１３０を通じて入力された電気信号をデジタル信号に変換する。

そして、信号処理ユニット１４６は部分領域に対して時間に沿って順次入力される光の飛行時間を計算し、動きを推定し、深さ情報を抽出する。このとき、光の飛行時間はＩｎ Ｐｈａｓｅ受信ユニット１３２−１およびＯｕｔ Ｐｈａｓｅ受信ユニット１３２−２に入力された光量の差を利用して計算され得る。すなわち、図３のように、Ｉｎ Ｐｈａｓｅ受信ユニット１３２−１は光源がオンとなる間活性化され、Ｏｕｔ Ｐｈａｓｅ受信ユニット１３２−２は光源がオフとなる間活性化され得る。このように、Ｉｎ Ｐｈａｓｅ受信ユニット１３２−１およびＯｕｔ Ｐｈａｓｅ受信ユニット１３２−２が時間差を置いて活性化されると、光の飛行時間、すなわち物体との距離によって受信される光量に差が発生することになる。例えば、物体が深さ情報抽出装置の手前にある場合（すなわち、距離＝０である場合）には、光出力部１１０から光が出力された後、反射してくるまでかかる時間が０であるため、光源の点滅周期はそのまま光の受信周期となる。したがって、Ｉｎ Ｐｈａｓｅ受信ユニット１３２−１だけが光を受信し、Ｏｕｔ Ｐｈａｓｅ受信ユニット１３２−２は光を受信できなくなる。他の例として、物体が深さ情報抽出装置と所定距離離れて位置する場合、光出力部１１０から光が出力された後、物体に反射してくるまで時間がかかるため、光源の点滅周期は光の受信周期と差が発生する。したがって、Ｉｎ Ｐｈａｓｅ受信ユニット１３２−１とＯｕｔ Ｐｈａｓｅ受信ユニット１３２−２が受信する光の量に差が発生することになる。

インタフェースコントローラ１４８はＰＣ２００などのミドルウェアとのインターフェースを制御する。例えば、インタフェースコントローラ１４８は全体領域を照射した後、光入力部１３０を通じて入力された光に対する情報をＰＣ２００などのミドルウェアで伝達することができる。そして、ＰＣ２００などのミドルウェアによって抽出された部分領域に対する情報をＰＣ２００などのミドルウェアから受信した後、光調節部１２０などに伝達することができる。

図５〜図６は本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出方法を示すフローチャートである。図１〜図３と重複した内容は説明を省略する。

図５を参照すると、深さ情報抽出装置１００の光出力部１１０はＩＲ光を出力し（Ｓ５００）、出力された光は光調節部１２０の調節によって物体を含む全体領域を照射する（Ｓ５０２）。

そして、光入力部１３０を通じて物体部から反射した光が入力され（Ｓ５０４）、制御部１４０は光入力部１３０から受信したアナログ信号をデジタル信号に変換した後（Ｓ５０６）、ＰＣ２００に伝達する（Ｓ５０８）。

ＰＣ２００は深さ情報抽出装置１００から受信した信号を利用して全体領域内の部分領域を抽出する（Ｓ５１０）。部分領域は応用アプリケーションを実現するために必要な関心対象を含む領域であり得る。例えば、応用アプリケーションが指のジェスチャーーによりＴＶチャネルを変更する場合、全体領域が人の全身を含むとすると、部分領域は指だけを含むことができる。

ＰＣ２００は抽出した部分領域に関する情報を深さ情報抽出装置１００に伝達する（Ｓ５１２）。

一方、深さ情報抽出装置１００の光出力部１１０はＩＲ光を出力し（Ｓ５１４）、出力された光は光調節部１２０の調節によって全体領域から抽出された部分領域だけを照射する（Ｓ５１６）。

そして、光入力部１３０を通じて物体部から反射した光が入力され（Ｓ５１８）、制御部１４０は光入力部１３０から受信したアナログ信号をデジタル信号に変換し（Ｓ５２０）、信号処理して深さ情報を抽出する（Ｓ５２２）。

本発明の一実施例によれば、深さ情報抽出装置１００は全体領域を１回スキャンすることができる時間に部分領域を数回スキャンすることができる。これに伴い、段階Ｓ５１４〜段階Ｓ５２０が数回繰り返され、段階Ｓ５２２では数回繰り返された結果を利用して深さ情報の精密度を高めることができる。これについて図６を参照して詳細に説明する。

図６を参照すると、深さ情報抽出装置の制御部１４０は部分領域に対して、時間Ｔ１で光入力部１３０を通じて入力された光の飛行時間を計算し（Ｓ６００）、Ｔ２で光入力部１３０を通じて入力された光の飛行時間を計算し（Ｓ６０２）、Ｔ３で光入力部１３０を通じて入力された光の飛行時間を計算する（Ｓ６０４）。ここで、Ｔ１、Ｔ２、Ｔ３は互いに同じ時間間隔を有することができ、図５での段階Ｓ５１４〜段階Ｓ５２０がＴ１、Ｔ２、Ｔ３でそれぞれ繰り返され得る。光の飛行時間は図３で説明した通り、光入力部のピクセル内のＩｎ Ｐｈａｓｅ受信ユニットとＯｕｔ Ｐｈａｓｅ受信ユニット間の光量の差によって計算され得る。

そして、制御部１４０は時間Ｔ１〜時間Ｔ３での飛行時間に基づいて部分領域の動きを推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）し（Ｓ６０６）、動き推定結果により深さ情報を抽出する（Ｓ６０８）。このとき、動き推定および深さ情報抽出過程はスーパーレゾリューションアルゴリズム（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ（ＳＲ） Ａｌｇｏｒｉｔｈｍ）により遂行され得る。すなわち、図４（ｂ）のように、Ｔ１〜Ｔｎでの部分領域を撮影した後、それぞれの飛行時間を計算し、時間による相対的な動きを推定することができる。そして、推定された動きは補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）技法によって補正された後、復元（ｒｅｓｔｏｒａｔｉｏｎ）され、ノイズ除去（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）され得る。

このように、全体領域から部分領域を検出し、部分領域に対する深さ情報を抽出すると、計算の複雑度を減らすことができる。また、部分領域に対して時間に沿って順次入力される情報に対する相対的な差を利用して動き情報を推定するため、高い深さ分解能を得ることができる。また、全体領域を１回スキャンする時間に部分領域を数回スキャンすることができるため、深さ情報抽出の時間および計算の複雑度を減らすことができる。

本発明の他の実施例によれば、物体を含む一部領域に対して光を照射した後、光の角度を調節して残りの領域に対して光を照射する過程を繰り返すことによって、深さ情報を抽出しようとする。

図７は本発明の他の実施例に係る深さ情報抽出装置を概略的に図示したブロック図である。図８は本発明の他の実施例に係る深さ情報抽出装置がホログラフィック素子によって発散角を制御する一例を説明するための図面である。図９は本発明の他の実施例に係る深さ情報抽出装置がフレーム周期に同期化してフレームを生成する方法を説明するための図面である。図１０は奇数フレームと偶数フレームを併合して深さ映像を生成する図面である。図１〜６と重複する内容は説明を省略する。

図７を参照すると、本発明の他の実施例に係る深さ情報抽出装置は深さセンサモジュール１０、信号処理部３１およびデインターレーサー（Ｄｅ−ｉｎｔｅｒｌａｃｅｒ、３２）を含むことができる。図７に図示された構成要素は必須のものではなく、本発明の一実施例に係る深さ情報抽出装置はそれより多いか少ない構成要素を含むことができる。

深さセンサモジュール１０は飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ、ＴＯＦ）センサモジュールであって、発光部と受光部を含むことができる。

深さセンサモジュール１０の発光部は光源１１、レンズ１２、ホログラフィック（Ｈｏｌｏｇｒａｈｉｃ）素子１３、アクチュエーター（ａｃｔｕａｔｏｒ、１４）および制御部１５を含むことができる。ここで、光源１１は光出力部と混用され得、ホログラフィック素子１３およびアクチュエーター１４は光調節部と混用され得る。

光源１１は発光素子を含み、発光素子を駆動して一定の位相を有する光を物体（ＯＢ）に照射する機能を遂行する。光源１１は既設定されたフレーム周期に同期化して点滅を繰り返すように動作することができる。

光源１１に含まれる発光素子としては、レーザー（Ｌａｓｅｒ）、レーザーダイオード（Ｌａｓｅｒ Ｄｉｏｄｅ）などが含まれ得るが、その他の種類の光源も使用することができる。

レーザーまたはレーザーダイオードから照射される光は、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）から照射される光に比べて相対的に指向性が優秀な特性がある。したがって、レーザーまたはレーザーダイオードを光源１１として使用する場合、発散角および照射領域調節が容易である。

光源１１から照射される光の波長は赤外線（Ｉｎｆｒａｒｅｄ Ｒａｙ）帯域に含まれ得るが、その他の波長帯域に含まれることもある。

レンズ１２は光源１１から照射される光の経路上に配置され、点光源である光源１１から照射される光を面光源化する機能を遂行する。レーザーの場合、指向性は優秀であるが、相対的に発散角が小さい特性がある。したがって、深さ映像を獲得するためには物体（ＯＢ）全体に均一に光を照射するようにレンズ１２を使用することができる。

ホログラフィック素子１３は光源１１と物体（ＯＢ）の間、またはレンズ１２と物体（ＯＢ）の間に配置され、光源１１から照射される光の発散角および照射領域を制御する機能を遂行する。

図８の（ａ）は、光源（ＬＥＤ）から照射される光がホログラフィック素子１３なしに物体（ＯＢ）に照射される場合を図示したもので、図８の（ｂ）は光源（ＬＥＤ）から照射される光がホログラフィック素子１３により発散角が調節されて物体（ＯＢ）に照射される場合を図示したものである。

図８の（ａ）を参照すると、ＬＥＤから照射される光はセンサーに像が写る領域以外の他の領域（ａ１、ａ２）にも照射されるため、光効率が低下する。

反面、図８の（ｂ）を参照すると、ＬＥＤから照射される光は、ホログラフィック素子１３によりセンサーに像が写る領域（画角）を大きく外れないように発散角が調節され、光の無駄が最小化され、光効率が向上され得る。

一方、レンズ１２は必須のものではないため、ホログラフィック素子１３により照度均一度が確保される場合には省略することもできる。

再び、図７を参照すると、ホログラフィック素子１３はコンピュータホログラム（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｈｏｌｏｇｒａｍ、ＣＧＨ）方式で製造され得る。ホログラム（ｈｏｌｏｇｒａｍ）は、物体から散乱される情報が入った物体波（ｓｉｇｎａｌ ｗａｖｅ）と可干渉参照波（ｒｅｆｅｒｅｎｃｅ ｗａｖｅ）から発生する干渉パターンで、ＣＧＨはコンピュータを利用してこのような干渉パターンを数学的に計算して作る方式である。

ホログラフィック素子１３はコンピュータによって計算された干渉パターンを記録媒質に記録して形成され得る。

ホログラフィック素子１３で干渉パターンが記録される記録媒質は感光材料で形成された基板を含むことができる。感光材料としては、フォトポリマー（ｐｈｏｔｏｐｏｌｙｍｅｒ）、ＵＶフォトポリマー、フォトレジスト（ｐｈｏｔｏｒｅｓｉｓｔ）、シルバーパーライトエマルジョン（ｓｉｌｖｅｒ ｈａｌｉｄｅ ｅｍｕｌｓｉｏｎ）、重クロム酸ゼラチン（ｄｉｃｈｒｏｍａｔｅｄ ｇｅｌａｔｉｎ）、フォトグラフィックエマルジョン（ｐｈｏｔｏｇｒａｐｈｉｃ ｅｍｕｌｓｉｏｎ）、フォトサーモプラスチック（ｐｈｏｔｏｔｈｅｒｍｏｐｌａｓｔｉｃ）、光回折（ｐｈｏｔｏｒｅｆｒａｃｔｉｖｅ）材料などが使用され得る。

ホログラフィック素子１３は、体積ホログラフィック（ｖｏｌｕｍｅ ｈｏｌｏｇｒａｐｈｉｃ）素子または表面ホログラフィック（ｓｕｒｆａｃｅ ｈｏｌｏｇｒａｐｈｉｃ）素子であり得る。

体積ホログラフィック素子は、物体波と参照波の干渉で空間に形成されている干渉パターンを記録媒質に３次元的に記録したホログラフィック光学素子である。反面、表面ホログラフィック素子は物体波と参照波の干渉で空間に形成されている干渉パターンを記録媒質の表面に記録したホログラフィック光学素子である。

ホログラフィック素子１３が表面ホログラフィック素子である場合、干渉パターンは光源１１から入射した光が出射する出射面に形成され得る。

ホログラフィック素子１３はアクチュエーター１４に連結され、アクチュエーター１４により位置、傾き（ｔｉｌｔｉｎｇ）などが調節され得る。

アクチュエーター１４は、ホログラフィック素子１３を駆動する駆動装置であって、光源１１の光軸（Ｏｐｔｉｃ Ａｘｉｓ）を基準としてホログラフィック素子１３の位置、傾き（ｔｉｌｔｉｎｇ）などを調節することができる。

ホログラフィック素子１３の位置、傾きなどが変更されると、ホログラフィック素子１３を通過した光が物体（ＯＢ）に照射される照射領域が移動（ｓｈｉｆｔ）し、これによって物体（ＯＢ）により反射した光がセンサ部２２の各セルに写る領域も移動する。

アクチュエーター１４は制御部１５の制御信号に基づいて、ホログラフィック素子１３の照射領域がスイッチングされるようにホログラフィック素子１３を駆動させることができる。すなわち、アクチュエーター１４は、奇数番目のフレーム周期にホログラフィック素子１３の照射領域が、偶数番目のフレーム周期でのホログラフィック素子１３の照射領域と異なるようにホログラフィック素子１３を駆動することができる。

奇数番目のフレーム周期でのホログラフィック素子１３の照射領域は、偶数番目のフレーム周期でのホログラフィック素子１３の照射領域に比べて、センサ部２２の一つのセルにマッチングされる領域だけ上または下へ移動した領域であり得る。すなわち、ホログラフィック素子１３の照射領域は、奇数番目のフレーム周期でのセンサ部２２のセルに写る位置と、偶数番目のフレーム周期でのセンサ部２２のセルに写る位置が一つのセルだけ差があるように、毎フレーム周期ごとに調節され得る。これに伴い、同じ地点で反射した光であっても奇数番目のフレーム周期でセンサ部２２のセルに写る位置と、偶数番目のフレーム周期でセンサ部２２のセルに写る位置が一つのセルだけ差があり得る。

アクチュエーター１４はＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏ）アクチュエーターまたはＭＥＭＳ（Ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）アクチュエーターであり得る。

制御部１５は既設定されたフレーム（ｆｒａｍｅ）周期に基づいて光源１１のオン（Ｏｎ）／オフ（Ｏｆｆ）を制御することができる。

図９を例にすると、制御部１５は毎フレーム周期ごとに光源１１が点滅するように、光源１１を周期的にオン（Ｏｎ）／オフ（Ｏｆｆ）することができる。すなわち、制御部１５はフレーム周期（Ｔ１、Ｔ２）が始まると光源１１をオンして光を照射し、所定時間が経つと光源１１をオフしてフレーム周期（Ｔ１、Ｔ２）が終了するまで光照射を中断するように制御する動作を、毎フレーム周期（Ｔ１、Ｔ２）ごとに遂行することができる。

制御部１５は毎フレーム周期ごとにホログラフィック素子１３の照射領域がスイッチングされるようにアクチュエーター１４を制御することができる。

深さセンサモジュール１０の受光部は受光レンズ２１およびセンサ部２２を含むことができる。本明細書において、受光部は光入力部と混用され得る。

受光レンズ２１は物体（ＯＢ）とセンサ部２２の間に配置され、物体（ＯＢ）側から反射する反射光を受光してセンサ部２２に入射させる機能を遂行する。

センサ部２２は受光レンズ２１を通じて物体（ＯＢ）から反射する反射光を受光し、これを電気信号に変換して映像信号を出力する。

センサ部２２は複数のセルからなり、各セルはフレームを構成する各ピクセル（ｐｉｘｅｌ）に対応することができる。センサ部２２はセル単位で光を受光し、セル単位で映像信号を出力することができる。

センサ部２２を構成する各セルは、光を電気信号に変換する素子を含むことができる。各セルはこれに限定されるものではないか、金属酸化物半導体（Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＭＯＳ）、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、ＣＣＤ）などを含むことができる。

センサ部２２は既設定されたフレーム周期に同期化して反射光を受光し、これを映像信号に変換して出力することができる。

一方、ホログラフィック素子１３により毎フレーム周期ごとに照射領域がスイッチングされることによって、センサ部２２に像が写る位置も毎フレーム周期ごとにスイッチングされ得る。

ホログラフィック素子１３はアクチュエーター１４により奇数番目のフレーム周期と偶数番目のフレーム周期で互いに異なる領域に光を照射する。これによって、物体（ＯＢ）の同じ位置で反射した光であっても奇数番目のフレーム周期でセンサ部２２に像が写る位置と偶数番目のフレーム周期でセンサ部２２に像が写る位置が異なり得る。

奇数番目のフレーム周期にセンサ部２２に写る像は偶数番目のフレーム周期にセンサ部２２に写る像に比べて、一つのセルだけ上／下に移動して写り得る。

信号処理部３１はセンサ部２２から出力される映像信号に対してサンプリング（ｓａｍｐｌｉｎｇ）などの信号処理を遂行してフレームを生成する。ここで、フレームは複数のピクセルを含み、各ピクセルのピクセル値は各ピクセルに対応する映像信号から獲得することができる。

信号処理部３１はフレーム周期に対応してセンサ部２２から出力される映像信号をフレームに変換して出力することができる。

図９を例にすると、信号処理部３１は毎フレーム周期ごと（Ｔ１、Ｔ２）に映像信号をフレーム５ａ、５ｂに変換して出力し、奇数番目のフレーム周期（Ｔ１）と偶数番目のフレーム周期（Ｔ２）にそれぞれ同期化して奇数フレーム５ａと偶数フレーム５ｂを出力することができる。

信号処理部３１はセンサ部２２の各セルを通じて受光した光と光源１１により照射された光との位相差に基づいて各セル、すなわち、各ピクセルに対応する深さ情報を算出することもできる。算出した深さ情報はフレームを構成する各ピクセルに対応して貯蔵される。

デインターレーサー３２は、信号処理部３１から奇数フレームと偶数フレームをそれぞれ受信し、二つのフレームを結合して一つの深さ映像を生成することができる。

デインターレーサー３２は、信号処理部３１から出力される奇数フレームと偶数フレームを行（ｌｉｎｅ）単位で交互に挿入することによって、解像度がセンサ部２２の解像度より２倍に増加した深さ映像を生成することができる。図１０を例にすると、奇数フレームと偶数フレームは、それぞれ１０（行）×１０（列）ピクセルの解像度を有し、二つのフレームを行単位で交差結合した深さ映像の解像度は２０（行）×１０（列）ピクセルであり、垂直方向解像度がセンサ部２２の解像度より２倍増加した。図７の制御部１５、信号処理部３１およびデインターレーサー３２は図１の制御部１４０に対応することができる。

図１１は本発明の他の実施例に係る深さ情報抽出装置の深さ情報抽出方法を図示したフローチャートである。

図１１を参照すると、深さセンサモジュール１０は奇数番目のフレーム周期に同期化して光を照射するように光源１１を制御する（Ｓ１０１）。

前記Ｓ１０１段階で、光源１１から照射された光はホログラフィック素子１３により照射領域が制御され得る。

光源１１から照射された光が物体から反射してセンサ部２２に入射することによって、センサ部２２はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部３１はセンサ部２２から出力される映像信号を信号処理して奇数フレームを生成する（Ｓ１０２）。

奇数フレームが獲得されると、深さセンサモジュール１０はホログラフィック素子１３を制御して物体に光が照射される照射領域を移動させる（Ｓ１０３）。

前記Ｓ１０３段階で、深さセンサモジュール１０はアクチュエーター１４を制御してホログラフィック素子１３の傾きを調節することによって、照射領域を移動させることができる。

偶数番目のフレーム周期が始まると、深さセンサモジュール１０はこれに同期化して物体に光を照射するように光源１１を制御する（Ｓ１０４）。

前記Ｓ１０４段階で、光源１１から照射された光はホログラフィック素子１３により偶数番目のフレーム周期と照射領域が異なり得る。

光源１１から照射された光が物体から反射してセンサ部２２に入射することによって、センサ部２２はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部３１はセンサ部２２から出力される映像信号を信号処理して偶数フレームを生成する（Ｓ１０５）。

デインターレーサー３２はフレームを構成するピクセルアレイの行単位で奇数フレームと偶数フレームを結合して深さ映像を生成する（Ｓ１０６）。

前記Ｓ１０６段階で、デインターレーサー３２は奇数フレームと偶数フレームのピクセル行を順次交差結合することによって、深さ映像を生成することができる。

以下、図１２〜図１４を参照して、本発明のさらに他の実施例に係る深さ情報抽出方法およびこれを遂行するための深さ情報抽出装置について詳細に説明する。

図１２は本発明のさらに他の実施例に係る深さ情報抽出装置を概略的に図示したブロック図である。図１３は本発明のさらに他の実施例に係る深さ情報抽出装置が深さ情報を抽出する方法を説明するための図面である。

以下では重複説明を避けるために、図７を参照して説明した深さ情報抽出装置とその機能が同一の構成要素については詳細な説明を省略する。

図１２を参照すると、本発明のさらに他の実施例に係る深さ情報抽出装置は深さセンサモジュール１０、信号処理部３１およびデインターレーサー３２を含むことができる。図１２に図示された構成要素は必須のものではなく、本発明のさらに他の実施例に係る深さ情報抽出装置はそれより多いか少ない構成要素を含むことができる。

深さセンサモジュール１０はＴＯＦセンサモジュールであって、複数の発光部と受光部を含むことができる。

深さセンサモジュール１０を構成する複数の発光部は、光源１１ａ、１１ｂ、レンズ１２ａ、１２ｂおよびホログラフィック素子１３ａ、１３ｂをそれぞれ含むことができる。複数の発光部は制御部１５をさらに含むことができる。ここで、光源１１ａ、１１ｂは光出力部と混用され得、ホログラフィック素子１３ａ、１３ｂは光調節部と混用され得る。

複数の光源１１ａ、１１ｂは互いに所定間隙離隔して配置され得る。複数の光源１１ａ、１１ｂの間には深さセンサモジュール１０のセンサ部２２が配置され得る。

以下では説明の便宜のために、複数の発光部をそれぞれ第１および第２発光部と命名して使用し、第１発光部を構成する構成要素を第１光源１１ａ、第１レンズ１２ａおよび第１ホログラフィック素子１３ａと命名して使用する。また、第２発光部を構成する構成要素を第２光源１１ｂ、第２レンズ１２ｂおよび第２ホログラフィック素子１３ｂと命名して使用する。しかし、前記構成要素は第１、第２などのように序数を含む用語によって限定されない。

第１および第２光源１１ａ、１１ｂは互いに所定間隙離隔して配置され、発光素子を駆動して一定の位相を有する光を物体（ＯＢ）に照射する機能を遂行する。

第１および第２光源１１ａ、１１ｂに含まれる発光素子としては、レーザー、レーザーダイオードなどが含まれ得るが、その他の種類の光源も使用することができる。第１および第２光源１１ａ、１１ｂから照射される光の波長は赤外線帯域に含まれ得るが、その他の波長帯域に含まれることもある。

第１および第２光源１１ａ、１１ｂは互いに異なるフレーム周期に発光するように点滅が制御され得る。例えば、第１光源１１ａは奇数番目のフレーム周期に同期化して発光し、第２光源１１ｂは偶数番目のフレーム周期に同期化して発光することができる。

第１レンズ１２ａは第１光源１１ａから照射される光の経路上に配置され、点光源である第１光源１１ａから照射される光を面光源化する機能を遂行する。また、第２レンズ１２ｂは第２光源１２ｂから照射される光の経路上に配置され、点光源である第２光源１１ｂから照射される光を面光源化する機能を遂行する。

第１ホログラフィック素子１３ａは第１光源１１ａと物体（ＯＢ）の間、または第１レンズ１２ａと物体（ＯＢ）の間に配置され、第１光源１１ａから照射される光の発散角および照射領域を制御する機能を遂行する。また、第２ホログラフィック素子１３ｂは第２光源１１ｂと物体（ＯＢ）の間、または第２レンズ１２ｂと物体（ＯＢ）の間に配置され、第２光源１１ｂから照射される光の発散角および照射領域を制御する機能を遂行する。

一方、第１および第２レンズ１２ａ、１２ｂは必須のものではなく、第１および第２ホログラフィック素子１３ａ、１３ｂにより照度均一度が確保される場合には省略することもできる。

第１および第２ホログラフィック素子１３ａ、１３ｂはＣＧＨ方式で製造され得る。

第１および第２ホログラフィック素子１３ａ、１３ｂはコンピュータによって計算された干渉パターンを記録媒質に記録して形成され、干渉パターンが記録される記録媒質はフォトポリマー、ＵＶフォトポリマー、フォトレジスト、シルバーパーライトエマルジョン、重クロム酸ゼラチン、フォトグラフィックエマルジョン、フォトサーモプラスチック、光回折材料などの感光材料を使用することができる。

第１および第２ホログラフィック素子１３ａ、１３ｂは体積ホログラフィック素子または表面ホログラフィック素子であり得る。

第１および第２ホログラフィック素子１３ａ、１３ｂに記録される干渉パターンは、第１光源１１ａおよび第２光源１１ｂにより照射された光が物体（ＯＢ）の互いに異なる領域に照射されるように形成され得る。

例えば、第１光源１１ａから出射される光が照射される領域と、第２光源１１ｂから出射される光が照射される領域が、互いにセンサ部２２の一つのセルにマッチングされる領域だけ差があるように第１ホログラフィック素子１３ａと第２ホログラフィック素子１３ｂの干渉パターンが形成され得る。

制御部１５は既設定されたフレーム（ｆｒａｍｅ）周期に基づいて第１および第２光源１１ａ、１１ｂのオン／オフを制御することができる。図１３を例にすると、制御部１５は奇数番目のフレーム周期（Ｔ１）に同期化して第１光源１１ａが発光し、偶数番目のフレーム周期（Ｔ２）に同期化して第２光源１１ｂが発光するように第１および第２光源１１ａ、１１ｂのオン／オフを制御することができる。

これによって、毎フレーム周期ごとに物体（ＯＢ）に光を照射する光源がスイッチングされ、第１および第２ホログラフィック素子１３ａ、１３ｂにより光が照射される領域も光源のスイッチングに対応してスイッチングされ得る。

深さセンサモジュール１０の受光部は受光レンズ２１およびセンサ部２２を含むことができる。

受光レンズ２１は物体（ＯＢ）とセンサ部２２の間に配置され、物体（ＯＢ）側から反射する反射光を受光してセンサ部２２に入射させる機能を遂行する。

センサ部２２は複数のセルからなり、各セルはフレームを構成する各ピクセル（ｐｉｘｅｌ）に対応することができる。センサ部２２はセル単位で光を受光し、セル単位で映像信号を出力することができる。

センサ部２２を構成する各セルは、これに限定されるものではないか、ＭＯＳ、ＣＣＤなどを含むことができる。

センサ部２２は既設定されたフレーム周期に同期化して反射光を受光し、これを映像信号に変換して出力することができる。

毎フレーム周期ごとに物体（ＯＢ）に光を照射する光源がスイッチングされることによって、センサ部２２に像が写る位置も毎フレーム周期ごとにスイッチングされ得る。すなわち、光源のスイッチングによって、奇数番目のフレーム周期での光照射領域と偶数番目のフレーム周期での光照射領域がそれぞれ異なり、これによって奇数番目のフレーム周期にセンサ部２２に写る像と偶数番目のフレーム周期にセンサ部２２に写る像は若干の位置差が発生する可能性がある。例えば、奇数番目のフレーム周期にセンサ部２２に写る像は、偶数番目のフレーム周期にセンサ部２２に写る像に比べて、一つのセルだけ上／下に移動して写り得る。

信号処理部３１はフレーム周期に対応してセンサ部２２から出力される映像信号をフレームに変換して出力することができる。

図１３を例にすると、信号処理部３１は毎フレーム周期（Ｔ１、Ｔ２）ごとに映像信号をフレーム５ａ、５ｂに変換して出力し、奇数番目のフレーム周期（Ｔ１）と偶数番目のフレーム周期（Ｔ２）にそれぞれ同期化して奇数フレーム５ａと偶数フレーム５ｂを出力することができる。

信号処理部３１はセンサ部２２の各セルを通じて受光した光と第１および第２光源１１ａ、１１ｂにより照射された光との位相差に基づいて、各セル、すなわち、各ピクセルに対応する深さ情報を算出することもできる。算出した深さ情報はフレームを構成する各ピクセルに対応して貯蔵される。

デインターレーサー３２は信号処理部３１から奇数フレームと偶数フレームをそれぞれ受信し、二つのフレームを結合して一つの深さ映像を生成することができる。

デインターレーサー３２は図１０に図示された通り、信号処理部３１から出力される奇数フレームと偶数フレームを行単位で交互に挿入することによって、解像度がセンサ部２２の解像度より２倍に増加した深さ映像を生成することができる。

図１４は本発明のさらに他の実施例に係る深さ情報抽出装置で深さ情報を抽出する方法を図示したフローチャートである。

図１４を参照すると、深さセンサモジュール１０は奇数番目のフレーム周期に同期化して光を照射するように第１光源１１ａを制御する（Ｓ２０１）。

前記Ｓ２０１段階で、第１光源１１ａで照射された光は第１ホログラフィック素子１３ａにより照射領域が制御され得る。

第１光源１１ａから照射された光が物体から反射してセンサ部２２に入射することによって、センサ部２２はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部３１はセンサ部２２から出力される映像信号を信号処理して奇数フレームを生成する（Ｓ２０２）。

次に、深さセンサモジュール１０は偶数番目のフレーム周期に同期化して光を照射するように第２光源１１ｂを制御する（Ｓ２０３）。

前記Ｓ２０３段階で、第２光源１１ｂから照射された光は第２ホログラフィック素子１３ｂにより前記Ｓ２０１段階での照射領域から上または下の方向に移動して照射され得る。

第２光源１１ｂから照射された光が物体から反射してセンサ部２２に入射することによって、センサ部２２はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部３１はセンサ部２２から出力される映像信号を信号処理して偶数フレームを生成する（Ｓ２０４）。

光源１１から照射された光が物体から反射してセンサ部２２に入射することによって、センサ部２２はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部３１はセンサ部２２から出力される映像信号を信号処理して偶数フレームを生成する（Ｓ２０４）。

デインターレーサー３２はフレームを構成するピクセルアレイの行単位で奇数フレームと偶数フレームを結合して深さ映像を生成する（Ｓ２０５）。

前記Ｓ１０６段階で、デインターレーサー３２は奇数フレームと偶数フレームのピクセル行を順次交差結合することによって深さ映像を生成することができる。

本発明の実施例によれば、ホログラフィック素子を使用して奇数フレーム周期と偶数フレーム周期の光源の照射領域を異なるように調節し、これによって得られる奇数フレームと偶数フレームを結合して一つの深さ映像を生成することによって深さ映像の解像度を向上させる効果がある。

また、ホログラフィック素子を利用して光発散角を調節することによって、光効率を向上させる効果がある。

前記では本発明の好ましい実施例を参照して説明したが、該当技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明を多様に修正および変更できることが理解できるであろう。

Claims (17)

1. ＩＲ（ＩｎｆｒａＲｅｄ）光を出力する光出力部と、
   前記光出力部から出力され、物体から反射した光が入力される光入力部と、
   物体を含む第１領域に出力ＩＲ光が照射されるように出力ＩＲ光の出射角度を調節し、前記物体を含む第２領域に出力ＩＲ光が照射されるように出力ＩＲ光の出射角度を調節する光調節部と、
   前記第１領域に対して入力されるＩＲ光および前記第２領域に対して入力されるＩＲ光の少なくとも一つを利用して前記物体の深さ情報を抽出する制御部と、を備え、
   前記制御部は、前記光出力部から出力されたＩＲ光が前記物体に照射された後、反射して前記光入力部に入力されるまでにかかる飛行時間を計算し、
   前記光調節部は、光学素子と、前記光学素子に接続されたアクチュエーターとを含み、
   前記アクチュエーターは、前記光出力部の光軸に対する前記光学素子の位置を調節して出力ＩＲ光の出射角度を調節する、深さ情報抽出装置。
2. 前記制御部は、前記光出力部から出力された光が前記第２領域における前記物体に照射された後、反射して前記光入力部に入力されるまでにかかる飛行時間を計算する、請求項１に記載の装置。
3. 前記制御部は、第１時間で入力される光を利用して計算された第１飛行時間、前記第１時間以前に入力される光を利用して計算された第２飛行時間および第２時間以後に入力される光を利用して計算された第３飛行時間を利用して、前記第２領域内の深さ情報を抽出する、請求項１または２に記載の装置。
4. 前記第１領域の面積は前記第２領域の面積とは異なる、請求項１から３のいずれかに記載の装置。
5. 前記第１領域の面積は前記第２領域の面積より広い、請求項１から４のいずれかに記載の装置。
6. 前記制御部は、前記第１飛行時間、前記第２飛行時間および前記第３飛行時間間の相対的な差を利用して前記第２領域内の深さ情報を抽出した後、抽出された深さ情報を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）技法を利用して補正する、請求項１から５のいずれかに記載の装置。
7. 前記光入力部はそれぞれが第１受信ユニットおよび第２受信ユニットを含む複数のピクセルを含み、
   前記制御部は前記第１受信ユニットおよび前記第２受信ユニットに入力される光量の差を利用して前記飛行時間を計算する、請求項１から６のいずれかに記載の装置。
8. 前記制御部は、推定された動きにもとづいて前記深さ情報を抽出する、請求項１から７のいずれかに記載の装置。
9. 前記制御部は、
   前記光出力部、前記光調節部および前記光入力部の時間を制御するタイミング制御ユニットと、
   前記光入力部を通じて入力された電気信号をデジタル信号に変換する変換ユニットと、
   前記第２領域に対して時間に沿って順次入力される光の飛行時間を計算し、前記第２領域における動きを推定し、前記第２領域の深さ情報を抽出する信号処理ユニットと、を含む、請求項１から８のいずれかに記載の装置。
10. 前記光調節部はＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）およびＭＥＭＳ制御ユニットを含む、請求項１から９のいずれかに記載の装置。
11. 前記光学素子はホログラフィック素子である、請求項１から９のいずれかに記載の装置。
12. 前記深さ情報は、複数のフレームを結合することにより抽出される、請求項１から１１のいずれかに記載の装置。
13. 前記第１領域と前記第２領域は互いに重ならない領域であり、
    前記光調節部はフレーム周期ごとに光が照射される領域が変わるように光の角度を調節する、請求項１に記載の装置。
14. 物体を含む第１領域にＩＲ（ＩｎｆｒａＲｅｄ）光を照射し、
    前記物体を含む第２領域にＩＲ光を照射し、
    前記物体に対して時間に沿って順次入力されるＩＲ光を利用して前記物体の深さ情報を抽出し、
    前記第１領域と前記第２領域に照射することは、
    前記第１領域に出力ＩＲ光が照射されるようにＩＲ光の出射角度を調節し、前記第２領域に出力ＩＲ光が照射されるように出力ＩＲ光の出射角度を調節することを含み、
    前記出射角度を調節することは、光出力部の光軸に対する光学素子の位置を調節することを含み、
    前記抽出することは、
    前記光出力部から出力された光が前記物体に照射された後、反射して光入力部に入力されるまでにかかる飛行時間を計算することを含む、深さ情報抽出方法。
15. 前記飛行時間は、第１時間での順次のＩＲ光の第１ＩＲ光入力に対する第１飛行時間、前記第１時間以前での順次のＩＲ光の第２ＩＲ光入力に対する第２飛行時間および第２時間以後での順次のＩＲ光の第３ＩＲ光入力に対する第３飛行時間により計算され、
    前記物体の動きは、前記第１飛行時間、前記第２飛行時間および前記第３飛行時間間の相対的な差を利用して推定され、
    前記深さ情報は、推定された前記物体の動きにもとづいて抽出される、請求項１４に記載の方法。
16. 前記第１領域は前記物体を含む全体領域であり、前記第２領域は前記第１領域から抽出され、かつ、前記物体内の所定領域を含む部分領域である、請求項１４または１５に記載の方法。
17. 前記深さ情報は、複数のフレームを結合することにより抽出される、請求項１４から１６のいずれかに記載の方法。