本発明は多様な変更を加えることができ、様々な実施例を有することができるところ、特定実施例を図面に例示して説明する。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。
第2、第1などのように序数を含む用語は多様な構成要素の説明に用いることができるが、前記構成要素は前記用語によって限定されるものではない。前記用語は一つの構成要素を他の構成要素から区別する目的にのみ用いられる。例えば、本発明の権利範囲を逸脱することなく第2構成要素を第1構成要素と命名することができ、同様に第1構成要素も第2構成要素と命名することができる。および/またはという用語は複数の関連する記載された項目の組合せまたは複数の関連する記載された項目の中のいずれか一つの項目を含む。
ある構成要素が他の構成要素に「連結されて」あるまたは「接続されて」あると言及された時には、その他の構成要素に直接的に連結されているかまたは接続されていることもあり得るが、中間に他の構成要素が存在することもあると理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」あるまたは「直接接続されて」あると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。
本出願に用いられた用語は単に特定の実施例を説明するために用いられたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたのが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性をあらかじめ排除しないものと理解されるべきである。
特に定義されない限り、技術的または科学的な用語を含めてここで用いられるすべての用語は、本発明が属する技術分野で通常の知識を有した者によって一般的に理解されるものと同じ意味を有している。一般的に用いられる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味と解釈されない。
以下、添付された図面を参照して実施例を詳細に説明するものの、図面符号にかかわらず同一であるかまたは対応する構成要素は同じ参照番号を付与し、これに対する重複する説明は省略する。
本発明の実施例によれば、照射される光の角度を調節して深さ分解能を高めようとする。
本発明の一実施例によれば、物体を含む全体領域に対して光を照射した後、全体領域から部分領域を抽出し、抽出した部分領域に対して光を繰り返し照射して部分領域内の深さ情報を抽出しようとする。
図1は本発明の一実施例に係る深さ情報抽出システムのブロック図を示し、図2は本発明の一実施例に係る深さ情報抽出装置の光入力部の構造を示し、図3は本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出原理を示す。
図1を参照すると、深さ情報抽出システムは、深さ情報抽出装置100およびPC200を含む。深さ情報抽出装置は3次元映像カメラまたはその一部であり得る。
深さ情報抽出装置100は光出力部110、光調節部120、光入力部130および制御部140を含む。
光出力部110はIR(infrared)光を出力する。IR光は、例えば800nm以上の波長帯域を有する光であり得る。光出力部110は光源112および光変換ユニット114を含む。光源は赤外線を投射する少なくとも一つのレーザーダイオード(Laser Diode)または発光ダイオード(Light Emitting Diode、LED)を含むことができる。そして、光変換ユニット114は光源112から出力された光を変調(modulation)することができる。光変換ユニット114は、例えば光源112から出力された光をパルス(pulse)変調または位相(phase)変調することができる。これによって、光出力部110は所定間隔で光源を点滅させて出力することができる。
光調節部120は物体を含む領域に光が照射されるように光の角度を調節する。このために、光調節部120はMEMS(Micro Electo Mechanical System、122)およびMEMS制御ユニット124を含むことができる。
光調節部120は物体を含む全体領域に光が照射されるように光の角度を調節することができる。例えば、図4(a)のように、人を含む全体領域に光が照射されるように光の角度を調節することができる。これによって、光出力部110から出力された光は全体領域をピクセルまたはライン単位でスキャンすることができる。そして、光調節部120は全体領域の一部である部分領域に光が照射されるように光の角度を調節することもできる。例えば、図4(b)のように、全体領域のうち手を含む部分領域に光が照射されるように光の角度を調節することができる。これによって、光出力部110から出力された光はの部分領域だけをピクセルまたはライン単位でスキャンすることができる。
一方、光入力部130は光出力部110から出力された後、物体によって反射した光の入力を受ける。光入力部130は入力を受けた光を電気信号に変換することができる。光入力部130は、フォトダイオード(photo diode、PD)またはCMOS(complementary metal−oxide semiconductor)を含むイメージセンサであり得る。図2のように、光入力部130は配列された複数のピクセル(pixel)132を含むことができる。各ピクセルはIn Phase受信ユニット132−1およびOut Phase受信ユニット132−2を含むことができる。
制御部140は深さ情報抽出装置100を全般的に制御し、深さ情報を抽出する。制御部140はコントローラチップ(controller chip)で具現され得る。制御部140はタイミング制御ユニット142、変換ユニット144、信号処理ユニット146およびインタフェースコントローラ148を含むことができる。タイミング制御ユニット142は光出力部110、光調節部120、光入力部130の時間を制御する。例えば、タイミング制御ユニット142は光出力部110の点滅周期を制御することができる。変換ユニット144は光入力部130を通じて入力された電気信号をデジタル信号に変換する。
そして、信号処理ユニット146は部分領域に対して時間に沿って順次入力される光の飛行時間を計算し、動きを推定し、深さ情報を抽出する。このとき、光の飛行時間はIn Phase受信ユニット132−1およびOut Phase受信ユニット132−2に入力された光量の差を利用して計算され得る。すなわち、図3のように、In Phase受信ユニット132−1は光源がオンとなる間活性化され、Out Phase受信ユニット132−2は光源がオフとなる間活性化され得る。このように、In Phase受信ユニット132−1およびOut Phase受信ユニット132−2が時間差を置いて活性化されると、光の飛行時間、すなわち物体との距離によって受信される光量に差が発生することになる。例えば、物体が深さ情報抽出装置の手前にある場合(すなわち、距離=0である場合)には、光出力部110から光が出力された後、反射してくるまでかかる時間が0であるため、光源の点滅周期はそのまま光の受信周期となる。したがって、In Phase受信ユニット132−1だけが光を受信し、Out Phase受信ユニット132−2は光を受信できなくなる。他の例として、物体が深さ情報抽出装置と所定距離離れて位置する場合、光出力部110から光が出力された後、物体に反射してくるまで時間がかかるため、光源の点滅周期は光の受信周期と差が発生する。したがって、In Phase受信ユニット132−1とOut Phase受信ユニット132−2が受信する光の量に差が発生することになる。
インタフェースコントローラ148はPC200などのミドルウェアとのインターフェースを制御する。例えば、インタフェースコントローラ148は全体領域を照射した後、光入力部130を通じて入力された光に対する情報をPC200などのミドルウェアで伝達することができる。そして、PC200などのミドルウェアによって抽出された部分領域に対する情報をPC200などのミドルウェアから受信した後、光調節部120などに伝達することができる。
図5〜図6は本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出方法を示すフローチャートである。図1〜図3と重複した内容は説明を省略する。
図5を参照すると、深さ情報抽出装置100の光出力部110はIR光を出力し(S500)、出力された光は光調節部120の調節によって物体を含む全体領域を照射する(S502)。
そして、光入力部130を通じて物体部から反射した光が入力され(S504)、制御部140は光入力部130から受信したアナログ信号をデジタル信号に変換した後(S506)、PC200に伝達する(S508)。
PC200は深さ情報抽出装置100から受信した信号を利用して全体領域内の部分領域を抽出する(S510)。部分領域は応用アプリケーションを実現するために必要な関心対象を含む領域であり得る。例えば、応用アプリケーションが指のジェスチャーーによりTVチャネルを変更する場合、全体領域が人の全身を含むとすると、部分領域は指だけを含むことができる。
PC200は抽出した部分領域に関する情報を深さ情報抽出装置100に伝達する(S512)。
一方、深さ情報抽出装置100の光出力部110はIR光を出力し(S514)、出力された光は光調節部120の調節によって全体領域から抽出された部分領域だけを照射する(S516)。
そして、光入力部130を通じて物体部から反射した光が入力され(S518)、制御部140は光入力部130から受信したアナログ信号をデジタル信号に変換し(S520)、信号処理して深さ情報を抽出する(S522)。
本発明の一実施例によれば、深さ情報抽出装置100は全体領域を1回スキャンすることができる時間に部分領域を数回スキャンすることができる。これに伴い、段階S514〜段階S520が数回繰り返され、段階S522では数回繰り返された結果を利用して深さ情報の精密度を高めることができる。これについて図6を参照して詳細に説明する。
図6を参照すると、深さ情報抽出装置の制御部140は部分領域に対して、時間T1で光入力部130を通じて入力された光の飛行時間を計算し(S600)、T2で光入力部130を通じて入力された光の飛行時間を計算し(S602)、T3で光入力部130を通じて入力された光の飛行時間を計算する(S604)。ここで、T1、T2、T3は互いに同じ時間間隔を有することができ、図5での段階S514〜段階S520がT1、T2、T3でそれぞれ繰り返され得る。光の飛行時間は図3で説明した通り、光入力部のピクセル内のIn Phase受信ユニットとOut Phase受信ユニット間の光量の差によって計算され得る。
そして、制御部140は時間T1〜時間T3での飛行時間に基づいて部分領域の動きを推定(motion estimation)し(S606)、動き推定結果により深さ情報を抽出する(S608)。このとき、動き推定および深さ情報抽出過程はスーパーレゾリューションアルゴリズム(Super Resolution(SR) Algorithm)により遂行され得る。すなわち、図4(b)のように、T1〜Tnでの部分領域を撮影した後、それぞれの飛行時間を計算し、時間による相対的な動きを推定することができる。そして、推定された動きは補間(Interpolation)技法によって補正された後、復元(restoration)され、ノイズ除去(noise reduction)され得る。
このように、全体領域から部分領域を検出し、部分領域に対する深さ情報を抽出すると、計算の複雑度を減らすことができる。また、部分領域に対して時間に沿って順次入力される情報に対する相対的な差を利用して動き情報を推定するため、高い深さ分解能を得ることができる。また、全体領域を1回スキャンする時間に部分領域を数回スキャンすることができるため、深さ情報抽出の時間および計算の複雑度を減らすことができる。
本発明の他の実施例によれば、物体を含む一部領域に対して光を照射した後、光の角度を調節して残りの領域に対して光を照射する過程を繰り返すことによって、深さ情報を抽出しようとする。
図7は本発明の他の実施例に係る深さ情報抽出装置を概略的に図示したブロック図である。図8は本発明の他の実施例に係る深さ情報抽出装置がホログラフィック素子によって発散角を制御する一例を説明するための図面である。図9は本発明の他の実施例に係る深さ情報抽出装置がフレーム周期に同期化してフレームを生成する方法を説明するための図面である。図10は奇数フレームと偶数フレームを併合して深さ映像を生成する図面である。図1〜6と重複する内容は説明を省略する。
図7を参照すると、本発明の他の実施例に係る深さ情報抽出装置は深さセンサモジュール10、信号処理部31およびデインターレーサー(De−interlacer、32)を含むことができる。図7に図示された構成要素は必須のものではなく、本発明の一実施例に係る深さ情報抽出装置はそれより多いか少ない構成要素を含むことができる。
深さセンサモジュール10は飛行時間(Time Of Flight、TOF)センサモジュールであって、発光部と受光部を含むことができる。
深さセンサモジュール10の発光部は光源11、レンズ12、ホログラフィック(Holograhic)素子13、アクチュエーター(actuator、14)および制御部15を含むことができる。ここで、光源11は光出力部と混用され得、ホログラフィック素子13およびアクチュエーター14は光調節部と混用され得る。
光源11は発光素子を含み、発光素子を駆動して一定の位相を有する光を物体(OB)に照射する機能を遂行する。光源11は既設定されたフレーム周期に同期化して点滅を繰り返すように動作することができる。
光源11に含まれる発光素子としては、レーザー(Laser)、レーザーダイオード(Laser Diode)などが含まれ得るが、その他の種類の光源も使用することができる。
レーザーまたはレーザーダイオードから照射される光は、発光ダイオード(Light Emitting Diode、LED)から照射される光に比べて相対的に指向性が優秀な特性がある。したがって、レーザーまたはレーザーダイオードを光源11として使用する場合、発散角および照射領域調節が容易である。
光源11から照射される光の波長は赤外線(Infrared Ray)帯域に含まれ得るが、その他の波長帯域に含まれることもある。
レンズ12は光源11から照射される光の経路上に配置され、点光源である光源11から照射される光を面光源化する機能を遂行する。レーザーの場合、指向性は優秀であるが、相対的に発散角が小さい特性がある。したがって、深さ映像を獲得するためには物体(OB)全体に均一に光を照射するようにレンズ12を使用することができる。
ホログラフィック素子13は光源11と物体(OB)の間、またはレンズ12と物体(OB)の間に配置され、光源11から照射される光の発散角および照射領域を制御する機能を遂行する。
図8の(a)は、光源(LED)から照射される光がホログラフィック素子13なしに物体(OB)に照射される場合を図示したもので、図8の(b)は光源(LED)から照射される光がホログラフィック素子13により発散角が調節されて物体(OB)に照射される場合を図示したものである。
図8の(a)を参照すると、LEDから照射される光はセンサーに像が写る領域以外の他の領域(a1、a2)にも照射されるため、光効率が低下する。
反面、図8の(b)を参照すると、LEDから照射される光は、ホログラフィック素子13によりセンサーに像が写る領域(画角)を大きく外れないように発散角が調節され、光の無駄が最小化され、光効率が向上され得る。
一方、レンズ12は必須のものではないため、ホログラフィック素子13により照度均一度が確保される場合には省略することもできる。
再び、図7を参照すると、ホログラフィック素子13はコンピュータホログラム(Computer Generated Hologram、CGH)方式で製造され得る。ホログラム(hologram)は、物体から散乱される情報が入った物体波(signal wave)と可干渉参照波(reference wave)から発生する干渉パターンで、CGHはコンピュータを利用してこのような干渉パターンを数学的に計算して作る方式である。
ホログラフィック素子13はコンピュータによって計算された干渉パターンを記録媒質に記録して形成され得る。
ホログラフィック素子13で干渉パターンが記録される記録媒質は感光材料で形成された基板を含むことができる。感光材料としては、フォトポリマー(photopolymer)、UVフォトポリマー、フォトレジスト(photoresist)、シルバーパーライトエマルジョン(silver halide emulsion)、重クロム酸ゼラチン(dichromated gelatin)、フォトグラフィックエマルジョン(photographic emulsion)、フォトサーモプラスチック(photothermoplastic)、光回折(photorefractive)材料などが使用され得る。
ホログラフィック素子13は、体積ホログラフィック(volume holographic)素子または表面ホログラフィック(surface holographic)素子であり得る。
体積ホログラフィック素子は、物体波と参照波の干渉で空間に形成されている干渉パターンを記録媒質に3次元的に記録したホログラフィック光学素子である。反面、表面ホログラフィック素子は物体波と参照波の干渉で空間に形成されている干渉パターンを記録媒質の表面に記録したホログラフィック光学素子である。
ホログラフィック素子13が表面ホログラフィック素子である場合、干渉パターンは光源11から入射した光が出射する出射面に形成され得る。
ホログラフィック素子13はアクチュエーター14に連結され、アクチュエーター14により位置、傾き(tilting)などが調節され得る。
アクチュエーター14は、ホログラフィック素子13を駆動する駆動装置であって、光源11の光軸(Optic Axis)を基準としてホログラフィック素子13の位置、傾き(tilting)などを調節することができる。
ホログラフィック素子13の位置、傾きなどが変更されると、ホログラフィック素子13を通過した光が物体(OB)に照射される照射領域が移動(shift)し、これによって物体(OB)により反射した光がセンサ部22の各セルに写る領域も移動する。
アクチュエーター14は制御部15の制御信号に基づいて、ホログラフィック素子13の照射領域がスイッチングされるようにホログラフィック素子13を駆動させることができる。すなわち、アクチュエーター14は、奇数番目のフレーム周期にホログラフィック素子13の照射領域が、偶数番目のフレーム周期でのホログラフィック素子13の照射領域と異なるようにホログラフィック素子13を駆動することができる。
奇数番目のフレーム周期でのホログラフィック素子13の照射領域は、偶数番目のフレーム周期でのホログラフィック素子13の照射領域に比べて、センサ部22の一つのセルにマッチングされる領域だけ上または下へ移動した領域であり得る。すなわち、ホログラフィック素子13の照射領域は、奇数番目のフレーム周期でのセンサ部22のセルに写る位置と、偶数番目のフレーム周期でのセンサ部22のセルに写る位置が一つのセルだけ差があるように、毎フレーム周期ごとに調節され得る。これに伴い、同じ地点で反射した光であっても奇数番目のフレーム周期でセンサ部22のセルに写る位置と、偶数番目のフレーム周期でセンサ部22のセルに写る位置が一つのセルだけ差があり得る。
アクチュエーター14はVCM(Voice Coil Moto)アクチュエーターまたはMEMS(Microelectromechanical Systems)アクチュエーターであり得る。
制御部15は既設定されたフレーム(frame)周期に基づいて光源11のオン(On)/オフ(Off)を制御することができる。
図9を例にすると、制御部15は毎フレーム周期ごとに光源11が点滅するように、光源11を周期的にオン(On)/オフ(Off)することができる。すなわち、制御部15はフレーム周期(T1、T2)が始まると光源11をオンして光を照射し、所定時間が経つと光源11をオフしてフレーム周期(T1、T2)が終了するまで光照射を中断するように制御する動作を、毎フレーム周期(T1、T2)ごとに遂行することができる。
制御部15は毎フレーム周期ごとにホログラフィック素子13の照射領域がスイッチングされるようにアクチュエーター14を制御することができる。
深さセンサモジュール10の受光部は受光レンズ21およびセンサ部22を含むことができる。本明細書において、受光部は光入力部と混用され得る。
受光レンズ21は物体(OB)とセンサ部22の間に配置され、物体(OB)側から反射する反射光を受光してセンサ部22に入射させる機能を遂行する。
センサ部22は受光レンズ21を通じて物体(OB)から反射する反射光を受光し、これを電気信号に変換して映像信号を出力する。
センサ部22は複数のセルからなり、各セルはフレームを構成する各ピクセル(pixel)に対応することができる。センサ部22はセル単位で光を受光し、セル単位で映像信号を出力することができる。
センサ部22を構成する各セルは、光を電気信号に変換する素子を含むことができる。各セルはこれに限定されるものではないか、金属酸化物半導体(Metal−Oxide Semiconductor、MOS)、電荷結合素子(Charge Coupled Device、CCD)などを含むことができる。
センサ部22は既設定されたフレーム周期に同期化して反射光を受光し、これを映像信号に変換して出力することができる。
一方、ホログラフィック素子13により毎フレーム周期ごとに照射領域がスイッチングされることによって、センサ部22に像が写る位置も毎フレーム周期ごとにスイッチングされ得る。
ホログラフィック素子13はアクチュエーター14により奇数番目のフレーム周期と偶数番目のフレーム周期で互いに異なる領域に光を照射する。これによって、物体(OB)の同じ位置で反射した光であっても奇数番目のフレーム周期でセンサ部22に像が写る位置と偶数番目のフレーム周期でセンサ部22に像が写る位置が異なり得る。
奇数番目のフレーム周期にセンサ部22に写る像は偶数番目のフレーム周期にセンサ部22に写る像に比べて、一つのセルだけ上/下に移動して写り得る。
信号処理部31はセンサ部22から出力される映像信号に対してサンプリング(sampling)などの信号処理を遂行してフレームを生成する。ここで、フレームは複数のピクセルを含み、各ピクセルのピクセル値は各ピクセルに対応する映像信号から獲得することができる。
信号処理部31はフレーム周期に対応してセンサ部22から出力される映像信号をフレームに変換して出力することができる。
図9を例にすると、信号処理部31は毎フレーム周期ごと(T1、T2)に映像信号をフレーム5a、5bに変換して出力し、奇数番目のフレーム周期(T1)と偶数番目のフレーム周期(T2)にそれぞれ同期化して奇数フレーム5aと偶数フレーム5bを出力することができる。
信号処理部31はセンサ部22の各セルを通じて受光した光と光源11により照射された光との位相差に基づいて各セル、すなわち、各ピクセルに対応する深さ情報を算出することもできる。算出した深さ情報はフレームを構成する各ピクセルに対応して貯蔵される。
デインターレーサー32は、信号処理部31から奇数フレームと偶数フレームをそれぞれ受信し、二つのフレームを結合して一つの深さ映像を生成することができる。
デインターレーサー32は、信号処理部31から出力される奇数フレームと偶数フレームを行(line)単位で交互に挿入することによって、解像度がセンサ部22の解像度より2倍に増加した深さ映像を生成することができる。図10を例にすると、奇数フレームと偶数フレームは、それぞれ10(行)×10(列)ピクセルの解像度を有し、二つのフレームを行単位で交差結合した深さ映像の解像度は20(行)×10(列)ピクセルであり、垂直方向解像度がセンサ部22の解像度より2倍増加した。図7の制御部15、信号処理部31およびデインターレーサー32は図1の制御部140に対応することができる。
図11は本発明の他の実施例に係る深さ情報抽出装置の深さ情報抽出方法を図示したフローチャートである。
図11を参照すると、深さセンサモジュール10は奇数番目のフレーム周期に同期化して光を照射するように光源11を制御する(S101)。
前記S101段階で、光源11から照射された光はホログラフィック素子13により照射領域が制御され得る。
光源11から照射された光が物体から反射してセンサ部22に入射することによって、センサ部22はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部31はセンサ部22から出力される映像信号を信号処理して奇数フレームを生成する(S102)。
奇数フレームが獲得されると、深さセンサモジュール10はホログラフィック素子13を制御して物体に光が照射される照射領域を移動させる(S103)。
前記S103段階で、深さセンサモジュール10はアクチュエーター14を制御してホログラフィック素子13の傾きを調節することによって、照射領域を移動させることができる。
偶数番目のフレーム周期が始まると、深さセンサモジュール10はこれに同期化して物体に光を照射するように光源11を制御する(S104)。
前記S104段階で、光源11から照射された光はホログラフィック素子13により偶数番目のフレーム周期と照射領域が異なり得る。
光源11から照射された光が物体から反射してセンサ部22に入射することによって、センサ部22はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部31はセンサ部22から出力される映像信号を信号処理して偶数フレームを生成する(S105)。
デインターレーサー32はフレームを構成するピクセルアレイの行単位で奇数フレームと偶数フレームを結合して深さ映像を生成する(S106)。
前記S106段階で、デインターレーサー32は奇数フレームと偶数フレームのピクセル行を順次交差結合することによって、深さ映像を生成することができる。
以下、図12〜図14を参照して、本発明のさらに他の実施例に係る深さ情報抽出方法およびこれを遂行するための深さ情報抽出装置について詳細に説明する。
図12は本発明のさらに他の実施例に係る深さ情報抽出装置を概略的に図示したブロック図である。図13は本発明のさらに他の実施例に係る深さ情報抽出装置が深さ情報を抽出する方法を説明するための図面である。
以下では重複説明を避けるために、図7を参照して説明した深さ情報抽出装置とその機能が同一の構成要素については詳細な説明を省略する。
図12を参照すると、本発明のさらに他の実施例に係る深さ情報抽出装置は深さセンサモジュール10、信号処理部31およびデインターレーサー32を含むことができる。図12に図示された構成要素は必須のものではなく、本発明のさらに他の実施例に係る深さ情報抽出装置はそれより多いか少ない構成要素を含むことができる。
深さセンサモジュール10はTOFセンサモジュールであって、複数の発光部と受光部を含むことができる。
深さセンサモジュール10を構成する複数の発光部は、光源11a、11b、レンズ12a、12bおよびホログラフィック素子13a、13bをそれぞれ含むことができる。複数の発光部は制御部15をさらに含むことができる。ここで、光源11a、11bは光出力部と混用され得、ホログラフィック素子13a、13bは光調節部と混用され得る。
複数の光源11a、11bは互いに所定間隙離隔して配置され得る。複数の光源11a、11bの間には深さセンサモジュール10のセンサ部22が配置され得る。
以下では説明の便宜のために、複数の発光部をそれぞれ第1および第2発光部と命名して使用し、第1発光部を構成する構成要素を第1光源11a、第1レンズ12aおよび第1ホログラフィック素子13aと命名して使用する。また、第2発光部を構成する構成要素を第2光源11b、第2レンズ12bおよび第2ホログラフィック素子13bと命名して使用する。しかし、前記構成要素は第1、第2などのように序数を含む用語によって限定されない。
第1および第2光源11a、11bは互いに所定間隙離隔して配置され、発光素子を駆動して一定の位相を有する光を物体(OB)に照射する機能を遂行する。
第1および第2光源11a、11bに含まれる発光素子としては、レーザー、レーザーダイオードなどが含まれ得るが、その他の種類の光源も使用することができる。第1および第2光源11a、11bから照射される光の波長は赤外線帯域に含まれ得るが、その他の波長帯域に含まれることもある。
第1および第2光源11a、11bは互いに異なるフレーム周期に発光するように点滅が制御され得る。例えば、第1光源11aは奇数番目のフレーム周期に同期化して発光し、第2光源11bは偶数番目のフレーム周期に同期化して発光することができる。
第1レンズ12aは第1光源11aから照射される光の経路上に配置され、点光源である第1光源11aから照射される光を面光源化する機能を遂行する。また、第2レンズ12bは第2光源12bから照射される光の経路上に配置され、点光源である第2光源11bから照射される光を面光源化する機能を遂行する。
第1ホログラフィック素子13aは第1光源11aと物体(OB)の間、または第1レンズ12aと物体(OB)の間に配置され、第1光源11aから照射される光の発散角および照射領域を制御する機能を遂行する。また、第2ホログラフィック素子13bは第2光源11bと物体(OB)の間、または第2レンズ12bと物体(OB)の間に配置され、第2光源11bから照射される光の発散角および照射領域を制御する機能を遂行する。
一方、第1および第2レンズ12a、12bは必須のものではなく、第1および第2ホログラフィック素子13a、13bにより照度均一度が確保される場合には省略することもできる。
第1および第2ホログラフィック素子13a、13bはCGH方式で製造され得る。
第1および第2ホログラフィック素子13a、13bはコンピュータによって計算された干渉パターンを記録媒質に記録して形成され、干渉パターンが記録される記録媒質はフォトポリマー、UVフォトポリマー、フォトレジスト、シルバーパーライトエマルジョン、重クロム酸ゼラチン、フォトグラフィックエマルジョン、フォトサーモプラスチック、光回折材料などの感光材料を使用することができる。
第1および第2ホログラフィック素子13a、13bは体積ホログラフィック素子または表面ホログラフィック素子であり得る。
第1および第2ホログラフィック素子13a、13bに記録される干渉パターンは、第1光源11aおよび第2光源11bにより照射された光が物体(OB)の互いに異なる領域に照射されるように形成され得る。
例えば、第1光源11aから出射される光が照射される領域と、第2光源11bから出射される光が照射される領域が、互いにセンサ部22の一つのセルにマッチングされる領域だけ差があるように第1ホログラフィック素子13aと第2ホログラフィック素子13bの干渉パターンが形成され得る。
制御部15は既設定されたフレーム(frame)周期に基づいて第1および第2光源11a、11bのオン/オフを制御することができる。図13を例にすると、制御部15は奇数番目のフレーム周期(T1)に同期化して第1光源11aが発光し、偶数番目のフレーム周期(T2)に同期化して第2光源11bが発光するように第1および第2光源11a、11bのオン/オフを制御することができる。
これによって、毎フレーム周期ごとに物体(OB)に光を照射する光源がスイッチングされ、第1および第2ホログラフィック素子13a、13bにより光が照射される領域も光源のスイッチングに対応してスイッチングされ得る。
深さセンサモジュール10の受光部は受光レンズ21およびセンサ部22を含むことができる。
受光レンズ21は物体(OB)とセンサ部22の間に配置され、物体(OB)側から反射する反射光を受光してセンサ部22に入射させる機能を遂行する。
センサ部22は複数のセルからなり、各セルはフレームを構成する各ピクセル(pixel)に対応することができる。センサ部22はセル単位で光を受光し、セル単位で映像信号を出力することができる。
センサ部22を構成する各セルは、これに限定されるものではないか、MOS、CCDなどを含むことができる。
センサ部22は既設定されたフレーム周期に同期化して反射光を受光し、これを映像信号に変換して出力することができる。
毎フレーム周期ごとに物体(OB)に光を照射する光源がスイッチングされることによって、センサ部22に像が写る位置も毎フレーム周期ごとにスイッチングされ得る。すなわち、光源のスイッチングによって、奇数番目のフレーム周期での光照射領域と偶数番目のフレーム周期での光照射領域がそれぞれ異なり、これによって奇数番目のフレーム周期にセンサ部22に写る像と偶数番目のフレーム周期にセンサ部22に写る像は若干の位置差が発生する可能性がある。例えば、奇数番目のフレーム周期にセンサ部22に写る像は、偶数番目のフレーム周期にセンサ部22に写る像に比べて、一つのセルだけ上/下に移動して写り得る。
信号処理部31はフレーム周期に対応してセンサ部22から出力される映像信号をフレームに変換して出力することができる。
図13を例にすると、信号処理部31は毎フレーム周期(T1、T2)ごとに映像信号をフレーム5a、5bに変換して出力し、奇数番目のフレーム周期(T1)と偶数番目のフレーム周期(T2)にそれぞれ同期化して奇数フレーム5aと偶数フレーム5bを出力することができる。
信号処理部31はセンサ部22の各セルを通じて受光した光と第1および第2光源11a、11bにより照射された光との位相差に基づいて、各セル、すなわち、各ピクセルに対応する深さ情報を算出することもできる。算出した深さ情報はフレームを構成する各ピクセルに対応して貯蔵される。
デインターレーサー32は信号処理部31から奇数フレームと偶数フレームをそれぞれ受信し、二つのフレームを結合して一つの深さ映像を生成することができる。
デインターレーサー32は図10に図示された通り、信号処理部31から出力される奇数フレームと偶数フレームを行単位で交互に挿入することによって、解像度がセンサ部22の解像度より2倍に増加した深さ映像を生成することができる。
図14は本発明のさらに他の実施例に係る深さ情報抽出装置で深さ情報を抽出する方法を図示したフローチャートである。
図14を参照すると、深さセンサモジュール10は奇数番目のフレーム周期に同期化して光を照射するように第1光源11aを制御する(S201)。
前記S201段階で、第1光源11aで照射された光は第1ホログラフィック素子13aにより照射領域が制御され得る。
第1光源11aから照射された光が物体から反射してセンサ部22に入射することによって、センサ部22はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部31はセンサ部22から出力される映像信号を信号処理して奇数フレームを生成する(S202)。
次に、深さセンサモジュール10は偶数番目のフレーム周期に同期化して光を照射するように第2光源11bを制御する(S203)。
前記S203段階で、第2光源11bから照射された光は第2ホログラフィック素子13bにより前記S201段階での照射領域から上または下の方向に移動して照射され得る。
第2光源11bから照射された光が物体から反射してセンサ部22に入射することによって、センサ部22はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部31はセンサ部22から出力される映像信号を信号処理して偶数フレームを生成する(S204)。
光源11から照射された光が物体から反射してセンサ部22に入射することによって、センサ部22はこれに対応する映像信号を各ピクセル単位で生成する。また、信号処理部31はセンサ部22から出力される映像信号を信号処理して偶数フレームを生成する(S204)。
デインターレーサー32はフレームを構成するピクセルアレイの行単位で奇数フレームと偶数フレームを結合して深さ映像を生成する(S205)。
前記S106段階で、デインターレーサー32は奇数フレームと偶数フレームのピクセル行を順次交差結合することによって深さ映像を生成することができる。
本発明の実施例によれば、ホログラフィック素子を使用して奇数フレーム周期と偶数フレーム周期の光源の照射領域を異なるように調節し、これによって得られる奇数フレームと偶数フレームを結合して一つの深さ映像を生成することによって深さ映像の解像度を向上させる効果がある。
また、ホログラフィック素子を利用して光発散角を調節することによって、光効率を向上させる効果がある。
前記では本発明の好ましい実施例を参照して説明したが、該当技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明を多様に修正および変更できることが理解できるであろう。