JP2017506740A - 深さ情報抽出装置および方法 - Google Patents

Abstract

【解決手段】本発明の一実施例に係る深さ情報抽出装置は所定パターンのＩＲ（ＩｎｆｒａＲｅｄ）光を非連続的に投射する投射部、映像を撮影するカメラ部、そして前記カメラ部によって撮影された映像を利用して深さ情報抽出およびＲＧＢ映像情報抽出を遂行する信号処理部を含み、前記信号処理部は第１時間領域の間受信した映像を利用して深さ情報を抽出し、第２時間領域の間受信した映像を利用してＲＧＢ映像情報を抽出する。【選択図】図１

Description

本発明は深さ情報抽出装置および方法に関するものである。

撮影装置を利用して３次元映像を獲得する技術が発展している。３次元映像を獲得するためには深さ情報（Ｄｅｐｔｈ Ｍａｐ）が必要である。深さ情報は空間上の距離を表す情報であり、２次元映像の一地点に対して他の地点の遠近情報を表す。

深さ情報を獲得する方法としては、ステレオカメラ（ｓｔｅｒｅｏ ｃａｍｅｒａ）を利用する方式、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式および構造光方式などがある。

ステレオカメラを利用する方式によれば、二つのカメラ間の時差を利用して深さ情報を獲得することができる。ＴＯＦ方式によれば、飛行時間、すなわち光を照射して反射してくる時間を測定することによって深さ情報を獲得することができる。構造光方式によれば、ＩＲ（ＩｎｆｒａＲｅｄ）構造光をカメラに投射し、客体から反射した光を解釈して深さ情報を獲得することができる。

一方、ＴＶを応用する技術が発展するにつれて、深さ情報抽出機能および映像通話機能を含むモジュールがＴＶに内蔵されるか、ＴＶと連結され得る。このようなモジュールはＩＲ構造光を投射するプロジェクター（ｐｒｏｊｅｃｔｏｒ）、ＩＲ構造光を検出するＩＲカメラおよびＲＧＢカメラを含むことができる。

このように、深さ情報抽出機能および映像通話機能を含むモジュールがＩＲカメラとＲＧＢカメラをすべて含む場合、製造費用が高くなるだけでなく、サイズが大きくなり、構造が複雑になるため、ＴＶに内蔵させることが困難である問題がある。

本発明が達成しようとする技術的課題は深さ情報抽出装置および方法を提供するところにある。

本発明の一実施例に係る深さ情報抽出装置は所定パターンのＩＲ（ＩｎｆｒａＲｅｄ）光を非連続的に投射する投射部、映像を撮影するカメラ部、そして前記カメラ部によって撮影された映像を利用して深さ情報抽出およびＲＧＢ映像情報抽出を遂行する信号処理部を含み、前記信号処理部は第１時間領域の間受信した映像を利用して深さ情報を抽出し、第２時間領域の間受信した映像を利用してＲＧＢ映像情報を抽出する。

前記投射部は前記ＩＲ光を周期的に投射することができる。

前記第１時間領域は前記投射部が前記ＩＲ光を投射する区間に対応することができる。

前記第２時間領域は前記投射部が前記ＩＲ光を投射しない区間に対応することができる。

前記第１時間領域の間受信した映像は前記ＩＲ光のパターンおよびＲＧＢ映像を含み、前記第２時間領域の間受信した映像はＲＧＢ映像を含むことができる。

前記カメラ部はＲＧＢ映像を撮影するＲＧＢカメラであり得る。

前記投射部、前記カメラ部および前記信号処理部を制御する制御部をさらに含み、前記制御部は前記ＩＲ光を投射する周期を制御することができる。

前記制御部は要求される深さ分解能（Ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ）および客体の距離の中の少なくとも一つにより前記ＩＲ光を投射する周期を制御することができる。

本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出方法は所定パターンのＩＲ（ＩｎｆｒａＲｅｄ）光を非連続的に投射する段階、映像を撮影する段階、第１時間領域の間撮影された映像を利用して深さ情報を抽出する段階、そして第２時間領域の間撮影された映像を利用してＲＧＢ映像情報を抽出する段階を含む。

前記第１時間領域は前記ＩＲ光を投射する区間に対応し、前記第２時間領域は前記ＩＲ光を投射しない区間に対応することができる。

前記深さ情報を抽出する段階によって抽出された深さ情報を利用して前記ＩＲ光を投射する周期を調節する段階をさらに含むことができる。

前記調節する段階では、客体との距離と臨界値を比較し、比較結果により前記周期を短くなるように制御するか、長くなるように制御することができる。

本発明の実施例によれば、一つのカメラを利用して深さ情報抽出および映像通話機能をすべて遂行するため、装置の製造費用およびサイズを減らすことができる。

深さ情報抽出装置の一例を示すブロック図である。 ＲＧＢカメラの波長帯域別Ｑｕａｎｔｕｍ Ｅｆｆｉｃｉｅｎｃｙを示す。 本発明の一実施例に係る深さ情報抽出装置のブロック図である。 本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出方法を示すフローチャートである。 本発明の一実施例に係る深さ情報抽出装置の投射部が周期的にＩＲ光を投射するパターンを示す。 本発明の一実施例に係る深さ情報抽出装置のＲＧＢカメラが撮影する映像を示す。

本発明は多様な変更を加えることができ、様々な実施例を有することができるところ、特定実施例を図面に例示して説明する。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想および技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解されるべきである。

第２、第１などのように序数を含む用語は多様な構成要素の説明に用いることができるが、前記構成要素は前記用語によって限定されるものではない。前記用語は一つの構成要素を他の構成要素から区別する目的にのみ用いられる。例えば、本発明の権利範囲を逸脱することなく第２構成要素を第１構成要素と命名することができ、同様に第１構成要素も第２構成要素と命名することができる。および／またはという用語は複数の関連する記載された項目の組合せまたは複数の関連する記載された項目の中のいずれか一つの項目を含む。

ある構成要素が他の構成要素に「連結されて」あるまたは「接続されて」あると言及された時には、その他の構成要素に直接的に連結されているかまたは接続されていることもあり得るが、中間に他の構成要素が存在することもあると理解されるべきである。反面、ある構成要素が他の構成要素に「直接連結されて」あるまたは「直接接続されて」あると言及された時には、中間に他の構成要素が存在しないものと理解されるべきである。

本出願に用いられた用語は単に特定の実施例を説明するために用いられたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に異なることを意味しない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたのが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性をあらかじめ排除しないものと理解されるべきである。

特に定義されない限り、技術的または科学的な用語を含めてここで用いられるすべての用語は、本発明が属する技術分野で通常の知識を有した者によって一般的に理解されるものと同じ意味を有している。一般的に用いられる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味と解釈されない。

以下、添付された図面を参照して実施例を詳細に説明するものの、図面符号にかかわらず同一であるかまたは対応する構成要素は同じ参照番号を付与し、これに対する重複する説明は省略する。

図１は深さ情報抽出装置の一例を示すブロック図である。

図１を参照すると、深さ情報抽出装置１００は投射部１１０、ＩＲカメラ１２０、ＲＧＢカメラ１３０、信号処理部１４０および制御部１５０を含む。

投射部１１０はあらかじめ定められたパターンのＩＲ光を撮影しようとする客体（ｏｂｊｅｃｔ）に投射する。

ＩＲカメラ１２０は投射部１１０から投射された後、客体から反射した光を撮影する。そして、ＲＧＢカメラ１３０はＲＧＢ映像を撮影する。

信号処理部１４０はＩＲカメラ１２０によって撮影された映像を利用して深さ情報を抽出し、ＲＧＢカメラ１３０から撮影された映像を利用してＲＧＢ映像情報を抽出する。制御部１５０は深さ情報抽出装置１００を全般的に制御する。

このように、深さ情報抽出装置１００がＩＲカメラ１２０とＲＧＢカメラ１３０を別途に含むと、深さ情報抽出装置１００の製造費用が高くなるだけでなく、サイズも大きくなり、ＴＶに内蔵させることが困難である問題がある。

一方、図２に示した通り、一般的なＲＧＢカメラは４００〜７００ｎｍの可視光線帯域でのＱｕａｎｔｕｍ Ｅｆｆｉｃｉｅｎｃｙが３０％以上であるか、８００〜８５０ｎｍのＩＲ帯域でのＱｕａｎｔｕｍ Ｅｆｆｉｃｉｅｎｃｙも２０％以上であることがことがわかる。このように、一般的なＲＧＢカメラは主に可視光線の波長帯域を感知するが、近赤外線の波長帯域も感知することができる。したがって、本発明の一実施例によれば、ＲＧＢカメラを利用して深さ情報抽出機能も遂行しようとする。

図３は本発明の一実施例に係る深さ情報抽出装置のブロック図である。

図３を参照すると、深さ情報抽出装置３００は投射部３１０、ＲＧＢカメラ３２０、信号処理部３３０および制御部３４０を含む。

投射部３１０は所定パターンの光を非連続的に投射する。すなわち、投射部３１０は光を所定時間の間投射した後、所定時間の間投射しない過程を繰り返すことができる。このとき、投射部３１０は所定パターンの光を周期的に投射することができる。ここで、所定パターンの光は波長帯域が８００ｎｍ以上である赤外線光であり得る。このために、投射部３１０は赤外線を投射する少なくとも一つのレーザーダイオード（Ｌａｓｅｒ Ｄｉｏｄｅ、ＬＤ）または発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）を含むことができる。投射部３１０は、例えば、レーザープロジェクター（Ｌａｓｅｒ Ｐｒｏｊｅｃｔｏｒ）であり得る。

ＲＧＢカメラ３２０は映像を撮影する。ＲＧＢカメラ３２０は基本的にＲＧＢ映像を撮影するか、投射部３１０が投射した後物体によって反射したＩＲ光も感知することができる。ＲＧＢカメラ３２０がＲＧＢ映像だけを撮影する時間領域とＲＧＢ映像とともにＩＲ光も感知する時間領域は投射部３１０がＩＲパターンを投射する周期に従うことができる。すなわち、ＲＧＢカメラ３２０がＲＧＢ映像とともにＩＲ光も感知する時間領域は投射部３１０がＩＲパターンを投射する時間領域に対応することができる。例えば、ＲＧＢカメラ３２０が１２８０＊１０２４の解像度で６０ｆｐｓの出力を送りだす場合、１２８０＊１０２４の解像度の３０ｆｐｓはＲＧＢ映像用として使用され、１２８０＊１０２４の解像度の残りの３０ｆｐｓはＲＧＢ映像とＩＲ光感知用として使用され得る。

信号処理部３３０はＲＧＢカメラ３２０によって撮影された映像を利用して深さ情報抽出およびＲＧＢ映像情報を抽出する。信号処理部３３０はＲＧＢカメラ３２０によって撮影された映像がＲＧＢ映像だけを含む場合、これからＲＧＢ映像情報を抽出することができる。そして、ＲＧＢカメラ３２０によって撮影された映像がＲＧＢ映像とともにＩＲ光も含む場合、これから深さ情報を抽出することができる。このために、信号処理部３３０は投射部３１０がＩＲ光を投射する周期を前もって知ることができる。

制御部３４０は投射部３１０、ＲＧＢカメラ３２０および信号処理部３３０を全般的に制御する。特に、制御部３４０は投射部３１０がＩＲ光を投射する周期を制御することができる。そして、制御部３４０は投射部３１０がＩＲ光を投射する周期に対する情報を信号処理部３３０に伝達することができる。例えば、信号処理部３３０によって抽出される深さ情報の深さ分解能（Ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ）が所定水準以下である場合、制御部３４０は投射部３１０がさらに短い周期でＩＲ光を投射するように制御することができる。信号処理部３３０によって深さ情報を一次的に抽出した結果、客体とＲＧＢカメラ１２０間の平均距離または客体内の特定領域とＲＧＢカメラ１２０間の距離が所定水準以上である場合、投射部３１０がさらに短い周期でＩＲ光を投射するように制御することもできる。

本発明の一実施例に係る深さ情報抽出装置３００が深さ情報を抽出する方法を以下で詳細に説明する。

図４は本発明の一実施例に係る深さ情報抽出装置の深さ情報抽出方法を示すフローチャートであり、図５は本発明の一実施例に係る深さ情報抽出装置の投射部が周期的にＩＲ光を投射するパターンを示し、図６は本発明の一実施例に係る深さ情報抽出装置のＲＧＢカメラが撮影する映像を示す。

図４を参照すると、深さ情報抽出装置３００の投射部３１０は所定パターンのＩＲ光を非連続的に投射する（Ｓ４００）。ここで、所定パターンの光は波長帯域が８００ｎｍ以上である赤外線光であり得る。所定パターンは構造光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）のパターンを意味し得る。図５のように、投射部３１０は所定パターンのＩＲ光を「Ｏｎ」区間でのみ投射し、「Ｏｆｆ」区間では投射しないように設定され得る。

ＲＧＢカメラ１２０は映像を撮影する（Ｓ４１０）。ＲＧＢカメラ１２０は基本的にＲＧＢ映像を撮影するが、近赤外線波長帯域のＩＲ光も感知することができる。例えば、図６のように、ＲＧＢカメラ３２０は投射部３１０が「Ｏｆｆ」である区間の間にはＲＧＢ映像だけを撮影するが、投射部３１０が「Ｏｎ」である区間の間にはＲＧＢ映像とともにＩＲ光のパターンも撮影することができる。

信号処理部３３０は投射部３１０が「Ｏｎ」である区間の間撮影された映像を利用し（Ｓ４２０）、深さ情報を抽出する（Ｓ４３０）。ＲＧＢカメラ３２０によって撮影された映像のうちＩＲ光は客体から反射した光である。これは投射部３１０によって投射された光のパターンと差がある。信号処理部３３０は投射部３１０が投射したＩＲ光のパターンとＲＧＢカメラ３２０が撮影したＩＲ光のパターンを比較し、深さ情報を抽出することができる。深さ情報はＩＲ構造光方式を利用する多様な深さ情報抽出アルゴリズムによって抽出され得る。信号処理部３３０が深さ情報抽出装置３００の内部に含まれるものと図示されているが、信号処理部３３０は深さ情報抽出装置３００の外部に位置することもできる。すなわち、外部の信号処理部３３０は撮影部３２０から有線または無線で情報の伝達を受けて、深さ情報を抽出することもできる。

そして、信号処理部３２０は投射部３１０が「Ｏｆｆ」である区間の間撮影された映像を利用してＲＧＢ映像情報を抽出する（Ｓ４４０）。

一方、制御部３４０は投射部３１０がＩＲ光を投射する周期を制御することができる。例えば、段階Ｓ４３０で信号処理部３３０が深さ情報を抽出した結果、客体との距離が臨界値より大きい場合（Ｓ４５０）、投射部３１０がＩＲ光を投射する周期を調整することができる（Ｓ４６０）。すなわち、客体との距離が遠くなるほど深さ情報を抽出するために多い量のＩＲ光が必要となり得る。したがって、制御部３４０はＩＲ光を投射する周期をさらに短くなるように調整することができる。または客体との距離が臨界値以内であるか、照度が低いためＲＧＢ映像の品質が良好でない場合、制御部３４０はＩＲ光を投射する周期をさらに長くなるように調整することもできる。

前記では本発明の好ましい実施例を参照して説明したが、該当技術分野の熟練した当業者は下記の特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で本発明を多様に修正および変更できることが理解できるであろう。

Claims (12)

1. ＩＲ（ＩｎｆｒａＲｅｄ）光を非連続的に投射する投射部、
   映像を撮影するカメラ部、そして
   前記カメラ部によって撮影された映像を利用して深さ情報抽出およびＲＧＢ映像情報抽出を遂行する信号処理部を含み、
   前記信号処理部は第１時間領域の間受信した映像を利用して深さ情報を抽出し、第２時間領域の間受信した映像を利用してＲＧＢ映像情報を抽出する、深さ情報抽出装置。
2. 前記投射部は前記ＩＲ光を周期的に投射する、請求項１に記載の深さ情報抽出装置。
3. 前記第１時間領域は前記投射部が前記ＩＲ光を投射する区間に対応する、請求項１に記載の深さ情報抽出装置。
4. 前記第２時間領域は前記投射部が前記ＩＲ光を投射しない区間に対応する、請求項３に記載の深さ情報抽出装置。
5. 前記第１時間領域の間受信した映像は前記ＩＲ光のパターンおよびＲＧＢ映像を含み、前記第２時間領域の間受信した映像はＲＧＢ映像を含む、請求項１に記載の深さ情報抽出装置。
6. 前記投射部、前記カメラ部および前記信号処理部を制御する制御部をさらに含み、
   前記制御部は前記ＩＲ光を投射する周期を制御する、請求項１に記載の深さ情報抽出装置。
7. 前記制御部は要求される深さ分解能（Ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ）および客体の距離の中の少なくとも一つにより前記ＩＲ光を投射する周期を制御する、請求項６に記載の深さ情報抽出装置。
8. 深さ情報抽出装置の深さ情報抽出方法において、
   ＩＲ（ＩｎｆｒａＲｅｄ）光を非連続的に投射する段階、
   映像を撮影する段階、
   第１時間領域の間撮影された映像を利用して深さ情報を抽出する段階、そして
   第２時間領域の間撮影された映像を利用してＲＧＢ映像情報を抽出する段階を含む、深さ情報抽出方法。
9. 前記投射する段階では前記ＩＲ光を周期的に投射する、請求項８に記載の深さ情報抽出方法。
10. 前記第１時間領域は前記ＩＲ光を投射する区間に対応し、前記第２時間領域は前記ＩＲ光を投射しない区間に対応する、請求項９に記載の深さ情報抽出方法。
11. 前記深さ情報を抽出する段階によって抽出された深さ情報を利用して前記ＩＲ光を投射する周期を調節する段階をさらに含む、請求項９に記載の深さ情報抽出方法。
12. 前記調節する段階では、
    客体との距離と臨界値を比較し、比較結果により前記周期を短くなるように制御するか、長くなるように制御する、請求項１１に記載の深さ情報抽出方法。