JP2016509378A - 関心のある被写体の適応性照明を用いる奥行き撮像方法および装置 - Google Patents

Abstract

飛行時間カメラ又は構造光カメラのような奥行き撮像装置は、第１のタイプの照明を用いてシーンの第１のフレームをキャプチャし、第１のフレームにおいて関心のある被写体に関連した第１の領域を画定し、関心のある被写体の予想される動きに基づいて適応的に照明されるべき第２の領域を識別し、場合によっては出力光の振幅及び周波数の少なくとも一方が変化する第１のタイプとは異なる第２のタイプの照明を用いて、シーンの第２のフレームを第２の領域の適応性照明でもってキャプチャし、第２のフレームにおいて関心のある被写体を検出することを試みるように構成されている。第１のタイプの照明は指定された視界にわたる実質的に均一な照明からなることができ、第２のタイプの照明は実質的に第２の領域のみの照明からなることができる。【選択図】図１

Description

背景
リアルタイムに空間的シーンの三次元（３Ｄ）画像を生成するための多数の異なる技術が知られている。例えば、空間的シーンの３Ｄ画像は、異なる位置にある複数のカメラによりキャプチャされた複数の二次元（２Ｄ）画像に基づいた三角測量（triangulation：三角形分割）を用いて生成され得る。しかしながら、そのような技術の重大な欠点は、それが一般に非常に集約的な演算処理を必要とし、それ故にコンピュータ又は他の処理デバイスの過大な量の利用可能な計算資源を浪費する可能性があることである。また、そのような技術を使用する場合、不十分な周囲照明を含む条件下で正確な３Ｄ画像を生成することが困難である可能性がある。

他の知られた技術には、飛行時間（time of flight：ＴｏＦ）カメラ又は構造光（structured light：ＳＬ）カメラのような奥行き撮像装置を用いて３Ｄ画像を直接的に生成することが含まれる。このタイプのカメラは通常、コンパクトであり、迅速な画像生成を行い、電磁スペクトルの近赤外線部分で動作する。結果として、ＴｏＦ及びＳＬカメラは一般に、ビデオゲームシステムにおけるジェスチャー認識またはジェスチャーによるヒューマンマシンインターフェースを実現する他のタイプの画像処理システムのような、機械視覚の応用形態で使用される。また、ＴｏＦ及びＳＬカメラは、例えば顔検出、及び一人または複数の人間の追跡を含む多種多様な他の機械視覚の応用形態でも利用され得る。

典型的な従来のＴｏＦカメラは、例えば１つ又は複数の発光ダイオード（ＬＥＤ）又はレーザダイオードを含む光源を含む。各係るＬＥＤ又はレーザダイオードは、実質的に一定の振幅および周波数を有する連続波（ＣＷ）出力光を生成するために制御される。当該出力光は、撮像されるべきシーンを照明し、シーンの被写体（物体）により散乱または反射される。結果としての戻り光は、奥行きマップ又は他のタイプの３Ｄ画像を生成するために検出されて利用される。より具体的には、これは、例えばシーンの被写体までの距離を求めるために出力光と戻り光との間の位相差を利用することを含む。また、戻り光の振幅は、画像の輝度レベルを求めるためにも使用される。

典型的な従来のＳＬカメラは、例えば、レーザ及び関連する機械的レーザ走査システムを含む光源を含む。レーザはＳＬカメラにおいて機械的に走査されるが、それは、それにも関わらず実質的に一定の振幅を有する出力光を生成する。しかしながら、ＳＬカメラからの出力光は、ＴｏＦカメラからのＣＷ出力光のように、任意の特定の周波数において変調されていない。レーザ及び機械的レーザ走査システムは、シーンの被写体の表面上に光の狭いストライプを投影するように構成されたＳＬカメラのストライププロジェクタの一部である。これは、ＳＬカメラの検出器アレイにおいて歪んだように見える照明の線を生じる。その理由は、プロジェクタと検出器アレイが、被写体の異なる視野を有するからである。三角測量の手法は、被写体の表面形状の正確な幾何学的再構成の位置を決定するために使用される。

ＴｏＦ及びＳＬカメラの双方は一般に、長方形の視界（ＦｏＶ）の均一な照明で動作する。更に、上述したように、ＴｏＦカメラにより生成される出力光は、実質的に一定の振幅と周波数を有し、ＳＬカメラにより生成される出力光は、実質的に一定の振幅を有する。

一実施形態において、奥行き撮像装置は、第１のタイプの照明を用いてシーンの第１のフレームをキャプチャし、第１のフレームにおいて関心のある被写体に関連した第１の領域を画定し、関心のある被写体の予想される動きに基づいて適応的に照明されるべき第２の領域を識別し、第１のタイプとは異なる第２のタイプの照明を用いて、シーンの第２のフレームを第２の領域の適応性照明でもってキャプチャし、第２のフレームにおいて関心のある被写体を検出するように試みるように構成されている。

第１のタイプの照明は、例えば指定された視界にわたる実質的に均一な照明からなることができ、第２のタイプの照明は、実質的に第２の領域のみの照明からなることができる。多くの他の照明タイプが使用され得る。

本発明の他の実施形態は、以下に限定されないが、方法、システム、集積回路、及び実行された場合に処理デバイスに方法を実行させるプログラムコードを格納するコンピュータ可読媒体を含む。

一実施形態における関心のある被写体の適応性照明の機能性と共に構成された奥行き撮像装置を含む画像処理システムのブロック図である。 複数のフレームにおける関心のある被写体の１つのタイプの動きを示す図である。 図１のシステムにおける関心のある被写体の適応性照明のプロセスに関する第１の実施形態の流れ図である。 複数のフレームにおける関心のある被写体の別のタイプの動きを示す図である。 図１のシステムにおける関心のある被写体の適応性照明のプロセスに関する第２の実施形態の流れ図である。

詳細な説明
本発明の実施形態は、関心のある被写体（物体）の適応性照明の機能性を有する奥行き撮像装置を含む例示的な画像処理システムに関連して本明細書で説明される。一例として、特定の実施形態は、関心のある被写体の適応性照明を提供するように構成されたＴｏＦカメラ及びＳＬカメラのような奥行き撮像装置を含む。係る適応性照明は、やはり一例として、ＴｏＦカメラの出力光の振幅と周波数の変化、又はＳＬカメラの出力光の振幅における変化を含むことができる。しかしながら、理解されるべきは、本発明の実施形態は、奥行きマップ又は他のタイプの３Ｄ撮像装置における被写体の改善された検出を提供することが望ましい任意の画像処理システム又は関連した奥行き撮像装置に対してより広く適用可能である。

図１は、本発明の実施形態の画像処理システム１００を示す。画像処理システム１００は、ネットワーク１０４を介して、複数の処理デバイス１０２−１、１０２−２、・・１０２−Ｎと通信する奥行き撮像装置１０１を含む。本実施形態の奥行き撮像装置１０１は、ＴｏＦカメラのような３Ｄ撮像装置を含むと仮定されるが、ＳＬカメラを含む他の実施形態において、他のタイプの奥行き撮像装置が使用され得る。奥行き撮像装置１０１は、奥行きマップ又はシーンの他の奥行き画像を生成し、ネットワークを介してこれら画像を１つ又は複数の処理デバイス１０２に伝える。従って、処理デバイス１０２は、任意の組み合わせにおいて、コンピュータ、サーバ又は記憶デバイスを含むことができる。また、１つ又は複数の係るデバイスは、例えば奥行き撮像装置１０１により生成された画像を提示するために利用されるディスプレイスクリーン又は他のユーザインターフェースも含むことができる。

本実施形態において処理デバイス１０２から分離されているように示されるが、奥行き撮像装置１０１は、１つ又は複数の処理デバイスと少なくとも部分的に組み合わされ得る。従って、例えば、奥行き撮像装置１０１は、所与の１つの処理デバイス１０２を用いて少なくとも部分的に実現され得る。一例として、コンピュータは、奥行き撮像装置１０１を組み込むために構成され得る。

所与の実施形態において、画像処理システム１００は、ユーザのジェスチャーを認識するために画像を生成するビデオゲームシステム又は他のタイプのジェスチャーベースのシステムとして実現される。開示された画像形成技術は同様に、ジェスチャーによるヒューマンマシンインターフェースを必要とする多種多様の他のシステムで使用するために適合されることができ、奥行き撮像装置からの奥行き画像を処理する顔検出、人物追跡または他の技術を含む機械視覚システムのような、ジェスチャー認識以外の多くの応用形態にも適用され得る。

図１に示されたような奥行き撮像装置１０１は、光源１０６及び検出器アレイ１０８に結合された制御回路１０５を含む。光源１０６は、例えばＬＥＤアレイに構成され得る個別のＬＥＤを含むことができる。この実施形態において複数の光源が使用されるが、他の実施形態は単一の光源のみを含むことができる。理解されるべきは、ＬＥＤ以外の光源を使用してもよい。例えば、ＬＥＤの少なくとも一部は、他の実施形態において、レーザダイオード又は他の光源と置き換えられ得る。

制御回路１０５は、光源１０６の駆動回路を含む。光源のそれぞれは、関連した駆動回路を有することができ、又は複数の光源は共通の駆動回路を共有することができる。本発明の実施形態に使用するのに適した駆動回路の例は、２０１２年１０月２３日に出願され、「Optical Source Driver Circuit for Depth Imager」と題する米国特許出願第１３／６５８，１５３号に開示されており、係る米国特許は、これにより共通に割り当てられ参照により本明細書に組み込まれる。

制御回路１０５は、特定の特性を有する出力光を生成するように、光源１０６を制御する。ＴｏＦカメラを含む奥行き撮像装置における制御回路１０５の所与の駆動回路を利用して提供され得る出力光の振幅と周波数の変化に関する傾斜および階段状の例は、上記の米国特許出願第１３／６５８，１５３号に見出され得る。出力光は、撮像されるべきシーンを照明し、結果としのて戻り光が検出器アレイ１０８を用いて検出され、次いで奥行き撮像装置１０１の制御回路１０５及び他の構成要素において更に処理されて、奥行きマップ又は他のタイプの３Ｄ画像を生成する。

従って、制御回路１０５の駆動回路は、従来の奥行き撮像装置に比べて奥行き撮像装置１０１に著しく改善された性能を提供するように、指定されたタイプの振幅と周波数の変化を有する駆動信号を生成するように構成され得る。例えば、そのような構成は、駆動信号の振幅と周波数だけではなく積分時間のウィンドウのような他のパラメータも特定の効率的な最適化を可能にするように構成され得る。

本実施形態の奥行き撮像装置１０１は、少なくとも１つの処理デバイスを用いて実現されると仮定され、メモリ１１２に結合されたプロセッサ１１０を含む。プロセッサ１１０は、制御回路１０５を介して光源１０６及び検出器アレイ１０８の動作の少なくとも一部を管理するために、メモリ１１２に格納されたソフトウェアコードを実行する。また、奥行き撮像装置１０１は、ネットワーク１０４を介した通信をサポートするネットワークインターフェース１１４も含む。

プロセッサ１１０は例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、中央処理装置（ＣＰＵ）、数値演算ユニット（ＡＬＵ）、デジタル信号プロセッサ（ＤＳＰ）、又は他の類似した処理デバイスの構成要素、並びに画像処理回路の他のタイプ及び構成を任意の組み合せで含むことができる。

メモリ１１２は、後述されるモジュール１２０、１２２、１２４、１２６、１２８及び１３０の一部のような、奥行き撮像装置１０１の機能の一部の実現においてプロセッサ１１０により実行するためのソフトウェアコードを格納する。対応するプロセッサにより実行するためのソフトウェアコードを格納する所与の係るメモリは、内部に組み込まれたコンピュータプログラムコードを有するコンピュータ可読媒体または他のタイプのコンピュータプログラム製品として本明細書でより一般的に呼ばれるものの例であり、例えば、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）、磁気メモリ、光メモリ、又は任意の組合せでの他のタイプの記憶デバイスのような、電子メモリを含むことができる。上述したように、プロセッサは、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＣＰＵ、ＡＬＵ、ＤＳＰ、又は他の画像処理回路の一部または組み合わせを含むことができる。

従って、理解されるべきは、本発明の実施形態は、集積回路の形態で実現され得る。所与の係る集積回路の具現化形態において、同一のダイは一般に、半導体ウェハーの表面上で繰り返されたパターンで形成される。各ダイは例えば、本明細書で説明されるような奥行き撮像装置１０１の制御回路１０５及び場合によっては他の画像処理回路の少なくとも一部を含み、他の構造または回路を更に含むことができる。個々のダイは、ウェハーから切断またはダイシングされて、集積回路としてパッケージされる。当業者ならば、集積回路を製作するために、如何にしてウェハーをダイシングしてダイをパッケージするかを知っているであろう。そのように製造された集積回路は、本発明の実施形態とみなされる。

ネットワーク１０４は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、携帯電話ネットワーク、又は任意の他のタイプのネットワーク、並びに複数のネットワークの組み合わせのような、広域ネットワーク（ＷＡＮ）を含むことができる。奥行き撮像装置１０１のネットワークインターフェース１１４は、奥行き撮像装置１０１がネットワーク１０４を介して各処理デバイス１０２の類似したネットワークインターフェースと通信することを可能にするように構成された１つ又は複数の従来のトランシーバ又は他のネットワークインターフェース回路を含むことができる。

本実施形態の奥行き撮像装置１０１は一般に、第１のタイプの照明を用いてシーンの第１のフレームをキャプチャし、その第１のフレームにおいて関心のある被写体に関連した第１の領域を画定し、関心のある被写体の予想される動きに基づいて適応的に照明されるべき第２の領域を識別し、第１のタイプとは異なる第２のタイプの照明を用いて当該第２の領域の適応性照明でもって当該シーンの第２のフレームをキャプチャし、その第２のフレームにおいて関心のある被写体を検出することを試みるように構成されている。

所与の係るプロセスは、１つ又は複数の更なるフレームに対して繰り返され得る。例えば、関心のある被写体が第２のフレームにおいて検出される場合、プロセスは、関心のある被写体がもはや検出されなくなるまで、１つ又は複数の更なるフレームのそれぞれに対して繰り返され得る。従って、関心のある被写体は、本実施形態において、奥行き撮像装置１０１を用いて複数のフレームを通して追跡され得る。

上述された例示的なプロセスにおいて第１のタイプの照明および第２のタイプの照明は、光源１０６により生成される。第１のタイプの照明は、指定された視界にわたって実質的に均一な照明からなることができ、第２のタイプの照明は、実質的に第２の領域のみの照明からなることができるが、他の照明タイプが他の実施形態において使用され得る。

第２のタイプの照明は、第１のタイプの照明と比べて、異なる振幅および異なる周波数の少なくとも一方を呈することができる。例えば、１つ又は複数のＴｏＦカメラの実施形態のような、幾つかの実施形態において、第１のタイプの照明は、第１の振幅を有し且つ第１の周波数に従って変化する光源出力光からなり、第２のタイプの照明は、第１の振幅とは異なる第２の振幅を有し且つ第１の周波数とは異なる第２の周波数に従って変化する光源出力光からなる。

上述したプロセスのより詳細な例は、図３及び図５の流れ図に関連して後述される。図３の実施形態において、光源１０６からの出力光の振幅と周波数は変化しないが、図５の実施形態では、光源１０６からの出力光の振幅と周波数は変化する。従って、図５の実施形態は、出力光の振幅および周波数を変化させる際に、メモリ１１２に振幅および周波数ルックアップテーブル（ＬＵＴ）１３２を含む奥行き撮像装置１０１の要素、並びに制御回路１０５の振幅制御モジュール１３４及び周波数制御モジュール１３６を使用する。振幅および周波数制御モジュール１３４及び１３６は、上記の米国特許出願第１３／６５８，１５３号に説明されたものに類似する技術を用いて構成されることができ、制御回路１０５の１つ又は複数の駆動回路において実現され得る。

例えば、所与の実施形態における制御回路１０５の駆動回路は、振幅制御モジュール１３４を含むことができ、その結果、少なくとも１つの光源１０６に提供される駆動信号の振幅は、傾斜振幅変化または階段状振幅変化のような振幅変化の指定されたタイプに従って振幅制御モジュール１３４の制御下で変化する。

傾斜振幅変化または階段状振幅変化は例えば、時間の関数として振幅を増大させること、時間の関数として振幅を減少させること、又は振幅の増大と減少の組み合わせを行うように構成され得る。また、振幅の増大または減少は、線形関数または非線形関数、又は線形関数および非線形関数の組み合わせに従うことができる。

傾斜した振幅変化を用いる実施形態において、振幅制御モジュール１３４は、開始振幅、終了振幅、偏倚振幅および傾斜した振幅変化の持続時間の１つ又は複数を含む傾斜振幅変化の１つ又は複数のパラメータのユーザ選択を可能にするように構成され得る。

同様に、階段状振幅変化を用いる実施形態において、振幅制御モジュール１３４は、開始振幅、終了振幅、偏倚振幅、振幅のステップサイズ、時間ステップサイズおよび階段状振幅変化の持続時間の１つ又は複数を含む階段状振幅変化の１つ又は複数のパラメータのユーザ選択を可能にするように構成され得る。

所与の実施形態において、制御回路１０５の駆動回路は、追加的に又は代案として、周波数制御モジュール１３６を含むことができ、その結果、少なくとも１つの光源１０６に提供される駆動信号の周波数は、傾斜した周波数変化または階段状周波数変化のような周波数変化の指定されたタイプに従って周波数制御モジュール１３６の制御下で変化する。

傾斜周波数変化または階段状周波数変化は例えば、時間の関数として周波数を増大させること、時間の関数として周波数を減少させること、又は周波数の増大と減少の組み合わせを行うように構成され得る。また、周波数の増大または減少は、線形関数または非線形関数、又は線形関数および非線形関数の組み合わせに従うことができる。更に、周波数変化は、駆動回路が振幅制御モジュール１３４及び周波数制御モジュール１３６の双方を含む場合、前述した振幅変化と同期され得る。

傾斜した周波数変化を用いる実施形態において、周波数制御モジュール１３６は、開始周波数、終了周波数、及び傾斜した周波数変化の持続時間の１つ又は複数を含む傾斜周波数変化の１つ又は複数のパラメータのユーザ選択を可能にするように構成され得る。

同様に、階段状周波数変化を用いる実施形態において、周波数制御モジュール１３６は、開始周波数、終了周波数、周波数のステップサイズ、時間ステップサイズ及び階段状周波数変化の持続時間の１つ又は複数を含む階段状周波数変化の１つ又は複数のパラメータのユーザ選択を可能にするように構成され得る。

線形関数、指数関数、二次関数または任意関数に従う変化を含む、振幅変化および周波数変化の多種多様の異なるタイプ及び組み合わせが、他の実施形態において使用され得る。

留意されるべきは、振幅制御モジュール１３４及び周波数制御モジュール１３６は、ＴｏＦカメラのような出力光の振幅および周波数が変化することができる奥行き撮像装置１０１の実施形態において利用される。

奥行き撮像装置１０１の他の実施形態は例えば、出力光の周波数が一般に変化しないＳＬカメラを含むことができる。係る実施形態において、ＬＵＴ１３２は振幅のみのＬＵＴからなることができ、周波数制御モジュール１３６が取り除かれることができ、その結果、出力光の振幅のみが振幅制御モジュール１３４を用いて変化する。

多くの異なる制御モジュール構成が、所与の駆動信号波形に関して異なる振幅および周波数変化を確立するために、奥行き撮像装置１０１で使用され得る。例えば、静的振幅および周波数制御モジュールが使用されることができ、この場合、各々の振幅および周波数の変化は、奥行き撮像装置１０１の動作に関連してユーザ選択により動的に可変でないが、代わりに設計により特定の構成に固定される。

従って、例えば、特定タイプの振幅変化および特定タイプの周波数変化が設計段階中に予め決定されることができ、これら所定の変化は、奥行き撮像装置で可変というよりはむしろ固定され得る。奥行き撮像装置の光源駆動信号に振幅変化および周波数変化の少なくとも１つを提供するこのタイプの静的回路構成は、その用語が本明細書で幅広く利用されるので、「制御モジュール」の例とみなされ、実質的に一定の振幅および周波数を有するＣＷ出力光を一般に利用するＴｏＦカメラのような従来の構成とは異なる。

上述したように、奥行き撮像装置１０１は、上述したタイプ及び図３と図５のプロセスで利用される画像処理動作を実現する際に利用される複数のモジュール１２０〜１３０を含む。これらモジュールは、変化する照明状態の下でシーンのフレームをキャプチャするように構成されたフレームキャプチャモジュール１２０、１つ又は複数のフレームで検出されるべき関心のある典型的な被写体を特徴付ける所定の被写体テンプレート又は他の情報を格納する被写体ライブラリ１２２、１つ又は複数のフレームにおける所与の関心のある被写体、即ちＯｏＩに関連した領域を画定するように構成された領域画定モジュール１２４、１つ又は複数のフレームにおいて関心のある被写体を検出するように構成された被写体検出モジュール１２６、及び関心のある被写体のフレーム間での予想された動きに基づいて、適応的に照明されるべき領域を識別するように構成された動き計算モジュール１２８を含む。これらモジュールは、メモリ１１２に格納されてプロセッサ１１０により実行されるソフトウェアの形態で少なくとも部分的に実現され得る。

また、本実施形態において奥行き撮像装置１０１に含まれるものは、奥行き撮像装置１０１の積分時間ウィンドウを最適化する、並びに奥行き撮像装置１０１により実行される所与の画像形成動作に関して個々の振幅制御モジュール１３４及び周波数制御モジュール１３６により提供される振幅変化および周波数変化の最適化を行うように例示的に構成されているパラメータ最適化モジュール１３０である。例えば、パラメータ最適化モジュール１３０は、所与の画像形成動作に関して積分時間ウィンドウ、振幅変化および周波数変化を含むパラメータの適切なセットを決定するように構成され得る。

係る構成により、奥行き撮像装置１０１は、シーンにおける被写体までの距離、シーンにおける被写体の数およびタイプなどのような、多種多様の異なる動作条件の下で最適な性能を得るように構成されることが可能になる。従って、例えば、本実施形態における奥行き撮像装置１０１の積分時間ウィンドウの長さは、特定の条件の下で全体的性能を最適化するように、駆動信号の振幅変化および周波数変化の選択に関連して決定され得る。

また、パラメータ最適化モジュール１３０は、メモリ１１２に格納されてプロセッサ１１０により実行されるソフトウェアの形態で少なくとも部分的に実現され得る。留意されるべきは、この文脈で使用される場合に「最適」および「最適化」のような用語が幅広く解釈され、任意の特定の性能尺度の最小化または最大化を必要としないことが意図されていることである。

図１に示されたような画像処理システム１００の特定の構成は、単なる例であり、他の実施形態のシステム１００は、特に図示されたこれらに加えて又はこれらの代わりに、係るシステムの従来の具現化形態において一般に見出されるタイプの１つ又は複数の要素を含む他の要素を含むことができる。例えば、処理モジュールの他の構成および他の構成要素が、奥行き撮像装置１０１を実現する際に使用され得る。従って、図１の実施形態において多数のモジュール１２０〜１３０に関連した機能は、他の実施形態において、より少ない数のモジュールへ結合され得る。また、制御回路１０５及びプロセッサ１１０のような構成要素は、少なくとも部分的に結合され得る。

さて、様々な実施形態における奥行き撮像装置１０１の動作が、図２〜図５に関連して、より詳細に説明される。説明されるように、これら実施形態は、全視界の照明を用いて第１のフレームにおいて関心のある被写体を最初に検出した後、後続のフレームをキャプチャする際に関心のある被写体に関連した視界の一部のみを適応的に照明することを含む。係る構成は、関心のある被写体をフレーム間で追跡することに関連した計算要求量および必要メモリを低減することができ、それにより画像処理システム内の消費電力が下げられる。更に、検出精度は、後続のフレームを処理する際に視界の他の部分からの干渉を低減することにより改善される。

図２と図３に関連して説明されるべき実施形態において、奥行き撮像装置の出力光の振幅と周波数は変化しないが、図４と図５に関連して説明されるべき実施形態において、奥行き撮像装置の出力光の振幅と周波数は変化する。後者の実施形態に関して、奥行き撮像装置１０１はＴｏＦカメラ又は他のタイプの３Ｄ撮像装置を含むと仮定されるが、開示された技術は、奥行き撮像装置がＳＬカメラを含む実施形態において振幅変化を提供するように直接的な方法で適合され得る。

さて、図２を参照すると、奥行き撮像装置１０１は、シーン２００のフレームをキャプチャするように構成され、この場合、人間の姿の形態である関心のある被写体がキャプチャされるフレーム内でそのサイズを著しく変更せずに、フレーム間においてシーン内で横方向に移動する。この例において、関心のある被写体は、フレーム＃１、フレーム＃２、及びフレーム＃３と示された、３つの連続したキャプチャされたフレームのそれぞれにおいて異なる位置を有するように示される。

関心のある被写体が、ステップ３００〜３１０を含む図３の流れ図により示されたプロセスを用いてこれら複数のフレームにおいて検出および追跡される。ステップ３００と３０２は一般に、均一な照明による初期設定に関連するが、ステップ３０４、３０６、３０８及び３１０は、適応性照明の使用を含む。

ステップ３００において、関心のある被写体を含む第１のフレームは、均一な照明を用いてキャプチャされる。この均一な照明は、指定された視界にわたって実質的に均一な照明からなることができ、本明細書では第１のタイプの照明としてより一般的に称されるものの例である。

ステップ３０２において、関心のある被写体が、被写体検出モジュール１２６、及び被写体ライブラリ１２２に格納されたような所定の被写体テンプレート又は関心のある典型的な被写体を特徴付ける他の情報を用いて、第１のフレームで検出される。検出プロセスは例えば、フレームの様々な識別される部分を被写体ライブラリ１２２からの所定の被写体テンプレートのセットと比較することを含むことができる。

ステップ３０４において、第１のフレームにおいて関心のある被写体と関連する第１の領域が、領域画定モジュール１２４を用いて画定される。ステップ３０４において画定された第１の領域の例は、図２の複数の＋マークにより識別された領域とみなされ得る。

ステップ３０６において、次のフレームにおいて適応的に照明されるべき第２の領域が、関心のある被写体のフレーム間での予想される動きに基づいて、領域画定モジュール２１４も用いて計算される。従って、ステップ３０６における第２の領域の画定は、例えば速度、加速度、及び動きの方向のような因子を考慮して、フレーム間での被写体の動きを考慮に入れる。

所与の実施形態において、この領域の画定はより具体的には、複数の面内および面外の方向における位置、並びに速度と線形加速度に基づいた輪郭動き予測を含むことができる。結果としての領域画定は、輪郭によってだけではなく、関連したエプシロン近傍によっても特徴付けられ得る。このタイプ及び本発明の実施形態に使用するのに適した動き予測アルゴリズムは、当業者に良く知られており、それ故に本明細書で更に詳細に説明されない。

また、異なるタイプの領域画定は、異なるタイプの奥行き撮像装置に使用され得る。例えば、領域画定は、ＴｏＦカメラのピクセルブロックに基づく、及びＳＬカメラの輪郭およびエプシロン近傍に基づくことができる。

ステップ３０８において、次のフレームが適応性照明を用いてキャプチャされる。このフレームは、プロセスのステップを通じて第１のパスにおける第２のフレームである。本実施形態において、適応性照明は、ステップ３０６で決定された実質的に第２の領域のみの照明として実現され得る。これは、第２のタイプの照明として本明細書でより一般的に称されるものの例である。本実施形態においてステップ３０８で適用される適応性照明は、ステップ３００で適用される実質的に均一な照明と同じ振幅および周波数を有することができるが、全視界にではなくて第２の領域のみに適用されるという意味で適応性である。また、図４と図５に関連して説明されるべき実施形態において、適応性照明は、実質的に均一な照明に比べて振幅および周波数の少なくとも一方が変化する。

ＴｏＦカメラを含む奥行き撮像装置の視界の一部のみを適応的に照明する際に、ＴｏＦカメラのＬＥＤアレイを含む光源の特定のＬＥＤは、ターンオフされ得る。ＳＬカメラを含む奥行き撮像装置の場合、視界の照明される部分は、機械的レーザ走査システムの走査範囲を制御することにより調整され得る。

ステップ３１０において、第２のフレームにおいて関心のある被写体を検出するための試みが成功したか否かに関して、判定がなされる。関心のある被写体が第２のフレームにおいて検出された場合、ステップ３０４、３０６及び３０８は、関心のある被写体がもはや検出されなくなるまで、１つ又は複数の更なるフレームに対して繰り返される。従って、図３のプロセスにより、関心のある被写体が、複数のフレームを通じて追跡されることが可能になる。

上述されたように、適応性照明は、個々の振幅制御モジュール１３４及び周波数制御モジュール１３６を用いて奥行き撮像装置１０１の出力の振幅および周波数の少なくとも一方を変化させることを含む。係る変化は、図４に示された状況のような状況において特に有用とすることができ、この場合、奥行き撮像装置１０１は、人間の姿の形態である関心のある被写体がフレーム間においてシーン内で横方向に移動するだけでなく、キャプチャされるフレーム内でそのサイズも著しく変更するシーン４００のフレームをキャプチャするように構成される。この例において、関心のある被写体は、フレーム＃１、フレーム＃２及びフレーム＃３と示された３つの連続したキャプチャされたフレームのそれぞれにおいて異なる位置を有するだけでなく、フレーム間において奥行き撮像装置１０１から更に離れるように移動しているように示される。

関心のある被写体が、ステップ５００〜５１０を含む図５の流れ図により示されたプロセスを用いてこれら複数のフレームにおいて検出および追跡される。ステップ５００と５０２は一般に、特定の振幅および周波数の値を有する最初の照明を用いる初期設定に関連しているが、ステップ５０４、５０６、５０８及び５１０は、最初の照明とは異なる振幅および周波数の値を有する適応性照明の使用を含む。

ステップ５００において、関心のある被写体を含む第１のフレームが、最初の照明を用いてキャプチャされる。この最初の照明は、振幅Ａ_０及び周波数Ｆ_０を有し、指定された視界にわたって適用され、第１のタイプの照明として本明細書でより一般的に称されるものの別の例である。

ステップ５０２において、関心のある被写体が、被写体検出モジュール１２６、及び被写体ライブラリ１２２に格納されたような所定の被写体テンプレート又は典型的な関心のある被写体を特徴付ける他の情報を用いて、第１のフレームにおいて検出される。検出プロセスは例えば、フレームの様々な識別される部分を被写体ライブラリ１２２からの所定の被写体テンプレートのセットと比較することを含むことができる。

ステップ５０４において、第１のフレームにおいて関心のある被写体と関連する第１の領域が、領域画定モジュール１２４を用いて画定される。ステップ５０４において画定された第１の領域の例は、図４において複数の＋マークにより識別される領域とみなされ得る。

ステップ５０６において、次のフレームにおいて適応的に照明されるべき第２の領域が、関心のある被写体のフレーム間での予想される動きに基づいて、領域画定モジュール２１４も用いて計算される。図３の実施形態と同様に、ステップ５０６における第２の領域の画定は、例えば速度、加速度、及び動きの方向のような因子を考慮して、フレーム間での被写体の動きを考慮に入れる。しかしながら、ステップ５０６はまた、奥行き撮像装置１０１内のメモリ１１２の振幅および周波数ＬＵＴ１３２から決定されるように、後続の適応性照明のために新たな振幅値Ａ_ｉ及び周波数値Ｆ_ｉも設定し、ここでｉはフレームのインデックスを示す。

ステップ５０８において、次のフレームが、更新された振幅Ａ_ｉ及び周波数Ｆ_ｉを有する適応性照明を用いてキャプチャされる。このフレームは、プロセスのステップを通じて第１のパスにおける第２のフレームである。本実施形態において、適応性照明は、ステップ５０６で決定された実質的に第２の領域のみの照明として実現され得る。これは、第２のタイプの照明として本明細書でより一般的に称されるものの例である。上述したように、本実施形態においてステップ５０８で適用される適応性照明は、ステップ５００で適用される最初の照明とは異なる振幅および周波数の値を有する。また、それは、全視界にではなくて第２の領域のみに適用されるという意味で適応性である。

ステップ５１０において、第２のフレームにおいて関心のある被写体を検出するための試みが成功したか否かに関して、判定がなされる。関心のある被写体が第２のフレームにおいて検出された場合、ステップ５０４、５０６及び５０８は、関心のある被写体がもはや検出されなくなるまで、１つ又は複数の更なるフレームに対して繰り返される。そのような反復のそれぞれに関して、異なる振幅および周波数の値が適応性照明に関して決定され得る。従って、図５のプロセスにより、関心のある被写体が、複数のフレームを通じて追跡されることが可能になるが、関心のある被写体がフレーム間で移動する際に、奥行き撮像装置の出力光の振幅および周波数の少なくとも一方を調整することにより改善された性能も提供する。

一例として、図５の実施形態および出力光の振幅および周波数の少なくとも一方が適応的に変化する他の実施形態において、第１のタイプの照明は、第１の振幅を有し且つ第１の周波数に従って変化する出力光からなり、第２のタイプの照明は、第１の振幅とは異なる第２の振幅を有し且つ第１の周波数とは異なる第２の周波数に従って変化する出力光からなる。

振幅の変化に関して、第１の振幅は一般に、関心のある被写体の予想される動きが奥行き撮像装置に向かっている場合には、第２の振幅よりも大きく、予想される動きが奥行き撮像装置から離れていく場合には、第１の振幅は一般に、第２の振幅よりも小さい。また、予想される動きがシーンの中心に向かっている場合には、第１の振幅は一般に、第２の振幅よりも大きく、予想される動きがシーンの中心から離れていく場合には、第１の振幅は一般に、第２の振幅よりも小さい。

周波数の変化に関して、第１の周波数は一般に、予想される動きが奥行き撮像装置に向かっている場合には、第２の周波数よりも小さく、予想される動きが奥行き撮像装置から離れていく場合には、第１の周波数は一般に、第２の周波数よりも大きい。

前述したように、振幅の変化は、振幅および周波数ＬＵＴ１３２の適切な構成を介して、周波数変化と同期され得る。しかしながら、他の実施形態は、周波数変化のみ又は振幅変化のみを利用することができる。例えば、一定の振幅と共に、傾斜した又は階段状の周波数を使用することは、画像形成されるべきシーンが奥行き撮像装置から異なる距離に位置する複数の被写体を含む場合に有益となることができる。

別の例として、一定の周波数と共に、傾斜した又は階段状の振幅を使用することは、画像形成されるべきシーンが奥行き撮像装置に向かって又は奥行き撮像装置から離れるように動く、或いはシーンの周辺部からシーンの中心に動く（又は逆もまた同じ）単一の主要な被写体を含む場合に有益となることができる。係る構成において、振幅を減少させることは、主要な被写体が奥行き撮像装置に向かって又は周辺部から中心に移動している場合に良好に適合すると予想され、振幅を増加させることは、主要な被写体が奥行き撮像装置から離れるように又は中心から周辺部に移動している場合に良好に適合すると予想される。

図５の実施形態における振幅および周波数の変化は、ＴｏＦカメラのような奥行き撮像装置の性能を著しく改善することができる。例えば、係る変化は、測定精度に悪影響を及ぼすことなく奥行き撮像装置１０１の明確なレンジを広げることができ、その理由は少なくとも部分的に、周波数変化が各周波数に関して検出された奥行き情報の重畳を可能にするからである。また、著しく高いフレームレートが、従来のＣＷ出力光の構成を用いて可能であるものとは違ってサポートされることができ、その理由は少なくとも部分的に、振幅変化により、積分時間ウィンドウが、奥行き撮像装置の性能を最適化するために動的に調整されることが可能になり、それによりシーンにおいて動的な被写体
の改善された追跡が提供されるからである。また、振幅変化は、シーンの被写体からのより良好な反射という結果にもなり、奥行き画像の品質を更に改善する。

理解されるべきは、図２〜図５に示された特定のプロセスは、単なる例示のために提示されており、本発明の他の実施形態が、ＴｏＦカメラ、ＳＬカメラ又は他のタイプの奥行き撮像装置を用いて適応性照明を提供するためのプロセス動作の他のタイプ及び構成を利用することができる。例えば、図３〜図５の流れ図の様々なステップは、図示されたように順次ではなくて、少なくとも部分的に互いに同時に行われ得る。また、追加の又は代案としてのプロセスステップは、他の実施形態において使用され得る。一例として、図５の実施形態において、実質的に均一な照明は、較正または他の目的のために、プロセスの特定数の反復の各セットの後に適用され得る。

再び強調されるべきは、本明細書で説明されたような本発明の実施形態が単なる例示であることが意図されていることである。例えば、本発明の他の実施形態は、多種多様の異なるタイプ及び構成の画像処理システム、奥行き撮像装置、画像処理回路、制御回路、モジュール、処理デバイス、及び本明細書で説明された特定の実施形態において利用されるもの以外の処理動作を利用して実現され得る。更に、特定の実施形態を説明する文脈において本明細書でなされた特定の仮定は、他の実施形態に適用する必要はない。以下の特許請求の範囲の範囲内にあるこれら及び多くの他の代替の実施形態は、当業者に容易に明らかになるであろう。

Claims (24)

1. 第１のタイプの照明を用いてシーンの第１のフレームをキャプチャし、
   前記第１のフレームにおいて関心のある被写体に関連した第１の領域を画定し、
   前記関心のある被写体の予想される動きに基づいて適応的に照明されるべき第２の領域を識別し、
   前記第１のタイプとは異なる第２のタイプの照明を用いて、前記シーンの第２のフレームを前記第２の領域の適応性照明でもってキャプチャし、
   前記第２のフレームにおいて前記関心のある被写体を検出するように試みることを含む、方法。
2. 前記方法が、メモリに結合されたプロセッサを含む少なくとも１つの処理デバイスにおいて実施される、請求項１に記載の方法。
3. 前記方法が奥行き撮像装置において実施される、請求項１に記載の方法。
4. 前記第１のタイプの照明が、指定された視界にわたる実質的に均一な照明からなる、請求項１に記載の方法。
5. 前記第２のタイプの照明が、実質的に前記第２の領域のみの照明からなる、請求項１に記載の方法。
6. 前記第１のタイプの照明が、第１の振幅を有する光源の出力光からなり、前記第２のタイプの照明が、前記第１の振幅とは異なる第２の振幅を有する光源の出力光からなる、請求項１に記載の方法。
7. 前記予想される動きが前記光源に向かっている場合に、前記第１の振幅が前記第２の振幅より大きい、請求項６に記載の方法。
8. 前記予想される動きが前記光源から離れていく場合に、前記第１の振幅が前記第２の振幅より小さい、請求項６に記載の方法。
9. 前記予想される動きが前記シーンの中心に向かっている場合に、前記第１の振幅が前記第２の振幅より大きい、請求項６に記載の方法。
10. 前記予想される動きが前記シーンの中心から離れていく場合に、前記第１の振幅が前記第２の振幅より小さい、請求項６に記載の方法。
11. 前記第１のタイプの照明が、第１の周波数に従って変化する光源の出力光からなり、前記第２のタイプの照明が、前記第１の周波数とは異なる第２の周波数に従って変化する光源の出力光からなる、請求項１に記載の方法。
12. 前記予想される動きが前記光源に向かっている場合に、前記第１の周波数が前記第２の周波数より小さい、請求項１１に記載の方法。
13. 前記予想される動きが前記光源から離れていく場合に、前記第１の周波数が前記第２の周波数より大きい、請求項１１に記載の方法。
14. 前記第１のタイプの照明が、第１の振幅を有し且つ第１の周波数に従って変化する光源の出力光からなり、前記第２のタイプの照明が、前記第１の振幅とは異なる第２の振幅を有し且つ前記第１の周波数とは異なる第２の周波数に従って変化する光源の出力光からなる、請求項１に記載の方法。
15. 前記関心のある被写体が前記第２のフレームにおいて検出されたか否かを判定することを更に含む、請求項１に記載の方法。
16. 前記関心のある被写体が前記第２のフレームにおいて検出された場合に、前記関心のある被写体がもはや検出されなくなるまで、１つ又は複数の更なるフレームのそれぞれに対して前記画定すること、前記識別すること、前記キャプチャすること、及び前記試みることを繰り返す、請求項１５に記載の方法。
17. 内部に組み込まれたコンピュータプログラムコードを有するコンピュータ可読記憶媒体であって、前記コンピュータプログラムコードが、処理デバイスにおいて実行される場合に前記処理デバイスに請求項１に記載の方法を実行させる、コンピュータ可読記憶媒体。
18. 少なくとも１つの光源を含む奥行き撮像装置を含み、
    前記奥行き撮像装置が、第１のタイプの照明を用いてシーンの第１のフレームをキャプチャし、前記第１のフレームにおいて関心のある被写体に関連した第１の領域を画定し、前記関心のある被写体の予想される動きに基づいて適応的に照明されるべき第２の領域を識別し、前記第１のタイプとは異なる第２のタイプの照明を用いて、前記シーンの第２のフレームを前記第２の領域の適応性照明でもってキャプチャし、前記第２のフレームにおいて前記関心のある被写体を検出するように試みるように構成されており、
    前記第１のタイプの照明および前記第２のタイプの照明が、前記光源により生成される、装置。
19. 前記第１のタイプの照明が、指定された視界にわたる実質的に均一な照明からなる、請求項１８に記載の装置。
20. 前記第２のタイプの照明が、実質的に前記第２の領域のみの照明からなる、請求項１８に記載の装置。
21. メモリに結合されたプロセッサを含み且つ以下のこと、即ち
    第１のタイプの照明を用いてシーンの第１のフレームをキャプチャするように構成されたフレームキャプチャモジュールと、
    前記第１のフレームにおいて関心のある被写体に関連した第１の領域を画定するように構成された領域画定モジュールと、
    前記関心のある被写体の予想される動きに基づいて適応的に照明されるべき第２の領域を識別するように構成された動き計算モジュールと、
    被写体検出モジュールとを実現する少なくとも１つの処理デバイスを含み、
    前記フレームキャプチャモジュールが、前記第１のタイプとは異なる第２のタイプの照明を用いて、前記シーンの第２のフレームを前記第２の領域の適応性照明でもってキャプチャするように更に構成されており、
    前記被写体検出モジュールが、前記第２のフレームにおいて前記関心のある被写体を検出することを試みるように構成されている、装置。
22. 前記処理デバイスが奥行き撮像装置を含む、請求項２１に記載の装置。
23. 前記奥行き撮像装置が、飛行時間カメラ及び構造光カメラの一方からなる、請求項２２に記載の装置。
24. 請求項２１に記載の装置を含む、画像処理システム。
    

Images