JP2023500510A - 環境光画像補正を実施するためのシステム - Google Patents

Abstract

環境光画像補正を実施するためのシステムが提供される。システムは、光源と、光源からのパルス式照明の波周期よりも短い露出時間で物体の複数の画像をキャプチャするように構成されたローリングシャッター撮像ユニットと、明輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の明輝度帯を含む第１の合成画像を生成することと、暗輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成することと、第１の合成画像と第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成することとを実施するように構成された制御ユニットとを備える。

Description

本開示は、光学的撮像のためのシステム及び方法に関し、特には、環境光画像補正を実施するための非接触式皮膚撮像システム及び方法に関する。

パーソナルケア及び健康のアプリケーション用途の分野において、特に皮膚感知について、邪魔にならない測定及び監視デバイスへの需要が増加している。現在使用可能な皮膚測定システムは、皮膚の定量化及び皮膚の特徴の監視機能を提供し、小さ過ぎて検知できないような、かすか過ぎて気づかないような、又はゆっくり過ぎて追跡できないような情報を消費者に提供する。これらのタイプのシステムが通常の消費者によって使用可能と考えられるようにするために、内蔵された感知機能は、感度が高く、専用のものでなければならない。加えて、消費者の信頼を高めるためには、関連する測定の堅牢さも重要である。

このような撮像測定システムにおいて重要な課題は、制御されていない環境、例えば家庭、においてそれらが使用されるときに、典型的には、定められていない、潜在的に変化する環境光に起因して、測定値に不整合性が存在することである。現在使用可能な環境光除去技術があり、シーンの特性を精査し、推定するための制御された照明を伴うアクティブ照明法などが使用される。また、いくつかの現在使用可能な技術は、全てのライティング方向（多重照明）において人物又はシーンの画像キャプチャし、任意の照明の下でフォトリアリスティック画像を再レンダリングするために制御されたキャプチャ設定、例えば光ステージを含む。いくつかの他の技術は、後続の画像分析のための構造的パターンを投影するプロジェクタカメラシステムに頼っている。アクティブ技術は、高品質の照明分析及び編集を可能とし得るが、これらのシステムは典型的には複雑で、高価である。一方、フラッシュ撮影技術は、フラッシュ照明を使用したものと使用しないものとのシーンの２つの画像をキャプチャすることによる環境光除去を提供する。これらの技術は、画像のノイズ除去、ブラー除去、アーチファクト除去、フォトリアリスティックでないレンダリング、前景のセグメンテーション、及びつや消しのために使用されている。

本開示は、環境光が定められておらず、変化するときであっても皮膚、特に顔領域の皮膚の堅牢な撮像測定のための技術を提供する。これは、皮膚特徴の特性評価及び皮膚特徴の追跡に適した、顔の皮膚の正確で精密な測定を可能とする。本開示によると、環境光画像補正を実施するための向上されたシステム、及び環境光画像補正を実施するための方法が提供される。より詳細には、本開示は、フリッカー融合閾値よりも高い照明パルス化とローリングシャッターカメラとを使用することによって、ビデオレートで実施され得るフリッカーレス及びフラッシュレスな環境光補正を提供する。

前述された事柄のうちの１つ又は複数により良好に対処するために、第１の態様において、環境光画像補正を実施するためのシステムが提供される。システムは、物体にパルス式照明を提供するように構成された光源と；物体が光源からのパルス式照明によって照らされている間に、パルス式照明の波周期よりも短い露出時間で物体の複数の画像をキャプチャするように構成されたローリングシャッター撮像ユニットであって、キャプチャされた複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯はパルス式照明の高状態に対応し、暗輝度帯はパルス式照明の低状態に対応する、ローリングシャッター撮像ユニットとを備える。光源によって提供される照明のパルス周波数は、ローリングシャッター撮像ユニットによって複数の画像がキャプチャされるフレームレートの多重積分ではない。システムは、明輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の明輝度帯を含む第１の合成画像を生成することと；暗輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成することと；第１の合成画像と第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成することとを実施するように構成された制御ユニットを更に備える。

いくつかの実施形態において、第１の合成画像及び第２の合成画像は、照明状態に基づいて、キャプチャされた複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用することによって生成される。

いくつかの実施形態において、光源は、少なくとも７０Ｈｚのパルス周波数を有する照明を提供するように構成される。また、いくつかの実施形態において、ローリングシャッター撮像ユニットは、一秒当たり少なくとも３０フレームのフレームレートにおいて複数の画像をキャプチャするように構成される。

いくつかの実施形態において、デジタルミラーデバイスが提供され、デジタルミラーデバイスは、反射コンポーネントと；ベースユニットと；本明細書において説明されるシステムとを備える。これらの実施形態において、システムの光源は反射コンポーネントに隣接して配置され、システムの制御ユニットはデジタルミラーデバイスのベースユニットに位置付けられる。

いくつかの実施形態において、デジタルミラーデバイスは、ユーザ入力を受信するように構成されたユーザインタフェースユニットを更に備える。これらの実施形態において、制御ユニットは、ユーザインタフェースユニットを介して第１のユーザ入力を受信した際に光源及びローリングシャッター撮像ユニットをスイッチオンすることと；ユーザインタフェースユニットを介して第２のユーザ入力を受信した際に物体の複数の画像をキャプチャするようにローリングシャッター撮像ユニットを制御することとを実施するように構成される。

いくつかの実施形態において、物体は対象者の頭部であり、これらの実施形態において、システムの制御ユニットは、更に、環境光補正画像に基づいて、対象者の顔認識及び対象者の頭部方向判定のうちの少なくとも１つを実施するように構成される。更に、システムの制御ユニットは、更に、顔認識の動作及び頭部方向判定の動作のうちの少なくとも１つの結果に基づいて対象者の顔の特徴を判定するように構成される。

いくつかの実施形態において、デジタルミラーデバイスは、ローリングシャッター撮像ユニットが複数の画像をキャプチャしている間にインジケーション光を提供するように構成されたインジケーションライティングユニットを更に備える。

第２の態様において、環境光画像補正を実施するための方法が提供される。方法は、物体にパルス式照明を提供するステップと；物体が光源からのパルス式照明によって照らされている間に、パルス式照明の波周期よりも短い露出時間で物体の複数の画像をキャプチャするステップであって、キャプチャされた複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯はパルス式照明の高状態に対応し、暗輝度帯はパルス式照明の低状態に対応し、光源によって提供される照明のパルス周波数は、複数の画像がキャプチャされるフレームレートの多重積分ではない、ステップと；明輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の明輝度帯を含む第１の合成画像を生成するステップと；暗輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成するステップと；第１の合成画像と第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成するステップとを有する。

いくつかの実施形態において、第１の合成画像及び第２の合成画像を生成するステップは、照明状態に基づいて、キャプチャされた複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用するステップを有する。

いくつかの実施形態において、物体にパルス式照明を提供するステップは、少なくとも７０Ｈｚのパルス周波数でパルス式照明を提供するステップを有する。また、いくつかの実施形態において、複数の画像をキャプチャするステップは、一秒当たり少なくとも３０フレームのフレームレートにおいて複数の画像をキャプチャするステップを有する。

上述された態様及び実施形態によると、既存の技術の限界が対処される。特には、上述された態様及び実施形態は、フリッカーレス及びフラッシュレスな環境光補正が、特にはビデオレートにおいて、実施されることを可能とする。故に、環境光画像補正のための向上されたシステム及び方法が提供される。本開示のこれらの及び他の態様は、本明細書において以下に説明される実施形態から明らかであり、これらを参照することで解明されよう。

実施形態のより良好な理解のために、及び、それらがどのように実行されるかをより明確に示すために、単なる例示として、添付の図面が参照される。

実施形態による、環境光画像補正のためのシステムのブロック図である。 実施形態による、デジタルミラーデバイス２００のブロック図である。 図２を参照して説明されたデジタルミラーデバイスの実用的に実現された実施形態を示す図である。 実施形態による、環境光画像補正を実施するための方法を示す図である。 物体がパルス式照明によって照らされている間の物体の画像の例を示す図である。 画像における明輝度帯及び暗輝度帯が、撮像ユニットの異なる露出時間によってどのように変化するかを示す図である。 キャプチャされた複数の画像からの環境光補正画像の生成の模式的な図である。 実施形態による、照明状態に基づいて、キャプチャされた複数の画像に含まれるピクセルを分離し、環境光補正画像を生成するための分離アルゴリズムを示すフローチャートである。

上に述べられたように、既存の問題に対処する向上されたシステム及び方法が提供される。

図１は、実施形態によるシステム１００のブロック図を図示し、これは、環境光画像補正を実施するために使用され得る。システム１００は、光源１１０と、ローリングシャッター撮像ユニット１２０と、制御ユニット１３０とを備える。

光源１１０は物体にパルス式照明を提供するように構成される。いくつかの実施形態において、光源１１０は、少なくとも７０Ｈｚのパルス周波数を有する照明を提供するように構成される。

ローリングシャッター撮像ユニット１２０は、物体が光源１１０からのパルス式照明によって照らされている間に、パルス式照明の波周期よりも短い露出時間で物体の複数の画像をキャプチャするように構成され、キャプチャされた複数の画像の各々は複数の明輝度帯と暗輝度帯とを含む。明輝度帯はパルス式照明の高状態に対応し、暗輝度帯はパルス式照明の低状態に対応する。例示を目的として、パルス式照明の下でキャプチャされた物体の画像の例が図５Ａにおいて提供され、キャプチャされた画像は、パルス式照明の周波数がローリングシャッター撮像ユニットが画像をキャプチャするレートよりも高いことに起因する、観察された暗輝度及び明輝度の水平の帯を含む。

光源１１０によって提供される照明のパルス周波数は、ローリングシャッター撮像ユニット１２０によって複数の画像がキャプチャされるフレームレートの多重積分ではない。いくつかの実施形態において、ローリングシャッター撮像ユニット１２０は、一秒当たり少なくとも３０フレームのフレームレートにおいて複数の画像をキャプチャするように構成される。

制御ユニット１３０は、明輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、第１の合成画像を生成するように構成される。第１の合成画像は、キャプチャされた複数の画像からの複数の明輝度帯を含む。制御ユニット１３０は、更に、暗輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、第２の合成画像を生成するように構成される。第２の合成画像は、キャプチャされた複数の画像からの複数の暗輝度帯を含む。また、制御ユニット１３０は、更に、第１の合成画像と第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成するように構成される。

いくつかの実施形態において、第１の合成画像及び第２の合成画像は、照明状態に基づいて、キャプチャされた複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用することによって生成される。分離アルゴリズムの例は、以下において、図７を参照してより詳細に説明される。

概して、制御ユニット１３０は、システム１００の動作を制御し得、本明細書において説明される方法を実現し得る。制御ユニット１３０は、本明細書において説明されるやり方でシステム１００を制御するように構成又はプログラムされた１つ又は複数のプロセッサ、プロセッシングユニット、マルチコアプロセッサ、又はモジュールを備え得る。特定の実施態様において、制御ユニット１３０は、本明細書において説明される方法の個別の又は複数のステップを実施するように各々が構成された、又は実施するための複数のソフトウェア及び／又はハードウェアモジュールを備え得る。

いくつかの実施形態において、システム１００は、少なくとも１つのユーザインタフェースを更に備える。代替的に又は追加的に、少なくとも１つのユーザインタフェースが、システム１００の外部に（すなわち、別個に、又は遠隔に）あってよい。例えば、少なくとも１つのユーザインタフェースは、別のデバイスの一部であってよい。ユーザインタフェースは、本明細書において説明される方法からもたらされる情報をシステム１００のユーザに提供する際に使用するためのものである。代替的に又は追加的に、ユーザインタフェースは、ユーザ入力を受信するように構成される。例えば、ユーザインタフェースは、システム１００のユーザが、命令、データ、又は情報を手作業で入力することを可能とする。これらの実施形態において、制御ユニット１３０は、１つ又は複数のユーザインタフェースからユーザ入力を取得するように構成される。

ユーザインタフェースは、システム１００のユーザに対する情報のレンダリング（又は出力若しくは表示）を可能とする任意のユーザインタフェースであってよい。代替的に又は追加的に、ユーザインタフェースは、システム１００のユーザがユーザ入力を提供すること、システム１００と相互作用すること及び／又はこれを制御することを可能とする任意のユーザインタフェースであってよい。例えば、ユーザインタフェースは、１つ又は複数のスイッチ、１つ又は複数のボタン、キーパッド、キーボード、タッチスクリーン若しくはアプリケーション（例えば、タブレット又はスマートフォン上のもの）、ディスプレイスクリーン、グラフィカルユーザインタフェース（ＧＵＩ）若しくは他の視覚的レンダリングコンポーネント、１つ又は複数のスピーカ、１つ又は複数のマイクロフォン若しくは任意の他の音響コンポーネント、１つ又は複数のライト、触覚的フィードバックを提供するためのコンポーネント（例えば、振動機能）、又は任意の他のユーザインタフェース若しくはユーザインタフェースの組み合わせを備える。

いくつかの実施形態において、システム１００は、メモリを備える。代替的に又は追加的に、１つ又は複数のメモリが、システム１００の外部に（すなわち、別個に、又は遠隔に）あってよい。例えば、１つ又は複数メモリは、別のデバイスの一部であってよい。メモリは、本明細書において説明される方法を実施するように制御ユニット１３０によって実行され得るプログラムコードを記憶するように構成され得る。メモリは、システム１００の制御ユニット１３０によって取得又は作成された情報、データ、信号及び測定値を記憶するために使用され得る。例えば、メモリは、第１の合成画像、第２の合成画像、及び／又は環境光補正画像を（例えば、ローカルファイルに）記憶するために使用される。制御ユニット１３０は、第１の合成画像、第２の合成画像、及び／又は環境光補正画像を記憶するようにメモリを制御するように構成される。

いくつかの実施形態において、システム１００は、システム１００が、システム１００の内部又は外部にある任意のインタフェース、メモリ及び／又はデバイスと通信することを可能とする通信インタフェース（又は回路）を備える。通信インタフェースは、任意のインタフェース、メモリ及び／又はデバイスと、無線で又は有線接続を介して通信する。例えば、通信インタフェースは、１つ又は複数のユーザインタフェースと、無線で又は有線接続を介して通信する。同様に、通信インタフェースは、１つ又は複数のメモリと、無線で又は有線接続を介して通信する。

図１は、システム１００の態様を例示するために必要とされるコンポーネントのみを図示するものであり、実際的な実施態様においては、図示されたものに対して代替的な又は追加的なコンポーネントをシステム１００が備えてよいことは理解されよう。

図２は、実施形態によるデジタルミラーデバイス２００のブロック図である。デジタルミラーデバイス２００は、反射コンポーネント２１０と、ベースユニット２２０と、図１を参照して上に説明されたシステム１００とを備える。この実施形態において、システム１００の光源１１０は反射コンポーネント２１０に隣接して配置され、システム１１０の制御ユニット１３０はデジタルミラーデバイス２００のベースユニット２２０に位置付けられる。

いくつかの実施形態において、デジタルミラーデバイス２００は、ユーザインタフェースユニット２３０を更に備え、ユーザインタフェースユニット２３０はユーザ入力を受信するように構成される。これらの実施形態において、システム１００の制御ユニット１３０は、ユーザインタフェースユニット２３０を介して第１のユーザ入力を受信した際に光源１１０及びローリングシャッター撮像ユニット１２０をスイッチオンするように構成される。更に、制御ユニット１３０は、ユーザインタフェースユニット２３０を介して第２のユーザ入力を受信した際に物体の複数の画像をキャプチャするようにローリングシャッター撮像ユニット１２０を制御するように構成される。

いくつかの実施形態において、物体は対象者の頭部である。この場合、システムの制御ユニット１３０は、更に、システム１００の制御ユニット１３０によって生成された環境光補正画像に基づいて、対象者の顔認識及び対象者の頭部方向判定のうちの少なくとも１つを実施するように構成される。

図２においては図示されていないが、いくつかの実施形態において、デジタルミラーデバイス２００は、ローリングシャッター撮像ユニットが複数の画像をキャプチャしている間にインジケーション光を提供するように構成されたインジケーションライティングユニットを更に備える。インジケーションライティングユニットは、例えば、赤色ＬＥＤ光源を備える。

上述されたデジタルミラーデバイスの実用的に実現された実施形態が、図３において更に示される。図３において図示されるように、デジタルミラーデバイス３００は、反射コンポーネント３１０と、ベースユニット３２０とを備える。この実施形態において、ユーザインタフェースユニット３３０は、ユーザ入力を受信するためにベースユニット３２０に位置付けられた作動ボタンの形態で提供される。更に、デジタルミラーデバイスに含まれるシステムの光源３４０は、反射コンポーネント３１０の周辺部の周りに、光リングの形態で提供され、ミラーデバイスに含まれるシステムのローリングシャッター撮像ユニット３５０は、反射コンポーネント３１０の上方に提供される。図３においてシステムの制御ユニットは図示されていないが、このコンポーネントはデジタルミラーデバイス３００に含まれている（例えば、ベースユニット３２０内に含まれるプロセッサとして実装されている）ことは理解されよう。

本実施形態において、デジタルミラーデバイス３００（及び、具体的には、デジタルミラーデバイス３００に含まれるシステムの制御ユニット）は、ユーザインタフェースユニット３３０の最初の作動（例えば、ボタンを押すこと）の際に光源３４０及びローリングシャッター撮像ユニット３５０をスイッチオンし、これに続くユーザインタフェースユニット３３０の作動（例えば、再びボタンを押すこと）の際に物体（例えば、ユーザの顔）の複数の画像をキャプチャするようにローリングシャッター撮像ユニット３５０を制御するように構成される。次いで、図１を参照して上に説明されたように、デジタルミラーデバイス３００に含まれるシステムの制御ユニットは、第１の合成画像を生成し得、第２の合成画像を生成し得、環境光補正画像を生成し得る。更に、次いで、デジタルミラーデバイス３００に含まれるシステムの制御ユニットは、生成された環境光補正画像に基づいて、対象者の顔認識及び対象者の頭部方向判定のうちの少なくとも１つを実施し得る。

例として、ローリングシャッター撮像ユニット３５０は、対応するユーザ入力を受信した際に、一秒間に３０フレームで、－８の露出値（３．９ｍｓの露出時間と同等）を使用して画像をキャプチャするように構成され、光源３４０は、９３Ｈｚのパルス周波数で照明を提供するように構成される。

環境光画像補正を実施するためのシステムはデジタルミラーデバイス３００として実現されるので、デジタルミラーデバイス３００の動作中に、キャプチャされたユーザの顔の画像が、反射コンポーネント３１０を介してユーザが彼／彼女自身の反射像を（例えば、個人的な身繕い動作のために）観察可能な間に、環境光について補正され得る。更には、環境光補正画像は、顔及び皮膚の特徴について及び／又は不規則性、例えば吹き出物、赤み、水和レベル、皮膚色などについて、更に分析される。この分析動作は、リアルタイムで実施される。更には、この分析動作は、デジタルミラーデバイス３００に含まれるシステムの制御ユニットによって（又は別個の制御ユニット又はプロセッサによって）実施される。また、この分析動作は、上述された顔認識及び頭部方向判定動作に基づく特定の頭部方向及び／又は認識された顔によってトリガされる。

図３においては示されていないが、いくつかの実施形態において、デジタルミラーデバイス３００（又は、デバイス３００に含まれるシステム）は、外部デバイス（例えば、モバイルフォン）と通信するように構成された通信インタフェースを備える。従って、これらの実施形態において、分析結果、例えば、ユーザの顔の吹き出物の場所、は、モバイルフォンに（例えば、モバイルフォンにインストールされたアプリケーションソフトウェアを介して）通信され得る。

図４は、実施形態による環境光画像補正を実施するための方法を示す。示された方法は、全体的に、システム１００によって実施され得、具体的には、いくつかの実施形態において、システム１００の制御ユニット１３０によって、又はその制御下において実施され得る。例示を目的として、図４の少なくともいくつかのブロックは、図１のシステム１００の様々なコンポーネントを参照して説明される。

図４を参照すると、ブロック４０２において、パルス式照明が物体に提供される。具体的には、パルス式照明は、システム１００の光源１１０によって提供される。ブロック４０２において提供される照明のパルス周波数は、少なくとも７０Ｈｚである。

図４に戻ると、ブロック４０４において、物体が（ブロック４０２を参照して説明されたように）パルス式照明によって照らされている間に、パルス式照明の波周期よりも短い露出時間で物体の複数の画像がキャプチャされ、キャプチャされた複数の画像の各々は複数の明輝度帯と暗輝度帯とを含む。このコンテキストにおいて、明輝度帯はパルス式照明の高状態に対応し、暗輝度帯はパルス式照明の低状態に対応する。ブロック４０２において提供される照明のパルス周波数は、ブロック４０４において複数の画像がキャプチャされるフレームレートの多重積分ではない。複数の画像は、システム１００のローリングシャッター撮像ユニット１２０によってキャプチャされる。いくつかの実施形態において、複数の画像は、ブロック４０４において、一秒当たり少なくとも３０フレームのフレームレートにおいてキャプチャされる。

図４に戻ると、ブロック４０６において、明輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の明輝度帯を含む第１の合成画像が生成される。具体的には、第１の合成画像は、システム１００の制御ユニット１３０によって生成される。

図４に戻ると、ブロック４０８において、暗輝度帯に対応するキャプチャされた複数の画像からのセクションを合成することによって、キャプチャされた複数の画像からの複数の暗輝度帯を含む第２の合成画像が生成される。具体的には、第２の合成画像は、システムの制御ユニット１３０によって生成される。

いくつかの実施形態において、ブロック４０６における第１の合成画像を生成するステップ及びブロック４０８における第２の合成画像を生成するステップは、照明状態に基づいて、キャプチャされた複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用するステップを有する。分離アルゴリズムの例は、以下において、図７を参照してより詳細に説明される。

図４に戻ると、ブロック４１０において、ブロック４０６において生成された第１の合成画像とブロック４０８において生成された第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像が生成される。具体的には、環境光補正画像は、システム１００の制御ユニット１３０によって生成される。

図５Ａは、物体がパルス式照明によって照らされている間の物体の画像の例を示す。図１を参照して上に説明されたように、パルス式照明の周波数がローリングシャッター撮像ユニットが画像５００をキャプチャするレートよりも高いとき、キャプチャされた画像５００において暗輝度及び明輝度の水平の帯が観察され得る。図５Ａにおいて示された例において、水平な明輝度帯にはＬというラベルが付され、水平な暗輝度帯にはＤというラベルが付されている。

更に、図５Ｂの複数の画像において示されるように、撮像ユニットの露出時間が減少すると、明輝度帯と暗輝度帯との間のエッジのコントラスト及びスロープが増加することが観察される。図５Ｂの第１の画像５１０は３１ｍｓの露出時間でキャプチャされ、第２の画像５２０は１６ｍｓの露出時間でキャプチャされ、第３の画像５３０は８ｍｓの露出時間でキャプチャされ、第４の画像５４０は４ｍｓの露出時間でキャプチャされ、第５の画像５５０は２ｍｓの露出時間でキャプチャされている。第１の画像５１０から第５の画像５５０まで、露出時間が減少するにつれて、画像における明輝度帯と暗輝度帯との間の差異がより鮮明になることが分かる。この情報及びカメラについての基本的な知識に基づいて、露出時間がパルス式照明の波周期よりも短い時の、パルス式照明の低状態中の環境光に関する情報を抽出することが有利である。

図６は、キャプチャされた複数の画像からの環境光補正画像の生成の模式的な図である。図面において、ローリングシャッター撮像ユニットによってキャプチャされた複数の画像６００が、分離アルゴリズムＵＡの動作を経た後に、環境光補正画像６１０へと変換され得ることが示される。より具体的には、図６の複数の画像６００におけるドリフトする明輝度帯及び暗輝度帯は、合成画像の生成、及びそれに続く環境光補正画像の生成のために、分離アルゴリズムＵＡを使用して分離され得る。分離アルゴリズムをより詳細に説明するために、実施形態による、照明状態に基づいてキャプチャされた複数の画像に含まれるピクセルを分離し、環境光補正画像を生成するためのアルゴリズムの例が、図７のフローチャートにおいて示される。

図７の分離アルゴリズム７００は、図１を参照して説明されたシステム１００の制御ユニット１３０によって実施され得る一連の方法のステップとして提示されている。例示を目的として、以下において、方法は、システム１００の様々なコンポーネントを参照して説明される。

分離アルゴリズムのための方法はステップ７０１において始まる。

ステップ７０２において、統合フレームの数ｓが制御ユニット１３０によって設定され、ここで、ｓ＞１である。統合フレームの数は、システム１００のローリングシャッター撮像ユニット１２０によってキャプチャされるべき複数の画像の数に対応する。例えば、もしもローリングシャッター撮像ユニット１２０によって１０個の画像がキャプチャされる（及び、後に単一の合成画像として「統合」される）べきであるならば、統合フレームの数ｓは１０に設定される。

次いで、ステップ７０３において、カウンタ値ｎが１に設定される。

次いで、ステップ７０４において、現在のカウンタ値ｎに対応するビデオフレームＡ_ｎ（ｐ_ｘ，ｐ_ｙ）がシステム１００のローリングシャッター撮像ユニット１２０によってキャプチャされる。この実施形態において、キャプチャされるビデオフレームＡ_ｎ（ｐ_ｘ，ｐ_ｙ）には、カメラシステムなどの撮像ユニットにおいて（自動的に）実行されるガンマ補正の結果として通常は存在する任意の画像ピクセル値非線形性が存在しない。もしもガンマ補正がローリングシャッター撮像ユニット１２０によって適用されたならば、方法が更に進行する前に、逆ガンマ補正が全てのビデオフレームに適用されなければならない。従って、図７においては図示されていないが、いくつかの実施形態において、方法は、ステップ７０４に続いて、キャプチャされたビデオフレームＡ_ｎ（ｐ_ｘ，ｐ_ｙ）について逆ガンマ補正を実施するステップを有する。本開示のコンテキストにおいて、ビデオフレームは単一の画像に対応する。本実施形態における各画像（「ビデオフレーム」）は、記号ｐ_ｘ及びｐ_ｙによって表されるように、それぞれの画像に含まれるピクセルによって特徴付けられている。

次に、ステップ７０５において、カウンタ値ｎが１であるかが判定される。この判定は、システムの制御ユニット１３０によって実施される。

もしもカウンタ値ｎが１であったならば、方法はステップ７０６、ステップ７０７、及びステップ７０８に進み、ステップ７０４においてキャプチャされるビデオフレームＡ_１として値Ｅ_１が設定され、ステップ７０４においてキャプチャされるビデオフレームＡ_１として値Ｆ_１が設定され、カウンタ値ｎが１だけ増やされる（等式「ｎ＝ｎ＋１」によって表される）。

ステップ７０６から７０８を実施した後、方法はステップ７０４に戻り、現在のカウンタ値ｎに対応するビデオフレームＡ_ｎ（ｐ_ｘ，ｐ_ｙ）がシステム１００のローリングシャッター撮像ユニット１２０によってキャプチャされる。例えば、ステップ７０５においてｎ＝１であると判定し、これに続いてステップ７０６から７０８を実施した直ぐ後、ステップ７０４に戻るとビデオフレームＡ_２がキャプチャされる。

ステップ７０４に続いて、ステップ７０５において、カウンタ値ｎが１であるかが再び判定される。もしもカウンタ値ｎが１ではなかったならば、方法はステップ７０９から７１４に進む。より詳細には、ステップ７０９において、現在の値Ｅ_ｎ－１が減算された現在の値Ａ_ｎとして値Ｂ_ｎが設定される（「Ｂ_ｎ＝Ａ_ｎ－Ｅ_ｎ－１」によって表される）。次に、ステップ７１０において、もしも現在の値Ｂ_ｎが０よりも小さかったならば、新たな値Ｂ_ｎが０として設定される。次に、ステップ７１１において、新たな値Ｅ_ｎが、現在の値Ｅ_ｎ－１と現在の値Ｂ_ｎとの和として設定される（「Ｅ_ｎ＝Ｅ_ｎ－１＋Ｂ_ｎ」によって表される）。

ステップ７１２において、現在の値Ａ_ｎが減算された現在の値Ｆ_ｎ－１として値Ｃ_ｎが設定される（「Ｃ_ｎ＝Ｆ_ｎ－１－Ａ_ｎ」によって表される）。次に、ステップ７１３において、もしも現在の値Ｃ_ｎが０よりも小さかったならば、新たな値Ｃ_ｎが０として設定される。次に、ステップ７１４において、現在の値Ｄ_ｎが減算された現在の値Ｆ_ｎ－１として新たな値Ｄ_ｎが設定される。

ステップ７０９から７１４を実施した後、方法はステップ７１５に進み、現在のカウンタ値ｎがステップ７０２において設定された統合フレームの数ｓに等しいかが判定される。もしも現在のカウンタ値ｎが統合フレームの数ｓと等しくないと判定されたならば、方法はステップ７０８に戻り、カウンタ値ｎは１だけ増加され、次にステップ７０４に戻り、現在のカウンタ値ｎに対応するビデオフレームＡ_ｎ（ｐ_ｘ，ｐ_ｙ）がシステム１００のローリングシャッター撮像ユニット１２０によってキャプチャされる。従って、ステップ７１５において現在のカウンタ値ｎが統合フレームの数ｓに等しいかを判定することによって、アルゴリズムは、現在のカウンタ値ｎが統合フレームの数ｓに等しくなるまで、ステップ７０４及び７０９から７１４が増加された各値ｎについて実施されることを保証する。ステップ７０９から７１４の動作は、第１の合成画像及び第２の合成画像の生成を可能とし、これらは、ステップ７０９から７１４の最後の繰り返しの後、Ｅ_ｎ及びＤ_ｎによって表される。第１の合成画像Ｅ_ｎは、この場合、複数の画像（すなわち、キャプチャされたビデオフレーム）からの明輝度帯を含み、第２の合成画像Ｄ_ｎは、この場合、複数の画像からの暗輝度帯を含む。

もしもステップ７１５において現在のカウンタ値ｎが統合フレームの数ｓと等しいと判定されたならば、方法はステップ７１６に進み、第１の合成画像Ｅ_ｎと第２の合成画像Ｄ_ｎとの間で減算演算を実施することによって環境光補正画像Ｓが生成される。次いで、方法はステップ７１７において終了する。

他の実施形態において、キャプチャされた複数の画像から最大及び最小ピクセル値を得ることによってなど、分離アルゴリズムが他のやり方で実現され得ることは理解されよう。例えば、ステップ７０９から７１１は、Ｅ_ｎ＝ｍａｘｉｍａ（Ｅ_ｎ－１，Ａ_ｎ）として実現されてよく、ステップ７１２から７１４は、Ｅ_ｎ＝ｍｉｎｉｍａ（Ｅ_ｎ－１，Ａ_ｎ）として実現されてよく、演算子ｍａｘｉｍａ及びｍｉｎｉｍａは、各画像ピクセル値の間での比較演算並びに最大ピクセル値及び最小値抽出をそれぞれ含む。反復的なプロセスに代わって、ｍａｘｉｍａ及びｍｉｎｉｍａ演算子は、設定された数の統合フレーム内の全てのビデオフレームに対して一度に実施され得る。

こうして、既存の問題を克服する、環境光画像補正を実施するための向上されたシステム及び方法が提供される。

開示された実施形態に対する変形例が、特許請求された発明を実践するに当たり、図面、本開示、及び添付の特許請求の範囲を検討することから、当業者によって理解され得、実施され得る。特許請求の範囲において、「備える、有する、含む」という語は、他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に記載されたいくつかのアイテムの機能を果たし得る。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用され得ないことを示すものではない。特許請求の範囲における任意の参照記号は、範囲を限定するものと解釈されるべきではない。

Claims (13)

1. 環境光画像補正を実施するためのシステムであって、前記システムは、
   物体にパルス式照明を提供する光源と、
   前記物体が前記光源からの前記パルス式照明によって照らされている間に、前記パルス式照明の波周期よりも短い露出時間で前記物体の複数の画像をキャプチャするローリングシャッター撮像ユニットであって、キャプチャされた前記複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯は前記パルス式照明の高状態に対応し、暗輝度帯は前記パルス式照明の低状態に対応する、ローリングシャッター撮像ユニットと
   を備え、
   前記光源によって提供される前記照明のパルス周波数は、前記ローリングシャッター撮像ユニットによって前記複数の画像がキャプチャされるフレームレートの多重積分ではなく、
   前記システムは、
   明輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の明輝度帯を含む第１の合成画像を生成することと、
   暗輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成することと、
   前記第１の合成画像と前記第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成することと
   を実施する制御ユニットを更に備える、システム。
2. 前記第１の合成画像及び前記第２の合成画像は、照明状態に基づいて、キャプチャされた前記複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用することによって生成される、請求項１に記載のシステム。
3. 前記光源は、少なくとも７０Ｈｚのパルス周波数を有する前記照明を提供する、請求項１又は２に記載のシステム。
4. 前記ローリングシャッター撮像ユニットは、一秒当たり少なくとも３０フレームのフレームレートにおいて前記複数の画像をキャプチャする、請求項１から３のいずれか一項に記載のシステム。
5. 反射コンポーネントと、
   ベースユニットと、
   請求項１から４のいずれか一項に記載のシステムと
   を備える、デジタルミラーデバイスであって、 前記システムの前記光源は前記反射コンポーネントに隣接して配置され、前記システムの前記制御ユニットは前記デジタルミラーデバイスの前記ベースユニットに位置付けられる、デジタルミラーデバイス。
6. ユーザ入力を受信するユーザインタフェースユニットを更に備え、
   前記制御ユニットは、
   前記ユーザインタフェースユニットを介して第１のユーザ入力を受信した際に前記光源及び前記ローリングシャッター撮像ユニットをスイッチオンすることと、
   前記ユーザインタフェースユニットを介して第２のユーザ入力を受信した際に前記物体の前記複数の画像をキャプチャするように前記ローリングシャッター撮像ユニットを制御することと
   を実施する、請求項５に記載のデジタルミラーデバイス。
7. 前記物体は対象者の頭部であり、前記システムの前記制御ユニットは、更に、前記環境光補正画像に基づいて、前記対象者の顔認識及び前記対象者の頭部方向判定のうちの少なくとも１つを実施する、請求項５又は６に記載のデジタルミラーデバイス。
8. 前記システムの前記制御ユニットは、更に、前記顔認識の動作及び前記頭部方向判定の動作のうちの少なくとも１つの結果に基づいて前記対象者の顔の特徴を判定する、請求項７に記載のデジタルミラーデバイス。
9. 前記ローリングシャッター撮像ユニットが前記複数の画像をキャプチャしている間にインジケーション光を提供するインジケーションライティングユニットを更に備える、請求項５から７のいずれか一項に記載のデジタルミラーデバイス。
10. 環境光画像補正を実施するための方法であって、前記方法は、
    物体にパルス式照明を提供するステップと、
    前記物体が光源からの前記パルス式照明によって照らされている間に、前記パルス式照明の波周期よりも短い露出時間で前記物体の複数の画像をキャプチャするステップであって、キャプチャされた前記複数の画像の各々は複数の明輝度帯と暗輝度帯とを含み、明輝度帯は前記パルス式照明の高状態に対応し、暗輝度帯は前記パルス式照明の低状態に対応し、前記光源によって提供される前記照明のパルス周波数は、前記複数の画像がキャプチャされるフレームレートの多重積分ではない、キャプチャするステップと、
    明輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の明輝度帯を含む第１の合成画像を生成するステップと、
    暗輝度帯に対応するキャプチャされた前記複数の画像からのセクションを合成することによって、キャプチャされた前記複数の画像からの複数の暗輝度帯を含む第２の合成画像を生成するステップと、
    前記第１の合成画像と前記第２の合成画像との間のピクセル情報における差に基づいて環境光補正画像を生成するステップと
    を有する、方法。
11. 前記第１の合成画像及び前記第２の合成画像を生成するステップは、照明状態に基づいて、キャプチャされた前記複数の画像に含まれるピクセルを分離するように分離アルゴリズムを適用するステップを有する、請求項１０に記載の方法。
12. 物体にパルス式照明を提供するステップは、少なくとも７０Ｈｚのパルス周波数で前記パルス式照明を提供するステップを有する、請求項１０又は１１に記載の方法。
13. 前記複数の画像をキャプチャするステップは、一秒当たり少なくとも３０フレームのフレームレートにおいて前記複数の画像をキャプチャするステップを有する、請求項１０から１２のいずれか一項に記載の方法。

Images