JP2022553501A - 弱光環境内の露光変化の制御 - Google Patents

Abstract

方法は、モバイル装置上のセンサからのセンサデータに基づいて、環境輝度測定値を検出することを含み、モバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面を含む。また、この方法は、モバイル装置上のカメラからの画像データに基づいて、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の程度を決定することをさらに含む。さらに、この方法は、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の決定された程度に基づいて、カメラの露光変化率を設定することを含む。

Description

関連出願の参照
本開示は、米国特許仮出願６２／９１４７５９（２０１９年１０月１４日）の優先権を主張する米国特許出願１６／６８４９４７（２０１９年１１月１５日）の優先権を主張する。これら出願の全ての内容は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。

背景
多くの現代のコンピューティング装置、例えば、携帯電話、パーソナルコンピュータ、およびタブレットは、静止カメラおよび／またはビデオカメラなどの画像撮影装置を備える。画像撮影装置は、人間、動物、風景、および／または物体を含む画像を撮影することができる。

露光は、電子画像センサに到達する単位面積当たりの光量を指す。露光は、シャッタ速度、レンズ絞りおよびシーン輝度などの１つ以上の露光パラメータによって決められる。画像撮影装置は、露光を自動的に調整することによって、生成される画像の品質を向上させることができる。

概要
本開示は、複数の入力ソースからのセンサデータを結合して、カメラの露光変化を制御することによって、撮影されたシーンを表すフレームの品質を向上させる方法に関する。

第１の態様において、方法が提供される。この方法は、モバイル装置上のセンサからのセンサデータに基づいて、環境輝度測定値を検出することを含み、モバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面を含む。また、この方法は、モバイル装置上のカメラからの画像データに基づいて、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の程度を決定することを含む。さらに、この方法は、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の決定された程度に基づいて、カメラの露光変化率を設定することを含む。

第２の態様において、モバイル装置が提供される。このモバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面と、環境光センサと、カメラと、制御システムとを備える。制御システムは、環境光センサからのセンサデータに基づいて、環境輝度測定値を検出するように構成されてもよい。または、制御システムは、カメラからの画像データに基づいて、カメラからの画像データに基づいて、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の程度を決定するように構成されてもよい。さらに、制御システムは、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の決定された程度に基づいて、カメラの露光変化率を設定するように構成されてもよい。

第３の態様において、実行可能なプログラム命令を格納する非一時的なコンピュータ可読媒体が提供される。プログラム命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに以下の動作を実行させる。これらの動作は、モバイル装置上のセンサからのセンサデータに基づいて、環境輝度測定値を検出することを含み、モバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面を含む。また、これらの動作は、モバイル装置上のカメラからの画像データに基づいて、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の程度を決定することを含む。さらに、これらの動作は、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の決定された程度検に基づいて、カメラの露光変化率を設定することを含む。

第４の態様において、システムが提供される。このシステムは、モバイル装置上のセンサからのセンサデータに基づいて、環境輝度測定値を検出するための手段を含み、モバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面を含む。また、このシステムは、モバイル装置上のカメラからの画像データに基づいて、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の程度を決定するための手段を含む。さらに、このシステムは、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の決定された程度に基づいて、カメラの露光変化率を設定するための手段を含む。

他の態様、実施形態および実装形態は、添付の図面を適宜に参照しながら以下の詳細な説明を読むことによって、当業者に明白となるであろう。

例示的な実施形態に従って、コンピューティング装置を示す図である。 例示的な実施形態に従って、コンピューティング装置の要素間のデータフローを示す図である。 例示的な実施形態に従って、異なるシーンのモーション情報を示すグラフである。 例示的な実施形態に従って、決定された第１のシーンの減少率を示すグラフである。 例示的な実施形態に従って、決定された第２のシーンの減少率を示すグラフである。 例示的な実施形態に従って、決定された第３のシーンの減少率を示すグラフである。 例示的な実施形態に従って、方法を示す図である。

詳細な説明
本明細書は、例示的な方法、装置およびシステムを記載する。理解すべきことは、「例示の」および「例示的な」という用語は、本明細書において、「例示、事例、または実例として機能する」ことを意味することである。本明細書に記載された任意の「例示」または「例示的な」実施形態または特徴は、必ずしも、他の実施形態または特徴よりも好ましいまたは有利であると解釈されるべきではない。本明細書に記載された主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。

したがって、本明細書に記載された例示的な実施形態は、限定することを意図していない。本明細書に概して記載され、図面に示された本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計されてもよい。これらの全ては、本明細書に想定される。

また、文脈がそうでないことを示唆しない限り、各図面に示された特徴を組み合わせて使用することができる。したがって、図面は、概して、１つ以上の実施形態の構成要素として見なされるべきであり、各実施形態は、必ずしも図示された全ての特徴を必要としないことを理解すべきである。

Ｉ．概要
スマートフォンなどのモバイル装置のカメラに対する露光制御は、撮影されるフレームの輝度を決めることができる。また、モバイル装置は、画像撮影の際に、ユーザがモバイル装置のディスプレイ画面上の輝度の変化を観察することを可能にするプレビューモードを含むことができる。輝度の変化は、シーンの変化および／または他の要因によって引き起こされてもよい。

いくつかの例において、モバイル装置のディスプレイ画面は、環境光センサを利用して、環境輝度を検出することができる。環境光センサは、スペクトルセンサであってもよい。スペクトルセンサは、フリッカと光スペクトルの両方を検出することができる複合式センサであるが、光スペクトルの検出に専用される場合に、環境光センサと同等である。環境光センサは、モバイル装置の背面に、すなわち、ディスプレイの反対側に設けられた背面向きセンサであってもよい。環境光センサが向いている環境が明るすぎる場合、ディスプレイ画面は、明るくなることによって視界をより適切にするように構成されてもよく、逆も同様である。モバイル装置の前面に、すなわち、ディスプレイと同じ側に設けられたカメラは、カメラセンサの露光感度を制御するように構成されてもよい。撮影されるフレームが暗すぎる場合、カメラ制御は、フレームを明るくするように、露光感度を増加させることができ、逆も同様である。さらなる例において、環境光センサおよびカメラは、環境光センサがディスプレイから離れる方向に向いている限り、両方とも同じ方向に向いてもよい（例えば、両方が背面に向いている）。

通常、２つのアプローチは、良好な自撮り写真を撮影するために共に機能することができるが、例えば弱光環境の場合に、２つのアプローチの間にいくつかの競合が生じる可能性がある。ユーザが前面向きカメラを用いて自撮り写真を撮影するときに、画面は、自撮り写真のプレビューを示す。最初に撮影されたフレームが暗すぎると仮定する場合、カメラ制御は、カメラセンサ露光感度を増加させることによって、ユーザの顔を明るくするように構成されてもよい。これによって、顔を捕捉するディスプレイ画面上のプレビューが明るくなる。したがって、ディスプレイの光を反射するユーザの顔が明るくなる。

（例えば、ユーザが比較的暗い環境にいるときに）ディスプレイが主な光源である場合、環境光センサは、ユーザの顔からの反射光が明るくなることを感知できるため、環境輝度に基づいて調整を行うためのディスプレイ自体の方法により、ディスプレイは、明るくなる。ディスプレイが明るくなると、ディスプレイの光を反射するユーザの顔が明るくなり、撮影されたフレームが更に明るくなる。この反復は、カメラ制御が撮影されたフレームが明るくなりすぎると判定するまで継続する。次いで、カメラ制御は、カメラセンサの感度を減少させることができる。画像輝度の減少によって、露光感度および表示輝度の両方は、撮影されたフレームが暗くなりすぎるまで減少する。このようループは、露光変動と呼ばれる。露光変動の視覚効果は、明るすぎる画像と暗すぎる画像との間で複数回交代するプレビュー画像を含む。露光変動は、最適ではない表示画像を生成する場合がある。

このことを避けるために、１つのアプローチは、（例えば、露光変化ステップの大きさを減少させることによって）露光変化率を減少させることを含む。これによって、露光が許容露光範囲に達すると、カメラ制御は、露光の更新を即座に停止することによって、露光変動を防止することができる。しかしながら、他方では、実際のシーン変化を捕捉するために、露光を十分迅速に変える必要がある。

本明細書に記載された例は、シーンを理解し、シーン変化がディスプレイの光に起因するかまたは他の要因に起因するかを検出することを含む。例は、ディスプレイ画面からの反射光に起因する環境輝度測定値の程度に基づいて、露光変化率を制御することをさらに含む。より具体的には、本明細書に記載された例は、背面向き環境光センサを用いて環境光の変化を検出すること、および前面向きカメラを用いてモーションおよび輝度変化を評価することによって、シーン変化が（速い露光変化を必要とする）モーションに起因するか、または（遅い露光変化を必要とする）表示変化に起因するかを判断することを含むことができる。

ＩＩ．例示的な装置
図１は、例示的な実施形態に従って、コンピューティング装置１００を示す。コンピューティング装置１００は、ディスプレイ１１０と、１つ以上の環境光センサ１２０と、１つ以上の他のセンサ１３０と、１つ以上のカメラ１４０と、ネットワークインターフェイス１５０と、１つ以上のコントローラ１６０とを含む。いくつかの例において、コンピューティング装置１００は、スマートフォン、タブレット装置、カメラ、またはウェアラブル装置などのモバイルコンピューティング装置であってもよい。コンピューティング装置１００は、環境と相互作用するように構成されてもよい。例えば、コンピューティング装置１００は、コンピューティング装置１００の周りの環境を示す画像データを取得することができ、環境に関連する環境状態測定値、例えば環境光測定値を取得することもできる。

ディスプレイ１１０は、（タッチ画面を含む）１つ以上の画面、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、デジタル光処理（ＤＬＰ）技術および／または他の同様の技術を用いるディスプレイを介して、出力信号をユーザに提供するように構成されてもよい。また、ディスプレイ１１０は、例えば、スピーカ、スピーカジャック、オーディオ出力ポート、オーディオ出力素子、イヤホン、および／または他の類似装置を用いて、可聴出力を生成するように構成されてもよい。ディスプレイ１１０は、１つ以上の触覚要素をさらに含むことができる。１つ以上の触覚要素は、コンピューティング装置１００とのタッチおよび／または物理接触によって検出可能な振動および／または他の出力などの触覚出力を生成することができる。

ディスプレイ１１０は、特定の輝度レベルで視覚出力を提供するように構成されてもよい。輝度レベルは、最大輝度レベルとの百分率として決定されてもよい。いくつかの例において、ディスプレイ１１０は、環境輝度および／または他の因子に基づいて、輝度レベルを自動的に調整するように構成されてもよい。いくつかの例において、ユーザが画面の輝度を調整することを可能にするように、ユーザ入力機構、例えばスライダ機構を設けてもよい。

環境光センサ１２０は、コンピューティング装置１００の（例えば、１メートル（ｍ）、５ｍ、または１０ｍ以内の）環境からの光を受光するように構成されてもよい。環境光センサ１２０は、コンピューティング装置１００上に設けられた少なくとも１つの背面向き環境光センサを含むことができる。環境光センサ１２０は、１つ以上の単一光子アバランシェ検出器（ＳＰＡＤ）、アバランシェフォトダイオード（ＡＰＤ）、相補型金属酸化物半導体（ＣＭＯＳ）検出器、および／または電荷結合素子（ＣＣＤ）を含むことができる。例えば、環境光センサ１２０は、約１５５０ナノメートル（ｎｍ）波長の光を検出するように構成されたヒ化インジウムガリウム（ＩｎＧａＡｓ）ＡＰＤを含むことができる。他の種類の環境光センサ１２０も可能であり、本明細書に想定される。

いくつかの実施形態において、環境光センサ１２０は、１次元アレイまたは２次元アレイに配置された複数の光検出器素子を含むことができる。例えば、環境光センサ１２０は、一列（例えば、線状アレイ）に配置された１６個の検出器素子を含むことができる。これらの検出器素子は、主軸に沿って配置されてもよく、または少なくとも主軸に平行して配置されてもよい。

いくつかの実施形態において、コンピューティング装置１００は、１つ以上の他のセンサ１３０を含むことができる。他のセンサ１３０は、コンピューティング装置１００の状態および／またはコンピューティング装置１００の（例えば、１ｍ、５ｍ、または１０ｍ以内の）環境の状態を測定し、これらの状態のデータを提供するように構成されてもよい。例えば、他のセンサ１３０は、以下のうちの１つ以上を含むことができる：
（ｉ）例えば、コンピューティング装置１００の温度を測定するための温度計、コンピューティング装置１００の１つ以上のバッテリの電力を測定するためのバッテリセンサ、および／またはコンピューティング装置１００の状態を測定する他のセンサを含むがこれらに限定されない、コンピューティング装置１００に関するデータを取得するためのセンサ、
（ｉｉ）例えば、無線周波数識別（ＲＦＩＤ）リーダ、近接センサ、１次元バーコードリーダ、２次元バーコード（例えば、ＱＲコード（登録商標））リーダ、および／またはレーザトラッカを含むがこれらに限定されない、他の物体および／または装置を識別するための、ＲＦＩＤタグ、バーコード、ＱＲコードなどの識別子、および／または読取られるように構成された他の装置および／またはオブジェクトを読み取り、少なくとも識別情報を提供するように構成された、識別センサ、
（ｉｉｉ）例えば、傾斜センサ、ジャイロスコープ、加速度計、ドップラー（Doppler）センサ、全地球測位システム（ＧＰＳ）装置、ソナーセンサ、レーダ装置、レーザ変位センサ、および／またはコンパスを含むがこれらに限定されない、コンピューティング装置１００の位置および／または動きを測定するためのセンサ、
（ｉｖ）例えば、赤外線センサ、光センサ、バイオセンサ、静電容量センサ、タッチセンサ、温度センサ、無線センサ、ラジオセンサ、運動センサ、近接センサ、レーダ受信機、マイクロフォン、サウンドセンサ、超音波センサおよび／または煙センサを含むがこれらに限定されない、コンピューティング装置１００の環境を示すデータを取得するための環境センサ、および／または
（ｖ）例えば、１次元以上の力、トルク、接地力、摩擦を測定するための１つ以上のセンサ、および／またはゼロモーメント点（ＺＭＰ）および／またはＺＭＰの位置を識別するためのＺＭＰセンサ、を含むがこれらに限定されない、コンピューティング装置１００の周りに作用する１つ以上の力（例えば、慣性力および／またはＧ力）を測定するための力センサ。他のセンサ１３０の多くの他の例も可能である。

カメラ１４０は、画像データおよび／またはビデオデータを取得するように構成されてもよい。カメラ１４０は、コンピューティング装置１００上に設けられた少なくとも１つの前面カメラを含むことができる。カメラ１４０は、１つ以上のレンズ、レンズモータ、光センサ、ハードウェアプロセッサ、および／またはカメラ１４０のハードウェアを利用するおよび／またはコントローラ１６０と通信するためのソフトウェアを含むことができる。カメラ１４０は、環境の照明および／または他の要因に基づいて、露光を自動的に調整するように構成されてもよい。例えば、画像撮影の前にまたは画像撮影の間に、自動露光機能を使用して、カメラのレンズ絞り、カメラのアナログゲインおよび／またはデジタルゲイン、および／またはカメラのシャッタ速度を設定することができる。カメラ１４０からの画像データは、ビデオカメラプレビューモードでディスプレイ１１０上に表示するために提供されてもよい。

環境光センサ１２０、他のセンサ１３０、および／またはカメラ１４０から得られたデータは、コントローラ１６０に送信されてもよい。本明細書でさらに説明されるように、コントローラ１６０は、そのデータを使用して、ディスプレイ１１０および／またはカメラ１４０の動作を調節することができる。

ネットワークインターフェイス１５０は、ネットワークを介して通信するように構成可能な１つ以上の無線インターフェイスおよび／または有線インターフェイスを含むことができる。無線インターフェイスは、１つ以上の無線トランスミッタ、レシーバおよび／またはトランシーバ、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、Ｚｉｇｂｅｅ（登録商標）トランシーバ、Ｗｉ－Ｆｉ（登録商標）トランシーバ、ＷｉＭＡＸ（登録商標）トランシーバ、および／または無線ネットワークを介して通信するように構成可能な他の類似の無線トランシーバを含むことができる。有線インターフェイスは、１つ以上の有線トランスミッタ、レシーバおよび／またはトランシーバ、例えば、イーサネット（登録商標）トランシーバ、ユニバーサルシリアルバス（ＵＳＢ）トランシーバ、またはツイストペアワイヤ、同軸ケーブル、光ファイバリンクもしくは有線ネットワークへの同様の物理接続を介して通信するように構成可能な類似のトランシーバを含むことができる。

いくつかの実施形態において、ネットワークインターフェイス１５０は、信頼できる安全および／または認証された通信を提供するように構成されてもよい。信頼できる通信（例えば、保証されたメッセージ配信）を容易にするための情報を、おそらくメッセージヘッダおよび／またはフッタ（例えば、パケット／メッセージ順序付け情報、カプセル化ヘッダおよび／またはフッタ、サイズ／時間情報、および伝送検証情報、例えば循環冗長検査（ＣＲＣ）および／またはパリティ検査値）の一部として本明細書に記載された各通信に提供することができる。通信は、データ暗号化規格（ＤＥＳ：Data Encryption Standard）、高度暗号化規格（ＡＥＳ：Advanced Encryption Standard）、ＲＳＡ（Rivest-Shamir-Adelman）アルゴリズム、ディフィ－ヘルマン（Diffie-Hellman）アルゴリズム、セキュアソケット層（ＳＳＬ）またはトランスポート層セキュリティ（ＴＬＳ）などのセキュアソケットプロトコル、および／またはデジタル署名アルゴリズム（ＤＳＡ）を含むがこれらに限定されない１つ以上の暗号プロトコルおよび／またはアルゴリズムを用いて、安全化（例えば、符号化または暗号化）されてもよく、および／または復号／デコードされてもよい。上記に列挙したものと共にまたはそれに加えて、他の暗号プロトコルおよび／またはアルゴリズムを用いて、通信（およびその後の解読／復号）を安全化することができる。

コントローラ１６０は、１つ以上のプロセッサ１６２と、メモリ１６４とを含むことができる。プロセッサ１６２は、１つ以上の汎用プロセッサおよび／または１つ以上の専用プロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ）、テンソル処理ユニット（ＴＰＵ）、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ））を含むことができる。プロセッサ１６２は、メモリ１６４に格納されたコンピュータ可読命令および／または本明細書に記載された他の命令を実行するように構成されてもよい。メモリ１６４は、プロセッサ１６２によって読み取りおよび／またはアクセスされ得る１つ以上の非一時的コンピュータ可読記憶媒体を含むことができる。１つ以上の非一時的コンピュータ可読記憶媒体は、少なくとも１つのプロセッサ１６２と全体的にまたは部分的に一体化され得る揮発性および／または不揮発性記憶要素、例えば光学記憶要素、磁気記憶要素、有機記憶要素、他のメモリ要素またはディスク記憶要素を含むことができる。いくつかの例において、メモリ１６４は、単一の物理装置（例えば、１つの光学記憶装置、磁気記憶装置、有機記憶装置、他のメモリ装置またはディスク記憶装置）を用いて実装されてもよく、他の例において、メモリ１６４は、２つ以上の物理装置を用いて実装されてもよい。

例示的な実施形態において、プロセッサ１６２は、メモリ１６４に記憶された命令を実行することによって、本明細書に記載された動作を実行するように構成される。なお、異なる動作は、コントローラ１６０の個別のコントローラによって実行されてもよい。特に、コントローラ１６０は、１つ以上の別個のコントローラに加えてまたはその代わりに、ディスプレイ１１０と一体化された１つ以上のコントローラおよび／またはカメラ１４０と一体化された１つ以上のコントローラを含むことができる。

ＩＩＩ．例示的な方法
図２は、例示的な実施形態に従って、コンピューティング装置の要素間のデータフローを示す。より具体的には、図示のように、環境光センサ１２０、コントローラ１６０、カメラ１４０、およびディスプレイ１１０を含むコンピューティング装置１００の要素は、互いに通信することができる。図２に示されたコンピューティング装置１００は、コンピューティング装置１００周囲の環境で動作することができ、当該環境と相互作用することができる。環境は、環境を照明する１つ以上の光源、特に自然光源もしくは人工光源からの光、または環境内の物体から反射された光を含むことができる。

環境光センサ１２０は、周囲環境に光学的に結合されてもよい。すなわち、環境光センサ１２０が周囲環境の視野から１つ以上の光源を検出するように、環境光センサ１２０をコンピューティング装置１００内に配置することができる。いくつかの例において、環境光センサ１２０は、環境光測定値２１２を生成するように１つ以上の光源の大きさを取得することができる。次いで、環境光センサ１２０は、環境光測定値２１２をコントローラ１６０に送信することができる。コントローラ１６０は、環境光測定値２１２に基づいて、ディスプレイ１１０および／またはカメラ１４０の挙動を調節することができる。

カメラ１４０は、コンピューティング装置１００周囲の環境の静止画像および／またはビデオ画像を含む画像データ２１４を取得することができる。画像の輝度は、カメラ１４０の現在の露光によって影響されてもよい。カメラ１４０は、所望の輝度レベル（例えば、画像を閲覧する現在の環境とは無関係に、最適な画質を得るために選択された輝度レベル）を達成するために、カメラ１４０の露光を自動的に設定するように構成されてもよい。露光は、最適な露光を達成するまで、以前に撮影されたフレームに基づいて調整されてもよい。カメラ１４０は、画像データ２１４をコントローラ１６０に送信することができる。

コントローラ１６０は、カメラ１４０による露光調整の速度に影響を及ぼすように、カメラ１４０の露光変化率２１６を設定することができる。露光変化率２１６は、環境光センサ１２０からの環境光測定値２１２およびカメラからの画像データ２１４の両方に依存し得る。いくつかのシナリオにおいて、コントローラ１６０は、環境が比較的暗く、モバイル装置１００が安定していると判断することができる。したがって、コントローラ１６０は、環境光測定値２１２が主に環境の表面、例えばユーザの顔から反射されたディスプレイ１１０の光に由来すると判断することができる。よって、コントローラ１６０は、露光変動を防止するために露光変化率２１６を減少させることができる。他のシナリオにおいて、コントローラ１６０は、環境が比較的明るいことを判断することができ、露光変化率２１６を減少させない。さらなるシナリオにおいて、コントローラ１６０は、モバイル装置１００および／または周囲環境が動いていると判断することができ、露光変化率２１６を減少させない。

なお、露光変動は、ディスプレイが環境輝度に基づいて表示輝度を調整するように構成されたコンピューティング装置において、特に重要な課題である。図２を参照して、コントローラ１６０は、ディスプレイ１１０の表示輝度２１８を調整するように構成されてもよい。周囲環境が暗くなると、表示輝度２１８を減少させることができる。周囲環境が明るくなると、表示輝度２１８を増加させることができる。周囲環境輝度に基づいた表示輝度の調整は、環境光センサ１２０からの環境光測定値２１２を用いて行われてもよい。

また、コントローラ１６０は、ディスプレイ１１０上で表示するために、カメラ１４０によって撮影された現在のフレーム２２０を送信することができる。現在のフレーム２２０は、ビデオプレビューモードの一部としてディスプレイ１１０上で表示されてもよい。ディスプレイ１１０上の現在のフレーム２２０の輝度は、ディスプレイ１１０の現在の輝度レベルおよびカメラ１４０の現在の露光の両方によって影響されてもよい。したがって、いくつかのシナリオにおいて、ディスプレイ１１０およびカメラ１４０の競合フィードバックループは、露光変動を引き起こす可能性がある。露光変化率２１６を低減させることによって、露光変動を低減または排除すると共に、表示輝度を収束させることができる。

図２は、要素の特定の配置を示すが、他の配置も可能である。追加的にまたは代替的に、コンピューティング装置１００のいくつかの要素は、追加、除去、合併、および／または再配置されてもよい。

図３は、例示的な実施形態に従って、異なるシーンのモーション情報を示すグラフである。より具体的には、図３は、４つの異なるシーンの経時的なモーションプロット３００を示している。いくつかの例において、カメラによって取得された画像データから決定されたモーション情報を用いて、異なるシーンを撮影する時にカメラの露光率を調整するか否かを判断することができる。

モーション情報は、カメラの露光変化率の減少（減少率）をトリガするか否かを判断するためのマルチセンサ入力融合プロセスの一部として見なされてもよい。いくつかの例において、マルチセンサ入力は、少なくとも、（１）背面向き環境光センサおよび（２）前面向きカメラから収集されたデータを用いて、シーンの変化特性を検出することを含むことができる。背面向き環境光センサは、環境が暗いシーンであるか否かを感知することができ、ディスプレイ画面からの反射光（ディスプレイ画面自体を除く）を検出することができる。前面向きカメラは、自撮りフレームを取得し、その画像データを用いてモーションおよび輝度変化を計算し、モーションおよび輝度変化を用いてシーン変化特性を決定することができる。

第１のステップとして、環境光センサを用いて環境輝度を検出することができる。この場合、環境輝度は、（例えば、音に関連する鮮明さと区別される）光を出射および／または反射する環境に関連する属性を指す。このステップは、環境光センサから環境光センサデータを収集することを含んでもよい。いくつかの例において、緑色光応答性を示す緑色チャネルを用いて、環境光センサデータから輝度値を計算することができる。さらなる例において、緑色応答性対透明応答性の比を示す緑色／透明チャネルを用いて、環境光センサデータから輝度値を計算することができる。輝度値が高い（例えば、高い輝度閾値を超える）と判定された場合、環境は、明るいシーンと識別され、露光収束を迅速に実行するように制御することができる。

第２のステップとして、前面向きカメラを用いてシーン変化を検出することができる。いくつかの例において、このステップは、画像データ中の連続フレームを比較することによって、シーンモーションを計算することを含むことができる。このステップは、実際のモーションとディスプレイの輝度変化とを区別するために実行されてもよい。いくつかの例において、時間窓にわたるモーション平均値を用いて、実際のモーションとディスプレイの輝度変化とを区別することができる。さらなる例において、同様にまたはその代わりに、時間窓にわたるモーション分散を用いて、実際のモーションとディスプレイの輝度変化とを区別することができる。一般に、より高いモーション平均値および／またはより高いモーション分散は、実際の装置および／または迅速な露光変更を必要とする可能性があるシーンモーションに関連する可能性が高い。

図３を参照して、モーションプロット３００は、４つの異なるシーンのモーション情報を示す。モーション情報は、単一のスケール（この場合、ｙ軸に示されている０．０～３．０）に正規化されてもよく、（例えば、ｘ軸に示されているようにミリ秒で測定した）時間窓にわたる画像データのモーションに基づく変化の大きさを表してもよい。図３に示された例において、シーン１および４は、より大きなモーション平均値および高い分散を有するため、実際のモーションを表すと判断されてもよい。対照的に、シーン２および３は、比較的低いモーション平均および分散を有するため、シーン２およびシーン３のモーションは、ディスプレイ画面の輝度変化によるものであると判断されてもよい。

モーションの計算は、輝度変化の影響を除去しようとするため、同様にまたはその代わりに、画像データ内の輝度変化を評価することもできる。例えば、個々のピクセルの赤色強度値、緑色強度値および青色強度値の加重和に基づいて、輝度を表す輝度値を計算することによって、輝度変化を決定することができる。実際のモーションは、輝度値をランダムに変化させる可能性が高く、ディスプレイ画面の輝度変化に起因する輝度変化は、単調である可能性が高くなる。いくつかの例において、モーションの経時変化および輝度の経時変化の両方を用いて、実際のモーションに起因するシーン変化と表示輝度変化に起因するシーン変化とを区別させることができる。

一般に、複数の特徴を組み合わせて、ディスプレイからの反射光に起因する環境輝度測定値の程度を評価することができ、この程度は、露光変化率を減少させる必要性を示すことができる。さらなる例において、異なる特徴を使用してもよく、他の特徴を省略してもよい。さらなる例において、同様にまたはその代わりに、異なる種類のセンサデータを使用してもよい。いくつかの例（特に、環境光センサおよびカメラの両方がディスプレイから離れる方向を向いている場合）において、環境光センサからの光スペクトルデータを用いて、環境光センサが受光している光が、環境光源からの光であるかまたはディスプレイの光を反射するユーザの顔からの光であるかを判断することができる。

さらなる例において、カメラ画像データに加えてまたはカメラ画像データの代わりに、ジャイロスコープからのセンサデータを用いて、装置モーションを評価することができる。ジャイロスコープがグローバルモーションの測定値を提供し、画像ベースのモーション検出がローカルモーションの測定値を提供するため、ジャイロスコープと画像ベースのモーション検出の両方を使用することが有利であり得る。ジャイロスコープからのセンサデータを使用する場合、ジャイロスコープが有意な量（例えば、高い閾値レベルを超える量）の装置モーションを示すときに、制御システムは、露光変化率を減少させない。

図４、５および６は、例示的な実施形態に従って、決定された異なるシーンの減少率を示すグラフである。各図は、時間窓にわたってモバイル装置が撮影し得る異なるシーンの減少率、輝度検出およびモーション検出の間の例示的な関係を示す。モバイル装置のコントローラは、図４、５および６のそれぞれに従って検出された輝度およびモーション情報に基づいて、カメラ露光収束の減少率を設定するように構成されてもよい。

説明のために、減少率、輝度検出値およびモーション検出値は、図４、５および６の各々において、それぞれ０と１との間の値にスケーリングされ、ｙ軸に示される。減少率は、カメラ露光の最終収束速度に影響を与える乗数を表す。収束を平滑にするために、カメラによって使用された所定の定数をこの乗数に乗算することができる。例えば、減少率が０．５であり、所定の定数が０．８である場合、最終収束速度は、０．５×０．８、すなわち、０．４に等しい。この収束速度は、最終目標露光レベルまで徐々に到達するように、カメラが各収束ステップにおいて露光不足または露光過多の４０％のみを補償することを示す。いくつかの例において、大きさと同様にまたはその代わりに、露光変化の頻度を調節してもよい。

また、輝度検出値は、０と１との間の値にスケーリングされてもよい。０という値は、所定の低閾値より低い背面輝度を示し、１という値は、所定の高閾値より高い裏面輝度を示す。さらに、モーション検出値は、０と１との間の値にスケーリングされてもよい。０という値は、不安定性を示し、１という値は、安定性を示す。いくつかの例において、モーション検出値は、経時的な画像分析に基づくことができる。他の例において、モーション検出値は、同様にまたはその代わりに、ジャイロスコープデータに基づくことができる。輝度検出値およびモーション検出値は、時間窓（例えば、ミリ秒単位）にわたって測定され、ｘ軸に示される。

図４を参照して、第１のシーンの経時的な減少率のプロット４００が、関連する輝度検出値およびモーション検出値と共に示されている。図示のように、時間窓の大部分にわたって１というモーション検出値は、装置が比較的安定していることを示す。さらに、時間窓にわたって１という輝度検出値は、環境が比較的明るいことを示す。明るい環境の場合、ディスプレイからの反射光が環境光センサによって検出される環境光の主な光源ではないため、露光変動は、大きな問題とならない。したがって、減少率は、１という値に設定される。この場合、露光収束を減少させないことを示す。よって、カメラの露光は、減少させることなく、所定の収束率で収束することができる。このシナリオは、ユーザが、明るい環境において静止しており、自分の電話を見ているシナリオに対応し得る。

図５を参照して、第２のシーンの経時的な減少率のプロット５００が、関連する輝度検出値およびモーション検出値と共に示されている。図示のように、輝度検出値は、時間窓にわたって０と１との間で変化する。このことは、環境光センサが弱光環境を示す期間があることを示す。また、モーション検出値も、時間窓にわたって、０と１との間で激しく変化する。このことは、モバイル装置および／またはシーンが時間窓にわたって激しく動いていることを示す。輝度検出値は、時間窓内の一定の期間中に低レベルの環境光を示す（露光変動が問題となり得ることを示す）が、モーション検出値は、モーションが環境光測定値の主な寄与である可能性が高いことを示す。したがって、減少率は、１という値に設定される。この場合、露光収束を減少させないことを示す。よって、カメラの露光は、減少させることなく、所定の収束率で収束することができる。このシナリオは、ユーザが自分の電話を見ながら環境に動いているシナリオに対応し得る。このようなシナリオにおいて、高い速度の露光収束が望ましい。

図６を参照して、第３のシーンの経時的な減少率のプロット６００が、関連する輝度検出値およびモーション検出値と共に示されている。図示のように、時間窓の大部分にわたって１というモーション検出値は、装置が比較的安定していることを示す。さらに、１を遥かに下回る初期輝度検出値は、環境が比較的暗いことを示す。モバイル装置が安定している弱光環境の場合、ディスプレイからの反射光が環境光センサによって検出される環境光の主な光源であり得るため、露光変動は、潜在的に重大な問題となる。したがって、減少率は、開始値０．５から０．２の値に減少させられる。このことは、この場合に露光収束を減少させることを示す。露光変動に対抗するために、カメラの露光を所定の収束率の２０％のみに収束することができる。このシナリオは、モバイル装置が安定しているときに、ユーザが比較的低い照度の環境でモバイル装置のカメラを起動するシナリオに対応し得る。他の例において、露光収束速度は、他の要因によってまたはより緩やかなペースで減少させられてもよい。さらなる例において、時間窓にわたって、露光収束速度を動的に調整してもよい。例えば、訓練済み機械学習モデルを適用することによって、露光収束速度を調整するもっと複雑な方法を使用することもできる。

図７は、例示的な実施形態に従って、方法７００を示す。方法７００は、様々なブロックまたはステップを含むことができる。これらのブロックまたはステップは、個別に実行されてもよく、または組み合わせて実行されてもよい。これらのブロックまたはステップは、任意の順序で実行されてもよく、および／または直列もしくは並列に実行されてもよい。さらに、方法７００からいくつかのブロックまたはステップを省略してもよく、または方法７００にいくつかのブロックまたはステップを追加してもよい。

方法７００のブロックは、図１および２を参照して図示および説明されたコンピューティング装置１００の様々な要素によって実行されてもよい。さらなる例において、方法７００のブロックの一部または全ては、遠隔コンピューティング装置によって実行されてもよく、または複数のコンピューティング装置に分配されてもよい。また、方法７００は、図４、５および６のプロット４００、５００および６００によって示されたように動作することができる。

ブロック７１０は、モバイル装置上のセンサからのセンサデータに基づいて、環境輝度測定値を検出することを含む。いくつかの例において、センサは、環境光センサ、例えば、光スペクトル測定値を使用する専用のスペクトルセンサであってもよい。いくつかの例において、センサは、モバイル装置上の背面向きセンサであってもよい。モバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面を含むことができる。いくつかの例において、ディスプレイ画面は、モバイル装置上の同一の環境光センサに基づいて、表示輝度を調節することができる。環境輝度測定値を検出することは、環境光センサデータにおいて緑色光応答性を示す緑色チャネルを用いて、輝度値を決定することを含むことができる。また、環境輝度測定値を検出することは、環境光センサデータにおいて透明応答性に対する緑色応答性の比を含む緑色／透明チャネルを用いて、輝度値を決定することを含むことができる。

ブロック７２０は、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の程度を決定することを含む。この決定は、モバイル装置上のカメラからの画像データに基づいて行われてもよい。いくつかの例において、カメラは、モバイル装置上で前面（例えば、環境光センサの反対方向）に向くことができる。画像データを評価することは、画像データ内のモーションに起因する検出された環境輝度測定値の程度を決定することを含むことができる。より具体的には、（例えば、フレーム間のピクセルモーションを測定することによって）画像データ内の連続フレーム間のモーションを評価することができる。画像データ内のモーションを評価することは、時間窓にわたるモーション平均値および／またはモーション分散を決定することをさらに含むことができる。

モバイル装置上のカメラからの画像データに基づいてディスプレイ画面からの反射光に起因する検出された環境輝度測定値の程度を決定することは、画像データ内の輝度変化を評価することをさらに含むことができる。より具体的には、単調輝度変化は、ディスプレイ画面からの反射光から生じる環境輝度測定値に関連付けられ得る。

ブロック７３０は、ディスプレイ画面からの反射光に起因する検出された環境輝度測定値の決定された程度に基づいて、カメラの露光変化率を設定することを含む。カメラの露光変化率を設定することは、環境輝度測定値が主にディスプレイ画面からの反射光によって生じるものであると判定された場合に、カメラの露光変化率を減少させることを含むことができる。カメラの露光変化率を減少させる場合、減少率を決定することができる。カメラの露光変化率を設定することは、減少率の係数で露光変化率の大きさを調整することを含んでもよい。

カメラの露光変化率を設定することは、環境輝度測定値が主に画像データ内のモーションおよび／またはモバイル装置のモーションから生じるものと判断された場合に、カメラの露光変化率を増加または維持することをさらに含むことができる。いくつかの例において、モバイル装置のモーションは、ジャイロスコープを用いて決定される。カメラの露光変化率を設定することは、環境輝度測定値が閾値輝度レベルを超える場合に、カメラの露光変化率を増加または維持することをさらに含むことができる。

いくつかの例において、カメラによって撮影された画像データのフレームは、ディスプレイ画面に表示される。さらなる例において、画像データは、モバイル装置のユーザの１つ以上の画像（例えば、自撮り画像）を含むことができる。他の例において、カメラの露光変化率は、異なる非較正光源、例えば、カメラを収容するコンピューティング装置とは異なる近くのコンピュータの点滅画面に合わせられてもよい。

いくつかの例において、図７の方法７００は、モーションを検出するために使用され得る環境光センサデータおよび画像データを連続的に収集するように構成されたモバイル装置上で実行されてもよい。したがって、望ましくない露光変動の影響を低減または排除するために、図７の方法７００を実行するときに、センサデータ収集に追加のコストが生じない。

本明細書に説明された、ユーザの画像データまたは他の情報を含み得る任意の例において、本明細書に説明されたシステム、プログラムまたは特徴が、ユーザ画像または他の情報（例えば、ユーザのソーシャルネットワーク、社会行為または活動、職業、ユーザの嗜好、またはユーザの現在位置に関する情報）の収集および／または記憶を可能にする場合および可能にするときに、ユーザが選択することを可能にする制御を、ユーザに与えてもよい。さらに、特定のデータは、記憶または使用される前に、個人識別情報を取り除くように１つ以上の方法で処理されてもよい。例えば、ユーザの身元は、ユーザの個人識別情報を特定できないように処理されてもよく、または（例えば、市、郵便番号、または州レベルの）位置情報が得られるユーザの地理位置は、ユーザの位置を特定できないように一般化されてもよい。したがって、ユーザは、どのようなユーザ情報を収集するか、その情報をどのように使用するか、およびどのような情報をユーザに提供するかを制御することができる。

図面に示された特定の構成は、限定として見なされるべきではない。理解すべきことは、他の実施形態は、特定の図面に示された各々の要素よりも多くまたは少ない要素を含み得ることである。さらに、図示された要素の一部は、合併されてもよく、または省略されてもよい。さらに、例示的な実施形態は、図面に示されていない要素を含むことができる。

情報の処理を表すステップまたはブロックは、本明細書に説明された方法または技法の特定の論理機能を実行するように構成され得る回路に対応してもよい。代替的または追加的に、情報の処理を表すステップまたはブロックは、（関連データを含む）プログラムコードのモジュール、セグメント、または一部に対応してもよい。プログラムコードは、方法または技術の特定の論理機能または動作を実装するために、プロセッサによって実行可能な１つ以上の命令を含むことができる。プログラムコードおよび／または関連データは、任意種類のコンピュータ可読媒体、例えば、ディスク、ハードドライブ、または他の記憶媒体を含む記憶装置に格納されてもよい。

コンピュータ可読媒体は、非一時的コンピュータ可読媒体、例えば、短期間でデータを記憶するレジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）などのコンピュータ可読媒体を含むことができる。また、コンピュータ可読媒体は、より長い期間でプログラムコードおよび／またはデータを記憶するを含むことができる。したがって、コンピュータ可読媒体は、例えば、読み取り専用メモリ（ＲＯＭ）、光学ディスクまたは磁気ディスク、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）などの二次記憶装置または持続的な長期記憶装置を含むことができる。また、コンピュータ可読媒体は、任意の他の揮発性または不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体または有形記憶装置であってもよい。

様々な例および実施形態を開示したが、他の例および実施形態が当業者には明白であろう。開示された様々な例および実施形態は、例示の目的のものであり、限定することを意図していない。本発明の範囲は、添付の特許請求の範囲によって示される。

Claims (22)

1. 方法であって、
   モバイル装置上のセンサからのセンサデータに基づいて、環境輝度測定値を検出することを含み、前記モバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面を含み、
   前記モバイル装置上のカメラからの画像データに基づいて、前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の程度を決定することと、
   前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の前記決定された程度に基づいて、前記カメラの露光変化率を設定することとを含む、方法。
2. 前記センサは、背面向き環境光センサを含み、
   前記カメラは、前面向きビデオカメラを含む、請求項１に記載の方法。
3. 前記センサデータは、環境光センサデータを含み、
   前記環境輝度測定値を検出することは、緑色応答性対透明応答性の比を含む緑色／透明チャネルを用いて、輝度値を決定することを含む、請求項１または２に記載の方法。
4. 前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の前記決定された程度を決定することは、前記画像データ内のモーションに起因する前記環境輝度測定値の程度を決定することを含む、請求項１、２または３に記載の方法。
5. 前記画像データ内のモーションに起因する前記環境輝度測定値の前記程度を決定することは、前記画像データ内の連続フレーム間のモーションを評価することを含む、請求項４に記載の方法。
6. 時間窓にわたるモーション平均値を決定することによって、前記画像データ内のモーションを評価することをさらに含む、請求項４または５に記載の方法。
7. 時間窓にわたるモーションの分散を決定することによって、前記画像データ内のモーションを評価することをさらに含む、請求項４、５または６に記載の方法。
8. 前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の程度を決定することは、前記画像データ内の輝度変化を評価することを含む、先行する請求項のいずれか一項に記載の方法。
9. 前記画像データ内の輝度変化を評価することは、単調な輝度変化を、前記ディスプレイ画面からの反射光に由来した前記環境輝度測定値に関連付けることを含む、請求項８に記載の方法。
10. 前記カメラの前記露光変化率を設定することは、前記環境輝度測定値が主に前記ディスプレイ画面からの反射光に由来したものであると決定された場合に、前記カメラの前記露光変化率を減少させることを含む、先行する請求項のいずれか一項に記載の方法。
11. 前記カメラの前記露光変化率を設定することは、前記環境輝度測定値が主に前記画像データ内のモーションに由来したものであると決定された場合に、前記カメラの前記露光変化率を増加または維持することを含む、先行する請求項のいずれか一項に記載の方法。
12. 前記カメラの前記露光変化率を設定することは、前記環境輝度測定値が主に前記モバイル装置のモーションに由来したものであると決定された場合に、前記カメラの前記露光変化率を増加または維持することを含む、先行する請求項のいずれか一項に記載の方法。
13. 前記モバイル装置の前記モーションは、ジャイロスコープを用いて決定される、請求項１２に記載の方法。
14. 前記カメラの前記露光変化率を設定することは、前記環境輝度測定値が閾値輝度レベルを超える場合に、前記カメラの前記露光変化率を増加または維持することを含む、先行する請求項のいずれか一項に記載の方法。
15. 前記カメラの前記露光変化率を設定することは、前記環境輝度測定値が主に前記ディスプレイ画面からの反射光に由来したものであると決定された場合に、減少率を決定することを含む、先行する請求項のいずれか一項に記載の方法。
16. 前記カメラの前記露光変化率を設定することは、前記減少率の係数で前記露光変化率の大きさを調整することを含む、請求項１５に記載の方法。
17. 前記ディスプレイ画面は、前記カメラによって撮影された前記画像データのフレームを表示する、先行する請求項のいずれか一項に記載の方法。
18. 前記画像データは、前記モバイル装置のユーザの１つ以上の画像を含む、先行する請求項のいずれか一項に記載の方法。
19. モバイル装置であって、
    環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面と、
    環境光センサと、
    カメラと、
    制御システムとを備え、
    前記制御システムは、
    前記環境光センサからのセンサデータに基づいて、環境輝度測定値を検出し、
    前記カメラからの画像データに基づいて、前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の程度を決定し、および
    前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の前記決定された程度に基づいて、前記カメラの露光変化率を設定するように構成される、モバイル装置。
20. 請求項１から１８のいずれか一項に記載の方法を実行するように構成されたモバイル装置。
21. 実行可能なプログラム命令を格納する非一時的なコンピュータ可読媒体であって、前記プログラム命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに以下の動作を実行させ、これらの動作は、
    モバイル装置上のセンサからのセンサデータに基づいて、環境輝度測定値を検出することを含み、前記モバイル装置は、環境輝度に基づいて表示輝度を調整するように構成されたディスプレイ画面を含み、
    前記モバイル装置上のカメラからの画像データに基づいて、前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の程度を決定することと、
    前記ディスプレイ画面からの反射光に起因する前記検出された環境輝度測定値の前記決定された程度に基づいて、前記カメラの露光変化率を設定することとを含む、非一時的なコンピュータ可読媒体。
22. 実行可能なプログラム命令を格納する非一時的なコンピュータ可読媒体であって、前記プログラム命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、請求項１から１８のいずれか一項に記載の方法を含む動作を実行させる、非一時的なコンピュータ可読媒体。

Images