JP2017533654A

JP2017533654A - 画像フレーム処理のための時間延長

Info

Publication number: JP2017533654A
Application number: JP2017522137A
Authority: JP
Inventors: リャン・チュン・チャン; イン・チェン・ロウ
Original assignee: クアルコム，インコーポレイテッド
Priority date: 2014-10-31
Filing date: 2015-10-07
Publication date: 2017-11-09
Anticipated expiration: 2035-10-07
Also published as: WO2016069226A1; EP3213502A1; US20160127628A1; EP3213502B1; CN106797435A; CN106797435B; JP6251457B2; US9462188B2

Abstract

方法は、画像プロセッサにおいて、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するステップを含む。方法はまた、第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するステップを含む。第2の時間期間は、第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、フレーム時間は、第1の時間期間および第2の時間期間を含む。

Description

優先権の主張
本出願は、2014年10月31日に出願された「TIME EXTENSION FOR IMAGE FRAME PROCESSING」という名称の米国仮特許出願第62/073,499号、および2015年3月20日に出願された「TIME EXTENSION FOR IMAGE FRAME PROCESSING」という名称の米国特許出願第14/664,741号からの優先権を主張するものであり、これらの出願の内容は、その全体が参照により組み込まれる。

本開示は一般に、画像フレーム処理に関する。

技術の進歩の結果、より小型でより強力なコンピューティングデバイスがもたらされた。たとえば、モバイルフォンやスマートフォンなどのワイヤレス電話機、タブレット、およびラップトップコンピュータを含めた、様々なポータブルパーソナルコンピューティングデバイスは、小型であり、軽量であり、ユーザによる持ち運びが容易である。これらのデバイスは、ワイヤレスネットワークを介して音声およびデータパケットを通信することができる。さらに、多くのそのようなデバイスは、ディジタルスチルカメラ、ディジタルビデオカメラ、ディジタルレコーダ、およびオーディオファイルプレーヤなど、追加の機能を組み込む。また、そのようなデバイスは、ウェブブラウザアプリケーションなど、インターネットへのアクセスに使用できるソフトウェアアプリケーションを含めた、実行可能命令を処理することができる。したがって、これらのデバイスは、大きなコンピューティング能力を備えることができる。

ワイヤレスデバイスは、画像フレーム(たとえば、ビデオおよび/または画像スチル)を取り込むカメラを備えることがある。カメラによって取り込まれた各画像フレームに対するオートフォーカス精度は、センサ露出時間およびフレーム時間の影響を受けることがある。センサ露出時間(たとえばフレーム統合期間)は、フレーム時間の一部を占めることができる。フレーム統合期間中、フレームの各画素につき画素データが生成され得る。通常、より暗いフレーム(たとえば低光量フレーム)は、より長いフレーム統合期間を有する。フレーム統合期間の後(たとえば、フレーム時間の残りの部分の間)、カメラのレンズが調整(たとえば再配置)されて、フレームの特定の関心領域に焦点が合わせられる。

フレーム統合時間期間が引き延ばされた場合、カメラのレンズを再配置するのに十分な時間量がフレーム時間の中に残っていないことがある。たとえば、フレーム統合時間期間がフレーム時間にほぼ等しい場合、フレーム統合時間の後の残りのフレーム時間中にカメラのレンズを再配置するのに十分な時間量がないことがある。この結果、アクチュエータがレンズを動かしている間に、フレームについての焦点値が収集されることがある。本明細書において使用される「焦点値」は、フレームの関心領域の鮮鋭度(sharpness)のレベルを示す、パッシブオートフォーカスにおいて使用される1つのパラメータの例である。たとえば、焦点値は、統計エンジンから得られてよく、改善された鮮鋭度のためのレンズ位置を決定するためにオートフォーカスアルゴリズムにおいて使用されてよい。

信頼性のある焦点値を生成するためには、レンズはフレーム統合中に動くべきでない。したがって、フレーム統合期間中にレンズが動いている場合、焦点値がコンタミネーションされる(contaminate)(たとえば、不正確であるかまたは信頼性がない)ことがある。加えて、焦点値が収集されている間にアクチュエータがレンズを動かしている場合、焦点値は、フレームに対する「最適な」レンズ位置を表さないことになる。したがって、画像鮮鋭度が劣化することがある。

画像フレーム処理のためにフレーム時間を延長するためのシステムおよび方法が開示される。画像センサが、画像フレームを処理するためのフレーム時間を決定することができる。フレーム時間はフレーム統合期間を含むことができ、フレーム統合期間中、画像フレームの各画素につき画素データが生成される。明るいフレームは、比較的短いフレーム統合期間を含むことができ、暗いフレームは、比較的長いフレーム統合期間を含むことができる。フレーム統合期間は外部要因(たとえば、フレームの明るさ)に依存するので、状況によっては、フレーム統合期間は、フレーム時間の比較的大きい部分を占めることがある。この結果、画像フレーム中の関心領域に焦点を合わせるためにカメラのレンズを再配置するのに十分な時間が、フレーム時間の中に残っていないことがある。

この問題に対処するために、画像センサは、フレーム時間を延長して、カメラのレンズをアクチュエータが動かせる追加時間を生み出すことができる。したがって、追加された時間は、画像フレーム中の関心領域に焦点を合わせるためにレンズを動かすのに十分な時間を、アクチュエータに提供することができる。「焦点値」が、関心領域の鮮鋭度のレベルに相関する(たとえば、このレベルを示す)ことができる。フレーム時間を延長することで、アクチュエータは、振動を完了する(または、ほぼ完了する)ことができ、このことは、所与のフレームについての焦点値を改善することができる。

フレーム時間に追加される時間の量は、画像処理中の許容される焦点値コンタミネーションの量(たとえば、パーセンテージ、レベル、程度など)に基づくことができる。焦点値コンタミネーションは、画像処理中の1フレーム当たりの画像統合時間(たとえば露出時間)の量に比例することがある。たとえば、露出時間が短く、アクチュエータが露出時間中に振動を完了しない場合、焦点値コンタミネーションは比較的高いことがある。あるいは、露出時間が長く、アクチュエータが露出時間中に振動を完了する場合、焦点値コンタミネーションは比較的低い(または存在しない)ことがある。関心領域に焦点を合わせるためにレンズが再配置されたとき、画像プロセッサは、関心領域に対する「最適な」レンズ位置を表す、より正確で信頼性のある焦点値を収集することができる。したがって、フレーム中の関心領域の画像鮮鋭度を改善することができる。

特定の態様では、方法は、画像プロセッサにおいて、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するステップを含む。方法はまた、第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するステップを含む。第2の時間期間は、第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、フレーム時間は、第1の時間期間および第2の時間期間を含む。

別の特定の態様では、装置は、画像プロセッサと、動作を実施するために画像プロセッサによって実行可能な命令を記憶したメモリとを備える。動作は、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するステップを含む。動作はまた、第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するステップを含む。第2の時間期間は、第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、フレーム時間は、第1の時間期間および第2の時間期間を含む。

別の特定の態様では、非一時的コンピュータ可読媒体は、画像プロセッサによって実行されたときに、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するステップを画像プロセッサに行わせる命令を含む。命令はまた、第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するステップを画像プロセッサに行わせるように実行可能である。第2の時間期間は、第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、フレーム時間は、第1の時間期間および第2の時間期間を含む。

別の特定の態様では、装置は、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するための手段を備える。装置はまた、第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するための手段を備える。第2の時間期間は、第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、フレーム時間は、第1の時間期間および第2の時間期間を含む。

開示される態様の少なくとも1つによって提供される特定の利点は、特定の画像フレーム中の関心領域の、改善された焦点(たとえば鮮鋭度)を含む。たとえば、フレーム時間に追加時間を足すことによって、フレーム時間を延長することができる。アクチュエータが、追加時間を使用して、レンズを動かして関心領域に焦点を合わせることができる。本開示の他の態様、利点、および特徴は、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲のセクションを含めた、本出願全体を検討した後に明らかになるであろう。

画像フレーム処理のためにフレーム時間を延長するように動作可能な画像プロセッサの特定の態様を例証するための図である。画像フレーム処理のためのフレーム時間延長を例証するタイミング図である。画像フレーム処理のためにフレーム時間を延長するための方法の特定の態様を例証するためのフローチャートである。画像フレーム処理のためにフレーム時間を延長するための方法の別の特定の態様を例証するためのフローチャートである。焦点値曲線の図である。図5の焦点値曲線のピーク比較図である。図1〜図4の技法による、画像フレーム処理のためにフレーム時間を延長するように動作可能なワイヤレスデバイスのブロック図である。

図1を参照すると、画像フレーム処理のためにフレーム時間を延長するように動作可能な画像プロセッサ102の特定の態様が示されている。画像プロセッサ102は、センサ制御モジュール104、フレーム統合モジュール110、フレーム統合タイミングモジュール112、フレーム時間注入モジュール114、関心領域識別モジュール116、および焦点値モジュール118を備えることができる。特定の実施形態では、画像プロセッサ102は、ワイヤレスデバイス(たとえばモバイルフォン)中に備わってよい。

センサ制御モジュール104は、画像センサ(図示せず)のアクチュエータ106およびレンズ108を制御するように構成されてよい。たとえば、センサ制御モジュール104は、アクチュエータ106の動きを制御するように構成されてよく、そしてまた、レンズ108の位置は、アクチュエータ106の動きに基づくことができる。たとえば、アクチュエータ106は、レンズ108を動かすことができる。後述するように、画像フレームの特定の領域(たとえば「関心領域」)の鮮鋭度は、レンズ108の位置に基づくことができる。たとえば、関心領域は、レンズ108の位置が「最適な」焦点に近づくにつれて、よりはっきりと描写され得る。

フレーム統合モジュール110は、フレームの画素を「露出」する(たとえば、フレーム中の画素についての画素データを生成する)ように構成されてよい。たとえば、フレーム統合モジュール110は、第1のフレーム120中の各画素につき画素データを生成するように構成されてよい。第1のフレーム120は、左上の隅の第1の画素122および右下の隅の最後の画素124で始まる複数の画素を含むことができる。フレーム統合モジュール110は、第1の画素122についての第1の画素データを生成し、第2の画素(たとえば、第1の画素122の右の画素)についての第2の画素データを生成し、以下同様にすることができる。特定の実施形態では、フレーム統合モジュール110は、画素の最上部の行の中の各画素につき画素データを生成し、最後の画素124についての画素データが生成されるまで、後続の行の中の各画素につき画素データを順次生成することができる。第1のフレーム120のフレームサイズは、例証のためのものにすぎず、限定とするものではない。代替実施形態では、第1のフレーム120のフレームサイズは異なってよい。

フレーム統合タイミングモジュール112は、フレーム統合モジュール110が第1のフレーム120中の各画素につき画素データを生成するための時間の長さ(たとえば、「第1の時間期間」の長さ)を表すフレーム統合時間を決定(たとえば推定)することができる。決定は、第1のフレーム120の「明るさ」レベルに基づくことができる。たとえば、第1のフレーム120が比較的明るい(たとえば高光量フレーム)場合は、フレーム統合時間(たとえば「フレーム露出」時間)は比較的短いことがある。例証のために、高光量条件におけるフレーム統合時間は、約33ミリ秒以下であることがある。第1のフレーム120が比較的暗い(たとえば低光量フレーム)場合は、フレーム統合時間は比較的長いことがある。例証のために、低光量条件におけるフレーム統合時間は、約132ミリ秒であることがある。したがって、フレーム統合タイミングモジュール112は、フレーム統合モジュール110が第1のフレーム120中の各画素につき画素データを生成するための時間の長さを、第1のフレーム120の明るさレベルに基づいて決定することができる。

フレーム時間注入モジュール114は、第1の時間期間の後に時間を「追加して」(たとえば、第2の時間期間を追加して)、第1のフレーム120を処理するための延長されたフレーム時間を生成するように構成されてよい。第1の時間期間の後に第2の時間期間を追加するかどうかの決定は、第1の時間期間(たとえば露出時間)と、延長されない(たとえばデフォルトの)フレーム時間とに基づくことができる。たとえば、延長されないフレーム時間と露出時間との差がしきい値を満たす(たとえば、しきい値よりも大きい)場合は、フレーム時間注入モジュール114は、第1の時間期間の後に時間を追加してフレーム時間を延長することを回避することができる。延長されないフレーム時間と露出時間との差がしきい値を満たさない場合は、フレーム時間注入モジュール114は、第1の時間期間の後に第2の時間期間を追加して、第1のフレーム120を処理するためのフレーム時間を延長することができる。特定の実施形態では、フレーム時間注入モジュール114は、フレームごとに、時間を追加する(たとえば、フレーム時間を延長する)ことができる。

特定の実施形態では、第2の時間期間(たとえば、追加される時間期間)は、フレームごとに調整可能であってよい。たとえば、第2の時間期間は、第1のフレーム120の処理において許容されるコンタミネーションの量(たとえば、焦点値コンタミネーションのパーセンテージ、焦点値コンタミネーションの程度、焦点値コンタミネーションのレベルなど)に、少なくとも部分的に基づくことができる。例証のために、第2の時間期間(τ)(たとえばフレーム注入時間)を、以下のように表現することができる。
τ=α-ε*ρ (式1)
式1によれば、αは、アクチュエータ106が安定化する(settle)(たとえば、振動を完了する)のに必要な時間の量を示し、εは露出時間を示し、ρは、許容されるコンタミネーションの量を示す。特定の態様では、アクチュエータ106が安定化するのに必要な時間の量(たとえば「α」)は、固定の時間期間であってよい。非限定的な例として、アクチュエータ106が安定化するのに必要な時間の量は、約10ミリ秒であることがある。露出時間(ε)は、上で説明されたように、フレームごとに変動することがある。許容されるコンタミネーションの量は、画像プロセッサ102における顧客設定に基づくことができる。

したがって、第2の時間期間(τ)は、露出時間に対して許容されるコンタミネーションの量に基づいて、調整可能とすることができる。例証的かつ非限定的な例として、露出時間が33ミリ秒であり、許容されるコンタミネーションの量が10%にほぼ等しいフレームの場合、注入時間(τ)は約6.7ミリ秒とすることができる(たとえば、10ミリ秒-(33*0.1))。別の例証的かつ非限定的な例として、露出時間が100ミリ秒であり、許容されるコンタミネーションの量(たとえばパーセンテージ)が10%にほぼ等しいフレームの場合、注入時間(τ)は約0ミリ秒とすることができる(たとえば、10ミリ秒-(100*0.1))。

このように、フレーム時間(追加時間なし)と、フレーム統合タイミングモジュール112によって決定された露出時間との差がしきい値を満たさない場合、フレーム時間注入モジュール114は、式1に従って、第1のフレーム120を処理するためのフレーム時間を、調整可能な量だけ延長するように構成されてよい。たとえば、自動露出制御(AEC)が、第1のフレームの照明に基づいて、フレーム時間および露出時間を設定(たとえば構成)することができる。フレーム時間を延長する(たとえば、時間を追加する)ために、AECは、フレーム時間をより長くなるように再調整(たとえば再構成)し(式1に従って)、露出時間を維持することができる。第2の時間期間(τ)中、レンズ108の位置が、第1のフレーム120の関心領域126に焦点を合わせるように調整されてよい。

例証のために、関心領域識別モジュール116は、第1のフレーム120中の関心領域126を識別することができる。たとえば、関心領域識別モジュール116は、第1のフレーム120の中心に位置する「デフォルト」画素領域を識別することができる。別法として、関心領域識別モジュール116は、入力された調節選好を受け取って、別の画素領域を関心領域126として識別することもできる。図示の実施形態では、関心領域126は、第1のフレーム120の中心の画素に対応する。アクチュエータ106は、第2の時間期間(τ)中、関心領域126に焦点を合わせるようにレンズ108の位置を調整することができる。

関心領域126に焦点を合わせるようにレンズ108を再配置することで、第1のフレーム120の焦点値を調整することができる。たとえば、焦点値モジュール118は、第1のフレーム120の焦点値を決定(たとえば収集)することができる。パッシブオートフォーカス技法においては、焦点値は、第1のフレーム120の関心領域126の鮮鋭度のレベルを示すことができる。第2の時間期間(τ)(たとえば、追加された時間)中、アクチュエータ106は、焦点値モジュール118が比較的高い焦点値を決定できるように、レンズ108を再配置することができる。

図1の画像プロセッサ102は、フレーム時間を延長してアクチュエータ106がレンズ108を再配置できるようにすることによって、関心領域126の焦点統計を改善することができる。たとえば、図5〜図6に関してさらに述べるように、第1のフレームの焦点統計(たとえば焦点値)は、後続のフレームの焦点値とほぼ同様であることがある。追加された時間中、アクチュエータ106は、関心領域126に焦点を合わせるようにレンズ108を再配置することができる。したがって、アクチュエータ106がレンズ108を再配置して焦点統計を改善できるように、オートフォーカス探索中に遅延(たとえば第2の時間期間(τ))がフレームに追加されてよい。一実施形態では、遅延は、各フレームに追加されてよい。代替実施形態では、遅延は、露出時間の長いフレームに追加されてよい。遅延は、フレームをスキップすることに関連する遅延よりも大幅に小さいものとすることができる。たとえば、フレームをスキップすると、追加のフレーム時間にほぼ等しい、オートフォーカス探索のための実効遅延が生成されることがある。

たとえば、低光量条件(たとえば7.5フレーム毎秒(FPS))では、フレーム時間は約132ミリ秒であることがある。レンズ108が再配置された後でフレームをスキップすると、264ミリ秒(たとえば2×132ミリ秒)の実効フレーム時間が生成されることがある。しかし、式1に従った第2の時間期間(τ)が約8ミリ秒である場合、第2の時間期間(τ)を追加してフレーム時間を延長すると、140ミリ秒(たとえば、132ミリ秒+8ミリ秒)の実効フレーム時間が生成されることがある。別の例として、良好な照明条件(たとえば30FPS)では、フレーム時間は約33ミリ秒であることがある。レンズ108が再配置された後でフレームをスキップすると、66ミリ秒(たとえば、2×33ミリ秒)の実効フレーム時間が生成されることがある。しかし、第2の時間期間(τ)を追加してフレーム時間を延長すると、41ミリ秒(たとえば、33ミリ秒+8ミリ秒)の実効フレーム時間が生成されることがある。このように、第2の時間期間を追加してフレーム時間を延長すれば、フレームをスキップすることと比較して、より短い「実効」フレーム時間が生成されることが可能であり、これはより大きいFPSをもたらし得る。

図2を参照すると、画像フレーム処理のためのフレーム時間の延長を例証するタイミング図の特定の実施形態が示されている。このタイミング図は、第1のフレーム120および第2のフレーム220(たとえば後続フレーム)を例証する。

第1の時間期間230中、第1のフレーム120は、フレーム統合を受けることができる。第1の時間期間230は、式1におけるフレーム露出時間(ε)に対応し得る。たとえば、図1のフレーム統合モジュール110は、第1の時間期間230中、第1のフレーム120中の各画素につき画素データを生成することができる。第1のフレーム120の白い部分は、関心領域126中にない画素についてのフレーム統合に対応し(たとえば非ROI領域)、第1のフレーム120の斜線部分は、関心領域126中の画素についてのフレーム統合に対応する(たとえばROI)。図1に関して述べたように、図1のフレーム統合タイミングモジュール112は、第1のフレーム120の明るさレベルに基づいて、第1の時間期間230の長さ(たとえば継続時間)を推定することができる。

第1の時間期間230の後、図1のフレーム時間注入モジュール114は、第2の時間期間240を追加して、第1の時間期間230と第2の時間期間240とを含むフレーム時間250を生成することができる。第2の時間期間240は、式1における第2の時間期間(τ)(たとえば注入時間)に対応し得る。たとえば、AECは、第1のフレーム120の照明に基づいて、フレーム時間250および第1の時間期間230を設定(たとえば構成)することができる。フレーム時間250を延長するために(たとえば、第2の時間期間240を追加するために)、AECは、式1に関する計算に基づいてフレーム時間250をより長くなるように再調整(たとえば再構成)し、第1の時間期間230を露出時間として維持することができる。第2の時間期間240中、レンズ108の位置が、第1のフレーム120の関心領域126に焦点を合わせるように調整されてよい。たとえば、アクチュエータ106は、第2の時間期間240中、関心領域126に焦点を合わせるようにレンズ108の位置を調整することができる。関心領域126に焦点を合わせるようにレンズ108を再配置することで、第1のフレーム120の焦点値を調整することができる。たとえば、第2の時間期間240(たとえば、追加された時間)中、アクチュエータ106は、図1の焦点値モジュール118が比較的高い焦点値を決定できるように、レンズ108を再配置することができる。第2の時間期間240の後(たとえば、第1のフレーム120のフレーム時間250の後)、フレーム統合モジュール110は、第2のフレーム220についての画素データの生成を開始することができる。

図2のタイミング図は、フレーム時間250を第1の時間期間230から第2の時間期間240に延長して、レンズ108を再配置するための時間をアクチュエータ106に提供することを例証する。たとえば、第1の時間期間230の後に第2の時間期間240を追加してフレーム時間250を延長することで、アクチュエータ106は、フレームをスキップすることなく、レンズ108を再配置して関心領域126に焦点を合わせることができる。

図3を参照すると、画像フレーム処理のためにフレーム時間を延長するための方法300の特定の態様を例証するフローチャートが示されている。方法300は、図1の画像プロセッサ102によって実施されてよい。

方法300は、302で、画像プロセッサにおいて、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定することを含む。たとえば、図1〜図2を参照すると、フレーム統合タイミングモジュール112は、フレーム統合モジュール110が第1のフレーム120中の各画素につき画素データを生成するための第1の時間期間230の長さを、決定(たとえば推定)することができる。決定は、第1のフレーム120の「明るさ」レベルに基づくことができる。たとえば、第1のフレーム120が比較的明るい(たとえば高光量フレーム)場合は、フレーム統合時間(たとえば「フレーム露出」時間)は比較的短いことがある。例証のために、高光量条件におけるフレーム統合時間は、約33ミリ秒以下であることがある。第1のフレーム120が比較的暗い(たとえば低光量フレーム)場合は、フレーム統合時間は比較的長いことがある。例証のために、低光量条件におけるフレーム統合時間は、約132ミリ秒であることがある。したがって、第1のフレーム120の明るさレベルに基づいて、フレーム統合タイミングモジュール112は、フレーム統合モジュール110が第1のフレーム120中の各画素につき画素データを生成するための時間の長さを決定(または推定)することができる。

304で、第1のフレームを処理するためのフレーム時間が、第2の時間期間(τ)だけ延長されてよい。たとえば、図1〜図2を参照すると、フレーム時間注入モジュール114は、第1の時間期間230の後に第2の時間期間240を追加して、第1のフレーム120を処理するためのフレーム時間250を生成(たとえば延長)することができる。たとえば、画像プロセッサ102は、アクチュエータ安定化時間(actuator settle time)(α)を決定することができる。アクチュエータ安定化時間(α)は、アクチュエータ106が第1のフレーム120の処理中に振動を完了するための時間の量に対応し得る。特定の態様では、アクチュエータ安定化時間(α)は、固定の時間期間であってよい。たとえば、アクチュエータ安定化時間(α)は、約10ミリ秒であることがある。第2の時間期間240を得るために(たとえば、注入すべき時間の長さを決定するために)、画像プロセッサ102は、式1に従って、許容される焦点値コンタミネーションの量(たとえばパーセンテージ)(ρ)とフレーム露出時間(ε)との積を、アクチュエータ安定化時間から引くことができる。露出時間(ε)は、前述のように、第1のフレーム120に関連する照明条件に基づくことができる。したがって、第2の時間期間240は、第1のフレーム120を処理するための許容される焦点値コンタミネーションの量(ρ)に、少なくとも部分的に基づくことができる。

図3の方法300は、フレーム時間を延長してアクチュエータ106がレンズ108を再配置できるようにすることによって、関心領域126の焦点統計を改善することができる。追加された時間中、アクチュエータ106は、関心領域126に焦点を合わせるようにレンズ108を再配置することができる。したがって、アクチュエータ106がレンズ108を再配置して焦点統計を改善できるように、オートフォーカス探索中に遅延(たとえば、第2の時間期間(τ))が各フレームに(処理の時点で)追加されてよい。遅延(たとえば約8ミリ秒)は、フレームをスキップすることに関連する遅延よりも大幅に小さいものとすることができる。たとえば、フレームをスキップすると、追加のフレーム時間にほぼ等しい、オートフォーカス探索のための実効遅延が生成されることがある。

図4を参照すると、画像フレーム処理のためにフレーム時間を延長するための方法400の特定の態様を例証する別のフローチャートが示されている。方法400は、図1の画像プロセッサ102によって実施されてよい。

方法400は、402で、センサ設定を決定することを含むことができる。たとえば、図1を参照すると、画像プロセッサ102は、第1のフレーム120についてのフレーム時間と、第1のフレームについての露出時間(たとえばフレーム統合時間)とを決定することができる。404で、レンズ108を動かすためのしきい値時間もまた決定されてよい。たとえば、図1を参照すると、画像プロセッサ102は、アクチュエータ106がレンズ108を動かして関心領域126に焦点を合わせることができるようにするための、しきい値時間を決定(たとえば推定)することができる。特定の実施形態では、しきい値時間は調節可能である。たとえば、第1のシナリオでは、しきい値時間は約4ミリ秒に等しくてよい。第2のシナリオでは、しきい値時間は約8ミリ秒に等しくてよい。特定の実施形態では、しきい値時間は、ユーザ入力に基づくことができる。406で、センサ更新設定もまた決定されてよい。センサ更新設定は、オートフォーカスがイネーブルにされたかどうかを示すことができる。

408で、オートフォーカスがイネーブルにされたと画像プロセッサ102が決定した場合は、410で、画像プロセッサ102は、フレーム時間と露出時間との差がしきい値時間未満であるかどうかを決定することができる。フレーム時間と露出時間との差がしきい値時間未満でない場合は、412で、画像プロセッサ102は、フレーム時間を維持して第1のフレーム120を処理することができる。たとえば、アクチュエータ106は、露出時間の後でレンズ108を再配置して、関心領域126の焦点値を改善することができる。408で、オートフォーカスがイネーブルにされていないと画像プロセッサが決定した場合は、412で、画像プロセッサは、フレーム時間を維持して第1のフレーム120を処理することができる。

画像プロセッサ102が、408で、オートフォーカスがイネーブルにされたと決定し、410で、フレーム時間と露出時間との差がしきい値時間未満であると決定した場合は、414で、画像プロセッサ102は、フレーム時間を延長することができる。たとえば、図1のフレーム時間注入モジュール114は、第1の時間期間230の後に第2の時間期間240を追加して、フレーム時間250を延長することができる。第2の時間期間240を追加することは、AECが露出時間(たとえば、第1の時間期間230)を維持しながらフレーム時間250を延長することに対応し得る。第2の時間期間240中、レンズ108の位置が、第1のフレーム120の関心領域126に焦点を合わせるように調整されてよい。たとえば、アクチュエータ106は、第2の時間期間240中、関心領域126に焦点を合わせるようにレンズ108の位置を調整することができる。関心領域126に焦点を合わせるようにレンズ108を再配置することで、第1のフレーム120の焦点値を調整することができる。たとえば、第2の時間期間240(たとえば、追加された時間)中、アクチュエータ106は、図1の焦点値モジュール118が比較的高い焦点値を達成できるように、レンズ108を再配置することができる。

図4の方法400は、次のフレームが処理される前にレンズ108を再配置するのに十分な時間をアクチュエータ106が有するように、フレームのフレーム時間を延長することができる。たとえば、アクチュエータ106は、延長されたフレーム時間中にレンズ108を再配置して、関心領域126に焦点を合わせることができ、次いで、画像プロセッサ102は、焦点値を収集することができる。したがって、オートフォーカス探索中(たとえば、焦点統計を改善するためにレンズ108を再配置する間)、遅延(たとえば、延長されたまたは「追加された」フレーム時間)が、フレーム時間に追加されることが可能である。オートフォーカス探索は、コントラストベースであってよく(たとえば、種々のレンズ位置における焦点値の比較に基づいてよく)、または深度推定に基づいてよい。この遅延(たとえば約8ミリ秒)は、フレームをスキップすることに関連する遅延よりも大幅に小さいものとすることができる。たとえば、フレームをスキップすると、追加のフレーム時間にほぼ等しい、オートフォーカス探索のための実効遅延が生成されることがある。

図5を参照すると、焦点値曲線の特定の例証的な実施形態が示されている。焦点値曲線のx軸は、レンズ位置を示す。たとえば、x軸は、図1のレンズ108の位置を示すことができる。焦点値曲線のy軸は、焦点値を示す。たとえば、y軸は、図1の焦点値モジュール118によって収集(たとえば決定)される焦点値を示すことができる。

白丸は、フレーム時間延長(前述の技法による)が実装されないときの、レンズ108が移動した後の焦点値を示すことができ、黒丸は、フレーム時間延長が実装されるときの、レンズ108が移動した後の焦点値を示すことができる。たとえば、レンズ108が位置327に移動し、フレーム時間延長が実装されないときは、502に示されるように、収集される焦点値(たとえば白丸)は約4,500,000である。しかし、レンズ108が位置327に移動し、フレーム時間延長が実装されるときは、504に示されるように、収集される焦点値(たとえば黒丸)は約5,100,000である。

したがって、フレーム時間延長が実装されないときは、同じレンズ位置に対して、焦点値(502における)は、他の焦点値(506における)とは大幅に異なり、フレーム時間延長が実装されるときは、同じレンズ位置に対して、焦点値(504における)は、他の焦点値(506における)とほぼ同様である。このように、図1〜図4に関して述べたフレーム時間延長技法を実装することによって、焦点値コンタミネーションを低減することができる。

同様の結果が、焦点値曲線において例証される他のレンズ位置についても達成され得る。たとえば、レンズ108が位置309、位置291、位置273、位置255、位置237、位置219、位置201、位置183などに移動したときも、同様の結果が達成され得る。

図6を参照すると、図5の焦点値曲線のピーク比較が示されている。あるレンズ位置における、フレーム時間延長が実装されるときの焦点値と、対応するレンズ位置における、フレーム時間延長が実装されないときの焦点値との差は、このレンズ位置についてのピークシフトを表す。

この差(たとえばピークシフト)は、フレーム時間を延長することによって低減される焦点値コンタミネーションの量に対応する。たとえば、フレーム時間延長が実装されるときの焦点値は、「より安定した」焦点値である(たとえば、506における他の焦点値に、より類似する)。したがって、フレーム時間が延長されるのに伴って、ピークシフトは低減され得る(たとえば、焦点値コンタミネーションは減少し得る)。たとえば、「十分な」時間を追加してフレーム時間を延長すると、フレームについて比較的安定した焦点値を生成することができる。

図7を参照すると、ワイヤレス通信デバイスの特定の例証的な態様のブロック図が描かれており、700として一般に示されている。デバイス700は、メモリ732に結合されたプロセッサ710(たとえば中央処理装置(CPU))を備える。画像プロセッサ102が、プロセッサ710に結合される。

画像センサ790(たとえばカメラ)が、画像プロセッサ102に結合されてよい。画像センサ790は、画像フレームを取り込むように構成されてよく、画像プロセッサ102は、図1〜図4に関して述べた技法に従って、取り込まれた画像フレームを処理するように構成されてよい。たとえば、前述のように、画像プロセッサ102のフレーム時間注入モジュール114が、フレームを処理するためのフレーム時間を延長することができる。メモリ798が、画像プロセッサ102に結合される。メモリ798は、図3の方法300および/または図4の方法400を実施するために画像プロセッサ102によって実行可能な命令799を含む非一時的コンピュータ可読媒体であってよい。

メモリ732もまた、プロセッサ710または画像プロセッサ102によって実行可能な命令760を含む非一時的コンピュータ可読媒体であってよい。たとえば、プロセッサ実行可能命令760は、画像プロセッサ102に、図3の方法300および/または図4の方法400を実施させることができる。非一時的コンピュータ可読媒体は、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT-MRAM)、フラッシュメモリ、読取専用メモリ(ROM)、プログラム可能な読取専用メモリ(PROM)、消去可能プログラム可能な読取専用メモリ(EPROM)、電気的に消去可能プログラム可能な読取専用メモリ(EEPROM)、レジスタ、ハードディスク、取外し可能ディスク、またはコンパクトディスク読取専用メモリ(CD-ROM)などの、メモリデバイスであってよい。

図7はまた、プロセッサ710とディスプレイ728とに結合されるディスプレイコントローラ726も示す。コーダ/デコーダ(CODEC)734が、プロセッサ710に結合される。スピーカ736がCODEC734に結合されてよく、マイクロフォン738がCODEC734に結合されてよい。図7はまた、ワイヤレスコントローラ740がプロセッサ710およびアンテナ742に結合されてよいことも示す。特定の態様では、プロセッサ710、画像プロセッサ102、ディスプレイコントローラ726、メモリ732、CODEC734、およびワイヤレスコントローラ740は、システムインパッケージまたはシステムオンチップデバイス722中に備わる。特定の態様では、タッチスクリーンおよび/またはキーパッドなどの入力デバイス730、ならびに電源744が、システムオンチップデバイス722に結合される。さらに、特定の態様では、図7に例証されるように、ディスプレイ728、入力デバイス730、スピーカ736、マイクロフォン738、アンテナ742、電源744、および画像センサ790は、システムオンチップデバイス722の外部にある。しかし、ディスプレイ728、入力デバイス730、スピーカ736、マイクロフォン738、アンテナ742、電源744、および画像センサ790の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス722のコンポーネントに結合されてよい。

述べた態様に関して、ある装置は、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するための手段を備える。たとえば、第1の時間期間を決定するための手段は、図1のフレーム統合タイミングモジュール112、1つもしくは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、またはこれらの任意の組合せを含むことができる。

装置はまた、第1のフレームを処理するためのフレーム時間を第2の時間期間だけ延長するための手段を備えることができる。たとえば、フレーム時間を延長するための手段は、図1のフレーム時間注入モジュール114、1つもしくは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、またはこれらの任意の組合せを含むことができる。第2の時間期間は、第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、フレーム時間は、第1の時間期間および第2の時間期間を含む。

述べた態様に関して、第2の装置は、画像の第1のフレームを処理するために割り振られたフレーム時間を決定するための手段を備える。たとえば、フレーム時間を決定するための手段は、図1の画像プロセッサ102、1つもしくは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、またはこれらの任意の組合せを含むことができる。

第2の装置はまた、第1のフレームについての露出時間を決定するための手段を備えることができる。たとえば、露出時間を決定するための手段は、図1のフレーム統合タイミングモジュール112、1つもしくは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、またはこれらの任意の組合せを含むことができる。

第2の装置はまた、フレーム時間と露出時間との差がしきい値を満たすかどうかを決定するための手段を備えることができる。たとえば、差がしきい値を満たすかどうかを決定するための手段は、図1の画像プロセッサ102、1つもしくは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、またはこれらの任意の組合せを含むことができる。

第2の装置はまた、差に基づいてフレーム時間を延長するかどうかを決定するための手段を備えることができる。たとえば、フレーム時間を延長するかどうかを決定するための手段は、図1のフレーム時間注入モジュール114、1つもしくは複数のデバイス(たとえば、非一時的コンピュータ可読記憶媒体における命令を実行するプロセッサ)、またはこれらの任意の組合せを含むことができる。

本明細書に開示される態様との関連で述べた様々な例証的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェアとして、またはハードウェアプロセッサなどの処理デバイスによって実行されるコンピュータソフトウェアとして、または両方の組合せとして実装され得ることを、当業者ならさらに理解するであろう。様々な例証的なコンポーネント、ブロック、構成、モジュール、回路、およびステップについては、それらの機能の点から一般に上述した。そのような機能がハードウェアとして実装されるか実行可能なソフトウェアとして実装されるかは、特定の適用例と、システム全体に課される設計制約とに依存する。当業者なら、述べた機能を、特定の適用例ごとに様々な方式で実装することができるが、そのような実装決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。

本明細書に開示される態様との関連で述べた方法またはアルゴリズムのステップは、ハードウェアにおいて直接に具体化されるか、プロセッサによって実行されるソフトウェアモジュールにおいて具体化されるか、またはこの2つの組合せにおいて具体化されることが可能である。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT-MRAM)、フラッシュメモリ、読取専用メモリ(ROM)、プログラム可能な読取専用メモリ(PROM)、消去可能プログラム可能な読取専用メモリ(EPROM)、電気的に消去可能プログラム可能な読取専用メモリ(EEPROM)、レジスタ、ハードディスク、取外し可能ディスク、またはコンパクトディスク読取専用メモリ(CD-ROM)などの、メモリデバイス中に存在してよい。例示的なメモリデバイスは、プロセッサに結合され、それにより、プロセッサは、情報をメモリデバイスから読み取ることおよびメモリデバイスに書き込むことができる。代替では、メモリデバイスは、プロセッサに統合されてよい。プロセッサおよび記憶媒体は、ASIC中に存在してよい。ASICは、コンピューティングデバイスまたはユーザ端末中に存在してよい。代替では、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中の、ディスクリートコンポーネントとして存在してよい。

開示される態様に関する前の記述は、開示される態様を当業者が作成または使用できるようにするために提供されるものである。これらの態様に対する様々な修正が当業者にはすぐに明らかであろうし、本明細書で定義される原理は、本開示の範囲を逸脱することなく他の態様にも適用され得る。したがって、本開示は、本明細書で示される態様に限定されるものとはせず、後続の特許請求の範囲によって定義される原理および新規な特徴に一致する可能な最も広い範囲が与えられるものとする。

102 画像プロセッサ
104 センサ制御モジュール
106 アクチュエータ
108 レンズ
110 フレーム統合モジュール
112 フレーム統合タイミングモジュール
114 フレーム時間注入モジュール
116 関心領域識別モジュール
118 焦点値モジュール
120 第1のフレーム
122 第1の画素
124 最後の画素
126 関心領域
220 第2のフレーム
230 第1の時間期間
240 第2の時間期間
250 フレーム時間
700 ワイヤレス通信デバイス
710 プロセッサ
722 システムオンチップデバイス
726 ディスプレイコントローラ
728 ディスプレイ
730 入力デバイス
732 メモリ
734 CODEC
736 スピーカ
738 マイクロフォン
740 ワイヤレスコントローラ
742 アンテナ
744 電源
760 命令
790 画像センサ
798 メモリ
799 命令

Claims

画像フレームを処理するための時間期間を延長するための方法であって、
画像プロセッサにおいて、画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するステップと、
前記第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するステップであって、前記第2の時間期間が、前記第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、前記フレーム時間が前記第1の時間期間および前記第2の時間期間を含む、ステップと
を含む、方法。
前記第1の時間期間がフレーム露出時間に対応し、前記第2の時間期間がさらに前記フレーム露出時間に基づく、請求項1に記載の方法。
前記第2の時間期間を決定することが、
前記フレーム露出時間と前記許容される焦点値コンタミネーションの量との積をアクチュエータ安定化時間から引いて前記第2の時間期間を得ることを含み、前記アクチュエータ安定化時間が、アクチュエータが前記第1のフレームの処理中に振動を完了するための時間の量に対応する、請求項2に記載の方法。
前記アクチュエータ安定化時間が固定の時間期間である、請求項3に記載の方法。
前記アクチュエータ安定化時間が約10ミリ秒である、請求項3に記載の方法。
前記フレーム露出時間が、前記第1のフレームに関連する照明条件に基づく、請求項2に記載の方法。
前記第1の時間期間中に前記第1のフレームについての画素データを生成するステップをさらに含む、請求項1に記載の方法。
前記第2の時間期間中に前記画像センサのレンズの位置を調整して、前記第1のフレームの焦点値を調整するステップをさらに含む、請求項1に記載の方法。
前記レンズの前記位置が、アクチュエータを使用して調整される、請求項8に記載の方法。
前記第1のフレームの前記焦点値が前記第1のフレームの関心領域の鮮鋭度を示す、請求項8に記載の方法。
画像プロセッサと、
動作を実行するために前記画像プロセッサによって実行可能な命令を記憶したメモリと
を備える装置であって、前記動作が、
画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するステップと、
前記第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するステップであって、前記第2の時間期間が、前記第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、前記フレーム時間が前記第1の時間期間および前記第2の時間期間を含む、ステップと
を含む、装置。
前記第1の時間期間がフレーム露出時間に対応し、前記第2の時間期間がさらに前記フレーム露出時間に基づく、請求項11に記載の装置。
前記動作がさらに、
前記フレーム露出時間と前記許容される焦点値コンタミネーションの量との積をアクチュエータ安定化時間から引いて前記第2の時間期間を得るステップを含み、前記アクチュエータ安定化時間が、アクチュエータが前記第1のフレームの処理中に振動を完了するための時間の量に対応する、請求項12に記載の装置。
前記アクチュエータ安定化時間が固定の時間期間である、請求項13に記載の装置。
前記アクチュエータ安定化時間が約10ミリ秒である、請求項13に記載の装置。
前記フレーム露出時間が、前記第1のフレームに関連する照明条件に基づく、請求項12に記載の装置。
前記動作がさらに、前記第1の時間期間中に前記第1のフレームについての画素データを生成するステップを含む、請求項11に記載の装置。
前記動作がさらに、前記第2の時間期間中に前記画像センサのレンズの位置を調整して、前記第1のフレームの焦点値を調整するステップを含む、請求項11に記載の装置。
前記レンズの前記位置が、アクチュエータを使用して調整される、請求項18に記載の装置。
前記第1のフレームの前記焦点値が前記第1のフレームの関心領域の鮮鋭度を示す、請求項18に記載の装置。
画像フレームを処理するための時間期間を延長するための命令を含む非一時的コンピュータ可読記録媒体であって、前記命令が、画像プロセッサによって実行されたとき、前記画像プロセッサに、
画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するステップと、
前記第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するステップであって、前記第2の時間期間が、前記第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、前記フレーム時間が前記第1の時間期間および前記第2の時間期間を含む、ステップと
を行わせる、非一時的コンピュータ可読記録媒体。
前記第1の時間期間がフレーム露出時間に対応し、前記第2の時間期間がさらに前記フレーム露出時間に基づく、請求項21に記載の非一時的コンピュータ可読記録媒体。
前記画像プロセッサによって実行されたとき、前記画像プロセッサに、
前記フレーム露出時間と前記許容される焦点値コンタミネーションの量との積をアクチュエータ安定化時間から引いて前記第2の時間期間を得るステップを行わせる命令をさらに含み、前記アクチュエータ安定化時間が、アクチュエータが前記第1のフレームの処理中に振動を完了するための時間の量に対応する、請求項22に記載の非一時的コンピュータ可読記録媒体。
前記アクチュエータ安定化時間が固定の時間期間である、請求項23に記載の非一時的コンピュータ可読記録媒体。
前記アクチュエータ安定化時間が約10ミリ秒である、請求項23に記載の非一時的コンピュータ可読記録媒体。
前記フレーム露出時間が、前記第1のフレームに関連する照明条件に基づく、請求項22に記載の非一時的コンピュータ可読記録媒体。
前記画像プロセッサによって実行されたとき、前記画像プロセッサに、前記第1の時間期間中に前記第1のフレームについての画素データを生成するステップを行わせる命令をさらに含む、請求項21に記載の非一時的コンピュータ可読記録媒体。
画像センサを介して取り込まれた画像の第1のフレームの処理に関連する第1の時間期間を決定するための手段と、
前記第1のフレームを処理するためのフレーム時間を、第2の時間期間だけ延長するための手段であって、前記第2の時間期間が、前記第1のフレームを処理するための許容される焦点値コンタミネーションの量に少なくとも部分的に基づき、前記フレーム時間が前記第1の時間期間および前記第2の時間期間を含む、手段と
を備える装置。
前記第1の時間期間がフレーム露出時間に対応し、前記第2の時間期間がさらに前記フレーム露出時間に基づく、請求項28に記載の装置。
前記フレーム露出時間が、前記第1のフレームに関連する照明条件に基づく、請求項29に記載の装置。