JP2011502385A

JP2011502385A - 動き支援されたイメージセンサコンフィギュレーション

Info

Publication number: JP2011502385A
Application number: JP2010530150A
Authority: JP
Inventors: ハング、スゼポ・ロバート; ベラーデ、ルベン; リ、シアン−ツン
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2007-10-19
Filing date: 2008-10-17
Publication date: 2011-01-20
Anticipated expiration: 2028-10-17
Also published as: EP2051209B1; TW200935357A; US20090102935A1; US8063942B2; KR20100076034A; KR20120104407A; KR101275933B1; CN101855651A; JP5226794B2; EP2051209A1; WO2009052406A1; CN101855651B

Abstract

本開示は、関心のあるシーン内の動きに基づいてイメージ取り込みデバイスのイメージセンサをコンフィギュレーションする技術を記述する。特に、イメージ取り込みデバイスは、関心のある同じシーン２つ以上のイメージ間の動きを解析し、関心のあるシーン内の動き量に基づいてイメージセンサのコンフィギュレーションパラメータ、例えば、利得および／または露出時間を調整する。例えば、シーンが比較的多い動き量を含むとき、イメージ取り込みデバイスはイメージセンサを大きい利得と短い露出時間とによりコンフィギュレーションする。これにより、多い動き量によって生じるぼけを減少させる。反対に、シーンが比較的少ない動きを含む、または、動きがないとき、イメージ取り込みデバイスはイメージセンサを小さい利得と長い露出時間とによりコンフィギュレーションする。これにより、大きい利得によって生じるノイズを減少させる。
【選択図】図２

Description

開示は、デジタルイメージを取り込むことに関する。さらに詳細に説明すると、イメージセンサのコンフィギュレーションパラメータを調整する技術に関する。

背景

デジタルスチルイメージカメラのようなデジタルイメージ取り込みデバイスは、イメージセンサを使用し、関心のあるシーンのイメージを取り込む。イメージ取り込みデバイスは、異なる環境条件においてイメージをよりよく取り込むために調整される多数のイメージセンサコンフィギュレーションパラメータを含んでいる。例えば、イメージ取り込みデバイスは、多数の感度設定を備えており、多数の感度設定は、ＩＳＯ設定と呼ばれることが多く、イメージセンサに対する特定の利得、および／または、その間にイメージセンサが関心のあるシーンに露出される露出時間にそれぞれ対応していてもよい。より高いＩＳＯ設定は、より高いイメージセンサ感度を表し、より大きい利得と、より短い露出時間とに対応する。反対に、より低いＩＳＯ設定は、より低いイメージセンサ感度を表し、より小さい利得と、より長い露出時間とに対応する。

一般的に、イメージ取り込みデバイスによって、ユーザは、イメージを取り込む際に使用するためのイメージセンサコンフィギュレーションパラメータ、例えば、ＩＳＯ設定を手動で選択できる。ＩＳＯ設定を手動で選択することによって、ユーザは、現在の環境条件に適切なＩＳＯ設定を選択し、その環境においてイメージをよりよく取り込むことができる。代わりに、または、さらに、イメージ取り込みデバイスは、現在の環境条件における利用可能な光の量に基づいて、センサコンフィギュレーションパラメータ、例えばＩＳＯを選択する自動コンフィギュレーション設定機能を備えていてもよい。イメージ取り込みデバイスは、例えば、周囲環境のブライトネスを検出し、検出された光の量に基づいてコンフィギュレーション設定を選択する光センサを備えていてもよい。

概要

イメージ取り込みデバイスは、関心のあるシーンのブライトネスに基づいて、イメージセンサの１つ以上のコンフィギュレーションパラメータを調整してもよい。暗い環境では、例えば、イメージ取り込みデバイスは、イメージセンサに対するより大きい利得を選択し、イメージセンサの感度と、その間にイメージセンサが関心のあるシーンに露出されるより短い露出時間とを増加させる。反対に、明るい環境では、イメージ取り込みデバイスは、イメージセンサに対するより小さい利得を選択し、イメージセンサの感度と、その間にイメージセンサが関心のあるシーンに露出されるより長い露出時間とを減少させる。しかしながら、関心のあるシーンのブライトネスに基づいてイメージセンサのコンフィギュレーションパラメータを選択することが、結果的に、常に最高のイメージ品質になるとは限らない。例えば、関心のあるシーンが明るい環境中にあるが、多くの動きを含む場合、取り込まれたイメージは、長い露出時間の結果、ぼける可能性がある。

本開示は、関心のあるシーン内の動きの検出に基づいて、イメージセンサに対するコンフィギュレーションパラメータを選択する技術を記述している。以下で詳細に記述するように、イメージ取り込みデバイスは、シーン内の動きを示す関心のある同じシーンの２つ以上のイメージ間の変化を解析する。イメージ取り込みデバイスは、関心のあるシーン内の動き量に基づいて、イメージセンサのコンフィギュレーションパラメータ、例えば、利得および／または露出時間を調整する。例えば、シーンが比較的多い動き量を含むとき、イメージ取り込みデバイスは、イメージセンサを大きい利得と短い露出時間とによりコンフィギュレーションしてもよい。これにより、多い動き量によって生じるぼけを減少させる。反対に、シーンが比較的少ない動きを含むとき、または、動きがないとき、イメージ取り込みデバイスは、イメージセンサを小さい利得と長い露出時間とによってコンフィギュレーションしてもよい。これにより、高利得によって生じるノイズを減少させる。

１つの観点では、デジタルイメージデータを取り込む方法は、少なくとも、関心のあるシーンの第１のイメージと関心のあるシーンの第２のイメージとの間の動きを解析することと、解析に基づいてイメージを取り込むために、イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整することとを含む。

別の観点では、デジタルイメージデータを取り込むデバイスは、１つ以上のコンフィギュレーションパラメータにしたがってイメージを取り込むイメージセンサと、少なくとも、関心のあるシーンの第１のイメージと関心のあるシーンの第２のイメージとの間の動きを解析し、解析に基づいてイメージを取り込むために、イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整するイメージプロセッサとを具備する。

別の観点では、デジタルイメージデータを取り込むためのコンピュータプログラムプロダクトは、命令を有するコンピュータ読み取り可能な媒体を含む。命令は、少なくとも、関心のあるシーンの第１のイメージと関心のあるシーンの第２のイメージとの間の動きを解析するためのコードと、解析に基づいてイメージを取り込むために、イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整するためのコードとを含む。

別の観点では、デジタルイメージデータを取り込む装置は、少なくとも、関心のあるシーンの第１のイメージと関心のあるシーンの第２のイメージとの間の動きを解析する手段と、解析に基づいてイメージを取り込むために、イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整する手段とを具備する。

本開示で記述した技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実現されてもよい。ソフトウェアで実現された場合、ソフトウェアは、プロセッサで実行されてもよく、プロセッサは、マイクロプロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、フィールドプログラマブルロジックアレイと知られているＦＰＬＡ）、またはデジタル信号プロセッサ（ＤＳＰ）、または他の均等な集積回路またはディスクリート論理回路、またはこれらを組み合わせたもののような、１つ以上のプロセッサを意味していてもよい。技術を実行するソフトウェアは、コンピュータ読み取り可能媒体中に最初に記憶され、プロセッサによりロードされて実行される。したがって、本開示は、本開示で記述したようなさまざまな技術のうちの任意のものをプロセッサに実行させる命令を含むコンピュータ読み取り可能媒体を考える。いくつかのケースでは、コンピュータ読み取り可能媒体は、コンピュータプログラムプロダクトの一部を形成していてもよく、コンピュータプログラムプロダクトの一部は、製造業者に販売されてもよく、および／または、デバイスで使用されてもよい。コンピュータプログラムプロダクトは、コンピュータ読み取り可能媒体を含んでいてもよく、いくつかのケースでは、パッケージングマテリアルも含んでいてもよい。

１つ以上の例示の詳細な説明を、図面および以下の詳細な説明において詳細に述べる。他の特徴、目的、および利点は、詳細な説明、図面、および特許請求の範囲から明らかになるだろう。

図１は、本開示で記述したイメージセンサコンフィギュレーション技術を実現する例示的なイメージ取り込みデバイスを図示しているブロック図である。図２は、図１のイメージ取り込みデバイスをさらに詳細に図示しているブロック図である。図３は、本開示で記述したイメージセンサコンフィギュレーション技術を実行するイメージ取り込みデバイスの例示的な動作を図示しているフローチャートである。図４は、動きベクトルを使用して、イメージセンサコンフィギュレーション技術を実行するイメージ取り込みデバイスの例示的な動作を図示しているフロー図である。図５は、図１のイメージ取り込みデバイスを組み込んでいるワイヤレス通信デバイスのブロック図である。

詳細な説明

イメージ取り込みデバイスは、関心のあるシーンのブライトネスに基づいて、イメージセンサの１つ以上のコンフィギュレーションパラメータを調整してもよい。暗い環境では、例えば、イメージ取り込みデバイスは、イメージセンサの感度を向上させるイメージセンサに対するより大きい利得と、その間にイメージセンサが関心のあるシーンに露出されるより短い露出時間とを選択する。反対に、明るい環境では、イメージ取り込みデバイスは、イメージセンサの感度を低下させるイメージセンサに対するより小さい利得と、その間にイメージセンサが関心のあるシーンに露出されるより長い露出時間とを選択する。しかしながら、関心のあるシーンのブライトネスに基づいて、イメージセンサのコンフィギュレーションパラメータを選択することは、結果的に、必ずしも最高のイメージ品質になるとは限らない。例えば、関心のあるシーンが明るい環境にあるが、多くの動きを含んでいる場合、取り込まれるイメージは、長い露出時間の結果、ぼやけるかもしれない。

本開示は、関心のあるシーン内の動きに基づいて、イメージセンサに対するコンフィギュレーションパラメータを選択する技術を記述している。関心のあるシーン内の動き量を検出するために、イメージ取り込みデバイスは、関心のある同じシーンの２つ以上の画像間の変化を解析する。１つの例では、イメージ取り込みデバイスは、複数の動きベクトルを解析することによって２つのイメージ間の動き量を解析してもよい。イメージ取り込みデバイスは、イメージ間の動きの多数の他のインジケータを解析してもよい。インジケータは、２つのイメージ間のブライトネスの差や、２つのイメージ間の１次元射影値の差や、２つのイメージのヒストグラムの差や、これらに類するものを含む。

イメージ取り込みデバイスは、関心のあるシーン内の動き量に基づいて、イメージセンサのコンフィギュレーションパラメータを調整する。調整できる１つのこのようなコンフィギュレーションパラメータは、イメージセンサの利得である。イメージセンサ利得は、取り込まれる信号の大きさの増加量と対応する。いくつかのケースでは、利得は、出力信号と測定されたプロパティとの間の比を表してもよい。調整できる別のこのようなコンフィギュレーションパラメータは、露出時間である。露出時間は、その間にイメージセンサが関心のあるシーンに露出される時間の期間である。例えば、シーンが比較的多い動き量を含むとき、イメージ取り込みデバイスは、イメージセンサを大きい利得と短い露出時間とによりコンフィギュレーションしてもよく、これによって、多い動き量によって生じるぼけを減少させる。反対に、シーンが比較的少ない動きを含むとき、または、動きがないことを含むとき、イメージ取り込みデバイスは、小さい利得と長い露出時間とによりイメージセンサをコンフィギュレーションしてもよく、これによって、高利得によって生じるノイズを減少させる。

図１は、本開示で記述したイメージセンサコンフィギュレーション技術を実現する例示的なイメージ取り込みデバイス２のブロック図である。イメージ取り込みデバイス２は、デジタルスチルイメージカメラ、デジタルビデオカメラ、または双方を組み合わせたもののようなデジタルカメラであってもよい。さらに、イメージ取り込みデバイス２は、スタンドアローンカメラのようなスタンドアローンデバイスであってもよく、または、ワイヤレス通信デバイス内のような別のデバイスに組み込まれていてもよい。例示のように、イメージ取り込みデバイス２は、移動体電話機に組み込まれ、いわゆる「カメラ電話機」または「テレビ電話機」を形成していてもよい。本開示で記述したイメージセンサコンフィギュレーション技術は、一般的に、取り込まれるデジタルビデオに適用可能であるが、デジタルスチルイメージに対するこのような技術の適用を例示の目的のために記述する。

図１に示したように、イメージ取り込みデバイス２は、イメージセンサ４と、イメージプロセッサ６と、イメージ記憶モジュール８とを備えている。イメージセンサ４は、関心のあるシーンのイメージを取得する。例えば、イメージ処理がビデオシーケンスの１つ以上のイメージフレーム上で実行される場合、イメージセンサ４は、静止イメージ、または可能であれば完全な動きのビデオシーケンスを取り込んでもよい。取り込まれるビデオは、アーカイバルまたはテレビ電話機または他のアプリケーションに対して取り込まれるビデオを含んでいてもよい。イメージセンサ４は、例えば、行と列で配列されている、個々のイメージセンサエレメントの２次元アレイを含んでいてもよい。いくつかの観点では、イメージセンサ４のイメージセンサエレメントのそれぞれは、単一のピクセルに関係していてもよい。言い換えると、イメージセンサエレメントとピクセルとの間に１対１対応が存在していてもよい。代替的に、それぞれのピクセルに関係する１つより多いイメージセンサエレメント、または、それぞれのイメージセンサエレメントに関係する１より大きいピクセルが存在していてもよい。イメージセンサ４は、例えば、相補形金属酸化膜（ＣＭＯＳ）センサ、電荷結合素子(ＣＣＤ)センサ、またはこれらに類するような固体状態センサのアレイを含んでいてもよい。

イメージセンサ４は、イメージセンサエレメントをイメージシーンに露出して、イメージを取り込む。イメージセンサ４内のイメージセンサエレメントが、例えば、特定のピクセル位置におけるシーンの光の強度を表す強度値を取り込む。いくつかのケースでは、センサ４のイメージセンサエレメントのそれぞれは、センサエレメントをカバーしている色フィルタによって、１色のみまたは色帯に感知可能であってもよい。例えば、イメージセンサ４は、レッド、グリーン、およびブルー（ＲＧＢ）フィルタのアレイによってカバーされているイメージセンサエレメントを備えていてもよい。しかしながら、イメージセンサ４は、シアン、マゼンダ、イエロー、およびブラック（ＣＭＹＫ）色フィルタのような他の色フィルタを利用してもよい。したがって、イメージセンサ４のイメージセンサエレメントのそれぞれは、１色のみに対する強度値を取り込んでもよい。

イメージセンサ４は、１つ以上のイメージセンサコンフィギュレーションパラメータにしたがって、イメージセンサエレメントをイメージシーンに露出する。イメージセンサコンフィギュレーションパラメータのいくつかは、関心のあるシーンの１つ以上の特性に基づいて調整されてもよい。このようなコンフィギュレーションパラメータは、イメージセンサ４の利得や、その間にイメージセンサ４が関心のあるシーンに露出される露出時間や、それに類するものを含む。以下に詳細に記述するように、イメージ取り込みデバイス２は、関心のあるシーン内の動き量に基づいて、１つ以上のイメージセンサコンフィギュレーションパラメータを調整してもよい。

イメージセンサ利得を例として使用すると、関心のあるシーンがより暗い環境（例えば、室内）にあるとき、または、関心のあるシーン内で比較的多い動き量を含むとき、イメージ取り込みデバイス２はイメージセンサ４の利得を増加させてもよい。利得を増加させることによって、イメージセンサエレメントは、関心のある動いているシーンをより早いシャッタースピード（より短い露出時間）で取り込むことができ、これにより、動きによって生じるぼけを減少させる。特に、より大きい利得は、イメージセンサエレメントがイメージセンサエレメントの出力を増幅させることによって少ない光を取り込むことを可能にする。関心のあるシーン内で多くの光または比較的少ない動きが存在する状況では、イメージ取り込みデバイス２はイメージセンサ４の利得を減少させてもよく、または、利得を小さく維持してもよい。このケースでは、より長い時間期間にわたってセンサエレメントが関心のあるシーンに露出され、これにより、より多くの光を集めることから、大きい利得は必要ない。イメージセンサ４が大きい利得を有しているとき、すなわち、光に非常に影響されやすいとき、イメージセンサ４は、小さい利得を有する場合よりも、より短い時間期間にわたって、関心のあるシーンに露出される。その間にイメージセンサ４が関心のあるシーンに露出される時間の量のことを、本開示では露出時間と呼ぶ。したがって、イメージセンサ４の利得が大きくなればなるほど、関心のあるシーンに対するセンサ４の露出時間は短くなる。反対に、イメージセンサ４の利得が小さければ小さいほど、関心のあるシーンに対するイメージセンサ４の露出時間は長くなる。露出時間は、例えば、イメージ取り込みデバイス２の機械的なシャッタースピードを制御することによって制御されてもよい。

イメージ取り込みデバイス２は、ユーザによって選択できる多数のカメラ動作モードを備えていてもよい。異なるカメラ動作モードは、異なるカメラ設定、特に、異なるイメージセンサコンフィギュレーション設定に対応していてもよい。例えば、関心のあるシーン内の動き量が多いイメージを取り込むときにユーザが選択する「スポーツモード」を、イメージ取り込みデバイス２は備えていてもよい。スポーツモードは、高いセンサ利得と、より短い露出時間とに対応してもよい。別の例として、関心のあるシーン内の、動きがないイメージまたは比較的動きが少ないイメージを取り込むときにユーザが選択する「風景モード」を、イメージ取り込みセンサ２は備えていてもよい。風景モードは、低い利得と、より長い露出時間とに対応していてもよい。多数の他のモードもまた備えられていてもよく、多数の他のモードは、スポーツモードおよび風景モードとは利得および露出時間が異なる。この方法では、イメージ取り込みデバイス２のユーザは、さまざまな動作モードを使用して、イメージセンサ４を動作させるためのコンフィギュレーションパラメータを手動で選択してもよい。

さらに、イメージ取り込みデバイス２は、「オートモード」を備えていてもよく、「オートモード」では、イメージ取り込みデバイス２は、イメージセンサ４のイメージセンサコンフィギュレーションパラメータを自動的に選択する。以下に詳細に記述した技術にしたがうと、イメージプロセッサ６は、センサ制御モジュール９を備えており、センサ制御モジュール９は、関心のあるシーンにおける動き量を決定し、決定に基づいて、イメージセンサ４に対するイメージセンサコンフィギュレーションパラメータを自動的に選択する。１つの観点では、センサ制御モジュール９は、関心のあるシーンの２つ以上のイメージ間の動きベクトルを解析し、関心のあるシーンにおける動き量を決定する。例えば、センサ制御モジュール９は、イメージの動きベクトルのサブセットの大きさを決定し、イメージセンサ４の１つ以上のコンフィギュレーションパラメータをこの大きさに基づいて調整する。動き量が多い関心のあるシーンに対して、センサ制御モジュール９は、より短い露出時間と、より大きい利得とを持つ感度設定を選択してもよい。反対に、センサ制御モジュール９は、比較的少ない動きを含むシーンまたは動きがないシーンに対して、より長い露出時間と、より小さい利得とを持つ感度設定を選択してもよい。センサ制御モジュール９は、関心のあるシーンの２つ以上のイメージ間のルミナンス（ここでは、「ルマ」）値の差、関心のあるシーンの２つ以上のイメージの１次元射影値間の差、関心のあるシーンの２つ以上のイメージのヒストグラム間の差、これらに類するもののような、多数の他のインジケータのうちの任意のものを使用して、関心のあるシーンにともなう動き量を決定してもよい。

イメージプロセッサ６は、イメージ情報を処理してもよく、例えば、イメージの、安定化や、クロッピングや、圧縮や、増強や、これらに類するものを実行してもよい。イメージプロセッサ６は、１つ以上のマイクロプロセッサ、マイクロ制御装置、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、あるいは他の何らかの均等なディスクリート回路または集積論理回路、これらを組み合わせたものによって実現されてもよい。いくつかの観点では、イメージプロセッサ６は、特定のエンコーディング技術またはフォーマットにしたがってイメージ情報をエンコードするＣＯＤＥＣの一部を形成していてもよく、特定のエンコーディング技術またはフォーマットには、例えば、動画エキスパートグループ（ＭＰＥＧ）−２、ＭＰＥＧ−４、ＭＰＥＧアドバンスドビデオコーディング（ＡＶＣ）パート１０、国際電気通信協会（ＩＴＵ）Ｈ．２６３、ＩＴＵＨ．２６４、ジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ）、グラフィック変換フォーマット（ＧＩＦ）、タグイメージファイルフォーマット（ＴＩＦＦ）、またはこれらに類するようなものがある。

イメージプロセッサ６は、取り込まれたイメージをイメージ記憶モジュール８中に生の形態で、例えば生のピクセル値として記憶させてもよい。代替的に、イメージプロセッサ６は、取り込まれたイメージ上で付加的な処理を実行し、処理されたイメージをイメージ記憶モジュール８中に記憶させてもよい。取り込まれたイメージがオーディオ情報を伴う場合、オーディオは、独立的にまたはイメージに関連して、イメージ記憶モジュール８中に記憶されてもよい。イメージ記憶モジュール８は、リードオンリーメモリ（ＲＯＭ）や、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）や、またはフラッシュメモリのような任意の揮発性メモリまたは不揮発性メモリ、あるいは、磁気データ記憶デバイスまたは光データ記憶デバイスのような記憶デバイスを含んでいてもよい。

多数の他のエレメントが、イメージ取り込みデバイス２中に備えられていてもよいが、図１では、図示の簡略さおよび容易さのために特別に図示していない。例えば、イメージ取り込みデバイス２は、レンズや、シャッターや、フラッシュデバイスや、ディスプレイのような、イメージを取り込むための付加的なコンポーネントを備えていてもよい。図１に図示したアーキテクチャは単なる例示であるので、本開示で記述した技術がさまざまな他のアーキテクチャとともに実現されてもよい。さらに、図１に図示した特徴は、ハードウェアおよび／またはソフトウェアコンポーネントの任意の適した組み合わせによって実現されてもよい。

図２は、図１のイメージ取り込みデバイス２をさらに詳細に図示しているブロック図である。図２に図示したように、イメージセンサ４は、イメージバッファ２０Ａおよび２０Ｂ（以下、「イメージバッファ２０」）を備え、これらの双方は、関心のあるシーンの取り込まれたイメージに関係するイメージ情報、例えば、ピクセル値を記憶してもよい。イメージセンサ４は、例えば、イメージプレビュー中に、イメージ情報をイメージバッファ２０中に記憶してもよい。さらに詳細に述べると、ユーザがイメージ取り込みデバイス２を関心のあるシーンに向けている間であるが、イメージを取り込むためにユーザがボタンを操作する前に、イメージセンサ４はイメージをイメージバッファ２０中に記憶してもよい。いくつかの観点では、イメージセンサ４は、数秒内の、そうでないなら数ミリ秒内の、または、さらにより短い時間期間内の互いのもののうちのイメージをイメージバッファ２０中に取り込んで記憶してもよい。このケースでは、イメージセンサ４は、関心のある同じシーンに関係する連続したセットのイメージ情報をイメージバッファ２０中に記憶する。この連続したイメージバッファリング技術は、イメージを取り込もうと試行しているユーザによって認識されずに、生じるかもしれない。すなわち、ユーザの観点からすると、単一のイメージのみが、イメージ取り込みデバイス２のボタンの操作によって取り込まれる。図２は、２つのイメージバッファ２０を備えているが、イメージ取り込みデバイス２は、２つより多いイメージバッファ２０を備えていてもよい。この方法では、本開示に記述した感度コンフィギュレーション技術は、拡張によって、２つより多いイメージに適用されてもよい。

バッファ２０は、ＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリのような任意の揮発性メモリまたは不揮発性メモリ、あるいは磁気データ記憶デバイスまたは光データ記憶デバイスのような記憶デバイスを含んでいてもよい。イメージセンサ４内に存在するように図２に示したが、バッファ２０は、イメージプロセッサ６またはイメージ記憶モジュール８を含む、イメージ取り込みデバイス２の他のモジュール内のような、イメージセンサ４に外的に存在していてもよい。

イメージセンサ４はまた、イメージセンサコンフィギュレーションモジュール２２を備え、イメージセンサコンフィギュレーションモジュール２２は、イメージプロセッサ６から受け取ったコンフィギュレーションパラメータにしたがって、イメージセンサ４をコンフィギュレーションする。イメージプロセッサ６から受け取ったコンフィギュレーションパラメータは、センサ利得、露出時間、またはこれらを組み合わせたものを含む。イメージセンサ４は、コンフィギュレーションパラメータにしたがって、イメージセンサエレメントを関心のあるシーンに露出して、イメージを取り込む。特に、コンフィギュレーションパラメータに基づいて、イメージセンサ４は、イメージセンサ４のセンサエレメントのセンサ利得を増加または減少させてもよい。センサ利得の調整は、イメージセンサエレメントの露出時間の変化に対応してもよい。例えば、イメージ感度が低下されたときに、イメージセンサ４は、より長い時間期間にわたって、イメージセンサエレメントを露出し、そして、イメージ感度が向上したときに、より短い時間期間にわたってイメージセンサエレメントを露出してもよい。先に記述したように、調整された露出時間は、イメージ取り込みデバイス２のシャッターのシャッタースピードを調整することによって制御されてもよい。

イメージプロセッサ６は、ブロックパーティション器２４と、動き検出モジュール２６およびコンフィギュレーション調整モジュール２７を備えるセンサ制御モジュール９と、コンフィギュレーションデータ２８とを備えている。ユニットまたはモジュールのような異なる機能の描写は、イメージプロセッサ６の異なる機能的観点を強調することを意図しているのであり、このようなユニットまたはモジュールが独立したハードウェア、ソフトウェアおよび／またはファームウェアコンポーネントによって必ずしも実現されなければならないことを暗に示しているわけではない。むしろ、１つ以上のユニットまたはモジュールに関係する機能は、共通のハードウェア、ソフトウェアコンポーネントおよび／またはファームウェアコンポーネント内に組み込まれていてもよい。

先に記述したように、イメージセンサ４は、少なくとも２つのイメージを取り込んで、イメージをバッファ２０中に記憶する。イメージプロセッサ６は、イメージをバッファ２０から受け取り、ブロックパーティション器２４を使用して、イメージのうちの少なくとも１つを、（本開示では「ブロック」と呼ぶ）ピクセルの複数のブロックにパーティションしてもよい。これらのブロックは、イメージセンサ４によって取り込まれたイメージ情報の連続した部分を表し、ときには、マクロブロックと呼ぶことがある。ＪＰＥＧ標準規格のケースでは、例えば、ブロックパーティション器２４は、イメージのそれぞれを、８行のピクセルと８列のピクセルとを含む８×８ブロックにパーティションしてもよい。８行または８列よりもより大きい、あるいは、８行または８列よりも小さいブロックもまた実行可能である。例えば、プロックパーティション器２４は、イメージのそれぞれを１６×１６ブロックにパーティションしてもよい。さらに、ブロックパーティション器２４は、それぞれのブロックを２つ以上のサブブロックにさらにサブパーティションしてもよい。例のように、１６×１６ブロックは、４つの８×８のサブブロック、８つの４×８サブブロックまたは他のサブパーティションブロックを含んでいてもよい。ここで使用したように、「ブロック」という用語は、任意のサイズの、ブロックまたはサブブロックのいずれかを意味していてもよい。いくつかの観点では、しかしながら、イメージがブロックパーティション器２４をバイパスし、動き検出モジュール２６によって直接的に解析される場合、バッファ２０中のイメージは、ブロックにパーティションされなくてもよい。

動き検出モジュール２６は、関心のあるシーン内の動き量を決定する。さらに詳細に述べると、動き検出モジュール２６は、動きを示す関心のある同じシーンのイメージ間の変化を識別する１つ以上のインジケータを発生させる。１つの観点では、動き検出モジュール２６が、少なくとも１つのイメージのブロックのそれぞれに対する動きベクトルを計算する。ブロックの動きベクトルは、第１のイメージと第２のイメージとの間の識別されたブロックの変位を表す。動きベクトルは、
ｖ（ｂ）＝（ｄｘ，ｄｙ），（１）
と表されてもよい。ここで、ｖ（ｂ）は、ブロックｂに対する動きベクトルであり、ｄｘは、ブロックｂと第２のイメージ中の対応するブロックとの間のｘ方向の変位であり、ｄｙは、ブロックｂと第２のイメージ中の対応するブロックとの間のｙ方向の変位である。動き検出モジュール２６は、さまざまな動き推定技術のうちの任意のものを使用して動きベクトルを計算してもよい。動き検出モジュール２６は、第１のイメージのそれぞれのブロックに対して、第１のイメージの各ブロックに最も一致するブロックに対する第２のイメージをサーチしてもよい。動き検出モジュール２６は、誤差測定、例えば、絶対差分の和（ＳＡＤ）、平均二乗誤差（ＭＳＥ）、またはこれらに類するものを使用して、第１のイメージのブロックのピクセル値を、第２のイメージにおけるブロックのピクセル値と比較してもよい。シーン変化表示モジュール２６は、最小誤差測定値を持つブロックを選択し、２つのブロック間の変位を計算して、動きベクトルを発生させてもよい。

いくつかのケースでは、動き検出モジュール２６が、動きベクトルのサブセットを選択し、イメージ間の動き量を決定してもよい。他のパーセンテージが、代わりに使用されてもよい。動き検出モジュール２６は、例えば、最大の動きベクトルに対するサブセットの大きさを解析し、関心のあるシーン内の動き量を決定してもよい。動き検出モジュール２６は、ブロックの動きベクトルの、最大５％、１０％、または２０％を解析し、決定を行ってもよい。これらのパーセンテージは、例示の目的のために提供されており、本開示において記述した技術を制限しているわけではない。動きベクトルの大きさは、以下の式：
｜ｖ（ｂ）｜＝ｓｑｒｔ（ｄｘ^*ｄｘ＋ｄｙ^*ｄｙ）（２）
を使用して計算されてもよく、ここで、｜ｖ（ｂ）｜はブロックｂの動きベクトルの大きさであり、ｓｑｒｔ（ｚ）はｚの平方根であり、ｄｘは、ブロックｂと第２のイメージ中の対応するブロックとの間のｘ方向の変位であり、ｄｙはブロックｂと第２のイメージ中の対応するブロックとの間のｙ方向の変位である。最大の大きさを有する動きベクトルを持つブロックは、そのブロック内の移動対象物を示していてもよい。代替的に、イメージのブロックすべてに対する動きベクトルの大きさが、シーン全体内の動き量を決定するために解析されてもよい。

動き検出モジュール２６は、関心のあるシーン内の動きの他のインジケータを発生させてもよい。別の観点では、動き検出モジュール２６は、関心のある同じシーンの２つ以上のイメージ間のコントラストの差を使用して動きを検出してもよい。例えば、動き検出モジュール２６は、両イメージのピクセルのブロックのそれぞれに対する平均ルマ値を計算してもよい。動き検出モジュール２６は、ブロック上の２つのイメージの平均ルマ値間の差をブロックベースで計算してもよい。言い換えると、差は、第１のイメージのブロックと、第１のイメージのブロックと同じ位置に位置付けられている第２のイメージのブロックとの間で計算されてもよい。動き検出モジュール２６は、最大ルマ差を持つブロックを識別し、そのルマ差を、関心のあるシーン内の動き量のインジケータとして使用してもよい。ブロックに対する大きいルマ差は、関心のあるシーン内の対象物の動きを表してもよい。代替的に、動き検出モジュール２６は、ブロックのサブセットまたはすべてに対するルマ値を平均してもよい。この方法では、平均ルマ差は、関心のあるシーン全体を通した大域的な動き量を示してもよい。これは、特に、関心のあるシーンに対するカメラ移動によって生じる動きを検出する際に役立つ。

別の観点では、動き検出モジュール２６は、ピクセルのブロックの１つ以上に対する１次元射影値を発生させ、２つのイメージの射影を比較して、関心のあるシーン内の動きを検出してもよい。特に、動き検出モジュール２６は、ピクセルのブロックのそれぞれに対する水平射影、垂直射影、または双方を計算してもよい。水平射影は、ブロックのピクセルの行のピクセル値の総和である。垂直射影は、ブロックのピクセルの列のピクセル値の総和である。例えば、動き検出モジュール２６は、それぞれのイメージのブロックのそれぞれに対して、以下の式：

にしたがって、水平射影および垂直射影を決定してもよい。ここで、Ｐ_H(j)は、ｙ軸に沿ったピクセル“ｊ”の関数として水平射影を表し、Ｐｖ（ｉ）は、ｘ軸に沿ったピクセル“ｉ”の関数として垂直射影を表し、Ｉｍ（ｉ，ｊ）はピクセル“ｉ”および“ｊ”の関数としてピクセル値を表している。したがって、Ｐ_Hは、特定のブロックのピクセル値の（ｉは変動し、ｊは静的のままであるような）ｘ軸ピクセル値の総和（Σ）である。この方法では、動き検出モジュール２６は、１次元水平射影ベクトルをブロックの２次元イメージ情報から発生させる。ピクセルの８×８のブロックのケースでは、動き検出モジュール２６は、２次元８×８ブロックを表す１次元の８成分水平射影ベクトルを発生させてもよい。同様に、Ｐｖは、水平射影が決定されたのと同じブロックの２次元イメージ情報から１次元垂直射影ベクトルを形成するための、ブロックのピクセル値、すなわちＩｍ（ｉ，ｊ）の（ｉは静的のままで、ｊは変動するような）ｙ軸ピクセル値の総和（Σ）である。一連の水平射影および垂直射影にまですべてのブロックが減少されるまで、それぞれのブロックは同じ手順を受ける。

動き検出モジュール２６は、イメージのピクセルのブロックのそれぞれの水平射影および／または垂直射影間の差を計算してもよい。動き検出モジュール２６は、最大射影の差を持つブロックを識別し、その射影の差を、関心のあるシーン内の動き量のインジケータとして使用してもよい。この方法では、選択された射影の差が、関心のあるシーン内の移動対象物のインジケータであってもよい。代替的に、動き検出モジュール２６は、イメージのブロックのサブセットまたはすべてに対する射影の差を平均してもよい。この方法では、平均射影の差が、関心のあるシーンの大域的な動き量を示してもよい。

別の観点では、動き検出モジュール２６は、イメージのそれぞれに対するヒストグラムを計算し、関心のあるシーン内の動き量のインジケータとしてヒストグラム間の差を計算してもよい。例えば、動き検出モジュール２６が、イメージのそれぞれに対して、特定のイメージに対するピクセル値の分布を表すヒストグラムを発生させてもよい。動き検出モジュールが、２つ以上イメージのヒストグラム間の差を、関心のあるシーンの動きのインジケータとして計算してもよい。ヒストグラムにおける大きい差は、関心のあるシーン内の多い動き量を示してもよい。

別の観点では、動き検出モジュール２６が、イメージのそれぞれのピクセルの少なくとも一部のピクセル値間の差を、関心のあるシーン内の動きの表示として計算してもよい。例えば、動き検出モジュール２６が、イメージのピクセルの位置のそれぞれのピクセル値間の差を計算し、差の和をとり、シーン内の動きのインジケータを発生させてもよい。差の和がより大きいことは、シーン内の動き量がより大きいことを示してもよい。代替的に、動き検出モジュール２６は、ブロック上の差のインジケータの和をブロックベースで計算してもよい。言い換えると、動き検出モジュール２６は、ブロックのそれぞれのピクセル値間の差を計算し、ブロック内のピクセル値の差の和をとり、イメージブロックの差を得て、シーン内の対象物の動きを決定してもよい。

コンフィギュレーション調整モジュール２７は、動き検出モジュール２６によって発生された１つ以上のインジケータを解析し、２つのイメージ間で検出された動き量に基づいて、イメージセンサ４の１つ以上のコンフィギュレーションパラメータを調整する。例示の目的のために、ここではイメージセンサ４の利得および／または露出時間を調整すると説明したが、コンフィギュレーション調整モジュール２７は、イメージセンサ４の他のコンフィギュレーションパラメータを調整してもよい。一般的に、コンフィギュレーション調整モジュール２７は、例えば、大きな動きベクトル、差の大きな和、大きなルマ差、大きなヒストグラム差、大きな１次元射影差、またはこれらに類するもののような、比較的多い動き量を含むシーンに対して、イメージセンサ４の利得を増加させてもよい。イメージセンサ４の利得を増加させることは、より短い時間期間にわたって、イメージセンサ４が関心のあるシーンに露出されていることに対応していてもよく、これにより、ノイズが増加することを代償に、動きが多いシーンにおけるぼけを減少させる。反対に、コンフィギュレーション調整モジュール２７は、関心のあるシーン内で、比較的少ない変化量を含むシーン、または、まったく動きがないシーンに対して、イメージセンサ４の利得を減少させてもよい。イメージセンサ４の利得を減少させることは、より長い時間の期間にわたって、イメージセンサ４が関心のあるシーンに露出されていることに対応していてもよく、これにより、ぼけが増加することを代償に、ノイズを減少させる。

ＩＳＯ５０、ＩＳＯ１００、およびＩＳＯ２００の感度設定を備えたイメージ取り込みデバイスの場合、例えば、コンフィギュレーション調整モジュール２７は、以下に記述するようなＩＳＯ設定を選択してもよい。ＩＳＯ設定は、例えば、特定の利得および露出時間対と対応していてもよい。ＩＳＯ５０は最小利得と最長露出時間とに対応している一方で、ＩＳＯ２００は最大利得および最短露出時間に対応していてもよい。例えば、最大の動きベクトルに対する平均的な動きベクトルの大きさが、イメージの幅の約１％よりも小さいとき、コンフィギュレーション調整モジュール２７はＩＳＯ５０を選択してもよい。１０００ピクセルの幅を有するイメージの場合、例えば、動きベクトルの大きさが１０よりも小さいときに、センサ制御モジュール９はＩＳＯ５０を選択してもよい。平均的な動きベクトルの大きさがイメージの幅の約１％と１０％との間であるとき、コンフィギュレーション調整モジュール２７はＩＳＯ１００を選択してもよい。平均的な動きベクトルの大きさが、イメージの幅の約１０％と２０％との間であるとき、コンフィギュレーション調整モジュール２７はＩＳＯ２００を選択してもよい。動きベクトルの大きさを特定の感度設定と関係付けるために、他のしきい値が使用されてもよい。さらに、例えば、ＩＳＯ５０とＩＳＯ１００との間の設定間に、あるいは、例えば、ＩＳＯ２００より上の設定より上または下に、さらなる感度設定が含まれていてもよい。先に記述した例示的なコンフィギュレーション調整モジュール２７は、動きベクトルを使用して感度設定を選択したが、ルマの差、１次元射影の差、ピクセル値の差、ヒストグラムの差、または、動きの１つより多いインジケータを組み合わせたもののような、動きの他のインジケータの範囲を使用して類似した調整を行ってもよい。例えば、コンフィギュレーション調整モジュール２７は、イメージセンサ４のコンフィギュレーションパラメータを、シーン内の動きの２つ以上のインジケータの重み付けされた和の関数として調整してもよい。

いくつかの観点では、イメージプロセッサ６は、コンフィギュレーションデータ２８を維持してもよく、コンフィギュレーションデータ２８は、動きのインジケータを、対応するコンフィギュレーションパラメータ、例えば、利得および／または露出時間と関係付ける。例えば、コンフィギュレーションデータ２８は、動きベクトルの大きさ、ルマの差、射影の差、イメージピクセル値の差、および／または、ヒストグラムの差を、特定の利得および露出時間に関係付けてもよい。イメージプロセッサ６内に存在しているように図２では図示したが、コンフィギュレーションデータ２８は、イメージプロセッサ６が結合されているイメージ記憶モジュール８内に維持されてもよい。コンフィギュレーションデータ２８は、例えば、カメラの異なる動作モードに対する複数の異なるコンフィギュレーションパラメータとともに、動きのインジケータの大きさを、対応する利得／露出時間対に関係付けるデータ構造を維持してもよい。

いくつかのケースでは、コンフィギュレーション調整モジュール２７は、ブライトネスに基づいて、イメージセンサ４に対する初期コンフィギュレーションパラメータを選択し、関心のあるシーン内の動きの解析に基づいて、イメージセンサ４のコンフィギュレーションパラメータを調整してもよい。利得および露出時間を例として使用すると、周囲の環境が明るいとき、コンフィギュレーション調整モジュール２７は、（例えば、ＩＳＯ５０設定に対応する）より小さい利得と、より長い露出時間とを最初に選択してもよい。反対に、周囲の環境が暗いとき、コンフィギュレーション調整モジュール２７は、（例えば、ＩＳＯ２００またはより高い設定に対応する）より大きい利得と、より短い露出時間とを最初に選択してもよい。この目的のために、コンフィギュレーションデータ２８はまた、ブライトネスのレベルを、対応するコンフィギュレーションパラメータに関係付けるデータ構造を含んでいてもよい。

コンフィギュレーション調整モジュール２７によって選択された初期利得および露出時間は、関心のあるシーンの動きを解析するために使用される２つ以上のプレビューイメージを取り込むためにイメージセンサ４によって使用されてもよい。先に記述した感度制御技術は、関心のあるシーン内の動きに基づいて、イメージセンサ４の初期利得および露出時間設定を調整するために使用されてもよい。いくつかのケースでは、ブライトネスに基づいて選択される設定は、動き解析に基づいて変化するだろう。この方法では、コンフィギュレーション調整モジュール２７は、関心のあるシーンにおける動きに基づいて、選択されたコンフィギュレーションパラメータを無効にしてもよい。これは、結果的に、イメージへの、さらなるノイズの導入となるが、動きによって生じるイメージにおけるぼけは十分に減少するだろう。

本開示において記述し、イメージプロセッサ６によるような機能は、コンピュータ読み取り可能媒体に記憶された命令を実行する１つ以上のプログラム可能なプロセッサによって実行されてもよく、命令および／またはコードは、本開示で記述したような感度選択登録をプロセッサに実行させる。いくつかのケースでは、コンピュータ読み取り可能媒体は、コンピュータプログラムプロダクトの一部を形成してもよく、製造業者に販売および／またはデバイスで使用されてもよい。

図３は、本開示で記述したイメージセンサコンフィギュレーション技術を実行している、図２のイメージ取り込みデバイス２のようなイメージ取り込みデバイスの例示的な動作を図示しているフロー図である。最初に、イメージ取り込みデバイス２のイメージセンサ４が、２つ以上のイメージを取り込み、イメージをイメージバッファ２０中に記憶する（３０）。先に記述したように、２つ以上のイメージは、ミリ秒内の、または、さらにより短い時間期間内の互いのものからイメージセンサ４によって取り込まれた連続したイメージであってもよい。例えば、連続したイメージは、イメージプレビュー中に取り込まれてもよい。さらに、イメージセンサ４が、関心のあるシーンのブライトネスの関数として選択された初期のコンフィギュレーションパラメータ、例えば、利得および露出時間を使用してイメージを取り込んでもよい。

ブロックパーティション器２４が、イメージのうちの少なくとも１つを複数のブロックにパーティションする（３２）。ブロックは、オーバーラップしていてもよく、または、オーバーラップしていなくてもよく、またはさまざまな次元のものであってもよい。動き検出モジュール２６は、関心のあるシーン内の動き量を決定する（３４）。先に詳細に記述したように、動き検出モジュール２６が、動きベクトル、２つのイメージ間のルマ値の差、２つのイメージの１次元射影値間の差、２つのイメージのヒストグラム間の差、または、これらに類するもののような、多数のインジケータのうちの任意のものを使用して、関心のあるシーン内の動き量を決定してもよい。

コンフィギュレーション調整モジュール２７が、決定された動き量に基づいて、イメージセンサ４のコンフィギュレーションパラメータを調整するか否かを決定する（３６）。イメージセンサの初期コンフィギュレーションパラメータが小さい利得を含むときにおいて、比較的多い動き量、例えば、大きな動きベクトル、差の大きな和、大きなルマの差、大きなヒストグラムの差、大きな１次元射影の差、またはこれらに類するものをシーンが含むときに、コンフィギュレーション調整モジュール２７は、コンフィギュレーションパラメータを調整することを決定してもよい。反対に、コンフィギュレーション調整モジュール２７は、関心のあるシーン内で、比較的少ない動き量を含むシーン、または、まったく動きがないシーンに対して、イメージセンサ４の現在の利得を減少または維持してもよい。

イメージセンサ４のコンフィギュレーションパラメータに対する調整が望まれることを、コンフィギュレーション調整モジュール２７が決定したとき、コンフィギュレーション調整モジュール２７が、イメージセンサ４のコンフィギュレーションを再コンフィギュレーションする（３７）。コンフィギュレーション調整モジュール２７は、例えば、イメージセンサ４のセンサ利得、イメージセンサ４の露出時間、またはこれらを組み合わせたものを再コンフィギュレーションしてもよい。イメージセンサ４の感度を再コンフィギュレーションした後、または、イメージセンサ４の感度が再コンフィギュレーションされる必要がないとき、イメージセンサ４は、ユーザによるボタンの操作時に、コンフィギュレーションされた設定を使用し、関心のあるシーンのイメージを取り込んで記憶させる（３８）。この方法では、イメージ取り込みデバイスが、イメージセンサ４を、関心のあるシーン内の動きの関数としてコンフィギュレーションする。図示の目的のために、イメージセンサ４の利得および／または露出時間を調整するとここで説明したが、コンフィギュレーション調整モジュール２７は、イメージセンサ４の他のコンフィギュレーションパラメータを調整してもよい。

図４は、イメージに関係する動きベクトルの少なくとも一部に基づいたイメージセンサコンフィギュレーション技術を実行している、図２のイメージ取り込みデバイス２のようなイメージ取り込みデバイスの例示的な動作を図示しているフロー図である。最初に、イメージ取り込みデバイス２のイメージセンサ４が、２つ以上のイメージを取り込み、イメージをイメージバッファ２０中に記憶する（４０）。先に記述したように、２つ以上のイメージは、ミリ秒内の、または、さらにより短い時間期間内の互いのものからイメージセンサ４によって取り込まれた連続したイメージであってもよい。例えば、連続したイメージは、イメージプレビュー中に取り込まれてもよい。さらに、イメージセンサ４は、関心のあるシーンのブライトネスの関数として選択された初期コンフィギュレーションパラメータ、例えば、利得および露出時間を使用してイメージを取り込んでもよい。

ブロックパーティション器２４が、イメージのうちの少なくとも１つを複数のブロックにパーティションする（４２）。ブロックは、オーバーラップしていてもよく、または、オーバーラップしていなくてもよく、また、さまざまな次元であってもよい。動き検出モジュール２６は、イメージのブロックのそれぞれに対する動きベクトルを計算する（４４）。動き検出モジュール２６が、動きベクトルのサブセットを選択して解析する（４６）。先に記述したように、動き検出モジュール２６が、イメージの最大の動きベクトルを含むサブセットを選択してもよい。例えば、動き検出モジュール２６は、ブロックの動きベクトルの最大１０％を、解析される動きベクトルのサブセットとして選択してもよい。しかしながら、いくつかの観点では、動き検出モジュール２６が、サブセットだけの代わりに、イメージに対する動きベクトルのセット全体を解析してもよい。動き検出モジュール２６が、動きベクトルのサブセットに対する平均的な大きさを計算する（４８）。平均的な大きさは、例えば、関心のあるシーン内の移動対象物を表していてもよい。

コンフィギュレーション調整モジュール２７が、動きベクトルのサブセットに対して計算された平均的な大きさに基づいて、イメージセンサ４のコンフィギュレーションパラメータを調整するか否かを決定する（５０）。いくつかの観点では、コンフィギュレーション調整モジュール２７が、動きベクトルの大きさを、対応するコンフィギュレーションパラメータ（例えば、ＩＳＯ利得および／または露出時間）に関係付けるコンフィギュレーションデータ２８を維持してもよい。例えば、最大の動きベクトルの平均的な動きベクトルの大きさがイメージ幅の約１％よりも小さいとき、例えば、コンフィギュレーション調整モジュール２７はＩＳＯ５０設定を選択してもよい。平均的な動きベクトルの大きさがイメージの幅の約１％と１０％との間であるときに、コンフィギュレーション調整モジュール２７はＩＳＯ１００を選択してもよい。平均的な動きベクトルの大きさがイメージの幅の約１０％と２０％との間であるとき、コンフィギュレーション調整モジュール２７はＩＳＯ２００を選択してもよい。動きベクトルの大きさを特定の感度設定に関係付けるために、他のしきい値が使用されてもよい。

イメージセンサ４のコンフィギュレーションパラメータに対する調整が望まれることを、コンフィギュレーション調整モジュール２７が決定したとき、コンフィギュレーション調整モジュール２７が、イメージセンサ４のコンフィギュレーションを再コンフィギュレーションする（５２）。コンフィギュレーション調整モジュール２７は、例えば、イメージセンサ４のセンサ利得、イメージセンサ４の露出時間、またはこれらを組み合わせたものを再コンフィギュレーションする。イメージセンサ４の感度を再コンフィギュレーションした後またはイメージセンサ４の感度が再コンフィギュレーションされる必要がないとき、イメージセンサ４は、ユーザによるボタンの操作時に、コンフィギュレーションされた設定を使用し、関心のあるシーンのイメージを取り込んで記憶させる（５４）。この方法では、イメージ取り込みデバイスが、イメージセンサ４を、関心のあるシーン内の動きの関数としてコンフィギュレーションする。図２に関して詳細に記述したように、動きの他のインジケータを使用して、類似した調整技術が利用されてもよい。

図５は、本開示で記述したイメージ取り込み技術を実現するイメージ取り込みデバイス２を備えている例示的なワイヤレス通信デバイス６０を図示しているブロック図である。言い換えると、図５は、ワイヤレス通信デバイス内に組み込まれているイメージ取り込みデバイスを示している。イメージ取り込みデバイス２の動作は、図１に関して先に記述したので、ここでは詳細に記述しない。ワイヤレス通信デバイス６０は、イメージ取り込み能力を有するセルラ電話機（例えば、いわゆるカメラ電話機またはテレビ電話機）、ビデオレコーダ、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、またはイメージ取り込み能力およびワイヤレス通信能力を持つ他の何らかのハンドヘルドデバイスのような、ワイヤレス通信デバイスハンドセットを含んでいてもよい。ワイヤレス通信デバイスの状況について図示したが、本開示の技術は、ワイヤード通信デバイスに適用可能であってもよい。

図５の例では、ワイヤレス通信デバイス６０は、イメージ取り込みデバイス２と、エンコーディングモジュール６２と、送信機６４とを備えている。エンコーディングモジュール６２は、記憶および／または送信のために、取り込まれたイメージ情報をエンコードし、イメージを特定のイメージ圧縮フォーマットに圧縮してもよい。エンコーディングモジュール６２は、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、または他のイメージ圧縮フォーマットを含む多数のイメージ圧縮フォーマットのうちの任意のものを使用して、イメージを圧縮してもよい。ビデオのケースでは、エンコーディングモジュール６２は、ＭＰＥＧや、ＭＰＥＧアドバンスドビデオコーディング（ＡＶＣ）パート１０や、ＩＴＵＨ．２６４や、これらに類するもののような、任意の数のビデオ圧縮フォーマットを使用してビデオを圧縮してもよい。

ワイヤレス通信デバイス６０は、送信機６４を通して、エンコードされたイメージを別のデバイスに送信してもよい。送信機６４は、一般的に、コード分割多元接続（ＣＤＭＡ）ネットワークや、ワイドバンドコード分割多元接続（Ｗ−ＣＤＭＡ）ネットワークや、時間分割多元接続（ＴＤＭＡ）ネットワークや、グローバルシステムフォー移動体通信（ＧＳＭ）ネットワークや、あるいは他の類似したネットワークのような、セルラネットワークにインターフェースを提供する。送信機６４は、セルラネットワークに加えて、または、セルラネットワークの代替として、電気および電子技術者の関連協会（ＩＥＥＥ）８０２．１１標準規格、または他の何らかのワイヤードネットワークまたはワイヤレスネットワークのうちの任意のものによって規定されているような、ワイヤレスネットワークにインターフェースを提供してもよい。備えているものとして、イメージ取り込みデバイス２、エンコーディングモジュール６２、送信機６４のみ記述したが、ワイヤレス通信デバイス６０は、ディスプレイ、ユーザとインターフェースするためのユーザインターフェース（例えば、キーパッド）、付加的な動作を実行するための１つ以上のプロセッサや、リムーバルメモリを受け入れるためのさまざまなポートおよびレセプタクルや、ヘッドフォンや、電源や、このような他の何らかの周囲機器のような他のモジュールを備えていてもよい。

本開示で記述した技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実現されてもよい。モジュールまたはコンポーネントとして記述した、あらゆる機能は、集積ロジックデバイスにおいて一緒に実現されてもよく、または、ディスクリートではあるが相互運用可能ロジックデバイスとして別々に実現されてもよい。ソフトウェアで実現される場合、技術は、実行されたときに、先に記述した方法のうちの１つ以上のものを実行する命令を含むコンピュータ読み取り可能媒体によって少なくとも部分的に実現されてもよい。コンピュータ読み取り可能媒体は、コンピュータプログラムプロダクトの一部を形成していてもよく、コンピュータプログラムプロダクトはパッケージングマテリアルを含んでいてもよい。コンピュータ読み取り可能媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）や、リードオンリーメモリ（ＲＯＭ）や、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）や、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）や、フラッシュメモリや、磁気記憶媒体または光データ記憶媒体や、これらに類するものを含んでいてもよい。さらに、または、代替的に、技術は、コンピュータ読み取り可能通信媒体によって少なくとも部分的に実現されてもよく、コンピュータ読み取り可能通信媒体は、命令またはデータ構造の形態でコードを伝える、または、通信し、コンピュータによってアクセス、読み取り、および／または実行することができる。

コードは、１つ以上のＤＳＰ、汎用マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＦＰＬＡ、または他の均等な集積回路またはディスクリートロジック回路のような、１つ以上のプロセッサによって実行されてもよい。したがって、本開示で使用されたような「プロセッサ」という用語は、本開示で記述した技術のインプリメンテーションに適した先述した構造または他の何らかの構造のうちの任意のものを意味してもよい。さらに、いくつかの観点では、本開示で記述した機能は、エンコーディングおよびデコーディングのために構成されている専用ソフトウェアモジュールまたはハードウェアモジュール内で提供されてもよく、あるいは組み合わされたビデオＣＯＤＥＣに組み込まれていてもよい。したがって、開示は、本開示で記述した技術のうちの１つ以上のものを実現する回路を備えるさまざまな集積回路デバイスのうちの任意のものも意図している。このような回路は、単一の集積回路チップまたは複数の、相互運用可能な集積回路チップで提供されてもよい。

さまざまな技術を記述している。これらの例示的な観点および他の例示的な観点は、特許請求の範囲の範囲内のものである。

Claims

デジタルイメージデータを取り込む方法において、
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析することと、
前記解析に基づいてイメージを取り込むために、イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整することとを含む方法。
イメージを取り込むために、前記イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整することは、前記イメージセンサの利得と、その間に前記イメージセンサが前記関心のあるシーンに露出される露出時間と、のうちの少なくとも１つを調整することを含む請求項１記載の方法。
イメージを取り込むために、前記イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整することは、
前記第１のイメージと前記第２のイメージとの間の前記動きがしきい値を超えたときに前記イメージセンサの利得を増加させることと、
前記第１のイメージと前記第２のイメージとの間の前記動きがしきい値よりもより低いときに、前記イメージセンサの前記利得を減少させることと、のうちの１つを含む請求項１記載の方法。
前記第１のイメージと前記第２のイメージとの間の動きを解析することは、
前記第１のイメージをピクセルの複数のブロックにパーティションすることと、
前記第１のイメージのピクセルの前記複数のブロックのそれぞれに対する動きベクトルを計算することと、
前記ブロックの前記動きベクトルの少なくともサブセットに基づいて、前記動きを解析することとをさらに含む請求項１記載の方法。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析することは、
前記第１のイメージおよび前記第２のイメージのピクセルの１つ以上のブロックに対する平均ルミナンス値を計算することと、
前記第１のイメージのピクセルの前記１つ以上のブロックの前記平均ルミナンス値と、前記第２のイメージのピクセルの対応するブロックの前記平均ルミナンス値との間の差を計算することと、
前記平均ルミナンス値の前記差に基づいて、前記動きを解析することとを含む請求項１記載の方法。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析することは、
前記第１のイメージおよび前記第２のイメージのピクセルの１つ以上のブロックに対する１次元水平射影値と１次元垂直射影値とを計算することと、
前記第１のイメージのピクセルの前記１つ以上のブロックの前記水平射影値および前記垂直射影値と、前記第２のイメージのピクセルの対応するブロックの前記水平射影値および前記垂直射影値との間の差を計算することと、
前記水平射影の差と前記垂直射影の差とに基づいて、前記動きを解析することとを含む請求項１記載の方法。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析することは、
前記第１のイメージおよび前記第２のイメージのそれぞれに対して、各イメージに対するピクセル値の分布を表すヒストグラムを計算することと、
前記第１のイメージの前記ヒストグラムと前記第２のイメージの前記ヒストグラムとの間の差を計算することと、
前記ヒストグラム間の前記差に基づいて、前記動きを解析することとを含む請求項１記載の方法。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析することは、
第１のフレームのピクセルの少なくとも一部に対するピクセル値を、第２のフレームの対応するピクセルのピクセル値から減算して、ピクセル値の差を計算することと、
前記ピクセル値の差の和をとることと、
前記ピクセル値の差の前記和に基づいて、前記動きを解析することを含む請求項１記載の方法。
デジタルイメージデータを取り込むデバイスにおいて、
１つ以上のコンフィギュレーションパラメータにしたがってイメージを取り込むイメージセンサと、
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析し、前記解析に基づいてイメージを取り込むために、前記イメージセンサによって使用される前記１つ以上のコンフィギュレーションパラメータを調整するイメージプロセッサとを具備するデバイス。
前記イメージプロセッサは、前記イメージセンサの利得と、その間に前記イメージセンサが前記関心のあるシーンに露出される露出時間と、のうちの少なくとも１つを調整する請求項１１記載のデバイス。
前記イメージプロセッサは、前記第１のイメージをピクセルの複数のブロックにパーティションし、前記第１のイメージのピクセルの前記複数のブロックのそれぞれに対する動きベクトルを計算し、最大の大きさを持つ前記動きベクトルの少なくともサブセットに基づいて、前記動きを解析する請求項１１記載のデバイス。
前記イメージプロセッサは、
前記第１のイメージおよび前記第２のイメージのピクセルの１つ以上のブロックに対する平均ルミナンス値を計算し、前記第１のイメージのピクセルの前記１つ以上のブロックの前記平均ルミナンス値と、前記第２のイメージのピクセルの対応するブロックの前記平均ルミナンス値との間の差を計算し、前記平均ルミナンス値の前記差に基づいて、前記動きを解析する請求項１１記載のデバイス。
前記イメージプロセッサは、
前記第１のイメージおよび前記第２のイメージのピクセルの１つ以上のブロックに対する１次元水平射影値と１次元垂直射影値とを計算し、前記第１のイメージのピクセルの前記１つ以上のブロックの前記水平射影値および前記垂直射影値と、前記第２のイメージのピクセルの対応するブロックの前記水平射影値および前記垂直射影値との間の差を計算し、前記水平射影の差と前記垂直射影の差とに基づいて、前記動きを解析する請求項１１記載のデバイス。
前記イメージプロセッサは、
前記第１のイメージおよび前記第２のイメージのそれぞれに対して、各イメージに対するピクセル値の分布を表すヒストグラムを計算し、前記第１のイメージの前記ヒストグラムと前記第２のイメージの前記ヒストグラムとの間の差を計算し、前記ヒストグラム間の前記差に基づいて、前記動きを解析する請求項１１記載のデバイス。
前記イメージプロセッサは、第１のフレームのピクセルの少なくとも一部に対するピクセル値を、第２のフレームの対応するピクセルのピクセル値から減算して、ピクセル値の差を計算し、前記ピクセル値の差の和をとり、前記ピクセル値の差の前記和に基づいて、前記動きを解析する請求項１１記載のデバイス。
前記デバイスは、ワイヤレス通信デバイスを具備し、
前記ワイヤレス通信デバイスは、
前記取り込んだイメージをエンコードするエンコーディングモジュールと、
前記エンコードされたイメージを送信する送信機とをさらに備える請求項１１記載のデバイス。
命令を有するコンピュータ読み取り可能な媒体を含む、デジタルイメージデータを取り込むためのコンピュータプログラムプロダクトにおいて、
前記命令は、
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析するためのコードと、
前記解析に基づいてイメージを取り込むために、イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整するためのコードとを含むコンピュータプログラムプロダクト。
イメージを取り込むために、前記イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整するためのコードは、前記イメージセンサの利得と、その間に前記イメージセンサが前記関心のあるシーンに露出される露出時間と、のうちの少なくとも１つを調整するためのコードを含む請求項１７記載のコンピュータプログラムプロダクト。
前記第１のイメージと前記第２のイメージとの間の動きを解析するためのコードは、
前記第１のイメージをピクセルの複数のブロックにパーティションするためのコードと、
前記第１のイメージのピクセルの前記複数のブロックのそれぞれに対する動きベクトルを計算するためのコードと、
前記ブロックの前記動きベクトルの少なくともサブセットに基づいて、前記動きを解析するためのコードとをさらに含む請求項１７記載のコンピュータプログラムプロダクト。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析するためのコードは、
前記第１のイメージおよび前記第２のイメージのピクセルの１つ以上のブロックに対する平均ルミナンス値を計算するためのコードと、
前記第１のイメージのピクセルの前記１つ以上のブロックの前記平均ルミナンス値と、前記第２のイメージのピクセルの対応するブロックの前記平均ルミナンス値との間の差を計算するためのコードと、
前記平均ルミナンス値の前記差に基づいて、前記動きを解析するためのコードとを含む請求項１７記載のコンピュータプログラムプロダクト。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析するためのコードは、
前記第１のイメージおよび前記第２のイメージのピクセルの１つ以上のブロックに対する１次元水平射影値と１次元垂直射影値とを計算するためのコードと、
前記第１のイメージのピクセルの前記１つ以上のブロックの前記水平射影値および前記垂直射影値と、前記第２のイメージのピクセルの対応するブロックの前記水平射影値および前記垂直射影値との間の差を計算するためのコードと、
前記水平射影の差と前記垂直射影の差とに基づいて、前記動きを解析するためのコードとを含む請求項１７記載のコンピュータプログラムプロダクト。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析するためのコードは、
前記第１のイメージおよび前記第２のイメージのそれぞれに対して、各イメージに対するピクセル値の分布を表すヒストグラムを計算するためのコードと、
前記第１のイメージの前記ヒストグラムと前記第２のイメージの前記ヒストグラムとの間の差を計算するためのコードと、
前記ヒストグラム間の前記差に基づいて、前記動きを解析するためのコードとを含む請求項１７記載のコンピュータプログラムプロダクト。
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析するためのコードは、
第１のフレームのピクセルの少なくとも一部に対するピクセル値を、第２のフレームの対応するピクセルのピクセル値から減算して、ピクセル値の差を計算するためのコードと、
前記ピクセル値の差の和をとるためのコードと、
前記ピクセル値の差の前記和に基づいて、前記動きを解析するためのコードとを含む請求項１７記載のコンピュータプログラムプロダクト。
デジタルイメージデータを取り込む装置において、
少なくとも、関心のあるシーンの第１のイメージと前記関心のあるシーンの第２のイメージとの間の動きを解析する手段と、
前記解析に基づいてイメージを取り込むために、イメージセンサによって使用される１つ以上のコンフィギュレーションパラメータを調整する手段とを具備する装置。
前記関心のあるシーンのブライトネスに基づいてイメージを取り込むために、前記イメージセンサによって使用される初期コンフィギュレーションパラメータを決定する手段と、
前記初期コンフィギュレーションパラメータを使用して、前記関心のあるシーンの前記第１のイメージおよび前記第２のイメージを前記イメージセンサにより取り込む手段とをさらに具備し、
前記調整する手段は、前記第１のイメージと前記第２のイメージとの間の前記動きの前記解析に基づいてイメージを取り込むために、前記イメージセンサによって使用される前記初期コンフィギュレーションパラメータを調整し、
前記取り込む手段は、前記調整されたコンフィギュレーションパラメータを使用して、前記関心のあるシーンの第３のイメージを取り込む請求項２４記載の装置。