JP2021052396A - 複数のイメージセンサにより獲得されるイメージデータに基づいてビデオｈｄｒ処理を遂行するための電子装置 - Google Patents

Abstract

【課題】 本発明の目的は、複数のイメージセンサにより獲得されたイメージデータに基づいて、ビデオＨＤＲ（High Dynamic Range）処理を遂行するように構成される電子装置を提供することである。【解決手段】 複数のイメージセンサブロックを利用して、ＨＤＲ処理を遂行する電子装置が開示される。第１のイメージセンサブロックは、第１の画角でオブジェクトを撮影して第１の信号を生成する。第２のイメージセンサブロックは、前記第１の画角よりも大きい第２の画角でオブジェクトを撮影して第２の信号を生成する。イメージ信号プロセッサは、第１の信号に基づいて、第１のイメージデータを生成し、第２の信号に基づいて第２のイメージデータを生成する。メインプロセッサは、第２のイメージデータのうち、第１のイメージデータに対応するイメージデータをクロッピングし、第１のイメージデータ及びクロッピングされた第２のイメージデータに基づいて、ＨＤＲ処理を遂行する。【選択図】 図１

Description

本発明は、電子装置に関し、より詳しくは、複数のイメージセンサに基づいてビデオＨＤＲを実現するための電子装置に関する。

イメージ撮影装置は、オブジェクト（Object）と背景（Background）を含んでユーザーによって意図されるイメージを撮影するために利用される。イメージ撮影装置は、光を収集し、イメージと関連付けられる信号を生成するために、多様な電子回路を含み、電子回路の動作に応じて、イメージを撮影するサービスをユーザーに提供する。

一方、イメージ撮影装置は、広く普及して、多くのユーザーにより利用されている。したがって、イメージ撮影装置の性能と用途と関連して、ユーザーの多様なニーズを満たすことが必要になった。

例として、ユーザーの満足度を高めるために、イメージ撮影装置の処理性能と動作速度を高めることが要求される。例としては、イメージ撮影装置によって消費される電力を減らすために、イメージ撮影装置の動作方式を適切に制御することが要求される。このように、ユーザーの多様なニーズを満たすためには、イメージ撮影装置の構造と動作を改善するための方法が提案されている。

米国特許出願公開第２０１８/０１３９３６７号明細書 米国特許出願公開第２０１８/０２６２６７３号明細書 米国特許出願公開第２０１８/０２９５２８３号明細書 米国特許出願公開第２０１８/０３７４２８１号明細書 米国特許第９９７３６７２号明細書 米国特許第１００２１３１３号明細書 米国特許第９２５３３９７号明細書 米国特許第９８７６９５２号明細書 米国特許第９４５６１３４号明細書 米国特許第８１８９１００号明細書 米国特許第１０２２３７７５号明細書 特開２０１８−０５６９４０号公報 特許第６０３１６７０号公報 韓国登録特許第１０−１８２３２５６号公報 韓国登録特許第１０−１６７０１７６号公報

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、複数のイメージセンサにより獲得されたイメージデータに基づいて、ビデオＨＤＲ（High Dynamic Range）処理を遂行するように構成される電子装置を提供することができる。

本発明の実施形態による電子装置は、第１のイメージセンサと、第２のイメージセンサと、プロセッサと、を備える。第１のイメージセンサは、対象イメージに対する第１の明るさの値の第１のイメージデータを出力することができる。第２のイメージセンサは、対象イメージに対する第２の明るさの値の第２のイメージデータを出力することができる。プロセッサは、第１のイメージデータに対する第１の動作を遂行して獲得される第３のイメージデータ、及び第２のイメージデータに対する第２の動作を遂行して獲得される第４のイメージデータに基づいて、ＨＤＲ処理を遂行することができる。第１の動作が第１のイメージデータのサイズを変更する動作を含むか、又は第２の動作が第２のイメージデータのサイズを変更する動作を含み得る。

本発明の実施形態によると、複数のイメージセンサによってＨＤＲ（High Dynamic Range）処理に使用されるイメージデータが獲得されることで、ＨＤＲ処理が効率的に遂行され得る。

本発明の実施形態による電子回路を含む電子装置の例としての構成を示すブロック図である。 図１のイメージ処理ブロックの例としての構成を示す。 図２のイメージセンサブロックの例としての動作を説明するためのブロック図である。 図３のイメージセンサブロックの例としての特性を示す概念図である。 図２のイメージセンサブロックとメインプロセッサの動作を説明するためのタイミング図である。 本発明のＨＤＲ処理のための動作を概念的に図示する。 本発明のＨＤＲ処理のための動作を概念的に図示する。 本発明のＨＤＲ処理のための動作を概念的に図示する。 発明のＨＤＲ処理のための動作を概念的に図示する。 本発明のＨＤＲ処理のための動作を概念的に図示する。 本発明のＨＤＲ処理のための動作を概念的に図示する。 本発明のイメージ処理方法を示すフローチャートである。 図１のイメージ処理ブロックの例としての構成を示すブロック図である。 図１３のイメージセンサブロックの例としての動作を説明するためのブロック図である。 本発明のＨＤＲ処理のための動作を概念的に図示する。 本発明のＨＤＲ処理のための動作を概念的に図示する。 ズームファクターによるイメージセンサブロックの動作を概念的に図示する。 第１のズームモードでのイメージセンサブロックの動作を概念的に図示する。 第２のズームモードでのイメージセンサブロックの動作を概念的に図示する。 図１３のイメージセンサブロックの例としての動作を説明するためのブロック図である。 ズームファクターによるイメージセンサブロックの動作を概念的に図示する。 ズームファクターによるイメージセンサブロックの動作を概念的に図示する。 図１３のユーザーインターフェースを介して入力されるコマンドに応じて倍率が調整される例としての方法を説明するための概念図である。

以下では、本発明の技術分野における通常の知識を有する者が本発明を容易に実施することができる程度に、本発明の実施形態が明確かつ詳細に記載されるだろう。本明細書では、オブジェクト（object）、背景（background）、風景（scenery）などは、図１ないし図１８を参照して説明される電子装置によって獲得されるイメージデータの対象（例えば、撮影動作の対象）となるターゲットイメージを意味し得る。

図１は、本発明の実施形態による電子回路を含む電子装置の例としての構成を示すブロック図である。

電子装置１０００は、多様な電子回路を含み得る。例としては、電子装置１０００の電子回路は、イメージ処理ブロック１１００、通信ブロック１２００、オーディオ処理ブロック１３００、バッファメモリ１４００、不揮発性メモリ１５００、ユーザーインターフェース１６００、センサ１７００、メインプロセッサ１８００、並びに電力管理機１９００を含み得る。

イメージ処理ブロック１１００は、レンズ１１１０、イメージセンサ１１２０、及びイメージ信号プロセッサ１１５０を含み得る。例として、光がユーザーによって意図される外部のオブジェクト、背景、風景などによって反射され、レンズ１１１０は、反射された光を受信することができる。イメージセンサ１１２０は、レンズ１１１０を介して受信される光に基づいて電気信号を生成することができる。イメージ信号プロセッサ１１５０は、イメージセンサ１１２０によって生成される電気信号を適切に処理して、外部のオブジェクト、背景、風景などのイメージと関連付けられるイメージデータを生成することができる。以下では説明を容易にするのために、「オブジェクト」とは、撮影の対象となるオブジェクトだけでなく、背景、風景などをすべて指すものとする。

イメージセンサ１１２０は、行及び列に沿って配列されており、光を電気信号に変換できるピクセルを含み得る。電気信号の特性（例えば、電流及び電圧の大きさなど）は、受信される光の特性（例えば、強度）に基づいて可変である。例として、イメージセンサ１１２０は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどであり得る。

図１は、１つのレンズ１１１０と１つのイメージセンサ１１２０を示す。しかし、いくつかの実施形態では、イメージ処理ブロック１１００は、複数のレンズと、複数のイメージセンサとを含み得る。複数のイメージセンサは、異なる機能、異なる性能、及び/又は異なる特性を有するように提供され得る。例として、複数のイメージセンサは、異なる画角（field of view：ＦＯＶ）を有する複数のレンズを各々含み得る。

イメージ信号プロセッサ１１５０は、本発明で説明される動作を遂行するように構成されているハードウェア回路（例えば、アナログ回路及び論理回路など）を含み得る。追加的又は代替的に、イメージ信号プロセッサ１１５０は、１つ以上のプロセッサコアを含むことができ、本発明で説明される動作を提供するように構成されているプログラムコードを実行することができる。

図１は、イメージ信号プロセッサ１１５０がイメージ処理ブロック１１００に含まれることを示す。しかし、いくつかの実施形態では、イメージ信号プロセッサ１１５０は、イメージセンサ１１２０の一部として提供されるか、イメージ処理ブロック１１００と別個の回路やチップ上に提供され、かつ／あるいは、メインプロセッサ１８００の一部として提供される。本発明は、図１の図示に限定されずに多様に変更又は修正され得ることがよく理解されるだろう。

通信ブロック１２００は、アンテナ１２１０を介して外部装置/システムとの信号を交換することができる。通信ブロック１２００のトランシーバ１２２０とＭＯＤＥＭ（Modulator / Demodulator、１２３０）は、多様な通信プロトコルに基づいて、交換される信号を処理することができる。例として、通信ブロック１２００のトランシーバ１２２０とＭＯＤＥＭ１２３０は、ＬＴＥ（Long Term Evolution）、ＷＩＭＡＸ（Worldwide Interoperability for Microwave Access）、ＧＳＭ（Global System for Mobile communication）、ＣＤＭＡ（Code Division Multiple Access ）、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ（Near Field Communication）、Ｗｉ−Ｆｉ（Wireless Fidelity）、ＲＦＩＤ（Radio Frequency Identification）などのような無線通信規約に基づいて、外部装置/システムと交換される信号を処理することができる。

オーディオ処理ブロック１３００は、オーディオ信号プロセッサ１３１０を利用して音情報を処理することができる。オーディオ処理ブロック１３００は、マイク１３２０を介して音声入力を受信したり、スピーカー１３３０を介して音声を出力したりすることができる。

バッファメモリ１４００は、電子装置１０００の動作に利用されるデータ（例えば、メインプロセッサ１８００によって処理された、又は処理されるデータ）を一時的に格納することができる。例として、バッファメモリ１４００は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic ＲＡＭ）、ＳＤＲＡＭ（Synchronous ＤＲＡＭ）、ＰＲＡＭ（Phase-change ＲＡＭ）、ＭＲＡＭ（Magneto-resistive ＲＡＭ）、ＲeＲＡＭ（Resistive ＲＡＭ）、ＦＲＡＭ（Ferro-electric ＲＡＭ）などのような揮発性/不揮発性メモリを含み得る。例として、イメージ処理ブロック１１００によって撮影されたイメージやイメージで構成されたビデオは、バッファメモリ１４００に格納され得る。バッファメモリ１４００に格納されたイメージやビデオは、メインプロセッサ１８００によってＨＤＲ処理される。

不揮発性メモリ１５００は、電力供給に関係なく、データを格納することができる。例として、不揮発性メモリ１５００は、フラッシュメモリ、ＰＲＡＭ、ＭＲＡＭ、ＲｅＲＡＭ、ＦＲＡＭなどのような不揮発性メモリを含み得る。例として、不揮発性メモリ１５００は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＤ（Secure Digital）カード及びＵＦＳ（Universal Flash Storage）カードなどのようなリムーバブルメモリ、及び/又はｅＭＭＣ（Embedded Multimedia Card）などのようなエンベデッド（Embedded）メモリを含み得る。

ユーザーインターフェース１６００は、ユーザーと電子装置１０００との間の通信を仲裁することができる。例として、ユーザーインターフェース１６００は、キーパッド、ボタン、タッチスクリーン、タッチパッド、ビジョンセンサ、モーションセンサ、ジャイロスコープセンサなどのような入力インターフェースを含み得る。例として、ユーザーインターフェース１６００は、ＬＣＤ（Liquid Crystal Display）装置、ＬＥＤ（Light Emitting Diode）ディスプレイ装置、ＯＬＥＤ（Organic ＬＥＤ）ディスプレイ装置、ＡＭＯＬＥＤ（Active Matrix ＯＬＥＤ）ディスプレイ装置、モーター、ＬＥＤランプなどのような出力インターフェースを含み得る。

センサ１７００は、電子装置１０００の外部から提供される多様な形態の物理エネルギーを感知することができる。例えば、センサ１７００は、温度、音声、光などのような物理エネルギーの伝達媒体を感知することができる。例えば、センサ１７００は、照度（illuminance）を感知して感知された照度を表すデータをメインプロセッサ１８００に伝達することができる。

メインプロセッサ１８００は、電子装置１０００の全体的な動作を制御するために、多様な演算を処理することができる。例えば、メインプロセッサ１８００は、汎用プロセッサ、専用プロセッサ、又はアプリケーションプロセッサ（Application Processor）で実現されることができ、１つ以上のプロセッサコアを含み得る。例えば、メインプロセッサ１８００は、電子装置１０００の外部のオブジェクトに対するイメージデータを獲得するために、イメージ処理ブロック１１００を制御することができる。例として、メインプロセッサ１８００は、センサ１７００から提供される情報に基づいてイメージ処理ブロック１１００を制御することができる。

電力管理機１９００は、バッテリー及び/又は外部電源から受信される電力を適切に変換することができる。電力管理機１９００は、変換された電力を電子装置１０００の構成要素に供給することができる。

ただし、図１に示した例としての構成要素は、より容易な理解を可能にするために提供され、本発明を限定するように意図されてはいない。電子装置１０００は、図１に示した構成要素のうちいずれか１つを含んでいない可能性があり、又は図１に示していない少なくとも１つの構成要素をさらに含み得る。

図２は、図１のイメージ処理ブロックの例としての構成を示している。

イメージ処理ブロック１１００は、イメージセンサブロック（１１０１、１１０２）、及びイメージ信号プロセッサ１１５０を含み得る。イメージ処理ブロック１１００の動作を容易に説明するために、ユーザーインターフェース１６００、照度センサ１７１０、及びメインプロセッサ１８００も共に図示されている。例として、照度センサ１７１０は、図１のセンサ１７００の一部として実現され得る。

イメージ処理ブロック１１００は、イメージセンサ（１１２１、１１２２）を含むデュアル（Dual）センサ構造として実現され得る。例として、第１のイメージセンサブロック２１００は、第１のレンズ１１１１、第１のアクチュエータ（Actuator）１１４１、及び第１のイメージセンサ１１２１を含み得る。第２のイメージセンサブロック１１０２は、第２のレンズ１１１２、第２のアクチュエータ１１４２、及び第２のイメージセンサ１１２２を含み得る。

例として、オブジェクト１０は、電子装置１０００のユーザーが撮影しようと意図する対象であり得る。ユーザーの要請に応答して、イメージ処理ブロック１１００は、メインプロセッサ１８００の制御に基づいて、オブジェクト１０のイメージに関連付けられる信号及びデータを生成することができる。光がオブジェクト１０から反射され、反射された光は、レンズ（１１１１、１１１２）を介して受信され得る。例として、第１のレンズ１１１１によって収集される第１のイメージセンサ１１２１に提供され、第２のレンズ１１１２によって収集される光は、第２のイメージセンサ１１２２に提供され得る。

レンズ（１１１１、１１１２）は、多様な画角で撮影の対象となるオブジェクトからの光を収集するように構成され得る。例として、第１のレンズ１１１１によって光が受信される画角、及び第２のレンズ１１１２によって光が受信される画角は異なってよい。第１のレンズ１１１１は、第２のレンズ１１１２に比べて狭い画角で光を受信することができる。一方、第２のレンズ１１１２は、第１のレンズ１１１１に比べて広い画角で光を受信することができる。

第１のイメージセンサ１１２１は、第１のレンズ１１１１から受信された光に基づいて、第１の信号（Ｄ１）を生成することができ、第２のイメージセンサ１１２２は、第２のレンズ１１１２から受信された光に基づいて第２の信号（Ｄ２）を生成することができる。例として、第１の信号（Ｄ１）に基づく第１のイメージは、オブジェクト１０を含む比較的狭い画角のイメージと関連付けられ、第２の信号（Ｄ２）に基づく第２のイメージは、比較的広い画角のイメージと関連付けられる。

イメージセンサ（１１２１、１１２２）は、異なる機能、異なる性能、及び/又は異なる特性を有するように提供される。例えば、第１のイメージセンサ１１２１は、比較的狭い画角を有する第１のレンズ１１１１によって受信された光を処理できるように、比較的低解像度のピクセルアレイを含み得る。一方、第２のイメージセンサ１１２２は、比較的広い画角を有する第２のレンズ１１１２によって受信された光を処理できるように、比較的高解像度のピクセルアレイを含み得る。また、第１のイメージセンサ１１２１のピクセルアレイの解像度、及び第２のイメージセンサ１１２２のピクセルアレイの解像度は、同一であり得る。

その結果、第１のイメージセンサ１１２１から出力された第１の信号（Ｄ１）に基づく第１のイメージと第２のイメージセンサ１１２２によって処理された第２の信号（Ｄ２）に基づいて、第２のイメージのダイナミックレンジ（dynamic range）は、異なってよい。例えば、第１の信号（Ｄ１）に基づく第１のイメージは、比較的暗い領域を多く含み、第２の信号（Ｄ２）に基づく第２のイメージは、比較的明るい領域を多く含み得る。しかし、第１のイメージ及び第２のイメージが有し得るダイナミックレンジの属性は、これに限定されず、イメージセンサ（１１２１、１１２２）の解像度、照度、露出時間などの多様な要素に依存し得る。

いくつかの実施形態では、イメージ処理ブロック１１００は、レンズ（１１１１、１１１２）の焦点距離を調節するためにアクチュエータ（１１４１、１１４２）をさらに含み得る。第１のアクチュエータ１１４１は、第１のレンズ１１１１の位置を移動させることができ、これにより、第１のレンズ１１１１の焦点距離が調節され得る。第２のアクチュエータ１１４２は、第２のレンズ１１１２の位置を移動させることができ、これにより、第２のレンズ１１１２の焦点距離が調節され得る。例えば、アクチュエータ（１１４１、１１４２）の各々は、モバイルアクチュエータであり得る。

例として、レンズ（１１１１、１１１２）の焦点距離が異なるように、アクチュエータ（１１４１、１１４２）によって、レンズ（１１１１、１１１２）の焦点距離が調節される。例として、アクチュエータ（１１４１、１１４２）は、レンズ（１１１１、１１１２）を移動させるために、モーターのような物理的装置を含み得る。

その他にも、イメージ信号プロセッサ１１５０は、信号（Ｄ１、Ｄ２）に対する多様な処理を遂行することができる。例としては、イメージ信号プロセッサ１１５０は、不良ピクセル補正（Bad Pixel Correction）、デモザイク（Demosaic）、ノイズ除去（Noise Reduction）、レンズシェーディング補正（Lens Shading Correction）、ガンマ補正（Gamma Correction）、エッジ強調（Edge Enhancement）などのような多様な信号処理を遂行することができる。イメージ信号プロセッサ１１５０によって処理された信号は、プロセッサ１８００に出力することができる。

メインプロセッサ１８００は、イメージ信号プロセッサ１１５０から受信される信号に基づいてＨＤＲ（High Dynamic Range）処理を遂行することができ、その結果、最終のイメージデータが生成される。メインプロセッサ１８００によって遂行される例としてのＨＤＲ処理は、より具体的に後述される。

ＨＤＲ処理されたイメージデータは、メインプロセッサ１８００内部のメモリ、バッファメモリ１４００、及び/又は不揮発性メモリ１５００に格納され得る。ＨＤＲ処理されたイメージデータは、オブジェクト１０の形状、色、動きなどの属性を表すことができる。ＨＤＲ処理されたイメージデータは、ユーザーインターフェース１６００の出力インターフェース（例えば、ディスプレイ装置）を介してユーザーに提供される。

メインプロセッサ１８００は、イメージセンサ（１１２１、１１２２）、イメージ信号プロセッサ１１５０、及びアクチュエータ（１１４１、１１４２）の動作を制御することができる。例えば、メインプロセッサ１８００は、ユーザーインターフェース１６００を介して認識されるユーザーの要請（例えば、ボタン押し、画面タッチ、モーション（Motion）、ジェスチャー（Gesture）など）に応答して、イメージセンサ（１１２１、１１２２）、イメージ信号プロセッサ１１５０、及びアクチュエータ（１１４１、１１４２）の動作タイミングを制御することができる。

例として、撮影環境の照度は、照度センサ１７１０によって感知される。メインプロセッサ１８００は、照度センサ１７１０から照度に関連付けられるデータを受け、提供されるデータに基づく制御信号（ＦＢ１、ＦＢ２）を利用して、イメージセンサブロック（１１０１、１１０２）を制御することができる。

例として、ユーザーは、イメージを撮影するために、「ズーム-イン（Zoom-in）」又は「ズーム-アウト（Zoom-out）」の情報をユーザーインターフェース１６００の入力インターフェースで入力することができる。ズーム-インの情報は、オブジェクトを狭い画角で撮影することに関連付けられ、ズーム-アウトの情報は、オブジェクトを広い画角で撮影することに関連付けられる。

例として、ズーム-インやズーム-アウトの情報は、ズーム倍率の情報を含み得る。ズーム倍率は、どのくらいの遠いオブジェクトが撮影されるか、又はどのくらいの広い範囲のオブジェクトが撮影されるかを表す値であり得る。メインプロセッサ１８００は、ズーム倍率の情報に基づいてアクチュエータ（１１４１、１１４２）を制御することができる。

例として、ユーザーは、ズーム倍率の値を徐々に（例えば、ステップ的に又は漸進的に）増加又は減少させたり、ズーム倍率の特定の値を選択したりすることで、意図されたイメージを撮影するためのズーム条件を設定することができる。このために、ユーザーインターフェース１６００の入力インターフェースは、ユーザーからズーム倍率を受信することができる。このようなユーザーズームファクター（user zoom factor）に基づくＨＤＲ処理は、詳しく後述される。

メインプロセッサ１８００は、多様なプログラムコードの命令語セットを遂行することができる。例えば、メインプロセッサ１８００は、アプリケーション（ＡＰ）、カメラのハードウェア抽象化（Abstraction）レイヤー（ＨＡＬ）、カメラのドライバ（ＤＲＶ）、イメージ処理ライブラリー（ＬＩＢ）などの命令語セットを遂行することができる。アプリケーション（ＡＰ）は、ユーザーの要請に応答して遂行され、例えば、カメラアプリケーション、ビデオ制作アプリケーションなどであり得る。

図３は、図２のイメージセンサブロックの例としての動作を説明するためのブロック図である。

図２及び図３を参照すると、第１のイメージセンサブロック１１０１は、第１の画角（ＦＯＶ１）で撮影されたイメージを生成するための第１のイメージセンサ１１２１、及び第２の画角（ＦＯＶ２）で撮影されたイメージを生成するための第２のイメージセンサ１１２２を含み得る。さらに、本明細書において、「特定の画角を有する（又は、特定の画角の）イメージ又はイメージデータ」とは、「特定の画角を有するレンズを含むイメージセンサから出力されるイメージデータ又はイメージ」を意味することができる。

実施形態において、第２の画角（ＦＯＶ２）は、第１の画角（ＦＯＶ１）より大きい可能性がある。したがって、第１のイメージセンサブロック１１０１は、比較的狭い画角のイメージを感知するために動作し、第２のイメージセンサブロック１１０２は、比較的広い画角のイメージを感知するために動作する。例として、第１のレンズ１１１１は、広角（wide）レンズであり、第２のレンズ１１１２は、超広角（ultra-wide）レンズであり得る。また、第１のレンズ１１１１は、望遠（tele）レンズであり、第２のレンズ１１１２は、広角（wide）レンズであり得る。

例として、第１のイメージセンサブロック１１０１は、第１の画角（ＦＯＶ１）に対応する領域（Ｒ１）内のオブジェクトによって反射された光を受信し、受信された光に基づいて、第１の信号（Ｄ１）を生成することができる。第２のイメージセンサブロック１１０２は、第２の画角（ＦＯＶ２）に対応する領域（Ｒ２）内のオブジェクトによって反射された光を受信し、受信された光に基づいて第２の信号（Ｄ２）を生成することができる。

イメージ信号プロセッサ１１５０は、第１の信号（Ｄ１）及び第２の信号（Ｄ２）に基づいて、各々第１のイメージデータ（ＩＤＡＴ１）及び第２のイメージデータ（ＩＤＡＴ２）を生成することができる。第１のイメージデータ（ＩＤＡＴ１）のダイナミックレンジと第２のイメージデータ（ＩＤＡＴ２）のダイナミックレンジは、異なる可能性がある。例えば、第１のイメージデータ（ＩＤＡＴ１）は、比較的暗い明るさの値を含むことができ、第２のイメージデータ（ＩＤＡＴ２）は、比較的明るい明るさの値を含み得る。

以後、メインプロセッサ１８００は、異なる明るさの値を有する第１のイメージデータ（ＩＤＡＴ１）及び第２のイメージデータ（ＩＤＡＴ２）に基づいて、ＨＤＲ処理を遂行することができる。その結果、ＨＤＲ処理によってより広いダイナミックレンジを有するイメージを獲得することができるため、イメージ又はイメージで構成されたビデオの品質を向上することができる。

例としては、イメージセンサブロック（１１０１、１１０２）は、メインプロセッサ１８００の制御に基づいて、電子装置１０００の外部から受信される光の量を調節することができる。一実施形態において、電子装置１０００の外部から収集される光の量を調節するために、メインプロセッサ１８００は、イメージセンサ（１１２１、１１２２）のシャッタースピードを調節することができる。もう１つの実施形態において、電子装置１０００の外部から収集される光の量を調節するために、メインプロセッサ１８００は、イメージセンサ（１１２１、１１２２）の絞り値を調節することができる。

イメージセンサ（１１２１、１１２２）のシャッタースピード及び/又は絞り値を調整するために、メインプロセッサ１８００は、イメージセンサ（１１２１、１１２２）に含まれている機械装置を制御したり、イメージセンサ（１１２１、１１２２）に含まれているピクセルを制御したりすることができる。例えば、メインプロセッサ１８００は、イメージセンサ（１１２１、１１２２）のピクセルに含まれているトランジスタの動作を制御することができる。

図４は、図３のイメージセンサブロックの例としての特性を示す概念図である。以下、図２及び図４を参照して、異なる動作特性を有するイメージセンサブロック（１１０１、１１０２）の動作が説明される。図４の例では、Ｘ軸は特性値を示す。

特性値は、イメージセンサから出力される信号に基づくイメージデータの明るさの値と関連付けられる。特性値の例としては、第１のイメージセンサブロック１１０１から出力された第１の信号（Ｄ１）に基づく第１のイメージデータの輝度範囲（luminance range）は、第２のイメージセンサブロック１１０２から出力された第２の信号（Ｄ２）に基づく第２のイメージデータの輝度範囲とは異なってよい。例として、第１のイメージデータの輝度範囲の最大値（つまり、値「ｃ」）は、第２のイメージデータの輝度範囲の最大値（つまり、値「ｄ」）よりも小さい可能性がある。例として、第１のイメージデータの輝度範囲の少なくとも一部は、第２のイメージデータの輝度範囲の少なくとも一部と重畳されるか、重畳されないかであり得る。

特性値の他の例として、第１のイメージセンサブロック１１０１から出力された第１の信号（Ｄ１）に基づく第１のイメージデータのダイナミックレンジ（dynamic range）は、第２のイメージセンサブロック１１０２から出力された第２の信号（Ｄ２）に基づく第２のイメージデータのダイナミックレンジとは異なってよい。例として、第１のイメージデータのダイナミックレンジの最大値（つまり、値「ｃ」）は、第２のイメージデータのダイナミックレンジの最大値（つまり、値「ｄ」）よりも小さい可能性がある。ダイナミックレンジの値が大きいということは、イメージ内の明るい領域の割合が大きいことを意味することができる。例として、第１のイメージデータのダイナミックレンジの少なくとも一部は、第２のイメージデータのダイナミックレンジの少なくとも一部と重畳されるか、重畳されないかであり得る。

特性値のもう１つの例として、特性値は、イメージセンサ自体の物理的な特性と関連付けられた値であり得る。例えば、特性値は、ピクセルアレイを構成する物理的なピクセルの個数と関連付けられる。この場合、図４で特性値が範囲で示されるものとは異なり、特性値は、固定された１つの値であり得る。例として、第１のイメージセンサブロック１１０１のピクセルアレイの解像度は、第２のイメージセンサブロック１１０２のピクセルアレイの解像度と同一であるか、異なるかであり得る。例として、第１のイメージセンサブロック１１０１は、比較的狭い画角を有する第１のレンズ１１１１を介して入射された光を処理するのに適したピクセルアレイを含み得る。第２のイメージセンサブロック１１０２は、比較的広い画角を有する第２のレンズ１１１２を介して入射された光を処理するのに適したピクセルアレイを含み得る。

図５は、図２のイメージセンサブロックとメインプロセッサの動作を説明するためのタイミング図である。

時点ｔ１ないしｔ３の間で、イメージセンサブロック（１１０１、１１０２）は、現在のビデオフレームに対応するイメージデータを獲得するために動作することができる。イメージセンサブロック（１１０１、１１０２）は、獲得されたイメージデータを表す信号（Ｄ１、Ｄ２）を各々出力することができる。

時点ｔ１以降、イメージ信号プロセッサ１１５０は、イメージセンサブロック（１１０１、１１０２）から信号（Ｄ１、Ｄ２）を受信することができる。イメージ信号プロセッサ１１５０は、信号（Ｄ１、Ｄ２）に基づいて、第１のイメージデータ及び第２のイメージデータを獲得することができる。時点ｔ２ないしｔ４との間で、メインプロセッサ１８００は、異なる画角に各々対応する第１のイメージデータ及び第２のイメージデータに基づいてＨＤＲ処理を遂行することができる。

図５の例では、ＨＤＲ処理に使用される異なる明るさの値を有するイメージデータを獲得するために、イメージセンサブロック（１１０１、１１０２）は、同じ時間の区間で動作することができる。イメージセンサブロック（１１０１、１１０２）は、同じ時間の区間で動作することによって、ビデオＨＤＲ処理に使用されるイメージデータがリアルタイムで獲得され得る。したがって、電子装置１０００は、イメージセンサブロック（１１０１、１１０２）、及びイメージ信号プロセッサ１１５０の動作によってＨＤＲ処理されたイメージデータをリアルタイムに獲得することができる。

図６は、本発明のＨＤＲ処理のための動作を概念的に示している。

図２、図４、及び図６を参照して、異なる画角を有する２つのイメージに対するＨＤＲ処理が説明される。イメージ信号プロセッサ１１５０は、第１のイメージセンサブロック１１０１から受信される第１の信号（Ｄ１）に基づいて、第１のイメージデータ（ＩＤＡＴ１）を獲得し、第２のイメージセンサブロック１１０２から受信される第２の信号（Ｄ２）に基づいて、第２のイメージデータ（ＩＤＡＴ２）を獲得することができる。例として、イメージセンサブロック（１１０１、１１０２）は、異なる画角を有するレンズから受信された光を感知して、第１のイメージデータ（ＩＤＡＴ１）及び第２のイメージデータ（ＩＤＡＴ２）を各々獲得することができる。

例として、第１のイメージセンサ１１２１は、Ｍ個のピクセルを各々含むＮ個の列で構成される（又は、Ｎ個のピクセルを各々含むＭ個の行で構成される）ピクセルアレイを含み得る。したがって、第１のイメージデータ（ＩＤＡＴ１）の大きさは、「Ｍピクセル×Ｎピクセル」であり得る。同様に、第２のイメージセンサ１１２２は、Ｐ個のピクセルを各々含むＱ個の列で構成される（又は、Ｑ個のピクセルを各々含むＰ個の行で構成される）ピクセルアレイを含み得る。したがって、第２のイメージデータ（ＩＤＡＴ２）の大きさは、「Ｐピクセル×Ｑピクセル」であり得る。例として、Ｐは、Ｍよりも大きくなり、Ｑは、Ｎよりも大きくなり得る。すなわち、第２のイメージデータ（ＩＤＡＴ２）の解像度は、第１のイメージデータ（ＩＤＡＴ１）より大きくなれる。したがって、第１のイメージデータ（ＩＤＡＴ１）の明るさの値（又は、明るさの値の範囲）、及び第２のイメージデータ（ＩＤＡＴ２）の明るさの値（又は、明るさの値の範囲）は、異なってよい。

しかし、他の実施形態で、ＰとＭは同一であり、ＱとＮは同一であり得る。この場合には、第１のイメージデータ（ＩＤＡＴ１）の解像度は、第２のイメージデータ（ＩＤＡＴ２）の解像度と同一であり、第１のイメージデータ（ＩＤＡＴ１）の明るさの値（又は、明るさの値の範囲）、及び第２のイメージデータ（ＩＤＡＴ２）の明るさの値（又は、明るさの値の範囲）は、異なってよい。ただし、本明細書における説明を容易にするために、イメージセンサブロックから出力されるイメージデータの解像度は、互いに異なると仮定して説明される。さらに、より広いダイナミックレンジを獲得するためのＨＤＲ処理の前提として、イメージセンサブロックから出力されるイメージデータの明るさの値（又は、明るさの値の範囲）は、異なると仮定される。

以下では、よりよい理解のために、イメージデータのサイズ「Ｍピクセル×Ｎピクセル」は、「Ｍ×Ｎ」として称される。本明細書では、イメージデータのサイズが「Ｍ×Ｎ」などとして表現される場合、そのイメージデータがＭ個の列とＮ個の行に含まれている不連続的な単位（例えば、ピクセル）によって表現されるイメージを表すことを意味する。

同様に、第２のイメージセンサ１１２２は、Ｐ個のピクセルを各々含むＱ個の列で構成される（又は、Ｎ個のピクセルを各々含んでいるＰ個の行で構成される）ピクセルアレイを含み得る。すなわち、第２のイメージデータ（ＩＤＡＴ２）のサイズは、Ｐ×Ｑであり得る。

メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）の中の一部をクロッピング（cropping）することができる。メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分をクロッピングすることができる。第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域のイメージデータのサイズは、Ｍ×Ｎである。たとえば、クロッピングされる領域のサイズ（Ｍ×Ｎ）は、第２のイメージデータ（ＩＤＡＴ２）のサイズ（Ｐ×Ｑ）の１/２又はその以下であり得るが、これに限定されない。クロッピングの結果、Ｍ×Ｎの第３のイメージデータ（ＩＤＡＴ３）が生成される。

図４を参照して説明されたように、イメージセンサブロック（１１０１、１１０２）は、イメージセンサブロック自体の特性によって、異なる明るさの値を有する第１のイメージデータ（ＩＤＡＴ１）及び第２のイメージデータ（ＩＤＡＴ２）を各々出力することができる。その結果、第１のイメージデータ（ＩＤＡＴ１）の明るさの値（又は、明るさの値の範囲）、及び第３のイメージデータ（ＩＤＡＴ３）の明るさの値（又は、明るさの値の範囲）も異なってよい。メインプロセッサ１８００は、イメージ信号プロセッサ１１５０から第１のイメージデータ（ＩＤＡＴ１）及び第３のイメージデータ（ＩＤＡＴ３）を受信し、受信されたイメージデータに基づいてＨＤＲ処理を遂行することができる。メインプロセッサ１８００は、ＨＤＲ処理により、現在のビデオフレームに対応するイメージデータ（ＩＯＵＴ）を獲得することができる。

ＨＤＲ処理されたイメージデータ（ＩＯＵＴ）によって表されるイメージは、第１のイメージデータ（ＩＤＡＴ１）のダイナミックレンジ、及び第３のイメージデータ（ＩＤＡＴ３）のダイナミックレンジを含み得る。つまり、ＨＤＲ処理を介して、第１のイメージデータ（ＩＤＡＴ１）のダイナミックレンジ（つまり、ａないしｃ）又は第３のイメージデータ（ＩＤＡＴ３）のダイナミックレンジ（つまり、ｂないしｄ）よりも広いダイナミックレンジを有するイメージ（つまり、ａないしｄ）が獲得され得る。

一方、本実施形態は、基本的に、ビデオに対するＨＤＲ処理に関するものである。ただし、本発明のＨＤＲ処理方法を写真撮影に適用する場合には、露出値を人為的に調節することにより、イメージデータの明るさの値を人為的に調節することもできる。例えば、周辺部の明るさが明るすぎる場合には、照度センサ（図２、１７１０）は、これを感知して周辺部の明るさに関する情報をメインプロセッサ１８００に伝達することができる。メインプロセッサ１８００は、周辺部の明るさの情報に基づいてイメージセンサブロック（１１０１、１１０２）のうちの少なくとも１つの露出値を調節することができる。その結果、ＨＤＲ処理を介して、より広いダイナミックレンジを有するイメージが獲得される。

図７は、本発明のＨＤＲ処理のための動作を概念的に示している。

以下、図２及び図７を参照して、互いに異なる画角を有する２つのイメージに対するＨＤＲ処理が説明される。イメージ信号プロセッサ１１５０は、第１のイメージセンサブロック１１０１から受信される第１の信号（Ｄ１）に基づいて、第１のイメージデータ（ＩＤＡＴ１）を獲得し、第２のイメージセンサブロック１１０２から受信される第２の信号（Ｄ２）に基づいて、第２のイメージデータ（ＩＤＡＴ２）を獲得することができる。第１のイメージデータ（ＩＤＡＴ１）のサイズは、Ｍ′×Ｎ′であり、第２のイメージデータ（ＩＤＡＴ２）のサイズは、Ｐ×Ｑであり得る。例として、ＰはＮ′よりも大きくなることができ、ＱはＮ′よりも大きくなることができる。すなわち、第２のイメージデータ（ＩＤＡＴ２）の解像度は、第１のイメージデータ（ＩＤＡＴ１）より大きくなることができる。例として、第１のイメージデータ（ＩＤＡＴ１）の明るさの値（又は、明るさの値の範囲）、及び第２のイメージデータ（ＩＤＡＴ２）の明るさの値（又は、明るさの値の範囲）は、互いに異なってよい。

実施形態において、第１のイメージデータ（ＩＤＡＴ１）の解像度（Ｍ′×Ｎ′）は、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域の解像度（つまり、Ｍ×Ｎ ）よりも大きくなることができる。つまり、Ｍは、Ｍ′より小さくなることができ、Ｎは、Ｎ′よりも小さくなることができる。この場合、ＨＤＲ処理を遂行する前に、ＨＤＲ処理の基本となるイメージデータの解像度を調節する必要がある。

例えば、メインプロセッサ１８００は、第１のイメージデータ（ＩＤＡＴ１）に対するビニング（binning）を行うことができる。メインプロセッサ１８００は、多様なタイプのアルゴリズムに基づいてビニングを行うことができる。メインプロセッサ２３００は、Ｍ′×Ｎ′の第１のイメージデータ（ＩＤＡＴ１）に対するビニングを遂行して、Ｍ×Ｎの第３のイメージデータ（ＩＤＡＴ３）を獲得することができる。

メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）の中の一部をクロッピング（cropping）することができる。メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）のうち第３のイメージデータ（ＩＤＡＴ３）に対応するイメージデータをクロッピングすることができる。図７を介して説明されるクロッピングは図６を介して説明されたクロッピングとほぼ類似するため、詳細な説明は省略する。クロッピングの結果、Ｍ×Ｎの第４のイメージデータ（ＩＤＡＴ４）が生成され得る。

第３のイメージデータ（ＩＤＡＴ３）は、第１のイメージデータ（ＩＤＡＴ１）に対応する領域をビニングして得られ、第４のイメージデータ（ＩＤＡＴ４）は、第２のイメージデータ（ＩＤＡＴ２）に対するクロッピングを遂行して得られるため、第３のイメージデータ（ＩＤＡＴ３）によって表されるイメージと第４のイメージデータ（ＩＤＡＴ４）によって表されるイメージは、互いに対応し得る。例として、第３のイメージデータ（ＩＤＡＴ３）によって表されるイメージと第４のイメージデータ（ＩＤＡＴ４）によって表されるイメージは、明るさの値を除き、概ね類似する。

第１のイメージデータ（ＩＤＡＴ１）の明るさの値（又は、明るさの値の範囲）と第２のイメージデータ（ＩＤＡＴ２）の明るさの値（又は、明るさの値の範囲）が、互いに異なるため、第３のイメージデータ（ＩＤＡＴ３）の明るさの値（又は、明るさの値の範囲）と第４のイメージデータ（ＩＤＡＴ４）の明るさの値（又は、明るさの値の範囲）が、互いに異なってよい。メインプロセッサ１８００は、異なる明るさの値を各々有する第３のイメージデータ（ＩＤＡＴ３）及び第４のイメージデータ（ＩＤＡＴ４）に基づいて、ＨＤＲ処理を遂行することができる。メインプロセッサ１８００は、ＨＤＲ処理を介してイメージデータ（ＩＯＵＴ）を獲得することができる。

図７の実施形態によれば、ＨＤＲ演算に先立って、第１のイメージデータに対するビニングが実行されるため、ＨＤＲ演算時に処理されるデータの量が減少する。したがって、ＨＤＲ処理速度が速くされ、メインプロセッサ１８００によって消費される電力が減少され得る。

図８は、本発明のＨＤＲ処理のための動作を概念的に示している。

前の図７の実施形態では、第１のイメージデータ（ＩＤＡＴ１）の解像度が、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域の解像度（つまり、Ｍ×Ｎ）よりも大きい場合のＨＤＲ処理について説明された。一方、本実施形態は、第１のイメージデータ（ＩＤＡＴ１）の解像度（つまり、Ｍ×Ｎ）が、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域の解像度（つまり、Ｍ′×Ｎ′）よりも小さい場合のＨＤＲ処理に関するものである。（つまり、Ｍ＜Ｍ′、Ｎ＜Ｎ′）。

イメージ信号プロセッサ１１５０は、第１のイメージセンサブロック１１０１から出力された第１の信号（Ｄ１）に基づいて、Ｍ×Ｎの第１のイメージデータ（ＩＤＡＴ１）を生成することができる。イメージ信号プロセッサ１１５０は、第２のイメージセンサブロック１１０２から出力された第２の信号（Ｄ２）に基づいて、Ｐ×Ｑの第２のイメージデータ（ＩＤＡＴ２）を生成することができる。

メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応するイメージデータをクロッピングすることができる。クロッピングの結果、Ｍ′×Ｎ′の第３のイメージデータ（ＩＤＡＴ３）が生成され得る。ただし、第１のイメージデータ（ＩＤＡＴ１）の解像度と、第３のイメージデータ（ＩＤＡＴ３）の解像度とは、異なるため、すぐにＨＤＲ処理を遂行することができない。したがって、第３のイメージデータ（ＩＤＡＴ３）に対する追加の動作が要求される。例えば、メインプロセッサ１８００は、Ｍ′×Ｎ′の第３のイメージデータ（ＩＤＡＴ３）に対するビニングを遂行して、Ｍ×Ｎの第４のイメージデータ（ＩＤＡＴ４）を獲得することができる。クロッピングとビニングの結果、第１のイメージデータ（ＩＤＡＴ１）のサイズと第４のイメージデータ（ＩＤＡＴ４）のサイズは、Ｍ×Ｎとして互いに等しくなり得る。

第１のイメージデータ（ＩＤＡＴ１）の明るさの値（又は、明るさの値の範囲）と第２のイメージデータ（ＩＤＡＴ２）の明るさの値（又は、明るさの値の範囲）が異なるため、第１のイメージデータ（ＩＤＡＴ１）の明るさの値（又は、明るさの値の範囲）と第４のイメージデータ（ＩＤＡＴ４）の明るさの値（又は、明るさの値の範囲）が異なってよい。メインプロセッサ１８００は、異なる明るさの値を各々有する第１のイメージデータ（ＩＤＡＴ１）と第４のイメージデータ（ＩＤＡＴ４）に基づいて、ＨＤＲ処理を遂行することができる。メインプロセッサ１８００は、ＨＤＲ処理を介してイメージデータ（ＩＯＵＴ）を獲得することができる。

図９は、本発明のＨＤＲ処理のための動作を概念的に示している。

前で図８の実施形態では、第１のイメージデータ（ＩＤＡＴ１）の解像度が、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域の解像度よりも小さい場合に、第２のイメージデータ（ＩＤＡＴ２）に対し遂行される追加の動作に関して説明した。しかし、本実施形態では、第１のイメージデータ（ＩＤＡＴ１）の解像度が、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域の解像度よりも小さい場合には、第１のイメージデータ（ＩＤＡＴ１）に対し遂行される追加の動作が説明されるはずである。（つまり、Ｍ＞Ｍ′、Ｎ＞Ｎ′）。

イメージ信号プロセッサ１１５０は、第１のイメージセンサブロック１１０１から出力された第１の信号（Ｄ１）に基づいて、Ｍ′×Ｎ′の第１のイメージデータ（ＩＤＡＴ１）を生成することができる。イメージ信号プロセッサ１１５０は、第２のイメージセンサブロック１１０２から出力された第２の信号（Ｄ２）に基づいて、Ｐ×Ｑの第２のイメージデータ（ＩＤＡＴ２）を生成することができる。

メインプロセッサ１８００は、Ｍ′×Ｎ′の第１のイメージデータ（ＩＤＡＴ１）に対するアップスケーリングを遂行して、Ｍ×Ｎの第４のイメージデータ（ＩＤＡＴ４）を獲得することができる。メインプロセッサ１８００は、多様なタイプのアルゴリズムに基づいてアップスケーリングを行うことができる。メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）の中の一部をクロッピングすることができる。メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）のうち第３のイメージデータ（ＩＤＡＴ３）に対応するイメージデータをクロッピングすることができる。クロッピングの結果、Ｍ×Ｎの第４のイメージデータ（ＩＤＡＴ４）が生成され、第３のイメージデータ（ＩＤＡＴ３）のサイズと第４のイメージデータ（ＩＤＡＴ４）のサイズは、互いに同一になり得る。

第１のイメージデータ（ＩＤＡＴ１）の明るさの値と第２のイメージデータ（ＩＤＡＴ２）の明るさの値が異なるため、第３のイメージデータ（ＩＤＡＴ３）の明るさの値と第４のイメージデータ（ＩＤＡＴ４）の明るさの値が異なってよい。メインプロセッサ１８００は、異なる明るさの値を各々有する第３のイメージデータ（ＩＤＡＴ３）と第４のイメージデータ（ＩＤＡＴ４）に基づいて、ＨＤＲ処理を遂行することができる。メインプロセッサ１８００は、ＨＤＲ処理を介してイメージデータ（ＩＯＵＴ）を獲得することができる。

図１０は、本発明のＨＤＲ処理のための動作を概念的に示している。

本実施形態は、前の図７の実施形態と概ね類似する。ただし、本実施形態は、ＨＤＲ処理に先立って、第２のイメージデータ（ＩＤＡＴ２）に対するクロッピングが実行されない。したがって、前の図７ないし図９の実施形態では、第１のイメージセンサ１１０１によって撮影されたイメージのサイズ（又は、それからビニングされたイメージの大きさ）に応じて、ＨＤＲ処理の結果がユーザーインターフェース（例えば、ディスプレイ）を介してユーザーに提供される。一方、図１０の実施形態では、第２のイメージセンサ１１０２によって撮影されたイメージのサイズに応じて、ＨＤＲ処理の結果が、ユーザーインターフェースを介してユーザーに提供される。

イメージ信号プロセッサ１１５０は、第１のイメージセンサブロック１１０１から受信される第１の信号（Ｄ１）に基づいて、Ｍ′×Ｎ′の第１のイメージデータ（ＩＤＡＴ１）を獲得し、第２のイメージセンサブロック１１０２から受信される第２の信号（Ｄ２）に基づいて、Ｐ×Ｑの第２のイメージデータ（ＩＤＡＴ２）を獲得することができる。ただし、第１のイメージデータ（ＩＤＡＴ１）のサイズと、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域のサイズとは異なるため、第１のイメージデータ（ＩＤＡＴ１）に対する追加の処理が必要である。

例えば、メインプロセッサ１８００は、Ｍ′×Ｎ′の第１のイメージデータ（ＩＤＡＴ１）のビニングを遂行して、Ｍ×Ｎの第３のイメージデータ（ＩＤＡＴ３）を獲得することができる。メインプロセッサ１８００は、第３のイメージデータ（ＩＤＡＴ３）と第２のイメージデータ（ＩＤＡＴ２）とに基づいて、ＨＤＲ処理を遂行することができ、ＨＤＲ処理を介してイメージデータ（ＩＯＵＴ）を獲得することができる。

図１１は、本発明のＨＤＲ処理のための動作を概念的に図示する。

まず、図６ないし図９を介して説明された実施形態は、リアルタイムで撮影されるビデオの各フレームのＨＤＲ処理、又は瞬間的に撮影されるイメージのＨＤＲ処理と関連付けられる。しかし、本実施形態は、瞬間的に撮影されるイメージのＨＤＲ処理と関連付けられる。また、予め撮影されたビデオから抽出された複数のイメージのＨＤＲ処理と関連付けられる。

第１のイメージセンサブロック１１０１によって、第１のイメージデータ（ＩＤＡＴ１）が獲得される時点と第３のイメージデータ（ＩＤＡＴ３）が獲得される時点との間の時間区間が、十分に短い場合には、第１のイメージデータ（ＩＤＡＴ１）によって表されるイメージと、第３のイメージデータ（ＩＤＡＴ３）によって表されるイメージとは、互いに対応し得る。同様に、第２のイメージデータ（ＩＤＡＴ２）によって表されるイメージと、第４のイメージデータ（ＩＤＡＴ４）によって表されるイメージとは、互いに対応し得る。

イメージ信号プロセッサ１１５０は、第１のイメージセンサブロック１１０１から順次に受信される信号（Ｄ１、Ｄ３）に基づいて、イメージデータ（ＩＤＡＴ１、ＩＤＡＴ３）を順次に獲得することができる。イメージ信号プロセッサ１１５０は、第２のイメージセンサブロック１１０２から順次に受信される信号（Ｄ２、Ｄ４）に基づいて、イメージデータ（ＩＤＡＴ２、ＩＤＡＴ４）を順次に獲得することができる。

第１のイメージデータ（ＩＤＡＴ１）及び第３のイメージデータ（ＩＤＡＴ３）のサイズは、Ｍ′×Ｎ′であり、第２のイメージデータ（ＩＤＡＴ２）及び第４のイメージデータ（ＩＤＡＴ４）のサイズは、Ｐ×Ｑであり得る。例えば、第１のイメージデータ（ＩＤＡＴ１）の明るさの値ないし第４のイメージデータ（ＩＤＡＴ４）の明るさの値は、異なってよい。

メインプロセッサ１８００は、第１のイメージデータ（ＩＤＡＴ１）及び第３のイメージデータ（ＩＤＡＴ３）に対するビニングを行うことができる。メインプロセッサ１８００は、Ｍ′×Ｎ′の第１のイメージデータ（ＩＤＡＴ１）に対するビニングを遂行して、Ｍ×Ｎの第５のイメージデータ（ＩＤＡＴ５）を獲得し、「Ｍ×Ｎ」の第３のイメージデータ（ＩＤＡＴ３）のビニングを遂行して、Ｍ×Ｎの第７のイメージデータ（ＩＤＡＴ７）を獲得することができる。メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）のうち、第５のイメージデータ（ＩＤＡＴ５）又は第７のイメージデータ（ＩＤＡＴ７）に対応するＭ×Ｎのイメージデータのクロッピングを遂行し、第６のイメージデータ（ＩＤＡＴ６）を獲得することができる。メインプロセッサ１８００は、第４のイメージデータ（ＩＤＡＴ４）のうち、第５のイメージデータ（ＩＤＡＴ５）又は第７のイメージデータ（ＩＤＡＴ７）に対応するＭ×Ｎのイメージデータのクロッピングを遂行し、第８のイメージデータ（ＩＤＡＴ８）を獲得することができる。

第１のイメージデータ（ＩＤＡＴ１）の明るさの値ないし第４のイメージデータ（ＩＤＡＴ４）の明るさの値が、異なるため、第５のイメージデータ（ＩＤＡＴ５）の明るさの値ないし第８のイメージデータ（ＩＤＡＴ８）の明るさの値も異なってよい。メインプロセッサ１８００は、異なる明るさの値を各々有する第５のイメージデータ（ＩＤＡＴ５）ないし第８のイメージデータ（ＩＤＡＴ８）に基づいて、ＨＤＲ処理を遂行することができる。メインプロセッサ１８００は、ＨＤＲ処理を介してイメージデータ（ＩＯＵＴ）を獲得することができる。

ただし、メインプロセッサ１８００によるＨＤＲ処理方法は、これに限定されない。例として、メインプロセッサ１８００は、第５のイメージデータ（ＩＤＡＴ５）ないし第８のイメージデータ（ＩＤＡＴ８）の中の一部（例えば、ＩＤＡＴ５、ＩＤＡＴ７、ＩＤＡＴ８）に基づいてＨＤＲ処理を遂行することができる。例えば、メインプロセッサ１８００は、第５のイメージデータ（ＩＤＡＴ５）及び第６のイメージデータ（ＩＤＡＴ６）に対して、第１の ＨＤＲ処理を行い、第７のイメージデータ（ＩＤＡＴ７）及び第８のイメージデータ（ＩＤＡＴ８）に対して第２のＨＤＲを処理することができる。そして、メインプロセッサ１８００は、第１のＨＤＲ処理結果及び第２のＨＤＲ処理結果に基づいて、第３のＨＤＲ処理を遂行することができる。そのほかにも、イメージデータ（ＩＤＡＴ５、ＩＤＡＴ６、ＩＤＡＴ７、ＩＤＡＴ８）から組み合わせ可能な多様なイメージデータに基づいて、ＨＤＲ処理が遂行される。

一方、本実施形態では、図７で説明されたクロッピングとビニングに基づいてＨＤＲ処理を遂行することが説明されたが、本発明はこれに限定されない。例えば、図６、図８ないし図１０を介して説明されたＨＤＲ処理のうち少なくとも１つが、図１１の実施形態に適用され得る。

図１２は、本発明のイメージ処理方法を示すフローチャートである。

図２、図３及び図１２を共に参照して、ステップＳ１１０において、第１のイメージセンサブロック１１０１は、第１の画角（ＦＯＶ１）に対応する第１の信号（Ｄ１）を生成する。例として、第１の信号（Ｄ１）は、比較的狭い第１の画角（ＦＯＶ１）を有する第１のレンズ１１１１を介して入射された光に基づく。イメージ信号プロセッサ１１５０は、第１の信号（Ｄ１）に基づいて、第１のイメージデータ（ＩＤＡＴ１）を生成する。

ステップＳ１２０において、第２のイメージセンサブロック１１０２は、第２の画角（ＦＯＶ２）に対応する第２の信号（Ｄ２）を生成する。第２のイメージデータ（ＩＤＡＴ２）を生成する。例として、第２の信号（Ｄ２）は、比較的広い第２の画角（ＦＯＶ２）を有する第２のレンズ１１１２を介して入射された光に基づく。イメージ信号プロセッサ１１５０は、第２の信号（Ｄ２）に基づいて、第２のイメージデータ（ＩＤＡＴ２）を生成する。例として、第２のイメージデータ（ＩＤＡＴ２）の明るさの値の範囲は、第１のイメージデータ（ＩＤＡＴ１）の明るさの値の範囲とは異なってよい。

ステップＳ１３０においては、第１のイメージデータ（ＩＤＡＴ１）の解像度と、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分の解像度とが、同一であるか否か判定される。もし同一であれば、ＨＤＲ処理に先立って、解像度を調整するための追加の処理が必要でないことを意味する。従って、手順は、ステップＳ１４０に移動する。

ステップＳ１４０においては、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分に対するクロッピングが遂行される。

ステップＳ１５０においては、第１のイメージデータ（ＩＤＡＴ１）とクロッピングされた第２のイメージデータ（ＩＤＡＴ２）に対するＨＤＲ処理が実行される。第１のイメージデータ（ＩＤＡＴ１）のダイナミックレンジと第２のイメージデータ（ＩＤＡＴ２）のダイナミックレンジが異なるため、ＨＤＲ処理を介して、さらに広がったダイナミックレンジが獲得される。

一方、再びステップＳ１３０を参照して、第１のイメージデータ（ＩＤＡＴ１）の解像度と、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分の解像度とが同一でない場合、ＨＤＲ処理に先立って、解像度を調整するための追加の処理が必要になり得る。従って、手順はステップＳ１６０に移動する。

ステップＳ１６０において、メインプロセッサ１８００は、第１のイメージデータ（ＩＤＡＴ１）の解像度を調節する。例えば、第１のイメージデータ（ＩＤＡＴ１）の解像度が、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分の解像度よりも大きい場合、メインプロセッサ１８００は、第１のイメージデータ（ＩＤＡＴ１）に対するビニングを行うことができる。一方、第１のイメージデータ（ＩＤＡＴ１）の解像度が、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分の解像度よりも小さい場合に、メインプロセッサ１８００は、第１のイメージデータ（ＩＤＡＴ１）に対するアップスケーリングを行うことができる。メインプロセッサ１８００による解像度調節の結果、第１のイメージデータ（ＩＤＡＴ１）の解像度は、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分の解像度と同一になるだろう。

ステップＳ１７０においては、第２のイメージデータ（ＩＤＡＴ２）のうち、解像度が調節された第１のイメージデータ（ＩＤＡＴ１）に対応する部分に対するクロッピングが遂行される。

ステップＳ１８０においては、解像度が調節された第１のイメージデータ（ＩＤＡＴ１）とクロッピングされた第２のイメージデータ（ＩＤＡＴ２）に対するＨＤＲ処理が遂行される。第１のイメージデータ（ＩＤＡＴ１）のダイナミックレンジと第２のイメージデータ（ＩＤＡＴ２）のダイナミックレンジとが異なるため、ＨＤＲ処理を介して、さらに広がったダイナミックレンジが獲得される。

一方、本発明は、前述された実施形態に限定されない。第１のイメージデータ（ＩＤＡＴ１）の解像度と、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する部分の解像度とが異なる場合、図７だけではなく、図８及び図９を介して説明された実施形態が、図１３の実施形態にも適用されるだろう。

図１３は、図１のイメージ処理ブロックの例としての構成を示すブロック図である。

イメージ処理ブロック１１００は、イメージセンサブロック（１１０１ないし１１０ｎ）及びイメージ信号プロセッサ１１５０を含み得る。イメージ処理ブロック１１００に対する説明を容易にするために、ユーザーインターフェース１６００、照度センサ１７１０、及びメインプロセッサ１８００も共に図示されている。例として、照度センサ１７１０は、図１のセンサ１７００の一部として実現される。

第１のイメージセンサブロック１１０１は、第１のレンズ１１１１、第１のアクチュエータ１１４１、及び第１のイメージセンサ１１２１を含み得る。第２のイメージセンサブロック１１０２は、第２のレンズ１１１２、第２のアクチュエータ１１４２、及び第２のイメージセンサ１１２２を含み得る。第ｎのイメージセンサブロック１１０ｎは、第ｎのレンズ１１１ｎ、第ｎのアクチュエータ１１４ｎ、及び第ｎのイメージセンサ１１２ｎを含み得る（ｎは、３又はそれより大きい整数）。図１３のイメージセンサブロック（１１０１ないし１１０ｎ）の構成と動作は、図２のイメージセンサブロック（１１０１、１１０２）の各々の構成と動作に類似するため、重複する説明は省略される。

図１４は、図１３のイメージセンサブロックの例としての動作を説明するためのブロック図である。

例として、イメージ処理ブロック１１００は、第１ないし第３のイメージセンサブロック（１１０１、１１０２、１１０３）を含み得る。第１のイメージセンサブロック１１０１は、第１の画角（ＦＯＶ１）に対応する領域（Ｒ１）のイメージを生成するための第１のイメージセンサ１１２１、第２の画角（ＦＯＶ２）に対応する領域（Ｒ２）のイメージを生成するための第２のイメージセンサ１１２２、及び第３の画角（ＦＯＶ３）に対応する領域（Ｒ３）のイメージを生成するための第３のイメージセンサ１１２３を含み得る。

第３の画角（ＦＯＶ３）は、第２の画角（ＦＯＶ２）よりも大きい可能性があり、第２の画角（ＦＯＶ２）は、第１の画角（ＦＯＶ１）より大きい可能性がある。例として、第１のレンズ１１１１は、望遠（tele）レンズであり、第２のレンズ１１１２は、広角（wide）レンズであり、第３のレンズ１１１３は、超広角（ultra-wide）レンズであり得る。例として、第１のレンズ１１１１の画角は、１０度ないし１５度であり、第２のレンズ１１１２の画角は、７０度ないし９０度であり、第３のレンズ１１１３の画角は、１００度ないし１３０度であり得る。しかし、レンズ（１１１１、１１１２、１１１３）の画角は、これに限定されない。

例として、第１のイメージセンサブロック１１０１は、比較的低解像度のピクセルアレイを含み、第３のイメージセンサブロック１１０３は、比較的高解像度のピクセルアレイを含み、第２のイメージセンサブロック１１０２は、その中間の解像度のピクセルアレイを含み得る。例として、第１のイメージセンサブロック１１０１は、比較的狭い画角の領域（Ｒ１）のイメージを感知するために動作し、第３のイメージセンサブロック１１０３は、比較的広い画角の領域（Ｒ３）のイメージを感知するために動作し、第２のイメージセンサブロック１１０２は、その中間の画角の領域（Ｒ２）のイメージを感知するために動作することができる。

例として、前述の実施形態と同様に、イメージセンサブロック（１１０１、１１０２、１１０３）の少なくとも２つのピクセルアレイの解像度は、互いに同一であるか、又はイメージセンサブロック（１１０１、１１０２、１１０３）のピクセルアレイの解像度は、異なってよい。ただし、説明を容易にするために、イメージセンサブロック（１１０１、１１０２、１１０３）のピクセルアレイの解像度は、互いに異なるものと仮定して説明する。さらに、より広いダイナミックレンジを獲得するためのＨＤＲ処理の前提として、イメージセンサブロックから出力されるイメージデータの明るさの値（又は、明るさの値の範囲）は、互いに異なるものと仮定される。

イメージ信号プロセッサ１１５０は、第１のイメージセンサブロック１１０１から受信される第１の信号（Ｄ１）に基づいて、第１のイメージデータ（ＩＤＡＴ１）を獲得し、第２のイメージセンサブロック１１０２から受信される第２の信号（Ｄ２）に基づいて、第２のイメージデータ（ＩＤＡＴ２）を獲得し、第３のイメージセンサブロック１１０３から受信される第３の信号（Ｄ３）に基づいて、第３のイメージデータ（ＩＤＡＴ３）を獲得することができる。イメージセンサブロック（１１０１、１１０２、１１０３）は、イメージデータ（ＩＤＡＴ１、ＩＤＡＴ２、ＩＤＡＴ３）を各々獲得することができる。

一方、図１４のイメージ処理ブロックは、３つのイメージセンサブロックを含むことを除いては、図３の実施形態と概ね類似する。したがって、これ以上の詳細な説明は省略することにする。

図１５は、本発明のＨＤＲ処理のための動作を概念的に示している。

図１３、図１４、及び図１５を参照して、異なる画角を有する３つのイメージに対するＨＤＲ処理が説明される。イメージ信号プロセッサは、イメージセンサブロック（１１０１、１１０２、１１０３）から出力された信号（Ｄ１、Ｄ２、Ｄ３）に基づいて、Ｊ×Ｋの第１のイメージデータ（ＩＤＡＴ１）、Ｍ×Ｎの第２のイメージデータ（ＩＤＡＴ２）、及びＰ×Ｑの第３のイメージデータ（ＩＤＡＴ３）を生成する。

メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域に対するクロッピングを遂行することにより、Ｊ×Ｋの第４のデータを生成することができる。メインプロセッサは、第３のイメージデータ（ＩＤＡＴ３）のうち、第１のイメージデータ（ＩＤＡＴ１）に対応する領域のクロッピングを遂行することにより、Ｊ×Ｋの第５のデータを生成することができる。

第１のイメージデータ（ＩＤＡＴ１）の明るさ値、第２のイメージデータ（ＩＤＡＴ２）の明るさ値、及び第３のイメージデータ（ＩＤＡＴ３）の明るさの値が異なるため、第１のイメージデータ（ＩＤＡＴ１）の明るさの値、第４のイメージデータ（ＩＤＡＴ４）の明るさの値、及び第５のデータ（ＩＤＡＴ５）の明るさの値が異なってよい。メインプロセッサ１８００は、異なる明るさの値を各々有する第１のイメージデータ（ＩＤＡＴ１）、第４のイメージデータ（ＩＤＡＴ４）、及び第５のイメージデータ（ＩＤＡＴ５）に基づいて、ＨＤＲ処理を遂行することができる。メインプロセッサ１８００は、ＨＤＲ処理を介してイメージデータ（ＩＯＵＴ）を獲得することができる。

一方、本実施形態では、第１のイメージデータ（ＩＤＡＴ１）、クロッピングされた第４のイメージデータ（ＩＤＡＴ４）、及びクロッピングされた第５のイメージデータ（ＩＤＡＴ５）の解像度がＪ×Ｋとして、互いに同一であると仮定された。しかし、第１のイメージデータ（ＩＤＡＴ１）、第４のイメージデータ（ＩＤＡＴ４）、及び第５のイメージデータ（ＩＤＡＴ５）の解像度が異なる場合には、ＨＤＲ処理に先立って、追加の処理がさらに要求される。このような場合に、要求される処理を、図１６を介して説明することにする。

図１６は、本発明のＨＤＲ処理のための動作を概念的に示している。

例として、第１のイメージデータ（ＩＤＡＴ１）の解像度が第５のイメージデータ（ＩＤＡＴ５）の解像度、及び/又は第６のイメージデータ（ＩＤＡＴ６）の解像度よりも大きい場合には、ＨＤＲ処理を遂行する前に、メインプロセッサ１８００は、第１のイメージデータ（ＩＤＡＴ１）に対する追加の処理を遂行することができる。例えば、メインプロセッサ１８００は、Ｊ×Ｋの第１のイメージデータ（ＩＤＡＴ１）のビニングを実行して、Ｇ×Ｈの第４のイメージデータ（ＩＤＡＴ４）を獲得することができる（つまり、Ｊ＞Ｇ、Ｈ＞Ｋ）。したがって、第４のイメージデータ（ＩＤＡＴ４）の解像度、第５のイメージデータ（ＩＤＡＴ５）の解像度、及び第６のイメージデータ（ＩＤＡＴ６）の解像度は、互いに同一になるだろう。

一方、図１６を介して説明されたケースに加えて、第１のイメージデータ（ＩＤＡＴ１）の解像度、第４のイメージデータ（ＩＤＡＴ４）の解像度、及び第５のイメージデータ（ＩＤＡＴ５）の解像度が異なる多様なケースが有り得る、各々のケースについて、解像度を同一に調整するための多様な処理が遂行され得る。ただし、解像度が異なる多様なケースにおいて、解像度を同一に調整するための多様な処理は、図７ないし９の実施形態及びこれらの組み合わせによって十分に導出可能である。したがって、これ以上の詳細な説明は省略する。

図１７は、ズームファクター（zoom factor）によるイメージセンサブロックの動作を概念的に図示する。図１８は、第１のズームモードでのイメージセンサブロックの動作を概念的に示している。図１９は、第２のズームモードでのイメージセンサブロックの動作を概念的に示している。

まず、図１７の実施形態は、図１３のイメージセンサブロックの個数が３である場合（つまり、ｎ＝３）と関連付けられる。ズームファクターは、撮影されるオブジェクトの拡大又は縮小と関連付けられる。例として、ユーザーは、ズームファクターの値を徐々に増加/減少させたり、特定の値を選択したりすることで、意図されたイメージを撮影するためのズーム条件を設定することができる。図１５の例で、Ｘ軸によって表されるズームファクターは、ユーザーによって意図されたズーム倍率を意味することができる。例えば、ズームファクターは、最小値（ＺＦ＿ｍｉｎ）と最大値（ＺＦ＿ｍａｘ）との間で可変であり得る。最小値（ＺＦ＿ｍｉｎ）は、「１」であり得るが、これに限定されず、「０」よりも大きく「１」よりも小さな実数であり得る。最大値（ＺＦ＿ｍａｘ）は、「１」よりも大きな実数であり得る。ズームファクターの範囲は、ズームモードの変更を引き起こす閾値（ＺＦ＿ｔｈ、しきい値）を含み得る。

ユーザーは、多様な範囲の距離に位置したオブジェクトを撮影するために、ユーザーインターフェース（図１３、１６００）を介してズーム倍率を変更するためのコマンドを入力することができる。メインプロセッサ（図１３、１８００）は、ユーザーのコマンドに応答してイメージセンサブロック（図１３、１１０１ないし１１０３）の動作を制御することができる。

続いて、図１７及び図１８を参照して、第１のズームモードでのイメージ処理ブロック１１００の動作が説明される。ユーザーによって調節されるズームファクターが最小値（ＺＦ＿ｍｉｎ）と閾値（ＺＦ＿ｔｈ）との間である場合に、イメージ処理ブロック１１００は、第１のズームモードで動作する。第１のズームモードでは、第１のイメージセンサブロック１１０１は、動作せず、第２のイメージセンサブロック１１０２及び第３のイメージセンサブロック１１０３が動作することができる。例えば、第２のイメージセンサブロック１１０２は、領域（Ｒ２）に対応するオブジェクトを撮影して第２の信号（Ｄ２）を出力することができる。第３のイメージセンサブロック１１０３は、領域（Ｒ３）のオブジェクトを撮影して第３の信号（Ｄ３）を出力することができる。

イメージ信号プロセッサ１１５０は、第２の信号（Ｄ２）に基づいて、第２のイメージデータ（ＩＤＡＴ２）を生成することができ、第３の信号（Ｄ３）に基づいて、第３のイメージデータ（ＩＤＡＴ３）を生成することができる。例として、第３のイメージデータ（ＩＤＡＴ３）に対応するイメージは、第２のイメージデータ（ＩＤＡＴ２）に対応するイメージを含み得る。例として、比較的高解像度の第３のイメージデータ（ＩＤＡＴ３）は、比較的高解像度のピクセルアレイと関連付けられ、比較的中解像度の第２のイメージデータ（ＩＤＡＴ２）は、比較的中解像度のピクセルアレイと関連付けられる。例として、第３のイメージの明るさの値は、第２のイメージの明るさの値よりも大きい可能性がある。

メインプロセッサ１８００は、第２のイメージデータ（ＩＤＡＴ２）及び第３のイメージデータ（ＩＤＡＴ３）に対してＨＤＲ処理を遂行することができる。ＨＤＲ処理は、図６ないし図１１を介して説明された実施形態のうち少なくとも１つを含み得る。

一方、電子装置（図１３、１０００）のユーザーが、オブジェクトに対するビデオを撮影する最中に、ユーザーは、オブジェクトを拡大するためにズーム倍率を増加させることができる。ズーム倍率を増加させることで、ズームファクターは、増加するだろう。ズームファクターが増加するのは、図１８で点線の矢印として概念的に図示されている。万が一、ズームファクターが特定の閾値に到達すると、イメージ処理ブロック１１００のズームモードが、第１のズームモードから第２のズームモードに変更され得る。

図１７及び図１９を参照して、第２のズームモードでのイメージ処理ブロック１１００の動作が説明される。ユーザーによって調節されるズームファクターが、閾値（ＺＦ＿ｔｈ）と最大値（ＺＦ＿ｍａｘ）との間である場合には、イメージ処理ブロック１１００は、第２のズームモードで動作する。第２のズームモードにおいて、第３のイメージセンサブロック１１０３は、動作せず、第１のイメージセンサブロック１１０１及び第２のイメージセンサブロック１１０２が動作することができる。例えば、第１のイメージセンサブロック１１０１は、領域（Ｒ１）のオブジェクトを撮影して第１の信号（Ｄ１）を出力することができる。第２のイメージセンサブロック１１０２は、領域（Ｒ２）のオブジェクトを撮影して第２の信号（Ｄ２）を出力することができる。

イメージ信号プロセッサ１１５０は、第１の信号（Ｄ１）に基づいて、第１のイメージデータ（ＩＤＡＴ１）を生成することができ、第２の信号（Ｄ２）に基づいて、第２のイメージデータ（ＩＤＡＴ２）を生成することができる。例として、第２のイメージデータ（ＩＤＡＴ２）に対応するイメージは、第１のイメージデータ（ＩＤＡＴ１）に対応するイメージを含み得る。例としては、比較的中解像度の第２のイメージデータ（ＩＤＡＴ２）は、比較的中解像度のピクセルアレイと関連付けられ、比較的低解像度の第１のイメージデータ（ＩＤＡＴ１）は、比較的低解像度のピクセルアレイと関連付けられる。例として、第２のイメージの明るさの値は、第１のイメージの明るさの値よりも大きい可能性がある。

メインプロセッサ１８００は、第１のイメージデータ（ＩＤＡＴ１）と第２のイメージデータ（ＩＤＡＴ２）に対してＨＤＲ処理を遂行することができる。ＨＤＲ処理は、図６ないし図１１を介して説明された実施形態のうち少なくとも１つを含み得る。

図２０は、図１３のイメージセンサブロックの例としての動作を説明するためのブロック図である。

イメージ処理ブロック１１００は、第１ないし第５のイメージセンサブロック（１１０１ないし１１０５）を含み得る（つまり、ｎ＝５）。第１のイメージセンサブロック１１０１ないし第５のイメージセンサブロック１１０５は、第１の画角（ＦＯＶ１）の第１のレンズないし第５の画角（ＦＯＶ５）の第５のレンズを各々含み得る。第１のレンズの画角が最も小さく、第５のレンズに行くほど画角が大きくなれる（つまり、ＦＯＶ１＜ＦＯＶ２＜ＦＯＶ３＜ＦＯＶ４＜ＦＯＶ５）。例として、第１のレンズ１１１１は、望遠（tele）レンズであり得る。第２のレンズ１１１２及び第３のレンズ１１１３は、異なる画角を有する広角（wide）レンズであり得る。第４のレンズ１１１４及び第５のレンズ１１１５は、異なる画角を有する超広角（ultra-wide）レンズであり得る。

第１のイメージセンサブロック１１０１は、第１の画角（ＦＯＶ１）に対応する領域（Ｒ１）のイメージに関連付けられた第１の信号（Ｄ１）を生成することができ、第２の画角（ＦＯＶ２）に対応する領域（Ｒ２）のイメージに関連付けられた第２の信号（Ｄ２）を生成することができ、第３の画角（ＦＯＶ２）に対応する領域（Ｒ３）のイメージに関連付けられた第３の信号（Ｄ３）を生成することができ、第４の画角（ＦＯＶ４）に対応する領域（Ｒ４）のイメージに関連付けられた第４の信号（Ｄ４）を生成することができ、第５の画角（ＦＯＶ５）に対応する領域（Ｒ５）のイメージに関連付けられた第５の信号（Ｄ５）を生成することができる。

一方、図２０のイメージ処理ブロックは、５つのイメージセンサブロックを含むことを除いては、図３の実施形態と概ね類似する。したがって、これ以上の詳細な説明は省略することにする。

図２１は、ズームファクター（zoom factor）によるイメージセンサブロックの動作を概念的に示している。図２０及び図２１を参照して、複数のズームモードにおいて動作するイメージ処理ブロックが説明される。

ユーザーによって調節されるズームファクターが、最小値（ＺＦ＿ｍｉｎ）と第１の値（ＺＦ１）との間である場合に、イメージ処理ブロック１１００は、第１のズームモードで動作する。第１のズームモードにおいて、イメージセンサブロック（１１０４、１１０５）が動作し、残りのイメージセンサブロックは、動作しない。イメージ信号プロセッサ１１５０は、イメージセンサブロック（１１０４、１１０５）から出力された信号に基づいて、イメージデータを生成する。メインプロセッサ１８００は、イメージ信号プロセッサ１１５０から出力されたイメージデータに基づいて、図６ないし図１１のＨＤＲ処理を遂行することができる。

ユーザーが、ズーム倍率を増加させることで、ズームファクターが、第１の値（ＺＦ１）と第２の値（ＺＦ２）との間の値になると、イメージ処理ブロック１１００は、第２のズームモードで動作する。第２のズームモードでは、イメージセンサブロック（１１０３、１１０４）が動作し、残りのイメージセンサブロックは、動作しない。イメージ信号プロセッサ１１５０は、イメージセンサブロック（１１０３、１１０４）から出力された信号に基づいてイメージデータを生成する。メインプロセッサ１８００は、イメージ信号プロセッサ１１５０から出力されたイメージデータに基づいて、図６ないし図１１のＨＤＲ処理を遂行することができる。

一方、ユーザーが、ズーム倍率を増加させ続けて、ズームファクターが、第２の値（ＺＦ２）と第３の値（ＺＦ３）との間の値になると、イメージ処理ブロック１１００は、第３のズームモードで動作する。第３のズームモードで、イメージセンサブロック（１１０２、１１０３）が動作し、残りのイメージセンサブロックは、動作しない。第３のズームモードで、メインプロセッサ１８００は、該当するイメージデータに基づいてＨＤＲ処理を遂行する。ズームファクターが、増加し続けることにより、イメージ処理ブロック１１００が、第３のズームモード又は第４のズームモードで動作する。この場合において、メインプロセッサ１８００は、該当するイメージデータに基づいてＨＤＲ処理を遂行する。

図２２は、ズームファクター（zoom factor）によるイメージセンサブロックの動作を概念的に示している。図２０及び図２２を参照して、複数のズームモードにおいて動作するイメージ処理ブロックが説明される。

ユーザーによって調節されるズームファクターが、最小値（ＺＦ＿ｍｉｎ）と第１の値（ＺＦ１）との間である場合には、イメージ処理ブロック１１００は、第１のズームモードで動作する。第１のズームモードでは、イメージセンサブロック（１１０３、１１０４、１１０５）が動作し、残りのイメージセンサブロックは、動作しない。イメージ信号プロセッサ１１５０は、イメージセンサブロック（１１０３、１１０４、１１０５）から出力された信号に基づいて、イメージデータを生成する。メインプロセッサ１８００は、イメージ信号プロセッサ１１５０から出力されたイメージデータに基づいて、図１５及び図１６で説明されたＨＤＲ処理のうち少なくとも１つを遂行することができる。

ユーザーが、ズーム倍率を増加させることで、ズームファクターが、第１の値（ＺＦ１）と第２の値（ＺＦ２）との間の値になると、イメージ処理ブロック１１００は、第２のズームモードで動作する。第２のズームモードでは、イメージセンサブロック（１１０２、１１０３、１１０４）が動作し、残りのイメージセンサブロックは、動作しない。イメージ信号プロセッサ１１５０は、イメージセンサブロック（１１０２、１１０３、１１０４）から出力された信号に基づいてイメージデータを生成する。メインプロセッサ１８００は、イメージ信号プロセッサ１１５０から出力されたイメージデータに基づいて、ＨＤＲ処理を遂行することができる。

ユーザーが、ズーム倍率を増加させ続けて、ズームファクターが、第２の値（ＺＦ２）と第３の値（ＺＦ３）との間の値になると、イメージ処理ブロック１１００は、第３のズームモードで動作する。第３のズームモードでは、イメージセンサブロック（１１０１、１１０２、１１０３）が動作し、残りのイメージセンサブロックは、動作しない。第３のズームモードで、メインプロセッサ１８００は、該当するイメージデータに基づいてＨＤＲ処理を遂行する。

一方、図２０ないし図２２の実施形態で、イメージセンサブロックの個数が５個であると仮定されているのは、例としてのものであり、本発明はこれに限定されない。つまり、さらに多くの個数のイメージセンサブロックが採用され、この場合にも、図２０ないし図２２の技術思想が、同一に適用される。

図２３は、図１３のユーザーインターフェースを介して入力されるコマンドに応じて倍率が調整される例としての方法を説明するための概念図である。

いくつかの場合には、ユーザー３０は、ズーム倍率を徐々に増加又は減少させながら、ズーム倍率をユーザーインターフェース１６００に入力しようと意図することができる。例として、ユーザーは、２本のフィンガー（指）をユーザーインターフェース１６００のタッチスクリーン１６１０上に接触することができる。次に、ユーザー２０は、ズーム倍率の値を徐々に調整するために２本のフィンガーとの間の距離を広げたり、狭めたりする行動をとることができる（ピンチ（Pinch）ズーム−インやピンチズーム−アウト）。

別の例では、ユーザー３０は、ズーム倍率の値を調整するために、ユーザーインターフェース１６００のディスプレイ装置上に表示されるグラフィカルインターフェース（Ｂ１）を利用することができる。ユーザー２０は、グラフィカルインターフェース（Ｂ１）のスライドバー（Slide Bar）に沿ってフィンガーをスライドすることで、ズーム倍率の値を徐々に調整することができる。さらに別の例では、ユーザー３０は、ズーム倍率の値を徐々に増加又は減少させるために、ユーザーインターフェース１６００のボタン１６２０を押すことができる。

ただし、タッチを介したズーム倍率の調整は、例としてのものであり、本発明を限定するように意図されるものではない。例として、音声、ユーザーのジェスチャー、ペンを利用したジェスチャーなどを通したズーム倍率の調整が採択され得る。

上述の内容は、本発明を実施するための具体的な実施形態である。本発明は、上述の実施形態だけではなく、単純に設計変更されたり、容易に変更したりすることができる実施形態も、また含むものである。なお、本発明は、実施形態を用いて容易に変形して実施することができる技術も含まれる。したがって、本発明の範囲は、上述の実施形態に限定されて定められてはならず、後述の特許請求の範囲だけでなく、この発明の特許請求の範囲の均等物によっても定められなければならない。

１０００：電子装置
１１００：イメージ処理ブロック

Claims (20)

1. 複数のビデオフレームを処理する電子装置であって、
   第１の画角でオブジェクトを撮影して第１の信号を生成する第１のイメージセンサブロックと、
   前記第１の画角よりも大きい第２の画角でオブジェクトを撮影して第２の信号を生成する第２のイメージセンサブロックと、
   前記第１の信号に基づいて、第１の解像度の第１のイメージデータを生成し、前記第２の信号に基づいて、第２の解像度の第２のイメージデータを生成するイメージ信号プロセッサと、
   前記第２のイメージデータのうち、前記第１のイメージデータに対応するイメージデータをクロッピングし、前記第１のイメージデータと前記クロッピングされたイメージデータとに基づいて、ＨＤＲ処理を遂行するメインプロセッサと、
   を備え、
   前記ＨＤＲ処理されたイメージは、前記複数のビデオフレームのうち第１のビデオフレームである、
   電子装置。
2. 前記メインプロセッサは、前記第１の解像度が前記クロッピングされたイメージデータのクロッピングされた解像度よりも大きい場合に、前記第１のイメージデータに対するビニングを実行して、ビニングされたイメージデータを獲得する、
   請求項１に記載の電子装置。
3. 前記ビニングされたイメージデータのビニング解像度は、前記クロッピングされた解像度と同一である、
   請求項２に記載の電子装置。
4. 前記メインプロセッサは、前記第１の解像度が前記クロッピングされたイメージのクロッピングされた解像度より小さい場合に、前記クロッピングされたイメージデータに対してビニングを実行して、ビニングされたイメージデータを獲得する、
   請求項１に記載の電子装置。
5. 前記第１の解像度は、前記ビニングされたイメージデータのビニングされた解像度と同一である、
   請求項４に記載の電子装置。
6. 前記メインプロセッサは、前記第１の解像度が前記クロッピングされたイメージデータのクロッピングされた解像度よりも小さい場合に、前記第１のイメージデータに対してアップスケーリングを実行して、アップスケーリングされたイメージデータを獲得する、
   請求項１に記載の電子装置。
7. 前記アップスケーリングされたイメージデータのアップスケーリングされた解像度は、前記クロッピングされた解像度と同一である、
   請求項６に記載の電子装置。
8. 前記ＨＤＲ処理されたイメージは、第１のＨＤＲ処理されたイメージであり、
   前記第１のイメージセンサブロックは、前記オブジェクトを撮影した後で、前記第１の画角で前記オブジェクトをさらに撮影して、第３の信号を生成し、
   前記第２のイメージセンサブロックは、前記オブジェクトを撮影した後で、前記第２の画角で前記オブジェクトをさらに撮影して、第４の信号を生成し、
   前記イメージ信号プロセッサは、前記第３の信号に基づいて、第３の解像度の第３のイメージデータを生成し、かつ、前記第４の信号に基づいて、第４の解像度の第４のイメージデータを生成し、
   前記メインプロセッサは、前記第１のイメージデータ又は第３のイメージデータに対応する前記第４のイメージデータのうち、第２のクロッピングされたイメージデータを、さらに獲得して、前記第１のイメージデータないし前記第４のイメージデータに基づいて、第２のＨＤＲ処理を遂行し、
   前記第２のＨＤＲ処理されたイメージは、前記複数のビデオフレームのうちの第２のビデオフレームである、
   請求項１に記載の電子装置。
9. 前記メインプロセッサは、前記第１の解像度及び前記第３の解像度が、前記クロッピングされた第２のイメージデータのクロッピングされた解像度及び前記第２のクロッピングされたイメージデータの第２のクロッピングされた解像度よりも大きい場合に、前記第１のイメージデータ及び前記第３のイメージデータに対するビニングを実行して、ビニングされたイメージデータを獲得する、
   請求項８に記載の電子装置。
10. 前記第１のイメージセンサブロックは、第１の複数のピクセルを含む第１のピクセルアレイを含み、
    前記第２のイメージセンサブロックは、第２の複数のピクセルを含む第２のピクセルアレイを含み、
    前記第２の複数のピクセルの個数は、前記第１の複数のピクセルの個数よりも大きい、
    請求項１ないし請求項９のいずれか一項に記載の電子装置。
11. 前記クロッピングされたイメージデータのクロッピングされた解像度は、前記第２の解像度の１/２以下である、
    請求項１ないし請求項１０のいずれか一項に記載の電子装置。
12. 複数のビデオフレームを処理する電子装置であって、
    第１の画角でオブジェクトを撮影して第１の信号を生成する第１のイメージセンサブロックと、
    前記第１の画角よりも大きい第２の画角でオブジェクトを撮影して第２の信号を生成する第２のイメージセンサブロックと、
    前記第２の画角よりも大きい第３の画角でオブジェクトを撮影して第３の信号を生成する第３のイメージセンサブロックと、
    前記第１の信号に基づいて第１の解像度の第１のイメージデータを生成し、前記第２の信号に基づいて第２の解像度の第２のイメージデータを生成し、前記第３の信号に基づいて第３の解像度の第３のイメージデータを生成するイメージ信号プロセッサと、
    前記第１のイメージデータ、前記第２のイメージデータ、及び前記第３のイメージデータに基づいて、ＨＤＲ処理を遂行するメインプロセッサと、
    を備え、
    前記メインプロセッサは、第１のズームファクター区間では、
    前記第２のイメージデータに対応する前記第３のイメージデータの中からクロッピングされたイメージデータを獲得して、前記第２のイメージデータ及び前記クロッピングされたイメージデータに基づいてＨＤＲ処理を遂行する、
    電子装置。
13. 前記メインプロセッサは、前記第２の解像度が前記クロッピングされたイメージデータのクロッピングされた解像度よりも大きい場合に、前記第２のイメージデータに対するビニングを実行して、ビニングされたイメージデータを獲得する、
    請求項１２に記載の電子装置。
14. 前記メインプロセッサは、前記第１のズームファクター区間よりも大きい第２のズームファクター区間では、
    前記第１のイメージデータに対応する前記第２のイメージデータのうち、第２のクロッピングされたイメージデータを獲得して、前記第１のイメージデータ及び前記クロッピングされたイメージデータに基づいてＨＤＲ処理を遂行する、
    請求項１２または請求項１３に記載の電子装置。
15. 前記メインプロセッサは、前記第１の解像度が前記第２のクロッピングされたイメージデータのクロッピングされた解像度よりも大きい場合に、前記第１のイメージデータに対するビニングを実行して、ビニングされたイメージデータを獲得する、
    請求項１４に記載の電子装置。
16. 第１の画角を有する第１のイメージセンサブロック及び前記第１の画角よりも大きい第２の画角を有する第２のイメージセンサブロックを利用して、複数のビデオフレームを処理する方法であって、
    前記第１のイメージセンサブロックにより、オブジェクトを撮影して、第１の信号を生成するステップと、
    前記第２のイメージセンサブロックにより、前記オブジェクトを撮影して、第２の信号を生成するステップと、
    前記第１の信号に基づいて、第１の解像度の第１のイメージデータを生成するステップと、
    前記第２の信号に基づいて、第２の解像度の第２のイメージデータを生成するステップと、
    前記第１のイメージデータに対応する前記第２のイメージデータのうち、クロッピングされたイメージデータを生成するステップと、
    前記第１のイメージデータ及び前記クロッピングされたイメージデータに基づいて、ＨＤＲ処理を遂行するステップと、
    を備え、
    前記ＨＤＲ処理されたイメージは、前記複数のビデオフレームのうち、第１のビデオフレームである、
    方法。
17. 前記方法は、さらに、
    前記第１の解像度と前記クロッピングされたイメージデータのクロッピングされた解像度とを比較するステップと、を備える、
    請求項１６に記載の方法。
18. 前記第１の解像度が前記クロッピングされた解像度よりも大きい場合に、
    前記第１のイメージデータに対してビニングを実行して、ビニングされたイメージデータを獲得するステップと、
    前記ビニングされたイメージデータ及び前記クロッピングされたイメージデータに基づいて、前記ＨＤＲ処理を遂行するステップと、をさらに含む、
    請求項１６または請求項１７に記載の方法。
19. 前記第１の解像度が前記クロッピングされた解像度より小さい場合に、
    前記クロッピングされたイメージデータに対してビニングを実行して、ビニングされたイメージデータを獲得するステップと、
    前記第１のイメージデータ、及び前記ビニングされたイメージデータに基づいて、前記ＨＤＲ処理を遂行するステップと、をさらに含む、
    請求項１７に記載の方法。
20. 前記第１の解像度が前記クロッピングされた解像度より小さい場合に、
    前記第１のイメージデータに対してアップスケーリングを実行して、アップスケーリングされたイメージデータを獲得するステップと、
    前記アップスケーリングされたイメージデータ及び前記クロッピングされたイメージデータに基づいて、前記ＨＤＲ処理を遂行するステップと、をさらに含む、
    請求項１７に記載の方法。

Images