JP2021119701A - フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法 - Google Patents

フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法 Download PDF

Info

Publication number
JP2021119701A
JP2021119701A JP2021076679A JP2021076679A JP2021119701A JP 2021119701 A JP2021119701 A JP 2021119701A JP 2021076679 A JP2021076679 A JP 2021076679A JP 2021076679 A JP2021076679 A JP 2021076679A JP 2021119701 A JP2021119701 A JP 2021119701A
Authority
JP
Japan
Prior art keywords
analog
digital
image
flash
ambient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021076679A
Other languages
English (en)
Inventor
リバード，ウィリアム
Rivard William
フェーダー，アダム
Feder Adam
キンドル，ブライアン
Kindle Brian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duelight LLC
Original Assignee
Duelight LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duelight LLC filed Critical Duelight LLC
Publication of JP2021119701A publication Critical patent/JP2021119701A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Storing Facsimile Image Data (AREA)

Abstract

【課題】フラッシュ照明画像及び周囲照明画像を同時に捕捉するためのシステム、方法及びコンピュータプログラム製品を提供する。【解決手段】フラッシュ照明画像及び周囲照明画像を同時に捕捉するために実行する方法であって、周囲サンプルを、画像センサのフォトダイオードからの電気信号に基づいて記憶する。また、フラッシュサンプルを、画像センサのフォトダイオードからの電気信号に基づいて記憶する。さらに、少なくとも１つの画像を生成するために、周囲サンプルに基づいて第１の値を出力し、フラッシュサンプルに基づいて第２の値を出力する。最後に、２つ以上のゲインを利用して、第１の値及び第２の値のうちの少なくとも１つを増幅する。【選択図】図２

Description

発明の分野
本発明は写真撮影システムに関し、より特定的には、複数の画像を同時に捕捉するための画像センサ装置および方法に関する。
背景
従来のデジタル写真撮影システムは、捕捉中の画像センサのダイナミックレンジによって本質的に制限されている。そのような制限に対する１つの解決策は、高ダイナミックレンジ（ＨＤＲ）写真撮影の使用である。ＨＤＲ写真撮影は、同じシーンの多重露光を捕捉することを伴い、当該露光の各々は異なって計測され、次いで、当該多重捕捉を併合してより大きいダイナミックレンジを有する画像を作成することを伴う。
概要
フラッシュ照明画像および周囲照明画像を同時に捕捉するためのシステム、方法およびコンピュータプログラム製品が提供される。使用時、周囲サンプルが、画像センサのフォトダイオードからの電気信号に基づいて記憶される。また、フラッシュサンプルが、画像センサのフォトダイオードからの電気信号に基づいて記憶される。さらに、少なくとも１つの画像を生成するために、周囲サンプルに基づいて第１の値が出力され、フラッシュサンプルに基づいて第２の値が出力される。最後に、２つ以上のゲインを利用して、第１の値および第２の値のうちの少なくとも１つが増幅される。追加のシステム、方法およびコンピュータプログラム製品も提示される。
一実施形態において、装置は、画像センサのフォトダイオードからの電気信号に基づいて周囲サンプルを記憶し、画像センサのフォトダイオードからの電気信号に基づいてフラッシュサンプルを記憶する回路を含む。加えて、少なくとも１つの画像を生成するために、周囲サンプルに基づいた第１の値と、フラッシュサンプルに基づいた第２の値とを出力するための回路が含まれる。さらに、２つ以上のゲインを利用して第１の値および第２の値のうちの少なくとも１つを増幅するための回路が提供される。
別の実施形態において、電気信号は、画像センサのフォトダイオードから受信されるフォトダイオード電流を含む。別の実施形態において、第１の値は周囲アナログ信号において出力され、第２の値はフラッシュアナログ信号において出力される。
一実施形態において、２つ以上のゲインを利用した第１の値および第２の値のうちの少なくとも１つの増幅は、２つ以上のゲインを利用して周囲アナログ信号およびフラッシュアナログ信号のうちの少なくとも１つを増幅することを含む。加えて、別の実施形態において、第１の増幅周囲アナログ信号および第２の増幅周囲アナログ信号を生成するために、周囲アナログ信号は２つ以上のゲインを利用して増幅される。
別の実施形態において、第１の増幅周囲アナログ信号は第１の光感度を有する第１の周囲デジタル信号に変換され、第２の増幅周囲アナログ信号は第２の光感度を有する第２の周囲デジタル信号に変換される。別の実施形態において、ユーザ入力に応答して、第１の周囲デジタル信号は第２の周囲デジタル信号とブレンドされる。別の実施形態において、
スライディング標識が表示され、ユーザ入力はスライディング標識の操作を含む。
一実施形態において、第１の周囲デジタル信号は第２の周囲デジタル信号とブレンドされて、ブレンドされた周囲光感度を有するブレンドされた周囲デジタル信号をもたらし、少なくとも１つの増幅フラッシュアナログ信号を生成するために、フラッシュアナログ信号は少なくとも１つのゲインを利用して増幅され、少なくとも１つの増幅フラッシュアナログ信号は少なくとも１つのフラッシュデジタル信号に変換され、ユーザ入力に応答して、ブレンドされた周囲デジタル信号は少なくとも１つのフラッシュデジタル信号とブレンドされる。
別の実施形態において、第１の周囲デジタル信号は第２の周囲デジタル信号とブレンドされて、ブレンドされた周囲光感度を有するブレンドされた周囲デジタル信号をもたらし、２つ以上の増幅フラッシュアナログ信号を生成するために、フラッシュアナログ信号は別の２つ以上のゲインを利用して増幅され、２つ以上の増幅フラッシュアナログ信号は２つ以上のフラッシュデジタル信号に変換され、ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル信号を生成するために、２つ以上のフラッシュデジタル信号はブレンドされ、ブレンドされたフラッシュデジタル信号はブレンドされた周囲デジタル信号とブレンドされる。
別の実施形態において、第１の増幅フラッシュアナログ信号および第２の増幅フラッシュアナログ信号を生成するために、フラッシュアナログ信号は２つ以上のゲインを利用して増幅される。別の実施形態において、第１の増幅フラッシュアナログ信号は第１の光感度を有する第１のフラッシュデジタル信号に変換され、第２の増幅フラッシュアナログ信号は第２の光感度を有する第２のフラッシュデジタル信号に変換される。別の実施形態において、ユーザ入力に応答して、第１のフラッシュデジタル信号は第２のフラッシュデジタル信号とブレンドされる。
さらに、一実施形態において、スライディング標識が表示され、ユーザ入力はスライディング標識の操作を含む。別の実施形態において、第１のフラッシュデジタル信号は第２のフラッシュデジタル信号とブレンドされて、ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル信号をもたらし、少なくとも１つの増幅周囲アナログ信号を生成するために、周囲アナログ信号は少なくとも１つのゲインを利用して増幅され、少なくとも１つの増幅周囲アナログ信号は少なくとも１つの周囲デジタル信号に変換され、ユーザ入力に応答して、ブレンドされたフラッシュデジタル信号は少なくとも１つの周囲デジタル信号とブレンドされる。
別の実施形態において、第１のフラッシュデジタル信号は第２のフラッシュデジタル信号とブレンドされて、ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル信号をもたらし、２つ以上の増幅周囲アナログ信号を生成するために、周囲アナログ信号は別の２つ以上のゲインを利用して増幅され、２つ以上の増幅周囲アナログ信号は２つ以上の周囲デジタル信号に変換され、ブレンドされた周囲光感度を有するブレンドされた周囲デジタル信号を生成するために、２つ以上の周囲デジタル信号はブレンドされ、ブレンドされた周囲デジタル信号はブレンドされたフラッシュデジタル信号とブレンドされる。
別の実施形態において、２つ以上のゲインは、別の２つ以上のゲインと同じゲインを含み、ゲインの各々は異なる光感度値と関連付けられている。別の実施形態において、第１の周囲デジタル信号および第２の周囲デジタル信号は、遠隔で結合されるようにネットワーク上で転送され、高ダイナミックレンジ（ＨＤＲ）画像の少なくとも一部をもたらす。
一実施形態において、非一時的なコンピュータ読取可能媒体上で具現化されるコンピュータプログラム製品は、画像センサのフォトダイオードからの電気信号に基づいた周囲サンプルの記憶を可能にするためのコードと、画像センサのフォトダイオードからの電気信号に基づいたフラッシュサンプルの記憶を可能にするためのコードとを含む。加えて、周囲サンプルに基づいた第１の値とフラッシュサンプルに基づいた第２の値とを利用して少なくとも１つの画像を生成するためのコードが提供され、コンピュータプログラム製品は、第１の値および第２の値のうちの少なくとも１つが２つ以上のゲインを利用して増幅されるように動作可能である。
一実施形態において、方法は、画像センサのフォトダイオードからの電気信号に基づいて周囲サンプルを記憶するステップと、画像センサのフォトダイオードからの電気信号に基づいてフラッシュサンプルを記憶するステップとを含む。加えて、少なくとも１つの画像を生成するために、周囲サンプルに基づいた第１の値と、フラッシュサンプルに基づいた第２の値とが出力される。さらに、２つ以上のゲインを利用して第１の値および第２の値のうちの少なくとも１つが増幅される。
ある実施形態に従う、フラッシュ照明画像および周囲照明画像を同時に捕捉するための例示的なシステムを示す図である。 ある実施形態に従う、フラッシュ照明画像および周囲照明画像を同時に捕捉するために実行される例示的な方法を示す図である。 ある実施形態に従う、フラッシュ照明画像および周囲照明画像を同時に捕捉するように構成されるデジタル写真撮影システムを示す図である。 一実施形態に係る、デジタル写真撮影システム内のプロセッサ複合体を示す図である。 ある実施形態に従うデジタルカメラを示す図である。 別の実施形態に従うワイヤレスモバイルデバイスを示す図である。 一実施形態に係る、画像をサンプリングするように構成されたカメラモジュールを示す図である。 別の実施形態に係る、画像をサンプリングするように構成されたカメラモジュールを示す図である。 ある実施形態に従う、アプリケーションプロセッサと通信しているカメラモジュールを示す図である。 別の実施形態に従うネットワークサービスシステムを示す図である。 他の実施形態に従う、光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う、光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う、光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う、光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 他の実施形態に従う、光学シーン情報を写真撮影シーンの電子表現に変換するためのシステムを示す図である。 一実施形態に係る感光セルについての回路図を示す図である。 ある実施形態に従う、アナログ画素データをデジタル画素データに変換するためのシステムを示す図である。 別の実施形態に従う、２つ以上のアナログ信号のアナログ画素データをデジタル画素データに変換するためのシステムを示す図である。 他の実施形態に従う、アナログ信号を増幅するためのさまざまなタイミング構成を示す図である。 一実施形態に従う、アナログ画素データをデジタル画素データの複数の信号に並列に変換するためのシステムを示す図である。 ある実施形態に係る、結合画像を生成するためのユーザインターフェイスシステムを示す図である。 一実施形態に係る、結合画像を生成するための別のユーザインターフェイスシステムを示す図である。 ある実施形態に係る、異なるレベルのストロボ露光を有する結合画像を表示するユーザインターフェイス（ＵＩ）システムを示す図である。 一実施形態に係る、結合画像を生成するための方法ステップのフロー図である。 別の実施形態に係る、ネットワークを利用して結合画像を生成するためのメッセージシーケンスを示す図である。
詳細な説明
図１は、１つの可能な実施形態に従う、フラッシュ照明画像および周囲照明画像を捕捉するためのシステム１００を示す。選択肢として、システム１００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実現されてもよい。しかし、当然、システム１００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図１に示されるように、システム１００は、フォトダイオード１０１に基づいて周囲サンプル記憶ノード１３３（０）に提供される第１の入力１０２と、フォトダイオード１０１に基づいてフラッシュサンプル記憶ノード１３３（１）に提供される第２の入力１０４とを含む。周囲サンプル記憶ノード１３３（０）への入力１０２と、フラッシュサンプル記憶ノード１３３（１）への入力１０４とに基づき、周囲サンプルが、フラッシュサンプル記憶ノード１３３（１）へのフラッシュサンプルの記憶と少なくとも部分的に連続的に、周囲サンプル記憶ノード１３３（０）に記憶される。一実施形態において、周囲サンプルおよびフラッシュサンプルの同時記憶は、周囲サンプルおよび第２のサンプルを少なくとも部分的に連続的に記憶することを含む。
一実施形態において、入力１０２が周囲サンプル記憶ノード１３３（０）に提供された後に、入力１０４がフラッシュサンプル記憶ノード１３３（１）に提供されてもよい。そのような実施形態では、周囲サンプルを記憶するプロセスの後に、フラッシュサンプルを記憶するプロセスが起こってもよい。言い換えれば、第１の期間中に周囲サンプルの記憶が起こってもよく、第１の期間の後に始まる第２の期間中にフラッシュサンプルの記憶が起こってもよい。第２の期間は、第１の期間の終結とほぼ同時に始まってもよい。
以下の説明は、画像センサの１つ以上のフォトダイオードを使用して複数の画像を同時に捕捉するための画像センサ装置および方法を記載しているが、任意の光感知電気素子または光センサが使用または実現されてもよい。
一実施形態において、フォトダイオード１０１は、光子吸収に応答して電位差、電流を生成するかまたはその電気抵抗を変化させる任意の半導体ダイオードを含んでいてもよい。したがって、フォトダイオード１０１は光強度の検出または測定に使用されてもよい。さらに、サンプル記憶ノード１３３（０）および１３３（１）においてそれぞれ受信される入力１０２および入力１０４は、フォトダイオード１０１によって検出または測定される光強度に基づいていてもよい。そのような実施形態では、周囲サンプル記憶ノード１３３（０）に記憶される周囲サンプルは、フォトダイオード１０１における光に対する第１
の露光時間に基づいていてもよく、フラッシュサンプル記憶ノード１３３（１）に記憶される第２のサンプルは、フォトダイオード１０１における光に対する第２の露光時間に基づいていてもよい。第２の露光時間は、第１の露光時間の終結と並行して、またはほぼ並行して始まってもよい。
一実施形態において、第１の露光時間の完了後、および、フラッシュサンプル記憶ノード１３３（１）において入力１０４が受信されている第２の露光時間中に、シーン照明の急激な増加が起こる場合がある。シーン照明の急激な増加は、フラッシュまたはストロボの起動またはその他のほぼ瞬間的な照明に起因する場合がある。第１の露光時間後のシーン照明の急激な増加の結果、第２の露光時間中にフォトダイオード１０１によって検出または測定される光強度が、第１の露光時間中にフォトダイオード１０１によって検出または測定される光強度よりも大きくなる場合がある。したがって、第２の露光時間は、予期される光強度に基づいて構成または選択され得る。
一実施形態において、第１の入力１０２は、周囲サンプル記憶ノード１３３（０）において受信されるフォトダイオード１０１からの電気信号を含んでいてもよく、第２の入力１０４は、フラッシュサンプル記憶ノード１３３（１）において受信されるフォトダイオード１０１からの電気信号を含んでいてもよい。たとえば、第１の入力１０２は、周囲サンプル記憶ノード１３３（０）において受信される電流を含んでいてもよく、第２の入力１０４は、フラッシュサンプル記憶ノード１３３（１）において受信される電流を含んでいてもよい。別の実施形態において、第１の入力１０２および第２の入力１０４は、少なくとも部分的に、共有の電気配線上で送信されてもよい。他の実施形態において、第１の入力１０２および第２の入力１０４は、異なる電気配線上で送信されてもよい。いくつかの実施形態において、入力１０２は第１の電流を含んでいてもよく、入力１０４は、第１の電流とは異なる第２の電流を含んでいてもよい。第１の電流および第２の電流は各々、フォトダイオード１０１によって測定または検出される入射光強度の関数であってもよい。さらに別の実施形態において、第１の入力１０２は、周囲サンプル記憶ノード１３３（０）が周囲サンプルを記憶するように動作し得る元となる任意の入力を含んでいてもよく、第２の入力１０２は、フラッシュサンプル記憶ノード１３３（１）がフラッシュサンプルを記憶するように動作し得る元となる任意の入力を含んでいてもよい。
一実施形態において、第１の入力１０２および第２の入力１０４は、フォトダイオード１０１を含む画像センサ上に合焦された光学画像の一部の電子表現を含んでいてもよい。そのような実施形態では、光学画像はレンズによって画像センサ上に合焦されてもよい。光学画像の電子表現は空間色強度情報を含んでいてもよく、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。一実施形態において、光学画像は写真撮影シーンの光学画像であってもよい。いくつかの実施形態において、フォトダイオード１０１は、画像センサのフォトダイオードのアレイのうちの単一のフォトダイオードであってもよい。そのような画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、または電荷結合素子（ＣＣＤ）画像センサ、またはその他の技術的に実行可能な形態の画像センサを含んでいてもよい。他の実施形態において、フォトダイオード１０１は２つ以上のフォトダイオードを含んでいてもよい。
一実施形態において、各サンプル記憶ノード１３３は、サンプルを記憶するための電荷記憶デバイスを含み、当該記憶されたサンプルは、フォトダイオード１０１において検出される光強度の関数であってもよい。たとえば、各サンプル記憶ノード１３３は、サンプルとして電荷を記憶するためのコンデンサを含んでいてもよい。そのような実施形態では、各コンデンサは、露光時間中またはサンプル時間中に蓄積された露光に対応する電荷を記憶する。たとえば、関連付けられているフォトダイオードから各コンデンサにおいて受
信した電流によって、予め充電されているコンデンサが、フォトダイオードにおいて検出された入射光強度に比例する速度で放電し得る。その後、各コンデンサの残留電荷が、コンデンサから値として出力され得る。たとえば、各コンデンサの残留電荷は、コンデンサ上の残留電荷の関数であるアナログ値として出力され得る。
この目的のために、コンデンサから受信されたアナログ値は、関連付けられているフォトダイオードにおいて検出された光の蓄積された強度の関数であってもよい。いくつかの実施形態において、各サンプル記憶ノード１３３は、フォトダイオードに基づいた入力を受信するために動作可能である回路を含んでいてもよい。たとえば、そのような回路は１つ以上のトランジスタを含んでいてもよい。当該１つ以上のトランジスタは、１つ以上の制御装置またはコンポーネントから受信される、サンプル信号、リセット信号、および行選択信号といったさまざまな制御信号にサンプル記憶ノード１３３を応答させるために構成されてもよい。他の実施形態において、各サンプル記憶ノード１３３は、フォトダイオード１０１において検出される光強度の関数である任意のサンプルまたは値を記憶するための任意のデバイスを含んでいてもよい。
さらに、図１に示されるように、周囲サンプル記憶ノード１３３（０）は第１の値１０６を出力し、フラッシュサンプル記憶ノード１３３（１）は第２の値１０８を出力する。一実施形態において、周囲サンプル記憶ノード１３３（０）は、周囲サンプル記憶ノード１３３（０）において記憶された周囲サンプルに基づいて第１の値１０６を出力し、フラッシュサンプル記憶ノード１３３（１）は、フラッシュサンプル記憶ノード１３３（１）において記憶されたフラッシュサンプルに基づいて第２の値１０８を出力する。周囲サンプルは、フォトダイオード１０１が周囲光を測定または検出する露光時間中にフォトダイオード１０１からの入力１０２に起因して周囲サンプル記憶ノード１３３（０）において記憶された任意の値を含んでいてもよい。フラッシュサンプルは、フォトダイオード１０１がフラッシュまたはストロボ照明を測定または検出する露光時間中にフォトダイオード１０１からの入力１０４に起因してフラッシュ記憶ノード１３３（１）において記憶された任意の値を含んでいてもよい。
いくつかの実施形態において、周囲サンプル記憶ノード１３３（０）は、周囲サンプル記憶ノード１３３（０）において記憶される電荷に基づいて第１の値１０６を出力し、フラッシュサンプル記憶ノード１３３（１）は、フラッシュサンプル記憶ノード１３３（１）において記憶される第２の電荷に基づいて第２の値１０８を出力する。一方の値が他方の値に先立って出力されるように第１の値１０６は第２の値１０８に対して連続的に出力されてもよく、または、第１の値１０６は第２の値１０８の出力と並列に出力されてもよい。さまざまな実施形態において、第１の値１０６は第１のアナログ値を含んでいてもよく、第２の値１０８は第２のアナログ値を含んでいてもよい。これらの値の各々は、フォトダイオードアレイの各フォトダイオードと関連付けられている少なくとも１つのアナログ値を含むアナログ信号への包含のために出力され得る電流を含んでいてもよい。そのような実施形態では、第１のアナログ値１０６は周囲アナログ信号に含まれてもよく、第２のアナログ値１０８は、周囲アナログ信号とは異なるフラッシュアナログ信号に含まれてもよい。言い換えれば、周囲アナログ信号はフォトダイオードアレイの各フォトダイオードと関連付けられているアナログ値を含むように生成されてもよく、フラッシュアナログ信号も、フォトダイオードアレイのうちのフォトダイオードの各々と関連付けられている異なるアナログ値を含むように生成されてもよい。そのような実施形態では、周囲アナログ信号のアナログ値は、関連付けられているフォトダイオードが周囲光にさらされた第１の露光時間中にサンプリングされ、フラッシュアナログ信号のアナログ値は、関連付けられているフォトダイオードがストロボまたはフラッシュ照明にさらされた第２の露光時間中にサンプリングされるであろう。
この目的のために、単一のフォトダイオードアレイが、複数のアナログ信号を生成するために利用されてもよい。複数のアナログ信号は、並行してまたは並列に生成されてもよい。さらに、複数のアナログ信号は各々、２つ以上のゲインを利用して増幅されてもよく、増幅された各アナログ信号は、２つ以上のデジタル信号が生成され得るように１つ以上のデジタル信号に変換されてもよく、各デジタル信号はデジタル画像を含んでいてもよい。したがって、周囲サンプルおよびフラッシュサンプルの同時記憶により、単一のフォトダイオードアレイが、複数のデジタル信号またはデジタル画像を並行して生成するために利用されてもよく、デジタル信号の少なくとも１つは周囲露光写真撮影シーンと関連付けられ、デジタル信号の少なくとも１つは同じ写真撮影シーンのフラッシュまたはストロボ照明露光と関連付けられている。そのような実施形態では、周囲照明で捕捉された単一の写真撮影シーンのために、異なる露光特性を有する複数のデジタル信号が実質的に同時に生成されてもよい。そのようなデジタル信号またはデジタル画像の集合は、周囲画像スタックと称され得る。また、ストロボまたはフラッシュ照明で捕捉された当該単一の写真撮影シーンのために、異なる露光特性を有する複数のデジタル信号が実質的に同時に生成され得る。そのようなデジタル信号またはデジタル画像の集合は、フラッシュ画像スタックと称され得る。
特定の実施形態において、アナログ信号は、複数の別個のアナログ信号を含み、信号増幅器は、対応する１組の別個の信号増幅器回路を含む。たとえば、画像センサの画素の行内の各画素は、アナログ信号内に関連付けられる別個のアナログ信号を有していてもよく、各別個のアナログ信号は、対応する別個の信号増幅器回路を有していてもよい。さらに、増幅された２つ以上のアナログ信号は各々、画像センサの少なくとも１つの画素からの共通のアナログ値を表わす、ゲイン調整されたアナログ画素データを含んでいてもよい。たとえば、画像センサの所与の画素について、アナログ信号において所与のアナログ値が出力されてもよく、次いで、信号増幅動作後、第１の増幅アナログ信号における第１の増幅値と、第２の増幅アナログ信号における第２の増幅値とによって、当該所与のアナログ値が表わされる。アナログ画素データは、１つ以上の所与の画素と関連付けられているアナログ信号値であってもよい。
さまざまな実施形態において、周囲画像スタックおよびフラッシュ画像スタックのデジタル画像は、どの個々の画像よりも大きいダイナミックレンジを有する１つ以上の新たなブレンド画像を生成するために結合またはブレンドされてもよい。また、周囲画像スタックおよびフラッシュ画像スタックのデジタル画像は、１つ以上の新たなブレンド画像におけるフラッシュ寄与を制御するために結合またはブレンドされてもよい。
図２は、一実施形態に従う、フラッシュ照明画像および周囲照明画像を捕捉するための方法２００を示す。選択肢として、方法２００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実行されてもよい。しかし、当然、方法２００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
動作２０２に示されるように、周囲サンプルが、画像センサのフォトダイオードからの電気信号に基づいて記憶される。さらに、周囲サンプルの記憶と少なくとも部分的に連続的に、動作２０４において、フラッシュサンプルが、画像センサのフォトダイオードからの電気信号に基づいて記憶される。上述したように、上記画像センサのフォトダイオードは、光子吸収に応答して電位差を生成するかまたはその電気抵抗を変化させる任意の半導体ダイオードを含んでいてもよい。したがって、フォトダイオードは、光強度を検出または測定するために使用されてもよく、フォトダイオードからの電気信号は、光強度の関数として変化するフォトダイオード電流を含んでいてもよい。
いくつかの実施形態において、各サンプルは、フォトダイオードを含む画像センサ上に合焦された光学画像の一部の電子表現を含んでいてもよい。そのような実施形態では、光学画像はレンズによって画像センサ上に合焦されてもよい。光学画像の電子表現は空間色強度情報を含んでいてもよく、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。一実施形態において、光学画像は写真撮影シーンの光学画像であってもよい。フォトダイオードは、画像センサのフォトダイオードのアレイのうちの単一のフォトダイオードであってもよい。そのような画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、または電荷結合素子（ＣＣＤ）画像センサ、またはその他の技術的に実行可能な形態の画像センサを含んでいてもよい。
一実施形態の文脈において、サンプルの各々は、エネルギーを蓄えることによって記憶されてもよい。たとえば、サンプルの各々は、コンデンサ上に記憶された電荷を含んでいてもよい。そのような実施形態では、周囲サンプルは、第１のコンデンサに記憶される第１の電荷を含んでいてもよく、フラッシュサンプルは、第２のコンデンサに記憶される第２の電荷を含んでいてもよい。一実施形態において、周囲サンプルはフラッシュサンプルとは異なってもよい。たとえば、周囲サンプルは、第１のコンデンサに記憶される第１の電荷を含んでいてもよく、フラッシュサンプルは、第１の電荷とは異なる、第２のコンデンサに記憶される第２の電荷を含んでいてもよい。
一実施形態において、周囲サンプルは、異なるサンプル時間にサンプリングされることに起因して、フラッシュサンプルとは異なっていてもよい。たとえば、周囲サンプルは、第１のサンプル時間中に第１のコンデンサを充電または放電することにより記憶されてもよく、フラッシュサンプルは、第２のサンプル時間中に第２のコンデンサを充電または放電することにより記憶されてもよい。第１のコンデンサおよび第２のコンデンサは実質的に同一であってもよく、所与のフォトダイオード電流について実質的に同一の速度で充電または放電されてもよい。第２のサンプル時間は、第１のコンデンサの充電または放電の完了後に第２のコンデンサが充電または放電され得るように、第１のサンプル時間の終結と同時またはほぼ同時であってもよい。
別の実施形態において、周囲サンプルは、異なる記憶特性に少なくとも部分的に起因して、フラッシュサンプルとは異なっていてもよい。たとえば、周囲サンプルは、ある期間の間、第１のコンデンサを充電または放電することにより記憶されてもよく、フラッシュサンプルは、同じ期間の間、第２のコンデンサを充電または放電することにより記憶されてもよい。第１のコンデンサおよび第２のコンデンサは異なる記憶特性を有していてもよく、および／または、異なる速度で充電または放電されてもよい。より具体的には、第１のコンデンサは、第２のコンデンサとは異なる静電容量を有していてもよい。
別の実施形態において、周囲サンプルは、第２の露光時間中に起こり、第１の露光時間の周囲照明とは異なる照明特性を提供するフラッシュまたはストロボ照明に起因して、フラッシュサンプルとは異なっていてもよい。たとえば、周囲サンプルは、周囲照明の期間の間、第１のコンデンサを充電または放電することにより記憶されてもよく、フラッシュサンプルは、フラッシュ照明の期間の間、第２のコンデンサを充電または放電することにより記憶されてもよい。第１の露光時間と第２の露光時間との照明の違いにより、第２のコンデンサは、第２の露光時間のフラッシュ照明と関連付けられている増加した光強度によって第１のコンデンサよりも速く充電または放電され得る。
さらに、動作２０６に示されるように、周囲サンプルおよびフラッシュサンプルの記憶の後、少なくとも１つの画像を生成するために、周囲サンプルに基づいて第１の値が出力され、フラッシュサンプルに基づいて第２の値が出力される。一実施形態の文脈において
、第１の値および第２の値は、連続して送信または出力される。たとえば、第１の値は第２の値に先立って送信されてもよい。別の実施形態において、第１の値および第２の値は並列に送信されてもよい。
一実施形態において、各出力値はアナログ値を含んでいてもよい。たとえば、各出力値は、周囲サンプルおよびフラッシュサンプルといった関連付けられる記憶されたサンプルを表わす電流を含んでいてもよい。より具体的には、第１の値は、記憶された周囲サンプルを表わす電流値を含んでいてもよく、第２の値は、記憶されたフラッシュサンプルを表わす電流値を含んでいてもよい。一実施形態において、第１の値は、周囲アナログ信号への包含のために出力され、第２の値は、周囲アナログ信号とは異なるフラッシュアナログ信号への包含のために出力される。さらに、各値は、それが他の記憶されたサンプルに基づいて出力された他の値と結合されるような態様で出力されてもよく、当該他の記憶されたサンプルは、画像センサの他のフォトダイオードから受信された他の電気信号に応答して記憶される。たとえば、第１の値は、周囲アナログ信号において、他の周囲サンプルに基づいて出力された値と結合されてもよく、当該他の周囲サンプルは、周囲サンプルを記憶するために利用された電気信号を送信したフォトダイオードに隣接するフォトダイオードから受信された電気信号に基づいて記憶されたものである。同様に、第２の値は、フラッシュアナログ信号において、他のフラッシュサンプルに基づいて出力される値と結合されてもよく、当該他のフラッシュサンプルは、フラッシュサンプルを記憶するために利用された電気信号を送信したフォトダイオードに隣接する同じフォトダイオードから受信された電気信号に基づいて記憶されたものである。
最後に、動作２０８において、第１の値および第２の値のうちの少なくとも１つが、２つ以上のゲインを利用して増幅される。一実施形態において、各出力値がアナログ値を含む場合、第１の値および第２の値のうちの少なくとも１つを増幅することにより、少なくとも２つの増幅アナログ値が得られ得る。別の実施形態において、第１の値が周囲アナログ信号への包含のために出力されるとともに第２の値が周囲アナログ信号とは異なるフラッシュアナログ信号への包含のために出力される場合、周囲アナログ信号またはフラッシュアナログ信号のうちの１つが、２つ以上のゲインを各々利用して増幅されてもよい。たとえば、第１の値を含む周囲アナログ信号は、第１の値が第１のゲインおよび第２のゲインで増幅されるように、第１のゲインおよび第２のゲインで増幅されてもよい。周囲アナログ信号を第１のゲインで増幅することにより、第１の増幅周囲アナログ信号が得られてもよく、周囲アナログ信号を第２のゲインで増幅することにより、第２の増幅周囲アナログ信号が得られてもよい。当然、２つ以上のゲインを使用して３つ以上のアナログ信号が増幅されてもよい。一実施形態において、各増幅アナログ信号は、デジタル画像を含むデジタル信号に変換されてもよい。
この目的のために、第１の露光時間またはサンプル時間において捕捉され、周囲光で照明された１組の周囲サンプルに基づいた周囲アナログ信号と、第２の露光時間またはサンプル時間において捕捉され、フラッシュまたはストロボ照明で照明された１組のフラッシュサンプルに基づいたフラッシュアナログ信号とを生成するために、フォトダイオードのアレイが利用されてもよい。１組の周囲サンプルおよび１組のフラッシュサンプルは、同じ写真撮影シーンの２つの異なる組のサンプルであってもよい。さらに、各アナログ信号は、画像センサの各画素の各フォトダイオードに基づいて生成されるアナログ値を含んでいてもよい。各アナログ値は、当該アナログ値と関連付けられているフォトダイオードにおいて測定される光強度を表わしていてもよい。したがって、アナログ信号は、各々が連続アナログ値によって表わされる１組の空間的に離散した強度サンプルであってもよく、アナログ画素データは、１つ以上の所与の画素と関連付けられているアナログ信号値であってもよい。さらに、各アナログ信号には、増幅といったその後の処理が行なわれてもよい。当該処理は、デジタル画像を各々構成し得るデジタル画素データを各々含む１つ以上
のデジタル信号へのアナログ信号の変換を促進してもよい。
本明細書に開示されている実施形態は、カメラモジュールが、従来の技術よりも低い（たとえばゼロの、またはほぼゼロの、等）サンプル間時間（たとえばフレーム間、等）で画像スタックを構成する画像をサンプリングすることを有利に可能にしてもよい。特定の実施形態において、アナログ画像スタックおよびフラッシュ画像スタックを構成する画像は効果的にサンプリングされ、または同時にもしくはほぼ同時に捕捉され、これによってサンプル間時間はゼロに減少し得る。他の実施形態では、カメラモジュールは、ストロボユニットと協調して画像をサンプリングして、ストロボ照明を用いずにサンプリングされた画像とストロボ照明を用いてサンプリングされた画像との間のサンプル間時間を減少させ得る。
上述の方法がユーザの希望に従って実行されてもされなくてもよいさまざまな随意のアーキテクチャおよび使用に関して、より例示的な情報を以下に記載する。以下の情報は例示目的で記載されており、いかなる意味でも限定的であると解釈されるべきでないことに強く留意すべきである。以下の特徴はいずれも、説明される他の特徴を除外してまたは除外せずに随意に組込まれ得る。
図３Ａは、一実施形態に従うデジタル写真撮影システム３００を示す。選択肢として、デジタル写真撮影システム３００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタル写真撮影システム３００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
示されるように、デジタル写真撮影システム３００は、配線３３４を介してカメラモジュール３３０に結合されたプロセッサ複合体３１０を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はストロボユニット３３６に結合されている。デジタル写真撮影システム３００はさらに、表示ユニット３１２、１組の入出力デバイス３１４、不揮発性メモリ３１６、揮発性メモリ３１８、ワイヤレスユニット３４０およびセンサデバイス３４２を含み得るがこれらに限定されず、これらの各々はプロセッサ複合体３１０に結合されている。一実施形態において、電力管理サブシステム３２０が、デジタル写真撮影システム３００内の電気負荷要素の各々に適切な電源電圧を生成するように構成される。電池３２２が、電気エネルギを電力管理サブシステム３２０に供給するように構成されてもよい。電池３２２は、一次または二次電池技術を含む任意の技術的に実行可能なエネルギ貯蔵システムを実現し得る。当然、他の実施形態では、より多いもしくは少ない特徴、ユニット、デバイス、センサ、またはサブシステムがシステムに含まれていてもよい。
一実施形態において、ストロボユニット３３６は、デジタル写真撮影システム３００に統合され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。別の実施形態において、ストロボユニット３３６は、デジタル写真撮影システム３００から独立したデバイスとして実現され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。ストロボユニット３３６は、１つ以上のＬＥＤ素子、ガス放電照明器（たとえばキセノンストロボデバイス、キセノンフラッシュランプ等）、またはその他の技術的に実行可能な照明デバイスを含んでいてもよい。特定の実施形態において、２つ以上のストロボユニットが、画像のサンプリングと共にストロボ照明を同期して生成するように構成される。一実施形態において、ストロボユニット３３６は、ストロボ制御信号３３８を通して、ストロボ照明３５０を発するようにまたはストロボ照明３５０を発しないように制御される。ストロボ制御信号３３８は、任意の技術的に実行可能な信号伝送プロトコルを用いて実現されてもよい。ストロボ制御信号３３８は、スト
ロボユニット３３６に指定強度および／または色のストロボ照明３５０を生成するように命じるためのストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を指示してもよい。ストロボ制御信号３３８は、プロセッサ複合体３１０、カメラモジュール３３０によって、またはその他の技術的に実行可能なそれらの組合せによって生成されてもよい。一実施形態において、ストロボ制御信号３３８は、プロセッサ複合体３１０内のカメラインターフェイスユニットによって生成され、配線３３４を介してストロボユニット３３６およびカメラモジュール３３０の両方に送信される。別の実施形態において、ストロボ制御信号３３８は、カメラモジュール３３０によって生成され、配線３３４を介してストロボユニット３３６に送信される。
写真撮影シーン内のオブジェクトから反射したストロボ照明３５０の少なくとも一部を含み得る光学シーン情報３５２が、カメラモジュール３３０内の画像センサ３３２上に光学画像として合焦される。画像センサ３３２は光学画像の電子表現を生成する。電子表現は空間色強度情報を含み、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。電子表現は、任意の技術的に実行可能な信号伝送プロトコルを実現し得る配線３３４を介してプロセッサ複合体３１０に送信される。
一実施形態において、入出力デバイス３１４は、容量性タッチ入力表面、抵抗性タブレット入力表面、１つ以上のボタン、１つ以上のノブ、発光素子、光検出素子、音響放射素子、音響検出素子、またはユーザ入力を受信して当該入力を電気信号に変換する、もしくは電気信号を物理的信号に変換するためのその他の技術的に実行可能な素子を含み得るがこれらに限定されない。一実施形態において、入出力デバイス３１４は、表示ユニット３１２に結合された容量性タッチ入力表面を含む。タッチエントリ表示システムが、表示ユニット３１２、およびこれもプロセッサ複合体３１０に結合された容量性タッチ入力表面を含んでいてもよい。
また、他の実施形態では、不揮発性（ＮＶ）メモリ３１６は、電力が遮断されるとデータを記憶するように構成される。一実施形態において、ＮＶメモリ３１６は１つ以上のフラッシュメモリデバイス（たとえばＲＯＭ、ＰＣＭ、ＦｅＲＡＭ、ＦＲＡＭ（登録商標）、ＰＲＡＭ、ＭＲＡＭ、ＮＲＡＭ等）を含む。ＮＶメモリ３１６は非一時的なコンピュータ読取可能媒体を含み、当該媒体は、プロセッサ複合体３１０内の１つ以上の処理装置によって実行されるプログラミング命令を含むように構成されてもよい。プログラミング命令は、オペレーティングシステム（ＯＳ）、ＵＩソフトウェアモジュール、画像処理および記憶ソフトウェアモジュール、プロセッサ複合体３１０に接続された１つ以上の入出力デバイス３１４、カメラモジュール３３０を通して画像スタックをサンプリングするための１つ以上のソフトウェアモジュール、画像スタックまたは画像スタックから生成された１つ以上の合成画像を表示ユニット３１２を通して提示するための１つ以上のソフトウェアモジュールを実現し得るがこれらに限定されない。一例として、一実施形態において、プログラミング命令はさらに、画像スタック内の画像同士もしくは画像の一部同士を併合し、画像スタック内の各画像の少なくとも一部同士を整列させるための、またはそれらの組合せのための１つ以上のソフトウェアモジュールを実現し得る。別の実施形態において、プロセッサ複合体３１０はプログラミング命令を実行するように構成されてもよく、当該命令は、高ダイナミックレンジ（ＨＤＲ）画像を作成するように動作可能な１つ以上のソフトウェアモジュールを実現し得る。
さらに、一実施形態において、ＮＶメモリ３１６を含む１つ以上のメモリデバイスが、ユーザによってインストールまたは除去されるように構成されたモジュールとしてパッケージ化されてもよい。一実施形態において、揮発性メモリ３１８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み、当該ダイナミックランダムアクセスメモリは、デジ
タル写真撮影システム３００の通常動作中にアクセスされる、プログラミング命令、画像スタックと関連付けられているデータなどの画像データなどを一時的に記憶するように構成される。当然、揮発性メモリは、任意の態様で、プロセッサ複合体３１０に取付けられたその他の入出力デバイス３１４またはセンサデバイス３４２と関連して使用されてもよい。
一実施形態において、センサデバイス３４２は、動作および／もしくは方向を検出する加速度計、動作および／もしくは方向を検出する電子ジャイロスコープ、方向を検出する磁束検出器、地理的位置を検出する全地球測位システム（ＧＰＳ）モジュール、の１つ以上、またはそれらの任意の組合せを含み得るがこれらに限定されない。当然、動作検出センサ、近接センサ、ＲＧＢ光センサ、ジェスチャセンサ、３Ｄ入力画像センサ、圧力センサ、および屋内位置センサを含むがこれらに限定されない他のセンサがセンサデバイスとして統合されてもよい。一実施形態において、当該センサデバイスは入出力デバイス３１４の一例であり得る。
ワイヤレスユニット３４０は、デジタルデータを送受信するように構成された１つ以上のデジタルラジオを含んでいてもよい。特に、ワイヤレスユニット３４０は無線規格（たとえばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等）を実現し得、データ通信のためのデジタルセルラー電話規格（たとえばＣＤＭＡ、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥアドバンスト等）を実現し得る。当然、任意の無線規格またはデジタルセルラー電話規格が使用されてもよい。
一実施形態において、デジタル写真撮影システム３００は、１つ以上のデジタル写真をワイヤレスユニット３４０を介してネットワークベースの（オンライン）または「クラウドベースの」写真メディアサービスに送信するように構成される。１つ以上のデジタル写真は、ＮＶメモリ３１６もしくは揮発性メモリ３１８のいずれか一方、またはプロセッサ複合体３１０と関連付けられているその他のメモリデバイスの内部に存在し得る。一実施形態において、ユーザは、オンライン写真メディアサービスにアクセスするための、かつ、１つ以上のデジタル写真を送信してオンライン写真メディアサービスに保存する、オンライン写真メディアサービスから取出す、およびオンライン写真メディアサービスによって提示するためのクレデンシャルを所有していてもよい。クレデンシャルは、デジタル写真を送信する前にデジタル写真撮影システム３００内で記憶または生成されてもよい。オンライン写真メディアサービスは、ソーシャルネットワーキングサービス、写真共有サービス、またはデジタル写真の保存、デジタル写真の処理、デジタル写真の送信、デジタル写真の共有、もしくはそれらの任意の組合せを提供するその他のネットワークベースのサービスを含んでいてもよい。特定の実施形態において、１つ以上のデジタル写真が、オンライン写真メディアサービスと関連付けられているサーバに送信される画像データ（たとえば画像スタック、ＨＤＲ画像スタック、画像パッケージ等）に基づいてオンライン写真メディアサービスによって生成される。そのような実施形態では、ユーザはデジタル写真撮影システム３００からの１つ以上のソース画像を、オンライン写真メディアサービスによって処理するためにアップロードしてもよい。
一実施形態において、デジタル写真撮影システム３００はカメラモジュール３３０の少なくとも１つのインスタンスを含む。別の実施形態において、デジタル写真撮影システム３００は複数のカメラモジュール３３０を含む。そのような実施形態はさらに、複数のカメラモジュール３３０によって複数の視野としてサンプリングされた写真撮影シーンを照明するように構成された少なくとも１つのストロボユニット３３６を含んでいてもよい。複数のカメラモジュール３３０は、広角視野（たとえばカメラ間の４５度のスイープよりも大きい）をサンプリングしてパノラマ写真を生成するように構成されてもよい。一実施形態において、複数のカメラモジュール３３０は、２つ以上の狭角視野（たとえばカメラ
間の４５度のスイープよりも小さい）をサンプリングしてステレオ写真を生成するように構成されてもよい。他の実施形態では、複数のカメラモジュール３３０は、表示ユニット３１２もしくはその他の表示デバイス上に示されるような３Ｄ画像を生成するように、または他の態様で遠近感（たとえばｚ成分等）を表示するように構成されてもよい。
一実施形態において、表示ユニット３１２は、画素の二次元アレイを表示して表示用の画像を形成するように構成されてもよい。表示ユニット３１２は、液晶（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、またはその他の技術的に実行可能な種類のディスプレイを含んでいてもよい。特定の実施形態において、表示ユニット３１２は、単一のＨＤＲ画像内で、または多重露光もしくはＨＤＲ画像スタックを構成する１組の２つ以上の画像にわたって、などで、写真撮影シーンからサンプリングされた強度値の全範囲よりも狭いダイナミックレンジの画像強度値を表示することが可能であり得る。一実施形態において、画像スタックを構成する画像は、任意の技術的に実行可能なＨＤＲブレンド技術に従って併合されて、表示ユニット３１２のダイナミックレンジ制約内で表示用の合成画像を生成してもよい。一実施形態において、制限されるダイナミックレンジは、対応する色強度の８ビット／カラーチャネルバイナリ表現を指定してもよい。他の実施形態では、制限されるダイナミックレンジは、８ビットよりも多いビット（たとえば１０ビット、１２ビット、または１４ビット等）／カラーチャネルバイナリ表現を指定してもよい。
図３Ｂは、一実施形態に従う、図３Ａのデジタル写真撮影システム３００内のプロセッサ複合体３１０を示す。選択肢として、プロセッサ複合体３１０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、プロセッサ複合体３１０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
示されるように、プロセッサ複合体３１０は、プロセッササブシステム３６０を含み、メモリサブシステム３６２を含んでいてもよい。一実施形態において、プロセッサ複合体３１０は、プロセッササブシステム３６０を実現するシステムオンチップ（system on a chip：ＳｏＣ）デバイスを含んでいてもよく、メモリサブシステム３６２は、プロセッササブシステム３６０に結合された１つ以上のＤＲＡＭデバイスを含む。別の実施形態において、プロセッサ複合体３１０は、ＳｏＣデバイスと、メモリサブシステム３６２を構成する１つ以上のＤＲＡＭデバイスとをカプセル化するマルチチップモジュール（multi-chip module：ＭＣＭ）を含んでいてもよい。
プロセッササブシステム３６０は、１つ以上の中央処理装置（ＣＰＵ）コア３７０、メモリインターフェイス３８０、入出力インターフェイスユニット３８４、および表示インターフェイスユニット３８２を含み得るがこれらに限定されず、これらの各々が配線３７４に結合されている。１つ以上のＣＰＵコア３７０は、メモリサブシステム３６２、揮発性メモリ３１８、ＮＶメモリ３１６、またはそれらの任意の組合せの内部に存在している命令を実行するように構成されてもよい。１つ以上のＣＰＵコア３７０の各々は、配線３７４およびメモリインターフェイス３８０を通してデータを取出して記憶するように構成されてもよい。一実施形態において、１つ以上のＣＰＵコア３７０の各々は、データキャッシュおよび命令キャッシュを含んでいてもよい。また、ＣＰＵコア３７０の２つ以上が、データキャッシュ、命令キャッシュ、またはそれらの任意の組合せを共有してもよい。一実施形態において、各ＣＰＵコア３７０にプライベートキャッシュ層および共有キャッシュ層を提供するようにキャッシュ階層が実現される。
いくつかの実施形態において、プロセッササブシステム３６０は、１つ以上のグラフィック処理装置（ＧＰＵ）コア３７２を含んでいてもよい。各ＧＰＵコア３７２は、たとえ
ばグラフィック加速機能を実現するようにプログラミングされ得る複数のマルチスレッド実行ユニットを含んでいてもよい。さまざまな実施形態において、ＧＰＵコア３７２は、周知の規格（たとえばＯｐｅｎＧＬ（商標）、ＷｅｂＧＬ（商標）、ＯｐｅｎＣＬ（商標）、ＣＵＤＡ（商標）等）、および／またはその他のプログラム可能なレンダリンググラフィック規格に従ってマルチスレッドプログラムを実行するように構成されてもよい。特定の実施形態において、少なくとも１つのＧＰＵコア３７２が、周知のＨａｒｒｉｓ検出器または周知のＨｅｓｓｉａｎ−Ｌａｐｌａｃｅ検出器などの動作推定機能の少なくとも一部を実現する。そのような動作推定機能を使用して、画像スタック内の画像同士または画像の一部同士を少なくとも部分的に整列させてもよい。たとえば、一実施形態において、画像スタックに基づいてＨＤＲ画像がコンパイルされてもよく、ＨＤＲ画像をコンパイルする前に２つ以上の画像がまず整列される。
示されるように、配線３７４は、メモリインターフェイス３８０、表示インターフェイスユニット３８２、入出力インターフェイスユニット３８４、ＣＰＵコア３７０、およびＧＰＵコア３７２の間でデータを伝送するように構成される。さまざまな実施形態において、配線３７４は、１本以上のバス、１つ以上のリング、クロスバー、メッシュ、またはその他の技術的に実行可能なデータ伝送構造もしくは技術を実現し得る。メモリインターフェイス３８０は、メモリサブシステム３６２を配線３７４に結合するように構成される。メモリインターフェイス３８０はさらに、ＮＶメモリ３１６、揮発性メモリ３１８、またはそれらの任意の組合せを配線３７４に結合してもよい。表示インターフェイスユニット３８２は、表示ユニット３１２を配線３７４に結合するように構成されてもよい。表示インターフェイスユニット３８２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。または、別の実施形態において、表示ユニット３１２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。入出力インターフェイスユニット３８４は、さまざまな入出力デバイスを配線３７４に結合するように構成されてもよい。
特定の実施形態において、カメラモジュール３３０は、画像スタックと関連付けられている各画像をサンプリングするための露光パラメータを記憶するように構成される。たとえば、一実施形態において、カメラモジュール３３０は、写真撮影シーンをサンプリングするように命じられると、記憶された露光パラメータに従って画像スタックを構成する１組の画像をサンプリングしてもよい。カメラモジュール３３０に画像スタックをサンプリングするように命じる前に、プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールが露光パラメータを生成して記憶してもよい。他の実施形態では、カメラモジュール３３０を使用して画像または画像スタックが計測されてもよく、カメラモジュール３３０に画像を捕捉するように命じる前に、プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールは計測パラメータを生成して記憶してもよい。当然、カメラモジュール３３０はプロセッサ複合体３１０と組合されて任意の態様で使用されてもよい。
一実施形態において、画像スタックを構成する画像と関連付けられている露光パラメータは、１つ以上の画像についての露光パラメータを含む露光パラメータデータ構造内に記憶されてもよい。別の実施形態において、プロセッサ複合体３１０内のカメラインターフェイスユニット（図３Ｂには図示せず）が、露光パラメータデータ構造から露光パラメータを読出し、写真撮影シーンのサンプリングに備えて、関連付けられている露光パラメータをカメラモジュール３３０に送信するように構成されてもよい。カメラモジュール３３０が露光パラメータに従って構成された後、カメラインターフェイスはカメラモジュール３３０に写真撮影シーンをサンプリングするように命じてもよく、カメラモジュール３３０は次いで、対応する画像スタックを生成してもよい。露光パラメータデータ構造は、カメラインターフェイスユニット、プロセッサ複合体３１０内のメモリ回路、揮発性メモリ
３１８、ＮＶメモリ３１６、カメラモジュール３３０の内部に、またはその他の技術的に実行可能なメモリ回路の内部に記憶されてもよい。さらに、別の実施形態において、プロセッサ複合体３１０内で実行されるソフトウェアモジュールが露光パラメータデータ構造を生成して記憶してもよい。
図３Ｃは、一実施形態に従うデジタルカメラ３０２を示す。選択肢として、デジタルカメラ３０２は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタルカメラ３０２は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、デジタルカメラ３０２は、図３Ａのデジタル写真撮影システム３００などのデジタル写真撮影システムを含むように構成されてもよい。示されるように、デジタルカメラ３０２はカメラモジュール３３０を含み、当該カメラモジュールは、写真撮影シーンを表わす光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。
また、デジタルカメラ３０２はストロボユニット３３６を含んでいてもよく、写真撮影サンプルイベントをトリガするためのシャッターリリースボタン３１５を含んでいてもよく、これによってデジタルカメラ３０２は電子表現を構成する１つ以上の画像をサンプリングする。他の実施形態では、その他の技術的に実行可能なシャッターリリース機構が写真撮影サンプルイベントをトリガしてもよい（たとえばタイマトリガまたは遠隔制御トリガ等）。
図３Ｄは、一実施形態に従うワイヤレスモバイルデバイス３７６を示す。選択肢として、モバイルデバイス３７６は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、モバイルデバイス３７６は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、モバイルデバイス３７６は、写真撮影シーンをサンプリングするように構成されているデジタル写真撮影システム（たとえば図３Ａのデジタル写真撮影システム３００など）を含むように構成されてもよい。さまざまな実施形態において、カメラモジュール３３０は、写真撮影シーンを表わす光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。さらに、表示ユニット３１２を含むタッチエントリ表示システム上のタッチジェスチャによって起動され得る仮想ボタン、またはモバイルデバイス３７６の任意の面もしくは表面上に位置し得る物理的ボタンなどの、任意の技術的に実行可能な機構を通して、シャッターリリースコマンドが生成されてもよい。当然、他の実施形態では、任意の数の他のボタン、外部入出力、またはデジタル入出力がモバイルデバイス３７６上に含まれていてもよく、カメラモジュール３３０と併用されてもよい。
示されるように、一実施形態において、表示ユニット３１２を含むタッチエントリ表示システムが、モバイルデバイス３７６のカメラモジュール３３０とは反対側に配置されている。特定の実施形態において、モバイルデバイス３７６は、ユーザの方を向くカメラモジュール３３１を含み、ユーザの方を向くストロボユニット（図示せず）を含んでいてもよい。当然、他の実施形態では、モバイルデバイス３７６は、任意の数の、ユーザの方を向くカメラモジュールまたは後ろ向きのカメラモジュール、および任意の数の、ユーザの方を向くストロボユニットまたは後ろ向きのストロボユニットを含んでいてもよい。
いくつかの実施形態において、デジタルカメラ３０２およびモバイルデバイス３７６は各々、カメラモジュール３３０によってサンプリングされた画像スタックに基づいて合成画像を生成して記憶してもよい。画像スタックは、周囲照明条件下でサンプリングされた１つ以上の画像、ストロボユニット３３６からのストロボ照明下でサンプリングされた１つ以上の画像、またはそれらの組合せを含んでいてもよい。
図３Ｅは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、カメラモジュール３３０は、ストロボ制御信号３３８を通してストロボユニット３３６を制御するように構成されてもよい。示されるように、レンズ３９０が、光学シーン情報３５２をサンプリングされるために画像センサ３３２上に合焦するように構成される。一実施形態において、画像センサ３３２は、ストロボ制御信号３３８を通してストロボユニット３３６の詳細なタイミングを有利に制御して、ストロボユニット３３６が有効な状態でサンプリングされた画像とストロボユニット３３６が無効な状態でサンプリングされた画像との間のサンプル間時間を減少させる。たとえば、画像センサ３３２は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後であってストロボ画像をサンプリングする前に、ストロボユニット３３６が１マイクロ秒未満（または任意の所望の長さ）にわたってストロボ照明３５０を発することを可能にし得る。
他の実施形態では、ストロボ照明３５０は所望の１つ以上のターゲットポイントに基づいて構成されてもよい。たとえば、一実施形態において、ストロボ照明３５０は前景内のオブジェクトを照らし出してもよく、露光時間の長さに依存して、画像の背景内のオブジェクトも照らし出してもよい。一実施形態において、ストロボユニット３３６がいったん有効になると、画像センサ３３２はその直後にストロボ画像を露光し始めてもよい。ゆえに、画像センサ３３２はサンプリング動作を直接制御することが可能であってもよく、当該サンプリング動作は、ストロボユニット３３６が無効な状態でサンプリングされた少なくとも１つの画像、およびストロボユニット３３６が有効または無効な状態でサンプリングされた少なくとも１つの画像を含み得る画像スタックの生成と関連付けられているストロボユニット３３６の有効化および無効化を含む。一実施形態において、画像センサ３３２によってサンプリングされた画像スタックを構成するデータが、配線３３４を介してプロセッサ複合体３１０内のカメラインターフェイスユニット３８６に送信される。いくつかの実施形態において、カメラモジュール３３０は画像センサコントローラを含んでいてもよく、当該コントローラは画像センサ３３２の動作制御と共にストロボ制御信号３３８を生成するように構成されてもよい。
図３Ｆは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、カメラモジュール３３０は、ストロボユニット３３６についての状態情報に基づいて画像をサンプリングするように構成されてもよい。状態情報は、ストロボユニット３３６に指定強度および／または色のストロボ照明３５０を生成するように命じるための１つ以上のストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を含み得るがこれらに限定されない。一実施形態において、ストロボユニッ
ト３３６と関連付けられている状態情報を構成するためのコマンドがストロボ制御信号３３８を通して送信されてもよく、当該信号は、ストロボユニット３３６が有効になった時を検出するためにカメラモジュール３３０によって監視され得る。たとえば、一実施形態において、カメラモジュール３３０は、ストロボ制御信号３３８によってストロボユニット３３６が有効または無効になってから１マイクロ秒以下内に、ストロボユニット３３６が有効または無効になった時を検出し得る。ストロボ照明を必要とする画像をサンプリングするために、カメラインターフェイスユニット３８６は、有効化コマンドをストロボ制御信号３３８を通して送信することによってストロボユニット３３６を有効にしてもよい。一実施形態において、カメラインターフェイスユニット３８６は、図３Ｂのプロセッサ複合体３１０のプロセッササブシステム３６０内の入出力インターフェイス３８４のインターフェイスとして含まれていてもよい。有効化コマンドは、信号レベル遷移、データパケット、レジスタ書込み、またはその他の技術的に実行可能なコマンドの送信を含んでいてもよい。カメラモジュール３３０はストロボユニット３３６が有効であることを検知し、次いで、ストロボユニット３３６が有効である間に、画像センサ３３２にストロボ照明を必要とする１つ以上の画像をサンプリングさせてもよい。そのような実現例では、画像センサ３３２は、ストロボユニット３３６宛ての有効化信号を、新たな露光のサンプリングを開始するトリガ信号として待つように構成されてもよい。
一実施形態において、カメラインターフェイスユニット３８６は、露光パラメータおよびコマンドを配線３３４を通してカメラモジュール３３０に送信してもよい。特定の実施形態において、カメラインターフェイスユニット３８６は、制御コマンドをストロボ制御信号３３８を通してストロボユニット３３６に送信することによってストロボユニット３３６を直接制御するように構成されてもよい。カメラモジュール３３０およびストロボユニット３３６の両方を直接制御することによって、カメラインターフェイスユニット３８６は、カメラモジュール３３０およびストロボユニット３３６に、正確な時間同期でそれぞれの動作を実行させてもよい。一実施形態において、正確な時間同期は５００マイクロ秒未満のイベントタイミングエラーであってもよい。また、イベントタイミングエラーは、意図されたイベント発生から対応する実際のイベント発生の時間までの時間差であってもよい。
別の実施形態において、カメラインターフェイスユニット３８６は、カメラモジュール３３０から画像データを受信している間に統計を蓄積するように構成されてもよい。特に、カメラインターフェイスユニット３８６は、配線３３４を通して所与の画像についての画像データを受信している間に当該画像についての露光統計を蓄積してもよい。露光統計は、強度ヒストグラム、露光過剰の画素のカウント、露光不足の画素のカウント、画素強度の強度加重和、のうちの１つ以上、またはそれらの任意の組合せを含み得るがこれらに限定されない。カメラインターフェイスユニット３８６は、プロセッサ複合体３１０内のＣＰＵコア３７０のうちの１つ以上などのプロセッサによって規定される物理または仮想アドレス空間内のメモリマップされた記憶場所として、露光統計を提示してもよい。一実施形態において、露光統計は、メモリマップされたレジスタ空間内にマップされる記憶回路内に存在しており、これは配線３３４を通してアクセスされ得る。他の実施形態では、露光統計は、捕捉した画像についての画素データの送信と共に送信される。たとえば、所与の画像についての露光統計は、捕捉した画像についての画素強度データの送信に続いて、インラインデータとして送信されてもよい。露光統計は、カメラインターフェイスユニット３８６内で計算、記憶、またはキャッシュされてもよい。
一実施形態において、カメラインターフェイスユニット３８６は、シーンホワイトバランスを推定するための色統計を蓄積してもよい。赤色、緑色および青色カラーチャネルを含む異なるカラーチャネルについての強度の和などの、ホワイトバランスを推定するための任意の技術的に実行可能な色統計が蓄積されてもよい。次いで、カラーチャネル強度の
和を用いて、グレーワールドホワイトバランスモデルなどのホワイトバランスモデルに従って、関連画像に対してホワイトバランス色補正が実行されてもよい。他の実施形態では、画像に対してホワイトバランス補正を実現するために用いられる一次または二次曲線適合のための曲線適合統計が蓄積される。
一実施形態において、カメラインターフェイスユニット３８６は、周囲画像と、ストロボ照明を用いてサンプリングされた１つ以上の画像との間など、画像同士の間でカラーマッチングを実行するための空間色統計を蓄積してもよい。露光統計と同様に、色統計はプロセッサ複合体３１０内のメモリマップされた記憶場所として提示されてもよい。一実施形態において、色統計はメモリマップされたレジスタ空間内にマップされ、これはプロセッササブシステム３６０内で配線３３４を通してアクセスされ得る。他の実施形態では、色統計は、捕捉した画像についての画素データの送信と共に送信されてもよい。たとえば、一実施形態において、所与の画像についての色統計は、当該画像についての画素強度データの送信に続いて、インラインデータとして送信されてもよい。色統計は、カメラインターフェイス３８６内で計算、記憶、またはキャッシュされてもよい。
一実施形態において、カメラモジュール３３０はストロボ制御信号３３８をストロボユニット３３６に送信して、カメラモジュール３３０が画像をサンプリングしている間にストロボユニット３３６が照明を生成することを可能にしてもよい。別の実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効であるという指示信号をカメラインターフェイスユニット３８６から受信すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。さらに別の実施形態において、カメラモジュール３３０は、シーン照明の急激な増加を介して写真撮影シーン内のストロボ照明を検出すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。一実施形態において、シーン照明の急激な増加は、ストロボユニット３３６を有効にする強度の増加率と一致した強度の増加率を少なくとも含んでいてもよい。さらに別の実施形態において、カメラモジュール３３０は、１つの画像をサンプリングしている間にストロボユニット３３６を有効にしてストロボ照明を生成し、別の画像をサンプリングしている間にストロボユニット３３６を無効にしてもよい。
図３Ｇは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、カメラモジュール３３０はアプリケーションプロセッサ３３５と通信していてもよい。カメラモジュール３３０は、コントローラ３３３と通信している画像センサ３３２を含むとして示されている。さらに、コントローラ３３３はアプリケーションプロセッサ３３５と通信しているとして示されている。
一実施形態において、アプリケーションプロセッサ３３５はカメラモジュール３３０の外部に存在していてもよい。示されるように、レンズ３９０は、光学シーン情報をサンプリングされるために画像センサ３３２上に合焦するように構成されてもよい。次いで、画像センサ３３２によってサンプリングされた光学シーン情報は、その後の処理およびアプリケーションプロセッサ３３５への通信の少なくとも一方のために、画像センサ３３２からコントローラ３３３に通信されてもよい。別の実施形態において、コントローラ３３３は、画像センサ３３２によってサンプリングされた光学シーン情報の記憶、または処理された光学シーン情報の記憶を制御してもよい。
別の実施形態において、コントローラ３３３は、画像センサ３３２が周囲画像のサンプ
リングと関連付けられている露光時間を完了した後に、ストロボユニットが短い期間（たとえば１マイクロ秒未満等）の間ストロボ照明を発することを可能にしてもよい。さらに、コントローラ３３３は、画像センサ３３２の動作制御と共にストロボ制御信号３３８を生成するように構成されてもよい。
一実施形態において、画像センサ３３２は、相補型金属酸化膜半導体（ＣＭＯＳ）センサまたは電荷結合素子（ＣＣＤ）センサであってもよい。別の実施形態において、コントローラ３３３および画像センサ３３２は、集積システムまたは集積回路として共にパッケージ化されてもよい。さらに別の実施形態において、コントローラ３３３および画像センサ３３２は別個のパッケージを含んでいてもよい。一実施形態において、コントローラ３３３は、画像センサ３３２からの光学シーン情報の受信、光学シーン情報の処理、さまざまな機能のタイミング、およびアプリケーションプロセッサ３３５と関連付けられているシグナリングのための回路を提供してもよい。さらに、別の実施形態において、コントローラ３３３は、露光、シャッタリング、ホワイトバランス、およびゲイン調整のうちの１つ以上を制御するための回路を提供してもよい。コントローラ３３３の回路による光学シーン情報の処理は、ゲイン適用、増幅、およびアナログ−デジタル変換ののうちの１つ以上を含んでいてもよい。光学シーン情報を処理した後、コントローラ３３３は対応するデジタル画素データをアプリケーションプロセッサ３３５などに送信してもよい。
一実施形態において、アプリケーションプロセッサ３３５は、プロセッサ複合体３１０および揮発性メモリ３１８とＮＶメモリ３１６との少なくとも一方、またはその他のメモリデバイスおよび／もしくはシステム上で実現されてもよい。アプリケーションプロセッサ３３５は、カメラモジュール３３０からアプリケーションプロセッサ３３５に通信される受信した光学シーン情報またはデジタル画素データの処理のために予め構成されてもよい。
図４は、一実施形態に従うネットワークサービスシステム４００を示す。選択肢として、ネットワークサービスシステム４００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ネットワークサービスシステム４００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、ネットワークサービスシステム４００は、デジタル写真撮影システムを実現するデバイスにネットワークアクセスを提供するように構成されてもよい。示されるように、ネットワークサービスシステム４００は、ワイヤレスモバイルデバイス３７６、無線アクセスポイント４７２、データネットワーク４７４、データセンタ４８０、およびデータセンタ４８１を含む。ワイヤレスモバイルデバイス３７６は、デジタル無線リンク４７１を介して無線アクセスポイント４７２と通信して、デジタル画像と関連付けられているデータを含むデジタルデータを送受信してもよい。ワイヤレスモバイルデバイス３７６および無線アクセスポイント４７２は、本発明の範囲および精神から逸脱することなく、デジタル無線リンク４７１を介してデジタルデータを伝送するための任意の技術的に実行可能な伝送技術を実現し得る。特定の実施形態において、データセンタ４８０、４８１のうちの１つ以上は、所与のデータセンタ４８０、４８１内の各システムおよびサブシステムが、指定されたデータ処理およびネットワークタスクを実行するように構成された仮想マシンを含み得るように、仮想構造を用いて実現されてもよい。他の実現例では、データセンサ４８０、４８１のうちの１つ以上は、複数の物理的サイトにわたって物理的に分散していてもよい。
ワイヤレスモバイルデバイス３７６は、デジタルカメラを含むように構成されたスマートフォン、ワイヤレスネットワーク接続性を含むように構成されたデジタルカメラ、現実
拡張デバイス、デジタルカメラおよびワイヤレスネットワーク接続性を含むように構成されたラップトップ、またはデジタル写真撮影システムおよびワイヤレスネットワーク接続性を含むように構成されたその他の技術的に実行可能なコンピューティングデバイスを含んでいてもよい。
さまざまな実施形態において、無線アクセスポイント４７２は、デジタル無線リンク４７１を介してワイヤレスモバイルデバイス３７６と通信するように、かつ、電気、光学、または無線伝送媒体などの任意の技術的に実行可能な伝送媒体を介してデータネットワーク４７４と通信するように構成されてもよい。たとえば、一実施形態において、無線アクセスポイント４７２は、無線アクセスポイント４７２に、かつデータネットワーク４７４内のルータシステムまたはスイッチシステムに結合された光ファイバを通してデータネットワーク４７４と通信してもよい。広域ネットワーク（ＷＡＮ）リンクなどのネットワークリンク４７５が、データネットワーク４７４とデータセンタ４８０との間でデータを伝送するように構成されてもよい。
一実施形態において、データネットワーク４７４は、ルータ、スイッチ、長距離伝送システム、プロビジョニングシステム、認証システム、ならびに、無線アクセスポイント４７２とデータセンタ４８０との間など、ネットワーク終点同士の間でデータを伝達するように構成された通信および動作サブシステムの任意の技術的に実行可能な組合せを含んでいてもよい。一実現例において、ワイヤレスモバイルデバイス３７６は、データネットワーク４７４に結合された１つ以上の無線アクセスポイントを介してデータセンタ４８０と通信するように構成された複数のワイヤレスモバイルデバイスのうちの１つを含んでいてもよい。
また、さまざまな実施形態において、データセンタ４８０はスイッチ／ルータ４８２および少なくとも１つのデータサービスシステム４８４を含み得るがこれらに限定されない。スイッチ／ルータ４８２は、ネットワークリンク４７５と各データサービスシステム４８４との間でデータトラフィックを転送するように構成されてもよい。スイッチ／ルータ４８２は、イーサネット（登録商標）メディアレイヤー伝送、レイヤー２スイッチング、レイヤー３ルーティングなどの任意の技術的に実行可能な伝送技術を実現し得る。スイッチ／ルータ４８２は、データサービスシステム４８４とデータネットワーク４７４との間でデータを伝送するように構成された１つ以上の個別システムを含んでいてもよい。
一実施形態において、スイッチ／ルータ４８２は、複数のデータサービスシステム４８４同士の間でセッションレベルのロードバランシングを実現し得る。各データサービスシステム４８４は少なくとも１つの計算システム４８８を含んでいてもよく、さらに１つ以上の記憶システム４８６を含んでいてもよい。各計算システム４８８は、中央処理装置、グラフィック処理装置、またはそれらの任意の組合せなどの、１つ以上の処理装置を含んでいてもよい。所与のデータサービスシステム４８４は、共に動作するように構成された１つ以上の物理的に別個のシステムを含む物理的システムとして実現されてもよい。それに代えて、所与のデータサービスシステム４８４は、任意の物理的システム上で実行される１つ以上の仮想システムを含む仮想システムとして実現されてもよい。特定のシナリオでは、データネットワーク４７４は、ネットワークリンク４７６を通すなどしてデータセンタ４８０と別のデータセンタ４８１との間でデータを伝送するように構成されてもよい。
別の実施形態において、ネットワークサービスシステム４００は、本発明の１つ以上の実施形態を実現するように構成された、任意のネットワーク化されたモバイルデバイスを含んでいてもよい。たとえば、いくつかの実施形態において、アドホック無線ネットワークなどのピアツーピアネットワークが、２つの異なるワイヤレスモバイルデバイス間に確
立されてもよい。そのような実施形態では、デジタル画像データは、当該デジタル画像データをデータセンタ４８０に送信する必要なく、２つのワイヤレスモバイルデバイス間で伝送されてもよい。
図５Ａは、一実施形態に従う、光学シーン情報を捕捉して写真撮影シーンの電子表現に変換するためのシステムを示す。選択肢として、図５Ａのシステムは図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図５Ａのシステムは任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図５Ａに示されるように、画素アレイ５１０は行ロジック５１２および列読出回路５２０と通信している。さらに、行ロジック５１２および列読出回路５２０の両方が制御ユニット５１４と通信している。さらに、画素アレイ５１０は複数の画素５４０を含むとして示されており、各画素５４０は４つのセルであるセル５４２〜５４５を含んでいてもよい。本説明の文脈において、画素アレイ５１０は、画像センサ１３２またはカメラモジュール３３０の画像センサ３３２などの画像センサに含まれていてもよい。
示されるように、画素アレイ５１０は画素５４０の二次元アレイを含む。たとえば、一実施形態において、画素アレイ５１０は、第１の次元における４，０００個の画素５４０および第２の次元における３，０００個の画素５４０を含み、画素アレイ５１０において合計１２，０００，０００個の画素５４０を含むように構築されてもよく、これは１２メガピクセル画素アレイと称され得る。さらに、上述のように、各画素５４０は４つのセル５４２〜５４５を含むとして示されている。一実施形態において、セル５４２は第１の色の光と関連付けられてもよく（たとえば、第１の色の光に対して選択的に感度が高い、等）、セル５４３は第２の色の光と関連付けられてもよく、セル５４４は第３の色の光と関連付けられてもよく、セル５４５は第４の色の光と関連付けられてもよい。一実施形態において、第１の色の光、第２の色の光、第３の色の光および第４の色の光の各々は、セル５４２〜５４５の各々が異なる色の光と関連付けられ得るように、異なる色の光である。別の実施形態において、セル５４２〜５４５のうちの少なくとも２つのセルが同じ色の光と関連付けられてもよい。たとえば、セル５４３およびセル５４４が同じ色の光と関連付けられてもよい。
さらに、セル５４２〜５４５の各々は、アナログ値を記憶することが可能であってもよい。一実施形態において、セル５４２〜５４５の各々は、露光時間中の蓄積露光に対応する電荷を記憶するためのコンデンサと関連付けられてもよい。そのような実施形態では、所与のセルの回路への行選択信号をアサートすると、当該セルは読出動作を実行してもよく、当該読出動作は、当該セルと関連付けられているコンデンサの記憶電荷の関数である電流を生成して送信することを含み得るがこれに限定されない。一実施形態において、読出動作の前に、関連付けられているフォトダイオードからコンデンサにおいて受信した電流によって、予め充電されているコンデンサが、フォトダイオードにおいて検出された入射光強度に比例する速度で放電し得る。次いで、セルのコンデンサの残留電荷が行選択信号を用いて読出され得る。セルから送信される電流は、コンデンサ上の残留電荷を反映するアナログ値である。この目的のために、読出動作時にセルから受信するアナログ値は、フォトダイオードにおいて検出される光の蓄積強度を反映し得る。所与のコンデンサ上に記憶された電荷、および送信電流などの電荷の任意の対応する表現は、本明細書においてアナログ画素データと称され得る。当然、アナログ画素データは、連続アナログ値によって各々表わされる、１組の空間的に離散した強度サンプルを含んでいてもよい。
さらに、行ロジック５１２および列読出回路５２０は、制御ユニット５１４の制御下で連携して働いて、複数の画素５４０の複数のセル５４２〜５４５を読出してもよい。たと
えば、制御ユニット５１４は、行ロジック５１２に、画素５４０の所与の行と関連付けられている行制御信号５３０を含む行選択信号をアサートさせ、その画素の行と関連付けられているアナログ画素データが読出されることを可能にし得る。図５Ａに示されるように、これは、行ロジック５１２が、画素５４０（０）および画素５４０（ａ）を含む行５３４（０）と関連付けられている行制御信号５３０（０）を含む１つ以上の行選択信号をアサートすることを含んでいてもよい。行選択信号がアサートされたことに応答して、行５３４（０）上の各画素５４０は、画素５４０のセル５４２〜５４５内に記憶されている電荷に基づいて少なくとも１つのアナログ値を送信する。特定の実施形態において、セル５４２およびセル５４３は第１の行選択信号に応答して対応するアナログ値を送信するように構成されるのに対して、セル５４４およびセル５４５は第２の行選択信号に応答して対応するアナログ値を送信するように構成される。
一実施形態において、各行５３４（０）〜５３４（ｒ）を含む画素５４０の完全な１行についてのアナログ値が、列信号５３２を通して列読出回路５２０に連続して送信されてもよい。一実施形態において、画素の完全な１行、または完全な１行内の画素もしくはセルについてのアナログ値が同時に送信されてもよい。たとえば、行制御信号５３０（０）を含む行選択信号がアサートされたことに応答して、画素５４０（０）は、少なくとも１つのアナログ値を、画素５４０（０）のセル５４２〜５４５から列信号５３２（０）を含む１つ以上の信号経路を通して列読出回路５２０に送信することによって応答してもよく、同時に、画素５４０（ａ）も、少なくとも１つのアナログ値を、画素５４０（ａ）のセル５４２〜５４５から列信号５３２（ｃ）を含む１つ以上の信号経路を通して列読出回路５２０に送信することになる。当然、画素５４０（０）から少なくとも１つのアナログ値を受信するのと並行して、かつ画素５４０（ａ）から少なくとも１つのアナログ値を受信するのと並行して、１つ以上のアナログ値が１つ以上の他の画素５４０から列読出回路５２０において受信されてもよい。行５３４（０）を構成する画素５４０から受信した１組のアナログ値は合わせてアナログ信号と称されてもよく、このアナログ信号は画素アレイ５１０上に合焦される光学画像に基づいていてもよい。
さらに、行５３４（０）を構成する画素５４０を読出した後、行ロジック５１２は読出されるべき画素５４０の第２の行を選択してもよい。たとえば、行ロジック５１２は、画素５４０（ｂ）および画素５４０（ｚ）を含む画素５４０の行と関連付けられている行制御信号５３０（ｒ）を含む１つ以上の行選択信号をアサートしてもよい。この結果、列読出回路５２０は、行５３４（ｒ）を構成する画素５４０と関連付けられている対応する１組のアナログ値を受信してもよい。
列読出回路５２０は、１つ以上の受信したアナログ値を選択して図６Ｂのアナログ−デジタルユニット６２２などのアナログ−デジタル変換回路に転送するマルチプレクサとして作用してもよい。列読出回路５２０は、受信したアナログ値を予め規定された順序または順番で転送してもよい。一実施形態において、行ロジック５１２が行制御信号５３０を含む１つ以上の行選択信号をアサートすると、画素の対応する行が列信号５３２を通してアナログ値を送信する。列読出回路５２０はアナログ値を受信し、アナログ値の１つ以上を連続的に選択してアナログ−デジタルユニット６２２に一度に転送する。行ロジック５１２による行の選択、および列読出回路６２０による列の選択は制御ユニット５１４によって命じられてもよい。一実施形態において、行５３４は連続的に選択されて読出され、行５３４（０）で開始して行５３４（ｒ）で終了し、連続した列と関連付けられているアナログ値がアナログ−デジタルユニット６２２に送信される。他の実施形態では、画素５４０に記憶されたアナログ値を読出すために他の選択パターンが実現されてもよい。
さらに、列読出回路５２０によって転送されるアナログ値はアナログ画素データを構成してもよく、当該データは後で増幅され、次いで、画素アレイ５１０上に合焦される光学
画像に基づいて１つ以上のデジタル画像を生成するためのデジタル画素データに変換されてもよい。
図５Ｂ〜図５Ｄは、１つ以上の実施形態に係る３つの随意の画素構成を示す。選択肢として、これらの画素構成は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、これらの画素構成は任意の所望の環境において実現されてもよい。具体例として、図５Ｂ〜図５Ｄの画素５４０のいずれも、画素アレイ５１０の画素５４０のうちの１つ以上として動作してもよい。
図５Ｂに示されるように、画素５４０は、一実施形態に従って、赤色光強度を測定するための第１のセル（Ｒ）、緑色光強度を測定するための第２および第３のセル（Ｇ）、ならびに青色光強度を測定するための第４のセル（Ｂ）を含むとして示されている。図５Ｃに示されるように、画素５４０は、別の実施形態に従って、赤色光強度を測定するための第１のセル（Ｒ）、緑色光強度を測定するための第２のセル（Ｇ）、青色光強度を測定するための第３のセル（Ｂ）、および白色光強度を測定するための第４のセル（Ｗ）を含むとして示されている。図５Ｄに示されるように、画素５４０は、さらに別の実施形態に従って、シアン光強度を測定するための第１のセル（Ｃ）、マゼンタ光強度を測定するための第２のセル（Ｍ）、イエロー光強度を測定するための第３のセル（Ｙ）、および白色光強度を測定するための第４のセル（Ｗ）を含むとして示されている。
画素５４０は各々４つのセルを含むとして示されているが、当然、画素５４０は、光強度を測定するためのより少ないまたは多いセルを含むように構成されてもよい。さらに、別の実施形態において、画素５４０の特定のセルは、単一のピーク波長の光、または白色光を測定するように構成されるとして示されているが、画素５４０のセルは、任意の波長、波長範囲の光、または複数の波長の光を測定するように構成されてもよい。
次に図５Ｅを参照して、一実施形態に従う、画像センサ３３２上に光学画像として合焦される光学シーン情報を捕捉するためのシステムが示されている。選択肢として、図５Ｅのシステムは図面のうちのいずれかの画面の詳細の文脈において実現されてもよい。しかし、当然、図５Ｅのシステムは任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図５Ｅに示されるように、画像センサ３３２は、第１のセル５４４、第２のセル５４５および第３のセル５４８を含むとして示されている。さらに、セル５４４〜５４８の各々はフォトダイオード５６２を含むとして示されている。さらに、フォトダイオード５６２の各々の上には対応するフィルタ５６４があり、フィルタ５６４の各々の上には対応するマイクロレンズ５６６がある。たとえば、セル５４４はフォトダイオード５６２（０）を含むとして示されており、その上にフィルタ５６４（０）があり、その上にマイクロレンズ５６６（０）がある。同様に、セル５４５はフォトダイオード５６２（１）を含むとして示されており、その上にフィルタ５６４（１）があり、その上にマイクロレンズ５６６（１）がある。さらに、図５Ｅに示されるように、画素５４０は、セル５４４および５４５、フォトダイオード５６２（０）および５６２（１）、フィルタ５６４（０）および５６４（１）、ならびにマイクロレンズ５６６（０）および５６６（１）の各々を含むとして示されている。
一実施形態において、マイクロレンズ５６６の各々は、直径が５０ミクロン未満の任意のレンズであってもよい。しかし、他の実施形態では、マイクロレンズ５６６の各々の直径は５０ミクロン以上であってもよい。一実施形態において、マイクロレンズ５６６の各々は、受光した光をマイクロレンズ５６６の下方の支持基板上に合焦および集光するための球状凸面を含んでいてもよい。たとえば、図５Ｅに示されるように、マイクロレンズ５
６６（０）は受光した光をフィルタ５６４（０）上に合焦および集光する。一実施形態において、マイクロレンズアレイ５６７はマイクロレンズ５６６を含んでいてもよく、当該マイクロレンズの各々は、画像センサ３３２のセル５４４内のフォトダイオード５６２と配置が対応している。
本説明の文脈において、フォトダイオード５６２は、光子吸収に応答して電位差を生成するかまたはその電気抵抗を変化させる任意の半導体ダイオードを含んでいてもよい。したがって、フォトダイオード５６２は光強度の検出または測定に使用されてもよい。さらに、フィルタ５６４の各々は、１つ以上の予め定められた波長の光を選択的に透過するための光学フィルタであってもよい。たとえば、フィルタ５６４（０）は対応するマイクロレンズ５６６（０）から受光した実質的に緑色光のみを選択的に透過するように構成されてもよく、フィルタ５６４（１）はマイクロレンズ５６６（１）から受光した実質的に青色光のみを選択的に透過するように構成されてもよい。フィルタ５６４およびマイクロレンズ５６６はともに、選択波長の入射光を平面上に合焦するように動作可能であり得る。一実施形態において、当該平面は、画像センサ３３２の表面上のフォトダイオード５６２の二次元格子であってもよい。さらに、各フォトダイオード５６２は、その関連付けられているフィルタに依存して、１つ以上の予め定められた波長の光を受光する。一実施形態において、各フォトダイオード５６２は、赤色、青色または緑色波長のフィルタリングされた光のうちの１つのみを受光する。図５Ｂ〜図５Ｄに関して示されるように、フォトダイオードは赤色、緑色または青色以外の波長の光を検出するように構成されてもよいと考えられる。たとえば、具体的には図５Ｃ〜図５Ｄの文脈において、フォトダイオードは、白色、シアン、マゼンタ、イエロー、または赤外光もしくは紫外光などの不可視光を検出するように構成されてもよい。
この目的のために、セル、フォトダイオード、フィルタ、およびマイクロレンズの各結合は、光を受光し、受光した光を合焦およびフィルタリングして１つ以上の予め定められた波長の光を分離し、次いで当該１つ以上の予め定められた波長で受光した光の強度を測定する、検出する、または他の態様で定量化するように動作可能であり得る。測定または検出された光は次いで、セル内に記憶される１つ以上のアナログ値として表わされてもよい。たとえば、一実施形態において、各アナログ値は、コンデンサを利用してセル内に記憶されてもよい。さらに、セル内に記憶される各アナログ値は、行ロジック５１２から受信され得る行選択信号などの選択信号に基づいてセルから出力されてもよい。さらに、セルから送信される各アナログ値は、アナログ信号の複数のアナログ値のうちの１つのアナログ値を含んでいてもよく、アナログ値の各々は異なるセルによって出力される。したがって、アナログ信号は複数のセルからの複数のアナログ画素データ値を含んでいてもよい。一実施形態において、アナログ信号は、写真撮影シーンの画像全体についてのアナログ画素データ値を含んでいてもよい。別の実施形態において、アナログ信号は、写真撮影シーンの画像全体の部分集合についてのアナログ画素データ値を含んでいてもよい。たとえば、アナログ信号は、写真撮影シーンの画像の画素の１行についてのアナログ画素データ値を含んでいてもよい。図５Ａ〜図５Ｅの文脈において、画素アレイ５１０の画素５４０の行５３４（０）は、写真撮影シーンの画像の画素のそのような１行であってもよい。
図６Ａは、１つの可能な実施形態に従う感光セル６００についての回路図を示す。選択肢として、セル６００は本明細書に開示されている図面のうちのいずれかの図面の文脈において実現されてもよい。しかし、当然、システム６００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図６Ａに示されるように、感光セル６００は、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）に結合されるフォトダイオード６０２を含む。フォトダイオード６０２は、図１の文脈において説明されたフォトダイ
オード１０１か、または、図５Ｅのフォトダイオード５６２のうちのいずれかとして実現されてもよい。さらに、アナログサンプリング回路６０３は、図１の文脈において説明されたサンプル記憶ノード１３３として実現されてもよい。一実施形態において、感光セル６００の固有インスタンスが、図５Ａ〜図５Ｅの文脈における画素５４０を構成するセル５４２〜５４５の各々として実現されてもよい。
示されるように、感光セル６００は、２つのアナログサンプリング回路６０３および１つのフォトダイオード６０２を含む。２つのアナログサンプリング回路６０３は、第２のアナログサンプリング回路６０３（１）に結合される第１のアナログサンプリング回路６０３（０）を含む。図６Ａに示されるように、第１のアナログサンプリング回路６０３（０）は、トランジスタ６０６（０）、６１０（０）、６１２（０）、６１４（０）、およびコンデンサ６０４（０）を含み、第２のアナログサンプリング回路６０３（１）は、トランジスタ６０６（１）、６１０（１）、６１２（１）、６１４（１）、およびコンデンサ６０４（１）を含む。一実施形態において、トランジスタ６０６、６１０、６１２および６１４の各々は、電界効果トランジスタであってもよい。
フォトダイオード６０２は、写真撮影シーンの入射光６０１を測定または検出するように動作可能であってもよい。一実施形態において、入射光６０１は、写真撮影シーンの周囲光を含んでいてもよい。別の実施形態において、入射光６０１は、写真撮影シーンを照明するために利用されるストロボユニットからの光を含んでいてもよい。さらに別の実施形態において、入射光６０１は、周囲光および／またはストロボユニットからの光を含んでいてもよく、入射光６０１の組成は露光時間の関数として変化する。たとえば、入射光６０１は、第１の露光時間中の周囲光と、第２の露光時間中のストロボユニットからの光とを含んでいてもよい。当然、入射光６０１は、フォトダイオード６０２において受光され測定される任意の光を含んでいてもよい。さらに、上述したように、入射光６０１は、マイクロレンズによってフォトダイオード６０２上に集光されてもよく、フォトダイオード６０２は、二次元平面上に配置される複数のフォトダイオードを含むように構成されたフォトダイオードアレイのうちの１つのフォトダイオードであってもよい。
一実施形態において、アナログサンプリング回路６０３は実質的に同一であってもよい。たとえば、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）は各々、実質的に同一の態様で構成された対応するトランジスタ、コンデンサ、および配線を含んでいてもよい。当然、他の実施形態において、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）は、アナログサンプリング回路６０３のうちの１つだけに特有であり得る、回路、トランジスタ、コンデンサ、配線および／または任意の他のコンポーネントもしくはコンポーネントパラメータ（たとえば各コンデンサ６０４の容量値）を含んでいてもよい。
一実施形態において、各コンデンサ６０４は、トランジスタ６１０のためのゲート容量とトランジスタ６０６および６１４のための拡散容量とを含むコンデンサの１つのノードを含んでいてもよい。コンデンサ６０４はさらに、金属酸化膜スタック、ポリコンデンサ、トレンチコンデンサといった別個の容量構造、または任意の他の技術的に実現可能なコンデンサ構造といった付加的回路素子（図示せず）に結合されてもよいが、当該付加的回路素子はこれらに限定されない。
アナログサンプリング回路６０３（０）に関して、リセット６１６（０）がアクティブ（ロー）である場合、トランジスタ６１４（０）は電圧源Ｖ２からコンデンサ６０４（０）への経路を提供し、Ｖ２の電位までコンデンサ６０４（０）を充電させる。サンプル信号６１８（０）がアクティブである場合、トランジスタ６０６（０）は、入射光６０１に応答してフォトダイオード６０２によって生成されるフォトダイオード電流（Ｉ＿ＰＤ）
に比例してコンデンサ６０４（０）が放電するための経路を提供する。このように、サンプル信号６１８（０）がアクティブである場合、フォトダイオード電流Ｉ＿ＰＤは第１の露光時間の間積分され、コンデンサ６０４（０）上に対応する第１の電圧をもたらす。コンデンサ６０４（０）上のこの第１の電圧は、第１のサンプルとも称され得る。第１の露光時間中の入射光６０１が周囲光を含む実施形態では、第１のサンプルは周囲サンプルと称され得る。行選択６３４（０）がアクティブである場合、トランジスタ６１２（０）は、Ｖ１から出力６０８（０）への第１の出力電流のための経路を提供する。第１の出力電流は、コンデンサ６０４（０）上の第１の電圧に応答してトランジスタ６１０（０）によって生成される。行選択６３４（０）がアクティブである場合、出力６０８（０）での出力電流はしたがって、第１の露光時間中の入射光６０１の積分強度に比例し得る。一実施形態において、サンプル信号６１８（０）は、画像センサ内ですべての第１のサンプルについてグローバルシャッターを実現するように、画像センサを構成する実質的にすべての感光セル６００にわたって実質的に同時にアサートされる。
アナログサンプリング回路６０３（１）に関して、リセット６１６（１）がアクティブ（ロー）である場合、トランジスタ６１４（１）は電圧源Ｖ２からコンデンサ６０４（１）への経路を提供し、Ｖ２の電位までコンデンサ６０４（１）を充電させる。サンプル信号６１８（１）がアクティブである場合、トランジスタ６０６（１）は、入射光６０１に応答してフォトダイオード６０２によって生成されるフォトダイオード電流（Ｉ＿ＰＤ）に比例してコンデンサ６０４（１）が放電するための経路を提供する。このように、サンプル信号６１８（１）がアクティブである場合、フォトダイオード電流Ｉ＿ＰＤは第２の露光時間の間積分され、コンデンサ６０４（１）上に対応する第２の電圧をもたらす。コンデンサ６０４（１）上のこの第２の電圧は、第２のサンプルとも称され得る。第２の露光時間中の入射光６０１がフラッシュまたはストロボ照明を含む実施形態では、第１のサンプルはフラッシュサンプルと称され得る。行選択６３４（１）がアクティブである場合、トランジスタ６１２（１）は、Ｖ１から出力６０８（１）への第２の出力電流のための経路を提供する。第２の出力電流は、コンデンサ６０４（１）上の第２の電圧に応答してトランジスタ６１０（１）によって生成される。行選択６３４（１）がアクティブである場合、出力６０８（１）での出力電流はしたがって、第２の露光時間中の入射光６０１の積分強度に比例し得る。一実施形態において、サンプル信号６１８（１）は、画像センサ内ですべての第２のサンプルについてグローバルシャッターを実現するように、画像センサを構成する実質的にすべての感光セル６００にわたって実質的に同時にアサートされる。
この目的のために、第１の露光時間中の第１のサンプルすなわち周囲サンプルの記憶と、第２の露光時間中の第２のサンプルすなわちフラッシュサンプルの記憶とを制御することにより、コンデンサ６０４（０）は第１の電圧またはサンプルを記憶してもよく、コンデンサ６０４（１）は第１の電圧またはサンプルとは異なる第２の電圧またはサンプルを記憶してもよい。周囲サンプルおよびフラッシュサンプルの各々は、フォトダイオード電流Ｉ＿ＰＤがフォトダイオード６０２によって生成されることに応答して記憶されてもよく、フォトダイオード電流Ｉ＿ＰＤは、フォトダイオード６０２において測定される入射光６０１の関数として変化する。特に、周囲照明を含む第１の露光時間中よりも、ストロボまたはフラッシュ照明を含む第２の露光時間中に、より大量の入射光６０１がフォトダイオード６０２によって測定され得る。当然、写真撮影シーンの特性だけでなく、たとえば露光時間およびアパーチャなどのさまざまな露光設定の調整によって、ストロボまたはフラッシュ照明を含む第２の露光時間中よりも、周囲照明を含む第１の露光時間中に、より大量の入射光６０１がフォトダイオード６０２によって測定され得る。
一実施形態において、第１の露光時間および第２の露光時間は時間が重なっていない。たとえば、コントローラが、第２の露光時間が第１の露光時間の終結と同時に、またはほ
ぼ同時に始まるように第２の露光時間を制御するように構成されてもよい。そのような実施形態では、サンプル信号６１８（０）が非活性化されるにつれて、サンプル信号６１８（１）が活性化されてもよい。
２つの異なる露光条件を有する利点として、フォトダイオード６０２が十分なしきい値の入射光６０１にさらされる状況では、第１のコンデンサ６０４（０）は、デジタル画像を生成するのに好適なアナログ値を提供するかもしれず、同じセル６００の第２のコンデンサ６０４（１）は、過度のフラッシュ照明に起因する白飛び（blown out）または過剰
露光の画像部分を提供するかもしれない。このため、各セル６００について、第１のコンデンサ６０４は、同じセル６００の別のコンデンサ６０４よりも暗い画像コンテンツをより効果的に捕捉してもよい。これはたとえば、ストロボまたはフラッシュ照明が、写真撮影シーンのデジタル画像における前景オブジェクトを過剰露光し、または写真撮影シーンのデジタル画像における背景オブジェクトを過小露光する状況で有用かもしれない。そのような例では、周囲照明を利用する別の露光時間中に捕捉された画像が、過剰露光された、または過小露光されたあらゆるオブジェクトを補正するのに役立ち得る。同様に、周囲光が写真撮影シーンの特定の要素を十分に照明できず、関連付けられているデジタル画像においてこれらの要素が暗く見え、または見にくい状況では、ストロボまたはフラッシュ照明を利用する別の露光時間中に捕捉された画像が、画像の過小露光された部分を補正するのに役立ち得る。
他の実施形態において、３つ以上の電圧またはサンプルを記憶するために３つ以上のアナログサンプリング回路を使用することが望ましい場合がある。たとえば、各アナログサンプリング回路が、異なる露光時間中に、フォトダイオードによって生成されているフォトダイオード電流Ｉ＿ＰＤをサンプリングするように、３つ以上のアナログサンプリング回路を有する実施形態が実現され得る。そのような実施形態では、３つ以上の電圧またはサンプルが得られ得る。結果、任意の所与の時間においてフォトダイオード６０２に結合されるアナログサンプリング回路６０３の数と、各アナログサンプリング回路６０３と関連付けられている容量の量との関数として、露光感度が変動し得る。そのような変動は、各アナログサンプリング回路６０３について露光時間またはサンプル時間を決定する際に、考慮される必要があり得る。
さまざまな実施形態において、コンデンサ６０４（０）はコンデンサ６０４（１）と実質的に同一であってもよい。たとえば、コンデンサ６０４（０）および６０４（１）は実質的に同一の容量値を有してもよい。一実施形態において、アナログサンプリング回路のうちの１つにおけるサンプル信号６１８は、その他のアナログサンプリング回路６０３についてサンプル信号６１８が活性化される期間よりも長いまたは短い期間の間、活性化されてもよい。
上述のように、第１のアナログサンプリング回路６０３（０）のサンプル信号６１８（０）は第１の露光時間の間活性化されてもよく、第２のアナログサンプリング回路６０３（１）のサンプル信号６１８（１）は第２の露光時間の間活性化されてもよい。一実施形態において、第１の露光時間および／または第２の露光時間は、ユーザによって、ソフトウェアによって、またはユーザとソフトウェアとの何らかの組合せによって選択された露光設定に基づいて決定されてもよい。たとえば、第１の露光時間は、カメラのユーザによって選択された１／６０秒シャッター時間に基づいて選択されてもよい。それに応じて、第２の露光時間は、第１の露光時間に基づいて選択されてもよい。一実施形態において、ユーザが選択した１／６０秒シャッター時間は、周囲画像のために選択されてもよく、次いで、計測アルゴリズムが写真撮影シーンを評価して、フラッシュまたはストロボ捕捉のための最適な第２の露光時間を決定してもよい。フラッシュまたはストロボ捕捉のための第２の露光時間は、写真撮影シーンの評価中に計測された入射光に基づいて選択されても
よい。当然、他の実施形態では、第２の露光時間を選択するためにユーザ選択が使用されてもよく、次いで、選択された第２の露光時間に従って、周囲捕捉のための第１の露光時間が選択されてもよい。さらに他の実施形態では、第１の露光時間は、第２の露光時間とは独立して選択されてもよい。
他の実施形態において、コンデンサ６０４（０）および６０４（１）は異なる容量値を有していてもよい。一実施形態において、コンデンサ６０４（０）および６０４（１）は、アナログサンプリング回路６０３のうちの１つの、フォトダイオード６０２からの電流Ｉ＿ＰＤに対する感度を、同じセル６００の他のアナログサンプリング回路６０３よりも高くまたは低くする目的のために、異なる容量値を有していてもよい。たとえば、同じセル６００の他のコンデンサ６０４よりも著しく大きい容量を有するコンデンサ６０４は、著しい量の入射光６０１を有する写真撮影シーンを捕捉する際に、十分には放電しにくくなり得る。そのような実施形態では、コンデンサ６０４（０）とコンデンサ６０４（１）との間の記憶された電圧またはサンプルのいかなる差も、サンプル信号６１８の異なる活性化時間およびそれぞれの露光時間中の異なる入射光測定値とともに、異なる容量値の関数であってもよい。
ある実施形態において、サンプル信号６１８（０）およびサンプル信号６１８（１）は、独立してアクティブ状態にアサートされてもよい。
一実施形態において、感光セル６００は、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）が少なくとも１つの共有コンポーネントを共有するように構成されてもよい。さまざまな実施形態において、少なくとも１つの共有コンポーネントは、画像センサのフォトダイオード６０２を含んでいてもよい。他の実施形態において、少なくとも１つの共有コンポーネントは、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）が共有リセットを利用して並行してリセットされ得るように、リセットを含んでいてもよい。図６Ａの文脈において、感光セル６００は、アナログサンプリング回路６０３（０）とアナログサンプリング回路６０３（１）との間に共有リセットを含んでいてもよい。たとえば、リセット６１６（０）はリセット６１６（１）に結合されてもよく、両者は、リセット６１６（０）がリセット６１６（１）と同じ信号であり、それらが第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）の両方を同時にリセットするために使用され得るように、一緒にアサートされてもよい。リセット後、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）は、独立してサンプリングするようにアサートされてもよい。
一実施形態において、第１のアナログサンプリング回路６０３（０）についてのサンプル信号６１８（０）は、第２のアナログサンプリング回路６０３（１）についてのサンプル信号６１８（１）とは独立していてもよい。一実施形態において、第１のアナログサンプリング回路６０３（０）についての行選択６３４（０）は、第２のアナログサンプリング回路６０３（１）についての行選択６３４（１）とは独立していてもよい。他の実施形態において、第１のアナログサンプリング回路６０３（０）についての行選択６３４（０）は、第２のアナログサンプリング回路６０３（１）についての行選択６３４（１）と共有される行選択信号を含んでいてもよい。さらに別の実施形態において、第１のアナログサンプリング回路６０３（０）の出力６０８（０）での出力信号は、第２のアナログサンプリング回路６０３（１）の出力６０８（１）での出力信号とは独立していてもよい。別の実施形態において、第１のアナログサンプリング回路６０３（０）の出力信号は、第２のアナログサンプリング回路６０３（１）の出力信号と共有される出力を利用してもよい。出力を共有する実施形態において、第１のアナログサンプリング回路６０３（０）の行選択６３４（０）が、第２のアナログサンプリング回路６０３（１）の行選択６３４（１
）とは独立していることが必要であり得る。行選択信号を共有する実施形態において、第１のアナログサンプリング回路６０３（０）の出力６０８（０）のラインが、第２のアナログサンプリング回路６０３（１）の出力６０８（１）のラインとは独立していることが必要であり得る。
一実施形態において、図５Ａの列信号５３２は、出力６０８（０）および６０８（１）の複数の独立した出力信号のうちの１つの出力信号を含んでいてもよい。さらに、図５Ａの行制御信号５３０は、画素の所与の行について共有され得る行選択６３４（０）および６３４（１）の独立した行選択信号のうちの１つを含んでいてもよい。共有された行選択信号を実現するセル６００の実施形態において、行選択６３４（０）は行選択６３４（１）に結合されてもよく、両者は一緒に同時にアサートされてもよい。
ある実施形態において、画素の所与の行は、セルの１つ以上の行を含んでいてもよく、セルの各行は、セルの各行がアナログサンプリング回路６０３（０）および６０３（１）の複数の対を含むように、感光セル６００の複数のインスタンスを含む。たとえば、セルの所与の行は、複数の第１のアナログサンプリング回路６０３（０）を含んでいてもよく、第１のアナログサンプリング回路６０３（０）の各々と対をなす異なる第２のアナログサンプリング回路６０３（１）をさらに含んでいてもよい。一実施形態において、複数の第１のアナログサンプリング回路６０３（０）は、複数の第２のアナログサンプリング回路６０３（１）から独立して駆動されてもよい。別の実施形態において、複数の第１のアナログサンプリング回路６０３（０）は、複数の第２のアナログサンプリング回路６０３（１）と並列に駆動されてもよい。たとえば、セルの所与の行の第１のアナログサンプリング回路６０３（０）の各々の各出力６０８（０）は、１組の列信号５３２を通して並列に駆動されてもよい。さらに、セルの所与の行の第２のアナログサンプリング回路６０３（１）の各々の各出力６０８（１）は、並列の第２の組の列信号５３２を通して並列に駆動されてもよい。
この目的のために、入射光６０１に基づいて周囲サンプルおよびフラッシュサンプルの両方を同時に記憶するために、感光セル６００が利用されてもよい。具体的には、周囲サンプルは、第１の露光時間中に捕捉されて第１のコンデンサ上に記憶されてもよく、フラッシュサンプルは、第２の露光時間中に捕捉されて第２のコンデンサ上に記憶されてもよい。さらに、この第２の露光時間中、写真撮影シーンの照明を一時的に増加させ、第２の露光時間中に画像センサの１つ以上のフォトダイオードで測定される入射光を増加させるために、ストロボが起動されてもよい。
さらに、行選択６３４（０）が活性化されると、２つの異なるサンプルのうちの周囲サンプルに対応する出力電流信号が出力６０８（０）に結合されてもよく、行選択６３４（１）が活性化されると、２つの異なるサンプルのうちのフラッシュサンプルに対応する出力電流信号が出力６０８（１）に結合されてもよい。
一実施形態において、第１の値は、第１の露光時間における複数の画素についての第１のアナログ画素データを含む周囲アナログ信号に含まれてもよく、第２の値は、第２の露光時間における複数の画素についての第２のアナログ画素データを含むフラッシュアナログ信号に含まれてもよい。さらに、周囲アナログ信号は、周囲照明を使用して捕捉された１つ以上のデジタル画像のスタックを生成するために利用されてもよく、フラッシュアナログ信号は、フラッシュ照明を使用して捕捉された１つ以上のデジタル画像のスタックを生成するために利用されてもよい。したがって、感光セル６００のアレイは、周囲照明デジタル画像およびストロボ照明デジタル画像のほぼ同時の捕捉のために利用されてもよい。
図６Ｂは、ある実施形態に従う、アナログ画素データをデジタル画素データに変換するためのシステムを示す。選択肢として、図６Ｂのシステムは本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図６Ｂのシステムは任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図６Ｂに示されるように、アナログ画素データ６２１が、制御ユニット５１４の制御下でアナログ−デジタルユニット６２２において列読出回路５２０から受信される。アナログ画素データ６２１は、上述のようにアナログ信号内で受信されてもよい。さらに、アナログ−デジタルユニット６２２は、受信したアナログ画素データ６２１に基づいてデジタル画素データ６２５を生成する。
一実施形態において、アナログ画素データ６２１の固有インスタンスは、順序付けられた１組の個々のアナログ値として、すべての対応するアナログサンプリング回路またはサンプル記憶ノードから出力されるすべてのアナログ値を含んでいてもよい。たとえば、前述の図の文脈において、画素アレイ５１０の複数の画素５４０のセル５４２〜５４５の各セルは、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）の両方を含んでいてもよい。このため、画素アレイ５１０は複数の第１のアナログサンプリング回路６０３（０）を含んでいてもよく、さらに複数の第２のアナログサンプリング回路６０３（１）を含んでいてもよい。言い換えれば、画素アレイ５１０は、各セルについて第１のアナログサンプリング回路６０３（０）を含んでいてもよく、さらに各セルについて第２のアナログサンプリング回路６０３（１）を含んでいてもよい。ある実施形態において、複数の第１のアナログサンプリング回路６０３（０）の各アナログサンプリング回路から、別個のアナログ値を含むアナログ画素データ６２１の第１のインスタンスが受信されてもよく、複数の第２のアナログサンプリング回路６０３（１）の各アナログサンプリング回路から、別個のアナログ値を含むアナログ画素データ６２１の第２のインスタンスが受信されてもよい。このため、画素アレイのセルが２つ以上のアナログサンプリング回路を含む実施形態において、当該画素アレイは、アナログ画素データ６２１の固有インスタンスを各々含む２つ以上の別個のアナログ信号を出力してもよい。
さらに、第１のアナログサンプリング回路６０３（０）の各々は、写真撮影シーンが周囲光で照明される第１の露光時間中にフォトダイオード電流をサンプリングしてもよく、第２のサンプリング回路６０３（１）の各々は、写真撮影シーンがストロボまたはフラッシュで照明される第２の露光時間中にフォトダイオード電流をサンプリングしてもよい。したがって、第１のアナログ信号、すなわち周囲アナログ信号は、周囲光で照明された場合の写真撮影シーンを表わすアナログ値を含んでいてもよく、第２のアナログ信号、すなわちフラッシュアナログ信号は、ストロボまたはフラッシュで照明された場合の写真撮影シーンを表わすアナログ値を含んでいてもよい。
いくつかの実施形態において、画素アレイのセルの部分集合のみが、２つ以上のアナログサンプリング回路を含んでいてもよい。たとえば、第１のアナログサンプリング回路６０３（０）および第２のアナログサンプリング回路６０３（１）の両方をすべてのセルが含み得るわけではない。
図６Ｂを引き続き参照して、アナログ−デジタルユニット６２２は増幅器６５０およびアナログ−デジタル変換器６５４を含む。一実施形態において、増幅器６５０はアナログ画素データ６２１のインスタンスおよびゲイン６５２の両方を受信し、ゲイン６５２をアナログ画素データ６２１に適用して、ゲイン調整されたアナログ画素データ６２３を生成する。ゲイン調整されたアナログ画素データ６２３は増幅器６５０からアナログ−デジタ
ル変換器６５４に送信される。アナログ−デジタル変換器６５４はゲイン調整されたアナログ画素データ６２３を受信し、ゲイン調整されたアナログ画素データ６２３をデジタル画素データ６２５に変換し、当該データは次いでアナログ−デジタル変換器６５４から送信される。他の実施形態では、増幅器６５０はアナログ−デジタルユニット６２２内ではなく列読出回路５２０内で実現されてもよい。アナログ−デジタル変換器６５４は、任意の技術的に実行可能なアナログ−デジタル変換技術を用いて、ゲイン調整されたアナログ画素データ６２３をデジタル画素データ６２５に変換してもよい。
ある実施形態において、ゲイン調整されたアナログ画素データ６２３は、ゲイン６５２をアナログ画素データ６２１に適用することによって得られる。一実施形態において、ゲイン６５２はアナログ−デジタルユニット６２２によって選択されてもよい。別の実施形態において、ゲイン６５２は制御ユニット５１４によって選択され、次いで、アナログ画素データ６２１に適用されるために制御ユニット５１４からアナログ−デジタルユニット６２２に供給されてもよい。
一実施形態において、ゲイン６５２をアナログ画素データ６２１に適用した結果、ゲイン調整されたアナログ画素データ６２３にアナログノイズが現われ得ることに留意すべきである。画素アレイ５１０から高感度のデータを得るために、増幅器６５０が著しく大きいゲインをアナログ画素データ６２１に付与した場合、ゲイン調整されたアナログ画素データ６２３内に大量のノイズが予想され得る。一実施形態において、そのようなノイズの悪影響は、全露光時間を減少させて光学シーン情報を捕捉することによって減少し得る。そのような実施形態では、ゲイン６５２をアナログ画素データ６２１に適用することによって、露光が適切でノイズが減少した、ゲイン調整されたアナログ画素データを得ることができる。
一実施形態において、増幅器６５０はトランスインピーダンス増幅器（ＴＩＡ）であってもよい。さらに、ゲイン６５２はデジタル値によって指定されてもよい。一実施形態において、ゲイン６５２を指定するデジタル値は、デジタル写真撮影デバイスを「マニュアル」モードで操作することなどにより、デジタル写真撮影デバイスのユーザによって設定されてもよい。さらに、デジタル値は、デジタル写真撮影デバイスのハードウェアまたはソフトウェアによって設定されてもよい。選択肢として、デジタル値は、デジタル写真撮影デバイスのソフトウェアと連携して作業するユーザによって設定されてもよい。
一実施形態において、ゲイン６５２を指定するために用いられるデジタル値はＩＳＯと関連付けられてもよい。写真撮影の分野において、ＩＳＯシステムは光感度を指定するための確立された規格である。一実施形態において、増幅器６５０は、アナログ画素データ６２１に適用すべきゲイン６５２を指定するデジタル値を受信する。別の実施形態において、従来のＩＳＯ値から、ゲイン６５２として増幅器６５０に与えられ得るデジタルゲイン値へのマッピングがあってもよい。たとえば、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００、ＩＳＯ８００、ＩＳＯ１６００等の各々が異なるデジタルゲイン値に一意的にマップされてもよく、特定のＩＳＯを選択すると、マップされたデジタルゲイン値がゲイン６５２として適用されるために増幅器６５０に与えられる。一実施形態において、１つ以上のＩＳＯ値が１のゲインにマップされてもよい。当然、他の実施形態において、１つ以上のＩＳＯ値がその他のゲイン値にマップされてもよい。
したがって、一実施形態において、各アナログ画素値は特定のＩＳＯ値を前提として輝度が調整されてもよい。このため、そのような実施形態では、ゲイン調整されたアナログ画素データ６２３は輝度補正された画素データを含んでいてもよく、輝度は指定されたＩＳＯに基づいて補正される。別の実施形態において、ある画像についてのゲイン調整されたアナログ画素データ６２３は、当該画像が特定のＩＳＯでサンプリングされたかのよう
な輝度を画像内に有する画素を含んでいてもよい。
ある実施形態に従うと、デジタル画素データ６２５は、画素アレイ５１０を用いて捕捉された画像の画素を表わす複数のデジタル値を含んでいてもよい。
一実施形態において、デジタル画素データ６２５のインスタンスが、受信されたアナログ画素データ６２１の各インスタンスについて出力されてもよい。このため、画素アレイ５１０が複数の第１のアナログサンプリング回路６０３（０）を含み、さらに複数の第２のアナログサンプリング回路６０３（１）を含む場合、第１のアナログサンプリング回路６０３（０）の各々から、別個のアナログ値を含むアナログ画素データ６２１の第１のインスタンスが受信されてもよく、第２のアナログサンプリング回路６０３（１）の各々から、別個のアナログ値を含むアナログ画素データ６２１の第２のインスタンスが受信されてもよい。そのような実施形態では、デジタル画素データ６２５の第１のインスタンスは、アナログ画素データ６２１の第１のインスタンスに基づいて出力されてもよく、デジタル画素データ６２５の第２のインスタンスは、アナログ画素データ６２１の第２のインスタンスに基づいて出力されてもよい。
さらに、デジタル画素データ６２５の第１のインスタンスは、第１の露光時間中に画素アレイ５１０の複数の第１のアナログサンプリング回路６０３（０）を使用して捕捉される第１の画像の画素を表わす複数のデジタル値を含んでいてもよく、デジタル画素データ６２５の第２のインスタンスは、第２の露光時間中に画素アレイ５１０の複数の第２のアナログサンプリング回路６０３（１）を使用して捕捉される第２の画像の画素を表わす複数のデジタル値を含んでいてもよい。デジタル画素データ６２５の第１のインスタンスおよびデジタル画素データ６２５の第２のインスタンスが同じゲイン６５２を利用して生成される場合、デジタル画素データのインスタンス間のいかなる差も、第１の露光時間と第２の露光時間との差の関数であってもよい。
いくつかの実施形態において、デジタル画素データ６２５の２つ以上のインスタンスがアナログ画素データ６２１の各インスタンスについて出力され得るように、２つ以上のゲイン６５２がアナログ画素データ６２１のインスタンスに適用されてもよい。たとえば、２つ以上のゲインが、アナログ画素データ６２１の第１のインスタンスおよびアナログ画素データ６２１の第２のインスタンス両方に適用されてもよい。そのような実施形態では、アナログ画素データ６２１の第１のインスタンスは、画素アレイ５１０の複数の第１のアナログサンプリング回路６０３（０）の各々からの別個のアナログ値を含んでいてもよく、アナログ画素データ６２１の第２のインスタンスは、画素アレイ５１０の複数の第２のアナログサンプリング回路６０３（１）の各々からの別個のアナログ値を含んでいてもよい。このため、４つ以上の対応するデジタル画像と関連付けられているデジタル画素データ６２５の４つ以上のインスタンスが、写真撮影シーンのために画素アレイ５１０によって生成されてもよい。
図７は、ある実施形態に従う、アナログ信号のアナログ画素データをデジタル画素データに変換するためのシステム７００を示す。選択肢として、システム７００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、システム７００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
システム７００は、図７において、第１のアナログ記憶平面７０２（０）、第１のアナログ−デジタルユニット７２２（０）、および周囲デジタル画像スタック７３２（０）を含むとして示されており、さらに、第２のアナログ記憶平面７０２（１）、第２のアナログ−デジタルユニット７２２（１）、およびフラッシュデジタル画像スタック７３２（１
）を含むとして示されている。したがって、システム７００は、少なくとも２つのアナログ記憶平面７０２（０）および７０２（１）を含むとして示されている。図７に示されるように、各アナログ記憶平面７０２内において、複数のアナログ値が各々「Ｖ」として示されており、各画像スタック７３２のデジタル画像内において、対応するデジタル値が各々「Ｄ」として示されている。一実施形態において、第１のアナログ記憶平面７０２（０）のアナログ値のすべては、写真撮影シーンが周囲光で照明された第１の露光時間中に捕捉され、第２のアナログ記憶平面７０２（１）のアナログ値のすべては、写真撮影シーンがストロボまたはフラッシュを使用して照明された第２の露光時間中に捕捉される。
特定の実施形態の文脈において、各アナログ記憶平面７０２は、１つ以上のアナログ値の任意の集合を含んでいてもよい。いくつかの実施形態において、各アナログ記憶平面７０２は、画素アレイの行またはラインの画素ごとに少なくとも１つのアナログ画素値を含んでいてもよい。さらに、別の実施形態において、各アナログ記憶平面７０２は、フレームと称され得る画素アレイの全体の画素ごとに少なくとも１つのアナログ画素値を含んでいてもよい。たとえば、各アナログ記憶平面７０２はアナログ値を含んでいてもよく、またはより一般的には、画素アレイのすべてのラインまたは行の各画素のセルごとにアナログ値を含んでいてもよい。
さらに、各アナログ記憶平面７０２のアナログ値は、アナログ画素データ７０４として、対応するアナログ−デジタルユニット７２２に出力される。たとえば、アナログ記憶平面７０２（０）のアナログ値はアナログ画素データ７０４（０）としてアナログ−デジタルユニット７２２（０）に出力され、アナログ記憶平面７０２（１）のアナログ値はアナログ画素データ７０４（１）としてアナログ−デジタルユニット７２２（１）に出力される。一実施形態において、各アナログ−デジタルユニット７２２は、図６Ｂの文脈において説明されたアナログ−デジタルユニット６２２と実質的に同一であってもよい。たとえば、各アナログ−デジタルユニット７２２は、少なくとも１つの増幅器および少なくとも１つのアナログ−デジタル変換器を含んでいてもよく、当該増幅器は、ゲイン値を受信し、当該ゲイン値を利用して、アナログ−デジタルユニット７２２において受信されたアナログ画素データをゲイン調整するように動作可能である。さらに、そのような実施形態では、増幅器は、ゲイン調整されたアナログ画素データをアナログ−デジタル変換器に送信してもよく、当該変換器は次いで、ゲイン調整されたアナログ画素データからデジタル画素データを生成する。この目的のために、２つ以上の異なるアナログ記憶平面７０２の各々におけるコンテンツに対して、アナログ−デジタル変換が実行されてもよい。
図７のシステム７００の文脈において、各アナログ−デジタルユニット７２２は、対応するアナログ画素データ７０４を受信し、受信したアナログ画素データ７０４に少なくとも２つの異なるゲインを適用して、少なくとも第１のゲイン調整されたアナログ画素データおよび第２のゲイン調整されたアナログ画素データを生成する。たとえば、アナログ−デジタルユニット７２２（０）は、アナログ画素データ７０４（０）を受信し、アナログ画素データ７０４（０）に少なくとも２つの異なるゲインを適用して、アナログ画素データ７０４（０）に基づいて少なくとも第１のゲイン調整されたアナログ画素データおよび第２のゲイン調整されたアナログ画素データを生成する。アナログ−デジタルユニット７２２（１）は、アナログ画素データ７０４（１）を受信し、アナログ画素データ７０４（１）に少なくとも２つの異なるゲインを適用して、アナログ画素データ７０４（１）に基づいて少なくとも第１のゲイン調整されたアナログ画素データおよび第２のゲイン調整されたアナログ画素データを生成する。
さらに、各アナログ−デジタルユニット７２２は、生成したゲイン調整されたアナログ画素データの各々をデジタル画素データに変換してから、少なくとも２つのデジタル出力を出力する。一実施形態において、各アナログ−デジタルユニット７２２は、受信したア
ナログ画素データ７０４に適用される各ゲインに対応する異なるデジタル出力を提供する。図７に関して具体的には、アナログ−デジタルユニット７２２（０）は、第１のゲイン（ゲイン１）に対応する第１のデジタル画素データ７２３（０）を含む第１のデジタル信号と、第２のゲイン（ゲイン２）に対応する第２のデジタル画素データ７２４（０）を含む第２のデジタル信号と、第３のゲイン（ゲイン３）に対応する第３のデジタル画素データ７２５（０）を含む第３のデジタル信号とを生成するとして示されている。同様に、アナログ−デジタルユニット７２２（１）は、第１のゲイン（ゲイン１）に対応する第１のデジタル画素データ７２３（１）を含む第１のデジタル信号と、第２のゲイン（ゲイン２）に対応する第２のデジタル画素データ７２４（１）を含む第２のデジタル信号と、第３のゲイン（ゲイン３）に対応する第３のデジタル画素データ７２５（１）を含む第３のデジタル信号とを生成するとして示されている。各デジタル画素データのインスタンスは、各デジタル信号がデジタル画像を含むように、各デジタル画像を含んでいてもよい。
したがって、アナログ−デジタルユニット７２２（０）が、アナログ画素データ７０４（０）にゲイン１、ゲイン２およびゲイン３の各々を適用することにより、第１のデジタル画素データ７２３（０）、第２のデジタル画素データ７２４（０）および第３のデジタル画素データ７２５（０）を生成した結果、アナログ−デジタルユニット７２２（０）は、周囲画像スタック７３２（０）とも称されるデジタル画像のスタックを生成する。同様に、アナログ−デジタルユニット７２２（１）が、アナログ画素データ７０４（１）にゲイン１、ゲイン２およびゲイン３の各々を適用することにより、第１のデジタル画素データ７２３（１）、第２のデジタル画素データ７２４（１）および第３のデジタル画素データ７２５（１）を生成した結果、アナログ−デジタルユニット７２２（１）は、フラッシュ画像スタック７３２（１）とも称されるデジタル画像の第２のスタックを生成する。周囲画像スタック７３２（０）のデジタル画像の各々は、第１の露光時間中に周囲照明で捕捉された写真撮影シーンのデジタル画像であってもよい。フラッシュ画像スタック７３２（１）のデジタル画像の各々は、第２の露光時間中にストロボまたはフラッシュ照明で捕捉された写真撮影シーンのデジタル画像であってもよい。
一実施形態において、各アナログ−デジタルユニット７２２は、少なくとも２つのゲインをアナログ値に連続して適用する。たとえば、図７の文脈において、アナログ−デジタルユニット７２２（０）はまず、アナログ画素データ７０４（０）にゲイン１を適用し、その後、同じアナログ画素データ７０４（０）にゲイン２を適用し、その後、同じアナログ画素データ７０４（０）にゲイン３を適用する。他の実施形態では、各アナログ−デジタルユニット７２２は、少なくとも２つのゲインをアナログ値に並列に適用してもよい。たとえば、アナログ−デジタルユニットは、アナログ画素データに対するゲイン２およびゲイン３の適用と並列に、受信したアナログ画素データにゲイン１を適用してもよい。この目的のために、アナログ画素データ７０４の各インスタンスは、少なくとも２つのゲインを利用して増幅される。
一実施形態において、アナログ−デジタルユニット７２２（０）においてアナログ画素データ７０４（０）に適用されるゲインは、アナログ−デジタルユニット７２２（１）においてアナログ画素データ７０４（１）に適用されるゲインと同じであってもよい。具体的な例として、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）の両方によって適用されるゲイン１は１．０のゲインであってもよく、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）の両方によって適用されるゲイン２は２．０のゲインであってもよく、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）の両方によって適用されるゲイン３は４．０のゲインであってもよい。別の実施形態において、アナログ−デジタルユニット７２２（０）においてアナログ画素データ７０４（０）に適用されるゲインのうちの１つ以上は、アナログ−デジタルユニット７２２（１）においてアナロ
グ画素データ７０４（１）に適用されるゲインとは異なっていてもよい。たとえば、アナログ−デジタルユニット７２２（０）において適用されるゲイン１は１．０のゲインであってもよく、アナログ−デジタルユニット７２２（１）において適用されるゲイン１は２．０のゲインであってもよい。したがって、各アナログ−デジタルユニット７２２において適用されるゲインは、システム７００内の他のアナログ−デジタルユニット７２２において適用されるゲインに依存して、または当該ゲインとは独立して、選択されてもよい。
一実施形態に従うと、少なくとも２つのゲインは、写真撮影シーンの露光、計測データ、ユーザ入力、検出された周囲光、ストロボ制御、または上記の任意の組合せに基づく任意の技術的に実行可能な技術を用いて決定されてもよい。たとえば、少なくとも２つのゲインのうちの第１のゲインは、アナログ記憶平面７０２からのデジタル値の半分が、「ＥＶ０」露光を有すると特徴付けられ得る画像スタック７３２の第１のデジタル画像を構成するデジタル値と関連付けられているダイナミックレンジについての指定しきい値（たとえば０．０〜１．０の範囲内の０．５のしきい値）よりも高いデジタル値に変換されるように、決定されてもよい。この例を続けると、少なくとも２つのゲインのうちの第２のゲインは、「ＥＶ＋１」露光を有すると特徴付けられる画像スタック７３２の第２のデジタル画像を生成するように、第１のゲインの２倍であるとして決定されてもよい。さらに、少なくとも２つのゲインのうちの第３のゲインは、「ＥＶ−１」露光を有すると特徴付けられる画像スタック７３２の第３のデジタル画像を生成するように、第１のゲインの半分であるとして決定されてもよい。
一実施形態において、アナログ−デジタルユニット７２２は、ゲイン調整されたアナログ画素データの第１のインスタンスを第１のデジタル画素データ７２３に、ゲイン調整されたアナログ画素データの第２のインスタンスを第２のデジタル画素データ７２４に、およびゲイン調整されたアナログ画素データの第３のインスタンスを第３のデジタル画素データ７２５に連続して変換する。たとえば、アナログ−デジタルユニット７２２はまず、ゲイン調整されたアナログ画素データの第１のインスタンスを第１のデジタル画素データ７２３に変換し、その後、ゲイン調整されたアナログ画素データの第２のインスタンスを第２のデジタル画素データ７２４に変換し、その後、ゲイン調整されたアナログ画素データの第３のインスタンスを第３のデジタル画素データ７２５に変換してもよい。他の実施形態において、アナログ−デジタルユニット７２２は、第１のデジタル画素データ７２３、第２のデジタル画素データ７２４および第３のデジタル画素データ７２５のうちの１つ以上が並列に生成されるように、そのような変換を並列に実行してもよい。
さらに、図７に示されるように、各第１のデジタル画素データ７２３は第１のデジタル画像を提供する。同様に、各第２のデジタル画素データ７２４は第２のデジタル画像を提供し、各第３のデジタル画素データ７２５は第３のデジタル画像を提供する。単一のアナログ記憶平面７０２のアナログ値を使用して作り出される各組のデジタル画像はともに、画像スタック７３２を構成する。たとえば、周囲画像スタック７３２（０）は、アナログ記憶平面７０２（０）のアナログ値を使用して作り出されるデジタル画像を含み、フラッシュ画像スタック７３２（１）は、アナログ記憶平面７０２（１）のアナログ値を使用して作り出されるデジタル画像を含む。前述のように、周囲画像スタック７３２（０）のデジタル画像の各々は、第１の露光時間中に周囲照明で捕捉された写真撮影シーンのデジタル画像であってもよい。同様に、フラッシュ画像スタック７３２（１）のデジタル画像の各々は、第２の露光時間中にストロボまたはフラッシュ照明で捕捉された写真撮影シーンのデジタル画像であってもよい。
図７に示されるように、画像スタック７３２のすべてのデジタル画像は、同じアナログ画素データ７０４に基づいていてもよい。しかしながら、画像スタック７３２の各デジタル画像は、画像スタック７３２における他のデジタル画像とは、２つのデジタル画像を生
成するために使用されるゲイン間の差の関数として異なっていてもよい。具体的には、少なくとも２つのゲインのうち最大のゲインを使用して生成されたデジタル画像は、画像スタック７３２のデジタル画像のうち最も明るい、または露光が多いと視覚的に認識され得る。逆に、少なくとも２つのゲインのうち最小のゲインを使用して生成されたデジタル画像は、画像スタック７３２の他のデジタル画像と比べて最も暗く、露光が少ないと視覚的に認識され得る。この目的のために、第１の光感度値が第１のデジタル画素データ７２３と関連付けられてもよく、第２の光感度値が第２のデジタル画素データ７２４と関連付けられてもよく、第３の光感度値が第３のデジタル画素データ７２５と関連付けられてもよい。さらに、ゲインの各々は異なる光感度値と関連付けられてもよいため、第１のデジタル画像または第１のデジタル信号は第１の光感度値と関連付けられてもよく、第２のデジタル画像または第２のデジタル信号は第２の光感度値と関連付けられてもよく、第３のデジタル画像または第３のデジタル信号は第３の光感度値と関連付けられてもよい。一実施形態において、画像スタックの１つ以上のデジタル画像同士がブレンドされてもよく、ブレンドされた光感度と関連付けられているブレンド画像をもたらす。
アナログ画素データへのゲインの制御された適用はＨＤＲ画像生成を大きく助け得るが、適用するゲインが大き過ぎると、ノイズが多い、露光過剰である、および／または白飛びであると視覚的に認識されるデジタル画像が生じ得ることに留意すべきである。一実施形態において、２ストップのゲインをアナログ画素データに適用すると、写真撮影シーンのより暗い部分については視覚的に認識可能なノイズが、および写真撮影シーンのより明るい部分については視覚的に認識不能なノイズが付与され得る。別の実施形態において、デジタル写真撮影デバイスは、捕捉された写真撮影シーンのアナログ画素データのためにアナログ記憶平面を提供し、次いでアナログ−デジタルユニット７２２を使用して同じアナログ画素データの少なくとも２つのアナログ−デジタルサンプリングを実行するように構成されてもよい。この目的のために、少なくとも２つのサンプリングのうちの各サンプリングについてデジタル画像が生成されてもよく、各デジタル画像は、すべてのデジタル画像が画像センサ上に合焦される単一の光学画像の同じアナログサンプリングから生成されているにもかかわらず、異なる露光で得られる。
一実施形態において、当初の露光パラメータは、ユーザによって、またはデジタル写真撮影デバイスの計測アルゴリズムによって選択されてもよい。当初の露光パラメータは、ユーザ入力、または特定の捕捉変数を選択するソフトウェアに基づいて選択されてもよい。そのような捕捉変数は、たとえば、ＩＳＯ、アパーチャ、およびシャッター速度を含んでいてもよい。画像センサは次いで、第１の露光時間中に当初の露光パラメータで写真撮影シーンを捕捉し、画像センサ上に合焦される光学画像に対応する第１の複数のアナログ値で第１のアナログ記憶平面をポピュレートしてもよい。次に、第２の露光時間中、第２のアナログ記憶平面が、画像センサ上に合焦される光学画像に対応する第２の複数のアナログ値でポピュレートされてもよい。第２の露光時間中、写真撮影シーンの少なくとも一部を照明するために、ストロボまたはフラッシュユニットが利用されてもよい。前述の図の文脈において、複数の第１のアナログサンプリング回路６０３（０）を含む第１のアナログ記憶平面７０２（０）は、周囲捕捉と関連付けられている複数のアナログ値でポピュレートされてもよく、複数の第２のアナログサンプリング回路６０３（１）を含む第２のアナログ記憶平面７０２（１）は、フラッシュまたはストロボ捕捉と関連付けられている複数のアナログ値でポピュレートされてもよい。
言い換えれば、各感光セルが２つのアナログサンプリング回路を含む実施形態において、２つのアナログ記憶平面は、アナログ記憶平面のうちの第１のアナログ記憶平面がセルのアナログサンプリング回路のうちの１つから出力される第１のアナログ値出力を記憶し、アナログ記憶平面のうちの第２のアナログ記憶平面が同じセルの他のアナログサンプリング回路から出力される第２のアナログ値を記憶するように、構成されてもよい。
さらに、アナログ記憶平面の各々は、画素アレイまたは画像センサの所与の画素について異なるアナログ値を受信し、記憶してもよい。たとえば、所与の画素について受信され、第１のアナログ記憶平面に記憶されたアナログ値が、第１の露光時間中に捕捉された周囲サンプルに基づいて出力されてもよく、所与の画素について受信され、第２のアナログ記憶平面に記憶された対応するアナログ値が、第１の露光時間とは異なる第２の露光時間中に捕捉されたフラッシュサンプルに基づいて出力されてもよい。したがって、一実施形態において、第１のアナログ記憶平面に記憶された実質的にすべてのアナログ値は、第１の露光時間中に得られたサンプルに基づいていてもよく、第２のアナログ記憶平面に記憶された実質的にすべてのアナログ値は、第１の露光時間と異なる第２の露光時間中に得られたサンプルに基づいていてもよい。
この説明の文脈において、写真撮影シーンの「単一露光」は、少なくとも部分的に同時に、２組以上のアナログサンプリング回路を使用して写真撮影シーンを表わすアナログ値を記憶することを含んでいてもよく、各組のアナログサンプリング回路は異なる露光時間で動作するように構成されてもよい。２組以上のアナログサンプリング回路を使用する写真撮影シーンの捕捉中、写真撮影シーンは、第１の露光時間中に周囲光によって、または、第２の露光時間中にフラッシュまたはストロボユニットによって照明されてもよい。さらに、２組以上のアナログサンプリング回路を使用して写真撮影シーンを捕捉した後、２つ以上のアナログ記憶平面（たとえば各組のアナログサンプリング回路につき１つの記憶平面）が、画像センサ上に合焦される光学画像に対応するアナログ値でポピュレートされてもよい。次に、上記のシステムおよび方法に従って、第１の露光時間中に捕捉された第１のアナログ記憶平面のアナログ値に１つ以上のゲインを適用することによって、周囲画像スタックの１つ以上のデジタル画像が得られ得る。さらに、上記のシステムおよび方法に従って、第２の露光時間中に捕捉された第２のアナログ記憶平面のアナログ値に１つ以上のゲインを適用することによって、フラッシュ画像スタックの１つ以上のデジタル画像が得られ得る。
この目的のために、１つ以上の画像スタック７３２が、写真撮影シーンの単一露光に基づいて生成されてもよい。
一実施形態において、画像スタック７３２の第１のデジタル画像が、上述のシステムおよび方法に従って第１のゲインを利用して得られてもよい。たとえば、当初の露光パラメータがＩＳＯ４００の選択を含むようにデジタル写真撮影デバイスが構成されている場合、第１のデジタル画像を得るために利用される第１のゲインはＩＳＯ４００にマップされてもよく、または他の態様でＩＳＯ４００と関連付けられてもよい。この第１のデジタル画像は、露光値０（ＥＶ０）で得られる露光または画像と称され得る。さらに、１つ以上のデジタル画像が、上述のシステムおよび方法に従って第２のゲインを利用して得られてもよい。たとえば、第１のデジタル画像を生成するために使用されるのと同じアナログ画素データが第２のゲインを利用して処理されて第２のデジタル画像を生成してもよい。さらに、１つ以上のデジタル画像が、上述のシステムおよび方法に従って第２のアナログ記憶平面を利用して得られてもよい。たとえば、第１のデジタル画像を生成するために使用されるアナログ画素データとは異なる第２のアナログ画素データが、第２のデジタル画像を生成するために使用されてもよい。具体的には、第１のデジタル画像を生成するために使用されるアナログ画素データは、第１の露光時間中に捕捉されたものであってもよく、第２のアナログ画素データは、第１の露光時間とは異なる第２の露光時間中に捕捉されたものであってもよい。
この目的のために、少なくとも２つのデジタル画像が異なるアナログ画素データを利用して生成され、次いでブレンドされてＨＤＲ画像を生成してもよい。当該少なくとも２つ
のデジタル画像は、第１のデジタル信号と第２のデジタル信号とをブレンドすることによってブレンドされてもよい。写真撮影シーンの単一露光中に捕捉された異なるアナログ画素データを使用して少なくとも２つのデジタル画像が生成される場合、当該少なくとも２つのデジタル画像の間にはおよそまたはほぼゼロのフレーム間時間が存在し得る。同じ写真撮影シーンの少なくとも２つのデジタル画像の間のフレーム間時間がゼロまたはほぼゼロである結果、１つの可能な実施形態において、ＨＤＲ画像が、ＨＤＲ写真に典型的なモーションブラーまたは他のアーティファクトなしで生成可能である。
一実施形態において、画像スタック７３２の第１のデジタル画像を生成するための第１のゲインを選択した後、第２のゲインが第１のゲインに基づいて選択されてもよい。たとえば、第２のゲインは、第２のゲインが第１のゲインから１ストップ離れていることに基づいて選択されてもよい。より具体的には、第１のゲインがＩＳＯ４００にマップされているか関連付けられている場合、ＩＳＯ４００から１ストップ下がるとＩＳＯ２００と関連付けられているゲインが提供され、ＩＳＯ４００から１ストップ上がるとＩＳＯ８００と関連付けられているゲインが提供される。そのような実施形態では、ＩＳＯ２００と関連付けられているゲインを利用して生成されるデジタル画像は、露光値−１（ＥＶ−１）で得られる露光または画像と称され得、ＩＳＯ８００と関連付けられているゲインを利用して生成されるデジタル画像は、露光値＋１（ＥＶ＋１）で得られる露光または画像と称され得る。
さらに、同じアナログ信号を利用して生成されるデジタル画像間により著しい露光差が望まれる場合、第２のゲインは、第２のゲインが第１のゲインから２ストップ離れていることに基づいて選択されてもよい。たとえば、第１のゲインがＩＳＯ４００にマップされているか関連付けられている場合、ＩＳＯ４００から２ストップ下がるとＩＳＯ１００と関連付けられているゲインが提供され、ＩＳＯ４００から２ストップ上がるとＩＳＯ１６００と関連付けられているゲインが提供される。そのような実施形態では、ＩＳＯ１００と関連付けられているゲインを利用して生成されるデジタル画像は、露光値−２（ＥＶ−２）で得られる露光または画像と称され得、ＩＳＯ１６００と関連付けられているゲインを利用して生成されるデジタル画像は、露光値＋２（ＥＶ＋２）で得られる露光または画像と称され得る。
一実施形態において、ＩＳＯおよびＥＶ０画像の露光は、より暗いデジタル画像が生成されるように好みに従って選択されてもよい。そのような実施形態では、その意図は、最大ゲインを利用して生成されるデジタル画像である、最も明るいデジタル画像となるものの白飛びまたは露光過剰を回避することであり得る。別の実施形態において、ＥＶ−１デジタル画像またはＥＶ−２デジタル画像が第１の生成デジタル画像であってもよい。ＥＶ−１またはＥＶ−２デジタル画像の生成に続き、アナログ−デジタルユニットにおけるゲインの増加を利用してＥＶ０デジタル画像が生成されてもよく、次いでアナログ−デジタルユニットにおけるゲインの第２の増加を利用してＥＶ＋１またはＥＶ＋２デジタル画像が生成されてもよい。一実施形態において、当初の露光パラメータはＥＶ−Ｎデジタル画像に対応し、その後のゲインを用いてＥＶ０デジタル画像、ＥＶ＋Ｍデジタル画像、またはそれらの任意の組合せが得られ、ＮおよびＭは０から−１０の範囲の値である。
一実施形態において、３つの異なる露光を有する３つのデジタル画像（たとえばＥＶ−２デジタル画像、ＥＶ０デジタル画像、およびＥＶ＋２デジタル画像）が、３つのアナログ−デジタルユニットを実現することによって並列に生成されてもよい。各アナログ−デジタルユニットは、１つ以上のアナログ信号値を対応するデジタル信号値に変換するように構成されてもよい。そのような実現例によって、ＥＶ−１デジタル画像、ＥＶ０デジタル画像、およびＥＶ＋１デジタル画像のすべてを同時に生成することも可能であってもよい。同様に、他の実施形態において、露光の任意の組合せが、２つ以上のアナログ−デジ
タルユニット、３つ以上のアナログ−デジタルユニット、または任意の数のアナログ−デジタルユニットから並列に生成されてもよい。他の実施形態において、１組のアナログ−デジタルユニットが、２つ以上の異なるアナログ記憶平面のいずれかの上で各々動作するように構成されてもよい。
図８は、さまざまな実施形態に従う、アナログ信号を増幅するためのさまざまなタイミング構成を示す。選択肢として、図８のタイミング構成は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、図８のタイミング構成は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
具体的には、図８に示されるように、画素ごとのタイミング構成８０１が画素単位でアナログ信号を増幅するとして示されている。さらに、ラインごとのタイミング構成８１１がライン単位でアナログ信号を増幅するとして示されている。最後に、フレームごとのタイミング構成８２１がフレーム単位でアナログ信号を増幅するとして示されている。アナログ画素データと関連付けられている各増幅アナログ信号は、対応するデジタル信号値に変換されてもよい。
画素ごとのタイミング構成８０１を実現するシステムにおいて、アナログ画素データを含むアナログ信号がアナログ−デジタルユニットにおいて受信されてもよい。さらに、アナログ画素データは個々のアナログ画素値を含んでいてもよい。そのような実施形態では、第１の画素と関連付けられている第１のアナログ画素値がアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々が、同じ第１のアナログ画素値に連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、選択されたアナログ画素値に適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインを同じアナログ画素値に適用するのみで十分であり得る。一実施形態において、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々を適用した後、第２の画素と関連付けられている第２のアナログ画素値がアナログ信号内で特定されて選択されてもよい。第２の画素は第１の画素の隣接画素であってもよい。たとえば、第２の画素は第１の画素と同じ行内にあり、画像センサの画素アレイ上で第１の画素に隣接して位置していてもよい。次に、第１のゲイン８０３、第２のゲイン８０５および第３のゲイン８０７の各々は、同じ第２のアナログ画素値に連続してまたは並行して適用されてもよい。この目的のために、画素ごとのタイミング構成８０１において、複数の連続したアナログ画素値がアナログ信号内で特定されてもよく、１組の少なくとも２つのゲインが画素単位で当該アナログ信号内の各画素に適用される。
さらに、画素ごとのタイミング構成８０１を実現するシステムにおいて、制御ユニットは、各画素が予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、第１の画素と関連付けられている、アナログ画素データ７０４を含む第１のアナログ画素データ値などの第１のアナログ画素値に適用されることになっている１組の予め定められたゲインの各々を使用して第１のアナログ画素データを増幅してから、その後増幅器に到達する第２のアナログ画素データに当該１組の予め定められたゲインを適用するよう、当該１組の予め定められたゲインを繰返すように増幅器を制御してもよい。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインを受信した第１のアナログ画素値に適用すること、第２のゲインを選択すること、第２のゲインを受信した第１のアナログ画素値に適用すること、第３のゲインを選択すること、選択した第３のゲインを受信した第１のアナログ画素値に適用すること、そして次いで、第２のアナログ画素値を
受信し、選択した３つのゲインを、第１の画素値に適用したのと同じ順序で第２の画素値に適用することを含んでいてもよい。一実施形態において、各アナログ画素値は複数回読出されてもよい。概して、アナログ記憶平面が、画素のアナログ画素値を読出用に保持するために利用されてもよい。
ラインごとのタイミング構成８１１を実現するシステムにおいて、アナログ画素データを含むアナログ信号がアナログ−デジタルユニットにおいて受信されてもよい。さらに、アナログ画素データは個々のアナログ画素値を含んでいてもよい。一実施形態において、画素アレイの画素の第１のラインと関連付けられているアナログ画素値の第１のラインがアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々が、アナログ画素値の同じ第１のラインに連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、アナログ画素値の選択されたラインに適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインをアナログ画素値の同じラインに適用するのみで十分であり得る。一実施形態において、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々を適用した後、画素の第２のラインと関連付けられているアナログ画素値の第２のラインがアナログ信号内で特定されて選択されてもよい。画素の第２のラインは画素の第１のラインの隣接ラインであってもよい。たとえば、画素の第２のラインは、画像センサの画素アレイ内の画素の第１のラインの真上または真下に位置していてもよい。次に、第１のゲイン８１３、第２のゲイン８１５および第３のゲイン８１７の各々は、アナログ画素値の同じ第２のラインに連続してまたは並行して適用されてもよい。この目的のために、ラインごとのタイミング構成８１１において、アナログ画素値の複数の連続したラインがアナログ信号内で特定され、１組の少なくとも２つのゲインがライン単位で当該アナログ信号内のアナログ画素値の各ラインに適用される。
さらに、ラインごとのタイミング構成８１１を実現するシステムにおいて、制御ユニットは、各ラインが予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、ラインに適用されることになっている１組の予め定められたゲインの各々を使用してアナログ画素値の第１のラインを増幅してから、アナログ画素値の第１のラインの後に増幅器に到着するアナログ画素値の第２のラインに当該１組の予め定められたゲインを適用するよう、当該１組の予め定められたゲインを繰返すように増幅器を制御してもよい。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインをアナログ画素値の受信した第１のラインに適用すること、第２のゲインを選択すること、第２のゲインをアナログ画素値の受信した第１のラインに適用すること、第３のゲインを選択すること、選択した第３のゲインをアナログ画素値の受信した第１のラインに適用すること、そして次いで、アナログ画素値の第２のラインを受信し、選択した３つのゲインを、アナログ画素値の第１のラインに適用したのと同じ順序でアナログ画素値の第２のラインに適用することを含んでいてもよい。一実施形態において、アナログ画素値の各ラインは複数回読出されてもよい。別の実施形態において、アナログ記憶平面が、１つ以上のラインのアナログ画素データ値を読出用に保持するために利用されてもよい。
フレームごとのタイミング構成８２１を実現するシステムにおいて、アナログ画素値を含む複数のアナログ画素データ値を含むアナログ信号がアナログ−デジタルユニットにおいて受信されてもよい。そのような実施形態では、画素の第１のフレームと関連付けられているアナログ画素値の第１のフレームがアナログ信号内で特定されて選択されてもよい。次に、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々が、アナログ画素値の同じ第１のフレームに連続してまたは並行して適用されてもよい。いくつかの実施形態において、３つよりも少ないまたは多い異なるゲインが、アナログ画素値
の選択されたフレームに適用されてもよい。たとえば、いくつかの実施形態において、満足のいくＨＤＲ画像を生成するためには２つの異なるゲインをアナログ画素値の同じフレームに適用するのみで十分であり得る。
一実施形態において、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々を適用した後、画素の第２のフレームと関連付けられているアナログ画素値の第２のフレームがアナログ信号内で特定されて選択されてもよい。画素の第２のフレームは、写真撮影シーンと関連付けられているビデオデータを捕捉する一連のフレーム内の次のフレームであってもよい。たとえば、デジタル写真撮影システムは３０フレーム／秒のビデオデータを捕捉するように動作可能であってもよい。そのようなデジタル写真撮影システムでは、画素の第１のフレームは上記３０個のフレームのうちの１つのフレームであってもよく、画素の第２のフレームは上記３０個のフレームのうちの第２のフレームであってもよい。さらに、第１のゲイン８２３、第２のゲイン８２５および第３のゲイン８２７の各々は、第２のフレームのアナログ画素値に連続して適用されてもよい。この目的のために、フレームごとのタイミング構成８２１において、アナログ画素値の複数の連続したフレームがアナログ信号内で特定されてもよく、１組の少なくとも２つのゲインがフレーム単位でアナログ画素値の各フレームに適用される。
さらに、フレームごとのタイミング構成８２１を実現するシステムにおいて、制御ユニットは、各フレームが予め選択されたゲインを用いて増幅された後に適用すべき次のゲインを選択してもよい。別の実施形態において、制御ユニットは、フレームに適用されることになっている１組の予め定められたゲインの各々を使用して第１のフレームと関連付けられているアナログ画素値を増幅してから、その後増幅器に到着する第２のフレームと関連付けられているアナログ画素値に当該１組の予め定められたゲインを適用するよう、当該１組の予め定められたゲインを繰返すように増幅器を制御してもよい。一実施形態において、図８の文脈において示されるように、これは、第１のゲインを選択すること、第１のゲインを第１のフレームと関連付けられているアナログ画素値に適用すること、第２のゲインを選択すること、第２のゲインを第１のフレームと関連付けられているアナログ画素値に適用すること、第３のゲインを選択すること、および第３のゲインを第１のフレームと関連付けられているアナログ画素値に適用することを含んでいてもよい。別の実施形態において、第１のフレームと関連付けられているアナログ画素値に選択したすべての３つのゲインを適用することに引き続いて、第２のフレームと関連付けられているアナログ画素値が受信されてもよく、次いで、選択した３つのゲインが、第１のフレームに適用されたのと同じ順序で第２のフレームと関連付けられているアナログ画素値に適用されてもよい。
さらに別の実施形態において、第１のフレームに適用される選択されたゲインは第２のフレームに適用される選択されたゲインとは異なっていてもよく、これは第２のフレームが第１のフレームとは異なる内容および照明を含む場合などに起こり得る。概して、アナログ記憶平面が、１つ以上のフレームのアナログ画素データ値を読出用に保持するために利用されてもよい。
ある実施形態において、アナログ−デジタルユニットが各異なるゲインについて割り当てられ、アナログ−デジタルユニットは並行して動作するように構成される。結果得られるデジタル値は、出力のためにインターリーブされてもよく、または並列で出力されてもよい。たとえば、所与の行についてのアナログ画素データがゲイン８０３に従って増幅され、第１のアナログ−デジタルユニットによって対応するデジタル値に変換されてもよく、それと並行して、当該行についてのアナログ画素データはゲイン８０５に従って増幅され、第２のアナログ−デジタルユニットによって対応するデジタル値に変換されてもよい。さらに、並行して、当該行についてのアナログ画素データはゲイン８０７に従って増幅
され、第３のアナログ−デジタルユニットによって対応するデジタル値に変換されてもよい。第１〜第３のアナログ−デジタルユニットからのデジタル値は、画素の組として出力されてもよく、１組の画素における各画素は、３つのゲイン８０３、８０５、８０７のうちの１つに対応する。同様に、出力データ値は、異なるゲイン値を有するラインとして編成されてもよく、各ラインは、３つのゲイン８０３、８０５、８０７のうちの１つに対応するゲインを有する画素を含む。
図９は、一実施形態に従う、アナログ画素データをデジタル画素データの複数の信号に並列に変換するためのシステム９００を示す。選択肢として、システム９００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、システム９００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図９の文脈において、システム９００は入力されたアナログ画素データ６２１を受信するとして示されている。アナログ画素データ６２１は、上述のようにアナログ信号内で受信されてもよい。さらに、アナログ−デジタルユニット６２２は、受信したアナログ画素データ６２１に基づいてデジタル画素データ６２５を生成するように構成されてもよい。
図９に示されるように、システム９００は、アナログ−デジタルユニット６２２（０）、アナログ−デジタルユニット６２２（１）およびアナログ−デジタルユニット６２２（ｎ）の各々がアナログ画素データ６２１のスケーリングされたコピーを受信するように、アナログ画素データ６２１の電流をミラーリングするように構成される。一実施形態において、アナログ−デジタルユニット６２２（０）、アナログ−デジタルユニット６２２（１）およびアナログ−デジタルユニット６２２（ｎ）の各々は、固有のゲインをアナログ画素データ６２１に適用するように構成されてもよい。スケーリングされた各コピーは、電流ミラーとして当該技術において公知の構造を含む、システム９００を構成するトランジスタについての物理的寸法に従ってスケーリングされてもよい。示されるように、各電流ｉ１、ｉ２、ｉ３は、当該物理的寸法に基づいて、入力電流Ｉｉｎに対して任意の比で生成されてもよい。たとえば、電流ｉ１、ｉ２、ｉ３は、Ｉｉｎに対して１：１：１、１：２：４、０．５：１：２の比で、またはその他の技術的に実行可能な比で生成されてもよい。
ある実施形態において、固有のゲインは、コントローラによってアナログ−デジタルユニット６２２の各々において構成されてもよい。具体例として、アナログ−デジタルユニット６２２（０）は１．０のゲインをアナログ画素データ６２１に適用するように構成されてもよく、アナログ−デジタルユニット６２２（１）は２．０のゲインをアナログ画素データ６２１に適用するように構成されてもよく、アナログ−デジタルユニット６２２（ｎ）は４．０のゲインをアナログ画素データ６２１に適用するように構成されてもよい。したがって、同じアナログ画素データ６２１が、アナログ−デジタルユニット６２２（０）、アナログ−デジタルユニット６２２（１）およびアナログ−デジタルユニット６２２（ｎ）の各々に入力送信され得るが、デジタル画素データ６２５（０）、デジタル画素データ６２５（１）およびデジタル画素データ６２５（ｎ）の各々は、アナログ−デジタルユニット６２２内で適用される異なるゲインに基づいた異なるデジタル値を含み得るため、同じ写真撮影シーンの固有の露光表現を提供する。
アナログ−デジタルユニット６２２（０）が１．０のゲインを適用するように構成されてもよく、アナログ−デジタルユニット６２２（１）が２．０のゲインを適用するように構成されてもよく、アナログ−デジタルユニット６２２（ｎ）が４．０のゲインを適用するように構成されてもよい上述の実施形態において、デジタル画素データ６２５（０）は最小露光の対応するデジタル画像を提供し得る。逆に、デジタル画素データ６２５（ｎ）
は最大露光のデジタル画像を提供し得る。別の実施形態において、デジタル画素データ６２５（０）はＥＶ−１デジタル画像を生成するために利用されてもよく、デジタル画素データ６２５（１）はＥＶ０デジタル画像を生成するために利用されてもよく、デジタル画素データ６２５（ｎ）はＥＶ＋２画像を生成するために利用されてもよい。別の実施形態において、システム９００は２：１：４の比で電流ｉ１、ｉ２およびｉ３を生成するように構成され、各アナログ−デジタルユニット６２２は１．０のゲインを適用するように構成されてもよく、この結果、対応するデジタル画像はそれぞれＥＶ−１、ＥＶ−０およびＥＶ＋１の露光値を有する。そのような実施形態では、露光値のさらなる差が、１つ以上のアナログ−デジタルユニット６２２内で非ユニットゲイン（non-unit gain）を適用す
ることによって達成され得る。
いくつかの実施形態において、アナログ画素データが周囲捕捉と関連付けられているか、またはフラッシュ捕捉と関連付けられているかに基づいて、１組のゲインが、アナログ画素データ６２１に対する適用のために選択されてもよい。たとえば、アナログ画素データ６２１が、周囲サンプル記憶と関連付けられているアナログ記憶平面からの複数の値を含む場合、周囲サンプル記憶と関連付けられているアナログ記憶平面の値を増幅するために、第１の組のゲインが選択されてもよい。さらに、フラッシュサンプル記憶と関連付けられているアナログ記憶平面の値を増幅するために、第２の組のゲインが選択されてもよい。
複数の第１のアナログサンプリング回路６０３（０）は、周囲サンプル記憶に使用されるアナログ記憶平面を構成してもよく、複数の第２のアナログサンプリング回路６０３（１）は、フラッシュサンプル記憶に使用されるアナログ記憶平面を構成してもよい。露光設定に基づいて、いずれかの組のゲインが予め選択されてもよい。たとえば、フラッシュ捕捉と関連付けられている露光設定のために、第１の組のゲインが予め選択されてもよく、周囲捕捉と関連付けられている露光設定のために、第２の組のゲインが予め選択されてもよい。各組のゲインは、たとえばＩＳＯ、アパーチャ、シャッター速度、ホワイトバランスおよび露光などの任意の実行可能な露光設定に基づいて予め選択されてもよい。一方の組のゲインは、他方の組のゲインにおけるゲイン値の各々よりも大きいゲイン値を含んでいてもよい。たとえば、各周囲サンプルに対する適用のために選択される第１の組のゲインは、０．５、１．０および２．０というゲイン値を含んでいてもよく、各フラッシュサンプルに対する適用のために選択される第２の組のゲインは、１．０、２．０および４．０というゲイン値を含んでいてもよい。
システム９００は３つのアナログ−デジタルユニット６２２を含むとして示されているが、３つよりも多いまたは少ないアナログ−デジタルユニット６２２を有する同様のシステムによって複数のデジタル画像が生成されてもよいと考えられる。たとえば、２つのアナログ−デジタルユニット６２２を有するシステムが、システム９００に関して上述したのと同様の態様で、ゼロまたはほぼゼロのフレーム間時間で写真撮影シーンの２つの露光を同時に生成するために実現されてもよい。一実施形態において、２つのアナログ−デジタルユニット６２２は、各々２つの露光を生成して、アナログ画素データの１フレームに対して合計４つの異なる露光を生成するように構成されてもよい。
図１０Ａは、一実施形態に係る、結合画像１０２０を生成するためのユーザインターフェイス（ＵＩ）システム１０００を示す。選択肢として、ＵＩシステム１０００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ＵＩシステム１０００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
一実施形態において、結合画像１０２０は少なくとも２つの関連したデジタル画像の組
合せを含む。たとえば、結合画像１０２０は、図７の周囲画像スタック７３２（０）およびフラッシュ画像スタック７３２（１）のデジタル画像のうちの２つ以上といった少なくとも２つのデジタル画像の結合されたレンダリングを含み得るがこれに限定されない。別の実施形態において、結合画像１０２０を計算するために使用されるデジタル画像は、周囲アナログ信号およびフラッシュアナログ信号の各々を少なくとも２つの異なるゲインで増幅することによって生成されてもよく、各アナログ信号は、画像センサ上に合焦される光学画像に基づいて捕捉される光学シーン情報を含む。さらに別の実施形態において、各アナログ信号は、画素単位で、ライン単位で、またはフレーム単位で少なくとも２つの異なるゲインを使用して増幅されてもよい。
一実施形態において、ＵＩシステム１０００は、結合画像１０２０と制御領域１０２５とを何ら限定されることなく含む表示画像１０１０を提示する。制御領域１０２５は、図１０Ａにおいて、トラック１０３２に沿って動くように構成されたスライダコントロール１０３０と、表示画像１０１０内に表示される視覚マーカを各々含み得る２つ以上の表示点１０４０とを含むとして示されている。
一実施形態において、ＵＩシステム１０００はデジタル写真撮影システム３００のプロセッサ複合体３１０内で実行される調整ツールによって生成され、表示画像１０１０は表示ユニット３１２上に表示される。一実施形態において、少なくとも２つのデジタル画像は、結合画像１０２０を生成するためのソース画像を含む。少なくとも２つのデジタル画像は、ＮＶメモリ３１６、揮発性メモリ３１８、メモリサブシステム３６２またはそれらの任意の組合せの内部に存在してもよい。別の実施形態において、ＵＩシステム１０００は、ラップトップコンピュータまたはデスクトップコンピュータなどのコンピュータシステム内で実行される調整ツールによって生成される。少なくとも２つのデジタル画像はコンピュータシステムに送信されてもよく、または取付けられたカメラデバイスによって生成されてもよい。さらに別の実施形態において、ＵＩシステム１０００はクラウドベースのサーバコンピュータシステムによって生成されてもよく、当該サーバコンピュータシステムは少なくとも２つのデジタル画像をクライアントブラウザにダウンロードしてもよく、当該ブラウザは以下に説明する結合動作を実行してもよい。別の実施形態において、ＵＩシステム１０００はクラウドベースのサーバコンピュータシステムによって生成され、当該サーバコンピュータシステムは、モバイルデバイス内のデジタル写真撮影システムから少なくとも２つのデジタル画像を受信し、結合画像１０２０の生成に関連して、以下に説明する結合動作を実行してもよい。
スライダコントロール１０３０は、表示点１０４０−Ａおよび１０４０−Ｃに対応する２つの終点間を動くように構成されてもよい。表示点１０４０−Ｂなどの１つ以上の表示点が２つの終点間に位置付けられてもよい。当然、他の実施形態において、制御領域１０２５は、２つの終点間の表示点１０４０の他の構成を含んでいてもよい。たとえば、制御領域１０２５は、１つよりも多いまたは少ない表示点を含んでいてもよい。
各表示点１０４０は、結合画像１０２０の特定のレンダリング、または２つ以上のデジタル画像の特定の組合せと関連付けられてもよい。たとえば、表示点１０４０−Ａは、第１の露光時間中に捕捉され、第１のゲインを利用して増幅された周囲アナログ信号から生成された第１のデジタル画像と関連付けられてもよく、表示点１０４０−Ｃは、第２の露光時間中に捕捉され、第２のゲインを利用して増幅されたフラッシュアナログ信号から生成された第２のデジタル画像と関連付けられてもよい。上述されたように、第１のデジタル画像および第２のデジタル画像の両方は、単一露光からのものであってもよい。さらに、第１のデジタル画像は単一露光の周囲捕捉を含んでいてもよく、第２のデジタル画像は単一露光のフラッシュ捕捉を含んでいてもよい。一実施形態において、第１のゲインおよび第２のゲインは同じゲインであってもよい。別の実施形態において、スライダコントロ
ール１０３０が表示点１０４０−Ａの真上に位置付けられると、第１のデジタル画像のみが表示画像１０１０内に結合画像１０２０として表示されてもよく、同様に、スライダコントロール１０３０が表示点１０４０−Ｃの真上に位置付けられると、第２のデジタル画像のみが表示画像１０１０内に結合画像１０２０として表示されてもよい。
一実施形態において、表示点１０４０−Ｂは、第１のデジタル画像と第２のデジタル画像とのブレンドと関連付けられてもよい。さらに、第１のデジタル画像は周囲デジタル画像であってもよく、第２のデジタル画像はフラッシュデジタル画像であってもよい。このため、スライダコントロール１０３０が表示点１０４０−Ｂに位置付けられると、結合画像１０２０は周囲デジタル画像とフラッシュデジタル画像とのブレンドであってもよい。一実施形態において、周囲デジタル画像とフラッシュデジタル画像とのブレンドは、アルファブレンディング、輝度ブレンディング、ダイナミックレンジブレンディング、ならびに／またはトーンマッピングもしくは他の非線形ブレンディングおよびマッピング動作を含んでいてもよい。別の実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドはいずれも、第１の画像および第２の画像単独のいずれか一方とは異なるより大きいダイナミックレンジまたは他の視覚的特徴を有する新たな画像を提供し得る。一実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドは、結合画像内のフラッシュ寄与の制御を可能にし得る。このため、第１のデジタル画像と第２のデジタル画像とのブレンドによって、結合画像１０２０として表示され得るかまたは結合画像１０２０を生成するために使用され得る、新たな計算画像が提供され得る。この目的のために、第１のデジタル信号と第２のデジタル信号とが結合されることによって、結合画像の少なくとも一部が得られてもよい。さらに、第１のデジタル信号および第２のデジタル信号の一方は、別のデジタル画像またはデジタル信号の少なくとも一部とさらに結合されてもよい。一実施形態において、他方のデジタル画像は、ＨＤＲ画像を含み得る別の結合画像を含んでいてもよい。
一実施形態において、スライダコントロール１０３０が表示点１０４０−Ａに位置付けられると第１のデジタル画像が結合画像１０２０として表示され、スライダコントロール１０３０が表示点１０４０−Ｃに位置付けられると第２のデジタル画像が結合画像１０２０として表示され、さらに、スライダコントロール１０３０が表示点１０４０−Ｂに位置付けられるとブレンド画像が結合画像１０２０として表示される。そのような実施形態では、スライダコントロール１０３０が表示点１０４０−Ａと表示点１０４０−Ｃとの間に位置付けられると、第１のデジタル画像および第２のデジタル画像について混合（たとえばブレンド）重みが計算されてもよい。第１のデジタル画像について、混合重みは、スライダコントロール１０３０が表示点１０４０−Ｃにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０−Ａにあるときに１．０の値を有するとして計算されてもよく、０．０〜１．０という混合重み値の範囲がそれぞれ表示点１０４０−Ｃと１０４０−Ａとの間に位置する。第２のデジタル画像について、混合重みは、スライダコントロール１０３０が表示点１０４０−Ａにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０−Ｃにあるときに１．０の値を有するとして計算されてもよく、０．０〜１．０という混合重み値の範囲がそれぞれ表示点１０４０−Ａと１０４０−Ｃとの間に位置する。
別の実施形態において、表示点１０４０−Ａは、画像の第１の組合せと関連付けられていてもよく、表示点１０４０−Ｃは、画像の第２の組合せと関連付けられていてもよい。画像の各組合せは、画像の独立したブレンドを含んでいてもよい。たとえば、表示点１０４０−Ａは、図７の周囲画像スタック７３２（０）のデジタル画像のブレンドと関連付けられていてもよく、表示点１０４０−Ｃは、フラッシュ画像スタック７３２（１）のデジタル画像のブレンドと関連付けられていてもよい。言い換えれば、表示点１０４０−Ａは、ブレンドされた周囲デジタル画像またはブレンドされた周囲デジタル信号と関連付けら
れていてもよく、表示点１０４０−Ｃは、ブレンドされたフラッシュデジタル画像またはブレンドされたフラッシュデジタル信号と関連付けられていてもよい。そのような実施形態では、スライダコントロール１０３０が表示点１０４０−Ａに位置付けられると、ブレンドされた周囲デジタル画像が結合画像１０２０として表示され、スライダコントロール１０３０が表示点１０４０Ｃに位置付けられると、ブレンドされたフラッシュデジタル画像が結合画像１０２０として表示される。ブレンドされた周囲デジタル画像およびブレンドされたフラッシュデジタル画像の各々は、固有の光感度と関連付けられていてもよい。
さらに、スライダコントロール１０３０が表示点１０４０−Ｂに位置付けられると、ブレンドされた周囲デジタル画像がブレンドされたフラッシュデジタル画像とブレンドされて新たなブレンド画像を生成してもよい。新たなブレンド画像はさらに別の固有の光感度と関連付けられていてもよく、フラッシュ画像のブレンドによる適切に照らされた前景被写体と、周囲画像のブレンドによる適切な背景露光とのバランスを提供してもよい。そのような実施形態では、スライダコントロール１０３０が表示点１０４０−Ａと表示点１０４０−Ｃとの間に位置付けられると、ブレンドされた周囲デジタル画像およびブレンドされたフラッシュデジタル画像について混合（たとえばブレンド）重みが計算されてもよい。ブレンドされた周囲デジタル画像について、混合重みは、スライダコントロール１０３０が表示点１０４０−Ｃにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０−Ａにあるときに１．０の値を有するとして計算されてもよく、０．０〜１．０という混合重み値の範囲がそれぞれ表示点１０４０−Ｃと１０４０−Ａとの間に位置する。ブレンドされたフラッシュデジタル画像について、混合重みは、スライダコントロール１０３０が表示点１０４０−Ａにあるときに０．０の値を有し、スライダコントロール１０３０が表示点１０４０−Ｃにあるときに１．０の値を有するとして計算されてもよく、０．０〜１．０という混合重み値の範囲がそれぞれ表示点１０４０−Ａと１０４０−Ｃとの間に位置する。
図１０Ｂは、一実施形態に係る、結合画像１０２０を生成するためのユーザインターフェイス（ＵＩ）システム１０５０を示す。選択肢として、ＵＩシステム１０５０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ＵＩシステム１０５０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図１０Ｂに示されるように、ＵＩシステム１０５０は、図１０ＡのＵＩシステム１０００と実質的に同一であってもよいが、ＵＩシステム１０００の制御領域１０２５とＵＩシステム１０５０の制御領域１０２６とが異なっている。ＵＩシステム１０５０の制御領域１０２６は、６つの表示点１０４０−Ｕ、１０４０−Ｖ、１０４０−Ｗ、１０４０−Ｘ、１０４０−Ｙおよび１０４０−Ｚを含むとして示されている。表示点１０４０−Ｕおよび１０４０−Ｚはそれぞれ、ＵＩシステム１０００の表示点１０４０−Ａおよび１０４０−Ｃと同様の終点を表わしていてもよい。さらに、ＵＩシステム１０５０の制御領域１０２６は、２つの終点間にトラック１０３２に沿って配置された、表示点１０４０−Ｖ、１０４０−Ｗ、１０４０−Ｘおよび１０４０−Ｙなどの複数の表示点１０４０を含むとして示されている。表示点の各々は、画像スタック７３２の１つ以上のデジタル画像と関連付けられていてもよい。
たとえば、周囲画像スタック７３２は、ＥＶ−１露光での周囲デジタル画像、ＥＶ０露光での周囲デジタル画像およびＥＶ＋１露光での周囲デジタル画像の各々を含むように生成されてもよい。上記周囲画像スタック７３２は、図７の周囲画像スタック７３２（０）のように、第１の露光時間において捕捉された第１のアナログ記憶平面と関連付けられてもよい。このため、周囲画像スタックは、周囲捕捉中の第１の露光時間とすべて関連付けられる複数のデジタル画像を含んでいてもよく、各デジタル画像は異なるＩＳＯまたは光
感度と関連付けられる。さらに、フラッシュ画像スタック７３２は、ＥＶ−１露光でのフラッシュデジタル画像、ＥＶ０露光でのフラッシュデジタル画像およびＥＶ＋１露光でのフラッシュデジタル画像の各々を含むように生成されてもよい。しかしながら、フラッシュ画像スタック７３２は、図７のフラッシュ画像スタック７３２（１）のように、ストロボまたはフラッシュが起動された第２の露光時間において捕捉された第２のアナログ記憶平面と関連付けられてもよい。このため、フラッシュ画像スタックは、ストロボまたはフラッシュが起動された第２の露光時間とすべて関連付けられる第２の複数のデジタル画像を含んでいてもよく、各フラッシュデジタル画像は異なるＩＳＯまたは光感度と関連付けられる。
アナログ−デジタルユニット７２２（０）および７２２（１）がそれぞれの画像スタック７３２を生成した後、アナログ−デジタルユニット７２２（０）および７２２（１）によって出力されるデジタル画素データは、増加または減少する露光のデジタル画像の単一のシーケンスへと一緒に配置されてもよい。一実施形態において、２つの画像スタックのどの２つのデジタル信号も、同じＩＳＯ＋露光時間の組合せと関連付けられないかもしれず、そのため、各デジタル画像またはデジタル画素データのインスタンスは固有の有効露光を有すると考えられ得る。
一実施形態において、および前述の図の文脈において、表示点１０４０−Ｕ、１０４０−Ｖおよび１０４０−Ｗの各々は、ある画像スタック７３２のデジタル画像と関連付けられてもよく、表示点１０４０−Ｘ、１０４０−Ｙおよび１０４０−Ｚの各々は、別の画像スタック７３２のデジタル画像と関連付けられてもよい。たとえば、表示点１０４０−Ｕ、１０４０−Ｖおよび１０４０−Ｗの各々は、異なる周囲デジタル画像または周囲デジタル信号と関連付けられてもよい。同様に、表示点１０４０−Ｘ、１０４０−Ｙおよび１０４０−Ｚの各々は、異なるフラッシュデジタル画像またはフラッシュデジタル信号と関連付けられてもよい。そのような実施形態では、スライダ１０３０がトラック１０３２に沿って左から右に動かされるにつれて、結合画像１０２０の露光およびフラッシュ寄与が調整または変更されるようであってもよい。当然、スライダ１０３０がトラック１０３２に沿った２つの表示点の間にある場合、結合画像１０３２は、２つの画像スタック７３２の任意の２つ以上の画像の組合せであってもよい。
別の実施形態において、アナログ−デジタルユニット７２２（０）およびアナログ−デジタルユニット７２２（１）によって出力されるデジタル画像またはデジタル画素データのインスタンスは、増加または減少する露光のデジタル画像の単一のシーケンスへと配置されてもよい。そのような実施形態では、シーケンスは、周囲デジタル画像とフラッシュデジタル画像とを繰り返してもよい。たとえば、デジタル画像の各々について、当該デジタル画像の有効露光を決定するために、ゲインと露光時間とを組合せてもよい。デジタル画素データは、たとえば７２３（０）、７２３（１）、７２４（０）、７２４（１）、７２５（０）および７２５（１）といったように、増加する有効露光のデジタル画像の単一のシーケンスを得るために迅速に編成されてもよい。そのような編成では、デジタル画像のシーケンスは、フラッシュデジタル画像と周囲デジタル画像とを繰り返してもよい。当然、有効露光レベルに基づいたデジタル画像またはデジタル画素データのいかなるソーティングも、ゲインの適用およびデジタル信号７２３〜７２５の生成の順番に依存することになる。
一実施形態において、露光時間およびゲインは、多くの適当に異なる有効露光を生成するために選択され、または予め定められてもよい。たとえば、３つのゲインが適用されることになっている場合、各ゲインは、最も近い選択されたゲインから２つの露光ストップだけ離れるように選択されてもよい。さらに、第１の露光時間は第２の露光時間から１つの露光ストップだけ離れるように選択されてもよい。そのような実施形態では、２つの露
光ストップによって分離される３つのゲインの選択、および１つの露光ストップによって分離される２つの露光時間の選択により、固有の有効露光を各々有する６つのデジタル画像の生成が保証されてもよい。
別の実施形態において、露光時間およびゲインは、周囲画像スタックとフラッシュ画像スタックとの間に同様の露光の対応画像を生成するために選択され、または予め定められてもよい。たとえば、周囲画像スタックの第１のデジタル画像は、フラッシュ画像スタックの第１のデジタル画像を生成するために利用された露光時間とゲインとの組合せに対応する露光時間とゲインとの組合せを利用して生成されてもよい。これは、周囲画像スタックの第１のデジタル画像がフラッシュ画像スタックの第１のデジタル画像と同様の有効露光を有するように行なわれてもよく、それは、２つのデジタル画像をブレンドすることによって生成された結合画像におけるフラッシュ寄与の調整を助けてもよい。
増加する露光のシーケンスにおいてソートされた複数の画像スタックのデジタル画像を引き続き参照して、デジタル画像の各々は次に、ＵＩシステム１０５０のトラック１０３２に沿った表示点と関連付けられてもよい。たとえば、デジタル画像は、表示点１０４０−Ｕ、１０４０−Ｖ、１０４０−Ｗ、１０４０−Ｘ、１０４０−Ｙおよび１０４０−Ｚでそれぞれ、前述の有効露光が増加する順（７２３（０）、７２３（１）、７２４（０）、７２４（１）、７２５（０）および７２５（１））に、トラック１０３２に沿ってソートまたは配列されてもよい。
そのような実施形態では、スライダコントロール１０３０は次に、２つの異なるアナログ記憶平面に基づいて生成される２つのデジタル画像間にある、トラック１０３２に沿った任意の点に位置付けられてもよく、各アナログ記憶平面は異なるシーン照明と関連付けられている。結果として、周囲照明と関連付けられているアナログ記憶平面に基づいて生成されるデジタル画像が次に、フラッシュ照明と関連付けられているアナログ記憶平面に基づいて生成されるデジタル画像とブレンドされて、結合画像１０２０を生成してもよい。このように、周囲照明で捕捉された１つ以上の画像が、フラッシュ照明で捕捉された１つ以上の画像とブレンドされてもよい。
たとえば、スライダコントロール１０３０は、デジタル画素データ７２４（０）およびデジタル画素データ７２４（１）と等しく関連付けられ得る表示点に位置付けられてもよい。結果として、第１の露光時間中に周囲照明で捕捉され、ゲインを利用して増幅された周囲アナログ信号から生成された第１のデジタル画像を含み得るデジタル画素データ７２４（０）は、第２の露光時間中にフラッシュ照明で捕捉され、同じゲインを利用して増幅されたフラッシュアナログ信号から生成された第２のデジタル画像を含み得るデジタル画素データ７２４（１）とブレンドされて、結合画像１０２０を生成してもよい。
さらに、別の例として、スライダコントロール１０３０は、デジタル画素データ７２４（１）およびデジタル画素データ７２５（０）と等しく関連付けられ得る表示点に位置付けられてもよい。結果として、第１の露光時間中に周囲照明で捕捉され、第１のゲインを利用して増幅された周囲アナログ信号から生成された第１のデジタル画像を含み得るデジタル画素データ７２４（１）は、第２の露光時間中にフラッシュ照明で捕捉され、異なるゲインを利用して増幅されたフラッシュアナログ信号から生成された第２のデジタル画像を含み得るデジタル画素データ７２５（０）とブレンドされて、結合画像１０２０を生成してもよい。
このため、スライダコントロール１０３０の位置付けの結果、２つ以上のデジタル信号がブレンドされてもよく、ブレンドされたデジタル信号は異なるアナログ記憶平面からのアナログ値を利用して生成されてもよい。スライダに沿って有効露光をソートし、次にス
ライダコントロール位置に基づいてブレンド動作を可能にするさらに別の利点として、隣接するデジタル画像の各対が、より高いノイズのデジタル画像およびより低いノイズのデジタル画像を含み得る。たとえば、２つの隣接するデジタル信号が同じゲインを利用して増幅される場合、より少ない露光時間で捕捉されたアナログ信号から生成されるデジタル信号にはノイズがより少ない。同様に、２つの隣接するデジタル信号が異なるゲインを利用して増幅される場合、より低いゲイン値で増幅されたアナログ信号から生成されるデジタル信号にはノイズがより少ない。このため、スライダに沿って有効露光に基づいてデジタル信号がソートされる場合、２つ以上のデジタル信号のブレンド動作が、デジタル信号の少なくとも１つにおいて明らかなノイズを低減するように機能し得る。
当然、任意の２つ以上の有効露光が、スライダコントロール１０３０の表示点に基づいてブレンドされて、ＵＩシステム１０５０において結合画像１０２０を生成してもよい。
一実施形態において、第１のデジタル画像および第２のデジタル画像の少なくとも一方と関連付けられている少なくとも１つの混合重み値に基づいて、第１のデジタル画像および第２のデジタル画像に混合動作が適用されてもよい。一実施形態において、１．０の混合重みは、１．０の混合重みと関連付けられているデジタル画像に完全な混合重みを与える。このように、ユーザは第１のデジタル画像と第２のデジタル画像とをブレンドしてもよい。この目的のために、第１のデジタル信号および第２のデジタル信号はユーザ入力に応答してブレンドされてもよい。たとえば、スライディング標識（indicia）が表示され
てもよく、ユーザがスライディング標識を操作したことに応答して第１のデジタル信号および第２のデジタル信号がブレンドされてもよい。
混合重みおよび混合動作のシステムは、第１のデジタル画像と、第２のデジタル画像と、第１のデジタル画像から第２のデジタル画像への段階的進行としてのブレンド画像とを見るためのＵＩツールを提供する。一実施形態において、ユーザは、スライダコントロール１０３０の任意の位置に対応する結合画像１０２０を保存してもよい。ＵＩシステム１０００を実現する調整ツールは、任意の技術的に実行可能なジェスチャまたは技術を介して結合画像１０２０の保存を指示するコマンドを受信してもよい。たとえば、調整ツールは、結合画像１０２０が占める領域内でユーザがジェスチャを行なうと、結合画像１０２０を保存するように構成されてもよい。それに代えて、調整ツールは、ユーザがスライダコントロール１０３０を押すものの他のやり方ではそれを動かさない場合に、結合画像１０２０を保存してもよい。別の実現例では、調整ツールは、ユーザが保存コマンドの受信にあてられる保存ボタンなどのＵＩ要素（図示せず）を押すなどといったジェスチャを行なうと、結合画像１０２０を保存してもよい。
この目的のために、スライダコントロールを使用して２つ以上のデジタル画像の寄与を求め、結合画像１０２０などの最終計算画像を生成してもよい。当業者であれば、混合重みおよび混合動作の上記のシステムは、２つ以上の関連画像と関連付けられている２つ以上の表示点を含むように一般化され得ることを認識するであろう。そのような関連画像は、２つ以上のアナログ記憶平面から生成され、ゼロまたはほぼゼロのフレーム間時間を有し得る、任意数のデジタル画像を含み得るがこれに限定されない。
さらに、スライダ１０３０ではなく、回転ノブのような異なる連続位置ＵＩコントロールが実現されてもよい。
図１０Ｃは、一実施形態に係る、異なるレベルのストロボ露光を有する結合画像１０７０〜１０７２を表示するユーザインターフェイス（ＵＩ）システムを示す。選択肢として、図１０ＣのＵＩシステムは本明細書に開示されている図面のうちのいずれかの図面の文脈において実現されてもよい。しかし、当然、ＵＩシステムは任意の所望の環境において
実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図１０Ｃに示されるように、スライダコントロール１０３０の位置に基づいて、２つ以上の画像からブレンド画像がブレンドされてもよい。示されるように、スライダコントロール１０３０は、ブレンド動作への入力のために１つ以上のソース画像を選択するように構成され、ソース画像は、スライダコントロール１０３０が左から右に動くにつれて増加するストロボ強度と関連付けられている。
たとえば、制御領域１０７４におけるスライダコントロール１０３０の位置に基づいて、ストロボまたはフラッシュ照明なしで捕捉された１つ以上のソース画像を利用して、第１のブレンド画像１０７０が生成されてもよい。具体例として、第１のブレンド画像１０７０は、周囲照明のみを使用して捕捉された１つ以上の画像を利用して生成されてもよい。周囲照明のみを使用して捕捉された１つ以上の画像は、周囲画像スタック７３２（０）などの画像スタック７３２を構成してもよい。示されるように、第１のブレンド画像１０７０は露光不足の被写体１０６２を含む。さらに、制御領域１０７６におけるスライダコントロール１０３０の位置に基づいて、ストロボまたはフラッシュ照明を使用して捕捉された１つ以上のソース画像を利用して、第３のブレンド画像１０７２が生成されてもよい。制御領域１０７６におけるスライダコントロール１０３０の位置と関連付けられた１つ以上のソース画像は、フラッシュ画像スタック７３２（１）などの画像スタック７３２を構成してもよい。示されるように、第３のブレンド画像１０７２は露光過剰の被写体１０８２を含む。
スライダコントロール１０３０を操作することにより、ユーザは、ブレンド画像を生成するために使用されるソース画像の寄与を調整できてもよい。または、言い換えれば、ユーザは、１つ以上の画像のブレンドを調整できてもよい。たとえば、ユーザは、ストロボまたはフラッシュ照明を使用して捕捉された１つ以上のソース画像からのフラッシュ寄与を調整するかまたは増加させることができてもよい。図１０Ｃに示されるように、ユーザが制御領域１０７５に示されるようにトラックに沿ってスライダコントロール１０３０をトラック終点から離れるように位置付ける場合、ストロボまたはフラッシュ照明を使用して捕捉された１つ以上のソース画像からのフラッシュ寄与が、周囲照明を使用して捕捉された１つ以上のソース画像とブレンドされてもよい。これは、適切に露光された被写体１０８１を含む第２のブレンド画像１０７１の生成をもたらし得る。この目的のために、周囲照明条件で捕捉されたデジタル画像を、ストロボまたはフラッシュ照明で捕捉された同じ写真撮影シーンのデジタル画像とブレンドすることにより、新たなデジタル画像が生成されてもよい。さらに、前景被写体および背景オブジェクトの両方が適切に露光されることを保証するために、ストロボまたはフラッシュ照明で捕捉されたデジタル画像のフラッシュ寄与は、ユーザによって調節可能であってもよい。
適切なストロボ強度の判断は主観的であるかもしれず、本明細書に開示されている実施形態は、ユーザが、デジタル画像の捕捉後に所望のストロボ強度を有する最終結合画像を主観的に選択することを有利に可能にする。実際、ユーザは、単一のシャッターリリースをアサートすることにより、見かけ上単一の写真であるものを捕捉することができる。単一のシャッターリリースは、第１の露光時間中の第１のアナログ記憶平面への１組の周囲サンプルの捕捉と、第１の露光時間の直後の第２の露光時間中の第２のアナログ記憶平面への１組の周囲サンプルの捕捉とを引き起こしてもよい。周囲サンプルは周囲アナログ信号を含んでいてもよく、それは次に、周囲画像スタックの複数のデジタル画像を生成するために使用される。さらに、フラッシュサンプルはフラッシュアナログ信号を含んでいてもよく、それは次に、フラッシュ画像スタックの複数のデジタル画像を生成するために使用される。周囲画像スタックおよびフラッシュ画像スタックの２つ以上の画像をブレンドすることにより、ユーザはそれにより、所望のストロボ強度を有する最終結合画像を識別
してもよい。さらに、ユーザが後で最終結合画像を選択できるように、周囲画像スタックおよびフラッシュ画像スタックの両方が記憶されてもよい。
他の実施形態において、２つ以上のスライダコントロールがＵＩシステムで提示されてもよい。たとえば、一実施形態において、第１のスライダコントロールは、周囲画像スタックのデジタル画像と関連付けられてもよく、第２のスライダコントロールは、フラッシュ画像スタックのデジタル画像と関連付けられてもよい。これらのスライダコントロールを独立して操作することにより、ユーザは、周囲デジタル画像のブレンドを、フラッシュデジタル画像のブレンドから独立して制御し得る。そのような実施形態は、ユーザがまず、背景オブジェクトの好ましい露光を提供する周囲画像スタックからの画像のブレンドを選択することを可能し得る。次に、ユーザはフラッシュ寄与を選択してもよい。たとえば、ユーザは、前景オブジェクトの好ましい露光を提供するフラッシュ画像スタックからの画像のブレンドを選択してもよい。このため、周囲寄与およびフラッシュ寄与の独立した選択を可能にすることにより、最終ブレンドまたは結合画像は、適切に露光された前景オブジェクトと、適切に露光された背景オブジェクトとを含み得る。
別の実施形態において、ブレンド画像の１つ以上の所与の領域のための所望の露光が、ユーザがブレンド画像の別の領域を選択することによって識別されてもよい。たとえば、１つ以上の所与の領域が現在、露光不足または露光過剰である一方、ユーザによって選択された別の領域は現在、ＵＩシステム内で適切な露光で表示されてもよい。ユーザが別の領域を選択したことに応答して、周囲画像スタックおよびフラッシュ画像スタックからのソース画像のブレンドが、ブレンド画像の１つ以上の所与の領域で適切な露光を提供するように識別されてもよい。ブレンド画像は次に、１つ以上の所与の領域で適切な露光を提供するソース画像の識別されたブレンドを反映するように更新されてもよい。
別の実施形態において、所与の画像スタックの画像同士がブレンドされてから、異なる画像スタックの画像とのブレンド動作が行なわれてもよい。たとえば、固有の光感度を各々有する２つ以上の周囲デジタル画像または周囲デジタル信号が、ブレンドされた周囲光感度を有するブレンドされた周囲デジタル画像を生成するために、ブレンドされてもよい。さらに、ブレンドされた周囲デジタル画像は次に、１つ以上のフラッシュデジタル画像またはフラッシュデジタル信号とブレンドされてもよい。１つ以上のフラッシュデジタル画像とのブレンドは、ユーザー入力に応答するものであってもよい。別の実施形態において、ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル画像を生成するために、２つ以上のフラッシュデジタル画像がブレンドされてもよく、ブレンドされたフラッシュデジタル画像は次に、ブレンドされた周囲デジタル画像とブレンドされてもよい。
別の例として、固有の光感度を各々有する２つ以上のフラッシュデジタル画像またはフラッシュデジタル信号が、ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル画像を生成するために、ブレンドされてもよい。さらに、ブレンドされたフラッシュデジタル画像は次に、１つ以上の周囲デジタル画像または周囲デジタル信号とブレンドされてもよい。１つ以上の周囲デジタル画像とのブレンドは、ユーザー入力に応答するものであってもよい。別の実施形態において、ブレンドされた周囲光感度を有するブレンドされた周囲デジタル画像を生成するために、２つ以上の周囲デジタル画像がブレンドされてもよく、ブレンドされた周囲デジタル画像は次に、ブレンドされたフラッシュデジタル画像とブレンドされてもよい。
一実施形態において、周囲画像スタックは、フラッシュ画像スタックのデジタル画像とは異なる有効露光でのデジタル画像を含んでいてもよい。これは、周囲画像スタックおよびフラッシュ画像スタックの各々を生成するための異なるゲイン値の適用によるものかも
しれない。たとえば、特定のゲイン値が、対応するフラッシュアナログ信号に対する適用のためではなく、周囲アナログ信号に対する適用のために選択されてもよい。
図１１は、一実施形態に係る、結合画像を生成するための方法１１００のフロー図である。選択肢として、方法１１００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、方法１１００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
方法１１００はステップ１１１０で開始し、プロセッサ複合体３１０などのプロセッサ複合体内で実行される調整ツールが、図１０の文脈において説明した第１のデジタル画像および第２のデジタル画像などの少なくとも２つの関連したソース画像をロードする。ステップ１１１２において、調整ツールは、図１０Ａのスライダコントロール１０３０などのＵＩコントロールの位置をデフォルト設定に初期化する。一実施形態において、デフォルト設定は、ＵＩコントロールの値の範囲についての、図１０Ａの表示点１０４０−Ａなどの終点を含む。別の実施形態において、デフォルト設定は、少なくとも２つの関連したソース画像のうちの１つ以上に基づく計算値を含む。特定の実施形態において、デフォルト設定は、少なくとも第１のデジタル画像および第２のデジタル画像を含む画像オブジェクトと関連してユーザによって予め選択された値に初期化される。
ステップ１１１４において、調整ツールは、ＵＩコントロールの位置および少なくとも２つの関連したソース画像に基づいて、図１０Ａの結合画像１０２０などの結合画像を生成して表示する。一実施形態において、結合画像を生成することは、図１０Ａ〜１０Ｃにおいて前述したように、少なくとも２つの関連したソース画像を混合することを含む。ステップ１１１６において、調整ツールはユーザ入力を受信する。ユーザ入力は、表示画像１０１０内の選択ジェスチャまたはクリックジェスチャなどのＵＩジェスチャを含み得るがこれらに限定されない。ステップ１１２０において、ユーザ入力がＵＩコントロールの位置を変更すべき場合、調整ツールはＵＩコントロールの位置を変更し、方法はステップ１１１４に戻る。そうでなければ、方法はステップ１１３０に進む。
ステップ１１３０において、ユーザ入力が終了コマンドを含んでいない場合、方法はステップ１１４０に進み、調整ツールはユーザ入力と関連付けられているコマンドを実行する。一実施形態において、当該コマンドは保存コマンドを含み、調整ツールは次いで、ＵＩコントロールの位置に従って生成される結合画像を保存する。方法は次いでステップ１１１６に戻る。
ステップ１１３０に戻って、ユーザ入力が終了コマンドを含んでいる場合、方法はステップ１１９０において終わり、調整ツールが終了することによって実行を終わらせる。
要約すると、１つ以上の周囲デジタル画像と１つ以上のフラッシュデジタル画像とを有益にブレンドする新たなデジタル写真を生成するための技術であって、１つ以上の周囲デジタル画像および１つ以上のフラッシュデジタル画像は、単一露光中の単一の画像センサからではなく、２つの異なるアナログ記憶平面から受信した異なるアナログ信号に基づいている、技術が開示される。１つ以上の周囲デジタル画像は、任意の技術的に実行可能なブレンド技術を実現する機能に基づいて、１つ以上のフラッシュデジタル画像とブレンドされてもよい。調整ツールは、ユーザが関連画像同士を結合するためのパラメータの段階的変化から新たなデジタル信号を選択して保存することを可能にするユーザインターフェイス技術を実現してもよい。
本明細書において開示された実施形態の１つの利点は、デジタル写真が、写真撮影シー
ンの単一露光の２つ以上の異なるサンプルを使用してユーザ入力に基づいて選択的に生成され得ることである。したがって、ユーザ入力に基づいて生成されるデジタル写真は、どの個々のサンプルよりも大きいダイナミックレンジを有していてもよい。さらに、ゼロまたはほぼゼロのフレーム間時間で２つ以上の異なるサンプルを使用してＨＤＲ画像を生成するので、モーションアーティファクトなしでＨＤＲ画像の迅速な生成が可能となる。さらに、本明細書において開示された実施形態は、同じ写真撮影シーンの１つ以上の周囲デジタル画像を１つ以上のフラッシュデジタル画像とブレンドすることによる、理想的な量のフラッシュ寄与でのブレンド画像の生成を可能にし得る。
図１２は、一実施形態に係る、ネットワークを利用して結合画像を生成するためのメッセージシーケンス１２００を示す。選択肢として、メッセージシーケンス１２００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、メッセージシーケンス１２００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。
図１２に示されるように、ワイヤレスモバイルデバイス３７６（０）は少なくとも２つのデジタル画像を生成する。一実施形態において、少なくとも２つのデジタル画像は２つ以上のアナログ記憶平面のアナログ値を増幅することによって生成されてもよく、生成される各デジタル画像は適用されるゲインのデジタル出力に対応していてもよい。一実施形態において、第１のデジタル画像は、写真撮影シーンのＥＶ−１露光を含んでいてもよく、第２のデジタル画像は、写真撮影シーンのＥＶ＋１露光を含んでいてもよい。別の実施形態において、少なくとも２つのデジタル画像は、写真撮影シーンのＥＶ−２露光、写真撮影シーンのＥＶ０露光、および写真撮影シーンのＥＶ＋２露光を含んでいてもよい。さらに別の実施形態において、少なくとも２つのデジタル画像は、１つ以上の画像スタックを構成してもよい。たとえば、少なくとも２つのデジタル画像は、周囲画像スタックおよび／またはフラッシュ画像スタックを構成してもよい。
再び図１２を参照して、少なくとも２つのデジタル画像は、データネットワーク４７４によってワイヤレスモバイルデバイス３７６（０）からデータセンタ４８０に送信される。少なくとも２つのデジタル画像は、任意の技術的に実行可能なネットワーク通信方法を使用して、ワイヤレスモバイルデバイス３７６（０）によってデータセンタ４８０に送信されてもよい。
さらに、一実施形態において、データセンタ４８０は次いで、少なくとも２つのデジタル画像を処理して第１の計算画像を生成してもよい。少なくとも２つのデジタル画像の処理は、少なくとも２つのデジタル画像の各々の少なくとも一部をブレンドまたは併合して第１の計算画像を生成する、少なくとも２つのデジタル画像の任意の処理を含んでいてもよい。この目的のために、第１のデジタル画像および第２のデジタル画像はワイヤレスモバイルデバイス３７６（０）から遠隔で結合されてもよい。たとえば、少なくとも２つのデジタル画像の処理は、ＨＤＲ画像結合動作を含むがこれに限定されない任意の種類のブレンド動作を含んでいてもよい。一実施形態において、少なくとも２つのデジタル画像の処理は、データセンタ４０８において受信したデジタル画像のうちのどの１つよりも大きいダイナミックレンジを有する第１の計算画像を生成する任意の計算を含んでいてもよい。したがって、一実施形態において、データセンタ４８０によって生成される第１の計算画像はＨＤＲ画像であってもよい。他の実施形態では、データセンタ４８０によって生成される第１の計算画像はＨＤＲ画像の少なくとも一部であってもよい。
第１の計算画像を生成した後、データセンタ４８０は次いで第１の計算画像をワイヤレスモバイルデバイス３７６（０）に送信してもよい。一実施形態において、ワイヤレスモバイルデバイス３７６（０）からの少なくとも２つのデジタル画像の送信、およびワイヤ
レスモバイルデバイス３７６（０）における第１の計算画像の受信は、ワイヤレスモバイルデバイス３７６（０）のユーザから介入または命令を全く受けずに起こってもよい。たとえば、一実施形態において、ワイヤレスモバイルデバイス３７６（０）は、写真撮影シーンを捕捉して当該写真撮影シーンを表わすアナログ信号を利用して少なくとも２つのデジタル画像を生成した直後に、少なくとも２つのデジタル画像をデータセンタ４８０に送信してもよい。写真撮影シーンは、ワイヤレスモバイルデバイス３７６（０）に対する、電子シャッターコントロールのユーザ入力もしくは選択、またはマニュアルシャッターボタンの押下に基づいて捕捉されてもよい。さらに、少なくとも２つのデジタル画像を受信したことに応答して、データセンタ４８０は少なくとも２つのデジタル画像に基づいてＨＤＲ画像を生成し、ＨＤＲ画像をワイヤレスモバイルデバイス３７６（０）に送信してもよい。ワイヤレスモバイルデバイス３７６（０）は次いで、受信したＨＤＲ画像を表示してもよい。したがって、ワイヤレスモバイルデバイス３７６（０）のユーザは、データセンタ４８０によって計算されたＨＤＲ画像をワイヤレスモバイルデバイス３７６（０）のディスプレイ上で見ることができる。このため、ワイヤレスモバイルデバイス３７６（０）がＨＤＲ画像処理をまったく実行しない場合でも、ユーザは、新たに計算されたＨＤＲ画像を、写真撮影シーンを捕捉して当該ＨＤＲ画像が基づく少なくとも２つのデジタル画像を生成したほぼ直後に、ワイヤレスモバイルデバイス３７６（０）上で見ることができる。
図１２に示されるように、ワイヤレスモバイルデバイス３７６（０）は、少なくとも２つのデジタル画像の処理の調整を要求する。一実施形態において、データセンタ４８０から第１の計算画像を受信すると、ワイヤレスモバイルデバイス３７６（０）は、図１０のＵＩシステム１０００などのＵＩシステムにおいて第１の計算画像を表示してもよい。そのような実施形態では、ユーザは、スライダコントロール１０３０などのスライダコントロールを制御して、データセンタ４８０に送信された少なくとも２つのデジタル画像の処理を調整してもよい。たとえば、ユーザがスライダコントロールを操作すると、コマンドがデータセンタ４８０に送信されてもよい。一実施形態において、データセンタ４８０に送信されるコマンドは、少なくとも２つのデジタル画像の処理を調整する際に使用される混合重みを含んでいてもよい。他の実施形態では、少なくとも２つのデジタル画像の処理の調整を求める要求は、データセンタ４８０が少なくとも２つのデジタル画像を再処理して第２の計算画像を生成するために使用し得る、ワイヤレスモバイルデバイス３７６（０）からの任意の命令を含む。ユーザがスライダコントロールを操作すると、ストロボまたはフラッシュ照明で捕捉された１つ以上のソース画像のフラッシュ寄与が調整されてもよい。
図１２に示されるように、処理の調整を求める要求を受信すると、データセンタ４８０は少なくとも２つのデジタル画像を再処理して第２の計算画像を生成する。一実施形態において、データセンタ４８０は、ワイヤレスモバイルデバイス３７６（０）から受信したパラメータを使用して少なくとも２つのデジタル画像を再処理してもよい。そのような実施形態では、パラメータは、少なくとも２つのデジタル画像を有する入力として、データセンタ４８０において実行されるＨＤＲ処理アルゴリズムに提供されてもよい。第２の計算画像を生成した後、第２の計算画像は次いで、ユーザに表示するためにデータセンタ４８０からワイヤレスモバイルデバイス３７６（０）に送信されてもよい。
再び図１２を参照して、ワイヤレスモバイルデバイス３７６（０）は、第２の計算画像を別のワイヤレスモバイルデバイス３７６（１）と共有する。一実施形態において、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０から受信した任意の計算画像を別のワイヤレスモバイルデバイス３７６（１）と共有してもよい。たとえば、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０から受信した第１の計算画像を共有してもよい。図１２に示されるように、データセンタ４８０は、同じデータネット
ワーク４７４上でワイヤレスモバイルデバイス３７６（０）およびワイヤレスモバイルデバイス３７６（１）と通信する。当然、他の実施形態では、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０およびワイヤレスモバイルデバイス３７６（１）が通信のために利用するネットワークとは異なるネットワークを介してデータセンタ４８０と通信してもよい。
別の実施形態において、ワイヤレスモバイルデバイス３７６（０）は、共有要求をデータセンタ４８０に送信することによって計算画像を別のワイヤレスモバイルデバイス３７６（１）と共有してもよい。たとえば、ワイヤレスモバイルデバイス３７６（０）は、データセンタ４８０が第２の計算画像を別のワイヤレスモバイルデバイス３７６（１）に転送することを要求してもよい。共有要求を受信したことに応答して、データセンタ４８０は次いで第２の計算画像をワイヤレスモバイルデバイス３７６（１）に送信してもよい。ある実施形態において、第２の計算画像を別のワイヤレスモバイルデバイス３７６（１）に送信することは、別のワイヤレスモバイルデバイス３７６（１）が第２の計算画像にアクセスし得るＵＲＬを送信することを含んでいてもよい。
さらに、図１２に示されるように、第２の計算画像を受信した後、別のワイヤレスモバイルデバイス３７６（１）は、少なくとも２つのデジタル画像の処理の調整を求める要求をデータセンタ４８０に送信してもよい。たとえば、別のワイヤレスモバイルデバイス３７６（１）は、図１０のＵＩシステム１０００などのＵＩシステムにおいて第２の計算画像を表示してもよい。別のワイヤレスモバイルデバイス３７６（１）のユーザは、ＵＩコントロールを操作して、ワイヤレスモバイルデバイス３７６（０）によってデータセンタ４８０に送信された少なくとも２つのデジタル画像の処理を調整してもよい。たとえば、別のワイヤレスモバイルデバイス３７６（１）においてユーザがスライダコントロールを操作すると、コマンドが生成されて処理のためにデータセンタ４８０に送信されてもよい。ある実施形態において、別のワイヤレスモバイルデバイス３７６（１）から送信される少なくとも２つのデジタル画像の処理の調整を求める要求は、別のワイヤレスモバイルデバイス３７６（１）におけるスライダコントロールのユーザ操作に基づいて生成されるコマンドを含む。他の実施形態では、少なくとも２つのデジタル画像の処理の調整を求める要求は、データセンタ４８０が少なくとも２つのデジタル画像を再処理して第３の計算画像を生成するために使用し得る、ワイヤレスモバイルデバイス３７６（１）からの任意の命令を含む。
図１２に示されるように、処理の調整を求める要求を受信すると、データセンタ４８０は少なくとも２つのデジタル画像を再処理して第３の計算画像を生成する。一実施形態において、データセンタ４８０は、ワイヤレスモバイルデバイス３７６（１）から受信した混合重みを使用して少なくとも２つのデジタル画像を再処理してもよい。そのような実施形態では、ワイヤレスモバイルデバイス３７６（１）から受信した混合重みは、少なくとも２つのデジタル画像を有する入力として、データセンタ４８０において実行されるＨＤＲ処理アルゴリズムに提供されてもよい。第３の計算画像を生成した後、第３の計算画像は次いで、表示のためにデータセンタ４８０からワイヤレスモバイルデバイス３７６（１）に送信される。さらに、第３の計算画像を受信した後、ワイヤレスモバイルデバイス３７６（１）は、第３の計算画像を記憶することを求める要求をデータセンタ４８０に送信してもよい。別の実施形態において、データセンタ４８０と通信している他のワイヤレスモバイルデバイス３７６が計算画像の記憶を要求してもよい。たとえば、図１２の文脈において、ワイヤレスモバイルデバイス３７６（０）は、第１の計算画像または第２の計算画像の記憶をいつでも要求してもよい。
計算画像の記憶を求める要求を受信したことに応答して、データセンタ４８０は、後で取出すために計算画像を記憶してもよい。たとえば、記憶される計算画像は、当該計算画
像を生成するために適用された処理を再び適用することなく当該計算画像を後で取出すことができるように記憶されてもよい。一実施形態において、データセンタ４８０は、データセンタ４８０にローカルな記憶システム４８６内に計算画像を記憶してもよい。他の実施形態では、データセンタ４８０は、データセンタ４８１などの、データセンタ４８０にローカルでないハードウェアデバイス内に計算画像を記憶してもよい。そのような実施形態では、データセンタ４８０は記憶のために計算画像をデータネットワーク４７４上で送信してもよい。
さらに、いくつかの実施形態において、計算画像は、当該計算画像を生成するために利用された少なくとも２つのデジタル画像に関連して記憶されてもよい。たとえば、計算画像は、データセンタ４８０または４８１によって供給されるＵＲＬを通すなどして、当該計算画像を生成するために利用された少なくとも２つのデジタル画像と関連付けられてもよい。記憶された計算画像を少なくとも２つのデジタル画像にリンクすることによって、計算画像へのアクセスを有する任意のユーザまたはデバイスには、少なくとも２つのデジタル画像に適用される処理を後で調整し、それによって新たな計算画像を生成する機会も与えられ得る。
この目的のために、ワイヤレスモバイルデバイス３７６のユーザは、データネットワーク４７４を介してアクセス可能なデータセンタ４８０の処理能力を利用して、他のワイヤレスモバイルデバイス３７６が捕捉してその後アクセスを提供したデジタル画像を利用してＨＤＲ画像を生成してもよい。たとえば、デジタル画像を含むデジタル信号が遠隔で結合されるようにネットワーク上で転送されてもよく、結合されたデジタル信号によってＨＤＲ画像の少なくとも一部が得られてもよい。さらに、ユーザは、新たなＨＤＲ写真を生成するのに必要な処理または計算を実行するために自身のワイヤレスモバイルデバイス３７６に依拠することなく、２つ以上のデジタル画像のブレンドまたはフラッシュ寄与を調整して当該新たなＨＤＲ写真を生成することが可能であってもよい。続いて、ユーザのデバイスは、２つ以上のデジタル信号の結合によって得られたＨＤＲ画像の少なくとも一部を受信してもよい。したがって、ユーザのワイヤレスモバイルデバイス３７６は、ＨＤＲ処理をデータセンタにオフロードすることによって電力を節約することができる。さらに、ユーザは、ＨＤＲ画像生成と関連付けられている高出力処理タスクを実行可能なワイヤレスモバイルデバイス３７６を有していないにもかかわらず、ＨＤＲ写真を効果的に捕捉することが可能であってもよい。最後に、ユーザは、自身でＨＤＲアルゴリズムを選択する必要なく、かつ、そのようなＨＤＲアルゴリズムを実現するソフトウェアを自身のワイヤレスモバイルデバイス３７６上にインストールすることなく、写真撮影シーンにとって最良であると判断されるアルゴリズムを使用して生成されるＨＤＲ写真を得ることが可能であってもよい。たとえば、ユーザは、特定の写真撮影シーンにとって最良のＨＤＲアルゴリズムを識別して選択するためにデータセンタ４８０に依拠してもよい。
本発明の１つの利点は、デジタル写真が、写真撮影シーンの単一露光から生成される２つ以上の異なる画像を使用してユーザ入力に基づいて選択的に生成され得ることである。したがって、ユーザ入力に基づいて生成されるデジタル写真は、どの個々の画像よりも大きいダイナミックレンジを有していてもよい。加えて、ユーザは、生成されたデジタル写真への異なる画像のフラッシュ寄与を選択的に調整してもよい。さらに、ゼロまたはほぼゼロのフレーム間時間で２つ以上の異なる画像を使用してＨＤＲ画像を生成するので、モーションアーティファクトなしでＨＤＲ画像の迅速な生成が可能となる。
さらに、写真撮影シーン内にモーションが少しでもある場合、または捕捉デバイスが捕捉中にジッタを少しでも経験した場合、露光間のいかなるフレーム間時間によっても、併合された最終ＨＤＲ写真内にモーションブラーが発生し得る。そのようなブラーは、フレーム間時間が増加するにつれて著しく強調され得る。この問題によって、現在のＨＤＲ写
真撮影は、非常に静的なシーン以外、いかなる状況においても明確な画像を捕捉するためのソリューションとして有効ではなくなっている。さらに、ＨＤＲ写真を生成するための従来の技術は、著しい計算リソースを伴い、かつ、結果得られる画像の画像品質を低減するアーティファクトを作り出す。したがって、厳密に選択肢として、上記の問題の１つ以上が、本明細書において開示された技術の１つ以上を利用して対応されてもよく、または対応されなくてもよい。
さらに、さまざまな実施形態において、本明細書において開示される技術の１つ以上は、さまざまな市場および／または製品に適用されてもよい。たとえば、当該技術は写真捕捉を参照して開示されたが、テレビ、ウェブ会議（またはライブストリーミング機能など）、セキュリティカメラ（たとえば特徴を判断するためにコントラストを増加させるなど）、自動車（たとえば運転支援システム、車内情報娯楽システムなど）、および／または、カメラ入力を含む任意の他の製品に適用されてもよい。
さまざまな実施形態を上に説明してきたが、それらは限定としてではなく単なる例として提示されたことを理解すべきである。このため、好ましい実施形態の幅および範囲は上述の例示的な実施形態のいずれによっても限定されるべきではなく、添付の特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。

Claims (20)

  1. 装置であって、
    画像センサのフォトダイオードからの電気信号に基づいて周囲サンプルを記憶し、
    前記画像センサの前記フォトダイオードからの前記電気信号に基づいてフラッシュサンプルを記憶し、
    少なくとも１つの画像を生成するために、前記周囲サンプルに基づいた第１の値と、前記フラッシュサンプルに基づいた第２の値とを出力し、
    ２つ以上のゲインを利用して前記第１の値および前記第２の値のうちの少なくとも１つを増幅する
    ための回路を含む、装置。
  2. 前記装置は、前記電気信号が前記画像センサの前記フォトダイオードから受信されるフォトダイオード電流を含むように動作可能である、請求項１に記載の装置。
  3. 前記装置は、前記第１の値が周囲アナログ信号において出力され、前記第２の値がフラッシュアナログ信号において出力されるように動作可能である、請求項２に記載の装置。
  4. 前記装置は、前記２つ以上のゲインを利用した前記第１の値および前記第２の値のうちの前記少なくとも１つの増幅が、前記２つ以上のゲインを利用して前記周囲アナログ信号および前記フラッシュアナログ信号のうちの少なくとも１つを増幅することを含むように動作可能である、請求項３に記載の装置。
  5. 前記装置は、第１の増幅周囲アナログ信号および第２の増幅周囲アナログ信号を生成するために、前記周囲アナログ信号が前記２つ以上のゲインを利用して増幅されるように動作可能である、請求項４に記載の装置。
  6. 前記装置は、前記第１の増幅周囲アナログ信号が第１の光感度を有する第１の周囲デジタル信号に変換され、前記第２の増幅周囲アナログ信号が第２の光感度を有する第２の周囲デジタル信号に変換されるように動作可能である、請求項５に記載の装置。
  7. 前記装置は、ユーザ入力に応答して、前記第１の周囲デジタル信号が前記第２の周囲デジタル信号とブレンドされるように動作可能である、請求項６に記載の装置。
  8. 前記装置は、スライディング標識が表示され、前記ユーザ入力が前記スライディング標識の操作を含むように動作可能である、請求項７に記載の装置。
  9. 前記装置は、
    前記第１の周囲デジタル信号が前記第２の周囲デジタル信号とブレンドされて、ブレンドされた周囲光感度を有するブレンドされた周囲デジタル信号をもたらし、
    少なくとも１つの増幅フラッシュアナログ信号を生成するために、前記フラッシュアナログ信号が少なくとも１つのゲインを利用して増幅され、
    前記少なくとも１つの増幅フラッシュアナログ信号が少なくとも１つのフラッシュデジタル信号に変換され、
    ユーザ入力に応答して、前記ブレンドされた周囲デジタル信号が前記少なくとも１つのフラッシュデジタル信号とブレンドされる、
    ように動作可能である、請求項６に記載の装置。
  10. 前記装置は、
    前記第１の周囲デジタル信号が前記第２の周囲デジタル信号とブレンドされて、ブレン
    ドされた周囲光感度を有するブレンドされた周囲デジタル信号をもたらし、
    ２つ以上の増幅フラッシュアナログ信号を生成するために、前記フラッシュアナログ信号が別の２つ以上のゲインを利用して増幅され、
    前記２つ以上の増幅フラッシュアナログ信号が２つ以上のフラッシュデジタル信号に変換され、
    ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル信号を生成するために、前記２つ以上のフラッシュデジタル信号がブレンドされ、
    前記ブレンドされたフラッシュデジタル信号が前記ブレンドされた周囲デジタル信号とブレンドされる、
    ように動作可能である、請求項６に記載の装置。
  11. 前記装置は、第１の増幅フラッシュアナログ信号および第２の増幅フラッシュアナログ信号を生成するために、前記フラッシュアナログ信号が前記２つ以上のゲインを利用して増幅されるように動作可能である、請求項４に記載の装置。
  12. 前記装置は、前記第１の増幅フラッシュアナログ信号が第１の光感度を有する第１のフラッシュデジタル信号に変換され、前記第２の増幅フラッシュアナログ信号が第２の光感度を有する第２のフラッシュデジタル信号に変換されるように動作可能である、請求項１１に記載の装置。
  13. 前記装置は、ユーザ入力に応答して、前記第１のフラッシュデジタル信号が前記第２のフラッシュデジタル信号とブレンドされるように動作可能である、請求項１２に記載の装置。
  14. 前記装置は、スライディング標識が表示され、前記ユーザ入力が前記スライディング標識の操作を含むように動作可能である、請求項１３に記載の装置。
  15. 前記装置は、
    前記第１のフラッシュデジタル信号が前記第２のフラッシュデジタル信号とブレンドされて、ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル信号をもたらし、
    少なくとも１つの増幅周囲アナログ信号を生成するために、前記周囲アナログ信号が少なくとも１つのゲインを利用して増幅され、
    前記少なくとも１つの増幅周囲アナログ信号が少なくとも１つの周囲デジタル信号に変換され、
    ユーザ入力に応答して、前記ブレンドされたフラッシュデジタル信号が前記少なくとも１つの周囲デジタル信号とブレンドされる、
    ように動作可能である、請求項１２に記載の装置。
  16. 前記装置は、
    前記第１のフラッシュデジタル信号が前記第２のフラッシュデジタル信号とブレンドされて、ブレンドされたフラッシュ光感度を有するブレンドされたフラッシュデジタル信号をもたらし、
    ２つ以上の増幅周囲アナログ信号を生成するために、前記周囲アナログ信号が別の２つ以上のゲインを利用して増幅され、
    前記２つ以上の増幅周囲アナログ信号が２つ以上の周囲デジタル信号に変換され、
    ブレンドされた周囲光感度を有するブレンドされた周囲デジタル信号を生成するために、前記２つ以上の周囲デジタル信号がブレンドされ、
    前記ブレンドされた周囲デジタル信号が前記ブレンドされたフラッシュデジタル信号とブレンドされる、
    ように動作可能である、請求項１２に記載の装置。
  17. 前記２つ以上のゲインは、前記別の２つ以上のゲインと同じゲインを含み、前記ゲインの各々は異なる光感度値と関連付けられている、請求項１６に記載の装置。
  18. 前記装置は、前記第１の周囲デジタル信号および前記第２の周囲デジタル信号を、遠隔で結合されるようにネットワーク上で転送し、高ダイナミックレンジ（ＨＤＲ）画像の少なくとも一部をもたらすように動作可能である、請求項６に記載の装置。
  19. 非一時的なコンピュータ読取可能媒体上で具現化されるコンピュータプログラム製品であって、
    画像センサのフォトダイオードからの電気信号に基づいた周囲サンプルの記憶を可能にするためのコードと、
    前記画像センサの前記フォトダイオードからの前記電気信号に基づいたフラッシュサンプルの記憶を可能にするためのコードと、
    前記周囲サンプルに基づいた第１の値と前記フラッシュサンプルに基づいた第２の値とを利用して少なくとも１つの画像を生成するためのコードとを含み、
    前記コンピュータプログラム製品は、前記第１の値および前記第２の値のうちの少なくとも１つが２つ以上のゲインを利用して増幅されるように動作可能である、コンピュータプログラム製品。
  20. 画像センサのフォトダイオードからの電気信号に基づいて周囲サンプルを記憶するステップと、
    前記画像センサの前記フォトダイオードからの前記電気信号に基づいてフラッシュサンプルを記憶するステップと、
    少なくとも１つの画像を生成するために、前記周囲サンプルに基づいた第１の値と、前記フラッシュサンプルに基づいた第２の値とを出力するステップと、
    ２つ以上のゲインを利用して前記第１の値および前記第２の値のうちの少なくとも１つを増幅するステップとを含む、方法。
JP2021076679A 2014-11-06 2021-04-28 フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法 Pending JP2021119701A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/535,274 2014-11-06
US14/535,274 US9154708B1 (en) 2014-11-06 2014-11-06 Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
JP2017544282A JP7179461B2 (ja) 2014-11-06 2015-11-04 フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017544282A Division JP7179461B2 (ja) 2014-11-06 2015-11-04 フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法

Publications (1)

Publication Number Publication Date
JP2021119701A true JP2021119701A (ja) 2021-08-12

Family

ID=54203966

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017544282A Active JP7179461B2 (ja) 2014-11-06 2015-11-04 フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法
JP2021076679A Pending JP2021119701A (ja) 2014-11-06 2021-04-28 フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017544282A Active JP7179461B2 (ja) 2014-11-06 2015-11-04 フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法

Country Status (4)

Country Link
US (1) US9154708B1 (ja)
EP (1) EP3216212B1 (ja)
JP (2) JP7179461B2 (ja)
WO (1) WO2016073643A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US20210001810A1 (en) * 2019-07-02 2021-01-07 Duelight Llc System, method, and computer program for enabling operation based on user authorization
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10477087B2 (en) * 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
CN106023929B (zh) * 2016-07-20 2018-08-24 深圳市华星光电技术有限公司 显示装置的白平衡调整方法及其系统
US10270958B2 (en) 2016-09-01 2019-04-23 Duelight Llc Systems and methods for adjusting focus based on focus target information
CN107205126B (zh) * 2017-06-30 2020-04-24 联想(北京)有限公司 一种控制方法及处理装置
CN110906864B (zh) 2017-08-14 2022-04-29 深圳市汇顶科技股份有限公司 三维影像系统及电子装置
US10992873B2 (en) * 2019-01-18 2021-04-27 Qualcomm Incorporated Systems and methods for color matching for realistic flash images
US10554890B1 (en) * 2019-02-18 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method for generating low-light images with improved bokeh using mobile electronic device
KR102156431B1 (ko) * 2019-03-06 2020-09-16 한국표준과학연구원 거리 측정 장치 및 거리 측정 장치의 동작 방법
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007035028A (ja) * 2005-07-28 2007-02-08 Mitsubishi Electric Research Laboratories Inc 高ダイナミックレンジ画像を生成する方法及び高ダイナミックレンジ出力画像を生成するシステム
JP2008236726A (ja) * 2007-02-20 2008-10-02 Seiko Epson Corp 撮像装置、撮像システム、撮像方法及び画像処理装置
JP2009303010A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp 撮像装置及び撮像方法
JP2012195660A (ja) * 2011-03-15 2012-10-11 Nikon Corp 画像処理装置および電子カメラ、並びに画像処理プログラム
JP2014057256A (ja) * 2012-09-13 2014-03-27 Canon Inc 撮像装置、制御方法、プログラム及び記憶媒体
JP2014142836A (ja) * 2013-01-24 2014-08-07 Ricoh Co Ltd 処理装置、処理システム、処理方法及びプログラム

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2171574C (en) 1996-03-12 2000-10-03 Brian W. Tansley Photometric measurement apparatus
US6498926B1 (en) 1997-12-09 2002-12-24 Qualcomm Incorporated Programmable linear receiver having a variable IIP3 point
US6243430B1 (en) 1998-01-09 2001-06-05 Qualcomm Incorporated Noise cancellation circuit in a quadrature downconverter
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030015645A1 (en) * 2001-07-17 2003-01-23 Brickell Christopher Gavin Optical imager circuit with tolerance of differential ambient illumination
US7296286B2 (en) * 2002-01-31 2007-11-13 Hitachi Kokusai Electric Inc. Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
JP3933095B2 (ja) * 2003-05-30 2007-06-20 ソニー株式会社 撮像装置及び撮像方法
KR100871688B1 (ko) 2004-02-27 2008-12-08 삼성전자주식회사 고체 촬상 장치 및 그 구동 방법
US7760246B2 (en) 2004-07-19 2010-07-20 Hewlett-Packard Development Company, L.P. Method and device for adjusting white balance
JP2006311240A (ja) 2005-04-28 2006-11-09 Olympus Corp 撮像装置
JP2007043248A (ja) 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
US8237801B2 (en) 2005-08-05 2012-08-07 The Innovation Science Fund I, LLC Image processing system and communication method
US7623683B2 (en) 2006-04-13 2009-11-24 Hewlett-Packard Development Company, L.P. Combining multiple exposure images to increase dynamic range
US8013919B2 (en) 2006-06-27 2011-09-06 Samsung Electronics Co., Ltd. CMOS image sensor with increased dynamic range based on multiple exposure periods of varying lengths
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US7889207B2 (en) 2007-02-08 2011-02-15 Nikon Corporation Image apparatus with image noise compensation
US8089522B2 (en) 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
US7688144B2 (en) 2007-12-14 2010-03-30 Industrial Technology Research Institute Variable-gain wide-dynamic-range amplifier
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
JP5083046B2 (ja) 2008-06-03 2012-11-28 ソニー株式会社 撮像装置及び撮像方法
EP2296368B1 (en) * 2008-06-04 2017-01-04 Shizuoka University Imaging device
JP2010045773A (ja) 2008-07-18 2010-02-25 Panasonic Corp 撮像装置
US8436914B2 (en) 2008-11-07 2013-05-07 Cisco Technology, Inc. Method for automatic exposure control within a video capture device
US20100194851A1 (en) 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
JP5187241B2 (ja) 2009-02-16 2013-04-24 株式会社リコー 撮像装置及び撮像方法
RU2504011C2 (ru) 2009-03-13 2014-01-10 Долби Лабораторис Лайсэнзин Корпорейшн Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой
KR101094246B1 (ko) 2009-03-16 2011-12-19 이재웅 넓은 동적범위를 갖는 씨모스 이미지 센서
US8537241B2 (en) 2009-05-28 2013-09-17 Pixim, Inc. Image sensor with sensitivity control and sensitivity based wide dynamic range
US8130304B2 (en) 2009-07-24 2012-03-06 Aptina Imaging Corporation Image sensors with pixel charge summing
JP5419659B2 (ja) * 2009-12-04 2014-02-19 キヤノン株式会社 撮像装置
GB2477083A (en) * 2010-01-13 2011-07-27 Cmosis Nv Pixel structure with multiple transfer gates to improve dynamic range
US8606042B2 (en) 2010-02-26 2013-12-10 Adobe Systems Incorporated Blending of exposure-bracketed images using weight distribution functions
US9100581B2 (en) * 2010-04-02 2015-08-04 Microsoft Technology Licensing, Llc Time interleaved exposures and multiplexed illumination
US20130147979A1 (en) 2010-05-12 2013-06-13 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
KR101052207B1 (ko) 2010-05-12 2011-07-27 엠텍비젼 주식회사 물체의 속도에 따른 카메라 모듈의 영상 녹화 속성 조절 방법 및 장치
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8625013B2 (en) 2010-08-23 2014-01-07 Red.Com, Inc. Multi-exposure imaging
US8761245B2 (en) 2010-12-21 2014-06-24 Intel Corporation Content adaptive motion compensation filtering for high efficiency video coding
GB2487943A (en) * 2011-02-09 2012-08-15 St Microelectronics Res & Dev A CMOS pixel sensor with local analogue storage in each pixel circuit for capturing frames in quick succession
US8947555B2 (en) 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
US9077917B2 (en) 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
JP2013110738A (ja) 2011-10-27 2013-06-06 Panasonic Corp 画像通信装置および撮像装置
US9491372B2 (en) 2011-11-23 2016-11-08 Nokia Technologies Oy Apparatus and method comprising a beam splitter
US20130176458A1 (en) 2012-01-11 2013-07-11 Edwin Van Dalen Flexible Burst Image Capture System
WO2013118487A1 (ja) 2012-02-08 2013-08-15 パナソニック株式会社 通信装置
WO2013132828A1 (ja) 2012-03-05 2013-09-12 パナソニック株式会社 通信システムおよび中継装置
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
FR3002824A1 (fr) 2013-03-04 2014-09-05 St Microelectronics Grenoble 2 Procede et dispositif de generation d'images a grande gamme dynamique
US20150005637A1 (en) 2013-06-28 2015-01-01 Uvic Industry Partnerships Inc. Tissue displacement estimation by ultrasound speckle tracking

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007035028A (ja) * 2005-07-28 2007-02-08 Mitsubishi Electric Research Laboratories Inc 高ダイナミックレンジ画像を生成する方法及び高ダイナミックレンジ出力画像を生成するシステム
JP2008236726A (ja) * 2007-02-20 2008-10-02 Seiko Epson Corp 撮像装置、撮像システム、撮像方法及び画像処理装置
JP2009303010A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp 撮像装置及び撮像方法
JP2012195660A (ja) * 2011-03-15 2012-10-11 Nikon Corp 画像処理装置および電子カメラ、並びに画像処理プログラム
JP2014057256A (ja) * 2012-09-13 2014-03-27 Canon Inc 撮像装置、制御方法、プログラム及び記憶媒体
JP2014142836A (ja) * 2013-01-24 2014-08-07 Ricoh Co Ltd 処理装置、処理システム、処理方法及びプログラム

Also Published As

Publication number Publication date
JP7179461B2 (ja) 2022-11-29
EP3216212B1 (en) 2022-04-27
US9154708B1 (en) 2015-10-06
EP3216212A1 (en) 2017-09-13
EP3216212A4 (en) 2018-02-07
WO2016073643A1 (en) 2016-05-12
JP2018504071A (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
JP2021119701A (ja) フラッシュ照明画像および周囲照明画像を同時に捕捉するための画像センサ装置および方法
JP6896638B2 (ja) 同時に複数の画像を捕捉するための画像センサ装置および方法
JP7253586B2 (ja) 写真撮影シーンの低ノイズ高速捕捉を得るための画像センサ装置および方法
JP7000157B2 (ja) ゼロのフレーム間時間で多重露光を得るための画像センサ装置および方法
US11356647B2 (en) Systems and methods for generating a digital image
US11025831B2 (en) Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
JP2020184786A (ja) 高ダイナミックレンジ（ｈｄｒ）画素ストリームを生成するための装置、コンピュータプログラムおよび方法
US11394894B2 (en) Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230606