JP2010539745A - 画像のダイナミック・レンジを改善するためのマルチ露光パターン - Google Patents

画像のダイナミック・レンジを改善するためのマルチ露光パターン Download PDF

Info

Publication number
JP2010539745A
JP2010539745A JP2010523607A JP2010523607A JP2010539745A JP 2010539745 A JP2010539745 A JP 2010539745A JP 2010523607 A JP2010523607 A JP 2010523607A JP 2010523607 A JP2010523607 A JP 2010523607A JP 2010539745 A JP2010539745 A JP 2010539745A
Authority
JP
Japan
Prior art keywords
image
exposure
pixels
pixel
color channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010523607A
Other languages
English (en)
Other versions
JP5016715B2 (ja
Inventor
メイディ トリメシェ
マリウス ティコ
トム ピルカッネン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2010539745A publication Critical patent/JP2010539745A/ja
Application granted granted Critical
Publication of JP5016715B2 publication Critical patent/JP5016715B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

1つ以上の色チャネルに関して（例えばカメラの）画像センサによって撮影されるマルチ画素露光パターンを用いて画像のダイナミック・レンジを改善する方法、装置およびソフトウェア製品であり、画像センサの複数の画素グループが、異なる露光時間を有する（例えば、ファインダーのフィードバックを使用してユーザ・インターフェースを介しユーザによって事前選択また調節される、またはRAW画像を撮り格納した後にユーザ・インターフェースを介しユーザによって調節されるなど）。1つ以上の色チャネルそれぞれに関して画像の改善された画像を構成するための撮影された画像の処理は、事前選択済みの異なる露光時間を有する画素の露光時間の、所定の基準に従った重み付き合成を使用して実行されてもよい。
【選択図】図1

Description

優先権および関連出願の相互参照
本願は、2007年10月3日に出願された、米国特許出願第11/906990号に優先権を主張する。
本発明は、主に、カメラまたはカメラを含む電子デバイスに関し、特に、マルチ画素露光パターン（multi-exposure pixel pattern）を使用して撮影される画像のダイナミック・レンジの改善に関する。
人間の視覚系には、卓越したダイナミック・レンジの能力があり、直射日光から暗い影まで広範囲の輝度レベル（約1010）を検出でき、それを順応的に行っている。一方、典型的なデジタル・カメラは、8ビット、すなわち256段階の輝度しか提供しない。このように、数値上のダイナミック・レンジが小さいうえ、有効ダイナミック・レンジはそれより狭くなっていることが多い。これは、要求される数値範囲内でのシーンの表現を可能にするために、画素値が（アナログまたはデジタル手段によって）人工的に得られるためである。このように画素値を得る処理は、記録画像における粒状度の損失やノイズ・レベルの増大につながり、低い画素感度によるダイナミック・レンジの本質的な損失を回復することはできない。その上、画素サイズの縮小化（例えば、2×2ミクロン未満）が進んでいるため、容易に補償することのできない低感度をもたらし得る。本質的なダイナミック・レンジは、少なくとも次の要因により制限される。
・ 限られた光子変換効率および応答関数の非線形性による、センサの光感度の低下。
・ 画素サイズの縮小化：半導体のキャパシタンスは画素面積に比例するため、画素サイズと、関連する光感度との間に避けられないトレードオフがある。
・ 微光条件下でよりよい写真を得るためには、より長い蓄積時間（integration time）が必要であるが、これによって、露光不足の画像領域と、飽和状態の画像領域とが生じうる。
ユーザの観点からすると、特に、無関心なユーザは写真撮影の適切な結果を得るために必要な照明要件を知らないため、ダイナミック・レンジ・イメージングが改善されると、画質の感じ方に大きな影響を与えると考えられる。したがって、本質的なダイナミック・レンジを向上させる技術は、モバイル・イメージングとの関連で、非常に価値のあるものとなるであろう。
多くの画像センサは、すべての画素に同じ露光時間を使用する。これは、一部の画像領域では暗すぎ、場合によって他の領域では飽和した画像をもたらすことが多い。実際、カメラの露光制御メカニズムは、（すべての画素の）共通露光期間を統計的に決定しなければならない。これは通常、画素の大多数に適した値を選択することによって行われ、その結果、暗すぎたり明るすぎたりする領域は犠牲になる。すなわち、本質的なダイナミック・レンジが縮小し、これが劣化になる。
最も確かな従来技術の方法（例えば、デベヴェック（Debevec）およびJ.マリク（Malik）著、「複数写真からのハイ・ダイナミック・レンジ・ラジアンス・マップの回復（Recovering High Dynamic Range Radiance Maps from Photographs）、SIGGRAPH 97、1997年8月）は、認識されるダイナミック・レンジを向上させるために、複数の露出でいくつかの画像を獲得し、次にこの画像を合成することで、本質的なダイナミック・レンジを改善することである。しかし、これは主として静止したシーンに対して行うことができるものであり、さらにこの手法では、別々の画像から画素をマップするのに必要な、不可避のレジストレーションがあるために、信頼できる結果を得るのが難しい。正確な画像レジストレーションは、アルゴリズム的側面が依然として難しいままである。他にも複数の手法が試みられている。
例えば、別々の露光量で入射光をサンプリングするようプリセットされた別々のセンサへ入射光を反射するビーム・スプリッタを使用して、複数枚の画像を同時に撮るという手法がある（米国特許第5801773号、E. イケダ（Ikeda）、「ダイナミック・レンジを拡大するために、合成された画像信号を処理する画像データ処理装置（Image data processing apparatus for processing combined image signals in order to extend dynamic range）」、1998年参照）。この手法には、複数画像が同時に獲得されることからオンライン・レジストレーションを必要としないという利点がある。しかし、追加の画像センサおよび光学素子の注意深い配置を必要とするため、比較的費用が高い。
同じCMOS（complimentary metal oxide semiconductor： 相補型金属酸化膜半導体）センサ内で違うように露光された画素に基づく別の手法が、D.ヤン（Yang）、B.フォーラー（Fowler）、A.エル・ガマル（El Gamal）、H.ティエン（Tian）著、「超広ダイナミック・レンジ浮動小数点画素レベルADCを有する640×512CMOS画像センサ（A 640x512 CMOS Image Sensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC）」、IEEEソリッド・ステート回路ジャーナル（IEEE Journal of Solid State Circuits）、第34巻、第12号、p.1821〜1834、1999年12月によって提案されている。この手法では、露光の数およびタイミング、ならびに各画素から得られるビットの数が、自由に選択されて、読み出されることが可能である。しかしこれは、各画像画素の露光が終了されるべきか否かを決定するために、各画像画素を監視することを必要とする。さらに、この不明瞭な露光メカニズムは、像平面の全体にわたって一貫しないノイズ・レベルをもたらし得る。すなわち、一部の画素のノイズが他の画素よりも大きくなり、このノイズを軽減する信頼できるフィルタリング・メカニズムもない。
米国特許第5801773号
デベヴェック（Debevec）およびJ.マリク（Malik）著、「複数写真からのハイ・ダイナミック・レンジ・ラジアンス・マップの回復（Recovering High Dynamic Range Radiance Maps from Photographs）、SIGGRAPH 97、1997年8月 D.ヤン（Yang）、B.フォーラー（Fowler）、A.エル・ガマル（El Gamal）およびH.ティエン（Tian）著、「超広ダイナミック・レンジ浮動小数点画素レベルADCを有する640×512CMOS画像センサ（A 640x512 CMOS Image Sensor with Ultrawide Dynamic Range Floating-Point Pixel-Level ADC）」、IEEEソリッド・ステート回路ジャーナル（IEEE Journal of Solid State Circuits）、第34巻、第12号、p.1821〜1834、1999年12月
本発明の第1の側面による方法は、画像センサにより撮影された画像を複数のサブ画像に分離することを含む。ただし、前記画像センサは、該画像センサの複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサであり、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む。また前記方法は、前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間することと；前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成することと；を含む。
さらに、本発明の第1の側面によれば、異なる露光時間は、前記センサを含む電子デバイスのユーザ・インターフェースを介して選択されたものであってもよい。
さらに本発明の第1の側面によれば、本方法は、広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成することを含んでもよい。前記１つ以上の色チャネルの数は２つ以上である。また、前記再合成された画像をファインダー上に表示することと；前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、ユーザ・インターフェースを介して前記異なる露光時間を調節することと；をさらに含んでもよい。
さらに本発明の第1の側面によれば、前記画像の前記撮影後、かつ前記画像の前記分離前に、前記画像の前記異なる露光時間が、予め選択された処理手順を使用してユーザ・インターフェースを介して調節されてもよい。
さらに本発明の第1の側面によれば、前記画像はベイヤー画像であってもよい。
さらに本発明の第1の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
さらに本発明の第1の側面によれば、前記補間は、前記露光値が失われた複数の前記画素の各画素に関して、該各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって実行されてもよい。
さらに本発明の第1の側面によれば、前記補間画像の前記合成は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して実行されてもよい。前記重み係数は、前記所定の基準を使用して選択される。また前記重み係数は、暗い画像領域では大きな露光値を有する画素ほど高く、より明るい画像領域では小さな露光値を有する画素ほど高くともよい。
本発明の第2の側面によるコンピュータ・プログラム製品は、コンピュータ・プロセッサによって実行されるコンピュータ・プログラム・コードを具現化するコンピュータ可読媒体を含む。このコンピュータ・プログラム・コードは、本発明の第1の側面を実行する命令を含む。
本発明の第3の側面による装置は、複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離するように構成される色／露光分離器を有する。ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む。また前記装置は、前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間するように構成される、補間器と；前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成するように構成される、合成器と；を有する。
さらに本発明の第3の側面によれば、前記装置は前記画像センサを含んでもよい。
さらに本発明の第3の側面によれば、色／露光分離器、補間器および合成器は、装置から取り外し可能な処理モジュールに搭載されてもよい。
さらに、本発明の第3の側面によれば、前記装置はさらに、広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するように構成される、再合成および追加処理モジュールを更に備えてもよい。ただし前記１つ以上の色チャネルの数は２つ以上である
さらに本発明の第3の側面によれば、前記装置はさらに、前記装置のユーザ・インターフェースを介して供給される命令信号に応答して、前記異なる露光時間を調節する露光調節信号または追加露光調節信号を出力するよう構成される画素露光パターン調節モジュールをさらに備えてもよい。前記装置はさらに、前記再合成された画像を表示するよう構成されたファインダーを備えてもよい。前記画素露光パターン調節モジュールは、前記ファインダー上に表示された前記再合成された画像を前記再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用し、前記異なる露光時間を調節する前記命令信号に応答して、前記露光調節信号を提供するよう構成されてもよい。
さらに本発明の第3の側面によれば、前記装置のすべてのモジュールまたは選択されたモジュールが集積回路に搭載されてもよい。
さらに本発明の第3の側面によれば、前記装置は、前記画像センサを含む無線通信用の電子デバイスであってもよい。
さらに本発明の第3の側面によれば、前記画像はベイヤー画像であってもよい。
さらに本発明の第3の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
さらに本発明の第3の側面によれば、前記補間器は、前記露光値が失われた複数の前記画素の各画素に関して、前記各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって、前記前記露光値が失われた複数の前記画素に関して露光値を補間するよう構成されてもよい。
さらに本発明の第3の側面によれば、前記合成器は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して、前記補間画像を合成するよう構成されてもよい。前記重み係数は、前記所定の基準を使用して選択される。
さらに本発明の第3の側面によれば、前記画像センサは、相補型金属酸化膜半導体画像センサであってもよい。
本発明の第4の側面による電子デバイスは、
複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサと；
前記画像のダイナミック・レンジを改善するために、前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を構成するよう、予め選択された前記異なる露光時間を有する複数の画素の露光時間の、所定の基準に従った重み付き合成を使用して、前記画像を処理するよう構成される処理モジュールと；
前記画像に広いダイナミック・レンジを提供するために、前記１つ以上の色チャネルの色チャネルに関して前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するよう構成された、再合成および追加処理モジュールであって、前記１つ以上の色チャネルの数は２つ以上である、前記再合成および追加処理モジュールと；
前記再合成された画像を表示するよう構成されたファインダーと；
前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、前記電子デバイスのユーザ・インターフェースを介して前記異なる露光時間の調節を提供するよう構成された、画素露光パターン調節モジュールと；
を有する。
さらに本発明の第4の側面によれば、前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含んでもよい。
本発明の第5の側面による装置は、複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離する手段、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、前記分離する手段；
前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間する手段；
前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成する手段；
を有する。
さらに本発明の第5の側面によれば、前記分離する手段は色／露光分離器であってもよい。
本発明の性質および目的をより深く理解するために、以下の図面と併せて、以下の詳細な説明を参照されたい。
本発明の実施態様による、4×4の画素から成るグループを使用し、異なる3つの値の露光間隔を使用したベイヤー・タイプ画素パターンの略図であり、半分の画素が中間露光間隔で露光され（標準露光画素）、4分の1の画素が露光過多、4分の1の画素が露光不足となるように、画素が空間的に交互配置されている。 本発明の実施態様による、露光不足、標準および露光過多の画素グループの露光時間を示すグラフであり、各露光間隔間の相違を調節するパラメータ、アルファがある。 本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジを改善するカメラを含む電子デバイスのブロック図である。 本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジの改善を示すフローチャートである。 本発明の実施態様による、赤色に対して、図4のフローチャートのステップ44〜48を実行する例を示すフローチャートである。
1つ以上の色チャネルに関して（例えばカメラの）画像センサによって撮影されるマルチ画素露光パターンを用いて画像のダイナミック・レンジを改善する新たな方法、装置およびソフトウェア製品。画像センサの複数の画素グループがそれぞれ異なる露光時間を有する。露光時間は、例えば、電子的に予め選択されたり、ユーザ・インターフェースを介してユーザにより選択されたり、プログラム可能であったり、ファインダー・フィードバックを用いてユーザ・インターフェースを介して調節されてり、RAW画像を撮影して格納した後にユーザ・インターフェースを介してユーザによって調節されたりしてもよい。本発明の実施態様によれば、1つ以上の色チャネルそれぞれに関して画質が改善された画像を構成するために、撮影された画像が処理される。これは、異なる露光時間を有する画素の露光時間について、所定の基準に従った重み付き合成を用いて実行されてもよい。カメラは、例えば、無線通信用のモバイル電話もしくはカメラ付きモバイル電話などの電子デバイス、または携帯用電子デバイス全般の一部であってもよい。
本発明のさらなる実施態様によれば、獲得された画像の処理は、次の処理を含んでもよい。
ａ）画像を、１つ以上の色チャネルの各色ごとに、さらに異なる露光時間の各露光時間ごとに、複数のサブ画像へと分離すること。ただし、前記複数のサブ画像は、或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた画素とを含む。
ｂ）前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間すること。
ｃ）前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成すること。
さらに、多色画像の場合、広いダイナミック・レンジの多色画像を提供するために、別々の色チャネルに関して改善された画像を、もとのマルチ画素露光パターンを使用して再合成してもよい。例えば、一実施態様によれば、多色画像は、色検出に関して旧来のベイヤー・パターンに基づいていてもよく、一様な形での色の再構成を可能にしながら撮影された画像のダイナミック・レンジが向上させられてもよい。
各画素の別々の露光間隔は、CMOS（相補型金属酸化膜半導体）画像センサを使用して得られてもよい。各画素は、固定した幾何パターンに従って電子的にプリセットされた、別々の露光間隔を有してもよい。異なる露光時間を有する画素は、特定パターンに従って交互に入れ替えられてもよい。露光時間は、写真が撮影される前にセットされてもよい。繰り返しの幾何パターンにより、近傍にある任意の画素において別々の露光を得ることができる。センサによって記録された画像をサブサンプリングすると、撮像されたシーン内のすべての領域が表現されてもよい。
本明細書に記載される本発明の実施態様を実装するべく、異なる露光時間を有する多数の画素パターンが使用され、電子的にプリセットされることが可能である。多数ある中の一例が図1に示されている。図1は、本発明の一実施態様による、4×4の画素から成るグループを使用し、異なる3つの値の露光間隔を使用したベイヤー・タイプ画素パターンの略図である。図1に示されているように、半分の画素が中間露光間隔で露光され（標準露光画素）、4分の1の画素が露光過多、4分の1の画素が露光不足となるように、画素が空間的に交互配置されている。
本発明の実施態様によれば、最終的な画像は、違うように露光された画素の値を合成することによって構成されてもよい。この合成は、暗い画像領域では、より長く露光された画素の重要性に、より大きく重み付けし、その一方で、シーンのより明るい領域に対応する、より短く露光された画素値に、より大きく重み付けするように行われるとよい。
図2には、露光量小、標準、露光量大の画素グループの露光時間がそれぞれ示されているが、この図に示されているように、本発明の別の実施態様によれば、複数の露光量の違いを、単一のパラメータ（α）、α≧1を変化させることで制御してもよい。α＝1に設定することで、初期値の動作（センサ内のすべての画素が等しく露光される）が回復されてもよい。このパラメータ（α）、つまりセンサ面における画素の露光量を調節して、「ダイナミック・コントラスト」をコントロールするために、ユーザ・インターフェース機構（例えばユーザによりコントロールされる回転ホイール）が使用されてもよい。
図3は、本発明の実施態様による、カメラ12を含む電子デバイス10のブロック図の数ある中の例である。本明細書に説明されるように、電子デバイス10は、カメラ12によって撮影される画像のダイナミック・レンジを改善するために、画素グループ毎に（例えば電子的に）異なる露出を行うマルチ画素露光パターンを使用し、カメラ12による撮影にマルチ画素露光パターンを用いる。
電子デバイス10は、限定されるものではないが、カメラ、無線通信デバイス、モバイル電話、カメラ付きモバイル電話デバイス、携帯用電子デバイス、非携帯用電子デバイスなどであってもよい。
カメラ12は、光学部品14（例えば、レンズ、カラー・フィルタなど）を有してもよく、また、本明細書に記載のように、1つ以上の色チャネルに対してマルチ露光パターンを用いて画像を撮影してセンサ信号24を提供する画像センサ16（例えばCMOSセンサ）を有してもよい。前処理モジュール18は、限定されるものではないが、例えばペデスタル除去、口径食調節、ヒストグラム解析、プリセット・ゲイン（preset gaining）などを含む何らかの前処理を実行し、画像信号26を処理モジュール20に提供してもよい。本発明の実施態様によれば、モジュール20は本明細書に記載される様々な実施態様に従って（例えば図5参照）、次のステップを実行してもよい。

a）複数のサブ画像への色／露光分離（色／露光分離器20aによる）。
b）所定のアルゴリズムに従ったサブ画像の補間（補間器20bによる）。
c）各色ごとに改善された画像を構成するための画像合成（合成器20cによる）。所定の基準に従った、それぞれ異なる露光時間を有する画素の露光時間の重み付け合成を含む、補間されたサブ画像の合成を用いる。

なお、色／露光分離器20aは、概して分離する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。さらに、補間器20bは概して、所定のアルゴリズムに従ってサブ画像を補間する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。さらに、合成器20cは概して、補間されたサブ画像を、各色ごとに改善された画像を構成するよう合成する手段であるか、またはその構造等価（すなわち等価構造）であってもよい。
さらに、モジュール20は、各色ごとに合成された画像信号28を、再合成および追加処理モジュール22に提供してもよい。モジュール22は、各色毎に、もとのマルチ画素露光パターンに従って改善された画像を再合成し、続いて、例えば自動ホワイト・バランス（AWB：automatic white balance）、色補間、コントラスト強調、ノイズ低減、各種補正などの標準的な追加処理を実行し、さらに（オプションで）、例えば閲覧用にディスプレイ（ファインダー）へ、格納用にデバイス・メモリへ、または所望の宛先へ転送するために入出力（I／O：input／output）ポートへなど、電子デバイス10の種々のモジュールへの出力として提供してもよい。
本発明のさらなる実施態様によれば、カメラ12はさらに、本明細書に記載のように、露光時間を調節する露光調節信号または追加露光調節信号を、ユーザによってユーザ・インターフェースを通じて提供される命令信号に応答して提供するよう構成された、画素露光パターン調節モジュール25を有してもよい。露光調節信号は、例えば画像を撮影する前に、各画素の適切な異なる露光時間を選択するために画像センサ16に提供されてもよい。あるいは、再合成された画像（本明細書に記載の処理の後）が、カメラのディスプレイ（ファインダー）上に表示されてもよく、その結果、前記画素露光パターン調節モジュールは、ファインダー上に表示されたこの再合成された画像を、再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用して、画素のこの異なる露光時間の調節を「オンザフライで」（ユーザによってユーザ・インターフェースを介して提供される命令信号に応答して露光調節信号を使用し）提供するよう構成される。
さらに、本発明の別の実施態様によれば、画像は、（例えば、図1に示されているような）予め選択済みの画素露光パターンで撮影され、RAWフォーマットで（例えば処理モジュール20内の追加メモリ内に）格納されてもよい。次に、この撮影された画像のパラメータα（α≧1）（図2に関連して紹介した）が、このRAW画像に対応するメタデータとして格納されてもよい。モジュール25によって処理モジュール20に提供される追加露光調節信号を使用して最終的な画像のコントラストを微調節するために、αは、（ユーザによって提供される命令信号に応答して）ユーザ・インターフェースを通じてユーザによってさらに調節されてもよい。αを調節する後者の方法は、画像コントラストのデジタル・ゲインに類似した動作を実現し得るが、露光不足の画素において、ノイズ・レベルの増幅を生じさせる可能性がある。この処理は、例えば、標準露光画素を、露光不足および露光量大画素情報で重み付けして、所望のα値を提供することによって行われてもよい（画像の全体的な輝度のバランスをとり、最終的な画質を向上させうるα値が望まれる）。RAW画像のαのこの調節は、処理モジュール20によって、本明細書に記載のモジュール20a、20bおよび20cによるさらなる処理の前に実行されてもよい。
本発明の実施態様によれば、モジュール18、20、22または25は、ソフトウェアもしくはハードウェア・モジュール、またはその組み合わせとして実装されてもよい。さらに、モジュール18、20、22もしくは25は、別個のモジュールとして実装されてもよく、または、電子デバイス10の任意の他のモジュール／ブロックと組み合わせられてもよく、または、その機能性に従っていくつかのブロックに分割されてもよい。なお、さらに、処理モジュール20のみ、または他のモジュール（例えばモジュール18および／または22）との組み合わせが、電子デバイス10から取り外し可能であってもよい。なお、さらに、電子デバイス10のすべてのモジュールまたは選択されたモジュールが、集積回路を使用して実装されてもよい。
図4は、本発明の実施態様による、マルチ画素露光パターンを使用して撮影される画像のダイナミック・レンジの改善を示すフローチャートの、数ある中の例を示す。
図4のフローチャートは、数ある中の考えられる1つのシナリオのみを表す。なお、図4に示されているステップの順序は、絶対的に要求されるものではなく、したがって、原則として、様々なステップが異なる順序で実行されてもよい。本発明の実施態様による方法では、本明細書に記載のように、第1のステップ40において、画像が、1つ以上の色チャネルのマルチ画素露光パターンを有するセンサ（例えばCMOS）を使用し撮影される。次のステップ42で、画像の前処理（例えばペデスタル除去、口径食調節、ヒストグラム解析など）が実行される。
次のステップ44で、各色ごとに、各色毎に、露出が異なる複数のサブ画像への分離（露光分離）が行われる。これは、露光時間毎に行われる。サブ画像は、異なる露光時間のうちの特定の露光時間のみに関する露光値を有する画素と、該特定の露光時間とは異なる露光時間に関する、露光値が失われた画素とを含む。
次のステップ46で、サブ画像において、露光値が失われた画素の補間が、このサブ画像の補間画像を作成する所定のアルゴリズム（図5に関連して説明される例を参照）を使用して実行される。
次のステップ48で、本明細書に記載したように、補間画像が、例えば異なる露光時間を有する画素の露光時間の重み付き合成を使用して（図5に関連して説明される例を参照）、所定の基準に従って各色チャネルに関して合成され、ハイ・ダイナミック・レンジを有する改善された画像が提供される。
次のステップ50で、改善された各色の画像が再合成され、追加処理される（例えば、自動ホワイト・バランス（AWB：automatic white balance）、色補間、コントラスト強調、ノイズ低減、雑調節など）。次のステップ52で、再合成された画像がカメラのファインダー上に表示されてもよい。次のステップ54で、ファインダー上に表示された再合成された画像を、再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用して、マルチ露光パターンの各露光時間が、ユーザ・インターフェースを介して調節されてもよい。
図5は、本発明の実施態様による、図1に示されたベイヤー・パターンの1つの色（例えば赤色）に関して図4のフローチャートのステップ44〜48を実装するための、数ある中の一例を示すフローチャートを示す。
赤色チャネルに関して図5に示されているように、ステップ44は、別々の色チャネル（図1の例についてR、G、B、G）のサブ画像へ、撮影された画像を分離することに対応する。各サブ画像は、単一のスペクトル・チャネルに対応し、図1に示されているように、3つの異なる露光の画素を含む。4画素からなるグループが、1つの露光量小画素、2つの標準的に露光された画素、および1つの露光量大画素を含む。次に、赤色のサブ画像52が、露光不足、標準露光および露光量大画素にそれぞれ対応するサブ画像54a、54bおよび54cにさらに分離される。
ステップ46は、サブ画像54a、54bおよび54c内の欠けている露光値の補間に対応する。このステップは、センサの各画素は固定された露光時間の視覚情報しか撮影しないということに基づくが、センサにおける種々の露光の空間的配置によって、各画素のある程度近くに露光時間が確実に存在することになる。したがって、各画素において欠けている露光時間に対応する視覚情報を、その近傍の画素の値を補間することによって推測されてもよい。具体的には、3つの露光時間Tk、k＝1，2，3が与えられとき、3つの値、すなわちv1（i，j）、v2（i，j）、およびv3（i，j）が各画素（i，j）において必要である。この値のうち1つは画素において直接測定される一方、他の2つは、（例えばサブ画像52の）近傍にある画素の対応する露光値を補間することで推測される。この補間を行う方法は多数あり、そのうちの1つに限定はしない。単純な実装は、線形補間に依存してもよい。例えば、サブ画像54aでは、露光量小画素（UR）を、もとの画素位置の左および下側にある近傍の欠けている3つの画素に複製することによって、零次補間が実行されるとよく；サブ画像54bでは、標準露光画素（NR）を、もとの位置の右側にある隣接した欠けている画素の方へ複製することによって、零次補間が実行されるとよく；サブ画像54cでは、露光量大画素（OR）を、もとの画素位置の右および上側にある近傍の欠けている3つの画素位置へ複製することによって、零次補間が実行されてもよい。
他のタイプの補間も使用可能である。例えば、サブ画像54a、54bおよび54cの線形補間が、検出された利用可能な画素によって定義される対応する初期の表面高度を有する画像グリッド上に表面を合わせることで実行されてもよい。欠けている画素値は、最初に、欠けているサンプルに影響を与えると考えられる近傍のサンプルを含む影響領域を定義することによって計算されてもよい。影響を与えるサンプルそれぞれと、対象画素の中心との間の距離が計算される。近傍の画素それぞれに割り当てられる重みは、対象画素からのその距離に反比例してもよい（重みの合計は、1に等しくなるよう調節される）。最終的な画素値は、影響を与える近傍の画素値の加重和として計算されてもよい。さらに、ベイヤー・パターンからの色補間の既知の技術が、このタスクを実行するように適合させられてもよい。その結果、補間画像56a、56bおよび56cが、図5に示されているように構成される。
ステップ48は、生じた複数の補間済みの画像を、シーンのハイ・ダイナミック・レンジ画像58を得るために合成することに対応する。このステップは、イメージング・システムがそのダイナミック・レンジを改善できるようにする動作に基づいており、画像センサにてサンプリングされた別々の露光が、シーンのダイナミック・レンジをイメージング・デバイスのダイナミック・レンジに最適にマップするように合成されるということを意味する。このステップで、アルゴリズムは、拡大されたダイナミック・レンジ画像を得るように、各画素にある異なる露光時間の視覚情報を合成する。この合成は、様々な方法で実行可能であり、その中でも、別々の露光の画素値の重み付き平均を選択することができる。
例えば、各画素（i，j）について、3つの露光値v1（i，j）、v2（i，j）およびv3（i，j）は、次のように最終的な出力f（i，j）を生じるよう合成されてもよい。
Figure 2010539745
f（i，j）は、最終的な画像の画素値を意味し、Tkはk番目の露光時間を意味し、Tはゲイン値であり、これは拡大されたダイナミック・レンジ機能を有するセンサのシミュレーションによる露光時間に理論上対応する。値wk（i，j）は、画素（i，j）のk番目の露光に関連する重み値である。重み値は、多数の方法で選択され得るが、一般に、飽和してもなく、大きく露光不足でもない中間域の画素を強調する。それに加えて、画素において直接測定されるのではなくアルゴリズムのステップ46において示されたように補間によって得られた各画素の2つの値も、より小さく重み付けされてもよい。式にある露光時間は、より長く露光された画素をより強調するが、これはそれの方がノイズが少ないためである。
本発明のさらなる実施態様によれば、ステップ44と、46との間にさらなるフィルタリング動作が入れられ、画質がさらに改善されてもよい。ステップ44と、46との間に入れられるとよい第1の動作は、例えば補間画像56bに使用される中央（または初期値の）露光値に対応するよう、露光過多および露光不足の補間画像（56aおよび56c）の、プリセットのデジタル・ゲインを適用することである。例えば、撮影された画像全体にわたる平均の輝度を均一にするために、プリセットのゲインが、α値を使用してパラメータ化されてもよい。ゲインは、センサから読み取られたビットの数を拡大するように実行されるべきである。例えば、センサが10ビット読み取りを提供する場合であれば、すべての成分は、結果的に、12ビットの精度まで得られるべきである。
さらに、ステップ44と、46との間に入れられるとよい別のフィルタリング動作は、補間画像56a、56bおよび56cのそれぞれに対し別々にノイズ・フィルタを適用することである。ノイズ・フィルタは、対応する露光値によって調節されるべきであり、これは例えば、露光不足の補間画像56aは、56bおよび56cより低い信号対雑音比（SNR：signal to noise ratio）により特徴付けられることになり、しがたってノイズ・アーチファクトを低減するべくより強くフィルタリングされるべきである一方で、露光過多の補間画像56cは（飽和していなければ）、最大の信号対雑音比（SNR）により特徴付けられることになり、したがって結果的に維持されるべきであるということを意味する。露光適応ノイズ・フィルタリングのこのステップは、例えば線形フィルタによって実装されてもよく、対応するフィルタ係数が、露光値によって調節されたルックアップ・テーブルから読み出されてもよい。
なお、異なる露光を近傍にある任意の画素において交互に行う、提案されている検出パターンが原因で、センサによって記録される画像の本質的な空間解像度が低減され得る。これは、空間解像度（画素密度）と、動的解像度（コントラスト分解能力）とのトレードオフに相当する。しかし、ビデオ出力解像度は通常、センサ解像度よりも非常に低いため、ビデオ出力には、このトレードオフはあてはまらない。さらに、静止画像の撮影でも、ユーザは、例えばナイト・モードの使用を選択するときなど、コントラストの向上を進んで選ぶこともあるであろう。
なお、さらに、本明細書に記載のダイナミック・レンジの拡大は、既存の手法の多くのように画像レジストレーションを必要としないため、計算資源を節約すると考えられる。これはさらに、入力画像のずれの危険性をなくすことによって、導き出された解決策の頑強性を大幅に高めると考えられる。さらに、ビデオは通常いずれにせよダウン・サンプリングされるため、ビデオ出力のダイナミック・レンジの向上は、空間解像度の大きな損失なしに達成され得る。さらに、本明細書に記載された一実施態様によれば、画像センサのハイ・ダイナミック・レンジ機能性（別々の画素露光）と、通常の機能性（均一な画素露光）とを切り替えることも可能性であり、これは以前に行われていない。
なお、さらに、本明細書に記載された検出パターンおよび対応する再構成方法は、全体的な画像形成パイプラインに影響しない。わずかな機能を初期の処理過程に入れることであらゆる既存のカメラの画像再構成チェーンに容易にプラグイン可能であり、イメージング・プラットフォーム全体の再設計を必要としない。さらに、より短い露光情報およびより長い露光情報の利用可能性を生かすことで、ノイズおよび／またはぼやけの少ない写真を供給する可能性がある。
上述のとおり、本発明は、方法と、方法のステップを実行する機能性を提供する様々なモジュールから成る対応する機器とを提供する。モジュールは、ハードウェアとして実装されてもよく、またはコンピュータ・プロセッサにより実行されるソフトウェアもしくはファームウェアとして実装されてもよい。具体的には、ファームウェアまたはソフトウェアの場合、本発明は、コンピュータ・プログラム・コード（すなわちソフトウェアまたはファームウェア）をコンピュータ・プロセッサにより実行されるようコンピュータ可読媒体上に具現化するコンピュータ可読媒体（例えばストレージ構造）を含む、コンピュータ・プログラム製品として提供されてもよい。
なお、本明細書で列挙された本発明の様々な実施態様は、特定の用途に合わせて、別々に用いられても、組み合わせて用いられても、または選択的に組み合わせて用いられてもよい。
当然のことながら、上記の機構は、本発明の原理の用途の例示でしかない。当業者によって、本発明の範囲から逸脱することなく、数々の変更および代わりの機構が考案される可能性があり、添付の特許請求の範囲は、そのような変更および機構を対象とするものとする。

Claims (28)

  1. 画像センサにより撮影された画像を複数のサブ画像に分離すること、ただし、
    ・ 前記画像センサは、該画像センサの複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサであり、
    ・ 前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、
    前記分離することと；
    前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間することと；
    前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成することと；
    を含む、方法。
  2. 前記異なる露光時間は、前記センサを含む電子デバイスのユーザ・インターフェースを介して選択されたものである、請求項１に記載の方法。
  3. 広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成することを含み、ただし前記１つ以上の色チャネルの数は２つ以上である、請求項１に記載の方法。
  4. 前記再合成された画像をファインダー上に表示することと；
    前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、ユーザ・インターフェースを介して前記異なる露光時間を調節することと；
    をさらに含む、請求項３に記載の方法。
  5. 前記画像の前記撮影後、かつ前記画像の前記分離前に、前記画像の前記異なる露光時間が、予め選択された処理手順を使用してユーザ・インターフェースを介して調節される、請求項１に記載の方法。
  6. 前記画像はベイヤー画像である、請求項１に記載の方法。
  7. 前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項１に記載の方法。
  8. 前記補間は、前記露光値が失われた複数の前記画素の各画素に関して、該各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって実行される、請求項１に記載の方法。
  9. 前記補間画像の前記合成は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して実行され、前記重み係数は、前記所定の基準を使用して選択される、請求項１に記載の方法。
  10. 前記重み係数は、暗い画像領域ではより大きな露光値を有する画素ほどより高く、より明るい画像領域ではより小さな露光値を有する画素ほどより高い、請求項９に記載の方法。
  11. コンピュータ・プロセッサによって実行されるコンピュータ・プログラム・コードを具現化するコンピュータ可読媒体を含むコンピュータ・プログラム製品であって、前記コンピュータ・プログラム・コードは、請求項１の方法を実行する命令を含む、コンピュータ・プログラム製品。
  12. 複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離するように構成される色／露光分離器、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、色／露光分離器と；
    前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間するように構成される、補間器と；
    前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成するように構成される、合成器と；
    を有する、装置。
  13. 前記画像センサを含む、請求項１２に記載の装置。
  14. 前記色／露光分離器、前記補間器および前記合成器は、前記装置から取り外し可能な処理モジュールに搭載される、請求項１２に記載の装置。
  15. 広いダイナミック・レンジを有する、前記画像の再合成画像を作成するために、前記１つ以上の色チャネルのいずれかに関する前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するように構成される、再合成および追加処理モジュールを更に備え、ただし前記１つ以上の色チャネルの数は２つ以上である、請求項１２に記載の装置。
  16. 前記装置のユーザ・インターフェースを介して供給される命令信号に応答して、前記異なる露光時間を調節する露光調節信号または追加露光調節信号を出力するよう構成される画素露光パターン調節モジュールをさらに備える、請求項１２に記載の装置。
  17. 前記再合成された画像を表示するよう構成されたファインダーをさらに備え、
    前記画素露光パターン調節モジュールは、前記ファインダー上に表示された前記再合成された画像を前記再合成された画像のダイナミック・レンジを最適化するためのフィードバックとして使用し、前記異なる露光時間を調節する前記命令信号に応答して、前記露光調節信号を提供するよう構成される、
    請求項１６に記載の装置。
  18. 前記装置のすべてのモジュールまたは選択されたモジュールが集積回路に搭載される、請求項１２に記載の装置。
  19. 前記画像センサを含む無線通信用の電子デバイスである、請求項１２に記載の装置。
  20. 前記画像はベイヤー画像である、請求項１２に記載の装置。
  21. 前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項１２に記載の装置。
  22. 前記補間器は、前記露光値が失われた複数の前記画素の各画素に関して、前記各画素の近傍にある１つ以上の画素の露光値を使用して補間値を計算することによって、前記前記露光値が失われた複数の前記画素に関して露光値を補間するよう構成されている、請求項１２に記載の装置。
  23. 前記合成器は、前記露光値を有する複数の前記画素と、前記露光値が失われた複数の前記画素に関して補間された露光値を有する複数の前記画素とに対して重み係数を使用して、前記補間画像を合成するよう構成され、前記重み係数は、前記所定の基準を使用して選択される、請求項１２に記載の装置。
  24. 前記画像センサは、相補型金属酸化膜半導体画像センサである、請求項１２に記載の装置。
  25. 複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサ；
    前記画像のダイナミック・レンジを改善するために、前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を構成するよう、予め選択された前記異なる露光時間を有する複数の画素の露光時間の、所定の基準に従った重み付き合成を使用して、前記画像を処理するよう構成される処理モジュール；
    前記画像に広いダイナミック・レンジを提供するために、前記１つ以上の色チャネルの色チャネルに関して前記改善された画像を、前記マルチ画素露光パターンを使用して再合成するよう構成された、再合成および追加処理モジュールであって、前記１つ以上の色チャネルの数は２つ以上である、前記再合成および追加処理モジュールと；
    前記再合成された画像を表示するよう構成されたファインダー；
    前記ファインダー上に表示された前記再合成された画像を、前記再合成された画像の前記ダイナミック・レンジを最適化するためのフィードバックとして使用して、前記電子デバイスのユーザ・インターフェースを介して前記異なる露光時間の調節を提供するよう構成された、画素露光パターン調節モジュール；
    を有する、電子デバイス。
  26. 前記複数の画素グループは、それぞれ異なる露光時間を有する３つの画素グループを含む、請求項２５に記載の電子デバイス。
  27. 複数の画素グループがそれぞれ異なる露光時間を有するようなマルチ画素露光パターンを、１つ以上の色チャネルに有する画像センサにより撮影された画像を、前記１つ以上の色チャネルの各色ごとに、さらに前記異なる露光時間の各露光時間ごとに、複数のサブ画像に分離する手段、ただし、前記サブ画像は、前記異なる露光時間のうちの或る露光時間のみに関する露光値を有する複数の画素と、前記或る露光時間とは別の露光時間に関する、露光値が失われた複数の画素とを含む、前記分離する手段；
    前記複数のサブ画像の補間画像を作成すべく、前記複数のサブ画像における各サブ画像内の前記露光値が失われた複数の画素の露光値を、所定のアルゴリズムを使用して補間する手段；
    前記１つ以上の色チャネルそれぞれに関して前記画像の改善された画像を作成して、前記画像のダイナミック・レンジを改善するべく、前記補間画像を前記１つ以上の色チャネルそれぞれに関して所定の基準に従って合成する手段；
    を有する、装置。
  28. 前記分離する手段は、色／露光分離器である装置。
JP2010523607A 2007-10-03 2008-09-26 画像のダイナミック・レンジを改善するためのマルチ露光パターン Active JP5016715B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/906,990 2007-10-03
US11/906,990 US7940311B2 (en) 2007-10-03 2007-10-03 Multi-exposure pattern for enhancing dynamic range of images
PCT/IB2008/002525 WO2009044246A1 (en) 2007-10-03 2008-09-26 Multi-exposure pattern for enhancing dynamic range of images

Publications (2)

Publication Number Publication Date
JP2010539745A true JP2010539745A (ja) 2010-12-16
JP5016715B2 JP5016715B2 (ja) 2012-09-05

Family

ID=40091327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010523607A Active JP5016715B2 (ja) 2007-10-03 2008-09-26 画像のダイナミック・レンジを改善するためのマルチ露光パターン

Country Status (5)

Country Link
US (1) US7940311B2 (ja)
EP (1) EP2193656B1 (ja)
JP (1) JP5016715B2 (ja)
CN (1) CN101816171B (ja)
WO (1) WO2009044246A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011520351A (ja) * 2008-04-29 2011-07-14 イーストマン コダック カンパニー 画像センサの同心露光シーケンス
WO2013145753A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像素子および撮像装置
KR20140111858A (ko) * 2013-03-12 2014-09-22 삼성테크윈 주식회사 이미지 처리 장치 및 방법
KR20150060024A (ko) * 2013-11-25 2015-06-03 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
JP2015111761A (ja) * 2013-12-06 2015-06-18 株式会社ニコン 電子機器
WO2016072018A1 (ja) * 2014-11-07 2016-05-12 オリンパス株式会社 撮像装置
KR101927326B1 (ko) 2011-01-31 2018-12-10 에스케이하이닉스 주식회사 모바일 어플리케이션용의 ｃｍｏｓ 이미지 센서에 대한 다이나믹 레인지 확장
KR101927327B1 (ko) 2011-01-31 2018-12-10 에스케이하이닉스 주식회사 모바일 어플리케이션용의 ｃｍｏｓ 이미지 센서에 대한 다이나믹 레인지 확장
JP2020039130A (ja) * 2015-09-30 2020-03-12 株式会社ニコン 撮像装置
JPWO2019102887A1 (ja) * 2017-11-22 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器
JP2021036677A (ja) * 2019-11-14 2021-03-04 株式会社ニコン 電子機器

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006122320A2 (en) * 2005-05-12 2006-11-16 Tenebraex Corporation Improved methods of creating a virtual window
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
WO2009064504A1 (en) * 2007-11-16 2009-05-22 Tenebraex Corporation Systems and methods of creating a virtual window
US20090290033A1 (en) * 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US8035704B2 (en) * 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
JP4483963B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
EP3876510A1 (en) 2008-05-20 2021-09-08 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8111307B2 (en) 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
KR101520068B1 (ko) * 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8886206B2 (en) 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
WO2011037964A1 (en) * 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
JP2011091584A (ja) * 2009-10-21 2011-05-06 Seiko Epson Corp 撮像装置、撮像方法及び電子機器
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102129148A (zh) * 2010-01-20 2011-07-20 鸿富锦精密工业（深圳）有限公司 相机及照片拍摄与处理方法
JP5574792B2 (ja) * 2010-04-13 2014-08-20 キヤノン株式会社 撮影装置
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
JP4657379B1 (ja) * 2010-09-01 2011-03-23 株式会社ナックイメージテクノロジー 高速度ビデオカメラ
CN103125112B (zh) * 2010-09-27 2015-07-08 富士胶片株式会社 成像设备以及成像方法
JP5622513B2 (ja) * 2010-10-08 2014-11-12 オリンパスイメージング株式会社 画像処理装置、画像処理方法、および撮像装置
CN101957986B (zh) * 2010-10-11 2012-03-21 华中科技大学 一种通过长短积分控制实现红外图像增强的方法
EP2442556A1 (en) * 2010-10-15 2012-04-18 ST-Ericsson SA Apparatus and method for capturing images with high dynamic range
US8508632B2 (en) * 2010-10-15 2013-08-13 Altek Corporation Image processing method of obtaining a high dynamic range image
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
IL210461A (en) * 2011-01-05 2015-07-30 Rafael Advanced Defense Sys A method and device for multi-spectral imaging
WO2012127772A1 (ja) 2011-03-24 2012-09-27 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US8334911B2 (en) 2011-04-15 2012-12-18 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
JP5762115B2 (ja) * 2011-04-28 2015-08-12 キヤノン株式会社 撮像装置及びその制御方法
JP5744614B2 (ja) * 2011-04-28 2015-07-08 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US9077917B2 (en) * 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
KR101697648B1 (ko) * 2011-06-15 2017-01-18 한국전자통신연구원 다중 노출 카메라 영상을 이용한 자동 고속 이동 물체 검출 방법
EP2552099B1 (en) 2011-07-27 2013-08-28 Axis AB Method and camera for providing an estimation of a mean signal to noise ratio value for an image
DE102011081405B4 (de) * 2011-08-23 2016-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Abbildungsvorrichtung und Verfahren für einen Bildsensor
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
IN2014CN02708A (ja) 2011-09-28 2015-08-07 Pelican Imaging Corp
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
WO2013123133A1 (en) 2012-02-14 2013-08-22 Gentex Corporation High dynamic range imager system
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US8781173B2 (en) 2012-02-28 2014-07-15 Microsoft Corporation Computing high dynamic range photographs
US9007488B2 (en) * 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
CN102647565A (zh) * 2012-04-18 2012-08-22 格科微电子（上海）有限公司 像素阵列的排列方法、图像传感器及图像传感方法
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US9030571B2 (en) * 2012-07-11 2015-05-12 Google Inc. Abstract camera pipeline for uniform cross-device control of image capture and processing
MX346174B (es) 2012-07-26 2017-03-10 Depuy Synthes Products Inc Esquema de iluminacion pulsada ycbcr en un entorno deficiente de luz.
BR112015001555A2 (pt) 2012-07-26 2017-07-04 Olive Medical Corp vídeo contínuo em ambiente com deficiência de luz
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
CN102970549B (zh) 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
KR101992933B1 (ko) 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
EP2967301B1 (en) 2013-03-15 2021-11-03 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2967300A4 (en) 2013-03-15 2016-11-23 Olive Medical Corp CONTROL OF THE INTEGRATED LIGHT ENERGY OF A LASER PULSE
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
AU2014233515B2 (en) 2013-03-15 2018-11-01 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
US9413992B2 (en) * 2013-05-20 2016-08-09 Omnivision Technologies, Inc. High dynamic range image sensor with full resolution recovery
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
KR20150017617A (ko) * 2013-08-07 2015-02-17 삼성전자주식회사 광간섭 단층 영상의 처리 방법 및 이를 수행하기 위한 장치
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
JP2015088786A (ja) * 2013-10-28 2015-05-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
CN103888679A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
WO2015143453A1 (en) 2014-03-21 2015-09-24 Olive Medical Corporation Card edge connector for an imaging sensor
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
EP3007431A1 (en) 2014-10-10 2016-04-13 Thomson Licensing Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device
EP3029931A1 (en) 2014-12-04 2016-06-08 Thomson Licensing Image sensor unit and imaging apparatus
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10440288B2 (en) * 2015-09-02 2019-10-08 Microsoft Technology Licensing, Llc Methods and apparatuses for capturing image frames with interlaced exposure
CN105120247B (zh) * 2015-09-10 2017-12-26 联想(北京)有限公司 一种白平衡调整方法及电子设备
CN105187739B (zh) * 2015-09-18 2018-10-26 北京中科慧眼科技有限公司 基于hdr算法的相机传感器设计方法
WO2017057492A1 (ja) * 2015-09-30 2017-04-06 株式会社ニコン 撮像装置および画像処理装置
KR102465212B1 (ko) 2015-10-30 2022-11-10 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
CN105516700B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN105516698A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
US9871965B2 (en) * 2016-02-03 2018-01-16 Texas Instruments Incorporated Image processing for wide dynamic range (WDR) sensor data
CN108605105B (zh) * 2016-02-15 2021-01-12 松下半导体解决方案株式会社 固体摄像装置以及摄像装置
US10424055B2 (en) * 2016-05-27 2019-09-24 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
CA2949383C (en) * 2016-11-22 2023-09-05 Square Enix, Ltd. Image processing method and computer-readable medium
US10560629B2 (en) 2017-05-23 2020-02-11 Google Llc Systems and methods for automatic exposure in high dynamic range video capture systems
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10419701B2 (en) 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
CN107451979B (zh) * 2017-08-08 2022-11-01 腾讯科技（深圳）有限公司 一种图像处理方法、装置和存储介质
US10750097B2 (en) * 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN108521863B (zh) * 2017-08-29 2020-10-16 深圳市大疆创新科技有限公司 曝光的方法、装置、计算机系统和可移动设备
US11393867B2 (en) 2017-12-06 2022-07-19 Facebook Technologies, Llc Multi-photodiode pixel cell
US10969273B2 (en) 2018-03-19 2021-04-06 Facebook Technologies, Llc Analog-to-digital converter having programmable quantization resolution
US11004881B2 (en) 2018-04-03 2021-05-11 Facebook Technologies, Llc Global shutter image sensor
CN110418081B (zh) * 2018-04-27 2021-12-24 北京紫光展锐通信技术有限公司 高动态范围图像全分辨率重建方法、装置及电子设备
CN108632537B (zh) * 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
US11233085B2 (en) 2018-05-09 2022-01-25 Facebook Technologies, Llc Multi-photo pixel cell having vertical gate structure
CN110557573A (zh) * 2018-06-01 2019-12-10 苹果公司 用于成像的统一包围曝光方法
US10903260B2 (en) 2018-06-11 2021-01-26 Facebook Technologies, Llc Multi-photodiode pixel cell
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11089241B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Pixel cell with multiple photodiodes
US11089210B2 (en) 2018-06-11 2021-08-10 Facebook Technologies, Llc Configurable image sensor
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
CN109005346B (zh) 2018-08-13 2020-04-03 Oppo广东移动通信有限公司 控制方法、装置、电子设备和计算机可读存储介质
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
CN112840637B (zh) * 2018-09-07 2022-04-05 杜比实验室特许公司 自动曝光方法
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11102430B2 (en) 2018-12-10 2021-08-24 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
GB2584907A (en) * 2019-06-21 2020-12-23 Zivid As Method for determining one or more groups of exposure settings to use in a 3D image acquisition process
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR102538645B1 (ko) 2019-10-07 2023-05-31 보스턴 폴라리메트릭스, 인크. 편광을 사용한 센서 시스템 및 이미징 시스템의 증강 시스템 및 방법
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US10855931B1 (en) * 2019-11-07 2020-12-01 Novatek Microelectronics Corp. High dynamic range image sensing method for image sensing device
MX2022005289A (es) 2019-11-30 2022-08-08 Boston Polarimetrics Inc Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion.
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
CN111432099B (zh) * 2020-03-30 2021-04-30 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
WO2023050029A1 (zh) * 2021-09-28 2023-04-06 迪克创新科技有限公司 曝光控制电路及相关图像传感器及电子装置
WO2023123110A1 (en) * 2021-12-29 2023-07-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera system including multiple lenses and multiple image sensors, method for controlling the same, and electronic device
CN116485660B (zh) * 2022-11-22 2023-11-17 北京迁移科技有限公司 图像采集方法及三维重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2002190983A (ja) * 2000-12-20 2002-07-05 Matsushita Electric Ind Co Ltd 画像合成回路
JP2002209223A (ja) * 2001-01-09 2002-07-26 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2003230158A (ja) * 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2004172859A (ja) * 2002-11-19 2004-06-17 Sony Corp 撮像装置および撮像方法
JP2004282552A (ja) * 2003-03-18 2004-10-07 Sony Corp 固体撮像素子および固体撮像装置
US20060139470A1 (en) * 2004-12-29 2006-06-29 Mcgowan Steven B Technique for increased exposure range in image sensors

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5801773A (en) 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US6433818B1 (en) * 1998-11-06 2002-08-13 Fotonation, Inc. Digital camera with biometric security
US5828793A (en) 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7623168B2 (en) 2000-07-13 2009-11-24 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device
WO2002030109A1 (fr) * 2000-10-03 2002-04-11 Sony Corporation Dispositif et procede de formation d"images
US6765611B1 (en) 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
EP1351521B1 (en) * 2001-01-09 2010-05-19 Sony Corporation Imaging device
US6943831B2 (en) 2001-01-24 2005-09-13 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images
US7830435B2 (en) 2003-09-03 2010-11-09 Eastman Kodak Company Image sensor and image capture system with extended dynamic range
JP4430984B2 (ja) * 2004-05-25 2010-03-10 Ｈｏｙａ株式会社 撮像ユニット、カメラボディーおよびカメラシステム
US7554588B2 (en) 2005-02-01 2009-06-30 TransChip Israel, Ltd. Dual exposure for image sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092378A (ja) * 1998-09-16 2000-03-31 Olympus Optical Co Ltd 撮像装置
JP2002190983A (ja) * 2000-12-20 2002-07-05 Matsushita Electric Ind Co Ltd 画像合成回路
JP2002209223A (ja) * 2001-01-09 2002-07-26 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2003230158A (ja) * 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2004172859A (ja) * 2002-11-19 2004-06-17 Sony Corp 撮像装置および撮像方法
JP2004282552A (ja) * 2003-03-18 2004-10-07 Sony Corp 固体撮像素子および固体撮像装置
US20060139470A1 (en) * 2004-12-29 2006-06-29 Mcgowan Steven B Technique for increased exposure range in image sensors

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011520351A (ja) * 2008-04-29 2011-07-14 イーストマン コダック カンパニー 画像センサの同心露光シーケンス
KR101927327B1 (ko) 2011-01-31 2018-12-10 에스케이하이닉스 주식회사 모바일 어플리케이션용의 ｃｍｏｓ 이미지 센서에 대한 다이나믹 레인지 확장
KR101927326B1 (ko) 2011-01-31 2018-12-10 에스케이하이닉스 주식회사 모바일 어플리케이션용의 ｃｍｏｓ 이미지 센서에 대한 다이나믹 레인지 확장
US11689832B2 (en) 2012-03-30 2023-06-27 Nikon Corporation Image pickup element and image pickup device
WO2013145753A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像素子および撮像装置
US10244194B2 (en) 2012-03-30 2019-03-26 Nikon Corporation Individual cell charge control in an image sensor
US10574918B2 (en) 2012-03-30 2020-02-25 Nikon Corporation Image pickup element and image pickup device
US11317046B2 (en) 2012-03-30 2022-04-26 Nikon Corporation Image pickup element and image pickup device
KR101926490B1 (ko) * 2013-03-12 2018-12-07 한화테크윈 주식회사 이미지 처리 장치 및 방법
KR20140111858A (ko) * 2013-03-12 2014-09-22 삼성테크윈 주식회사 이미지 처리 장치 및 방법
KR20150060024A (ko) * 2013-11-25 2015-06-03 삼성전자주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
JP2015111761A (ja) * 2013-12-06 2015-06-18 株式会社ニコン 電子機器
WO2016072018A1 (ja) * 2014-11-07 2016-05-12 オリンパス株式会社 撮像装置
US10104305B2 (en) 2014-11-07 2018-10-16 Olympus Corporation Imaging device which generates a high-dynamic-range image using an imaging element in which pixel groups are controlled to have different exposure periods
JP2020039130A (ja) * 2015-09-30 2020-03-12 株式会社ニコン 撮像装置
JPWO2019102887A1 (ja) * 2017-11-22 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器
US11483526B2 (en) 2017-11-22 2022-10-25 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
JP7199371B2 (ja) 2017-11-22 2023-01-05 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器
US11563923B2 (en) 2017-11-22 2023-01-24 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
US11877074B2 (en) 2017-11-22 2024-01-16 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
US11936994B2 (en) 2017-11-22 2024-03-19 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic apparatus
JP2021036677A (ja) * 2019-11-14 2021-03-04 株式会社ニコン 電子機器

Also Published As

Publication number Publication date
EP2193656B1 (en) 2016-04-13
CN101816171B (zh) 2013-12-25
EP2193656A1 (en) 2010-06-09
WO2009044246A1 (en) 2009-04-09
US7940311B2 (en) 2011-05-10
JP5016715B2 (ja) 2012-09-05
US20090091645A1 (en) 2009-04-09
CN101816171A (zh) 2010-08-25

Similar Documents

Publication Publication Date Title
JP5016715B2 (ja) 画像のダイナミック・レンジを改善するためのマルチ露光パターン
US8890983B2 (en) Tone mapping for low-light video frame enhancement
US7916181B2 (en) Method and device for creating high dynamic range pictures from multiple exposures
TWI496463B (zh) 形成全彩色影像之方法
US8724928B2 (en) Using captured high and low resolution images
US9307212B2 (en) Tone mapping for low-light video frame enhancement
US8818085B2 (en) Pattern conversion for interpolation
US8150209B2 (en) Method of forming a combined image based on a plurality of image frames
JP3968121B2 (ja) 画像圧縮方法
JP4355744B2 (ja) 画像処理装置
JP2011086275A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5843027B1 (ja) 撮像装置、制御方法およびプログラム
JP2014039170A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5468930B2 (ja) 画像処理装置及び画像処理プログラム
EP2214136B1 (en) Method and program for controlling image capture apparatus
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP2007243917A (ja) 撮像装置および画像処理プログラム
JP4556102B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
JP5814610B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2010233241A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2008219230A (ja) 撮像装置及び画像処理方法
JP6492452B2 (ja) 制御システム、撮像装置、制御方法およびプログラム
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP6603557B2 (ja) 画像処理装置および画像処理方法
JP2002262059A (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120604

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5016715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250