JP2013078114A - 単一センサ・アレイによる複数画像高ダイナミック・レンジ撮像のための方法、システム、製造品、およびサービス提供の方法 - Google Patents

単一センサ・アレイによる複数画像高ダイナミック・レンジ撮像のための方法、システム、製造品、およびサービス提供の方法 Download PDF

Info

Publication number
JP2013078114A
JP2013078114A JP2012187802A JP2012187802A JP2013078114A JP 2013078114 A JP2013078114 A JP 2013078114A JP 2012187802 A JP2012187802 A JP 2012187802A JP 2012187802 A JP2012187802 A JP 2012187802A JP 2013078114 A JP2013078114 A JP 2013078114A
Authority
JP
Japan
Prior art keywords
matrix
image
light
level
light incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012187802A
Other languages
English (en)
Inventor
Kwan Derek
デレク・クワン
Yuen Ching Lee Angela
アンジェラ・ユエン・チン・リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2013078114A publication Critical patent/JP2013078114A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

【課題】画像センサの単一アレイを用いて、共通の露光源レベルから、異なったレベルの入射露光照度による複数の異なる画像を得る方法を提供する。
【解決手段】さらに具体的には、光入射エレメントの第一および第二マトリックスが、単一のカメラ中に展開され、焦点レンズ光に対し、カメラ中の単一焦点面アレイ中に配列され、同等レベルのカラー画像情報に同等に反応する感光性画像センサの対応する第一および第二マトリックスの前面に配置される。光入射エレメントのそれぞれのマトリックスは、露光焦点レンズ光からのカラー画像情報を、異なったレベルの輝度で感光性画像センサのそれらに対応するマトリックスに伝送し、画像センサのそれぞれのマトリックスから、それぞれ異なるレベルの輝度で第一および第二画像が取得され、これら画像からのピクセル・データが合成されてHDR画像が生成される。
【選択図】図2

Description

本発明は、各々が異なるレベルの入射光を通して得られた、同じ光景の複数の個別画像から、高ダイナミック・レンジ(HDR:High Dynamic Range)画像を生成することに関する。
HDR撮像において、ダイナミック・レンジとは、一般に、特定の光景のそれぞれの画像(または、画像情報データ・セット)を生成するために用いる複数の別個の異なる照度、露光、または輝度レベルのレンジをいい、これら異なった画像/データが合成されまたは共に用いられ、例えば、ソフトウエア・アプリケーションなどを使用して単一のHDR画像が生成される。これによって、所与の任意の画像中の所与の任意のピクチャ領域の露光過剰域または露光不足域を、異なるレベルの露光で取った別の画像の画像データで置き換え、かくして異なった様々な範囲の照度、露光、または輝度レベルに亘る画像を生成することができる。
HDR写真術では、相異なる照度、露光、または輝度レベルを用いる画像は、従来から、各々の画像を取得するため用いられるカメラのレンズ開口部のそれぞれの絞り目盛り(「f−stop」)値を変えることによって得られている。f−stop値は、レンズの焦点距離をレンズの開口部の直径で除した値であり、従来から、一続きのf−stopの各々がその前の値の開口部の半分である段階的なスケールから選択されており、しかして、f−stopの値が低いほど、レンズを通してより多くの光が、例えば、アナログ写真術であればフィルム材料に、あるいはデジタル写真術であれば電荷結合素子(CCD:charge−coupled device)または複合金属酸化膜半導体(CMOS:composite metal oxide semiconductor)センサ・デバイスなどの画像センサに入射する。一例として、f−stopをf8にセットした80mmのレンズは10mmに等しい開口部直径を有し、f−stopをf16に変更すると5mmの直径が生成される。また一方、f−stopの設定によって、取得された画像データの「被写界深度」、すなわち、焦点被写体の前部および後部のどのくらいまでの画像が同様に焦点内にあるかも決まり得て、f−stopが小さいほど、同じレンズのより大きなf−stop設定で得られた画像に比べて、相対的により大きな被写界深度が得られる。従って、HDRのため、レンズのf−stop設定を変えて入射光のレベルを変化させて光景の複数の画像を取得するのは、かかる画像がそれぞれ異なる被写界深度を有し得て、より大きなf−stopの画像では一部の前景および背景エレメントが焦点外れになるなど、多くの問題が生じる。
本発明の一つの実施形態において、画像センサの単一のアレイを使って、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なった画像を取得する方法は、露光期間の間、単一のカメラ中に展開された光入射エレメントの第一および第二マトリックスをカメラの焦点レンズからの光景画像の光に露光するステップを含む。光入射エレメントのマトリックスの各々は、焦点レンズ光に対し、カメラ中の単一焦点面アレイ中に配列された対応する感光性画像センサのマトリックスの前面に配置され、第一および第二マトリックスの各々の中の画像センサは、露光された焦点レンズ光中の同等レベルのカラー画像情報に対しては同等に反応する。光入射エレメントの第一マトリックスは、露光期間の間、露光焦点レンズ光からのカラー画像情報を、露出光の第一レベルの輝度で感光性画像センサの対応する第一マトリックスに伝送し、光入射エレメントの第二マトリックスは、光景画像からのカラー画像情報を、異なった第二レベルの輝度で感光性画像センサの対応する第二マトリックスに伝送する。しかして、感光性画像センサのそれぞれのマトリックスから、それぞれ異なるレベルの輝度で第一および第二画像が取得され、それら取得された画像からのピクセル・データが合成されて光景の高ダイナミック画像が生成される。
別の実施形態において、システムは、処理装置と、コンピュータ可読メモリと、プログラム命令を有するコンピュータ可読記憶媒体デバイスとを有し、処理装置は、格納されたプログラム命令を実行するとき、露光期間の間、対応する光入射エレメントの第一マトリックスによってカメラ中の感光性画像センサの第一マトリックスに伝送された、光景画像の露光焦点レンズからのカラー画像情報から、第一レベルの輝度を有する第一画像を取得し、第一マトリックスの光入射エレメントの各々は、焦点レンズ光に対し、カメラ中の感光性画像センサの第一マトリックスの対応する一つずつの前面に配置される。処理装置は、第一マトリックス・センサとともにカメラの単一焦点面アレイ中に配列された感光性画像センサの第二マトリックス中に伝送されたカラー画像情報から、第二輝度レベルの第二画像をさらに取得し、該第二レベルの輝度は光入射エレメントの第二マトリックスの対応するエレメントによって伝送される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された相異なる輝度レベルの第一および第二画像からのピクセル・データが合成されて光景の高ダイナミック画像が生成される。
別の実施形態において、製造品は、中に具現されたコンピュータ可読プログラム・コードを備えたコンピュータ可読記憶媒体を有し、コンピュータ可読プログラム・コードは、コンピュータ・プロセッサによって実行されたとき、コンピュータ・プロセッサに、露光期間の間、対応する第一および第二光入射エレメントのマトリックスによって、カメラ中の感光性画像センサのそれぞれ第一および第二マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、相異なる輝度レベルの第一および第二画像を取得させ、光入射エレメントは、焦点レンズ光に対し、カメラ中の感光性画像センサの対応する一つずつの前面に配置される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された異なる輝度レベルの第一および第二画像からのピクセル・データが合成されて光景の高ダイナミック・レンジ画像が生成される。
別の実施形態において、画像センサの単一アレイを使って、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なる画像を得るためのサービスを提供する方法は、露光期間の間、光入射エレメントの対応する第一および第二マトリックスによって、カメラ中の感光性画像センサのそれぞれ第一および第二マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、異なった輝度レベルの第一および第二画像を取得する画像アクワイヤラを含む一つ以上の製品を提供するステップを含み、光入射エレメントは、焦点レンズ光に対し、カメラ中の感光性画像センサの対応する一つずつの前面に配置される。第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。取得された第一および第二画像からのピクセル・データを合成して、光景の高ダイナミック画像を生成する高ダイナミック・レンジ画像ジェネレータが設けられる。
本発明のこれらのおよび他の特質は、添付の図面を併せ見れば、以下の本発明のさまざまな態様の詳細な説明からさらに容易に理解されよう。これら図面は必ずしも一定の縮尺ではない。図面は単なる配置図であって、本発明の特定のパラメータを表すことを意図していない。これら図面は、本発明の典型的な実施形態だけを描くことを意図したものであり、従って本発明の範囲を限定すると見なすべきではない。図面中の同じ番号は同じエレメントを表す。
本発明による、画像センサの単一アレイを用いて、共通の露光源レベルから異なった入射露光照度レベルの複数の異なる画像を得るための方法またはシステムの実施形態のフローチャート説明図である。 本発明の実施形態による、システムの概略図である。 本発明の実施形態による、相異なる光入射エレメントのマトリックスの概略図である。 図4A〜図4Dは、本発明の実施形態による、相異なる光入射エレメントの例示的なマトリックスの概略図である。 本発明の実施形態による、共通またはオーバーラップした露光時系列によって異なったレベルの入射光における複数の異なる画像を取得するためのプロセスの概略図である。 本発明の実施形態のコンピュータ化実装のブロック概略図である。 本発明による製品のブロック概略図である。
当業者ならよく理解するであろうように、本発明の態様は、システム、方法、またはコンピュータ・プログラム製品として具現することができる。従って、本発明の態様は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態(ファームウエア、常駐ソフトウェア、マイクロコードなどを含む)、あるいは、一般に本明細書では全て「回路」、「モジュール」、または「システム」といわれる、ソフトウェアおよびハードウェア態様を組み合わせた実施形態の形を取ることができる。さらに、本発明の態様は、内部に具体化されたコンピュータ可読プログラム・コードを有する一つ以上のコンピュータ可読媒体(群)中に具現されたコンピュータ・プログラム製品の形を取ることもできる。
一つ以上のコンピュータ可読媒体(群)の任意の組み合わせを用いることができる。コンピュータ可読媒体は、コンピュータ可読信号媒体、またはコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体は、例えば、以下に限らないが、電子的、磁気的、光学的、電磁気的、赤外的な、または半導体の、システム、装置、もしくはデバイス、あるいはこれらの任意の適切な組み合わせとすることができる。コンピュータ可読記憶媒体のさらに具体的な例(非包括的リスト)には、一つ以上の配線を有する電気接続、携帯型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM:random access memory)、読み取り専用メモリ(ROM:read−only memory)、消去可能プログラム可能読み取り専用メモリ(EPROM(erasable programmable read−only memory)またはフラッシュ・メモリ)、光ファイバ、携帯型コンパクト・ディスク読み取り専用メモリ(CD−ROM:compact disc read−only memory)、光記憶デバイス、磁気記憶デバイス、またはこれらの任意の適切な組み合わせが含まれよう。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってまたはこれらに関連させて使用するためのプログラムを、包含または格納できる任意の有形媒体とすることができる。
コンピュータ可読信号媒体には、例えばベースバンド中にまたは搬送波の一部として具現されたコンピュータ可読のプログラム・コードを有する、伝播データ信号を含めることができる。かかる伝播信号は、以下に限らないが、電磁気的、光学的、またはこれらの任意の適切な組み合わせを含め、さまざまな任意の形を取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではないが、命令実行システム、装置、またはデバイスによってまたはこれらに関連させて使用するためのプログラムを通信、伝播、または輸送が可能な任意のコンピュータ可読媒体であり得る。
コンピュータ可読媒体中に具現されたプログラム・コードは、以下に限らないが、無線、有線、光ファイバ・ケーブル、RFなど、またはこれらの任意の適した組み合わせを含め、任意の適切な媒体を用いて伝送することができる。
本発明の態様のオペレーションを実行するためのコンピュータ・プログラム・コードは、Java(R)、Smalltalk(R)、C++などのオブジェクト指向プログラミング言語、および、“C”プログラミング言語または類似のプログラミング言語などの従来式手続き型プログラミング言語を含め、一つ以上のプログラミング言語の任意の組み合せで記述することができる。このプログラム・コードは、全体をユーザのコンピュータで、一部をユーザのコンピュータで、スタンドアロン・ソフトウェア・パッケージとして実行することができ、一部をユーザのコンピュータで他の部分を遠隔コンピュータで、または全体を遠隔のコンピュータまたはサーバで実行することができる。後者のシナリオでは、ローカル・エリア・ネットワーク(LAN:local area network)または広域ネットワーク(WAN:wide area network)を含む任意の種類のネットワークを介して、遠隔コンピュータをユーザのコンピュータに接続することができ、あるいは(例えばインターネット・サービス・プロバイダを使いインターネットを介し)外部のコンピュータへの接続を行うことができる。
本発明の実施形態による方法、装置(システム)およびコンピュータ・プログラム製品のフローチャート説明図もしくはブロック図またはその両方を参照しながら、本発明の態様を以下に説明する。フローチャート説明図もしくはブロック図またはその両方の各ブロック、および、フローチャート説明図もしくはブロック図またはその両方中のブロックの組み合せは、コンピュータ・プログラム命令によって実行可能であることが理解されよう。これらのコンピュータ・プログラム命令を、汎用コンピュータ、特殊用途コンピュータ、またはマシンを形成する他のプログラム可能データ処理装置のプロセッサに供給し、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能群/処理群を実施するための手段を生成するようにすることができる。
また、これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスに対し特定の仕方で機能するよう命令できるコンピュータ可読媒体に格納し、そのコンピュータ可読媒体に格納された命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能/処理を実施する命令群を包含する製造品を形成するようにすることができる。
同様に、コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードして、これらコンピュータ、他のプログラム可能装置、または他のデバイス上で一連のオペレーション・ステップを実行させてコンピュータ実行のプロセスを生成し、これらコンピュータまたは他のプログラム可能装置で実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方のブロックまたはブロック群中に規定された機能群/処理群を実施するためのプロセスを提供するようにすることもできる。
ここで図1を参照すると、本発明による、画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度による複数の異なった画像を取得するための方法、プロセス、またはシステムの実施形態が示されている。さらに具体的には、102において、単一のカメラの中に、相互に構造的に区別された光入射エレメントの第一および第二マトリックスが、単一のカメラの中に、焦点レンズに対し、カメラの単一焦点面アレイ中の共通アレイ内に画定された感光性画像センサの対応する第一および第二マトリックスそれぞれの前面に配置される。画像センサの各々は、処理装置(例えば、デジタル・シグナル・プロセッサ(DSP:digital signal processor)または他の処理装置または製品)と回路通信し、これにより、それらそれぞれのマトリックス内の他のセンサと合わさって画像データを提供し、処理装置が、画像センサの第一および第二マトリックスの各々から別個の光景画像を形成することを可能にする。個別の光入射エレメントは、それらそれぞれの共通マトリックス内の他のエレメントとの回路通信する能動構造(例えば、機械的、電気的、化学的にアクティブなシャッタなど)とし、関連するセンサ・アレイに対し一致して同じレベルまたは量の光を伝送することができ、あるいは受動構造(例えば、フィルタ、マスクなど)とすることもできる。以下にさらに詳しく説明するように、光入射エレメントの各々は、共通の光景露光から、相異なるマトリックス中の光入射エレメント群の少なくとも他の一つに対して異なったレベルまたは量の露光で、関連するセンサ・エレメントに光を入射させる。
104で、光入射エレメントのマトリックスは、露光期間の間、焦点レンズからの光景画像光に露光される。これにより、この露光期間において、(1)106で、第一マトリックス光入射エレメントは、露光期間の間、光景画像の露光焦点レンズ光からのカラー画像情報を、第一レベルの入射光で、対応する感光性画像センサの第一マトリックスの各々に伝送し、(2)108で、第二マトリックス光入射エレメントは、同じ露光期間の間、光景画像の露光焦点レンズ光からの同じカラー画像情報を、第一レベルの入射光の輝度とは異なる第二レベルの入射光の輝度で、対応する感光性画像センサの第二マトリックスの各々に伝送する。これに応じ、110で、第一レベルの輝度を有する、感光性画像センサの第一マトリックスに伝送されたカラー画像情報から、第一画像が取得され、112で、同じ露光の期間に、感光性画像センサの第二マトリックスに伝送されたカラー画像情報から、第二画像が取得され、第二画像は、得られた第一画像の第一レベルの輝度と異なる第二レベルの輝度を有する。
異なる輝度レベルの画像情報を含む、同じ光景のこれら2つの別個の画像からのピクセル・データは、次いで114で、処理装置を介して合成され、光景の単一の高ダイナミック・レンジ画像が生成される。しかして、光景のHDR画像は、画像センサの単一アレイ内の別個のアレイを、同じ視点を有する光景情報光(同じレンズを通して焦点合わせされた同じ画像)に、共通のまたはオーバーラップした露光時間に亘って露光することによって、だが各々がそれぞれ異なるレベルの入射光の輝度により取得されるようにして、各々生成される2つ(またはそれ以上)の別個の画像から生成される。一つの態様において、114で、HDRを形成するステップは、所与の任意の個別画像中の所与の任意のピクチャ領域の露光過剰域または露光不足域を異なるレベルの露光で取られた異なるレベルの画像輝度を有する別の画像からの画像データで置き換え、これにより相異なる照度、露光、または輝度レベルの範囲に亘る画像を生成することを可能にする。
さらに具体的には、それぞれの光入射エレメント・マトリックスは、同一単一回の露光の期間の同じ光景露光で、同じカラー画像情報だが異なる入射光レベルの画像を含む、それぞれ異なる光景の画像の取得を可能にする。カラー情報とは、一般的に画像情報をいい、フル・スペクトル・カラー情報、または部分的またはハイブリッド・スペクトル情報(例えば、赤外、イエローシアン、または緑色感受性など)、または黒白情報、またはこれらに任意の組み合わせであり得ることが理解されよう。カラー情報がどのように定義されようと、感光性画像センサのそれぞれのマトリックスは、同じカラー情報を取得するかまたはそれに対する感受性があり、第一および第二マトリックス中の感光性画像センサは、露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応する。これは、従来式の感光性画像センサのアレイを使って本発明の実施形態を実施することを可能にし、アレイ内に異なる種類のセンサを用いる必要性をなくし、センサと通信している処理装置による操作を介して、画像センサの単一アレイ内の別個のグループから複数の画像を得ることができ、むしろいろいろな光入射エレメントを用いて、それぞれ相異なった入射光レベルの異なる複数の画像が生成される。
光景の画像データを異なった複数の入射光レベルで取得するための従来技術の方法およびシステムは、レンズの前面に分割減光フィルタを使うことが可能である。例えば、レンズを一部だけを覆って過剰な輝度の光景の部分だけに作用させる遮蔽フィルタをレンズに被せ、一回の露光設定で、光景中に存在する輝度の範囲を適切に包含することができる。しかしながら、このアプローチは、フィルタをマニュアルで調整するため、撮影者が、2つの異なる照度レベル領域の間の輝度の移行に対する明瞭に区画された境界(例えば、地平線、構造上の端部など)を容易に識別できる場合にのみ有用である。かかるアプローチは、面倒で費用が掛かり、また、変化する光の状態に反応しまたは別途に調整するためには遅すぎる。
別の従来技術のアプローチは、異なったシャッタ速度設定で、複数の異なるカメラを使い、または同一のカメラの一連の露光で、同じ光景の複数の露光を行う。しかしながら、かかるアプローチは、複数のカメラを通して、異なった視点を正確に整列させ露出を同期化する必要、あるいは同じカメラを使う場合は複数回にわたって整列させたままにしておく必要があり、しかして、出来栄えは、カメラの動きまたは対象と他の被写体間の動きの回避処理、あるいは、一連の異なる時間における異なる画像を取得する時間の間の照度レベルまたは条件の変化による問題の回避処理の如何による。各カメラ、または一連のショットを取得するため使う場合は同じカメラは、例えば三脚などによって空間的に固定されていなければならず、さもなければ、画像群は合成写真HDR画像に整列することができず、手持ちカメラを使っての成功は見込みがないかまたは不可能である。かかる検討の結果として、リアルタイムHDRビデオは生成が困難で、通常、静止画ビデオを使った低速度撮影技術が必要となる。
これに対し、本発明の実施形態は、共通の露光イベントであるが、その共通の露光により入射した異なるそれぞれの照度のレベルによって撮影された同一光景の複数のショットからHDR撮像を生成し、従い、複数のカメラを使った複数のショット、または一台のカメラを使った別個の連続的ショットを取る必要がなく、これにより、前述の問題を回避する。その代わりに、単一の画像センサ・アレイは、同時、同じ一回の露光によって、各々が異なったレベルの入射照度を用いる複数の画像を取得し、配列されたセンサの全てを一つだけの画像に使用する場合に比べて低減された解像度を代償として複数の画像を提供する。
図2は、各々が、露光照度への感知度またはこれに対する反応が同一、または少なくとも類似または同等な画像センサ204のアレイ202を含む、本発明によるカメラ・システム201の一つの実施形態を示す。異なった光入射エレメントの、組み合わされた2つの相異なるマトリックス208および210を含むアレイ206が、画像センサ・アレイ202の上面に配置されており、しかして、これらは、画像センサ・アレイ202と、画像光景からの露出光205からレンズ203によって画像センサ・アレイ202の焦点面上に焦点合わせされた露出光207との間に入っている。本実施形態において、相異なる光入射エレメント208および210の各々は、一対一の関係で、画像センサ204の各々の上に一つずつ配置されているが、別の実施形態では、光入射エレメント208または210を、例えば、エレメント208または210の一つを、一を上回る画像センサ204の群または複数個の上に配置するなど(図示せず)一対多の関係で配置することもできる。
一部の実施形態において、当業者ならよく理解しているであろうように、これら異なる光入射エレメント・マトリックスは、画像のカラー情報を生成するために、各々がそれぞれ違った色合いを持つ複数の相異なる透過マスキング・エレメントを含む。例えば、図3は、本発明による、相異なる光入射エレメントのアレイ206の一つの実施形態の上面図であり、第一マトリックス光入射エレメント208は、各々白208W、赤208R、青208B、および緑208Gマスク・エレメントから選択されたカラー・マスクを含み、それらの下位に配置された画像センサ204からのデータは、各下位配置画像センサ情報中のピクセルのカラー画像に合成されて、第一画像中の赤、白、青、および緑のカラー・ピクセルの各々に対するそれらそれぞれの入射光のレベルに応じて、第一カラー画像が生成される。第二マトリックス光入射エレメント210は、同じカラーのより暗色に対応するマスク、すなわち、暗白色210DW、暗赤色210DR、暗青色210DB、および暗緑色210DGマスク・エレメントから選択され、それらの下位に配置された画像センサ204からのデータは、各下位配置画像センサ情報中のピクセルのカラー画像中に合成されて、第一画像に対する赤、白、青、および緑のカラー・ピクセルのそれらそれぞれのより低いレベルの入射光に応じた第二カラー画像が生成される。
さらに具体的には、各異なる光入射エレメント・マトリックスは、異なった色調の透過性を有する複数の相異なるマスキングまたはフィルタリング・エレメントで構成することができ、関連する光センサからのインプットの組み合わせによって生成されたこれらの画像は、入射され各マトリックスの画像に使われたそれぞれの合計の合成された光量に関し異なったものとすることができる。標準および暗色マトリックス208/210の各々の下位に配置された画像センサ204は、露光による飽和挙動に関して構造的に同一または実質的に同等なので、本発明の実施形態は、単純化されたセンサ・アレイ202の構造を可能にし、デジタル・シグナル・プロセッサ(DSP)または他の処理装置または製品が、各マトリックス・センサの組み合わせからの別個の画像を取り入れ、それら個別のピクセル・データを合成してHDR画像を生成することができる。
さまざまな第一および第二マトリックスの組み合わせ配列、および他のマトリックス集合を実施することができる。例えば、図4Aは、第二マトリックスの第二光入射エレメント404の各々と一つおきに交互配置された、第一光入射エレメント402の第一マトリックスの例を示す。図4Bは、前例に換わって、第一光入射エレメント402が、第二マトリックスの光入射エレメント404の列408と一つおきの関係で、交代(または交互配置)の列406に配列された別の例を示す。
一部の実施形態において、第一および第二光入射エレメント・マトリックスは、アレイ202中の利用可能センサ204を等しく分け合っていて、2つだけのマトリックスが使われており、各々が、画像センサ・アレイ202の集合体の合計解像度の半分で、それぞれ第一および第二画像を生成することができる。しかしながら、他の配分も実施が可能である。図4Cは、第一マトリックス光入射エレメント402の、第二マトリックス光入射エレメント404に対する三対一の関係の一例を示しており、第一マトリックス光入射エレメント402の各々に関連付けられたより多い数のセンサは、アレイ202上の利用可能なセンサ204の75%を含み、これらに関連付けられたセンサ204は、合計利用可能センサ204の25%だけを含む、より少ない数の第二マトリックス光入射エレメント404に関連付けられたセンサ204が提供する解像度の3倍の解像度の画像を提供する。さらに、2を超える別個のマトリックスを実施し、生成された画像の各々または少なくとも一つが容認可能な解像度を実現できることを前提として、同じ露光の間に2を上回る画像を生成することができる。例えば、図4Dは、第三マトリックスの「C」と標識された光入射エレメント410とともに、一つおきの関係で組み合わされた第一および第二マトリックス光入射エレメント402および404の例を示しており、これら3つのマトリックスの各々は配列された利用可能な画像センサの33%を使って、一対一の関係で配列されており、一回の露光で3つの画像を取得することができる。例えば、3つのマトリックスを使った50%−25%−25%、および40%−40%−20%、あるいは25%−25%−25%−25%の4つのマトリックスで一回の露光で4つの画像を撮るなど、さらなる他の3つ以上のマトリックス配分を実施することができることを十分理解されたい。
これまで説明してきた、複数の実質上同時に取得された画像は、HDRビデオへの使用にも適している。というのは、各フレームは、同じ共通の露光時に、だが、その同じ時間の間、下位に配置されたセンサに入射される光の量を異なえて取得された2つ以上の画像で構成することができるからである。各画像は、合成センサ・アレイ202によって画定された共通の焦点面上に焦点を合わされたきっかり同じの眺めからきっかり同じの時間枠で取られるので、これらの各々は、例えば引き続く露光の間、時とともに移動する対象の同じ対象の位置を記録することになる。しかして、各々が、実質的に光景内の対象の同じ時間的な動きを捉え、また、露光時間に亘る一切の照度レベルの同じ変化を経た複数の原画像が生成される。
本発明の他の実施形態において、異なったマトリックス内の相異なる光入射エレメントは、異なった別個の露光時間の間オープンする能動シャッタ・エレメントとし、これにより、これらの相異なる個別のオープン時間に応じて、これらに関連するセンサへの共通露出光からの異なった光量を入射させることができる。しかして、シャッタの第一マトリックスをより短い時間オープンし、より長い露光時間オープンするシャッタの第二マトリックスにより捉えられた第二画像よりも、低い入射光レベルで捉えられた第一マトリックスの画像が得られるようにすることができる。画像センサごとに全体的シャッタを生成する代わりに、ピクセルの間に組み込んだ複数のシャッタを設けることもできる。これらシャッタ・エレメントは、さまざまな機械的、電気的、化学的、および選択的に活性化された構造、または、備えられた全シャッタの複数のサブセットと同期して制御可能な他の任意の種類のシャッタ・メカニズムによって設けることができる。
一部の実施形態において、第二マトリックスが別の画像を捉えるために使うより長くオープンしているシャッタの特定の時間枠の間に、より短時間設定の光入射シャッタ・エレメントの第一マトリックスを用いて該特定の全露光時間枠に亘って2つの画像を取得することができる。しかして、2つのマトリックスで、特定の露光期間に亘って、各々が全センサ・アレイの半分の解像度の合計3つの画像を取得することができるが、これらは、それぞれのシャッタ時間に応じた異なった入射光のレベルに対応して生成される。図5は、かかるアレンジメントの時系列502の一例を示す。第一光入射マトリックスの「エレメントA」シャッタは、10の時間ユニット(1〜10)を含む「露光#1」時間に亘ってオープンのままで、これにより下位に配置された画像センサ204セルを露光し、次の2つの時間ユニット(11および12)は、DSPまたは他の製品が、下位に配置された画像センサ204セルから画像データを読み取り、そのセルを電気的にパージすることによってリセットするために使われる。同じ時間ユニット1〜12に亘り、従って同時に、第二光入射エレメント・マトリックスの別の「エレメントB」シャッタがオープンし、これにより下位に配置された画像センサ204セルを、第一6時間ユニット(1〜6)を含むより短い「露光#2」時間に亘って露光し、次の2つの時間ユニット(7および8)の間は、画像データを読み取って下位に配置された画像センサ204セルをパージしてリセットするためクローズし、次いで、合計4時間ユニットの間(9〜12)さらに短い「露光#3」時間に亘って再度オープンし、下位に配置された画像センサ204セルを露光する。次いで、後続の時間ユニット13および14に亘って第三露光のデータが読み取られパージされる。
しかして、同じカラー情報を有する3つの異なる画像が、時系列502の間のオーバーラップする露光による3つの異なるシャッタ露光時間に亘って得られ、それぞれの露光時間の違いによりこれらの画像の光景の異なった輝度レベルが得られる。一部の実施形態において、シャッタ・エレメントの2つのマトリックス、および、しかして3つの取得された画像の各々は、それぞれ利用可能なアレイ・センサ204の半分に関連付けられており、従い、各画像は、下位に配置されたセンサの全体によって提供される利用可能な全解像度の半分を代償として取得される。また一方、種々さまざまなエレメント配分を実施することができ、他の実施形態において、個々のマトリックスには、利用可能なアレイ・センサ204の同等でない割合を持たせることができ、利用可能なセンサの50%より多いまたは少ないセンサを使って画像を取得することができる。
さまざまな画像時間定義を行うこともできる。本事例において、6時間ユニットの露光#2の経過時間は露光#1の合計露光時間の半分よりも多いが、これを半分に設定することも他の任意の割り当てに設定することも、また一つの態様では、データを転送し下位に配置されたピクセル・セルをパージするのに要する時間に相当するように設定することも可能である。また、他のアレンジメントにおいて、より長い露光時間#1および読み取り/リセット期間を使って、3を超える画像を取ることもできる。
次いで図6を参照すると、本発明の実施形態の例示的コンピュータ化実装は、カメラまたは他の撮像デバイス506(例えば、ビデオ・カメラまたはビデオ・サーバなど)と通信するコンピュータまたは他のプログラム可能デバイス522を含む。命令542は、コンピュータ可読メモリ516中の、または、コンピュータ可読記憶システム532、入力/出力(I/O:Input/Output)524または処理装置(CPU)538によってコンピュータ・ネットワーク・インフラストラクチャ526を介してアクセスされる他の506デバイスまたは他のコンピュータ可読記憶媒体中の、コンピュータ可読コード内に所在する。しかして、これらの命令は、処理装置(CPU)538によって実行されたとき、処理装置(CPU)538が、光入射エレメントの個々のマトリックスを使って、図1から5に関連して前述したように、画像センサの単一のアレイへの共通の露光からの異なるレベルの入射/露光照度による複数の異なった画像を得るようにさせる。
図7は、図1〜図6に関連して前述したように、本発明による、光入射エレメントの個々のマトリックスを使って、画像センサの単一アレイへの共通の露光からの異なるレベルの入射/露光照度による複数の異なった画像を得るための製品601(例えば、プログラム可能なデバイス、システムなど)を示す。製品601の一つ以上の構成要素は、例えば、前述の処理装置538、コンピュータ可読メモリ516、およびコンピュータ可読記憶システム532を含む、特定の機能を遂行する有形のデバイスである。しかして、図1〜6および関連する上記説明資料から理解されるように、カメラ602の単一の焦点面アレイ中の共通アレイ内に画定された感光性画像センサの個々のマトリックスと通信する画像アクワイヤラ604は、対応する相異なる光伝送エレメントのマトリックスによって伝送されたカラー画像情報の各マトリックスから相異なる画像を取得し、これらの画像は、入射光/露光の輝度のレベルが異なる。画像アクワイヤラ604は、カメラ602マトリックス中の個別の能動光入射エレメント(例えば、シャッタ)を(例えば、能動機械的に、電気的に、化学的に、など)制御し、関連するセンサ・アレイに対する一致した露光設定によって、相異なる画像の各々を生成するため用いられる異なるレベルの露出光をもたらす。あるいは光入射エレメントは受動的マスクまたはフィルタにすることもできる。高ダイナミック・レンジ(HDR)画像ジェネレータ606は、取得した画像群からのピクセル・データを合成して、光景の単一の高ダイナミック・レンジ画像を生成する。
本発明の実施形態は、会費、広告、もしくは手数料ベースまたはこれらの組み合わせで、本発明のプロセス・ステップを実施することができる。すなわち、サービス・プロバイダは、図1〜7に関連して前述したような、光入射エレメントの個々のマトリックスを用いて、画像センサの単一アレイへの共通の露光からの異なるレベルの入射/露光照度による複数の異なった画像を得るオファを提供できよう。しかして、サービス・プロバイダは、一人以上の顧客に対し、本発明のプロセス・ステップを遂行する、例えば、ネットワーク・コンピュータ・システム522、コンピュータ・ネットワーク・インフラストラクチャ526、もしくは製品601(またはその部品)またはこれらの組み合わせなどのコンピュータ・インフラストラクチャを、生成、維持、およびサポートなどすることができる。サービス・プロバイダは、見返りとして、会費もしくは手数料契約またはその両方の下で顧客(群)から支払いを受けることができ、もしくはサービス・プロバイダは、一人以上の第三者に対する広告コンテンツの販売に対する支払いを受けることができ、またはこれらの両方の支払いを受けることができる。サービスには、(1)コンピュータ可読媒体デバイス516、520、または506から、コンピュータ/デバイス522/601などのコンピューティング・デバイスのプログラム・コードインストールすること、(2)コンピュータ・インフラストラクチャに一つ以上のコンピューティング・デバイスを追加すること、および(3)コンピュータ・インフラストラクチャが本発明のプロセス・ステップを遂行できるように、コンピュータ・インフラストラクチャの一つ以上の既存のシステムを統合もしくは修正またはその両方を行うこと、の一つ以上を含めることができる。
本明細書で使用する用語は、特定の実施形態を説明する目的のためだけのものであり、本発明を限定することは意図されていない。本明細書で用いられる、単数形「ある(a、an)」、および「該(the)」は、文脈上明確に別途に示されていなければ、複数形も同じように含むことを意図されている。さらに、本明細書で用いられる「含む(comprise)」もしくは「含んでいる(comprising)」またはその両方は、述べられた機能、完全体、ステップ、オペレーション、エレメント、もしくはコンポーネント、またはこれらの組み合わせの存在を特定するが、一つ以上の他の機能、完全体、ステップ、オペレーション、エレメント、コンポーネント、もしくはこれらの群、またはこれらの組み合わせの存在を排除するものでないことがさらに理解されよう。請求項に記載、および図面に示したものを含め、本明細書に記載された特定の事例およびエレメントは、一意的形容詞(例えば、複数のエレメントの「第二」または「第三」から区別された「第一」エレメント、「二次」のものから区別された「一次」、または「別の」項目など)によって、他のものから区別または別途に識別されていることがある。かかる識別形容詞は、一般に混同または不確かさを低減するため用いられており、請求事項をいずれか特定の例示エレメントまたは実施形態に限定するもの、または、いずれかの請求エレメント、制約条件、またはプロセス・ステップの優位、順序または序列を意味するものと解釈しないものとする。
添付の請求項中の全てのミーンズ・プラス・ファンクションまたはステップ・プラス・ファンクションの要素の、対応する構造、材料、処置および均等物は、具体的に請求された他の請求要素と組み合わせて機能を遂行するための、一切の構造、材料または処置を包含することが意図されている。本発明の記述は、例示および説明目的で提示されたもので、網羅的であること、または本発明を開示した形態に限定することは意図されていない。当業者には、本発明の範囲および精神から逸脱することのない多くの修改および変形が明白であろう。本実施形態は、本発明の原理および実際的な応用を最善に説明し、他の当業者が、意図する特定の用途に適したさまざまな修改を加えたさまざまな実施形態のため、本発明を理解できるようにするため、選択し説明されたものである。
201 カメラ・システム
202 画像センサ・アレイ
203 レンズ
204 画像センサ
205 露出光
206 光入射エレメント・アレイ
207 焦点合わせされた露出光
208 光入射エレメント
210 光入射エレメント

Claims (24)

  1. 画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度で複数の異なる画像を得る方法であって、前記方法は、
    単一のカメラ中に展開された光入射エレメントの第一および第二マトリックスを、露光期間の間、前記カメラの焦点レンズからの光景画像の光に露光するステップであって、前記光入射エレメントの前記第一マトリックスは、前記焦点レンズ光に対し、対応する感光性画像センサの第一マトリックスの前面に配置され、前記カメラ中の単一の焦点面アレイに配列されて、処理装置と回路通信し、前記光入射エレメントの前記第二マトリックスは、前記焦点レンズ光に対し、対応する前記感光性画像センサの第二マトリックスの前面に配置され、前記単一の焦点面アレイに配列されて、前記処理装置と回路通信し、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中のカラー画像情報の等しいレベルには等しく反応する、前記露光するステップと;
    光入射エレメントの前記第一マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記露出光の第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップと;
    前記光入射エレメントの前記第二マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記第一レベルの輝度とは異なる、前記露出光の第二レベルの輝度で、感光性画像センサの前記対応する第二マトリックスの各々に伝送するステップと;
    前記露光期間の間、感光性画像センサの前記第一マトリックスに伝送された前記カラー画像情報から前記第一レベルの輝度を有する第一画像を取得するステップと;
    前記露光期間の間、感光性画像センサの前記第二マトリックスに伝送された前記カラー画像情報から前記第二レベルの輝度を有する第二画像を取得するステップと;
    前記処理装置によって、前記取得した第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成するステップと;
    を含む方法。
  2. 前記画像センサの前記第一および第二マトリックスの各々は、前記焦点面アレイ中の前記センサの総計の半分を含み、前記第一画像および第二画像の各々は、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度の半分の解像度を有する、請求項1に記載の方法。
  3. 前記第一および前記第二マトリックス中の前記光入射エレメントは、各々、一対一の関係で前記画像センサの各々に一つずつ配置される、請求項1に記載の方法。
  4. 前記露光期間の間、前記単一のカメラ中に展開された光入射エレメントの第三マトリックスを、前記カメラの前記焦点レンズからの前記光景画像の光に露光するステップであって、前記光入射エレメントの前記第三マトリックスは、前記焦点レンズ光に対し、前記感光性画像センサの対応する第三マトリックスの前面に配置され、前記カメラ中の前記単一の焦点面アレイに配列されて、前記処理装置と回路通信し、前記第三マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中のカラー画像情報の等しいレベルには、前記第一および第二マトリックス中のセンサと同様に反応し、前記第三光入射エレメントは構造的に相互に区別されている、前記露光するステップと;
    光入射エレメントの前記第三マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を、前記第一および第二レベルの輝度の少なくとも一つよりも高いかまたは低い前記露出光の第三レベルの輝度で、感光性画像センサの前記対応する第三マトリックスの各々に伝送するステップと;
    前記露光期間の間、感光性画像センサの前記第三マトリックスに伝送された前記カラー画像情報から、前記第三レベルの輝度を有する第三画像を取得するステップと;
    をさらに含み、
    前記処理装置を介して、前記取得した第一および第二画像からのピクセル・データを合成して前記光景の前記高ダイナミック・レンジ画像を生成する前記ステップは、前記取得した第一、第二、および第三画像からのピクセル・データを合成して前記光景の前記高ダイナミック・レンジ画像を生成するステップをさらに含む、
    請求項1に記載の方法。
  5. 前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項1に記載の方法。
  6. 区別された光入射エレメントの前記第一マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップは、第一光入射エレメント・マトリックスの白色マスクが、白色カラー画像情報を第一レベルの白色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの赤色マスクが、赤色カラー画像情報を第一レベルの赤色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの青色マスクが、青色カラー画像情報を第一レベルの青色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第一光入射エレメント・マトリックスの緑色マスクが、緑色カラー画像情報を第一レベルの緑色光輝度で前記画像センサの対応するセンサに伝送させるステップと、を含み、
    区別された光入射エレメントの前記第二マトリックスが、前記露光期間の間、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第二レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に伝送するステップは、第二光入射エレメント・マトリックスの暗白色マスクが、前記白色カラー画像情報を前記第一レベルの白色光輝度と異なる第二レベルの白色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗赤色マスクが、前記赤色カラー画像情報を前記第一レベルの赤色光輝度と異なる第二レベルの赤色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗青色マスクが、前記青色カラー画像情報を前記第一レベルの青色光輝度と異なる第二レベルの青色光輝度で前記画像センサの対応するセンサに伝送させるステップと、第二光入射エレメント・マトリックスの暗緑色マスクが、前記緑色カラー画像情報を、前記第一レベルの緑色光輝度と異なる第二レベルの緑色光輝度で前記画像センサの対応するセンサに伝送させるステップと、を含む、
    請求項5に記載の方法。
  7. 前記第一および前記第二光入射エレメントの各々はシャッタであり、
    区別された光入射エレメント・シャッタの前記第一マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第一レベルの輝度で感光性画像センサの前記対応する第一マトリックスの各々に伝送するステップは、前記第一光入射エレメント・シャッタが、前記露光期間の第一シャッタ時間の間オープンし、これにより、前記カラー画像情報を、前記露光期間の間、前記第一レベルの輝度で前記画像センサの対応するセンサに伝送させるステップを含み、
    区別された光入射エレメント・シャッタの前記第二マトリックスが、前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報を前記第二レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に透過するステップは、前記第二光入射エレメント・シャッタが、前記露光期間の前記第一マトリックス・シャッタ時間より短い第二マトリックス・シャッタ時間の間オープンし、これにより、前記カラー画像情報を、前記露光期間の間、前記第二レベルの輝度で前記画像センサの対応するセンサに伝送させるステップを含む、
    請求項1に記載の方法。
  8. 前記露光期間の前記第二マトリックス・シャッタ時間の間オープンされた第二光入射エレメント・シャッタによって、感光性画像センサの前記第二マトリックスに伝送され前記第二画像を前記取得するステップに用いられた前記カラー情報をパージするステップと、
    前記第二マトリックス光入射エレメント・マトリックス・シャッタが、前記露光期間の別のマトリックス・シャッタ時間の間再オープンし、前記光景画像の前記露光焦点レンズ光からの前記カラー情報を再オープン・レベルの輝度で感光性画像センサの前記対応する第二マトリックスの各々に伝送させるステップと、
    前記別のマトリックス・シャッタ時間露光期間の前記第二マトリックス・シャッタ時間の前記再オープンの間に、感光性画像センサの前記第二マトリックスに伝送された前記カラー画像情報から、前記再オープン・レベルの輝度で別の画像を取得するステップと、
    をさらに含み、
    前記取得された第一および第二画像からの前記ピクセル・データを前記合成して前記光景の前記単一の高ダイナミック・レンジ画像を生成するステップは、前記第一、前記第二、および前記別の画像からのピクセル・データを合成して前記光景の前記単一の高ダイナミック・レンジ画像を生成するステップをさらに含む、
    請求項7に記載の方法。
  9. 前記第一、前記第二、および前記別の画像の各々は、前記焦点面アレイ中の前記センサの総計の全画像解像度の半分の解像度を有する、請求項8に記載の方法。
  10. 前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項1に記載の方法。
  11. 前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの前記総計の75%を含み、前記画像センサの前記第二マトリックスは、前記焦点面アレイ中の前記センサの前記総計の25%を含む、請求項10に記載の方法。
  12. 画像センサの単一アレイを用いて、共通の露光源レベルから異なったレベルの入射露光照度による複数の異なった画像を得るためのサービスを提供する方法であって、前記方法は、
    露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得する画像アクワイヤラであって、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
    前記画像アクワイヤラは、前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送される前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第二画像をさらに取得し、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっている、前記画像アクワイヤラと、
    前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成する高ダイナミック・レンジ画像ジェネレータと、
    を提供するステップをさらに含む方法。
  13. 前記第一および前記第二光入射エレメントの各々はシャッタであり、前記画像アクワイヤラは、さらに、
    前記第一マトリックス光入射エレメント・シャッタを前記露光期間の第一シャッタ時間の間オープンし、前記第一マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記第一レベルの輝度で、前記カラー画像情報を画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
    前記第二マトリックス光入射エレメント・シャッタを前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間オープンし、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記異なった第二レベルの輝度で、前記カラー画像情報を画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
    請求項12に記載の方法。
  14. 前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項12に記載の方法。
  15. 前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項12に記載の方法。
  16. 処理装置、コンピュータ可読メモリ、およびコンピュータ可読記憶媒体を含むシステムであって、
    前記処理装置は、前記コンピュータ可読メモリを介し前記コンピュータ可読記憶媒体に格納されたプログラム命令を実行したとき、
    露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送された光景画像の露光レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得し、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
    前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送された前記光景画像の前記露光レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第一画像を取得し、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっており、
    前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成する、
    システム。
  17. 前記第一および前記第二光入射エレメントの各々はシャッタであり、前記処理装置は、前記コンピュータ可読記憶媒体に格納されたプログラム命令を、前記コンピュータ可読メモリを介して実行したとき、さらに、
    前記露光期間の第一シャッタ時間の間、前記第一マトリックス光入射エレメント・シャッタをオープンし、前記第一光入射エレメント・シャッタは、これにより、前記カラー画像情報を、前記露光期間の間、前記第一レベルの輝度で画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
    前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間、前記第二マトリックス光入射エレメント・シャッタをオープンし、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記カラー画像情報を、前記露光期間の間、前記異なった第二レベルの輝度で画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
    請求項16に記載のシステム。
  18. 前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項16に記載のシステム。
  19. 前記第一および前記第二マトリックス中の前記光入射エレメントは、各々、一対一の関係で前記画像センサの各々に一つずつ配置され、
    前記画像センサの前記第一および第二マトリックスの各々は、前記焦点面アレイ中の前記センサの総計の半分を含み、前記第一画像および第二画像の各々は、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度の半分の解像度を有する、
    請求項16に記載のシステム。
  20. 前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項16に記載のシステム。
  21. 具現されたコンピュータ可読プログラム・コードをその中に有するコンピュータ可読記憶媒体を含む製造品であって、前記コンピュータ・プログラム・コードは、コンピュータ・プロセッサによって実行されたとき、前記コンピュータ・プロセッサに、
    露光期間の間、光入射エレメントの対応する第一マトリックスによって、感光性画像センサの第一マトリックスに伝送される光景画像の露光焦点レンズ光からのカラー画像情報から、第一レベルの輝度を有する第一画像を取得させ、光入射エレメントの前記第一マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第一マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第一マトリックスは前記カメラ中の単一の焦点面アレイに配列され、
    前記露光期間の間、前記感光性画像センサの第二マトリックスに伝送される前記光景画像の前記露光焦点レンズ光からの前記カラー画像情報から、第二レベルの輝度を有する第二画像を取得させ、光入射エレメントの前記第二マトリックスの各々は、前記焦点レンズ光に対し、感光性画像センサの前記第二マトリックスの対応する一つずつの前面に配置され、感光性画像センサの前記第二マトリックスは前記カメラ中の前記単一の焦点面アレイに配列され、前記第一および第二マトリックス中の前記感光性画像センサは、前記露光焦点レンズ光中の同等レベルのカラー画像情報に同等に反応し、前記第二レベルの輝度は前記第一レベルの輝度とは異なっており、
    前記取得された第一および第二画像からのピクセル・データを合成して前記光景の高ダイナミック・レンジ画像を生成させる、
    命令を含む、製造品。
  22. 前記第一および第二光入射エレメントの各々はシャッタであり、前記コンピュータ可読プログラム・コード命令は、前記コンピュータ・プロセッサによって実行されたとき、前記コンピュータ・プロセッサに、さらに、
    前記第一マトリックス光入射エレメント・シャッタを前記露光期間の第一シャッタ時間の間オープンさせて、前記第一マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記第一レベルの輝度で、前記カラー画像情報を画像センサの前記第一マトリックスの前記対応する一つずつに伝送させ、
    前記第二マトリックス光入射エレメント・シャッタを前記第一シャッタ時間とは異なる前記露光期間の第二シャッタ時間の間オープンさせて、前記第二マトリックス光入射エレメント・シャッタは、これにより、前記露光期間の間、前記異なった第二レベルの輝度で、前記カラー画像情報を画像センサの前記第二マトリックスの前記対応する一つずつに伝送させる、
    請求項21に記載の製造品。
  23. 前記第一および前記第二光入射エレメントは、各々が異なる色合いを有し、各々がそれらそれぞれの色合いの輝度レベルのカラー画像情報を伝送する、複数の異なる色合いの透過マスキング・エレメントを含む、請求項21に記載の製造品。
  24. 前記画像センサの前記第一マトリックスは、前記焦点面アレイ中の前記センサの総計の半分より多いかまたは少ないセンサを含み、前記第一画像は、前記センサの前記総計に対する前記画像センサの前記第一マトリックスの合計パーセントに等しい、前記焦点面アレイ中の前記センサの前記総計の合計画像解像度のパーセント解像度を有する、請求項21に記載の製造品。
JP2012187802A 2011-09-29 2012-08-28 単一センサ・アレイによる複数画像高ダイナミック・レンジ撮像のための方法、システム、製造品、およびサービス提供の方法 Pending JP2013078114A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/248,067 US8432466B2 (en) 2011-09-29 2011-09-29 Multiple image high dynamic range imaging from a single sensor array
US13/248067 2011-09-29

Publications (1)

Publication Number Publication Date
JP2013078114A true JP2013078114A (ja) 2013-04-25

Family

ID=47136980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012187802A Pending JP2013078114A (ja) 2011-09-29 2012-08-28 単一センサ・アレイによる複数画像高ダイナミック・レンジ撮像のための方法、システム、製造品、およびサービス提供の方法

Country Status (4)

Country Link
US (2) US8432466B2 (ja)
JP (1) JP2013078114A (ja)
DE (1) DE102012216021B4 (ja)
GB (1) GB2496241A (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2793470A1 (en) * 2011-12-16 2014-10-22 Sony Corporation Image pickup device
US9648248B2 (en) 2012-12-17 2017-05-09 Sony Corporation Methods, systems, and media for high dynamic range imaging
CN103297703A (zh) * 2013-05-30 2013-09-11 深圳职业技术学院 多光谱图像获取方法
US9307160B2 (en) * 2013-08-13 2016-04-05 Htc Corporation Methods and systems for generating HDR images
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
US9832388B2 (en) 2014-08-04 2017-11-28 Nvidia Corporation Deinterleaving interleaved high dynamic range image by using YUV interpolation
DE102014216421A1 (de) * 2014-08-19 2016-02-25 Conti Temic Microelectronic Gmbh Assistenzsystem eines Kraftfahrzeugs mit einer Kamera und Verfahren zur Justage einer Kamera
WO2016168744A1 (en) * 2015-04-17 2016-10-20 Flir Systems, Inc. Imaging device with shutter providing partial attenuation
CN106412448B (zh) * 2016-02-03 2023-08-15 深圳市迪威码半导体有限公司 一种基于单帧图像的宽动态范围处理方法与系统
JP2017224971A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10097766B2 (en) 2016-08-31 2018-10-09 Microsoft Technology Licensing, Llc Provision of exposure times for a multi-exposure image
DE102016013861A1 (de) 2016-11-22 2017-05-18 Daimler Ag Optischer Sensor für ein Kraftfahrzeug und Kraftfahrzeug
KR102545173B1 (ko) * 2018-03-09 2023-06-19 삼성전자주식회사 위상 검출 픽셀들을 포함하는 이미지 센서 및 이미지 촬상 장치
US11196937B2 (en) 2019-11-25 2021-12-07 Qualcomm Incorporated High frame rate in high dynamic range processing

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4214264A (en) 1979-02-28 1980-07-22 Eastman Kodak Company Hybrid color image sensing array
US6219097B1 (en) 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
US6803955B1 (en) * 1999-03-03 2004-10-12 Olympus Corporation Imaging device and imaging apparatus
US6690422B1 (en) * 1999-11-03 2004-02-10 Sharp Laboratories Of America, Inc. Method and system for field sequential color image capture using color filter array
US7623168B2 (en) * 2000-07-13 2009-11-24 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device
US6646246B1 (en) * 2000-11-21 2003-11-11 Eastman Kodak Company Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device
WO2002056603A1 (en) * 2001-01-09 2002-07-18 Sony Corporation Imaging device
US6924841B2 (en) * 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
AU2003220595A1 (en) 2002-03-27 2003-10-13 The Trustees Of Columbia University In The City Of New York Imaging method and system
US20030183746A1 (en) 2002-04-02 2003-10-02 Pao-Jung Chen High speed single-linear three-color CIS image sensing array
US7633537B2 (en) * 2002-12-18 2009-12-15 Nikon Corporation Color image sensor, color filter array and color imaging device
US20050057670A1 (en) 2003-04-14 2005-03-17 Tull Damon L. Method and device for extracting and utilizing additional scene and image formation data for digital image and video processing
US20050253937A1 (en) 2004-05-17 2005-11-17 Micron Technology, Inc. Real-time exposure control for automatic light control
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP2008005383A (ja) * 2006-06-26 2008-01-10 Matsushita Electric Ind Co Ltd 撮像装置及びイメージセンサ
US7714903B2 (en) 2006-08-29 2010-05-11 Zoran Corporation Wide dynamic range image capturing system method and apparatus
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
US8031243B2 (en) 2007-07-06 2011-10-04 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating image
EP2263373B1 (en) * 2008-03-28 2014-08-13 The Trustees of Columbia University in the City of New York Generalized assorted pixel camera systems and methods
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US8125545B2 (en) * 2008-10-14 2012-02-28 International Business Machines Corporation Photo sensor array using controlled motion
US8248496B2 (en) * 2009-03-10 2012-08-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image sensor
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2011075984A (ja) 2009-10-01 2011-04-14 Sony Corp 撮像光学系及び撮像装置
KR101643319B1 (ko) * 2010-01-11 2016-07-27 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법

Also Published As

Publication number Publication date
US20130208141A1 (en) 2013-08-15
US20130083226A1 (en) 2013-04-04
US8432466B2 (en) 2013-04-30
GB2496241A (en) 2013-05-08
US8988567B2 (en) 2015-03-24
DE102012216021A1 (de) 2013-04-04
GB201215852D0 (en) 2012-10-24
DE102012216021B4 (de) 2016-10-06

Similar Documents

Publication Publication Date Title
JP2013078114A (ja) 単一センサ・アレイによる複数画像高ダイナミック・レンジ撮像のための方法、システム、製造品、およびサービス提供の方法
US20200084363A1 (en) Temporally aligned exposure bracketing for high dynamic range imaging
CN102365861B (zh) 在产生数字图像时曝光像素组
TWI496463B (zh) 形成全彩色影像之方法
JP2017118551A (ja) 多重センサを有する高ダイナミックレンジカメラ
US8737755B2 (en) Method for creating high dynamic range image
JP6555863B2 (ja) 撮像装置及び撮像装置の制御方法
CN110166705B (zh) 高动态范围hdr图像生成方法和装置、电子设备、计算机可读存储介质
KR20140136727A (ko) 전자 센서와, 그의 제어 방법
TW201102968A (en) CFA image with synthetic panchromatic image
TW200917833A (en) Image sensor having checkerboard pattern
CN101742336B (zh) 图像处理装置以及图像处理方法
CN103780851A (zh) 摄像装置
CN104702824A (zh) 摄像装置及摄像装置的控制方法
CN104025574A (zh) 摄像装置及图像处理方法
JP6545829B2 (ja) 撮像装置、及び、画像データ生成方法
TWI524279B (zh) 影像擷取裝置及其暗角補償方法
CN101365930B (zh) 一种带有光度测定和实时报告能力的图像传感元件或阵列的系统与方法
JP7447947B2 (ja) 電子機器
CN216531466U (zh) 一种高动态感光芯片、摄像头以及电子设备
JP6794649B2 (ja) 電子機器および記録プログラム
Rossing et al. 10.1 A Brief History of Photography
CN115423713A (zh) 高动态焦平面探测器的制作方法及高动态图像获取方法
Fliegel et al. Open source database of images DEIMOS: high dynamic range images
Stump Camera Sensors