JP2020506642A - 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成 - Google Patents

画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成 Download PDF

Info

Publication number
JP2020506642A
JP2020506642A JP2019559162A JP2019559162A JP2020506642A JP 2020506642 A JP2020506642 A JP 2020506642A JP 2019559162 A JP2019559162 A JP 2019559162A JP 2019559162 A JP2019559162 A JP 2019559162A JP 2020506642 A JP2020506642 A JP 2020506642A
Authority
JP
Japan
Prior art keywords
image
ndro
pixel
sensor
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019559162A
Other languages
English (en)
Other versions
JP7030843B2 (ja
Inventor
ダヴィド・ダルソン
ジュリアン・デュボワ
バルテレミ・ヘイルマン
ドミニク・ジニャック
ムスタファ・ブデルバーヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sorbonne Universite
Original Assignee
Sorbonne Universite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sorbonne Universite filed Critical Sorbonne Universite
Publication of JP2020506642A publication Critical patent/JP2020506642A/ja
Application granted granted Critical
Publication of JP7030843B2 publication Critical patent/JP7030843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本発明は、NDRO画像と称される画像センサの非破壊読出しによって得られた複数の画像に基づく、HDR画像と称されるシーンの高ダイナミックレンジ画像の生成に関する。そのようなHDR画像生成方法は、HDR画像のための所望の画質の基準の決定と、少なくとも2つの連続的なNDRO画像を運ぶセンサの少なくとも2つの非破壊読出しと、所望の画質の基準の関数としての、HDR画像を生成するために用いられる最初と最後のNDRO画像の選択と、用いられる最初のNDRO画像と共に開始し最後のNDRO画像と共に終了する一連の連続的なNDRO画像から抽出された情報に基づくHDR画像の生成と、HDR生成フェーズ全体を通じて1つのおよび同じ時間における単一の画像の記憶とを含む。

Description

本発明の分野は、デジタルカメラ(DC)、カメラ、顕微鏡、DCを備えたスマートホンなどのキャプチャデバイスを用いた画像の取得に関するものである。更に詳しくは、本発明は、高ダイナミックレンジ(HDR)画像を取得するための方法に関する。
それは、特に、しかし排他的にではないが、映画、動画による監視、航空もしくは道路輸送、非破壊検査、医療分野、または物理学や天文学などの基礎科学の分野に応用可能である。
既存の画像キャプチャデバイスの性能は、多くの場合、それらのダイナミックレンジの狭さによって制限される。したがって、静止画像または動画形式でキャプチャされるシーンが、強いコントラストを有するときには、キャプチャデバイスによって取得された画像は、過度に露出された領域を有する可能性があり、そのような領域では、シーンの非常に明るい領域に対応する画像のピクセルは飽和しており、細部が僅かにだけ可視的であるかまたは全く可視的でない暗い領域は、シーンの照明が十分でない領域に対応する。
この問題を解決するためには、そして、HDR画像と称される高ダイナミックレンジ画像を既存のキャプチャデバイスから生成するためには、LDR(低ダイナミックレンジ)画像と称され異なる露光時間と関連する複数の従来型の画像を組み合わせることが、考慮されてきた。よって、画像化されるシーンは、同じキャプチャデバイスによって、異なる露光時間を用いて、複数回撮影されるのであるが、短い露光時間により、画像の非常に明るい領域を飽和させないことが可能になり、長い露光時間により、明るさの小さい領域において有効な信号を検出することが可能になる。得られた異なるLDR画像は、次に、それぞれの画像から最良のレンダリングを有する画像の部分を抽出するように処理され、これらの異なる部分は、そのシーンのHDR画像を構築するように組み合わせられる。
このHDR画像生成方法は、時間と行われる露光回数との観点から、高コストである。結果的に、それは、その非リアルタイム性のため、HDR動画シーケンスを生成するのには、特に不適切である。
更に、画像化されるシーンが移動する要素を含むときには、キャプチャされた異なるLDR画像において、それらは異なる位置にあり得るので、それが、HDR画像の生成の間にアーティファクトを生じさせる可能性がある。これらのゴースト効果は、HDR画像の復元の前に補正され得るが、その代償として、複雑で高価な処理用電子機器が必要となる。そのようなアーティファクトを除去するためのアルゴリズムは、たとえば、Mustapha Bouderbane et al.、「Suppression de l'artefact de ghost pour la generation de video HDR temps-reel」、Compas'2016: Parallelisme/Architecture/Systeme、Lorient、France、2016年7月5日〜8日の論文に、記載されている。
これらの画像キャプチャデバイスに搭載された検出器の進歩により、今日では、これらの画像キャプチャデバイスを非破壊読出し(NDRO)モードで動作させることが可能である。この動作モードでは、検出器の光電変換素子によって蓄積された電荷が、リセットなしで、読み出されることが可能であり、すなわち、センサの露光時間の間に、光へのセンサの露光の効果により、電荷の蓄積の継続を許容しながら、ピクセル信号の複数回の読出しを実行することが可能である。
この非破壊読出しモードの使用により、単一の露光時間の間にセンサのピクセルと関連する信号の複数回の読出しが許容され、それまでのHDR画像生成方法の時間コスト問題とアーティファクトの発生問題との両方に対して興味深い解決を提供する。事実として、同じ露光時間の間にセンサの非破壊読出しによって得られた複数の画像から、シーンの高ダイナミックレンジ画像を生成することが、可能である。
このように、特許文献である米国特許7,860,938号は、画像キャプチャデバイスの新たなタイプを提案しており、そこでは、第1のリーダが、標準的な露光時間の後で、各読出しの後でピクセルの信号をリセットしながら、破壊読出しモードにあるセンサの光電変換素子によって蓄積された電荷の第1の読出しを実行し、第2のリーダが、異なる短い露光時間すなわち標準的な露光時間よりも短い露光時間と関連する複数のNDRO画像を得るために、非破壊読出しモードで動作する。短い露光時間と関連する異なるNDRO画像は、第1のリーダによって得られた画像の中のいずれかのピクセルが、標準的な露光時間の間の画像化されるシーンの対応する部分の過剰な露光のために飽和されるかどうか、を予測するのに用いられる。そうである場合には、標準的な露光時間において第1のリーダによって得られた画像の飽和したピクセルが、それよりも短い露光時間と関連するNDRO画像から抽出された対応する非飽和ピクセルによって置き換えられるHDR画像が、生成される。
従来の技術と比較して、高ダイナミックレンジ画像を生成するために必要な時間を短縮させることが可能であるのは興味深いのであるが、この方法には、必要とされるセンサの複数の連続的な非破壊読出しとの関係で高い計算能力が必要になることを含む、いくつかの短所が依然として存在する。
更に、この技術は、画像のいずれかの領域の飽和という問題に対して興味深い解決を提供するが、露光が十分でない領域に関する問題を解決することができない。実際に、この技術によると、従来型の露光を経由して飽和した画像のピクセルが「非飽和」となるが、それは、それらのピクセルが、より短い同等の露光時間によるNDRO読出しからの同じピクセルによって置き換えられるからであり、逆に、この技術では、従来型の露光と関係のある蓄積によって設定される弱い信号に適応することが、可能でない。
米国特許第7,860,938号
Mustapha Bouderbane et al.、「Suppression de l'artefact de ghost pour la generation de video HDR temps-reel」、Compas'2016: Parallelisme/Architecture/Systeme、Lorient、France、2016年7月5日〜8日
したがって、従来技術によるこれらの様々な短所を有していない、高ダイナミックレンジ画像を生成するための技術に対する必要性が存在している。特に、時間と計算能力との両方の点で、より低コストであるような技術に対する必要性が存在する。また、適応的であり、ターゲットとなる最終的な画質と、強い信号と弱い信号との両方に対する所望の最終的なダイナミックとに基づき、HDR画像においてレンダリングされるシーンの輝度の観点から要求されるNDRO読出しの回数を自動的に調節することが可能なHDR画像を生成するような技術に対する必要性が存在する。
本発明は、シーンの高ダイナミックレンジ画像を、NDRO画像と称される画像センサの非破壊読出しによって得られたそのシーンの複数の画像から生成する方法を提案することによって、この必要性に応える。センサは、マトリクス形式に配列された複数のピクセルを備えており、光電変換素子と関連する各ピクセルが、受け取られた光を電荷に変換し、光への露光時間の間に電荷を蓄積することを可能にする。
本発明によると、そのような方法は、
- インデクスn=0である最初の現在のNDRO画像を運び、メモリ領域の内部に、前記最初の画像と関連する露光時間と関連して、前記最初の画像を記憶する、前記画像センサの最初の非破壊読出しと、
- 前記最初の画像の各ピクセルに対し、前記ピクセルによって蓄積された前記電荷に対応する信号値と信号選択閾値との比較と、前記ピクセルと関連する前記信号値が前記信号選択閾値よりも上にある場合の前記ピクセルの選択と、
- 1からNまで変動する整数nに対し、以下の、
- インデクスnである現在のNDRO画像を運ぶ前記画像センサを非破壊的に読み出すステップと、
- 前記現在のNDRO画像に先行するNDRO画像において先に選択されていないインデクスnである前記現在のNDRO画像の各ピクセルに対し、インデクスnである前記現在のNDRO画像と関連する露光時間と組み合わせて、前記ピクセルと関連する信号値を記憶することによって、前記メモリ領域を更新するステップと、
- インデクスnである前記現在のNDRO画像の各ピクセルに対して、前記ピクセルによって蓄積された前記電荷に対応する信号値と前記信号選択閾値とを比較して、前記ピクセルと関連する前記信号値が前記信号選択閾値よりも上にある場合には、前記ピクセルを選択するステップと
いう連続的なステップの、少なくとも1回の反復と、
- 前記選択されたピクセルと関連する前記信号値と、関連して記憶された前記露光時間とからの、前記高ダイナミックレンジ画像の生成と、
を含む。
このように、本発明は、複数のいわゆるNDRO画像から、すなわち、センサのピクセルの非破壊読出しによって得られた画像からHDR画像を生成することへの、全く新規で発明性のあるアプローチに基づく。そのような方法は、画像化されるシーンの特性を考慮して、行われる非破壊読出しの回数と、それらの関連する露光時間とを最適化することを可能にするという点で、適応的である。
実際には、本発明による方法は、一実施形態によると、非破壊読出しモードでセンサの読出しを数回反復するように進行して、最終的なHDR画像の目的となる画質基準に基づき、1つまたは複数のピクセルがHDR画像のために決定される画質基準を満たす最初のNDRO画像とは何であるかを決定することによって、HDRの復元のために必要な読出しの回数を動的に最適化することを提案する。これらのピクセルが選択され、一意的なメモリ領域に記憶されて、センサの画像を構成する。それぞれの連続的なNDRO画像に対し、HDR画像のために決定された画質基準を満たす新たなピクセルが、そのようなものが存在する場合には、選択され、メモリ領域が、それに応じて更新される。そして、先に選択され先行するNDRO画像に記憶されていたピクセルの値は、凍結されたまま維持され、更新されない。このように、所望の画質基準を満たすピクセルの値を、それらがそこから抽出されるNDRO画像の露光時間と共に関連して記憶するセンサの画像を、徐々に構築する。
更に詳しくは、選択閾値Sselが、S0≦Ssel≦Ssatとなるように画定されるのであるが、ここで、S0は、検出器から来る最も弱い使用可能な電子信号に対応する信号(典型的には、そのレベルが、検出器またはより一般的に画像化システムからの読出しノイズに対応する信号)であり、Ssatは、(検出器における最初の飽和した要素によって、すなわち、ピクセル、電荷変換および/または増幅チェーンなど、によって課せられる)センサの飽和信号である。この信号選択閾値は、NDRO画像の取得の開始より前に画定され、HDR復元のためにNDRO画像のそれぞれの新たなシーケンスに対して修正されることがあり得る。よって、それは、シーンの照射条件に(したがって、画像化されるダイナミックに)最良に適応するように、または、たとえば、露光時間もしくは最も弱い信号の最終のSNRを最適化するように、修正されることが可能である。
あるピクセルの信号値がこの選択閾値にいったん到達すると、このピクセルは、HDR画像の復元のために選択され、それがそこから抽出されるNDRO画像の露光時間と関連して、記憶される。最初の選択されたピクセルは、結果的に、HDR画像の復元のために用いられる最初のNDRO画像を、画定する。
こうして、特に、画像化されるシーンの輝度レベルに基づいて、HDR画像の目的とされる画質レベルに到達するように、行われる非破壊読出しの回数を、オンザフライで、調節する。
必要な非破壊読出しの回数のこの動的な調節は、露光回数および関連する露光時間が画像化されるシーンにおいて遭遇される異なる輝度レベルに基づいて最適化されるように、各HDR画像に対して行われる。
更に、そのようなHDR画像生成方法は、センサの画像に対応する単一のメモリ領域の使用に基づいており、画像センサからの非破壊読出しによって得られた連続的な画像の全部を記憶することを要求せず、それによって、従来技術による技法と比較すると、要求される記憶空間および記憶空間と処理ユニットとの間の帯域幅と、HDR画像を生成するのに必要な計算能力との両方の点で、相当な空間を節約することが可能になる。更に、単一の記憶空間を用いたこのオンザフライでの生成により、リアルタイムでの使用モードにおいて、画像の個数を増加させることが可能になり、この個数は、物理的な制約を伴わず、したがって、潜在的に画像化されたダイナミックを伴わずに増加されるように適応されている。そのような方法により、単一の画像平面がメモリに維持され、連続的なNDRO読出しの進行と共に、それらの関連する露光時間によって重み付けされたピクセルが、徐々に更新される。
このように、センサのマトリクスの表現が、メモリ領域に記憶され、それぞれの新たな取得されたNDRO画像と共に、再更新される。このメモリ領域の各要素は、最後の読み出されたNDRO画像のピクセルのそれぞれの現在値を、または、この値が、先行するNDRO画像における信号選択閾値に到達する場合には、HDR画像の復元に用いられることになるこの先行する画像における対応する値を、記憶する。これらの値は、そこからそれらが抽出されるNDRO画像の露光時間と関連して、記憶される。
本発明のある優れた態様によると、前記高ダイナミックレンジ画像を生成するために必要な方法のステップが、所与の瞬間における単一の画像の記憶を実現する。このように、メモリ領域では、高ダイナミックレンジ画像の生成フェーズの各瞬間に、ただ1つの画像が記憶される。
本発明の一態様によると、そのような方法は、前記高ダイナミックレンジ画像のための所望の画質基準と前記センサのための最大露光時間とを決定するための予備的ステップを含む。センサのそのような最大露光時間により、HDR画像を生成するための反復的なプロセスの終了時間を制限することが可能になる。
本発明の一実施形態によると、所望の画質基準は、高ダイナミックレンジ画像のピクセルの信号対雑音比である。
よって、HDR画像を生成するためのそのような方法は、後述される方程式(Eq.9)に従い前もって設定されたレベルに画定されたSNR(信号対雑音比)の最適化と、可能な限り短いHDR画像の取得時間とに基づく。SNRは、各NDROと、この基準に従って選択されたピクセルとにおいて、最適化される。このように、最終的なSNRは、それらのそれぞれのNDROのそれぞれにおいて選択された各ピクセルに対して、特に、(やはり前もって設定されたタイムアウトtoutの前に、最も弱い信号を有するピクセルのために、所望のSNRに到達する限り)既に選択され最終のNDROに到達する最も弱い信号のために、最適化される。
この実施形態の別の態様によると、インデクスNであるNDRO画像は、すなわち、HDR画像を生成するのに用いられる最後のNDRO画像は、
- ピクセルのすべてが前記信号選択閾値よりも大きいまたは前記信号選択閾値と等しい信号値と関連する、前記連続的なNDRO画像の最初の画像であるか、または、
- 前記信号選択閾値よりも低い信号値と関連する少なくとも1つのピクセルを含む場合に、前記センサの前記最大露光時間と関連する前記連続的なNDRO画像の最後の画像である。
よって、いったん画像のピクセルの全部が信号選択閾値よりも大きいまたはそれと等しい値に到達すると、HDR画像を復元するために、センサの非破壊読出しを停止する。逆に、前もって選択された最大露光時間の終了時において、その値がこの信号選択閾値よりも低いままに留まるピクセルが依然として存在する場合には、しかし、露光時間が長くなりすぎないことを回避するため、または、不確定な値に向かってドリフトすることを回避するため、シーンの照射条件によりこの閾値に到達することが可能にならないときには、センサの非破壊読出しを中断する。これらのピクセルに対しては、HDR画像の復元の間に選択された値は、最後の読み出されたNDRO画像における信号値に対応する。
この実施形態の別の態様によると、高ダイナミックレンジ画像の生成は、センサからの応答に基づき、評価された重みによって、高ダイナミックレンジ画像のそれぞれのピクセルと関連する信号値の計算を含むが、この信号値は、関連する露光時間によってそれぞれのピクセルのために前記メモリ領域に記憶されている。
HDR画像の復元は、センサからの異なるNDRO読出しの進行に伴い、それらがそこから抽出されるNDRO画像と関連するそれぞれの露光時間によって重み付けされた、信号選択閾値より高い値を有するように選択されたそれぞれのピクセルの値から、徐々に行われ得る。
別の態様によると、そのような方法は、また、前記画像センサの最初の非破壊読出しの前に、tminと表される画像センサにおける最小電荷蓄積時間を先行して決定することを含み、この最小蓄積時間tminは、条件
を満たし、
tNDROは、画像センサの2回の連続的な非破壊読出しの反復の間の時間であり、
Ssatは、画像センサの飽和信号であり、
S0は、画像センサから来る最も弱い使用可能な電子信号である。
この時間tminは、したがって、システムの最小蓄積時間に対応する。それは、したがって、線形応答センサを備えたシステムにおいてそのような方法が実現される場合に、センサの線形動作の範囲内に留まることを確実にしながら、情報のいかなる損失も回避するように選択される。
tminが最初のNDRO画像の蓄積時間に対応すること、そして、それ以降のNDRO読出しの全部がピッチtNDROによって規則的に増加する蓄積時間を有することを考慮すると、蓄積時間tminに課せられた条件は、第2のNDRO画像の蓄積時間(tmin+tNDRO)と第1のNDRO画像の蓄積時間(tmin)との比が、線形応答センサのダイナミックと実質的に同じであることを確実にすることで構成される。
混合型の線形/対数的応答画像センサを備えた取得システムにおいてそのような方法を実現させることにより、最小蓄積時間tminに課せられたこの制約条件を除去することが可能になり、最小蓄積時間tminは、更に、システムクロックチックまで縮小させることが可能になる。
本発明は、プロセッサによって実行されると上述されたような方法を実行するためのプログラムコード命令を含むコンピュータプログラム製品とも関係する。
そのようなプログラムは、任意のプログラム言語を用いることが可能であり、ソースコード、オブジェクトコード、もしくは部分的にコンパイルされた形式などのソースコードとオブジェクトコードとの間の中間的なコードなどの形式を有する、または任意のそれ以外の所望の形式を有することが可能である。
本発明は、また、上述された本発明による高ダイナミックレンジ画像を生成するための方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラムがその上に記録されているコンピュータによって可読な記録媒体と関係する。
そのような記録媒体は、プログラムを記憶することが可能な任意の実体またはデバイスであり得る。たとえば、この媒体は、たとえばCD-ROMもしくはマイクロエレクトロニック回路ROMのようなROMや、たとえばハードドライブのような磁気記録手段や、USB鍵のようなフラッシュメモリなどの記憶手段を含み得る。
更に、そのような記録媒体は、電気もしくは光ケーブルを経由して、無線によって、またはそれ以外の手段によって運ばれ得ることによって、それが含むコンピュータプログラムが遠隔的に実行可能な、電気もしくは光信号などの伝送媒体であり得る。本発明によるプログラムは、特に、たとえばインターネットなどのネットワークを経由してダウンロードされることが可能である。
あるいは、記録媒体は、プログラムが内蔵されており、上述されたディスプレイ制御方法を実行する、または上述されたディスプレイ制御方法の実行に用いられることに適した集積回路であり得る。
本発明は、また、シーンの高ダイナミックレンジ画像を、NDRO画像と称される画像センサの非破壊読出しによって得られたシーンの複数の画像から、生成するためのシステムに関する。そのようなセンサは、マトリクス形式に配列された複数のピクセルを備えており、各ピクセルは、受け取られた光を電荷に変換し、光への露光時間の間に電荷を蓄積することを可能にする光電変換素子と関連する。そのようなシステムは、上述されたような高ダイナミックレンジ画像を生成するための方法のステップを実行するのに適した計算ユニット(プロセッサ、FPGA、その他)を備えている。
本発明は、最後に、シーンの高ダイナミックレンジ画像を、NDRO画像と称される画像センサの非破壊読出しによって得られたシーンの複数の画像から、生成するためのシステムに関する。そのようなシステムは、マトリクス形式に配列された複数のピクセルを備えたセンサを備えており、各ピクセルは、受け取られた光を電荷に変換し、光への露光時間の間に電荷を蓄積することを可能にする光電変換素子と関連しており、このセンサは、非破壊読出しモードで動作するように構成されている。
本発明の一実施形態によると、そのようなシステムは、
ユーザによる、高ダイナミックレンジ画像のための所望の画質基準と前記センサのための最大露光時間との入力のためのインターフェースモジュールと、
NDRO画像のそれぞれのピクセルに対して、前記センサによって運ばれた複数の連続的なNDRO画像の中で、前記ピクセルによって蓄積された前記電荷に対応する信号値と信号選択閾値とを比較し、前記ピクセルと関連する前記信号値が前記信号選択閾値よりも大きく、前記ピクセルが前記複数のNDRO画像からの先行するNDRO画像から先に選択されていない場合には、前記ピクセルを選択するように構成された計算ユニット(プロセッサ、FPGA、その他)と、
前記NDRO画像と関連する露光時間と関連して、前記連続的なNDRO画像の前記選択されたピクセルと関連する信号値を記憶するように構成されたメモリと、
前記選択されたピクセルと関連する前記信号値と、関連して記憶された前記露光時間とから、前記高ダイナミックレンジ画像を生成するように構成された計算ユニット(プロセッサ、FPGA、その他)と、
を備える。
より一般的には、高ダイナミックレンジ画像を生成するためのそのようなシステムは、既に上述された高ダイナミックレンジ画像を、その実装例および実施形態の全てに従い生成するための方法を実現するのに必要な全ての手段を、組み合わせとして備えている。
本発明の他の目的、特徴および効果は、下記の図面と共に単純な図解および非限定的な例示として提供されている下記の説明を読むことによって、より明確になるはずである。
画像センサにおける非破壊読出しによって得られた複数のNDRO画像からHDR画像を生成するための適応的な方法の一実施形態を図解するフローチャートである。 図1に図解された方法を実現するHDR画像生成システムのハードウェアアーキテクチャの例である。 図1に図解された方法を実現するHDR画像生成システムのハードウェアアーキテクチャの別の例である。
発明の詳細な説明
本発明の一般原理は、目標となるHDR画像と画像化されるシーンの輝度パラメータとのダイナミクスに基づき、HDR画像の取得速度を実質的に向上させ、必要な非破壊読出しの数を動的に向上させることを可能にする適応性のある方法による、画像センサの非破壊読出しによって得られた画像からの高ダイナミックレンジ(HDR)画像の復元に基づく。
記号、定義および原理
この文書の残余では、画像取得システムのセンサのピクセルの下にある光電変換素子は、例えば、CMOS(相補型金属酸化物半導体)技術に基づいて製造される。CMOS技術は、ほとんどの写真または動画システムを装備していることが、注意されるであろう。CMOS型の画像検出器は、いわゆる非破壊読出し(NDRO)モードで読み出されるように構成されるという利点を有する。
非破壊読出しモードにより、センサをリセットすることなく、センサの光電変換素子のそれぞれによって蓄積された電荷を(したがって、ピクセルと関連する信号値を)読み出すことが可能になる。換言すると、NDRO読出しにより、露光の間、それを破壊することなく、検出器上の画像の形成を観察することが可能になる。
「飽和」とは、センサの光電変換素子上の入射光の量が、検出器の線形動作範囲において、これらの変換素子が蓄積することができる電荷の最大量を超える状態を指す。この結果として、それ自体をセンサの線形範囲に限定する場合には、画像の対応する領域の過剰露光現象を生じさせる。しかし、いくつかのセンサは、線形および対数的という2つの応答を同時に用いることができ、それにより、特に第1のNDROの蓄積時間の選択において、この制約を解除することが可能になる。
以下で、われわれは、この文書の残余で用いられることになるいくつかの記号および定義を提案する。
・ADU:出力として1単位を運ぶような、アナログ−デジタル変換器の入力におけるアナログ信号の量に対応する、アナログ−デジタル単位を指す。よって、(たとえば、(ADU当たりの電子である)e-/ADUとして表される)システムゲインを知ることにより、検出器からの電子の量を決定することが可能であり、量子効率を知ることにより、入射光子の量を決定することが可能である。
・Qλ:システムの量子効率であり、センサ上に落ちた所与の波長λを有する光子の個数とセンサの光電変換素子によって生じた電荷の個数との間の比として定義され、画像取得システムの電子読出しシステムによって、信号として使用可能である。入射光子から検出器すなわちセンサの光電変換素子によって生じたが次に全体的な読出しノイズとして「失われた」電荷は、したがって、ここで推測される。
・Fmax,λ:所与の波長λにおける最大入射光束であり、たとえば、1秒当たりの光子数で表され得る。
・Fmin,λ:所与の波長λにおける最小入射光束であり、たとえば、1秒当たりの光子数で表され得る。
・Ttimeout:ある画像に対するセンサの最大露光時間であり、秒で表される。この最大露光時間は、どの画像取得時間よりも前に決定され、それぞれの新たなHDR画像生成フェーズに対して、調節可能であり得る。
・ntimeout:n番目のNDRO画像のインデクスであり、最大露光時間Ttimeoutと等しい露光時間と関連する。
・TP:生成されるHDR画像のための露光時間であり、秒で表され、その間に、センサの非破壊読出しが行われる。露光時間TPは、最大露光時間Ttimeoutよりも短いかまたはそれと等しく、HDR画像の復元に用いられた最終のNDRO画像の同等の露光時間に対応する。
・tmin:画像取得システムの最小蓄積時間であり、センサの第1の可能な非破壊読出しまでの最小蓄積時間に対応し、秒で表される。
・taccu1:HDR復元のために有用な第1のNDRO画像までの蓄積時間である。この時間taccu1は、HDR画像の復元に用いられた連続的なNDRO画像の第1のものと関連する露光時間に対応する。
・tNDRO:NDRO画像の読出し時間であり、秒で表される。
・Smin:本発明の一実施形態によって生成された最終的なHDR画像上の最も弱い信号である。
・smin:画像取得システムのセンサの非破壊読出しによって得られた異なる連続的なNDRO画像上の最も弱い入射光束に起因する最も弱い信号である。
・Smax:本発明の一実施形態によって生成された最終的なHDR画像上の最も強い信号である。
・smax:画像取得システムのセンサの非破壊読出しによって得られた異なる連続的なNDRO画像上の最も強い入射光束に起因する最も強い信号である。
・Ssat:センサの飽和信号である(検出器における第1の飽和要素、すなわちピクセル、電荷変換および/または増幅チェーンなど、によって制限される)。
・S0:検出器に由来するノイズを除く、最も弱い有用な電子信号に対応する信号である。これは、典型的には、そのレベルが検出器(または、より一般的に、画像化システム)の読出しノイズに対応する信号である。
・Ssel:以下で説明される本発明の第2の実施形態によるHDR復元のためにピクセルの値を選択するための信号選択閾値である。
・Nr:検出器またはより一般的に画像化システムの読出しノイズである。
・NT:(露光の間に蓄積された)検出器の熱信号と関連する熱ノイズである。
・Np:露光の間に蓄積された光信号と関連する光子ノイズである。ノイズNr、NTおよびNpは、一般に、検出器の出力に運ばれた電子として、または、e-/ADU(ADU当たりの電子)として、システムゲインに関する知識と共にADUで表される。
:センサのマトリクスにおいて座標(i,j)を有するピクセルと関連する信号の値であり、nが0≦n≦ntimeoutであるとして、n個のランクNDROnを有するNDRO画像に由来する。
:座標(i,j)を有するピクセルのSN比であり、nが0≦n≦ntimeoutであるとして、n個のランクNDROnを有するNDRO画像に由来する。
以上では、異なる信号であるSmax、smax、Smin、smin、Ssat、Ssel、S0が、関連する単位を用いることなく説明されていることが、留意されるであろう。実際に、それらがアナログ−デジタル変換の後で見られる場合には、それらは、ADU単位で表わされる。逆に、それらがアナログ−デジタル変換のステップの前で考慮される場合には、それらは、ボルトやアンペアなど、それらを特徴付ける物性(アナログ)の単位で表わされる。
これらの記号に基づくと、生成されるHDR画像のダイナミックDは、次の比
ここで、
smin=TP×Fmin,λ×Qλ (Eq2)
smax=taccu1×Fmax,λ×Qλ (Eq3)
として表現されることが可能である。したがって、次の関係を導くことができる。
および、
taccu1=tmin+(n1×tNDRO) n1≧0 (Eq5)
Tp=tmin+((n1+n2)×tNDRO) n2≧n1 (Eq6)
ただし、インデクスn1は、高ダイナミックレンジ画像HDRを生成するのに用いられる最初のNDRO画像のインデクスを、画像センサの非破壊読出しによって得られた一連のNDRO画像の中から指定し、インデクスn2は、高ダイナミックレンジ画像HDRを生成するのに用いられる最後のNDRO画像のインデクスn1を有する最初の有用な画像から取られたNDRO画像の個数を、n1+n2がそのインデクスであるように、画像センサの非破壊読出しによって得られた一連のNDRO画像の中から指定する。
(第1の例では検出器を備えている)画像取得システムのダイナミックは、有限であり、低い値が最も高いノイズレベル(S0)によって制限され、高い値がシステムの飽和レベルの高い値Ssat(飽和するチェーンの最初の要素)によって限定される。「生の」(HDRではない)画像にレンダリングされ得る入射光束は、露光時間tの間に積分され、S0<Sig<Ssatに応答する信号Sigを生じるものである。光束は、画像化されるシーンによって設定されており、光経路のダイアフラムは、アプリオリには可変でないので、調節可能なパラメータは、したがって、特に、HDR画像を生成するのに用いられる最後のNDRO画像と関連する露光時間に対応するTPを有する異なった露光時間であり、したがって、このHDR画像の露光時間と、HDR画像を生成するのに用いられる最初のNDRO画像と関連する露光時間に上述されたように対応するtaccu1とである。
これらの2つの調節可能なパラメータは、しかし、ある制限の範囲内で調節可能であり、つまり、
taccu1≧tmin:実際、HDR画像を生成するために用いられる最初のNDRO画像と関連する露光時間は、画像取得システムの最小蓄積時間を下回ることができず、
Tp≦Ttimeout (Eq7)
実際、HDR画像と関連する露光時間は、前もって画定された最大露光時間によって制約される。
時間tminおよびTtimeoutは、一連のHDR撮像に対して固定されているが、画像化されるシーンの輝度条件に、よりよく適するように修正されることが可能である。しかし、Ttimeoutは、検出される最小の信号よりも大きくならないように、Ttimeoutの間に蓄積された熱信号と関連するノイズに対して十分に「短く」なければならない。検出器の動作の間の温度は知られているので、(作成され、蓄積され、そして読み出された、電子/秒を単位とする)熱信号は、その関連するノイズとして知られている。温度の関数である(熱「ノイズ」とも称される)熱信号は、検出器のビルダデータである。
更に、本特許出願の発明者たちは、線形応答システムにおける情報のいかなる損失も回避し、センサの線形動作範囲から逸脱しないためには、ある追加的な制約条件が、システムの最小蓄積時間tminによって遵守されるべきであるということを確立した。
よって、taccu1=tminであり、n番目のNDRO画像と関連する蓄積時間がtaccu_n=taccu1+((n-1)×tNDRO)である、すなわち、異なる連続的なNDRO画像と関連する蓄積時間がピッチtNDROによって交差する限界的な場合には、追加的な制約条件が、第1の使用可能なNDRO画像と第2の使用可能なNDRO画像との蓄積時間の間で、形式:
または(Eq.8):
として遵守されなければならない。
換言すると、情報のいかなる損失も回避するために、線形応答センサを備えたシステムは、方程式Eq.8の条件を満たしているのが適切である。あるいは、線形/対数的な混合型応答センサを備えたシステムを用いることも可能であり、このシステムは、第1の使用可能なNDRO画像と第2の使用可能なNDRO画像との間の相対的蓄積時間taccu1およびtaccu_2という問題を棚上げにするのであって、それにより、取得システムの最小蓄積時間tminを、システムクロックの最小物理時間(すなわち、1クロックチック)まで短縮することが可能になる。
一実施形態の説明
これらの原理が思い出されたところで、われわれは、ここで、本発明の一実施形態に従い、図1との関係で、高ダイナミックレンジ画像HDRを生成するための方法のフローチャートを説明する。
このような方法は、それが静止画を含むのか動画を含むのかを問わず、任意のタイプの画像取得システムとして、実現され得る。そのようなシステムは、特に、図2および図3との関係で、より詳細に後述される。
この実施形態によると、生成のどの瞬間においても単一の画像の記憶だけで、最終的なHDR画像の復元のために用いられるピクセルの値のリアルタイムでの選択が行われる。
実際に、最初の読み出されたNDRO画像(読出しは、蓄積時間tminの後で行われた)から、HDRの復元に関係することになるこの最初のNDRO画像とそれに続くNDRO画像とから来るピクセルを決定することが必要である。実際に、n番目のNDRO画像から来るピクセルの値である
は、少なくとも
である場合に使用可能になるだけであるが、ここで、S0は検出器から来る最も弱い使用可能な電子信号に対応する信号(典型的には、そのレベルが検出器またはより一般的に画像化システムの読出しノイズに対応する信号)であり、Ssatは、(検出器における最初の飽和要素すなわちピクセル、電荷変換および/または増幅チェーン等によって課される)センサの飽和信号である。この実施形態では、最短時間で前もって設定されたレベルで、SNR(信号対雑音比)を、やはり前もって設定される最大露光時間(Ttimeout)を超えないように、最適化することを目指す。
ただし、
である。
あるピクセルの値と関連するノイズの値は、そのピクセル上に蓄積された信号の値の根として、変化する。座標(i,j)を有するピクセルの信号対雑音比RSBi,jを最大化するためには、その値Pi,jを増加させるように、すなわち、その露光時間を最大化させるように、可能な限り多くの信号を蓄積することが必要であるが、実際には、Pi,jは、露光時間の関数として変化し、ノイズも、Pi,jの根として、したがって、遙かにより低速で変化する。ほとんどの場合には、この関数は（露光の間、一定の入射光束を有して）線形である。これにより、単純な重み付け(後述されるEq.13)によって、NDRO画像の直接的な使用が可能になる。非線形の振る舞いの場合には、それぞれのピクセルに対して、検出器および/または関連する画像化システムの較正の間に、検出器(および/または画像化システム)の応答関数を得ることが必要である。各ピクセルに対するこの応答により、各ピクセルの値を重み付けすること、したがって、方程式(Eq.13)において記述されている線形開発に依拠することが可能になる。SNRは、各NDROにおいて最適化され、ピクセルが、この基準に基づいて選択される。このように、最終的なSNRは、それぞれの対応するNDROにおけるそれぞれの選択されたピクセルに対して、そして特に、既に選択され最終的なNDROに至る最も弱い信号に対して、(やはり前もって設定されたタイムアウトtoutよりも前に、最も弱い信号を有するピクセルに対して、所望のSNRに到達する限り)最適化される。
図1に図解されているように、参照される先行するステップ100の間に、システムのある調節可能なパラメータの値を決定するのであるが、これは、
取得システムの最小蓄積時間tminと、
センサの最大露光時間Ttimeoutと、
生成されるHDR画像のための、ピクセルのそれぞれに対する、そして、とりわけ、最も弱い信号を有するピクセルに対する、所望の信号対雑音比SNR(方程式Eq.10を参照のこと)と、
Ssel<Ssat (および、Ssel>S0)となるように画定される単一の選択閾値の値Sselと、
を含む。
これらのパラメータの値は、特に、画像化されるシーンの輝度条件(光束)に基づいて、確立される。よって、取得システムの最小蓄積時間tminは、ショット取得の前に設定されるのであるが、取得の前に、シーンの強い光束において、最適化され得る。線形応答センサを備えた取得システムのためには、この最小蓄積時間tminは、しかし、センサの線形動作の範囲内に留まり、情報のいかなる損失も回避するためには、方程式Eq.8
の制約条件を遵守しなければならない。線形/対数的混合応答センサを備えた取得システムのためには、システムクロックの最小時間に適用可能な場合には、時間tminを短縮することが可能である。
同様に、信号選択閾値Sselは、シーンの照射条件に最良に適応する、または、露光時間TPを最適化して支持する、または、最も弱い信号のための最終的なSNRを最適化して支持する、などのために、修正されることが可能である。
この参照される先行するステップ100は、画像取得システムの初期化の際に、実現されなければならない。それは、HDR復元のため、それぞれの新たな画像取得の際に、反復されることがあり得る。あるいは、同じパラメータが、複数の連続的なHDR画像キャプチャのために、維持されることも可能である。また、これらのパラメータのいくつかは、他のパラメータがそれぞれの新たなショット取得の際に適応されながら、あるHDRショット取得から次まで変化せずに維持されると考えることも可能である。
参照されるステップ101の間に、センサの一連の非破壊読出しが開始され、これにより、それぞれが、nは0において初期化される(参照されるステップ102)ものとして、インデクスnであるいわゆるNDRO画像を運ぶ。
インデクスnであるそれぞれの現在のNDRO画像に対しては、ピクセルの値
は、
であるときに、最終的なHDR画像の復元のために用いられるように選択される。
現在の画像NDROnのピクセル
の値と信号選択閾値Sselとのこの比較は、参照されるステップ103の間に行われる。条件が満たされているときには、
として表されるそれが抽出された画像NDROnの露光時間と関連して、選択されたピクセルが、記憶される(参照されるステップ104)。それは、次に、参照されるHDR画像108を生成するのに用いられることになる。
(Ssel<Ssatを確認する間に) Sselが大きければ大きいほど、Ttimeoutよりも短い時間において、その値が方程式Eq.11の条件を満たし大きなSNRを有するピクセル
が多く存在する。
少なくとも1つのピクセルが方程式Eq.11の条件を満足する最初のNDRO画像は、HDR画像の復元のために用いられることになる一連のNDRO画像からの参照される最初の画像108である。
現在の画像NDROnのどのピクセルも方程式Eq.11の条件を満たさない場合には、参照されるステップ105の間に、現在の画像NDROnと関連する露光時間
が、予備的なステップ100の間に決定された最大の露光時間に到達するかどうかを、確認する。
到達しない場合には、現在のNDRO画像のインデクスが、参照されるステップ106の間にインクリメントされ(n:=n+1)、センサの非破壊読出しが継続する。
しかし、参照されるステップ105の比較の結果が肯定的である場合には、これは、最大の露光時間と関連するNDRO画像のいくつかのピクセルに対して、
が、Sselよりも小さな値に留まっていることを意味する。この場合には、撮影されたn2個のNDRO画像の中で、最良のSNRを生じさせ得るピクセルは、所定の最大の露光時間と関連して撮影される最後のNDRO画像のピクセルとなる。
次には、参照されるステップ107の間に、この最後の有用なNDRO画像のピクセルの値を、それらと関連する最大の露光時間と関連して、記憶するのであるが、その値は、選択閾値Sselよりも低く留まっていた。
実際に、センサの少なくともいくつかのピクセルに対しては、方程式Eq.11の条件は、露光時間TPが終了する前に確認されないが、(ここでは、TPに対応する)その露光時間と関連して維持されることになるのは、撮影された最後のNDRO画像からの最後のピクセル値である。
センサの非破壊読出しの反復は、センサの全部のピクセルが、信号選択閾値Sselよりも大きなまたはそれと等しい信号値に到達すると、中断され得る。
HDR画像の復元のために選択された各ピクセルは、したがって、TP≦TtimeoutであるTPに対して、tminとTPとの間に撮影されたNDRO画像の1つから来るものであり、その値
と、その露光時間
とによって特徴付けられる。
参照されるHDR画像の生成108は、それらのそれぞれの露光時間
によって重み付けされて、参照されるステップ104および107の間に記憶されたピクセルの値から行われる。
取得時間tminが方程式Eq.8の制約に従わない場合には、値
が、
であるような最終的なHDR復元画像のピクセルの全部が関係する情報を含むとは限らないことが留意されるであろう。
一実施形態では、検出器のマトリクスの「画像」はメモリに記憶され、それぞれの新たなNDRO画像が撮影されると、再更新される。このメモリ領域の各要素は、(最後に読み出されたNDRO画像の間の現在値である)値
を、その対応する露光時間
によって重み付けした値を、記憶する。先行するNDRO画像における選択閾値Sselにその値が到達したピクセルについては、メモリ領域の要素は、もちろん再更新されることはなく、参照されるステップ104の間に記憶された値のままに留まる。
よって、参照されるステップ101の最初のNDROの読出しの間に、検出器マトリクスを表すメモリ領域は、インデクスn=0である最初のNDRO画像のピクセルの値である
を用いて、初期化される。それらの値が信号の選択閾値Sselよりも上であるこれらのピクセルの値は、それ以降のNDRO読出しの間に更に更新されることがあり得ずに、メモリ領域に永久的に記憶される。
高ダイナミックレンジ画像HDRの復元は、したがって、露光時間TPの間に行われるセンサの異なる非破壊読出しの進行と共に、徐々に、行われる。
図1に図解されているこの実施形態によると、(常に、方程式Eq.7の前提を伴う)露光時間のリアルタイムでの適応が可能になる。この実施形態は、前もって画定された最適値まで、瞬間TPおよびtaccu1においてNDRO画像を決定すること、HDR画像がそれぞれの新たなNDRO画像の上にそれ自体を構築することを要求しない。更に、この方法は、メモリに記憶されている検出器のマトリクスの1つのそしてただ1つの「画像」を用いて、最適に機能する。このマトリクスは、メモリで、それぞれの新たなNDRO画像が取得される際に、再更新される。このマトリクスの各要素は、それが最後に読み出されたNDRO画像の間の現在値であってもn番目のNDROであっても、ピクセルの値を記憶し、そのそれぞれの露光時間によって重み付けされる。
この方法は、したがって、HDR画像を生成するために要求されるメモリ空間と必要な計算能力との観点から、特に優れている。最新のいずれかの方法とは異なり、複数のNDROに一度にアクセスすることは、必要でない。したがって、結果的に、リアルタイムでのHDR生成の間、NDROの個数が、システムによって制限されることがない。
また、線形/対数的混合型応答センサを有するシステムの場合には、各ピクセルの値を重み付けして、更に、方程式Eq.13によって記述されている線形開発に依拠するために、対数的応答と線形/対数的移行領域の較正を有する理由が存在することも、留意されるであろう。更に、この場合にも、ピクセルの選択閾値が、センサの動作領域に適応されなければならない。よって、最初の2つのNDRO画像に対しては、選択閾値Sselは、センサの動作の対数部分を用いることができるが、他方で、Ssat_linを線形/対数的検出器が線形応答を提供する最大の信号レベルであるとして、Ssel>Ssat _linである。対数応答である場合には、この時点で妥当な最大の飽和限度は、もはや存在しない。2番目のNDRO画像を超えると、それ以降のNDRO画像は全部が、ピッチtNDROの分だけ規則的に増加する蓄積時間の後で読み出されるのであり、センサの線形動作領域に含まれる。次には、Ssel≦Ssat_linとなるが、この場合には、値Ssat_linは、本明細書において既に述べたセンサの飽和信号の値Ssatと等しくなる。
HDR画像生成システムの例
われわれは、ここで、図2および図3との関係で、図1との関係で既に説明した方法を実現しているHDR画像生成システム(200、300)のハードウェアアーキテクチャの2つの例を説明する。
図2および図3によって共有される要素には、同一の参照番号が付されており、以下で、簡単に説明される。
HDR画像を生成するためのそのようなシステム200、300は、以下の要素を備えており、これらの要素は、データバスおよびアドレスによって相互に接続されている:
- たとえば、マイクロプロセッサ、FPGA(フィールドプログラマブルゲートアレイ)、DSP(デジタル信号プロセッサ)、GPU(グラフィクス処理ユニット)であり得る、処理およびデジタル制御ユニット201、301;
- メモリ202、302;
- イーサネット（登録商標）、USB、Camリンク、その他のタイプの外部デジタルリンク205、305によってプロセッサ201、301に接続された、図示されていないユーザインターフェース;
- マトリクス形式に配列された複数のピクセルを備えた画像センサ204、304を特に備えたデジタル処理モジュール203、303であって、それぞれのピクセルは光電変換素子と関連しており、受け取られた光を電荷に変換し、これらの電荷を光への露光時間の間蓄積することを可能にしている。このセンサは、非破壊読出しモードで動作するように構成されている。
このようなシステム200、300は、通常、本発明の一実施形態による方法を実行するために必要な少なくとも1つのプログラムと異なるパラメータとを含むROM(リードオンリメモリ)型のメモリを備えている。電源がオンされると、プロセッサが、プログラムをRAM(ランダムアクセスメモリ)型のメモリにロードして、対応する命令を実行する。
システム200、300は、また、図示されてはいないが、たとえば電池形式の電源を備えており、これが、具体的には、異なる電力信号214、314を提供する。
ユーザインターフェースにより、ユーザが、参照される図1のステップ100の間に所定のパラメータを選択することが可能になる。それらが、参照されるモジュール211、311(ユーザ外部制御および値インタープリタ)を供給し、これらのモジュールにそれらが記憶され、それらは、パラメータをシステム200、300の他の要素に提供するように構成されている。このモジュール211、311は、特に、以下の値を記憶する。
- センサの最大露光時間Ttimeout;
- 飽和信号Ssat;
- 最小信号S0。
プロセッサ212、312は、飽和信号Ssat、最小信号S0、およびS0<Ssel<Ssatなど先行するHDR画像の取得から得られる情報から、信号選択閾値Sselを自動的に計算するように構成されている。
センサの最大露光時間Ttimeoutは、また、アナログ処理モジュール203、303の動作に必要な異なる同期クロック信号を生成して制御することを意図して、クロック生成器213、313に送られる。
メモリ202、302は、複数のメモリセル(i,j)を備えており、それぞれが、図1における参照されるステップ104または107の間に選択されたピクセルの値
を含む。それぞれのメモリセルは、また、そこからこのピクセル値が抽出される現在のNDRO画像のインデクスnを記憶する。ピクセルと関連する露光時間はn*tNDROである。
センサ204、304のそれぞれの非破壊読出しの際に、センサは、そのセンサのピクセルのそれぞれによって蓄積された電荷の値を表すアナログ信号を配信する。
図1との関係で既に図解されたように、ピクセルの値
は、単純にレベルの比較(たとえば、電圧レベル)によって、信号選択閾値Ssel(閾値)との関係をテストされる。
図2の例では、この比較は、非常に単純に、コンパレータ215を用いることによって、アナログな態様で行われる。増幅216の後では、センサ204からのアナログ信号によって運ばれるピクセル値が、信号選択閾値Ssel(閾値)および飽和信号Ssat(飽和値)と比較される。増幅およびアナログ−デジタル変換217の後では、その値が選択閾値Sselを超えているピクセルは記憶されなければならず、したがって、バスによってメモリ202に伝送される。
その単純さのために、(NDRO画像によるこのHDR復元方法の適応的な態様のための)このアナログ処理は、ピクセル「クラスタ」のためにセンサの内部に「オンチップ」として直接的に、または、たとえば3D-CMOS構造におけるそれぞれのピクセルの内部に直接的に一体化されることが可能である。
図3の例では、それとは異なり、この比較が、コンパレータモジュール315の中で、デジタル処理ユニット301の内部において、オフロードの態様で行われる。よって、センサ304によって運ばれたアナログ信号は、増幅されてデジタル信号に変換され(モジュール317)、その後、コンパレータモジュール315の入力に供給され、コンパレータモジュール315が、各ピクセルと関連するデジタル信号値を、信号選択閾値Sselおよび飽和信号Ssatと比較し、それらがHDR画像を復元するのに用いられ得るように、メモリ302に記憶されなければならないものを選択する。
200 HDR画像を生成するためのシステム
201 プロセッサ
202 メモリ
203 デジタルおよびアナログ処理モジュール
204 画像センサ
205 外部デジタルリンク
211 インタープリタ
212 プロセッサ
213 クロック生成器
214 電力信号
215 コンパレータ
216 増幅器
217 増幅器およびデジタル−アナログ変換器
300 HDR画像を生成するためのシステム
301 プロセッサ
302 メモリ
303 デジタルおよびアナログ処理モジュール
304 画像センサ
305 外部デジタルリンク
311 インタープリタ
312 プロセッサ
313 クロック生成器
314 電力信号
315 コンパレータモジュール
317 増幅器およびデジタル−アナログ変換器

Claims (12)

  1. シーンの高ダイナミックレンジ画像を、NDRO画像と称される画像センサの非破壊読出しによって得られた前記シーンの複数の画像から、生成するための方法であって、
    前記センサ(204、304)は、マトリクス形式に配列された複数のピクセルを備えており、各ピクセルは、受け取られた光を電荷に変換し前記光への露光時間の間に前記電荷を蓄積することを可能にする光電変換素子と関連する、方法において、
    インデクスn=0である最初の現在のNDRO画像を運び、メモリ領域の内部に、前記最初の画像と関連する露光時間と関連して、前記最初の画像を記憶する、前記画像センサの最初の非破壊読出しと、
    前記最初の画像の各ピクセルに対し、前記ピクセルによって蓄積された前記電荷に対応する信号値と信号選択閾値との比較と、前記ピクセルと関連する前記信号値が前記信号選択閾値よりも上にある場合の前記ピクセルの選択と、
    1からNまで変動する整数nに対し、以下の、
    インデクスnである現在のNDRO画像を運ぶ前記画像センサを、非破壊的に読み出すステップと、
    前記現在のNDRO画像に先行するNDRO画像において先に選択されていないインデクスnである前記現在のNDRO画像の各ピクセルに対して、インデクスnである前記現在のNDRO画像と関連する露光時間と組み合わせて、前記ピクセルと関連する信号値を記憶することによって、前記メモリ領域を更新するステップと、
    インデクスnである前記現在のNDRO画像の各ピクセルに対して、前記ピクセルによって蓄積された前記電荷に対応する信号値と前記信号選択閾値とを比較し、前記ピクセルと関連する前記信号値が前記信号選択閾値よりも上にある場合には、前記ピクセルを選択するステップと
    いう連続的なステップの、少なくとも1回の反復と、
    前記選択されたピクセルと関連する前記信号値の前記関連する露光時間によって重み付けされた前記記憶された信号値からの前記高ダイナミックレンジ画像と、関連して記憶された前記露光時間との生成(108)と、
    を含むことを特徴とする、方法。
  2. 前記高ダイナミックレンジ画像を生成するために必要な前記方法の前記ステップが、所与の瞬間における単一の画像の記憶を実現することを特徴とする、請求項1に記載の高ダイナミックレンジ画像を生成するための方法。
  3. 前記高ダイナミックレンジ画像のための所望の画質基準と前記センサのための最大露光時間とを決定する(100)ための予備的ステップを含むことを特徴とする、請求項1または2に記載の高ダイナミックレンジ画像を生成するための方法。
  4. 前記所望の画質基準が、前記高ダイナミックレンジ画像の前記ピクセルの信号対雑音比であることを特徴とする、請求項3に記載の高ダイナミックレンジ画像を生成するための方法。
  5. インデクスNを有する前記NDRO画像が、
    前記ピクセルのすべてが前記信号選択閾値よりも大きいまたは前記信号選択閾値と等しい信号値と関連する前記連続的なNDRO画像の最初の画像であるか、または、
    前記信号選択閾値よりも低い信号値と関連する少なくとも1つのピクセルを含む場合に、前記センサの前記最大露光時間と関連するNDRO画像である
    ことを特徴とする、請求項3または4に記載の高ダイナミックレンジ画像を生成するための方法。
  6. 前記高ダイナミックレンジ画像の前記生成(108)が、前記関連する露光時間によって前記ピクセルのそれぞれのために前記メモリ領域に記憶された前記信号値の、前記センサからの応答に基づく評価された重みによる、前記高ダイナミックレンジ画像のそれぞれのピクセルと関連する信号値の計算を含むことを特徴とする、請求項1から5のいずれか一項に記載の高ダイナミックレンジ画像を生成するための方法。
  7. また、前記画像センサの最初の非破壊読出しの前に、tminと表される前記画像センサにおける最小電荷蓄積時間を先行して決定することを含み、
    前記最小蓄積時間tminが、条件
    を満たし、
    tNDROは、前記画像センサの非破壊読出しの前記連続的反復の2つの間の時間であり、
    Ssatは、前記画像センサの飽和信号であり、
    S0は、ノイズを除き、前記画像センサから来る最も弱い使用可能な電子信号であることを特徴とする、請求項1から6のいずれか一項に記載の高ダイナミックレンジ画像を生成するための方法。
  8. プロセッサによって実行されるときに、請求項1から7のいずれか一項に記載の方法を行うためのプログラムコード命令を含む、コンピュータプログラム。
  9. 請求項1から7のいずれか一項に記載の高ダイナミックレンジ画像を生成するための方法のステップを行うためのプログラムコード命令を含むコンピュータプログラムが記録されている、コンピュータ可読な記録媒体。
  10. シーンの高ダイナミックレンジ画像を、NDRO画像と称される画像センサの非破壊読出しによって得られた前記シーンの複数の画像から、生成するためのシステムであって、
    前記センサが、マトリクス形式に配列された複数のピクセルを備えており、各ピクセルは、受け取られた光を電荷に変換し、前記光への露光時間の間、前記電荷を蓄積することを可能にする光電変換素子と関連付けられている、システムにおいて、
    請求項1から7のいずれか一項に記載の高ダイナミックレンジ画像を生成するための方法のステップを行うのに適した計算ユニットを備えていることを特徴とする、システム。
  11. シーンの高ダイナミックレンジ画像を、NDRO画像と称される画像センサの非破壊読出しによって得られた前記シーンの複数の画像から、生成するためのシステム(200、300)であって、
    マトリクス形式に配列された複数のピクセルを備えているセンサ(204、304)であって、各ピクセルが、受け取られた光を電荷に変換し、前記光への露光時間の間、前記電荷を蓄積することを可能にする光電変換素子と関連付けられており、非破壊読出しモードで動作するように構成されている前記センサ(204、304)を備えている、前記システムにおいて、
    NDRO画像のそれぞれのピクセルに対して、前記センサによって運ばれた複数の連続的なNDRO画像の中で、前記ピクセルによって蓄積された前記電荷に対応する信号値と信号選択閾値とを比較し、前記ピクセルと関連する前記信号値が前記信号選択閾値よりも大きく、前記ピクセルが前記複数のNDRO画像からの先行するNDRO画像から先に選択されていない場合には、前記ピクセルを選択するように構成された計算ユニット(201、301)と、
    前記NDRO画像と関連する露光時間と関連して、前記連続的なNDRO画像の前記選択されたピクセルと関連する信号値を記憶するように構成されたメモリ(202、302)と、
    前記選択されたピクセルと関連する前記信号値と、関連して記憶された前記露光時間とから、前記高ダイナミックレンジ画像を生成するように構成された計算ユニットと、
    を備えることを特徴とする、システム(200、300)。
  12. ユーザによる、前記高ダイナミックレンジ画像のための所望の画質基準と前記センサの最大露光時間との入力のためのインターフェースモジュール(211、311)を更に備えることを特徴とする、請求項11に記載のシーンの高ダイナミックレンジ画像を生成するためのシステム(200、300)。
JP2019559162A 2017-01-17 2017-12-22 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成 Active JP7030843B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1750359 2017-01-17
FR1750359A FR3062009B1 (fr) 2017-01-17 2017-01-17 Generation adaptative d’une image a grande gamme dynamique d’une scene, a partir d’une pluralite d’images obtenues par lecture non destructive d’un capteur d’image.
PCT/EP2017/084393 WO2018134029A1 (fr) 2017-01-17 2017-12-22 Génération adaptative d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images obtenues par lecture non destructive d'un capteur d'image

Publications (2)

Publication Number Publication Date
JP2020506642A true JP2020506642A (ja) 2020-02-27
JP7030843B2 JP7030843B2 (ja) 2022-03-07

Family

ID=58779136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019559162A Active JP7030843B2 (ja) 2017-01-17 2017-12-22 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成

Country Status (7)

Country Link
US (1) US10924687B2 (ja)
EP (1) EP3571834B1 (ja)
JP (1) JP7030843B2 (ja)
KR (1) KR102422075B1 (ja)
CN (1) CN110692236B (ja)
FR (1) FR3062009B1 (ja)
WO (1) WO2018134029A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112834541B (zh) * 2020-01-03 2022-07-29 上海纽迈电子科技有限公司 一种钠含量及钠分布的测试方法
JPWO2021157261A1 (ja) * 2020-02-05 2021-08-12
FR3123734A1 (fr) 2021-06-02 2022-12-09 Université de Bourgogne Procédé de traitement de données de pixels, dispositif et programme correspondant
JP2023148430A (ja) * 2022-03-30 2023-10-13 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置及び医用画像処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078484A (ja) * 1998-08-28 2000-03-14 Olympus Optical Co Ltd 画像入力装置
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
JP2007329896A (ja) * 2006-05-11 2007-12-20 Seiko Epson Corp 撮像素子及び撮像装置
JP2008205530A (ja) * 2007-02-16 2008-09-04 Seiko Epson Corp 撮像装置、撮像システム及び撮像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219097B1 (en) * 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
JP2007194687A (ja) * 2006-01-17 2007-08-02 Seiko Epson Corp 撮像装置
CN101647119B (zh) 2007-02-23 2013-09-11 塞莫尼根分析技术有限责任公司 具有线性传感器阵列的快速和精确的时间分辨光谱法
KR100921155B1 (ko) 2007-07-02 2009-10-12 성균관대학교산학협력단 에이전트플랫폼, 멀티 에이전트 시스템 및 멀티 에이전트시스템의 메시지 송수신 방법
US9076233B2 (en) 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
US9807322B2 (en) * 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9264644B2 (en) * 2013-04-25 2016-02-16 Forza Silicon Corporation Analog-to-digital conversion for image sensor with non-destructive read pixel
US20150110248A1 (en) * 2013-10-22 2015-04-23 Yaron Rabi Radiation detection and method for non-destructive modification of signals
US20150130967A1 (en) * 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078484A (ja) * 1998-08-28 2000-03-14 Olympus Optical Co Ltd 画像入力装置
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
JP2007329896A (ja) * 2006-05-11 2007-12-20 Seiko Epson Corp 撮像素子及び撮像装置
JP2008205530A (ja) * 2007-02-16 2008-09-04 Seiko Epson Corp 撮像装置、撮像システム及び撮像方法

Also Published As

Publication number Publication date
US10924687B2 (en) 2021-02-16
EP3571834A1 (fr) 2019-11-27
JP7030843B2 (ja) 2022-03-07
EP3571834B1 (fr) 2021-06-30
US20190379817A1 (en) 2019-12-12
FR3062009A1 (fr) 2018-07-20
CN110692236B (zh) 2021-10-12
FR3062009B1 (fr) 2019-08-16
WO2018134029A1 (fr) 2018-07-26
KR20200002023A (ko) 2020-01-07
KR102422075B1 (ko) 2022-07-18
CN110692236A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
US8508619B2 (en) High dynamic range image generating apparatus and method
JP7030843B2 (ja) 画像センサの非破壊読出しによって得られた複数の画像に基づく、シーンの高ダイナミックレンジ画像の適応的生成
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP6587380B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP6799385B2 (ja) 撮像装置およびその制御方法
JP2010258628A (ja) 画像処理装置およびその方法
JP6671109B2 (ja) 放射線撮影装置、放射線撮影方法、及びプログラム
JP2017118296A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2010219624A (ja) 画像信号処理装置及び画像信号処理方法
US20130063622A1 (en) Image sensor and method of capturing an image
JP6478703B2 (ja) 撮像装置及び撮像システム
Yang et al. On pixel detection threshold in the gigavision camera
JP2005087738A (ja) ディジタルｘ線検出器によって撮影されたｘ線画像の補正方法、ｘ線検出器の較正方法およびｘ線装置
US20160044258A1 (en) Imaging apparatus and imaging method thereof
JP7055792B2 (ja) ハイダイナミックレンジ・デジタル二重サンプリング用のシステムおよび方法
JP2019220944A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2016225867A (ja) 撮像装置、および撮像方法、並びにプログラム
JP6390203B2 (ja) 撮像装置及びノイズ補正方法
JP6289275B2 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2011135194A (ja) 撮像装置、その補正制御方法、及び補正制御プログラム、並びに記録媒体
JP2013153283A (ja) 画像処理装置、撮像装置、及び、画像処理方法
JP6551590B2 (ja) 撮像装置及びノイズ補正方法
JP2016096403A (ja) 撮像装置および撮像方法
JP6169148B2 (ja) 放射線撮像装置、放射線撮像方法、記録媒体及びプログラム
KR20240016331A (ko) 픽셀 데이터 처리 방법, 대응하는 장치 및 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220222

R150 Certificate of patent or registration of utility model

Ref document number: 7030843

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150