JP2003524347A - 高ダイナミックレンジ画像を獲得する方法及び装置 - Google Patents

高ダイナミックレンジ画像を獲得する方法及び装置

Info

Publication number
JP2003524347A
JP2003524347A JP2001562014A JP2001562014A JP2003524347A JP 2003524347 A JP2003524347 A JP 2003524347A JP 2001562014 A JP2001562014 A JP 2001562014A JP 2001562014 A JP2001562014 A JP 2001562014A JP 2003524347 A JP2003524347 A JP 2003524347A
Authority
JP
Japan
Prior art keywords
pixel
grid
array
intensity value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001562014A
Other languages
English (en)
Other versions
JP4570834B2 (ja
Inventor
ナヤル シュリー
知生 光永
Original Assignee
ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク filed Critical ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Publication of JP2003524347A publication Critical patent/JP2003524347A/ja
Application granted granted Critical
Publication of JP4570834B2 publication Critical patent/JP4570834B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor

Abstract

(57)【要約】 解像度の著しい損失無しに、比較的低いダイナミックレンジ画像センサを用いて比較的高いダイナミックレンジ画像を獲得する方法及び装置が開示されている。画像センサは、光検知素子から成るアレイに対する所定空間的変動感度パターンに従って異なる感度レベルを伴う光検知素子アレイを有する。１シーンの画像が、その画像センサで獲得されると共に、線形或は２次元均一グリッド状の各ピクセル位置での輝度値として保存される。次いで、それらピクセル位置における取込画像の輝度値は、前記ピクセル位置グリッドの各交差点に配置された均一オフ−グリッド・アレイにおけるオフ−グリッド位置での前記輝度値を推定すべく使用される。それら推定されたオフ−グリッド輝度値は比較的高いダイナミックレンジ出力画像のピクセル輝度値として直接的に使用されるか、或は、前記ピクセル位置グリッドにおけるピクセル位置での再標本化されたオン−グリッド輝度値を誘導すべく補間されるかの何れかが為されて、比較的高いダイナミックレンジ出力画像を提供する。代替的には、前記取込画像の輝度値はオン−グリッド補間フィルタによって補間されて、比較的高いダイナミックレンジ出力画像のピクセル輝度値を誘導し、出力画像の各ピクセル輝度値は対応する複数の取込画像輝度値から誘導される。各場合において、取込画像輝度値或は出力画像のピクセル輝度値は、前記画像センサにおける前記光検知素子のラジオメトリック応答関数の非線形性に対して補償され得る。

Description

【発明の詳細な説明】
【０００１】 （発明の属する技術分野） 発明の背景 本発明は、シーン（場面）の画像を取り込む方法及び装置に関し、より詳細に
は比較的低いダイナミックレンジの画像センサを用いて比較的高いダイナミック
レンジの画像を取り込む方法及び装置に逆る。
【０００２】 仮想及び現実のあらゆるシーン又は場面は非常に大きなレンジ（範囲）の輝度
値を作り出す。それに反して、既知の画像検知装置は非常に限られたダイナミッ
クレンジを有する。例えば、ビデオ画像センサにとって、８ビット或はそれ以下
のグレイスケール或はカラー情報だけを提供することは典型的である。グレイス
ケール画像の場合、８ビットは２５６個の離散グレイスケール・レベルだけを可
能としており、それは殆どの現実シーンの微細な詳細を取り込むには充分ではな
い。
【０００３】 低ダイナミックレンジの画像センサで高ダイナミックレンジ画像を取り込む問
題に対する既知の解決策は、そのシーンからの光に対する露出又は露光を変更し
ながら、該シーンの各局所領域から成る多数の画像を取り込むことである。この
解決策には３つの一般的な変形例がある。（１）一連の画像を取り込む一方で露
光の一時的な変更、（２）そのシーンからの光に対して異なる感度を有する多数
の画像センサ（又は多重画像センサ）を用いる、そして、（３）露光の空間的変
更である。
【０００４】 典型的には、一時的な露光変更は異なる露出で、そのシーンの多数の画像を逐
次取り込んで、それら多数の取込画像を単一の高ダイナミックレンジ画像に組合
せること又は合体させることを含む。この一時的な露光変更の使用は例えば、「
Ｄｒｉｖｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｉｍａｇｅ
Ｐｉｃｋｕｐ Ｄｅｖｉｃｅと題されたＨａｍａｚａｋｉの日本国特許第０８
−３３１４６１号（１９９６年１２月発行）、「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａ
ｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題されたＳａｉｔｏの日本国特許第０７
−２５４９６５号（１９９５年２月発行）、「Ｖｉｄｅｏ Ｃａｍｅｒａ， Ｉ
ｍａｇｉｎｇ Ｍｅｔｈｏｄ Ｕｓｉｎｇ Ｖｉｄｅｏ Ｃａｍｅｒａ， Ｍｅ
ｔｈｏｄ ｏｆ Ｏｐｅｒａｔｉｎｇ Ｖｉｄｅｏ Ｃａｍｅｒａ， Ｉｍａｇ
ｅ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ， ａ
ｎｄ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ Ｄｅ
ｖｉｃｅ」と題されたＫｏｎｉｓｈｉ等の米国特許第５，４２０，６３５号（１
９９５年５月発行）、「Ｉｍａｇｅ Ｍｅｔｈｏｄ ｆｏｒ ａ Ｗｉｄｅ Ｄ
ｙｎａｍｉｃ Ｒａｎｇｅ ａｎｄ ａｎ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅ ｆ
ｏｒ ａ Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ」と題されたＭｏｒｉｍｕｒ
ａの米国特許第５，４５５，６２１号（１９９３年１０月発行）、「Ｉｍａｇｅ
Ｐｉｃｋｉｎｇ Ｕｐ ａｎｄ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｍｅｔｈｏｄ
ａｎｄ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ ｗｉｔｈ Ｈｉｇｈ Ｄｙ
ｎａｍｉｃ Ｒａｎｇｅ（高ダイナミックレンジ撮像・合成方法及び高ダイナミ
ックレンジ撮像装置）」と題されたＭｏｒｉｍｕｒａの特開平０６−１４１２２
９号（１９９４年５月公開）、「Ｉｍａｇｅ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ
Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｍｂｉｎｅｄ Ｉ
ｍａｇｅ Ｓｉｇｎａｌｓ ｉｎ Ｏｒｄｅｒ ｔｏ Ｅｘｔｅｎｄ Ｄｙｎａ
ｍｉｃ Ｒａｎｇｅ」と題されたＩｋｅｄａの米国特許第５，８０１，７７３号
（１９９８年９月発行）、「Ｉｍａｇｅ Ｄｅｖｉｃｅ ｗｉｔｈ Ｄｉｖｅｒ
ｓｅ Ｓｔｏｒａｇｅ Ｔｉｍｅｓ Ｕｓｅｄ ｉｎ Ｉｍａｇｅ Ｃｏｍｐｏ
ｓｉｔｉｏｎ」と題されたＴａｋａｈａｓｈｉ等の米国特許第５，６３８，１１
８号（１９９７年６月発行）、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ
ｆｏｒ Ｅｘｔｅｎｄｉｎｇ ｔｈｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ｏｆ ａ
ｎ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ」と題されたＴｓａ
ｉの米国特許第５，３０９，２４３号（１９９４年５月発行）、Ｍａｎｎ 及び Ｐｉｃａｒｄの「Ｂｅｉｎｇ ‘Ｕｎｄｉｇｉｔａｌ’ ｗｉｔｈ Ｄｉｇｉ
ｔａｌ Ｃａｍｅｒａ ： Ｅｘｔｅｎｄｉｎｇ Ｄｙｎａｍｉｃ Ｒａｎｇｅ
ｂｙ Ｃｏｍｂｉｎｉｎｇ Ｄｉｆｆｅｒｅｎｔｌｙ Ｅｘｐｏｓｅｄ Ｐｉ
ｃｔｕｒｅｓ」， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＳＴ’ｓ ４８ｔｈ Ａ
ｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ． ４２２−４２８， Ｍａｙ １
９９５、Ｄｅｂｅｖｅｃ 及び Ｍａｌｉｋ の「Ｒｅｃｏｒｄｉｎｇ Ｈｉｇ
ｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒａｄｉａｎｃｅ Ｍａｐｓ ｆｏｒ Ｐｈ
ｏｔｏｇｒａｐｈｓ」， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ Ｓ
ＩＧＧＲＡＰＨ， １９９７， ｐｐ． ３６９−３７８， Ａｕｇｕｓｔ １
９９７、並びに、Ｍｉｔｓｕｎａｇａ 及び Ｎａｙａｒ の「Ｒａｄｉｏｍｅ
ｔｒｉｃ Ｓｅｌｆ Ｃａｌｉｂｒａｔｉｏｎ」， ＩＥＥＥ Ｃｏｎｆｅｒｅ
ｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒ
ｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ｐｐ． ３７４−３８０， Ｊｕｎｅ
１９９９等に開示されている。しかしながら既知の一時的露光変更技術の全て
は根本的問題、即ち、そのシーンにおける変化が異なる露光での逐次的画像取り
込み中に生じ得ると云う根本的問題を有する。結果としてこれら技術は、そのシ
ーンからの放射輝度又はラジアンスが一定に維持されるような静的シーン、そし
て画像センサの位置及び配向、そしてその幾何形状特性が、異なる露光での連続
的な画像取り込み中、変化しないまま維持されるような静的シーンに対してだけ
有効である。
【０００５】 高ダイナミックレンジ画像形成のために１シーンの多数の画像を取り込む別の
既知の技術は、多数の光学的に整合又は整列された画像センサと、そのシーンの
同一眺望からの入射光をそうした多数の画像センサ（多重画像センサ）へ提供す
るビームスプリッタとを使用する。それら画像センサは多数の画像が異なる露光
で同時に取り込まれるように異なる感度を有する。次いで、そうした画像センサ
によって取り込まれた多数の画像は合体させられ、単一のダイナミックレンジ画
像を形成する。そうした技術は、例えば、Ｄｏｉ等の「Ｉｍａｇｅ Ｓｅｎｓｏ
ｒ」と題された日本国特許第０８−２２３４１号（１９８６年８月発行）、Ｓａ
ｉｔｏの「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」
と題された日本国特許第０７−２５４９５号（１９９５年２月発行）、Ｓａｉｔ
ｏの「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題
された日本国特許第０７−２５４９６６号（１９９５年１０月発行）、Ｓａｉｔ
ｏの「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題
された日本国特許第０８−３４０４８６号（１９９６年１２月発行）、Ｋｉｍｕ
ｒａの「Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第１
０−０６９０１１号（１９９８年３月発行）、Ｉｋｅｄａの「Ｉｍａｇｅ Ｄａ
ｔａ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｃｅｓｓｉ
ｎｇ Ｃｏｍｂｉｎｅｄ Ｉｍａｇｅ Ｓｉｇｎａｌｓ ｉｎ Ｏｒｄｅｒ ｔ
ｏ Ｅｘｔｅｎｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ」と題された米国特許第５，８
０１，７７３号（１９９８年９月発行）等に記載されている。多重画像センサ技
術は、高精度の光学系を必要とすると共に、多数の画像センサを必要として、小
型且つ安価な画像形成システムをこれら技術を用いて構築することは難しいと云
う短所を有する。
【０００６】 高ダイナミックレンジ画像形成に対する既知の空間的露光変形技術は、典型的
には、各ピクセルに対して異なる感度を有する２つ以上（典型的には３つ以上）
の光検知素子を有する特殊な画像センサを用いる。各ピクセルに対するこれらの
光検知素子は同時に露光されて、それらの対応する出力信号が組み合わされてそ
のピクセルに対する輝度値を誘導する。そうした技術は、例えば、Ｓｔｒｅｅｔ
等の「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｓｅｇｍｅｎｔｅｄ Ｐｉｘｅ
ｌ Ｓｅｎｓｏｒ Ａｒｒａｙ」と題された米国特許第５，７８９，７３７号（
１９９８年８月発行）、Ｈａｎｄｙの「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ
ＣＣＤ Ｄｅｔｅｃｔｏｒ／Ｉｍａｇｅｒ」と題された米国特許第４，６２３
，９２８号（１９８６年１１月発行）、Ｗｅｎの「Ｈｉｇｈ Ｄｙｎａｍｉｃ
Ｒａｎｇｅ Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ」と題された米国特
許第４，８７３，５６１号（１９８９年１０月発行）、Ｈａｍａｚａｋｉの「Ｄ
ｒｉｖｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｉｍａｇｅ
Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第０８−３３１４６１号（
１９９６年６月）、Ｍｕｒａｋｏｓｈｉの「Ｃｈａｒｇｅ Ｃｏｕｐｌｉｎｇ
Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第５９−２１
７３５８号（１９９４年１２月発行）、Ｋｏｎｉｓｈｉ等の「Ｖｉｄｅｏ Ｃａ
ｍｅｒａ Ｉｍａｇｉｎｇ Ｍｅｔｈｏｄ Ｕｓｉｎｇ ｖｉｄｅｏ Ｃａｍｅ
ｒａ， Ｍｅｔｈｏｄ ｏｆ Ｏｐｅｒａｔｉｎｇ Ｖｉｄｅ Ｃａｍｅｒａ，
Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈ
ｏｄ， ａｎｄ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉ
ｎｇ Ｄｅｖｉｃｅ」と題された米国特許第５，４２０，６３５号（１９９５年
５月発行）に記載されている。しかしながら高ダイナミックレンジ画像形成に対
する既知の空間的露光変形技術は、より低い空間的解像度を提供すると云う短所
を有する（同一数の光検知素子を有する通常の画像センサの解像度と比較して垂
直方向において１／２より低い）。
【０００７】 従って、先に議論されたような先行技術の問題を克服するような、比較的低い
ダイナミックレンジ画像センサを用いて比較的高いダイナミックレンジ画像を取
り込む方法及び装置の要望が存在する。
【０００８】 発明の概要 本発明の一局面に従えば、シーンからの入射光に露出される比較的低いダイナ
ミックレンジ画像センサを用いてそのシーンの比較的高いダイナミックレンジ画
像を取り込むための方法が提供される。この画像センサは線形アレイ状或は２次
元アレイ状の多数の光検知素子を有し、各光感知素子は複数の光感知素子から成
るアレイに対する所定感度パターンに従って入射光に対する複数の感度レベルの
内の対応する１つを有する。シーンからの入射光に応ずるアレイ状の光検知素子
の各々は、ピクセル位置アレイにおける多数のピクセル位置の内の対応する１つ
での取込画像輝度値を作り出し、そのピクセル位置アレイは、規則正しく離間さ
れて直交したピクセル行及びピクセル列のそれぞれの交差点で、ピクセル位置を
有する行アレイ状或は矩形アレイ状における規則正しく離間された複数のピクセ
ル位置を有する線形アレイであり得る。このようにして、各ピクセル位置は複数
の感度レベルと１対１で対応している。本方法は、ピクセル位置アレイにおける
多数のピクセル位置での取込画像輝度値から、多数のオフ−グリッド位置での各
オフ−グリッド輝度値を推定する段階を含み、そのオフ−グリッド位置が前記ピ
クセル位置アレイの各隙間に配置されて規則正しいアレイ状になっている。この
方法は、前記多数のオフ−グリッド位置での推定オフ−グリッド輝度値から、前
記シーンの比較的高いダイナミックレンジ画像のピクセル輝度値を誘導する段階
を更に含む。前記ピクセル位置アレイが線形アレイであり、該アレイにおいて、
各ピクセル位置での前記輝度値が線形画像センサにおける対応する光検知素子に
よって取り込まれる場合、前記オフ−グリッド位置が規則正しい線形アレイ状で
あり、前記比較的高いダイナミックレンジ画像がピクセル輝度値の規則正しい線
形アレイによって表される線形画像である。前記ピクセル位置アレイが規則正し
く離間されて直交するピクセル行及びピクセル列の各交差点によって規定される
場合、前記アレイにおける前記ピクセル位置の輝度値が、２次元画像センサにお
ける対応する光検知素子によって取り込まれ得るか、或は、線形画像センサによ
って連続的に取り込まれたスキャン済みシーンのライン画像を表す線形ピクセル
位置アレイにおけるピクセル位置での輝度値の鎖状結合であり得る。
【０００９】 本発明に係る方法の模範的な実施例に従えば、オフ−グリッド位置は規則正し
い線形状であるか或は矩形アレイ状であり、比較的高いダイナミックレンジ画像
のピクセル輝度値を誘導する前記段階がその比較的高いダイナミックレンジ画像
のピクセル輝度値として、前記推定オフ−グリッド輝度値を用いることを含む。
【００１０】 本発明に係る方法の別の模範的な実施例に従えば、前記比較的高いダイナミッ
クレンジ画像のピクセル輝度値を誘導する前記段階が、前記多数のオフ−グリッ
ド位置での前記推定オフ−グリッド輝度値の再標本化を含んで、前記ピクセル位
置アレイにおける前記多数のピクセル位置での各再標本化された輝度値を誘導し
、それによって前記比較的高いダイナミックレンジ画像の前記ピクセル輝度値を
獲得する。
【００１１】 本発明に係る方法の更に別の模範的な実施例に従えば、前記多数のピクセル位
置での前記取込画像輝度値から、前記多数のオフ−グリッド位置での各オフ−グ
リッド輝度値を推定する前記段階が、前記感度レベルの個々別々の１つと対応す
るピクセル位置での前記取込画像輝度値だけを用いて、前記オフ−グリッド位置
の各々における前記複数の感度レベルの内の個別レベルの１つに対する感度レベ
ル・オフ−グリッド輝度値を推定する段階を含む。前記オフ−グリッド位置の各
々における前記感度レベルの内の個別の１つに対する感度レベル・オフ−グリッ
ド輝度値は、前記感度レベルの個別の１つに対する所定の重み付け係数によって
乗算されて、前記オフ−グリッド位置の各々での感度レベルの内の相互に異なる
ものに対する各重み付け感度レベル・オフ−グリッド輝度値を誘導する。前記オ
フ−グリッド位置の各々での前記感度レベルの内の相互に異なるものに対する前
記の各重み付け感度レベル・オフ−グリッド輝度値は一緒となって合算されて、
前記オフ−グリッド位置各々での重み付け合計感度レベル輝度値を誘導する。前
記オフ−グリッド位置の各々でのその重み付け合計感度レベル輝度値は、前記光
検知素子の組合せ応答関数の逆関数によって補償されて、前記オフ−グリッド位
置での各推定オフ−グリッド輝度値を誘導する。光検知素子の組合せ応答関数は
、前記感度レベルの内の相互に異なるものを有する光検知素子の重み付け応答関
数の合計であり、各重み付け応答関数は前記感度レベルの各々に対する所定重み
付け係数によって乗算された感度レベルの各々を有する光検知素子の応答関数で
ある。
【００１２】 本発明の更なる別の模範的な実施例に従えば、前記多数のピクセル位置におけ
る前記取込画像輝度値から、前記多数のオフ−グリッド位置での各オフ−グリッ
ド輝度値を推定する前記段階は、最も近い隣接ピクセル位置の内の個々別々の１
つと対応する感度レベルを有する光検知素子の応答関数の逆関数によって、前記
オフ−グリッド位置の内の個々別々の１つに最も近い隣接であるピクセル位置の
所定群の内の個々別々の１つでの前記取込画像輝度値を先ず補償することによっ
て、前記オフ−グリッド位置の内の個々別々の１つでのオフ−グリッド輝度値を
推定することを含む。前記最も近い隣接ピクセル位置での前記補償された取込画
像輝度値は、所定の低い閾値及び所定の高い閾値と比較され、前記所定の低い閾
値よりも大きく且つ所定の高い閾値より小さい前記補償された最も近い隣接ピク
セル位置輝度値の合計が取られる。その合計は、該合計に含まれる補償された最
も近い隣接ピクセル位置輝度値の数によって分割されて、前記オフ−グリッド位
置の内の個々別々の１つに対する推定されたオフ−グリッド輝度値を誘導する。
【００１３】 本発明に係る方法の更なる模範的な実施例に従えば、前記ピクセル位置アレイ
における各ピクセル位置での補間されたオン−グリッド輝度値は、オン−グリッ
ド補間フィルタを用いて、前記取込画像輝度値から直に誘導される。前記ピクセ
ル位置の各々での前記補間オン−グリッド輝度値は、前記ピクセル位置の各々に
最も近い隣接であるピクセル位置の所定群での前記取込画像輝度値と、オン−グ
リッド補間フィルタ・カーネルとの積を算定することによって誘導され、前記所
定群のピクセル位置は前記フィルタ・カーネルと同一の寸法を有する。次いで前
記補間オン−グリッド輝度値は、それぞれ、異なる感度レベルを有する光検知素
子の組合せ応答関数の逆関数によって補償されて、前記比較的高いダイナミック
レンジ出力画像の前記ピクセル輝度値を誘導する。
【００１４】 本発明の別の局面に従えば、シーンからの入射光露出に適合された比較的低い
ダイナミックレンジ画像センサを用いて、そのシーンの比較的高いダイナミック
レンジ画像を取り込むシステムが提供される。このシステムは、線形或は２次元
アレイ状の多数の光検知素子を有する画像センサを備える。そのアレイにおける
各光検知素子は、該光検知素子から成るアレイに対する所定感度パターンに従っ
て入射光に対する複数の感度レベルの内の対応する１つを有する。各光検知素子
はそのシーンからの入射光に応じて、ピクセル位置アレイにおける多数のピクセ
ル位置の内の対応する１つで取込画像輝度値を作り出し、そのアレイは、規則正
しく離間された直交するピクセル行及びピクセル列の各交差点に配置されたピク
セル位置を有する行状或は矩形アレイ状の規則正しく離間されたピクセル位置を
有する線形アレイであり得る。このようにして、各ピクセル位置は前記光検知素
子の前記複数の感度レベルの内の各々と対応している。本システムは、前記光検
知素子によって作り出される前記多数のピクセル位置での各取込画像輝度値を保
存する取込画像メモリと、前記ピクセル位置アレイの各隙間に規則正しいアレイ
状に配置された多数のオフ−グリッド位置での各推定オフ−グリッド輝度値を、
前記取込画像メモリにおける前記取込画像輝度値から誘導するオフ−グリッド推
定器とを更に含む。本システムは、前記推定オフ−グリッド輝度値から比較的高
いダイナミックレンジ出力画像のピクセル輝度値を誘導する出力画像発生器と、
前記出力画像の前記ピクセル輝度値を保存する出力画像メモリとを更に含む。前
記ピクセル位置アレイが線形アレイであり且つ前記取込画像メモリが線形画像セ
ンサの対応する光検知素子によって取り込まれた輝度値を保存する場合、前記オ
フ−グリッド位置は規則正しい線形アレイであり、前記出力画像はピクセル輝度
値の規則正しいアレイによって表される線形画像である。前記ピクセル位置アレ
イが規則正しく離間されて直交するピクセル行及びピクセル列の各交差点によっ
て規定された矩形アレイである場合、前記取込画像メモリは２次元画像センサの
対応する光検知素子によって取り込まれた輝度値か、或は、線形画像センサによ
って連続的に取り込まれたスキャン済みシーンの複数のライン画像の線形ピクセ
ル位置アレイ輝度値の鎖状結合かを保存し得る。後者の場合、前記オフ−グリッ
ド位置は規則正しい２次元アレイ状であり、前記出力画像はピクセル輝度値から
成る規則正しい２次元アレイによって表される２次元画像である。
【００１５】 本発明に係るシステムの模範的な実施例に従えば、前記出力画像発生器は前記
オフ−グリッド推定器によって誘導された前記推定されたオフ−グリッド輝度値
を、前記出力画像の前記ピクセル輝度値として前記出力画像メモリへ提供する。
【００１６】 本発明に係るシステムの別の模範的な実施例に従えば、本システムは前記オフ
−グリッド位置での前記オフ−グリッド推定器によって誘導された前記推定オフ
−グリッド輝度値各々を保存するオフ−グリッド輝度値メモリと、前記オフ−グ
リッド輝度値メモリにおける前記推定オフ−グリッド輝度値から前記ピクセル位
置アレイにおける前記ピクセル位置での各再標本化輝度値を誘導するオフ−グリ
ッド・リサンプラーとを含む。次いで再標本化輝度値は、前記出力画像の前記ピ
クセル輝度値として保存のために前記出力画像メモリへ提供される。
【００１７】 本発明に係るシステムの更なる模範的な実施例に従えば、前記オフ−グリッド
推定器は、前記多数のオフ−グリッド位置を提供するオフ−グリッド位置発生器
と、前記ピクセル位置と対応する前記感度レベルを保存する感度パターン・メモ
リとを含む。前記オフ−グリッド推定器は、複数の感度レベル・オフ−グリッド
輝度値推定器をも含み、その各々は前記光検知素子の前記複数の感度レベルの各
々と対応し、前記オフ−グリッド位置発生器からオフ−グリッド位置を受け取る
と共に、前記感度パターン・メモリから感度レベル・データを受け取り、そして
、前記取込画像メモリにおける前記取込画像輝度値から複数の感度レベル・オフ
−グリッド輝度値を誘導しており、前記複数の感度レベル・オフ−グリッド輝度
値の各々は、前記オフ−グリッド位置発生器から受け取られる前記オフ−グリッ
ド位置の各々での前記複数の感度レベルの内の相互に異なるものと対応している
。前記オフ−グリッド推定器は、前記オフ−グリッド位置の各々で前記複数の感
度レベル・オフ−グリッド輝度値推定器によって誘導された前記感度レベル・オ
フ−グリッド輝度値を受け取る蓄積器をも含む。前記蓄積器は、各々が前記複数
の感度レベルの各々と対応している、複数の所定重み付け係数のそれぞれを保存
する重み付け係数メモリと、各々が前記複数の感度レベル各々と対応する前記感
度レベル・オフ−グリッド輝度値と同一感度レベルと対応する前記重み付け係数
との積を算定する複数の乗算器とを含んで、前記オフ−グリッド位置発生器から
受け取られる前記オフ−グリッド位置の各々における前記感度レベル各々と対応
する各重み付け感度レベル・オフ−グリッド輝度値を提供する。前記蓄積器は、
前記複数の乗算器によって算定された前記受け取られたオフ−グリッド位置の各
々での前記感度レベルのそれぞれと対応している前記重み付け感度レベル・オフ
−グリッド輝度値を合算する合算器を更に含み、前記受け取られたオフ−グリッ
ド位置の各々における各重み付け合計感度レベル・オフ−グリッド輝度値を誘導
する。前記オフ−グリッド推定器は、光感度素子の組合せ応答関数の逆関数によ
って前記重み付け合計感度レベル・オフ−グリッド輝度値の各々を補償する応答
関数の補償器を更に含み、前記オフ−グリッド位置での前記各推定オフ−グリッ
ド輝度値を誘導する。前記光感度素子の組合せ応答関数は、前記感度レベルの内
の相互に異なるものを有する光検知素子の重み付け応答関数の合計であり、前記
重み付け応答関数の各々は、前記複数の感度レベルのそれぞれと対応する所定重
み付け係数によって乗算された前記複数の感度レベルのそれぞれを有する光検知
素子の応答関数である。
【００１８】 本発明に係るシステムの更なる別の模範的な実施例に従えば、前記オフ−グリ
ッド推定器は、前記多数のピクセル位置を提供するピクセル位置発生器と、前記
多数のピクセル位置と対応する感度レベルを保存する感度パターン・メモリと、
前記ピクセル位置発生器からの受け取られたピクセル位置と前記感度パターン・
メモリからの対応する感度レベルとに結合された応答関数補償器とを含む。前記
応答関数は、前記取込画像メモリから、前記ピクセル位置発生器から受け取られ
る前記ピクセル位置での取込画像輝度値を受け取り、該受け取られた取込画像輝
度値を前記受け取られたピクセル位置と対応する感度レベルを有する光検知素子
の応答関数の逆関数によって補償して、前記ピクセル位置発生器から受け取られ
る前記ピクセル位置それぞれでの補償済み取込画像輝度値を提供する。前記オフ
−グリッド推定器は、各ピクセル位置での各補償された取込画像輝度値を保存す
る補償済みオン−グリッド輝度値メモリ、前記多数のオフ−グリッド位置を提供
するオフ−グリッド位置発生器、並びに、類似逆推定器をも含む。前記類似逆推
定器は、前記オフ−グリッド位置発生器からオフ−グリッド位置を受け取り、前
記補償済みオン−グリッド輝度値メモリにおける前記補償済み取込画像輝度値か
ら前記受け取られたオフ−グリッド位置での前記各推定オフ−グリッド輝度値を
誘導する。
【００１９】 本発明に係るシステムであって、前記オフ−グリッド推定器によって誘導され
た前記多数のオフ−グリッド位置でのそれぞれの推定オフ−グリッド輝度値を保
存するオフ−グリッド輝度値メモリ、前記オフ−グリッド輝度値メモリにおける
前記推定オフ−グリッド輝度値から前記ピクセル位置アレイにおける前記多数の
ピクセル位置でのそれぞれの再標本化された輝度値を誘導するオン−グリッド・
リサンプラーを含むシステムの更なる模範的な実施例において、前記オン−グリ
ッド・リサンプラーが、前記多数のピクセル位置を提供するピクセル位置発生器
と、前記ピクセル位置発生器からピクセル位置を受け取る補間器であり、受け取
られたピクセル位置に最も近い隣接である所定数のオフ−グリッド位置での前記
推定オフ−グリッド輝度値と、前記所定数の最も近い隣接オフ−グリッド位置と
同一の寸法を有する補間カーネルとの積を算定することで、受け取られたピクセ
ル位置の各々に対するそれぞれの再標本化輝度値を誘導する補間器とを含む。
【００２０】 本発明に係るシステムの更なる別の模範的な実施例において、シーンからの入
射光露出に適合された比較的低いダイナミックレンジ画像センサを用いて、その
シーンの比較的高いダイナミックレンジ画像を取り込むシステムが提供されてい
る。このシステムは、線形或は２次元アレイ状の多数の光検知素子を有する画像
センサを含み、その光検知素子各々が前記光検知素子アレイに対する所定感度パ
ターンに従った複数の感度レベルのそれぞれを有すると共に、そのシーンからの
入射光に応じて多数のピクセル位置の対応する１つでの取込画像輝度値を作り出
しており、前記ピクセル位置アレイは矩形であり、前記取込画像輝度値は、２次
元画像センサにおける対応する光検知素子によって作り出され得るか、或は、前
記画像センサによって連続的に取り込まれたスキャン済みシーンの複数ライン画
像の線形輝度値アレイの鎖状結合であり得る。本システムは、ピクセル位置アレ
イにおける各ピクセル位置での光検知素子によって作り出される前記取込画像輝
度値を保存する取込画像メモリを更に含み、それは規則正しく離間された直交す
るピクセル行及びピクセル列の各交差点に配置されたピクセル位置を有する行状
或は矩形アレイ状の規則正しく離間されたピクセル位置を有する線形アレイであ
り得る。また本システムは、前記ピクセル位置アレイにおける前記ピクセル位置
を提供するピクセル位置発生器と、前記ピクセル位置発生器からピクセル位置を
受け取って、前記取込画像メモリにおける前記取込画像輝度値から前記ピクセル
一発生器から受け取られた前記ピクセル位置での補間オン−グリッド輝度値を誘
導するオン−グリッド補間フィルタとを含む。前記フィルタは、前記ピクセル位
置発生器から受け取られる各ピクセル位置に最も近い所定数の隣接ピクセル位置
での取込画像輝度値と、オン−グリッド補間フィルタ・カーネルとの積を算定し
て、前記ピクセル発生器から受け取られる各ピクセル位置での補間オン−グリッ
ド輝度値を誘導し、前記オン−グリッド補間フィルタの寸法は前記所定数の最も
近い隣接ピクセル位置の寸法と同一である。本システムに更に含まれるものとし
ては、前記光検知素子の組合せ応答関数の逆関数によって前記受け取られたピク
セル位置各々での前記補間オン−グリッド輝度値を補償して、前記受け取られた
ピクセル位置での補償済み補間オン−グリッド輝度値を誘導する応答関数補償器
と、高ダイナミックレンジ出力画像の前記ピクセル輝度値として前記ピクセル位
置アレイのピクセル位置各々での前記補償された補間オン−グリッド輝度値を保
存する出力画像メモリとがある。前記光検知素子の組合せ応答関数は、前記複数
の感度レベルの異なるものを有する光検知素子の重み付け応答関数の合計であり
、それら重み付け応答関数の各々は、前記複数の感度レベルのそれぞれに対する
所定の重み付け係数によって乗算された前記複数の感度レベルのそれぞれを有す
る光検知素子の応答関数である。
【００２１】 本発明の特性及び利益のより完全な理解のために、添付図面と組み合わせて以
下の詳細な説明を参照すべきである。添付図面中、同一の参照番号及びキャラク
タは、共通する特徴、構成要素、パーツ、プロセス、並びに、ステップを指定す
べく使用されている。
【００２２】 詳細な説明 図１で参照されるように、本発明に従った比較的低いダイナミックレンジ画像
センサを用いて比較的高いダイナミックレンジの画像を取り込むシステムに対す
るデータのフロー線図１００が示されている。このシステムは、アレイ状（不図
示）の多数の光検知素子を有する比較的低いダイナミックレンジ画像センサ（図
１では不図示）を含む画像検知部１を有する。この明細書及び請求項で使用され
ている用語「光」は、何れの場所においても遠赤外線からＸ−線までのスペクト
ルであり得る波長を有する電磁輻射線を意味する。画像センサの光検知素子から
成るアレイは、制約無しに、矩形、線形、円形、並びに、六角形のグリッドを含
む任意の配列を有し得て、アレイにおけるそれら光検知素子は均一に配置される
必要性がない。複数の光検知素子から成るアレイは入射光に対して所定の空間的
変動感度パターンを有し、画像センサにおける各光検知素子はシーン（場面）か
らの入射光に応じて、複数の規則正しく離間されたピクセル行と、それらピクセ
ル行とは直交する複数の規則正しく離間されたピクセル列とのそれぞれの交差点
によって規定されたピクセル位置アレイにおける多数のピクセル位置の内の対応
する１つのピクセル位置での（図１では不図示）、取込画像輝度値を提供する。
それら光検知素子によって提供されたそれぞれのピクセル位置での取込画像輝度
値は、このシステムの画像処理部２における取込画像メモリ（図１では不図示）
に保存される。この画像処理部２は、画像検知部１における画像センサの空間的
変動感度パターンによって生ずる画像輝度に関しての変動を除去する役割を果た
し、比較的高いダイナミックレンジ出力画像を表す、それぞれのピクセル位置に
おける再標本化（再標本抽出された）輝度値を出力画像メモリ３へ提供する。
【００２３】 図２へ移ると、図１のデータ・フロー線図の画像処理部２のデータ・フロー線
図２００が示されている。画像センサによって提供されたような、ピクセル位置
アレイにおけるそれぞれのピクセル位置での取込画像輝度値は取込画像メモリ２
０に保存される。この取込画像メモリ２０における取込画像輝度値は、オフ−グ
リッド（格子点外れの）のエスタマター（ｅｓｔｉｍａｔｏｒ）又は推定器２２
によって使用されて、ピクセル位置アレイにおけるそれぞれの交差点に配置され
たオフ−グリッド位置での推定オフ−グリッド輝度値を誘導する。次いでそれぞ
れのオフ−グリッド位置でのこれら推定オフ−グリッド輝度値は、オン−グリッ
ド・リサンプラー（ｏｎ−ｇｒｉｄ ｒｅｓａｍｐｌｅｒ）２３によって再標本
化が為されて、それぞれのピクセル位置での再標本化輝度値を誘導する。これら
再標本化輝度値は、比較的高いダイナミックレンジ画像を表すピクセル輝度値と
して、出力画像メモリ２１に保存される。画像センサの光検知素子の内の各々に
よって作り出される輝度値は他の光検知素子によって作り出された輝度値と合体
させられないので、画像センサによって取り込まれた画像の解像度に逆る低減は
存在しない。また、それぞれのオフ−グリッド位置での輝度値はそれぞれのピク
セル位置での取込画像輝度値から推定され、それぞれのピクセル位置での再標本
化輝度値はオフ−グリッド位置での推定オフ−グリッド輝度値の再標本化によっ
て誘導されるので、光検知素子の内の任意の１つによって作り出される取込画像
輝度値は再標本化輝度値の内の任意の１つに寄与することができる。結果として
、出力画像メモリ２１における再標本化出力画像は取込画像メモリ２０における
取込画像と殆ど同一の解像度を有する。
【００２４】 図３で参照されるように、本発明の模範的な実施例に従ったシステム３００の
ハードウェア構成要素のブロック線図が示されている。このシステム３００は、
画像検知部１、画像処理部２、並びに、ビデオ出力部４を有する。１つのシーン
が、所定の空間的変動感度パターンを有する画像センサを伴う画像検知部１によ
って取り込まれる。画像検知部１は取り込まれた画像（取込画像）を表す画像信
号を画像処理部２へ提供する。画像処理部は、画像センサの空間的変動感度パタ
ーンによって生ずる画像の輝度に逆る変動を除去し、出力画像信号をビデオ出力
部４へ提供する。ビデオ出力部４は本発明の一部ではないが、比較的高いダイナ
ミックレンジ画像を表す出力ビデオ信号を提供する完全なビデオ画像形成システ
ムを示す目的のためにここに含まれている。
【００２５】 画像検知部１は、レンズ系６、アパチャー７、電荷結合素子（ＣＣＤ）画像セ
ンサ９、並びに、前置増幅器（プリアンプ）１０を含む。シーンからの入射光５
はレンズ系６及びアパチャー７をＣＣＤ画像センサ９に到着する前に通過する。
ＣＣＤ画像センサ９は所定の空間的変動感度パターンを有し、それに従ってこの
画像センサ９の光検知素子（不図示）各々の感度レベルが決定される。ＣＣＤ画
像センサ９に対する空間的変動感度パターンを提供する異なる模範的な方法は以
下に記載される。前置増幅器１０は、ＣＣＤ画像センサ出力の振幅を調整する自
動利得制御回路や、ノイズ低減のための相関二重標本回路等の、ビデオカメラに
典型的に用いられる幾つかのアナログ回路を含む一群から構成される。
【００２６】 画像検知部２は、アナログ−ディジタル（Ａ／Ｄ）・コンバータ１１、フレー
ム・メモリ１２、ディジタル−アナログ（Ｄ／Ａ）・コンバータ１３、読み出し
専用メモリ（ＲＯＭ）１４、ランダム・アクセス・メモリ（ＲＡＭ）１５、並び
に、処理ユニット１６を有する。Ａ／Ｄコンバータ１１は画像検知部１からの画
像信号をディジタル化し、ディジタル化された画像データ（それぞれのピクセル
位置での取込画像輝度値）はフレーム・メモリ１２内に保存される。画像処理部
２での計算又は算定は処理ユニット１６によって遂行され、該処理ユニットは、
フレーム・メモリ１２、ＲＯＭ１４、並びに、ＲＡＭ１５の各データとアクセス
する。処理ユニット１６の算定を遂行するために該処理ユニットによって使用さ
れるべき予め規定されたデータ及びプログラムは、ＲＯＭ１４内に保存されてい
る。ＲＡＭ１５の一部は、処理ユニット１６による算定中にデータの一時的保存
のために使用される。フレーム・メモリ１２に保存されているそれぞれのピクセ
ル位置での算定された再標本化輝度値は、Ｄ／Ａコンバータ１３によってアナロ
グ画像信号に変換されてビデオ出力部４へ提供される。
【００２７】 ビデオ出力部４は、ビデオ・エンコーダ１７及び出力ユニット１８を備える。
画像処理部２からのアナログ画像信号はビデオ・エンコーダ１７によってビデオ
信号にコード化され、出力ユニット１８はビデオ出力信号１９を出力する。
【００２８】画像検知部 ＣＣＤ画像センサ９の空間的変動感度パターンは固定パターン・マスクを用い
ること或はワンチップ技法の何れかによって具現化され得る。ここで図４へ移る
と、所定の空間的変動露光パターンを有する固定パターン・マスク１０１の一例
が示されている。この例において、固定パターン・マスク１０１は異なる透明度
（減衰度）の複数セルから成る２次元アレイを有するプレートである。マスク１
０１の露光パターンは、それぞれが異なる透明度を有する４つの最も近くの隣接
セルから成る同等セル群の反復パターンによって規定される。４つの最も近くの
隣接セルから成るそうしたセル群の一例が図５に示されている。このセル群は、
マスク１０１のセル群の全てに共通する所定の位置順序で配列された最も透明な
セル１０２、透明なセル１０３、より劣る透明なセル１０４、並びに、最も劣る
透明なセル１０５を有する。マスク１０１の各セルは画像センサのそれぞれの光
検知素子の感度レベルを制御すべく使用される。ＣＣＤ画像センサの場合、マス
ク１０１はＣＣＤ装置の光感受性領域上に透明層を形成し、既知のフォトリソグ
ラフィ法及びエッチング技法を用いて、所望の露光パターンでマスクを形成すべ
く、その層にパターンニングを施して異なる透明度の複数セルを形成することで
、ＣＣＤ装置と同一基板上に製作され得る。代替的には、光検知素子の光検知面
自体にマスク・エッチング操作を行わせて、予め選択された光検知素子の感光性
を所望レベルに改変する。固定パターン・マスク１０１を用いることによって、
４つの隣接セル１０２，１０３，１０４，１０５からそれぞれが成る各種セル群
の内の１つセル群を通して露光された取込画像の各局所領域は４つの異なる露光
量を有することになる。このようにして、取込画像のあらゆるそうした局所領域
は、４つの異なる露光（即ち、異なる感度レベルを有する４つの光検知素子）の
結果として、比較的高いダイナミックレンジを有することになる。
【００２９】 図６を参照すると、固定パターン・マスク１０１を用いてシーンの画像を取り
込むための構成が図示されている。同図に示されるように、固定パターン・マス
ク１０１は画像センサ１０８の前方に直に配置されている。マスク１０１は画像
センサ１０８と整合又は整列されて、該マスク１０１の各セルは画像センサ１０
８の対応する光検知素子（不図示）の前方に直に位置決めされる。そのシーンか
らの入射光はカメラ光学系１０９を通過してから、マスク１０１を介して画像セ
ンサ１０８の画像平面上に合焦させられる。画像センサ１０８の各光検知素子に
よって検出される入射光の輝度は、その光検知素子の前方におけるマスク・セル
の透明度によって決定される。図６で取り込まれることになるシーンには、明る
い物体１０６と暗い物体１０７とが存在する。
【００３０】 図７へ移ると、固定パターン・マスク１０１を通じて画像センサ１０８によっ
て取り込まれた、図６におけるシーンの画像の表示１１０が示されている。図７
で留意されることは、もし、より明るい露出のピクセルが明るい物体１０６の一
領域において飽和輝度値を有したとしても、同一領域に対するより暗い露出のピ
クセルが非飽和輝度値を有することである。同様に、もしより暗い露出のピクセ
ルが、図６における暗い物体１０７の領域からの入射光を受け取る光検知素子の
ノイズ・レベルを下回る輝度値を有したとしても、同一領域からの入射光を受け
取るより明るい露出のピクセルはそのノイズ・レベルを上回る輝度値を有するこ
とになる。
【００３１】 図８を参照すると、光検知素子と、本発明に従ったシステムを具現化する画像
センサの好適タイプである典型的なＣＣＤ画像センサの関連構造との断面の概略
表示８００が示されている。光検知素子は、ｐ−ウェル領域１９０内に形成され
たｎ型領域１１５から成るフォトダイオードを含む。このフォトダイオードは、
入射光での露光に適合された光検知面１９１を有して、作動的にバイアスされて
（ｎ型領域１１５がｐ−ウェル領域１９０に対して逆バイアスされる）、ｐ−ウ
ェル領域内にポテンシャル・ウェルを形成して光発生電荷を内部に保存する。フ
ォトダイオードに関連される転送ゲート電極１１４は、それに自体に対する適切
な電圧信号の印加に及んで、フォトダイオード内に保存される光発生電荷に対す
るチャネルを形成して、以下により詳細に説明されるように垂直シフトレジスタ
（図８では不図示）へ進ませる。不透明な光シールド層１１３は、入射光がＣＣ
Ｄ画像センサのフォトダイオードの光検知面以外の領域に到達することを防止す
べく形成される。アパチャー１９２がその光シールド層１１３内に形成されて、
ＣＣＤ画像センサにおけるフォトダイオードの各々の光検知面１９１を露出する
。オンチップ・マイクロレンズ１１１はフォトダイオードの光検知面１９１上方
に形成され得る。特にカラーＣＣＤ画像センサの場合、そのオンチップ・マイク
ロレンズ１１１とフォトダイオードの光検知面１９１との間にはオンチップ光学
的フィルタ１１２が形成される。
【００３２】 図９へ移ると、２つの光検知素子が異なる感度レベルを有しているＣＣＤ画像
センサにおける、２つの隣接光検知素子及び関連構成の断面の概略表示９００が
示されている。この図における左側の光検知素子はオンチップ・マイクロレンズ
１１１を有して、入射光をフォトダイオードの光検知面１９１上に集中させる一
方、右側の光検知素子はそのフォトダイオードの光検知面１９１上方にオンチッ
プ・マイクロレンズを有さない。それ故に左側の光検知素子は、その光検知面１
９１で、右側の光検知素子よりも大きな強度の入射光を受け取ることになる。こ
のようにして、左側の光検知素子は右側の光検知素子よりも高い感度レベルを有
するように製作される。画像センサの予め選択された光検知素子の上方にオンチ
ップ・マイクロレンズ１１１を形成することで、２つの感度レベルを有する所定
の空間的変動感度パターンがＣＣＤ画像センサ用に達成される。
【００３３】 図１０へ移ると、ＣＣＤ画像センサの２つの隣接光検知素子及び関連構造の断
面の概略表示１０００が示されており、異なる感度レベルを伴う光検知素子を提
供する代替的な技法が図示されている。オンチップ・フィルタ１１６及び１１７
が、左右のフォトダイオードのオンチップ・マイクロレンズ１１１及び光検知面
１９１の間にそれぞれ対応して形成されている。これらフィルタ１１６及び１１
７は入射光に対して異なる透明度を有するように形成され、よって左右の光検知
素子が異なる感度レベルを有するに為す。所定の透明度を獲得すべく、ＣＣＤ画
像センサの各フォトダイオードの光検知面１９１上方にフィルタを形成すること
で、所定の空間的変動感度パターンがＣＣＤ画像センサ用に達成される。
【００３４】 図１１を参照すると、ＣＣＤ画像センサの２つの隣接光検知素子及び関連構造
の断面の概略表示１１００が示されている。光シールド層１１３は左右の光検知
素子の各光検知面１９１上方にアパチャー１１８及び１１９を有する。光シール
ド層１１３におけるこれらアパチャー１１８及び１１９は異なるサイズを有する
ように形成されて、異なる量の入射光が左右のフォトダイオードの光検知面１９
１に到達可能とする。所定のサイズを獲得すべく、画像センサの各光検知素子の
光検知面１９１上方にアパチャーを形成することで、所定の空間的変動感度パタ
ーンが画像センサ用に達成される。
【００３５】 図１２を参照すると、４つのフォトダイオード１２１，１２２，１２３，１２
４と、フォトダイオード１２１及び１２３とフォトダイオード１２４及び１２２
との各列が対応する垂直シフトレジスタ１２５及び垂直シフトレジスタ１２６に
隣接して配置されている行間挿入構造とを有する簡略化されたＣＣＤ画像センサ
を表す概略レイアウト線図１２００が示されている。図８に関連して先に説明さ
れたように、各フォトダイオードは関連転送ゲート電極１１４を有する。適切な
電圧転送トリガー信号が１つのフォトダイオードに関連された転送ゲート電極１
１４に印加されると、そのフォトダイオード内に保存される光発生電荷が対応す
る垂直シフトレジスタの各段階へ進むことが可能とされ、露出又は露光の持続期
間中にその中に蓄積される。図１２の線図は４つの転送トリガー入力１２９，１
３０，１３１，１３２を示し、これらがフォトダイオード１２１，１２２，１２
３，１２４と関連された転送ゲート電極へ転送トリガー信号を印加して、フォト
ダイオード１２１，１２２，１２３，１２４に保存された光発生電荷を対応する
シフトレジスタ１２５及び１２６の各段階へ転送する。各露出期間の終了時、フ
ォトダイオードから転送されて垂直シフトレジスタの各段階に蓄積された保存光
発生電荷は、水平シフトレジスタ１２７へ向かって３相クロック（不図示）によ
って各垂直シフトレジスタ２５及び１２６内でシフトされる。ひとたび水平シフ
トレジスタ１２７内になると、フォトダイオード１２１，１２２，１２３，１２
４の各々からの蓄積された光発生電荷は、出力端子１２８へ向かって２相クロッ
ク（不図示）によって順次シフトアウトされ、該出力端子では、各電荷パケット
がその出力端子１２８に到着する蓄積された光発生電化パケットの大きさに比例
する電圧信号として検出される。
【００３６】 図１３へ移ると、ｎ型領域１１５及びｐ−ウェル領域１９０によって形成され
たフォトダイオード、ｎ型領域１３５及びｐ−ウェル領域１９０によって形成さ
れた対応する垂直シフトレジタの１段階、前記フォトダイオード及び前記シフト
レジスタ段階を分離するｐ型障害領域１３４、並びに、転送トリガー入力１３７
と接続されたフォトダイオードと関連された転送ゲート電極１１４の断面の概略
表示１３００が示されている。シフトレジスタ段階はｐ−ウェル１９０に対して
適切にバイアスされたｎ型領域１３５を含んで、該シフトレジスタ段階へ転送さ
れる光発生電荷を受け取って蓄積するポテンシャル・ウェル（不図示）を形成す
る。トリガー・パルス信号が端子１３７に印加されると、ｎ型領域１１５及びｐ
−ウェル１９０によって形成されたフォトダイオードのポテンシャル・ウェルに
保存された光発生電荷が、矢印１３８で示されたように、障害領域１３４下方の
チャネルを通過してシフトレジタ段階のポテンシャル・ウェルへ進むことを可能
としている。
【００３７】 トリガー入力１３７への転送トリガー・パルスの周期的な印加に加えて、各フ
ォトダイオードに保存された光発生電荷は、リセット入力１３３へのリセット・
パルス信号の周期的な印加によって周期的に放電される。各リセット・パルス電
圧信号の印加は、ｐ−ウェルと重くドープされたｎ型電荷シンク領域１２０との
間の接合を適切にバイアスして、ＣＣＤ画像センサの各フォトダイオードのポテ
ンシャル・ウェルに保存された実質的に全ての光発生電荷を矢印１３９で示され
たように電荷シンク領域１２０へ転送させる。
【００３８】 次に図１４へ移ると、露出パルス１９３、リセット・トリガー・パルス１９４
、図１２に示される模範的なＣＣＤ画像センサの４つのフォトダイオードと関連
された転送トリガー・パルス１９５，１９８，２６１，２６４、並びに、模範的
なＣＣＤ画像センサの４つのフォトダイオードＰＤ４，ＰＤ３，ＰＤ２，ＰＤ１
における保存光発生電荷１９６，１９９，２６２，２６５のタイミング線図が示
されている。画像を取り込む露出期間である継続期間は、露出パルス１９３の幅
によって決定される。リセット・パルス１９４がＣＣＤ画像センサのリセット・
トリガー入力１３３に印加される度に、画像センサの各フォトダイオードに保存
された光発生電荷は以下に説明される理由のためにゼロへなる。ＣＣＤ画像セン
サにおける全てのフォトダイオードが入射光に露出されるので、波形１９６，１
９９，２６２，２６５によって表される光発生電荷の大きさはリセット・パルス
１９４間に増大する。先に説明されたように、転送トリガー・パルスがフォトダ
イオードに関連された転送ゲート電極に印加される度に、フォトダイオードに保
存された光発生電荷は対応する垂直シフトレジスタの各段階へ転送される。フォ
トダイオードＰＤ４の場合、転送トリガー・パルス１９５がその関連された転送
ゲート電極にリセット・パルス１９４と同一周波数であるが各転送トリガー・パ
ルス１９５は次のリセット・パルス１９４に密着して先行するように位相がシフ
トされた状態で印加される。各転送トリガー・パルス１９５は、対応する黒塗り
領域１９７によって表される電荷量を対応する垂直シフトレジスタの各段階へ転
送させ、その転送された電荷は露出パルス１９３の継続期間にわたってそこに蓄
積される。
【００３９】 転送トリガー・パルス１９５と同一幅を有する転送トリガー・パルス１９８は
、フォトダイオードＰＤ３に関連された転送ゲート電極に転送トリガー・パルス
１９５の周波数の半分の周波数で印加される。転送トリガー・パルス１９８の位
相は、各トリガー・パルス１９８が次のリセット・パルス１９４に密着して先行
するようになっている。各転送トリガー・パルス１９８の印加は、対応する黒塗
り領域２６０によって表されるフォトダイオードＰＤ３に保存されたかなりの量
の光発生電荷を対応する垂直シフトレジスタの各段階に転送させ、その転送され
た電荷は露出パルス１９３の継続期間にわたってそこに蓄積される。転送トリガ
ー・パルス１９８は転送トリガー・パルス１９５の半分の周波数で生ずるので、
露出継続期間にわたってフォトダイオードＰＤ３から光発生電荷を受け取る垂直
シフトレジスタ段階に蓄積された光発生電荷は、同一露出継続期間にわたってフ
ォトダイオードＰＤ４から光発生電荷を受ける垂直シフトレジスタ階段に蓄積さ
れる半分となる。このように動作することで、フォトダイオードＰＤ３の実効的
な感度レベルはフォトダイオードＰＤ４の感度の半分となる。
【００４０】 転送トリガー・パルス１９８及び１９５と同一幅を有する転送トリガー・パル
ス２６１は、フォトダイオードＰＤ２と関連された転送ゲート電極に印加される
。転送トリガー・パルス２６１の位相は、当該転送トリガー・パルス２６１が次
のリセット・パルス１９４に密着して先行するようになっている。各転送トリガ
ー・パルス２６１の印加は、対応する黒塗り領域２６３によって表される光ダイ
オードＰＤ２に保存されるかなりの量の光発生電荷の対応する垂直シフトレジス
タの各段階への転送を生じさせ、転送された電荷は露出パルス１９３の継続期間
にわたってそこに蓄積される。転送トリガー・パルス２６１の周波数は転送トリ
ガー・パルス１９８の半分であると共に転送トリガー・パルス１９５の１／４で
あるので、露出パルス１９３の継続期間にわたってフォトダイオードＰＤ２から
保存光発生電荷を受け取るシフトレジスタ段階に蓄積された光発生電荷の合計量
は、フォトダイオードＰＤ３から保存光発生電荷を受け取る垂直シフトレジスタ
段階に蓄積される場合の半分となるとともに、同一の継続期間にわたってフォト
ダイオードＰＤ４から保存光発生電荷を受け取るシフトレジスタ段階に蓄積され
る場合の１／４となる。結果として、フォトダイオードＰＤ２の実効的な感度レ
ベルはＰＤ３の実効的感度レベルの半分であると共に、フォトダイオードＰＤ４
の実効的感度レベルの１／４である。
【００４１】 転送トリガー・パルス２６１，１９８，１９５と同一幅を有する転送トリガー
・パルス２６４は、転送トリガー・パルス２６１の半分の周波数でフォトダイオ
ードＰＤ１と関連された転送ゲート電極に印加される。転送トリガー・パルス２
６４の位相は、各転送トリガー・パルス２６４が次のリセット・パルス１９４に
密着して先行するようになっている。各転送トリガー・パルス２６４の印加は、
対応する黒塗り領域２６６によって表されるフォトダイオードＰＤ１に保存され
たかなりの量の光発生電荷を対応する垂直シフトレジスタの各段階へ転送させ、
転送された電荷は露出パルス１９３の継続期間にわたってねそこに蓄積される。
転送トリガー・パルス２６４の周波数は転送トリガー・パルス２６１の半分であ
り、転送トリガー・パルス１９８の１／４であり、そして転送トリガー・パルス
１９５の１／８であるので、露出パルス１９３の継続期間にわたってフォトダイ
オードＰＤ１から保存光発生電荷を受け取る垂直シフトレジスタ段階に蓄積され
た合計光発生電荷は、同一露出継続期間にわたって、フォトダイオードＰＤ２か
ら保存光発生電荷を受け取るシフトレジスタ段階に蓄積された電荷の半分であり
、フォトダイオードＰＤ３から保存光発生電荷を受け取るシフトレジスタ段階に
蓄積された電荷の１／４であり、そしてフォトダイオードＰＤ４から保存光発生
電荷を受け取るシフトレジスタ段階に蓄積された電荷の１／８である。結果とし
てフォトダイオードＰＤ１の実効的感度レベルはフォトダイオードＰＤ２の半分
であり、フォトダイオードＰＤ３の１／４であり、そしてフォトダイオードＰＤ
４の１／８である。従って異なる実効的感度レベルを、それぞれの転送トリガー
・パルスをそれらの関連転送ゲート電極に対して、先に記載されたような異なる
周波数で印加することによって獲得することができる。
【００４２】 光発生電荷は各転送トリガー・パルスの印加に及んでそれぞれの垂直シフトレ
ジスタ段階に小量蓄積され且つ転送トリガー・パルスが露出期間にわたって均一
に分配されるので、そのシーン中における動作はそれぞれのフォトダイオードか
らの保存光発生電荷を蓄積する垂直シフトレジスタ段階に同一の方法で集積され
ることになる。よって、出力画像における動作不鮮明性の不整合はＣＣＤ画像セ
ンサに対する所定の空間的感度パターンを獲得するための先の技法を使用するこ
とで抑制される。
【００４３】画像処理部 図２のデータ・フロー線図に戻ると、本発明の模範的な実施例に従った画像処
理部２００は取込画像メモリ２０、オフ−グリッド推定器２２、オン−グリッド
・リサンプラー２３、並びに、出力画像メモリ２１を備える。例えば図３のブロ
ック線図におけるフレーム・メモリ１２の一部として物理的には具現化される取
込画像メモリ２０は、図１の画像検知部１によって取り込まれた画像をディジタ
ル形態で保存する。オフ−グリッド推定器２２は取込画像メモリ２０内の取込画
像輝度値を読取り、各オフ−グリッド位置での輝度値を算定するが、それらオフ
−グリッド位置は画像（ピクセル位置）アレイ上ではない位置である。オン−グ
リッド・リサンプラー２３は各オフ−グリッド位置での輝度値を受け取り、オフ
−グリッド位置でのオフ−グリッド輝度値を再標本化（リサンプル）することで
各オフ−グリッド位置での再標本化された輝度値を算定する。算定された各ピク
セル位置での再標本化輝度値は、そのシーンの比較的高いダイナミックレンジ画
像のピクセル輝度値として出力画像メモリ２１に保存される。
【００４４】 図１５を参照すると、複数の規則正しく離間されたピクセル行２６７と、該ピ
クセル行２６７と直交する複数の規則正しく離間されたピクセル列２６８との交
差点によって画成された、ピクセル位置アレイ状に配置された矩形１４０で表さ
れたピクセル位置の模範的構成１５００が示されている。オフ−グリッド位置は
ピクセル位置アレイのそれぞれの合間に一般には配置されて、オフ−グリッド位
置アレイを形成する。図１５の構成において、黒ドット１４１で表されるオフ−
グリッド位置は複数の規則正しく離間された中間行２６９と、その中間行２６９
と直交する複数の規則正しく離間された中間列２７０との各交差点によって画成
されたオフ−グリッド位置アレイを形成する。中間行２６９の各々はピクセル行
２６７と平行すると共にピクセル行２６７の各隣接対の間の中央に延在する。中
間列２７０の各々はピクセル列２６８と平行すると共にピクセル列２６７の各隣
接対の間の中央に延在する。ピクセル位置及びオフーグリッド位置の便宜上の参
照のために、取込画像の底部左隅は座標系の原点（０，０）として規定されて、
該原点に最も近いピクセル位置は座標（０．５，０．５）を有し、該原点に最も
近いオフ−グリッド位置は座標（１，１）を有する。取込画像の底部右隅は（ｘ
サイズ，０）を有すると規定されており、そのｘサイズはピクセル行２６７の方
向（ｘ方向）における取込画像の寸法であり、画像の上方左隅は座標（０，ｙサ
イズ）を有すると規定されており、そのｙサイズはピクセル列２６８の方向（ｙ
方向）における取込画像の寸法である。
【００４５】 図１６へ移ると、本発明の模範的実施例に従ったオフ−グリッド推定器（図２
の線図における２２）のデータ・フロー線図１６００が示されている。この実施
例の場合、画像センサの光検知素子は４つの異なる感度レベルを有する。オフ−
グリッド推定器１６００は、各々が４つの感度レベルのそれぞれ対応した４つの
リサンプラー２８，２９，３０，３１と、図１５の線図で画成されたオフ−グリ
ッド位置アレイのオフ−グリッド位置を提供するオフ−グリッド位置発生器３２
と、ピクセル位置の各々と対応している感度レベルを示すデータを保存する感度
パターン・データ・メモリ３４とを有する。加えて、オフ−グリッド推定器１６
００は、光検知素子の感度レベルのそれぞれに一対一で対応する重み係数Ｗ１，
Ｗ２，Ｗ３，Ｗ４を保存する重み係数メモリ２４，２５，２６，２７と、各々が
対応するリサンプラー２８，２９，３０，３１及び該対応リサンプラーと同一の
感度レベルと対応する重み係数Ｗ１，Ｗ２，Ｗ３，Ｗ４を受け取って、その受け
取ったリサンプラー出力と重み係数の積を提供する乗算器２７１，２７２，２７
３，２７４とを含む。オフ−グリッド推定器１６００は乗算器２７１，２７２，
２７３，２７４の出力を受け取って、それら乗算器出力の合計を提供する合算器
２７５をも含む。更にオフ−グリッド推定器１６００は、合算器２７５の出力を
受け取るマッパー（ｍａｐｐｅｒ）３３、該マッパー３３と関連された検索テー
ブル（ｌｏｏｋｕｐ ｔａｂｌｅ：ＬＵＴ）・メモリ３５を有する。複数の感度
レベルの内の相互に異なるものをそれぞれ有する光感度素子の感度重み付け組合
せ応答関数の逆関数を表すデータを保存する検索テーブル・メモリ３５は、マッ
パー３３によって使用されて、オフ−グリッド位置発生器３２から受け取った各
オフーグリッド位置に対する合算器２７５の出力を、組合せ応答関数の逆関数に
よって補償して、受け取られたオフ−グリッド位置での推定されたオフ−グリッ
ド輝度値を誘導する。オフ−グリッド推定器１６００は、マッパー３３の出力を
受け取るオフ−グリッド輝度値メモリ３６をも有する。
【００４６】 再度、図３を参照すると、図１６における感度パターン・メモリ３４が、例え
ば、ＲＯＭ１４内に物理的に実装され、ピクセル位置の各々に対する感度レベル
の形態で、ＣＣＤ画像センサ９の所定空間変動感度パターンを保存する。図１６
における検索テーブル・メモリ３５も、例えばＲＯＭ１６内に物理的に実装され
ており、画像センサの光感度素子の感度重み付け組合せ応答関数の逆関数によっ
て、各オフ−グリッド位置での合算器２７５の出力を補償するための検索テーブ
ルを保存する。図１６におけるオフ−グリッド輝度値メモリ３６は、例えばフレ
ーム・メモリ３６内に物理的に実装され、図１６におけるマッパー３３によって
提供されるように各オフ−グリッド位置での推定されたオフ−グリッド輝度値を
保存する。
【００４７】 図１６へ戻ると、取込メモリ２０は図１５の線図に従って画成された各ピクセ
ル位置での取込画像輝度値を保存する。各ピクセル位置での輝度値は、例えば、
図３のブロック線図におけるＣＣＤ画像センサ９の対応する光検知素子によって
作り出される。各光検知素子は４つの感度レベルの内の１つを有すると共と対応
するピクセル位置での輝度値を作り出すので、各ピクセル位置は対応する感度レ
ベルを有するものとして考慮され得る。リサンプラー２８，２９，３０，３１の
各々はオフーグリッド位置発生器３２からオフ−グリッド位置と感度パターン・
メモリ３４から感度パターン・データとを受け取って、その対応する感度レベル
のピクセル位置での取込画像メモリ２０における取込画像輝度値を再標本化する
ことよって、受け取られたオフ−グリッド値でのその感度レベルに対する感度レ
ベル・オフ−グリッド輝度値を有する。再標本化算定の詳細は以降に記載される
。リサンプラー２８，２９，３０，３１の各々がオフ−グリッド位置発生器３２
から受け取ったオフ−グリッド位置でのその対応する感度レベルをに対する各感
度レベル・オフ−グリッド輝度値を誘導した後、それら誘導感度レベル・オフ−
グリッド輝度値の各々は乗算器２７１，２７２，２７３，２７４の内の１つにお
ける誘導リサンプラーとして同一感度レベルと対応する重み付け係数Ｗ１，Ｗ２ ，Ｗ３，Ｗ４の対応する１つと乗算される。次いで、各重み付け係数Ｗ１，Ｗ２ ，Ｗ３，Ｗ４によってスケーリングされた後、オフ−グリッド位置発生器３２か
ら受け取ったオフ−グリッド位置での４つのリサンプラー２８，２９，３０，３
１によって誘導された感度レベル・オフ−グリッド輝度値は、合算器２７５によ
って蓄積されて、受け取られたオフ−グリッド位置での重み付け合計感度レベル
・オフ−グリッド輝度値を誘導し、それがマッパー３３へ提供される。マッパー
３３は合算器２７５からの重み付け合計感度レベル・オフ−グリッド輝度値を四
捨五入して、検索テーブル・メモリ３５に対する整数指標を獲得する。指標と対
応する組合せ応答関数で補償された輝度値は検索テーブル・メモリ３５からマッ
パー３３によって検索されて、オフ−グリッド発生器３２から受け取られたオフ
−グリッド位置での推定されたオフ−グリッド値としてオフ−グリッド輝度値メ
モリ３６へ提供される。オフ−グリッド位置発生器３２は（１，１）から（ｘサ
イズ−１，ｙサイズ−１）までのオフ−グリッド位置を逐次発生するので、寸法
ｘサイズ−１及びｙサイズ−１を伴うオフ−グリッド輝度値パターンは発生され
てオフ−グリッド輝度値メモリ３６に保存される。
【００４８】 図１７を参照すると、図１６のオフ−グリッド推定器１６００によって実行さ
れ得る算定処理のフロー線図が示されている。第１として、ループ２０１は（１
，１）から（ｘサイズ−１，ｙサイズ−１）まで図１６のオフ−グリッド位置発
生器によって提供される各オフ−グリッド位置（ｘ，ｙ）に対して繰り返され、
そこでｘ及びｙはオフ−グリッド位置の座標であり、ｘサイズ及びｙサイズはｘ
方向及びｙ方向の取込画像の寸法である。ループ２０１において、ステップ２０
２と、ループ２０３と、ステップ２０６が実行される。ステップ２０２で値が０
に初期化される。ループ２０３においてステップ２０４及び２０５が各ｉ番目の
感度レベルに対して繰り返される。本実施例において、感度レベルの数は４であ
り、それ故に、ループ２０３は４回繰り返される。ステップ２０４において、オ
フ−グリッド位置（ｘ，ｙ）での第ｉ番目の感度レベルに対する感度レベル・オ
フ−グリッド位置輝度値ｐｉは再標本化関数：Ｒｅｓａｍｐｌｅｉ（Ｉｃ，Ｓ，
ｘ，ｙ）を用いて、図１６の取込画像メモリ２０に保存された各ピクセル位置で
の取込画像輝度値Ｉｃから算定され、この式でＳは図１６の線図における感度パ
ターン・メモリ３４からの感度パターン・データを表す。ステップ２０５で、第
ｉ番目感度レベルｐｉに対する算定された感度レベル・オフ−グリッド輝度値は
、第ｉ番目感度レベルと対応する所定の重み付け係数Ｗｉによって乗算され、そ
の積が値ｓに合算される。ループ２０３が各感度レベルに対して繰り返された後
、ステップ２０６が実行される。ステップ２０６でオフ−グリッド位置（ｘ，ｙ
）での推定されたオフ−グリッド輝度値Ｂが、図１６のマッパー３３及び検索テ
ーブル（ｌｏｏｋｕｐ ｔａｂｌｅ：ＬＵＴ）・メモリ３５を用いて関数：Ｍａ
ｐ（ＬＵＴ，ｓ）によって算定される。ステップ２０６が完了した後、ループ２
０１の現反復が完了される。ループ２０１が図１６のオフ−グリッド位置発生器
３２から受け取られた各オフ−グリッド位置に対して繰り返された後、フローチ
ャート１７００によって表された算定処理は終了する。
【００４９】 図１８へ移ると、図１７のフロー線図によって記載された算定処理に用いられ
る関数Ｒｅｓａｍｐｌｅｉ（Ｉｃ，Ｓ，ｘ，ｙ）の算定を記載するフロー線図が
示されている。フロー線図１８００によって記載される算定は第ｉ番目の感度レ
ベルと対応する図１６における第ｉ番目のリサンプラーによって実行される。ス
テップ２０７で第ｉ番目の感度レベルと対応する位置だけでの輝度値を有する画
像Ｉｉは、感度パターン・データＳに従った取込画像Ｉｃをマスクすることによ
って発生させられる。ステップ２０８でオフ−グリッド位置（ｘ，ｙ）に最も近
いマスクされた画像Ｉｉのピクセル位置でのオフ−グリッド輝度値ｐが決定され
る。最後にステップ２０９で、輝度値ｐがオフ−グリッド位置（ｘ，ｙ）での第
ｉ番目感度レベルに対する感度レベル・オフ−グリッド輝度値として提供され、
フロー線図１８００によって表された計算処理が終了する。
【００５０】 次に図１９に移ると、図１７のフロー線図１７００によって記載された計算処
理に用いられる関数Ｍａｐ（ＬＵＴ，ｓ）の計算に対するフロー線図１９００が
示されている。フロー線図１９００の算定は図１６の線図におけるマッパー３３
及び関連検索テーブル・メモリ３５によって実行される。この算定は、ステップ
２１０，２１１，２１２のシーケンスから成る。ステップ２１０で整数値指標ｔ
が、図１７のフロー線図１７００におけるループ２０３で算定されたようにｓを
切り捨てることによって算定される。ステップ２１１で値ｐがその指標ｔを用い
て図１６における検索テーブル・メモリ３５から検索される。ステップ２１２で
検索テーブル・メモリ３５における指標ｔに対する値ｐが出力として提供され、
フロー線図１９００によって表される処理は終了する。指標ｔを値ｐにマッピン
グするために使用される検索テーブル・データは予め準備され図１６の検索テー
ブル・メモリ３５に保存される。先に指摘したように、検索テーブル・メモリ３
５は図３におけるＲＯＭ１４に実装される。
【００５１】 図２０を参照すると、４つの感度レベルの内の相互に異なるものをそれぞれが
有する光検知素子の模範的な正規化されたラジオメトリック（ｒａｄｉｏｍｅｔ
ｒｉｃ）応答関数のグラフ２０００が示されている。数量Ｅは、図２０のグラフ
２０００を作り出すために、光検知素子によって検知可能な最大放射強度によっ
て正規化された光検知素子に入射した放射強度を表す。数量ｐは光検知素子と対
応するピクセル位置での輝度値を表す。本実施例は４つの感度レベルを有するの
で、４つの応答関数：ｐ１（Ｅ）１４２，ｐ２（Ｅ）１４３，ｐ３（Ｅ）１４４
，ｐ４（Ｅ）１４５がある。これら４つの応答関数の全ては単色であるので、正
の重み係数を伴うこれら関数線形組合せｓ（Ｅ）も単色である。４つの感度レベ
ルを一対一で有する４つの光検知素子の感度重み付け組合せ応答関数は以下のよ
うに表現され得る。
【００５２】 ｓ（Ｅ）＝Ｗ１Ｐ１（Ｅ）＋Ｗ２Ｐ２（Ｅ）＋Ｗ３Ｐ３（Ｅ）＋Ｗ４Ｐ４（Ｅ
） （１）
【００５３】 等式（１）によって表される組合せは、４つの感度レベルでの応答関数が組み
合わされたので放射強度Ｅの検知に対して高ダイナミックレンジをもたらす。例
えば、Ｐ１（Ｅ）はＥの明るいレンジ（範囲）に逆る感度を有し、Ｐ４（Ｅ）は
Ｅの暗いレンジに逆る感度有する一方で、Ｐ２（Ｅ）及びＰ３（Ｅ）はＥの中間
レンジをカバーしている。等式（１）の組合せは２５６レベルのグレイスケール
の数における増大をももたらす。もしこれら応答関数Ｐ１（Ｅ），Ｐ２（Ｅ），
Ｐ３（Ｅ），Ｐ４（Ｅ）の各々が２５６レベルのグレイスケールを有すれば、ｓ
（Ｅ）は１０２１レベルに同等なグレイスケールを有する。
【００５４】 図２１へ移れば、模範的な組合せ応答関数ｓ（Ｅ）のグラフ２１００が示され
ている。組合せ応答関数ｓ（Ｅ）に対する検索テーブル・データを保存するため
、図２２のグラフ２２００における曲線１４７として示されたｓ（Ｅ）の逆関数
が、単色関数の逆関数も単色であるので使用され得る。もし、ｓ（Ｅ）の逆関数
が連続関数として発生されれば、任意の数のレベルを有する検索テーブルはディ
ジタル化されて保存される。例えば、図２２のグラフから誘導された検索テーブ
ルは６５，５３６個のレベルを有する。更に任意の種類の応答関数を表すデータ
も検索テーブルに保存可能である。例えば図２３は、ガンマ特性が含まれた応答
関数の逆関数のグラフ２３００を示す。ガンマ特性の包含は標準化ビデオ信号出
力を提供するために必要であり得る。
【００５５】 当業者には明らかなように、図１６のリサンプラー２８，２９，３０，３１に
よって実行される最も接近した隣接標本化関数は、補間法を伴う双一次元及び双
三次標本化等の他の周知の標本化関数で代替され得る。重み付け係数Ｗ１，Ｗ２ ，Ｗ３，Ｗ４はそれぞれが正値であり得る。殆どの例において、重み係数の各々
は１／Ｎにセットされ得、ここでＮは感度レベルの数である。図１６に示された
オフ−グリッド推定器において、もし重み付け係数Ｗ１，Ｗ２，Ｗ３，Ｗ４が全
て同等であれば、重み付け係数メモリ２４，２５，２６，２７及び乗算器２８，
２９，３０，３１がは削減され得て、その場合、リサンプラー２８，２９，３０
，３１は合算器２７５へ直に提供される。留意されることは、図４の線図におけ
る検索テーブル・メモリ３５に保存された検索テーブル・データを作り出す目的
で、重み付け係数が、等式（１）によって規定される組合せ応答関数ｓ（Ｅ）に
対する所望の形状を獲得すべく選択されることである。検索テーブル・データは
図２２のグラフに示されたように関数ｓ（Ｅ）の逆関数をディジタル化すること
で誘導される。ディジタル化誤差を最小化すべく、関数ｓ（Ｅ）の逆関数はでき
る限り均一化されるようにディジタル化される。関数ｓ（Ｅ）の逆関数は均一デ
ィジタル化に充分適合していない場合、形状は重み付け係数を変えることで変更
され得る。
【００５６】 次に図２４へ移れば、本発明の別の模範的実施例に従った、図２の線図のオフ
−グリッド推定器２２のデータ・フロー線図２４００が示されている。図２４の
オフ−グリッド推定器は、（０．５，０．５）から（ｘサイズ，ｙサイズ）まで
順次ピクセル位置を発生するピクセル位置発生器４３、各ピクセル位置と対応す
る感度レベルを保存する感度パターン・メモリ４０、マッパー４２、異なる感度
レベルを有する光検知素子の応答関数の逆関数を表す個別検索テーブル・データ
を保存する関連検索テーブル・メモリ３９、ピクセル位置と対応する感度レベル
を有する光検知素子の応答関数の逆関数によって各ピクセル位置輝度値が補償さ
れた後に、各ピクセル位置での輝度値を保存するマッピングされたピクセル位置
輝度値メモリ４１、（１，１）から（ｘサイズ−１，ｙサイズ−１）までオフ−
グリッド位置を順次発生するオフ−グリッド位置発生器４５、マッピングされた
ピクセル位置輝度値メモリ４１に保存された補償済みピクセル位置輝度値からオ
フ−グリッド位置発生器４５から受け取った各オフ−グリッド位置での推定され
たオフ−グリッド輝度値を算定する類似逆推定器、並びに、類似逆推定器４４に
よって算定された各オフ−グリッド位置での推定されたオフ−グリッド輝度値を
保存するオフ−グリッド輝度値メモリ３６を含む。
【００５７】 図３のブロック線図で参照されるように、検索テーブル・メモリ３９及び感度
パターン・メモリ４０は双方ともに、例えば、ＲＯＭ１４内に物理的に実装され
、マッピングされたピクセル位置輝度値メモリ４１は例えばＲＡＭ１５内に物理
的に実装される。
【００５８】 図２４へ戻れば、マッパー４２は取込画像メモリ２０からピクセル位置発生器
４３から受け取ったピクセル位置での取込画像輝度値を受け取り、そして該マッ
パー４２はその取込画像輝度値に検索テーブル・メモリ３９に保存された検索テ
ーブル・データを適用して、感度パターン・メモリ４０から獲得される受け取ら
れたピクセル位置と対応する感度レベルを求め、受け取られたピクセル位置での
マッピングされた輝度値を誘導して、マッピングされたピクセル位置輝度値メモ
リ４１内に保存する。マッピングされた輝度値は、受け取られたピクセル位置と
対応するレベルの感度を有する光検知素子の応答関数の逆関数で補償された取込
画像輝度値である。次いで、類似逆推定器４４はオフ−グリッド位置発生器４５
によって提供されたオフ−グリッド位置での輝度値を、マッピングされたピクセ
ル位置輝度値メモリ４１におけるマッピングされた輝度値を用いて算定する。オ
フ−グリッド位置での算定されたオフ−グリッド輝度値は、次いで、オフ−グリ
ッド輝度値記憶装置３６に保存される。
【００５９】 図２５を参照すると、図２４の線図のオフ−グリッド推定器２４００によって
実行され得る算定プロセス用のフロー線図２５００が示されている。第１として
ループ２１５は、図２４のピクセル位置発生器４３から受け取られるように、（
０．５，０．５）から（ｘサイズ−０．５，ｙサイズ−０．５）までの取込画像
の各ピクセル位置（ｘ，ｙ）に対して繰り返される。ループ２１５において、ス
テップ２１６及び２１７が実行される。ステップ２１６で、第ｉ番目の感度レベ
ルに対する検索テーブル・データＬＵＴｉが受け取られたピクセル位置（ｘ，ｙ
）と対応する感度レベルｉを参照することで選択される。受け取られたピクセル
位置（ｘ，ｙ）と対応する感度レベルは、図２４の感度パターン・メモリ４０に
保存された感度パターン・データＳ（ｘ，ｙ）から獲得される。ステップ２１７
で、検索テーブル・データＬＵＴｉは、取込画像メモリ２０からの受け取られた
ピクセル位置での取込画像輝度値Ｉｃ（ｘ，ｙ）に適用される。検索テーブル・
データＬＵＴｉから誘導さえた感度レベルｉを有する光感度素子の応答関数の逆
関数によって補償された輝度値は、受け取られたピクセル位置（ｘ，ｙ）でのマ
ッピングされた輝度値Ｉｍ（ｘ，ｙ）として呼称される。ループ２１５が図２４
におけるピクセル位置発生器４３から受け取られる各ピクセル位置毎に繰り返さ
れた後、ループ２１８が、図２４におけるオフ−グリッド位置発生器４５から受
け取られる（１，１）から（ｘサイズ−１，ｙサイズ−１）までの各オフ−グリ
ッド位置に対して繰り返される。ループ２１８におけるステップ２１９及び２２
０、並びに、ステップ２２３が実行される。ステップ２１９で、値ｓ及び値ｗが
それぞれ０に初期化される。ステップ２１９の後、ループ２２０は受け取られた
オフ−グリッド位置（ｘ’，ｙ’）に４つの最も近い隣接ピクセル位置である４
つのピクセル位置（ｕ，ｖ）に対して繰り返される。ループ２２０において、ス
テップ２２１及び２２２が実行される。ステップ２２１で、ピクセル位置（ｕ，
ｖ）でのマッピングされた輝度値Ｉｍ（ｕ，ｖ）は低閾値θＬと高閾値θＨと比
較される。もしＩｍ（ｕ，ｖ）がθＬよりも大きく且つθＨよりも小さければ、
ステップ２２２が実行される。さもなければ、ステップ２２２はスキップされ、
プロセスは次のループ２１９の反復へ移動する。閾値θＬ及びθＨは所定定数値
であり、一般にはピクセル位置（ｕ，ｖ）と対応する感度レベルを有する光検知
素子のマッピングされたノイズ・レベルを表すと共に、同一感度レベルを有する
光検知素子の飽和或は略飽和輝度値を表す。ステップ２２２で、θＬよりも大き
く且つθＨよりも小さいマッピングされた輝度値Ｉｍ（ｕ，ｖ）はｓに合算され
、１がｗに合算される。ループ２２０が最も近い隣接ピクセル位置の各々に対し
て繰り返された後、ステップ２２３が実行される。ステップ２２３で、受け取ら
れたオフ−グリッド位置（ｘ’，ｙ’）での輝度値Ｂ（ｘ’，ｙ’）は値ｓを値
ｗで分割することによって算定される。ループ２１８が図２４におけるオフ−グ
リッド位置発生器４５から受け取られる各オフ−グリッド位置に対して繰り返さ
れた後、フロー線図２５００によって表現される算定プロセスは終了する。
【００６０】 図２６を参照すると、図２４の線図の類似逆推定器４４によって実行され得る
代替的な算定プロセスのフロー線図２６００が示されている。図２６のフロー線
図２６００は、４×４立方類似逆算定を具現化しており、ステップ２１９、ルー
プ２２０、並びに、ステップ２２３を含む図２５のフロー線図２５００の一部に
取って代わることができる。図２６のフロー線図で参照されるように、ステップ
２２４で値ｓ及び値ｗはそれぞれ０に初期化される。次いでループ２２５が、図
２４におけるオフ−グリッド位置発生器４５から受け取られるオフ−グリッド位
置（ｘ’，ｙ’）に最も近い１６個の隣接ピクセル位置である１６個のピクセル
位置（ｕ，ｖ）に対して繰り返される。ループ２２５におけるステップ２２６、
ステップ２２７、並びに、ステップ２２８が実行される。ステップ２２６におい
て、最も近い隣接ピクセル位置（ｕ，ｖ）でのマッピングされた輝度値Ｉｍ（ｕ
，ｖ）は低閾値θＬと高閾値θＨと比較される。もしＩｍ（ｕ，ｖ）がθＬより
も大きく且つθＨよりも小さければ、ステップ２２７が実行される。さもなけれ
ば、ステップ２２７及び２２８はスキップされ、プロセスは次のループ２２５の
反復へ移動する。閾値θＬ及びθＨは所定定数値であり、一般にはピクセル位置
（ｕ，ｖ）と対応する感度レベルを有する光検知素子のマッピングされたノイズ
・レベルを表すと共に、同一感度レベルを有する光検知素子の飽和或は略飽和輝
度値を表す。ステップ２２７で、指標値ｉ及びｊが受け取られたオフ−グリッド
位置（ｘ’，ｙ’）と最も近い隣接ピクセル位置（ｕ，ｖ）とから算定されるが
、これらｉ及びｊは図２７に示される立方補間法カーネル（核：ｋｅｒｎｅｌ）
の値を参照するために使用される。ステップ２２８で、ｓ及びｗはそれぞれステ
ップ２２８を表すブロックに示される等式に従って更新される。ループ２２５が
１６個の最も近い隣接ピクセル位置の各々に対して繰り返された後、ステップ２
２９は実行される。ステップ２２９において、受け取られたオフ−グリッド位置
（ｘ’，ｙ’）での輝度値Ｂは値ｓを値ｗで割ることで算定される。フロー線図
２６００によって表現される算定プロセスは、ｘ’＋１からｓサイズ−１と、ｙ
’＋１１からｙサイズ−１まで、図２４におけるオフ−グリッド位置発生器４５
から受け取られる全てのオフ−グリッド位置に対して繰り返される。
【００６１】 図２８へ移ると、本発明の模範的実施例に従った図２の線図におけるオフ−グ
リッド・リサンプラー２３のフロー線図２８００が示されている。このオフ−グ
リッド・リサンプラー２８００は、（２．５，２．５）から（ｘサイズ−２．５
，ｙサイズ−２．５）までのピクセル位置を順次提供するピクセル位置発生器３
８と、該ピクセル位置発生器３８から受け取られるピクセル位置に最も近く隣接
する４×４オフ−グリッド位置での推定されたオフ−グリッド輝度値から、ピク
セル位置発生器３８から受け取られるピクセル位置での補間されたオフ−グリッ
ド輝度値を算定する立方補間演算を実行する補間器３７とを含む。これは図２９
に図示されており、同図には、矩形として表されるピクセル位置と、黒丸として
表されるオフ−グリッド位置とのローカル・エリアの線図２９００を示している
。受け取られたピクセル位置（ｘ，ｙ）での輝度値が算定されると、４×４の立
方補間カーネルが、（ｘ−２，ｙ−２）から（ｘ＋２，ｙ＋２）までのローカル
・エリア内において４×４オフ−グリッド輝度値と乗算されそれが図２９の線図
における陰影が付けられた矩形として示されている。４×４の立方補間カーネル
２７００の一例は図２７に示されている。図２８におけるピクセル位置発生器３
８は、（２．５，２．５）から（ｘサイズ−２．５，ｙサイズ−２．５）までの
ピクセル位置を順次発生して、該ピクセル位置を補間器３７へ提供する。このよ
うにして、（ｘサイズ−４，ｙサイズ−４）の寸法を有する画像に対する再標本
化された輝度値は発生させられ、図２８における出力画像メモリ２１に保存され
る。
【００６２】 図３０を参照すると、図２８における補間器３７によって実行され得る算定プ
ロセスを説明するフロー線図３０００が示されている。この算定プロセスはステ
ップ２１４を含むループ２１３を有する。ループ２１３は、図２８におけるピク
セル位置発生器３８から受け取られる、（２．５，２．５）から（ｘサイズ−２
．５，ｙサイズ−２．５）までの出力画像の各ピクセル位置（ｘ，ｙ）に対して
繰り返され、ｘ及びｙはピクセル位置の座標であり、ｘサイズ及びｙサイズはｘ
方向及びｙ方向における取込画像の寸法である。ステップ２１４で、ピクセル位
置（ｘ−２，ｙ−２）での出力画像Ｉｏ（ｘ−２，ｙ−２）の輝度値は、受け取
られたピクセル位置（ｘ，ｙ）に４×４の最も近くの隣接オフ−グリッド位置で
の輝度値と、フロー線図３０００におけるステップ２１４を表すブロック内の等
式によって示される４×４の立方補間カーネルφとの席を算定することで誘導さ
れる。算定された値は、出力画像Ｉｏ（ｘ−２，ｙ−２）の対応するピクセル位
置での輝度値として、図２８における線図の出力画像メモリ２１に保存される。
ループ２１３が図２８におけるピクセル位置発生器３８から受け取られる各ピク
セル位置に対して繰り返された後、フロー線図３０００によって表される算定プ
ロセスは終了する。
【００６３】 図２８における線図の補間器３７は立方補間を実行するものとして記載されて
いるが、理解して頂きたいことは、２次元均一グリッド・データから補間値を算
定する任意補間プロセスが立方補間と代替され得ることである。例えば、他の立
方カーネル、ガウス・化ネール、双一次元補間、或は、より大きな補間カーネル
が使用可能である。更には、オフ−グリッド位置と合致するようにピクセル位置
をシフトすることや、オフ−グリッド位置での輝度値を各合致したピクセル位置
での輝度値として採用することは、ピクセル位置での再標本化された輝度値を誘
導すべく使用可能である。双立方Ｂ−スプライン３１００、双一次元３２００、
６×６の２次元ガウシアン３３００、並びに、単純シフト・フィルタ・カーネル
（核）３４００が図３１乃至図３４にそれぞれ示されている。これらフィルタ・
カーネルの各々は図３０のフロー線図におけるφｉｊとして代替され得る。留意
して頂きたいことは、図３０のフロー線図におけるｉ及びｊに対する値の範囲が
フィルタ・カーネルのサイズに従って変化することである。例えば、６×６ガウ
シアン・フィルタ３３００が使用される際、ｉ及びｊの双方は０から５までの値
を取る。
【００６４】 以上に記載された本発明の実施例において、画像センサの光検知素子は４つの
異なる感度レベルを有する。理解して頂けるであろうことは、以上に記載された
実施例に対して軽微な改変のみを伴って、画像センサの光検知素子が異なる多数
の感度レベルを有するような実施例に、本発明が容易に適用され得ることである
。例えば、画像センサの光検知素子は２つのみ感度レベルを有し得て、そうした
場合の実施例への変更はこれから記載される。
【００６５】 空間的変動感度パターンがマスクによって規定されている画像検知部において
、マスクはは２つの異なる透明性を具備するセルを有することになり、即ち、暗
いセルと明るいセルとである。例えば、マスクはチェッカーボード・パターンを
有し得て、行の隣接セルと列の隣接セルとはそれら２つの透明性の内の異なる一
方を有することなる。そうしたマスク３５００の一例は図３５に示され、そこで
は、明るいセルが参照番号１４８で指定されると共に、暗いセルが参照番号１４
９で指定されている。
【００６６】 画像処理部において、図１６及び図２４のそれぞれの線図におけるオフ−グリ
ッド位置発生器３２は、２つの感度レベルの場合に対して図１５で規定されたよ
うな同一オフ−グリッド位置を発生し得る。しかしながら代替的なオフ−グリッ
ド位置は２つだけの感度レベルが存在している時に規定され得る。
【００６７】 図３６を参照すると、２つの感度レベルの場合に対する代替的なオフ−グリッ
ド位置パターンの線図３６００が示されている。図３６において、ピクセル位置
は正方形１５１で表され、オフ−グリッド位置は黒丸１５１で表されている。こ
こでもオフ−グリッド位置１５１はピクセル位置アレイの各合間に配置されてい
る。しかしながら図３６の線図における隙間は、ピクセル行２６７及び中間列２
７０の各交差点と、ピクセル列２６８及び中間行２６９の各交差点とに配置され
ている。図１５の線図では、ピクセル行２６７及びピクセル列２６８は規則正し
く離間されて相互に直交し、各中間行２６９がピクセル行２６７と平行してピク
セル行２６７の各隣接対間の中央に延在している一方、各中間列２７０がピクセ
ル列２６８と平行してピクセル列２６８の各対間の中央に延在している。図３６
の線図で留意されるように、隣接オフ−グリッド位置のラインは隣接ピクセル位
置から成るラインに対して４５度だけ回転されていることである。
【００６８】 図３７へ移れば、２つの感度レベルに対して変更された図１６のオフ−グリッ
ド推定器の実施例に逆るデータ・フロー線図３７００が示されている。４つの感
度レベル例の場合との相違点は、使用されているリサンプラーの数、重み付け係
数メモリの数、並びに、乗算器の数である。位置発生器３２は図３６で規定され
たオフ−グリッド位置を発生すべく変更されている。感度パターン・メモリ３４
は、各ピクセル位置と対応する２つの感度レベルの内の一方を指定する所定の空
間的変動感度パターンを保存する。
【００６９】 図３８を参照すると、図３７のデータ・フロー線図３７００によって表される
オフ−グリッド推定器によって実行され得る算定プロセスのフロー線図３８００
が示されている。第１としてループ２３０は、（０．５，１）から（ｘサイズ−
０．５，ｙサイズ−１）までの各オフ−グリッド位置（ｘ，ｙ）に対して繰り返
され、ここでｘ及びｙはオフ−グリッド位置の座標であり、ｘサイズ及びｙサイ
ズはｘ方向及びｙ方向の取込画像の寸法である。図３６の線図３６００を参照す
ると、ループ２３０が繰り返されるオフ−グリッド位置は中間行２６９及びピク
セル列２６８の各交差点に配置されている。ループ２３０におけるステップ２３
１、ループ２３２、並びに、ステップ２３５は実行される。ステップ２３１で値
ｓは０に初期化される。ループ２３２でステップ２３３及び２３４が各第ｉ番目
感度レベルに対して繰り返される。本実施例における感度レベルの数は２つであ
る。ステップ２３３で、図３７におけるオフ−グリッド位置発生器３２から受け
取られるオフ−グリッド位置（ｘ，ｙ）での第ｉ番目感度レベルに対する感度レ
ベル・オフ−グリッド輝度値ｐｉは、第ｉ番目のリサンプラーの標本化関数Ｒｅ
ｓａｍｐｌｅｉ（Ｉｃ，Ｓ，ｘ，ｙ）によって取込画像Ｉｃの各ピクセル位置で
の取込画像輝度値から算定され、ここでｓは図３７における感度パターン・メモ
リ３４からの感度パターン・データを表している。この関数の算定は４つの感度
レベル例に対するものと同一である。ステップ２３４で、第ｉ番目の感度レベル
に対する感度レベル・オフ−グリッド輝度値ｐｉは同一感度レベルに対する所定
重み付け係数Ｗｉによって乗算され、その積がｓへ合算される。ループ２３２が
２つの感度レベルに対して繰り返された後、ステップ２３５が実行される。ステ
ップ２３５で、図３７におけるオフ−グリッド位置発生器３２から受けられるオ
フ−グリッド位置（ｘ，ｙ）での輝度値Ｂは、図３７におけるマッパー３３及び
関連検索テーブル・メモリ３５を用いて関数Ｍａｐ（ＬＵＴ，ｓ）を適用するこ
とで算定される。この関数の適用は４つの感度レベル例と同一である。ステップ
２３５が完了された後、ループ２３０の現行での反復は完了される。ステップ２
３０が中間行２６９及びピクセル列２６８の各交差点に配置される全てのオフ−
グリッド位置に対して繰り返された後、この算定プロセスはループ２３６へ進む
。ループ２３６の算定プロセスはループ２３０のものと同等であるが、ループ２
３６が（１，０．５）から（ｘサイズ−１，ｙサイズ−０．５）まで図３７にお
けるこのオフ−グリッド位置発生器３２から受け取られる各オフ−グリッド位置
に対して繰り返されることは除く。図３６の線図３６００を再び参照すると、ル
ープ２３６が繰り返されるオフ−グリッド位置はピクセル行２６７及び中間列２
７０の各交差点に配置されている。ループ２３６がそうしたオフ−グリッド位置
の全てに対して繰り返された後、フロー線図３８００で表された算定プロセスは
終了する。
【００７０】 図２４におけるデータ・フロー線図によって表されるオフ−グリッド推定器の
実施例も、２つの感度レベル用に容易に変更される。図３９へ移ると、２つの感
度レベル例に対する、図２４のデータ・フロー線図２４００によって表されるオ
フ−グリッド推定器で実行され得る算定プロセスを記載するフロー線図３９００
が示されている。第１ループ２５６が、（０．５，０．５）から（ｘサイズ−０
．５，ｙサイズ−０．５）まで、図２４におけるピクセル位置発生器４３から受
け取られる取込画像の各ピクセル位置（ｘ，ｙ）に対して繰り返される。ループ
２５６で、ステップ２５７及び２５８が実行される。ステップ２５７で、第ｉ番
目感度レベルに対する検索テーブル・データＬＵＴｉが、ピクセル位置発生器４
３から受け取られるピクセル位置（ｘ，ｙ）と対応する感度レベルに対して感度
パターン・メモリ４０に保存され感度パターン・データＳ（ｘ，ｙ）を参照する
ことで選択される。ステップ２５８で、検索テーブル・データＬＵＴｉは受け取
られたピクセル位置（ｘ，ｙ）での取込画像輝度値Ｉｃ（ｘ，ｙ）に適用され、
受け取られたピクセル位置（ｘ，ｙ）での結果として補償された輝度値がそのピ
クセル位置でのマッピングされた輝度値Ｉｍ（ｘ，ｙ）として指定される。ルー
プ２５６が、ピクセル位置発生器４３から受け取られる（０．５，１）から（ｘ
サイズ−０．５，ｙサイズ−１）までの各オフ−グリッド位置（ｘ’，ｙ’）に
対して繰り返される。図３６における線図３６００で参照されるように、ループ
２５９が繰り返されるオフ−グリッド位置は中間行２６９及びピクセル列２６８
の各交差点に配置されている。ループ２５９においてステップ２６０は実行され
る。ステップ２６０で、関数としての類似逆関数（Ｉｍ，ｘ’，ｙ’）が受け取
られたオフ−グリッド位置（ｘ’，ｙ’）での輝度値Ｂ（ｘ’，ｙ’）を獲得す
べく概算される。関数としての類似逆関数（Ｉｍ，ｘ’，ｙ’）を概算する詳細
は以下に更に説明される。ループ２５９が、オフ−グリッド位置発生器４５から
受け取られる、中間行２６９及びピクセル列２６８の各交差点に配置された各オ
フ−グリッド位置に対して繰り返された後、この算定プロセスはループ２６１へ
進み、そのループが（０，０．５）から（ｘサイズ−１，ｙサイズ−０．５）ま
での各オフ−グリッド位置に対して繰り返される。図３６の線図３６００で参照
されるように、ループ２６１が繰り返されるオフ−グリッド位置は、ピクセル位
置行２６７及び中間列２７０の各交差点に配置されている。さもなければ、ルー
プ２６１の算定プロセスはループ２５９のそれと同等である。ループ２５９が、
オフ−グリッド位置発生器４５から受け取られる、ピクセル行２６７及び中間列
２７０の各交差点に配置されたオフ−グリッド位置各々に対して繰り返された後
、フロー線図３９００によって表される算定プロセスは終了する。
【００７１】 図４０を参照すると、４×４の回転された立方類似逆関数演算を実行する、関
数としての類似逆関数（Ｉｍ，ｘ’，ｙ’）に対する算定プロセスを記載するフ
ロー線図４０００が示されている。第１として、ステップ２６３で値ｓ及び値ｗ
がそれぞれ０に初期化される。ステップ２６３の後、ループ２６４が、該ループ
２６４の各反復において、０から３までの値を有する指標ｉ及びｊを増大するこ
とによって、オフ−グリッド位置発生器４５から受け取られるオフ−グリッド位
置（ｘ’，ｙ’）に最も近い隣接である１６個のピクセル位置（ｕ，ｖ）に対し
て繰り返される。ループ２６４で、ステップ２６５，２６６，２６７，２６８が
実行される。ステップ２６５で、座標ｕ及びｖが、フロー線図４０００における
ステップ２６５を表すブロックに示された関係を用いて、現行受け取られたオフ
−グリッド位置（ｘ’，ｙ’）の座標及び指標ｉ及びｊから算定される。ステッ
プ２６６で、座標ｕ及びｖはピクセル位置であるかについての判定が為される。
もし座標ｕ及びｖがピクセル位置であれば、そのピクセル位置でのマッピングさ
れた輝度値Ｉｍ（ｕ，ｖ）が、ステップｐ２６７で、低閾値θＬ及び高閾値θＨ と比較される。さもなければ、ステップ２６７及び２６８がスキップされ、この
算定プロセスはループ２６４の次の反復へ移動する。もしステップ２６７でマッ
ピングされた輝度値Ｉｍ（ｕ，ｖ）がθＬよりも大きく且つθＨよりも小さけれ
ば、ステップ２６８が実行される。さもなければ、ステップ２６８はスキップさ
れ、プロセスは次のループ２６４の次の反復へ移動する。閾値θＬ及びθＨは所
定定数であり、一般にはピクセル位置（ｕ，ｖ）と対応する感度レベルを有する
光検知素子のマッピングされたノイズ・レベルを表すと共に、同一感度レベルを
有する画像センサにおける光検知素子の飽和或は略飽和輝度値を表す。ステップ
２６８で、値ｓ及びｗはフロー線図４０００におけるステップ２６８を表すブロ
ック内に示された等式に従って更新される。これら等式φｍｎは指標ｍ及びｎで
の４５度回転された立方補間カーネルφを表す。４５度回転された立方補間カー
ネルの一例は図４２における線図４２００に示されている。ループ２６４が指標
ｉ及びｊの全ての値に対して繰り返された後、ステップ２６９は実行される。ス
テップ２６９で関数Ｒｅｓａｍｐｌｅ（Ｉｍ，ｘ’，ｙ’）の値は値ｓを値ｗで
割ることで獲得され、フロー線図４０００で表される算定プロセスは図２４にお
けるオフ−グリッド位置発生器４５から受け取られる次のオフ−グリッド位置（
ｘ’，ｙ’）に対して繰り返される。
【００７２】 ２つの感度レベル例に対するオン−グリッド・リサンプラーのデータ・フロー
線図は、図２８に示される４つの感度レベル例に対するものと同一である。しか
しながら図２８の線図における補間器によって実行される算定において幾つかの
相違がある。４つの感度レベル例におけるように補間器は、受け取られたピクセ
ル位置に最も近い隣接である４×４オフ−グリッド位置での各推定オフ−グリッ
ド輝度値を用いて、図２８におけるピクセル位置発生器３８から受け取られるピ
クセル位置での補間された輝度値を算定する立方補間演算を実行する。しかしな
がら、２つの感度レベルに対する補間フィルタ・カーネルの形状は異なる。図４
１は、黒丸で表現されるオフ−グリッド位置によって表されるピクセル位置のロ
ーカル・エリアでの線図を示している。各ピクセル位置（ｘ，ｙ）での輝度値が
算定されると、図４１における陰影が付けられたダイヤモンド形状領域として示
される、（ｘ−２，ｙ−２）から（ｘ＋２，ｙ＋２）までのダイヤモンド形状エ
リア内における受け取られたピクセル位置（ｘ，ｙ）に最も近い隣接である４×
４オフ−グリッド位置での輝度値との積を形成すべく、４５度回転４×４立方補
間カーネルが適用される。４５度回転４×４立方補間カーネル４２００の一例が
図４２に示されている。２つの感度レベルに対するフィルタ・カーネルが４つの
感度レベルに対するカーネルよりも小型であるので、２つの感度レベルに対する
実施例はより良好な空間的周波数特性となる。
【００７３】 図４３へ移ると、２つの感度レベルに対するオン−グリッド・リサンプラーの
実施例によって実行され得る算定プロセスを記載するフロー線図４３００が示さ
れている。ループ２４２が、位置（２．５，２．５）から位置（ｘサイズ−２．
５，ｙサイズ−２．５）まで、図２８におけるピクセル位置発生器３８から受け
取られる出力画像の各ピクセル位置（ｘ，ｙ）に対して繰り返され、ここでｘ及
びｙはピクセル位置であり、ｘサイズ及びｙサイズはｘ方向及びｙ方向における
取込画像の寸法である。ステップ２４３で、出力画像Ｉｏ（ｘ，ｙ）の受け取ら
れたピクセル位置（ｘ，ｙ）での輝度値は、その受け取られたピクセル位置（ｘ
，ｙ）に最も近い隣接である４×４オフ−グリッド位置での輝度値Ｂと、フロー
線図４３００におけるステップ２４３を表すブロック内に示された等式に従った
４５度回転４×４立方補間カーネルφとの積を算定することで誘導される。出力
画像Ｉ（ｘ−２，ｙ−２）の対応するピクセル位置での算定された輝度値は図２
８における出力画像メモリ２１に保存される。図２８におけるピクセル位置発生
器３８から受け取られる各ピクセル位置に対するループ２４２の反復が完了した
後、フロー線図４３００で表される算定プロセスは終了する。
【００７４】 図２のデータ・フロー線図２００に戻って参照すると、オフ−グリッド推定器
２２が図１５及び図３６に示されるような規則正しいアレイに横たわるオフ−グ
リッド位置での各オフ−グリッド輝度値を誘導する場合、オフ−グリッド輝度値
の規則正しいアレイは、オン−グリッド・リサンプラー２３による更なる処理無
しに、高ダイナミックレンジ出力画像のピクセル輝度値として、出力画像メモリ
２１に直に保存され得ることが留意される。これは図４４のデータ・フロー線図
によって表される本発明の模範的実施例に示されており、オフ−グリッド推定器
２２によって算定された各推定オフ−グリッド輝度値は、引き続く表示或は更な
る処理のために出力画像メモリ２１に直に提供される。推定オフ−グリッド輝度
値に直接的に基づく出力画像は、一般に、オン−グリッド・リサンプラー２２に
よる再標本化を被ったもの程に高品質を有することがないが、品質は幾つかの用
途に対して充分であり得る。
【００７５】 図４５へ移れば、本発明の別の模範的実施例に従ったデータ・フロー線図４５
００が示されており、そこでは、図１６のオフ−グリッド推定器のマッパー３３
及び関連検索テーブル・メモリ３５が、図１６に示された箇所から図２８のオン
−グリッド・リサンプラーの補間器３７後へ移動されている。図１６のオフ−グ
リッド推定器と図２８のオン−グリッド・リサンプラーとの組合せで獲得される
ものと近似的に同一の結果が、図４５の構成を用いて獲得される。
【００７６】 図４６へ移れば、図４５の構成によって実行され得る算定プロセスのフロー線
図４６００が示されている。第１としてループ２４４は、（１，１）から（ｘサ
イズ−１，ｙサイズ−１）まで、図４５におけるオフ−グリッド位置発生器３２
から受け取られる各オフ−グリッド位置（ｘ’，ｙ’）に対して繰り返され、こ
こでｘ’及びｙ’はオフ−グリッド位置の座標であり、ｘサイズ及びｙサイズは
ｘ方向及びｙ方向における取込画像の寸法である。ループ２４４、ステップ２４
５、ループ２４６、並びに、ステップ２４９が実行される。ステップ２４５で、
値ｓは０に初期化される。ループ２４６で、ステップ２４７及び２４８は各ｉ番
目の感度レベルに対して繰り返される。本実施例において、感度レベルの数は４
である。ステップ２４７で、各オフ−グリッド位置（ｘ’，ｙ’）での第ｉ番目
感度レベルに対する感度レベル・オフ−グリッド輝度値ｐｉは、第ｉ番目リサン
プラーの再標本化関数Ｒｅｓａｍｐｌｅｉ（Ｉｃ，Ｓ，ｘ’，ｙ’）によって、
取込画像メモリ２０における取込画像輝度値Ｉｃから誘導され、ここでＳは図４
５における感度パターン・メモリ３４からの感度パターン・データを表す。ステ
ップ２４８で、第ｉ番目の感度レベルｐｉに対する算定された感度レベル・オフ
−グリッド輝度値は、第ｉ番目の感度レベルに対する所定の重み付け係数Ｗｉに
よって乗算される。この乗算の積はｓに合算される。ループ２４６が各感度レベ
ルに対して繰り返された後、ステップ２４９が実行される。ステップ２４９で、
値ｘは図４５におけるオフ−グリッド位置発生器３２から受け取られるオフ−グ
リッド位置（ｘ’，ｙ’）でのオフ−グリッド輝度値Ｂに割り当てられる。ステ
ップ２４９が実行された後、ループ２４４の現行反復が完了される。ループ２４
４がオフ−グリッド位置発生器３２から受け取られる各オフ−グリッド位置に対
して繰り返された後、算定はループ２５０へ進む。ループ２５０が、図４５にお
けるピクセル位置発生器３８から受け取られる、（２．５，２．５）から（ｘサ
イズ−２．５，ｙサイズ−２．５）までの各ピクセル位置（ｘ，ｙ）に対して繰
り返される。ループ２５０において、ステップ２５１及び２５２が実行される。
ステップ２５１で、ピクセル位置（ｘ，ｙ）での補間されたオン−グリッド輝度
値Ｉが、フロー線図４６００におけるステップ２５１を表すブロック内の等式を
用いて、受け取られたピクセル位置（ｘ，ｙ）に最も近い隣接である４×４オフ
−グリッド位置での輝度値と、４×４の立方補間カーネルφとの積を算定するこ
とによって誘導される。ステップ２５２で、関数ＭＡＰ（ＬＵＴ，Ｉ）は概算さ
れてピクセル位置（ｘ−２，ｙ−２）での出力画像Ｉｏ（ｘ−２，ｙ−２）のピ
クセル輝度値を獲得する。関数ＭＡＰ（ＬＵＴ，Ｉ）を概算するこの算定プロセ
スは図１９におけるフロー線図によって記載されている。ループ２５０が図４５
におけるピクセル位置発生器３８から受け取られる各ピクセル位置に対して繰り
返された後、４６００に対するフロー線図によって表される算定プロセスは終了
する。
【００７７】 次に図４を参照すると、本発明の別の模範的実施例のデータ・フロー線図４７
００が示されており、図１の画像処理部２を具現化すべくオン−グリッド補間フ
ィルタ４６を用いている。図４７における線図を図４５における線図と比較する
と、リサンプラー２８，２９，３０，３１、重み付け係数メモリ２４，２５，２
６，２７、感度パターン・メモリ３４、オフ−グリッド輝度値メモリ３６、補間
器３７、オフ−グリッド位置発生器３２、並びに、ピクセル位置発生器３８が、
オン−グリッド補間フィルタ４６及びピクセル位置発生器４７によって置き換わ
っている。フィルタの誘導は次に説明される。
【００７８】 本発明に従えば、オフ−グリッド輝度値Ｂ（ｘ，ｙ）はオフ−グリッド関数ｆ ｏｆｆ （＊）を取込画像輝度値Ｉｃ（ｘ，ｙ）に適用することによって獲得され
、即ち、
【００７９】
【数２５】
【００８０】 図１６乃至図１９によって表されるオフ−グリッド推定器の実施例において、
単色光検知素子応答関数ｓ（Ｅ）に依存するオフ−グリッド輝度値は先ず誘導さ
れ、次いで応答関数独立オフ−グリッド輝度値が応答関数ｓ（Ｅ）の逆関数に対
する検索テーブルを適用することによって回復され、即ち、
【００８１】
【数２６】
【００８２】 ここで
【外１】 は、等式（１）を用いて算定されたような異なる感度レベルを有する光検知素子
の応答関数の重みが付けられた合計を用いることによって感度レベル依存オフ−
グリッド輝度値を獲得するための関数である。
【００８３】 出力画像を獲得するため、オン−グリッド再標本化関数ｆｏｎ（＊）が用いら
れて、従来の再標本化関数ｒ（＊）によってピクセル位置での輝度値を算定する
。それ故に、出力画像は次式の如くに表現される。
【００８４】
【数２７】
【００８５】 もしオリジナルの連続関数が充分に平滑であれば、同一の連続関数が異なる再標
本化データ列から構築され得ることが仮定され得る。この仮定に基づき、
【外２】 は、次式の下、Ｉｏ（ｘ，ｙ）と同等である。
【００８６】
【数２８】
【００８７】
【外３】 及びＩｏは
【外４】 が平滑ではないときに同等ではないが、それにもかかわらず〔外２〕はＩｏ（ｘ
，ｙ）の近似として使用され得る。
【００８８】 関数〔外１〕及びｒ（＊）は単一のフィルタ関数に結合させることができ、そ
の理由はそれら両関数が線形であり、位相シフトに不変であるからである。それ
故に図４７の線図によって表される実施例は、〔外１〕及びｒ（＊）を組み合わ
せるオン−グリッド補間フィルタを用いる。このフィルタは〔外１〕及びｒ（＊ ）の畳み込みによって誘導される。〔外１〕及びｒ（＊）を結合又は組み合わせ
るそうしたフィルタのカーネル４９００の一例が図４９に示されている。フィル
タ・カーネル４８００は、〔外１〕としての図１６乃至図１９のオフ−グリッド
推定器の実施例に対して記載された４つの最も近い隣接ピクセル位置輝度値再標
本化と、ｒ（＊）としての畳み込み立方補間フィルタリングとの単純な平均を用
いて誘導される。
【００８９】 図４８を参照すると、図４７におけるデータ・フロー線図４７００によって表
される画像処理部の実施例で実行される算定プロセスを記載するフロー線図４８
００が示されている。第１としてループ２５３が、（２．５，２．５）から（ｘ
サイズ−２．５，ｙサイズ−２．５）まで、図４７におけるピクセル位置発生器
４７から受け取られる出力画像の各ピクセル位置（ｘ，ｙ）に対して繰り返され
、ここでｘ及びｙはピクセル位置の座標であり、ｘサイズ及びｙサイズはｘ方向
及びｙ方向における取込画像の寸法である。ループ２５３において、ステップ２
５４及び２５５が実行される。ステップ２５４で、補間されたオン−グリッド輝
度値Ｉが、受け取られたピクセル位置（ｘ，ｙ）に最も近い５×５の隣接ピクセ
ル位置での取込画像Ｉｃの輝度値を、５×５のフィルタ・カーネルφで乗算する
ことで算定される。ステップ２５５で、図４７における検索テーブル・メモリ３
５に保存された検索テーブル・データが図４７におけるマッパー３３で算定され
たオン−グリッド輝度値Ｉに適用されて、ピクセル位置（ｘ−２，ｙ−２）での
出力画像Ｉｏ（ｘ−２，ｙ−２）の輝度値を獲得する。ループ２５３が図４７に
おけるピクセル位置発生器４７から受け取られる各出力画像ピクセル位置に対し
て繰り返された後、フロー線図４８００によって表された算定プロセスは終了す
る。フロー線図４８００で表されたプロセスを用いて、ｘサイズ−４及びｙサイ
ズ−４の寸法を具備する出力画像が獲得される。
【００９０】 本発明は、ライン画像を取り込む光検知素子から成る線形アレイを有する線形
画像センサに適用され得る。ＣＣＤ線形画像センサを含むそうした線形画像セン
サは、２次元画像センサよりも、所与の方向に沿ったより多数の光検知素子によ
って利用可能である。従って、線形画像センサは、１シーンの線形画像センサに
よるスキャニングが実現可能であり、そのシーンの連続的に規則正しく離間され
た複数の線形領域から成る順次取り込まれたライン画像が鎖状につなげられるよ
うな用途において、より大きな解像度の２次元画像を提供するように使用され得
る。線形画像センサがシーンをスキャンして、２次元画像用に鎖状に連結され得
るライン画像を順次取り込む様々な方法の例が図５０に図示されている。図５０
を参照すると、線形画像センサ２７６及びレンズ系２７７を有する結像システム
が示されており、対象２７８を有するシーンの線形領域３１０のライン画像を線
形画像センサの光検知素子（不図示）上に投影する。この結像システムは、同図
における結像システムの移動を示す矢印によって示されるように、そのシーンに
対して一定速度で移動（平行移動及び／或は回転）させられる。シーンのライン
画像は、露出信号の規則正しいシーケンス（不図示）を移動中の線形画像センサ
２７６に付与することによって、規則正しい連続的な間隔で取り込まれる。順次
取り込まれた線形画像が鎖状に結合され得て、そのシーンの単一の高解像度２次
元画像を形成する。
【００９１】 図５１へ移ると、線形画像センサ２７６及びレンズ系２７７を含む結合システ
ムが示されている。この結像システムは、一定速度で当該結像システムを通過移
動する対象２８０及び２８１を運ぶコンベヤーベルト２７９を含んでいるシーン
に対して静止状態に保持されている。そのシーンの連続的な規則正しい離間線形
領域３１１のライン画像は、露出信号（不図示）の規則正しいシーケンスを線形
画像センサ２７６に付与することによって、規則正しい間隔で順次取り込まれる
。順次取り込まれたライン画像は再び鎖状に結合され得て、対象２８０及び２８
１を運ぶコンベヤーベルト２７９の１区分の２次元画像を形成する。
【００９２】 本発明に従えば、線形画像センサ２７６は空間的変動感度パターンを有する。
図５２を参照すると、２つの異なる透明性を有するセル２８２及び２８３を有す
る図式的な線形マスク５２００が示されている。マスク５２００の各セルは線形
画像センサの光検知素子の内の対応する１つの前方に配置させて、センサのその
光検知素子が、マスク５２００によって規定された光検知素子から成る線形アレ
イの所定感度パターンに従った２つの感度レベルの対応する１つを有するように
為している。
【００９３】 シーンからの入射光に応じて、線形画像センサの各光検知素子は、線形ピクセ
ル位置アレイの規則正しく離間された多数のピクセル位置の内の対応する１つに
おける取込画像輝度値を作り出し、それによって線形画像を取り込んでいる。線
形画像センサによって取り込まれた連続ライン画像（複数）が鎖状に結合される
と、複数の規則正しく離間されたピクセル行と、該ピクセル行に対して直交する
複数の規則正しく離間されたピクセル列との各交差点に配置されたピクセル位置
の２次元アレイが獲得され、各ピクセル位置は、鎖状結合されたライン画像の内
の対応する１つにおける同一ピクセル位置での光検知素子で作り出された輝度値
を有し、該輝度値は、図５３の鎖状結合された露出マスクによって図式的に規定
された２次元感度パターンに従った光検知素子の２つの感度レベルの内の１つと
対応している。理解して頂けるように、線形画像センサの光検知素子は３つ以上
の感度レベルを有することができ、各光検知素子の感度レベルはマスク以外の手
段によって設定され得る。
【００９４】 図３７に戻って参照すると、鎖状結合された２次元取込画像の各ピクセル位置
での取込画像輝度値は取込画像メモリ２０に保存され得て、図５３によって図式
的に表現された空間的変動感度パターンは感度パターン・メモリ３４に保存され
得る。オフ−グリッド輝度値は図３７に示されたデータ・フロー線図に従って推
定され得て、オフ−グリッド位置アレイは図５４に図式的に示された線形オフ−
グリッド位置アレイの鎖状結合であり得て、そこでは各オフ−グリッド位置２８
６がピクセル位置２８５の各隣接対の間の中間に配置されている。
【００９５】 また、図２４のデータ・フロー線図と、異なるオフ−グリッド位置アレイを考
慮すべく適切な変更を具備した、図２５及び図３０のフロー線図３９００及び４
０００によって記載された算定プロセスとは、取込画像メモリ２０における鎖状
結合された２次元取込画像輝度値から、オフ−グリッド位置輝度値を推定すべく
使用され得る。各オフ−グリッド位置での推定されたオフ−グリッド輝度値は図
４４に従って出力画像のピクセル輝度値として直接的に使用され得るか、或は、
図２８のデータ・フロー線図に従った推定オフ−グリッド輝度値のオン−グリッ
ド再標本化と、異なるオフ−グリッド位置アレイを考慮すべく適切な変更を具備
した図３０のフロー線図３０００によって記載された算定プロセスとは、出力画
像の各ピクセル位置での再標本化されたオン−グリッド輝度値を誘導すべく使用
され得、その再標本化オン−グリッド輝度値は出力画像メモリ２１に保存された
出力画像のピクセル輝度値である。
【００９６】 図４５及び図４６を参照すると、取込画像メモリ２０に保存された鎖状結合取
込ライン画像の各ピクセル位置での取込画像輝度値は、図４６のフロー線図４６
００によって記載された算定プロセスを用いて、図４５のデータ・フロー線図４
５００に従って処理され得て、出力画像メモリ２１に保存されるべく出力画像の
各ピクセル位置での再標本化輝度値を誘導する。そうした処理を実行するため、
データ・フロー線図４５００及び算定フロー線図４６００は変更されて、２つの
感度レベルを有する光検知素子を具備する画像センサの使用と、異なるオフ−グ
リッド位置アレイの使用とを考慮する。
【００９７】 図４７及び図４８を参照すると、取込画像メモリ２０に保存された鎖状結合取
込ライン画像の各ピクセル位置での取込画像輝度値は、図４８のデータ・フロー
線図４７００で記載された算定プロセスを用いて、図４７のデータ・フロー線図
４７００に従って処理され得て、出力画像メモリ２１に保存されるべき出力画像
の各ピクセル位置での補償され補間された輝度値を誘導する。そうした処理を実
行するため、データ・フロー線図４７００及びフロー線図４８００は変更されて
、２つの感度レベルを有する光検知素子を具備する画像センサの使用を考慮する
。２つの感度レベルを有する光検知素子の組合せ応答関数の逆関数を表す検索テ
ーブル３５に保存されたデータに逆る変更を別として、これら変更もフロー線図
４８００によって記載された算定プロセスで使用されるべき異なるフィルタ・カ
ーネルφを生ずる。
【００９８】 鎖状結合された取込ライン画像を処理する代替として、各ライン画像は個別に
処理され得て、オフ−グリッド位置での輝度値を推定することによって高ダイナ
ミックレンジ・ライン画像を誘導し、それらオフ−グリッド位置は線形ピクセル
位置アレイに対してピクセル位置の各隣接対の間に配置される。処理されたライ
ン画像は次いで鎖状に結合されて、高ダイナミックレンジの２次元画像を獲得す
る。各ライン画像の個別処理は、２次元画像の処理と比べてより少ない算定強度
であり、それ故にライン画像が取り込まれるとリアルタイムで処理可能である。
図５４へ移ると、正方形によって表されたピクセル位置２８５の例示的な行と、
円形で表された「オフ−グリッド」位置２８６とが示されており、各オフ−グリ
ッド位置２８６がピクセル位置２８５の各隣接対の間の中間に配置されている。
１つの模範的実施例に従えば、各オフ−グリッド位置２８６での輝度値は、オフ
−グリッド位置の予め規定された近所内におけるピクセル位置２８５での取込画
像輝度値の重みが付けられた平均を算定することで誘導され得る。線形画像セン
サが２つの異なる感度レベルの光検知素子を有する場合、ピクセル位置の連続的
な隣接対の全てにおける取込画像輝度値が平均されて、それらピクセル位置の連
続的な隣接対の間でのオフ−グリッド位置での推定輝度値を獲得する。このよう
にして、オフ−グリッド位置ｘ’での輝度値Ｂ（ｘ’）は次式の如くに表現され
得る。
【００９９】
【数２９】
【０１００】 上式において、Ｗ１及びＷ２は２つの異なる感度レベルに割り当てられた重み付
け係数である。結果としてのオフ−グリッド輝度値は高ダイナミックレンジの１
次元画像を表す。算定されたオフ−グリッド輝度値が、それぞれ、光検知素子の
組合せ応答関数の逆関数で補償される。この組合せ応答関数は次式の如くに表現
される。
【０１０１】
【数３０】
【０１０２】 ここで、Ｐ１（Ｅ）は２つの感度レベルの内の一方を有する線形画像センサにお
ける光検知素子のラジオメトリック応答関数であり、Ｐ２（Ｅ）は２つの感度レ
ベルの内の他方を有する線形画像センサにおける光検知素子のラジオメトリック
応答関数であり、Ｗ１及びＷ２は２つの異なる感度レベルに割り当てられた重み
付け係数である。２次元例の場合のように、マッパー及び検索テーブル・メモリ
を用いて、光検知素子の組合せ応答関数の逆関数による推定オフ−グリッド輝度
値の補償は、そうしたオフ−グリッド輝度値をシーン放射輝度に線形に関連され
たものに再マッピングを為す。
【０１０３】 図５５を参照すると、図５４におけるオフ−グリッド位置２８６での推定輝度
値を誘導するための算定プロセスを記載するフロー線図５５００が示されている
。このフロー線図５５００で記載された算定プロセスは、図２４のデータ・フロ
ー線図２４００で表されるオフ−グリッド推定器によって実行される。図２４を
参照すると、ピクセル位置発生器４３は、図５４に示された線形ピクセル位置ア
レイにおけるピクセル位置２８５の位置を提供する。感度パターン・メモリ４０
は、図５２における例示的マスク５２００によって規定されたように、各ピクセ
ル位置と対応する感度レベルを保存する。検索テーブル・メモリ３９は、２つの
感度レベルを有する光検知素子の各逆応答関数データを表すデータを保存する。
オフ−グリッド位置発生器４６は、図５４に示されたオフ−グリッド位置アレイ
におけるオフ−グリッド位置２８６を提供する。
【０１０４】 図５５に戻ると先ずループ２８７が、図２４におけるピクセル位置発生器４３
から受け取られる、０．５からｘサイズ−０．５までの線形ピクセル位置アレイ
における各ピクセル位置ｘに対して繰り返されるが、ここでｘサイズ−０．５は
ライン画像の長さである。ループ２８７において、ステップ２８８及び２８９が
実行される。ステップ２８８で、第ｉ番目の感度レベルに対する検索テーブル・
データＬＵＴｉが受け取られたピクセル位置ｘと対応する感度レベルｉを参照す
ることで選択される。受け取られたピクセル位置ｘと対応する感度レベルは図２
４における感度パターン・メモリ４０に保存された感度パターン・データＳ（ｘ
）から獲得される。ステップ２８９で、図２４における検索テーブル・メモリ３
９に保存された検索テーブル・データＬＵＴｉが図２４におけるマッパー４２に
よって、図２４における取込画像メモリ２０から受け取られたピクセル位置ｘで
の取込画像輝度値Ｉｃ（ｘ）に適用される。検索テーブル・データＬＵＴｉから
誘導された感度レベルｉを有する光検知素子の応答関数の逆関数によって補償さ
れた、受け取られたピクセル位置ｘでの輝度値は、Ｉｍ（ｘ）によって指定され
る。ループ２８７が図２４におけるピクセル位置発生器４３から受け取られる各
ピクセル位置に対して繰り返された後、ループ２９０が図２４におけるオフ−グ
リッド位置発生器４５から受け取られる２からｘサイズ−２までの各オフ−グリ
ッド位置ｘ’に対して繰り返される。ループ２９０において、ステップ２９１、
ループ２９２、並びに、ステップ２９３が実行される。ステップ２９１で値ｐ及
び値ｑが、それぞれ、０に初期化される。ステップ２９１の後にループ２９２が
、受け取られたオフ−グリッド位置ｘ’に最も近い隣接である所定数のピクセル
位置の内の１つである各ピクセル位置ｋに対して繰り返される。図５５のフロー
線図５５００によって記載された算定プロセスにおいて、所定数の最も近い隣接
ピクセル位置は４つであり、ｋは（ｘ’−１．５）から（ｘ’＋１．５）までの
値を有する。ループ２９２において、ステップ２９４及び２９５が実行される。
ステップ２９４で、ピクセル位置ｋでの補償された取込画像輝度値Ｉｍ（ｋ）は
低閾値θＬと高閾値θＨと比較される。もしＩｍ（ｋ）がθＬよりも大きく且つ
θＨよりも小さければ、ステップ２９５が実行される。さもなければ、ステップ
２９２は次の反復へ進む。ステップ２９５で、Ｉｍ（ｋ）は位置（ｋ−ｘ’）で
の４×１ガウシアン補間カーネルＧ（ｋ−ｘ’）の値で乗算され、その積が量ｐ
に合算される。加えて、ガウシアン補間カーネルＧ（ｋ−ｘ’）の値が量ｑに合
算される。ループ２９２がｋの各値に対して繰り返された後、ステップ２９３が
実行される。ステップ２９３で、受け取られたオフ−グリッド位置ｘ’でのオフ
−グリッド輝度値Ｂ（ｘ’）が値ｐを値ｑで割ることによって算定され、ループ
２９０が図２４におけるオフ−グリッド位置発生器４５から受け取られる次のオ
フ−グリッド位置へ進む。ループ２９０がオフ−グリッド位置アレイにおける各
オフ−グリッド位置ｘ’に対して繰り返された後、フロー線図５５００で記載さ
れた算定プロセスは終了する。閾値θＬ及びθＨは所定の定数値であり、一般的
には、光検知素子の応答関数の逆関数によって補償されたピクセル位置ｋと対応
している感度レベルを有する光検知素子のノイズ・レベルを表すと共に、同一感
度レベルを有する光検知素子の飽和或は略飽和値を表す。フロー線図５５００で
記載された算定プロセスに使用され得る４×１ガウシアン・カーネル５６００の
一例は図５５に示され、これには、ガウシアン・カーネル５６００の中心が補間
に含まれる４×１ピクセル位置アレイの中心であることが仮定されている。
【０１０５】 オフ−グリッド位置での推定オフ−グリッド輝度値各々は出力画像のピクセル
輝度値として直に使用され得ると共に、図２４における出力画像メモリ３６に保
存され得る。代替的には、オフ−グリッド輝度値は様々な補間技法の内の１つを
用いて再標本化され得て、次いで出力画像のピクセル位置輝度値として出力画像
メモリに保存されることになる、再標本化されたピクセル位置輝度値を獲得する
。
【０１０６】 図２８に戻って参照すると、ピクセル位置での各再標本化輝度値を誘導すべく
推定されたオフ−グリッド輝度値の再標本化は、２８００のデータ・フロー線図
に従って為され得る。補間器３７は、ピクセル位置発生器３８から、図５４に図
示された線形ピクセル位置アレイにおけるピクセル位置を受け取る。受け取られ
た各ピクセル位置に対して、補間器３７は、オフ−グリッド輝度値メモリ３６に
保存された推定オフ−グリッド輝度値から、受け取られたピクセル位置での補間
された輝度値を誘導し、次いでそれは出力画像メモリ２１へ提供される。図５７
へ移ると、図２８における補間器３７によって実行され得る算定プロセスを記載
するフロー線図５７００が示されている。この算定プロセスは、ステップ２９８
を含むループ２９７を有する。ループ２９７は、図２８におけるピクセル位置発
生器３８から受け取られる、３．５からｘサイズ−３．５までの出力画像におけ
る各ピクセル位置ｘに対して繰り返されるが、ここでｘサイズは取り込まれたラ
イン画像の長さである。ステップ２９８で出力画像Ｉｏ（ｘ−３）の輝度値は、
受け取られたピクセル位置ｘに最も近い４つの隣接オフ−グリッド位置での輝度
値と、４×１立方補間カーネルΨとの積を算定することによって誘導される。ピ
クセル位置（ｘ−３）での算定されたオン−グリッド輝度値Ｉｏ（ｘ−３）は、
図２８の出力画像メモリ２１における出力画像の対応するピクセル位置での輝度
値として保存される。ループ２９７が図２８におけるピクセル位置発生器３８か
ら受け取られた３．５からｘサイズ−３．５までの各ピクセル位置に対して繰り
返された後、フロー線図５７００によって記載された算定プロセスは終了する。
フロー線図５７００で記載された算定プロセスに使用され得る立方補間カーネル
Ψ（ｋ）５８００の一例は図５８に示されている。
【０１０７】 ライン出力画像のオン−グリッド輝度値を誘導すべく、取込ライン画像を処理
する本発明の別の実施例は図４７のデータ・フロー線図４７００で表されている
。図４７を参照すると、図５４に図示された線形ピクセル位置アレイにおける各
ピクセル位置での取込画像輝度値は、取込画像メモリ２０に保存されている。オ
ン−グリッド補間フィルタ４６はピクセル位置発生器４７から線形ピクセル位置
アレイにおけるピクセル位置を受け取る。ピクセル位置発生器４７から受け取ら
れる各ピクセル位置に対して、フィルタ４６はとり込み画像メモリ２０内の取込
画像輝度値を補間して、受け取られたピクセル位置における補間されたオン−グ
リッド輝度値を誘導する。補間オン−グリッド輝度値は、次いで、画像センサ（
不図示）における光検知素子の組合せ応答関数の逆関数によって補償され、その
補償された補間オン−グリッド輝度値は、ピクセル位置発生器４７から受け取ら
れたピクセル位置での出力ライン画像輝度値として、出力画像メモリ２１に保存
される。
【０１０８】 図５９を参照すると、図１のデータ・フロー線図の画像処理部２の更なる実施
例を表すデータ・フロー線図５９００が示されている。取り込まれたライン画像
を処理すべく使用される際、図５９の画像処理部は、０．５からｘサイズ−０．
５までの、図５４に図示された線形ピクセル位置アレイにおけるピクセル位置を
順次発生する第１ピクセル位置発生器４３を含み、ここでｘサイズはライン画像
の長さである。図５９の画像処理部は、線形ピクセル位置アレイにおける各ピク
セル位置と対応する感度レベルを保存する感度パターン・メモリ４０、マッパー
４２、感度レベルの内の異なるものを有する光検知素子の応答関数の逆関数を表
している個別検索テーブル・データを保存する関連検索テーブル・メモリ３９、
ピクセル位置と対応している感度レベルを有する光検知素子の応答関数の逆関数
による補償後の各ピクセル位置での取込画像輝度値を保存するマッピングされた
ピクセル位置輝度値メモリ４１、２．５からｘサイズ−２．５までのピクセル位
置アレイにおけるピクセル位置を発生する第２ピクセル位置発生器４７、並びに
、第２ピクセル位置発生器４３からピクセル位置を受け取るオン−グリッド補間
フィルタ４６であり、マッピングされたピクセル位置輝度値メモリ４１における
各ピクセル位置での補償された取込画像輝度値を補間して、第２ピクセル位置発
生器４７から受け取られる各ピクセル位置に対するオン−グリッド補間輝度値を
誘導するオン−グリッド補間フィルタ４６をも含む。線形ピクセル位置アレイに
おける各ピクセル位置でのオン−グリッド補間輝度値は、出力ライン画像のピク
セル輝度値として、出力画像メモリ２１に保存される。留意されることは、図５
９のデータ・フロー線図５９００によって表される画像処理部の実施例が、２次
元ピクセル位置アレイ、２威厳感度パターン、並びに、２次元オン−グリッド補
間フィルタを考慮した適切な変更を伴って、２次元取込画像を処理すべく使用さ
れ得ることである。
【０１０９】 図６０へ移れば、取込ライン画像を処理するため、図５９のデータ・フロー線
図５９００によって表される画像処理部の実施例によって実行され得る算定プロ
セスを記載するフロー線図６０００が示されている。第１としてループ２９９は
、０．５からｘサイズ−０．５まで、図５９における第１ピクセル位置発生器４
３から受け取られる各ピクセル位置に対して繰り返され、ここでｘサイズは取込
ライン画像の長さである。ループ２９９において、ステップ３０１及び３０２が
実行される。ステップ３０１で、図５９における検索テーブル・メモリ３９に保
存された第ｉ番目の感度レベルに対する検索テーブル・データＬＵＴｉは、図５
９における第１ピクセル位置発生器４３から受け取られるピクセル位置ｘと対応
している感度レベルに対して、図５９における感度パターン・メモリ４０に保存
された感度パターン・データＳ（ｘ）を参照することで選択される。ステップ３
０２で、検索テーブル・データＬＵＴｉは図５９におけるマッパー４２によって
受け取られたピクセル位置ｘでの取込画像輝度値Ｉｃ（ｘ）に適用され、受け取
られたピクセル位置ｘでの結果として補償された取込画像輝度値はそのピクセル
位置でのマッピングされた輝度値Ｉｍ（ｘ）として指定される。ループ２９９が
第１ピクセル位置発生器４３から受け取られるピクセル位置アレイにおけるピク
セル位置の全てに対して繰り返された後、算定プロセスはループ３０３へ進む。
ループ３０３は２．５からｘサイズ−２．５までの各ピクセル位置に対して繰り
返される。ループ３０３において、ステップ３０４、ループ３０５、並びに、ス
テップ３０６が実行される。ステップ３０４で、量ｐ及びｑがそれぞれ０にセッ
トされる。ステップ３０４後、ｋ＝ｘ−２からｋ＝ｘ＋２まで、ループ３０５の
各反復でピクセル位置ｋを増分することで、第２ピクセル位置発生器４７から受
け取られるピクセル位置ｘに最も近い隣接である５個のピクセル位置ｋに対して
、ループ３０５が繰り返される。ループ３０５において、ステップ３０７，３０
８，３０９が実行される。ステップ３０５で、ピクセル位置ｋでのマッピングさ
れた輝度値Ｉｍ（ｋ）は低閾値θＬと高閾値θＨと比較される。もしＩｍ（ｋ）
がθＬよりも大きく且つθＨよりも小さければ、ステップ３０８が実行される。
さもなければ、ループ３０５はｋの次の値へ進む。ステップ３０８で、Ｉｍ（ｋ
）は位置（ｋ−ｘ）での線形ガウシアン補間カーネルＧ（ｋ−ｘ）の値で乗算さ
れ、その積が量ｐに合算される。加えて、位置（ｋ−ｘ）でのガウシアン補間カ
ーネルＧ（ｋ−ｘ）の値が量ｑに合算される。ループ３０５がｋ＝ｘ−２からｋ
＝ｘ＋２までのｋの各値に対して繰り返された後、ステップ３０６が実行される
。ステップ３０６で、第２ピクセル位置発生器４７から受け取られたピクセル位
置ｘでの出力画像輝度値Ｉｏ（ｘ）が値ｐを値ｑで割ることによって算定される
。次いでループ３０３は第２ピクセル位置発生器４７から受け取られる次のピク
セル位置へ進む。ループ３０３が２＝２．５からｘ＝ｘサイズ−２．５までの各
ピクセル位置に対して繰り返された後、フロー線図６０００で記載された算定プ
ロセスは終了する。閾値θＬ及びθＨは所定の定数値であり、一般的には、光検
知素子の応答関数の逆関数によって補償されたピクセル位置ｋと対応している感
度レベルを有する光検知素子のノイズ・レベルを表すと共に、同一感度レベルを
有する光検知素子の飽和或は略飽和値を表す。フロー線図６０００で記載された
算定プロセスに使用され得る５×１ガウシアン・カーネルＧ（ｋ）の一例は図６
１に示されている。
【０１１０】 以上、本発明はその模範的実施例を参照して詳細に説明されたが、当業者であ
れば理解して頂けるように、様々な変更及び改変が本発明の精神及び範囲から逸
脱すること無しに為され得る。例えば、画像センサは電荷結合素子である必要性
はなく、ＣＭＯＳ画像センサ等の光検知素子から成るアレイを有する任意の画像
センサであることが可能である。従って、本発明の開示された実施例は単なる例
示として考えられ、本発明はその範囲に関して特許請求の範囲で指定されたもの
のみに限定される。
【図面の簡単な説明】
【図１】 図１は、本発明に係る高ダイナミックレンジ画像を獲得するシステム
を表すデータ・フロー線図である。
【図２】 図２は、本発明の模範的な実施例に係る、図１のデータ・フロー線図
における画像処理部を表すデータ・フロー線図である。
【図３】 図３は、本発明に係る模範的なシステムのハードウェア構成要素を示
すブロック線図である。
【図４】 図４は、４つのセルから成る群の空間的繰り返しを有する例示的なマ
スクを示し、各群の各セルが共通した所定位置順序で異なる透明性を有している
。
【図５】 図５は、図４のマスクにおける所定位置順序での異なる透明性を有す
る４つのセルから成る群である。
【図６】 図６は、本発明に係るマスクされた画像センサを用いて、明るい対象
と暗い対象とを有するシーンの取込を図示する。
【図７】 図７は、本発明に係るマスクされた画像センサによるシーンの取込画
像の例示的な表示である。
【図８】 図８は、光検知素子と典型的な電荷結合素子画像センサの関連構造と
の断面の概略的な表示である。
【図９】 図９は、２つの隣接光検知素子と電荷結合素子画像センサの関連構造
との断面の概略的表示であり、光検知素子に異なる感度レベルを提供する技術を
図示している。
【図１０】 図１０は、２つの隣接光検知素子と電荷結合素子画像センサの関連
構造との断面の概略的表示であり、光検知素子に異なる感度レベルを提供する別
の技術を図示している。
【図１１】 図１１は、２つの隣接光検知素子と電荷結合素子画像センサの関連
構造との断面の概略的表示であり、光検知素子に異なる感度レベルを提供する更
なる別の技術を図示している。
【図１２】 図１２は、光検知素子に異なる感度レベルを提供するために、それ
ぞれの光検知素子に対してリセット・トリガー・パルス及び転送トリガー・パル
スを付与する端子を示している行間挿入構造を有する簡略化された電荷結合素子
画像センサの概略表示である。
【図１３】 図１３は、典型的な電荷結合素子画像センサの光検知素子、その関
連構造、並びに、対応する垂直シフトレジスタの断面の概略表示であり、リセッ
ト・トリガー信号の付与による保存光発生電荷の降下と、転送トリガー信号の付
与による保存光発生電荷の各シフトレジスタ段への転送とを図示している。
【図１４】 図１４は、４つのフォトダイオードに対する露出パルス、リセット
・トリガー・パルス、転送トリガー・パルスの波形と、図１３に示された簡素化
された電荷結合素子画像センサに対する４つのフォトダイオード各々に保存され
た電荷の大きさとを示すタイミング線図を示す。
【図１５】 図１５は、複数の規則正しく離間されたピクセル行と、該ピクセル
行と直交して複数の規則正しく離間されたピクセル列との各交差点に配置された
ピクセル位置、並びに、複数の規則正しく離間された中間行と複数の規則正しく
離間された中間列との各交差点に配置されたオフ−グリッド位置を図式的に示す
線図である。
【図１６】 図１６は、本発明の別の模範的な実施例に従った、図２の線図にお
けるオフ−グリッド推定器のデータ・フロー線図である。
【図１７】 図１７は、図１６のオフ−グリッド推定器の実施例によって実行さ
れ得る算定プロセスを記載するフロー線図である。
【図１８】 図１８は、図１７のフロー線図によって記載される算定プロセスに
使用されるＲｅｓａｍｐｌｅｉ（Ｉｃ，Ｓ，ｘ，ｙ）を概算する算定プロセスを
記載するフロー線図である。
【図１９】 図１９は、図１７のフロー線図によって記載される算定プロセスに
使用されるＭａｐ（ＬＵＴ，ｓ）を概算する算定プロセスを記載するフロー線図
である。
【図２０】 図２０は、４つの異なる感度レベルを有する４つの光検知素子のラ
ジオメトリック応答関数の例を図式的に示す。
【図２１】 図２１は、図２０に示された４つの異なる感度レベルを有する光検
知素子の模範的なラジオメトリック応答関数の重み付けされた合計を算定するこ
とで誘導された、光検知素子の模範的な組合せラジオメトリック応答関数を図式
的に示す。
【図２２】 図２２は、図２１の組み合わされたラジオメトリック応答関数の逆
関数から誘導された検索テーブル・データを図式的に示す。
【図２３】 図２３は、ガンマ特性が含まれた組合せラジオメトリック応答関数
の逆関数に対する検索テーブル・データを図式的に示す。
【図２４】 図２４は、本発明の更なる別の模範的な実施例に従った、図２の線
図におけるオフ−グリッド推定器のデータ・フロー線図である。
【図２５】 図２５は、図２４のデータ・フロー線図によって表されるオフ−グ
リッド推定器の実施例によって実行され得る算定プロセスを記載するフロー線図
である。
【図２６】 図２６は、図２４のデータ・フロー線図によって表されるオフ−グ
リッド推定器の実施例によって実行され得る代替的な算定プロセスを記載するフ
ロー線図である。
【図２７】 図２７は、４×４立方補間フィルタ・カーネルの一例を示す。
【図２８】 図２８は、本発明の更なる別の模範的な実施例に従った、図２のデ
ータ・フロー線図のオン−グリッド・リサンプラーのデータ・フロー線図である
。
【図２９】 図２９は、４×４立方補間フィルタを用いるオン−グリッド・リサ
ンプラーを説明するピクセル位置及びオフ−グリッド位置の線図である。
【図３０】 図３０は、図２８のデータ・フロー線図によって表されるオン−グ
リッド・リサンプラーの実施例によって実行され得る算定プロセスを記載するフ
ロー線図である。
【図３１】 図３１は、双立方Ｂ−スプライン補間フィルタ・カーネルの一例を
示す。
【図３２】 図３２は、双線形Ｂ−スプライン補間フィルタ・カーネルの一例を
示す。
【図３３】 図３３は、６×６の２次元ガウシアン補間フィルタ・カーネルの一
例を示す。
【図３４】 図３４は、単純なシフト・フィルタ・カーネルの一例を示す。
【図３５】 図３５は、画像センサに２つの感度レベルを具備する空間的変動感
度パターンを提供する、２つの異なる透明性を伴うセルを有する例示的なマスク
を示す。
【図３６】 図３６は、複数の規則正しく離間されたピクセル行と該ピクセル行
と直交して複数の規則正しく離間されたピクセル列との各交差点に配置されたピ
クセル位置、ピクセル行と複数の規則正しく離間された中間列との各交差点に配
置されたオフ−グリッド位置、並びに、ピクセル列と複数の規則正しく離間され
た中間行との各交差点に配置されたオフ−グリッド位置を図式的に示す線図であ
る。
【図３７】 図３７は、本発明の更なる模範的な実施例に従った、２つの感度レ
ベルを有する画像センサに対する、図２のデータ・フロー線図のオフ−グリッド
推定器のデータ・フロー線図である。
【図３８】 図３８は、図３７のフロー線図によって表される２つの感度レベル
に対するオフ−グリッド推定器の実施例によって実行され得る算定プロセスを記
載するフロー線図である。
【図３９】 図３９は、本発明に従って、２つの感度レベル・オフ−グリッド推
定器の模範的な実施例に立方類似逆推定器を提供するために、図２４のデータ・
フロー線図によって表される模範的な実施例によって実施され得る算定プロセス
を記載するフロー線図である。
【図４０】 図４０は、図３９のフロー線図に記載された算定プロセスに使用さ
れる関数であるＰｓｅｕｄｏｉｎｖｅｒｓｅ（Ｉｍ，ｘ’，ｙ’）を概算する算
定プロセスを記載するフロー線図である。
【図４１】 図４１は、本発明に従った２つの感度レベルに対するオン−グリッ
ド・リサンプラーの模範的な実施例に対する、４５度回転立方補間フィルタ・カ
ーネルを用いて、オン−グリッド再標本化を説明するピクセル位置及びオフ−グ
リッド位置の陰影付け領域を示す線図である。
【図４２】 図４２は、２つの感度レベルに対するオン−グリッド・リサンプラ
ーの模範的な実施例に対する、図４０のフロー線図によって記載される算定プロ
セスに使用され得る４５度回転立方補間フィルタ・カーネルの一例を示す。
【図４３】 図４３は、本発明に従った２つの感度レベルに対するオン−グリッ
ド・リサンプラーの模範的な実施例を獲得するために、図２８のデータ・フロー
線図によって表される算定プロセスを記載するフロー線図である。
【図４４】 図４４は、図１のデータ・フロー線図の画像処理部の更なる模範的
な実施例のデータ・フロー線図である。
【図４５】 図４５は、４つの感度レベルに対する、図１のデータ・フロー線図
の画像処理部の更なる模範的な実施例の詳細なデータ・フロー線図である。
【図４６】 図４６は、図４５のデータ・フロー線図によって表される画像処理
部の模範的な実施例によって実行され得る算定プロセスを記載するフロー線図で
ある。
【図４７】 図４７は、図１のデータ・フロー線図の画像処理部の更に別の模範
的な実施例のデータ・フロー線図である。
【図４８】 図４８は、図４７のフロー線図によって表される画像処理部の模範
的な実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図４９】 図４９は、図４８のフロー線図によって記載された算定プロセスに
使用され得る５×５フィルタ・カーネルの一例を示す。
【図５０】 図５０は、線形画像センサを有する結像システムによるシーンの連
続的なライン画像の取込を図示しており、該結像システムはそのシーンに対して
一定速度で移動することによってそのシーンをスキャンし、前記画像センサは一
定の時間間隔でそのシーンの逐次露出を採用している。
【図５１】 図５１は、静止状態の結像システムを一定速度で通過するように移
動するコンベヤベルト上の対象の連続的なライン画像の取込を図示しており、該
システムは一定の時間間隔でコンベヤベルト及び対象の逐次露出を採用する線形
画像センサを有する。
【図５２】 図５２は、線形画像センサに２つの感度レベルを具備する空間的変
動感度パターンを提供するために、２つの異なる透明性を具備するセルを有する
例示的な露出マスクを示す。
【図５３】 図５３は、図５２の露出マスクによって規定される１次元空間的変
動感度パターンを有する線形画像センサで取り込まれた連続的なライン画像を鎖
状に結合することで形成される２次元画像の２次元空間的変動感度パターンを表
す、図５２の露出マスクの鎖状結合を例示的に示す。
【図５４】 図５４は、ピクセル（オン−グリッド）位置及びオフ−グリッド位
置の線形アレイを例示的に示す線図である。
【図５５】 図５５は、２つの感度レベルの光検知素子を有する線形画像センサ
によって取り込まれたライン画像のために、図２４のフロー線図によって表され
るオフ−グリッド推定器の実施例によって実行され得る算定プロセスを記載する
フロー線図である。
【図５６】 図５６は、図５５のフロー線図によって記載される算定プロセスに
使用され得る４×１の１次元ガウシアン補間カーネルの一例を示す。
【図５７】 図５７は、１次元出力画像のオン−グリッド輝度値を誘導するため
に、図２８のデータ・フロー線図によって表されるオン−グリッド・リサンプラ
ーの実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図５８】 図５８は、図５７のフロー線図によって記載される算定プロセスに
使用され得る４×１の１次元の立方補間カーネルの一例を示す。
【図５９】 図５９は、図１のデータ・フロー線図の画像処理部の更なる別の模
範的な実施例を表すデータ・フロー線図である。
【図６０】 図６０は、線形出力画像のオン−グリッド輝度値を誘導すべく、図
５９のデータ・フロー線図によって表される画像処理部の実施例によって実行さ
れ得る算定プロセスを記載するフロー線図である。
【図６１】 図６１は、図６０のフロー線図によって記載される算定プロセスに
使用され得る５×１のオン−グリッド補間フィルタ・カーネルの一例を示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 光永 知生 アメリカ合衆国 ニューヨーク州 10023 ニューヨーク ウェスト 第69 ストリ ート 140 Ｆターム(参考） 5C024 CX43 EX43 EX51 GY01 HX58 JX35

Claims (172)

    【特許請求の範囲】
  1. 【請求項１】 １シーンの画像を取り込むために該シーンからの入射光で露出さ
    れた比較的低いダイナミックレンジ画像センサを用いて、該シーンの比較的高い
    ダイナミックレンジの画像を獲得する方法であって、前記画像センサがアレイ状
    となった多数の光検知素子を有し、それら光検知素子各々が、前記光検知素子ア
    レイに対する所定感度パターンに従って入射光に対する複数の感度レベルの内の
    特定の１つを有すると共に、応答関数を有しており、各光検知素子が前記シーン
    からの入射光に応答して、ピクセル位置アレイにおける多数のピクセル位置の内
    の対応する１つでの取込画像輝度値を作り出し、前記多数のピクセル位置の各々
    が、前記光検知素子の前記複数の感度レベルの内の特定の１つと対応しており、 （ａ）前記ピクセル位置アレイのピクセル位置での各取込画像輝度値から、多
    数のオフ−グリッド位置での各オフ−グリッド輝度値を推定する段階であり、前
    記オフ−グリッド位置が前記ピクセル位置アレイにおける各合間に配置されてい
    ると共に規則正しいオフ−グリッド位置アレイを形成していることから成る段階
    と、 （ｂ）前記推定されたオフ−グリッド輝度値から出力画像のピクセル輝度値を
    有する段階と、 の諸段階を含む方法。
  2. 【請求項２】 前記画像センサの光検知素子から成る前記アレイが線画像を取り
    込む線形アレイであり、前記ピクセル位置アレイが、線形取込画像輝度値アレイ
    を規定するように、ピクセル行状となってそれぞれが規則正しく離間されたピク
    セル位置で前記多数のピクセル位置を有する線形アレイである、請求項１に記載
    の方法。
  3. 【請求項３】前記画像センサの光検知素子から成るアレイと前記ピクセル位置ア
    レイとが、複数の規則正しく離間されたピクセル行と複数の規則正しく離間され
    たピクセル列との各交差点でのピクセル位置を有する２次元アレイであり、前記
    ピクセル行が前記ピクセル列と直交しており、前記画像センサの光検知素子から
    成る前記線形アレイが多数の露出で前記シーンの連続する規則正しく離間された
    線形領域に対して順次露出され、その露出各々が各線形取込画像輝度値アレイを
    作り出し、前記多数の露出によって作り出された各線形取込画像輝度アレイが鎖
    状に結合されて、前記ピクセル位置アレイにおけるピクセル位置での各取込画像
    輝度値を有する２次元取込画像輝度値アレイを形成する、請求項１に記載の方法
    。
  4. 【請求項４】 前記画像センサが複数の光検知素子から成る２次元アレイを有し
    、前記ピクセル位置アレイが、複数の規則正しく離間されたピクセル行と、複数
    の規則正しく離間されたピクセル列の各交差点での複数のピクセル位置を有する
    ２次元アレイであり、前記ピクセル行が前記ピクセル列と直交している、請求項
    １に記載の方法。
  5. 【請求項５】 前記オフ−グリッド・アレイの前記オフ−グリッド位置が、複数
    の規則正しく離間された中間行と、複数の規則正しく離間された中間列の各交差
    点に配置されており、前記中間行の各々が前記ピクセル行と平行すると共に該ピ
    クセル行の各隣接対間に延在しており、前記中間列の各々が前記ピクセル列と平
    行すると共に該ピクセル列の各隣接対間に延在している、請求項４に記載の方法
    。
  6. 【請求項６】 前記オフ−グリッド・アレイの前記オフ−グリッド位置が、複数
    の規則正しく離間された中間行と前記ピクセル列との各交差点と、複数の規則正
    しく離間された中間列と前記ピクセル行との各交差点とに配置されており、前記
    中間行の各々が前記ピクセル行と平行していると共に、前記ピクセル行の各隣接
    対間に延在しており、前記中間列の各々が前記ピクセル列と平行していると共に
    、前記ピクセル列の各隣接対間に延在している、請求項４に記載の方法。
  7. 【請求項７】 前記オフ−グリッド位置アレイのオフ−グリッド位置が複数の規
    則正しく離間された中間列及びピクセル行の各交差点に配置されており、前記中
    間列の各々が前記ピクセル列と平行すると共に前記ピクセル列の各隣接対間に延
    在している、請求項３に記載の方法。
  8. 【請求項８】 前記オフ−グリッド位置アレイの前記オフ−グリッド位置が前記
    線形ピクセル位置アレイのピクセル位置の各隣接対間に配置されている、請求項
    ２に記載の方法。
  9. 【請求項９】 前記推定オフ−グリッド輝度値から前記出力画像を誘導する段階
    が、前記出力画像の前記ピクセル輝度値として前記オフ−グリッド輝度値を直接
    的に用いることを含む、請求項１に記載の方法。
  10. 【請求項１０】 前記推定オフ−グリッド輝度値から前記出力画像のピクセル輝
    度値を誘導する段階が、前記ピクセル位置アレイにおける前記ピクセル位置での
    各再標本化オン−グリッド値を誘導すべく、前記推定オフ−グリッド値を再標本
    化することを含み、前記ピクセル位置アレイにおける前記ピクセル位置での前記
    各再標本化オン−グリッド値が前記出力画像の前記ピクセル輝度値である、請求
    項１に記載の方法。
  11. 【請求項１１】 前記光検知素子アレイの所定感度パターンが、４つの異なる所
    定感度レベルを有すると共に、４つの最も近い隣接ピクセル位置の反復群を有す
    るピクセル位置アレイと対応しており、各群における前記４つのピクセル位置の
    各々が共通した所定位置順序の前記４つの所定感度レベルの内の相互に異なるも
    のと対応している、請求項５に記載の方法。
  12. 【請求項１２】 前記光素子アレイの前記所定感度パターンが第１及び第２の所
    定感度レベルを有しており、前記ピクセル行各々における隣接ピクセル位置と前
    記ピクセル列各々における隣接ピクセル位置とが、前記第１及び第２所定感度レ
    ベルの内の相互に異なるものと対応している、請求項６に記載の方法。
  13. 【請求項１３】 前記光素子アレイの前記所定感度パターンが前記第１及び第２
    所定感度レベルを有し、前記ピクセル行各々における隣接ピクセル位置が前記所
    定第１及び第２感度レベルの内の相互に異なるものと対応し、前記ピクセル列各
    々における隣接ピクセル位置が前記所定第１及び第２感度レベルの内の同一レベ
    ルと対応している、請求項７に記載の方法。
  14. 【請求項１４】 前記ピクセル位置アレイのピクセル位置での各取込画像輝度値
    から前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置での各オフ
    −グリッド値を推定する段階が、（１）前記感度レベルの内の相互に異なるもの
    と対応するピクセル位置での取込画像輝度値だけを用いて、前記オフ−グリッド
    位置各々での前記感度レベルの内の相互に異なるものに対する感度レベル・オフ
    −グリッド輝度値を推定する段階と、（２）前記オフ−グリッド位置各々での前
    記感度レベルの内の相互に異なるそれぞれに対して推定された前記感度レベル・
    オフ−グリッド輝度値を組み合わせて、前記オフ−グリッド位置各々での各推定
    オフ−グリッド輝度値を誘導する段階とを含む、請求項１に記載の方法。
  15. 【請求項１５】 前記オフ−グリッド位置各々での前記感度レベルの内の異なる
    ものに対して輝度値の前記感度レベルを組み合わせる段階が、前記オフ−グリッ
    ド位置各々での前記感度レベルの内の異なるそれぞれに対して推定された前記感
    度レベル・オフ−グリッド値を合算して、前記オフ−グリッド位置各々での前記
    各推定オフ−グリッド輝度値を誘導する段階を含む、請求項１４に記載の方法。
  16. 【請求項１６】 前記推定オフ−グリッド輝度値から前記出力画像のピクセル輝
    度値を誘導する段階が、前記推定オフ−グリッド輝度値を補間して前記ピクセル
    位置アレイの前記ピクセル位置での各補間オフ−グリッド値を誘導する段階と、
    前記光検知素子の組合せ応答関数の逆関数によって前記補間オフ−グリッド輝度
    値の各々を補償して、前記出力画像の前記ピクセル輝度値を獲得する段階とを含
    み、前記組合せ応答関数が前記感度レベルの内の相互に異なるものを有する光検
    知素子の重み付け応答関数の合計であり、そうした重み付け応答関数の各々が前
    記感度レベルのそれぞれに対する所定重み係数によって乗算された前記感度レベ
    ルのそれぞれを有する光検知素子の応答関数である、請求項１５に記載の方法。
  17. 【請求項１７】 前記光検知素子の前記組合せ応答関数の逆関数によって前記補
    間オン−グリッド輝度値の各々を補償する段階が、前記補間オン−グリッド輝度
    値各々から、前記光検知素子の前記組合せ応答関数の逆関数を表す検索テーブル
    ・データを保存する検索テーブル・メモリに対する各指標を誘導する段階と、前
    記検索テーブル・メモリから、各指標と対応する補償された補間オン−グリッド
    輝度値を検索する段階と、前記出力画像の前記ピクセル輝度値として前記補償さ
    れた補間オン−グリッド輝度値を提供する段階を含む、請求項１６に記載の方法
    。
  18. 【請求項１８】 前記オフ−グリッド位置各々での前記感度レベルの内の相互に
    異なるものに対する前記感度レベル・オン−グリッド輝度値を組合せる段階が、
    （１）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるもの
    に対する前記感度レベル・オフ−グリッド輝度値を、前記感度レベルの内の相互
    に異なるものと対応する各所定重み付け係数と乗算して、前記オフ−グリッド位
    置各々での前記感度レベルの内の相互に異なるものに対する重み付け感度レベル
    ・オフ−グリッド輝度値を誘導する段階と、（２）前記オフ−グリッド位置各々
    での前記感度レベルの内の相互に異なるものに対する前記重み付け感度レベル・
    オフ−グリッド輝度値を合算して、前記オフ−グリッド位置各々での前記各推定
    オフ−グリッド輝度値を誘導する段階とを含む、請求項１４に記載の方法。
  19. 【請求項１９】 前記推定オフ−グリッド輝度値から前記出力画像の前記ピクセ
    ル輝度値を誘導する段階が、前記推定オフ−グリッド輝度値を補間して、前記ピ
    クセルアレイの前記ピクセル位置での各補間オン−グリッド輝度値を誘導する段
    階と、前記光検知素子の組合せ応答関数の逆関数によって前記補間オン−グリッ
    ド輝度値の各々を補償して、前記出力画像の前記ピクセル輝度値を誘導する段階
    と、を含み、前記組合せ応答関数が前記感度レベルの内の相互に異なるものを有
    する前記光検知素子の重み付け応答関数の合計であり、前記重み付け応答関数の
    各々が前記感度レベルのそれぞれに対する所定重み付け係数によって乗算された
    前記感度レベルのそれぞれを有する光検知素子の応答関数である、請求項１８に
    記載の方法。
  20. 【請求項２０】 前記光検知素子の組合せ応答関数の逆関数によって前記補間輝
    度値の各々を補償する段階が、前記補間オン−グリッド輝度値の各々を用いて、
    前記光検知素子の前記組合せ応答関数の逆関数を表すデータを保存する検索テー
    ブル・メモリに対する各指標を誘導する段階と、前記検索テーブル・メモリから
    各指標と対応する補償された補間オン−グリッド輝度値各々を検索する段階と、
    前記出力画像の前記ピクセル輝度値として前記補償された補間オン−グリッド輝
    度値を提供する段階とを含む、請求項１９に記載の方法。
  21. 【請求項２１】 前記ピクセル位置アレイの前記ピクセル位置での各取込画像輝
    度値から前記オフ−グリッド位置アレイの前記オフ−グリッド位置での各オフ−
    グリッド輝度値を推定する段階が、（１）前記感度レベルの内の相互に異なるも
    のと対応するピクセル位置での前記取込画像輝度値だけを用いて、前記オフ−グ
    リッド位置各々での前記感度レベルの内の相互に異なるものに対する感度レベル
    オフ−グリッド輝度値を推定する段階と、（２）前記オフ−グリッド位置各々で
    の前記感度レベルの内の相互に異なるそれぞれに対して推定された前記感度レベ
    ル・オフ−グリッド輝度値を組合せて、前記オフ−グリッド位置各々での組合せ
    感度レベル・オフ−グリッド輝度値を誘導する段階と、（３）前記光検知素子の
    組合せ応答関数の逆関数によって前記オフ−グリッド位置各々での前記組合せ感
    度レベル・オフ−グリッド輝度値を補償して、前記オフ−グリッド位置各々での
    各推定オフ−グリッド輝度値を誘導する段階とを含み、前記組合せ応答関数が前
    記感度レベルの内の相互に異なるものを有する光検知素子の重み付け応答関数の
    合計であり、前記重み付け応答関数各々が前記感度レベルのそれぞれに対する所
    定重み付け係数によって乗算された前記感度レベルのそれぞれを有する光検知素
    子の応答関数である、請求項１に記載の方法。
  22. 【請求項２２】 前記光検知素子の前記組合せ応答関数の逆関数によって前記オ
    フ−グリッド位置各々での前記組合せ感度レベル・オフ−グリッド輝度値を補償
    する段階が、前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−グ
    リッド輝度値を用いて、前記光検知素子の前記組合せ応答関数の逆関数を表すデ
    ータを保存する検索テーブル・メモリに対する各指標を誘導する段階と、前記検
    索テーブルから、各指標と対応する補償された組合せ感度レベル・オフ−グリッ
    ド輝度値を検索する段階と、前記オフ−グリッド位置での前記各推定オフ−グリ
    ッド輝度値として前記検索テーブルから検索された前記補償された組合せ感度レ
    ベル・オフ−グリッド輝度値を提供する段階と、を含む請求項２１に記載の方法
    。
  23. 【請求項２３】 前記オフ−グリッド位置各々での前記感度レベルの内の相互に
    異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝度値を組
    み合わせる段階が、前記オフ−グリッド位置各々での前記感度レベルの内の相互
    に異なるそれぞれに対する前記感度レベル・オフ−グリッド輝度値を合算して、
    前記オフ−グリッド位置での前記各組合せ感度レベル・オフ−グリッド輝度値を
    誘導する段階を含む、請求項２１に記載の方法。
  24. 【請求項２４】 前記オフ−グリッド位置各々での前記感度レベルの内の相互に
    異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝度値を組
    み合わせる段階が、（１）前記オフ−グリッド位置各々での前記感度レベルの内
    の相互に異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝
    度値を前記感度レベルの内の相互に異なるそれぞれと対応する各所定重み付け係
    数で乗算して、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異
    なるそれぞれに対する重み付け感度レベル・オフ−グリッド輝度値を誘導する段
    階と、（２）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異な
    るそれぞれに対する前記重み付け感度レベル・オフ−グリッド輝度値を合算して
    、前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−グリッド輝度
    値を誘導する段階とを含む、請求項２１に記載の方法。
  25. 【請求項２５】 前記オフ−グリッド位置各々での前記感度レベルの内の相互に
    異なるそれぞれに対する前記感度レベル・オフ−グリッド輝度値を推定する段階
    が、（１）前記ピクセル位置をマスクするが、前記感度レベルの内の相互に異な
    るものと対応するピクセル位置をマスクしないままとする段階と、（２）前記オ
    フ−グリッド位置の内の１つでの前記感度レベルの内の相互に異なるものに対す
    る前記感度レベル・オフ−グリッド輝度値を推定して、前記オフ−グリッド位置
    の内の前記１つに最も近い前記マスクされていないピクセル位置の内の１つでの
    前記取込画像輝度値と同等と為す段階とを含む、請求項１４或は２１に記載の方
    法。
  26. 【請求項２６】 前記画像センサの前記光検知素子アレイが線形アレイであり、
    前記ピクセル位置アレイがピクセル行状にそれぞれが規則正しく離間されたピク
    セル位置を有する線形アレイであり、前記オフ−グリッド位置アレイの前記オフ
    −グリッド位置が、それぞれ、前記線形ピクセル位置アレイの隣接ピクセル位置
    の各対間に配置されており、前記オフ−グリッド位置各々での前記感度レベルの
    内の相互に異なるそれぞれに対する感度レベル・オフ−グリッド輝度値を推定す
    る段階が、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なる
    それぞれに対する前記感度レベル・オフ−グリッド輝度値として、前記オフ−グ
    リッド位置の内の１つに最も近い隣接である前記感度レベルの内の相互に異なる
    ものと対応するピクセル位置での前記取込画像輝度値を提供する段階を含む、請
    求項２４に記載の方法。
  27. 【請求項２７】 前記光検知素子の前記所定感度パターンが第１及び第２所定感
    度レベルを有し、前記線形ピクセル位置アレイの隣接ピクセル位置が前記第１及
    び第２所定感度レベルの内の相互に異なるものと対応しており、前記感度レベル
    の内の相互に異なるものと対応する各所定重み付け係数で前記オフ−グリッド位
    置各々での前記感度レベルの内の相互に異なるそれぞれに対する前記感度レベル
    ・オフ−グリッド輝度値を乗算して、前記オフ−グリッド位置各々での前記感度
    レベルの内の相互に異なるそれぞれに対する重み付け感度レベル・オフ−グリッ
    ド輝度値を誘導しており、前記オフ−グリッド位置各々での前記感度レベルの内
    の相互に異なるそれぞれに対する前記重み付け感度レベル・オフ−グリッド輝度
    値を合算して、前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−
    グリッド輝度値を誘導する段階が、Ｂ（ｘ’）がオフ−グリッド位置ｘ’での前
    記組合せ感度レベル・オフ−グリッド輝度値であり、Ｗ１がピクセル位置（ｘ’
    −０．５）と対応する前記感度レベルに対する前記所定重み付け係数であり、Ｗ ２ がピクセル位置（ｘ’＋０．５）と対応する前記感度レベルに対する前記所定
    重み付け係数であり、Ｉｃ（ｘ’−０．５）がピクセル位置（ｘ’＋０．５）で
    の前記取込画像輝度値である場合、 【数１】 として表現され、そして、前記光検知素子の前記組合せ応答関数が、 【数２】 として表現され、ここでＰ１（Ｅ）がピクセル位置（ｘ’−０．５）と対応する
    前記感度レベルを有する光検知素子の前記ラジオメトリック応答関数であり、Ｐ ２ （Ｅ）がピクセル位置（ｘ’＋０．５）と対応する前記感度レベルを有する光
    検知素子の前記ラジオメトリック応答関数である、請求項２６に記載の方法。
  28. 【請求項２８】 前記ピクセル位置アレイにおける前記ピクセル位置での各取込
    画像輝度値から前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置
    での各オフ−グリッド輝度値を推定する段階が、前記ピクセル位置での前記取込
    画像輝度値の補間を伴う双線形標本化を含む、請求項１に記載の方法。
  29. 【請求項２９】 前記ピクセル位置アレイにおける前記ピクセル位置での各取込
    画像輝度値から前記オフ−グリッド位置アレイにおけるオフ−グリッド位置での
    各オフ−グリッド輝度値を推定する段階が、前記ピクセル位置での前記取込画像
    輝度値の補間を伴う双立方標本化を含む、請求項１に記載の方法。
  30. 【請求項３０】 前記ピクセル位置アレイにおける前記ピクセル位置での各取込
    画像輝度値から前記オフ−グリッド位置アレイにおけるオフ−グリッド位置での
    各オフ−グリッド輝度値を推定する段階が、前記オフ−グリッド位置のそれぞれ
    に最も近い隣接である所定数のピクセル位置各々での各取込画像輝度値を所定の
    低閾値及び所定高閾値と比較することによって、前記オフ−グリッド位置のそれ
    ぞれでの各オフ−グリッド輝度値を推定する段階と、前記所定低閾値よりも大き
    く且つ前記所定高閾値よりも小さい前記最も近い隣接ピクセル位置の取込画像輝
    度値の合計を算定する段階と、前記合計を該合計に含まれる最も近い隣接ピクセ
    ル位置の前記数で割る段階とを含む、請求項１に記載の方法。
  31. 【請求項３１】 前記ピクセル位置アレイにおける前記ピクセル位置での各取込
    画像輝度値から前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置
    でのオフ−グリッド輝度値を推定する段階が、前記オフ−グリッド位置のそれぞ
    れに最も近い隣接である所定数のピクセル位置各々での各補償された取込画像輝
    度値を所定低閾値及び所定高閾値と比較することで、前記オフ−グリッド位置の
    それぞれでの各オフ−グリッド輝度値を推定する段階と、前記所定低敷地より大
    きく且つ前記所定高閾値より小さい前記最も近い隣接ピクセル位置での前記補償
    された取込画像輝度値の合計を算定する段階と、最も近い隣接ピクセル位置での
    補償された取込画像輝度値の前記数で前記合計を割ることで前記オフ−グリッド
    位置のそれぞれでの各推定オフ−グリッド輝度値を誘導する段階と、を含み、前
    記最も近い隣接ピクセル位置各々での前記各補償された取込画像輝度値が該最も
    近い隣接ピクセル位置のものに対応する感度レベルを有する光検知素子の前記応
    答関数の逆関数によって補償された前記最も近い隣接ピクセル位置の内の１つで
    の前記取込画像輝度値である、請求項１に記載の方法。
  32. 【請求項３２】 前記最も近い隣接ピクセル位置各々での前記各補償された取込
    画像輝度値が、前記最も近い隣接ピクセル位置の内の１つでの前記取込画像輝度
    値を用いることで、前記複数の感度レベルの内の異なるそれぞれを有する光検知
    素子の逆応答関数を表すデータを保存する検索テーブル・メモリに対する指標を
    誘導して、前記検索テーブル・メモリから前記最も近い隣接ピクセル位置の内の
    １つの前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索テ
    ーブル・データから前記指標に対応する補償された取込画像輝度値を検索するこ
    とで誘導される、請求項３１に記載の方法。
  33. 【請求項３３】 前記中央行の各々が前記ピクセル行の各隣接つの間の中央に延
    在し、前記中央列の各々が前記ピクセル列の各隣接対の中央に延在し、前記ピク
    セル位置アレイにおける前記ピクセル位置での各取込画像輝度値でから前記オフ
    −グリッド位置アレイにおける前記オフ−グリッド位置での各オフ−グリッド輝
    度値を推定する段階が、ｘ’が１からｘサイズ−１までの値を有し、ｙ’が１か
    らｙサイズ−１までの値を有し、ｘサイズ及びｙサイズが前記ピクセル行及び前
    記ピクセル列の方向における前記取込画像の寸法である場合、前記オフ−グリッ
    ド位置（ｘ’，ｙ’）各々での前記輝度値を推定する段階を含み、前記オフ−グ
    リッド位置（ｘ’，ｙ’）各々での各オフ−グリッド輝度値を推定する段階が、 （ｉ）前記オフ−グリッド位置（ｘ’，ｙ’）の内の１つに最も近い隣接であ
    る１６個のピクセル位置（ｕ，ｖ）各々での各輝度値Ｉ（ｕ，ｖ）を、ｕがｘ’
    −５からｘ’＋０．５までの値を有し、ｖがｙ’−０．５からｙ＋０．５までの
    値を有する場合、所定低閾値及び所定高閾値と比較することであることと、 （ｉｉ）前記所定低閾値より大きく且つ前記所定高閾値より小さい前記１６個
    の最も近い隣接ピクセル位置（ｕ，ｖ）での前記輝度値Ｉ（ｕ，ｖ）の各々に対
    して、関係ｉ＝ｘ’−ｕ−１．５及びｊ＝ｙ’−ｖ−１．５を用いて４×４立方
    補間カーネルφの指標ｉ及びｊを算定し、φｍｎが指標ｍ及びｎでの４×４立方
    補間カーネルφの値である場合、量 【数３】 と量φｉｊ ２を算定することと、 （ｉｉｉ）ステップ（ｉｉ）で算定された量 【数４】 を合算して、第１合計ｓを誘導することと、 （ｉｖ）ステップ（ｉｉ）で算定された量φｉｊ ２を合算して第２合計ｗを誘
    導することと、 （ｖ）前記第合計ｓを前記第２合計ｗで割ることで前記オフ−グリッド位置（
    ｘ’，ｙ’）の内の１つでの前記推定輝度値を算定することと、を含む、請求項
    ５に記載の方法。
  34. 【請求項３４】 ステップ（ｉ）での前記所定低閾値及び前記所定高閾値と比較
    された最も近い隣接ピクセル位置（ｕ，ｖ）での前記輝度値Ｉ（ｕ，ｖ）が、ピ
    クセル位置（ｕ，ｖ）での前記取込画像輝度値である、請求項３３に記載の方法
    。
  35. 【請求項３５】 ステップ（ｉ）での前記所定低閾値及び前記所定高閾値と比較
    された最も近い隣接ピクセル位置（ｕ，ｖ）での前記輝度値Ｉ（ｕ，ｖ）が、ピ
    クセル位置（ｕ，ｖ）に対応する前記感度レベルを有する光検知素子の応答関数
    の逆関数によって補償されたピクセル位置（ｕ，ｖ）での前記取込画像輝度値で
    ある、請求項３３に記載の方法。
  36. 【請求項３６】 前記最も近い隣接ピクセル位置（ｕ，ｖ）各々での前記取込画
    像輝度値が、前記複数の感度レベルの内の相互に異なるものを有する光検知素子
    の応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する指標
    を誘導すべく、前記取込画像輝度値を用いることによって、そして、前記検索テ
    ーブル・メモリから、前記最も近い隣接ピクセル位置（ｕ，ｖ）の内の１つに対
    応する前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索テ
    ーブル・データを用いて前記しひょに対する補償された取込画像輝度値を検索す
    ることによって、前記最も近い隣接ピクセル位置（ｕ，ｖ）の内の１つに対応す
    る前記感度レベルを有する光検知素子の前記応答関数の逆関数で補償され、前記
    検索された補償輝度値が前記最も近いピクセル位置（ｕ，ｖ）の内の１つでの前
    記輝度値Ｉ（ｕ，ｖ）である、請求項３５に記載の方法。
  37. 【請求項３７】 前記ピクセル位置アレイにおける前記ピクセル位置での前記各
    取込画像輝度値から前記オフ−グリッド位置アレイにおける前記オフ−グリッド
    位置での各オフ−グリッド輝度値を推定する段階が、ｘ’が２からｘサイズ−２
    までの値を有し、ｘサイズが前記取込ライン画像の寸法である場合、前記オフ−
    グリッド位置ｘ’各々での前記輝度値を推定することを含み、前記オフ−グリッ
    ド位置ｘ’各々での前記オフ−グリッド輝度値を推定する段階が、 （ｉ）ｋがｘ’−１．５からｘ’＋１．５までの値を有する場合、前記オフ−
    グリッド位置ｘ’の内の１つに最も近い隣接である４つのピクセル位置ｋの各々
    での各輝度値（ｋ）を所定低閾値及び所定高閾値と比較することと、 （ｉｉ）Ｇ（ｋ−ｘ’）が位置（ｋ−ｘ’）での４×１ガウシアン補間カー値
    ｔるＧの値である場合、前記所定低閾値より大きく且つ前記所定高閾値より小さ
    い前記４つの最も近い隣接ピクセル位置での前記輝度値Ｉ（ｋ）の各々が前記量
    Ｉ（ｋ）Ｇ（ｋ−ｘ’）を算定することと、 （ｉｉｉ）ステップ（ｉｉ）で算定された前記量Ｇ（ｋ−ｘ’）を合算して第
    １合計ｐを誘導することと、 （ｉｖ）ステップ（ｉｉ）の前記算定で用いられた前記量Ｇ（ｋ−ｘ’）を合
    算して第２合計ｑを誘導することと、 （ｖ）前記第１合計ｐを前記第２合計ｑで割ることによって前記オフ−グリッ
    ド位置ｘ’の内の１つでの前記推定輝度値を算定することと、を含む、請求項２
    に記載の方法。
  38. 【請求項３８】 ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較
    された最も近い隣接ピクセル位置ｋでの前記各輝度値Ｉ（ｋ）が、最も近い隣接
    ピクセル位置ｋでの前記取込輝度値である、請求項３７に記載の方法。
  39. 【請求項３９】 ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較
    された最も近い隣接ピクセル位置ｋでの前記輝度値Ｉ（ｋ）が、ピクセル位置ｋ
    と対応する前記感度レベルを有する光検知素子の逆関数によって補償された最も
    近い隣接ピクセル位置ｋでの前記取込輝度値である、請求項３７に記載の方法。
  40. 【請求項４０】 前記最も近い隣接ピクセル位置ｋ各々での前記取込画像輝度値
    が、前記複数の感度レベルの内の相互に異なるものを有する光検知素子の応答関
    数の逆関数を表すデータを補村する検索テーブル・メモリに対する指標を誘導す
    べく、前記最も近い隣接ピクセル位置の内の１つでの前記取込画像輝度値を用い
    ることによって、そして、前記検索テーブル・メモリから、前記最も近い隣接ピ
    クセル位置ｋの内の１つと対応する前記感度レベルを有する光検知素子の前記応
    答関数の逆関数を表す検索テーブル・データを用いて、前記指標と対応する補償
    された取込画像輝度値を検索することによって、前記最も近い隣接ピクセル位置
    ｋの内の１つと対応する前記感度レベルを有する光検知素子の前記応答関数の逆
    関数によって補償されており、前記検索された補償取込画像輝度値が前記最も近
    い隣接ピクセル位置ｋでの前記輝度値Ｉ(ｋ）である、請求項39に記載の方法。
  41. 【請求項４１】 前記４×１ガウシアン・カーネルＧが形態： 【表１】 を有する、請求項３７に記載の方法。
  42. 【請求項４２】 前記推定オフ−グリッド輝度値を再標本化して前記ピクセル位
    置アレイの前記ピクセル位置での各再標本化オン−グリッド輝度値を誘導する段
    階が、前記ピクセル位置のそれぞれに最も近い隣接であるオフ−グリッド位置の
    所定数での各オフ−グリッド輝度値とオフ−グリッド位置の前記所定数と同一寸
    法を有する立方補間カーネルとの積を算定することによって、前記ピクセル位置
    の内の相互に異なるそれぞれでの前記再標本化輝度値を誘導することを含む、請
    求項１０に記載の方法。
  43. 【請求項４３】 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値
    を誘導する段階が、前記推定オフ−グリッド輝度値を再標本化して前記ピクセル
    位置アレイにおける前記ピクセル位置での再標本化オン−グリッド輝度値を誘導
    することを含み、前記中間行の各々がピクセル行の各隣接対間の中央に延在し、
    前記中間列の各々がピクセル列の各隣接対間の中央に延在しており、前記多数の
    ピクセル位置各々での前記再標本化輝度値が、ｘが２．５からｘサイズ−２．５
    までの値を有し、ｙが２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２
    ，ｙ−２）がピクセル位置（ｘ−２，ｙ−２）での前記再標本化オン−グリッド
    輝度値であり、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）がオフ−グリッド位置（
    ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）での前記推定オフ−グリッド輝度値であり、
    ｉ及びｊが４×４立方補間カーネルφの指標であり、指標ｉ及びｊのそれぞれが
    ０から３までの値を有し、φｉｊが指標ｉ及びｊで前記補間カーネルφの値であ
    り、ｘサイズがピクセル行の方向における前記取込画像の寸法であり、ｙサイズ
    が前記ピクセル列の方向における前記取込画像の寸法である場合、 【数５】 の関係で算定される、請求項５に記載の方法。
  44. 【請求項４４】 前記４×４立方補間カーネルφが形態： 【表２】 を有する、請求項３３或は４３に記載の方法。
  45. 【請求項４５】 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値
    を誘導する段階が、前記推定オフ−グリッド輝度値を再標本化して前記ピクセル
    位置アレイにおけるピクセル位置での再標本化オン−グリッド輝度値を誘導する
    ことを含み、各オフ−グリッド位置がピクセル位置の各隣接対間の中央に配置さ
    れ、前記ピクセル位置ｘのそれぞれでの前記再標本化オン−グリッド輝度値Ｉｏ が、である場合、ｘが３．５からｘサイズ−３．５までの値を有する前記ピクセ
    ル位置の座標であり、Ｉｏ（ｘ−３）がピクセル位置（ｘ−３）での前記再標本
    化オン−グリッド輝度値であり、Ｂ（ｘ＋ｋ）がオフ−グリッド位置（ｘ＋ｋ）
    での前記推定オフ−グリッド輝度値であり、ｋが４×１立方補間カーネルΨの位
    置であり、Ψ（ｋ）が位置ｋでの前記立方補間カーネルΨの値であり、前記位置
    ｋが−１．５から１．５までの値を有し、ｘサイズが前記取込ライン画像の寸法
    である場合、 【数６】 の関係によって算定される、請求項２に記載の方法。
  46. 【請求項４６】 前記４×１立方補間カーネルΨが形態： 【表３】 を有する、請求項４５に記載の方法。
  47. 【請求項４７】 前記中間行の各々が前記ピクセル行の各隣接対間の中央に延在
    し、前記中間列の各々が前記ピクセル列の各隣接対間の中央に延在しており、前
    記オフ−グリッド位置アレイにおける前記オフ−グリッド位置での各オフ−グリ
    ッド輝度値を前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像
    輝度値から推定する段階が、前記オフ−グリッド位置（ｘ’，ｙ’）の各々での
    前記オフ−グリッド輝度値を推定することを含み、ここで、ｘ’が０．５からｘ
    サイズ−０．５までの値を有し、ｙ’が前記中間行及び前記ピクセル列の各交差
    点に配置されたオフ−グリッド位置に対する１からｙサイズ−１までの値を有し
    、ｘ’が１からｘサイズ−１までの値を有し、ｙ’が前記ピクセル行及び前記中
    間列の各交差点に配置されたオフ−グリッド位置に対する０．５からｙサイズ−
    ０５までの値を有し、ｘサイズ及びｙサイズが前記ピクセル行及び前記ピクセル
    列の方向における前記取込画像の寸法であり、前記オフ−グリッド位置（ｘ’，
    ｙ’）各々での前記輝度値を推定する段階が、 （ｉ）前記オフ−グリッド位置（ｘ’，ｙ’）各々に対して、ｉ及びｊが４×
    ４立方補間カーネルφの指標であり、指標ｉ及びｊの各々が０から３までの値を
    有する場合、関係：ｕ＝ｘ’＋０．５ｊ−０．５ｊ及びｖ＝ｙ’−１．５＋０．
    ５ｉ＋０．５ｊを用いて座標（ｕ，ｖ）を算定することと、 （ｉｉ）指標ｉ及びｊを用いてステップ（ｉ）で算定された座標（ｕ，ｖ）の
    各対に対して、該座標（ｕ，ｖ）が１ピクセル位置のものか否かを決定すること
    と、 （ｉｉｉ）ステップ（ｉ）で算定された前記座標（ｕ，ｖ）が１ピクセル位置
    のものであれば、前記ピクセル位置（ｕ，ｖ）での輝度値Ｉ（ｕ，ｖ）を所定低
    閾値及び所定高閾値と比較することと、 （ｉｖ）指標ｉ及びｊを用いてステップ（ｉ）で算定された前記座標（ｕ，ｖ
    ）が１ピクセル位置のものであり且つ前記輝度値Ｉ（ｕ，ｖ）が前記所定低閾値
    より大きく且つ前記所定高閾値より小さければ、φｍｎが指標ｍ及びｎでの４×
    ４立方補間カーネルφの値である場合、量： 【数７】 とφｊｉ ２とを算定することと、 （ｖ）ステップ（ｉｖ）で算定された 【数８】 を合算して第１合計ｓを誘導することと、 （ｖｉ）ステップ（ｉｖ）で算定された量を合算して第２合計ｗを誘導するこ
    とと、 （ｖｉｉ）前記第１合計ｓを前記第２合計ｗで割ることで前記オフ−グリッド
    位置（ｘ’，ｙ’）の内の１つでの前記推定輝度値を算定することとを含む、請
    求項６に記載の方法。
  48. 【請求項４８】 ステップ（ｉｉｉ）で、前記所定低閾値及び前記所定高閾値と
    比較された前記ピクセル位置（ｕ，ｖ）各々での前記輝度値Ｉ（ｕ，ｖ）が、前
    記ピクセル位置（ｕ，ｖ）の内の１つでの前記取込画像輝度値である、請求項４
    ７に記載の方法。
  49. 【請求項４９】 ステップ（ｉｉｉ）で、前記所定低閾値及び前記所定高閾値と
    比較された前記ピクセル位置（ｕ，ｖ）各々での前記輝度値Ｉ（ｕ，ｖ）が、前
    記ピクセル位置（ｕ，ｖ）の内の１つと対応する感度レベルを有する光検知素子
    の前記応答関数の逆関数によって補償された前記ピクセル位置（ｕ，ｖ）の内の
    １つでの前記取込画像輝度値である、請求項４７に記載の方法。
  50. 【請求項５０】 前記ピクセル位置（ｕ，ｖ）各々での前記取込輝度値が、前記
    ピクセル位置（ｕ，ｖ）の内の１つでの前記取込画像輝度値Ｉｃ（ｕ，ｖ）を用
    いて、前記複数の感度レベルの内の相互に異なるそれぞれを有する光検知素子の
    応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する指標を
    誘導することによって、そして、前記ピクセル位置（ｕ，ｖ）の内の前記１つと
    対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索
    テーブル・データを用いて、前記指標と対応する補償された取込画像輝度値を前
    記検索テーブルから検索することによって、前記ピクセル位置（ｕ，ｖ）の内の
    前記１つと対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数
    によって補償されており、前記検索された補償取込画像輝度値が前記ピクセル位
    置（ｕ，ｖ）の内の前記１つでの前記輝度値Ｉ（ｕ，ｖ）である、請求項４９に
    記載の方法。
  51. 【請求項５１】 前記オフ−グリッド位置（ｘ’，ｙ’）各々での前記オフ−グ
    リッド輝度値を推定する段階が、中間行及びピクセル列の各交差点に配置された
    オフ−グリッド位置に対して先ず実行され、次いで、ピクセル行及び中間列の各
    交差点に配置されたピクセル位置に対して実行される、請求項４７に記載の方法
    。
  52. 【請求項５２】 前記４×４立方補間カーネルφが形態： 【表４】 を有する、請求項４７に記載の方法。
  53. 【請求項５３】 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値
    を誘導する段階が、前記推定オフ−グリッド輝度値を再標本化して、前記ピクセ
    ル位置アレイにおけるピクセル位置での各再標本化オン−グリッド輝度値を誘導
    することを含み、前記中間行の各々が前記ピクセル行の各隣接対間の中央を延在
    し、前記中間列の各々が前記ピクセル列の各隣接対間の中央を延在しており、前
    記ピクセル位置（ｘ，ｙ）各々での前記再標本化オン−グリッド輝度値が、ｘが
    ２．５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５
    までの値を有し、Ｉ（ｘ−２，ｙ−２）がピクセル位置（ｘ−２，ｙ−２）での
    前記再標本化オン−グリッド輝度値であり、Ｂ（ｘ＋０．５ｉ−０．５ｊ，ｙ−
    １．５＋０．５ｉ＋０．５ｊ）がオフ−グリッド位置（ｘ＋０．５ｉ−０．５ｊ
    ，ｙ−１．５＋０．５ｉ＋０．５ｊ）での前記オフ−グリッド輝度値であり、ｉ
    及びｊが４×４立方補間カーネルφの指標であり、指標ｉ及びｊのそれぞれが０
    から３までの値を有し、φｉｊがが指標ｉ及びｊでの前記補間カーネルφの値で
    あり、ｘサイズが前記ピクセル列の方向における前記取込画像の寸法である場合
    、関係： 【数９】 によって算定される、請求項６に記載の方法。
  54. 【請求項５４】 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値
    を誘導する段階が、ガウシアン・カーネルを用いて前記推定オフ−グリッド輝度
    値を補間して前記ピクセル位置アレイにおける前記ピクセル位置での各補間輝度
    値を誘導する、請求項５に記載の方法。
  55. 【請求項５５】 前記ガウシアン・カーネルが形態： 【表５】 を有する、請求項５４に記載の方法。
  56. 【請求項５６】 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値
    を誘導する段階が、前記オフ−グリッド輝度値の補間に対する双線形補間フィル
    タ・カーネルを用いて前記ピクセル位置アレイにおける前記ピクセル位置での各
    補間オン−グリッド輝度値を誘導することを含む、請求項５に記載の方法。
  57. 【請求項５７】 前記双線形補間フィルタ・カーネルが形態： 【表６】 を有する、請求項５６に記載の方法。
  58. 【請求項５８】 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値
    を誘導する段階が、前記推定オフ−グリッド輝度値をサンプリングして、前記ピ
    クセル位置アレイにおける前記ピクセル位置での各再標本化オン−グリッド輝度
    値を誘導することを含み、前記推定オフ−グリッド輝度値を再標本化する段階が
    、前記オフ−グリッド位置アレイを前記ピクセル位置アレイに合致する用にシフ
    トすることを含み、それによって前記ピクセル位置アレイにおける前記ピクセル
    位置での前記再標本化オン−グリッド輝度値が前記シフトされたオフ−グリッド
    位置アレイにおける前記合致オフ−グリッド位置での前記各推定オフ−グリッド
    輝度値である、請求項５或は７に記載の方法。
  59. 【請求項５９】 あるシーンの画像を取り込むためにそのシーンからの入射光に
    露出された比較的低いダイナミックレンジ画像センサを用いて該シーンの比較的
    高いダイナミックレンジ画像を獲得する方法であって、前記画像センサがアレイ
    状の多数の光検知素子を有し、各光検知素子が前記光検知素子アレイに対する所
    定の感度パターンに従って入射光に対する複数の感度レベルの内の特定の１つを
    有し、各光検知素子が前記シーンからの入射光に応答性してピクセル位置アレイ
    における多数のピクセル位置の内の対応する１つでの取込画像輝度値を作り出す
    ることによって、前記多数のピクセル位置の各々が前記光検知素子の前記複数の
    感度レベルの内の特定の１つに対応しており、前記方法が前記ピクセル位置アレ
    イにおける前記ピクセル位置での各取込画像輝度値から前記ピクセル位置アレイ
    におけるピクセル位置での各オン−グリッド輝度値を算定する段階を含み、前記
    各オン−グリッド輝度値の各々が対応する複数の前記取込画像輝度値から算定さ
    れ、前記オン−グリッド輝度値から出力画像のピクセル輝度値を誘導することか
    ら成る方法。
  60. 【請求項６０】 前記画像センサの光検知素子から成る前記アレイがライン画像
    を取り込む線形センサであり、線形取込画像輝度値アレイを形成すべく、前記ピ
    クセル位置アレイがピクセル行状のそれぞれ規則正しく離間されたピクセル位置
    における前記多数のピクセル位置を有する線形アレイである、請求項５９に記載
    の方法。
  61. 【請求項６１】 前記画像センサの光検知素子アレイが線形アレイであり、前記
    ピクセル位置アレイが、複数の規則正しく離間されたピクセル行と複数の規則正
    しく離間されたピクセル列との各交差点におけるピクセル位置を有する２次元ア
    レイであり、前記画像センサの光検知素子から成る前記線形アレイが多数の露出
    で前記シーンの連続的な規則正しく離間された線形領域で順次露出され、前記露
    出の各々が各線形取込画像輝度値アレイを作り出し、前記多数の露出で作り出さ
    れた前記各線形取込画像輝度値アレイが鎖状結合されて前記ピクセル位置アレイ
    における前記ピクセル位置での各取込画像輝度値を有する２次元取込画像輝度値
    アレイを形成する、請求項５９に記載の方法。
  62. 【請求項６２】 前記画像センサが光検知素子から成る２次元アレイであり、前
    記ピクセル位置アレイが、複数の規則正しく離間されたピクセル行と複数の規則
    正しく離間されたピクセル列との各交差点における前記多数のピクセル位置を有
    する２次元アレイであり、前記ピクセル行が前記ピクセル列と直交している、請
    求項５９に記載の方法。
  63. 【請求項６３】 前記オン−グリッド輝度値から出力画像のピクセル輝度値を誘
    導する段階が、前記ピクセル位置アレイにおける前記ピクセル位置での各オン−
    グリッド輝度値を前記出力画像の前記ピクセル輝度値として用いることを含む、
    請求項５９に記載の方法。
  64. 【請求項６４】 前記オン−グリッド輝度値から出力画像のピクセル輝度値を誘
    導する段階が、前記光検知素子の組合せ応答関数の逆関数によって前記ピクセル
    位置アレイにおける前記ピクセル位置各々での前記各オン−グリッド輝度値を補
    償して、前記ピクセル位置アレイにおける前記ピクセル位置での前記出力画像の
    各ピクセル輝度値を獲得することを含み、前記重み付け応答関数の各々が前記感
    度レベルのそれぞれに対する所定重み付け係数によって乗算された前記感度レベ
    ルのそれぞれを有する光検知素子の前記応答関数である、請求項５９に記載の方
    法。
  65. 【請求項６５】 前記ピクセル位置アレイにおける前記ピクセル位置各々での前
    記オン−グリッド輝度値を補償する段階が、前記ピクセル位置各々での前記オン
    −グリッド輝度値から前記光検知素子の前記組合せ応答関数の逆関数を表すデー
    タを保存する検索テーブル・メモリに対する各指標を誘導する段階を含み、前記
    補償されたオン−グリッド輝度値が前記ピクセル位置の内の前記１つでの前記出
    力画像の前記ピクセル輝度値である、請求項６４に記載の方法。
  66. 【請求項６６】 前記ピクセル位置アレイにおけるピクセル位置での各オン−グ
    リッド輝度値を算定する段階が、前記ピクセル位置の内の前記１つに最も近い隣
    接である所定数のピクセル位置での前記取込画像輝度値と前記所定数のピクセル
    位置と同一寸法を有するオン−グリッド補間フィルタ・カーネルとの積を計算す
    ることによって、前記ピクセル位置各々での前記各オン−グリッド輝度値を算定
    することを含む、請求項５９に記載の方法。
  67. 【請求項６７】 前記画像センサが光検知素子から成る２次元アレイを有し、前
    記ピクセル・アレイが複数の規則正しく離間されたピクセル行と複数の規則正し
    く離間されたピクセル列との各交差点での前記多数のピクセル位置を有する２次
    元アレイであり、前記ピクセル行が前記ピクセル列と直交しており、前記ピクセ
    ル位置アレイにおける前記ピクセル位置（ｘ，ｙ）各々の前記オン−グリッド輝
    度値が、ｘが２．５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサ
    イズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）がピクセル位置（ｘ−２，
    ｙ−２）での前記補間輝度値であり、Ｉｃ（ｘ−２＋ｉ，ｙ−２＋ｊ）がピクセ
    ル位置（ｘ−２＋ｉ，ｙ−２＋ｊ）での前記取込画像輝度値であり、ｉ及びｊが
    ５×５オン−グリッド補間フィルタ・カーネルφの指標であり、指標ｉ及びｊの
    それぞれが０から４までの値を有し、φｉｊが指標ｉ及びｊで前記オン−グリッ
    ド補間フィルタ・カーネルφの値であり、ｘサイズがピクセル行の方向における
    前記取込画像の寸法であり、ｙサイズが前記ピクセル列の方向における前記取込
    画像の寸法である場合、関係： 【数１０】 によって計算される、請求項６６に記載の方法。
  68. 【請求項６８】 前記５×５オン−グリッド補間フィルタ・カーネルφが形態： 【表７】 を有する、請求項６７に記載の方法。
  69. 【請求項６９】 前記ピクセル位置アレイにおける前記ピクセル位置での各オン
    −グリッド輝度値を算定する段階が前記ピクセル位置アレイにおける前記ピクセ
    ル位置各々での各オン−グリッド輝度値を算定する段階を含み、その算定段階が
    、 （ｉ）前記ピクセル位置各々に最も近い隣接である所定数のピクセル位置各々
    での各補償された取込画像輝度値を所定邸閾値及び所定高閾値と比較する段階と
    、 （ｉｉ）前記所定低閾値より大きく且つ前記所定高閾値より小さい補償された
    取込画像輝度値を有する前記最も近い隣接ピクセル位置の各々に対して、前記最
    も近い隣接ピクセル位置の内の前記１つでの前記補償された取込画像輝度値と、
    前記最も近い隣接ピクセル位置の内の前記１つと対応するオン−グリッド補間フ
    ィルタ・カーネルの値との積を算定する段階であり、前記オン−グリッド補間フ
    ィルタ・カーネルが最も近い隣接ピクセル位置の前記所定数と同一寸法を有する
    ことから成る段階と、 （ｉｉｉ）ステップ（ｉｉ）で算定された積の全ての第１合計を算定する段階
    と、 （ｉｖ）ステップ（ｉｉ）における積を算定するために使用される前記オン−
    グリッド補間フィルタ・カーネルの全値の第２合計を算定する段階と、 （ｖ）前記第１合計を前記第２合計で割ることで前記ピクセル位置のそれぞれ
    での前記オン−グリッド輝度値を算定する段階であり、前記最も近い隣接ピクセ
    ル位置各々での前記各補償された取込画像輝度値が前記最も近い隣接ピクセル位
    置と対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数によっ
    て補償された前記最も近い隣接ピクセル位置の内の前記１つでの前記各取込画像
    輝度値であることから成る段階と、を含む、請求項５９に記載の方法。
  70. 【請求項７０】 前記ピクセル位置アレイにおける前記ピクセル位置各々での前
    記取込画像輝度値を用いて、前記複数の感度レベルの内の相互に異なるものを有
    する光検知素子の応答関数の逆関数を表すデータを保存する検索テーブルに対す
    る各指標を誘導する段階と、前記ピクセル位置の内の前記１つと対応する前記感
    度レベルを有する前記光検知素子の前記応答関数の逆関数を表す検索テーブル・
    データからの前記各指標と対応する補償された取込画像輝度値を前記検索テーブ
    ルから検索する段階であり、前記検索された補償取込画像輝度値が前記ピクセル
    位置の内の前記１つでの前記補償された取込画像輝度値である、請求項６９に記
    載の方法。
  71. 【請求項７１】 １シーンの画像を取り込むために該シーンからの入射光に露出
    される比較的低いダイナミックレンジ画像センサを用いて該シーンの比較的高い
    ダイナミックレンジ画像を獲得する方法であり、前記画像センサが線形アレイ状
    の多数の光検知素子を有し、各光検知素子が光検知素子から成るアレイに対する
    所定感度パターンに従って入射光に対する複数の感度レベルの内の特定の１つを
    有すると共に各応答関数を有し、各光検知素子が前記シーンからの入射光に応じ
    て線形ピクセル位置アレイにおけるそれぞれの規則正しく離間されたピクセル位
    置における多数のピクセル位置の内の対応するものでの取込画像輝度値を作り出
    して、線形取込画像輝度値アレイを形成することにｙって、前記多数のピクセル
    位置の各々が前記複数の感度レベルの内の特定の１つと対応してことから成る方
    法であって、 （ｉ）ｘが２．５からｘサイズ−２．５までの値を有し、ｘサイズが前記取込
    画像の寸法である場合、前記ピクセル位置アレイにおける前記ピクセル位置ｘの
    各々に対して、ｋがｘ−２からｘ＋２までの値を有する場合、ピクセル位置ｘと
    最も近い隣接である５つのピクセル位置ｋでの輝度値Ｉ（ｋ）の各々を所定低閾
    値及び所定高閾値と比較する段階と、 （ｉｉ）前記所定低閾値よりも大きく且つ前記所定低閾値よりも小さい前記５
    つの最も近い隣接ピクセル位置ｋでの前記輝度値Ｉ（ｋ）の各々に対して、Ｇ（
    ｋ−ｘ）が位置（ｋ−ｘ）でのガウシアン補間カーネルＧの値である場合、量Ｉ
    （ｋ）Ｇ（ｋ−ｘ）を算定する段階と、 （ｉｉｉ）ステップ（ｉｉ）で算定された前記量Ｉ（ｋ）Ｇ（ｋ−ｘ）を合算
    して第１合計ｐを誘導する段階と、 （ｉｖ）Ｉ（ｋ）が前記所定低閾値よりも大きく且つ前記所定高閾値よりも小
    さい場合、ｋの全値に対する前記ガウシアン補間カーネル値Ｇ（ｋ−ｘ）を合算
    して第２合計ｑを誘導する段階と、 （ｖ）前記第１合計ｐを前記第２合計ｑで割ることでピクセル位置ｘでの出力
    画像Ｉｏ（ｘ）のピクセル輝度値を算定する段階と、を含むことから成る方法。
  72. 【請求項７２】 ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較
    されたピクセル位置ｋでの前記輝度値Ｉ（ｋ）がピクセル位置ｋでの前記取込画
    像輝度値である、請求項７１に記載の方法。
  73. 【請求項７３】 ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較
    されたピクセル位置ｋでの前記輝度値Ｉ（ｋ）が、ピクセル位置ｋと対応する感
    度レベルを有する光検知素子の応答関数の逆関数によって補償されたピクセル位
    置ｋでの前記取込画像輝度値である、請求項７１に記載の方法。
  74. 【請求項７４】 ピクセル位置ｋでの前記取込画像輝度値が、ピクセル位置ｋで
    の前記取込画像輝度値を用いて前記複数の感度レベルの内の相互に異なるものを
    有する光検知素子の応答関数の逆関数を表すデータを保存する検索テーブル・メ
    モリに対する各指標を誘導することによって、そして、前記検索テーブル・メモ
    リから、ピクセル位置ｋと対応する前記感度レベルを有する光検知素子の前記応
    答関数の逆関数を表す検索テーブル・データを用いて前記各指標と対応する補償
    された取込画像輝度値Ｉ（ｋ）を検索することによって、ピクセル位置ｋと対応
    する感度レベルを有する光検知素子の前記応答関数の逆関数によって補償される
    、請求項７３に記載の方法。
  75. 【請求項７５】 前記５×１ガウシアン・カーネルＧが形態： 【表８】 を有する、請求項７２に記載の方法。
  76. 【請求項７６】 前記所定低閾値が、前記ピクセル位置と対応する前記感度レベ
    ルを有する光検知素子のノイズ・レベルであり、該ピクセル位置が前記所定低閾
    値と比較され前記対応する感度レベルを有する光検知素子の前記応答関数の逆関
    数によって補償されており、前記所定高閾値が前記同一感度レベルを有する光検
    知素子の飽和或は略飽和輝度値である、請求項３１、３５、３９、４９、６９、
    或は、７３に記載の方法。
  77. 【請求項７７】 １シーンの画像を取り込むために該シーンからの入射光による
    露出に適合した比較的低いダイナミックレンジ画像センサを用いて比較的高いダ
    イナミックレンジ画像を取り込むためのシステムであって、 （ａ） アレイ状となった多数の光検知素子を有し、各々の光検知素子が該光
    検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する複
    数の感度レベルの特定の一つと共に各々の応答関数を有し、各光検知素子が前記
    シーンからの入射光に応答してピクセル位置アレイにおける多数のピクセル位置
    の内の対応する１つでの取込画像輝度値を生成し、それによって前記多数のピク
    セル位置の各々が前記光検知素子の前記複数の感度レベルの特定の１つと対応す
    る画像センサと、 （ｂ） 前記ピクセル位置における前記多数のピクセル位置の内の対応する位
    置で前記光検知素子によって生成される前記取込画像輝度値を記憶する取込画像
    メモリと、 （ｃ） 一定のオフ−グリッド位置アレイを形成するために前記ピクセル位置
    アレイの各々の隙間に位置した多数のオフ−グリッド位置で、各々推定オフ−グ
    リッド輝度値を、前記取込画像メモリ内の前記取込画像輝度値から導き出すオフ
    −グリッド推定器と、 （ｄ） 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導き
    出す出力画像発生器と、 を備えるシステム。
  78. 【請求項７８】 前記画像センサの光検知素子からなるアレイは、ライン画像を
    取り込むための線形アレイであり、また前記ピクセル位置アレイは、線形取込画
    像輝度アレイが形成されるように、一つのピクセル行となって各々が規則正しく
    離間された位置にある多数のピクセル位置を有する線形アレイであり、前記取込
    画像メモリが前記光検知素子によって生成された前記取込画像輝度値を記憶する
    、請求項７７に記載のシステム。
  79. 【請求項７９】 前記オフ−グリッド位置アレイの前記オフ−グリッド位置が線
    形ピクセル位置アレイにおけるピクセル位置の各隣接対間に位置している、請求
    項７８に記載のシステム。
  80. 【請求項８０】 前記所定の感度パターンは所定の第１感度レベルと所定の第２
    感度レベルとを有し、また前記線形ピクセル位置アレイの隣接ピクセル位置はそ
    れぞれが前記所定の第１感度レベル及び前記所定の第２感度レベルの内の異なる
    ものに対応する、請求項７９に記載のシステム。
  81. 【請求項８１】 前記画像センサの前記光検知素子からなるアレイは線形アレイ
    であり、また前記ピクセル位置アレイは複数の規則正しく離間されたピクセル行
    と複数の規則正しく離間されたピクセル列との各々の交差点でのピクセル位置を
    有する２次元アレイであり、前記ピクセル行がピクセル列に対して直交し、さら
    に前記画像センサの前記光検知素子からなる線形アレイが多数の露出で前記シー
    ンの連続する規則正しく離間された線形領域に対して順次露出されるように合わ
    せられており、前記露出のそれぞれが各々の線形取込画像輝度値アレイを生成し
    、前記多数の露出によって生成された前記各々の線形取込画像輝度値アレイが鎖
    状に結合されて、前記ピクセル位置アレイの前記ピクセル位置で各々の取込画像
    輝度値を有する２次元取込画像輝度値アレイを形成する、請求項７７に記載のシ
    ステム。
  82. 【請求項８２】 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位
    置は複数の規則正しく離間された中間列とピクセル行との各々の交差点に位置し
    ており、前記中間列の各々が前記ピクセル列と平行すると共に前記ピクセル列の
    各々の隣接対間に延在している、請求項８１に記載のシステム。
  83. 【請求項８３】 前記所定感度パターンは所定の第１感度レベルと所定の第２感
    度レベルとを有し、前記ピクセル行の各々における隣接ピクセル位置はそれぞれ
    が前記所定の第１感度レベル及び前記所定の第２感度レベルの異なるものに対応
    し、前記ピクセル列の各々における隣接ピクセル位置はそれぞれが前記第所定の
    第１感度レベル及び前記所定の第２感度レベルの同一のものに対応する、請求項
    ８２に記載のシステム。
  84. 【請求項８４】 前記画像センサは光検知素子からなる２次元アレイを有し、多
    数のピクセル位置が複数の規則正しく離間されたピクセル行と複数の規則正しく
    離間されたピクセル列との交差点に位置しており、前記ピクセル列に対して前記
    ピクセル行が直交し、前記取込画像メモリが前記ピクセル位置における前記多数
    のピクセル位置の内の対応する位置で前記光検知素子によって生成される前記取
    込画像輝度値を記憶する、請求項７７に記載のシステム。
  85. 【請求項８５】 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位
    置は、複数の規則正しく離間された中間行と複数の規則正しく離間された中間行
    との各々の交差点に位置しており、各中間行は前記ピクセル行に平行すると共に
    ピクセル行の各々の隣接対の間に延在しており、また各中間列は前記ピクセル列
    に平行すると共にピクセル列の各々の隣接対の間に延在している、請求項８４に
    記載のシステム。
  86. 【請求項８６】 前記光検知素子からなる前記アレイの前記所定感度パターンは
    ４つの異なる所定感度レベルを有すると共に４つの最も近傍のピクセル位置から
    なる群の各々のパターンに対応し、各群における前記４つのピクセル位置の各々
    が共通の所定の位置的順序でそれぞれが前記４つの所定感度レベルの異なるもの
    に対応する、請求項８５に記載のシステム。
  87. 【請求項８７】 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位
    置は、複数の規則正しく離間された中間行と前記複数のピクセル列との各々の交
    差点に位置しており、複数の規則正しく離間された中間列と前記ピクセル行との
    交差点で、前記中間行の各々が前記ピクセル行に平行すると共に前記ピクセル行
    の各々の隣接対の間に延在しおり、前記中間列の各々が前記ピクセル列に平行す
    ると共にピクセル列の各々の隣接対の間に延在している、請求項８４に記載のシ
    ステム。
  88. 【請求項８８】 前記光検知素子からなる前記アレイの前記所定感度パターンは
    所定の第１感度レベル及び所定の第２感度レベルを有し、前記ピクセル行の各々
    における隣接ピクセル位置と前記ピクセル列の各々における隣接ピクセル位置が
    それぞれ前記所定の第１感度レベル及び前記所定の第２感度レベルの異なるもの
    に対応する、請求項８７に記載のシステム。
  89. 【請求項８９】 前記出力画像発生器は前記出力画像の前記ピクセル画像輝度値
    として前記オフ−グリッド推定器によって誘導された前記各々の推定オフ−グリ
    ッド輝度値を記憶するための出力画像メモリを備える、請求項７７に記載のシス
    テム。
  90. 【請求項９０】 前記出力画像発生器は、 （ａ） 前記オフ−グリッド推定器によって誘導された前記推定されたオフ−
    グリッド輝度亜たちを記憶するためのオフ−グリッド輝度値メモリと、 （ｂ） 前記ピクセル位置アレイにおける前記ピクセル位置で、各々の再標本
    化されたオン−グリッド輝度値を前記オフ−グリッド輝度値における前記推定オ
    フ−グリッド輝度値から導き出すためのオン−グリッド再標本化器と、 （ｃ） 前記出力画像の前記ピクセル画像輝度値として、前記オン−グリッド
    再標本化器によって誘導された前記各々の再標本化されたオン−グリッド輝度値
    を記憶するための出力画像メモリと、 を備える、請求項７７に記載のシステム。
  91. 【請求項９１】 前記オフ−グリッド推定器は、 （ａ） 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置を与
    えるためのオフ−グリッド位置発生器と、 （ｂ） 前記ピクセル位置アレイにおける前記ピクセル位置の各々に対応する
    前記感度レベルを示すデータを記憶するための感度パターン・メモリと、 （ｃ） 各々が光検知素子の複数の感度レベルの各々に対応し、かつ前記オフ
    −グリッド位置発生器からのオフ−グリッド位置及び前記感度パターン・メモリ
    からの感度パターン・データを受信する複数の感度レベル・オフ−グリッド輝度
    値推定器であり、前記受信されたオフ−グリッド位置で前記対応する感度レベル
    に対する各々の感度レベル・オフ−グリッド輝度値を前記取込画像メモリ内の前
    記取込画像輝度値から導き出すために、該感度レベル・オフ−グリッド輝度値推
    定器の各々が前記オフ−グリッド位置発生器から受信したオフ−グリッド位置及
    び前記感度パターン・メモリからの前記感度パターン・データに対して応答性を
    示す前記複数の感度レベル・オフ−グリッド輝度値推定器と、 （ｄ） 前記オフ−グリッド位置発生器から受信した各オフ−グリッド位置で
    おのおのの推定オフ−グリッド輝度値を導き出すために、前記オフ−グリッド位
    置発生器から受信した各オフ−グリッド位置で対応する感度レベルに対する複数
    の感度レベル・オフ−グリッド輝度推定器によって誘導された各々の感度レベル
    ・オフ−グリッド輝度値を結合させるための累算器と、 を備える、請求項７７に記載のシステム。
  92. 【請求項９２】 前記オン−グリッド再標本化器は、 （ｉ） 前記ピクセル位置アレイの前記ピクセル位置を与えるためのピクセル
    位置発生器と、 （ｉｉ） 前記ピクセル位置発生器によって与えられたピクセル位置を受信し
    、さらに前記オフ−グリッド輝度値メモリにおける前記推定オフ−グリッド輝度
    値から、前記受信されたピクセル位置での各々の補間されたオン−グリッド輝度
    値を導き出すため、前記ピクセル位置発生器から受信されたピクセル位置に応答
    性を示す補間器と、 （ｉｉｉ） 前記ピクセル位置発生器から受信された各ピクセル位置で各々の
    再標本化オン−グリッド輝度値を導き出すために、前記ピクセル位置発生器から
    受信された各ピクセル位置で前記補間器によって前記ピクセル位置発生器から受
    信された各ピクセル位置で前記補間器によって誘導される前記各々の補間された
    オン−グリッド輝度値を補償するためのもので、前記光検知素子の結合応答関数
    が前記感度レベルの異なるものを有する光検知素子の重み付け応答関数の合計で
    あり、前記重み付け応答関数の各々が前記感度レベルの各々に対する所定の重み
    付け係数によって乗算された前記感度レベルの各々を有する光検知素子の応答関
    数である応答関数補償器と、 を備える、請求項９０に記載のシステム。
  93. 【請求項９３】 前記応答関数補償器は、前記光検知素子の結合応答関数の逆数
    を表すデータを記憶するルックアップ・テーブル・メモリと、 前記ルックアップ・テーブル・メモリの各々のインデックスを受信されたピク
    セル位置で前記補間器によって誘導された前記各々の補間されたオン−グリッド
    輝度値から誘導し、さらに前記各々のインデックスに対応する前記ルックアップ
    ・テーブル・メモリ内の、前記受信されたピクセル位置での前記出力画像のピク
    セル輝度値であるデータ値を前記出力画像メモリに対して与えるマッパーと、 を備える、請求項９２に記載のシステム。
  94. 【請求項９４】 前記累算器は、前記オフ−グリッド位置発生器から受信された
    各オフ−グリッド位置で前記各々の推定オフ−グリッド輝度値を導き出すために
    、各受信されたオフ−グリッド位置で対応する感度レベルに対する複数の感度レ
    ベル・オフ−グリッド輝度値推定器によって誘導あれた前記感度レベル・オフ−
    グリッド輝度値を加算するための加算器を備える、請求項９１に記載のシステム
    。
  95. 【請求項９５】 前記累算器は、各々が前記光検知素子の複数の感度レベルの異
    なる一つに対応する複数の所定の重み係数を記憶するための重み係数メモリと、 受信されたオフ−グリッド位置で対応する感度レベルに対して各々の重み付け
    感度レベル・オフ−グリッド輝度値を与えるために、前記感度レベルの各々に対
    応する前記重み付け係数によって受信されたオフ−グリッド位置で前記感度レベ
    ルの各々に対応する前記感度レベル−オフグリッド輝度値を各々が乗算する複数
    の乗算器と、 前記オフ−グリッド位置発生器から受信された前記受信されたオフ−グリッド
    位置で各々の推定オフ−グリッド輝度値を導き出すために、前記複数の乗算器に
    よって与えられた前記各々の重み付け感度レベル・オフ−グリッド輝度値を合計
    するための加算器と、 を備える、請求項９１に記載のシステム。
  96. 【請求項９６】 前記オフ−グリッド推定器は、 （ａ） 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置を与
    えるためのオフグリッド位置発生器と、 （ｂ） 前記ピクセル位置アレイにおける前記ピクセル位置の各々に対応する
    前記感度レベルを示すデータを記憶する感度パターンメモリと、 （ｃ） 前記オフ−グリッド位置発生器からオフ−グリッド位置を受信し、か
    つ前記感度パターン・メモリから感度パターン・データを受信するために、各々
    が感度レベルの各々に対応し、さらに前記取込画像メモリ内の前記取込画像輝度
    値から、前記受信されたオフ−グリッド位置での前記対応する感度レベルに対す
    る各々の感度レベル・オフ−グリッド輝度値を導き出すために、前記オフ−グリ
    ッド位置発生器から受信されたオフ−グリッド位置及び前記感度パターン・メモ
    リから受信された前記感度パターン・データに対して応答性を示す複数の感度レ
    ベル・オフ−グリッド輝度値推定器と、 （ｄ） 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置
    で、各々の結合感度レベルオフ−グリッド輝度値を導き出すために、前記オフ−
    グリッド位置発生器から受信された各オフ−グリッド位置で前記対応する感度レ
    ベルに対して、前記複数の感度レベル・オフ−グリッド輝度値推定器によって誘
    導された前記各々の感度レベル・オフ−グリッド輝度値を結合するための累算器
    と、 （ｅ） 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置
    で各々の推定オフ−グリッド輝度値を導き出すために、前記光検知素子の前記結
    合応答関数の逆数によって前記オフ−グリッド位置発生器から受信された各オフ
    −グリッド位置で前記各々の結合感度レベル・オフ−グリッド輝度値を補償し、
    前記光検知素子の重み付け応答関数の合計である前記結合応答関数が前記複数の
    感度レベルの異なるものを有し、また光検知素子の応答関数である前記重み付け
    応答関数の各々が前記感度レベルの各々について所定の重み付け係数によって乗
    算された前記感度レベルの各々を有する応答関数補償器と、 を備える、請求項７７に記載のシステム。
  97. 【請求項９７】 前記応答関数補償器は、前記光検知素子の前記結合応答関数の
    逆数を表すルックアップ・テーブル・データを記憶するルックアップ・テーブル
    ・メモリと、 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記各
    々の結合感度レベル・オフ−グリッド輝度値から前記ルックアップ・テーブル・
    メモリの各々のインデックスを誘導し、さらに前記オフ−グリッド位置発生器か
    ら受信された前記オフ−グリッド位置で前記各々の推定オフ−グリッド輝度値と
    して前記各々のインデクスに対応する前記ルックアップ・テーブル・メモリ内の
    データ値を与えるマッパーと、 を備える、請求項９６に記載のシステム。
  98. 【請求項９８】 前記出力画像発生器は、 （ａ） 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置
    で前記応答関数補償器によって誘導された前記各々の推定オフ−グリッド輝度値
    を記憶するためのオフ−グリッド輝度値メモリと、 （ｂ） 前記ピクセル位置アレイの前記ピクセル位置で各々の再標本化オン−
    グリッド輝度値を前記オフ−グリッド輝度値メモリ内の前記推定オフ−グリッド
    輝度値から導き出すためのオン−グリッド再標本化器と、 （ｃ） 前記出力画像の前記ピクセル画像輝度値として前記オン−グリッド再
    標本化器によって誘導された前記各々の再標本化オン−グリッド輝度値を記憶す
    るための出力画像メモリと、 を有し、さらに前記オン−グリッド再標本化器は、 （ｉ） 前記ピクセル位置アレイにおけるピクセル位置を与えるためのピクセ
    ル位置発生器と、 （ｉｉ） 前記ピクセル位置発生器によって与えられたピクセル位置を受信し
    、また前記受信されたピクセル位置で各々の再標本化オン−グリッド輝度値を前
    記オフ−グリッド輝度値メモリ内の前記推定オフ−グリッド輝度値から導き出す
    ために前記ピクセル位置発生器から受信されたピクセル位置に対して応答性を示
    す補間器と、 を備える、請求項９６に記載のシステム。
  99. 【請求項９９】 前記オフ−グリッド推定器の前記累算器は、 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記結
    合感度レベル・オフ−グリッド輝度値を与えるために、前記オフ−グリッド位置
    発生器から受信された各オフ−グリッド位置で前記対応する感度レベルに対して
    前記複数の感度レベル／オフ−グリッド輝度値推定器によって誘導された前記各
    々の感度レベル・オフ−グリッド輝度値を加算するための換算器を備える、請求
    項９６に記載のシステム。
  100. 【請求項１００】 前記オフ−グリッド推定器は、 各々が前記光検知素子の複数の感度レベルの異なる一つに対応する複数の所定
    の重み係数を格納するための重み付け係数メモリと、 前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置で前記
    対応する感度レベルに対して重み付け感度レベル・オフ−グリッド輝度値を与え
    るために、前記感度レベルの各々に対応する前記重み付け係数によって受信され
    たオフ−グリッド位置で前記感度レベルの各々に対応する前記感度レベル・オフ
    −グリッド輝度値を各々が乗算するための複数の乗算器と、 前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置で前記
    結合感度レベル・オフ−グリッド輝度値を導き出すために前記複数の乗算器によ
    って与えられた前記受信されたオフ−グリッド位置で前記重み付け感度レベル・
    オフ−グリッド輝度値を合計するための加算器と、 を備える、請求項９６に記載のシステム。
  101. 【請求項１０１】 前記画像センサの前記光検知素子からなるアレイは線形アレ
    イであり、前記ピクセル位置アレイはピクセル行の各々の規則正しく離間された
    ピクセル位置で多数のピクセル位置を有する線形アレイであり、さらに、前記オ
    フ−グリッド位置アレイにおける前記オフ−グリッド位置は前記ピクセル位置ア
    レイのピクセル位置の各々の隣接対の間に各々が位置しており、前記オフ−グリ
    ッド位置発生器から受信されあたオフ−グリッド位置に対する前記複数の感度レ
    ベル・オフ−グリッド輝度推定器によって誘導された前記感度レベル・オフ−グ
    リッド輝度値は前記受信されたオフ−グリッド位置に対して最も近傍にある所定
    の数のピクセル位置にある各々の取込画像輝度値であり、前記所定の数の最も近
    傍のピクセル位置の各々が前記光検知素子の前記複数の感度レベルの異なる一つ
    に対応する、請求項１００に記載のシステム。
  102. 【請求項１０２】 前記オフ−グリッド位置アレイにおける前記オフ−グリッド
    位置の各々は、前記線形ピクセル位置アレイにおけるピクセル位置の各々の隣接
    対の間の途中に位置しており、また前記光検知素子の前記所定感度パターンは所
    定の第１感度レベルと所定の第２感度レベルとを有し、さらに、前記オフ−グリ
    ッド位置発生器から受信されたオフ−グリッド位置Ｘ’での前記結合感度レベル
    ・オフ−グリッド輝度値は、 Ｂ（Ｘ’） ＝ Ｗ１ＩＣ（Ｘ’−０．５）＋Ｗ２ＩＣ（Ｘ’＋０．５） として表され、前記Ｂ（Ｘ’）は前記受信されたオフ−グリッド位置Ｘ’での前
    記結合感度レベル・オフ−グリッド輝度値、Ｗ１はピクセル位置（Ｘ’−０．５
    ）に対応する前記感度レベルに対する前記重み付け係数、Ｗ２はピクセル位置（
    Ｘ’＋０．５）に対応する前記感度レベルに対する前記重み付け係数、ＩＣ（Ｘ
    ’−０．５）はピクセル位置（Ｘ’−０．５）での前記取込画像輝度値及びＩＣ （Ｘ’＋０．５）はピクセル位置（Ｘ’＋０．５）での前記取込画像輝度値、さ
    らに前記光検知素子の前記結合応答関数は、 Ｓ（Ｅ）＝Ｗ１Ｐ１（Ｅ）＋Ｗ２Ｐ２（Ｅ） で表され、Ｐ１（Ｅ）はピクセル位置（Ｘ’−０．５）に対応する前記感度レベ
    ルを有する光検知素子のラジオメトリック応答関数、またＰ２（Ｅ）はピクセル
    位置（Ｘ’＋０．５）に対応する前記感度レベルを有する光検知素子のラジオメ
    トリック応答関数である、請求項１０１に記載のシステム。
  103. 【請求項１０３】 前記画像センサは光検知素子からなる２次元アレイを有し、
    前記多数のピクセル位置は２次元ピクセル位置アレイを規定する複数の規則正し
    く離間されたピクセル列と複数の規則正しく離間されたピクセル行との交差点に
    位置し、前記ピクセル行が前記ピクセル列に対して直交し、前記多数のオフ−グ
    リッド位置が複数の規則正しく離間された中間行と複数の規則正しく離間された
    中間列との各々の交差点に位置し、前記中間行の各々は前記ピクセル行に対して
    平行であると共に前記ピクセル行の各々の隣接対の間に延在しており、また前記
    中間列の各々は前記ピクセル列に対して平行であると共に前記ピクセル列の各々
    の隣接対の間に延在している、請求項１００に記載のシステム。
  104. 【請求項１０４】 前記光検知素子からなるアレイの前記所定感度パターンは、
    各々の配置された４つの最も近傍のピクセル位置からなる群を有するピクセル位
    置アレイに対応し、各々の群の前記４つの最も近傍のピクセル位置は、共通の所
    定位置順序で４つの所定の感度レベルの各々に対応する、請求項１０３に記載の
    システム。
  105. 【請求項１０５】 前記画像センサは光検知素子からなる２次元アレイを有し、
    前記多数のピクセル位置は２次元ピクセル位置アレイを規定する複数の規則正し
    く離間されたピクセル列と複数の規則正しく離間されたピクセル行との交差点に
    位置し、前記ピクセル行がピクセル列に対して直交し、さらに前記多数のオフ−
    グリッド位置が複数の規則正しく離間された中間行と前記ピクセル列との各々の
    交差点に位置し、また複数の規則正しく離間された中間行と前記ピクセル列との
    各々の交差点で、前記中間行の各々は前記ピクセル行に対して平行であると共に
    前記ピクセル行の各々の隣接対の間に延在しており、また前記中間列の各々は前
    記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間に延
    在している、請求項１００に記載のシステム。
  106. 【請求項１０６】 前記光検知素子からなるアレイの前記所定感度パターンは所
    定の第１感度レベル及び所定の第２感度レベルを有し、前記ピクセル行の各々に
    ある隣接ピクセル位置と前記ピクセル列の各々にあるピクセル位置とがそれぞれ
    所定の第１感度レベル及び所定の第２感度レベルの異なるものに対応する、請求
    項１００に記載のシステム。
  107. 【請求項１０７】 前記画像センサの前記光検知素子からなるアレイは線形アレ
    イであり、線形取込画像輝度値アレイを形成するように、前記多数のピクセル位
    置がピクセル行内の各々の規則正しく離間されたピクセル位置に置かれており、
    前記画像センサの前記光検知素子の線形アレイは多数の露出で前記シーンの連続
    する規則正しく離間された線形領域に対して順次露出されるように合わせられて
    おり、前記露出の各々が各々の線形取込画像輝度値アレイを生成し、多数の露出
    によって生成された前記各々の線形画像取込輝度値アレイは、複数の規則正しく
    離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位
    置したピクセル位置アレイのピクセル位置で各々の取込画像輝度値を有する２次
    元取込画像輝度値アレイを形成するために、鎖状に結合されており、前記ピクセ
    ル行がピクセル列に対して直交し、前記多数のオフ−グリッド位置が前記ピクセ
    ル行と複数の規則正しく離間された中間列との各々の交差点に置かれ、前記中間
    列の各々が前記ピクセル列と平行すると共に前記ピクセル列の各々の隣接対間に
    延在している、請求項１００に記載のシステム。
  108. 【請求項１０８】 前記光検知素子からなるアレイの前記所定感度パターンは所
    定の第１感度レベル及び所定の第２感度レベルを有し、各ピクセル行における隣
    接ピクセル位置は前記所定の第１感度レベル及び前記所定の第２感度レベルの異
    なるものに対応し、各ピクセル列における隣接ピクセル位置は前記所定の第１感
    度レベル及び前記所定の第２感度レベルの同一のものに対応する、請求項１０７
    に記載のシステム。
  109. 【請求項１０９】 前記感度レベル・オフ−グリッド輝度値推定器と同様の感度
    レベルに対応し、かつ前記受信されたオフ−グリッド位置に最も近く位置したピ
    クセル位置を決定するために、また前記感度レベル・オフ−グリッド輝度値推定
    器と同様の感度レベルに対応する前記最も近いピクセル位置で前記取込画像輝度
    値と等しくなる前記受信されたオフ−グリッド位置で感度レベル・オフ−グリッ
    ド輝度値を推定するために、前記感度レベル・オフ−グリッド輝度値推定器の各
    々は、前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置及び前
    記感度パターン・メモリからの前記ピクセル位置の各々に対応する前記感度レベ
    ルを示す前記データに対して応答性を示す、請求項９１又は請求項９６に記載の
    装置。
  110. 【請求項１１０】 前記補間器は、前記受信されたピクセル位置に対して最も近
    傍の所定の数のオフ−グリッド位置で前記推定オフ−グリッド輝度値と前記所定
    の数のオフ−グリッド位置と同様の寸法を有する補間カーネルとを計算するため
    に、前記ピックセル位置発生器から受信されたピクセル位置に対して応答性を示
    す、請求項９２に記載の方法。
  111. 【請求項１１１】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピ
    クセル列との交差点に位置し、前記ピクセル列は前記ピクセル行に対して直交し
    、また前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位
    置は複数の規則正しく離間された中間行と複数の規則正しく離間された中間列と
    の各々の交差点に位置し、前記中間行の各々は前記ピクセル行に対して平行であ
    ると共に前記ピクセル行の各々の隣接対の間の中心を延在し、前記中間列の各々
    は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間
    の中心を延在し、さらに前記補間器は、前記ピクセル位置発生器から受信された
    前記ピクセル位置（ｘ，ｙ）の各々で補間されたオン−グリッド輝度値を、関係 【数１１】 を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を
    有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）
    はピクセル位置（ｘ−２，ｙ−２）での補間されたオン−グリッド輝度値であり
    、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）はオフ−グリッド位置（ｘ−１．５＋
    ｉ，ｙ−１．５＋ｊ）でのオフ−グリッド輝度値であり、Φｉｊ は、指数ｉ及
    びｊでの４ｘ４立方補間カーネルΦの値であり、指数ｉ及びｊはそれぞれ０から
    ３までの値を有し、ｘサイズはピクセル行の方向に沿った取込画像の寸法であり
    、またｙサイズはピクセル列の方向に沿った取込画像の寸法である、請求項９２
    に記載の装置。
  112. 【請求項１１２】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピ
    クセル列との交差点に置かれ、前記ピクセル行がピクセル列に対して直交し、前
    記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、複
    数の規則正しく離間された中間行と複数の規則正しく離間された中間列との各々
    の交差点に位置しており、前記中間行の各々は前記ピクセル行に対して平行であ
    ると共に前記ピクセル行の各々の隣接対の間の中心を延在し、前記中間列の各々
    は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間
    の中心を延在し、さらに前記補間器は、前記ピクセル位置発生器から受信された
    前記ピクセル位置（ｘ，ｙ）の各々における前記再標本化オン−グリッド輝度値
    を、関係 【数１２】 を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を
    有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）
    はピクセル位置（ｘ−２，ｙ−２）での前記再標本化オン−グリッド輝度値であ
    り、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）はオフ−グリッド位置（ｘ−１．５
    ＋ｉ，ｙ−１．５＋ｊ）でのオフ−グリッド輝度値であり、Φｉｊ は、指数ｉ
    及びｊでの４ｘ４立方補間カーネルΦの値であり、指数ｉ及びｊはそれぞれ０か
    ら３までの値を有し、ｘサイズはピクセル行の方向に沿った取込画像の寸法であ
    り、またｙサイズはピクセル列の方向に沿った取込画像の寸法である、請求項９
    ８に記載の装置。
  113. 【請求項１１３】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、複数の規則正しく離間されたピクセル列と複数の規則正しく離間されたピ
    クセル行との交差点に置かれ、前記ピクセル行がピクセル列に対して直交し、前
    記オフ−グリッド発生器によって与えられた前記オフ−グリッド位置は、複数の
    規則正しく離間された中間行とピクセル列との各々の交差点に位置しており、前
    記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行の各
    々の隣接対の間の中心を延在し、前記中間列の各々は前記ピクセル列に対して平
    行であると共に前記ピクセル列の各々の隣接対の間の中心を延在し、さらに前記
    補間器は、前記ピクセル位置発生器から受信された前記ピクセル位置（ｘ，ｙ）
    の各々における前記補間されたオン−グリッド輝度値を関係 【数１３】 を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を
    有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）
    はピクセル位置（ｘ−２，ｙ−２）での前記補間されたオン−グリッド輝度値で
    あり、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）はオフ−グリッ
    ド位置（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）でのオフ−グリッ
    ド輝度値であり、Φｉｊ は、指数ｉ及びｊでの４ｘ４立方補間カーネルΦの値
    であり、指数ｉ及びｊはそれぞれ０から３までの値を有し、ｘサイズはピクセル
    行の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿
    った取込画像の寸法である、請求項９２に記載の装置。
  114. 【請求項１１４】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピ
    クセル列との交差点に置かれ、前記ピクセル行がピクセル列に対して直交し、前
    記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、複
    数の規則正しく離間された中間行とピクセル列との各々の交差点に位置しており
    、前記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行
    の各々の隣接対の間の中心を延在し、前記中間列の各々は前記ピクセル列に対し
    て平行であると共に前記ピクセル列の各々の隣接対の間の中心を延在し、さらに
    前記補間器は、前記ピクセル位置発生器から受信された前記ピクセル位置（ｘ，
    ｙ）の各々における前記再標本化オン−グリッド輝度値を関係 【数１４】 を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を
    有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）
    はピクセル位置（ｘ−２，ｙ−２）での前記再標本化オン−グリッド輝度値であ
    り、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）はオフ−グリッド
    位置（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）でのオフ−グリッド
    輝度値であり、Φｉｊ は、指数ｉ及びｊでの４ｘ４立方補間カーネルΦの値で
    あり、指数ｉ及びｊはそれぞれ０から３までの値を有し、ｘサイズはピクセル行
    の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿っ
    た取込画像の寸法である、請求項９８に記載の装置。
  115. 【請求項１１５】 前記４ｘ４立方補間カーネルΦは、 【表９】 の形式を有する、請求項１１１又は１１２に記載の方法。
  116. 【請求項１１６】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、線形ピクセル位置アレイを規定するピクセル行において各々の規則正しく
    離間されたピクセル位置であり、前記オフ−グリッド位置によって与えられた前
    記オフ−グリッド位置はそれぞれ前記ピクセル位置行におけるピクセル位置の各
    々の隣接対の中間点に位置し、さらに前記補間器は、前記ピクセル位置発生器か
    ら受信された前記ピクセル位置ｘの各々で前記標本化オン−グリッド輝度値を、
    関係 【数１５】 を用いて導き出すもので、該式中、ｘは３．５からｘサイズ−３．５までの値を
    有し、Ｉ０（ｘ−３）はピクセル位置（ｘ−３）での前記再標本化オン−グリッ
    ド輝度値であり、Ｂ（ｘ＋ｋ）はオフ−グリッド位置（ｘ＋ｋ）での前記推定オ
    フ−グリッド輝度値であり、ｋは４ｘ１立方補間カーネルΨの値であり、Ψ（ｋ
    ）は位置ｋでの前記立方補間カーネルΨの値、前記位置ｋは−１．５から１．５
    の値を有し、さらにｘサイズは取込画像の寸法である、請求項９８に記載のシス
    テム。
  117. 【請求項１１７】 前記４ｘ１立方補間カーネルΨは、 【表１０】 の形式を有する、請求項１１６に記載の方法。
  118. 【請求項１１８】 前記画像センサは、離間した直交の行及び列状にフォトダイ
    オードからなるアレイを有する主席回路電荷結合素子であり、前記フォトダイオ
    ードの各々は、入射光に対する露出に適合した光検出面を有すると共に光発生電
    荷を保存するためにおベレーティブにバイアスされており、前記電荷結合素子は
    前記フォトダイオードの所定のものの感光面を覆うように形成された各々の集積
    レンズを有し、各集積レンズは入射光を前記各々の光検出面上に前記入射光を集
    束させ、それによって前記集積レンズが前記光検出面を覆うように形成されてい
    るかどうかによって前記フォトダイオードの各々の前記感度レベルが決定される
    、請求項７７に記載のシステム。
  119. 【請求項１１９】 前記画像センサは、離間した直交の行及び列状にフォトダイ
    オードからなるアレイを有する主席回路電荷結合素子であり、前記フォトダイオ
    ードの各々は、入射光に対する露出に適合した光検出面を有すると共に光発生電
    荷を保存するためにオペレーティブにバイアスされており、前記フォトダイオー
    ドの各々は前記光検出面を覆うように形成された集積光フィルターを有し、各集
    積光フィルターの透過性は前記電荷結合素子の製造中固定されており、それによ
    って前記フォトダイオードの各々の前記感度レベルは前記光検出面を覆う前記集
    積光フィルターの透過性によって決定される、請求項７７に記載の装置。
  120. 【請求項１２０】 前記画像センサは、離間した直交の行及び列状にフォトダイ
    オードからなるアレイを有する主席回路電荷結合素子であり、前記フォトダイオ
    ードの各々は、入射光に対する露出に適合した光検出面を有すると共に光発生電
    荷を保存するためにオペレーティブにバイアスされており、不透明層が形成され
    た前記電荷結合素子は、前記フォトダイオードの各々の光検出面上の前記不透明
    層に形成された各々のアパーチャを有するフォトダイオードからなるアレイを覆
    い、前記フォトダイオードの各々の光検出面上の前記アパーチャの各々の寸法は
    前記電荷結合素子の製造中固定されており、それによって前記アレイにおける前
    記フォトダイオードの各々の感度レベルが前記光検出面上の前記アパーチャの寸
    法によって決定される、請求項７７に記載のシステム。
  121. 【請求項１２１】 前記画像センサは、離間した直交の行及び列状に多数のフォ
    トダイオードを有する主席回路電荷結合素子であり、前記フォトダイオードの各
    々は、入射光に対する露出に適合した光検出面を有すると共に光発生電荷を保存
    するためにオペレーティブにバイアスされており、前記電荷結合素子は、前記フ
    ォトダイオードからなる列が対応の垂直シフト・レジスタに隣接されて各々配置
    されており、各フォト・ダイオードは、前記フォトダイオードから前記対応の垂
    直シフト・レジスタへの保存光発生電荷の移動を制御するための関連転送ゲート
    電極を有し、前記フォトダイオードの各々の前記保存光発生電荷はオペレーティ
    ブに周期的に前記素子への周期的リセット・パルスの印加によって周期的に取り
    除かれ、前記フォトダイオードの各々に保存された前記光発生電荷は、前記関連
    転送ゲート電極に対するトランスファトリガー・パルスの印加によって前記対応
    の垂直シフト・レジスタの各々のステージへオペレーティブに転送されると共に
    １つの露出間隔に対して集積され、前記各々の転送トリガー・パルスは、所定の
    周期で前記フォトダイオードに関連した前記転送ゲート電極に対してオペレーテ
    ィブに印加され、それによって前記アレイにおける前記フォトダイオードの各々
    の前記感度は前記転送ゲート電極に印加せれた前記転送トリガー・パルスの周期
    によって決定される、請求項７７に記載のシステム。
  122. 【請求項１２２】 前記オフ−グリッド推定器は、 （ａ） 前記ピクセル位置アレイにおける前記ピクセル位置を与えるためのピ
    クセル位置発生器と、 （ｂ） 前記ピクセル位置の各々に対応する前記感度レベルを記憶するための
    感度パターン・メモリと、 （ｃ） 前記ピクセル位置発生器からの前記ピクセル位置アレイのピクセル位
    置と、前記感度パターン・メモリからの前記受信されたピクセル位置に対応する
    前記感度レベル及び前記取込画像メモリからの前記受信されたピクセル位置に対
    応する取込画像輝度値に対応する感度レベルを示し、前記ピクセル位置発生器か
    ら受信されたピクセル位置に対して応答性を示すデータと、前記受信されたピク
    セル位置で前記取込画像輝度値を前記取込画像メモリから検索するために、また
    前記ピクセル位置発生器から受信された前記ピクセル位置で各々の補償された輝
    度値を与えるために、前記受信されたピクセル位置に対応する前記感度レベルを
    有する光検出素子の応答関数の逆数によって前記受信されたピクセル位置で前記
    検索された取込画像輝度値を補償するために、前記受信されたピクセル位置に対
    応する前記感度レベルを示すデータとを受信する応答関数補償器と、 （ｄ） 前記応答関数補償器によって誘導された各々の補償された取込画像輝
    度値を記憶するための補償オン−グリッド輝度値と、 （ｅ） 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置を与
    えるためのオフグリッド位置発生器と、； （ｆ） 前記補償されたオン−グリッド輝度値メモリにある前記補償された取
    込画像輝度値から前記オフ−グリッド位置発生器から受信された前記オフ−グリ
    ッド位置での各々の推定オフ−グリッド輝度を導き出すために、前記オフ−グリ
    ッド位置発生器からオフ−グリッド位置を受信すると共に前記オフ−グリッド位
    置発生器から受信されたオフ−グリッド位置に対して応答性がある疑似逆数推定
    器と、 を有する請求項７７に記載のシステム。
  123. 【請求項１２３】 前記出力画像発生器は、 （ｉ） 前記疑似逆数推定器によって誘導された前記各々の推定オフ−グリッ
    ド輝度値を記憶するためのオフ−グリッド輝度値メモリと、 （ｉｉ） 前記オフ−グリッド輝度値メモリにある前記推定オフ−グリッド輝
    度値から前記ピクセル位置アレイの前記ピクセル位置における各々のオン−グリ
    ッド再標本化輝度値を導き出すためのオン−グリッド再標本化器と、 （ｉｉｉ） 前記出力画像のピクセル画像輝度値として前記オン−グリッド再
    標本化器によって誘導された前記各々の再標本化オン−グリッド輝度値を記憶す
    るための出力画像メモリと、 を有し、前記オン−グリッド再標本化器は、 （１） 前記ピクセル位置アレイにおける前記ピクセル位置を与えるための第
    ２のピクセル位置発生器と、 （２） 前記オフ−グリッド輝度値メモリにある前記推定オフ−グリッド輝度
    値から、前記第２のピクセル位置発生器から受信された前記ピクセル位置におけ
    る前記再標本化オン−グリッド輝度値を導き出すために、前記ピクセル位置発生
    器からピクセル位置を受信すると共に前記ピクセル位置発生器からのピクセル位
    置に対して応答性を示す補間器と、 を備える、請求項１２２に記載のシステム。
  124. 【請求項１２４】 前記応答関数補償器は、 前記複数の感度レベルの異なる一つを有する光検知素子における各々の応答関
    数の逆数を表す別々のルックアップ・テーブル・データを記憶するルックアップ
    ・テーブル・メモリと、 前記受信されたピクセル位置に対応する前記感度レベルを有する光検知素子の
    前記応答関数の逆数を表す前記ルックアップ・テーブル・データに対する各々の
    指数を誘導し、前記補償されたオン−グリッド輝度値メモリに対する指数に対応
    する補償されたオン−グリッド輝度値を与えるために、前記第１のピクセル位置
    から受信した前記ピクセル位置における前記取込画像輝度値を前記取込画像メモ
    リから受信するマッパーと、 を備える、請求項１２２に記載のシステム。
  125. 【請求項１２５】 前記疑似逆数推定器は、 前記オフ−グリッド位置から受信されたオフ−グリッド位置に対して最も近傍
    にある所定数のピクセル位置における各々の補償されたオン−グリッド輝度値を
    前記補償されたオン−グリッド再標本化輝度値メモリから検索するために、前記
    受信されたオフ−グリッド位置に対して応答性を示す手段と、 前記最も近傍のピクセル位置での前記各々の補償されたオン−グリッド輝度値
    それぞれを所定の低閾値及び所定の高閾値と比較する比較器と、 前記所定の低閾値よりも大きく、かつ前記所定の高閾値よりも低い前記最も近
    傍のピクセル位置にある補償されたオン−グリッド輝度値の合計を計算する加算
    器手段と、 前記合計に含まれる前記補償されたオン−グリッド輝度値の数によって前記加
    算器により計算された前記合計を除算する除算器と、 を備える、請求項１２２に記載のシステム。
  126. 【請求項１２６】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピ
    クセル列との交差点であり、前記ピクセル行がピクセル列に対して直交し、前記
    オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、複数
    の規則正しく離間せれた中間行と複数の規則正しく離間された中間列との各々の
    交差点に位置し、前記中間行の各々は前記ピックセル行に対して平行であると共
    に前記ピクセル行の各々の隣接対の間の中央に延在し、各中間列は前記ピクセル
    列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中央に延在し
    、さらに前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド
    位置は座標（ｘ’，ｙ’）を有するもので、ｘ’は１からｘサイズ−１までの値
    を有し、またｙ’は１からｙサイズ−１までの値を有し、ｘサイズはピクセル行
    の方向に沿った前記取込画像の寸法であり、ｙサイズはピクセル列の方向に沿っ
    た前記取込画像の寸法である、請求項１２２に記載のシステム。
  127. 【請求項１２７】 前記光検知素子からなる前記アレイの前記所定感度パターン
    は、繰り返して配置された４つの最も近傍のピクセル位置からなる群に対応し、
    各群における前記４つの最も近傍のピクセル位置は、一つの共通の所定位置順序
    にある４つの所定感度レベルの各々に対応する、請求項１２６に記載のシステム
    。
  128. 【請求項１２８】 前記オフ−グリッド位置発生器から受信されたオフ−グリッ
    ド位置（ｘ’，ｙ’）で前記各々の輝度値を推定するための前記疑似逆数推定器
    は、 （ｉ） ４ｘ４立方補間器カーネルΦを記憶するためのメモリと、 （ｉｉ） 前記受信されたオフ−グリッド位置（ｘ’，ｙ’）に最も近傍にあ
    る１６個のピクセル位置（ｕ，ｖ）の各々における前記補償されたオン−グリッ
    ド輝度値を所定の低閾値及び所定の高閾値と比較するための比較器と、 （ｉｉｉ） 前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低い
    補償されたオン−グリッド輝度値を有する前記１６個の最も近傍のピクセル位置
    （ｕ，ｖ）の各々に対して、関係ｉ＝ｘ’−ｕ−１．５及びｊ＝ｙ’−ｖ−１．
    ５（式中、ｕはｘ’−１．５からｘ’＋１．５までの値を有し、ｃはｙ’−１．
    ５からｙ’＋１．５までの値を有する）を用いて前記４ｘ４立方補間器カーネル
    Φの指数ｉ及びｊを計算するための第１の計算手段と、 （ｉｖ） 前記第１の計算手段によって計算された指数ｉ及びｊを用いて、前
    記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低い補償されたオン−
    グリッド輝度値を有する前記１６個の最も近傍のピクセル位置（ｕ，ｖ）におけ
    る各補償されたオン−グリッド輝度値Ｉ（ｕ，ｖ）についての量 【数１６】 （式中、Φｍｎは指数ｍ及びｎでの前記４ｘ４立方補間器カーネルΦの値） を計算するための第２の計算手段と、 （ｖ） 前記第１の計算手段によって計算されたｉ及びｊの値に対して、量Φ
    ２ ｉｊを計算するための第３の計算手段と、 （ｖｉ） 第１の合計ｓを導き出すために前記第２の計算手段によって計算さ
    れた前記量 【数１７】 を加算するための第１の加算器と、 （ｖｉｉ） 第２の合計ｗを導くために前記第３の計算手段によって計算さ
    れた量Φ２ ｉｊを加算するための第２の加算器と、 （ｖｉｉｉ） 前記第２の合計ｗによって前記第１の合計ｓを除算すること
    で前記受信されたオフ−グリッド位置（ｘ’，ｙ’）における前記推定されたオ
    フ−グリッド輝度値を導く除算器と、 を備える、請求項１２６に記載のシステム。
  129. 【請求項１２９】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピ
    クセル列との交差点であり、前記オフ−グリッド位置発生器によって与えられた
    前記オフ−グリッド位置は、複数の規則正しく離間せれた中間行と複数の規則正
    しく離間された中間列との各々の交差点に位置し、前記中間行の各々は前記ピッ
    クセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中央に
    延在し、各中間列は前記ピクセル列に対して平行であると共に前記ピクセル列の
    各々の隣接対の間の中央に延在し、前記オフ−グリッド位置発生器によって与え
    られた前記オフ−グリッド位置は座標（ｘ’，ｙ’）を有するもので、前記ピク
    セル行及び前記中間列の各々の交差点に位置したオフ−グリッド位置についてｘ
    ’は１からｘサイズ−１までの値を有し、またｙ’は０．５からｙサイズ−０．
    ５までの値を有し、さらに前記ピクセル列と前記中間行との各々の交差点に位置
    したオフ−グリッド位置についてはｘ’は０．５からｙサイズ−０．５までの値
    を有し、またｙ’は０．１からｙサイズ−１までの値を有し、ｘサイズはピクセ
    ル行の方向に沿った前記取込画像の寸法であり、ｙサイズはピクセル列の方向に
    沿った前記取込画像の寸法である、請求項１２２に記載のシステム。
  130. 【請求項１３０】 前記光検知素子からなる前記アレイの前記所定感度パターン
    は、所定の第１感度レベル及び所定の第２感度レベルを有し、各ピクセル行にお
    ける隣接ピクセル位置及び各ピクセル行における隣接ピクセル位置は、前記所定
    の第１感度レベル及び前記所定の第２感度レベルに対応する請求項１２９のシス
    テム。
  131. 【請求項１３１】 前記オフ−グリッド位置発生器から受信されたオフ−グリッ
    ド位置（ｘ’，ｙ’）での前記各々のオフ−グリッド輝度値を推定するための前
    記疑似逆数推定器は、 （ｉ） ４ｘ４立方補間カーネルΦを記憶するためのメモリと、 （ｉｉ） 関係ｕ＝ｘ’＋０．５ｉ−０．５ｊ及びｖ＝ｙ’−１．５＋０．５
    ｉ＋０．５ｊ（式中、ｉ及びｊが前記４ｘ４立方補間カーネルΦの指数であり、
    前記指数ｉ及びｊの各々が０から３までの値を有する）を用いて座標（ｕ，ｖ）
    を計算するために前記オフ−グリッド位置発生器から受信されたオフ−グリッド
    位置（ｘ’，ｙ’）い対する応答性を示す第１の計算手段と、 （ｉｉｉ） 前記座標（ｕ，ｖ）がピクセル位置のものであるかどうかを判断
    するために、前記第１の計算手段によって計算された座標（ｕ，ｖ）からなる各
    々の対に対する応答性を示す手段と、 （ｉｖ） 前記ピクセル位置（ｕ，ｖ）での前記補償されたオン−グリッド輝
    度値Ｉ（ｕ，ｖ）を前記所定の低閾値及び前記所定の高閾値と比較するために、
    ピクセル位置の座標である前記座標（ｕ，ｖ）に対して応答性を示す比較器と、 （ｖ） 前記量 【数１８】 （式中、ｉ及びｊの値は前記座標（ｕ，ｖ）を計算するために前記第１の計算手
    段によって使用されるｉ及びｊであり、さらにΦｍｎは指数ｍ及びｎでの前記４
    ｘ４立方補間カーネルΦの値である） を計算するために、前記ピクセル位置の座標である前記座標（ｕ，ｖ）と、所定
    の低閾値よりも大きく、かつ所定の高閾値よりも低い前記ピクセル位置（ｕ，ｖ
    ）における前記補償されたオン−グリッド輝度値Ｉ（ｕ，ｖ）とに対して応答性
    を示す第２の計算手段と、 （ｖｉ） 前記補償されたオン−グリッド輝度値Ｉ（ｕ，ｖ）が前記所定の低
    閾値よりも高く、かつ前記所定の高閾値よりも低いピクセル位置座標（ｕ，ｖ）
    を計算するために、前記第１の計算手段によって使用されたｉ及びｊの値につい
    て前記量Φ２ ｉｊを計算するための第３の計算手段と、 （ｖｉｉ） 第１の合計ｓを導き出すために前記第２の計算手段によって計算
    された前記量 【数１９】 を加算するための第１の加算器と、 （ｖｉｉｉ） 第２の合計ｗを導くために前記第３の計算手段によって計算
    された量Φ２ ｉｊを加算するための第２の加算器と、 （ｖｉｉｉ） 前記第２の合計ｗによって前記第１の合計ｓを除算すること
    で前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置（ｘ’
    ，ｙ’）における前記推定されたオフ−グリッド輝度値を導く除算器と、 を備える、請求項１２９に記載のシステム。
  132. 【請求項１３２】 前記４ｘ４立方補間カーネルΦは、 【表１１】 の形式を備える、請求項１３１に記載のシステム。
  133. 【請求項１３３】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、線形ピクセル位置アレイにある各々の規則正しく離間されたピクセル位置
    に位置しており、前記オフ−グリッド位置発生器によって与えられた前記オフ−
    グリッド位置は前記線形ピク得る位置アレイにおけるピクセル位置の各々の隣接
    対の間の中間点にそれぞれが位置しており、前記光検知素子の前記所定感度パタ
    ーンは所定の第１感度レベルと所定の第２感度レベルとを有し、前記線形ピクセ
    ル位置アレイの隣接ピクセル位置はそれぞれが前記所定の第１感度レベル及び前
    記所定の第２感度レベルの異なるものと対応する、請求項１２２に記載のシステ
    ム。
  134. 【請求項１３４】 前記ピクセル位置発生器によって与えられた前記ピクセル位
    置は、０．５からｘサイズ−０．５までの値を有し、ｘサイズは前記取込ライン
    画像の寸法であり、前記オフ−グリッド位置発生器によって与えられた前記オフ
    −グリッド位置は２からｘサイズ−２までの値を備える、請求項１３３に記載の
    システム。
  135. 【請求項１３５】 前記オフ−グリッド位置発生器によって受信されたオフ−グ
    リッド位置ｘ’における前記各々の輝度値を推定するための疑似逆数推定器は、 （ｉ） ４ｘ４ガウシアン補間カーネルＧを記憶するためのメモリと、 （ｉｉ） 前記受信されたオフ−グリッド位置ｘ’に最も近傍にある４つのピ
    クセル位置ｋ（ｋはｘ’−１．５からｘ’＋１．５までの値）の各々で前記補償
    されたオン−グリッド輝度値Ｉ（ｋ）を所定の低閾値及び所定の高閾値と比較す
    るための比較器と、 （ｉｉｉ） 前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低い
    前記４つの最も近傍のピクセル位置ｋにおける前記補償されたオン−グリッド輝
    度値Ｉ（ｋ）の各々に対して量Ｉ（ｋ）Ｇ（ｋ−ｘ’）（式中、Ｇ（ｋ−ｘ’）
    は位置（ｋ−ｘ’）におけるガウシアン補間カーネルＧの値）を計算するための
    第１の計算手段と、 （ｉｖ） 第１の合計ｐを導き出すために、前記所定の低閾値よりも高く、か
    つ前記所定の高閾値よりも低いＩ（ｋ）の全ての値について前記量Ｉ（ｋ）Ｇ（
    ｋ−ｘ’）を加算するための第１の加算器と、 （ｖ） 第２の合計ｑを導き出すために、Ｉ（ｋ）が前記所定の低閾値よりも
    高く、かつ前記所定の高閾値よりも低いｋの全ての値について前記ガウシアン補
    間カーネル値Ｇ（ｋ−ｘ’）を加算するための第２の加算器と、 （ｖｉ） 前記オフ−グリッド位置発生器から受信された前記オフ−グリッド
    位置ｘ’で前記推定されたオフ−グリッド輝度値Ｂ（ｘ’）を導き出すための除
    算器と、 を備える、請求項１３４に記載のシステム。
  136. 【請求項１３６】 前記所定の低閾値は、前記光検知素子の前記応答関数の逆数
    によって補償された比較されている前記補償されたオン−グリッド輝度値の前記
    ピクセル位置に対応する感度レベルを有する前記光検出素子のノイズ・レベルで
    あり、前記所定の高閾値は比較されている前記補償されたオン−グリッド輝度値
    に対応する前記感度レベルを有する光検知素子の飽和又は近飽和輝度値である、
    請求項１２５、１２８、１３１、又は１３５に記載の装置。
  137. 【請求項１３７】 前記第２のピクセル位置発生器によって与えられた前記ピク
    セル位置アレイの前記ピクセル位置は、線形ピクセル位置アレイの各々の規則正
    しく離間されたピクセル位置に置かれ、前記オフ−グリッド位置発生器によって
    与えられた前記オフ−グリッド位置における前記オフ−グリッド位置アレイはそ
    れぞれ前記線形ピクセル位置アレイのピクセル位置の各々の隣接対の間に置かれ
    る、請求項１２３に記載の装置。
  138. 【請求項１３８】 前記第２のピクセル位置発生器によって与えられた前記ピク
    セル位置アレイの前記ピクセル位置は、複数の規則正しく離間されたピクセル行
    と複数の規則正しく離間されたピクセル列との交差点に位置し、前記ピクセル行
    が前記ピクセル列に対して直交し、前記オフ−グリッド位置発生器によって与え
    られた前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は、複数
    の規則正しく離間された中間行と複数の規則正しく離間された中間列との各々の
    交差点に位置し、各中間行は前記ピクセル行に対して平行であると共に前記ピク
    セル行の各々の隣接対の間に延在しており、また各中間列は前記ピクセル列に対
    して平行であると共に前記ピクセル列の各々の隣接対の間に延在している、請求
    項１２３に記載の装置。
  139. 【請求項１３９】 前記第２のピクセル位置発生器によって与えられた前記ピク
    セル位置アレイの前記ピクセル位置は、複数の規則正しく離間されたピクセル行
    と複数の規則正しく離間されたピクセル列との交差点に位置し、前記ピクセル行
    が前記ピクセル列に対して直交し、前記オフ−グリッド位置発生器によって与え
    られた前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は、複数
    の規則正しく離間された中間列と前記ピクセル行との各々の交差点に位置し、前
    記中間ピクセル列の各々は前記ピクセル列に対して平行であると共にピクセル列
    の各々の隣接対の間に延在している、請求項１２３に記載の装置。
  140. 【請求項１４０】 前記補間器は、 前記ピクセル位置アレイに一致するように前記オフ−グリッド位置アレイをシ
    フトさせるための手段を有し、それによって前記ピクセル位置アレイの各ピクセ
    ル位置における前記再標本化オン−グリッド輝度値は前記シフトされたオフ−グ
    リッド位置アレイの一致オフ−グリッド位置での前記推定されたオフ−グリッド
    輝度値に等しい、請求項１３７、１３８、又は１３９に記載の装置。
  141. 【請求項１４１】 前記補間器は、前記第２のピクセル位置発生器から受信され
    たピクセル位置において、前記受信されたピクセル位置に最も近い所定数のオフ
    −グリッド位置における各々の推定オフ−グリッド輝度値と前記所定数のオフ−
    グリッド位置と同一の寸法を有する補間カーネルとの積を計算することによって
    、各々の再標本化オン−グリッド輝度値を導き出す、請求項１３８に記載の装置
    。
  142. 【請求項１４２】 前記複数の中間行は、各々がピクセル行の各々の隣接対の間
    の中央に延在し、前記複数の規則正しく離間された中間列は、各々がピクセル列
    の各々の隣接対の間の中央に延在し、前記第２のピクセル位置発生器によって与
    えられた前記ピクセル位置は、座標（ｘ，ｙ）を有し、ｘは２．５からｘサイズ
    −２．５までの値であり、ｙは２．５からｙサイズ−２．５までの値であり、ま
    たｘサイズはピクセル行の方向に沿った取込画像の寸法であり、またｙサイズは
    ピクセル列の方向に沿った取込画像の寸法である、請求項１４１に記載の装置。
  143. 【請求項１４３】 前記補間器は、関係 【数２０】 （式中、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における再標
    本化オン−グリッド輝度値、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）はオフ−グ
    リッド位置（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）における前記推定されたオフ−
    グリッド輝度値であり、Φｉｊは指数ｉ及びｊにおける前記４ｘ４立方補間カー
    ネルΦの値であり、さらに指数ｉ及びｊは０から３までの値を有する） にもとづいて各々の再標本化オン−グリッド輝度値を導き出すために、前記第
    ２のピクセル発生器から受信されたピクセル位置に対して応答性を示す、請求項
    １４２に記載の装置。
  144. 【請求項１４４】 前記第２のピクセル位置発生器によって与えられた前記ピク
    セル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間さ
    れたピクセル列との交差点に位置しており、前記ピクセル行がピクセル列に対し
    て直交し、複数の規則正しく離間された中間行と前記ピクセル列との各々の交差
    点、及び複数の規則正しく離間された中間列及び前記ピクセル行の各々の交差点
    に位置しており、前記中間行の各々は前記ピックセル行に対して平行であると共
    に前記ピクセル行の各々の隣接対の間の中央に延在し、各中間列は前記ピクセル
    列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中央に延在し
    、前記第２のピクセル位置発生器によって生成される前記ピクセル位置は、ｘが
    ２．５からｘサイズ−２．５までの値であり、かつｙが２．５からｙサイズ−２
    ．５までの値であり、ｘサイズがピクセル行の方向に沿った取込画像の寸法であ
    り、またｙサイズはピクセル列の方向に沿った取込画像の寸法である．座標（ｘ
    ，ｙ）を有する、請求項１２３に記載のシステム。
  145. 【請求項１４５】 前記補間器は、関係 【数２１】 （式中、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における再標
    本化オン−グリッド輝度値、Ｂ（ｘ＋０．５−０．５ｊ，ｙ−１．５＋０．５ｉ
    ＋０．５ｊ）はオフ−グリッド位置（ｘ＋０．５−０．５ｊ，ｙ−１．５＋０．
    ５ｉ＋０．５ｊ）における前記オフ−グリッド輝度値であり、Φｉｊは指数ｉ及
    びｊにおける前記４ｘ４立方補間カーネルΦの値であり、さらに指数ｉ及びｊは
    ０から３までの値を有する） にもとづいて各々の再標本化オン−グリッド輝度値を導き出すために、前記第２
    のピクセル発生器から受信されたピクセル位置に対して応答性を示す、請求項１
    ４４に記載のシステム。
  146. 【請求項１４６】 前記４ｘ４立方補間カーネルΦは、 【表１２】 の形式を有する、請求項１２８又は１４３に記載の方法。
  147. 【請求項１４７】 前記補間カーネルは２次元ガウシアン・カーネルである、請
    求項１４１に記載の装置。
  148. 【請求項１４８】 前記２次元ガウシアン・カーネルは、 【表１３】 の形式を有する、請求項１４７に記載のシステム。
  149. 【請求項１４９】 前記補間カーネルは２立方Ｂスプライン補間フィルタ・カー
    ネルである、請求項１４１に記載のシステム。
  150. 【請求項１５０】 前記２立方Ｂスプライン補間フィルタ・カーネルは、 【表１４】 の形式を有する、請求項１４９に記載のシステム。
  151. 【請求項１５１】 前記補間カーネルは２線形補間フィルタ・カーネルである、
    請求項１４１に記載の装置。
  152. 【請求項１５２】 前記２線形補間フィルタ・カーネルは、 【表１５】 の形式を有する、請求項１５１に記載のシステム。
  153. 【請求項１５３】 前記オフ−グリッド位置発生器によって与えられた前記オフ
    −グリッド位置は、各々が前記線形ピクセル位置アレイにおけるピクセル位置の
    各々の隣接対の間の中間点に位置しており、前記第２のピクセル位置発生器によ
    って与えられた前記ピクセル位置は、ｘが３．５からｘサイズ−３．５まで、ま
    たｘサイズが前記取込ライン画像の寸法である座標ｘを有する、請求項１３７に
    記載のシステム。
  154. 【請求項１５４】 前記補間器は、関係 【数２２】 （式中、Ｉ０（ｘ−３）はピクセル位置（ｘ−３）における再標本化オン−グリ
    ッド輝度値、Ｂ（ｘ＋ｋ）はオフ−グリッド位置（ｘ＋ｋ）における前記推定さ
    れたオフ−グリッド輝度値であり、ｋは４ｘ１立方補間カーネルΨの値であり、
    さらにΨ（ｋ）は位置ｋにおける前記立方補間カーネルΨの値であり、さらに位
    置ｋは−１．５から１．５までの値である） にもとづいて各々の再標本化オン−グリッド輝度値を導き出すために、前記
    第２のピクセル発生器から受信されたピクセル位置に対して応答性を示す、請求
    項１５３に記載のシステム。
  155. 【請求項１５５】 前記４ｘ１立方補間カーネルΨは、 【表１６】 の形式を有する、請求項１５４のシステム。
  156. 【請求項１５６】 １つのシーンから画像を取り込むために、前記シーンからの
    入射光に対する露出に適した相対的に低いダイナミックレンジの画像センサを用
    いて前記シーンの相対的に高ダイナミックレンジ画像を得るためのシステムであ
    って、 （ａ） アレイ状となった多数の光検知素子を有し、該光センサの各々が前記
    光検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する
    複数の感度レベルのうちの特定の一つを有すると共に応答関数を有し、前記光検
    知素子の各々は前記シーンからの入射光に応じてピクセル位置アレイにおける多
    数のピクセル位置のうちの対応する一つで取込画像輝度値を生成し、それによっ
    て多数のピクセル位置の各々が前記光検知素子の前記複数の感度レベルのうちの
    特定の一つに対応する、画像センサと、 （ｂ） 前記ピクセル位置アレイのピクセル位置で前記光検知素子によって生
    成された各々の取込画像輝度値を記憶するための取込画像メモリと、 （ｃ） 前記ピクセル位置アレイの前記ピクセル位置を与えるためのピクセル
    位置発生器と、 （ｄ） 前記ピクセル位置発生器からの前記ピクセル位置が受信され、前記ピ
    クセル位置発生器から受信されたピクセル位置に対する応答性を示し、前記取込
    画像メモリにある前記取込画像輝度値から、前記受信されたピクセル位置におけ
    る各々の出力画像輝度値を導き出し、前記出力画像輝度値が対応する複数の取込
    画像輝度値から導き出されるオン−グリッド輝度値発生器と、 （ｅ） 前記オン−グリッド輝度値発生器によって導き出された前記ピクセル
    位置発生器から受信された各ピクセル位置における前記各々の出力画像輝度値を
    記憶するための出力画像メモリと、 を備える、システム。
  157. 【請求項１５７】 前記画像センサの光検知素子からなる前記アレイは２次元ア
    レイであり、また前記ピクセル位置アレイは線形ピクセル位置行において規則正
    しく離間されたピクセル位置を有する線形アレイである、請求項１５６に記載の
    システム。
  158. 【請求項１５８】 前記画像センサの光検知素子からなる前記アレイは２次元ア
    レイであり、また前記ピクセル位置アレイは複数の規則正しく離間されたピクセ
    ル行と複数の規則正しく離間されたピクセル列との交差点に位置したピクセル位
    置を有する２次元アレイであり、前記ピクセル行がピクセル列に対して直交し、
    前記ピクセル位置発生器によって得られた前記ピクセル位置は、ｘが２．５から
    ｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５までの値を
    有し、ｘサイズ及びｙサイズはそれぞれピクセル行及びピクセル列の方向に沿っ
    た取込画像の寸法である座標（ｘ，ｙ）を有する、請求項１５６に記載のシステ
    ム。
  159. 【請求項１５９】 前記オン−グリッド輝度値発生器は、関係 【数２３】 （式中、ＩＣ（ｘ−２＋ｉ，ｙ−２＋ｊ）はピクセル位置（ｘ−２＋ｉ，ｙ−２
    ＋ｊ）における取込画像輝度値、Φｉｊは指数ｉ及びｊにおける前記オン−グリ
    ッド補間フィルタ・カーネルΦの値、指数ｉ及びｊは０から３までの値、さらに
    Ｉ０（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における出力画像輝
    度値である） にもとづいて、前記取込画像メモリにある前記取込画像輝度値から、前記受信さ
    れたピクセル位置における各々の出力画像輝度値を導き出すために、前記ピクセ
    ル位置発生器から受信されたピクセル位置（ｘ，ｙ）に対して応答性を示す、請
    求項１５８に記載のシステム。
  160. 【請求項１６０】 １つのシーンから画像を取り込むために、前記シーンからの
    入射光に対する露出に適した相対的に低いダイナミックレンジの画像センサを用
    いて前記シーンの相対的に高ダイナミックレンジ画像を得るためのシステムであ
    って、 （ａ） アレイ状となった多数の光検知素子を有し、該光センサの各々が前記
    光検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する
    複数の感度レベルのうちの特定の一つを有すると共に応答関数を有し、前記光検
    知素子の各々は前記シーンからの入射光に応じてピクセル位置アレイにおける多
    数のピクセル位置のうちの対応する一つで取込画像輝度値を生成し、それによっ
    て多数のピクセル位置の各々が前記光検知素子の前記複数の感度レベルのうちの
    特定の一つに対応する、画像センサと、 （ｂ） 前記ピクセル位置アレイのピクセル位置で前記光検知素子によって生
    成された取込画像輝度値を記憶するための取込画像メモリと、 （ｃ） 前記ピクセル位置アレイの前記ピクセル位置を与えるためのピクセル
    位置発生器と、 （ｄ） 前記ピクセル位置発生器からの前記ピクセル位置が受信され、前記ピ
    クセル位置発生器から受信されたピクセル位置に対する応答性を示し、前記取込
    画像メモリにある前記取込画像輝度値から、前記受信されたピクセル位置におけ
    る各々のオン−グリッド輝度値を導き出し、前記オン−グリッド輝度値が対応す
    る複数の取込画像輝度値から導き出されるオン−グリッド輝度値発生器と、 （ｅ） 前記ピクセル位置発生器から受信された各ピクセル位置における各々
    の出力画像輝度値を与えるために、前記光検知素子の結合応答関数の逆数によっ
    て前記オン−グリッド輝度値発生器によって導き出された各ピクセル位置におけ
    る前記各々のオン−グリッド輝度値を補償するためのもので、前記結合応答関数
    はそれぞれが前記複数の感度レベルの異なるものを有する光検知素子の重み付け
    応答関数の合計であり、前記重み付け応答関数の各々は前記複数の感度レベルの
    各々に対する所定の重み付け係数によって乗算された前記複数の感度レベルの各
    々を有する光検知素子の応答関数である、応答関数補償器と、 （ｆ） 前記応答関数補償器によって与えられた各受信されたピクセル位置で
    前記各々の出力画像輝度値を記憶するための出力画像メモリと、 を備える、システム。
  161. 【請求項１６１】 前記応答関数補償器は、 前記光検知素子の前記結合応答関数の前記逆数を表すデータを記憶するルック
    アップ・テーブル・メモリと、 前記ピクセル位置発生器から受信された前記ピクセル位置にある前記出力画像
    輝度値であるデータ値を前記各々の指数に対応する前記ルックアップ・テーブル
    ・メモリに与えるために、前記オン−グリッド輝度値発生器からオン−グリッド
    輝度値を受信し、前記ルックアップ・テーブルに対する各々の指数を導き出し、
    前記ピクセル位置発生器から受信されたピクセル位置にあるオン−グリッド輝度
    値に対して応答性を示すマッパーと、 を備える、請求項１６０に記載のシステム。
  162. 【請求項１６２】 前記画像センサの光検知素子からなる前記アレイは、２次元
    画像を取り込むための２次元アレイであり、また前記ピクセル位置アレイは複数
    の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列と
    の交差点にあるピクセル位置を有し、前記ピクセル行がピクセル列に対して直交
    し、前記ピクセル位置発生器によって与えられた前記ピクセル位置は、ｘが２．
    ５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５まで
    の値を有し、ｘサイズ及びｙサイズはそれぞれピクセル行及びピクセル列の方向
    に沿った取込画像の寸法である座標（ｘ，ｙ）を有する、請求項１６０に記載の
    システム。
  163. 【請求項１６３】 前記オン−グリッド輝度値発生器は、関係 【数２４】 （式中、ＩＣ（ｘ−２＋ｉ，ｙ−２＋ｊ）はピクセル位置（ｘ−２＋ｉ，ｙ−２
    ＋ｊ）における取込画像輝度値、Φｉｊは指数ｉ及びｊにおける前記オン−グリ
    ッド補間フィルタ・カーネルΦの値、指数ｉ及びｊは０から４までの値、さらに
    Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における出力画像輝度
    値である） にもとづいて、前記取込画像メモリにある前記取込画像輝度値から、前記受信さ
    れたピクセル位置における各々の出力画像輝度値を導き出すために、前記ピクセ
    ル位置発生器から受信されたピクセル位置に対して応答性を示す、請求項１６２
    に記載のシステム。
  164. 【請求項１６４】 前記オン−グリッド補間フィルタ・カーネルΦは、 【表１７】 の形式を有する、請求項１５９又は１６３に記載の方法。
  165. 【請求項１６５】 前記画像センサの光検知素子からなる前記アレイは、ライン
    画像を取り込むための線形アレイであり、また前記ピクセル位置アレイは１つの
    線形ピクセル行で規則正しく離間したピクセル位置を有する線形アレイである、
    請求項１５８に記載のシステム。
  166. 【請求項１６６】 １つのシーンから画像を取り込むために、前記シーンからの
    入射光に対する露出に適した相対的に低いダイナミックレンジの画像センサを用
    いて前記シーンの相対的に高ダイナミックレンジ画像を得るためのシステムであ
    って、 （ａ） アレイ状となった多数の光検知素子を有し、該光センサの各々が前記
    光検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する
    複数の感度レベルのうちの特定の一つを有すると共に各々の応答関数を有し、前
    記光検知素子の各々は前記シーンからの入射光に応じてピクセル位置アレイにお
    ける多数のピクセル位置のうちの対応する一つで取込画像輝度値を生成し、それ
    によって多数のピクセル位置の各々が前記光検知素子の前記複数の感度レベルの
    うちの特定の一つに対応する、画像センサと、 （ｂ） 前記ピクセル位置アレイのピクセル位置で前記光検知素子によって生
    成された取込画像輝度値を記憶するための取込画像メモリと、 （ｃ） 前記ピクセル位置アレイの前記ピクセル位置を与えるための第１のピ
    クセル位置発生器と、 （ｄ） 前記ピクセル位置アレイの前記第１のピクセル位置の各々に対応する
    前記感度レベルを示すデータを記憶するための感度パターン・メモリと、 （ｅ） 前記第１のピクセル位置発生器からピクセル位置を受信し、データは
    前記感度パターン・メモリからの前記受信されたピクセル位置に対応する前記感
    度レベルと前記取込画像メモリからの前記受信されたピクセル位置における取込
    画像輝度値とを示し、前記取込画像メモリから前記受信されあたピクセル位置で
    の前記取込画像輝度値を検索するために、また前記受信されたピクセル位置に対
    応する前記感度レベルを有する光検知素子の前記応答関数の逆数によって、前記
    受信されたピクセル位置における前記検索された取込画像輝度値を補償するため
    に、前記第１のピクセル位置発生器から受信されたピクセル位置と、前記受信さ
    れたピクセル位置に対応する前記感度レベルを示すデータとに対して応答性を示
    すことで、前記第１のピクセル位置発生器から受信された前記ピクセル位置での
    各々の補償輝度値を与える応答関数補償器と、 （ｆ） 前記第１のピクセル位置発生器から受信された前記ピクセル位置での
    各々の補償された取込画像値を記憶するための補償オン−グリッド輝度値メモリ
    と、 （ｇ） 前記ピクセル位置アレイにおける前記ピクセル位置を与えるための第
    ２のピクセル位置発生器と、 （ｈ） 前記第２のピクセル位置発生器からピクセル位置を受信し、前記取込
    画像メモリにある前記取込画像輝度値から各受信されたピクセル位置における各
    々の出力画像輝度値を導き出すために、前記第２のピクセル位置発生器から受信
    された各ピクセル位置に応答性を示すオン−グリッド輝度値発生器と、 （ｉ） 前記第２のピクセル位置発生器から受信された各ピクセル位置での前
    記各々の出力画像輝度値を記憶するための出力画像メモリと、 を備える、システム。
  167. 【請求項１６７】 前記応答補償器は、前記複数の感度レベルの異なるものを有
    する光検知素子の各々の応答関数の逆数を表す別個のルックアップ・テーブル・
    データを記憶するルックアップ・テーブル・メモリと、 前記ルックアップ・テーブル・メモリに対する各々の指数を導き出し、そこか
    ら前記受信されたピクセル位置に対応する前記感度レベルを有する光検知素子の
    前記応答関数の前記逆数を表すルックアップ・テーブルからの前記各々の指数に
    対応する補償オン−グリッド輝度値を検索し、前記検索された補償オン−グリッ
    ド輝度値を前記補償オン−グリッド輝度値メモリに与えるために、前記取込画像
    メモリから取込画像輝度値を受信すると共に前記第１のピクセル位置発生器から
    受信されたピクセル位置にある取込画像輝度値に対して応答性を示すマッパーと
    、 を備える、請求項１６６に記載のシステム。
  168. 【請求項１６８】 前記画像センサの光検知素子の前記アレイは２次元アレイで
    あり、また前記ピクセル位置アレイは複数の規則正しく離間されたピクセル行と
    複数の規則正しく離間されたピクセル列との交差点にあるピクセル位置を有し、
    前記ピクセル行がピクセル列に対して直交する、請求項１６６に記載のシステム
    。
  169. 【請求項１６９】 前記画像センサの光検知素子からなる前記アレイは、ライン
    画像を取り込むための線形アレイであり、前記ピクセル位置アレイは線形ピクセ
    ル行の各々規則正しく離間されたピクセル位置を有する線形アレイであり、前記
    ピクセル位置発生器によって与えられた前記ピクセル位置は、ｘが２．５からｘ
    サイズ−２．５までの値を有し、かつｘサイズが前記取込ライン画像の寸法であ
    る座標ｘを有する、請求項１６６に記載のシステム。
  170. 【請求項１７０】 前記取込画像メモリにある前記取込画像輝度値から前記受信
    されたピクセル位置での各々の出力画像輝度値を導き出すために、前記オン−グ
    リッド輝度値発生器は前記第２のピクセル位置発生器から受信されたピクセル位
    置に対して応答性を示すもので、前記オン−グリッド輝度値発生器は、 （ｉ）５ｘ１ガウシアン補間フィルタ・カーネルＧを記憶するためのメモリと
    、 （ｉｉ） ｘ−２からｘ＋２までの値を有するピクセル位置ｋにある５つの補
    償オン−グリッド輝度値Ｉ（ｋ）の各々と所定の低閾値及び所定の高閾値とを比
    較するための比較器と、 （ｉｉｉ） Ｉ（ｋ）が前記所定の低閾値よりも高く、かつ前記所定の高閾値
    よりも低いｋの各々の値に対して、Ｇ（ｋ−ｘ）が位置（ｋ−ｘ）における前記
    ガウシアン補間カーネルＧの値である量Ｉ（ｋ）Ｇ（ｋ−ｘ）を計算するための
    乗算器と、 （ｉｖ） 第１の合計ｐを導き出すために、Ｉ（ｋ）が前記所定の低閾値より
    も高く、かつ前記所定の高閾値よりも低いｋの各々の値に対して、乗算器によっ
    て計算された前記量Ｉ（ｋ）Ｇ（ｋ−ｘ）を加算するための第１の加算器と、 （ｖ） 第２の合計ｑを導き出すために、Ｉ（ｋ）が前記所定の低閾値よりも
    高く、かつ前記所定の高閾値よりも低いｋの各々の値に対して、前記メモリにあ
    る前記ガウシアン補間カーネルの値Ｇ（ｋ−ｘ）を加算するための第２の加算器
    と、 （ｖｉ） 前記合計ｐを前記合計ｑで除算することで前記第２のピクセル位置
    発生器から受信された前記位置ｘにおける各々の出力画像輝度値Ｉ０（ｘ）を導
    き出すための除算器と、 を備える、請求項１６９に記載のシステム。
  171. 【請求項１７１】 前記所定の低閾値は、前記光検知素子の前記応答関数の逆数
    によって補償された比較されている前記補償されたオン−グリッド輝度値の前記
    ピクセル位置に対応する感度レベルを有する前記光検出素子のノイズ・レベルで
    あり、前記所定の高閾値は比較されている前記補償されたオン−グリッド輝度値
    に対応する前記感度レベルを有する光検知素子の飽和又は近飽和輝度値である、
    請求項１７０に記載のシステム。
  172. 【請求項１７２】 前記５ｘ１ガウシアン補間器フィルタ・カーネルは、 【表１８】 の形式を有する、請求項１７０に記載のシステム。
JP2001562014A 2000-02-23 2000-05-26 高ダイナミックレンジ画像を獲得する方法及び装置 Expired - Fee Related JP4570834B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/511,469 2000-02-23
US09/511,469 US7084905B1 (en) 2000-02-23 2000-02-23 Method and apparatus for obtaining high dynamic range images
PCT/US2000/014516 WO2001063914A1 (en) 2000-02-23 2000-05-26 Method and apparatus for obtaining high dynamic range images

Publications (2)

Publication Number Publication Date
JP2003524347A true JP2003524347A (ja) 2003-08-12
JP4570834B2 JP4570834B2 (ja) 2010-10-27

Family

ID=24035039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001562014A Expired - Fee Related JP4570834B2 (ja) 2000-02-23 2000-05-26 高ダイナミックレンジ画像を獲得する方法及び装置

Country Status (5)

Country Link
US (3) US7084905B1 (ja)
EP (2) EP2290950A3 (ja)
JP (1) JP4570834B2 (ja)
AT (1) ATE522084T1 (ja)
WO (1) WO2001063914A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007514185A (ja) * 2003-11-12 2007-05-31 イーストマン コダック カンパニー レジスト内でのパーツのサイズ変動
KR101026585B1 (ko) 2003-07-18 2011-04-04 마이크로소프트 코포레이션 장면의 이미지 시퀀스로부터 고 동적 범위(ｈｄｒ) 이미지를 생성하는 시스템, 컴퓨터로 구현된 방법 및 컴퓨터 판독가능 기록매체
KR101763436B1 (ko) 2011-07-26 2017-07-31 포베온, 인크. 상이한 광 감도들을 갖는 포토다이오드들을 갖는 이미징 어레이 및 관련 이미지 복원 방법들
CN108353133A (zh) * 2015-11-11 2018-07-31 华为技术有限公司 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP4154157B2 (ja) * 2002-02-25 2008-09-24 株式会社東芝 撮像装置
US6998660B2 (en) 2002-03-20 2006-02-14 Foveon, Inc. Vertical color filter sensor group array that emulates a pattern of single-layer sensors with efficient use of each sensor group's sensors
US20040178463A1 (en) 2002-03-20 2004-09-16 Foveon, Inc. Vertical color filter sensor group with carrier-collection elements of different size and method for fabricating such a sensor group
US6707054B2 (en) 2002-03-21 2004-03-16 Eastman Kodak Company Scannerless range imaging system having high dynamic range
JP2004208212A (ja) * 2002-12-26 2004-07-22 Canon Inc 撮像装置
US20040141079A1 (en) * 2003-01-10 2004-07-22 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device and camera using the same
US7339216B1 (en) 2003-01-31 2008-03-04 Foveon, Inc. Vertical color filter sensor group array with full-resolution top layer and lower-resolution lower layer
JP4322166B2 (ja) * 2003-09-19 2009-08-26 富士フイルム株式会社 固体撮像素子
TWI220363B (en) * 2003-10-06 2004-08-11 Sunplus Technology Co Ltd Directional interpolation method and device for increasing resolution of an image
US20050140804A1 (en) * 2003-12-29 2005-06-30 Eastman Kodak Company Extended dynamic range image sensor capture using an array of fast and slow pixels
JP4717371B2 (ja) * 2004-05-13 2011-07-06 オリンパス株式会社 画像処理装置および画像処理プログラム
US7283213B2 (en) * 2005-02-08 2007-10-16 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
US7612804B1 (en) * 2005-02-15 2009-11-03 Apple Inc. Methods and apparatuses for image processing
JP5186364B2 (ja) * 2005-05-12 2013-04-17 テネブラックス コーポレイション 改善された仮想ウィンドウ作成方法
US7646433B2 (en) * 2005-05-31 2010-01-12 D-Link Systems, Inc. User selectable image scaling
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US7450220B2 (en) * 2006-02-08 2008-11-11 Canesta, Inc Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
US7834925B2 (en) * 2006-06-05 2010-11-16 Core Logic Inc. Lens shading correction device and method in image sensor
US8446509B2 (en) * 2006-08-09 2013-05-21 Tenebraex Corporation Methods of creating a virtual window
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
US9633426B2 (en) * 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
US8832290B2 (en) 2007-02-23 2014-09-09 Microsoft Corporation Smart pre-fetching for peer assisted on-demand media
JP4984981B2 (ja) * 2007-03-08 2012-07-25 ソニー株式会社 撮像方法および撮像装置並びに駆動装置
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
DE102007033880B4 (de) * 2007-07-20 2010-06-24 Siemens Ag Verfahren zur Korrektur von Verzeichnungen in mittels eines Magnetresonanzgeräts aufgenommenen Bilddatensätzen sowie Computerprogramm, Bildverarbeitungseinheit und Magnetresonanzgerät zur Durchführung des Verfahrens
DE102007033897B4 (de) * 2007-07-20 2010-02-11 Siemens Ag Verfahren zur Korrektur von Verzeichnungen in mittels eines Magnetresonanzgeräts aufgenommenen Bilddatensätzen sowie Computerprogramm zur Durchführung dieses Verfahrens
US20090033755A1 (en) * 2007-08-03 2009-02-05 Tandent Vision Science, Inc. Image acquisition and processing engine for computer vision
US8559756B2 (en) * 2007-08-06 2013-10-15 Adobe Systems Incorporated Radiance processing by demultiplexing in the frequency domain
US8102435B2 (en) 2007-09-18 2012-01-24 Stmicroelectronics S.R.L. Method for acquiring a digital image with a large dynamic range with a sensor of lesser dynamic range
US20090102939A1 (en) * 2007-10-18 2009-04-23 Narendra Ahuja Apparatus and method for simultaneously acquiring multiple images with a given camera
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
JP5551075B2 (ja) * 2007-11-16 2014-07-16 テネブラックス コーポレイション 仮想ウィンドウを生成するシステムおよび方法
US20090290033A1 (en) * 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
WO2009111642A1 (en) * 2008-03-05 2009-09-11 Contrast Optical Design & Engineering, Inc. Multiple image camera and lens system
JP5631299B2 (ja) 2008-03-28 2014-11-26 コントラスト オプティカル デザイン アンド エンジニアリング，インク． 全ビーム画像スプリッタシステム
US8441732B2 (en) * 2008-03-28 2013-05-14 Michael D. Tocci Whole beam image splitting system
US8149300B2 (en) 2008-04-28 2012-04-03 Microsoft Corporation Radiometric calibration from noise distributions
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
US8111290B2 (en) 2008-06-06 2012-02-07 Microsoft Corporation Radiometric calibration using temporal irradiance mixtures
US8123058B2 (en) * 2008-09-11 2012-02-28 Rexam Healthcare Packaging Inc. Closure with stopping mechanism
AT507543B1 (de) * 2008-10-28 2010-11-15 Arc Austrian Res Centers Gmbh Verfahren und vorrichtung zur aufnahme von bildern
US8634673B1 (en) * 2008-11-10 2014-01-21 Marvell International Ltd. Method and apparatus for automatically tuning a parameter of an image enhancement algorithm based on an attribute of an original image
US8417046B1 (en) 2008-11-10 2013-04-09 Marvell International Ltd. Shadow and highlight image enhancement
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
WO2010102135A1 (en) * 2009-03-04 2010-09-10 Wagner Paul A Temporally aligned exposure bracketing for high dynamic range imaging
US8339506B2 (en) * 2009-04-24 2012-12-25 Qualcomm Incorporated Image capture parameter adjustment using face brightness information
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
WO2011037964A1 (en) * 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
JP5025746B2 (ja) * 2010-03-19 2012-09-12 株式会社東芝 固体撮像装置
US8509527B1 (en) 2010-06-23 2013-08-13 Marvell International Ltd. Intensity based pixel quantization
US9049426B2 (en) * 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US8958636B1 (en) 2010-07-28 2015-02-17 Marvell International Ltd. Configurable color trapping
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8605862B2 (en) 2010-09-27 2013-12-10 General Electric Company Digital X-ray detector with increased dynamic range
US8711248B2 (en) 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
US9077910B2 (en) 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9172889B2 (en) 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
US9007488B2 (en) 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
US9489706B2 (en) 2012-07-02 2016-11-08 Qualcomm Technologies, Inc. Device and algorithm for capturing high dynamic range (HDR) video
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
DE102013017365B4 (de) 2012-10-19 2023-01-26 Cognex Corporation System und verfahren zum bestimmen und einstellen von kameraparametern mittels multi-gainbildern
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
KR102179262B1 (ko) 2014-06-11 2020-11-16 삼성전자주식회사 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
US9930324B2 (en) 2014-08-05 2018-03-27 Seek Thermal, Inc. Time based offset correction for imaging systems
WO2016022374A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
CN106716992B (zh) 2014-08-20 2020-02-07 塞克热量股份有限公司 用于成像系统的增益校准的方法及成像系统
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US10600164B2 (en) 2014-12-02 2020-03-24 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10467736B2 (en) 2014-12-02 2019-11-05 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US9947086B2 (en) * 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
EP3029931A1 (en) 2014-12-04 2016-06-08 Thomson Licensing Image sensor unit and imaging apparatus
US10275863B2 (en) * 2015-04-03 2019-04-30 Cognex Corporation Homography rectification
US9979907B2 (en) 2015-09-18 2018-05-22 Sony Corporation Multi-layered high-dynamic range sensor
KR101978913B1 (ko) * 2015-11-16 2019-05-16 한국전자통신연구원 다채널 광 수신기 및 그의 제조 방법
JP6997461B2 (ja) * 2016-02-12 2022-01-17 コントラスト， インコーポレイテッド 高ダイナミックレンジビデオのためのデバイスおよび方法
US10257394B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
EP3507765A4 (en) 2016-09-01 2020-01-01 Duelight LLC SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION
US10277842B1 (en) 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
CN109792495B (zh) 2017-02-28 2022-04-01 松下知识产权经营株式会社 摄像系统及摄像方法
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
JP7349806B2 (ja) 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ
US20190306447A1 (en) * 2018-03-29 2019-10-03 Analog Devices Global Unlimited Company Lookup table
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN111064897B (zh) * 2018-10-17 2021-02-19 北京图森智途科技有限公司 一种曝光评估值的统计方法及成像设备
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system
KR20210002966A (ko) * 2019-07-01 2021-01-11 삼성전자주식회사 이미지 센서 및 그것의 구동 방법
CN112204948A (zh) * 2019-09-19 2021-01-08 深圳市大疆创新科技有限公司 Hdr图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01309579A (ja) * 1988-06-08 1989-12-13 Nippon Hoso Kyokai <Nhk> 固体撮像装置
JPH0350967A (ja) * 1989-07-19 1991-03-05 Matsushita Electric Ind Co Ltd 撮像装置
JPH06153089A (ja) * 1992-10-30 1994-05-31 Olympus Optical Co Ltd 固体撮像装置
JPH07254965A (ja) * 1995-02-15 1995-10-03 Olympus Optical Co Ltd 電子的撮像装置
JPH10304235A (ja) * 1997-04-30 1998-11-13 Ricoh Co Ltd 撮像装置
JPH11234575A (ja) * 1998-02-18 1999-08-27 Nec Corp 固体撮像装置
JP2001054017A (ja) * 1999-08-09 2001-02-23 Minolta Co Ltd 固体撮像装置及び固体撮像装置の信号処理方法

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4479062A (en) * 1981-02-06 1984-10-23 Asahi Kogaku Kogyo Kabushiki Kaisha Photo-electric conversion device with accumulation time control
JPS59217358A (ja) 1983-05-25 1984-12-07 Fuji Photo Film Co Ltd 電荷結合撮像デバイス
US4590367A (en) 1983-10-06 1986-05-20 Robotic Vision Systems, Inc. Arrangement for the expansion of the dynamic range of optical devices
JPS6081979A (ja) 1983-10-12 1985-05-10 Omron Tateisi Electronics Co 撮像装置
US4623928A (en) 1984-11-23 1986-11-18 Xerox Corporation High dynamic range CCD detector/imager
FR2615966B1 (fr) 1987-06-01 1992-02-14 Framatome Sa Dispositif de surveillance televisuelle d'une operation de soudage a l'arc
US5638118A (en) 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
US5010504A (en) * 1988-02-22 1991-04-23 Eastman Kodak Company Digital image noise suppression method using SVD block transform
US4873561A (en) 1988-04-19 1989-10-10 Wen David D High dynamic range charge-coupled device
US4918534A (en) 1988-04-22 1990-04-17 The University Of Chicago Optical image processing method and system to perform unsharp masking on images detected by an I.I./TV system
EP0431010A4 (en) 1988-08-02 1992-12-09 Sorex Corporation Wide dynamic range image sensor
US5028998A (en) * 1989-02-06 1991-07-02 Honeywell Regelsysteme Gmbh Electronic zoom for wide-angle line scanners
US5193016A (en) 1989-03-28 1993-03-09 Scanera S.G. Non-linear device for amplifying the intensities of light rays that produce an image
EP0404396B1 (en) 1989-06-19 1994-10-05 International Business Machines Corporation Image capture system and method
JPH0374967A (ja) 1989-08-17 1991-03-29 Toshiba Corp 画像補正回路
US5138458A (en) 1989-12-22 1992-08-11 Olympus Optical Co., Ltd. Electronic camera apparatus capable of providing wide dynamic range image signal
WO1991012690A1 (fr) * 1990-02-16 1991-08-22 Scanera S.C. Dispositif d'augmentation de dynamique d'une camera
US5030985A (en) 1990-08-17 1991-07-09 Eastman Kodak Company Exposure balance arrangement for an image fixing device
JP2864408B2 (ja) * 1990-10-29 1999-03-03 株式会社ニコン 画素信号補正装置
JPH04256364A (ja) * 1991-02-08 1992-09-11 Sharp Corp 固体撮像装置の信号読み出し方法
GB2255465B (en) 1991-04-30 1995-02-01 Sony Broadcast & Communication Image capture apparatus
US5386228A (en) * 1991-06-20 1995-01-31 Canon Kabushiki Kaisha Image pickup device including means for adjusting sensitivity of image pickup elements
US5185671A (en) 1991-06-21 1993-02-09 Westinghouse Electric Corp. Adaptive control of an electronic imaging camera
US5289286A (en) * 1991-07-18 1994-02-22 Minolta Camera Kabushiki Kaisha Solid state sensor having logarithmic photovoltaic response, with pixel uniformity correction and white balance circuitry therefor
US5420635A (en) 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
IL100620A (en) 1992-01-09 1994-11-11 Orly Yadid Pecht Method and apparatus for increasing the dynamic range of optical sensors
US5309243A (en) 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
JPH0670225A (ja) 1992-08-21 1994-03-11 Sony Corp 電子スチルカメラ装置
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
FR2687265A1 (fr) * 1993-01-08 1993-08-13 Scanera Sc Dispositif de prise de vue electronique a haute dynamique et procede de prise de vue de scenes tres contrastees.
EP0739571A1 (en) * 1993-02-08 1996-10-30 I Sight, Inc. Color wide dynamic range camera using a charge coupled device with mosaic filter
DE4305807A1 (de) 1993-02-25 1994-10-13 Thomson Brandt Gmbh Kamera mit einer steuerbaren Blende
JPH06315068A (ja) * 1993-04-28 1994-11-08 Xerox Corp 短期および長期の積分周期を有するラスタ入力スキャナ
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
JPH0777700A (ja) 1993-06-30 1995-03-20 Dainippon Printing Co Ltd ダイナミックレンジ拡大機能を有する情報記録再生方法及び装置
JPH0725495A (ja) 1993-07-13 1995-01-27 Canon Inc 給紙装置
US5801773A (en) 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
JPH07115643A (ja) 1993-10-19 1995-05-02 Toyota Motor Corp 車載用撮像装置
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
GB2289983B (en) * 1994-06-01 1996-10-16 Simage Oy Imaging devices,systems and methods
DE4420637A1 (de) 1994-06-14 1995-12-21 Bertram Dr Rapp Optische Abbildungsvorrichtung
JP3370438B2 (ja) * 1994-06-20 2003-01-27 ペンタックス株式会社 スチルビデオカメラの露出制御装置
JPH0822341A (ja) 1994-07-11 1996-01-23 Yokogawa Electric Corp 任意周波数発生器
US5767987A (en) 1994-09-26 1998-06-16 Ricoh Corporation Method and apparatus for combining multiple image scans for enhanced resolution
JP2970440B2 (ja) 1994-11-29 1999-11-02 松下電器産業株式会社 画像合成方法と画像合成装置
JPH08223491A (ja) 1995-02-10 1996-08-30 Hitachi Ltd イメージセンサ
JPH07254966A (ja) 1995-02-15 1995-10-03 Olympus Optical Co Ltd 電子的撮像装置
JPH07264488A (ja) 1995-02-15 1995-10-13 Olympus Optical Co Ltd 電子的撮像装置
JPH08331461A (ja) 1995-06-02 1996-12-13 Sony Corp 固体撮像装置の駆動方法
JP3979682B2 (ja) 1995-06-13 2007-09-19 オリンパス株式会社 電子的撮像装置
GB2303988A (en) 1995-07-31 1997-03-05 Secr Defence Thermal imaging system with detector array calibration mode
US5703677A (en) 1995-11-14 1997-12-30 The Trustees Of The University Of Pennsylvania Single lens range imaging method and apparatus
JPH09162381A (ja) * 1995-12-05 1997-06-20 Sony Corp リニアセンサ
US6124974A (en) 1996-01-26 2000-09-26 Proxemics Lenslet array systems and methods
JPH09219824A (ja) * 1996-02-09 1997-08-19 Sony Corp 固体撮像装置
US5668596A (en) * 1996-02-29 1997-09-16 Eastman Kodak Company Digital imaging device optimized for color performance
US6122408A (en) 1996-04-30 2000-09-19 Siemens Corporate Research, Inc. Light normalization method for machine vision
US5828793A (en) 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
DE19618476C2 (de) 1996-05-08 1999-11-18 Agfa Gevaert Ag Verfahren zum Kopieren von transparenten Bildvorlagen und fotografisches Kopiergerät
US6219097B1 (en) * 1996-05-08 2001-04-17 Olympus Optical Co., Ltd. Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined
US5670280A (en) 1996-05-30 1997-09-23 Brown University Research Foundation Optically controlled imaging phase mask element
JP3904635B2 (ja) 1996-08-29 2007-04-11 富士フイルム株式会社 撮像装置
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
JP4536170B2 (ja) * 1996-12-27 2010-09-01 シャープ株式会社 撮像装置
US5789737A (en) * 1997-01-22 1998-08-04 Xerox Corporation High dynamic range segmented pixel sensor array
US6677992B1 (en) * 1997-10-23 2004-01-13 Olympus Corporation Imaging apparatus offering dynamic range that is expandable by weighting two image signals produced during different exposure times with two coefficients whose sum is 1 and adding them up
US6501504B1 (en) 1997-11-12 2002-12-31 Lockheed Martin Corporation Dynamic range enhancement for imaging sensors
US20020050518A1 (en) 1997-12-08 2002-05-02 Roustaei Alexander R. Sensor array
US5990950A (en) * 1998-02-11 1999-11-23 Iterated Systems, Inc. Method and system for color filter array multifactor interpolation
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4018820B2 (ja) * 1998-10-12 2007-12-05 富士フイルム株式会社 固体撮像装置および信号読出し方法
US6753909B1 (en) 1999-04-20 2004-06-22 Sharp Laboratories Of America, Inc. Camera with spatially adjustable variable density optical filter and method for controlling the same
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6995791B2 (en) * 2002-04-02 2006-02-07 Freescale Semiconductor, Inc. Automatic white balance for digital imaging
US6933971B2 (en) * 2002-05-14 2005-08-23 Kwe International, Inc. Reconstruction of color components in digital image processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01309579A (ja) * 1988-06-08 1989-12-13 Nippon Hoso Kyokai <Nhk> 固体撮像装置
JPH0350967A (ja) * 1989-07-19 1991-03-05 Matsushita Electric Ind Co Ltd 撮像装置
JPH06153089A (ja) * 1992-10-30 1994-05-31 Olympus Optical Co Ltd 固体撮像装置
JPH07254965A (ja) * 1995-02-15 1995-10-03 Olympus Optical Co Ltd 電子的撮像装置
JPH10304235A (ja) * 1997-04-30 1998-11-13 Ricoh Co Ltd 撮像装置
JPH11234575A (ja) * 1998-02-18 1999-08-27 Nec Corp 固体撮像装置
JP2001054017A (ja) * 1999-08-09 2001-02-23 Minolta Co Ltd 固体撮像装置及び固体撮像装置の信号処理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101026585B1 (ko) 2003-07-18 2011-04-04 마이크로소프트 코포레이션 장면의 이미지 시퀀스로부터 고 동적 범위(ｈｄｒ) 이미지를 생성하는 시스템, 컴퓨터로 구현된 방법 및 컴퓨터 판독가능 기록매체
JP2007514185A (ja) * 2003-11-12 2007-05-31 イーストマン コダック カンパニー レジスト内でのパーツのサイズ変動
KR101763436B1 (ko) 2011-07-26 2017-07-31 포베온, 인크. 상이한 광 감도들을 갖는 포토다이오드들을 갖는 이미징 어레이 및 관련 이미지 복원 방법들
CN108353133A (zh) * 2015-11-11 2018-07-31 华为技术有限公司 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
US10645304B2 (en) 2015-11-11 2020-05-05 Huawei Technologies Co., Ltd Device and method for reducing the set of exposure times for high dynamic range video/imaging
CN108353133B (zh) * 2015-11-11 2021-06-15 华为技术有限公司 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法

Also Published As

Publication number Publication date
EP2290950A2 (en) 2011-03-02
US20050099504A1 (en) 2005-05-12
WO2001063914A1 (en) 2001-08-30
US7999858B2 (en) 2011-08-16
JP4570834B2 (ja) 2010-10-27
US8610789B1 (en) 2013-12-17
EP2290950A3 (en) 2011-03-16
EP1173972B1 (en) 2011-08-24
EP1173972A1 (en) 2002-01-23
ATE522084T1 (de) 2011-09-15
US7084905B1 (en) 2006-08-01

Similar Documents

Publication Publication Date Title
JP4570834B2 (ja) 高ダイナミックレンジ画像を獲得する方法及び装置
Healey et al. Radiometric CCD camera calibration and noise estimation
JP4019417B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5155324B2 (ja) 被写体運動ぶれが低減されたデジタル画像
US6646246B1 (en) Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device
US10638070B1 (en) System for and method of configurable line scan array imaging
EP1624490B1 (en) Large-area pixel for use in an image sensor
US7697045B2 (en) Method and apparatus to extend the effective dynamic range of an image sensing device
JP6598507B2 (ja) 撮像装置、撮像システム、信号処理方法
EP1206130B1 (en) Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image
Taylor CCD and CMOS imaging array technologies: technology review
US20090153710A1 (en) Digital imager with dual rolling shutters
US6909461B1 (en) Method and apparatus to extend the effective dynamic range of an image sensing device
JP2002204389A (ja) 露出制御方法
JP4351057B2 (ja) 光検出装置、撮像装置及び距離画像取得装置
EP1209900A2 (en) Method and apparatus for performing tone scale modifications
Seitz Solid-state image sensing
Eliot Geometric design of linear array detectors
Seitz et al. CCD and APS/CMOS technology for smart pixels and image sensors
JPH07239930A (ja) 画像読取装置
JPS5968969A (ja) 固体撮像素子

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070411

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070619

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100811

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees