JP2002519959A - 画像記録装置 - Google Patents

画像記録装置

Info

Publication number
JP2002519959A
JP2002519959A JP2000557628A JP2000557628A JP2002519959A JP 2002519959 A JP2002519959 A JP 2002519959A JP 2000557628 A JP2000557628 A JP 2000557628A JP 2000557628 A JP2000557628 A JP 2000557628A JP 2002519959 A JP2002519959 A JP 2002519959A
Authority
JP
Japan
Prior art keywords
image
light
images
image recording
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000557628A
Other languages
English (en)
Other versions
JP2002519959A5 (ja
Inventor
フィンリソン グレアム
Original Assignee
ユニバーシティ オブ イースト アングリア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーシティ オブ イースト アングリア filed Critical ユニバーシティ オブ イースト アングリア
Publication of JP2002519959A publication Critical patent/JP2002519959A/ja
Publication of JP2002519959A5 publication Critical patent/JP2002519959A5/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Abstract

(57)【要約】 画像を処理するための画像記録装置は光源の光によって照らされたシーンの少なくとも一部の第１デジタル光学画像、及び、本質的に同じ光源の光の下で本質的に同じシーンの少なくとも一部の第２デジタル光学画像を記録するためのカメラ（１０）、または他の光学感知手段を含む。それらの画像はそれぞれ異なった感知器の配列（１２ａ及び１２ｂ）に記録される。第１及び第２画像を生成する光には、これらの画像を生成するために異なった光学処理がなされ、さらに第１及び第２画像に関連した情報を処理するために光学的感知手段と通信状態にある処理手段（１８）が備えられる。２つの画像を関連付けすることにより、処理手段（１８）は照らされたシーンの光源の光の色や他の物理的な特性に関する情報を与えることができる。

Description

【発明の詳細な説明】
【０００１】 本発明は画像を処理するために画像を記録する装置に関する。本発明はまた、
画像記録装置を用いて画像を記録する方法、及び記録された画像を処理するため
の方法に関する。
【０００２】 ここで画像とは記録されるシーン（または、場面）の一部または全体を意味す
る。すなわち、画像はシーンの一部を含んでもよいし、全体を含んでもよい。画
像は空間的なシーンの一部であってもよい。例えば、画像は記録されたシーンの
中心の一部の領域だけであってもよい。さらに、画像は記録された光の周波数に
関して、そのシーンの一部から構成されてもよい。例えば、シーンの第１の画像
が主に赤い光を記録し、そのシーンの第２の画像が主に青い光を記録してもよい
。
【０００３】 カメラによって撮影された画像、コンピューターの視覚（画像）、遠隔検知や
画像処理、または、それらに類似した装置は一般に、記録されるシーンを照らし
ている光の色に依存する。画像はさらに、シーンの対象物の形状、シーンの影や
反射、またはカメラやシステム自体にも影響を与えられる。これらのパラメータ
ーが画像に与える影響が全部判っていることは望ましいことである。これらの影
響に対する知識は画像からカラーバイアス（または、本来の色からのずれ）を取
り除くことを可能にし、観察されるシーンの物理的な特性に関する重要な情報を
与えることを可能にする。
【０００４】 本発明は画像を処理するための装置であって、以下の特徴を有する装置を提供
する： 光源の光によって照らされたシーンの少なくとも一部の第１のデジタル光学画
像を記録するためと、本質的に同じ光源の光で本質的に同じシーンの少なくとも
一部の第２のデジタル光学画像を記録するための光学的感知手段； 異なった光学処理をされる第１及び第２の画像を生成する光（または、その光
を発する光源）；及び、 光学的手段と通信状態にある、第１及び第２の画像に関する情報を処理するた
めの手段。
【０００５】 好まれるものとして、処理手段は第１及び第２の一方を第１及び第２のもう一
方に関連付ける。さらに好まれるものとして、処理手段は第１及び第２画像を相
互に関連付ける。第１及び第２の光学的感知手段は第１及び第２の画像を記録す
るために別々に備えられてもよい。
【０００６】 好まれるものとして、第１及び第２の光学的感知手段の少なくとも一方は比較
的広帯域の光学的感知手段である。さらに好まれるものとして、その広帯域の光
学的感知手段は波長の広い範囲のスペクトル内で、少なくとも２つの別々の光の
波長に反応する。好まれるものとして、その波長は少なくとも５０ｎｍ以上離れ
ており、できれば１００ｎｍ以上離れている。それらは１５０ｎｍ程度であって
もよい（または、１５０ｎｍ程度が望ましい）。好まれるものとして、（上述の
）広帯域のスペクトルは少なくとも１００ｎｍ以上であり、望ましいものとして
、２００ｎｍ以上である。それは３００ｎｍ程度であってもよい（または、３０
０ｎｍ程度が望ましい）。光学的感知手段はそれぞれが異なった光の波長に応答
する、少なくとも２つのタイプの光学的な感知部品（または、素子）を含んでも
よい。
【０００７】 第１及び第２の光学的感知手段のもう一方は比較的狭帯域で、特に１００ｎｍ
幅以下のスペクトル内の光の波長に応答するものであってもよい。しかしながら
、第１及び第２の光学的感知手段は比較的広帯域の光学的感知手段であるのこが
望ましい。
【０００８】 光学的感知手段は好まれるものとして、光電性の感知ピクセル（または光電検
出器のピクセル）の配列から成るＣＣＤチップから構成される。ピクセルは好ま
れるものとして、光の特定の波長に中心にして、広い周波数応答を持つ。その応
答は赤、緑、または青い光であってもよい。ＣＣＤチップの特定の応答は、それ
をフィルターでコーティングすることにより達成されてもよい。あるいは、光学
的感知手段はＣＭＯＳ素子から構成されてもよい。明細書中でＣＣＤチップとし
て記載されたものの代わりにＣＭＯＳ素子を使用してもよいことは理解されなけ
ればならない。
【０００９】 光学的な処理手段は好まれるものとして、光学フィルターから構成される。フ
ィルターは好まれるものとして、その出力が入力に対し線形関係を持つような特
徴を持つ。好まれるものとして、フィルターの応答は波長に対し滑らかな関数を
持つ。望ましいものとして、フィルターは高い透過性であり、１０％以上の平均
透過率を持ち、好まれるものとしては２０％以上であり、さらに好まれるものと
しては３０％以上である。フィルターは好まれるものとして、入力（すなわち、
入力される光）と比較して、１つの波長がもう１つの波長（または、他の波長）
より多い光を含むような出力を生成する。出力は入力に対し、緑光または紫光を
多く含んでもよい。フィルターは好まれるものとして、画像の光（以下、単に画
像光と呼ぶ）の経路中の光学的感知手段の前段に配置される。フィルターは光学
的感知手段に、またはその前面に備え付けられてもよい。フィルターは光学的感
知手段のコーティングとして設けられてもよい。
【００１０】 第１及び第２の光学的感知手段は第１及び第２のデジタル光学画像を記録する
単体のＣＣＤチップによって与えられてもよい。第１及び第２の感知手段はそれ
ぞれ、チップの異なった部分から構成されてもよい。第１及び第２の画像はＣＣ
Ｄチップによって記録される画像の、空間的に、または記録される周波数に関し
て異なった部分から構成されてもよい。画像のそれらの部分は離散的であっても
よいし、重なり合っていてもよい。
【００１１】 フィルターは第１または第２のデジタル光学画像がＣＣＤチップの一部によっ
て記録され、デジタル光学画像の他の部分がチップの残りの部分によって記録さ
れるようにＣＣＤチップの一部に、またはＣＣＤチップの一部の前面に備えられ
てもよい。好まれるものとして、フィルターはＣＣＤチップの中心部分か、また
は中心部分の前面に備えられる。ＣＣＤチップの一部は好まれるものとして、そ
れの全視覚の１°から６°の間である。光学的感知手段及び光学的処理手段は好
まれるものとして、カメラ本体等の、ハウジングの内部に配置される。
【００１２】 あるいは、第１画像がＣＣＤチップによって記録される光の特定の周波数から
構成され、第２画像がＣＣＤチップによって記録される光の異なった周波数から
構成されてもよい。周波数は重なり合っていてもよい。
【００１３】 本発明のもう１つの実施例では、光学的感知手段は第１のデジタル光学画像を
記録するための第１のＣＣＤチップ及び、第２のデジタル光学画像を記録するた
めの第２のＣＣＤチップを備える。好まれるものとして、チップは互いに近接し
て配置される。チップは望ましいものとして、同じ幾何学的平面上に配置される
。
【００１４】 ２つのＣＣＤチップはそれぞれ、光の本質的に（または、大体の部分において
、以下、単に、本質的にと記す）同じ周波数に応答する。光学的処理手段は好ま
れるものとして、画像光を２つの部分に分割し、分割された光の部分をそれぞれ
のＣＣＤチップに向けるための光学的ビームスプリッター、及び、画像光の一方
の経路中の一方のＣＣＤチップの前段に配置される光学フィルターを備える。フ
ィルターは一方のＣＣＤチップだけに備え付けられてもよい。光学的感知手段及
び光学的処理手段は好まれるものとして、カメラ本体等の、ハウジング内部に備
えられる。
【００１５】 本発明のもう１つの実施例では、各ＣＣＤチップが別々のハウジングに備えら
れ、第１のハウジングはＣＣＤチップだけを備え、第２ハウジングはＣＣＤチッ
プ及び光学フィルターを備える。本発明のもう１つの実施例では、第１のＣＣＤ
チップが第１デジタルカメラ内に備えられ、第２ＣＣＤチップが第２のデジタル
カメラ内に備えられ、２つの画像の異なった光学処理がカメラの互いに異なる特
性から生じるように構成される。この実施例においては、フィルターは必要でな
い。
【００１６】 ２つのチップは光の異なった周波数に応答してもよい。この場合、異なった光
学処理はチップの異なった応答により生じ、フィルターが必要とされなくてもよ
い。処理手段は好まれるものとして、電子メモリーを備え、マイクロプロセッサ
ーをベースにしたものでもよい。処理手段はコンピューターであってもよい。処
理手段は光源の光のスペクトル特性に関連した情報を与えるための手段を含んで
もよい。
【００１７】 光源の光のスペクトル特性に関連した情報は記録された画像に存在する光源に
よる多様なカラーバイアスの少なくともいくらかを除去するために利用されても
よい。処理手段は付加的に、または代替的に記録された画像の多様なデモセイシ
ングエラー（demosaicing error）及び（／または）相互反射エラー（interrefl
ection erro）及び（／または）影の、少なくともいくらかを除去するための手
段を含んでもよい。処理手段はさらに、付加的または代替的に、シーンの物理的
な特徴（または、色や形状）等の、シーンの物理的特性に関連した情報を与える
ための手段を含んでもよい。
【００１８】 本発明はまた、以下のステップ（及び特徴）を有する、画像を記録するための
方法を与える： （ａ）光源の光によって照らされたシーンの少なくとも一部の第１のデジタル
光学画像、及び、本質的に同じ光源の光によって照らされた本質的に同じシーン
の少なくとも一部の第２のデジタル光学画像を記録すること； 異なった光学処理をされる第１及び第２の画像を生成する光（すなわち、第１
及び第２の画像を生成する光が異なった光学処理をされること）；及び、 （ｂ）第１及び第２の画像に関連した情報を処理すること。
【００１９】 好まれるものとして、処理ステップは第１画像及び第２画像の一方を第１画像
及び第２画像のもう一方に関連付けることを含む。さらに好まれるものとして、
第１及び第２画像は相互に関連付けられる。（上述の）異なった処理は、少なく
とも部分的に、第１または第２画像を生成する光をフィルタリングすることによ
って達成されてもよい。あるいは、第１及び第２画像を記録するときに、それぞ
れ異なった光の周波数に応答する感知器の使用によって異なった光学処理が与え
られてもよい。
【００２０】 第１及び第２画像はそれぞれ、シーンの全体的な画像の異なった部分を構成し
てもよい。それらの部分は空間的に異なってもよいし、記録された光の周波数に
関して異なってもよい。画像のそれらの部分は離散的であってもよいし、重なり
合っていてもよい。
【００２１】 第１及び第２画像がそれぞれ、空間的に画像の異なった部分を構成する場合、
第１及び第２画像の一方を生成する光は好まれるものとしてフィルタリングされ
る。第１画像が光の特定の周波数の記録を構成するのに対し、第２画像は異なっ
た周波数の記録を構成する。周波数は重なり合っていてもよい。両方の画像に対
する光は同じシーンから発生する。この場合、フィルターは使用されなくてもよ
い。
【００２２】 あるいは、第１及び第２画像はそれぞれが本質的に同じシーンまたはシーンの
同じ部分から構成されてもよい。第１及び第２画像はそれぞれが本質的に同じ周
波数の記録を構成する。この場合、好まれるものとして、第１画像または第２画
像を生成する光が光学的にフィルタリングされる。好まれるものとして、第１及
び第２画像に関連した情報の処理が光源の光のスペクトル特性の推定を与えても
よい。
【００２３】 方法は画像記録（または、撮影）装置の較正（または、キャリブレーション）
のために使用されてもよく、その場合、ステップ（ａ）及び（ｂ）が複数の異な
った既知の光源の光に対して実施される。好まれるものとして、ステップ（ｂ）
は第１画像と第２画像との間の関係の指標を与えるために、それらに関連した情
報を処理するステップを含む。その関係の指標は好まれるものとして、変換マト
リクス等の、変換関数である。好まれるものとして、較正によって各変換関数が
異なった既知の照明の光（以下、単に照明光と呼ぶ）に関連した、基準変換関数
の組が与えられる。その組は少なくとも１０個の変換関数から成り、好まれるも
のとしては２０個以上の変換関数から成る。あるいは、較正によってパラメータ
ー化された変換関数の連続的な組が与えられてもよい。
【００２４】 好まれるものとして、基準変換関数は電子記憶手段に記録される。方法はまた
、画像記録装置を使用して記録された、第１及び第２画像が未知の光源によって
照らされたシーンに関する画像の処理のために使用されてもよい。
【００２５】 記録された画像の処理は基準変換関数の１つまたは複数を第１または第２画像
に適用するステップを含んでもよい。好まれるものとして、２つの画像を最もよ
く関係付ける基準変換関数が決められる。各基準変換関数は変換された第１画像
を生成するために第１画像に適用され、それはその次に第２画像と比較される。
好まれるものとして、第２画像に最も類似している、変換された第１画像を生成
する基準変換関数が最良の基準変換関数として選択される。好まれるものとして
、記録されるシーンを照らしている光のスペクトル特性に関連した情報を与える
ために、最良の基準変換関数が関連している既知の照明光が決定される。（その
照明光の情報を利用して）記録されるシーンの画像から（未知の）照明光による
カラーバイアスの少なくともいくらかを取り除くことができるだろう。代替的に
または付加的に、記録される画像に存在するデモセイシングエラー及び（／また
は）相互反射エラー及び（／または）影が取り除かれてもよい。代替的または付
加的に、シーンの物理的な特徴（または、色や形状）等の、シーンの物理的特性
に関連した情報が与えられてもよい。変換関数は第１画像の全体に適用されても
よいし、画像内の局所的な部分に適用されてもよい。シーンに関する情報を与え
るために、変換関数が有効である画像内の（１つまたは複数の）点に関連した情
報が使用されてもよい。上述した較正により、基準変換を予め決めておくことが
できるだろう。
【００２６】 本発明はまた、画像記録装置により画像を記録すること及び、光源の光によっ
て照らされたシーンの記録された画像を処理することのための方法であって、以
下の較正のステップを含む方法を提供する： 画像記録装置の、光源の光Ｅ(λ)の複数の色のそれぞれに対するデジタル応答
を電子記憶手段に格納すること； 照明Ｅa(λ)の各色を照明Ｅb(λ)の異なった色との組にグループ化し、照明Ｅ a (λ)及びＥb(λ)の各組に対し、照明の組全体を通して画像記録装置の応答を最
も良く写像する（または、マッピングする）照明変換関数Ｔa,bを計算し、その
変換関数を電子記憶手段に記録すること。
【００２７】 好まれるものとして、照明の組の数は個々の照明の数と同じであり、各組の第
２の照明は第１の照明によって定義付けられる。好まれるものとして、第２照明
は第１照明を光学的にフィルタリングした関数、例えば、Ｅb(λ)＝Ｅa(λ)Ｃ(
λ)である。ここで、Ｅb(λ)は第２照明、Ｅa(λ)は第１照明であり、Ｃ(λ)は
光学フィルターの応答を波長λの関数として表したものである。望ましいものと
して、画像記録装置の応答は個々の照明Ｅ(λ)の組に対し記録される。さらに、
記録された応答に対して補完法を利用するために、中間的な照明が加えられても
よい。
【００２８】 方法はまた、以下の画像記録ステップを含んでもよい： 記録されるシーンからの画像光（Ｐ1）及び、光学的にフィルタリングされた
シーンからの画像光（Ｐ2）に対する画像記録装置の応答を記録すること； 照明Ｅ(λ)のどの色が最も照らしている光の色に近いかを決定し、それにより
、照らしている光の色を推定すること； 記録される画像から照明光によるカラーバイアスの少なくともいくらか、及び
（／または）、デモセイシングエラー及び（／または）相互反射エラーの少なく
ともいくらかを除去すること。
【００２９】 （前述の）光学的にフィルタリングされた画像光は好まれるものとして、入力
に対し（または、入力される光のスペクトル特性に対し）、相対的に強い１つの
波長の光を含む出力を生成するフィルターを使用してフィルタリングされる。出
力は入力に対し相対的に強い緑光または紫光を含んでもよい。
【００３０】 照明光の色は望ましいものとして、装置の画像光に対する記録された応答（Ｐ 1 ）に各変換関数Ｔa,bを適用し、変換された応答（Ｐ1）を装置のフィルタリン
グされた画像光に対する応答（Ｐ2）と比較することによって決定される。ここ
で、２つの応答を最も良く関連付ける変換関数は画像光の色とフィルタリングさ
れた画像光の色とを関連付ける関数である。最良の変換関数は好まれるものとし
て、演算（Ｔa,bＰl−Ｐ2）の誤差を最小にする関数である。誤差は望ましいも
のとして自乗平均誤差の平方根である。
【００３１】 本発明の実施例は付随する図面と伴に以下に詳細に説明されるが、それらは単
に説明のためである（すなわち、本発明の制限のためではない）。
【００３２】 ここで図１を参照すると、カメラ１０はハウジング２０内に配置された、セン
サー配列チップまたはＣＣＤ（１２）及び光学フィルター１４を含む。ＣＣＤ１
２はフィルター１４でコーティングされたものであってもよい。ハウジング２０
は対象物Ｏからの画像光１６が入る開口２２を除けば、全体的に光遮断性のもの
である。画像光１６の一部１６ａはセンサーの配列１２に当たる前にフィルター
１４を通過し、残りの光１６ｂはセンサーの配列１２に直接入射される。光１６
ａ及び１６ｂにそれぞれ関連した第１及び第２の画像はセンサー配列１２によっ
て記録され、その画像データは照明光の色に関する情報を与える処理のために処
理手段１８に送られる。これは以下に詳細に説明されるように、画像からカラー
バイアス、デモセイシングエラーまたは相互反射エラーを、少なくとも部分的に
取り除くことを可能にする。
【００３３】 図２には本発明の代替的な実施例が図示されている。図２において、対応する
構成要素には同じ参照番号が使用されている。対象物Ｏからの画像光は開口２２
を通ってハウジング２０に入る。ハウジング２０には光学処理手段２４及び２つ
のセンサー配列１２が配置されている。光学的処理手段２４は光学ビームスプリ
ッター２６及び、一方のセンサー配列の前面に備えられた光学フィルター１４を
備える。光はハウジング２０に入るとビームスプリッター２６に当たり、２つの
画像光線１６ａ、１６ｂに分割される。一方の光線１６ａは一方のセンサー配列
１２ａに当たる前にフィルター１４を通過し、もう一方の光線１６ｂはもう一方
のセンサー配列１２ｂに直接送られる。対象物Ｏの画像は各センサー配列１２ａ
、１２ｂに記録される。各センサー配列１２ａ、１２ｂからの画像データは次に
、上述した処理のために処理手段１８に送られる。
【００３４】 図３には本発明のもう１つの実施例が示されており、そこにおいて、２つのセ
ンサー配列１２ａ及び１２ｂは別個のハウジング２８、３０に配置されている。
対象物Ｏからの光の第１の部分１６ａは開口３２を通って一方のハウジング２８
に入り、その光はセンサー配列１２ａに当たる前に光学フィルター１４を通過す
る。光の第２の部分１６ｂは開口３４を通ってもう一方のハウジング３０に入り
、センサー配列１２ｂに直接送られる。対象物Ｏの画像は各センサー配列１２ａ
、１２ｂによって記録される。各センサー配列１２ａ、１２ｂからの画像は次に
、上述された処理のための処理手段１８に送られる。
【００３５】 本発明の代替的なさらなる実施例が図４に図示されている。この実施例では、
カメラ１０は単体のセンサー配列１２を含む。センサー配列１２はそれぞれが光
の異なった周波数に応答する６つの異なったタイプのピクセルを含む。例えば、
配列はＲＧＢピクセル及びＲ’Ｇ’Ｂ’ピクセル（「’」はフィルタリングを意
味する）を含んでもよい。対象物Ｏの第１画像はピクセルＲＧＢによって記録さ
れ、対象物第２画像はピクセルＲ’Ｇ’Ｂ’によって記録される。画像データは
次に、上述された処理のための処理手段１８に送られる。
【００３６】 画像データは本発明によって与えられる画像を記録するための方法に従って、
処理手段１８で処理される。デジタルカメラ等の、画像記録装置を使用して記録
された画像の照明によるカラーバイアスを補正するために、記録される対象物Ｏ
を照らしている光Ｅ(λ)の色が、以下に説明されるように、最初に推定される。
【００３７】 カメラのセンサー配列１２の応答は、例えば、以下のように記述できる。
【数１】 ここで、λは波長、ｐは画像記録装置のセンサー配列１２の応答の３−ベクトル
（ｒｇｂピクセル値）、Ｆは応答関数の３−ベクトル（赤−、緑−、青−感度）
、Ｅは反射率Ｓの表面に当たる照射であり、ωは可視光線の波長スペクトルであ
る。
【００３８】 この方程式をＥ(λ)に対して解くために、未知の値より多い既知の値を持たな
ければならない。本発明では、上述のように、画像光の一部１６ａにフィルター
を通過させることにより画像は２つの異なった波長で記録される。対象物Ｏにｋ
個の別個の表面が存在する場合、（照明及び表面に対し３次元の線形モデルを仮
定した場合）センサー配列１２によって記録される測定値の数は２＊３＊ｋであ
り、上述の方程式の未知数の数は３ｋ＋６である。対象物Ｏに３つ以上の表面が
存在する限り、方程式には未知数より多い既知数が存在する。
【００３９】 対象物Ｏに３つの表面を仮定した場合、上述の方程式は以下のように書き換え
られる。
【数２】 ここで、Λ（Ｅ1(λ)）はｉｊ番目の成分が
【数３】 に等しいマトリクスであり、Ｅ1(λ)は未知の照明１（画像光Ｐ1）である。未知
の照明２（フィルタリングされた画像光Ｐ2）の下では、センサー配列の応答は
以下のようになる。
【数４】 第２照明の下でのセンサー配列の応答はマトリクスの逆変換により、第１照明の
下での応答で表すことができ以下のようになる。
【数５】 照明変換マトリクス（Ｔa,b）＝Λ（Ｅ2(λ)Λ（Ｅ1(λ)）-1は未知の照明Ｅ1(
λ)及びＥ2(λ)に対して解くために必要な全ての情報を符号化したものである。
【００４０】 照明変換マトリクスは本発明の方法を適用することによって求められる。照明
光Ｅ(λ)の複数の既知の色の各々に対するセンサー配列のデジタル応答が電子記
憶手段に記録され格納される。この応答は照明光Ｅa(λ)の各色、及び光学的に
フィルタリングされたとき照明光Ｅb(λ)の各色に対して記録される。好まれる
ものとして、照明光の色の離散的な組が使用される。好まれるものとして、照明
光の選択された色は例えば、一日の異なった時間の日光や、既知の照明システム
の下での屋内の光等によって実際に照らされたシーンの状態等を表す。これらの
光は緑光より赤や青の光を含む傾向がある。
【００４１】 照明Ｅa(λ)の各色は光学的にフィルタリングされた、対応するＥb(λ)との組
にされ、その照明Ｅa(λ)及びＥb(λ)の各組に対し照明変換マトリクスＴa,bが
計算される。照明の各組の全体を通してセンサー配列を最も良く写像する変換マ
トリクスが選択され、電子記憶手段に記録される。
【００４２】 次に、画像光（Ｐ1）（未知の照明Ｅ1(λ)）及び光学的にフィルタリングされ
た画像光（Ｐ2）（未知の照明Ｅ2(λ)）に対するセンサー配列の応答が記録され
る。未知の照明光に最も近い既知の照明Ｅ(λ)の色は未知の照明Ｅ1(λ)の下で
のセンサー配列の応答に、記録された各変換マトリクスを適用し、未知の照明Ｅ 2 (λ)の下でのセンサーの応答を推定することによって決定される。未知の照明
Ｅ2(λ)の下で記録されたセンサー応答、すなわちフィルタリングされた画像光
に最も近い、推定された未知の照明Ｅ2(λ)の下でのセンサー応答を生成する変
換マトリクスが選択される。この変換関数が関連する既知の照明Ｅa(λ)の色を
決定することができる。これはセンサー応答、すなわち、未知の照明Ｅ1(λ)に
最も一致するセンサー応答を持った既知の照明Ｅa(λ)である。したがって、照
らしている（未知の）光の色を推定することができる。推定された照明光は未知
の照明のセンサー応答に最も近いセンサー応答を与えるが、選択された既知の照
明のスペクトル特性は未知の照明のスペクトル特性とは異なる可能性がある。記
録される画像から照らしている光によるカラーバイアスを少なくとも部分的に除
去するために既知の照明に関する情報を使用することができる。その情報は代替
的にまたは付加的に画像からデモセイシングエラー及び（／または）相互反射エ
ラー及び（／または）影の、少なくともいくらかを除去するために使用されても
よい。情報はさらにシーンの物理的な特徴等の、シーンの物理的特性に関した情
報を得るために使用されてもよい。
【００４３】 フィルターは異なった照明に対する広範囲の異なった変換関数を生成すること
が望ましい。既知の照明の組が選択された後、多数の可能な異なったフィルター
が各照明に適用し、変換関数を算出するためにフィルタリングされた応答とフィ
ルタリングされてない応答とを比較してもよい。そして、それぞれの異なった照
明に対し変換関数の間に最も広い変動（または、異なった照明に対し最も広範囲
の変換関数の組、以下、単に、変動と呼ぶ）を作り出すフィルターが選択される
。変換関数の変動は既知の技術を使用して計算されてもよい。
【００４４】 フィルターを選択するための１つの方法は以下の通りである。Ｅa(λ)の下で
記録された３×ＮのＲＧＢのマトリクスをＲaとして表し、それに対応するフィ
ルタリングされたＲＧＢをＣa,fとして表すとする。上付き文字ｆは特定のフィ
ルターを意味する。最も小さい最小二乗誤差を持つ、Ｃa,fにＲaをとる３×３マ
トリクス変換Ｔa,fは以下のようになる。
【数６】 ここで、[Ａ]+＝Ａt[ＡtＡ]-1はムーア・ペンローズ逆変換（Moore Penrose Inv
erse）（線形最小二乗解を見つけるための標準的な数学の技術）である。ここで
、第２のフィルターｆ'に対する最良の変換マトリクスを計算すると：
【数７】
【００４５】 光は重ね合わせの特性を持っているので、２つのライトが一緒に点灯している
状態に応答するカメラは各ライトが点灯したときの応答の合計に等しい。フィル
タリング操作を照射の変化であると解釈すると：
【数８】
【００４６】 （１）、（２）及び（３）より、フィルターの線形の合計が変換マトリクスの
線形の合計を導いていることが明白である。
【数９】
【００４７】 Ｔijが照明ｉ及びフィルターｊ（i=1,2,...,n）（j=1,2,...,m）に対する変換
マトリクスを表すとする。フィルターｊに対する平均変換マトリクス（mean tra
nsform matrix）は以下のようになる。
【数１０】
【００４８】 Ｍij＝Ｔij−μ(Ｔj)：すなわち、任意のフィルターに対する平均変換マトリ
クスを持った変換マトリクスを減算するものとする。便宜上、ここで、（固定し
たフィルターｊに対する）ｎ個のマトリクスの全てをベクトルｖjに合成する。
ベクトルｖjは（３＊３＊ｎ）×１である。
【００４９】 統計において、ｘjが測定値の母集団のスカラー値を意味し、μが母平均であ
るとすると、変動（var）は以下のように定義される。
【数１１】 μ＝０の場合は当然、以下のようになる。
【数１２】 ｎ個の値ｘjをｍ×１ベクトルｘにグループ化すると、（７）の変動（var）は以
下の記述できる。
【数１３】 ここで、（８）はマトリクス代数の通常の規則を使用して、１×ｎマトリクスｘ t を前から乗算したｎ×１マトリクスｘを意味する（（８）は２つのベクトルの
内積（または、ドット積）である）。
【００５０】 それゆえ、フィルターｊに対する変換の変動（var）は以下のようになる。
【数１４】
【００５１】 ここで、ベクトルｖj（j=1,2,...,m）を９ｎ×ｍマトリクスＦに配置する（各
列は特定のフィルターに対する全ての平均減算変換（mean subtracted transfor
m）を含む）。光の重ね合わせの特性により、ｍ個のフィルターの線形の組み合
わせに対する変換マトリクスベクトルは単にＦの列を一緒に足し合わせることで
生成できる。ここで、作成したいフィルターの特定の組み合わせを表す係数ベク
トルをｃと仮定する。対応する変換ベクトルはＦｃに等しい。したがって、（ｍ
個の元のフィルターの線形の組み合わせによって構成される）全てのフィルター
に対する変換の変動（var）は以下のようになる。
【数１５】
【００５２】 最良のフィルターの設計において、（１０）を最大にする係数ベクトルを見つ
け出すことが望まれる。（１０）を詳しく見ると、ｃの成分を可能な限り最大に
することであることは自明である。この自明な解を避けるために、ｃの大きさを
固定しなければならない。
【００５３】 ここでｊ番目の列が３×３の平均マトリクスμ(Ｔj)をベクトルに広げたもの
である９×ｍのマトリクスをＧとする。これにより、ｃtＧtＧｃは平均照明変換
マトリクスの大きさを意味する。この大きさを全ての導出されるフィルターに対
し固定することができるとすると、（１０）を最大にするｃを見つけることがで
きる。これはラグランジュ乗数項（Lagrange multiplier term）を（１０）に足
すことでなされる。
【数１６】 （１１）を最大にするために、通常の方法で、微分し、０に等しいとする。
【数１７】 ここで、０はｍ×１のゼロベクトルである。以下の式は明白である。
【数１８】 したがって（１０）を最大にするｃは（１３）の固有ベクトルである。これは通
常の方法で見つけることができる。
【００５４】 上で、係数ベクトルｃの大きさを固定するために制約を付け加えた。詳細に述
べると、平均照明変換マトリクスの大きさを固定した。他の制約を使用すること
も可能である。例えば、上述の最小化の実行において、変換マトリクスが良質の
色の修正と並行して起こることは重要である。すなわち、フィルターが照明の変
化の線形のモデルに従わない場合、大きな変換の変動を誘導するフィルターを見
つけることには意味が無い。線形モデルがフィルターの修正全体を通してＲＧＢ
を正確に写像すること、及び、これらの変換に大きな変動が存在することは両方
とも重要なことである。
【００５５】 上で定義した制約マトリクスＧを変化させる場合、この直感的な洞察を実際に
実施することができる。詳細に説明するために、ここでＧの各列に修正された（
すなわち、最小二乗に適合した）ＲＧＢと対応するフィルタリングされたＲＧＢ
との差を含ませる。Ｔi,fＲi−Ｃi , fが照明ｉ及びフィルターｆに対する修正さ
れたＲＧＢと対応するフィルタリングされたＲＧＢとのＲＧＢの差を意味するの
で、Ｇのｆ番目の列は（上述されたように）長いベクトルに広げられたＴi,fＲi −Ｃi,f（i=1,2,...,n）を含む。
【００５６】 Ｇをこのように定義することで、（１１）は修正されたＲＧＢと対応するフィ
ルタリングされたＲＧＢの大きさが固定されるという制約に従う変換マトリクス
の変動を最大にするものを探す。すなわち、修正誤差に対する変換の変動の比が
最大になる。
【００５７】 図２の実施例において、２つのセンサー配列は空間的に位置を合わせられてお
り、対応するシーンのピクセルを関連付けることが可能である。したがって、各
照明変換マトリクスを順に取り上げ、フィルタリングの下での光のピクセルとフ
ィルタリングされていない光のピクセルとがどの程度関連しているかを調べるこ
とは容易である。
【００５８】 図３の実施例に対しては、２つのカメラがアクティブ映像システムのステレオ
ヘッドに取り付けられている。対応する点を見つけ（さらに、それにより対応す
るシーンのピクセルを見つけ）、変換マトリクスを試験するためには、既存の有
効なアルゴリズムを使用してステレオ画像を融合する必要がある。
【００５９】 本発明の図１の実施例においては、単体のセンサー配列が画像光Ｐ1及び光学
的フィルタリングされた画像光Ｐ2を同時に記録する。配列の中心の領域は光学
的にフィルタリングされた光が当たり、残りの配列にはフィルタリングされてな
い光が当たる。したがって、記録されるシーンのどの部分もフィルタリングさら
た形式とフィルタリングされていない形式の両方では記録されない（すなわち、
全シーンがどちらか一方でしか記録されない）。このため、対応するシーンのピ
クセルを見つけることは図２及び図３に図示されている実施例の場合より難しい
。（フィルターでコーティングされた）ＣＣＤとそれに隣接するコーティングさ
れていない領域との境界と交わる一定の表面の色の領域を特定する必要がある。
これは既存の技術を使用して行うことができる。そのような分析はフィルタリン
グ有りと無しとに対応する色を与え、照明を推定する手段を与える。あるいは、
シーンの同じ部分がフィルター有りと無しの両方に記録されるようにカメラ動い
てもよい。上述された概念の拡張に基づいて、図４の実施例に対し改良をするこ
とができるだろう。
【００６０】 照明の変化はＲＧＢを線形に写像するので、個々のＲＧＢ（赤の応答だけ、緑
の応答だけ、または青の応答だけ）は線形に写像される（これは線形変換の定義
である）。ここで本来のカメラのＲＧＢとフィルタリングの下での単体の色のチ
ャネルの応答との間の関係に注目する。すなわち、３つの数をどのように１つに
写像するかを考える。上述の原理を使用して、事前の処理ステップは以下のよう
に実行される。 １．既知の照明の組Ｅ1(λ)，Ｅ2(λ)，．．．，Ｅv(λ)を測定する。 ２．各照明の組Ｅa(λ)及びＥb(λ)に対して照明変換ベクトルＶa,bを計算する
。このベクトルは照明の下で記録されたＲＧＢのカメラ応答を最も良く照明ｂの
下で測定された対応する赤（または緑か青）のカメラ応答に写像する１×３のマ
トリクスである。定義により、Ｖa,bはＴa,bの第１行（または、第２行か第３行
）である。
【００６１】 次に、未知の照明の下でのカメラの測定が行われる。 １．Ｐ1は未知の照明の下でのカメラの測定値を意味する。ｐ2を第２の照明の下
での測定値の赤（または、緑か青）の行のベクトルを示すとする。 ２．各仮の照明の組（ａ,ｂ）に対し‖Ｖa,bＰ1−Ｐ2‖を計算する（ここで、‖
、‖は自乗平均誤差の平方根かそれに類似したものを意味する）。 ３．誤差を最小化する変換ベクトルＶa,bを戻す。このベクトルと関連している
のが照明の色である。
【００６２】 「ベクトル」のアルゴリズムは明らかに本来の方法に類似している。しかしな
がら、線形変換が９であるのに対し、ベクトルは３つの数から構成されているの
で、簡単化されたアルゴリズムは識別性が低いと予想される。光源は９個のパラ
メーターの３×３マトリクスより類似したベクトルを誘導する。実際、実験はこ
の考えを支持している。しかしながら、ベクトルベースのアルゴリズムはより単
純な本発明によるカメラの実施例を導く。
【００６３】 図４の実施例に対する改良で、ＣＣＤは各々のピクセルが光の異なった周波数
に応答する４つの異なったタイプのピクセルを含んでもよい。この実施例におい
て、ピクセルは赤、緑、及び青、並びに、（Ｆで示される）画像処理を最適化す
る光の周波数に応答する。ピクセルの３つのタイプ（ＲＧＢ）は第１画像を記録
するために選択され、ピクセルの第４のタイプ（Ｆ）は第２画像を記録する。フ
ィルターは必要とされない。ピクセルＦはＲＧＢとは異なった光の周波数に応答
するので、それらの応答は（本発明の方法において）前の実施例の光学的にフィ
ルタリングされた画像と同等である。
【００６４】 したがって、各既知の照明に対し、ＲＧＢ応答をＦ応答に写像するベクトルが
確立される。次に、ＣＣＤの（未知の照明の下での）画像光への応答が記録され
る。ＲＧＢピクセルの応答は前の実施例の画像光Ｐ1と同等であり、Ｆピクセル
の応答は前の実施例の光学的にフィルタリングされた画像光（Ｐ2）と同等であ
る。したがって、ＲＧＢ応答を最も良くＦ応答に写像するベクトルが較正ベクト
ルの組から選択される。次に未知の照明が前述されたように推定される。
【００６５】 上述の代替案として、（シアン、マジェンダ、黄色、緑のそれぞれのピクセル
のモザイクから成る）既存の４色のカメラを使用することもできるだろう。ある
いは、特別に設計された３色のカメラ（ＲＧＦ）でも実現可能である。与えられ
る情報を増大するために１つ以上のＣＣＤを使用することもできる。これにより
、相違や未知の照明光によって生ずる問題を軽減する装置及び方法を確立するこ
とができる。
【００６６】 本発明は付加的または代替的に、画像記録装置を使用して記録される画像から
他の画像のエラーを取り除くこと、及び画像記録装置を使用して記録される画像
からシーンに関する他の情報を得ることもできるだろう。上述に対し多様な変更
を処すことができ、それらもまた本発明の範囲に入る。
【００６７】 ２つのセンサー配列を使用した実施例において、配列はそれらの赤、緑、及び
青に応答するピクセルが一致するように配置される。２つの画像が比較される前
に好まれるものとして、補完法が実施されてもよい。あるいは、センサー配列は
各ピクセルの点に対して付加的な色の情報を与えるために、例えば、一方の配列
の赤に応答するピクセルがもう一方の配列の緑に応答するピクセルに対応するよ
うに配置されてもよい。あるいは、「３チップ」カメラ等で知られているように
、３つのセンサー配列が少なくとも一方の配列の前面のフィルターと共に使用さ
れてもよい。これは付加的な色の情報を与える。
【００６８】 変換関数は画像全体で適用できるので、方法はデモセイシングエラーの除去に
使用することもできる。それはまた、擬似の色のピクセルを検出、除去したり、
視覚中のシーンの物理的特性によって生ずる影やアーティファクトに関する情報
を与えるために使用したりすることもできるだろう。
【００６９】 図３の実施例に対する変更として、どちらのカメラにもフィルターを付けない
で、それぞれがセンサー配列を持った２つの別個のカメラを使用することもでき
る。カメラは異なった応答を持ち、その異なったカメラの応答から２つの画像の
異なった光学的処理が生ずるように構成される。
【００７０】 フィルターの使用が望ましいが、フィルターは異なった応答のピクセルを使用
することで、概ね置き換えることができる。すなわち、ＲＧＢ応答をフィルタリ
ングされたＲＧＢ応答に写像する代わりに、ＲＧＢ応答を異なった色に反応する
ピクセルの応答に写像することができる。
【００７１】 上述の説明は特に重要と思われる本発明の特徴に注目して記述されてきたが、
ここで参照され、図面で示されてきた特徴または特徴の組み合わせは、それが強
調されてきたかどうかに拘わらず、出願人は保護を主張する。
【図面の簡単な説明】
【図１】 本発明による画像記録装置の概略図である。
【図２】 本発明の代替的な画像記録装置の概略図である。
【図３】 本発明のもう１つの代替的な画像記録装置の概略図である。
【図４】 本発明のもう１つの代替的な画像記録装置の概略図である。
【符号の説明】
１０ カメラ １２ センサーの配列 １４ 光学フィルター １６ 画像光 １８ 処理手段 ２０ ハウジング ２２ 開口 ２４ 光学処理手段 ２６ ビームスプリッター ２８、３０ ハウジング ３２、３４ 開口 Ｏ 対象物
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１２年１０月９日（２０００．１０．９）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，Ｚ Ａ，ＺＷ Ｆターム(参考） 5C065 BB02 BB09 BB14 BB19 BB41 BB48 CC03 DD02 DD15 DD17 DD18 EE06 EE07 EE15 GG26 GG32 GG50 5C066 AA01 DD06 EA14 EE04 GA01 HA03 KD06 KD07 KE07 KE11 KE17 KE19 KM02 KM05 KM10

Claims (58)

    【特許請求の範囲】
  1. 【請求項１】 画像を処理するための画像記録装置であって： 光源の光で照らされたシーンの少なくとも一部の、第１のデジタル光学画像を
    記録するため、及び、本質的に同じ光源の光の下で本質的に同じシーンの少なく
    とも一部の、第２のデジタル光学画像を記録するための光学的感知手段； 異なった光学処理がなされる第１及び第２の画像を生成する光；及び、 第１及び第２の画像に関する情報を処理するために前記光学的感知手段と通信
    状態にある手段、 から成る画像記録装置。
  2. 【請求項２】 前記処理手段が第１及び第２画像の一方を第１及び第２画像
    のもう一方に関連付ける、請求項１に記載の画像記録装置。
  3. 【請求項３】 前記処理手段が第１及び第２画像を相互に関連付ける、請求
    項２に記載の画像記録装置。
  4. 【請求項４】 第１及び第２画像をそれぞれ記録するために第１及び第２の
    光学的感知手段を備えた、請求項１から３のいずれかに記載の画像記録装置。
  5. 【請求項５】 第１及び第２の光学的感知手段の少なくとも一方が比較的広
    帯域の光学的感知手段であって、波長のスペクトルの広帯域内で少なくとも別個
    の波長に応答する、請求項４に記載の画像記録装置。
  6. 【請求項６】 前記波長が少なくとも１００ｎｍ以上離れている、請求項５
    に記載の画像記録装置。
  7. 【請求項７】 前記光学的感知手段がそれぞれ異なった光の波長に応答する
    、少なくとも２つのタイプの感光性の素子（または、部品）を含む、請求項１か
    ら６のいずれかに記載の画像記録装置。
  8. 【請求項８】 前記光学的感知手段が光電検出ピクセルの配列から成るＣＣ
    Ｄチップから構成される、請求項１から７のいずれかに記載の画像記録装置。
  9. 【請求項９】 前記ピクセルが光の特定の波長に中心を持ち、広い範囲の応
    答を持つ、請求項８に記載の画像記録装置。
  10. 【請求項１０】 前記ＣＣＤチップがフィルターでコーティングされている
    、請求項８または９に記載の画像記録装置。
  11. 【請求項１１】 前記光学的処理手段が光学フィルターを備える、請求項１
    から１０のいずれかに記載の画像記録装置。
  12. 【請求項１２】 前記フィルターが、それの出力が入力に対して線形の関係
    になるような特性を持つ、請求項１１に記載の画像記録装置。
  13. 【請求項１３】 前記フィルターの応答が波長に対して滑らかな関数であり
    、前記フィルターが３０％以上の平均透過率を持つ、請求項１１または１２に記
    載の画像記録装置。
  14. 【請求項１４】 前記フィルターが入力と比較したときに、１つの波長の光
    がもう１つの波長より比較的大きい出力を生成する、請求項１１から１３のいず
    れかに記載の画像記録装置。
  15. 【請求項１５】 前記フィルターが画像光の経路中の前記光学的感知手段の
    前面に配置される、請求項１１から１４のいずれかに記載の画像記録装置。
  16. 【請求項１６】 第１及び第２光学的感知手段が第１及び第２デジタル光学
    画像を記録する単体のＣＣＤチップによって与えられる、請求項１から１５のい
    ずれかに記載の画像記録装置。
  17. 【請求項１７】 第１及び第２感知手段がそれぞれ前記チップの異なった部
    分から成る、請求項１６に記載の画像記録装置。
  18. 【請求項１８】 第１及び第２画像が前記ＣＣＤチップの、空間的に、また
    は記録される光の周波数に関して、異なった部分から構成される、請求項１６ま
    たは１７に記載の画像記録装置。
  19. 【請求項１９】 フィルターが前記ＣＣＤチップに（または前記ＣＣＤチッ
    プの前面に）備えられ、第１または第２のデジタル光学画像が前記チップのその
    部分によって記録され、デジタル光学画像のもう一方が前記チップの残りの部分
    によって記録される、請求項１６から１８のいずれかに記載の画像記録装置。
  20. 【請求項２０】 前記光学的感知手段が第１デジタル光学画像を記録するた
    めに第１ＣＣＤチップ、及び第２デジタル光学画像を記録するための第２ＣＣＤ
    チップを備える、請求項１から１５のいずれかに記載の画像記録装置。
  21. 【請求項２１】 前記チップが同じ幾何平面上に、互いに隣接して配置され
    る、請求項２０に記載の画像記録装置。
  22. 【請求項２２】 前記２つのＣＣＤチップが光の本質的に同じ周波数に応答
    し、前記光学的処理手段が画像光を２つの部分に分割し、光の前記各部分を前記
    ＣＣＤチップの対応する１つに向けるための光学ビームスプリッターを備え、画
    像光の一方の前記部分の経路に光学フィルターが配置される、請求項２０または
    ２１に記載の画像記録装置。
  23. 【請求項２３】 前記光学的感知手段及び前記光学的処理手段が、カメラ本
    体等の、ハウジングに配置される、請求項２０から２２のいずれかに記載の画像
    記録装置。
  24. 【請求項２４】 別々のハウジングにそれぞれのＣＣＤチップが配置され、
    第１ハウジングにはそれに配置されたＣＣＤチップだけが備えられ、第２ハウジ
    ングにはそれに配置されたＣＣＤチップと光学フィルターが備えられる、請求項
    ２０から２２のいずれかに記載の画像記録装置。
  25. 【請求項２５】 第１ＣＣＤチップが第１デジタルカメラ内に備えられ、第
    ２ＣＣＤチップが第２デジタルカメラ内に備えられ、それにより異なったカメラ
    の特性から２つの画像の異なった光学処理が生ずる、請求項２０から２２のいず
    れかに記載の画像記録装置。
  26. 【請求項２６】 前記２つのチップがそれぞれ光の異なった周波数に応答す
    る、請求項２０から２５のいずれかに記載の画像記録装置。
  27. 【請求項２７】 前記処理手段が電子記憶手段を持った、マイクロプロセッ
    サーベースのものである、請求項１から２６のいずれかに記載の画像記録装置。
  28. 【請求項２８】 前記処理手段が光源の光のスペクトル特性に関連した情報
    を与えるための手段を含む、請求項１から２７のいずれかに記載の画像記録装置
    。
  29. 【請求項２９】 前記光源の光のスペクトル特性に関連した情報が記録され
    る画像に存在する照明のカラーバイアスの少なくともいくらかを取り除くために
    使用される、請求項２８に記載の画像記録装置。
  30. 【請求項３０】 前記処理手段が記録される画像のデモセイシングエラー及
    び（／または）相互反射エラー及び（／または）影の少なくともいくらかを取り
    除くための手段を含む、請求項２８または２９に記載の画像記録装置。
  31. 【請求項３１】 前記処理手段がシーンの物理的な特徴等の、シーンの物理
    的特性に関する情報を与えるための手段を含む、請求項２８から３０のいずれか
    に記載の画像記録装置。
  32. 【請求項３２】 画像を記録するための方法であって： （ａ）光源の光で照らされたシーンの少なくとも一部の、第１のデジタル光学
    画像、及び、本質的に同じ光源の光によって照らされた本質的に同じシーンの少
    なくとも一部の、第２のデジタル光学画像を記録すること；及び、 （ｂ）第１及び第２の画像に関する情報を処理すること； のステップから成り、 第１及び第２の画像を生成する光が異なった光学処理をされることを特徴とす
    る方法。
  33. 【請求項３３】 前記処理ステップが第１及び第２画像の一方を第１及び第
    ２画像のもう一方に関連付けることを含む、請求項３２に記載の画像を記録する
    ための方法。
  34. 【請求項３４】 第１及び第２画像が相互に関連している、請求項３３に記
    載の画像を記録するための方法。
  35. 【請求項３５】 前記異なった光学処理が少なくとも部分的に、第１または
    第２の画像を生成する光のフィルタリングによって生ずる、請求項３２から３４
    のいずれかに記載の画像を記録するための方法。
  36. 【請求項３６】 前記異なった光学処理が第１及び第２画像を記録するとき
    に、それぞれ異なった光の周波数に応答する感知器の使用によって与えられる、
    請求項３２から３５のいずれかに記載の画像を記録するための方法。
  37. 【請求項３７】 第１及び第２画像がそれぞれ、シーンの全体の画像の異な
    った部分から構成される、請求項３２から３６のいずれかに記載の画像を記録す
    るための方法。
  38. 【請求項３８】 第１及び第２画像に関連する情報の処理が光源の光のスペ
    クトル特性を与える、請求項３２から３７のいずれかに記載の画像を記録するた
    めの方法。
  39. 【請求項３９】 画像記録装置を較正するための方法であって、請求項３２
    から３８のいずれかに記載の方法。
  40. 【請求項４０】 ステップ（ａ）及び（ｂ）を複数の異なった既知の光源の
    光に対し実施することを含み、ステップ（ｂ）がそれらの間の関係の指標を与え
    るために第１及び第２画像に関連した情報を処理するステップを含む、請求項３
    ９に記載の方法。
  41. 【請求項４１】 前記関係の指標が変換マトリクス等の変換関数であり、方
    法が異なった既知の光源の光に関連した各変換関数から成る基準変換関数の組を
    与える、請求項４０に記載の方法。
  42. 【請求項４２】 画像記録装置を使用して記録された画像を処理するための
    方法であって、第１及び第２画像が未知の照明によって照らされたシーンに関連
    している、請求項３２から３８のいずれかに記載の方法。
  43. 【請求項４３】 方法が１つまたは複数の前記基準変換関数を第１または第
    ２画像に適用し、２つの画像を最も良く関連付ける前記基準変換関数を決定する
    ステップを含む、請求項４２に記載の方法。
  44. 【請求項４４】 第２画像と比較される変換された第１画像を与えるために
    各基準変換関数が第１画像に適用され、最も第２画像に類似した変換された第１
    画像を生成する基準変換関数が最良の基準変換関数として選択される、請求項４
    ３に記載の方法。
  45. 【請求項４５】 記録されるシーンを照らしている光のスペクトル特定に関
    連した情報を与えるために、前記最良の基準変換関数が関連した前記既知の光源
    の光が決定される、請求項４４に記載の方法。
  46. 【請求項４６】 記録されるシーンの画像から光源の光によるカラーバイア
    スの少なくともいくらかを取り除くか、あるいは、記録される画像に存在するデ
    モセイシングエラー及び（／または）相互反射エラー及び（／または）影の少な
    くともいくらかを取り除く、請求項４５に記載の方法。
  47. 【請求項４７】 画像記録装置を使用して画像を記録し、光源の光によって
    照らされたシーンの記録された前記画像を処理するための方法であって： 画像記録装置の光源の光Ｅ(λ)の複数の色の各々への応答を電子記憶手段に格
    納すること； 照明Ｅa(λ)の各色を照明Ｅb(λ)の異なった色との組にグループ化し、照明Ｅ a (λ)及びＥb(λ)の各組に対し、照明の組の全体を通して最も良く画像記録装置
    の応答を写像する照明変換関数Ｔa,bを計算し、その変換関数を電子記憶手段に
    記録すること、 のステップから成る方法。
  48. 【請求項４８】 照明の組の数が別個の照明の数と同じであり、各組の第２
    の照明が第１の照明で定義される、請求項４７に記載の方法。
  49. 【請求項４９】 別個の照明Ｅ(λ)の組に対する画像記録装置の応答を記録
    するステップを含む、請求項４７に記載の方法。
  50. 【請求項５０】 方法がさらに： 記録されるシーンからの画像光（Ｐ1）、及び前記シーンからの光学的にフィ
    ルタリングされた画像光（Ｐ2）に対する画像記録装置の応答を記録すること； 照明の光の色に最も近い照明Ｅ(λ)の色を決定し、それにより、照明の光の色
    を推定すること；及び、 光源の光によるカラーバイアスの少なくともいくらかか、あるいは、デモセイ
    シングエラー及び（／または）相互反射エラーの少なくともいくらかを取り除く
    こと、 のステップを含む、請求項４７から４９のいずれかに記載の方法。
  51. 【請求項５１】 前記光学的フィルタリングされた画像が、入力に対し比較
    的強い１つの波長の光を含む出力を生成するフィルターを使用してフィルタリン
    グされる、請求項５０に記載の方法。
  52. 【請求項５２】 前記装置の前記画像光に対する記録された前記応答（Ｐ1
    ）へ各変換関数Ｔa,bを適用し、変換された前記応答（Ｐ1）を前記装置のフィル
    タリングされた画像光に対する前記応答（Ｐ2）と比較することにより前記光源
    の光の色が決定され、２つの応答を最も良く関連付ける変換関数が画像光及びフ
    ィルタリングされた画像光の色を識別する関数である、請求項５０または５１に
    記載の方法。
  53. 【請求項５３】 前記最良の変換関数が演算（Ｔa,bＰ1−Ｐ2）の誤差を最
    小にする関数として定義される、請求項５２に記載の方法。
  54. 【請求項５４】 図面の図１を参照して詳細な説明で本質的に記載されてい
    る画像記録装置。
  55. 【請求項５５】 図面の図２を参照して詳細な説明で本質的に記載されてい
    る画像記録装置。
  56. 【請求項５６】 図面の図３を参照して詳細な説明で本質的に記載されてい
    る画像記録装置。
  57. 【請求項５７】 本質的に図面を参照して記述されている方法。
  58. 【請求項５８】 請求項１から５７の発明の範囲であるか、または関連して
    いるか、していないかに拘わらず、ここで開示された斬新的な事項及びそれらの
    組み合わせの全て。
JP2000557628A 1998-06-27 1999-06-25 画像記録装置 Pending JP2002519959A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB9813855.5A GB9813855D0 (en) 1998-06-27 1998-06-27 Image recording apparatus
GB9813855.5 1998-06-27
PCT/GB1999/001997 WO2000001164A2 (en) 1998-06-27 1999-06-25 Colour image pickup apparatus

Publications (2)

Publication Number Publication Date
JP2002519959A true JP2002519959A (ja) 2002-07-02
JP2002519959A5 JP2002519959A5 (ja) 2006-08-31

Family

ID=10834463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000557628A Pending JP2002519959A (ja) 1998-06-27 1999-06-25 画像記録装置

Country Status (7)

Country Link
US (1) US7046288B1 (ja)
EP (1) EP1090509A2 (ja)
JP (1) JP2002519959A (ja)
AU (1) AU4521799A (ja)
CA (1) CA2336038C (ja)
GB (1) GB9813855D0 (ja)
WO (1) WO2000001164A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509666A (ja) * 2006-11-08 2010-03-25 ユニバーシティー オブ イースト アングリア 画像の照明検出

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7493039B2 (en) * 2003-08-13 2009-02-17 Scalar Corporation Camera, method, and program for enhanced imaging using chromatic aberration
GB0622250D0 (en) 2006-11-08 2006-12-20 Univ East Anglia Illuminant estimation
US8611660B2 (en) 2009-12-17 2013-12-17 Apple Inc. Detecting illumination in images
CN108389553B (zh) * 2018-03-27 2021-01-12 深圳创维－Rgb电子有限公司 背光控制方法、装置及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5045928A (en) 1988-04-21 1991-09-03 Canon Kabushiki Kaisha White balance control with choice of control dependent on brightness
US5453611A (en) 1993-01-01 1995-09-26 Canon Kabushiki Kaisha Solid-state image pickup device with a plurality of photoelectric conversion elements on a common semiconductor chip
US5479524A (en) 1993-08-06 1995-12-26 Farrell; Joyce E. Method and apparatus for identifying the color of an image
AU7604796A (en) * 1995-11-01 1997-05-22 Carl Kupersmit Vehicle speed monitoring system
US6256066B1 (en) * 1996-06-28 2001-07-03 Matsushita Electric Industrial Co., Ltd. High-resolution image pickup method and apparatus therefor
US6700613B1 (en) * 1998-06-16 2004-03-02 Eastman Kodak Company Data-reading image capture apparatus, camera, and method of use

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010509666A (ja) * 2006-11-08 2010-03-25 ユニバーシティー オブ イースト アングリア 画像の照明検出
JP2012238317A (ja) * 2006-11-08 2012-12-06 Apple Inc 画像の照明検出

Also Published As

Publication number Publication date
EP1090509A2 (en) 2001-04-11
GB9813855D0 (en) 1998-08-26
CA2336038C (en) 2007-06-05
AU4521799A (en) 2000-01-17
WO2000001164A2 (en) 2000-01-06
CA2336038A1 (en) 2000-01-06
WO2000001164A3 (en) 2000-04-13
US7046288B1 (en) 2006-05-16

Similar Documents

Publication Publication Date Title
US5475769A (en) Method and apparatus for recovering image data through the use of a color test pattern
US8222603B2 (en) One chip image sensor for measuring vitality of subject
KR100278642B1 (ko) 칼라 영상 처리장치 및 방법
US7053935B2 (en) Apparatus and method for accurate electronic color capture and reproduction
JP2008518229A (ja) マルチスペクトル及びハイパースペクトル撮像を行うシステム
KR20010053063A (ko) 발광 다이오드 또는 그 외의 스펙트럼 광원을 이용한이미저 장치 컬러 보정 방법
KR20050074590A (ko) 광원 추정 장치, 광원 추정 방법, 촬상 장치 및 화상 처리방법
Shrestha et al. One-shot multispectral color imaging with a stereo camera
JP2008501256A (ja) デジタル撮像装置を用いたオブジェクトからの異なる形式の光の再生
CN108370422A (zh) 利用单个矩阵传感器采集可见和近红外图像的系统和方法
JP2978615B2 (ja) カラーバランス調整装置及び方法
CN105890761B (zh) 一种偏振多光谱成像系统的偏振通道定标方法
US7302093B2 (en) Color vision vehicle wheel alignment system
JP2007006061A (ja) カラーフィルター及びそれを有する撮像装置
JP2002519959A (ja) 画像記録装置
US20230230345A1 (en) Image analysis method, image analysis device, program, and recording medium
CN107941337A (zh) 快照式光谱成像方法、装置及光谱成像仪
JP2001144972A (ja) マルチスペクトル画像収録・処理装置および画像収録・処理方法
Lee et al. Building a two-way hyperspectral imaging system with liquid crystal tunable filters
JP4344257B2 (ja) 撮影装置及び色分解光学系
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
WO2023105961A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4482685B2 (ja) 広色域動画カメラ
Nishi et al. Image registration for a multispectral imaging system using interference filters and application to digital archiving of art paintings
JP6317703B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080723

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081021

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081021

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081021

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081021

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090421