JP2013545331A - 少なくとも2つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム - Google Patents

少なくとも2つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム Download PDF

Info

Publication number
JP2013545331A
JP2013545331A JP2013530637A JP2013530637A JP2013545331A JP 2013545331 A JP2013545331 A JP 2013545331A JP 2013530637 A JP2013530637 A JP 2013530637A JP 2013530637 A JP2013530637 A JP 2013530637A JP 2013545331 A JP2013545331 A JP 2013545331A
Authority
JP
Japan
Prior art keywords
digital camera
camera system
color filter
independent
filter element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013530637A
Other languages
English (en)
Other versions
JP5788009B2 (ja
Inventor
ティム マーティン
ヴェルツェンバッハ マーティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of JP2013545331A publication Critical patent/JP2013545331A/ja
Application granted granted Critical
Publication of JP5788009B2 publication Critical patent/JP5788009B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02Details
    • H01L31/0216Coatings
    • H01L31/02161Coatings for devices characterised by at least one potential jump barrier or surface barrier
    • H01L31/02162Coatings for devices characterised by at least one potential jump barrier or surface barrier for filtering or shielding light, e.g. multicolour filters for photodetectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1213Filters in general, e.g. dichroic, band

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本発明は、少なくとも2つの独立したデジタルカメラ(3.1〜3.4)を有するデジタルカメラシステム(2)に関する。当該デジタルカメラは、画像信号を異なる狭帯域のスペクトル領域において検出し、ここで少なくとも2つの独立したデジタルカメラ(3.1〜3.4)はそれぞれ少なくとも1つの別個の面状デジタル画像センサ(6)、有利にはCCDセンサまたはCMOSセンサと、当該少なくとも1つの面状デジタル画像センサ(6)の前に接続されている、前記各狭帯域スペクトル領域に相応する少なくとも1つの、カラーフィルターエレメント(7.1〜7.4)とを有しており、当該カラーフィルターエレメントは少なくとも1つのフィルター領域(7a.1〜7a.4)を有している。前記少なくとも1つのカラーフィルターエレメント(7.1〜7.4)は付加的に、少なくとも1つのニュートラルな領域(7b)を有しており、当該ニュートラルな領域(7b)は、少なくとも、前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)の異なる狭帯域スペクトル領域を含んでいるスペクトル領域において、殊にパンクロマチックスペクトル領域において透光性であり、かつ、前記ニュートラルな領域(7b)は、属する少なくとも1つの面状デジタル画像センサ(6)の少なくとも1つの特定のニュートラルなピクセル領域、殊に利用されていないピクセル領域(6b)に割り当てられている。

Description

本発明は、請求項1の上位概念において詳細に規定されている様式の、少なくとも2つの独立したデジタルカメラを備えたデジタルカメラシステムに関する。本発明はまた、カラーフィルターエレメントおよびデジタルカメラシステムの独立した少なくとも2つのデジタルカメラ間の露光時間および/または撮影された光量の差を求める方法並びにデジタルカメラシステムのカラーバランスを再現する方法に関する。さらに本発明は、カメラシステムの画像処理ユニットにも関する。
DE102005045036A1号には、マルチスペクトルカメラおよびマルチスペクトルカメラによって画像情報を形成する方法が提示されている。
シャッターと、撮影されるべき光量ないしは露光時間を定めるための相応のデジタルセンサとを有する複数の独立したカメラないしはカメラヘッドを備えたデジタルカメラシステムでは、個々のカメラにおいて、製造に起因する、シャッター特性およびセンサ特性の散乱によって相互に差が生じ得る。
個々のないしは自立したまたは独立したカメラヘッドがそれぞれ、相応する前置カラーフィルターエレメントによって分けられる種々のスペクトル領域ないしは波長領域における光を、殊に同じシーンの画像を全てのカメラヘッドが同時画像撮影ないしは同期画像撮影することによって撮影するマルチスペクトルカメラでは(ここではこの画像信号が後から1つのマルチスペクトル画像にまとめられる)、画像撮影時に、全ての独立したカメラヘッドに対してできるだけ同じ光量ないしは露光時間が発生するべきである。従って、上述した、個々のカメラヘッドの僅かに異なっている露光時間によって生じる差ないしは許容公差によって、マルチスペクトル画像内での色誤りが生じてしまい得る。
実践から、ポジションセンシングまたは同様の粗い測定を個々のカメラヘッドの実際の露光時間に関して行い、かつ、ここから既に大まかに、必要なカラーバランシングを計算することが既知である。しかし個々のカメラの異なるカラーチャネルまたはカラーフィルターによって生じる異なった光量ないしは画像情報のために、正確な推定が行われないことがある。
本発明の課題は、冒頭に記載した様式のデジタルカメラシステムを撮影された画像のカラーバランシングに関してさらに改善する、ということである。
この課題は、本発明と相応に、請求項1の特徴部分に記載されている構成によって解決される。
本発明では、少なくとも2つの独立しているデジタルカメラを備えたデジタルカメラシステムが提示される。これらのデジタルカメラは、画像信号を異なる狭帯域スペクトル領域において検出する。ここで、これらの少なくとも2つの独立したデジタルカメラはそれぞれ少なくとも1つの別個の面状のデジタル画像センサ、有利にはCCDセンサまたはCMOSセンサと、入射光の方向においてこの少なくとも1つの面状のデジタル画像センサの前に配置されているないしは面状のデジタル画像センサの前に接続されている、各狭帯域スペクトル領域に相応する少なくとも1つのカラーフィルターエレメントとを有している。ここでこのカラーフィルターエレメントは、少なくとも1つのフィルター領域を有している。ここで少なくとも1つのカラーフィルターエレメントは、付加的に少なくとも1つのニュートラルな領域ないしはニュートラルな密度の領域を有している。このニュートラルな領域は、少なくとも2つの独立したデジタルカメラの少なくとも異なる狭帯域スペクトル領域を含んでいるスペクトル領域において、殊にパンクロマチックスペクトル領域において光を通し、かつ属する、少なくとも1つの面状の画像センサの特定のニュートラルな、殊に使用されていないピクセル領域に割り当てられている。
カラーフィルターエレメントのニュートラルな領域は有利には、必要な全波長スペクトルにおいて、光を修正なく通過させる、ないしは必要な波長スペクトルにおいて、例えば少なくとも95%の極めて高い透過率を有している。これによって、独立したデジタルカメラは、このニュートラルな領域によって、同様のかつ同量の光を得る。なぜなら、ニュートラルな領域ないしはニュートラルな密度領域のこのフィルター特性は、全ての独立したカメラで、実質的に同様に構成されているからである。カラーフィルターエレメントのニュートラルな領域が、対応する少なくとも1つの面状のデジタル画像センサの特定のニュートラルな、殊に使用されていないピクセル領域に割り当てられていることによって、ないしはこの上に配置されていることによって、異なる独立したデジタルカメラにおいて、正確に同じ光量が画像情報に対して発生する。全ての独立したデジタルカメラが同期して画像撮影する際にニュートラルないしは使用されていないピクセル領域において差が生じる場合、この差は異なるカラーチャネルに起因するのではなく、異なるシャッター時間またはその他の、殊に機械的な許容公差に起因する。従って、相応の補償計算が画像処理の間に行われ、ここで強過ぎる色成分は相応に弱められる、ないしは標準化(Normierung)等が行われる。
特に有利には、面状のデジタル画像センサは、いずれにせよアプリケーションによって使用されないピクセル領域を有している。このピクセル領域はニュートラルな領域として使用される。このニュートラルなピクセル領域はここで充分に大きいべきである(例えば2000ピクセル等)。なぜならカラーフィルターエレメントの異なる領域間に、相応する大きさの移行領域も(異なる種類のガラスの間に)設けられるべきだからである。
少なくとも2つの独立したデジタルカメラは、それぞれ別個のシャッターおよび/または別個の対物レンズを有することができる。このような配置構成の場合には、本発明の措置は特に有利である。なぜなら、少なくとも2つの独立したデジタルカメラ間の露光時間および/または撮影光量の過度に強い差が生じ得るからである。
少なくとも2つの独立したデジタルカメラは、次のように相互に配置される。すなわち、少なくとも類似した同一のシーンが、少なくとも2つの独立したデジタルカメラの異なる狭帯域スペクトル領域において撮影可能であり、異なるカラーチャネルまたは狭帯域スペクトル領域の画像信号を組み合わせて、このシーンないしは検出された画像信号のマルチスペクトル画像が得られるからである。
少なくとも2つの独立したデジタルカメラは、自身の各異なる色感度または狭帯域スペクトル領域に相応するカラーフィルターエレメントを除いて実質的に同様の撮影特性を有している、および/または、実質的に同じ構造を有している。この場合には、その面状のデジタル画像センサは、場合によって設けられているその別個のシャッターおよび/または対物レンズは実質的に同様に構成されている。
有利には、少なくとも1つのカラーフィルターエレメントはストリップ状の2つのニュートラルな領域を、フィルター領域の、対向する側に有している。複数の異なるニュートラルフィルター領域を使用することによって、光学的な差の改善された、ないしはより正確な補償が可能になる。
デジタルカメラシステムを独立した4つのカメラを備えたマルチスペクトルカメラシステムとして構成することができる。これは、
・第1の独立したデジタルカメラを有しており、このデジタルカメラは、第1のカラーフィルターエレメントを備えている。このカラーフィルターエレメントは約600nm〜約700nmの波長領域を有するスペクトル領域において、ないしは赤色光に対して光透過性である。
・第2の独立したデジタルカメラを有しており、このデジタルカメラは、第2のカラーフィルターエレメントを備えている。このカラーフィルターエレメントは約500nm〜約600nmの波長を有するスペクトル領域において、ないしは緑色光に対して光透過性である。
・第3の独立したデジタルカメラを有しており、このデジタルカメラは、第3のカラーフィルターエレメントを備えている。このカラーフィルターエレメントは約400nm〜約500nmの波長を有するスペクトル領域において、ないしは青色光に対して光透過性である。
・第4の独立したデジタルカメラを有しており、このデジタルカメラは、第4のカラーフィルターエレメントを備えている。このカラーフィルターエレメントは約700nm〜約900nmの波長を有するスペクトル領域において、ないしは近赤外光に対して光透過性である。
この第1のカラーフィルターエレメント、第2のカラーフィルターエレメント、第3のカラーフィルターエレメントおよび第4のカラーフィルターエレメントは、それぞれ1つのニュートラル領域を有している。このニュートラル領域は、約400nm〜約900nmのスペクトル領域において光透過性である。これによって、カラーフィルターエレメントの全体的なスペクトル領域は、カラーフィルターエレメントのこれらのニュートラル領域によってカバーされる。
このデジタルカメラシステムを、飛行機から航空写真を撮影するための航空測量用のマルチスペクトルデジタルカメラシステムとして使用することができる。
請求項9では、少なくとも1つの面状デジタル画像センサ用のカラーフィルターエレメントが提示される。
請求項10では、デジタルカメラシステムの少なくとも2つの独立したデジタルカメラ間の露光時間および/または撮影光量の差を求める方法が提示されている。これは殊に、有利には同一のシーンを少なくとも2つの独立したカメラが同期して画像撮影する場合の方法である。この方法では、同期画像撮影が行われた後に、少なくとも2つの独立したデジタルカメラの面状デジタル画像センサの各ニュートラルピクセル領域において撮影された光量が相互に比較される。
請求項11では、デジタルカメラシステムのカラーバランスを調整する方法が提案されている。ここで、デジタルカメラシステムの少なくとも2つの独立したデジタルカメラ間の露光時間およびまたは撮影光量の差が求められ、その後、少なくとも2つの独立したデジタルカメラシステムによって、各異なる狭帯域スペクトル領域ないしはカラーチャネルにおいて同期して撮影された、同一のシーンの画像の処理時に、補償計算が次のように行われる。すなわち、各狭帯域スペクトル領域が前もって求められたこの差に相応してそれぞれ変化されない、弱められるまたは強められるように、すなわち標準化されるように行われる。
さらに請求項12において、デジタルカメラシステムの画像処理ユニットが示されている。
本発明の有利な構成および発展形態は、従属請求項に記載されている。以降では、図面に基づいて、原則的に、本発明の実施例が示されている。
独立した4つのカメラを有する本発明のマルチスペクトルカメラシステムの概略図 図1に示されている、本発明のマルチスペクトルデジタルカメラシステムの独立したデジタルカメラの概略図 カラーフィルターエレメントの概略図 本発明のマルチスペクトルデジタルカメラシステム内にある4つのカラーフィルターエレメントの配列の概略図
本発明のデジタルカメラシステム、殊にマルチスペクトルカメラシステムは以降で、飛行機(図示されていない)から航空写真を撮影するための航空測量用の航空写真撮影機器として使用される。さらに、図示されていない実施例においては、本発明のデジタルカメラシステムは例えば、顕微鏡等でも使用される。
図1は、航空測量用の航空写真撮影機器1を示しており、これは、独立した4つのデジタルカメラ3.1〜3.4を備えている、本発明のマルチスペクトルデジタルカメラシステム2を備えている。これらのデジタルカメラは、異なる狭帯域のスペクトル領域において画像信号を検出し、これを画像処理ユニット4に転送する。画像処理ユニット4は次に、この信号を画像記憶ユニット5に伝達する。付加的に、本発明のデジタルカメラシステム2は、高い解像度のパンクロマチック独立デジタルカメラ3.5を有することができる(破線で示されている)。ここでこれらの独立したデジタルカメラ3.1〜3.4は、低い解像度を有するように構成されている。
本発明のデジタルカメラシステム2内の独立したデジタルカメラ3.1〜3.5の配列は図1では著しく簡易化して示されており、独立したデジタルカメラ3.1〜3.5の実際の配列とは格段に異なっている。
独立した4つのデジタルカメラ3.1〜3.4は次のように相互に配列されている。すなわち、少なくとも近似的に同一のシーンが、その異なる狭帯域スペクトル領域において撮影可能であり、これらの異なる狭帯域スペクトル領域の画像信号からこのシーンのマルチスペクトル画像が、殊に画像処理ユニット4内で組み合わせて生成されるように配列されている。この組み合わせ時に、オプションとして、独立したデジタルパンクロマチックカメラ3.5も使用可能である。
図2には、本発明のデジタルカメラシステム2の各独立したデジタルカメラ3.1〜3.4が示されている。ここでは独立したデジタルカメラ3.1〜3.4はそれぞれ1つの別個の面状の、CCDセンサとして構成されているデジタル画像センサ6と、この面状のデジタル画像センサ6の前に接続されているカラーフィルターエレメント7.1〜7.4を有している(図3および4も参照)。これらは、各狭帯域スペクトル領域用のフィルター領域7a.1〜7a.4を有している。別の実施例では、デジタル画像センサ6は、各狭帯域スペクトル領域に対して、CMOSセンサとして構成される。
カラーフィルターエレメント7.1〜7.4は、2つのニュートラルな領域7bを有している。これらのニュートラルな領域は、4つの独立したデジタルカメラ3.1〜3.4の異なる狭帯域スペクトル領域を少なくとも含んでいるスペクトル領域NDにおいて、殊にパンクロマチックスペクトル領域において光透過性である。カラーフィルターエレメント7.1〜7.4のニュートラルな領域7bないしはニュートラルな密度の領域は、対応する面状デジタル画像センサ6の2つの特定のニュートラルなピクセル領域、殊に使用されていないピクセル領域6bに割り当てられている。面状デジタル画像センサ6の、マルチスペクトル画像用の、このシーンの画像信号の記録のために使用される領域には、参照符号6aが付けられている。
独立したデジタルカメラ3.1〜3.4は、別個のシャッター8aおよび別個の対物レンズ8b、すなわち別個の光学系を有している。撮影されるべきシーン9が、図2に簡略化して示されている。さらに図2から見て取れるように、デジタル画像センサ6はシーン9を撮影する。この際に、使用されているピクセル領域6aは、光10aで露光される。この光は、カラーフィルターエレメント7.1〜7.4のフィルター領域7a.1〜7a.4を通過する。フィルター領域7a.1〜7a.4は、次のように構成されている。すなわち、相応の波長を有する光だけが通過するように構成されている。デジタル面状画像センサ6の使用されていないピクセル領域6bは、光10bによって露光される。この光は、使用されていないピクセル領域6bに割り当てられている、カラーフィルターエレメント7のニュートラルな領域7bを通過する。
独立した4つのデジタルカメラ3.1〜3.4は、異なる狭帯域スペクトル領域に相応する各カラーフィルターエレメント7.1〜7.4を除いて、実質的に同様の撮影特性を有しており、および/または実質的に同じ構造を有している。ここでその面状デジタル画像センサ6、別個のシャッター8aおよび対物レンズ8bは実質的に同様に構成されている。
図3には、フィルター領域7a.1を有しているカラーフィルターエレメント7.1が示されている。これは、約600nm〜約700nmの波長を有する赤色の狭帯域スペクトル領域Rにおいて光を通す。図3は、カラーフィルターエレメント7.1の平面図であり、図2にはこのようなカラーフィルターエレメント7.1の側面図が示されている。カラーフィルターエレメント7.1は、2つのストリップ状のニュートラル領域7bを、フィルター領域7a.1の、対向する側に有している。カラーフィルターエレメント7.1は、ストリップ状フィルターとも称される。
面状のデジタル画像センサ6用のカラーフィルターエレメント7.1は、通されるべき光の第1のスペクトル領域Rに対してフィルター領域7a.1を有しており、第2のスペクトル領域NDに対してニュートラルな領域7bを有している。ここで、ニュートラル領域7bの第2のスペクトル領域NDはフィルター領域7a.1の第1の狭帯域スペクトル領域Rよりも広く、これを含んでいる。
図4は、本発明によるデジタルカメラシステム2の正面図を示しており、これは相応に並列して配置されている独立したデジタルカメラ3.1〜3.4を有している。このうち、図4には、その各カラーフィルターエレメント7.1〜7.4のみが示されている。対応する面状のデジタル画像センサ6は、カラーフィルターエレメント7.1〜7.4の後方に配置されている。カメラ3.1〜3.4の別個のシャッター8aおよび対物レンズ8bも、図4に示されていない。第1の独立したデジタルカメラ3.1には、第1のカラーフィルターエレメント7.1が設けられている。これは実質的に、約600nm〜約700nmの波長を有するスペクトル領域Rにおいてのみ、光を通す。第2の独立したデジタルカメラ3.2には第2のカラーフィルターエレメント7.2が設けられている。これは実質的に、約500nm〜約600nmの波長を有する、緑色の光に対するスペクトル領域Rにおいてのみ、光を通す。第3の独立したデジタルカメラ3.3には第3のカラーフィルターエレメント7.3が設けられている。これは実質的に、約400nm〜約500nmの波長を有する、青色の光に対するスペクトル領域Bにおいてのみ、光を通す。第4の独立したデジタルカメラ3.4には第4のカラーフィルターエレメント7.4が設けられている。これは実質的に、約700nm〜約900nmの波長を有する、近赤外光用のスペクトル領域NIRにおいてのみ、光を通す。第1、第2、第3および第4のカラーフィルターエレメント7.1〜7.4はそれぞれニュートラルな領域7bを有している。この領域は約400nm〜900nmまでのスペクトル領域NDにおいて光を通す。さらに、カラーフィルターエレメント7.1〜7.4は、相応のフィルター領域7a.1〜7a.4を各スペクトル領域R、G、B、NIRに対して有している。上述したスペクトル領域R、G、B、NIRは単なる例である。さらなる、図示されていない実施例では、相応する別のスペクトル領域を伴う任意の用途が考えられる。
デジタルカメラシステム2の画像処理ユニット4は、デジタルカメラシステム2の独立したデジタルカメラ3.1〜3.4間の露光時間および/または撮影された光量の差を求めるように構成されている。ここで殊に、有利には同じシーン9の独立したデジタルカメラ3.1〜3.4の同期画像撮影時には、同期画像撮影が行われた後、独立したデジタルカメラ3.1〜3.4の面状デジタル画像センサ6の各ニュートラルピクセル領域6bにおいて撮影された光量が相互に比較される。
さらに、デジタルカメラシステム2の画像処理ユニット4は、デジタルカメラシステム2に対してカラーバランスを調整する方法を実施するように構成されている。ここでデジタルカメラシステム2の独立した4つのデジタルカメラ3.1〜3.4間の露光時間および/または撮影された光量の差が上述した方法を用いて求められる。その後、独立した4つのデジタルカメラ3.1〜3.4によって、それぞれ異なる狭帯域スペクトル領域R、G、B、NIRにおいて同期して撮影された、同一のシーン9の画像の処理時に、補償計算が次のように行われる。すなわち、各狭帯域スペクトル領域R、G、B、NIRの画像信号が、事前に求められた差に相応して、変えられない、減衰される、または増幅され、従ってカラーチャネルR、G、B、NIRの相応する標準化が行われる。

Claims (12)

  1. 少なくとも2つの独立したデジタルカメラ(3.1〜3.4)を備えたデジタルカメラシステム(2)であって、
    前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)は、異なる狭帯域スペクトル領域において画像信号を検出し、
    前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)はそれぞれ少なくとも1つの別個の面状デジタル画像センサ(6)、有利にはCCDセンサまたはCMOSセンサと、当該少なくとも1つの面状デジタル画像センサ(6)の前に配置されている、前記各狭帯域スペクトル領域に相応する少なくとも1つのカラーフィルターエレメント(7.1〜7.4)とを有しており、当該カラーフィルターエレメント(7.1〜7.4)は少なくとも1つのフィルター領域(7a.1〜7a.4)を有している形式のデジタルカメラシステムにおいて、
    前記少なくとも1つのカラーフィルターエレメント(7.1〜7.4)は追加的に、少なくとも1つのニュートラルな領域(7b)を有しており、
    当該ニュートラルな領域(7b)は、前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)の異なる狭帯域スペクトル領域を少なくとも含んでいるスペクトル領域(ND)において、殊にパンクロマチックスペクトル領域において、透光性であり、かつ、
    前記ニュートラルな領域(7b)は、属する前記少なくとも1つの面状デジタル画像センサ(6)の少なくとも1つの特定のニュートラルなピクセル領域、殊に利用されていないピクセル領域(6b)に割り当てられている、
    ことを特徴とする、デジタルカメラシステム(2)。
  2. 前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)は、それぞれ1つの別個のシャッター(8a)および/または1つの別個の対物レンズ(8b)を有している、請求項1記載のデジタルカメラシステム。
  3. 前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)は、
    少なくとも近似的に同一のシーン(9)が前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)の異なる狭帯域スペクトル領域(R、G、B、NIR)において撮影され、かつ、
    前記異なる狭帯域スペクトル領域(R、G、B、NIR)の画像信号を組み合わせて、前記シーン(9)のマルチスペクトル画像が得られるように、相対的に配置されている、請求項1または2記載のデジタルカメラシステム。
  4. 前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)は、前記異なる狭帯域スペクトル領域(R、G、B、NIR)に相応する各カラーフィルターエレメント(7.1〜7.4)を除いて実質的に同様の撮影特性を有している、および/または、実質的に同じ構造を有しており、
    前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)の面状デジタル画像センサ(6)、場合によって設けられている別個のシャッター(8a)および/または対物レンズ(8b)は実質的に同様に構成されている、請求項1、2または3記載のデジタルカメラシステム。
  5. 前記少なくとも1つのカラーフィルターエレメント(7.1〜7.4)は、ストリップ状の2つのニュートラルな領域(7b)を、前記フィルター領域(7a.1〜7a.4)の、対向する側に有している、請求項1から4までのいずれか1項記載のデジタルカメラシステム。
  6. ・第1の独立したデジタルカメラ(3.1)は、第1のカラーフィルターエレメント(7.1)を備えており、当該第1のカラーフィルターエレメント(7.1)は約600nm〜約700nmの波長を有するスペクトル領域(R)において透光性であり、
    ・第2の独立したデジタルカメラ(3.2)は、第2のカラーフィルターエレメント(7.2)を備えており、当該第2のカラーフィルターエレメント(7.2)は約500nm〜約600nmの波長を有するスペクトル領域(G)において透光性であり、
    ・第3の独立したデジタルカメラ(3.3)は、第3のカラーフィルターエレメント(7.3)を備えており、当該第3のカラーフィルターエレメント(7.3)は約400nm〜約500nmの波長を有するスペクトル領域(B)において透光性であり、
    ・第4の独立したデジタルカメラ(3.4)は、第4のカラーフィルターエレメント(7.4)を備えており、当該第4のカラーフィルターエレメント(7.4)は約700nm〜約900nmの波長を有するスペクトル領域(NIR)において透光性である、請求項1から5までのいずれか1項記載のデジタルカメラシステム。
  7. 前記第1、第2、第3および第4のカラーフィルターエレメント(7.1〜7.4)はそれぞれ1つのニュートラルな領域(7b)を有しており、当該ニュートラルな領域(7b)は、約400nm〜約900nmのスペクトル領域(ND)において透光性である、請求項6記載のデジタルカメラシステム。
  8. 飛行機から航空写真を撮影するための航空測量用である、請求項1から7までのいずれか1項記載のデジタルカメラシステム。
  9. 少なくとも1つの面状デジタル画像センサ(6)用のカラーフィルターエレメント(7.1〜7.4)であって、
    当該カラーフィルターエレメント(7.1〜7.4)は、通過させる第1の狭帯域スペクトル領域(R、G、B、NIR)のための少なくとも1つのフィルター領域(7a.1〜7a.4)を有し、かつ第2のスペクトル領域(ND)のための少なくとも1つのニュートラルな領域(7b)を有し、
    前記ニュートラルな領域(7b)の前記第2のスペクトル領域(ND)は、前記第1の狭帯域スペクトル領域(R、G、B、NIR)よりも幅が広く、かつ前記第1の狭帯域スペクトル領域(R、G、B、NIR)を含んでいる、
    ことを特徴とするカラーフィルターエレメント。
  10. 殊に、有利には同一のシーン(9)を少なくとも2つの独立したカメラ(3.1〜3.4)が同期画像撮影する場合の、請求項1から8までのいずれか1項記載のデジタルカメラシステム(2)の、少なくとも2つの独立したデジタルカメラ(3.1〜3.4)間の露光時間および/または撮影された光量の差を求める方法であって、
    同期画像撮影の終了後に、前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)の前記面状デジタル画像センサ(6)の各ニュートラルなピクセル領域(6b)において撮影された光量を相互に比較する、
    ことを特徴とする、少なくとも2つの独立したデジタルカメラ間の露光時間および/または撮影された光量の差を求める方法。
  11. 請求項1から8までのいずれか1項記載のデジタルカメラシステム(2)のカラーバランスを調整する方法であって、
    前記デジタルカメラシステム(2)の少なくとも2つの独立したデジタルカメラ(3.1〜3.4)間の露光時間および/または撮影光量の差が、請求項8記載の方法によって求められ、
    その後、前記少なくとも2つの独立したデジタルカメラ(3.1〜3.4)によって、各異なる狭帯域スペクトル領域(R、G、B、NIR)において同期して撮影された同じシーン(9)の画像の処理時に、前記各狭帯域スペクトル領域(R、G、B、NIR)の画像信号が、前記事前に求められた差に相応して、それぞれ、変化されない、減衰される、または増幅されるように補償計算が行われる、
    ことを特徴とする、デジタルカメラシステム(2)のカラーバランスを調整する方法。
  12. 請求項10または11記載の方法を実施する、請求項1から8までのいずれか1項記載のデジタルカメラシステム(2)の画像処理ユニット(5)。
JP2013530637A 2010-09-28 2011-07-21 少なくとも2つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム Active JP5788009B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010041569.3 2010-09-28
DE102010041569.3A DE102010041569B4 (de) 2010-09-28 2010-09-28 Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
PCT/EP2011/062505 WO2012041553A1 (de) 2010-09-28 2011-07-21 Digitales multispektrales kamerasystem mit wenigstens zwei unabhängigen digitalen kameras

Publications (2)

Publication Number Publication Date
JP2013545331A true JP2013545331A (ja) 2013-12-19
JP5788009B2 JP5788009B2 (ja) 2015-09-30

Family

ID=44629059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013530637A Active JP5788009B2 (ja) 2010-09-28 2011-07-21 少なくとも2つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム

Country Status (9)

Country Link
US (1) US8786741B2 (ja)
EP (1) EP2622314B1 (ja)
JP (1) JP5788009B2 (ja)
CN (1) CN103201602B (ja)
AU (1) AU2011307151B2 (ja)
CA (1) CA2812860C (ja)
DE (1) DE102010041569B4 (ja)
ES (1) ES2524354T3 (ja)
WO (1) WO2012041553A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5787695B2 (ja) * 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
CN102721469B (zh) * 2012-06-14 2015-05-13 中国科学院自动化研究所 双相机的多光谱成像系统和方法
CN102809429A (zh) * 2012-07-26 2012-12-05 中国科学院自动化研究所 基于双相机的多光谱成像系统和方法
CN103776533A (zh) * 2014-01-26 2014-05-07 上海交通大学 多组分焊接电弧温度浓度测量的多摄影同步光谱采集系统
GB201412061D0 (en) * 2014-07-07 2014-08-20 Vito Nv Method and system for geometric referencing of multi-spectral data
JP6657242B2 (ja) * 2014-10-29 2020-03-04 モレキュラー デバイシーズ, エルエルシー 顕微鏡システムにおいて並行撮像を用いることにより合焦画像を生成するための装置および方法
WO2016068827A1 (ru) * 2014-10-30 2016-05-06 Олексий Мыколайовыч ХОМИЧ Система для получения цифрового изображения в заданном спектральном интервале
US9866764B2 (en) 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
JP2018514802A (ja) * 2015-03-23 2018-06-07 イースト カロライナ ユニバーシティ 単一カメラを使用して遠隔物体を2つ以上のスペクトルチャネルで同時に画像化する為の多波長ビームスプリッタシステム
GB2544851B (en) * 2015-09-22 2019-04-17 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
WO2017058901A1 (en) 2015-09-28 2017-04-06 Ball Aerospace & Technologies Corp. Differential absorption lidar
EP3444579B1 (en) 2016-04-14 2021-11-10 National University Corporation Hokkaido University Spectral camera control device, spectral camera control program, spectral camera control system, aircraft equipped with said system, and spectral image capturing method
US11573124B2 (en) 2016-04-14 2023-02-07 National University Corporation Hokkaido University Computer storage medium, network system for distributing spectral camera control program and spectral image capturing method using spectral camera control device
CN106525002B (zh) * 2016-09-28 2019-03-12 北京空间机电研究所 一种tdiccd像移检测及补偿方法
WO2018110266A1 (ja) * 2016-12-12 2018-06-21 コニカミノルタ株式会社 制御装置および色測定システム
CN110114646A (zh) 2016-12-27 2019-08-09 优鲁格斯股份有限公司 表观运动中的对象的动态超光谱成像
US10921245B2 (en) 2018-06-08 2021-02-16 Ball Aerospace & Technologies Corp. Method and systems for remote emission detection and rate determination
TWI715142B (zh) * 2019-08-07 2021-01-01 瑞昱半導體股份有限公司 影像感測裝置以及自動白平衡方法
ES2819052B2 (es) * 2020-10-07 2022-02-02 Univ Madrid Complutense Camara multi o hiperespectral para mantener el aumento lateral ajustando el enfoque
KR20230088085A (ko) * 2021-12-10 2023-06-19 삼성전자주식회사 광 필터와 이를 포함하는 이미지 센서 및 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6198087A (ja) * 1984-10-19 1986-05-16 Matsushita Electric Ind Co Ltd 自動ホワイトバランスコントロ−ル装置
JPH11234686A (ja) * 1998-02-17 1999-08-27 Kawasaki Steel Corp 固体撮像素子およびこれを用いたホワイトバランス調整装置
US20080029714A1 (en) * 2005-08-25 2008-02-07 Newport Imaging Corporation Digital camera with integrated infrared (IR) response
JP2013524664A (ja) * 2010-04-07 2013-06-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両カメラの画像センサ用のカラーマスク

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5900942A (en) * 1997-09-26 1999-05-04 The United States Of America As Represented By Administrator Of National Aeronautics And Space Administration Multi spectral imaging system
DE10034601B4 (de) * 2000-07-14 2013-05-23 Leica Geosystems Ag Kamerasystem mit mindestens zwei ersten und zweiten Kameras
WO2002063380A2 (en) * 2001-02-06 2002-08-15 Koninklijke Philips Electronics N.V. Preventing green non-uniformity in image sensors
JP4153715B2 (ja) * 2002-04-08 2008-09-24 松下電器産業株式会社 映像信号処理装置及び映像信号処理方法
JP4324404B2 (ja) * 2003-04-22 2009-09-02 富士フイルム株式会社 固体撮像装置及びデジタルカメラ
US7483596B2 (en) * 2004-01-13 2009-01-27 International Business Machines Corporation Performance digital image sensing
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
JP4192867B2 (ja) * 2004-08-30 2008-12-10 ソニー株式会社 物理情報取得装置、複数の単位構成要素が配列されてなる物理量分布検知の半導体装置、並びに半導体装置の製造方法
DE102005045036A1 (de) 2005-09-21 2007-03-22 Carl Zeiss Ag Multispektralkamera und Verfahren zum Erzeugen von Bildinformation mit einer Multispektralkamera
US7468504B2 (en) * 2006-03-09 2008-12-23 Northrop Grumman Corporation Spectral filter for optical sensor
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP5054981B2 (ja) * 2007-01-12 2012-10-24 キヤノン株式会社 撮像装置及び撮像処理方法
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
FR2917559B1 (fr) * 2007-06-12 2009-12-25 Centre Nat Rech Scient Capteur d'images numeriques,procede d'acquisition et de reconstruction d'images,et systeme de mise en oeuvre
US7782364B2 (en) * 2007-08-21 2010-08-24 Aptina Imaging Corporation Multi-array sensor with integrated sub-array for parallax detection and photometer functionality
US8115825B2 (en) * 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
KR101639382B1 (ko) * 2008-08-27 2016-07-13 삼성전자주식회사 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
US8525924B2 (en) * 2008-12-29 2013-09-03 Red.Com, Inc. Modular motion camera
US8035698B2 (en) * 2009-01-21 2011-10-11 Seiko Epson Corporation Joint automatic demosaicking and white balancing
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8917632B2 (en) * 2010-04-07 2014-12-23 Apple Inc. Different rate controller configurations for different cameras of a mobile device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6198087A (ja) * 1984-10-19 1986-05-16 Matsushita Electric Ind Co Ltd 自動ホワイトバランスコントロ−ル装置
JPH11234686A (ja) * 1998-02-17 1999-08-27 Kawasaki Steel Corp 固体撮像素子およびこれを用いたホワイトバランス調整装置
US20080029714A1 (en) * 2005-08-25 2008-02-07 Newport Imaging Corporation Digital camera with integrated infrared (IR) response
JP2013524664A (ja) * 2010-04-07 2013-06-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両カメラの画像センサ用のカラーマスク

Also Published As

Publication number Publication date
AU2011307151A1 (en) 2013-04-04
DE102010041569B4 (de) 2017-04-06
CN103201602B (zh) 2015-04-29
JP5788009B2 (ja) 2015-09-30
CA2812860C (en) 2019-09-24
AU2011307151B2 (en) 2013-10-10
CA2812860A1 (en) 2012-04-05
EP2622314A1 (de) 2013-08-07
CN103201602A (zh) 2013-07-10
ES2524354T3 (es) 2014-12-05
DE102010041569A1 (de) 2012-03-29
US20130242131A1 (en) 2013-09-19
EP2622314B1 (de) 2014-09-03
US8786741B2 (en) 2014-07-22
WO2012041553A1 (de) 2012-04-05

Similar Documents

Publication Publication Date Title
JP5788009B2 (ja) 少なくとも2つの独立したデジタルカメラを備えたデジタルマルチスペクトルカメラシステム
US9413984B2 (en) Luminance source selection in a multi-lens camera
US8363093B2 (en) Stereoscopic imaging using split complementary color filters
JP5853202B2 (ja) 撮像装置
JP6606231B2 (ja) 色画像を生成するカメラおよび方法
US20190058837A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
WO2012039093A1 (ja) 3次元撮像装置
JP5186517B2 (ja) 撮像装置
JP5927570B2 (ja) 3次元撮像装置、光透過部、画像処理装置、およびプログラム
WO2014006514A2 (en) Image processing in a multi-channel camera
US8063352B2 (en) Color separation filter for solid state sensor
CN105324991B (zh) 摄像装置、图像处理装置、摄像方法和图像处理方法
US20110018993A1 (en) Ranging apparatus using split complementary color filters
JP2013057769A (ja) 固体撮像装置、撮像装置、合焦制御方法、及び、プログラム
JP2011199570A (ja) カメラ
JP2013102362A (ja) 光学機器、画像処理方法およびプログラム
EP3343897B1 (en) Camera and method of producing color images
Berkner et al. Measuring color and shape characteristics of objects from light fields
TW202413899A (zh) 多光譜光學感測器、攝影機系統及視差補償方法
JP2002090619A (ja) 焦点検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150302

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150728

R150 Certificate of patent or registration of utility model

Ref document number: 5788009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250