JP2021190967A - 処理装置、撮像装置、撮像システム、及び処理方法 - Google Patents
処理装置、撮像装置、撮像システム、及び処理方法 Download PDFInfo
- Publication number
- JP2021190967A JP2021190967A JP2020097907A JP2020097907A JP2021190967A JP 2021190967 A JP2021190967 A JP 2021190967A JP 2020097907 A JP2020097907 A JP 2020097907A JP 2020097907 A JP2020097907 A JP 2020097907A JP 2021190967 A JP2021190967 A JP 2021190967A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- images
- image pickup
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003384 imaging method Methods 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 46
- 239000002131 composite material Substances 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 35
- 230000004075 alteration Effects 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 27
- 230000003595 spectral effect Effects 0.000 description 20
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000003705 background correction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0208—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0289—Field-of-view determination; Aiming or pointing of a spectrometer; Adjusting alignment; Encoding angular position; Size of measurement area; Position tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
- G01J2003/2806—Array and filter array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Abstract
【課題】良好な合成画像を生成可能な処理装置、撮像装置、撮像システム及び処理方法を提供する。【解決手段】撮像システムにおいて、処理装置100は、複数のレンズ部ML11,ML12,ML21,ML22により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成して合成画像を生成する。処理装置は、撮像面における複数の被写体像の夫々の中心位置に関する情報、該中心位置と合成画像における複数の画像の位置との対応関係に関する情報及び複数の被写体像を補正するための補正関数に基づいて生成された撮像面内の第一座標系を、合成画像内の第二座標系に変換するための変換情報を取得する取得部100aと、変換情報を用いて合成画像を生成する処理部100bと、を有する。【選択図】図1
Description
本発明は、処理装置、撮像装置、撮像システム、及び処理方法に関する。
従来、複数のレンズによって同一の物体(被写体)の複数の像を形成する光学系を用いて互いに異なる複数の画像を一回の撮影で取得すると共に、取得した複数の画像を積層する(重ねる)ことで合成画像を生成する方法が知られている。特許文献1には、対物レンズの後段にフィルタアレイとレンズアレイを配置し、マルチバンド画像を生成するための複数の画像を、共通の撮像素子で同時に取得可能な撮像装置が開示されている。
しかしながら、特許文献1の撮像装置では、レンズアレイ内の複数のレンズ部は互いに異なる波長の光を結像するため、複数の分光像に基づく複数の分光画像には歪みが発生し、結果として複数の分光画像間には位置情報のずれが生じる。位置情報のずれが生じている複数の分光画像を積層することで生成されるマルチバンド画像を用いて分光解析を行っても適切な結果を得ることはできない。
本発明は、良好な合成画像を生成可能な処理装置、撮像装置、撮像システム、及び処理方法を提供することを目的とする。
本発明の一側面としての処理装置は、複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成して合成画像を生成する処理装置であって、撮像面における複数の被写体像の夫々の中心位置に関する情報、該中心位置と合成画像における複数の画像の位置との対応関係に関する情報、及び複数の被写体像を補正するための補正関数に基づいて生成された、撮像面内の第一座標系を合成画像内の第二座標系に変換するための変換情報を取得する取得部と、変換情報を用いて合成画像を生成する処理部とを有することを特徴とする。
また、本発明の他の側面としての処理方法は、複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成して合成画像を生成する処理装置の処理方法であって、撮像面における複数の被写体像の夫々の中心位置に関する情報、該中心位置と合成画像における複数の画像の位置との対応関係に関する情報、及び複数の被写体像を補正するための補正関数に基づいて生成された、撮像面内の第一座標系を合成画像内の第二座標系に変換するための変換情報を取得するステップと、変換情報を用いて合成画像を生成するステップとを有することを特徴とする。
本発明によれば、良好な合成画像を生成可能な処理装置、撮像装置、撮像システム、及び処理方法を提供することができる。
以下、本発明の好ましい実施形態について図面を参照しながら説明する。各図面において、同一の部材については同一の参照番号を付し、重複する説明を省略する。なお、各図は、便宜的に実際とは異なる縮尺で描かれている場合がある。
図1は、本実施例の撮像システムの模式図である。図1(a)は撮像システムの側面図、図1(b)は被写体側から見た撮像システムの正面図を示している。撮像システムは、光学系、撮像センサ(撮像素子)SS、及び処理手段100を有する。光学系は、フィルタアレイFA(図1(b)では省略されている)、及びレンズアレイLAを備える。なお、撮像システムは、光学系を備える光学装置、及び撮像センサSSと処理手段100とを備え、光学装置が装着される撮像装置から構成されてもよい。
処理手段100は、図1(c)に示されるように、取得部100aと処理部100bとを備える。また、処理部100は、取得部100aが取得した情報や、処理部100bによって生成(処理)された情報を保持するための記録部(不図示)を備えていてもよい。処理手段100は、本実施例では撮像システム内に搭載されているが、撮像システムとは別の処理装置として構成されていてもよい。また、処理部100は、撮像装置内に搭載されていてもよいし、光学装置内に搭載されていてもよい。
レンズアレイLAは、2×2配列のレンズ部(結像部)ML11,ML12,ML21,ML22を備える。本実施例では、説明を簡単にするためにレンズアレイLA内のレンズ部の配列を2×2としているが、本発明はこれに限定されない。また、複数のレンズがアレイ状に配置されていてもレンズアレイLAと同様の機能を有する。
各レンズ部は撮像センサSSに焦点が合うように配置されているので、撮像センサSSの撮像面にはレンズ部の数だけ同一の被写体の像が結像(形成)される。複数の被写体像はレンズ部の配置にならってタイル状に結像されるため、以下の説明ではレンズ部により結像される像を「タイル像」と呼ぶ。タイル像は、対応するレンズ部の光軸と撮像センサSSとの交点を中心位置として展開されている。
フィルタアレイFAは、夫々が対応するレンズ部の光軸上に配置され、互いに異なる透過特性を有する複数のバンドパスフィルタを備える。複数のバンドパスフィルタの透過特性を互いに異ならせることで、撮像面上には同一の被写体の、互いに異なる波長の光からなる複数のタイル像が展開される。すなわち、本実施例の撮像システムは、一括で(同時に)複数の分光像を取得可能である。タイル像の数(バンド数)はバンドパスフィルタ及びレンズ部の数に比例するため、必要なバンド数に合わせてバンドパスフィルタ及びレンズ部の数を増減させればよい。
処理部100は、撮像センサSSから取得した複数のタイル像に基づく複数の画像(分光画像)を仮想的に積層する(重ねる、合成する)ことでマルチバンド画像(合成画像)を生成する。通常のカメラで取得されるカラー画像は、異なる色(分光波長)情報を含む3層(R,G,B)の分光画像(2次元輝度マップ)を積層することで生成される。一方、マルチバンド画像は、3層より多い層の分光画像を積層することで生成される。層方向(波長方向)の間隔(分光波長の刻み)が波長分解能、層の数(波長の全幅)が波長レンジに相当する。データ構造にもよるが、分光波長の刻みが等間隔で、分光画像が分光波長の降順又は昇順に配置されているほうが解析時に利用しやすい。なお、重要な分光波長の分光画像をデータの前方に配置して解析を高速化してもよいし、分光波長の刻みが不等間隔であってもよい。
タイル像の中心位置に関する情報(中心位置情報)と分光波長情報(マルチバンド画像における分光画像の層位置)との対応関係に関する情報があれば、波長順に積層されたマルチバンド画像を生成できる。本実施例では、中心位置情報と分光波長情報との対応関係に関する情報が積層情報として保持される。
なお、図1(a)の構成では、被写体距離によってはレンズアレイLAのフォーカスが必要になる場合がある。図1(d)は、撮像システムの変形例を示している。図1(c)では、レンズアレイLAより被写体側にフォーカス用の口径の大きいレンズL1が配置されている。レンズL1の射出瞳がレンズアレイLAの全レンズ部の入射瞳を含んでいれば、光学系の結像関係は保たれる。このような条件が満たされていれば、特に至近物体を撮像する場合にレンズアレイLAを撮像センサSSに対して固定した状態で焦点距離の短いレンズを配置するだけで合焦できる。
ここで、レンズ部の歪曲収差について説明する。複数のレンズ部が同一設計である場合、複数のレンズ部が互いに異なるバンドパスフィルタを透過した光を結像すると、各像に色収差が発生する。色収差のうち特に倍率色収差は、夫々のタイル像で比較した場合に、像高が伸縮したように観測される。すなわち、タイル像で見たときの倍率色収差は歪曲収差のように観測され、画像処理(画像補正)では倍率色収差と歪曲収差を区別できないため、(2次元の)分光撮像における倍率色収差は歪曲収差と合わせて単に歪曲として取り扱われる。撮像センサSSで取得した複数の分光画像を単純に積層するだけでもマルチバンド画像を生成することはできるが、タイル像ごとの歪曲が存在することで、分光画像間には位置情報のずれが生じている。このずれはマルチバンド画像の上で色ずれのように見え、マルチバンド画像の画質の低下の原因となる。そのため、マルチバンド画像を分光解析に使用しても適切な結果を得ることはできない。
以下、歪曲収差を補正する方法について説明する。図2は、本実施例の歪曲補正方法の説明図である。図2(a)は、格子状に格子点(円)が配置された歪曲補正用のチャート(以下、格子チャート)を示している。図2(b)は、本実施例の撮像システムで格子チャートを撮影した場合に撮像面上に結像されるタイル像の模式図である。
図2(b)に示されるように、レンズ部ML11,ML12,ML21,ML22に対応するタイル像は夫々、撮像面上の破線で示される区画T11,T12,T21,T22に結像されている。わかりやすくするため、歪曲量は大き目に表現され、格子チャート像内の格子点を線で結んでいる。また、タイル像の中心位置を記号Xで示している。格子チャートを用いた歪曲補正は、格子チャート像内の格子点の位置が直交に戻る補正関数と係数の組を探すことで実現される。本実施例では、タイル像の歪曲を補正するために、撮像センサSSで取得される全体像からタイル像を分割し、タイル像の中心位置を基準とした座標系で補正関数と係数の組を生成する。補正関数と係数の組はタイル像の数だけ生成される。補正関数と係数によって得られる情報(配列)は、歪曲を含むタイル像内の元の座標がどの座標に補正されるべきかを表している。タイル像の番号(タイル番号)をt、撮像面内のセンサ座標系(第一座標系)におけるタイル像の位置に関する情報をXt、センサ座標系におけるタイル像の中心位置に関する情報をXct、タイル像を補正するための補正関数(係数を含む)をFtとするとき、タイル像内のタイル座標系における補正後のタイル像の位置に関する情報Ytは以下の式(1)で表される。
Yt=Ft(Xt−Xct) (1)
事前のキャリブレーションによってタイル像の中心位置に関する情報Xctと補正関数Ftが得られれば、補正後のタイル像の位置に関する情報Ytを取得できる。以降の撮影では、補正後のタイル像の位置に関する情報Ytを基に、タイル像ごとに歪曲補正を実施し、補正後のタイル像に基づく画像を積層することでマルチバンド画像が生成される。しかしながら、タイル像の数に比例してタイル像の分割及び歪曲補正の演算回数が増加するため、マルチバンド画像の生成速度が低下してしまう。マルチバンド画像を用いて動画を生成する場合に1枚のマルチバンド画像(1フレーム)の生成速度が低下すると、フレームレートが低下してしまう。
事前のキャリブレーションによってタイル像の中心位置に関する情報Xctと補正関数Ftが得られれば、補正後のタイル像の位置に関する情報Ytを取得できる。以降の撮影では、補正後のタイル像の位置に関する情報Ytを基に、タイル像ごとに歪曲補正を実施し、補正後のタイル像に基づく画像を積層することでマルチバンド画像が生成される。しかしながら、タイル像の数に比例してタイル像の分割及び歪曲補正の演算回数が増加するため、マルチバンド画像の生成速度が低下してしまう。マルチバンド画像を用いて動画を生成する場合に1枚のマルチバンド画像(1フレーム)の生成速度が低下すると、フレームレートが低下してしまう。
以下、タイル像の数が増加してもマルチバンド画像の生成速度の低下を抑制する歪曲補正方法について説明する。図3は、マルチバンド画像のデータ構造を示す模式図である。2次元のタイル像に基づく画像を波長順に積層すると、マルチバンド画像は図3(a)に示されるように分光画像を表すためのx軸とy軸に、波長を表すためのλ軸を加えた3次元データ構造で表現できる。以降、このような3次元データ構造を「データキューブ」と呼ぶ。図3(a)は、理想的なデータキューブを示している。図3(a)のデータキューブでは、歪曲などが充分補正され、位置情報がそろっている。マルチバンド画像の各ピクセル値(輝度)は、3次元座標格子点上に離散的に存在する。これはx軸、y軸、λ軸のいずれでも同様であり、分割数(解像度)だけが異なっていると解釈できる。
前述した式(1)は、センサ座標系におけるタイル像の位置に関する情報Xtをタイル座標系における補正後のタイル像の位置に関する情報Ytに変換するための演算式である。式(1)において、補正関数Ftは補正係数に相当し、センサ座標系におけるタイル像の中心位置の位置に関する情報Xctはオフセットに相当する。図3(b)及び図3(c)は夫々、補正前及び補正後のタイル像を示している。補正後のタイル像に基づく画像が波長順に積層されることで、マルチバンド画像が生成される。内部処理としては補正後のタイル像に基づく画像上の全ピクセルを3次元画像上にマッピングしていることに相当する。このマッピングは、式(1)におけるタイル番号tとλ軸上の座標(層位置)との対応情報があれば実現できる。これらを総合すると、補正関数が決定した段階で撮像面上の各ピクセル値の行先(データキューブ上のアドレス)は決定していることになる。このとき、センサ座標系におけるタイル像の位置に関する情報をX、センサ座標系におけるタイル像の中心位置に関する情報をXc、タイル像の歪曲補正(座標変換)を表す行列をF、タイル座標系をマルチバンド画像内のデータキューブ座標系(第二座標系)に変換するための行列をGとするとき、データキューブ座標系における位置に関する情報Zは以下の式(2)で表される。
Z=GF(X−Xc) (2)
式(2)により、タイル番号tを使用せずに、センサ座標系におけるタイル像の位置に関する情報Xを、データキューブ座標系における位置に関する情報Zに変換可能である。また、行列F,Gは線形変換行列であるので、これらをまとめて一つのセンサ座標系をデータキューブ座標系に変換するための行列H(変換情報)とすれば、式(2)を以下の式(3)で表すことができる。
式(2)により、タイル番号tを使用せずに、センサ座標系におけるタイル像の位置に関する情報Xを、データキューブ座標系における位置に関する情報Zに変換可能である。また、行列F,Gは線形変換行列であるので、これらをまとめて一つのセンサ座標系をデータキューブ座標系に変換するための行列H(変換情報)とすれば、式(2)を以下の式(3)で表すことができる。
Z=H(X−Xc) (3)
式(3)を用いることで、一回の演算で取得した画像をタイル像に分割してデータキューブ上に展開することができる。また、センサ座標系に対する演算だけが必要となるため、タイル像の増減に影響されずに計算量が一定である。キャリブレーション時に生成された行列Hと情報Xcを取得する、又は情報X,Zを取得することで、取得された画像を高速にマルチバンド画像に変換可能である。なお、上記演算は線形変換であるので、並列計算器(GPUやFPGA)への組み込みも容易である。
式(3)を用いることで、一回の演算で取得した画像をタイル像に分割してデータキューブ上に展開することができる。また、センサ座標系に対する演算だけが必要となるため、タイル像の増減に影響されずに計算量が一定である。キャリブレーション時に生成された行列Hと情報Xcを取得する、又は情報X,Zを取得することで、取得された画像を高速にマルチバンド画像に変換可能である。なお、上記演算は線形変換であるので、並列計算器(GPUやFPGA)への組み込みも容易である。
図4は、本実施例の取得した画像をマルチバンド画像に変換する方法を示すフローチャートである。
ステップS101では、処理手段100(取得部100a)は、撮像センサSSから格子チャート像を撮像した画像を取得する。本実施例では、図2(a)の格子チャートを使用する。
ステップS102では、処理部100(取得部100a)は、センサ座標系における格子チャートの格子点の位置に関する情報を取得する。格子点の位置に関する情報は、歪曲情報である。本実施例では、格子点に円が配置されているが、歪曲情報が取得できればその種類は問わない。ハフ変換などを用いれば比較的高速に円の座標を取得することができる。
ステップS103では、処理部100(取得部100a)は、センサ座標系におけるタイル像の中心位置に関する情報を取得する。処理部100は、タイル像の中心位置に関する情報を区分ごとの格子点の位置に関する情報を用いて算出してもよいし、別の手段から取得してもよい。また、格子チャートを各タイル像の画角一杯になるように撮影しておき、格子チャートの中心の座標をタイル像の中心位置に関する情報として代用してもよい。本実施例では、9×9の格子点からなる格子チャートを用いているので、中心の格子点の座標を利用する。
ステップS104では、処理部100(取得部100a)は、センサ座標系におけるタイル像の中心位置に関する情報と分光波長情報(マルチバンド画像における分光画像の層位置)との対応関係に関する情報である積層情報を取得する。
ステップS105では、処理部100(取得部100a)は、タイル像を補正するための補正関数(係数を含む)を取得する。
ステップS106では、処理部100(取得部100a)は、センサ座標系におけるタイル像の中心位置に関する情報、積層情報、及び補正関数に基づいて生成された、センサ座標系をデータキューブ座標系に変換するための変換情報である行列Hを取得する。なお、処理部100bが行列Hを生成してもよい。
ステップS107では、処理部100(処理部100b)は、撮像素子SSから取得した被写体像、及び行列Hを用いてマルチバンド画像を生成する。
光学系の歪曲情報は、本実施例では格子チャートを実機で撮影することで取得されるが、シミュレーションや設計値を用いて取得してもよい。また、光学系の製造誤差を充分低減できる場合、タイル像ごとに計算された歪曲マップをタイル像ごとの格子点の位置に関する情報として使用してもよい。また、センサ座標系におけるタイル像の中心位置に関する情報を精度よく取得できているのであれば、レンズ部の光学設計値から生成した情報を、タイル座標系における格子点の位置に関する情報として使用してもよい。
以上説明したように、本実施例の構成によれば、良好な合成画像(マルチバンド画像)を高速に取得することができる。
本実施例の撮像システムの基本構成は、実施例1と同様である。本実施例では、実施例1と差分のみについて説明する。
本実施例の構成では、被写体像周辺の輝度低下に対する補正、所謂、シェーディング補正も同時に実施される。本実施例では、光学系のヴィネッティングや、撮像センサSSの光線入射角に対する感度特性だけでなく、バンドパスフィルタへの入射角に対する透過特性なども総合してシェーディング補正が行われる。
最も簡単なシェーディング補正は、全面で白色の被写体を撮影し、各タイル像の面内輝度分布が一定になるように逆算された輝度補正マップ(補正情報)を生成する方法である。本実施例では、異なる種類のバンドパスフィルタからなるフィルタアレイFAを用いているので、ここでの白色とは、使用波長全域にわたって白色(反射率が使用波長内で一定)であることが望ましい。輝度補正マップはタイル像ごとに分割せず、センサ座標系のまま使用してもよい。式(3)を用いて、ピクセル値を座標変換する際に、輝度補正マップも同時に座標変換することで、シェーディング補正も同時に実施できる。なお、歪曲補正(座標変換)を実施する前に、あらかじめ撮像センサSSから取得した全体画像に対して輝度補正マップを用いてシェーディング補正を実施してもよい。この方法では単純な掛け算が行われるだけであるため、計算負荷は小さく、またタイル像の増減にも影響されない。
以上説明したように、本実施例の構成によれば、実施例1の効果に加え、高速にシェーディング補正を実施することができる。
実施例1ではレンズアレイで発生する色収差を補正する方法について説明したが、本実施例では異なる収差を補正する方法について説明する。
図6は、本実施例の撮像システムの模式図である。撮像システムは、光学系、撮像センサSS、及び処理部100を有する。光学系は、レンズL1、フィルタアレイFA(図5では説明を簡単にするために省略されている)、及びレンズアレイLAを備える。
レンズアレイLAの被写体側にレンズL1のような共通の光学系(以降、「主光学系」と呼ぶ)を配置した場合、レンズアレイLA内のレンズ部の各光軸(図5ではAX1,AX2で記載)は主光学系の光軸(主光軸)AX0に対し相対的にずれている。このため、レンズアレイLA内の多くのレンズ部には、主光軸AX0からの距離と方向に応じて夫々異なる偏心歪曲収差が発生する。タイル像ごとに異なる偏心歪曲を補正しようとすると、タイル像内全ての位置に関する情報において変位を計算しないといけないので計算負荷も大きくなり、更に歪曲後の位置に関する情報を保持しないといけないのでメモリも多く消費する。
本実施例では、幾何光学の観点から、データ量の削減を実現する。レンズ部の主光軸AX0からの垂直方向のずれ量(偏心成分)をベクトルと考え「偏心量ε」とする。偏心量εが0であるとき、つまりレンズ部の光軸が主光軸AX0上にあるとき、レンズ部により結像されるタイル像の歪曲は光軸対称となるので補正関数を画角ωの1変数だけで記述できる。偏心量εが0であるときのレンズ部により結像されるタイル像の歪曲を「基準歪曲」と呼ぶ。
偏心歪曲収差は、偏心量εと画角ωの二乗との積に比例することが知られている。図6は、偏心歪曲収差の説明図である。図6では、変位量が誇張されて描かれている。偏心量εによって決まる量と方位で像が変形(偏心歪曲)する。変形量の大きさは、係数で表現できる。これらを総合すると、偏心位置に配置されたレンズ部により結像されるタイル像のトータルの歪曲は、基準歪曲の成分と偏心歪曲の成分との掛け合わせで近似することができる。タイル番号をi、センサ座標系におけるタイル像内の補正後の位置に関する情報をxi,yi、タイル像内の画角をωi、タイル像に対応するレンズ部の主光軸からの偏心量をεi、基準歪曲成分(画角成分)を含む関数をf1、偏心歪曲成分(ずれ量の成分)を含む関数をf2とするとき、タイル像の補正関数fdiは以下の式(4)で表される。
fdi(xi,yi)=f1(ωi)×f2(εi) (4)
関数f1,f2に適した係数を逆算して割り当てれば、タイル像の偏心歪曲に対する補正関数を生成することができる。このように、基準歪曲の補正量を画角ωの1次元データとしてあらかじめ計算、保持しておき、タイル像の歪曲補正量については簡単な演算で生成可能である。
関数f1,f2に適した係数を逆算して割り当てれば、タイル像の偏心歪曲に対する補正関数を生成することができる。このように、基準歪曲の補正量を画角ωの1次元データとしてあらかじめ計算、保持しておき、タイル像の歪曲補正量については簡単な演算で生成可能である。
以上説明したように、本実施例の構成によれば、少ないデータ量で偏心歪曲を補正することができる。
実施例1で説明したように、レンズアレイLA内のレンズ部で発生する倍率色収差は、画像処理上、歪曲としてまとめて扱うことが可能であるので、歪曲補正と同様の関数で補正可能である。倍率色収差は一般に、基準波長の像高との差分で表現される。これに倣い、任意のタイル像が基準波長で結像する場合の、タイル像の基準波長における歪曲成分を表す関数fciを基準として、分光波長の倍率色収差による歪曲成分を表す関数f3として分解してやればよい。センサ座標系におけるタイル像内の補正後の位置に関する情報をx0i,y0i、基準波長をλ0、タイル像の結像波長をλi、分光波長の倍率色収差による歪曲成分(変形成分)を含む関数をf3とするとき、タイル像の補正関数fdiは以下の式(5)で表される。
fi(xi,yi)=fci(x0i,y0i,λ0)×f3(λi) (5)
倍率色収差による歪曲成分は実施例3の偏心歪曲収差とは独立して取り扱うことができるので、実施例3と組み合わせてタイル像の補正関数fdiは以下の式(6)で表される。
倍率色収差による歪曲成分は実施例3の偏心歪曲収差とは独立して取り扱うことができるので、実施例3と組み合わせてタイル像の補正関数fdiは以下の式(6)で表される。
fi(xi,yi)=f1(ωi)×f2(εi)×f3(λi) (6)
以上説明したように、本実施例の構成によれば、少ないデータ量で倍率色収差を補正すことができる。
以上説明したように、本実施例の構成によれば、少ないデータ量で倍率色収差を補正すことができる。
なお、各実施例ではフィルタアレイFAを設置することで発生する歪曲収差を補正する場合について説明したが、本発明はレンズアレイLAを設置することで発生する歪曲収差を補正する場合にも適用可能である。例えば、レンズアレイLA内のレンズ部が夫々異なる設計で作製されている場合、複数のタイル像で発生する歪曲収差も夫々異なる。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
ML11,ML12,ML21,ML22 レンズ部
SS 撮像センサ(撮像素子)
100 処理部(処理装置)
100a 取得部
100b 処理部
SS 撮像センサ(撮像素子)
100 処理部(処理装置)
100a 取得部
100b 処理部
Claims (10)
- 複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成して合成画像を生成する処理装置であって、
前記撮像面における前記複数の被写体像の夫々の中心位置に関する情報、該中心位置と前記合成画像における前記複数の画像の位置との対応関係に関する情報、及び前記複数の被写体像を補正するための補正関数に基づいて生成された、前記撮像面内の第一座標系を前記合成画像内の第二座標系に変換するための変換情報を取得する取得部と、
前記変換情報を用いて前記合成画像を生成する処理部とを有することを特徴とする処理装置。 - 前記取得部は、前記複数の被写体像の夫々に対応する画像の面内輝度分布を補正するための補正情報を取得し、
前記処理部は、前記補正情報を用いて前記複数の被写体像の夫々に対応する画像を補正することを特徴とする請求項1に記載の処理装置。 - 前記変換情報を保持する記録部を更に有することを特徴とする請求項1又は2に記載の処理装置。
- 請求項1乃至3の何れか一項に記載の処理装置と、
前記複数の画像を生成する撮像素子とを有することを特徴とする撮像装置。 - 請求項4に記載の撮像装置と、
複数のレンズ部を備える光学系とを有することを特徴とする撮像システム。 - 前記光学系は、夫々が前記複数のレンズ部の光軸上に配置され、互いに異なる透過特性を有する複数のフィルタを備えることを特徴とする請求項5の何れか一項に記載の撮像システム。
- 前記補正関数は、前記複数の被写体像の夫々の倍率色収差による変形成分を含む関数、及び基準波長における前記複数の被写体像の夫々の歪曲成分を含む関数を備えることを特徴とする請求項6に記載の撮像システム。
- 前記光学系は、前記複数のレンズ部の被写体側に主光学系を備えることを特徴とする請求項5乃至7の何れか一項に記載の撮像システム。
- 前記補正関数は、前記複数の被写体像の夫々の画角成分を含む関数、及び前記主光学系の光軸と前記複数のレンズ部の夫々の光軸とのずれ量の成分を含む関数を備えることを特徴とする請求項8に記載の撮像システム。
- 複数のレンズ部により撮像素子の撮像面に形成された複数の被写体像に基づく複数の画像を合成して合成画像を生成する処理装置の処理方法であって、
前記撮像面における前記複数の被写体像の夫々の中心位置に関する情報、該中心位置と前記合成画像における前記複数の画像の位置との対応関係に関する情報、及び前記複数の被写体像を補正するための補正関数に基づいて生成された、前記撮像面内の第一座標系を前記合成画像内の第二座標系に変換するための変換情報を取得するステップと、
前記変換情報を用いて前記合成画像を生成するステップとを有することを特徴とする処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020097907A JP2021190967A (ja) | 2020-06-04 | 2020-06-04 | 処理装置、撮像装置、撮像システム、及び処理方法 |
US17/320,407 US11441946B2 (en) | 2020-06-04 | 2021-05-14 | Processing apparatus, image pickup apparatus, image pickup system, and processing method |
US17/872,248 US11592333B2 (en) | 2020-06-04 | 2022-07-25 | Processing apparatus, image pickup apparatus, image pickup system, and processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020097907A JP2021190967A (ja) | 2020-06-04 | 2020-06-04 | 処理装置、撮像装置、撮像システム、及び処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021190967A true JP2021190967A (ja) | 2021-12-13 |
JP2021190967A5 JP2021190967A5 (ja) | 2023-06-07 |
Family
ID=78817258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020097907A Pending JP2021190967A (ja) | 2020-06-04 | 2020-06-04 | 処理装置、撮像装置、撮像システム、及び処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11441946B2 (ja) |
JP (1) | JP2021190967A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11232378A (ja) * | 1997-12-09 | 1999-08-27 | Canon Inc | デジタルカメラ、そのデジタルカメラを用いた文書処理システム、コンピュータ可読の記憶媒体、及び、プログラムコード送出装置 |
US7760962B2 (en) * | 2005-03-30 | 2010-07-20 | Casio Computer Co., Ltd. | Image capture apparatus which synthesizes a plurality of images obtained by shooting a subject from different directions, to produce an image in which the influence of glare from a light is reduced |
EP2858342A4 (en) | 2012-05-28 | 2016-04-06 | Nikon Corp | IMAGING DEVICE |
EP3577062A1 (en) | 2017-02-03 | 2019-12-11 | Gamaya SA | Wide-angle computational imaging spectroscopy method and apparatus |
JP7378920B2 (ja) | 2018-10-16 | 2023-11-14 | キヤノン株式会社 | 光学装置及びそれを備える撮像システム |
JP7328025B2 (ja) | 2019-06-27 | 2023-08-16 | キヤノン株式会社 | 光学装置、およびそれを備える撮像システム |
-
2020
- 2020-06-04 JP JP2020097907A patent/JP2021190967A/ja active Pending
-
2021
- 2021-05-14 US US17/320,407 patent/US11441946B2/en active Active
-
2022
- 2022-07-25 US US17/872,248 patent/US11592333B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11441946B2 (en) | 2022-09-13 |
US20220357203A1 (en) | 2022-11-10 |
US20210381892A1 (en) | 2021-12-09 |
US11592333B2 (en) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5681954B2 (ja) | 撮像装置及び撮像システム | |
JP5358039B1 (ja) | 撮像装置 | |
CN110447220B (zh) | 校准装置、校准方法、光学装置、摄影装置以及投影装置 | |
JP6064290B2 (ja) | 撮像装置、分光システム、および分光方法 | |
JP6580673B2 (ja) | 画像を記録するための装置および方法 | |
JP6091176B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
JP4377404B2 (ja) | 画像向上機能を備えたカメラ | |
WO2018029950A1 (ja) | 較正装置、較正方法、光学装置、撮影装置、および投影装置 | |
US20090002574A1 (en) | Method and a system for optical design and an imaging device using an optical element with optical aberrations | |
JP2014007730A (ja) | 情報処理方法および装置、プログラム。 | |
CN104349055B (zh) | 校正数字光学成像系统中像差的方法及数字光学成像系统 | |
JP6484706B2 (ja) | 画像を記録するための装置および方法 | |
JP6053347B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP4796666B2 (ja) | 撮像装置およびそれを用いた測距装置 | |
CN109076133B (zh) | 图像读取装置 | |
US20120162485A1 (en) | Image processing apapratus, image processing method, and program, and image processing system | |
JP2012256118A (ja) | 画像復元装置およびその方法 | |
JP6642998B2 (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
JP2018195985A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP5425135B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2021190967A (ja) | 処理装置、撮像装置、撮像システム、及び処理方法 | |
JP5224976B2 (ja) | 画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体 | |
JP2020030569A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP2019121972A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2021190967A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240430 |