JP2009225119A - Image imaging apparatus - Google Patents
Image imaging apparatus Download PDFInfo
- Publication number
- JP2009225119A JP2009225119A JP2008067535A JP2008067535A JP2009225119A JP 2009225119 A JP2009225119 A JP 2009225119A JP 2008067535 A JP2008067535 A JP 2008067535A JP 2008067535 A JP2008067535 A JP 2008067535A JP 2009225119 A JP2009225119 A JP 2009225119A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- temperature
- correction
- distortion aberration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像撮像装置に係り、特に広画角の光学系を有する車載カメラ装置などに好適な画像撮像装置に関する。 The present invention relates to an image pickup apparatus, and more particularly to an image pickup apparatus suitable for an in-vehicle camera apparatus having an optical system with a wide angle of view.
近年、自動車のバックモニタ装置などの用途に向け、小型で広画角のレンズ系を有する画像撮像装置の需要が増大している。このような画像撮像装置には、複数枚のレンズで構成される超広角レンズが用いられている(例えば、特許文献1参照)。
ところで、上記のような超広角レンズを有する画像撮像装置を自動車のバックモニタ装置に適用した場合には、温度変化の大きい環境下で使用されることが多く、温度が変化すると、レンズの屈折率変化や熱膨張によるレンズパワーの変化により、光学像が膨張、収縮して歪曲収差等が生じて、出力画像の画像品質が低下する。このため、温度が変化しても歪曲収差等が生じないようにするには、高価なレンズ材料を用いたり、温度補償用のレンズを入れる必要があり、レンズのコスト高を招いていた。 By the way, when an image pickup device having an ultra-wide-angle lens as described above is applied to a back monitor device of an automobile, it is often used in an environment with a large temperature change, and when the temperature changes, the refractive index of the lens An optical image expands and contracts due to a change in lens power due to a change or thermal expansion, causing distortion and the like, and the image quality of the output image is degraded. For this reason, in order to prevent distortion from occurring even when the temperature changes, it is necessary to use an expensive lens material or to insert a lens for temperature compensation, resulting in an increase in the cost of the lens.
そこで、本発明は、高価なレンズを用いることなく温度変化による歪曲収差を良好に補正して高品質な画像を得ることができる画像撮像装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image pickup apparatus capable of obtaining a high quality image by satisfactorily correcting distortion due to a temperature change without using an expensive lens.
前記目的を達成するために請求項1に記載の発明は、光学系と、前記光学系を通して入射される被写体像を複数の画素を有する受光面に受光して画像データに変換する撮像素子と、前記画像データを取り込み、少なくとも前記光学系で発生する歪曲収差を補正する歪曲収差補正処理を行う歪曲収差補正処理手段とを備えた画像撮像装置において、温度を測定する温度測定手段を有し、前記温度測定手段により測定された温度データに基づいて、前記歪曲収差補正処理手段による歪曲収差補正処理の補正量を変化させることを特徴としている。
In order to achieve the above object, an invention according to
請求項2に記載の発明は、前記歪曲収差補正処理手段での歪曲収差補正用の座標変換式が温度による関数であることを特徴としている。
The invention according to
請求項3に記載の発明は、前記歪曲収差補正処理手段は、異なる温度範囲の温度データに応じて複数設けられており前記温度測定手段により測定された温度データに基づいて、選択した歪曲収差補正処理手段による歪曲収差補正処理の補正量を変化させることを特徴としている。 According to a third aspect of the present invention, a plurality of the distortion aberration correction processing means are provided according to temperature data in different temperature ranges, and the selected distortion aberration correction is performed based on the temperature data measured by the temperature measurement means. The correction amount of the distortion aberration correction processing by the processing means is changed.
請求項4に記載の発明は、前記温度測定手段は、前記光学系近傍に設置されていることを特徴としている。
The invention according to
本発明によれば、温度測定手段で測定する温度データに基づいて、歪曲収差補正手段での歪曲収差補正の補正量を変化させて歪曲収差を補正することにより、温度が変化した場合においても高品質な画像を得ることができる。また、温度変化によって屈折率変化や熱膨張が変化するプラスチックレンズを光学系に用いても、温度変化に応じた歪曲収差を補正することができるので、光学系に安価なプラスチックレンズを使用することができる。 According to the present invention, based on the temperature data measured by the temperature measuring means, the distortion aberration is corrected by changing the correction amount of the distortion aberration correcting means by the distortion aberration correcting means, so that even when the temperature changes A quality image can be obtained. Even if a plastic lens whose refractive index changes or thermal expansion changes with temperature changes can be used to correct distortion aberration according to temperature changes, use inexpensive plastic lenses for the optical system. Can do.
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態1〉
Hereinafter, the present invention will be described based on the illustrated embodiments.
<
図1は、本発明の実施形態1に係る画像撮像装置の構成を示す図である。本画像撮像装置は、例えば、自動車に搭載されるバックモニタ装置等の車載カメラ装置などに好適に用いることができる。
FIG. 1 is a diagram illustrating a configuration of an image capturing apparatus according to
図1に示すように、本実施形態に係る画像撮像装置1は、広角カメラユニット2と、広角カメラユニット2から出力される画像信号を処理する画像処理部3と、画像処理部3から出力される映像信号を入力し広角カメラユニット3で撮像された画像を表示する液晶モニタ(LCD)等のモニタ4を備えている。
As shown in FIG. 1, the
広角カメラユニット2は、広画角の広角レンズ系5と、広角レンズ系5を通して入射される被写体像が受光面に結像される固体撮像素子としてのCCDイメージセンサ(以下、「CCD」という」6と、広角カメラユニット2近傍の温度を測定する温度センサ7とを備えている。
The wide-
広角レンズ系5は、例えば、図2に示すように、約190度の画角を有する超広角レンズであり、第1レンズ10、第2レンズ11、第3レンズ12、第4レンズ13の4枚のレンズを物体側(図の左側)から順に配し、第3レンズ12と第4レンズ13との間に絞り14が設けられている。また、CCD6の受光面上には、平行平面状のカバーガラス15が設けられている。第1レンズ10、第2レンズ11は負のパワー(負の焦点距離)を有し、第3レンズ12、第4レンズ13は正のパワー(正の焦点距離)を有する。なお、第2レンズ11の像面側(図の右側)の凹面は非球面状に形成されている。
The wide-
図3(a),(b)は、図2に示した広角レンズ系5のレンズデータを示す図である。なお、図3(a)において、面1、2は、第1レンズ10の物体側(図の左側)の面、第1レンズ10の像面側(図の右側)であり、面3、4は、第2レンズ11の物体側の面、第2レンズ11の像面側であり、面5、6は、第3レンズ12の物体側の面、第3レンズ12の像面側であり、面8、9は、第4レンズ13の物体側の面、第4レンズ13の像面側であり、面10は、カバーガラス15の物体側の面、カバーガラス15の像面側である。また、図3(b)は、第2レンズ11の結像側の面における非球面データである。
3A and 3B are diagrams showing lens data of the wide-
図4は、前記広角レンズ系5に対して、波長532nmの光を入射させてCCD6の受光面に結像させたときの、温度変化に伴う歪曲収差による結像位置(像高)の変化(ずれ)の測定結果を示した図である。なお、図4の画角(度)は、広角レンズ系5の光軸に対する画角である。このように、温度変化により結像位置(像高)が変化(ずれ)する。このため、例えば、CCD6の画素ピッチが0.006mmであると、温度が20℃から100℃に変化した場合には、最大2画素分程度の画素ずれが生じる。
FIG. 4 shows a change in image formation position (image height) due to distortion due to a temperature change when light having a wavelength of 532 nm is incident on the wide-
CCD6は、受光面の各画素上にベイヤー配列の色フィルタ(本実施形態では、RGB原色フィルタ)が配置されており、ベイヤー配列のRGB画像信号が、後述する画像処理部3の制御部27(図5参照)から与えられる制御信号(クロック、水平/垂直同期信号等)に基づいて、プログレッシブに順次出力される。
The
図5は、本画像撮像装置の画像処理部の構成を示すブロック図である。画像処理部3は、AGC回路20、A/D回路21、ベイヤー補完部22、倍率色収差補正部23、MTF補正部24、歪曲収差補正部25、ガンマ補正部26、及び制御部27を備えている。
FIG. 5 is a block diagram illustrating a configuration of an image processing unit of the image capturing apparatus. The
AGC回路20は、CCD6から出力されたアナログ信号の画像信号を所定の値に増幅する。一般にAGC回路20のゲイン量は画面の要求明度とノイズとのトレードオフにより適した値に決定される。
The
A/D変換器21は、AGC回路20で増幅されたアナログ信号としてのベイヤー配列のRGB画像信号をデジタル信号(画像データ)に変換してベイヤー補完部22に送出する。画像データは、例えばRGBそれぞれ8ビットで構成される。
The A /
ベイヤー補完部22は、デジタル信号に変換されたベイヤー配列のRGB画像データを入力して、RGB各色ごとに全座標位置の画像データを線形補完によって生成し、倍率色収差補正部23に送出する。
The Bayer
図6に、ベイヤー配列のカラーフィルタを示す。ここで、図6(a)におけるG0は、下記の式(1)により求める。
G0=(G2+G4+G6+G8)/4 …式(1)
FIG. 6 shows a color filter with a Bayer array. Here, G 0 in FIG. 6A is obtained by the following equation (1).
G 0 = (G 2 + G 4 + G 6 + G 8 ) / 4 (1)
また、図6(b)におけるR2,R4,R6,R8,R0は、下記の式(2)〜式(6)により求める。
R2=(R1+R3)/2 …式(2)
R4=(R3+R5)/2 …式(3)
R6=(R5+R7)/2 …式(4)
R8=(R1+R7)/2 …式(5)
R0=(R1+R3+R5+R7)/4 …式(6)
なお、図6(c)におけるB2,B4,B6,B8,B0は、上記R2,R4,R6,R8,R0の場合と同じであるので省略する。
In addition, R 2 , R 4 , R 6 , R 8 , and R 0 in FIG. 6B are obtained by the following formulas (2) to (6).
R 2 = (R 1 + R 3 ) / 2 Formula (2)
R 4 = (R 3 + R 5 ) / 2 Formula (3)
R 6 = (R 5 + R 7 ) / 2 Formula (4)
R 8 = (R 1 + R 7 ) / 2 Formula (5)
R 0 = (R 1 + R 3 + R 5 + R 7 ) / 4 (6)
Note that B 2 , B 4 , B 6 , B 8 , and B 0 in FIG. 6C are the same as those for R 2 , R 4 , R 6 , R 8 , and R 0 , and are omitted.
なお、本実施形態ではベイヤー配列の色フィルタを持つCCD(撮像素子)について述べたが、もちろん他のCMYG配列や、RGB+Ir(赤外)配列など他の色フィルタ配列を持つ撮像素子でも同様に適用することができる。特に、このように4色(CMYG)の色フィルタ配列を持つ撮像素子では、RGBのように3色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、4ポートのRAMが必要であり、効果は高い。 In the present embodiment, a CCD (imaging device) having a Bayer color filter has been described. Of course, the same applies to image sensors having other color filter arrangements such as other CMYG arrangements and RGB + Ir (infrared) arrangements. can do. In particular, an image sensor having such a four-color (CMYG) color filter array requires a memory with a lower latency or a four-port RAM in correcting chromatic aberration of magnification compared to the three-color type such as RGB. And the effect is high.
倍率色収差補正部23は、ベイヤー補完されたRGB画像データを入力して、所定の多項式等によりRGB各色成分独立に座標変換(倍率色収差座標変換)を施し、倍率色収差補正されたRGB画像データを出力する(詳細については後述する)。倍率色収差は各色成分毎に異なるが、大きさは小さい。このため、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ(SRAM等)を使用することができる。
されている。
The lateral chromatic
Has been.
MTF補正部24は、倍率色収差補正されたRGB画像データを入力して、FIRフィルタを用いてMTF補正処理を施し、MTF補正されたRGB画像データを出力する。
The
図7に、MTF補正部24の概略構成を示す。MTF補正部24は、変換部30、FIRフィルタ31、逆変換部32を備えている。変換部30は、下記の式(7)〜式(9)によりRGB画像データをYCbCr画素データに変換する。
Y=0.299R+0.587G+0.114B …式(7)
Cr=0.500R−0.419G−0.081B …式(8)
Cb=−0.169R−0.332G+0.500B …式(9)
FIG. 7 shows a schematic configuration of the
Y = 0.299R + 0.587G + 0.114B (7)
Cr = 0.500R−0.419G−0.081B (8)
Cb = −0.169R−0.332G + 0.500B (9)
FIRフィルタ(5×5フィルタ)31では、YCbCrのうち輝度信号Yのみを入力して所定のMTF補正を行う。図8に、FIRフィルタの一例を示す。 The FIR filter (5 × 5 filter) 31 performs only a predetermined MTF correction by inputting only the luminance signal Y of YCbCr. FIG. 8 shows an example of the FIR filter.
Y信号のみのフィルタリング(MTF補正)を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。なお、Y信号についてフィルタリングを行っているため、MTF補正は色倍率補正の後に行われる必要がある。しかしながら、後述の歪曲収差補正後にMTF補正を行う場合には、歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がMTF補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施形態のようにMTF補正は倍率色収差補正の後段で、かつ歪曲収差補正の前段に設置することが望ましい。 By performing filtering of only the Y signal (MTF correction), it is possible to obtain a high-quality image with suppressed color noise amplification. Since the Y signal is filtered, the MTF correction needs to be performed after the color magnification correction. However, when MTF correction is performed after distortion aberration correction, which will be described later, in the distortion aberration correction, a conversion distance for coordinate conversion is large and an operation error tends to occur. In order to avoid the error being amplified by the MTF correction and adversely affecting the image quality, it is desirable that the MTF correction be installed after the magnification chromatic aberration correction and before the distortion aberration correction as in this embodiment.
逆変換部32は、CbCr信号及びMTF補正されたY信号を入力して、下記の式(10)〜式(12)により逆変換しRGB画像データを出力する。
R=Y+1.402Cr …式(10)
G=Y−0.714Cr−0.344Cb …式(11)
B=Y+1.772Cb …式(12)
The
R = Y + 1.402Cr Formula (10)
G = Y−0.714Cr−0.344Cb (11)
B = Y + 1.772 Cb (12)
歪曲収差補正部25は、MTF補正部24からのMTF補正されたRGB画像データあるいは倍率色収差補正部23からのMTF補正無しのRGB画像データを入力して、所定の多項式等によりRGB各色成分共通に座標変換(歪曲収差座標変換)を施し、歪曲収差補正されたRGB画像データを出力する(詳細については後述する)。歪曲収差は倍色率色収差に比べて大きいが、RGB各色成分で一様である。このため、歪曲収差補正での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが(最大1画面分)、1ポートでよいため高レイテンシのメモリ(DRAM等)を使用することが可能である。
The distortion
ガンマ補正部26は、歪曲収差補正部25から出力されるRGB画像データを入力して、RGBそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたRGB画像データは画像表示出力制御部(不図示)により所定の動画フォーマットの画像に生成され、モニタ4に出力する。
The
制御部27は、画像処理部3の前記した各部、広角カメラユニット2のCCD5等に必要な制御信号を出力して、それぞれの動作を制御する。また、制御部27は、温度センサ6で測定された温度情報を入力し、入力した温度情報に基づいて、歪曲収差補正部25での歪曲収差補正処理の補正量を変化させるように制御する(詳細は後述する)。
The
次に、前記した倍率色収差補正部23による倍率色収差補正動作と、歪曲収差補正部25による歪曲収差補正動作について詳細に説明する。
Next, the magnification chromatic aberration correction operation by the magnification chromatic
先ず、倍率色収差補正と歪曲収差補正の原理について説明する。図9に模式的に示すように、倍率色収差と歪曲収差を有するレンズ系を用いて撮像した場合、ベイヤー配列の色フィルタを持つCCD(撮像素子)の受光面に対応した画面右上の1で示す位置(ピクセル)の画素データは、この本来の位置から歪曲収差によりずれる。更に、倍率色収差によってRGB各色成分でそれぞれ異なるずれをし、CCD(撮像素子)で実際に撮像される位置は、RGBそれぞれ、2(R)、3(G)、4(B)の位置となる。 First, the principle of correcting the lateral chromatic aberration and correcting the distortion will be described. As schematically shown in FIG. 9, when imaging is performed using a lens system having chromatic aberration of magnification and distortion, 1 is shown at the upper right of the screen corresponding to the light receiving surface of a CCD (imaging device) having a Bayer array color filter. The pixel data at the position (pixel) deviates from this original position due to distortion. Further, the RGB color components are shifted differently due to the chromatic aberration of magnification, and the positions actually captured by the CCD (imaging device) are the positions 2 (R), 3 (G), and 4 (B) for RGB, respectively. .
倍率色収差と歪曲収差の補正は、この2(R)、3(G)、4(B)の位置(ピクセル)のRGB各色成分画素データを本来の位置である1の位置(ピクセル)にコピーする、即ち、座標変換することで可能である。ここで、前記2(R)、3(G)、4(B)の位置が座標変換元の座標、前記1の位置が座標変換先の座標となる。
To correct lateral chromatic aberration and distortion, the RGB color component pixel data at positions (pixels) 2 (R), 3 (G), and 4 (B) are copied to the original position 1 (pixel). That is, it is possible by converting the coordinates. Here, the positions 2 (R), 3 (G), and 4 (B) are the coordinates of the coordinate conversion source, and the
図10(a),(b)は、温度補正しない場合での倍率色収差と歪曲収差とを独立に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、先ず、RGB各色成分の画素データをそれぞれ座標変換して(本実施形態では、RBの色成分を座標変換して、G成分の位置にコピーする)、倍率色収差を補正し、その後、この倍率色収差補正されたRGB画素データをまとめて座標変換することで、歪曲収差を補正する。 FIGS. 10A and 10B schematically show a method of independently correcting the lateral chromatic aberration and distortion without temperature correction. The lateral chromatic aberration is different for each color component, but the shift is small. On the other hand, the distortion aberration is large, but the same for each color component. Focusing on this, first, the pixel data of each RGB color component is coordinate-converted (in this embodiment, the RB color component is coordinate-converted and copied to the position of the G component), and the lateral chromatic aberration is corrected, Thereafter, the RGB pixel data corrected for the chromatic aberration of magnification is collectively coordinate-converted to correct distortion.
図10(a)は、温度補正しない場合での倍率色収差補正を模式的に示したもので、2(R),4(B)の位置(ピクセル)のRB色成分の画素データについて座標変換を行って、G成分の3(G)の位置(ピクセル)にコピーする。この操作により、倍率色収差が補正される。図10(b)は、温度補正しない場合での歪曲収差補正を模式的に示したもので、倍率色収差補正済みの3の位置(ピクセル)のRGB各色成分の画素データに対してまとめて座標変換を行い、本来の位置である1の位置(ピクセル)にコピーする。この操作により歪曲収差が補正される。 FIG. 10 (a) schematically shows magnification chromatic aberration correction without temperature correction, and coordinate conversion is performed on pixel data of RB color components at positions (pixels) 2 (R) and 4 (B). Go and copy to 3 (G) position (pixel) of G component. By this operation, the lateral chromatic aberration is corrected. FIG. 10B schematically shows distortion correction without temperature correction, and coordinate conversion is collectively performed on pixel data of RGB color components at 3 positions (pixels) after correction of chromatic aberration of magnification. To copy to the original position 1 (pixel). This operation corrects distortion.
倍率色収差補正部23は、下記の式(14)、式(15)に示す座標変換式により、座標変換先である座標データ(x,y)を入力として、RGBそれぞれについて倍率色収差補正の変換座標を演算することにより、RGBそれぞれの座標変換元である座標データ(X,Y)を算出する。
The chromatic aberration correction unit for
X=x+ax …式(14)
Y=y+by …式(15)
ここで、X、Yは座標変換元の座標、x,yは画面中心を原点とした場合の座標変換先の座標(本来の座標)、a,bは座標変換係数である。
X = x + ax (14)
Y = y + by Formula (15)
Here, X and Y are the coordinates of the coordinate conversion source, x and y are the coordinates of the coordinate conversion destination (original coordinates) when the center of the screen is the origin, and a and b are the coordinate conversion coefficients.
また、歪曲収差補正部25は、下記の式(16)、式(17)に示す座標変換式により、座標変換先である座標データ(x,y)を入力として、RGBそれぞれについて歪曲収差補正の変換座標を演算することにより、RGBそれぞれの座標変換元である座標データ(X,Y)を算出する。
In addition, the distortion
X=x+(a+by2)x …式(16)
Y=y …式(17)
ここで、X、Yは座標変換元の座標、x,yは画面中心を原点とした場合の座標変換先の座標(本来の座標)、a,bは座標変換係数である。
X = x + (a + by 2 ) x Equation (16)
Y = y Formula (17)
Here, X and Y are the coordinates of the coordinate conversion source, x and y are the coordinates of the coordinate conversion destination (original coordinates) when the center of the screen is the origin, and a and b are the coordinate conversion coefficients.
前記した倍率色収差補正と歪曲収差補正は、温度補正していない場合であったが、前記したように温度変化に伴って前記広角レンズ系4のレンズの屈折率変化や熱膨張による面形状変化により、倍率色収差と歪曲収差によって結像位置に変化(ずれ)が生じる。以下、温度変化が生じた場合での倍率色収差補正と歪曲収差補正について説明する。
The magnification chromatic aberration correction and the distortion aberration correction described above were cases where the temperature was not corrected, but as described above, due to a change in the refractive index of the lens of the wide-
ところで、前記したように温度変化(温度上昇)に伴って前記広角レンズ系5のレンズの屈折率変化や熱膨張による面形状変化により、倍率色収差と歪曲収差によって結像位置に変化(ずれ)が生じる。
By the way, as described above, due to the temperature change (temperature increase), the refractive index change of the lens of the wide-
この場合においても、例えば、図11(a)に示すように、先ず、前記同様にして倍率色収差補正を行う。図11(a)は、温度変化(温度上昇)が生じた場合での倍率色収差補正を模式的に示したもので、2(R),4(B)の位置(ピクセル)のRB色成分の画素データについて座標変換を行い、G成分の3(G)の位置(ピクセル)にコピーする。この操作により、倍率色収差が補正される。 Also in this case, for example, as shown in FIG. 11A, first, the lateral chromatic aberration correction is performed in the same manner as described above. FIG. 11A schematically shows the correction of the chromatic aberration of magnification when a temperature change (temperature rise) occurs. The RB color components at the positions (pixels) 2 (R) and 4 (B) are shown in FIG. Coordinate conversion is performed on the pixel data, and the data is copied to the 3 (G) position (pixel) of the G component. By this operation, the lateral chromatic aberration is corrected.
そして、制御部27は、温度センサ6で測定した温度情報を入力し、入力した温度情報(温度変化情報)に基づいて、歪曲収差補正部25での歪曲収差補正の補正量を変化させる。これにより、図11(b)に示すように、倍率色収差補正済みの3の位置(ピクセル)のRGB各色成分の画素データに対してまとめて座標変換を行い、本来の位置である1の位置(ピクセル)にコピーする。この操作により歪曲収差が補正される。
And the
前記のような温度補正を行う場合においては、歪曲収差補正部25は、下記の式(18)、式(19)に示す座標変換式により、座標変換先である座標データ(x,y)を入力として、RGBそれぞれについて歪曲収差補正の変換座標を演算することにより、RGBそれぞれの座標変換元である座標データ(X,Y)を算出する。
In the case of performing the temperature correction as described above, the
X=x+(a(t)+b(t)y2)x …式(18)
Y=y …式(19)
ここで、X、Yは座標変換元の座標、x,yは画面中心を原点とした場合の座標変換先の座標(本来の座標)、a(t),b(t)は温度tの関数になっている座標変換係数である。
X = x + (a (t) + b (t) y 2 ) x Equation (18)
Y = y Formula (19)
Here, X and Y are the coordinates of the coordinate conversion source, x and y are the coordinates of the coordinate conversion destination when the center of the screen is the origin (original coordinates), and a (t) and b (t) are functions of the temperature t. This is the coordinate conversion coefficient.
このように、本実施形態の画像撮像装置1によれば、温度センサ7で測定する温度情報(温度変化情報)に基づいて、歪曲収差補正部25での歪曲収差補正の補正量を変化させて歪曲収差を補正することにより、温度が変化した場合においても高品質な画像を得ることができる。また、温度変化によって屈折率変化や熱膨張が変化するプラスチックレンズを広角レンズ系4に用いても、温度変化に応じた歪曲収差を補正することができるので、広角レンズ系4に安価なプラスチックレンズを使用することができる。
As described above, according to the
〈実施形態2〉
図12は、本発明の実施形態2に係る画像撮像装置の画像処理部の構成を示すブロック図である。なお、図5に示した実施形態1の画像処理部と同一部分には同一符号を付し、重複する説明は省略する。
<
FIG. 12 is a block diagram illustrating a configuration of an image processing unit of the image capturing apparatus according to the second embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same part as the image processing part of
図12に示すように、本実施形態の画像処理部3aは、第1歪曲収差補正部25aと第2歪曲収差補正部25bを有し、制御部27内の歪曲収差補正切替え部27aからの信号が入力されるスイッチ回路33のスイッチ切り替えにより、第1歪曲収差補正部25aもしくは第2歪曲収差補正部25bのいずれかを選択する構成である。
As shown in FIG. 12, the
第1歪曲収差補正部25aと第2歪曲収差補正部25bは、それぞれ異なる温度変化範囲に対して適切な歪曲収差補正が行えるように構成されている。
The first
第1歪曲収差補正部25aは、下記の式(20)、式(21)に示す座標変換式、第2歪曲収差補正部25bは、下記の式(22)、式(23)に示す座標変換式により、座標変換先である座標データ(x,y)を入力として、RGBそれぞれについて歪曲収差補正の変換座標を演算することにより、RGBそれぞれの座標変換元である座標データ(X,Y)を算出する。
The first
X=x+(c(t)+d(t)y2)x …式(20)
Y=y …式(21)
X=x+(e(t)+f(t)y2)x …式(22)
Y=y …式(23)
ここで、X、Yは座標変換元の座標、x,yは画面中心を原点とした場合の座標変換先の座標(本来の座標)、c(t),d(t)、e(t),f(t)は温度tの関数になっている座標変換係数である。
X = x + (c (t) + d (t) y 2 ) x Equation (20)
Y = y Formula (21)
X = x + (e (t) + f (t) y 2 ) x Equation (22)
Y = y Formula (23)
Here, X and Y are the coordinates of the coordinate transformation source, x and y are the coordinates of the coordinate transformation destination when the center of the screen is the origin (original coordinates), c (t), d (t), e (t) , F (t) is a coordinate conversion coefficient which is a function of the temperature t.
本実施形態では、制御部27は、温度センサ7で測定した温度情報を入力し、入力した温度情報(温度変化情報)に基づいて、例えば、温度変化が0℃〜50℃の範囲内あれば、歪曲収差補正切替え部27aから第1歪曲収差補正部25aを選択するような信号をスイッチ回路34に出力し、スイッチ回路34を第1歪曲収差補正部25a側に切り替える。これにより、温度センサ6で測定する温度情報(0℃〜50℃の範囲の温度変化情報)に基づいて、歪曲収差補正部25での歪曲収差補正の補正量を変化させて歪曲収差を補正する。
In the present embodiment, the
また、制御部27は、温度センサ7で測定した温度情報を入力し、入力した温度情報(温度変化情報)に基づいて、例えば、温度変化が50℃〜100℃の範囲内あれば、歪曲収差補正切替え部27aから第2歪曲収差補正部25bを選択するような信号をスイッチ回路34に出力し、スイッチ回路34を第2歪曲収差補正部25b側に切替える。これにより、温度センサ7で測定する温度情報(50℃〜100℃の範囲の温度変化情報)に基づいて、歪曲収差補正部25での歪曲収差補正の補正量を変化させて歪曲収差を補正する。
Further, the
このように、本実施形態によれば、温度センサ7で測定された温度変化範囲に応じて第1歪曲収差補正部25aと第2歪曲収差補正部25bのいずれか一方側に切り替えることにより、歪曲収差補正の補正量をより適切に変化させて歪曲収差を補正することができる。
Thus, according to the present embodiment, the distortion is caused by switching to one of the first
1 画像撮像装置
2 広角カメラユニット
3、3a 画像処理部
4 モニタ
5 広角レンズ系(光学系)
6 CCD(撮像素子)
7 温度センサ(温度測定手段)
20 AGC回路
21 A/D変換器
22 ベイヤー補完部
23 倍率色収差補正部
24 MTF補正部
25、25a,25b 歪曲収差補正部(歪曲収差補正手段)
26 ガンマ補正部
34 スイッチ回路
DESCRIPTION OF
6 CCD (imaging device)
7 Temperature sensor (temperature measurement means)
DESCRIPTION OF
26 Gamma Correction Unit 34 Switch Circuit
Claims (4)
温度を測定する温度測定手段を有し、
前記温度測定手段により測定された温度データに基づいて、前記歪曲収差補正処理手段による歪曲収差補正処理の補正量を変化させる、
ことを特徴とする画像撮像装置。 An optical system, an image sensor that receives a subject image incident through the optical system on a light-receiving surface having a plurality of pixels and converts the image data into image data, and takes in the image data, and at least distortion aberration generated in the optical system. In an image pickup apparatus comprising distortion aberration correction processing means for performing distortion correction processing to correct,
Having a temperature measuring means for measuring the temperature;
Based on the temperature data measured by the temperature measuring means, the correction amount of the distortion correction processing by the distortion correction processing means is changed,
An image pickup apparatus characterized by that.
ことを特徴とする請求項1に記載の画像撮像装置。 The coordinate transformation formula for distortion correction in the distortion correction processing means is a function of temperature,
The image capturing apparatus according to claim 1, wherein
ことを特徴とする請求項1又は請求項2に記載の画像撮像装置。 A plurality of the distortion aberration correction processing means are provided according to the temperature data of different temperature ranges, and the distortion aberration correction processing correction by the selected distortion aberration correction processing means is performed based on the temperature data measured by the temperature measurement means. Change the amount,
The image capturing apparatus according to claim 1, wherein the image capturing apparatus is an image capturing apparatus.
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像撮像装置。 The temperature measuring means is installed in the vicinity of the optical system,
The image capturing apparatus according to claim 1, wherein the image capturing apparatus is a first image capturing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067535A JP2009225119A (en) | 2008-03-17 | 2008-03-17 | Image imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067535A JP2009225119A (en) | 2008-03-17 | 2008-03-17 | Image imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009225119A true JP2009225119A (en) | 2009-10-01 |
Family
ID=41241449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008067535A Pending JP2009225119A (en) | 2008-03-17 | 2008-03-17 | Image imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009225119A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015007A (en) * | 2008-07-04 | 2010-01-21 | Fujinon Corp | Imaging lens and imaging apparatus using the same |
JP2010054646A (en) * | 2008-08-27 | 2010-03-11 | Kyocera Corp | Wide-angle lens and imaging module |
JP2013251798A (en) * | 2012-06-01 | 2013-12-12 | Canon Inc | Image projection apparatus |
JP2016103169A (en) * | 2014-11-28 | 2016-06-02 | 株式会社リコー | Image processing apparatus, image processing method, and electronic apparatus |
JP2017027001A (en) * | 2015-07-27 | 2017-02-02 | 京セラ株式会社 | Imaging lens and imaging apparatus |
JP2017203972A (en) * | 2016-10-19 | 2017-11-16 | 株式会社タムロン | Observation optical system, observation imaging apparatus, observation imaging system, image-formation lens system and adjustment method of observation optical system |
US10506206B2 (en) | 2015-05-06 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
WO2020193959A1 (en) * | 2019-03-22 | 2020-10-01 | E.V. Offshore Limited | Downhole imaging |
WO2024042995A1 (en) * | 2022-08-24 | 2024-02-29 | ソニーセミコンダクタソリューションズ株式会社 | Light detection device and light detection system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0896118A (en) * | 1994-09-28 | 1996-04-12 | Nissan Motor Co Ltd | Circumferential state display device for vehicle |
JP2002135765A (en) * | 1998-07-31 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Camera calibration instruction device and camera calibration device |
-
2008
- 2008-03-17 JP JP2008067535A patent/JP2009225119A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0896118A (en) * | 1994-09-28 | 1996-04-12 | Nissan Motor Co Ltd | Circumferential state display device for vehicle |
JP2002135765A (en) * | 1998-07-31 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Camera calibration instruction device and camera calibration device |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015007A (en) * | 2008-07-04 | 2010-01-21 | Fujinon Corp | Imaging lens and imaging apparatus using the same |
JP2010054646A (en) * | 2008-08-27 | 2010-03-11 | Kyocera Corp | Wide-angle lens and imaging module |
JP2013251798A (en) * | 2012-06-01 | 2013-12-12 | Canon Inc | Image projection apparatus |
JP2016103169A (en) * | 2014-11-28 | 2016-06-02 | 株式会社リコー | Image processing apparatus, image processing method, and electronic apparatus |
US10506206B2 (en) | 2015-05-06 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
US11323669B2 (en) | 2015-05-06 | 2022-05-03 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
US11889233B2 (en) | 2015-05-06 | 2024-01-30 | Dolby Laboratories Licensing Corporation | Thermal compensation in image projection |
JP2017027001A (en) * | 2015-07-27 | 2017-02-02 | 京セラ株式会社 | Imaging lens and imaging apparatus |
JP2017203972A (en) * | 2016-10-19 | 2017-11-16 | 株式会社タムロン | Observation optical system, observation imaging apparatus, observation imaging system, image-formation lens system and adjustment method of observation optical system |
WO2020193959A1 (en) * | 2019-03-22 | 2020-10-01 | E.V. Offshore Limited | Downhole imaging |
US20220156898A1 (en) * | 2019-03-22 | 2022-05-19 | E.V. Offshore Limited | Downhole imaging |
GB2582561B (en) * | 2019-03-22 | 2023-05-24 | Ev Offshore Ltd | Downhole imaging |
WO2024042995A1 (en) * | 2022-08-24 | 2024-02-29 | ソニーセミコンダクタソリューションズ株式会社 | Light detection device and light detection system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009225119A (en) | Image imaging apparatus | |
US8035068B2 (en) | Imaging device and imaging apparatus | |
JP4911628B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
JP5008578B2 (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
JP5740465B2 (en) | Imaging apparatus and defective pixel correction method | |
JP4966894B2 (en) | Imaging device | |
JP5078148B2 (en) | Image processing apparatus and image pickup apparatus | |
JP5080305B2 (en) | Image processing method and apparatus, and image pickup apparatus | |
JP5010533B2 (en) | Imaging device | |
JP5008139B2 (en) | Imaging device | |
JP5062846B2 (en) | Imaging device | |
JP2012156775A (en) | Camera module | |
JP2012204856A (en) | Image processing method and camera module | |
JP5187602B2 (en) | Image distortion correction method and image processing apparatus | |
JP2009157733A (en) | Image distortion correction method, image distortion correction device, and image forming apparatus | |
JP2009055442A (en) | Image correcting device | |
JP5278421B2 (en) | Imaging device | |
JP5333163B2 (en) | Imaging device | |
JP2009159404A (en) | Image processing method, image processing device, and image formation device | |
JP2011015155A (en) | Imaging apparatus, and lens unit | |
JP2007195114A (en) | Imaging apparatus | |
JP2011176584A (en) | Imaging apparatus | |
JP2007208383A (en) | Chromatic aberration correcting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120403 |