JP2011040806A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2011040806A JP2011040806A JP2009183440A JP2009183440A JP2011040806A JP 2011040806 A JP2011040806 A JP 2011040806A JP 2009183440 A JP2009183440 A JP 2009183440A JP 2009183440 A JP2009183440 A JP 2009183440A JP 2011040806 A JP2011040806 A JP 2011040806A
- Authority
- JP
- Japan
- Prior art keywords
- phase
- pixel
- correction amount
- image
- chromatic aberration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing apparatus.
撮像装置に使用される光学レンズによって生じる収差の一つとして、色収差が知られている。色収差は、撮像した画像において赤色(R)、緑色(G)、青色(B)それぞれの像面がシフト或いは変形する現象として発生する。その結果、主に画像のエッジに、被写体とは異なる色が現れることとなる。代表的な色収差である軸上色収差、倍率色収差のうち、特に、倍率色収差については光学的な手法により除去することが大変難しいとされている。そこで従来、画像信号の処理によって倍率色収差を低減させるための技術が提案されている(例えば、特許文献1参照)。かかる技術では簡易な回路構成によって倍率色収差を低減させる補正が可能である。しかし、面内で補正量を一定とするため、非球面レンズを用いる場合やレンズ枚数が多くなる場合に生じる複雑な色収差については、十分な補正が困難となるという問題を生じる。 Chromatic aberration is known as one of aberrations caused by an optical lens used in an imaging apparatus. Chromatic aberration occurs as a phenomenon in which the image planes of red (R), green (G), and blue (B) are shifted or deformed in a captured image. As a result, a color different from the subject appears mainly at the edge of the image. Among axial chromatic aberration and lateral chromatic aberration, which are typical chromatic aberrations, it is particularly difficult to remove lateral chromatic aberration by an optical method. Therefore, conventionally, a technique for reducing lateral chromatic aberration by processing an image signal has been proposed (see, for example, Patent Document 1). With such a technique, it is possible to perform correction to reduce lateral chromatic aberration with a simple circuit configuration. However, since the correction amount is constant within the surface, there arises a problem that it is difficult to sufficiently correct complex chromatic aberration that occurs when an aspheric lens is used or when the number of lenses increases.
本発明は、簡易な回路構成によって色収差の低減を可能とする画像処理装置を提供することを目的とする。 An object of the present invention is to provide an image processing apparatus capable of reducing chromatic aberration with a simple circuit configuration.
本願発明の一態様によれば、画像データとして入力された元画像を構成する入力画素と、前記画像データの処理により前記入力画素を基に合成される出力画素と、の位置関係を示す位相情報を生成する位相生成手段と、前記位相生成手段で生成された前記位相情報に応じた畳み込み演算により、前記入力画素の画素値から前記出力画素の画素値を生成する畳み込み演算手段と、を有し、前記位相生成手段は、前記元画像のスケーリング処理のためのスケーリング用位相情報に、前記元画像の色収差を補正するための位相補正量を加算することにより、前記位相情報を生成することを特徴とする画像処理装置が提供される。 According to one aspect of the present invention, phase information indicating a positional relationship between an input pixel constituting an original image input as image data and an output pixel synthesized based on the input pixel by processing the image data And a convolution operation unit that generates a pixel value of the output pixel from a pixel value of the input pixel by a convolution operation according to the phase information generated by the phase generation unit. The phase generation unit generates the phase information by adding a phase correction amount for correcting chromatic aberration of the original image to the phase information for scaling for the scaling process of the original image. An image processing apparatus is provided.
本発明によれば、簡易な回路構成によって色収差を低減させることができるという効果を奏する。 According to the present invention, it is possible to reduce chromatic aberration with a simple circuit configuration.
以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。 Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
(実施の形態)
図1は、実施の形態に係る画像処理装置4を備える撮像装置の構成を示すブロック図である。撮像レンズ1は、被写体からの光を取り込むための光学系を構成する。IRカットフィルタ2は、撮像レンズ1により取り込まれた光から赤外光を除去する。
(Embodiment)
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus including an
イメージセンサ部3は、撮像レンズ1により取り込まれた光を信号電荷に変換することにより、被写体像を撮像する。イメージセンサ部3は、赤色(R)、緑色(G)、青色(B)の画素値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、撮像条件に応じたゲインにて順次増幅させる。さらに、イメージセンサ部3は、得られた画像信号をアナログ方式からデジタル方式へ変換させる。画像処理装置4は、イメージセンサ部3から入力されたデジタル画像信号に対して、種々の処理を施す。記録部5は、画像処理装置4から入力された画像データをメモリや記録媒体に記録する。
The
図2は、画像処理装置4のうち本実施の形態の特徴的な部分の構成を示すブロック図である。本実施の形態は、スケーリング処理のためのスケーリング用位相情報に、色収差補正のための位相補正量を加算することを特徴とする。位相生成部(位相生成手段)10は、入力画素と出力画素との位置関係を示す位相情報を、水平方向と垂直方向とについて生成する。
FIG. 2 is a block diagram showing a configuration of a characteristic part of the present embodiment in the
入力画素は、画像データとしてイメージセンサ部3から入力された元画像を構成する画素とする。出力画素は、画像データの処理により入力画素を基に合成された画素とする。位相生成部10により生成される位相情報には、入力画素と出力画素との位相差と、入力画素の位相とが含まれている。水平用係数生成部11は、水平方向についての位相差を用いて、水平方向についての畳み込み係数を生成する。垂直用係数生成部12は、垂直方向についての位相差を用いて、垂直方向についての畳み込み係数を生成する。
The input pixel is a pixel constituting the original image input from the
水平畳み込み演算部13は、水平方向についての畳み込み係数と、入力画素の位相とに応じた、水平方向についての畳み込み演算により、入力画素の画素値から出力画素の画素値を生成する。垂直畳み込み演算部14は、垂直方向についての畳み込み係数と、入力画素の位相とに応じた、垂直方向についての畳み込み演算により、入力画素の画素値から出力画素の画素値を生成する。水平畳み込み演算部13及び垂直畳み込み演算部14は、畳み込み演算手段として機能する。ラインメモリ15は、ベイヤー配列に対応する順序で伝達されてくる画像信号のデータを一時的に貯える。出力画素の画素値は、垂直方向について生成された画素値に同期させて、ラインメモリ15から水平方向について生成された画素値と合わせて出力される。
The
ここで、図2に示す構成の動作を説明する前に、色収差の補正とスケーリング処理とについて説明する。図3は、倍率色収差によって現れる像のシフト量(偏差)について説明する図である。Gについての像を基準とした場合における像のシフト量eは、光軸中心からの距離rの関数で表される。本来、シフト量eは距離rとともに増加するが、収差の最大偏差を小さく抑えようとする光学設計により、図中(a)に示すように、関数e(r)は距離rの高次関数となる。ここで、e_R(r)は、Gを基準としたRの偏差、e_B(r)は、Gを基準としたBの偏差とする。e_R(r)は、収差仕様の上限に収まるような高次関数となる。e_B(r)は、収差仕様の下限に収まるような高次関数となる。 Here, before describing the operation of the configuration shown in FIG. 2, correction of chromatic aberration and scaling processing will be described. FIG. 3 is a diagram for explaining the shift amount (deviation) of an image that appears due to lateral chromatic aberration. The image shift amount e when the image for G is used as a reference is expressed as a function of the distance r from the center of the optical axis. Originally, the shift amount e increases with the distance r, but due to the optical design that attempts to keep the maximum aberration deviation small, the function e (r) is a higher-order function of the distance r as shown in FIG. Become. Here, e_R (r) is a deviation of R based on G, and e_B (r) is a deviation of B based on G. e_R (r) is a high-order function that falls within the upper limit of the aberration specification. e_B (r) is a high-order function that falls within the lower limit of the aberration specification.
本実施の形態では、図中(b)に示すように、光学系のレンズ設計値に対して、e_R(r)、e_B(r)の近似関数f_R(r)、f_B(r)を予め求めることとする。近似関数f_R(r)、f_B(r)は、何らかの方法を用いて偏差を実測し、実測値に対して求めることとしても良い。近似関数f_R(r)、f_B(r)により、画面中の位置に対応したシフト量を求め、画素を移動させることで、色収差を低減させる補正が可能となる。 In this embodiment, as shown in (b) in the figure, approximate functions f_R (r) and f_B (r) of e_R (r) and e_B (r) are obtained in advance for the lens design values of the optical system. I will do it. The approximate functions f_R (r) and f_B (r) may be obtained by actually measuring the deviation using some method and obtaining the measured values. By using the approximate functions f_R (r) and f_B (r), the shift amount corresponding to the position in the screen is obtained, and the pixel is moved, so that correction for reducing chromatic aberration is possible.
図4は、スケーリング処理について説明する概念図である。デジタルズーム等におけるスケーリング(リサイズ)用のアルゴリズムとしては、一般に、バイリニア、バイキュービック等のアルゴリズムが多く使われている。かかるアルゴリズムでは、入力画素と出力画素との位相差を計算し、位相差に応じた畳み込み係数を用いた畳み込み演算によりスケーリングを実行する。ここでは、水平方向について、6つの入力画素から1つの出力画素を合成する畳み込み演算を例として説明する。 FIG. 4 is a conceptual diagram for explaining the scaling process. As an algorithm for scaling (resizing) in digital zoom or the like, generally, algorithms such as bilinear and bicubic are often used. In such an algorithm, a phase difference between an input pixel and an output pixel is calculated, and scaling is performed by a convolution operation using a convolution coefficient corresponding to the phase difference. Here, a convolution operation for synthesizing one output pixel from six input pixels will be described as an example in the horizontal direction.
畳み込み演算のための関数は、出力画素の位相中心と、入力画素の位相中心との間の距離に応じた減衰関数とする。各入力画素に対する畳み込み係数は、入力画素と出力画素との位相差△p(x)から計算される。入力画素の画素値に畳み込み係数を乗算し、足し合わせた値が、出力画素の画素値となる。このような計算は、垂直方向についても実行される。また、画素数を減少させるダウンスケーリングの場合に限られず、画素数を増大させるアップスケーリングの場合の処理も同様とする。 The function for the convolution operation is an attenuation function corresponding to the distance between the phase center of the output pixel and the phase center of the input pixel. The convolution coefficient for each input pixel is calculated from the phase difference Δp (x) between the input pixel and the output pixel. A pixel value of the output pixel is obtained by multiplying the pixel value of the input pixel by the convolution coefficient and adding the result. Such a calculation is also performed in the vertical direction. Further, the processing is not limited to the case of downscaling that decreases the number of pixels, and the same applies to the processing in the case of upscaling that increases the number of pixels.
図2に示した位相生成部10では、色収差補正の設定、スケーリングの設定がなされる。色収差補正の設定としては、例えば近似関数f_R(r)、f_B(r)が入力される。スケーリングの設定としては、例えば指示された縮尺などが入力される。
In the
図5は、位相生成部10の詳細な構成を示すブロック図である。水平位相算出部21は、元画像における入力画素の位置情報、例えば入力画素座標が入力されると、水平方向について、入力画素と出力画素との位相差(水平位相差)、入力画素の位相(水平入力画素位相)を算出する。水平位相算出部21は、スケーリング設定に応じて、水平位相差、水平入力画素位相を算出する。垂直位相算出部22は、垂直方向について、入力画素と出力画素との位相差(垂直位相差)、入力画素の位相(垂直入力画素位相)を算出する。垂直位相算出部22は、スケーリング設定に応じて、垂直位相差、垂直入力画素位相を算出する。スケーリング用位相情報には、水平位相差、水平入力画素位相、垂直位相差、及び垂直入力画素位相が含まれている。
FIG. 5 is a block diagram illustrating a detailed configuration of the
色収差補正量算出部23は、元画像における入力画素の位置情報、たとえば入力画素座標が入力されると、水平方向及び垂直方向について、位相補正量を算出する。色収差補正量算出部23は、色収差補正のために設定された近似関数f_R(r)、f_B(r)を用いた演算により、位相補正量を算出する。位相生成部10は、水平位相算出部21で算出された水平位相差、水平入力画素位相、垂直位相算出部22で算出された垂直位相差、垂直入力画素位相のそれぞれに、色収差補正量算出部23で算出された位相補正量を加算して出力する。このようにして、位相生成部10は、元画像のスケーリング処理のためのスケーリング用位相情報に、元画像の色収差を補正するための位相補正量を加算することにより、位相情報を生成する。
The chromatic aberration correction
図6は、画像処理装置4におけるスケーリング処理と色収差補正とについて説明する概念図である。水平方向における座標をx、垂直方向における座標をy、として、r=(x,y)と定義することとする。近似関数f_R(r)の水平成分を△q(x)とすると、スケーリング処理及び色収差補正のための画素のシフト量は、△p(x)+△q(x)となる。なお、△q(x)は、以下の式(1)により表される。
△q(x)=f{(x2+y2)1/2}×cos{arctan(y/x)} (1)
FIG. 6 is a conceptual diagram illustrating scaling processing and chromatic aberration correction in the
Δq (x) = f {(x 2 + y 2 ) 1/2 } × cos {arctan (y / x)} (1)
垂直方向についても、近似関数f_R(r)の垂直成分を△q(y)とすると、スケーリング処理及び色収差補正のための画素のシフト量は、△p(y)+△q(y)となる。 Also in the vertical direction, if the vertical component of the approximate function f_R (r) is Δq (y), the pixel shift amount for scaling processing and chromatic aberration correction is Δp (y) + Δq (y). .
カメラ用の信号処理回路やソフトウェアには、デジタルズーム等に使われる画像スケーリング用のフィルタが内蔵される場合が多い。本実施の形態に係る画像処理装置4は、スケーリング回路に色収差補正の機能を持たせることにより、簡易な回路構成によって色収差を低減させることが可能となる。また、スケーリング回路に色収差補正の機能を持たせることで、撮像装置の光学系は、色収差補正のためのスペックを緩和させることが可能となる。これにより、光学系の製造性を高め、歩留まりの向上を図れる。色収差のスペックを緩和させることで、近似関数f_R(r)、f_B(r)は、直線としても良い。
In many cases, a signal processing circuit or software for a camera incorporates a filter for image scaling used for digital zoom or the like. The
色収差補正量算出部23は、近似関数f_R(r)、f_B(r)を用いた演算により位相補正量を算出する場合に限られない。色収差補正量算出部23は、元画像における所定の位置ごとの位相補正量の参考値をテーブルとして保持し、入力画素の位置に応じて参考値を補間処理することにより、位相補正量を算出することとしても良い。
The chromatic aberration correction
例えば、元画像の水平ラインから5点を抽出し、各点について算出された位相補正量を参考値とする。かかる参考値は、例えば、水平ラインについてのブランキング期間などにおける演算により、予め求められる。参考値を予め求めた位置同士の間の入力画素に対しては、例えば参考値の直線補間により位相補正量を算出することとする。これにより、各入力画素に対する式(1)のような演算が不要となり、位相生成部10における演算の簡略化が可能となる。
For example, five points are extracted from the horizontal line of the original image, and the phase correction amount calculated for each point is used as a reference value. Such a reference value is obtained in advance, for example, by calculation in a blanking period for a horizontal line. For input pixels between positions for which reference values are obtained in advance, the phase correction amount is calculated by linear interpolation of the reference values, for example. This eliminates the need for the calculation of equation (1) for each input pixel and simplifies the calculation in the
さらに、例えば、図7に示すように、元画像を水平方向及び垂直方向についてそれぞれ5分割し、各分割領域の中心位置について予め算出された位相補正量を参考値としてテーブルに保持することとしても良い。図示する各分割領域に示した矢印の方角は、色収差の補正のために画素をシフトさせる方角を表し、矢印の長さは、シフト量を表すものとする。参考値を予め求めた位置同士の間の入力画素に対しては、例えばバイリニア等の補間により位相補正量を算出できる。 Further, for example, as shown in FIG. 7, the original image may be divided into five parts in the horizontal direction and the vertical direction, and the phase correction amount calculated in advance for the center position of each divided region may be held in a table as a reference value. good. The direction of the arrow shown in each divided region shown in the figure represents the direction in which the pixel is shifted for correcting chromatic aberration, and the length of the arrow represents the shift amount. For input pixels between positions for which reference values are obtained in advance, the phase correction amount can be calculated by interpolation such as bilinear.
4 画像処理装置、10 位相生成部、13 水平畳み込み演算部、14 垂直畳み込み演算部、23 色収差補正量算出部。 4 image processing device, 10 phase generation unit, 13 horizontal convolution operation unit, 14 vertical convolution operation unit, 23 chromatic aberration correction amount calculation unit.
Claims (5)
前記位相生成手段で生成された前記位相情報に応じた畳み込み演算により、前記入力画素の画素値から前記出力画素の画素値を生成する畳み込み演算手段と、を有し、
前記位相生成手段は、前記元画像のスケーリング処理のためのスケーリング用位相情報に、前記元画像の色収差を補正するための位相補正量を加算することにより、前記位相情報を生成することを特徴とする画像処理装置。 Phase generation means for generating phase information indicating a positional relationship between an input pixel constituting an original image input as image data and an output pixel synthesized based on the input pixel by processing of the image data;
A convolution calculator that generates a pixel value of the output pixel from a pixel value of the input pixel by a convolution calculation according to the phase information generated by the phase generator;
The phase generation means generates the phase information by adding a phase correction amount for correcting chromatic aberration of the original image to scaling phase information for scaling processing of the original image. An image processing apparatus.
前記色収差補正量算出手段は、前記入力画素の位置に応じて前記参考値を補間処理することにより、前記位相補正量を算出することを特徴とする請求項3に記載の画像処理装置。 A reference value of the phase correction amount for each predetermined position in the original image is held as a table,
The image processing apparatus according to claim 3, wherein the chromatic aberration correction amount calculating unit calculates the phase correction amount by interpolating the reference value according to a position of the input pixel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009183440A JP2011040806A (en) | 2009-08-06 | 2009-08-06 | Image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009183440A JP2011040806A (en) | 2009-08-06 | 2009-08-06 | Image processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011040806A true JP2011040806A (en) | 2011-02-24 |
Family
ID=43768169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009183440A Pending JP2011040806A (en) | 2009-08-06 | 2009-08-06 | Image processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011040806A (en) |
-
2009
- 2009-08-06 JP JP2009183440A patent/JP2011040806A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4942216B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and program | |
JP4885179B2 (en) | Image distortion correction method and image processing apparatus employing the correction method | |
JP5438579B2 (en) | Image processing apparatus and control method thereof | |
JP5906493B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
JP5274623B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and image processing method | |
JP5385740B2 (en) | Imaging apparatus and image data correction method | |
JP5535053B2 (en) | Image processing apparatus and image processing method | |
JP5984493B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and program | |
JP2006270918A (en) | Image correction method, photographing apparatus, image correction apparatus, program and recording medium | |
JP2011049733A (en) | Camera calibration device and video distortion correction device | |
JP2007184720A (en) | Image photographing apparatus | |
JP2015115733A (en) | Image processing method, image processor, imaging device, and image processing program | |
JP5535099B2 (en) | Camera module and image recording method | |
JP2010086139A (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
JP5055588B2 (en) | Image processing apparatus and image processing method | |
JP2010177919A (en) | Image recording apparatus and manufacturing apparatus of the same | |
JP5340021B2 (en) | Image processing apparatus, image processing method, and program | |
JP5344647B2 (en) | Image processing method, image processing apparatus, and image processing program | |
JP2011040806A (en) | Image processor | |
JP6105960B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2017028583A (en) | Image processor, imaging apparatus, image processing method, image processing program, and storage medium | |
JP4571038B2 (en) | Image correction device | |
JP2020187611A (en) | Image processing method, image processor, image processing system, imaging apparatus, and program | |
JP2019029834A (en) | Imaging apparatus | |
JP2017123532A (en) | Image processing device, imaging device, image processing method, image processing program and recording medium |