JP2019204984A - Image processing device, imaging device, image processing method, and image processing program - Google Patents
Image processing device, imaging device, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2019204984A JP2019204984A JP2018096718A JP2018096718A JP2019204984A JP 2019204984 A JP2019204984 A JP 2019204984A JP 2018096718 A JP2018096718 A JP 2018096718A JP 2018096718 A JP2018096718 A JP 2018096718A JP 2019204984 A JP2019204984 A JP 2019204984A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- color misregistration
- component
- rotationally symmetric
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 67
- 238000003384 imaging method Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 230000004075 alteration Effects 0.000 claims abstract description 85
- 238000012937 correction Methods 0.000 claims abstract description 63
- 230000003287 optical effect Effects 0.000 claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 38
- 238000004519 manufacturing process Methods 0.000 abstract description 32
- 238000000034 method Methods 0.000 description 31
- 239000013598 vector Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000003708 edge detection Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、撮像光学系の倍率色収差を撮像画像において補正可能な画像処理装置、撮像装置、画像処理方法および画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and an image processing program that can correct lateral chromatic aberration of an imaging optical system in a captured image.
デジタルカメラ等の撮像装置において被写体像を形成するために用いられる光学系の諸収差は、撮像画像の画質を低下させる。諸収差のうち倍率色収差は、撮像画像に色ずれを発生させる。以下の説明において、倍率色収差とは、色ごとの結像位置のずれ（色ずれ）であり、結像性能に起因するぼけとは異なり、画素ごとの被写体像の平行移動として表される。特許文献１には、撮像画像において画像中心からの動径方向（像高方向）に沿って検出される倍率色収差を画像処理によって補正する方法が開示されている。 Various aberrations of the optical system used to form a subject image in an imaging apparatus such as a digital camera degrade the image quality of the captured image. Among various aberrations, lateral chromatic aberration causes color shift in the captured image. In the following description, chromatic aberration of magnification is a shift in image formation position (color shift) for each color, and is expressed as a parallel movement of a subject image for each pixel, unlike blur caused by image formation performance. Patent Document 1 discloses a method of correcting magnification chromatic aberration detected along a radial direction (image height direction) from the center of an image in a captured image by image processing.
近年、撮像装置に用いられる撮像素子の画素数が増加し、単位画素サイズが小さくなっており、従来では実質的に問題とならなかった程度の倍率色収差でも画質に影響を与えてしまう。例えば、光学系の製造誤差に起因する倍率色収差の変化が補正されないことにより、画質が低下する。特許文献２には、画像中心に対して回転対称な成分に対する補正量と画像全体で色ずれの量と方向が均一なシフトずれ成分に対する補正量とを算出して製造誤差起因の倍率色収差を補正する方法が開示されている。 In recent years, the number of pixels of an image pickup element used in an image pickup apparatus has increased, and the unit pixel size has been reduced. Even a chromatic aberration of magnification that has not been a substantial problem in the past affects the image quality. For example, image quality deteriorates due to uncorrected changes in lateral chromatic aberration due to optical system manufacturing errors. In Patent Document 2, a correction amount for a rotationally symmetric component with respect to the center of an image and a correction amount for a shift shift component having a uniform direction and color shift in the entire image are calculated to correct lateral chromatic aberration due to a manufacturing error. A method is disclosed.
光学系の製造誤差としては、光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向における平行な位置ずれおよびレンズ素子の形状や屈折率に起因する焦点距離ずれ等が挙げられる。レンズの偏心や倒れによって主に色ごとの被写体像のシフトずれが生じ、光軸方向に平行な位置ずれやレンズの焦点距離ずれによって主に色ごとの被写体像の倍率ずれが生じる。しかしながら、特許文献１にて開示された方法では、像高方向における変倍を行うことで補正を行うため、レンズの偏心や倒れにより生じる色ごとの被写体像の横ずれを補正することができない。 Optical system manufacturing errors include decentering and tilting of the lens (lens element and lens group) with respect to the optical axis of the optical system, parallel displacement in the optical axis direction of the lens, and the focal length due to the shape and refractive index of the lens element. Misalignment etc. are mentioned. The shift of the subject image for each color mainly occurs due to the eccentricity or tilt of the lens, and the magnification shift of the subject image for each color mainly occurs due to the positional shift parallel to the optical axis direction or the focal length shift of the lens. However, in the method disclosed in Patent Document 1, correction is performed by performing zooming in the image height direction, and thus it is not possible to correct lateral shift of the subject image for each color caused by decentering or tilting of the lens.
特許文献２にて開示された方法では、画面全体で均一に発生する倍率色収差の成分を考慮しているため、色ごとの被写体像のシフトずれを補正することができる。しかしながら、特許文献２にて開示された方法では、シフトずれ成分の検出を設計値や製造誤差に基づく倍率色収差が含まれる撮像画像から行っている。また、倍率色収差によるシフトずれ成分への影響を考慮していないため、シフトずれ成分のみが生じるサジタル方向エッジが撮像画像内に含まれていないと検出することができない。 In the method disclosed in Patent Document 2, a component of lateral chromatic aberration that occurs uniformly over the entire screen is taken into account, so that shift shift of the subject image for each color can be corrected. However, in the method disclosed in Patent Document 2, the shift deviation component is detected from a captured image including lateral chromatic aberration based on a design value or a manufacturing error. In addition, since the influence on the shift deviation component due to the chromatic aberration of magnification is not considered, it cannot be detected unless the sagittal edge where only the shift deviation component occurs is included in the captured image.
したがって、これらの方法では、製造誤差に対応した高精度な倍率色収差の補正が困難である場合があった。 Therefore, in these methods, it is sometimes difficult to correct lateral chromatic aberration with high accuracy corresponding to manufacturing errors.
本発明は、撮像光学系の製造誤差に対応した高精度な倍率色収差の補正情報算出を、ロバストに実行可能な画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供することを目的とする。 It is an object of the present invention to provide an image processing apparatus, an imaging apparatus, an image processing method, and an image processing program that can robustly execute highly accurate correction of chromatic aberration of magnification corresponding to a manufacturing error of an imaging optical system. To do.
本発明の一側面としての画像処理装置は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理装置であって、入力画像の複数の位置ごとの色ずれ量を検出する検出部と、検出部により検出された複数の位置ごとの色ずれ量の位置関係に基づいて、検出部により検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択する選択部と、一部の色ずれ量に基づいて補正情報を算出する算出部と、を有することを特徴とする。 An image processing apparatus according to one aspect of the present invention performs image processing for calculating correction information of lateral chromatic aberration composed of a rotationally symmetric component and a non-rotary symmetric component with respect to an input image generated by imaging using an optical system. An image processing apparatus that detects a color shift amount at each of a plurality of positions in an input image and a detection unit based on a positional relationship between the color shift amounts at the plurality of positions detected by the detection unit. A selection unit that selects at least a part of the color misregistration amount for each of the plurality of positions, and a calculation unit that calculates correction information based on the part of the color misregistration amount. To do.
本発明の他の側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理方法であって、入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、を有することを特徴とする。 According to another aspect of the present invention, there is provided an image processing method for calculating correction information of lateral chromatic aberration composed of a rotationally symmetric component and a non-rotationally symmetric component for an input image generated by imaging using an optical system. An image processing method to be performed, wherein a detection step for detecting a color misregistration amount for each of a plurality of positions from an input image and a positional relationship between the color misregistration amounts for each of a plurality of positions detected in the detection step A step of selecting at least a part of the amount of color misregistration for each of a plurality of detected positions, and a step of calculating correction information based on the amount of at least part of the color misregistration. To do.
本発明の他の側面としての画像処理プログラムは、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出する画像処理を行う画像処理プログラムであって、入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、をコンピュータに実行させる。 An image processing program according to another aspect of the present invention performs image processing for calculating correction information of lateral chromatic aberration composed of a rotationally symmetric component and a non-rotationally symmetric component for an input image generated by imaging using an optical system. An image processing program to be executed, wherein a detection step for detecting a color shift amount for each of a plurality of positions from an input image and a positional relationship between the color shift amounts for each of a plurality of positions detected in the detection step A step of selecting at least a part of the color misregistration amount for each of the detected plurality of positions and a step of calculating correction information based on at least a part of the color misregistration amount are executed by a computer.
本発明によれば、撮像光学系の製造誤差に対応した高精度な倍率色収差の補正情報算出を、ロバストに実行可能な画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供することができる。 According to the present invention, it is possible to provide an image processing device, an imaging device, an image processing method, and an image processing program that can robustly execute highly accurate correction information of lateral chromatic aberration corresponding to a manufacturing error of the imaging optical system. it can.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.
まず、具体的な実施例の説明に先立って、撮像光学系（以下、単に光学系という）の製造誤差に起因して倍率色収差が発生するメカニズムについて説明する。光学系の製造誤差としては、光学系の光軸に対するレンズ（レンズ素子やレンズ群）の偏心や倒れ、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれ等が挙げられる。 First, prior to the description of specific embodiments, a mechanism in which lateral chromatic aberration occurs due to a manufacturing error of an imaging optical system (hereinafter simply referred to as an optical system) will be described. Optical system manufacturing errors include decentering and tilting of the lens (lens element and lens group) relative to the optical axis of the optical system, positional deviation parallel to the optical axis direction of the lens, and focal length due to the shape and refractive index of the lens element. Misalignment etc. are mentioned.
光学系が光軸に対して回転対称である場合、倍率色収差も回転対称に生じるが、レンズの偏心や倒れが生じると、偏心光学系に特有の回転非対称な倍率色収差が生じる。一部のレンズ群に偏心や倒れが生じると、光学系によって形成される像面が物体面を基準として光軸に直交する方向へシフトする。このとき、偏心したレンズ群の分散により波長ごとにシフト量が変わるため、色ごとに像面全体で均一な量と方向でシフトずれが生じる。 When the optical system is rotationally symmetric with respect to the optical axis, lateral chromatic aberration is also rotationally symmetric. However, when the lens is decentered or tilted, rotationally asymmetric lateral chromatic aberration specific to the decentered optical system is generated. When decentering or tilting occurs in some lens groups, the image plane formed by the optical system shifts in a direction perpendicular to the optical axis with respect to the object plane. At this time, since the shift amount changes for each wavelength due to dispersion of the decentered lens group, a shift shift occurs in a uniform amount and direction over the entire image surface for each color.
一方、レンズの光軸方向に平行な位置ずれおよびレンズ素子の形状や屈折率に起因した焦点距離ずれが生じると、被写体像の倍率や回転対称な収差成分が変化する。このとき、このようなずれを生じさせたレンズ群の分散によって波長ごとに変化量が変わるため、色ごとに回転対称な位置ずれが生じる。 On the other hand, when a positional shift parallel to the optical axis direction of the lens and a focal length shift caused by the shape and refractive index of the lens element occur, the magnification of the subject image and the rotationally symmetric aberration component change. At this time, since the amount of change varies for each wavelength due to the dispersion of the lens group causing such a shift, a rotationally symmetric position shift occurs for each color.
実際の光学系では、複数のレンズによってそれぞれの色ずれが生じ、結果として複雑なパターンの倍率色収差が生じる。図１は、製造誤差に起因する倍率色収差を説明する図である。図１（Ａ）は、光軸に対して回転対称に設計された光学系に製造誤差を与えた場合の倍率色収差パターンの例を示している。図中に矢印で示される各ベクトルは、各ベクトルの始点位置での倍率色収差の量と方向を表す。撮像によりＲＧＢ画像を撮像画像として生成する場合、Ｒ−Ｇ間とＢ−Ｇ間とでそれぞれ異なるパターンが現れる。本来、回転対称の光学系では光軸中心と撮像面中心とが一致し、それを対称中心とした倍率色収差パターンが生じる。しかしながら、図１（Ａ）では、撮像面全域で対称性がない倍率色収差パターンが生じている。 In an actual optical system, color misregistration is caused by a plurality of lenses, resulting in a complex pattern of lateral chromatic aberration. FIG. 1 is a diagram for explaining lateral chromatic aberration due to a manufacturing error. FIG. 1A shows an example of a lateral chromatic aberration pattern when a manufacturing error is given to an optical system designed to be rotationally symmetric with respect to the optical axis. Each vector indicated by an arrow in the figure represents the amount and direction of lateral chromatic aberration at the starting position of each vector. When an RGB image is generated as a captured image by imaging, different patterns appear between RG and BG. Originally, in a rotationally symmetric optical system, the center of the optical axis coincides with the center of the imaging surface, and a lateral chromatic aberration pattern is generated with this as the center of symmetry. However, in FIG. 1A, a lateral chromatic aberration pattern having no symmetry occurs in the entire imaging surface.
図１（Ｂ）は、図１（Ａ）の倍率色収差パターンを設計値上の倍率色収差成分に基づいて補正した後の倍率色収差パターンを示している。設計値上の倍率色収差成分で補正した後でも、補正前と同様に、撮像面全域で対称性がない倍率色収差パターンが残っている。これが製造誤差に起因した倍率色収差成分に相当する。従来の製造誤差を考慮しない倍率色収差補正では、図１（Ｂ）に示されるように補正残りが生じるため、撮像画像の画質が低下する。 FIG. 1B shows the lateral chromatic aberration pattern after correcting the lateral chromatic aberration pattern of FIG. 1A based on the lateral chromatic aberration component on the design value. Even after correction with the chromatic aberration component of the design value, a chromatic aberration pattern having no symmetry remains in the entire imaging surface as before correction. This corresponds to a chromatic aberration component due to a manufacturing error. In the conventional chromatic aberration correction without taking the manufacturing error into consideration, the correction remains as shown in FIG. 1B, and the image quality of the captured image is deteriorated.
設計値上の倍率色収差成分で補正した後の倍率色収差パターンは、図１（Ｃ）に示される回転対称な成分と図１（Ｄ）に示される撮像面全体で均一な色ずれベクトルを持つシフトずれ成分との和として近似できる。例えば、製造誤差としてレンズの偏心や倒れのみを考えた場合、図１（Ｄ）に示されるシフトずれ成分は補正できるが、図１（Ｃ）に示される回転対称成分は補正後に残ってしまう。このように、製造誤差を含む実際の光学系の倍率色収差は、回転対称成分と撮像画像内で均一なシフトずれ成分との和として近似することができる。回転対称成分は、設計値上の成分と製造誤差に起因する成分との和である。製造誤差を含む実際の光学系の倍率色収差を補正することにより、図１（Ｅ）に示されるように、倍率色収差を高精度に補正することができる。 The lateral chromatic aberration pattern after correction with the lateral chromatic aberration component on the design value is a shift having a rotationally symmetric component shown in FIG. 1C and a uniform color shift vector over the entire imaging surface shown in FIG. It can be approximated as the sum with the shift component. For example, when only the lens eccentricity or tilt is considered as a manufacturing error, the shift deviation component shown in FIG. 1D can be corrected, but the rotationally symmetric component shown in FIG. 1C remains after correction. In this way, the chromatic aberration of magnification of the actual optical system including manufacturing errors can be approximated as the sum of the rotationally symmetric component and the uniform shift deviation component in the captured image. The rotationally symmetric component is the sum of the component on the design value and the component resulting from the manufacturing error. By correcting the chromatic aberration of magnification of the actual optical system including manufacturing errors, the chromatic aberration of magnification can be corrected with high accuracy as shown in FIG.
次に、倍率色収差を検出するアルゴリズムについて説明する。以下の説明では、撮像画像としての入力画像における２つの色成分（色プレーン）としてのＧプレーンとＲプレーン間での倍率色収差量（色ずれ量）の取得方法について説明するが、他の色プレーン間についても同様に取得することが可能である。まず、入力画像に対して、ＧプレーンとＲプレーンの色プレーン画像データを生成し、生成された各色プレーン画像データからエッジを検出する。エッジは、例えば、連続する画素において画素値が単調増加または単調減少し、隣接する画素値からの増加量または減少量が一定値以上の領域を探索することで検出することができる。 Next, an algorithm for detecting lateral chromatic aberration will be described. In the following description, a method for obtaining a magnification chromatic aberration amount (color misregistration amount) between the G plane and the R plane as two color components (color planes) in an input image as a captured image will be described. It is also possible to obtain the same for the interval. First, G plane and R plane color plane image data is generated for an input image, and edges are detected from the generated color plane image data. For example, the edge can be detected by searching for a region where the pixel value monotonously increases or decreases monotonously in a continuous pixel and the increase amount or decrease amount from the adjacent pixel value is a certain value or more.
次に、検出されたエッジおよびその周辺を含む領域であるエッジ部において、色プレーン画像データ間の相関が最も大きくなる位置を探索することにより色ずれ量を取得する。例えば、Ｇプレーン画像データに対するＲプレーン画像データの位置を移動させながら、両色プレーン画像データ間での輝度値の差分の絶対値や二乗和が小さくなるような移動量を求め、これを色ずれ量とすればよい。なお、エッジ部ではエッジに平行な方向の色ずれは入力画像からは検出されないため、１次元方向の色ずれ量のみを取得すればよく、エッジに直交する方向の色ずれ量を求めることが好ましい。また、近傍で異なる向きのエッジから色ずれ量を取得することで、２次元の色ずれ量を取得することもできる。 Next, the amount of color misregistration is acquired by searching for a position where the correlation between the color plane image data is maximized in the edge portion which is a region including the detected edge and its periphery. For example, while moving the position of the R plane image data with respect to the G plane image data, a movement amount that reduces the absolute value or the sum of squares of the luminance value difference between the two color plane image data is obtained, and this is used as the color shift. It can be an amount. Note that since the color shift in the direction parallel to the edge is not detected from the input image at the edge portion, it is only necessary to acquire the color shift amount in the one-dimensional direction, and it is preferable to obtain the color shift amount in the direction orthogonal to the edge. . Also, a two-dimensional color shift amount can be acquired by acquiring a color shift amount from edges in different directions in the vicinity.
エッジ部以外の領域では、色ずれ量の２次元探索が可能になるが、１次元探索と比較して処理負荷が大きくなってしまう。さらに、倍率色収差は、画像データのエッジに顕著に現れるため、エッジ部での検出が好ましい。 In a region other than the edge portion, a two-dimensional search for the color misregistration amount is possible, but the processing load is increased compared to the one-dimensional search. Furthermore, since the lateral chromatic aberration appears remarkably at the edge of the image data, detection at the edge portion is preferable.
特許文献１にて開示された方法のように色ずれ方向が既知である場合、色ずれ方向に直交するエッジで、色ずれ方向に平行な方向に沿って色ずれ量を検出すれば、容易に色ずれ量を取得することができる。 If the color misregistration direction is known as in the method disclosed in Patent Document 1, it is easy to detect the color misregistration amount along the direction parallel to the color misregistration direction at the edge orthogonal to the color misregistration direction. The amount of color misregistration can be acquired.
一方、倍率色収差が回転対称成分とシフトずれ成分の和として表せる場合、入力画像の各位置でこれら２つの成分の和が検出される。検出されるエッジが入力画像内で分布が偏ることなく十分に存在している場合は各成分を分離することができるが、検出されるエッジの分布が画面内で十分でなかったり、偏って分布していたりする場合は各成分を正確に分離することができない。この場合の課題を、図２を用いて説明する。 On the other hand, when the lateral chromatic aberration can be expressed as the sum of the rotationally symmetric component and the shift deviation component, the sum of these two components is detected at each position of the input image. Each component can be separated if the detected edges are sufficiently distributed in the input image without being unevenly distributed, but the detected edge distribution is not sufficient in the screen or is unevenly distributed. If it does, each component cannot be accurately separated. The problem in this case will be described with reference to FIG.
図２は、色ずれ量の検出結果を示す図である。以下の説明では、図２（Ａ）に示されるように、入力画像２００においてほぼ等しい像高にありエッジ部を含む４つの領域２０１〜２０４のそれぞれで同数のメリジオナル方向エッジが検出された場合を考える。なお、１つのエッジの複数位置で色ずれ量が検出されてもよく、同数のエッジとは、エッジが存在する数ではなく、各領域内での色ずれ量の検出数が等しいことを意味する。なお、以下の説明において「色ずれ量」は色ずれ量を示すベクトルの他に、色ずれが発生している点の座標（すなわち色ずれ量を示すベクトルの始点）の情報を含んでいてもよい。図２（Ｂ）に示されるように、領域２０１〜２０４の像高における回転対称成分が動径方向外向きを正として色ずれ量＋ａで生じ、シフトずれ成分が水平方向右向きを正として色ずれ量＋ｂで生じているものとする。 FIG. 2 is a diagram illustrating the detection result of the color misregistration amount. In the following description, as shown in FIG. 2A, a case where the same number of meridional direction edges are detected in each of the four regions 201 to 204 that are at substantially the same image height and include the edge portion in the input image 200. Think. Note that the amount of color misregistration may be detected at a plurality of positions of one edge. The same number of edges means that the number of detected color misregistration amounts in each region is equal, not the number of edges. . In the following description, the “color misregistration amount” may include information on the coordinates of the point where the color misregistration occurs (that is, the starting point of the vector indicating the color misregistration amount) in addition to the vector indicating the color misregistration amount. Good. As shown in FIG. 2B, a rotationally symmetric component in the image heights of the regions 201 to 204 is generated with a color misregistration amount + a with the radially outward direction being positive, and a shift error component is a color misregistration with the horizontal rightward being positive. It is assumed that the amount is generated by + b.
図２（Ｃ）は、各領域での色ずれ量の検出結果を統合して得られる色ずれ量ヒストグラムを、動径方向外向きを正として示している。領域２０１，２０３では、シフトずれ成分はメリジオナル方向エッジに対して影響を与えない。したがって、検出される色ずれ量は、検出ばらつきがあるものの、＋ａの周辺に分布する。領域２０２では、シフトずれ成分と回転対称成分が同じ向きを向いているため、検出される色ずれ量はａ＋ｂの周辺に分布する。領域２０４では、シフトずれ成分と回転対称成分とが反対向きであるため、検出される色ずれ量はａ−ｂのまわりに分布する。したがって、回転対称成分は撮像面全域での平均から＋ａと算出され、シフトずれの水平成分は領域２０２，２０４で検出された色ずれ量と回転対称成分との差分から右向きに＋ｂと算出される。 FIG. 2C shows a color misregistration amount histogram obtained by integrating the detection results of the color misregistration amounts in the respective regions, with the radial direction outward direction being positive. In the regions 201 and 203, the shift deviation component does not affect the meridional direction edge. Therefore, the detected color misregistration amount is distributed around + a although there is a detection variation. In the region 202, since the shift deviation component and the rotationally symmetric component are directed in the same direction, the detected color deviation amount is distributed around a + b. In the region 204, since the shift deviation component and the rotationally symmetric component are in opposite directions, the detected color deviation amount is distributed around ab. Therefore, the rotationally symmetric component is calculated as + a from the average over the entire imaging surface, and the horizontal component of the shift shift is calculated as + b in the right direction from the difference between the color shift amount detected in the regions 202 and 204 and the rotationally symmetric component. .
図２（Ｄ）は、領域２０３，２０４に色ずれ量を検出できるエッジが存在しない場合の色ずれ量ヒストグラムを示している。領域２０３，２０４ではエッジが検出されないため、＋ａの周辺での度数分布が半数となり、ａ−ｂ周辺での度数分布がなくなっている。この場合、エッジが検出された領域２０１，２０２の平均からシフトずれ成分と回転対称成分を算出しようとすると、回転対称成分がａ＋ｂ／２となる。シフトずれ成分は、検出された色ずれ量と回転対称成分との差分から、右向きに＋ｂ／２、下向きに＋ｂ／２と算出される。このように算出された色ずれ量に基づいて倍率色収差を補正すると、領域２０１，２０２では正しく補正されるが、その他の領域２０３，２０４では誤って補正されてしまう。 FIG. 2D shows a color misregistration amount histogram when there is no edge capable of detecting the color misregistration amount in the regions 203 and 204. Since no edge is detected in the regions 203 and 204, the frequency distribution around + a is halved, and the frequency distribution around ab is lost. In this case, if an attempt is made to calculate the shift deviation component and the rotationally symmetric component from the average of the areas 201 and 202 where the edge is detected, the rotationally symmetric component is a + b / 2. The shift shift component is calculated as + b / 2 in the right direction and + b / 2 in the downward direction from the difference between the detected color shift amount and the rotationally symmetric component. When the chromatic aberration of magnification is corrected based on the calculated color misregistration amount, it is corrected correctly in the areas 201 and 202, but is corrected in error in the other areas 203 and 204.
精度良く色ずれを検出するために、色ずれの検出はエッジ部で行われるが、エッジ部以外でも色ずれは生じている。したがって、誤って検出された色ずれの量および方向で入力画像を補正すると、色ずれが悪化した補正画像が出力されてしまう。このように、色ずれを検出できるエッジが画面内で偏って分布している場合、シフトずれ成分および回転対称成分が一意に決まらず、検出エラーが生じる。 In order to detect the color misregistration with high accuracy, the color misregistration is detected at the edge portion. Therefore, if the input image is corrected with the amount and direction of the color shift detected in error, a corrected image in which the color shift has deteriorated is output. As described above, when the edges capable of detecting the color misregistration are unevenly distributed in the screen, the shift misalignment component and the rotationally symmetric component are not uniquely determined, and a detection error occurs.
シフトずれ成分を先に算出する場合も同様の課題が生じる。図２（Ｅ）は、図２（Ｃ）と同じ検出結果を、水平右向きを正として示している。図２（Ｅ）では、メリジオナル方向エッジから水平成分が検出される領域２０２，２０４のみの度数分布を示している。シフトずれ成分は、領域２０２，２０４での平均から右向きに＋ｂと算出され、回転対称成分は領域２０１〜２０４で検出された色ずれ量とシフトずれ成分との差分から、動径方向外向きに＋ａと算出される。 A similar problem occurs when the shift deviation component is calculated first. FIG. 2E shows the same detection result as FIG. 2C with the horizontal right direction being positive. FIG. 2E shows the frequency distribution of only the regions 202 and 204 where the horizontal component is detected from the edge in the meridional direction. The shift deviation component is calculated as + b in the right direction from the average in the areas 202 and 204, and the rotationally symmetric component is outward in the radial direction from the difference between the color deviation amount detected in the areas 201 to 204 and the shift deviation component. Calculated as + a.
図２（Ｆ）は、図２（Ｄ）と同様に、領域２０３，２０４に色ずれ量を検出できるエッジが存在しない場合のヒストグラムを示している。領域２０４ではエッジが検出されないため、−ａ＋ｂ周辺の分布がなくなっている。この場合、エッジが検出された全ての領域２０１，２０２の平均からシフトずれ成分と回転対称成分を算出しようとすると、シフトずれ成分はａ＋ｂと算出される。領域２０２で検出された色ずれ量がａ＋ｂであることから、回転対称成分は０となる。さらに、領域２０１で検出される色ずれ量が動径方向外向きに＋ａの回転対称成分であることから、シフトずれ成分のうち垂直成分が上向き＋ａと算出される。このように色ずれを検出できるエッジが十分に存在しない場合、回転対称成分を先に算出した場合と同様に、検出エラーが生じる。 FIG. 2F shows a histogram in the case where there is no edge capable of detecting the amount of color misregistration in the regions 203 and 204, as in FIG. Since no edge is detected in the region 204, the distribution around -a + b disappears. In this case, when trying to calculate the shift deviation component and the rotationally symmetric component from the average of all the areas 201 and 202 in which the edge is detected, the shift deviation component is calculated as a + b. Since the color misregistration amount detected in the region 202 is a + b, the rotationally symmetric component is zero. Further, since the amount of color shift detected in the region 201 is a rotationally symmetric component of + a outward in the radial direction, the vertical component of the shift shift component is calculated as + a. When there are not enough edges that can detect color misregistration in this way, a detection error occurs as in the case of calculating the rotationally symmetric component first.
以上説明したように、倍率色収差が回転対称成分とシフトずれ成分とからなるとき、入力画像内に十分にエッジが存在しない場合に検出エラーが生じる。例えば、背景に空がある場合、画面上方でのエッジが検出されず、画面下方にエッジが偏って分布する場合がある。したがって、回転対称成分とシフトずれ成分からなる倍率色収差が生じた入力画像においてこれら２つの成分の両方を検出する場合、回転対称成分のみが生じた入力画像に対して倍率色収差を検出する場合とは異なる課題が生じ、検出精度も低下するおそれがある。 As described above, when the chromatic aberration of magnification is composed of a rotationally symmetric component and a shift deviation component, a detection error occurs when there are not enough edges in the input image. For example, when there is a sky in the background, the edge at the top of the screen may not be detected, and the edge may be unevenly distributed at the bottom of the screen. Therefore, when both of these two components are detected in an input image in which a chromatic aberration of magnification consisting of a rotationally symmetric component and a shift deviation component is generated, the case of detecting chromatic aberration of magnification in an input image in which only the rotationally symmetric component is generated Different problems may occur, and the detection accuracy may be reduced.
また、製造誤差を含む光学系に対して倍率色収差を精度良く補正するには、製造工程で回転対称成分およびシフトずれ成分を測定し、データテーブルとして保存（記憶）しておく方法もある。しかしながら、光学系の状態が変わるあらゆる撮像条件（ズーム位置、Ｆ値および撮影距離等）に対応しようとすると、製造工程での測定負荷が大きくなる。測定負荷を軽減するためには、離散的な撮像条件で測定し、補間によって所望の撮像条件における倍率色収差を算出することが考えられる。しかしながら、光学系によっては製造誤差に起因する、回転対称成分またはシフトずれ成分が撮像条件の変化に対して急激に変化する場合がある。このような場合、補間により十分な精度を得ることが困難となる。また、撮像時に撮像装置を横位置で構えるか縦位置で構えるかよってシフトずれ成分が変化する場合もある。このように、製造工程での測定によりあらゆる撮像条件に対応することは難しい。したがって、回転対称成分とシフトずれ成分の両方をデータテーブルとして保存しておく方法では、製造誤差を含む光学系に対して精度良く倍率色収差を補正することは難しい。 In order to accurately correct the lateral chromatic aberration with respect to an optical system including a manufacturing error, there is a method in which a rotationally symmetric component and a shift deviation component are measured in a manufacturing process and stored (stored) as a data table. However, if it is intended to cope with all imaging conditions (zoom position, F value, imaging distance, etc.) in which the state of the optical system changes, the measurement load in the manufacturing process increases. In order to reduce the measurement load, it is conceivable to perform measurement under discrete imaging conditions and calculate lateral chromatic aberration under desired imaging conditions by interpolation. However, depending on the optical system, a rotationally symmetric component or a shift deviation component due to a manufacturing error may change abruptly with changes in imaging conditions. In such a case, it is difficult to obtain sufficient accuracy by interpolation. In addition, the shift shift component may change depending on whether the image pickup apparatus is held in a horizontal position or a vertical position during image pickup. Thus, it is difficult to cope with all imaging conditions by measurement in the manufacturing process. Therefore, with the method of storing both the rotationally symmetric component and the shift deviation component as a data table, it is difficult to accurately correct the lateral chromatic aberration for an optical system including manufacturing errors.
本実施形態に係る画像処理装置は、光学系を用いた撮像により生成された入力画像に対して、回転対称成分および非回転対称成分からなる倍率色収差の補正情報を算出（検出）する画像処理を行う。このような画像処理を行うことで、製造誤差に起因する倍率色収差の補正が可能となる。しかしながら、このようなモデルで近似できる倍率色収差を画像から検出するには、上述したような検出エラーの課題がある。 The image processing apparatus according to the present embodiment performs image processing for calculating (detecting) correction information of lateral chromatic aberration composed of a rotationally symmetric component and a non-rotationally symmetric component with respect to an input image generated by imaging using an optical system. Do. By performing such image processing, it is possible to correct lateral chromatic aberration due to manufacturing errors. However, in order to detect lateral chromatic aberration that can be approximated by such a model from an image, there is a problem of detection errors as described above.
本実施形態では、検出された色ずれ量の位置関係に基づいて、補正情報を算出する際に使用する色ずれ量を選択する。検出された色ずれ量の位置関係は、各位置において色ずれ量が検出されているかどうかを示す検出情報を用いて判定される。検出情報は、上述の例でいえば、領域２０１、２０２、２０３、２０４のうちどの領域でエッジが検出されたか（または検出されなかったか）といった情報である。検出された色ずれ量の位置関係に基づいて倍率色収差の回転対称成分および非回転対称成分の色ずれ量（または補正量）を算出することで、精度良くかつロバストに倍率色収差を検出することができる。また、色ずれ量の検出においては検出値に閾値を設ける等の方法で検出エラーを判定する場合がある。エラーとなった検出値は補正情報の算出には用いられないため、検出されなかったものとして検出情報を取得する必要がある。すなわち、上述した情報を取得する際は、エッジ領域が存在しない場合に加えてエッジ領域はあるものの検出できない場合も考慮する必要がある。 In this embodiment, the color misregistration amount used when calculating the correction information is selected based on the positional relationship between the detected color misregistration amounts. The positional relationship between the detected color misregistration amounts is determined using detection information indicating whether or not the color misregistration amount is detected at each position. In the above example, the detection information is information indicating which of the areas 201, 202, 203, and 204 the edge is detected (or not detected). By calculating the color misregistration amount (or correction amount) of the rotationally symmetric and non-rotationally symmetric components of the chromatic aberration of magnification based on the positional relationship of the detected color misregistration amounts, it is possible to detect the chromatic aberration of magnification accurately and robustly. it can. In detecting the color misregistration amount, a detection error may be determined by a method such as providing a threshold value for the detection value. Since the detected value in error is not used for calculating the correction information, it is necessary to acquire the detection information as if it was not detected. That is, when acquiring the information described above, it is necessary to consider the case where there is an edge region but it cannot be detected in addition to the case where the edge region does not exist.
非回転対称成分は、シフトずれ成分であることが好ましい。非回転対称成分をシフトずれ成分とすることは、偏心や倒れなどの製造誤差を持つ偏心光学系において、低次の偏心倍率色収差を考慮していることに相当する。低次の項に絞ることで、検出のロバスト性が向上し、また補正時の計算負荷を低減することができる。なお、非回転対称成分として、シフトずれ成分の他に回転非対称な歪曲収差が色ごとにずれることで、画面位置に応じて色ずれ量の異なる成分も生じる。 The non-rotationally symmetric component is preferably a shift shift component. Setting the non-rotationally symmetric component as the shift deviation component is equivalent to considering low-order decentration magnification chromatic aberration in a decentered optical system having manufacturing errors such as decentering and tilting. By focusing on low-order terms, the robustness of detection can be improved, and the calculation load during correction can be reduced. As a non-rotation symmetric component, a rotationally asymmetric distortion aberration shifts for each color in addition to a shift shift component, and thus a component having a different color shift amount depending on the screen position is generated.
画像処理装置は、検出部、選択部および算出部を有する。検出部は、入力画像を複数に分割した領域ごとの色ずれ量を検出する。このように色ずれ量を検出することで、入力画像上の位置情報を離散的に扱うことができ、計算負荷を低減することができる。 The image processing apparatus includes a detection unit, a selection unit, and a calculation unit. The detection unit detects a color misregistration amount for each region obtained by dividing the input image into a plurality of regions. By detecting the color misregistration amount in this way, position information on the input image can be handled discretely, and the calculation load can be reduced.
選択部は、検出部により検出された複数の領域ごとの色ずれ量の位置関係に基づいて、検出部により検出された色ずれ量から少なくとも一部の色ずれ量を選択する。選択部によって用いられる色ずれ量の位置関係は、各領域において色ずれ量が検出されているかどうかを示す検出情報を用いて判定される。色ずれ量は多くのエッジから検出する必要があるため、エッジごとに情報を記憶すると記憶すべきデータの容量が大きくなってしまう。選択部が各領域において色ずれ量が検出されているかどうかを示す検出情報を取得するようにすることで、ロバストに補正情報を算出するための計算負荷を低減できる。 The selection unit selects at least a part of the color misregistration amounts from the color misregistration amounts detected by the detection unit based on the positional relationship of the color misregistration amounts for each of the plurality of areas detected by the detection unit. The positional relationship between the color misregistration amounts used by the selection unit is determined using detection information indicating whether the color misregistration amount is detected in each region. Since the amount of color misregistration needs to be detected from many edges, storing information for each edge increases the amount of data to be stored. By obtaining detection information indicating whether or not the color misregistration amount is detected in each area, the selection unit can reduce the calculation load for robustly calculating the correction information.
算出部は、選択部により選択された色ずれ量に基づいて補正情報を算出する。これにより、上述した検出エラーを解消し、シフトずれ成分および回転対称成分を精度良く一意に決定することができる。 The calculation unit calculates correction information based on the color misregistration amount selected by the selection unit. Thereby, the detection error mentioned above can be eliminated, and the shift deviation component and the rotationally symmetric component can be determined uniquely with high accuracy.
図３は、入力画像３００を像高５分割かつ８方位に分割した場合の領域分割を示す図である。回転対称成分は、画面中心（または光軸中心）に対して点対称な領域同士で同じ大きさで反対向きの色ずれベクトルとなる。そのため、非回転対称成分がシフトずれ成分である場合、全領域における色ずれ量の総和をとることで点対称な領域同士の回転対称成分が相殺してシフトずれ成分を算出することができる。領域３０１でエッジの検出結果を取得できない場合、領域３０１以外の色ずれベクトルの総和をとり、シフトずれ成分を算出すると、領域３０４の回転対称成分が相殺されず、その分シフトずれ成分に検出エラーが生じる。そこで、領域３０１，３０４以外の検出結果の加算平均をとることで、回転対称成分が相殺されて小さい計算負荷で精度良くシフトずれ成分を算出することができる。同様に、領域３０２，３０５でエッジの検出結果を取得できない場合、それぞれと点対称な領域３０３，３０６の検出結果も除いて加算平均をとることで、小さい計算負荷で精度良くシフトずれ成分を算出することができる。なお、ここでの色ずれベクトルは上述したように動径方向に１次元検出した色ずれベクトルでもよく、アジムス方向も含めた２次元の色ずれベクトルでもよい。 FIG. 3 is a diagram showing area division when the input image 300 is divided into five image heights and eight directions. The rotationally symmetric component is a color shift vector having the same size and opposite direction in areas that are point-symmetric with respect to the screen center (or the optical axis center). Therefore, when the non-rotationally symmetric component is a shift shift component, the shift shift component can be calculated by canceling the rotation symmetric component between the point symmetric areas by taking the sum of the color shift amounts in all the areas. If the edge detection result cannot be obtained in the area 301, the sum of the color misregistration vectors other than the area 301 is taken and the shift deviation component is calculated, the rotationally symmetric component in the area 304 is not canceled out, and the shift error component is detected accordingly. Occurs. Therefore, by taking the addition average of the detection results other than those in the regions 301 and 304, the rotationally symmetric component is canceled out, and the shift deviation component can be accurately calculated with a small calculation load. Similarly, when the edge detection results cannot be obtained in the regions 302 and 305, the shift deviation component is calculated with a small calculation load with high accuracy by taking the addition average except for the detection results of the point-symmetric regions 303 and 306, respectively. can do. The color misregistration vector here may be a color misregistration vector that is one-dimensionally detected in the radial direction as described above, or may be a two-dimensional color misregistration vector including the azimuth direction.
先に回転対称成分を算出することもできる。この場合、動径方向に沿った色ずれ量をスカラー量として扱う。動径方向に沿った色ずれ量を考えると、シフトずれ成分は画面中心（または光軸中心）に対して点対称な領域同士で同じ大きさで符号が反対の色ずれ量となる。そこで、同じ像高に対応した８領域における色ずれ量の総和をとることで点対称な領域同士のシフトずれ成分が相殺して回転対称成分を算出することができる。領域３０１でエッジの検出結果を取得できない場合、領域３０１以外の同じ像高の領域における色ずれベクトルの総和をとり、回転対称成分を算出すると、領域３０４のシフトずれ成分が相殺されず、その分回転対称成分に検出エラーが生じる。そこで、領域３０１，３０４以外の検出結果の加算平均をとると、シフトずれ成分が相殺されて小さい計算負荷で精度良く回転対称成分を算出することができる。同様に、領域３０２，３０５でエッジの検出結果を取得できない場合、それぞれと点対称な領域３０３，３０６の検出結果も除いて加算平均をとることで、小さい計算負荷で精度良く回転対称成分を算出することができる。 The rotationally symmetric component can also be calculated first. In this case, the amount of color misregistration along the radial direction is treated as a scalar amount. Considering the color misregistration amount along the radial direction, the shift misregistration components have the same size and opposite color misregistration amounts in the point-symmetric regions with respect to the screen center (or the optical axis center). Therefore, by taking the sum of the color misregistration amounts in the eight regions corresponding to the same image height, it is possible to calculate the rotationally symmetric component by canceling out the shift component between the point symmetric regions. When the edge detection result cannot be obtained in the area 301, the sum of the color misregistration vectors in the area of the same image height other than the area 301 is calculated, and the rotationally symmetric component is calculated. A detection error occurs in the rotationally symmetric component. Therefore, if the addition average of the detection results other than those in the regions 301 and 304 is taken, the shift deviation component is canceled out, and the rotationally symmetric component can be accurately calculated with a small calculation load. Similarly, when the edge detection results cannot be obtained in the regions 302 and 305, the rotationally symmetric component is calculated with high accuracy with a small calculation load by taking the addition average except for the detection results of the point-symmetric regions 303 and 306, respectively. can do.
上述の方法によって回転対称成分と非回転対称成分の一方を算出した後、算出した一方の影響を差し引いて考えることで他方の成分を分離できるため、検出結果のうち一部を選択せずとも容易に他方の成分を算出できる。以上により、計算負荷の大きい繰り返し演算などの最適化手法に基づいた最適解の探索を用いなくとも、精度良く回転対称成分と非回転対称成分に基づく倍率色収差を算出できる。 After calculating one of the rotationally symmetric component and the non-rotationally symmetric component by the above method, the other component can be separated by subtracting the calculated one effect, so it is easy without selecting some of the detection results The other component can be calculated. As described above, it is possible to accurately calculate the lateral chromatic aberration based on the rotationally symmetric component and the non-rotationally symmetric component without using an optimal solution search based on an optimization method such as an iterative calculation with a large calculation load.
また、選択部は、検出結果の少なくとも一部を分布が線対称となるように選択して補正情報を算出することも可能である。分布が線対称、例えば、上下対称または左右対称となるように色ずれ量を選択することで、回転対称成分と非回転対称成分を分離することができる。回転対称成分の色ずれベクトルを水平成分および鉛直成分にベクトル分解すると、それぞれ左右対称、上下対称な領域同士で同じ大きさで反対向きの色ずれベクトルとなる。そこで、非回転対称成分がシフトずれ成分である場合、全領域における色ずれの総和をとることで線対称な領域同士の回転対称成分が相殺してシフトずれ成分を算出することができる。領域３０１でエッジの検出結果を取得できない場合、領域３０１以外の色ずれベクトルの総和をとり、シフトずれ成分を算出すると、回転対称成分のうち領域３０２の水平成分と領域３０３の鉛直成分が相殺されず、その分シフトずれ成分に検出エラーが生じる。水平成分は、領域３０１，３０２以外の検出結果の加算平均をとると、回転対称成分が相殺されて小さい計算負荷で精度良くシフトずれ成分の水平成分を算出することができる。鉛直成分は、領域３０１、３０３以外の検出結果の加算平均をとると、回転対称成分が相殺されて小さい計算負荷で精度良くシフトずれ成分の鉛直成分を算出することができる。また、領域３０５でエッジの検出結果を取得できない場合、鉛直成分には影響はないが、水平成分を算出する場合は左右対称な領域３０６の検出結果も除いて加算平均をとることで、小さい計算負荷で精度良くシフトずれ成分を算出することができる。 The selection unit can also calculate the correction information by selecting at least a part of the detection result so that the distribution is line symmetric. By selecting the color misregistration amount so that the distribution is line symmetric, for example, vertically symmetric or horizontally symmetric, the rotationally symmetric component and the non-rotational symmetric component can be separated. When the color shift vector of the rotationally symmetric component is vector-decomposed into a horizontal component and a vertical component, the color shift vectors of the same size and opposite directions are obtained in the bilaterally symmetric and vertical symmetric regions, respectively. Therefore, when the non-rotationally symmetric component is a shift shift component, the shift shift component can be calculated by canceling the rotationally symmetric components of the line symmetric regions by taking the sum of the color shifts in all regions. When the edge detection result cannot be obtained in the area 301, the sum of the color misregistration vectors other than the area 301 is taken to calculate the shift deviation component, and the horizontal component in the area 302 and the vertical component in the area 303 are canceled out of the rotationally symmetric components. Therefore, a detection error occurs in the shift shift component. When the horizontal component is the average of the detection results other than those in the regions 301 and 302, the rotationally symmetric component is canceled out, and the horizontal component of the shift deviation component can be calculated accurately with a small calculation load. When the vertical component is an average of the detection results other than those in the regions 301 and 303, the rotationally symmetric component is canceled out, and the vertical component of the shift deviation component can be accurately calculated with a small calculation load. If the edge detection result cannot be obtained in the area 305, the vertical component is not affected. However, when calculating the horizontal component, a small calculation is performed by taking the addition average except for the detection result of the symmetrical area 306. The shift deviation component can be calculated accurately with the load.
回転対称となるように検出結果を選択した場合と同様に、先に回転対称成分を算出することもできる。この場合、水平成分と鉛直成分を分けて回転対称成分を算出する。回転対称光学系が製造誤差によって偏心した場合、回転対称成分はアジムス成分を持たず、動径方向に沿った成分のみを持つ。その場合、先にシフトずれ成分を算出し、その後回転対称成分を算出することが好ましい。 Similarly to the case where the detection result is selected so as to be rotationally symmetric, the rotationally symmetric component can be calculated first. In this case, the rotationally symmetric component is calculated by dividing the horizontal component and the vertical component. When the rotationally symmetric optical system is decentered due to a manufacturing error, the rotationally symmetric component does not have an azimuth component and has only a component along the radial direction. In that case, it is preferable to calculate the shift deviation component first and then calculate the rotationally symmetric component.
上述の方法によって回転対称成分と非回転対称成分の一方を算出した後、算出した一方の影響を差し引いて考えることで他方の成分を分離できるため、検出結果のうち一部を選択せずとも容易に他方の成分を算出できる。 After calculating one of the rotationally symmetric component and the non-rotationally symmetric component by the above method, the other component can be separated by subtracting the calculated one effect, so it is easy without selecting some of the detection results The other component can be calculated.
本実施形態では、補正情報を回転対称成分と非回転対称成分とからなるか、補正情報を回転対称成分のみからなるかを判定する判定部を有し、算出部は判定部による判定結果に基づいて補正情報を算出してもよい。以上により、計算負荷の大きい繰り返し演算などの最適化手法に基づいた最適解の探索を用いなくとも、精度良く回転対称成分と非回転対称成分に基づく倍率色収差を算出できる。通常、補正情報が回転対称成分と非回転対称成分とからなることで自由度が向上し、補正精度を向上させることができる。しかしながら、画面上方が空であったり、左右のいずれかに主被写体が配置され反対側の多くの領域でデフォーカスしていたりすることで、極端に画面の一方位で色ずれ量を検出できるエッジ部が少ない場合がありうる。このような場合には回転対称成分と非回転対称成分とからなると仮定することで、検出結果に対して自由度が上がりすぎて補正情報の算出結果が不安定になりうる。したがって、検出結果が得られた領域が少ない場合、補正情報を回転対称成分のみからなるとして算出することが好ましい。具体的には、検出結果が得られる領域が全体の６〜８割以下、または検出結果のうち対称になるように選択される領域が４〜６割以下になる場合、補正情報を回転対称成分のみからなるとすることが好ましい。 In the present embodiment, the correction unit includes a determination unit that determines whether the correction information includes a rotationally symmetric component and a non-rotationally symmetric component, or whether the correction information includes only the rotationally symmetric component, and the calculation unit is based on a determination result by the determination unit. The correction information may be calculated. As described above, it is possible to accurately calculate the lateral chromatic aberration based on the rotationally symmetric component and the non-rotationally symmetric component without using an optimal solution search based on an optimization method such as an iterative calculation with a large calculation load. Usually, the correction information is composed of a rotationally symmetric component and a non-rotationally symmetric component, so that the degree of freedom is improved and the correction accuracy can be improved. However, when the top of the screen is empty, or the main subject is placed on either the left or right side and defocused in many areas on the opposite side, an edge that can detect the amount of color deviation in one direction of the screen extremely There may be few parts. In such a case, assuming that the component is composed of a rotationally symmetric component and a non-rotationally symmetric component, the degree of freedom is too high with respect to the detection result, and the calculation result of the correction information may become unstable. Therefore, when the area where the detection result is obtained is small, it is preferable to calculate the correction information as including only the rotationally symmetric component. Specifically, when the area where the detection result is obtained is 60 to 80% or less of the whole, or the area selected to be symmetric among the detection result is 40 to 60% or less, the correction information is the rotationally symmetric component. It is preferable that it consists only of.
図４は、本実施例の画像処理装置を備える撮像装置１００の構成を示すブロック図である。撮像部は、撮像光学系１０１および撮像素子１０２を有する。撮像光学系１０１は、絞り１０１ａを有し、撮像素子１０２の撮像面上に光学像（被写体像）を結像（形成）する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、撮像光学系１０１により結像された光学像を光電変換してアナログ撮像信号を出力する。なお、撮像光学系１０１は、撮像装置１００に一体に設けられていてもよいし、撮像装置１００に着脱可能な交換レンズ装置に設けられていてもよい。 FIG. 4 is a block diagram illustrating a configuration of the imaging apparatus 100 including the image processing apparatus according to the present embodiment. The imaging unit includes an imaging optical system 101 and an imaging element 102. The imaging optical system 101 has a stop 101 a and forms (forms) an optical image (subject image) on the imaging surface of the imaging element 102. The imaging element 102 is configured by a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and photoelectrically converts an optical image formed by the imaging optical system 101 and outputs an analog imaging signal. Note that the imaging optical system 101 may be provided integrally with the imaging apparatus 100 or may be provided in an interchangeable lens apparatus that can be attached to and detached from the imaging apparatus 100.
Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ撮像信号をデジタル撮像信号に変換する。画像処理部１０４は、Ａ／Ｄコンバータ１０３からのデジタル撮像信号に対して画像処理を行うことにより撮像画像としての入力画像を生成し、入力画像に対して撮像光学系１０１の製造誤差に起因する倍率色収差を補正する画像処理を行う。 The A / D converter 103 converts the analog image signal output from the image sensor 102 into a digital image signal. The image processing unit 104 generates an input image as a captured image by performing image processing on the digital imaging signal from the A / D converter 103, and is caused by a manufacturing error of the imaging optical system 101 with respect to the input image. Image processing for correcting lateral chromatic aberration is performed.
画像処理部１０４は、検出部１０４ａ、取得部１０４ｂ、選択部１０４ｃ、算出部１０４ｄおよび補正部１０４ｄを有する。検出部１０４ａは、入力画像から回転対称成分とシフトずれ成分の両方からなる色ずれ量を検出する。図５は、検出部１０４ａの構成を示すブロック図である。検出部１０４ａは、図５に示されるように、エッジ検出部４０１および色ずれ量取得部４０２を有する。取得部１０４ｂは、検出部１０４ａの検出結果から、入力画像の複数の位置ごとに色ずれ量が検出されているかどうかを示す検出情報を取得する。選択部１０４ｃは、検出情報を用いて検出部１０４ａにより検出された色ずれ量の位置関係を判定し、位置関係に基づいて検出部１０４ａにより検出された色ずれ量から少なくとも一部の色ずれ量を選択する。算出部１０４ｄは、倍率色収差の補正情報を、回転対称成分と非回転対称成分とからなる補正情報として、選択部１０４ｃにより選択された色ずれ量に基づいて算出する。補正部１０４ｅは、補正情報に基づいて入力画像から倍率色収差を補正した補正画像を生成する。 The image processing unit 104 includes a detection unit 104a, an acquisition unit 104b, a selection unit 104c, a calculation unit 104d, and a correction unit 104d. The detection unit 104a detects a color misregistration amount including both a rotationally symmetric component and a shift deviation component from the input image. FIG. 5 is a block diagram illustrating a configuration of the detection unit 104a. As illustrated in FIG. 5, the detection unit 104 a includes an edge detection unit 401 and a color shift amount acquisition unit 402. The acquisition unit 104b acquires detection information indicating whether or not a color misregistration amount is detected for each of a plurality of positions of the input image from the detection result of the detection unit 104a. The selection unit 104c determines the positional relationship of the color misregistration amount detected by the detection unit 104a using the detection information, and at least a part of the color misregistration amount from the color misregistration amount detected by the detection unit 104a based on the positional relationship. Select. The calculation unit 104d calculates the correction information of the chromatic aberration of magnification as correction information including a rotationally symmetric component and a non-rotationally symmetric component based on the color misregistration amount selected by the selection unit 104c. The correcting unit 104e generates a corrected image in which the chromatic aberration of magnification is corrected from the input image based on the correction information.
画像処理部１０４で生成された補正画像としての出力画像または補正画像にさらに別の画像処理が加えられることで生成された出力画像は、半導体メモリや光ディスク等の画像記録媒体１０８に保存される。この際、出力画像ファイルに検出情報および補正情報を書き込んでもよい。また、出力画像を、表示部１０５に表示してもよい。 An output image generated as a corrected image generated by the image processing unit 104 or an output image generated by performing another image process on the corrected image is stored in an image recording medium 108 such as a semiconductor memory or an optical disk. At this time, detection information and correction information may be written in the output image file. Further, the output image may be displayed on the display unit 105.
情報入力部１０９は、ユーザが所望の撮像条件（絞り値や露出時間等）を選択して入力する情報を検出して、システムコントローラ１１０にそのデータを供給する。撮像制御部１０６は、システムコントローラ１１０からの駆動命令に応じて撮像光学系１０１内の不図示のフォーカスレンズを移動させるとともに絞り１０１ａの絞り値、露出時間および撮像素子１０２の動作を制御することにより被写体像の撮像を行う。 The information input unit 109 detects information input by the user selecting desired imaging conditions (aperture value, exposure time, etc.) and supplies the data to the system controller 110. The imaging control unit 106 moves a focus lens (not shown) in the imaging optical system 101 in accordance with a drive command from the system controller 110, and controls the aperture value of the aperture 101a, the exposure time, and the operation of the imaging element 102. Take a subject image.
状態検出部１０７は、システムコントローラ１１０からの撮像条件取得指示に応じて、その時点での撮像条件の情報を取得する。ここでの撮像条件には、絞り１０１ａの絞り値、ズーム位置、フォーカス位置、露出時間および撮像素子のＩＳＯ感度等を含む。 In response to an imaging condition acquisition instruction from the system controller 110, the state detection unit 107 acquires information on imaging conditions at that time. The imaging conditions here include the aperture value of the aperture 101a, the zoom position, the focus position, the exposure time, the ISO sensitivity of the image sensor, and the like.
以下、図６を参照して、本実施例の倍率色収差補正のための画像処理（画像処理方法）について説明する。図６は、本実施例の倍率色収差補正のための画像処理を示すフローチャートである。本実施例では、画像処理部１０４がコンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。なお、本処理を必ずしもコンピュータがソフトウェア上で行う必要はなく、少なくとも１つのプロセッサや回路が画像処理部１０４の各機能を実行してもよい。 Hereinafter, image processing (image processing method) for correcting chromatic aberration of magnification according to the present embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating image processing for correcting the chromatic aberration of magnification according to the present exemplary embodiment. In the present embodiment, the image processing unit 104 executes this processing according to an image processing program as a computer program. Note that this processing is not necessarily performed by software on the computer, and at least one processor or circuit may execute each function of the image processing unit 104.
ステップＳ１０１では、画像処理部１０４は、撮像画像としての入力画像を生成する。なお、本実施例では、画像処理部１０４は、入力画像を自ら生成することで取得するが、異なる処理部で生成された入力画像を取得するようにしてもよい。 In step S101, the image processing unit 104 generates an input image as a captured image. In the present embodiment, the image processing unit 104 acquires the input image by generating the input image itself. However, the image processing unit 104 may acquire the input image generated by a different processing unit.
ステップＳ１０２では、まず、画像処理部１０４（検出部１０４ａ）のエッジ検出部４０１は、ステップＳ１０１で取得した入力画像におけるメリジオナル方向エッジ（メリジオナル方向に近い方向でのエッジを含む）を検出する。次に、色ずれ量取得部４０２は、これらエッジを含む各エッジ部において、メリジオナル方向の色ずれ量としての倍率色収差量（回転対称成分とシフトずれ成分の合計量を示す倍率色収差情報）を取得（検出）する。そして、図３のように分割された画面上の各領域内で検出した色ずれ量を集計し、加算平均を各領域の代表値として採用する。なお、集計する前に各エッジの検出値に対して外れ値除去などのエラー回避処理を加えてもよい。また、算出された代表値を、閾値処理などによって検出値として採用できるかを判定してもよい。 In step S102, first, the edge detection unit 401 of the image processing unit 104 (detection unit 104a) detects a meridional direction edge (including an edge in a direction close to the meridional direction) in the input image acquired in step S101. Next, the color misregistration amount acquisition unit 402 acquires the magnification chromatic aberration amount (the magnification chromatic aberration information indicating the total amount of the rotationally symmetric component and the shift shift component) as the color misregistration amount in the meridional direction at each edge portion including these edges. (To detect. Then, the color misregistration amounts detected in each area on the screen divided as shown in FIG. 3 are totaled, and the addition average is adopted as the representative value of each area. Note that an error avoidance process such as outlier removal may be added to the detected value of each edge before the aggregation. Further, it may be determined whether the calculated representative value can be adopted as a detection value by threshold processing or the like.
ステップＳ１０３では、取得部１０４ｂは、ステップＳ１０２の検出結果から、入力画像の複数の位置ごとに色ずれ量が検出されているかどうかを示す検出情報を取得する。具体的には、取得部１０４ｂは、エッジ部が検出されなかったり、領域の代表値が不採用になったりした領域を示す情報を取得する。 In step S103, the acquisition unit 104b acquires detection information indicating whether or not a color misregistration amount is detected for each of a plurality of positions in the input image from the detection result in step S102. Specifically, the acquisition unit 104b acquires information indicating a region where an edge portion is not detected or a representative value of the region is not adopted.
ステップＳ１０４では、選択部１０４ｃは、取得部１０４ｂにより取得された検出情報を用いて検出部１０４ａにより検出された色ずれ量の位置関係を判定し、検出された色ずれ量の位置関係に基づいて、補正情報を算出する際に使用する領域を選択する。本実施例では、選択部１０４ｃは、回転対称になるように使用する領域を選択する。 In step S104, the selection unit 104c determines the positional relationship of the color misregistration amount detected by the detection unit 104a using the detection information acquired by the acquisition unit 104b, and based on the detected positional relationship of the color misregistration amount. The area to be used when calculating the correction information is selected. In this embodiment, the selection unit 104c selects a region to be used so as to be rotationally symmetric.
ステップＳ１０５では、算出部１０４ｄは、選択部１０４ｃにより選択された領域の色ずれ量を同じ像高の領域ごとに平均化し、像高に対する色ずれ量の変化を多項式近似するなどの方法で算出する。これを回転対称成分とする。 In step S105, the calculation unit 104d averages the color misregistration amount of the region selected by the selection unit 104c for each region having the same image height, and calculates the change of the color misregistration amount with respect to the image height by a method such as polynomial approximation. . This is a rotationally symmetric component.
ステップＳ１０６では、算出部１０４ｄは、まず、ステップＳ１０２で採用した領域ごとの代表値からステップＳ１０５で算出した回転対称成分を差し引く。次に、算出部１０４ｄは、全領域の色ずれベクトルの平均をとることで、シフトずれ成分の水平成分と鉛直成分を算出する。 In step S106, the calculation unit 104d first subtracts the rotationally symmetric component calculated in step S105 from the representative value for each region adopted in step S102. Next, the calculation unit 104d calculates the horizontal component and the vertical component of the shift shift component by taking the average of the color shift vectors of the entire region.
ステップＳ１０７では、補正部１０４ｄは、撮像画像（入力画像）に対して、ステップＳ１０５で取得した回転対称成分およびステップＳ１０６で取得したシフトずれ成分を用いて倍率色収差を補正する補正処理を行う。 In step S107, the correction unit 104d performs a correction process for correcting the lateral chromatic aberration on the captured image (input image) using the rotationally symmetric component acquired in step S105 and the shift shift component acquired in step S106.
なお、本実施例では、回転対称成分を算出した後、シフトずれ成分を算出したが、シフトずれ成分を算出した後、回転対称成分を算出してもよい。 In this embodiment, after calculating the rotationally symmetric component, the shift shift component is calculated. However, after calculating the shift shifted component, the rotationally symmetric component may be calculated.
以上説明したように、本実施例によれば、撮像光学系の製造誤差に起因する倍率色収差が精度良く補正された補正画像を生成可能である。 As described above, according to the present embodiment, it is possible to generate a corrected image in which the lateral chromatic aberration due to the manufacturing error of the imaging optical system is accurately corrected.
本実施例の撮像装置の基本構成は、実施例１と同様である。図７は、本実施例の倍率色収差補正のための画像処理を示すフローチャートである。本実施例では、選択部１０４ｃは、線対称になるように使用する領域を選択する。 The basic configuration of the imaging apparatus of the present embodiment is the same as that of the first embodiment. FIG. 7 is a flowchart showing image processing for correcting chromatic aberration of magnification according to this embodiment. In the present embodiment, the selection unit 104c selects a region to be used so as to be line symmetric.
ステップＳ２０１では、画像処理部１０４は、撮像画像としての入力画像を生成する。なお、本実施例では、画像処理部１０４は、入力画像を自ら生成することで取得するが、異なる処理部で生成された入力画像を取得するようにしてもよい。 In step S201, the image processing unit 104 generates an input image as a captured image. In the present embodiment, the image processing unit 104 acquires the input image by generating the input image itself. However, the image processing unit 104 may acquire the input image generated by a different processing unit.
ステップＳ２０２では、画像処理部１０４（検出部１０４ａ）のエッジ検出部４０１は、ステップＳ２０１で取得した入力画像におけるメリジオナル方向エッジ（メリジオナル方向に近い方向でのエッジを含む）を検出する。すなわち、エッジ検出部４０１は、入力画像の領域ごとに図８（Ａ）の方向へ単調増加または単調減少するエッジを検出する。また、エッジ検出部４０１は、ステップＳ２０１で取得した入力画像におけるサジタル方向エッジ（サジタル方向に近い方向でのエッジを含む）を検出する。すなわち、エッジ検出部４０１は、入力画像の領域ごとに図８（Ｂ）の方向へ単調増加または単調減少するエッジを検出する。色ずれ量取得部４０２は、これらエッジを含む各エッジ部において、メリジオナル方向およびサジタル方向の色ずれ量としての倍率色収差量（回転対称成分とシフトずれ成分の合計量を示す倍率色収差情報）を取得（検出）する。そして、図３のように分割された画面上の各領域内で検出した色ずれ量を集計し、加算平均を各領域の代表値として採用する。なお、集計する前に各エッジの検出値に対して外れ値除去などのエラー回避処理を加えてもよい。また、算出された代表値を、閾値処理などによって検出値として採用できるかを判定してもよい。以上により、各領域での２次元的な色ずれベクトルが得られる。 In step S202, the edge detection unit 401 of the image processing unit 104 (detection unit 104a) detects a meridional direction edge (including an edge in a direction close to the meridional direction) in the input image acquired in step S201. That is, the edge detection unit 401 detects an edge that monotonously increases or monotonously decreases in the direction of FIG. 8A for each area of the input image. Further, the edge detection unit 401 detects a sagittal direction edge (including an edge in a direction close to the sagittal direction) in the input image acquired in step S201. That is, the edge detection unit 401 detects an edge that monotonously increases or monotonously decreases in the direction of FIG. 8B for each area of the input image. The color misregistration amount acquisition unit 402 acquires, at each edge portion including these edges, a magnification chromatic aberration amount (a magnification chromatic aberration information indicating a total amount of a rotationally symmetric component and a shift shift component) as a color misregistration amount in the meridional direction and the sagittal direction. (To detect. Then, the color misregistration amounts detected in each area on the screen divided as shown in FIG. 3 are totaled, and the addition average is adopted as the representative value of each area. Note that an error avoidance process such as outlier removal may be added to the detected value of each edge before the aggregation. Further, it may be determined whether the calculated representative value can be adopted as a detection value by threshold processing or the like. As described above, a two-dimensional color misregistration vector in each region is obtained.
ステップＳ２０３では、取得部２０４ｂは、ステップＳ２０２の検出結果から、入力画像の複数の位置ごとに色ずれ量が検出されているかどうかを示す検出情報を取得する。具体的には、取得部１０４ｂは、エッジ部が検出されなかったり、領域の代表値が不採用になったりした領域を示す情報を取得する。ただし、実施例１とは異なり、取得部１０４ｂは、水平成分、鉛直成分ごとに取得する。例えば、水平成分については、画像の水平方向ではサジタル方向エッジが検出されずとも、メリジオナル方向エッジが検出されていれば、検出値が取得されたことになる。一方、画像の斜め方向ではメリジオナル方向エッジとサジタル方向エッジがともに検出されていないと水平成分が算出できないため、メリジオナル方向エッジとサジタル方向エッジがともに検出された場合のみ検出値が取得されたことになる。同様に、鉛直成分については、画像の水平方向ではサジタル方向エッジが検出されていればよいが、画像の斜め方向ではメリジオナル方向エッジとサジタル方向エッジがともに検出される必要がある。 In step S203, the acquisition unit 204b acquires detection information indicating whether or not a color misregistration amount is detected for each of a plurality of positions of the input image from the detection result of step S202. Specifically, the acquisition unit 104b acquires information indicating a region where an edge portion is not detected or a representative value of the region is not adopted. However, unlike the first embodiment, the acquisition unit 104b acquires for each horizontal component and vertical component. For example, for the horizontal component, even if no sagittal edge is detected in the horizontal direction of the image, if a meridional edge is detected, a detection value is obtained. On the other hand, since the horizontal component cannot be calculated unless both the meridional edge and the sagittal edge are detected in the diagonal direction of the image, the detection value is obtained only when both the meridional edge and the sagittal edge are detected. Become. Similarly, for the vertical component, it is only necessary to detect the sagittal direction edge in the horizontal direction of the image, but it is necessary to detect both the meridional direction edge and the sagittal direction edge in the oblique direction of the image.
ステップＳ２０４では、選択部１０４ｃは、取得部１０４ｂにより取得された検出情報を用いて検出部１０４ａにより検出された色ずれ量の位置関係を判定し、検出された色ずれ量の位置関係に基づいて、補正情報を算出する際に使用する領域を選択する。本実施例では、選択部１０４ｃは、水平成分が検出された領域のうち、左右対称になるように使用する領域を選択する。また、選択部１０４ｃは、鉛直成分が検出された領域のうち、上下対称になるように使用する領域を選択する。 In step S204, the selection unit 104c determines the positional relationship of the color misregistration amount detected by the detection unit 104a using the detection information acquired by the acquisition unit 104b, and based on the detected positional relationship of the color misregistration amount. The area to be used when calculating the correction information is selected. In the present embodiment, the selection unit 104c selects a region to be used so as to be left-right symmetric among regions in which horizontal components are detected. Moreover, the selection part 104c selects the area | region used so that it may become vertically symmetrical among the area | regions where the vertical component was detected.
ステップＳ２０５では、算出部１０４ｄは、ステップＳ２０４で選択された上下対称となる領域について鉛直成分の加算平均をとることで、シフトずれ成分の鉛直成分を算出する。また、算出部１０４ｄは、ステップＳ２０４で選択された左右対称となる領域について水平成分の加算平均をとることで、シフトずれ成分の水平成分を算出する。 In step S205, the calculation unit 104d calculates the vertical component of the shift shift component by taking the vertical average of the vertical components for the vertically symmetrical region selected in step S204. In addition, the calculation unit 104d calculates the horizontal component of the shift shift component by taking an average of the horizontal components for the symmetric region selected in step S204.
ステップＳ２０６では、算出部１０４ｄは、ステップＳ２０２で採用した領域ごとの代表値からステップＳ２０５で取得したシフトずれ成分を差し引く。その結果を同じ像高の領域ごとに平均化し、像高に対する色ずれ量の変化を多項式近似するなどの方法で算出する。これを回転対称成分とする。 In step S206, the calculation unit 104d subtracts the shift deviation component acquired in step S205 from the representative value for each region adopted in step S202. The result is averaged for each region having the same image height, and the change of the color shift amount with respect to the image height is calculated by a method such as polynomial approximation. This is a rotationally symmetric component.
ステップＳ２０７では、補正部１０４ｅは、ステップＳ２０１で得られた撮像画像（入力画像）に対して、ステップＳ２０５で取得したシフトずれ成分およびステップＳ２０６で取得した回転対称成分を用いて倍率色収差を補正する補正処理を行う。 In step S207, the correction unit 104e corrects the chromatic aberration of magnification with respect to the captured image (input image) obtained in step S201 using the shift shift component acquired in step S205 and the rotationally symmetric component acquired in step S206. Perform correction processing.
なお、本実施例では、シフトずれ成分を算出した後、回転対称成分を算出したが、回転対称成分を算出した後、シフトずれ成分を算出してもよい。 In this embodiment, after calculating the shift deviation component, the rotationally symmetric component is calculated. However, after calculating the rotationally symmetric component, the shift deviation component may be calculated.
以上説明したように、本実施例によれば、撮像光学系の製造誤差に起因する倍率色収差が精度良く補正された補正画像を生成可能である。 As described above, according to the present embodiment, it is possible to generate a corrected image in which the lateral chromatic aberration due to the manufacturing error of the imaging optical system is accurately corrected.
図９は、本実施例の画像処理装置を備える撮像装置１３０の構成を示すブロック図である。本実施例では、画像処理部１０４は、判定部１０４ｆを備える。判定部１０４ｆは、算出部１０４ｄが使用する領域の数によって回転対称成分とシフトずれ成分とからなる補正情報を算出するか、回転対称成分のみからなる補正情報を算出するかを判定する。すなわち、判定部１０４ｆは、補正情報に非回転対称成分を含ませるかどうかを判定する。他の構成は、実施例１と同様であるため、詳細な説明は省略する。 FIG. 9 is a block diagram illustrating a configuration of an imaging apparatus 130 including the image processing apparatus according to the present embodiment. In the present embodiment, the image processing unit 104 includes a determination unit 104f. The determining unit 104f determines whether to calculate correction information including a rotationally symmetric component and a shift shift component or to calculate correction information including only a rotationally symmetric component depending on the number of regions used by the calculating unit 104d. That is, the determination unit 104f determines whether to include a non-rotationally symmetric component in the correction information. Since other configurations are the same as those of the first embodiment, detailed description thereof is omitted.
ステップＳ３０１〜Ｓ３０４の処理はそれぞれ、実施例１の図６のステップＳ１０１〜Ｓ１０４の処理と同じであるため、詳細な説明は省略する。 Since the processes in steps S301 to S304 are the same as the processes in steps S101 to S104 in FIG. 6 of the first embodiment, detailed description thereof is omitted.
ステップＳ３０５では、判定部１０４ｆは、ステップＳ３０４で選択された算出部１０４ｃにより使用される領域の数が所定値より大きいかどうかを判定する。本実施例では、領域の全数の５割が所定値として設定されている。選択された領域の数が所定値より大きい場合、ステップＳ３０６に進み、選択された領域の数が所定値より小さい場合、ステップＳ３０９に進む。なお、選択された領域の数が所定値に等しい場合、いずれのステップに進むかは任意に設定可能である。 In step S305, the determination unit 104f determines whether the number of areas used by the calculation unit 104c selected in step S304 is greater than a predetermined value. In this embodiment, 50% of the total number of areas is set as the predetermined value. When the number of selected areas is larger than the predetermined value, the process proceeds to step S306, and when the number of selected areas is smaller than the predetermined value, the process proceeds to step S309. When the number of selected areas is equal to a predetermined value, it is possible to arbitrarily set which step to proceed to.
また、本実施例では、算出部１０４ｄにより使用される領域の数を用いて補正情報の算出方法を選択したが、本発明はこれに限定されない。例えば、エッジ部が検出された数を用いて補正情報の算出方法を選択してもよい。この場合、ステップＳ３０５の処理は、ステップＳ３０３の処理とステップＳ３０４の処理との間に実行されてもよい。 In this embodiment, the correction information calculation method is selected using the number of regions used by the calculation unit 104d. However, the present invention is not limited to this. For example, the correction information calculation method may be selected using the number of detected edge portions. In this case, the process of step S305 may be executed between the process of step S303 and the process of step S304.
ステップＳ３０６〜Ｓ３０８の処理はそれぞれ、実施例１の図６のステップＳ１０５〜Ｓ１０７の処理と同じであるため、詳細な説明は省略する。 Since the processes of steps S306 to S308 are the same as the processes of steps S105 to S107 of FIG. 6 in the first embodiment, detailed description thereof is omitted.
ステップＳ３０９では、算出部１０４ｃは、ステップＳ３０２で採用した領域ごとの代表値を同じ像高の領域ごとに平均化し、像高に対する色ずれ量の変化を多項式近似するなどの方法で算出する。これを回転対称成分とする。またシフトずれ成分を０とする。 In step S309, the calculation unit 104c averages the representative value for each region adopted in step S302 for each region having the same image height, and calculates the change in the color shift amount with respect to the image height by a polynomial approximation. This is a rotationally symmetric component. The shift deviation component is set to 0.
なお、本実施例で説明した画像処理方法と実施例２で説明した画像処理方法とを組み合わせてもよい。この場合、水平成分および鉛直成分の算出に用いる領域の数などの情報を用いて判定部１０４ｅが判定し、シフトずれ成分を算出した後に回転対称成分が算出される。 Note that the image processing method described in the present embodiment may be combined with the image processing method described in the second embodiment. In this case, the determination unit 104e makes a determination using information such as the number of regions used for calculating the horizontal component and the vertical component, and after calculating the shift shift component, the rotationally symmetric component is calculated.
以上説明したように、本実施例によれば、撮像光学系の製造誤差に起因する倍率色収差が精度良く補正された補正画像を生成可能である。
［その他の実施例]
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
As described above, according to the present embodiment, it is possible to generate a corrected image in which the lateral chromatic aberration due to the manufacturing error of the imaging optical system is accurately corrected.
[Other Examples]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１０１ 撮像光学系（光学系）
１０４ 画像処理部（画像処理装置）
１０４ａ 検出部
１０４ｃ 選択部
１０４ｄ 算出部
101 Imaging optical system (optical system)
104 Image processing unit (image processing apparatus)
104a detection unit 104c selection unit 104d calculation unit
Claims (11)
前記入力画像の複数の位置ごとの色ずれ量を検出する検出部と、
前記検出部により検出された複数の位置ごとの色ずれ量の位置関係に基づいて、前記検出部により検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択する選択部と、
前記一部の色ずれ量に基づいて補正情報を算出する算出部と、を有することを特徴とする画像処理装置。 An image processing apparatus that performs image processing for calculating correction information of lateral chromatic aberration composed of a rotationally symmetric component and a non-rotationally symmetric component for an input image generated by imaging using an optical system,
A detection unit that detects a color misregistration amount for each of a plurality of positions of the input image;
Selection for selecting at least a part of the color misregistration amount among the color misregistration amounts detected by the detection unit based on the positional relationship of the color misregistration amounts for each of the plurality of positions detected by the detection unit. And
An image processing apparatus comprising: a calculation unit that calculates correction information based on the partial color misregistration amount.
請求項１から８のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。 An image sensor for imaging a subject image formed by an optical system;
An image processing apparatus comprising: the image processing apparatus according to claim 1.
前記入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、
前記検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、前記検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、
前記少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、を有することを特徴とする画像処理方法。 An image processing method for performing image processing for calculating correction information of chromatic aberration of magnification composed of a rotationally symmetric component and a non-rotationally symmetric component for an input image generated by imaging using an optical system,
A detection step of detecting a color misregistration amount for each of a plurality of positions from the input image;
A step of selecting at least a part of the color misregistration amount among the color misregistration amounts detected in the detection step based on the positional relationship of the color misregistration amounts for the plurality of positions detected in the detection step. When,
And a step of calculating correction information based on at least a part of the color misregistration amount.
前記入力画像から複数の位置ごとの色ずれ量を検出する検出ステップと、
前記検出ステップにおいて検出された複数の位置ごとの色ずれ量の位置関係に基づいて、前記検出ステップにおいて検出された複数の位置ごとの色ずれ量のうち少なくとも一部の色ずれ量を選択するステップと、
前記少なくとも一部の色ずれ量に基づいて補正情報を算出するステップと、をコンピュータに実行させるための画像処理プログラム。
An image processing program for performing image processing for calculating correction information of lateral chromatic aberration composed of a rotationally symmetric component and a non-rotationally symmetric component for an input image generated by imaging using an optical system,
A detection step of detecting a color misregistration amount for each of a plurality of positions from the input image;
A step of selecting at least a part of the color misregistration amount among the color misregistration amounts detected in the detection step based on the positional relationship of the color misregistration amounts for the plurality of positions detected in the detection step. When,
An image processing program for causing a computer to execute correction information based on at least a part of the color misregistration amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018096718A JP7051580B2 (en) | 2018-05-21 | 2018-05-21 | Image processing device, image pickup device, image processing method and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018096718A JP7051580B2 (en) | 2018-05-21 | 2018-05-21 | Image processing device, image pickup device, image processing method and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019204984A true JP2019204984A (en) | 2019-11-28 |
| JP7051580B2 JP7051580B2 (en) | 2022-04-11 |
Family
ID=68727361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018096718A Active JP7051580B2 (en) | 2018-05-21 | 2018-05-21 | Image processing device, image pickup device, image processing method and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7051580B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011101129A (en) * | 2009-11-04 | 2011-05-19 | Canon Inc | Image processing apparatus control method therefor |
| JP2011259278A (en) * | 2010-06-10 | 2011-12-22 | Renesas Electronics Corp | Image processing apparatus, image processing method, and image processing program |
| JP2012015781A (en) * | 2010-06-30 | 2012-01-19 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP2012191607A (en) * | 2011-02-21 | 2012-10-04 | Canon Inc | Image processing system, image processing method and program |
| JP2015041900A (en) * | 2013-08-22 | 2015-03-02 | キヤノン株式会社 | Image processing device, its control method, and control program |
| JP2015226158A (en) * | 2014-05-27 | 2015-12-14 | ソニー株式会社 | Image processing system and image processing method |
| JP2018019272A (en) * | 2016-07-28 | 2018-02-01 | キヤノン株式会社 | Image processing device, imaging apparatus, image processing method, and image processing program |
-
2018
- 2018-05-21 JP JP2018096718A patent/JP7051580B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011101129A (en) * | 2009-11-04 | 2011-05-19 | Canon Inc | Image processing apparatus control method therefor |
| JP2011259278A (en) * | 2010-06-10 | 2011-12-22 | Renesas Electronics Corp | Image processing apparatus, image processing method, and image processing program |
| JP2012015781A (en) * | 2010-06-30 | 2012-01-19 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP2012191607A (en) * | 2011-02-21 | 2012-10-04 | Canon Inc | Image processing system, image processing method and program |
| JP2015041900A (en) * | 2013-08-22 | 2015-03-02 | キヤノン株式会社 | Image processing device, its control method, and control program |
| JP2015226158A (en) * | 2014-05-27 | 2015-12-14 | ソニー株式会社 | Image processing system and image processing method |
| JP2018019272A (en) * | 2016-07-28 | 2018-02-01 | キヤノン株式会社 | Image processing device, imaging apparatus, image processing method, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7051580B2 (en) | 2022-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5388671B2 (en) | Imaging apparatus and image conversion method | |
| JP5959976B2 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
| JP6261676B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5840008B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5448621B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP5528139B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| EP3276944B1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and image processing program | |
| US20190297267A1 (en) | Control apparatus, image capturing apparatus, control method, and storage medium | |
| JP2011160255A5 (en) | ||
| JP2010086139A (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
| JP2017194591A (en) | Distance measurement device, imaging apparatus, and distance measurement method | |
| JP7051580B2 (en) | Image processing device, image pickup device, image processing method and image processing program | |
| JP5344647B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| CN107306350B (en) | Image processing apparatus, image capturing apparatus, lens apparatus, and image processing method | |
| JP2016201600A (en) | Image processing apparatus, imaging device, image processing method, image processing program, and storage medium | |
| JP6136364B2 (en) | Defocus amount detection device and camera | |
| JP6907040B2 (en) | Image processing equipment, imaging equipment, lens equipment, image processing methods, programs, and storage media | |
| JP6493444B2 (en) | Imaging device | |
| JP2016129280A (en) | Shading correction device and correction method | |
| JP2016201601A (en) | Image processing apparatus, imaging device, image processing method, image processing program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210506 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220330 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7051580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |