JP2013251625A - Image processing system, control method therefor, and program - Google Patents
Image processing system, control method therefor, and program Download PDFInfo
- Publication number
- JP2013251625A JP2013251625A JP2012123423A JP2012123423A JP2013251625A JP 2013251625 A JP2013251625 A JP 2013251625A JP 2012123423 A JP2012123423 A JP 2012123423A JP 2012123423 A JP2012123423 A JP 2012123423A JP 2013251625 A JP2013251625 A JP 2013251625A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- optical
- chromatic aberration
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012937 correction Methods 0.000 claims abstract description 265
- 230000003287 optical effect Effects 0.000 claims abstract description 157
- 230000004075 alteration Effects 0.000 claims abstract description 94
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 238000011156 evaluation Methods 0.000 description 22
- 230000002093 peripheral effect Effects 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000010363 phase shift Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、ズームレンズの焦点距離、フォーカスレンズ位置、及び光学絞り量といった可変の光学パラメータを有する画像処理装置、その制御方法及びプログラムに関する。 The present invention relates to an image processing apparatus having variable optical parameters such as a focal length of a zoom lens, a focus lens position, and an optical aperture amount, and a control method and program thereof.
ビデオカメラやデジタルカメラ等の撮像装置においては、遠くの被写体をアップにして撮影するためのズームレンズ、撮影したい被写体にピントを合わせるためのフォーカスレンズ、様々な光量の被写体に対して適切な露光状態を調整するための光学絞り等から構成されたレンズユニットが搭載される。そして、このレンズユニットにより投影された光学像を、CCDやCMOS等の固体撮像素子により光電変換して映像信号を生成し、モニタに表示したり、記録メディアに記録したりする。 In an imaging device such as a video camera or digital camera, a zoom lens for shooting a distant subject up, a focus lens for focusing on the subject to be photographed, and an appropriate exposure state for subjects with various amounts of light A lens unit composed of an optical diaphragm or the like for adjusting the lens is mounted. The optical image projected by the lens unit is photoelectrically converted by a solid-state imaging device such as a CCD or CMOS to generate a video signal, which is displayed on a monitor or recorded on a recording medium.
このようなレンズユニットにおいては、光の回折やレンズの屈折率等の物理現象に起因した収差や光量落ちと呼ばれる特性劣化が生じることも良く知られている。
ビデオカメラ等のレンズユニットで特に留意している収差は、倍率色収差、軸上色収差、歪曲収差である。また、光量落ちについては、特に撮影画角の四隅において顕著となる周辺光量落ちに留意している。これらの収差や周辺光量落ちは、レンズユニット設計において所定以上発生しないように設計されるのが一般的であった。
In such a lens unit, it is also well known that characteristic deterioration called aberration or light quantity drop due to physical phenomena such as light diffraction and lens refractive index occurs.
Aberrations particularly noted for lens units such as video cameras are lateral chromatic aberration, axial chromatic aberration, and distortion. In addition, with regard to the drop in the amount of light, attention is paid to the drop in the amount of peripheral light that is particularly noticeable at the four corners of the shooting angle of view. In general, these aberrations and peripheral light loss are designed so as not to occur more than a predetermined amount in the lens unit design.
ところが近年、こうした収差や周辺光量落ちを信号処理で補正して、最終出力画像で目立たなくすることで、レンズユニット設計の自由度を確保し、コスト削減を狙ったり、収差や周辺光量落ち以外のレンズ性能の向上を狙ったりしたレンズユニット設計を実現する技術が提案されている。中でも、倍率色収差、歪曲収差、周辺光量落ちは、被写体にほとんど依存せず、ズームレンズの焦点距離、フォーカスレンズ位置、及び光学絞り量の3つの光学パラメータに応じて、光軸中心に対する点対称な現象となる。そこで、予め所定の光学パラメータの状態に対応した補正特性を、補正データベースとして記憶しておき、光学パラメータの状態に応じて、光軸中心に対する点対称な補正処理を行う技術が提案されている。 However, in recent years, such aberration and peripheral light loss correction have been corrected by signal processing to make it inconspicuous in the final output image, thereby ensuring the freedom of lens unit design and aiming at cost reduction, Techniques have been proposed to realize lens unit design aimed at improving lens performance. Among them, the chromatic aberration of magnification, distortion, and peripheral light loss hardly depend on the subject and are point-symmetric with respect to the center of the optical axis according to three optical parameters such as the focal length of the zoom lens, the focus lens position, and the optical aperture amount. It becomes a phenomenon. Therefore, a technique has been proposed in which correction characteristics corresponding to a predetermined optical parameter state are stored in advance as a correction database, and point-symmetric correction processing is performed with respect to the optical axis center in accordance with the optical parameter state.
周辺光量落ちは、光軸中心に対して点対称に光量が減衰する現象なので、光軸中心に対して点対称なゲイン処理を施すことで実現される。また、倍率色収差は、光軸中心に対して点対称な光の波長別の結像位置ズレという現象なので、光軸中心に対して点対称な座標変換処理を、例えばRGB(赤緑青)3原色画像のRとBに対して行い、RGBの結象位置を揃えることで実現される。また、歪曲収差は、光軸中心に対して点対称な結像位置歪みという現象なので、倍率色収差補正と同様、光軸中心に対する点対称な座標変換処理を行うことで実現される。 The peripheral light amount drop is a phenomenon in which the light amount attenuates point-symmetrically with respect to the center of the optical axis, and thus is realized by performing point-symmetric gain processing with respect to the center of the optical axis. Further, since the chromatic aberration of magnification is a phenomenon of image-forming position deviation for each wavelength of light that is point-symmetric with respect to the optical axis center, coordinate conversion processing that is point-symmetric with respect to the optical axis center is performed by, for example, RGB (red green blue) three primary colors. This is performed for R and B of the image, and the image positions of RGB are aligned. Further, since distortion is a phenomenon called image position distortion that is point-symmetric with respect to the center of the optical axis, it can be realized by performing coordinate transformation processing that is point-symmetric with respect to the center of the optical axis, similar to correction of lateral chromatic aberration.
さらに、これら周辺光量落ち補正、倍率色収差補正、歪曲収差補正を同時に実現するにあたり、補正の順序をどうするのが最終補正画質として適切かという課題が生じている。この課題に対して、特許文献1においては、倍率色収差補正や歪曲収差補正のような座標変換を伴う補正を実施する前に、周辺光量落ち補正のような座標変換を伴わない補正を実施するのが良いとしている。理由としては座標変換を伴う補正を先に実施してしまうと、座標変換を伴わない周辺光量落ち補正の補正ゲインが、座標変換後の画像に正しく適用できないためであるとしている。 Further, when realizing the peripheral light amount drop correction, the magnification chromatic aberration correction, and the distortion aberration correction at the same time, there arises a problem of how the correction order is appropriate as the final correction image quality. In order to deal with this problem, in Japanese Patent Application Laid-Open No. H11-228707, correction without coordinate conversion such as peripheral light amount drop correction is performed before performing correction with coordinate conversion such as magnification chromatic aberration correction or distortion aberration correction. Is good. The reason is that if the correction accompanied by the coordinate conversion is performed first, the correction gain of the peripheral light amount drop correction without the coordinate conversion cannot be correctly applied to the image after the coordinate conversion.
周辺光量落ち、倍率色収差、歪曲収差の特性は、本来、上述した光学パラメータの状態に応じて様々な様相を呈するものである。さらに、これらいずれかの補正の後に別の補正を施す場合に、後から施した補正は、先に施した補正の影響により精度が低下する。したがって、最終補正画質を適切なものとするには、上述した光学パラメータに応じて、補正の精度としてどの補正を重視した補正順序とするかを考慮すべきであるが、上記従来の技術では、何ら考慮されていない。 The characteristics of peripheral light loss, lateral chromatic aberration, and distortion inherently exhibit various aspects depending on the state of the optical parameters described above. Furthermore, when another correction is performed after any of these corrections, the accuracy of the correction performed later is reduced due to the influence of the correction performed earlier. Therefore, in order to make the final correction image quality appropriate, it is necessary to consider which correction is emphasized as the correction accuracy according to the optical parameters described above. No consideration is given.
本願発明者が検討したところによれば、周辺光量落ちはズームレンズの焦点距離と光学絞り量に比較的大きく依存して特性が変化する。具体的には、焦点距離が短い(ワイド)程、周辺光量落ちが生じ始める光軸中心からの距離(以下、像高と表記する)は遠く(以下、像高が高いと表記する)なり、かつ、周辺光量落ちは像高に対して急峻に折れ曲がる特性となることが多い。逆に焦点距離が長い(テレ)程、周辺光量落ちが生じ始める像高は低くなり、かつ、周辺光量落ちは像高に対して緩やかに折れ曲がる特性となることが多い。 According to a study by the present inventor, the peripheral light amount drop has a characteristic that changes relatively depending on the focal length of the zoom lens and the optical aperture amount. Specifically, as the focal length is shorter (wide), the distance from the center of the optical axis (hereinafter referred to as the image height) where the peripheral light amount starts to decrease is farther (hereinafter referred to as the higher image height), In addition, the decrease in the amount of peripheral light often has a characteristic of sharply bending with respect to the image height. Conversely, the longer the focal length (telephoto), the lower the image height at which the peripheral light amount starts to drop, and the peripheral light amount drop often has a characteristic of bending gently with respect to the image height.
また、本願発明者が検討したところによれば、倍率色収差や歪曲収差は、ズームレンズの焦点距離とフォーカスレンズ位置に比較的大きく依存して特性が変化する。具体的には、焦点距離及びフォーカスレンズ位置が至近である場合において、とりわけ収差が大きくなることが多い。ただし、他の焦点距離やフォーカスレンズ位置であっても収差が生じないわけはない。 Further, according to the study by the present inventor, the characteristics of the chromatic aberration of magnification and distortion change relatively depending on the focal length of the zoom lens and the focus lens position. Specifically, aberrations often increase particularly when the focal length and the focus lens position are close. However, aberrations do not necessarily occur even at other focal lengths or focus lens positions.
さらに、本願発明者が検討したところによれば、補正に過不足が生じた場合には、倍率色収差、歪曲収差、周辺光量落ちの順で補正後の画質への影響が大きくなる。とりわけ倍率色収差は、無彩色の被写体のエッジに対して本来は無いはずの色が発色してしまう現象であるので、最も目立ちやすい。歪曲収差は、被写体エッジが歪んでしまう現象だが、色が発色しないという点で、倍率色収差よりは目立ちにくい。周辺光量落ちは、空等の平坦な被写体の場合にのみ目立ちやすくなる。
そして、これは、収差及び周辺光量落ちを補正することが可能な撮像装置のみ関連する課題ではない。撮像装置で得られた画像を取得して、取得した画像の収差及び周辺光量落ちを補正するアプリケーションを備えたパーソナルコンピュータ等の画像処理機能を備えた演算装置においても同様の課題が発生し得る。
Further, according to a study by the present inventor, when the correction is excessive or insufficient, the influence on the corrected image quality increases in the order of chromatic aberration of magnification, distortion, and decrease in peripheral light amount. In particular, the chromatic aberration of magnification is the most noticeable because it is a phenomenon in which a color that is not supposed to be originally developed on the edge of an achromatic object. Distortion is a phenomenon in which the subject edge is distorted, but is less noticeable than lateral chromatic aberration in that the color does not develop. The decrease in the amount of peripheral light becomes conspicuous only in the case of a flat subject such as the sky.
This is not a problem related only to an imaging apparatus capable of correcting aberrations and peripheral light loss. A similar problem may occur in an arithmetic device having an image processing function, such as a personal computer provided with an application that acquires an image obtained by the imaging device and corrects the aberration and peripheral light loss of the obtained image.
本発明は上記のような点に鑑みてなされたものであり、例えば倍率色収差補正、歪曲収差補正、光量落ち補正といった光学補正を行う際に、最終補正画質を適切なものにできるようにすることを目的とする。 The present invention has been made in view of the above points. For example, when performing optical correction such as magnification chromatic aberration correction, distortion aberration correction, and light quantity drop correction, the final correction image quality can be made appropriate. With the goal.
本発明の画像処理装置は、画像信号に対して座標変換を伴わない光学補正を実行する第1の光学補正手段と、前記画像信号に対して座標変換を伴う光学補正を実行する第2の光学補正手段と、前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータに応じて、前記第1の光学補正手段による座標変換を伴わない光学補正と、前記第2の光学補正手段による座標変換を伴う光学補正との補正順序を切り替える制御手段とを備えたことを特徴とする。 An image processing apparatus according to the present invention includes a first optical correction unit that performs optical correction without coordinate transformation on an image signal, and a second optical that performs optical correction with coordinate transformation on the image signal. A correction unit, an optical correction without coordinate transformation by the first optical correction unit, and an optical correction according to an optical parameter of the imaging optical system used when the image signal is generated by the imaging device; And a control means for switching a correction order with respect to the optical correction accompanied by coordinate conversion by the optical correction means.
本発明によれば、光学パラメータに応じて光学補正の補正順序を切り替えることにより、光学補正を行う際に、最終補正画質を適切なものとすることができる。 According to the present invention, the final correction image quality can be made appropriate when performing optical correction by switching the correction order of optical correction according to the optical parameters.
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1は、本発明を適用した画像処理装置の例である、第1の実施形態に係るビデオカメラの構成を示す図である。101は結像光学系であり、ズームレンズの焦点距離、フォーカスレンズ位置、及び光学絞り量を可変の光学パラメータとして制御対象とすることができる。102は撮像素子であるRGB(赤緑青)3板式イメージエリアセンサである。撮像素子102は、ベイヤー配列のように、複数のカラーフィルタに対応する画素が所定のパターンで配置された単板式イメージエリアセンサであってもよい。103は相関二重サンプリング及びアナログデジタル変換装置からなるアナログフロントエンド(以下AFEと略記する)である。
Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
(First embodiment)
FIG. 1 is a diagram showing a configuration of a video camera according to the first embodiment, which is an example of an image processing apparatus to which the present invention is applied.
104は第1の切替部である。105は第1の光学補正手段として機能する光量落ち補正部である。106は第2の切替部である。107は第2の光学補正手段として機能する倍率色収差補正部である。108は第3の切替部である。109はカメラ信号処理部である。
110は光学系駆動部である。111はセンサ駆動部である。112は光量落ち補正値生成部である。113は倍率色収差補正値生成部である。114は補正順序切替判定部である。115は同期信号生成部である。116は像高演算部である。117はマイコンである。118は光学補正データベースである。119はAE(自動露出)評価値生成部である。120はAF(オートフォーカス)評価値生成部である。121はズーム操作入力部である。
また、図1に示す信号及びデータとして、S101はRAW画像信号である。S102は第1の切替部出力画像信号である。S103は光量落ち補正済画像信号である。S104は第2の切替部出力画像信号である。S105は倍率色収差補正済画像信号である。S106は第3の切替部出力画像信号である。S107はカメラ信号処理済画像信号である。なお、第1の実施形態において、RAW画像信号S101、第1の切替部出力画像信号、光量落ち補正済画像信号S103、第2の切替部出力画像信号S104、倍率色収差補正済画像信号S105、及び第3の切替部出力画像信号S106は、RGB3板式イメージエリアセンサ102の各色に対応したRGB3チャネルの画像信号である。
As a signal and data shown in FIG. 1, S101 is a RAW image signal. S102 is a first switching unit output image signal. S103 is a light quantity drop corrected image signal. S104 is a second switching unit output image signal. S105 is a magnification chromatic aberration corrected image signal. S106 is a third switching unit output image signal. S107 is a camera signal processed image signal. In the first embodiment, the RAW image signal S101, the first switching unit output image signal, the light amount drop corrected image signal S103, the second switching unit output image signal S104, the magnification chromatic aberration corrected image signal S105, and The third switching unit output image signal S106 is an RGB3 channel image signal corresponding to each color of the RGB3 plate
S108はズーム・フォーカス・絞り用のモータを駆動する結像光学系駆動信号である。S109は光電荷蓄積・読み出しを行うセンサ駆動信号である。S110は光量落ち補正値である。S111は倍率色収差補正値である。S112は補正順序切替信号である。S113は水平及び垂直同期信号である。S114は像高データである。S115はズーム・フォーカス・絞り位置を指示する結像光学系駆動設定データである。S116は電子シャッター量等を指示するセンサ駆動設定データである。S117はセンサ中心位置と光学中心位置の相対位置を指示する中心座標データである。S118はズーム・フォーカス・絞り位置に応じた光量落ち特性データである。S119はズーム・フォーカス・絞り位置に応じた倍率色収差特性データである。 S108 is an imaging optical system drive signal for driving a zoom / focus / aperture motor. S109 is a sensor driving signal for accumulating / reading the photocharge. S110 is a light quantity drop correction value. S111 is a magnification chromatic aberration correction value. S112 is a correction order switching signal. S113 is a horizontal and vertical synchronizing signal. S114 is image height data. S115 is imaging optical system drive setting data for instructing the zoom / focus / aperture position. S116 is sensor drive setting data for instructing an electronic shutter amount or the like. S117 is center coordinate data that indicates the relative position between the sensor center position and the optical center position. S118 is light quantity drop characteristic data corresponding to the zoom / focus / aperture position. S119 is magnification chromatic aberration characteristic data corresponding to the zoom / focus / aperture position.
S121は白バランスゲイン等のカメラ信号処理設定データである。S122は光学特性データである。S123はAE評価用信号である。S124はAF評価用信号である。S125はAE評価データである。S126はAF評価データである。S127はズーム制御信号である。 S121 is camera signal processing setting data such as white balance gain. S122 is optical characteristic data. S123 is an AE evaluation signal. S124 is an AF evaluation signal. S125 is AE evaluation data. S126 is AF evaluation data. S127 is a zoom control signal.
図2は、倍率色収差補正値生成部113の詳細な構成を示す図である。詳細は後述するが、241は関数係数算出回路、242は補正値算出回路、243はXYベクトル係数算出回路、244、245は乗算器である。
FIG. 2 is a diagram illustrating a detailed configuration of the magnification chromatic aberration correction
また、図3は、倍率色収差補正部107の詳細な構成を示す図である。詳細は後述するが、301、302は補間制御回路、303はバッファメモリ、304〜311は水平補間回路、312は垂直補間回路である。
FIG. 3 is a diagram showing a detailed configuration of the magnification chromatic
次に、第1の実施形態に係るビデオカメラの動作の説明を行う。
結像光学系101を通じて、イメージエリアセンサ102の受光面上に結像された光学像は、イメージエリアセンサ102で光電変換され、センサ出力映像信号として生成される。イメージエリアセンサ102で生成されたセンサ出力映像信号は、AFE103にて相関二重サンプリング及びA/D変換されて、RAW画像信号S101が生成される。
Next, the operation of the video camera according to the first embodiment will be described.
An optical image formed on the light receiving surface of the
光量落ち補正部105では、第1の切替部104で切り替えられた画像信号S102(画像信号S101又はS105)に対して、結像光学系101により発現する周辺の光量落ち領域をゲインアップする補正がなされる。この結果、光量落ち補正済画像信号S103が生成される。この補正は、像高演算部116によって生成された像高データS114と、マイコン117により設定された光量落ち特性データS118とに基づいて光量落ち補正値生成部112により算出された光量落ち補正値S110に基づいて行われる。
In the light quantity
倍率色収差補正部107では、第2の切替部106で切り替えられた画像信号S104(画像信号S101又はS103)に対して、結像光学系101により発現する倍率色収差を局所的な変倍処理によって補正がなされる。この結果、倍率色収差補正済画像信号S105が生成される。この補正は、像高演算部116によって生成され像高データS114と、マイコン117により設定された倍率色収差特性データS119とに基づいて倍率色収差補正値生成部113により算出された倍率色収差補正値S111に基づいて行われる。
倍率色収差補正値生成部113による倍率色収差補正値S111の生成動作の詳細、及び倍率色収差補正部107による倍率色収差補正動作の詳細については、図2、図3を参照して後述する。像高演算部116による像高データS114の生成動作の詳細についても後述する。
The lateral chromatic
Details of the operation of generating the magnification chromatic aberration correction value S111 by the magnification chromatic aberration correction
カメラ信号処理部109では、第3の切替部108で切り替えられた画像信号S106(画像信号S103又はS105)に対して、ガンマ処理、白バランス処理、マトリクス処理等の周知のカメラ信号処理が施される。この結果、カメラ信号処理済画像信号S107が生成される。この処理は、マイコン117により設定されるカメラ信号処理設定データS121に基づいて行われる。カメラ信号処理済画像信号S107は、図示しない記録部や表示部において、動画として記録されたり、表示されたりする。また、カメラ信号処理部109では、入力された第3の切替部出力画像信号S106から、自動露光制御に用いるためのAE評価用信号S123と、自動焦点制御に用いるためのAF評価用信号S124とを生成し、それぞれAE評価値生成部119及びAF評価値生成部120に伝送する。
The camera
イメージエリアセンサ102は、センサ駆動部111によって生成されたセンサ駆動信号S109によって駆動されることにより、センサ出力映像信号が読み出される。また、センサ駆動部111では、同期信号生成部115によって生成された水平及び垂直同期信号S113に同期してセンサ駆動信号S109が生成されるので、センサ出力映像信号は水平及び垂直同期信号S113に同期したものとなる。さらに、マイコン117によって設定されるセンサ駆動設定データS116によって、蓄積時間の制御がなされる。
The
像高演算部116では、同期信号生成部115によって生成された水平及び垂直同期信号S113から、水平座標及び垂直座標を生成し、これを極座標変換する処理を行うことにより、中心位置からの距離である像高データを生成する。その際に、マイコン117により中心座標データS117が与えられることにより、結像光学系101に光学手ぶれ補正部を含む場合に、光学手ぶれ補正に追従した像高データS114を生成することも可能である。中心座標データS117は、水平方向の光学中心位置Cxと、垂直方向の光学中心位置Cyとからなるものとすれば、水平座標Xt及び垂直座標Ytから、中心位置(Cx,Cy)を原点とする極座標系における極座標は下式(1)、(2)と表すことができる。像高演算部116は、上記式の演算により極座標値Rtとθtを求め、これらをもって像高データS114を出力する。平方根演算は、二分法、開平法等の既知の手法を有限語長精度で表現することにより、またatan演算は、高次関数近似或いはXY比を所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。
The image
AE評価値生成部119では、AE評価用信号S123を周知の測光用積分動作を行うことにより、AE評価データS125を生成する。マイコン117は、所定のタイミングにてAE評価データS125を読み込む動作を行う。さらに、マイコン117は、AE評価データS125に基づき、結像光学系駆動設定データS115を生成して光学系駆動部110を制御する。これにより、結像光学系駆動信号S108を制御し、結像光学系101に含まれる光学絞り量を調節し、又は、センサ駆動設定データS116を生成することにより、センサ駆動部111を制御して、センサ駆動信号S109を生成することにより、RGB3板式イメージエリアセンサ102の蓄積時間を調節し、又は、カメラ信号処理設定データS121を生成することにより、カメラ信号処理部109におけるゲインを調節することにより、AE動作を実現する。
The AE evaluation
AF評価値生成部120では、AF評価用信号S124を周知の高周波検波積分動作を行うことにより、AF評価データS126を生成する。マイコン117は、所定のタイミングにてAF評価データS126を読み込む動作を行う。さらに、マイコン117は、AE評価データS125に基づき、結像光学系駆動設定データS115を生成して光学系駆動部110を制御する。これにより、結像光学系駆動信号S108を制御し、結像光学系101に含まれるフォーカスレンズ位置を調節することにより、AF動作を実現する。
The AF evaluation
マイコン117は、ユーザ操作によるズーム操作入力部121からのズーム制御信号S127を検知して、結像光学系駆動設定データS115を生成して光学系駆動部110を制御する。これにより、結像光学系駆動信号S108を制御し、結像光学系101に含まれるズームレンズの焦点距離を調節する。
さらに、マイコン117は、光学補正データベース118に予め記憶された光学補正データ(光学補正特性情報)から、結像光学系駆動設定データS115に基づき、ズームレンズの焦点距離と、フォーカスレンズ位置と、光学絞り量に合致するか、又は、それに近い光学補正データを選択して読み出す。そして、ズームレンズの焦点距離と、フォーカスレンズ位置と、光学絞り量によって発生する、結像光学系101の光量落ちと倍率色収差を表す、光量落ち特性データS118及び倍率色収差特性データS119を生成する。光量落ち特性データS118及び倍率色収差特性データS119の生成について説明する。
The
Further, the
光学補正データベース118の保持する光学補正データは、例えば所定の像高位置における倍率色収差補正量、或いは光量落ち補正量を直接示すプロットデータであるが、これらの補正量特性を近似した関数の係数項を保持していてもよい。光学補正データベース118は、ビデオカメラの許容するメモリ容量や、光学系の特性変化量の傾向に応じて情報量を予め決定しておけばよいが、メモリ容量は有限であるため情報は離散的にしか持てない。したがって、情報のない光学パラメータ領域、像高位置、角度では、前後の情報から補間することで補う。
まず、マイコン117は、例えば光学補正データベース118が保持している光学補正特性情報のうち、現在の光学パラメータ近傍の2つOa、OBを選択する。光学補正データベース118には、図4(a)に示すように、光学パラメータOaにおける光学補正プロットデータcfa1〜cfa4、及び光学パラメータObにおける光学補正プロットデータcfb1〜cfb4が保持されている。マイコン117は、像高に対して与えられた2個の補正量プロットデータの補間処理を、現在の光学パラメータとOa、Obとの乖離度に応じて重み付けして行う。これにより、図4(b)に示すようなcm1〜cm4の4個の補正プロットデータを算出し、補正量プロットデータセットCmとして出力する。このように生成した上記補正量プロットデータセットCmが、光量落ち特性データS118、及び倍率色収差補正データS119として生成される。
The optical correction data held in the
First, the
次に、光量落ち補正部105の補正動作について説明する。
光量落ち特性データS118は、像高に応じてどのような補正ゲインをかけるべきであるかを示すデータとなっている。光量落ち補正部105では、入力された光量落ち特性データS118と、像高データS114の極座標値Rtにより補正ゲインを決定し、第1の切替部出力画像信号S102に対してゲイン補正を施すことにより光量落ち補正を実現する。
Next, the correction operation of the light quantity
The light quantity drop characteristic data S118 is data indicating what correction gain should be applied according to the image height. The light amount
次に、倍率色収差補正値生成部113の補正動作について説明する。
図2は、倍率色収差補正値生成部113の構成を示す図である。現在の着目画素における極座標値Rt、θtを示す像高データS114と、マイコン117から出力された補正量プロットデータセットCm1〜Cm4は、関数係数算出回路241に入力される。
関数係数算出回路241は、図4(c)に示すように、現在の着目画素における極座標値Rtが属するプロット区間を求め(太い黒線区間)、プロット区間に対応する近似関数の係数a、b、cを出力する。上記の処理における各プロット区間は、例えば下式(3)という二次関数で近似する。これを一次関数(折れ線近似)としたり、三次以上の高次の関数としたりすることも可能である。
Next, the correction operation of the magnification chromatic aberration correction
FIG. 2 is a diagram illustrating a configuration of the magnification chromatic aberration correction
As shown in FIG. 4C, the function
補正値算出回路242は、上記式に基づき、現在の着目画素における極座標値Rtから補正量Ztを算出する。補正量Ztは、極座標系でθt方向に見たときの補正量を示しているが、後述するように、倍率色収差補正部107では、水平、垂直に従属的に補間処理を行うことになる。このため、倍率色収差補正値生成部113は、求められた補正量Ztを水平垂直方向(XY方向と略す)にベクトル分解する。
XYベクトル係数算出回路243は、着目画素tにおける極座標値Rt、θtから、補正量ZtをXY方向にベクトル分解するためのベクトル係数Vx、Vyを、下式(4)で求める。
The correction
The XY vector
cosθ、sinθ演算は、高次関数近似或いは極座標値θを所定の値域に区間分割した区分低次関数近似により、ハードウェアでも実現が可能である。
ベクトル係数Vx、Vyは、乗算器244、245で補正量Ztに乗じられ、下式(5)でXY方向の補正量ZtH、ZtVが求められる。
The cos θ and sin θ operations can be realized by hardware by high-order function approximation or by piecewise low-order function approximation in which the polar coordinate value θ is divided into sections in a predetermined range.
The vector coefficients Vx and Vy are multiplied by the correction amount Zt by the
このようにして求められたXY方向の補正量ZtH、ZtVは、倍率色収差補正の場合、RGB3板式イメージエリアセンサ102の各色に対応したRGB3チャネルの画像信号に独立で、水平、垂直方向の位相ズレ成分として分離した位相ズレ量である。なお、歪曲収差補正の場合、補正量ZtH、ZtVは、RGB3板式イメージエリアセンサ102の各色に対応したRGB3チャネルの画像信号に共通で、水平、垂直方向の位相ズレ成分として分離した位相ズレ量である。
なお、この例では、光学補正データベース118は、光学補正量を直接示すプロットデータを保持しているが、補正特性を近似した関数の係数項を保持していてもよく、その場合は、上記説明の補正量プロットデータが、近似関数の次数に置き換わる。
The correction amounts ZtH and ZtV in the XY directions obtained in this way are independent of the RGB3 channel image signal corresponding to each color of the RGB3 plate type
In this example, the
次に、倍率色収差補正部107の補正動作について詳細に説明する。
倍率色収差補正や歪曲収差補正の場合、光学補正値は、着目画素位置における歪み量を水平、垂直方向の位相ズレ成分として分離した位相ズレ量である。この位相ずれを補正する概念を示す図が図5(a)〜(c)であり、簡単のために、補間演算を着目画素位置近傍4画素で行うように例示している。
図5(a)の黒画素は、着目画素Sが本来あるべき位相を示しており、ドットで表す画素は、着目画素Sが倍率色収差や歪曲収差の影響で、位相ズレして撮像された位置を示す仮想画素S’である。
倍率色収差や歪曲収差を補正するには、水平方向にHp、垂直方向にVp位相がずれてしまった仮想画素S’を求め、着目画素Sの位置に再配置すればよい。仮想画素S’は、図5(b)に示すように、近傍に存在する実際に撮像した画素s1、s2、s3、s4から、画素s1、s2、s3、s4と仮想画素S’との画素間距離c1、c2、c3、c4で、重み付け補間演算することで生成することができる。
生成された仮想画素S’は、図5(c)に示すように、着目画素Sの位置に置き換えられ、倍率色収差や歪曲収差が補正される。
Next, the correction operation of the magnification chromatic
In the case of lateral chromatic aberration correction and distortion aberration correction, the optical correction value is a phase shift amount obtained by separating the distortion amount at the target pixel position as a phase shift component in the horizontal and vertical directions. FIGS. 5A to 5C are diagrams showing the concept of correcting this phase shift, and for the sake of simplicity, the interpolation calculation is performed on four pixels in the vicinity of the target pixel position.
The black pixel in FIG. 5A indicates the phase that the target pixel S should be originally, and the pixel represented by a dot is a position where the target pixel S is imaged with a phase shift due to the influence of lateral chromatic aberration or distortion. Is a virtual pixel S ′.
In order to correct lateral chromatic aberration and distortion, a virtual pixel S ′ whose Hp is shifted in the horizontal direction and Vp phase is shifted in the vertical direction may be obtained and rearranged at the position of the pixel of interest S. As shown in FIG. 5B, the virtual pixel S ′ is a pixel of pixels s1, s2, s3, s4 and a virtual pixel S ′ from pixels s1, s2, s3, s4 that are actually imaged in the vicinity. The distances c1, c2, c3, and c4 can be generated by performing weighted interpolation calculation.
As shown in FIG. 5C, the generated virtual pixel S ′ is replaced with the position of the pixel of interest S, and the lateral chromatic aberration and distortion are corrected.
図3は、倍率色収差補正部107の構成を示す図であり、図5(a)〜(c)で説明した処理を、着目画素近傍位置64画素で補間演算することにより実現する構成を示す。
倍率色収差補正部107に入力された補正量ZtH、ZtVは、補間制御回路301、302に入力され、それぞれ整数の水平、垂直位相ズレ成分をHp、Vpとして出力する。また、補間制御回路301、302は、小数の水平、垂直位相ズレ成分を補間係数ch0〜ch7、cv0〜cv7として出力する。
バッファメモリ303は、入力信号Sを水平、垂直方向に順次複数画素にわたり保持しており、図6に示すように着目画素位置SからHp、Vpだけずれたアドレスを中心に、仮想画素S’近傍の参照画素s00〜s77を同時に読み出す。なお、図6の、左右の画素位置0〜7、上下の画素位置0〜7を組み合わせたものが、仮想画素S’近傍の64画素を示す画素番号(s00等)を示すものとする。
バッファメモリ303から出力された参照画素s00〜s77は、各ライン毎に設けられた水平補間回路304〜311に入力されるとともに、各参照画素に対応した補間係数ch0〜ch7が入力され、水平方向に補間処理した参照画素s0’〜s7’を出力する。水平補間回路304〜311はいずれも同じ構成であり、例えば参照画素s00〜s07は、補間係数ch0〜ch7とそれぞれ乗じられ、その平均値を取り、水平方向の補間処理を施した参照画素s0’となる。s1’〜s7’についても同様である。
水平補間回路304〜311から出力された参照画素s0’〜s7’は、垂直補間回路312に入力されるとともに、各参照画素に対応した補間係数cv0〜cv7が入力される。この結果、参照画素s0’〜s7’と補間係数cv0〜cv7がそれぞれ乗じられ、平均値を取り、垂直方向に補間処理した仮想画素S’を出力する。
このように生成された仮想画素S’は、上述した通り、倍率色収差や歪曲収差が補正された結果となる。
FIG. 3 is a diagram illustrating a configuration of the magnification chromatic
The correction amounts ZtH and ZtV input to the lateral chromatic
The
The reference pixels s00 to s77 output from the
The reference pixels s0 ′ to s7 ′ output from the
The virtual pixel S ′ generated in this way is the result of correcting the lateral chromatic aberration and distortion as described above.
結像光学系駆動設定データS115は、補正順序切替判定部114にも入力される。補正順序切替判定部114では、結像光学系駆動設定データS115の値に応じた制御線図を示す図7(a)又は(b)と、図8に示すフローチャートに従って補正順序切替信号S112を決定する。
図7(a)は、ズームレンズの焦点距離(Zoomと表記)と、光学絞りの絞り量(Fnoと表記)による補正順序切替信号S112の制御線図であって、下式(6)で示す直線特性である。
図7(b)は、ズームレンズの焦点距離(Zoomと表記)と、フォーカスレンズ位置(Focusと表記)による補正順序切替信号S112の制御線図であって、下式(7)で示す直線特性である。
The imaging optical system drive setting data S115 is also input to the correction order switching
FIG. 7A is a control diagram of the correction order switching signal S112 according to the focal length of the zoom lens (denoted as Zoom) and the aperture amount of the optical diaphragm (denoted as Fno), and is represented by the following equation (6). It is a linear characteristic.
FIG. 7B is a control diagram of the correction order switching signal S112 according to the focal length of the zoom lens (denoted as Zoom) and the focus lens position (denoted as Focus), and is a linear characteristic represented by the following equation (7). It is.
Zoom = K1Fno + C1・・・式(6)
K1及びC1は、固定の係数及び定数項
Zoom = K2Fno + C2・・・式(7)
K2及びC2は、固定の係数及び定数項
Zoom = K 1 Fno + C 1 (6)
K 1 and C 1 are fixed coefficients and constant terms
Zoom = K 2 Fno + C 2 (7)
K 2 and C 2 are fixed coefficients and constant terms
結像光学系駆動設定データS115は、図7(a)と図7(b)で表記したZoom、Fno、Focusとなる。したがって、結像光学系駆動設定データS115がマイコン117から与えられると、図7(a)と図7(b)に示した直線特性にあてはめ、値を比較することにより、補正順序切替信号S112を決定する。この決定の過程を、図8の補正順序切り替え制御を示すフローチャートで説明する。
結像光学系駆動設定データS115が更新されたタイミングで処理開始となる。ステップS1において、式(6)に従った第1の判定を行い、次にステップS2、S3において、補正順序切替信号S112を決定する。すなわち、ズームレンズの焦点距離がテレ端又はテレ端に近い領域か、光学絞りの絞り量がF5.6以下の小絞りから開放の領域においては、補正順序切替信号S112を1とし、それ以外では補正順序切替信号S112を0とする。
次に、ステップS4において、式(7)に従った第2の判定を行い、次にステップS5において、補正順序切替信号S112を更新する。すなわち、ズームレンズの焦点距離がワイド端に近いマクロ撮影領域であって、フォーカスレンズ位置が10cm以下の至近距離領域である場合には補正順序切替信号S112を1に更新し、それ以外の場合にはステップS2、S3において決定された補正順序切替信号S112の値とする。その後、処理終了となる。
The imaging optical system drive setting data S115 is Zoom, Fno, and Focus shown in FIGS. 7A and 7B. Therefore, when the imaging optical system drive setting data S115 is given from the
Processing starts at the timing when the imaging optical system drive setting data S115 is updated. In step S1, the first determination according to the equation (6) is performed, and in steps S2 and S3, the correction order switching signal S112 is determined. That is, the correction order switching signal S112 is set to 1 in a region where the focal length of the zoom lens is at the tele end or near the tele end, or in a region where the aperture amount of the optical aperture is small from F5.6 or less, and otherwise. The correction order switching signal S112 is set to 0.
Next, in step S4, the second determination according to the equation (7) is performed, and in step S5, the correction order switching signal S112 is updated. That is, when the focal length of the zoom lens is a macro photography region close to the wide end and the focus lens position is a close range region of 10 cm or less, the correction order switching signal S112 is updated to 1, and in other cases Is the value of the correction order switching signal S112 determined in steps S2 and S3. Thereafter, the process ends.
以上の補正順序切替判定部114の動作により、焦点距離とフォーカスレンズ位置がマクロ撮影領域近傍にある場合と、焦点距離がテレ端寄りか、光学絞りの絞り量がF5.6より開放側の場合には、補正順序切替信号S112は1となり、それ以外の場合には、補正順序切替信号S112は0となる。
したがって、補正順序切替判定部114の動作により、焦点距離とフォーカスレンズ位置がマクロ撮影領域近傍にある場合と、焦点距離がテレ端寄りで、光学絞りの絞り量がF5.6より開放側の場合には、第1の切替部104と、第2の切替部106と、第3の切替部108は1側に接続となる。これにより、第1の切替部出力画像信号S102は倍率色収差補正済画像信号S105、第2の切替部出力画像信号S104はRAW画像信号S101、第3の切替部出力画像信号S106は光量落ち補正済画像信号S103となる。したがって、カメラ信号処理部109には、先に倍率色収差補正がされ、その後に光量落ち補正がされた画像信号が入力される。
このように、倍率色収差が顕著であるマクロ撮影領域近傍、及び光量落ちが像高に対してなだらかであるテレ端よりの小絞り〜開放においては、倍率色収差補正を先に行うことにより、倍率色収差補正の補正精度を重視した光学補正を実現できる。
As a result of the operation of the correction order switching
Accordingly, when the focal length and the focus lens position are close to the macro imaging region, or when the focal length is close to the tele end and the aperture amount of the optical aperture is closer to the open side than F5.6 due to the operation of the correction order switching
In this way, in the vicinity of the macro shooting region where the lateral chromatic aberration is remarkable and in the small aperture to the open position from the telephoto end where the light drop is gentle with respect to the image height, the lateral chromatic aberration is corrected by performing the lateral chromatic aberration correction first. Optical correction can be realized with emphasis on correction accuracy.
一方、それ以外の場合には、第1の切替部104と、第2の切替部106と、第3の切替部108は0側に接続となる。これにより、第1の切替部出力画像信号S102はRAW画像信号S101、第2の切替部出力画像信号S104は光量落ち補正済画像信号S103、光量落ち補正済画像信号S103は倍率色収差補正済画像信号S105となる。したがって、カメラ信号処理部109には、先に光量落ち補正がされ、その後に倍率色収差補正がされた画像信号が入力される。
このように、倍率色収差がさほど顕著ではなく、逆に光量落ちが像高に対して急峻に発生する条件においては、光量落ち補正を先に行うことにより、光量落ち補正の補正精度を重視した光学補正を実現できる。
On the other hand, in other cases, the
In this way, under conditions where the chromatic aberration of magnification is not so noticeable and the light quantity drop occurs steeply with respect to the image height, an optical system that emphasizes the correction accuracy of the light quantity drop correction by performing the light quantity drop correction first. Correction can be realized.
以上説明した動作の結果、ズーム・フォーカス・絞り位置に対する光量落ち特性と倍率色収差特性から、総合的に補正誤差の少ない光量落ち補正と倍率色収差補正が実現でき、最終補正画質を適切なものとすることができる。なお、本実施形態の倍率色収差補正部を、歪曲収差補正部と置き換えても同様の効果がある。 As a result of the operations described above, it is possible to achieve a light amount drop correction and a magnification chromatic aberration correction with a small correction error comprehensively from the light amount drop characteristics and magnification chromatic aberration characteristics with respect to the zoom / focus / aperture position, and to make the final correction image quality appropriate. be able to. It should be noted that the same effect can be obtained by replacing the lateral chromatic aberration correction unit of this embodiment with a distortion correction unit.
(第2の実施形態)
図9は、本発明を適用した画像処理装置の例である、第2の実施形態に係るビデオカメラの構成を示す図である。なお、第1の実施形態と同様の構成要素、信号及びデータには同じ符号を付加し、その説明を省略する。
922は補正順序履歴データベースであり、補正順序の履歴を保持する。S928は補正順序切替判定データである。第2の実施形態において、第1の実施形態と異なる点は、補正順序履歴データベース922と、補正順序切替判定データS928とを用いて、補正順序切替信号S112を生成する補正順序切替判定部114の動作である。以下、図10のフローチャートを用いてその説明を行う。
(Second Embodiment)
FIG. 9 is a diagram showing a configuration of a video camera according to the second embodiment, which is an example of an image processing apparatus to which the present invention is applied. In addition, the same code | symbol is attached | subjected to the component, signal, and data similar to 1st Embodiment, and the description is abbreviate | omitted.
A correction
結像光学系駆動設定データS115が更新されたタイミングで処理開始となる。ステップS11において、式(6)に従った第1の判定を行い、次にステップS12〜S15において補正順序切替判定データS928を参照し、補正順序切替信号S112を更新するか否かを判定する。すなわち、補正順序切替信号S112を0としたい場合、補正順序切替判定データS928も0であれば(ステップS12)、補正順序切替信号S112を0とする(ステップS14)。また、補正順序切替信号S112を1としたい場合、補正順序切替判定データS928も1であれば(ステップS13)、補正順序切替信号S112を1とする(ステップS15)。それ以外では補正順序切替信号S112を更新せず、ステップS19に進む。
次に、ステップS16において、式(7)に従った第2の判定を行い、次にステップS17、S18において、補正順序切替判定データS928を参照し、補正順序切替信号S112を更新するか否かを判定する。補正順序切替信号S112を1としたい場合、補正順序切替判定データS928も1であれば(ステップS17)、補正順序切替信号S112を1とする(ステップS18)。それ以外では補正順序切替信号S112を更新せず、ステップS19に進む。
次に、ステップS19において、補正順序切替信号S112の値を補正順序切替判定データS928として更新する。これにより、補正順序履歴データベース922に補正順序切替信号S112が過去の補正順序履歴として記憶される。その後、処理終了となる。
Processing starts at the timing when the imaging optical system drive setting data S115 is updated. In step S11, the first determination according to the equation (6) is performed, and in steps S12 to S15, the correction order switching determination data S928 is referenced to determine whether or not the correction order switching signal S112 is updated. That is, when it is desired to set the correction order switching signal S112 to 0, if the correction order switching determination data S928 is also 0 (step S12), the correction order switching signal S112 is set to 0 (step S14). If the correction order switching signal S112 is to be set to 1, if the correction order switching determination data S928 is also 1 (step S13), the correction order switching signal S112 is set to 1 (step S15). Otherwise, the correction order switching signal S112 is not updated, and the process proceeds to step S19.
Next, in step S16, a second determination according to the equation (7) is performed. Next, in steps S17 and S18, whether or not the correction order switching signal S112 is updated with reference to the correction order switching determination data S928. Determine. When the correction order switching signal S112 is to be set to 1, if the correction order switching determination data S928 is also 1 (step S17), the correction order switching signal S112 is set to 1 (step S18). Otherwise, the correction order switching signal S112 is not updated, and the process proceeds to step S19.
Next, in step S19, the value of the correction order switching signal S112 is updated as correction order switching determination data S928. As a result, the correction order switching signal S112 is stored in the correction
以上の動作により、式(6)及び式(7)に従った第1及び第2の判定だけではなく、過去の判定履歴を補正順序切替判定データS928から反映することができる。これにより、第1の実施形態で説明した光量落ち補正と倍率色収差補正の補正順序が頻繁に入れ替わることを防止し、より安定した質の良い補正誤差の少ない光量落ち補正と倍率色収差補正が実現できる。なお、本実施形態においても、倍率色収差補正部を、歪曲収差補正部と置き換えても同様の効果がある。
また、本実施形態での補正順序切替判定データS928の参照は、過去1回前の結果の参照としているが、その回数としては1回前に限るものではない。
また、第1及び第2の実施形態ではビデオカメラを例にあげて説明を行ったが、可変の光学パラメータの情報が付与された画像に対して、収差及び周辺光量落ちの補正を行う機能を備えた画像処理装置であれば、本発明を適用することが可能である。
Through the above operation, not only the first and second determinations according to the equations (6) and (7) but also the past determination history can be reflected from the correction order switching determination data S928. Thereby, it is possible to prevent the light quantity drop correction and the magnification chromatic aberration correction described in the first embodiment from being frequently switched, and to realize a more stable and high quality light quantity drop correction and magnification chromatic aberration correction. . In the present embodiment, the same effect can be obtained by replacing the magnification chromatic aberration correction unit with a distortion correction unit.
In addition, the reference to the correction order switching determination data S928 in the present embodiment is a reference to the previous result, but the number of times is not limited to the previous one.
In the first and second embodiments, a video camera has been described as an example. However, a function for correcting aberration and peripheral light amount drop for an image to which variable optical parameter information is given. The present invention can be applied to any image processing apparatus provided.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
101:結像光学系、102:RGB3板式イメージエリアセンサ、103:AFE、104:第1の切替部、105:光量落ち補正部、106:第2の切替部、107:倍率色収差補正部、108:第3の切替部、109:カメラ信号処理部、110:光学系駆動部、111:センサ駆動部、112:光量落ち補正値生成部、113:倍率色収差補正値生成部、114:補正順序切替判定部、115:同期信号生成部、116:像高演算部、117:マイコン、118:光学補正データベース、119:AE評価値生成部、120:AF評価値生成部、121:ズーム操作入力部、122:補正順序履歴データベース 101: Imaging optical system, 102: RGB three-plate image area sensor, 103: AFE, 104: First switching unit, 105: Light quantity drop correction unit, 106: Second switching unit, 107: Chromatic chromatic aberration correction unit, 108 : Third switching unit, 109: camera signal processing unit, 110: optical system driving unit, 111: sensor driving unit, 112: light quantity drop correction value generation unit, 113: magnification chromatic aberration correction value generation unit, 114: correction order switching Determination unit, 115: synchronization signal generation unit, 116: image height calculation unit, 117: microcomputer, 118: optical correction database, 119: AE evaluation value generation unit, 120: AF evaluation value generation unit, 121: zoom operation input unit, 122: Correction order history database
Claims (8)
前記画像信号に対して座標変換を伴う光学補正を実行する第2の光学補正手段と、
前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータに応じて、前記第1の光学補正手段による座標変換を伴わない光学補正と、前記第2の光学補正手段による座標変換を伴う光学補正との補正順序を切り替える制御手段とを備えたことを特徴とする画像処理装置。 First optical correction means for performing optical correction without coordinate transformation on the image signal;
Second optical correction means for performing optical correction with coordinate transformation on the image signal;
According to the optical parameter of the imaging optical system used when the image signal is generated by the image sensor, optical correction without coordinate conversion by the first optical correction unit and by the second optical correction unit An image processing apparatus comprising: control means for switching a correction order with optical correction accompanied by coordinate transformation.
前記第2の光学補正手段による座標変換を伴う光学補正は、倍率色収差補正及び歪曲収差補正の少なくともいずれかであることを特徴とする請求項1又は2に記載の画像処理装置。 The optical correction without coordinate conversion by the first optical correction means is a light quantity drop correction,
3. The image processing apparatus according to claim 1, wherein the optical correction accompanied by coordinate conversion by the second optical correction unit is at least one of lateral chromatic aberration correction and distortion aberration correction. 4.
前記光学パラメータが第1の値に設定された場合は、前記第2の値に設定された場合に比べて、前記倍率色収差補正及び歪曲収差補正の少なくともいずれかが顕著になることを特徴とする請求項3に記載の画像処理装置。 When the optical parameter is set to the first value, the control means performs light quantity drop correction after performing at least one of magnification chromatic aberration correction and distortion aberration correction, and the optical parameter is set to the second value. When set, after performing at least one of magnification chromatic aberration correction and distortion aberration correction, light amount drop correction is performed,
When the optical parameter is set to the first value, at least one of the lateral chromatic aberration correction and the distortion aberration correction becomes more prominent than when the optical parameter is set to the second value. The image processing apparatus according to claim 3.
前記制御手段は、前記補正順序の履歴も参照して補正順序を切り替えることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 Storage means for holding correction order history;
The image processing apparatus according to claim 1, wherein the control unit switches the correction order with reference to a history of the correction order.
前記画像信号に対して座標変換を伴う光学補正を実行する第2の光学補正手段とを備えた撮像装置の制御方法であって、
前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータに応じて、前記第1の光学補正手段による座標変換を伴わない光学補正と、前記第2の光学補正手段による座標変換を伴う光学補正との補正順序を切り替えるステップを有することを特徴とする画像処理装置の制御方法。 First optical correction means for performing optical correction without coordinate transformation on the image signal;
A method of controlling an imaging apparatus comprising: a second optical correction unit that performs optical correction with coordinate transformation on the image signal;
According to the optical parameter of the imaging optical system used when the image signal is generated by the image sensor, optical correction without coordinate conversion by the first optical correction unit and by the second optical correction unit A control method for an image processing apparatus, comprising: a step of switching a correction order with optical correction accompanied by coordinate transformation.
前記画像信号に対して座標変換を伴う光学補正を実行する第2の光学補正手段とを備えた撮像装置を制御するためのプログラムであって、
前記画像信号を撮像素子で生成する際に用いられた結像光学系の光学パラメータに応じて、前記第1の光学補正手段による座標変換を伴わない光学補正と、前記第2の光学補正手段による座標変換を伴う光学補正との補正順序を切り替える処理をコンピュータに実行させるためのプログラム。 First optical correction means for performing optical correction without coordinate transformation on the image signal;
A program for controlling an imaging apparatus comprising: a second optical correction unit that performs optical correction with coordinate transformation on the image signal;
According to the optical parameter of the imaging optical system used when the image signal is generated by the image sensor, optical correction without coordinate conversion by the first optical correction unit and by the second optical correction unit A program for causing a computer to execute a process of switching a correction order between optical correction and coordinate conversion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012123423A JP5963542B2 (en) | 2012-05-30 | 2012-05-30 | Image processing apparatus, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012123423A JP5963542B2 (en) | 2012-05-30 | 2012-05-30 | Image processing apparatus, control method thereof, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013251625A true JP2013251625A (en) | 2013-12-12 |
JP2013251625A5 JP2013251625A5 (en) | 2015-07-16 |
JP5963542B2 JP5963542B2 (en) | 2016-08-03 |
Family
ID=49849939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012123423A Expired - Fee Related JP5963542B2 (en) | 2012-05-30 | 2012-05-30 | Image processing apparatus, control method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5963542B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202593A (en) * | 2004-01-14 | 2005-07-28 | Seiko Epson Corp | Image processing device, program and method |
JP2011049641A (en) * | 2009-08-25 | 2011-03-10 | Canon Inc | Photographing device, control method thereof, and program |
JP2012100062A (en) * | 2010-11-02 | 2012-05-24 | Canon Inc | Imaging apparatus |
-
2012
- 2012-05-30 JP JP2012123423A patent/JP5963542B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202593A (en) * | 2004-01-14 | 2005-07-28 | Seiko Epson Corp | Image processing device, program and method |
JP2011049641A (en) * | 2009-08-25 | 2011-03-10 | Canon Inc | Photographing device, control method thereof, and program |
JP2012100062A (en) * | 2010-11-02 | 2012-05-24 | Canon Inc | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5963542B2 (en) | 2016-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
JP3824237B2 (en) | Image processing apparatus and method, recording medium, and program | |
JP5709911B2 (en) | Image processing method, image processing apparatus, image processing program, and imaging apparatus | |
US11228701B2 (en) | Image capturing apparatus | |
JP6516429B2 (en) | Distance measuring device, imaging device, and distance measuring method | |
JP2004336106A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP5864037B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2001275029A (en) | Digital camera, its image signal processing method and recording medium | |
GB2479229A (en) | Aberration correction in image processing apparatus | |
JP2009017419A (en) | Imaging apparatus and interchangeable lens device | |
JP5889010B2 (en) | Imaging apparatus and control method thereof | |
JP4185468B2 (en) | Exposure apparatus and method for correcting captured image | |
US8754965B2 (en) | Image processing apparatus and method for removing lens distortion and chromatic aberration, and computer readable medium storing computer program to execute the image processing method | |
KR102550175B1 (en) | Camera module and electronic device including the same | |
JP5173664B2 (en) | Image processing apparatus and image processing method | |
JP4994158B2 (en) | Image correction device | |
JP2004242125A (en) | Image processor | |
JP5963542B2 (en) | Image processing apparatus, control method thereof, and program | |
JP7134666B2 (en) | Image processing device, image processing method, and program | |
JPH099131A (en) | Interchangeable lens type camera system | |
JP5882957B2 (en) | Information processing apparatus, information processing apparatus control method, and control program | |
JP5333163B2 (en) | Imaging device | |
JP2023067973A (en) | interchangeable lens | |
JP2015109681A (en) | Image processing method, image processing apparatus, image processing program, and imaging apparatus | |
JP2019197305A (en) | Image processing system and image processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160628 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5963542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |