JP2012231262A - Imaging apparatus, blur correction method, control program, and recording medium for recording control program - Google Patents
Imaging apparatus, blur correction method, control program, and recording medium for recording control program Download PDFInfo
- Publication number
- JP2012231262A JP2012231262A JP2011097566A JP2011097566A JP2012231262A JP 2012231262 A JP2012231262 A JP 2012231262A JP 2011097566 A JP2011097566 A JP 2011097566A JP 2011097566 A JP2011097566 A JP 2011097566A JP 2012231262 A JP2012231262 A JP 2012231262A
- Authority
- JP
- Japan
- Prior art keywords
- line
- position information
- lines
- subject image
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000004075 alteration Effects 0.000 claims abstract description 46
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 abstract description 7
- 239000000284 extract Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Abstract
Description
本発明は、被写体像を光電変換する撮像部を駆動するぶれ補正を行う技術に関し、特に、ぶれ補正時にレンズ等の光学要素部において生じる歪曲収差を補正する撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体に関する。 The present invention relates to a technique for performing shake correction for driving an image pickup unit that performs photoelectric conversion of a subject image, and in particular, an image pickup apparatus that corrects distortion aberration that occurs in an optical element unit such as a lens during shake correction, a shake correction method, a control program, And a recording medium for recording a control program.
近年は、ビデオカメラ等の撮像装置による動画像の撮影において、手ぶれによるぶれを補正する機能が求められるようになってきている。特に、光学的に手ぶれを補正する撮像装置においては、手ぶれ補正を適切に行うための技術の一つとして、歪曲収差補正に関する技術についても知られている（例えば、特許文献１）。 In recent years, there has been a demand for a function for correcting blur due to camera shake when shooting a moving image using an imaging device such as a video camera. In particular, in an imaging apparatus that optically corrects camera shake, a technique related to distortion correction is also known as one technique for appropriately performing camera shake correction (for example, Patent Document 1).
特許文献１においては、透過光の進行方向を任意に変えることができる可変頂角プリズムを有する防振光学系において、可変頂角プリズムがぶれ補正のために頂角を変化させた際に発生する偏心歪曲収差を補正する。 In Patent Document 1, in a vibration-proof optical system having a variable apex angle prism that can arbitrarily change the traveling direction of transmitted light, this occurs when the apex angle of the variable apex angle prism is changed for blur correction. Correct decentration distortion.
具体的には、あるフレームを撮影したときの撮影レンズのズーム位置と、可変頂角プリズムの回動角とをパラメータとして用いることにより、歪曲収差補正量が決定できる点に着目している。 Specifically, attention is paid to the fact that the distortion correction amount can be determined by using the zoom position of the photographing lens when a certain frame is photographed and the rotation angle of the variable apex angle prism as parameters.
特許文献１の技術によれば、１フレームの全てのラインに対して同じ歪曲収差補正量を適用することを前提としている。このため、特許文献１の技術を適用できるのは、固体撮像素子が、１フレームの全てのラインの画素を一度に読み出す構成に限定されてしまうこととなる。 According to the technique of Patent Document 1, it is assumed that the same distortion correction amount is applied to all lines of one frame. For this reason, the technique of Patent Document 1 can be applied to a configuration in which the solid-state imaging device reads pixels of all the lines of one frame at a time.
すなわち、１フレーム期間内で歪曲収差補正量が変化する場合は考慮されていないため、例えば１ライン毎に画素読み出しを行う固体撮像素子を備える構成をとる場合には、適切に歪曲収差補正量を決定することができない。
本発明は、１ライン毎に画素を読み出す固体撮像素子を備える場合に、ぶれ補正時の歪曲収差補正を適切に行うことを可能とする撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体の提供を目的とする。
That is, since the case where the distortion correction amount changes within one frame period is not taken into consideration, for example, when a configuration including a solid-state imaging device that performs pixel readout for each line, the distortion aberration correction amount is appropriately set. Cannot be determined.
The present invention records an image pickup apparatus, a shake correction method, a control program, and a control program that can appropriately perform distortion correction at the time of shake correction when a solid-state image pickup device that reads out pixels for each line is provided. The purpose is to provide a recording medium.
前述した目的を達成するために、本発明の態様のひとつである撮像装置は、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置において、前記光電変換された被写体像を１ライン毎に取得し、当該取得した被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、前記被写体像に対して歪曲収差補正する処理と、を行う補正画像生成部を備えることを特徴とする。 In order to achieve the above-described object, an imaging apparatus according to one aspect of the present invention includes an image blur correction mechanism that drives an imaging unit that performs photoelectric conversion on a subject image to generate position information after the driving. The photoelectric conversion subject image is acquired for each line, the position information of one line or a plurality of lines corresponding to the line of the acquired subject image is extracted, and the one line or the plurality of lines is extracted. And a correction image generation unit that performs a distortion correction process on the subject image based on corresponding position information.
また、本発明の別の態様のひとつであるぶれ補正方法は、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法であって、前記光電変換された被写体像を１ライン毎に取得する段階と、前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する段階と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する段階と、前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する段階と、を有することを特徴とする。 Further, a shake correction method according to another aspect of the present invention is a shake correction method by an imaging apparatus having a shake correction mechanism that drives an imaging unit that photoelectrically converts a subject image to generate position information after the driving. The step of acquiring the photoelectrically converted subject image for each line, the step of extracting the position information of one line or a plurality of lines corresponding to the line of the acquired subject image, A step of calculating a distortion aberration correction value based on position information corresponding to a line or a plurality of lines; and a step of correcting the distortion aberration of the imaging lens based on the distortion aberration correction value. .
また、本発明の別の態様のひとつである制御プログラムは、被写体像を光電変換する撮像部を駆動して当該駆動後の位置情報を生成する被ぶれ補正機構を有する撮像装置によるぶれ補正方法を演算処理装置に行わせるための制御プログラムであって、前記光電変換された被写体像を１ライン毎に取得する処理と、前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する処理と、前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する処理と、を前記演算処理装置に行わせることを特徴とする。 According to another aspect of the present invention, a control program includes a shake correction method by an image pickup apparatus having a shake correction mechanism that drives an image pickup unit that photoelectrically converts a subject image and generates position information after the drive. A control program for causing an arithmetic processing unit to perform the process of acquiring the photoelectrically converted subject image for each line, and one line or a plurality of lines corresponding to the acquired line of the subject image A process of extracting position information, a process of calculating a distortion aberration correction value based on the position information corresponding to the one line or a plurality of lines, and correcting distortion aberration of the imaging lens based on the distortion aberration correction value. And processing is performed by the arithmetic processing unit.
本発明によれば、１ライン毎に画素を読み出す固体撮像素子を備える場合に、ぶれ補正時の歪曲収差補正を適切に行うことを可能とする撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体を提供できる。 According to the present invention, when a solid-state imaging device that reads out pixels for each line is provided, an imaging apparatus, a blur correction method, a control program, and a control program capable of appropriately performing distortion correction at the time of blur correction Can be provided.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係る撮像装置の構成図である。図１に示す撮像装置１は、ぶれ検出部２、制御部３、記録媒体４、記憶部５、補正画像生成部６、及び被ぶれ補正機構７を含む。図１においては、本実施形態に係る歪曲収差補正処理に係わる構成を中心に記載している。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<First Embodiment>
FIG. 1 is a configuration diagram of an imaging apparatus according to the present embodiment. An imaging apparatus 1 illustrated in FIG. 1 includes a shake detection unit 2, a control unit 3, a recording medium 4, a storage unit 5, a corrected image generation unit 6, and a shake correction mechanism 7. In FIG. 1, the configuration related to the distortion correction processing according to the present embodiment is mainly described.
ぶれ検出部２は、例えばジャイロスコープ等の角加速度センサを用い、撮像装置１の角加速度等の振れを検出し、制御部３に対して、検出したぶれを示すぶれ情報を通知する。
被ぶれ補正機構７は、位置検出部８、撮像部９、撮像レンズ１０、及び駆動部１１を含み、撮像部９を移動させることによりぶれ補正を行う。
The shake detection unit 2 uses, for example, an angular acceleration sensor such as a gyroscope to detect shake such as angular acceleration of the imaging apparatus 1 and notifies the control unit 3 of shake information indicating the detected shake.
The blur correction mechanism 7 includes a position detection unit 8, an imaging unit 9, an imaging lens 10, and a driving unit 11, and performs blur correction by moving the imaging unit 9.
被ぶれ補正機構７のうち、撮像レンズ１０は、複数のレンズ等を含み、被写体像を結像させる。撮像部９は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用い、撮像レンズ１０により結像された被写体像を光電変換し、得られた信号についてＡ／Ｄ変換を行う。Ａ／Ｄ変換により得られたデジタルデータは、図１においては不図示の信号処理部において処理が施され、得られた画像信号は、制御部３に受け渡される。 In the blur correction mechanism 7, the imaging lens 10 includes a plurality of lenses and the like, and forms a subject image. The imaging unit 9 uses, for example, a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor), photoelectrically converts the subject image formed by the imaging lens 10, and performs A / D conversion on the obtained signal. The digital data obtained by the A / D conversion is processed in a signal processing unit (not shown in FIG. 1), and the obtained image signal is transferred to the control unit 3.
駆動部１１は、制御部３からのぶれ補正を行うためのぶれ補正信号にしたがって、撮像部９を駆動して、撮像部９を移動させることによりぶれ補正を行う。
位置検出部８は、例えばホール素子等を用い、駆動部１１により駆動された撮像部９の位置情報（Ｘ、Ｙ）を検出する。制御部３は、位置検出部８から検出された位置情報（Ｘ、Ｙ）を取得する。
The drive unit 11 drives the imaging unit 9 according to the shake correction signal for performing the shake correction from the control unit 3, and performs the shake correction by moving the imaging unit 9.
The position detection unit 8 detects the position information (X, Y) of the imaging unit 9 driven by the drive unit 11 using, for example, a Hall element. The control unit 3 acquires the position information (X, Y) detected from the position detection unit 8.
本実施形態においては、位置検出部８は、フレーム内の各ラインについての位置情報（Ｘ、Ｙ）を検出する。位置検出部８が検出する位置情報（Ｘ、Ｙ）について、図２を参照して説明する。 In the present embodiment, the position detection unit 8 detects position information (X, Y) for each line in the frame. The position information (X, Y) detected by the position detector 8 will be described with reference to FIG.
図２は、撮像部９及び撮像レンズ１０の位置関係を説明する図である。ここでは、撮像装置１の光軸横行と一致する向きにｚ軸をとり、光軸と直交する平面上にｘ軸及びｙ軸をとる。 FIG. 2 is a diagram for explaining the positional relationship between the imaging unit 9 and the imaging lens 10. Here, the z-axis is taken in the direction coinciding with the optical axis traversal of the imaging device 1, and the x-axis and the y-axis are taken on a plane orthogonal to the optical axis.
本実施形態に係る撮像装置１においては、位置検出部８は、撮像部９の光軸と交差する位置座標を原点Ｏ´とした場合におけるｘ軸及びｙ軸方向の座標位置（Ｘ、Ｙ）を各ラインについて検出する。 In the imaging apparatus 1 according to the present embodiment, the position detection unit 8 has coordinate positions (X, Y) in the x-axis and y-axis directions when the position coordinate intersecting the optical axis of the imaging unit 9 is the origin O ′. Is detected for each line.
補正画像生成部６は、ぶれ検出部２において検出したぶれ情報と、被ぶれ補正機構７の位置検出部８が検出した位置情報（Ｘ、Ｙ）とに基づいて、被ぶれ補正機構７におけるぶれ補正によって生じる撮像部９の光軸からのずれを考慮して、撮像部９の撮像面に生じる歪曲収差に対する補正を制御部３に実行させる。具体的には、補正画像生成部６は、撮像部９により光電変換された被写体像を１ライン毎に取得し、取得した被写体像のラインに対応する１ラインまたは複数ラインの位置情報（Ｘ、Ｙ）を抽出する処理と、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）に基づいて、被写体像に対して歪曲収差補正する処理とを制御部３に実行させる。 The corrected image generation unit 6 is based on the shake information detected by the shake detection unit 2 and the position information (X, Y) detected by the position detection unit 8 of the shake correction mechanism 7. In consideration of the deviation from the optical axis of the imaging unit 9 caused by the correction, the control unit 3 is caused to perform correction for distortion aberration generated on the imaging surface of the imaging unit 9. Specifically, the corrected image generation unit 6 acquires the subject image photoelectrically converted by the imaging unit 9 for each line, and position information (X, X) of one line or a plurality of lines corresponding to the acquired subject image line. The control unit 3 is caused to execute a process for extracting Y) and a process for correcting distortion of the subject image based on position information (X, Y) corresponding to one line or a plurality of lines.
制御部３は、ぶれ検出部２、被ぶれ補正機構７の各部、補正画像生成部６、及び記憶部５の制御を行う。具体的には、制御部３は、ぶれ検出部２からの情報を取得して、被ぶれ補正機構７の制御を行う。また、制御部３は、被ぶれ補正機構７の位置検出部８が検出した位置情報（Ｘ、Ｙ）から撮像部９のずれ量を算出し、算出したずれ量に応じたぶれ補正信号を生成する。制御部３は、生成したぶれ補正信号を駆動部１１に通知し、前述のとおり、駆動部１１にぶれ補正を行わせる。 The control unit 3 controls the shake detection unit 2, each part of the shake correction mechanism 7, the corrected image generation unit 6, and the storage unit 5. Specifically, the control unit 3 acquires information from the shake detection unit 2 and controls the shake correction mechanism 7. Further, the control unit 3 calculates the shift amount of the imaging unit 9 from the position information (X, Y) detected by the position detection unit 8 of the shake correction mechanism 7 and generates a shake correction signal corresponding to the calculated shift amount. To do. The control unit 3 notifies the drive unit 11 of the generated shake correction signal, and causes the drive unit 11 to perform shake correction as described above.
補正画像生成部６は、例えば制御部３の演算処理装置により実行される、補正画像を生成するまでの一連の処理を行う電子回路、または制御部３の演算処理装置により実行される制御プログラムとする。 The corrected image generation unit 6 is, for example, an electronic circuit that performs a series of processing until a corrected image is generated, which is executed by the arithmetic processing device of the control unit 3, or a control program that is executed by the arithmetic processing device of the control unit 3. To do.
記憶部５は、図１においては不図示の信号処理部から出力される輝度色差信号を記憶するとともに、記録媒体４に対して、画像等のデータの保存、及び制御プログラムを記憶する。補正画像生成部６が制御プログラムである場合は、当該制御プログラムを記憶部５に予め記憶させることとしてもよい。また、被ぶれ補正機構７においてぶれ補正を行う場合には、制御部３は、補正画像生成部６に基づいて、歪曲収差に対する補正がなされた画像を記憶部５に記憶する。 The storage unit 5 stores luminance color difference signals output from a signal processing unit (not shown in FIG. 1), and stores data such as images and a control program in the recording medium 4. When the correction image generation unit 6 is a control program, the control program may be stored in the storage unit 5 in advance. Further, when shake correction is performed in the shake correction mechanism 7, the control unit 3 stores an image corrected for distortion aberration in the storage unit 5 based on the corrected image generation unit 6.
記録媒体４は、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等であり、画像等のデータを保存する。 The recording medium 4 is, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, etc., and stores data such as images To do.
図１の撮像装置１は、例えば、電源ボタンの押下によって電源が投入されることにより、所定のフレームレートでの動画の撮像を開始し、電源ボタンの再度の押下等によって電源が切られることにより、動画の撮像を終了する。動画の撮像中は、撮像部９から順次フレーム（あるいはフィールド）画像が出力される。制御部３は、記録媒体４から読み出した制御プログラムを実行することにより、あるいは、制御部３の演算処理装置により実行される電子回路により、各フレーム（あるいはフィールド）画像に対し、補正画像生成部６による補正画像を生成する。以下においては、補正画像生成部６は、制御部３の演算処理装置により実行される制御プログラムで構成した場合とする。 The imaging apparatus 1 in FIG. 1 starts imaging of a moving image at a predetermined frame rate when the power is turned on by pressing the power button, and is turned off by pressing the power button again or the like. Then, the imaging of the moving image is finished. During moving image capturing, frame (or field) images are sequentially output from the imaging unit 9. The control unit 3 executes a control program read from the recording medium 4 or an electronic circuit executed by the arithmetic processing unit of the control unit 3 for each frame (or field) image. 6 to generate a corrected image. In the following, it is assumed that the corrected image generation unit 6 is configured by a control program executed by the arithmetic processing device of the control unit 3.
なお、このような補正画像の生成処理を実行するタイミングは、動画の記録中には限らない。撮像装置１において、ぶれ補正処理が「オン（ぶれ補正処理を実行）」と設定されている下で動画の撮像を行う場合には、制御部３は、記録媒体４から読み出した制御プログラムを実行することにより、あるいは、制御部３の演算処理装置により実行される電子回路により、各フレーム画像等に対し、補正画像生成部６による補正画像の生成を行う。 Note that the timing of executing such correction image generation processing is not limited to the time when a moving image is being recorded. In the imaging apparatus 1, when the moving image is captured under the condition that the shake correction process is set to “ON (execute shake correction process)”, the control unit 3 executes the control program read from the recording medium 4. By doing so, or by an electronic circuit executed by the arithmetic processing unit of the control unit 3, a correction image generation unit 6 generates a correction image for each frame image or the like.
次に、撮像部９を駆動させてぶれ補正を行う場合における歪曲収差の補正について、図３及び図４を参照して説明する。
図３は、撮像レンズ１０が樽型の歪曲収差３１を有する場合を示す図であり、図４は、図３の樽型の歪曲収差３１を収差曲線で表した図である。図４においては、図３に示す樽型の歪曲収差３１を収差曲線で表している。図４の縦軸は、撮像レンズ１０の歪曲収差Ｄであり、横軸は、歪曲収差がないとした場合における光軸中心からの距離Ｌ０を表す。
Next, correction of distortion when the image pickup unit 9 is driven to perform shake correction will be described with reference to FIGS.
FIG. 3 is a diagram illustrating a case where the imaging lens 10 has a barrel-shaped distortion aberration 31, and FIG. 4 is a diagram illustrating the barrel-shaped distortion aberration 31 of FIG. 3 with an aberration curve. In FIG. 4, the barrel-shaped distortion aberration 31 shown in FIG. 3 is represented by an aberration curve. The vertical axis of FIG. 4 is a distortion D of the imaging lens 10, the horizontal axis represents the distance L 0 from the optical axis in the case where there is no distortion.
ここで、縦軸の歪曲収差については、以下の（１）式により表される。
Ｄ＝（Ｌ−Ｌ０）／Ｌ０・・・（１）
（１）式中のＬについては、歪曲収差の影響を受けた場合における光軸中心からの距離を表す。（１）式を変形して歪曲収差がない場合の光軸からの距離Ｌ０について解くと、以下の（２）式を得る。
Ｌ０＝Ｌ／（１＋Ｄ）・・・（２）
したがって、（２）式により、Ｌに対応するＬ０を求めることにより、図３に示す歪曲収差３１を持つ被写体像に対して歪曲収差の補正をすることができる。
Here, the distortion on the vertical axis is expressed by the following equation (1).
D = (L−L 0 ) / L 0 (1)
L in the equation (1) represents a distance from the center of the optical axis when affected by distortion. When the equation (1) is modified to solve for the distance L 0 from the optical axis when there is no distortion, the following equation (2) is obtained.
L 0 = L / (1 + D) (2)
Therefore, by obtaining L 0 corresponding to L by the expression (2), the distortion aberration can be corrected for the subject image having the distortion aberration 31 shown in FIG.
なお、（２）式から歪曲収差の補正量を求めることができるのは、撮像レンズ１０の光軸と交差する原点Ｏと、前述の撮像部９の原点Ｏ´とが一致している場合である。実際に画素毎に対応するＬ０を求めるためには、前述の撮像部９の位置情報（Ｘ、Ｙ）を考慮しなければならない。 It should be noted that the correction amount of the distortion aberration can be obtained from the equation (2) when the origin O that intersects the optical axis of the imaging lens 10 and the origin O ′ of the imaging unit 9 described above coincide. is there. In order to actually obtain L 0 corresponding to each pixel, the position information (X, Y) of the imaging unit 9 described above must be taken into consideration.
そこで、撮像部９の位置情報（Ｘ、Ｙ）に基づき歪曲収差の補正量を求める方法について、具体的に説明する。
歪曲収差の補正量を求める方法について説明するに当たり、まず、ＣＣＤ（Charge Coupled Device）等のように、１フレームの全画素について同時に読み出す固体撮像素子を備える撮像装置において、歪曲収差の補正を行う方法について、図５及び図６を参照して説明する。
Therefore, a method for obtaining the distortion correction amount based on the position information (X, Y) of the imaging unit 9 will be specifically described.
In describing a method for obtaining a correction amount of distortion aberration, first, a method of correcting distortion aberration in an imaging apparatus including a solid-state imaging element that simultaneously reads out all pixels of one frame, such as a CCD (Charge Coupled Device). Will be described with reference to FIGS.
図５は、固体撮像素子が入力した各フレーム画像におけるライン毎の露光期間を説明する図である。ここで、１フレームのライン数はＮとする。
ＣＣＤ等の固体撮像素子は、垂直同期信号及び水平同期信号にしたがって、１フレームの全画素を同時に読み出す。図５に示す例では、１つのフレーム画像の全てのライン（ライン１〜ラインＮ）の画素を同時に読み出す。読み出した順にフレーム画像（１）、フレーム画像（２）、…とする。
FIG. 5 is a diagram for explaining the exposure period for each line in each frame image input by the solid-state imaging device. Here, the number of lines in one frame is N.
A solid-state imaging device such as a CCD reads out all pixels of one frame at the same time according to a vertical synchronization signal and a horizontal synchronization signal. In the example shown in FIG. 5, the pixels of all the lines (line 1 to line N) of one frame image are read out simultaneously. Frame image (1), frame image (2),...
図６は、１フレーム内の全画素について同時に読み出す固体撮像素子を備えた撮像装置における、歪曲収差補正方法を説明する図である。ここでは、簡単のため、撮像部９がｙ軸方向にのみ移動する場合を例に説明する。 FIG. 6 is a diagram illustrating a distortion aberration correction method in an imaging apparatus including a solid-state imaging device that reads out all pixels in one frame at the same time. Here, for the sake of simplicity, the case where the imaging unit 9 moves only in the y-axis direction will be described as an example.
図６（ａ）においては、固体撮像素子の実際の位置３２（図６（ａ）においては実線で表す）と、固体撮像素子と撮像レンズとの間で前述の原点Ｏ及び原点Ｏ´を結ぶ直線と光軸との間にずれがない場合の固体撮像装置の位置３３（図６（ａ）においては二点鎖線で表す）とを示す。ぶれ補正を行う前の段階であるフェーズ１においては、位置３２は、位置３３に対してｙ軸方向にずれている。そこで、実際の位置３２及び位置３３のずれ量よりぶれ補正を行って、固体撮像素子をｙ軸方向へ移動させると、歪曲収差３１が現れる。なお、固体撮像素子が取得したフレーム画像は、固体撮像素子の実際の位置３２内の灰色で示す領域がこれに相当し、図６においては、以降のフェーズにおいても同様の方法で表すこととする。 In FIG. 6A, the above-described origin O and origin O ′ are connected between the actual position 32 of the solid-state imaging device (represented by a solid line in FIG. 6A) and the solid-state imaging device and the imaging lens. A position 33 (indicated by a two-dot chain line in FIG. 6A) of the solid-state imaging device when there is no deviation between the straight line and the optical axis is shown. In phase 1, which is a stage before blur correction, the position 32 is shifted from the position 33 in the y-axis direction. Therefore, when the blur correction is performed based on the deviation amount between the actual position 32 and the position 33 and the solid-state imaging device is moved in the y-axis direction, the distortion aberration 31 appears. The frame image acquired by the solid-state image sensor corresponds to the gray area in the actual position 32 of the solid-state image sensor, and in FIG. 6, the same method is used in the subsequent phases. .
固体撮像素子の実際の位置３２を示す位置情報（Ｘ、Ｙ）が、（２）式におけるＬに相当する。そこで、フェーズ２においては、Ｌに相当する位置情報（Ｘ、Ｙ）を（２）式に代入することにより、（２）式のＬ０、すなわち歪曲収差の補正値を算出する。図６（ｂ）の補正値６１が、算出した歪曲収差の補正値に相当する。 Position information (X, Y) indicating the actual position 32 of the solid-state imaging device corresponds to L in the equation (2). Therefore, in phase 2, by substituting position information (X, Y) corresponding to L into equation (2), L 0 in equation (2), that is, a correction value for distortion is calculated. The correction value 61 in FIG. 6B corresponds to the calculated correction value for distortion.
フェーズ３においては、フェーズ２において求めた補正値６１によりフレーム画像を補正する。図６（ｃ）には、歪曲補正処理を施した画像を示す。
このように、ＣＣＤ等のように１フレーム内の全画素について同時に読み出しを行う固体撮像素子を備える撮像装置においては、図６に示す方法によって、ぶれ補正により生じる歪曲収差を補正することができる。しかし、本実施形態に係る撮像装置１のように、撮像部９が、例えばＣＭＯＳ等の、１ライン毎に画素を読み出す固体撮像素子からなる場合には、１ライン毎に歪曲収差補正量が変化するため、同様の方法では、歪曲収差を適切に補正することができない。次に、本実施形態に係る撮像装置１による歪曲収差補正方法について、図７〜図９を参照して説明する。
In phase 3, the frame image is corrected with the correction value 61 obtained in phase 2. FIG. 6C shows an image subjected to distortion correction processing.
In this manner, in an imaging apparatus including a solid-state imaging device that simultaneously reads out all pixels in one frame, such as a CCD, distortion caused by blur correction can be corrected by the method shown in FIG. However, when the imaging unit 9 is formed of a solid-state imaging device that reads out pixels for each line, such as a CMOS, as in the imaging apparatus 1 according to the present embodiment, the distortion aberration correction amount changes for each line. Therefore, with the same method, the distortion cannot be corrected appropriately. Next, a distortion aberration correction method by the imaging apparatus 1 according to the present embodiment will be described with reference to FIGS.
図７は、本実施形態に係る撮像装置１の撮像部９が入力した、各フレーム画像におけるライン毎の露光期間を説明する図である。
図７に示すように、本実施形態に係る撮像装置１の撮像部９では、ライン毎に露光期間がずれている。このため、図１の制御部３は、位置検出部８から１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を露光期間に応じて取得して、歪曲収差の補正値を算出する。
FIG. 7 is a diagram illustrating the exposure period for each line in each frame image input by the imaging unit 9 of the imaging apparatus 1 according to the present embodiment.
As shown in FIG. 7, in the imaging unit 9 of the imaging apparatus 1 according to the present embodiment, the exposure period is shifted for each line. Therefore, the control unit 3 in FIG. 1 acquires position information (X, Y) corresponding to one line or a plurality of lines from the position detection unit 8 according to the exposure period, and calculates a correction value for distortion.
図７に示す例では、説明の簡単のため、１フレームの画像を露光期間のタイミングに応じて、上から順に領域Ａ１、領域Ａ２及び領域Ａ３の３つの領域に分割する。領域Ａ１〜Ａ３のライン数はいずれもＮであり、図７においては、それぞれライン１〜Ｎとしている。 In the example shown in FIG. 7, for simplicity of explanation, an image of one frame is divided into three areas of area A1, area A2, and area A3 in order from the top in accordance with the timing of the exposure period. The number of lines in each of the areas A1 to A3 is N. In FIG.
以下においては、領域Ａ１〜Ａ３のそれぞれの領域内においてはラインの露光期間は同じであるとして、本実施形態に係るぶれ補正処理において歪曲収差を補正する方法について説明する。 In the following, a method for correcting distortion in the shake correction processing according to the present embodiment will be described, assuming that the exposure periods of the lines are the same in each of the areas A1 to A3.
図８は、本実施形態に係る撮像装置１が取得するライン毎の位置情報の例を示す図である。図８の縦軸は、時間を表し、横軸は、水平方向（ｘ軸方向）の位置を表す。
図８に示す「水平方向位置情報」の中心とは、撮像部９の原点Ｏ´及び撮像レンズ１０の原点Ｏを結ぶ直線と、光軸との間にずれがない場合における撮像部９のｘ軸方向に関する中心である。領域Ａｉのラインｎの中心については、「Ｏｉ（Ａｎ）（但し、ｉは１〜Ｎの整数、ｎは１〜３の整数）」と表す。また、領域Ａｉのラインｎについての位置情報については、「Ｘｉ（Ａｎ）」と表す。図８においては、位置情報（Ｘ、Ｙ）のうち、ｘ軸方向に関する位置情報のみを示している。
FIG. 8 is a diagram illustrating an example of position information for each line acquired by the imaging apparatus 1 according to the present embodiment. The vertical axis in FIG. 8 represents time, and the horizontal axis represents the position in the horizontal direction (x-axis direction).
The center of the “horizontal position information” shown in FIG. 8 is the x of the imaging unit 9 when there is no deviation between the optical axis and the straight line connecting the origin O ′ of the imaging unit 9 and the origin O of the imaging lens 10. The center in the axial direction. The center of the line n in the region Ai is expressed as “Oi (An) (where i is an integer of 1 to N and n is an integer of 1 to 3)”. Further, the position information about the line n in the region Ai is expressed as “Xi (An)”. FIG. 8 shows only position information regarding the x-axis direction among the position information (X, Y).
図８に示すように、本実施形態に係る撮像装置１の位置検出部８は、各ラインの位置情報Ｘｉ（Ａｎ）を、フレーム内の上のライン（ライン１）から順に取得していく。
図９は、本実施形態に係る撮像装置１による歪曲収差補正方法を説明する図である。図９（ａ）〜図９（ｊ）においては、撮像部９が取得したフレーム画像のうち、各フェーズで処理対象となる領域を網掛けで示す。また、説明の簡単のため、ここでは、図６と同様に、撮像部９がｙ軸方向にのみ移動する場合、すなわち、位置３２が位置３３に対してｙ軸方向にずれている場合を例示する。
As illustrated in FIG. 8, the position detection unit 8 of the imaging apparatus 1 according to the present embodiment sequentially acquires the position information Xi (An) of each line from the upper line (line 1) in the frame.
FIG. 9 is a diagram for explaining a distortion correction method by the imaging apparatus 1 according to the present embodiment. In FIG. 9A to FIG. 9J, the region to be processed in each phase in the frame image acquired by the imaging unit 9 is shaded. For the sake of simplicity, here, as in FIG. 6, the case where the imaging unit 9 moves only in the y-axis direction, that is, the case where the position 32 is shifted in the y-axis direction with respect to the position 33 is illustrated. To do.
制御部３は、露光期間を同じくする領域Ａ１〜Ａ３毎に位置検出部８から位置情報（Ｘ、Ｙ）を取得して歪曲収差の補正値６１を算出する。図９（ａ）〜図９（ｃ）は、領域Ａ１についてのフェーズ１〜フェーズ３の状態をそれぞれ示しており、各フェーズにおいて実行される処理は、図６と同様である。但し、フェーズ３においては、領域Ａ１についての歪曲補正処理を施した画像Ｉ（Ａ１）を得る。同様に、図９（ｄ）〜図９（ｆ）は、領域Ａ２についてのフェーズ１〜フェーズ３の状態をそれぞれ表し、図９（ｇ）〜図９（ｉ）は、領域Ａ３についてのフェーズ１〜フェーズ３の状態をそれぞれ表している。図９（ｄ）においては、位置３２と位置３３が重なる場合、すなわち、撮像部９の位置にずれがない場合を示す。 The controller 3 obtains position information (X, Y) from the position detector 8 for each of the regions A1 to A3 having the same exposure period, and calculates a distortion aberration correction value 61. FIG. 9A to FIG. 9C show the states of phase 1 to phase 3 for the area A1, respectively, and the processing executed in each phase is the same as that in FIG. However, in phase 3, an image I (A1) obtained by performing the distortion correction process on the area A1 is obtained. Similarly, FIGS. 9D to 9F show the states of Phase 1 to Phase 3 for the region A2, respectively, and FIGS. 9G to 9I show the Phase 1 for the region A3. ~ Represents the states of Phase 3. FIG. 9D shows a case where the position 32 and the position 33 overlap, that is, a case where there is no deviation in the position of the imaging unit 9.
フェーズ３の処理まで実行すると、領域Ａ１〜Ａ３のそれぞれについて部分画像Ｉ（Ａ１）〜Ｉ（Ａ３）が生成される。制御部３は、領域Ａ１〜Ａ３のそれぞれについて得られた歪曲収差補正を施した画像Ｉ（Ａ１）〜Ｉ（Ａ３）を合成し、図９（ｊ）に示す画像Ｉを得る。 When the processing up to phase 3 is executed, partial images I (A1) to I (A3) are generated for each of the regions A1 to A3. The control unit 3 synthesizes the images I (A1) to I (A3) subjected to distortion correction obtained for each of the regions A1 to A3, and obtains an image I shown in FIG. 9 (j).
図７〜図９においては、フレームを３つの領域Ａ１〜Ａ３に分割する場合を例に説明しているが、これに限定されるものではない。
図１０は、本実施形態に係る撮像装置１の制御部３による歪曲収差の補正処理を示したフローチャートである。前述したように、本フローチャートでは、撮像装置１の制御部３が記録媒体４から補正画像生成部６における制御プログラムを読み出して実行する場合とする。
Although FIGS. 7 to 9 illustrate an example in which a frame is divided into three regions A1 to A3, the present invention is not limited to this.
FIG. 10 is a flowchart illustrating distortion correction processing by the control unit 3 of the imaging apparatus 1 according to the present embodiment. As described above, in this flowchart, it is assumed that the control unit 3 of the imaging apparatus 1 reads out and executes the control program in the corrected image generation unit 6 from the recording medium 4.
なお、図１０に示す歪曲収差に対する補正処理を実行する前提として、ぶれ補正処理が図１０に示す歪曲収差に対する補正処理と並列に実行されていることとする。
まず、制御部３は、ステップＳ１Ａにおいて、位置検出部８から、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を取得する。ステップＳ１Ａの処理は、図９においては、フェーズ１の位置３２を取得する処理に相当する。
It is assumed that the blur correction process is performed in parallel with the correction process for the distortion aberration illustrated in FIG. 10 as a premise for executing the correction process for the distortion aberration illustrated in FIG.
First, in step S1A, the control unit 3 acquires position information (X, Y) corresponding to one line or a plurality of lines from the position detection unit 8. The process of step S1A corresponds to the process of acquiring the position 32 of phase 1 in FIG.
次に、制御部３は、ステップＳ２において、ステップＳ１で取得した位置情報（Ｘ、Ｙ）を用いて、１ラインまたは複数ラインに対応する歪曲収差補正値を算出する。ステップＳ２の処理は、図９においては、フェーズ２の補正値６１を算出する処理に相当する。 Next, in step S2, the control unit 3 calculates a distortion correction value corresponding to one line or a plurality of lines using the position information (X, Y) acquired in step S1. The process of step S2 corresponds to the process of calculating the correction value 61 of phase 2 in FIG.
最後に、制御部３は、ステップＳ３において、ステップＳ２で算出した歪曲収差補正値を用いて、撮像された被写体像の１ラインまたは複数ラインに対して歪曲収差補正を行う。ステップＳ３の処理は、図９においては、フェーズ３の各領域に対して歪曲収差補正を行う処理に相当する。 Finally, in step S3, the control unit 3 performs distortion correction on one or more lines of the captured subject image using the distortion correction value calculated in step S2. The process of step S3 corresponds to the process of performing distortion correction on each region of phase 3 in FIG.
図１０に示す一連の処理により、各領域についての歪曲収差補正を行った部分画像を得る。これらの部分画像を合成して得られた合成画像を、歪曲収差補正を行った被写体画像として記憶部５に記憶し、処理を終了する。 By the series of processes shown in FIG. 10, partial images obtained by correcting distortion aberration for each region are obtained. A synthesized image obtained by synthesizing these partial images is stored in the storage unit 5 as a subject image subjected to distortion correction, and the process is terminated.
以上説明したように、本実施形態に係る撮像装置１によれば、撮像部９を駆動して位置情報（Ｘ、Ｙ）を生成してぶれ補正を行う際に、１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を位置検出部８から取得する。そして、取得した１ラインまたは複数ラインの位置情報（Ｘ、Ｙ）より、撮像部９のずれ量を算出して歪曲収差の補正量を求めて歪曲収差補正を行う。これにより、フレーム内の画素をライン毎に読み出す構成の撮像部９を備える撮像装置１であっても、ぶれ補正時の歪曲収差補正を適切に行うことが可能となる。
＜第２の実施形態＞
As described above, according to the imaging apparatus 1 according to the present embodiment, when the imaging unit 9 is driven to generate position information (X, Y) and shake correction is performed, one line or a plurality of lines are supported. The position information (X, Y) to be acquired is acquired from the position detector 8. Then, based on the acquired position information (X, Y) of one line or a plurality of lines, the shift amount of the imaging unit 9 is calculated to determine the correction amount of the distortion aberration, and the distortion aberration correction is performed. Thereby, even in the imaging apparatus 1 including the imaging unit 9 configured to read out the pixels in the frame for each line, it is possible to appropriately perform distortion correction at the time of blur correction.
<Second Embodiment>
前述の実施形態においては、制御部３は、位置検出部８から１ラインまたは複数ラインに対応する位置情報（Ｘ、Ｙ）を取得して、歪曲収差補正を行っている。これに対して、本実施形態に係る撮像装置１においては、ぶれ補正処理において取得する位置情報（Ｘ、Ｙ）を利用して歪曲収差補正を行う点で異なる。 In the above-described embodiment, the control unit 3 obtains position information (X, Y) corresponding to one line or a plurality of lines from the position detection unit 8 and performs distortion aberration correction. On the other hand, the imaging apparatus 1 according to the present embodiment is different in that distortion aberration correction is performed using position information (X, Y) acquired in the shake correction process.
以下に、第１の実施形態と異なる点を中心に、本実施形態に係る撮像装置１によるぶれ補正時の歪曲収差補正方法について説明する。
なお、本実施形態に係る撮像装置１の構成は、図１に示す第１の実施形態に係る撮像装置と同様である。但し、本実施形態においては、位置検出部８は、所定のタイミングで実行されるぶれ補正処理において、複数のラインの位置情報（Ｘ、Ｙ）を取得する。
Hereinafter, a distortion aberration correction method at the time of blur correction by the imaging apparatus 1 according to the present embodiment will be described with a focus on differences from the first embodiment.
The configuration of the imaging apparatus 1 according to the present embodiment is the same as that of the imaging apparatus according to the first embodiment shown in FIG. However, in the present embodiment, the position detection unit 8 acquires position information (X, Y) of a plurality of lines in a shake correction process executed at a predetermined timing.
図１１は、本実施形態に係る撮像装置１が取得する位置情報の例を示す図である。図１１の縦軸は、時間を表し、横軸は、水平方向（ｘ軸方向）の位置を表す。
図８と同様に、図１１の「水平方向位置情報」の中心とは、撮像部９の原点Ｏ´及び撮像レンズ１０の原点Ｏを結ぶ直線と、光軸との間にずれがない場合における撮像部９のｘ軸方向に関する中心である。
FIG. 11 is a diagram illustrating an example of position information acquired by the imaging apparatus 1 according to the present embodiment. The vertical axis in FIG. 11 represents time, and the horizontal axis represents the position in the horizontal direction (x-axis direction).
As in FIG. 8, the “horizontal position information” center in FIG. 11 refers to the case where there is no deviation between the optical axis and the straight line connecting the origin O ′ of the imaging unit 9 and the origin O of the imaging lens 10. This is the center of the imaging unit 9 in the x-axis direction.
前述のとおり、本実施形態に係る撮像装置１においては、ぶれ補正処理において位置検出部８が検出した位置情報を取得して、歪曲収差補正に利用する。図８においては、１フレーム内の複数のラインのうち、３つのラインａ、ｂ、ｃに対応する位置情報を取得した場合を例示する。ここでは、ｘ軸方向の位置情報を例に説明している。 As described above, in the imaging apparatus 1 according to the present embodiment, position information detected by the position detection unit 8 in the shake correction process is acquired and used for distortion correction. FIG. 8 illustrates a case where position information corresponding to three lines a, b, and c among a plurality of lines in one frame is acquired. Here, the position information in the x-axis direction is described as an example.
制御部３は、取得した位置情報Ｘａ、Ｘｂ、Ｘｃと、ラインａ、ｂ、ｃとの対応付けを行う。そして、制御部３は、位置情報を取得しなかったライン、すなわち、ラインａ、ｂ、ｃ以外のラインと対応する位置情報を、１次補間により算出する。具体的には、位置情報Ｘａ−Ｘｂを結ぶ直線の式を求め、求めた式より、ラインａ−ｂ間のラインについての位置情報Ｘを算出する。ラインｂ−ｃ間についても同様の方法により位置情報Ｘを算出する。 The control unit 3 associates the acquired position information Xa, Xb, and Xc with the lines a, b, and c. And the control part 3 calculates the positional information corresponding to the line which did not acquire positional information, ie, lines other than line a, b, c, by primary interpolation. Specifically, an equation of a straight line connecting the position information Xa-Xb is obtained, and the position information X about the line between the lines a-b is calculated from the obtained equation. The position information X is also calculated between the lines bc by the same method.
図１１においては、水平（ｘ軸）方向の位置情報Ｘの補間のみを示しているが、垂直（ｙ軸）方向の位置情報Ｙの補間についても同様の方法により行うことができる。
１次補間により１フレーム内の各ラインの位置情報を算出すると、ラインごとの露光期間のタイミングに応じて、領域ごとに歪曲収差の補正量を求めて歪曲収差を行い、領域ごとに部分画像を生成する。そして、部分画像を合成することにより、歪曲収差補正を行った被写体画像を得る。なお、本実施形態に係る撮像装置１の撮像部９が入力したフレーム画像におけるライン毎の露光期間については、第１の実施形態と同様であり、図７に示すとおりとする。
In FIG. 11, only the interpolation of the position information X in the horizontal (x-axis) direction is shown, but the interpolation of the position information Y in the vertical (y-axis) direction can also be performed by the same method.
When the position information of each line in one frame is calculated by the primary interpolation, the distortion aberration is calculated for each area according to the exposure period timing for each line, and the partial image is obtained for each area. Generate. Then, by synthesizing the partial images, a subject image subjected to distortion correction is obtained. The exposure period for each line in the frame image input by the imaging unit 9 of the imaging apparatus 1 according to the present embodiment is the same as that in the first embodiment, and is as shown in FIG.
図１２は、本実施形態に係る撮像装置１の制御部３による歪曲収差の補正処理を示したフローチャートである。本フローチャートでは、撮像装置１の制御部３が記録媒体４から補正画像生成部６における制御プログラムを読み出して実行する場合とする。 FIG. 12 is a flowchart showing a distortion correction process performed by the control unit 3 of the imaging apparatus 1 according to the present embodiment. In this flowchart, it is assumed that the control unit 3 of the imaging device 1 reads out and executes the control program in the corrected image generation unit 6 from the recording medium 4.
第１の実施形態と同様に、図１２に示す歪曲収差に対する補正処理を実行する前提として、ぶれ補正処理が図１２に示す歪曲収差に対する補正処理と並列に実行されていることとする。 As in the first embodiment, it is assumed that the shake correction process is performed in parallel with the correction process for the distortion aberration shown in FIG. 12 as a premise for executing the correction process for the distortion aberration shown in FIG.
図１２においては、図１０に示す処理と同様の処理を実行するステップについては、同一のステップ番号を付している。
まず、制御部３は、ステップＳ１Ｂ−１において、ぶれ補正処理実行時に位置検出部８が取得する複数の位置情報（Ｘ、Ｙ）を取得する。
In FIG. 12, steps that execute the same process as the process shown in FIG. 10 are given the same step numbers.
First, in step S1B-1, the control unit 3 acquires a plurality of pieces of position information (X, Y) acquired by the position detection unit 8 when the shake correction process is executed.
次に、制御部３は、ステップＳ１Ｂ−２において、位置検出部８から取得した位置情報と対応するラインを選出する。図１１に示す例では、ラインａ、ｂ、ｃを選出する。
そして、制御部３は、ステップＳ１Ｂ−３において、選出したライン間に位置するラインについての位置情報を、１次補間により求め、ステップＳ２へと処理を移行させる。
Next, the control part 3 selects the line corresponding to the positional information acquired from the position detection part 8 in step S1B-2. In the example shown in FIG. 11, lines a, b, and c are selected.
And the control part 3 calculates | requires the positional information about the line located between the selected lines in step S1B-3 by primary interpolation, and transfers a process to step S2.
ステップＳ２以降の処理については、図１０に示す処理と同様である。
以上説明したように、本実施形態に係る撮像装置１によれば、ぶれ補正処理を行うときに位置検出部８が検出する位置情報を取得して、取得しなかったラインの位置情報については、１次補間により、歪曲収差補正に必要な位置情報（Ｘ、Ｙ）を算出する。歪曲収差補正と並列して実行するぶれ補正処理において用いる位置情報を利用することで、歪曲収差補正処理に要する時間を短縮することが可能となる。
The processing after step S2 is the same as the processing shown in FIG.
As described above, according to the imaging apparatus 1 according to the present embodiment, the position information detected by the position detection unit 8 when performing the blur correction process is acquired, and the position information of the line that is not acquired is obtained. Position information (X, Y) necessary for distortion correction is calculated by primary interpolation. By using the position information used in the shake correction process executed in parallel with the distortion correction, the time required for the distortion correction process can be shortened.
この他にも、本発明は、本発明の要旨を逸脱しない範囲内で、種々の改良及び変更が可能である。例えば、前述の各実施形態に示された全体構成からいくつかの構成要素を削除してもよく、更には各実施形態の異なる構成要素を適宜組み合わせてもよい。 In addition to the above, the present invention can be variously improved and changed without departing from the gist of the present invention. For example, some components may be deleted from the overall configuration shown in each of the above-described embodiments, and different components in each embodiment may be combined as appropriate.
１ 撮像装置
２ ぶれ検出部
３ 制御部
４ 記録媒体
５ 記憶部
６ 補正画像生成部
７ 被ぶれ補正機構
８ 位置検出部
９ 撮像部
１０ 撮像レンズ
１１ 駆動部
３１ 歪曲収差
３２ 固体撮像素子の実際の位置
３３ 撮像レンズと原点位置が一致する場合の固体撮像素子の位置
６１ 歪曲収差補正値
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Shake detection part 3 Control part 4 Recording medium 5 Memory | storage part 6 Correction | amendment image generation part 7 Blur correction mechanism 8 Position detection part 9 Imaging part 10 Imaging lens 11 Drive part 31 Distortion aberration 32 Actual position of solid-state image sensor 33 Position of the solid-state imaging device when the imaging lens and the origin position coincide with each other 61 Distortion correction value
Claims (13)
前記光電変換された被写体像を１ライン毎に取得し、当該取得した被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、前記１ラインまたは複数ラインに対応する位置情報に基づいて、前記被写体像に対して歪曲収差補正する処理と、を行う補正画像生成部
を備えることを特徴とする撮像装置。 In an imaging apparatus having a blur correction mechanism that drives an imaging unit that photoelectrically converts a subject image to generate position information after the driving,
A process of acquiring the photoelectrically converted subject image for each line, extracting the position information of one line or a plurality of lines corresponding to the line of the acquired subject image, and corresponding to the one line or the plurality of lines An image pickup apparatus comprising: a corrected image generation unit that performs a distortion correction process on the subject image based on position information.
ことを特徴とする請求項１記載の撮像装置。 The process of extracting the position information includes a first line that is one line in the horizontal scanning direction or the vertical scanning direction of the subject image, and a second line that is a plurality of lines spaced from the first line. The imaging apparatus according to claim 1, further comprising a process of extracting the position information in the horizontal scanning direction or the vertical scanning direction with respect to a line between lines by primary interpolation.
ことを特徴とする請求項２記載の撮像装置。 The process of extracting the position information includes a process of acquiring a plurality of position information acquired in the shake correction process, a process of selecting a plurality of lines respectively corresponding to the acquired plurality of position information, and the plurality of selected The imaging apparatus according to claim 2, further comprising: processing for obtaining position information about lines between the lines by linear interpolation.
を更に備えることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising: a storage unit that stores an image obtained by correcting the distortion aberration in the subject image.
前記光電変換された被写体像を１ライン毎に取得する段階と、
前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する段階と、
前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する段階と、
前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する段階と、
を有することを特徴とするぶれ補正方法。 A blur correction method by an imaging apparatus having a blur correction mechanism that drives an imaging unit that photoelectrically converts a subject image to generate position information after the driving,
Obtaining the photoelectrically converted subject image for each line;
Extracting the position information of one line or a plurality of lines corresponding to the line of the acquired subject image;
Calculating a distortion correction value based on position information corresponding to the one line or a plurality of lines;
Correcting distortion of the imaging lens based on the distortion correction value;
A shake correction method comprising:
ことを特徴とする請求項５記載のぶれ補正方法。 The step of extracting the position information includes a first line that is one line in the horizontal scanning direction or the vertical scanning direction of the subject image, and a second line that is one line apart from the first line by a plurality of lines. The blur correction method according to claim 5, further comprising: extracting the position information in the horizontal scanning direction or the vertical scanning direction with respect to a line between lines by primary interpolation.
ことを特徴とする請求項６記載のぶれ補正方法。 The step of extracting the position information includes a step of acquiring a plurality of position information acquired in the blur correction process, a step of selecting a plurality of lines respectively corresponding to the acquired plurality of position information, The blur correction method according to claim 6, further comprising: obtaining position information about lines between the lines by linear interpolation.
を更に備えることを特徴とする請求項５から７のいずれか１項に記載のぶれ補正方法。 The blur correction method according to claim 5, further comprising: storing an image subjected to the distortion correction in the subject image.
前記光電変換された被写体像を１ライン毎に取得する処理と、
前記取得した前記被写体像の当該ラインに対応する１ラインまたは複数ラインの前記位置情報を抽出する処理と、
前記１ラインまたは複数ラインに対応する位置情報に基づいて、歪曲収差補正値を算出する処理と、
前記歪曲収差補正値に基づいて、撮像レンズの歪曲収差を補正する処理と、
を前記演算処理装置に行わせることを特徴とする制御プログラム。 A control program for causing an arithmetic processing device to perform a shake correction method by an imaging device having a shake correction mechanism that drives an imaging unit that photoelectrically converts a subject image to generate position information after the driving,
Processing for acquiring the photoelectrically converted subject image for each line;
Processing for extracting the position information of one line or a plurality of lines corresponding to the line of the acquired subject image;
Processing for calculating a distortion correction value based on position information corresponding to the one line or a plurality of lines;
Processing for correcting distortion of the imaging lens based on the distortion correction value;
A control program for causing the arithmetic processing unit to perform
ことを特徴とする請求項９記載の制御プログラム。 The process of extracting the position information includes a first line that is one line in the horizontal scanning direction or the vertical scanning direction of the subject image, and a second line that is a plurality of lines spaced from the first line. The control program according to claim 9, further comprising a process of extracting the position information in the horizontal scanning direction or the vertical scanning direction with respect to a line between lines by primary interpolation.
ことを特徴とする請求項１０記載の制御プログラム。 The process of extracting the position information includes a process of acquiring a plurality of position information acquired in the shake correction process, a process of selecting a plurality of lines respectively corresponding to the acquired plurality of position information, and the plurality of selected The control program according to claim 10, further comprising: processing for obtaining position information about a line between lines by linear interpolation.
を更に備えることを特徴とする請求項９から１１のいずれか１項に記載の制御プログラム。 The control program according to any one of claims 9 to 11, further comprising: storing an image obtained by correcting the distortion aberration in the subject image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011097566A JP2012231262A (en) | 2011-04-25 | 2011-04-25 | Imaging apparatus, blur correction method, control program, and recording medium for recording control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011097566A JP2012231262A (en) | 2011-04-25 | 2011-04-25 | Imaging apparatus, blur correction method, control program, and recording medium for recording control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012231262A true JP2012231262A (en) | 2012-11-22 |
Family
ID=47432476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011097566A Withdrawn JP2012231262A (en) | 2011-04-25 | 2011-04-25 | Imaging apparatus, blur correction method, control program, and recording medium for recording control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012231262A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5719480B2 (en) * | 2012-07-13 | 2015-05-20 | 富士フイルム株式会社 | Image deformation apparatus and operation control method thereof |
| JP2015138132A (en) * | 2014-01-22 | 2015-07-30 | キヤノン株式会社 | imaging device |
| US9258484B2 (en) | 2013-07-04 | 2016-02-09 | Canon Kabushiki Kaisha | Image pickup apparatus and control method for same |
| US9467622B2 (en) | 2012-09-20 | 2016-10-11 | Canon Kabushiki Kaisha | Image capturing apparatus, image processing apparatus, and method of controlling image capturing apparatus to correct distortion |
| JP2017194591A (en) * | 2016-04-21 | 2017-10-26 | キヤノン株式会社 | Distance measurement device, imaging apparatus, and distance measurement method |
| CN111757093A (en) * | 2019-03-28 | 2020-10-09 | 卡尔蔡司显微镜有限责任公司 | Method, apparatus and computer program product for determining image recording aberrations |
| US11178330B2 (en) | 2018-10-03 | 2021-11-16 | Canon Kabushiki Kaisha | Image stabilizing apparatus, image processing apparatus, and detection method |
-
2011
- 2011-04-25 JP JP2011097566A patent/JP2012231262A/en not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5719480B2 (en) * | 2012-07-13 | 2015-05-20 | 富士フイルム株式会社 | Image deformation apparatus and operation control method thereof |
| US9467622B2 (en) | 2012-09-20 | 2016-10-11 | Canon Kabushiki Kaisha | Image capturing apparatus, image processing apparatus, and method of controlling image capturing apparatus to correct distortion |
| US9258484B2 (en) | 2013-07-04 | 2016-02-09 | Canon Kabushiki Kaisha | Image pickup apparatus and control method for same |
| JP2015138132A (en) * | 2014-01-22 | 2015-07-30 | キヤノン株式会社 | imaging device |
| JP2017194591A (en) * | 2016-04-21 | 2017-10-26 | キヤノン株式会社 | Distance measurement device, imaging apparatus, and distance measurement method |
| US11178330B2 (en) | 2018-10-03 | 2021-11-16 | Canon Kabushiki Kaisha | Image stabilizing apparatus, image processing apparatus, and detection method |
| CN111757093A (en) * | 2019-03-28 | 2020-10-09 | 卡尔蔡司显微镜有限责任公司 | Method, apparatus and computer program product for determining image recording aberrations |
| CN111757093B (en) * | 2019-03-28 | 2023-08-08 | 卡尔蔡司显微镜有限责任公司 | Method, apparatus and computer program product for determining image recording aberrations |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5487722B2 (en) | Imaging apparatus and shake correction method | |
| JP4446193B2 (en) | Image processing apparatus and method, and program | |
| JP4501994B2 (en) | Imaging device | |
| US8593531B2 (en) | Imaging device, image processing method, and computer program | |
| JP6460653B2 (en) | Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program | |
| JP2012231262A (en) | Imaging apparatus, blur correction method, control program, and recording medium for recording control program | |
| JP6222514B2 (en) | Image processing apparatus, imaging apparatus, and computer program | |
| KR101109532B1 (en) | Image capturing device, image capturing method, and a storage medium recording thereon a image capturing program | |
| JP2014057141A (en) | Image processing device, method and program, and imaging apparatus including image processing device | |
| JP6500238B2 (en) | Imaging device, imaging method and imaging program | |
| JP5039588B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP5714931B2 (en) | Imaging device | |
| JP2007081477A (en) | Imaging apparatus and control method thereof | |
| JP6111430B2 (en) | Imaging device | |
| JP2008283477A (en) | Image processor, and image processing method | |
| JP6727973B2 (en) | Image processing apparatus and control method thereof | |
| JP2014003417A (en) | Image pickup device | |
| JP5641127B2 (en) | Imaging apparatus and shake correction method | |
| JP6547742B2 (en) | Imaging control apparatus, imaging apparatus and imaging control method | |
| JP5938842B2 (en) | Imaging apparatus, AF evaluation value calculation method, and program | |
| JP2011244027A (en) | Imaging apparatus, camera shake correction method, program | |
| JP2010278701A (en) | Image combining device, and image combining method and program | |
| JP6089419B2 (en) | Imaging circuit, imaging method, imaging apparatus, and program | |
| JP2010028607A (en) | Image processing apparatus, image capturing apparatus and image processing mehtod | |
| JP2023065229A (en) | Imaging apparatus, control method thereof, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |