JP2007235806A - Image processor, photographic device, image processing method, and control program - Google Patents
Image processor, photographic device, image processing method, and control program Download PDFInfo
- Publication number
- JP2007235806A JP2007235806A JP2006057510A JP2006057510A JP2007235806A JP 2007235806 A JP2007235806 A JP 2007235806A JP 2006057510 A JP2006057510 A JP 2006057510A JP 2006057510 A JP2006057510 A JP 2006057510A JP 2007235806 A JP2007235806 A JP 2007235806A
- Authority
- JP
- Japan
- Prior art keywords
- shake
- reference position
- amount
- blur
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮影された画像を処理して出力画像を生成する画像処理装置、この画像処理装置の機能を具備した撮影装置、上記画像処理装置における画像処理方法、および、制御プログラムに関する。 The present invention relates to an image processing apparatus that processes a captured image to generate an output image, an imaging apparatus having the function of the image processing apparatus, an image processing method in the image processing apparatus, and a control program.
従来、撮影時の手ぶれ等が原因でぶれを含む画像を補正する画像補正処理が知られている。このような画像補正処理を行う装置の一例として、画像を補正する際の補正条件を、ズーム倍率に対応して変更する撮像装置がある(例えば、特許文献1参照)。
ところで、画像のぶれは画面全体で一様とは限らず、画面内でぶれ量に差が生じることがある。このような場合、ぶれ量に対応して適切な補正量を決定することが難しく、望まれた通りの補正を行えないことがあった。 By the way, blurring of an image is not always uniform over the entire screen, and there may be a difference in the amount of blurring within the screen. In such a case, it is difficult to determine an appropriate correction amount corresponding to the shake amount, and correction as desired may not be performed.
本発明は、上述した事情に鑑みてなされたものであり、画面内に不均一なぶれを含む画像を、適切に補正できるようにすることを目的とする。 The present invention has been made in view of the above-described circumstances, and an object thereof is to appropriately correct an image including non-uniform blur in a screen.
上記目的を達成するため、本発明は、画像撮影時のぶれ角度を取得するぶれ角度取得手段と、前記撮影時の撮影条件に基づいて、撮影画像におけるぶれ量の基準位置を設定する基準位置設定手段と、前記ぶれ角度取得手段により取得されたぶれ角度に基づき、前記基準位置設定手段により設定された基準位置におけるぶれ量を求めるぶれ量算出手段と、前記ぶれ量算出手段により求められたぶれ量に基づいて、前記撮影画像のぶれを補正する補正手段と、を備えることを特徴とする画像処理装置を提供する。
この構成によれば、撮影条件に基づいて撮影画像における基準位置を定め、この基準位置のぶれ量に基づいて撮影画像のぶれを補正するので、不均一なぶれを含む画像について最適な基準位置が定められ、この基準位置におけるぶれが特に良好に補正される。これにより、撮影者の意図や撮影画像の特性に合わせて、効果的にぶれ補正を行える。
In order to achieve the above object, the present invention provides a blur angle acquisition unit that acquires a blur angle at the time of image shooting, and a reference position setting that sets a reference position of a blur amount in the shot image based on the shooting conditions at the time of shooting. And a shake amount calculating means for obtaining a shake amount at a reference position set by the reference position setting means based on a shake angle obtained by the shake angle obtaining means, and a shake amount obtained by the shake amount calculating means. And a correction means for correcting blur of the photographed image.
According to this configuration, the reference position in the photographed image is determined based on the photographing condition, and the blur of the photographed image is corrected based on the blur amount of the reference position. Therefore, the optimum reference position for an image including uneven blur is determined. The blur at this reference position is corrected particularly well. Accordingly, it is possible to effectively perform shake correction in accordance with the photographer's intention and the characteristics of the captured image.
本発明の画像処理装置において、前記基準位置設定手段は、撮影時のズーム倍率に基づいて前記撮影画像におけるぶれ量の基準位置を設定するものとしてもよい。この場合、撮影者の意図や撮影画像の特性に応じたぶれ補正を、低負荷の処理により高速に行うことができる。例えばズーム倍率が高い場合には、撮影者が意図する中心的な被写体が画面中央に位置する可能性が高く、かつ、被写界深度が浅いことに対応して、画面中心部を基準位置としてぶれ補正を行い、ズーム倍率が低い場合には、撮影者が画面周辺に至る全体の撮影を望んでいる可能性が高く、かつ、被写界深度が深いことに対応して、画面周辺部を基準位置としてぶれ補正を行うことができ、効果的にぶれを補正できる。
また、前記基準位置設定手段は、前記撮影画像の中心部と周辺部とのいずれか一方を、前記撮影画像におけるぶれ量の基準位置として設定するものとしてもよい。この場合、2通りの処理のいずれかを選択することで効果的なぶれ補正を行えるので、上述の効果を、低負荷の処理で高速に行うことができる。
さらに、前記補正手段は、前記撮影画像中の特定の領域をトリミングするとともに、トリミングする領域の位置をぶれ量に基づいて変更することにより、前記撮影画像のぶれを補正するものとしてもよい。これにより、低負荷な処理によって、ぶれ量に応じたぶれ補正を効率よく行うことができる。
In the image processing apparatus of the present invention, the reference position setting unit may set a reference position of a blur amount in the captured image based on a zoom magnification at the time of shooting. In this case, the blur correction according to the photographer's intention and the characteristics of the photographed image can be performed at high speed by low-load processing. For example, when the zoom magnification is high, the central subject intended by the photographer is likely to be located in the center of the screen, and the center of the screen is used as the reference position in response to the shallow depth of field. When blur correction is performed and the zoom magnification is low, the photographer is more likely to want to shoot the entire area around the screen and the depth of field is deep. As a reference position, shake correction can be performed, and shake can be corrected effectively.
Further, the reference position setting means may set one of a central portion and a peripheral portion of the photographed image as a reference position for a shake amount in the photographed image. In this case, since effective blur correction can be performed by selecting one of the two types of processing, the above-described effect can be performed at high speed with low load processing.
Further, the correction unit may correct a shake of the photographed image by trimming a specific region in the photographed image and changing a position of the region to be trimmed based on a blur amount. As a result, it is possible to efficiently perform shake correction according to the amount of shake by low-load processing.
また、上記目的を達成するため、本発明は、撮影を行って撮影画像を出力する撮影手段と、前記撮影手段による撮影時のぶれ角度を取得するぶれ角度取得手段と、前記撮影手段における撮影条件に基づいて、前記撮影画像におけるぶれ量の基準位置を設定する基準位置設定手段と、前記ぶれ角度取得手段により取得されたぶれ角度に基づき、前記基準位置設定手段により設定された基準位置におけるぶれ量を求めるぶれ量算出手段と、前記ぶれ量算出手段により求められたぶれ量に基づいて、前記撮影画像のぶれを補正する補正手段と、を備えることを特徴とする撮影装置を提供する。 In order to achieve the above object, the present invention provides a photographing unit that performs photographing and outputs a photographed image, a blur angle obtaining unit that obtains a blur angle at the time of photographing by the photographing unit, and a photographing condition in the photographing unit. Based on the reference position setting means for setting the reference position of the shake amount in the captured image, and the shake amount at the reference position set by the reference position setting means based on the shake angle acquired by the shake angle acquisition means There is provided a photographing apparatus comprising: a blur amount calculating means for obtaining a correction amount; and a correcting means for correcting a blur of the photographed image based on the blur amount obtained by the blur amount calculating means.
上記撮影装置の構成において、前記撮影手段は、動画を構成するフレームを順次撮影するものであり、前記ぶれ角度取得手段は、前記フレームの撮影周期におけるぶれ角度を取得し、前記補正手段は、前記フレームを順次補正するものとしてもよい。 In the configuration of the photographing apparatus, the photographing unit sequentially photographs frames constituting a moving image, the blur angle obtaining unit obtains a blur angle in a photographing period of the frame, and the correction unit includes the correction unit The frames may be corrected sequentially.
また、上記課題を解決するため、本発明は、画像撮影時のぶれ角度を取得するとともに、前記撮影時の撮影条件に基づいて撮影画像におけるぶれ量の基準位置を設定し、取得したぶれ角度に基づいて、設定した基準位置におけるぶれ量を求め、求めたぶれ量に基づいて前記撮影画像のぶれを補正すること、を特徴とする画像処理方法を提供する。 In order to solve the above-described problem, the present invention acquires a blur angle at the time of image shooting, sets a reference position for the amount of blur in the shot image based on the shooting conditions at the time of shooting, and sets the acquired blur angle. The present invention provides an image processing method characterized in that a blur amount at a set reference position is obtained and the blur of the photographed image is corrected based on the obtained blur amount.
また、上記課題を解決するため、本発明は、画像処理装置を制御するためのコンピュータにより実行される制御プログラムであって、前記コンピュータを、画像撮影時のぶれ角度を取得するぶれ角度取得手段と、前記撮影時の撮影条件に基づいて、撮影画像におけるぶれ量の基準位置を設定する基準位置設定手段と、前記ぶれ角度取得手段により取得されたぶれ角度に基づき、前記基準位置設定手段により設定された基準位置におけるぶれ量を求めるぶれ量算出手段と、前記ぶれ量算出手段により求められたぶれ量に基づいて、前記撮影画像のぶれを補正する補正手段と、して機能させる制御プログラムを提供する。 In order to solve the above-described problem, the present invention provides a control program executed by a computer for controlling an image processing apparatus, wherein the computer is a shake angle acquisition unit that acquires a shake angle at the time of image shooting. The reference position setting means for setting the reference position of the shake amount in the photographed image based on the shooting conditions at the time of shooting, and the reference position setting means based on the shake angle acquired by the shake angle acquisition means. There is provided a control program that functions as a shake amount calculation unit that calculates a shake amount at a reference position, and a correction unit that corrects the shake of the photographed image based on the shake amount obtained by the shake amount calculation unit. .
また、本発明は、上述した画像処理装置、撮影装置、画像処理方法、および制御プログラムに適用する他、上記制御プログラムを、電気通信回線を介してダウンロード可能にし、あるいは、磁気記録媒体、光記録媒体、半導体記録媒体といった、コンピュータに読み取り可能な記録媒体に記憶して配布する、といった態様でも実施され得る。 In addition to being applied to the above-described image processing apparatus, photographing apparatus, image processing method, and control program, the present invention enables the control program to be downloaded via an electrical communication line, or a magnetic recording medium, optical recording It can also be implemented in such a manner that it is stored in a computer-readable recording medium such as a medium or a semiconductor recording medium and distributed.
上記構成によれば、不均一なぶれを含む画像について最適な基準位置が定められ、この基準位置におけるぶれが特に良好に補正されるので、撮影者の意図や撮影画像の特性に合わせて効果的にぶれ補正を行える。 According to the above configuration, an optimum reference position is determined for an image including non-uniform blur, and the blur at this reference position is corrected particularly well, so that it is effective in accordance with the photographer's intention and the characteristics of the photographed image. Blur correction can be performed.
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、電子機器の一態様としての携帯型デジタルビデオカメラ(以下、単に「携帯型ビデオカメラ」と言う)に本発明を適用した場合について説明する。
図1は本実施の形態に係る携帯型ビデオカメラ1の構成を示すブロック図である。この携帯型ビデオカメラ1は、本発明の画像処理装置、および撮影装置を適用したものであり、図1に示すように、制御部10、撮影部20、角速度検出部30、操作部40、リムーバブルメディア50、I/F部51および映像出力端子52を備えている。
この携帯型ビデオカメラ1は、静止画像、及び、連続するフレームから構成される動画像を撮影し、後述するように補正することが可能である。本実施の形態では、携帯型ビデオカメラ1によって動画像を撮影する場合を例に挙げて説明する。
Embodiments of the present invention will be described below with reference to the drawings. In this embodiment, a case where the present invention is applied to a portable digital video camera (hereinafter simply referred to as a “portable video camera”) as one embodiment of an electronic device will be described.
FIG. 1 is a block diagram showing a configuration of a portable video camera 1 according to the present embodiment. This portable video camera 1 is an application of the image processing device and the photographing device of the present invention. As shown in FIG. 1, the
The portable video camera 1 can capture a still image and a moving image composed of continuous frames, and can correct it as described later. In the present embodiment, a case where a moving image is captured by the portable video camera 1 will be described as an example.
制御部10は、携帯型ビデオカメラ1の各部を制御する機能を有し、各種プログラムの実行や演算処理をするCPU11と、このCPU11が実行する制御プログラム100や各種データを格納する書き換え可能なフラッシュROM12と、上記CPU11の演算結果や各種データを一時的に格納するためのワークエリアとして機能するRAM13と、時間をカウントするタイマ回路14とを備えている。また、上記ROM12に格納された制御プログラム100にはぶれ補正プログラム100Aが含まれており、制御部10が撮影時に当該ぶれ補正プログラム100Aを実行することで、撮影時の手ぶれの影響を排して、ぶれのない動画表示を実現する。
The
この制御プログラム100は、例えばCD−ROM、DVD−ROM、フレキシブルディスク、半導体記憶素子を用いた可搬型メモリ等のコンピュータ読み取り可能な記録媒体60に記録して配布することが可能である。さらに、パーソナルコンピュータと携帯型ビデオカメラ1とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体60の制御プログラム100を携帯型ビデオカメラ1に出力することで、フラッシュROM12に制御プログラム100を格納することも可能である。
The
撮影部20は、被写体を動画として撮影する撮影手段として機能するものであり、カメラコントロール回路21、撮影カメラ22、撮影部RAM23および表示パネル24を備えている。カメラコントロール回路21は、制御部10の制御の下、撮影部20の各部を制御する。また、撮影カメラ22は、被写体が撮像されたフレームのデータ(以下、単に「フレーム」と言う)をカメラコントロール回路21に所定のサンプリングレートで順次出力するものであり、CCDやCMOS等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するA/D変換回路等を備えて構成される。撮影部20により撮影される動画は、例えば1秒あたり30フレーム(30fps)の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。
The photographing
撮影部RAM23はフレームを一時的に格納するバッファとして機能する。また、表示パネル24は撮影された動画や設定画面等の各種情報を表示する機能を有し、例えば液晶ディスプレイパネルや有機ELパネル等のフラットディスプレイパネルにより構成される。リムーバブルメディア50は、撮影時の動画データを格納する記録メディアであり、例えばビデオテープ、記録可能な光学ディスク、リムーバブルハードディスクにより構成されている。
このような構成の下、撮影カメラ22から出力されたフレームはカメラコントロール回路21によって所定の画像処理がなされた後、撮影部RAM23に一時的に格納され、また、制御部10を介してリムーバブルメディア50に動画データとして順次格納される。撮像部RAM23に格納されたフレームは表示パネル24に表示する際に用いられ、また、リムーバブルメディア50に格納された動画データは撮影後に撮影動画を表示(再生)する際に用いられる。
The photographing
Under such a configuration, the frame output from the photographing
角速度検出部30は、携帯型ビデオカメラ1の本体を中心として仮想的に設定されたX−Y−Z直交空間座標系において、X軸、Y軸、Z軸の3軸を中心とした携帯型ビデオカメラ1の角速度を検出する。この座標系においてX軸は、携帯型ビデオカメラ1の撮像面に平行でかつ水平な直線であり、Y軸は携帯型ビデオカメラ1の撮像面に平行な鉛直線であり、Z軸は携帯型ビデオカメラ1の撮像面の法線に相当する。
詳細には、角速度検出部30は、X軸を中心とする回転の角速度を検出するX軸ジャイロセンサ31、Y軸を中心とする回転の角速度を検出するY軸ジャイロセンサ32、及び、Z軸を中心とする回転の角速度を検出するZ軸ジャイロセンサ33を備える。これらX軸ジャイロセンサ31、Y軸ジャイロセンサ32及びZ軸ジャイロセンサ33は、それぞれ、角速度に応じた電圧値の角速度検出信号を制御部10に出力する。制御部10は、フレーム70のサンプリング周期と同期して各ジャイロセンサ31、32、33の角速度検出信号を取り込み、X軸、Y軸及びZ軸の各々についてぶれ角度を算出し、フレームと対応付けて、あるいは、フレームに付加してリムーバブルメディア50に格納する。
The angular
Specifically, the angular
ここで、角速度検出部30により検出される角速度に基づいて、手ぶれ量を算出する処理について説明する。
制御部10は、角速度検出部30から出力される角速度検出信号に基づいて角速度(rad/秒)を算出し、この角速度(rad/秒)を時間(秒)で積分することでぶれ角度θ(rad)を算出する。角速度を積分する時間は、例えば、フレームのサンプリング間隔(秒)、すなわち前のフレーム撮影開始時から補正対象のフレームの撮影開始時までの間の時間とする。この場合、前のフレームと処理対象のフレームとの間における被写体の位置変化を最小にして、見やすい動画像を得られる。
そして、制御部10は、以下に説明するように、ぶれ角度θに基づいて、ぶれ量を画素数(dot)として算出する。
Here, a process of calculating the amount of camera shake based on the angular velocity detected by the angular
The
Then, as described below, the
図2は、携帯型ビデオカメラ1が所定の軸を中心に回動した場合のぶれ量を示す。
この図2中、符号Aは画面の端に位置する点であり、符号Bは画面の中心に位置する点である。また、同図中、αは画角の2分の1に相当する角度(rad)を示し、θは画面の端におけるぶれ角度(rad)、θ´は画面の中心におけるぶれ角度(rad)、Lは焦点距離、Hは画面の幅の2分の1に相当する長さを示す。
画面の端に位置する点Aは、手ぶれにより点A´に移動する。このときの点A−A´の移動量x(dot)は、下記式(1)により求められる。
x=L{tan(α+θ)−tanα} ・・・(1)
上記式(1)は、近似を用いて下記式(2)〜(5)に示すように変形可能である。
FIG. 2 shows the amount of shake when the portable video camera 1 is rotated about a predetermined axis.
In FIG. 2, the symbol A is a point located at the edge of the screen, and the symbol B is a point located at the center of the screen. In the figure, α indicates an angle (rad) corresponding to one half of the angle of view, θ is a shake angle (rad) at the edge of the screen, θ ′ is a shake angle (rad) at the center of the screen, L indicates a focal length, and H indicates a length corresponding to one half of the screen width.
Point A located at the edge of the screen moves to point A ′ due to camera shake. The movement amount x (dot) of the point A-A ′ at this time is obtained by the following equation (1).
x = L {tan (α + θ) −tan α} (1)
The above equation (1) can be modified as shown in the following equations (2) to (5) using approximation.
x=L(1+tan2α)θ=β・θ ・・・(6)
x = L (1 + tan 2 α) θ = β · θ (6)
また、画面中心に位置する点Bは手ぶれにより点B´へ移動する。この点B−B´の移動量x´(dot)は、下記式(7)により求められる。
x´=L・tanθ´ ・・・(7)
上記式(6)によれば、画面の端及びその周辺(以下、画面周辺部と総称する)のぶれ量xが求められ、上記式(7)によれば、画面の中心及びその周辺(以下、画面中心部と総称する)のぶれ量x´が求められる。
Further, the point B located at the center of the screen moves to the point B ′ due to camera shake. The movement amount x ′ (dot) of this point BB ′ is obtained by the following equation (7).
x ′ = L · tan θ ′ (7)
According to the above formula (6), the blur amount x of the edge of the screen and its periphery (hereinafter collectively referred to as the screen peripheral portion) is obtained, and according to the above formula (7), the center of the screen and its periphery (hereinafter referred to as the screen periphery). , Collectively referred to as the center of the screen).
なお、ジャイロセンサ31、32、33の個体差等によって、角速度(rad/秒)がゼロの場合における角速度検出信号の電圧値が異なるため、本実施の形態では、本体の電源が投入された後、撮影を開始する前までに、ぶれがない停止状態で各ジャイロセンサ31、32、33の角速度検出信号をサンプリングして、その平均値をゼロ点電圧値として設定している。このとき、一定時間に亘り複数のゼロ点電圧値を求め、これらのゼロ点電圧値の平均値との差が所定値以下のゼロ点電圧値が一定割合(例えば99%)以上得られた場合に、そのゼロ点電圧値の平均値を実際のゼロ点電圧値として設定する構成としており、これにより本体が停止状態であるときのゼロ点電圧値が設定可能となる。
It should be noted that the voltage value of the angular velocity detection signal when the angular velocity (rad / sec) is zero varies depending on individual differences of the
操作部40は、ユーザによって操作される複数の操作子を有し、例えば電源ボタンや撮影開始/終了等の各種指示を入力するための操作キーを有している。I/F部51は携帯型ビデオカメラ1をパーソナルコンピュータとケーブル等で通信可能に接続するためのインターフェースであり、リムーバブルメディア50に格納された動画データをパーソナルコンピュータに出力する際には当該動画データがI/F部51を介してパーソナルコンピュータに出力される。映像出力端子52は、テレビやプロジェクタなどの外部ディスプレイ装置に動画の映像信号を出力するための端子である。なお、携帯型ビデオカメラ1は、上述の構成要素の他にも、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えて構成されている。
The
そして、携帯型ビデオカメラ1は、フラッシュROM12に格納されたぶれ補正プログラム100Aを実行することにより、撮影部20により撮影されたフレームのぶれを補正して、補正画像を作成するぶれ補正処理を実行する。
ここで、フレームを補正する処理について、具体例を挙げて説明する。
Then, the portable video camera 1 executes a
Here, the process of correcting the frame will be described with a specific example.
図3(A)に示すように、携帯型ビデオカメラ1によって動画撮影中に手ぶれが発生すると、被写体に対する撮影対象範囲の相対位置が移動する。ここで、撮影されたフレーム70は、携帯型ビデオカメラ1から映像出力端子52等を介して出力される画像よりも多くの画素からなる画像となっており、制御部10は、撮影されたフレームの一部をトリミングした画像を生成して、この画像を出力する。その際、トリミングする領域を移動させれば、手ぶれの影響を軽減できる。
As shown in FIG. 3A, when camera shake occurs during moving image shooting by the portable video camera 1, the relative position of the shooting target range with respect to the subject moves. Here, the photographed
すなわち、携帯型ビデオカメラ1は、図3(B)に示すように、撮影されたフレーム70から出力部71をトリミングして補正画像とする。フレーム70における出力部71の位置は、初期状態ではフレーム70の中央位置にあるが、この初期状態から任意に変更できる。このため、撮影時の手ぶれによってフレーム70における被写体が移動した場合には、これを補償するように(ぶれ方向と反対方向に)出力部71を移動させ、移動後の出力部71をトリミングする。この処理により、図3(D)に示すように被写体の位置がぶれ発生の前と変わらない補正画像72が得られる。この場合の出力部71の移動量(図中符号M)を、補正量と呼ぶ。この処理により、手ぶれによるフレーム70の移動(フレーム70中における被写体の見かけ上の移動)が、出力部71の移動によって相殺され、手ぶれの影響が解消される。
That is, as shown in FIG. 3B, the portable video camera 1 trims the
補正量Mは、下記式(8)に示すように、フレーム70におけるぶれ量に補正倍率rを乗じて決定される。補正倍率rが1の場合、補正量Mはぶれ量に等しく、補正倍率rが0.5の場合、補正量Mはぶれ量の半分となる。補正倍率を1.0未満とすれば、補正量Mがぶれ量より小さい値となるので、フレーム70中の被写体が全く動かないことによる違和感を避けたい場合等に有効である。
M=r・x ・・・(8)
また、上記式(8)により求められる補正量Mには上限が定められる。この上限を補正上限値と呼ぶ。補正上限値は、ぶれ量が極めて大きい場合に被写体が大きく移動されすぎて、かえって不自然な画像になり、或いは見難い画像になってしまうことを避けるために設定される。上記式(8)により求められた補正量Mが補正上限値を超えた場合には、補正量Mは補正上限値と同値に設定される。
The correction amount M is determined by multiplying the shake amount in the
M = r · x (8)
Further, an upper limit is set for the correction amount M obtained by the above equation (8). This upper limit is called a correction upper limit value. The correction upper limit value is set in order to prevent the subject from moving too much when the amount of blurring is extremely large, resulting in an unnatural image or an image that is difficult to see. When the correction amount M obtained by the above equation (8) exceeds the correction upper limit value, the correction amount M is set to the same value as the correction upper limit value.
ところで、フレーム70のぶれ量は、画面周辺部と画面中心部とで異なる。このため、後述するぶれ補正処理では、画面周辺部のぶれ量を基準としてぶれを補正するか、画面中心部のぶれ量を基準としてぶれを補正するかに応じて、上記式(6)と式(7)のいずれかを選択する。本実施の形態において上記選択の基準は、撮影部20におけるズーム倍率である。ズーム倍率が所定値よりも高い(望遠側)場合は画面中心部のぶれ量を基準とし、ズーム倍率が基準値よりも低い(広角側)場合は、画面周辺部のぶれ量を基準とする。
一般に、望遠側で撮影を行う場合、撮影者が目的とする被写体は画面の中央部に位置していることが多いので、画面中心部のぶれ量を基準にしてぶれを補正すれば、撮影者が望む被写体の写りが良好になる。また、ズーム倍率が高い場合は被写界深度が浅いので、画面周辺部まで完全にピントが合うことは少なく、画面中心部の画質を優先することが望ましい上、画面周辺部にぼけが残っても違和感を生じにくい。一方、広角側で撮影する場合には被写界深度が深いことから、撮影者にとって画面全体が良好に写っていることが望ましいということができ、画面周辺部のぼけが少ないことが重要である。このため、ズーム倍率が基準値以下の場合には、画面周辺部のぶれ量を基準としてぶれを補正することが、撮影者の要求に適しているといえる。
By the way, the shake amount of the
Generally, when shooting on the telephoto side, the subject that the photographer aims at is often located in the center of the screen, so if you correct the blur based on the amount of blur at the center of the screen, the photographer The desired subject is better reflected. Also, when the zoom magnification is high, the depth of field is shallow, so it is unlikely that the image will be completely focused on the screen periphery, and it is desirable to give priority to the image quality at the center of the screen, and blurring will remain in the screen periphery. Is less likely to cause discomfort. On the other hand, when shooting on the wide-angle side, since the depth of field is deep, it can be said that it is desirable for the photographer to capture the entire screen, and it is important that there is little blur around the screen. . For this reason, when the zoom magnification is equal to or less than the reference value, it can be said that it is suitable for the photographer's request to correct the blur based on the blur amount at the periphery of the screen.
図4は、ぶれ補正処理を示すフローチャートである。この図4に示すぶれ補正処理は、CPU11により、フラッシュROM12に格納されたぶれ補正プログラム100Aを実行することにより、実現される。図4のぶれ補正処理を実行する制御部10は、ぶれ角度取得手段、基準位置設定手段、ぶれ量算出手段、及び補正手段として機能する。
ぶれ補正を開始すると(ステップS11)、CPU11は、カメラコントロール回路21によりセットされたズーム倍率等から焦点距離を算出する(ステップS12)。
続いて、CPU11は、ステップS12で取得したズーム倍率及び算出した焦点距離に基づいて補正倍率を算出し、この補正倍率を設定するとともに、補正上限値を設定する(ステップS13)。ズーム倍率が高いと手ぶれが増幅されるため、撮影されたフレームではより大きなぶれが現れる。このため、ズーム倍率が高い場合は補正倍率を高くするとともに補正上限値を大きくして、より大きなぶれを補正できるようにする。また、ズーム倍率が低ければ補正倍率を低くし、補正上限値を低く設定する。
FIG. 4 is a flowchart showing the shake correction process. The blur correction process shown in FIG. 4 is realized by the
When blur correction is started (step S11), the
Subsequently, the
そして、CPU11は、ズーム倍率に基づいて上記式(6)及び式(7)のうち、ぶれ量を求める式を選択する(ステップS14)。この選択により、画面中心部を基準とするか、画面周辺部を基準とするかが決められる。CPU11は、選択した式を用いて演算処理を行って補正量を算出し(ステップS15)、求めた補正量に従って補正対象のフレームを補正して、補正後の画像を出力する(ステップS16)。
その後、CPU11は、撮影を終了するか否かを判別し(ステップS17)、撮影を継続する場合は(ステップS17;No)、ステップS12に戻って、次のフレームの補正を行う。これにより、動画を構成するフレームが撮影部20から順次入力された場合に、CPU11は、これらフレームを順次補正する。そして、撮影終了とともに(ステップS17;Yes)、本処理を終了する。
Then, the
Thereafter, the
以上のように、本発明を適用した実施の形態に係る携帯型ビデオカメラ1は、動画を構成するフレームについて、フレーム撮影周期における手ぶれに応じてぶれを補正する機能を有し、フレーム毎に、撮影時のズーム倍率に応じて画面中心部と画面周辺部のいずれかを基準位置として選択し、選択した位置のぶれ量をもとにフレームのぶれを補正する。これにより、撮影者の意図やフレームの特性に合わせて、効果的にぶれ補正を行える。特に、ズーム倍率に基づいて基準の位置を定めることで、撮影者の意図やフレームの特性に応じたぶれ補正を、低負荷の処理により高速に行うことができる。さらに、フレーム中の特定の領域をトリミングするとともに、トリミングする領域の位置をぶれ量に基づいて変更ことでフレームを補正するので、低負荷な処理によって、ぶれ量に応じたぶれ補正を効率よく行うことができる。 As described above, the portable video camera 1 according to the embodiment to which the present invention is applied has a function of correcting shake according to camera shake in a frame shooting period for frames constituting a moving image. Depending on the zoom magnification at the time of shooting, either the center of the screen or the periphery of the screen is selected as a reference position, and the blurring of the frame is corrected based on the amount of blurring at the selected position. Accordingly, it is possible to effectively perform shake correction in accordance with the photographer's intention and the characteristics of the frame. In particular, by determining the reference position based on the zoom magnification, blur correction according to the photographer's intention and frame characteristics can be performed at high speed by low-load processing. Furthermore, since a specific region in the frame is trimmed and the frame is corrected by changing the position of the region to be trimmed based on the amount of blur, the blur correction according to the amount of blur is efficiently performed by low-load processing. be able to.
なお、上記実施の形態においては、上記式(6)によって求められる画面周辺部のぶれ量xと、上記式(7)によって求められる画面中央部のぶれ量x´のいずれかを用いてぶれを補正するものとしたが、本発明はこれに限定されるものではない。例えば、図5に示すように、画面中心と端との間に位置する点Cが、手ぶれによって点C´へ移動した場合のぶれ量x”は、上記式(6)を変形して得られる下記式(9)により求められる。
x”=L(1+tan2δ)θ” ・・・(9)
但し、δは点Cにおける画角(rad)、θ”は点Cにおけるぶれ角度(rad)。
この式(9)は、画面の中心(画角0)と端(画角α)のいずれともいえない中間位置にある点におけるぶれ量を求めることができる。従って、上記式(6)、式(7)と合わせて式(9)を選択可能とすることで、ぶれ補正の基準となる位置をフレーム中の任意の位置にすることができ、ズーム倍率にきめ細かく対応させて基準点を移動させることができる。
In the above embodiment, the blurring is performed by using either the blur amount x of the screen peripheral portion obtained by the above equation (6) or the blur amount x ′ of the screen central portion obtained by the above equation (7). Although the correction is made, the present invention is not limited to this. For example, as shown in FIG. 5, the blur amount x ″ when the point C located between the center and the edge of the screen moves to the point C ′ due to camera shake is obtained by modifying the above equation (6). It calculates | requires by following formula (9).
x ″ = L (1 + tan 2 δ) θ ″ (9)
Where δ is the angle of view (rad) at point C, and θ ″ is the angle of deflection (rad) at point C.
This equation (9) can determine the amount of blurring at a point at an intermediate position that cannot be said to be either the center (viewing angle 0) or the end (viewing angle α) of the screen. Therefore, by making it possible to select the expression (9) in combination with the above expressions (6) and (7), the position serving as the reference for blur correction can be set to an arbitrary position in the frame, and the zoom magnification can be increased. The reference point can be moved with fine correspondence.
また、例えば、上記実施の形態では、ズーム倍率に基づいて、画面中心部と画面周辺部のいずれかを選択するものとして説明したが、これに加えて、絞り値が開放側か絞り側かをもとに選択することも可能である。絞りが開放側の場合には、被写界深度が浅くなるので、画面中心部にぼけがないことが重要視される一方、画面周辺部にぼけがあっても問題のないことが多い。絞り側の場合は被写界深度が深くなるため、周辺部においてぼけがないことが重要視される。これに対応して、絞り値が開放側の場合は画面中心部を基準とし、絞り側の場合は画面周辺部を基準とするように選択を行うことで、効果的なぶれ補正を行える。 Further, for example, in the above-described embodiment, it has been described that either the screen center portion or the screen peripheral portion is selected based on the zoom magnification, but in addition to this, it is determined whether the aperture value is the open side or the aperture side. It is also possible to select based on. When the aperture is at the open side, the depth of field becomes shallow, so it is important that there is no blur at the center of the screen. On the other hand, there is often no problem if there is blur at the periphery of the screen. In the case of the aperture side, since the depth of field is deep, it is important that there is no blur in the peripheral portion. Correspondingly, effective blur correction can be performed by selecting the center of the screen when the aperture value is at the open side and using the periphery of the screen as the reference when the aperture value is on the aperture side.
さらに、例えば、上記実施の形態では、撮影部20により撮影されたフレーム70に対してぶれ補正処理を行う例について説明したが、例えば、リムーバブルメディア50等に格納された複数フレームからなる動画像について、その表示(再生)時にぶれ補正処理を行うようにしてもよい。すなわち、撮影されたフレームのデータと、各フレーム撮影時のぶれ量を示すデータとがリムーバブルメディア50等に格納されていれば、撮影機能を有しない他の機器においてぶれ補正処理を実行することが可能である。さらに、上記実施の形態によれば、携帯型ビデオカメラ1は撮影部20により連続するフレームにより構成される動画像を撮影する場合を例に挙げて説明したが、本発明はこれに限定されるものではなく、静止画像を撮影して、この静止画像を補正するものとしてもよい。この場合、静止画像の撮影中(露出時間中)に角速度検出部30から出力される角速度検出信号に基づいて、露出時間中における角速度を積分することでぶれ角度を求めるようにすればよい。
Further, for example, in the above-described embodiment, an example in which the blur correction process is performed on the
また、上記実施の形態および変形例では、デジタルカメラ1の動きを検出するため、ジャイロセンサ31、32、33を備えたジャイロセンサ部30により角速度を検出する構成としたが、本発明はこれに限定されるものではなく、デジタルカメラ1の単位時間あたりの移動量を検出可能なものであれば、例えば加速度センサを用いることも可能である。
また、本発明は、上記実施の形態および変形例で説明した携帯型ビデオカメラ1以外の動画撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備した携帯電話機、PDA、ノート型パソコン等の各種電子機器においても適用可能である。
In the embodiment and the modification, the angular velocity is detected by the
Further, the present invention can also be applied to a photographing apparatus having a moving image photographing function other than the portable video camera 1 described in the above embodiment and the modified examples. The present invention can also be applied to a digital still camera and various electronic devices such as a mobile phone, a PDA, and a notebook personal computer equipped with such a digital still camera.
1…携帯型デジタルビデオカメラ(撮影装置、画像処理装置)、10…制御部(ぶれ角度取得手段、基準位置設定手段、ぶれ量算出手段、補正手段)、20…撮影部(撮影手段)、24…表示パネル、30…角速度検出部、50…リムーバブルメディア、60…記録媒体、70…フレーム、71…出力部、72…補正画像、100…制御プログラム、100A…ぶれ補正プログラム。 DESCRIPTION OF SYMBOLS 1 ... Portable digital video camera (imaging apparatus, image processing apparatus), 10 ... Control part (blur angle acquisition means, reference position setting means, blur amount calculation means, correction means), 20 ... Shooting part (imaging means), 24 DESCRIPTION OF SYMBOLS ... Display panel, 30 ... Angular velocity detection part, 50 ... Removable medium, 60 ... Recording medium, 70 ... Frame, 71 ... Output part, 72 ... Correction image, 100 ... Control program, 100A ... Shake correction program.
Claims (8)
前記撮影時の撮影条件に基づいて、撮影画像におけるぶれ量の基準位置を設定する基準位置設定手段と、
前記ぶれ角度取得手段により取得されたぶれ角度に基づき、前記基準位置設定手段により設定された基準位置におけるぶれ量を求めるぶれ量算出手段と、
前記ぶれ量算出手段により求められたぶれ量に基づいて、前記撮影画像のぶれを補正する補正手段と、
を備えることを特徴とする画像処理装置。 A shake angle acquisition means for acquiring a shake angle at the time of image shooting;
A reference position setting means for setting a reference position of a blur amount in a photographed image based on photographing conditions at the time of photographing;
Based on the shake angle acquired by the shake angle acquisition means, the shake amount calculation means for obtaining the shake amount at the reference position set by the reference position setting means,
Correction means for correcting the shake of the captured image based on the shake amount obtained by the shake amount calculation means;
An image processing apparatus comprising:
前記撮影手段による撮影時のぶれ角度を取得するぶれ角度取得手段と、
前記撮影手段における撮影条件に基づいて、前記撮影画像におけるぶれ量の基準位置を設定する基準位置設定手段と、
前記ぶれ角度取得手段により取得されたぶれ角度に基づき、前記基準位置設定手段により設定された基準位置におけるぶれ量を求めるぶれ量算出手段と、
前記ぶれ量算出手段により求められたぶれ量に基づいて、前記撮影画像のぶれを補正する補正手段と、
を備えることを特徴とする撮影装置。 Photographing means for performing photographing and outputting a photographed image;
A shake angle obtaining means for obtaining a shake angle at the time of photographing by the photographing means;
A reference position setting means for setting a reference position of a blur amount in the photographed image based on a photographing condition in the photographing means;
Based on the shake angle acquired by the shake angle acquisition means, the shake amount calculation means for obtaining the shake amount at the reference position set by the reference position setting means,
Correction means for correcting the shake of the captured image based on the shake amount obtained by the shake amount calculation means;
An imaging apparatus comprising:
前記ぶれ角度取得手段は、前記フレームの撮影周期におけるぶれ角度を取得し、
前記補正手段は、前記フレームを順次補正すること、
を特徴とする請求項5記載の撮影装置。 The photographing means sequentially photographs frames constituting a moving image,
The shake angle acquisition means acquires a shake angle in the shooting period of the frame,
The correcting means sequentially corrects the frames;
The imaging device according to claim 5.
を特徴とする画像処理方法。 Obtaining the shake angle at the time of image shooting, setting the reference position of the shake amount in the shot image based on the shooting conditions at the time of shooting, and obtaining the shake amount at the set reference position based on the acquired shake angle, Correcting blur of the captured image based on the calculated amount of blur,
An image processing method characterized by the above.
前記コンピュータを、
画像撮影時のぶれ角度を取得するぶれ角度取得手段と、
前記撮影時の撮影条件に基づいて、撮影画像におけるぶれ量の基準位置を設定する基準位置設定手段と、
前記ぶれ角度取得手段により取得されたぶれ角度に基づき、前記基準位置設定手段により設定された基準位置におけるぶれ量を求めるぶれ量算出手段と、
前記ぶれ量算出手段により求められたぶれ量に基づいて、前記撮影画像のぶれを補正する補正手段と、
して機能させる制御プログラム。
A control program executed by a computer for controlling an image processing apparatus,
The computer,
A shake angle acquisition means for acquiring a shake angle at the time of image shooting;
A reference position setting means for setting a reference position of a blur amount in a photographed image based on photographing conditions at the time of photographing;
Based on the shake angle acquired by the shake angle acquisition means, the shake amount calculation means for obtaining the shake amount at the reference position set by the reference position setting means,
Correction means for correcting the shake of the captured image based on the shake amount obtained by the shake amount calculation means;
Control program to function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006057510A JP2007235806A (en) | 2006-03-03 | 2006-03-03 | Image processor, photographic device, image processing method, and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006057510A JP2007235806A (en) | 2006-03-03 | 2006-03-03 | Image processor, photographic device, image processing method, and control program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007235806A true JP2007235806A (en) | 2007-09-13 |
Family
ID=38555894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006057510A Pending JP2007235806A (en) | 2006-03-03 | 2006-03-03 | Image processor, photographic device, image processing method, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007235806A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180916A1 (en) * | 2017-03-31 | 2018-10-04 | 株式会社ニコン | Blur correction device, replacement lens, and imaging device |
WO2018180908A1 (en) * | 2017-03-31 | 2018-10-04 | 株式会社ニコン | Blur correction device, replacement lens, and imaging device |
-
2006
- 2006-03-03 JP JP2006057510A patent/JP2007235806A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180916A1 (en) * | 2017-03-31 | 2018-10-04 | 株式会社ニコン | Blur correction device, replacement lens, and imaging device |
WO2018180908A1 (en) * | 2017-03-31 | 2018-10-04 | 株式会社ニコン | Blur correction device, replacement lens, and imaging device |
US11178328B2 (en) | 2017-03-31 | 2021-11-16 | Nikon Corporation | Blur correction device, interchangeable lens and image-capturing device |
US11696028B2 (en) | 2017-03-31 | 2023-07-04 | Nikon Corporation | Blur correction device, interchangeable lens and image-capturing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10848662B2 (en) | Image processing device and associated methodology for determining a main subject in an image | |
JP5259172B2 (en) | Camera shake correction control circuit and imaging apparatus equipped with the same | |
TWI386040B (en) | Image pickup apparatus equipped with function of detecting image shaking | |
US9743000B2 (en) | Moving image processing apparatus, imaging apparatus, and moving image processing method | |
JP6045254B2 (en) | Image processing apparatus, control method thereof, and control program | |
KR20100067406A (en) | Method and apparatus for correcting a shakiness in digital photographing apparatus | |
JP2009284394A (en) | Imaging apparatus and imaging method | |
JP2007116309A (en) | Image information reproduction apparatus | |
JP2006303709A (en) | Shading compensation apparatus and imaging apparatus | |
JP2016201662A (en) | Imaging apparatus and control method for the same | |
WO2016002355A1 (en) | Image capturing device and image capturing method | |
JP2007173966A (en) | Imaging apparatus and image data processing method thereof | |
JP2014216864A (en) | Imaging device and control method, program and storage medium therefor | |
JP2018042098A (en) | Blur correction device, control method therefor and imaging apparatus | |
JP3646124B2 (en) | Autofocus device | |
WO2017104102A1 (en) | Imaging device | |
JP2007201570A (en) | Image processor, photography apparatus, image processing method and control program | |
JP2013243552A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JP2007235806A (en) | Image processor, photographic device, image processing method, and control program | |
EP3836540B1 (en) | Image processing apparatus and image capturing apparatus | |
JP5179859B2 (en) | Imaging apparatus and imaging method | |
JP4905048B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND CONTROL PROGRAM | |
JP4687420B2 (en) | Imaging apparatus, imaging method, and program | |
JP6289070B2 (en) | Imaging apparatus and control method thereof | |
JP2007221710A (en) | Image processing apparatus, photographing apparatus, image processing method and control program |