JP2011061390A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2011061390A JP2011061390A JP2009207531A JP2009207531A JP2011061390A JP 2011061390 A JP2011061390 A JP 2011061390A JP 2009207531 A JP2009207531 A JP 2009207531A JP 2009207531 A JP2009207531 A JP 2009207531A JP 2011061390 A JP2011061390 A JP 2011061390A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dust
- information
- foreign matter
- correction data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、CCDやCMOSセンサ等の撮像素子を用いた撮像装置における、光学ローパスフィルタ等の表面に付着した異物による画像劣化を抑制する技術に関する。特に、撮影時に複数枚に分割して画像撮影を行い、撮影後に位置合わせしながら合成する手振れ補正機能を有する撮像装置における画質改善技術に関する。 The present invention relates to a technique for suppressing image deterioration due to foreign matter adhering to the surface of an optical low-pass filter or the like in an imaging apparatus using an imaging element such as a CCD or CMOS sensor. In particular, the present invention relates to an image quality improvement technique in an imaging apparatus having a camera shake correction function that divides a plurality of images at the time of shooting and shoots the images while aligning them after shooting.
レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。またカメラ内部には、例えばシャッタ機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する撮像素子の前方に配置された光学ローパスフィルタ等の光学素子の表面に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。 In an interchangeable lens digital camera, dust or the like floating in the air may enter the camera body when the lens is removed from the camera body. In addition, various mechanical units such as a shutter mechanism are disposed inside the camera. By operating these mechanical units, dust such as metal pieces is generated in the camera body. In some cases. When foreign matter such as dust or dust adheres to the surface of an optical element such as an optical low-pass filter disposed in front of the image sensor that constitutes the imaging unit of the digital camera, the foreign object becomes a shadow on the captured image. And the quality of the photographed image is deteriorated.
このような問題点を解決するため、異物が写り込んだ画素をその画素の周囲の画素の信号を利用するなどして補正する方法が考えられる。そのような画素を補正する技術として、例えば特許文献1には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。また特許文献2には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることが提案されている。このようにすることで、PC(パーソナルコンピュータ)側でゴミ情報を自動判別し、その情報を用いて補正対象画像の補正が可能となる。
In order to solve such a problem, a method of correcting a pixel in which a foreign object is reflected by using a signal of a pixel around the pixel can be considered. As a technique for correcting such a pixel, for example,
また、デジタルカメラに好適な手振れ補正技術として、手振れが生じない程度のシャッター速度で複数枚の画像を連写撮影し、撮影後の処理でそれら複数枚の画像の位置合わせを行いながら合成して手振れのない画像を得るという技術が特許文献3に提案されている。 In addition, as a camera shake correction technology suitable for digital cameras, multiple images are shot continuously at a shutter speed that does not cause camera shake, and these images are combined while being aligned in the post-shooting process. Patent Document 3 proposes a technique for obtaining an image without camera shake.
前述の複数枚の画像を撮影し、撮影後の処理でそれら複数枚の画像を合成することで手振れのない画像を得る技術においては、各撮影毎に手振れ量に応じた画像の位置合わせを行い、加算合成が行なわれる。したがって、光学ローパスフィルタ等の光学素子の表面に付着した異物は、合成画像としては位置合わせ量だけシフトした位置に複数写り込むことになる。したがって、従来のゴミ取得モードで撮影した画像から抽出したゴミ補正データを合成後の画像に付加しても補正ができないという課題がある。また、光学ローパスフィルタ等の光学素子の表面に付着したひとつの異物が合成後には複数の箇所に写り込むため、補正を実施した場合に、補正箇所が多くなり、補正痕が通常撮影時よりも目立ってしまうという課題があった。 In the technology that captures the above-mentioned multiple images and obtains an image without camera shake by synthesizing the multiple images in the post-shooting process, the image is aligned according to the amount of camera shake for each shooting. Additive synthesis is performed. Therefore, a plurality of foreign matters adhering to the surface of an optical element such as an optical low-pass filter appear in a position shifted by the alignment amount as a composite image. Therefore, there is a problem that correction cannot be performed even if dust correction data extracted from an image photographed in the conventional dust acquisition mode is added to the combined image. In addition, since one foreign substance adhering to the surface of an optical element such as an optical low-pass filter appears in a plurality of locations after synthesis, the number of correction locations increases when correction is performed, and the correction marks are larger than those during normal shooting. There was a problem of being conspicuous.
本発明の目的は、複数枚の画像を合成して手振れを補正する機能を有する撮像装置において、使用者が通常撮影と同様の手法にて光学ローパスフィルタ等の光学素子の表面に付着した異物の影響による画質の劣化を抑制できるようにすることである。 An object of the present invention is to provide an imaging apparatus having a function of correcting a camera shake by synthesizing a plurality of images, so that a user can remove foreign substances attached to the surface of an optical element such as an optical low-pass filter by a technique similar to that for normal photographing. It is to be able to suppress degradation of image quality due to influence.
本発明に係わる画像処理装置は、連続して撮影された複数枚の露出不足の画像を位置合わせして合成することにより、目標とする露出の画像を得る画像処理装置であって、前記複数枚の露出不足の画像のデータと、前記複数枚の露出不足の画像を撮像した撮像手段の撮像画面内における異物の位置及び大きさの情報である異物情報と、前記複数枚の露出不足の画像を撮像するのに使用したレンズの情報とを抽出する情報抽出手段と、前記複数枚の露出不足の画像の位置ずれの情報と、前記レンズの情報とに基づいて、前記異物情報を、位置合わせして合成された画像に対応する異物情報に変換する変換手段と、前記変換手段により変換された異物情報に基づいて、前記位置合わせして合成された画像の異物を除去する異物除去手段と、を備えることを特徴とする。 An image processing apparatus according to the present invention is an image processing apparatus that obtains a target exposure image by aligning and synthesizing a plurality of underexposed images that have been continuously photographed. The underexposed image data, the foreign matter information that is information on the position and size of the foreign matter in the imaging screen of the imaging means that captured the plurality of underexposed images, and the plurality of underexposed images. The foreign matter information is aligned based on information extracting means for extracting information on the lens used for imaging, information on positional deviation of the plurality of underexposed images, and information on the lens. Conversion means for converting the foreign matter information corresponding to the synthesized image, and foreign matter removal means for removing the foreign matter in the image synthesized by the alignment based on the foreign matter information converted by the conversion means. Preparation It is characterized in.
本発明によれば、複数枚の画像を合成して手振れを補正する機能を有する撮像装置において、使用者が通常撮影と同様の手法にて光学ローパスフィルタ等の光学素子の表面に付着した異物の影響による画質の劣化を抑制することが可能となる。 According to the present invention, in an imaging apparatus having a function of correcting a camera shake by combining a plurality of images, a user can remove foreign substances attached to the surface of an optical element such as an optical low-pass filter by a method similar to that for normal photographing. It is possible to suppress degradation of image quality due to influence.
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置としてのレンズ交換式一眼レフデジタルカメラの回路構成を示すブロック図である。図1において、マイクロコンピュータ402は、撮像素子(本実施形態ではCMOSセンサ)418が出力する画像データの処理や、LCDモニタ装置417の表示制御を初め、カメラ全体の動作を制御する。スイッチSW1(405)は、レリーズボタン114(図2参照)の半押し状態でオンになり、スイッチSW1(405)がオンすると本実施形態のデジタルカメラは撮影準備状態になる。スイッチSW2(406)は、レリーズボタン114が最後まで押された状態(全押し状態)でオンし、スイッチSW2(406)がオンすると撮影動作を開始する。レンズ制御回路407は、撮影レンズ200(図3参照)との通信およびAF(オートフォーカス)時の撮影レンズ200の駆動制御や絞り羽根の駆動制御を行なう。
(First embodiment)
FIG. 1 is a block diagram showing a circuit configuration of an interchangeable lens single-lens reflex digital camera as an imaging apparatus according to the first embodiment of the present invention. In FIG. 1, the
また、図1において、外部表示制御回路408は、外部表示装置(OLC)409や、ファインダ内の表示装置(不図示)の制御を行なう。スイッチセンス回路410は、カメラに設けられた電子ダイヤル411を含む多数のスイッチ類の信号をマイクロコンピュータ402に伝える。防振機能ON/OFFスイッチ125もここに接続される。ストロボ発光調光制御回路412は、X接点412aに接続されており、外部ストロボの制御を行う。測距回路413は、AFのための被写体に対するデフォーカス量を検出する。測光回路414は、被写体の輝度を測定する。シャッター制御回路415はシャッターの制御を行い、撮像素子に対して適正な露光を行う。LCDモニタ装置417とバックライト照明装置416は、画像表示装置を構成している。記録装置419は例えばカメラ本体に着脱可能なハードディスクドライブや半導体メモリカード等である。
In FIG. 1, an external
また、マイクロコンピュータ402には、A/Dコンバータ423、画像バッファメモリ424、DSPなどからなる画像処理回路425、撮像素子内の所定画素そのものに欠陥があることを記憶している画素欠陥位置メモリ426が接続されている。また、ゴミ等の異物による画像不良を起こしている撮像素子内の画素位置を記憶しているゴミ位置メモリ427、複数画像間の動きベクトルを検知する動きベクトル検知回路428も接続されている。なお、画素欠陥位置メモリ426およびゴミ位置メモリ427は不揮発性メモリを用いることが好ましい。画素欠陥位置メモリ426とゴミ位置メモリ427は、同一メモリ空間の異なるアドレスを用いて記憶しても良い。また、429は、本実施形態ではマイクロコンピュータ402が実行するプログラム等を記憶するメモリである。
Further, the
また、動きベクトル検知回路428は、まず、複数画像間のデータに対して、画像を小ブロックに分割して二次元相関を演算し、小ブロック間の動きベクトルを求める。次に、そのようにして求めた画面全体の小ブロックの動きベクトルの最頻値をその画像の動きベクトルとするような手法により、画像間の動きベクトルを検出する。ここで、動きベクトルを求める手段としては、公知の他の手法を用いる構成としても良い。
In addition, the motion
図2は、本実施形態に係わるデジタルカメラの外観を示す斜視図、図3は図2の垂直断面図である。図2において、カメラ本体100の上部には、ファインダ観察用の接眼窓111、AE(自動露出)ロックボタン112、AFの測距点選択ボタン113、撮影操作をするためのレリーズボタン114が設けられている。また、電子ダイヤル411、撮影モード選択ダイヤル117、および外部表示装置409も設けられている。電子ダイヤル411は、他の操作ボタンと併用してカメラに数値を入力したり、撮影モードを切り換えたりするための多機能信号入力装置である。また、外部表示装置409は、液晶表示装置から構成され、シャッタースピード、絞り、撮影モードなどの撮影条件や、他の情報を表示する。
FIG. 2 is a perspective view showing the appearance of the digital camera according to the present embodiment, and FIG. 3 is a vertical sectional view of FIG. In FIG. 2, an
また、カメラ本体100の背面には、撮影された画像や各種設定画面などを表示するLCDモニタ装置417、LCDモニタ装置417をオン/オフするためのモニタスイッチ121、十字配置スイッチ116、およびメニューボタン124、防振機能ON/OFFスイッチ125が設けられている。十字配置スイッチ116は、上下左右に配された4つのボタンと、中央に配されたSETボタンを有し、ユーザーがLCDモニタ装置417に表示されるメニュー項目などの選択や実行をカメラに指示するために用いられる。メニューボタン124は、LCDモニタ装置417にカメラの各種設定を行うためのメニュー画面を表示させるためのボタンである。例えば、撮影モードを選択、設定する時は、このメニューボタン124を押した後、十字配置スイッチ116の上下左右のボタンを操作して希望のモードを選択し、希望のモードが選択された状態でSETボタンを押すことにより設定が完了する。
Also, on the back of the camera
本実施形態のLCDモニタ装置417は透過型であるため、LCDモニタ装置の駆動だけでは画像を視認することはできず、必ずその裏面には図3に示すようにバックライト照明装置416が必要である。このようにLCDモニタ装置417とバックライト照明装置416は画像表示装置を構成している。防振機能ON/OFFスイッチ125は、防振機能ON/OFFスイッチがONされると、通常撮影時の露出に対して、シャッタースピードを速くして、所定枚数の連写撮影が行なわれるモードとなる。また、撮影後、撮影した複数毎の画像を合成して手振れを補正した画像を作成する処理が行なわれる。この処理については後述する。
Since the
図3に示すように、撮像光学系である撮影レンズ200はカメラ本体100に対してレンズマウント202を介して着脱可能である。図3において201は撮影光軸、203はクイックリターンミラーである。クイックリターンミラー203は撮影光路中に配置され、撮影レンズ200からの被写体をファインダ光学系に導く位置(図3に示す位置、斜接位置と呼ぶ)と撮影光路外に退避する位置(退避位置と呼ぶ)との間で移動可能である。図3において、ピント板204上にはクイックリターンミラー203からファインダ光学系に導かれる被写体光が結象される。205はファインダの視認性を向上させるためのコンデンサレンズ、206はペンタゴナルダハプリズムであり、ピント板204およびコンデンサレンズ205を通った被写体光をファインダ観察用の接眼レンズ208および測光センサ207に導く。
As shown in FIG. 3, the taking
209、210はそれぞれシャッターを構成する後幕と先幕で、これら後幕209、先幕210の開放によって後方に配置されている固体撮像素子である撮像素子418が必要時間だけ露光される。撮像素子418の前方には光学ローパスフィルタ等の光学素子418aが配置されており、この光学素子41にゴミ等の異物が付着すると、その影が撮像画面内に写り込んで、画像信号の品質を劣化させる。撮像素子によって画素毎の電気信号に変換された撮影画像は、A/Dコンバータ423や画像処理回路425などによって処理され、画像データとして記録装置419に記録される。撮像素子418はプリント基板211に保持されている。このプリント基板211の後方には、もう一枚のプリント基板である表示基板215が配置されている。この表示基板215の反対側の面にLCDモニタ装置417およびバックライト照明装置416が配置されている。419は画像データを記録する記録装置、217は電池(携帯用電源)である。この記録装置419および電池217は、カメラ本体に対して着脱可能である。
(ゴミ検出処理)
図4は、デジタルカメラにおけるゴミ検出処理(ゴミによって画像不良が生じている画素位置の検出処理)を説明するフローチャートである。本処理は、マイクロコンピュータ402がメモリ429に記憶されたゴミ検出処理プログラムを実行することにより実施される。
(Dust detection process)
FIG. 4 is a flowchart for explaining dust detection processing (detection processing of a pixel position where an image defect is caused by dust) in the digital camera. This processing is performed by the
ゴミ検出処理は、ゴミ検出用画像を撮像することにより行われる。ゴミ検出処理を行う場合、面光源装置の出射面や白い壁などの均一な色を持つ面に撮影レンズ200の撮影光軸201を向けてカメラを設置し、ゴミ検出の準備を行なう。または、レンズマウント202にゴミ検出用のライトユニット(レンズの代わりに装着する小型の点光源装置)を装着し、ゴミ検出の準備を行なう。ライトユニットの光源は例えば白色LEDが考えられ、発光面のサイズを予め定めた絞り値相当になるように調整する。準備が終了した後、例えば十字配置スイッチ116からゴミ検出処理の開始が指示されると、マイクロコンピュータ402は、まず絞りの設定を行う。撮像素子近傍のゴミはレンズの絞り値によって結像状態が変わり、レンズの瞳位置によって位置が変化する。したがって、ゴミ補正データにはゴミの位置や大きさに加え、検出時の絞り値とレンズの瞳位置情報が保持される。
The dust detection process is performed by capturing a dust detection image. When performing dust detection processing, a camera is installed with the photographing
ただし、ゴミ補正データを作成する段階で、異なるレンズを用いたとしても常に同じ絞り値を使うことを予め決めておけば、必ずしもゴミ補正データ内に絞り値を保持する必要は無い。また、瞳位置に関してもライトユニットを用いたり、特定のレンズのみ使用を許可することで、同様に必ずしもゴミ補正データ内に瞳位置情報を保持する必要はない。なお、ここで瞳位置とは、射出瞳の撮像面(焦点面)からの距離を言う。 However, it is not always necessary to hold the aperture value in the dust correction data if it is determined in advance that the same aperture value is always used even if different lenses are used at the stage of creating dust correction data. Similarly, it is not always necessary to hold the pupil position information in the dust correction data by using the light unit or permitting use of only a specific lens for the pupil position. Here, the pupil position refers to the distance from the imaging plane (focal plane) of the exit pupil.
ここでは、ステップS21にて例えばF16が指定される。次にステップS22にてマイクロコンピュータ402はレンズ制御回路407に対し、撮影レンズ200の絞り羽根制御を行わせ、ステップS21で指定された絞り値に絞りを設定する。さらに、ステップS23にてフォーカス位置を無限遠に設定する。次にステップS24にて撮影レンズの絞り値とフォーカス位置が設定されると、ゴミ検出モードでの撮影を実行する。ステップS24で行う撮像処理ルーチンの詳細に関しては図9を用いて後に説明する。撮影された画像データは、画像バッファメモリ424に格納される。
Here, for example, F16 is designated in step S21. In step S22, the
撮影が終了すると、ステップS25にて撮影時の絞り値とレンズ瞳位置を取得する。次にステップS26にて画像処理回路425に画像バッファメモリ424に記憶されている撮影画像の各画素に対応するデータを呼び出す。ステップS27にて画像処理回路425は、図6に示すゴミ領域取得処理を行い、ゴミが存在する画素の位置と大きさを取得する。次にステップS28にてステップS27で取得したゴミが存在する画素の位置と大きさ、およびステップS25で取得した絞り値とレンズ瞳位置情報を、ゴミ位置メモリ427に登録する。ここで、前述したライトユニットを用いた場合には、レンズ情報を取得できない。そこで、レンズ情報が取得できない場合は、ライトユニットを使ったと判断し、予め定められたレンズ瞳位置情報と、ライトユニットの光源径から算出される換算絞り値を登録する。
When shooting is completed, the aperture value and lens pupil position at the time of shooting are acquired in step S25. In step S26, data corresponding to each pixel of the captured image stored in the
ここで、ステップS28において、予め画素欠陥位置メモリに記録されている製造時からの不良画像(画素欠陥)の位置と、読み出した画像データの位置を比べて画素欠陥であるかどうかを確認する。そして、画素欠陥によるものではないと判断された領域のみ、ゴミ位置メモリ427に位置を登録しても良い。
Here, in step S28, the position of the defective image (pixel defect) from the time of manufacture recorded in advance in the pixel defect position memory is compared with the position of the read image data to check whether the pixel defect is present. Only the area determined not to be due to the pixel defect may be registered in the
ゴミ位置メモリ427に格納されるゴミ補正データのデータ形式例を図5に示す。図5に示した通り、ゴミ補正データには、検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。このゴミ補正データは、通常撮影時に画像データの撮影情報と共に画像に付加し、後に説明するゴミ除去処理で利用する。また、防振機能ON時の手振れ補正をした合成画像撮影時には、合成用のゴミ補正データ生成のために利用する。
An example of the data format of dust correction data stored in the
ゴミ補正データは、具体的には、検出用画像撮影時のレンズ情報として、検出用画像撮影時における実際の絞り値(F値)と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数(整数値)を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰り返して格納する。ゴミ領域のパラメータは、ゴミの半径(例えば2バイト)、有効画素領域における中心のx座標(例えば2バイト)、同じく中心のy座標(例えば2バイト)である。ゴミ位置メモリ427の大きさ等によりゴミ補正データサイズに制限がある場合、ステップS27で得たゴミ領域の先頭から優先してデータを格納する。
Specifically, the dust correction data stores an actual aperture value (F value) at the time of capturing the detection image and a lens pupil position at that time as lens information at the time of capturing the detection image. Subsequently, the number of detected dust areas (integer value) is stored in the storage area, and subsequently, individual specific dust area parameters are repeatedly stored by the number of dust areas. The dust region parameters are the dust radius (for example, 2 bytes), the center x coordinate (for example, 2 bytes) in the effective pixel region, and the center y coordinate (for example, 2 bytes). When the dust correction data size is limited due to the size of the
(ゴミ領域取得ルーチン)
次に、図6から図8を用いて、ステップS27で行うゴミ領域取得ルーチンについて説明する。図7に示すように、呼び出した画像データをメモリ上に展開し、予め定められたブロック単位で処理を行う。これは、レンズやセンサ特性に起因する周辺減光に対応するためである。周辺減光とは、レンズの中央部に比べ周辺部の輝度が落ちてしまう現象であり、レンズの絞りを小さくすることである程度軽減されることが知られている。しかし、絞りを絞った状態でも、撮影画像に対して予め定められたしきい値でゴミ位置の判定を行うと、レンズによっては周辺部のゴミが正確に検出できなくなるという問題がある。そこで、画像をブロック分割して周辺減光の影響を軽減する。単純にブロック分割すると、ブロックとブロックの間でスレッショルド値が異なる場合、ブロック間をまたぐゴミの検出がずれてしまうという問題がある。そこで、ブロック間をオーバーラップさせ、オーバーラップ領域を構成するブロックのいずれかでゴミと判定された画素をゴミ領域として扱う。
(Trash area acquisition routine)
Next, the dust region acquisition routine performed in step S27 will be described with reference to FIGS. As shown in FIG. 7, the called image data is developed on a memory and processed in units of predetermined blocks. This is to cope with peripheral dimming caused by lens and sensor characteristics. Peripheral dimming is a phenomenon in which the luminance at the peripheral portion is lower than that at the central portion of the lens, and it is known that it is reduced to some extent by reducing the aperture of the lens. However, there is a problem that even if the aperture is narrowed, if dust position determination is performed with respect to a captured image with a predetermined threshold value, depending on the lens, dust around the periphery cannot be detected accurately. Therefore, the image is divided into blocks to reduce the influence of peripheral dimming. If the blocks are simply divided, there is a problem that the detection of dust across the blocks is shifted when the threshold values are different between the blocks. Therefore, the blocks are overlapped, and pixels determined to be dust in any of the blocks constituting the overlap region are treated as dust regions.
ブロック内のゴミ領域判定は、図6に示す処理の流れで行う。まず、ブロック内の最大輝度Lmax、平均輝度Laveを算出し、次式を用いてブロック内のスレッショルド値T1を算出する。 The determination of the dust area in the block is performed according to the processing flow shown in FIG. First, the maximum luminance Lmax and the average luminance Lave in the block are calculated, and the threshold value T1 in the block is calculated using the following equation.
T1=(Lave×0.6)+(Lmax×0.4)
次に、ステップS61にてしきい値T1を超えない画素をゴミ画素とし、ステップS62にてゴミ画素によって構成される孤立領域を各々一つのゴミ領域di(i=0,1,…,n)とする。図8に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Xmaxおよび最小値Xmin、垂直方向の座標の最大値Ymaxおよび最小値Yminを求め、ゴミ領域diのサイズを表す半径riを次式によって算出する(ステップS63)。
T1 = (Lave × 0.6) + (Lmax × 0.4)
Next, in step S61, pixels that do not exceed the threshold value T1 are defined as dust pixels, and in step S62, each isolated region constituted by dust pixels is one dust region di (i = 0, 1,..., N). And As shown in FIG. 8, for each dust region, the maximum value Xmax and the minimum value Xmin of the horizontal coordinate of the pixels constituting the dust region, the maximum value Ymax and the minimum value Ymin of the vertical coordinate are obtained, and the dust region di A radius ri representing the size of is calculated by the following equation (step S63).
ri=√[{(Xmax−Xmin)/2}2+{(Ymax−Ymin)/2}2]
Xmax、Xmin、Ymax、Yminとriの関係を、図8に示す。その後ステップS64で、ゴミ領域毎の平均輝度値を算出する。
ri = √ [{(Xmax−Xmin) / 2} 2 + {(Ymax−Ymin) / 2} 2 ]
The relationship between Xmax, Xmin, Ymax, Ymin and ri is shown in FIG. Thereafter, in step S64, an average luminance value for each dust region is calculated.
ゴミ位置メモリ(427)のサイズによる制限などにより、ゴミ補正データのデータサイズが制限されている場合がある。このような場合に対応するために、ステップS65にてゴミ位置情報を大きさやゴミ領域の平均輝度値によってソートする。例えば、riの大きい順にソートする。riが等しい場合、平均輝度値の低い順にソートする。このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域の中心座標をDi(x,y)、ゴミ領域Di(x,y)の半径をRiとする。 In some cases, the data size of the dust correction data is limited due to the limitation due to the size of the dust position memory (427). In order to cope with such a case, dust position information is sorted by size and average luminance value of the dust region in step S65. For example, sorting is performed in descending order of ri. When ri is equal, the sort is performed in ascending order of the average luminance value. In this way, it is possible to preferentially register noticeable dust in the dust correction data. Note that Di (x, y) is the center coordinate of the sorted dust area, and Ri is the radius of the dust area Di (x, y).
(撮像処理ルーチン)
次に、図9に示すフローチャートを用いて、図4のステップS24で行われる撮像処理ルーチンの詳細について説明する。本処理はマイクロコンピュータ402がメモリ429に記憶された撮像処理プログラムを実行することにより実施される。
(Imaging processing routine)
Next, the details of the imaging processing routine performed in step S24 of FIG. 4 will be described using the flowchart shown in FIG. This process is performed by the
この撮像処理ルーチンが実行されると、ステップS201でマイクロコンピュータ402は、図3に示すクイックリターンミラー203を作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラー203を退避させる。次に、ステップS202で撮像素子での電荷蓄積を開始し、次のステップS203では図3に示したシャッターの先幕210、後幕209をそれぞれ走行させて露光を行う。そして、ステップS204で撮像素子の電荷蓄積を終了し、次のステップS205で撮像素子から画像信号を読み出してA/Dコンバータ423および画像処理回路425で処理した画像データを画像バッファメモリ424に一次記憶する。
When this imaging processing routine is executed, in step S201, the
次のステップS206で撮像素子から全ての画像信号の読み出しが終了すると、ステップS207でクイックリターンミラー203をミラーダウンし、クイックリターンミラーを斜設位置に戻して一連の撮像動作を終了する。ステップS208にて、通常撮影かゴミ検出用画像撮影かを判断し、通常撮影時にはステップS209へ進んで撮影時のカメラ設定値等と共に図5に示したゴミ補正データを画像に関連付けて記憶装置419に記録する。具体的には、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるExif領域にゴミ補正データを追記することで、関連付けを実現することが出来る。
When reading of all image signals from the image sensor is completed in the next step S206, the
次に、本発明の主要部分である、防振機能ON時の異物情報処理の詳細に関して説明する。 Next, details of foreign matter information processing when the image stabilization function is ON, which is a main part of the present invention, will be described.
(手振れ補正動作)
図10に示すフローチャートを用いて、防振機能ON時の撮影動作の詳細について説明する。本処理はマイクロコンピュータ402がメモリ429に記憶された防振機能動作プログラムを実行することにより実施される。防振機能ON/OFFスイッチ125がONに設定されている状態で、ステップS301にてスイッチSW1(405)が押されると、防振撮影動作を開始する。次に、ステップS302にて防振撮影用の測光が行なわれる。防振撮影時は、連続して複数枚の露出不足の画像の撮影が行なわれ、後述するように、画像処理装置にて像の位置ズレを補正しながら加算合成を行って目標とする露出の画像を得る。このときのシャッター速度は手振れが発生しにくい速度にする必要がある。このようなシャッター速度は次のようにして求めることができる。
(Image stabilization operation)
The details of the photographing operation when the image stabilization function is ON will be described using the flowchart shown in FIG. This process is performed by the
従来より、35mmフィルムを使用するカメラでは撮影レンズの焦点距離をfmmとすると、1/f(sec)のシャッター速度であれば手振れが画像の劣化に影響しにくいと言われている。撮像素子418が35mmフィルムに対して小さい場合は、35mmフィルム換算の焦点距離f’を求め、この逆数(1/f’(sec))をシャッター速度とすれば手振れしにくいシャッター速度とすることができる。
Conventionally, in a camera using a 35 mm film, if the focal length of a photographic lens is fmm, it is said that camera shake is unlikely to affect image degradation at a shutter speed of 1 / f (sec). If the
次のステップで、ステップS302にて求めた測光値および、前述のシャッター速度(1/f’)から加算合成後に適正露出とするための撮影枚数Nを決定する。例えば、1枚あたりの露光量が適正露光量の1/2であれば、撮影枚数は2枚として2枚の画像を加算することで適正光量となる画像が求められる。次にステップS304にて測距動作が行なわれる。次に、ステップS305にてSW1(405)がONされている場合は、ステップS306に進む。ステップS305にてSW1(405)がOFFしている場合はステップS301に戻る。 In the next step, the number N of images to be taken for appropriate exposure after addition and synthesis is determined from the photometric value obtained in step S302 and the shutter speed (1 / f '). For example, if the exposure amount per sheet is ½ of the appropriate exposure amount, the number of shots is two, and an image with an appropriate amount of light is obtained by adding two images. In step S304, a distance measuring operation is performed. Next, when SW1 (405) is turned on in step S305, the process proceeds to step S306. If SW1 (405) is OFF in step S305, the process returns to step S301.
ステップ306にてSW2(406)がONされているか否かの判定が行なわれる。SW2(406)がOFFしているときは、ステップS305に戻る。SW2(406)がONしている場合は、ステップS307に進み、露光動作に移行する。ステップS308にて、撮影枚数カウンタのカウント値nを0にセットする。次に、撮影枚数カウンタのカウント値nを1加算し、ステップS309に進む。ステップS309でマイクロコンピュータ402は、図3に示すクイックリターンミラー203を作動させ、いわゆるミラーアップを行い、撮影光路外にクイックリターンミラー203を退避させる。次に、ステップS310で撮像素子での電荷蓄積を開始し、次のステップS311では図3に示したシャッターの先幕210、後幕209をそれぞれ走行させて露光を行う。そして、ステップS312で撮像素子の電荷蓄積を終了し、次のステップS313で撮像素子から画像信号を読み出してA/Dコンバータ423および画像処理回路425で処理した画像データを画像バッファメモリ424に一次記憶する。
In
次のステップS314で撮像素子から全ての画像信号の読み出しが終了すると、ステップS315でクイックリターンミラー203をミラーダウンし、クイックリターンミラーを斜設位置に戻す。次のステップS316で、防振用撮影枚数N枚の撮影が終了したかの判定が行なわれる。N枚の撮影が終了した場合は、ステップS317に進み、防振画像の合成、ゴミ補正データの再生成が行なわれる。防振用撮影枚数N枚の撮影が終了していない場合はステップS308に戻り、撮影枚数カウントを1加算し、露光動作を繰り返す。
When reading of all image signals from the image sensor is completed in the next step S314, the
次に、ステップS317で実施される防振画像合成・ゴミ補正データの再生成について図11のフローチャート及び図12を用いて説明する。防振画像合成・ゴミ補正データ再生成の動作がスタートするとステップS401にて、加算合成する画像の異物情報を情報抽出して、加算合成画像用のゴミ補正データD’’の初期データが生成される。具体的には、防振用画像の最初のコマに対するゴミ補正データの生成が行なわれる。すなわち、図12の(a)に示す通り、防振画像合成時は、通常撮影時に使用される画像領域P×Qに対して小さいH×Vの領域を手振れ量分位置合わせして切り出しが行なわれる。したがって、通常撮影時用のゴミ補正データの中心座標(x,y)から防振画像の切り出しデータ用の座標変換を実施し、ゴミ補正データを生成する必要がある。ここで、防振用画像の最初のコマの切り出しの始点座標を(S,T)とすると、防振用画像のゴミ補正データの中心座標は(x−S,y−T)に変換される。この変換式を用いて、通常撮影用のゴミ補正データDiの中心座標(xi,yi)が変換され、防振画像用の初期ゴミ補正データD’’iの中心座標(xi−S,yi−T)が生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データD’’iの半径はriのままである。 Next, the image stabilization / dust correction data regeneration performed in step S317 will be described with reference to the flowchart of FIG. 11 and FIG. When the image stabilization and dust correction data regeneration operation starts, in step S401, the foreign matter information of the image to be added and combined is extracted, and initial data of dust correction data D ″ for the added and combined image is generated. The Specifically, dust correction data is generated for the first frame of the image for image stabilization. That is, as shown in FIG. 12 (a), during image stabilization, clipping is performed by aligning a small H × V area by the amount of camera shake with respect to the image area P × Q used during normal shooting. It is. Therefore, it is necessary to generate the dust correction data by performing the coordinate conversion for the image data of the vibration-proof image from the center coordinates (x, y) of the dust correction data for normal photographing. Here, if the starting point coordinates of the cutout of the first frame of the image for image stabilization are (S, T), the center coordinates of the dust correction data of the image for image stabilization are converted to (x-S, y-T). . Using this conversion formula, the center coordinates (xi, yi) of the dust correction data Di for normal photographing are converted, and the center coordinates (xi-S, yi-) of the initial dust correction data D ″ i for the image stabilization image are converted. T) is generated. Further, since the dust radius information is the same as that for normal shooting and for image stabilization, the radius of dust correction data D ″ i remains ri.
次にステップS402に進み、カウンタのカウント値nを1にセットする。次に、スッテプS403にてカウンタのカウント値を1増加し、ステップS404に進む。ステップS404では、動きベクトル検知回路428により防振用画像の1コマ目とn+1コマ目の画像間の動きベクトルを演算する。動きベクトルの検知方法としては様々な手法が公知であり、そのうちどのような手法を用いることも可能である。一例としては、画像を小ブロックに分割し、各小ブロックごとに、動きベクトルを求めるためのもう1枚の画像との二次元相関値を求める。相関値としては、小ブロックを画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロックの動きベクトルとする。すべての小ブロックにおいて、動きベクトルを求め、最も頻度が多い動きベクトルを、この画像間の動きベクトルとして選択する。
In step S402, the counter value n is set to 1. Next, in step S403, the count value of the counter is incremented by 1, and the process proceeds to step S404. In step S404, the motion
次に、ステップS405に進み、ステップS404にて求められた動きベクトルをもとに、画像の位置合わせのための座標変換を行なう。すなわち、動きベクトル量が(h_n,v_n)とすると、通常撮影時の画像の座標に対して、(S+h_n,T+v_n)を始点としてH×Vの画像の切り出しが行なわれる。次に、ステップS406にてn+1コマ目の画像のゴミ補正データドレスの変換が行なわれる。ここで、n+1コマ目の画像と1コマ目の画像の動きベクトルが(h_n,v_n)とすると、n+1コマ目の画像において、通常撮影用におけるゴミ補正データDiの中心座標(xi,yi)は、図12(b)に示すように、n+1コマ目のゴミ補正データD’i_nとして、中心座標(xi−S−h_n,yi−T−v_n)として生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データD’i_nの半径はriのままである。 Next, the process proceeds to step S405, and coordinate transformation for image alignment is performed based on the motion vector obtained in step S404. That is, assuming that the motion vector amount is (h_n, v_n), an H × V image is cut out with (S + h_n, T + v_n) as the starting point with respect to the coordinates of the image during normal shooting. Next, in step S406, the dust correction data dress of the (n + 1) th frame image is converted. Here, assuming that the motion vector of the n + 1 frame image and the first frame image is (h_n, v_n), in the n + 1 frame image, the center coordinates (xi, yi) of the dust correction data Di for normal shooting are As shown in FIG. 12B, the dust correction data D′ i_n at the (n + 1) th frame is generated as center coordinates (xi−S−h_n, yi−T−v_n). Further, since the dust radius information is the same as that for normal shooting and for image stabilization, the radius of dust correction data D′ i_n remains ri.
次に、ステップS407にて、加算合成した画像に対するゴミ補正データの更新が行なわれる。すなわち、ステップS406でアドレス変換されたn+1コマ目用のゴミ補正データD’_nと、加算合成用画像のゴミ補正データD’’の比較が行なわれ、D’’が更新される。具体的には、ゴミ補正データD’_nのi番目のゴミ補正データとゴミ補正データD’’のすべてのゴミ補正データに対して重なりが無いか否かの判定を行なう。すなわち、中心間の距離がゴミの半径の和以上であるか否かの判定を行なう。中心間の距離がゴミの半径の和以上である場合は、図12(c)に示す通り、D’’に含まれるゴミに対して、D’i_nのゴミは重なりがないと言うことなので、ゴミ補正データD’’に対して、D’i_nのゴミのアドレス情報と、半径情報を追加する。また、D’i_nのゴミと、D’’のk番目のゴミの中心間の距離がゴミの半径の和以下である判定された場合は図12(d)に示す通りゴミが重なっているので、ゴミD’i_n(x’i,y’i)の中心と、D’’のk番目のゴミのD’’k(x’’k,y’’k)の中心を結んだ中間位置((x’i+x’’k)÷2,(y’i+y’’k)÷2)を新たな中心座標とする。ここで、((x’i+x’’k)÷2,(y’i+y’’k)÷2)が整数とならない場合は、最も近い整数を中心座標に設定する。また、追加される新たなゴミの半径r’’は、次式で求められる。 In step S407, dust correction data is updated for the added and combined image. That is, the dust correction data D′ _n for the (n + 1) th frame whose address has been converted in step S406 is compared with the dust correction data D ″ for the image for addition synthesis, and D ″ is updated. Specifically, it is determined whether or not there is no overlap between the i-th dust correction data of the dust correction data D′ _n and all dust correction data of the dust correction data D ″. That is, it is determined whether or not the distance between the centers is equal to or greater than the sum of the radii of dust. If the distance between the centers is equal to or greater than the sum of the dust radii, as shown in FIG. 12 (c), the D′ i_n dust does not overlap with the dust contained in D ″. D′ i_n dust address information and radius information are added to dust correction data D ″. If it is determined that the distance between the D′ i_n dust and the D ″ k-th dust center is equal to or less than the sum of the dust radii, the dust is overlapped as shown in FIG. , An intermediate position connecting the center of dust D′ i_n (x′i, y′i) and the center of D ″ k (x ″ k, y ″ k) of the kth dust of D ″ ( Let (x′i + x ″ k) ÷ 2, (y′i + y ″ k) ÷ 2) be the new center coordinates. Here, when ((x′i + x ″ k) / 2, (y′i + y ″ k) / 2) is not an integer, the nearest integer is set as the center coordinate. Further, the radius r ″ of the new dust to be added is obtained by the following equation.
r’’=(√[{x’i−x’’k}2+{y’i−y’’k}2]+r’i+r’’k)÷2
このように、加算合成した画像に対するゴミ補正データD’’とn+1コマ目のゴミ補正データD’_nの比較が行なわれ、D’’が更新される。
r ″ = (√ [{x′i−x ″ k} 2 + {y′i−y ″ k} 2 ] + r′i + r ″ k) ÷ 2.
In this manner, the dust correction data D ″ for the added and synthesized image is compared with the dust correction data D′ _n of the (n + 1) th frame, and D ″ is updated.
次にステップS408にてステップS405にて座標変換された画像の加算が行なわれ、画像バッファメモリ424上に格納される。次にステップS409に進み、カウンタnの値が、防振用画像の合成枚数Nに達したか否かの判定が行なわれ、nに達している場合は、図10のステップS318進む。nに達していない場合は、ステップS403に戻り、カウンタnの値を1加算して、カウンタ値がNに達するまでステップS403〜S409を繰り返す。
Next, in step S408, the images whose coordinates are converted in step S405 are added and stored in the
図10のステップS318に進み、加算合成した画像をファイルに出力する。この際、画像ファイルのヘッダ領域であるExif領域に図11のステップS407で生成したゴミ補正データD’’を合わせて記録する。 Proceeding to step S318 in FIG. 10, the added and synthesized image is output to a file. At this time, the dust correction data D ″ generated in step S407 in FIG. 11 is recorded together with the Exif area which is the header area of the image file.
以上により、防振モード撮影時の画像データに関して、ゴミ補正データを通常撮影時のデータと同様に単一のデータとして関連付けることが可能となる。これにより、次に説明するゴミ除去処理において、通常撮影画像であるのか、防振モード撮影時の画像データであるのかを区別することなく同様の処理にてゴミ除去処理を行なうことが可能となる。 As described above, the dust correction data can be associated as a single piece of data, similar to the data at the time of normal shooting, with respect to image data at the time of shooting in the image stabilization mode. Accordingly, in the dust removal process described below, it is possible to perform the dust removal process in the same process without distinguishing whether the image is a normal captured image or image data at the time of image stabilization mode shooting. .
(ゴミ除去処理)
次に、ゴミ除去処理(異物除去処理)の流れについて説明する。ゴミ除去処理は、デジタルカメラ本体ではなく、別途用意した画像処理装置上で行う。図13は、画像処理装置のシステム構成の概略を示した図である。CPU1001は、システム全体の動作をコントロールし、一次記憶部1002に格納されたプログラムの実行などを行う。一次記憶部1002は、主にメモリであり、二次記憶部1003に記憶されたプログラムなどを読み込んで格納する。二次記憶部1003は、例えばハードディスクなどがこれに該当する。一般に一次記憶部の容量は二次記憶部の容量より小さく、一次記憶部に格納しきれないプログラムやデータなどは二次記憶部に格納される。
(Dust removal process)
Next, the flow of dust removal processing (foreign matter removal processing) will be described. The dust removal process is performed not on the digital camera body but on a separately prepared image processing apparatus. FIG. 13 is a diagram showing an outline of the system configuration of the image processing apparatus. The
入力デバイス1004とは例えば、システムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナなどがこれに該当する。出力デバイス1005とは例えば、モニタやプリンタなどが考えられる。画像処理装置には、複数のプログラムを並列実行可能なオペレーティングシステムが搭載され、操作者はGUI(Graphical User Interface)を使ってこの装置上で動作するプログラムの操作が可能である。
Examples of the
図14は、画像処理装置における画像編集プログラムのGUIを示す図である。ウィンドウにはクローズボタン1100とタイトルバー1101が備えられ、クローズボタンを押すことでプログラムを終了する。ファイルを画像表示領域1102にドラッグアンドドロップすることで補正対象画像を指定し、補正対象画像が決定された場合、タイトルバー1101にファイル名を表示した後、画像表示領域1102に対象画像をFit表示する。実行ボタン1103を押すと、後述するゴミ除去処理を実行し、処理後の画像を画像表示領域1102に表示する。ステップ実行ボタン1104を押すと後述するゴミ除去処理のステップ実行を行い、全てのゴミ領域に対して処理が終了した時点で処理後の画像を画像表示領域1102に表示する。保存ボタン1105を押すと、処理後の画像を保存する。
FIG. 14 is a diagram illustrating a GUI of an image editing program in the image processing apparatus. The window includes a
画像処理装置におけるゴミ処理除去の流れを、図15に示す。まず、デジタルカメラ内又はデジタルカメラから取り外された記録装置419からゴミ補正データが添付された画像データを画像処理装置に取り込んで、一次記憶部1002又は二次記憶部1003に記憶する(ステップS90)。次に、画像データ(ゴミ除去処理を行う対象となる画像)から、ステップS208で撮影画像に付与されたゴミ補正データを抽出する(ステップS91)。次に、ステップS91で抽出したゴミ補正データから座標列Di(i=1,2,…n)、半径列Ri(i=1,2,…,n)、絞り値f1とレンズ瞳位置L1を得る(ステップS92)。ステップS93で、画像の撮影時の絞り値f2とレンズ瞳位置L2を取得し、ステップS94でDiを次式で変換する。
The flow of dust processing removal in the image processing apparatus is shown in FIG. First, image data to which dust correction data is attached is taken into the image processing apparatus from the
Dmi(x,y)=(L2×(L1−H)×d/((L2−H)×L1))×Di(x,y)
Rmi=(Ri×f1/f2)
ここでの単位はピクセルである。
Dmi (x, y) = (L2 × (L1-H) × d / ((L2-H) × L1)) × Di (x, y)
Rmi = (Ri × f1 / f2)
The unit here is a pixel.
ステップS95で座標Dmi、半径Rmiで示される領域内のゴミを検出し、補間処理を適用する。ゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開2001−223894号公報に開示されているパターン置換がある。特開2001−223894号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をp個選択し、その平均色を用いて補間する。ステップS96で全ての座標についてゴミ除去処理を適用したかどうかを判定し、全ての座標について処理が終わっていれば処理を終了し、そうでなければステップS95に戻る。 In step S95, dust in the area indicated by the coordinates Dmi and the radius Rmi is detected, and interpolation processing is applied. The dust region interpolation process is performed by a known defect region interpolation method. Known defect area interpolation methods include, for example, pattern replacement disclosed in JP-A-2001-223894. In Japanese Patent Laid-Open No. 2001-223894, a defective region is specified using infrared light. In this embodiment, the dust region is treated as a defective region, and the dust region is interpolated with surrounding normal pixels by pattern replacement. For pixels that are not filled by pattern replacement, p normal pixels are selected in the order closest to the interpolation target pixel from the image data after pattern interpolation, and interpolation is performed using the average color. In step S96, it is determined whether or not dust removal processing has been applied to all coordinates. If processing has been completed for all coordinates, the processing is terminated; otherwise, the processing returns to step S95.
このように画像に添付されているゴミ補正データによりゴミ除去が可能である。ここで、本実施形態で示したゴミ補正データの合成処理により防振撮影モード撮影時に得られた画像データにおいても、通常撮影時の画像データと同様の形式でゴミ補正データが添付されているので、防振撮影モード撮影画像に対しても前述のゴミ除去方法によりゴミ除去が可能となる。 In this way, dust removal is possible with dust correction data attached to an image. Here, the dust correction data is attached in the same format as the image data at the time of normal shooting in the image data obtained at the time of shooting in the image stabilization mode by the dust correction data combining processing shown in the present embodiment. Also, dust can be removed from the image taken in the image stabilization mode by the above-described dust removal method.
なお、第1の実施形態では、デジタルカメラ本体にて画像合成及び、異物情報合成処理を実行したが、デジタルカメラでは、防振合成用の画像撮影のみを実施し、防振用の画像の合成及び、ゴミ補正データの合成は別途用意された画像処理装置を用いて実行する構成としても良い。 In the first embodiment, image synthesis and foreign matter information synthesis processing are executed in the digital camera body. However, in the digital camera, only the image pickup for image stabilization synthesis is performed and the image for image stabilization is combined. The composition of dust correction data may be performed using an image processing apparatus prepared separately.
(第2の実施形態)
第1の実施形態においては、各コマの位置合わせ情報に応じて各コマのゴミ補正データを再生成し、ゴミ補正データを合成することで防振用合成画像のゴミ補正データの生成を行なった。これに対し、第2の実施形態では、ゴミ補正データの合成時にゴミ補正データの重なりの有無を判定し、その判定結果により重なりが無い箇所については、別のコマの画像データによりゴミ領域のデータを置き換えて、加算合成を行なう。これにより、ゴミ除去処理による補正痕を減らすことが可能となる。第2の実施形態に係る撮像装置としてのレンズ交換式一眼レフデジタルカメラの回路構成は図1で説明した第1の実施形態の構成と同様であるので説明を省略する。第1の実施形態と、第2の実施形態の違いは、防振画像合成・ゴミ補正データの再生成のフローのみである。
(Second Embodiment)
In the first embodiment, dust correction data of each frame is regenerated according to the alignment information of each frame, and dust correction data of the vibration-proof composite image is generated by synthesizing the dust correction data. . On the other hand, in the second embodiment, it is determined whether dust correction data is overlapped when dust correction data is combined, and the dust region data is determined from the image data of another frame for a portion where there is no overlap based on the determination result. Is replaced and addition synthesis is performed. This makes it possible to reduce correction marks due to dust removal processing. The circuit configuration of the interchangeable lens single-lens reflex digital camera as the imaging apparatus according to the second embodiment is the same as that of the first embodiment described with reference to FIG. The difference between the first embodiment and the second embodiment is only the flow of vibration-proof image composition / regeneration of dust correction data.
図16のフローおよび、図17を用いて第2の実施形態における防振画像合成・ゴミ補正データの再生成について説明する。防振画像合成・ゴミ補正データ再生成の動作がスタートするとステップS501にて、加算合成画像用のゴミ補正データD’’の初期データが生成される。具体的には、防振用画像の最初のコマに対するゴミ補正データの生成が行なわれる。すなわち、図12に示したように、防振画像合成時は、通常撮影時に使用される画像領域P×Qに対して小さいH×Vの領域を手振れ量分位置合わせして切り出しが行なわれる。したがって、通常撮影時用のゴミ補正データの中心座標(x,y)から防振画像の切り出しデータ用の座標変換を実施し、ゴミ補正データを生成する必要がある。ここで、防振画像の最初のコマの切り出しの始点座標を(S,T)とすると、防振用画像のゴミ補正データの中心座標は(x−S,y−T)に変換される。この変換式を用いて、通常撮影用のゴミ補正データDiの中心座標(xi,yi)が変換され、防振画像用の初期ゴミ補正データD’i_1の中心座標(xi−S,yi−T)が生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データD’i_1の半径はriのままである。 Regeneration of the image stabilization image / dust correction data in the second embodiment will be described with reference to the flow of FIG. 16 and FIG. When the image stabilizing image synthesis / dust correction data regeneration operation starts, initial data of dust correction data D ″ for the added synthesized image is generated in step S501. Specifically, dust correction data is generated for the first frame of the image for image stabilization. That is, as shown in FIG. 12, at the time of image stabilization, clipping is performed by aligning a small H × V region by the amount of camera shake with respect to the image region P × Q used during normal shooting. Therefore, it is necessary to generate the dust correction data by performing the coordinate conversion for the image data of the vibration-proof image from the center coordinates (x, y) of the dust correction data for normal photographing. Here, if the starting point coordinates of the cutout of the first frame of the image stabilization image are (S, T), the center coordinates of the dust correction data of the image for image stabilization are converted to (x-S, y-T). Using this conversion formula, the center coordinates (xi, yi) of the dust correction data Di for normal photographing are converted, and the center coordinates (xi-S, yi-T) of the initial dust correction data D′ i_1 for the image stabilization image are converted. ) Is generated. Further, since the dust radius information is the same as that for normal shooting and for image stabilization, the radius of the dust correction data D′ i_1 remains ri.
次にステップS502に進み、カウンタのカウント値nを1にセットする。次に、スッテプS503にてカウンタのカウント値を1増加し、ステップS504に進む。ステップS504では、動きベクトル検知回路428により防振用画像の1コマ目とn+1コマ目の画像間の動きベクトルを演算する。動きベクトルの検知方法としては様々な手法が公知であり、そのうちどのような手法を用いることも可能である。一例としては、画像を小ブロックに分割し、各小ブロックごとに、動きベクトルを求めるためのもう1枚の画像との二次元相関値を求める。相関値としては、小ブロックを画素単位でずらしながら、対応する各画素間の差の絶対値の和を次々に求めていき、その和が最小となるずらし量をその小ブロックの動きベクトルとする。すべての小ブロックにおいて、動きベクトルを求め、最も頻度が多い動きベクトルを、この画像間の動きベクトルとして選択する。
In step S502, the counter value n is set to 1. Next, at step S503, the count value of the counter is incremented by 1, and the process proceeds to step S504. In step S504, the motion
次に、ステップS505に進み、ステップS504にて求められた動きベクトルをもとに、画像の位置合わせのための座標変換を行なう。すなわち、動きベクトル量が(h_n,v_n)とすると、通常撮影時の画像の座標に対して、(S+h_n,T+v_n)を始点としてH×Vの画像の切り出しが行なわれる。次に、ステップS506にてn+1コマ目の画像のゴミ補正データアドレス変換が行なわれる。ここで、n+1コマ目の画像と1コマ目の画像の動きベクトルが(h_n,v_n)とすると、n+1コマ目の画像において、通常撮影用におけるゴミ補正データDiの中心座標(xi,yi)は、図12(b)に示すように、n+1コマ目のゴミ補正データD’i_nとして、中心座標(xi−S−h_n,yi−T−v_n)として生成される。また、ゴミの半径情報に関しては、通常撮影用と、防振画像用と同一であるのでゴミ補正データD’i_nの半径はriのままである。 Next, the process proceeds to step S505, and coordinate transformation for image alignment is performed based on the motion vector obtained in step S504. That is, assuming that the motion vector amount is (h_n, v_n), an H × V image is cut out with (S + h_n, T + v_n) as the starting point with respect to the coordinates of the image during normal shooting. In step S506, dust correction data address conversion of the (n + 1) th frame image is performed. Here, assuming that the motion vector of the n + 1 frame image and the first frame image is (h_n, v_n), in the n + 1 frame image, the center coordinates (xi, yi) of the dust correction data Di for normal shooting are As shown in FIG. 12B, the dust correction data D′ i_n at the (n + 1) th frame is generated as center coordinates (xi−S−h_n, yi−T−v_n). Further, since the dust radius information is the same as that for normal shooting and for image stabilization, the radius of dust correction data D′ i_n remains ri.
次に、ステップS507にて、ステップS506でアドレス変換されたn+1コマ目用のゴミ補正データD’_nと、加算合成画像のゴミ補正データD’’の比較が行なわれ、D’_nとD’’で重なりが無いゴミ補正データの箇所に関しては、ゴミが無い方の画像データでゴミ領域のデータを置き換える。すなわち、図17(a)で示すように、加算合成用の画像のゴミD’’kとn+1コマ目のゴミD’i_nの重なりが無い場合は、加算合成用のゴミD’’kの領域のデータをn+1コマ目のデータで置き換える。また、n+1コマ目のゴミD’i_nの領域のデータを加算合成画像のデータで置き換える。この際、画像データを置き換えた加算合成用の画像のゴミD’’kとn+1コマ目のゴミ補正データD’i_nはゴミ領域ではなくなるので、ゴミ補正データから削除する。 Next, in step S507, the dust correction data D′ _n for the (n + 1) th frame whose address has been converted in step S506 is compared with the dust correction data D ″ of the added composite image, and D′ _n and D ′ are compared. For the dust correction data where there is no overlap, replace the dust area data with the image data without dust. That is, as shown in FIG. 17A, when there is no overlap between the dust D ″ k of the image for addition synthesis and the dust D′ i_n at the (n + 1) th frame, the area of dust D ″ k for addition synthesis. Is replaced with the data of the (n + 1) th frame. In addition, the data of the area of the dust D′ i_n in the (n + 1) th frame is replaced with the data of the added composite image. At this time, the dust D ″ k of the image for addition synthesis in which the image data is replaced and the dust correction data D′ i_n of the (n + 1) th frame are not in the dust region and are deleted from the dust correction data.
次に、図17(b)で示すように、D’i_nのゴミとD’’のk番目のゴミの中心間の距離がゴミの半径の和以下である場合、すなわち、ゴミが重なっていると判定された場合の処理について説明する。 Next, as shown in FIG. 17B, when the distance between the D′ i_n dust and the D ″ k-th dust center is equal to or less than the sum of the dust radii, that is, the dust is overlapped. A process when it is determined that will be described.
ゴミが重なっていると判定された場合、図17(b)の黒塗りで示した領域、すなわち、重なっている部分を含む円の中心座標(x’’,y’’)、半径r’’を求め、新たなゴミ補正データとして設定し、D’’を更新する。ゴミD’i_n(x’i,y’i)の中心座標(x’i,y’i)、半径r’iと、D’’のk番目のゴミのD’’k(x’’k,y’’k)の中心座標(x’’k,y’’k)、半径r’’kを用いると中心座標(x’’,y’’)、半径r’’は次式により求まる。 If it is determined that the dust is overlapped, the area indicated by black in FIG. 17B, that is, the center coordinates (x ″, y ″) of the circle including the overlapping portion, the radius r ″. Is set as new dust correction data, and D ″ is updated. The center coordinates (x′i, y′i) and the radius r′i of the dust D′ i_n (x′i, y′i) and the D ″ k (x ″ k) of the kth dust of D ″ , Y ″ k) using the center coordinates (x ″ k, y ″ k) and the radius r ″ k, the center coordinates (x ″, y ″) and the radius r ″ are obtained by the following equations. .
(x’’,y’’)=([{x’’k−x’i}×d1÷d+x’i], [{y’’k−y’i}×d1÷d+y’i])
r’’=√[r’ ’k2−d12]
ここで、d1,dは次式で示される。
(X ″, y ″) = ([{x ″ k−x′i} × d1 ÷ d + x′i], [{y ″ k−y′i} × d1 ÷ d + y′i])
r '' = √ [r '' k 2 -d1 2]
Here, d1 and d are expressed by the following equations.
d=√[{x’i−x’’k}2 +{y’i−y’’k}2]
d1=[d2+r’i2−r’ ’k2]÷(2d)
また、n+1フレーム目の画像のゴミD’i_n(x’i,y’i)領域の内、新たに設定したゴミD’’に含まれない領域は、加算画像ではゴミ領域ではないので、加算画像のデータにより補間をする。また、加算画像のD’’k(x’’k,y’’k)の領域の内、新たに設定したゴミD’’に含まれない領域はn+1フレーム目の画像ではゴミ領域ではないので、n+1コマ目のデータにより補間をする。
d = √ [{x′i−x ″ k} 2 + {y′i−y ″ k} 2 ]
d1 = [d 2 + r′i 2 −r′′k 2 ] ÷ (2d)
Further, among the dust D′ i_n (x′i, y′i) area of the image of the (n + 1) th frame, an area not included in the newly set dust D ″ is not a dust area in the added image, so addition is performed. Interpolate with image data. In addition, an area that is not included in the newly set dust D ″ in the area D ″ k (x ″ k, y ″ k) of the added image is not a dust area in the n + 1th frame image. , N + 1 frame data is interpolated.
次にステップS508にて、ステップS505にて座標変換され、且つ、ステップS507にてゴミ補正データが重複しない領域箇所はフレーム間で補間が実行された画像の加算が行なわれ、新たな加算画像が画像バッファメモリ424上に格納される。
Next, in step S508, the coordinate transformation is performed in step S505, and the region where the dust correction data does not overlap is added in step S507. It is stored on the
次にステップS509に進み、カウンタnの値が防振用画像の合成枚数Nに達したか否かの判定が行なわれ、nに達していない場合は、ステップS503に進みカウンタnの値を1加算して、カウンタ値がNに達するまでステップS503〜S509を繰り返す。nに達している場合は、加算合成した画像をファイルに出力する。この際、画像ファイルのヘッダ領域であるExif領域に図16のステップS507で生成したゴミ補正データD’’を合わせて記録する。 Next, the process proceeds to step S509, where it is determined whether the value of the counter n has reached the number N of composite images for image stabilization. If not, the process proceeds to step S503, where the value of the counter n is set to 1. Steps S503 to S509 are repeated until the counter value reaches N. If the number has reached n, the added and synthesized image is output to a file. At this time, the dust correction data D ″ generated in step S507 of FIG. 16 is recorded together with the Exif area which is the header area of the image file.
以上により、防振モード撮影時の画像データに関して、ゴミ補正データを通常撮影時のデータと同様に単一のデータとして関連付けることが可能となる。また、ゴミ補正データの重複していない箇所はフレーム間補間によりゴミ補正データを削除することが可能となる。 As described above, the dust correction data can be associated as a single piece of data, similar to the data at the time of normal shooting, with respect to image data at the time of shooting in the image stabilization mode. In addition, dust correction data can be deleted by inter-frame interpolation at a portion where dust correction data does not overlap.
これにより、ゴミ除去処理において、通常撮影画像であるのか、防振モード撮影時の画像データであるのかを区別することなく同様の処理にてゴミ除去処理を行なうことが可能となり、補正対象箇所も減少させることが可能となる。 As a result, in the dust removal process, it is possible to perform the dust removal process in the same process without distinguishing whether the image is a normal captured image or image data at the time of image stabilization mode shooting, and the correction target portion is also determined. It becomes possible to decrease.
Claims (4)
前記複数枚の露出不足の画像のデータと、前記複数枚の露出不足の画像を撮像した撮像手段の撮像画面内における異物の位置及び大きさの情報である異物情報と、前記複数枚の露出不足の画像を撮像するのに使用したレンズの情報とを抽出する情報抽出手段と、
前記複数枚の露出不足の画像の位置ずれの情報と、前記レンズの情報とに基づいて、前記異物情報を、位置合わせして合成された画像に対応する異物情報に変換する変換手段と、
前記変換手段により変換された異物情報に基づいて、前記位置合わせして合成された画像の異物を除去する異物除去手段と、
を備えることを特徴とする画像処理装置。 An image processing apparatus that obtains an image with a target exposure by aligning and synthesizing a plurality of underexposed images that are continuously captured,
Data of the plurality of underexposed images, foreign matter information that is information on the position and size of the foreign matter in the imaging screen of the imaging means that captured the plurality of underexposed images, and the plurality of underexposed images Information extracting means for extracting the information of the lens used to capture the image of
Conversion means for converting the foreign matter information into foreign matter information corresponding to an image synthesized by alignment based on information on positional deviation of the plurality of underexposed images and information on the lens;
Based on the foreign matter information converted by the conversion means, foreign matter removing means for removing foreign matter in the image synthesized by the alignment,
An image processing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009207531A JP5462560B2 (en) | 2009-09-08 | 2009-09-08 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009207531A JP5462560B2 (en) | 2009-09-08 | 2009-09-08 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011061390A true JP2011061390A (en) | 2011-03-24 |
JP5462560B2 JP5462560B2 (en) | 2014-04-02 |
Family
ID=43948544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009207531A Expired - Fee Related JP5462560B2 (en) | 2009-09-08 | 2009-09-08 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5462560B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014017178A1 (en) * | 2012-07-25 | 2014-01-30 | ソニー株式会社 | Cleaning apparatus, cleaning method, and image pickup apparatus |
JP2017195003A (en) * | 2012-05-31 | 2017-10-26 | オリンパス株式会社 | Imaging device, image processing device, recording medium recording image files, recording method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286846A (en) * | 2006-04-14 | 2007-11-01 | Canon Inc | Imaging device, its control method, image processing apparatus, method and program |
JP2008011102A (en) * | 2006-06-28 | 2008-01-17 | Canon Inc | Image processing device, image processing method, program, storage medium, and image pickup device |
JP2008244866A (en) * | 2007-03-27 | 2008-10-09 | Canon Inc | Image processor, image processing method, program and storage medium |
-
2009
- 2009-09-08 JP JP2009207531A patent/JP5462560B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286846A (en) * | 2006-04-14 | 2007-11-01 | Canon Inc | Imaging device, its control method, image processing apparatus, method and program |
JP2008011102A (en) * | 2006-06-28 | 2008-01-17 | Canon Inc | Image processing device, image processing method, program, storage medium, and image pickup device |
JP2008244866A (en) * | 2007-03-27 | 2008-10-09 | Canon Inc | Image processor, image processing method, program and storage medium |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017195003A (en) * | 2012-05-31 | 2017-10-26 | オリンパス株式会社 | Imaging device, image processing device, recording medium recording image files, recording method, and program |
WO2014017178A1 (en) * | 2012-07-25 | 2014-01-30 | ソニー株式会社 | Cleaning apparatus, cleaning method, and image pickup apparatus |
CN104471474A (en) * | 2012-07-25 | 2015-03-25 | 索尼公司 | Cleaning apparatus, cleaning method, and image pickup apparatus |
US10537922B2 (en) | 2012-07-25 | 2020-01-21 | Sony Corporation | Cleaning apparatus, cleaning method, and imaging apparatus |
US11065653B2 (en) | 2012-07-25 | 2021-07-20 | Sony Group Corporation | Cleaning apparatus, cleaning method, and imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5462560B2 (en) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100815512B1 (en) | Image capturing apparatus and control method thereof | |
JP4799462B2 (en) | Image processing apparatus, control method thereof, program, storage medium, and imaging apparatus | |
KR100971742B1 (en) | Image processing apparatus and control method therefor | |
JP4590355B2 (en) | Image processing apparatus, image processing method, and program | |
KR100875940B1 (en) | Imaging Device and Control Method | |
US7619666B2 (en) | Image processing apparatus, control method therefor, and program correcting image data based on foreign substance information and inhibiting such correction | |
US7990419B2 (en) | Image processing apparatus, method, and program storing a correction or modification log | |
JP5400504B2 (en) | Imaging apparatus, image processing apparatus, control method, and program | |
JP3826878B2 (en) | Imaging device | |
JP5617470B2 (en) | Dust processing device, imaging device, photographing lens, and dust processing program | |
JP5462560B2 (en) | Image processing device | |
JP4960852B2 (en) | Image processing apparatus, control method thereof, interchangeable lens single-lens reflex digital camera, and program | |
JP2009152803A (en) | Imaging device, and its control method and program | |
JP4827778B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2010098698A (en) | Imaging apparatus, control method thereof and program | |
JP4760497B2 (en) | Image data generation apparatus and image data generation method | |
JP5163333B2 (en) | CAMERA DEVICE, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM | |
JP2006311126A (en) | Imaging apparatus | |
JP5094571B2 (en) | Imaging apparatus, control method thereof, and program | |
JP2008244868A (en) | Imaging apparatus, and control method, program and storage medium thereof | |
JP2012239079A (en) | Photographing device | |
JP2011135587A (en) | Image-data generating apparatus and image-data generating method | |
JP2009152696A (en) | Imaging apparatus, control method thereof, program, and image processing apparatus | |
JP2013106226A (en) | Defective pixel correction means for imaging device | |
JP2016086202A (en) | Imaging apparatus and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140117 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5462560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |