JP2010239267A - Imaging apparatus, method for controlling peripheral darkening correction, and program - Google Patents
Imaging apparatus, method for controlling peripheral darkening correction, and program Download PDFInfo
- Publication number
- JP2010239267A JP2010239267A JP2009082973A JP2009082973A JP2010239267A JP 2010239267 A JP2010239267 A JP 2010239267A JP 2009082973 A JP2009082973 A JP 2009082973A JP 2009082973 A JP2009082973 A JP 2009082973A JP 2010239267 A JP2010239267 A JP 2010239267A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- unit
- imaging
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理により周辺減光を補正可能な撮像装置に関する。 The present invention relates to an imaging apparatus capable of correcting peripheral light reduction by image processing.
特許文献1の撮像装置は、同一被写体を含む複数の撮影画像の位置ずれを修正した上で合成画像を生成する合成手段と、合成手段により生成された合成画像に対して光学系の周辺減光特性を考慮した周辺減光補正を施す周辺減光補正手段と、を備える。
図10のような動体が画角内にある場合、引用文献1のように複数画像を合成する周辺減光補正では、異なる時刻の動体同士が重なり合うため、自然な画像が得られるような処理が困難である。本発明は、動体の有無によって自然な周辺減光補正ができるようにする。 When the moving object as shown in FIG. 10 is within the angle of view, the peripheral light reduction correction for combining a plurality of images as in the cited document 1 causes the moving objects at different times to overlap each other, so that a natural image can be obtained. Have difficulty. The present invention enables natural peripheral dimming correction depending on the presence or absence of moving objects.
本発明に係る撮像装置は、撮像光学系を介して結像した被写体像を撮像素子により光電変換して画像を出力する撮像部と、撮像部の出力した所望の参照用画像に基づいて被写体の動きを検出する動体検出部と、撮像部から出力された所望の補正対象画像に対し、画像の画像信号のゲインアップにより周辺減光補正を行う第1の補正部と、撮像部から出力された所望の補正対象画像に対し、撮像部から得られた他の画像を加算することにより周辺減光補正を行う第2の補正部と、動体検出部による参照用画像からの被写体の動きの検出の有無に応じて、補正対象画像の周辺減光補正の方式を第1の補正部の補正または第2の補正部の補正に切り替える制御を行う制御部と、を備える。 An image pickup apparatus according to the present invention includes an image pickup unit that photoelectrically converts an object image formed through an image pickup optical system and outputs an image, and a target image based on a desired reference image output from the image pickup unit. A moving body detection unit that detects motion, a first correction unit that performs peripheral light attenuation correction by increasing the gain of an image signal of the image, and a desired correction target image output from the imaging unit, and output from the imaging unit A second correction unit that performs peripheral attenuation correction by adding another image obtained from the imaging unit to a desired correction target image, and detection of movement of the subject from the reference image by the moving object detection unit A control unit that performs control to switch the peripheral light reduction correction method of the correction target image to the correction of the first correction unit or the correction of the second correction unit according to the presence or absence.
本発明によると、撮影画角内の動体の有無で周辺減光補正の方式を使い分けることで、自然な周辺減光補正を行うことができる。 According to the present invention, natural peripheral dimming correction can be performed by properly using the peripheral dimming correction method depending on the presence or absence of a moving object within the shooting angle of view.
動体検出部は、参照用画像に設定された所定の補正範囲で被写体の動きを検出する。 The moving object detection unit detects the movement of the subject within a predetermined correction range set in the reference image.
こうすることで処理が高速化する。 This speeds up the process.
動体検出部は、参照用画像に設定された所定の区画ごとに被写体の動きを検出し、制御部は、動体検出部による参照用画像の各区画の被写体の動きの検出の有無に応じて、区画に対応する補正対象画像の区画ごとに補正対象画像の周辺減光補正の方式を第1の補正部の補正または第2の補正部の補正に切り替える制御を行う。 The moving body detection unit detects the movement of the subject for each predetermined section set in the reference image, and the control unit detects whether the movement of the subject in each section of the reference image is detected by the moving body detection unit, For each section of the correction target image corresponding to the section, control is performed to switch the peripheral light reduction correction method of the correction target image to the correction of the first correction unit or the correction of the second correction unit.
周辺減光補正の切り替えを行う範囲を細分化することで、より自然な画像の補正が可能となる。 By subdividing the range in which the peripheral dimming correction is switched, more natural image correction can be performed.
動体検出部は、撮像部から出力された複数の参照用画像に基づいて被写体の動きベクトルを検出し、動きベクトルの検出の有無により被写体の動きを検出する。 The moving body detection unit detects a motion vector of the subject based on the plurality of reference images output from the imaging unit, and detects the motion of the subject based on whether or not the motion vector is detected.
動体検出部は、参照用画像に基づいて被写体の顔領域を検出し、顔領域の検出の有無に応じて被写体の動きを検出したと擬制する。 The moving body detection unit detects the face area of the subject based on the reference image, and presumes that the movement of the subject is detected according to whether or not the face area is detected.
顔検知で動体を予測することで動きベクトル検知よりも補正の精度が上がる。 Prediction of moving objects by face detection increases the accuracy of correction compared to motion vector detection.
本発明に係る周辺減光補正制御方法は、撮像装置が、撮像光学系を介して結像した被写体像を撮像素子により光電変換して画像を出力する撮像部の出力した所望の参照用画像に基づいて被写体の動きを検出するステップと、撮像部から出力された所望の補正対象画像に対し、画像の画像信号のゲインアップにより周辺減光補正を行うステップと、撮像部から出力された所望の補正対象画像に対し、撮像部から得られた他の画像を加算することにより周辺減光補正を行うステップと、動体検出部による参照用画像からの被写体の動きの検出の有無に応じて、補正対象画像の周辺減光補正の方式を第1の補正部の補正または第2の補正部の補正に切り替える制御を行うステップと、を実行する。 In the peripheral dimming correction control method according to the present invention, an imaging device converts a subject image formed through an imaging optical system into a desired reference image output from an imaging unit that photoelectrically converts an object image and outputs an image. A step of detecting the movement of the subject based on the image, a step of performing peripheral light attenuation correction by increasing the gain of the image signal of the image with respect to a desired correction target image output from the imaging unit, and a desired output output from the imaging unit. Correction is performed according to the step of performing peripheral dimming correction by adding another image obtained from the imaging unit to the correction target image and whether or not the motion of the subject is detected from the reference image by the moving object detection unit. And a step of performing control to switch the peripheral light reduction correction method of the target image to the correction of the first correction unit or the correction of the second correction unit.
この周辺減光補正制御方法を撮像装置に実行させるための周辺減光補正制御プログラムも本発明に含まれる。 A peripheral dimming correction control program for causing the imaging apparatus to execute the peripheral dimming correction control method is also included in the present invention.
本発明によると、撮影画角内の動体の有無で周辺減光補正の方式を使い分けることで、自然な周辺減光補正を行うことができる。 According to the present invention, natural peripheral dimming correction can be performed by properly using the peripheral dimming correction method depending on the presence or absence of a moving object within the shooting angle of view.
図1は、撮像装置10の主要構成を示すブロック図である。撮像装置10は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、撮像装置10全体の動作は中央処理装置(CPU)50によって統括制御される。CPU50は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段として機能する。電源回路150は、本カメラシステムの各ブロックに電源を供給する。
FIG. 1 is a block diagram illustrating a main configuration of the
CPU50には、バス54を介してROM(Read Only Memory)56及びフラッシュメモリ58が接続されている。ROM56には、CPU50が実行するプログラム及び制御に必要な各種データ等が格納され、フラッシュメモリ58は、撮像装置10に内蔵された内蔵メモリであり、CCD画素欠陥情報、カメラ動作に関する各種定数/情報等が格納される。
A ROM (Read Only Memory) 56 and a
また、メモリ(SDRAM、Synchronous Dynamic Random Access Memory)60は、プログラムの展開領域及びCPU50の演算作業用領域として利用されるとともに、画像データや音声データの一時記録領域として利用される。VRAM(Video Random Access Memory)62は、画像データ専用の一時記録メモリであり、A領域62AとB領域62Bを含んでいる。なお、メモリ60とVRAM62は共用することが可能である。
A memory (SDRAM, Synchronous Dynamic Random Access Memory) 60 is used as a program development area and a calculation work area for the
なお、フラッシュメモリ58は不揮発性のメモリであり、メモリ60は揮発性のメモリである。
The
操作スイッチ群64は、シャッタボタン20及び電源スイッチ等を含むブロックである。これら各種の操作スイッチからの信号はCPU50に入力され、CPU50は入力信号に基づいて撮像装置10の各回路を制御し、例えば、レンズ駆動制御、撮像動作制御、画像処理制御、画像データの記録/再生制御、画像表示装置28の表示制御等を行う。
The
撮像装置10は、メディアソケット(メディア装着部)を有し、メディアソケットには、撮像装置10から着脱可能な着脱メモリである記録メディア68を装着することができる。記録メディア68の形態としては、xD-PictureCard(商標)、スマートメディア(商標)に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。メディアコントローラ70は、メディアソケットに装着される記録メディア68に適した入出力信号の受渡しを行うために所要の信号変換を行う。
The
また、撮像装置10は、パーソナルコンピュータその他の外部機器と接続するための通信手段として外部接続インターフェース(I/F)部72を備える。撮像装置10は、図示せぬUSBケーブル等を用いて撮像装置10と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。なお、外部機器との通信方式はUSBに限らず、IEEE1394やBluetooth、その他の通信方式を適用してもよい。
In addition, the
次に、撮像装置10の撮像機能について説明する。操作スイッチ群64のモードスイッチによって撮像モードが選択されると、固体撮像素子74(以下の説明では、CCDと記載するが、CMOSなどでも可)を含む撮像部に電源が供給され、撮像可能な状態になる。
Next, the imaging function of the
レンズユニットは、フォーカスレンズ及びズームレンズを含む撮影レンズ14と、絞り兼用メカシャッタ82とを含む光学ユニットである。撮影レンズ14のフォーカシングは、フォーカスレンズを図示しないフォーカスモータによって移動させることにより行われ、ズーミングは、ズームレンズを図示しないズームモータで移動させることにより行われる。フォーカスモータとズームモータは、それぞれレンズモータドライバ78により駆動制御される。CPU50は、このレンズモータドライバ78に制御信号を出力して制御する。
The lens unit is an optical unit that includes a photographing
絞り82は、いわゆるターレット型絞りで構成されており、F2.8からF8の絞り孔が穿孔されたターレット板を回転させて絞り値(F値)を変化させる。この絞り82の駆動は図示しないアイリスモータによって行われる。アイリスモータはアイリスモータドライバ80により駆動制御される。CPU50は、このアイリスモータドライバ80に制御信号を出力して制御する。
The
レンズユニットを通過した光は、CCD74の受光面に結像される。CCD74の受光面には多数のフォトダイオード(受光素子)が二次元的に配列されており、各フォトダイオードに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造(ベイヤー、Gストライプ等)で配置されている。また、CCD74は、各フォトダイオードの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。CPU50は、タイミングジェネレータ(TG)84を介してCCD74での電荷蓄積時間を制御する。
The light that has passed through the lens unit forms an image on the light receiving surface of the
CCD74の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU50の指令に従いTG84から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。
The subject image formed on the light receiving surface of the
CCD74から出力された信号はアナログ処理部(CDS/AMP)86に送られ、ここで画素ごとのR、G、B信号がサンプリングホールド(相関二重サンプリング処理)され、増幅された後、A/D変換器88に加えられる。A/D変換器88によってデジタル信号に変換された点順次のR、G、B信号は、画像入力コントローラ90を介してメモリ60に記録される。
The signal output from the
画像信号処理回路92は、メモリ60に記録されたR、G、B信号をCPU50の指令に従って処理する。すなわち、画像信号処理回路92は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、CPU50からのコマンドに従ってメモリ60を活用しながら所定の信号処理を行う。
The image
画像信号処理回路92に入力されたRGBの画像データは、画像信号処理回路92において輝度信号(Y信号)及び色差信号(Cr、Cb信号)に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路92で処理された画像データはメモリ60に格納される。
The RGB image data input to the image
撮像画像を画像表示装置28にモニタ出力する場合、VRAM62から画像データが読み出され、バス54を介してビデオエンコーダ94に送られる。ビデオエンコーダ94は、入力された画像データを表示用の所定方式の信号(例えば、NTSC方式のカラー複合画像信号)に変換して画像表示装置28に出力する。
When the captured image is output to the
CCD74から出力される画像信号によって、1コマ分の画像を表す画像データがVRAM62のA領域62AとB領域62Bとで交互に書き換えられる。VRAM62のA領域62A及びB領域62Bのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてVRAM62内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が画像表示装置28に供給されることにより、撮像中の映像がリアルタイムに画像表示装置28に表示される。撮像者は、画像表示装置28に表示される映像(スルー画像)によって撮像画角を確認できる。
With the image signal output from the
シャッタボタン20が半押しされると、撮像装置10はAE及びAF処理を開始する。すなわち、CCD74から出力された画像信号はA/D変換後に画像入力コントローラ90を介してAF検出回路96並びにAE/AWB検出回路98に入力される。
When the
AE/AWB検出回路98は、1画面を複数のエリア(例えば、8×8又は16×16)に分割し、分割エリアごとにRGB信号を積算する回路を含み、その積算値をCPU50に提供する。CPU50は、AE/AWB検出回路98から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮像に適した露出値(撮像EV値)を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いCPU50はCCD74の電子シャッター及びアイリスを制御して適正な露光量を得る。
The AE /
また、AE/AWB検出回路98は、自動ホワイトバランス調整時には、分割エリアごとにRGB信号の色別の平均積算値を算出し、その算出結果をCPU50に提供する。CPU50は、Rの積算値、Bの積算値、Gの積算値を得て、分割エリアごとにR/G及びB/Gの比を求め、これらR/G、B/Gの値のR/G、B/G軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランス補正値)を制御し、各色チャンネルの信号に補正をかける。なお、ホワイトバランス調整の詳細は後述する。
The AE /
撮像装置10におけるAF制御は、例えば、画像信号のG信号の高周波成分が極大になるようにフォーカスレンズを移動させるコントラストAFが適用される。すなわち、AF検出回路96は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内(例えば、画面中央部)にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すAFエリア抽出部及びAFエリア内の絶対値データを積算する積算部から構成される。
For example, contrast AF that moves the focus lens so that the high-frequency component of the G signal of the image signal is maximized is applied to the AF control in the
AF検出回路96により求められた積算値のデータはCPU50に通知される。CPU50は、レンズモータドライバ78を制御してフォーカスレンズを移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、CPU50は、求めた合焦位置にフォーカスレンズを移動させるようにレンズモータドライバ78を制御する。なお、AF評価値の演算はG信号を利用する態様に限らず、輝度信号(Y信号)を利用してもよい。
The integrated value data obtained by the
シャッタボタン20が半押しされ、AE/AF処理が行われ、シャッタボタン20が全押しされ、記録用の撮像動作がスタートする。シャッタボタン20の全押しに応動して取得された画像データは画像信号処理回路92において輝度/色差信号(Y/C信号)に変換され、ガンマ補正等の所定の処理が施された後、メモリ60に格納される。
The
メモリ60に格納されたY/C信号は、圧縮伸張回路100によって所定のフォーマットに従って圧縮された後、メディアコントローラ70を介して記録メディア68に記録される。例えば、静止画についてはJPEG(Joint Photographic Experts Group)形式で記録される。
The Y / C signal stored in the memory 60 is compressed according to a predetermined format by the compression /
モードスイッチにより再生モードが選択されると、記録メディア68に記録されている最終の画像ファイル(最後に記録されたファイル)の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路100を介して非圧縮のYC信号に伸張され、画像信号処理回路92及びビデオエンコーダ94を介して表示用の信号に変換された後、画像表示装置28に出力される。これにより、当該ファイルの画像内容が画像表示装置28の画面上に表示される。
When the playback mode is selected by the mode switch, the compressed data of the last image file (last recorded file) recorded on the
静止画の一コマ再生中(動画の先頭フレーム再生中も含む)に、操作スイッチ群64に含まれるストロボボタン(右キー)又はマクロボタン(左キー)を操作することによって、再生対象のファイルを切り換えること(順コマ送り/逆コマ送り)ができる。コマ送りされた位置の画像ファイルが記録メディア68から読み出され、上記と同様にして静止画像や動画が画像表示装置28に再生表示される。
During single-frame playback of a still image (including playback of the first frame of a moving image), the file to be played back can be selected by operating the strobe button (right key) or macro button (left key) included in the
また、再生モード時に、パーソナルコンピュータやテレビ等の外部ディスプレイがビデオ入出力端子を介して撮像装置10に接続されている場合には、記録メディア68に記録されている画像データはビデオ出力回路104により処理されて、この外部ディスプレイに再生表示される。
When an external display such as a personal computer or a television is connected to the
また、CPU50には、オーディオ入出力回路106が接続される。オーディオ入出力回路106には、スピーカ108及びマイク110が接続され、撮像モード時や再生モード時等における各種動作音が再生出力されるとともに、動画撮像時の音声信号が入力される。
Further, an audio input /
CPU50の制御によってフラッシュ制御部51への給電を開始することで、フラッシュライト52の発光用コンデンサが充電され、所定のタイミングでCPU50からフラッシュ制御部51に発光信号が送られてキセノン管やLEDなどで構成されたフラッシュライト52が発光する。CPU50は、操作スイッチ群64から「強制発光」が指定された場合や、AE処理で検出した被写体輝度が所定値未満、例えば被写体輝度が9.1Evより下がると、撮影時のフラッシュライト52の発光を行う。
By starting the power supply to the
リアルタイムクロック(RTC)53は、CPU50に現在時刻情報を出力する。
A real time clock (RTC) 53 outputs current time information to the
バス54には、第1の補正部201、第2の補正部202、動き検出部203、顔検出部204が接続されている。これらの機能は後述する。
A
図2は撮像装置10の実行する撮影処理のフローチャートを示す。この処理はCPU50によって実行される。この処理をCPU50に実行させるためのプログラムはROM56に記憶されている。この処理は操作スイッチ群64から撮影モードが選択されたことに応じて開始する。
FIG. 2 shows a flowchart of a photographing process executed by the
S1では、動き検出部203にてスルー画から動体を検知する。動体の検知は、動きベクトルの検知によって行う。動体が検知された場合はS2、検知されない場合はS4に進む。なお、動きベクトルの検出の仕方としては各種の公知技術が採用できる。例えば、まず、ある時点のスルー画像から移動体を含む領域(追跡対象領域)を抽出し、テンプレートとして記憶した後、続いて得られるスルー画像上で、テンプレートの位置を微小にずらしながら相関値を算出して、最も相関の大きい領域を求めることで動きベクトルを検出する方法(パターンマッチング法)を採用できる。
In S1, the
S2では、1枚分の記録用画像の撮影を行う。 In S2, a recording image for one sheet is taken.
S3では、S2の撮影で得られた画像の画像信号のゲインを、第1の補正部201にてアップさせることによる公知のシェーディング補正を実施する(例えば特開平8−79773号公報、あるいは特開2007−300360号公報など)。このシェーディング補正は、光学系の鏡枠等により周辺光がけられる影響による減光の影響を加味した補正ゲイン係数を記録用画像に掛け合わせ、輝度信号やクロマ信号のゲインを増加させることで輝度むらや色むらを補正する。補正画像は記録メディア68に記録される。
In S3, a known shading correction is performed by increasing the gain of the image signal of the image obtained in the shooting of S2 by the first correction unit 201 (for example, Japanese Patent Laid-Open No. 8-79773 or Japanese Patent Laid-Open No. 8-79773). 2007-300360). This shading correction is performed by multiplying the recording image by a correction gain coefficient that takes into account the effect of dimming due to the influence of ambient light caused by the optical system's lens frame, etc., and increasing the gain of the luminance signal or chroma signal to cause uneven luminance. Correct color unevenness. The corrected image is recorded on the
S4では、マルチフレーム撮影(連写)を行う。マルチフレーム撮影とは、所定の複数の回数だけ撮影を繰り返すことで複数の静止画像を得ることである。 In S4, multiframe shooting (continuous shooting) is performed. Multiframe shooting is to obtain a plurality of still images by repeating shooting a predetermined number of times.
S5では、第2の補正部202がS4にて得られた複数の画像を用いて周辺減光補正を行う。これは公知技術、例えば特許文献1に記載のようにして行う。図3は周辺減光の発生した画像I1、マルチフレーム撮影で得られた画像I2、画像I2を用いて画像I1を補正した補正画像I3を示す。画像I1は周辺減光した補正対象画像であり、画像I2は画像I1と同じ露出であるが、シャッタスピードを変えて撮影された補正用画像である。画像I2中の補正利用領域R2を、画像I1の対応領域R1に加算することで、画像I1の周辺減光を補正し、補正画像I3を得る。補正画像I3は記録メディア68に記録される。
In S5, the
以上の処理により、スルー画に動体が存在すれば単体の画像を補正することで周辺減光補正する。動体が存在しなければ複数画像を合成して周辺減光補正する。このように、動体の有無で周辺減光補正の方式を切り替え、動体が存在する画像に不自然な補正がされるのを防げる。なお、スルー画のように記録しない画像の補正についても同様の周辺減光補正を行うことができる。スルー画でなく画像I2の補正利用領域R2そのものから動体を検出し、その有無でS2またはS4に分岐してもよい。 With the above processing, if there is a moving object in the through image, the peripheral light is corrected by correcting the single image. If there is no moving object, a plurality of images are synthesized and peripheral light attenuation correction is performed. In this way, it is possible to switch the peripheral dimming correction method depending on the presence or absence of a moving object, and to prevent an unnatural correction on an image in which a moving object exists. It should be noted that the same peripheral dimming correction can be performed for correcting an image that is not recorded, such as a through image. A moving object may be detected from the correction use region R2 itself of the image I2 instead of the through image, and may branch to S2 or S4 depending on the presence or absence thereof.
<第2実施形態>
図4は撮像装置10の実行する撮影処理のフローチャートを示す。この処理はCPU50によって実行される。この処理をCPU50に実行させるためのプログラムはROM56に記憶されている。この処理は操作スイッチ群64から撮影モードが選択されたことに応じて開始する。
<Second Embodiment>
FIG. 4 shows a flowchart of the photographing process executed by the
S11では、スルー画のうち周辺減光を補正を実施する対象となる所定の周辺領域R1から動体を検知する。そして、R1から動体が検知されればS12、検知されなければS14に進む。 In S11, a moving object is detected from a predetermined peripheral region R1 that is to be subjected to correction of peripheral light reduction in the through image. And if a moving body is detected from R1, it will progress to S12, and if not detected, it will progress to S14.
S12〜S15はS2〜S5と同様である。 S12 to S15 are the same as S2 to S5.
図5は周辺減光の発生した画像I1、マルチフレーム撮影で得られた画像I2、画像I2を用いて画像I1を補正した補正画像I3を示す。画像I2中の補正利用領域R2を、対応する画像I1の補正対象領域R1に加算することで、画像I1を補正し、補正画像I3を得る。画像I2中のR2を除いた補正対象外領域Routに対応するスルー画上の領域では、動体Mが存在していても検出せず、スルー画上のR2の対応領域のみで動体検出する。スルー画上のR2の対応領域に動体がなければ、画像I2中の補正利用領域R2は動体を含まないものとみなし、補正利用領域R2を画像I1の対応領域R1に加算することで、画像I1を補正し、補正画像I3を得る。補正利用領域R2は動体を含まないと考えられるため、補正利用領域R2の加算による画質は悪化しないことが期待される。無論、スルー画でなく画像I2の補正利用領域R2そのものから動体を検出し、その有無でS12またはS14に分岐してもよい。図5では補正利用領域R2に動体Mがなく、動体は検出されずS14に進む。 FIG. 5 shows a corrected image I3 obtained by correcting the image I1 using the image I1 in which peripheral light reduction has occurred, the image I2 obtained by multi-frame shooting, and the image I2. By adding the correction use region R2 in the image I2 to the correction target region R1 of the corresponding image I1, the image I1 is corrected to obtain a corrected image I3. In the area on the through image corresponding to the non-correction area Rout excluding R2 in the image I2, the moving object M is not detected even if the moving object M exists, and the moving object is detected only in the corresponding area of R2 on the through image. If there is no moving object in the corresponding region of R2 on the through image, the correction usage region R2 in the image I2 is regarded as not including a moving object, and the correction usage region R2 is added to the corresponding region R1 of the image I1, thereby obtaining the image I1. Is corrected to obtain a corrected image I3. Since it is considered that the correction use region R2 does not include moving objects, it is expected that the image quality due to the addition of the correction use region R2 does not deteriorate. Of course, the moving object may be detected from the correction use region R2 itself of the image I2 instead of the through image, and the process may branch to S12 or S14 depending on the presence / absence thereof. In FIG. 5, there is no moving object M in the correction use region R2, and no moving object is detected, and the process proceeds to S14.
このように、周辺減光補正が必要な画角で動体がない場合は複数画像を合成する周辺減光補正を行う。周辺減光補正が不要な画角では動体検知を行わないことで高速に処理を行うことができる。 As described above, when there is no moving object at an angle of view that requires peripheral light attenuation correction, peripheral light attenuation correction for combining a plurality of images is performed. Processing can be performed at high speed by not performing moving object detection at an angle of view that does not require peripheral dimming correction.
<第3実施形態>
図6は撮像装置10の実行する撮影処理のフローチャートを示す。この処理はCPU50によって実行される。この処理をCPU50に実行させるためのプログラムはROM56に記憶されている。この処理は操作スイッチ群64から撮影モードが選択されたことに応じて開始する。
<Third Embodiment>
FIG. 6 shows a flowchart of a photographing process executed by the
S21では、スルー画を所定の区画に分割し、各区画ごとに動体の有無を検知する。例えば、図7に示すように、スルー画Itを4つの矩形R1−1〜R1−4に等分割し、その矩形ごとに動体の有無を判定する。処理の高速化のため、矩形R1−1〜R1−4から第2実施形態のRoutを除外してもよい。区画の決めかたは任意であり、図示以上の細分化された区画(例えば4行×4列の矩形としたり、あるいは区画の最少単位を画素とする)、あるいは図示よりも少ない区画(例えば1行×2列の区画)を設けてもよい。 In S21, the through image is divided into predetermined sections, and the presence or absence of moving objects is detected for each section. For example, as shown in FIG. 7, the through image It is equally divided into four rectangles R1-1 to R1-4, and the presence / absence of a moving object is determined for each rectangle. In order to speed up the processing, Rout of the second embodiment may be excluded from the rectangles R1-1 to R1-4. The method of determining the partitions is arbitrary, and is divided more than the figure (for example, a rectangle of 4 rows × 4 columns, or the minimum unit of the partition is a pixel), or less than the figure (for example, 1 row × Two rows of compartments) may be provided.
S22では、マルチフレーム撮影を行う。 In S22, multiframe shooting is performed.
S23では、分割領域のいずれかで動体の存在が検出された場合は、その動体の検出された分割領域に対応する補正対象画像の部分に限ってS3と同様の補正を行う。分割領域のいずれも動体の存在が検出されなかった場合は、その動体の検出されなかった分割領域に対応する補正対象画像の部分に限ってS5と同様の補正を行う。例えば、図7に示すように、スルー画Itを4つの矩形R1−1〜R1−4に等分割し、その矩形ごとに動体の有無を判定した場合は、動体の検出された矩形R1−1に対応する補正対象画像(図5の画像I1と同様のもの)の領域についてS3のシェーディング補正を行い、その他の矩形R1−1〜R1−4の対応領域はS5の複数画像合成補正を行う。 In S23, when the presence of a moving object is detected in any of the divided areas, the same correction as in S3 is performed only for the portion of the correction target image corresponding to the detected divided area of the moving object. If no moving object is detected in any of the divided areas, the same correction as in S5 is performed only for the portion of the correction target image corresponding to the divided area where the moving object is not detected. For example, as shown in FIG. 7, when the through image It is equally divided into four rectangles R1-1 to R1-4 and the presence / absence of a moving object is determined for each rectangle, the rectangle R1-1 from which the moving object is detected is determined. The shading correction of S3 is performed on the area of the correction target image (similar to the image I1 in FIG. 5) corresponding to the above, and the multi-image synthesis correction of S5 is performed on the corresponding areas of the other rectangles R1-1 to R1-4.
S24−25はS4−5と同様である。 S24-25 is the same as S4-5.
このように、分割領域ごとに動体の有無を検出しその検出結果に応じて補正処理を切り替えるため、本来なら補正不要な部分まで光量アップによる補正でノイズが増加することを防げる。スルー画でなく画像I2の補正利用領域R2そのものに分割領域を設定し、各分割領域から動体を検出し、その検出の有無で各分割領域ごとにS22またはS24に分岐してもよい。 Thus, since the presence or absence of a moving object is detected for each divided region and the correction process is switched according to the detection result, it is possible to prevent noise from increasing due to correction by increasing the amount of light up to a portion where correction is unnecessary. A divided area may be set in the correction use area R2 itself of the image I2 instead of the through image, a moving object may be detected from each divided area, and the process may branch to S22 or S24 for each divided area depending on the presence or absence of the detection.
<第4実施形態>
図8は撮像装置10の実行する撮影処理のフローチャートを示す。この処理はCPU50によって実行される。この処理をCPU50に実行させるためのプログラムはROM56に記憶されている。この処理は操作スイッチ群64から撮影モードが選択されたことに応じて開始する。
<Fourth embodiment>
FIG. 8 shows a flowchart of a photographing process executed by the
S31では、顔検出部204にてスルー画から顔検出を行う。顔検出の具体的な方法は、エッジ検出又は形状パターン検出による顔検出方法、特徴部の座標である特徴点をベクトル化し、特徴点ベクトルを近似検出することによる特徴点ベクトル近似法、色相検出又は肌色検出による領域検出方法等の公知の方法を利用することができる。顔が検出された場合はS32、検出されなかった場合はS34に進む。なお、顔の検出領域を第2実施形態のようにR1に制限してもよいし、第3実施形態のように分割してもよい。
In S31, the
S32−34は、S2−4と同様である。図9では、スルー画(あるいは画像I2でも可)で顔領域Fが検出されているため、ゲインアップによる周辺減光補正を行っている。 S32-34 is the same as S2-4. In FIG. 9, since the face area F is detected in the through image (or the image I2 is acceptable), the peripheral light attenuation correction is performed by increasing the gain.
スルー画(あるいは画像I2でも可)画角内で顔を検知した場合、顔が動くことは事前に予測されるから、顔を検知した場合は動体が検知されたとみなして動体が検知されたときと同様の補正を行う。顔が検知されない場合は、複数画像を合成する周辺減光補正を行う。ただし、顔が検知されなかった場合、さらに第1〜3実施形態と同様にして動体検知を行い、その動体検知の有無に応じて補正の方式を切り替えてもよい。 When a face is detected within the view angle (or image I2), it is predicted that the face will move in advance. Therefore, when a face is detected, it is assumed that a moving object has been detected. The same correction is performed. When a face is not detected, peripheral light reduction correction is performed to synthesize a plurality of images. However, when a face is not detected, moving object detection may be performed in the same manner as in the first to third embodiments, and the correction method may be switched according to the presence or absence of the moving object detection.
14:撮影レンズ、50:CPU、52:フラッシュライト、74:CCD、201:第1の補正部、202:第2の補正部、203:動き検出部、204:顔検出部 14: photographing lens, 50: CPU, 52: flash light, 74: CCD, 201: first correction unit, 202: second correction unit, 203: motion detection unit, 204: face detection unit
Claims (7)
前記撮像部の出力した所望の参照用画像に基づいて被写体の動きを検出する動体検出部と、
前記撮像部から出力された所望の補正対象画像に対し、前記画像の画像信号のゲインアップにより周辺減光補正を行う第1の補正部と、
前記撮像部から出力された所望の補正対象画像に対し、前記撮像部から得られた他の画像を加算することにより周辺減光補正を行う第2の補正部と、
前記動体検出部による前記参照用画像からの被写体の動きの検出の有無に応じて、前記補正対象画像の周辺減光補正の方式を第1の補正部の補正または第2の補正部の補正に切り替える制御を行う制御部と、
を備える撮像装置。 An imaging unit that photoelectrically converts an object image formed through an imaging optical system by an imaging element and outputs an image; and
A moving object detection unit that detects a movement of a subject based on a desired reference image output by the imaging unit;
A first correction unit that performs peripheral dimming correction on the desired correction target image output from the imaging unit by increasing the gain of the image signal of the image;
A second correction unit that performs peripheral dimming correction by adding another image obtained from the imaging unit to a desired correction target image output from the imaging unit;
Depending on whether the movement of the subject is detected from the reference image by the moving object detection unit, the correction method of the peripheral light reduction of the correction target image is the correction of the first correction unit or the correction of the second correction unit. A control unit that performs switching control;
An imaging apparatus comprising:
前記制御部は、前記動体検出部による前記参照用画像の各区画の被写体の動きの検出の有無に応じて、前記区画に対応する前記補正対象画像の区画ごとに前記補正対象画像の周辺減光補正の方式を第1の補正部の補正または第2の補正部の補正に切り替える制御を行う請求項1または2に記載の撮像装置。 The moving object detection unit detects a movement of a subject for each predetermined section set in the reference image,
The control unit is configured to reduce the peripheral dimming of the correction target image for each section of the correction target image corresponding to the section according to whether or not the motion of the subject in each section of the reference image is detected by the moving body detection unit. The imaging apparatus according to claim 1, wherein control is performed to switch the correction method to correction of the first correction unit or correction of the second correction unit.
撮像光学系を介して結像した被写体像を撮像素子により光電変換して画像を出力する撮像部の出力した所望の参照用画像に基づいて被写体の動きを検出するステップと、
前記撮像部から出力された所望の補正対象画像に対し、前記画像の画像信号のゲインアップにより周辺減光補正を行うステップと、
前記撮像部から出力された所望の補正対象画像に対し、前記撮像部から得られた他の画像を加算することにより周辺減光補正を行うステップと、
前記動体検出部による前記参照用画像からの被写体の動きの検出の有無に応じて、前記補正対象画像の周辺減光補正の方式を第1の補正部の補正または第2の補正部の補正に切り替える制御を行うステップと、
を実行する周辺減光補正制御方法。 The imaging device
Detecting a movement of a subject based on a desired reference image output by an imaging unit that photoelectrically converts an image of a subject formed through an imaging optical system using an imaging element and outputs the image;
Performing peripheral light reduction correction by increasing the gain of the image signal of the image for a desired correction target image output from the imaging unit;
Performing peripheral dimming correction by adding another image obtained from the imaging unit to a desired correction target image output from the imaging unit;
Depending on whether the movement of the subject is detected from the reference image by the moving object detection unit, the correction method of the peripheral light reduction of the correction target image is the correction of the first correction unit or the correction of the second correction unit. A step of performing switching control;
A peripheral dimming correction control method for executing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082973A JP2010239267A (en) | 2009-03-30 | 2009-03-30 | Imaging apparatus, method for controlling peripheral darkening correction, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009082973A JP2010239267A (en) | 2009-03-30 | 2009-03-30 | Imaging apparatus, method for controlling peripheral darkening correction, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010239267A true JP2010239267A (en) | 2010-10-21 |
Family
ID=43093248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009082973A Pending JP2010239267A (en) | 2009-03-30 | 2009-03-30 | Imaging apparatus, method for controlling peripheral darkening correction, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010239267A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013124772A1 (en) * | 2012-02-22 | 2013-08-29 | Koninklijke Philips N.V. | Vision system comprising an image sensor and means for analysis and reducing loss of illumination towards periphery of the field of view using multiple frames |
CN105474623A (en) * | 2013-08-27 | 2016-04-06 | 奥林巴斯株式会社 | Image pickup device, image pickup system, and image processing method |
-
2009
- 2009-03-30 JP JP2009082973A patent/JP2010239267A/en active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013124772A1 (en) * | 2012-02-22 | 2013-08-29 | Koninklijke Philips N.V. | Vision system comprising an image sensor and means for analysis and reducing loss of illumination towards periphery of the field of view using multiple frames |
CN104115486A (en) * | 2012-02-22 | 2014-10-22 | 皇家飞利浦有限公司 | Vision system comprising an image sensor and means for analysis and reducing loss of illumination towards periphery of the field of view using multiple frames |
JP2015515169A (en) * | 2012-02-22 | 2015-05-21 | コーニンクレッカ フィリップス エヌ ヴェ | Vision system comprising an image sensor and means for analyzing and reducing the illuminance lost towards the outer edge of the field of view using a plurality of frames |
US9596410B2 (en) | 2012-02-22 | 2017-03-14 | Philips Lighting Holding B.V. | Vision systems and methods for analysing images taken by image sensors |
CN104115486B (en) * | 2012-02-22 | 2018-06-19 | 飞利浦灯具控股公司 | Including imaging sensor and for analyzing as the vision system of the device of the image captured by imaging sensor |
CN105474623A (en) * | 2013-08-27 | 2016-04-06 | 奥林巴斯株式会社 | Image pickup device, image pickup system, and image processing method |
EP3041220A1 (en) * | 2013-08-27 | 2016-07-06 | Olympus Corporation | Image pickup device, image pickup system, and image processing method |
EP3041220A4 (en) * | 2013-08-27 | 2017-04-05 | Olympus Corporation | Image pickup device, image pickup system, and image processing method |
US9973715B2 (en) | 2013-08-27 | 2018-05-15 | Olympus Corporation | Imaging apparatus, imaging system, and image processing method |
CN105474623B (en) * | 2013-08-27 | 2019-06-11 | 奥林巴斯株式会社 | Photographic device, camera system and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6184869B2 (en) | IMAGING DEVICE, IMAGE PROCESSING DEVICE, RECORDING MEDIUM RECORDING IMAGE FILE, RECORDING METHOD, IMAGE REPRODUCING METHOD, AND PROGRAM | |
JP5123137B2 (en) | Imaging apparatus and imaging method | |
JP4730553B2 (en) | Imaging apparatus and exposure control method | |
JP2004328461A (en) | Automatic white balance adjustment method | |
JP2011147008A (en) | Imaging apparatus, imaging method, and, imaging program | |
JP6304293B2 (en) | Image processing apparatus, image processing method, and program | |
US7705896B2 (en) | Imaging apparatus which adds a first number of R and B pixels, and adds a second number of G pixels | |
JP2010074634A (en) | Imaging device and method of the same | |
JP2009048136A (en) | Focusing device and focusing method | |
JP2008109485A (en) | Imaging apparatus and imaging control method | |
JP2008053931A (en) | Imaging apparatus | |
JP5936323B2 (en) | Image recording apparatus and control method thereof | |
JP2008017198A (en) | Device and method for calculating light source color, and photographing device | |
JP6147116B2 (en) | Imaging apparatus, control method thereof, and control program | |
JP2010283504A (en) | Imaging device, imaging method, and imaging program | |
JP5310331B2 (en) | Imaging apparatus and imaging method | |
JP2010239267A (en) | Imaging apparatus, method for controlling peripheral darkening correction, and program | |
JP4716182B2 (en) | Imaging apparatus and imaging control program | |
JP2009118052A (en) | Image signal processing method and apparatus | |
JP2006166252A (en) | Imaging apparatus | |
JP2008083243A (en) | Photographing device and exposure control method | |
JP2005117494A (en) | Imaging apparatus | |
JP2008283477A (en) | Image processor, and image processing method | |
JP2004304695A (en) | White balance adjustment method | |
JP2005117276A (en) | Imaging device |