JP2015080152A

JP2015080152A - Imaging device, control method thereof, and program

Info

Publication number: JP2015080152A
Application number: JP2013217449A
Authority: JP
Inventors: 博之古用; Hiroyuki Koyo
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-10-18
Filing date: 2013-10-18
Publication date: 2015-04-23

Abstract

PROBLEM TO BE SOLVED: To correct process flaw and real time flaw while suppressing power consumption at the time of synthesizing a plurality of images which are continuously imaged with different image acquisition conditions.SOLUTION: When performing HDR processing that synthesizes a plurality of photographed images having different exposure amounts into a single image, a process flaw correction, which corrects defective pixel that is registered in advance, is applied to the plurality of images. After the plurality of images having been applied with the process flaw correction are synthesized, a real time flaw correction is made to the synthesized images by detecting a defective pixel other than the defective pixels registered in advance and correcting the detected defective pixels.

Description

本発明は、画像取得条件を異ならせて連続撮影した複数の画像を合成する機能を有する撮像装置、その制御方法、プログラム及びコンピュータ読み取り可能な記憶媒体に関する。 The present invention relates to an imaging apparatus having a function of synthesizing a plurality of images that are continuously captured under different image acquisition conditions, a control method thereof, a program, and a computer-readable storage medium.

一般に、電子カメラに用いられるＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭い。そのため、高輝度部においては白飛びが発生したり、低輝度部においては黒つぶれが発生したりすることがあった。そこで、露光量の異なる複数枚の映像信号を１枚の映像信号に合成することで、ダイナミックレンジを拡大させた画像を生成するHigh Dynamic Range Imaging処理（以下、ＨＤＲ処理と記す）が提案されている。 In general, the dynamic range of various solid-state imaging devices such as CCD image sensors and CMOS image sensors used in electronic cameras is narrower than the dynamic range of a subject. For this reason, whiteout may occur in the high luminance portion, and blackout may occur in the low luminance portion. Therefore, a high dynamic range imaging process (hereinafter referred to as HDR process) is proposed in which a plurality of video signals with different exposure amounts are combined into a single video signal to generate an image with an expanded dynamic range. Yes.

また、固体撮像素子では、製造過程において発生する欠陥画素が、画質の低下や製造上の歩留まりを下げる要因の一つとなっていることが知られている。欠陥画素を完全に無くすことは困難であることから、一般的に、欠陥画素の周囲画素を用いた補間処理を行って画質向上を図ることが知られている。 In solid-state imaging devices, it is known that defective pixels generated in the manufacturing process are one of the factors that lower image quality and reduce manufacturing yield. Since it is difficult to completely eliminate defective pixels, it is generally known to improve image quality by performing interpolation processing using pixels around the defective pixels.

欠陥画素の補正技術として、例えば特許文献１に開示された方法が知られている。
まず、固体撮像素子の工場出荷時等に、所定の条件下において標準電荷蓄積時間、固体撮像素子を露光して得られる出力値を用いて欠陥画素を判定する。そして、その際に取得した欠陥画素の位置情報及び出力レベル等の欠陥画素情報を記憶しておき、撮像時には、この記憶した欠陥画素の位置情報及び出力レベル等の情報を基にして、欠陥画素に隣接する画素の出力レベルを用いて、欠陥画素の出力の補間処理を行う。以下、工場出荷時等に検出された欠陥画素を「工程キズ」と呼ぶ。 As a defective pixel correction technique, for example, a method disclosed in Patent Document 1 is known.
First, a defective pixel is determined using a standard charge accumulation time and an output value obtained by exposing the solid-state image sensor under a predetermined condition when the solid-state image sensor is shipped from a factory. Then, the defective pixel information such as the position information and output level of the defective pixel acquired at that time is stored, and at the time of imaging, the defective pixel is based on the stored information such as the position information and output level of the defective pixel. Interpolation processing of the output of the defective pixel is performed using the output level of the pixel adjacent to the pixel. Hereinafter, defective pixels detected at the time of factory shipment or the like are referred to as “process scratches”.

また、工場出荷時に検出されずに、撮像素子の経時劣化や撮像時の環境変化等の影響によって過渡的に発生する後発欠陥画素や、撮像素子から読み出したときに数回に一度画素が白くなってしまう瞬き欠陥画素も存在する。以下、工場出荷時に検出されなかった欠陥画素を「リアルタイムキズ」と呼ぶ。 In addition, pixels that are not detected at the time of shipment from the factory but appear to be transiently generated due to the effects of deterioration of the image sensor over time, environmental changes during image capture, etc., and the pixel turns white once every time it is read from the image sensor There are blinking defective pixels. Hereinafter, defective pixels that are not detected at the time of factory shipment are referred to as “real time scratches”.

ＨＤＲ処理を行う場合の欠陥画素の補正技術として、例えば特許文献２に開示された方法が知られている。
同一シーンに対して標準より短い露光時間で撮影された非標準露光映像信号の信号レベルに基づいて撮像素子のキズ検出を行なうキズ検出手段を備える。このキズ検出手段により検出された撮像素子のキズを１画素単位で精度よく補正することができるので、良好な映像信号が得られる。
また、別手段として、露光量の異なる複数枚の撮影画像全てに対して、リアルタイムキズの補正、さらに工程キズの補正を行い、画像合成を行うことで良好な映像信号を得ることができる。 As a technique for correcting defective pixels when performing HDR processing, for example, a method disclosed in Patent Document 2 is known.
Scratch detection means for detecting a scratch on the image sensor based on the signal level of a non-standard exposure video signal shot with an exposure time shorter than the standard for the same scene is provided. Since the flaw of the image sensor detected by the flaw detection means can be corrected with accuracy in units of one pixel, a good video signal can be obtained.
As another means, a good video signal can be obtained by performing real-time flaw correction and further process flaw correction on all of a plurality of photographed images with different exposure amounts, and then performing image synthesis.

特開２００３−３３３４３５号公報（「従来の技術」の欄を参照のこと）Japanese Patent Laid-Open No. 2003-333435 (refer to “Conventional Technology” column) 特開２００２−２４７４４５号公報（「課題を解決するための手段」の欄を参照のこと）JP 2002-247445 A (refer to the section of “Means for Solving the Problems”)

しかしながら、特許文献２に記載されている技術では、標準露光映像信号でのキズ検出を行うことができないため、キズが補正されてない箇所が存在してしまう可能性がある。
また、リアルタイムキズの補正は、リアルタイムキズを検出してそれを補正するため、消費電力が大きい。そのため、露光量の異なる複数枚の撮影画像全てに対して、リアルタイムキズの補正、さらに工程キズの補正を行うのでは、無駄な消費電力を消費してしまう問題が発生する。 However, the technique described in Patent Document 2 cannot detect a flaw in the standard exposure video signal, so there may be a portion where the flaw is not corrected.
In addition, the correction of the real time flaw requires a large amount of power consumption since the real time flaw is detected and corrected. For this reason, if correction of real-time scratches and correction of process scratches are performed on all of a plurality of photographed images with different exposure amounts, there arises a problem that wasteful power consumption is consumed.

本発明は上記のような点に鑑みてなされたものであり、画像取得条件を異ならせて連続撮影した複数の画像を合成するときに、消費電力を抑えながら工程キズ及びリアルタイムキズを補正できるようにすることを目的とする。 The present invention has been made in view of the above points, and can synthesize process scratches and real-time scratches while suppressing power consumption when combining a plurality of images continuously captured under different image acquisition conditions. The purpose is to.

本発明の撮像装置は、複数の画素を備える撮像素子で取得される、画像取得条件を異ならせて連続撮影した複数の画像を合成する合成手段と、予め登録されている欠陥画素を補正する工程キズ補正手段と、対象画素と周辺の画素の値を比較することで欠陥画素を検出し、該検出した欠陥画素を補正するリアルタイムキズ補正手段とを備え、前記工程キズ補正手段による補正は、前記合成手段による合成前の前記画像に実施し、前記リアルタイムキズ補正手段による欠陥画素の検出及び補正は、前記合成手段による合成画像に実施することを特徴とする。 An image pickup apparatus according to the present invention includes a combining unit that combines a plurality of images that are acquired by an image pickup device including a plurality of pixels and continuously shot under different image acquisition conditions, and a step of correcting a defective pixel registered in advance. A defect correction unit, and a real-time defect correction unit that detects a defective pixel by comparing values of a target pixel and surrounding pixels, and corrects the detected defective pixel. It is carried out on the image before the synthesis by the synthesis means, and the detection and correction of defective pixels by the real-time scratch correction means are carried out on the synthesized image by the synthesis means.

本発明によれば、画像取得条件を異ならせて連続撮影した複数の画像を合成するときに、合成画像に対してリアルタイムキズの補正を行うことにより、消費電力を抑えながら工程キズ及びリアルタイムキズを補正することができる。 According to the present invention, when combining a plurality of images continuously captured under different image acquisition conditions, correction of real-time scratches is performed on the composite image, thereby reducing process scratches and real-time scratches while suppressing power consumption. It can be corrected.

第１の実施形態に係る撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device which concerns on 1st Embodiment. 第１の実施形態に係る撮像装置の主ルーチンを示すフローチャートである。It is a flowchart which shows the main routine of the imaging device which concerns on 1st Embodiment. 第１の実施形態に係る撮像装置の主ルーチンを示すフローチャートである。It is a flowchart which shows the main routine of the imaging device which concerns on 1st Embodiment. 第１の実施形態における測距・測光処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the distance measurement and photometry process in 1st Embodiment. 第１の実施形態における撮影処理の詳細を示すフローチャートである。3 is a flowchart illustrating details of a photographing process in the first embodiment. 第１の実施形態における記録処理の詳細を示すフローチャートである。4 is a flowchart illustrating details of a recording process according to the first embodiment. 第１の実施形態における撮影処理の通常撮影の詳細を示すフローチャートである。6 is a flowchart illustrating details of normal shooting in shooting processing according to the first embodiment. 第１の実施形態における撮影処理のＨＤＲ撮影の詳細を示すフローチャートである。6 is a flowchart illustrating details of HDR imaging in imaging processing according to the first embodiment. ＨＤＲ撮影を説明するための図である。It is a figure for demonstrating HDR imaging | photography. 第１の実施形態における撮影処理の多重露光撮影の詳細を示すフローチャートである。6 is a flowchart illustrating details of multiple exposure shooting of the shooting process in the first embodiment. 第２の実施形態における撮影処理のＨＤＲ撮影の詳細を示すフローチャートである。12 is a flowchart illustrating details of HDR imaging in imaging processing according to the second embodiment. 第３の実施形態における撮影処理のＨＤＲ撮影の詳細を示すフローチャートである。14 is a flowchart illustrating details of HDR imaging in imaging processing according to the third embodiment.

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置１００の構成を示す図である。
１０は撮影レンズである。１２は絞り機能を備える機械式シャッターである。１４は撮像素子であり、光学像を電気信号に変換する。１６はＡ／Ｄ変換器であり、撮像素子１４のアナログ信号出力をデジタル信号に変換する。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of an imaging apparatus 100 according to an embodiment of the present invention.
Reference numeral 10 denotes a photographing lens. Reference numeral 12 denotes a mechanical shutter having an aperture function. An image sensor 14 converts an optical image into an electrical signal. Reference numeral 16 denotes an A / D converter that converts an analog signal output from the image sensor 14 into a digital signal.

１８はタイミング発生回路であり、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給する。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。機械式シャッター１２以外にも、タイミング発生回路１８により撮像素子１４のリセットタイミングを制御することによって、電子シャッターとして蓄積時間を制御することが可能であり、動画撮影等に使用可能である。 A timing generation circuit 18 supplies a clock signal and a control signal to the image sensor 14 and the A / D converter 16. The timing generation circuit 18 is controlled by the memory control circuit 22 and the system control circuit 50. In addition to the mechanical shutter 12, the accumulation time can be controlled as an electronic shutter by controlling the reset timing of the image sensor 14 by the timing generation circuit 18, and can be used for moving image shooting and the like.

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０により画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。さらに、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行われる。さらに、画像処理回路２０では、画像データの画像識別や前フレーム画像との変化量を検出する処理を行う。 An image processing circuit 20 performs predetermined pixel interpolation processing and color conversion processing on the data from the A / D converter 16 or the data from the memory control circuit 22. In addition, an electronic zoom function is realized by performing image clipping and scaling processing by the image processing circuit 20. The image processing circuit 20 performs predetermined calculation processing using the captured image data, and the system control circuit 50 controls the exposure control unit 40 and the distance measurement control unit 42 based on the obtained calculation result. TTL (through-the-lens) AF (autofocus) processing, AE (automatic exposure) processing, and EF (flash pre-emission) processing are performed. Further, the image processing circuit 20 performs predetermined calculation processing using the captured image data, and also performs TTL AWB (auto white balance) processing based on the obtained calculation result. Further, the image processing circuit 20 performs processing for detecting the image identification of the image data and the amount of change from the previous frame image.

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。 A memory control circuit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing circuit 20, the memory 30, and the compression / decompression circuit 32. The data of the A / D converter 16 is written into the memory 30 via the image processing circuit 20 and the memory control circuit 22, or the data of the A / D converter 16 is directly written via the memory control circuit 22.

２８は例えばＴＦＴＬＣＤからなる画像表示部であり、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。また、画像表示部２８にタッチパネルを用いた場合、タッチパネルを操作部としても使用することで、操作部７０の一部を省くことも可能である。 Reference numeral 28 denotes an image display unit composed of, for example, a TFT LCD. Display image data written in the memory 30 is displayed by the image display unit 28 via the memory control circuit 22. If the image data captured using the image display unit 28 is sequentially displayed, the electronic viewfinder function can be realized. Further, the image display unit 28 can arbitrarily turn on / off the display according to an instruction from the system control circuit 50. When the display is turned off, the power consumption of the imaging apparatus 100 can be significantly reduced. it can. When a touch panel is used for the image display unit 28, a part of the operation unit 70 can be omitted by using the touch panel as an operation unit.

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。
３１は例えばＦｌａｓｈＲＯＭからなる不揮発性メモリである。システム制御回路５０が実行するプログラムコードが不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ３１内には、システム情報を記憶する領域やユーザ設定情報を記憶する領域が設けられており、様々な情報や設定を次回起動時に読み出して、復元することを実現している。 Reference numeral 30 denotes a memory for storing captured still images and moving images, and has a sufficient storage capacity to store a predetermined number of still images and a moving image for a predetermined time. This makes it possible to write a large amount of images to the memory 30 at high speed even in continuous shooting or panoramic shooting in which a plurality of still images are continuously shot. The memory 30 can also be used as a work area for the system control circuit 50.
Reference numeral 31 denotes a non-volatile memory made of, for example, FlashROM. The program code executed by the system control circuit 50 is written in the nonvolatile memory 31, and the program code is executed while being read sequentially. The nonvolatile memory 31 is provided with an area for storing system information and an area for storing user setting information, and various information and settings are read and restored at the next startup. .

３２は圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。 A compression / decompression circuit 32 compresses and decompresses image data by adaptive discrete cosine transform (ADCT) or the like. The compression / decompression circuit 32 reads an image stored in the memory 30, performs a compression process or an expansion process, and writes the processed data to the memory 30.

４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有する。４２は測距制御部であり、撮影レンズ１０のフォーカシングを制御する。４４はズーム制御部であり、撮影レンズ１０のズーミングを制御する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。５０はシステム制御回路であり、撮像装置１００全体を制御する。 Reference numeral 40 denotes an exposure control unit that controls the shutter 12 having an aperture function. The exposure control unit 40 also has a flash light control function in conjunction with the flash 48. Reference numeral 42 denotes a distance measurement control unit that controls the focusing of the photographing lens 10. A zoom control unit 44 controls zooming of the taking lens 10. A flash 48 has an AF auxiliary light projecting function and a flash light control function. The exposure control unit 40 and the distance measurement control unit 42 are controlled using the TTL method. Based on the calculation result obtained by calculating the captured image data by the image processing circuit 20, the system control circuit 50 performs the exposure control unit 40 and the distance measurement. The controller 42 is controlled. Reference numeral 50 denotes a system control circuit that controls the entire imaging apparatus 100.

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
より詳細には、６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
６２はシャッタースイッチＳＷ１であり、シャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。
６４はシャッタースイッチＳＷ２であり、シャッターボタンの操作完了でＯＮとなり、読み出し処理、現像処理、記録処理という一連の処理の動作開始を指示する。フラッシュ撮影の場合、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させ、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。読み出し処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、次に記録媒体２００に画像データを書き込む。
６６は表示切替スイッチであり、画像表示部２８の表示切替を指示する。この機能により、光学ファインダ１０４を用いて撮影を行う際に、画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。
７０は操作部であり、各種ボタン、タッチパネルや回転式ダイアル等からなる。操作部７０としては、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。また、操作部７０としては、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。
７２はズームスイッチであり、撮像画像の倍率変更を指示する。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理等による撮像画角の電子的なズーミング変更のトリガともなる。 Reference numerals 60, 62, 64, 66, 70, and 72 denote operation means for inputting various operation instructions of the system control circuit 50. A single unit such as a switch, a dial, a touch panel, pointing by line-of-sight detection, a voice recognition device or the like Consists of multiple combinations.
More specifically, reference numeral 60 denotes a mode dial switch, which can switch and set each function mode such as power-off, automatic shooting mode, shooting mode, panoramic shooting mode, moving image shooting mode, playback mode, and PC connection mode.
Reference numeral 62 denotes a shutter switch SW1, which is turned ON during the operation of the shutter button, and instructs to start operations such as AF processing, AE processing, and AWB processing.
Reference numeral 64 denotes a shutter switch SW2, which is turned on when the operation of the shutter button is completed, and instructs to start a series of processing operations such as readout processing, development processing, and recording processing. In the case of flash photography, after performing EF processing, the image sensor 14 is exposed for the exposure time determined in AE processing, light is emitted during this exposure period, and light is shielded by the exposure control unit 40 simultaneously with the end of the exposure period. As a result, the exposure to the image sensor 14 is terminated. In the reading process, the image data is written in the memory 30 via the A / D converter 16 and the memory control circuit 22 from the signal read from the image sensor 14. In the development process, the development process using the calculation in the image processing circuit 20 and the memory control circuit 22 is performed. In the recording process, image data is read from the memory 30, compressed by the compression / decompression circuit 32, and then written to the recording medium 200.
Reference numeral 66 denotes a display changeover switch, which instructs display changeover of the image display unit 28. With this function, it is possible to save power by cutting off the current supply to the image display unit 28 when shooting using the optical viewfinder 104.
An operation unit 70 includes various buttons, a touch panel, a rotary dial, and the like. The operation unit 70 includes a menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, a single shooting / continuous shooting / self-timer switching button, and the like. The operation unit 70 includes a menu movement + (plus) button, a menu movement − (minus) button, a reproduction image movement + (plus) button, a reproduction image − (minus) button, a shooting image selection button, an exposure correction button, There are also date / time setting buttons.
A zoom switch 72 instructs to change the magnification of the captured image. The zoom switch 72 includes a tele switch that changes the imaging field angle to the telephoto side and a wide switch that changes the imaging angle of view to the wide angle side. By using the zoom switch 72, the zoom control unit 44 is instructed to change the imaging field angle of the photographing lens 10 and becomes a trigger for performing an optical zoom operation. Further, it also serves as a trigger for electronic zooming change of the imaging angle of view by image cutting by the image processing circuit 20 or pixel interpolation processing.

８６は電源であり、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプタ等からなる。 A power source 86 includes a primary battery of an alkaline battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li ion battery, an AC adapter, or the like.

９０は記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
２００はメモリカードやハードディスク等の記録媒体であり、撮像装置１００に着脱可能となっている。記録媒体２００は、例えば半導体メモリや磁気ディスクで構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備える。 Reference numeral 90 denotes an interface with a recording medium, and reference numeral 92 denotes a connector for connecting to a recording medium such as a memory card or a hard disk.
Reference numeral 200 denotes a recording medium such as a memory card or a hard disk, which can be attached to and detached from the imaging apparatus 100. The recording medium 200 includes a recording unit 202 composed of, for example, a semiconductor memory or a magnetic disk, an interface 204 with the imaging apparatus 100, and a connector 206 that connects to the imaging apparatus 100.

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
１１０は通信部であり、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。 Reference numeral 104 denotes an optical viewfinder, which can take an image using only the optical viewfinder without using the electronic viewfinder function of the image display unit 28.
A communication unit 110 has various communication functions such as USB, IEEE 1394, LAN, and wireless communication. Reference numeral 112 denotes a connector for connecting the imaging apparatus 100 to another device by the communication unit 110 or an antenna in the case of wireless communication.

図２、図３は、本実施形態に係る撮像装置１００の主ルーチンを示すフローチャートである。
電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。
次に、システム制御回路５０は、モードダイアルスイッチ６０の設定位置を判定する（ステップＳ１０３）。モードダイアルスイッチ６０が撮影モードに設定されていたならば、ステップＳ１０５に進む。この撮影モードには、オート撮影モードやＨＤＲ撮影モードが含まれる。モードダイアルスイッチ６０がその他のモードに設定されていたならば、選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を終えたならば、ステップＳ１０３に戻る。 2 and 3 are flowcharts showing a main routine of the imaging apparatus 100 according to the present embodiment.
Upon power-on such as battery replacement, the system control circuit 50 initializes flags, control variables, and the like (step S101), and initializes the image display of the image display unit 28 to an OFF state (step S102).
Next, the system control circuit 50 determines the set position of the mode dial switch 60 (step S103). If the mode dial switch 60 is set to the photographing mode, the process proceeds to step S105. This shooting mode includes an auto shooting mode and an HDR shooting mode. If the mode dial switch 60 is set to another mode, a process corresponding to the selected mode is executed (step S104), and if the process is completed, the process returns to step S103.

システム制御回路５０は、電源８６の残容量や動作状態に問題があるか否かを判定する（ステップＳ１０５）。問題があるならば、画像や音声により所定の警告表示を行った後に（ステップＳ１０７）、ステップＳ１０３に戻る。
電源８６に問題が無いならば、記録媒体２００の動作状態に問題があるか否か、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判定する（ステップＳ１０６）。問題があるならば、画像や音声により所定の警告表示を行った後に（ステップＳ１０７）、ステップＳ１０３に戻る。
記録媒体２００の動作状態に問題が無いならば、画像や音声により撮像装置１００の各種設定状態の表示を行う（ステップＳ１０８）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８も用いて画像や音声により撮像装置１００の各種設定状態の表示を行う。
システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定する（ステップＳ１０９）。スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、メモリ３０に逐次書き込まれたデータを、画像表示部２８により逐次表示することにより、電子ファインダ機能を実現している。 The system control circuit 50 determines whether or not there is a problem with the remaining capacity or operating state of the power supply 86 (step S105). If there is a problem, after a predetermined warning display is performed with an image or sound (step S107), the process returns to step S103.
If there is no problem in the power source 86, it is determined whether or not there is a problem in the operation state of the recording medium 200, in particular whether or not there is a problem in the recording / reproducing operation of the image data on the recording medium (step S106). If there is a problem, after a predetermined warning display is performed with an image or sound (step S107), the process returns to step S103.
If there is no problem in the operation state of the recording medium 200, various setting states of the image pickup apparatus 100 are displayed with images and sounds (step S108). If the image display of the image display unit 28 is ON, the image display unit 28 is also used to display various setting states of the imaging device 100 using images and sounds.
The system control circuit 50 sets a through display state in which captured image data is sequentially displayed (step S109). In the through display state, data sequentially written in the memory 30 is sequentially displayed by the image display unit 28 via the image sensor 14, the A / D converter 16, the image processing circuit 20, and the memory control circuit 22. The electronic viewfinder function is realized.

次に、システム制御回路５０は、シャッタースイッチＳＷ１がＯＮであるか否かを判定する（ステップＳ１１０）。シャッタースイッチＳＷ１がＯＦＦであれば、ステップＳ１０３に戻る。シャッタースイッチＳＷ１がＯＮであれば、ステップＳ１１２の測距・測光処理に進む。
システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する（ステップＳ１１２）。測光処理において、必要であればフラッシュの設定も行う。このステップＳ１１２の測距・測光処理の詳細は図４を用いて後述する。測距・測光処理を終えたならば、ステップＳ１１３に進む。
次に、システム制御回路５０は、シャッタースイッチＳＷ２がＯＮであるか否かを判定する（ステップＳ１１３）。シャッタースイッチＳＷ２がＯＦＦであり、さらにシャッタースイッチＳＷ１も解除されたならば（ステップＳ１１４）、ステップＳ１０３に戻る。シャッタースイッチＳＷ２がＯＮであれば、ステップＳ１１５の撮影処理に進む。このステップＳ１１５の撮影処理の詳細は図５を用いて後述する。
撮影処理の後、記録処理を実行する（ステップＳ１１６）。このステップＳ１１６の記録処理の詳細は図６を用いて後述する。 Next, the system control circuit 50 determines whether or not the shutter switch SW1 is ON (step S110). If the shutter switch SW1 is OFF, the process returns to step S103. If the shutter switch SW1 is ON, the process proceeds to distance measurement / photometry processing in step S112.
The system control circuit 50 performs a distance measurement process to focus the photographing lens 10 on the subject, performs a photometry process, and determines an aperture value and a shutter time (step S112). In the photometric process, the flash is set if necessary. Details of the distance measurement / photometry processing in step S112 will be described later with reference to FIG. If the distance measurement / photometry processing is completed, the process proceeds to step S113.
Next, the system control circuit 50 determines whether or not the shutter switch SW2 is ON (step S113). If the shutter switch SW2 is OFF and the shutter switch SW1 is also released (step S114), the process returns to step S103. If the shutter switch SW2 is ON, the process proceeds to the photographing process in step S115. Details of the photographing process in step S115 will be described later with reference to FIG.
After the photographing process, a recording process is executed (step S116). Details of the recording process in step S116 will be described later with reference to FIG.

図４は、図３のステップＳ１１２の測距・測光処理の詳細を示すフローチャートである。
システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
システム制御回路５０は、画像処理回路２０での演算結果を用いて、露出が適正であるか否かを判定する（ステップＳ２０２）。露出が適正であると判定されるまで、露光制御部４０を用いてＡＥ制御を行う（ステップＳ２０３）。また、システム制御回路５０は、ＡＥ制御で得られた測定データを用いて、フラッシュが必要か否かを判定する（ステップＳ２０４）。フラッシュが必要であれば、フラッシュフラグをセットし、フラッシュ４８を充電する（ステップＳ２０５）。露出が適正であると判定されたならば、測定データ及び或いは設定パラメータをメモリ３０に記憶する。 FIG. 4 is a flowchart showing details of the distance measurement / photometry processing in step S112 of FIG.
The system control circuit 50 reads the charge signal from the image sensor 14 and sequentially reads the captured image data into the image processing circuit 20 via the A / D converter 16 (step S201). Using the sequentially read image data, the image processing circuit 20 performs predetermined calculations used for TTL AE processing, EF processing, and AF processing. In each processing here, a specific portion of the total number of photographed pixels is extracted by extracting a necessary portion according to necessity and used for calculation. This makes it possible to perform optimum calculations for different modes such as the center-weighted mode, the average mode, and the evaluation mode in each of the TTL method AE, EF, AWB, and AF processes.
The system control circuit 50 determines whether the exposure is appropriate using the calculation result in the image processing circuit 20 (step S202). AE control is performed using the exposure control unit 40 until it is determined that the exposure is appropriate (step S203). Further, the system control circuit 50 determines whether or not flashing is necessary using measurement data obtained by AE control (step S204). If flash is necessary, the flash flag is set and the flash 48 is charged (step S205). If it is determined that the exposure is appropriate, the measurement data and / or setting parameters are stored in the memory 30.

次に、システム制御回路５０は、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランスが適正であるか否かを判定する（ステップＳ２０６）。ホワイトバランスが適正であると判定されるまで、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（ステップＳ２０７）。ホワイトバランスが適正であると判定されたならば、測定データ及び或いは設定パラメータをメモリ３０に記憶する。 Next, the system control circuit 50 determines whether or not the white balance is appropriate using the calculation result in the image processing circuit 20 and the measurement data obtained by the AE control (step S206). Until it is determined that the white balance is appropriate, the image processing circuit 20 is used to adjust the color processing parameters and perform AWB control (step S207). If it is determined that the white balance is appropriate, the measurement data and / or setting parameters are stored in the memory 30.

次に、システム制御回路５０は、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、測距が合焦であるか否かを判定する（ステップＳ２０８）。合焦であると判定されるまで、測距制御部４２を用いてＡＦ制御を行う（ステップＳ２０９）。合焦であると判定されたならば、測定データ及び或いは設定パラメータをメモリ３０に記憶し、測距・測光処理ルーチンを終了する。 Next, the system control circuit 50 determines whether or not the distance measurement is in focus using the measurement data obtained by the AE control and the AWB control (step S208). The AF control is performed using the distance measurement control unit 42 until it is determined to be in focus (step S209). If it is determined that the in-focus state is obtained, the measurement data and / or setting parameters are stored in the memory 30, and the distance measurement / photometry processing routine is terminated.

図５は、図３のステップＳ１１５の撮影処理の詳細を示すフローチャートである。
システム制御回路５０は、図２のステップＳ１０３において選択されている撮影モードが通常撮影であるか否かを判定する（ステップＳ３０１）。通常撮影が選択されている場合、通常撮影を行う（ステップＳ３０３）。このステップＳ３０３の通常撮影の詳細は図７を用いて後述する。
通常撮影が選択されていない場合、ＨＤＲ撮影モードであるか否かを判定する（ステップＳ３０２）。ＨＤＲ撮影が選択されている場合、ＨＤＲ撮影を行う（ステップＳ３０４）。このステップＳ３０４のＨＤＲ撮影の詳細は図８、図９を用いて後述する。
ＨＤＲ撮影が選択されていない場合、多重露光撮影を行う（ステップＳ３０５）。このステップＳ３０５の多重露光撮影の詳細は図７を用いて後述する。
その後、撮影処理ルーチンを終了する。 FIG. 5 is a flowchart showing details of the photographing process in step S115 of FIG.
The system control circuit 50 determines whether or not the shooting mode selected in step S103 in FIG. 2 is normal shooting (step S301). If normal shooting is selected, normal shooting is performed (step S303). Details of the normal photographing in step S303 will be described later with reference to FIG.
If the normal shooting is not selected, it is determined whether or not the HDR shooting mode is set (step S302). If HDR shooting is selected, HDR shooting is performed (step S304). Details of the HDR imaging in step S304 will be described later with reference to FIGS.
If HDR shooting is not selected, multiple exposure shooting is performed (step S305). Details of the multiple exposure photographing in step S305 will be described later with reference to FIG.
Thereafter, the photographing process routine is terminated.

図６は、図３のステップＳ１１６の記録処理の詳細を示すフローチャートである。
システム制御回路５０は、メモリ制御回路２２を用いて、メモリ３０に書き込まれた画像データを読み出して、圧縮・伸長回路３２により、設定したモードに応じた画像圧縮処理を行う（ステップＳ４０１）。そして、インタフェース９０、コネクタ９２を介して、メモリカードやコンパクトフラッシュ(登録商標）カード等の記録媒体２００に圧縮した画像データの書き込みを行う（ステップＳ４０２）。その後、記録処理ルーチンを終了する。 FIG. 6 is a flowchart showing details of the recording process in step S116 of FIG.
The system control circuit 50 reads the image data written in the memory 30 using the memory control circuit 22, and performs image compression processing according to the set mode by the compression / decompression circuit 32 (step S401). Then, the compressed image data is written to the recording medium 200 such as a memory card or a compact flash (registered trademark) card via the interface 90 and the connector 92 (step S402). Thereafter, the recording processing routine is terminated.

図７は、図５のステップＳ３０３の通常撮影の詳細を示すフローチャートである。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ５０１、Ｓ５０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ５０３）、シャッター１２を閉じる（ステップＳ５０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ５０５）。
次に、画像処理回路２０において、工程キズ補正、リアルタイムキズ補正を実施する（ステップＳ５０６）。工程キズ補正では、予め登録されている欠陥画素を補正する。工程キズは、工場出荷時に画素に対して付けられたキズ情報であり、メモリ３０にキズ情報として記録されている。工程キズはその周辺の画素信号値を用いて補正する。一方、リアルタイムキズ補正では、経年変化でキズとなった画素や宇宙線によってキズとなった、予め登録されている欠陥画素以外の欠陥画素も検出することを目的としており、該検出した欠陥画素を補正する。リアルタイムキズは、全ての画素に対して、対象画素と周辺画素との画素値を比較し、周辺画素との差分が大きい場合にはキズと判断し、その周辺の画素信号値で補正する。
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ５０７）。
次に、システム制御回路５０は、各駆動モードに応じて現像処理を実施し（ステップＳ５０８）、メモリ３０に処理を終えた画像データを書き込む。一連の処理を終えたならば、通常撮影ルーチンを終了する。 FIG. 7 is a flowchart showing details of normal photographing in step S303 of FIG.
The system control circuit 50 exposes the image sensor 14 by opening the shutter 12 according to the aperture value by the exposure control unit 40 in accordance with the photometric data stored in the memory 30 (steps S501 and S502).
Next, the system control circuit 50 waits for the end of exposure of the image sensor 14 according to the photometric data (step S503), and closes the shutter 12 (step S504).
Next, a charge signal is read from the image sensor 14 and converted into a digital signal by the A / D converter 16 (step S505).
Next, in the image processing circuit 20, process scratch correction and real-time scratch correction are performed (step S506). In the process scratch correction, a defective pixel registered in advance is corrected. The process scratch is scratch information given to the pixel at the time of factory shipment, and is recorded in the memory 30 as scratch information. The process scratch is corrected using the peripheral pixel signal values. On the other hand, the purpose of real-time flaw correction is to detect defective pixels other than pre-registered defective pixels that are flawed due to secular change or flaws caused by cosmic rays. to correct. For real-time scratches, the pixel values of the target pixel and the surrounding pixels are compared for all the pixels, and if the difference between the surrounding pixels is large, the pixel value is determined to be scratched, and correction is performed using the surrounding pixel signal values.
Next, the system control circuit 50 writes data as an image in the memory 30 via the memory control circuit 22 (step S507).
Next, the system control circuit 50 performs development processing according to each drive mode (step S508), and writes the processed image data in the memory 30. When the series of processing is finished, the normal photographing routine is finished.

図８は、図５のステップＳ３０４のＨＤＲ撮影の詳細を示すフローチャートである。
本実施形態では、ＨＤＲ撮影に必要な枚数を３枚（アンダー露光画像、適正露光画像、オーバー露光画像）として扱う。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ６０１、Ｓ６０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ６０３）、シャッター１２を閉じる（ステップＳ６０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ６０５）。 FIG. 8 is a flowchart showing details of the HDR imaging in step S304 of FIG.
In the present embodiment, the number of images necessary for HDR shooting is handled as three (under-exposure image, proper exposure image, and over-exposure image).
The system control circuit 50 exposes the image sensor 14 by opening the shutter 12 according to the aperture value by the exposure control unit 40 according to the photometric data stored in the memory 30 (steps S601 and S602).
Next, the system control circuit 50 waits for the end of exposure of the image sensor 14 according to the photometric data (step S603), and closes the shutter 12 (step S604).
Next, a charge signal is read from the image sensor 14 and converted into a digital signal by the A / D converter 16 (step S605).

次に、画像処理回路２０において、工程キズ補正を実施する（ステップＳ６０６）。
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ６０７）。
次に、システム制御回路５０は、ＨＤＲ撮影に必要な３枚撮影されたか否かを判定する（ステップＳ６０８）。３枚未満であれば、ステップＳ６０１に戻り、次の静止画撮影を行う。３枚撮影されていれば、ステップＳ６０９に進む。
システム制御回路５０は、撮影された３枚の画像に対してＨＤＲ合成の演算を行い、各画像の合成箇所を算出する（ステップＳ６０９）。
そして、現像処理を実施し、３枚の画像を合成して１枚のＨＤＲ合成画像を作成し、画像処理回路２０において、リアルタイムキズ補正を実施する（ステップＳ６１０）。その後、メモリ３０に画像を記録し、一連の処理を終えたならば、ＨＤＲ撮影ルーチンを終了する。 Next, the process scratch correction is performed in the image processing circuit 20 (step S606).
Next, the system control circuit 50 writes data as an image in the memory 30 via the memory control circuit 22 (step S607).
Next, the system control circuit 50 determines whether or not three images necessary for HDR imaging have been captured (step S608). If the number is less than 3, the process returns to step S601 and the next still image is taken. If three images have been taken, the process proceeds to step S609.
The system control circuit 50 performs an HDR composition operation on the three captured images, and calculates a composition location of each image (step S609).
Then, development processing is performed, three images are combined to create one HDR composite image, and real-time scratch correction is performed in the image processing circuit 20 (step S610). Thereafter, an image is recorded in the memory 30, and when a series of processing is completed, the HDR imaging routine is terminated.

図９に示すように、ＨＤＲ撮影では、画像取得条件である露光量を異ならせて連続撮影したアンダー露光画像、適正露光画像、オーバー露光画像の３枚の画像を取得する。次に、取得した３枚の画像に対して、工程キズ補正を実施する次に、工程キズ補正された各画像に対して合成箇所を算出する。次に、現像処理において１枚の合成画像を作成し、この合成画像に対してリアルタイムキズ補正を実施する。 As shown in FIG. 9, in HDR shooting, three images of an under-exposure image, a proper exposure image, and an over-exposure image continuously acquired with different exposure amounts as image acquisition conditions are acquired. Next, the process flaw correction is performed on the three acquired images. Next, a composite portion is calculated for each image that has been subjected to the process flaw correction. Next, one composite image is created in the development process, and real-time scratch correction is performed on the composite image.

図１０は、図５のステップＳ３０５の多重露光撮影の詳細を示すフローチャートである。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ７０１、Ｓ７０２）。露光制御部４０は、多重露光に必要な撮影枚数ｎも算出する。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ７０３）、シャッター１２を閉じる（ステップＳ７０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ７０５）。
次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ７０６）。このとき、前の画素値と加算しながら書き込む。
次に、システム制御回路５０は、露光制御部４０により設定された多重露光に必要な撮影枚数ｎに達したか否かを判定する（ステップＳ７０７）。撮影枚数ｎに達していなければ、ステップＳ７０１に戻り、次の静止画撮影を行う。撮影枚数ｎに達していれば、ステップＳ７０８に進む。
次に、工程キズ補正、リアルタイムキズ補正、現像処理を実施する（ステップＳ７０８）。一連の処理を終えたならば、多重露光撮影ルーチンを終了する。 FIG. 10 is a flowchart showing details of the multiple exposure shooting in step S305 of FIG.
The system control circuit 50 exposes the image sensor 14 by opening the shutter 12 according to the aperture value by the exposure control unit 40 according to the photometric data stored in the memory 30 (steps S701 and S702). The exposure control unit 40 also calculates the number of shots n required for multiple exposure.
Next, the system control circuit 50 waits for the end of exposure of the image sensor 14 according to the photometric data (step S703), and closes the shutter 12 (step S704).
Next, a charge signal is read from the image sensor 14 and converted into a digital signal by the A / D converter 16 (step S705).
Next, the system control circuit 50 writes data to the memory 30 as an image via the memory control circuit 22 (step S706). At this time, writing is performed while adding to the previous pixel value.
Next, the system control circuit 50 determines whether or not the number of shots n required for the multiple exposure set by the exposure control unit 40 has been reached (step S707). If the number of shots n has not been reached, the process returns to step S701 to take the next still image. If the number of shots n has been reached, the process proceeds to step S708.
Next, process scratch correction, real-time scratch correction, and development processing are performed (step S708). When the series of processing is finished, the multiple exposure photographing routine is finished.

以上のように、画像取得条件を異ならせて連続撮影した複数の画像を合成するときに、合成画像に対してリアルタイムキズの補正を行うことにより、消費電力を抑えながら工程キズ及びリアルタイムキズを補正することができる。 As described above, when combining multiple images taken continuously under different image acquisition conditions, correction of process scratches and real-time scratches is achieved while reducing power consumption by correcting real-time scratches on the composite image. can do.

（第２の実施形態）
第２の実施形態では、ＨＤＲ撮影の変形例を説明する。なお、撮像装置１００の構成及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明する。
図１１は、図５のステップＳ３０４のＨＤＲ撮影の詳細を示すフローチャートである。
本実施形態では、ＨＤＲ撮影に必要な枚数を３枚（アンダー露光画像、適正露光画像、オーバー露光画像）として扱う。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ８０１、Ｓ８０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ８０３）、シャッター１２を閉じる（ステップＳ８０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ８０５）。 (Second Embodiment)
In the second embodiment, a modified example of HDR imaging will be described. Note that the configuration and basic processing operation of the imaging apparatus 100 are the same as those in the first embodiment, and the following description will focus on differences from the first embodiment.
FIG. 11 is a flowchart showing details of the HDR imaging in step S304 of FIG.
In the present embodiment, the number of images necessary for HDR shooting is handled as three (under-exposure image, proper exposure image, and over-exposure image).
The system control circuit 50 exposes the image sensor 14 by opening the shutter 12 according to the aperture value by the exposure control unit 40 in accordance with the photometric data stored in the memory 30 (steps S801 and S802).
Next, the system control circuit 50 waits for the exposure of the image sensor 14 to end according to the photometric data (step S803), and closes the shutter 12 (step S804).
Next, the charge signal is read out from the image sensor 14 and converted into a digital signal by the A / D converter 16 (step S805).

次に、画像処理回路２０において、工程キズ補正を実施する（ステップＳ８０６）。
次に、システム制御回路５０は、取得した画像にリアルタイムキズ補正を行うか否かを判定する（ステップＳ８０７）。リアルタイムキズが発生しやすい条件、例えばオーバー露光画像のゲイン設定（撮像素子１４にかけられるゲイン値）が閾値以上である場合、合成前にリアルタイムキズ補正を実施すると判定する。撮像素子１４が同じ露光時間に設定されている場合に、ゲイン値を異なる値で設定すると、ゲイン値を大きく設定した場合の方が、撮像素子１４からの出力信号が大きくなる。
リアルタイムキズ補正が必要であれば、ステップＳ８０８に進み、画像処理回路２０において、リアルタイムキズ補正を実施する。リアルタイムキズ補正が不要であれば、ステップＳ８０９に進む。 Next, the process scratch correction is performed in the image processing circuit 20 (step S806).
Next, the system control circuit 50 determines whether or not to perform real-time scratch correction on the acquired image (step S807). When conditions for which real-time scratches are likely to occur, for example, gain settings for overexposed images (gain values applied to the image sensor 14) are equal to or greater than a threshold value, it is determined that real-time scratch correction is performed before synthesis. When the image sensor 14 is set to the same exposure time, if the gain value is set to a different value, the output signal from the image sensor 14 becomes larger when the gain value is set larger.
If real-time scratch correction is necessary, the process proceeds to step S808, and the image processing circuit 20 performs real-time scratch correction. If real-time scratch correction is unnecessary, the process proceeds to step S809.

次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ８０９）。
次に、システム制御回路５０は、ＨＤＲ撮影に必要な３枚撮影されたか否かを判定する（ステップＳ８１０）。３枚未満であれば、ステップＳ８０１に戻り、次の静止画撮影を行う。３枚撮影されていれば、ステップＳ８１１に進む。
システム制御回路５０は、撮影された３枚の画像に対してＨＤＲ合成の演算を行い、各画像の合成箇所を算出する（ステップＳ８１１）。
そして、現像処理を実施し、３枚の画像を合成して１枚のＨＤＲ合成画像を作成し、画像処理回路２０において、リアルタイムキズ補正を実施する（ステップＳ８１２）。その後、メモリ３０に画像を記録し、一連の処理を終えたならば、ＨＤＲ撮影ルーチンを終了する。 Next, the system control circuit 50 writes data as an image in the memory 30 via the memory control circuit 22 (step S809).
Next, the system control circuit 50 determines whether or not three images necessary for HDR imaging have been captured (step S810). If the number is less than 3, the process returns to step S801, and the next still image is taken. If three images have been taken, the process proceeds to step S811.
The system control circuit 50 performs an HDR synthesis operation on the three captured images and calculates a synthesis location of each image (step S811).
Then, development processing is performed, three images are combined to create one HDR composite image, and real-time scratch correction is performed in the image processing circuit 20 (step S812). Thereafter, an image is recorded in the memory 30, and when a series of processing is completed, the HDR imaging routine is terminated.

以上のように、第２の実施形態では、合成前の画像のうち、リアルタイムキズが発生している可能性が高いものについては、合成前にリアルタイムキズの補正を行うことにより、その後の合成箇所の算出への影響を少なくすることができる。 As described above, in the second embodiment, for images that are likely to have real-time scratches in the pre-combination images, correction of real-time scratches is performed before synthesis, so that the subsequent synthesis location The influence on the calculation of can be reduced.

（第３の実施形態）
第３の実施形態では、ＨＤＲ撮影の変形例を説明する。なお、撮像装置１００の構成及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明する。
図１２は、図５のステップＳ３０４のＨＤＲ撮影の詳細を示すフローチャートである。
本実施形態では、ＨＤＲ撮影に必要な枚数を３枚（アンダー露光画像、適正露光画像、オーバー露光画像）として扱う。
システム制御回路５０は、メモリ３０に記憶される測光データに従い、露光制御部４０により、シャッター１２を絞り値に応じて開放して撮像素子１４を露光する（ステップＳ９０１、Ｓ９０２）。
次に、システム制御回路５０は、測光データに従って撮像素子１４の露光終了を待ち（ステップＳ９０３）、シャッター１２を閉じる（ステップＳ９０４）。
次に、撮像素子１４から電荷信号を読み出して、Ａ／Ｄ変換器１６で電荷信号をデジタル信号に変換する（ステップＳ９０５）。 (Third embodiment)
In the third embodiment, a modified example of HDR imaging will be described. Note that the configuration and basic processing operation of the imaging apparatus 100 are the same as those in the first embodiment, and the following description will focus on differences from the first embodiment.
FIG. 12 is a flowchart showing details of the HDR imaging in step S304 of FIG.
In the present embodiment, the number of images necessary for HDR shooting is handled as three (under-exposure image, proper exposure image, and over-exposure image).
The system control circuit 50 exposes the image sensor 14 by opening the shutter 12 according to the aperture value by the exposure control unit 40 according to the photometric data stored in the memory 30 (steps S901 and S902).
Next, the system control circuit 50 waits for the end of exposure of the image sensor 14 according to the photometric data (step S903), and closes the shutter 12 (step S904).
Next, a charge signal is read from the image sensor 14 and converted into a digital signal by the A / D converter 16 (step S905).

次に、システム制御回路５０は、取得した画像に工程キズ補正を行うか否かを判定する（ステップＳ９０６）。合成箇所を算出する画像であれば、合成前に工程キズ補正を実施すると判定する。例えば露光時間が一定以上又は一定未満の場合、合成箇所の算出には不要であると判断する。
工程キズ補正が必要であれば、ステップＳ９０７に進み、画像処理回路２０において、工程キズ補正を実施する。工程キズ補正が不要であれば、ステップＳ９０８に進む。
次に、システム制御回路５０は、取得した画像にリアルタイムキズ補正を行うか否かを判定する（ステップＳ９０８）。リアルタイムキズが発生しやすい条件、例えばオーバー露光画像のゲイン設定（撮像素子１４にかけられるゲイン値）が閾値以上である場合、合成前にリアルタイムキズ補正を実施すると判定する。撮像素子１４が同じ露光時間に設定されている場合に、ゲイン値を異なる値で設定すると、ゲイン値を大きく設定した場合の方が、撮像素子１４からの出力信号が大きくなる。
リアルタイムキズ補正が必要であれば、ステップＳ９０８に進み、画像処理回路２０において、リアルタイムキズ補正を実施する。リアルタイムキズ補正が不要であれば、ステップＳ９１０に進む。 Next, the system control circuit 50 determines whether or not to perform process defect correction on the acquired image (step S906). In the case of an image for calculating a synthesis portion, it is determined that the process scratch correction is performed before the synthesis. For example, when the exposure time is not less than a certain value or less than a certain value, it is determined that it is not necessary for calculation of the composite part.
If process scratch correction is necessary, the process proceeds to step S907, and the image processing circuit 20 performs process scratch correction. If the process scratch correction is unnecessary, the process proceeds to step S908.
Next, the system control circuit 50 determines whether or not to perform real-time flaw correction on the acquired image (step S908). When conditions for which real-time scratches are likely to occur, for example, gain settings for overexposed images (gain values applied to the image sensor 14) are equal to or greater than a threshold value, it is determined that real-time scratch correction is performed before synthesis. When the image sensor 14 is set to the same exposure time, if the gain value is set to a different value, the output signal from the image sensor 14 becomes larger when the gain value is set larger.
If real-time scratch correction is necessary, the process proceeds to step S908, and the image processing circuit 20 performs real-time scratch correction. If real-time scratch correction is unnecessary, the process proceeds to step S910.

次に、システム制御回路５０は、メモリ制御回路２２を介して、画像としてメモリ３０にデータを書き込む（ステップＳ９１０）。
次に、システム制御回路５０は、ＨＤＲ撮影に必要な３枚撮影されたか否かを判定する（ステップＳ９１１）。３枚未満であれば、ステップＳ９０１に戻り、次の静止画撮影を行う。３枚撮影されていれば、ステップＳ９１２に進む。
システム制御回路５０は、撮影された３枚の画像に対してＨＤＲ合成の演算を行い、各画像の合成箇所を算出する（ステップＳ９１２）。
そして、現像処理を実施し、３枚の画像を合成して１枚のＨＤＲ合成画像を作成し、画像処理回路２０において、工程キズ補正及びリアルタイムキズ補正を実施する（ステップＳ９１３）。その後、メモリ３０に画像を記録し、一連の処理を終えたならば、ＨＤＲ撮影ルーチンを終了する。 Next, the system control circuit 50 writes data in the memory 30 as an image via the memory control circuit 22 (step S910).
Next, the system control circuit 50 determines whether or not three images necessary for HDR imaging have been captured (step S911). If the number is less than 3, the process returns to step S901, and the next still image is taken. If three images have been taken, the process proceeds to step S912.
The system control circuit 50 performs an HDR synthesis operation on the three captured images and calculates a synthesis location of each image (step S912).
Then, development processing is performed, and three images are combined to create one HDR composite image. In the image processing circuit 20, process scratch correction and real-time scratch correction are performed (step S913). Thereafter, an image is recorded in the memory 30, and when a series of processing is completed, the HDR imaging routine is terminated.

以上のように、第３の実施形態では、合成前の画像について工程キズ補正を実施するか否かを判定するようにしたので、工程キズ補正の回数を減らすことができる。 As described above, in the third embodiment, since it is determined whether or not the process scratch correction is performed on the image before synthesis, the number of process scratch corrections can be reduced.

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 (Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

１４：撮像素子、２０：画像処理回路、４０：露光制御部、４２：測距制御部、４４：ズーム制御部、５０：システム制御回路、６０：モードダイアルスイッチ、１００：撮像装置 14: Image sensor, 20: Image processing circuit, 40: Exposure control unit, 42: Distance control unit, 44: Zoom control unit, 50: System control circuit, 60: Mode dial switch, 100: Imaging device

Claims

Synthesizing means for synthesizing a plurality of images continuously captured by different image acquisition conditions, acquired by an image sensor including a plurality of pixels;
A process defect correcting means for correcting defective pixels registered in advance;
A defective pixel is detected by comparing the value of the target pixel and the surrounding pixels, and real-time scratch correction means for correcting the detected defective pixel, and
The correction by the process scratch correction unit is performed on the image before the synthesis by the synthesis unit, and the detection and correction of defective pixels by the real-time scratch correction unit are performed on the synthesized image by the synthesis unit. Imaging device.

The imaging apparatus according to claim 1, wherein a correction satisfying a predetermined condition among the images before synthesis by the synthesis unit is performed by the real-time scratch correction unit.

The imaging apparatus according to claim 2, wherein the predetermined condition is that a gain setting of an overexposed image is equal to or greater than a threshold value.

4. The imaging apparatus according to claim 1, wherein no correction by the process scratch correction unit is performed on an image that satisfies a predetermined condition among the images before being combined by the combining unit. 5. .

The imaging apparatus according to claim 4, wherein the predetermined condition is that an exposure time is equal to or greater than or less than a certain value.

The imaging apparatus according to claim 4, wherein the process scratch correction unit performs correction on the synthesized image by the synthesis unit.

A method for controlling an imaging apparatus having a function of combining a plurality of images that are continuously captured by different image acquisition conditions, acquired by an imaging device including a plurality of pixels,
A procedure for performing a process scratch correction for correcting a defective pixel registered in advance for a plurality of images continuously shot with different image acquisition conditions;
A procedure of combining a plurality of images subjected to the process scratch correction;
A step of detecting a defective pixel by comparing values of a target pixel and surrounding pixels with respect to the synthesized composite image, and performing a real-time scratch correction for correcting the detected defective pixel. Control method for imaging apparatus.

Synthesizing means for synthesizing a plurality of images continuously captured by different image acquisition conditions, acquired by an image sensor including a plurality of pixels;
A process defect correcting means for correcting defective pixels registered in advance;
Detecting the defective pixel by comparing the value of the target pixel and the surrounding pixels, and causing the computer to function as a real-time scratch correction means for correcting the detected defective pixel;
The correction by the process scratch correction unit is performed on the image before the synthesis by the synthesis unit, and the detection and correction of defective pixels by the real-time scratch correction unit are performed on the synthesized image by the synthesis unit. program.

A computer-readable storage medium storing the program according to claim 8.