JP2006050494A - Image photographing apparatus - Google Patents

Image photographing apparatus Download PDF

Info

Publication number
JP2006050494A
JP2006050494A JP2004232329A JP2004232329A JP2006050494A JP 2006050494 A JP2006050494 A JP 2006050494A JP 2004232329 A JP2004232329 A JP 2004232329A JP 2004232329 A JP2004232329 A JP 2004232329A JP 2006050494 A JP2006050494 A JP 2006050494A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
evaluation
means
step
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004232329A
Other languages
Japanese (ja)
Other versions
JP4415188B2 (en )
Inventor
Kazunori Kita
一記 喜多
Original Assignee
Casio Comput Co Ltd
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable an image photographing apparatus such as a digital camera to automatically correct a photographic image. <P>SOLUTION: A digital camera 1 executes image evaluation processing for automatically evaluating a photographic image (exposure condition evaluation, contrast evaluation, blur or focus blur evaluation). Also, when a photographing mode is detected and if the residual capacity of a recording medium for recording the photographic image is not more than a previously set capacity, the digital camera 1 executes correction processing for correcting the image quality of a photographic image whose evaluation value calculated in the image evaluation processing is not more than a predetermined value out of the images recorded in the recording medium. Then, the digital camera 1 evaluates the images subjected to the image correction again to decide the images whose evaluation value calculated in this image evaluation processing is not more than the predetermined value as candidates to be deleted from the recording medium, and deletes the images designated by a user from among the images of decided deletion candidates. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像撮影装置に関する。 The present invention relates to an image capturing apparatus.

静止画像や動画像を撮像し、メモリーカード等の記録媒体に記録するデジタルカメラでは、フィルム代や現像代などを気にすることなく撮影画像を記録することができる。 Capturing a still image or a moving image, in a digital camera for recording on a recording medium such as a memory card can record the captured image without having to worry about such films rates and development cost. 最近では、記録媒体の価格が下がり、記録容量が大幅に増え、多数の画像が記録可能になっている(例えば、特許文献1参照。)。 Recently, down the price of the recording medium, significantly increasing the recording capacity, a large number of images has become possible recording (e.g., see Patent Document 1.). 記録媒体の容量が一杯になった場合は、記録媒体に記録された画像データをPC(Personal Computer)等に転送してから記録媒体を空にするか、記録済みの画像の中から、ユーザが画像の良し悪しを判断して不要な画像を消去するなどして、記録媒体の空き領域が確保されている。 If the capacity of the recording medium becomes full, empty or recording medium the image data recorded on the recording medium after the transfer to the PC (Personal Computer) or the like, from among the recorded images, the user to determine the good or bad of the image, such as by erasing unnecessary images, free space of the recording medium is ensured.
特許第2787781号公報 Patent No. 2787781 Publication

しかしながら、従来、デジタルカメラの記録媒体に記録された画像の中から不要な画像を削除する場合、ユーザが記録済み画像の画質等を目視で評価し、その評価結果に基づいて不要な画像を決めて削除していたため、実際は画質が良い画像であっても削除される可能性があった。 However, conventionally, when deleting unwanted images from a digital camera image recorded on a recording medium, the user is visually evaluated quality or the like of a recorded image, determines the unnecessary image on the basis of the evaluation result because it was deleted Te, actually there is a possibility to be removed even in the image quality is good image.

本発明の課題は、デジタルカメラ等の画像撮影装置において撮影画像を自動的に補正することである。 An object of the present invention to automatically correct the captured image in an image capturing apparatus such as a digital camera.

上記課題を解決するため、請求項1に記載の画像撮影装置は、被写体を撮影して撮影画像を取得する撮像手段と、前記取得された撮影画像を記録媒体に記録する記録手段と、前記取得された撮影画像の画質を評価する第1の評価手段と、前記記録媒体に記録された撮影画像のうち、前記第1の評価手段により算出された評価結果が所定の条件を満たす撮影画像の画質を補正する補正手段と、前記補正手段により画質が補正された撮影画像の画質を評価する第2の評価手段と、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定する決定手段と、を備えることを特徴としている。 To solve the above problems, an image capturing apparatus according to claim 1 includes an imaging means for obtaining captured image by photographing a subject, and recording means for recording the obtained captured image to the recording medium, the acquisition a first evaluation means for evaluating the image quality of the captured image, wherein among the recorded photographic image on the recording medium, the image quality of the first evaluation is calculated by the evaluation unit result satisfies a predetermined condition photographed image and correcting means for correcting, the correction means by the second evaluation means image quality evaluating an image quality of the corrected captured image, the evaluation result satisfies a predetermined condition image captured by the second evaluation unit recording It is characterized by comprising determination means for determining a candidate to be deleted from the medium.

請求項2に記載の発明は、請求項1に記載の画像撮影装置において、前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を備え、前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定された容量以下であると判定された場合に、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定することを特徴としている。 Invention according to claim 2, in the image capturing apparatus according to claim 1, comprising determining means for determining whether the remaining capacity is less than capacity set in advance in the recording medium, wherein the determining means by the determination unit, when the remaining capacity of the recording medium is determined to be less than capacity set in advance, the condition is satisfied photographing image evaluation result is given by the second evaluation means from said recording medium It is characterized by determining a candidate to be deleted.

請求項3に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴としている。 The invention according to claim 3, in the image capturing apparatus according to claim 1 or 2, wherein the first evaluation means and the second evaluation means, based on the histogram distribution of brightness or density of the captured image, the It is characterized in that to evaluate the image quality of the captured image.

請求項4に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴としている。 Invention according to claim 4, in the image capturing apparatus according to claim 1 or 2, wherein the first evaluation means and the second evaluation means, based on the frequency characteristics of the captured image, the image quality of the captured image It is characterized in that to evaluate the.

請求項5に記載の発明は、請求項1又は2に記載の画像撮影装置において、前記第1の評価手段及び第2の評価手段は、撮影画像のブレ又は焦点ボケの度合いに基づいて当該撮影画像の画質を評価することを特徴としている。 The invention according to claim 5, in the image capturing apparatus according to claim 1 or 2, wherein the first evaluation means and the second evaluation means, the imaging based on the degree of blur or defocus of the captured image It is characterized in that to evaluate the image quality of the image.

請求項6に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像に対してガンマ補正を施すことを特徴としている。 Invention according to claim 6, in the image capturing apparatus according to any one of claims 1 to 5, wherein the correction means is characterized in that performs gamma correction on the captured image.

請求項7に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式により変換することにより、当該撮影画像を補正することを特徴としている。 The invention according to claim 7, in the image capturing apparatus according to any one of claims 1 to 5, wherein the correction means, to convert a histogram distribution of luminance or density of the captured image by a predetermined conversion formula Accordingly, it is characterized in that to correct the captured image.

請求項8に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布の平坦化を行うことにより、当該撮影画像を補正することを特徴としている。 Invention according to claim 8, in an image capturing apparatus according to any one of claims 1 to 5, wherein the correcting means by performing a flattening of the histogram distribution of brightness or density of the captured image, the It is characterized by correcting the captured image.

請求項9に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、画像を平滑化するための空間フィルタを用いて撮影画像を補正することを特徴としている。 The invention described in claim 9, in the image capturing apparatus according to any one of claims 1 to 5, wherein the correction means corrects the photographed image by using a spatial filter for smoothing the image It is characterized in.

請求項10に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、所定の微分フィルタを用いて撮影画像を鮮鋭化する処理を行うことを特徴としている。 Invention according to claim 10, in the image capturing apparatus according to any one of claims 1 to 5, wherein the correction means that performs processing for sharpening a captured image using a predetermined differential filter It is characterized.

請求項11に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、撮影画像を周波数変換し、周波数変換された撮影画像に対して、鮮鋭化処理又はぼかし処理を施すことを特徴としている。 Invention according to claim 11, in the image capturing apparatus according to any one of claims 1 to 5, wherein the correcting means, the photographic image frequency conversion for the frequency-converted photographic image sharpness It is characterized by applying processing or blur processing.

請求項12に記載の発明は、請求項1〜5の何れか一項に記載の画像撮影装置において、前記補正手段は、点像分布関数又は線像分布関数を用いて、撮影画像の直線ブレ又は焦点ボケを補正することを特徴としている。 The invention according to claim 12, in the image capturing apparatus according to any one of claims 1 to 5, wherein the correcting means uses the point spread function or line spread function, the linear motion of the captured image or it is characterized by correcting the defocusing.

請求項13に記載の発明は、請求項1〜12の何れか一項に記載の画像撮影装置において、画像劣化が生じる方式で見本画像を撮影する劣化画像撮像手段と、前記劣化画像撮像手段により得られた画像の劣化成分を算出する算出手段と、画像劣化の度合い別に、前記算出手段により算出された画像の劣化成分の情報を記憶する記憶手段と、を備え、前記撮像手段により取得された撮影画像の評価結果が所定の条件を満たす場合、前記補正手段は、当該撮影画像に対応する劣化成分を前記記憶手段から読み出し、その読み出された劣化成分に基づいて当該撮影画像を補正することを特徴としている。 The invention of claim 13 is the image capturing apparatus according to any one of claims 1 to 12, and degraded image pickup means for photographing the sample image in a manner that the image deterioration caused by the deteriorated image pickup means calculating means for calculating a deterioration component of an image obtained, by the degree of image degradation, and a storage means for storing information of the degraded component of the image calculated by said calculation means, acquired by the image pickup means If the evaluation result of the captured image satisfies a predetermined condition, the correction means reads out the deterioration component corresponding to the captured image from the storage means, to correct the captured image based on the read degraded component It is characterized in.

本発明によれば、撮影画像を自動的に評価し、評価結果が所定の条件を満たす画像(例えば、評価値が所定値以下の画像)を自動的に補正し、補正処理後に再度、当該画像を評価し、その評価結果が所定の条件を満たす画像(例えば、評価値が所定値以下の画像)のみを削除可能としたことにより、必要以上に画像を削除することなくなるとともに、記録媒体の空き領域を確実に確保することができる。 According to the present invention, automatically evaluates the captured image, the evaluation result satisfies the predetermined condition image (e.g., evaluation value of the following images the predetermined value) is automatically corrected, the correction processing again after the image evaluated, the evaluation result satisfies the predetermined condition image (e.g., evaluation value of the following images the predetermined value) by which enables remove only, with eliminating possible to delete the image more than necessary, vacant recording medium it is possible to reliably secure area.

また、予め、画像劣化が生じる方式で見本画像を撮影して、画像劣化の度合い別に劣化成分を算出して記憶し、実際に撮影された画像の評価結果が所定の条件を満たす場合(例えば、評価値が所定値以下である場合)、記憶手段に記憶された劣化成分に基づいて画像補正を行うことにより、個々の画像撮影装置の性能に合わせた画像補正を容易に行うことができる。 Further, in advance, by photographing the sample image in a manner that the image deteriorates, and calculates and stores a degree by the degraded component of the image degradation, when the actual evaluation results of captured image satisfies a predetermined condition (e.g., If the evaluation value is less than a predetermined value), by performing image correction on the basis of the stored degraded component in the storage means, the combined image correction to the performance of the individual image capturing apparatus can be easily performed. また、画像補正の際に劣化成分を算出する必要がないため、画像補正処理を高速に行うことができる。 Since it is not necessary to calculate the deterioration components in the image correction can be performed image correction process at high speed.

以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, with reference to the drawings, an embodiment of the present invention in detail.
まず、本実施形態における構成について説明する。 First, a configuration of the present embodiment.

図1に、本発明の画像撮影装置を適用した実施形態に係るデジタルカメラ1の回路構成を示す。 Figure 1 shows a circuit configuration of the digital camera 1 according to this embodiment of the imaging apparatus of the present invention. デジタルカメラ1は、図1に示すように、モータ(M)21、レンズ光学系22、CCD23、TG(タイミング発生器)24、垂直ドライバ25、S/H(サンプルホールド回路)26、A/D変換器27、カラープロセス回路28、DMA(Direct Memory Access)コントローラ29、DRAM(Dynamic RAM) I/F(DRAMインターフェース)30、DRAM31、制御部32、VRAM(Video RAM)コントローラ33、VRAM34、デジタルビデオエンコーダ35、キー入力部36、JPEG(Joint Photograph coding Experts Group)回路37、フラッシュメモリ38、通信部39、手ブレ検出センサ40、表示部13により構成される。 Digital camera 1, as shown in FIG. 1, the motor (M) 21, lens optical system 22, CCD 23, TG (timing generator) 24, a vertical driver 25, S / H (sample and hold circuit) 26, A / D converter 27, a color process circuit 28, DMA (Direct Memory Access) controller 29, DRAM (Dynamic RAM) I / F (DRAM interface) 30, DRAM 31, the control unit 32, VRAM (video RAM) controller 33, VRAM 34, a digital video encoder 35, key input unit 36, JPEG (Joint Photograph coding Experts Group) circuit 37, a flash memory 38, a communication unit 39, the hand shake detection sensor 40, and the display unit 13.

モータ(M)21は、制御部32から入力される制御信号に従って駆動し、レンズ光学系22の絞り位置を移動させる。 Motor (M) 21 is driven according to a control signal input from the control unit 32 moves the diaphragm position of the lens optical system 22.

CCD23は、撮像素子が平面状(2次元)に配列された構造を有し、光入力を電気信号に変換して蓄積する光電変換部、蓄積された電荷を読み出す走査部、電気信号として出力する出力部により構成され、撮影モードでのモニタリング状態において、タイミング発生器(TG)24、垂直ドライバ25によって駆動される。 CCD23 has an imaging element are arranged in a plane (2-dimensional) structure, the photoelectric conversion section for storing converts the optical input into an electrical signal, the scanning unit for reading the accumulated charge, and outputs it as an electric signal is constituted by the output unit, in the monitoring state in the photography mode, the timing generator (TG) 24, driven by the vertical driver 25.

CCD23の出力部から出力された電気信号は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整され、S/H(サンプルホールド回路)26は、このゲイン調整された信号をサンプルホールドする。 Electrical signal output from the output unit of the CCD23 are gain adjustment for each primary color component of RGB in the form of an analog value of the signal, S / H (sample and hold circuit) 26, sample the gain adjusted signal to hold. A/D変換器27は、S/H(サンプルホールド回路)26から出力されたアナログ信号をデジタル信号に変換し、カラープロセス回路28に出力する。 A / D converter 27 converts the analog signal output from the S / H (sample and hold circuit) 26 into a digital signal, and outputs the color process circuit 28.

カラープロセス回路28は、A/D変換器27から出力されたデジタル信号に対して画素補間処理及びγ補正処理を含むカラープロセス処理を施し、デジタル値の輝度信号Y及び色差信号Cb、Crを生成し、DMAコントローラ29に出力する。 Color process circuit 28 performs a color process including pixel interpolation processing and γ correction processing on the digital signal output from the A / D converter 27, generates a luminance signal Y and color difference signals Cb, Cr of digital values , and outputs to the DMA controller 29.

DMAコントローラ29は、カラープロセス回路28から出力された輝度信号Y及び色差信号Cb、Crを、同じくカラープロセス回路28から出力された複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度DMAコントローラ29内部のバッファに書込み、DRAM I/F30を介してバッファメモリとして使用されるDRAM31にDMA転送を行う。 DMA controller 29, once the DMA controller by using the luminance signal output from the color process circuit 28 Y and the color difference signal Cb, and Cr, also composite synchronizing signal outputted from the color process circuit 28, a memory write enable signal and the clock signal 29 writes in the internal buffer, performs a DMA transfer to the DRAM31 used as a buffer memory via a DRAM I / F30.

制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)、ワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。 Control unit 32 is configured by a CPU (Central Processing Unit), fixedly storing the ROM an operating program executed by the CPU (Read Only Memory), RAM (Random Access Memory) used as a work memory or the like, a digital It controls the operation of each section of the camera 1. 以下、制御部32による制御動作について説明する。 Hereinafter, a description will be given of the control operation by the control unit 32.

制御部32は、撮影された画像の画質を評価する画像評価処理を実行する。 Control unit 32 executes the image evaluation process for evaluating the quality of the captured image. また、制御部32は、撮影モードが指定されると、フラッシュメモリ38(記録媒体)の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、記録媒体に記録された画像のうち、画像評価処理により算出された評価値が所定値以下である撮影画像の画質を補正する補正処理を実行する。 The control unit 32, the photographing mode is designated, the remaining capacity is equal to or less than capacity set in advance in the flash memory 38 (recording medium), the remaining capacity of the recording medium is set in advance If it is determined to be equal to or less than capacity, among the images recorded in the recording medium, evaluation value calculated by the image evaluation process to perform a correction process for correcting the image quality of the photographed image is below a predetermined value. そして、制御部32は、画質補正が施された画像の評価処理を再度行い、この画像評価処理により算出された評価値が所定値以下の画像を、記録媒体から削除する候補として決定する。 Then, the control unit 32 performs the evaluation process of the image quality correction is applied again, the image evaluation value calculated is less than a predetermined value by the image evaluation process is determined as a candidate to be deleted from the recording medium. そして、制御部32は、削除候補の画像の中から、キー入力部36の操作により指定された画像を記録媒体から削除する処理を行う。 Then, the control unit 32, from the image of the deletion candidate, performs a process of deleting the image specified by the operation of the key input unit 36 ​​from the recording medium. 以下の、実施形態において、記録媒体に記録済みのデータを消去する場合だけでなく、記録済みのデータに新しいデータを上書きする場合も、記録済みのデータが「削除」されたものとみなすことにする。 The following, in embodiments not only when erasing the recorded data on the recording medium, even if the overwrite of new data to the recorded data, that recorded data is deemed to have been "deleted" to.

画像評価の方法としては、撮影画像の輝度又は濃度のヒストグラム分布から評価する方法と(画像評価方法1:図7及び図8参照)、撮影画像の周波数特性に基づいて評価する方法と(画像評価方法2:図9〜図11参照)、撮影画像のブレ又は焦点ボケの度合いに基づいて評価する方法(画像評価方法3:図12〜図16)等がある。 As a method for image evaluation method and evaluating the histogram distribution of brightness or density of the captured image (image evaluation method 1: see FIGS. 7 and 8), how the (image evaluation be evaluated based on the frequency characteristics of the captured image method 2: see FIGS. 9 to 11), a method for evaluating, based on the degree of blur or defocus of the captured image (image evaluation method 3: there is a 12 to 16) or the like. 本実施形態の画像評価処理では、これら複数の画像評価方法の全てが適用される場合を示すが、これら画像評価方法1〜3のうちの何れか一つ又は2つ以上を組み合わせてもよい。 In image evaluation process of the present embodiment shows a case where all of the plurality of image evaluation method is applied, it may be combined with any one or two or more of these image evaluation method 1-3.

撮影画像の画質を補正する方法としては、撮影画像にガンマ補正を施す方法と(画像補正方法1:図18参照)、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式による変換する方法と(画像補正方法2:図19及び図20参照)、撮影画像の輝度又は濃度のヒストグラム分布を平坦化する方法と(画像補正方法3:図21及び図22参照)、撮影画像を平滑化する方法と(画像補正方法4:図23参照)、微分フィルタを用いて撮影画像を鮮鋭化する方法と(画像補正方法5:図24及び図25参照)、周波数変換された撮影画像に鮮鋭化処理を施す方法と(画像補正方法6)、PSF(Point Spread Function)、LPF(Line Spread Function)等を用いて撮影画像の直線ブレ又は焦点ボケを補正する方法(画像補正方法7)等がある。 As a method of correcting the image quality of the captured image, a method of applying gamma correction to the captured image (image correction method 1: see FIG. 18), and a method for converting a histogram distribution of luminance or density of the captured image with a predetermined conversion formula (image correction method 2: see FIGS. 19 and 20), and a method for flattening the histogram distribution of brightness or density of the captured image (image correction method 3: see FIG. 21 and FIG. 22), a method of smoothing the captured image (image correction method 4: see FIG. 23), and a method for sharpening a captured image using a differential filter (image correction method 5: see FIGS. 24 and 25), a sharpening process on the frequency-converted photographic image the method of applying the (image correction method 6), PSF (Point Spread Function), there is a LPF (Line Spread Function) method for correcting linear blur or defocus of the captured image using such (image correction method 7), and the like. 本実施形態では、画像補正方法1〜7のうちの何れか一つ又は2つ以上を組み合わせた画像補正方法を適用することができる。 In the present embodiment, the image correction method combining any one or more of the image correction method 1-7 can be applied.

VRAMコントローラ33は、制御部32の制御により、DRAM31に一時記憶されている画像データ(輝度信号Y及び色差信号Cb、Cr)を、DRAM31からDRAM I/F30を介して読出し、VRAM34に書込む。 VRAM controller 33, under control of the control unit 32, DRAM 31 to the temporary the stored image data (luminance signal Y and color difference signals Cb, Cr) and reads through the DRAM I / F30 from DRAM 31, writing to VRAM 34. また、再生モード時、制御部32により伸長された画像データをVRAM34に展開して記憶させる。 The playback mode, expand and stores the image data expanded by the control unit 32 to the VRAM 34.

デジタルビデオエンコーダ35は、VRAM34に記憶されている画像データを、VRAM34からVRAMコントローラ33を介して定期的に読出し、これらのデータを元にビデオ信号を生成して表示部13に出力する。 Digital video encoder 35, the image data stored in the VRAM 34, and outputs from the VRAM 34 VRAM controller 33 periodically reads via the display unit 13 generates a video signal based on these data.

キー入力部36は、電源キー、シャッターキー、モードスイッチ、メニューキー及び十字キー等の各種キーにより構成され、それらのキー操作に応じた信号を制御部32に出力する。 The key input unit 36, a power key, a shutter key, a mode switch, is constituted by various keys such as a menu key and a cross key, and outputs a signal corresponding to their key operation to the control unit 32. キー入力部36のシャッターキーは、2段階のストロークで動作し、一般的に「半押し」と表現されている第1段階の操作状態でAE(自動露光)処理やAF(オートフォーカス)処理を始めとする撮影の準備を行い、一般的に「全押し」と表現されている、より強く押圧操作した第2段階の操作状態で撮影を実行する。 The shutter key of the key input unit 36, operates in two stages of the stroke, the general AE (automatic exposure) the operation state of the first stage is represented as "half-press" processing and AF (Auto Focus) process prepare the beginning and to shoot, generally "full press" and are represented, to perform a shot in the second stage of the operation state in which the more strongly pressed.

JPEG回路37は、CCD23から取り込まれ、DRAM31に一時的に記憶されている画像信号を、ADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピー符号化方式であるハフマン符号化などの処理によりデータ圧縮する。 JPEG circuit 37 is taken from the CCD 23, an image signal being temporarily stored in the DRAM31, ADCT (Adaptive Discrete Cosine Transform: adaptive discrete cosine transform), data by processing such as Huffman coding is an entropy coding scheme Compress.

フラッシュメモリ38は、デジタルカメラ1の記録媒体として着脱自在に装着されるメモリーカード内に封入された不揮発性メモリであり、JEPG回路37により符号化された画像信号が記録される。 Flash memory 38 is a nonvolatile memory that is enclosed in a memory card which is detachably attached as a recording medium of the digital camera 1, encoded image signal is recorded by the JEPG circuit 37. なお、フラッシュメモリ38は、デジタルカメラ1に内蔵されていてもよい。 Incidentally, the flash memory 38 may be incorporated in the digital camera 1.

通信部39は、外部機器とケーブルを介したデータ通信を行うためのインターフェースを備える。 The communication unit 39 includes an interface for performing data communication via the external device and the cable. 例えば、通信部39は、IEEE1394やUSB(Universal Serial Bus)等により通信を行うためのインターフェースを備える。 For example, the communication unit 39 includes an interface for communicating with like IEEE1394 or USB (Universal Serial Bus). なお、外部機器と無線通信手段により通信可能としてもよい。 It may be capable of communicating with an external device and the wireless communication means.

手ブレ検出センサ40は、加速度センサ等であり、撮影時の手ブレ量(ブレ方向(θ)、ブレの距離(L)等、後述)を検出する。 Shake detecting sensor 40 is an acceleration sensor or the like, shake amount at the time of shooting (the blur direction (theta), distance blur (L), etc., described later) for detecting a. 表示部13は、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ35からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ33から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示する。 The display unit 13, the photographing mode functions as a monitor display unit (electronic finder), by performing display based on the video signal from the digital video encoder 35, the image information crowded taken from the VRAM controller 33 at that time a through image based on the display in real time.

次に、本実施形態における動作について説明する。 Next, the operation in this embodiment.
まず、図2のフローチャートを参照して、デジタルカメラ1において実行される画像撮影・削除処理について説明する。 First, with reference to the flowchart of FIG. 2 will be described imaging and deletion process executed in the digital camera 1.

まず、表示部13に、図4(a)に示すようなメニュー画面が表示される(ステップS1)。 First, the display unit 13, a menu screen as shown in FIG. 4 (a) is displayed (step S1). 図4(a)に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。 The menu screen shown in FIG. 4 (a), "photographing mode" button for specifying a shooting mode, "reproduction mode" button for designating the reproduction of a captured image, for designating the deletion of the captured image " image delete "button, set up" various to specify various other settings of "button, and the like are displayed.

メニュー画面において、「画像の削除」ボタンが指定されると(ステップS3;YES)、図4(b)及び図5(a)に示すような削除モード画面が表示され、キー入力部36の操作により、画像の自動削除、画質補正等の各種の設定処理が行われ(ステップS4)、設定処理後、ステップS1に戻る。 In the menu screen, when the "delete image" button is designated (step S3; YES), FIGS. 4 (b) and 4 deletion mode screen as shown in FIG. 5 (a) is displayed, the operation of the key input unit 36 the automatic deletion of the image, various setting processing of the picture quality correction or the like is performed (step S4), and after setting processing, the flow returns to step S1. メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合(ステップS3;NO)、その指定されたモードに対応する処理が行われ(ステップS5)、ステップS1に戻る。 In the menu screen, when the "shooting mode" button and a button other than the button "image deletion of" is designated (step S3; NO), processing is performed corresponding to the designated mode (step S5), and the step S1 Back to.

削除モード画面において、「自動削除の設定」ボタンが指定されると、図5(b)に示すような自動削除設定画面が表示される。 In deleting mode screen, the "Setting of automatic deletion" button is designated, the automatic deletion setting screen as shown in FIG. 5 (b) is displayed. 自動削除設定画面には、図5(b)に示すように、設定項目として、撮影画像の自動削除機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動削除機能」欄と、画像の削除方法を設定するための「削除方法」欄、画像の評価方法を設定するための「評価方法」欄と、各評価機能を有効(ON)にするか無効(OFF)にするかを設定するための「評価項目」欄(例えば、「露出条件評価」項目、「コントラスト評価」項目、「ボケ・ブレ評価」項目)が表示されている。 Automatic deletion setting screen, as shown in FIG. 5 (b), as the setting item "automatic deletion for setting whether to enable or disable (ON) the automatic deletion function of the captured image (OFF) function "and column" delete "column for setting how to delete the image, and" evaluation method "column for setting the evaluation method of the image, or disabled (OFF each evaluation function to enable (oN) ) "evaluation item" column for setting whether the to (e.g., "exposure condition evaluation" item, "contrast evaluation" item, "blur-estimated blurring" item) are displayed. また、各評価項目欄には、評価項目の基準値を設定するための「基準値」欄が表示されている。 In each evaluation item column, it is displayed "reference value" column for setting the reference value of the evaluation items. ここで、評価項目の基準値とは、補正対象、削除対象の基準となる数値であり、この基準値に基づいて画像の評価値が決定される。 Here, the reference value of the evaluation item, corrected is a numerical value serving as a reference for deletion, the evaluation value of the image is determined based on the reference value.

図5(a)に示す削除モード画面において、「画質の補正」ボタンが指定されると、図5(c)に示すような補正項目画面が表示される。 In deleting mode screen shown in FIG. 5 (a), the "correction of the image quality" button is designated, the correction item screen as shown in FIG. 5 (c) is displayed. 補正項目画面には、図5(c)に示すように、画質の補正項目として、「露出(濃度レベル)の補正」ボタン、「トーンカーブ(コントラスト)修正」ボタン、「輪郭エッジの強調(シャープ)」ボタン、「ボケ・ブレの補正」ボタン、「ノイズの除去」ボタン、「色調(明度/色相/彩度)の修正」ボタンが表示されている。 The correction item screen, as shown in FIG. 5 (c), as the correction item of the image quality, "correction of exposure (density level)" button, "Curves (contrast) correction" button, emphasizing the "edge rims (Sharp ) "button," correction of blur-blur "button," removal of noise "button," modifying the color tone (brightness / hue / saturation) "button is displayed.

図5(a)に示す削除モード画面において、「画質の自動補正の設定」ボタンが指定されると、図5(e)に示すような画質の自動補正設定画面が表示される。 In deleting mode screen shown in FIG. 5 (a), the button "Configuring automatic correction of the image quality" is designated, FIG 5 (e) to indicate such automatic image quality correction setting screen is displayed. 図5(e)に示す自動補正設定画面には、撮影画像の自動補正機能、露出条件の補正機能、輪郭エッジを強調する機能、ボケ、ブレの補正機能、ノイズの除去機能の各機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動補正機能」欄、「露出条件の補正」欄、「輪郭エッジ強調」欄、「ボケ・ブレの補正」欄、「ノイズの除去」欄が表示されている。 5 the automatic correction setting screen shown in (e), the automatic correction function of the photographed image, the correction function of the exposure conditions, function to emphasize the contour edges, blur correction function of blur, enable each function of noise removal function "automatic compensation" for setting or disable the (oN) (OFF) column, column "correction of the exposure conditions", "contour edge emphasis" column, "correction of blur-blur" column, " removal "column noise are displayed.

図5(c)に示す補正項目画面において、「露出(濃度レベル)の補正」ボタンが指定されると、図5(d)に示すような露出(濃度レベル)の補正画面が表示され、キー入力部36の操作により、RGBの色毎に、撮影画像の濃度レベルが設定される。 In correction item screen shown in FIG. 5 (c), the button "correction of exposure (density level)" is designated, the correction screen exposed as shown in FIG. 5 (d) (density level) is displayed, the key by operating the input unit 36, for each RGB color, density levels of the photographed image is set. また、図5(c)に示す補正項目画面において、「トーンカーブ(コントラスト)修正」ボタンが指定されると、図5(f)に示すようなトーンカーブ修正画面が表示され、キー入力部36の操作により、撮影画像のコントラストが設定される。 Further, in the correction item screen shown in FIG. 5 (c), the "tone curve (contrast) correction" button is designated, the tone curve correction screen as shown in FIG. 5 (f) is displayed, the key input unit 36 the operation, the contrast of the captured image is set.

図4(a)に示すメニュー画面において、「撮影モード」ボタンが指定された場合(ステップS2;YES)、デジタルカメラ1のレンズ位置等の初期設定が行われ(ステップS6)、記録媒体(フラッシュメモリ38)の残り容量が設定容量以下であるか否かが判定される(ステップS7)。 In the menu screen shown in FIG. 4 (a), when the "shooting mode" button is designated (step S2; YES), the initial setting such as a lens position of the digital camera 1 is performed (step S6), and the recording medium (flash whether the remaining capacity is less than the set capacity of the memory 38) (step S7).

ステップS7において、記録媒体の残り容量が設定容量以下であると判定された場合(ステップS7;YES)、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる(ステップS8)。 In step S7, when the remaining capacity of the recording medium is determined to be less than the set volume (Step S7; YES), the image deleting process for deleting the image data is performed from the recording medium on the basis of the evaluation values ​​of each captured image (step S8). 画像削除処理の詳細は、後に図3を参照して説明する。 Details of the image deletion processing, with reference to FIG. 3 described later.

ステップS7において、記録媒体の残り容量が設定容量より大きいと判定された場合(ステップS7;NO)又はステップS8の画像削除処理の終了後、測光処理、露出条件の設定等が行われる(ステップS9)。 In step S7, when the remaining capacity of the recording medium is determined to be larger than the set volume (Step S7; NO) or after completion of the image deletion processing in step S8, the photometric process, setting of the exposure condition is performed (step S9 ). 次いで、ズーム処理が行われ(ステップS10)、オートフォーカス処理が行われる(ステップS11)。 Then, zoom processing is performed (step S10), and the autofocus processing is performed (step S11).

表示部13に、図6(a)に示すような撮影スルー画像が表示され(ステップS12)、キー入力部36のシャッターキーの押下により撮影が指示されると(ステップS13;YES)、撮影処理が行われ(ステップS14)、撮影画像データが取得される。 On the display unit 13, FIG. 6 captured through image as shown in (a) is displayed (step S12), the the shooting by pressing the shutter key of the key input unit 36 ​​is instructed (step S13; YES), the photographing process It is performed (step S14), and photographed image data is acquired. 撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる(ステップS15)。 After photographing processing, image evaluation processing of the photographic image data obtained by the shooting process is performed (step S15). 画像評価処理の詳細は、後に図7〜図16を参照して説明する。 Details of the image evaluation process, with reference to FIGS 16 will be described later. シャッターキーが押されなかった場合には(ステップS13;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。 When the shutter key is not pressed (step S13; NO), the key input processing other (non-shooting mode), display processing or the like is performed (step S25), and the imaging and deletion processing is completed.

撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され(ステップS16)、撮影画像データ及びその評価値が表示部13に表示される(ステップS17)。 When the image evaluation process of the captured image data is completed, it is recorded in the photographed image data and the recording medium evaluation value in association (step S16), and photographed image data and the evaluation value is displayed on the display unit 13 (step S17 ). なお、ステップS17において、図6(b)に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。 Note that, in step S17, as shown in FIG. 6 (b), the size of the image data, imaging conditions, may be displayed the detailed data of the image, such as image quality evaluation value. また、画質評価値の各項目や総合評価値は、5点法や10点法又は%に換算して表示するようにしてもよい。 Also, each item and total evaluation value of the image quality evaluation value may be displayed in terms of 5-point method and 10 point method, or%.

次いで、撮影画像の評価値が所定値以下であるか否かが判定される(ステップS18)。 Then, evaluation value of the photographed image is equal to or less than a predetermined value is determined (step S18). ここで、所定値とは、図5(b)の自動削除設定画面において設定された基準値に基づいて決定され、例えば、各評価項目において設定された基準値の合計値等である。 Here, the predetermined value is determined based on the reference value set in the automatic deletion setting screen of FIG. 5 (b), for example, the total value or the like of the set reference value in each evaluation item. ステップS18において、撮影画像の評価値が所定値より大きいと判定された場合(ステップS18;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。 In step S18, if the evaluation value of the photographed image is determined to be greater than the predetermined value (step S18; NO), the key input processing other (non-shooting mode), display processing or the like is performed (step S25), and the image shooting and deletion process is completed.

ステップS18において、撮影画像の評価値が所定値以下であると判定された場合(ステップS18;YES)、表示部13には、図6(c)に示すような自動補正確認プロンプト画面が表示される。 In step S18, if the evaluation value of the photographed image is determined to be equal to or less than the predetermined value (Step S18; YES), the display unit 13 displays the automatic correction confirmation prompt screen as shown in FIG. 6 (c) that. 自動補正確認プロンプト画面には、図6(c)に示すように、該当する撮影画像と、「この画像を自動補正してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。 The automatic correction confirmation prompt screen, as shown in FIG. 6 (c), and the corresponding photographic image, message and the evaluation value of "Are you sure you want to automatically correct the image? (Y / N)" display It is.

図6(c)に示す自動補正確認プロンプト画面において、画像の自動補正が指定されなかった場合(ステップS19;NO)、ステップS25に移行する。 In automatic correction confirmation prompt screen shown in FIG. 6 (c), if the automatic correction of the image is not specified (Step S19; NO), the process proceeds to step S25. 自動補正確認プロンプト画面において、画像の自動補正が指定された場合(ステップS19;YES)、該当する撮影画像の画質の自動補正処理が行われる(ステップS20)。 In automatic correction confirmation prompt, if the automatic correction of the image is designated (step S19; YES), the automatic correction of the image quality of the corresponding captured image is performed (step S20). 画質の自動補正処理の詳細は、後に図18〜図25を参照して説明する。 Details of the automatic correction of the image quality, with reference to FIGS. 18 to 25 will be described later.

ステップS20における画質の自動補正処理が終了すると、補正済みの撮影画像に対する画像評価処理が行われる(ステップS21)。 When the automatic correction of the image quality ends in step S20, the image evaluation process is performed on the corrected captured image (step S21). 画像評価処理の詳細は、後に図7〜図16を参照して説明する。 Details of the image evaluation process, with reference to FIGS 16 will be described later. 次いで、表示部13に、図6(d)に示すような補正済み画像の更新確認プロンプト画面が表示される。 Then, the display unit 13, an update confirmation prompt of the corrected image as shown in FIG. 6 (d) is displayed. 補正済み画像の更新確認プロンプト画面には、図6(d)に示すように、該当する撮影画像と、「画質を自動補正しました。この画像に更新しますか?(Y/N)」というメッセージ及び評価値が表示される。 To update confirmation prompt screen of the corrected image, as shown in FIG. 6 (d), and the corresponding photographic image, that "I automatically correct the image quality. Do you want to update to this image? (Y / N)" message and evaluation value is displayed.

補正済み画像の更新確認プロンプト画面において、補正済み画像の更新が指定されなかった場合(ステップS23;NO)、ステップS25に移行する。 In update confirmation prompt of the corrected image, if the update of the corrected image is not specified (step S23; NO), the process proceeds to step S25. 補正済み画像の更新確認プロンプト画面において、補正済み画像の更新が指定された場合(ステップS23;YES)、その補正済み画像が符号化され、評価値とともに記録媒体に記録される(ステップS24)。 In update confirmation prompt of the corrected image, if the update of the corrected image is designated (step S23; YES), the corrected image is encoded and recorded on the recording medium together with the evaluation value (step S24). そして、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS25)、本画像撮影・削除処理が終了する。 The other key input processing (other than shooting mode), display processing or the like is performed (step S25), and the imaging and deletion processing is completed.

なお、ステップS15及びS21における画像評価処理は、1枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。 Note that the image evaluation process in step S15 and S21 may be configured to perform the time it is first picture may be performed collectively processing of all image content after the end of a series of shooting processes. 特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。 In particular, the continuous shooting and moving image shooting, to maintain the imaging performance, it is preferable to use the latter method.

次に、図3のフローチャートを参照して、図2に示した画像削除処理の詳細について説明する。 Next, with reference to the flowchart of FIG. 3, details of an image deleting process shown in FIG.

まず、画像データの自動削除設定がONであるか否か(画像データの自動削除機能が有効であるか否か)が判定される(ステップS30)。 First, whether the automatic deletion setting of the image data is ON (whether the automatic deletion function of the image data is valid) is determined (step S30). ステップS30において、自動削除設定がOFFであると判定された場合(ステップS30;NO)、表示部13に、記録媒体の残り容量がなくなっている旨が表示されるとともに(ステップS31)、マニュアル操作での画像削除を確認するための確認プロンプト画面が表示される(ステップS32)。 In step S30, if the automatic deletion setting is determined to be OFF (step S30; NO), the display unit 13, together with the fact that the remaining capacity of the recording medium is no longer displayed (step S31), manual operation confirmation prompt to confirm the image deletion is displayed in (step S32).

表示部13に表示された確認プロンプト画面上において、マニュアル操作での画像削除が指定されると(ステップS33;YES)、マニュアル操作による画像の削除モードに移行し(ステップS34)、本画像削除処理が終了する。 On confirmation prompt screen displayed on the display unit 13, the image deletion in the manual operation is designated (step S33; YES), the process proceeds to deletion mode of the image by manual operation (step S34), the image deleting process There is terminated. ステップS34では、ユーザは、記録媒体の容量を確認しながら画像を削除する。 In step S34, the user deletes the image while checking the capacity of the recording medium. マニュアル操作での画像削除が指定されなかった場合(ステップS33;NO)、本画像削除処理が終了する。 If the image deletion in the manual operation is not specified (Step S33; NO), the image deleting process is ended.

ステップS30において、自動削除設定がONであると判定された場合(ステップS30;YES)、表示部13に、図6(e)に示すように、「メモリーの残りがありません!削除する候補を検索します。」というメッセージが表示され、記録媒体に記録済みの画像は画像評価処理済であるか否かが判定される(ステップS35)。 In step S30, if the automatic deletion setting is determined to be ON; search (step S30 YES), the display unit 13, as shown in FIG. 6 (e), but there is no remaining "Memory candidate to be deleted! and. "message appears, recorded image on a recording medium whether already image evaluation processing is determined (step S35).

ステップS35において、記録済み画像が画像評価処理済でないと判定された場合(ステップS35;NO)、記録済み画像の画像評価処理が行われ(ステップS36)、後述のステップS37に移行する。 In step S35, if the recorded image is determined not to be finished image evaluation processing (step S35; NO), the image evaluation processing of the recorded image is performed (step S36), the process proceeds to step S37 described later. ステップS36の画像評価処理の詳細は、後に図7〜図16を参照して説明する。 The image evaluation processing details of the step S36, with reference to FIGS 16 will be described later.

ステップS35において、記録済み画像が画像評価処理済であると判定された場合(ステップS35;YES)又はステップS36の画像評価処理が終了すると、記録媒体に記録された画像のうち、評価値が所定値以下の画像が検索され(ステップS37)、評価値が最も低い順に、補正対象の画像が選択される(ステップS38)。 In step S35, if the recorded image is determined to be-image-evaluation process; (Step S35 YES) or image evaluation process step S36 is completed, out of the image recorded on a recording medium, an evaluation value is predetermined the following image value is retrieved (step S37), the lowest order of evaluation value, an image to be corrected is selected (step S38).

補正対象の撮影画像が選択されると、表示部13には、図6(c)に示すような自動補正確認プロンプト画面が表示される(ステップS39)。 When the captured image to be corrected is selected, the display unit 13, the automatic correction confirmation prompt screen as shown in FIG. 6 (c) is displayed (step S39). 自動補正確認プロンプト画面には、図6(c)に示すように、選択された撮影画像と、「この画像を自動補正してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。 The automatic correction confirmation prompt screen, as shown in FIG. 6 (c), a photographic image that has been selected, the message and the evaluation value is referred to as "Are you sure you want to automatically correct the image? (Y / N)" Is displayed.

図6(c)に示す自動補正確認プロンプト画面において、画像の自動補正が指定されなかった場合(ステップS40;NO)、後述のステップS45に移行する。 In automatic correction confirmation prompt screen shown in FIG. 6 (c), if the automatic correction of the image is not specified (Step S40; NO), the process proceeds to step S45 described later. 自動補正確認プロンプト画面において、画像の自動補正が指定された場合(ステップS40;YES)、該当する撮影画像の画質の自動補正処理が行われる(ステップS41)。 In automatic correction confirmation prompt, if the automatic correction of the image is designated (step S40; YES), the automatic correction of the image quality of the corresponding captured image is performed (step S41). 画質の自動補正処理の詳細は、後に図18〜図25を参照して説明する。 Details of the automatic correction of the image quality, with reference to FIGS. 18 to 25 will be described later.

画質の自動補正処理が終了すると、補正済み画像を再度評価する画像評価処理が行われる(ステップS42)。 When the automatic correction of the image quality ends, the image evaluation process is performed to evaluate the corrected image again (step S42). ステップS42の画像評価処理の詳細は、後に図7〜図16を参照して説明する。 The image evaluation processing details of the step S42, with reference to FIGS 16 will be described later. 次いで、表示部13に、補正済み画像及びその評価値が表示され(ステップS43)、その補正済み画像の評価値が所定値以下であるか否かが判定される(ステップS44)。 Then, the display unit 13, the corrected image and the evaluation value is displayed (step S43), evaluation value of the corrected image is equal to or less than a predetermined value is determined (step S44). ここで、所定値とは、図5(b)の自動削除設定画面において設定された基準値に基づいて決定され、例えば、各評価項目において設定された基準値の合計値等である。 Here, the predetermined value is determined based on the reference value set in the automatic deletion setting screen of FIG. 5 (b), for example, the total value or the like of the set reference value in each evaluation item.

ステップS44において、補正済み画像の評価値が所定値より大きいと判定された場合(ステップS44;NO)、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。 In step S44, if the evaluation value of the corrected image is determined to be greater than the predetermined value (Step S44; NO), the candidate for the next object to be corrected is searched (step S49), the flow returns to step S38. ステップS44において、補正済み画像の評価値が所定値以下であると判定された場合(ステップS44;YES)、その補正済み画像が記録媒体から削除する候補として決定され、表示部13に、図6(f)に示すように、削除確認プロンプト画面が表示される(ステップS45)。 In step S44, if the evaluation value of the corrected image is equal to or less than the predetermined value (Step S44; YES), the corrected image is determined as a candidate to be deleted from the recording medium, on the display unit 13, FIG. 6 (f), the display delete confirmation prompt (step S45). 削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか?(Y/N)」というメッセージ及び評価値が表示される。 To delete confirmation prompt screen, and the corresponding image, message and the evaluation value of "Are you sure you want to delete this image? (Y / N)" is displayed.

削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合(ステップS46;NO)、記録媒体に記録済みの画像の中から、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。 In delete confirmation prompt, if deletion of the corresponding image is not specified (Step S46; NO), from among the recorded image on a recording medium, the candidate of the next object to be corrected is searched (step S49), step Back to S38. 削除確認プロンプト画面において、該当する画像の削除が指定された場合(ステップS46;YES)、該当画像が記録媒体から削除され(ステップS47)、現在の記録媒体の残り容量が新規撮影で得られる画像データを保存するのに十分であるか否かが判定される(ステップS48)。 In delete confirmation prompt, if deletion of the corresponding image is designated (step S46; YES), the corresponding image is deleted from the recording medium (step S47), the image remaining capacity of the current recording medium is obtained in a new shooting whether sufficient is determined to store the data (step S48).

ステップS48において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合(ステップS48;YES)、本画像削除処理が終了する。 In step S48, the case where the remaining capacity of the recording medium is determined to be sufficient to store the image data of the new image capturing (step S48; YES), the image deleting process is ended. ステップS48において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合(ステップS48;NO)、記録媒体に記録済みの画像の中から、次の補正対象の候補が検索され(ステップS49)、ステップS38に戻る。 In step S48, the case where the remaining capacity of the recording medium is determined not to be sufficient to store the image data of the new image capturing (step S48; NO), from among the recorded image on a recording medium, the next corrected candidate is retrieved (step S49), and returns to step S38.

なお、図3のフローチャートでは、表示部13に、図6(f)に示すような削除確認プロンプト画面を表示して、削除する画像をユーザに確認させ、ユーザから指定された画像を削除するようにしたが、削除候補として決定された画像を自動的に削除するようにしてもよい。 In the flowchart of FIG. 3, the display unit 13 displays a delete confirmation prompt screen as shown in FIG. 6 (f), to confirm the image to be deleted to the user to delete the designated image from the user It was in may be automatically delete images determined as a deletion candidate.

次に、図2及び図3の画像評価処理で適用される画像評価方法の詳細を説明する。 Next, details of image evaluation methods applied in the image evaluation process of FIGS.

<画像評価方法1:輝度ヒストグラム分布に基づく評価> <Image Evaluation Method 1: Evaluation based on the luminance histogram distribution>
まず、図7及び図8を参照して、撮影画像の輝度又は濃度のヒストグラム分布から画質を評価する方法について説明する。 First, with reference to FIGS. 7 and 8, a method for assessing the picture quality from the histogram distribution of brightness or density of the captured image.

2次元画像データの各点(i、j)の輝度値をf(i、j)=xとし、輝度値別に画素数を集計することにより、図7に示すような輝度分布図(輝度のヒストグラム分布)P(x)が作成される。 Each point of the two-dimensional image data (i, j) luminance value f (i, j) of = a x, by aggregating the separate number of pixels the luminance values, the luminance distribution chart shown in FIG. 7 (luminance histogram of distribution) P (x) is created. 一般に、輝度のヒストグラム分布が中央からはずれて右端側(輝度値大:濃度のヒストグラム分布では左端側)に偏ると、露出オーバーで、高輝度領域が飽和したり、いわゆる「白飛び」した画像になる。 In general, the right end side histogram distribution of the luminance off the center: When biased to (luminance value large left side in the histogram distribution of density), in overexposure, or high luminance area is saturated, the so-called "white out" images Become. 逆に、輝度ヒストグラム分布が左端側(濃度ヒストグラム分布では右端側)に偏ると、露出アンダーで、低輝度領域が飽和したり、「黒つぶれ」した画像になる。 Conversely, when the luminance histogram distribution is biased to the (right end side in the density histogram distribution) left side, in underexposure, or low luminance region is saturated, the "black out" images. また、分布が中央に集中していても、その分布幅が狭くて一様に広く分布していない場合には、ダイナミックレンジが狭く、中間諧調や細かな濃淡に欠けた画像となる。 Further, even if concentrated distribution in the center, in which case the distribution width is not uniformly distributed widely narrow, narrow dynamic range, a missing image on the intermediate gradation or fine shading. これらの何れも、撮影時の露出条件が悪く、写りの良くない画像の典型である。 Any of these may, bad exposure conditions at the time of photographing, is typical of poor image-through. 撮影画像の輝度又は濃度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。 From the index values ​​and statistic of luminance or density distribution characteristic of the captured image, it can be evaluated good or bad exposure conditions. 最近のデジタルカメラの多くは、この輝度値を集計演算して、ヒストグラム(頻度分布図)をグラフ表示したりできる機種が多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。 Many modern digital camera, the luminance value aggregation operation and, since the histogram (frequency distribution diagram) is often models can or display the graph, if diverted this feature, relatively easily performing image evaluation can.

本実施形態では、撮影画像の輝度又は濃度のヒストグラム分布から、輝度又は濃度の最頻値(最も頻度数が多い輝度値又は濃度値)、平均値、中央値(分布の頻度数の順位が中央にある輝度値又は濃度値)等の分布の代表値、分布の最大値、最小値、分散、標準偏差、歪み度、尖り度等を算出し、算出結果から、画像評価のための評価値が決定される。 In the present embodiment, the histogram distribution of brightness or density of the captured image, (the luminance value or density value most frequent number is large) mode of brightness or density, average value, the frequency number of order of the median (distribution center luminance values ​​or concentration values) representative value of the distribution, such that the maximum value of the distribution, the minimum value, variance, standard deviation, skewness, and calculates the kurtosis or the like, from the calculation result, evaluation values ​​for image evaluation It is determined.

輝度又は濃度のヒストグラム分布の平均値x M 、分散(Variance)σ 2 、標準偏差(Standard Deviation)σ、歪み度(Skewness)Skew、尖り度(Kurtosis)Kurtは、画素iの輝度値をx i 、評価対象の画像の総画素数をNとすると、それぞれ、式(1)〜(5)のように表される。 Mean values x M, variance (Variance) σ 2 of the histogram distribution of brightness or concentration, standard deviation (Standard Deviation) sigma, skewness (Skewness) Skew, kurtosis (Kurtosis) Kurt the luminance value x i of the pixel i When the total number of pixels of the evaluation target image and N, respectively, are expressed by the equation (1) to (5).

ここで、分布の歪み度Skewは、分布が左右対称かどうかの非対称性を示す。 Here, the distortion degree Skew distribution indicates how asymmetry if distribution is symmetrical. 分布が左右対称であれば0、右に大きなはずれ値があれば(露出オーバーの場合)正、左に大きなはずれ値があれば(露出アンダーの場合)負となる。 If distribution is symmetrical 0, if there is a large outliers to the right (in the case of overexposure) positive, if there is a large outliers to the left (in the case of underexposure) it becomes negative. また、分布の尖り度Kurtは、分布が正規分布ならば0、正規分布より広がりが大きければ(ダイナミックレンジが広い場合)正、正規分布より広がりが小さければ(ダイナミックレンジが狭い場合)負となる。 Further, kurtosis Kurt distributions, if the distribution is a normal distribution 0, the larger the spread than the normal distribution (when the dynamic range is wide) positive, becomes smaller spread than the normal distribution and negative (when the dynamic range is narrow) .

このように、輝度又は濃度のヒストグラム分布の統計量に基づいて、分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、画質の評価が可能となり、これらを元に画質の評価値が決定される。 Thus, based on the statistics of the histogram distribution of luminance or density, width and spread of the distribution, the deviation, to determine the shape and characteristics of the distribution curve, it allows the evaluation of image quality, evaluation of image quality of these based on the value is determined.

撮影画像がカラー画像である場合、図8に示すように、RGBの各色毎に、輝度又は濃度のヒストグラム分布P R (x)、P G (x)、P B (x)を作成し、色毎に、分布の平均値、分散、標準偏差、歪み度、尖り度、変動係数CV等の統計量を算出し、算出された色毎の統計量の違いや比較によって、画質の評価値を決定するようにしてもよい。 If the captured image is a color image, as shown in FIG. 8, for each of the RGB colors, a histogram distribution of luminance or density P R (x), P G (x), to create the P B (x), the color the mean value of the distribution for each, determine variance, standard deviation, skewness, kurtosis, and calculates the statistic quantity such as the coefficient of variation CV, the statistic differences and comparisons for each calculated color evaluation values ​​of the image quality it may be. ここで、変動係数CVは、式(6)のように定義される。 Here, the coefficient of variation CV is defined as Equation (6).

<画像評価方法2:周波数特性に基づく評価> <Image Evaluation Method 2: Evaluation based on the frequency characteristics>
次に、図9〜図11を参照して、撮影画像の周波数特性から画質を評価する方法について説明する。 Next, with reference to FIGS. 9 to 11, a description will be given of a method of evaluating the image quality from the frequency characteristics of the captured image.

撮影画像(2次元画像データ)の各点の輝度値又は濃度値f(x,y)を周波数変換したF(u,v)を算出し、周波数毎の振幅値や係数から、画像の周波数特性、画像全体に占める高周波成分や低周波成分の比率等から、画像のボケの程度や、鮮明度(シャープネス)、コントラスト等を評価することができる。 An intensity value or density value f (x, y) of each point of the captured image (two-dimensional image data) F obtained by frequency converting the (u, v) is calculated, from the amplitude value and the coefficient for each frequency, the frequency characteristic of the image , from the ratio of the high-frequency components and low frequency components like in the whole image, and the degree of image blurring, sharpness (sharpness) can be evaluated the contrast and the like. 周波数変換としては、フーリエ変換、離散フーリエ変換(DFT:Discrete Fourier Transform)、離散コサイン変換(DCT:Discrete Cosine Transform)、それらを高速計算する高速フーリエ変換(FFT:Fast Fourier Transform)アルゴリズム等を用いることができる。 The frequency transform, Fourier transform, discrete Fourier transform (DFT: Discrete Fourier Transform), discrete cosine transform (DCT: Discrete Cosine Transform), fast Fourier transform them fast calculation: the use of the (FFT Fast Fourier Transform) algorithm or the like can. 最近のデジタルカメラは、JPEG等の圧縮符号化のためにDCT用のDSP(Digital Signal Processor)やソフトウェアを内蔵しているものが多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。 Recent digital cameras, since many of them have a built-in DSP (Digital Signal Processor), a software for DCT for compression coding such as JPEG, by diverting this function, the relative ease image evaluation It can be carried out.

2次元画像データの輝度値又は濃度値f(x,y)の離散フーリエ変換式は、式(7)のように表される。 Discrete Fourier transform equation of the luminance values ​​or concentration values ​​f of the two-dimensional image data (x, y) is expressed by the equation (7).

また、2次元画像データの輝度値又は濃度値f(x,y)の離散コサイン変換式は、式(8)のように表される。 Further, the discrete cosine transform equation of the two-dimensional image data of the luminance value or the density value f (x, y) is expressed by the equation (8).

このように、2次元画像f(x、y)を周波数空間に変換して、周波数成分F(u、v)を算出し、全周波数成分に占める高周波成分の比率、全周波数成分に占める低周波成分の比率に基づいて画像の評価値を決定することができる。 Thus, two-dimensional image f (x, y) is converted into frequency space, frequency component F (u, v) is calculated, and the ratio of the high frequency components to the total frequency components, the low frequency in the total frequency components it is possible to determine the performance metric of an image based on the ratio of the components. また、図9に示すように、予め、撮影画像を順次走査して1次元信号に並び替えてから周波数変換を施して、評価値を算出してもよいし、図10に示すように、撮影画像を周波数変換したF(u、v)の振幅値を、ジグザグ走査などで1次元に並び替えてから、評価値を算出するようにしてもよい。 Further, as shown in FIG. 9, in advance, subjected to frequency conversion from rearranged into 1-dimensional signal by sequentially scanning the captured image may be calculated evaluation value, as shown in FIG. 10, photographing the amplitude value of the image obtained by frequency converting the F (u, v), from rearranged into 1-dimensional like zigzag scanning, may be calculated evaluation value.

本実施形態では、全周波数成分に占める高周波成分の比率を画質評価値とし、全周波数成分に占める低周波成分の比率をボケ評価値とする。 In the present embodiment, the ratio of high frequency components to the total frequency component and the image quality evaluation value, and blur evaluation value ratio of the low-frequency component to the total frequency components. 即ち、画質評価値、ボケ評価値は、それぞれ、式(9)、式(10)のように表すことができる。 That is, the image quality evaluation value, a blur evaluation value, respectively, formulas (9), can be expressed by Equation (10).
画質評価値=(高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (9) Image quality evaluation value = (amplitude of the high frequency component total) / (total amplitude of all frequency components) (9)
ボケ評価値=(全周波数成分の振幅値合計−高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (10) Blur evaluation value = (amplitude value the sum of all frequency components - amplitude sum of the high frequency component) / (total amplitude of all frequency components) (10)

また、図11に示すように、撮影画像の輝度値又は濃度値f(x、y)の周波数分布(振幅(度数)−周波数の関係)を求め、画像評価方法1と同様に、この周波数分布の平均値、分散、標準偏差等の統計量を算出し、算出された統計量に基づいて画質の評価値を決定するようにしてもよい。 Further, as shown in FIG. 11, the frequency distribution of luminance values ​​or concentration values ​​f of the captured image (x, y) (amplitude (power) - frequency relationship) is obtained, similarly to the image evaluation method 1, the frequency distribution average value of variance, to calculate the statistics, such as standard deviation, based on the calculated statistics may be determined the evaluation value of the image quality. 周波数成分iの振幅値をF[i]、周波数成分の合計をNとすると、この分布の平均値f M 、分散σ 2 、標準偏差σは、それぞれ、以下の式(11)〜式(13)のように表すことができる。 The amplitude of the frequency component i F [i], when the sum of the frequency components and N, the average value f M of the distribution, the variance sigma 2, the standard deviation sigma, respectively, the following equation (11) to (13 ) can be expressed as in the.

<画像評価方法3:画像のブレの具合又はボケの度合いに基づく評価> <Image Evaluation Method 3: Evaluation based on the degree of blurring of the condition or blurring of the image>
次に、図12〜図16を参照して、撮影画像のブレの具合又はボケの度合いに基づいて画質を評価する方法について説明する。 Next, with reference to FIGS. 12 to 16, it describes a method of evaluating an image quality based on the degree of degree or blur of the blur of the photographed image.

図12に、画像の変換や復元等に用いるPSF(Point Spread Function:点像分布関数、点広がり関数)法等を利用して、ブレやボケを判別評価する方法について示す。 12, used for converting the image or restore such PSF (Point Spread Function: the point spread function, the point spread function) by using a method, shown how to determine evaluate the blurring or blur. 一般に、PSF法による画像復元では、ブレやボケのない本来の画像i(x,y)と、ブレやボケを生じさせる成分p(x,y)により、劣化した劣化画像g(x,y)を表す。 In general, in the image restoration by PSF method, the original image i (x, y) without blurring or blurred with, the component causing blurring or blurring p (x, y), degraded deteriorated image g (x, y) a representative. 即ち、劣化画像g(x,y)は、式(14)のように表される。 That is, the degradation image g (x, y) is expressed by the equation (14).
g(x,y)=p(x,y)*i(x,y) (14) g (x, y) = p (x, y) * i (x, y) (14)
ここで、*は、コンボリューション(畳み込み積分)演算を表す。 Here, * represents a convolution (convolution integral) operation.

p(x,y)を、PSF、LSF(Line Spread Function:線像分布関数)として、劣化させたp(x,y)を算出することができれば、本来の画像i(x,y)を、デコンボリューション(逆畳み込み積分)演算により求めることができる。 p a (x, y), PSF, LSF: as (Line Spread Function line spread function), degradation is not a p (x, y) if it is possible to calculate the, original image i (x, y) and, deconvolution (inverse convolution) can be obtained by calculation. 以下、本来の画像i(x,y)の算出方法を説明する。 Hereinafter, the original image i (x, y) calculation method will be described.

まず、式(14)に示す劣化画像g(x、y)を、フーリエ変換等により周波数軸に変換する。 First converts degraded image g (x, y) shown in equation (14) and the frequency axis by a Fourier transform or the like. 周波数変換された劣化画像をG(u、v)とすると、G(u、v)は、式(15−1)のように表される。 When the degraded image that has been frequency converted to G (u, v), G (u, v) is expressed by the equation (15-1).

また、p(x、y)、i(x、y)を周波数変換したものを、それぞれP(u、v)、I(u、v)とすると、G(u、v)は、式(15−2)のように表すこともできる。 Further, p (x, y), i a material obtained by frequency conversion (x, y), P respectively (u, v), when the I (u, v), G (u, v) has the formula (15 -2) it can also be expressed as.
G(u、v)=P(u、v)・I(u、v) (15−2) G (u, v) = P (u, v) · I (u, v) (15-2)
ここで、コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる。 Here, convolution in the frequency domain is a multiplication between the Fourier transform. 周波数領域で、式(15−2)のP(u、v)が算出できれば、逆フィルタとして1/P(u、v)を計算し、本来の画像i(x、y)を復元することができる。 In the frequency domain, if calculated P (u, v) is of the formula (15-2) was calculated as the inverse filter 1 / P (u, v), to restore the original image i (x, y) it can. 即ち、I(u、v)=G(u、v)/P(u、v)(フーリエ変換同士の割り算)を算出し、これを逆フーリエ変換してi(x、y)を求めればよい。 That, I (u, v) = G (u, v) / P (u, v) is calculated (the division between the Fourier transform), which inverse Fourier transform to i (x, y) may be determined to . 式(16)にI(u、v)の逆フーリエ変換式を示す。 In equation (16) indicates an inverse Fourier transform formula I (u, v).

本実施形態では、このPSF法におけるPSFやP(u、v)の算出方法を、一般のアマチュアの撮影画像で、露出設定の失敗と並んで多い、「焦点ボケ」画像や「直線ブレ」画像の判別や評価に適用する。 In the present embodiment, a method of calculating the PSF and P in the PSF method (u, v), the general amateur photographic image, often along with failure of the exposure setting, "defocusing" image and the "straight line blurring" images to apply to the determination and evaluation. 一般に、直線ブレした画像をフーリエ変換したG(u、v)の振幅値の分布は、図12(b)に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って数本の細長い筋や傾斜した楕円形状に抜けて歪んだパターンが現れる。 In general, the distribution of the amplitude values ​​of G obtained by Fourier transformation of the image which is linearly shake (u, v) is becomes linearly blur pattern as shown in FIG. 12 (b), the high-frequency components near the center of several accordance shake angle pattern appears distorted missing in streaks or slanted oval shape. また、焦点ボケした画像をフーリエ変換したG(u、v)は、図12(d)に示すような焦点ボケの画像パターンとなり、中央部の高周波成分が同心円状に抜けて歪んだパターンとなる。 Also, G obtained by performing Fourier transform of the image-focus (u, v) is made with an image pattern of defocused as shown in FIG. 12 (d), the high frequency component of the central portion is distorted pattern missing concentrically . また、直線ブレと焦点ボケが共に生じると、図12(c)に示すような、両方の特徴を合せもったパターンとなる。 Further, when the linear motion and defocus occurs both a pattern such, with combined both characteristics as shown in FIG. 12 (c).

本実施形態では、直線ブレの評価値が、G(u、v)の振幅値が周期1/Lでゼロ交差する方向のブレ方向角度(θ)と、ブレの距離又はその画素数(L)に基づいて決定されるものとする。 In the present embodiment, evaluation values ​​of the linear blur, G (u, v) with the direction of the blur direction angle amplitude value crosses zero in a cycle 1 / L (θ), the distance of motion or the number of pixels (L) It shall be determined based on. また、焦点ボケの評価値が、G(u,v)の振幅値が周期1.01π/rでゼロ交差する同心円状の焦点の広がり半径又はその画素数(r)に基づいて決定されるものとする。 Moreover, those evaluation values ​​of defocusing is determined based on the G (u, v) concentric spread radius or the number of pixels in the focus of the amplitude value crosses zero in a cycle 1.01π / r of (r) to. ブレ方向角度(θ)、ブレの距離(L)、焦点の広がり半径(r)を算出するには、PSF法、多階調Hough変換法、逆フィルタ法等を適用できるが、以下では、PSF法と多階調Hough変換を用いた算出方法について説明する。 Shake direction angle (theta), distance blur (L), to calculate the focal point of the spread radius (r) is, PSF method, multi-tone Hough transform method can be applied an inverse filter method or the like, in the following, PSF calculation method will be described using the law and multi-tone Hough transform.

まず、図13(a)に示すように、直線ブレ等の劣化画像をフーリエ変換したG(u,v)のフーリエ・スペクトルの中央部の円内を、(複数点を通る直線の推定や検出等に広く用いられる)Hough変換により、θ―ρ空間上の多階調の2次元画像H(θ、ρ)に変換し、H(θ、ρ)値の角度θ毎に切り出したHθ(ρ)波形を比較し、各角度θ(0°≦θ<180°)におけるエントロピーE(θ)を求める。 First, as shown in FIG. 13 (a), the Fourier transformed G (u, v) the Fourier spectrum of the circle of the central portion of the degraded image such as a linear motion, linear estimation or detection through the (multiple points the widely used are) Hough transform an equal, theta-[rho multi-tone in space the two-dimensional image H (theta, converted to ρ), H (θ, ρ) Hθ cut for each angle theta of values ​​([rho ) comparing the waveform to determine the entropy E (theta) for each angle θ (0 ° ≦ θ <180 °). エントロピーE(θ)は、式(17)のように表される。 Entropy E (theta) is expressed by the equation (17).
式(17)のHsum(θ)は、劣化画像G(u,v)のフーリエ・スペクトルが示す円内の画素値の合計である。 Hsum of formula (17) (θ) is the sum of the pixel values ​​within the circle indicated by the Fourier spectrum of the degraded image G (u, v). 式(17)に示すエントロピーE(θ)が最小となる角度θを、直線ブレ方向(θ)とみなすことができる。 The angle theta of the entropy E shown in equation (17) (θ) becomes minimum, it can be considered as a linear motion direction (theta). また、図13(b)に示すように、直線ブレ方向(θ)のHθ(ρ)波形の極小点の周期(TL)を求めると、ブレ距離(L)=1/TLが求まる。 Further, as shown in FIG. 13 (b), when determining the period of the minimum point of H.theta ([rho) waveform linear blur direction (θ) (TL), the shake distance (L) = 1 / TL is obtained.

焦点ボケの広がり半径(r)を算出するには、まず、図14に示すように、H(θ、ρ)をθ軸方向に0°〜179°まで平均化したC(ρ)波形を作成する。 To calculate the spread of defocusing radius (r), first, as shown in FIG. 14, H (θ, ρ) create averaged C ([rho) waveform to 0 ° ~ 179 [° to theta axially to. C(ρ)は、式(18)のように表される。 C ([rho) is expressed by the equation (18).
C(ρ)波形の極小点の周期(Tr)から、焦点ボケの広がり半径(r)は、半径(r)=1.01×π/Trより求まる。 From C ([rho) period of the minimum point of the waveform (Tr), the defocusing spread radius (r) is determined from the radius (r) = 1.01 × π / Tr.

図15及び図16に、上記の方法で用いたHough変換(ハフ変換)の原理を示す。 15 and 16 show the principle of Hough conversion used in the above methods (Hough transform). Hough変換では、ρ=xcosθ+ysinθの変換式により、一般の2次元座標(x−y平面上の点)はθ‐ρ平面上の曲線に変換され、x−y平面上の直線は、θ‐ρ平面上の点に逆変換できる。 The Hough transform, a conversion equation of ρ = xcosθ + ysinθ, generally two-dimensional coordinates (a point on the x-y plane) is converted into curves on theta-[rho plane, a straight line on the x-y plane is, theta-[rho It can be converted back to a point in the plane. 例えば、x−y平面上の点A、B、Cを通る直線Lを求める場合には、図15に示すように、点A、B、CをHough変換した、θ‐ρ平面上の曲線A'、B'、C'が交差する交点P(θ L 、ρ L )を求める。 For example, x-y point on the plane A, B, when obtaining a straight line L passing through the C, as shown in FIG. 15, the points A, B, C and the Hough transform, theta-[rho curve on a plane A ', B', the intersection point P (θ L, ρ L) where C 'intersect seek. そして、その交点P(θ L 、ρ L )をx−y平面上にHough逆変換し、ゼロ点から下ろした垂線の長さがρ Lで、垂線の角度がθ Lとなる直線Lが、求める直線となる。 Then, the intersection P (θ L, ρ L) was Hough inverse transformation on the x-y plane, the length is [rho L of a perpendicular line drawn from the zero point, the straight line L an angle of a perpendicular line is theta L is, a straight line to be obtained.

Hough変換の配列H(θ、ρ)の明度(多階調を有する輝度又は濃度)をH(θ、ρ)=f(x、y)として多階調の2次元画像として定義し、図15に示すような複数曲線の交点を求める場合には、図16に示すように、明度(階調値)を加算して、階調値が最も大きくなる点(図16の斜線部分)を交点として、近似計算で迅速に求めることができる。 Sequence Hough transform H (theta, [rho) lightness (brightness or concentration has a multi-gradation) H (θ, ρ) = f (x, y) is defined as a two-dimensional image of the multi-tone as, 15 when obtaining the intersections of a plurality curve as shown in, as shown in FIG. 16, by adding the brightness (gradation value), that tone value is largest (the hatched portion in FIG. 16) as the intersection , it can be quickly determined by an approximate calculation.

以上のように、画像を劣化させたPSF関数を算出する方法、ゼロクロス法、多階調Hough変換等により、劣化画像g(x、y)を周波数軸上にフーリエ変換したG(u,v)から、直線ブレ画像の方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケ画像の焦点広がり半径(画素数r)を算出し、これらθ、L、rに基づいて画像の評価値が決定される。 As described above, the method of calculating the PSF function to degrade the image, zero-crossing method, the multi-gradation Hough transform or the like, degraded image g (x, y) obtained by Fourier transform on the frequency axis G (u, v) from the direction of the straight line blurred image (angle theta), the distance of the straight line motion (the number of pixels L), calculates a focal spread radius (the number of pixels r) of defocusing images, evaluation of these theta, L, images based on the r the value is determined. θ、L、rの値が大きくなるほど評価値は小さくなる。 θ, L, evaluation value as the value of r increases is reduced.

図17に、本実施形態で適用される画質補正処理の概念図を示す。 Figure 17 shows a conceptual diagram of the image quality correction processing applied in the present embodiment.
画質補正処理は、デジタルカメラ1に入力された撮影画像の各画素の輝度値(又は濃度値)f(i,j)或いはその周辺の画素配列に、所定の変換表などを参照しながら、画質補正演算を施し、補正後の出力画像g(i,j)或いは所定の特徴量を出力するものである。 Image quality correction processing, the digital camera luminance value of each pixel of the input captured image to 1 (or density value) f (i, j) or pixel arrangement around the while referring to a predetermined conversion table, quality performing a correction operation, and outputs an output image g (i, j) or a predetermined feature amount after correction.

変換表としては、例えば、輝度変換などの入出力特性の変換式、変換用のLUT(Look Up Table)(変換表)、加重マトリックス(行列)、空間フィルタ係数などの演算子(オペレータ)等を利用すればよく、画質補正演算には、点処理演算、注目画素と周囲8点等を対象にする局所処理演算、画像全体に演算を施す大局処理演算を適用することができる。 The conversion table, for example, conversion formula of the input and output characteristics such as luminance conversion, LUT for conversion (the Look Up Table) (conversion table), a weighted matrix (matrix), the operator (operator) or the like, such as the spatial filter coefficients may be utilized, the image quality correction operation can be applied topically processing operation to the point processing operation, a pixel of interest and surrounding eight points like the subject, the global processing operation applying operation to the entire image.

点処理演算としては、濃度ヒストグラム変換処理、2値化処理、座標変換処理、画像間演算がある。 The point processing operation, the concentration histogram conversion processing, binarization processing, coordinate conversion processing, there is inter-image calculation. 局所処理演算としては、ノイズ除去演算、微分演算、積和演算、フィルタ演算、エッジ抽出処理、膨張収縮処理、細線化処理などがある。 Topical treatment operation, noise reduction operation, a differential operation, product-sum operation, filter operation, the edge extracting process, expansion and contraction processing, and the like thinning processing. 大局処理演算としては、フーリエ変換等の直交変換演算、テクスチャー解析処理等を適用することができる。 The global processing operation, the orthogonal transform operation, such as a Fourier transform, can be applied a texture analysis process or the like.

次に、図2及び図3の画質の自動補正処理で適用される画像補正方法1〜7について説明する。 Next, a description is given of an image correction method 1-7 applied in the automatic correction of the image quality in FIGS.

<画像補正方法1:ガンマ補正> <Image correction method 1: Gamma correction>
まず、図18を参照して、ガンマ補正処理について説明する。 First, referring to FIG. 18, described gamma correction processing.
ガンマ(γ)補正は、CCD(Charge Coupled Device)等の撮像素子の入出力特性曲線を、変換テーブルを用いて補正するもので、入力画像の輝度又は濃度をf(i,j)=L、γ補正後の出力画像の輝度又は濃度をg(i,j)=L'とすると、γ補正の変換式は、式(19)のように定義される。 Gamma (gamma) correction, CCD (Charge Coupled Device) output characteristics curve of the image pickup element such as, those corrected using the conversion table, the input image luminance or density of f (i, j) = L, If the brightness or density of the output image after the γ correction and g (i, j) = L ', the conversion formula for γ correction is defined by the equation (19).
図18の変換テーブルαは、式(19)においてγ=0.5、(定数)=(255) -2とした場合の入力Lと出力L'の関係を示すテーブルである。 The conversion table α in FIG. 18, gamma = 0.5 in equation (19) is a table showing the relationship between (constant) = (255) Input L and the output L of the case of a 2 '.

<画像補正方法2:輝度又は濃度のヒストグラム分布の変換による補正> <Image Correction Method 2: correction by converting the histogram distribution of luminance or density>
次に、図19及び図20を参照して、撮影画像の輝度又は濃度のヒストグラム分布を変換することによる補正について説明する。 Next, with reference to FIGS. 19 and 20, a description will be given of a correction by converting the histogram distribution of brightness or density of the captured image.

入力された撮影画像の輝度をf(i,j)=x、変換後の画像の輝度をg(i,j)=yとすると、図19に示すように、撮影画像の輝度のヒストグラム分布P(x)を、線形又は非線形の輝度変換式y=Q(x)によって変換すると、P(x)とは異なる特性の輝度ヒストグラム分布P(y)が得られる。 Luminance f (i, j) of the input captured image = x, luminance g (i, j) of the image after conversion = When y, as shown in FIG. 19, a histogram distribution of the luminance of the captured image P the (x), when converted by linear or non-linear luminance conversion equation y = Q (x), P luminance histogram distribution P of different properties and (x) (y) is obtained. 輝度ヒストグラム分布P(x)における輝度xの最小値をa、最大値をb、変換後の輝度ヒストグラム分布P(y)における輝度yの最小値をu、最大値をvとすると、図19に示した輝度変換式y=Q(x)は、式(20)のように表される。 The minimum value of the luminance x in the luminance histogram distribution P (x) a, the maximum value b, and the minimum value of the luminance y in the luminance histogram distribution P (y) after transformation u, the maximum value is referred to as v, 19 indicates luminance conversion equation y = Q (x) is expressed by the equation (20).
v−u>b−aである場合、ダイナミックレンジが狭くコントラストの悪い入力画像の輝度ヒストグラム分布P(x)を輝度変換式(20)により変換することにより、ダイナミックレンジが広がり、コントラストや中間諧調の濃淡表現を改善することができる。 v-u> b-a case is, by converting the luminance histogram distribution P (x) the luminance conversion equation of poor input image dynamic range of a narrow contrast (20), spreads the dynamic range, contrast and intermediate tone it is possible to improve the grayscale representation. なお、式(20)における定数v、u、a、bの値を変えれば、ダイナミックレンジの収縮や、輝度ヒストグラム分布の左右シフト(全体の輝度を上げる、下げる)等にも応用できる。 Incidentally, the constant in equation (20) v, u, a, if changing the value of b, shrinkage and the dynamic range (increase the overall brightness, reduce) the left and right shift of the luminance histogram distribution can also be applied to the like.

図20に、その他の輝度変換式の例を示す。 Figure 20 shows an example of the other luminance conversion formula.
図20(a)は、画像の輝度を、(輝度が低いものほど)全体的に暗くする補正処理を行う場合の非線形の輝度変換式の一例であり、式(21)のように表される。 20 (a) is the luminance of the image is an example of a non-linear luminance conversion formula in the case of performing a correction process to darken (as those luminance is low) Overall, is expressed by the equation (21) .
y=v(x/b) 2 (21) y = v (x / b) 2 (21)

図20(b)及び(c)は、画像の輝度を、(輝度が高いものほど)全体的に明るくする補正処理を行う場合の非線形の輝度変換式の例であり、それぞれ、式(22)、式(23)のように表される。 FIG. 20 (b) and the (c) is the brightness of the image, an example of a luminance conversion equation nonlinear in the case of performing a correction process to brighten overall (as those luminance is high), respectively, formula (22) It is expressed by the equation (23).
y=−v{(x−b)/b} 2 +v (22) y = -v {(x-b ) / b} 2 + v (22)
y/v=log(1+μ・x/b)/log(1+μ) (23) y / v = log (1 + μ · x / b) / log (1 + μ) (23)

また、図20(d)及び(e)は、輝度が高い領域の輝度を上げ、輝度が低い領域の輝度を下げる場合の輝度変換式の例である。 Further, FIG. 20 (d) and (e) raises the luminance of the high luminance region is an example of a luminance conversion formula in the case of lowering the luminance of the low luminance region. 図20(d)に示すS字状の輝度変換式は、式(24)のように表される。 S-shaped luminance conversion equation shown in FIG. 20 (d) is expressed by the equation (24).
図20(e)に示す輝度変換式は、式(25)のように表される。 Luminance conversion equation shown in FIG. 20 (e) is expressed by the equation (25).
図20(d)又は(e)に示すような輝度変換式を用いると、階調表現のトーンカーブ(色調曲線)やコントラストを改善することができる。 Using FIG. 20 (d) or (e) to indicate such luminance conversion formula, it is possible to improve the tone curve (tone curve) or contrast gradation expression.

このように、線形や非線形の輝度又は濃度の変換式により、濃度や輝度のヒストグラム分布を変換することにより、露出条件の設定が悪くて「白飛び」や「黒つぶれ」した画像、コントラストや階調表現の悪い画像等のダイナミックレンジの拡大や、コントラストの改善、画面の明暗、中間諧調の濃淡表現、トーンカーブの改善など、画質の補正や加工を行うことができる。 Thus, the conversion formula of linear and non-linear luminance or density, by converting the histogram distribution of the density or brightness, poor set of exposure conditions and "overexposed" or "black out" images, contrast and floor expansion of the dynamic range of the poor image such as a tone expression, improvement of contrast, brightness of the screen, gray representation of the intermediate gradation, and improving tone curve, it is possible to perform correction and processing of image quality.

また、RGB各色別の輝度ヒストグラム分布毎に上記の補正処理を施して、ヒストグラム分布を改善したり、RGB各色の輝度の加重バランスなどを補正するようにしてもよい。 Further, by performing the RGB Color of the luminance histogram distribution each of the above correction processing, or to improve the histogram distribution, etc. weighted balance of RGB colors luminance may be corrected. 例えば、水中撮影写真等によくあるように、B(青)色成分の露出オーバー気味で輝度は高いが、R(赤)色成分が(水に吸収されて)減じて露出アンダーになってしまった画像では、B(青)色成分のヒストグラムを少し左側にシフトして弱め、逆にR(赤)色成分のヒストグラムを少し右側にシフトして強めるなど、RGB各色のヒストグラムの偏りを調整して、全体の露出バランスを補正することができる。 For example, as is often the underwater photography photographs, the luminance is high in overexposed slightly and B (blue) color components, R (red) color components (are absorbed in water) subtracting gone become underexposed the images, weakening a histogram of B (blue) color component shifted slightly to the left, opposite to the R (red), such as strengthening a little shifted to the right a histogram of the color components, adjust the bias of each of the colors RGB histograms Te, it is possible to correct the exposure balance of the total.

〈画像補正方法3:輝度又は濃度のヒストグラム分布の平坦化による補正〉 <Image Correction Method 3: correction by flattening the histogram distribution of luminance or density>
次に、図21及び図22を参照して、撮影画像の輝度又は濃度のヒストグラム分布の平坦化による補正方法について説明する。 Next, with reference to FIGS. 21 and 22, a description will be given of a correction method according to flatten the histogram distribution of brightness or density of the captured image.

図21に示すように、入力画像の輝度又は濃度のヒストグラム分布P(x)の偏った分布(図21(a))を、P(x)の積分値を階調変換式として用いることにより、一様にフラットなヒストグラム分布P(y)(図21(b))が得られる。 As shown in FIG. 21, uneven distribution of brightness or density of the histogram distribution P of the input image (x) (Fig. 21 (a)), by using the integral value of P (x) as a tonal conversion formula, uniformly flat histogram distribution P (y) (Fig. 21 (b)) is obtained.

図21に示すヒストグラム分布の平坦化処理について、図22のフローチャートを参照して説明する。 The planarization of the histogram distribution shown in FIG. 21 will be described with reference to the flowchart of FIG. 22.

補正対象の画像が入力されると(ステップS60)、入力画像の横画素数×縦画素数が全画素数Nとして設定される(ステップS61)。 When the image to be corrected is input (step S60), the horizontal × vertical pixel number the number of pixels of the input image is set as the total number of pixels N (step S61). 次いで、補正後の出力画像の階調数m(0〜m−1)が決定され(ステップS62)、平均出現頻度数(1階調あたりの画素数)がN/mに設定される(ステップS63)。 Then, the gray scale number m of the output image after correction (0 to m-1) is determined (step S62), the average appearance frequency (the number of pixels per gradation) is set to N / m (step S63).

次いで、入力画像のヒストグラムが計算される(ステップS64)。 Then, the histogram of the input image is calculated (step S64). 次いで、階調輝度(又は濃度)をカウントするためのカウンタ値k(0〜m−1)が0に設定され(ステップS65)、階調kの合計数をカウントするためのカウンタ値Hist(k)が0に設定される(ステップS66)。 Then, the counter value k for counting the gradation luminance (or concentration) (0 to m-1) is set to 0 (step S65), the counter value Hist (k for counting the total number of gradation k ) is set to 0 (step S66).

次いで、入力画像の階調輝度(又は濃度)が低い方から順に画素が取り出され、出力画像の該当画素の階調がkに設定される(ステップS67)。 Then, the pixels in order from the gradation luminance (or concentration) having the lower of the input image is extracted, the gradation of the corresponding pixel of the output image is set to k (step S67). そして、階調kの合計数Hist(k)がインクリメントされ(ステップS68)、現在の合計数Hist(k)が平均出現頻度数N/mより大きいか否かが判定される(ステップS69)。 Then, the total number Hist gradation k (k) is incremented (step S68), the current total number Hist (k) whether greater than average frequency of occurrence number N / m is determined (step S69).

ステップS69において、Hist(k)がN/m以下であると判定された場合(ステップS69;NO)、ステップS67に戻り、ステップS67及びS68の処理が繰り返される。 In step S69, if the Hist (k) is determined to be less N / m (Step S69; NO), returns to step S67, the processing in steps S67 and S68 are repeated. ステップS69において、Hist(k)がN/mより大きいと判定された場合(ステップS69;YES)、階調kがインクリメントされ(ステップS70)、現在の階調kが、階調の最大値m−1より大きいか否かが判定される(ステップS71)。 In step S69, if the Hist (k) is determined to be greater than N / m (Step S69; YES), the gradation k is incremented (step S70), the current tone k is the maximum value m of gradation -1 whether greater is determined (step S71).

ステップS71において、階調kがm−1以下であると判定された場合(ステップS71;NO)、ステップS66に戻り、ステップS66〜S70の処理が繰り返される。 In step S71, when the gradation k is determined to be m-1 or less (step S71; NO), returns to step S66, the processing in step S66~S70 are repeated. ステップS71において、階調kがm−1より大きいと判定された場合(ステップS71;YES)、階調変換後の画像が出力され(ステップS72)、本ヒストグラム平坦化処理が終了する。 In step S71, the tone k if it is determined that greater than m-1 (step S71; YES), the image after the gradation conversion is output (step S72), the histogram equalization process is terminated.

〈画像補正方法4:画像の平滑化による補正〉 <Image correction method 4: correction by the smoothing of the image>
次に、図23を参照して、撮影画像の平滑化による補正方法について説明する。 Next, with reference to FIG. 23, a description will be given of a correction method by the smoothing of the captured image.

入力画像の着目画素とその周囲からなる9画素に対し、図23(a)又は(b)に示すような平均値(MEAN)フィルタA(K,L)による空間フィルタ演算を施すことにより、画像全体が平滑化される。 Target pixel of the input image with respect to nine pixels consisting of its surroundings, by applying a spatial filtering operation according to FIG. 23 (a) or the average value as shown in (b) (MEAN) filter A (K, L), the image whole is smoothed. 入力画像をf(i,j)、フィルタ演算後の出力画像をg(i,j)とすると、平均値フィルタA(K,L)を用いた空間フィルタ演算は、式(26)のように表される。 An input image f (i, j), the output image after the filtering operation when the g (i, j), an average value filter A (K, L) is a spatial filter calculation using, as in equation (26) expressed.
このようなフィルタ演算によって、入力画像のごま塩ノイズが除去され、明瞭度が落ち、ぼかす効果がある。 Such filter operation is removed salt and pepper noise in the input image, clarity falls, the effect of blurring. 明瞭度をあまり落とさずに、ノイズを除去するためには、メディアン(中央値)フィルタを用いた処理が有効である。 Without much degrading the intelligibility, in order to remove the noise, the process using a median (median) filter is effective. メディアンフィルタは、着目画素とその周囲の9画素のうち、輝度が大きい方から5番目の中央値を、着目画素の新しい輝度値とするフィルタである。 Median filter, among the nine pixels surrounding the target pixel, the fifth median from the side luminance is large, a filter having a new luminance value of the pixel of interest.

〈画像補正方法5:微分フィルタを用いた鮮鋭化による補正〉 <Image correction method 5: correction by sharpening using a differential filter>
次に、図24及び図25を参照して、撮影画像の輪郭やエッジ成分を強調して、画像のボケを減じて、鮮鋭化する補正処理について説明する。 Next, with reference to FIGS. 24 and 25, to emphasize the contours and edge components of the captured image, by subtracting the blurred image, the correction process of sharpening will be described.

図24(a)のように、階調が変化する部分のエッジがボケた画像f(i,j)を一次微分することによって、画像f(i,j)の勾配(Gradient)を求めると、図24(b)のように、階調が変化する勾配部分が抽出され、凹凸が得られる。 As shown in FIG. 24 (a), the image f (i, j) edges blurred portion gradation is changed by differentiating the primary and the determined gradient of the image f (i, j) and (Gradient), as shown in FIG. 24 (b), the extracted slope portion gradation changes, irregularities can be obtained. 画像f(i,j)の一次微分は、式(27)のように表される。 First derivative of the image f (i, j) is expressed by the equation (27).
Δxf(i,j)=f(i+1,j)−f(i-1,j)、 Δyf(i,j)=f(i,j+1)−f(i,j-1) (27) Δxf (i, j) = f (i + 1, j) -f (i-1, j), Δyf (i, j) = f (i, j + 1) -f (i, j-1) ( 27)
ここで、Δxは、x方向(横方向)の一次微分であり、Δyは、y方向(縦方向)の一次微分を表す。 Here, [Delta] x is the first derivative of the x-direction (horizontal direction), [Delta] y represents the first derivative of y-direction (vertical direction). また、方向をもたない勾配は、式(28)、式(29)、式(30)のように表される。 Further, the slope having no direction, equation (28), equation (29) is expressed by the equation (30).

画像f(i,j)の一次微分を更に微分する二次微分では、図24(c)に示すように、左右逆向きのN字状の波形となり、高周波成分が強調された画像が得られる。 In yet differentiated secondary differentiating the first derivative of the image f (i, j), as shown in FIG. 24 (c), becomes a N-shaped waveform of the right and left reversed image of the high-frequency component is emphasized is obtained . 画像f(i,j)の二次微分(Laplaciant)は、式(31)又は式(32)のように表される。 Second derivative of the image f (i, j) (Laplaciant) is expressed by the equation (31) or formula (32).

式(27)に示す一次微分は、図25(a)に示すようなPrewittフィルタ、図25(b)に示すようなSobelフィルタ、Kirschフィルタ、Robertsフィルタ等が用いられる。 First derivative shown in formula (27), Prewitt filter as shown in FIG. 25 (a), Sobel filter as shown in FIG. 25 (b), Kirsch filter, Roberts filter, or the like is used. 図25において、入力画像にPrewittフィルタを作用させると、A−A'線上の入力画像は、図25(d)に示すような出力画像となり、入力画像にSobelフィルタを作用させると、A−A'線上の入力画像は、図25(e)に示すような出力画像となる。 In Figure 25, when exerting a Prewitt filter to the input image, the input image A-A 'line becomes the output image as shown in FIG. 25 (d), when allowed to act Sobel filter to the input image, A-A 'input image lines becomes an output image as shown in FIG. 25 (e). また、原画像(入力画像)から、二次微分が施された画像を差し引く演算を行うフィルタの一例を図25(c)に示す。 Further, from the original image (input image), shown in FIG. 25 (c) an example of a filter for performing an arithmetic operation to subtract the image of the second derivative has been subjected. 図25(c)に示すようなフィルタを用いると、図25(f)に示すように、エッジ部分の高周波成分が強調された画像が得られる。 The use of filter as shown in FIG. 25 (c), as shown in FIG. 25 (f), the image high frequency component of the edge portion is emphasized is obtained. 即ち、このフィルタは、画像のボケたエッジや輪郭などを強調し、画像の鮮明度(シャープネス)を増加し、鮮鋭化する補正に利用することができる。 That is, the filter emphasizes and blurred edges and contours of the image, to increase sharpness of image (sharpness) can be utilized to correct sharpening.

図25(a)〜(c)に示すような微分フィルタをW(K,L)とすると、微分フィルタW(K,L)を用いたフィルタ演算は、式(33)のように表される。 Figure 25 (a) ~ a differential filter such as shown in (c) W (K, L) when the filter operation using a differential filter W (K, L) is expressed by the equation (33) .
例えば、図25(c)に示したフィルタW(K,L)による演算は、式(33−1)のように表される。 For example, operation by the filter W (K, L) shown in FIG. 25 (c) is expressed by the equation (33-1).

〈画像補正方法6:周波数変換された画像に鮮鋭化処理を施す補正〉 <Image correction method 6: Frequency converted image a sharpening process on the corrected>
次に、周波数変換された撮影画像に鮮鋭化処理を施すことによる補正処理について説明する。 Next, a description will be given of a correction process by applying a sharpening process to the photographed image frequency conversion.

画像補正方法6は、2次元の離散フーリエ変換(DFT)、離散コサイン変換(DCT)等の周波数変換により周波数空間上に変換した画像データの低周波成分或いは高周波成分に対して、鮮鋭化処理、ぼかし処理、輪郭強調処理等のフィルタ処理を施すものである。 Image correction method 6, two-dimensional discrete Fourier transform (DFT), the low-frequency component or high-frequency component of the image data converted into a frequency space by a frequency transform such as discrete cosine transform (DCT), the sharpening process, blurring, it performs a filtering process of the edge enhancement processing, and the like. 2次元画像f(x,y)の離散フーリエ変換の変換式、離散コサイン変換の変換式は、それぞれ、画像評価方法2で示した式(7)、式(8)と同一である。 Discrete Fourier transform of the transform expression of the two-dimensional image f (x, y), conversion formulas discrete cosine transform, respectively, formula given in the image evaluation method 2 (7), is the same as equation (8).

周波数変換されたF(u,v)の直流成分及び低周波成分を残し(又は、増強し)、高周波成分を0にすると、低周波通過フィルタ(LPF)と同等の処理となり、エッジや輪郭を弱め、画像をぼかす補正となる。 Leaving the DC component and low frequency components of the frequency-converted F (u, v) (or enhanced), when the high-frequency components to zero, it is equivalent to processing the low pass filter (LPF), the edges and contours weakened, the correction to blur the image. また、周波数変換されたF(u,v)の直流成分及び高周波成分を残し(又は増強し)、低周波成分を0とすると、高周波通過フィルタ(HPF)と同等の処理となり、エッジや輪郭を強調する補正となる。 Also, leaving the DC component and high frequency components of the frequency-converted F (u, v) (or enhanced), when 0 the low-frequency component becomes the same processing as high-frequency pass filter (HPF), the edges and contours the emphasis correction. また、周波数変換されたF(u,v)の高周波成分の値を増大させるか、F(u,v)に一次微分フィルタ又は二次微分フィルタ(ラプラシアンフィルタ)を作用させた場合も、エッジや輪郭を強調する補正となる。 The frequency-converted F (u, v) or increasing the value of the high frequency component of, F (u, v) in the case an acting primary differential filter or secondary differential filter (a Laplacian filter), edge Ya contours become the highlight correction. 周波数空間上で上述のような処理が施された画像を周波数逆変換(離散フーリエ逆変換、離散コサイン逆変換等)すると、鮮鋭化処理、ぼかし処理等が施された画像を得ることができる。 Frequency space on the process undergone the image frequency inversion to the above-described (inverse discrete Fourier transform, discrete cosine inverse transformation and the like), the sharpening process can blur process or the like to obtain an image subjected.

〈画像補正方法7:PSF法を用いた補正〉 <Image correction method 7: correction using the PSF method>
次に、PSF法等を用いて、手ブレなどによる直線ブレ画像、ピンボケ等の焦点ボケ画像の補正処理について説明する。 Next, using the PSF method, linear blurred image due to camera shake, the correction process of the defocus image such as defocusing will be described.

直線ブレや焦点ボケのない本来の画像i(x,y)が、ブレやボケなどの劣化成分p(x,y)により劣化した画像g(x,y)をフーリエ変換したG(u,v)を求め、その周波数空間上のパターンから、画像評価方法3に示したように、直線ブレの方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケの広がり半径(画素数r)が算出される。 Linear movement and the original without defocus image i (x, y) is degraded component p (x, y) of such movement and blurred images corrupted by g (x, y) obtained by Fourier transform of G (u, v ) is obtained, from the pattern on that frequency space, as shown in the image evaluation method 3, the direction of the linear motion (angle theta), the distance of the straight line motion (the number of pixels L), spread radius (the number of pixels r of defocus ) is calculated.

θ方向に周期1/Lでゼロ交差する直線ブレが生じている場合、式(15−2)のP(u、v)は、下記の式(34)のように表される。 If linear blur crosses zero in a cycle 1 / L in the θ direction occurs, P (u, v) of the formula (15-2) is expressed by the following equation (34).
P(u、v)=sin(πfL)/πfL (34) P (u, v) = sin (πfL) / πfL (34)
ここで、f=ucosθ+vsinθである。 Here, it is f = ucosθ + vsinθ. そして、G(u、v)と、式(34)のP(u、v)から、ブレの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることができる。 Then, the G (u, v), from P (u, v) of equation (34), the original image without blur Fourier transform image I (u, v) = G (u, v) / P (u , v) a determined, the I (u, v) it is possible to obtain the original image i by the inverse Fourier transform as shown in equation (16) (x, y).

周期1.01π/rで同心円状のゼロ交差をする焦点ボケが生じている場合、式(15−2)のP(u、v)は、下記の式(35)のように表される。 If defocused to a zero crossing of concentrically period 1.01π / r occurs, P of the formula (15-2) (u, v) is expressed by the following equation (35).
P(u、v)=2・J1(r・R)/r・R (35) P (u, v) = 2 · J1 (r · R) / r · R (35)
ここで、式(35)のJ1は、1次の第1種ベッセル関数である。 Here, J1 of formula (35) is the first kind Bessel function of first order. そして、上述と同様に、受信された画像データをフーリエ変換したG(u、v)と、式(35)のP(u、v)から、焦点ボケの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることができる。 Then, in the same manner as described above, G (u, v) obtained by Fourier transform of the received image data and the formula (35) of P (u, v) from the Fourier transformed image I of the original image without defocus ( u, v) = G (u, v) / P (u, v) and determined, the I (u, v) and by inverse Fourier transform as shown in equation (16) the original image i (x, y ) can be obtained.

なお、一般的なPSF、LSF、逆フィルタ法、最小2乗法等の方法を用いてp(x,y)やP(u,v)を算出してもよいし、ウィナー・フィルタ等のその他の方法で逆フィルタ(インバースフィルタ)を求めたり、デコンボリューション演算を行って、画像の復元やブレ、ボケの補正を行うようにしてもよい。 Incidentally, typical PSF, LSF, inverse filtering method, least squares method or the like p (x, y) using the method of and P (u, v) may be calculated, and other such Wiener filter or obtains an inverse filter (inverse filter) in the process, performs deconvolution calculation, recovery and blurring of the image may be performed to correct the blur.

以上のように、本実施形態のデジタルカメラ1によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像を自動的に評価して、評価値が所定値以下の画像を自動的に補正し、補正処理後であっても画像の評価値が所定値以下である画像のみを削除するようにしたことにより、必要以上に画像を削除することなくなるとともに、記録媒体の空き領域を確実に確保することができる。 As described above, according to the digital camera 1 of this embodiment, when the remaining capacity of the recording medium is less than capacity set in advance, automatically evaluates the captured image, the image evaluation value is less than a predetermined value automatically corrected by the evaluation value of the image even after correction processing so as to remove only the image is less than a predetermined value, together with eliminating possible to delete the image more than necessary, vacant recording medium it is possible to reliably secure area.

(変形例) (Modification)
次に、図26〜図28を参照して、上述の実施形態の変形例について説明する。 Next, with reference to FIGS. 26 to 28, a description will be given of modifications of the embodiments described above. 本変形例では、デジタルカメラ1の生産工程で、ブレ、ボケ等の劣化成分を計測してデジタルカメラ1内に設定しておき、この設定された劣化成分に基づいて撮影画像の補正処理を行う例について説明する。 In this modification, carried out in the production process of the digital camera 1, shake, by measuring the degradation components of blurring etc. may be set in the digital camera 1, the correction process of the photographed image based on the set degraded component examples will be described. なお、本変形例では、デジタルカメラ1の生産工程で設定される画像の劣化成分が、直線ブレ、焦点ボケである場合を示すが、他の劣化成分についても本変形例を適用することができる。 In this modification, the deterioration component of an image to be set in the production process of the digital camera 1, linear motion, shows a case where defocusing, for other degraded component can be applied to this modification .

まず、図26のフローチャートを参照して、デジタルカメラ1の生産工程において実行されるブレ劣化成分設定処理について説明する。 First, with reference to the flowchart of FIG. 26 will be described blur degraded component setting process performed in the production process of the digital camera 1.

まず、撮影対象である見本画像i(x,y)が設定されるとともに(ステップS80)、直線ブレ方向角度θが0に設定され(ステップS81)、更に、直線ブレ距離Lが0に設定される(ステップS82)。 First, an imaging target sample image i (x, y) with is set (step S80), the linear motion direction angle θ is set to 0 (step S81), further, the linear motion distance L is set to 0 that (step S82). 次いで、ブレ方向角度がθ、ブレ距離がLの直線ブレを生じさせて見本画像が撮影され、撮影画像g(x,y)が取得される(ステップS83)。 Then, the blur direction angle theta, shake distance is causing linear motion of the L is photographed sample image, captured image g (x, y) is acquired (step S83). ステップS83では、ロボットハンドや、専用の実験装置等を用いて、ブレが生じるように撮影される。 At step S83, the or robot hand, by using a dedicated laboratory equipment or the like, and is captured as blurring occurs.

次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS84)。 Then, photographed image g (x, y) is the Fourier transform, the photographed image G (u, v) in the frequency space is calculated (step S84). 次いで、見本画像i(x,y)をフーリエ変換したI(u,v)と、撮影画像をフーリエ変換したG(u,v)により、劣化成分p(x,y)をフーリエ変換したP(u,v)=G(u,v)/I(u,v)が算出され、この算出されたP(u,v)が、ブレ方向角度がθ、ブレ距離がLの劣化成分P1(θ,L)として、制御部32のメモリ(ROM)に記憶される(ステップS85)。 Then, sample image i (x, y) to Fourier transformed I (u, v) and, by the photographed image and the Fourier transform G (u, v), the degraded component p (x, y) to Fourier transform P ( u, v) = G (u, v) / I (u, v) is calculated, the calculated P (u, v) is the blur direction angle theta, degraded component of the shake distance L P1 (theta as L), it is stored in a memory (ROM) of the control unit 32 (step S85).

次いで、ブレ距離Lがインクリメントされ(ステップS86)、現在のブレ距離Lが予め設定された最大値Lmax以上であるか否かが判定される(ステップS87)。 Then, it shakes the distance L is incremented (step S86), whether the current shake distance L is a preset maximum value Lmax or more is determined (step S87). ステップS87において、ブレ距離LがLmax未満であると判定された場合(ステップS87;NO)、ステップS83に戻り、ステップS83〜S86の処理が繰り返される。 In step S87, if the vibration distance L is determined to be less than Lmax (Step S87; NO), it returns to step S83, the processing in step S83~S86 are repeated.

ステップS87において、ブレ距離LがLmax以上であると判定された場合(ステップS87;YES)、ブレ方向角度θがインクリメントされ(ステップS88)、現在のブレ方向角度θが予め設定された最大値θmax以上であるか否かが判定される(ステップS89)。 In step S87, if the vibration distance L is determined to be equal to or greater than Lmax (Step S87; YES), the blur direction angle θ is incremented (step S88), it sets the current shake direction angle θ in advance maximum value θmax whether the whether or not is determined (step S89).

ステップS89において、ブレ方向角度θがθmax未満であると判定された場合(ステップS89;NO)、ステップS83に戻り、ステップS83〜S88の処理が繰り返される。 In step S89, if the shake direction angle θ is determined to be less than .theta.max (step S89; NO), returns to step S83, the processing in step S83~S88 are repeated. ステップS89において、ブレ方向角度θがθmax以上であると判定された場合(ステップS89;YES)、本ブレ劣化成分設定処理が終了する。 In step S89, if the shake direction angle θ is determined to be equal to or greater than .theta.max (step S89; YES), the blur degradation component setting process ends.

次に、図27のフローチャートを参照して、デジタルカメラ1の生産工程において実行される焦点ボケ劣化成分設定処理について説明する。 Next, with reference to the flowchart of FIG. 27 will be described defocus degraded component setting process performed in the production process of the digital camera 1.

まず、撮影対象である見本画像i(x,y)が設定されるとともに(ステップS100)、焦点ボケ広がり半径rが0に設定される(ステップS101)。 First, an imaging target sample image i (x, y) with is set (step S100), the defocusing spread radius r is set to 0 (step S101). 次いで、広がり半径がrの焦点ボケを生じさせて見本画像が撮影され、撮影画像g(x,y)が取得される(ステップS102)。 Then, spread radius is cause defocusing of r is photographed sample image, captured image g (x, y) is acquired (step S102). ステップS102では、ロボットハンドや、専用の実験装置等を用いて、焦点ボケが生じるように撮影される。 At step S102, and the robot hand, by using a dedicated laboratory equipment or the like, and it is photographed such that defocusing occurs.

次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS103)。 Then, photographed image g (x, y) is the Fourier transform, the photographed image G (u, v) in the frequency space is calculated (step S103). 次いで、見本画像i(x,y)をフーリエ変換したI(u,v)と、撮影画像をフーリエ変換したG(u,v)により、劣化成分p(x,y)をフーリエ変換したP(u,v)=G(u,v)/I(u,v)が算出され、この算出されたP(u,v)が、焦点ボケ広がり半径rの劣化成分P2(r)として、制御部32のメモリ(ROM)に記憶される(ステップS104)。 Then, sample image i (x, y) to Fourier transformed I (u, v) and, by the photographed image and the Fourier transform G (u, v), the degraded component p (x, y) to Fourier transform P ( u, v) = G (u, v) / I (u, v) is calculated, the calculated P (u, v) is, as a degraded component of defocus spread radius r P2 (r), the control unit It is stored in the 32 memory (ROM) (step S104).

次いで、広がり半径rがインクリメントされ(ステップS105)、現在の広がり半径rが予め設定された最大値rmax以上であるか否かが判定される(ステップS106)。 Then, the spread radius r is incremented (step S105), whether the current spreading radius r is preset maximum value rmax or more is determined (step S106). ステップS106において、広がり半径rがrmax未満であると判定された場合(ステップS106;NO)、ステップS102に戻り、ステップS102〜S105の処理が繰り返される。 In step S106, if the spread radius r is determined to be less than rmax (step S106; NO), the process returns to step S102, the process of step S102~S105 are repeated. ステップS106において、広がり半径rがrmax以上であると判定された場合(ステップS106;YES)、本ブレ劣化成分設定処理が終了する。 In step S106, if the spread radius r is determined to be equal to or greater than rmax (step S106; YES), the blur degradation component setting process ends.

次に、図28のフローチャートを参照して、出荷後のデジタルカメラ1において実行される画像撮影・補正処理について説明する。 Next, with reference to the flowchart of FIG. 28 will be described imaging and correction processing executed in the digital camera 1 after shipment.

キー入力部36の操作により撮影モードが指定されると、測光処理、露出条件の設定等が行われる(ステップS110)。 When shooting by operating the key input section 36 mode is designated, the photometric process, setting of the exposure condition is performed (step S110). 測光処理後、キー入力部36のシャッターキーの押下により撮影が指示されると、撮影処理が行われ、撮影画像g(x,y)が取得される(ステップS111)。 After photometric processing, the photographing by pressing the shutter key of the key input unit 36 ​​is instructed, the photographing process is performed, captured image g (x, y) is acquired (step S111). 取得された撮影画像g(x,y)は、記録媒体(フラッシュメモリ38)に記録される。 The acquired photographed image g (x, y) is recorded on the recording medium (flash memory 38).

ステップS111の撮影処理において、手ブレ検出センサ40によりブレが検出された場合、検出されたブレの方向θ、ブレ距離Lが制御部32のRAMに記憶される(ステップS112)。 In shooting process of step S111, if the blurring by camera shake detection sensor 40 has been detected, the direction of the detected shake theta, blur distance L is stored in the RAM of the control unit 32 (step S112). また、撮影画像g(x,y)から焦点ボケが検出された場合、焦点ボケの広がり半径rが制御部32のメモリ(RAM)に記憶される(ステップS112)。 Also, if the captured image g (x, y) is defocusing from the detected spread radius r of defocusing is stored in the memory (RAM) of the control unit 32 (step S112).

次いで、撮影画像g(x,y)がフーリエ変換され、周波数空間での撮影画像G(u,v)が求められる(ステップS113)。 Then, photographed image g (x, y) is the Fourier transform, the photographed image G (u, v) in the frequency space is calculated (step S113). 次いで、ステップS112において記憶されたブレ距離Lが予め設定された値(設定値)以上であるか否か(即ち、評価値が所定値以下であるか否か)が判定される(ステップS114)。 Then, whether blurring distance L stored in step S112 is a preset value (set value) or more (i.e., the evaluation value is equal to or less than a predetermined value) (step S114) .

ステップS114において、ブレ距離Lが設定値未満である(即ち、評価値が所定値より大きい)と判定された場合(ステップS114;NO)、後述のステップS119に移行する。 In step S114, the shake distance L is less than the set value (i.e., the evaluation value is larger than the predetermined value) when it is determined (step S114; NO), the process proceeds to step S119 described later. ステップS114において、ブレ距離Lが設定値以上である(即ち、評価値が所定値以下である)と判定された場合(ステップS114;YES)、ステップS112において記憶されたブレ方向θ及びブレ距離Lに対応する劣化成分P1(θ,L)が、制御部32のメモリ(ROM)から読み出され(ステップS115)、G(u,v)及びP1(θ,L)から、ブレのない本来の画像i(x,y)をフーリエ変換したI(u,v)=G(u,v)/P1(θ,L)が算出される(ステップS116)。 In step S114, the shake distance L is equal to or more than a set value (i.e., the evaluation value is a predetermined value or less) when it is determined (step S114; YES), the blur direction stored in step S112 theta and shake distance L corresponding to the degraded component P1 (theta, L) is read from the memory (ROM) of the control unit 32 (step S115), the G (u, v) and P1 (theta, L), the original unblurred image i (x, y) obtained by Fourier transform of I (u, v) = G (u, v) / P1 (θ, L) is calculated (step S116).

次いで、ステップS116で算出されたI(u,v)がフーリエ逆変換されることにより、復元画像i(x,y)が算出され(ステップS117)、記録媒体に記録されたg(x,y)が復元画像i(x,y)に更新される(ステップS118)。 Then, by the calculated I (u, v) in step S116 is the inverse Fourier transform, restored image i (x, y) is calculated (step S117), recorded on the recording medium g (x, y ) is updated to the restored image i (x, y) (step S118).

次いで、ステップS112において記憶された焦点ボケの広がり半径rが予め設定された値(設定値)以上であるか否か(即ち、評価値が所定値以下であるか否か)が判定される(ステップS119)。 Then, whether the spread radius r of the stored defocus in step S112 is a preset value (set value) or more (i.e., the evaluation value is equal to or less than a predetermined value) is determined ( step S119). ステップS119において、焦点ボケの広がり半径rが設定値未満である(即ち、評価値が所定値より大きい)と判定された場合(ステップS119;NO)、本画像撮影・補正処理が終了する。 In step S119, the spread radius r of defocusing is less than the set value (i.e., the evaluation value is larger than the predetermined value) when it is determined (step S119; NO), the imaging and correction processing is completed.

ステップS119において、焦点ボケの広がり半径rが設定値以上である(即ち、評価値が所定値以下である)と判定された場合(ステップS119;YES)、ステップS112において記憶された焦点ボケの広がり半径rに対応する劣化成分P2(r)が、制御部32のメモリ(ROM)から読み出され(ステップS120)、G(u,v)及びP2(r)から、焦点ボケのない本来の画像i(x,y)をフーリエ変換したI(u,v)=G(u,v)/P2(r)が算出される(ステップS121)。 In step S119, it is spread radius r of defocus is equal to or greater than a set value (i.e., the evaluation value is a predetermined value or less) when it is determined (step S119; YES), the spread of the stored defocus in step S112 degraded component corresponding to the radius r P2 (r) is read from the memory (ROM) of the control unit 32 (step S120), G (u, v) and the P2 (r), the original image without defocus i (x, y) obtained by Fourier transform of I (u, v) = G (u, v) / P2 (r) is calculated (step S121).

次いで、ステップS121で算出されたI(u,v)がフーリエ逆変換されることにより、復元画像i(x,y)が算出され(ステップS122)、記録媒体に記録されたg(x,y)が復元画像i(x,y)に更新され(ステップS123)、本画像撮影・補正処理が終了する。 Then, by the calculated I (u, v) in step S121 is the inverse Fourier transform, restored image i (x, y) is calculated (step S122), recorded on the recording medium g (x, y ) is updated restored image i (x, y) (step S123), the imaging and correction processing is completed.

以上のように、デジタルカメラ1の生産工程において、予め、ブレやボケを生じさせるように見本画像を撮影して、ブレやボケの度合い別に劣化成分P(u,v)を算出してメモリに設定し、出荷後のデジタルカメラ1で撮影された画像を、メモリに設定された劣化成分P(u,v)に基づいて補正することにより、個々のカメラのレンズの性能に合わせた画像補正を容易に行うことができる。 As described above, in the production process of the digital camera 1 in advance, by photographing the sample image to produce a movement and blurring, by the degree of movement and blur degradation component P (u, v) in the memory to calculate the set, the image captured by the digital camera 1 after shipment, the degraded component is set in the memory P (u, v) by correcting, based on the image correction to match the performance of the individual cameras lenses it can be carried out easily. また、出荷後において劣化成分P(u,v)を算出する必要がないため、画像補正処理を高速に行うことができる。 Since it is not necessary to calculate the degraded component P (u, v) after shipment, it is possible to perform image correction processing at high speed.

最近は、オートフォーカス機能が搭載されたデジタルカメラが普及しているが、カメラの機種毎に、オートフォーカスの精度や特性が異なっている。 Recently, although the digital camera autofocus function mounted is widespread, for each type of camera, the accuracy and the characteristics of the autofocus is different. また、露出の条件や周囲の明るさ、被写体の配置等によって、常に所望の被写体に焦点が合った画像を撮影できるとは限らず、また、絞りの度合いや焦点距離によって、被写界深度も変化したりする。 The condition and the ambient brightness of the exposure, the arrangement, etc. of a subject, not always to be able to capture an image that is focused on the desired subject, also depending on the degree and the focal length of the aperture, even depth of field changes to or. 従って、図26〜図28に示すように、生産出荷前に、画像劣化の度合い別に劣化成分を算出してメモリに設定しておき、出荷後に撮影された画像を、メモリに設定された劣化成分に基づいて補正することにより、個々の機種でのレンズ特性やフォーカス特性の違いにも対応した補正を行うことができる。 Accordingly, as shown in FIGS. 26 to 28, prior shipments, calculate the degraded component by the degree of image degradation may be set in the memory, deterioration component images taken after shipping, set in the memory by correcting based on, also the difference in lens characteristics and focus characteristics of the individual models can be corrected corresponding.

なお、本実施形態及び変形例における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。 The description contents of the present embodiment and modifications may be appropriately modified without departing from the scope of the present invention.

本発明の画像撮影装置を適用したデジタルカメラの回路構成を示すブロック図。 Block diagram showing a circuit configuration of a digital camera to which the imaging apparatus of the present invention. 本実施形態のデジタルカメラにおいて実行される画像撮影・削除処理を示すフローチャート。 Flow chart illustrating an imaging and deletion process executed in the digital camera of this embodiment. 図2における画像削除処理の詳細を示すフローチャート。 Flowchart showing details of an image deleting process in FIG. デジタルカメラの表示部における画面表示例を示す図。 It shows a screen display example on the display unit of the digital camera. デジタルカメラの表示部における画面表示例を示す図。 It shows a screen display example on the display unit of the digital camera. デジタルカメラの表示部における画面表示例を示す図。 It shows a screen display example on the display unit of the digital camera. 画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。 Diagram illustrating an example of a method of evaluating the image from the luminance histogram distribution of an image. 画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。 Diagram illustrating an example of a method of evaluating the image from the luminance histogram distribution of an image. 画像の周波数特性により画像を評価する方法の一例を示す図。 It illustrates an example of a method for evaluating an image by the frequency characteristics of the image. 画像の周波数特性により画像を評価する方法の一例を示す図。 It illustrates an example of a method for evaluating an image by the frequency characteristics of the image. 画像の周波数特性により画像を評価する方法の一例を示す図。 It illustrates an example of a method for evaluating an image by the frequency characteristics of the image. 画像の直線ブレ、焦点ボケの度合いの測定による画像評価方法の一例を示す図。 Linear image blur, illustrates an example of an image evaluation method by measurement of the degree of defocusing. 直線ブレの方向の角度(θ)の算出方法と、直線ブレの距離(L)の算出方法を示す図。 It shows the method of calculating the direction of the angle of the straight line motion (theta), the method of calculating the distance of the straight line motion (L). 焦点ボケの広がり半径(r)の算出方法を示す図。 It shows a method of calculating the defocus spread radius (r). ハフ(Hough)変換を説明するための図。 Diagram for explaining Hough (Hough) transform. 多階調ハフ変換を説明するための図。 Diagram for explaining a multi-tone Hough transform. 画質補正処理の概念図。 Conceptual view of the image quality correction processing. ガンマ補正による画像補正方法を示す図。 Diagram illustrating an image correction method according to the gamma correction. 輝度又は濃度のヒストグラム分布の変換による画像補正方法を示す図。 Diagram illustrating an image correction method by the conversion of the histogram distribution of luminance or density. 輝度又は濃度のヒストグラム分布の変換による画像補正方法を示す図。 Diagram illustrating an image correction method by the conversion of the histogram distribution of luminance or density. 輝度又は濃度のヒストグラムの平坦化による画像補正方法を示す図。 Diagram illustrating an image correction method according to flattening of the histogram of luminance or density. ヒストグラム平坦化処理を示すフローチャート。 Flow chart illustrating a histogram equalization process. 画像の平滑化による画像補正方法を示す図。 Diagram illustrating an image correction method by the smoothing of the image. 微分フィルタを用いた鮮鋭化による画像補正方法を示す図。 Diagram illustrating an image correction method of sharpening using a differential filter. 微分フィルタを用いた鮮鋭化による画像補正方法を示す図。 Diagram illustrating an image correction method of sharpening using a differential filter. デジタルカメラの生産工程に実行されるブレ劣化成分設定処理を示すフローチャート。 Flowchart illustrating a blur degraded component setting processing executed in the digital camera of the production process. デジタルカメラの生産工程に実行される焦点ボケ劣化成分設定処理を示すフローチャート。 Flowchart illustrating a defocusing degraded component setting processing executed in the digital camera of the production process. 画像撮影・補正処理を示すフローチャート。 Flow chart illustrating an imaging and correction process.

符号の説明 DESCRIPTION OF SYMBOLS

1 デジタルカメラ(画像撮影装置) 1 digital camera (imaging apparatus)
2 外部機器3 画像処理装置4 表示装置5 印刷装置13 表示部21 モータ(M) 2 an external apparatus 3 image processing device 4 display 5 the printing apparatus 13 display unit 21 motor (M)
22 レンズ光学系23 CCD 22 lens optical system 23 CCD
24 TG(タイミング発生器) 24 TG (timing generator)
25 垂直ドライバ26 S/H(サンプルホールド回路) 25 vertical driver 26 S / H (sample and hold circuit)
27 A/D変換器28 カラープロセス回路29 DMAコントローラ30 DRAMI/F 27 A / D converter 28 the color process circuit 29 DMA controller 30 DRAM I / F
31 DRAM 31 DRAM
32 制御部33 VRAMコントローラ34 VRAM 32 control unit 33 VRAM controller 34 VRAM
35 デジタルビデオエンコーダ36 キー入力部37 JPEG回路38 フラッシュメモリ39 通信部40 手ブレ検出センサ 35 Digital video encoder 36 key input unit 37 JPEG circuit 38 flash memory 39 communication unit 40 shake detecting sensor

Claims (13)

  1. 被写体を撮影して撮影画像を取得する撮像手段と、 Imaging means for acquiring a photographed image by photographing a subject,
    前記取得された撮影画像を記録媒体に記録する記録手段と、 Recording means for recording the obtained captured image to the recording medium,
    前記取得された撮影画像の画質を評価する第1の評価手段と、 A first evaluation means for evaluating the quality of the acquired photographed images,
    前記記録媒体に記録された撮影画像のうち、前記第1の評価手段により算出された評価結果が所定の条件を満たす撮影画像の画質を補正する補正手段と、 A correction means for said one of the recorded photographic image on the recording medium, the first evaluation evaluation result calculated by means corrects the picture quality of a predetermined condition is satisfied photographing image,
    前記補正手段により画質が補正された撮影画像の画質を評価する第2の評価手段と、 A second evaluation means image quality evaluating an image quality of the corrected captured image by the correction means,
    前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定する決定手段と、 A determining means for evaluation result by the second evaluation means for determining a candidate to delete a predetermined condition is satisfied captured image from the recording medium,
    を備えることを特徴とする画像撮影装置。 Image capturing apparatus comprising: a.
  2. 前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を備え、 Comprising a determining means for determining whether the remaining capacity is less than capacity set in advance in the recording medium,
    前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定された容量以下であると判定された場合に、前記第2の評価手段による評価結果が所定の条件を満たす撮影画像を前記記録媒体から削除する候補として決定することを特徴とする請求項1に記載の画像撮影装置。 It said determining means, by the determination unit, when the remaining capacity of the recording medium is determined to be less than capacity set in advance, the condition is satisfied photographing image evaluation result is given by the second evaluation means image capturing apparatus of claim 1, wherein the determining a candidate to be deleted from the recording medium.
  3. 前記第1の評価手段及び第2の評価手段は、撮影画像の輝度又は濃度のヒストグラム分布に基づいて、当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。 First evaluation means and the second evaluation means, based on the histogram distribution of brightness or density of the captured image, the image capturing according to claim 1 or 2, characterized in that to evaluate the image quality of the captured image apparatus.
  4. 前記第1の評価手段及び第2の評価手段は、撮影画像の周波数特性に基づいて、当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。 First evaluation means and the second evaluation means, based on the frequency characteristics of the captured image, the image capturing apparatus according to claim 1 or 2, characterized in that to evaluate the image quality of the captured image.
  5. 前記第1の評価手段及び第2の評価手段は、撮影画像のブレ又は焦点ボケの度合いに基づいて当該撮影画像の画質を評価することを特徴とする請求項1又は2に記載の画像撮影装置。 First evaluation means and the second evaluation means, the image capturing apparatus according to claim 1 or 2, characterized in that to evaluate the image quality of the captured image based on the degree of blur or defocus of the captured image .
  6. 前記補正手段は、撮影画像に対してガンマ補正を施すことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。 It said correction means, the image capturing apparatus according to any one of claims 1 to 5, characterized by applying gamma correction to the captured image.
  7. 前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布を所定の変換式により変換することにより、当該撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。 It said correcting means, by converting the histogram distribution of brightness or density of the captured image by a predetermined conversion formula, an image according to any one of claims 1 to 5, characterized in that to correct the captured image imaging apparatus.
  8. 前記補正手段は、撮影画像の輝度又は濃度のヒストグラム分布の平坦化を行うことにより、当該撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。 Said correcting means by performing flattening the histogram distribution of brightness or density of the captured image, the image capturing apparatus according to any one of claims 1 to 5, characterized in that to correct the captured image.
  9. 前記補正手段は、画像を平滑化するための空間フィルタを用いて撮影画像を補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。 It said correction means, the image capturing apparatus according to any one of claims 1 to 5, wherein the correcting the captured image using a spatial filter for smoothing the image.
  10. 前記補正手段は、所定の微分フィルタを用いて撮影画像を鮮鋭化する処理を行うことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。 It said correction means, the image capturing apparatus according to any one of claims 1 to 5, characterized in that the process of sharpening the photographed image by using a predetermined differential filter.
  11. 前記補正手段は、撮影画像を周波数変換し、周波数変換された撮影画像に対して、鮮鋭化処理又はぼかし処理を施すことを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。 Wherein the correction means, the captured image frequency conversion for the frequency-converted photographic image, the image capturing according to any one of claims 1 to 5, characterized in that a sharpening process or blurring apparatus.
  12. 前記補正手段は、点像分布関数又は線像分布関数を用いて、撮影画像の直線ブレ又は焦点ボケを補正することを特徴とする請求項1〜5の何れか一項に記載の画像撮影装置。 Wherein the correction means uses the point spread function or line spread function, an image capturing apparatus according to any one of claims 1 to 5, characterized in that to correct the linear blur or defocus of the captured image .
  13. 画像劣化が生じる方式で見本画像を撮影する劣化画像撮像手段と、 A degraded image pickup means for photographing the sample image in a manner that the image deteriorates,
    前記劣化画像撮像手段により得られた画像の劣化成分を算出する算出手段と、 Calculating means for calculating a deterioration component of an image obtained by the deteriorated image pickup means,
    画像劣化の度合い別に、前記算出手段により算出された画像の劣化成分の情報を記憶する記憶手段と、を備え、 By the degree of image degradation, and a storage means for storing information of the degraded component of the image calculated by the calculation means,
    前記撮像手段により取得された撮影画像の評価結果が所定の条件を満たす場合、前記補正手段は、当該撮影画像に対応する劣化成分を前記記憶手段から読み出し、その読み出された劣化成分に基づいて当該撮影画像を補正することを特徴とする請求項1〜12の何れか一項に記載の画像撮影装置。 If the evaluation result of the obtained captured images by the imaging unit satisfies a predetermined condition, the correction means reads out the deterioration component corresponding to the captured image from the storage unit, based on the read degraded component image capturing apparatus according to any one of claims 1 to 12, characterized in that to correct the captured image.
JP2004232329A 2004-08-09 2004-08-09 Image capturing device Active JP4415188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004232329A JP4415188B2 (en) 2004-08-09 2004-08-09 Image capturing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004232329A JP4415188B2 (en) 2004-08-09 2004-08-09 Image capturing device

Publications (2)

Publication Number Publication Date
JP2006050494A true true JP2006050494A (en) 2006-02-16
JP4415188B2 JP4415188B2 (en) 2010-02-17

Family

ID=36028492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004232329A Active JP4415188B2 (en) 2004-08-09 2004-08-09 Image capturing device

Country Status (1)

Country Link
JP (1) JP4415188B2 (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221347A (en) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology Blurring information detection method
JP2009042838A (en) * 2007-08-06 2009-02-26 Ricoh Co Ltd Image projection method and image projection device
JP2010079446A (en) * 2008-09-24 2010-04-08 Sony Corp Electronic apparatus, blurring image selection method and program
JP2010272924A (en) * 2009-05-19 2010-12-02 Olympus Corp Imaging system and imaging method
JP2011220828A (en) * 2010-04-09 2011-11-04 Nippon Steel Corp Focus deviation detection device, focus deviation detection method and program thereof
JP2012070295A (en) * 2010-09-27 2012-04-05 Hitachi Consumer Electronics Co Ltd Video processing apparatus and video processing method
JP2012191641A (en) * 2012-05-14 2012-10-04 Seiko Epson Corp Image processing apparatus and image processing program
KR20120109056A (en) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 Lookuptable generating method for image resolution compensation, image resolution compensating apparatus and method using lut
US8315455B2 (en) 2008-11-07 2012-11-20 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
KR101336234B1 (en) 2007-01-12 2013-12-03 삼성전자주식회사 Method for improving image quality of digital camera
JP2013546092A (en) * 2010-12-13 2013-12-26 ユニヴェルシテ パリ ディドロ−パリ セットゥ Methods for the detection and quantification of blur in the digital image
WO2014069052A1 (en) * 2012-10-31 2014-05-08 Eizo株式会社 Magnification factor estimation device and method for same
CN104065857A (en) * 2013-03-21 2014-09-24 卡西欧计算机株式会社 Imaging Device And Video Content Generating Method
US8964039B2 (en) 2011-03-30 2015-02-24 Olympus Corporation Image capturing system and image capturing method
JP2015049669A (en) * 2013-08-30 2015-03-16 京セラドキュメントソリューションズ株式会社 Material evaluation program and material evaluation system
JP2015049672A (en) * 2013-08-30 2015-03-16 京セラドキュメントソリューションズ株式会社 Material evaluation program and material evaluation system
JP2015136001A (en) * 2014-01-16 2015-07-27 株式会社メガチップス Noise determination device and noise determination method
US9247153B2 (en) 2013-01-24 2016-01-26 Socionext Inc. Image processing apparatus, method and imaging apparatus
US9338348B2 (en) 2012-10-23 2016-05-10 Snapaid Ltd. Real time assessment of picture quality
US9661215B2 (en) 2014-04-22 2017-05-23 Snapaid Ltd. System and method for controlling a camera based on processing an image captured by other camera
US9754163B2 (en) 2015-06-22 2017-09-05 Photomyne Ltd. System and method for detecting objects in an image
US9792677B2 (en) 2011-09-02 2017-10-17 Nikon Corporation Electronic camera, image processing device, and image processing program

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221347A (en) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology Blurring information detection method
KR101336234B1 (en) 2007-01-12 2013-12-03 삼성전자주식회사 Method for improving image quality of digital camera
JP2009042838A (en) * 2007-08-06 2009-02-26 Ricoh Co Ltd Image projection method and image projection device
JP2010079446A (en) * 2008-09-24 2010-04-08 Sony Corp Electronic apparatus, blurring image selection method and program
US8300972B2 (en) 2008-09-24 2012-10-30 Sony Corporation Electronic apparatus, blur image sorting method, and program
US8315455B2 (en) 2008-11-07 2012-11-20 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
US8666141B2 (en) 2008-11-07 2014-03-04 Seiko Epson Corporation Robot system, robot control device and method for controlling robot
JP2010272924A (en) * 2009-05-19 2010-12-02 Olympus Corp Imaging system and imaging method
JP2011220828A (en) * 2010-04-09 2011-11-04 Nippon Steel Corp Focus deviation detection device, focus deviation detection method and program thereof
JP2012070295A (en) * 2010-09-27 2012-04-05 Hitachi Consumer Electronics Co Ltd Video processing apparatus and video processing method
JP2013546092A (en) * 2010-12-13 2013-12-26 ユニヴェルシテ パリ ディドロ−パリ セットゥ Methods for the detection and quantification of blur in the digital image
KR20120109056A (en) * 2011-03-24 2012-10-08 삼성테크윈 주식회사 Lookuptable generating method for image resolution compensation, image resolution compensating apparatus and method using lut
KR101675796B1 (en) * 2011-03-24 2016-11-14 한화테크윈 주식회사 LookupTable generating method for Image resolution compensation, Image resolution compensating apparatus and method using LUT
US8964039B2 (en) 2011-03-30 2015-02-24 Olympus Corporation Image capturing system and image capturing method
US9792677B2 (en) 2011-09-02 2017-10-17 Nikon Corporation Electronic camera, image processing device, and image processing program
JP2012191641A (en) * 2012-05-14 2012-10-04 Seiko Epson Corp Image processing apparatus and image processing program
US9338348B2 (en) 2012-10-23 2016-05-10 Snapaid Ltd. Real time assessment of picture quality
US9661226B2 (en) 2012-10-23 2017-05-23 Snapaid Ltd. Real time assessment of picture quality
US10009537B2 (en) 2012-10-23 2018-06-26 Snapaid Ltd. Real time assessment of picture quality
US9652689B2 (en) 2012-10-31 2017-05-16 Eizo Corporation Magnification factor estimation device and method for same
JP2014089659A (en) * 2012-10-31 2014-05-15 Eizo Corp Magnification estimation device and method thereof
WO2014069052A1 (en) * 2012-10-31 2014-05-08 Eizo株式会社 Magnification factor estimation device and method for same
US9247153B2 (en) 2013-01-24 2016-01-26 Socionext Inc. Image processing apparatus, method and imaging apparatus
US9485452B2 (en) 2013-03-21 2016-11-01 Casio Computer Co., Ltd. Imaging device, video content generating method and storage medium
CN104065857A (en) * 2013-03-21 2014-09-24 卡西欧计算机株式会社 Imaging Device And Video Content Generating Method
JP2014183511A (en) * 2013-03-21 2014-09-29 Casio Comput Co Ltd Imaging apparatus, video content generating method, and program
JP2015049669A (en) * 2013-08-30 2015-03-16 京セラドキュメントソリューションズ株式会社 Material evaluation program and material evaluation system
US9747326B2 (en) 2013-08-30 2017-08-29 Kyocera Document Solutions Inc. Non-transitory computer-readable recording medium that stores document evaluation program that evaluates consistency in document
JP2015049672A (en) * 2013-08-30 2015-03-16 京セラドキュメントソリューションズ株式会社 Material evaluation program and material evaluation system
JP2015136001A (en) * 2014-01-16 2015-07-27 株式会社メガチップス Noise determination device and noise determination method
US9866748B2 (en) 2014-04-22 2018-01-09 Snap-Aid Patents Ltd. System and method for controlling a camera based on processing an image captured by other camera
US9661215B2 (en) 2014-04-22 2017-05-23 Snapaid Ltd. System and method for controlling a camera based on processing an image captured by other camera
US9754163B2 (en) 2015-06-22 2017-09-05 Photomyne Ltd. System and method for detecting objects in an image
US9928418B2 (en) 2015-06-22 2018-03-27 Photomyne Ltd. System and method for detecting objects in an image

Also Published As

Publication number Publication date Type
JP4415188B2 (en) 2010-02-17 grant

Similar Documents

Publication Publication Date Title
US7868922B2 (en) Foreground/background segmentation in digital images
US20040247196A1 (en) Method and system for modifying a digital image taking into account it&#39;s noise
US6822758B1 (en) Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
US20080170126A1 (en) Method and system for image stabilization
US20110221920A1 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
US20060017835A1 (en) Image compression region of interest selection based on focus information
US20080259176A1 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
US7065255B2 (en) Method and apparatus for enhancing digital images utilizing non-image data
US7176962B2 (en) Digital camera and digital processing system for correcting motion blur using spatial frequency
US20060013479A1 (en) Restoration of color components in an image model
US20020110282A1 (en) Local change of an image sharpness of photographic images with masks
US7990429B2 (en) Imaging device with blur enhancement
US20090040364A1 (en) Adaptive Exposure Control
US20040119871A1 (en) Autofocus apparatus
WO2006095110A2 (en) Method of controlling an action, such as a sharpness modification, using a colour digital image
JP2001005960A (en) Method and device for processing image
JP2006246080A (en) Image processing method, image processor, program, and photographing apparatus
JP2013029656A (en) Image pickup apparatus
US20050244077A1 (en) Method, apparatus and program for image processing
JP2004088149A (en) Imaging system and image processing program
US20090086174A1 (en) Image recording apparatus, image correcting apparatus, and image sensing apparatus
US20130057714A1 (en) Image pickup device, image processing device, image processing method, and image processing program
JP2004214756A (en) Image noise reduction
US20140347521A1 (en) Simulating High Dynamic Range Imaging with Virtual Long-Exposure Images
US20140085507A1 (en) Controlling the sharpness of a digital image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4