JP2018191261A - Image processing apparatus, imaging apparatus, image processing method, program, and storage medium - Google Patents
Image processing apparatus, imaging apparatus, image processing method, program, and storage medium Download PDFInfo
- Publication number
- JP2018191261A JP2018191261A JP2017095084A JP2017095084A JP2018191261A JP 2018191261 A JP2018191261 A JP 2018191261A JP 2017095084 A JP2017095084 A JP 2017095084A JP 2017095084 A JP2017095084 A JP 2017095084A JP 2018191261 A JP2018191261 A JP 2018191261A
- Authority
- JP
- Japan
- Prior art keywords
- image
- psf
- unit
- correction
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 105
- 238000003384 imaging method Methods 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012937 correction Methods 0.000 claims abstract description 93
- 230000006866 deterioration Effects 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims description 78
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 claims description 43
- 230000015556 catabolic process Effects 0.000 claims description 37
- 238000006731 degradation reaction Methods 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 abstract description 26
- 239000000203 mixture Substances 0.000 description 48
- 238000011156 evaluation Methods 0.000 description 29
- 238000003702 image correction Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 230000002411 adverse Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮影画像のブレやボケなどの劣化を補正する画像処理装置に関する。 The present invention relates to an image processing apparatus that corrects deterioration such as blurring and blurring of a captured image.
従来から、撮影画像に含まれる被写体のブレやボケの特性を表す点拡がり関数（ＰＳＦ）を推定し、推定したＰＳＦに基づいて撮影画像を補正することにより、画像のブレやボケなどの劣化を補正する技術が知られている。例えば特許文献１には、画像を複数の小領域に分割して複数の小領域のそれぞれに関してＰＳＦを推定し、類似した特性のＰＳＦを有する小領域をグループ化して画像のボケを補正する方法が開示されている。 Conventionally, a point spread function (PSF) representing characteristics of blur and blur of a subject included in a photographed image is estimated, and the photographed image is corrected based on the estimated PSF, so that deterioration of the image blur and blur is reduced. Techniques for correcting are known. For example, Patent Document 1 discloses a method of correcting an image blur by dividing an image into a plurality of small regions, estimating a PSF for each of the plurality of small regions, and grouping small regions having similar PSF characteristics. It is disclosed.
ところで、画像内にボケの特性などの劣化特性が互いに異なる被写体領域が存在する場合、ＰＳＦに基づく補正を画像内で一様に適用すると、領域によっては誤った補正を行うことになり、リンギングなどの弊害が生じることがある。この場合、特許文献１の方法を用いると、それぞれの被写体領域に対して、その被写体領域の劣化特性に応じた適切な補正を実行することができる。しかしながら、特許文献１の方法では、画像を分割した複数の小領域のそれぞれに関してＰＳＦを推定することが必要であり、ＰＳＦ推定処理の演算量が増加する。 By the way, when there are subject areas having different deterioration characteristics such as blur characteristics in the image, if correction based on PSF is applied uniformly in the image, incorrect correction may be performed depending on the area, ringing, etc. May cause adverse effects. In this case, when the method of Patent Document 1 is used, it is possible to execute appropriate correction according to the deterioration characteristics of each subject area. However, in the method of Patent Document 1, it is necessary to estimate the PSF for each of a plurality of small regions obtained by dividing the image, and the amount of calculation of the PSF estimation process increases.
そこで本発明は、少ない演算量で、劣化特性が領域ごとに異なる画像を適切に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。 Accordingly, an object of the present invention is to provide an image processing device, an imaging device, an image processing method, a program, and a storage medium that can appropriately correct an image having different degradation characteristics for each region with a small amount of calculation. And
本発明の一側面としての画像処理装置は、画像の部分領域としてのＰＳＦ推定領域からＰＳＦを推定するＰＳＦ推定部と、前記ＰＳＦに基づいて前記画像の補正処理を行う補正処理部と、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定する劣化特性推定部とを有し、前記補正処理部は、前記画像の前記ＰＳＦ推定領域に関する劣化特性と該画像の前記複数の領域のそれぞれに関する劣化特性とに基づいて、該画像の前記補正処理を行う。 An image processing apparatus according to one aspect of the present invention includes a PSF estimation unit that estimates a PSF from a PSF estimation region as a partial region of an image, a correction processing unit that performs a correction process on the image based on the PSF, and the image A deterioration characteristic estimation unit that estimates the deterioration characteristic of the image related to each of the plurality of regions, and the correction processing unit includes a deterioration characteristic related to the PSF estimation region of the image and each of the plurality of regions of the image. The correction processing of the image is performed based on the deterioration characteristics relating to the image.
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像信号を出力する撮像部と、前記画像処理装置とを有する。 An imaging apparatus according to another aspect of the present invention includes an imaging unit that photoelectrically converts an optical image formed via an imaging optical system and outputs an image signal, and the image processing apparatus.
本発明の他の側面としての画像処理方法は、画像の部分領域としてのＰＳＦ推定領域からＰＳＦを推定するステップと、前記ＰＳＦに基づいて前記画像の補正処理を行うステップと、前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定するステップとを有し、前記補正処理を行うステップは、前記画像の前記ＰＳＦ推定領域に関する劣化特性と該画像の前記複数の領域のそれぞれに関する劣化特性とに基づいて、該画像の前記補正処理を行うステップを含む。 An image processing method according to another aspect of the present invention includes a step of estimating a PSF from a PSF estimation region as a partial region of an image, a step of correcting the image based on the PSF, and a plurality of the images Estimating the deterioration characteristics of the image with respect to each of the areas, and performing the correction processing includes the deterioration characteristics with respect to the PSF estimation area of the image and the deterioration characteristics with respect to each of the plurality of areas of the image. And performing the correction process on the image.
本発明の他の側面としてのプログラムは、前記がぞう処理方法をコンピュータに実行させる。 A program according to another aspect of the present invention causes a computer to execute the above processing method.
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。 A storage medium according to another aspect of the present invention stores the program.
本発明の他の目的及び特徴は、以下の実施形態において説明される。 Other objects and features of the invention are described in the following embodiments.
本発明によれば、少ない演算量で、劣化特性が領域ごとに異なる画像を適切に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。 According to the present invention, it is possible to provide an image processing device, an imaging device, an image processing method, a program, and a storage medium that can appropriately correct an image having different degradation characteristics for each region with a small amount of calculation. it can.
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態おける撮像装置の構成について説明する。図１は、本実施形態における撮像装置（デジタルカメラ）１００のブロック図である。本実施形態は、撮影画像に適用する補正処理、より具体的には画像信号からＰＳＦを推定し、推定したＰＳＦに基づいて画像のボケやブレを補正する方法に関する。従って、撮像装置１００における撮影や記録に関する構成は必須ではない。なお本実施形態において、「ボケ」は画像の合焦ずれによるボケ（焦点ボケ）を含み、「ブレ」は手ブレや被写体ブレなどを含むが、これらに限定されるものではない。
(First embodiment)
First, with reference to FIG. 1, the configuration of an imaging apparatus according to the first embodiment of the present invention will be described. FIG. 1 is a block diagram of an imaging apparatus (digital camera) 100 according to this embodiment. The present embodiment relates to a correction process applied to a captured image, more specifically, a method for estimating PSF from an image signal and correcting blurring and blurring of the image based on the estimated PSF. Therefore, the configuration related to shooting and recording in the imaging apparatus 100 is not essential. In this embodiment, “blur” includes blur due to out-of-focus (focus blur), and “blur” includes camera shake, subject blur, and the like, but is not limited thereto.
図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズ（撮像光学系）である。本実施形態の撮像装置１００は、撮像光学系と撮像装置本体とが一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（交換レンズ）とを備えた撮像システムにも適用可能である。 In FIG. 1, a lens group 101 is a zoom lens (imaging optical system) including a focus lens. In the imaging apparatus 100 of this embodiment, an imaging optical system and an imaging apparatus main body are integrally configured. However, the present embodiment is not limited to this, and can also be applied to an imaging system including an imaging device body and an imaging optical system (interchangeable lens) that can be attached to and detached from the imaging device body.
シャッタ１０２は、絞り機能を有し、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子を有し、レンズ群１０１を介して撮像面に形成される光学像を画素単位で電気信号（アナログ信号）に変換する（光電変換を行う）。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ信号をデジタル信号（画像データ）に変換する。 The shutter 102 has a diaphragm function and is provided between the lens group 101 and the imaging unit 103. The imaging unit 103 includes an imaging element such as a CMOS sensor or a CCD sensor, and converts an optical image formed on the imaging surface via the lens group 101 into an electrical signal (analog signal) in units of pixels (performs photoelectric conversion). ). The A / D converter 104 converts the analog signal output from the imaging unit 103 into a digital signal (image data).
画像処理部（画像処理装置）１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正などの各種の画像処理を行う。また画像処理部１０５は、撮影画像のブレやボケを補正する補正処理を行う。画像メモリ１０６は、画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９は、ＬＣＤや有機ＥＬディスプレイなどの表示装置を有し、各種ＧＵＩ、ライブビュー画像、および、記録媒体１１２から読み出して再生した画像などを表示する。記録媒体１１２は、半導体メモリカードやカード型ハードディスクなどの着脱可能な記録手段である。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体１１２に記録するために予め定められた方法で符号化し、または、画像ファイルに含まれる符号化画像データを例えば表示のために復号する。インタフェース（Ｉ／Ｆ）１１１は、記録媒体１１２を撮像装置１００と機械的かつ電気的に接続する。 An image processing unit (image processing apparatus) 105 performs various types of image processing such as color interpolation (demosaic), white balance adjustment, and γ correction on the image data output from the A / D converter 104. The image processing unit 105 performs correction processing for correcting blurring and blurring of the captured image. The image memory 106 temporarily stores image data. A memory control unit 107 controls reading and writing of the image memory 106. The D / A converter 108 converts the image data into an analog signal. The display unit 109 includes a display device such as an LCD or an organic EL display, and displays various GUIs, live view images, images read out from the recording medium 112 and reproduced, and the like. The recording medium 112 is detachable recording means such as a semiconductor memory card or a card type hard disk. The codec unit 110 encodes the image data stored in the image memory 106 by a predetermined method for recording on the recording medium 112, or encodes the image data included in the image file for display, for example. Decrypt. An interface (I / F) 111 mechanically and electrically connects the recording medium 112 to the imaging apparatus 100.
システム制御部５０は、ＣＰＵやＭＰＵなどのプログラマブルなプロセッサを有する。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記憶されたプログラムを実行して必要なブロックや回路を制御することにより、撮像装置１００の各機能を実現する。顔検出部１１３は、撮影画像に含まれる顔領域を検出し、検出された顔領域のそれぞれについて、位置、大きさ、および、信頼度などの顔情報を求める。なお顔検出部１１３は、ニューラルネットワークに代表される学習を用いた手法や、目、鼻、口などの特徴部位を画像領域からテンプレートマッチングを用い探し出して類似度が高い場合に顔とみなす手法など、任意の方法を用いて顔領域を検出することができる。 The system control unit 50 includes a programmable processor such as a CPU or MPU. The system control unit 50 realizes each function of the imaging apparatus 100 by executing a program stored in the nonvolatile memory 121 or the built-in nonvolatile memory and controlling necessary blocks and circuits, for example. The face detection unit 113 detects a face area included in the photographed image, and obtains face information such as a position, a size, and reliability for each of the detected face areas. Note that the face detection unit 113 uses a technique such as learning represented by a neural network, a technique that searches for feature parts such as eyes, nose, and mouth from an image area using template matching and regards it as a face when similarity is high. The face region can be detected using any method.
動きベクトル検出部１２４は、画像処理部１０５から出力された画像信号と、画像メモリ１０６に記録されている、直前に撮影された画像の画像信号とを用いて、撮影画像の各領域における動きベクトルを検出（算出）する。動きベクトルの算出方法は、公知の技術を用いることができる。動きベクトルは、例えば、次のように算出することができる。まず、撮影画像を所定の大きさのブロックに分割する。続いて、テンプレートマッチング法を用いて、撮影画像の各ブロックに対応する領域を、直前に撮影された画像内から検出する。そして、対応する領域同士を結ぶベクトルを、各ブロックにおける動きベクトルとする。 The motion vector detection unit 124 uses the image signal output from the image processing unit 105 and the image signal of the image captured immediately before recorded in the image memory 106, so that the motion vector in each region of the captured image is displayed. Is detected (calculated). A known technique can be used as a method of calculating the motion vector. For example, the motion vector can be calculated as follows. First, the captured image is divided into blocks of a predetermined size. Subsequently, using a template matching method, an area corresponding to each block of the captured image is detected from the image captured immediately before. Then, a vector connecting corresponding regions is set as a motion vector in each block.
操作部１２０は、ユーザが撮像装置１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスである。表示部１０９がタッチディスプレイである場合、操作部１２０はタッチパネルを含む。また操作部１２０は、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスを含んでもよい。不揮発性メモリ１２１は、電気的に消去・記録可能なＥＥＰＲＯＭなどである。不揮発性メモリ１２１は、各種の設定値やＧＵＩデータを記憶する。また不揮発性メモリ１２１は、システム制御部５０がＭＰＵやＣＰＵである場合、システム制御部５０が実行するためのプログラムを記憶する。システムメモリ１２２は、システム制御部５０の動作用の定数や変数、および、不揮発性メモリ１２１から読み出されたプログラムなどを展開するために用いられる。測距部１２３は、撮像装置１００から被写体までの距離を測定する距離測定手段である。 The operation unit 120 is an input device such as a button or a switch for the user to input various instructions to the imaging apparatus 100. When the display unit 109 is a touch display, the operation unit 120 includes a touch panel. Further, the operation unit 120 may include an input device of a type that inputs an instruction in a non-contact manner such as voice input or line-of-sight input. The nonvolatile memory 121 is an electrically erasable / recordable EEPROM or the like. The nonvolatile memory 121 stores various setting values and GUI data. The nonvolatile memory 121 stores a program to be executed by the system control unit 50 when the system control unit 50 is an MPU or a CPU. The system memory 122 is used for developing constants and variables for the operation of the system control unit 50 and programs read from the nonvolatile memory 121. The distance measuring unit 123 is a distance measuring unit that measures the distance from the imaging apparatus 100 to the subject.
次に、撮像装置１００による被写体撮影の際の基本動作について説明する。撮像部１０３は、シャッタ１０２が開いた状態で、レンズ群１０１を介して撮像面に形成された被写体像（光学像）を光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し、画像データを画像処理部１０５に出力する。 Next, a basic operation when shooting an object by the imaging apparatus 100 will be described. The imaging unit 103 photoelectrically converts a subject image (optical image) formed on the imaging surface via the lens group 101 in a state where the shutter 102 is opened, and outputs it to the A / D converter 104 as an analog image signal. The A / D converter 104 converts the analog image signal output from the imaging unit 103 into a digital image signal (image data), and outputs the image data to the image processing unit 105.
画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、または、メモリ制御部１０７からの画像データに対して、同時化処理（デモザイク処理）やγ補正などの各種画像処理を行う。また画像処理部１０５は、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が焦点調節や露光制御を行う。焦点調節や露出制御には、顔検出部１１３や測距部１２３の検出結果を用いてもよい。本実施形態の撮像装置１００は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、および、ＡＥ（自動露出）処理を行う。また画像処理部１０５は、後述する方法を用いて、ＰＳＦに基づくブレやボケの補正処理を行う。 The image processing unit 105 performs various types of image processing such as synchronization processing (demosaic processing) and γ correction on the image data from the A / D converter 104 or the image data from the memory control unit 107. In addition, the image processing unit 105 performs predetermined calculation processing regarding brightness, contrast, and the like using image data obtained by photographing, and the system control unit 50 performs focus adjustment and exposure control based on the obtained calculation result. For focus adjustment and exposure control, detection results of the face detection unit 113 and the distance measurement unit 123 may be used. The imaging apparatus 100 according to the present embodiment performs TTL (through-the-lens) AF (autofocus) processing and AE (automatic exposure) processing. Further, the image processing unit 105 performs blurring and blur correction processing based on the PSF using a method described later.
画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤなどの表示装置にＤ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、インタフェース１１１を介して記録媒体１１２に記録する。 The image data output from the image processing unit 105 is written into the image memory 106 via the memory control unit 107. The image memory 106 stores image data output from the imaging unit 103 and image data to be displayed on the display unit 109. The D / A converter 108 converts the image display data stored in the image memory 106 into an analog signal and supplies the analog signal to the display unit 109. The display unit 109 performs display in accordance with an analog signal from the D / A converter 108 on a display device such as an LCD. The codec unit 110 encodes the image data recorded in the image memory 106 based on a standard such as JPEG or MPEG. The system control unit 50 assigns a predetermined header or the like to the encoded image data, forms an image file, and records the image file on the recording medium 112 via the interface 111.
撮像装置１００は、撮影スタンバイ状態において動画撮影を行い、撮影動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させることができる。この場合、シャッタ１０２は開いた状態であり、撮像部１０３のいわゆる電子シャッタを用いて例えば３０フレーム／秒の撮影を行う。そして、操作部１２０に含まれるシャッタボタンが半押しされると、システム制御部５０は前述のＡＦ制御およびＡＥ制御を行う。また、操作部１２０に含まれるシャッタボタンが全押しされると、システム制御部５０は本撮影により記録用の静止画撮影を実行し、記録媒体１１２に撮影画像を記録する。また、動画撮影ボタンなどにより動画撮影が指示された場合、システム制御部５０は記録媒体１１２への動画記録を開始する。 The imaging apparatus 100 can make the display unit 109 function as an electronic viewfinder (EVF) by performing moving image shooting in the shooting standby state and continuously displaying the captured moving image on the display unit 109. In this case, the shutter 102 is in an open state, and shooting is performed at, for example, 30 frames / second using a so-called electronic shutter of the imaging unit 103. When the shutter button included in the operation unit 120 is half-pressed, the system control unit 50 performs the above-described AF control and AE control. When the shutter button included in the operation unit 120 is fully pressed, the system control unit 50 performs still image shooting for recording by main shooting and records the shot image on the recording medium 112. Further, when moving image shooting is instructed by a moving image shooting button or the like, the system control unit 50 starts moving image recording on the recording medium 112.
次に、図２および図３を参照して、画像処理部１０５によるブレやボケの補正処理に関する機能について説明する。図２は、画像処理部１０５のブロック図である。図３は、画像処理部１０５による補正処理（本実施形態の画像処理方法）のフローチャートである。図３の各ステップは、画像処理部１０５の各部により実行される。 Next, with reference to FIG. 2 and FIG. 3, functions related to blur and blur correction processing by the image processing unit 105 will be described. FIG. 2 is a block diagram of the image processing unit 105. FIG. 3 is a flowchart of the correction processing (image processing method of the present embodiment) by the image processing unit 105. Each step in FIG. 3 is executed by each unit of the image processing unit 105.
なお、図２に示される機能ブロックの少なくとも一つは、マイクロプロセッサとソフトウエアとの組み合わせより実現される。または、機能ブロックの少なくとも一つは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）のようなハードウエアにより実現されてもよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）などを含むが、これに限定されるものではない。 Note that at least one of the functional blocks shown in FIG. 2 is realized by a combination of a microprocessor and software. Alternatively, at least one of the functional blocks may be realized by hardware such as ASIC (Application Specific Integrated Circuit) or PLD (Programmable Logic Device). The PLD includes, but is not limited to, a field-programmable gate array (FPGA), a programmable logic array (PLA), and the like.
ブレやボケの補正処理は、ブレやボケの補正処理の実行が指定された状態で撮影された画像や、メニュー画面などからブレやボケの補正処理の実施が指示された、例えば記録媒体１１２に記録済の画像に対して実施することができる。なお、ブレやボケの補正処理において必要な撮影時の情報は、不揮発性メモリ１２１またはシステムメモリ１２２から読み出し、または、画像ファイルのヘッダやメタデータなどから取得することができる。 The blur / blur correction process is performed by, for example, the recording medium 112 instructed to perform the blur / blur correction process from an image shot in a state in which execution of the blur / blur correction process is specified or from a menu screen. It can be performed on recorded images. Note that information at the time of shooting necessary for blurring and blurring correction processing can be read from the non-volatile memory 121 or the system memory 122, or acquired from the header or metadata of the image file.
図２に示されるように、画像処理部１０５は、画像信号生成部２０１、ＰＳＦ推定領域抽出部２０２、ＰＳＦ推定部２０３、画像補正部２０４、画像合成部２０５、劣化特性推定部２０６、および、合成比率算出部２０７を有する。本実施形態において、画像補正部２０４、画像合成部２０５、および、合成比率算出部２０７により補正処理部が構成される。 As shown in FIG. 2, the image processing unit 105 includes an image signal generation unit 201, a PSF estimation region extraction unit 202, a PSF estimation unit 203, an image correction unit 204, an image synthesis unit 205, a deterioration characteristic estimation unit 206, and A synthesis ratio calculation unit 207 is included. In the present embodiment, the image correction unit 204, the image composition unit 205, and the composition ratio calculation unit 207 constitute a correction processing unit.
まず、図３のステップＳ３０１において、画像信号生成部２０１は、画素あたり一色（Ｒ、Ｇ、Ｂのいずれか一つ）の情報を有する画像信号に対して同時化処理（デモザイク処理）を行い、各画素が三色（ＲＧＢ）の情報を有する画像信号を生成する。画像信号生成部２０１は、生成した画像信号を、ＰＳＦ推定領域抽出部２０２、画像補正部２０４、および、画像合成部２０５へ出力する。 First, in step S301 in FIG. 3, the image signal generation unit 201 performs a synchronization process (demosaic process) on an image signal having information of one color (any one of R, G, and B) per pixel, Each pixel generates an image signal having information of three colors (RGB). The image signal generation unit 201 outputs the generated image signal to the PSF estimation region extraction unit 202, the image correction unit 204, and the image composition unit 205.
続いてステップＳ３０２において、ＰＳＦ推定領域抽出部２０２は、画像信号生成部２０１から出力された画像信号（入力画像）の中から、ＰＳＦ推定処理に用いる部分領域としてＰＳＦ推定領域を選択する。そしてＰＳＦ推定領域抽出部２０２は、入力画像から、選択したＰＳＦ推定領域の画像信号を抽出する。ＰＳＦ推定領域の選択方法として、入力画像中の主被写体領域を検出して、その被写体検出領域を選択する方法を用いることができる。または、操作部１２０を介してユーザにＰＳＦ推定領域を指定させるようにしてもよい。ＰＳＦ推定領域抽出部２０２は、抽出した画像信号をＰＳＦ推定部２０３へ出力する。またＰＳＦ推定領域抽出部２０２は、選択したＰＳＦ推定領域の位置に関する情報を合成比率算出部２０７へ出力する。 Subsequently, in step S302, the PSF estimation region extraction unit 202 selects a PSF estimation region as a partial region used for the PSF estimation process from the image signal (input image) output from the image signal generation unit 201. Then, the PSF estimation area extraction unit 202 extracts an image signal of the selected PSF estimation area from the input image. As a method for selecting a PSF estimation area, a method of detecting a main subject area in an input image and selecting the subject detection area can be used. Alternatively, the PSF estimation area may be designated by the user via the operation unit 120. The PSF estimation area extraction unit 202 outputs the extracted image signal to the PSF estimation unit 203. Further, the PSF estimation area extraction unit 202 outputs information related to the position of the selected PSF estimation area to the synthesis ratio calculation unit 207.
続いてステップＳ３０３において、ＰＳＦ推定部２０３は、入力されたＰＳＦ推定領域の画像信号に基づいて、ＰＳＦ推定領域におけるブレやボケに関する特性（劣化特性）を表すＰＳＦ（点拡がり関数）を推定する（ＰＳＦ推定処理）。すなわちＰＳＦ推定部２０３は、画像の部分領域としてのＰＳＦ推定領域からＰＳＦを推定する。そしてＰＳＦ推定部２０３は、推定したＰＳＦに関する情報を画像補正部２０４へ出力する。本実施形態において、ＰＳＦ推定処理は、公知の技術を用いることができる。以下、一例として、反復法を用いたＰＳＦ推定処理の概要を説明する。 Subsequently, in step S303, the PSF estimation unit 203 estimates a PSF (point spread function) representing characteristics (deterioration characteristics) related to blurring and blurring in the PSF estimation area based on the input image signal of the PSF estimation area ( PSF estimation process). That is, the PSF estimation unit 203 estimates the PSF from the PSF estimation area as a partial area of the image. Then, the PSF estimation unit 203 outputs information on the estimated PSF to the image correction unit 204. In the present embodiment, a known technique can be used for the PSF estimation process. Hereinafter, as an example, an outline of PSF estimation processing using an iterative method will be described.
撮影画像のうち、ＰＳＦ推定領域の画像信号をＢ、推定する対象となるＰＳＦをＫ、ＰＳＦ推定領域におけるブレやボケの無い画像（潜像）をＬとして、撮影画像のノイズを無視すると、以下の式（１）の関係が成り立つ。 If the image signal of the PSF estimation area is B, the PSF to be estimated is K, the image without blurring or blurring (latent image) in the PSF estimation area is L, and the noise of the captured image is ignored, The relationship of the formula (1) is established.
式（１）において、Ｃｏｎｖは畳み込み演算を表す。式（１）は、ＫとＬの両方が未知数であるため、解析的に解くことはできない。そこで、次のような推定を行う。 In Equation (1), Conv represents a convolution operation. Equation (1) cannot be solved analytically because both K and L are unknowns. Therefore, the following estimation is performed.
まず、適当な潜像Ｌの初期値を定める。潜像Ｌの初期値としては、撮影画像に対してショックフィルタ等を用いてエッジ強調処理を施した画像を用いることができる。 First, an appropriate initial value of the latent image L is determined. As an initial value of the latent image L, an image obtained by performing edge enhancement processing on a captured image using a shock filter or the like can be used.
続いて、以下の式（２）で表されるエネルギー関数Ｅ（Ｋ）において、Ｌを固定、Ｋを未知数として、エネルギー関数Ｅ（Ｋ）を最小化するＫを算出する。 Subsequently, in the energy function E (K) represented by the following equation (2), K is calculated that minimizes the energy function E (K), with L being fixed and K being an unknown.
式（２）において、σは正則化項を表し、ここではＰＳＦの各要素の二乗和を取るＬ２ノルムを用いている。 In Expression (2), σ represents a regularization term, and here, an L2 norm that takes the sum of squares of each element of the PSF is used.
続いて、算出したＫを用いて、以下の式（３）で表されるエネルギー関数Ｅ（Ｌ）において、Ｋを固定、Ｌを未知数として、エネルギー関数Ｅ（Ｌ）を最小化するＬを算出する。 Subsequently, using the calculated K, in the energy function E (L) represented by the following equation (3), K is fixed, L is an unknown, and L that minimizes the energy function E (L) is calculated. To do.
式（３）において、σは正則化項を表し、ここでは潜像Ｌの各画素値の二乗和を取るＬ２ノルムを用いている。 In Expression (3), σ represents a regularization term, and here, an L2 norm that takes the square sum of the pixel values of the latent image L is used.
そして、算出したＬを用いてエネルギー関数Ｅ（Ｋ）を最小化するＫを算出し、算出したＫを用いてエネルギー関数Ｅ（Ｌ）を最小化するＬを算出するという処理を、算出したＫが一定の値に収束するまで反復的に行うことによりＰＳＦを推定する。以上が、反復法を用いたＰＳＦ推定方法の概要である。 Then, the calculated K is used to calculate K for minimizing the energy function E (K), and the calculated K is used to calculate L for minimizing the energy function E (L). PSF is estimated by iteratively performing until it converges to a constant value. The above is the outline of the PSF estimation method using the iterative method.
続いて、図３のステップＳ３０４において、画像補正部２０４は、入力されたＰＳＦに関する情報に基づいて、画像信号生成部２０１により生成された画像信号に対してブレやボケなどの劣化の補正処理を行う（画像補正処理）。そして画像補正部２０４は、補正した画像信号を画像合成部２０５へ出力する。本実施形態において、ＰＳＦに基づく補正方法は、公知の技術を用いることができる。一例として、ウィナーデコンボリューションを用いた補正処理の概要を説明する。推定したＰＳＦをＫ、撮影画像をＢ、潜像をＬとすると、潜像Ｌは以下の式（４）のように表すことができる。 Subsequently, in step S304 of FIG. 3, the image correction unit 204 performs a correction process for deterioration such as blurring and blurring on the image signal generated by the image signal generation unit 201 based on the input information about the PSF. Perform (image correction processing). Then, the image correction unit 204 outputs the corrected image signal to the image composition unit 205. In the present embodiment, a known technique can be used as a correction method based on PSF. As an example, an outline of correction processing using winner deconvolution will be described. Assuming that the estimated PSF is K, the captured image is B, and the latent image is L, the latent image L can be expressed by the following equation (4).
式（４）において、ｆ（）は逆フーリエ変換、＊は複素共役、λはブレやボケの無い画像に含まれるノイズ成分の比率（ＳＮ）をそれぞれ示している。なお、前述のウィナーデコンボリューションの他に、以下の式（５）のように表される逆フィルタを用いる手法を採用してもよい。 In Expression (4), f () represents inverse Fourier transform, * represents complex conjugate, and λ represents a ratio (SN) of noise components included in an image free from blurring and blurring. In addition to the above-described winner deconvolution, a method using an inverse filter represented by the following equation (5) may be adopted.
また、推定したＰＳＦからエッジ強調のフィルタを作成してフィルタ処理を行うことによりエッジを強調させる補正方法を用いてもよい。 Alternatively, a correction method for enhancing an edge by creating an edge enhancement filter from the estimated PSF and performing a filter process may be used.
続いて、図３のステップＳ３０５において、劣化特性推定部（ブレボケ特性推定部）２０６は、撮影画像の複数の領域のそれぞれに関するブレやボケなどの劣化特性（ブレボケ特性）を推定し、劣化特性量（ブレボケ特性量）を算出する。この特性推定処理の詳細については後述する。劣化特性推定部２０６は、推定した劣化特性に関する評価値（劣化特性量）を、合成比率算出部２０７へ出力する。 Subsequently, in step S305 in FIG. 3, the degradation characteristic estimation unit (blurring characteristic estimation unit) 206 estimates degradation characteristics (blurring characteristics) such as blurring and blurring regarding each of a plurality of regions of the captured image, and the degradation characteristic amount. (Breaking characteristic amount) is calculated. Details of this characteristic estimation process will be described later. The deterioration characteristic estimation unit 206 outputs an evaluation value (deterioration characteristic amount) related to the estimated deterioration characteristic to the synthesis ratio calculation unit 207.
続いてステップＳ３０６において、合成比率算出部２０７は、撮影画像の各領域における画像合成比率を算出する。撮影画像の各領域における画像合成比率は、劣化特性推定部２０６により推定されたブレやボケの特性を表す評価値（劣化特性評価値）と、ＰＳＦ推定領域抽出部２０２により選択されたＰＳＦ推定領域の位置に関する情報とに基づいて算出することができる。ここで画像合成比率とは、画像合成部２０５が、画像信号生成部２０１から出力された補正処理前の撮影画像と、画像補正部２０４から出力された補正処理後の画像（補正画像）とを合成する際の合成比率を表す。なお、合成比率の算出方法の詳細については後述する。合成比率算出部２０７は、算出した合成比率を、画像合成部２０５へ出力する。 Subsequently, in step S306, the composition ratio calculation unit 207 calculates the image composition ratio in each region of the captured image. The image composition ratio in each area of the photographed image includes an evaluation value (deterioration characteristic evaluation value) representing the blur and blur characteristics estimated by the deterioration characteristic estimation unit 206 and the PSF estimation area selected by the PSF estimation region extraction unit 202. It is possible to calculate based on the information regarding the position of. Here, the image composition ratio refers to the pre-correction captured image output from the image signal generation unit 201 by the image composition unit 205 and the corrected image (corrected image) output from the image correction unit 204. Represents the composition ratio at the time of composition. Details of the method for calculating the composition ratio will be described later. The composition ratio calculation unit 207 outputs the calculated composition ratio to the image composition unit 205.
続いてステップＳ３０７において、画像合成部２０５は、画像信号生成部２０１から出力された画像信号と、画像補正部２０４から出力された補正後の画像信号とを合成比率算出部２０７により算出された画像合成比率に基づいて合成し、合成画像を生成する。ここで、合成画像の画像信号をＩ、画像信号生成部２０１により生成された画像信号をＩ０、画像補正部２０４により生成された補正後の画像信号をＩ１、合成比率をｍ、画像の位置を（ｘ、ｙ）で表すものとする。画像合成部２０５は、以下の式（６）を用いて画像信号を合成する。 Subsequently, in step S307, the image composition unit 205 calculates the image calculated by the composition ratio calculation unit 207 between the image signal output from the image signal generation unit 201 and the corrected image signal output from the image correction unit 204. A composite image is generated based on the composite ratio. Here, the image signal of the composite image is I, the image signal generated by the image signal generator 201 is I 0 , the corrected image signal generated by the image corrector 204 is I 1 , the composite ratio is m, The position is represented by (x, y). The image synthesizing unit 205 synthesizes an image signal using the following equation (6).
画像合成部２０５が合成した画像信号を出力すると、システム制御部５０による制御に基づいて、合成された画像信号が記録媒体１１２へ記録される。以上が、本実施形態における補正処理の流れである。 When the combined image signal is output by the image combining unit 205, the combined image signal is recorded on the recording medium 112 based on control by the system control unit 50. The above is the flow of the correction process in the present embodiment.
次に、図４を参照して、劣化特性推定部２０６が撮影画像の各領域におけるブレやボケの特性を推定する処理（特性推定処理）、および、合成比率算出部２０７が画像合成比率を算出する処理（合成比率算出処理）の詳細をそれぞれ説明する。図４は、特性推定処理および合成比率算出処理の説明図である。 Next, referring to FIG. 4, the degradation characteristic estimation unit 206 estimates the blur and blur characteristics in each area of the captured image (characteristic estimation process), and the synthesis ratio calculation unit 207 calculates the image synthesis ratio. Details of the processing (composition ratio calculation processing) to be performed will be described. FIG. 4 is an explanatory diagram of the characteristic estimation process and the synthesis ratio calculation process.
劣化特性推定部２０６は、画像の各領域におけるボケ（焦点ボケ）の大きさ、ならびにブレの大きさおよびブレの方向をそれぞれ推定し、ブレやボケなどの劣化特性に関する評価値を出力する。ここで、ボケの特性（ボケに関する劣化特性）は、測距部１２３により測定された、画像の各領域における撮像装置１００と被写体との間の距離の情報に基づいて算出することができる。具体的には、撮影の際に行ったＡＦ制御において合焦位置として決定された合焦点に関する距離情報と、画像の各領域とにおける距離情報とを比較する。画像の各領域における距離情報が合焦点における距離情報と近い場合、焦点ボケの程度が小さく、距離情報が異なる程、焦点ボケの程度は大きい。したがって、劣化特性推定部２０６は、画像の各領域における被写体距離と、合焦点における被写体距離との差分値を、所定の正規化係数によって正規化し、ボケの特性評価値を出力する。 The degradation characteristic estimation unit 206 estimates the blur (focus blur) size, blur magnitude, and blur direction in each region of the image, and outputs an evaluation value related to the degradation characteristics such as blur and blur. Here, the blur characteristic (degradation characteristic related to blur) can be calculated based on information on the distance between the imaging device 100 and the subject in each region of the image measured by the distance measuring unit 123. Specifically, the distance information regarding the focal point determined as the in-focus position in the AF control performed at the time of photographing is compared with the distance information in each region of the image. When the distance information in each region of the image is close to the distance information at the in-focus point, the degree of defocus is small, and the different the distance information, the greater the degree of defocus. Therefore, the degradation characteristic estimation unit 206 normalizes the difference value between the subject distance in each region of the image and the subject distance at the focal point by a predetermined normalization coefficient, and outputs a blur characteristic evaluation value.
ブレ（手ブレや被写体ブレ）の大きさおよび方向は、動きベクトル検出部１２４により検出された動きベクトルに基づいて推定することができる。具体的には、動きベクトルの方向がブレの生じている方向を表し、動きベクトルの大きさがブレの大きさを表す。したがって、劣化特性推定部２０６は、画像の各領域における動きベクトルの大きさおよび方向を、所定の正規化係数によって正規化し、ブレの大きさおよび方向に関する特性評価値を出力する。 The magnitude and direction of shake (hand shake or subject shake) can be estimated based on the motion vector detected by the motion vector detection unit 124. Specifically, the direction of the motion vector represents the direction in which the blur occurs, and the magnitude of the motion vector represents the magnitude of the blur. Therefore, the degradation characteristic estimation unit 206 normalizes the magnitude and direction of the motion vector in each area of the image with a predetermined normalization coefficient, and outputs a characteristic evaluation value related to the magnitude and direction of blur.
次に、合成比率算出部２０７が画像合成比率を算出する方法について説明する。ここで、合成比率算出部２０７は、ＰＳＦ推定領域に関するブレやボケなどの劣化特性と、画像の複数の領域のそれぞれに関するブレやボケなどの劣化特性との比較結果に基づいて、画像の領域ごとに合成比率を算出する。画像の複数の領域のうち、ＰＳＦ推定領域に関する劣化特性と近い劣化特性を有する特定領域に対しては、ＰＳＦ推定領域により推定されたＰＳＦに基づいて補正を行うことができるため、補正画像の比率が高くなるようにする。一方、ＰＳＦ推定領域に関する劣化特性と異なる劣化特性を有する特定領域に対しては、推定したＰＳＦに基づく補正では誤った補正がなされる可能性があるため、補正画像の比率を低くし、誤った補正により生じうる弊害を低減する。 Next, a method by which the composition ratio calculation unit 207 calculates the image composition ratio will be described. Here, the composition ratio calculation unit 207 determines, for each area of the image, based on a comparison result between the deterioration characteristics such as blur and blur related to the PSF estimation area and the deterioration characteristics such as blur and blur regarding each of the plurality of areas of the image. The composite ratio is calculated. Since a specific area having a deterioration characteristic close to the deterioration characteristic related to the PSF estimation area among a plurality of areas of the image can be corrected based on the PSF estimated by the PSF estimation area, the ratio of the correction image To be higher. On the other hand, for a specific area having a deterioration characteristic different from the deterioration characteristic related to the PSF estimation area, correction based on the estimated PSF may be erroneously corrected. To reduce adverse effects that may occur due to correction.
具体的には、次のように算出する。図４（ａ）は、劣化特性推定部２０６が推定したブレやボケの特性（劣化特性）を示す図である。図４（ａ）において、α軸はボケの大きさ、β軸はブレの大きさ、γ軸はブレの方向をそれぞれ示す。また、点Ｐ０はＰＳＦ推定領域における特性評価値を表し、点Ｐ０の座標は（α０、β０、γ０）である。点Ｐ１は合成比率の算出を行う対象領域における特性評価値を表し、点Ｐ１の座標は（α１、β１、γ１）である。合成比率算出部２０７は、以下の式（７）を用いて、ＰＳＦ推定領域におけるブレやボケなどの劣化特性と、合成比率の算出対象領域における劣化特性との差分Δを算出する。 Specifically, it is calculated as follows. FIG. 4A is a diagram showing blurring and blurring characteristics (deterioration characteristics) estimated by the deterioration characteristic estimation unit 206. In FIG. 4A, the α axis indicates the blur size, the β axis indicates the blur size, and the γ axis indicates the blur direction. The point P0 represents a characteristic evaluation value in the PSF estimation area, and the coordinates of the point P0 are (α0, β0, γ0). The point P1 represents a characteristic evaluation value in the target area where the composition ratio is calculated, and the coordinates of the point P1 are (α1, β1, γ1). The combination ratio calculation unit 207 calculates the difference Δ between the deterioration characteristics such as blurring and blurring in the PSF estimation area and the deterioration characteristics in the calculation target area of the combination ratio using the following equation (7).
式（７）において、ａ、ｂ、ｃはそれぞれ、ボケの大きさ、ブレの大きさ、ブレの方向に対する重みである。ボケの大きさ、またはブレの大きさが異なる場合に比べて、ブレの方向が異なる場合、対応するＰＳＦの形状が大きく異なる。このため、ブレの方向の差分に対する重みｃは、重みａ、ｂに対して大きな値を取ることが好ましい。 In Expression (7), a, b, and c are weights for blur size, blur size, and blur direction, respectively. When the blur direction is different, the shape of the corresponding PSF is greatly different from the case where the blur size or the blur size is different. For this reason, it is preferable that the weight c with respect to the difference between the blur directions is larger than the weights a and b.
次に、図４（ｂ）を参照して、合成比率の算出方法を説明する。図４（ｂ）において、横軸はブレやボケの特性評価値の差分Δを示し、縦軸は画像合成比率ｍを示す。図４（ｂ）に示されるように、ブレやボケの特性評価値の差分Δが大きいほど、補正処理の影響が小さくなるように、すなわち画像合成比率が低くなるよう設定する。なお、図４（ｂ）は、特性評価値の差分Δが所定の閾値Ｔｈ以下である場合、合成比率ｍを１とする場合を示しているが、合成比率ｍの算出方法はこれに限定されるものではない。例えば、特性評価値の差分Δが大きくなるにつれて、合成比率ｍが低い値となるように設定された曲線の特性に基づいて合成比率ｍを設定してもよい。 Next, a method for calculating the composition ratio will be described with reference to FIG. In FIG. 4B, the horizontal axis indicates a difference Δ between blur and blur characteristic evaluation values, and the vertical axis indicates an image composition ratio m. As shown in FIG. 4B, setting is made such that the influence of the correction process is reduced as the difference Δ between the blur and blur characteristic evaluation values is larger, that is, the image composition ratio is lowered. FIG. 4B shows a case where the combination ratio m is set to 1 when the difference Δ between the characteristic evaluation values is equal to or less than the predetermined threshold Th, but the method for calculating the combination ratio m is limited to this. It is not something. For example, the composition ratio m may be set based on the characteristic of a curve that is set so that the composition ratio m decreases as the characteristic evaluation value difference Δ increases.
合成比率算出部２０７は、前述の合成比率ｍの算出処理を、画像の各領域に対して順次実行し、算出した結果を画像合成部２０５へ出力する。画像合成部２０５は、前述のように、入力された合成比率に基づいて画像の合成処理を行う。 The composition ratio calculation unit 207 sequentially executes the above-described calculation process of the composition ratio m for each region of the image, and outputs the calculated result to the image composition unit 205. As described above, the image composition unit 205 performs image composition processing based on the input composition ratio.
本実施形態では、画像の各領域におけるブレやボケの特性と、ＰＳＦ推定領域におけるブレやボケの特性とを比較した結果に基づいて、画像の各領域における画像合成比率を設定する。これにより、推定したＰＳＦに基づく補正を適用した場合に誤った補正を行うこととなる領域では、補正画像を用いない。その結果、補正による弊害を低減することが可能となる。 In the present embodiment, the image composition ratio in each area of the image is set based on the result of comparing the blur and blur characteristics in each area of the image with the blur and blur characteristics in the PSF estimation area. As a result, the corrected image is not used in a region where correction is erroneously performed when correction based on the estimated PSF is applied. As a result, it is possible to reduce adverse effects due to correction.
なお本実施形態では、ブレやボケに関する特性（劣化特性）を表す評価値として、ボケの大きさ、ブレの大きさ、および、ブレの方向の三つの特徴評価値を用いる場合を説明したが、劣化特性の評価方法はこれに限定されるものではない。例えば、画像の各領域においてＰＳＦを推定し、推定したＰＳＦの形状に基づいて、劣化特性を推定するようにしてもよい。この場合、推定したＰＳＦの形状を比較して、形状が近ければＰＳＦに基づいて補正した画像を用いる。一方、形状が異なる場合には、補正した画像を用いないように合成比率を制御する。ここで、画像の各領域において算出するＰＳＦは、劣化特性を評価するために用いられるため、劣化の補正に用いるＰＳＦを推定する場合に比べて推定精度が低くても構わない。したがって、反復法に用いるＰＳＦの収束に対する条件を緩めることにより、演算量を低減させるようにしてもよい。 In the present embodiment, the case where three characteristic evaluation values of the size of blur, the size of blur, and the direction of blur are used as evaluation values representing characteristics (deterioration characteristics) related to blur and blur. The evaluation method of the deterioration characteristics is not limited to this. For example, the PSF may be estimated in each region of the image, and the deterioration characteristics may be estimated based on the estimated PSF shape. In this case, the estimated PSF shapes are compared, and if the shapes are close, an image corrected based on the PSF is used. On the other hand, if the shapes are different, the composition ratio is controlled so that the corrected image is not used. Here, since the PSF calculated in each region of the image is used to evaluate the deterioration characteristic, the estimation accuracy may be lower than that in the case of estimating the PSF used for correction of deterioration. Therefore, the amount of calculation may be reduced by relaxing the conditions for convergence of the PSF used in the iterative method.
また、ボケの特性を表す量として、画像信号に含まれるエッジ信号に着目し、エッジ部分における画像信号の変化の勾配情報に基づいて、劣化特性を推定してもよい。エッジ部分における画像信号の変化が緩やかであるほど、ボケやブレなどの劣化が大きいと推定すればよい。これにより、距離情報や動きベクトルに関する情報を取得することができない場合でも、画像劣化の補正を適切に制御することができる。また、画像を撮影時のＡＦ制御で用いる合焦状態を評価する評価値に基づいて、画像の複数の領域のそれぞれに関する劣化特性を推定するようにしてもよい。 Further, as an amount representing the blur characteristic, attention may be paid to an edge signal included in the image signal, and the deterioration characteristic may be estimated based on gradient information of a change in the image signal in the edge portion. It may be estimated that the more gradual change of the image signal at the edge portion, the greater the deterioration such as blurring and blurring. As a result, even when distance information and information regarding motion vectors cannot be acquired, it is possible to appropriately control correction of image degradation. Further, the deterioration characteristics regarding each of a plurality of regions of the image may be estimated based on an evaluation value for evaluating a focus state used in AF control at the time of shooting the image.
また、ブレの特性を評価するため、撮像装置１００に設けられたジャイロ（ブレ検出部）によるブレ検出結果（ブレに関する情報）を用いるようにしてもよい。検出されたブレが一方向へシフトするブレである場合、ブレの方向は画像内で一様であると推定できる。検出されたブレが回転ブレである場合、ブレの方向が画像内で非一様であると推定することができる。ブレの方向が非一様である場合、ＰＳＦ推定領域と異なる位置の画像領域には、ＰＳＦに基づく補正を適用しないように補正処理を制御する。 Further, in order to evaluate blur characteristics, a blur detection result (information regarding blur) by a gyro (blur detection unit) provided in the imaging apparatus 100 may be used. When the detected blur is a shift that shifts in one direction, it can be estimated that the blur direction is uniform in the image. When the detected blur is a rotational blur, it can be estimated that the blur direction is non-uniform in the image. When the blur direction is non-uniform, the correction process is controlled so that the correction based on the PSF is not applied to the image area at a position different from the PSF estimation area.
本実施形態は、ブレやボケなどの特性（劣化特性）を表す量（劣化特性評価値）に基づいて、画像の合成比率を定める場合を説明したが、劣化特性の補正の制御方法はこれに限定されるものではない。例えば、ＰＳＦに基づいて画像を補正する際に、画像の各領域における劣化特性に基づいて、各領域に対して補正処理を実行するか否かを判定するようにしてもよい。この場合、ＰＳＦ推定領域における劣化特性とは異なる劣化特性を有する領域では、補正処理を実行しないよう制御すればよい。また、撮影画像と補正画像との合成ではなく、推定したＰＳＦを合成する方法や、ＰＳＦに基づいて決定される補正強度または補正量を合成する方法を用いることもできる。この場合、ＰＳＦ推定領域とは異なる劣化特性を有する領域に対しては、ＰＳＦに基づく補正が適用されないように合成比率を定めればよい。 In the present embodiment, the case where the composition ratio of the image is determined based on the amount (degradation characteristic evaluation value) representing the characteristic (degradation characteristic) such as blur and blur is described. It is not limited. For example, when correcting an image based on the PSF, it may be determined whether or not to perform correction processing on each region based on the deterioration characteristics in each region of the image. In this case, it is only necessary to perform control so that the correction process is not performed in a region having a deterioration characteristic different from the deterioration characteristic in the PSF estimation region. Further, instead of combining the captured image and the corrected image, a method of combining the estimated PSF or a method of combining the correction intensity or the correction amount determined based on the PSF can be used. In this case, the composition ratio may be determined so that correction based on PSF is not applied to a region having deterioration characteristics different from the PSF estimation region.
本実施形態は、ＰＳＦ推定領域が画像中の一箇所である場合を説明したが、ＰＳＦ推定処理の方法はこれに限定されるものではない。すなわち、画像中の複数の領域においてＰＳＦを推定するようにしてもよい。この場合、画像合成の際には、複数のＰＳＦ推定領域の中で、処理対象とする領域における劣化特性と最も近い劣化特性を有するＰＳＦ推定領域を選択する。そして、選択したＰＳＦ推定領域において推定されたＰＳＦに基づいて補正した補正画像と、補正前の撮影画像とを合成するようにすればよい。または、複数の領域においてＰＳＦを推定し、それぞれのＰＳＦに基づいて補正を行った補正画像同士を合成するようにしてもよい。この場合、合成比率の算出は、以下のように行うことができる。まず、複数のＰＳＦ推定領域の中で、処理対象とする領域における劣化特性と最も近い劣化特性を有するＰＳＦ推定領域を選択する。そして、選択したＰＳＦ推定領域に対応する補正画像の合成比率が高くなるように合成比率を定めればよい。 Although the present embodiment has described the case where the PSF estimation region is one place in the image, the PSF estimation processing method is not limited to this. That is, the PSF may be estimated in a plurality of regions in the image. In this case, at the time of image synthesis, a PSF estimation region having a degradation characteristic closest to the degradation characteristic in the area to be processed is selected from among a plurality of PSF estimation areas. Then, the corrected image corrected based on the PSF estimated in the selected PSF estimation region and the photographed image before correction may be synthesized. Alternatively, PSFs may be estimated in a plurality of regions, and corrected images corrected based on the respective PSFs may be combined. In this case, the composition ratio can be calculated as follows. First, a PSF estimation area having a degradation characteristic closest to the degradation characteristic in the area to be processed is selected from the plurality of PSF estimation areas. Then, the composition ratio may be determined so that the composition ratio of the corrected image corresponding to the selected PSF estimation region is increased.
本実施形態は、劣化特性（劣化特性評価値）の差分の絶対値に基づいて合成比率を定める場合を説明したが、合成比率の算出方法はこれに限定されるものではない。例えば、劣化特性評価値の差分の絶対値に加えて、大小関係の情報を用いることもできる。具体的には、処理対象の領域における劣化特性評価値が、ＰＳＦ推定領域における劣化特性評価値よりも大きい場合には補正画像に対する合成比率を高く設定し、小さい場合には補正画像に対する合成比率を低く設定するようにしてもよい。これは、ＰＳＦ推定領域よりもブレやボケなどの劣化が小さい領域に対して、ＰＳＦに基づいた補正を適用すると、リンギングなどの目立つ弊害が生じる場合が多いためである。 Although the present embodiment has described the case where the combination ratio is determined based on the absolute value of the difference between the deterioration characteristics (deterioration characteristic evaluation values), the method for calculating the combination ratio is not limited to this. For example, in addition to the absolute value of the difference between the deterioration characteristic evaluation values, information on the magnitude relationship can also be used. Specifically, when the degradation characteristic evaluation value in the processing target area is larger than the degradation characteristic evaluation value in the PSF estimation area, the synthesis ratio for the corrected image is set high. You may make it set low. This is because, when correction based on PSF is applied to an area where deterioration such as blurring and blurring is smaller than that of the PSF estimation area, there is often a noticeable problem such as ringing.
また、ブレやボケなどの劣化特性に加えて、画像中の被写体を検出した結果を用いて合成比率を算出してもよい。具体的には、劣化特性評価値の差分が所定の閾値以上であり、かつ、ＰＳＦ推定領域とは異なる被写体に属する領域に対しては、補正画像の合成比率を低く設定するようにする。これにより、被写体間の境界において、誤った補正による弊害が生じることを低減させることができる。 In addition to the deterioration characteristics such as blurring and blurring, the composition ratio may be calculated using the result of detecting the subject in the image. Specifically, the correction image composition ratio is set to be low for a region where the difference between the degradation characteristic evaluation values is equal to or greater than a predetermined threshold value and which belongs to a subject different from the PSF estimation region. As a result, it is possible to reduce the occurrence of an adverse effect due to erroneous correction at the boundary between subjects.
また、画像の各領域に含まれるエッジ信号の情報も用いて合成比率を算出するようにしてもよい。具体的には、劣化特性評価値の差分が所定の閾値以上であり、かつ、振幅の大きなエッジ信号が多く含まれる領域に対しては、補正画像の合成比率を低く設定するようにする。これにより、エッジを多く含む領域において、目立った弊害が生じることを低減させることができる。 Further, the composition ratio may be calculated using information on edge signals included in each region of the image. Specifically, for a region where the difference between the degradation characteristic evaluation values is equal to or larger than a predetermined threshold and a large number of edge signals having a large amplitude are included, the correction image composition ratio is set low. As a result, it is possible to reduce the occurrence of conspicuous adverse effects in a region including many edges.
（第２の実施形態）
次に、図５および図６を参照して、画像処理部１０５ａによるブレやボケなどの画像劣化の補正処理に関する機能について説明する。図５は、画像処理部１０５ａのブロック図である。図６は、画像処理部１０５ａによる補正処理（本実施形態の画像処理方法）のフローチャートである。図６の各ステップは、画像処理部１０５ａの各部により実行される。
(Second Embodiment)
Next, with reference to FIG. 5 and FIG. 6, functions relating to a process for correcting image degradation such as blurring and blurring by the image processing unit 105 a will be described. FIG. 5 is a block diagram of the image processing unit 105a. FIG. 6 is a flowchart of the correction processing (image processing method of the present embodiment) by the image processing unit 105a. Each step in FIG. 6 is executed by each unit of the image processing unit 105a.
第１の実施形態は、ＰＳＦに基づいて補正した画像と補正前の撮影画像とを合成する場合を説明した。一方、本実施形態は、複数の領域に関する複数のＰＳＦを推定し、画像のブレやボケなどの劣化特性に基づいて、推定した複数のＰＳＦの一つを用いて画像の補正処理を行う場合を説明する。なお本実施形態の撮像装置（デジタルカメラ）は、画像処理部１０５に代えて画像処理部１０５ａを有する点で、第１の実施形態の撮像装置１００と異なる。本実施形態における撮像装置の他の構成は、図１を参照して第１の実施形態にて説明した撮像装置１００と同様であるため、その説明は省略する。 In the first embodiment, the case where the image corrected based on the PSF and the captured image before correction are combined is described. On the other hand, this embodiment estimates a plurality of PSFs related to a plurality of regions, and performs image correction processing using one of the estimated plurality of PSFs based on degradation characteristics such as image blurring and blurring. explain. Note that the imaging apparatus (digital camera) of the present embodiment is different from the imaging apparatus 100 of the first embodiment in that an image processing unit 105a is provided instead of the image processing unit 105. The other configuration of the imaging apparatus in the present embodiment is the same as that of the imaging apparatus 100 described in the first embodiment with reference to FIG.
図５に示されるように、画像処理部１０５ａは、画像信号生成部２０１、画像補正部２０４、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂ、ＰＳＦ推定部５０２ａ、５０２ｂ、および、ＰＳＦ選択部５０３を有する。本実施形態において、画像補正部２０４およびＰＳＦ選択部５０３により補正処理部が構成される。 As illustrated in FIG. 5, the image processing unit 105 a includes an image signal generation unit 201, an image correction unit 204, PSF estimation area extraction units 501 a and 501 b, PSF estimation units 502 a and 502 b, and a PSF selection unit 503. In the present embodiment, the image correction unit 204 and the PSF selection unit 503 constitute a correction processing unit.
図６のステップＳ６０１において、図３のステップＳ３０１と同様に、画像信号生成部２０１は、画像信号Ｒ、Ｇ、Ｂを生成する。画像信号生成部２０１は、生成した画像信号を、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂ、および、画像補正部２０４へ出力する。 In step S601 of FIG. 6, the image signal generation unit 201 generates the image signals R, G, and B as in step S301 of FIG. The image signal generation unit 201 outputs the generated image signal to the PSF estimation region extraction units 501a and 501b and the image correction unit 204.
続いてステップＳ６０２において、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂはそれぞれ、ＰＳＦ推定領域ａ、ｂを選択する。図５に示されるように、画像処理部１０５ａは複数のＰＳＦ推定部５０２ａ、５０２ｂを有する。このため、複数の箇所に関して、ＰＳＦの推定処理を行うことができる。例えば、撮影画像が主被写体である前景領域（主被写体領域）と背景領域とを含む場合、主被写体領域と背景領域とのそれぞれから、ＰＳＦを推定するようＰＳＦ推定領域を選択する。または、複数の人物が並んでいる場合のように複数の主被写体が存在する場合、それぞれの主被写体領域からＰＳＦ推定領域を選択するようにしてもよい。または操作部１２０を介して補正対象の被写体をユーザに選択させた場合、ユーザが選択した被写体領域の複数の箇所をＰＳＦ推定領域として選択してもよい。例えば、ユーザが選択した被写体が人物である場合、人物の顔領域および体領域のそれぞれからＰＳＦ推定領域を選択する。ＰＳＦ推定領域抽出部５０１ａ、５０１ｂは、選択したＰＳＦ推定領域ａ、ｂの画像信号を抽出し、ＰＳＦ推定部５０２ａ、５０２ｂへそれぞれ出力する。またＰＳＦ推定領域抽出部５０１ａ、５０１ｂは、選択したＰＳＦ推定領域の位置の情報をＰＳＦ選択部５０３へ出力する。 Subsequently, in step S602, the PSF estimation area extraction units 501a and 501b select the PSF estimation areas a and b, respectively. As illustrated in FIG. 5, the image processing unit 105a includes a plurality of PSF estimation units 502a and 502b. For this reason, PSF estimation processing can be performed for a plurality of locations. For example, when the captured image includes a foreground region (main subject region) that is a main subject and a background region, the PSF estimation region is selected so as to estimate the PSF from each of the main subject region and the background region. Alternatively, when there are a plurality of main subjects as in the case where a plurality of persons are lined up, a PSF estimation region may be selected from each main subject region. Alternatively, when the user selects a subject to be corrected via the operation unit 120, a plurality of locations in the subject region selected by the user may be selected as the PSF estimation region. For example, when the subject selected by the user is a person, a PSF estimation area is selected from each of the person's face area and body area. The PSF estimation region extraction units 501a and 501b extract the image signals of the selected PSF estimation regions a and b, and output them to the PSF estimation units 502a and 502b, respectively. Further, the PSF estimation region extraction units 501a and 501b output information on the position of the selected PSF estimation region to the PSF selection unit 503.
続いてステップＳ６０３において、ＰＳＦ推定部５０２ａ、５０２ｂはそれぞれ、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂから出力されたＰＳＦ推定領域の画像信号に基づいて、ＰＳＦを推定する（ＰＳＦ推定処理）。そしてＰＳＦ推定部５０２ａ、５０２ｂは、推定したそれぞれのＰＳＦを画像補正部２０４へ出力する。なお、本実施形態におけるＰＳＦ推定処理の方法は、図３のステップＳ３０３にて説明した第１の実施形態と同様であるため、その説明は省略する。 Subsequently, in step S603, the PSF estimation units 502a and 502b estimate PSFs based on the PSF estimation region image signals output from the PSF estimation region extraction units 501a and 501b, respectively (PSF estimation processing). Then, the PSF estimation units 502 a and 502 b output the estimated PSFs to the image correction unit 204. Note that the PSF estimation processing method in the present embodiment is the same as that in the first embodiment described in step S303 in FIG.
続いてステップＳ６０４において、劣化特性推定部２０６は、撮影画像の各領域におけるブレやボケなどの劣化特性を推定し、劣化特性量（劣化特性に関する評価値）を算出する。そして劣化特性推定部２０６は、算出した劣化特性評価値をＰＳＦ選択部５０３へ出力する。なお、劣化特性値の算出方法は、図３のステップＳ３０５にて説明した第１の実施形態と同様であるため、その説明は省略する。 Subsequently, in step S604, the deterioration characteristic estimation unit 206 estimates deterioration characteristics such as blur and blur in each region of the captured image, and calculates a deterioration characteristic amount (an evaluation value related to the deterioration characteristics). Then, the deterioration characteristic estimation unit 206 outputs the calculated deterioration characteristic evaluation value to the PSF selection unit 503. The method for calculating the deterioration characteristic value is the same as that in the first embodiment described in step S305 in FIG.
続いてステップＳ６０５において、ＰＳＦ選択部５０３は、劣化特性推定部２０６から出力された劣化特性評価値に基づいて、画像の各領域に対する補正に用いるＰＳＦとして、ＰＳＦ推定部５０２ａ、５０２ｂにより推定されたＰＳＦのいずれか一方を選択する。以下、図７を参照して、ＰＳＦの選択方法について説明する。 Subsequently, in step S605, the PSF selection unit 503 is estimated by the PSF estimation units 502a and 502b as PSFs used for correction for each region of the image, based on the degradation characteristic evaluation value output from the degradation characteristic estimation unit 206. Select one of the PSFs. Hereinafter, a method for selecting a PSF will be described with reference to FIG.
図７は、劣化特性推定部２０６が推定したブレやボケの特性（劣化特性評価値）を示す図である。図７において、α軸はボケの大きさ、β軸はブレの大きさ、γ軸はブレの方向をそれぞれ示す。図７において、点Ｐａ、Ｐｂはそれぞれ、ＰＳＦ推定領域抽出部５０１ａ、５０１ｂが選択したＰＳＦ推定領域におけるブレやボケの特性評価値を示す。点Ｐ１は、処理対象の領域におけるブレやボケの特性評価値を示す。 FIG. 7 is a diagram showing blurring and blurring characteristics (degradation characteristic evaluation values) estimated by the deterioration characteristic estimation unit 206. In FIG. 7, the α axis indicates the blur size, the β axis indicates the blur size, and the γ axis indicates the blur direction. In FIG. 7, points Pa and Pb respectively indicate blur and blur characteristic evaluation values in the PSF estimation areas selected by the PSF estimation area extraction units 501a and 501b. A point P1 indicates a characteristic evaluation value of blur or blur in the processing target area.
ＰＳＦ選択部５０３は、図３のステップＳ３０６を参照して説明した方法と同様の方法により、点Ｐ１と点Ｐａとの差分Δａ、点Ｐ１と点Ｐｂとの差分Δｂをそれぞれ算出する。そしてＰＳＦ選択部５０３は、Δａ＜Δｂの場合、ＰＳＦ推定部５０２ａにより推定されたＰＳＦを選択する。一方、ＰＳＦ選択部５０３は、Δｂ＜Δａの場合、ＰＳＦ推定部５０２ｂにより推定されたＰＳＦを選択する。なお本実施形態において、ＰＳＦ選択部５０３は、差分Δａ、Δｂの両方が所定の閾値を超えている場合、ＰＳＦに基づく補正処理を行わないように、いずれのＰＳＦも選択しない。ＰＳＦ選択部５０３は、画像の各領域に対して、前述の選択処理を順次実行し、その結果を画像補正部２０４へ出力する。 The PSF selection unit 503 calculates the difference Δa between the point P1 and the point Pa and the difference Δb between the point P1 and the point Pb, respectively, by the same method as described with reference to step S306 in FIG. The PSF selection unit 503 selects the PSF estimated by the PSF estimation unit 502a when Δa <Δb. On the other hand, when Δb <Δa, the PSF selection unit 503 selects the PSF estimated by the PSF estimation unit 502b. In the present embodiment, the PSF selection unit 503 does not select any PSF so as not to perform the correction process based on the PSF when both the differences Δa and Δb exceed a predetermined threshold. The PSF selection unit 503 sequentially executes the selection process described above for each region of the image, and outputs the result to the image correction unit 204.
続いて、図６のステップＳ６０６において、画像補正部２０４は、撮影画像の各領域における画像合成比率を算出する。続いて、図６のステップＳ６０７において、画像補正部２０４は、ＰＳＦ選択部５０３により選択されたＰＳＦに関する情報に基づいて、画像信号生成部２０１により生成された画像信号に対する補正処理を行う。そして画像補正部２０４は、補正した画像信号を画像合成部２０５へ出力する。なお、補正処理の方法は、図３のステップＳ３０４にて説明した第１の実施形態と同様であるため、その説明は省略する。 Subsequently, in step S606 of FIG. 6, the image correction unit 204 calculates an image composition ratio in each region of the captured image. Subsequently, in step S <b> 607 in FIG. 6, the image correction unit 204 performs a correction process on the image signal generated by the image signal generation unit 201 based on the information regarding the PSF selected by the PSF selection unit 503. Then, the image correction unit 204 outputs the corrected image signal to the image composition unit 205. The correction processing method is the same as that in the first embodiment described in step S304 in FIG.
本実施形態では、画像の各領域におけるブレやボケの特性と、ＰＳＦ推定領域におけるブレやボケの特性とを比較した結果に基づいて、画像の各領域における補正処理に用いるＰＳＦを選択する。これにより、画像中でのブレやボケの特性が一様でない場合に画像の各領域に対して適したＰＳＦを選択して補正することができる。その結果、補正による弊害を低減することが可能となる。 In the present embodiment, a PSF to be used for correction processing in each area of the image is selected based on a result of comparing the characteristics of blur and blur in each area of the image with the characteristics of blur and blur in the PSF estimation area. As a result, when the characteristics of blur and blur in the image are not uniform, it is possible to select and correct a PSF suitable for each region of the image. As a result, it is possible to reduce adverse effects due to correction.
なお本実施形態は、複数のＰＳＦ推定領域を選択し、そのうちのいずれか一つのＰＳＦ推定領域で推定されたＰＳＦを選択する方法を説明したが、ＰＳＦの選択方法はこれに限定されるものではない。例えば、ＰＳＦの選択を切り替える境界が目立たないようにするため、境界領域では互いに異なるＰＳＦに基づいて補正した画像同士を合成し、境界が目立たなくなるように制御してもよい。 In addition, although this embodiment demonstrated the method to select several PSF estimation area | regions and to select the PSF estimated in any one PSF estimation area | region among them, the selection method of PSF is not limited to this. Absent. For example, in order to make the boundary for switching the PSF selection inconspicuous, the images corrected based on different PSFs may be combined in the boundary region so that the boundary becomes inconspicuous.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
各実施形態によれば、少ない演算量で、劣化特性が領域ごとに異なる画像を適切に補正することが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。 According to each embodiment, there are provided an image processing device, an imaging device, an image processing method, a program, and a storage medium that can appropriately correct an image with different degradation characteristics for each region with a small amount of calculation. Can do.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１０５ 画像処理部（画像処理装置）
２０３ ＰＳＦ推定部
２０４ 画像補正部（補正処理部）
２０５ 画像合成部（補正処理部）
２０６ 劣化特性推定部
２０７ 合成比率算出部（補正処理部）
105 Image processing unit (image processing apparatus)
203 PSF estimation unit 204 Image correction unit (correction processing unit)
205 Image composition unit (correction processing unit)
206 Deterioration characteristic estimation unit 207 Composition ratio calculation unit (correction processing unit)
Claims (16)
前記ＰＳＦに基づいて前記画像の補正処理を行う補正処理部と、
前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定する劣化特性推定部と、を有し、
前記補正処理部は、前記画像の前記ＰＳＦ推定領域に関する劣化特性と該画像の前記複数の領域のそれぞれに関する劣化特性とに基づいて、該画像の前記補正処理を行うことを特徴とする画像処理装置。 A PSF estimation unit for estimating a PSF from a PSF estimation region as a partial region of an image;
A correction processing unit that performs correction processing of the image based on the PSF;
A degradation characteristic estimation unit that estimates degradation characteristics of the image with respect to each of the plurality of regions of the image,
The image processing apparatus, wherein the correction processing unit performs the correction process on the image based on a deterioration characteristic regarding the PSF estimation region of the image and a deterioration characteristic regarding each of the plurality of regions of the image. .
前記画像の前記ＰＳＦ推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて合成比率を算出し、
前記合成比率に従って、前記画像と、前記補正処理により取得された補正画像とを該画像の領域ごとに合成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The correction processing unit
Calculating a composite ratio based on the degradation characteristics relating to the PSF estimation area of the image and the degradation characteristics relating to each of the plurality of areas of the image;
The image processing apparatus according to claim 1, wherein the image and the corrected image acquired by the correction process are combined for each region of the image according to the combination ratio.
前記画像の前記ＰＳＦ推定領域に関する前記劣化特性と該画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、複数の信号の合成比率を算出し、
前記合成比率に従って前記複数の信号を合成し、
前記複数の信号は、ＰＳＦに関する信号、または、該ＰＳＦに基づいて決定される補正強度もしくは補正量に関する信号であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The correction processing unit
Based on the deterioration characteristics related to the PSF estimation area of the image and the deterioration characteristics related to each of the plurality of areas of the image, a composite ratio of a plurality of signals is calculated,
Combining the plurality of signals according to the combining ratio;
6. The image processing apparatus according to claim 1, wherein the plurality of signals are signals related to a PSF or signals related to a correction intensity or a correction amount determined based on the PSF. .
前記補正処理部は、前記複数のＰＳＦ推定領域のそれぞれにおける前記劣化特性と前記画像の前記複数の領域のそれぞれに関する前記劣化特性とに基づいて、前記複数のＰＳＦから前記補正処理に用いられる一つのＰＳＦを選択することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。 The PSF estimation unit estimates a plurality of PSFs from a plurality of PSF estimation regions as a plurality of partial regions of the image, respectively.
The correction processing unit uses one of the plurality of PSFs for the correction processing based on the deterioration characteristic in each of the plurality of PSF estimation regions and the deterioration characteristic regarding each of the plurality of regions of the image. The image processing apparatus according to claim 1, wherein a PSF is selected.
前記画像信号に基づく画像の部分領域としてのＰＳＦ推定領域からＰＳＦを推定するＰＳＦ推定部と、
前記ＰＳＦに基づいて前記画像の補正処理を行う補正処理部と、
前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定する劣化特性推定部と、を有し、
前記補正処理部は、前記画像の前記ＰＳＦ推定領域に関する劣化特性と該画像の前記複数の領域のそれぞれに関する劣化特性とに基づいて、該画像の前記補正処理を行うことを特徴とする撮像装置。 An imaging unit that photoelectrically converts an optical image formed via the imaging optical system and outputs an image signal;
A PSF estimation unit that estimates a PSF from a PSF estimation region as a partial region of an image based on the image signal;
A correction processing unit that performs correction processing of the image based on the PSF;
A degradation characteristic estimation unit that estimates degradation characteristics of the image with respect to each of the plurality of regions of the image,
The imaging apparatus, wherein the correction processing unit performs the correction process on the image based on a deterioration characteristic regarding the PSF estimation area of the image and a deterioration characteristic regarding each of the plurality of areas of the image.
前記ＰＳＦに基づいて前記画像の補正処理を行うステップと、
前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定するステップと、を有し、
前記補正処理を行うステップは、前記画像の前記ＰＳＦ推定領域に関する劣化特性と該画像の前記複数の領域のそれぞれに関する劣化特性とに基づいて、該画像の前記補正処理を行うステップを含むことを特徴とする画像処理方法。 Estimating a PSF from a PSF estimation region as a partial region of an image;
Correcting the image based on the PSF;
Estimating the degradation characteristics of the image for each of the plurality of regions of the image,
The step of performing the correction process includes the step of performing the correction process of the image based on a deterioration characteristic of the image regarding the PSF estimation region and a deterioration characteristic of the plurality of regions of the image. An image processing method.
前記ＰＳＦに基づいて前記画像の補正処理を行うステップと、
前記画像の複数の領域のそれぞれに関する該画像の劣化特性を推定するステップと、をコンピュータに実行させるプログラムであって、
前記補正処理を行うステップは、前記画像の前記ＰＳＦ推定領域に関する劣化特性と該画像の前記複数の領域のそれぞれに関する劣化特性とに基づいて、該画像の前記補正処理を行うステップを含むことを特徴とするプログラム。 Estimating a PSF from a PSF estimation region as a partial region of an image;
Correcting the image based on the PSF;
Estimating the degradation characteristics of the image for each of the plurality of regions of the image, and causing the computer to execute the program,
The step of performing the correction process includes the step of performing the correction process of the image based on a deterioration characteristic of the image regarding the PSF estimation region and a deterioration characteristic of the plurality of regions of the image. Program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017095084A JP6873815B2 (en) | 2017-05-11 | 2017-05-11 | Image processing equipment, imaging equipment, image processing methods, programs, and storage media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017095084A JP6873815B2 (en) | 2017-05-11 | 2017-05-11 | Image processing equipment, imaging equipment, image processing methods, programs, and storage media |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018191261A true JP2018191261A (en) | 2018-11-29 |
| JP6873815B2 JP6873815B2 (en) | 2021-05-19 |
Family
ID=64479195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017095084A Active JP6873815B2 (en) | 2017-05-11 | 2017-05-11 | Image processing equipment, imaging equipment, image processing methods, programs, and storage media |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6873815B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300461A (en) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | Image restoring device, image restoring method and program thereof and recording medium |
| WO2011077659A1 (en) * | 2009-12-22 | 2011-06-30 | パナソニック株式会社 | Image processing device, imaging device, and image processing method |
| JP2014138290A (en) * | 2013-01-17 | 2014-07-28 | Sharp Corp | Imaging device and imaging method |
-
2017
- 2017-05-11 JP JP2017095084A patent/JP6873815B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002300461A (en) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | Image restoring device, image restoring method and program thereof and recording medium |
| WO2011077659A1 (en) * | 2009-12-22 | 2011-06-30 | パナソニック株式会社 | Image processing device, imaging device, and image processing method |
| JP2014138290A (en) * | 2013-01-17 | 2014-07-28 | Sharp Corp | Imaging device and imaging method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6873815B2 (en) | 2021-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5980294B2 (en) | Data processing apparatus, imaging apparatus, and data processing method | |
| JP5281495B2 (en) | Image processing apparatus and method | |
| JP6442209B2 (en) | Image processing apparatus and control method thereof | |
| JP5398156B2 (en) | WHITE BALANCE CONTROL DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE | |
| JP6157242B2 (en) | Image processing apparatus and image processing method | |
| WO2018176925A1 (en) | Hdr image generation method and apparatus | |
| JP5643563B2 (en) | Image processing apparatus and control method thereof | |
| US8570429B2 (en) | Image processing method and apparatus and digital photographing apparatus using the same | |
| US20100149210A1 (en) | Image capturing apparatus having subject cut-out function | |
| JP7516471B2 (en) | Control device, imaging device, control method, and program | |
| JP2015148532A (en) | Distance measuring device, imaging apparatus, distance measuring method, and program | |
| US9007471B2 (en) | Digital photographing apparatus, method for controlling the same, and computer-readable medium | |
| JP6604908B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP2019101996A (en) | Image processing apparatus and image processing method reducing noise by composing plural captured images | |
| JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
| JP2017157043A (en) | Image processing device, imaging device, and image processing method | |
| JP2019101997A (en) | Image processing apparatus and image processing method reducing noise by composing plural captured images | |
| JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
| JP6921606B2 (en) | Image processing equipment, image processing methods and programs | |
| JP6873815B2 (en) | Image processing equipment, imaging equipment, image processing methods, programs, and storage media | |
| JP7458769B2 (en) | Image processing device, imaging device, image processing method, program and recording medium | |
| JP6529269B2 (en) | Image processing apparatus, information processing method and program | |
| JP6666735B2 (en) | Image processing apparatus, imaging apparatus, control method for image processing apparatus, and program | |
| KR20100098122A (en) | Image processing method and apparatus, and digital photographing apparatus using thereof | |
| JP2016213717A (en) | Image processing apparatus, image processing method, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210421 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6873815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |