JP2016206728A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2016206728A JP2016206728A JP2015083692A JP2015083692A JP2016206728A JP 2016206728 A JP2016206728 A JP 2016206728A JP 2015083692 A JP2015083692 A JP 2015083692A JP 2015083692 A JP2015083692 A JP 2015083692A JP 2016206728 A JP2016206728 A JP 2016206728A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- statistical information
- unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、画像に対して複数の画像処理を実施する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for performing a plurality of image processing on an image.
近年、画像に対して実施する画像処理は複雑化しており、複数の画像処理を組み合わせた一連の処理を実施するようになっている。例えば、主な処理としては、デモザイク、ホワイトバランス調整、ノイズリダクション、色変換、エッジ強調、ガンマ補正等が挙げられる。一般に、これらの処理を実施する処理ブロックはカスケードに連結されており、画像の最終画質は、これらの処理の組み合わせによって決まる。
特許文献１には、階調補正処理を行う階調補正部と、ノイズ低減処理を行うノイズ低減部とを備える映像信号処理装置が開示されている。この映像信号処理装置では、階調補正処理を行うために用いる階調特性の傾きに応じて、ノイズ低減部にて映像信号のノイズを低減している。
In recent years, image processing performed on an image has become complicated, and a series of processing combining a plurality of image processing has been performed. For example, the main processing includes demosaic, white balance adjustment, noise reduction, color conversion, edge enhancement, gamma correction, and the like. In general, processing blocks for performing these processes are connected in cascade, and the final image quality of an image is determined by a combination of these processes.
Patent Document 1 discloses a video signal processing apparatus including a gradation correction unit that performs gradation correction processing and a noise reduction unit that performs noise reduction processing. In this video signal processing device, the noise of the video signal is reduced by the noise reduction unit in accordance with the gradient of the gradation characteristics used for performing the gradation correction processing.
上記特許文献１に記載の技術では、先ず、入力映像に応じて階調補正処理で用いるパラメータを決定し、その結果をもとにノイズ低減処理で用いるパラメータを決定している。すなわち、この技術は、一方の画像処理が他方の画像処理に与える影響のみを考慮して画像処理パラメータを決定する技術である。しかしながら、各画像処理は相互に依存するため、一方の画像処理が他方の画像処理に与える影響のみを考慮しただけでは、最適なパラメータの組み合わせを設定することはできず、画像の最終画質を良好なものにすることはできない。
そこで、本発明は、複数の画像処理について最適な画像処理パラメータの組み合わせを設定することを目的とする。
In the technique described in Patent Document 1, first, parameters used in tone correction processing are determined according to an input video, and parameters used in noise reduction processing are determined based on the results. That is, this technique is a technique for determining image processing parameters in consideration of only the influence of one image processing on the other image processing. However, since each image process depends on each other, the optimum combination of parameters cannot be set only by considering the influence of one image process on the other image process, and the final image quality of the image is good. I can't make it.
Accordingly, an object of the present invention is to set an optimal combination of image processing parameters for a plurality of image processes.
上記課題を解決するために、本発明に係る画像処理装置の一態様は、入力画像に対して、少なくとも第１の画像処理と後続する第２の画像処理とを含む複数の画像処理を順次実施する画像処理手段と、前記入力画像の統計量に関する情報である統計情報に基づいて、前記画像処理手段において前記入力画像に対する前記第１の画像処理後に得られる第１の画像処理結果を推定し、該第１の画像処理結果を推定した結果に基づいて、前記第１の画像処理結果に対する前記第２の画像処理後に得られる第２の画像処理結果を推定する推定手段と、前記推定手段から得られる第２の画像処理結果を推定した結果に基づいて、前記第１の画像処理に用いられるパラメータおよび前記第２の画像処理に用いられるパラメータをそれぞれ設定する設定手段と、を有する。 In order to solve the above problem, an aspect of an image processing apparatus according to the present invention sequentially performs a plurality of image processing including at least first image processing and subsequent second image processing on an input image. Based on statistical information that is information relating to the statistical amount of the input image and the image processing means to estimate a first image processing result obtained after the first image processing on the input image in the image processing means, An estimation unit that estimates a second image processing result obtained after the second image processing with respect to the first image processing result based on a result of estimating the first image processing result, and obtained from the estimation unit Setting means for setting a parameter used for the first image processing and a parameter used for the second image processing based on a result of estimating the second image processing result It has a.
本発明によれば、複数の画像処理について最適な画像処理パラメータの組み合わせを決定することができる。 According to the present invention, it is possible to determine an optimal combination of image processing parameters for a plurality of image processes.
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図１は、本実施形態における画像処理装置を備える撮像装置１０の構成例である。撮像装置１０は、例えば、デジタルカメラである。デジタルカメラ１０は、デジタルスチルカメラであってもデジタルビデオカメラであってもよい。デジタルカメラ１０は、撮像部１１と、Ａ／Ｄ変換部１２と、信号処理部１３と、画像処理部１４と、エンコーダ部１５と、メディアインタフェース（メディアＩ／Ｆ）１６と、を備える。さらに、デジタルカメラ１０は、ＣＰＵ１７と、ＲＯＭ１８と、ＲＡＭ１９と、撮像系制御部２０と、操作部２１と、Ｄ／Ａ変換部２２と、表示部２３と、を備える。デジタルカメラ１０の上記した構成要素は、直接または間接的に、バス２４により相互に接続されている。
DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. The embodiment described below is an example as means for realizing the present invention, and should be appropriately modified or changed depending on the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment.
FIG. 1 is a configuration example of an imaging apparatus 10 including an image processing apparatus according to this embodiment. The imaging device 10 is, for example, a digital camera. The digital camera 10 may be a digital still camera or a digital video camera. The digital camera 10 includes an imaging unit 11, an A / D conversion unit 12, a signal processing unit 13, an image processing unit 14, an encoder unit 15, and a media interface (media I / F) 16. Furthermore, the digital camera 10 includes a CPU 17, a ROM 18, a RAM 19, an imaging system control unit 20, an operation unit 21, a D / A conversion unit 22, and a display unit 23. The above-described components of the digital camera 10 are connected to each other by a bus 24 directly or indirectly.
本実施形態において、画像処理部１４が画像処理装置として動作する。また、撮像装置１０は、デジタルカメラに限定されるものではなく、例えばスマートフォン、タブレット型端末、ゲーム機等であってもよい。
撮像部１１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲ（赤外線）カットフィルタ、カラーフィルタ、ＣＭＯＳ素子やＣＣＤなどのセンサなどから構成される。撮像部１１は、被写体（図示せず）の光量を検知する。撮像部１１は、被写体の光量を検知することにより、被写体の光学像を電気信号に変換する。この電気信号はアナログ信号であり、撮像部１１は、このアナログ信号をＡ／Ｄ変換部１２に出力する。Ａ／Ｄ変換部１２は、被写体の光量に相当する上記アナログ信号をデジタル値に変換し、これを信号処理部１３に出力する。信号処理部１３は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、エッジ強調処理、ガンマ処理などを行い、デジタル画像を生成する。信号処理部１３は、当該デジタル画像を画像処理部１４に出力する。
In the present embodiment, the image processing unit 14 operates as an image processing apparatus. Moreover, the imaging device 10 is not limited to a digital camera, For example, a smart phone, a tablet-type terminal, a game machine etc. may be sufficient.
The imaging unit 11 includes a zoom lens, a focus lens, a shake correction lens, a diaphragm, a shutter, an optical low-pass filter, an iR (infrared) cut filter, a color filter, a sensor such as a CMOS element and a CCD, and the like. The imaging unit 11 detects the amount of light of a subject (not shown). The imaging unit 11 converts the optical image of the subject into an electrical signal by detecting the amount of light of the subject. The electrical signal is an analog signal, and the imaging unit 11 outputs the analog signal to the A / D conversion unit 12. The A / D converter 12 converts the analog signal corresponding to the amount of light of the subject into a digital value and outputs it to the signal processor 13. The signal processing unit 13 performs demosaicing processing, white balance processing, edge enhancement processing, gamma processing, and the like on the digital value to generate a digital image. The signal processing unit 13 outputs the digital image to the image processing unit 14.
画像処理部１４は、上記デジタル画像を入力画像とし、当該入力画像に対して複数の画像処理を順次実施する。当該画像処理は、例えば、ノイズリダクション処理（ＮＲ処理）、シャープネス処理、階調変換処理などである。なお、上記画像処理は、デモザイキング処理、ホワイトバランス処理、エッジ強調処理、ガンマ処理などであってもよい。画像処理部１４は、複数の画像処理について、複合的に各画像処理のパラメータを設定するパラメータ設定処理を行い、当該処理において設定したパラメータを用いて各画像処理を実施する。このパラメータ設定処理については後で詳述する。画像処理部１４は、画像処理後の画像をエンコーダ部１５とＤ／Ａ変換部２２とに出力する。
エンコーダ部１５は、画像処理後のデジタル画像をＪＰＥＧ等の映像圧縮フォーマットに変換し、これをメディアＩ／Ｆ１６に出力する。メディアＩ／Ｆ１６は、デジタルカメラ１０を外部のメディア３０に接続するためのインタフェースである。外部のメディア３０は、例えば、ハードディスク、メモリーカード、ＣＦ（Compact Flash）カード、ＳＤカード、ＵＳＢメモリ等である。
The image processing unit 14 uses the digital image as an input image, and sequentially performs a plurality of image processes on the input image. The image processing includes, for example, noise reduction processing (NR processing), sharpness processing, gradation conversion processing, and the like. Note that the image processing may be demosaicing processing, white balance processing, edge enhancement processing, gamma processing, or the like. The image processing unit 14 performs parameter setting processing for setting the parameters of each image processing in a composite manner for a plurality of image processing, and performs each image processing using the parameters set in the processing. This parameter setting process will be described in detail later. The image processing unit 14 outputs the image after image processing to the encoder unit 15 and the D / A conversion unit 22.
The encoder unit 15 converts the digital image after image processing into a video compression format such as JPEG, and outputs this to the media I / F 16. The media I / F 16 is an interface for connecting the digital camera 10 to an external medium 30. The external medium 30 is, for example, a hard disk, a memory card, a CF (Compact Flash) card, an SD card, a USB memory, or the like.
ＣＰＵ１７は、システムバス２５を介して、デジタルカメラ１０の各構成要素の処理および動作を制御する。ＣＰＵ１７による制御は、例えば、ＣＰＵ１７がＲＯＭ１８に格納された命令（プログラム等）をＲＡＭ１９に読み出し、当該命令を実行することにより実現され得る。また、ＣＰＵ１７は、デジタルカメラ１０のユーザが入力する情報や指示に基づく処理も行う。ＲＯＭ１８は、ＣＰＵ１７が処理を実行するために必要な制御プログラム等を記憶する。ＲＡＭ１９は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。また、ＲＯＭ１８やＲＡＭ１９は、ＣＰＵ１７が実行する処理に必要なデータ等を格納してもよい。 The CPU 17 controls processing and operation of each component of the digital camera 10 via the system bus 25. The control by the CPU 17 can be realized, for example, when the CPU 17 reads an instruction (program or the like) stored in the ROM 18 into the RAM 19 and executes the instruction. The CPU 17 also performs processing based on information and instructions input by the user of the digital camera 10. The ROM 18 stores a control program necessary for the CPU 17 to execute processing. The RAM 19 functions as a main memory and work area for the CPU 101. The ROM 18 and the RAM 19 may store data necessary for processing executed by the CPU 17.
撮像系制御部２０は、ＣＰＵ１７からの指示に基づいて、撮像部１１を制御する。例えば、撮像系制御部２０は、撮像部１１のレンズのフォーカスを合わせる、シャッターを開く、絞りを調節するなどの制御を行う。
操作部２１は、撮像ボタン、操作ボタン、モードダイヤルなどを含む。デジタルカメラ１０のユーザは、当該ボタンやダイヤルを介して、デジタルカメラ１０へ指示を入力する（設定を行う）ことができる。ユーザから入力される指示は、例えば、撮像（撮影）のための設定であり、ＩＳＯ感度の設定、シャッター速度の設定、Ｆ値（絞り値）の設定等を含む。操作部２１から入力された撮像設定に関する情報や指示は、ＣＰＵ１７に送られる。このとき、ＣＰＵ１７は、操作部２１から入力された情報や指示に基づいて処理を行い、デジタルカメラ１０の撮像条件を決定する。撮像条件は、ＲＡＭ１９に記憶される。
Ｄ／Ａ変換部２２は、画像処理部１４が出力した画像処理後のデジタル画像に対しアナログ変換を行う。Ｄ／Ａ変換部２２は、アナログ変換した画像を表示部２３に出力する。
表示部２３は、例えば、液晶ディスプレイであり、ＣＰＵ１０８の制御の下で、Ｄ／Ａ変換部２２から受け取った撮像画像を表示可能である。
The imaging system control unit 20 controls the imaging unit 11 based on an instruction from the CPU 17. For example, the imaging system control unit 20 performs control such as adjusting the focus of the lens of the imaging unit 11, opening the shutter, and adjusting the aperture.
The operation unit 21 includes an imaging button, an operation button, a mode dial, and the like. A user of the digital camera 10 can input (set) an instruction to the digital camera 10 via the button or dial. The instruction input from the user is, for example, a setting for imaging (shooting), and includes an ISO sensitivity setting, a shutter speed setting, an F value (aperture value) setting, and the like. Information and instructions regarding the imaging settings input from the operation unit 21 are sent to the CPU 17. At this time, the CPU 17 performs processing based on information and instructions input from the operation unit 21 and determines the imaging condition of the digital camera 10. The imaging conditions are stored in the RAM 19.
The D / A conversion unit 22 performs analog conversion on the digital image after image processing output from the image processing unit 14. The D / A conversion unit 22 outputs the analog-converted image to the display unit 23.
The display unit 23 is a liquid crystal display, for example, and can display the captured image received from the D / A conversion unit 22 under the control of the CPU 108.
以下、画像処理部１４の構成について具体的に説明する。
図２は、画像処理部１４の構成例を示すブロック図である。図２に示すように、画像処理部１４は、図１の信号処理部１３が出力したデジタル画像を入力画像Ｉｉｎとして入力する入力端子１４１と、画像処理後の画像を出力画像Ｉｏｕｔとしてエンコーダ１５及びＤ／Ａ変換部２２に出力する出力端子１４２とを備える。また、画像処理部１４は、第一の画像処理部１４３と、第二の画像処理部１４４と、パラメータ設定部１４５と、を備える。パラメータ設定部１４５は、統計情報取得部１４６と、画像処理結果推定部（以下、単に「推定部」ともいう。）１４７と、画像処理決定部１４８と、を備える。
Hereinafter, the configuration of the image processing unit 14 will be specifically described.
FIG. 2 is a block diagram illustrating a configuration example of the image processing unit 14. As shown in FIG. 2, the image processing unit 14 includes an input terminal 141 that inputs a digital image output from the signal processing unit 13 of FIG. 1 as an input image Iin, an encoder 15 that outputs an image after image processing as an output image Iout, And an output terminal 142 that outputs to the D / A converter 22. The image processing unit 14 includes a first image processing unit 143, a second image processing unit 144, and a parameter setting unit 145. The parameter setting unit 145 includes a statistical information acquisition unit 146, an image processing result estimation unit (hereinafter also simply referred to as “estimation unit”) 147, and an image processing determination unit 148.
第一の画像処理部１４３は、入力端子１４１から入力された入力画像Ｉｉｎに対し、第一の画像処理を実施する。第二の画像処理部１４４は、第一の画像処理部１４３に後続して第一の画像処理部１４３による第一の画像処理後の画像に対し、第一の画像処理とは異なる第二の画像処理を実施する。なお、以下の説明では、第一の画像処理を施す前の画像を第一入力画像、第一の画像処理を施した後の画像（第二の画像処理を施す前の画像）を第一出力画像（第二入力画像）、第二の画像処理を施した後の画像を第二出力画像ともいう。また、本実施形態では、画像処理部１４は、入力画像Ｉｉｎに対して２つの画像処理を順次実施するものとし、前段の第一の画像処理をＮＲ処理、後段の第二の画像処理をシャープネス処理として説明する。但し、第一の画像処理及び第二の画像処理は、これに限定されない。また、入力画像Ｉｉｎに対して実施する画像処理の数も、これに限定されない。 The first image processing unit 143 performs first image processing on the input image Iin input from the input terminal 141. The second image processing unit 144 performs a second process different from the first image processing on the image after the first image processing unit 143 and the first image processing performed by the first image processing unit 143. Perform image processing. In the following description, the image before the first image processing is the first input image, and the image after the first image processing (the image before the second image processing) is the first output. An image (second input image) and an image after the second image processing are also referred to as a second output image. In this embodiment, the image processing unit 14 sequentially performs two image processes on the input image Iin. The first image process at the front stage is NR process, and the second image process at the rear stage is sharpness. This will be described as processing. However, the first image processing and the second image processing are not limited to this. Further, the number of image processes performed on the input image Iin is not limited to this.
パラメータ設定部１４５は、パラメータ設定処理を行い、第一の画像処理で用いるパラメータと、第二の画像処理で用いるパラメータとの最適な組み合わせを設定する。本実施形態では、各画像処理間の影響を複合的に考慮し、最適なパラメータの組み合わせを設定する。具体的には、パラメータ設定部１４５は、第一及び第二の画像処理を実施した画像処理結果として、出力端子１４２から出力される出力画像Ｉｏｕｔの画質を推定し、当該画質が最良となるパラメータの組み合わせを設定する。画像処理結果（画質）の推定に際し、パラメータ設定部１４５は、入力画像Ｉｉｎから当該入力画像Ｉｉｎの統計量に関する情報（以下、「統計情報」という。）を取得する。そして、パラメータ設定部１４５は、その統計情報をもとに上記の画像処理結果（画質）を推定する。 The parameter setting unit 145 performs parameter setting processing, and sets an optimal combination of parameters used in the first image processing and parameters used in the second image processing. In the present embodiment, the optimum combination of parameters is set in consideration of the influence between image processing in a complex manner. Specifically, the parameter setting unit 145 estimates the image quality of the output image Iout output from the output terminal 142 as the image processing result obtained by performing the first and second image processing, and the parameter that provides the best image quality. Set the combination. In estimating the image processing result (image quality), the parameter setting unit 145 acquires information (hereinafter referred to as “statistic information”) regarding the statistic of the input image Iin from the input image Iin. Then, the parameter setting unit 145 estimates the image processing result (image quality) based on the statistical information.
統計情報取得部１４６は、入力画像Ｉｉｎの統計情報を取得する。本実施形態では、統計情報として、画像の輝度のヒストグラムと周波数特性（周波数パワースペクトル）のべき乗係数との２つを取得する。なお、統計情報は少なくとも１つ取得すればよく、これに限定されるものではない。例えば、画像の平均値やエッジの曲率、コントラスト比などを用いてもよい。推定部１４７は、統計情報取得部１４６で取得した入力画像Ｉｉｎの統計情報を用いて、入力画像Ｉｉｎに対して第一の画像処理を実施した画像処理結果を推定し、さらに第一の画像処理の推定結果に対して第二の画像処理を実施した画像処理結果を推定する。画像処理決定部１４８は、推定部１４７の推定結果に基づいて、第一及び第二の画像処理の最適なパラメータを決定する。 The statistical information acquisition unit 146 acquires statistical information of the input image Iin. In the present embodiment, two pieces of information are acquired as statistical information: a histogram of luminance of an image and a power coefficient of a frequency characteristic (frequency power spectrum). Note that at least one piece of statistical information may be acquired, and the present invention is not limited to this. For example, an average image value, edge curvature, contrast ratio, or the like may be used. The estimation unit 147 estimates the image processing result obtained by performing the first image processing on the input image Iin using the statistical information of the input image Iin acquired by the statistical information acquisition unit 146, and further performs the first image processing. The image processing result obtained by performing the second image processing on the estimation result is estimated. The image processing determination unit 148 determines optimal parameters for the first and second image processing based on the estimation result of the estimation unit 147.
次に、画像処理部１４の動作について、図３を参照しながら具体的に説明する。図３の処理は、デジタルカメラ１０のＣＰＵ１７が、必要なプログラムを読み出して実行することにより実現される。ただし、図３の処理の一部または全部が、専用のハードウェアにより実現されてもよい。図３の処理は、例えば入力画像を入力したタイミングで開始される。なお、図３の処理の開始タイミングは、上記のタイミングに限らない。
先ずＳ１において、画像処理部１４は、入力端子１４１から入力画像Ｉｉｎを取得する。次にＳ２において、統計情報取得部１４６は、入力画像Ｉｉｎから統計情報Ｉを取得する。本実施形態では、統計情報Ｉとして、画像の輝度のヒストグラムＨ及び周波数特性のべき乗係数ａを取得する。輝度ヒストグラムＨは、以下の式で表わされる。
Next, the operation of the image processing unit 14 will be specifically described with reference to FIG. The processing of FIG. 3 is realized by the CPU 17 of the digital camera 10 reading and executing a necessary program. However, part or all of the processing in FIG. 3 may be realized by dedicated hardware. The process of FIG. 3 is started at the timing when an input image is input, for example. The start timing of the process in FIG. 3 is not limited to the above timing.
First, in S <b> 1, the image processing unit 14 acquires an input image Iin from the input terminal 141. Next, in S2, the statistical information acquisition unit 146 acquires the statistical information I from the input image Iin. In the present embodiment, as the statistical information I, a histogram H of the luminance of the image and a power coefficient a of the frequency characteristic are acquired. The luminance histogram H is expressed by the following formula.
ここで、ｉは階調数を表し、例えば８ｂｉｔの画像であれば０から２５５の数値をとる。Ｐ（ｘ，ｙ）は、入力画像Ｉｉｎの位置（ｘ，ｙ）における画素値を表し、ｊは、入力画像Ｉｉｎの画素数を表す。Ｈ［ｉ］は、入力画像Ｉｉｎにおける階調ｉの頻度を表し、入力画像Ｉｉｎにおいて画素値が“ｉ”である画素の数をカウントし、画素数ｊで割ることで得られる。輝度ヒストグラムＨの例を図４に示す。図４において、横軸は階調であり、縦軸は各階調の頻度である。
次に、周波数特性のべき乗係数ａの算出方法について説明する。
自然画画像の周波数パワースペクトルpは、ｐ（ｆ）≒ｋｆaと近似できる。ここで、ｆは周波数であり、ｋは定数である。すなわち、図５に示すように、横軸にｌｏｇ周波数、縦軸にｌｏｇパワーをとると、べき乗係数ａは、破線Ａで示す一次関数（ｌｏｇ（ｐ（ｆ））＝ｌｏｇ（ｋ）＋ａ・ｌｏｇ（ｆ））の傾きとして表現される。周波数特性のべき乗係数ａは、以下の式で求められる。
Here, i represents the number of gradations, and takes a numerical value from 0 to 255 for an 8-bit image, for example. P (x, y) represents the pixel value at the position (x, y) of the input image Iin, and j represents the number of pixels of the input image Iin. H [i] represents the frequency of the gradation i in the input image Iin, and is obtained by counting the number of pixels having a pixel value “i” in the input image Iin and dividing by the number of pixels j. An example of the luminance histogram H is shown in FIG. In FIG. 4, the horizontal axis is the gradation, and the vertical axis is the frequency of each gradation.
Next, a method for calculating the power coefficient a of the frequency characteristic will be described.
Frequency power spectrum p a natural image image can be approximated as p (f) ≒ kf a. Here, f is a frequency and k is a constant. That is, as shown in FIG. 5, when the log frequency is taken on the horizontal axis and the log power is taken on the vertical axis, the power coefficient a is a linear function (log (p (f)) = log (k) + a · log (f)). The power coefficient a of the frequency characteristic is obtained by the following equation.
図３に戻って、Ｓ３では、推定部１４７は、Ｓ２において取得した統計情報Ｉをもとに、入力画像Ｉｉｎに対して第一の画像処理が実施された際に得られる出力画像（第一出力画像）の統計情報（第一の出力統計情報）Ｉ´を算出する。具体的には、統計情報Ｉを用いて、予めＲＯＭ１８等に格納している第一のデータベースを参照し、第一の出力統計情報Ｉ´を算出する。当該データベースには、第一の画像処理を施す前の第一入力画像に対応するサンプル画像の統計情報と、その第一入力画像に対して第一の画像処理を施した後の第一出力画像の統計情報とが対応付けられて複数格納されている。
推定部１４７は、入力画像Ｉｉｎの統計情報Ｉとデータベース上の第一入力画像の統計情報とを比較し、両者の類似度に基づいて第一の出力統計情報Ｉ´を推定する。この推定処理は、同一の統計情報（画像統計量）を有する異なる入力画像に対して同一パラメータの画像処理を適用したとき、出力画像の統計情報（画像統計量）も同一になるという仮定に基づくものである。このＳ３では、図６に示す処理を実行する。
Returning to FIG. 3, in S3, the estimation unit 147 outputs an output image (first image) obtained when the first image processing is performed on the input image Iin based on the statistical information I acquired in S2. Statistical information (first output statistical information) I ′ of the output image) is calculated. Specifically, the first output statistical information I ′ is calculated using the statistical information I by referring to a first database stored in advance in the ROM 18 or the like. In the database, statistical information of the sample image corresponding to the first input image before the first image processing is performed, and the first output image after the first image processing is performed on the first input image A plurality of pieces of statistical information are stored in association with each other.
The estimation unit 147 compares the statistical information I of the input image Iin with the statistical information of the first input image on the database, and estimates the first output statistical information I ′ based on the similarity between the two. This estimation processing is based on the assumption that when image processing with the same parameter is applied to different input images having the same statistical information (image statistics), the statistical information (image statistics) of the output image is also the same. Is. In S3, the process shown in FIG. 6 is executed.
先ずＳ３１において、推定部１４７は、第一の画像処理のパラメータｐｒｍ１を選択する。パラメータｐｒｍ１は、予め記憶されたパラメータ候補の中から１つを選択する。次にＳ３２では、推定部１４７は、第一のデータベースから、第一の画像処理のパラメータがＳ３１において選択したパラメータｐｒｍ１であるときの、第一入力画像の統計情報Ｉnと第一出力画像の統計情報Ｉn´との組み合わせを取得する。第一のデータベースの構成例を図７に示す。 First, in S31, the estimation unit 147 selects the parameter prm1 for the first image processing. The parameter prm1 is selected from parameter candidates stored in advance. Next, in S32, the estimation unit 147, from the first database, when the parameters of the first image processing is a parameter prm1 selected in S31, the statistics I n the first output image of the first input image A combination with the statistical information I n ′ is acquired. A configuration example of the first database is shown in FIG.
図７に示すように、第一のデータベースには、画像番号、画像処理パラメータ（パラメータ候補）、第一入力画像の統計情報Ｉn、及び第一出力画像の統計情報Ｉn´が格納されている。ここで、画像番号はサンプル画像の識別ＩＤである。図７に示す例では、サンプル画像である第一入力画像は、ｍ種類としている。また、統計情報Ｉnは、画像番号ｎの第一入力画像から取得した統計情報であり、ヒストグラムＨnとべき乗係数ａnとを含む。ヒストグラムＨnはベクトル値であり、例えば８ｂｉｔ画像の場合、ヒストグラムのビン数は２５６となる（Ｈ＝｛ｈ（１），ｈ（２），…ｈ（２５６）｝）。また、べき乗係数ａnはスカラー値である。さらに、統計情報Ｉn´は、画像番号ｎの第一入力画像に対して第一の画像処理を実施した後の第一出力画像から取得した統計情報であり、ヒストグラムＨn´とべき乗係数ａn´とを含む。 As shown in FIG. 7, in the first database, image number, image processing parameters (parameter candidate), and statistics I n the first input image, and statistical information I n the first output image 'is stored Yes. Here, the image number is an identification ID of the sample image. In the example shown in FIG. 7, there are m types of first input images that are sample images. The statistical information I n is the statistical information acquired from the first input image of the image number n, including a histogram H n and a power factor a n. The histogram H n is a vector value. For example, in the case of an 8-bit image, the number of bins in the histogram is 256 (H = {h (1), h (2),... H (256)}). Further, power factor a n is the scalar value. Further, the statistical information I n ′ is statistical information acquired from the first output image after the first image processing is performed on the first input image with the image number n, and includes the histogram H n ′ and the power coefficient a n '.
Ｓ３３では、推定部１４７は、Ｓ３２において取得した統計情報の組み合わせをもとに、入力画像Ｉｉｎに対して第一の画像処理を施した際に得られる出力画像（第一出力画像）の統計情報Ｉ´を算出する。具体的には、入力画像Ｉｉｎの統計情報Ｉとデータベースから取得した統計情報Ｉnとの類似度を用い、データベースから取得した統計情報Ｉn´の重み付き平均をとることで、統計情報Ｉ´を算出する。すなわち、統計情報Ｉ´に含まれるヒストグラムＨ´とべき乗係数ａ´とは、次式により求められる。 In S33, the estimation unit 147 provides statistical information on the output image (first output image) obtained when the first image processing is performed on the input image Iin based on the combination of the statistical information acquired in S32. I ′ is calculated. More specifically, the input image statistics using the degree of similarity and statistics I n acquired from I and database Iin, by taking a weighted average of the statistics I n 'obtained from the database, statistics I' Is calculated. That is, the histogram H ′ and the power coefficient a ′ included in the statistical information I ′ are obtained by the following equations.
ここで、ｗ（Ｉ，Ｉn）は、統計情報Ｉと統計情報Ｉnとの類似度を表す。ｗ（Ｉ，Ｉn）は、例えば次式により定義する。ただし、類似度の定義はこれに限定されない。 Here, w (I, I n) represents the similarity between the statistical information I n and statistics I. w (I, I n), for example defined by the following equation. However, the definition of similarity is not limited to this.
ここで、ｄｉｓｔ（Ｉ，Ｉn）は、統計情報Ｉと統計情報Ｉnとの距離を表すものであり、ヒストグラムのＫＬ（Kullback-Leibler）情報量とべき乗係数の絶対差との積で表される。また、ＫＬ情報量とは、確率分布の差異を表す尺度であり、両者の分布が等しいとき（上記（４）式では、ｈ＝ｈnのとき）、０をとる。
図３に戻って、Ｓ４では、推定部１４７は、Ｓ３において算出した統計情報Ｉ´をもとに、第二入力画像（第一出力画像）に対して第二の画像処理が実施された際の出力画像（第二出力画像）の画質Ｑを推定する。具体的には、統計情報Ｉ´を用いて、予めＲＯＭ１８等に格納している第二のデータベースを参照し、画質Ｑを推定する。当該データベースには、第二入力画像に対応するサンプル画像の統計情報と、その第二入力画像に対して第二の画像処理を施した後の第二出力画像の画質とが対応付けられて複数格納されている。
Here, dist (I, I n) is representative of the distance between the statistics I n and statistics I, table by the product of the absolute difference of KL (Kullback-Leibler) the amount of information and power factor of the histogram Is done. The KL information amount is a scale representing a difference in probability distribution, and takes 0 when both distributions are equal (in the above equation (4), when h = h n ).
Returning to FIG. 3, in S4, the estimation unit 147 performs the second image processing on the second input image (first output image) based on the statistical information I ′ calculated in S3. The image quality Q of the output image (second output image) is estimated. Specifically, the image quality Q is estimated using the statistical information I ′ with reference to a second database stored in advance in the ROM 18 or the like. The database associates statistical information of the sample image corresponding to the second input image with the image quality of the second output image after the second image processing is performed on the second input image. Stored.
推定部１４７は、Ｓ３において算出した第二入力画像（第一出力画像）の統計情報Ｉ´とデータベース上の第二入力画像の統計情報とを比較し、両者の類似度に基づいて画質Ｑを推定する。この推定処理は、同一の統計情報（画像統計量）を有する異なる入力画像に対して同一パラメータの画像処理を適用したとき、出力画像の画質も同一になるという仮定に基づくものである。このＳ４では、図８に示す処理を実行する。
先ずＳ４１において、推定部１４７は、第二の画像処理のパラメータｐｒｍ２を選択する。パラメータｐｒｍ２は、予め記憶されたパラメータ候補の中から１つを選択する。次にＳ４２では、推定部１４７は、第二のデータベースから、第二の画像処理のパラメータがＳ４１において選択したパラメータｐｒｍ２であるときの、第二入力画像の統計情報Ｉn´と第二出力画像の画質Ｑnとの組み合わせを取得する。第二のデータベースの構成例を図９に示す。
The estimation unit 147 compares the statistical information I ′ of the second input image (first output image) calculated in S3 with the statistical information of the second input image on the database, and determines the image quality Q based on the similarity between the two. presume. This estimation process is based on the assumption that when image processing with the same parameter is applied to different input images having the same statistical information (image statistics), the image quality of the output image is also the same. In S4, the process shown in FIG. 8 is executed.
First, in S41, the estimation unit 147 selects the parameter prm2 for the second image processing. The parameter prm2 is selected from parameter candidates stored in advance. Next, in S42, the estimation unit 147 determines, from the second database, the statistical information I n ′ of the second input image and the second output image when the second image processing parameter is the parameter prm2 selected in S41. A combination with the image quality Q n of the image is acquired. A configuration example of the second database is shown in FIG.
図９に示すように、第二のデータベースには、画像番号、画像処理パラメータ（パラメータ候補）、第二入力画像の統計情報Ｉn´、及び第二出力画像の画質Ｑnが格納されている。ここで、第二出力画像の画質Ｑnは、画素番号ｎの第二入力画像に対して第二の画像処理を実施した後の第二出力画像から取得した画質に関する評価値（定量値）である。本実施形態では、画質Ｑnは、鮮鋭性評価値Ｓnとノイズ評価値Ｎnである。ここで、鮮鋭性評価値とノイズ評価値とは、ＰＳＮＲ（Peak Signal to Noise Ratio）などの定量評価値であってもよいし、人が目視で評価付けを行った主観評価値であってもよい。なお、画質Ｑnは、画像の画質を示す評価値であればよく、これらに限定されない。 As shown in FIG. 9, the second database stores image numbers, image processing parameters (parameter candidates), statistical information I n ′ of the second input image, and image quality Q n of the second output image. . Here, the image quality Q n of the second output image is an evaluation value (quantitative value) related to the image quality acquired from the second output image after the second image processing is performed on the second input image with the pixel number n. is there. In the present embodiment, the image quality Q n is a sharpness evaluation value S n and a noise evaluation value N n . Here, the sharpness evaluation value and the noise evaluation value may be a quantitative evaluation value such as a PSNR (Peak Signal to Noise Ratio) or a subjective evaluation value visually evaluated by a person. Good. The image quality Q n may be an evaluation value indicating the image quality of the image, and is not limited thereto.
Ｓ４３では、推定部１４７は、Ｓ４２において取得した統計情報の組み合わせをもとに、第二入力画像に対して第二の画像処理を施した際に得られる出力画像（第二出力画像）の画質Ｑを推定する。具体的には、第二入力画像の統計情報Ｉ´とデータベースから取得した統計情報Ｉn´との類似度を用い、データベースから取得した画質Ｑnの重み付き平均をとることで、画質Ｑを算出する。すなわち、画質Ｑに含まれる鮮鋭性評価値Ｓとノイズ評価値Ｎとは、次式により求められる。 In S43, the estimation unit 147 performs image quality of an output image (second output image) obtained when the second image processing is performed on the second input image based on the combination of statistical information acquired in S42. Q is estimated. Specifically, by using the similarity between the statistical information I ′ of the second input image and the statistical information I n ′ acquired from the database, and taking the weighted average of the image quality Q n acquired from the database, the image quality Q is obtained. calculate. That is, the sharpness evaluation value S and the noise evaluation value N included in the image quality Q are obtained by the following equations.
ここで、ｗ（Ｉ´，Ｉn´）は、統計情報Ｉ´と統計情報Ｉn´との類似度を表す。ｗ（Ｉ´，Ｉn´）は、例えば、上述したｗ（Ｉ，Ｉn）と同様に定義する。
図３に戻って、Ｓ５では、推定部１４７は、第一の画像処理及び第二の画像処理の全てのパラメータ候補について画像処理結果の推定を実施したか否かを判定する。そして、画像処理結果の推定が完了していない場合にはＳ３へ戻り、画像処理結果の推定が完了している場合にはＳ６に移行する。
Ｓ６では、画像処理決定部１４８は、第一の画像処理に対して算出した統計情報の推定量Ｉnをもとに推定される、第二の画像処理を実施した後の最終的な画質Ｑの推定結果が最良となるパラメータの組み合わせを決定する。そして、画像処理決定部１４８は、決定したパラメータを第一の画像処理部１４３及び第二の画像処理部１４４にそれぞれ設定する。具体的には、次式をもとに画質Ｑ（鮮鋭性評価値Ｓとノイズ評価値Ｎ）が最良となる画像処理パラメータの組み合わせｐ*を求める。
Here, w (I ′, I n ′) represents the similarity between the statistical information I ′ and the statistical information I n ′. w (I', I n ') uses, for example, w (I, I n) defined in the same manner as.
Returning to FIG. 3, in S <b> 5, the estimation unit 147 determines whether or not the estimation of the image processing result has been performed for all parameter candidates of the first image processing and the second image processing. Then, when the estimation of the image processing result is not completed, the process returns to S3, and when the estimation of the image processing result is completed, the process proceeds to S6.
In S6, the image processing determination unit 148 is estimated based on the estimated amount I n of the calculated statistical information to the first image processing, the final image quality Q after performing the second image processing The combination of parameters that gives the best estimation result is determined. Then, the image processing determination unit 148 sets the determined parameters in the first image processing unit 143 and the second image processing unit 144, respectively. Specifically, a combination p * of image processing parameters that provides the best image quality Q (sharpness evaluation value S and noise evaluation value N) is obtained based on the following equation.
ここで、Ｓprm1, prm2及びＮprm1, prm2は、第一の画像処理のパラメータがｐｒｍ１、第二の画像処理のパラメータがｐｒｍ２であるときの、鮮鋭性評価値とノイズ評価値である。また、βは定数であり、ノイズ及び鮮鋭性をどの程度重視するのかを決定する係数である。なお、本実施形態では、鮮鋭性評価値Ｓとノイズ評価値Ｎとは、値が小さいほど画質が良いことを意味する評価値とし、鮮鋭性評価値Ｓとノイズ評価値Ｎとの重み付き和が最小となるパラメータｐｒｍ１，ｐｒｍ２を、最適なパラメータの組み合わせとする。但し、最適なパラメータの組み合わせを決定する方法は、式（６）を用いた方法に限定されるものではない。例えば、画質Ｑが最良となるパラメータの組み合わせを対応づけたテーブルを用いて決定する方法などでもよい。また、画質Ｑが予め設定した基準以上の画質となるパラメータの組み合わせを、最適なパラメータの組み合わせとしてもよい。
Ｓ７では、第一の画像処理部１４３は、Ｓ６において設定された第一の画像処理のパラメータを用いて、入力画像Ｉｉｎに対して第一の画像処理を行う。Ｓ８では、第二の画像処理部１４４は、Ｓ６において設定された第二の画像処理のパラメータを用いて、第一の画像処理後の画像に対して第二の画像処理を行う。
Here, S prm1, prm2 and N prm1, prm2 are the sharpness evaluation value and the noise evaluation value when the first image processing parameter is prm1 and the second image processing parameter is prm2. Β is a constant and is a coefficient that determines how much importance is placed on noise and sharpness. In the present embodiment, the sharpness evaluation value S and the noise evaluation value N are evaluation values that mean that the smaller the value, the better the image quality, and the weighted sum of the sharpness evaluation value S and the noise evaluation value N. The parameters prm1 and prm2 that minimize the value are the optimal parameter combinations. However, the method for determining the optimum parameter combination is not limited to the method using Equation (6). For example, a method of determining using a table in which a combination of parameters with the best image quality Q is associated may be used. A combination of parameters in which the image quality Q is higher than a preset reference image quality may be an optimal parameter combination.
In S7, the first image processing unit 143 performs the first image processing on the input image Iin using the first image processing parameter set in S6. In S8, the second image processing unit 144 performs second image processing on the image after the first image processing, using the second image processing parameters set in S6.
以下、本実施形態における具体的な動作例について説明する。本動作例では、第一の画像処理としてＮＲ処理、第二の画像処理としてシャープネス処理を実施するものとする。すなわち、デジタルカメラ１０内部の画像処理では、ＮＲ処理によってぼけた画像を回復させるためにシャープネス処理を実施する。
シャープネス処理は、エッジ検出などで高周波成分を抽出し、その部分の振幅を伸長させることにより、鮮鋭性を改善する画像処理である。このため、シャープネス処理の効果は、画像のヒストグラムによって異なるという性質がある。例えば、ビルなどのコントラストが高い（ヒストグラムの幅が広い）画像では、エッジを高精度に抽出できるため、鮮鋭感の改善効果が高い。一方、森などの低コントラスト（ヒストグラムの幅が狭い）のエッジを多く含む画像では、エッジ検出が困難であり、鮮鋭感の改善効果が低い。このように、後段のシャープネス処理の画質改善効果は入力画像ごとに異なる。そのため、本実施形態では、この点を考慮して前段のＮＲ処理の最適パラメータを決定する。すなわち、入力画像に応じて、ＮＲ処理とシャープネス処理との最適なパラメータの組み合わせを決定する。
Hereinafter, a specific operation example in the present embodiment will be described. In this operation example, NR processing is performed as the first image processing, and sharpness processing is performed as the second image processing. That is, in the image processing inside the digital camera 10, sharpness processing is performed in order to recover an image blurred by NR processing.
Sharpness processing is image processing that improves sharpness by extracting a high-frequency component by edge detection or the like and expanding the amplitude of that portion. For this reason, the effect of the sharpness process is different depending on the histogram of the image. For example, in an image with a high contrast such as a building (having a wide histogram), the edge can be extracted with high accuracy, so that the sharpness improving effect is high. On the other hand, in an image including many edges with low contrast (histogram width is narrow) such as a forest, it is difficult to detect the edge, and the effect of improving sharpness is low. As described above, the image quality improvement effect of the subsequent sharpness processing differs for each input image. Therefore, in the present embodiment, the optimum parameter for the previous NR process is determined in consideration of this point. That is, an optimal combination of parameters for NR processing and sharpness processing is determined according to the input image.
図１０は、ビルなどのコントラストが高い画像を入力画像Ｉｉｎとした場合（動作例１）の画質Ｑの推定結果を示す図である。この動作例１では、説明を簡略化するためにＮＲ処理のパラメータ候補を３つ（弱、中、強）とし、シャープネス処理のパラメータ候補を１つ（ｐ１）とする。
画像処理部１４は、入力画像Ｉｉｎを取得すると（図３のＳ１）、先ず、入力画像Ｉｉｎの統計情報Ｉ（ヒストグラムＨ、べき乗係数ａ）を取得する（Ｓ２）。次に、画像処理部１４は、ＮＲ処理のパラメータ３種類それぞれに対して、ＮＲ処理後の出力画像の統計情報Ｉ´（ヒストグラムＨ´、べき乗係数ａ´）を推定する（Ｓ３）。ＮＲ処理では、ヒストグラムはほとんど変化しないため、図１０に示すように、ＮＲ出力画像のヒストグラムＨ´はパラメータによらずほぼ一定となる。一方、ＮＲ処理の強度が変化すると、高周波成分のパワーが変化するため、図１０に示すように、べき乗係数ａ´はＮＲ処理パラメータによって変化する。
FIG. 10 is a diagram illustrating an estimation result of the image quality Q when an image with high contrast such as a building is the input image Iin (operation example 1). In this operation example 1, in order to simplify the description, the parameter candidates for NR processing are set to three (weak, medium, strong), and the parameter candidate for sharpness processing is set to one (p1).
When acquiring the input image Iin (S1 in FIG. 3), the image processing unit 14 first acquires the statistical information I (histogram H, power coefficient a) of the input image Iin (S2). Next, the image processing unit 14 estimates statistical information I ′ (histogram H ′, power coefficient a ′) of the output image after NR processing for each of the three types of parameters of NR processing (S3). In the NR process, since the histogram hardly changes, as shown in FIG. 10, the histogram H ′ of the NR output image is substantially constant regardless of the parameters. On the other hand, when the intensity of the NR process changes, the power of the high frequency component changes, so that the power coefficient a ′ changes depending on the NR process parameter, as shown in FIG.
画像処理部１４は、ＮＲ出力画像の統計情報Ｉ´を推定すると、次に、ＮＲ処理とシャープネス処理それぞれの処理の推定結果に基づいた画質Ｑの推定結果を算出する。具体的には、ＮＲ出力画像の統計情報Ｉ´に基づいて、当該ＮＲ出力画像を入力としてシャープネス処理を実施した後の出力画像の画質Ｑを推定する（図３のＳ４）。この動作例１では、シャープネス処理のパラメータは１つとしているため、第一の画像処理と第二の画像処理とのパラメータ組み合わせ候補は３種類となる。したがって、この画質推定処理の結果、図１０に示すように、３種類の出力画像の画質Ｑが推定される。ここで、各評価値は、値が小さいほど画質が良いことを意味する。 After estimating the statistical information I ′ of the NR output image, the image processing unit 14 next calculates an estimation result of the image quality Q based on the estimation results of the NR process and the sharpness process. Specifically, based on the statistical information I ′ of the NR output image, the image quality Q of the output image after performing the sharpness process using the NR output image as an input is estimated (S4 in FIG. 3). In this operation example 1, since there is one parameter for sharpness processing, there are three types of parameter combination candidates for the first image processing and the second image processing. Therefore, as a result of this image quality estimation process, the image quality Q of the three types of output images is estimated as shown in FIG. Here, each evaluation value means that the smaller the value, the better the image quality.
上述したように、画像処理対象がコントラストの高い画像である場合、シャープネス処理による鮮鋭性改善効果は高い。この動作例１では、ビルなどのコントラストが高い画像を入力画像Ｉｉｎとしており、ＮＲ出力画像のコントラストは高い。そのため、動作例１では、ＮＲ処理の強度（パラメータ）によらず、シャープネス処理によって適切に鮮鋭性が回復されるため、鮮鋭性評価値は比較的小さい値（０．３）で一定となる。一方、ノイズ評価値は、ＮＲ処理の強度が強いほど、画質が良いことを意味する値をとる。鮮鋭性評価値はＮＲ処理の強度によらず一定であるため、動作例１では、ノイズ評価値Ｎに基づいて画質が最良となる最適パラメータを決定することができる。すなわち、この動作例１では、ノイズ評価値Ｎが最小となるパラメータが最適であるとして、ＮＲ処理のパラメータを「強」とするのが最適であると判断される。
図１１は、森などのコントラストが低い画像を入力画像Ｉｉｎとした場合（動作例２）の画質Ｑの推定結果を示す図である。この動作例２でも、上記の動作例１と同様に、ＮＲ処理のパラメータ候補を３つ（弱、中、強）とし、シャープネス処理のパラメータ候補を１つ（ｐ１）とする。
As described above, when the image processing target is an image with high contrast, the sharpness improving effect by the sharpness processing is high. In this operation example 1, an image with high contrast such as a building is used as the input image Iin, and the contrast of the NR output image is high. Therefore, in the first operation example, the sharpness process appropriately recovers the sharpness regardless of the strength (parameter) of the NR process, and thus the sharpness evaluation value is constant at a relatively small value (0.3). On the other hand, the noise evaluation value takes a value that means that the higher the strength of the NR process, the better the image quality. Since the sharpness evaluation value is constant regardless of the strength of the NR process, in the first operation example, the optimum parameter with the best image quality can be determined based on the noise evaluation value N. That is, in this operation example 1, it is determined that it is optimal to set the parameter of the NR process to “strong”, assuming that the parameter that minimizes the noise evaluation value N is optimal.
FIG. 11 is a diagram illustrating an estimation result of the image quality Q when an image with low contrast such as a forest is used as the input image Iin (operation example 2). In this operation example 2, as in the above operation example 1, the parameter candidates for NR processing are set to three (weak, medium, strong), and the parameter candidate for sharpness processing is set to one (p1).
画像処理部１４は、入力画像Ｉｉｎを取得すると（図３のＳ１）、先ず、入力画像Ｉｉｎの統計情報Ｉ（ヒストグラムＨ、べき乗係数ａ）を取得する（Ｓ２）。次に、画像処理部１４は、ＮＲ処理のパラメータ３種類それぞれに対して、ＮＲ処理後の出力画像の統計情報Ｉ´（ヒストグラムＨ´、べき乗係数ａ´）を推定する（Ｓ３）。ＮＲ処理では、ヒストグラムはほとんど変化しないため、図１１に示すように、ＮＲ出力画像のヒストグラムＨ´はパラメータによらずほぼ一定となる。一方、ＮＲ処理の強度が変化すると、高周波成分のパワーが変化するため、図１１に示すように、べき乗係数ａ´はＮＲ処理パラメータによって変化する。 When acquiring the input image Iin (S1 in FIG. 3), the image processing unit 14 first acquires the statistical information I (histogram H, power coefficient a) of the input image Iin (S2). Next, the image processing unit 14 estimates statistical information I ′ (histogram H ′, power coefficient a ′) of the output image after NR processing for each of the three types of parameters of NR processing (S3). In the NR process, since the histogram hardly changes, as shown in FIG. 11, the histogram H ′ of the NR output image is substantially constant regardless of the parameters. On the other hand, when the intensity of the NR process changes, the power of the high frequency component changes, so that the power coefficient a ′ changes depending on the NR process parameter as shown in FIG.
画像処理部１４は、ＮＲ出力画像の統計情報Ｉ´を推定すると、次に、ＮＲ処理とシャープネス処理それぞれの処理の推定結果に基づいた画質Ｑの推定結果を算出する。具体的には、ＮＲ出力画像の統計情報Ｉ´に基づいて、当該ＮＲ出力画像を入力としてシャープネス処理を実施した後の出力画像の画質Ｑを推定する（図３のＳ４）。
この動作例２では、コントラストが低い画像を入力画像Ｉｉｎとしており、ＮＲ出力画像のコントラストは低い。そのため、動作例２では、シャープネス処理による鮮鋭性改善効果が得づらい。特に、ＮＲ処理の強度（パラメータ）が強くなるほど鮮鋭性が回復されず、鮮鋭性評価値は比較的悪い値となる。一方、ノイズ評価値は、ＮＲ処理の強度が強いほど、画質が良いことを意味する値をとる。
After estimating the statistical information I ′ of the NR output image, the image processing unit 14 next calculates an estimation result of the image quality Q based on the estimation results of the NR process and the sharpness process. Specifically, based on the statistical information I ′ of the NR output image, the image quality Q of the output image after performing the sharpness process using the NR output image as an input is estimated (S4 in FIG. 3).
In this operation example 2, an image with low contrast is used as the input image Iin, and the contrast of the NR output image is low. Therefore, in the operation example 2, it is difficult to obtain the sharpness improving effect by the sharpness processing. In particular, as the strength (parameter) of NR processing increases, the sharpness is not recovered, and the sharpness evaluation value is a relatively bad value. On the other hand, the noise evaluation value takes a value that means that the higher the strength of the NR process, the better the image quality.
この場合、上記（６）式をもとに、鮮鋭性評価値とノイズ評価値との和を用いて出力画像の総合画質を算出し、画質が最良となる最適パラメータを決定する。この動作例２では、ＮＲ処理のパラメータが「弱」のときに画質が最良となると判断される。したがって、ＮＲ処理のパラメータを「弱」とするのが最適であると判断される。
動作例１に示すように、コントラストが高い入力画像の場合、シャープネスの鮮鋭性改善効果が高いため、ノイズリダクション（ＮＲ処理）を強めにかけ、後段のシャープネス処理で鮮鋭感を改善するというパラメータの組み合わせが最適である。一方で、動作例２に示すように、コントラストが低い入力画像の場合、シャープネス処理により十分な鮮鋭性改善効果が得られない。そのため、この場合は、ノイズリダクション（ＮＲ処理）は弱めにかけておき、鮮鋭性を十分に残した後、シャープネスで若干の鮮鋭性改善効果を得るという組み合わせが最適である。
In this case, based on the above equation (6), the total image quality of the output image is calculated using the sum of the sharpness evaluation value and the noise evaluation value, and the optimum parameter that provides the best image quality is determined. In this operation example 2, it is determined that the image quality is the best when the parameter of the NR process is “weak”. Therefore, it is determined that it is optimal to set the parameter of the NR process to “weak”.
As shown in Operation Example 1, in the case of an input image with high contrast, the sharpness improvement effect is high. Therefore, a combination of parameters that enhances noise reduction (NR processing) and improves the sharpness by subsequent sharpness processing. Is the best. On the other hand, as shown in the operation example 2, in the case of an input image with low contrast, a sufficient sharpness improvement effect cannot be obtained by the sharpness processing. Therefore, in this case, the combination of obtaining a slight sharpness improvement effect with the sharpness after leaving the noise reduction (NR process) weakly, leaving sufficient sharpness, is optimal.
このように、本実施形態では、画像ごとに異なる後段処理の画質改善効果を適切に推定し、画像処理間の最適なパラメータの組み合わせを決定することができる。最適なパラメータの組み合わせが設定可能となることで、シャープネス処理によりノイズリダクション処理のボケを適切に回復することができる。
なお、上記実施形態においては、画像処理の組み合わせをＮＲ処理とシャープネス処理との組み合わせとする場合について説明したが、これに限定されるものではない。例えば、第一の画像処理としてＮＲ処理、第二の画像処理として階調変換処理を実施してもよい。以下、この場合を例にとり、動作例３として説明する。
As described above, according to the present embodiment, it is possible to appropriately estimate the image quality improvement effect of the subsequent processing that is different for each image, and to determine an optimal parameter combination between the image processes. Since the optimum combination of parameters can be set, the blur of the noise reduction process can be appropriately recovered by the sharpness process.
In the above-described embodiment, the case where the combination of image processing is a combination of NR processing and sharpness processing has been described. However, the present invention is not limited to this. For example, NR processing may be performed as the first image processing, and gradation conversion processing may be performed as the second image processing. Hereinafter, taking this case as an example, an operation example 3 will be described.
階調変換処理は、画像にガンマカーブ（トーンカーブ）をかけることで階調変換を行う処理である。階調変換処理は、露出アンダーで撮影された画像を適正露出に戻したり、画像のコントラストを高めたりするなど、さまざまな目的で実施される。例えば、フォトレタッチアプリケーションなど、ユーザが画像の階調特性を変更するためにガンマカーブを調整することで実施される。この際、画像に含まれるノイズ量も同時に変化するという副作用がある。すなわち、ガンマカーブの形状によっては画像内のノイズを増幅したり鮮鋭性を劣化させたりすることがあり、この副作用の影響を考慮したノイズリダクション処理が必要である。 The gradation conversion process is a process for performing gradation conversion by applying a gamma curve (tone curve) to an image. The gradation conversion process is performed for various purposes, such as returning an image shot underexposed to proper exposure or increasing the contrast of the image. For example, such as a photo retouching application, the user adjusts the gamma curve in order to change the gradation characteristics of the image. At this time, there is a side effect that the amount of noise included in the image also changes simultaneously. That is, depending on the shape of the gamma curve, noise in the image may be amplified or sharpness may be deteriorated, and noise reduction processing in consideration of the effect of this side effect is necessary.
図１２は、動作例３の画質Ｑの推定結果を示す図である。この動作例３では、ＮＲ処理のパラメータ候補を３つ（弱、中、強）とし、階調変換処理のパラメータであるガンマカーブ候補を２つ（ｇ１、ｇ２）とする。ガンマカーブｇ１及びｇ２の例を、それぞれ図１３及び図１４に示す。
画像処理部１４は、入力画像Ｉｉｎを取得すると（図３のＳ１）、先ず、入力画像Ｉｉｎの統計情報Ｉ（ヒストグラムＨ、べき乗係数ａ）を取得する（Ｓ２）。次に、画像処理部１４は、ＮＲ処理のパラメータ３種類それぞれに対して、ＮＲ処理後の出力画像の統計情報Ｉ´（ヒストグラムＨ´、べき乗係数ａ´）を推定する（Ｓ３）。ＮＲ処理では、ヒストグラムはほとんど変化しないため、図１２に示すように、ＮＲ出力画像のヒストグラムＨ´はパラメータによらずほぼ一定となる。一方、ＮＲ処理の強度が変化すると、高周波成分のパワーが変化するため、図１２に示すように、べき乗係数ａ´はＮＲ処理パラメータによって変化する。
FIG. 12 is a diagram illustrating an estimation result of the image quality Q in the third operation example. In this operation example 3, NR process parameter candidates are set to three (weak, medium, and strong), and gamma curve candidates that are parameters of the gradation conversion process are set to two (g1, g2). Examples of gamma curves g1 and g2 are shown in FIGS. 13 and 14, respectively.
When acquiring the input image Iin (S1 in FIG. 3), the image processing unit 14 first acquires the statistical information I (histogram H, power coefficient a) of the input image Iin (S2). Next, the image processing unit 14 estimates statistical information I ′ (histogram H ′, power coefficient a ′) of the output image after NR processing for each of the three types of parameters of NR processing (S3). In the NR process, since the histogram hardly changes, as shown in FIG. 12, the histogram H ′ of the NR output image is almost constant regardless of the parameters. On the other hand, when the intensity of the NR process changes, the power of the high frequency component changes, so that the power coefficient a ′ changes depending on the NR process parameter, as shown in FIG.
画像処理部１４は、ＮＲ出力画像の統計情報Ｉ´を推定すると、次に、ＮＲ処理と階調変換処理それぞれの処理の推定結果に基づいた画質Ｑの推定結果を算出する。具体的には、ＮＲ出力画像の統計情報Ｉ´に基づいて、当該ＮＲ出力画像を入力として階調変換処理を実施した後の出力画像の画質Ｑを推定する（図３のＳ４）。この動作例３では、階調変換処理のガンマカーブは２つとしているため、第一の画像処理と第二の画像処理とのパラメータ組み合わせ候補は６種類となる。したがって、この画質推定処理の結果、図１２に示すように、ＮＲ処理パラメータとガンマカーブとの組み合わせに対応する６種類の出力画像の画質Ｑが推定される。 After estimating the statistical information I ′ of the NR output image, the image processing unit 14 next calculates an estimation result of the image quality Q based on the estimation results of the NR process and the gradation conversion process. Specifically, based on the statistical information I ′ of the NR output image, the image quality Q of the output image after performing the gradation conversion process using the NR output image as an input is estimated (S4 in FIG. 3). In this operation example 3, since there are two gamma curves for gradation conversion processing, there are six types of parameter combination candidates for the first image processing and the second image processing. Therefore, as a result of this image quality estimation process, as shown in FIG. 12, the image quality Q of six types of output images corresponding to the combination of the NR processing parameter and the gamma curve is estimated.
階調変換処理では、図１３に示すガンマカーブｇ１を適用した場合、入力画像の輝度情報をそのまま出力する。一方、図１４に示すガンマカーブｇ２を適用した場合、出力画像のコントラストは高まる。そのため、ガンマカーブｇ２を適用した場合、ガンマカーブｇ１を適用した場合と比べてノイズ評価値は悪くなり、鮮鋭性評価値は良くなる。
図１２に示す結果により、階調変換処理によりノイズが増大する場合には、予めノイズリダクションを強くかけ、ノイズ量を減らしておくことが好ましいことがわかる。また、階調変換処理によりコントラストが低下する場合には、ノイズリダクションを弱くかけておき、鮮鋭性の劣化を抑えることが好ましいことがわかる。
In the gradation conversion process, when the gamma curve g1 shown in FIG. 13 is applied, the luminance information of the input image is output as it is. On the other hand, when the gamma curve g2 shown in FIG. 14 is applied, the contrast of the output image increases. Therefore, when the gamma curve g2 is applied, the noise evaluation value becomes worse and the sharpness evaluation value becomes better than when the gamma curve g1 is applied.
From the results shown in FIG. 12, it can be seen that when noise increases due to the gradation conversion process, it is preferable to apply noise reduction in advance and reduce the amount of noise. Further, it can be seen that when the contrast is lowered by the gradation conversion process, it is preferable to reduce the noise reduction and suppress the deterioration of the sharpness.
本動作例３では、動作例２と同様に、上記（６）式をもとに、鮮鋭性評価値とノイズ評価値との和を用いて出力画像の総合画質を算出し、その総合画質が最良となる画像処理パラメータの組み合わせを選択する。この動作例３では、ＮＲ処理のパラメータが「強」で、階調変換処理のガンマカーブが「ｇ２」のときに画質が最良となることがわかる。したがって、動作例３では、ＮＲ処理のパラメータを「強」、階調変換処理のガンマカーブを「ｇ２」とするのが最適であると判断される。
このように、ガンマカーブの違いによる画質改善効果の変化を考慮することで、ノイズリダクション処理の最適なパラメータが設定可能である。
また、上記実施形態においては、２つの画像処理のパラメータの組み合わせを最適化する場合について説明した。しかしながら、画像処理の数は２つに限定されず、任意の数の画像処理に対応可能である。
In the third operation example, as in the second operation example, the total image quality of the output image is calculated using the sum of the sharpness evaluation value and the noise evaluation value based on the above equation (6). The best combination of image processing parameters is selected. In this operation example 3, it can be seen that the image quality is best when the parameter of the NR process is “strong” and the gamma curve of the gradation conversion process is “g2”. Therefore, in the operation example 3, it is determined that it is optimal to set the parameter of the NR process to “strong” and the gamma curve of the gradation conversion process to “g2”.
As described above, by considering the change in the image quality improvement effect due to the difference in the gamma curve, it is possible to set an optimum parameter for the noise reduction process.
In the above-described embodiment, the case has been described in which the combination of two image processing parameters is optimized. However, the number of image processing is not limited to two, and any number of image processing can be supported.
以下、例えば、画像処理の数が３つの場合について説明する。
図１５は、入力画像Ｉｉｎに対して３つの画像処理を順次実施する場合の画像処理部１４の構成を示すブロック図である。この図１５に示すように、画像処理部１４は、図２に示す構成に加えて第三の画像処理部１４９を備える。
図１６は、図１５の画像処理部１４における動作を示すフローチャートである。この図１６の処理は、上述した図３と同様に、デジタルカメラ１０のＣＰＵ１７が、必要なプログラムを読み出して実行することにより実現される。ただし、図１６の処理の一部または全部が、専用のハードウェアにより実現されてもよい。図１６の処理は、例えば入力画像を入力したタイミングで開始される。なお、図１６の処理の開始タイミングは、上記のタイミングに限らない。
Hereinafter, for example, a case where the number of image processes is three will be described.
FIG. 15 is a block diagram illustrating a configuration of the image processing unit 14 when three image processes are sequentially performed on the input image Iin. As shown in FIG. 15, the image processing unit 14 includes a third image processing unit 149 in addition to the configuration shown in FIG.
FIG. 16 is a flowchart showing the operation of the image processing unit 14 of FIG. The processing in FIG. 16 is realized by the CPU 17 of the digital camera 10 reading and executing a necessary program, as in FIG. 3 described above. However, part or all of the processing in FIG. 16 may be realized by dedicated hardware. The process of FIG. 16 is started at the timing when an input image is input, for example. Note that the start timing of the processing in FIG. 16 is not limited to the above timing.
Ｓ１１及びＳ１２は、図３のＳ１及びＳ２と同様である。Ｓ１３では、推定部１４７は、Ｓ１２において取得した入力画像Ｉｉｎの統計情報Ｉをもとに、第一の画像処理が実施された際の出力画像（第一出力画像）の統計情報（第一の出力統計情報）Ｉ´を算出する。このＳ１３における基本動作は、図３のＳ３と同様である。
Ｓ１４では、推定部１４７は、Ｓ１３において算出した出力統計情報Ｉ´をもとに、第二入力画像（第一出力画像）に対して第二の画像処理が実施された際の出力画像（第二出力画像）の統計情報（第二の出力統計情報）Ｉ″を算出する。このＳ１４における基本動作は、図３のＳ３と同様である。Ｓ１５では、推定部１４７は、Ｓ１４において算出した出力統計情報Ｉ″をもとに、第三入力画像（第二出力画像）に対して第三の画像処理が実施された際の出力画像（第三出力画像）の画質Ｑを推定する。このＳ１５における基本動作は、図３のＳ４と同様である。Ｓ１６は、図３のＳ５と同様である。
S11 and S12 are the same as S1 and S2 in FIG. In S13, the estimation unit 147 uses the statistical information (first output image) of the output image (first output image) when the first image processing is performed based on the statistical information I of the input image Iin acquired in S12. Output statistical information) I ′ is calculated. The basic operation in S13 is the same as S3 in FIG.
In S14, the estimation unit 147 outputs an output image (first image) when the second image processing is performed on the second input image (first output image) based on the output statistical information I ′ calculated in S13. (Second output image) statistical information (second output statistical information) I ″ is calculated. The basic operation in S14 is the same as S3 in FIG. 3. In S15, the estimation unit 147 outputs the output calculated in S14. Based on the statistical information I ″, the image quality Q of the output image (third output image) when the third image processing is performed on the third input image (second output image) is estimated. The basic operation in S15 is the same as S4 in FIG. S16 is the same as S5 of FIG.
このように、入力画像Ｉｉｎの統計情報Ｉに基づいて、最終段の画像処理の直前の画像処理（第二の画像処理）までを実施した画像の統計情報Ｉ″を推定する。そして、推定した統計情報Ｉ″に基づいて、すべての画像処理（第一の画像処理から第三の画像処理）を順次実施して得られる出力画像Ｉｏｕｔの画質Ｑを推定する。
Ｓ１７では、画像処理決定部１４８は、第一の画像処理、第二の画像処理及び第三の画像処理を実施した後の最終的な出力画像Ｉｏｕｔ（第三出力画像）の画質Ｑが最良となるパラメータの組み合わせを決定する。そして、画像処理決定部１４８は、決定したパラメータを第一の画像処理部１４３、第二の画像処理部１４４及び第三の画像処理部１４９にそれぞれ設定する。このＳ１７の基本動作は、図３のＳ６と同様である。Ｓ１８及びＳ１９は、図３のＳ７及びＳ８と同様である。Ｓ２０では、第三の画像処理部１４９は、Ｓ１７において設定された第三の画像処理のパラメータを用いて、第二の画像処理後の画像に対して第三の画像処理を行う。
Thus, based on the statistical information I of the input image Iin, the statistical information I ″ of the image that has been subjected to the image processing (second image processing) immediately before the final stage image processing is estimated. Based on the statistical information I ″, the image quality Q of the output image Iout obtained by sequentially performing all the image processing (from the first image processing to the third image processing) is estimated.
In S17, the image processing determination unit 148 determines that the image quality Q of the final output image Iout (third output image) after performing the first image processing, the second image processing, and the third image processing is the best. The combination of parameters is determined. Then, the image processing determination unit 148 sets the determined parameters in the first image processing unit 143, the second image processing unit 144, and the third image processing unit 149, respectively. The basic operation in S17 is the same as S6 in FIG. S18 and S19 are the same as S7 and S8 in FIG. In S20, the third image processing unit 149 performs the third image processing on the image after the second image processing, using the third image processing parameter set in S17.
なお、上記の例では、先ず入力画像Ｉｉｎの統計情報Ｉから第一出力画像の統計情報Ｉ´を算出し、次にその統計情報Ｉ´から第二出力画像の統計情報Ｉ″を算出している。しかしながら、入力画像Ｉｉｎの統計情報Ｉから第二出力画像の統計情報Ｉ″を直接算出することもできる。この場合、第一入力画像の統計情報Ｉnと第二出力画像の統計情報Ｉn″との組を、第一及び第二の画像処理のパラメータの組み合わせ候補に対応付けて格納したデータベースを用いればよい。
以上のように、画像処理装置として動作する画像処理部１４は、入力画像Ｉｉｎの統計量に関する情報である統計情報に基づいて、入力画像Ｉｉｎに対して第一の画像処理と第二の画像処理とを順に実施したときの画像処理結果を推定する。次に、画像処理部１４は、推定した画像処理結果に基づいて、第一の画像処理及び第二の画像処理のパラメータをそれぞれ設定する。そして、画像処理部１４は、設定したパラメータを用いて、入力画像Ｉｉｎに対して上記の複数の画像処理を順次実施する。
In the above example, first, the statistical information I ′ of the first output image is calculated from the statistical information I of the input image Iin, and then the statistical information I ″ of the second output image is calculated from the statistical information I ′. However, the statistical information I ″ of the second output image can be directly calculated from the statistical information I of the input image Iin. In this case, using the database a set of the statistical information I n "Statistics I n and the second output image of the first input image, and stored in association with the combination candidate of the first and second image processing parameters That's fine.
As described above, the image processing unit 14 that operates as the image processing apparatus performs the first image processing and the second image processing on the input image Iin based on the statistical information that is information regarding the statistical amount of the input image Iin. The image processing results when these are executed in order are estimated. Next, the image processing unit 14 sets parameters for the first image processing and the second image processing based on the estimated image processing result. Then, the image processing unit 14 sequentially performs the plurality of image processes on the input image Iin using the set parameters.
これにより、前段の画像処理が後段の画像処理に与える影響のみならず、後段の画像処理が前段の画像処理に与える影響も考慮して画像処理パラメータを最適化することができる。このように、各処理単体で画像処理を最適化するのではなく、相互に依存する各処理の影響を考慮するため、全体の系として最適なパラメータの組み合わせを設定することが可能である。
ここで、上記統計情報は、画像の輝度ヒストグラムに関する情報（ヒストグラムＨ）や画像の周波数特性に関する情報（周波数パワースペクトルのべき乗係数ａ）を含むことができる。これにより、画像適応的な画像処理の影響を適切に考慮したパラメータ設定処理が可能となる。
As a result, the image processing parameters can be optimized in consideration of not only the influence of the preceding image processing on the subsequent image processing but also the influence of the following image processing on the preceding image processing. In this way, instead of optimizing image processing for each processing unit, it is possible to set an optimal combination of parameters for the entire system in order to consider the influence of each processing that depends on each other.
Here, the statistical information can include information on the luminance histogram of the image (histogram H) and information on the frequency characteristics of the image (power coefficient a of the frequency power spectrum). Thereby, it is possible to perform parameter setting processing that appropriately considers the influence of image adaptive image processing.
また、画像処理結果としては、複数の画像処理（第一及び第二の画像処理）を実施して得られる出力画像Ｉｏｕｔの画質に関する評価値（画質Ｑ）を含むことができる。これにより、後段の画像処理の画質改善効果を考慮したうえで、最適なパラメータの組み合わせを設定することができる。また、画質Ｑは、画像の鮮鋭性に関する評価値（鮮鋭性評価値Ｓ）や画像のノイズに関する評価値（ノイズ評価値Ｎ）を含むことができる。これにより、後段の画像処理の画質改善効果を適切に推定することができる。
また、画像処理部１４は、各画像処理についてそれぞれ少なくとも１つのパラメータ候補を用意しておき、これらを組み合わせた複数のパラメータ組み合わせ候補について、それぞれ画質Ｑを推定する。そして、画像処理部１４は、推定した複数の画質Ｑを比較し、その比較結果に基づいて最適な画像処理パラメータを設定する。例えば、画像処理部１４は、出力画像Ｉｏｕｔの画質が最良となるパラメータ組み合わせ候補を選出し、これを複数の画像処理のパラメータとして設定する。これにより、良好な画質を有する画像を生成可能な画像処理パラメータを設定することができる。
In addition, the image processing result can include an evaluation value (image quality Q) related to the image quality of the output image Iout obtained by performing a plurality of image processing (first and second image processing). Accordingly, it is possible to set an optimum parameter combination in consideration of the image quality improvement effect of the subsequent image processing. Further, the image quality Q can include an evaluation value (sharpness evaluation value S) regarding the sharpness of the image and an evaluation value (noise evaluation value N) regarding the noise of the image. Thereby, the image quality improvement effect of the subsequent image processing can be estimated appropriately.
The image processing unit 14 prepares at least one parameter candidate for each image processing, and estimates the image quality Q for each of a plurality of parameter combination candidates obtained by combining these. Then, the image processing unit 14 compares the estimated plurality of image quality Q, and sets an optimal image processing parameter based on the comparison result. For example, the image processing unit 14 selects a parameter combination candidate that provides the best image quality of the output image Iout, and sets these as a plurality of image processing parameters. Thereby, an image processing parameter capable of generating an image having a good image quality can be set.
さらに、画像処理部１４は、出力画像Ｉｏｕｔの画質Ｑの推定に際し、入力画像Ｉｉｎの統計情報Ｉに基づいて、第一の画像処理を実施した後の画像（第一出力画像）の統計情報Ｉ´を推定する。そして、画像処理部１４は、推定した統計情報Ｉ´に基づいて画質Ｑを推定する。このように、画像処理部１４は、画像の統計情報Ｉ´に基づいて画質Ｑを推定するので、画像内容に応じて異なる画像処理効果を適切に推定することができる。また、前段の画像処理の結果が後段に伝播することを考慮し、入力画像Ｉｉｎに基づいて、最終段の画像処理の直前の画像処理までを実施した画像の統計情報Ｉ´を推定し、これを画質Ｑの推定に用いる。したがって、各画像処理間の影響を適切に考慮したパラメータ設定処理が可能である。 Further, the image processing unit 14 estimates the image quality Q of the output image Iout, based on the statistical information I of the input image Iin, the statistical information I of the image (first output image) after the first image processing is performed. ′ Is estimated. Then, the image processing unit 14 estimates the image quality Q based on the estimated statistical information I ′. Thus, since the image processing unit 14 estimates the image quality Q based on the statistical information I ′ of the image, it is possible to appropriately estimate different image processing effects depending on the image content. Considering that the result of the image processing in the previous stage is propagated to the subsequent stage, the statistical information I ′ of the image that has been subjected to the image processing immediately before the image processing in the final stage is estimated based on the input image Iin, and this Is used to estimate the image quality Q. Therefore, it is possible to perform parameter setting processing that appropriately considers the influence between image processing.
また、画像処理部１４は、統計情報Ｉn´と画質Ｑnとの組を、第二の画像処理のパラメータ候補と対応付けて一組以上、第二のデータベースに格納しておく。このように、画像処理部１４は、サンプル画像の統計情報と、当該サンプル画像に対して最終段の画像処理を実施して得られる画像の画質に関する評価値との組を、最終段の画像処理のパラメータ候補と対応付けて一組以上保持する。そして、画像処理部１４は、第二のデータベースに格納された統計情報Ｉn´と、第二の画像処理部１４４への入力画像の統計情報Ｉ´との類似度に基づいて、出力画像Ｉｏｕｔの画質Ｑを推定する。このように、最終段の画像処理の入力前の画像の統計情報と、最終段の画像処理を実施した後の画像の統計情報との組を予め記憶（記録）しておき、その情報を用いて出力画像Ｉｏｕｔの画質Ｑを推定する。したがって、容易且つ適切に画質Ｑを推定することができる。 Further, the image processing unit 14 stores one or more sets of the statistical information I n ′ and the image quality Q n in association with the second image processing parameter candidate in the second database. As described above, the image processing unit 14 determines the set of the statistical information of the sample image and the evaluation value related to the image quality of the image obtained by performing the final image processing on the sample image as the final image processing. One or more sets are stored in association with the parameter candidates. Then, the image processing unit 14, and statistics I n 'stored in the second database, based on the similarity between the statistical information I'of the input image to the second image processing section 144, an output image Iout Is estimated. In this way, a set of the statistical information of the image before input of the final stage image processing and the statistical information of the image after execution of the final stage image processing is stored (recorded) in advance, and the information is used. The image quality Q of the output image Iout is estimated. Therefore, the image quality Q can be estimated easily and appropriately.
さらに、画像処理部１４は、統計情報Ｉnと統計情報Ｉn´との組を、第一の画像処理のパラメータ候補と対応付けて一組以上、第一のデータベースに格納しておく。このように、画像処理部１４は、サンプル画像の統計情報と、当該サンプル画像に対して画像処理を実施して得られる画像の統計情報との組を、当該画像処理のパラメータ候補と対応付けて一組以上保持する。そして、画像処理部１４は、第一のデータベースに格納された統計情報Ｉnと、第一の画像処理部１４３への入力画像Ｉｉｎの統計情報Ｉとの類似度に基づいて、第二の画像処理部１４４への入力画像の統計情報Ｉ´を推定する。このように、画像処理の前後の画像の統計情報の組を予め記憶（記録）しておき、その情報を用いて当該画像処理を実施した後の画像の統計情報を推定する。したがって、容易且つ適切に各画像処理後の画像の統計情報を推定することができる。
また、画像処理部１４をデジタルカメラ１０に搭載するので、デジタルカメラ１０で撮像した画像対して施される複数の画像処理について、複合的に各画像処理の最適なパラメータを設定することができる。したがって、デジタルカメラ１０は良好な画像を提示することができる。
Further, the image processing unit 14, statistical information a set of the I n and Statistics I n ', more than one set in correspondence with the parameter candidates of the first image processing, and stored in the first database. As described above, the image processing unit 14 associates a set of the statistical information of the sample image and the statistical information of the image obtained by performing the image processing on the sample image with the parameter candidate of the image processing. Hold one or more pairs. Then, the image processing unit 14, based on the similarity of the statistical information I n stored in the first database, and statistics I of the input image Iin to the first image processing section 143, a second image The statistical information I ′ of the input image to the processing unit 144 is estimated. In this way, a set of image statistical information before and after image processing is stored (recorded) in advance, and the image statistical information after the image processing is estimated using the information. Therefore, the statistical information of the image after each image processing can be estimated easily and appropriately.
In addition, since the image processing unit 14 is mounted on the digital camera 10, optimal parameters for each image processing can be set in a composite manner for a plurality of image processings performed on images captured by the digital camera 10. Therefore, the digital camera 10 can present a good image.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０…撮像装置（デジタルカメラ）、１１…撮像部、１４…画像処理部（画像処理装置）、１７…ＣＰＵ、１４１…入力端子、１４２…出力端子、１４３…第一の画像処理部、１４４…第二の画像処理部、１４５…パラメータ設定部、１４６…統計情報取得部、１４７…画像処理結果推定部、１４８…画像処理決定部、１４９…第三の画像処理部 DESCRIPTION OF SYMBOLS 10 ... Imaging device (digital camera), 11 ... Imaging part, 14 ... Image processing part (image processing apparatus), 17 ... CPU, 141 ... Input terminal, 142 ... Output terminal, 143 ... First image processing part, 144 ... Second image processing unit, 145 ... parameter setting unit, 146 ... statistical information acquisition unit, 147 ... image processing result estimation unit, 148 ... image processing determination unit, 149 ... third image processing unit
Claims (13)
前記入力画像の統計量に関する情報である統計情報に基づいて、前記画像処理手段において前記入力画像に対する前記第１の画像処理後に得られる第１の画像処理結果を推定し、該第１の画像処理結果を推定した結果に基づいて、前記第１の画像処理結果に対する前記第２の画像処理後に得られる第２の画像処理結果を推定する推定手段と、
前記推定手段から得られる第２の画像処理結果を推定した結果に基づいて、前記第１の画像処理に用いられるパラメータおよび前記第２の画像処理に用いられるパラメータをそれぞれ設定する設定手段と、を有することを特徴とする画像処理装置。 Image processing means for sequentially performing a plurality of image processes including at least a first image process and a subsequent second image process on an input image;
Based on statistical information that is information relating to the statistic of the input image, the image processing means estimates a first image processing result obtained after the first image processing on the input image, and the first image processing Estimating means for estimating a second image processing result obtained after the second image processing on the first image processing result based on a result of estimating the result;
Setting means for setting the parameter used for the first image processing and the parameter used for the second image processing based on the result of estimating the second image processing result obtained from the estimation means; An image processing apparatus comprising:
前記画像処理結果として、前記画像処理手段によって前記複数の画像処理を実施して得られる出力画像の画質に関する評価値を推定する第一の推定手段を備えることを特徴とする請求項１に記載の画像処理装置。 The estimation means includes
The first estimation unit that estimates an evaluation value related to an image quality of an output image obtained by performing the plurality of image processings by the image processing unit as the image processing result. Image processing device.
前記設定手段は、前記第一の推定手段で推定した複数の評価値を用いて前記出力画像の画質を比較し、その比較結果に基づいて前記パラメータを設定することを特徴とする請求項２に記載の画像処理装置。 The first estimating means estimates the evaluation value for each of a plurality of parameter combination candidates for the plurality of image processing,
The setting means compares the image quality of the output image using a plurality of evaluation values estimated by the first estimation means, and sets the parameter based on the comparison result. The image processing apparatus described.
前記入力画像の統計情報に基づいて、前記複数の画像処理のうち最終段の画像処理の直前の画像処理までを実施した画像の統計情報を推定する第二の推定手段をさらに備え、
前記第一の推定手段は、前記第二の推定手段で推定した統計情報に基づいて、前記評価値を推定することを特徴とする請求項２または３に記載の画像処理装置。 The estimation means includes
Based on the statistical information of the input image, further comprising second estimation means for estimating statistical information of an image that has been processed up to the image processing immediately before the final stage image processing among the plurality of image processing,
The image processing apparatus according to claim 2, wherein the first estimation unit estimates the evaluation value based on statistical information estimated by the second estimation unit.
前記第一の推定手段は、
前記第一の保持手段が保持する前記サンプル画像の統計情報と、前記第二の推定手段で推定した統計情報との類似度に基づいて、前記評価値を推定することを特徴とする請求項４に記載の画像処理装置。 A set of statistical information of the sample image and an evaluation value related to the image quality of the image obtained by performing the final image processing on the sample image is associated with the parameter candidate of the final image processing. A first holding means for holding more than one set;
The first estimating means includes
5. The evaluation value is estimated based on the similarity between the statistical information of the sample image held by the first holding unit and the statistical information estimated by the second estimating unit. An image processing apparatus according to 1.
前記第二の推定手段は、
前記第二の保持手段が保持する前記サンプル画像の統計情報と、前記入力画像の統計情報との類似度に基づいて、前記最終段の画像処理の直前の画像処理を実施した後の画像の統計情報を推定することを特徴とする請求項４または５に記載の画像処理装置。 Second holding for holding one or more sets of statistical information of sample images and statistical information of images obtained by performing the image processing on the sample images in association with parameter candidates of the image processing Further comprising means,
The second estimating means includes
Based on the similarity between the statistical information of the sample image held by the second holding unit and the statistical information of the input image, the statistical information of the image after performing the image processing immediately before the image processing of the final stage The image processing apparatus according to claim 4, wherein the information is estimated.
前記入力画像を撮像する撮像手段と、を備えることを特徴とする撮像装置。 The image processing apparatus according to any one of claims 1 to 10,
An imaging apparatus comprising: an imaging unit that captures the input image.
前記第２の画像処理結果を推定した結果に基づいて、前記第１の画像処理に用いられるパラメータおよび前記第２の画像処理に用いられるパラメータをそれぞれ設定するステップと、
決定した前記パラメータを用いて、前記入力画像に対して、少なくとも前記第１の画像処理と後続する前記第２の画像処理とを含む複数の画像処理を順次実施するステップと、を含むことを特徴とする画像処理方法。 Based on statistical information that is information relating to the statistic of the input image, a first image processing result obtained after the first image processing on the input image is estimated, and based on a result of estimating the first image processing result. Estimating a second image processing result obtained after the second image processing with respect to the first image processing result;
Setting a parameter used for the first image processing and a parameter used for the second image processing based on a result of estimating the second image processing result,
Sequentially performing a plurality of image processing including at least the first image processing and the subsequent second image processing on the input image using the determined parameter. An image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015083692A JP2016206728A (en) | 2015-04-15 | 2015-04-15 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015083692A JP2016206728A (en) | 2015-04-15 | 2015-04-15 | Image processing apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016206728A true JP2016206728A (en) | 2016-12-08 |
Family
ID=57489676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015083692A Pending JP2016206728A (en) | 2015-04-15 | 2015-04-15 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016206728A (en) |
-
2015
- 2015-04-15 JP JP2015083692A patent/JP2016206728A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101643122B1 (en) | Image processing device, image processing method and recording medium | |
| CN110022469B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
| EP2187620B1 (en) | Digital image processing and enhancing system and method with function of removing noise | |
| JP4772839B2 (en) | Image identification method and imaging apparatus | |
| CN107730456B (en) | Image processing method and image processing apparatus | |
| JP6720881B2 (en) | Image processing apparatus and image processing method | |
| JP4818393B2 (en) | Image processing method and image processing apparatus | |
| JP2018041380A (en) | Image processing apparatus, image processing method, and program | |
| JP5259291B2 (en) | White balance correction device and signal processing program | |
| JP2005309560A (en) | Image processing method, device and program | |
| TW201346835A (en) | Image blur level estimation method and image quality evaluation method | |
| CN114584700B (en) | Focusing marking method, marking device and electronic equipment | |
| JP2004310475A (en) | Image processor, cellular phone for performing image processing, and image processing program | |
| JP2015154102A (en) | Image processing apparatus and method, image processing program, imaging device | |
| JP2018049564A (en) | Detection device and detection method | |
| JP2007274486A (en) | Image output method, device, and program | |
| JP6514504B2 (en) | IMAGE PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM | |
| JP5115297B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US20180152649A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
| JP6786273B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP2019016893A (en) | Image processing apparatus, control method therefor, and program | |
| JP2018160024A (en) | Image processing device, image processing method and program | |
| JP6795062B2 (en) | Detection device, detection method and program | |
| JP2016206728A (en) | Image processing apparatus and image processing method | |
| JP2021047710A (en) | Image processing apparatus, image processing method, image processing system, and program |