JP2008227976A - Image processor and image processing method - Google Patents

Image processor and image processing method Download PDF

Info

Publication number
JP2008227976A
JP2008227976A JP2007064176A JP2007064176A JP2008227976A JP 2008227976 A JP2008227976 A JP 2008227976A JP 2007064176 A JP2007064176 A JP 2007064176A JP 2007064176 A JP2007064176 A JP 2007064176A JP 2008227976 A JP2008227976 A JP 2008227976A
Authority
JP
Japan
Prior art keywords
image
luminance
color
luminance conversion
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007064176A
Other languages
Japanese (ja)
Other versions
JP4830923B2 (en
Inventor
Shuichi Matsumoto
修一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Koki Co Ltd
Original Assignee
Noritsu Koki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Noritsu Koki Co Ltd filed Critical Noritsu Koki Co Ltd
Priority to JP2007064176A priority Critical patent/JP4830923B2/en
Publication of JP2008227976A publication Critical patent/JP2008227976A/en
Application granted granted Critical
Publication of JP4830923B2 publication Critical patent/JP4830923B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor and an image processing method which can perform a dodging processing excellent in color reproducibility without causing color collapse in a highlight part or a shadow part. <P>SOLUTION: The image processor is provided with a dodging processing part 10 composed of a luminance conversion processing part 10b for converting the density of the highlight part and shadow part of an object image by different luminance conversion characteristics and a color correction processing part 10d for correcting the R (red), G (green) and B (blue) color components of respective pixels on the basis of a color correction function for which a gamma value calculated from pixel luminance before and after luminance conversion by the luminance conversion processing part 10b is a color correction variable. The color correction function is a function for performing correction so as to narrow the brightness difference of the R (red), G (green) and B (blue) color components to the pixels for which the luminance is converted low by the luminance conversion processing part and performing correction so as to widen the brightness difference of the R (red), G (green) and B (blue) color components to the pixels for which the luminance is converted high by the luminance conversion processing part. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、デジタルカメラ等で撮影されたデジタル写真画像に対して覆い焼き処理する画像処理装置及び画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method for performing dodging processing on a digital photographic image taken with a digital camera or the like.

一般に、光学カメラによりフィルム上に撮影された逆光シーンやストロボシーンのカラー画像に対して、背景の階調を維持したままシャドウ部のみを明るく補正し、或いは、ハイライト部のみを暗く補正することにより、主要被写体と背景の両方の階調を同時に再現する覆い焼き処理をデジタル画像処理で実現する画像処理装置が提案されている。   In general, for color images of backlight scenes and strobe scenes shot on film by an optical camera, only the shadow part is corrected brightly while maintaining the gradation of the background, or only the highlight part is corrected darkly. Thus, there has been proposed an image processing apparatus that realizes dodging processing that simultaneously reproduces the gradations of both the main subject and the background by digital image processing.

例えば、特許文献1には、画像を構成する各画素の異なる色毎の画像データに基づいて画像のコントラストを補正する画像処理装置として、輝度データとその度数との関係を示すヒストグラムを作成する輝度データ算出手段と、輝度データの濃度範囲を、ヒストグラムに基づいて低輝度部に対応する第1濃度区間と高輝度部に対応する第2濃度区間とに分けて、一方の濃度区間に属する輝度データのみを変更する輝度データ変更手段とを備えた画像処理装置が提案されている。   For example, Patent Document 1 discloses a luminance that creates a histogram indicating the relationship between luminance data and the frequency as an image processing device that corrects the contrast of an image based on image data for each different color of each pixel constituting the image. Luminance data belonging to one of the density sections is divided into a data calculation means and a density range of the brightness data into a first density section corresponding to the low brightness portion and a second density section corresponding to the high brightness portion based on the histogram. There has been proposed an image processing apparatus including a luminance data changing unit that changes only the brightness.

しかし、デジタルカメラ等で撮影された8ビット画像はフィルムに撮影された画像と比較して階調幅が本来的に狭く、上述したようなフィルム画像に対応する補正処理では好ましい補正特性を得ることが困難であった。   However, an 8-bit image photographed with a digital camera or the like has an inherently narrow gradation width as compared with an image photographed on a film, and preferable correction characteristics can be obtained in the correction processing corresponding to the film image as described above. It was difficult.

そこで、デジタルカメラ等で撮影されたカラー画像に対して、シャドウ部及びハイライト部に対応して夫々異なる輝度補正を施すことのできる輝度補正関数をルックアップテーブルとして生成する技術として、特許文献2に記載されたように、ニューラルネットワークのような画像解析部を構築することが考えられる。   Therefore, as a technique for generating a brightness correction function capable of performing different brightness corrections corresponding to the shadow part and the highlight part on a color image taken with a digital camera or the like as a look-up table, Patent Document 2 As described above, it is conceivable to construct an image analysis unit such as a neural network.

例えば、入力層にサンプル画像の様々な画像特性、例えば、画像全体、シャドウ部、ハイライト部、主要被写体部等の所定領域の最大輝度、最小輝度、平均輝度等を入力教師データとして入力し、そのときに出力層から出力される複数の特性値が、当該サンプル画像を手動操作などにより適正に補正処理した後の特性値である出力教師データと一致するように多数のサンプル画像に対して学習することで得られるニューラルネットワークを構築し、対象画像の特性値を入力したときに学習済みのニューラルネットワークから出力される特性値に基づいて輝度補正用のルックアップテーブルを構成するのである。   For example, various image characteristics of the sample image are input to the input layer, for example, the maximum luminance, minimum luminance, average luminance, etc. of a predetermined area such as the entire image, shadow portion, highlight portion, main subject portion, etc. as input teacher data, Learning for a large number of sample images so that the multiple characteristic values output from the output layer at that time match the output teacher data, which is the characteristic value after the sample image is appropriately corrected by manual operation or the like. A neural network obtained in this way is constructed, and a look-up table for luminance correction is constructed based on the characteristic value output from the learned neural network when the characteristic value of the target image is input.

この場合、補正対象画像を構成する各画素のR(赤),G(緑),B(青)色成分をYCbCr変換し、輝度成分Yをニューラルネットワークを介して得られた輝度補正用のルックアップテーブルによりY´に補正した後に、Y´CbCrをR´G´B´に逆変換することにより、色相及び彩度を維持した新たな画素が得られる。
特開2002−125130号公報 特開平09−168095号公報
In this case, the R (red), G (green), and B (blue) color components of each pixel constituting the correction target image are subjected to YCbCr conversion, and the luminance component Y is obtained via the neural network. After correcting to Y ′ by the up table, Y′CbCr is inversely converted to R′G′B ′, thereby obtaining a new pixel maintaining the hue and saturation.
JP 2002-125130 A Japanese Patent Application Laid-Open No. 09-168095

しかし、覆い焼き処理により例えばシャドウ部の輝度が高くなるように補正したときには、対応する画素の彩度も高くしなければ好ましい色の再現性が確保できないという問題があった。   However, when the dodging process is performed to correct the brightness of the shadow portion, for example, there is a problem that preferable color reproducibility cannot be ensured unless the saturation of the corresponding pixel is also increased.

そこで、輝度の変化率Y´/Y=αをCb,Crの各成分に掛けて、Y´α・Cbα・CrをR´G´B´に逆変換することにより、彩度も上げることが考えられるが、一律に輝度の変化率で補正しても好ましい色の再現性が確保できないことが判明した。   Therefore, by multiplying each component of Cb and Cr by the luminance change rate Y ′ / Y = α and reversely converting Y′α, Cbα, and Cr to R′G′B ′, the saturation can be increased. Although it is conceivable, it has been found that preferable color reproducibility cannot be ensured even if correction is performed uniformly with the rate of change in luminance.

つまり、人の認識する色感に基づく色再現性の観点では、輝度の高、中、低の各レベルと彩度の高、中、低の各レベルの組合せにより好ましい彩度の積率(彩度の補正率)が異なるため、輝度が等しい画素であっても低彩度画素と高彩度画素を同じ積率で補正しても画像全体として好ましい色再現性が確保できず、特にハイライト部やシャドウ部の端部領域で色潰れ(色の飽和)が生じるのである。   In other words, from the viewpoint of color reproducibility based on the color sensation recognized by humans, a preferred product of saturation (chroma) is obtained by combining each level of high, medium, and low brightness with each level of high, medium, and low saturation. Therefore, even if the pixels have the same luminance, even if the low saturation pixel and the high saturation pixel are corrected with the same product rate, preferable color reproducibility cannot be secured for the entire image. Color collapse (color saturation) occurs in the edge region of the shadow portion.

本発明は上述した従来の問題点に鑑みてなされたものであり、ハイライト部やシャドウ部で色潰れが生じることなく、色再現性に優れた覆い焼き処理を実現できる画像処理装置及び画像処理方法を提供することを目的とする。   The present invention has been made in view of the above-described conventional problems, and an image processing apparatus and an image processing capable of realizing a dodging process having excellent color reproducibility without causing color crushing in a highlight part or a shadow part. It aims to provide a method.

上述の目的を達成するため、本発明による画像処理装置の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、対象画像のハイライト部及びシャドウ部の濃度を異なる輝度変換特性で変換する輝度変換処理部と、前記輝度変換処理部による輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のR(赤),G(緑),B(青)色成分を補正する色補正処理部とからなる覆い焼き処理部を備えて構成される点にある。   In order to achieve the above-mentioned object, the characteristic configuration of the image processing apparatus according to the present invention is the luminance conversion characteristic in which the density of the highlight portion and the shadow portion of the target image is different as described in claim 1 of the claims. And R (red) and G (green) of each pixel based on a color correction function using a gamma value calculated from the pixel luminance before and after the luminance conversion by the luminance conversion processing unit as a color correction variable. ), B (blue) color components, and a dodging processing unit comprising a color correction processing unit for correcting the B (blue) color component.

上述の構成によれば、輝度変換処理部で覆い焼き処理された各画素に対して、輝度変換前後の画素輝度から算出されるガンマ値に基づいて生成される色補正関数に基づいて各画素のR(赤),G(緑),B(青)色成分が補正されるようになるので、輝度の等しい同彩度の画素であってもガンマ値により補正度合いを異ならせることができるようになり、ハイライト部及びシャドウ部における低彩度画素及び高彩度画素の色潰れ(色の飽和)を適切に回避して、良好な色バランスが確保できる覆い焼き補正が実現できるようになるのである。   According to the above-described configuration, for each pixel that has been dodging processed by the luminance conversion processing unit, each pixel is calculated based on the color correction function that is generated based on the gamma value calculated from the pixel luminance before and after the luminance conversion. Since the R (red), G (green), and B (blue) color components are corrected, it is possible to vary the degree of correction depending on the gamma value even for pixels of the same saturation with the same luminance. Thus, color correction (color saturation) of the low saturation pixel and the high saturation pixel in the highlight portion and the shadow portion is appropriately avoided, and the dodging correction that can ensure a good color balance can be realized.

同第二の特徴構成は、同請求項2に記載した通り、上述の第一特徴構成に加えて、前記色補正関数は、前記輝度変換処理部により輝度が低く変換される画素に対してR(赤),G(緑),B(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部により輝度が高く変換される画素に対してR(赤),G(緑),B(青)色成分の明度差が広がるように補正する関数である点にある。   In the second feature configuration, as described in claim 2, in addition to the first feature configuration described above, the color correction function applies R to a pixel whose luminance is converted to be low by the luminance conversion processing unit. Correction is made so that the brightness difference of the (red), G (green), and B (blue) color components is narrowed, and R (red) and G (green) are applied to the pixels whose luminance is converted to be high by the luminance conversion processing unit. , B (blue) color component is a function for correcting so that the brightness difference is widened.

上述の構成によれば、同輝度で彩度の異なる画素に対して、輝度が低く変換されるハイライト部の画素ではR(赤),G(緑),B(青)色成分の明度差が狭まるように、つまり彩度が低下するように補正され、輝度が高く変換されるシャドウ部の画素ではR(赤),G(緑),B(青)色成分の明度差が広がるように、つまり彩度が上がるように補正されるので、ハイライト部及びシャドウ部における低彩度画素及び高彩度画素の色潰れ(色の飽和)を適切に回避して、良好な色バランスが確保できる覆い焼き補正が実現できるようになるのである。   According to the above-described configuration, the brightness difference between the R (red), G (green), and B (blue) color components in the pixels in the highlight portion where the luminance is converted to be lower than the pixels having the same luminance and different saturation. So that the brightness difference between the R (red), G (green), and B (blue) color components is widened in the shadow portion of the pixel that is corrected so that the saturation is reduced, that is, the saturation is decreased and the luminance is converted to be high. In other words, since the saturation is corrected so as to increase, it is possible to appropriately avoid the color saturation (color saturation) of the low saturation pixel and the high saturation pixel in the highlight portion and the shadow portion, and to ensure a good color balance. Burn correction can be realized.

同第三の特徴構成は、同請求項3に記載した通り、上述の第一または第二特徴構成に加えて、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部と、入力された対象画像の複数の特性値に対して前記画像解析部から出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部とを備え、前記輝度変換処理部は、前記輝度変換関数生成部により生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理するように構成されている点にある。   In the third feature configuration, in addition to the first or second feature configuration described above, the sample image appropriately covers a plurality of characteristic values of the input sample image. An image analysis unit that has been learned based on a plurality of sample images so that correction coefficients for the highlight and shadow portions that have undergone burn correction are output, and the image analysis that is performed on a plurality of characteristic values of the input target image A luminance conversion function generation unit that generates a luminance conversion function of the highlight part and the shadow part based on correction coefficients of the highlight part and the shadow part of the target image output from the part, the luminance conversion processing part The brightness conversion function generated by the brightness conversion function generation unit is configured to correct the brightness of the target image.

本発明による画像処理方法の第一の特徴構成は、同請求項4に記載した通り、対象画像のハイライト部及びシャドウ部の濃度を異なる輝度変換特性で変換する輝度変換処理ステップと、前記輝度変換処理ステップによる輝度変換前後の画素輝度からガンマ値を算出するガンマ値算出ステップと、前記ガンマ値算出ステップにより算出されたガンマ値を色補正変数とする色補正関数に基づいて各画素のR(赤),G(緑),B(青)色成分を補正する色補正処理ステップとからなる点にある。   According to the first characteristic configuration of the image processing method of the present invention, as described in claim 4, a luminance conversion processing step for converting the density of the highlight portion and the shadow portion of the target image with different luminance conversion characteristics, and the luminance A gamma value calculating step for calculating a gamma value from the pixel luminance before and after the luminance conversion in the conversion processing step, and a color correction function using the gamma value calculated in the gamma value calculating step as a color correction variable. The color correction processing step corrects red, G (green), and B (blue) color components.

以上説明した通り、本発明によれば、ハイライト部やシャドウ部で色潰れが生じることなく、色再現性に優れた覆い焼き処理を実現できる画像処理装置及び画像処理方法を提供することができるようになった。   As described above, according to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of realizing dodging processing with excellent color reproducibility without causing color crushing in highlight portions and shadow portions. It became so.

以下に本発明による画像処理装置が組み込まれた写真画像処理装置の実施の形態を説明する。図2に示すように、写真画像処理装置1は、印画紙Pに対して出力画像データに基づいた露光処理を行ない、露光された印画紙を現像処理する写真プリンタ2と、現像済みの写真フィルムFから画像を読み込むフィルムスキャナ31やデジタルスチルカメラ等で撮影された画像データが格納されたメモリカード等の画像データ記憶メディアMから画像データを読み取るメディアドライバ32や、コントローラ33としての汎用コンピュータ等を備え、入力された元画像としての写真画像に対するプリントオーダ情報を設定入力するとともに、本発明による画像処理を含む各種の画像補正処理を行なう操作ステーション3を備えて構成され、前記操作ステーション3で元画像から編集処理されたプリントデータが前記写真プリンタ2に出力されて所望の写真プリントが生成される。   Embodiments of a photographic image processing apparatus incorporating an image processing apparatus according to the present invention will be described below. As shown in FIG. 2, the photographic image processing apparatus 1 performs photographic paper 2 exposure processing based on output image data and develops exposed photographic paper, and developed photographic film. A media driver 32 that reads image data from an image data storage medium M such as a memory card that stores image data taken by a film scanner 31 or a digital still camera that reads an image from F, or a general-purpose computer as a controller 33 And an operation station 3 for setting and inputting print order information for a photographic image as an input original image and performing various image correction processes including image processing according to the present invention. The print data edited from the image is output to the photo printer 2. Desired photographic print is produced.

前記写真プリンタ2は、図2及び図3に示すように、ロール状の印画紙Pを収容した二系統の印画紙マガジン21と、前記印画紙マガジン21から引き出された印画紙Pを所定のプリントサイズに切断するシートカッター22と、切断後の印画紙Pの背面にコマ番号等のプリント情報を印字するバックプリント部23と、前記プリントデータに基づいて印画紙Pを露光する露光部24と、露光後の印画紙Pを現像、漂白、定着するための各処理液が充填された複数の処理槽25a、25b、25cを備えた現像処理部25が印画紙Pの搬送経路に沿って配置され、現像処理後に乾燥処理された印画紙Pが排出される横送りコンベア26と、横送りコンベア26に集積された複数枚の印画紙(写真プリント)Pがオーダー単位で仕分けられるソータ27を備えて構成される。   As shown in FIGS. 2 and 3, the photographic printer 2 has two systems of photographic paper magazines 21 containing roll-shaped photographic paper P, and photographic paper P drawn from the photographic paper magazine 21 with a predetermined print. A sheet cutter 22 that cuts into a size; a back print unit 23 that prints print information such as a frame number on the back of the cut photographic paper P; an exposure unit 24 that exposes the photographic paper P based on the print data; A development processing unit 25 including a plurality of processing tanks 25a, 25b, and 25c filled with processing solutions for developing, bleaching, and fixing the exposed photographic paper P is disposed along the transport path of the photographic paper P. The laterally-feeding conveyor 26 that discharges the photographic paper P that has been dried after the development process, and the sheet-paper (photo print) P that is stacked on the laterally-feeding conveyor 26 is sorted in order units. Configured to include the data 27.

前記露光部24には、搬送機構28によって副走査方向に搬送される印画紙Pに対して、搬送方向に直交する主走査方向に前記プリントデータに基づき変調されたRGB三色のレーザ光線束を出力して露光する露光ヘッド24aが収容されている。   The exposure unit 24 receives a laser beam bundle of RGB three colors modulated based on the print data in the main scanning direction orthogonal to the conveyance direction with respect to the photographic paper P conveyed in the sub-scanning direction by the conveyance mechanism 28. An exposure head 24a for outputting and exposing is accommodated.

前記搬送経路に沿って配置された前記露光部24や現像処理部25に応じたプロセス速度で印画紙Pを搬送する複数のローラ対でなる搬送機構28が配置され、前記露光部24の前後には印画紙Pを複列に搬送可能なチャッカー式搬送機構28aが設けられている。   A transport mechanism 28 including a plurality of roller pairs that transport the photographic printing paper P at a process speed corresponding to the exposure unit 24 and the development processing unit 25 disposed along the transport path is disposed before and after the exposure unit 24. Is provided with a chucker-type transport mechanism 28a capable of transporting photographic paper P in multiple rows.

前記操作ステーション3に設けられたコントローラ33には、汎用のオペレーティングシステムの管理下で動作し、前記写真処理装置1の各種制御が実行されるアプリケーションプログラムがインストールされ、オペレータとの操作インターフェースとしてモニタ34、キーボード35、マウス36等が接続されている。   The controller 33 provided in the operation station 3 is installed with an application program that operates under the control of a general-purpose operating system and executes various controls of the photographic processing apparatus 1, and a monitor 34 as an operation interface with the operator. A keyboard 35, a mouse 36, and the like are connected.

前記コントローラ33のハードウェア及びソフトウェアの協働により実行される写真処理プロセスを機能ブロックで説明すると、図4に示すように、前記フィルムスキャナ31やメディアドライバ32によって読み取られた写真画像データを受け取り、所定の前処理を行なって後述のメモリ41に転送する画像入力部40と、前記モニタ34の画面にプリントオーダ情報や画像編集情報を表示するとともに、それらに対して必要なデータ入力のための操作用アイコンを表示するグラフィック操作画面を生成し、或いは表示されたグラフィック操作画面に対する前記キーボード35やマウス36からの入力操作に基づいて各種の制御コマンドを生成するグラフィックユーザーインターフェース部(以下、「GUI部」と記す。)42と、前記画像入力部40から転送される写真画像データ及び後述の画像処理部47による補正処理後の写真画像データやそのときの補正パラメータ、更には設定されたプリントオーダ情報等が所定領域に区画されて格納されるメモリ41と、プリントオーダ情報を生成するオーダー処理部43と、前記メモリ41に格納された各写真画像データに対して濃度補正処理やコントラスト補正処理等を行なう画像処理部47と、前記グラフィックユーザーインターフェース部42からの表示コマンドに基づいて前記メモリ41に展開された画像データや各種の入出力用グラフィックデータ等を前記モニタ34に表示処理するビデオRAM等を備えた表示制御部46と、各種の補正処理が終了した最終の補正画像を前記写真プリンタ2に出力するためのプリントデータを生成するプリントデータ生成部44と、顧客のオーダーに応じて最終の補正画像をCD−R等の記憶媒体に書き込むためのファイル形式に変換するフォーマッタ部45等で構成される。   The photographic processing process executed by the cooperation of the hardware and software of the controller 33 will be described in functional blocks. As shown in FIG. 4, photographic image data read by the film scanner 31 and the media driver 32 is received. An image input unit 40 that performs predetermined preprocessing and transfers it to a memory 41, which will be described later, and print order information and image editing information are displayed on the screen of the monitor 34, and an operation for inputting necessary data for them. A graphic user interface unit (hereinafter referred to as a “GUI unit”) that generates a graphic operation screen for displaying an icon for use or generates various control commands based on input operations from the keyboard 35 and mouse 36 to the displayed graphic operation screen. 42) and the picture. Photo image data transferred from the input unit 40, photo image data after correction processing by the image processing unit 47, which will be described later, correction parameters at that time, and set print order information are partitioned into predetermined areas and stored. A memory 41, an order processing unit 43 for generating print order information, an image processing unit 47 for performing density correction processing and contrast correction processing on each photographic image data stored in the memory 41, and the graphic user A display control unit 46 including a video RAM for displaying the image data and various input / output graphic data developed in the memory 41 based on a display command from the interface unit 42 on the monitor 34; Print for outputting the final corrected image after the correction processing to the photographic printer 2 A print data generating unit 44 that generates over data, and the like formatter 45 which converts the final corrected image according to customer orders to a file format for writing in a storage medium such as a CD-R.

前記フィルムスキャナ31は、フィルムFに記録された画像を低解像度ではあるものの高速で読み取るプレスキャンモードと、低速ではあるものの高解像度で読み取る本スキャンモードの二モードで作動するように構成され、プレスキャンモードで読み込まれた低解像度の画像に対してプレジャッジモード(後述のプレジャッジ処理で詳述する。)で各種の補正処理が行なわれ、その際に前記メモリ41に記憶された補正パラメータに基づいて本スキャンモードで読み込まれた高解像度の画像に対する最終の補正処理が実行されて前記プリンタ2に出力される。   The film scanner 31 is configured to operate in two modes: a pre-scan mode that reads an image recorded on the film F at a high speed although it has a low resolution, and a main scan mode that reads a high-resolution image at a low speed. Various correction processes are performed in the pre-judge mode (described in detail in the pre-judge process described later) on the low resolution image read in the can mode, and the correction parameters stored in the memory 41 at that time are changed. Based on this, the final correction processing for the high-resolution image read in the main scan mode is executed and output to the printer 2.

同様に、前記メディアドライバ32から読み込まれた画像ファイルには高解像度の撮影画像とそのサムネイル画像が含まれ、サムネイル画像に対して後述の各種の補正処理が行なわれ、その際に前記メモリ41に記憶された補正パラメータに基づいて高解像度の撮影画像に対する最終の補正処理が実行される。尚、画像ファイルにサムネイル画像が含まれないときには、前記画像入力部40で高解像度の撮影画像からサムネイル画像が生成されて前記メモリ41に転送される。このように、低解像度の画像に対して頻繁に試行錯誤される各種の編集処理が実行されることによりコントローラ33の演算負荷が低減されるように構成されている。   Similarly, the image file read from the media driver 32 includes a high-resolution captured image and its thumbnail image, and various correction processes described later are performed on the thumbnail image. Based on the stored correction parameters, a final correction process is performed on the high-resolution captured image. When the image file does not include a thumbnail image, the image input unit 40 generates a thumbnail image from the high-resolution captured image and transfers it to the memory 41. In this way, the calculation load of the controller 33 is reduced by executing various editing processes that are frequently trial and error on low-resolution images.

前記画像処理部47は、図1に示すように、入力された原画像データに対して写真プリントのサイズに適した画像サイズに変換する拡縮処理部11と、拡縮処理された画像に覆い焼き処理を施す覆い焼き処理部10と、覆い焼き処理された画像の濃度を調整する濃度補正部12と、画像の色調を補正するカラー補正処理部13と、画像のエッジを強調しノイズを低減する鮮鋭化処理部14等が設けられている。   As shown in FIG. 1, the image processing unit 47 includes an enlargement / reduction processing unit 11 that converts the input original image data into an image size suitable for the size of a photographic print, and a dodging process for the enlarged / reduced image. A dodging processing unit 10 that performs image processing, a density correction unit 12 that adjusts the density of the dodged image, a color correction processing unit 13 that corrects the color tone of the image, and a sharp image that enhances the edges of the image and reduces noise. The conversion processing unit 14 and the like are provided.

前記画像処理部47では、先ず、低解像度の画像(例えば、256×384画素)に対して夫々の補正処理が施され、その際に決定された補正パラメータ、例えば、覆い焼き処理ではハイライト部及びシャドウ部の輝度変換関数等がメモリ41に記憶され、その後、高解像度の画像(例えば、2560×3840画素)に対して記憶されたパラメータに基づいて各種の補正処理が実行されて出力画像が生成され、当該出力画像が前記写真プリンタ2に出力されて写真プリントが生成される。   In the image processing unit 47, first, each correction process is performed on a low-resolution image (for example, 256 × 384 pixels), and the correction parameter determined at that time, for example, in the dodging process, a highlight unit And the brightness conversion function of the shadow portion are stored in the memory 41, and then various correction processes are executed based on the parameters stored for the high-resolution image (for example, 2560 × 3840 pixels) to generate an output image. Then, the output image is output to the photographic printer 2 to generate a photographic print.

以下、前記メディアドライバ32から入力されたR(赤),G(緑),B(青)各8ビットで画素が構成されるデジタル画像に対する覆い焼き処理について詳述する。   Hereinafter, the dodging process for a digital image in which pixels are composed of 8 bits each of R (red), G (green), and B (blue) input from the media driver 32 will be described in detail.

覆い焼き処理部10は、入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部10aと、入力された対象画像の複数の特性値に対して前記画像解析部10aから出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部10bと、前記輝度変換関数生成部10bにより生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理する輝度変換処理部10cと、前記輝度変換処理部10cによる輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のR(赤),G(緑),B(青)色成分を補正する色補正処理部10dを備えて構成されている。   The dodging processing unit 10 outputs a plurality of sample images so that correction coefficients for a highlight portion and a shadow portion in which the sample image is appropriately dodging-corrected with respect to a plurality of characteristic values of the input sample image are output. Based on the correction coefficient of the highlight portion and the shadow portion of the target image output from the image analysis portion 10a with respect to the plurality of characteristic values of the input target image. A luminance conversion function generation unit 10b for generating a luminance conversion function for the highlight part and the shadow part, and a luminance conversion for correcting the luminance of the target image based on the luminance conversion function generated by the luminance conversion function generation part 10b. A color correction function using a gamma value calculated from the pixel luminance before and after the luminance conversion by the processing unit 10c and the luminance conversion processing unit 10c as a color correction variable. Zui in each pixel R (red), G (green), is configured to include a color correction processing unit 10d for correcting the B (blue) color components.

前記画像解析部10aは、サンプル画像の複数の特性値が夫々入力される89個のニューロン(I1,I2,・・・,I88,I89)を備えた入力層と、45個のニューロン(M1,M2,・・・,M45)を備えた中間層と、2個のニューロン(O1,O2)を備えた出力層を備えるとともに、教師信号に基づいて各層間のニューロンの結合係数を学習する学習部を備えたニューラルネットワークで構成されている。   The image analysis unit 10a includes an input layer including 89 neurons (I1, I2,..., I88, I89) to which a plurality of characteristic values of the sample image are input, and 45 neurons (M1, M1, M2). M2..., M45) and an output layer including two neurons (O1, O2), and a learning unit that learns the coupling coefficient of neurons between each layer based on a teacher signal It consists of a neural network with

学習部は、入力層(I1,I2,・・・,I88,I89)にサンプル画像の特性値が入力教師データとして入力されたときに、出力層(O1,O2)から出力されるハイライト部及びシャドウ部の補正係数Hlevel,Slevelが、出力教師データ、つまり当該サンプル画像に対して手動補正により適正に覆い焼き処理されたときの補正係数となるように、例えば最急降下法を用いたバックプロパゲーションにより各層間のニューロンの結合係数を定める。   The learning unit is a highlight unit that is output from the output layer (O1, O2) when the characteristic value of the sample image is input as input teacher data to the input layer (I1, I2,..., I88, I89). And the correction coefficient Hlevel and Level of the shadow part are output teacher data, that is, a back coefficient using a steepest descent method, for example, so as to be a correction coefficient when the sample image is appropriately dodged by manual correction. The coupling coefficient of neurons between each layer is determined by gating.

具体的には、逆光シーンやストロボシーンや雪山シーン等の種々の撮影条件の下で撮影された複数のサンプル画像に対して、夫々の原画像の特性値を抽出する特性値算出部が設けられ、図6(a)から(e)に示すように、入力画像全体の平均輝度と最大輝度と最小輝度、入力画像の主要被写体が位置する中央部分と周辺部分の平均輝度と最大輝度と最小輝度、入力画像の左側部と右側部の平均輝度と最大輝度と最小輝度、入力画像の上側部と下側部の平均輝度と最大輝度と最小輝度、入力画像を所定の画素サイズでブロック分割した各領域のうち上下に隣接するブロックの平均輝度の差分の平均値、画像全体の輝度平均偏差、画像全体のR(赤),G(緑),B(青)各成分の最大値及び最小値、R(赤),G(緑),B(青)各成分のヒストグラムの分布値(0から255の階調軸を20等分した各領域に含まれる画素成分の合計度数)でなる合計89個の特性値が入力教師データとして算出される。   Specifically, a characteristic value calculation unit for extracting characteristic values of each original image is provided for a plurality of sample images shot under various shooting conditions such as a backlight scene, a strobe scene, and a snowy mountain scene. 6 (a) to 6 (e), the average luminance, maximum luminance, and minimum luminance of the entire input image, and the average luminance, maximum luminance, and minimum luminance of the central portion and the peripheral portion where the main subject of the input image is located. , Average brightness and maximum brightness and minimum brightness of the left and right sides of the input image, average brightness and maximum brightness and minimum brightness of the upper and lower sides of the input image, and each block obtained by dividing the input image into blocks with a predetermined pixel size Average value of difference in average luminance of blocks adjacent to each other in the upper and lower regions, average luminance deviation of entire image, maximum value and minimum value of R (red), G (green), and B (blue) components of the entire image; Distribution of histograms for R (red), G (green), and B (blue) components Total 89 pieces of characteristic values consisting of (total count of pixel component contained in each area gradation shaft 20 equal portions of 0 to 255) is calculated as the input teacher data.

ここで、輝度とは、入力画像を構成する画素のR(赤),G(緑),B(青)各成分から〔数1〕に基づいて算出される輝度色差を示すYCC信号の輝度成分Yを意味し、例えば、入力画像全体の平均輝度は各画素の輝度成分の平均値を指す。
Here, the luminance is the luminance component of the YCC signal indicating the luminance color difference calculated based on [Equation 1] from the R (red), G (green), and B (blue) components of the pixels constituting the input image. Y means, for example, the average luminance of the entire input image indicates the average value of the luminance components of each pixel.

特性値算出部には、さらにそれらの画像を手動操作により覆い焼き補正する手動補正部が設けられ、ハイライト部及びシャドウ部が手動操作により階調変換される。適正に階調変換されたサンプル画像の画素輝度と補正前の画素輝度からハイライト部及びシャドウ部の平均ガンマ値を算出し、複数のサンプル画像に対する平均ガンマ値の最大値及び最小値の幅で正規化した値に所定の正規化係数を掛けて、出力教師データとしてのハイライト部及びシャドウ部の補正係数Hlevel,Slevelを算出する。その結果、夫々0から100の間の値をとる正規化値として補正係数Hlevel,Slevelが算出される。   The characteristic value calculation unit is further provided with a manual correction unit that performs dodging correction on these images by manual operation, and gradation conversion is performed on the highlight portion and the shadow portion by manual operation. The average gamma value of the highlight and shadow areas is calculated from the pixel brightness of the sample image that has been appropriately tone converted and the pixel brightness before correction, and the maximum and minimum widths of the average gamma value for multiple sample images are calculated. The normalized values are multiplied by a predetermined normalization coefficient to calculate the correction coefficients Hlevel and Level of the highlight part and the shadow part as output teacher data. As a result, correction coefficients Hlevel and Slevel are calculated as normalized values that take values between 0 and 100, respectively.

上述の学習部は、これらの入力教師データ及び出力教師データに基づいて結合係数が収束するまで数千回の学習を繰り返すのである。   The learning unit described above repeats learning thousands of times until the coupling coefficient converges based on these input teacher data and output teacher data.

尚、手動補正部が当該写真処理装置に実装されているものであってもよいし、外部の画像処理装置に組み込まれ、その結果が当該写真処理装置に入力されるものであってもよい。また、当該ニューラルネットワークに入力される特性値は、上述したものに限定されるものではなく、輝度に替えてR(赤),G(緑),B(青)各成分の平均値を採用するものであってもよいし、R(赤),G(緑),B(青)各成分に関するデータに替えて〔数3〕によりYCC変換されたCb,Crデータを用いるものであってもよく、何れの場合であっても入力画像の任意の特性値に対して適切な補正係数Hlevel,Slevelが適切に分離出力されるように学習されるものであればよい。   Note that the manual correction unit may be mounted on the photo processing apparatus, or may be incorporated in an external image processing apparatus and the result may be input to the photo processing apparatus. The characteristic values input to the neural network are not limited to those described above, and average values of R (red), G (green), and B (blue) components are used instead of the luminance. May be used, or Cb and Cr data YCC-converted by [Equation 3] may be used instead of the data on each component of R (red), G (green), and B (blue). In any case, any correction coefficient Hlevel and Level may be learned so as to be appropriately separated and output with respect to an arbitrary characteristic value of the input image.

即ち、前記画像解析部10aは、対象画像の複数の特性値が入力される入力層と、中間層と、対象画像のハイライト部及びシャドウ部に対する補正係数が出力される出力層とを備え、サンプル画像の特性値が入力教師データとして前記入力層に入力されたときに、当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力教師データとして前記出力層から出力されるように、複数のサンプル画像から得られる教師データに対して繰り返し演算して各層の重み係数を学習する学習部を備えて構成されるニューラルネットワークで構成されている。   That is, the image analysis unit 10a includes an input layer to which a plurality of characteristic values of the target image are input, an intermediate layer, and an output layer from which correction coefficients for the highlight and shadow portions of the target image are output. When the characteristic value of the sample image is input as input teacher data to the input layer, the correction coefficient for the highlight portion and the shadow portion in which the sample image is appropriately dodging corrected is output from the output layer as output teacher data. As described above, the neural network is configured by including a learning unit that repeatedly calculates the teacher data obtained from a plurality of sample images and learns the weighting coefficient of each layer.

このようにして学習が終了した画像解析部10aに対象画像の特性値が入力されると、当該対象画像に対するハイライト部及びシャドウ部の適切な補正係数Hlevel,Slevelが出力されるようになる。   When the characteristic value of the target image is input to the image analysis unit 10a that has been learned in this manner, appropriate correction coefficients Hlevel and Level for the highlight and shadow portions for the target image are output.

以下、覆い焼き処理部10による画像処理の流れを、図9に示すフローチャートに基づいて説明する。   Hereinafter, the flow of image processing by the dodging processor 10 will be described based on the flowchart shown in FIG.

低解像度の対象画像が入力されると(SA1)、特性値算出部により上述の画像特性値が算出され(SA2)、前記画像解析部10aに当該画像特性値が入力されて、ハイライト部及びシャドウ部の適切な補正係数Hlevel,Slevelが出力される(SA3)。   When a low-resolution target image is input (SA1), the above-described image characteristic value is calculated by the characteristic value calculation unit (SA2), and the image characteristic value is input to the image analysis unit 10a. Appropriate correction coefficients Hlevel and Level of the shadow part are output (SA3).

次に、前記輝度変換関数生成部10bにより、ハイライト部の輝度変換関数Hi(i)及びシャドウ部の輝度変換関数Si(i)が〔数2〕,〔数3〕に基づいてルックアップテーブルとして生成される(SA4)。図7は、hγ=sγ=3.0のときのハイライト部の輝度変換関数Hi(i)及びシャドウ部の輝度変換関数Si(i)の一例を示し、ハイライト部及びシャドウ部で階調が立つように輝度変換されることが示されている。
Next, the brightness conversion function Hi (i) of the highlight part and the brightness conversion function Si (i) of the shadow part are looked up by the brightness conversion function generation unit 10b based on [Expression 2] and [Expression 3]. (SA4). FIG. 7 shows an example of the luminance conversion function Hi (i) of the highlight portion and the luminance conversion function Si (i) of the shadow portion when hγ = sγ = 3.0. It is shown that the luminance is converted so that

前記輝度変換処理部10cでは、入力画像を構成する各画素のR(赤),G(緑),B(青)各成分に対して、夫々の最大値及び最小値が表現可能な最小値(0)及び最大値(8ビットであれば255、12ビットであれば4095)となるように各色成分の階調表現範囲を拡張変換する。例えばR(赤)成分に対して〔数4〕で示す変換式で変換される(SA5)。
In the luminance conversion processing unit 10c, a minimum value that can represent the maximum value and the minimum value for each of the R (red), G (green), and B (blue) components of each pixel constituting the input image ( 0) and the maximum value (255 for 8 bits, 4095 for 12 bits), the gradation expression range of each color component is extended and converted. For example, the R (red) component is converted by the conversion formula shown in [Formula 4] (SA5).

さらに、前記輝度変換処理部10cにより、〔数6〕により変換されたR(赤),G(緑),B(青)各成分R´,G´,B´に対して〔数3〕により輝度値Yが算出され、輝度値画像が生成される(SA6)。   Further, the R (red), G (green), and B (blue) components R ′, G ′, and B ′ converted by [Equation 6] by the luminance conversion processing unit 10c according to [Equation 3]. A luminance value Y is calculated, and a luminance value image is generated (SA6).

次に、生成された輝度値画像から覆い焼き領域、つまり低周波画像が生成される。具体的には、当該輝度値画像にバイラテラルフィルタ処理が施されて、エッジを残したボケ画像が新たな輝度値Y´で表される低周波画像として生成され(SA7)、当該低周波画像に対して上述の輝度変換関数による変換特性を表すルックアップテーブルに基づいてハイライト部及びシャドウ部の輝度変換処理が行なわれ(SA8,SA9)、輝度変換された対象画像の各画素輝度値を、〔数5〕に基づいて融合した輝度値Y´´が補正後の画素輝度値として算出される(SA10)。
Next, a dodging area, that is, a low-frequency image is generated from the generated luminance value image. Specifically, the luminance value image is subjected to bilateral filter processing, and a blurred image leaving an edge is generated as a low-frequency image represented by a new luminance value Y ′ (SA7). On the other hand, the luminance conversion processing of the highlight portion and the shadow portion is performed based on the look-up table representing the conversion characteristic by the luminance conversion function (SA8, SA9), and the luminance value of each pixel of the target image subjected to the luminance conversion is calculated. The luminance value Y ″ fused based on [Equation 5] is calculated as the corrected pixel luminance value (SA10).

つまり、当該対象画像の低周波成分の値に基づいて、詳しくは、当該低周波画像の各画素輝度Y´が採り得る最大輝度(ここでは255)及び最小輝度(ここでは0)の輝度幅で正規化した重み係数Wに基づいて重み付け演算した値が補正後の画素輝度として算出されるのである。   That is, based on the value of the low frequency component of the target image, in detail, the luminance width of the maximum luminance (here 255) and the minimum luminance (here 0) that each pixel luminance Y ′ of the low frequency image can take. A value obtained by weighting based on the normalized weight coefficient W is calculated as the corrected pixel luminance.

続いて、前記色補正処理部10dでは、前記輝度変換処理部10cによる輝度変換前後の画素輝度から〔数6〕により算出されるガンマ値が各画素の色補正変数として求められる(SA11)。
Subsequently, in the color correction processing unit 10d, a gamma value calculated by [Equation 6] from the pixel luminance before and after the luminance conversion by the luminance conversion processing unit 10c is obtained as a color correction variable of each pixel (SA11).

さらに、算出されたガンマ値cγを変数として、〔数7〕に示す色補正関数がルックアップテーブルとして生成され(SA12)、〔数4〕により変換されたR(赤),G(緑),B(青)各成分R´,G´,B´が〔数7〕に基づいて新たな成分値R´´,G´´,B´´として算出される(SA14)。
Further, using the calculated gamma value cγ as a variable, the color correction function shown in [Equation 7] is generated as a lookup table (SA12), and R (red), G (green), converted by [Equation 4], The B (blue) components R ′, G ′, B ′ are calculated as new component values R ″, G ″, B ″ based on [Equation 7] (SA14).

図8はこのような色補正関数の一例であり、前記輝度変換処理部10cにより輝度が低くなるように変換され、cγ>1となるハイライト領域の画素に対してハイライト部は対象画像のR(赤)、G(緑)、B(青)色成分の明度差が広がるように補正、シャドウ部は対象画像のR(赤)、G(緑)、B(青)色成分の明度差が狭まるように補正、詳述するとR(赤),G(緑),B(青)色成分の明度差が大きな高彩度画素が明度差の小さな低彩度画素よりも明度差が狭まる(彩度が低くなる)ように補正され、前記輝度変換処理部10cにより輝度が高く変換され、cγ<1となるシャドウ領域の画素に対してシャドウ部は対象画像のR(赤)、G(緑)、B(青)色成分の明度差が広がるように補正、ハイライト部は対象画像のR(赤)、G(緑)、B(青)色成分の明度差が狭まるように補正、詳述すると、R(赤),G(緑),B(青)色成分の明度差が大きな高彩度画素が明度差の小さな低彩度画素よりも明度差が広がる(彩度が高くなる)ように補正されるようになる。   FIG. 8 shows an example of such a color correction function, which is converted by the luminance conversion processing unit 10c so as to reduce the luminance, and the highlight portion of the highlight image is the pixel of the highlight region where cγ> 1. Correction is made so that the brightness difference between the R (red), G (green), and B (blue) color components is widened, and the shadow portion is the brightness difference between the R (red), G (green), and B (blue) color components of the target image. In detail, a high saturation pixel having a large brightness difference between R (red), G (green), and B (blue) color components has a smaller brightness difference than a low saturation pixel having a small brightness difference (saturation). Is reduced by the luminance conversion processing unit 10c, and the shadow part is R (red), G (green) of the target image with respect to the pixels in the shadow area where cγ <1. Correction is made so that the brightness difference of the B (blue) color component is widened, and the highlight part is R (red), G (green) of the target image ), B (blue) color components are corrected so that the lightness difference is narrowed. In detail, high chroma pixels with a large lightness difference between R (red), G (green), and B (blue) color components are low with a low lightness difference. Correction is made so that the brightness difference is wider (the saturation is higher) than the saturation pixels.

尚、色補正関数は、前記輝度変換処理部10cにより輝度が低く変換されるハイライト領域の画素に対して対象画像のR(赤),G(緑),B(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部10cにより輝度が高く変換されるシャドウ領域の画素に対して対象画像のR(赤),G(緑),B(青)色成分の明度差が広がるように補正する関数であれば、〔数7〕に示すものに限るものではない。   The color correction function is a brightness difference between R (red), G (green), and B (blue) color components of the target image with respect to a pixel in a highlight area whose luminance is converted to be low by the luminance conversion processing unit 10c. The brightness difference between the R (red), G (green), and B (blue) color components of the target image with respect to the pixels in the shadow region that is converted to high brightness by the brightness conversion processing unit 10c is corrected. If it is a function which corrects so that it may spread, it is not restricted to what is shown in [Formula 7].

このようにして、入力された全ての低解像度画像に対して、覆い焼き処理が行なわれたハイライト部の輝度変換関数Hi(i)及びシャドウ部の輝度変換関数Si(i)が補正パラメータとしてメモリ41に格納され(SA15)、さらに、前記濃度補正部12、カラー補正処理部13と、鮮鋭化処理部14等での補正処理のパラメータがメモリ41に格納され、その後、当該パラメータに基づいて高解像度の対象画像に対する画像処理が行なわれ(SA16)、写真プリントが生成される。   In this way, the luminance conversion function Hi (i) of the highlight portion and the luminance conversion function Si (i) of the shadow portion, which have been subjected to the dodging process, are used as correction parameters for all the input low-resolution images. It is stored in the memory 41 (SA15), and parameters for correction processing in the density correction unit 12, the color correction processing unit 13, the sharpening processing unit 14 and the like are stored in the memory 41, and then based on the parameters. Image processing is performed on the high-resolution target image (SA16), and a photographic print is generated.

尚、上述のステップSA7で、演算処理の高速化のために、入力画素を所定サイズの画素数でブロック化し、ブロックに含まれる画素の輝度値を加算平均した値を新たな輝度値とするモザイク処理により縮小画像を生成し、当該縮小画像にバイラテラルフィルタ処理を施して低周波画像を生成し、当該低周波画像に対して上述のステップSA8からSA10を実行した後に元のサイズに拡大処理するものであってもよい。   Note that in step SA7 described above, in order to speed up the arithmetic processing, the input pixels are blocked by the number of pixels of a predetermined size, and the mosaic is obtained by adding and averaging the luminance values of the pixels included in the block as new luminance values. A reduced image is generated by processing, a bilateral filter process is performed on the reduced image to generate a low-frequency image, and the above-described steps SA8 to SA10 are performed on the low-frequency image, and then the original image is enlarged. It may be a thing.

図10(b)は、原画像(a)が本発明による覆い焼き処理により補正された画像を示し、(c)は本発明による覆い焼き処理のうち、ステップSA10までの処理で輝度変換された画素のY´´の変換比率Y´´/YをCb,Cr成分に乗じた後に〔数3〕の逆変換により算出されたR,G,B成分による画像である。例えば、モデルのスカート部を参照すると、図10(c)では色が飽和して彩度バランスが崩れ、明暗が分かり難いのに対して、図10(b)では彩度バランスが保たれ、色の再現性が優れていることが示される。   FIG. 10 (b) shows an image obtained by correcting the original image (a) by the dodging process according to the present invention, and FIG. 10 (c) shows the brightness conversion by the process up to step SA10 in the dodging process according to the present invention. This is an image of R, G, B components calculated by inverse transformation of [Equation 3] after multiplying the conversion ratio Y ″ / Y of Y ″ of pixels by Cb, Cr components. For example, referring to the skirt portion of the model, in FIG. 10 (c), the color is saturated and the saturation balance is lost, and it is difficult to understand the contrast, whereas in FIG. 10 (b), the saturation balance is maintained, It is shown that the reproducibility of is excellent.

以下、別実施形態を説明する。上述の実施形態では画像解析部がニューラルネットワークを用いて構成されたものを説明したが、画像解析部はニューラルネットワークで構成されるものに限るものではなく、入出力が線形写像であれば多変量解析の一例である重回帰分析を行なう演算部で構成することも可能であり、サポートベクターマシン等を用いて構成することも可能である。   Hereinafter, another embodiment will be described. In the above-described embodiment, the image analysis unit is configured using a neural network. However, the image analysis unit is not limited to the one configured using a neural network. It is also possible to configure with an arithmetic unit that performs multiple regression analysis, which is an example of analysis, and it is also possible to configure using a support vector machine or the like.

覆い焼き処理の後に、自動濃度補正を行なう場合には、自動濃度補正により覆い焼き処理の効果が変動しないように、図7に示したようなシャドウ部及びハイライト部のルックアップテーブルで囲まれる面積が変化しないように、且つ、自動濃度補正による目標補正値が覆い焼き処理を施すことにより変化しないようにsγ及びhγを補正すればよい。   When the automatic density correction is performed after the dodging process, the shadow area and the highlight part as shown in FIG. 7 are surrounded by the look-up table so that the effect of the dodging process is not changed by the automatic density correction. It is only necessary to correct sγ and hγ so that the area does not change and the target correction value by the automatic density correction does not change due to the dodging process.

上述した実施形態では、本発明による画像処理装置及び画像処理方法を写真画像処理装置に適用したものを説明したが、本発明はこのような専用機に組み込まれるものに限定されるものではなく、本発明による画像処理方法を実現するアプリケーションプログラムがインストールされたパーソナルコンピュータやデジタルカメラ等により構成することもできる。   In the above-described embodiment, the image processing apparatus and the image processing method according to the present invention are applied to the photographic image processing apparatus. However, the present invention is not limited to those incorporated in such a dedicated machine. The image processing method according to the present invention can be configured by a personal computer, a digital camera, or the like installed with an application program.

アプリケーションプログラムとは、コンピュータを、対象画像のハイライト部及びシャドウ部の濃度を異なる輝度変換特性で変換する輝度変換処理部と、前記輝度変換処理部による輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のR(赤),G(緑),B(青)色成分を補正する色補正処理部とからなる覆い焼き処理部として機能させる画像処理プログラムである。   The application program is a gamma calculated from a luminance conversion processing unit that converts the density of a highlight portion and a shadow portion of a target image with different luminance conversion characteristics, and pixel luminance before and after luminance conversion by the luminance conversion processing unit. An image that functions as a dodging processing unit including a color correction processing unit that corrects R (red), G (green), and B (blue) color components of each pixel based on a color correction function that uses a value as a color correction variable. It is a processing program.

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。   Note that the above-described embodiment is merely an example of the present invention, and it is needless to say that the specific configuration and the like of each block can be changed and designed as appropriate within the scope of the effects of the present invention.

画像処理部の機能ブロック構成図Functional block diagram of the image processing unit 写真画像処理装置の外観構成の説明図Explanatory drawing of the external configuration of the photographic image processing apparatus 写真プリンタの説明図Illustration of photo printer 写真画像処理装置の機能ブロック構成図Functional block diagram of photographic image processing device 画像解析部を構成するニューラルネットワークの説明図Illustration of the neural network that composes the image analysis unit 画像特性値が算出される対象画像の領域説明図Area explanatory diagram of target image for which image characteristic value is calculated ハイライト部とシャドウ部の輝度変換関数の特性図Characteristic diagram of brightness conversion function for highlight and shadow areas 色補正関数の特性図Characteristic of color correction function 覆い焼き処理を示すフローチャートFlow chart showing dodging process 本発明による覆い焼き処理を行なった写真画像の説明図(物件提出書により本図のカラープリントを提出する。)Explanatory drawing of a photographic image subjected to dodging processing according to the present invention (a color print of this drawing is submitted by the property submission form)

符号の説明Explanation of symbols

1:写真画像処理装置
10:覆い焼き処理部
10a:画像解析部
10b:輝度変換関数生成部
10c:輝度変換処理部
10d:色補正処理部
47:画像処理部
1: Photo image processing apparatus 10: Dodge processing unit 10a: Image analysis unit 10b: Luminance conversion function generation unit 10c: Luminance conversion processing unit 10d: Color correction processing unit 47: Image processing unit

Claims (4)

対象画像のハイライト部及びシャドウ部の濃度を異なる輝度変換特性で変換する輝度変換処理部と、前記輝度変換処理部による輝度変換前後の画素輝度から算出されるガンマ値を色補正変数とする色補正関数に基づいて各画素のR(赤),G(緑),B(青)色成分を補正する色補正処理部とからなる覆い焼き処理部を備えて構成される画像処理装置。   A luminance conversion processing unit that converts the density of the highlight and shadow portions of the target image with different luminance conversion characteristics, and a color that uses a gamma value calculated from pixel luminance before and after the luminance conversion by the luminance conversion processing unit as a color correction variable An image processing apparatus including a dodging processing unit including a color correction processing unit that corrects R (red), G (green), and B (blue) color components of each pixel based on a correction function. 前記色補正関数は、前記輝度変換処理部により輝度が低く変換される画素に対してR(赤),G(緑),B(青)色成分の明度差が狭まるように補正し、前記輝度変換処理部により輝度が高く変換される画素に対してR(赤),G(緑),B(青)色成分の明度差が広がるように補正する関数である請求項1記載の画像処理装置。   The color correction function corrects the brightness difference of R (red), G (green), and B (blue) color components for pixels whose luminance is converted to be low by the luminance conversion processing unit, and 2. The image processing apparatus according to claim 1, wherein the image processing apparatus is a function that corrects the brightness difference of R (red), G (green), and B (blue) color components to be widened by a conversion processing unit with respect to a pixel that is converted to a high luminance. . 入力されたサンプル画像の複数の特性値に対して当該サンプル画像が適正に覆い焼き補正されたハイライト部及びシャドウ部に対する補正係数が出力されるように複数のサンプル画像に基づいて学習された画像解析部と、入力された対象画像の複数の特性値に対して前記画像解析部から出力される当該対象画像のハイライト部及びシャドウ部の補正係数に基づいて、ハイライト部及びシャドウ部の輝度変換関数を生成する輝度変換関数生成部とを備え、
前記輝度変換処理部は、前記輝度変換関数生成部により生成される輝度変換関数に基づいて前記対象画像の輝度を補正処理するように構成されている請求項1または2記載の画像処理装置。
An image learned based on a plurality of sample images so that correction coefficients for a highlight portion and a shadow portion in which the sample image is appropriately dodging corrected with respect to a plurality of characteristic values of the input sample image are output. The luminance of the highlight portion and the shadow portion based on the correction coefficient of the highlight portion and the shadow portion of the target image output from the image analysis portion with respect to the plurality of characteristic values of the input target image. A luminance conversion function generation unit for generating a conversion function,
The image processing apparatus according to claim 1, wherein the luminance conversion processing unit is configured to correct the luminance of the target image based on a luminance conversion function generated by the luminance conversion function generation unit.
対象画像のハイライト部及びシャドウ部の濃度を異なる輝度変換特性で変換する輝度変換処理ステップと、前記輝度変換処理ステップによる輝度変換前後の画素輝度からガンマ値を算出するガンマ値算出ステップと、前記ガンマ値算出ステップにより算出されたガンマ値を色補正変数とする色補正関数に基づいて各画素のR(赤),G(緑),B(青)色成分を補正する色補正処理ステップとからなる画像処理方法。   A luminance conversion processing step for converting the density of the highlight portion and the shadow portion of the target image with different luminance conversion characteristics, a gamma value calculation step for calculating a gamma value from pixel luminance before and after luminance conversion by the luminance conversion processing step, and A color correction processing step for correcting R (red), G (green), and B (blue) color components of each pixel based on a color correction function using the gamma value calculated in the gamma value calculating step as a color correction variable. An image processing method.
JP2007064176A 2007-03-13 2007-03-13 Image processing apparatus and image processing method Active JP4830923B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007064176A JP4830923B2 (en) 2007-03-13 2007-03-13 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007064176A JP4830923B2 (en) 2007-03-13 2007-03-13 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2008227976A true JP2008227976A (en) 2008-09-25
JP4830923B2 JP4830923B2 (en) 2011-12-07

Family

ID=39846042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007064176A Active JP4830923B2 (en) 2007-03-13 2007-03-13 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP4830923B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011118662A1 (en) * 2010-03-23 2011-09-29 富士フイルム株式会社 Image processing method and device, and image processing program
CN113242417A (en) * 2021-05-10 2021-08-10 中国人民解放军海军航空大学 Method for correcting standard deviation weighted color cast digital image
KR20220015915A (en) * 2020-07-31 2022-02-08 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 Method and device for image processing, terminal device and storage medium
CN117314795A (en) * 2023-11-30 2023-12-29 成都玖锦科技有限公司 SAR image enhancement method by using background data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03169166A (en) * 1989-11-28 1991-07-22 Dainippon Printing Co Ltd Plate making color scanner and picture signal processing method used therefor
JPH04150171A (en) * 1990-10-09 1992-05-22 Matsushita Electric Ind Co Ltd Gradation correction method and gradation correction device
JPH05336366A (en) * 1992-06-01 1993-12-17 Ricoh Co Ltd Color image correcting device
JP2002051225A (en) * 2000-07-31 2002-02-15 Fuji Photo Film Co Ltd Device and method for processing image
JP2002281524A (en) * 2001-03-16 2002-09-27 Canon Inc Image processor and image processing method
JP2003092682A (en) * 2001-07-09 2003-03-28 Noritsu Koki Co Ltd Image processing unit, image processing method, recording medium for recording image processing program, and printer
JP2004193682A (en) * 2002-12-06 2004-07-08 Sharp Corp Image processing method, image processor and image forming apparatus having the same
JP2004310671A (en) * 2003-04-10 2004-11-04 Seiko Epson Corp Image processor, image processing method and image processing program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03169166A (en) * 1989-11-28 1991-07-22 Dainippon Printing Co Ltd Plate making color scanner and picture signal processing method used therefor
JPH04150171A (en) * 1990-10-09 1992-05-22 Matsushita Electric Ind Co Ltd Gradation correction method and gradation correction device
JPH05336366A (en) * 1992-06-01 1993-12-17 Ricoh Co Ltd Color image correcting device
JP2002051225A (en) * 2000-07-31 2002-02-15 Fuji Photo Film Co Ltd Device and method for processing image
JP2002281524A (en) * 2001-03-16 2002-09-27 Canon Inc Image processor and image processing method
JP2003092682A (en) * 2001-07-09 2003-03-28 Noritsu Koki Co Ltd Image processing unit, image processing method, recording medium for recording image processing program, and printer
JP2004193682A (en) * 2002-12-06 2004-07-08 Sharp Corp Image processing method, image processor and image forming apparatus having the same
JP2004310671A (en) * 2003-04-10 2004-11-04 Seiko Epson Corp Image processor, image processing method and image processing program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011118662A1 (en) * 2010-03-23 2011-09-29 富士フイルム株式会社 Image processing method and device, and image processing program
KR20220015915A (en) * 2020-07-31 2022-02-08 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 Method and device for image processing, terminal device and storage medium
KR102459527B1 (en) * 2020-07-31 2022-10-27 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 Method and device for image processing, terminal device and storage medium
US11783450B2 (en) 2020-07-31 2023-10-10 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for image processing, terminal device and storage medium
CN113242417A (en) * 2021-05-10 2021-08-10 中国人民解放军海军航空大学 Method for correcting standard deviation weighted color cast digital image
CN117314795A (en) * 2023-11-30 2023-12-29 成都玖锦科技有限公司 SAR image enhancement method by using background data
CN117314795B (en) * 2023-11-30 2024-02-27 成都玖锦科技有限公司 SAR image enhancement method by using background data

Also Published As

Publication number Publication date
JP4830923B2 (en) 2011-12-07

Similar Documents

Publication Publication Date Title
JP4780374B2 (en) Image processing method and program for suppressing granular noise, and granular suppression processing module for implementing the method
KR101248858B1 (en) Image processing apparatus and image processing method
JP4385964B2 (en) Photo image processing method and photo image processing apparatus
JP4830923B2 (en) Image processing apparatus and image processing method
JP2007249802A (en) Image processor and image processing method
JP2010068361A (en) Photographic image processing method, photographic image processing program, and photographic image processor
JP2006186753A (en) Method and apparatus for processing photographic image
EP1387568A2 (en) Printing system and layout data generation device
JP4798446B2 (en) Photographed image correction method and photographed image correction module
JP4661659B2 (en) Photo image processing apparatus and photo image processing method
JP4775289B2 (en) Image processing apparatus and image processing method
JP4591784B2 (en) Method for creating conversion table for photographed image correction and photo printing apparatus for implementing this method
JP2005159387A (en) Method of determining density characteristic curve and density correction management apparatus for executing this method
US20030011790A1 (en) Correcting exposure and tone scale of digital images using a plurality of transforms
JP4793292B2 (en) Image processing apparatus and image processing method
JP2007201655A (en) Image processing apparatus
JP2006352601A (en) Image processor and method thereof
JP2009016940A (en) Uniformity correction processing apparatus and uniformity correction processing method of frame image
JP4506498B2 (en) Photo image processing method and photo image processing apparatus
JP4635884B2 (en) Image processing apparatus and method
JP2005072850A (en) Adjusting method of three dimensional lut and color conversion system equipped with three dimensional lut
JP2006301675A (en) Image processor and image processing method
JP2007034471A (en) Method, program and module for generating correction characteristic used for contrast correction
JP4375223B2 (en) Image processing apparatus, image processing method, and image processing program
JP4433285B2 (en) Image processing method for correcting unnecessary area of image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091221

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110221

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

R150 Certificate of patent or registration of utility model

Ref document number: 4830923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250