JP2007295542A - Output image adjustment of image data - Google Patents

Output image adjustment of image data Download PDF

Info

Publication number
JP2007295542A
JP2007295542A JP2007069716A JP2007069716A JP2007295542A JP 2007295542 A JP2007295542 A JP 2007295542A JP 2007069716 A JP2007069716 A JP 2007069716A JP 2007069716 A JP2007069716 A JP 2007069716A JP 2007295542 A JP2007295542 A JP 2007295542A
Authority
JP
Japan
Prior art keywords
correction amount
image data
lightness
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007069716A
Other languages
Japanese (ja)
Other versions
JP4311465B2 (en
Inventor
Yoshihiro Nakami
至宏 中見
Yasuhisa Hayaishi
育央 早石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2007069716A priority Critical patent/JP4311465B2/en
Publication of JP2007295542A publication Critical patent/JP2007295542A/en
Application granted granted Critical
Publication of JP4311465B2 publication Critical patent/JP4311465B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color, Gradation (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To automatically adjust the image quality of image data without impairing the output tendency of arbitrary image processing applied to the image data. <P>SOLUTION: When image data GF include imaging information PI (Exif IFD), a CPU calculates a modified lightness correction amount tCurve-Y with an exposure correction amount (exposure amount) EV taken into account. Specifically, the modified lightness correction amount tCurve-Y is calculated by multiplying an original lightness correction amount tCurve-Yorg by 1/2¾EV¾. Accordingly, as the exposure correction amount increases, the modified lightness correction amount decreases like geometric series. The CPU applies the obtained modified lightness correction amount tCurve-Y to a tone curve and performs picture-quality adjustment including the lightness. That is, the modified lightness correction amount tCurve-Y is used to modify the tone curve characteristic, and the modified tone curve is applied to image data GD to adjust the picture quality of the image data. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、画像データの明度を調整する画像調整技術に関する。   The present invention relates to an image adjustment technique for adjusting the brightness of image data.

ディジタルスチルカメラ(DSC)、ディジタルビデオカメラ(DVC)、スキャナ等によって生成された画像データの画質は、パーソナルコンピュータ上で画像レタッチアプリケーションを用いることによって任意に調整することができる。画像レタッチアプリケーションには、一般的に、画像データの画質(特性)を自動的に調整する画像調整機能が備えられており、この画像調整機能を利用すれば、出力装置から出力する画像データの画質を容易に標準的な画質へと調整することができる。画像データの出力装置としては、例えば、CRT、LCD、プリンタ、プロジェクタ、テレビ受像器などが知られている。   The image quality of image data generated by a digital still camera (DSC), a digital video camera (DVC), a scanner, or the like can be arbitrarily adjusted by using an image retouching application on a personal computer. An image retouching application generally has an image adjustment function that automatically adjusts the image quality (characteristics) of image data. If this image adjustment function is used, the image quality of image data output from an output device is provided. Can be easily adjusted to a standard image quality. Known image data output devices include, for example, CRTs, LCDs, printers, projectors, and television receivers.

また、出力装置の1つであるプリンタの動作を制御するプリンタドライバにも、画像データの画質(特性)を自動的に調整する機能が備えられており、このようなプリンタドライバを利用しても、印刷される画像データの画質を容易に標準的な画質へと調整することができる。   Also, a printer driver that controls the operation of a printer, which is one of output devices, has a function of automatically adjusting the image quality (characteristics) of image data. The image quality of the image data to be printed can be easily adjusted to the standard image quality.

特開2001−243463号公報JP 2001-243463 A

通常、これら画像レタッチアプリケーション等によって提供される画質自動調整機能では、標準的な画像データの画質を基準とする画質補正が実行される。これに対して、画像処理の対象となる画像データは様々な条件下で生成され得るため、標準的な画像データを想定した基準値を用いて一律に画質自動調整機能によって画像データの画質(特性)を補正しても、上手く画質を補正できないことがある。   Usually, in the automatic image quality adjustment function provided by these image retouching applications and the like, image quality correction based on the image quality of standard image data is executed. On the other hand, since image data to be subjected to image processing can be generated under various conditions, the image quality (characteristics) of the image data is uniformly determined by the automatic image quality adjustment function using a reference value assuming standard image data. ) May not be able to be corrected properly.

また、DSC等の画像データ生成装置の中には、画像データ生成時に画像データの画質を任意に調整できるものもあり、ユーザは意図的に所定の画質を有する画像データを生成することができる。このような画像データに対して、画質自動調整機能を実行すると、画像データが有する意図的な画像特性までもが一律に基準値に基づいて調整されてしまい、ユーザの意図を反映した出力画像を得ることができないという問題があった。   Some image data generation apparatuses such as DSC can arbitrarily adjust the image quality of image data when generating the image data, and the user can intentionally generate image data having a predetermined image quality. When the automatic image quality adjustment function is executed for such image data, even the intentional image characteristics of the image data are uniformly adjusted based on the reference value, and an output image reflecting the user's intention is obtained. There was a problem that could not be obtained.

本発明は、上記課題を解決するためになされたものであり、画像データに施された恣意的な画像処理の出力傾向を損なうことなく画像データの画質を自動調整することを目的とする。   SUMMARY An advantage of some aspects of the invention is to automatically adjust the image quality of image data without impairing the output tendency of arbitrary image processing performed on the image data.

上記課題を解決するために本発明の第1の態様は、画像データと、その画像データに対する露出補正量とを用いて画像データに対する画像処理を実行する画像処理装置を提供する。本発明の第1の態様に係る画像処理装置は、明度に関する画質調整の基準となる明度基準値を用いて前記画像データの明度補正量を決定する補正量決定ユニットと、前記露出補正量が大きくなるにつれて前記明度補正量を小さくする補正量修正ユニットと、前記修正された明度補正量を適用して前記画像データの明度を調整する画質調整ユニットとを備えることを特徴とする。   In order to solve the above problems, a first aspect of the present invention provides an image processing apparatus that executes image processing on image data using image data and an exposure correction amount for the image data. The image processing apparatus according to the first aspect of the present invention includes a correction amount determination unit that determines a lightness correction amount of the image data using a lightness reference value that is a reference for image quality adjustment relating to lightness, and the exposure correction amount is large. A correction amount correction unit that decreases the lightness correction amount as it becomes, and an image quality adjustment unit that adjusts the lightness of the image data by applying the corrected lightness correction amount.

本発明の第1の態様に係る画像処理装置によれば、明度に関する画質調整の基準となる明度基準値を用いて画像データの明度補正量を決定し、決定された明度補正量を露出補正量が大きくなるにつれて小さく修正し、修正された明度補正量を適用して前記画像データの明度を調整するので、恣意的に設定された明度に関する出力条件を損なうことなく画像データの画質を自動調整することができる。したがって、画質が自動的に調整される場合であっても、明るい出力結果が意図されている場合には、明るい出力結果を得ることができ、暗い出力結果が意図されている場合には、暗い出力結果を得ることができる。   According to the image processing apparatus of the first aspect of the present invention, the brightness correction amount of the image data is determined using the brightness reference value that is a reference for the image quality adjustment relating to the brightness, and the determined brightness correction amount is used as the exposure correction amount. Since the brightness of the image data is adjusted by applying a corrected brightness correction amount, the image quality of the image data is automatically adjusted without impairing the output conditions relating to the arbitrarily set brightness. be able to. Therefore, even when the image quality is automatically adjusted, if a bright output result is intended, a bright output result can be obtained, and if a dark output result is intended, it is dark. An output result can be obtained.

本発明の第1の態様に係る画像処理装置において、前記補正量修正ユニットは、所定の露出補正量未満の前記露出補正量に対する前記明度補正量の変化の程度と、前記所定の露出補正量以上の前記露出補正量に対する前記明度補正量の変化の程度とを異ならせても良い。あるいは、前記補正量修正ユニットは、前記露出補正量が大きくなるにつれて前記明度補正量の低減の割合を減少させても良い。かかる構成を備えることにより、露出補正量が大きくなってもハイライトやシャドー部の階調を維持することが可能となり、結果として白飛びや黒つぶれの発生を防止することができる。   In the image processing apparatus according to the first aspect of the present invention, the correction amount correction unit includes a degree of change in the brightness correction amount with respect to the exposure correction amount that is less than a predetermined exposure correction amount, and at least the predetermined exposure correction amount. The degree of change in the lightness correction amount with respect to the exposure correction amount may be different. Alternatively, the correction amount correction unit may decrease the reduction rate of the brightness correction amount as the exposure correction amount increases. By providing such a configuration, it is possible to maintain the gradation of highlights and shadow portions even when the exposure correction amount is large, and as a result, it is possible to prevent the occurrence of whiteout or blackout.

本発明の第1の態様に係る画像処理装置において、前記明度補正量は、等比級数的に小さくされても良い。かかる場合には、画質が自動的に調整される場合であっても、明るい出力結果が意図されている場合には、より正確に明るい出力結果を得ることができ、暗い出力結果が意図されている場合には、より正確に暗い出力結果を得ることができる。例えば、前記補正量修正ユニットは、前記明度補正量を、前記露出補正量をパラメータとする指数関数によって除することによって、前記明度補正量を修正しても良い。かかる場合には、露出補正量が大きくなるにつれて明度補正量を等比級数的に小さくすることができる。   In the image processing apparatus according to the first aspect of the present invention, the lightness correction amount may be reduced geometrically. In such a case, even if the image quality is automatically adjusted, if a bright output result is intended, a bright output result can be obtained more accurately, and a dark output result is intended. If it is, a dark output result can be obtained more accurately. For example, the correction amount correction unit may correct the lightness correction amount by dividing the lightness correction amount by an exponential function using the exposure correction amount as a parameter. In such a case, the lightness correction amount can be reduced geometrically as the exposure correction amount increases.

本発明の第1の態様に係る画像処理装置はさらに、前記画像データを解析して、前記画像データの明度に関する特性を示す明度特性値を取得する明度特性値取得ユニットを備え、前記補正量決定ユニットは、前記明度基準値と前記取得した明度特性値との偏差を低減させるように前記明度補正量を決定しても良い。かかる場合には、個々の画像データの特性を踏まえて、より適切に画像データの明度に関する特性を補正することができる。   The image processing apparatus according to the first aspect of the present invention further includes a lightness characteristic value acquisition unit that analyzes the image data and acquires a lightness characteristic value indicating characteristics relating to the lightness of the image data, and determines the correction amount. The unit may determine the lightness correction amount so as to reduce a deviation between the lightness reference value and the acquired lightness characteristic value. In such a case, the characteristics relating to the brightness of the image data can be corrected more appropriately based on the characteristics of the individual image data.

本発明の第1の態様に係る画像処理装置はさらに、前記画像データに対する明度補正の傾向を入力するための入力ユニットを備え、前記補正量決定ユニットは、前記入力された明度補正の傾向に基づいて、前記画像データの明度補正量を決定しても良い。かかる場合には、入力された明度補正の傾向に基づいて、より適切に画像データの明度に関する特性を補正することができる。   The image processing apparatus according to the first aspect of the present invention further includes an input unit for inputting a lightness correction tendency for the image data, and the correction amount determination unit is based on the input lightness correction tendency. Then, the brightness correction amount of the image data may be determined. In such a case, the characteristics relating to the brightness of the image data can be corrected more appropriately based on the input tendency of brightness correction.

本発明の第1の態様に係る画像処理装置はさらに、前記明度調整された画像データを用いて画像を出力する画像出力ユニットを備えても良い。かかる場合には、明度に関する特性が補正された画像を出力することができる。   The image processing apparatus according to the first aspect of the present invention may further include an image output unit that outputs an image using the image data adjusted in brightness. In such a case, it is possible to output an image with corrected characteristics relating to brightness.

本発明の第1の態様に係る画像処理装置において、前記補正量修正ユニットは、コントラスト補正前後の輝度差を考慮して前記明度補正量を修正し、前記画像データと前記露出補正量とは、同一のファイル内に格納されていても良い。かかる場合には、コントラスト補正による明度への影響を補償することができる。また、画像データに対する露出補正量の対応付けを容易にすることができる。   In the image processing apparatus according to the first aspect of the present invention, the correction amount correction unit corrects the brightness correction amount in consideration of a luminance difference before and after contrast correction, and the image data and the exposure correction amount are: It may be stored in the same file. In such a case, the influence on brightness by contrast correction can be compensated. In addition, it is possible to easily associate the exposure correction amount with the image data.

本発明の第2の態様は、画像データと、その画像データに対して実行された露出補正の情報とを用いて画像データに対する画像処理を実行する画像処理装置を提供する。本発明の第2の態様に係る画像処理装置は、前記画像データを解析して、前記画像データの明度に関する特性を示す明度特性値を取得する明度特性値取得ユニットと、明度に関する画質調整の基準となる明度基準値と前記取得した明度特性値との偏差を低減する画質調整ユニットと、前記露出補正の情報に基づいて、前記画像データに対して実行された露出補正の度合いが大きくなるにつれて前記偏差の低減の程度を小さくする偏差低減量調整ユニットとを備えることを特徴とする。   A second aspect of the present invention provides an image processing apparatus that executes image processing on image data using image data and information on exposure correction performed on the image data. An image processing apparatus according to a second aspect of the present invention comprises: a lightness characteristic value acquisition unit that analyzes the image data and acquires a lightness characteristic value indicating characteristics related to the lightness of the image data; and a reference for image quality adjustment related to lightness The image quality adjustment unit that reduces the deviation between the brightness reference value and the acquired brightness characteristic value, and the exposure correction performed on the image data based on the exposure correction information increases as the degree of exposure correction increases. And a deviation reduction amount adjusting unit for reducing the degree of deviation reduction.

本発明の第2の態様に係る画像処理装置によれば、明度に関する画質調整の基準となる明度基準値と取得した明度特性値との偏差を低減する際に、露出補正の情報に基づいて、画像データに対して実行された露出補正の度合いが大きくなるにつれて偏差の低減の程度を小さくするので、恣意的に設定された明度に関する出力条件を損なうことなく画像データの画質を自動調整することができる。したがって、画質が自動的に調整される場合であっても、明るい出力結果が意図されている場合には、意図に沿って明るい出力結果を得ることができ、暗い出力結果が意図されている場合には、意図に沿って暗い出力結果を得ることができる。なお、偏差の低減の程度は等比級数的に小さくされても良い。かかる場合には、明るい出力結果が意図されている場合には、より正確に意図に沿って明るい出力結果を得ることができ、暗い出力結果が意図されている場合には、より正確に意図に沿って暗い出力結果を得ることができる。   According to the image processing apparatus of the second aspect of the present invention, when reducing the deviation between the lightness reference value that is a reference for image quality adjustment related to lightness and the acquired lightness characteristic value, based on exposure correction information, Since the degree of deviation reduction is reduced as the degree of exposure correction performed on the image data increases, it is possible to automatically adjust the image quality of the image data without impairing the output conditions relating to the arbitrarily set brightness. it can. Therefore, even when the image quality is automatically adjusted, if a bright output result is intended, a bright output result can be obtained as intended, and a dark output result is intended. In this case, a dark output result can be obtained as intended. Note that the degree of deviation reduction may be reduced geometrically. In such a case, when a bright output result is intended, a bright output result can be obtained more precisely according to the intention, and when a dark output result is intended, it can be more accurately intended. A dark output result can be obtained along.

本発明の第2の態様に係る画像処理装置は、この他にも方法、プログラムとしても実現されると共に、本発明の第1の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。   The image processing apparatus according to the second aspect of the present invention is also realized as a method and a program in addition to this, and is realized in various aspects in the same manner as the image processing apparatus according to the first aspect of the present invention. Can be done.

本発明の第3の態様は、画像データと、その画像データに対する露出補正量とを用いた画像データに対する画像処理方法を提供する。本発明の第3の態様に係る画像処理方法は、明度に関する画質調整の基準となる明度基準値を用いて前記画像データの明度補正量を決定し、前記露出補正量が大きくなるにつれて前記明度補正量を小さく修正し、前記修正した明度補正量を適用して前記画像データの明度を調整することを特徴とする。   A third aspect of the present invention provides an image processing method for image data using image data and an exposure correction amount for the image data. The image processing method according to the third aspect of the present invention determines a lightness correction amount of the image data using a lightness reference value that is a reference for image quality adjustment relating to lightness, and the lightness correction as the exposure correction amount increases. The amount is corrected to be small, and the lightness correction amount is applied to adjust the lightness of the image data.

本発明の第3の態様に係る画像処理方法によれば、本発明の第1の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第3の態様に係る画像処理方法は、本発明の第1の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。   According to the image processing method of the third aspect of the present invention, it is possible to obtain the same operational effects as those of the image processing apparatus according to the first aspect of the present invention. The image processing method according to the third aspect of the present invention can be realized in various aspects in the same manner as the image processing apparatus according to the first aspect of the present invention.

本発明の第4の態様には、画像データと、その画像データに対する露出補正量とを用いて画像データに対する画像処理を実行する画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体を提供する。本発明の第4の態様に係るコンピュータが読み取り可能な記録媒体に記録された画像処理プログラムは、明度に関する画質調整の基準となる明度基準値を用いて前記画像データの明度補正量を決定する機能と、前記露出補正量が大きくなるにつれて前記明度補正量を小さく補正する機能と、前記修正した明度補正量を適用して前記画像データの明度を調整する機能とをコンピュータによって実現させることを特徴とする。   According to a fourth aspect of the present invention, there is provided a computer-readable recording medium on which an image processing program for executing image processing on image data using image data and an exposure correction amount for the image data is recorded. An image processing program recorded on a computer-readable recording medium according to a fourth aspect of the present invention has a function of determining a lightness correction amount of the image data using a lightness reference value that is a reference for image quality adjustment relating to lightness. And a computer that realizes a function of correcting the brightness correction amount to be smaller as the exposure correction amount is increased and a function of adjusting the brightness of the image data by applying the corrected brightness correction amount. To do.

本発明の第4の態様に係る画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体によれば、本発明の第1の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第4の態様に係る画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体は、本発明の第1の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。   According to the computer-readable recording medium on which the image processing program according to the fourth aspect of the present invention is recorded, the same operational effects as those of the image processing apparatus according to the first aspect of the present invention can be obtained. Further, the computer-readable recording medium recording the image processing program according to the fourth aspect of the present invention can be realized in various aspects in the same manner as the image processing apparatus according to the first aspect of the present invention. .

本発明の第5の態様は、撮影時における撮影条件を示す撮影情報が関連付けられた画像データに対して画像処理を実行する画像処理装置を提供する。本発明の第5の態様に係る画像処理装置は、取得した画像データを解析して、前記画像データの画質の特性を示す画質特性値を取得する画質特性値取得ユニットと、前記取得した画像データに関連付けられている前記撮影情報から、撮影意図を示す撮影情報を検索する検索ユニットと、予め定められた画質調整の基準となる画質調整基準値と前記取得した画質特性値との偏差を低減して前記画像データの画質を調整する画質調整ユニットと、前記撮影意図を示す撮影情報を検出することができた場合には、前記検索した撮影意図を示す撮影情報を用いて、前記偏差の低減の程度を調整する偏差低減量調整ユニットとを備えることを特徴とする。   According to a fifth aspect of the present invention, there is provided an image processing apparatus that executes image processing on image data associated with shooting information indicating shooting conditions at the time of shooting. An image processing apparatus according to a fifth aspect of the present invention analyzes an acquired image data, acquires an image quality characteristic value indicating an image quality characteristic of the image data, and the acquired image data A search unit for searching for shooting information indicating a shooting intention from the shooting information associated with the image quality, and a deviation between a predetermined image quality adjustment reference value for image quality adjustment and the acquired image quality characteristic value is reduced. If the image quality adjustment unit that adjusts the image quality of the image data and the shooting information indicating the shooting intention can be detected, the deviation reduction can be performed using the searched shooting information indicating the shooting intention. And a deviation reduction amount adjusting unit for adjusting the degree.

本発明の第5の態様に係る画像処理装置によれば、撮影時の撮影条件を示す撮影情報の内、撮影意図を示す撮影情報を用いて、画質調整処理時における偏差の低減の程度を調整することができるので、撮影意図を反映した画質調整処理を実行することができる。   According to the image processing device of the fifth aspect of the present invention, the degree of deviation reduction during the image quality adjustment process is adjusted using the shooting information indicating the shooting intention among the shooting information indicating the shooting conditions at the time of shooting. Therefore, it is possible to execute image quality adjustment processing that reflects the shooting intention.

本発明の第5の態様に係る画像処理装置において、前記撮影意図を示す撮影情報を検出することができなかった場合には、前記偏差の低減の程度は前記撮影意図を示す撮影情報によっては調整されなくても良い。かかる場合には、撮影意図を示す撮影情報を用いることなく画質調整処理を実行することができる。   In the image processing device according to the fifth aspect of the present invention, when the shooting information indicating the shooting intention cannot be detected, the degree of reduction of the deviation is adjusted depending on the shooting information indicating the shooting intention. It does not have to be done. In such a case, the image quality adjustment process can be executed without using shooting information indicating the shooting intention.

本発明の第5の態様は、この他にも方法、プログラムを記録した記録媒体の態様にて実現される得る。   The fifth aspect of the present invention can also be realized in the form of a recording medium on which a method and a program are recorded.

以下、本発明に係る画像処理装置について図面を参照しつつ、実施例に基づいて説明する。   Hereinafter, an image processing apparatus according to the present invention will be described based on examples with reference to the drawings.

A.画像処理システムの構成:
本実施例に係る画像処理装置を適用可能な画像処理システムの構成について図1〜図3を参照して説明する。図1は本実施例に係る画像処理装置を適用可能な画像処理システムの一例を示す説明図である。図2は本実施例に係る画像処理装置の処理対象となる画像データを生成可能なディジタルスチルカメラの概略構成を示すブロック図である。図3は本実施例に係る画像処理装置として機能するカラープリンタの概略構成を示すブロック図である。
A. Image processing system configuration:
The configuration of an image processing system to which the image processing apparatus according to this embodiment can be applied will be described with reference to FIGS. FIG. 1 is an explanatory diagram illustrating an example of an image processing system to which the image processing apparatus according to the present embodiment can be applied. FIG. 2 is a block diagram illustrating a schematic configuration of a digital still camera capable of generating image data to be processed by the image processing apparatus according to the present embodiment. FIG. 3 is a block diagram illustrating a schematic configuration of a color printer that functions as an image processing apparatus according to the present embodiment.

画像処理システム10は、画像データを生成する入力装置としてのディジタルスチルカメラ12、ディジタルスチルカメラ12にて生成された画像データに対して画像処理を実行する画像処理装置としてのパーソナルコンピュータPC、画像を出力する出力装置としてのカラープリンタ20を備えている。出力装置としては、プリンタ20の他に、CRTディスプレイ、LCDディスプレイ等のモニタ14、プロジェクタ等が用いられ得るが、以下の説明では、カラープリンタ20を出力装置として用いるものとする。   The image processing system 10 includes a digital still camera 12 as an input device that generates image data, a personal computer PC as an image processing device that performs image processing on image data generated by the digital still camera 12, and an image A color printer 20 is provided as an output device for outputting. As the output device, in addition to the printer 20, a monitor 14 such as a CRT display or LCD display, a projector, or the like can be used. In the following description, the color printer 20 is used as the output device.

ディジタルスチルカメラ12は、光の情報をディジタルデバイス(CCDや光電子倍増管)に結像させることにより電気的に画像を取得するカメラであり、図2に示すように光情報を収集するためのCCD等を備える光学回路121、光学回路121を制御して画像を取得するための画像取得回路122、取得したディジタル画像を加工処理するための画像処理回路123、各データを一時的に記憶するメモリを備えると共に各回路を制御する制御回路124を備えている。ディジタルスチルカメラ12は、取得した画像をディジタルデータとしてメモリカードMCを始めとする記憶装置に保存する。ディジタルスチルカメラ12における画像データの保存形式としては、JPEG形式が一般的であるが、この他にもRAW形式、TIFF形式、GIF形式、BMP形式等の保存形式が用いられ得る。   The digital still camera 12 is a camera that electrically acquires an image by imaging light information on a digital device (CCD or photomultiplier tube). As shown in FIG. 2, a CCD for collecting optical information is used. And the like, an image acquisition circuit 122 for acquiring an image by controlling the optical circuit 121, an image processing circuit 123 for processing the acquired digital image, and a memory for temporarily storing each data And a control circuit 124 for controlling each circuit. The digital still camera 12 stores the acquired image as digital data in a storage device such as the memory card MC. As a storage format of image data in the digital still camera 12, a JPEG format is generally used, but other storage formats such as a RAW format, a TIFF format, a GIF format, and a BMP format may be used.

ディジタルスチルカメラ12は、撮影モード、露出補正量(露出補正値)、光源等を設定するための選択・決定ボタン126、撮影画像をプレビューしたり、選択・決定ボタン126を用いて露出補正量等を設定するための液晶ディスプレイ127を備えている。ディジタルスチルカメラ12では、適正露出が自動的に設定されるため、ディジタルスチルカメラ12において設定される露出補正量は、適正露出に対するプラス補正量、あるいはマイナス補正量として設定される。露出補正量は、露光量EVで表され、露出の補正がない場合には、EV=±0に設定され、適正露出に対して露出を明るく補正したい場合には、+0.1EV、+2.0EVのようにプラス側に露出補正量が設定され、適正露出に対して露出を暗く補正したい場合には、−0.1EV、−2.0EVのようにマイナス側に露出補正量が設定される。   The digital still camera 12 has a selection / determination button 126 for setting a shooting mode, an exposure correction amount (exposure correction value), a light source, and the like, previews a shot image, and uses the selection / determination button 126 to set an exposure correction amount and the like. Is provided with a liquid crystal display 127. Since the appropriate exposure is automatically set in the digital still camera 12, the exposure correction amount set in the digital still camera 12 is set as a plus correction amount or a minus correction amount with respect to the appropriate exposure. The exposure correction amount is expressed by the exposure amount EV. When there is no exposure correction, EV is set to ± 0. When the exposure is to be corrected brightly with respect to the appropriate exposure, +0.1 EV and +2.0 EV. When the exposure correction amount is set on the plus side as in the above and it is desired to correct the exposure to be dark with respect to the appropriate exposure, the exposure correction amount is set on the minus side, such as -0.1 EV and -2.0 EV.

本画像データ出力システム10に用いられるディジタルスチルカメラ12は、画像データGDに加えて画像データの撮影情報PIを画像ファイルGFとしてメモリカードMCに格納する。すなわち、撮影情報PIは、撮影時に画像データGDと共に自動的に画像ファイルGFとしてメモリカードMCに自動的に格納される。たとえば、ユーザによって、露光補正量、光源等の撮影パラメータが任意の値に設定されている場合には、設定された露光補正量に従い生成された画像データGD、および設定されたパラメータの値が記述された撮影情報PIを含む画像ファイルGFがメモリカードMCに格納される。   The digital still camera 12 used in the image data output system 10 stores shooting information PI of image data as an image file GF in the memory card MC in addition to the image data GD. That is, the shooting information PI is automatically stored in the memory card MC as an image file GF together with the image data GD at the time of shooting. For example, when shooting parameters such as exposure correction amount and light source are set to arbitrary values by the user, the image data GD generated according to the set exposure correction amount and the values of the set parameters are described. The image file GF including the captured image information PI is stored in the memory card MC.

ディジタルスチルカメラ12において生成された画像ファイルGFは、例えば、ケーブルCV、コンピュータPCを介して、あるいは、ケーブルCVを介してカラープリンタ20に送出される。あるいは、ディジタルスチルカメラ12にて画像ファイルGFが格納されたメモリカードMCが、メモリカード・スロットに装着されたコンピュータPCを介して、あるいは、メモリカードMCをプリンタ20に対して直接、接続することによって画像ファイルがカラープリンタ20に送出される。なお、本実施例では、カラープリンタ20がスタンドアローンにて画像処理および出力(印刷)処理を実行する場合について説明する。   The image file GF generated in the digital still camera 12 is sent to the color printer 20 via, for example, the cable CV, the computer PC, or via the cable CV. Alternatively, the memory card MC in which the image file GF is stored by the digital still camera 12 is connected to the printer 20 via the computer PC mounted in the memory card slot or directly to the printer 20. As a result, the image file is sent to the color printer 20. In this embodiment, the case where the color printer 20 executes image processing and output (printing) processing in a stand-alone manner will be described.

図3に示すカラープリンタ20は、カラー画像の出力が可能なプリンタであり、例えば、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)の4色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記4色に加えて、ライトシアン(薄いシアン、LC)、ライトマゼンタ(薄いマゼンタ、LM)、ダークイエロ(暗いイエロ、DY)を用いても良い。   A color printer 20 shown in FIG. 3 is a printer capable of outputting a color image. For example, four color inks of cyan (C), magenta (M), yellow (Y), and black (K) are used as a printing medium. This is an ink jet printer that forms an image by forming a dot pattern by jetting it upward. Alternatively, it is an electrophotographic printer that forms an image by transferring and fixing color toner onto a printing medium. In addition to the above four colors, light cyan (light cyan, LC), light magenta (light magenta, LM), and dark yellow (dark yellow, DY) may be used as the color ink.

カラープリンタ20は、印刷ヘッドまたは回転ドラム等を含み印刷媒体に対する印刷処理を実行する印刷部21と、メモリカードMCを収容するスロット22と、カラープリンタ20の各部の動作を制御する制御回路23を備えている。制御回路23は、各種演算処理を実行する演算処理装置(CPU)231、CPU231にて実行されるプログラム等を不揮発的に格納するリードオンリメモリ(ROM)232、CPU231における演算処理結果、および取得したデータを一時的に格納するランダムアクセスメモリ(RAM)233を備えている。制御回路23は、メモリカードMCから読み出した撮影情報PIを解析し、解析した撮影情報PIに基づいて図示しない紙送りモータ、キャリッジモータ、印字ヘッド等の動きを制御する。   The color printer 20 includes a printing unit 21 that includes a print head or a rotating drum and executes a printing process on a printing medium, a slot 22 that accommodates a memory card MC, and a control circuit 23 that controls the operation of each unit of the color printer 20. I have. The control circuit 23 includes an arithmetic processing unit (CPU) 231 that executes various arithmetic processes, a read-only memory (ROM) 232 that stores programs executed by the CPU 231 in a nonvolatile manner, arithmetic processing results in the CPU 231, and acquired A random access memory (RAM) 233 for temporarily storing data is provided. The control circuit 23 analyzes the shooting information PI read from the memory card MC, and controls the movement of a paper feed motor, carriage motor, print head, etc. (not shown) based on the analyzed shooting information PI.

B.画像ファイルの構成:
本実施例に係る画像ファイルGFは、例えば、ディジタルスチルカメラ用画像ファイルフォーマット規格(Exif)に従ったファイル構造を有することができる。Exifファイルの仕様は、電子情報技術産業協会(JEITA)によって定められており、画像データとして圧縮タイプのJPEGデータを格納するJPEG−Exifファイル、非圧縮タイプのTIFFデータを格納するTIFF−Exifファイルが存在する。以下の説明では、圧縮ファイル、すなわち、JPEG−Exifファイルを用いて説明する。
B. Image file structure:
The image file GF according to the present embodiment can have a file structure in accordance with, for example, a digital still camera image file format standard (Exif). Exif file specifications are defined by the Japan Electronics and Information Technology Industries Association (JEITA). JPEG-Exif files that store compressed JPEG data as image data, and TIFF-Exif files that store uncompressed TIFF data. Exists. In the following description, a compressed file, that is, a JPEG-Exif file will be used.

図4を参照して本実施例にて用いられ得るExifフォーマットにしたがう画像ファイルの概略構成について説明する。図4はExifフォーマットにしたがう画像ファイルGFの概略的な内部構造を示す説明図である。なお、本実施例中におけるファイルの構造、データの構造、格納領域といった用語は、ファイルまたはデータ等が記憶装置内に格納された状態におけるファイルまたはデータのイメージを意味するものである。   A schematic configuration of an image file according to an Exif format that can be used in the present embodiment will be described with reference to FIG. FIG. 4 is an explanatory diagram showing a schematic internal structure of the image file GF according to the Exif format. Note that terms such as file structure, data structure, and storage area in this embodiment mean an image of a file or data in a state where the file or data is stored in the storage device.

画像ファイルGFは、圧縮データの先頭を示すSOIマーカセグメント101、Exifの付属情報を格納するAPP1マーカセグメント102、Exif拡張データを格納するAPP2マーカセグメント103、量子化テーブルを定義するDQTマーカセグメント104、ハフマンテーブルを定義するDHTマーカセグメント105、リスタートマーカの挿入間隔を定義するDRIマーカセグメント106、フレームに関する各種パラメータを示すSOFマーカセグメント107、スキャンに関する各種パラメータを示すSOSマーカセグメント108、および圧縮データの終了を示すEOIマーカセグメント109を含んでいる。圧縮画像データGDは、SOSマーカセグメント108とEOIマーカセグメント109の間の画像データ格納領域110に格納される。なお、各マーカセグメントの記録順序は、SOIマーカセグメントの直後にAPP1、APP2マーカセグメントが記録され、EOIマーカセグメントの直前に画像データをはさんでSOSマーカセグメントが記録される他は任意である。   The image file GF includes an SOI marker segment 101 indicating the head of the compressed data, an APP1 marker segment 102 that stores Exif attached information, an APP2 marker segment 103 that stores Exif extension data, a DQT marker segment 104 that defines a quantization table, DHT marker segment 105 that defines the Huffman table, DRI marker segment 106 that defines the insertion interval of the restart marker, SOF marker segment 107 that indicates various parameters related to the frame, SOS marker segment 108 that indicates various parameters related to the scan, and compressed data It includes an EOI marker segment 109 indicating the end. The compressed image data GD is stored in the image data storage area 110 between the SOS marker segment 108 and the EOI marker segment 109. The recording order of each marker segment is arbitrary except that the APP1 and APP2 marker segments are recorded immediately after the SOI marker segment, and the SOS marker segment is recorded with the image data interposed immediately before the EOI marker segment.

APP1マーカセグメント102は、APP1マーカ1021、Exif識別コード1022、付属情報1023、およびサムネイル画像1024から構成されている。付属情報は、ファイルヘッダ(TIFFヘッダ)を含むTIFFの構造を取り、Exif−JPEGでは、圧縮画像データに関する付属情報を格納する0th IFD、撮影情報PIを始めとするExif固有の付属情報を格納するExif IFD、サムネイル画像に関する付属情報を格納する1st IFDを含んでいる。Exif IFDは、0th IFDに格納されているTIFFヘッダからのオフセットでポイントされる。IFDでは、各情報を特定するためにタグが用いられており、各情報はタグ名によって呼ばれることがある。   The APP1 marker segment 102 includes an APP1 marker 1021, an Exif identification code 1022, attached information 1023, and a thumbnail image 1024. The attached information takes a TIFF structure including a file header (TIFF header), and Exif-JPEG stores Exif-specific attached information including 0th IFD for storing attached information related to compressed image data and shooting information PI. An Exif IFD and a 1st IFD for storing auxiliary information related to thumbnail images are included. The Exif IFD is pointed by an offset from the TIFF header stored in the 0th IFD. In IFD, a tag is used to identify each piece of information, and each piece of information is sometimes called by a tag name.

撮影情報PIは、ディジタルスチルカメラ12等の画像データ生成装置において画像データが生成されたとき(撮影されたとき)の画質に関連する情報(画質生成情報)であり、撮影に伴い自動的に記録される露出時間、ISO感度、絞り、シャッタースピード、焦点距離に関するパラメータ、およびユーザによって任意に設定される露出補正量、光源、撮影モード等に関するパラメータを含み得る。   The shooting information PI is information (image quality generation information) related to the image quality when the image data is generated (taken) in the image data generation device such as the digital still camera 12, and is automatically recorded with shooting. Parameters relating to exposure time, ISO sensitivity, aperture, shutter speed, focal length, and exposure correction amount, light source, shooting mode, and the like arbitrarily set by the user.

Exif IFDに格納される詳細な付属情報について図5を参照して説明する。図5は本実施例に用いられ得る画像ファイルGFのExif IFDに格納される詳細な付属情報の一例を示す説明図である。   Detailed attached information stored in the Exif IFD will be described with reference to FIG. FIG. 5 is an explanatory diagram showing an example of detailed attached information stored in the Exif IFD of the image file GF that can be used in this embodiment.

Exif IFDには、Exifのバージョン情報、色空間情報、画像データの生成日時、撮影条件の各タグが格納されている。撮影条件(撮影情報IP)に関するタグには、露出時間、レンズF値、露出制御モード、ISO感度、露出補正量、光源、ホワイトバランス、フラッシュ、焦点距離等の各パラメータ値が既定のオフセットに従って格納されている。画像処理装置(出力装置)側では、所望のタグ情報(パラメータ)に対応するオフセットを指定することにより所望の撮影情報PIを取得することができる。
C.カラープリンタ20における画像処理:
The Exif IFD stores Exif version information, color space information, image data generation date and time, and shooting condition tags. In the tag relating to the shooting condition (shooting information IP), parameter values such as exposure time, lens F value, exposure control mode, ISO sensitivity, exposure correction amount, light source, white balance, flash, focal length, and the like are stored according to predetermined offsets. Has been. On the image processing device (output device) side, desired photographing information PI can be acquired by designating an offset corresponding to desired tag information (parameter).
C. Image processing in the color printer 20:

以下、図6〜図8を参照してカラープリンタ20にて実行される画像処理について説明する。図6は本実施例に係る画像処理装置(カラープリンタ20)における画像処理の処理ルーチンを示すフローチャートである。図7は本実施例に係る画像処理装置(カラープリンタ20)における基準値を用いた画質調整処理(自動画質調整処理)の処理ルーチンを示すフローチャートである。図8は従来手法による明度補正量と本実施例に係る手法による明度補正量とを対比して示す説明図である。   Hereinafter, image processing executed by the color printer 20 will be described with reference to FIGS. FIG. 6 is a flowchart showing a processing routine of image processing in the image processing apparatus (color printer 20) according to the present embodiment. FIG. 7 is a flowchart showing a processing routine of image quality adjustment processing (automatic image quality adjustment processing) using a reference value in the image processing apparatus (color printer 20) according to the present embodiment. FIG. 8 is an explanatory diagram showing the brightness correction amount according to the conventional method and the brightness correction amount according to the method according to the present embodiment in comparison.

カラープリンタ20の制御回路23(CPU231)は、スロット22にメモリカードMCが差し込まれると、メモリカードMCから画像ファイルGFを読み出し、読み出した画像ファイルGFをRAM233に一時的に格納する(ステップS100)。CPU231は読み出した画像ファイルGFに含まれる画像データGDを伸張し、伸張した画像データGDに対してマトリクスSを用いたマトリクス演算を実行してYCbCr→RGB色変換処理を実行する(ステップS110)。   When the memory card MC is inserted into the slot 22, the control circuit 23 (CPU 231) of the color printer 20 reads the image file GF from the memory card MC, and temporarily stores the read image file GF in the RAM 233 (step S100). . The CPU 231 expands the image data GD included in the read image file GF, performs a matrix operation using the matrix S on the expanded image data GD, and executes a YCbCr → RGB color conversion process (step S110).

上述の通り、本実施例における画像ファイルGFは、JPEGファイル形式の画像データを画像データGDとして格納しており、JPEGファイル形式の画像データはYCbCrデータを圧縮したデータである。また、現在のパーソナルコンピュータPC、プリンタにおける画像処理では一般的にRGBデータが用いられている。したがって、JPEGファイル形式の画像データの伸張(デコード)、YCbCrデータのRGBデータへの色変換処理が必要となる。なお、マトリクスSは、JPEGファイルについての仕様を規定するJFIFフォーマットにおいて、YCbCrデータをRGBデータへと変換する際に一般的に用いられるマトリクスであり、当業者にとって周知のマトリクスであるから詳細な説明は省略する。   As described above, the image file GF in this embodiment stores image data in the JPEG file format as the image data GD, and the image data in the JPEG file format is data obtained by compressing YCbCr data. Also, RGB data is generally used in image processing in current personal computer PCs and printers. Therefore, decompression (decoding) of JPEG file format image data and color conversion processing of YCbCr data to RGB data are required. The matrix S is a matrix generally used when converting YCbCr data to RGB data in the JFIF format that defines the specifications for JPEG files, and is a matrix well known to those skilled in the art. Is omitted.

CPU231は、変換により得られたRGBデータに対して、基準値を用いた画質調整処理を実行する(ステップS120)。基準値を用いた画質調整処理とは、一般的に、自動画質調整処理と呼ばれる画像処理であり、外部からの入力に依存することなく、予めROM232に格納されている、好ましい標準的なパラメータの値(基準値)を用いて画質を調整する処理である。かかる画質調整において用いられるパラメータは、例えば、明度、シャープネス等といった画質に関するパラメータであり、これらパラメータについての標準的なパラメータの値を用いて補正すべき補正量を求め、求めた補正量を適用して画質が調整される。なお、詳細については図7を用いて後述する。   The CPU 231 executes image quality adjustment processing using the reference value for the RGB data obtained by the conversion (step S120). The image quality adjustment process using the reference value is generally an image process called automatic image quality adjustment process, and is a preferable standard parameter stored in the ROM 232 in advance without depending on an external input. This is a process of adjusting the image quality using the value (reference value). The parameters used in such image quality adjustment are, for example, parameters relating to image quality such as brightness and sharpness. A correction amount to be corrected is obtained by using standard parameter values for these parameters, and the obtained correction amount is applied. Adjust the image quality. Details will be described later with reference to FIG.

CPU231は、自動画質調整処理が施された画像データ(RGBデータ)をCMYKデータに変換する色変換処理を実行する(ステップS130)。すなわち、画像データの表色系をカラープリンタ20が印刷処理を実行する際に用いる表色系であるCMYK表色系に変換する。具体的には、ROM232に格納されているRGB表色系とCMYK表色系とを対応付けたルックアップデーブルを用いて実行される。   The CPU 231 executes color conversion processing for converting image data (RGB data) that has been subjected to automatic image quality adjustment processing into CMYK data (step S130). That is, the color system of the image data is converted into the CMYK color system which is the color system used when the color printer 20 executes the printing process. Specifically, it is executed using a lookup table in which the RGB color system stored in the ROM 232 is associated with the CMYK color system.

CPU231は、以上の画像処理を終えると、得られた画像データを用いて印刷出力処理を実行し(ステップS140)、本処理ルーチンを終了する。印刷出力処理では、CPU231は、ハーフトーン処理、解像度変換処理を実行して、処理済みのデータをラスタデータとして印刷部21に送出する。   After completing the above image processing, the CPU 231 executes print output processing using the obtained image data (step S140), and ends this processing routine. In the print output process, the CPU 231 executes halftone process and resolution conversion process, and sends the processed data to the printing unit 21 as raster data.

図7を参照して自動画質調整処理について詳述する。CPU231は、画像データの解析を実行する(ステップS200)。すなわち、本実施例における自動画質調整処理では、画像データGDを画素単位にて解析して画像データGDの特性を示す各種の特性パラメータ値、例えば、輝度最小値、輝度最大値、明度代表値といった画像統計値を取得する。この時点では画像データGDはRGBデータであるからY=0.30R+0.59G+0.11Bの式を用いて輝度最小値Yminおよび輝度最大値Ymax等が取得される。
CPU231は、輝度最小値Yminおよび輝度最大値Ymaxを用いてレベル補正(コントラスト補正)を実行する(ステップS210)。具体的には、原画像データGDのRGB成分をR,G,B、補正後のRGB成介をR’,G’,B’とすると、(R’,G’,B’)=255*(R,G,B)(Ymax−Ymin)−Yminの式を用いて各画素に対して補正が実行される。CPU231は、原画像データ(レベル補正前の画像データ)の128ポイントにおける輝度値と補正後画像データの128ポイントにおける輝度値Ymodとの輝度差ΔY=Ymod−Yorgを算出する(ステップS220)。なお、128ポイントとは、横軸に画像データの入力値(原画像データ)、縦軸に画像データの出力値(補正後画像データ)を取る、トーンカーブにおける横軸(入力値)ポイントの1つである。なお、本実施例では、RGBデータへの変換後にレベル補正を実行しているが、YCbCrデータの段階にて、輝度成分Yを用いてこれら処理を実行してもよい。
The automatic image quality adjustment process will be described in detail with reference to FIG. The CPU 231 executes image data analysis (step S200). That is, in the automatic image quality adjustment processing in the present embodiment, various characteristic parameter values indicating the characteristics of the image data GD by analyzing the image data GD in units of pixels, for example, the minimum luminance value, the maximum luminance value, the brightness representative value, etc. Get image statistics. At this time, since the image data GD is RGB data, the minimum luminance value Ymin, the maximum luminance value Ymax, and the like are obtained using the equation Y = 0.30R + 0.59G + 0.11B.
The CPU 231 performs level correction (contrast correction) using the minimum luminance value Ymin and the maximum luminance value Ymax (step S210). Specifically, if the RGB components of the original image data GD are R, G, B and the corrected RGB components are R ′, G ′, B ′, (R ′, G ′, B ′) = 255 * Correction is performed on each pixel using the equation (R, G, B) (Ymax−Ymin) −Ymin. The CPU 231 calculates a luminance difference ΔY = Ymod−Yorg between the luminance value at 128 points of the original image data (image data before level correction) and the luminance value Ymod at 128 points of the corrected image data (step S220). Note that 128 points is one of the horizontal axis (input value) points in the tone curve, where the horizontal axis represents the input value of the image data (original image data) and the vertical axis represents the output value of the image data (corrected image data). One. In this embodiment, level correction is executed after conversion to RGB data. However, these processes may be executed using the luminance component Y at the stage of YCbCr data.

CPU231は、以下の式1を用いてオリジナルの明度補正量(露出補正量を考慮しない明度補正量)tCurve_Yorgを算出する(ステップS230)。   The CPU 231 calculates the original lightness correction amount (lightness correction amount not considering the exposure correction amount) tCurve_Yorg using Equation 1 below (step S230).

Figure 2007295542
Figure 2007295542

例えば、明度基準値Bref=128、サンプリング(解析)により得られた明度代表値Bsmp=56の場合には、tCurve_Yorg=16となる(図8参照)。明度基準値Brefは、例えば、0〜255の値を取り得る8ビットの情報であり、本実施例では、128に設定されている。   For example, when the lightness reference value Bref = 128 and the lightness representative value Bsmp = 56 obtained by sampling (analysis), tCurve_Yorg = 16 (see FIG. 8). The brightness reference value Bref is, for example, 8-bit information that can take a value of 0 to 255, and is set to 128 in this embodiment.

CPU231は、画像データGFに撮影情報PI(Exif IFD)が含まれているか否かを判定し(ステップS240)、撮影情報PIが含まれていると判定した場合には(ステップS240:Yes)、露出補正量(露光量)EVを考慮した修正明度補正量tCurve_Yを算出する(ステップS250)。修正明度補正量tCurve_Yは、以下の式2を用いて算出される。   The CPU 231 determines whether or not shooting information PI (Exif IFD) is included in the image data GF (step S240). If the CPU 231 determines that shooting information PI is included (step S240: Yes), A corrected brightness correction amount tCurve_Y considering the exposure correction amount (exposure amount) EV is calculated (step S250). The corrected brightness correction amount tCurve_Y is calculated using the following Equation 2.

Figure 2007295542
Figure 2007295542

ここで、輝度差ΔYは、コントラスト(レベル)補正に起因する画像データGDの明度への影響を補償するための補正項である。なお、輝度差ΔYと露出補正量EVの符号が異なる場合には、輝度差ΔY=0として修正明度補正量tCurve_Yが算出される。かかる場合には、露出に関する撮影者の意図と自動補正の方向とが相反しているので、撮影者の意図を優先するためにコントラスト補正に起因する補償値を適用しない。   Here, the luminance difference ΔY is a correction term for compensating for the influence on the brightness of the image data GD caused by the contrast (level) correction. If the signs of the luminance difference ΔY and the exposure correction amount EV are different, the corrected brightness correction amount tCurve_Y is calculated with the luminance difference ΔY = 0. In such a case, since the photographer's intention regarding exposure and the direction of automatic correction are contradictory, the compensation value resulting from contrast correction is not applied in order to prioritize the photographer's intention.

CPU231は、得られた修正明度補正量tCurve_Yをトーンカーブに適用し、明度を含む画質調整を実行して(ステップS260)本処理ルーチンを終了する。すなわち、修正明度補正量tCurve_Yを用いてトーンカーブの特性を修正し、修正後のトーンカーブを用いて画素毎に画像データGDのR,G,Bの各成分の出力値(出力レベル)を補正(変更)する。   The CPU 231 applies the obtained corrected brightness correction amount tCurve_Y to the tone curve, executes image quality adjustment including brightness (step S260), and ends this processing routine. That is, the characteristic of the tone curve is corrected using the corrected brightness correction amount tCurve_Y, and the output values (output levels) of the R, G, and B components of the image data GD are corrected for each pixel using the corrected tone curve. (change.

CPU231は、撮影情報PIが含まれていないと判定した場合には(ステップS240:No)、露出補正量(露光量)EVを考慮することができないので、オリジナルの明度補正量tCurve_Yorgをトーンカーブに適用して明度を含む画質調整を実行し(ステップS270)、本処理ルーチンを終了する。   If the CPU 231 determines that the shooting information PI is not included (step S240: No), the exposure correction amount (exposure amount) EV cannot be taken into account, and the original brightness correction amount tCurve_Yorg is used as the tone curve. The image quality adjustment including brightness is applied to execute (step S270), and this processing routine is ended.

修正明度補正量tCurve_Yまたはオリジナルの明度補正量tCurve_Yorgを用いたトーンカーブの特性の修正は、例えば、図9に示すように実行される。図9は明度補正におけるトーンカーブの修正の一例を示す説明図である。露出補正量EVが正の値の場合、すなわち撮影者が明度を明るくする補正を欲している場合には、例えば、入力レベルの1/4のポイントにて明度補正量に応じて出力レベルOL1,OL2を持ち上げる。一方、露出補正量が負の値の場合、すなわち撮影者が明度を暗くする補正を欲している場合には、例えば、入力レベルの3/4のポイントにて補正レベルに応じて出力レベルOL3を下げる。補正レベルに対応する点を除く値は、スプライン曲線にて補間される。   For example, the correction of the tone curve characteristics using the corrected brightness correction amount tCurve_Y or the original brightness correction amount tCurve_Yorg is performed as shown in FIG. FIG. 9 is an explanatory diagram showing an example of tone curve correction in brightness correction. When the exposure correction amount EV is a positive value, that is, when the photographer wants to make the brightness brighter, for example, the output level OL1, corresponding to the lightness correction amount at a quarter of the input level. Lift OL2. On the other hand, when the exposure correction amount is a negative value, that is, when the photographer wants correction to darken the brightness, the output level OL3 is set according to the correction level at, for example, 3/4 of the input level. Lower. Values other than the points corresponding to the correction level are interpolated with a spline curve.

本実施例に係るカラープリンタ20により得られる明度補正量と、従来手法による明度補正量とを比較すると図8に示すようになる。ここで、従来手法による明度補正とは、上記式1において、露出補正量EVに応じて明度基準値Brefを変更して明度補正量を求める手法である。例えば、明度基準値Brefの標準値が128の場合、この標準値に対して、0.1EV=2(明度修正値)とする換算式を用いて算出した値を、明度標準値128に対して加算することによって明度基準値Brefを修正する。すなわち、Bref=標準値+(2*露出補正量EV/0.1)となり、露出補正量EVが正の場合には明度修正値が標準値に加算され、露出補正量EVが負の場合には明度修正値が標準値から減算される。   FIG. 8 shows a comparison between the brightness correction amount obtained by the color printer 20 according to this embodiment and the brightness correction amount according to the conventional method. Here, the lightness correction by the conventional method is a method of obtaining the lightness correction amount by changing the lightness reference value Bref in accordance with the exposure correction amount EV in the above formula 1. For example, when the standard value of the lightness reference value Bref is 128, a value calculated using a conversion formula of 0.1 EV = 2 (lightness correction value) with respect to this standard value is obtained with respect to the lightness standard value 128. The brightness reference value Bref is corrected by adding. That is, Bref = standard value + (2 * exposure correction amount EV / 0.1). When the exposure correction amount EV is positive, the brightness correction value is added to the standard value, and when the exposure correction amount EV is negative. The brightness correction value is subtracted from the standard value.

例えば、明度代表値Bsmp=56、露出補正量EV=−1.0の場合には、明度基準値Brefが128から108に修正され、修正された明度基準値を用いて算出された明度補正量は14となる。また、明度代表値Bsmp=56、露出補正量EV=−2.0の場合には、明度基準値Brefが128から88に修正され、修正された明度基準値を用いて算出された明度補正量は11となる。   For example, when the brightness representative value Bsmp = 56 and the exposure correction amount EV = −1.0, the brightness reference value Bref is corrected from 128 to 108, and the brightness correction amount calculated using the corrected brightness reference value. Becomes 14. When the brightness representative value Bsmp = 56 and the exposure correction amount EV = −2.0, the brightness reference value Bref is corrected from 128 to 88, and the brightness correction amount calculated using the corrected brightness reference value. Becomes 11.

一方、本実施例に係るカラープリンタ20によれば、輝度差ΔY=+5、明度代表値Bsmp=56、露出補正量EV=−1.0の場合には、それぞれの値を式2に適用すると、修正明度補正量=8となる。また、輝度差ΔY=+5、明度代表値Bsmp=56、露出補正量EV=−2.0の場合には、それぞれの値を式2に適用すると、修正明度補正量tCurve_Y=4となる。   On the other hand, according to the color printer 20 according to the present embodiment, when the luminance difference ΔY = + 5, the lightness representative value Bsmp = 56, and the exposure correction amount EV = −1.0, the respective values are applied to Equation 2. , Corrected brightness correction amount = 8. Further, when the luminance difference ΔY = + 5, the lightness representative value Bsmp = 56, and the exposure correction amount EV = −2.0, applying the respective values to Equation 2, the corrected lightness correction amount tCurve_Y = 4.

したがって、本実施例に係るカラープリンタ20(画像処理装置)によれば、画像ファイルGF内に含まれる撮影情報PIを反映して画像データGDの明度を自動調整することができる。したがって、ユーザによって恣意的に画像の出力傾向が設定されている場合には、自動画質調整処理による画質調整が抑制されるため、ユーザの意図を反映した自動画質調整処理を実行することができる。   Therefore, according to the color printer 20 (image processing apparatus) according to the present embodiment, the brightness of the image data GD can be automatically adjusted to reflect the shooting information PI included in the image file GF. Therefore, when the image output tendency is arbitrarily set by the user, the image quality adjustment by the automatic image quality adjustment process is suppressed, so that the automatic image quality adjustment process reflecting the user's intention can be executed.

特に、本実施例におけるカラープリンタ20によれば、露出補正量EVを考慮しない明度補正量を2|EV|分の1することによって明度補正量を補正するので、従来手法によって明度を補正する場合と比較して、より撮影者の意図に従った明度補正を実行することができる。すなわち、露出補正量の絶対値が大きくなるにつれて修正明度補正量tCurve_Yを等比級数的(指数関数的)に大幅に小さくすることができる。したがって、出力結果を明るくしたい、または暗くしたいとする撮影者の意図をより正確に画像データの出力結果に反映させることができる。   In particular, according to the color printer 20 of the present embodiment, the lightness correction amount is corrected by reducing the lightness correction amount not considering the exposure correction amount EV by 2 | EV |, so that the lightness correction amount is corrected by a conventional method. As compared with the above, it is possible to execute brightness correction more in accordance with the photographer's intention. That is, as the absolute value of the exposure correction amount increases, the corrected brightness correction amount tCurve_Y can be significantly reduced geometrically (exponentially). Therefore, the photographer's intention to make the output result brighter or darker can be more accurately reflected in the output result of the image data.

さらに、本実施例におけるカラープリンタ20によれば、コントラスト補正(レベル補正)の前後における輝度差ΔYを考慮して明度補正量を補正(修正)するので、コントラスト補正に起因する明度への影響を補償することができる。したがって、コントラスト補正が実行された場合であっても、撮影者の意図に合った明度補正を実行することができる。   Furthermore, according to the color printer 20 in the present embodiment, the brightness correction amount is corrected (corrected) in consideration of the luminance difference ΔY before and after the contrast correction (level correction). Can be compensated. Therefore, even when contrast correction is executed, it is possible to execute brightness correction that matches the photographer's intention.

また、画像ファイルGFに含まれている撮影情報PIを用いて自動的に画質を調整することができるので、フォトレタッチアプリケーションまたはプリンタドライバ上で画質調整を行うことなく、手軽にユーザの撮影意図を反映した、高品質の印刷結果を得ることができる。
・その他の実施例:
In addition, since the image quality can be automatically adjusted using the shooting information PI included in the image file GF, the user can easily capture the image without adjusting the image quality on the photo retouching application or the printer driver. Reflected high-quality printing results can be obtained.
Other examples:

上記実施例における画像処理では、YCbCr−RGB色変換処理の後、基準値を用いた画質調整処理を実行しているが、図10に示すように更なる画像処理を加えても良い。図10は他の実施例において付加される画像処理の処理ルーチンを示すフローチャートである。なお、YCbCr−RGB色変換処理(ステップS110)以前のステップ、基準値を用いた画質調整処理(ステップS120)以降のステップについては説明済みであるからその説明を省略する。   In the image processing in the above embodiment, the image quality adjustment processing using the reference value is executed after the YCbCr-RGB color conversion processing, but further image processing may be added as shown in FIG. FIG. 10 is a flowchart showing a processing routine of image processing added in another embodiment. Since the steps before the YCbCr-RGB color conversion process (step S110) and the steps after the image quality adjustment process using the reference value (step S120) have been described, the description thereof will be omitted.

CPU231は、続く色変換処理に先立って、画像データを線形化するために、RGBデータに変換された画像データに対してガンマ補正を実行する(ステップS111)。ガンマ補正において用いられるガンマの値は、ディジタルスチルカメラ固有のガンマ値であり、撮影情報PIのパラメータに基づいて取得されても良く、あるいは、撮影情報PIとは別に、画像データGDに関連付けられる画像処理情報として提供されても良い。   Prior to the subsequent color conversion process, the CPU 231 performs gamma correction on the image data converted into RGB data in order to linearize the image data (step S111). The gamma value used in the gamma correction is a gamma value unique to the digital still camera, and may be acquired based on the parameters of the shooting information PI, or an image associated with the image data GD separately from the shooting information PI. It may be provided as processing information.

CPU231は、マトリクスを用いて、RGBデータをwRGBデータに変換する色変換処理を実行する(ステップS112)。ここで、wRGB色空間は、一般的に用いられているsRGB色空間よりも、少なくともその一部において、好ましくは、sRGB色空間を包含する広い領域を備える色空間である。このような広域RGB色空間を用いることにより、YCbCrデータから変換されたRGBデータの値を失うことなく、後段の自動画質調整処理へとつなげることができる。このとき用いられるマトリクスは、RGBデータをXYZデータへ変換するマトリクス、例えば、マトリクスM、wRGBデータをXYZデータへ変換するマトリクス、例えば、マトリクスNの合成マトリクスN−1Mであり、あるいは、マトリクスMおよびマトリクスN−1である。   The CPU 231 executes a color conversion process for converting RGB data into wRGB data using a matrix (step S112). Here, the wRGB color space is preferably a color space having a wide area including at least a part of the sRGB color space, as compared with a generally used sRGB color space. By using such a wide RGB color space, it is possible to connect to the subsequent automatic image quality adjustment processing without losing the value of the RGB data converted from the YCbCr data. The matrix used at this time is a matrix for converting RGB data to XYZ data, for example, a matrix M, a matrix for converting wRGB data to XYZ data, for example, a composite matrix N-1M of matrix N, or matrix M and Matrix N-1.

CPU231は、wRGBデータへと変換された画像データに対して逆ガンマ補正を実行する(ステップS113)。この逆ガンマ補正に用いられるガンマ値はカラープリンタ20固有のガンマ値であり、例えば、ROM232に予め格納されている。かかる逆ガンマ補正を実行することによって、カラープリンタ20のガンマ特性を考慮した画像データGDを生成することができる。   The CPU 231 performs inverse gamma correction on the image data converted into wRGB data (step S113). The gamma value used for the inverse gamma correction is a gamma value unique to the color printer 20 and is stored in advance in the ROM 232, for example. By executing such inverse gamma correction, it is possible to generate image data GD in consideration of the gamma characteristics of the color printer 20.

CPU231は、既述の自動画質調整処理(ステップS120)以降を順次実行する。本実施例によれば、YCbCrデータから変換されたRGBデータの値を失うことなく自動画質調整処理を実行することができるので、より適切な画質調整処理を実行することができる。   The CPU 231 sequentially executes the above-described automatic image quality adjustment processing (step S120) and subsequent steps. According to the present embodiment, since the automatic image quality adjustment process can be executed without losing the value of the RGB data converted from the YCbCr data, a more appropriate image quality adjustment process can be executed.

上記実施例では、自動的に単一の基準値に基づいて明度の画質調整処理を実行する例について説明しているが、カラープリンタ20の操作パネル上に明度補正の傾向、例えば、明るめ、暗め、を選択する画質自動調整ボタンを供え、かかる画質自動調整ボタンによって選択された明度補正の傾向に応じて明度基準値Bref、明度補正量を変更するようにしても良い。   In the above-described embodiment, an example in which brightness image quality adjustment processing is automatically performed based on a single reference value has been described. However, a tendency of brightness correction on the operation panel of the color printer 20, for example, brightness or darkening. The image quality automatic adjustment button may be provided, and the lightness reference value Bref and the lightness correction amount may be changed according to the lightness correction tendency selected by the automatic image quality adjustment button.

上記実施例では、自動的に画質調整処理を実行する例について説明しているが、カラープリンタ20の操作パネル上に画質自動調整ボタンを供え、かかる画質自動調整ボタンによって選択された画質自動調整が選択されている場合にだけ、上記実施例の画質自動調整処理を実行するようにしても良い。   In the above embodiment, an example in which image quality adjustment processing is automatically executed has been described. However, an image quality automatic adjustment button is provided on the operation panel of the color printer 20, and image quality automatic adjustment selected by the image quality automatic adjustment button is performed. The image quality automatic adjustment process of the above embodiment may be executed only when it is selected.

上記実施例では、パーソナルコンピュータPCを介することなく、カラープリンタ20において全ての画像処理を実行し、生成された画像データGDに従って、ドットパターンが印刷媒体上に形成されるが、画像処理の全て、または、一部をコンピュータ上で実行するようにしても良い。この場合には、コンピュータのハードディスク等にインストールされている、レタッチアプリケーション、プリンタドライバといった画像データ処理アプリケーションに図6〜8を参照して説明した画像処理機能を持たせることによって実現される。ディジタルスチルカメラ12にて生成された画像ファイルGFは、ケーブルを介して、あるいは、メモリカードMCを介してコンピュータに対して提供される。コンピュータ上では、ユーザの操作によってアプリケーションが起動され、画像ファイルGFの読み込み、撮影情報PIの解析、画像データGDの変換、調整が実行される。あるいは、メモリカードMCの差込を検知することによって、またあるいは、ケーブルの差込を検知することによって、アプリケーションが自動的に起動し、画像ファイルGFの読み込み、撮影情報PIの解析、画像データGDの変換、調整が自動的になされても良い。   In the above embodiment, all image processing is executed in the color printer 20 without using the personal computer PC, and a dot pattern is formed on the print medium according to the generated image data GD. Or you may make it run a part on a computer. In this case, the image data processing application such as a retouch application or a printer driver installed in a hard disk of a computer is provided with the image processing function described with reference to FIGS. The image file GF generated by the digital still camera 12 is provided to the computer via a cable or a memory card MC. On the computer, an application is started by a user operation, and reading of the image file GF, analysis of the shooting information PI, conversion and adjustment of the image data GD are executed. Alternatively, the application is automatically started by detecting the insertion of the memory card MC or by detecting the insertion of the cable, reading the image file GF, analyzing the shooting information PI, and image data GD. Conversion and adjustment may be automatically performed.

さらに、パーソナルコンピュータPCで実行される画像処理の全て、または、一部をディジタルスチルカメラ12において実行しても良い。この場合には、ディジタルスチルカメラ12のROM等に格納されている、レタッチアプリケーション、プリンタドライバといった画像データ処理アプリケーションに図6〜8を参照して説明した画像処理機能を持たせることによって実現される。ディジタルスチルカメラ12にて生成された印刷制御コマンドと印刷用画像データとを含む印刷用データは、ケーブルを介して、あるいは、メモリカードMCを介してプリンタ20に提供される。印刷用データを受けたプリンタ20は、印刷用画像データに従って、ドットパターンを印刷媒体上に形成して画像を出力する。なお、ディジタルスチルカメラ12は、印刷用画像データ(画像処理済み画像データ)をパーソナルコンピュータPCまたはプリンタ20に提供しても良い。かかる場合には、パーソナルコンピュータPCまたはプリンタ20において印刷用画像データに対して印刷制御コマンドが与えられる。   Further, all or part of the image processing executed by the personal computer PC may be executed by the digital still camera 12. In this case, the image data processing application such as a retouch application or a printer driver stored in the ROM or the like of the digital still camera 12 is provided with the image processing function described with reference to FIGS. . Printing data including a printing control command and printing image data generated by the digital still camera 12 is provided to the printer 20 via a cable or a memory card MC. The printer 20 that has received the print data forms a dot pattern on the print medium according to the print image data and outputs an image. The digital still camera 12 may provide printing image data (image processed image data) to the personal computer PC or the printer 20. In such a case, a print control command is given to the print image data in the personal computer PC or the printer 20.

また、上記実施例では、露出補正量を考慮した明度の補正に焦点を当てて画質の自動調整を説明したが、この他にも、例えば、シャドウ・コントラストポイント、コントラスト、カラーバランス、彩度、およびシャープネスといった画像データGDの特性パラメータ値に対して、撮影情報PIを反映した画質の自動調整が実行され得る。   In the above embodiment, the automatic image quality adjustment has been described focusing on the lightness correction in consideration of the exposure correction amount, but other examples include, for example, shadow / contrast point, contrast, color balance, saturation, The automatic adjustment of the image quality reflecting the photographing information PI can be executed on the characteristic parameter values of the image data GD such as the sharpness.

さらに、画質自動調整を実行する特性パラメータ値を選択できるようにしても良い。例えば、カラープリンタ20にパラメータの選択ボタン、あるいは、被写体に応じて所定のパラメータの組み合わせた撮影モードパラメータの選択ボタンを供え、これら選択ボタンによって画質自動調整を実行するパラメータを選択しても良い。また、画質自動調整がパーソナルコンピュータ上で実行される場合には、プリンタドライバまたはレタッチアプリケーションのユーザーインタフェース上にて画質自動調整を実行するパラメータが選択されても良い。   Furthermore, a characteristic parameter value for executing automatic image quality adjustment may be selected. For example, the color printer 20 may be provided with a parameter selection button or a shooting mode parameter selection button in which predetermined parameters are combined according to the subject, and parameters for executing automatic image quality adjustment may be selected with these selection buttons. When automatic image quality adjustment is executed on a personal computer, a parameter for executing automatic image quality adjustment may be selected on a user interface of a printer driver or a retouch application.

上記実施例では、露出補正量が大きくなるにつれて明度補正量を等比級数的に小さくしているが、所定の露出補正量未満の露出補正量に対する明度補正量の変化の程度と、所定の露出補正量以上の露出補正量に対する前記明度補正量の変化の程度とを異ならせても良い。あるいは、露出補正量が大きくなるにつれて明度補正量の低減の割合を減少させても良い。かかる場合にも、露出補正量が大きくなってもハイライトやシャドー部の階調を維持することが可能となり、結果として白飛びや黒つぶれの発生を防止することができる。   In the above embodiment, the lightness correction amount is reduced geometrically as the exposure correction amount increases, but the degree of change in the lightness correction amount with respect to the exposure correction amount less than the predetermined exposure correction amount and the predetermined exposure The degree of change of the brightness correction amount with respect to the exposure correction amount equal to or greater than the correction amount may be made different. Alternatively, the reduction rate of the brightness correction amount may be decreased as the exposure correction amount increases. Even in such a case, it is possible to maintain the gradation of the highlight or shadow portion even when the exposure correction amount is large, and as a result, it is possible to prevent the occurrence of whiteout or blackout.

上記実施例では、共に出力装置としてカラープリンタ20を用いているが、出力装置にはCRT、LCD、プロジェクタ等の表示装置を用いることもできる。かかる場合には、出力装置としての表示装置によって、例えば、図6〜8を参照して説明した画像処理を実行する画像処理プログラム(ディスプレイドライバ)が実行される。あるいは、CRT等がコンピュータの表示装置として機能する場合には、コンピュータ側にて画像処理プログラムが実行される。ただし、最終的に出力される画像データは、CMYK色空間ではなくRGB色空間を有している。   In the above-described embodiments, the color printer 20 is used as an output device. However, a display device such as a CRT, LCD, or projector can be used as the output device. In such a case, an image processing program (display driver) that executes the image processing described with reference to FIGS. 6 to 8 is executed by the display device as the output device, for example. Alternatively, when a CRT or the like functions as a computer display device, an image processing program is executed on the computer side. However, finally output image data has an RGB color space instead of a CMYK color space.

かかる場合には、カラープリンタ20を介した印刷結果に画像データ生成時の情報を反映できたのと同様にして、CRT等の表示装置における表示結果に画像データ生成時の撮影情報PIを反映することができる。したがって、ディジタルスチルカメラ12によって生成された画像データGDをより正確に表示させることができる。   In such a case, the shooting information PI at the time of image data generation is reflected in the display result on a display device such as a CRT in the same manner that the information at the time of image data generation can be reflected in the print result via the color printer 20. be able to. Therefore, the image data GD generated by the digital still camera 12 can be displayed more accurately.

上記実施例では、画像ファイルGFの具体例としてExif形式のファイルを例にとって説明したが、本発明に係る画像ファイルの形式はこれに限られない。すなわち、画像データGDと、画像データGDに関連付けられた露出補正に関する情報とを含む画像ファイルであれば良い。さらに、露出補正に関する情報は、画像データの撮影情報PI、あるいは、より積極的に画像処理装置を制御するための画像処理制御情報であっても良い。なお、上記実施例において用いた図8に示す、撮影情報PIとして格納されるパラメータは例示に過ぎず、Exifの規格に従うパラメータが種々格納され得る。   In the above embodiment, an Exif format file has been described as a specific example of the image file GF, but the format of the image file according to the present invention is not limited to this. That is, any image file including image data GD and information relating to exposure correction associated with the image data GD may be used. Further, the information related to exposure correction may be image data shooting information PI or image processing control information for more actively controlling the image processing apparatus. The parameters stored as the shooting information PI shown in FIG. 8 used in the above embodiment are merely examples, and various parameters according to the Exif standard can be stored.

上記実施例において用いたディジタルスチルカメラ12、カラープリンタ20はあくまで例示であり、その構成は各実施例の記載内容に限定されるものではない。ディジタルスチルカメラ12にあっては、上記実施例に係る画像ファイルGFを生成できる機能を少なくとも備えていればよい。また、カラープリンタ20にあっては、少なくとも、本実施例に係る画像ファイルGFの撮影情報PIを解析し、特に明度に関してユーザの意図を反映して画質を自動調整し、画像を出力(印刷)できればよい。   The digital still camera 12 and the color printer 20 used in the above-described embodiments are merely examples, and the configuration is not limited to the description of each embodiment. The digital still camera 12 only needs to have at least a function capable of generating the image file GF according to the above embodiment. Further, in the color printer 20, at least the shooting information PI of the image file GF according to the present embodiment is analyzed, and the image quality is automatically adjusted to reflect the user's intention regarding the brightness, and the image is output (printed). I can do it.

上記実施例では、画像データGDと撮影情報PIとが同一の画像ファイルGFに含まれる場合を例にとって説明したが、画像データGDと撮影情報PIとは、必ずしも同一のファイル内に格納される必要はない。すなわち、画像データGDと撮影情報PI(画像処理制御情報)とが関連付けられていれば良く、例えば、画像データGDと撮影情報PI(画像処理制御情報)とを関連付ける関連付けデータを生成し、1または複数の画像データGDと撮影情報PIとをそれぞれ独立したファイルに格納し、画像データGDを処理する際に関連付けられた撮影情報PIを参照しても良い。かかる場合には、撮影情報PIを利用する画像処理の時点では、画像データおよび撮影情報PIとが一体不可分の関係にあり、実質的に同一のファイルに格納されている場合と同様に機能するからである。さらに、CD−ROM、CD−R、DVD−ROM、DVD−RAM等の光ディスクメディアに格納されている動画像ファイルも含まれる。   In the above embodiment, the case where the image data GD and the shooting information PI are included in the same image file GF has been described as an example. However, the image data GD and the shooting information PI need not necessarily be stored in the same file. There is no. That is, image data GD and shooting information PI (image processing control information) need only be associated. For example, association data that associates image data GD and shooting information PI (image processing control information) is generated, or 1 or A plurality of image data GD and shooting information PI may be stored in independent files, and the shooting information PI associated with processing the image data GD may be referred to. In such a case, at the time of image processing using the shooting information PI, the image data and the shooting information PI are inseparable and function in the same manner as when stored in the same file. It is. Furthermore, a moving image file stored in an optical disc medium such as a CD-ROM, a CD-R, a DVD-ROM, a DVD-RAM is also included.

以上、いくつかの実施例に基づき本発明に係る画像処理装置を説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。   As described above, the image processing apparatus according to the present invention has been described based on some embodiments. However, the above-described embodiments of the present invention are intended to facilitate understanding of the present invention and limit the present invention. It is not a thing. The present invention can be changed and improved without departing from the spirit and scope of the claims, and it is needless to say that the present invention includes equivalents thereof.

本実施例に係る画像処理装置を適用可能な画像処理システムの一例を示す説明図である。It is explanatory drawing which shows an example of the image processing system which can apply the image processing apparatus which concerns on a present Example. 本実施例に係る画像処理装置の処理対象となる画像データを生成可能なディジタルスチルカメラの概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a digital still camera capable of generating image data to be processed by an image processing apparatus according to an embodiment. 本実施例に係る画像処理装置として機能するカラープリンタの概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a color printer that functions as an image processing apparatus according to an embodiment. Exifフォーマットにしたがう画像ファイルGFの概略的な内部構造を示す説明図である。It is explanatory drawing which shows the schematic internal structure of the image file GF according to an Exif format. 本実施例に用いられ得る画像ファイルGFのExif IFDに格納される詳細な付属情報の一例を示す説明図である。It is explanatory drawing which shows an example of the detailed attached information stored in Exif IFD of the image file GF which can be used for a present Example. 本実施例に係るカラープリンタ20における画像処理の処理ルーチンを示すフローチャートである。4 is a flowchart illustrating a processing routine of image processing in the color printer 20 according to the present embodiment. 本実施例に係る画像処理装置(カラープリンタ20)における基準値を用いた自動画質調整処理の処理ルーチンを示すフローチャートである。4 is a flowchart showing a processing routine of automatic image quality adjustment processing using a reference value in the image processing apparatus (color printer 20) according to the present embodiment. 従来手法による明度補正量と本実施例に係る手法による明度補正量とを対比して示す説明図である。It is explanatory drawing which shows the brightness correction amount by a conventional method, and the brightness correction amount by the method which concerns on a present Example by contrasting. 明度補正におけるトーンカーブの修正の一例を示す説明図である。It is explanatory drawing which shows an example of the correction of the tone curve in brightness correction. 他の実施例において付加される画像処理の処理ルーチンを示すフローチャートである。It is a flowchart which shows the process routine of the image process added in another Example.

Claims (29)

画像データと、その画像データに対する露出補正量とを用いて画像データに対する画像処理を実行する画像処理装置であって、
明度に関する画質調整の基準となる明度基準値を用いて前記画像データの明度補正量を決定する補正量決定ユニットと、
前記露出補正量が大きくなるにつれて前記明度補正量を小さくする補正量修正ユニットと、
前記修正された明度補正量を適用して前記画像データの明度を調整する画質調整ユニットとを備える画像処理装置。
An image processing apparatus that performs image processing on image data using image data and an exposure correction amount for the image data,
A correction amount determination unit that determines a lightness correction amount of the image data using a lightness reference value that is a reference for image quality adjustment relating to lightness;
A correction amount correction unit that decreases the lightness correction amount as the exposure correction amount increases;
An image processing apparatus comprising: an image quality adjustment unit that adjusts the brightness of the image data by applying the corrected brightness correction amount.
請求項1に記載の画像処理装置において、
前記補正量修正ユニットは、所定の露出補正量未満の前記露出補正量に対する前記明度補正量の変化の程度と、前記所定の露出補正量以上の前記露出補正量に対する前記明度補正量の変化の程度とを異ならせる画像処理装置。
The image processing apparatus according to claim 1.
The correction amount correction unit includes a degree of change in the lightness correction amount with respect to the exposure correction amount less than a predetermined exposure correction amount, and a degree of change in the lightness correction amount with respect to the exposure correction amount greater than or equal to the predetermined exposure correction amount. Is an image processing device.
請求項1に記載の画像処理装置において、
前記補正量修正ユニットは、前記露出補正量が大きくなるにつれて前記明度補正量の低減の割合を減少させる画像処理装置。
The image processing apparatus according to claim 1.
The correction amount correction unit is an image processing apparatus that reduces a reduction rate of the brightness correction amount as the exposure correction amount increases.
請求項2に記載の画像処理装置において、
前記補正量修正ユニットは、前記露出補正量が大きくなるにつれて前記明度補正量を等比級数的に小さくする画像処理装置。
The image processing apparatus according to claim 2,
The correction amount correction unit is an image processing apparatus that reduces the lightness correction amount geometrically as the exposure correction amount increases.
請求項4に記載の画像処理装置において、
前記補正量修正ユニットは、前記明度補正量を、前記露出補正量をパラメータとする指数関数によって除する画像処理装置。
The image processing apparatus according to claim 4.
The correction amount correction unit is an image processing device that divides the brightness correction amount by an exponential function using the exposure correction amount as a parameter.
請求項5に記載の画像処理装置はさらに、
前記画像データを解析して、前記画像データの明度に関する特性を示す明度特性値を取得する明度特性値取得ユニットを備え、
前記補正量決定ユニットは、前記明度基準値と前記取得した明度特性値との偏差を低減させるように前記明度補正量を決定する画像処理装置。
The image processing apparatus according to claim 5 further includes:
A lightness characteristic value acquisition unit that analyzes the image data and acquires a lightness characteristic value indicating characteristics relating to the lightness of the image data;
The image processing apparatus, wherein the correction amount determination unit determines the lightness correction amount so as to reduce a deviation between the lightness reference value and the acquired lightness characteristic value.
請求項5に記載の画像処理装置はさらに、
前記画像データに対する明度補正の傾向を入力するための入力ユニットを備え、
前記補正量決定ユニットは、前記入力された明度補正の傾向に基づいて、前記画像データの明度補正量を決定する画像処理装置。
The image processing apparatus according to claim 5 further includes:
An input unit for inputting a tendency of brightness correction for the image data;
The correction amount determination unit is an image processing apparatus that determines a lightness correction amount of the image data based on the input lightness correction tendency.
請求項6または7のいずれかに記載の画像処理装置はさらに、
前記明度調整された画像データを用いて画像を出力する画像出力ユニットを備える画像処理装置。
The image processing apparatus according to claim 6 further includes:
An image processing apparatus comprising an image output unit that outputs an image using the image data having the brightness adjusted.
請求項1ないし8のいずれかに記載の画像処理装置において、
前記補正量修正ユニットは、コントラスト補正前後の輝度差を考慮して前記明度補正量を修正し、
前記画像データと前記露出補正量とは、同一のファイル内に格納されている画像処理装置。
The image processing apparatus according to any one of claims 1 to 8,
The correction amount correction unit corrects the brightness correction amount in consideration of a luminance difference before and after contrast correction,
The image processing apparatus in which the image data and the exposure correction amount are stored in the same file.
画像データと、その画像データに対して実行された露出補正の情報とを用いて画像データに対する画像処理を実行する画像処理装置であって、
前記画像データを解析して、前記画像データの明度に関する特性を示す明度特性値を取得する明度特性値取得ユニットと、
明度に関する画質調整の基準となる明度基準値と前記取得した明度特性値との偏差を低減する画質調整ユニットと、
前記露出補正の情報に基づいて、前記画像データに対して実行された露出補正の度合いが大きくなるにつれて前記偏差の低減の程度を小さくする偏差低減量調整ユニットとを備える画像処理装置。
An image processing apparatus that performs image processing on image data using image data and information on exposure correction performed on the image data,
A lightness characteristic value acquisition unit that analyzes the image data and acquires a lightness characteristic value indicating characteristics relating to the lightness of the image data;
An image quality adjustment unit for reducing a deviation between a brightness reference value serving as a reference for image quality adjustment relating to brightness and the acquired brightness characteristic value;
An image processing apparatus comprising: a deviation reduction amount adjusting unit that reduces the degree of reduction of the deviation as the degree of exposure correction performed on the image data increases based on the exposure correction information.
請求項10に記載の画像処理装置において、
前記補正量修正ユニットは、所定の露出補正量未満の前記露出補正量に対する前記明度補正量の変化の程度と、前記所定の露出補正量以上の前記露出補正量に対する前記明度補正量の変化の程度とを異ならせる画像処理装置。
The image processing apparatus according to claim 10.
The correction amount correction unit includes a degree of change in the lightness correction amount with respect to the exposure correction amount less than a predetermined exposure correction amount, and a degree of change in the lightness correction amount with respect to the exposure correction amount greater than or equal to the predetermined exposure correction amount. Is an image processing device.
請求項10に記載の画像処理装置において、
前記補正量修正ユニットは、前記露出補正量が大きくなるにつれて前記明度補正量の低減の割合を減少させる画像処理装置。
The image processing apparatus according to claim 10.
The correction amount correction unit is an image processing apparatus that reduces a reduction rate of the brightness correction amount as the exposure correction amount increases.
請求項12に記載の画像処理装置において、
前記偏差の低減の程度は、前記偏差低減量調整ユニットによって、等比級数的に小さくされる画像処理装置。
The image processing apparatus according to claim 12.
The degree of the reduction of the deviation is an image processing apparatus in which the deviation reduction amount adjustment unit reduces the degree of geometric progression.
請求項10ないし13のいずれかに記載の画像処理装置において、
前記画像データと前記露出補正の情報とは、同一のファイル内に格納されている画像処理装置。
The image processing apparatus according to any one of claims 10 to 13,
The image processing apparatus in which the image data and the exposure correction information are stored in the same file.
画像データと、その画像データに対する露出補正量とを用いた画像データに対する画像処理方法であって、
明度に関する画質調整の基準となる明度基準値を用いて前記画像データの明度補正量を決定し、
前記露出補正量が大きくなるにつれて前記明度補正量を小さく修正し、
前記修正した明度補正量を適用して前記画像データの明度を調整する画像処理方法。
An image processing method for image data using image data and an exposure correction amount for the image data,
Determining a lightness correction amount of the image data using a lightness reference value serving as a reference for image quality adjustment relating to lightness;
As the exposure correction amount increases, the brightness correction amount is corrected to be small,
An image processing method for adjusting the brightness of the image data by applying the corrected brightness correction amount.
請求項15に記載の画像処理方法において、
前記明度補正量の修正においては、所定の露出補正量未満の前記露出補正量に対する前記明度補正量の変化の程度と、前記所定の露出補正量以上の前記露出補正量に対する前記明度補正量の変化の程度とを異ならせる画像処理方法。
The image processing method according to claim 15, wherein
In the correction of the lightness correction amount, the degree of change in the lightness correction amount with respect to the exposure correction amount less than a predetermined exposure correction amount, and the change in the lightness correction amount with respect to the exposure correction amount greater than or equal to the predetermined exposure correction amount. Image processing method with different degree of.
請求項15に記載の画像処理方法において、
前記明度補正量は、前記露出補正量が大きくなるにつれて低減の割合が減少される画像処理方法。
The image processing method according to claim 15, wherein
The lightness correction amount is an image processing method in which a reduction rate is reduced as the exposure correction amount is increased.
請求項17に記載の画像処理方法において、
前記明度補正量は、等比級数的に小さく修正される、画像処理方法。
The image processing method according to claim 17,
The image processing method, wherein the lightness correction amount is corrected to be a geometric series smaller.
請求項15に記載の画像処理方法はさらに、
前記画像データを解析して、前記画像データの明度に関する特性を示す明度特性値を取得し、
前記明度基準値と前記取得した明度特性値との偏差を低減するように前記明度補正量を決定し、
前記決定した明度補正量を、前記露出補正量をパラメータとする指数関数によって除する画像処理方法。
The image processing method according to claim 15 further includes:
Analyzing the image data, obtaining a lightness characteristic value indicating characteristics relating to the lightness of the image data,
Determining the brightness correction amount so as to reduce a deviation between the brightness reference value and the acquired brightness characteristic value;
An image processing method for dividing the determined brightness correction amount by an exponential function using the exposure correction amount as a parameter.
請求項15に記載の画像処理方法はさらに、
前記画像データに対する明度補正の傾向を受け取り、
前記受け取った明度補正の傾向に基づいて、前記画像データの明度補正量を決定し、
前記決定した明度補正量を、前記露出補正量をパラメータとする指数関数によって除する画像処理方法。
The image processing method according to claim 15 further includes:
Receiving a tendency of brightness correction for the image data;
Based on the received lightness correction tendency, determine a lightness correction amount of the image data,
An image processing method for dividing the determined brightness correction amount by an exponential function using the exposure correction amount as a parameter.
画像データと、その画像データに対する露出補正量とを用いて画像データに対する画像処理を実行する画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体であって、前記画像処理プログラムは、
明度に関する画質調整の基準となる明度基準値を用いて前記画像データの明度補正量を決定する機能と、
前記露出補正量が大きくなるにつれて前記明度補正量を小さく補正する機能と、
前記修正した明度補正量を適用して前記画像データの明度を調整する機能とをコンピュータによって実行させるコンピュータが読み取り可能な記録媒体。
A computer-readable recording medium that records an image processing program for performing image processing on image data using image data and an exposure correction amount for the image data, the image processing program comprising:
A function for determining a lightness correction amount of the image data using a lightness reference value serving as a reference for image quality adjustment relating to lightness;
A function of correcting the brightness correction amount to be smaller as the exposure correction amount is increased;
A computer-readable recording medium that causes a computer to execute a function of adjusting the brightness of the image data by applying the corrected brightness correction amount.
請求項21に記載のコンピュータが読み取り可能な記録媒体において、
前記明度補正量を補正する機能は、所定の露出補正量未満の前記露出補正量に対する前記明度補正量の変化の程度と、前記所定の露出補正量以上の前記露出補正量に対する前記明度補正量の変化の程度とを異ならせる機能であるコンピュータが読み取り可能な記録媒体。
The computer-readable recording medium according to claim 21,
The function of correcting the lightness correction amount includes the degree of change in the lightness correction amount with respect to the exposure correction amount less than a predetermined exposure correction amount and the lightness correction amount with respect to the exposure correction amount greater than or equal to the predetermined exposure correction amount. A computer-readable recording medium that has a function of varying the degree of change.
請求項21に記載のコンピュータが読み取り可能な記録媒体において、
前記明度補正量は、前記露出補正量が大きくなるにつれて低減の割合が減少されるコンピュータが読み取り可能な記録媒体。
The computer-readable recording medium according to claim 21,
The brightness correction amount is a computer-readable recording medium in which a reduction rate is reduced as the exposure correction amount is increased.
請求項23に記載のコンピュータが読み取り可能な記録媒体において、
前記明度補正量は、等比級数的に小さくされる、コンピュータが読み取り可能な記録媒体。
The computer-readable recording medium according to claim 23,
The brightness correction amount is a computer-readable recording medium that is made geometrically smaller.
請求項21に記載のコンピュータが読み取り可能な記録媒体はさらに、
前記画像データを解析して、前記画像データの明度に関する特性を示す明度特性値を取得する機能をコンピュータによって実現させ、
前記補正量を決定する機能は、前記明度基準値と前記取得した明度特性値との偏差を低減させるように前記明度補正量を決定し、
前記明度補正量を補正する機能は、前記決定した明度補正量を、前記露出補正量をパラメータとする指数関数によって除するコンピュータが読み取り可能な記録媒体。
The computer-readable recording medium according to claim 21, further comprising:
A function of analyzing the image data and obtaining a brightness characteristic value indicating characteristics relating to the brightness of the image data is realized by a computer,
The function of determining the correction amount determines the lightness correction amount so as to reduce a deviation between the lightness reference value and the acquired lightness characteristic value,
The function of correcting the brightness correction amount is a computer-readable recording medium that divides the determined brightness correction amount by an exponential function using the exposure correction amount as a parameter.
請求項21に記載のコンピュータが読み取り可能な記録媒体はさらに、
前記画像データに対する明度補正の傾向を入力するための機能をコンピュータによって実現させ、
前記補正量を決定する機能は、前記入力された明度補正の傾向に基づいて、前記画像データの明度補正量を決定し、
前記明度補正量を補正する機能は、前記決定した明度補正量を、前記露出補正量をパラメータとする指数関数によって除するコンピュータが読み取り可能な記録媒体。
The computer-readable recording medium according to claim 21, further comprising:
A function for inputting a tendency of brightness correction for the image data is realized by a computer,
The function of determining the correction amount determines a lightness correction amount of the image data based on the input lightness correction tendency,
The function of correcting the brightness correction amount is a computer-readable recording medium that divides the determined brightness correction amount by an exponential function using the exposure correction amount as a parameter.
請求項21ないし26のいずれかに記載のコンピュータが読み取り可能な記録媒体はさらに、
明度を調整した前記画像データを出力装置に対して出力する機能をコンピュータによって実現させるコンピュータが読み取り可能な記録媒体。
A computer-readable recording medium according to any one of claims 21 to 26 is further provided.
A computer-readable recording medium that causes a computer to realize a function of outputting the image data with adjusted brightness to an output device.
撮影時における撮影条件を示す撮影情報が関連付けられた画像データに対して画像処理を実行する画像処理装置であって、
取得した画像データを解析して、前記画像データの画質の特性を示す画質特性値を取得する画質特性値取得ユニットと、
前記取得した画像データに関連付けられている前記撮影情報から、撮影意図を示す撮影情報を検索する検索ユニットと、
予め定められた画質調整の基準となる画質調整基準値と前記取得した画質特性値との偏差を低減して前記画像データの画質を調整する画質調整ユニットと、
前記撮影意図を示す撮影情報を検出することができた場合には、前記検索した撮影意図を示す撮影情報を用いて、前記偏差の低減の程度を調整する偏差低減量調整ユニットとを備える画像処理装置。
An image processing apparatus that executes image processing on image data associated with shooting information indicating shooting conditions at the time of shooting,
An image quality characteristic value acquisition unit that analyzes the acquired image data and acquires an image quality characteristic value indicating the image quality characteristic of the image data;
A search unit for searching for shooting information indicating a shooting intention from the shooting information associated with the acquired image data;
An image quality adjustment unit that adjusts the image quality of the image data by reducing a deviation between an image quality adjustment reference value serving as a predetermined image quality adjustment reference and the acquired image quality characteristic value;
An image processing comprising: a deviation reduction amount adjustment unit that adjusts a degree of reduction of the deviation by using the searched shooting information indicating the shooting intention when the shooting information indicating the shooting intention can be detected. apparatus.
請求項28に記載の画像処理装置において、
前記撮影意図を示す撮影情報を検出することができなかった場合には、前記偏差の低減の程度は前記撮影意図を示す撮影情報によっては調整されない画像処理装置。
The image processing apparatus according to claim 28, wherein
An image processing apparatus in which the degree of reduction of the deviation is not adjusted depending on the shooting information indicating the shooting intention when the shooting information indicating the shooting intention cannot be detected.
JP2007069716A 2002-07-12 2007-03-19 Output image adjustment of image data Expired - Lifetime JP4311465B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007069716A JP4311465B2 (en) 2002-07-12 2007-03-19 Output image adjustment of image data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002203582 2002-07-12
JP2007069716A JP4311465B2 (en) 2002-07-12 2007-03-19 Output image adjustment of image data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004521201A Division JP3960335B2 (en) 2002-07-12 2003-07-11 Output image adjustment of image data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008312214A Division JP4609572B2 (en) 2002-07-12 2008-12-08 Output image adjustment of image data

Publications (2)

Publication Number Publication Date
JP2007295542A true JP2007295542A (en) 2007-11-08
JP4311465B2 JP4311465B2 (en) 2009-08-12

Family

ID=38765662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007069716A Expired - Lifetime JP4311465B2 (en) 2002-07-12 2007-03-19 Output image adjustment of image data

Country Status (1)

Country Link
JP (1) JP4311465B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310572B2 (en) 2008-03-18 2012-11-13 Fujitsu Limited Computer readable storage medium, image correction apparatus, and image correction method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310572B2 (en) 2008-03-18 2012-11-13 Fujitsu Limited Computer readable storage medium, image correction apparatus, and image correction method

Also Published As

Publication number Publication date
JP4311465B2 (en) 2009-08-12

Similar Documents

Publication Publication Date Title
JP4609572B2 (en) Output image adjustment of image data
US7375848B2 (en) Output image adjustment method, apparatus and computer program product for graphics files
JP4775410B2 (en) Output image adjustment of image data
US7933041B2 (en) Adjustment for output image of image data
US20020196346A1 (en) Image processing apparatus
US7301566B2 (en) Adjustment for output image of image data
JP3915755B2 (en) Output image adjustment of image data
JP3520869B2 (en) Image output adjustment of image data
JP3912369B2 (en) Image processing using information associated with image data
JP4311465B2 (en) Output image adjustment of image data
JP3834516B2 (en) Output image adjustment of image data
JP3960137B2 (en) Output image adjustment of image data
JP3858859B2 (en) Image data output adjustment
JP2008278519A (en) Output image adjustment method for image file
JP2003008920A (en) Printing control program and image processing program
JP2002344764A (en) Image processor
JP2016067040A (en) Image data output adjusting device, image data output adjustment method, image data output adjustment program, and imaging apparatus
JP2010239664A (en) Generation and output of image file
JP2007135225A (en) Output image adjustment of image data
JP2007124646A (en) Output image adjustment for image files

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090504

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4311465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140522

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term