JP2005275454A - Image processing method, image processing system, image processing device and image processing program - Google Patents

Image processing method, image processing system, image processing device and image processing program Download PDF

Info

Publication number
JP2005275454A
JP2005275454A JP2004083385A JP2004083385A JP2005275454A JP 2005275454 A JP2005275454 A JP 2005275454A JP 2004083385 A JP2004083385 A JP 2004083385A JP 2004083385 A JP2004083385 A JP 2004083385A JP 2005275454 A JP2005275454 A JP 2005275454A
Authority
JP
Japan
Prior art keywords
image
image data
original image
correction
correction parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004083385A
Other languages
Japanese (ja)
Other versions
JP4338563B2 (en
Inventor
Masahiro Kubo
雅裕 久保
Hideo Seto
秀夫 瀬戸
Hisashi Obara
寿 小原
Satoshi Ozawa
聡 小澤
Masayuki Ryuto
正幸 龍頭
Takayuki Iida
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004083385A priority Critical patent/JP4338563B2/en
Priority to US11/083,985 priority patent/US7551205B2/en
Publication of JP2005275454A publication Critical patent/JP2005275454A/en
Application granted granted Critical
Publication of JP4338563B2 publication Critical patent/JP4338563B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable a proper test while reducing time required for testing work. <P>SOLUTION: Simplified original image data are generated by thinning original image data obtained by photographing at a thinning rate variable dependent on a photographed scene. The thinning rate is decided in such a manner that information necessary for a proper test is left, and information not particularly required for a test is deleted. An image compensation is performed for the simplified original image data with a predetermined development parameter, and a conversion is made to the image for simplified display which allows a monitor display. An operator changes the development parameter while observing the image for a simplified display. Every time the development parameter is changed, an image compensation is performed for the simplified original image data with the development parameter after the change, and the updated image for the simplified display is displayed. The original image data are subjected to an image compensation with the determined development parameter and, after the conversion to an image for display, are outputted. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、例えばデジタルカメラ等の撮影装置から送られる原画像データ(CCD−RAWデータ)に基づいてデジタル画像を再生表示しながら、各種の画像処理を行う画像処理方法、画像処理システム及び画像処理装置並びに画像処理プログラムに関する。   The present invention relates to an image processing method, an image processing system, and an image processing for performing various image processing while reproducing and displaying a digital image based on original image data (CCD-RAW data) sent from a photographing device such as a digital camera. The present invention relates to an apparatus and an image processing program.

デジタル画像の画質を向上させる上で、パーソナルコンピュータ(PC)等の情報処理端末を用いて、デジタル画像のカラーバランス、ホワイトバランスやトーンカーブといった各種の補正を行うことが有効である。例えば、デジタルカメラを用いた撮影では、デジタルカメラからPCに画像データが送られる。PCに備え付けのモニタに表示される画像を観察しながら、各種の補正パラメータを変更する検定作業を行うことで、オペレータの意図した仕上がりの画像を得ることができる。   In order to improve the image quality of a digital image, it is effective to perform various corrections such as color balance, white balance, and tone curve of the digital image using an information processing terminal such as a personal computer (PC). For example, in photographing using a digital camera, image data is sent from the digital camera to the PC. By observing an image displayed on a monitor provided on the PC and performing an examination operation for changing various correction parameters, an image with a finish intended by the operator can be obtained.

また、ホワイトバランス処理や露出補正等がなされていない原画像データ(RAWデータ)を出力可能なデジタルカメラを用いることにより、デジタルカメラ側で色情報を落とすことなくPC側で画像検定を行うことができる。   Also, by using a digital camera that can output original image data (RAW data) that has not undergone white balance processing or exposure correction, image verification can be performed on the PC side without dropping color information on the digital camera side. it can.

原画像データはデジタルカメラの撮像デバイスから出力されたままのデータであり、PCのモニタに表示するために、ホワイトバランス補正や露出補正のパラメータ(以下、現像パラメータと称する)に基づいて画像補正を行い、例えばTIFF(Tagged Image File Format)形式の表示用画像データに変換する(以下、現像処理と称する)必要がある。しかし、原画像データは、各色毎に例えば12ビットあるいは16ビットの階調値で表される画素データから構成されるため、データサイズが非常に大きく、現像処理に長時間を要する。そして、各種現像パラメータが変更される毎に、変更後のパラメータにて再び現像処理が行われるため、原画像データのサイズが大きいと検定作業に要する時間が非常に長くなるという問題があった。また、現像処理中はCPUへの負荷が非常に高くなるため、各種現像パラメータを変更して現像処理を繰り返す間は、他の処理を行うことができないという問題も生じていた。   Original image data is data that has been output from the imaging device of the digital camera, and image correction is performed based on white balance correction and exposure correction parameters (hereinafter referred to as development parameters) for display on a PC monitor. For example, it is necessary to convert to display image data in a TIFF (Tagged Image File Format) format (hereinafter referred to as development processing). However, since the original image data is composed of pixel data represented by, for example, 12-bit or 16-bit gradation values for each color, the data size is very large, and development processing takes a long time. Then, every time the various development parameters are changed, the development processing is performed again with the changed parameters. Therefore, when the size of the original image data is large, there is a problem that the time required for the verification work becomes very long. In addition, since the load on the CPU becomes very high during the development process, another process cannot be performed while the development process is repeated while changing various development parameters.

従来の検定作業では、オペレータが検定対象となる画像を1つずつ選択し、個々の画像毎に現像パラメータを変更していたため、データサイズの大きい原画像データを扱うと検定作業が完了するのに長時間を要するという懸念が生じていた。特に、スタジオ撮影などのように、複数の撮影画像にわたって撮影環境がほぼ同じである場合には、最適な現像パラメータもほぼ同じであるにもかかわらず、オペレータが1つずつ画像検定を行うのでは、非効率であると言わざるを得ない。   In the conventional verification work, the operator selects the images to be verified one by one and changes the development parameters for each image. Therefore, when the original image data having a large data size is handled, the verification work is completed. There were concerns that it would take a long time. In particular, when the shooting environment is substantially the same for a plurality of shot images, such as in studio shooting, the operator does not perform image verification one by one even though the optimum development parameters are almost the same. I have to say that it is inefficient.

更に、上記の現像パラメータの他に、色補正やトリミングといった画像調整のパラメータも同時に補正できるようになっている。従来の検定作業では、この画像調整用のパラメータが変更される毎に、上記の現像処理とともに画像調整を行っているため、やはり検定作業が長時間化してしまうという問題があった。   In addition to the above development parameters, image adjustment parameters such as color correction and trimming can be corrected simultaneously. In the conventional verification work, every time this parameter for image adjustment is changed, image adjustment is performed together with the development processing described above, so that the verification work also takes a long time.

この問題に対処するために、原画像データを、例えば、JPEG(Joint Photographic Coding Expert Group)形式で圧縮したもの(縮小画像データ)を検定で用いたりするといったことが考えられる。しかし、JPEG形式の画像は、原画像データを現像処理して得られる表示用画像データと色空間やビット数が異なるため、表示用画像と色合いが異なってしまい、適正な検定を行えなくなってしまう恐れがある。   In order to cope with this problem, it is conceivable to use original image data compressed in JPEG (Joint Photographic Coding Expert Group) format (reduced image data) in the test. However, JPEG format images differ in color space and number of bits from the display image data obtained by developing the original image data, so the color differs from the display image and the proper test cannot be performed. There is a fear.

本発明は上記事情を鑑みてなされたものであり、原画像データを利用して検定作業を行う場合に、作業に要する時間を短縮することができるとともに、適正な検定を行うことのできる画像処理方法、システム及び装置並びにプログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and when performing verification work using original image data, image processing that can shorten the time required for the work and can perform proper verification It is an object to provide a method, a system, an apparatus, and a program.

上記目的を達成するために、本発明は、画像の少なくとも一部の領域において、前記原画像データを間引く間引き率を撮影シーンに基づいて決定し、前記原画像データを前記間引き率で間引くことで簡易原画像データを生成し、簡易原画像データに対し、例えば、ホワイトバランスや露出補正に関する第1補正パラメータにて画像補正を行うとともに、補正後の簡易原画像データに基づき生成された簡易表示用画像を再生表示して第1補正パラメータの調整を可能とし、決定された第1補正パラメータに基づき原画像データに画像補正を施すことを特徴とする。   In order to achieve the above object, the present invention determines a thinning rate for thinning out the original image data based on a shooting scene in at least a partial region of an image, and thins the original image data at the thinning rate. Simple original image data is generated, and image correction is performed on the simple original image data using, for example, the first correction parameter relating to white balance and exposure correction, and simple display is generated based on the corrected simple original image data. The first correction parameter can be adjusted by reproducing and displaying the image, and image correction is performed on the original image data based on the determined first correction parameter.

間引き率は、前記画像の複数エリア毎に定められることが好ましい。また、画像内に間引き率の高い第1エリアと間引き率の低い第2エリアとがある場合には、間引き後の第1エリア内の画素データで補間又は置換することで画素密度を第1エリア内と第2エリア内とで等しくすることが好ましい。さらに、原画像データに対応する、例えば、JPEG形式で圧縮された縮小画像に基づいて、間引き率を決定することが好ましい。また、縮小画像のうち画像補正が完了していない画像に対応する縮小画像は白黒表示することが好ましい。   The thinning rate is preferably determined for each of a plurality of areas of the image. Further, when there is a first area with a high thinning rate and a second area with a low thinning rate in the image, the pixel density is set to the first area by interpolation or replacement with pixel data in the first area after thinning. It is preferable to make the inside and the second area equal. Furthermore, it is preferable to determine the thinning rate based on a reduced image corresponding to the original image data, for example, compressed in JPEG format. Moreover, it is preferable that the reduced image corresponding to the image for which image correction is not completed among the reduced images is displayed in black and white.

第1補正パラメータが変更される毎に、簡易原画像データに対して変更後の第1補正パラメータにて画像補正を行う。そして、補正後の簡易原画像データに基づき生成された簡易表示用画像を再生表示する。また、第1補正パラメータの決定後、簡易表示用画像に対して、例えば色調整やトリミングに関する第2補正パラメータにて画像調整を行う。そして、決定された第2補正パラメータにて表示用画像データに画像調整を行う。   Each time the first correction parameter is changed, image correction is performed on the simplified original image data with the changed first correction parameter. Then, the simple display image generated based on the corrected simple original image data is reproduced and displayed. In addition, after the first correction parameter is determined, image adjustment is performed on the simple display image using, for example, the second correction parameter related to color adjustment and trimming. Then, image adjustment is performed on the display image data with the determined second correction parameter.

同等の撮影条件にて得られた複数の撮影画像に対して画像処理を行う場合は、同じ補正パラメータにて一括で画像補正を行うことが好ましい。そこで、1コマ目の画像に対して簡易原画像データを生成して第1補正パラメータの調整を行い、決定された第1補正パラメータにて、2コマ目以降の画像に対応する原画像データに対して画像補正を行うことが好ましい。また、複数の画像のうち、1の画像に対して簡易原画像データを生成して第1補正パラメータの調整を行い、決定された第1補正パラメータにて、選択された他の画像に対応する原画像データに対して画像補正を行っても良い。さらに、上記の2通りの処理モードを備え、撮影条件に応じて選択するようにしても良い。   When image processing is performed on a plurality of photographed images obtained under the same photographing conditions, it is preferable to perform image correction collectively with the same correction parameter. Therefore, simple original image data is generated for the first frame image, the first correction parameter is adjusted, and the original image data corresponding to the second and subsequent frames is determined using the determined first correction parameter. It is preferable to correct the image. Further, simple original image data is generated for one image among a plurality of images, the first correction parameter is adjusted, and the selected first correction parameter corresponds to the other selected image. Image correction may be performed on the original image data. Further, the above-described two processing modes may be provided, and the selection may be made according to the shooting conditions.

被写体を撮影して原画像データを生成する撮影装置と、原画像データに画像補正を施し、表示用画像データに変換して出力する画像変換装置とから構成される画像処理システムでは、撮影装置と画像変換装置のいずれか一方において、原画像データを撮影シーンに応じて可変される間引き率にて間引くことで簡易原画像データを生成し、画像変換装置において、簡易原画像データに対し第1補正パラメータにて画像補正を行うとともに、補正後の簡易原画像データに基づき生成された簡易表示用画像を再生表示して第1補正パラメータの調整を可能とし、決定された第1補正パラメータに基づき原画像データに画像補正を施すことを特徴とする。   In an image processing system that includes a photographing device that shoots a subject and generates original image data, and an image conversion device that performs image correction on the original image data, converts the original image data into display image data, and outputs the image data, Simple image data is generated by thinning out the original image data at a thinning rate that is variable depending on the shooting scene in either one of the image conversion devices, and the image data conversion device performs a first correction on the simple original image data. The image correction is performed using the parameters, the simple display image generated based on the corrected simple original image data is reproduced and displayed, and the first correction parameter can be adjusted. Based on the determined first correction parameter, the original correction image can be adjusted. Image correction is performed on the image data.

本発明によれば、撮影シーンに基づいて間引き率を決定し、原画像データを間引くことで簡易原画像データを生成するようにしたので、簡易原画像データ色空間やビット数が原画像データを現像処理して得られる表示用画像データと同じで、色の誤認識の防ぐことができるだけでなく、撮影シーンに応じて間引き率を可変させることで検定に必要な情報を残し、適正な検定を行える。また、原画像データを間引いた、データサイズの小さな簡易原画像データを用いて、現像処理に適用される第1補正パラメータを調整するようにしたから、画像処理に要する時間を短縮することができる。   According to the present invention, the thinning rate is determined based on the shooting scene, and the simple original image data is generated by thinning the original image data. Therefore, the simple original image data color space and the number of bits are the same as the original image data. It is the same as the display image data obtained by development processing, and not only can prevent color misrecognition, but also keeps the necessary information for verification by varying the thinning rate according to the shooting scene, and performing appropriate verification Yes. In addition, since the first correction parameter applied to the development process is adjusted using the simple original image data having a small data size obtained by thinning the original image data, the time required for the image processing can be shortened. .

また、間引き率を、画像の複数エリア毎に定めることで、検定に必要なエリアの情報を残しながら、検定にあまり必要でないエリアの情報を間引くことができるので、画像処理に要する時間を効果的に短縮できるだけでなく、より正確な検定を行うことができる。   In addition, by setting the thinning rate for each area of the image, it is possible to thin out information on areas that are not necessary for verification while leaving information on areas necessary for verification. In addition to shortening the time, a more accurate test can be performed.

さらに、原画像データに対応するデータサイズの小さな縮小画像に基づいて間引き率を決定すれば、間引き率の決定に要する時間を短縮することができる。また、縮小画像のうち画像補正が完了していない画像に対応する前記縮小画像を白黒表示するようにすれば、例えば、JPEG形式で圧縮され色空間や表示可能色数が異なる縮小画像を観察したオペレータが誤った色認識を持ってしまうのを防止することができる   Furthermore, if the thinning rate is determined based on a reduced image having a small data size corresponding to the original image data, the time required for determining the thinning rate can be shortened. Further, if the reduced image corresponding to the image that has not been corrected among the reduced images is displayed in black and white, for example, a reduced image that is compressed in the JPEG format and has a different color space or displayable number of colors is observed. It is possible to prevent an operator from having wrong color recognition

また、決定された第1補正パラメータに基づき現像処理され、モニタ表示される画像に基づいて、画像調整用の第2補正パラメータを調整するようにすれば、画像調整時に原画像データを現像処理する必要がなく、画像処理時間を効果的に短縮することができる。   Further, if the second correction parameter for image adjustment is adjusted based on the determined first correction parameter and the image displayed on the monitor is adjusted, the original image data is developed at the time of image adjustment. This is unnecessary, and the image processing time can be effectively shortened.

さらに、同等の撮影条件にて得られた複数の撮影画像に対して、同じ補正パラメータにて一括で画像補正を行うことで、画像処理を効率よく行うことができる。また、原画像データが得られる毎に、決定された補正パラメータにて自動的に画像処理を行う第1の処理モードと、選択された画像に対してのみ画像処理を行う第2の処理モードとを切り替え可能とすることで、撮影状況に応じて適切な処理モードにて画像処理を行うことができる。   Furthermore, image processing can be efficiently performed by performing image correction on a plurality of captured images obtained under the same imaging conditions collectively with the same correction parameters. A first processing mode in which image processing is automatically performed with the determined correction parameter every time original image data is obtained, and a second processing mode in which image processing is performed only on the selected image Can be switched, image processing can be performed in an appropriate processing mode in accordance with the shooting situation.

図1は、デジタルカメラ10と画像検定用PC30とで構成される撮影システムのブロック図である。画像検定用PC30としては、撮影で得られたデジタル画像に各種補正処理を施すための画像処理プログラムがインストールされた市販タイプのパーソナルコンピュータを用いることができる。デジタルカメラ10と画像検定用PC30は、通信ケーブル11を介して互いに接続され、撮影制御データや画像データを送受信することができる。通信ケーブル11は、例えばUSB(Universal Serial Bus)やIEEE1394に準拠したものが用いられる。通信ケーブル11の代わりに、無線通信手段を用いてデータの接受を行ってもよい。   FIG. 1 is a block diagram of an imaging system including a digital camera 10 and an image verification PC 30. As the image verification PC 30, a commercially available personal computer in which an image processing program for performing various correction processes on a digital image obtained by photographing can be used. The digital camera 10 and the image verification PC 30 are connected to each other via the communication cable 11 and can transmit and receive photographing control data and image data. As the communication cable 11, for example, a USB (Universal Serial Bus) or IEEE 1394 compliant cable is used. Instead of the communication cable 11, data communication may be performed using wireless communication means.

デジタルカメラ10の各部は、データバス12を介して互いに接続され、CPU13によってその動作が総括的に制御される。ROM14には、デジタルカメラ10を動作するためのプログラムが記録されており、デジタルカメラ10の起動時にRAM15にロードされる。撮像部16には、周知の撮影レンズやCCD等が備えられ、被写体の光学像を光電変換してデジタルの画像データを生成する。絞りやシャッタ速度などの撮影条件は、操作部17に設けられた各種の設定ボタンを操作することで設定される。画像検定用PC30において撮影条件を決定し、通信ケーブル11を介して設定情報をデジタルカメラ10に送ることで、撮影条件を設定しても良い。さらに、撮影制御用の別のPCをデジタルカメラ10に接続することもできる。   Each part of the digital camera 10 is connected to each other via the data bus 12 and its operation is controlled by the CPU 13 in a comprehensive manner. The ROM 14 stores a program for operating the digital camera 10 and is loaded into the RAM 15 when the digital camera 10 is activated. The imaging unit 16 includes a known photographic lens, a CCD, and the like, and generates digital image data by photoelectrically converting an optical image of a subject. Shooting conditions such as aperture and shutter speed are set by operating various setting buttons provided on the operation unit 17. The imaging conditions may be set by determining the imaging conditions in the image verification PC 30 and sending the setting information to the digital camera 10 via the communication cable 11. Furthermore, another PC for shooting control can be connected to the digital camera 10.

撮像部16から出力された画像データは、RAM15にバッファされる。この画像データは、ホワイトバランス処理等の画像補正がなされていない原画像データ(RAWデータ)であり、例えば各色毎に16ビットで表される階調値を持った4256×2848画素分の画素データから構成される。画像処理回路18は、原画像データに対して、階調値を8ビットに縮小するとともに、予め機種毎に設定された条件にてホワイトバランス(WB)処理や階調変換処理等を行い、画像補正済みの画像データを出力する。圧縮/伸張処理回路19は、画像補正済みの画像データをJPEGで定められたフォーマットに従い圧縮して、圧縮画像データを出力する。また、画像補正済みの画像データを間引き演算することで、例えば603 ×402 ピクセルのJPEG画像データ(縮小画像データ)を生成する。なお、本実施形態では、処理に要する時間を短縮するために縮小画像データとしてJPEG形式にて圧縮したものを用いたが、原画像データを一定割合で間引いたものを縮小画像データとして用いてもよい。   The image data output from the imaging unit 16 is buffered in the RAM 15. This image data is original image data (RAW data) that has not been subjected to image correction such as white balance processing. For example, pixel data for 4256 × 2848 pixels having a gradation value represented by 16 bits for each color. Consists of The image processing circuit 18 reduces the gradation value of the original image data to 8 bits, and performs white balance (WB) processing, gradation conversion processing, and the like under the conditions set for each model in advance. Output corrected image data. The compression / decompression processing circuit 19 compresses the image data after image correction in accordance with a format defined by JPEG, and outputs compressed image data. Also, JPEG image data (reduced image data) of, for example, 603 × 402 pixels is generated by thinning out the image data after image correction. In this embodiment, in order to shorten the time required for processing, the reduced image data compressed in the JPEG format is used. However, original image data thinned out at a constant rate may be used as reduced image data. Good.

原画像データは、縮小画像データとともに、入出力I/F22を介して画像検定用PC30に送られる。または、原画像データだけが画像検定用PC30に送られるようにしてもよい。また、LCD23には、撮影モード時には被写体像が連続的に表示され、再生モード時には、記録メディア21内の画像が再生表示される。なお、本実施形態では、入出力I/F22を介して原画像データを画像検定用PC30に直接送信しているが、原画像データを記録メディア21に記録しておき、この記録メディア21を画像検定用PC30にセットすることで、原画像データを送るようにしても良い。   The original image data is sent together with the reduced image data to the image verification PC 30 via the input / output I / F 22. Alternatively, only the original image data may be sent to the image verification PC 30. Further, the subject image is continuously displayed on the LCD 23 in the photographing mode, and the image in the recording medium 21 is reproduced and displayed in the reproduction mode. In this embodiment, the original image data is directly transmitted to the image verification PC 30 via the input / output I / F 22. However, the original image data is recorded on the recording medium 21, and the recording medium 21 is stored in the image. The original image data may be sent by setting in the test PC 30.

画像検定用PC30は、デジタルカメラ10から送られた原画像データに基づいて画像をモニタ31に再生表示するとともに、キーボード32やマウス33などの入力デバイスからの操作信号に応答して種々の画像補正を行う。画像検定用PC30の各部は、データバス34を介して互いに接続され、CPU36によってその動作が総括的に制御される。デジタルカメラ10から送られた原画像データは、対応する縮小画像データとともに、入出力I/F37、データバス34を介してハードディスク等の外部記憶装置38に記録される。キーボード32やマウス33などの入力デバイスは、後述の画像補正時や、デジタルカメラ10の撮影条件を設定する際に操作される。   The image verification PC 30 reproduces and displays an image on the monitor 31 based on the original image data sent from the digital camera 10, and performs various image corrections in response to operation signals from input devices such as the keyboard 32 and the mouse 33. I do. The units of the image verification PC 30 are connected to each other via a data bus 34, and the operation of the CPU 36 is generally controlled. Original image data sent from the digital camera 10 is recorded together with corresponding reduced image data in an external storage device 38 such as a hard disk via an input / output I / F 37 and a data bus 34. Input devices such as a keyboard 32 and a mouse 33 are operated during image correction, which will be described later, or when setting shooting conditions of the digital camera 10.

画像処理プログラムは、CD−ROMやDVD−ROM等の記録媒体やインターネット等を介して画像補正用PC30の外部記憶装置38にインストールされる。キーボード32やマウス33を操作して画像処理プログラムを実行すると、画像処理プログラムがRAM39に読み出されて実行される。   The image processing program is installed in the external storage device 38 of the image correction PC 30 via a recording medium such as a CD-ROM or DVD-ROM, the Internet, or the like. When the image processing program is executed by operating the keyboard 32 or the mouse 33, the image processing program is read into the RAM 39 and executed.

画像処理プログラムが実行されると、図2、または、図3に示す検定画面50がモニタ31に表示される。検定画面50には、検定対象画像51を表示する検定対象画像表示領域52,複数の縮小画像を並べて表示する縮小画像表示領域53,及びパラメータ調整領域54が設けられている。検定対象画像表示領域52の上側には、検定対象画像51のタイトル(ファイル名)が表示されたタイトルバー56が表示される。   When the image processing program is executed, the test screen 50 shown in FIG. 2 or 3 is displayed on the monitor 31. The test screen 50 includes a test target image display area 52 for displaying the test target image 51, a reduced image display area 53 for displaying a plurality of reduced images side by side, and a parameter adjustment area 54. On the upper side of the test object image display area 52, a title bar 56 displaying the title (file name) of the test object image 51 is displayed.

検定対象画像51は、対応するJPEG形式の縮小画像データに基づき、撮影シーンが判定され、判定された撮影シーンに応じた間引き率にて原画像データを間引くことで生成される簡易原画像データに基づくものである。以下、簡易原画像データの生成処理について、図4に示すフローチャートをもとに説明をする。   The test target image 51 is simplified original image data generated by determining a shooting scene based on the corresponding reduced image data in the JPEG format and thinning the original image data at a thinning rate according to the determined shooting scene. Is based. The simple original image data generation process will be described below with reference to the flowchart shown in FIG.

画像処理プログラムの実行に伴い、撮影シーン判定がなされ、検定対象画像51が人物、風景、建物、前記3つ以外のもの(その他)の4つのうちのいずれを撮影したものか場合分けされる(S1)。撮影シーン判定は、縮小画像データの空間周波数特性や画素ごとの色濃度階調値に基づいて、輪郭の形状や輪郭内部を構成する色成分などを判断することで行われる。そして、直線的な輪郭にて構成されている部分は建物を撮影したシーンであると判断し、輪郭が曲線にて構成されている部分に関しては輪郭内部を構成する色情報から、風景を撮影したシーンであるか建物を撮影したシーンであるかが判断される。また、輪郭が楕円形であり、輪郭内部を構成する色情報が肌色の場合には人物を撮影したシーンであると判断される。   Along with the execution of the image processing program, a shooting scene determination is made, and it is classified according to whether the test target image 51 is a photograph of a person, a landscape, a building, or any of the four images other than the above (others) ( S1). The photographic scene determination is performed by determining the shape of the contour, the color component constituting the inside of the contour, and the like based on the spatial frequency characteristics of the reduced image data and the color density gradation value for each pixel. Then, it is determined that the part constituted by the linear contour is a scene in which the building is photographed, and the landscape is photographed from the color information constituting the inside of the contour with respect to the part constituted by the curve. It is determined whether the scene is a scene or a scene in which a building is photographed. Further, when the outline is an ellipse and the color information constituting the inside of the outline is skin color, it is determined that the scene is a scene in which a person is photographed.

なお、本発明は、撮影シーンを判定する手法によって限定されるものではない。画像データに基づいて撮影シーンを判定する手法としては、上記手法以外にも様々な手法が知られており(例えば、特開2001−218015号公報)、このような公知の手法に基づいて撮影シーンを判定することができる。また、本実施形態では、撮影シーンを4つの場合に分ける例で説明をしたが、撮影シーンの場合分けパターンは無数に考えられ、自由に設定することができる。さらに、本実施形態では、処理の時間を短縮させるために、縮小画像データ基づいて撮影シーン判定を行う例で説明をしたが、撮影シーンの判定は原画像データ、または、原画像データを一定割合で間引いたデータを解析することによっても可能である。   Note that the present invention is not limited by the method for determining the shooting scene. Various methods other than the above method are known as a method for determining a shooting scene based on image data (for example, Japanese Patent Laid-Open No. 2001-218015), and a shooting scene based on such a known method is known. Can be determined. Further, in the present embodiment, the example in which the shooting scene is divided into four cases has been described, but there are innumerable cases dividing patterns of the shooting scene, and can be freely set. Furthermore, in the present embodiment, an example in which shooting scene determination is performed based on reduced image data in order to shorten the processing time has been described. However, shooting scene determination is performed by using the original image data or the original image data at a certain rate. It is also possible to analyze the data thinned out by.

撮影シーンの判定結果に応じて、原画像データのエリアごとの間引き率が決定される(S2)。図5に示すように、間引き率は、検定にあまり使用しないエリアの情報を大きく間引くことで処理時間を短縮する一方、検定に必要なエリアの情報はできるだけ残して適正な検定を行えるように決定される。   The thinning rate for each area of the original image data is determined in accordance with the result of shooting scene determination (S2). As shown in Fig. 5, the thinning rate is determined so as to reduce the processing time by largely thinning out information on areas that are not often used for verification, while leaving as much information on the area necessary for verification as possible. Is done.

人物を撮影したものである場合には、人物エリアの情報は検定に必要なので、低い間引き率にて間引かれ、これ以外のエリア、例えば背景エリアは人物エリアほど検定に重要ではないので、高い間引き率にて間引かれる。風景を撮影したものである場合は、全エリアが一定の間引き率にて間引かれる。建物を撮影した場合には、主要被写体を含むエリアが低い間引き率にて間引かれ、これ以外のエリアは高い間引き率にて間引かれる。前記3つ以外のもの(その他)を撮影したものである場合には、高周波エリアが低い間引き率にて間引かれ、低周波エリアが高い間引き率にて間引かれる。   In the case of a photograph of a person, the person area information is necessary for the test, so it is thinned out at a low decimation rate, and other areas, such as the background area, are not as important for the test as the person area. Thinned at the thinning rate. In the case of taking a picture of a landscape, the entire area is thinned out at a constant thinning rate. When a building is photographed, the area including the main subject is thinned out at a low thinning rate, and the other areas are thinned out at a high thinning rate. In the case of photographing other than the three (others), the high frequency area is thinned out at a low thinning rate, and the low frequency area is thinned out at a high thinning rate.

ここで、高周波エリアとは、画像データ(本実施形態においては、縮小画像データ)の空間周波数の高周波成分の積分値が所定値以上となるエリアを表し、このようなエリアは、例えば、細かな模様などを撮影した場合に得られやすい。同様に、低周波エリアとは、低周波成分の積分値が所定値以上となるエリアを表し、例えば、空などを撮影した場合に得られやすい。   Here, the high-frequency area represents an area where the integral value of the high-frequency component of the spatial frequency of the image data (in this embodiment, reduced image data) is equal to or greater than a predetermined value. It is easy to obtain when shooting a pattern. Similarly, the low frequency area represents an area where the integrated value of the low frequency component is equal to or greater than a predetermined value, and is easily obtained when, for example, the sky is photographed.

なお、エリアごとに間引き率を可変させる例で説明をしたが、全エリアを一定の間引き率によって間引くようにしてもよい。この場合、撮影シーン判定にて場合分けされた人物、風景などのシーンごとに、間引き率を可変させる。また、エリアの設定や、エリアごとの間引き率は、上記の例に限定されるものではないので、自由に設定することができる。例えば、人物を撮影したものである場合に、人物エリアのうち、特に、人物の顔エリアの間引き率を低く抑えるように設定を変更してもよい。   In addition, although the example in which the thinning rate is varied for each area has been described, all areas may be thinned with a constant thinning rate. In this case, the thinning rate is varied for each scene such as a person or a landscape that is classified in the shooting scene determination. Further, the setting of the area and the thinning rate for each area are not limited to the above example, and can be freely set. For example, in the case where a person is photographed, the setting may be changed so that the thinning rate of the person area, particularly the person's face area, is kept low.

さらに、画像処理プログラムによって自動で撮影シーン判定が行われる例で説明をしたが、検定者が手動で判定を行うようにしてもよい。この場合、予め用意された人物、風景など複数の撮影シーンの中から最も適切な撮影シーンをマウス33やキーボード32を介して入力するようにすればよい。また、画像処理プログラムによって自動で間引き率が決定される例で説明をしたが、マウス33やキーボード32を介して、間引き率や、間引くエリアなどを選択するようにしてもよい。   Furthermore, although the example in which the shooting scene determination is automatically performed by the image processing program has been described, the examiner may perform the determination manually. In this case, the most appropriate shooting scene among a plurality of shooting scenes such as a person and a landscape prepared in advance may be input via the mouse 33 or the keyboard 32. Further, although the example in which the thinning rate is automatically determined by the image processing program has been described, the thinning rate, the thinning area, or the like may be selected via the mouse 33 or the keyboard 32.

続いて、決定された間引き率にて原画像データを間引くことで簡易原画像データが生成される(S3)。簡易原画像データの生成にあたり、画像のエリアごとに間引き率が異なる場合(本実施形態においては、人物、建物、その他の場合)、間引き後に残された画素の数はエリアごとに異なるため、そのまま組み合わせて簡易画像データを生成すると、画像に歪みなどが発生し、原画像データとは印象の異なるものになってしまう。このような問題を防止するため、簡易原画像データを生成において、画像のエリアごとに間引き率が異なる場合には、最も低い間引き率にて間引かれたエリアの画素密度と等しくなるように、間引き率が高いエリアの画素間にできた隙間を、近隣の画素にて置換することによって、画像補間処理が行われる。なお、画像補間処理においては、置換に最適な画素を近隣の画素の色濃度階調値などから推定し、この推定した画素にて置換を行うようにしてもよい。   Subsequently, simplified original image data is generated by thinning the original image data at the determined thinning rate (S3). In the generation of the simple original image data, when the thinning rate is different for each area of the image (in this embodiment, in the case of a person, a building, or the like), the number of pixels left after the thinning is different for each area. When simple image data is generated in combination, the image is distorted and the impression is different from the original image data. In order to prevent such a problem, when generating the simple original image data, when the thinning rate is different for each area of the image, the pixel density of the area thinned out at the lowest thinning rate is equal. Image interpolation processing is performed by replacing a gap created between pixels in an area with a high thinning rate with neighboring pixels. In the image interpolation process, a pixel optimal for replacement may be estimated from a color density gradation value of a neighboring pixel and the replacement may be performed using the estimated pixel.

このようにして生成された簡易原画像データは、画像処理プログラムで予め定められた初期パラメータにて画像補正が施されるとともに、例えば16ビットの階調値を持ったTiff形式に変換された簡易表示用画像データとしてモニタ出力される。これにより、検定対象画像表示領域52に、検定対象画像51が表示される。以下、簡易原画像データに画像補正を行い、簡易表示用画像データとして出力する処理を「仮現像処理」と称する。また、原画像データに画像補正を行い、表示用画像データとして出力する処理を「本現像処理」と称する。   The simplified original image data generated in this way is subjected to image correction using initial parameters determined in advance by the image processing program, and is also converted to, for example, a simplified Tiff format having a 16-bit gradation value. Monitor output as display image data. As a result, the test target image 51 is displayed in the test target image display area 52. Hereinafter, the process of performing image correction on the simplified original image data and outputting it as simplified display image data is referred to as “temporary development process”. The process of performing image correction on the original image data and outputting it as display image data is referred to as “main development process”.

縮小画像表示領域53には、複数の縮小画像60〜63が並べて表示される。この縮小画像60〜63の各々は、対応するJPEG形式の縮小画像データに基づき再生表示される。図3に示す例では、4コマ分の縮小画像が表示されているが、同時に表示するコマ数は適宜増減することができる。また、検定対象画像51に対応する縮小画像62の周囲には、選択カーソル64がハイライト表示され、検定対象画像51と縮小画像62とが対応づけられる。縮小画像表示領域53の右側には、上下方向にスクロール移動可能なスクロールバー65が設けられる。縮小画像が5コマ以上ある場合には、スクロールバー65を上下にスライドすることにより、5コマ目以降の縮小画像を表示することができる。   In the reduced image display area 53, a plurality of reduced images 60 to 63 are displayed side by side. Each of the reduced images 60 to 63 is reproduced and displayed based on the corresponding reduced image data in the JPEG format. In the example shown in FIG. 3, four frames of reduced images are displayed, but the number of frames displayed simultaneously can be increased or decreased as appropriate. In addition, a selection cursor 64 is highlighted around the reduced image 62 corresponding to the test target image 51, and the test target image 51 and the reduced image 62 are associated with each other. On the right side of the reduced image display area 53, a scroll bar 65 that can be scrolled up and down is provided. When there are five or more reduced images, the fifth and subsequent reduced images can be displayed by sliding the scroll bar 65 up and down.

縮小画像表示領域53に表示される複数の縮小画像60〜63のうち、検定作業が完了していないもの(図2の例では右側2コマ分の縮小画像62,63)については、白黒表示されている。縮小画像として用いられるJPEG形式の画像データは、各色のビット数が8ビットと小さく、検定対象画像51と比較すると表示可能な色数が少ない。このため、縮小画像60〜63と検定対象画像51の表示色が異なり、縮小画像を観察したオペレータが検定対象画像51に対して誤った色認識を持つおそれがあるためである。なお、検定が完了した縮小画像(例えば左端から2番目の縮小画像61)や、検定対象外の縮小画像(例えば最も左側の縮小画像60)に関しては、フルカラーで表示される。   Among the plurality of reduced images 60 to 63 displayed in the reduced image display area 53, those for which the verification operation has not been completed (reduced images 62 and 63 for the right two frames in the example of FIG. 2) are displayed in black and white. ing. The image data in the JPEG format used as a reduced image has a small number of bits for each color as 8 bits, and the number of colors that can be displayed is smaller than that of the test target image 51. For this reason, the display colors of the reduced images 60 to 63 and the verification target image 51 are different, and the operator who observed the reduced image may have erroneous color recognition with respect to the verification target image 51. Note that a reduced image (for example, the second reduced image 61 from the left end) that has been tested and a reduced image that is not to be tested (for example, the leftmost reduced image 60) are displayed in full color.

パラメータ調整領域54には、現像処理時のパラメータ(現像パラメータ)を変更する「現像条件」と、画像調整時のパラメータ(調整パラメータ)を変更する「画像調整」の2タイプの変更画面が設けられ、上部に表示される切り替えタブ70を選択することで、各々の変更画面に切り替えられる。「現像条件変更」のタブが選択されると、図2に示す現像条件変更画面71が表示される。現像条件変更画面71には、例えば、トーンカーブを補正するトーンカーブ補正部72,ホワイトバランスを補正するホワイトバランス補正部73,露出補正ボックス74及び増感補正ボックス75が表示され、マウス33を操作してカーソル47を調整を行うべき箇所に移動させ、クリック操作やドラッグ操作を行うことで、各現像パラメータを変更することができる。現像パラメータが変更されると、変更後の現像パラメータに基づき仮現像処理が行われ、新たに生成された簡易表示用画像が検定対象画像51として更新表示される。   The parameter adjustment area 54 is provided with two types of change screens, “development conditions” for changing parameters during development processing (development parameters) and “image adjustment” for changing parameters during image adjustment (adjustment parameters). By selecting the switching tab 70 displayed at the top, each change screen can be switched. When the “Development condition change” tab is selected, a development condition change screen 71 shown in FIG. 2 is displayed. On the development condition change screen 71, for example, a tone curve correction unit 72 for correcting a tone curve, a white balance correction unit 73 for correcting white balance, an exposure correction box 74, and an sensitization correction box 75 are displayed, and the mouse 33 is operated. Then, the development parameter can be changed by moving the cursor 47 to a position to be adjusted and performing a click operation or a drag operation. When the development parameter is changed, provisional development processing is performed based on the changed development parameter, and the newly generated simple display image is updated and displayed as the test target image 51.

前述のように、「画像調整」のタブが選択されると、図3に示す画像調整画面80が表示される。画像調整画面80においては、カラーバランスやブライトネス、コントラストといった調整パラメータを変更することができる。各々の調整パラメータの値は、対応して表示される入力ボックス81に数値を直接入力する、あるいはインジケータ82を図中左右に移動することで、変更することが可能である。各々の調整パラメータが変更されると、検定対象画像51に対応する表示用画像データに対して画像補正が施され、補正後の画像が検定対象画像表示領域52に更新表示される。   As described above, when the “image adjustment” tab is selected, the image adjustment screen 80 shown in FIG. 3 is displayed. On the image adjustment screen 80, adjustment parameters such as color balance, brightness, and contrast can be changed. The value of each adjustment parameter can be changed by directly inputting a numerical value in the corresponding input box 81 or by moving the indicator 82 to the left or right in the drawing. When each adjustment parameter is changed, image correction is performed on the display image data corresponding to the test target image 51, and the corrected image is updated and displayed in the test target image display area 52.

なお、現像パラメータとしては、図2に示すトーンカーブやホワイトバランスのパラメータのみに限定されることはなく、例えばシャープネス補正のパラメータも含めても良い。また、調整パラメータとしては、図3に示したものの他に、例えばトリミング補正のパラメータも含めることができる。さらに、現像パラメータ及び調整パラメータの組み合わせは、本実施形態に列挙されたものに限定されることはなく、その組み合わせは適宜定めることができる。例えば、カラーバランス補正用のパラメータを、現像パラメータとして含めても良い。   The development parameters are not limited to the tone curve and white balance parameters shown in FIG. 2, but may include, for example, sharpness correction parameters. In addition to the parameters shown in FIG. 3, for example, trimming correction parameters can be included as adjustment parameters. Further, combinations of development parameters and adjustment parameters are not limited to those listed in the present embodiment, and the combinations can be determined as appropriate. For example, a color balance correction parameter may be included as a development parameter.

図6に示すフローチャートを用いて、画像検定作業の手順を説明する。画像検定用PC30あるいは外部接続されたPCを操作して、デジタルカメラ10の撮影条件を設定する(S11)。設定された撮影条件に基づき、デジタルカメラ10で撮影が行われ、原画像データが生成される(S12)。原画像データは、縮小画像データとともに、通信ケーブル11を介してデジタルカメラ10から画像検定用PC30に送られる(S13)。   The procedure of the image verification work will be described using the flowchart shown in FIG. The imaging conditions of the digital camera 10 are set by operating the image verification PC 30 or an externally connected PC (S11). Based on the set photographing condition, photographing is performed with the digital camera 10, and original image data is generated (S12). The original image data is sent together with the reduced image data from the digital camera 10 to the image verification PC 30 via the communication cable 11 (S13).

画像検定用PC30では、縮小画像データに基づき、読み込まれた画像を縮小画像表示領域53に一覧表示する。ここで、表示される縮小画像は、検定済みあるいは検定対象から予め除外されたものを除いて白黒表示されており、縮小画像を観察したオペレータが誤った色認識を有するのを防止する。   The image verification PC 30 displays a list of read images in the reduced image display area 53 based on the reduced image data. Here, the displayed reduced image is displayed in black and white except for those that have been verified or excluded in advance from the verification target, thereby preventing an operator who has observed the reduced image from having erroneous color recognition.

そして、オペレータにより選択された画像コマに対し、対応する原画像データを撮影シーンに応じた間引き率にて間引く、簡易原画像データ生成処理が行われ(図4参照)、簡易原画像データが生成される(S14)。初期現像パラメータにて仮現像処理を行う(S15)。仮現像処理で生成された簡易表示用画像は、検定対象画像51として検定対象画像表示領域52内に表示される(S16)。   Then, for the image frame selected by the operator, a simple original image data generation process is performed to thin out the corresponding original image data at a thinning rate according to the shooting scene (see FIG. 4), and the simple original image data is generated. (S14). Temporary development processing is performed with the initial development parameters (S15). The simple display image generated by the temporary development processing is displayed as the test target image 51 in the test target image display area 52 (S16).

オペレータは検定対象画像51を観察して、トーンカーブや色温度といった現像パラメータを変更する(S17)。現像パラメータが変更されると、簡易原画像データに対して変更後の現像パラメータにて仮現像処理が行われ、検定対象画像51が更新表示される。すなわち、現像パラメータが変更される毎に、図6のステップS15、S16が繰り返される。   The operator observes the test target image 51 and changes development parameters such as a tone curve and a color temperature (S17). When the development parameters are changed, temporary development processing is performed on the simplified original image data with the changed development parameters, and the verification target image 51 is updated and displayed. That is, every time the development parameter is changed, steps S15 and S16 in FIG. 6 are repeated.

この仮現像処理では、撮影シーンに応じてエリアごとの間引き率を可変させて、原画像データを間引いた簡易原画像データを用いている。そして、間引き率は、検定にあまり使用しないエリアの情報を高い間引き率にて間引き、検定に必要なエリアの情報はできるだけ残すように決定される。このため、扱うデータサイズを小さくして、仮現像処理に要する時間を短縮することができるだけでなく、検定に必要な情報は残され、適正な検定を行うことができる。また、縮小画像データに基づいて撮影シーンの判定を行うようにしたので、撮影シーンの判定に要する時間を短縮することができる。   In this temporary development process, simplified original image data obtained by thinning out original image data by changing the thinning rate for each area in accordance with the shooting scene is used. The thinning rate is determined so that information on areas that are not often used for verification is thinned out at a high thinning rate, and information on areas necessary for verification remains as much as possible. For this reason, not only can the data size to be handled be reduced to shorten the time required for the temporary development process, but also the information necessary for the test can be left and an appropriate test can be performed. Further, since the shooting scene is determined based on the reduced image data, the time required for determining the shooting scene can be reduced.

さらに、簡易原画像データは、JPEG形式で圧縮された画像データと異なり、ビット数は原画像データと同じであるため、表示色が異なることはない。従って、表示画像の画質を落とすことなく、現像処理に要する時間を効果的に短縮することができる。そして、オペレータの所望する仕上がりの画像が得られたときに、現像条件の補正が終了し、現像パラメータが決定される(S18)。   Furthermore, since the simplified original image data is different from the image data compressed in the JPEG format and has the same number of bits as the original image data, the display color is not different. Accordingly, the time required for the development process can be effectively shortened without degrading the image quality of the display image. When the finished image desired by the operator is obtained, the correction of the development conditions is completed and the development parameters are determined (S18).

現像パラメータの確定後、検定画面50には、確定された現像パラメータにて仮現像処理がなされ、初期の調整パラメータにてカラーバランスやコントラスト、トリミング等の処理がなされた簡易表示用画像が、検定対象画像51として表示される(S19)。オペレータはこの検定対象画像51を観察して、調整パラメータを変更する(S20)。調整パラメータが変更されると、簡易原画像データから得られる簡易表示用画像に対して色調整やトリミングなどの画像調整が行われ(仮調整)、検定対象画像51が更新表示される。   After the development parameters are determined, a temporary display image that has undergone provisional development processing with the determined development parameters and has undergone processing such as color balance, contrast, and trimming with the initial adjustment parameters is displayed on the verification screen 50. The target image 51 is displayed (S19). The operator observes the test target image 51 and changes the adjustment parameter (S20). When the adjustment parameter is changed, image adjustment such as color adjustment and trimming is performed on the simple display image obtained from the simple original image data (temporary adjustment), and the test target image 51 is updated and displayed.

この画像調整プロセスにおいても、簡易原画像データが用いられるので、検定にあまり使用しないエリアの情報を間引くことで処理時間を短縮する一方、検定に必要なエリアの情報は残されるので適正な検定を行うことができる。さらに、調整パラメータの変更時に現像処理を行わないため、更新表示に要する時間が短縮される。仮調整処理を繰り返し、オペレータの所望する仕上がりの画像が得られたときに、画像調整が終了し、調整パラメータが決定される(S21)。   In this image adjustment process, since simple original image data is used, processing time is shortened by thinning out information on areas that are not often used for verification. It can be carried out. Furthermore, since the development process is not performed when the adjustment parameter is changed, the time required for the update display is shortened. The temporary adjustment process is repeated, and when an image with a finish desired by the operator is obtained, the image adjustment is completed and the adjustment parameter is determined (S21).

調整パラメータを変更する作業と並行して、確定した現像パラメータに基づき、バックグラウンドで原画像データの現像処理が行われ(S22)、表示用画像データが生成される(S23)。画像調整の完了後に原画像データの現像処理を行う必要がなくなるため、検定作業に要する時間を短縮することができる。画像調整の完了後、決定された調整パラメータに基づき、表示用画像データに対して色調整やトリミングといった画像調整(本調整)が施される(S24)。本調整により得られた表示用画像データが、検定済み画像データとして出力される。   In parallel with the operation of changing the adjustment parameter, based on the determined development parameter, the original image data is developed in the background (S22), and display image data is generated (S23). Since it is not necessary to develop the original image data after the image adjustment is completed, the time required for the verification operation can be shortened. After the image adjustment is completed, image adjustment (main adjustment) such as color adjustment and trimming is performed on the display image data based on the determined adjustment parameter (S24). Display image data obtained by this adjustment is output as verified image data.

上記実施形態では、1コマ分の画像データに対して画像検定を行う例について説明しているが、複数コマの撮影に対しても同様に適用することができる。さらに、ほぼ同様の構図、撮影環境で複数コマの撮影を行う場合には、オペレータの所望する仕上がりにするために必要な現像パラメータや調整パラメータがほぼ一定となるため、仮現像又は仮調整の手順を省略することで、画像検定に要する時間を更に短縮することができる。   In the above-described embodiment, an example in which image verification is performed on image data for one frame has been described, but the present invention can be similarly applied to shooting of a plurality of frames. Furthermore, when shooting multiple frames in almost the same composition and shooting environment, the development parameters and adjustment parameters required for the finish desired by the operator are almost constant. By omitting, the time required for image verification can be further shortened.

例えば、図7のタイムチャートで示すように、1コマ目の画像に対して、図6のフローチャートを用いて説明したのと同様の手順により、仮現像、仮調整を繰り返して現像パラメータ及び調整パラメータを決定する。次に、2コマ目の画像を撮影し、対応する原画像データを画像検定用PC30に出力する。そして、1コマ目の画像検定時に決定された現像パラメータ及び調整パラメータを用いて、原画像データに対して現像処理、画像調整を行う。3コマ目以降の画像に関しても、同様にして現像処理・画像調整が行われる。これにより、画像検定を自動で行うことができ、検定作業を短時間で完了することができる。もちろん、原画像データに対して現像処理のみ行い、オペレータが画像調整を繰り返して調整パラメータを決定することもできる。   For example, as shown in the time chart of FIG. 7, the development parameter and the adjustment parameter are repeated by repeating the temporary development and the temporary adjustment for the first frame image by the same procedure as described with reference to the flowchart of FIG. To decide. Next, the second frame image is taken, and the corresponding original image data is output to the image verification PC 30. Then, development processing and image adjustment are performed on the original image data using the development parameters and adjustment parameters determined at the time of image verification for the first frame. Development processing and image adjustment are performed in the same manner for the third and subsequent frames. Thereby, the image verification can be performed automatically, and the verification operation can be completed in a short time. Of course, only the development processing is performed on the original image data, and the operator can determine the adjustment parameter by repeating the image adjustment.

また、図8のタイムチャートで示すように、撮影を複数回繰り返して、複数コマ(図8の例では5コマ分)の原画像データを出力する。そして、1コマ目の画像に対して同様に仮現像、仮調整を繰り返して、現像パラメータ及び調整パラメータを決定する。図8の例では簡略化のために図示は省略しているが、原画像データを撮影シーンの応じて決定される間引き率で間引いた簡易原画像データを用いて仮現像、仮調整が行われる。1コマ目の仮調整が完了すると、オペレータの操作により、現像、画像調整を行うべき他の画像コマが選択される。この選択作業の間に、1コマ目の原画像データに対して、調整パラメータに基づき画像調整が施される。   Further, as shown in the time chart of FIG. 8, the image capturing is repeated a plurality of times to output original image data of a plurality of frames (for 5 frames in the example of FIG. 8). Similarly, temporary development and temporary adjustment are repeated for the first frame image to determine development parameters and adjustment parameters. Although illustration is omitted in the example of FIG. 8 for simplification, provisional development and provisional adjustment are performed using simple original image data obtained by thinning the original image data at a thinning rate determined according to the shooting scene. . When the temporary adjustment for the first frame is completed, another image frame to be subjected to development and image adjustment is selected by the operation of the operator. During this selection operation, image adjustment is performed on the original image data of the first frame based on the adjustment parameter.

そして、オペレータにより、1コマ目の画像と同じ条件で画像処理を行うべき画像コマの選択が行われる。例えば、2コマ目と3コマ目の画像がグループ化されると、1コマ目の画像検定時に決定された現像パラメータ及び調整パラメータを用いて、2コマ目及び3コマ目の原画像データに対して現像処理、画像調整が行われる。原画像データに対して現像処理のみ行い、オペレータが画像調整を繰り返して調整パラメータを決定することもできる。   Then, the operator selects an image frame to be subjected to image processing under the same conditions as the first frame image. For example, when the images of the second frame and the third frame are grouped, the original image data of the second frame and the third frame are used by using the development parameters and adjustment parameters determined at the time of the first frame image verification. Development processing and image adjustment are performed. Only the development process is performed on the original image data, and the operator can repeat the image adjustment to determine the adjustment parameter.

2コマ目以降の現像・画像調整処理が行われる間に、次の被写体を撮影することができる。そして、例えば6コマ目から12コマ目の画像を撮影し、原画像データを画像検定用PC30に出力する。画像検定用PC30では、6コマ目の原画像データに対して間引き処理を行い、簡易原画像データを生成する。1コマ目の場合と同様に、オペレータは6コマ目の画像に対して検定作業を行う。検定作業が完了すると、オペレータにより、6コマ目の画像と同じ条件で画像処理を行うべき画像コマの選択が行われる。例えば、7〜10コマ目の画像がグループ化されると、4コマ目の画像検定時に決定された現像パラメータ及び調整パラメータを用いて、7〜10コマ目の原画像データに対して現像処理、画像調整が行われる。もちろん、原画像データに対して現像処理のみ行い、オペレータが画像調整を繰り返して調整パラメータを決定することもできる。   The next subject can be photographed during the development and image adjustment processing for the second frame and thereafter. Then, for example, images of the sixth frame to the twelfth frame are taken, and the original image data is output to the image verification PC 30. The image verification PC 30 performs thinning processing on the original image data of the sixth frame, and generates simplified original image data. As in the case of the first frame, the operator performs an examination operation on the image of the sixth frame. When the verification work is completed, the operator selects an image frame to be subjected to image processing under the same conditions as the sixth frame image. For example, when the images of the 7th to 10th frames are grouped, using the development parameters and adjustment parameters determined at the time of the image verification for the 4th frame, development processing is performed on the original image data of the 7th to 10th frames. Image adjustment is performed. Of course, only the development processing is performed on the original image data, and the operator can determine the adjustment parameter by repeating the image adjustment.

なお、図7のタイムチャートで示すシーケンスで画像処理を行うモードと、図8のタイムチャートで示すシーケンスで画像処理を行うモードとを設け、撮影環境に応じて切り替え可能としても良い。例えば、スタジオ撮影のように、撮影環境が常に一定である場合は、図7に示すシーケンスで画像処理を行うことで、撮影を行うたびに自動で画像処理を行うことができる。また、撮影環境が変動しやすい場合には、図8に示すシーケンスに切り替えて画像処理を行う。必要な画像コマに対してのみ一括で画像処理を行い、不要な画像コマに対しては画像処理を省略するので、画像処理を効果的に行うことができる。   Note that a mode in which image processing is performed in the sequence shown in the time chart of FIG. 7 and a mode in which image processing is performed in the sequence shown in the time chart of FIG. 8 may be provided so as to be switchable according to the shooting environment. For example, when the shooting environment is always constant as in studio shooting, image processing can be automatically performed every time shooting is performed by performing image processing in the sequence shown in FIG. If the shooting environment is likely to fluctuate, image processing is performed by switching to the sequence shown in FIG. Image processing can be performed effectively because batch image processing is performed only on necessary image frames and image processing is omitted on unnecessary image frames.

上記実施形態では、画像検定用PC30側で簡易原画像データを生成しているが、デジタルカメラ10側で原画像データを間引いて簡易原画像データを生成し、これを原画像データとともに画像検定用PC30に出力しても良い。また、画像検定用PC30として市販タイプのパーソナルコンピュータを用いる例で説明をしたが、画像検定専用の装置にて画像検定を行うようにしてもよい。この場合、画像検定用の装置に、撮影シーンに応じて決定される間引き率にて原画像データを間引くことで簡易原画像データを生成する簡易原画像データ生成部や、仮現像処理や本現像処理を行う現像部や、簡易原画像データに対して補正パラメータの調整を可能とし、決定された補正パラメータに基づき原画像データに画像補正を施す画像補正部などを設ければよい。   In the above embodiment, the simple original image data is generated on the image verification PC 30 side, but the original image data is generated on the digital camera 10 side to generate simple original image data, which is used for image verification together with the original image data. You may output to PC30. In addition, although an example in which a commercially available personal computer is used as the image verification PC 30 has been described, the image verification may be performed using an apparatus dedicated to image verification. In this case, a simple original image data generation unit that generates simple original image data by thinning the original image data at a thinning rate determined according to the shooting scene, a temporary development process, and a main development. A developing unit that performs processing, an image correction unit that enables adjustment of correction parameters for simple original image data, and performs image correction on the original image data based on the determined correction parameters may be provided.

デジタルカメラと画像検定用PCの構成を概略的に示すブロック図である。It is a block diagram which shows roughly the structure of a digital camera and image verification PC. 画像検定画面を示す説明図である。It is explanatory drawing which shows an image test | inspection screen. 画像検定画面の別の例を示す説明図である。It is explanatory drawing which shows another example of an image test | inspection screen. 簡易原画像データ生成処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a simple original image data generation process. 撮影シーンと間引き率との関係を示す説明図である。It is explanatory drawing which shows the relationship between a photography scene and a thinning-out rate. 簡易原画像データを用いた画像検定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the image verification process using simple original image data. 複数の画像コマの検定処理手順を示すタイミングチャートである。It is a timing chart which shows the test processing procedure of a plurality of image frames. 検定処理手順の別の例を示すタイミングチャートである。It is a timing chart which shows another example of an examination processing procedure.

符号の説明Explanation of symbols

10 デジタルカメラ
30 画像検定用PC
50 検定画面
51 検定対象画像
54 パラメータ調整領域
60〜63 縮小画像
71 現像条件調整画面
80 画像調整画面
10 Digital camera 30 Image verification PC
50 Examination screen 51 Examination object image 54 Parameter adjustment area 60 to 63 Reduced image 71 Development condition adjustment screen 80 Image adjustment screen

Claims (13)

撮影により得られた画像の原画像データに画像補正を施し、表示用画像データに変換して出力する画像処理方法において、
前記画像の少なくとも一部の領域において、前記原画像データを間引く間引き率を撮影シーンに基づいて決定し、前記原画像データを前記間引き率で間引くことで簡易原画像データを生成し、前記簡易原画像データに対し第1補正パラメータにて画像補正を行うとともに、補正後の前記簡易原画像データに基づき生成された簡易表示用画像を再生表示して前記第1補正パラメータの調整を可能とし、決定された前記第1補正パラメータに基づき前記原画像データに画像補正を施すことを特徴とする画像処理方法。
In an image processing method for performing image correction on original image data of an image obtained by shooting, converting to display image data, and outputting it,
In at least a partial area of the image, a thinning rate for thinning out the original image data is determined based on a shooting scene, simple original image data is generated by thinning out the original image data at the thinning rate, and the simple original data is generated. Image correction is performed on the image data using the first correction parameter, and a simple display image generated based on the corrected simple original image data is reproduced and displayed to enable adjustment of the first correction parameter. An image processing method, wherein image correction is performed on the original image data based on the first correction parameter.
前記間引き率は、前記画像の複数エリア毎に定められることを特徴とする請求項1記載の画像処理方法。   The image processing method according to claim 1, wherein the thinning rate is determined for each of a plurality of areas of the image. 前記画像内に間引き率の高い第1エリアと間引き率の低い第2エリアとがある場合には、間引き後の第1エリア内の画素データで補間又は置換することで画素密度を第1エリア内と第2エリア内とで等しくすることを特徴とする請求項2記載の画像処理方法。   When there is a first area with a high thinning rate and a second area with a low thinning rate in the image, the pixel density is set in the first area by interpolation or replacement with pixel data in the first area after thinning. The image processing method according to claim 2, wherein the first and second areas are equal. 前記原画像データに対応する縮小版画像に基づいて間引き率が決定されることを特徴とする請求項1〜3いずれか1つに記載の画像処理方法。   The image processing method according to claim 1, wherein a thinning rate is determined based on a reduced version image corresponding to the original image data. 画像補正が完了していない画像に対応する前記縮小画像を白黒表示することを特徴とする、請求項4記載の画像処理方法。   5. The image processing method according to claim 4, wherein the reduced image corresponding to an image for which image correction has not been completed is displayed in black and white. 前記第1補正パラメータが変更される毎に、前記簡易原画像データに対して変更後の前記第1補正パラメータにて画像補正を行い、補正後の前記簡易原画像データに基づき生成された簡易表示用画像を再生表示することを特徴とする、請求項1〜5いずれか1つに記載の画像処理方法。   Each time the first correction parameter is changed, the simplified original image data is subjected to image correction with the changed first correction parameter, and the simplified display generated based on the corrected simplified original image data. The image processing method according to claim 1, wherein an image for reproduction is reproduced and displayed. 前記第1補正パラメータの決定後、前記簡易表示用画像に対して第2補正パラメータにて画像調整を行うとともに、決定された前記第2補正パラメータにて前記表示用画像データに画像調整を行うことを特徴とする、請求項1〜6いずれか1つに記載の画像処理方法。   After the determination of the first correction parameter, image adjustment is performed on the simple display image with the second correction parameter, and image adjustment is performed on the display image data with the determined second correction parameter. The image processing method according to claim 1, wherein: 1コマ目の画像に対して前記簡易原画像データを生成して第1補正パラメータの調整を行い、決定された前記第1補正パラメータにて、2コマ目以降の画像に対応する原画像データに対して画像補正を行うことを特徴とする、請求項1〜7いずれか1つに記載の画像処理方法。   The simplified original image data is generated for the image of the first frame, the first correction parameter is adjusted, and the original image data corresponding to the images of the second and subsequent frames is determined using the determined first correction parameter. The image processing method according to claim 1, wherein image correction is performed on the image processing method. 複数回の撮影で得られた複数の画像のうち、1の画像に対して前記簡易原画像データを生成して第1補正パラメータの調整を行い、決定された前記第1補正パラメータにて、選択された他の画像に対応する原画像データに対して画像補正を行うことを特徴とする、請求項1〜7いずれか1つに記載の画像処理方法。   The simplified original image data is generated for one image among a plurality of images obtained by a plurality of shootings, the first correction parameter is adjusted, and the selected first correction parameter is selected. The image processing method according to claim 1, wherein image correction is performed on original image data corresponding to the other image that has been performed. 1コマ目の画像に対して前記簡易原画像データを生成して第1補正パラメータの調整を行い、決定された前記第1補正パラメータにて、2コマ目以降の画像に対応する原画像データに対して画像補正を行う第1の処理モードと、
複数回の撮影で得られた複数の画像のうち、1の画像に対して前記簡易原画像データを生成して第1補正パラメータの調整を行い、決定された前記第1補正パラメータにて、選択された他の画像に対応する原画像データに対して画像補正を行う第2の処理モードとを備え、前記第1及び第2の処理モードを選択可能としたことを特徴とする、請求項1〜7いずれか1つに記載の画像処理方法。
The simplified original image data is generated for the first frame image, the first correction parameter is adjusted, and the determined first correction parameter is converted into the original image data corresponding to the second and subsequent frames. A first processing mode for performing image correction on the image;
The simplified original image data is generated for one image among a plurality of images obtained by a plurality of shootings, the first correction parameter is adjusted, and the selected first correction parameter is selected. And a second processing mode for performing image correction on the original image data corresponding to the other image that has been selected, wherein the first and second processing modes can be selected. Image processing method as described in any one of -7.
被写体を撮影して原画像データを生成する撮影装置と、前記原画像データに画像補正を施し、表示用画像データに変換して出力する画像変換装置とから構成される画像処理システムであって、
前記撮影装置と前記画像変換装置のいずれか一方において、前記原画像データを撮影シーンに応じて可変される間引き率にて間引くことで簡易原画像データを生成し、
前記画像変換装置は、前記簡易原画像データに対し第1補正パラメータにて画像補正を行うとともに、補正後の前記簡易原画像データに基づき生成された簡易表示用画像を再生表示して前記第1補正パラメータの調整を可能とし、決定された前記第1補正パラメータに基づき前記原画像データに画像補正を施すことを特徴とする画像処理システム。
An image processing system comprising: a photographing device that shoots a subject to generate original image data; and an image conversion device that performs image correction on the original image data, converts the original image data into display image data, and outputs the image data.
In either one of the photographing device and the image conversion device, the original image data is generated by thinning out the original image data at a thinning rate that is variable according to a photographing scene,
The image conversion apparatus performs image correction on the simple original image data with a first correction parameter, reproduces and displays a simple display image generated based on the corrected simple original image data, and performs the first display. An image processing system which enables adjustment of a correction parameter and performs image correction on the original image data based on the determined first correction parameter.
撮影により得られた原画像データを撮影シーンに応じて可変される間引き率にて間引くことで簡易原画像データを生成する手段と、前記簡易原画像データに対し第1補正パラメータにて画像補正を行う手段と、補正後の前記簡易原画像データに基づき生成された簡易表示用画像を再生表示して前記第1補正パラメータの調整を可能とする手段と、決定された前記第1補正パラメータに基づき前記原画像データに画像補正を施す手段と、を備えたことを特徴とする画像処理装置。   Means for generating simple original image data by thinning out original image data obtained by photographing at a thinning rate that is variable according to a photographing scene; and image correction is performed on the simple original image data with a first correction parameter. Means for performing and displaying the simplified display image generated based on the simplified original image data after correction to enable adjustment of the first correction parameter, and based on the determined first correction parameter Means for performing image correction on the original image data. 撮影により得られた原画像データを撮影シーンに応じて可変される間引き率にて間引くことで簡易原画像データを生成する手段と、前記簡易原画像データに対し第1補正パラメータにて画像補正を行う手段と、補正後の前記簡易原画像データに基づき生成された簡易表示用画像を再生表示して前記第1補正パラメータの調整を可能とする手段と、決定された前記第1補正パラメータに基づき前記原画像データに画像補正を施す手段として、コンピュータ装置を機能させることを特徴とする画像処理プログラム。   Means for generating simple original image data by thinning out original image data obtained by photographing at a thinning rate that is variable according to a photographing scene; and image correction is performed on the simple original image data with a first correction parameter. Means for performing and displaying the simplified display image generated based on the simplified original image data after correction to enable adjustment of the first correction parameter, and based on the determined first correction parameter An image processing program for causing a computer device to function as means for performing image correction on the original image data.
JP2004083385A 2004-03-22 2004-03-22 Image processing apparatus, image processing system, image processing method, and image processing program Expired - Fee Related JP4338563B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004083385A JP4338563B2 (en) 2004-03-22 2004-03-22 Image processing apparatus, image processing system, image processing method, and image processing program
US11/083,985 US7551205B2 (en) 2004-03-22 2005-03-21 Image processing method, image processing system, image processing apparatus and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004083385A JP4338563B2 (en) 2004-03-22 2004-03-22 Image processing apparatus, image processing system, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2005275454A true JP2005275454A (en) 2005-10-06
JP4338563B2 JP4338563B2 (en) 2009-10-07

Family

ID=35175110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004083385A Expired - Fee Related JP4338563B2 (en) 2004-03-22 2004-03-22 Image processing apparatus, image processing system, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP4338563B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008075745A1 (en) * 2006-12-21 2008-06-26 Panasonic Corporation Development server, development client, development system, and development method
JP2009038574A (en) * 2007-08-01 2009-02-19 Seiko Epson Corp Image processing apparatus and method, and program of the same
US8125533B2 (en) 2007-05-08 2012-02-28 Seiko Epson Corporation Undeveloped image data developing apparatus, method for developing undeveloped image data, and computer program for developing undeveloped image data
JP2012095275A (en) * 2010-09-30 2012-05-17 Fujifilm Corp Three-dimensional image editing device and three-dimensional image editing method
US8369654B2 (en) 2007-05-08 2013-02-05 Seiko Epson Corporation Developing apparatus, developing method and computer program for developing processing for an undeveloped image
CN115049544A (en) * 2021-03-09 2022-09-13 上海擎感智能科技有限公司 Picture processing method and device and computer readable storage medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008075745A1 (en) * 2006-12-21 2008-06-26 Panasonic Corporation Development server, development client, development system, and development method
JPWO2008075745A1 (en) * 2006-12-21 2010-04-15 パナソニック株式会社 Development server, development client, development system, and development method
JP4854748B2 (en) * 2006-12-21 2012-01-18 パナソニック株式会社 Development server and development method
US8238689B2 (en) 2006-12-21 2012-08-07 Panasonic Corporation Development server, development client, development system, and development method
US8125533B2 (en) 2007-05-08 2012-02-28 Seiko Epson Corporation Undeveloped image data developing apparatus, method for developing undeveloped image data, and computer program for developing undeveloped image data
US8369654B2 (en) 2007-05-08 2013-02-05 Seiko Epson Corporation Developing apparatus, developing method and computer program for developing processing for an undeveloped image
JP2009038574A (en) * 2007-08-01 2009-02-19 Seiko Epson Corp Image processing apparatus and method, and program of the same
JP2012095275A (en) * 2010-09-30 2012-05-17 Fujifilm Corp Three-dimensional image editing device and three-dimensional image editing method
CN115049544A (en) * 2021-03-09 2022-09-13 上海擎感智能科技有限公司 Picture processing method and device and computer readable storage medium

Also Published As

Publication number Publication date
JP4338563B2 (en) 2009-10-07

Similar Documents

Publication Publication Date Title
JP4338551B2 (en) Image reproduction method, image reproduction apparatus, and image reproduction program
US7551205B2 (en) Image processing method, image processing system, image processing apparatus and image processing program
US9998702B2 (en) Image processing device, development apparatus, image processing method, development method, image processing program, development program and raw moving image format
US20050219580A1 (en) Image processing method, image processing system, image processing apparatus and image processing program
JP2005275977A (en) Image display method, image display device, and image display program
JP2005286653A (en) Image display method, image display and image display program
JP2004128809A (en) Method and apparatus for image processing, and imaging device
JP2005227897A (en) Method, device, and program for image display
JP4433883B2 (en) White balance correction device, white balance correction method, program, and electronic camera device
JPWO2008150017A1 (en) Signal processing method and signal processing apparatus
JP4328956B2 (en) Method and apparatus for controlling digital camera
JP2015195582A (en) Image processing device, control method thereof, imaging apparatus, control method thereof, and recording medium
JP4338563B2 (en) Image processing apparatus, image processing system, image processing method, and image processing program
JP6049425B2 (en) Imaging apparatus, image processing apparatus, and control method
JP4347105B2 (en) Image processing method and apparatus, database and program
JP2011091753A (en) Imaging apparatus, image processing apparatus, and program
JP4244218B2 (en) Imaging signal processing circuit and camera system
JP2010021908A (en) Image processing apparatus, image processing method and image processing program
JP2007006158A (en) Image processor
JP2013162246A (en) Image processing apparatus and control method thereof
JP2005286423A (en) Image processing method and image processing program
KR20080015720A (en) Setting of color processing parameters for digital imaging apparatus
JP2009303122A (en) Imaging apparatus and imaging control method
JP2006081221A (en) Imaging apparatus
JP2021078051A (en) Image processing device and image control method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090630

R150 Certificate of patent or registration of utility model

Ref document number: 4338563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees