JP2011091753A - Imaging apparatus, image processing apparatus, and program - Google Patents

Imaging apparatus, image processing apparatus, and program Download PDF

Info

Publication number
JP2011091753A
JP2011091753A JP2009245599A JP2009245599A JP2011091753A JP 2011091753 A JP2011091753 A JP 2011091753A JP 2009245599 A JP2009245599 A JP 2009245599A JP 2009245599 A JP2009245599 A JP 2009245599A JP 2011091753 A JP2011091753 A JP 2011091753A
Authority
JP
Japan
Prior art keywords
color
image
color reproduction
mode
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009245599A
Other languages
Japanese (ja)
Other versions
JP5552795B2 (en
Inventor
Hiroshi Sano
央 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009245599A priority Critical patent/JP5552795B2/en
Publication of JP2011091753A publication Critical patent/JP2011091753A/en
Application granted granted Critical
Publication of JP5552795B2 publication Critical patent/JP5552795B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a configuration for obtaining an image subjected to other different color reproduction operations from a color-adjusted image obtained through a color adjusting operation not via a RAW image. <P>SOLUTION: An imaging apparatus includes an imager for capturing an image of a subject, an image processor, a memory for storing color conversion information therein, and an image file generator. The image processor subjects an image captured by the imager to color reproduction operation to generate a color-reproduced image. The color conversion information in the memory indicates a conversion format between apparatus-independent first color information on reference color and apparatus-independent second color information for use in the color reproduction operation of the image processor. The image file generator generates an image file while making the color-reproduced image correspond to the color conversion information. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、撮像装置、画像処理装置およびプログラムに関する。   The present invention relates to an imaging apparatus, an image processing apparatus, and a program.

近年の電子カメラは、風景モードやポートレートモードといった撮影シーンモードを有しており、特定のシーンの撮影に最適なモードをユーザが任意に設定できる。モード選択に応じて、各モードに好適な撮影条件の設定や、画質の調整が自動的に実行される。また、画質調整においては、各モードに依存して撮像画像の色相や彩度が調整される。このような技術は、例えば、特許文献1及び特許文献2に開示されている。   Recent electronic cameras have shooting scene modes such as a landscape mode and a portrait mode, and a user can arbitrarily set a mode optimal for shooting a specific scene. In accordance with the mode selection, setting of shooting conditions suitable for each mode and image quality adjustment are automatically executed. In the image quality adjustment, the hue and saturation of the captured image are adjusted depending on each mode. Such a technique is disclosed in Patent Document 1 and Patent Document 2, for example.

特開2003−283982号公報JP 2003-283882 A 特開2002−344989号公報JP 2002-344989 A

ところで、RAW画像から各種モードに応じた色調整画像を得ることは可能であるが、所定の色調整処理で得られた色調整画像から、他の異なる色調整処理が施された画像を得ることは困難であるのが現状である。   By the way, although it is possible to obtain a color adjustment image corresponding to various modes from a RAW image, an image subjected to another different color adjustment process is obtained from a color adjustment image obtained by a predetermined color adjustment process. Is currently difficult.

そこで、本発明の目的は、色調整処理で得られた色調整画像から、RAW画像を経ることなく他の異なる色再現処理が施された画像を得るための手段を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide means for obtaining an image subjected to another color reproduction process without passing through a RAW image from a color adjustment image obtained by the color adjustment process.

一の態様の撮像装置は、被写体の像を撮像する撮像部と、画像処理部と、色変換情報を記憶する記憶部と、画像ファイル生成部とを備える。画像処理部は、撮像部で撮像された画像に色再現処理を施して、色再現画像を生成する。記憶部の色変換情報は、基準色に対するデバイスインディペンデントな第1の色情報と、画像処理部における色再現処理で適用されるデバイスインディペンデントな第2の色情報との変換様式を示す。画像ファイル生成部は、色再現画像と色変換情報とを対応付けて画像ファイルを生成する。   An imaging apparatus according to one aspect includes an imaging unit that captures an image of a subject, an image processing unit, a storage unit that stores color conversion information, and an image file generation unit. The image processing unit performs color reproduction processing on the image captured by the imaging unit to generate a color reproduction image. The color conversion information in the storage unit indicates a conversion mode between the device-independent first color information with respect to the reference color and the device-independent second color information applied in the color reproduction process in the image processing unit. . The image file generation unit generates an image file by associating the color reproduction image with the color conversion information.

上記の一の態様の撮像装置は、各々が異なる色調整に対応する複数のモードから、画像処理部が実行するモードを撮影状況に応じて選択するモード選択部をさらに備えていてもよい。また、記憶部は、複数のモードにそれぞれ対応する複数の色変換情報を記憶していてもよい。そして、画像ファイル生成部は、モード選択部で選択されたモードに対応する色変換情報を、色再現画像に対応付けて画像ファイルを生成してもよい。なお、画像ファイル生成部は、モード選択部で選択されていない他のモードに対応する色変換情報を、色再現画像にさらに対応付けて記録してもよい。   The imaging apparatus according to the one aspect may further include a mode selection unit that selects a mode to be executed by the image processing unit from a plurality of modes corresponding to different color adjustments according to a shooting situation. The storage unit may store a plurality of pieces of color conversion information corresponding to a plurality of modes, respectively. The image file generation unit may generate an image file by associating the color conversion information corresponding to the mode selected by the mode selection unit with the color reproduction image. Note that the image file generation unit may further record color conversion information corresponding to another mode not selected by the mode selection unit in association with the color reproduction image.

上記の一の態様において、色変換情報は、色変換マトリクスまたは色変換テーブルであってもよい。また、色変換情報は、表示装置での画像の表示特性を反映した階調変換特性の情報をさらに含んでいてもよい。   In the one aspect described above, the color conversion information may be a color conversion matrix or a color conversion table. Further, the color conversion information may further include information on gradation conversion characteristics reflecting the display characteristics of the image on the display device.

また、他の態様の画像処理装置は、一の態様の撮像装置で生成された色再現画像および色変換情報を取得する取得部と、上記の色変換情報を用いて、色再現画像を基準色に対するデバイスインディペンデントな色に変換する画像生成部と、を備える。   An image processing apparatus according to another aspect uses an acquisition unit that acquires a color reproduction image and color conversion information generated by the imaging apparatus according to one aspect, and the color reproduction image as a reference color using the color conversion information. An image generation unit that converts the color into a device-independent color.

なお、コンピュータを上記した他の態様の画像処理装置として動作させるプログラムや、このプログラムを記憶した記憶媒体や、一の態様の撮像装置および他の態様の画像処理装置を組み合わせたカラーマネジメントシステムまたはカラーマネジメント方法なども、本発明の具体的態様として有効である。   A color management system or color that combines a program that causes a computer to operate as an image processing apparatus according to another aspect described above, a storage medium that stores the program, an imaging apparatus according to one aspect, and an image processing apparatus according to another aspect. A management method or the like is also effective as a specific aspect of the present invention.

本発明によれば、特定の色調整処理が施された色再現画像から、RAW画像を経ることなく他の異なる色調整処理が施された色再現画像を得ることが可能となる。   According to the present invention, it is possible to obtain a color reproduction image subjected to another different color adjustment process without passing through a RAW image from a color reproduction image subjected to a specific color adjustment process.

一の実施形態でのカラーマネジメントシステムの構成例を示すブロック図The block diagram which shows the structural example of the color management system in one Embodiment 変換情報の生成手順の例を示す流れ図Flow chart showing an example of conversion information generation procedure 一の実施形態での電子カメラの動作例を示す流れ図6 is a flowchart showing an operation example of the electronic camera in one embodiment. 一の実施形態でのコンピュータの動作例を示す流れ図6 is a flowchart illustrating an example of the operation of a computer according to an embodiment.

<一の実施形態の説明>
図1は、一の実施形態でのカラーマネジメントシステムの構成例を示すブロック図である。一の実施形態のカラーマネジメントシステムは、撮像装置としての電子カメラ1と、画像処理装置としてのコンピュータ2とを有している。
<Description of One Embodiment>
FIG. 1 is a block diagram illustrating a configuration example of a color management system according to an embodiment. The color management system of one embodiment has an electronic camera 1 as an imaging device and a computer 2 as an image processing device.

まず、一の実施形態での電子カメラ1の構成例を説明する。電子カメラ1は、撮像光学系11と、撮像素子12と、DFE13と、画像処理エンジン14と、第1メモリ15および第2メモリ16と、メディアI/F17と、通信I/F18と、モニタ19と、ユーザの操作を受け付ける操作部20とを有している。ここで、DFE13、第1メモリ15および第2メモリ16、メディアI/F17、通信I/F18、モニタ19、操作部20は、それぞれ画像処理エンジン14に接続されている。   First, a configuration example of the electronic camera 1 in one embodiment will be described. The electronic camera 1 includes an imaging optical system 11, an imaging device 12, a DFE 13, an image processing engine 14, a first memory 15 and a second memory 16, a media I / F 17, a communication I / F 18, and a monitor 19. And an operation unit 20 that receives user operations. Here, the DFE 13, the first memory 15 and the second memory 16, the media I / F 17, the communication I / F 18, the monitor 19, and the operation unit 20 are each connected to the image processing engine 14.

撮像素子12は、撮像光学系11を通過した光束による被写体の結像を撮像するデバイスである。この撮像素子12の出力はDFE13に接続されている。なお、一の実施形態の撮像素子12は、順次走査方式の固体撮像素子(CCDなど)であってもよく、XYアドレス方式の固体撮像素子(CMOSなど)であってもよい。   The image pickup device 12 is a device that picks up an image of an object formed by a light beam that has passed through the image pickup optical system 11. The output of the image sensor 12 is connected to the DFE 13. The image sensor 12 of one embodiment may be a progressive scanning solid-state image sensor (CCD or the like) or an XY address type solid-state image sensor (CMOS or the like).

撮像素子12の受光面には、複数の受光素子がマトリックス状に配列されている。また、撮像素子12の各受光素子にはカラーフィルタが配置されており、特に限定されないが、本実施形態においては赤色(R)、緑色(G)、青色(B)のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子12の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子12は、撮像時にカラーの画像を取得できる。   A plurality of light receiving elements are arranged in a matrix on the light receiving surface of the imaging element 12. Further, a color filter is disposed in each light receiving element of the image pickup element 12 and is not particularly limited, but in this embodiment, red (R), green (G), and blue (B) color filters are known Bayer. Arranged according to the sequence. Therefore, each light receiving element of the imaging element 12 outputs an image signal corresponding to each color by color separation in the color filter. Thereby, the image sensor 12 can acquire a color image at the time of imaging.

DFE13は、撮像素子12から入力される画像信号のA/D変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このDFE13は、RAW画像のデータを画像処理エンジン14に出力する。ここで、RAW画像は、入射光の光量に対する出力信号値の関係が線形性を有するデジタル画像である。このRAW画像は、欠陥画素の補正処理が施されたものであってもよい。また、RAW画像は、色補間前の状態であるベイヤ配列構造のモザイク状の画像であってもよく、あるいは色補間処理が施された後のカラー画像であってもよい。   The DFE 13 is a digital front-end circuit that performs signal processing such as A / D conversion of image signals input from the image sensor 12 and correction of defective pixels. The DFE 13 outputs RAW image data to the image processing engine 14. Here, the RAW image is a digital image in which the relationship between the output signal value and the amount of incident light is linear. This RAW image may have been subjected to defective pixel correction processing. Further, the RAW image may be a mosaic image having a Bayer arrangement structure in a state before color interpolation, or may be a color image after color interpolation processing has been performed.

画像処理エンジン14は、電子カメラ1の各部を統括的に制御するプロセッサである。例えば、画像処理エンジン14は、撮像素子12の出力に基づいて、公知のコントラスト検出によるオートフォーカス(AF)制御や、公知の自動露出(AE)演算などを実行する。また、画像処理エンジン14は、プログラムの実行により、画像処理部21、モード選択部22、記録制御部23、画像ファイル生成部24として動作する。   The image processing engine 14 is a processor that comprehensively controls each unit of the electronic camera 1. For example, the image processing engine 14 executes a known autofocus (AF) control based on contrast detection or a known automatic exposure (AE) calculation based on the output of the image sensor 12. The image processing engine 14 operates as an image processing unit 21, a mode selection unit 22, a recording control unit 23, and an image file generation unit 24 by executing the program.

画像処理部21は、RAW画像のデータに色再現処理を施して、写真に相当する色再現画像のデータを生成する。なお、色再現画像のデータは、JPEG形式やTIFF形式などの公知の形式で生成される。   The image processing unit 21 performs color reproduction processing on the RAW image data to generate color reproduction image data corresponding to a photograph. Note that the color reproduction image data is generated in a known format such as the JPEG format or the TIFF format.

ここで、色再現処理は、ユーザの意図する色再現を実現するための処理であって、例えば、階調変換処理、ホワイトバランス調整、色変換処理が含まれる。上記の色再現処理では、色相および彩度の補正により、例えば人間が特定の固定概念を持っている色(肌の色、空の色、葉緑色等)に近い色の画像領域を、上記の固定概念に対応する記憶色に近づける。   Here, the color reproduction processing is processing for realizing color reproduction intended by the user, and includes, for example, gradation conversion processing, white balance adjustment, and color conversion processing. In the above color reproduction processing, by correcting the hue and saturation, for example, an image region having a color close to a color (skin color, sky color, leaf green color, etc.) that a human has a specific fixed concept is used. Close to the memory color corresponding to the fixed concept.

また、電子カメラ1は、ポートレートモード、風景モード等のように、ユーザが撮影しようとする状況に応じた複数の色再現モードを有している。そして、各々の色再現モードでは、画像処理部21によってRAW画像に対してそれぞれ異なる色再現処理が実行される。   Further, the electronic camera 1 has a plurality of color reproduction modes corresponding to the situation that the user intends to shoot, such as a portrait mode and a landscape mode. In each color reproduction mode, the image processing unit 21 executes different color reproduction processes on the RAW image.

モード選択部22は、複数の色再現モードのうちから、画像処理部21が実行する色再現モードを選択する。そして、画像処理部21は、モード選択部22で選択された色再現モードに基づいて、撮像したRAW画像に色再現処理を施す。   The mode selection unit 22 selects a color reproduction mode to be executed by the image processing unit 21 from a plurality of color reproduction modes. Then, the image processing unit 21 performs color reproduction processing on the captured RAW image based on the color reproduction mode selected by the mode selection unit 22.

ここで、モード選択部22は、ユーザの指定に応じて色再現モードを選択してもよい。あるいは、モード選択部22は、撮像した画像を用いて公知のシーン解析処理を実行し、この解析結果に応じてシーンに対応する色再現モードを自動的に選択してもよい(オートモード)。   Here, the mode selection unit 22 may select a color reproduction mode according to a user's specification. Alternatively, the mode selection unit 22 may execute a known scene analysis process using the captured image and automatically select a color reproduction mode corresponding to the scene according to the analysis result (auto mode).

画像ファイル生成部24は、所定のファイル形式(例えばTIFF/EP規格やExif規格など)に準拠して色再現画像の画像ファイルを生成する。また、記録制御部23は、画像ファイル生成部24により生成された画像ファイルを後述の記憶媒体17aに記録する制御を行う。   The image file generation unit 24 generates an image file of a color reproduction image based on a predetermined file format (for example, TIFF / EP standard, Exif standard, etc.). The recording control unit 23 performs control to record the image file generated by the image file generation unit 24 in a storage medium 17a described later.

第1メモリ15は、画像処理の前後で画像のデータを一時的に記憶する揮発性のバッファメモリである。   The first memory 15 is a volatile buffer memory that temporarily stores image data before and after image processing.

第2メモリ16は、画像処理エンジン14によって実行される各種のプログラムなどを記憶する不揮発性のフラッシュメモリである。また、第2メモリ16は、各色再現モードにそれぞれ対応する複数の変換情報を記憶している。上記の変換情報は、基準色が配された標準チャートを用いて取得されたデバイスインディペンデントなカラー情報(色補正情報)と、前記色再現処理で得られる画像のデバイスインディペンデントなカラー情報(色調整情報)との関係を示している。   The second memory 16 is a non-volatile flash memory that stores various programs executed by the image processing engine 14. The second memory 16 stores a plurality of pieces of conversion information corresponding to the respective color reproduction modes. The conversion information includes device-independent color information (color correction information) acquired using a standard chart in which reference colors are arranged, and device-independent color information of an image obtained by the color reproduction process. The relationship with (color adjustment information) is shown.

一例として、上記の変換情報は、所定光源下で標準チャートを計測器で測定して得た三刺激値(XYZ値)と、同じ光源下で同じチャートを電子カメラ1で撮像して得た色再現画像での三刺激値(XYZ値)との変換様式を示すものである。標準チャートを撮像した色再現画像の三刺激値(XYZ値)は、上記の色再現モードや光源ごとにそれぞれ相違する。そのため、上記の色再現モードと光源の組み合わせに応じて、変換情報の内容も変化することとなり、電子カメラ1は、色再現モードのそれぞれについて複数の変換情報を有している。   As an example, the above conversion information includes the tristimulus values (XYZ values) obtained by measuring a standard chart with a measuring instrument under a predetermined light source, and the color obtained by imaging the same chart with the electronic camera 1 under the same light source. The conversion mode with the tristimulus values (XYZ values) in the reproduced image is shown. The tristimulus values (XYZ values) of the color reproduction image obtained by imaging the standard chart are different for each color reproduction mode and each light source. Therefore, the content of the conversion information changes according to the combination of the color reproduction mode and the light source, and the electronic camera 1 has a plurality of conversion information for each color reproduction mode.

また、上記の変換様式は、例えば、3×3の色変換マトリクスで構成される。かかる変換様式を用いることで、計測器により測色した標準チャートに係るカラー情報と色再現画像に係るカラー情報との間で同じカラーパッチの色差を最小にする色変換を行うことができる。このようにして、デバイスインディペンデントな色補正情報及び色調整情報が取得される。なお、一の実施形態の例では、変換情報が3×3の色変換マトリクスであるため、1つの色再現モードにつき9つのパラメータで変換情報が構成される。   Further, the above conversion format is constituted by, for example, a 3 × 3 color conversion matrix. By using such a conversion mode, it is possible to perform color conversion that minimizes the color difference of the same color patch between the color information related to the standard chart measured by the measuring instrument and the color information related to the color reproduction image. In this way, device-independent color correction information and color adjustment information are acquired. In the example of the embodiment, since the conversion information is a 3 × 3 color conversion matrix, the conversion information is configured with nine parameters for one color reproduction mode.

以下、図2の流れ図を参照しつつ、上記の変換情報の生成手順の例について説明する。なお、変換情報の生成は、一般的には撮像装置の製造者によって行われる。そして、図2の処理で生成された変換情報は、電子カメラ1の製造工程等において第2メモリ16に記録される。   Hereinafter, an example of the conversion information generation procedure will be described with reference to the flowchart of FIG. Note that the generation of the conversion information is generally performed by the manufacturer of the imaging device. 2 is recorded in the second memory 16 in the manufacturing process of the electronic camera 1 or the like.

ステップS101:まず、グレタマクベス社のカラーチェッカーDCなどの標準チャートを用意する。そして、CIE標準光源D65の下で、標準チャートの各カラーパッチを計測器で測定(測色)し、三刺激値(XYZ値)を取得する。これにより、カラー情報の基準となる測色値としての三刺激値が各カラーパッチでそれぞれ取得される。   Step S101: First, a standard chart such as a color checker DC of Greta Macbeth is prepared. Then, under the CIE standard light source D65, each color patch of the standard chart is measured (colorimetric) with a measuring instrument to obtain tristimulus values (XYZ values). As a result, tristimulus values as colorimetric values that serve as a reference for color information are acquired for each color patch.

ステップS102:CIE標準光源D65の下で、上記の標準チャートを電子カメラ1のすべての色再現モードでそれぞれ撮像する。これにより、各々の色再現モードに対応する標準チャートの色再現画像が取得される。なお、S102での色再現画像の色空間はRGBに設定されるものとする。   Step S102: The above standard chart is imaged in all color reproduction modes of the electronic camera 1 under the CIE standard light source D65. Thereby, the color reproduction image of the standard chart corresponding to each color reproduction mode is acquired. Note that the color space of the color reproduction image in S102 is set to RGB.

ステップS103:S102で得た色再現画像を用いて、すべての色再現モードにおける各カラーパッチの三刺激値(XYZ値)を求める。   Step S103: Using the color reproduction image obtained in S102, tristimulus values (XYZ values) of each color patch in all color reproduction modes are obtained.

一例として、S103では、1つの色再現画像について各カラーパッチの領域でそれぞれRGBの平均値を求め、画像内のカラーパッチの数に対応するRGB値を得る。そして、上記のRGB値をそれぞれXYZ値に変換する。上記の処理をすべての色再現画像で行うことで、各々の色再現モードにおける各カラーパッチの三刺激値が取得される。   As an example, in S103, an average value of RGB is obtained in each color patch region for one color reproduction image, and RGB values corresponding to the number of color patches in the image are obtained. Then, the above RGB values are converted into XYZ values, respectively. By performing the above processing on all color reproduction images, the tristimulus values of each color patch in each color reproduction mode are acquired.

ここで、一般的な電子カメラで撮像したJPEG画像は、特に断りがない限りsRGB標準色空間に出力が最適化されている。よって、S103でのRGBからXYZへの変換は、通常はsRGBに基づいて行えばよい。なお、電子カメラの出力がAdobeRGB色空間に最適化されている場合、S103でのRGBからXYZへの変換は、AdobeRGBに基づいて行えばよい。   Here, the output of a JPEG image captured by a general electronic camera is optimized in the sRGB standard color space unless otherwise specified. Therefore, the conversion from RGB to XYZ in S103 is usually performed based on sRGB. When the output of the electronic camera is optimized to the AdobeRGB color space, the conversion from RGB to XYZ in S103 may be performed based on AdobeRGB.

ステップS104:S101で測色した三刺激値と、S103で求めた色再現画像での三刺激値とを用いて、各々の色再現モードに対応する色変換マトリクスを求める。   Step S104: Using the tristimulus values measured in S101 and the tristimulus values in the color reproduction image obtained in S103, a color conversion matrix corresponding to each color reproduction mode is obtained.

一例として、基準色画像での三刺激値を「X」とし、S102での三刺激値を「X」とし、求める3×3の色変換マトリクスを「M」とする。 As an example, the tristimulus value in the reference color image is “X m Y m Z m ”, the tristimulus value in S102 is “X j Y j Z j ”, and the obtained 3 × 3 color conversion matrix is “M "

このとき、

Figure 2011091753
の式において、XとXとが近い値をとるように、色変換マトリクスMを最小二乗法などで最適化すればよい。上記の処理をすべての色再現モードで行うことにより、各々の色再現モードにおける色変換マトリクスMがそれぞれ取得される。 At this time,
Figure 2011091753
In this equation, the color conversion matrix M may be optimized by the least square method or the like so that X m Y m Z m and X j Y j Z j take close values. By performing the above processing in all color reproduction modes, the color conversion matrix M in each color reproduction mode is acquired.

なお、JPEG画像の最適化でsRGB(白色点D65)を前提とすると、D65以外の光源下では白色点が一致しなくなる。そのため、D65以外の光源下で電子カメラ1の色再現画像による三刺激値を得る場合、他の光源下で取得した画像の階調値を一旦D65光源での値に順応変換した上で、上記の処理を行えばよい。   If sRGB (white point D65) is assumed in the optimization of the JPEG image, the white points do not match under a light source other than D65. Therefore, when obtaining the tristimulus value by the color reproduction image of the electronic camera 1 under a light source other than D65, the gradation value of the image acquired under the other light source is temporarily converted to the value of the D65 light source, May be performed.

図1に戻って、メディアI/F17には、不揮発性の記憶媒体17aを着脱可能に接続できる。そして、メディアI/F17は、記憶媒体17aに対してデータの書き込み/読み込みを実行する。上記の記憶媒体17aは、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記憶媒体17aの一例としてメモリカードを図示する。   Returning to FIG. 1, a non-volatile storage medium 17 a can be detachably connected to the media I / F 17. Then, the media I / F 17 executes data writing / reading with respect to the storage medium 17a. The storage medium 17a is composed of a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is illustrated as an example of the storage medium 17a.

通信I/F18は、有線または無線の公知の通信回線を介して接続された外部装置(画像処理装置など)とのデータ送受信を、所定の通信規格に準拠して制御する。また、モニタ19は、画像処理エンジン14の制御によって、撮像された画像などを表示する。   The communication I / F 18 controls data transmission / reception with an external apparatus (such as an image processing apparatus) connected via a known wired or wireless communication line in accordance with a predetermined communication standard. The monitor 19 displays a captured image or the like under the control of the image processing engine 14.

次に、一の実施形態でのコンピュータ2の構成を説明する。コンピュータ2は、画像処理プログラムがインストールされたパーソナルコンピュータであって、データ読込部31と、通信部32と、記憶装置33と、CPU34と、メモリ35および入出力I/F36と、バス37とを有している。そして、データ読込部31、通信部32、記憶装置33、CPU34、メモリ35および入出力I/F36は、バス37を介して相互に接続されている。さらに、画像処理装置2には、入出力I/F36を介して、入力デバイス38(キーボード、ポインティングデバイスなど)とモニタ39とがそれぞれ接続されている。なお、入出力I/F36は、入力デバイス38からの各種入力を受け付けるとともに、モニタ39に対して表示用のデータを出力する。   Next, the configuration of the computer 2 in one embodiment will be described. The computer 2 is a personal computer in which an image processing program is installed. The computer 2 includes a data reading unit 31, a communication unit 32, a storage device 33, a CPU 34, a memory 35, an input / output I / F 36, and a bus 37. Have. The data reading unit 31, the communication unit 32, the storage device 33, the CPU 34, the memory 35, and the input / output I / F 36 are connected to each other via a bus 37. Furthermore, an input device 38 (a keyboard, a pointing device, etc.) and a monitor 39 are connected to the image processing apparatus 2 via an input / output I / F 36. The input / output I / F 36 accepts various inputs from the input device 38 and outputs display data to the monitor 39.

データ読込部31は、電子カメラ1で生成された画像ファイルのデータや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部31は、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクあるいはメモリカードの読込装置など)で構成される。   The data reading unit 31 is used when reading image file data generated by the electronic camera 1 and an image processing program from the outside. For example, the data reading unit 31 includes a reading device (such as a reading device for an optical disk, a magnetic disk, a magneto-optical disk, or a memory card) that acquires data from a removable storage medium.

通信部32は、有線または無線の公知の通信回線を介して接続された外部装置(電子カメラ1など)とのデータ送受信を、所定の通信規格に準拠して制御する。   The communication unit 32 controls data transmission / reception with an external device (such as the electronic camera 1) connected via a known wired or wireless communication line in accordance with a predetermined communication standard.

記憶装置33は、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとを記憶する。また、記憶装置33には、データ読込部31や通信部32から取得した画像ファイルのデータを記憶することもできる。なお、記憶装置33は、ハードディスクや、不揮発性の半導体メモリなどで構成される。   The storage device 33 stores the image processing program and various data necessary for executing the program. The storage device 33 can also store image file data acquired from the data reading unit 31 or the communication unit 32. The storage device 33 is configured by a hard disk, a nonvolatile semiconductor memory, or the like.

CPU34は、画像処理装置2の各部動作を統括的に制御するプロセッサである。このCPU34は、画像処理プログラムの実行によって、色再現画像を基準色に対するデバイスインディペンデントな色に変換する画像生成部としても機能する。なお、画像処理装置による画像処理プログラムの動作例については後述する。また、メモリ35は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ35は、例えば揮発性のSDRAMなどで構成される。   The CPU 34 is a processor that comprehensively controls the operation of each unit of the image processing apparatus 2. The CPU 34 also functions as an image generation unit that converts the color reproduction image into a device-independent color with respect to the reference color by executing the image processing program. An example of the operation of the image processing program by the image processing apparatus will be described later. The memory 35 temporarily stores the calculation result of the image processing program. The memory 35 is composed of, for example, a volatile SDRAM.

次に、一の実施形態での電子カメラ1およびコンピュータ2の動作例をそれぞれ説明する。まず、図3の流れ図を参照しつつ、一の実施形態での電子カメラ1の動作例を説明する。   Next, operation examples of the electronic camera 1 and the computer 2 in one embodiment will be described. First, an operation example of the electronic camera 1 in one embodiment will be described with reference to the flowchart of FIG.

ステップS201:撮像前の準備として、モード選択部22は、ユーザの操作に応じて撮像時の色再現モード(風景モード、ポートレートモード、オートモード等)を設定する。   Step S201: As preparation before imaging, the mode selection unit 22 sets a color reproduction mode (landscape mode, portrait mode, auto mode, etc.) at the time of imaging according to a user operation.

一例として、ユーザが風景モードを指定した場合、モード選択部22は色再現モードを風景モードに設定する。これにより、画像処理部21は、撮像時に風景モードでの色再現処理を実行する。なお、色再現モードがオートモードに設定された場合、画像処理エンジン14が撮像した画像を用いて公知のシーン解析処理を実行し、この解析結果に応じて撮像するシーンに相応する色再現モードをモード選択部22が自動的に設定する。   As an example, when the user designates the landscape mode, the mode selection unit 22 sets the color reproduction mode to the landscape mode. As a result, the image processing unit 21 performs color reproduction processing in the landscape mode during imaging. When the color reproduction mode is set to the auto mode, a known scene analysis process is executed using the image captured by the image processing engine 14, and the color reproduction mode corresponding to the scene to be captured is set according to the analysis result. The mode selection unit 22 automatically sets.

ステップS202:ユーザの撮像指示に応じて、画像処理エンジン14は撮像素子12を駆動させて、記憶媒体17aへの記録を伴う画像の撮像を実行する。   Step S202: The image processing engine 14 drives the image sensor 12 according to a user's imaging instruction, and executes imaging of an image accompanied by recording in the storage medium 17a.

撮像素子12の出力は、DFE13をパイプライン式に通過して画像処理エンジン14に入力される。そして、画像処理部21は、S201で設定された色再現モード(ここでは、風景モード)による色再現処理を、RAW画像のデータに施して色再現画像のデータを取得する。なお、色再現画像のデータは第1メモリ15に一時的に記憶される。   The output of the imaging device 12 passes through the DFE 13 in a pipeline manner and is input to the image processing engine 14. Then, the image processing unit 21 performs color reproduction processing in the color reproduction mode (here, landscape mode) set in S201 on the RAW image data, and acquires color reproduction image data. Note that the color reproduction image data is temporarily stored in the first memory 15.

ステップS203:画像ファイル生成部24は、撮影条件の情報(シャッタ秒時、絞り値、撮像感度など)および変換情報を含むヘッダデータと、色再現画像のデータ(S202)とを対応付けて色再現画像の画像ファイルを生成する。その後、記録制御部23は、色再現画像の画像ファイルを記憶媒体17aに記録する。   Step S203: The image file generation unit 24 performs color reproduction by associating the header data including the shooting condition information (shutter time, aperture value, imaging sensitivity, etc.) and conversion information with the color reproduction image data (S202). Generate an image file for the image. Thereafter, the recording control unit 23 records the image file of the color reproduction image on the storage medium 17a.

ここで、上記のヘッダデータは画像ファイル生成部24により生成される。また、画像ファイル生成部24は、S202の色再現処理(色再現モード)に対応する変換情報をヘッダデータに含める。例えば、ここではユーザにより風景モードが指定されているので、ファイル生成部24は風景モードに対応する変換情報をヘッダデータに含める。これにより、上記の変換情報を色再現画像のデータに適用することで、画像ファイルの色再現画像をシーンの測色値に対応した状態の画像(scene−referred image)、すなわち、色補正情報に基づき色補正された状態の画像に変換することが可能となる。   Here, the header data is generated by the image file generation unit 24. Further, the image file generation unit 24 includes conversion information corresponding to the color reproduction process (color reproduction mode) in S202 in the header data. For example, since the landscape mode is designated by the user here, the file generation unit 24 includes conversion information corresponding to the landscape mode in the header data. Thus, by applying the above conversion information to the color reproduction image data, the color reproduction image of the image file is converted into an image in a state corresponding to the colorimetric values of the scene (scene-referred image), that is, color correction information. Based on this, it is possible to convert the image to a color-corrected image.

また、画像ファイル生成部24は、モード選択部22で選択されていない他の色再現モード(ここでは、例えば、ポートレートモード)に対応する変換情報をヘッダデータにさらに含めてもよい。なお、他の色再現モードの変換情報は、上記のscene−referredの画像を、他の色再現モードによる色再現状態に変換するときに適用される(後述の変形例2参照)。以上で、電子カメラ1の動作例の説明を終了する。   Further, the image file generation unit 24 may further include conversion information corresponding to another color reproduction mode (in this case, for example, portrait mode) not selected by the mode selection unit 22 in the header data. Note that the conversion information of other color reproduction modes is applied when the above-described image-referred image is converted into a color reproduction state in another color reproduction mode (see Modification 2 described later). Above, description of the operation example of the electronic camera 1 is complete | finished.

次に、図4の流れ図を参照しつつ、一の実施形態でのコンピュータ2の動作例を説明する。一例として、図4では、図3との関連で、電子カメラ1で風景モードの色再現処理が施された色再現画像を、scene−referredの画像に変換する場合を説明する。なお、図4の処理は、ユーザによるプログラム実行指示に応じて、CPU34が画像処理プログラムを実行することで開始される。   Next, an exemplary operation of the computer 2 in one embodiment will be described with reference to the flowchart of FIG. As an example, FIG. 4 illustrates a case where a color reproduction image that has been subjected to color reproduction processing in the landscape mode by the electronic camera 1 is converted into a scene-referred image in relation to FIG. 4 is started when the CPU 34 executes the image processing program in response to a program execution instruction from the user.

ステップS301:CPU34は、色再現画像の画像ファイル(S203で生成されたもの)を電子カメラ1から取得する。電子カメラ1−コンピュータ2間での画像ファイルの受け渡しは、データ読込部31からの記憶媒体17aの授受または通信部32を介したデータ通信によって実現される。また、S301で取得された画像ファイルは、CPU34の制御によって、記憶装置33またはメモリ35に記録される。   Step S301: The CPU 34 acquires an image file of the color reproduction image (generated in S203) from the electronic camera 1. The transfer of the image file between the electronic camera 1 and the computer 2 is realized by exchanging the storage medium 17 a from the data reading unit 31 or data communication via the communication unit 32. Further, the image file acquired in S301 is recorded in the storage device 33 or the memory 35 under the control of the CPU 34.

ステップS302:CPU34は、画像ファイルの色再現画像における各画素の再現色を、RGB値から三刺激値(XYZ値)にそれぞれ変換する。風景モードでの再現色のRGB値は「RGB(f)」と表記し、風景モードでの再現色のXYZ値は「XYZ(f)」と表記する。 Step S302: The CPU 34 converts the reproduction color of each pixel in the color reproduction image of the image file from an RGB value to a tristimulus value (XYZ value). The RGB value of the reproduction color in the landscape mode is expressed as “RGB (f) ”, and the XYZ value of the reproduction color in the landscape mode is expressed as “XYZ (f) ”.

なお、画像ファイルを生成した電子カメラの出力がsRGBに最適化されている場合、S302でのRGB(f)からXYZ(f)への変換はsRGBに基づいて行われる。なお、電子カメラの出力がAdobeRGB色空間に最適化されている場合、上記の変換は、AdobeRGBに基づいて行えばよい。 If the output of the electronic camera that generated the image file is optimized for sRGB, the conversion from RGB (f) to XYZ (f) in S302 is performed based on sRGB. When the output of the electronic camera is optimized in the AdobeRGB color space, the above conversion may be performed based on AdobeRGB.

ステップS303:CPU34は、画像ファイルのヘッダデータから、S202の色再現処理(風景モード)に対応する変換情報を取得する。   Step S303: The CPU 34 obtains conversion information corresponding to the color reproduction process (landscape mode) in S202 from the header data of the image file.

ステップS304:CPU34は、S303で取得した変換情報の色変換マトリクスを用いて、色再現画像における各画素の色(XYZ(f))を、撮像したシーンの色(シーンの色のXYZ値:XYZ(s))にそれぞれ変換する。 Step S304: The CPU 34 uses the color conversion matrix of the conversion information acquired in S303 to change the color of each pixel (XYZ (f) ) in the color reproduction image to the color of the captured scene (XYZ value of scene color: XYZ). (S) Each is converted into () .

ステップS305:CPU34は、S304で変換したXYZ値(XYZ(s))をさらにシーンの色のRGB値(RGB(s))に変換する。なお、S305でのXYZ(s)からRGB(s)への変換は、S302と同様にsRGB(またはAdobeRGB)に基づいて行われる。 Step S305: The CPU 34 further converts the XYZ value (XYZ (s) ) converted in S304 into an RGB value (RGB (s) ) of the scene color. Note that the conversion from XYZ (s) to RGB (s) in S305 is performed based on sRGB (or AdobeRGB) as in S302.

ステップS306:CPU34は、S305の処理後の画像(RGB(s))をモニタ39に表示出力させる。なお、CPU34は、S305の変換後の画像のデータを記憶装置33に記録するようにしてもよい。以上で、図4の動作例の説明を終了する。 Step S306: The CPU 34 causes the monitor 39 to display and output the image (RGB (s) ) after the processing of S305. The CPU 34 may record the image data after the conversion in S305 in the storage device 33. Above, description of the operation example of FIG. 4 is complete | finished.

上記のように、ユーザにとって好ましい見映えとなるように、色再現画像ではシーンの測定色とは異なる色で被写体が再現される。しかし、風景モードの撮影でも人物が被写体に含まれる場合があり、ポートレートモードの撮影でも風景が含まれるため、色再現モードの境界は曖昧である。また、色再現処理による色相や彩度の修正は、如何なるシーンに対してもユーザを完全に満足させることは困難である。   As described above, the subject is reproduced with a color different from the measured color of the scene in the color reproduction image so that the image looks good for the user. However, there are cases where a person is included in the subject even in shooting in landscape mode, and because the landscape is included in shooting in portrait mode, the boundary of the color reproduction mode is ambiguous. Further, it is difficult to completely satisfy the user for any scene by correcting the hue and saturation by the color reproduction process.

そのため、コンピュータ2で画像ファイルの色再現画像を閲覧したときに、色相や彩度の点からユーザの意図する色再現がなされていない画像については、色再現処理による色味の調整がないscene−referredな画像に一度変換することが好ましい場合がある。   Therefore, when the color reproduction image of the image file is viewed on the computer 2, for an image in which the color reproduction intended by the user is not performed in terms of hue and saturation, there is no color adjustment by color reproduction processing. It may be preferable to convert the image once to a referred image.

一の実施形態のコンピュータ2は、予め色再現画像の画像ファイルに付加された変換情報を用いることで、RAW画像を用いることなく、色再現画像の色をシーンの測色値に円滑に変換することができる。   The computer 2 according to the embodiment uses the conversion information previously added to the image file of the color reproduction image, thereby smoothly converting the color of the color reproduction image into the colorimetric value of the scene without using the RAW image. be able to.

<一の実施形態の変形例1>
一の実施形態のカラーマネジメントシステムは、電子カメラの機種間にわたる色再現状態の変換にも適用できる。一例として、電子カメラAの風景モードで取得した色再現画像を、電子カメラBの風景モードの色再現状態に変換する例を説明する。この場合、コンピュータ2のCPU34は、以下の(A1)−(A3)の処理を行えばよい。なお、変形例1の説明では、電子カメラAの風景モードに対応する変換情報に加えて、予め電子カメラBの風景モードに対応する変換情報が生成されており、当該変換情報が予め記憶装置33やメモリ35に記録されていることを前提とする。
<Modification 1 of one embodiment>
The color management system of one embodiment can also be applied to conversion of the color reproduction state across models of electronic cameras. As an example, an example will be described in which a color reproduction image acquired in the landscape mode of the electronic camera A is converted into a color reproduction state of the electronic camera B in the landscape mode. In this case, the CPU 34 of the computer 2 may perform the following processes (A1)-(A3). In the description of Modification 1, in addition to the conversion information corresponding to the landscape mode of the electronic camera A, conversion information corresponding to the landscape mode of the electronic camera B is generated in advance, and the conversion information is stored in advance in the storage device 33. Or on the memory 35.

(A1)CPU34は、電子カメラAの風景モードで取得された色再現画像のRGB値(RGB(fA))をXYZ値(XYZ(fA))に変換する。そして、CPU34は、電子カメラAの風景モードに対応する変換情報(色変換マトリクス)を用いて、上記のXYZ(fA)を撮像したシーンの色(XYZ(s))に変換する。なお、上記の(A1)の各処理は、図4のS301からS304と同様の処理で行えばよい。 (A1) The CPU 34 converts the RGB value (RGB (fA) ) of the color reproduction image acquired in the landscape mode of the electronic camera A into an XYZ value (XYZ (fA) ). Then, using the conversion information (color conversion matrix) corresponding to the landscape mode of the electronic camera A, the CPU 34 converts the above XYZ (fA) into the color of the scene (XYZ (s) ). The processes (A1) may be performed in the same manner as S301 to S304 in FIG.

(A2)CPU34は、記録されている電子カメラBの風景モードに対応する変換情報を読出して、撮像したシーンの色(XYZ(s))を、電子カメラBの風景モードによる再現色のXYZ値(XYZ(fB))への変換に適用する。なお、CPU34は、画像ファイルのヘッダから取得した変換情報を用いて、(A2)での変換を行うようにしてもよい。 (A2) The CPU 34 reads the conversion information corresponding to the recorded landscape mode of the electronic camera B, and changes the color (XYZ (s) ) of the captured scene to the XYZ value of the reproduced color in the landscape mode of the electronic camera B. Applies to conversion to (XYZ (fB) ). Note that the CPU 34 may perform the conversion in (A2) using the conversion information acquired from the header of the image file.

(A3)CPU34は、図4のS305と同様の処理により、電子カメラBの風景モードによる再現色のXYZ値(XYZ(fB))を、RGB値(RGB(fB))に変換する。 (A3) The CPU 34 converts the XYZ value (XYZ (fB) ) of the reproduced color in the landscape mode of the electronic camera B into an RGB value (RGB (fB) ) by the same processing as S305 in FIG.

一般に、電子カメラの機種が相違すれば、同じ名称の色再現モードで同じ被写体を撮像しても再現色は異なるものとなる。そのため、ある電子カメラの色再現モードでの再現色が好ましい場合には、別の電子カメラの機種においても、好ましい色再現モードでの色再現特性をユーザが援用したい場合がある。   In general, if the models of electronic cameras are different, even if the same subject is imaged in the color reproduction mode with the same name, the reproduced color will be different. Therefore, when the reproduction color in the color reproduction mode of a certain electronic camera is preferable, the user may want to use the color reproduction characteristics in the preferable color reproduction mode even in another electronic camera model.

また、出版物の編集等において、複数の電子カメラの機種を用いて撮影した画像群につき、画像の再現色のバラツキを抑制したい場合もある。例えば、出版物の同じ頁に彩度の不足する色再現画像と彩度が強調された色再現画像とが併存する場合、印刷工程でのベタ濃度による色調整では対応が困難となる。   In addition, when editing publications, etc., there may be a case where it is desired to suppress variations in the reproduced color of an image group shot using a plurality of electronic camera models. For example, when a color reproduction image with insufficient saturation and a color reproduction image with enhanced saturation coexist on the same page of a publication, it is difficult to cope with color adjustment by solid density in the printing process.

上記の変形例1のコンピュータ2は、電子カメラAの風景モードの色をシーンの測色値に変換した後に、さらに電子カメラBの風景モードの色に円滑に変換できる。   The computer 2 according to the first modification can smoothly convert the color of the landscape mode of the electronic camera A into the colorimetric value of the scene and then smoothly convert it to the color of the landscape mode of the electronic camera B.

<一の実施形態の変形例2>
一の実施形態のカラーマネジメントシステムは、異なる色再現モードの色再現状態への変換にも適用できる。一例として、電子カメラAの風景モードで取得した色再現画像を、電子カメラAのポートレートモードの色再現状態に変換する例を説明する。この場合、コンピュータ2のCPU34は、以下の(B1)−(B3)の処理を行えばよい。
<Modification 2 of one embodiment>
The color management system of one embodiment can also be applied to conversion to a color reproduction state in a different color reproduction mode. As an example, an example will be described in which a color reproduction image acquired in the landscape mode of the electronic camera A is converted into a color reproduction state of the portrait mode of the electronic camera A. In this case, the CPU 34 of the computer 2 may perform the following processes (B1)-(B3).

(B1)CPU34は、電子カメラAの風景モードで取得された色再現画像のRGB値(RGB(fA))をXYZ値(XYZ(fA))に変換する。そして、CPU34は、電子カメラAの風景モードに対応する変換情報(色変換マトリクス)を用いて、上記のXYZ(fA)を撮像したシーンの色(XYZ(s))に変換する。なお、上記の(B1)の各処理は、図4のS301からS304と同様の処理で行えばよい。 (B1) The CPU 34 converts the RGB value (RGB (fA) ) of the color reproduction image acquired in the landscape mode of the electronic camera A into an XYZ value (XYZ (fA) ). Then, using the conversion information (color conversion matrix) corresponding to the landscape mode of the electronic camera A, the CPU 34 converts the above XYZ (fA) into the color of the scene (XYZ (s) ). The processes (B1) described above may be performed in the same manner as S301 to S304 in FIG.

(B2)CPU34は、電子カメラAのポートレートモードに対応する変換情報を用いて、撮像したシーンの色(XYZ(s))を、電子カメラAのポートレートモードによる再現色のXYZ値(XYZ(pA))に変換する。なお、電子カメラAのポートレートモードに対応する変換情報は、画像ファイルのヘッダに付加されていてもよいし、記憶装置33やメモリ35に予め記憶されていてもよい。CPU34は、ポートレートモードに対応する変換情報を読み出して、(B2)での変換を行う。 (B2) The CPU 34 uses the conversion information corresponding to the portrait mode of the electronic camera A to change the color (XYZ (s) ) of the captured scene to the XYZ value (XYZ value) of the reproduced color in the portrait mode of the electronic camera A. (PA) ). Note that conversion information corresponding to the portrait mode of the electronic camera A may be added to the header of the image file, or may be stored in advance in the storage device 33 or the memory 35. The CPU 34 reads the conversion information corresponding to the portrait mode and performs the conversion in (B2).

(B3)CPU34は、図4のS305と同様の処理により、電子カメラAのポートレートモードによる再現色のXYZ値(XYZ(pA))を、RGB値(RGB(pA))に変換する。 (B3) The CPU 34 converts the XYZ value (XYZ (pA) ) of the reproduced color in the portrait mode of the electronic camera A into an RGB value (RGB (pA) ) by the same processing as S305 in FIG.

例えば、電子カメラの色再現モードが上記のオートモードで設定された場合、概ね妥当性の高い色再現モードが選択されるが、稀に撮像するシーンに相応しない色再現モードが選択されることも起こりうる。上記の変形例2のコンピュータ2は、電子カメラAの風景モードの色をシーンの測色値に変換した後に、さらに電子カメラAの他の色再現モード(例えば、ポートレートモード)の色に円滑に変換できる。   For example, when the color reproduction mode of the electronic camera is set in the above-described auto mode, a color reproduction mode that is generally highly relevant is selected, but a color reproduction mode that is not suitable for the scene to be imaged is rarely selected. It can happen. The computer 2 according to the second modification converts the color of the landscape mode of the electronic camera A into a colorimetric value of the scene, and then smoothly converts the color of the electronic camera A to another color reproduction mode (for example, portrait mode). Can be converted to

<実施形態の補足事項>
(1)本発明の画像処理装置は、上記実施形態のパーソナルコンピュータの例に限定されない。例えば、電子カメラ1を本発明の画像処理装置として機能させてもよい。また、撮像装置の一例として電子カメラについて説明したが、本発明はこれに限定されない。例えば、デジタルビデオカメラや、カメラ付き携帯電話等の被写体の像を取得する撮像装置であってもよい。
<Supplementary items of the embodiment>
(1) The image processing apparatus of the present invention is not limited to the example of the personal computer of the above embodiment. For example, the electronic camera 1 may function as the image processing apparatus of the present invention. Further, although an electronic camera has been described as an example of an imaging apparatus, the present invention is not limited to this. For example, an imaging apparatus that acquires an image of a subject such as a digital video camera or a mobile phone with a camera may be used.

(2)上記実施形態では、電子カメラ1の画像処理部21、モード選択部22、記録制御部23、画像ファイル生成部24の各処理を、画像処理エンジン14がソフトウエア的に実現する例を説明したが、ASICを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。   (2) In the above embodiment, an example in which the image processing engine 14 implements each process of the image processing unit 21, the mode selection unit 22, the recording control unit 23, and the image file generation unit 24 of the electronic camera 1 by software. As described above, it goes without saying that each of these processes may be realized by hardware using an ASIC.

(3)上記実施形態では、変換情報として3×3の色変換マトリクスを適用する例を説明したが、多次元の色変換ルックアップテーブル(LUT)で変換情報を構成してもよい。例えば、L色空間において色再現モードの再現色とシーンの測色値との変換を行う3次元色変換LUTで変換情報を構成することもできる。 (3) In the above embodiment, the example in which the 3 × 3 color conversion matrix is applied as the conversion information has been described. However, the conversion information may be configured by a multidimensional color conversion lookup table (LUT). For example, in the L * a * B * color space, the conversion information can also be constituted by a three-dimensional color conversion LUT that performs conversion between the reproduction color of the color reproduction mode and the colorimetric value of the scene.

(4)一般に、色再現画像では表示装置での表示の最適化のために階調変換が行われていることが多い。この場合において、色再現画像をscene−referredな画像に変換するためには上記の階調変換を考慮する必要がある。よって、上記実施形態の変換情報は、表示装置での画像の表示特性を反映した階調変換特性の情報をさらに含んでいてもよい。例えば、表示装置での色再現画像の輝度とシーンの輝度とが非線形の関係を有するときに、色再現画像の輝度とシーンの輝度とが線形性を有するように補正する階調変換パラメータ(ガンマカーブなど)を変換情報に含めてもよい。   (4) Generally, in color reproduction images, gradation conversion is often performed to optimize display on a display device. In this case, in order to convert a color reproduction image into a scene-referred image, it is necessary to consider the gradation conversion described above. Therefore, the conversion information of the above embodiment may further include gradation conversion characteristic information that reflects the display characteristics of the image on the display device. For example, when the luminance of the color reproduction image on the display device and the luminance of the scene have a non-linear relationship, a gradation conversion parameter (gamma) for correcting the luminance of the color reproduction image and the luminance of the scene to have linearity. A curve or the like) may be included in the conversion information.

(5)上記実施形態では、測定器での実際の測色値と電子カメラ1での再現色と対応付けて変換情報を生成する例を説明した。しかし、本発明の変換情報は、シミュレーションで生成されたものであってもよい。例えば、公知の標準被写体分光データベースにおいて光源を仮定した上で、等色関数を用いれば、シーンの測色値を演算で求めることができる。また、公知の標準被写体分光データベースにおいて光源を仮定した上で、撮像素子12の分光感度モデルおよび画像処理のパラメータから色再現画像での再現色を演算で求めることができる。そして、両者のデータに基づいてS104の演算を行えば、変換情報を演算で得ることができる。   (5) In the above embodiment, the example in which the conversion information is generated in association with the actual colorimetric value in the measuring instrument and the reproduction color in the electronic camera 1 has been described. However, the conversion information of the present invention may be generated by simulation. For example, assuming a light source in a known standard subject spectral database and using a color matching function, a colorimetric value of a scene can be obtained by calculation. In addition, assuming a light source in a known standard subject spectral database, a reproduction color in a color reproduction image can be obtained by calculation from a spectral sensitivity model of the image sensor 12 and image processing parameters. And if the calculation of S104 is performed based on both data, conversion information can be obtained by calculation.

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。   From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the inventive features to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.

1…電子カメラ、2…コンピュータ、12…撮像素子、14…画像処理エンジン、15…第1メモリ、16…第2メモリ、17…メディアI/F、17a…記憶媒体、21…画像処理部、22…モード選択部、23…記録制御部、24…画像ファイル生成部、31…データ読込部、33…記憶装置、34…CPU DESCRIPTION OF SYMBOLS 1 ... Electronic camera, 2 ... Computer, 12 ... Image sensor, 14 ... Image processing engine, 15 ... 1st memory, 16 ... 2nd memory, 17 ... Media I / F, 17a ... Storage medium, 21 ... Image processing part, DESCRIPTION OF SYMBOLS 22 ... Mode selection part, 23 ... Recording control part, 24 ... Image file generation part, 31 ... Data reading part, 33 ... Memory | storage device, 34 ... CPU

Claims (7)

被写体の像を撮像する撮像部と、
前記撮像部で撮像された画像に色再現処理を施して、色再現画像を生成する画像処理部と、
基準色に対するデバイスインディペンデントな第1の色情報と、前記画像処理部における前記色再現処理で適用されるデバイスインディペンデントな第2の色情報との変換様式を示す色変換情報を記憶する記憶部と、
前記色再現画像と前記色変換情報とを対応付けて画像ファイルを生成する画像ファイル生成部と、
を備える撮像装置。
An imaging unit that captures an image of a subject;
An image processing unit that performs color reproduction processing on an image captured by the imaging unit to generate a color reproduction image;
Stores color conversion information indicating a conversion mode between device-independent first color information with respect to a reference color and device-independent second color information applied in the color reproduction process in the image processing unit. A storage unit;
An image file generation unit that generates an image file by associating the color reproduction image and the color conversion information;
An imaging apparatus comprising:
請求項1に記載の撮像装置において、
各々が異なる色調整に対応する複数のモードから、前記画像処理部が実行する前記モードを撮影状況に応じて選択するモード選択部をさらに備え、
前記記憶部は、複数の前記モードにそれぞれ対応する複数の前記色変換情報を記憶し、
前記画像ファイル生成部は、前記モード選択部で選択されたモードに対応する前記色変換情報を、前記色再現画像に対応付けて画像ファイルを生成する撮像装置。
The imaging device according to claim 1,
A plurality of modes each corresponding to a different color adjustment, further comprising a mode selection unit that selects the mode to be executed by the image processing unit according to the shooting situation;
The storage unit stores a plurality of the color conversion information respectively corresponding to a plurality of the modes,
The image file generating unit generates an image file by associating the color conversion information corresponding to the mode selected by the mode selection unit with the color reproduction image.
請求項2に記載の撮像装置において、
前記画像ファイル生成部は、前記モード選択部で選択されていない他のモードに対応する前記色変換情報を、前記色再現画像にさらに対応付けて記録する撮像装置。
The imaging device according to claim 2,
The image file generation unit is an imaging apparatus that records the color conversion information corresponding to another mode not selected by the mode selection unit in association with the color reproduction image.
請求項1から請求項3のいずれか1項に記載の撮像装置において、
前記色変換情報は、色変換マトリクスまたは色変換テーブルである撮像装置。
In the imaging device according to any one of claims 1 to 3,
The image conversion apparatus, wherein the color conversion information is a color conversion matrix or a color conversion table.
請求項4に記載の撮像装置において、
前記色変換情報は、表示装置での画像の表示特性を反映した階調変換特性の情報をさらに含む撮像装置。
The imaging apparatus according to claim 4,
The image conversion apparatus, wherein the color conversion information further includes gradation conversion characteristic information reflecting display characteristics of an image on a display apparatus.
請求項1から請求項5に記載の撮像装置で生成された前記色再現画像および前記色変換情報を取得する取得部と、
前記色変換情報を用いて、前記色再現画像を基準色に対するデバイスインディペンデントな色に変換する画像生成部と、
を備える画像処理装置。
An acquisition unit that acquires the color reproduction image and the color conversion information generated by the imaging device according to claim 1;
Using the color conversion information, an image generation unit that converts the color reproduction image into a device-independent color with respect to a reference color;
An image processing apparatus comprising:
コンピュータを、請求項6に記載の画像処理装置として動作させるプログラム。
A program that causes a computer to operate as the image processing apparatus according to claim 6.
JP2009245599A 2009-10-26 2009-10-26 Imaging apparatus, image processing apparatus, and program Expired - Fee Related JP5552795B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009245599A JP5552795B2 (en) 2009-10-26 2009-10-26 Imaging apparatus, image processing apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009245599A JP5552795B2 (en) 2009-10-26 2009-10-26 Imaging apparatus, image processing apparatus, and program

Publications (2)

Publication Number Publication Date
JP2011091753A true JP2011091753A (en) 2011-05-06
JP5552795B2 JP5552795B2 (en) 2014-07-16

Family

ID=44109557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009245599A Expired - Fee Related JP5552795B2 (en) 2009-10-26 2009-10-26 Imaging apparatus, image processing apparatus, and program

Country Status (1)

Country Link
JP (1) JP5552795B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034227A (en) * 1999-07-15 2001-02-09 Hitachi Ltd Display device and its driving method
JP2013225802A (en) * 2012-04-23 2013-10-31 Nikon Corp Digital camera, color conversion information generating program, color conversion program, and recording control program
JP2015023514A (en) * 2013-07-22 2015-02-02 キヤノン株式会社 Information processing apparatus, imaging apparatus, control method and program
JP2016054496A (en) * 2011-05-27 2016-04-14 ドルビー ラボラトリーズ ライセンシング コーポレイション Scalable system for controlling color management including meta data in various levels
CN111145128A (en) * 2020-03-02 2020-05-12 Oppo广东移动通信有限公司 Color enhancement method and related device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05260510A (en) * 1992-03-16 1993-10-08 Kyocera Corp Electronic still camera and reproducing device
JPH09233494A (en) * 1996-02-23 1997-09-05 Toshiba Corp Color image processing system
JPH10224646A (en) * 1997-01-31 1998-08-21 Canon Inc Picture processor and picture processing method
JP2002016935A (en) * 2000-06-29 2002-01-18 Japan Research Institute Ltd Method and apparatus for converting color image data under different light sources as well as medium for recording program for converting color image data
JP2002135604A (en) * 2000-10-20 2002-05-10 Seiko Epson Corp Network system for conducting color management, and device and method for profile preparation used for the color management
JP2005252462A (en) * 2004-03-02 2005-09-15 Seiko Epson Corp Color conversion processing for image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05260510A (en) * 1992-03-16 1993-10-08 Kyocera Corp Electronic still camera and reproducing device
JPH09233494A (en) * 1996-02-23 1997-09-05 Toshiba Corp Color image processing system
JPH10224646A (en) * 1997-01-31 1998-08-21 Canon Inc Picture processor and picture processing method
JP2002016935A (en) * 2000-06-29 2002-01-18 Japan Research Institute Ltd Method and apparatus for converting color image data under different light sources as well as medium for recording program for converting color image data
JP2002135604A (en) * 2000-10-20 2002-05-10 Seiko Epson Corp Network system for conducting color management, and device and method for profile preparation used for the color management
JP2005252462A (en) * 2004-03-02 2005-09-15 Seiko Epson Corp Color conversion processing for image data

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034227A (en) * 1999-07-15 2001-02-09 Hitachi Ltd Display device and its driving method
JP2016054496A (en) * 2011-05-27 2016-04-14 ドルビー ラボラトリーズ ライセンシング コーポレイション Scalable system for controlling color management including meta data in various levels
CN105933573A (en) * 2011-05-27 2016-09-07 杜比实验室特许公司 Scalable Systems For Controlling Color Management Comprising Varying Levels Of Metadata
CN105933573B (en) * 2011-05-27 2018-10-23 杜比实验室特许公司 The scalable system for controlling color management of metadata grade including variation
US11218709B2 (en) 2011-05-27 2022-01-04 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US11736703B2 (en) 2011-05-27 2023-08-22 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US11917171B2 (en) 2011-05-27 2024-02-27 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
JP2013225802A (en) * 2012-04-23 2013-10-31 Nikon Corp Digital camera, color conversion information generating program, color conversion program, and recording control program
JP2015023514A (en) * 2013-07-22 2015-02-02 キヤノン株式会社 Information processing apparatus, imaging apparatus, control method and program
CN111145128A (en) * 2020-03-02 2020-05-12 Oppo广东移动通信有限公司 Color enhancement method and related device

Also Published As

Publication number Publication date
JP5552795B2 (en) 2014-07-16

Similar Documents

Publication Publication Date Title
KR101388130B1 (en) Image processing apparatus and image processing method
JP5163392B2 (en) Image processing apparatus and program
KR101352440B1 (en) Image processing apparatus, image processing method, and recording medium
JP2007259344A (en) Imaging apparatus and image processing method
JP2008022240A (en) Photographing device, image processor, image file generating method, image processing method, and image processing program
JP4533287B2 (en) Color processing method and apparatus
JP5552795B2 (en) Imaging apparatus, image processing apparatus, and program
JP2005354372A (en) Apparatus and method for image recording device, method and system for image processing
JP2005347811A (en) White balance correction apparatus and white balance correction method, program and electronic camera apparatus
JP3804067B2 (en) Imaging apparatus and imaging method
US7327876B2 (en) Image processing device
JP5962169B2 (en) Digital camera, color conversion program and recording control program
JP4985180B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
JP2006333113A (en) Imaging device
JP4767525B2 (en) Imaging system and imaging processing program
JP2012065069A (en) Defect detection and compensation apparatus, program and storage medium
JP4623024B2 (en) Electronic camera
JP2010124114A (en) Digital camera and image data processing program
JP2009164723A (en) Imaging apparatus and imaging control method
JP2002330322A (en) Electronic camera
JP5515653B2 (en) Imaging apparatus and image processing apparatus
JP6318497B2 (en) Image processing apparatus, imaging apparatus, and program
JP2013055459A (en) Imaging device, image processing device, and program
JP4978669B2 (en) Image processing apparatus, electronic camera, and image processing program
JP2002330387A (en) Electronic camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140513

R150 Certificate of patent or registration of utility model

Ref document number: 5552795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees