JP2002271640A - Image processor and image processing method - Google Patents
Image processor and image processing methodInfo
- Publication number
- JP2002271640A JP2002271640A JP2001063079A JP2001063079A JP2002271640A JP 2002271640 A JP2002271640 A JP 2002271640A JP 2001063079 A JP2001063079 A JP 2001063079A JP 2001063079 A JP2001063079 A JP 2001063079A JP 2002271640 A JP2002271640 A JP 2002271640A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- color set
- conversion
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像入力装置から
入力されたカラー画像データを、装置あるいは装置およ
び照明に依存しない色空間に、高精度に変換する画像処
理装置及び画像処理方法に関するものである。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing apparatus and an image processing method for converting color image data input from an image input apparatus into a color space independent of the apparatus or the apparatus and the illumination with high accuracy. is there.
【０００２】[0002]
【従来の技術】近年、カラー画像を処理する装置として
スキャナ、デジタルカメラ、プリンタ、ディスプレイ等
さまざまなものが利用されている。これらの装置間で画
像データを交換する手法に、入力装置から入力されたカ
ラー画像データを、一度装置に依存しない独立な色空間
に変換してから、出力装置に出力するカラー画像データ
に変換するものがある。2. Description of the Related Art In recent years, various devices, such as scanners, digital cameras, printers, and displays, have been used as devices for processing color images. According to a technique for exchanging image data between these devices, color image data input from an input device is once converted into an independent color space independent of the device, and then converted into color image data to be output to an output device. There is something.
【０００３】このように、画像入力装置の信号と装置に
依存しない色空間との変換を確立しておけば、あらゆる
画像出力装置にデータを渡すことができるため、入力装
置と出力装置の組み合わせの数だけ色変換処理を決める
必要がない。As described above, if the conversion between the signal of the image input device and the color space independent of the device is established, the data can be transferred to any image output device. There is no need to determine the number of color conversion processes.
【０００４】また、画像入力装置から入力されたカラー
画像データを装置だけでなく照明にも依存しない独立な
色空間に変換しておけば、画像入力時の照明と異なる照
明下の画像を出力装置から出力することもできる。If the color image data input from the image input device is converted into an independent color space not depending on the device but also on the illumination, an image under illumination different from the illumination at the time of image input can be output to the output device. You can also output from.
【０００５】装置に依存しない独立な色空間としては、
国際標準機関CIEが規定するXYZ三刺激値や、L*a*b*表色
系、L*u*v*表色系、あるいはCAM97sなどのカラーアピア
ランスモデルを用いることが一般的であるが、カラーア
ピアランスモデルの属性値はXYZ三刺激値から算出され
るため、画像入出力装置の信号からXYZ三刺激値を推定
することができれば上記色変換が可能になる。[0005] As an independent color space independent of the device,
XYZ tristimulus values specified by the International Standards Institute CIE, and L * a * b * color system, L * u * v * color system, or it is common to use a color appearance model such as CAM97s, Since the attribute values of the color appearance model are calculated from the XYZ tristimulus values, if the XYZ tristimulus values can be estimated from the signals of the image input / output device, the above color conversion becomes possible.
【０００６】また、装置および照明に依存しない色空間
としては、物体の分光反射率を用いることが一般的であ
る。分光反射率に所望の照明をかけ積分すれば、XYZ三
刺激値を算出することができる。As a color space that does not depend on a device and illumination, it is general to use the spectral reflectance of an object. XYZ tristimulus values can be calculated by integrating desired illumination on the spectral reflectance.
【０００７】このように、各画像入出力装置の色空間か
ら物体のXYZ三刺激値あるいは分光反射率を推定するこ
とをキャラクタライゼーションと呼ぶ。Estimating the XYZ tristimulus values or the spectral reflectance of an object from the color space of each image input / output device in this way is called characterization.
【０００８】本発明は、デジタルカメラ、マルチスペク
トルカメラ、スキャナをはじめとする画像入力装置のキ
ャラクタライゼーションに関するものである。The present invention relates to the characterization of an image input device such as a digital camera, a multispectral camera, and a scanner.
【０００９】従来の画像入力装置のキャラクタライゼー
ション技術には、例えば、特開平７−１７４６３１号公
報記載の皮膚の測色方法及び分光反射スペクトルの推定
方法、特開平１１−８５９５２号公報記載の色再現装
置、特開平９−２３３４９０号公報記載の色シュミレー
ション装置がある。Conventional characterization techniques for image input devices include, for example, a colorimetric method for skin and a method for estimating a spectral reflection spectrum described in Japanese Patent Application Laid-Open No. H7-174631, and a color reproduction method described in Japanese Patent Application Laid-Open No. H11-89552. There is a color simulation device described in JP-A-9-233490.
【００１０】特開平７−１７４６３１号公報では、画像
入力装置から入力された画像から皮膚の分光反射スペク
トルを推定する方法を開示している。Japanese Patent Application Laid-Open No. 7-174631 discloses a method of estimating a spectral reflection spectrum of skin from an image input from an image input device.
【００１１】その手順について図１１を用いて説明す
る。The procedure will be described with reference to FIG.
【００１２】まず、手順１１０１で入力された画像デー
タRGBを、輝度に線形な信号に2次関数で変換する。前記
公報記載の２次関数を（数１）に示す。（数１）は、無
彩色の９階調の色票のXYZ三刺激値を測色しておき、そ
のY値である輝度に線形となるように決定されている。First, the image data RGB input in step 1101 is converted into a signal linear in luminance by a quadratic function. The quadratic function described in the above publication is shown in (Equation 1). (Equation 1) is determined so that the XYZ tristimulus values of the 9-tone color chip of achromatic color are measured, and the luminance is linear with the Y value.
【００１３】[0013]
【数１】 次に、手順１１０２で、輝度線形信号から、少なくとも
２次の項までを使用する重回帰行列によりXYZ三刺激値
を算出する。最後に手順１１０３で、XYZ三刺激値から
分光反射率を推定する。(Equation 1) Next, in step 1102, XYZ tristimulus values are calculated from the luminance linear signal by a multiple regression matrix using at least the second-order terms. Finally, in step 1103, the spectral reflectance is estimated from the XYZ tristimulus values.
【００１４】手順１１０２における重回帰行列は、予め
決定しておく必要がある。重回帰行列の決定を行うに
は、まず特定の物体として、皮膚を画像入力装置で撮影
しておきその画像データを得ると共に、測色計でも測色
してXYZ三刺激値を求めておく。そして、画像データをX
YZ三刺激値に変換する行列Ｍを、変換により推定される
XYZ三刺激値と測色計によって計測されたXYZ三刺激値と
の誤差が最小になるように決定する。このように予測値
と実測値との誤差が最小となるように推定行列を決定す
ることを重回帰分析といい、このようにして決定される
推定行列を重回帰行列という。重回帰行列は、XYZ三刺
激値ベクトルをT、画像データベクトルをIとおけば（数
２）で表される。（数１）で、RTIはＴとＩの相関行列
を表している。The multiple regression matrix in step 1102 needs to be determined in advance. In order to determine the multiple regression matrix, first, as a specific object, the skin is photographed with an image input device, the image data is obtained, and the colorimeter is also used to measure the color to obtain XYZ tristimulus values. Then, convert the image data to X
A matrix M to be converted to YZ tristimulus values is estimated by the conversion.
The determination is made so that the error between the XYZ tristimulus values and the XYZ tristimulus values measured by the colorimeter is minimized. Determining the estimation matrix so that the error between the predicted value and the actually measured value is minimized is called multiple regression analysis, and the estimation matrix determined in this way is called multiple regression matrix. The multiple regression matrix is represented by (Equation 2) where T is the XYZ tristimulus value vector and I is the image data vector. In (Equation 1), R TI represents a correlation matrix between T and I.
【００１５】[0015]
【数２】 また、手順１１０３における分光反射率の次元は、例え
ば400nmから700nmの可視光の範囲を10nmおきにサンプリ
ングしても31次元とかなり大きく推定が困難であるた
め、主成分分析を行い、31次よりも低次なm次の基底で
表現する手法を用いる。物体である皮膚の分光反射率の
第3主成分までの累積寄与率は99.5パーセントなので、m
=3で十分であるため、XYZ三刺激値から基底の係数を一
意に求めることができる。(Equation 2) In addition, the dimension of the spectral reflectance in the step 1103 is considerably large, for example, 31 dimensions even if the range of visible light from 400 nm to 700 nm is sampled every 10 nm, and it is difficult to estimate. Is also represented by a low-order m-order basis. Since the cumulative contribution of the spectral reflectance of the skin as the object to the third principal component is 99.5%, m
Since = 3 is sufficient, the base coefficient can be uniquely obtained from the XYZ tristimulus values.
【００１６】このように従来のキャラクタライゼーショ
ン方法は、物体を皮膚に限定し、皮膚の画像データと実
測したXYZ三刺激値との重回帰分析により、画像データ
からXYZ三刺激値を推定する行列を決定している。従っ
て、この行列では皮膚のXYZ三刺激値は高精度に推定で
きるが、皮膚以外のXYZ三刺激値は誤差が極めて大き
い。As described above, in the conventional characterization method, the object is limited to the skin, and a matrix for estimating the XYZ tristimulus values from the image data is obtained by multiple regression analysis of the image data of the skin and the actually measured XYZ tristimulus values. I have decided. Therefore, with this matrix, the XYZ tristimulus values of the skin can be estimated with high accuracy, but the XYZ tristimulus values of the skin other than the skin have an extremely large error.
【００１７】また、特開平１１−８５９５２号公報記載
の色再現装置では、画像データからXYZ三刺激値を求め
る行列を次のようにして導いている。In the color reproduction apparatus described in JP-A-11-89552, a matrix for obtaining XYZ tristimulus values from image data is derived as follows.
【００１８】まず、三刺激値Tと画像データベクトルI
は、（数３）のように表すことができる。（数３）にお
いて、EOは観察時の照明行列、Xは等色関数を横ベクト
ルとした行列、fは分光反射率、Emは撮影時の照明行
列、Sは画像入力装置分光感度を横ベクトルとした行列
である。（数３）を重回帰行列（数２）に代入すると
（数４）が得られる。この（数４）において、Rffは、
物体の分光反射率の相関行列である。入力画像の主要な
構成要素となる物体の分光反射率の相関行列を予め算出
しておき、（数４）のRffに代入しておくことで、画像
データからXYZ三刺激値を予測する行列（数４）を得る
ことができる。First, the tristimulus value T and the image data vector I
Can be expressed as (Equation 3). In equation (3), E O lighting matrix during observation, X is the matrix of the color matching function and a lateral vector, f is the spectral reflectance, E m is the illumination matrix at the time of photographing, S is an image input device spectral sensitivity This is a matrix as a horizontal vector. By substituting (Equation 3) into the multiple regression matrix (Equation 2), (Equation 4) is obtained. In this (Equation 4), R ff is
It is a correlation matrix of the spectral reflectance of an object. A matrix for predicting XYZ tristimulus values from image data by calculating in advance the correlation matrix of the spectral reflectance of an object that is a main component of the input image and substituting it into R ff in (Equation 4) (Equation 4) can be obtained.
【００１９】[0019]
【数３】 (Equation 3)
【００２０】[0020]
【数４】 このように上記従来の画像入力装置のキャラクタライゼ
ーション方法では、物体を限定し、限定した物体の分光
反射率の相関行列を用いて、画像データからXYZ三刺激
値を推定する行列を決定している。従って、この行列に
より、限定物体以外の画像データのXYZ三刺激値を推定
すると誤差が極めて大きくなる。(Equation 4) As described above, in the above-described characterization method of the image input device, the object is limited, and the matrix for estimating the XYZ tristimulus values from the image data is determined using the correlation matrix of the spectral reflectance of the limited object. . Therefore, when the XYZ tristimulus values of the image data other than the limited object are estimated using this matrix, the error becomes extremely large.
【００２１】また、特開平９−２３３４９０号公報記載
の色シュミレーション装置では、画像入力装置から入力
された画像を所望の光源下の色に変換してからディスプ
レイ上に出力する照明シュミレーションを開示してい
る。The color simulation apparatus disclosed in Japanese Patent Application Laid-Open No. 9-233490 discloses an illumination simulation in which an image input from an image input device is converted into a color under a desired light source and then output on a display. I have.
【００２２】その手順について図１２を用いて説明す
る。特開平７−１７４６３１号公報記載の方法と同様
に、分光反射率を主成分分析し、31次よりも低次なm次
の基底で表現する。そして、手順１２０１で入力画像デ
ータから基底係数m次ベクトルをニューラルネットワー
クで推定する。次に手順１２０２で、推定されたm次ベ
クトルから分光反射率を算出する。得られた分光反射率
に所望の光源ベクトルをかけてXYZ三刺激値とし、ディ
スプレイの色特性を用いてディスプレイ駆動信号に変換
する。The procedure will be described with reference to FIG. Similar to the method described in Japanese Patent Application Laid-Open No. 7-174631, the spectral reflectance is subjected to principal component analysis, and is expressed by an m-order basis lower than the 31st order. Then, in step 1201, a m-th basis coefficient is estimated from the input image data by a neural network. Next, in step 1202, the spectral reflectance is calculated from the estimated m-th order vector. The obtained spectral reflectance is multiplied by a desired light source vector to obtain XYZ tristimulus values, which are converted into display drive signals using the color characteristics of the display.
【００２３】ニューラルネットワークでは、学習データ
に類似した性質を持った入力データであれば、適切な分
光反射率が推定されるが、学習データに類似していない
入力データでは極めて誤差が大きくなる。そのため、ニ
ューラルネットワークを使用した本従来例も、物体を限
定した場合に限り推定が可能な方法であるといえる。In the neural network, an appropriate spectral reflectance is estimated if the input data has a property similar to the learning data, but an error becomes extremely large if the input data is not similar to the learning data. Therefore, this conventional example using a neural network can be said to be a method that can be estimated only when the object is limited.
【００２４】[0024]
【発明が解決しようとする課題】上記従来の方法では、
いずれも物体を１つに限定して、分光反射率を推定する
行列あるいはニューラルネットワークを決定しておき、
入力画像内の全ての画素を１つの行列あるいはニューラ
ルネットワークで、XYZ三刺激値あるいは分光反射率を
推定している。In the above conventional method,
In each case, limiting the object to one, determining a matrix or neural network for estimating the spectral reflectance,
XYZ tristimulus values or spectral reflectances are estimated for all pixels in the input image using one matrix or neural network.
【００２５】しかし、すべての色票を、従来例のように
単純な線形モデルに近似することは極めて困難であり、
色票によっては誤差がかなり大きくなってしまうという
問題がある。一方、より複雑な非線形モデルを用いた場
合、すなわち、入力画像の高次の項まで用いたり、ニュ
ーラルネットワークでニューロン数や層数を増やしたり
した場合には、オーバーフィッティングとなり色票は誤
差が小さいが色票以外の色は極めて特異な色に変換され
てしまう。However, it is extremely difficult to approximate all color patches to a simple linear model as in the conventional example.
There is a problem that the error becomes considerably large depending on the color chart. On the other hand, when a more complicated nonlinear model is used, that is, when the higher order terms of the input image are used, or when the number of neurons or layers is increased by a neural network, overfitting occurs and the color chart has a small error. However, colors other than the color chart are converted into extremely unique colors.
【００２６】本発明は、かかる点に鑑みてなされたもの
で、入力装置から入力されたカラー画像データを装置お
よび照明に依存しない色空間に高精度に変換する画像処
理方法を提供することを目的とする。The present invention has been made in view of the above points, and has as its object to provide an image processing method for converting color image data input from an input device into a color space that does not depend on the device and illumination with high accuracy. And
【００２７】[0027]
【課題を解決するための手段】本発明は、画像入力装置
から入力された画像信号を変換する際に、予め、入力し
た色票の画像信号を用いて同一の変換パラメータで変換
できる色を集合として色集合を決定し、その変換パラメ
ータを色集合内の色は大きく重み付けし集合外の色は小
さく重み付けして算出しておき、変換時には入力された
画像信号の各画素がどの色集合に属するかを判定し、判
定された集合の変換パラメータを用いて変換処理するよ
うにしたものである。According to the present invention, when an image signal input from an image input device is converted, colors which can be converted with the same conversion parameters by using an image signal of an input color chart are set in advance. A color set is determined, and its conversion parameters are calculated by weighting the colors in the color set with a large weight and the colors outside the set with a small weight, and to which color set each pixel of the input image signal belongs at the time of conversion. Is determined, and the conversion processing is performed using the conversion parameters of the determined set.
【００２８】このようにすることで、色票とした色は特
に精度良く、色票以外の色も精度良く入力画像データか
ら装置あるいは装置および照明に依存しない色データを
推定することができる。In this manner, the color of the color chart is particularly accurate, and the color data independent of the apparatus or the apparatus and illumination can be estimated from the input image data with high accuracy even for colors other than the color chart.
【００２９】[0029]
【発明の実施の形態】本発明の請求項１に記載の発明
は、画像入力装置から入力された画像信号を変換する際
に、入力した色票の画像信号を用いて、予め同一の変換
パラメータで変換する色集合を決定する色集合決定手段
と、予め前記色集合毎の変換パラメータを決定するパラ
メータ決定手段と、前記画像信号が属する色集合を決定
する色集合決定手段と、前記色集合決定手段によって決
定された色集合の変換パラメータを用いて注目画素の色
を変換する変換処理手段とを具備したものであり、画像
入力装置から入力された画像信号を高精度に色変換する
ことができるという作用を有する。According to the first aspect of the present invention, when an image signal input from an image input device is converted, the same conversion parameter is used in advance by using the input image signal of the color chart. A color set determining means for determining a color set to be converted by: a parameter determining means for determining a conversion parameter for each color set in advance; a color set determining means for determining a color set to which the image signal belongs; And a conversion processing unit for converting the color of the pixel of interest using the conversion parameter of the color set determined by the unit. The color conversion can be performed with high accuracy on the image signal input from the image input device. It has the action of:
【００３０】請求項２に記載の発明は、画像入力装置か
ら入力された画像信号を変換する際に、予め、入力した
色票の画像信号を用いて同一の変換パラメータで変換す
べき色集合とその変換パラメータを決定しておき、変換
時には入力された画像信号の各画素がどの色集合に属す
るかを判定し、判定された集合の変換パラメータを用い
て変換処理することを特徴とする画像処理方法としたも
のであり、画像入力装置から入力された画像信号を高精
度に色変換することができるという作用を有する。According to a second aspect of the present invention, when an image signal input from an image input device is converted, a color set to be converted with the same conversion parameters using an input color patch image signal in advance is used. Image processing characterized in that the conversion parameters are determined, and at the time of conversion, each color of the input image signal belongs to which color set, and conversion processing is performed using the conversion parameters of the determined set. The method has an effect that an image signal input from an image input device can be color-converted with high accuracy.
【００３１】請求項３に記載の発明は、前記変換処理
は、入力された画像信号を画像入力装置あるいは装置お
よび照明に依存しない色データに変換することを特徴と
する請求項２記載の画像処理方法としたものであり、画
像入力装置から入力された画像信号から高精度な装置あ
るいは装置および照明に依存しない色データに変換する
ことができるという作用を有する。According to a third aspect of the present invention, in the conversion processing, the input image signal is converted into color data independent of an image input device or a device and illumination. The method has an effect that an image signal input from an image input device can be converted into high-precision device or color data independent of device and illumination.
【００３２】請求項４に記載の発明は、前記色集合の決
定は、色票のうち統計的性質が合致しない色票を除去す
ることで行うことを特徴とする請求項２または3記載の
画像処理方法としたものであり、画像入力装置から入力
されたすべての色票と画像信号を高精度に色変換するこ
とができるという作用を有する。According to a fourth aspect of the present invention, the determination of the color set is performed by removing color patches whose statistical properties do not match among the color patches. This is a processing method, and has the effect that all color chips and image signals input from the image input device can be color-converted with high accuracy.
【００３３】請求項５に記載の発明は、前記統計的性質
は正規分布であることを特徴とする請求項４記載の画像
処理方法としたものであり、画像入力装置から入力され
たすべての色票と画像信号を高精度に色変換することが
できるという作用を有する。According to a fifth aspect of the present invention, there is provided the image processing method according to the fourth aspect, wherein the statistical property is a normal distribution, wherein all the colors input from the image input device are used. This has the effect that the vote and the image signal can be color-converted with high precision.
【００３４】請求項６に記載の発明は、前記色集合の決
定は、まずすべての色票を用いて変換パラメータを算出
して変換誤差を求め、変換誤差が大きい色票を除去した
色票を１つの色集合とし、また変換誤差が大きい各色票
をそれぞれ色集合とすることを特徴とする請求項２から
５のいずれかに記載の画像処理方法としたものであり、
画像入力装置から入力されたすべての色票と画像信号を
高精度に色変換することができるという作用を有する。According to a sixth aspect of the present invention, in the determination of the color set, first, a conversion parameter is calculated by using all of the color patches to obtain a conversion error, and the color patch from which the large conversion error is removed is determined. 6. The image processing method according to claim 2, wherein one color set is used, and each color chart having a large conversion error is used as a color set.
This has the effect that all color patches and image signals input from the image input device can be color-converted with high accuracy.
【００３５】請求項７に記載の発明は、前記色集合の決
定は、変換処理上重要とされる色票をそれぞれ色集合と
することを特徴とする請求項２から５のいずれかに記載
の画像処理方法としたものであり、画像入力装置から入
力されたすべての色票と画像信号を高精度に色変換する
ことができるという作用を有する。According to a seventh aspect of the present invention, in the determination of the color set, each of the color charts that are important in the conversion process is set as a color set. This is an image processing method, and has the effect that all color chips and image signals input from the image input device can be color-converted with high accuracy.
【００３６】請求項８に記載の発明は、前記色集合の決
定は、ユーザが指定することを特徴とする請求項２から
５のいずれかに記載の画像処理方法としたものであり、
画像入力装置から入力されたすべての色票と画像信号を
高精度に色変換することができるという作用を有する。According to an eighth aspect of the present invention, there is provided the image processing method according to any one of the second to fifth aspects, wherein the color set is determined by a user.
This has the effect that all color patches and image signals input from the image input device can be color-converted with high accuracy.
【００３７】請求項９に記載の発明は、前記色集合毎の
変換パラメータは、各色集合に属する色票の統計的性質
を算出して決定することを特徴とする請求項２から８の
いずれかに記載の画像処理方法としたものであり、画像
入力装置から入力された画像信号を高精度に色変換する
ことができるという作用を有する。According to a ninth aspect of the present invention, the conversion parameter for each color set is determined by calculating a statistical property of a color chart belonging to each color set. The image processing method described in (1) above has an effect that an image signal input from an image input device can be color-converted with high accuracy.
【００３８】請求項１０に記載の発明は、前記色集合毎
の変換パラメータは、各色集合に属する色票は大きく重
み付けし色集合に属さない色票は小さく重み付けして統
計的性質を算出し決定することを特徴とする請求項２か
ら８のいずれかに記載の画像処理方法としたものであ
り、画像入力装置から入力された画像信号を高精度に色
変換することができるという作用を有する。According to a tenth aspect of the present invention, the conversion parameter for each color set is determined by calculating a statistical property by weighting a color chart belonging to each color set to a large weight and a color chart not belonging to a color set to a small weight. An image processing method according to any one of claims 2 to 8, wherein an image signal input from an image input device can be color-converted with high accuracy.
【００３９】請求項１１に記載の発明は、前記変換処理
は、各色集合に属する信頼度を算出し、各色集合の変換
パラメータで変換した値を信頼度で重み付けした値を最
終的な変換値とすることを特徴とする請求項２から１０
のいずれかに記載の画像処理方法としたものであり、画
像入力装置から入力された画像信号を高精度に色変換す
ることができるという作用を有する。According to an eleventh aspect of the present invention, in the conversion processing, a reliability belonging to each color set is calculated, and a value obtained by weighting the value converted by the conversion parameter of each color set with the reliability is used as a final conversion value. 11. The method according to claim 2, wherein
The image processing method according to any one of the above, which has an effect that the image signal input from the image input device can be color-converted with high accuracy.
【００４０】請求項１２に記載の発明は、各画素の色が
属する集合の判定を行う色空間は、画像入力装置の色空
間か、分光反射率色空間か、分光反射率の基底表現色空
間か、XYZ三刺激値色空間であることを特徴とする請求
項２から１１のいずれかに記載の画像処理方法としたも
のであり、色集合の判定を高精度に行うことができると
いう作用を有する。According to a twelfth aspect of the present invention, the color space for determining the set to which the color of each pixel belongs is a color space of the image input device, a spectral reflectance color space, or a base reflectance color space of the spectral reflectance. The image processing method according to any one of claims 2 to 11, characterized in that the image processing method is an XYZ tristimulus value color space. Have.
【００４１】以下、本発明の実施の形態について図面を
参照して詳細に説明する。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
【００４２】（実施の形態１）本実施の形態では、最も
一般的な画像入力系として、RGB3バンドの出力を持つデ
ジタルカメラを想定し、RGB画像データから装置および
照明に依存しないデータである物体の分光反射率を推定
する方法を例にとり説明する。また、説明を簡単にする
ために、カテゴリ数を２とした場合を取り上げる。(Embodiment 1) In the present embodiment, a digital camera having RGB three-band outputs is assumed as the most general image input system, and an object which is data independent of a device and illumination from RGB image data. A method for estimating the spectral reflectance of the image will be described as an example. For the sake of simplicity, the case where the number of categories is 2 will be described.
【００４３】図１は、実施の形態１にかかる入力装置の
RGB画像データから分光反射率画像データを推定する画
像処理装置のブロック図である。FIG. 1 shows an input device according to the first embodiment.
FIG. 3 is a block diagram of an image processing device that estimates spectral reflectance image data from RGB image data.
【００４４】図１において、１０１はＲＧＢ3バンドの
画像データを取得する画像入力装置、１０２は入力画像
であり、前処理の際は色票の画像、変換処理の際には変
換処理対象の画像である。１０３は入力画像１０２を記
憶する入力画像記憶部、１０４は前処理の際に入力され
る画像データである色票画像データ、１０５は色票画像
データと予め既知の色票の分光反射率データから、同一
の変換パラメータで変換が可能な色を集合とした色集合
を決定する色集合決定部、１０６は色集合決定部で決定
された色集合の範囲を表す色集合パラメータ、１０７は
色集合パラメータ１０６を記憶する色集合記憶部、１０
８は色集合毎の変換パラメータを決定する色集合毎変換
パラメータ決定部、１０９は色集合毎変換パラメータ決
定部１０８で決定された色集合毎の変換パラメータ、１
１０は色集合毎の変換パラメータ１０９を記憶する変換
パラメータ記憶部、１１１は入力画像記憶部１０３に記
憶されている変換処理対象の画像１０２から１画素ずつ
読み出される注目画像データ、１１２は注目画像データ
１１１が属する色集合を判定する色集合判定部、１１３
は色集合判定部１１２で判定された色集合の番号を信号
値とする色集合信号、１１４は注目画像データ１１１を
色集合信号１１３で指示された色集合の変換パラメータ
１０９を用いて分光反射率を推定する分光反射率推定
部、１１６は注目画像データの変換処理が終了したこと
を指示する制御信号、１１７は入力画像１０２の各画素
の処理制御を行う全体制御部、１１８は分光反射率デー
タを記録する画像記録部、１１９は画像処理装置、１２
０は画像処理装置１１９から出力される分光反射率画像
である。In FIG. 1, reference numeral 101 denotes an image input device for acquiring image data of three RGB bands, reference numeral 102 denotes an input image, which is an image of a color chart at the time of pre-processing and an image of a conversion processing at the time of conversion. is there. Reference numeral 103 denotes an input image storage unit that stores the input image 102; 104, color patch image data which is image data input at the time of preprocessing; 105, based on color patch image data and spectral reflectance data of a known color patch. A color set determining unit that determines a color set including colors that can be converted with the same conversion parameter; 106, a color set parameter representing a range of the color set determined by the color set determining unit; 107, a color set parameter A color set storage unit for storing 106;
Reference numeral 8 denotes a conversion parameter determining unit for each color set which determines a conversion parameter for each color set. Reference numeral 109 denotes a conversion parameter for each color set determined by the conversion parameter determining unit 108 for each color set.
Reference numeral 10 denotes a conversion parameter storage unit that stores a conversion parameter 109 for each color set, 111 denotes target image data read out one pixel at a time from the conversion processing target image 102 stored in the input image storage unit 103, and 112 denotes target image data A color set determination unit 113 for determining a color set to which the 111 belongs;
Is a color set signal whose signal value is the color set number determined by the color set determination unit 112, and 114 is the spectral reflectance of the target image data 111 using the color set conversion parameter 109 specified by the color set signal 113. , A control signal instructing that the conversion process of the image data of interest has been completed, 117 an overall control unit for controlling the processing of each pixel of the input image 102, and 118 a spectral reflectance data An image recording unit for recording the image, 119 an image processing device, 12
0 is a spectral reflectance image output from the image processing device 119.
【００４５】図１の画像処理装置の動作を説明する。The operation of the image processing apparatus shown in FIG. 1 will be described.
【００４６】動作は、色票から色集合を決定する前処理
と、実際に入力画像から分光反射率画像を推定する推定
処理の2種類に分けられる。まず、前処理から説明す
る。The operation is divided into two types, a preprocessing for determining a color set from a color chart and an estimation processing for actually estimating a spectral reflectance image from an input image. First, the pre-processing will be described.
【００４７】前処理においては、まず、図２に示すよう
な複数の色から成る色票を画像入力装置１０１で撮り、
入力画像１０２とし入力画像記憶部１０３に記憶され
る。In the preprocessing, first, a color chart composed of a plurality of colors as shown in FIG.
The input image 102 is stored in the input image storage unit 103.
【００４８】入力画像記憶部１０３に記憶された色票の
入力画像１０２は色票画像データ１０４として色集合決
定部１０５に渡され、色集合決定部１０５では色票の色
から同一の変換パラメータで推定可能な色を１つの集合
として複数の色集合を決定する。色集合決定部１０５で
決定された色集合は色集合パラメータ１０６として色集
合記憶部１０７に記憶される。また、色集合毎変換パラ
メータ決定部１０８に渡され、色集合毎に変換パラメー
タを決定する。決定された色集合毎の変換パラメータ１
０９は変換パラメータ記憶部１１０に記憶される。以上
が前処理である。The input image 102 of the color chart stored in the input image storage unit 103 is passed to the color set determining unit 105 as color chart image data 104, and the color set determining unit 105 converts the color of the color chart into the same conversion parameter. A plurality of color sets are determined using the colors that can be estimated as one set. The color set determined by the color set determining unit 105 is stored in the color set storage unit 107 as a color set parameter 106. Also, the conversion parameter is passed to the conversion parameter determination unit 108 for each color set, and the conversion parameter is determined for each color set. Conversion parameter 1 for each determined color set
09 is stored in the conversion parameter storage unit 110. The above is the pre-processing.
【００４９】前処理は、画像入力装置が変わった場合や
被写体の照明や環境が変更された場合、あるいは被写体
の種類が変更された場合などに行うことが望ましい。The pre-processing is desirably performed when the image input device changes, when the illumination or environment of the subject changes, or when the type of the subject changes.
【００５０】次に、入力画像から分光反射率画像の推定
処理の動作を説明する。画像入力装置１０１から被写体
の画像を入力し、入力画像記憶部１０３に記憶する。全
体制御部１１７の指示により入力画像記憶部１０３から
順次画素が1画素ずつ読み出され、注目画像データ１１
１としていろ集合判定部１１２に渡される。色集合判定
部１１２では、注目画像データ１１１が属する色集合が
いずれであるかを判定し、該当する色集合の番号値を色
集合信号１１３として出力する。色集合信号１１３の信
号値に応じて変換パラメータ１０９が変換パラメータ記
憶部１１０から読み出され、分光反射率推定部１１４で
前記変換パラメータを用いて分光反射率データ１１５が
推定される。推定された分光反射率データ１１５は画像
記録部１１８に記録される。以上の注目画像データの推
定処理が終了すると制御信号１１６が全体制御部１１７
に発せられ、次の注目画像データ１１１が入力画像記憶
部１０３から読み出される。以上を入力画像１０２の画
素全体に対して繰り返す。Next, the operation of estimating the spectral reflectance image from the input image will be described. An image of a subject is input from the image input device 101 and stored in the input image storage unit 103. Pixels are sequentially read out one by one from the input image storage unit 103 in accordance with an instruction from the overall control unit 117, and the target image data 11
It is passed to the color set determination unit 112 as 1. The color set determination unit 112 determines which color set the image data 111 of interest belongs to, and outputs the number value of the corresponding color set as a color set signal 113. The conversion parameter 109 is read from the conversion parameter storage unit 110 according to the signal value of the color set signal 113, and the spectral reflectance estimating unit 114 estimates spectral reflectance data 115 using the conversion parameter. The estimated spectral reflectance data 115 is recorded in the image recording unit 118. When the above-described process of estimating the target image data is completed, the control signal 116 is output to the overall control unit 117.
And the next image data of interest 111 is read from the input image storage unit 103. The above is repeated for all the pixels of the input image 102.
【００５１】次に、本発明の特徴となる色集合を決定す
るための前処理を担う色集合決定部１０５、色集合毎変
換パラメータ決定部１０８の動作の詳細について説明す
る。Next, details of the operations of the color set determining unit 105 and the color set-specific conversion parameter determining unit 108, which perform preprocessing for determining a color set, which is a feature of the present invention, will be described.
【００５２】色集合決定部１０５は、同一の変換パラメ
ータで変換可能な色の範囲を決定するものであり、色票
の画像データ１０４を用いて算出する方法と、ユーザが
指定する方法とがある。The color set determining unit 105 determines the range of colors that can be converted with the same conversion parameters, and there are a method of calculating using the color patch image data 104 and a method of specifying by the user. .
【００５３】まず、色票の画像データ１０４を用いて色
集合を算出する方法について説明する。色票は入力画像
の主な構成色から形成されている。First, a method of calculating a color set using the image data 104 of the color chart will be described. The color chart is formed from the main constituent colors of the input image.
【００５４】変換処理である分光反射率の推定を重回帰
分析で行う場合、分析に用いる色票の推定値との平均二
乗推定誤差が最小となるように変換パラメータが決定さ
れる。このとき、分析に用いる色票が正規分布であり、
かつモデルの誤差が平均０の正規分布に従っていると
き、最尤推定解は重回帰分析による推定値すなわち最小
二乗解と合致することが知られている。When the spectral reflectance estimation, which is the conversion process, is performed by multiple regression analysis, the conversion parameters are determined so that the mean square estimation error with the estimated value of the color chart used in the analysis is minimized. At this time, the color chart used for the analysis is a normal distribution,
It is known that the maximum likelihood estimation solution matches the estimation value by multiple regression analysis, that is, the least squares solution when the error of the model follows a normal distribution with a mean of 0.
【００５５】そこで、色票の中から正規分布を成す複数
の色を色集合として選択し、同一の変換パラメータで重
回帰分布を行うことで、色票の各色にとって最適な推定
結果が得られる回帰行列を求めることを提案する。色集
合の説明図を図３に示す。Therefore, a plurality of colors forming a normal distribution are selected from the color charts as a color set, and a multiple regression distribution is performed with the same conversion parameter, thereby obtaining an optimal estimation result for each color of the color chart. We propose to find the matrix. An explanatory diagram of the color set is shown in FIG.
【００５６】各色集合が正規分布を成すように色集合を
算出する方法には複数の方法が考えられるが、ここで
は、次のような手順で行う。There are a plurality of methods for calculating a color set so that each color set forms a normal distribution. Here, the method is performed in the following procedure.
【００５７】図４は色集合算出手順である。FIG. 4 shows a color set calculation procedure.
【００５８】まず、手順４０１ですべての色票を用いて
重回帰分析を行う。重回帰分析による分光反射率の推定
式を（数５）に示す。First, in step 401, a multiple regression analysis is performed using all color patches. The equation for estimating the spectral reflectance by multiple regression analysis is shown in (Equation 5).
【００５９】[0059]
【数５】 （数５）で、xは分光反射率を離散化した値であり例え
ば380nmから780nmを10nmおきに離散化した場合(r1,r2,r
3,…,r31)tの31次元ベクトルとなる。x'は重回帰分析に
よる推定値である。dは画像入力装置のRGB値であり、
(r,g,b)tの3次元ベクトルとするか、あるいは、多項ま
で拡張した(r2,g2,b2,rg,rb,gb,r,g,b,1)の10次元ベク
トルとする。大文字のX,Dはそれぞれ分析に用いる色票
のベクトルx、ベクトルdを列として並べた行列を意味す
る。すなわち、手順４０１ではすべての色票を用いて行
列X,Dを作成し、変換パラメータである行列Mを得る。な
お、ここで用いる色票の分光反射率は予め測色計で計測
しておく。(Equation 5) In (Equation 5), x is a value obtained by discretizing the spectral reflectance, for example, when 380 nm to 780 nm are discretized every 10 nm (r1, r2, r
3, ..., r31) It is a 31-dimensional vector of t . x 'is an estimated value by multiple regression analysis. d is the RGB value of the image input device,
(r, g, b) t- dimensional vector or t- dimensional vector (r 2 , g 2 , b 2 , rg, rb, gb, r, g, b, 1) extended to polynomial And Uppercase letters X and D mean a matrix in which the color chart vectors x and d used for analysis are arranged as columns. That is, in step 401, matrices X and D are created using all the color charts, and a matrix M as a conversion parameter is obtained. The spectral reflectance of the color chart used here is measured by a colorimeter in advance.
【００６０】次に、手順４０２で、（数５）を用いて、
各色票の分光反射率の推定値x'を算出し、実測値xとの
二乗誤差を求める。Next, in step 402, using (Equation 5),
The estimated value x ′ of the spectral reflectance of each color chart is calculated, and the square error with the actually measured value x is obtained.
【００６１】手順４０３で、二乗誤差が予め決められた
閾値よりも大きい色票番号を求め、誤差が閾値よりも小
さい色票は色集合１と決定される。In step 403, a color chart number whose square error is larger than a predetermined threshold is determined, and a color chart whose error is smaller than the threshold is determined as color set 1.
【００６２】手順４０４で、手順４０３で求めた誤差の
大きい色票のうち、色が類似しているものをグループ化
し、グループ化された色票をそれぞれ異なる色集合と決
定し、色集合２以降と名づける。In step 404, among the color patches having a large error obtained in step 403, color patches having similar colors are grouped, and the grouped color patches are determined as different color sets. Name it.
【００６３】手順４０５で、２以降の色集合で、その色
集合の示す色範囲を算出する。例えば、色集合に属する
色の平均色をとり、平均色から例えば変数radiusで指定
した範囲をその色集合の示す色範囲とする。変数radius
として例えば0.1(R,G,Bをそれぞれ0〜1で表現した場合)
の値を用いれば、平均色から半径0.1の範囲がその色集
合の示す色範囲となる。In step 405, the color range indicated by the color set is calculated for the second and subsequent color sets. For example, the average color of the colors belonging to the color set is taken, and a range specified by, for example, the variable radius from the average color is set as a color range indicated by the color set. Variable radius
For example, 0.1 (when R, G, B are each represented by 0 to 1)
Is used, a range having a radius of 0.1 from the average color is the color range indicated by the color set.
【００６４】以上で求められた、色集合と色集合の示す
色範囲を色集合パラメータ１０６として色集合記憶部１
０７に記憶しておく。色集合の示す色範囲の概念図を図
５に示す。The color set and the color range indicated by the color set obtained as described above are used as color set parameters 106 in the color set storage unit 1.
07. FIG. 5 is a conceptual diagram of the color range indicated by the color set.
【００６５】このように、実際に変換パラメータで変換
したときの誤差が大きい色票を取り除くことで、残った
色票の分布は正規分布に近づいて行くことが実験から判
明している。このように、正規分布により近い色票で重
回帰分析を行うと、すべての色票において推定精度が向
上する。それに対し、任意の色票を取り除いた場合、す
なわち、色票の分布を考慮しなかった場合には、分析に
用いる色票の数は少なくなるものの、精度が上がる色票
と下がる色票が混在してしまうため好ましくない。この
点が本発明の特徴である。It has been found from experiments that the distribution of the remaining color patches approaches a normal distribution by removing the color patches having a large error when actually converted by the conversion parameters. As described above, when the multiple regression analysis is performed on the color patches closer to the normal distribution, the estimation accuracy is improved for all the color patches. On the other hand, when an arbitrary color chart is removed, that is, when the distribution of the color chart is not considered, the number of color charts used for analysis is reduced, but color charts with higher accuracy and lower color charts are mixed. Is not preferred. This is a feature of the present invention.
【００６６】また、色集合決定方法のもう１つの方法と
してユーザが指定する方法について説明する。これから
変換処理される入力画像によっては、ユーザが入力画像
の特徴を把握し、色集合とする色を指定した方が効率よ
く推定を行うことができることがある。例えば、人間の
肌が多い入力画像を対象とする場合は、色票に肌色を多
く用い、そして肌色に近い色を１つの色集合として決定
すればよい。図６は色集合をユーザが指示する場合の説
明図である。ディスプレイには、画像入力装置１０１か
ら入力された色票の画像が表示されている。この各色票
を分割して色集合に割り振る。このときユーザが指定す
るのは、色集合2以降の色票である。例えば、色集合２
には、肌色近辺の色票を割り振り、色集合３には、木々
の緑色近辺の色票を割り振る。色集合１は、色集合２、
３で指定された色票の残りが自動的に登録される。A description will be given of another method of determining a color set by a user. Depending on the input image to be converted in the future, it may be possible to perform the estimation more efficiently if the user grasps the characteristics of the input image and specifies a color to be a color set. For example, when an input image having a lot of human skin is to be used, a lot of skin colors may be used for the color chart, and a color close to the skin color may be determined as one color set. FIG. 6 is an explanatory diagram in the case where a user designates a color set. On the display, an image of a color chart input from the image input device 101 is displayed. Each color chart is divided and assigned to a color set. At this time, the user designates a color chart of the color set 2 or later. For example, color set 2
Is assigned a color patch near the skin color, and a color set 3 is assigned a color patch near the green color of the trees. Color set 1 is color set 2,
The rest of the color chart specified in 3 is automatically registered.
【００６７】以上で、ユーザが色集合を指定する方法の
説明を終える。This concludes the description of the method by which the user specifies a color set.
【００６８】次に、色集合毎変換パラメータ決定部１０
８の詳細な動作について説明する。Next, the conversion parameter determination unit 10 for each color set
8 will be described in detail.
【００６９】変換パラメータとは、分光反射率推定を重
回帰分析で行う場合、（数５）の行列Mを指す。まず、
色集合１の変換パラメータすなわち行列Mは、（数５）
で求めることができる。The conversion parameter refers to a matrix M in (Equation 5) when spectral reflectance estimation is performed by multiple regression analysis. First,
The conversion parameter of the color set 1, that is, the matrix M is given by (Equation 5)
Can be obtained by
【００７０】２以降の色集合の変換パラメータは、色集
合１と同様に、その色集合に属する色票のみを用いて行
列X,Dを作って求めてもよい。しかし、そのような求め
方は、色集合２以降の色集合では、困難なことが多い。
その理由は以下の2点である。Similar to the color set 1, the conversion parameters of the second and subsequent color sets may be obtained by forming matrices X and D using only the color charts belonging to the color set. However, such a method is often difficult for the color set 2 and subsequent color sets.
The reasons are the following two points.
【００７１】（１）色集合の要素数が少ないことが多
い。行列Mを拘束条件なしで求めるには、最低限、ベク
トルdの次元数と同数のデータを必要である。(1) The number of elements in a color set is often small. In order to obtain the matrix M without any constraint, at least the same number of data as the number of dimensions of the vector d is required.
【００７２】（２）色票が入力画像内の色を再現するの
に十分バラエティに富んでいれば色集合のみに属する色
票だけを用いてもよいが、そうでない場合に色集合のみ
に属する色票だけで変換パラメータを求めると色票から
ずれた色はうまく推定することができない。(2) If the color patches are sufficiently varied to reproduce the colors in the input image, only the color patches belonging to the color set alone may be used, but if not, the color patches belong to only the color set. If the conversion parameter is obtained only from the color chart, the color shifted from the color chart cannot be estimated well.
【００７３】そこで、本発明では、2以降の色集合で
は、色集合内の色票に加え色集合外の色票も用い、色集
合内の色票は色集合外の色票よりも大きく重み付けして
変換パラメータ行列Mを求めることを提案する。行列Mの
算出は色票の平均二乗誤差が最小となるように決定され
るため、色集合内の色票の誤差が他より重み付けされて
平均二乗誤差を求めることになる。Therefore, in the present invention, in the second and subsequent color sets, color patches outside the color set are used in addition to color patches in the color set, and the color patches in the color set are weighted more heavily than the color patches outside the color set. Then, it is proposed to obtain the transformation parameter matrix M. Since the calculation of the matrix M is determined so that the mean square error of the color chart is minimized, the error of the color chart in the color set is weighted more than others to determine the mean square error.
【００７４】具体的には、2以降の各色集合の変換パラ
メータを図７の手順で求める。例として色集合２の場合
をとって説明する。More specifically, the conversion parameters of the second and subsequent color sets are obtained by the procedure shown in FIG. The case of color set 2 will be described as an example.
【００７５】手順７０１で色集合２内の色票に与える重
みWを設定し、色集合２内の色票は色集合２外の色票よ
りも大きく重み付けして（数５）で重回帰分析の行列M
を求める。このとき用いる色集合２外の色票は色集合１
に属する色票とする。重み付けによる行列X,Dの説明図
を図８に示す。このように、色集合２内の色票のデータ
を重みWの分だけ増加させればよい。In step 701, the weight W to be given to the color patches in the color set 2 is set, and the color patches in the color set 2 are weighted more than the color patches outside the color set 2, and multiple regression analysis is performed by (Expression 5). Matrix M
Ask for. The color chart outside the color set 2 used at this time is the color set 1
It belongs to the color chart. FIG. 8 is an explanatory diagram of the matrices X and D by weighting. Thus, the data of the color chart in the color set 2 may be increased by the weight W.
【００７６】次に手順７０２で、手順７０１で求めた行
列Mを用いて得られる分光反射率の推定値と実測値との
誤差を色集合２および色集合２外の色票で求める。Next, in step 702, the error between the estimated value of the spectral reflectance obtained by using the matrix M obtained in step 701 and the actually measured value is determined using the color set 2 and the color chart outside the color set 2.
【００７７】手順７０３で、色集合2内の色票の誤差が
予め決められた閾値よりも大きい場合には、色集合２外
の色票のうち誤差が予め決められた閾値よりも大きい色
票を除去し、再度数1で行列Mを求める。そうでなけれ
ば、処理を終了しこの時点で求められた行列Mを色集合
２の変換パラメータと決定する。If the error of the color chart in the color set 2 is larger than the predetermined threshold value in the step 703, the color chart whose error is larger than the predetermined threshold value among the color charts outside the color set 2 is determined. Is removed, and the matrix M is obtained again by Equation 1. Otherwise, the process is terminated, and the matrix M obtained at this time is determined as the conversion parameter of the color set 2.
【００７８】手順７０４で、手順７０２で求めた行列M
を用いて得られる分光反射率の推定値と実測値との誤差
を色集合２および色集合２外の色票で求める。In step 704, the matrix M obtained in step 702
Is used to determine the error between the estimated value of the spectral reflectance and the actually measured value using the color set 2 and the color chart outside the color set 2.
【００７９】手順７０５で、色集合2内の色票の誤差が
予め決められた閾値よりも大きい場合には、重みWの値
を増加し再度、手順７０１に戻る。そうでなければ、処
理を終了しこの時点で求められた行列Mを色集合２の変
換パラメータと決定する。If the error of the color chart in the color set 2 is larger than the predetermined threshold value in the step 705, the value of the weight W is increased and the process returns to the step 701 again. Otherwise, the process is terminated, and the matrix M obtained at this time is determined as the conversion parameter of the color set 2.
【００８０】得られた各色集合の変換パラメータすなわ
ち行列Mは変換パラメータ記憶部１１０に記憶される。The obtained conversion parameter of each color set, that is, the matrix M is stored in the conversion parameter storage unit 110.
【００８１】このように、色集合2内の色票の誤差が予
め決められた閾値よりも小さくなるまで繰り返される。As described above, the process is repeated until the error of the color chart in the color set 2 becomes smaller than the predetermined threshold.
【００８２】以上の色集合決定と変換パラメータの決定
方法で得られた変換パラメータを用いれば、色票とした
色については必ず予め決められた閾値よりも小さい誤差
の推定値を得られるという効果がある。The use of the conversion parameters obtained by the above-described color set determination and conversion parameter determination methods has an effect that an estimated value of an error smaller than a predetermined threshold can be always obtained for a color chart color. is there.
【００８３】次に、実際の変換処理を担う色集合判定部
１１２、分光反射率推定部１１４の詳細な動作を説明す
る。Next, the detailed operations of the color set determining unit 112 and the spectral reflectance estimating unit 114 which perform the actual conversion processing will be described.
【００８４】注目画像データ１１１は色集合判定部１１
２で色集合記憶部１０７に記憶されている色集合範囲を
もとに属する色集合を決定される。色集合範囲は、色集
合の中心色とその半径範囲radiusで決められているた
め、例えば色集合２の中心色を(R2,G2,B2)とすれば、
（数６）を満足する場合に注目画像データは色集合２に
属すると判定される。The image data of interest 111 is stored in the color set determination unit 11.
In 2, the color set belonging to the color set range stored in the color set storage unit 107 is determined. Since the color set range is determined by the center color of the color set and its radius range radius, for example, if the center color of color set 2 is (R2, G2, B2),
When Expression 6 is satisfied, the image data of interest is determined to belong to the color set 2.
【００８５】[0085]
【数６】 集合の判定は色集合２からｎまで（nは色集合の総数）
まで行い、2以降のいずれの色集合にも属さない場合
は、色集合１に属すると判定する。(Equation 6) The set is determined from color sets 2 to n (n is the total number of color sets)
If it does not belong to any of the second and subsequent color sets, it is determined that it belongs to color set 1.
【００８６】判定された色集合の番号は色集合信号１１
３として分光反射率推定部１１４に渡される。The number of the determined color set is the color set signal 11
3 is passed to the spectral reflectance estimating unit 114.
【００８７】以上の色集合の判定はRGB色空間で行った
が、各色集合の範囲を別の色空間で行っても判定を行う
ことができる。例えば、色集合に属す色票の分光反射率
の中心色と半径で表すことができる。あるいは、分光反
射率を基底表現することで次元数を削減し、色集合に属
す色票の分光反射率の基底係数の中心色と半径で表すこ
とができる。あるいは、色集合に属す色票のXYZ三刺激
値の中心色と半径で表すことができる。Although the above-described determination of the color set is performed in the RGB color space, the determination can be performed by performing the range of each color set in another color space. For example, it can be represented by the center color and radius of the spectral reflectance of a color chart belonging to a color set. Alternatively, it is possible to reduce the number of dimensions by expressing the spectral reflectance as a basis, and to express the spectral reflectance by the center color and radius of the basis coefficient of the spectral reflectance of the color chart belonging to the color set. Alternatively, it can be represented by the center color and the radius of the XYZ tristimulus values of the color chart belonging to the color set.
【００８８】これらの場合には、色票全体を用いて算出
される行列Mを用いてRGBから一度仮の分光反射率、ある
いは分光反射率の基底係数、あるいはXYZ三刺激値を算
出し、この仮値から色集合を判定すればRGB空間の場合
と全く同様の動作でよい。In these cases, a temporary spectral reflectance, a basis coefficient of the spectral reflectance, or an XYZ tristimulus value is calculated once from RGB using a matrix M calculated using the entire color chart. If the color set is determined from the provisional values, the same operation as in the case of the RGB space is sufficient.
【００８９】次に、分光反射率推定部１１４は、変換パ
ラメータ記憶部１１０から色集合信号１１３に基づいた
行列Mを読み出し、（数５）で分光反射率を推定する。
図９に説明図を示す。Next, the spectral reflectance estimating unit 114 reads the matrix M based on the color set signal 113 from the conversion parameter storage unit 110, and estimates the spectral reflectance by (Equation 5).
FIG. 9 shows an explanatory diagram.
【００９０】以上の説明において、分光反射率の推定は
重回帰分析で行うとしたが、ニューラルネットワーク
や、何らかの拘束条件を加えたペナルティ関数を作成し
ペナルティ関数値の最小値を再帰的に探索する方法で行
うこともできる。変換パラメータは、いずれの推定方法
を用いるかによって異なってくる。In the above description, the spectral reflectance is estimated by multiple regression analysis. However, a neural network or a penalty function to which some constraint condition is added is created, and the minimum value of the penalty function value is recursively searched. The method can also be performed. The conversion parameters differ depending on which estimation method is used.
【００９１】図１の画像処理装置のシステム応用例を図
１０に示す。図１０において、１１９は本実施例に開示
した画像処理装置、1００１がディスプレイ、1００２が
プリンタである。画像入力装置１０１で被写体の画像が
入力され、画像処理装置１１９内の処理により分光反射
率画像１２０が出力される。分光反射率画像１２０はデ
ィスプレイ1００１あるいはプリンタ１００２に渡さ
れ、各装置の信号に変換されてからディスプレイ1００
１上に表示されたり、あるいは、プリンタ1００２から
出力される。分光反射率画像１２０から各装置への信号
の変換は、ディスプレイ1００１あるいはプリンタ1００
２の内部のＣＰＵで行ってもよいし、あるいは、別途の
パーソナルコンピュータなどの演算処理装置で行ってか
らディスプレイ1００１あるいはプリンタ１００２に渡
してもよい。また、画像処理装置１１９の処理をすべ
て、画像入力装置１０１内部のCPUで行ってもよい。FIG. 10 shows a system application example of the image processing apparatus of FIG. In FIG. 10, reference numeral 119 denotes an image processing apparatus disclosed in the present embodiment, 1001 denotes a display, and 1002 denotes a printer. An image of a subject is input by the image input device 101, and a spectral reflectance image 120 is output by processing in the image processing device 119. The spectral reflectance image 120 is passed to the display 1001 or the printer 1002, and is converted into a signal of each device.
1 or output from the printer 1002. The conversion of the signal from the spectral reflectance image 120 to each device is performed on the display 1001 or the printer 100.
2, or may be performed by a separate processing unit such as a personal computer and then transferred to the display 1001 or the printer 1002. Further, all the processing of the image processing apparatus 119 may be performed by the CPU inside the image input apparatus 101.
【００９２】このような図１０のシステムでは、入力さ
れた画像を一度、装置あるいは装置および照明に依存し
ない色データに変換してから、各出力装置の信号に変換
することで、物体の本当の色をディスプレイやプリンタ
に出力することができるようになる。In the system shown in FIG. 10, the input image is converted once into color data that does not depend on the device or the device and the illumination, and then converted into the signal of each output device. Colors can be output to displays and printers.
【００９３】この応用例のように、得られた分光反射率
画像１２０をディスプレイやプリンタに出力して、人間
が観察する場合には、各カテゴリの領域の境界で偽輪郭
が生じることがある。これは、各画素毎に色集合判定を
して異なる方法で分光反射率を推定したことに因る。As in this application example, when the obtained spectral reflectance image 120 is output to a display or a printer and observed by a human, a false contour may occur at the boundary between the regions of each category. This is because the color set was determined for each pixel and the spectral reflectance was estimated by a different method.
【００９４】このような問題を解決するためには、次の
ような方法をとればよい。To solve such a problem, the following method may be adopted.
【００９５】各画素が色集合１以外の色集合に属すると
判定された場合には、色集合に属する信頼度Reliabilit
yで重み付けした結果を、最終的な分光反射率とすれば
よい。If it is determined that each pixel belongs to a color set other than the color set 1, the reliability of the color set
The result weighted by y may be used as the final spectral reflectance.
【００９６】信頼度は例えば、色集合中心からの距離を
色集合半径Radiusで割った値を用いればよい。As the reliability, for example, a value obtained by dividing the distance from the center of the color set by the radius of the color set Radius may be used.
【００９７】以上の実施の形態の説明では、変換先の色
データを分光反射率としているが、分光反射率の代わり
にXYZ三刺激値を入力画像から直接推定してもよい。こ
の場合には、上記の説明における分光反射率をそのまま
XYZ三刺激値と読み替えればよい。In the above description of the embodiment, the color data of the conversion destination is the spectral reflectance, but the XYZ tristimulus values may be directly estimated from the input image instead of the spectral reflectance. In this case, the spectral reflectance in the above description is used as it is.
What should be read as XYZ tristimulus values.
【００９８】なお、本実施の形態では、RGB３バンドの
画像入力部について説明を行っているが、フィルタをRG
Bだけでなく、より数多く増やした場合にも本手法を同
様に適用することができる。また、画像入力部はデジタ
ルカメラだけでなく、スキャナや、アナログ出力をデジ
タイズしたデータとしてもよいし、更に動画の各画像に
本処理を適用してもよい。In the present embodiment, the description has been given of the image input section of the three RGB bands.
The present method can be similarly applied to not only B but also to a larger number. Further, the image input unit may be not only a digital camera but also a scanner or digitized data of an analog output, or the present process may be applied to each image of a moving image.
【００９９】また、本発明は、図１における画像処理装
置の動作をＣＤＲＯＭに記憶し、ＣＤＲＯＭに記憶して
あるプログラムをＰＣ上のＲＡＭにダウンロードし、PC
上のCPUに色推定手段の処理を行わせるものである。ま
たは、画像入力装置内のROMに記憶しておき、画像入力
装置内のCPUに前記手段の処理を行わせるものである。
この場合には、画像入力装置から出力される画像データ
は、入力装置に固有の色空間表示ではなく、装置あるい
は装置及び照明に依存しない色空間の画像データとなる
ため、従来のようにコンピュータ上に色推定手段をイン
ストールする手間が省けるため、コンピュータや色変換
に詳しくない一般ユーザーにも簡易に扱うことができる
という利点を持つ。ただし、入力装置のRGB画像データ
の取得も、モードを変えることでできるようにしておく
と、従来装置との整合性もとれて良い。Further, according to the present invention, the operation of the image processing apparatus shown in FIG. 1 is stored in a CDROM, and a program stored in the CDROM is downloaded to a RAM on a PC.
This is to make the CPU above perform the processing of the color estimating means. Alternatively, it is stored in a ROM in the image input device, and causes the CPU in the image input device to perform the processing of the means.
In this case, the image data output from the image input device is not a color space display unique to the input device, but is image data in a color space independent of the device or the device and the illumination. This eliminates the need to install the color estimation means in the computer, and has the advantage that ordinary users who are not familiar with computers and color conversion can easily handle it. However, if the RGB image data of the input device can also be obtained by changing the mode, consistency with the conventional device can be obtained.
【０１００】以上のように、本実施の形態によれば、画
像入力装置から入力された画像信号を変換する際に、予
め、入力した色票の画像信号を用いて同一の変換パラメ
ータで変換できる色を集合として色集合を決定し、その
変換パラメータを色集合内の色は大きく重み付けし集合
外の色は小さく重み付けして算出しておき、変換時には
入力された画像信号の各画素がどの色集合に属するかを
判定し、判定された集合の変換パラメータを用いて変換
処理することで、色票とした色は特に精度良く、色票以
外の色も精度良く入力画像データから装置あるいは装置
および照明に依存しない色データを推定することができ
る。As described above, according to the present embodiment, when converting an image signal input from an image input device, the image signal of the input color chart can be converted in advance using the same conversion parameters. A color set is determined using the colors as a set, and its conversion parameters are calculated by weighting the colors in the color set with a large weight and the colors outside the set with a small weight, and determining which color of each pixel of the input image signal at the time of conversion. By determining whether a color belongs to a set, and performing a conversion process using the conversion parameters of the determined set, the color as a color patch is particularly accurate, and the colors other than the color patch are also accurately determined from the input image data by the device or the device and the device. Color data independent of illumination can be estimated.
【０１０１】[0101]
【発明の効果】以上のように本発明によれば、画像入力
装置から入力されたカラー画像データを高精度に装置あ
るいは装置および照明に依存しない色空間に高精度に変
換する画像処理方法及び画像処理装置を提供することが
できる。As described above, according to the present invention, there is provided an image processing method and an image processing method for converting color image data input from an image input device to a color space which does not depend on the device or the device and the illumination with high accuracy. A processing device can be provided.
【図１】本発明の実施の形態１にかかる画像処理装置の
ブロック図FIG. 1 is a block diagram of an image processing apparatus according to a first embodiment of the present invention;
【図２】実施の形態１にかかる色票の説明図FIG. 2 is an explanatory diagram of a color chart according to the first embodiment;
【図３】実施の形態１にかかる色集合の説明図FIG. 3 is an explanatory diagram of a color set according to the first embodiment;
【図４】実施の形態１にかかる色集合決定部１０５の動
作手順を示す図FIG. 4 is a diagram showing an operation procedure of a color set determining unit 105 according to the first embodiment.
【図５】実施の形態１にかかる色集合範囲の概念図FIG. 5 is a conceptual diagram of a color set range according to the first embodiment;
【図６】実施の形態１にかかる色集合ユーザ指定の説明
図FIG. 6 is an explanatory diagram of a color set user designation according to the first embodiment;
【図７】実施の形態１にかかる色集合毎変換パラメータ
決定部１０８の動作手順を示す図FIG. 7 is a diagram showing an operation procedure of a conversion parameter determining unit for each color set according to the first embodiment;
【図８】実施の形態１にかかる重み付け重回帰分析の説
明図FIG. 8 is an explanatory diagram of a weighted multiple regression analysis according to the first embodiment;
【図９】実施の形態１にかかる分光反射率推定部１１４
の説明図FIG. 9 is a diagram illustrating a spectral reflectance estimating unit 114 according to the first embodiment;
Illustration of
【図１０】実施の形態１にかかる画像処理装置のシステ
ム応用例図FIG. 10 is a system application example diagram of the image processing apparatus according to the first embodiment;
【図１１】従来例１における画像処理手順を示す図FIG. 11 is a diagram showing an image processing procedure in Conventional Example 1.
【図１２】従来例２における画像処理手順を示す図FIG. 12 is a diagram showing an image processing procedure in Conventional Example 2;
１０１ 画像入力装置 １０２ 入力画像 １０３ 入力画像記憶部 １０４ 色票画像データ １０５ 色集合決定部 １０６ 色集合パラメータ １０７ 色集合記憶部 １０８ 色集合毎変換パラメータ決定部 １０９ 変換パラメータ １１０ 変換パラメータ記憶部 １１１ 注目画像データ １１２ 色集合判定部 １１３ 色集合信号 １１４ 分光反射率推定部 １１５ 分光反射率データ １１６ 制御信号 １１７ 全体制御部 １１８ 画像記録部 １１９ 画像処理装置 １２０ 分光反射率画像 Reference Signs List 101 Image input device 102 Input image 103 Input image storage unit 104 Color chart image data 105 Color set determination unit 106 Color set parameter 107 Color set storage unit 108 Each color set conversion parameter determination unit 109 Conversion parameter 110 Conversion parameter storage unit 111 Image of interest Data 112 Color set determination unit 113 Color set signal 114 Spectral reflectance estimation unit 115 Spectral reflectance data 116 Control signal 117 Overall control unit 118 Image recording unit 119 Image processing device 120 Spectral reflectance image
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA11 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE17 CE18 5C066 AA01 AA03 AA05 BA20 CA05 CA27 EA05 EB01 EE04 GA01 KD06 KE03 KE04 KE09 KE17 KP03 5C077 LL19 MP08 PP32 PP43 PQ11 5C079 HB01 HB05 HB11 LA02 LB02 MA10 MA11 NA03 NA15 NA29 PA03 PA05 ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference) HB01 HB05 HB11 LA02 LB02 MA10 MA11 NA03 NA15 NA29 PA03 PA05
Claims (12)
変換する際に、入力した色票の画像信号を用いて、予め
同一の変換パラメータで変換する色集合を決定する色集
合決定手段と、予め前記色集合毎の変換パラメータを決
定するパラメータ決定手段と、前記画像信号が属する色
集合を決定する色集合決定手段と、前記色集合決定手段
によって決定された色集合の変換パラメータを用いて注
目画素の色を変換する変換処理手段とを具備することを
特徴とする画像処理装置。1. A color set determining means for determining a color set to be converted with the same conversion parameter in advance by using an image signal of an input color chart when converting an image signal input from an image input device; Attention is paid to using a parameter determining means for determining a conversion parameter for each color set in advance, a color set determining means for determining a color set to which the image signal belongs, and a color set conversion parameter determined by the color set determining means. An image processing apparatus comprising: a conversion processing unit configured to convert a color of a pixel.
変換する際に、予め、入力した色票の画像信号を用いて
同一の変換パラメータで変換すべき色集合とその変換パ
ラメータを決定しておき、変換時には入力された画像信
号の各画素がどの色集合に属するかを判定し、判定され
た集合の変換パラメータを用いて変換処理することを特
徴とする画像処理方法。2. When converting an image signal input from an image input device, a color set to be converted with the same conversion parameter and its conversion parameter are determined in advance by using the input image signal of the color chart. An image processing method comprising: determining which color set each pixel of an input image signal belongs to at the time of conversion; and performing conversion processing using conversion parameters of the determined set.
画像入力装置あるいは装置および照明に依存しない色デ
ータに変換することを特徴とする請求項２記載の画像処
理方法。3. The image processing method according to claim 2, wherein said conversion process converts the input image signal into color data independent of an image input device or device and illumination.
性質が合致しない色票を除去することで行うことを特徴
とする請求項２または3記載の画像処理方法。4. The image processing method according to claim 2, wherein the determination of the color set is performed by removing color patches whose statistical properties do not match among the color patches.
特徴とする請求項４記載の画像処理方法。5. The image processing method according to claim 4, wherein said statistical property is a normal distribution.
を用いて変換パラメータを算出して変換誤差を求め、変
換誤差が大きい色票を除去した色票を１つの色集合と
し、また変換誤差が大きい各色票をそれぞれ色集合とす
ることを特徴とする請求項２から５のいずれかに記載の
画像処理方法。6. The color set is determined by first calculating a conversion parameter using all color patches to determine a conversion error, and removing a color patch having a large conversion error into one color set. 6. The image processing method according to claim 2, wherein each color chart having a large conversion error is set as a color set.
される色票をそれぞれ色集合とすることを特徴とする請
求項２から５のいずれかに記載の画像処理方法。7. The image processing method according to claim 2, wherein in the determination of the color set, each color chart important in the conversion process is set as a color set.
ことを特徴とする請求項２から５のいずれかに記載の画
像処理方法。8. The image processing method according to claim 2, wherein the color set is determined by a user.
集合に属する色票の統計的性質を算出して決定すること
を特徴とする請求項２から８のいずれかに記載の画像処
理方法。9. The image processing method according to claim 2, wherein the conversion parameter for each color set is determined by calculating a statistical property of a color chart belonging to each color set.
色集合に属する色票は大きく重み付けし色集合に属さな
い色票は小さく重み付けして統計的性質を算出し決定す
ることを特徴とする請求項２から８のいずれかに記載の
画像処理方法。10. A conversion parameter for each color set, wherein color patches belonging to each color set are weighted heavily, and color patches not belonging to a color set are weighted small to calculate and determine a statistical property. Item 9. The image processing method according to any one of Items 2 to 8.
頼度を算出し、各色集合の変換パラメータで変換した値
を信頼度で重み付けした値を最終的な変換値とすること
を特徴とする請求項２から１０のいずれかに記載の画像
処理方法。11. The conversion process according to claim 1, wherein a reliability value belonging to each color set is calculated, and a value obtained by weighting the value converted by the conversion parameter of each color set with the reliability is used as a final conversion value. Item 11. The image processing method according to any one of Items 2 to 10.
色空間は、画像入力装置の色空間か、分光反射率色空間
か、分光反射率の基底表現色空間か、XYZ三刺激値色空
間であることを特徴とする請求項２から１１のいずれか
に記載の画像処理方法。12. The color space for determining the set to which the color of each pixel belongs is a color space of an image input device, a spectral reflectance color space, a base expression color space of spectral reflectance, an XYZ tristimulus value color. The image processing method according to claim 2, wherein the image processing method is a space.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001063079A JP2002271640A (en) | 2001-03-07 | 2001-03-07 | Image processor and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001063079A JP2002271640A (en) | 2001-03-07 | 2001-03-07 | Image processor and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002271640A true JP2002271640A (en) | 2002-09-20 |
Family
ID=18922125
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001063079A Pending JP2002271640A (en) | 2001-03-07 | 2001-03-07 | Image processor and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002271640A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009081621A (en) * | 2007-09-26 | 2009-04-16 | Fuji Xerox Co Ltd | Image processor, image forming apparatus and program |
-
2001
- 2001-03-07 JP JP2001063079A patent/JP2002271640A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009081621A (en) * | 2007-09-26 | 2009-04-16 | Fuji Xerox Co Ltd | Image processor, image forming apparatus and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6888963B2 (en) | Image processing apparatus and image processing method | |
| EP1854277B1 (en) | Reflectance spectra estimation and colour space conversion using reference reflectance spectra | |
| US9485391B2 (en) | Method, apparatus and program for restoring and correcting surface reflectance with color image processing | |
| US20080317336A1 (en) | Color naming, color categorization and describing color composition of images | |
| WO2004045219A1 (en) | Light source estimating device, light source estimating method, and imaging device and image processing method | |
| JPH09508768A (en) | Method and apparatus for converting color scanner signals into colorimetric values | |
| EP3771206B1 (en) | Color correspondence information generation system, program, and color correspondence information generation method | |
| JP2004005566A (en) | Color compiling apparatus and color compiling method | |
| US11576478B2 (en) | Method for simulating the rendering of a make-up product on a body area | |
| JPH08202754A (en) | Lip color advise system and method for the same | |
| JP4506409B2 (en) | Region dividing method and apparatus, image recognition processing apparatus, program, and recording medium | |
| JP2001008220A (en) | Color reproduction system | |
| US20060007458A1 (en) | Method of illuminant adaptation | |
| JP2003503771A (en) | Color characteristics of scanning media using spectral scanner and basic spectral model | |
| JPWO2005124302A1 (en) | Image processing program, image processing apparatus, and image processing method | |
| JP4505213B2 (en) | Method for identifying paint color from computer graphics images | |
| JP2008301258A (en) | Signal processor and signal processing program | |
| JP2002112053A (en) | Creation method and device of color conversion table, computer-readable record medium recording color conversion table creation program | |
| JP2004045189A (en) | Color correction device and color correction method | |
| Chaki et al. | Introduction to image color feature | |
| JP2002271640A (en) | Image processor and image processing method | |
| WO2004012442A1 (en) | Image processing system, apparatus, and method, and color reproduction method | |
| JP2002117402A (en) | Image processing method and device thereof | |
| JP2002027264A (en) | Image processing method and image processor | |
| JP2002077660A (en) | Image processor |