JP2007019713A - Color calibration processor - Google Patents

Color calibration processor Download PDF

Info

Publication number
JP2007019713A
JP2007019713A JP2005197405A JP2005197405A JP2007019713A JP 2007019713 A JP2007019713 A JP 2007019713A JP 2005197405 A JP2005197405 A JP 2005197405A JP 2005197405 A JP2005197405 A JP 2005197405A JP 2007019713 A JP2007019713 A JP 2007019713A
Authority
JP
Japan
Prior art keywords
color
information
source
image
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005197405A
Other languages
Japanese (ja)
Inventor
Sumio Yokomitsu
澄男 横光
Shuji Inoue
修二 井上
Hailin Yan
ハイ リン イェン
Chak Joo Lee
チャー ジュー リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005197405A priority Critical patent/JP2007019713A/en
Priority to PCT/JP2006/313321 priority patent/WO2007004650A1/en
Publication of JP2007019713A publication Critical patent/JP2007019713A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals

Abstract

<P>PROBLEM TO BE SOLVED: To provide a color calibration processor capable of performing color calibration processing fast and reducing the amount of information prepared and held previously for the color calibration processing. <P>SOLUTION: The color calibration processor 1 is equipped with a color set acquisition section 2, an area detection section 4, and a calibration processing section 5. The color set acquisition section 2 acquires a color set including a source color and a reference color from an image obtained by an imaging apparatus, the area detection section 4 detects the object area of color calibration having color information similar to the source color, and the calibration processing section 5 calibrates the color information of the object area of color calibration with color information of the reference color. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、複数の撮像装置から得られた画像に色校正処理を施す色校正処理装置に関するものである。   The present invention relates to a color calibration processing device that performs color calibration processing on images obtained from a plurality of imaging devices.

カメラ画像を用いて人物の行動を追尾監視する人物追尾監視システムでは、カメラから得られた画像にコンピューターで種々の画像処理を施すことにより、カメラに写った人物の行動の追尾監視が行なわれる。このような人物追尾監視システムにおいては、複数のカメラを用いることにより、広い監視領域をカバーすることができる。しかし、これらの複数のカメラはそれぞれ異なった地点に配置され、各カメラが撮影する領域(監視領域)の照明条件もそれぞれ異なる。その結果、これらのカメラで同一の人物を撮影した場合、その人物の画像の色情報がカメラごとに異なり、色情報をもとに人物の追尾監視の画像処理を行なうのが困難になるという問題が生じる。   In a person tracking monitoring system that tracks a person's action using a camera image, the image obtained from the camera is subjected to various image processing by a computer, thereby tracking the action of the person captured by the camera. In such a person tracking monitoring system, a wide monitoring area can be covered by using a plurality of cameras. However, these cameras are arranged at different points, and the illumination conditions of the areas (monitoring areas) photographed by the cameras are also different. As a result, when the same person is photographed with these cameras, the color information of the person's image differs from camera to camera, making it difficult to perform image processing for tracking the person based on the color information. Occurs.

そこで、従来、複数のカメラ画像間において色の恒常性を保つために、各カメラ画像の色情報を校正する方法が知られている。例えば、カラーヒストグラムの相関行列解析と動的プログラミングに基づいた色の校正方法として、距離メトリックとカメラ内部の放射成分を評価するためのモデル関数を用い、複数のカメラの組合わせの色の歪みのモデル関数を導き出す方法が知られている(例えば非特許文献1参照)。また、一の画像の色特性を他の画像の色特性に合わせるように色校正を行なう方法として、Lαβという色空間を用いて色空間の変換を行なう方法が知られている(例えば非特許文献2参照)。また、各カメラにより撮影される場所の照明条件の推定を行なう色の校正方法として、予め線形マップのセットを計算によって求めて保持しておき、この線形マップのセットから一つのペアを選択して照明条件の推定を行なって、各画像の色の校正を行う(色の恒常性を保つ)方法が知られている(例えば非特許文献3参照)。
F. M. Porikli、“Inter-Camera Color Calibration by Correlation Model Function”、[online]、Mitsubishi Electric Research Laboratories、2004年2月、[平成17年5月23日検索]、インターネット〈URL:http://www.merl.com/reports/docs/TR2003-103.pdf〉 E. Reinhard、外3名、“Color Transfer between Images”、IEEE Computer Graphics and Applications、(米国)、University of Utah、2001年、vol. 21、no.5、p.34−41 D. A. Forsyth、“A Novel Algorithm for Color Constancy”、International Journal of Computer Vision、(英国)、Oxford University、1990年8月、Volume 5、Issue 1、p.5−36
Therefore, conventionally, a method of calibrating color information of each camera image is known in order to maintain color constancy between a plurality of camera images. For example, as a color calibration method based on correlation matrix analysis of color histogram and dynamic programming, a distance metric and a model function for evaluating the radiation component inside the camera are used. A method for deriving a model function is known (for example, see Non-Patent Document 1). Further, as a method of performing color calibration so that the color characteristics of one image match the color characteristics of another image, a method of converting a color space using a color space called Lαβ is known (for example, non-patent document). 2). In addition, as a color calibration method for estimating the lighting conditions of a place photographed by each camera, a set of linear maps is obtained in advance by calculation, and one pair is selected from the set of linear maps. A method is known in which the illumination condition is estimated and the color of each image is calibrated (color constancy is maintained) (see, for example, Non-Patent Document 3).
FM Porikli, “Inter-Camera Color Calibration by Correlation Model Function”, [online], Mitsubishi Electric Research Laboratories, February 2004, [May 23, 2005 search], Internet <URL: http: // www. merl.com/reports/docs/TR2003-103.pdf> E. Reinhard, 3 others, “Color Transfer between Images”, IEEE Computer Graphics and Applications, (USA), University of Utah, 2001, vol. 21, no. 5, p.34-41 DA Forsyth, “A Novel Algorithm for Color Constancy”, International Journal of Computer Vision (UK), Oxford University, August 1990, Volume 5, Issue 1, p. 5-36

しかしながら、従来の画像の色校正方法では、色の校正処理を行うためのモデル関数を導出したり、色空間の変換処理を行うので、計算が非常に複雑でありかつ計算量も非常に多い。そのため、コンピューターで演算処理を行うのに時間がかかり、色校正の画像処理をリアルタイムで行うのが難しいという問題があった。また、従来の画像の色校正方法では、照明条件を推定するための線形マップを予め準備しておく等の多くの事前作業が必要であり、その上、事前に準備した非常に多くの情報を色校正処理のために保持しておく必要があるという問題があった。   However, in the conventional image color calibration method, since a model function for performing color calibration processing is derived or color space conversion processing is performed, the calculation is very complicated and the calculation amount is very large. For this reason, there is a problem that it takes time to perform arithmetic processing by a computer and it is difficult to perform image processing for color calibration in real time. In addition, the conventional image color calibration method requires a lot of prior work such as preparing a linear map for estimating the illumination condition in advance, and in addition, a large amount of information prepared in advance is required. There was a problem that it was necessary to retain the color calibration processing.

本発明は、上記従来の問題を解決するためになされたもので、複雑な計算をする必要がなく、色校正処理を高速化することができるとともに、多くの事前準備作業を必要とせず、色校正処理のために事前に準備して保持しておく情報量を減らすことができる色校正処理装置を提供することを目的とする。   The present invention has been made to solve the above-described conventional problems, and does not require complicated calculations, can speed up the color calibration process, and does not require a lot of preparatory work. It is an object of the present invention to provide a color proofing processing apparatus that can reduce the amount of information prepared and held in advance for proofing processing.

本発明の色校正処理装置は、複数の撮像装置で得られる複数の画像から、各画像の校正前のソースカラーと校正用のリファレンスカラーとを含むカラーセットを少なくとも一つ取得するカラーセット取得手段と、前記複数の画像の各々から、各画像に対応するソースカラーに対して所定の類似条件を満たす色情報を有する色校正対象領域を検出する領域検出手段と、前記複数の画像の色校正対象領域の色情報を、リファレンスカラーの色情報にそれぞれ校正する校正処理手段とを備えた構成を有している。   The color calibration processing apparatus of the present invention obtains at least one color set including a source color before calibration of each image and a reference color for calibration from a plurality of images obtained by a plurality of imaging devices. An area detection unit for detecting a color calibration target area having color information satisfying a predetermined similarity condition with respect to a source color corresponding to each image from each of the plurality of images; and a color calibration target of the plurality of images It has a configuration including calibration processing means for calibrating the color information of the area to the color information of the reference color.

この構成により、カラーセット取得手段が、撮像装置で得られる画像からソースカラーとリファレンスカラーとを含むカラーセットを取得する。これにより、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。また、領域検出手段が、ソースカラーに類似する色情報を有する色校正対象領域を検出して、校正処理手段が、前記色校正対象領域の色情報をリファレンスカラーの色情報にそれぞれ校正する。これにより、従来のような複雑な計算をする必要がなく、色校正処理を高速化することができる。   With this configuration, the color set acquisition unit acquires a color set including a source color and a reference color from an image obtained by the imaging apparatus. As a result, the amount of information prepared and held in advance for color proofing processing can be reduced. The area detecting unit detects a color calibration target area having color information similar to the source color, and the calibration processing unit calibrates the color information of the color calibration target area to the color information of the reference color. This eliminates the need for complicated calculations as in the prior art, and can speed up the color proofing process.

また、本発明の色校正処理装置では、前記カラーセット取得手段は、前記各画像における共通オブジェクトの色情報から、前記カラーセットを取得する構成を有している。   In the color calibration processing apparatus of the present invention, the color set acquisition unit acquires the color set from color information of a common object in each image.

この構成により、カラーセット取得手段が、共通オブジェクトの色情報からカラーセットを取得する。ここで、共通オブジェクトとは、撮像された同一の被写体をいい、共通オブジェクトのオリジナルの色情報(被写体が本来有する色情報)は、同じものである。したがって、共通オブジェクトの色情報からカラーセットを取得することにより、取得したカラーセットの色情報の信頼性が向上する。   With this configuration, the color set acquisition unit acquires the color set from the color information of the common object. Here, the common object refers to the same subject that has been imaged, and the original color information (color information that the subject originally has) of the common object is the same. Therefore, by acquiring the color set from the color information of the common object, the reliability of the acquired color information of the color set is improved.

また、本発明の色校正処理装置では、前記カラーセット取得手段は、前記共通オブジェクトのオブジェクト情報を記憶するオブジェクト情報記憶手段を備えた構成を有している。   In the color proofing processing apparatus of the present invention, the color set acquisition unit includes an object information storage unit that stores object information of the common object.

この構成により、オブジェクト情報記憶手段に記憶されたオブジェクト情報に基づいて、カラーセット取得手段が共通オブジェクトを決定する。例えば、共通オブジェクトの形状情報や高さ情報などのオブジェクト情報に基づいて、撮像された被写体が同じものか否かの判断が行われる。これにより、共通オブジェクトの選択の精度が向上し、取得したカラーセットの色情報の信頼性が向上する。   With this configuration, the color set acquisition unit determines the common object based on the object information stored in the object information storage unit. For example, based on object information such as shape information and height information of the common object, it is determined whether or not the captured subjects are the same. Thereby, the accuracy of selecting the common object is improved, and the reliability of the color information of the acquired color set is improved.

また、本発明の色校正処理装置では、前記カラーセットのリファレンスカラーは、前記各画像に対応するソースカラーのいずれか一つに設定されている。   In the color calibration processing apparatus of the present invention, the reference color of the color set is set to any one of the source colors corresponding to the images.

この構成により、カラーセットの複数のソースカラーのうち、いずれか一つのソースカラーが、そのカラーセットのリファレンスカラーとして用いられる。これにより、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。   With this configuration, any one of the plurality of source colors of the color set is used as a reference color for the color set. As a result, the amount of information prepared and held in advance for color proofing processing can be reduced.

または、本発明の色校正処理装置では、前記カラーセットのリファレンスカラーの色情報は、前記ソースカラーの色情報の平均値に設定されている。   Alternatively, in the color calibration processing device of the present invention, the color information of the reference color of the color set is set to an average value of the color information of the source color.

この構成により、カラーセットの複数のソースカラーの色情報の平均値が、そのカラーセットのリファレンスカラーの色情報として用いられる。これによっても、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。   With this configuration, the average value of the color information of a plurality of source colors of the color set is used as the color information of the reference color of the color set. This also reduces the amount of information that is prepared and stored in advance for the color proofing process.

また、本発明の色校正処理装置では、前記カラーセット取得手段は、前記各画像の中から前記カラーセットを取得するカラーセット取得領域を指定する領域指定手段を備えた構成を有している。   In the color calibration processing apparatus of the present invention, the color set acquisition unit includes an area specifying unit for specifying a color set acquisition area for acquiring the color set from each image.

この構成により、領域指定手段によってカラーセット取得領域を指定し、そのカラーセット取得領域からカラーセット取得手段がカラーセットを取得する。これにより、画像の適切な領域からカラーセットを取得することができ、取得したカラーセットの色情報の信頼性が向上する。   With this configuration, the color setting acquisition area is specified by the area specifying means, and the color set acquisition means acquires the color set from the color set acquisition area. Thereby, a color set can be acquired from an appropriate region of the image, and the reliability of the color information of the acquired color set is improved.

また、本発明の色校正処理装置では、前記領域指定手段は、前記各画像全体を前記カラーセット取得領域に指定する構成を有しており、前記カラーセットの各画像に対応するソースカラーは、前記各画像全体の色情報の平均値にそれぞれ設定されている。   In the color calibration processing apparatus of the present invention, the area designating unit has a configuration in which the entire image is designated as the color set acquisition area, and the source color corresponding to each image in the color set is: The average value of the color information of the entire image is set.

この構成により、領域指定手段によって画像全体をカラーセット取得領域に指定し、画像全体の色情報の平均値をカラーセットのソースカラーとして取得する。これにより、画像全体の色情報の平均値(グレースケール)が、カラーセットのソースカラーとして用いられる。したがって、カラーセットのソースカラーの選択肢が増え、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。   With this configuration, the entire image is designated as the color set acquisition region by the region designating means, and the average value of the color information of the entire image is obtained as the source color of the color set. Thereby, the average value (gray scale) of the color information of the entire image is used as the source color of the color set. Therefore, the number of source color options in the color set is increased, and the amount of information prepared and held in advance for color proofing processing can be reduced.

また、本発明の色校正処理装置では、前記校正処理手段は、前記各画像の色校正対象領域の色情報から前記各画像に対応するソースカラーの色情報を減算し、前記リファレンスカラーの色情報を加算することにより、前記色校正対象領域の色情報を校正する構成を有している。   In the color calibration processing apparatus of the present invention, the calibration processing means subtracts color information of a source color corresponding to each image from color information of a color calibration target area of each image, and color information of the reference color Is added to calibrate the color information of the color calibration target area.

この構成により、校正処理手段が色校正対象領域の色情報を校正するときには、色校正対象領域の色情報からソースカラーの色情報が減算され、そこにリファレンスカラーの色情報が加算される。言い換えれば、校正処理手段は、カラーセットのソースカラーとリファレンスカラーとの差分を算出し、ソースカラーから所定類似範囲内にある色校正対象領域に対して、その差分を加算することにより、色校正対象領域の色情報を校正する。これにより、従来のような複雑な計算をする必要がなく、色校正処理を高速化することができる。   With this configuration, when the calibration processing unit calibrates the color information of the color calibration target area, the color information of the source color is subtracted from the color information of the color calibration target area, and the color information of the reference color is added thereto. In other words, the calibration processing means calculates the difference between the source color of the color set and the reference color, and adds the difference to the color calibration target area within the predetermined similarity range from the source color, thereby performing color calibration. Calibrate the color information of the target area. This eliminates the need for complicated calculations as in the prior art, and can speed up the color proofing process.

本発明は、カラーセット取得手段と領域検出手段と校正処理手段とを設けることにより、複雑な計算をする必要がなく、色校正処理を高速化することができるとともに、多くの事前準備作業を必要とせず、色校正処理のために事前に準備して保持しておく情報量を減らすことができるという効果を有する色校正処理装置を提供することができるものである。   In the present invention, by providing the color set acquisition means, the area detection means, and the calibration processing means, it is not necessary to perform complicated calculations, the color calibration processing can be speeded up, and a lot of preparation work is required. In this case, it is possible to provide a color proofing processing apparatus having an effect that the amount of information prepared and held in advance for the color proofing processing can be reduced.

以下、本発明の実施の形態の色校正処理装置について、図面を用いて説明する。本実施の形態では、二つのカメラを用いて所定の領域(監視領域)を監視し、そのカメラで撮像された二つの画像にコンピューターで画像処理を施して、その二つの画像間を移動する人物(監視対象である人物オブジェクト)の行動を追尾監視する人物追尾監視システムに用いられる色校正処理装置1を例示して説明する(図5参照)。   Hereinafter, a color calibration processing apparatus according to an embodiment of the present invention will be described with reference to the drawings. In this embodiment, a person who monitors a predetermined area (monitoring area) using two cameras, performs image processing on two images captured by the cameras, and moves between the two images. The color calibration processing apparatus 1 used in the person tracking monitoring system that tracks and monitors the behavior of the (person object to be monitored) will be described as an example (see FIG. 5).

本実施の形態では、二つのカメラをカメラAおよびカメラBという。そして、カメラAで撮像された画像をソース画像Aといい、カメラBで撮影された画像をソース画像Bという。カメラAとカメラBは離れた位置に配置されており、カメラAおよびカメラBの撮影領域は部分的に重複している。そして、監視対象である人物は、カメラAのソース画像AとカメラBのソース画像Bをまたがって移動する(図5参照)。   In the present embodiment, the two cameras are referred to as camera A and camera B. An image captured by the camera A is referred to as a source image A, and an image captured by the camera B is referred to as a source image B. Camera A and camera B are arranged at positions separated from each other, and the shooting areas of camera A and camera B partially overlap. The person to be monitored moves across the source image A of the camera A and the source image B of the camera B (see FIG. 5).

本実施の形態の色校正処理装置1のブロック図を図1に示す。図1において、色校正処理装置1は、二つのカメラ(カメラAおよびカメラB)で得られる二つの画像(ソース画像Aおよびソース画像B)から複数のカラーセットを取得するカラーセット取得部2と、取得した複数のカラーセットを記憶するカラーセット記憶部3と、各画像に対応するソースカラー(ソースカラーAまたはソースカラーB)に対して所定の類似条件を満たす色情報を有する色校正対象領域を二つの画像の各々から検出する領域検出部4と、二つの画像の色校正対象領域の色情報をリファレンスカラーの色情報にそれぞれ校正する校正処理部5とを有する構成である。   A block diagram of the color calibration processing apparatus 1 of the present embodiment is shown in FIG. In FIG. 1, a color calibration processing apparatus 1 includes a color set acquisition unit 2 that acquires a plurality of color sets from two images (source image A and source image B) obtained by two cameras (camera A and camera B). A color set storage unit 3 for storing a plurality of acquired color sets, and a color calibration target area having color information satisfying a predetermined similarity condition for the source color (source color A or source color B) corresponding to each image Is detected from each of the two images, and a calibration processing unit 5 that calibrates the color information of the color calibration target areas of the two images to the color information of the reference color.

カラーセットには、二つの画像(ソース画像Aおよびソース画像B)ごとの校正前のソースカラー(ソースカラーAおよびソースカラーB)と、校正用のリファレンスカラーとが含まれている。カラーセットのリファレンスカラーは、ソースカラーの校正の基準になるカラーである。本実施の形態では、カラーセットのリファレンスカラーは、二つの画像に対応する二つのソースカラーのいずれか一つと同じに設定される。ここでは、カラーセットのリファレンスカラーは、ソース画像Bに対応するソースカラーBに設定される(図6参照)。すなわち、ソースカラーBがそのままリファレンスカラーとして扱われ、ソースカラーAがソースカラーB(リファレンスカラー)を基準に校正されることになる。なお、図1のブロック図は、ソース画像Bをリファレンス画像として、ソース画像Aに色校正処理を施す場合の構成図であるが、ソース画像Bに色校正処理を施す場合には、ソース画像Aとソース画像Bの入力信号(画像信号)が入れ替えられる。   The color set includes source colors (source color A and source color B) before calibration for each of two images (source image A and source image B) and a reference color for calibration. The reference color of the color set is a color that serves as a reference for proofreading the source color. In the present embodiment, the reference color of the color set is set to be the same as one of the two source colors corresponding to the two images. Here, the reference color of the color set is set to the source color B corresponding to the source image B (see FIG. 6). That is, the source color B is treated as a reference color as it is, and the source color A is calibrated with reference to the source color B (reference color). The block diagram in FIG. 1 is a configuration diagram in the case where the source image B is used as a reference image and the color calibration processing is performed on the source image A. However, in the case where the color calibration processing is performed on the source image B, the source image A And the input signal (image signal) of the source image B are switched.

図2は、図1に示したカラーセット取得部2が備える主要な構成を示すブロック図である。図2に示すように、カラーセット取得部2は、二つの画像(ソース画像Aおよびソース画像B)の中からカラーセットを取得するためのカラーセット取得領域をユーザーが指定する領域指定部6と、共通オブジェクト(双方の画像に写った共通の被写体)のオブジェクト情報を記憶するオブジェクト情報記憶部8と、共通オブジェクトのオブジェクト情報に基づいてカラーセット取得領域内の共通オブジェクトの色情報からカラーセットを生成するカラーセット生成部7とを備えている。   FIG. 2 is a block diagram showing a main configuration of the color set acquisition unit 2 shown in FIG. As shown in FIG. 2, the color set acquisition unit 2 includes an area specifying unit 6 for a user to specify a color set acquisition area for acquiring a color set from two images (source image A and source image B). An object information storage unit 8 that stores object information of a common object (a common subject reflected in both images), and a color set from color information of the common object in the color set acquisition area based on the object information of the common object. And a color set generation unit 7 for generation.

例えば、領域指定部6では、二つの画像が重複する部分における共通オブジェクトの所定の領域(例えば、人物の頭部領域、樹木の葉部領域、道路の非舗装領域など)が、ユーザーによる画像トリミング処理等によって指定される(図5参照)。そして、領域指定部6で指定された領域はカラーセット生成部7に出力される。また、オブジェクト情報記憶部8には、共通オブジェクトのオブジェクト情報(例えば、共通オブジェクトの領域情報、色情報、平均色情報、ヒストグラム情報、形状情報、高さ情報、パーツ情報など)が記憶されている。なお、本実施の形態では、これらの共通オブジェクトのオブジェクト情報は、カメラで得た画像(ソース画像Aやソース画像B)の共通オブジェクトの部分から、画像処理により抽出される。そして、オブジェクト情報記憶部8に記憶されたオブジェクト情報はカラーセット生成部7に出力される。   For example, in the area designating unit 6, a predetermined area of a common object (for example, a person's head area, a tree leaf area, a road non-paved area, etc.) in a portion where two images overlap is subjected to image trimming processing by the user. Etc. (see FIG. 5). The area specified by the area specifying unit 6 is output to the color set generating unit 7. The object information storage unit 8 stores object information of common objects (for example, area information, color information, average color information, histogram information, shape information, height information, parts information, etc.). . In the present embodiment, the object information of these common objects is extracted by image processing from the common object portion of the image (source image A or source image B) obtained by the camera. The object information stored in the object information storage unit 8 is output to the color set generation unit 7.

そして、カラーセット生成部7では、共通オブジェクトの領域情報や色情報などに基づいて、カラーセットを取得するための共通オブジェクトを特定し、領域指定部6で指定された領域内の共通オブジェクトの色情報からカラーセットを生成する。このように、カラーセット取得部2は、二つの画像が重複する部分において、共通オブジェクトの色情報からカラーセットを取得するように構成されている(図5および図6参照)。   Then, the color set generation unit 7 specifies a common object for obtaining a color set based on the region information and color information of the common object, and the color of the common object in the region designated by the region designation unit 6 Generate a color set from the information. As described above, the color set acquisition unit 2 is configured to acquire a color set from the color information of the common object in a portion where two images overlap (see FIGS. 5 and 6).

このように取得されたカラーセットの具体例を図6に示す。図6の表の二段目から四段目に示すように、本実施の形態では、例えば、赤い帽子をかぶった人物の頭部領域から、赤色のカラーセット(赤1、赤2、赤2)が取得される。また、樹木の葉の領域から、緑色のカラーセット(緑2、緑4、緑4)が取得される。さらに、道路の非舗装領域(土の領域)から茶色のカラーセット(茶6、茶8、茶8)が取得される。   A specific example of the color set acquired in this way is shown in FIG. As shown in the second to fourth stages in the table of FIG. 6, in the present embodiment, for example, a red color set (red 1, red 2, red 2 from the head region of a person wearing a red hat). ) Is acquired. Also, a green color set (green 2, green 4, green 4) is acquired from the leaf area of the tree. Furthermore, a brown color set (brown 6, brown 8, brown 8) is acquired from the unpaved area (soil area) of the road.

また、領域指定部6は、各画像(ソース画像Aまたはソース画像B)の画像全体をカラーセット取得領域に指定することもできるように構成されている。そして、図6の表の最下段に示すように、カラーセット取得部2によって取得されるカラーセットのソースカラー(ソースカラーAおよびソースカラーB)は、各画像全体の色情報の平均値(すなわち、輝度に対応するグレースケールの色情報)にそれぞれ設定される。この場合、画像全体の色情報の平均値から、グレースケールのカラーセット(グレー10、グレー20、グレー20)が取得される。なお、この場合も、カラーセットのリファレンスカラーは、ソースカラーBと同じに設定される。   Further, the area designating unit 6 is configured so that the entire image (source image A or source image B) can be designated as a color set acquisition area. As shown at the bottom of the table in FIG. 6, the source colors (source color A and source color B) of the color set acquired by the color set acquisition unit 2 are average values (that is, color information) of all the images (that is, , Gray scale color information corresponding to luminance). In this case, a gray scale color set (gray 10, gray 20, gray 20) is acquired from the average value of the color information of the entire image. Also in this case, the reference color of the color set is set to be the same as the source color B.

カラーセット記憶部3には、カラーセット取得部2により取得されたカラーセットが入力されて記憶される。そして、カラーセット記憶部3に記憶されたカラーセットは、領域検出部4に出力されて色校正対象領域の検出に用いられるとともに、色校正処理部5に出力されて色校正対象領域の色情報の校正処理に用いられる。   In the color set storage unit 3, the color set acquired by the color set acquisition unit 2 is input and stored. The color set stored in the color set storage unit 3 is output to the region detection unit 4 and used for detection of the color calibration target region, and is output to the color calibration processing unit 5 to output color information of the color calibration target region. Used for calibration processing.

領域検出部4では、各画像(ソース画像Aまたはソース画像B)から、カラーセットのソースカラー(ソースカラーAまたはソースカラーB)に対して所定の類似条件を満たすような色情報を有する色校正対象領域が検出される。ここでは、下記の二つの条件式を満たすような領域、すなわち、その領域の色相Hとソースカラーの色相Hsとの差分の絶対値が所定のしきい色相差分ΔHよりも小さく、かつ、その領域の彩度Sとソースカラーの彩度Ssとの差分の絶対値が所定のしきい彩度差分ΔSよりも小さい領域が、ソースカラーと同一または類似する色情報を有する色校正対象領域として検出される。
0≦|H−Hs|<ΔH
0≦|S−Ss|<ΔS
The area detection unit 4 performs color calibration having color information satisfying a predetermined similarity condition from each image (source image A or source image B) with respect to the source color (source color A or source color B) of the color set. A target area is detected. Here, an area satisfying the following two conditional expressions, that is, the absolute value of the difference between the hue H of the area and the hue Hs of the source color is smaller than a predetermined threshold hue difference ΔH, and the area. A region where the absolute value of the difference between the saturation S of the source color and the saturation Ss of the source color is smaller than a predetermined threshold saturation difference ΔS is detected as a color calibration target region having color information that is the same as or similar to the source color. The
0 ≦ | H−Hs | <ΔH
0 ≦ | S−Ss | <ΔS

校正処理部5では、下記の式を用いて、各画像の色校正対象領域の色情報から各画像のソースカラーの色情報を減算して、リファレンスカラーの色情報を加算することにより、色校正対象領域の色情報の校正処理が行われる。
PRED=(pred−rv1)+rv2
PGREEN=(pgreen−gv1)+gv2
PBLUE=(pblue−bv1)+bv2
ここで、(pred,pgreen,pblue)は色校正対象領域の校正前のRGB値であり、(PRED,PGREEN,PBLUE)は色校正処理後のRGB値である。(rv1,gv1,bv1)はソースカラー(ソースカラーAまたはソースカラーB)のRGB値であり、(rv2,gv2,bv2)はリファレンスカラーのRGB値である。
The calibration processing unit 5 subtracts the color information of the source color of each image from the color information of the color calibration target area of each image and adds the color information of the reference color by using the following formula, thereby performing color calibration. Calibration processing of the color information of the target area is performed.
PRED = (pred−rv1) + rv2
PGREEN = (pgreen−gv1) + gv2
PBLUE = (pblue−bv1) + bv2
Here, (pred, pgreen, pblue) are RGB values before calibration of the color calibration target area, and (PRED, PGREEN, PBLUE) are RGB values after color calibration processing. (Rv1, gv1, bv1) is the RGB value of the source color (source color A or source color B), and (rv2, gv2, bv2) is the RGB value of the reference color.

すなわち、本実施の形態の校正処理部5では、カラーセットのソースカラーとリファレンスカラーとの差分を算出し、ソースカラーから所定の類似範囲内にある色校正対象領域に対して、その差分を加算することにより、色校正対象領域の色情報をその差分だけシフトするように置換する校正が行われる。   That is, the calibration processing unit 5 according to the present embodiment calculates a difference between the source color and the reference color of the color set, and adds the difference to the color calibration target area within a predetermined similar range from the source color. As a result, calibration is performed to replace the color information of the color calibration target area so that the color information is shifted by the difference.

上記の校正処理では、色校正対象領域における類似状態(すなわち、ソースカラーと類似部分との色の差)を保ったまま置換が行われており、この校正処理はシフト置換ともいえる。その他、校正処理部5では、ソースカラーから所定の類似範囲内にある色校正対象領域を、リファレンスカラーそのものの値に置換することにより、色校正対象領域の色情報を校正してもよい。その場合、校正処理部5では、例えば、色校正対象領域の校正前のRGB値(pred,pgreen,pblue)を、リファレンスカラーのRGB値(rv2,gv2,bv2)に置き換える校正処理が行われる。   In the above-described calibration processing, replacement is performed while maintaining a similar state (that is, a color difference between the source color and the similar portion) in the color calibration target region, and this calibration processing can be said to be shift replacement. In addition, the calibration processing unit 5 may calibrate the color information of the color calibration target area by replacing the color calibration target area within a predetermined similar range from the source color with the value of the reference color itself. In this case, the calibration processing unit 5 performs, for example, a calibration process for replacing the RGB values (pred, pgreen, pblue) before calibration in the color calibration target area with the RGB values (rv2, gv2, bv2) of the reference color.

以上のように構成された色校正処理装置1について、図3および図4を用いてその動作を説明する。   The operation of the color calibration processing apparatus 1 configured as described above will be described with reference to FIGS.

図3は、色校正処理装置1の全体の動作を示すフロー図である。本実施の形態の色校正処理装置1を用いて、二つのカメラ(カメラAおよびカメラB)で撮像された二つの画像(ソース画像Aおよびソース画像B)に色校正処理を施す場合には、まず、カラーセット取得部2により二つの画像の重複部分から複数のカラーセットを取得し、取得したカラーセットの総数nを変数として格納する(S1)。   FIG. 3 is a flowchart showing the overall operation of the color calibration processing apparatus 1. When color calibration processing is performed on two images (source image A and source image B) captured by two cameras (camera A and camera B) using the color calibration processing apparatus 1 of the present embodiment, First, the color set acquisition unit 2 acquires a plurality of color sets from overlapping portions of two images, and stores the total number n of acquired color sets as a variable (S1).

つぎに、取得したカラーセットの数nが0か否かの判定処理が行われる(S2)。カラーセットの数nの判定処理をした結果、カラーセットの数が0より大きい場合には、そのカラーセットの中から一つのカラーセットを選択して、現在のカラーセットの数nをn−1に設定するする(S3)。   Next, it is determined whether or not the number n of acquired color sets is 0 (S2). If the number n of color sets is determined to be larger than 0 as a result of the determination processing of the number n of color sets, one color set is selected from the color sets, and the current number n of color sets is set to n−1. (S3).

そして、領域検出部4において、各画像(ソース画像Aまたはソース画像B)から、カラーセットのソースカラー(ソースカラーAまたはソースカラーB)に対して所定の類似条件を満たすような色情報を有する色校正対象領域の検出処理が行われる(S4)。   Then, the area detection unit 4 has color information satisfying a predetermined similarity condition with respect to the source color (source color A or source color B) of the color set from each image (source image A or source image B). A color calibration target area is detected (S4).

ここで、色校正対象領域の検出処理(S4)について、詳細に説明する。図4は、色校正対象領域の検出処理の動作を示すフロー図である。色校正対象領域の検出処理を行う場合には、まず、画像全体をN×Nのブロック領域に分割し、ブロック領域の総数A(=N×N)を変数として格納する(S41)。   Here, the color calibration target area detection process (S4) will be described in detail. FIG. 4 is a flowchart showing the operation of the color calibration target area detection process. When performing the color calibration target area detection process, first, the entire image is divided into N × N block areas, and the total number A (= N × N) of block areas is stored as a variable (S41).

次に、選択したカラーセットのソースカラー(ソースカラーAまたはソースカラーB)のうち、色校正処理を行う画像(例えばソース画像A)に対応するソースカラー(例えばソースカラーA)の読込み処理を行う(S42)。   Next, among the source colors (source color A or source color B) of the selected color set, a reading process of a source color (for example, source color A) corresponding to an image (for example, source image A) to be color calibrated is performed. (S42).

その後、N×Nに分割されたブロック領域の中から一つのブロック領域を選択して、現在のブロック領域の数AをA−1に設定する(S43)。   Thereafter, one block area is selected from the block areas divided into N × N, and the current block area number A is set to A-1 (S43).

そして、そのブロック領域の色情報から色相Hと彩度Sを算出する(S44)。その後、そのブロック領域の色相Hとソースカラーの色相Hsとの差分と、所定のしきい色相差分ΔHとを比較するとともに、そのブロック領域の彩度Sとソースカラーの彩度Ssとの差分と、所定のしきい彩度差分ΔSとを比較することにより、色相Hと彩度Sの類似判定処理を行う(S45)。具体的には、そのブロック領域の色相Hとソースカラーの色相Hsとの差分の絶対値が所定のしきい色相差分ΔHよりも小さく、かつ、そのブロック領域の彩度Sとソースカラーの彩度Ssとの差分の絶対値が所定のしきい彩度差分ΔSよりも小さい場合には、そのブロック領域の色情報はソースカラーの色情報と同一または類似であると判定される。   Then, the hue H and the saturation S are calculated from the color information of the block area (S44). After that, the difference between the hue H of the block area and the hue Hs of the source color is compared with a predetermined threshold hue difference ΔH, and the difference between the saturation S of the block area and the saturation Ss of the source color Then, a similarity determination process between the hue H and the saturation S is performed by comparing the predetermined threshold saturation difference ΔS (S45). Specifically, the absolute value of the difference between the hue H of the block area and the hue Hs of the source color is smaller than a predetermined threshold hue difference ΔH, and the saturation S of the block area and the saturation of the source color. When the absolute value of the difference from Ss is smaller than a predetermined threshold saturation difference ΔS, it is determined that the color information of the block area is the same as or similar to the color information of the source color.

類似判定処理(S45)の結果、そのブロック領域の色情報がソースカラーの色情報と同一または類似であると判定された場合には、そのブロック領域を色校正対象領域に設定する(S46)。一方、そのブロック領域の色情報がソースカラーの色情報と類似しない(非類似である)と判定された場合には、そのブロック領域を色校正対象領域に設定しない。   As a result of the similarity determination process (S45), when it is determined that the color information of the block area is the same as or similar to the color information of the source color, the block area is set as a color calibration target area (S46). On the other hand, when it is determined that the color information of the block area is not similar (dissimilar) to the color information of the source color, the block area is not set as a color calibration target area.

そして、現在のブロック領域の数Aが0か否かの判定処理が行われ(S47)、現在のブロック領域の数Aが0よりも大きい場合には、ブロック領域の中から一つのブロック領域を選択する処理(S43)に戻る。一方、判定処理(S47)を行った結果、現在のブロック領域の数Aが0の場合には、色校正対象領域の検出処理(S4)を終了する。   Then, it is determined whether or not the current block area number A is 0 (S47). If the current block area number A is larger than 0, one block area is selected from the block areas. The process returns to the selection process (S43). On the other hand, if the number A of current block areas is 0 as a result of the determination process (S47), the color calibration target area detection process (S4) is terminated.

以上のようにして、色校正対象領域の検出処理(S4)を行った後、校正処理部5により色校正対象領域の色情報の校正処理が行われる(S5)。具体的には、色校正対象領域の色情報(pred,pgreen,pblue)から各画像のソースカラーの色情報(rv1,gv1,bv1)を減算して、そこにリファレンスカラーの色情報(rv2,gv2,bv2)を加算することにより、色校正処理後の色情報(PRED,PGREEN,PBLUE)が算出され、色校正対象領域の色情報が校正される。   After performing the color calibration target area detection process (S4) as described above, the calibration processing unit 5 performs the color information calibration process for the color calibration target area (S5). Specifically, the color information (rv1, gv1, bv1) of the source color of each image is subtracted from the color information (pred, pgreen, pblue) of the color calibration target area, and the color information (rv2, By adding (gv2, bv2), the color information (PRED, PGREEN, PBLUE) after the color calibration processing is calculated, and the color information of the color calibration target area is calibrated.

このようにして、選択した一つのカラーセットについての色情報の校正処理が終了したら、再び現在のカラーセットの数nが0か否かの判定処理が行われる(S2)。現在のカラーセットの数nが0となるまで、上記の処理が繰返される。   When the color information proofreading process for one selected color set is completed in this way, a determination process is performed again as to whether or not the current number n of color sets is 0 (S2). The above processing is repeated until the current number n of color sets becomes zero.

そして、現在のカラーセットの数nの判定処理(S2)をした結果、カラーセットの数が0の場合には、グレースケールを利用するか否かの選択がユーザーによって行われる(S6)。   Then, as a result of the determination process (S2) of the current number n of color sets, if the number of color sets is 0, the user selects whether to use the gray scale (S6).

ユーザーがグレースケールを利用しないと選択した場合には、色校正処理は終了する。一方、ユーザーがグレースケールを利用すると選択した場合には、カラーセット取得部2の領域指定部6により画像全体がカラーセット取得領域に設定される(S7)。そして、カラーセット取得部2のカラーセット生成部7により画像全体からグレースケールのカラーセットが取得される(S8)。   If the user selects not to use the grayscale, the color proofing process ends. On the other hand, when the user selects to use the gray scale, the entire image is set as the color set acquisition region by the region specifying unit 6 of the color set acquisition unit 2 (S7). Then, the color set generation unit 7 of the color set acquisition unit 2 acquires a grayscale color set from the entire image (S8).

そして、領域検出部4により画像全体が色校正対象領域に設定され(S9)、色校正処理部5により画像全体の色校正対象領域のグレースケールの色情報の校正処理が行われ(S10)、すべての色校正処理が終了する。   Then, the entire image is set as a color calibration target region by the region detection unit 4 (S9), and the gray scale color information of the color calibration target region of the entire image is calibrated by the color calibration processing unit 5 (S10). All color proofing processes are completed.

上記のようにして色校正処理が施された画像(色校正処理済画像)は、人物追尾監視システムの追尾監視処理部へ出力され、その画像の色情報をもとに追尾監視処理部によって人物の追尾監視の画像処理が行われる。   The image subjected to color calibration processing (color calibrated image) as described above is output to the tracking monitoring processing unit of the person tracking monitoring system, and the tracking monitoring processing unit based on the color information of the image Image processing for tracking monitoring is performed.

このような発明の実施の形態の色校正処理装置1によれば、カラーセット取得部2と領域検出部4と校正処理部5とを設けることにより、カラーセット取得部2が、撮像装置で得られる画像からソースカラーとリファレンスカラーとを含むカラーセットを取得する。これにより、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。また、領域検出部4が、ソースカラーに類似する色情報を有する色校正対象領域を検出して、校正処理部5が、色校正対象領域の色情報をリファレンスカラーの色情報にそれぞれ校正する。これにより、従来のような複雑な計算をする必要がなく、色校正処理を高速化することができる。したがって、色校正の画像処理をリアルタイムで行うことが可能となる。   According to the color calibration processing apparatus 1 of the embodiment of the present invention, the color set acquisition unit 2 is obtained by the imaging device by providing the color set acquisition unit 2, the area detection unit 4, and the calibration processing unit 5. A color set including a source color and a reference color is obtained from the generated image. As a result, the amount of information prepared and held in advance for color proofing processing can be reduced. The area detection unit 4 detects a color calibration target area having color information similar to the source color, and the calibration processing unit 5 calibrates the color information of the color calibration target area to the color information of the reference color. This eliminates the need for complicated calculations as in the prior art, and can speed up the color proofing process. Accordingly, color calibration image processing can be performed in real time.

また、本実施の形態の色校正処理装置1では、カラーセット取得部2が、共通オブジェクトの色情報からカラーセットを取得する。ここで、共通オブジェクトとは、画像が重複する部分において撮像された同一の被写体(例えば、人物や樹木、道路など)をいい、共通オブジェクトのオリジナルの色情報(被写体が本来有する色情報)は、同じものである。したがって、共通オブジェクトの色情報からカラーセットを取得することにより、取得したカラーセットの色情報の信頼性が向上する。   In the color calibration processing apparatus 1 of the present embodiment, the color set acquisition unit 2 acquires a color set from the color information of the common object. Here, the common object refers to the same subject (for example, a person, a tree, a road, etc.) captured in a portion where images overlap, and the original color information (color information inherent to the subject) of the common object is The same thing. Therefore, by acquiring the color set from the color information of the common object, the reliability of the acquired color information of the color set is improved.

また、本実施の形態の色校正処理装置1では、カラーセット取得部2がオブジェクト情報記憶部8を備えていることにより、オブジェクト情報記憶部8に記憶されたオブジェクト情報に基づいて、カラーセット取得部2が共通オブジェクトを決定する。例えば、共通オブジェクトの形状情報や高さ情報などのオブジェクト情報に基づいて、画像の重複部分において撮像された被写体が同じものか否かの判断が行われる。これにより、共通オブジェクトの選択の精度が向上し、取得したカラーセットの色情報の信頼性が向上する。   In the color calibration processing apparatus 1 of the present embodiment, the color set acquisition unit 2 includes the object information storage unit 8, so that the color set acquisition is performed based on the object information stored in the object information storage unit 8. Part 2 determines a common object. For example, based on the object information such as the shape information and height information of the common object, a determination is made as to whether or not the subjects captured in the overlapping portions of the images are the same. Thereby, the accuracy of selecting the common object is improved, and the reliability of the color information of the acquired color set is improved.

また、本実施の形態の色校正処理装置1では、カラーセットの複数のソースカラーのうち、いずれか一つのソースカラーが、そのカラーセットのリファレンスカラーとして用いられる。これにより、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。   Further, in the color calibration processing apparatus 1 of the present embodiment, any one source color among a plurality of source colors of the color set is used as a reference color of the color set. As a result, the amount of information prepared and held in advance for color proofing processing can be reduced.

また、本実施の形態の色校正処理装置1では、カラーセット取得部2が領域指定部6を備えていることにより、領域指定部6によってカラーセット取得領域を指定し、そのカラーセット取得領域からカラーセット取得部2がカラーセットを取得する。これにより、画像の適切な領域からカラーセットを取得することができ、取得したカラーセットの色情報の信頼性が向上する。   In the color calibration processing apparatus 1 of the present embodiment, since the color set acquisition unit 2 includes the area specifying unit 6, the area specifying unit 6 specifies a color set acquisition area, and the color set acquisition area The color set acquisition unit 2 acquires a color set. Thereby, a color set can be acquired from an appropriate region of the image, and the reliability of the color information of the acquired color set is improved.

また、本実施の形態の色校正処理装置1では、領域指定部6によって画像全体をカラーセット取得領域に指定し、画像全体の色情報の平均値をカラーセットのソースカラーとして取得する。これにより、画像全体の色情報の平均値(グレースケール)が、カラーセットのソースカラーとして用いられる。したがって、カラーセットのソースカラーの選択肢が増え、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。   In the color calibration processing apparatus 1 according to the present embodiment, the entire image is designated as the color set acquisition region by the region designating unit 6, and the average value of the color information of the entire image is obtained as the source color of the color set. Thereby, the average value (gray scale) of the color information of the entire image is used as the source color of the color set. Therefore, the number of source color options in the color set is increased, and the amount of information prepared and held in advance for color proofing processing can be reduced.

また、本実施の形態の色校正処理装置1では、校正処理部5が色校正対象領域の色情報を校正するときには、色校正対象領域の色情報からソースカラーの色情報が減算され、そこにリファレンスカラーの色情報が加算される。言い換えれば、校正処理部5は、カラーセットのソースカラーとリファレンスカラーとの差分を算出し、ソースカラーから所定類似範囲内にある色校正対象領域に対して、その差分を加算することにより、色校正対象領域の色情報を校正する。これにより、従来のような複雑な計算をする必要がなく、色校正処理を高速化することができる。   Further, in the color calibration processing apparatus 1 of the present embodiment, when the calibration processing unit 5 calibrates the color information of the color calibration target area, the color information of the source color is subtracted from the color information of the color calibration target area. The color information of the reference color is added. In other words, the calibration processing unit 5 calculates the difference between the source color of the color set and the reference color, and adds the difference to the color calibration target area within the predetermined similarity range from the source color, thereby obtaining the color. Calibrate the color information of the calibration target area. This eliminates the need for complicated calculations as in the prior art, and can speed up the color proofing process.

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。   The embodiments of the present invention have been described above by way of example, but the scope of the present invention is not limited to these embodiments, and can be changed or modified according to the purpose within the scope of the claims. is there.

例えば、以上の説明では、カラーセットのリファレンスカラーが、ソースカラーのいずれか一つに設定されている例について説明したが、その他、図7に示すように、カラーセットのリファレンスカラーの色情報は、ソースカラーの色情報の平均値に設定されていても、同様に実施可能である。この場合、カラーセットの複数のソースカラーの色情報の平均値が、そのカラーセットのリファレンスカラーの色情報として用いられる。これにより、色校正処理のために事前に準備して保持しておく情報量を減らすことができる。   For example, in the above description, the example in which the reference color of the color set is set to any one of the source colors has been described. In addition, as shown in FIG. 7, the color information of the reference color of the color set is Even if it is set to the average value of the color information of the source color, it can be similarly implemented. In this case, the average value of the color information of a plurality of source colors of the color set is used as the color information of the reference color of the color set. As a result, the amount of information prepared and held in advance for color proofing processing can be reduced.

また、以上の説明では、撮像装置であるカメラが二つの場合を例示して説明したが、その他、撮像装置が三つ以上(カメラA、カメラB、カメラC、…)の場合であっても同様に実施可能である。その場合、カラーセットのソースカラー(ソースカラーA、ソースカラーB、ソースカラーC、…)は、図8に示すように、各撮像装置の画像(ソース画像A、ソース画像B、ソース画像C、…)に対応してそれぞれ設定される。なお、図8に示したカラーセットの例では、カラーセットのリファレンスカラーは、ソースカラーBと同じに設定されている。   In the above description, the case where there are two cameras serving as imaging devices has been described as an example, but in addition, even when there are three or more imaging devices (camera A, camera B, camera C,...). It can be implemented similarly. In that case, the source colors (source color A, source color B, source color C,...) Of the color set are images of the respective imaging devices (source image A, source image B, source image C,. ...) are set respectively. In the example of the color set shown in FIG. 8, the reference color of the color set is set to be the same as the source color B.

また、以上の説明では、校正処理部5で、各画像の色校正対象領域の色情報から各画像のソースカラーの色情報を減算して、リファレンスカラーの色情報を加算することにより、色校正対象領域の色情報をシフト置換する校正処理が行われる例について説明したが、その他、校正処理部5では、ソースカラーから所定の類似範囲内にある色校正対象領域を、リファレンスカラーそのものの値に置換することにより、色校正対象領域の色情報を校正してもよい。   In the above description, the calibration processing unit 5 subtracts the color information of the source color of each image from the color information of the color calibration target area of each image, and adds the color information of the reference color, thereby performing color calibration. The example in which the calibration process for shifting and replacing the color information of the target area has been described. In addition, the calibration processing unit 5 sets the color calibration target area within the predetermined similar range from the source color to the value of the reference color itself. The color information of the color calibration target area may be calibrated by replacing the color information.

また、以上の説明では、共通オブジェクトのオブジェクト情報を、撮像装置で得た画像から抽出する例について説明したが、その他、共通オブジェクトのオブジェクト情報が、ユーザーにより指定したオブジェクト情報を送信するオブジェクト情報送信装置から送信され、オブジェクト情報記憶部8がその装置からオブジェクト情報を受信しても、同様に実施可能である。また、共通オブジェクトのオブジェクト情報は、例えばデータベースなどの他の装置に予め準備されていてもよく、オブジェクト情報記憶部8が共通オブジェクトのオブジェクト情報をその装置から受け取っても、同様に実施可能である。   In the above description, the example in which the object information of the common object is extracted from the image obtained by the imaging device has been described. However, the object information transmission in which the object information of the common object transmits the object information specified by the user is also described. Even if it is transmitted from a device and the object information storage unit 8 receives the object information from the device, it can be similarly implemented. Further, the object information of the common object may be prepared in advance in another device such as a database, and can be similarly implemented even when the object information storage unit 8 receives the object information of the common object from the device. .

また、以上の説明では、撮像装置の配置は画像が重複する構成で説明したが、その他、画像が重複しない撮像装置の配置でも良い。この場合、複数の撮像装置の撮像領域を移動する人物は、人物の形状情報や高さ情報などのオブジェクト情報に基づいて共通オブジェクトと認識することが可能である。   In the above description, the arrangement of the imaging devices has been described with a configuration in which images overlap, but other arrangements of imaging devices in which images do not overlap may be used. In this case, a person who moves in the imaging area of a plurality of imaging devices can be recognized as a common object based on object information such as shape information and height information of the person.

以上のように、本発明にかかる色校正処理装置は、色校正処理を高速化することができるとともに、色校正処理のために事前に準備して保持しておく情報量を減らすことができるという効果を有し、複数の撮像装置から得られた画像に色校正処理を施す色校正処理装置等として有用である。   As described above, the color calibration processing apparatus according to the present invention can speed up the color calibration processing and can reduce the amount of information prepared and held in advance for the color calibration processing. It has an effect and is useful as a color calibration processing device that performs color calibration processing on images obtained from a plurality of imaging devices.

本発明の実施の形態の色校正処理装置のブロック図The block diagram of the color proofreading processing apparatus of embodiment of this invention 本発明の実施の形態の色校正処理装置のブロック図The block diagram of the color proofreading processing apparatus of embodiment of this invention 本発明の実施の形態における色校正処理装置の動作説明のためのフロー図FIG. 3 is a flowchart for explaining the operation of the color calibration processing apparatus according to the embodiment of the present invention. 本発明の実施の形態における領域検出処理の動作説明のためのフロー図Flow chart for explaining operation of region detection processing in the embodiment of the present invention 本発明の実施の形態におけるカメラ画像を示す説明図Explanatory drawing which shows the camera image in embodiment of this invention 本発明の実施の形態におけるカラーセットの表Table of color sets in the embodiment of the present invention 本発明の他の実施の形態におけるカラーセットの表Table of color sets in other embodiments of the present invention 本発明のさらに他の実施の形態におけるカラーセットの表Table of color sets in yet another embodiment of the present invention

符号の説明Explanation of symbols

1 色校正処理装置
2 カラーセット取得部
3 カラーセット記憶部
4 領域検出部
5 校正処理部
6 領域指定部
7 カラーセット生成部
8 オブジェクト情報記憶部
DESCRIPTION OF SYMBOLS 1 Color calibration processing apparatus 2 Color set acquisition part 3 Color set storage part 4 Area | region detection part 5 Calibration processing part 6 Area | region designation | designated part 7 Color set production | generation part 8 Object information storage part

Claims (8)

複数の撮像装置で得られる複数の画像から、各画像の校正前のソースカラーと校正用のリファレンスカラーとを含むカラーセットを少なくとも一つ取得するカラーセット取得手段と、
前記複数の画像の各々から、各画像に対応するソースカラーに対して所定の類似条件を満たす色情報を有する色校正対象領域を検出する領域検出手段と、
前記複数の画像の色校正対象領域の色情報を、リファレンスカラーの色情報にそれぞれ校正する校正処理手段とを備えたことを特徴とする色校正処理装置。
Color set acquisition means for acquiring at least one color set including a source color before calibration of each image and a reference color for calibration from a plurality of images obtained by a plurality of imaging devices;
A region detecting means for detecting a color calibration target region having color information satisfying a predetermined similarity condition with respect to a source color corresponding to each image from each of the plurality of images;
A color calibration processing apparatus, comprising: calibration processing means for calibrating color information of color calibration target areas of the plurality of images to color information of a reference color.
前記カラーセット取得手段は、前記各画像における共通オブジェクトの色情報から、前記カラーセットを取得することを特徴とする請求項1に記載の色校正処理装置。   The color calibration processing apparatus according to claim 1, wherein the color set acquisition unit acquires the color set from color information of a common object in each image. 前記カラーセット取得手段は、前記共通オブジェクトのオブジェクト情報を記憶するオブジェクト情報記憶手段を備えたことを特徴とする請求項2に記載の色校正処理装置。   The color calibration processing apparatus according to claim 2, wherein the color set acquisition unit includes an object information storage unit that stores object information of the common object. 前記カラーセットのリファレンスカラーは、前記各画像に対応するソースカラーのいずれか一つに設定されていることを特徴とする請求項1ないし請求項3のいずれかに記載の色校正処理装置。   4. The color calibration processing apparatus according to claim 1, wherein a reference color of the color set is set to any one of the source colors corresponding to the respective images. 前記カラーセットのリファレンスカラーの色情報は、前記ソースカラーの色情報の平均値に設定されていることを特徴とする請求項1ないし請求項3のいずれかに記載の色校正処理装置。   4. The color calibration processing apparatus according to claim 1, wherein color information of a reference color of the color set is set to an average value of color information of the source color. 前記カラーセット取得手段は、前記各画像の中から前記カラーセットを取得するカラーセット取得領域を指定する領域指定手段を備えたことを特徴とする請求項1ないし請求項5のいずれかに記載の色校正処理装置。   The said color set acquisition means is provided with the area | region designation | designated part which designates the color set acquisition area | region which acquires the said color set from each said image, The Claim 1 thru | or 5 characterized by the above-mentioned. Color proofing processing device. 前記領域指定手段は、前記各画像全体を前記カラーセット取得領域に指定し、
前記カラーセットの各画像に対応するソースカラーは、前記各画像全体の色情報の平均値にそれぞれ設定されていることを特徴とする請求項6に記載の色校正処理装置。
The area designating unit designates the entire image as the color set acquisition area,
The color calibration processing apparatus according to claim 6, wherein the source color corresponding to each image of the color set is set to an average value of color information of the entire image.
前記校正処理手段は、前記各画像の色校正対象領域の色情報から前記各画像に対応するソースカラーの色情報を減算し、前記リファレンスカラーの色情報を加算することにより、前記色校正対象領域の色情報を校正することを特徴とする請求項1ないし請求項7のいずれかに記載の色校正処理装置。


The calibration processing means subtracts the color information of the source color corresponding to each image from the color information of the color calibration target region of each image, and adds the color information of the reference color to thereby add the color calibration target region. 8. The color calibration processing apparatus according to claim 1, wherein the color information is calibrated.


JP2005197405A 2005-07-06 2005-07-06 Color calibration processor Pending JP2007019713A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005197405A JP2007019713A (en) 2005-07-06 2005-07-06 Color calibration processor
PCT/JP2006/313321 WO2007004650A1 (en) 2005-07-06 2006-07-04 Color calibration processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005197405A JP2007019713A (en) 2005-07-06 2005-07-06 Color calibration processor

Publications (1)

Publication Number Publication Date
JP2007019713A true JP2007019713A (en) 2007-01-25

Family

ID=37604511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005197405A Pending JP2007019713A (en) 2005-07-06 2005-07-06 Color calibration processor

Country Status (2)

Country Link
JP (1) JP2007019713A (en)
WO (1) WO2007004650A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151496A (en) * 2007-12-19 2009-07-09 Canon Inc Image processor and processing method
KR101385963B1 (en) * 2007-12-10 2014-04-16 삼성전자주식회사 Image processing device having color correction function and color correction method thereof
JP2015226309A (en) * 2014-05-30 2015-12-14 京セラドキュメントソリューションズ株式会社 Image reading device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60144092A (en) * 1984-01-06 1985-07-30 Sony Corp Color matching device of video camera
JPH099270A (en) * 1995-06-23 1997-01-10 Sony Corp Video camera and video camera apparatus
JP3661817B2 (en) * 1996-09-03 2005-06-22 ソニー株式会社 Color correction apparatus, color correction control apparatus, and color correction system
JPH10285610A (en) * 1997-04-01 1998-10-23 Sony Corp Color correction device and color correction controller
JP2002271825A (en) * 2001-03-13 2002-09-20 Matsushita Electric Ind Co Ltd Color matching method, color matching system, and television camera used for them

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101385963B1 (en) * 2007-12-10 2014-04-16 삼성전자주식회사 Image processing device having color correction function and color correction method thereof
JP2009151496A (en) * 2007-12-19 2009-07-09 Canon Inc Image processor and processing method
JP2015226309A (en) * 2014-05-30 2015-12-14 京セラドキュメントソリューションズ株式会社 Image reading device

Also Published As

Publication number Publication date
WO2007004650A1 (en) 2007-01-11

Similar Documents

Publication Publication Date Title
JP6735592B2 (en) Image processing apparatus, control method thereof, and image processing system
KR101643122B1 (en) Image processing device, image processing method and recording medium
JP6746031B1 (en) Image processing apparatus, image processing method, and image processing program
US11350070B2 (en) Systems, methods and computer programs for colorimetric mapping
JP6840957B2 (en) Image similarity calculation device, image processing device, image processing method, and recording medium
JP2013164796A (en) Image processing device, image processing method and program
JP6520919B2 (en) Image correction apparatus, image correction method and program
JP2006229868A (en) Image processing apparatus and method, and motion detection apparatus and method
JP2006301803A (en) Image recognition device and image recognition method
JP2007019713A (en) Color calibration processor
US20210344846A1 (en) Image processing apparatus and image processing method, and image capturing apparatus
JP2012227758A (en) Image signal processing apparatus and program
JP2016076851A (en) Imaging apparatus, image processing method, and program
JP2018148369A (en) Image processing device and control method of same
CN116980549A (en) Video frame processing method, device, computer equipment and storage medium
JP6332982B2 (en) Image processing apparatus and method
JP2016081095A (en) Subject tracking device, control method thereof, image-capturing device, display device, and program
JP7291389B2 (en) Object identification method, information processing device, information processing program, and lighting device
JP2011095110A (en) Apparatus and method for estimation of light source
JP6835227B2 (en) Image processing equipment, image processing methods and computer programs
JP4515964B2 (en) Image correction apparatus and method, and image correction program
JP2016162421A (en) Information processor, information processing method and program
JP4250806B2 (en) Field frequency conversion device and conversion method
JP6552309B2 (en) Image processing apparatus, image processing method and program
WO2016111239A1 (en) Image processing device, image processing method and program recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070724