JP2017055242A - 色補正装置、色補正方法及び色補正用コンピュータプログラム - Google Patents

Abstract

【課題】互いに異なる撮影範囲を写した複数の画像において、同一の物体が同じ色分布となるように、少なくとも何れかの画像を色補正できる色補正装置を提供する。【解決手段】色補正装置は、互いに異なる撮影範囲を持つ第１のカメラ２−１及び第２のカメラ２−２のそれぞれで生成された第１の画像及び第２の画像から、各画像において互いに異なる部分が写っている基準物体が表された基準領域を検出する基準物体検出部１２と、第１及び第２の画像のそれぞれについて、基準領域の各画素の色成分または輝度成分のヒストグラムに基づいて基準物体の色を検出する基準色情報算出部１３と、第１及び第２の画像の少なくとも一方を検出した基準物体の色に基づいて色補正する色補正部１５とを有する。【選択図】図３

Description

本発明は、例えば、互いに異なる領域を撮影して得られた複数の画像において色補正する色補正装置、色補正方法及び色補正用コンピュータプログラムに関する。

従来より、撮影範囲が互いに異なる複数のカメラにより得られた複数の画像に基づいて、人物など、特定の移動物体を追跡する技術が研究されている。このような技術では、複数の画像に写っている追跡対象となる移動物体が同一か否かを判定するために、その移動物体についての色情報が利用されることがある。そのため、同一の移動物体の色が、画像によって異なることは好ましくない。そこで、特定のカラーチャートから色補正パラメータを決定し、その色補正パラメータを用いて画像の色補正を行うカメラ色補正装置が提案されている（例えば、特許文献１を参照）。

また、特許文献２には、車両環境認識装置が提案されている。この車両環境認識装置は、色付きの原画像において車両の前方道路に相当する基準領域に含まれる画素のＲＧＢ値の平均値をその基準領域の実空間における標準的な色に一致させるような補正係数を算出し、その補正係数を用いて色補正画像を生成する。

特開２００７−１８３８７２号公報 特開２０１０−４４４４５号公報

特許文献１に開示された技術では、色補正を行うために、カメラの撮影範囲にカラーチャートを配置して、そのカラーチャートを撮影することが必要となる。この作業は、カメラごとに必要となるため、作業コストが高くなってしまう。特に、設置されるカメラの台数が多くなるにつれて、作業コストもより高くなる。また、カメラが屋外に設置される場合、撮影時間に応じてそのカメラの撮影範囲の明るさも変動するので、色補正パラメータも撮影時間ごとに生成されることが求められる。しかし、カメラの撮影範囲内に、カラーチャートを常時設置できる場所が常に確保できるとは限らない。

また、特に屋外では、色補正の基準となるカラーチャートまたは道路などの被写体について、太陽の他に、街灯などの他の光源により照明される領域が含まれることがある。このような場合、他の光源により照明された領域と、そうでない領域とでは、同じ物体であっても、画像上で異なる色に見えることがある。そのため、特許文献１に開示された技術及び特許文献２に開示された技術では、光が当たっている領域と当っていない領域とが区別されないために、適切な色補正パラメータが算出されないおそれがある。

一つの側面では、本発明は、互いに異なる撮影範囲を写した複数の画像において、同一の物体が同じ色分布となるように、少なくとも何れかの画像を色補正できる色補正装置を提供することを目的とする。

一つの実施形態によれば、色補正装置が提供される。この色補正装置は、第１のカメラで生成された第１の画像及び第１のカメラの撮影範囲と異なる撮影範囲を持つ第２のカメラで生成された第２の画像のそれぞれから、第１の画像及び第２の画像において互いに異なる部分が写っている基準物体が表された基準領域を検出する基準物体検出部と、第１の画像及び第２の画像のそれぞれについて、基準領域に含まれる各画素の少なくとも一つの色成分または輝度成分のヒストグラムを生成し、第1の画像および第２の画像に対応する生成したヒストグラムに基づいて、基準物体の色を検出する基準色情報算出部と、第１の画像及び第２の画像の少なくとも一方を、基準物体の色に基づいて色補正する色補正部とを有する。

互いに異なる撮影範囲を写した複数の画像において、同一の物体が同じ色分布となるように、少なくとも何れかの画像を色補正できる。

一つの実施形態による、色補正装置が実装された追跡装置のハードウェア構成図である。 第１のカメラ及び第２のカメラの撮影範囲の一例を示す図である。 追跡処理に関する制御部の機能ブロック図である。 （ａ）〜（ｅ）は、基準領域の検出に関する説明図である。 （ａ）は、第１のカメラの撮影範囲内に写る基準物体が一つの光源だけで照明される場合の、第１の画像上での基準領域内の特定の色成分の分布の一例を示す図である。（ｂ）及び（ｃ）は、それぞれ、第１のカメラの撮影範囲内に写る基準物体が複数の光源で照明される場合の、第１の画像上での基準領域内の特定の色成分の分布の一例を示す図である。 色補正処理を含む追跡処理の動作フローチャートである。

以下、図を参照しつつ、色補正装置について説明する。この色補正装置は、例えば、撮影範囲が互いに異なるように設置された二つのカメラのそれぞれで生成された画像を用いて移動物体を追跡するために使用される。そしてこの色補正装置は、移動物体の色情報を正確に求めることができるように、各画像において互いに異なる部分が写っている基準物体を検出して、各画像において、基準物体が同一の色分布で表されるように、各画像を色補正する。その際、この色補正装置は、画像ごとに、検出された基準物体について、色成分ごとにヒストグラムを算出し、そのヒストグラムの特定のピークに基づいて、色成分ごとの色補正係数を決定する。これにより、この色補正装置は、あるカメラの撮影範囲内で基準物体がその部分ごとに異なる照明環境下にある場合でも、各画像を適切に色補正する。

図１は、一つの実施形態による、色補正装置が実装された追跡装置のハードウェア構成図である。図１に示されるように、追跡装置１は、第１のカメラ２−１及び第２のカメラ２−２と、通信インターフェース部３と、ユーザインターフェース部４と、記憶部５と、制御部６とを有する。なお、追跡装置１が有するカメラの数は、二台に限定されず、三台以上でもよい。

第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、互いに異なる撮影範囲を撮影し、その撮影範囲が写った画像を生成する。そのために、第１のカメラ２−１及び第２のカメラ２−２は、CCDあるいはC-MOSなど、可視光に感度を有する固体撮像素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影範囲の像を結像する結像光学系とを有する。第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、一定の撮影周期（例えば1/30秒）ごとに画像を生成する。そして第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、画像を生成する度に、その画像を、通信ネットワークを介して、通信インターフェース部３へ出力する。
本実施形態では、第１のカメラ２−１及び第２のカメラ２−２により生成される画像は、sRGB色空間で表されるカラー画像である。以下では、説明の便宜上、第１のカメラ２−１で生成された画像を第１の画像と呼び、第２のカメラ２−２で生成された画像を第２の画像と呼ぶ。

図２は、第１のカメラ２−１及び第２のカメラ２−２の撮影範囲の一例を示す図である。この例では、第１のカメラ２−１の撮影範囲２０１及び第２のカメラ２−２の撮影範囲２０２が互いに重ならないように、第１のカメラ２−１及び第２のカメラ２−２は配置されている。なお、第１のカメラの撮影範囲と第２のカメラの撮影範囲の一部は重なっていてもよい。さらに、撮影範囲２０１及び撮影範囲２０２の何れにも、共通の被写体であり、色補正の基準となる基準物体として、道路の路面２１０が含まれる。なお、撮影範囲２０１に含まれる路面２１０の部分と、撮影範囲２０２に含まれる路面２１０の部分とは、互いに異なっている。したがって、第１の画像と第２の画像のそれぞれにおいて、路面２１０の色分布が同一となるように、追跡装置１は、第１の画像と第２の画像のうちの少なくとも一方を色補正する。ただし、この例では、領域２１１のように、街灯など、太陽以外の他の光源からの光によって、路面２１０の色が変化している領域が撮影範囲２０２に含まれている。そこで追跡装置１は、撮影範囲２０２を表す第２の画像において、路面２１０が写っている領域のうちの領域２１１については、色補正の際に参照しない。

通信インターフェース部３は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース部３は、通信ネットワークを介して第１のカメラ２−１及び第２のカメラ２−２のそれぞれから第１の画像及び第２の画像を受け取り、その受け取った第１の画像及び第２の画像を制御部６にわたす。また通信インターフェース部３は、制御部６から受け取った追跡結果を、通信ネットワークを介して他の機器（図示せず）へ出力してもよい。

ユーザインターフェース部４は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。そしてユーザインターフェース部４は、例えば、ユーザの操作に応じて、色補正処理を含む追跡処理を開始させる操作信号、あるいは、追跡結果を表示させる操作信号などを制御部６へ出力する。

記憶部５は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。記憶部５は、さらに、ハードディスク装置、及び、光記録媒体及びそのアクセス装置を有していてもよい。そして記憶部５は、例えば、制御部６で実行される追跡処理を実行するためのコンピュータプログラム、及びその追跡処理で利用される各種のデータなどを記憶する。さらに、記憶部５は、カメラ２−１から取得した第１の画像及びカメラ２−２から取得した第２の画像を一定期間記憶してもよい。

制御部６は、例えば、１個または複数個のプロセッサ及びその周辺回路を有する。そして制御部６は、追跡装置１全体を制御する。また、制御部６は、通信インターフェース部３を介して第１のカメラ２−１から第１の画像を受け取る度に、その第１の画像に第１のカメラ２−１を識別するためのカメラＩＤ及び画像生成日時を対応付けて記憶部５に保存する。同様に、制御部６は、通信インターフェース部３を介して第２のカメラ２−２から第２の画像を受け取る度に、その第２の画像に第２のカメラ２−２を識別するためのカメラＩＤ及び画像生成時刻を対応付けて記憶部５に保存する。そして制御部６は、順次取得された第１の画像及び第２の画像に基づいて、色補正処理を含む、移動物体を追跡する追跡処理を実行する。また、本実施形態では、追跡処理において、第１の画像及び第２の画像に写る人を、追跡対象の移動物体とする。

図３は、追跡処理に関する制御部６の機能ブロック図である。図３に示されるように、制御部６は、色変換部１１と、基準物体検出部１２と、基準色情報算出部１３と、色補正係数算出部１４と、色補正部１５と、逆色変換部１６と、特徴抽出部１７と、照合部１８とを有する。このうち、色変換部１１、基準物体検出部１２、基準色情報算出部１３、色補正係数算出部１４、色補正部１５及び逆色変換部１６が、色補正処理に関連する。

制御部６が有するこれらの各部は、例えば、制御部６が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、制御部６が有するこれらの各部は、ファームウェアとして追跡装置１に実装されてもよい。

sRGB色空間では、各色成分のγ特性がリニアでなく、モニタの特性に合わせたものとなっている。そこで、色変換部１１は、制御部６が第１の画像を取得する度に、第１の画像の各画素の各色成分の値を、sRGB色空間から、γ特性がリニアとなる色空間であるRGB色空間の値に変換する。同様に、色変換部１１は、制御部６が第２の画像を取得する度に、第２の画像の各画素の各色成分の値を、sRGB色空間からRGB色空間の値に変換する。例えば、色変換部１１は、次式に従って、各画素の各色成分の値を変換する。
ここで、(r,g,b)は、それぞれ、変換前のsRGB色空間での着目する画素の赤色成分（以下、R成分と呼ぶ）の値、緑色成分（以下、G成分と呼ぶ）の値、青色成分（以下、B成分と呼ぶ）の値を表し、それぞれ、0〜255の範囲に含まれる整数値となる。また、(r',g',b')は、それぞれ、変換後のRGB色空間での着目する画素のR成分の値、G成分の値、B成分の値を表し、それぞれ、0〜255の範囲に含まれる整数値となる。そしてγは定数であり、例えば、γ=2.2である。

色変換部１１は、色変換後の第１の画像及び第２の画像を記憶部５に保存する。なお、第１のカメラ２−１が生成する第１の画像及び第２のカメラ２−２が生成する第２の画像が、元々RGB色空間で表されるカラー画像である場合、色変換部１１は省略されてもよい。

基準物体検出部１２は、色変換後の第１の画像及び第２の画像のそれぞれから、色補正の基準となり、第１の画像及び第２の画像において互いに異なる部分が写っている物体である基準物体を検出する。本実施形態では、第１のカメラ２−１及び第２のカメラ２−２は、それぞれ、道路の路面をその撮影範囲に含むように設置されている。そこで本実施形態では、基準物体検出部１２は、色変換後の第１の画像及び第２の画像のそれぞれから、道路の路面を基準物体として検出する。なお、基準物体検出部１２は、色変換後の第１の画像及び第２の画像のそれぞれに対して同一の処理を実行するので、以下では、色変換後の第１の画像に対する処理について説明する。また、基準物体検出部１２、基準色情報算出部１３、色補正係数算出部１４及び色補正部１５の説明において、特に断りの無い限り、色変換後の第１の画像及び第２の画像を、それぞれ、単に第１の画像、第２の画像と呼ぶ。

本実施形態では、道路の路面が基準物体であるため、その路面上を通行する人が第１の画像に写っていることがある。この場合、その人により、路面の一部が隠されることになる。そこで基準物体検出部１２は、第１の画像上で、道路の路面が写っている領域から、路面上を通行している人が写っている領域を除いた領域を基準領域とする。

基準物体検出部１２は、例えば、Histograms of Oriented Gradients(HOG)特徴量を入力とし、人検出用に学習されたRealAdaBoost識別器を利用して、第１の画像上で人が写っている領域である人領域を検出する。この場合、基準物体検出部１２は、例えば、第１の画像上に設定したウィンドウ内で複数のHOG特徴量を算出する。そして基準物体検出部１２は、各HOG特徴量をRealAdaBoost識別器に入力することで、そのウィンドウが人領域か否かを判定すればよい。基準物体検出部１２は、ウィンドウの位置及びサイズを変えながら、上記の処理を繰り返すことで、第１の画像上の任意の位置で人領域を検出できる。

あるいは、基準物体検出部１２は、RealAdaBoost識別器の代わりに、人検出用に学習されたサポートベクトルマシンといった他の識別器を用いて、第１の画像から人領域を検出してもよい。あるいはまた、基準物体検出部１２は、画像から人領域を検出する他の技術に基づいて、第１の画像から人領域を検出してもよい。

基準物体検出部１２は、第１の画像上で道路の路面が写っている領域から人領域を除いた領域を基準領域とする。ここで、第１の画像上で道路の路面が写っている領域は、例えば、第１のカメラ２−１の設置時において、作業者が第１の画像を確認しながら設定され、予め、道路の路面が写っている領域を表す情報が記憶部５に保存されてもよい。あるいは、第１の画像上で道路の路面が写っている領域は、第１のカメラ２−１の設置時など、追跡処理を実行するよりも前に実行されるキャリブレーション処理により自動的に設定されてもよい。

例えば、人は道路上を通行するため、第１の画像から検出された人領域は、道路の路面の一部に対応すると想定される。そこで、キャリブレーション処理により第１の画像上で道路の路面が写っている領域を設定する場合、例えば、基準物体検出部１２は、一定期間（例えば、1時間〜2時間）にわたって取得された第１の画像のそれぞれから、上記と同様に人領域を検出する。そして基準物体検出部１２は、検出された人領域の和集合となる領域を、第１の画像上で道路の路面が写っている領域の候補領域とする。そして基準物体検出部１２は、上記の一定期間経過後の時刻tにおける、候補領域の面積S_tと、その時刻よりも所定期間（例えば、5分〜10分）前の時刻(t-1)における、候補領域の面積S_t-1の差(S_t-S_t-1)を所定の閾値Th1と比較する。基準物体検出部１２は、差(S_t-S_t-1)が閾値Th1未満となったときに、時刻tにおける候補領域を、道路の路面が写っている領域とする。一方、差(S_t-S_t-1)が閾値Th1以上であれば、基準物体検出部１２は、差(S_t-S_t-1)が閾値Th1未満となるまで、上記の処理を繰り返す。

図４（ａ）〜図４（ｅ）は、上記の基準領域の検出に関する説明図である。図４（ａ）に示されるように、キャリブレーション処理の実行中において、第１の画像４０１が取得される度に、第１の画像４０１に写っている人領域４１１が検出される。それ以前に取得された第１の画像上の人領域の和集合に、第１の画像４０１から検出された人領域４１１を加えることで、更新された和集合が得られる。そして図４（ｂ）に示される、時刻(t-1)における人領域の和集合４２１の面積S_t-1と、図４（ｃ）に示される、時刻tにおける人領域の和集合４２２の面積S_tの差(S_t-S_t-1)が閾値Th1と比較される。その差(S_t-S_t-1)が閾値Th1未満である場合、図４（ｄ）に示されるように、和集合４２２が道路の路面が写っている領域４２３となる。

そして図４（ｅ）に示されるように、追跡処理の実行中に得られた第１の画像４３１において、人領域４３２が検出されると、領域４２３から人領域４３２を除いた残りの領域が基準領域４３３となる。

なお、一定期間にわたって取得された複数の第１の画像上で、道路の路面が写っている画素は、人の通行により、人がその画素に写ったり、写らなかったりするため、時間経過ととともに色が変化する。そこで変形例では、基準物体検出部１２は、キャリブレーション処理の際、一定期間にわたって取得された複数の第１の画像において、同じ位置の画素ごとに、色成分ごとに、分散を算出する。そして基準物体検出部１２は、何れかの色成分において、分散が所定の閾値以上となる画素の集合を、道路の路面が写っている領域としてもよい。あるいは、基準物体検出部１２は、同じ位置の画素ごとに、何れかの色成分について、時間的に連続する２枚の第１の画像間で値が所定の色閾値以上変化する頻度をカウントする。そして基準物体検出部１２は、その頻度が所定の回数閾値以上となる画素の集合を、道路の路面が写っている領域としてもよい。

基準物体検出部１２は、第１の画像及び第２の画像のそれぞれについて、基準領域を表す情報を基準色情報算出部１３へ出力する。なお、基準領域を表す情報は、例えば、基準領域に含まれる画素と基準領域外の画素とが互いに異なる値を持つ２値画像とすることができる。
また、基準物体検出部１２は、第１の画像及び第２の画像のそれぞれについて、検出された人領域を表す情報を特徴抽出部１７へわたす。なお、人領域を表す情報は、例えば、検出された人領域ごとに異なる画素値を持つ画像とすることができる。

基準色情報算出部１３は、制御部６が第１の画像を取得する度に、その第１の画像の基準領域の色分布を参照して、その第１の画像上での基準物体の色を求める。同様に、基準色情報算出部１３は、制御部６が第２の画像を取得する度に、その第２の画像の基準領域の色分布を参照して、その第２の画像上での基準物体の色を求める。なお、基準色情報算出部１３は、第１の画像及び第２の画像のそれぞれに対して同一の処理を実行するので、以下では、第１の画像に対する処理について説明する。

図２に関して上述したように、街灯など、太陽以外の他の光源によって照明されている領域が路面の一部に存在すると、第１の画像上で、その領域の色が、路面の他の領域の色と異なることがある。このような場合、街灯などによって照明されている領域における路面の色が所定の色となるように第１の画像を色補正すると、補正後の第１の画像において、その領域以外に写っている人の色は、第２の画像上に写っている同一人物の色と異なることがある。

図５（ａ）は、第１のカメラ２−１の撮影範囲内に写る基準物体が一つの光源だけで照明される場合の、第１の画像上での基準領域内の特定の色成分（この例では、R成分）の分布の一例を示す図である。一方、図５（ｂ）及び図５（ｃ）は、それぞれ、第１のカメラ２−１の撮影範囲内に写る基準物体が複数の光源で照明される場合の、第１の画像上での基準領域内のR成分の分布の一例を示す図である。図５（ａ）〜（ｃ）において、横軸はR成分の値を表し、縦軸は、頻度を表す。

図５（ａ）に示されるように、光源が一つしかない場合、R成分の分布を表すヒストグラム５０１は、ある程度以上の頻度を持つピークを一つ(R1)だけ持つ分布となる。一方、図５（ｂ）及び図５（ｃ）に示されるように、光源が複数ある場合、R成分の分布を表すヒストグラム５０２、５０３は、ある程度以上の頻度を持つピークを複数(R1〜R3)持つ分布となる。また、このように複数のピークが含まれる場合、他の光源で照明されていない領域に相当するピークは、R成分値が最も低い、すなわち、最も暗いピークとなる。例えば、図５（ａ）〜図５（ｃ）では、各ヒストグラムにおいて、ピークR1が、他の光源で照明されていない領域に相当するピークとなる。また、他の色成分のヒストグラムについても同様に、他の光源で照明されていない領域に相当するピークは、その色成分値が最も低いピークとなる。

そこで、本実施形態では、基準色情報算出部１３は、R、G、Bの色成分ごとに、第１の画像の基準領域についてヒストグラムを求める。そして基準色情報算出部１３は、色成分ごとに、所定の頻度閾値Th2以上の頻度を持つピークを検出する。何れかの色成分について、頻度閾値Th2以上の頻度を持つピークが複数存在する場合、基準色情報算出部１３は、複数のピークのうち、色成分の値が最小、すなわち、色成分値の取り得る下限値に最も近いピークを検出する。そして基準色情報算出部１３は、色成分ごとに検出されたピークに相当する色成分の値を、第１の画像上での基準物体（この例では、道路の路面）の色とする。

なお、基準色情報算出部１３は、ヒストグラムの微小な凹凸によるピークの誤検出を抑制するために、例えば、色成分ごとに、着目する値を中心とする所定の値の範囲（例えば、±5〜10）に含まれる各値の頻度の合計を、着目する値の頻度値としてもよい。そして基準色情報算出部１３は、頻度値が極大値となる場合に、その頻度値に対応する色成分の値をピークとすればよい。また、基準色情報算出部１３は、頻度値が最大となるピークを最初に検出し、検出されたピークから所定の値の範囲（例えば、±10〜20）を除いた残りのヒストグラムから、次のピークを検出してもよい。そして基準色情報算出部１３は、ピークの頻度値が頻度閾値Th2未満となるまで、上記の処理を繰り返せばよい。
なお、頻度閾値Th2は、例えば、基準領域に含まれる画素の数に、0より大きく、かつ、1未満の所定の値を乗じた値に設定される。その所定の値は、例えば、ノイズなどによる色成分の値の変動などを考慮して、予め設定され、例えば、0.05〜0.2である。

基準色情報算出部１３は、第１の画像及び第２の画像のそれぞれについて、基準物体の色を表す各色成分の値を色補正係数算出部１４へ出力する。

色補正係数算出部１４は、第１の画像について、基準物体の色を表す各色成分の値が算出される度に、基準物体の色が所定の色となるように、第１の画像を色補正する色補正係数を色成分ごとに算出する。同様に、色補正係数算出部１４は、第２の画像について、基準物体の色を表す各色成分の値が算出される度に、基準物体の色が所定の色となるように、第２の画像を色補正する色補正係数を色成分ごとに算出する。

例えば、色補正係数算出部１４は、第１の画像についての色補正係数を次式に従って算出する。
ここで、(r',g',b')は、第１の画像について求められた基準物体の色を表すR成分値、G成分値、B成分値である。また、(TR,TG,TB)は、補正後の基準物体の色を表すR成分値、G成分値、B成分値であり、予め定められる。なお、(TR,TG,TB)は、人がその基準物体を直接見たときの色を表すように設定されることが好ましい。そして(kr,kg,kb)は、それぞれ、R成分、G成分、B成分の色補正係数である。

同様に、色補正係数算出部１４は、第２の画像についても、（２）式に従って色補正係数を色成分ごとに算出する。色補正係数算出部１４は、第１の画像及び第２の画像のそれぞれについて算出された各色成分についての色補正係数を色補正部１５へわたす。

色補正部１５は、第１の画像及び第２の画像のそれぞれを、各画像において検出された基準物体の色に基づいて色補正する。本実施形態では、色補正部１５は、第１の画像及び第２の画像のそれぞれについて、算出された色補正係数を用いて色補正する。例えば、色補正部１５は、第１の画像の各画素について、色成分ごとに、その画素の色成分値にその色成分についての第１の画像について算出された色補正係数を乗じる。同様に、色補正部１５は、第２の画像の各画素について、色成分ごとに、その画素の色成分値にその色成分についての第２の画像について算出された色補正係数を乗じる。これにより、第１の画像と第２の画像とで、基準物体が同じ色となるように、第１の画像と第２の画像とが色補正される。

なお、色補正部１５は、第１の画像及び第２の画像のそれぞれについて、人領域内の各画素についてのみ、上記と同様の処理を行わって色補正してもよい。本実施形態では、第１の画像及び第２の画像で追跡対象となる移動物体は人であるため、人が写っている人領域について色補正されれば、各画像において人の色情報を正確に求めることが可能となるためである。このように、人領域のみを色補正の対象とすることで、演算量が削減される。

色補正部１５は、色補正された第１の画像及び第２の画像を逆色変換部１６へわたす。なお、特徴抽出部１７が、γ特性がリニアな色空間に基づいて各人領域についての特徴量を抽出する場合には、色補正部１５は、色補正された第１の画像及び第２の画像を特徴抽出部１７に直接わたしてもよい。

逆色変換部１６は、色補正された第１の画像及び第２の画像のそれぞれを、γ特性がリニアなRGB色空間から元のsRGB色空間へ逆変換する。例えば、逆色変換部１６は、次式に従って、色補正された第１の画像及び第２の画像の各画素の値を変換する。
ここで、(r,g,b)は、それぞれ、逆変換後のsRGB色空間での着目する画素のR成分の値、G成分の値、B成分の値を表す。また、(r',g',b')は、それぞれ、逆変換前のRGB色空間での着目する画素のR成分の値、G成分の値、B成分の値を表す。そしてγは定数であり、例えば、γ=2.2である。なお、特徴抽出部１７が、γ特性がリニアな色空間に基づいて各人領域についての特徴量を抽出する場合には、逆色変換部１６は省略されてもよい。

逆色変換部１６は、逆変換後の色補正された第１の画像及び第２の画像を特徴抽出部１７にわたす。

特徴抽出部１７は、基準物体が同じ色で表されるように色補正され、かつsRGB色空間で表された第１の画像及び第２の画像のそれぞれにおいて、追跡対象の移動物体である人の特徴を表す特徴量を抽出する。なお、特徴抽出部１７は、第１の画像及び第２の画像のそれぞれに対して同一の処理を実行するので、以下では、第１の画像に対する処理について説明する。

特徴抽出部１７は、人領域ごとに、各色成分について、その人領域に含まれている各画素の色成分の値のヒストグラムを照合用の特徴量として抽出する。あるいは、特徴抽出部１７は、各色成分について求めたヒストグラムについて、人領域に含まれる画素数で色成分値ごとの頻度値を除することで正規化したヒストグラムを、照合用の特徴量としてもよい。あるいはまた、特徴抽出部１７は、人領域に含まれる各画素の値を、HLS系表色系またはHSV表色系の値に変換する。そして特徴抽出部１７は、人領域を、例えば垂直方向に沿って四つのブロックに分割し、ブロックごとに、色相のヒストグラムを作成し、そのヒストグラムに基づいて頻度が最も高い色相の値を代表色とする。そして特徴抽出部１７は、ブロックごとの代表色に相当する色相の値を表す１次元ベクトルを照合用の特徴量としてもよい。

特徴抽出部１７は、第１の画像についての人領域ごとに、抽出した特徴量とその人領域の重心の座標の組を、第１の画像及び第１の画像の生成時刻とともに記憶部５に保存する。同様に、特徴抽出部１７は、第２の画像についての人領域ごとに、抽出した特徴量とその人領域の重心の座標の組を、第２の画像及び第２の画像の生成時刻とともに記憶部５に保存する。

照合部１８は、第１の画像の各人領域の特徴量と、第２の画像の各人領域の特徴量とを照合する。例えば、照合部１８は、第１の画像の着目する人領域の特徴量と、第２の画像の着目する人領域の特徴量間の相互相関値を算出する。例えば、特徴量として、各色成分のヒストグラムが算出されている場合、照合部１８は、色成分ごとに、ヒストグラム間の相互相関値を算出し、色成分ごとの相互相関値の平均値を、二つの人領域の特徴量間の相互相関値とすればよい。あるいは、特徴量が１次元ベクトルとして表されている場合、照合部１８は、二つの人領域のそれぞれについての１次元ベクトルの対応する要素ごとの値の差の二乗和の逆数を相互相関値として算出してもよい。そして照合部１８は、その相互相関値が所定の照合閾値以上である場合、第１の画像の着目する人領域に写っている人と、第２の画像の着目する人領域に写っている人は同一人物であると判定する。一方、相互相関値がその照合閾値未満である場合、照合部１８は、第１の画像の着目する人領域に写っている人と、第２の画像の着目する人領域に写っている人は互いに異なる人物であると判定する。

なお、第１のカメラ２−１と第２のカメラ２−２とは、撮影範囲が互いに異なるように配置されている。そこで照合部１８は、ある生成時刻の第１の画像に対して、第１のカメラ２−１の撮影範囲から第２のカメラ２−２の撮影範囲までの移動に要する想定時間よりも生成時刻が後または前の第２の画像を、その第１の画像に対する照合に利用してもよい。
照合部１８は、照合の結果、同一人物と判定された第１の画像の人領域の重心と第２の画像の人領域の重心の組及びその第１の画像の生成時刻及び第２の画像の生成時刻の組を追跡結果として記憶部５に保存する。

図６は、制御部６により実行される、色補正処理を含む追跡処理の動作フローチャートである。なお、下記の動作フローチャートのうち、ステップＳ１０１〜Ｓ１０７が色補正処理に相当する。

色変換部１１は、第１の画像及び第２の画像のそれぞれについて、各画素の色成分の値をsRGB色空間からRGB色空間の値に変換する（ステップ１０１）。基準物体検出部１２は、色変換された第１の画像及び第２の画像のそれぞれから、人が写っている人領域を検出する（ステップＳ１０２）。さらに、基準物体検出部１２は、色変換された第１の画像及び第２の画像のそれぞれにおいて、道路の路面が写っている領域から人領域を除いた領域を基準領域とする（ステップＳ１０３）。

基準色情報算出部１３は、第１の画像及び第２の画像のそれぞれについて、基準領域について色成分ごとにヒストグラムを生成する。そして基準色情報算出部１３は、各色成分について、頻度閾値Th2以上の頻度を持つピークのうちの最も下限値に近いピークに相当する色成分値を、基準物体の色としてもとめる（ステップＳ１０４）。

色補正係数算出部１４は、第１の画像及び第２の画像のそれぞれについて、基準物体の色に基づいて、基準物体の色を所定の色にする色補正係数を色成分ごとに算出する（ステップＳ１０５）。そして色補正部１５は、第１の画像及び第２の画像のそれぞれについて、各画素の色成分ごとに、その色成分の値に対応する色補正係数を乗じることで、色補正された第１の画像及び第２の画像をもとめる（ステップＳ１０６）。

逆色変換部１６は、色補正された第１の画像及び第２の画像のそれぞれについて、各画素の色成分の値をRGB色空間からsRGB色空間の値に逆変換する（ステップ１０７）。そして特徴抽出部１７は、色補正され、かつ、sRGB色空間で表された第１の画像及び第２の画像のそれぞれについて、人領域ごとに照合用の特徴量を抽出する（ステップＳ１０８）。

照合部１８は、第１の画像の人領域と第２の画像の人領域間で特徴量の相互相関値を算出し、その相互相関値が照合閾値以上となる場合、二つの人領域に同一人物が写っていると判定する（ステップＳ１０９）。そして制御部６は、追跡処理を終了する。

以上に説明してきたように、この色補正装置は、互いに異なる撮影範囲を持つ二つのカメラのそれぞれにより生成された画像において互いに異なる部分が写っている同一の基準物体が表された基準領域を各画像から検出する。そしてこの色補正装置は、各画像について、基準領域の色成分ごとのヒストグラムから、特定のピークに相当する色成分値を基準物体の色としてもとめる。そしてこの色補正装置は、各画像について、基準物体の色が所定の色となるように、その画像を色補正する。そのため、この色補正装置は、各カメラの撮影範囲において、基準物体が複数の光源で照明されている場合でも、基準物体が各画像において同じ色となるように各画像を色補正できる。したがって、この色補正装置が実装された追跡装置は、各画像に写っている、対性対象の移動物体の色に関する特徴を正確に評価できるので、各画像に写っている同一の移動物体を正確に対応付けることで、その移動物体を追跡できる。

なお、変形例によれば、何れかのカメラの撮影範囲に、状況によって影がかかることがある。そこで、光源が一つであり、かつ、影が掛かり得る場合、基準色情報算出部１３は、各色成分について、基準領域のヒストグラムの頻度値が頻度閾値Th2以上となるピークのうち、色成分値が最大のピークに相当する色成分値を基準物体の色としてもよい。あるいは、基準物体検出部１２は、画像上で影が掛かっている領域を検出する技術に従って、各画像から影が掛かっている領域を検出し、その検出した領域を各画像から除いた残りの領域から基準領域を検出してもよい。なお、基準物体検出部１２は、画像上で影が掛かっている領域を検出する技術として、例えば、特開２００６−３３８５５５号公報に開示の技術を利用できる。

また、第１のカメラの撮影範囲周囲の環境条件が変わらなければ、第１の画像上での基準物体の色はそれほど変化しない。そこで他の変形例によれば、制御部６は、第１のカメラ２−１について、所定期間（例えば、1〜2時間）に基準物体検出部１２、基準色情報算出部１３及び色補正係数算出部１４の処理を一回だけ行って色補正係数を算出してもよい。そして制御部６は、その所定期間中に取得された第１の画像に対して同一の色補正係数を用いて色補正してもよい。あるいは、制御部６は、第１の画像について一旦色補正係数を算出した後、その色補正係数算出時の基準物体の各色成分の値との差が所定の許容範囲を越えるまで、その色補正係数を色補正に用いてもよい。同様に、制御部６は、第２のカメラ２−２について、所定期間に基準物体検出部１２、基準色情報算出部１３及び色補正係数算出部１４の処理を一回だけ行って色補正係数を算出してもよい。そして制御部６は、その所定期間中に取得された第２の画像に対して同一の色補正係数を用いて色補正してもよい。これにより、制御部６は、色補正処理の演算量を削減できる。

さらに他の変形例によれば、追跡装置１は、第１の画像及び第２の画像のうちの一方の画像の基準領域に表された基準物体の色を、他方の画像の基準領域に表された基準物体の色と一致するように、一方の画像のみ色補正してもよい。例えば、追跡装置１が、第１の画像の基準領域に表された基準物体の色を、第２の画像の基準領域に表された基準物体の色と一致するように第１の画像を色補正してもよい。この場合、色補正係数算出部１４は、第２の画像の基準領域に表された基準物体の色を表す各色成分値を、（２）式における(TR,TG,TB)として用いて、第１の画像に対する各色成分の色補正係数を算出すればよい。そして色補正部１５は、第１の画像に対して、各色成分の色補正係数を用いて色補正すればよい。この変形例によれば、色補正係数の算出及び色補正については、一方の画像に対してしか実行されないので、追跡装置１は、演算量を削減できる。

さらに他の変形例によれば、色変換部１１は、第１の画像及び第２の画像の各画素の各色成分の値を、sRGB色空間の値から、RGB色空間以外の色空間の値、例えば、HSVまたはHLSの値に変換してもよい。この場合には、基準色情報算出部１３は、第１の画像及び第２の画像のそれぞれについて、基準領域のヒストグラムを輝度成分（または明度成分）についてのみ算出すればよい。そして基準色情報算出部１３は、輝度成分のヒストグラムにおいて、頻度が頻度閾値Th2以上となるピークのうちで輝度値が最小となるピークに相当する輝度値を持つ画素を基準領域から検出する。そして基準色情報算出部１３は、検出した各画素の色相、彩度、及び輝度のそれぞれについて、平均値、中央値または最頻値といった統計的代表値を、基準領域に表された基準物体の色として算出すればよい。あるいはまた、色変換部１１が第１の画像及び第２の画像の各画素の各色成分の値を、sRGB色空間の値から、RGB色空間の値に変換する場合でも、基準色情報算出部１３は、基準領域の各画素について、何れか一つの色成分についてヒストグラムを生成してもよい。この場合でも、基準色情報算出部１３は、その一つの色成分のヒストグラムにおいて頻度が頻度閾値Th2以上となるピークのうちで輝度値が最小となるピークに相当する輝度値を持つ画素を基準領域から検出する。そして基準色情報算出部１３は、検出した各画素の色成分ごとに、平均値、中央値または最頻値といった統計的代表値を、基準領域に表された基準物体の色として算出すればよい。

また、撮影範囲が互いに異なるカメラが３台以上ある場合には、何れか一つの特定のカメラにより生成された画像を第１の画像とし、その他のカメラにより生成された画像をそれぞれ第２の画像として、追跡装置１は、上記の処理を実行すればよい。

さらに、上記の実施形態または変形例による制御部が有する各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な媒体、例えば、磁気記録媒体、光記録媒体、又は半導体メモリに記憶された形で提供されてもよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、さらに以下の付記を開示する。
（付記１）
第１のカメラで生成された第１の画像及び前記第１のカメラの撮影範囲と異なる撮影範囲を持つ第２のカメラで生成された第２の画像のそれぞれから、前記第１の画像及び前記第２の画像において互いに異なる部分が写っている基準物体が表された基準領域を検出する基準物体検出部と、
前記第１の画像及び前記第２の画像のそれぞれについて、前記基準領域に含まれる各画素の少なくとも一つの色成分または輝度成分のヒストグラムを生成し、前記第1の画像および前記第２の画像に対応する生成したヒストグラムに基づいて、前記基準物体の色を検出する基準色情報算出部と、
前記第１の画像及び前記第２の画像の少なくとも一方を、検出した前記基準物体の色に基づいて色補正する色補正部と、
を有する色補正装置。
（付記２）
前記第１の画像及び前記第２の画像の前記少なくとも一方について、色成分ごとに、前記基準物体の色を所定の色とする色補正係数を算出する色補正係数算出部をさらに有し、
前記色補正部は、前記第１の画像及び前記第２の画像の前記少なくとも一方を、前記色補正係数を用いて色補正する、付記１に記載の色補正装置。
（付記３）
前記基準色情報算出部は、前記第1の画像および前記第２の画像のそれぞれについて、対応する前記ヒストグラムにおいて頻度値が所定値以上となる前記ヒストグラムのピークのうちの所定のピークに相当する値に基づいて、前記基準物体の色を検出する、付記１または２に記載の色補正装置。
（付記４）
前記基準色情報算出部は、前記所定のピークに相当する値として、前記少なくとも一つの色成分または輝度成分の下限値に最も近いピークに相当する値を検出する、付記３に記載の色補正装置。
（付記５）
前記基準色情報算出部は、前記第１の画像及び前記第２の画像のそれぞれについて、色成分ごとに前記ヒストグラムを生成し、前記色成分ごとに、頻度値が前記所定値以上となる前記ヒストグラムのピークのうちの前記所定のピークに相当する色成分値を、前記基準物体の色として検出する、付記１または２に記載の色補正装置。
（付記６）
前記基準色情報算出部は、前記第１の画像及び前記第２の画像のそれぞれについて、前記輝度成分についての前記ヒストグラムの前記所定のピークに相当する値を持つ画素を前記基準領域から抽出し、抽出した画素の色成分ごとの統計的代表値を前記基準物体の色として検出する、付記３または４に記載の色補正装置。
（付記７）
前記基準物体は路面であり、
前記基準物体検出部は、前記第１の画像において移動物体を検出し、前記第１の画像上で前記路面が写っている領域から前記移動物体が写っている領域を除いた領域を前記基準領域として検出する、付記１〜６の何れかに記載の色補正装置。
（付記８）
前記基準物体検出部は、第１の時点から第２の時点までの間に生成された複数の第１の画像のそれぞれにおける移動物体が写っている領域の和集合となる第１の領域の面積と、前記第１の領域と、前記第２の時点から第３の時点までの間に生成された複数の第１の画像のそれぞれから検出された移動物体が写っている領域との和集合である第２の領域の面積との差が所定の面積閾値未満となる場合、前記第２の領域を前記路面が写っている領域とする、付記７に記載の色補正装置。
（付記９）
前記基準物体検出部は、所定の期間において生成された複数の第１の画像のそれぞれにおいて、対応する画素ごとに色の変化を検出し、当該色の変化の頻度または分散が所定の閾値以上となる画素の集合を前記路面が写っている領域とする、付記７に記載の色補正装置。
（付記１０）
前記色補正係数算出部は、前記第２の画像についての前記基準物体の色を前記所定の色とし、前記第１の画像について、色成分ごとに、前記第１の画像についての前記基準物体の色を前記所定の色とする前記色補正係数を算出する、付記２に記載の色補正装置。
（付記１１）
第１のカメラで生成された第１の画像及び前記第１のカメラの撮影範囲と異なる撮影範囲を持つ第２のカメラで生成された第２の画像のそれぞれから、前記第１の画像及び前記第２の画像において互いに異なる部分が写っている基準物体が表された基準領域を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、前記基準領域に含まれる各画素の少なくとも一つの色成分または輝度成分のヒストグラムを生成し、前記第1の画像および前記第２の画像に対応する生成したヒストグラムに基づいて、前記基準物体の色を検出し、
前記第１の画像及び前記第２の画像の少なくとも一方を、前記基準物体の色に基づいて色補正する、
ことを含む色補正方法。
（付記１２）
第１のカメラで生成された第１の画像及び前記第１のカメラの撮影範囲と異なる撮影範囲を持つ第２のカメラで生成された第２の画像のそれぞれから、前記第１の画像及び前記第２の画像において互いに異なる部分が写っている基準物体が表された基準領域を検出し、
前記第１の画像及び前記第２の画像のそれぞれについて、前記基準領域に含まれる各画素の少なくとも一つの色成分または輝度成分のヒストグラムを生成し、前記第1の画像および前記第２の画像に対応する生成したヒストグラムに基づいて、前記基準物体の色を検出し、
前記第１の画像及び前記第２の画像の少なくとも一方を、前記基準物体の色に基づいて色補正する、
ことをコンピュータに実行させるための色補正用コンピュータプログラム。

１ 追跡装置
２−１ 第１のカメラ
２−２ 第２のカメラ
３ 通信インターフェース部
４ ユーザインターフェース部
５ 記憶部
６ 制御部
１１ 色変換部
１２ 基準物体検出部
１３ 基準色情報算出部
１４ 色補正係数算出部
１５ 色補正部
１６ 逆色変換部
１７ 特徴抽出部
１８ 照合部

Claims (8)

1. 第１のカメラで生成された第１の画像及び前記第１のカメラの撮影範囲と異なる撮影範囲を持つ第２のカメラで生成された第２の画像のそれぞれから、前記第１の画像及び前記第２の画像において互いに異なる部分が写っている基準物体が表された基準領域を検出する基準物体検出部と、
   前記第１の画像及び前記第２の画像のそれぞれについて、前記基準領域に含まれる各画素の少なくとも一つの色成分または輝度成分のヒストグラムを生成し、前記第1の画像および前記第２の画像に対応する生成したヒストグラムに基づいて、前記基準物体の色を検出する基準色情報算出部と、
   前記第１の画像及び前記第２の画像の少なくとも一方を、検出した前記基準物体の色に基づいて色補正する色補正部と、
   を有する色補正装置。
2. 前記第１の画像及び前記第２の画像の前記少なくとも一方について、色成分ごとに、前記基準物体の色を所定の色とする色補正係数を算出する色補正係数算出部をさらに有し、
   前記色補正部は、前記第１の画像及び前記第２の画像の前記少なくとも一方を、前記色補正係数を用いて色補正する、請求項１に記載の色補正装置。
3. 前記基準色情報算出部は、前記第1の画像および前記第２の画像のそれぞれについて、対応する前記ヒストグラムにおいて頻度値が所定値以上となる前記ヒストグラムのピークのうちの所定のピークに相当する値に基づいて、前記基準物体の色を検出する、請求項１または２に記載の色補正装置。
4. 前記基準色情報算出部は、前記所定のピークに相当する値として、前記少なくとも一つの色成分または輝度成分の下限値に最も近いピークに相当する値を検出する、請求項３に記載の色補正装置。
5. 前記基準物体は路面であり、
   前記基準物体検出部は、前記第１の画像において移動物体を検出し、前記第１の画像上で前記路面が写っている領域から前記移動物体が写っている領域を除いた領域を前記基準領域として検出する、請求項１〜４の何れか一項に記載の色補正装置。
6. 前記基準物体検出部は、第１の時点から第２の時点までの間に生成された複数の第１の画像のそれぞれにおける移動物体が写っている領域の和集合となる第１の領域の面積と、前記第１の領域と、前記第２の時点から第３の時点までの間に生成された複数の第１の画像のそれぞれから検出された移動物体が写っている領域との和集合となる第２の領域の面積との差が所定の面積閾値未満となる場合、前記第２の領域を前記路面が写っている領域とする、請求項５に記載の色補正装置。
7. 第１のカメラで生成された第１の画像及び前記第１のカメラの撮影範囲と異なる撮影範囲を持つ第２のカメラで生成された第２の画像のそれぞれから、前記第１の画像及び前記第２の画像において互いに異なる部分が写っている基準物体が表された基準領域を検出し、
   前記第１の画像及び前記第２の画像のそれぞれについて、前記基準領域に含まれる各画素の少なくとも一つの色成分または輝度成分のヒストグラムを生成し、前記第1の画像および前記第２の画像に対応する生成したヒストグラムに基づいて、前記基準物体の色を検出し、
   前記第１の画像及び前記第２の画像の少なくとも一方を、検出した前記基準物体の色に基づいて色補正する、
   ことを含む色補正方法。
8. 第１のカメラで生成された第１の画像及び前記第１のカメラの撮影範囲と異なる撮影範囲を持つ第２のカメラで生成された第２の画像のそれぞれから、前記第１の画像及び前記第２の画像において互いに異なる部分が写っている基準物体が表された基準領域を検出し、
   前記第１の画像及び前記第２の画像のそれぞれについて、前記基準領域に含まれる各画素の少なくとも一つの色成分または輝度成分のヒストグラムを生成し、前記第1の画像および前記第２の画像に対応する生成したヒストグラムに基づいて、前記基準物体の色を検出し、
   前記第１の画像及び前記第２の画像の少なくとも一方を、検出した前記基準物体の色に基づいて色補正する、
   ことをコンピュータに実行させるための色補正用コンピュータプログラム。