JP2018182593A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 撮像画像中の被写体領域の色情報を補正する際に用いる光源情報をより迅速に収集可能な技術を提供すること。【解決手段】 被写体を含む撮像画像に基づいて該被写体の実空間における位置を取得し、該取得した位置に対応する光源に係る光源情報を取得する。該取得した光源情報に基づいて、撮像画像における被写体の領域の色情報を補正する。【選択図】 図１

Description

本発明は、被写体の画像を処理する画像処理技術に関するものである。

従来から、コンビニエンスストア、ショッピングモール、空港などに複数のカメラを設置し、ネットワークでつなぐことによって複数の地点の監視を可能とするシステムがある。例えば、あるカメラで少し前に撮像された録画映像に含まれている万引き犯など特定の人物を、現在のカメラ映像の中から探すといった使い方がある。このとき、録画済みの映像と現在のカメラ映像を並べて表示し、目視によって確認することにより、特定の人物が現在どのカメラの撮影範囲にいるかを知ることができる。

複数のカメラ映像から特定の人物を目視によって同定する際に、映像、特に人物領域の色がずれていると、正しく同定することが困難になる。カメラの色再現は設置された場所の環境光色温度により影響を受けることが知られている。例えば蛍光灯と白熱灯とで比べると、蛍光灯下では物体は青色が強く再現され、白熱灯下では物体は赤色が強く再現される。そこでカメラは、画面全体の映像を用いたホワイトバランス処理により色補正を行っている。実際には、撮影範囲内に複数の光源が存在するケースが多い。例えば、窓のある屋内で撮影すると、屋内は蛍光灯、窓の外は日照である。このような条件では、人物がどの位置に立つかによって光源の影響が異なるため、前述のホワイトバランス処理のように画面全体で判断すると、人物の色を常に正しく補正することができない。そこで、複数の光源があっても正しく色補正を行う技術が提案されている。

特許文献１に記載の発明では、画面を複数のブロックに分割し、ブロック単位で補正量を算出している。また、特許文献２に記載の発明では、ブロック単位で被写体までの距離（奥行情報）を検出し、奥行情報に基づいて補正量を決定している。

特開平８−３７６６７号公報 特開２００８−２８８７０６号公報

特許文献１および特許文献２の手法では、撮像画像の２次元的な位置と補正量が関連付けられている。そのため、撮影対象である人物が移動してカメラとの位置関係が変化すると、撮影対象に影響を与える光源を改めて測定（または推定）して補正量を算出する必要があった。また、カメラの画角変更、設置位置の変更、カメラの新規追加などの状況変化が生じた場合も、改めて光源を測定（または推定）して補正量を算出する必要があった。

本発明はこのような問題に鑑みてなされたものであり、撮像画像中の被写体領域の色情報を補正する際に用いる光源情報をより迅速に収集可能な技術を提供する。

本発明の一様態は、被写体を含む撮像画像に基づいて該被写体の実空間における位置を取得し、該取得した位置に対応する光源に係る光源情報を取得する取得手段と、前記取得手段が取得した光源情報に基づいて、前記撮像画像における被写体の領域の色情報を補正する補正手段とを備えることを特徴とする。

本発明の構成によれば、撮像画像中の被写体領域の色情報を補正する際に用いる光源情報をより迅速に収集することができる。

システムの構成例を示すブロック図である。 コンピュータ装置のハードウェア構成例を示すブロック図である。 画像補正装置１０５の機能構成例を示すブロック図である。 光源地図情報の生成処理のフローチャートである。 光源地図情報を説明する図である。 撮像画像中の被写体領域の色情報を補正する補正処理のフローチャートである。 第１の実施形態の利点を説明する図である。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、複数の撮像装置を有するシステムであって、着目撮像装置からの撮像画像中の被写体の色情報を、該被写体の実空間における位置に対応する光源情報に基づいて補正してからユーザに提示するためのシステムの一例について説明する。なお、以下では、被写体が人物であるものとして説明するが、これに限らず、被写体が人物以外であっても以下の説明は同様に適用することができる。

先ず、本実施形態に係るシステムの構成例について、図１にブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、撮像装置１０１〜１０３と、画像処理装置としての画像補正装置１０５と、モニタリング装置１０６と、を有する。そして撮像装置１０１〜１０３、画像補正装置１０５、モニタリング装置１０６のそれぞれは、ＬＡＮやインターネットなどのネットワーク１０４に接続されており、互いにデータ通信が可能なように構成されている。

先ず、撮像装置１０１〜１０３について説明する。撮像装置１０１〜１０３は実空間の様々な箇所を撮像するべく設けられたもので、それぞれ実空間中の異なる位置に配置され、実空間の動画像を撮像する若しくは連続して静止画像を撮像する。撮像装置１０１〜１０３のそれぞれによって撮像された各フレームの画像（撮像画像）は何れも、ネットワーク１０４を介して画像補正装置１０５に対して送信される。撮像装置１０１〜１０３は、CCD、CMOSなどの撮像センサや撮像レンズなどを有する。図１では、撮像装置の数を３としているが、撮像装置の数は３に限らない。

次に、画像補正装置１０５について説明する。画像補正装置１０５は、撮像装置１０１〜１０３のそれぞれから受信した撮像画像における被写体の色情報を、該被写体の実空間における位置に対応する光源情報に応じて補正するための処理を行う。画像補正装置１０５による補正後の撮像画像はモニタリング装置１０６に対して送信される。画像補正装置１０５の機能構成例を図３のブロック図に示す。図３に示した各機能部の動作については後述する。

次に、モニタリング装置１０６について説明する。モニタリング装置１０６は、画像補正装置１０５によって色情報が補正された被写体の撮像画像を表示することで該撮像画像をユーザに提示するための装置である。

次に、本実施形態に係るシステムを運用する前の撮像装置設置時などのタイミングで行われる、光源地図情報の生成処理について、図４のフローチャートに従って説明する。図４は、画像補正装置１０５が撮像画像中の被写体の色情報を補正するために使用する情報である光源地図情報を生成するために画像補正装置１０５が行う処理のフローチャートである。光源地図情報は、撮像装置１０１〜１０３のそれぞれについて生成する。図４のフローチャートに従った処理は、１つの撮像装置に対する光源地図情報を生成するための処理であるから、本実施形態の場合、撮像装置１０１〜１０３のそれぞれについて図４のフローチャートに従った処理を行うことになる。そして、撮像装置１０１による撮像画像における被写体の色情報を補正する場合には、撮像装置１０１について生成した光源地図情報を適用する。また、撮像装置１０２による撮像画像における被写体の色情報を補正する場合には、撮像装置１０２について生成した光源地図情報を適用する。また、撮像装置１０３による撮像画像における被写体の色情報を補正する場合には、撮像装置１０３について生成した光源地図情報を適用する。

以下では、撮像装置１０１に対する光源地図情報の生成処理について説明するが、撮像装置１０２に対する光源地図情報の生成処理、撮像装置１０３に対する光源地図情報の生成処理についても同様にして行う。

ステップＳ４０１では、取得部３０１は、撮像装置１０１からネットワーク１０４を介して送信された撮像画像と、撮像装置１０１の識別情報と、を受信する。

ステップＳ４０２では、検出部３０２は、ステップＳ４０１で受信した撮像画像から被写体の領域（被写体領域）を検出する。被写体領域は、例えば、撮像画像の左上隅を原点とし、被写体を囲む矩形の左上と右下の２点のｘ座標及びｙ座標で表す。更に、これに加えて、被写体を構成する画素に対して「１」、それ以外の画素に対して「０」を割り当てたマスク画像を付与してもよい。マスク画像を利用することで、矩形で表現することによって含まれてしまう被写体以外の画素と被写体の画素を区別することができる。

撮像画像から被写体の領域を検出するための具体的な方法としては、例えば、以下の文献１に記されている方法がある。すなわち、予め背景のみが撮像された撮像画像から背景モデルを生成しておき、これと入力画像（ここではステップＳ４０１で受信した撮像画像）との差分により被写体の領域を検出する背景差分による方法がある。

（文献１） Ｓｔａｕｆｆｅｒ Ｃ， Ｇｒｉｍｓｏｎ Ｗ． Ｅ． Ｌ． Ａｄａｐｔｉｖｅ ｂａｃｋｇｒｏｕｎｄ ｍｉｘｔｕｒｅ ｍｏｄｅｌｓ ｆｏｒ ｒｅａｌ―ｔｉｍｅ ｔｒａｃｋｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ． １９９９ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （Ｃａｔ． Ｎｏ ＰＲ００１４９）． ＩＥＥＥ Ｃｏｍｐｕｔ． Ｓｏｃ． Ｐａｒｔ Ｖｏｌ． ２， １９９９
また、撮像画像から被写体の領域を検出するための他の手法としては、例えば、以下の文献２に記されている方法がある。すなわち、所定の大きさの検出ウィンドウを入力画像（ここではステップＳ４０１で受信した撮像画像）上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対して人物であるか否かの２クラス判別を行う。この判別には、アダブーストを使って多くの弱判別器を有効に組み合わせて判別器を構成し、判別精度を向上させる。また、この判別器を直列に繋ぎ、カスケード型の検出器を構成するようにしている。弱判別器はＨＯＧ特徴量で構成されている。そして、カスケード型の検出器は、まず前段の単純な判別器を使って明らかに被写体でないパターンの候補をその場で除去する。そして、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な判別器を使って人物かどうかの判別を行う。

（文献２） ＵＳ２００７／０２３７３８７
上記の通り、本実施形態では、被写体が人物であるものとしているが、例えば、被写体として車両を扱いたい場合は、文献２にある判別器を車両について作成して適用すればよい。このような上記に述べた方法によって、撮像画像から被写体の領域を検出することができる。なお、撮像画像から被写体の領域を検出するための手法については特定の手法に限らず、如何なる手法を採用しても良い。

ステップＳ４０３では、推定部３０５は、ステップＳ４０１で受信した撮像画像からステップＳ４０２で検出された被写体領域のうち未選択のうちの１つを選択被写体領域として選択する。そして推定部３０５は、選択被写体領域内の画素値を用いて光源推定を行うことで、該選択被写体領域内の被写体の実空間における位置に対応する光源情報を推定する。

光源情報として「選択被写体領域内の被写体の実空間における位置に対応する光源の光色」を推定する方法としては、例えば選択被写体領域から輝度値が規定値以上の領域を白色と仮定し、色空間（色差空間）上で白色の位置に近い色を光源の光色と推定できる。また、光源情報として「選択被写体領域内の被写体の実空間における位置に対応する光源の光色を示す色温度」を推定する方法としては、例えば、特許文献１に記載の方法がある。すなわち、色温度ごとにモデル化した被写体色が選択被写体領域中にどの程度存在するかの信頼度を画素数で判断し、信頼度の高くなる色温度を選択する。

ステップＳ４０４では、特定部３０３は、ステップＳ４０１で受信した撮像画像における選択被写体領域の位置を、撮像装置１０１について予め作成して記憶部３０４に登録されている変換行列を用いて変換することで、実空間における対応位置を求める。本実施形態では、「撮像装置１０１について予め作成して記憶部３０４に登録されている変換行列」とは、撮像装置１０１による撮像画像中の位置を、監視エリアの地図上の対応位置に変換する変換行列である。監視エリアの地図とは、撮像装置１０１〜１０３が配置されているエリアの俯瞰図であり、撮像装置１０１〜１０３により監視されるエリアを含む全体エリアの俯瞰図である。

「撮像装置１０１について予め作成して記憶部３０４に登録されている変換行列」とは、例えば、以下のようにして求める。すなわち、予め撮像装置１０１の設置時に、撮像装置１０１による撮像画像内の床面上の平面を指定すると共に、地図上で対応する平面を指定し、指定した平面間のホモグラフィ行列を上記の変換行列として求める。このような変換行列は、撮像装置１０１〜１０３のそれぞれについて予め求めておき、該撮像装置の識別情報と対応付けて記憶部３０４に登録しておく。

然るにステップＳ４０４では、特定部３０３は、撮像装置１０１の識別情報と対応付けて記憶部３０４に登録されている変換行列を読み出す。そして特定部３０３は、ステップＳ４０１で受信した撮像画像における選択被写体領域の位置を、該読み出した変換行列を用いて、地図上の対応する位置に変換する。撮像画像における選択被写体領域の位置を、例えば、選択被写体領域の下辺の中心座標位置とすることで、撮像画像上における被写体の足下の位置を地図上の位置に変換することができる。

ステップＳ４０５で生成部３０６はステップＳ４０３で推定部３０５が推定した光源情報とステップＳ４０４で特定部３０３が特定した地図上の位置とステップＳ４０１で取得部３０１が取得した撮像装置１０１の識別情報を対応付けて記憶部３０７に登録する。

ステップＳ４０６では、推定部３０５は、ステップＳ４０１で受信した撮像画像からステップＳ４０２で検出された被写体領域のうち未選択の被写体領域が残っているか否かを判断する。この判断の結果、ステップＳ４０１で受信した撮像画像からステップＳ４０２で検出された被写体領域のうち未選択の被写体領域が残っている場合には、処理はステップＳ４０３に戻る。一方、ステップＳ４０１で受信した撮像画像からステップＳ４０２で検出された被写体領域の全てを選択被写体領域として選択した場合には、処理はステップＳ４０７に進む。

ステップＳ４０７では、制御部３００は、図４のフローチャートに従った処理の終了条件が満たされたか否かを判断する。例えば、撮像装置１０１〜１０３による撮像を一定時間行ってステップＳ４０１〜Ｓ４０６の処理を行う場合には、撮像装置１０１〜１０３による撮像開始から一定時間が経過した場合には、上記の終了条件が満たされたと判断する。この判断の結果、上記の終了条件が満たされた場合には、図４のフローチャートに従った処理は完了する。一方、上記の終了条件が満たされていない場合には、処理はステップＳ４０１に戻る。

撮像装置１０１について図４のフローチャートに従った処理を行うことで記憶部３０７には、撮像装置１０１の識別情報、撮像装置１０１による撮像画像中の被写体領域の地図上の位置、該位置に対応する光源情報、のセットが登録される。このセットが、撮像装置１０１に対応する光源地図情報である。

同様に、撮像装置１０２について図４のフローチャートに従った処理を行うことで記憶部３０７には、撮像装置１０２の識別情報、撮像装置１０２による撮像画像中の被写体領域の地図上の位置、該位置に対応する光源情報、のセットが登録される。このセットが、撮像装置１０２に対応する光源地図情報である。また、撮像装置１０３について図４のフローチャートに従った処理を行うことで記憶部３０７には、撮像装置１０３の識別情報、撮像装置１０３による撮像画像中の被写体領域の地図上の位置、該位置に対応する光源情報、のセットが登録される。このセットが、撮像装置１０３に対応する光源地図情報である。

このような処理によれば、被写体が監視エリア内を移動するたびに、その時々の被写体の位置に対応する光源情報を取得することができる。そして撮像装置１０１〜１０３のそれぞれについて図４のフローチャートの処理を充分な時間繰り返して行えば、その間に被写体が監視エリア内を移動すると期待できるので、地図上の撮像装置１０１〜１０３の撮影範囲全体について光源地図情報を生成できる。

ここで、光源地図情報について、図５を用いて説明する。図５には、撮像装置５０５〜５０７が配置された監視エリアの地図５０１を示しており、撮像装置５０５〜５０７は、壁で覆われた部屋５０２〜５０４の間の通路に設置されている。また、この地図５０１には、左上隅の位置５０９を原点とし、水平方向にはｘ軸５１０、垂直方向にはｙ軸５１１、が規定されているものとする。

ここで、ある時点では地図５０１上の位置５１２に被写体５０８が位置しているとする。このような状態において例えば、撮像装置５０７による撮像画像から被写体５０８についての光源情報が得られたとすると、該光源情報、位置５１２、撮像装置５０７の識別情報のセットが、「撮像装置５０７の光源地図情報」として記憶部３０７に登録される。

なお、位置５１２は、地図５０１を図５に示す如く複数のブロックに分割した場合において、変換行列によって変換された位置を含むブロックの位置にしても良いし、該ブロックの識別情報（ラスタスキャン順に付与された識別情報）としても良い。ブロックの分割数によって、光源地図情報のメモリ使用量の制御が可能となり、後述する補正処理において光源地図情報を参照する際も、高速化が可能になる。

このように、被写体の地図上の位置と光源情報とを対応付けておくことにより、被写体の移動により影響を受ける光源が変化しても、適切な光源情報を必要に応じて読みだすことができる。

また、地図上の被写体の位置に光源情報に加えて撮像装置の識別情報を対応付けておくことにより、撮像方向の違いで被写体が影響を受ける光源が異なる場合にも対応が可能になる。図５の例では、被写体５０８は撮像装置５０７と撮像装置５０６の両方で撮像することができる。このとき例えば、撮像装置５０７側に３０００Ｋの光源が設置され、撮像装置５０６側に２５００Ｋの光源が設置されているとする。このような状況であっても、同じ位置５１２に対して、撮像装置５０６、５０７のそれぞれについて異なる光源情報を記憶しておくことが可能である。撮像装置の識別情報をもとにそれぞれに対応した光源情報を必要に応じて読み出すことが可能になる。

次に、記憶部３０７に登録した光源地図情報を用いて撮像画像中の被写体領域の色情報を補正する補正処理について、図６のフローチャートに従って説明する。図６のフローチャートに従った処理は、１つの撮像装置からの撮像画像中の被写体領域を補正するための処理であるから、本実施形態の場合、撮像装置１０１〜１０３のそれぞれについて図６のフローチャートに従った処理を行うことになる。ステップＳ６０１，Ｓ６０２の各ステップにおける処理は、上記のステップＳ４０１，Ｓ４０２と同様であるため、これらのステップに係る説明は省略する。

ステップＳ６０３では、補正部３０８は、ステップＳ６０１で受信した撮像画像からステップＳ６０２で検出された被写体領域のうち未選択のうちの１つを選択被写体領域として選択する。そして補正部３０８は特定部３０３と同様にして、ステップＳ６０１で受信した撮像画像における選択被写体領域の位置を、撮像装置１０１について予め作成して記憶部３０４に登録されている変換行列を用いて変換することで、地図上の対応位置を求める。そして補正部３０８は、撮像装置１０１の識別情報を含む光源地図情報のうち、該求めた対応位置を含む光源地図情報を特定し、該特定した光源地図情報中の光源情報を記憶部３０７から読み出す。地図上の対応位置がブロックの位置／識別情報であれば、撮像装置１０１の識別情報を含む光源地図情報のうち、該ブロックの位置／識別情報を含む光源地図情報を特定し、該特定した光源地図情報中の光源情報を要求し、記憶部３０７から読み出す（出力する）。

そしてステップＳ６０４では補正部３０８は、記憶部３０７から読み出した光源情報に基づいて、選択被写体領域の色情報を補正する。選択被写体領域の色情報の補正では、例えば、予め色温度（または、色差空間上の白色点の位置座標）ごとにＲＧＢ各チャンネルの値を変換するルックアップテーブルを作成しておく。そして、選択被写体領域の色温度（または、色差空間上の白色点の位置座標）に対応するルックアップテーブルを用いて、選択被写体領域内の各画素のＲＧＢ値を変更することで、選択被写体領域に対する色情報の補正を行う。なお、色情報は色だけでなく、輝度等他の要素であっても良い。

ステップＳ６０５では、補正部３０８は、ステップＳ６０１で受信した撮像画像からステップＳ６０２で検出された被写体領域のうち未選択の被写体領域が残っているか否かを判断する。この判断の結果、ステップＳ６０１で受信した撮像画像からステップＳ６０２で検出された被写体領域のうち未選択の被写体領域が残っている場合には、処理はステップＳ６０３に戻る。一方、ステップＳ６０１で受信した撮像画像からステップＳ６０２で検出された被写体領域の全てを選択被写体領域として選択した場合には、処理はステップＳ６０６に進む。

ステップＳ６０６では、補正部３０８は、ステップＳ６０１で受信した撮像画像において全ての被写体領域についてステップＳ６０４で色情報が補正された補正済みの撮像画像を、ネットワーク１０４を介してモニタリング装置１０６に対して送信する。これによりモニタリング装置１０６が有する表示画面には、全ての被写体領域について色情報が補正された撮像画像が表示されることになる。このようにしてユーザが確認する各撮像装置の撮像画像中の被写体領域は、被写体の監視エリア内の位置に応じた光源情報を反映した補正が行われているため、服の色などを正しく判別することができるようになる。

ステップＳ６０７では、制御部３００は、図６のフローチャートに従った処理の終了条件が満たされたか否かを判断する。例えば、画像補正装置１０５のユーザから終了指示が入力された場合には、上記の終了条件が満たされたと判断する。この判断の結果、上記の終了条件が満たされた場合には、図６のフローチャートにした型処理は完了する。一方、上記の終了条件が満たされていない場合には、処理はステップＳ６０１に戻る。

次に、撮像装置１０１〜１０３の何れかの撮像範囲が変化した場合や新たに撮像装置を追加した場合においても、本実施形態に係るシステムが従来と比べて比較的容易に、被写体領域の補正用の情報を収集可能であることについて、図７を用いて説明する。図７において図５と同じものについては同じ参照番号を付している。

図７（ａ）では、撮像装置５０７の撮像範囲７０２に属するブロックに「ａ」を付している。ここで、「ａ」が付されたブロック（ブロックａと称する）については光源情報が記憶部３０７に登録済みであるとする。

ここで図７（ｂ）に示す如く、撮像装置５０７が水平方向にパンし、撮像装置５０７の撮像範囲が撮像範囲７０２から撮像範囲７０４に変化したとする。撮像装置５０７の撮像範囲が撮像範囲７０２から撮像範囲７０４に変化した場合、変化後の撮像範囲である撮像範囲７０４に属するブロックについて光源情報を収集する必要がある。ここで、撮像範囲７０４において撮像範囲７０２と重なるブロック（ブロックａ）については既に光源情報は登録済みであるため、改めて光源情報を推定する必要はない。そこで、撮像範囲７０４において撮像範囲７０２と重ならないブロック（「ｂ」が付されたブロック（ブロックｂと称する））について光源情報を求めて登録すればよい。

また、図７（ｃ）に示す如く、撮像装置５０５〜５０７に加えて、撮像装置７０６が追加されたとする。追加した撮像装置と既に設置済みの撮像装置との位置関係や撮像方向の関係によっては、追加した撮像装置の撮像範囲が、他の撮像装置の撮像範囲と一部若しくは全部が重なっている可能性がある。図７（ｃ）の場合、追加した撮像装置７０６の撮像範囲７０７の一部が、撮像装置７０６の近傍に設置されている撮像装置５０７の撮像範囲７０２と重なっている（撮像範囲７０７内にブロックａが含まれている）。そこでこのような場合は、撮像範囲７０７に対応するブロックａの光源情報として、撮像装置５０７について求めたブロックａの光源情報を利用する。そして、撮像範囲７０７において撮像範囲７０２と重ならないブロック（「ｃ」が付されたブロック）について光源情報を求めて登録する。

一般に、撮像装置を追加した場合には、追加した撮像装置の近傍に設置されている近傍撮像装置を特定する。この場合、撮像装置ごとに、該撮像装置の設置位置と識別情報とを対応付けた対応テーブルを作成して画像補正装置１０５に登録しておく必要があり、追加した撮像装置の設置位置に最も近い設置位置に設置されている近傍撮像装置の識別情報を特定する。そして、追加した撮像装置の撮像範囲において近傍撮像装置の撮像範囲と重複する重複部分のブロックの光源情報として、近傍撮像装置の撮像範囲において該重複部分に対応するブロックについて登録済みの光源情報を採用する。そして、追加した撮像装置の撮像範囲において上記重複部分以外のブロックについては、上記の通り、光源情報を求める。

このように、光源情報を地図上の位置に対応付けているため、撮像装置の撮像範囲を変更したり撮像装置を新たに追加したりしても、既に求めた光源情報を活用し、光源推定処理を最小限にすることが可能となる。

また、光源地図情報の位置座標を３次元に拡張して時間軸を追加すれば、照明条件の時間変化に対応することも可能になる。例えば時間軸を２４時間分とし、１時間ごとに図４のフローチャートを行って、撮像装置毎に、１時間毎の光源地図情報を生成しておく。そして図６のフローチャートに従った処理では、被写体領域の地図上の位置と指定時刻とに対応する光源情報を取得する。

このように、本実施形態によれば、光源地図情報を参照することにより、被写体の移動にともなう照明条件の変化に合わせて待ち時間が発生することなく被写体領域の色情報を正しく補正することができる。また、撮像装置の撮像範囲の変更や撮像装置の追加に対しても改めて補正に必要な光源情報の推定処理をする必要がなくなる。

＜変形例＞
第１の実施形態では、撮像装置と画像補正装置１０５とは別個の装置であるものとして説明したが、撮像装置１０１〜１０３のそれぞれに画像補正装置１０５を搭載しても良い。このような場合、例えば、撮像装置１０１においては、撮像装置１０１に対応する光源地図情報を生成して保持しておき、その後、撮像装置１０１において撮像を開始すると、撮像した撮像画像中の被写体領域を、該保持しておいた光源地図情報を用いて補正する。そして撮像装置１０１は、被写体領域を補正した撮像画像を、ネットワーク１０４を介してモニタリング装置１０６に対して送信する。

なお、画像補正装置１０５の全ての構成を撮像装置に組み込むことに限らず、画像補正装置１０５の一部の構成を撮像装置に組み込むようにしても良い。例えば、画像補正装置１０５が有する機能のうち撮像画像から被写体領域を検出する機能を撮像装置に組み込むようにしてもよい。このような場合、撮像装置は検出した被写体領域を画像補正装置１０５に送信し、画像補正装置１０５は、受信した被写体領域に対する補正処理を行う。

［第２の実施形態］
図３に示した各機能部は何れもハードウェアで実装しても良いが、記憶部３０４，３０７をメモリで実装し、残りの機能部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、記憶部３０４，３０７として機能するメモリを有し、且つ残りの機能部に対応するコンピュータプログラムを実行可能なコンピュータ装置は、画像補正装置１０５に適用することができる。

画像補正装置１０５に適用可能なコンピュータ装置のハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示したハードウェア構成例を有するコンピュータ装置は、モニタリング装置１０６に適用しても良い。

ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ２０１は、コンピュータ装置全体の動作制御を行うと共に、画像補正装置１０５が行うものとして上述した各処理を実行若しくは制御する。

ＲＯＭ２０２には、ＢＩＯＳ等の書換不要のコンピュータプログラムやデータが格納されている。ＲＡＭ２０３は、ＲＯＭ２０２や２次記憶装置２０４からロードされたコンピュータプログラムやデータ、ネットワークＩ／Ｆ２０７を介して外部（例えば上記の撮像装置１０１〜１０３）から受信したデータを格納するためのエリアを有する。更にＲＡＭ２０３は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０３は、各種のエリアを適宜提供することができる。

２次記憶装置２０４は、ハードディスクドライブ装置やフラッシュメモリに代表される大容量情報記憶装置である。２次記憶装置２０４には、ＯＳ（オペレーティングシステム）や、画像補正装置１０５が行うものとして上述した各処理をＣＰＵ２０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。２次記憶装置２０４に保存されているコンピュータプログラムには、図３において記憶部３０４，３０７を除く各機能部の機能をＣＰＵ２０１に実行若しくは制御させるためのコンピュータプログラムが含まれている。また、２次記憶装置２０４に保存されているデータには、上記の説明において既知の情報として説明したものが含まれている。なお、記憶部３０４，３０７は、ＲＡＭ２０３、ＲＯＭ２０２、２次記憶装置２０４の何れか若しくはその組み合わせでもって実装されうる。２次記憶装置２０４に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０３にロードされ、ＣＰＵ２０１による処理対象となる。

入力装置２０５は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ２０１に対して入力することができる。

表示装置２０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を画像や文字などでもって表示することができる。例えば、本コンピュータ装置をモニタリング装置１０６に適用した場合、この表示装置２０６には、画像補正装置１０５によって被写体領域が補正された撮像画像が表示されることになる。また、入力装置２０５と表示装置２０６とを組み合わせてタッチパネル画面を構成しても良い。また、表示装置２０６は、表示対象画像を投影するプロジェクタであっても良い。

ネットワークＩ／Ｆ２０７は、本コンピュータ装置を上記のネットワーク１０４に接続するためのもので、本コンピュータ装置は、このネットワークＩ／Ｆ２０７を介して撮像装置１０１〜１０３等の外部の機器との間のデータ通信を行う。

ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、２次記憶装置２０４、入力装置２０５、表示装置２０６、ネットワークＩ／Ｆ２０７は何れも、バス２０８に接続されている。なお、図２に示したハードウェア構成例は、画像補正装置１０５やモニタリング装置１０６に適用可能なコンピュータ装置のハードウェア構成の一例であって、このような構成に限定するものではない。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００：制御部 ３０１：取得部 ３０２：検出部 ３０３：特定部 ３０４：記憶部 ３０５：推定部 ３０６：生成部 ３０７：記憶部 ３０８：補正部

Claims (15)

1. 被写体を含む撮像画像に基づいて該被写体の実空間における位置を取得し、該取得した位置に対応する光源に係る光源情報を取得する取得手段と、
   前記取得手段が取得した光源情報に基づいて、前記撮像画像における被写体の領域の色情報を補正する補正手段と
   を備えることを特徴とする画像処理装置。
2. 更に、
   被写体を含む撮像画像に基づいて、該被写体の実空間における位置に対応する光源に係る光源情報を推定する推定手段と、
   前記推定手段が推定した光源情報を登録する登録手段と
   を備え、
   前記取得手段は、前記登録手段が登録した光源情報のうち前記取得した位置に対応する光源情報を取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、撮像装置ごとに、該撮像装置による被写体の撮像画像に基づいて該被写体の実空間における位置に対応する光源情報を推定し、
   前記登録手段は、撮像装置ごとに、該撮像装置について前記推定手段が推定した光源情報を登録する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記推定手段は、着目撮像装置の撮像範囲が変更された場合には、該変更の前と後とで撮像範囲が重複していない実空間における位置についてのみ光源情報を推定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記推定手段は、新たに撮像装置が追加された場合には、該追加された撮像装置の撮像範囲において該追加された撮像装置の近傍の撮像装置の撮像範囲と重複していない実空間における位置についてのみ光源情報を推定することを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
6. 被写体を含む撮像画像に基づいて該被写体の実空間における位置を取得し、該取得した位置と指定時刻とに対応する光源に係る光源情報を取得する取得手段と、
   前記取得手段が取得した光源情報に基づいて、前記撮像画像における被写体の領域の色情報を補正する補正手段と
   を備えることを特徴とする画像処理装置。
7. 更に、
   撮像装置ごとに、該撮像装置が撮像した被写体の撮像画像に基づいて該被写体の実空間における位置に対応する光源情報を推定する推定手段と、
   撮像装置ごとに、該撮像装置について前記推定手段が推定した光源情報を撮像した時刻に対応付けて登録する登録手段と
   を備えることを特徴とする請求項６に記載の画像処理装置。
8. 前記被写体の実空間における位置は、前記撮像画像を撮像する撮像装置による監視エリアの俯瞰図である地図上の該被写体の位置であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記光源情報は、光色を示す色温度を示すことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記光源情報は、色差空間上の白色点の位置を示すことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
11. 被写体を含む撮像画像に基づいて該被写体の実空間における位置を取得する取得手段と、
    前記被写体の光源を推定する推定手段と、
    前記取得手段によって取得した位置と、前記推定手段によって推定した光源を示す光源情報とを対応させて登録する登録手段と、
    光源情報を取得する要求に基づいて、当該要求に含まれる位置に対応する光源情報を出力する出力手段と
    を有することを特徴とする画像処理装置。
12. 前記画像処理装置は撮像装置に搭載されていることを特徴とする請求項１に記載の画像処理装置。
13. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の取得手段が、被写体を含む撮像画像に基づいて該被写体の実空間における位置を取得し、該取得した位置に対応する光源に係る光源情報を取得する取得工程と、
    前記画像処理装置の補正手段が、前記取得工程で取得した光源情報に基づいて、前記撮像画像における被写体の領域の色情報を補正する補正工程と
    を備えることを特徴とする画像処理方法。
14. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の取得手段が、被写体を含む撮像画像に基づいて該被写体の実空間における位置を取得する取得工程と、
    前記画像処理装置の推定手段が、前記被写体の光源を推定する推定工程と、
    前記画像処理装置の登録手段が、前記取得工程によって取得した位置と、前記推定工程によって推定した光源を示す光源情報とを対応させて登録する登録工程と、
    前記画像処理装置の出力手段が、光源情報を取得する要求に基づいて、当該要求に含まれる位置に対応する光源情報を出力する出力工程と
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１２の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images