JP2006093955A - 映像処理装置 - Google Patents

Abstract

【課題】 オブジェクトの確認を容易にする。
【解決手段】 カメラ２００が撮影した映像データを表示手段１０７に表示させる映像処理装置１１であって、前記映像データに含まれるオブジェクトの詳細画像を特定する特定手段１０３と、特定した詳細画像と前記映像データとを対応付ける処理を行う映像処理手段１０４とを備え、監視映像にオブジェクトの詳細画像を対応付けることで、カメラが撮影した監視映像のみではオブジェクトを把握し難い場合であっても、監視映像に対応付けた詳細画像を確認することが可能となり、オブジェクトの確認が容易となる。
【選択図】 図１

Description

本発明は、カメラが撮影した監視映像を表示装置に表示させる映像処理装置に関する。

近年、ピッキングや強盗、放火など、犯罪の増加を反映して、カメラ映像で不審人物等の監視を行う映像監視システムが急速に普及している。カメラ、モニタ、映像蓄積装置等を搭載した映像監視システムの一般的な利用形態は、システムの利用者（即ち、監視者）がカメラからの映像を監視し、不審な動きをしている人物等（以下、オブジェクトと称する）を発見した場合にカメラを遠隔操作して当該オブジェクトの詳細を把握し、オブジェクトを特定するというものである。映像監視システムは、映像データ通信のＩＰ化や映像蓄積用メモリの大容量化によって数百規模の広域監視や長時間記録が可能となる一方、監視作業における負荷が増大している。監視作業は、画面の注視と集中力を要する重労働であるため、監視作業の効率化と確実な監視を目的とした種々の提案がこれまでにも行われている。

監視作業の支援や効率化を図る従来技術例としては、監視カメラで撮影したオブジェクトの特徴量を画像データベースに蓄積しておくことにより、時刻、場所、人物特徴を検索条件として指定して過去に撮影した映像から条件に合致するオブジェクトの検索が行える遠隔監視装置がある（例えば、特許文献１参照）。また、撮影したオブジェクトの顔位置を把握し、顔画像が画面の中央に表示されるように監視カメラの向きや焦点を自動調整することにより、オブジェクトの動きに追随させるための手動操作が不要な顔認識システムがある（例えば、特許文献２参照）。

特開２００１−２６８６５７号公報（第４−７頁、第１図） 特開２０００−１６３６００号公報（第７−１２頁、第１図）

しかしながら、上記従来の遠隔監視装置は、検索時に人物の服の色などの特徴情報を監視者が入力する必要がある。特にリアルタイムで映像を監視する場合（即ち、ライブ映像の監視の際）には検索に時間がかかり、緊急に顔などの特徴を把握して人物を特定する必要がある異常発生時には間に合わない場合があった。また、一般に、視覚的、感覚的に認識されるオブジェクトの特徴を言葉や数値で特定して検索すること自体が困難であり、検索したいオブジェクトが後ろ向きで小さく撮影されているような場合は検索条件である特徴情報の把握が更に困難で、適切な検索精度が期待できないという問題があった。

また、上記従来の顔認識システムは、カメラの向きなどを人物等に追随させて動かしても、後ろ向きになったりすると顔認識が行えなくなるという問題や、カメラの駆動系が必要であるためコストがかかるという問題があった。

ところで、通常の監視において監視者は、画面上の複数のオブジェクトの動きを注視していて、一般と異なる動きをするオブジェクトを不審人物として注意して追跡する。しかし、異様な動きをしているオブジェクトをモニタ上で見出しても、当該オブジェクトの特徴を把握できるような詳細画像（例えば、顔の正面画像など）がその時点の映像に含まれていることは非常に稀であり、また上記従来技術では所望の詳細画像を即座に取得することが困難であった。したがって、監視映像からオブジェクトを確認することが困難であった。

本発明は、上記事情に鑑みてなされたものであって、オブジェクトの確認が容易となる映像処理装置を提供することを目的とする。

本発明の映像処理装置は、カメラが撮影した監視映像を表示装置に表示させる映像処理装置であって、前記監視映像に含まれるオブジェクトの詳細画像を特定する特定手段と、特定した詳細画像と前記監視映像とを対応付ける処理を行う映像処理手段と、を備える。上記構成によれば、監視映像にオブジェクトの詳細画像を対応付けることで、カメラが撮影した監視映像のみではオブジェクトを把握し難い場合であっても、監視映像に対応付けた詳細画像を確認することが可能となり、オブジェクトの確認が容易となる。

また、本発明の映像処理装置は、前記特定手段が、オブジェクトの特徴情報に基づいて詳細画像を特定するものである。

また、本発明の映像処理装置は、前記特定手段が、ライブ映像又は蓄積映像から詳細画像を特定するものである。上記構成によれば、蓄積映像から詳細画像を特定することにより、ライブ映像よりも豊富な監視映像に含まれる詳細画像の候補から詳細画像を特定することができる為、より適切な詳細画像を特定することができる。

また、本発明の映像処理装置は、前記特定手段が、互いに異なる複数の詳細画像を特定するものである。また、本発明の映像処理装置は、前記特定手段が、撮影方向が異なる複数の詳細画像を特定するものである。また、本発明の映像処理装置は、前記特定手段が、撮影環境が異なる複数の詳細画像を特定するものである。また、本発明の映像処理装置は、前記特定手段が、オブジェクトの特徴情報が異なる複数の詳細画像を特定するものである。上記構成によれば、互いに異なる複数の詳細画像を参照することによって、オブジェクトの確認がより容易になる。

また、本発明の映像処理装置は、前記特定手段が、前記表示装置上で指定した位置に存在するオブジェクトの詳細画像を特定するものである。上記構成によれば、特定手段が、表示装置上で指定した位置に存在するオブジェクトの詳細画像を特定することにより、特定しようとするオブジェクトの詳細画像を表示装置上で指定できる。

また、本発明の映像処理装置は、前記特定手段が、前記表示装置上で指定した位置の近傍に存在するオブジェクトの詳細画像を特定するものである。また、本発明の映像処理装置は、前記特定手段が、オブジェクトの追跡情報から特定したオブジェクトの追跡中断位置と前記表示装置上で指定した位置との距離が短いオブジェクトの詳細画像を特定する。また、本発明の映像処理装置は、前記特定手段が、オブジェクトの追跡情報から特定したオブジェクトの追跡中断時刻が最新のオブジェクトの詳細画像を特定するものである。また、本発明の映像処理装置は、前記特定手段が、予め定めた所定位置を通過した複数のオブジェクトから追跡中のオブジェクトを除いたオブジェクトの詳細画像を特定するものである。上記構成によれば、特定手段が、表示装置上で指定した位置の近傍に存在するオブジェクトの詳細画像を特定することにより、指定した位置にオブジェクトが存在しない場合でも、指定した位置の近傍に存在するオブジェクトの詳細画像を特定できる。

また、本発明の映像処理装置は、複数のカメラが撮影した監視映像に含まれるオブジェクトの特徴情報を互いに対応付けて蓄積する蓄積手段を備える。上記構成によれば、複数の監視映像に含まれるオブジェクトの特徴情報を互いに対応付けることで、一のカメラで撮影した監視映像からオブジェクトの詳細画像を特定できない場合であっても、他のカメラで撮影した監視映像からオブジェクトの詳細画像を特定できる。

本発明によれば、監視映像にオブジェクトの詳細画像を対応付けることで、カメラが撮影した監視映像のみではオブジェクトを把握し難い場合であっても、監視映像に対応付けた詳細画像を確認することが可能となり、オブジェクトの確認が容易となる。

以下、添付図面を参照しながら本発明の実施形態に係る映像処理装置について詳細に説明する。本発明は、カメラが撮影した監視映像を表示装置に表示させる映像処理装置に関するものであるが、以下、本発明の映像処理装置の機能を画像蓄積サーバに持たせた例を示す。尚、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付与し、説明は繰り返さないこととする。

［実施の形態１］
図１は、本発明の実施の形態１における映像処理装置の内部構成を示す図である。映像処理システム１００は、映像処理装置１１と監視端末１２とを備える。

映像処理装置１１は、カメラ２００が撮影した映像データ（監視映像）に含まれるオブジェクトの詳細画像を特定する機能と、特定した詳細画像と映像データとを対応付ける処理を行う機能とを有し、受信手段１０１、抽出分類手段１０２、特定手段１０３、映像処理手段１０４、蓄積手段１０５で構成される。映像処理装置１１は、カメラ２００で撮影された映像データを受信して、当該映像データや、映像から抽出されるオブジェクト（人物など）に関して算出した特徴情報、オブジェクトの特徴を最も把握しやすい画像である詳細画像などを格納する。

監視端末１２は、映像処理装置１１から出力される映像データを表示する表示手段１０７と、表示手段１０７に表示された画面上で位置を指定するための位置指定手段１０６とで構成される。

また、映像処理システム１００に接続されるカメラ２００は、公知の動画撮影ユニットで、被写体映像の圧縮データを生成して後述する受信手段１０１へ送出する。

次に、映像処理システム１００内の各部について更に詳細に説明する。映像処理装置１１の受信手段１０１は、カメラ２００で撮影された映像を受信し、圧縮画像の伸張処理を施して映像をフレーム単位で抽出分類手段１０２へ出力する。抽出分類手段１０２は、受信手段１０１で受信した映像データから人物・顔・動き・色等のオブジェクトの特徴情報を抽出し、オブジェクト毎に軌跡情報、特徴情報、顔画像などの詳細画像等に分類する。特定手段１０３は、後述する位置指定手段１０６で指定された画面上の位置を把握し、当該位置に存在するオブジェクトの詳細画像（例えば人物の正面の顔画像など）を特定する。映像処理手段１０４は、特定手段１０３で特定された詳細画像とカメラのライブ映像又は蓄積映像（監視映像）とを対応付ける処理を行い、詳細画像と監視映像とを同時に表示するための画像合成処理を行う。処理された画像データは表示手段１０７へ出力される。蓄積手段１０５は、ディスク・メモリ等の記憶メディアで形成され、受信手段１０１で受信したカメラ映像データや、抽出分類手段１０２で分類されたオブジェクト毎の軌跡情報（追跡情報）、特徴情報、詳細画像などを蓄積する。

監視端末１２の表示手段１０７は、テレビモニタや液晶ディスプレイなどで形成され、カメラ２００で撮影したライブ映像やその蓄積映像、またそれらの映像と詳細画像との合成画像などを表示する。位置指定手段１０６は、監視者が、表示手段１０７の画面上に表示された映像の任意領域を指定するためのものであり、マウスやキーボード上のキーなどで形成される。尚、ここでは、カメラ２００からの出力がリアルタイムで表示される映像をライブ映像、一旦映像処理装置１１に保存した後の再生により表示される映像を蓄積映像と定義する。

尚、抽出分類手段１０２で処理する情報には、画像から切出したオブジェクトの画像データや、形状、色、大きさ、動きなどによりオブジェクトを特定する特徴情報（例えば、顔画像の場合における目、鼻、口の形状や位置等を特定する情報）が含まれ、オブジェクト毎にその特徴情報を抽出する方法は公知の手法（例えば、「画像の処理と認識」（安居院猛、長尾智晴共著、昭晃堂出版）参照）を用いてかまわない。そのため特徴情報抽出手順についての詳細な説明は省略する。

これらの特徴情報抽出方法により、受信手段１０１で受信した映像データから監視対象となる人物等（オブジェクト）を識別し、オブジェクト毎に軌跡情報や特徴情報を管理することが可能となる。オブジェクトの特徴情報からは、例えば、当該オブジェクトの顔が正面を向いているか、横向きまたは後向きであるかなどの状態を判定することができる。抽出分類手段１０２は、カメラの撮像範囲にオブジェクトが映っている間、顔の特徴情報を取得し続けるため、後述するように詳細画像の取得条件を予め設定しておけば、互いに異なる複数の画像を取得することができる。例えば、正面の顔画像だけでなく、横顔や後姿などの撮影方向が異なる顔画像や、輝度等の撮影環境が異なる顔画像、表情の異なる顔画像等オブジェクトの特徴情報が異なる顔画像などを詳細画像として取得することも可能である。

次に、上記構成の映像処理装置の動作について説明する。

図２は、本発明の実施の形態１における映像処理装置の詳細画像表示動作の概略を模式的に示す図である。図２（ａ）に示すように、カメラ２００からの映像データは、映像処理装置１１の蓄積手段１０５に格納され、同時に監視端末１２の表示手段１０７に表示される。その際、抽出分類手段１０２は、上述のように撮像範囲内のオブジェクトを抽出して、当該オブジェクトに関する特徴情報や詳細画像を逐次取得する。図２（ｂ）は、抽出分類手段１０２で取得して蓄積手段１０５に蓄積される軌跡情報と特徴情報を模式的に示す図である。例えば、映像からオブジェクトとして人物Ａが抽出された場合、抽出分類手段１０２は、人物Ａの軌跡情報を時系列で取得する（図中の矢印で示す情報に相当）。また、予め設定した条件に合致する画像が検出された時点で当該画像を詳細画像として取得する（図中の正面、横顔、後姿の画像情報に相当）。

ここで、予め設定した条件とは、良好な詳細画像を取得するための条件であり、具体的には、前述の特徴情報に関するパラメータ（またはその組み合わせ）の設定値である。例えば、顔が正面を向いているという特徴の度合いを示すパラメータが所定の値以上である時、その画像はオブジェクトの顔の特徴を最も把握しやすい良好な画像であると判断できるので、設定値を超えた画像をオブジェクトの詳細画像として取得することができる。同様の設定を横顔や後姿についても行っておけば、横顔や後姿の詳細画像を取得させることもできる（図の例では人物Ａに関して顔の正面、横顔、後姿の３種類の詳細画像が取得されているが、その他にも全身画像などを任意に設定してよい）。尚、詳細画像は、撮影時間の経過と共に更新してもよいし、条件を満たす詳細画像をすべて蓄積手段１０５に蓄積するようにしてもよい。例えば、任意の時点で取得された顔の正面の詳細画像に対して、その後再び条件を満たす画像（または先に取得した画像を超過する良好な画像）が検出された場合にはその画像で先の詳細画像を置換するようにすれば、メモリ領域の消費を節約できる。

以上のように、カメラ２００で撮像した映像データからオブジェクトが抽出されると、当該オブジェクトに関連する軌跡情報や特徴情報が随時、蓄積手段１０５に蓄積される。監視者が、位置指定手段１０６を用いて画面上の任意位置を指定すると、特定手段１０３は、指定された位置に存在するオブジェクトを把握し、当該オブジェクトに関連する詳細画像を蓄積手段１０５から取得して映像処理手段１０４に送出する。映像処理手段１０４は、ライブ映像または蓄積映像と詳細画像とを合成して表示手段１０７に表示する。従って、図２（ａ）に示すように画面上の表示が小さくて顔や表情が判らないオブジェクトについて詳細を確認したい場合でも、画面上でマウスをクリックして位置を指定すれば、図２（ｃ）に示すように当該オブジェクトの特徴を把握できる程度の鮮明な顔画像をポップアップ表示させることができる。

図の例では、人物Ａの顔正面の詳細画像が表示されているが、横顔や後姿の詳細画像を表示するように設定してもよい。また、マウスクリックではなくマウスポインタの一定時間のポイントだけで位置が指定されるように設定してもよい。また、任意の一点を指定するのではなく、矩形などの領域で指定する方法であってもかまわない。更に、詳細画像はポップアップ表示でなく、図２（ｄ）に示すような分割表示でもよい。また、表示手段１０７を、監視者または撮像領域を警備する警備員が保有するＰＤＡや携帯電話端末などの携帯端末とすれば、例えば不審人物であるか否かの確認に必要な顔の詳細画像を携帯端末に送信して現場の状況確認を行うことも可能である。

ところで、ライブ映像を監視している状況では、マウスクリックして表示される詳細画像はその時点までの映像から取得された詳細画像である。しかし、蓄積映像、即ち保存した映像を再生して監視する状況では、既に映像の最後までについて詳細画像の取得や更新が行われているので、映像が表示されている時点を基準とすると未来の詳細画像が表示される場合もある。従って、蓄積画像から詳細画像を特定する場合は、より適切な詳細画像を表示させることができる。

尚、上記において同じカメラの撮像範囲に複数のオブジェクトが認識される場合は、オブジェクト毎に軌跡情報や特徴情報が蓄積される。

図３は、本発明の実施の形態１における映像処理装置のオブジェクト管理処理の動作手順を示すフローチャートである。オブジェクト管理処理では、映像からオブジェクトを抽出し、オブジェクト関連情報や映像を蓄積手段１０５に保存して管理する。

はじめに、受信手段１０１は、ネットワーク回線或いはアナログ回線を経由してカメラ２００から映像を受信し、フレーム単位にして映像を出力する（ステップＳ１０１）。ネットワーク経由の場合、ＪＰＥＧ、ＭＰＥＧ−４等の圧縮フォーマットを用い、必要に応じて圧縮画像の伸張処理も行う。次に、抽出分類手段１０２は、フレーム単位のカメラ映像から動く人物等の移動体（オブジェクト）の抽出処理を行う（ステップＳ１０２）。

次に、抽出分類手段１０２は移動体の有無を判定し（ステップＳ１０３）、移動体がある場合、移動体を特定する形状、色、大きさ、及び、顔の目、鼻、口の形状や位置などの特徴情報を取得する（ステップＳ１０４）。次に、抽出分類手段１０２は、移動体毎に移動の軌跡情報や顔情報を生成する（ステップＳ１０５）。更に、抽出した移動体が過去の映像中に存在するか否かを特徴情報に基づいて行う。現在から数フレーム前までの移動体の特徴情報を比較し、特徴情報が一致すれば、抽出した移動体の特徴情報を用いて、過去の移動体の軌跡情報や顔情報を更新する。一方、特徴情報が一致しない場合、抽出分類手段１０２は、新しくカメラの撮像範囲内に進入した移動体であると判断して、その軌跡情報や顔情報をデータベースである蓄積手段１０５に格納する。尚、特徴情報の比較を数フレーム前から行うのは、移動体が回転するなどして特徴情報が変化し、それにより比較結果が不一致となって本来は同じ移動体の軌跡が途絶えてしまうのを避けるためである。つまり、任意の時間範囲で同一の移動体であると判定させるためである。また、数フレーム前から特徴情報を比較する方法で説明したが、過去の移動体の軌跡情報から現在位置を推定し、その位置に一致する移動体が存在するか判定する方法を採用してもよい。

一方、ステップＳ１０３において移動体がない場合、抽出分類手段１０２は、既存の移動体の軌跡情報を更新する（ステップＳ１０６）。対象となる移動体は、現在まで追跡中の移動体であり、移動体の軌跡情報を参照して、移動体がカメラの撮像範囲外に出たと判断される場合は移動体の軌跡情報を追跡完了とする。また、カメラの撮像範囲内で移動体を見失ったと判断した場合はオブジェクトの軌跡情報を追跡中断とする。オブジェクトが「撮像範囲外に出た」のか、または「撮像範囲内で見失った」のかは、オブジェクトの追跡位置で判定する。即ち、カメラの撮像範囲の端で追跡が出来なくなった場合は「撮像範囲外に出た（追跡完了）」、それ以外の箇所で追跡が出来なくなった場合は「撮像範囲内で見失った（追跡中断）」と判定する。次に、抽出分類手段１０２は、受信したカメラ映像を蓄積手段１０５に記録し、以上の手順を繰り返す。

図４は、本発明の実施の形態１における映像処理装置の映像処理装置１１と監視端末１２との間で行われる詳細画像表示処理の流れを示すタイミングチャートである。はじめに、監視端末１２を操作する監視者が、閲覧するカメラを選択する（ステップＳ２０１）。選択時には、ライブ映像または蓄積映像を指定し、蓄積映像の場合は再生箇所を特定するための時刻情報なども指定する。次に、映像処理装置１１の映像処理手段１０４は、指定された映像を監視端末１２に対して送信する（ステップＳ２０２）。

次に、映像表示中に監視者が前述の要領で画面上の任意位置を指定すると（ステップＳ２０３）、位置特定手段１０６は、現在表示中のカメラ映像を特定する識別子（以下、表示フレーム識別子と称する）を含む指定領域情報を映像処理装置１１へ送信する。

次に、特定手段１０３は、監視端末１２より送信された指定領域情報から指定領域に該当するオブジェクトを検索する（ステップＳ２０４）。検索方法としては、表示フレーム識別子に相当する映像フレームを選択して、その中の指定領域に軌跡情報を持つオブジェクトを検出すればよい。次に、特定手段１０３は、オブジェクトの特徴を最も良好に把握することができる詳細画像（例えば、図２の例ではオブジェクトの顔を正面から撮影した画像で、ベストショット画像と称する）を蓄積手段１０５から取得して、当該画像を監視端末１２へ送信する（ステップＳ２０５）。最後に、監視端末１２の表示手段１０７は、映像処理装置１１から取得したオブジェクトの詳細画像を表示する（ステップＳ２０６）。

以上のように、本発明の実施の形態１における映像処理装置は、映像データに含まれる複数のオブジェクトについてその移動軌跡と詳細画像を映像処理装置１１で管理し、映像データにオブジェクトの詳細画像を対応付けて監視端末１２の画面上に表示する。この構成により、監視者が確認を行いたい時点でそのオブジェクトの画像が小さく表示されていたり、後姿であったりしても、映像データに、オブジェクトの特徴を把握しやすい詳細画像を対応付けて表示することが可能となり、オブジェクトの確認が容易となる。

尚、特定手段１０３が選択する詳細画像は、顔正面を大きく捉えた照明条件のよい顔画像だけでなく、横顔や後姿など異なる角度からの撮影画像や、異なる照明条件で撮影された輝度の異なる画像、表情の異なる複数の顔画像などであってもかまわない。このように、同じオブジェクトに関する、互いに異なる複数の詳細画像を提供することにより、例えば事件の目撃者に画像を目視させて不審人物等の特定を行わせる際などに、目視する者の記憶をより想起しやすくすることができる。

［実施の形態２］
次に、本発明の実施の形態２における映像処理装置について説明する。実施の形態２の映像処理装置は、実施の形態１のそれと比較して、受信手段１０１が複数のカメラと接続され、蓄積手段１０５が、複数のカメラが撮影した映像データ（監視映像）に含まれるオブジェクトの特徴情報を互いに対応付けて蓄積する点が異なる。

実施の形態２の映像処理装置の内部構成は、実施の形態１の映像処理システム１００の内部構成（図１参照）と同じであるので説明を省略し、実施の形態１の映像処理システム１００と機能が異なるについて説明する。映像処理装置１１の抽出分類手段１０２は、任意のカメラからの映像データに、初めて抽出するオブジェクトがある場合、当該オブジェクトを撮像しているカメラが管理するオブジェクトの情報だけでなく、別のカメラが管理するオブジェクトに関わる情報も検索する。また、特定手段１０３は、位置指定手段１０６から位置指定を受けると、表示画面の映像データを出力しているカメラが管理するオブジェクトの情報及び当該オブジェクトが関連付けられた別のカメラが管理するオブジェクトの情報の中から、詳細画像を選択する。

次に、実施の形態２の映像処理装置の動作について説明する。

図５は、本発明の実施の形態２における映像処理装置の詳細画像表示動作の概略を模式的に示す図である。図５（ａ）に示すように映像処理装置の映像処理装置１１は、２台のカメラ２０１と２０２に接続している。映像処理装置１１は２台のカメラからの映像を受信する。抽出分類手段１０２は、それぞれの撮像エリア内の複数のオブジェクトを抽出して、それらのオブジェクトについて移動軌跡（追跡情報）や特徴情報、詳細画像を蓄積手段１０５に蓄積する。

図５（ｂ）及び図５（ｃ）は、カメラ２０１及び２０２からの映像に関して蓄積手段１０５に蓄積されるオブジェクト関連情報を概念的に示している。蓄積手段１０５には、抽出したオブジェクトに関連する情報テーブルがカメラ毎に生成されている。オブジェクトには、抽出した順に固有ＩＤが付与され（図中の「人物」カラムにおけるＡ、Ｂ、Ｃの記号）、当該オブジェクトに関する特徴情報が対応する（図中の「人物特徴量」カラムにおける数値。図の例ではオブジェクトの様々な特徴情報を模擬的に一つのパラメータで代表させている。従って、その数値とオブジェクトは一意に一致する。）。その他、撮像範囲内でオブジェクトを認識している時間情報、軌跡情報、後述するオブジェクトのリンク情報、顔画像などの詳細画像のリンク情報などでテーブルが構成される。

ここで、カメラ毎に管理されるオブジェクト関連情報の関連付けについて説明する。

図５（ａ）に示すように、カメラ２０１で人物Ｃとして認識されているオブジェクトが、カメラ２０１の撮像範囲から出てカメラ２０２の撮像範囲へ移動する場合を想定する。人物Ｃがカメラ２０１の撮像範囲から外れるまでの間に、人物Ｃとするオブジェクトの特徴情報や軌跡情報、詳細画像などが蓄積手段１０５のカメラ２０１のデータ領域に蓄積されるので、情報テーブルには図５（ｂ）に示すようなデータが生成される。即ち、人物Ｃは特徴情報のパラメータ（人物特徴量）が３のオブジェクトである。

その後、同じオブジェクトがカメラ２０２の撮像範囲内に入ると、抽出分類手段１０２は、映像から当該オブジェクトを抽出し、新たなオブジェクトとして登録し、特徴情報や軌跡情報、詳細画像などの取得を開始する。図５（ｃ）に示すようにカメラ２０２の情報テーブルでは、このオブジェクトは人物Ａとして登録され、特徴情報のパラメータが３のオブジェクトである。

特徴情報の取得が完了した時点で、抽出分類手段１０２は、映像処理装置１１に接続される別のカメラであるカメラ２０１の情報テーブルにアクセスして、人物特徴量が３のオブジェクトを検索する。この場合、パラメータが３の人物Ｃというオブジェクトが検出されるので、抽出分類手段１０２は、双方のテーブルのオブジェクトのリンク情報欄（図中の「関連先」カラム）にリンクを確立する。これにより、カメラ２０１の人物Ｃというオブジェクトとカメラ２０２の人物Ａというオブジェクトの関連付けが行われ、オブジェクトに関連する情報が相互に参照可能となる。従って、撮像範囲内に新たなオブジェクトの進入が見出された場合でも、もし当該オブジェクトが別のカメラで過去に認識されていれば、そのオブジェクトの詳細な顔画像などを表示することができる。

例えば、カメラ２０２からの映像を監視中に、新たなオブジェクト（カメラ２０２における人物Ａ）の進入を発見した場合、監視者が位置指定手段１０６であるマウスで当該オブジェクトの位置を画面上でクリックすると、特定手段１０３は、指定されたオブジェクトを把握して、蓄積手段１０５のカメラ２０２の情報テーブル（図５（ｃ））を参照する。テーブル内には対応する顔の詳細画像のデータがないため、「関連先」カラムのデータからカメラ２０１の情報テーブルにアクセスし、その中の人物Ｃのデータを参照する。このテーブルには顔画像のデータがあるので、該当する顔画像データを蓄積手段１０５から取得して映像処理手段１０４に送出する。映像処理手段１０４は、カメラ２０２が撮影した映像データに、送出された顔画像を対応付ける処理を行って、画像データを表示手段１０７に出力する。以上の手順により、図２（ｃ）や（ｄ）に示したような詳細画像表示が実行される。

図６は、本発明の実施の形態２における映像処理装置のオブジェクト管理処理の動作手順を示すフローチャートである。移動するオブジェクト（移動体）の抽出から特徴情報、詳細情報、軌跡情報の取得、映像の記録までの手順は、実施の形態１の映像処理装置における図３のフローチャートのステップＳ１０１からＳ１０７までと同様であるため説明を省略する。

次に、抽出分類手段１０２は、新たに追跡中となった移動体（即ち、特徴情報の取得が必要な移動体）の有無を判断し（ステップＳ３０１）、該当する移動体が存在する場合はその特徴情報を抽出する（ステップＳ３０２）。抽出する特徴情報は、情報テーブルに示す人物特徴量（形状や色、大きさ等）や顔情報（目、鼻、口の形状）であり、カメラ撮像範囲に移動体が撮像されている間に取得できる情報である。

次に、抽出分類手段１０２は、他のカメラの情報テーブルにアクセスして、ステップＳ３０２で抽出した特徴情報とのマッチングを調査する（ステップＳ３０３）。特徴情報が一致または類似するオブジェクトが検索される場合、双方の移動体をカメラ間で関連付けする（ステップＳ３０４）。一方、ステップＳ３０１で移動体が存在しない場合は処理を終了し、図３のフローチャートのＳ３０１に戻る。

尚、カメラが多数ある場合、検索対象とする情報テーブルの選択は、自カメラの周辺にあるカメラ群のそれとしたり、通路や遮蔽物等を記した地図情報や各地点の行動予測の統計情報等を用いて決定したりしてもよい。また、他のカメラは、同じ映像処理装置１１に接続されるカメラだけでなく、ネットワークを介して接続される別の画像蓄積サーバが管理するカメラであってもかまわない。

次に、本発明の実施の形態２における映像処理装置の映像処理装置１１と監視端末１２との間で行われる詳細画像表示処理について説明する。処理の流れは、実施の形態１の映像処理装置における図４のタイミングチャートと同様であるが、実施の形態２の映像処理装置では、図４のステップＳ２０４で指定領域に該当するオブジェクトを検索した直後に、関連付けされたオブジェクトに関わる詳細画像の検索処理が追加される。

図７は、本発明の実施の形態２における映像処理装置の詳細画像表示処理について、関連付けされたオブジェクトに関わる詳細画像の検索手順を部分的に示すフローチャートである。まず、特定手段１０３は、ステップＳ２０４で抽出した指定領域のオブジェクトに対して、他のカメラに関連するオブジェクトとの関連付けがあるか否かを判断する（ステップＳ３０１）。関連付けがある場合、該当するオブジェクトの情報テーブルをすべて参照して、蓄積手段１０５から詳細画像（ベストショット）を取得する（ステップＳ４０２）。尚、取得する詳細画像は最終的に使用しない場合もあるため、以下、詳細画像候補と称する。次に、特定手段１０３は、他から取得した詳細画像候補と自カメラの映像データから生成した詳細画像とから、監視端末１２へ出力する詳細画像を決定する（ステップＳ４０３）。詳細画像が決定すると、図４のタイミングチャートのステップＳ２０５以降で示すように、映像処理手段１０４で合成処理された画像が監視端末１２に送出され、監視端末１２に詳細画像が表示される。一方、ステップＳ４０１で他のカメラに関連するオブジェクトとの関連付けがない場合、ステップＳ４０３で自カメラの映像から生成した詳細画像を監視端末１２へ出力する詳細画像として決定する。

以上のように、カメラ毎に管理されているオブジェクト間で関連付けを行って、同一のオブジェクトに関するオブジェクト関連情報を共有することにより、例えば、撮像範囲内に進入した直後でオブジェクトの画像が小さく、そのカメラからの映像ではオブジェクトの確認が困難な場合でも、別のカメラで撮影した、顔正面を大きく捉えた顔画像を詳細画像として表示することができる。尚、オブジェクトの関連付けを行う際、オブジェクトの軌跡情報及び特徴情報を用いてマッチング処理を行うことで、関連付けの精度を向上することが可能である。

［実施の形態３］
次に、本発明の実施の形態３における映像処理装置について説明する。実施の形態３の映像処理装置は、実施の形態１の映像処理装置と比較して、監視者が画面上で指定した位置に該当するオブジェクトを検出できない場合に、過去に追跡が中断したオブジェクトの中から当該位置に存在するオブジェクトを推定する点が異なる。

実施の形態３の映像処理装置の内部構成は、実施の形態１の映像処理システム１００の内部構成（図１参照）と同じであるので説明を省略し、実施の形態１の映像処理システム１００と機能が異なるについて説明する。特定手段１０３は、位置指定手段１０６から指定された位置に存在するオブジェクトが把握できない場合は、過去に追跡が中断したオブジェクトの中から、該当するオブジェクトを推定し、指定された位置の近傍に存在するオブジェクトの詳細画像を特定する。

次に、実施の形態３の映像処理装置の動作について説明する。

図８は、本発明の実施の形態３における映像処理装置のオブジェクト推定動作の概略を模式的に示す図である。任意のカメラからの映像データを表示している画面上で、監視者がマウスクリックした位置に存在するオブジェクトを検出できない場合、特定手段１０３は、蓄積手段１０５に保存されている当該カメラに関する情報テーブルを参照して、軌跡情報が途絶えた（追跡中断した）オブジェクトを検索する。図８（ａ）の例では、４つのオブジェクトのうち、人物Ｂと人物Ｄというオブジェクトの追跡が中断していることが判る。

ところで、オブジェクトの追跡が中断する例として、オブジェクトとカメラとの距離が長くなって、人物と判定できない程度にまでオブジェクトの画像が小さくなってしまう場合や、複数の人物が交差した際にある人物の映像と別の人物映像が重なってしまう場合などが挙げられる。このような追跡中断の発生頻度は、画像認識方法やオブジェクトの追跡方法に依存することがあるが、一般に、追跡中断したオブジェクトは、経過時間が短い程、追跡が中断した位置付近に存在している可能性が高い。また、不審者である場合、追跡中断位置付近で下見をしていたり、状況を観察していたりする可能性が高いため、監視者が指定した位置でオブジェクトを推定することは有益である。

図８（ｂ）及び図８（ｃ）は、特定手段１０３によるオブジェクト推定の概要を説明している。監視者が、画面上で図８（ａ）の破線で示す位置をマウスクリックすることにより指定した場合、特定手段１０３は、近傍にある過去に追跡が中断したオブジェクトから、追跡中断位置と画面上で指定した位置との距離が短いオブジェクトを検索する。その場合、特定手段１０３は、距離が短い順番（図では、人物Ｂ、Ｄの順)にオブジェクトの候補を決定して、図８（ｂ）に示すような順番でオブジェクトの詳細画像を特定し、取得する。一方、別の検索方法として、特定手段１０３は、近傍にある過去に追跡が中断したオブジェクトから、追跡中断時刻が現在時刻から最も近い（最新の）オブジェクトを検索する。その場合、特定手段１０３は、中断時刻が近い順番（図では、人物Ｄ、Ｂの順)にオブジェクトの候補を決定して、図８（ｂ）に示すような順番で詳細画像を取得する。取得した詳細画像は監視端末１２の表示手段１０７に表示させることができる。

次に、本発明の実施の形態３における映像処理装置の映像処理装置１１と監視端末１２との間で行われる詳細画像表示処理について説明する。処理の流れは、実施の形態１の映像処理装置における図４のタイミングチャートと同様であるが、実施の形態３の映像処理装置では、図４のステップＳ２０４で指定領域に該当するオブジェクトを検索する際、オブジェクトが検出されない場合にはオブジェクト推定処理が追加される。

図９は、本発明の実施の形態３における映像処理装置の詳細画像表示処理について、オブジェクト推定手順を部分的に示すフローチャートである。まず、特定手段１０３は、ステップＳ２０４で移動するオブジェクト（移動体）の検索を行った後、指定領域に該当する移動体の有無を判定する（ステップＳ５０１）。移動体が存在しない場合、過去に追跡が中断した移動体を抽出する（ステップＳ５０２）。前述の通り、追跡中断した移動体は、監視者が指定したカメラの映像で認識されていた移動体、または当該カメラの周辺に設置されたカメラの映像で認識されていた移動体から抽出する。次に、特定手段１０３は、抽出した移動体を中断位置と監視者の指定位置との距離が短い順または中断時刻が指定時刻に近い順（中断時刻が新しい順）にソートし、予め設定された個数分の移動体候補の詳細画像を取得して映像処理手段１０４へ出力する（ステップＳ５０３）。

詳細画像が出力されると、図４のタイミングチャートのステップＳ２０５以降で示すように、映像処理手段１０４で合成処理された画像が監視端末１２に送出され、監視端末１２に詳細画像が表示される。一方、ステップＳ５０１で指定領域に移動体が存在する場合は、通常の詳細画像表示処理となるので、そのままステップ図４のタイミングチャートのステップＳ２０５へ移行する。

次に、図１０は、本発明の実施の形態３における映像処理装置に入退室管理装置を接続した場合のオブジェクト推定動作の概略を示す図である。これは、図８を参照して説明した映像処理装置に、フロアの出入口（予め定めた所定位置）を通過したオブジェクトである入退室者の顔情報を取得して入退室管理を行う入退室管理装置を追加して、指定した位置にオブジェクトが存在しない場合におけるオブジェクト推定の精度を更に向上させた応用例である。

また、図１１に、実施の形態３における入退室管理装置の構成図を示す。特定手段１０３は、映像処理システム１００に接続される入退室管理装置のデータベース３００から、現在入室中のオブジェクトのリスト（図１０（ａ）参照）を取得する。このリストと映像処理装置１１が把握している追跡中のオブジェクトとを照合すれば、図１０（ｂ）に示すように現在追跡が中断しているオブジェクトだけを抽出することができる。

以上のように、指定した位置でオブジェクトが検出できない場合であっても、過去に追跡が中断されたオブジェクトの中からオブジェクトを推定し、当該オブジェクトの詳細画像を特定することにより、監視対象のオブジェクトの軌跡情報が途絶える異常発生時においても、オブジェクトの確認や特定を高い精度で即座に行うことができる。

尚、指定した位置にオブジェクトが存在しない場合の処理方法として、過去に追跡が中断したオブジェクトの中からオブジェクトを推定し、そのオブジェクトの詳細画像を表示する方法について述べたが、蓄積映像の監視を行う場合、監視時点よりも未来の映像に対して、撮像範囲の途中から追跡が開始したオブジェクトや、追跡が中断したオブジェクトをオブジェクト推定の対象としてもよい。

尚、上記の実施の形態において、移動するオブジェクトの軌跡情報（追跡情報）は矢印の連結情報として、人物特徴量は多次元ベクトルとして管理される。

また、上記説明では、映像蓄積サーバ１１が抽出分類手段１０２及び蓄積手段１０５を備える場合の例を示したが、抽出分類手段及び蓄積手段を外部に設けてもよい。

本発明は、監視映像にオブジェクトの詳細画像を対応付けることで、カメラが撮影した監視映像のみではオブジェクトを把握し難い場合であっても、監視映像に対応付けた詳細画像を確認することが可能となり、オブジェクトの確認が容易となる効果を有し、カメラが撮影した監視映像を表示装置に表示させる映像処理装置等に有用である。

本発明の実施の形態１における映像処理装置の内部構成を示す図 本発明の実施の形態１における映像処理装置の詳細画像表示動作の概略を模式的に示す図 本発明の実施の形態１における映像処理装置のオブジェクト管理処理の動作手順を示すフローチャート 本発明の実施の形態１における映像処理装置の画像蓄積サーバと監視端末との間で行われる詳細画像表示処理の流れを示すタイミングチャート 本発明の実施の形態２における映像処理装置の詳細画像表示動作の概略を模式的に示す図 本発明の実施の形態２における映像処理装置のオブジェクト管理処理の動作手順を示すフローチャート 本発明の実施の形態２における映像処理装置の詳細画像表示処理について、関連付けされたオブジェクトに関わる詳細画像の検索手順を部分的に示すフローチャート 本発明の実施の形態３における映像処理装置のオブジェクト推定動作の概略を模式的に示す図 本発明の実施の形態３における映像処理装置に入退室管理装置を接続した場合のオブジェクト推定動作の概略を示す図 本発明の実施の形態３における映像処理装置の詳細画像表示処理について、オブジェクト推定手順を部分的に示すフローチャート 本発明の実施の形態３における入退室管理装置の構成を示す図

符号の説明

１１ 画像蓄積サーバ
１２ 監視端末
１００ 映像処理システム
１０１ 受信手段
１０２ 抽出分類手段
１０３ 特定手段
１０４ 映像処理手段
１０５ 蓄積手段
１０６ 位置指定手段
１０７ 表示手段
２００、２０１、２０２、２０３ カメラ
３００ 入退室管理装置のデータベース

Claims (13)

1. カメラが撮影した監視映像を表示装置に表示させる映像処理装置であって、
   前記監視映像に含まれるオブジェクトの詳細画像を特定する特定手段と、
   特定した詳細画像と前記監視映像とを対応付ける処理を行う映像処理手段と、
   を備える映像処理装置。
2. 前記特定手段は、オブジェクトの特徴情報に基づいて詳細画像を特定する請求項１記載の映像処理装置。
3. 前記特定手段は、ライブ映像又は蓄積映像から詳細画像を特定する請求項１又は２記載の映像処理装置。
4. 前記特定手段は、互いに異なる複数の詳細画像を特定する請求項１ないし３のいずれか一項記載の映像処理装置。
5. 前記特定手段は、撮影方向が異なる複数の詳細画像を特定する請求項４記載の映像処理装置。
6. 前記特定手段は、撮影環境が異なる複数の詳細画像を特定する請求項４記載の映像処理装置。
7. 前記特定手段は、オブジェクトの特徴情報が異なる複数の詳細画像を特定する請求項４記載の映像処理装置。
8. 前記特定手段は、前記表示装置上で指定した位置に存在するオブジェクトの詳細画像を特定する請求項１ないし７のいずれか一項記載の映像処理装置。
9. 前記特定手段は、前記表示装置上で指定した位置の近傍に存在するオブジェクトの詳細画像を特定する請求項１ないし７のいずれか一項記載の映像処理装置。
10. 前記特定手段は、オブジェクトの追跡情報から特定したオブジェクトの追跡中断位置と前記表示装置上で指定した位置との距離が短いオブジェクトの詳細画像を特定する請求項９記載の映像処理装置。
11. 前記特定手段は、オブジェクトの追跡情報から特定したオブジェクトの追跡中断時刻が最新のオブジェクトの詳細画像を特定する請求項９記載の映像処理装置。
12. 前記特定手段は、予め定めた所定位置を通過した複数のオブジェクトから追跡中のオブジェクトを除いたオブジェクトの詳細画像を特定する請求項９記載の映像処理装置。
13. 複数のカメラが撮影した監視映像に含まれるオブジェクトの特徴情報を互いに対応付けて蓄積する蓄積手段を備える請求項２ないし１２のいずれか一項記載の映像処理装置。

Images