JP2011124705A - 監視システム - Google Patents

Abstract

【課題】複数の撮像装置の画像の特徴量を抽出して画像登録処理をおこなう場合に遅延が発生している撮像装置の画像登録処理だけが遅延することがないように、各撮像装置の画像の登録処理に関する遅延時間を平均化させる
【解決手段】録画装置の制御部は、画像登録処理を実行するあるタスクを実行する際に、他の撮像装置から受信した画像の画像登録処理を実行するタスクによる登録画像数を評価して、他の撮像装置から受信した画像の画像登録処理を実行するタスクによる登録画像数が、少ないタスクがあるときには、自らのタスクの実行を遅延させるようにする。そのような他のタスクがないときには、自らのタスクの実行をする。
【選択図】図２

Description

本発明は、監視システムに係り、特に、複数の撮像装置に録画装置が接続されているときに、各撮像装置の撮像した画像の登録処理を平均化させ、処理の遅延をおこさせないようにするのに好適な監視システムに関する。

従来より小型店舗等では、単体の撮像装置によって直近の監視画像を保存するのが一般的であった。しかしながら、近年の犯罪発生の増加、事件の凶悪化等に伴い、複数台の監視カメラ等の撮像装置が撮像した監視画像を長期間保存することが求められてきている。そして、撮像装置の普及と磁気記録装置の大容量化に伴い、容易に多地点の監視画像を長期間保存することが可能となってきた。一方、このような撮像装置からの監視画像の増加により、監視者の負担が増している。そこで、監視者の負担を軽減するため、録画した監視画像から特定の人物や特定のシーンを探し出す技術がいくつか開発されている。例えば、顔探索等の物体検出技術や、画像の構図や色分布等を用いた類似画像検索技術である。例えば、特許文献１には、このような類似画像検索技術が開示されている。また、類似画像検索技術における画像類似度の算出方法については、例えば、非特許文献１に開示されている。

ここで、画像登録について説明する。「登録」とは監視システムに関する業界用語であり、録画装置の記憶部に記憶されている画像のうち、顔を含む画像の顔領域から画像特徴量を抽出し、上述した画像特徴量リストデータを作成することをいう。ここで、「画像特徴量リストデータ」とは、画像のフレーム毎に、フレーム番号と画像特徴量で構成されるリストデータである。

画像登録は、撮像装置で撮像され、録画装置に順次、記録されていく最新時刻の画像を登録するリアルタイム画像登録と、録画装置に既に蓄積されている画像を登録する記録画像登録があり、画像登録要求としては、リアルタイム画像登録に関する要求であるリアルタイム画像登録要求と、記録画像登録に関する要求である記録画像登録要求がある。リアルタイム画像登録と記録画像登録の違いは、登録処理をおこなう画像に対して、記録待ちの時間があるかないかである。リアルタイム画像登録の場合は、各画像に対する登録処理が終わっても、次の画像が記録されていなければ、次の画像が記録するまで待つ必要がある。一方、記録画像の場合は、画像に対して、順次、登録処理が行われる。

記録画像登録要求では、ユーザは、監視端末の操作メニュー画面のユーザインタフェースを使って、登録対象の撮像装置を指定し、ディスプレイモニタ上に表示される画像の再生中にイン・アウト点を指定してフレーム番号を入力したり、テキストボックス等からフレーム番号を直接入力する。このフレーム番号としては、登録処理をおこなう最初のフレームとなる登録開始フレーム番号や、登録処理をおこなう最後のフレームとなる登録終了フレーム番号のフレーム番号を入力する。

このような登録処理および画像検索処理により、監視画像を対象とした類似顔画像検索を実現することができる。

特開２００６−２８５５７０号公報

「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号、Ｐ９３−Ｐ１０１）

従来の登録処理においては、マルチタスクにより各撮像装置の登録処理を非同期に並列して実行していた。リアルタイム画像登録処理では、登録処理に遅延が発生していない場合においては、各撮像装置の登録処理を非同期に並列して実行しても、画像が配信される時刻毎に自然に同期がなされていた。しかし、いづれかの撮像装置で登録処理に遅延が発生した場合においては、遅延に関わらず、どの撮像装置の登録処理も並列に実施するため、遅延している登録処理は、ますます遅延することになる。したがって、ユーザが類似顔画像検索をおこなうにあたり、例えば、顔が撮影される頻度が高い撮像装置の画像に対する検索ほど、検索可能になるまでの待ち時間が長くなるという問題点があった。

また、同様に記録画像登録処理の場合は、リアルタイム画像登録処理での遅延と同様に、例えば、顔が撮影される頻度が高い撮像装置の画像に対する検索ほど、検索可能になるまでの待ち時間が長くなるという問題点があった。

本発明は、上記問題点を解決するためになされたもので、その目的は、各撮像装置の画像の処理に各々タスクを割り当てて、並列して実行される画像登録処理において、遅延が発生している撮像装置の画像の登録処理だけが遅延することがないように、各撮像装置の画像の登録処理に関する遅延時間を平均化させることができる監視システムを提供することにある。

本発明の監視システムは、画像を撮像する一つ以上の撮像装置と、撮像装置より撮像した画像を受信して記録する録画装置とがネットワークを介して接続されている。

録画装置の制御部は、各々の画像について、画像特徴量を抽出し画像特徴量を記録する画像登録処理を実行するにあたり、各々の撮像装置毎に、その撮像装置から受信した画像の画像登録処理を実行するタスクを割り当てる。

そして、撮像装置から受信した画像の画像登録処理を実行するタスク毎に、遅延がどれだけ発生しているかを評価する。

具体的には、画像登録処理を実行するあるタスクを実行する際に、他の撮像装置から受信した画像の画像登録処理を実行するタスクによる登録画像数を評価して、他の撮像装置から受信した画像の画像登録処理を実行するタスクによる登録画像数が、少ないタスクがあるときには、自らのタスクの実行を遅延させるようにする。

そのような他のタスクがないときには、自らのタスクの実行をする。

これにより、遅延が発生している撮像装置に対する登録処理を優先して実行することで各撮像装置間で遅延時間を平均化させることができる。

本発明によれば、各撮像装置の画像の処理に各々タスクを割り当てて、並列して実行される画像登録処理において、遅延が発生している撮像装置の画像の登録処理だけが遅延することがないように、各撮像装置の画像の登録処理に関する遅延時間を平均化させることができる監視システムを提供することができる。

本発明の一実施形態に係る監視システムの構成図である。 本実施形態の監視システムのリアルタイム画像登録処理を示すフローチャートである。 画像登録制御テーブルの一例を示す図である。 本実施形態の監視システムの記録画像登録処理を示すフローチャートである。 リアルタイム画像登録処理において、各撮像装置によって配信され、同時刻に録画装置に記録された画像毎のタスクの処理量［Ｔ］を表したグラフである。 各撮像装置の画像に関して、リアルタイム画像登録処理をおこなった場合の従来技術による遅延時間と、本発明の一実施形態による遅延時間を示したグラフである。 処理時間に関して図６の一部を詳細に説明したグラフである。 従来の通りリアルタイム画像登録処理を実施した場合の、登録処理の遅延時間の推移を示したグラフである。 本実施形態よりリアルタイム画像登録処理を実施した場合の、登録処理の遅延時間の推移を示したグラフである。 従来技術に係る監視システムの構成図である。 録画装置のハードウェア構成図である。 従来の監視システムを用いたリアルタイム画像登録処理の概要フローチャートである。 図１２の登録処理Ｓ３０９の詳細フローチャートである。

先ず、本発明の一実施形態に係る監視システムと比較するため、図１０ないし図１３を用いて従来技術に係る監視システムについて説明する。
〔従来の監視システムの構成〕
ここで、図１０および図１１を用いて監視画像を対象とした類似顔画像検索方法を実行する従来技術に係る監視システムの構成を説明する。
図１０は、従来技術に係る監視システムの構成図である。
図１１は、録画装置のハードウェア構成図である。

従来技術に係る監視システムＹは、図１０に示されるように、撮像装置２０１−１〜２０１−ｎが、ネットワーク２００を介して、録画装置２０２と監視端末２０３とに接続されて構成されている。

ネットワーク２００は、各装置を相互に接続しデータ通信をおこなう専用線、イントラネット、インターネット、無線ＬＡＮ等の通信網である。

撮像装置２０１−１〜２０１−ｎは、撮像した画像に対してデジタル変換処理をおこない、変換された画像データをネットワーク２００を介して録画装置２０２に出力するネットワークカメラ等の撮像装置である。撮像装置２０１−１〜２０１−ｎの接続数は、録画装置２０２の所定の接続台数内で変更可能である。

録画装置２０２は、図１１に示されるように、ハードウェアとして、演算と制御をおこなうＣＰＵ５０１（Central Processing Unit、中央処理装置）と、ＲＡＭやフラッシュメモリ等の内部メモリ５０２と、ＨＤＤ５０３（Hard Disk Drive）等の記憶媒体と、ネットワークＩ／Ｆ５０４を備えるネットワークデジタルレコーダ等の録画装置である。録画装置２０２は、撮像装置２０１−１〜２０１−ｎからネットワーク２００を介して入力した静止画や動画像等の画像データを記録媒体に記録する。

監視端末２０３は、ネットワーク２００を介して録画装置２０２から取得した画像データを、液晶ディスプレイやＣＲＴ等のディスプレイモニタに画面表示するＰＣ（Personal Computer）等の装置である。監視端末２０３は、録画画像、検索結果画像、類似画像検索メニューなどを表示するモニタ、キーボードやマウス等のユーザ入力部などを備え、録画装置２０２に記録された画像の再生や、類似画像検索等のユーザインタフェースを提供する。

ここで、録画装置２０２は、図１０に示されるように、並列実行制御部２０４、ネットワーク送受信部２０５、画像記録部２０６、画像配信部２０７、画像特徴量記録部２０８、画像特徴量抽出部２０９、画像類似度判定部２１０、顔探索部２１１の機能ブロックを備えている。そして、これらの機能ブロックは、ＣＰＵ５０１が、ＨＤＤ５０３から内部メモリ５０２にロードされた該当するプログラムを実行することにより実現される。

並列実行制御部２０４は、各撮像装置２０１−１〜２０１−ｎ毎に実行する顔探索処理、顔画像の特徴量抽出処理等の一連の処理を実施するタスクを並列に実行する制御を司る。

ネットワーク送受信部２０５は、ネットワーク２００で接続した装置とのデータの送受信をおこなう部位であり、撮像装置２０１−１〜２０１−ｎからネットワーク２００を介してネットワーク送受信部２０５に受信された撮像画像を、画像記録部２０６に出力する。

また、ネットワーク送受信部２０５は、監視端末２０３からネットワーク２００を介して受信した画像再生要求信号を画像配信部２０７に、検索要求信号を画像類似度判定部２１０に、画像登録要求信号を並列実行制御部２０４に、それぞれ出力する。

また、ネットワーク送受信部２０５は、配信画像を画像配信部２０７から、検索結果を画像類似度判定部２１０から入力し、監視端末２０３へ送信する。

このネットワーク送受信部２０５が送受信するデータは、撮像装置２０１−１〜２０１−ｎから送信された撮像画像、監視端末２０３からの画像再生要求信号、検索要求信号、画像登録処理要求信号、監視端末２０３への配信画像や検索結果等に係るデータである。

画像記録部２０６は、撮像装置２０１−１〜２０１−ｎからネットワーク送受信部２０５を介して入力された画像データを、ＨＤＤ５０３等の記録媒体へ記録する部位である。

画像記録部２０６は、画像データを記録する際には、後に画像データを取り出すための情報、例えば、録画装置内でユニークになるように録画開始からフレーム単位で順に割り振ったフレーム番号を同時に記録する。このフレーム番号とは、映像等の動画像のように、所定の期間毎に画像が連続的に記憶される際に、順番に割り振られるような番号のことをいう。

また、画像記録部２０６は、画像が何時に撮像されたものであるか識別するための情報、例えば、画像時刻も同時に記録する。この際の、画像時刻は、例えば、録画装置２０２に内蔵している時計から出力される装置時刻や、撮像装置２０１−１〜２０１−ｎにそれぞれ内蔵している時計から出力される装置時刻である。

また、画像記録部２０６は、画像がどの撮像装置で撮像されたかものであるか識別するための情報、例えば、撮像装置のＩＰアドレスも同時に記録する。

画像配信部２０７は、画像記録部２０６や画像特徴量記録部２０８などの記録媒体に記録されている画像データの配信をおこなう部位であり、監視端末２０３からネットワーク送受信部２０５を介して入力された画像再生要求信号に応じて配信画像を決定し、フレーム番号や画像時刻や撮像装置識別番号を利用して記録媒体から画像データを読出し、ネットワーク送受信部２０５に出力する。

画像特徴量記録部２０８は、画像特徴量を記録媒体へ記録する部位である。

この画像特徴量記録部２０８は、まず、画像記録部２０７により記録された画像データを顔探索部２１１に出力することにより、顔画像データを取得する。そして、画像特徴量記録部２０８は、この顔画像データを画像特徴量抽出部２０９に出力することにより、画像特徴量を取得する。

また、画像特徴量記録部２０８は、画像特徴量を記録する際には、顔探索部２１１に入力された画像データに対応するフレーム番号も同時に記録する。
この記録により生成されるフレーム番号と画像特徴量のリストデータを画像特徴量リストデータということは、上述の如くであり、この記録する処理を画像登録ということも上述の如くである。そして、これらの処理の開始は、監視端末２０３の登録要求部２１５からの要求によりおこなう。

画像特徴量抽出部２０９は、顔探索部２１１から入力された顔画像データの特徴量を画像認識技術を用いて算出する部位である。ここで画像特徴量とは、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せを用いる。

画像類似度判定部２１０は、画像検索をおこない、検索結果を出力する部位である。画像類似度判定部２１０は、以下で説明する検索画像の画像特徴量と、画像記録部２０６の記録媒体に記録されている画像データの顔画像の画像特徴量とから類似度を算出し、算出された類似度の大小から検索結果を生成する。

ここで、検索のキーとなる検索画像は、ネットワーク送受信部２０５を介して入力された、類似度を判定するために参照される雛形の画像として監視端末２０３によりユーザが指定した画像である。この検索画像は、検索要求信号の中に含まれているデータとして入力する。具体的には、画像記録部２０６に記録されている画像のフレーム番号等により指定することができる。また、ユーザが保有する画像を検索要求信号に含め、その画像を検索画像として用いてもよい。

なお、検索画像の画像特徴量は、記録画像の画像特徴量を記録する場合と同様に画像類似度判定部２１０が、顔探索部２１１に出力し、得られた顔画像データに対して、画像特徴量抽出部２０９にて画像特徴量を抽出することで取得する。

また、記録媒体に記録されている顔画像データの画像特徴量は、画像特徴量記録部２０８に記録された上述の画像特徴量リストデータから取得する。

ここで、監視端末２０３は、ネットワーク送受信部２１２、検索要求部２１３、検索結果表示部２１４、画像再生部２１５、登録要求部２１６の部位を備えている。

ネットワーク送受信部２１２は、ネットワーク２００で接続した録画装置２０２とのデータの送受信をおこなう処理部であり、録画装置２０２から受信された配信画像を画像再生部２１５に、検索結果を検索結果表示部２１４にそれぞれ出力し、さらに、画像再生要求信号を画像再生部２１５から、検索要求信号を検索要求部２１３から、登録要求信号を登録要求部２１６からそれぞれ入力し、ネットワーク２００を介して録画装置２０２に送信する。

このネットワーク送受信部２１２の送受信するデータは、例えば、録画装置２０２への画像再生要求信号や検索要求信号や登録要求信号、録画装置２０２からの配信画像や検索結果である。

検索要求部２１３は、ユーザにより指定された検索画像を用い、時刻範囲や撮像装置などの様々な検索条件による類似顔画像検索をおこなうように要求する「検索要求信号」を作成する部位である。ユーザによる検索画像の指定や時刻範囲等の検索条件は、監視端末２０３のディスプレイモニタ（モニタ）上に表示される操作メニュー画面(図示せず)のユーザインタフェースにより、監視端末２０３が備えたキーボードやマウス等のユーザ入力部を使用して決定される。ここで、ユーザが保有する画像を検索画像とする場合は、「検索要求信号」にその検索画像データが含まれる。一方、録画装置２０２の画像記録部２０６に記録されている画像を検索画像とする場合は、「検索要求信号」にその画像のフレーム番号と撮像装置の識別番号が含まれる。

検索結果表示部２１４は、入力された録画装置２０２からの画像検索されたサムネイル画像データやテキスト検索の検索結果を、監視端末２０３のディスプレイモニタ上に表示される画面に描画する部位である。

画像再生部２１５は、監視端末２０３のディスプレイモニタ上に表示される操作メニュー画面（図示せず）のユーザインタフェースを使って与えられたユーザによる再生操作の信号を画像再生要求信号に変換して出力する部位である。ユーザインタフェースの再生操作は、監視端末２０３が備えたキーボードやマウス等のユーザ入力部を使用する。

また、画像再生部２１５は、入力された録画装置２０２からの配信画像を監視端末２０３のモニタ上に表示される画面に描画する処理もおこなう。

登録要求部２１６は、録画装置に登録処理を開始するよう要求するための画像登録要求信号を出力する部位である。

登録要求部２１５は、登録対象の撮像装置の識別番号および登録終了時刻等の登録終了条件を含むリアルタイム画像登録要求信号を作成して、録画装置２０２に出力する。この画像登録要求信号を受信することにより、録画装置では、リアルタイム画像登録処理を開始する。

また、登録要求部２１５は、登録対象の撮像装置の識別番号、入力された登録開始フレーム番号と登録終了フレーム番号を含む記録画像登録要求信号を作成して、録画装置２０２に出力する。この記録画像登録要求信号を受信することにより、録画装置では、記録画像登録処理を開始する。
〔従来の顔画像の登録処理〕
ここで、図１２および図１３を用いて従来の監視システムを用いたリアルタイム画像登録処理について説明する。
図１２は、従来の監視システムを用いたリアルタイム画像登録処理の概要フローチャートである。
図１３は、図１２の登録処理Ｓ３０９の詳細フローチャートである。

一般に、画像から顔領域を検出するために要する処理時間は、画像から検出される顔領域の数や顔領域の大きさなどにより変化する。すなわち、人通りの多少や時刻など画像の撮影場所や設置環境によって変化する。さらに、検出された顔領域からの画像特徴量抽出処理は、顔検出数にほぼ比例する。そのため、撮像装置２０１−１〜２０１−ｎから一定間隔で出力される画像データに対して、撮像装置の配信時間間隔以内で配信画像の登録処理を常時終了することは困難である。そこで、従来から登録処理では、撮像装置からの出力画像を記録した録画装置から順次最新画像を読み出し、その読み出したデータに対して登録処理をおこなっている。これにより、リアルタイムに登録処理ができなくても、例えば、夜間等のため人通りが減り、登録処理時間の遅延時間が改善される。また、リアルタイム画像登録処理がユーザから終了されたり、終了条件に合致などした場合には、最終的には全ての画像に対しての登録処理が終了する。

２台の撮像装置２０１−１,２０１−２を用いてのリアルタイム登録処理を実行する例について、以下詳しく説明する。撮像装置２０１−１,２０１−２から配信される画像は、リアルタイム登録処理とは別の処理により、順次、一定間隔で録画装置２０２の画像記録部２０６に記録されていくものとする。

先ず、ユーザが監視端末２０３の入出力デバイスを用いて撮像装置２０１−１と２０１−２の登録処理をおこなうように操作することにより、監視端末２０３の登録要求部２１５は、リアルタイム画像登録要求信号送出処理をおこなう(図１２のステップＳ３３１)。

このリアルタイム画像登録要求信号には、登録する撮像装置２０１−１と２０１−２の識別番号および終了条件として各撮像装置における登録画像数が含まれる。ここでは、終了条件を登録画像数としたが、画像の撮像時刻などを用いてもよい。
登録要求部２１５は、この画像登録要求信号を、ネットワーク送受信部２１１から、ネットワーク２００へ送信する。

図１２に示したＴ３０１は、録画装置２０２と監視端末２０３間のリアルタイム画像登録要求信号の通信を表している。

次に、録画装置２０２の並列実行制御部２０４は、リアルタイム画像登録要求信号を受信するまで待機する(ステップＳ３００)。Ｔ３０１により、画像登録要求信号の通信が開始されたら、録画装置２０２の並列実行制御部２０４は処理をステップＳ３０１に進める。

録画装置２０２の並列実行制御部２０４は、リアルタイム画像登録要求信号の受信し(ステップＳ３０１)、それが完了したら、処理をステップＳ３０２に進める。

次に、録画装置２０２の並列制御部２０４は、画像登録要求信号が適正であるか判定する(ステップＳ３０２)。

この判定においては、並列実行制御部２０４は、例えば、登録する撮像装置の識別番号や終了条件について検証する。すなわち、並列実行制御部２０４は、受信した識別番号の撮像装置が存在し、また、終了条件である登録画像数が正の値である場合には画像登録要求信号が適正であり、ＹＥＳと判定する。それ以外の場合は、並列実行制御部２０４は、ユーザによる指示が不適であり、ＮＯと判定する。

Ｙｅｓの場合は、並列実行制御部２０４は、処理をステップＳ３０３に進める。

ＮＯの場合は、並列実行制御部２０４は、処理をステップＳ３００に戻して、画像登録要求信号を待つ。

次に、録画装置２０２の並列実行制御部２０４は、登録をおこなう撮像装置ごとに録画装置２０２の画像記録部に記録されている最新画像のフレーム番号をそれぞれの登録を開始する登録対象フレーム番号とし、また、それぞれの登録画像数を０に初期化する(ステップＳ３０３)。

次に、並列実行制御部２０４が、撮影装置ごとの終了条件である登録画像数を参照可能な記録領域に記録する(ステップＳ３０４)。

次に、録画装置２０２の並列実行制御部２０４は、撮像装置ごとに並列に登録処理をおこなうために、マルチタスク処理の開始をおこなう(ステップＳ３０５) 。マルチタスク処理は、例えば、マルチスレッドプログラムでＣＰＵ処理時間を分割し、並列に処理をおこなうことができる。

この上で、撮像装置２０１-１から配信され、録画装置２０２の記録部に記録された画像に対する登録処理は、後述するステップＳ３０６〜Ｓ３１１でおこなわれ、撮像装置２０１−２から配信され、録画装置２０２の記録部に記録された画像に対する登録処理は、後述するステップＳ３１２〜Ｓ３１７によりおこなわれる。それぞれの登録処理は、並列実行されるタスクにより処理される。

ここで、撮像装置２０１−１から配信される画像の登録処理として実行されるタスクについて説明する。

先ず、撮像装置２０１−１から配信され録画装置２０２の画像記録部２０６に記録された画像について、未処理の画像があるか否かを判定する(ステップＳ３０６)。未処理の画像がない場合は、ＮＯと判定する。このとき、録画装置２０２は、撮像装置２０１−１からの画像配信待ち中であり、次回の画像配信を待つ。未処理の画像がある場合は、ＹＥＳと判定する。これは、録画装置２０２において、配信済みの画像について、登録処理が済んでいない画像があり、この画像に対して、以降のステップに示される登録処理を実施する。

ＮＯの場合は、並列実行制御部２０４は、処理をステップＳ３０７に進める。

ＹＥＳの場合は、並列実行制御部２０４は、処理をステップＳ３０８に進める。

並列実行制御部２０４は、撮像装置２０１−１の登録処理のタスクを一時待機させる(ステップＳ３０７）。待機時間は、例えば、撮像装置２０１−１の画像配信の時間間隔の１０分の１などと任意に設定してよい。

次に、並列実行制御部２０４は、撮像装置２０１−１の登録対象フレーム番号に基づいて、画像記録部２０５から画像データを読み出す(ステップＳ３０８)。

録画装置２０２の並列実行制御部２０４は、読み出した画像データに対して、登録処理を実行する（ステップＳ３０９）。この登録処理については、後に図１３を用いて詳述する。

登録対象フレーム番号に１を加算し、登録対象フレーム番号を更新し、また、登録画像数の値を１、カウントアップする（ステップＳ３１０）。

そして、登録画像数と終了条件の登録画像数を比較し、当該タスクを終了するか判定する（ステップＳ３１１）。ここで、登録画像数と終了条件の登録画像数が等しい場合には、ＹＥＳと判定し、それ以外の場合は、ＮＯと判定する。

ＹＥＳの場合は、並列実行制御部２０４は処理をステップＳ３１８に進める。

ＮＯの場合は、並列実行制御部２０４は処理をステップＳ３０６に進める。

そして、タスク処理の終了を待機し（ステップＳ３１８）、実行中のタスクが一つ以上終了した場合、ステップＳ３１９に進む。

次に、全てのタスクが終了したか判定し（ステップＳ３１９）、全てのタスクが終了した場合は、ＹＥＳと判定し、それ以外の場合は、ＮＯと判定する。

ＹＥＳの場合は、並列実行制御部２０４は、本リアルタイム画像登録処理を終了する。

ＮＯの場合は、並列実行制御部２０４は、処理をステップＳ３１８に進める。

撮像装置２０１−２の登録処理として実行されるタスクは、ステップＳ３１２−３１７に示される処理をおこない、ステップＳ３０６−Ｓ３１１と同様の処理をおこなう。ただし、終了条件は、撮像装置毎に設定された値を用いるため、撮像装置２０１−２の終了条件を用いる。

ここで、図１３を用いて登録処理ステップＳ３０９およびステップＳ３１５の処理について詳細に説明する。

先ず、録画装置２０２の並列実行制御部２０４は、処理対象の画像を顔探索部２１０に入力し、顔探索処理を実行する（ステップＳ４０１）。

次に、処理対象の画像に顔領域が一つ以上含まれているか否かを判定する（ステップＳ４０２）。

具体的には、顔探索部２１０の顔検索の結果により、顔領域が一つ以上検知された場合に、Ｙｅｓと判定する。それ以外、顔領域が一つも検知されなければ、ＮＯと判定する。

Ｙｅｓの場合は、並列実行制御部２０４は、処理をステップＳ４０３に進める。

ＮＯの場合は、並列実行制御部２０４は、処理対象の画像に対する登録処理を終了する。

次に、録画装置２０２の並列実行制御部２０４は、ステップＳ４０１で検出された顔領域を画像特徴量抽出部２０８に送信する。

そして、画像特徴量抽出部２０８は、その画像特徴量を抽出して、画像特徴量記録部２０９に送信する。画像特徴量記録部２０７は、フレーム毎にその画像特徴量を、画像特徴量リストデータとして記録媒体に記録する（ステップＳ４０３）。すなわち、画像登録処理をおこなう。

そして、並列実行制御部２０４は、全ての顔領域から特徴量抽出および登録が終わったか否かを判定する（ステップＳ４０４）。全ての顔領域に対して、終了している場合はＹＥＳと判定する。それ以外の場合は、ＮＯと判定する。

Ｙｅｓの場合は、並列実行制御部２０４は、処理をステップＳ４０５に進める。

ＮＯの場合は、並列実行制御部２０４は、処理をステップＳ４０３に進める。

録画装置２０２の並列実行制御部２０４は、処理対象の画像の縮小画像（サムネイル）を作成し、記憶媒体に記憶されたサムネイル・リストのデータに登録する（Ｓ４０５）。このサムネイル・リストは、監視端末２０３で画像検索結果表示に用いる。

その後、並列実行制御部２０４は、処理対象の画像に対する登録処理を終了する。

以上が、１枚の画像に対する登録処理である。上記に示した１枚の画像に対する登録処理は、各画像に対して一度実行されればよいものであり、検索の際にキーとする検索画像とは関係しない。

以上、従来の登録処理の流れについて説明した。

次に、画像検索処理の流れについて述べる。

類似顔画像の検索は、ユーザによる検索要求より以前に上記で示した登録処理によって、特徴量抽出およびその記録が済んでいる画像に対してなされるものである。
具体的には、録画装置２０２の並列実行制御部２０４は、監視端末２０３の検索要求部２１２からの検索要求信号を受信すると、ユーザが指定した検索画像を顔探索部２１０に入力し、顔を探索する。顔が検出された場合、画像特徴量抽出部２０８にてその検索画像に含まれる顔領域の画像特徴量を抽出する。そして、画像類似度判定部２０９にて、ユーザが指定した検索画像の画像特徴量と、予め登録処理により抽出、記録された画像特徴量リストデータの特徴量とを比較し、画像特徴量を基に画像の類似性を判定し、画像特徴量リストデータに含まれるフレーム情報等を用いて録画装置の記録画像からユーザが探したい人物の画像を検索処理の実行ごとに探し出す。

以下、本発明に係る一実施形態を、図１ないし図９を用いて説明する。

従来技術に係る監視システムについては、既に詳細に説明したので、本実施形態の説明では、異なった所を中心にして説明するものとする。
〔監視システムの構成〕
先ず、図１を用いて本発明の一実施形態に係る監視システムの構成について説明する。
図１は、本発明の一実施形態に係る監視システムの構成図である。

録画装置５０１は、図１１に示した従来技術に係る録画装置２０２と、ハードウェア的には同じものであり、演算と制御をおこなうＣＰＵ５０１（Central Processing Unit、中央処理装置）と、ＲＡＭやフラッシュメモリ等の内部メモリ５０２と、ＨＤＤ５０３（Hard Disk Drive）等の記憶媒体と、ネットワークＩ／Ｆ５０４を備えるネットワークデジタルレコーダ等の録画装置である。録画装置５０１は、上記で説明した従来技術に係る監視システムの録画装置２０２の各処理部に加え、新たに平均化実施判定部５０２を備えて構成される。

平均化実施判定部５０２は、各撮像装置が配信する画像に対する登録処理を一つのタスクとし、各撮像装置の登録処理を並列実行するマルチタスク処理において、各タスクの遅延時間を平均化させるか否かの判定をする。平均化させるか否かは、予め処理ステップで規定してもよいし、登録要求信号にユーザの指定を含めてもよい。
〔リアルタイム画像登録処理〕
次に、図２および図３を用いて本実施形態の監視システムのリアルタイム画像登録処理について説明する。
図２は、本実施形態の監視システムのリアルタイム画像登録処理を示すフローチャートである。
図３は、画像登録制御テーブルの一例を示す図である。

図２のフローチャートでは、図１２のステップに新たにステップＳ６０１〜Ｓ６０６と、ステップＳ６０４〜Ｓ６０６が加わっているものであり、この新たに付け加わったステップの処理を説明する。

並列実行制御部２０４は、平均化実施判定部５０２により、当該タスクにおいて、登録処理の平均化をおこなうか否かを判定する（ステップＳ６０１）。具体的には、登録要求信号に含まれるユーザの指定を参照して、従来どおりに実施する場合は、ＮＯを判定し、平均化を実施する場合は、ＹＥＳを判定する。

ＹＥＳと判定した場合は、並列実行制御部２０４は、処理をステップＳ６０２に進める。

ＮＯと判定した場合には、並列実行制御部２０４は、処理をステップＳ３０９に進める。

次に、自タスクの実行判定をする（ステップＳ６０２）。具体的には、他タスクの登録画像数において、自タスクの登録画像数より少ないタスクが一つでもある場合には、遅延が発生しているタスクが存在しているので、ＮＯと判定する。また、全ての他タスクの登録画像数が自タスクの登録画像数より大きい場合は自タスクが遅延していることからＹＥＳと判定する。また、全ての他タスクの登録画像数と、自タスクの登録画像数が等しい場合は、タスク間で遅延はないことから、ＹＥＳと判定する。

ここで、登録画像数とは、例えば、登録要求を受信したときから登録されたフレームの数である。並列実行制御部２０４は、図３に示される画像登録制御テーブルにより、タスク毎の登録画像数を評価することができる。画像登録制御テーブルは、図３に示されるように、録画装置の登録の対象となる画像を送信する撮像装置毎に、画像登録をするタスクのタスクＩＤ、そのタスクの状態、また、登録要求を受けたときから、登録したフレーム数（登録画像数）が格納されている。画像登録制御テーブルは、図１１に示される内部メモリ５０２上に保持され、ＣＰＵ５０１に参照される。並列実行制御部２０４は、画像登録が終わったときには、該当する撮像装置の欄のフレーム数をカウントアップする。

ＹＥＳと判定した場合には、並列実行制御部２０４は、処理をステップＳ３０９に進める。

ＮＯと判定した場合には、並列実行制御部２０４は、処理をステップＳ６０３に進める。

次に、自タスクの登録対象フレームに対する登録処理を待機させる（ステップＳ６０３）。これにより、他タスクの登録処理が優先して実行される。他タスクのいずれかにおいて、画像の登録処理が終了したタイミングを検知したら、並列実行制御部２０４は、処理をステップＳ６０１に進める。

ステップＳ６０４〜Ｓ６０６は、撮像装置２０１−２の登録処理に関して、本実施形態の処理として追加されたものであり、それぞれＳ６０４は、Ｓ６０１、Ｓ６０５は、Ｓ６０２、Ｓ６０６は、Ｓ６０３と同様の処理をおこなうものである。

なお、Ｔ６０１は、マルチタスク処理において、他タスクにおいて、画像に対する登録処理が終了したことが各タスクに通知することを示している。
〔記録画像登録処理〕
次に、図４を用いて本実施形態の監視システムの記録画像登録処理について説明する。
図４は、本実施形態の監視システムの記録画像登録処理を示すフローチャートである。

記録画像登録処理では、図２に示したリアルタイム画像処理と比較して、Ｓ３０６、Ｓ３０７、および、Ｓ３１２、Ｓ３１３がないだけである。これは、記録画像登録の場合には、対象とする画像は既に記録されており、撮像装置における配信を待つ必要がないためである。
〔本実施形態に係る登録処理の効果〕
以上のように監視システムを構成して、画像登録処理をおこなうことにより、ある撮像装置の登録処理だけに処理を集中させずに、遅延を各撮像装置間で平均化することができる。

以下、図５ないし図９を用いて上記で述べた並列実行制御部により、各撮像装置における画像登録処理を平均化した場合の効果を、具体的に説明する。
図５は、リアルタイム画像登録処理において、各撮像装置によって配信され、同時刻に録画装置に記録された画像毎のタスクの処理量［Ｔ］を表したグラフである。
図６は、各撮像装置の画像に関して、リアルタイム画像登録処理をおこなった場合の従来技術による遅延時間と、本発明の一実施形態による遅延時間を示したグラフである。

図７は、処理時間に関して図６の一部を詳細に説明したグラフである。

図８は、従来の通りリアルタイム画像登録処理を実施した場合の、登録処理の遅延時間の推移を示したグラフである。

図９は、本実施形態よりリアルタイム画像登録処理を実施した場合の、登録処理の遅延時間の推移を示したグラフである。

ここでは、撮像装置ＡとＢから一定間隔で配信され、録画装置に記録された画像に対するリアルタイム画像登録処理について述べる。

先ず、リアルタイム画像登録処理における遅延時間を以下のように定義し、効果を表現する。

ここで、各撮像装置Ｃ｛Ｃ＝Ａ，Ｂ，…｝から録画装置５０１へ配信された後、録画装置５０１に記録され、フレーム番号ｉ_Ｃ｛ｉ_Ｃ＝０，…，ｎ｝を割り振られた画像をＦ（ｉ_Ｃ）とする。また、画像Ｆ（ｉ_Ｃ）が記録された後、処理が開始されるべき時刻をＴ（ｉ_Ｃ）とする。さらに、画像Ｆ（ｉ_Ｃ）に対する登録処理を実際に開始した時刻をＲ（ｉ_Ｃ）とする。これらを用いて各撮像装置Ｃごとの画像Ｆ（ｉ_Ｃ）に対する登録処理の遅延時間ＲＴ（ｉ_Ｃ）＝Ｒ（ｉ_Ｃ）−Ｔ（ｉ_Ｃ）を計算する。また、撮像装置Ｃの画像Ｆ（ｉ_Ｃ）に対して登録処理を実行するタスクをＫｃとする。

撮像装置ＡおよびＢが録画装置５０１に接続されている場合において、タスクＫ_Ａを撮像装置Ａの画像に対する登録処理に関するタスクとし、タスクＫ_Ｂを撮像装置Ｂの画像に対する登録処理に関するタスクとする。

例えば、撮像装置Ａの登録処理の遅延時間ＲＴ（ｉ_Ａ）がＲＴ（ｉ_Ａ）＞０であれば、撮像装置Ａの登録処理で遅延が発生していることになり、一方、撮像装置Ｂの登録処理の遅延時間ＲＴ（ｉ_Ｂ）がＲＴ（ｉ_Ｂ）＝０であれば、撮像装置Ｂでは、画像Ｆ（ｉ_Ｂ）に対して即時に登録処理を遅延なく、開始したことになる。

図５は、リアルタイム画像登録処理において、撮像装置Ａ、Ｂによって配信され、同時刻に録画装置に記録された画像毎のタスクＫ_Ａ、タスクＫ_Ｂの処理量［Ｔ］を表している。横軸７０１は、撮像装置Ａ、Ｂの各々のフレーム番号を指している。ただし、図５の横軸７０１の目盛は、同時刻に記録されたフレーム番号を意味するものであり、目盛７１１〜７２４が指すフレーム番号は撮像装置Ａ、Ｂで異なってよい。また、縦軸７０２は、画像毎に要する処理量［Ｔ］を示している。処理量１［Ｔ］は、タスクＫ_Ａ、タスクＫ_Ｂが並列実行されている場合に単位時間にタスクＫ_Ａ、タスクＫ_Ｂが処理できるそれぞれの処理量を表す。例えば、処理量２［Ｔ］は、タスクＫ_Ａ、タスクＫ_Ｂが並列実行されている場合は、タスクＫ_Ａ、タスクＫ_Ｂはそれぞれ２単位時間を要する。また、タスクＫ_Ａのみが実行されている場合は、タスクＫ_Ａの当該画像に要する処理時間は、半分の１単位時間となる。□記号７０３で表された折れ線グラフは、画像毎のタスクＫ_Ａの処理量を表し、●記号７０４で表された折れ線グラフは、画像毎のタスクＫ_Ｂの処理量を表す。また、点線７０５は、フレーム番号軸７０１の一つの目盛、つまり、画像配信の時間間隔内に２タスクが並列実行中に１タスクにおいて終了させることができる最大処理量Ｐｍａｘ［Ｔ］を表す。

図５に示されるように、撮像装置Ａの三つ目から八つ目の画像に対する処理量６Ｔは、最大処理量Ｐｍａｘよりも多く、それ以外の画像に対する処理量２Ｔは最大処理量Ｐｍａｘ以下とする。一方、撮像装置Ｂの全画像、一つ目から１４の画像に対する処理量は最大処理量Ｐｍａｘ以下とする。この例では、例えば、撮像装置Ａに一時的に多数の被撮影者が映ることで、被撮影者の数や顔領域の大きさによって変化する顔検出処理量の増大と、その顔検出結果に伴い多数の顔が検出されることで、顔領域毎に実施する特徴量抽出処理回数の増加によって起こる登録処理量の増加を想定したものである。

図６は、図５で示した処理量である撮像装置Ａの画像１４枚および撮像装置Ｂの画像１４枚に対して登録処理を実施した従来技術による遅延時間と、本実施形態による遅延時間を示したものである。時間軸８００の目盛８０１〜８１４は、目盛７１１〜７２４が指す各フレーム番号の画像を録画装置に記録した時刻である（以下、「時刻８０１」のように表記する）。バー８２１〜８３２は、従来の通りリアルタイム画像登録処理を実施した場合のタスクＫ_Ａの画像毎の処理時間を表し、バー８４１〜８５３は、従来の通りリアルタイム画像登録処理を実施した場合のタスクＫ_Ｂの画像毎の処理時間を表している（以下、「処理時間８２１」のように表記する）。また、バー８６１〜８７３は、本実施形態によりリアルタイム画像登録処理を実施した場合のタスクＫ_Ａの画像毎の処理時間を表し、バー８８１〜８９３は、本実施形態によりリアルタイム画像登録処理を実施した場合のタスクＫ_Ｂの画像毎の処理時間を表している。各タスクの画像毎の処理時間については、画像毎の処理量と処理時間中の他タスクの実行状態による。例えば、時刻８０１の撮像装置Ａの画像に対する処理時間は、バー８２１に示した通りとなる。

区間９０１から９０９は、従来の通り実施した場合のタスクＫ_Ａの画像毎の登録処理の遅延時間ＲＴ_Ａを示している（以下、「遅延時間９０１」のように表記する）。区間９２１〜９２９は、本発明の実施形態の通り実施した場合のタスクＫ_Ａの画像毎の登録処理の遅延時間ＲＴ_Ａを示している。また、区間９４１〜９４８は、本発明の実施形態の通り実施した場合のタスクＫ_Ｂの画像毎の登録処理の遅延時間ＲＴ_Ｂを示している。

図７は、処理時間を示した図６の内で、従来の通りリアルタイム画像登録処理を実施した場合の時刻８０４〜８０６に注目したグラフである。時刻１００１は、時刻８０３の撮像装置Ａの処理が終了した時刻を示したものである。遅延時間９０１は、時刻８０４の撮像装置Ａが記録された時刻８０４から実際に登録処理が開始された時刻１００１までの遅延を表している。ここで、時刻８０４の撮像装置Ｂの画像に対する処理は、時刻１００１で終了している。撮像装置Ｂの画像が次に記録されるのは時刻８０５である。よって、時刻１００１〜時刻８０４までは、撮像装置Ａの画像に対する処理タスクＫ_Ａが独占できる時間である。また、時刻１００２〜８０６までも同様である。時刻１００１〜時刻８０５、時刻１００２〜８０６の様に１タスクのみが実行されている場合は、同時間で１タスクの場合と比較して２倍の処理量を演算できる。例えば、図５に示すとおり、撮像装置Ａの時刻８０４の画像の処理量は６Ｔであり、時刻１００１〜時刻８０５では２Ｔ、時刻８０５から１００２では２Ｔ、時刻１００２から８０５では２Ｔだけ処理することができる。よって、時刻１００１から処理を開始した撮像装置Ａの時刻８０４の画像に対する処理時間は、処理時間８２４である。

図８は、従来の通りリアルタイム画像登録処理を実施した場合の、登録処理の遅延時間の推移を示したものである。目盛り１１０１〜１１１４は、それぞれ、従来の通りリアルタイム画像登録処理を実施した場合の時刻８０１〜８１４の画像に対応する。●記号１１３１で表された折れ線グラフは、従来の通りリアルタイム画像登録処理を実施した場合の、撮像装置Ａの画像に対する登録処理の遅延時間９０１〜９０９の推移を示したものである。また、□記号１１３２で表された折れ線グラフは、従来の通りリアルタイム画像登録処理を実施した場合の、撮像装置Ｂの画像に対する登録処理の遅延時間の推移を示したものである。

図９は、本実施形態よりリアルタイム画像登録処理を実施した場合の、登録処理の遅延時間の推移を示したものである。目盛り１２１１〜１２２４は、それぞれ、本発明の実施形態の通り実施した場合の時刻８０１〜８１４の画像に対応する。●記号１２０１で表された折れ線グラフは、本実施形態によりリアルタイム画像登録処理を実施した場合の、撮像装置Ａの画像に対する登録処理の遅延時間９２１〜９２９の推移を示したものである。また、□記号１２０２で表された折れ線グラフは、本発明の実施形態の通り実施した場合の、撮像装置Ｂの画像に対する登録処理９４１〜９４８の遅延時間の推移を示したものである。

図８、図９に示したように、従来技術によるリアルタイム画像登録処理では、撮像装置Ａに遅延が偏っていたが、本実施形態によるリアルタイム画像登録処理を実施すると、遅延が各撮像装置で平均化される。よって、例えば、リアルタイム登録処理実行中に、ある時刻の画像に対して、類似顔検索を実施する場合に、全撮像装置を対象とするならば、撮像装置Ａの登録処理が終了するまでに必要な時間が短縮されることより、全撮像装置の登録処理が終了するまでに必要な時間が短縮されている。したがって、本実施形態によれば、全撮像装置を対象とした検索を実施する場合にユーザの待ち時間を減少させることができる。

上記の効果は、当然ながら、記録画像登録処理においても現れる。

なお、本発明は、上述の実施の形態には限定されない。

例えば、登録処理を録画装置５０２にて実行する構成にて説明したが、録画装置とは別の装置で実行する構成であってもよい。

また、上記実施の形態においては、顔領域の特徴量登録について述べたが、顔領域ではなく、他の特定領域、例えば、人領域に変更してもよい。

また、上記実施の形態においては、録画装置に記録されている画像を登録処理に用いたが、撮像装置が一定間隔で配信する画像全てに対して登録処理をする必要がない、または優先度の低い撮像装置の画像に対して登録処理をする必要がない場合には、撮像装置から配信される画像を直接用いてもよい。

２００…ネットワーク
２０１−１〜２０１−ｎ…撮像装置
２０２、５０１…録画装置
２０３…監視端末
２０４…並列実行制御部
２０５，２１２…ネットワーク送受信部
２０６…画像記録部
２０７…画像配信部
２０８…画像特徴量記録部
２０９…画像特徴量抽出部
２１０…画像類似度判定部
２１１…顔探索部
２１３…検索要求部
２１４…検索結果表示部
２１５…画像再生部
２１６…登録要求部
５０２…平均化実施判定部
Ｘ、Ｙ…監視システム
７０１…フレーム番号
７０２…処理量
７０３、７０４…処理量の推移
７１１〜７２４…フレーム番号
８００…時間軸
８０１〜８１４…画像の配信および記録時刻
８２１〜８３２…従来の通り実施した場合の撮像装置Ａの処理時間
８４１〜８５３…従来の通り実施した場合の撮像装置Ｂの処理時間
８６１〜８７３…本発明において、登録処理の平均化をおこなう場合の撮像装置Ａの処理時間
８８１〜８９３…本発明において、登録処理の平均化をおこなう場合の撮像装置Ｂの処理時間
９０１〜９０９…従来の通り実施した場合の撮像装置Ａの遅延時間
９２１〜９２９…本発明において、登録処理の平均化をおこなう場合の撮像装置Ａの遅延時間
９４１〜９４８…本発明において、登録処理の平均化をおこなう場合の撮像装置Ｂの遅延時間
１００１…時刻
１１０１〜１１１４…時刻８０１〜８１４に記録された画像に対応する目盛
１１３１…従来の通りリアルタイム画像登録処理を実施した場合の撮像装置Ａの遅延時間の推移
１１３２…従来の通りリアルタイム画像登録処理を実施した場合の撮像装置Ｂの遅延時間の推移
１１５２…遅延時間を表す軸
１２０１…本発明の一実施形態によるリアルタイム画像登録処理において、登録処理の平均化をおこなう場合の撮像装置Ａの遅延時間の推移
１２０２…本発明の一実施形態によるリアルタイム画像登録処理において、登録処理の平均化をおこなう場合の撮像装置Ｂの遅延時間の推移。

Claims (1)

1. 画像を撮像する一つ以上の撮像装置と、前記撮像装置より撮像した画像を受信して記録する録画装置とが接続された監視システムにおいて、
   前記録画装置の制御部は、各々の画像について、画像特徴量を抽出し前記画像特徴量を記録する画像登録処理を実行するにあたり、各々の撮像装置毎に、その撮像装置から受信した画像の画像登録処理を実行するタスクを割り当て、前記画像登録処理を実行するあるタスクを実行する際に、他の撮像装置から受信した画像の画像登録処理を実行するタスクによる登録画像数を評価して、他の撮像装置から受信した画像の画像登録処理を実行するタスクによる登録画像数が、少ないタスクがあるときには、自らのタスクの実行を遅延させるように制御することを特徴とする監視システム。

Images