JP2015073191A - 画像処理システムおよびその制御方法 - Google Patents

Abstract

【課題】複数の撮像装置による撮影画像から物体の追跡を行うシステムにおいて、ユーザーの手番を増やさずに、処理の高速化およびネットワークにかかる負荷を低減する。
【解決手段】各撮像装置が以下のように動作する。まず物体検出部112が撮影画像から注目物体を検出し、物体属性情報取得部113がその属性情報を取得する。そして物体属性送信制御部103が、コンテキスト判定部108で判定された注目物体の軌跡等のコンテキストに応じて、送信対象属性および送信先を示す制御情報を設定し、物体属性送信部102が該制御情報に応じた送信を行う。一方、他の撮像装置から受信した物体の属性情報を保持しておくことで、物体照合部114では、自装置の撮影画像から取得した属性情報と既に保持された属性情報に基づいて撮像装置間での物体照合を行う。物体追跡部115が該照合結果に基づいて物体に識別子を付与する。
【選択図】 図1

Description

本発明は、複数の撮像装置による撮影画像から物体を追跡する画像処理システムおよびその制御方法に関する。

複数の防犯カメラを備えた防犯システム等、カメラによる監視を行うモニタリングシステムにおいては、インテリジェントなネットワークカメラの導入が進んでいる。一般にモニタリングシステムは、通信回線に接続された複数のネットワークカメラと、映像を録画する録画装置と、ライブ映像の表示または録画映像を再生して操作者の指示を受け付ける監視装置、から構成される。ネットワークカメラは、撮影した映像から顔や人体を検出して個体の識別や異常な行動を判断するといった、インテリジェントな機能を備える。録画装置は、映像や、映像を検索するための物体属性情報などの付帯情報を符号化したデジタル信号を記録する。監視装置は、選択した1つまたは複数の映像を同時に表示したり、異常が発生した場合に警告を表示したり、操作者の指示に基づいてモニタリングシステムの各種設定を行ったりする。

インテリジェントな機能を備えるネットワークカメラ間では、複数のカメラに映った物体が同一の物体であると判定された場合に、この物体の情報を集約して録画装置や監視装置に送信することができる。

ここで、カメラ映像間において同一物体としての判定がなされるには2つのケースがある。1つは、ネットワークカメラの互いの位置関係が既知であり、同時に複数のネットワークカメラで同じ被写体の映像を得ている場合である。もう1つは、物体が死角に入ったり、視野外に出たり、遮蔽物が入ったりという事象により、ある物体がネットワークカメラの何れにも映らない時間があった場合である。前者の場合は、物体属性情報として物体の画像上の位置、サイズ、ネットワークカメラの光軸の向きやズームパラメータを共有していれば、同一物体の判断が可能である。一方、後者の場合は、複数の映像から物体を照合する必要がある。

複数映像において物体の照合を行う技術としては、例えば特許文献1が、顔の他に服装や靴を用いて人物を照合する技術を開示している。このように顔だけで判断できない場合に他の特徴も用いることで、照合精度が向上する。また、物体を見る角度によって見え方は変わるので、物体を様々な向きから撮影した映像を共有し、同じ向きから撮影した映像による照合を行うことで、照合精度が向上する。このように、照合精度を向上させるためには大量の物体属性情報が必要となる。例えば特許文献2では、ネットワークカメラが送信すべき物体属性情報に関して、ネットワークを介して受信した要求に応じて送信する属性内容を決定することで、高速化や、ネットワークカメラやネットワークの負荷を低減する技術が開示されている。また特許文献3では、映像や付帯情報を解析して物体属性情報やアラーム情報を得る解析部を有し、送信相手の処理能力に基づいて解析を行うか否かを切り替えて、解析前または解析後の情報を送信する技術が開示されている。

国際公開第11/046128号 特開2011-55270号公報 特許第4363421号公報 特許第4830650号

P.Viola,M.Jones,「Rapid Object Detection Using a Boosted Cascade of Simple Features」。(Proc.the IEEE International Conference on Computer Vision and Pattern Recognition,vol.1,pp.511-518,2001)

映像中の物体検出、物体属性の解析、異常状態の解析、警告通報などの一連の処理を、複数のネットワークカメラや処理装置で分担して行う場合、システムを構成する装置間において映像をはじめとする大量のデータの送受信が行われる。しかしながら、必要となる物体属性情報はコンテキストによって異なり、あるネットワークカメラにおいて生成された物体属性情報の全てが、他のネットワークカメラで必要とされるわけではない。ここでコンテキストとは、物体を撮影した時のネットワークカメラや物体の状況を示す。例えば、各ネットワークカメラの位置、方向、撮影パラメータ等の状況、ネットワークカメラに映った人流の軌跡や、物体固有の状況、天候や時刻、などである。

上記特許文献1に開示された技術によれば、照合する物体属性を増やすことで照合精度が向上するが、物体属性が多くなるほど、ネットワークカメラやネットワークの負荷が増大してしまうという問題がある。また特許文献2に開示された技術によれば、受信した要求に従って送信する物体属性を限定することで処理量が削減されるが、個々の物体に対してどのように要求を決定するかはユーザの設定による。したがって、ユーザの手番が多くなり、効率良く処理量を削減することができないという問題がある。また特許文献3に開示された技術によれば、処理能力に応じて解析を行うか否かを判断するため、機器の性能に応じて負荷を分散する効果が得られるが、物体が多数出現して負荷が高くなる場合には対応できないという問題がある。

本発明は上記問題に鑑みてなされたものであり、複数の撮像装置による撮影画像から物体の追跡を行うシステムにおいて、ユーザーの手番を増やすことなく、処理の高速化およびネットワークにかかる負荷を低減することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理システムは以下の構成を備える。すなわち、複数の撮像装置による撮影画像から物体を追跡する画像処理システムであって、前記撮像装置のそれぞれが、撮影画像から注目物体を検出する検出手段と、前記撮影画像から前記注目物体の属性情報を取得する取得手段と、前記撮影画像から前記注目物体についての送信対象属性および送信先を設定する送信制御手段と、前記属性情報のうち前記送信対象属性に合致するものを前記送信先に送信する送信手段と、他の撮像装置から受信した物体の属性情報を保持する保持手段と、前記取得手段で取得した属性情報と前記保持手段に保持されている属性情報に基づき、前記複数の撮影装置による撮影画像間での物体の照合を行う装置間照合手段と、前記照合の結果に基づいて前記物体に識別子を付与する追跡手段と、を有することを特徴とする。

本発明によれば、複数の撮像装置による撮影画像から物体の追跡を行うシステムにおいて、ユーザーの手番を増やすことなく、処理の高速化およびネットワークにかかる負荷を低減することが可能となる。

第1実施形態におけるネットワークカメラの機能構成を示すブロック図、 第1実施形態におけるモニタリングシステムの構成例を示す図、 第1実施形態における撮影画像の付帯情報の構成例を示す図、 第1実施形態におけるネットワークカメラのハードウェア構成を示す図、 第1実施形態のネットワークカメラにおける全体処理を示すフローチャート、 第1実施形態における照合方法の一例を説明する図、 第1実施形態におけるネットワークカメラ間の通信手順を示す図、 第1実施形態における装置間の物体ID付与処理を示すフローチャート、 第1実施形態におけるコンテキスト処理を示すフローチャート、 第1実施形態における軌跡パターンの判定方法を説明する図、 第1実施形態におけるコンテキストの分類例を示す図、 第2実施形態におけるネットワークカメラの機能構成を示すブロック図、 第3実施形態におけるネットワークカメラのハードウェア構成を示す図、である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第1実施形態＞
本実施形態では、複数箇所に設置された複数の撮像装置を用いて人物をモニタリングする画像処理システム(以下、モニタリングシステム)を例として説明する。図2に、本実施形態におけるモニタリングシステムの構成例を示す。同図に示すように本実施形態のモニタリングシステムは、ネットワークカメラ201、警報装置202、監視装置203、録画装置204が、ネットワーク205に接続された構成をなす。各装置は複数台を接続することが可能であり、大規模なシステムであればさらに階層的なネットワーク構造をなす。

ネットワークカメラ201は、モニタ対象の物体を撮像する他に、物体を検出する機能や、検出した物体を認識、追尾するインテリジェント機能を有する。ネットワークカメラ201は、映像に加えて、物体属性情報を含む各情報を付帯情報として出力する。また、監視装置203から撮影方法や録画方法、インテリジェント機能を実行するための各種設定を受信したり、インテリジェント機能を実現するために他の装置から映像や付帯情報を受信することができる。

警報装置202は、異常を検知した場合に、それを監視者やモニタリング依頼者、被写体等、必要な関係者へ音、光、文字、映像等によって通知する。監視装置203は、操作者の指示を入力し、指示に基づいて他の装置から受信した映像や付帯情報を可視化して表示したり、各装置に必要な設定や指示を行う。録画装置204は、ネットワークカメラ201が撮影した映像や付帯情報および必要な索引情報をデータベース206に録画する。

図2に示す各装置は、受信した映像や付帯情報を利用して、映像から物体の属性を詳細に分析したり、異常を検知したりする。そして、これらの解析結果を新たな付帯情報として追加したり、異なる装置で検知した物体が同じであれば付帯情報を集約したりすることができる。

●映像の付帯情報
ここで、ネットワークカメラ201によって撮影された映像に付与される付帯情報について説明する。本実施形態では付帯情報をXML形式で表現し、独自に定義したタグを用いる。

図3に、本実施形態における付帯情報の一例を示す。本実施形態の付帯情報は、映像情報と物体属性情報から構成される。映像情報は、映像の範囲または各フレームに対する情報を格納する。図3の例では、1枚のフレームに関する情報が＜frame_metadata＞タグ内に示されている。ここでは各フレーム内で検出された物体の水平垂直な辺を持つ外接矩形が、＜bounding_box＞タグ内で外接矩形左上頂点のX座標、同Y座標、外接矩形の幅、同高さ、によって示される。なお、物体の位置を2値画像で示したり、輪郭を多角形で示すこともできるが、こうすることにより物体の位置をより詳細に示せるものの、データサイズが増大する。

また、物体属性情報として1人の人物に関する情報が＜object_metadata＞タグ内に示されている。人物の属性として、全体、頭部、服がそれぞれhuman_body、human_head、human_cloth、の3つのType名のタグ内で示されている。これらの各属性を説明するために、＜representative_frame_number＞タグにより代表フレーム番号を示している。これは各フレーム中の物体の位置情報から、物体を分析し、代表的な映像として集約したものである。各属性を説明するには、フレームの区間や、複数のフレームから映像を合成したり、映像を解析した結果の任意の特徴量をベクトルデータとして示したりしてもよい。

図3において、＜device_id＞タグ内は装置IDを示し、装置を識別する識別子であって、システム内で一意の値である。＜object_id＞タグ内は物体IDを示し、物体を識別する識別子であって、システム内で一意の値である。＜type＞タグ内は物体属性の種類を識別する識別名を示す。

なお、付帯情報の表現方法としてはテキストのXML形式に限らず、バイナリXMLとして符号化したものであっても良く、バイナリ化によってデータサイズを小さくすることができる。また、MPEG7に従った内容及び表記方法をとっても良い。また、録画の際には映像と付帯情報を別ファイルとしても良いし、これらを結合して1つのファイルとしても良い。付帯情報が映像と別のファイルであれば、データ更新が容易であり、映像情報と結合した場合には同期や時間指定による編集や削除が容易である。

●カメラのハードウェア構成
図4に、ネットワークカメラ201のハードウェア構成例を示す。同図に示すようにネットワークカメラ201は、CPU401、ROM402、RAM403、2次記憶装置404、撮像装置405、雲台装置406、ネットワークI/F407、バス408から構成される。CPU401は、ROM402やRAM403に格納されたプログラムに従って命令を実行し、ネットワークカメラ201を構成する各部の処理を行なう。ROM402は不揮発性メモリであり、本発明のプログラムやその他の制御に必要なプログラムやデータを格納する。RAM403は揮発性メモリであり、画像や被写体検出結果などの一時的なデータを記憶する。2次記憶装置404は、ハードディスクドライブやフラッシュメモリ等、不揮発性で書き換え可能な記憶装置であり、映像や付帯情報、画像処理プログラムや、各種設定内容などを記憶する。これらの情報はRAM403に転送されて、CPU401がそのプログラムを実行したりデータを利用したりする。撮像装置405は、レンズユニット等の光学系とCCDイメージセンサなどの撮像素子から構成され、可視光や赤外線の映像をデジタル信号として出力する。雲台装置406は、撮像装置405の位置やパン、チルトの方向を制御する。ネットワークI/F407は、デジタルデータの送受信のためのインターフェースであり、インターネットやイントラネットなどのネットワークとの接続を行うモデムやLANなどである。バス408は、上記各構成を接続して相互にデータの入出力を可能とするものである。

●カメラの機能構成
図1は、上記図4に示すハードウェア構成からなる、ネットワークカメラ201の機能構成を示すブロック図である。

図1に示す映像入力部101は、撮像装置405および雲台装置406を制御し、映像をデジタル信号として入力する。ここで入力される映像は例えば、1920x1080画素のRGB24ビットの毎秒30フレームフルHDである。

物体属性送信部102は、ネットワークI/F407を介して、他のネットワークカメラ等の装置111に物体属性を送信する。ここで物体属性とは、物体を含む映像や該映像の解析結果等、物体に関する属性情報である。例えば、人、犬、車などの物体の種別情報、年齢、性別、身長、名前などの物体が持つ属性情報、また物体の軌跡などの履歴情報や、頭部、服装など物体の一部の映像、または映像を処理した輪郭情報や特徴量など検出時の属性情報、等である。なお、ある物体についての物体属性として映像を用いる場合には、その撮影方向や時刻が異なる映像であれば互いに別の属性としても良い。また、検出時の映像を物体属性とするとデータ量が大量となるため、被写体とネットワークカメラ201の相対的な向き毎に別の属性としてしても良い。

物体属性送信制御部103は、後述するコンテキスト処理部107から出力される送信制御情報に基づいて、物体属性送信部102が送信する内容を制御する。一般に物体属性、特に物体の検出時の映像や特徴量などの物体属性はデータサイズが大きくなり、その生成にもコストが掛かるため、本実施形態では物体属性送信制御部103を備えることによって、送信される物体属性を送信制御情報に応じて制限する。ここで送信制御情報とは、物体ごとに送信すべき属性と送信先を示す情報であり、その例を以下に示す。

device_idが45、object_idが34、typeがhuman_head
device_idが46、object_idが34、typeがhuman_head
device_idが45、object_idが35、typeがhuman_cloth
なお、上記送信制御情報の項目名は、それぞれ図3に示したXMLのタグに対応している。例えば1行目に示す例であれば、装置IDが45であるネットワークカメラに対し、物体IDが34である人物について、その属性がhuman_headすなわち頭部の情報を送信する旨を示している。

物体画像解析部105は、映像入力部101からの映像を解析して、映像中の物体の追跡情報を出力する。詳細には、まず物体検出部112で入力画像から物体を検出し、物体属性情報取得部113で該検出された物体についての各物体属性情報を取得する。ここで物体属性情報とは、顔、頭部、帽子、服等の領域の画像や、画像の解析結果である。次に物体照合部114が、追跡中の物体と入力画像上の物体について、それぞれの物体属性に基づく撮影画像間での照合を行って類似度を表す照合スコアを求める。そして物体追跡部115が、映像中の物体の追跡処理を行う。詳細には、物体照合部114での照合対象となる物体属性すなわち入力画像上の領域を制御し、検出した物体を前フレームと対応付けて物体IDを付与する。

物体属性受信部104は、ネットワークI/F407を通して他の装置111から物体属性を受信して、RAM403に格納する。ここで受信される物体属性はすなわち、送信元の装置111において見失われたが、自装置において撮影される可能性のある消失物体を示す。属性選択部106は、物体属性受信部104が受信した物体属性に基づき、他装置での消失物体との照合に用いられる物体属性を選択する。

コンテキスト処理部107は、コンテキスト判定部108とコンテキスト学習部109から構成される。コンテキスト判定部108は、物体画像解析部105による解析結果に基づき、物体ごとのコンテキストを判定して、送信制御情報を生成する。これにより、ユーザーが物体ごとに送信制御の設定を行う必要が無くなる。また、コンテキスト学習部109は、特にシステムにおける処理負荷が低い場合に動作し、コンテキスト判定部108での判定方法を学習する。コンテキスト処理部107における処理の詳細については後述する。

負荷制御部110は、装置のCPU401およびネットワークの負荷に応じて処理内容を調整する。なお、CPU401の負荷は単位時間当たりの非アイドル状態の時間の割合、処理フレーム数、消費電力などで測ることができる。物体画像解析部105における処理内容は、撮影内容に応じて負荷が変わる。例えば検出する物体が多かったり、物体の解像度が高い場合には、物体の詳細な情報が得られるため負荷が増える。そこで本実施形態では負荷制御部110において、処理すべき物体数が予め設定された範囲内であるか否かに応じて、物体画像解析部105における処理内容を制御する。

●全体処理
以下、本実施形態におけるネットワークカメラ201における処理の概要について、図5のフローチャートを用いて説明する。図5に示す処理は、ネットワークカメラ201のCPU401が所定のプログラムを実行することによって実現される。なお、ここでは画像に含まれる人物を追跡対象とする場合を例として説明するが、もちろん本発明で追跡対象となる物体は人物に限るものでない。

まずS601で、ネットワークカメラ201の初期化を行い、S602で映像入力部101が、撮像装置405で撮影された画像を入力する。そしてS603で物体画像解析部105において、自装置すなわち当該ネットワークカメラ201の撮影画像を用いた装置内照合による物体追跡処理を行う。具体的には、入力画像(現フレーム)内で検出される全ての人物に対し、自装置で以前に撮影された画像(前フレーム)との照合を行って物体IDを付与する。なお、S603における物体追跡処理の詳細については後述する。

次に物体画像解析部105で、前フレームおよび現フレームにおいてS603で付与された全ての物体IDについて、S604〜S611のループ処理を行う。このループにより、さらに他装置による撮影画像とも照合を行ったうえで新規の人物に対する新規IDが確定され、自装置の撮影画像内から消失した人物についての情報が他装置に通知される。

まずS605において、現在処理中の物体IDが、S603で現フレーム内で新規にIDが付与された新規物体に対応するか否かを判定する。新規物体であれば、S606に進んで他のネットワークカメラで検出した物体との対応を判定し、対応していれば、当該人物は他装置による撮影画像からは消失したが自装置の撮影画像に新たに出現した人物であると判定される。したがってこの場合、当該人物に対し、該対応する物体に他のカメラで既に付与されていたのと同じ、カメラ間で共通の物体IDを、S603で付与されたIDに代えて付与する。S606における物体ID付与処理は、属性選択部106および負荷制御部110による制御を受けるが、その詳細については後述する。

次にS607に進み、現在処理中の物体IDが、S603で現フレームから見失われた人物(消失物体)を示しているか否かを判定する。すなわち物体IDが、前フレームには存在していたが現フレームには存在していない人物を示すと判定された場合には、消失物体であるとしてS608のコンテキスト処理に進むが、そうでない場合には次の物体IDの処理へループする。

本実施形態では、自装置での消失物体についての情報を他装置に送信するが、その際に、消失物体のコンテキストに基づいて送信対象となる属性情報および送信先を制御する。まずS608でコンテキスト処理部107において、消失物体のコンテキストに基づいて送信制御情報を出力する。本実施形態のコンテキスト処理では物体のたどった軌跡に関する処理を行うが、その詳細については後述する。

次にS609で物体属性送信制御部103が、コンテキスト処理部107からの送信制御情報に基づいて、消失物体の情報として送信する物体属性および送信先を制限する。具体的には上述したように、送信制御情報において、送信される物体の属性名が図3でtypeタグで囲まれた値により示され、該指定された属性名の物体のobjectタグで囲まれた情報のみが選択される。そしてS610で物体属性送信部102が、S609で送信制御情報に応じて設定された、消失物体についての特定の物体属性に合致する属性情報を、やはり送信制御情報に応じて選択された他の装置111に向けて送信する。この送信処理は、図7を用いて後述する通信手順に従う。

S611で、S603で付与された全ての物体IDについての処理が終了したと判定されるとS602へ進み、次の撮影画像の処理を行う。

なお、ネットワークカメラ間で視野が重複している場合には、2つのネットワークカメラで同じ人物が同時に撮影されることもある。このような場合には、ネットワークカメラの位置や姿勢が既知であれば、画像中の位置から実空間上の座標に変換することで同一人物の対応付けが容易に実現可能である。また、異常な状態にあると判断された物体や、モニタリングを行う管理者からの指示で重要とマークされた物体については優先的に処理を行うこととし、S609で送信内容を制限せず、該物体に関する全ての情報を送信するようにしても良い。

●画像内物体追跡処理(S603)
ここで、S603における、物体画像解析部105における入力画像内での物体追跡処理について詳細に説明する。

まず物体検出部112が、入力画像から人物の顔の検出を行う。顔検出には周知の手法を用いることができる。例えば、非特許文献1に記載された手法等がある。具体的には、大量の顔画像と非顔画像を収集し、この手法による機械学習を行うことで、顔の検出が可能となる。なお、顔画像に代えて人体頭部や人体上半身等の特定の物体画像を検出することも可能であり、これらを組み合わせて利用しても良い。また、上記特許文献2に記載されたような、任意の物体を検出する技術を用いても良い。すなわち、物体のない状態の画像を用いて背景モデルを予め生成しておき、現在の画像を背景モデルと比較することで、物体を検出することができる。

そして現フレームから検出された各物体について、以下の処理を行う。まず物体属性情報取得部113が、処理対象である物体について、入力画像からその属性情報を取得する。ここでは人物を検出するため、入力画像から該人物に対応する顔、頭部、帽子、服等の領域画像を、属性情報として取得する。詳細には、顔領域からの相対的な位置によって領域を推定してその映像を切り抜き、明るさの平均や分散、顔のサイズや回転方向を一定にする様な正規化を行った領域画像を、物体属性情報として取得する。

次に物体照合部114が、入力画像すなわち現フレームと、以前に処理された前フレームとの間において、上記抽出した物体を照合する。詳細には、同じ物体属性同士の領域画像または特徴量から、物体属性ごとに各種類似度を算出し、その重みつけ和を当該物体に対する照合スコアとする。具体的には、例えば物体属性の領域内の輝度分布の正規化相関や、色ヒストグラムのヒストグラムインタセクションなどの類似度に基づいて、物体の照合スコアを求めることができる。

なお、領域画像を照合する場合には、被写体を同じ方向から撮影した被写体画像同士の方が高精度の照合ができる。例えば横から見た人体と真上から見た人体の映像をそのまま照合することはできない。このように、同じ方向からの映像による照合が行えない場合には、どちらの角度からでも共通に見える領域のみに限定した照合を行えば良い。例えば図6に示すように、人物を上から撮影した画像と前から撮影した画像による照合を行う場合であれば、人物の頭頂部および肩部分が照合領域となる。

そして物体追跡部115が、画像内で検出された物体に対し、識別用の物体IDを付与する。このとき、物体照合部114による物体の照合結果に基づき、フレーム間において最も位置や見えの近い物体同士を対応づけて、同じと判定される物体があれば、前フレームにおいて該物体に既に付与されているのと同じ、カメラ間で共通の物体IDが付与される。人物を追跡する場合であれば、特許文献4に記載されたような追跡技術を用いてもよい。また、ミーンシフト法やパーティクルフィルタ法を用いて入力画像上の照合する領域を制御し、最も照合スコアの高い位置を求めてもよい。

このように物体追跡部115では、現フレームで新たに検出された新規物体には新規の物体IDが付与されるが、前フレームから継続して存在していた継続物体には前フレームと同様の、すなわち既存の物体IDが付与される。また、前フレームに存在していたが現フレームに存在しない物体IDについては、見失った物体(消失物体)であるとして例えば消失物体フラグを立てる。

●通信手順
以下、本実施形態における物体属性の送受信を行う際の通信手順について、図7を用いて詳細に説明する。図7は、ネットワークカメラ802からネットワークカメラ801へ映像情報や付帯情報などの情報を送受信する際の通信手順の一例を示す図である。これらの処理は、図5に示す処理とは非同期で実行される。また図7には示していないが、双方向通信も可能である。

図7において、ネットワークカメラ801は、S801で初期化処理を実行後、接続要求を待つ。一方でネットワークカメラ802は、S802で初期化処理を実行後、S803でネットワークカメラ801に対して接続要求を行う。この接続要求にはユーザー名やパスワードが含まれる。ネットワークカメラ801では、接続要求を受信するとS804で該接続要求に含まれるユーザー名やパスワードに基づく認証処理を行い、S805で接続許可を行う。その結果、ネットワークカメラ802側ではS806にて接続の確立が確認される。

接続が確立すると、ネットワークカメラ801,802双方でS807のループ処理に入る。ループ内では、ネットワークカメラ802がS808で情報送信を行うと、ネットワークカメラ801がS809にてその情報を受信する。受信したデータは、RAM403内の受信データバッファに蓄積されるが、照合に用いるための物体属性情報については、所定時間の経過後に削除される。なお、S807において送受信すべきデータが長期間ない場合には、いったん接続を切り、S803から再度接続を行うようにすれば良い。

なお、本実施形態では通信プロトコルとしてHTTPを用いるとするが、任意の通信プロトコルが使用可能である。

●物体ID付与処理(S606)
以下、上記S606における、新規物体に対するカメラ間共通の物体IDの付与処理について、図8のフローチャートを用いて詳細に説明する。この処理では、ネットワークカメラの映像間で物体を照合して、新規物体についての物体IDを確定する。ここでは、現在S606で評価中である物体IDについて、他のネットワークカメラから消失物体の属性情報が受信されていれば、当該人物は他のカメラで撮影されたことのある物体であるとし、該消失物体と同じIDを付与する。一方、消失物体の属性情報が受信されていなければ、新規IDを付与する。

まずS901にて他のネットワークカメラから、消失物体についての物体属性を受信しているか否かを判定する。すなわちRAM403内の受信データバッファに、他カメラによる消失物体の物体属性が保持されているか否かを確認し、保持されていない場合にはS907に進んで新規の物体IDを付与する。

一方、S901において受信データバッファに消失物体の物体属性が保持されている場合にはS902に進み、負荷制御部110によって現在の処理状況が高負荷状態にあるか否かを判断する。すなわち、負荷制御部110で測定した負荷値が所定の閾値を超えていれば、高負荷状態であると判断する。高負荷状態であればS903へ進み、照合対象となる物体属性を限定したカメラ間照合(装置間照合)を行うことで処理負荷を軽減するが、高負荷状態でなければS904で物体属性を限定せずにカメラ間照合を行う。

詳細にはS903において、物体属性情報取得部113が画像から、現在処理中の物体ID(以下、注目物体)について、受信した消失物体の物体属性に対応する属性の情報を取得する。そして物体照合部114が、該取得した物体属性を用いて、注目物体と受信した消失物体を照合し、物体追跡部115が、一致したと判定される消失物体に付与されていた物体IDを、注目物体に対するIDとして出力する。なお、S903における照合方法は上述したS603と同様である。すなわち、注目物体と受信した消失物体について、該消失物体に設定された物体属性による照合スコアを算出し、該照合スコアが所定の閾値以上でかつ最も高くなる消失物体の物体IDを出力する。なお、所定の閾値以上の照合スコアとなる消失物体がない場合には物体IDを出力しない。このようにS903では、注目物体と消失物体との照合に用いられる物体属性を限定することで、処理負荷が軽減される。

S904でもS903と同様に注目物体と消失物体との照合を行うが、照合に用いられる物体属性を限定しない。すなわち、画像から注目物体についての全属性を取得し、該取得した全ての物体属性を用いて照合スコアを算出する。ここでの照合方法および出力は上記S903と同様であり、注目物体に対する照合スコアが所定の閾値以上でかつ最も高い消失物体の物体IDを出力する。

なお、S903,S904における照合処理はいずれも物体照合部114において行われるが、消失物体との照合に用いられる物体属性は属性選択部106によって制御される。すなわち、S903では物体属性受信部104で受信された消失物体の物体属性が選択され、S904では不図示の管理部で管理されている、注目物体について予め想定されている全ての物体属性が選択される。

S904で全属性についてのカメラ間照合が行われた後、S905において、注目物体に対する照合に有効な属性の情報を他装置に学習させる。すなわち、S904で算出された属性ごとの照合スコアのうち、所定の閾値より高いスコアであった属性を、照合対象として有効な属性として物体IDと対応付けた、属性別スコア情報を生成する。この属性別スコア情報は、注目物体を過去に撮影した各装置へ送信され、それぞれの受信側装置においてRAM403に蓄積される。なお属性別スコア情報の送信先としては、後述するコンテキスト処理によって作成され、RAM403に保持されている軌跡パターン一覧表に基づいて決定される。すなわち、該一覧表において当該物体属性が撮影されたとして記載されている装置のIDを参照すれば良い。またこの属性別スコアの送信処理は、図7に示した通信手順に従う。

各装置に蓄積された属性別スコア情報は、後述するコンテキスト処理における軌跡パターン判定に利用されるが、その詳細については後述する。

次にS906に進み、S903またはS904によって、注目物体に対して対応する消失物体のIDが出力されたか否かを判定し、出力されていない場合はS907に進んで、注目物体に対し新規の物体IDを決定する。一方、対応する物体IDが出力された場合はS908に進み、該出力された物体IDを注目物体のIDとして決定し、モニタリングシステムの付帯情報における＜Object_id＞タグ内の物体IDを更新する。この更新は直接行っても良いが、旧物体IDと新物体IDとの対応テーブルを追加するのみであっても良い。

なお、本実施形態では物体消失時にその物体属性をS610で他装置に送信するプッシュ型配信を行う例を示したが、S901の実行時に周囲の装置に送信要求を行う様なプル型を適用することも可能である。プッシュ型の特徴はS901の処理が短時間で終了することであり、また、通信データ量は多いものの、送信帯域が逼迫していない時に送信するように制御することで、ネットワークの通信帯域を平滑化できる。一方、プル型の特徴としては、通信データ量が少ないが処理終了までの時間がかかることである。従って、プッシュ型とプル型は、設置環境に応じて選択すれば良い。

●コンテキスト処理(S608)
以下、上記S608における物体消失時のコンテキスト処理について、図9のフローチャートを用いて詳細に説明する。本実施形態ではコンテキストとして人の流れ(人流)を用い、処理負荷の程度によってコンテキスト学習部109を実行する例を示す。

S606でコンテキスト処理を開始するとまずS1001で、上記S902と同様に負荷制御部110によって現在の処理状況が高負荷状態であるか否かを判断し、高負荷状態でない場合はS1002に進む。

S1002では、コンテキスト学習部109による軌跡パターンの学習処理を行う。コンテキスト学習部109においてまず、人流として各物体の軌跡を収集する。すなわち、他装置から上記S905の処理によって生成された、物体ごとの属性別スコア情報を本処理とは非同期に受信し、該属性別スコア情報から、送信する物体属性や送信先を学習して軌跡パターン一覧表を作成する。具体的にはまず、他装置からの物体ごとの属性別スコア情報が、軌跡のパターン名、物体が次に撮影されたネットワークカメラの装置ID、物体属性の種類、照合スコア、を列とする一覧表として蓄積される。すなわち、1つの物体の軌跡に対して最大で物体属性の種類の数に相当する行数が蓄積される。ネットワークカメラの装置IDとは、属性別スコア情報を送信してきた装置のIDである。なお、軌跡パターンの判定方法については後述する。この一覧表において、軌跡のパターン名、ネットワークカメラの装置ID、物体属性の種類、が同じであるデータをまとめ、その度数をカウントする。この度数が当該軌跡をたどった物体数を示す。このとき、照合スコアが所定の閾値以上である行のみをカウント対象としてもよい。これにより上記一覧表が、軌跡のパターン名、ネットワークカメラの装置ID、物体属性の種類、度数、の列からなる一覧表に集約される。その後、目的とする負荷に応じた度数の閾値を設定し、度数が該閾値より大きな行を抽出した一覧表が、当該装置における学習結果としてRAM403に保持される。なお、度数が該閾値以下である軌跡パターンに関しては、後で録画した映像を用いたバッチ処理によって度数を算出しても良い。なお度数の閾値としては、ネットワークカメラの装置ID毎に、負荷や能力に応じて設定しても良い。

そしてS1003では、コンテキスト判定部108による軌跡パターンの判定処理を行う。すなわち、消失した注目物体(人物)が移動した軌跡が、RAM403に保持されている軌跡パターン一覧表におけるいずれの軌跡パターンに該当するかを判定し、該当パターンに応じて送信制御情報を作成し、出力する。例えば、該当パターンにおける装置IDおよび送信物体属性の種類を、送信先装置および送信対象属性として、送信制御情報を作成すればよい。なお、該当パターンが存在しない場合には、送信対象の制限を行わないように、送信制御情報を作成すればよい。

●軌跡パターン判定処理
以下、上記軌跡パターンの判定処理について、図10を用いて詳細に説明する。本実施形態において軌跡とは、時間軸上の2点における画像上の物体の位置を結んだ線である。物体の位置は、物体の重心から地面に落した垂線が地面と交わる点とすることが望ましいが、映像における物体についてこのような重心を求めることは困難である。したがって、映像上の物体領域の図形の重心から下に落とした垂線が物体領域下端を通る水平な直線と交わる点で、物体の位置を近似する。なお、物体の位置はこの例に限定するものではなく、物体が人体であれば、隠れが発生しにくい頭頂部の位置としても良い。

また本実施形態ではネットワークカメラの視野範囲を、光軸が固定された撮像装置405で撮影した画像の左上を原点とする座標系として説明するが、視野範囲の表現はこの例に限らない。例えば撮影中に雲台装置406を用いて雲台制御を行う場合であれば、パン及びチルト回転の中心を球の中心とした球座標系を用いても良い。また、ネットワークカメラが移動する場合や、複数のネットワークカメラの視野が重複して座標系を共有する場合等においては、地球の緯度、経度、高度による座標系を用いても良い。また、列車や航空機内の様な移動物体中にネットワークカメラが設置されている場合には、移動物体を基準とした相対的な座標系を用いることも可能である。

図10において、1101は、ネットワークカメラの撮影する視野範囲をブロックA〜Iに分割した例を示す。このブロックA〜Iは任意の形状であっても良いし、互いに重複しても良い。本実施形態では、軌跡をその開始点と終了点に基づいて分類する。すなわち、軌跡の開始点と終了点の符号を結合したものをパターンの名前とし、このパターン名によって軌跡を分類する。例えば図10に示す軌跡1102は、ブロックFからフレームインしてブロックDでフレームアウトしているため、パターン名を"FD"とする。同様に軌跡1103は、ブロックGからフレームインしてブロックIでフレームアウトしているため、パターン名を"GI"とする。本実施形態では、物体消失時すなわちフレームアウト時点で軌跡パターンを判定するため、不図示の管理部において当該物体がフレームインしたブロック情報を保持している必要がある。

なおパターン名は上記例に限らず、例えば軌跡が通過した部分領域の符号を含めても良い。また複雑な動きをする軌跡や頻度が少ないことが既知である軌跡については、"例外"という分類を与え、全ての属性を送信対象にすると良い。

なお、本実施形態にけるコンテキストとしては物体の軌跡に限らず、他にも様々なものを適用可能である。例えば、ネットワークカメラから見た物体の向きをコンテキストとして用いることも可能であり、以下にその例を示す。物体における正面側を固定すれば、ネットワークカメラから見た物体の向きは、物体の画像上の位置との対応関係を予めテーブル化することで求めることができる。追尾している物体について、ネットワークカメラから見た当該物体の向きは、物体の進行方向を正面と仮定することで上記テーブルを参照して求めることができる。このようにしてネットワークカメラから見た物体の向きを求め、ラベリングする。例えば図11に示すように、仰角が60度以上のものはU、60度以下の場合は横方向に関しては45度単位で分けて正面をAとし、正面から左回りにA〜Hでラベリングする。このときのコンテキストのパターン名は、被写体が映っている間に得たラベルを結合したものとする。例えば、被写体が映っている間に上と正面の向きが発生した場合はパターン名"AU"とする。このとき、物体属性も向き別に定義しておくことで、軌跡と軌跡の照合を行う際に、照合に有意な向きの物体属性のみを通信、処理対象として高速化が図れる。その他、天候や時刻などもそれぞれ所定の基準でパターン分類することが考えられる。

以上説明したように本実施形態によれば、複数のネットワークカメラを用いて人物をモニタリングするシステムにおいて、対象人物の軌跡パターン等のコンテキストに応じて、送信すべき物体属性および送信先を制御する。これにより、ユーザーの手番を増やすことなく、追跡処理の高速化及びネットワークにかかる負荷の低減が可能となる。

＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。上述した第1実施形態では、負荷制御部110での負荷判定結果に応じて、コンテキスト学習を行うか否かを制御していた。しかしながら負荷制御部110の判断だけでは、例えば物体の混雑時に処理負荷が増えた際にはコンテキスト学習を行わないため、混雑時特有のコンテキスト(迂回路等)には対応できない。そこで第2実施形態では、コンテキスト学習を予め設定したスケジュールに応じて行うようにすることで、混雑時特有のコンテキストを学習可能とする。

図12は、第2実施形態のモニタリングシステムにおけるネットワークカメラの機能構成を示すブロック図である。第1実施形態の図1と同様の構成には同一番号を付し、説明を省略する。第2実施形態ではすなわち、第1実施形態における負荷制御部110が、スケジュール制御部116に置き換えられていることを特徴とする。

スケジュール制御部116では、予め設定されたコンテキスト学習計画のスケジュールに基づいて、上記S902およびS1001における負荷状態判定に代わる判定を行う。スケジュールとしては例えば、コンテキスト学習を実行する予定として、日付、曜日、時間帯等の情報を予め設定しておく。また、負荷が増大してしまうことを防ぐために、予め物体のサンプリング方法を設定しておき、一部の物体のみについて学習を行うようにしても良い。

以上説明したように第2実施形態によれば、予め設定されたコンテキスト学習計画に従ってモニタリングシステムを稼働させることで、混雑時にも適切なコンテキスト学習を実行可能となり、より高精度の追跡処理が可能となる。

＜第3実施形態＞
以下、本発明に係る第3実施形態について説明する。上述した第1実施形態では、ネットワークカメラ201において、コンテキストに応じた物体属性の送信制御を行う例を示した。第3実施形態ではこの送信制御を、監視装置203において実行する例を示す。

図13は、第3実施形態のモニタリングシステムにおける監視装置203のハードウェア構成例を示す図である。同図において、第1実施形態で図4に示したネットワークカメラ201と共通する構成には同一番号を付し、説明を省略する。

図13に示す監視装置203は、図4に示すネットワークカメラ201の構成と比べて、撮像装置405、雲台装置406を有さず、入力装置409、表示装置410、外部記憶入出力装置411、光ディスク412が追加されている。入力装置409は、オペレータの指示を入力するキーボードやマウスなどである。表示装置410は、設定内容や映像を表示する液晶ディスプレイやプロジェクタ等である。外部記憶入出力装置411は、本発明のプログラムやデータを記録したDVDまたはCDなど外部記憶媒体への読み書きを行う装置である。光ディスク412は本発明のプログラムを記録したDVDまたはCD等の記憶媒体である。該プログラムを記録した光ディスク412を外部記憶入出力装置411に挿入すると、CPU401は光ディスク412からプログラムを読み取ってRAM403に展開することで、第1実施形態と同様の処理を実現することができる。

プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD、DVD,磁気テープ,不揮発性のメモリ,ROMなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能を実現してもよい。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムなどが実際の処理の一部または全部を行って、前述した実施形態の機能を実現してもよい。

また、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後実行されてもよい。この時、機能拡張ボードや機能拡張ユニットに備わる1つまたは複数のプロセッシングエレメントやCPUが実際の処理の一部または全部を行って、前述した実施形態の機能を実現してもよい。

Claims (23)

1. 複数の撮像装置による撮影画像から物体を追跡する画像処理システムであって、前記撮像装置のそれぞれが、
   撮影画像から注目物体を検出する検出手段と、
   前記撮影画像から前記注目物体の属性情報を取得する取得手段と、
   前記撮影画像から前記注目物体についての送信対象属性および送信先を設定する送信制御手段と、
   前記属性情報のうち前記送信対象属性に合致するものを前記送信先に送信する送信手段と、
   他の撮像装置から受信した物体の属性情報を保持する保持手段と、
   前記取得手段で取得した属性情報と前記保持手段に保持されている属性情報に基づき、前記複数の撮影装置による撮影画像間での物体の照合を行う装置間照合手段と、
   前記照合の結果に基づいて前記物体に識別子を付与する追跡手段と、
   を有することを特徴とする画像処理システム。
2. さらに、前記撮影画像から前記注目物体のコンテキストを判定する判定手段を有し、
   前記送信制御手段は、前記コンテキストに基づいて前記注目物体についての送信対象属性および送信先を設定することを特徴とする請求項1に記載の画像処理システム。
3. 前記コンテキストは、前記注目物体の軌跡を示すことを特徴とする請求項2に記載の画像処理システム。
4. 前記コンテキストは、前記注目物体が撮影画像からフレームアウトした位置を示すことを特徴とする請求項3に記載の画像処理システム。
5. 前記コンテキストは、撮影画像において前記注目物体が通過した部分領域を示すことを特徴とする請求項3に記載の画像処理システム。
6. 前記コンテキストは、前記注目物体の向きを示すことを特徴とする請求項3に記載の画像処理システム。
7. 前記注目物体は人物であることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理システム。
8. さらに、自装置による複数の撮影画像間で物体の照合を行って、前記物体を、撮影画像内に新規に出現した新規物体、継続して撮影されている継続物体、または撮影画像から消失した消失物体、に分類する装置内照合手段を有し、
   前記装置間照合手段は、前記物体が前記新規物体である場合に動作し、
   前記追跡手段は、前記装置間照合手段および前記装置内照合手段による照合の結果に基づいて、前記物体に識別子を付与することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理システム。
9. 前記送信制御手段、および前記送信手段は、前記物体が前記消失物体である場合に動作することを特徴とする請求項8に記載の画像処理システム。
10. 前記追跡手段は、前記物体が前記継続物体である場合に、前記物体に対して自装置における以前の撮影画像で付与されていた識別子を付与することを特徴とする請求項8または9に記載の画像処理システム。
11. 前記装置間照合手段は、前記物体について、前記取得手段で取得された属性情報ごとに、前記保持手段に保持された物体との類似度を示す照合スコアを算出し、該属性情報ごとの照合スコアの重み付け和により照合を行うことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理システム。
12. さらに、自装置の負荷状態を判定する負荷判定手段を有し、
    前記取得手段は、前記負荷判定手段により高負荷状態であると判定された場合に、前記注目物体について前記保持手段に保持された属性情報に対応する属性情報を取得することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理システム。
13. 前記取得手段は、前記負荷判定手段により前記高負荷状態でないと判定された場合に、前記注目物体について全ての属性情報を取得することを特徴とする請求項12に記載の画像処理システム。
14. 前記装置間照合手段は、前記負荷判定手段により前記高負荷状態でないと判定された場合に、前記物体について、前記取得手段で取得された属性情報ごとに、前記保持手段に保持された物体との類似度を示す照合スコアを算出し、属性別スコア情報として他の撮像装置に送信することを特徴とする請求項12または13に記載の画像処理システム。
15. さらに、前記装置間照合手段による照合結果を出力するスケジュールを管理する管理手段を有し、
    前記装置間照合手段は前記スケジュールに応じて、前記取得手段で取得された属性情報ごとに算出された前記照合スコアを、属性別スコア情報として他の撮像装置に送信することを特徴とする請求項11に記載の画像処理システム。
16. さらに、他の撮像装置から受信した前記属性別スコア情報を蓄積するコンテキスト学習手段を有し、
    前記送信制御手段は、前記コンテキスト学習手段による学習結果に基づいて、前記送信対象属性および前記送信先を設定することを特徴とする請求項14または15に記載の画像処理システム。
17. 前記送信制御手段は、前記コンテキスト学習手段で蓄積された前記属性別スコア情報に基づいて、前記物体のコンテキストが対応する送信対象属性および送信先を設定することを特徴とする請求項16に記載の画像処理システム。
18. 前記送信制御手段は、前記送信先を前記複数の撮像装置から選択することを特徴とする請求項1乃至17のいずれか1項に記載の画像処理システム。
19. 複数箇所の撮影画像から物体を追跡する画像処理システムを構成する撮像装置であって、
    撮影画像から注目物体を検出する検出手段と、
    前記撮影画像から前記注目物体の属性情報を取得する取得手段と、
    前記撮影画像から前記注目物体についての送信対象属性および送信先を設定する送信制御手段と、
    前記属性情報のうち前記送信対象属性に合致するものを前記送信先に送信する送信手段と、
    他の撮像装置から受信した物体の属性情報を保持する保持手段と、
    前記取得手段で取得した属性情報と前記保持手段に保持されている属性情報に基づき、前記複数の撮影装置による撮影画像間での物体の照合を行う装置間照合手段と、
    前記照合の結果に基づいて前記物体に識別子を付与する追跡手段と、
    を有することを特徴とする撮像装置。
20. 複数の撮像装置による撮影画像から物体を追跡する画像処理システムにおいて前記撮影画像を処理する画像処理装置であって、
    撮影画像から注目物体を検出する検出手段と、
    前記撮影画像から前記注目物体の属性情報を取得する取得手段と、
    前記撮影画像から前記注目物体についての送信対象属性および送信先を設定する送信制御手段と、
    前記属性情報のうち前記送信対象属性に合致するものを前記送信先に送信する送信手段と、
    他の撮像装置による撮影画像を処理する画像処理装置から受信した物体の属性情報を保持する保持手段と、
    前記取得手段で取得した属性情報と前記保持手段に保持されている属性情報に基づき、前記複数の撮影装置による撮影画像間での物体の照合を行う装置間照合手段と、
    前記照合の結果に基づいて前記物体に識別子を付与する追跡手段と、
    を有することを特徴とする画像処理装置。
21. 検出手段、取得手段、送信制御手段、送信手段、保持手段、装置間照合手段、および追跡手段を有する撮像装置の複数を有し、それぞれの撮影画像から物体を追跡する画像処理システムの制御方法であって、前記撮像装置のそれぞれにおいて、
    前記検出手段が、撮影画像から注目物体を検出し、
    前記取得手段が、前記撮影画像から前記注目物体の属性情報を取得し、
    前記送信制御手段が、前記撮影画像から前記注目物体についての送信対象属性および送信先を設定し、
    前記送信手段が、前記属性情報のうち前記送信対象属性に合致するものを前記送信先に送信し、
    前記保持手段が、他の撮像装置から受信した物体の属性情報を保持し、
    前記装置間照合手段が、前記取得手段で取得した属性情報と前記保持手段に保持されている属性情報に基づき、前記複数の撮影装置による撮影画像間での物体の照合を行い、
    前記追跡手段が、前記照合の結果に基づいて前記物体に識別子を付与する
    ことを特徴とする画像処理システムの制御方法。
22. コンピュータ装置で実行されることにより、該コンピュータ装置を請求項19に記載の撮像装置の各手段として機能させるためのプログラム。
23. 請求項22に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images