JP2018117181A - 監視画像処理装置及び監視画像処理方法 - Google Patents

Abstract

【課題】本実施形態は、追跡する対象物の追跡能力を向上した装置及び処理方法を提供する。
【解決手段】実施形態は、撮像部、データ処理装置、及び表示デバイスを備え、前記撮像部が対象物を含む空間を撮影した広域画像データを前記データ処理装置に入力する装置である。前記データ処理装置は、第１の画像処理部と、第２の画像処理部と、注目画像出力部を備える。前記第１の画像処理部は、検出した個別特徴（顔）を囲む矩形情報に基づいて、前記広域画像データから前記第１注目画像（顔画像）を切出すための第１の画像領域情報を生成し、前記第２の画像処理部は、画像の動き検出情報に基づいて動き特徴を追跡して、前記広域画像データから前記第２注目画像を切出すことができる第２の画像領域情報を生成し、前記注目画像出力部は、少なくとも前記第１の画像領域情報に基づいて、前記広域画像データから前記注目画像を切り出して前記表示デバイスに供給する。
【選択図】図１

Description

この実施形態は、監視画像処理装置及び監視画像処理方法に関する。

単眼カメラを用いた監視装置が従来から開発されている。単眼カメラに３６０°レンズ（魚眼レンズ）を取り付けて、撮像視野を拡大した監視装置も開発されている。また、魚眼レンズを用いて、例えば会議室の様子を撮像して広角視野監視画像を取得し、この広角視野監視画像をパノラマ画像に展開し、展開したパノラマ画像を用いて、顔検出を行う監視装置も開発されている。

特開２０１５−１９１６２号公報 特開２０１６−２５５１６号公報 特開２０１６−３９５３９号公報

３６０°レンズ（魚眼レンズ）を利用して撮像視野を拡大した監視装置は、さらなる改善が求められている。

例えば、特定の人物の追跡処理が正確で、耐性がある（ロバストである）ことが要望されている。人物の顔がカメラに対して向き合っているときは、追跡処理は比較的安定している。これは、撮影した人物の顔の特徴パターンと監視装置に記録された比較パターン（通常は正面から見た顔の特徴パターンが記録される）とを比較したとき、両者が類似する確率が高いからである。

しかしながら、監視対象となる人物の顔を正面から安定して捕えることができない場合がある。例えば追跡中の人物が向きを変えて、カメラからみてその人物の顔を横あるいは後ろから撮像するような状態となった場合である。このような状態が比較的長い時間続いた場合、監視装置は、特定の人物を追跡することができなくなる。つまり、対象となる人物の追跡処理ができない状態（ロスト状態）になる。

そこで本実施形態によれば、追跡する対象物（例えば人物等）の追跡能力を向上した監視画像処理装置及び監視画像処理方法を提供することを目的とする。

実施形態によれば、撮像部と、データ処理装置と、表示デバイスを備え、前記撮像部が対象物を含む空間を撮影した広域画像データを前記データ処理装置に入力する装置であって、
前記データ処理装置は、
前記対象物の個別特徴（顔）を追跡する第１の画像処理部（Ａ１）と、前記対象物の動き特徴を追跡する第２の画像処理部（Ａ２）と、注目画像を切り出して前記表示デバイスに供給する注目画像出力部（Ａ３）を備える。

前記第１の画像処理部は、個別特徴（顔）の画像を検出している場合、前記個別特徴（顔）の画像を囲む矩形情報に基づいて、前記広域画像データから第１注目画像（顔画像）を切出すための第１の画像領域情報を生成し、
前記第２の画像処理部は、前記第１の画像処理部が前記個別特徴（顔）の追跡を失った場合、追跡を失った位置に存在する画像の動き検出情報に基づいて動き特徴を追跡して、前記広域画像データから前記第２注目画像（動体画像）を切出すことができる第２の画像領域情報を生成し、
前記注目画像出力部は、少なくとも前記第１又は第２の画像領域情報に基づいて、前記広域画像データから前記第１又は第２注目画像を切り出して前記表示デバイスに供給する。

図１は、本実施形態の監視画像処理装置が使用されている全方位監視画像表示処理システムの一例を概略的に示すブロック図である。 図２は、図１に示したブロック構成をさらに具体化した一例を示すブロック図である。 図３は、本実施形態の監視画像処理装置の構成とその動作を概略的に示す説明図である。 図４は、本実施形態の監視画像処理装置において、顔検知による追跡処理と動体検知による追跡処理が行われる際の状態遷移ルートの一例を示す図である。 図５は、本実施形態に関わる装置の動作を概略的に示すフローチャートである。 図６は、図５に示した顔矩形画像を追尾する追尾処理工程をさらに具体的示すフローチャートである。 図７は、図６のフローチャートの続きを示すフローチャートである。 図８は、図５に示した動体特徴を追尾する追尾処理工程をさらに具体的示すフローチャートである。 図９は、本実施形態の監視画像処理装置における全方位高精細監視画像とパノラマ画像の説明図である。 図１０は、本実施形態の監視画像処理装置により表示デバイスに画像が表示された一例を示す図である。 図１１は、第１の画像処理部Ａ１における個別特徴（顔）の追跡がロスト状態になったときに表示デバイスに表示される画像の例を示す図である。

以下、実施の形態について図面を参照して説明する。図１には、一実施形態である監視画像処理装置が適用された全方位監視（広角視野監視と称してもよい）画像表示処理システムを示している。実施形態では、１．３メガ（Ｍ）ピクセル以上の画素数を有する画素（高精細画素）の単眼カメラ（１台のｉｐカメラ）１０１（撮像部と称してもよい）を用いている。この単眼カメラ１０１に３６０°レンズ（魚眼レンズ）が取り付けられ、この単眼カメラ１０１は、全方位高精細監視画像を取得可能である。

取得された全方位高精細監視画像のデータストリームは、データ処理装置２００Ａ内のストリーム受信部で受信されて、キャプチャ２０１によりフレーム単位でキャプチャされ、画像バッファメモリ２０２に入力される。全方位高精細監視画像は、表示画面で見た場合、画像フレームに対して撮像領域が楕円状に配置されて表示される。全方位高精細監視画像は２５６０×１９２０ピクセル以上の高解像度を持つ画像である。

図１は一実施形態の基本的なブロック図である。実施形態によれば、撮像部１０１と、データ処理装置２００Ａと、表示デバイス３２１を備え、撮像部１０１が対象物を含む空間を撮影した広域画像データをデータ処理装置２００Ａに入力する装置である。ここでデータ処理装置は、対象物の個別特徴（顔）を追跡する第１の画像処理部Ａ１と、対象物の動き特徴を追跡する第２の画像処理部Ａ２と、注目画像を切り出して表示デバイス３２１に供給する注目画像出力部Ａ３を備える。

そして、第１の画像処理部Ａ１は、個別特徴（顔）の画像を検出している場合、その個別特徴（顔）を追跡しながら、個別特徴（顔）の画像が位置する画像領域を囲む第１の矩形情報（顔検知矩形座標情報或いは第１の画像領域情報と称しても良い）を生成する。また、第２の画像処理部Ａ２は、第１の画像処理部Ａ１が個別特徴（顔）の追跡を失った場合、追跡を失った位置に存在する画像の動き検出情報に基づいて動き特徴を追跡しながら、動き特徴が位置する画像領域を囲む第２の矩形情報（動体検知矩形座標情報或いは第２の画像領域情報と称しても良い）を生成する。

そして注目画像出力部Ａ３は、少なくとも第１の矩形情報（顔検知矩形座標情報或いは第１の画像領域情報）を用いて広域画像データから出力用注目画像を切り出して表示デバイス３２１に供給する。第２の矩形情報（動体検知矩形座標情報或いは第２の画像領域情報）は、必ずしも常に用いる必要はない。

注目画像出力部Ａ３は、第１の画像処理部Ａ１が個別特徴（顔）の画像を検出したときは、第１の矩形情報（顔検知矩形座標情報或いは第１の画像領域情報）を優先して使用する。

なお第２注目画像の出力表示形態は、各種可能である。例えば、第１注目画像（顔画像）のみを切り出して出力し、第２注目画像（動体画像）が切り出し可能な場合は、例えば「ロスト中」のメッセージが表示デバイス３２１に出力されてもよい。或いは、動体画像（顔なし或いは疑似的に顔を示した画像）が、矩形枠内に表示されてもよい。

上記第１の画像処理部Ａ１は、個別特徴（顔）の追跡を失っている（ロストしている）ときは、前記第２の画像処理部Ａ２が生成している第２の矩形情報を参照して、仮想的に個別特徴（顔）の追跡を行ってもよい。このときは、第１の画像処理部Ａ１は、第２の矩形情報で表される領域よりも少し拡大した領域を示す第１の矩形情報を用いて仮想追跡を行ってもよい。拡大の程度は、例えば矩形画像が数十ピクセル上下及び左右に拡大される程度である。

逆に、第１の画像処理部Ａ１が、個別特徴（顔）の追跡を行っているとき（ロストしていないとき）は、第２の画像処理部Ａ２は、第１の矩形情報を参照して、動体を仮想追跡してもよい。このときも、第２の画像処理部Ａ２は、第１の画像処理部Ａ１が個別特徴（顔）の追跡を失った場合、続けて動体の追跡を実行しながら、第２の矩形情報を生成する。このときは、第２の画像処理部Ａ２は、第１の矩形情報で表される領域よりも少し拡大した領域を示す第２の矩形情報を用いて仮想追跡を行ってもよい。拡大の程度は、例えば矩形画像が数十ピクセル上下及び左右に拡大される程度である。

データ処理装置２００Ａは、ブロッキング輝度伸張部３２０を含む。ブロッキング輝度伸張部３２０は、ブロッキング輝度伸張処理部３２０は、注目画像（たとえば顔を含む領域を矩形状に抽出した顔矩形画像）に対して画素単位のブロッキング輝度伸張処理を施し画素レベルで明暗の補正を実施する。このブロッキング輝度伸張処理部３２０によるブロッキング輝度伸張処理により、監視対象の顔矩形画像に対して明暗の大きく異なる部分が画素レベルで補正され、監視対象の顔矩形画像が監視し易いダイナミックレンジの画像に補正される。このブロッキング輝度伸張処理技術の詳細については同一出願人による特許第５４８６９６３号、特許第５８６６１４６号、特許第５８８７０６７号に開示されている。

表示デバイス３２１では、データ処理装置２００Ａから取り込まれた全方位監視画像が表示され、この全方位監視画像の中に、追跡処理した顔矩形画像が表示される。これによりユーザは、撮像領域内の注目画像（顔画像）の移動位置を容易に確認することができる。

図２は、図１の構成をさらに具体的に示すブロック図を示している。

画像バッファメモリ２０２の全方位高精細監視画像（広域画像データと称してもよい）は、リサイズ部１１によりＶＧＡ：６４０×４８０ピクセルの解像度を持つ画像に変換され、先のブロッキング輝度伸張部３２０に入力される。

また画像バッファメモリ２０２の全方位高精細監視画像（広域画像データ）は、第１の画像処理部Ａ１内のリサイズ部１１により、最大１９２０×１０８０ピクセルの解像度を持つ画像に変換され、パノラマ画像生成部２０３に入力される。

パノラマ画像生成部２０３に入力された画像は、全周囲を正面画像化したパノラマ画像に変換される。この場合、楕円状の画像領域が例えば上下に２分割されて、第１パノラマ画像、第２パノラマ画像として表示される。これらのパノラマ画像は、先のリサイズにより、最大１９２０×１０８０ピクセルの解像度を持つ画像であり、全方位高精細監視画像のピクセル数よりも少なく、データ処理の負担を軽くしている。

パノラマ画像生成部２０３のパノラマ画像は、画像追跡処理部２０４にて、被検知物あるいは注目画像（例えば人物の顔）を検出する顔検知処理、検知した顔の追跡処理を行うための材料となる。

画像追跡処理部２０４は、人物の顔を検出すると、その顔画像情報、属性情報（推定年齢、性別、マスクの有無、メガネの有無など）、検知した顔の領域を矩形で囲む顔矩形座標情報を、オブジェクト情報バッファ２０６に送信する。

属性情報は、顔画像情報から抽出される。しかしこれに限らず、属性情報は、推定年齢、性別、マスクの有無、メガネの有無、人物の洋服、洋服の形、アクセサリー、色、髪型、など各種の情報が取得されて、当該人物の識別子（ＩＤ）と関連つけられてもよい。

検出された顔画像情報はバッファメモリ２０５ａへ格納され、属性情報はバッファメモリ２０５ｂへ格納され、検知した顔の領域（顔を含む領域）を示す顔矩形座標情報はバッファメモリ２０５ｃに格納される。

ここで、検知した顔の領域を示す顔矩形座標情報は、パノラマ画像から取得したものである。また、顔矩形座標情報により囲まれる領域の顔画像は、最大１９２０×１０８０ピクセルの解像度である。したがって、この段階での顔矩形座標情報、解像度は、画像バッファメモリ２０２内の全方位高精細監視画像に対する顔矩形座標情報、解像度とは一致しない。そこで、座標変換処理部２０６は顔画像がバッファメモリ２０６ａに記憶されると、パノラマ画像上の顔画像位置座標を全方位高精細監視画像の顔画像位置座標に変換する。次に、検知矩形座標情報生成部２０７が、座標変換処理部２０７により生成された全方位高精細監視画像の顔画像位置座標をもとに顔検知矩形座標情報（顔を囲むフレームの座標情報）を生成する。この顔検知矩形座標情報は、オブジェクト追跡処理部３１４を介してあるいは直接注目領域画像作成部３１５に与えられる。オブジェクト追跡処理部３１４は、第１の画像処理部Ａ１又は第２の画像処理部Ａ２から出力される何れかの顔或いは動体検知矩形座標情報を、状況に応じて選択し、注目領域画像作成部３１５に与えることができる。

今、注目領域画像作成部３１５が、第１の画像処理部Ａ１からの顔検知矩形座標情報を選択するものとする。すると、注目領域画像作成部３１５は検知矩形座標情報生成部２０７が生成した顔検知矩形座標情報をもとに、画像バッファメモリ２０２に貯えられた全方位高精細監視画像から画像処理部２０４が検出した顔画像（顔矩形画像或いは注目画像と称す）に対応する高精細な顔矩形画像を切り出す。そして、この全方位高精細監視画像から切り出した高精細な顔矩形画像を補正処理する。補正処理は、歪のある画像を表示デバイス３２１のアスペクト（４：３或いは１６：９）の画像に正規化することである。この補正処理された顔矩形画像は、オブジェクト画像バッファメモリ３１６に貯えられる。

なお検知矩形座標情報生成部２０７が生成した顔検知矩形座標情報は、画像バッファメモリ２０２において、注目領域の顔を囲む検知対象の追跡や検知結果画像を生成するためのデータとして利用される。またこの顔検知矩形座標情報は、第２の画像処理部Ａ２において参照されてもよい。

上記のオブジェクト画像バッファメモリ３１６に貯えられた高精細な顔矩形画像はリサイズ部１４により表示デバイス３２１の画素構成に合った画面サイズにリサイズされブロッキング輝度伸張処理部３２０に送出される。このブロッキング輝度伸張処理部３２０によりブロッキング輝度伸張処理された顔矩形画像は監視画像として表示デバイス３２１に表示される。

表示デバイス３２１に表示された顔矩形画像は、全方位高精細監視画像から切り出されてブロッキング輝度伸張処理により監視し易いダイナミックレンジの画像に補正された高密度ベースの監視画像である。

上記したように、監視対象の顔矩形画像は、監視し易いダイナミックレンジで高品位の画像として、表示デバイス３２１に表示される（図１０の３０３参照）。

さらに、画像バッファメモリ２０２に格納されている全方位高精細監視画像は、リサイズ部１３により、表示デバイス３２１の画面に合わせたサイズにリサイズされる。このリサイズされた全方位監視画像は、例えば６４０×４８０画素の解像度である。この全方位監視画像は、ブロッキング輝度伸張部３２０で輝度伸張処理されて、先の顔矩形画像に重なるように合成される。この全方位高精細監視画像は、追跡している対象物（この実施形態では人物の顔）が全方位監視領域の中で、どの位置へ移動したかを容易に判断するのに有効である（図１０の３０２参照）。

また上記のオブジェクト情報バッファ２０５に格納されている顔画像及び属性情報などは、表示デバイス３２１に入力されて、付加的に表示されてもよい（図１０の３１１、３１２参照）。また、顔画像情報はバッファメモリ２０５ａへ格納される顔画像情報、バッファメモリ２０５ｂへ格納される属性情報（推定年齢、性別、マスクの有無、メガネの有無など）は、互いにリンクした形で、オブジェクト情報バッファ２０５に蓄積される。これらの蓄積データは、その後の顔画像認識処理、追跡処理の際に利用することができる。

図２の構成において、画像バッファメモリ２０２、リサイズ部１１、パノラマ画像生成部２０３は、視野角１８０°以上により空間を撮像して得た広角視野監視画像を、ビット数を低減させ且つリサイズし、少なくとも２つに分けて第１パノラマ画像、第２パノラマ画像に変換する第１の変換手段と称することができる。また、画像処理部２０４、オブジェクト情報バッファ２０５は、前記第１パノラマ画像若しくは第２パノラマ画像から少なくとも注目被写体を検知して追跡する検知及び追跡手段と称することができる。

さらに、座標変換処理部２０６、検知矩形座標情報生成部２０７、注目領域画像作成部３１５、オブジェクト画像バッファメモリ３１６は、前記注目被写体のパノラマ画像上の座標データを、前記広角視野監視画像上の座標データに変換して、前記広角視野監視画像から前記注目被写体の注目画像を切出す注目画像切出し手段と称することができる。そして、リサイズ部１４、ブロッキング輝度伸張部３２０、表示デバイス３２１等は、少なくとも前記注目画像切出し手段が切り出した前記注目画像を表示する表示手段と称することができる。

本装置は、さらに第２の画像処理部Ａ２を有する。画像バッファメモリ２０２の全方位高精細監視画像は、リサイズ部１２により３２０×２４０ピクセルの解像度を持つ画像に変換され、画像追跡処理部３１１に入力される。この画像追跡処理部３１１は、画像の中の動体を検出して追跡し、その動体検知情報を生成する。動体検知情報は、動体検知矩形座標情報部３１２において、追跡中の動体を囲む矩形座標情報（動体検知矩形座標情報）に変換される。この動体検知矩形座標情報は、画像バッファメモリ２０２において、動きのある注目領域を囲む検知対象の追跡や検知結果画像を生成するためのデータとして利用される。つまり、画像バッファメモリ２０２の全方位高精細監視画像から、動きを伴う動体画像を切り出し、オブジェクト画像バッファメモリ３１６に格納する際にこの動体検知矩形座標情報が利用される。

この場合も注目領域画像作成部３１５は、全方位高精細監視画像から切り出した高精細な顔矩形画像を補正処理する。補正処理は、歪のある画像を表示デバイス３２１のアスペクト（４：３或いは１６：９）の画像に正規化することである。この補正処理された顔矩形画像は、オブジェクト画像バッファメモリ３１６に貯えられる。

上記した処理により、本装置は、追跡する対象物（例えば人物等）の追跡能力を向上した監視画像処理装置及び監視画像処理方法を提供することができる。

図３は、上記した装置の構成とその動作を概略的に示す説明図である。データ処理装置２００Ａは、撮像部１０１からの高精細監視画像をストリーム受信部により受信する（Ｓ４０１）。ストリーム受信部で受信された高精細監視画像は、キャプチャ部によりフレーム単位でキャプチャされる（Ｓ４０３）。尚、ストリーム受信部で受信された高精細監視画像は、記憶媒体に一旦記憶された後、或は記憶されつつ（Ｓ４０２）、フレーム単位でキャプチャされてもよい（Ｓ４０３）。

次にデータ処理装置２００Ａ内では、次のような処理が実行される。即ち、キャプチャされた高精細監視画像は前処理される（Ｓ４０４）。この前処理は、図２で説明したリサイズ、パノラマ画像生成に対応する。前処理されたパノラマ画像は、画像処理による顔検知に基づく追跡処理及び動体検知に基づく追跡処理の対象となる（Ｓ４０４，Ｓ４０５）。顔検知に基づく追跡処理において得られた情報は、顔矩形画像、属性情報、顔矩検知形座標情報などを含む。パノラマ画像の顔検知矩形座標情報は、全方位高精細画像の座標に対応した検知矩形座標情報に座標変換される。また属性情報も抽出される。

さらに本装置では、顔検知に基づく追跡処理の他に、第２の画像処理部Ａ２において、動体検知に基づく追跡処理も実行されている。この追跡処理においても、注目画像を切出すための動体検知矩形座標情報が生成される（Ｓ４０６）。この動体検知矩形座標情報は、顔検知を行う第１の画像処理装置Ａ１において参照することができる。この参照により、第１の画像処理装置Ａ１は、注目画像を仮想的に追跡することができ、実際の顔検知を行った時から、顔判断までの時間を早くすることができる。つまり第１の画像処理装置Ａ１は、顔検知能力がロバストになる。

上記のようにオブジェクト追跡処理が実施される（Ｓ４０７）。次に注目画像出力部Ａ３において、第１の矩形情報（顔検知矩形座標情報）又は第２の矩形情報（動体検知矩形座標情報）又は第１の矩形情報のみに基づいて、広域画像データから注目画像が切り出され、切出された注目画像の補正処理が行われる。そして補正後の注目画像がブロッキング輝度伸張処理を受けて（Ｓ４０９）表示デバイス３２１に供給される。上記したように顔検知或は動体検知により、オブジェクト（注目画像）の追跡処理が実施される。

ここで、顔検知に基づく追跡処理に基づく顔検知矩形座標情報、動体検知に基づく追跡処理に基づく動体検知矩形座標情報の何れか一方が注目画像の切出し処理のために利用されるが、その基本的な状態遷移について、以下に説明する。この例は一例であり、必ずしもこの状態遷移に限定されるものではない。

図４は、本実施形態の監視画像処理装置において、顔検知による追跡処理と動体検知による追跡処理が行われる際の状態遷移ルートの一例を示す図である。

今、顔検知・オブジェクト検知動作状態Ｊ１にあるものとする。ここで顔（注目画像）が検知されると、パスＰ１を介して、顔矩形による追尾動作状態Ｊ２に移る。顔が検知されている限り（パスＰ２）、この追尾動作状態Ｊ２が維持される。

状態Ｊ２において、顔が検知されなくなると、パスＰ３を介してロスト動作状態Ｊ３に移る。ロスト動作状態Ｊ３にあっても、顔が検知されると顔矩形による追尾動作状態Ｊ２に移る。しかし、ロスト動作状態Ｊ３にあって、顔が検知されず、オブジェクト（動体）が検出された場合は、動体・停止物矩形による追尾動作状態Ｊ４に移る。この状態Ｊ４では、動体を検出したあと、その動体が一定期間停止していても、動体検知として判断し、動体追尾動作を維持することができる。

動体・停止物矩形による追尾動作状態Ｊ４において、顔検知があった場合は、パスＰ６を経由して顔矩形による追尾動作状態Ｊ２に移る。しかし、動体・停止物矩形による追尾動作状態Ｊ４において、動体（オブジェクト）検知もできなくなった場合、パスＰ７を介して、ロスト動作状態Ｊ３に移る。

ロスト動作状態Ｊ３は、パスＰ８を経由して一定時間が経過するまでは、ロスト動作状態Ｊ３を維持する。しかし顔・オブジェクトが検知されないまま一定時間が経過してしまうと、パスＰ９を経由して、顔検知・オブジェクト検知動作状態Ｊ１に移る。

顔検知・オブジェクト検知動作状態Ｊ１においては、顔検知動作、動体検知動作の両方が平行して実施される。顔検知のために、動体検知による矩形情報が座標変換（つまりパノラマ座標系に変換）されて顔検知矩形情報として利用されてもよい。この利用により、顔検知が比較的早めに達成される。

またこの場合、顔検知のための顔検知矩形の面積が、追跡処理時の顔矩形の面積よりも数パーセント拡張されて利用される。これにより、顔の左右或いは上下の動きがあっても顔検知を容易化することができる。

なおロスト動作状態Ｊ３から、顔検知・オブジェクト検知動作状態Ｊ１に移って、顔を検知した場合、今回、検知した顔と同一の顔を過去フレームにおいて検知したことがあるかどうか判定する。同一の顔が存在した場合、当該顔画像データに対応する同一顔の検知データ（例えば顔検知矩形座標情報、顔の確からしさのスコア値、検知回数、最新検知フレーム番号、追跡フレーム数、前回検知からのフレーム間隔等）を更新する。過去の顔検知において、同一顔が検知されていない場合には、新たな顔検知データ（例えば初回検知フレーム番号、顔ID情報、顔検知矩形座標情報、顔の確からしさのスコア値）を作成する。つまり今まで追跡していた顔（オブジェクト：動体）に付けていた識別データ（ＩＤ）は、一旦破棄され、状態Ｊ１で検出した新たな顔（オブジェクト）に対しては新たなＩＤが付されて管理される。

図５は、本実施形態に関わる装置の概略動作を記載した動作フローチャートである。全方位高精細監視画像の処理が開始される。まず顔検知に基づいて顔矩形画像を追尾する追尾処理が実行される（ＳＡ１）。顔矩形画像の追尾がロスト状態になると（ＳＡ２）、オブジェクト（動体）検知があるかどうかの判定がなされる（ＳＡ３）。オブジェクト検知があった場合は、動体・停止矩形による追尾処理が実行される（ＳＡ４）。

ロスト動作状態とオブジェクト検知動作状態、において、何らかの検知（顔検知）があった場合は、図４で説明したように状態Ｊ２状態に移る。

図６と図７は、顔矩形画像を追尾する追尾処理（図５のＳＡ１）をさらに具体的示すフローチャートである。図８は、ロスト状態から動体を検知し追跡処理（図５のＳＡ４）する場合の動作フローを詳しく示している。

追尾処理は、「追尾無し」、「追尾中」、「ロスト中」の３種類の状態で管理する。ロスト中は、規定時間連続してロスト状態であるかどうかを監視し、規定時間連続してロスト状態が続けば、「追尾無し」状態とする。

まず、直前の追尾状態が「追尾無し」であったかどうかの判断を行う（ＳＢ１）。「追尾無し」であった場合は、顔検知に基づく新規顔検知矩形情報が存在するか否かの判定を行う。新規顔検知矩形情報が存在した場合、この新規顔検知矩形情報を現在追尾位置矩形情報として格納する。

次に、現在追尾位置矩形情報の取得（又は作成）が成功したかどうかを判定し（ＳＢ４）、成功してれば追跡中のオブジェクトＩＤを所定のテーブルに格納する（ＳＢ１０）。

先のＳＢ１の「追尾無し」判定において、追尾中の判定があった場合、既存追尾位置矩形情報に対応するオブジェクトＩＤと同一のオブジェクトＩＤの顔検知矩形情報を取得する（ＳＢ５）。次に、取得した顔検知矩形情報に基づいて取得した顔画像と同一顔画像が所定テーブルに存在するかどうかを判定する（ＳＢ６）。

ここで同一顔画像が存在した場合は、現在追尾位置矩形情報の取得（又は作成）が成功したかどうかを判定し（ＳＢ４）、成功してれば追跡中のオブジェクトＩＤを所定のテーブルに格納する（ＳＢ１０）。つまり、その後は、同一のオブジェクトＩＤの顔画像が追跡されることになる。

先のＳＢ６において、同一顔画像が存在しないことが判定された場合は、既存追尾位置矩形情報を調整して、矩形位置を左右、上下指定して、サイズを拡大し、拡大した既存追尾位置矩形情報と重なる顔検知矩形情報を取得する。つまりここでは、同じ顔でも少しずれた位置に顔が移動している場合があったり、或は、既存の顔の近くに別の顔が存在する場合がある。そこで、新たに顔が認識された場合は、その顔画像を利用してその後の追尾処理を行う。これにより追跡処理が強化される。

追跡中のオブジェクトＩＤは、所定のテーブルに格納され（ＳＢ１０）、追尾が実行される。次に再度追尾状態が「追尾無し」であったかどうかの判定がなされる（ＳＢ１１＝ＳＢ１の判定と同じ判定）。追尾無しであった場合は、追尾位置矩形情報に現在追尾位置矩形情報（ＳＢ４で得られた情報）を格納し、追尾状態を「追尾中」に確定する（ＳＢ１２、ＳＢ１３）。追尾状態を「追尾中」に確定した後は、図７に示すように追尾解除時間をリセットし（ＳＢ２１）、終了する。

ＳＢ１１において、追尾中であったことの判定がなされた場合は、現在追尾位置矩形情報（ＳＢ４で取得した情報）に重みを乗じた位置情報を、既存追尾位置矩形情報（追尾中であったときの情報）に加算して、追尾位置矩形情報を更新する。この処理は、例えば１秒間に１０コマ或いは５コマごとに実行され、既存追尾位置矩形情報に例えば０．３の重み、現在追尾位置矩形情報に例えば０．７の重みが乗じられる。これにより、追尾位置矩形情報から現在追尾位置矩形情報への滑らかな変化が得られる。

ところで、ＳＢ４において、現在追尾位置矩形情報が取得できない場合がある。この場合は、図７のＳＢ２２に示すように、追尾状態が「追尾中」であったかどうかの判定を行う。「追尾中」であった場合は、追尾状態を「ロスト中」に設定し（ＳＢ２３）、追尾解除経過時間を算出する（ＳＢ２４）。ＳＢ２２の判定で、追尾状態が「追尾中」ではなかった場合、つまり「ロスト」中であった場合は、追尾解除経過時間を算出する（ＳＢ２４）。

そして、追尾解除経過時間が規定時間を超過した場合は、追尾状態を「追尾無し」にして終了し、追尾解除経過時間が規定時間を超過していない場合は、終了する。

図８は、ロスト状態から動体を検知した場合（図５のＳＡ４）の動作フローを詳しく示している。

既存の追尾位置矩形情報のオブジェクトＩＤと同一オブジェクトＩＤの動体・停止物矩形情報の取得を試みる（ＳＣ１）。同一オブジェクトが存在した場合（ＳＣ２のＹｅｓ）、前記同一オブジェクトに対応する現在追尾位置矩形情報の取得に成功しているかどうかの判定を行う（ＳＣ４）。同一オブジェクトが存在しなかった場合（ＳＣ２のＮｏ）、既存追尾位置矩形情報を左右、上下、指定したサイズ分拡大し、拡大した既存追尾位置矩形情報と重なる動体・停止物検知矩形情報を取得する（ＳＣ３）。

次に、現在追尾位置矩形情報の取得（又は作成）が成功したかどうかを判定し（ＳＣ４）、成功してれば追跡中のオブジェクトＩＤを所定のテーブルに格納する（ＳＣ５）。次に現在追尾位置矩形情報に重みを乗じた位置を既存追尾位置矩形情報に加算して、新たな矩形情報を作成（更新）する（ＳＣ６）。この場合も、既存追尾位置矩形情報に例えば０．３の重み、現在追尾位置矩形情報に例えば０．７の重みが乗じられる。これにより、追尾位置矩形情報から現在追尾位置矩形情報への滑らかな変化が得られる。

次に追尾解除時間をリセットして終了する（ＳＣ８）。先のＳＣ４において、現在追尾位置矩形情報の取得ができなかった場合（ＳＣ４のＮｏ）、追尾解除経過時間を算出し（ＳＣ１１）、追尾解除時間が規定時間を超過しているかどうかを判定する（ＳＣ１２）。追尾解除時間が規定時間を超過している場合は、追尾状態を「追尾無し」にして（ＳＣ１３）、終了し、超過していない場合は、終了する。

図９（ａ）、図９（ｂ）は、全方位高精細監視画像とパノラマ画像の説明図である。図９（ａ）は、画像バッファメモリ２０２に格納された全方位高精細監視画像２５０の一例を示している。この全方位高精細監視画像２５０は、部屋の空間を撮像したものであり、表示対象となる人物２５３を含む。例えば枠２５４で囲む矩形領域が注目領域である。この全方位高精細監視画像２５０は、パノラマ画像に変換される際、例えば分割線２５１で示す位置で上下に分割され、図９（ｂ）に示すように第１のパノラマ画像２６１、第２のパノラマ画像２６２として生成される。

図１０は、本実施形態の監視画像処理装置により表示デバイス３２１に画像が表示された一例を示す図である。全体は、注目領域画像３０３であり顔画像３０１を含む。さらに、この注目領域画像３０３には、リサイズされた全方位監視画像３０２が挿入される。この全方位監視画像３０２の中に顔画像３０１に対応する人物画像３０２ａが存在する。

この表示を行うことにより、注目領域の顔画像３０１の移動位置を、全方位監視画像３０２により容易に確認することができる。さらに全方位監視画像３０２に含まれる人物画像３０２ａには，フレーム３０２ｂが付加されてもよい。このフレーム３０２ｂは例えば注目画像（顔画像）を切出す際に利用された顔検知矩形座標情報が、画像バッファメモリ２０２に書き込まれることにより、生成されている。

さらに、注目領域画像３０３には、属性情報３１２が表示されてもよい。またこの属性情報３１２と共にリサイズされた顔矩形画像３１１が表示されてもよい。この顔矩形画像３１１は、図２のオブジェクト情報バッファ２０６から取り出された画像である。

このような監視画像処理装置によると、注目領域画像３０３は、画像バッファメモリ２０２に貯えられた全方位高精細監視画像から、高精細な顔矩形画像として切出される。このために、パノラマ変換した画像から切り出すのに比べて画像品質が高い。またブロッキング輝度伸張処理されているので、画像品質の向上が図られている。

次に、注目領域画像３０３内にリサイズされた全方位監視画像３０２が挿入され、この全方位監視画像３０２の中に顔画像３０１に対応する人物画像３０２ａが存在する。このために、顔画像３０１の人物が監視空間の中で、どの位置に移動しているのかを容易に確認（監視）することができる。監視装置としての信頼性及び性能が向上している。また、属性情報も表示されるので監視機能の性能がアップする。

なお表示する画像において、属性情報３１２、リサイズされた顔矩形画像３１１は、必ずしも表示する必要はない。

図１１は、第１の画像処理部Ａ１における注目画像の追跡がロスト状態になったときに表示デバイス３２１に表示される画像の例を示している。今まで顔画像追跡中に表示されていた、注目領域画像３０３においては、例えば人物の顔画像にマスクがかけられる。そして第２の画像処理部Ａ２により、動体を追跡している様子が、全方位監視画像３０２の中に動体追跡枠３０２ｃ（つまりマーク）で示される。このとき動体の移動方向を示す矢印が表示されてもよい。

上記実施形態では、顔検知が得られない場合、対象人物らしき人物の動きを追跡した。しかし、属性情報（色、形状、付属物など）を確認しながら、対象人物らしき人物を追跡してもよいし、さらにはこの属性情報と動き情報とを組み合わせて、対象人物らしき人物を追跡してもよい。つまり動体が追跡されるときは、動き情報のみならず単一或いは複数の属性情報（洋服の色、帽子等）も併用されてもよい。このときは、追跡に利用している属性情報を点滅あるいは色を変化させて表示してもよい。

さらにまた、複数の人物の顔が検出されることもある。この場合、特定の人物（一人）を追跡する場合、属性情報を組み合わせて、追跡することが好ましい。例えば、特定の人物の属性情報が髪の毛が長い、赤い洋服を着ている情報であるとする。顔検知がロスト状態になったとき、動き検出側で、同じ属性情報をもつ動体を追跡すると、再度顔が検知されたとき、前記特定の人物であることの確率が高くなる。

なお実施例では、個別特徴を顔とし、顔画像を追跡した。しかし、追跡対象は、顔に限らず、特定のマーク、国旗、特定の意匠、特定の発光をする物の場合も適用可能である。

実施形態では、３６０°全方位を撮像した画像を取得する装置として説明したが、１８０°以上の方位を撮像した画像を取得する装置であればよい。また、画像切出し、座標情報は、矩形である如く説明したが、これに限らず各種の形状であってもよい。例えば検出する人物が複数存在した場合、それぞれの顔画像の切り出し枠の形状が異なるようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。

Ａ１・・・第１の画像処理部、Ａ２・・・第２の画像処理部、Ａ３・・・注目画像出力部、１１、１２、１３、１４・・・リサイズ部、１０１・・・単眼カメラ（撮像部）、２００Ａ・・・データ処理装置、２０１・・・キャプチャ、２０２・・・画像バッファメモリ、２０３・・・パノラマ画像生成部、２０４・・・画像追跡処理部、２０５・・・オブジェクト情報バッファ、２０７・・・座標変換処理部、２０７・・・顔検知矩形座標情報部、３１１・・・画像追跡処理部、３１２・・・動体検知矩形座標情報部、３１４・・・オブジェクト追跡処理部、３１５・・・注目領域画像作成部、３１６・・・オブジェクト画像バッファメモリ、３２０・・・ブロッキング輝度伸張部、３２１・・・表示デバイス。

実施形態の一例である装置によれば、撮像部と、データ処理装置と、表示デバイスを備え、前記撮像部が対象物を含む空間を撮影した広域画像データを前記データ処理装置に入力する装置であって、
前記データ処理装置は、
前記対象物の個別特徴（顔）を追跡する第１の画像処理部と、前記対象物の動き特徴を追跡する第２の画像処理部と、前記個別特徴（顔）の画像を含む第１注目画像（顔画像）を切り出して前記表示デバイスに供給する注目画像出力部を備え、
前記第１の画像処理部は、前記個別特徴（顔）の画像を検出している場合、前記個別特徴（顔）の画像を囲む矩形情報に基づいて、前記広域画像データから前記第１注目画像（顔画像）の画像を切出すための第１の画像領域情報を生成し、
前記第２の画像処理部は、前記第１の画像処理部が前記個別特徴（顔）の画像の追跡を失った場合、画像の動き検出情報に基づいて第２注目画像（動体画像）を追跡して、前記広域画像データから前記第２注目画像（動体画像）を切出すことができる第２の画像領域情報を生成し、
前記第１の画像処理部が前記個別特徴（顔）を追跡している間は、前記第２の画像処理部は、前記第２注目画像（動体画像）を切出すための前記第２の画像領域情報として、前記第１の画像処理部が生成している前記第１の画像領域情報に基づいて前記第２注目画像（動体画像）を仮想追跡し、
前記注目画像出力部は、少なくとも前記第１の画像領域情報に基づいて、前記広域画像データから前記個別特徴（顔）の画像を切り出して前記表示デバイスに供給する。

実施形態の他の装置によれば、撮像部と、データ処理装置と、表示デバイスを備え、前記撮像部が対象物を含む空間を撮影した広域画像データを前記データ処理装置に入力する装置であって、
前記データ処理装置は、
前記対象物の個別特徴（顔）を追跡する第１の画像処理部と、前記対象物の動き特徴を追跡する第２の画像処理部と、前記個別特徴（顔）の画像を含む第１注目画像（顔画像）を切り出して前記表示デバイスに供給する注目画像出力部を備え、
前記第１の画像処理部は、前記個別特徴（顔）の画像を検出している場合、前記個別特徴（顔）の画像を囲む矩形情報に基づいて、前記広域画像データから前記第１注目画像（顔画像）の画像を切出すための第１の画像領域情報を生成し、
前記第２の画像処理部は、前記第１の画像処理部が前記個別特徴（顔）の画像の追跡を失った場合、画像の動き検出情報に基づいて第２注目画像（動体画像）を追跡して、前記広域画像データから前記第２注目画像（動体画像）を切出すことができる第２の画像領域情報を生成し、
前記第２の画像処理部が前記動き特徴を追跡している間は、前記第１の画像処理部は、第１注目画像（顔画像）を切り出すための前記第１の画像領域情報として、前記第２の画像処理部が生成している前記第２の画像領域情報に基づいて前記個別特徴（顔）を仮想追跡し、
前記注目画像出力部は、少なくとも前記第１の画像領域情報に基づいて、前記広域画像データから前記個別特徴（顔）の画像を切り出して前記表示デバイスに供給する。

ここで、検知した顔の領域を示す顔矩形座標情報は、パノラマ画像から取得したものである。また、顔矩形座標情報により囲まれる領域の顔画像は、最大１９２０×１０８０ピクセルの解像度である。したがって、この段階での顔矩形座標情報、解像度は、画像バッファメモリ２０２内の全方位高精細監視画像に対する顔矩形座標情報、解像度とは一致しない。そこで、座標変換処理部２０６は顔画像がバッファメモリ２０５に記憶されると、パノラマ画像上の顔画像位置座標を全方位高精細監視画像の顔画像位置座標に変換する。次に、検知矩形座標情報生成部２０７が、座標変換処理部２０６により生成された全方位高精細監視画像の顔画像位置座標をもとに顔検知矩形座標情報（顔を囲むフレームの座標情報）を生成する。この顔検知矩形座標情報は、オブジェクト追跡処理部３１４を介してあるいは直接注目領域画像作成部３１５に与えられる。オブジェクト追跡処理部３１４は、第１の画像処理部Ａ１又は第２の画像処理部Ａ２から出力される何れかの顔或いは動体検知矩形座標情報を、状況に応じて選択し、注目領域画像作成部３１５に与えることができる。

Ａ１・・・第１の画像処理部、Ａ２・・・第２の画像処理部、Ａ３・・・注目画像出力部、１１、１２、１３、１４・・・リサイズ部、１０１・・・単眼カメラ（撮像部）、２００Ａ・・・データ処理装置、２０１・・・キャプチャ、２０２・・・画像バッファメモリ、２０３・・・パノラマ画像生成部、２０４・・・画像追跡処理部、２０５・・・オブジェクト情報バッファ、２０６・・・座標変換処理部、２０７・・・顔検知矩形座標情報部、３１１・・・画像追跡処理部、３１２・・・動体検知矩形座標情報部、３１４・・・オブジェクト追跡処理部、３１５・・・注目領域画像作成部、３１６・・・オブジェクト画像バッファメモリ、３２０・・・ブロッキング輝度伸張部、３２１・・・表示デバイス。

Claims (13)

1. 撮像部と、データ処理装置と、表示デバイスを備え、前記撮像部が対象物を含む空間を撮影した広域画像データを前記データ処理装置に入力する装置であって、
   前記データ処理装置は、
   前記対象物の個別特徴（顔）を追跡する第１の画像処理部と、前記対象物の動き特徴を追跡する第２の画像処理部と、前記個別特徴（顔）の画像を含む第１注目画像（顔画像）を切り出して前記表示デバイスに供給する注目画像出力部を備え、
   前記第１の画像処理部は、前記個別特徴（顔）の画像を検出している場合、前記個別特徴（顔）の画像を囲む矩形情報に基づいて、前記広域画像データから前記第１注目画像（顔画像）の画像を切出すための第１の画像領域情報を生成し、
   前記第２の画像処理部は、前記第１の画像処理部が前記個別特徴（顔）の画像の追跡を失った場合、画像の動き検出情報に基づいて第２注目画像（動体画像）を追跡して、前記広域画像データから前記第２注目画像（動体画像）を切出すことができる第２の画像領域情報を生成し、
   前記注目画像出力部は、少なくとも前記第１の画像領域情報に基づいて、前記広域画像データから前記個別特徴（顔）の画像を切り出して前記表示デバイスに供給する、
   ことを特徴とする監視画像処理装置。
2. 前記第１の画像処理部が前記個別特徴（顔）の画像を検出したとき、前記注目画像出力部は、前記第１の画像領域情報を優先して使用する、
   ことを特徴とする請求項１記載の監視画像処理装置。
3. 前記第１の画像処理部が前記個別特徴（顔）を追跡している間は、前記第２の画像処理部は、前記第２注目画像（動体画像）を切出すための前記第２の画像領域情報として、前記第１の画像処理部が生成している前記第１の画像領域情報に基づいて前記第２注目画像（動体画像）を仮想追跡する、
   ことを特徴とする請求項１記載の監視画像処理装置。
4. 前記第２の画像処理部が前記動き特徴を追跡している間は、前記第１の画像処理部は、第１注目画像（顔画像）を切り出すための前記第１の画像領域情報として、前記第２の画像処理部が生成している前記第２の画像領域情報に基づいて前記個別特徴（顔）を仮想追跡する、
   ことを特徴とする請求項１記載の監視画像処理装置。
5. 前記第１の画像処理部が前記個別特徴（顔）の追跡を失った場合、前記第２の画像処理部は、前記第１の画像領域情報を利用するとき、この第１の画像領域情報よりも領域面積が大きい前記第２の画像領域情報を生成して仮想追跡を開始する、
   ことを特徴とする請求項１記載の監視画像処理装置。
6. 前記データ処理装置は、
   前記表示デバイスに対して、前記第１注目画像（顔画像）を入力して表示させると共に、前記第１注目画像（顔画像）に重ねてリサイズした前記広域画像データの画像を入力して表示させる、
   ことを特徴とする請求項１記載の監視画像処理装置。
7. 前記データ処理装置は、
   前記表示デバイスに対して、さらに前記第１注目画像（顔画像）に関する属性情報を入力して表示させる、
   ことを特徴とする請求項１記載の監視画像処理装置。
8. 前記データ処理装置は、
   前記第１の画像処理部が前記個別特徴（顔）の追跡を失っているとき、
   前記表示デバイスに対して、前記広域画像データの画像を入力して表示させると共に、前記第２の画像処理部が追跡している第２注目画像（動体画像）をマークとして、前記広域画像データの画像に重ねて表示させる、
   ことを特徴とする請求項１記載の監視画像処理装置。
9. 撮像部と、データ処理装置と、表示デバイスを備え、前記撮像部が対象物を含む空間を撮影した広域画像データを前記データ処理装置に入力して処理する監視画像処理方法であって、
   第１の画像処理部で前記対象物に対応する個別特徴（顔）を追跡し、第２の画像処理部で前記対象物の動き特徴を追跡し、注目画像出力部で、第１注目画像（顔画像）を切り出して前記表示デバイスに供給し、
   前記個別特徴（顔）の画像を検出している場合、前記個別特徴（顔）の画像を囲む矩形情報に基づいて、前記広域画像データから前記第１注目画像（顔画像）を切出すための第１の画像領域情報を生成し、
   前記第１の画像処理部が前記個別特徴（顔）の追跡を失った場合、画像の動き検出情報に基づいて動き特徴を追跡して、前記広域画像データから第２注目画像（動体画像）を切出すことができる第２の画像領域情報を生成し、
   少なくとも前記第１の画像領域情報に基づいて、前記広域画像データから前記第１注目画像（顔画像）を切り出して前記表示デバイスに供給する、
   ことを特徴とする監視画像処理方法。
10. 前記個別特徴（顔）の画像が検出されたとき、前記第１の画像領域情報を優先して使用し、前記広域画像データから前記第１注目画像（顔画像）を切り出して前記表示デバイスに供給する、
    ことを特徴とする請求項９記載の監視画像処理方法。
11. 撮像部と、データ処理装置と、表示デバイスを備え、前記撮像部が対象物を含む空間を撮影した広域画像データを前記データ処理装置に入力する装置であって、
    前記データ処理装置は、
    前記対象物の個別特徴を追跡する第１の画像処理部と、前記対象物の動き特徴を追跡する第２の画像処理部と、前記個別特徴の画像を切り出して前記表示デバイスに供給する注目画像出力部を備え、
    前記第１の画像処理部は、前記個別特徴の画像を検出している場合、前記個別特徴の画像を囲む矩形情報に基づいて、前記広域画像データから前記個別特徴の画像を切出すための第１の画像領域情報を生成し、
    前記第２の画像処理部は、前記第１の画像処理部が前記個別特徴の画像の追跡を失った場合、画像の動き検出情報に基づいて動体画像を追跡して、前記広域画像データから前記動体画像を切出すことができる第２の画像領域情報を生成し、
    前記注目画像出力部は、少なくとも前記第１の画像領域情報に基づいて、前記広域画像データから前記個別特徴の画像を切り出して前記表示デバイスに供給する、
    ことを特徴とする監視画像処理装置。
12. 前記第１の画像処理部が前記個別特徴を追跡している間は、前記第２の画像処理部は、前記動体画像を切出すための前記第２の画像領域情報として、前記第１の画像処理部が生成している前記第１の画像領域情報に基づいて前記動体画像を仮想追跡する、
    ことを特徴とする請求項１１記載の監視画像処理装置。
13. 前記第２の画像処理部が前記動き特徴を追跡している間は、前記第１の画像処理部は、前記個別特徴の画像を切り出すための前記第１の画像領域情報として、前記第２の画像処理部が生成している前記第２の画像領域情報に基づいて前記個別特徴を仮想追跡する、
    ことを特徴とする請求項１１記載の監視画像処理装置。

Images