JP2018042105A - 監視画像処理装置及び監視画像処理方法 - Google Patents

Abstract

【課題】実施形態によれば、監視画像処理装置は追跡する対象物の画像の品質が高品位で、画像データ処理の負担が軽く、そして、追跡対象物の位置を容易に監視しやすい装置である。
【解決手段】実施形態によれば、パノラマ画像生成部が、視野角１８０°以上により空間を撮像して得た広角視野監視画像を、ビット数を低減し、少なくとも２つに分けて第１パノラマ画像、第２パノラマ画像に変換する。画像処理部が、前記第１パノラマ画像若しくは第２パノラマ画像から注目被写体を検知して追跡する。座標変換処理部及び検知矩形座標情報部、及び注目領域画像作成部が、前記注目被写体のパノラマ画像上の座標データを、前記広角視野監視画像上の座標データに変換して、前記広角視野監視画像から前記注目被写体の注目画像を切出す。表示手段は、少なくとも前記注目画像切出し手段が切り出した前記注目画像を表示する。
【選択図】図１

Description

本実施形態は、監視画像処理装置及び監視画像処理方法に関する。

単眼カメラを用いた監視装置が従来から開発されている。単眼カメラに３６０°レンズ（魚眼レンズ）を取り付けて、撮像視野を拡大した監視装置も開発されている。また、魚眼レンズを用いて、例えば会議室の様子を撮像して広角視野監視画像を取得し、この広角視野監視画像をパノラマ画像に展開し、展開したパノラマ画像を用いて、顔検出を行う監視装置も開発されている。

特開２０１５−１９１６２号公報 特開２０１６−２５５１６号公報 特開２０１６−３９５３９号公報

３６０°レンズ（魚眼レンズ）を利用して撮像視野を拡大した監視装置は、さらなる改善が求められている。

例えば、追跡する領域の画像の品質が良好であること、画像処理の負荷が軽いこと、特定の人物（顔）の追跡処理が正確で容易であることが要望されている。

しかし画像の品質向上を試みると、画像データのビット数が増大し、データ処理負担が大きくなり処理速度も遅くなると言う、新たな問題が生じる。また追跡対象物の位置を容易に監視しやすくするにはどのような対策をしたらよいのか解決策がなかった。

そこで本実施形態によれば、追跡する対象物（例えば人物、顔等）の画像の品質が高品位であり見やすく、画像データ処理の負担が軽く、そして、追跡対象物の位置を容易に監視しやすい、監視画像処理装置及び監視画像処理方法を提供することを目的とする。

一実施形態によると、少なくとも視野角１８０°以上により空間を撮像して得た広角視野監視画像を、少なくとも２つに分けて第１パノラマ画像、第２パノラマ画像に変換する第１の変換手段と、
前記第１パノラマ画像若しくは第２パノラマ画像から注目被写体を検知して追跡する検知及び追跡手段と、
前記注目被写体のパノラマ画像上の座標データを、前記広角視野監視画像上の座標データに変換して、前記広角視野監視画像から前記注目被写体の注目画像を切出す注目画像切出し手段と、
少なくとも前記注目画像切出し手段が切り出した前記注目画像を表示する表示手段と、を備える。

図１は、本実施形態の監視画像処理装置が使用されている全方位監視画像表示処理システムの一例を概略的に示すブロック図である。 図２は、本実施形態の監視画像処理装置が使用されている全方位監視画像表示処理システムのハードウエアブロックの外観の一例を示す図である。 図３は図２で示したデータ処理装置４００内で実行される動作をさらに詳しいレベルで示す動作フローチャートである。 図４は、本実施形態の監視画像処理装置における全方位高精細監視画像とパノラマ画像の説明図である。 図５は、本実施形態の監視画像処理装置により表示デバイスに画像が表示された一例を示す図である。

以下、実施の形態について図面を参照して説明する。図１には、一実施形態である監視画像処理装置が適用された全方位監視（広角視野監視と称してもよい）画像表示処理システムを示している。

実施形態では、１．３メガ（Ｍ）ピクセル以上の画素数を有する画素（高精細画素）の単眼カメラ（１台のｉｐカメラ）１０１を用いている。この単眼カメラ１０１に３６０°レンズ（魚眼レンズ）が取り付けられ、この単眼カメラ１０１は、全方位高精細監視画像を取得可能である。

取得された全方位高精細監視画像は、キャプチャ部２０１によりフレーム単位でキャプチャされ画像バッファメモリ２０２に入力される。全方位高精細監視画像は、表示画面で見た場合、画像フレームに対して撮像領域が楕円状に配置されて表示される。全方位高精細監視画像は２５６０×１９２０ピクセル以上の高解像度を持つ画像である。

画像バッファメモリ２０２の全方位高精細監視画像は、リサイズ部２０３により後述する画像処理部２０５の画像処理に適合する画素単位にリサイズされる。リサイズされた画像は、パノラマ画像生成部２０４に入力されて、全周囲を正面画像化したパノラマ画像に変換される。この場合、楕円状の画像領域が例えば上下に２分割されて、第１パノラマ画像、第２パノラマ画像として表示される。これらのパノラマ画像は、先のリサイズにより、最大１９２０×１０８０ピクセルの解像度を持つ画像であり、全方位高精細監視画像のピクセル数よりも少なく、データ処理の負担を軽くしている。

パノラマ画像生成部２０４のパノラマ画像は、画像処理部２０５にて、被検知物（人物の顔）を検出する顔検知処理、検知した顔の追跡処理の対象となる。画像処理部２０５は、人物の顔を検出すると、その顔画像情報、属性情報（推定年齢、性別、マスクの有無、メガネの有無など）、検知した顔の領域を囲む顔矩形座標情報を、オブジェクト情報バッファ２０６に送信する。属性情報は、顔画像情報から抽出される。

検出された顔画像情報はバッファメモリ２０６ａへ格納され、属性情報（推定年齢、性別、マスクの有無、メガネの有無など）はバッファメモリ２０６ｂへ格納され、検知した顔の領域（顔を含む領域）を示す顔矩形座標情報はバッファメモリ２０６ｃに格納される。

ここで、検知した顔の領域を示す顔矩形座標情報は、パノラマ画像から取得したものである。また、顔矩形座標情報により囲まれる領域の顔画像は、最大１９２０×１０８０ピクセルの解像度である。

さらにここで、座標変換処理部２０７は顔画像がバッファメモリ２０６ａに記憶されると、この顔画像を検出したパノラマ画像上の位置座標を全方位高精細監視画像の位置座標に変換する。

検知矩形座標情報生成部２０８は座標変換処理部２０７により生成された全方位高精細監視画像の位置座標をもとに検知矩形座標情報（顔を囲むフレームの座標情報）を生成する。

注目領域画像作成部２０９は検知矩形座標情報生成部２０８が生成した検知矩形座標情報をもとに、画像バッファメモリ２０２に貯えられた全方位高精細監視画像から画像処理部２０５が検出した顔画像（顔矩形画像と称す）に対応する高精細な顔矩形画像を切り出す。そして、この全方位高精細監視画像から切り出した高精細な顔矩形画像を補正処理する。補正処理は、歪のある画像を表示デバイス２１４のアスペクト（４：３或いは１６：９）の画像に正規化することである。この補正処理された顔矩形画像は、オブジェクト画像バッファメモリ２１０に貯えられる。

なお検知矩形座標情報生成部２０８が生成した検知矩形座標情報は、画像バッファメモリ２０２において、注目領域の顔を囲む検知対象の追跡や検知結果画像を生成するためのデータとして利用する。

上記のオブジェクト画像バッファメモリ２１０に貯えられた高精細な顔矩形画像はリサイズ部２１１により後述する表示デバイス２１４の画素構成に合った画面サイズにリサイズされブロッキング輝度伸張処理部２１２に送出される。

ブロッキング輝度伸張処理部２１２は、オブジェクト画像バッファメモリ２１０に貯えられた顔矩形画像に対して画素単位のブロッキング輝度伸張処理を施し画素レベルで明暗の補正を実施する。このブロッキング輝度伸張処理部２１２によるブロッキング輝度伸張処理により、監視対象の顔矩形画像に対して明暗の大きく異なる部分が画素レベルで補正され、監視対象の顔矩形画像が監視し易いダイナミックレンジの画像に補正される。このブロッキング輝度伸張処理技術の詳細については同一出願人による特許第５４８６９６３号、特許第５８６６１４６号、特許第５８８７０６７号に開示されている。

このブロッキング輝度伸張処理部２１２によりブロッキング輝度伸張処理された顔矩形画像は監視画像として表示デバイス２１４に表示される。

この表示デバイス２１４に表示された顔矩形画像は、全方位高精細監視画像から切り出されてブロッキング輝度伸張処理により監視し易いダイナミックレンジの画像に補正された高密度ベースの監視画像である。

上記したように、監視対象の顔矩形画像は、監視し易いダイナミックレンジで高品位の画像として、表示デバイス２１４に表示される。

さらに、画像バッファメモリ２０２に格納されている全方位高精細監視画像は、リサイズ部２１３により、表示デバイス２１４の画面に合わせたサイズにリサイズされる。このリサイズされた全方位監視画像は、例えば６４０×４８０画素の解像度である。この全方位監視画像は、ブロッキング輝度伸張部２１２で輝度伸張処理されて、先の顔矩形画像に重なるように合成される。

この全方位監視画像は、追跡している対象物（この実施形態では人物の顔）が全方位監視領域の中で、どの位置へ移動したかを容易に判断するのに有効である。

上記のオブジェクト情報バッファ２０６に格納されている顔画像及び属性情報などは、表示デバイス２１４に入力されて、付加的に表示されてもよい。また、顔画像情報はバッファメモリ２０６ａへ格納される顔画像情報、バッファメモリ２０６ｂへ格納される属性情報（推定年齢、性別、マスクの有無、メガネの有無など）は、互いにリンクした形で、オブジェクト情報バッファ２０６に蓄積される。これらの蓄積データは、その後の顔画像認識処理、追跡処理の際に利用する。

図１の構成において、画像バッファメモリ２０２、リサイズ部２０３、パノラマ画像生成部２０４は、視野角１８０°以上により空間を撮像して得た広角視野監視画像を、ビット数を低減させ且つリサイズし、少なくとも２つに分けて第１パノラマ画像、第２パノラマ画像に変換する第１の変換手段と称することができる。また、画像処理部２０５、オブジェクト情報バッファ２０６は、前記第１パノラマ画像若しくは第２パノラマ画像から少なくとも注目被写体を検知して追跡する検知及び追跡手段と称することができる。

さらに、座標変換処理部２０７、検知矩形座標情報生成部２０８、注目領域画像作成部２０９、オブジェクト画像バッファメモリ２１０は、前記注目被写体のパノラマ画像上の座標データを、前記広角視野監視画像上の座標データに変換して、前記広角視野監視画像から前記注目被写体の注目画像を切出す注目画像切出し手段と称することができる。そして、リサイズ部２１１、ブロッキング輝度伸張部２１２、法事デバイス２１４等は、少なくとも前記注目画像切出し手段が切り出した前記注目画像を表示する表示手段と称することができる。

図２は、上述した本実施形態の監視画像処理装置が使用されている全方位監視画像表示処理システムのハードウエアブロックの外観の一例を示す図である。全方位監視画像表示処理システムは、外観的に示すと、カメラ１０１、筐体に収納されたデータ処理装置４００、表示デバイス２１４を備える。

データ処理装置４００は、図１に示したキャプチャ部２０１、画像バッファメモリ２０２、リサイズ部２０３、パノラマ画像生成部２０４、画像処理部２０５、オブジェクト情報バッファ２０６、座標変換処理部２０７、検知矩形座標情報生成部２０８、注目領域画像作成部２０９、リサイズ部２１１、表示デバイス２１４、ブロッキング輝度伸張処理部２１２などを含む。図２では、データ処理装置４００の内部でアプリケーションに沿って処理される処理内容を概略的に示している。ここで示しているデータ処理の順序は必ずしも図に示す順序に限定されるものではない。

データ処理装置４００は、カメラ１０１からの高精細監視画像をストリーム受信部により受信する（Ｓ４０１）。ストリーム受信部で受信された高精細監視画像は、キャプチャ部によりフレーム単位でキャプチャされる（Ｓ４０３）。尚、ストリーム受信部で受信された高精細監視画像は、記憶媒体に一旦記憶された（Ｓ４０２）後に、フレーム単位でキャプチャされてもよい。

次にデータ処理装置４００内では、次のような処理が実行される。即ち、キャプチャされた高精細監視画像は前処理される（Ｓ４０４）。この前処理は、図１で説明したリサイズ、パノラマ画像生成に対応する。前処理されたパノラマ画像は、画像処理による顔検知及び追跡処理の対象となる（Ｓ４０４，Ｓ４０５）。

そして顔検知及び追跡処理に関して得られた情報は、顔矩形画像、属性情報、顔矩形座標情報などを含む。パノラマ画像の顔矩形座標情報は、全方位高精細画像の検知矩形座標情報に座標変換される（Ｓ４０７）。また属性情報も抽出される（Ｓ４０８）。

検知矩形座標情報が用いられて、画像バッファメモリ２０２内の全方位高精細監視画像から注目領域画像の切り出しと、切り出した画像に対する補正処理が実施される（Ｓ４０９）。この補正処理された画像は、ブロッキング輝度処理伸張されて（Ｓ４１０）表示デバイス２１４に供給される。

図３は、図２で示したデータ処理装置４００内で実行される動作をさらに詳しいレベルで記載した動作フローチャートである。全方位高精細監視画像の処理が開始されると（ステップＳＡ１）、該監視画像の１フレーム単位でのキャプチャが行われる（ステップＳＡ２）。

キャプチャ画像は、リサイズも含めてパノラマ画像に変換される（ステップＳＡ３）。パノラマ画像が用いられて、顔検知及び顔の追跡処理が実施される（ステップＳＡ４）。

顔が検知された場合は、今回検知した顔と同一の顔を過去フレームにおいて検知したことがあるかどうか判定する（ステップＳＡ５、ＳＡ６）。

同一の顔が存在した場合、当該顔画像データに対応する同一顔の検知データ（例えば顔検知矩形座標情報、顔の確からしさのスコア値、検知回数、最新検知フレーム番号、追跡フレーム数、前回検知からのフレーム間隔等）を更新する（ステップＳＡ８、ＳＡ９）。

過去の顔検知において、同一顔が検知されていない場合には、新たな顔検知データ（例えば初回検知フレーム番号、顔ID情報、顔検知矩形座標情報、顔の確からしさのスコア値）を作成する（ステップＳＡ１０）。

同一顔の検知データを更新した後は、パノラマ画像の顔矩形座標情報を、全方位高精細画像の検知矩形座標情報に座標変換する（ステップＳＡ１１）。この処理は、座標変換処理部２０７と検知矩形座標情報生成部２０８の処理に相当する。

次に座標変換が正しく実施された否かを判定する（ステップＳＡ１２）。座標変換が正しく実施された場合は、当該顔画像情報から属性情報を抽出する。

ステップＳＡ４において、顔が複数検知されている場合は、次の顔に関するデータデータ処理が、ステップＳＡ６からステップＳＡ１４の間で繰り替えし実行される。

次のステップＳＡ１５では、過去フレームの不要顔検知データの削除処理が実行される。不要顔の判定は、例えば一定の期間経過しても同一顔が検知されない場合、或は、特別に指定された顔の検知データの場合がある。さらには、処理が初期化された際、過去フレームの顔検知データを削除する。

上記した全方位高精細画像の検知矩形座標情報は、次に表示対象の顔画像を画像バッファメモリ２０２から切り出すために利用される（ステップＳＡ１６）。切出された顔画像は、ブロッキング輝度伸張されて表示される（ステップＳＡ１８、ＳＡ１９）。また、全方位画像の中で顔が検知されていない場合、或いは、ユーザが任意の視点を切り出し表示したい場合等は、図１で示したリサイズ部２１３でリサイズされた全方位画像として処理され、ブロッキング伸張処理を受けて表示対象となる（ステップＳＡ１７）。

図４（ａ）、図４（ｂ）は、全方位高精細監視画像とパノラマ画像の説明図である。図４（ａ）は、画像バッファメモリ２０２に格納された全方位高精細監視画像２５０の一例を示している。この全方位高精細監視画像２５０は、部屋の空間を撮像したものであり、表示対象となる人物２５３を含む。例えば枠２５４で囲む矩形領域が注目領域である。この全方位高精細監視画像２５０は、パノラマ画像に変換される際、例えば分割線２５１で示す位置で上下に分割され、図４（ｂ）に示すように第１のパノラマ画像２６１、第２のパノラマ画像２６２として生成される。

図５は、本実施形態の監視画像処理装置により表示デバイス２１４に画像が表示された一例を示す図である。全体は、注目領域画像３０３であり顔画像３０１を含む。さらに、この注目領域画像３０３には、リサイズされた全方位監視画像３０２が挿入されている。この全方位監視画像３０２の中に顔画像３０１に対応する人物画像３０２ａが存在する。

この表示を行うことにより、注目領域の顔画像３０１の移動位置を、全方位監視画像３０２により容易に確認することができる。さらに全方位監視画像３０２に含まれる人物画像３０２ａには，フレーム３０２ｂが付加されてもよい。このフレーム３０２ｂは例えば注目領域画像を切出す際に利用された検知矩形座標情報が、画像バッファメモリ２０２に書き込まれることにより、生成されている。

さらに、注目領域画像３０３には、属性情報３１２が表示されてもよい。またこの属性情報３１２と共にリサイズされた顔矩形画像３１１が表示されてもよい。この顔矩形画像３１１は、図１のオブジェクト情報バッファ２０６から取り出された画像である。

このような監視画像処理装置によると、注目領域画像３０３は、画像バッファメモリ２０２に貯えられた全方位高精細監視画像から、高精細な顔矩形画像として切出される。このために、パノラマ変換した画像から切り出すのに比べて画像品質が高い。またブロッキング輝度伸張処理されているので、画像品質の向上が図られている。

次に、注目領域画像３０３内にリサイズされた全方位監視画像３０２が挿入され、この全方位監視画像３０２の中に顔画像３０１に対応する人物画像３０２ａが存在する。このために、顔画像３０１の人物が監視空間の中で、どの位置に移動しているのかを容易に確認（監視）することができる。監視装置としての信頼性及び性能が向上している。また、属性情報も表示されるので監視機能の性能がアップする。

なお表示する画像において、属性情報３１２、リサイズされた顔矩形画像３１１は、必ずしも表示する必要はない。

本発明は上記した実施形態に限定されるものではない。実施形態では、３６０°全方位を撮像した画像を取得する装置として説明したが、１８０°以上の方位を撮像した画像を取得する装置であればよい。また、画像切出し、座標情報は、矩形である如く説明したが、これに限らず各種の形状であってもよい。例えば検出する人物が複数存在した場合、それぞれの顔画像の切り出し枠の形状が異なるようにしてもよい。

本発明の実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０１・・・全方位単眼カメラ、２０１・・・キャプチャ部、２０２・・・画像バッファメモリ、２０３・・・リサイズ部、２０４・・・パノラマ画像生成部、２０５・・・画像処理部、２０６・・・オブジェクト情報バッファ、２０７・・・座標変換処理部、２０８・・・検知矩形座標情報生成部、２０９・・・注目領域画像作成部、２１０・・・オブジェクト画像バッファメモリ、２１１・・・リサイズ部、２１２・・・ブロッキング輝度伸張部、２１４・・・表示デバイス。

一実施形態による監視画像処理装置は、視野角１８０°以上により空間を撮像して得た高解像度の広角視野監視画像を得る第１処理部と、前記広角視野監視画像よりも低解像度にビット数を低減させ且つリサイズし、少なくとも２つに分けて第１パノラマ画像、第２パノラマ画像に変換する第１の変換手段と、前記第１パノラマ画像若しくは前記第２パノラマ画像から少なくとも注目被写体を検知して追跡する検知及び追跡手段と、前記注目被写体の前記第１パノラマ画像若しくは前記第２パノラマ画像上の座標データを、前記広角視野監視画像上の座標データに変換する座標変換手段と、前記変換された座標データを用いて前記広角視野監視画像から前記注目被写体の注目画像を切出す注目画像切出し手段とを含む第２処理部と、少なくとも前記注目画像切出し手段が切り出した前記注目画像を表示する表示手段を含む第３処理部と、を備え、
前記第１処理部と前記第３処理部の処理が、前記第２処理部の処理により関連付けられていることを特徴とする。

Claims (10)

1. 視野角１８０°以上により空間を撮像して得た広角視野監視画像を、ビット数を低減させ且つリサイズし、少なくとも２つに分けて第１パノラマ画像、第２パノラマ画像に変換する第１の変換手段と、
   前記第１パノラマ画像若しくは第２パノラマ画像から少なくとも注目被写体を検知して追跡する検知及び追跡手段と、
   前記注目被写体のパノラマ画像上の座標データを、前記広角視野監視画像上の座標データに変換して、前記広角視野監視画像から前記注目被写体の注目画像を切出す注目画像切出し手段と、
   少なくとも前記注目画像切出し手段が切り出した前記注目画像を表示する表示手段と、を備える、
   監視画像処理装置。
2. 前記表示手段は、前記広角視野監視画像による広角視野監視画像を縮小した縮小広角視野監視画像を、前記注目画像上の一部に重ねて表示する、請求項１記載の監視画像処理装置。
3. 前記表示手段では、前記縮小広角視野監視画像において、前記注目画像に対応する注目被写体を縮小表示する、請求項２記載の監視画像処理装置。
4. 前記表示手段では、前記縮小広角視野監視画像において、前記注目画像に対応する注目被写体を縮小表示し、且つマークを付加する、請求項２記載の監視画像処理装置。
5. 前記注目画像は、顔画像を含む領域の矩形顔画像である、請求項１記載の監視画像処理装置。
6. 単眼カメラで撮影した３６０°全周監視画像を監視対象に人物の顔画像若しくは顔を含む一部人物像を検知対象として画像処理を行う監視画像処理装置であって、
   前記３６０°全周監視画像をフレーム単位にキャプチャする監視画像入力手段と、
   前記監視画像入力手段がキャプチャした監視画像を当該画像より解像度の低いパノラマ画像に変換するパノラマ画像生成手段と、
   前記パノラマ画像を処理対象に前記検知対象の検知処理を実施する画像処理手段と、
   前記画像処理手段で処理された前記検知対象について前記パノラマ画像の位置座標を前記キャプチャされた前記監視画像の位置座標に変換する座標変換処理手段と、
   前記座標変換処理手段が生成した前記監視画像の位置座標に従い前記キャプチャされた監視画像から前記検知対象を切り出し歪曲収差の補正を行って表示用にリサイズした検知対象画像を生成する注目領域画像作成手段と、
   前記注目領域画像作成手段で生成された検知対象画像を表示する表示モニタと、
   を具備したことを特徴とする監視画像処理装置。
7. 前記注目領域画像作成手段で生成された前記検知対象画像に対して画素単位のブロッキング輝度伸張処理を実施するブロッキング輝度伸張処理手段をさらに具備した請求項６に記載の監視画像処理装置。
8. 前記画像処理手段は、前記検知対象の特徴抽出処理を実施し、抽出した特徴情報を前記検知対象に対応付けて管理するオブジェクト管理手段をさらに具備した請求項６又は７に記載の監視画像処理装置。
9. 視野角１８０°以上により空間を撮像して得た広角視野監視画像を得るカメラと、前記広角視野監視画像を処理するデータ処理装置と、前記データ処理装置の出力を表示する表示デバイスとを用いる監視画像処理方法において、
   前記ビット数を低減させ且つリサイズし、少なくとも２つに分けて第１パノラマ画像、第２パノラマ画像に変換し、
   前記第１パノラマ画像若しくは第２パノラマ画像から少なくとも注目被写体を検知して追跡し、
   前記注目被写体のパノラマ画像上の座標データを、前記広角視野監視画像上の座標データに変換して、前記広角視野監視画像から前記注目被写体の注目画像を切出し、
   少なくとも前記注目画像切出し手段が切り出した前記注目画像を表示する、
   監視画像処理方法。
10. さらに、前記パノラマ画像から検出した顔画像を、前記表示器に縮小表示する、請求項９記載の監視画像処理方法。

Images