JP2016092693A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】通過検出ライン付近を被写体が通過した場合でも、誤検出を低減し、安定した通過検出を実現する。
【解決手段】全方位撮像レンズを介して撮像された撮像画像から動物体を検出する動物体検出部と、全方位撮像レンズの鉛直位置に対応する基準位置を撮像画像に対して設定し、基準位置と動物体の位置とに基づいて、動物体のフットプリント位置を設定する設定部と、フットプリント位置と撮像画像上に設定された検出ラインとに基づいて、動物体による検出ラインの通過を検出する通過検出部とを備える。
【選択図】 図６

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関し、特に、監視により物体の検出や詳細情報を取得する監視技術に関するものである。

従来、店舗や駐車場内における窃盗行為や違法行為を監視するため、或いは、外部からの第三者の進入等を監視するために、店舗や駐車場の種々の箇所、或いは、特定の建造物を取り囲むフェンス上などに、監視カメラが配置されている。

監視カメラシにおいて、公共・レジャー施設等における防災、監視、管理運営をより効率よく行うために、人の動きを自動的に計測し解析するシステムのニーズが高まっている。例えば、施設に出入りする人間が、現在何人で、どの方向へ、どの程度の速度で移動しているかという情報から、その施設内の部分的な運行量や施設の利用状況を把握する。また、観測エリア周辺の混雑状態の予測を行い、群衆を混雑から回避する方向へ誘導するための情報も得ることができる。

特許文献１では、出入口で集散する歩行者等のように移動方向が一定でない状況でも人物等を安定に方向別に計数する方向が記載されている。そして、広角レンズなどを用いたために、映像の周辺部でひずみが生じている場合にも、画面上では曲線であるが、その曲線を撮像された実空間の床面に投影すると直線となるような、レンズのひずみに合わせた曲線を計数ラインとして用いることが記載されている。

特許文献２では、画像処理により、観測画像上に仮想ゲートを設定し、移動体の動線または投影図が仮想ゲートを横切ったことにより、移動体の自然な流動を妨げずに移動体を検出することが記載されている。

特開平８−１２３９３５号公報 特開平０６−２２３１５７号公報

しかしながら、これらの従来技術では、通過検出ライン付近を被写体が通過した場合、被写体の大きさ（高さ）によっては、通過検出ラインと交差し、誤検出を生じてしまうことがある。

また、魚眼レンズを使用した全方位カメラは、比較的広範囲を撮影できるため、広い空間を俯瞰するような監視に有効である。しかし、全方位カメラでは、小型店舗等、比較的狭い空間を撮像する場合には、被写体の大きさが無視できず、通過検出ライン付近を被写体が通ると、被写体の一部が通過検出ラインと交差し、誤検出を起こしてしまうことがある。

本発明は、上記の課題に鑑みてなされたものであり、通過検出ライン付近を被写体が通過した場合でも、誤検出を低減し、安定した通過検出を実現することを目的とする。

上記の目的を達成するために、本発明の一態様による撮像装置は以下のような構成を備える。即ち、
全方位撮像レンズを介して撮像された撮像画像から動物体を検出する動物体検出手段と、
前記全方位撮像レンズの鉛直位置に対応する基準位置を前記撮像画像に対して設定し、前記基準位置と前記動物体の位置とに基づいて、前記動物体のフットプリント位置を設定する設定手段と、
前記フットプリント位置と前記撮像画像上に設定された検出ラインとに基づいて、前記動物体による前記検出ラインの通過を検出する通過検出手段と
を備えることを特徴とする。

本発明によれば、通過検出ライン付近を被写体が通過した場合でも、誤検出を低減し、安定した通過検出を実現することができる。

本発明の一実施形態に係る監視カメラシステムの構成の一例を示す図。 第１実施形態に係る全方位画像の一例を示す図。 第１実施形態に係る全方位画像の一例を示す図。 第１実施形態に係る全方位画像の一例を示す図。 第１実施形態に係る撮像装置の構成例を示す図。 第１実施形態に係る撮像装置が実施する処理の手順を示すフローチャート。 第２実施形態に係る全方位画像の一例を示す図。 第２実施形態に係る全方位画像の一例を示す図。 第２実施形態に係る撮像装置が実施する処理の手順を示すフローチャート。 第２実施形態に係る撮像装置の構成例を示す図。 第３実施形態に係る監視カメラシステムの構成の一例を示す図。

以下、添付の図面を参照しながら、本発明の実施形態について詳述する。なお、実施形態を通じて同一の構成要素には同一の参照符号を付している。

（第１実施形態）
第１実施形態では、全方位カメラの鉛直方向の位置を基準位置とし、基準位置と被写体位置との位置関係に基づいてフットプリントを設定し、検出ラインに対するフットプリントの通過により通過検出を行う例を説明する。

まず図１を参照して、本発明の一実施形態に係る監視カメラシステムの構成の一例について説明する。監視カメラ１０は、撮像装置１０１と、クライアント端末１０２とを備えており、撮像装置１０１とクライアント端末１０２とは、ネットワーク１０３を介して接続されている。

撮像装置１０１は、例えば魚眼レンズを搭載した全方位カメラであり、天井に鉛直下向きに取り付けられている。撮像装置１０１で撮像された被写体１０４の映像は、ネットワーク１０３を介して、クライアント端末１０２又は不図示の録画サーバに送信される。表示装置１０５は、クライアント端末１０２が備える表示装置又は不図示の録画サーバと接続された表示装置であり、撮像装置１０１により撮像された全方位画像１０６を表示する。

続いて、図２は、天井に鉛直下向きに取り付けられた撮像装置１０１により店舗内を撮像して取得された全方位画像１０６の一例である。不図示の操作者は、例えば人物の通過量検出のために、あるいは人物の通過警告のために、検出ライン２０３を予め設定している。ここで、被写体１０４が通路に沿って歩いているとすると、検出ライン２０３と交差してしまい誤検出となってしまう。

ここで、２０１は、撮像装置１０１で撮像した場合の鉛直位置である。全方位魚眼レンズの特性上、撮像画像は鉛直基準位置２０１を中心に放射状に形成される。撮像装置１０１の鉛直位置を鉛直基準位置２０１とし、鉛直基準位置２０１に対する被写体１０４の最短位置を被写体１０４のフットプリント２０２とする。そして、設定された検出ライン２０３に対するフットプリント２０２の交差（通過）を検出する。これにより、フットプリント２０２と検出ライン２０３とが同一平面（地面）上に存在することになるので、誤検出を低減し、安定した通過検出を行うことが可能となる。

例えば、図３に示すように、被写体１０４が被写体１０４ａの位置に移動する場合、被写体１０４のフットプリント２０２が、検出ライン２０３を通過し、被写体１０４ａのフットプリント３０１へ移動することにより、通過検出が行われる。

一方、図４は、被写体１０４が通路に沿って（検出ライン２０３に並行して）、被写体１０４ｂの位置に移動した場合を示している。この場合、被写体１０４のフットプリント２０２から被写体１０４ｂのフットプリント４０１に移動する間、検出ライン２０３と交差することはなく、誤検出を防止することができる。

次に、図５を参照して、第１実施形態に係る撮像装置１０１の構成例を説明する。撮像装置１０１は、魚眼レンズ（全方位撮像レンズ）５０１と、撮像素子５０２と、映像信号処理部５０３と、歪曲補正部５０４と、重畳部５０５と、エンコーダ５０６と、ネットワーク部５０７と、制御部５０８と、動物体検出部５０９と、設定部５１０と、通過検出部５１１とを備える。制御部５０８が不図示のメモリからコンピュータプログラムを読み出して実行することにより各構成要素の動作が制御される。

被写体１０４の映像は、魚眼レンズ５０１を通して撮像素子５０２に投影される。その投影像は電気信号に変換され、映像信号処理部５０３に送られる。映像信号処理部５０３では、色分離、ホワイトバランス、ガンマ補正等の処理が施され、処理結果を歪曲補正部５０４に出力する。歪曲補正部５０４では、クライアント端末１０２の要求に応じて、全方位画像の状態、あるいは、３６０度パノラマ、１８０度ダブルパノラマ、４画面切り出し、８画面切り出しなど、さまざまな表示モードに対応した歪曲画像の補正、加工が行われる。

次に、重畳部５０５は、全方位画像１０６に対して、予め歪曲を施した検出ライン２０３の画像レイヤを用意して検出ライン２０３の重畳を行う。また、展開画像（３６０度パノラマ、１８０度ダブルパノラマ、４画面切り出し、８画面切り出し）に対しては、時刻、日時、カメラ名称、方角などを重畳して出力する。

なお、全方位画像１０６に対して、時刻、日時、カメラ名称、方角などの情報を重畳すると、展開（歪曲画像補正）時に文字、画像が崩れてしまうので、黒画部に重畳して表示を行い、クライアントでの展開（画像歪曲補正）時にはそのまま除去を行うことが有効である。他に、黒画部にデータとして埋め込み、クライアントでの展開時に取り出してもよい。

次に、エンコーダ５０６がエンコード処理を行い、ネットワーク部５０７にデータを出力する。ネットワーク部５０７は、ネットワーク１０３を介して、録画サーバ５００への配信、あるいはクライアント端末１０２への配信等を行う。

また、録画サーバ５００あるいはクライアント端末１０２から送信されたコントロールコマンドは、ネットワーク１０３を介してネットワーク部５０７で受信され、制御部５０８に送られて解析される。例えば、クライアント端末１０２から１８０度ダブルパノラマへの変更を指示する変更コマンドが送信されると、当該コマンドは制御部５０８で解析され、歪曲補正部５０４で１８０度ダブルパノラマへの変更が行われる。

動物体検出部５０９は、魚眼レンズ（全方位撮像レンズ）５０１を介して撮像された撮像画像（全方位画像１０６）から動物体（被写体１０４）を検出する。設定部５１０は、魚眼レンズ（全方位撮像レンズ）５０１の鉛直位置に対応する鉛直基準位置２０１を撮像画像（全方位画像１０６）に対して設定し、鉛直基準位置２０１と動物体（被写体）の位置とに基づいて、動物体（被写体１０４）のフットプリント２０２の位置を設定する。

通過検出部５１１は、フットプリント２０２の位置と撮像画像（全方位画像１０６）上に設定された検出ライン２０３とに基づいて、動物体（被写体１０４）による検出ライン２０３の通過を検出する。

続いて、図６のフローチャートを参照して、第１実施形態に係る撮像装置１０１が実施する処理の手順を説明する。

Ｓ６０１において、制御部５０８は、魚眼レンズ５０１を通して撮像素子５０２に投影された全方位画像１０６を表示装置１０５へ送信して全画面表示を行う。Ｓ６０２において、制御部５０８は、動物体検出部５０９を制御して、全方位画像１０６において動物体（被写体１０４）を検出する。Ｓ６０３において、制御部５０８は、設定部５１０を制御して、検出された動物体（被写体１０４）のフットプリントの位置を設定する。

図２乃至図４を参照して説明したように、撮像装置１０１の鉛直位置（例えば全方位画像１０６の中心位置）を鉛直基準位置２０１とし、鉛直基準位置２０１に対する被写体１０４の最短位置を被写体１０４のフットプリント２０２の位置として設定する。

Ｓ６０４において、制御部５０８は、通過検出部５１１を制御して、予め設定済みの検出ライン２０３と被写体１０４のフットプリント２０２とに基づいて、被写体１０４が検出ライン２０３を通過したか否かを判定する。通過した場合、Ｓ６０５へ進む。一方、通過していない場合、Ｓ６０１に戻る。

Ｓ６０５において、制御部５０８は、被写体１０４が検出ライン２０３を通過したことに応じた処理を実施する。例えば、監視カメラシステムにおいて被写体の通過を警告したい場合には、表示装置１０５上で警告表示を行ったり、音声で報知したりしてもよい。通過人数の総計を算出している場合には、通過人数にカウントしたり、カウントされた人数を表示装置１０５に表示したりしてもよい。その他、目的に応じた様々な処理を実施することができる。以上で図６の各処理が終了する。

なお、通過検出の処理など一連の処理の一部又は全部を、クライアント端末１０２上で行う構成であってもよい。また、イメージサークルを、通常の正円形ではなく楕円形とし、撮像素子５０２上で撮像する面積を拡大し、周辺解像度を向上させた全方位レンズに対しても、同様に本発明を適用可能である。

以上説明したように、本実施形態では、全方位カメラの鉛直方向の位置を基準位置とし、基準位置と被写体位置との位置関係に基づいてフットプリントを設定し、検出ラインに対するフットプリントの通過により通過検出を行う。これにより、通過検出ライン付近を被写体が通過した場合でも、誤検出を低減し、安定した通過検出を実現することができる。

（第２実施形態）
第２実施形態では、被写体のフットプリントに対する重心位置の高さを検出し、検出した高さを地面上の検出ラインにも反映させて第２の検出ラインを設定し、さらに第２の検出ラインに対する重心位置の交差（通過）を検出することで通過検出を行う例を説明する。

図７は、天井に鉛直下向きに取り付けられた撮像装置１０１により店舗内を撮像して取得された全方位画像１０６の一例である。不図示の操作者は、例えば人物の通過量検出のために、あるいは人物の通過警告のために、検出ライン２０３を予め設定している。

また第１実施形態と同様に、撮像装置１０１の鉛直方向の位置（全方位画像１０６の中心位置）を鉛直基準位置２０１とし、鉛直基準位置２０１に対する被写体１０４の最短位置を被写体１０４のフットプリント８０２として設定する。ここでは、検出ライン２０３に対する被写体１０４の重心位置７０１の通過検出を行うものとする。被写体１０４が被写体１０４ｃの位置に移動した場合、重心位置７０１は重心位置７０２へと移動し、検出ライン２０３と交差してしまい誤検出となってしまう。

そこで、図８に示すように、まず、被写体１０４のフットプリント８０２に対する重心位置７０１の高さを設定する。そして設定した高さ情報を地面上の検出ライン２０３にも反映させ、検出ライン８０１を設定する。この検出ライン８０１に対する重心位置７０１の交差（通過）を検出することにより、通過検出を行う。

重心位置７０１は、例えば鉛直基準位置２０１とフットプリント８０２の位置とを結ぶ直線上においてフットプリント８０２の位置から所定距離だけ離れた位置に設定する。フットプリント８０２の位置と重心位置７０１との所定距離は鉛直基準位置２０１からフットプリント８０２の位置までの距離に応じて設定してもよい。例えば、被写体１０４が鉛直基準位置２０１付近にいる場合や全方位画像１０６の円形外縁部付近にいる場合には、所定距離を短く設定する。これは被写体１０４が鉛直基準位置２０１付近にいる場合には、被写体１０４を頭上方向から観察することになり、被写体１０４の長さ（見かけ上の身長）が短くなるためである。あるいは、検出した被写体１０４を解析して重心位置（例えば、腰付近の位置）を推定し、推定位置を重心位置７０１として設定してもよい。

これにより、検出ライン８０１と重心位置７０１（重心位置７０２）とが同一平面上（同一の高さ）となるので誤検出を低減し、安定した通過検出を行うことが可能となる。

次に、図１０を参照して、第２実施形態に係る撮像装置１０１の構成例を説明する。第１実施形態において図５を参照して説明した構成要素に加えて、検出ライン設定部１００１をさらに備える。検出ライン設定部１００１では、レンズの歪曲に応じた処理を施した検出ラインの重畳が行われる。

重畳部５０５は、展開画像（３６０度パノラマ、１８０度ダブルパノラマ、４画面切り出し、８画面切り出し）に対して、時刻、日時、カメラ名称、方角などを重畳して出力することが可能である。その他、監視者（操作者）が方向を識別できるように、予め設定された『エントランス』、『ホール』の位置、方向等を画面端に表示してもよい。

続いて、図９のフローチャートを参照して、第２実施形態に係る撮像装置１０１が実施する処理の手順を説明する。

Ｓ９０１において、制御部５０８は、魚眼レンズ５０１を通して撮像素子５０２に投影された全方位画像１０６を表示装置１０５へ送信して全画面表示を行う。Ｓ９０２において、制御部５０８は、動物体検出部５０９を制御して、全方位画像１０６において動物体を検出する。

Ｓ９０３において、制御部５０８は、検出された動物体（被写体１０４）のフットプリントを設定する。図７及び図８を参照して説明したように、撮像装置１０１の鉛直位置（全方位画像１０６の中心位置）を鉛直基準位置２０１とし、鉛直基準位置２０１に対する被写体１０４の最短位置を被写体１０４のフットプリント８０２の位置として設定する。

Ｓ９０４において、制御部５０８は、設定部５１０を制御して、被写体１０４のフットプリント８０２に対する重心位置７０１を設定する。Ｓ９０５において、制御部５０８は、検出ライン設定部１００１を制御して、重心位置７０１に対応する検出ライン８０１を設定する。

Ｓ９０６において、制御部５０８は、通過検出部５１１を制御して、検出ライン８０１と被写体１０４の重心位置７０１とに基づいて、被写体１０４の重心位置７０１が検出ライン８０１を通過したか否かを判定する。これにより被写体１０４が検出ライン２０３を通過したかを判定する。通過した場合、Ｓ９０７へ進む。一方、通過していない場合、Ｓ９０１に戻る。

Ｓ９０７において、制御部５０８は、被写体１０４が検出ライン２０３を通過したことに応じた処理を実施する。処理の詳細は第１実施形態と同様であるため、説明を省略する。以上で図９の各処理が終了する。

以上説明したように、本実施形態では、全方位カメラの鉛直方向の位置を基準位置とし、基準位置と被写体位置との位置関係に基づいてフットプリントを設定し、被写体の重心位置と、当該重心位置に対応する検出ラインを新たに設定する。そして当該検出ラインに対する被写体の重心位置の通過により通過検出を行う。これにより、通過検出ライン付近を被写体が通過した場合でも、誤検出を低減し、安定した通過検出を実現することができる。

なお、第１実施形態との組み合わせてもよく、被写体のフットプリント位置による検出ラインの通過の有無に加えて、被写体の重心位置による第２の検出ラインの通過の有無を判定し、両方が満足された場合に被写体が通過したと判定するように構成してもよい。

（第３実施形態）
第３実施形態では、撮像装置１１０１が鉛直下向きではなく、角度を持って取り付けられている場合を例に説明する。

図１１は、第３実施形態に係る監視カメラシステムの構成例を示す図である。図１１において、撮像装置１１０１は、魚眼レンズを搭載した全方位カメラであり、鉛直に対し、傾倒角度αで取り付けられている。撮像装置の構成要素は第１又は第２実施形態と同様であるため、説明を省略する。撮像装置１１０１で撮像された被写体１０４の映像は、ネットワーク１０３を介して、クライアント端末１０２や不図示の録画サーバに送信される。表示装置１０５に表示されている１１０６は、撮像装置１１０１の映像（全方位画像）である。

制御部５０８は、鉛直方向に対する撮像装置１１０１の傾倒角度αを検出し、傾倒角度αに応じた全方位画像上１１０６の鉛直ポイントを設定する。これにより、傾倒角度に応じた被写体のフットプリントの検出が可能となり、検出精度を向上させることが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像装置、１０２：クライアント端末、１０３：ネットワーク、１０４：被写体、１０５：表示装置、１０６：全方位画像、５０１：魚眼レンズユニット、５０２：撮像素子、５０３：映像信号処理部、５０４：歪曲補正部、５０５：重畳部、５０６：エンコーダ、５０７：ネットワーク部、５０８：制御部、５０９：動物体検出部、５１０：設定部、通過検出部５１１

Claims (9)

1. 全方位撮像レンズを介して撮像された撮像画像から動物体を検出する動物体検出手段と、
   前記全方位撮像レンズの鉛直位置に対応する基準位置を前記撮像画像に対して設定し、前記基準位置と前記動物体の位置とに基づいて、前記動物体のフットプリント位置を設定する設定手段と、
   前記フットプリント位置と前記撮像画像上に設定された検出ラインとに基づいて、前記動物体による前記検出ラインの通過を検出する通過検出手段と
   を備えることを特徴とする撮像装置。
2. 前記通過検出手段は、前記検出ラインに対する前記フットプリント位置の通過を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記基準位置と前記動物体との最短距離に対応する位置を前記フットプリント位置として設定することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記フットプリント位置に基づいて前記動物体の重心位置を設定し、当該重心位置に対応する第２の検出ラインを設定する検出ライン設定手段をさらに備え、
   前記通過検出手段は、前記第２の検出ラインに対する前記動物体の重心位置の通過を検出することを特徴とする請求項１に記載の撮像装置。
5. 前記検出ライン設定手段は、前記基準位置に対して前記フットプリント位置から所定距離だけ離間した位置を前記重心位置として設定することを特徴とする請求項４に記載の撮像装置。
6. 前記設定手段は、前記全方位撮像レンズの鉛直方向に対する傾倒角度に応じて前記基準位置を設定することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 請求項１乃至６の何れか１項に記載の撮像装置と、
   前記撮像装置からネットワークを介して画像を取得する情報処理装置と
   を備えることを特徴とする監視カメラシステム。
8. 撮像装置の制御方法であって、
   動物体検出手段が、全方位撮像レンズを介して撮像された撮像画像から動物体を検出する工程と、
   設定手段が、前記全方位撮像レンズの鉛直位置に対応する基準位置を前記撮像画像に対して設定し、前記基準位置と前記動物体の位置とに基づいて、前記動物体のフットプリント位置を設定する工程と、
   通過検出手段が、前記フットプリント位置と前記撮像画像上に設定された検出ラインとに基づいて、前記動物体による前記検出ラインの通過を検出する工程と
   を有することを特徴とする撮像装置の制御方法。
9. 請求項８に記載の撮像装置の制御方法の各工程をコンピュータに実行させるためのプログラム。