JP2019201326A - 情報処理装置、撮像装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】撮影画像に多くの人体が含まれる場合であっても、人数カウントの精度低下を防ぐことを目的とする。【解決手段】撮像画像において、人体を検出する検出手段と、撮像画像における通過検知ラインと、人体との位置関係に基づいて、検出手段により検出された複数の人体のうち所定の数の人体を選択する選択手段と、選択手段により選択された人体を対象とし、対象の人体を基準とした領域において追尾を行い、通過検知ラインを通過したか否かを判定する通過判定手段とを有する。【選択図】図５

Description

本発明は、情報処理装置、撮像装置、情報処理方法及びプログラムに関する。

従来、競技場や駅、イベント会場、空港、小売店舗や大規模な商業店舗など、さまざまな施設で、カメラで撮影した画像を画像解析することで特定エリアや特定ライン上を通過した人数をカウントする通過人数カウント技術がある。この技術では、画像内に映っている人体を画像解析により検出し、さらにその人体を画像内で追尾処理することで通過検知ラインを通過した人体を検出し、通過人数をカウントする。

非特許文献１には、動画像の最初の画像に対して、画像全体を対象として人体を検出する全画面探索を行い、後続の画像に対しては全画面探索で検出した人体の周辺のみを探索範囲として人体を追尾する局所探索を行う技術が開示されている。これにより、計算負荷が大きい全画面探索を減らし、計算負荷の小さい局所探索を複数回実行することで、人体追尾の計算負荷を低減している。

「画像ラボ」、日本工業出版、平成２９年３月１０日、第２８巻第３号（通巻３２７号）、p.５３−５７（多人数を高速にカウントする映像解析ソフトウェア）

しかしながら、イベント会場や空港などたくさんの人が集まる場所においては、撮影画像に多くの人体が含まれる。このように多くの人体が含まれると、局所探索の処理時間が長くなってしまう。局所探索の処理時間が長くなった場合の課題について図１３を参照しつつ説明する。画像１３１０，１３２０，１３３０は、動画像の１枚目、２枚目、３枚目を示している。画像１３１０において全画面探索が実行され、２つの人体Ｘ，Ｙが検出されたとする。この場合、人体Ｘ，Ｙそれぞれの周辺領域１３１１が人体検出の対象領域となる。後続の画像１３２０においては、２つの人体Ｘ，Ｙは、少し移動しているが、探索範囲となる周辺領域１３２１内に位置しているため、追尾が可能である。画像１３２０の局所探索に係る処理時間が長いと、画像１３３０に示す人体Ｙのように、人体が探索範囲となる周辺領域１３２１から外れてしまう場合がある。このように周辺領域１３２１から外れた場合、人体の追尾を継続することができなくなってしまう。このように、局所探索の処理時間が長くなると、検出漏れが発生し、人数カウントの精度低下を招くおそれがある。

本発明はこのような問題点に鑑みなされたもので、撮影画像に多くの人体が含まれる場合であっても、人数カウントの精度低下を防ぐことを目的とする。

そこで、本発明は、情報処理装置であって、撮像画像において、人体を検出する検出手段と、撮像画像における通過検知ラインと、人体との位置関係に基づいて、前記検出手段により検出された複数の人体のうち所定の数の人体を選択する選択手段と、前記選択手段により選択された人体を対象とし、対象の人体を基準とした領域において追尾を行い、前記通過検知ラインを通過したか否かを判定する通過判定手段とを有することを特徴とする。

本発明によれば、撮影画像に多くの人体が含まれる場合であっても、人数カウントの精度低下を防ぐことができる。

情報処理システムの全体構成図である。 情報処理装置の機能構成図である。 表示部の表示例を示す図である。 通過カウント処理を示すフローチャートである。 人体選択処理を示すフローチャートである。 全画面探索処理の説明図である。 距離算出処理の説明図である。 人体選択処理の説明図である。 通過検知ラインの他の例を示す図である。 距離の算出方法の説明図である。 第２の実施形態に係る人体選択処理を示すフローチャートである。 撮像画像の一例を示す図である。 従来技術の説明図である。

図１は、情報処理システムの全体構成図である。情報処理システムは、情報処理装置１１０と、ネットワークカメラ１２０とを有している。情報処理装置１１０とネットワークカメラ１２０は、インターネット等のネットワークを介して接続される。ネットワークカメラ１２０は、劇場や映画館、スタジアムなどに設置される監視カメラであってもよく、ＰＴＺ制御可能に構成される。ネットワークカメラ１２０は、撮像装置の一例である。ネットワークカメラ１２０は、パンおよびチルト制御用の雲台を有する。ネットワークカメラ１２０は、画像をネットワークに配信する。情報処理装置１１０は、ネットワークカメラ１２０の雲台の制御およびネットワークカメラ１２０からの画像の画質等の制御を行い、ネットワークカメラ１２０から配信された画像を解析処理する。なお、ネットワークカメラ１２０、情報処理装置１１０はそれぞれ複数存在してもよい。

情報処理装置１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ＨＤＤ１１４と、表示部１１５と、入力部１１６と、通信部１１７とを有している。ＣＰＵ１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。表示部１１５は、各種情報を表示する。表示部１１５は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などである。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１１７は、ネットワークを介して外部装置との通信処理を行う。

なお、後述する情報処理装置１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１１１は、ＲＯＭ１１２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

また、他の例としては、情報処理装置１１０の機能や処理の少なくとも一部は、例えば複数のＣＰＵ、ＲＡＭ、ＲＯＭ、及びストレージを協働させることにより実現してもよい。また、他の例としては、情報処理装置１１０の機能や処理の少なくとも一部は、ハードウェア回路を用いて実現してもよい。

ネットワークカメラ１２０は、ＣＰＵ１２１と、ＲＯＭ１２２と、ＲＡＭ１２３と、撮像部１２４と、表示部１２５と、入力部１２６と、通信部１２７とを有している。ＣＰＵ１２１、ＲＯＭ１２２、ＲＡＭ１２３、表示部１２５、入力部１２６及び通信部１２７は、それぞれＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、表示部１１５と、入力部１１６及び通信部１１７と同様である。

撮像部１２４は、実空間内の撮像対象領域を撮像することにより画像を生成する。撮像部１２４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサなどの撮像素子を含む。撮像部１２４はさらに、撮像方向を変えるための雲台と、ズームやフォーカスや絞りなどの撮像の設定を変更する機構とを含む。

ＣＰＵ１２１は例えば、通信部１２７経由で外部からリクエストコマンドを受け付け、受け付けたリクエストコマンドを解析し実行する。例えば、リクエストコマンドがネットワークカメラ１２０の制御のリクエストに関するコマンドであれば、ＣＰＵ１２１は、そのコマンドを制御コマンドに変換し、撮像部１２４へ送る。撮像部１２４は、受けた制御コマンドを実行する。また、リクエストコマンドがネットワークカメラ１２０の設定の状態の問い合わせに関するコマンドであれば、ＣＰＵ１２１は、ＲＡＭ１２３より該当する状態を取得し、レスポンス形式に変換して返信する。

図２は、情報処理装置１１０の機能構成図である。情報処理装置１１０は、通信処理部２０１と、受付部２０２と、表示処理部２０３と、カメラ状態管理部２０４と、コマンド管理部２０５と、画像管理部２０６と、解析部２０７と、を有している。通信処理部２０１は、通信を制御する。受付部２０２は、ユーザ操作に応じた指示等を受け付ける。表示処理部２０３は、表示部１１５への表示を制御する。

カメラ状態管理部２０４は、解析対象とするネットワークカメラ１２０からネットワークカメラ１２０の状態を取得するか、または該ネットワークカメラ１２０からの状態変更の通知を受ける。カメラ状態管理部２０４は、取得した状態または受けた通知に基づいて、ネットワークカメラ１２０の雲台や撮像機構の状態を把握し管理する。コマンド管理部２０５は、ネットワークカメラ１２０の雲台や撮像機構を所望の状態に変更するためのリクエストコマンドやネットワークカメラ１２０から画像を取得するためのリクエストコマンドを生成し、送信する。

画像管理部２０６は、ネットワークカメラ１２０によって撮像された画像を、ネットワークを介してネットワークカメラ１２０から取得する。画像管理部２０６は、ネットワークカメラ１２０から配信された画像の取得および管理を行う。画像管理部２０６は、ネットワークカメラ１２０から送信される画像を受信する。指定される解像度・フレームレート・フォーマットなどの設定には、人数のカウント処理と並行して行われる監視処理などの別の処理で使用されるべき設定が用いられてもよい。また、情報処理装置１１０が人数のカウント処理に最適な設定を適用してもよい。解析部２０７は、ネットワークカメラ１２０からの画像に対して画像内の人の検出および検出された人のカウントを行う。

図３は、表示部１１５の例を示す図である。図３においては、表示部１１５には、ネットワークカメラ１２０で撮影された画像３００が表示される。さらに、画像３００上には、通過人数カウントのための通過検知ライン３１０が重畳表示されている。通過検知ライン３１０は、入力部１１６を介して任意に設定可能である。図３に示す例においては、通過検知ライン３１０を横切る人体が方向別にカウンター３２０に表示されている。

図４は、情報処理装置１１０による通過カウント処理を示すフローチャートである。情報処理装置１１０の解析部２０７は、まず、Ｓ４００において、全画面探索処理を行う。全画面探索処理は前述の通り、撮像画像全体を処理対象として人体を検出する処理である。続いて、Ｓ４１１〜Ｓ４１４において、解析部２０７は、全画面探索処理により検出された人体を対象として、順次局所探索処理を行う。ここで、局所探索処理とは、対象の人体を基準とした一定距離までの範囲を探索範囲として、人体検出することで追尾する処理である。対象となるすべての人体に対する追尾処理が完了すると、解析部２０７は、Ｓ４２０において、再び全画面探索処理を行う。このように、解析部２０７は、全画面探索処理と局所探索処理とを繰り返すことで追尾を実現する。

図５は、情報処理装置１１０による人体選択処理を示すフローチャートである。情報処理装置１１０は、全画面探索処理により検出した複数の人体のうち、人体選択処理により選択された所定の数の人体のみを局所探索処理の対象とする。Ｓ５００において、情報処理装置１１０の解析部２０７は、全画面探索処理を行う。図６は、全画面探索処理の説明図である。図６（ａ）に示す画像６００において、人体を検出すると、図６（ｂ）に示すようにＡ〜Ｋの位置において人体を検出する。

図５に戻り、Ｓ５００の処理の後、局所探索処理の開始前に、Ｓ５１１において、解析部２０７は、全画面探索処理において検出された人体のうち一の人体を処理対象として選択する。次に、Ｓ５１２において、解析部２０７は、全画面探索処理において検出したすべての人体に対しＳ５１３の処理を完了したか否かを判定する。解析部２０７は、処理が完了した場合には（Ｓ５１２でＹＥＳ）、処理をＳ５１４へ進める。解析部２０７は、未処理の人体が存在する場合には（Ｓ５１２でＮＯ）、処理をＳ５１３へ進める。

Ｓ５１３において、解析部２０７は、処理対象の人体と通過検知ラインの間の距離を算出する。図７は、距離算出処理（Ｓ５１２）の説明図である。解析部２０７は、人体の位置から通過検知ラインに下した垂線の長さを人体と通過検知ラインの間の距離として算出する。なお、点Ｈ〜Ｋのように、垂線が下せない場合には、人体の位置と通過検知ラインの端までの距離を、人体の位置と通過検知ラインの間の距離として算出する。なお、Ｓ５１３の処理は、距離特定処理の一例である。

図５に戻り、Ｓ５１３の処理の後、Ｓ５１４において、解析部２０７は、局所探索処理の対象とする人体を、算出された距離が小さい順に所定人数（Ｎ人）だけ選択する。本実施形態においては、５人を選択するものとする。図８は、人体選択処理（Ｓ５１４）の説明図である。図７の例では、図８（ａ）に示すように、黒丸で示す位置（Ａ，Ｂ，Ｄ，Ｆ，Ｊ）が選択される。すなわち、図８（ｂ）に示す５人の人体８１０が局所探索処理の対象として選択される。なお、本実施形態においては、解析部２０７は、人体を通過検知ラインの間の距離に基づいて、人体を選択することとしたが、通過検知ラインと人体との位置関係に基づいて選択すればよく、実施形態に限定されるものではない。

続く、Ｓ５２０においては、解析部２０７は、選択された５人の人体について局所探索処理を行い、通過検知ラインを通過したか否かの判定を行う。本処理は、通過判定処理の一例である。

以上のように、本実施形態に係る情報処理装置１１０は、局所探索の処理対象とする人数を制限する。これにより、撮影画像に多くの人体が含まれる場合であっても、人数カウントの精度低下を防ぐことができる。

実施形態の第１の変形例としては、図９に示すように通過検知ラインは、所定の角度をなす２直線であってもよい。この場合、各直線に対して垂線が下せる場合はその長さを距離とし、両方の直線に垂線が下せる人体Ｓでは短い方の垂線の長さを距離とする。また、どちらの通過検知ラインにも垂線が下せない人体Ｐ，Ｑ，Ｒについては、もっとも近い通過検知ライン端までの長さを距離とする。

また、第２の変形例としては、図１０に示すように、検知ラインへ垂線を下すのに替えて、通過検知ラインと所定の角度θをなす直線を用いて、人体と通過検知ラインの間の距離としてもよい。この場合も、人体の位置から所定の角度をなす線分を引けない場合には、通過検知ラインの端までの長さを距離とする。

また、第３の変形例としては、ネットワークカメラ１２０が解析部を有し、図４及び図５を参照しつつ説明した処理を、ネットワークカメラ１２０が実行することとしてもよい。

（第２の実施形態）
第２の実施形態に係る情報処理システムは、通過検知ラインの通過方向を考慮して、人数をカウントする。以下、第２の実施形態に係る情報処理システムについて、第１の実施形態に係る情報処理システムと異なる点を主に説明する。図１１は、第２の実施形態に係る情報処理装置１１０による人体選択処理を示すフローチャートである。なお、図１１に示す人体選択処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る検索処理の各処理と同一の処理には、同一の番号を付している。

Ｓ５１２において、解析部２０７は、未処理の人体が存在する場合には（Ｓ５１２でＮＯ）、処理をＳ１１０１へ進める。Ｓ１１０１において、解析部２０７は、処理対象の人体が、通過検知ラインのうち、検出対象となる人体の通過方向の手前側に存在するか否かを判定する。解析部２０７は、人体が手前側に存在する場合には（Ｓ１１０１でＹＥＳ）、処理をＳ５１３へ進め、距離の算出を行う。解析部２０７は、人体が手前側に存在しない場合には（Ｓ１１０１でＮＯ）、距離の算出を行うことなく、処理をＳ５１１へ進める。

例えば、図１２に示す撮像画像１２００において、通過検知ライン１２１０に対し通過方向１２２０の人体の検出を行うこととする。この場合には、通過検知ライン１２１０を境界とする、通過方向１２２０の手前側の領域１２３０に存在する人体のみが、局所探索処理の対象となり、このうち、通過検知ライン１２１０に近い順に５人の人体が処理対象として選択される。なお、第２の実施形態に係る情報処理システムのこれ以外の構成及び処理は、第１の実施形態に係る情報処理システムの構成及び処理と同様である。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ 情報処理装置
１２０ ネットワークカメラ
２０７ 解析部

Claims (7)

1. 撮像画像において、人体を検出する検出手段と、
   撮像画像における通過検知ラインと、人体との位置関係に基づいて、前記検出手段により検出された複数の人体のうち所定の数の人体を選択する選択手段と、
   前記選択手段により選択された人体を対象とし、対象の人体を基準とした領域において追尾を行い、前記通過検知ラインを通過したか否かを判定する通過判定手段と
   を有することを特徴とする情報処理装置。
2. 前記選択手段は、前記通過検知ラインと前記人体の間の距離が小さい順に、前記所定の数の人体を選択することを特徴とする請求項１に記載の情報処理装置。
3. 前記人体の位置から前記通過検知ラインとしての線分に下した垂線又は通過検知ラインと所定の角度をなす線の長さを前記通過検知ラインと前記人体の間の距離として特定する距離特定手段をさらに有することを特徴とする請求項２に記載の情報処理装置。
4. 前記選択手段は、前記通過検知ラインを境界とした２つの領域のうち一の領域を処理対象として、所定の数の人体を選択することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 撮像手段と、
   前記撮像手段により得られた撮像画像において、人体を検出する検出手段と、
   撮像画像における通過検知ラインと、人体との位置関係に基づいて、前記検出手段により検出された複数の人体のうち所定の数の人体を選択する選択手段と、
   前記選択手段により選択された人体を対象とし、対象の人体を基準とした領域において追尾を行い、前記通過検知ラインを通過したか否かを判定する通過判定手段と
   を有することを特徴とする撮像装置。
6. 情報処理装置が実行する情報処理方法であって、
   撮像画像において、人体を検出する検出ステップと、
   撮像画像における通過検知ラインと、人体との位置関係に基づいて、前記検出ステップにおいて検出された複数の人体のうち所定の数の人体を選択する選択ステップと、
   前記選択ステップにおいて選択された人体を対象とし、対象の人体を基準とした領域において追尾を行い、前記通過検知ラインを通過したか否かを判定する通過判定ステップと
   を含むことを特徴とする情報処理方法。
7. コンピュータを、請求項１乃至４の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images