JP2022020223A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】計数対象の領域に死角領域が存在する場合であっても、計数対象の物体の数を適切に推定する。【解決手段】情報処理装置は、入力画像から計数対象の物体を検出する検出手段と、検出手段により検出された物体の挙動を記憶する記憶手段と、検出手段により検出されていた物体が非検出となった場合、記憶手段により記憶された物体の挙動に基づいて、非検出となった物体が非死角領域から死角領域へ移動したか否かを判定する判定手段と、検出手段による物体の検出結果と、判定手段による判定結果とに基づいて、入力画像内の計数対象の領域における物体の数を計数する計数手段と、を備える。【選択図】 図１

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、天井部分に設置した監視カメラにより撮像された画像をもとに人数カウントを行う技術が知られている。
特許文献１には、エレベータ乗場内の乗客数を検出するエレベータシステムであって、監視カメラの死角領域内の乗客数を、エレベータの制御情報に基づいて推定するエレベータシステムが開示されている。

特開２０１６－１６６０６６号公報

しかしながら、上記特許文献１に記載の技術では、時間の経過に応じて死角領域内の乗客数の推定精度が低下してしまう。
そこで、本発明は、計数対象の領域に死角領域が存在する場合であっても、計数対象の物体の数を適切に推定することを課題としている。

上記課題を解決するために、本発明に係る情報処理装置の一態様は、入力画像から計数対象の物体を検出する検出手段と、前記検出手段により検出された前記物体の挙動を記憶する記憶手段と、前記検出手段により検出されていた前記物体が非検出となった場合、前記記憶手段により記憶された前記物体の挙動に基づいて、前記非検出となった物体が非死角領域から死角領域へ移動したか否かを判定する判定手段と、前記検出手段による前記物体の検出結果と、前記判定手段による判定結果とに基づいて、前記入力画像内の計数対象の領域における前記物体の数を計数する計数手段と、を備える。

本発明によれば、計数対象の領域に死角領域が存在する場合であっても、計数対象の物体の数を適切に推定することができる。

本実施形態における撮像装置の構成例を示すブロック図。 撮像装置の設置例を示す図。 死角領域を示す図。 第一の実施形態の撮像装置が実行する処理のフローチャート。 人体検出情報の一例を示す図。 撮像画像の座標系を示す図。 人体挙動情報の一例を示す図。 人体検出情報の一例を示す図。 人体検出情報の一例を示す図。 図４のＳ４において実行される処理のフローチャート。 人体の非死角領域から死角領域への移動を説明する図。 第二の実施形態の撮像装置が実行する処理のフローチャート。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

本実施形態では、撮像装置により撮像された撮像画像（映像）を入力画像とし、入力画像内の計数対象の領域に存在する計数対象の物体の数をカウントするカメラシステムについて説明する。本実施形態におけるカメラシステムは、上記の計数対象の物体を人体とし、上記の計数対象の領域を鉄道車両等の車両内の座席領域として、座席領域における乗客の数をカウントする情報処理装置を備える。

図１は、本実施形態におけるカメラシステム１０００の構成例を示すブロック図である。
カメラシステム１０００は、撮像装置１００を備える。撮像装置１００は、レンズを介して画像データや動画データを撮像するネットワークカメラとすることができる。また、撮像装置１００は、撮像光学系を有する撮像部２００および駆動部３００が交換可能なレンズ交換型撮像装置とすることできる。なお、撮像装置１００は、撮像部２００および駆動部３００を一体に有するレンズ一体型撮像装置であってもよい。
撮像装置１００は、クライアントからのリクエストに応じて、撮像した画像データ等を、ネットワーク４００を介してクライアント装置５００に送信することができる。また、撮像装置１００は、予め接続されたクライアント装置５００に対して能動的に画像データ等を送信してもよい。

ネットワーク４００は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク４００は、撮像装置１００と上記のクライアント装置との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。ネットワーク４００は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）、若しくはこれらの複合により実現してもよい。
クライアント装置５００は、パーソナルコンピュータ（ＰＣ）やスマートフォン、タブレット型ＰＣといった一般的な端末装置により構成することができる。また、クライアント装置５００は、サーバ装置であってもよいし、リモートカメラを操作するための専用コントローラ機器等であってもよい。

図２は、撮像装置１００の設置例を示す図である。
撮像装置１００は、車両６００の天井部分に設置され、例えば、座席Ａ～Ｈの混雑具合を把握するために座席領域６０１に存在する乗客の人数をカウントする。車両６００には、座席領域６０１と、非座席領域６０２とが設けられている。ここで、非座席領域６０２は、座席Ａ～Ｄと座席Ｅ～Ｈとの間に設けられた通路とすることができる。乗客は、入出口６０３や入出口６０４から車両６００を出入りし、非座席領域６０２の移動と、座席領域６０１に設けられた座席Ａ～Ｈへの着席および離席とを行うことができる。撮像装置１００は、車両６００内の端、具体的には入出口６０３付近の天井部分に設置されているものとする。

座席Ａ～Ｈには、それぞれ図３に示すように背もたれ６１０が設けられている。そのため、撮像装置１００が車両６００の天井の端に設置されている場合、撮像装置１００と背もたれ６１０との位置関係によっては、座席領域６０１には、撮像装置１００が撮像できない死角領域６２０が発生する。乗客が着席して死角領域６２０に入り込んだ場合、撮像装置１００によって当該乗客を撮像することができず、撮像画像から当該乗客を検出することができなくなる。そのため、撮像画像内の座席領域６０１に対応する領域において検出された人体の数を座席に着席している乗客の数としてカウントすると、乗客が着席しているにもかかわらず空席であると誤判定される場合があり、正確な人数カウントができない。

本実施形態では、撮像装置１００は、撮像画像から検出した人体の挙動を記憶する。そして、撮像装置１００が撮像可能な非死角領域において検出されていた人体が非検出となった場合、非検出となる前の人体の挙動に基づいて、非検出となった人体が死角領域に移動したのかどうかを判定する。そして、撮像装置１００は、その判定結果を考慮して、計数対象の領域の人数カウントを行う。このようにして、死角領域への人体の移動があった場合であっても、正確な人数カウントを行うようにする。

以下、図１に示す各部の構成について説明する。まず、撮像部２００および駆動部３００について説明する。
撮像部２００は、撮像光学系であるズームレンズ２０１、フォーカスレンズ２０２、絞り２０３および撮像素子２０４を備える。
駆動部３００は、レンズ駆動部３０１と、撮像素子駆動部３０２と、を備える。レンズ駆動部３０１は、後述するズーム／フォーカス制御部１０１ａから指示されたフォーカス／ズームの設定位置に基づいて、ズームレンズ２０１およびフォーカスレンズ２０２の位置を、光軸に沿って移動させる。また、レンズ駆動部３０１は、絞り２０３を駆動する。

撮像素子駆動部３０２は、後述するズーム／フォーカス制御部１０１ａから指示されたあおり角の設定位置に基づいて、撮像素子２０４を傾ける。具体的には、撮像素子２０４を傾ける回転軸は撮像画面の中心に位置し、撮像素子２０４は、当該回転軸を中心に傾く。撮像素子２０４は、ズームレンズ２０１、フォーカスレンズ２０２、絞り２０３を通過した光を光電変換して、アナログ画像信号を生成する。生成したアナログ画像信号は、相関二重サンプリング等のサンプリング処理による増幅処理が施された後、後述するＡ／Ｄ変換部１０６に出力される。

撮像装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、記憶装置１０４と、Ｉ／Ｆ１０５と、Ａ／Ｄ変換部１０６と、カメラ信号処理部１０７と、画像解析部１０８と、圧縮伸長部１０９と、を備える。ＣＰＵ１０１は、ズーム／フォーカス制御部１０１ａを備える。さらに、画像解析部１０８は、人体検出部１１１と、人体挙動記憶部１１２と、死角領域移動判定部１１３と、座席領域検出部１１４と、人数カウント部１１５と、を備える。

ＣＰＵ１０１は、撮像装置１００における動作を統括的に制御する。ズーム／フォーカス制御部１０１ａは、オートフォーカス（ＡＦ）やマニュアルフォーカス（ＭＦ）によるピント制御を行う。
ＲＯＭ１０２は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要なプログラムやデータを記憶する。なお、当該プログラムは、記憶装置１０４や不図示の着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１０３は、ＳＲＡＭやＤＲＡＭ等の揮発性メモリであり、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。ＣＰＵ１０１は、処理の実行に際して、内部バス１１０を介してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
記憶装置１０４は、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）、ｅＭＭＣ（組み込み用のマルチメディアカード）等の記憶装置である。

Ｉ／Ｆ１０５は、ネットワーク４００と接続するためのネットワークインタフェースである。
Ａ／Ｄ変換部１０６は、撮像部２００から出力されたアナログ画像信号をデジタル画像信号に変換し、カメラ信号処理部１０７に出力する。
カメラ信号処理部１０７は、デジタル画像信号に対して、各種画像処理を行って撮像画像（映像）を生成する。各種画像処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補間処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等を含む。

画像解析部１０８は、カメラ信号処理部１０７により生成された撮像画像を入力画像として、人体検出や動体検知等の画像解析を行う。
人体検出部１１１は、既存のアルゴリズムに従う画像解析処理に基づいて、撮像画像から特定の人体を検出する。人体の検出方法としては、少なくとも物体の外形情報を特徴量として抽出し、パターンマッチング処理を行う方法がある。外形情報は、物体の外形を示す軌跡情報であり、頭部から両肩にかけてのΩ型の軌跡情報とすることができる。もしくは、顔認識等の画像解析処理を用いて人体検出を行ってもよい。
また、人体検出部１１１は、人体の検出と同時に人体の識別も行い、検出した人体それぞれに対してＩＤを付与する。人体の識別については、例えば、検出した人体のカラーヒストグラムを抽出し、カラーヒストグラムで人体を識別する方法がある。なお、人体検出および人体識別の方法については、上記に限定されるものではなく、公知の方法を適宜採用することができる。

人体挙動記憶部１１２は、人体検出部１１１により検出された人体の挙動を記憶する。具体的には、人体挙動記憶部１１２は、人体検出部１１１により検出された人体の撮像画像における位置の履歴、例えば人体の外形の中心座標の履歴を、フレーム毎にＲＡＭ１０３に記憶する。
死角領域移動判定部１１３は、人体検出部１１１により検出された人体が非検出となった場合に、非検出となった人体が非死角領域から死角領域に移動したか否かを判定する。具体的には、死角領域移動判定部１１３は、非検出となる前に記憶された当該人体の挙動に基づいて、非検出となった後の人体の移動位置を推定し、当該移動位置が死角領域であるか否かを判定する。

座席領域検出部１１４は、撮像画像中の座席領域を検出する。座席領域検出部１１４は、ユーザが指定した座席領域を示す情報を取得することで座席領域を検出してもよいし、画像解析により撮像画像中の座席領域を検出してもよい。
人数カウント部１１５は、撮像画像における計数対象の領域に存在する人体の数をカウントする。本実施形態では、計数対象の領域は座席領域６０１であるものとする。なお、計数対象の領域は、車両６００内の所定の領域であればよく、座席領域６０１と非座席領域６０２とを含む領域の一部または全部であってよい。

画像解析部１０８は、上記の処理の結果を、内部バス１１０を介してＣＰＵ１０１に通知する。なお、画像解析部１０８の一部または全部の機能は、ＣＰＵ１０１がプログラムを実行することで実現することができる。ただし、画像解析部１０８の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０１の制御に基づいて動作する。
圧縮伸長部１０９は、内部バス１１０を介してＣＰＵ１０１からの制御指示に従い、撮像画像に対して圧縮処理を施して圧縮データを生成する。圧縮データは、Ｉ／Ｆ１０５からネットワーク４００を介してクライアント装置５００に送信される。

クライアント装置５００は、ＣＰＵ５０１と、ＲＯＭ５０２と、ＲＡＭ５０３と、Ｉ／Ｆ５０４と、入出力Ｉ／Ｆ５０５と、入力装置５０６と、表示装置５０７と、を備える。
ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３およびＩ／Ｆ５０４は、上述したカメラ１０のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３およびＩ／Ｆ１０５と同様の機能を有する。
入出力Ｉ／Ｆ５０５は、入出力に係る各種インタフェースである。入出力Ｉ／Ｆ５０５は、入力装置５０６と接続し、入力装置５０６から指示情報を受け取り、内部バス５０８を介してＣＰＵ５０１に通知する。ここで、入力装置５０６は、リレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、タッチパネル、キーボードやポインティングデバイス（例えばマウス）等を含む。また、入出力Ｉ／Ｆ５０５は、ＬＣＤディスプレイ等のモニタを備える表示装置５０７と接続し、撮像装置１００から送信されＲＡＭ５０３に一時的に記録された撮像画像や操作メニュー等の情報を表示する。

なお、本実施形態では、撮像装置１００が画像解析部１０８を備える情報処理装置として動作する場合について説明する。しかしながら、撮像装置１００と通信可能に接続されたクライアント装置５００や一般のＰＣ、クラウドサーバ等が上記の情報処理装置として動作してもよい。この場合、情報処理装置は、撮像装置１００により撮像された撮像画像を入力画像としてネットワーク４００を介して取得し、画像解析部１０８と同等の処理を行う。

次に、本実施形態における撮像装置１００の動作について具体的に説明する。
図４は、本実施形態における撮像装置１００が実行する人数カウント処理の手順を示すフローチャートである。
この図４の処理は、例えばユーザの指示に基づいて開始され、一定間隔で繰り返される。ただし、図４の処理の開始タイミングは、上記のタイミングに限らない。図４の処理は、例えば撮像装置１００の起動後、撮像動作を開始したタイミング等で自動的に開始されてもよい。撮像装置１００は、図１のＣＰＵ１０１が必要なプログラムを読み出して実行することにより、図４に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

本実施形態では、既に撮像装置１００の起動は完了し、画像解析部１０８は、撮像画像を画像解析できる状態になっているものとする。また、座席領域検出部１１４は、図２に示す座席領域６０１を検出しているものとし、撮像画像内における座席領域６０１に対応する領域の情報は、ＲＡＭ１０３に取り込まれているものとする。

Ｓ１において、撮像装置１００は、撮像画像から人体を検出する。そして、撮像装置１００は、検出した人体にＩＤを付与し、検出した人体の位置座標とＩＤとを紐付けて、人体検出情報としてＲＡＭ１０３に記憶する。例えば、Ｓ１において４つの人体が検出された場合には、図５に示すように、検出された人体のＩＤ（００１～００４）と検出された人体の位置座標とがＲＡＭ１０３に記憶される。
ここで、人体の位置座標は、検出された人体の外形の中心座標とすることができる。図６に示すように、撮像画像の画像サイズが１９２０×１０８０画素である場合、人体の位置座標は、（０，０）～（１９２０，１０８０）で表される。なお、図５は、ＩＤ＝００１～００４の４つの人体がいずれも図２の非座席領域６０２に存在する場合の人体検出情報を示す。

Ｓ２では、撮像装置１００は、Ｓ１において検出されたＮ個の人体の挙動をそれぞれＲＡＭ１０３に記憶する。具体的には、撮像装置１００は、撮像画像における各人体の位置座標を、フレーム毎にＲＡＭ１０３に記憶する。例えば、撮像装置１００は、図７に示すように、検出された人体の最大１０フレーム分の位置座標を人体挙動情報として記憶するものとし、位置座標が更新された場合には最も古いフレームの位置座標を破棄して更新する。

Ｓ３では、撮像装置１００は、Ｓ１において検出されたＮ個の人体の中で、非検出となった人体Ｋが存在するか否かを判定する。例えば、図５に示すＩＤ＝００１の人体とＩＤ＝００２の人体とが、座席に着席するために通路から座席領域に移動して座席の背もたれの死角領域に入ると、ＩＤ＝００１の人体とＩＤ＝００２の人体とが非検出となる。この場合、非検出となった人体Ｋが存在すると判定する。このように、非検出となった人体Ｋが存在すると判定された場合には、Ｓ４に移行する。一方、非検出となった人体Ｋは存在しないと判定された場合にはＳ７に移行する。

Ｓ４では、撮像装置１００は、人体Ｋの非検出後の移動位置が座席領域であるか否かを判定する。つまり、撮像装置１００は、人体Ｋの非検出後の移動位置が、死角領域が存在する領域であるか否かを判定する。このＳ４における処理については、後で詳述する。Ｓ４において、人体Ｋの非検出後の移動位置が座席領域でないと判定された場合にはＳ５に移行し、人体Ｋの非検出後の移動位置が座席領域であると判定された場合にはＳ６に移行する。
Ｓ５では、撮像装置１００は、非検出後の移動位置が座席領域でないと判定された人体Ｋの情報を人体検出情報から消去し、Ｓ７に移行する。例えば、図５に示すＩＤ＝００１の人体とＩＤ＝００２の人体とが座席領域への移動以外で非検出となったと判定された場合には、図８に示すように、ＩＤ＝００１の人体の情報とＩＤ＝００２の人体の情報とが消去され、人体検出情報が更新される。

Ｓ６では、撮像装置１００は、非検出と判定された人体Ｋの位置座標を座席領域の座標に更新する。例えば、図５に示すＩＤ＝００１の人体が座席Ｆへ移動して非検出となり、ＩＤ＝００２の人体が座席Ｃへ移動して非検出となったと推定されたものとする。この場合、図９に示すように、ＩＤ＝００１の人体とＩＤ＝００２の人体との位置座標は、それぞれ座席Ｆに対応する領域の中心座標と座席Ｃに対応する領域の中心座標とに更新される。

Ｓ７では、撮像装置１００は、座席領域の人数カウントを行う。具体的には、撮像装置１００は、人体検出情報に基づいて、位置座標が座席領域の座標である人体の数をカウントする。例えば、図９に示す人体検出情報の場合、ＩＤ＝００１、ＩＤ＝００２の人体の位置座標は座席領域の座標であり、ＩＤ＝００３、ＩＤ＝００４の人体の位置座標は非座席領域（通路）の座標である。そのため、この場合、座席領域の人数は２人とカウントされる。

以下、図４のＳ４の処理の流れについて、図１０を参照しながら具体的に説明する。
図４のＳ３において非検出となった人体Ｋが存在すると判定された場合、図１０のＳ４ａにおいて、撮像装置１００は、非検出後の人体Ｋの位置座標を推定する。撮像装置１００は、図７に示すような非検出となる前の人体Ｋの連続した１０フレーム分の位置座標を記録した人体挙動情報に基づいて、非検出となったフレームでの人体Ｋの位置座標を推定する。
推定方法としては、例えば、１０フレーム分の位置座標から単回帰分析により回帰式Ｙ＝ａＸ＋ｂ（Ｘは経過時間、Ｙは人体Ｋの位置座標）の傾きａと切片ｂとを求め、非検出後のフレームの経過時間をＸとして、位置座標Ｙを求める方法がある。単回帰分析による位置座標の推定方法については公知であるため、詳細な説明は省略する。例えば、図７に示す挙動を示す人体が、フレームＩＤ＝５１１において非検出となった場合、フレームＩＤ＝５１１での当該人体の位置座標は（８５０，７００）と推定される。

Ｓ４ｂでは、撮像装置１００は、非検出となった人体Ｋの移動方向を示す移動ベクトルを推定する。撮像装置１００は、図７に示すような非検出となる前の人体Ｋの連続した１０フレーム分の位置座標を記録した人体挙動情報に基づいて、移動ベクトルを算出する。例えば、図７に示すように、フレームＩＤ＝５０１の位置座標を始点、フレームＩＤ＝５１０の位置座標を終点とすると、図７に示す挙動を示す人体の移動ベクトルは（－９０, ０）となる。移動ベクトルの算出方法については公知であるため、詳細な説明は省略する。
Ｓ４ｃでは、撮像装置１００は、Ｓ４ａにおいて推定された位置座標が座席領域内の座標であるか否かを判定する。そして、撮像装置１００は、推定された位置座標が座席領域内の座標であると判定した場合にはＳ４ｄに移行し、座席領域ではないと判定した場合には図１０の処理を終了して図４のＳ５に移行する。

Ｓ４ｄでは、撮像装置１００は、Ｓ４ｂにおいて算出された移動ベクトルに基づいて、人体Ｋが鉛直下方向に移動したか否かを判定する。具体的には、撮像装置１００が図６に示すような撮像画像を撮像している場合、撮像装置１００は、Ｓ４ｂにおいて算出された移動ベクトルのＹ成分が負であれば、人体Ｋが鉛直下方向に移動したと判定する。そして、撮像装置１００は、人体Ｋが鉛直下方向に移動したと判定した場合には、図１１に示す乗客Ｐ１のように座席領域で検出されていた状態から、鉛直下方向に移動して背もたれ６１０による死角領域６２０に移動して非検出となったと判定する。したがって、撮像装置１００は、図１０のＳ４ｄにおいて人体Ｋが鉛直下方向に移動したと判定した場合には、図１０の処理を終了して図４のＳ６に移行し、鉛直下方向に移動していないと判定した場合にはＳ４ｅに移行する。
なお、Ｓ４ｄにおいて、撮像装置１００は、人体Ｋが座席領域上で鉛直下方向に移動したか否かを判定するようにしてもよい。これにより、より精度良く座席の死角領域への移動を判定することができる。

Ｓ４ｅでは、撮像装置１００は、Ｓ４ｂにおいて算出された移動ベクトルに基づいて、人体Ｋが座席領域の方向へ水平移動したか否かを判定する。具体的には、撮像装置１００は、Ｓ４ｃにおいて人体Ｋが図６に示す座席Ａ～Ｄのいずれかに移動したと判定されており、Ｓ４ｂにおいて算出された移動ベクトルのＸ成分が正であれば、人体Ｋが座席領域の方向に水平移動したと判定する。同様に、撮像装置１００は、Ｓ４ｃにおいて人体Ｋが図６に示す座席Ｅ～Ｈのいずれかに移動したと判定されており、Ｓ４ｂにおいて算出された移動ベクトルのＸ成分が負であれば、人体Ｋが座席領域の方向に水平移動したと判定する。そして、撮像装置１００は、人体Ｋが座席方向へ水平移動したと判定した場合には、図１０の処理を終了して図４のＳ６に移行し、座席方向へ水平移動していないと判定した場合には図１０の処理を終了して図４のＳ５に移行する。

以上説明したように、本実施形態における撮像装置１００は、車両の天井部分に設置される。撮像装置１００は、車両内を撮像し、その撮像画像を入力画像として当該入力画像から計数対象の物体を検出する。また、撮像装置１００は、検出された物体の撮像画像における位置の履歴を当該物体の挙動として記憶する。ここで、計数対象の物体は人体とすることができる。撮像装置１００は、検出されていた人体が非検出となった場合、記録されている人体の挙動に基づいて、非検出となった人体が非死角領域から死角領域へ移動したか否かを判定する。ここで、死角領域は、撮像装置１００の撮像方向と座席の背もたれとの位置関係によって発生する座席の死角領域とすることができる。そして、撮像装置１００は、人体の検出結果と、非死角領域から死角領域への移動の判定結果とに基づいて、撮像画像内の計数対象の領域における人体の数を計数する。ここで、計数対象の領域は、車両内の座席領域とすることができる。

具体的には、撮像装置１００は、撮像画像から人体が検出された場合、検出された人体の位置座標と検出された人体を識別するためのＩＤとを紐づけた情報を人体検出情報として記録する。そして、撮像装置１００は、非検出となった人体が非死角領域から死角領域へ移動したと判定した場合には、人体検出情報として記録されている当該人体の位置座標を、移動先の死角領域の位置座標に更新する。撮像装置１００は、人体検出情報に記録された位置座標が座席領域内の位置座標である人体の数をカウントすることで、座席領域に存在する人体の数を容易に把握することができる。

このように、撮像装置１００は、撮像画像の座席領域に対応する領域において検出された人体の数と、非死角領域から座席領域に存在する死角領域へ移動したと判定された人体の数とを加算した結果を、座席領域に存在する人体の数として把握することができる。
したがって、座席の死角領域に乗客が移動したとしても、座席領域の人体の人数カウントを正確に行うことが可能となる。つまり、座席の死角領域に乗客が移動すると、人体検出は非検出となるが、座席の死角領域に乗客が存在すると正しく判定することができ、人数カウントをデクリメントせずに維持することができる。

また、撮像装置１００は、人体の挙動として撮像画像における位置の履歴を記憶するので、人体が非検出となった場合には、非検出となる前に記憶された人体挙動情報に基づいて、当該人体の移動位置を推定することができる。そのため、撮像装置１００は、非検出となった人体の移動位置が座席領域であると推定された場合には、当該人体が非死角領域から座席の死角領域に移動したことを適切に判定することができる。
同様に、撮像装置１００は、人体が非検出となった場合には、非検出となる前に記憶された人体挙動情報に基づいて、当該人体の移動方向を推定することができる。そのため、撮像装置１００は、非検出となった人体の移動方向が座席領域へ向かう方向であると推定された場合には、当該人体が非死角領域から座席の死角領域に移動したことを適切に判定することができる。

このように、本実施形態では、撮像画像から検出された人体の挙動と検出・非検出の判定との組み合わせで、座席の死角領域への人体の移動を判定することができる。したがって、非死角領域から死角領域への人体の移動があった場合でも、人数カウントがデクリメントされない。
また、その後、死角領域から非死角領域へ人体が移動して当該人体が検出状態となった場合にも、人数カウントが誤ってインクリメントされることはない。例えば、図９に示すＩＤ＝００１の人体は、座席の死角領域に存在する人体である。このＩＤ＝００１の人体が座席から起立し、非死角領域へ移動すると、当該人体は撮像装置１００によって撮像され、人体検出状態となる。この場合、検出された人体は、ＩＤ＝００１の人体であると識別され、ＩＤ＝００１の人体の位置座標が実際に検出された位置座標に更新される。そのため、新たな人体が座席領域において検出されたと誤判定されることはなく、人数カウントはインクリメントされずに維持される。

以上のように、車両内において非死角領域と死角領域との間を乗客が行き来した場合であっても、車両内の乗客の増減がない場合には、人数カウントの増減を行わないようにすることができる。したがって、正確な人数カウントが可能である。

（変形例）
上記実施形態においては、図１０のＳ４ｄとＳ４ｅとにおいて人体Ｋの移動方向が、死角領域が存在する領域へ向かう方向であるか否かを判定する場合について説明したが、上記に限定されるものではない。Ｓ４ｃにおいて人体Ｋの移動位置が座席領域であると判定された場合、Ｓ４ｄやＳ４ｅの処理を行わずに図４のＳ６に移行するようにしてもよい。

また、上記実施形態においては、図１０のＳ４ａにおいて、単回帰分析により人体Ｋの次フレームの位置座標を推定する場合について説明したが、上記に限定されるものではない。例えば、非検出前の位置座標だけでなく、人の顔や腕や足等の身体の動きを入力として、重回帰分析等を用いて次フレームの位置座標を推定してもよい。さらに、Ｓ４ａでは次フレームの位置座標の推定としたが、Ｆ（Ｆは０以上の実数）フレーム後の位置座標や、所定時間経過後の位置座標を推定してもよい。

また、上記実施形態においては、人体Ｋが非検出となった後、所定時間以上、人体Ｋが検出されない場合には、異常検知としてアラートを通知するようにしてもよい。
この場合、撮像装置１００は、図４に示す処理に替えて図１２に示す処理を実行する。なお、図１２において、図４と同一処理を行うステップには図４と同一ステップ番号を付し、以下、処理の異なる部分を中心に説明する。
Ｓ１１では、撮像装置１００は、人体Ｋが非検出となった後、所定時間以上、人体Ｋの非検出状態が継続しているか否かを判定する。そして、撮像装置１００は、人体Ｋの非検出状態が所定期間以上継続していると判定した場合にはＳ１２に移行する。一方、撮像装置１００は、人体Ｋの非検出状態が所定期間以上継続していないと判定した場合にはＳ３に移行する。Ｓ１２では、撮像装置１００は、異常検知として通知する。例えば、撮像装置１００は、異常検知を示す情報を、ネットワーク４００を介してクライアント装置５００に送信し、クライアント装置５００が備える表示装置５００に異常検知を示す情報を表示させる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…記憶装置、１０５…Ｉ／Ｆ、１０６…Ａ／Ｄ変換部、１０７…カメラ信号処理部、１０８‥画像解析部、１０９…圧縮伸長部、１１１…人体検出部、１１２…人体挙動記憶部１１２、１１３…死角領域移動判定部、１１４…座席領域検出部、１１５…人数カウント部、２００…撮像部、３００…駆動部、４００…ネットワーク、１０００…カメラシステム

Claims (13)

1. 入力画像から計数対象の物体を検出する検出手段と、
   前記検出手段により検出された前記物体の挙動を記憶する記憶手段と、
   前記検出手段により検出されていた前記物体が非検出となった場合、前記記憶手段により記憶された前記物体の挙動に基づいて、前記非検出となった物体が非死角領域から死角領域へ移動したか否かを判定する判定手段と、
   前記検出手段による前記物体の検出結果と、前記判定手段による判定結果とに基づいて、前記入力画像内の計数対象の領域における前記物体の数を計数する計数手段と、を備えることを特徴とする情報処理装置。
2. 前記記憶手段は、前記検出手段により検出された前記物体の前記入力画像における位置の履歴を記憶することを特徴とする請求項１に記載の情報処理装置。
3. 前記計数手段は、
   前記検出手段により前記計数対象の領域において検出された前記物体の数と、前記判定手段により前記非死角領域から前記計数対象の領域に存在する前記死角領域へ移動したと判定された前記物体の数とを加算することで、前記計数対象の領域における前記物体の数を計数することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記判定手段は、
   前記検出手段により検出されていた前記物体が非検出となった場合、
   前記物体が非検出となる前に前記記憶手段により記憶された当該物体の挙動に基づいて、前記非検出となった物体の移動位置が、前記死角領域が存在する領域であると推定された場合、当該物体が前記非死角領域から前記死角領域へ移動したと判定することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記判定手段は、
   前記検出手段により検出されていた前記物体が非検出となった場合、
   前記物体が非検出となる前に前記記憶手段により記憶された当該物体の挙動に基づいて、前記非検出となった物体の移動方向が、前記死角領域が存在する領域へ向かう方向であると推定された場合、当該物体が前記非死角領域から前記死角領域へ移動したと判定することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記判定手段により前記死角領域へ移動したと判定された前記物体が、所定時間以上、前記検出手段により検出されなかった場合、異常検知として通知する通知手段をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記計数対象の物体は人体であることを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記入力画像は、車両内の撮像画像であり、
   前記計数対象の領域は、前記車両内の座席領域であり、
   前記死角領域は、座席の死角領域であることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記計数対象の物体は人体であり、
   前記判定手段は、
   前記検出手段により検出されていた人体が非検出となった場合、
   前記人体が非検出となる前に前記記憶手段により記憶された当該人体の挙動に基づいて、前記非検出となった人体が鉛直下方向へ移動したと推定された場合、当該人体が前記座席の死角領域へ移動したと判定することを特徴とする請求項８に記載の情報処理装置。
10. 前記計数対象の物体は人体であり、
    前記判定手段は、
    前記検出手段により検出されていた人体が非検出となった場合、
    前記人体が非検出となる前に前記記憶手段により記憶された前記人体の挙動に基づいて、前記非検出となった人体が前記座席領域へ向かう方向へ水平移動したと推定された場合、当該人体が前記座席の死角領域へ移動したと判定することを特徴とする請求項８または９に記載の情報処理装置。
11. 請求項１から１０のいずれか１項に記載の情報処理装置と、
    車両の天井部分に設置されて前記入力画像を撮像する撮像手段と、を備えることを特徴とする撮像装置。
12. 入力画像から計数対象の物体を検出するステップと、
    検出された前記物体の挙動を記憶するステップと、
    前記物体が非検出となった場合、前記物体の挙動に基づいて、前記非検出となった物体が非死角領域から死角領域へ移動したか否かを判定するステップと、
    前記物体の検出結果と、前記判定の結果とに基づいて、前記入力画像内の計数対象の領域における前記物体の数を計数するステップと、を含むことを特徴とする情報処理方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images