JP2020086994A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】より高い精度で物体を計数する監視システムを提供する。【解決手段】監視システムは、監視カメラ３０１を用いて監視を行い、監視カメラ３０１の映像から予め定められた人物３１１、３１２、３１３の数を計数するシステムである。演算装置３０３は監視カメラ３０１から得た画像から人物を検出する検出手段と、予め定められた補正係数に基づいて、検出手段により検出された人物の数を補正することで、画像に含まれる人物の実際の数を推定する推定手段と、を有する。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

カメラで取得した画像から物体を検出することで、物体を計数する装置や手法が提案されている。画像からの物体検出処理においては、画像に含まれる物体を全て正確に検出できる訳ではない。そこで、特許文献１には、動体検知により推定される混雑状況に応じて物体検出器を上半身か全身かの何れかに切り替え、それによる検出精度向上を以て人数計数精度を向上させる手法が開示されている。

特許第５１２１５０８号公報

特許文献１等の従来技術のように混雑状況に応じて物体検出器を上半身か全身かの何れかに切り替えても、精度良い物体の計数ができない場合がある。
本発明は、より高い精度での物体の計数の実現を支援することを目的とする。

本発明の情報処理装置は、画像から物体を検出する検出手段と、予め定められた補正係数に基づいて、前記検出手段により検出された前記物体の数を補正することで、前記画像に含まれる前記物体の実際の数を推定する推定手段と、を有する。

本発明によれば、より高い精度での物体の計数の実現を支援することができる。

監視システムのシステム構成等の一例を示す図である。 演算装置のハードウェア構成の一例を示す図である。 撮影された画像の一例を示す図である。 演算装置の機能構成の一例を示す図である。 演算装置の処理の一例を示すフローチャートである。 人物の属性の識別結果の一例を示す図である。 演算装置の処理の一例を説明する図である。 演算装置の処理の一例を説明する図である。

以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本実施形態の監視システムのシステム構成等の一例を示す図である。監視システムは、監視カメラを用いて監視を行い、監視カメラの映像から予め定められた物体を計数するシステムである。本実施形態では、監視システムは、計数対象の物体として、人物の数を計数する。監視システムは、監視カメラ３０１、演算装置３０３を含む。監視カメラ３０１と演算装置３０３とは、ネットワーク３０４を介して、相互に通信可能に接続されている。本実施形態では、監視システムは、監視カメラ３０１を１つ含むこととする。但し、監視システムは、監視カメラ３０１を複数含むこととしてもよい。
監視カメラ３０１は、ネットワークに接続可能な監視用のネットワークカメラ等の撮像装置である。ただし、監視カメラ３０１は、中継用のカメラ等の監視用のカメラ以外の撮像装置であってもよい。本実施形態では、監視カメラ３０１は、図１に示すように、通路に配置されている。監視カメラ３０１は、点線３０２で表される範囲の撮影を行う。監視カメラ３０１は、この通路を歩行する人物を撮影する。図１の例では、監視カメラ３０１は、人物３１１〜３１３を撮影している。
監視システムは、監視カメラ３０１が撮影した画像にイメージ解析を施して、画像に撮影された人物を検出し、画像内の人物を計数することで、一定の期間内に、この通路を通過する人物を計数する。
演算装置３０３は、監視カメラ３０１により撮影された画像内の人物を計数するパーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等の情報処理装置である。

図２は、演算装置３０３のハードウェア構成の一例を示す図である。演算装置３０３は、通信部２０１、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２０２、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２０３、ユーザインターフェース２０４、ストレージ装置２０５を含む。
通信部２０１は、ネットワーク３０４を介して、監視カメラ３０１との間の情報（例えば、監視カメラ３０１に対するコマンド、監視カメラ３０１により撮影された画像等）の送受信に用いられる通信装置である。ＣＰＵ２０２は、ＲＡＭ２０３に展開された制御プログラムを実行し、演算装置３０３装置全体を制御する中央演算装置である。ＲＡＭ２０３は、制御プログラム、各種パラメータデータ、画像や各種情報が展開され、ＣＰＵ２０２のワークエリアとして機能する記憶装置である。

ユーザインターフェース２０４は、キーボード、マウス、ディスプレイ、タッチパネル等のユーザーに対する情報の表示やユーザーからの情報の入力に用いられる入出力装置である。ＣＰＵ２０２は、監視カメラ３０１から受信した画像を、ユーザインターフェース２０４のディスプレイに表示する。ストレージ装置２０５は、各種プログラム、各種設定情報、監視カメラ３０１により撮影された画像等の情報を記憶するハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置である。
ＣＰＵ２０２が、ストレージ装置２０５に記憶されたプログラムにしたがって処理を実行することで、図１で後述する演算装置３０３の機能、及び、演算装置３０３の処理が実現される。

図３は、演算装置３０３がユーザインターフェース２０４に表示する、監視カメラ３０１により撮影された画像の一例を示す図である。図３の画像は、図１に示される状況で監視カメラ３０１により撮影された画像である。図３の画像には、人物３１１〜人物３１３が映っていることが分かる。
本実施形態では、監視システムは、監視カメラ３０１により予め定められた期間の間に撮影された動画像である画像から人物を検出し、計数する。より具体的には、監視システムは、画像中に仮想的に線分４０１を設け、イメージ解析を用いて、ある期間内に、監視カメラ３０１の視野奥行方向から手前方向に向かって線分４０１を通過した人物を検出し、検出した人物を計数する。そして、監視システムは、人物の検出に失敗が生じることを前提として予め定められた補正係数を、計数した数に乗じることで、その期間内に、実際に線分４０１を通過した人物の数を推定する。

図４は、演算装置３０３の機能構成の一例を示す図である。演算装置３０３は、検出部１０１、識別部１０２、計数部１０３、不明数分配部１０４、補正部１０５、属性別演算部１０６、属性間調整部１０７、属性別分配部１０８を含む。
検出部１０１は、監視カメラ３０１から得た画像内の人物を検出する。識別部１０２は、検出部１０１により検出された人物の予め定められた属性についての属性値を識別する。人物の属性とは、人物の有する性質であり、例えば、性別、年齢、身長等である。例えば、性別は、「男」と「女」の２つの属性値を取り得る。計数部１０３は、属性値ごとに、その属性値に対応する人数を計数する。不明数分配部１０４は、属性値が不明とされた物体の数を、それ以外の属性値それぞれに対応する数として分配する。
補正部１０５は、属性値ごとに計数された人物の数を、属性値ごとに予め定められた補正係数を用いて補正する。属性別演算部１０６は、補正部１０５により得られた補正後の人物の数に基づいて、人物の実際の数を推定する。属性間調整部１０７は、属性別演算部１０６により推定された人物の数に基づいて、実際の人物の数の最終的な推定値を求める。属性別分配部１０８は、属性間調整部１０７により求められた推定値を、属性値ごとに分配する。各部の処理については、後に詳述する。

図５は、演算装置３０３の処理の一例を示すフローチャートである。
Ｓ５０１において、検出部１０１は、監視カメラ３０１から受信された画像から人物を検出して、その画像における人物領域を求め、求めた人物領域に外接する矩形をその画像内に設定する。検出部１０１は、以上の処理を、人体の計測を行う期間の間、監視カメラ３０１から動画像のフレーム画像を受信する度に実行する。検出部１０１は、以下の参考文献１に開示される手法を用いて、画像から物体を検出する。参考文献１には、事前に大量の人物の画像から人物の形状の近似を統計的に求めておき、その人物形状に類似する領域を入力画像内から探索する手法が開示されている。本実施形態では、検出部１０１は、顔形状、上半身形状、全身形状等の人物の形状のうちの１つの形状に基づいて、人物を検出する。
参考文献１：Ｃｈｅｎｇｂｉｎ Ｚｅｎｇ、 Ｈｕａｄｏｎｇ Ｍａ、 Ｒｏｂｕｓｔ Ｈｅａｄ−ｓｈｏｕｌｄｅｒ Ｄｅｔｅｃｔｉｏｎ ｂｙ ＰＣＡ−Ｂａｓｅｄ Ｍｕｌｔｉｌｅｖｅｌ ＨＯＧ−ＬＢＰ Ｄｅｔｅｃｔｏｒ ｆｏｒ Ｐｅｏｐｌｅ Ｃｏｕｎｔｉｎｇ、 ＩＣＰＲ２０１０

物体の検出には、画像から物体の形状の近似に類似する領域を探索する手法が用いられる。ただし、このような物体の探索は、時折失敗し、結果として未検出や誤検出が発生する場合がある。
図３の例では、人物３１２、３１３には、検出結果を示す矩形が外接されており、人物３１２、３１３が検出されたことが示されている。また、人物３１１には、矩形が外接されておらず、人物３１１の検出が失敗したことが示されている。未検出数と誤検出数とは、トレードオフの関係である。しかし、本実施形態では、未検出数が誤検出数の数倍から数百倍程度多いと仮定する。即ち、誤検出数は、未検出数に比して無視できる程度に小さいと仮定する。

Ｓ５０２において、識別部１０２は、検出部１０１により検出された人体の領域から属性値を識別する。本実施形態においては、識別部１０２は、図６に示す性別属性、年齢属性、身長属性、髪色属性、髪型属性、メガネ着用の有無属性、マスク着用の有無属性の６つの属性それぞれについての属性値を識別する。識別部１０２が識別した属性値の一例を、図６に示す。属性値には、例えば、性別属性についての「男」及び「女」、年齢属性についての「３１」、「４２」等、メガネ着用の有無属性についての「有り（真）」及び「無し（偽）」等がある。本実施形態では、演算装置３０３においては、人物が属性に係る複数の属性値のうち何れかの属性値を取り得るように、識別対象の各属性に対する属性値を定めておくものとする。
本実施形態では、演算装置３０３は、以下のＳ５０３〜Ｓ５０６の処理において、予め定められた複数の属性に属する人物の数に基づいて、監視カメラ３０１により撮影された画像内の人物の実際の数を推定する。

本実施形態では、識別部１０２は、複数の属性それぞれについて、人物の属性値を識別する。識別部１０２は、人物の個々の属性値として、ある範囲内の実数値、又は、列挙型集合のうちのある値の何れかを出力する。図６の例では、性別属性の属性値は、列挙集合（「男」、「女」）の何れかの値となる。また、年齢属性や身長属性の属性値は、実数値の値となる。また、メガネ着用の有無属性やマスク着用の有無属性の属性値は、列挙集合（「真」、「偽」）の何れかの値となる。
本実施形態では、識別部１０２は、以下の参考文献２に開示された手法を用いて、人物の属性値を識別する。参考文献２には、属性値が既知である大量の人体画像を収集して、その属性値に対応する外見の傾向を統計的に求め、その統計的傾向に基づき人体の外見から属性値を識別する手法が開示されている。このような属性値識別手法は、統計に基づく為、必ずしも正しく属性値を識別できる訳ではなく、誤って識別したり、識別できなかったりする事態が生じうる。これに対応すべく、識別部１０２は、人物の属性値の識別ができなかったり、識別結果の確からしさが閾値未満であったりする場合、その人物の属性を、「不明」という仮の属性値とする。
参考文献２：Ｎｅｅｒａｊ Ｋｕｍａｒ， Ａｌｅｘａｎｄｅｒ Ｃ． Ｂｅｒｇ， Ｐｅｔｅｒ Ｎ． Ｂｅｌｈｕｍｅｕｒ， Ｓｈｒｅｅ Ｋ． Ｎａｙａｒ， Ａｔｔｒｉｂｕｔｅ ａｎｄ Ｓｉｍｉｌｅ Ｃｌａｓｓｉｆｉｅｒｓ ｆｏｒ Ｆａｃｅ Ｖｅｒｉｆｉｃａｔｉｏｎ， ＩＣＣＶ２００９

ただし、識別部１０２は、他の手法で、人物の属性値を識別してもよい。例えば、識別部１０２は、以下の参考文献３に記載の手法を用いて、身長属性の属性値を識別してもよい。参考文献３には、視差が既知のステレオカメラ画像での顔検出結果から身長を求める手法が開示されている。参考文献３の手法では、属性値の誤認識は無視できる程に小さいと仮定される。しかし、識別部１０２は、属性値の識別が何らかの理由によって不可能な場合等、属性値の値を「不明」とする。
参考文献３：特許第５１７０１３０号公報
なお、本実施形態では、識別部１０２は、ある人物が線分４０１を通過した場合にのみ、その人物の属性値を識別する。識別部１０２は、検出部１０１により設定されたその人物の領域に外接する矩形における予め定められた位置（例えば、矩形の上辺の中点、矩形の中点等）が線分４０１を通過した場合に、その人物が線分４０１を通過したと判断する。ただし、識別部１０２は、ある人物が線分４０１を通過した場合以外にも、その人物の属性値を識別してもよい。例えば、識別部１０２は、ある人物が画面上に存在する期間中ずっと属性値の識別処理の実行を繰り返して、識別処理の結果から統計的に物体の属性値を求めてもよい。この場合、識別部１０２は、物体の属性が列挙集合であれば、多数決で決定し、実数値であれば、平均を取ることで、属性値の最終的な値を求める。

また、本実施形態では、識別部１０２は、年齢属性や身長属性の属性値のように実数値で表される属性値について、以下のようにして疑似的に列挙集合型の属性値として扱う。即ち、識別部１０２は、属性値の実数値が取りうる範囲が分割された複数の区分それぞれをこの属性において取り得る属性値として扱う。識別部１０２は、実数型の属性値が属する区分を特定し、特定した区分をその属性値の値として扱う。
本実施形態では、年齢属性の属性値が取り得る値は、「１０歳未満の区分」、「１０歳以上２０歳未満の区分」、「２０歳以上４０歳未満の区分」、「４０歳以上６０歳未満の区分」、「６０歳以上の区分」であるとする。そのため、識別部１０２は、ある人物の年齢属性の属性値として、「１７」と識別した場合、１０歳以上２０歳未満の範囲であるため、その人物の年齢属性の属性値を、「１０歳以上２０歳未満の区分」とすることとなる。
また、本実施形態では、身長属性の属性値が取り得る値は、「１４０ｃｍ未満の区分」、「１４０ｃｍ以上１６０ｃｍ未満の区分」、「１６０ｃｍ以上１８０ｃｍ未満の区分」、「１８０ｃｍ以上２００ｃｍ未満の区分」、「２００ｃｍ以上の区分」であるとする。そのため、識別部１０２は、ある人物の身長属性の属性値として、「１７０ｃｍ」と識別した場合、１６０ｃｍ以上１８０ｃｍ未満の範囲であるため、その人物の身長属性の属性値を、「１６０ｃｍ以上１８０ｃｍ未満の区分」とすることとなる。

Ｓ５０３において、計数部１０３は、各属性値を処理対象の属性値として、処理対象の属性値に対応する人物の人数を計数する。ＲＡＭ２０３には、予め定められた複数の属性それぞれに属する各属性値に対応する人物の係数に用いられる変数である計数用変数が、全て０に初期化された上で記憶されているとする。そして、計数部１０３は、識別部１０２により、線分４０１を通過した人物について、予め定められた複数の属性それぞれについての属性値が求められた場合、以下のようにする。計数部１０３は、識別部１０２により求められたその人物の属性値それぞれに対応する係数用変数の値に１を追加する。
前述の通り、演算装置３０３においては、いずれの属性についても、人物がその属性に係る複数の属性値のうちいずれかに属するように属性に係る属性値が設定されている。そのため、最終的には、ある属性に係る複数の属性値それぞれに対応する計数用変数の値を合計すると、検出部１０１により検出された人物の数の合計となる。

図７を用いて、演算装置３０３の処理の一例について説明する。図７の表Ａ〜Ｃは、演算装置３０３の処理の結果を示す表である。表Ａは、性別属性を基準とした処理の結果を示す表である。表Ｂは、年齢属性を基準とした処理の結果を示す表である。表Ｃは、身長属性を基準とした処理の結果を示す表である。
表Ａ〜表Ｃは、行の項目として、対応する属性に属する各属性値を示す項目と、列毎の合計を示す「計」の項目と、を含む。
表Ａ〜表Ｃは、列の項目として、計数部１０３による処理の結果を示す「人数」の項目と、不明の属性値の人物の数の分配の比率を示す「不明分配比率」の項目と、不明数分配部１０４による処理の結果を示す「不明分配済み人数」の項目と、を含む。また、表Ａ〜表Ｃは、列の項目として、対応する属性値を有する人物についての検出部１０１による検出率を示す「検出率」の項目と、補正部１０５と属性別演算部１０６との処理の結果を示す「補正後人数」の項目と、を含む。また、表Ａ〜表Ｃは、属性ごとに補正された人物の総数に対する各属性値を有する人物の数の割合を示す「補正後割合」の項目と、属性間調整部１０７と属性別分配部１０８との処理の結果を示す「再分配」の項目と、を含む。

図７の例では、表Ａ〜Ｃそれぞれの「人数」の項目が示すように、検出部１０１により計４７１４７人の人物が検出されている。また、表Ａの「人数」の項目が示すように、検出された人物のうち２４０４４人が、識別部１０２により性別属性の属性値が「男」であると識別されている。
また、検出された人物のうち２２１５９人が、識別部１０２により性別属性の属性値が「女」であると識別されている。また、検出された人物のうち９４４人について、識別部１０２による性別属性の属性値の識別が失敗しており、「不明」となっている。

図５に戻り、Ｓ５０４において、不明数分配部１０４は、属性ごとに、属性値が「不明」に対応する人数を、その属性に属する各属性値に対応する人数として分配する。
不明数分配部１０４は、「不明」に対応する人数の分配の比率である不明分配比率にしたがって、「不明」に対応する人数を、各属性値に対応する人数として分配する。本実施形態では、性別属性と年齢属性とについての各属性値の不明分配比率は、予め定められているとする。
本実施形態では、性別属性の各属性値についての不明分配比率は、男性と女性とは均等に出現するとの仮定に基づいて、「男」についての不明分配比率と「女」についての不明分配比率とが等しくなるように予め定められている。表Ａの不明分配比率の項目が示すように、「男」についての不明分配比率と「女」についての不明分配比率とは、共に０．５である。
また、本実施形態では、年齢属性の各属性値についての不明分配比率は、予め取得された出現する人物の年齢分布に基づいて予め定められている。表Ｂの不明分配比率の項目が示すように、「１０歳未満の区分」についての不明分配比率は、０．１である。また、「１０歳以上２０歳未満の区分」についての不明分配比率は、０．２である。また、「２０歳以上４０歳未満の区分」についての不明分配比率は、０．４である。また、「４０歳以上６０歳未満の区分」についての不明分配比率は、０．２である。また、「６０歳以上の区分」についての不明分配比率は、０．１である。

不明数分配部１０４は、以下の式１を用いて、各属性について、「不明」に対応する人数を、各属性値に対応する人数に分配する。式１における不明分配済み人数は、「不明」に対応する人数が分配された後の、各属性値に対応する人数である。
不明分配済み人数 ＝ その属性値の人数 ＋ 「不明」に対応する人数 × その属性値の不明分配比率 （式１）
表Ａの例では、不明数分配部１０４は、「男」に対応する人数（２４０４４）に、「不明」に対応する人数（９４４）に「男」に対応する不明分配比率（０．５）を乗じた値（４７７）を加える。このようにして、不明数分配部１０４は、「不明」に対応する人数を、「男」に対応する人数として分配する。同様に、不明数分配部１０４は、「不明」に対応する人数を、「女」に対応する人数として分配する。表Ａの「不明分配済み人数」に示されるように、「不明」に対応する人数が各属性値に対応する人数に分配された結果、「男」に対応する人数は、２４５１６となる。また、「女」に対応する人数は、２２６３１となる。

また、本実施形態では、不明数分配部１０４は、身長属性については、属性値の誤認識は無視できるとの仮定の上で、「不明」に対応する人数を、認識に成功した身長の分布に従って分配する。より具体的には、不明数分配部１０４は、以下の式２を用いて、身長属性の各属性値について、不明分配比率を決定する。
不明分配比率 ＝ その属性値の人数 ／ （属性値不明以外の人数） （式２）
表Ｃの不明分配比率の項目には、式２を用いて決定された不明分配比率が示されている。

Ｓ５０５において、補正部１０５は、不明数分配部１０４により各属性値について求められた不明分配済み人数を、予め定められた補正係数を用いて補正する。本実施形態では、この補正係数は、検出部１０１による各属性値を有する人物の検出率である。検出率とは、検出部１０１がある属性値を有する人物のうちどれだけの割合の人物を検出できるかを示す指標である。本実施形態では、この検出率は、予め用意された多数の画像に対する検出部１０１による人物の検出結果に基づいて、予め定められている。補正部１０５は、検出率に基づいて、各属性値に対応する人数を、補正することで、検出部１０１による検出失敗の影響をより低減した上での人物の計数に寄与できる。
より具体的には、補正部１０５は、以下の式３を用いて、不明分配済み人数を補正する。式３の補正後人数は、不明分配済み人数が補正された値を示す。
補正後人数 ＝ 不明分配済み人数 × （１／その属性値に対応する検出率） （式３）

表Ａ〜Ｃの「検出率」の項目には、各属性値について予め定められた検出率が示されている。表Ａの例では、「検出率」の項目に示されるように、「男」の人物についての検出部１０１の検出率は、０．９である。また、「女」の人物についての検出部１０１の検出率は、０．７である。
表Ａ〜Ｃの「補正後人数」の項目には、補正部１０５により求められた補正後人数の値が示されている。表Ａの例では、「男」に対応する不明分配済み人数が２４５１６人であり、「男」に対応する検出率が０．９であるので、補正後人数は、２４５１６ × （１／０．９）＝２７２４０となる。
Ｓ５０５で属性値ごとに求められる補正後人数は、監視カメラ３０１により撮影された画像内にその属性値に対応する人物の実際の数の推定値である。

Ｓ５０６において、属性別演算部１０６は、属性のそれぞれについて、各属性値に対応する補正後人数の総和を求めることで、属性ごとに人物の実際の数を推定する。
表Ａ〜表Ｃの「補正後人数」の列の「計」の項目には、属性別演算部１０６により推定された属性ごとの人物の数の推定値が示される。表Ａ〜表Ｃから分かるように、属性ごとに、属性別演算部１０６により推定された人物の数は異なる。

Ｓ５０７において、属性間調整部１０７は、属性別演算部１０６により属性ごとに求められた人物の数の推定値の平均値を求める。そして、属性間調整部１０７は、求めた平均値を、検出部１０１により検出失敗を考慮した人物の数の最終的な推定値として決定する。本実施形態では、属性間調整部１０７は、以下の式４に示すように、属性別演算部１０６により属性ごとに求められた人物の数の推定値の算術平均を取ることとする。しかし、属性間調整部１０７は、算術平均ではなく、幾何平均や調和平均を取ることとしてもよい。
最終的な推定人数 ＝ （性別属性についての補正後人数 ＋ 年齢属性についての補正後人数 ＋ 身長属性についての補正後人数） ÷ ３ （式４）
図７の例では、式４の結果は、（５９５７０＋５６５７８．６４８９＋５２１３２．６１８４）／３＝５６０９３．７５５７８となる。
属性間調整部１０７は、求めた最終的な人物の数の推定値を、ユーザインターフェース２０４の表示部に表示したり、ストレージ装置２０５に記憶したりすることで出力する。

また、属性別分配部１０８は、属性ごとに、属性間調整部１０７により求められた最終的な推定人数を、各属性値に対応する人数として分配する。属性別分配部１０８は、属性に属する各属性値に対応する補正後人数のその属性における補正後人数の合計に対する割合（以下では、補正後割合とする）に応じて、補正後の人数を分配する。
属性別分配部１０８は、以下の式５を用いて、各属性値についての補正後割合を求める。
補正後割合 ＝ その属性値の補正後人数 ÷ その属性の補正後人数の総和 （式５）
表Ａ〜Ｃの「補正後割合」の項目に式（６）で求められた補正後割合が示される。
そして、属性別分配部１０８は、以下の式６を用いて各属性値について、属性間調整部１０７により求められた最終的な推定人数を分配する。
再分配人数 ＝ 物体検出の精度低下を補正した人数 × その属性値の補正後割合 （式６）
表Ａ〜Ｃの「再分配」の項目には、式６の結果が示される。

以上、本実施形態では、監視システムは、監視カメラ３０１により撮影された画像から検出された人物の数を、予め定められた検出率に基づいて、補正することで、その画像内の人物の実際の数を推定した。これにより、監視システムは、混雑以外の理由で人物の検出率の低下が生じるような場合でも、より精度よくその画像内の人物の実際の数を推定できる。結果として、監視システムは、より高い精度での物体の計数の実現を支援することができる。
更に、監視システムは、予め定められた属性それぞれを基準として、画像内の人物の実際の数を推定し、推定した数の平均値を最終的な推定値とした。監視システムは、より多くの属性を基準として、画像内の人物の実際の数を推定し、平均を取ることで、より精度よく画像内の人物の実際の数を推定することが期待できる。
更に、監視システムは、属性値ごとに人数を補正しているため、検出率の低下と属性値との相関に応じたより適切な補正を行うことが期待できる。

第１の変形例について説明する。本実施形態では、監視システムは、複数の属性それぞれを基準として、監視カメラ３０１により撮影された画像内の人物の数の推定値を求めて、求めた推定値の平均を最終的な推定値として求めることとした。
ただし、監視システムは、１つの属性を基準として、監視カメラ３０１により撮影された画像内の人物の数の推定値を求めて、求めた推定値を、最終的な推定値としてもよい。その場合、属性別演算部１０６は、Ｓ５０６で、その属性の各属性値に対応する補正後人数の総和を、最終的な人物の数の推定値として求める。そして、属性別演算部１０６は、求めた推定値を出力する。
また、監視システムは、Ｓ５０５で属性値ごとに求められた人物の数を、その属性値に対応する人物の数の推定値として出力してもよい。

第２の変形例について説明する。監視システムは、検出された物体の数を、物体の数に対して予め定められた補正計数に基づいて補正することで実際の数を推定すればよく、そのための具体的な処理は実施形態に限定されるものではない。例えば、ある監視領域における過去の検出結果から検出率が予めわかっているとする。この場合には、監視システムは、検出された人物の数を、予めわかっている検出率に基づいて補正してもよい。このように、監視システムの処理は、属性に係る各属性値の物体の数を補正するものに限定されるものではない。

第３の変形例について説明する。本実施形態では、監視システムは、監視カメラ３０１により撮影された画像内から検出された人物の属性値を識別し、属性値ごとに人物の数を計数し、計数した数を属性値ごとの補正係数を用いて補正した。しかし、監視システムは、他の方法で、属性値ごとの人物の数を求めてもよい。例えば、男性と女性の出現率が等分であることが予めわかっているとする。この場合には、監視システムは、監視カメラ３０１により撮影された画像内から検出された人物の数を、半々に振分けることで、「男」に対応する人物の数と、「女」に対応する人物の数と、を特定してもよい。このように、監視システムは、属性に係る複数の属性値の比に基づいて、属性値毎の人物の数を求めてもよい。

第４の変形例について説明する。本実施形態では、検出部１０１による人物の検出率は、予め定められているものとした。ただし、演算装置３０３は、検出部１０１による人物の検出率を動的に求めてもよい。例えば、演算装置３０３は、監視カメラ３０１により撮影された一定期間の動画像から検出部１０１により検出された人物の数と、その動画像内に存在する人物の数として演算装置３０３の入力部を介して指定された数と、の比を検出率としても求めてもよい。
第５の変形例について説明する。本実施形態では、監視システムは、人物が取り得る属性値の区分である属性として、性別属性、年齢属性、身長属性を用いた。しかし、監視システムは、他の属性を用いることとしてもよい。例えば、監視システムは、人物がどの方向を向いているかを示す属性である向き属性を用いてもよい。監視カメラ３０１が広場等の人物の歩行方向を限定できない場所に設置されているとする。
この場合、識別部１０２は、人物の撮影された際の向きを、向き属性の属性値として識別してもよい。そして、監視システムは、向きごとに人物を計数し、向きごとに計数した人数を、向きごとに予め定められた検出率に基づいて補正し、合計をとる。このようにして、監視システムは、向き属性を基準として、監視カメラ３０１により撮影された画像内の人物の実際の数を推定する。画像からの物体検出技術では撮影角度に応じて、検出率が異なる場合があり、このような処理により、監視システムは、より精度よく、人物の数を推定できる。

第６の変形例について説明する。本実施形態では、検出部１０１は、顔形状、上半身形状、全身形状等の人物の形状のうちの１つの形状に基づいて、人物を検出することとした。ただし、検出部１０１は、顔形状、上半身形状、全身形状等の人物の形状のうちの複数の形状それぞれに基づいて、人物を検出することとしてもよい。
その場合、検出部１０１は、監視カメラ３０１に向かって歩行する人物についてはその顔形状に基づきより高精度に検出できる。また、検出部１０１は、監視カメラ３０１に背を向ける人物については上半身形状や全身形状に基づく検出により検出精度が、顔形状を用いる場合よりも低下する場合がある。この場合、監視システムは、検出部１０１が検出に用いた人物の形状の種類ごとに、属性を別途設けることとしてもよい。そして監視システムは、それらの属性それぞれを基準として、人物の数を推定し、推定した人物の数の平均を最終的な推定値としてもよい。

第７の変形例について説明する。本実施形態では、監視システムは、監視カメラ３０１により予め定められた期間の間に撮影された動画像である画像から人物を検出し、計数することとした。ただし、監視システムは、動画像ではなく静止画像である画像内の人物の数を計数することとしてもよい。

＜実施形態２＞
本実施形態では、異なる属性同士を組み合わせた属性を基準とした処理について説明する。
本実施形態の監視システムのシステム構成は、実施形態１と同様である。また、演算装置３０３のハードウェア構成及び機能構成についても、実施形態１と同様である。

属性同士で検出率に相関がある場合があるとする。この場合、属性を集合、属性に属する属性値を元として見た時の直積集合を新たな属性と解釈する。以下では、複数の属性同士の直積で表される属性を結合属性とする。
図６に示す属性のうち、メガネ着用の有無属性とマスク着用の有無属性との検出率には、相関がある。なぜならば、顔検出では目や口を強く参照して検出し一方が失敗しても他方が補う様な関係になり、眼と口の双方が隠れる場合の検出率の低下は、何れか一方が隠れる場合の検出率の低下の和や積よりもずっと大きくなるからである。本実施形態の監視システムは、メガネ着用の有無属性とマスク着用の有無属性との組み合わせ（直積）で表される結合属性を、１つの属性（以下では、メガネ・マスク属性）として、Ｓ５０１〜Ｓ５０７と同様の処理を行う。
このメガネ・マスク属性において人物の取り得る属性値は、「（メガネなし、マスクなし）偽、偽」、「（メガネあり、マスクなし）真、偽」、「（メガネなし、マスクあり）偽、真」、「（メガネあり、マスクあり）真、真」の４つとなる。

本実施形態では、監視システムは、性別属性、年齢属性、身長属性、メガネ・マスク属性それぞれを基準として、実施形態１と同様の処理で、監視カメラ３０１により撮影された画像内の人物の数を計数し、人物の実際の数を推定する。
識別部１０２は、検出部１０１により検出された人体に対して、メガネ・マスク属性について、図６の領域５１１に示される様に属性値を識別する。ただし、識別部１０２は、「不明」の属性値を識別していないとする。そのため、本実施形態では、不明数分配部１０４は、メガネ・マスク属性については、Ｓ５０４の処理を実行しない。
図８の表Ｄは、本実施形態の演算装置３０３のメガネ・マスク属性を基準とした処理の結果を示す表である。表Ｄは、行の項目として、メガネ・マスク属性に属する各属性値を示す項目と、列毎の合計を示す「計」の項目と、を含む。
表Ｄは、列の項目として、計数部１０３による処理の結果を示す「人数」の項目と、対応する属性値を有する人物についての検出部１０１による検出率を示す「検出率」の項目と、を含む。また、表Ｄは、列の項目として、補正部１０５と属性別演算部１０６との処理の結果を示す「補正後人数」の項目と、属性ごとに補正された人物の総数に対する各属性値を有する人物の数の割合を示す「補正後割合」の項目を含む。また、表Ｄは、列の項目として、属性間調整部１０７と属性別分配部１０８との処理の結果を示す「再分配」の項目と、を含む。

表Ｄの「検出率」の項目を見ると、属性値「偽、偽（メガネ・マスクともに無し）」に対応する検出率は、０．９である。また、属性値「真、偽（メガネ有り・マスク無し）」に対応する検出率は、０．８である。また、属性値「偽、真（メガネ無し・マスク有り）」に対応する検出率は、０．７である。
「真、偽」に対応する検出率の、「偽、偽」に対応する検出率に対する低下の割合は、１−（８／１０）÷（９／１０）＝１／９となる。即ち、人物がメガネを着用することで、メガネもマスクも着用していない状態に比べて、検出率が１／９低下する。また、「偽、真」に対応する検出率の、「偽、偽」に対応する検出率に対する低下の割合は、１−（７／１０）÷（９／１０）＝２／９となる。即ち、人物がマスクを着用することで、メガネもマスクも着用していない状態に比べて、検出率が２／９低下する。
仮に、メガネ着用の有無属性と、マスク着用の有無属性と、が互いに独立であり、相関がないとする。その場合、「真、真」に対応する検出率は、（９／１０＊ （１−（１／９＋２／９））＝０．６となるはずである。しかし、表Ｄに示されるように、「真、真」に対応する検出率は、０．３となっており、理論値よりも低い値となっている。そのため、メガネ着用の有無属性と、マスク着用の有無属性と、は相関があることが示されている。

本実施形態では、属性間調整部１０７は、性別属性、年齢属性、身長属性、メガネ・マスク属性それぞれを基準として、Ｓ５０６までの処理で求まった人物の数の推定値を平均して、最終的な推定値を求める。図８に示されるように、メガネ・マスク属性について、Ｓ５０６までの処理で求まった人物の数の推定値は、５５３８２．１２３である。また、性別属性、年齢属性、身長属性、それぞれについて求まった人物の数の推定値は、実施形態１と同様に、５９５７０、５６５７８．６４９８、５２１３２．６１８４である。そのため、属性間調整部１０７は、最終的な推定値を、（５９５７０＋５６５７８．６４８９＋５２１３２．６１８４＋５５３８２．１２３）÷４＝５５９１５．８４７５９と求める。
そのため、属性別分配部１０８は、５５９１５．８４７５９を属性値ごとに分配する。

以上、本実施形態では、監視システムは、複数の相関する属性を組み合わせて新たに１つの属性として扱うこととした。監視システムは、相関のある複数の属性を１つの属性として、人物の数を推定することで、これらの属性を独立した別個の属性として扱う場合よりも、精度よく画像内の人物の数を推定できる。
本実施形態では、２つの属性値を取り得る２つの相関する属性同士の組合せを１つの属性として扱うこととした。但し、監視システムは、３以上の属性値を取り得る３以上の相関する属性同士の組合せを、１つの属性として扱うこととしてもよい。

＜実施形態３＞
実施形態１では、監視システムは、計数対象である人物が取り得る各属性値について予め定められた検出率に基づいて、検出部１０１により検出された人物の数を補正した。
本実施形態では、監視システムは、監視カメラ３０１により撮影された画像自体の属性値について予め定められた検出率に基づいて、その画像に含まれる人物の実際の数を推定する。
本実施形態の監視システムのシステム構成は、実施形態１と同様である。また、演算装置３０３のハードウェア構成及び機能構成についても、実施形態１と同様である。

本実施形態の演算装置３０３の処理を説明する。
検出部１０１は、実施形態１と同様に、監視カメラ３０１により撮影された画像から人物を検出する。
本実施形態では、識別部１０２は、検出部１０１により検出された人物それぞれについては、属性値を識別しない。識別部１０２は、検出部１０１により検出された人物の総数を、その画像に対応する環境における人物の混雑の度合を示す属性値である混雑度として決定する。このとき混雑度が上がればある人物が他人を隠す頻度が上がり検出部１０１の検出率は下がる。このため、混雑度が上がれば補正部１０５の検出精度補正係数は大きくなり、これを補正することができる。
本実施形態では、混雑度の値に応じた検出部１０１による人物の検出率が予め定められている。

続いて、補正部１０５は、検出部１０１により検出された人物の数を、識別部１０２により決定された混雑度に応じた検出率に基づいて、補正し、補正した値を、監視カメラ３０１により撮影された画像内の人物の実際の数の推定値とする。
また、属性間調整部１０７は、この推定値と、実施形態１におけるＳ５０１〜Ｓ５０６の処理により属性ごとに求められた監視カメラ３０１により撮影された画像内の人物の実際の数の推定値と、の平均をとり、最終的な推定値としてもよい。

＜実施形態４＞
実施形態１では、補正部１０５は、検出部１０１による人物の検出率に基づいて、監視カメラ３０１により撮影された画像から検出された人物の数を補正することとした。本実施形態では、補正部１０５は、検出部１０１による人物の検出率以外の補正係数を用いて、人物の数を補正する処理を説明する。
本実施形態の監視システムのシステム構成は、実施形態１と同様である。また、演算装置３０３のハードウェア構成及び機能構成についても、実施形態１と同様である。

本実施形態では、監視システムは、人物の検出率以外の検出部１０１の特性に基づいて定められた補正係数を用いて、検出部１０１により検出された人物の数を補正する。
検出部１０１が検出できる物体が、人物の顔のみであるとする。すなわち、検出部１０１は、図３に示した通路で監視カメラ３０１に向かっている人物しか検出しないという特性を持つとする。この場合、監視カメラ３０１に背を向ける人物と監視カメラ３０１に向かっている人物との比率が、予め補正係数として定められているとする。補正部１０５は、この補正係数を求めることで、監視カメラ３０１により撮影された画像内における検出された人物（監視カメラ３０１に向かっている人物）と、監視カメラ３０１に背を向けている人物と、の合計の数を推定できる。
例えば、ある画像から検出部１０１により監視カメラ３０１に向かっている人物が１０人検出されたとする。そして、監視カメラ３０１に背を向ける人物と監視カメラ３０１に向かっている人物との比率（監視カメラ３０１に背を向ける人物の数／監視カメラ３０１に向かっている人物の数）である補正係数が、２であるとする。補正部１０５は、以下の式を用いて、監視カメラ３０１に向かっている人物の数（１０人）を補正する。
監視カメラ３０１に向かっている人物の数（１０）＋監視カメラ３０１に向かっている人物の数（１０）×補正係数（２）＝３０

検出部１０１が、１００分の計数期間のうち１０分間だけ人物の検出を行うという特性持つとする。この場合、計数期間と検出部１０１により検出が行われる期間との比率（計数期間（１００分）／検出部１０１により検出が行われる期間（１０分））が、予め補正係数（１０）として定められているとする。補正部１０５は、この補正係数を求めることで、計数期間全体を通しての監視カメラ３０１により撮影された画像内における人物の数を推定できる。
例えば、ある画像から検出部１０１により監視カメラ３０１に向かっている人物が１０人検出されたとする。補正部１０５は、以下の式を用いて、監視カメラ３０１に向かっている人物の数（１０人）を補正する。
監視カメラ３０１に向かっている人物の数（１０）×補正係数（１０）＝１００

以上、本実施形態の処理により、監視システムは、検出部１０１の特性に応じた補正係数で、検出された人数を補正することで、より適切に補正できる。

＜その他の実施形態＞
実施形態１〜４では、監視システムは、人物を計数することとした。ただし、監視システムは、車両や動物等の人物以外の物体を計数することとしてもよい。
例えば、車両を計数することとする場合、検出部１０１は、大量の車画像に基づいて参考文献１に基づき車を検出することができる。また、車種、車高、車色、等ごとに収集された画像に基づいて学習された識別部１０２を用いることで、車量の属性値を識別できる。属性値ごとの検出部１０１による車両の検出率を求めておくことで補正部１０５による処理を実現できる。このように、監視システムは、車両を計数できる。

また、実施形態１〜４では、演算装置３０３が、物体の計数処理を実行することとした。ただし、監視カメラ３０１が、物体の計数処理を実行することとしてもよい。
その場合、監視カメラ３０１は、図２で説明した演算装置３０３のハードウェア構成と同様のハードウェア構成要素を含む情報処理装置となる。そして、監視カメラ３０１のＣＰＵが、監視カメラ３０１のストレージ装置に記憶されたプログラムにしたがって処理を実行することで、図４を用いて説明した機能と同様の機能、図５で説明した処理と同様の処理等が実現される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した監視システムの機能構成の一部又は全てをハードウェアとして演算装置３０３に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。

３０１ 監視カメラ
３０３ 演算装置
２０２ ＣＰＵ

Claims (7)

1. 画像から物体を検出する検出手段と、
   予め定められた補正係数に基づいて、前記検出手段により検出された前記物体の数を補正することで、前記画像に含まれる前記物体の実際の数を推定する推定手段と、
   を有する情報処理装置。
2. 前記検出手段により検出された前記物体の、予め定められた属性に係る属性値のうち、処理対象の属性値に対応する物体の数を計数する計数手段と
   をさらに有し、
   前記推定手段は、前記処理対象の属性値に対して予め定められた前記補正係数に基づいて、前記計数手段により計数された前記物体の数を補正することで、前記画像に含まれる前記処理対象の属性値に対応する前記物体の実際の数を推定する請求項１記載の情報処理装置。
3. 前記計数手段は、前記属性が取り得る複数の属性値それぞれに対応する物体の数を計数し、
   前記推定手段は、前記複数の属性値それぞれに対して予め定められた前記補正係数に基づいて、各属性値に対して計数された物体の数を補正し、補正した各属性値に対する物体の数に基づいて、前記物体の実際の数を推定する請求項２記載の情報処理装置。
4. 前記計数手段は、複数の属性それぞれに対し、前記属性が取り得る複数の属性値それぞれに対応する物体の数を計数し、
   前記推定手段は、複数の属性それぞれについて推定した前記物体の実際の数に基づいて、前記物体の実際の数の最終的な値を推定する請求項３記載の情報処理装置。
5. 前記推定手段は、前記検出手段の特性に基づいて決定された前記補正係数に基づいて、前記検出手段により検出された前記物体の数を補正する請求項１乃至４何れか１項記載の情報処理装置。
6. 情報処理装置が実行する情報処理方法であって、
   画像から物体を検出する検出ステップと、
   予め定められた補正係数に基づいて、前記検出ステップで検出された前記物体の数を補正することで、前記画像に含まれる前記物体の実際の数を推定する推定ステップと、
   を含む情報処理方法。
7. コンピュータを、請求項１乃至５何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。

Images