JP2018151960A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】画像において精度よく人数をカウントすることを目的とする。【解決手段】撮影装置によって撮影された画像から人体を検出する検出手段と、検出手段により検出された人体の数をカウントするカウント手段と、画像の解析結果及び画像の撮影時の撮影条件のうち少なくとも一方に基づく補正係数を用いて、カウント手段によりカウントされた前記人体の数を補正する補正手段とを有する。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、行列に並ぶ人数をカウントする方法として、行列をカメラで撮影し、その映像に対して人体検出を行う方法が知られている。また、長い行列に並ぶ人数をカウントする方法として、行列を複数台のカメラで撮影し、それぞれの映像に対して人体検出を行い、その結果を足し合わせることで行列に並ぶ人数を算出する方法も知られている。

特許文献１には、複数のカメラを用いて行列を直上から撮影し、それらの映像に対して人体検出を行い、その結果を足し合わせることで、行列に並ぶ待ち人数をカウントする方法が開示されている。また、特許文献２には、対象領域の出入り口にカメラを設置し、領域に侵入する、あるいは退出する人の数をそれぞれカウントすることで、領域内の人数をカウントする方法が開示されている。さらに、特許文献２には、出入り口に設置するカメラとは別に設置してあるカメラ（以下、補正用カメラ）の人体検出結果に応じて人数のカウントを補正する方法が開示されている。

特開２００５−２１６２１７号公報 特開２００４−２８７７５２号公報

しかしながら、従来の手法においては、カウント人数に誤差が生じる場合があるという課題が存在する。例えば、特許文献１の補正方法では、過去のカウント人数を元に現在のカウント人数の適切さを判断し、現在のカウントを補正する。しかしながら、この方法では、映像内に安定して未検出となる人体が存在した場合、正しい人数に補正することができず、カウント人数に誤差が生じてしまう。また、特許文献２の補正方法においても、補正の判断に用いるカメラの映像において安定して未検出となる人体が存在した場合、適切な人数への補正を行うことができずに、人数カウントに誤差が生じてしまう。

本発明はこのような問題点に鑑みなされたもので、画像において精度よく人数をカウントすることを目的とする。

そこで、本発明は、情報処理装置であって、撮影装置によって撮影された画像から人体を検出する検出手段と、前記検出手段により検出された人体の数をカウントするカウント手段と、前記画像の解析結果及び前記画像の撮影時の撮影条件のうち少なくとも一方に基づく補正係数を用いて、前記カウント手段によりカウントされた前記人体の数を補正する補正手段とを有する。

本発明によれば、画像において精度よく人数をカウントすることができる。

情報処理装置のハードウェア構成の一例を示す図である。 情報処理装置のソフトウェア構成を示す図である。 処理対象の映像の説明図である。 人数カウント処理を示すフローチャートである。 人体検出結果の一例を示す図である。 補正係数設定処理を示すフローチャートである。 処理対象の映像の説明図である。 人数カウント処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ(ＨＤＤ)１０４、通信部１０５、入力装置１０６及び表示装置１０７を有する。通信部１０５はネットワーク１０８に接続されている。ＣＰＵ１０１は、ＲＯＭ１０２に記録された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、主メモリやワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、映像ファイルの保存に用いる。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

通信部１０５は、ネットワーク１０８を介して通信を行う回路である。なお、ＣＰＵ１０１がＨＤＤ１０４から映像を取得する場合には通信部１０５は必ずしも必要ではない。またＣＰＵ１０１が、ネットワーク１０８を介して映像を取得する場合にはＨＤＤ１０４は必ずしも必要ではない。表示装置１０７は、各種情報を表示するディスプレイ等の表示用デバイスである。入力装置１０６はキーボードやマウスなど、映像の選択や、指定範囲をユーザの手によって指定するためのデバイスを有する。

図２は、第１の実施形態に係る情報処理装置１００のソフトウェア構成を示す図である。画像受付部２０１は、撮影装置２１０から映像を受け付ける。なお、映像とはａｖｉファイル、ｍｏｖファイルの様な映像ファイルでもよいし、Ｗｅｂカメラからで送られてくるようなリアルタイム映像でもよい。本実施形態においては、画像受付部２０１は、複数の撮影装置２１０それぞれから映像を受け付ける。操作受付部２０２は、ユーザ操作に応じた指示を受け付ける。操作受付部２０２は、例えば、映像の選択指示等を受け付ける。

人体検出部２０３は、画像受付部２０１が受け付けた映像に対し、人体検出を行う。人体検出部２０３は、具体的には、パターンマッチングにより、映像中のフレームから人体を検出する。本実施形態においては、人体検出部２０３は、人体の少なくとも一部を検出した場合に、１人の人体を検出したと判断する。なお、ここでいう人体検出処理とは、明確に人体を検出するものである必要はなく、検出したものが最終的に人体であると判断される検出方法であればよい。他の例としては、人体検出部２０３は、映像において動体検出により人体を検出してもよい。

補正係数算出部２０４は、画像受付部２０１が取得した映像の解析結果に基づいて、補正係数を算出し、算出した補正係数を補正係数記憶部２０５に記録する。カウント部２０６は、人体検出部２０３による検出結果に基づいて、画像内に存在する人物の数、すなわち人数をカウントする。補正部２０７は、カウント部２０６によりカウントされた人数を、補正係数記憶部２０５に記憶されている補正係数を用いて補正する。統合部２０８は、複数の画像から得られた人数を足し合わせ、最終的な人数を算出する統合部２０８は、さらに、算出した人数を外部装置等に出力するよう制御する。

なお、図２を参照しつつ説明した情報処理装置１００の各機能は、それぞれが複数のＣＰＵやＲＯＭ、ＲＡＭ等を協働させて実現されるものでもよく、また、それぞれがハードウェア回路により実現されるものでもよい。

図３は、本実施形態に係る情報処理装置１００が処理対象とする映像の説明図である。本実施形態においては、図３に示すように、人物３０１を先頭とし、コの字を描くように並んだ行列３１０の待ち人数をカウントする場合を例に、情報処理装置１００の処理について説明する。行列３１０に対し、３つの撮影装置２１０ａ〜２１０ｃが設置されているものとする。撮影装置２１０ａは、行列３１０のうち、領域３１１を撮影範囲として撮影を行い、撮影装置２１０ｂ、２１０ｃはそれぞれ、領域３１２、領域３１３を撮影範囲として撮影を行うものとする。

撮影装置２１０ａにより撮影された画像３２１には、人物３０１を先頭とする領域３１１の人物列が写っている。撮影装置２１０ｂにより撮影された画像３２２には、領域３１２の人物列が写っている。撮影装置２１０ｃにより撮影された画像３２３には、領域３１３の人物列が写っている。画像３２１においては、人物は正面を向いており、画像３２２においては、人物は横向きであり、画像３２３においては、人物は後ろ向きである。情報処理装置１００は、画像３２１〜３２３を受け付け、画像３２１〜３２３それぞれにおいて人数をカウントし、その合計数を算出することにより、行列３１０の待ち人数を特定する。

図４は、情報処理装置１００による人数カウント処理を示すフローチャートである。Ｓ４０１において、人体検出部２０３は、図３に示す３つの映像それぞれに対し、人体検出を行う。本実施形態においては、人体検出部２０３は、正面顔、横顔及び後頭部を映像中から探索することで人体の検出を行う。なお、正面顔、横顔及び後頭部の検出精度は、それぞれ１００％、７５％、５０％程度であることが予めわかっている。なお、人体検出に係るアルゴリズムは実施形態に限定されるものではない。

図５は、図３に示す画像３２１〜３２３に対する人体検出結果の一例を示す図である。画像３２１〜３２３において、検知枠５００で囲われた人物は、人体検出処理により検出された人物である。画像３２１においてはすべての人物が検出されているが、画像３２２においては１人の人物が未検出、画像３２３においては２人の人物が未検出となっている。このように、人体検出の精度は、検出された人体の部位に応じて異なる。

図４に戻り、Ｓ４０１の処理の後、Ｓ４０２において、補正係数算出部２０４は、補正係数を設定する。図６は、補正係数設定処理（Ｓ４０２）における詳細な処理を示すフローチャートである。Ｓ６０１において、補正係数算出部２０４は、処理対象の映像を１つ選択する。そして、選択した映像において検出された人物それぞれについて検出した部位がいずれの部位であったかを確認する。例えば、図５に示す画像３２１の人物３０１においては、正面顔が人物検出において検出された部位として特定される。

次に、Ｓ６０２において、補正係数算出部２０４は、処理対象の映像において最も多く検出された部位を特定する。例えば、画像３２１においては、最も多く検出された部位として正面顔が特定される。また、画像３２２においては横顔、画像３２３においては後頭部が特定される。

補正係数算出部２０４は、最も多く検出された部位として正面顔が特定された場合には（Ｓ６０２で正面顔）、処理をＳ６０３へ進める。Ｓ６０３において、補正係数算出部２０４は、補正係数を１．０に設定する。補正係数算出部２０４は、最も多く検出された部位として横顔が特定された場合には（Ｓ６０２で横顔）、処理をＳ６０４へ進める。Ｓ６０４において、補正係数算出部２０４は、補正係数を１．２５に設定する。補正係数算出部２０４は、最も多く検出された部位として後頭部が特定された場合には（Ｓ６０２で後頭部）、処理をＳ６０５へ進める。Ｓ６０５において、補正係数算出部２０４は、補正係数を１．７５に設定する。以上で、補正係数設定処理（Ｓ４０２）が終了する。

このように、補正係数算出部２０４は、特定された部位に応じて補正係数を決定する。なお、各部位に対応した補正係数が予めＨＤＤ１０４等に記憶されているものとする。本処理により、画像３２１に対しては補正係数１．０、画像３２２に対しては補正係数１．２５、画像３２３に対しては補正係数１．７５が設定される。このように、補正係数算出部２０４は、画像単位で補正係数を設定する。

図４に戻り、Ｓ４０２の処理の後、Ｓ４０３において、カウント部２０６は、Ｓ４０１における人体検出結果に基づいて、検出された人物の数をカウントする。図５の例では、画像３２１において４人、画像３２２において、３人、画像３２３において２人のカウント結果が得られる。次に、Ｓ４０４において、補正部２０７は、Ｓ４０２において設定された補正係数を用いて、Ｓ４０３においてカウントされた人数を補正する。図５の例では、補正部２０７は、画像３２１の人数４人に対し、補正係数１．０を乗じることで、補正後の人数４人を得る。補正部２０７はまた、画像３２２の人数３人に対しては、補正係数１．２５を乗じることで補正後の人数３．７５を得る。補正部２０７はまた、画像３２３の２人に対しては、補正係数１．７５を乗じることで補正後の人数３．５を得る。

次に、Ｓ４０５において、統合部２０８は、Ｓ４０４において各画像から得られた補正後の人数を足し合わせることにより、合計人数、すなわち、行列３１０の待ち人数を算出する。図５の例では、画像３２１〜３２３において得られた補正後の人数４人、３．７５人、３．５人を加算した１２．２５人が合計人数として得られる。以上で、人数カウント処理が終了する。

図３に示すように、実際の待ち人数が１２人であるところ、上記処理により１２．２５人と近い値を算出することができる。なお、上記補正が行なわれなかった場合の合計人数は９人であり、補正により、より実際の人数に近い人数を算出できることがわかる。

以上のように、本実施形態に係る情報処理装置１００は、画像に含まれる人体の部位の検出結果、すなわち画像の解析結果に基づいて、補正係数を決定し、補正係数を用いて人数を補正することにより、精度よく、真値に近い人数をカウントすることができる。

第１の実施形態の第１の変形例としては、情報処理装置１００は、画像の解析結果に基づいて補正係数を決定すればよく、そのための処理は実施形態に限定されるものではない。他の例としては、情報処理装置１００は、画像中の動きベクトルを算出し、動きベクトルから人物の状態を推定し、補正係数を決定してもよい。具体的には、情報処理装置１００は、動きベクトルの方向に応じて、正面顔、横顔及び後頭部のいずれかを特定し、これに対応した補正係数を決定してもよい。また、他の例としては、情報処理装置１００は、動きベクトルから動きの速度に応じた補正係数を決定してもよい。

また、第２の変形例としては、情報処理装置１００は、画像の解析結果に替えて、画像の撮影時の撮影条件に基づいて補正係数を決定してもよい。例えば、情報処理装置１００は、撮影時の画角に応じて補正係数を決定してもよい。画角が大きくなるほど、検出精度が低くなることに対応したものである。また、他の例としては、情報処理装置１００は、撮影時の撮影方向に応じて補正係数を決定してもよい。撮影方向に応じて人物の向きが推定可能な場合に有効である。情報処理装置１００は、画像の解析結果及び撮影条件のうち少なくとも一方に基づいて補正係数を決定すればよい。

また、第３の変形例としては、情報処理装置１００は、ユーザ操作に応じて、適宜補正係数を変更可能としてもよい。例えば、人体検出アルゴリズムの性能を検証した環境と、実際に使用している環境とに大きな違いがあったとする。その場合、使用環境での人体検出アルゴリズムの性能は予め知っていた性能と多少の違いがあると見るのが自然である。このような場合に違いを補正すべく、補正係数を変更することができる。例えば、予め得られた人体の検出精度よりも低い検出精度となっている場合には、ユーザは、より高い補正係数を手動で設定することができる。逆に、予め得られた人体の検出精度よりも高い検出精度となっている場合には、ユーザはより低い補正係数を手動で設定することができる。このように、補正係数を自動で設定できるようにするだけでなく手動でも設定できるようにすることによって、より柔軟に状況への対処を行えるようになる。

また、第４の変形例としては、本実施形態においては、情報処理装置１００が行列の人数をカウントする場合を例に説明したが、情報処理装置１００のカウント対象は実施形態に限定されるものではない。他の例としては、情報処理装置１００は、イベントスペースにいる人物の数をカウントしてもよい。

（第２の実施形態）
次に、第２の実施形態に係る情報処理装置１００について説明する。第２の実施形態に係る情報処理装置１００は、１つの画像に対し複数の領域を設定し、各領域に対して補正係数を設定し、領域単位で人数の補正を行う。以下、第２の実施形態に係る情報処理装置１００について、第１の実施形態に係る情報処理装置１００と異なる点について説明する。

図７は、第２の実施形態に係る情報処理装置１００が処理対象とする映像の説明図である。図７に示すように、人物３０１を先頭とする行列３１０の人数をカウントする場合において、１つの撮影装置２１０が設置され、行列３１０の全体を撮影範囲として撮影を行うものとする。これにより、撮影装置２１０により撮影された画像７００には、行列３１０全体が写っている。この場合、画像７００において、行列３１０の人物の向きは一様ではなく、右を向いている人物、正面を向いている人物及び左を向いている人物が混在している。このような画像においては、１つの補正係数のみでは適切な補正をすることはできない。そこで、本実施形態に係る情報処理装置１００は、検出された人物の部位に基づいて、画像において２以上の領域を設定し、各領域における補正係数を設定する。

図８は、第２の実施形態に係る情報処理装置１００による人数カウント処理を示すフローチャートである。Ｓ８０１において、人体検出部２０３は、映像に対し人体検出を行う。本実施形態においては、人体検出部２０３は、処理対象となる１つの映像に対し人体検出を行う。人体検出部２０３は、例えば画像７００に対し人体検出を行う。次に、Ｓ８０２において、補正係数算出部２０４は、人体検出の結果に基づいて、処理対象の映像中の複数の領域を設定する。本実施形態においては、補正係数算出部２０４は、人体検出において検出された部位に基づいて、領域を設定する。補正係数算出部２０４は、例えば同じ部位が検出された複数の位置を含む領域を１つの領域として設定する。補正係数算出部２０４は、画像７００に対しては、右向きの顔、左向きの顔、正面顔の３つに応じて、３つの領域７０１〜７０３を設定する。

次に、Ｓ８０３において、補正係数算出部２０４は、各領域に対して補正係数を設定する。本処理は、第１の実施形態において図６を参照しつつ説明した補正係数設定処理（Ｓ４０２）と同様である。これにより、Ｓ８０２において設定された各領域に対し、各領域において検出された部位に応じた補正係数が設定される。次に、Ｓ８０４において、カウント部２０６は、Ｓ８０１における人体検出結果に基づいて、検出された人物の数を、Ｓ８０２において設定された領域毎にカウントする。

次に、Ｓ８０５において、補正部２０７は、Ｓ８０３において領域毎に設定された補正係数を用いて、Ｓ８０４においてカウントされた人数を補正する。次に、Ｓ８０６において、統合部２０８は、Ｓ８０５において各領域から得られた補正後の人数を足し合わせることにより、合計人数、すなわち、行列３１０の待ち人数を算出する。以上で、人数カウント処理が終了する。なお、第２の実施形態に係る情報処理装置１００のこれ以外の構成及び処理は、第１の実施形態に係る情報処理装置１００の構成及び処理と同様である。以上のように、本実施形態に係る情報処理装置１００は、第１の実施形態に係る情報処理装置１００と同様に、精度よく人数をカウントすることができる。

なお、第２の実施形態の第１の変形例としては、情報処理装置１００は、画像の解析結果に基づいて、領域を設定すればよく、そのための処理は実施形態に限定されるものではない。他の例としては、情報処理装置１００は、動きベクトルに基づいて領域を設定してもよい。

第２の変形例としては、情報処理装置１００は、第１の実施形態の処理と組み合わせ、複数の映像を処理対象とし、各映像に対し領域を設定することとしてもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０３ 人体検出部
２０４ 補正係数算出部
２０６ カウント部
２０７ 補正部

Claims (8)

1. 撮影装置によって撮影された画像から人体を検出する検出手段と、
   前記検出手段により検出された人体の数をカウントするカウント手段と、
   前記画像の解析結果及び前記画像の撮影時の撮影条件のうち少なくとも一方に基づく補正係数を用いて、前記カウント手段によりカウントされた前記人体の数を補正する補正手段と
   を有することを特徴とする情報処理装置。
2. 前記検出手段により検出された前記人体の部位に基づいて、前記補正係数を決定する決定手段をさらに有し、
   前記補正手段は、前記決定手段により決定された前記補正係数を用いることを特徴とする請求項１に記載の情報処理装置。
3. 前記画像から得られる動きベクトルに基づいて、前記補正係数を決定する決定手段をさらに有し、
   前記補正手段は、前記決定手段により決定された前記補正係数を用いることを特徴とする請求項１に記載の情報処理装置。
4. 前記画像の撮影時の画角及び撮影方向の少なくとも一方に基づいて、前記補正係数を決定する決定手段をさらに有し、
   前記補正手段は、前記決定手段により決定された前記補正係数を用いることを特徴とする請求項１に記載の情報処理装置。
5. 前記検出手段は、複数の撮影装置から取得した複数の画像それぞれにおいて人体を検出し、
   前記カウント手段は、前記複数の画像それぞれにおける人体の数をカウントし、
   前記補正手段は、各画像に対する前記補正係数を用いて、各画像に対して特定された前記人体の数を補正することを特徴とする請求項１に記載の情報処理装置。
6. 前記画像の解析結果に基づいて、前記画像に対し複数の領域を設定する設定手段をさらに有し、
   前記カウント手段は、前記設定手段により設定された各領域における人体の数をカウントし、
   前記補正手段は、前記設定手段により設定された各領域に対する解析結果に基づく補正係数を用いて、各領域においてカウントされた人体の数を補正することを特徴とする請求項１に記載の情報処理装置。
7. 情報処理装置が実行する情報処理方法であって、
   撮影装置によって撮影された画像から人体を検出する検出ステップと、
   前記検出ステップにおいて検出された人体の数をカウントするカウントステップと、
   前記画像の解析結果及び前記画像の撮影時の撮影条件のうち少なくとも一方に基づく補正係数を用いて、前記カウントステップにおいてカウントされた前記人体の数を補正する補正ステップと
   を含むことを特徴とする情報処理方法。
8. コンピュータを、
   撮影装置によって撮影された画像から人体を検出する検出手段と、
   前記検出手段により検出された人体の数をカウントするカウント手段と、
   前記画像の解析結果及び前記画像の撮影時の撮影条件のうち少なくとも一方に基づく補正係数を用いて、前記カウント手段によりカウントされた前記人体の数を補正する補正手段と
   して機能させるためのプログラム。

Images