JP2019207639A

JP2019207639A - 情報処理装置、撮像装置、情報処理方法、および、プログラム

Info

Publication number: JP2019207639A
Application number: JP2018103820A
Authority: JP
Inventors: 大矢　崇; Takashi Oya; 崇大矢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-05-30
Filing date: 2018-05-30
Publication date: 2019-12-05
Anticipated expiration: 2038-05-30
Also published as: KR20190136931A; US10872422B2; EP3576054B1; JP7237467B2; CN110555363A; US20190370976A1; KR102482765B1; EP3576054A1

Abstract

【課題】行列が伸びても、行列の待ち時間を精度よく推定できる情報処理装置を提供する。【解決手段】待ち行列１００の画像から行列１００に並んでいる人物を検出する。そして情報処理装置１３０は、人物の検出結果に基づき、人物が行列１００の入口１０１および出口１０２を通過する時刻と行列１００の待ち人数から行列待ち時間を求める第１推定処理、または、人物が行列１００の出口１０２を通過する時刻と行列１００の待ち人数から行列待ち時間を求める第２推定処理の選択をする。【選択図】図１

Description

情報処理装置、撮像装置、情報処理方法、および、プログラムに関する。

駅舎、空港、小売店、銀行等の施設おいて、利用者の待ち行列が発生する。このような待ち行列を撮影した映像から、行列待ち人数のカウントや待ち時間推定を行う技術がある。

行列の人数カウントに関して、特許文献１では、人物の移動方向から入室人数および退室人数を計測し、その差分から室内に滞留する人数を求めている。特許文献２では、監視領域の出入口を撮像する複数のカメラ画像から人の侵入または退出を検出し、監視領域内の人数を求め、さらに、監視領域全体を撮影するカメラの画像から監視領域内の人数を補正している。特許文献３では、行列の上方に設けたカメラによって行列を撮影し、画像処理によって人数を計測して表示させている。行列の待ち時間推定に関して、特許文献４では、行列の人数を背景差分方式により行列を形成する人数を計数し、待ち時間を推定している。

特開２００８−２１７２８９号公報特開２００４−２８７７５２号公報特開２００５−２１６２１７号公報特開２００７−３１７０５２号公報

特許文献１と２の手法は、領域の出入り口の人物通過観測に基づいて所定の領域内の人数を計測するものであるため、入口を超えて、行列が伸びた場合は、待ち人数の計測精度が低下しうる。一方、特許文献３と４の手法は、測定した行列の長さを用いるため、行列の最後尾が入口より伸びても対応できる。しかし、行列の長さを用いる場合、待ち時間の推定精度が低下しうる。

本発明は、行列が伸びても、行列の待ち時間を精度よく推定できる情報処理装置の提供を目的とする。

本発明の情報処理装置は、待ち行列の画像から行列に並んでいる人物を検出する検出手段と、検出手段の検出結果に基づき、人物が行列の入口および出口を通過する時刻と行列の待ち人数から行列待ち時間を求める第１推定処理、または、人物が行列の出口を通過する時刻と行列の待ち人数から行列待ち時間を求める第２推定処理の選択をする、選択手段と、を有する。

本発明の情報処理装置によれば、行列が伸びても、行列の待ち時間を精度よく推定できる。

第１実施形態に係る情報処理システムのシステム構成の一例を示す概略図である。第１実施形態に係る情報処理システムのハードウェア構成等の一例を示すブロック図である。第１実施形態に係る情報処理装置のソフトウェア構成の一例を示すブロック図である。第１推定処理および第２推定処理を説明するための模式図である。行列の最後尾が行列の入口の内側にある状態の行列画像の一例を示す模式図である。行列の最後尾が行列の入口の外側にある状態の行列画像の一例を示す模式図である。第１実施形態に係る情報処理装置の処理の一例を示すフローチャートである。第２実施形態に係る推定処理を説明する模式図である。第２実施形態に係るメイン処理の一例を示すフローチャートである。

以下に、本発明の好ましい実施形態について図面を参照して詳細に説明する。
＜第１実施形態＞

本実施形態では、情報処理システムが待ち行列の待ち時間を求める処理について説明する。図１は、第１実施形態に係る情報処理システムのシステム構成の一例を示す概略図である。情報処理システム１１０は、撮像装置１２０、撮像装置１２０とネットワークで接続された情報処理装置１３０、を含む。情報処理システム１１０は、待ち行列１００に並んでいる人物１１１の待ち時間を第１推定処理または第２推定処理を用いて求める。人物１１１は、入口１０１から入場し、ガイド１０３に沿って進み、出口１０２から退場する。言いかえると、行列１００は出口１０２を先頭に、ガイド１０３に沿って、入口１０１に向かって伸びる。なお、本実施形態においては、ある人物１１１が行列１００に入場（入口１０１を通過）してから退場（出口１０２を通過）するまでに要する時間を「待ち時間」という。

撮像装置１２０は、行列の画像（行列画像）を撮像する、例えばネットワークカメラであり、少なくとも１つ以上あればよい。撮像装置１２０は、行列中の人物１１１を撮影し、情報処理装置１３０上で動作するソフトウェアが画像中の人物１１１を検出することで、行列の待ち人数をカウントする。以下、行列待ち人数の合計を「行列長」という。撮像装置１２０は、行列１００の全体を撮影していることが望ましいが、複数の撮像装置１２０を用いて行列１００を部分的に観測し、それらを統合することで、行列長を求めることも可能である。複数の撮像装置を用いる場合、行列全体が１つの撮像装置の視野に収まらない場合や、行列１００の形状が複雑で隠れが生じる場合にも対応することができる。また、行列１００が奥行き方向に伸びており、画面内の位置によって人物検出が困難である場合にも有効である。

情報処理装置１３０は、第１推定処理または第２推定処理を用いて待ち行列の待ち時間を求める情報処理装置である。情報処理装置１３０は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、タブレット装置等を有する。

図２は、第１実施形態に係る情報処理システム１１０のハードウェア構成等の一例を示す図である。情報処理装置１３０、撮像装置１２０は、ネットワーク１４０を介して、通信可能に接続されている。ネットワーク１４０は、撮像装置１２０と情報処理装置１３０との接続に利用されるネットワークである。ネットワーク１４０は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態においては撮像装置１２０、情報処理装置１３０間の通信を行うことができるものであればその通信規格、規模、構成を問わない。例えば、ネットワーク１４０は、インターネットや有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ（ＷｉｒｅｌｅｓｓＬＡＮ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）等により構成されてもよい。

撮像装置１２０は、ネットワークカメラ等の撮像装置である。本実施形態では、情報処理装置１３０は、撮像装置１２０の駆動、撮像装置１２０から撮像画像の取得等を行う。撮像装置１２０は、ＣＰＵ２１０、ＲＯＭ２１１、ＲＡＭ２１２、撮像部２１３、通信制御部２１４を含む。ＣＰＵ２１０は、ＲＯＭ２１１に記憶されたプログラムを読み出して撮像装置１２０の処理を制御する。ＲＡＭ２１２は、ＣＰＵ２１０の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ２１１は、ブートプログラム等を記憶する。撮像部２１３は、撮像素子と撮像素子上に被写体の光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として撮像素子上に撮像を行う。撮像部２１３は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（ＣｈａｒｇｅｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）等の撮像素子である。通信制御部２１４は、ネットワーク１４０を介した情報処理装置１３０等の外部の装置との通信に利用される。ＣＰＵ２１０がＲＯＭ２１１に記憶されたプログラムに基づき処理を実行することによって、撮像装置１２０の機能及び撮像装置１２０の処理等が実現される。

情報処理装置１３０は、ハードウェア構成として、ＣＰＵ２２０、ＲＯＭ２２１、ＲＡＭ２２２、入力部２２３、表示部２２４、通信制御部２２５を有している。ＣＰＵ２２０は、ＲＯＭ２２１に記憶されたプログラムを読み出して各種処理を実行する。ＲＡＭ２２２は、ＣＰＵ２２０の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ２２１は、ブートプログラム等を記憶する。入力部２２３は、入力装置２３０を介した情報処理装置１３０への情報の入力を制御する。表示部２２４は、表示装置２４０への画面の表示を制御する。本実施形態では、情報処理装置１３０と表示装置２４０とは、独立した装置とするが、表示装置２４０が情報処理装置１３０に含まれることとしてもよい。また、情報処理システム１１０は、複数の表示装置２４０を含んでもよい。通信制御部２２５は、情報処理装置１３０を、有線、又は無線を介して他の装置に接続する。ＣＰＵ２２０がＲＯＭ２２１に記憶されたプログラムを読み出して処理を実行することにより、情報処理装置１３０の機能及び後述するフローチャートの情報処理装置１３０による処理が実現される。

図３は、第１実施形態に係る情報処理装置１３０のソフトウェア構成の一例を示す図である。情報処理装置１３０は、ソフトウェア構成として、通信部３０１、画像取得部３０２、人物検出部３０３、通過人数取得部３０４、領域人数取得部３０５、設定部３０８、選択部３０６、推定部３０７、を含む。通信部３０１は、撮像装置１２０等の装置と有線又は無線で通信する。画像取得部３０２は、通信部３０１から、撮像装置１２０が撮像した行列画像を取得する。なお、本実施形態に係る情報処理装置１３０は、特定の画像形式や圧縮方式に依存することなく、待ち時間を求めることが可能である。人物検出部３０３は、行列画像中の人物および人物の位置を検出する検出手段である。人物検出部３０３は、例えば、人物の上半身の形状を検出する方式、人物の顔を検出する方式、または、その他の特徴量を学習させて人物を検出する方式が利用可能であり、これらに限られない。

通過人数取得部３０４は、行列１００の入口１０１および出口１０２の通過した人数をカウントし、通過人数を取得する。領域人数取得部３０５は、行列画像に含まれる、人物１１１が行列１００を成している領域（行列領域）に存在する人物をカウントし、行列１００の待ち人数を求める待ち人数取得手段である。設定部３０８は、行列１００の入口１０１および出口１０２を設定する設定手段である。また、設定部３０８は、行列領域内に、後述する設定領域を設定し、その領域の閾値を設定する。設定部３０８おける設定は、ユーザが入力装置２３０を用いて行っても良い。選択部３０６は、領域人数取得部３０５によって求められた待ち人数に基づいて、行列の最後尾が位置する行列領域を判定する。選択部３０６は、判定結果に基づき、第１推定処理または第２推定処理の選択を行い、選択した推定処理の実行を推定部３０７に指示する。推定部３０７は、選択部３０６によって選択された推定処理を実行し、行列の待ち時間を求める推定手段である。

ここで、図４を用いて第１推定処理および第２推定処理について説明する。図４は、第１推定処理および第２推定処理を説明する図である。図４（Ａ）は、第１推定処理を説明する図である。第１推定処理は、入場時刻（人物が入口を通過した時刻）と退場時刻（人物が出口を通過した時刻）と行列長が観測可能な行列４１０の待ち時間推定処理である。行列４１０は、行列の待ち人物毎に入場時刻Ｔｉｎと、順番Ｎを設定する。入場時刻Ｔｉｎは人物１１１が入口１０１を通過した時刻、順番Ｎは入場時おける前に並ぶ人物の数であり、入場直前の行列長と一致する。また、退場時刻Ｔｏｕｔは人物１１１が出口１０２を通過した時刻である。

例えば、ある人物１１１の入口１０１の通過が検出されると、人物１１１の入場時刻Ｔｉｎおよび順番Ｎが新規に人物１１１に設定される。次に、行列４１０の先頭の人物１１１の出口の通過が検出されると、行列４１０内の順番が進み、行列に並んでいる人物１１１のそれぞれの順番Ｎが１減る。Ｎ＝０となった時、その人物は行列の先頭であることを意味する。この状態で人物１１１出口の通過が観測された場合、退場時刻Ｔｏｕｔが設定される。待ち時間Ｔｗは、退場時刻Ｔｏｕｔと入場時刻Ｔｉｎとの差分であって、以下の式によって求められる。

図４（Ｂ）は、第２推定処理を説明する図である。第２推定処理は、退場時刻と行列長が観測可能な行列４２０の待ち時間推定処理である。第２推定処理では、入口の通過による入場時刻を観測できない代わりに、行列長の変化によって人物１１１の入場を検出する。具体的には、定期的に行列長Ｌを観測し、前回の観測時の行列長Ｌ´と、前回観測時から今回の観測時までの退場者数Ｎｏｕｔから、この間に行列に入場した人物（新規入場者）の数を求める。新規入場者数Ｎｉｎは、以下の式によって求められる。

上記式において算出されたＮｉｎが正のとき、Ｎｉｎに相当する新規入場者数を行列４２０に追加する。この後の処理は第１推定処理と同様である。即ち、人物１１１の出口の通過が観測されたら、式（１）を用いてその人物１１１の待ち時間を求める。このとき、式（１）の入場時刻Ｔｉｎとして、新規入場者数を求めた際の観測時刻を用いる。

第１推定処理と第２推定処理とを比較すると、第１推定処理は、人物の入口通過を検出すると、新規の入場者を行列に遅延なく追加することができる。これに対し、第２推定処理は、行列待ち人数（行列長Ｌ）を観測するタイミングでしか新規入場者を追加できないため、実際の入場時刻と、待ち時間を求める際に用いる入場時刻Ｔｉｎとの間で誤差が生じうる。観測の間隔を短くすることで、この点については解消することが可能であるが、第２推定処理においては、行列長Ｌを観測するため、待ち人数が多く行列長が大きな行列の場合は人物検出処理の負荷が大きく、観測の間隔を短くすることが困難である。その結果、第２推定処理は第１推定処理と比較すると、行列の入口が明確に定義できない場合にも適用可能であるという利点を有する一方で、待ち時間の推定精度が劣りうる。

本実施形態に係る情報処理装置１３０は、画像内の行列の出入口を設定し、行列の最後尾が入口まで到達しないときは、第１推定処理を用いて待ち時間を求める。行列の最後尾が入口の外側にまで伸びたときは、情報処理装置１３０は、第１推定処理を用いて待ち時間を求めることができないため、第２推定処理を用いて待ち時間を求める。

図５は、行列の最後尾が行列の入口１０１の内側にある状態の行列画像の一例を示す図である。図６は、行列の最後尾が行列の入口１０１の外側にある状態の行列画像の一例を示す図である。撮像装置１２０によって撮像された行列画像には、入口１０１および出口１０２が設定される。入口１０１および出口１０２は、例えば、行列画像内の任意の位置に仮想の線を形成することによって、設定されても良い。よって、行列画像には、入口１０１の内側である第１行列領域５１０と、入口１０１の外側である第２行列領域５２０とが含まれうる。第１行列領域５１０および第２行列領域５２０内には、さらに１または複数の設定領域Ｒが設定されうる。本実施形態において、第１行列領域５１０内には設定領域Ｒ１〜Ｒ３が設定され、第２行列領域５２０内には設定領域Ｒ４〜Ｒ６が設定されている。第２行列領域５２０における設定領域Ｒ４〜Ｒ６は、例えば、行列が延伸する領域を事前に観測または予想することで設定されてもよい。図５においては、第１行列領域５１０に含まれる設定領域Ｒ３が最後尾となっている。よって、情報処理装置１３０は、第１推定処理を実行して、待ち時間を求める。一方、図６においては、第２行列領域５２０に含まれる設定領域Ｒ５が最後尾となっている。よって、情報処理装置１３０は、第２推定処理を実行して、待ち時間を求める。

図７は、第１実施形態に係る情報処理装置の処理の一例を示すフローチャートである。図７（Ａ）は、本実施形態に係るメイン処理の一例を示すフローチャートである。まず、処理開始後、Ｓ７０１において、画像取得部３０２は、通信部３０１から、撮像装置１２０が撮像した行列画像を取得する。Ｓ７０２において、人物検出部３０３は、行列画像内の人物を検出する。Ｓ７０３において、通過人数取得部３０４は、人物検出部３０３の検出結果に基づいて、行列の入口１０１および出口１０２を通過した人数をカウントする。なお、ここで行列の出入口の通過人数のカウントが実行されるのは、情報処理装置１３０の初期設定として、まず、第１推定処理が実行されるように設定されているためである。

次に、Ｓ７０４において、領域人数取得部３０５は、人物検出部３０３の検出結果に基づいて、設定領域Ｒの人物検出数をカウントする。行列長Ｌは、設定領域Ｒ１〜Ｒ６で検出された人物の総和であり、以下の式で表される。

なお、上記式において、Ｌｎは設定領域Ｒｎで検出された人物の数を示す。

続いて、Ｓ７０５において、領域人数取得部３０５は、全ての設定領域Ｒにおいて人物検出数のカウントが終了したかどうかを判定する。全て終了していない場合（ＮＯ）には、Ｓ７０４に戻り、Ｓ７０４〜Ｓ７０５を繰り返す。全ての設定領域Ｒの人物検出数のカウントが終了した場合（ＹＥＳ）には、Ｓ７０６において、選択部３０６は、行列の最後尾が、第１行列領域および第２行列領域のうち、いずれの領域に位置するのかを判定する。なおＳ７０４、Ｓ７０５の処理は、画像取得の度に実行する必要は必ずしもなく、システムの負荷に応じて２回に１回とするなど、回数を減らしてもよい。

ここで、Ｓ７０６における最後尾判定処理の詳細について説明する。図７（Ｂ）は、本実施形態に係る最後尾判定処理の一例を示すフローチャートである。本フローにおける各工程は、選択部３０６によって実行されうる。まず、Ｓ７２０において、選択部３０６は、行列の最後尾を入口１０１の内側である第１行列領域５１０に位置すると仮設定する。次に、Ｓ７２１において、行列の最後尾が位置する設定領域Ｒを設定領域Ｒ１に初期化する。設定領域Ｒ１は、行列の出口１０２に最も近い設定領域Ｒである。続いて、Ｓ７２２において、設定領域Ｒｎの待ち人数が閾値以上かを判定する。ここで、ｎには自然数が入る。閾値は、設定部３０８によって設定される。なお、閾値としては、固定値を設定してもよいし、直近の期間の判定領域内の人物検出数の統計量に基づいて設定してもよい。統計量としては平均値や最頻値に対して所定の定数を乗算した値が利用可能である。閾値は、それぞれの設定領域Ｒに異なる閾値が設定されても良いし、同じ閾値が設定されても良い。Ｓ７２２において、設定領域Ｒｎの待ち人数が閾値未満である場合（ＮＯ）、選択部３０６は、その設定領域Ｒｎが行列の最後尾が位置する最後尾領域Ｒｅｎであると判定し、Ｓ７２５へ進む。設定領域Ｒｎの待ち人数が閾値以上である場合（ＹＥＳ）、Ｓ７２３において、Ｒｎを１増加させる。

次に、Ｓ７２４において、全ての設定領域Ｒに対する処理を完了したかを判定する。つまり、Ｒｎ＋１と、Ｒｎの最大値Ｒｍｘとを比較する。具体的には、例えば、図５では、設定領域Ｒは６つ設定されているため、最大値Ｒｍｘ＝６となる。図７に戻り、Ｒｎ＋１の値が、最大値Ｒｍｘ以下の場合（ＮＯ）、全ての設定領域Ｒに対する処理が未完了であるので、Ｓ７２２に戻り、Ｓ７２２〜Ｓ７２４を繰り返す。Ｒｎ＋１の値が、最大値Ｒｍｘよりも大きい場合（ＹＥＳ）全ての設定領域Ｒに対する処理が完了しているので、設定領域Ｒｍｘが最後尾領域Ｒｅｎであると判定し、Ｓ７２５に進む。

Ｓ７２５では、最後尾領域Ｒｅｎが入口領域Ｒｉｎより大きいかを判定する。ここで、入口領域Ｒｉｎとは、入口１０１の内側の設定領域Ｒであって、入口１０１に隣接する設定領域Ｒである。具体的には、例えば、図５では、Ｒｉｎ＝３である。図７に戻り、Ｒｅｎの値が、Ｒｉｎの値以下である場合（ＮＯ）、行列の最後尾は第１行列領域５１０位置するため、選択部３０６は、行列の最後尾は入口１０１の内側に位置すると判定し、図７（Ａ）のＳ７０７へ進む。一方、Ｓ７２５において、Ｒｅｎの値が、Ｒｉｎの値よりも大きい場合（ＹＥＳ）は、行列の最後尾は第２行列領域５２０に位置するため、Ｓ７２６において、選択部３０６は、行列の最後尾は入口１０１の外側に位置すると判定し、同様にＳ７０７へ進む。

図７（Ａ）に戻り、Ｓ７０７では、選択部３０６は、最後尾判定結果に基づき、行列の最後尾が入口１０１の外側にあるか否かを判定する。最後尾が入口１０１の外側にない場合（ＮＯ）は、Ｓ７０８に進み、選択部３０６は、第１推定処理を選択し、推定部３０７に第１推定処理の実行を指示する。最後尾が入口１０１の外側にある場合（ＹＥＳ）は、Ｓ７０９に進み、選択部３０６は、第２推定処理を選択し、推定部３０７に第２推定処理の実行を指示する。次に、Ｓ７１０では、推定部３０７は、選択部３０６によって選択された推定処理を実行し、結果を出力する。Ｓ７１１では、終了指示が出ていれば、処理を終了する。終了指示が出ていなければＳ７０１に戻り、処理を続ける。

以上によれば、行列の最後尾が、入口の内側に位置するか、外側に位置するかによって待ち時間の推定処理方法を切り替えることが可能となる。その結果、行列の状態に関わらず、行列の待ち時間の推定精度を向上させることができる。

なお、本実施形態においては、１つの撮像装置を用いる場合について説明したが、行列の出口と入口を、それぞれ異なる撮像装置から得てもよい。また、複数の設定領域を異なる撮像装置から得た画像に設定してもよい。この場合、Ｓ７０３およびＳ７０４における行列の待ち人数の取得処理は、実装上別々のプロセス、タスクまたはスレッド上で処理し、結果をメインのプロセス、タスクまたはスレッドで統合する並列処理構成をとることも可能である。

さらに、本実施形態において、行列の入口および出口は、行列画像内の仮想線としたが、これに限られない。例えば、赤外線による通過センサ等の検知装置を設け、この検知装置と情報処理装置とを接続することにより、入口および出口を設定しても良い。
＜第２実施形態＞

次に、第２実施形態について説明する。第２実施形態として言及しない事項は、前述の実施形態に従う。第２実施形態では、行列の最後尾が、入口の外側に位置する場合には、行列全体を、第１行列領域に位置する行列と、第２行列領域に位置する行列の２つの行列に分割する。そして、それぞれの行列で求めた推定結果を統合して全体の待ち時間を推定する。

まず、第１実施形態の図６を用いて、本実施形態に係る行列の分割について説明する。図６では、行列の最後尾が第２行列領域５２０に位置している。このとき、第１行列領域に含まれる設定領域Ｒ１〜Ｒ３に位置する行列を第１行列とし、第２行列領域５２０に含まれる設定領域Ｒ４〜Ｒ６に位置する行列を第２行列とする。このようにすることで、入口１０１を第１行列の入口とし、出口１０２を第１の行列の出口として、第１行列に対して第１推定処理を実行することが可能となる。一方、第２行列は行列の入口が定義できないが、入口１０１を第２行列の出口とすることで、第２推定処理を実行する。

図８は、第２実施形態に係る推定処理を説明する図である。第１推定処理および第２推定処理の方法については、第１実施形態と同様であるが、全体の待ち人数は、第１行列８１０と第２行列８２０の待ち人数の和となる。また、本実施形態では、第２行列８２０の出口８２１を通過した人物１１１は、同時に第１行列８１０の入口８１１を通過する人物１１１であるといえる。よって、第１行列８１０の入口８１１の通過が検出されると、第１行列８１０への入場時刻に加えて第２行列８２０の待ち時間Ｔｗｍの情報が人物１１１に設定される。そして、人物１１１が第１行列８１０の出口８１２を通過した際に、第１行列８１０における待ち時間に第２行列８２０における待ち時間加算されて、待ち時間が求められる。即ち、本実施形態の推定処理による待ち時間Ｔｗは、以下の式で表すことができる。

図９は、第２実施形態に係るメイン処理の一例を示すフローチャートである。図７に示したフローチャートと同じものには図７中の符号と同符号を付し、説明は省略する。Ｓ７０６において、行列の最後尾判定を行うことは同様であるが、その結果の如何によらず、Ｓ９０１では、選択部３０６は、第１行列８１０に対して第１推定処理を選択し、推定部３０７に第１行列８１０に対して第１推定処理を実行するよう指示する。推定部３０７は、第１行列８１０に対して第１推定処理実行する。次に、Ｓ７０７において、選択部３０６が行列の最後尾が入口の外側にあると判定した場合（ＹＥＳ）、Ｓ９０２に進む。Ｓ９０２において、選択部３０６は、第２行列８２０に対して第２推定処理を選択し、推定部３０７に第２行列８２０に対して第２推定処理を実行するよう指示する。推定部３０７は、第２行列８２０に対して第２推定処理実行する。その後、Ｓ９０３において、推定部３０７は、第１行列８１０に対する第１推定処の結果と第２行列８２０に対する第２推定処理の結果とを統合する。具体的には、推定部３０７は、第１行列８１０の待ち時間に第２行列８２０の待ち時間加算することで、待ち時間推定結果を出力する。Ｓ７０７において、選択部３０６が行列の最後尾が入口の外側にないと判定した場合（ＮＯ）、推定部３０７は、第１行列８１０に対する第１推定処理の結果を出力する。

以上の処理の結果、出入口のある行列において、入口から行列が伸びた場合でも、精度を低下させることなく、行列の待ち時間を推定することが可能となる。
＜その他の実施形態＞

以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。さらに、撮像装置１２０のＲＯＭ２１１に本発明の処理を記憶させることで、撮像装置１２０が本発明の機能を実行することも可能である。この場合、撮像装置１２０のＣＰＵ２１０がＲＯＭ２１１に記憶されたプログラムに基づき処理を実行することによって、上述のフローチャートの撮像装置１２０による処理が実現される。また、この場合、撮像装置１２０は、求めた待ち時間を通信制御部２１４（出力手段）によって、情報処理装置などの外部装置へと出力する。

１１０情報処理システム
１２０撮像装置
１３０情報処理装置
３０３人物検出部
３０４領域人数取得部
３０６選択部
３０７推定部
３０８設定部

Claims

待ち行列の画像から行列に並んでいる人物を検出する検出手段と、
前記検出手段の検出結果に基づき、前記人物が前記行列の入口および出口を通過する時刻と前記行列の待ち人数から行列待ち時間を求める第１推定処理、または、前記人物が前記行列の出口を通過する時刻と前記行列の待ち人数から行列待ち時間を求める第２推定処理の選択をする選択手段と、を有する、ことを特徴とする情報処理装置。
前記検出結果に基づき、前記行列の待ち人数を求める待ち人数取得手段を更に有し、
前記選択手段は、前記行列の待ち人数に基づき、前記選択を行う、ことを特徴とする請求項１に記載の情報処理装置。
前記行列の入口を設定する設定手段をさらに備える、ことを特徴とする請求項１または２に記載の情報処理装置。
前記画像は、前記行列の入口の内側である第１行列領域と、前記行列の入口の外側である第２行列領域と、を含み、
前記選択手段は、前記第１行列領域および第２行列領域のうち、いずれの行列領域に前記行列の最後尾が位置するかを判定し、前記判定結果に基づき、前記選択を行うことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
前記設定手段は、前記第１行列領域および前記第２行列領域内に、１または複数の設定領域を設定し、
前記選択手段は、待ち人数が閾値未満である前記設定領域が含まれる行列領域を、前記最後尾が位置する行列領域であると判定する、ことを特徴とする請求項４に記載の情報処理装置。
前記設定手段は、前記複数の設定領域のそれぞれに、前記閾値を設定する、ことを特徴とする請求項５に記載の情報処理装置。
前記選択手段は、前記第１行列領域に前記行列の最後尾が位置する場合、前記第１推定処理を選択する、ことを特徴とする請求項４乃至６のいずれか１項に記載の情報処理装置。
前記選択手段は、前記第２行列領域に前記行列の最後尾が位置する場合、前記第２推定処理を選択する、ことを特徴とする請求項４乃至７のいずれか１項に記載の情報処理装置。
前記選択手段は、前記第２行列領域に前記行列の最後尾が位置する場合、前記第１推定処理および前記第２推定処理を選択する、ことを特徴とする請求項４乃至７のいずれか１項に記載の情報処理装置。
前記選択手段の選択に基づき、前記第１推定処理または前記第２推定処理を実行して、前記行列待ち時間を求める推定手段を更に有し、
前記推定手段は、前記選択手段によって前記第１推定処理および前記第２推定処理が選択された場合、前記行列を前記第１行列領域に位置する行列と前記第２行列領域に位置する行列とに分割し、
前記第１行列領域に位置する行列に対しては、前記第１推定処理を実行し、前記第２行列領域に位置する行列に対しては、前記第２推定処理を実行する、ことを特徴とする請求項９に記載の情報処理装置
前記推定手段は、前記行列を分割した場合、前記行列の入口を、前記第１行列領域に位置する行列の入口および前記第２行列領域に位置する行列の出口として、前記第１推定処理および前記第２推定処理を実行する、ことを特徴とする請求項１０に記載の情報処理装置。
前記推定手段は、前記第１推定処理および前記第２推定処理を実行する場合、前記第１推定処理の第１推定結果と、前記第２推定処理の第２推定結果とを統合して、前記行列待ち時間を求める、ことを特徴とする請求項１０または１１に記載の情報処理装置。
待ち行列の画像を撮像する撮像手段と、
前記待ち行列の画像から行列に並んでいる人物を検出する検出手段と、
前記検出手段の検出結果に基づき、前記人物が前記行列の入口および出口を通過する時刻と前記行列の待ち人数から行列待ち時間を求める第１推定処理、または、前記人物が前記行列の出口を通過する時刻と前記行列の待ち人数から行列待ち時間を求める第２推定処理の選択をする選択手段と、
前記選択手段によって選択された前記第１推定処理、または、前記第２推定処理により求められた待ち時間を出力する出力手段と、を有する、ことを特徴とする撮像装置。
情報処理装置が実行する情報処理方法であって、
待ち行列の画像から行列に並んでいる人物を検出する検出ステップと、
前記検出ステップにおける検出結果に基づき、前記人物が前記行列の入口および出口を通過する時刻と前記行列の待ち人数から行列待ち時間を求める第１推定処理、または、前記人物が前記行列の出口を通過する時刻と前記行列の待ち人数から行列待ち時間を求める第２推定処理の選択をする選択ステップと、を含む、ことを特徴とする情報処理方法。
コンピュータを、請求項１乃至１２何れか１項記載の情報処理装置の各手段として、機能させるためのプログラム。