JP2017156956A - 機器選択装置、その方法及びそのプログラム - Google Patents

Abstract

【課題】画像内の人数の偏在に基づいて、混雑の緩和を行うことができる機器を選択できる機器選択装置を提供する。
【解決手段】機器選択装置１０は、実世界に配された複数台の機器を含む画像を取得する画像取得部１１と、稼働中の１台の前記機器を設定し、前記機器に対応する前記画像上の画像設定領域を設定し、前記画像設定領域内に存在する人間の画像混雑度を算出する第１算出部１２と、前記画像と前記実世界上との位置関係から、前記画像設定領域に対応する前記実世界上の現実設定領域を算出し、前記画像混雑度から前記現実設定領域内の現実混雑度を算出する第２算出部１３と、前記現実混雑度が予め定めた第１基準を満たしている場合に、前記設定した稼働中の機器以外の停止中の前記機器を、予め定めた第１選択規則に基づいて選択し、前記選択した停止中の前記機器の稼働情報を出力する選択部１４とを有する。
【選択図】 図１

Description

本発明の実施形態は、機器選択装置、その方法及びそのプログラムに関するものである。

従来、カメラによって人間の数を算出し、その算出結果に基づいてこれら人間を誘導して混雑を解消する技術が提案されている。

特開２０１４−１７０４１７号公報 特開２０１５−１０８９１３号公報 特開２００６−０３１６４５号公報

しかし、上記従来技術であると撮影範囲内の人間の総数のみに基づいて混雑緩和を行っており、撮影範囲内の局所的な人数の偏在に基づいて混雑緩和を行っておらず、そのため、この混雑の緩和を行うためにどの機器を選択して動作させるかが判断できないという問題点があった。

そこで本発明の実施形態は、上記問題点に鑑み、取得した画像内の人数の偏在に基づいて混雑の緩和を行うことができる機器を選択できる機器選択装置、その方法及びそのプログラムを提供することを目的とする。

本発明の実施形態は、実世界に配された複数台の機器を含む画像を取得する画像取得部と、稼働中の１台の前記機器を設定し、前記画像上に前記機器に対応する画像設定領域を設定し、前記画像設定領域内に存在する人間の画像混雑度を算出する第１算出部と、前記画像と前記実世界上との位置関係から、前記画像設定領域に対応する前記実世界上の現実設定領域を算出し、前記画像混雑度から前記現実設定領域内の現実混雑度を算出する第２算出部と、前記現実混雑度が予め定めた第１基準を満たしている場合に、前記設定した稼働中の機器以外の停止中の前記機器を、予め定めた第１選択規則に基づいて選択し、前記選択した停止中の前記機器の稼働情報を出力する選択部と、を有する機器選択装置である。

本発明の一実施形態の機器選択装置のブロック図。 機器選択装置のフローチャート。 ３台のレジを１台のカメラで撮影した画像の図。 画像上に画像設定領域を設定した図。 混雑が増えた画像上に画像設定領域を設定した図。 画像上に画像設定領域の結合を防止する境界線を設けた図。 ２台のレジの前で買物客の行列が形成されている場合の実世界の平面図。 （ａ）は１台のレジの前で買物客の行列が折れ曲がっている場合の画像の図であり、（ｂ）はその実世界の平面図。 １台のレジ前で買物客が混雑している場合の画像の図。 レジ前の買物客の混雑が解消している場合の画像の図。 パーティションポールを画像認識した状態の画像の図。 機器選択装置のハードウェア構成の一例を表すブロック図。

以下、本発明の一実施形態の機器選択装置１０について図面を参照して説明する。

実施形態１

以下、本発明の実施形態１の機器選択装置１０について図１と図２を参照して説明する。

機器選択装置１０について図１のブロック図に基づいて説明する。図１に示すように機器選択装置１０は、画像取得部１１、第１算出部１２、第２算出部１３、選択部１４を有している。

「機器」とは、複数の人間が行列を作って順番に操作し、又は、通行する機器を意味する。スーパーマーケットや小売店などのレジ、自動販売機、駅、映画館、食堂、遊園地などの券売機、銀行のＡＴＭ、空港の搭乗ゲート、スタジアムや遊園地の入場口などの入場ゲートである。本実施形態では、複数台の機器が、一列に沿って設置されている。なお、機器選択装置１０と複数台の機器は、管理者によって管理され、機器は、機器選択装置１０の稼働信号に基づいて機器が自動的に稼働するか、又は、稼働信号に基づいて管理者が機器を稼働させる。また、機器は、機器選択装置１０の停止信号に基づいて機器が自動的に停止するか、又は、停止信号に基づいて管理者が機器を停止させる。

１台のカメラ１００が、画像取得部１１に接続され、人間の混雑度を算出したい範囲を撮影するように建屋や野外に設置され、さらに複数の機器が、同じ画像８で全て撮影できるように設置されている。また、カメラ１００を設置したときに世界座標系と画像座標系の位置関係（画像と実世界の位置関係）を示すカメラパラメータを較正（キャリブレーション）して求めておく。世界座標系における実世界の位置と、画像座標系における画像８上の位置との関係は、そのカメラパラメータに基づいて、実世界の位置を画像８の位置に投影し、また、逆に画像８の位置を実世界の位置に投影して算出する。

また、第１算出部１２、第２算出部１３には、マウス、ペン、キーボードなどの入力装置１０７とディスプレイなどの表示装置１０９が接続されている。以下、各部１１〜１４を図２のフローチャートに基づいて説明する。

画像取得部１１は、ステップＳ１において、カメラ１００から時刻ｔ１における画像８を取得する。「画像８」は、静止画像、又は、動画像の一フレームを意味する。また、画像取得部１１は、時刻ｔ１に続いて、時刻ｔ２、ｔ３の画像８を取得する。

第１算出部１２は、ステップＳ２において、取得した時刻ｔ１における画像８上に設定された１つ以上の画像設定領域内の画像混雑度を算出する。

「画像混雑度」とは、画像８上の画像設定領域内の人間に基づく統計量であり、例えば単位領域内に占める人間の面積の割合、又は、単位領域内の人数である。第１算出部１２は、人間の上半身や頭部を検出して画像混雑度を算出する。また、第１算出部１２は、画像８を小領域（例えば１０×１０画素の領域）に分割し、小領域内のテクスチャを特徴量として小領域内の人数と特徴量との関係を機械学習し、小領域内の人数を求めて画像混雑度を算出してもよい。

「画像設定領域」は、特定の機器に対応した画像混雑度を算出するための画像８上の領域であり、カメラ１００の設置、カメラパラメータの求値後に設定する。設定方法は、下記の方法がある。第１算出部１２が、画像設定領域を求める方法について説明する。

まず、混雑計測開始時（時刻ｔ１）における最初の画像設定領域の設定方法について説明する。

第１の設定方法は、管理者が、特定の機器の識別情報を設定し、また、表示装置１０９を見ながら入力装置１０７を用いて、画像設定領域を画像８上で直接設定する。そして、第１算出部１２は、設定した機器の識別情報（以下、「設定識別情報」という）と画像設定領域を対応付ける。

第２の設定方法は、管理者が、特定の機器の識別情報を設定し、また、実世界の図面（道路の地図や店舗の設計図など）上で領域を指定し、第１算出部１２が、実世界で指定した領域に対応した画像８上の領域をカメラパラメータを用いて投影し、その投影した画像８上の領域を画像設定領域に設定する。そして、第１算出部１２は、設定した機器の設定識別情報と画像設定領域を対応付ける。

第３の設定方法は、管理者が、画像８上、又は、実世界上の基準となる位置（一点）を指定し、第１算出部１２は、その指定した点を画像８上に投影し、投影した点から一定の距離範囲内を画像設定領域として設定する。また、管理者が、特定の機器の識別情報を設定する。そして、第１算出部１２は、設定した機器の設定識別情報と画像設定領域を対応付ける。

第４の設定方法は、実世界の構造物により予め人間が集中する形態がわかる場合である。このときには、第１算出部１２は、カメラ１００で撮影している範囲内の構造物を画像認識で検出し、検出結果に基づいて画像設定領域を設定する。また、管理者が、特定の機器の識別情報を設定する。そして、第１算出部１２は、設定した機器の設定識別情報と画像設定領域を対応付ける。「構造物」とは、部屋や野外に設置された棚の配置、道路、通路、行列を作るためのパーティションポール、床や地面に描かれた誘導用線などである。

次に、人間の移動の状態によって画像設定領域は時間と共に変化するので、第１算出部１２は、その時間変化をもとに画像設定領域の結合や分離を行う。

画像混雑度の結合や分離は、既に存在する混雑（集団、又は、一人の人間）、すなわち、時刻ｔ１以前の時刻ｔ０における混雑Ａと、時効ｔ０と時刻ｔ１の間に追加で現れた混雑（集団、又は、一人の人間）Ｂについて、それぞれの混雑Ａ，Ｂ間の距離を求め、距離が事前に定めた距離閾値ｒ以下なら混雑Ａの範囲と混雑Ｂの範囲を結合する。既存の混雑が複数存在する場合は、最も距離が短い既存混雑に結合する。また、距離が距離閾値ｓ以上なら分離する。画像８上の混雑Ａ，Ｂ間の距離について、例示する。

第１の例は、混雑Ａの重心（座標）と混雑Ｂの重心（座標）の市街地距離を混雑Ａ，Ｂ間の距離とする。

第２の例は、混雑Ａを構成する範囲に含まれる画素の中のある１点Ｐと、混雑Ｂを構成する範囲に含まれる画素の中のある１点Ｑについて点Ｐと点Ｑのユークリッド距離を求め、全ての点Ｐ，点Ｑの組み合わせについて距離を求め、最小値を混雑Ａ，Ｂ間の距離とする。

複数の既存混雑が画像８上に存在し、画像８上で優位な距離の差が得られなくなった場合、すなわち、画像８上で人間同士（例えば、頭部特徴を元に混雑度を計測する場合、頭部同士である）が重なってしまうと画像８上でどれほど合理的に結合、分離しても、その結果が正しくない可能性がある。そのような場合に画像８上で結合、分離するために、図６のように事前に定めた境界で強制的に領域を分ける。

一方、画像８上での分離が難しい場合は、まず画像設定領域を実空間上に射影し、実空間上で何メートル離れているかを計算して結合するか分離するかを判断する。

画像８上で結合するか、実空間上で結合するかの判断は、例えば以下のように行う。

まず画像８上に既存混雑Ａ，Ｂが存在し、そこに新たな混雑Ｃが生じたとき、混雑Ａ，Ｂ間の距離をａ，混雑Ａ，Ｃ間の距離をｂとしたとき、結合判断用の距離閾値ｒ１と、判断をあきらめる距離閾値ｒ２の２つの距離閾値を用意する。但し、ｒ１＞ｒ２である。

第１算出部１２は、ｒ２＜ａ＜ｂ＜ｒ１, ｒ２＜ａ＜ｒ１＜ｂ，ａ＜ｒ２＜ｂ＜ｒ１，ａ＜ｒ２＜ｒ１＜ｂのときは、混雑Ｃを混雑Ａに結合する。

第１算出部１２は、ａ＜ｂ＜ｒ２のときは、画像８上での結合の判断をあきらめるか、強制的に画像設定領域に分割する。

第１算出部１２は、ｒ２＜ｒ１＜a＜bのときは、混雑Ｃは混雑Ａ及び混雑Ｂのいずれにも結合しない。

第１算出部１２は、画像８上での結合、分離をせず、全て実空間上に投影してもよい。但し、画像８上から実空間への射影時に検出された人間の身長差からくる位置誤差が生じるので、画像８上で有意な連結性が計測できる場合は画像８上で区分をした方が精度が上がる。

第２算出部１３は、ステップＳ３において、カメラパラメータを用いて時刻ｔ１における画像８上の画像設定領域に対応する実世界上の領域（以下、「現実設定領域」という）を算出する。

次に、第２算出部１３は、時刻ｔ１における現実設定領域内の人間の密度（以下、「現実混雑度」という）を画像混雑度から算出する。なお、現実混雑度は、単位面積当たりの人数であり、例えば１平方メートル当たりの人数であって、画像混雑度が、単位領域内に占める人間の面積の割合、又は、単位領域内の人数であるので、第２算出部１３は、画像混雑度を現実設定領域の面積に対応するように変換して現実混雑度を算出する。

画面混雑度から現実混雑度への変換は、画面（画像８の平面）を床に平行で床からの高さｈの平面に射影変換（Homography変換）して求める。この射影変換のパラメータはカメラパラメータから求める。高さｈは、現実混雑度を求めるために検出する人間の部位によって設定値が異なり、例えば現実混雑度の計測に頭部の特徴量を用いる場合は人間の身長とし、上半身特徴を用いる場合は上半身矩形の上端の高さ（＝身長）、又は、上半身矩形の下端（すなわち、みぞおちの高さである）とする。統計によると日本人間の身長の平均値は男性で約１７０ｃｍ、同女性で約１５８ｃｍであるので、現実混雑度の計測に頭部の特徴量を用いる場合は、例えばｈ=１６４ｃｍと設定すればよい。また、上半身矩形の下端を用いる場合も同様に、体のみぞおちの高さの平均値を用いてｈ=１１７ｃｍと設定すればよい。

次に、第２算出部１３は、時刻ｔ１における画像設定領域と対応付けられた設定した機器の設定識別情報を、算出した現実設定領域にそのまま対応付ける。

選択部１４は、ステップＳ４において、時刻ｔ１における現実設定領域の現実混雑度が予め定めた第１基準を満たしている場合に、その現実設定領域に対応付けられた機器の設定識別情報を呼び出す。そして、選択部１４は、予め定められた第１選択規則に基づいて設定識別情報を有する機器以外の機器の識別情報（以下、「選択識別情報」という）を一、又は、複数選択し、その選択した機器を稼働させて、時刻ｔ１における人間の混雑を緩和、解消できる。

選択部１４が、選択識別情報を有する機器を稼働させる場合には、その機器に直接稼働情報を出力するか、又は、管理者の制御装置に稼働情報（選択識別情報を表現した音声信号、又は、テキスト信号）を出力する。

第１基準は、混雑がひどい状態を示す基準であり、例えば、現実混雑度が第１混雑閾値（３人／ｍ²）以上である。

第１選択規則には、例えば、下記のような規則があり、選択部１４が記憶している。なお、前提条件として、ｎ台の機器が一列に並んで配置され、その中の１台が設定識別情報を有する機器とし、停止している機器のみから選択する。

第１規則は、停止している機器であって、設定識別情報を有する機器と片側、又は、両側に隣接する１台、又は、複数台の機器を選択する。

第２規則は、停止している機器であって、設定識別情報を有する機器が列の一端にある場合には、他端にある１台の機器を選択する。

第３規則は、停止している機器であって、列の中の１台、又は、複数台の機器をランダムに選択する。

第４規則は、停止している機器であって、設定識別情報を有する機器と片側、又は、両側の２台隣の１台、又は、複数台の機器を選択する。

上記説明では、機器選択装置１０が、時刻ｔ１の画像８についての処理のみ説明したが、以後続いて時刻ｔ２の画像８、時刻ｔ３の画像８と順番に処理して、各時刻において稼働する機器を選択する。この処理するタイミングは、１分毎、１０分毎、３０分毎、１時間毎である。

本実施形態によれば、実世界上の混雑した現実設定領域を特定し、この混雑を解消する機器を適切に稼働するように稼働情報を時刻毎に出力することで、混雑をリアルタイムに緩和、解消できる。

実施形態２

以下、本発明の実施形態２の機器選択装置１０について図１、図３〜図１０を参照して説明する。本実施形態でも、機器選択装置１０は、図１に示すように、カメラ１００、画像取得部１１、第１算出部１２、第２算出部１３、選択部１４、入力装置１０７、表示装置１０９を有している。

本実施形態では、機器選択装置１０を、スーパーマーケット、コンビニエンスストアなどの小売店に一列に配置された３台のレジ２１，レジ２２，レジ２３の稼働、停止に適用した場合について説明する。図３に示すように、複数の買物客４は、各レジの前で１列の行列をそれぞれ形成して会計処理を待っている。この適用例では、「機器」とは。従業員３が会計作業を行うレジ、又は、買物客４が自分自身で会計作業を行うセルフレジである。「レジ」とは、レジスター台２の上にレジスター１が置かれ、このレジスター１を従業員３が操作して、買物客４の会計を処理するものであり、買物客４は会計が終了するとそのレジ２１などの前を通行できるため、一種のゲートである。セルフレジも、従業員３に代わって買物客４が自分自身で会計を処理するものであり、買物客４は会計が終了するとそのレジの前を通行できるため、一種のゲートである。また、１台のカメラ１００が、図３に示すように、３台のレジ２１，レジ２２，レジ２３と買物客４が行列を形成する範囲を撮影している。そして、画像取得部１１が、カメラ１００からこの画像８を取得する。なお、レジ２１，レジ２２，レジ２３の識別情報は、それぞれ「Ｒ２１」、「Ｒ２２」、「Ｒ２３」とする。

第１算出部１２は、取得した時刻ｔ１における画像８上に設定された画像設定領域内の買物客４の画像混雑度を算出する。

買物客４の画像混雑度を算出するための画像設定領域の設定方法は、管理者が表示装置１０９に表示された画像８を見ながら入力装置１０７で設定する。また、管理者が、その画像設定領域の特定の機器の識別情報を設定する。

例えば、図４に示すように、管理者が、レジ２１の前にできる買物客４の行列の領域を画像設定領域３１と設定し、その設定識別情報として「Ｒ２１」と設定し、レジ２２の前にできる買物客４の行列の領域を画像設定領域３２と設定し、その設定識別情報として「Ｒ２２」と設定し、レジ２３の前にできる買物客４の行列でできそうな領域を画像設定領域３３として画像８上に設定と設定し、その設定識別情報として「Ｒ２３」と設定する。

なお、第１算出部１２は、画像設定領域３１，３２，３３の画像混雑度が、予め定めた第１閾値以上になった場合には、下記の第１の条件、又は、第２の条件を満たすことを前提として、図５に示すように、領域３１１，３２１，３３１を、それぞれ画像設定領域３１，３２，３３に結合して画像設定領域を拡張する。

第１の条件は、隣接する画像設定領域３１，３２，３３の画像混雑度が予め定めた第２閾値以上になったときである。

第２の条件は、それぞれ画像設定領域３１と画像設定領域３１１、画像設定領域３２と画像設定領域３２１、画像設定領域３３と画像設定領域３３１の画像混雑度の変化率が予め定めた第３閾値以下になるときである。

このとき、画像設定領域３１と画像設定領域３２が結合しないようにする場合は、図６に示すように、管理者が境界線５０、又は、境界領域５１を画像設定領域３１と画像設定領域３２の間に予め設定し、第１算出部１２が、境界線５０、又は、境界領域５１を跨いで画像設定領域が結合しないように処理する。

第２算出部１３は、カメラパラメータを用いて時刻ｔ１における画像８上の画像設定領域を実世界に投影して現実設定領域を算出する。第２算出部１３は、図４に示す画像設定領域３１，３２，３３に対応する実世界上の現実設定領域を、図７に示すようにそれぞれ現実設定領域４１，４２，４３と設定する。次に、第２算出部１３は、この現実設定領域内の現実混雑度を画像混雑度から算出する。次に、第２算出部１３は、画像設定領域と対応付けられた設定識別情報を、算出した現実設定領域にそのまま対応付ける。

図８（ａ）に示すように買物客４の行列が一直線状にならず、途中で折れるような画像設定領域３１の場合は、図８（ｂ）に示すように折れ曲がった領域を現実設定領域４１として設定する。

選択部１４は、時刻ｔ１における各レジの現実設定領域における現実混雑度が予め定めた基準を満たすかどうかで、稼働するレジを選択する。

図９に示すように、１台のレジ２１が稼働している状態で、そのレジ２１の現実設定範囲４１の現実混雑度が高く、予め定めた第１基準（例えば、現実混雑度が３人／ｍ²以上）を満たしたとする。

選択部１４は、レジ２１は、既に稼働しているため、第１選択規則に基づいて選択識別情報を選択する。第１選択規則としては、例えば、実施形態１における第１規則を用い、設定識別情報を有する機器と隣接する１台のレジ２２を選択する。選択部１４は、レジ２２の選択識別情報「Ｒ０２」が稼働するように、選択識別情報（Ｒ０２）を含む稼働情報を管理者に出力する。

以下、機器選択装置１０は、同様にして時刻ｔ毎に上記処理を繰り返し行う。

本実施形態により、混んでいるレジを特定し、この混雑を解消するための停止中のレジをリアルタイムに稼働させることができる。

上記選択部１４では、混雑ひどい時にレジを稼働させる処理だけであったが、これに加えて混雑が緩和、解消された時にレジを停止させる処理を行ってもよい。このときは、第１選択規則に加えて、停止するレジを選択するための第２選択規則を選択部１４が記憶している。この第２選択規則は、複数台のレジの現実混雑度が低い場合に、現実混雑度がより低い１台のレジを選択して停止するという規則である。なお、レジを停止させる場合には、稼働しているレジから選択することが前提条件となる。

図１０に示すように、２台のレジ２１，２２が稼働している状態で、レジ２１，２２の現実設定範囲４１，４２の現実混雑度が共に低く、予め定めた第２基準（例えば、現実混雑度が０．５人／ｍ²以下）を満たしたとする。なお、第２基準は、混雑が緩和、解消された状態を示す基準であり、例えば、現実混雑度が第２混雑閾値（１人／ｍ²）以下である。選択部１４は、第２選択規則に基づいてレジ２２が停止するように選択する。具体的には、選択部１４は、画像混雑度がより低く、稼働率が低いレジ２２を第２選択規則に基づいて選択し、管理者にレジ２２を停止するように選択識別情報（Ｒ０２）を含む停止情報を出力する。

実施形態３

本発明の実施形態３の機器選択装置１０について図１１に基づいて説明する。

図１１に示すように、本実施形態では、複数台のレジ、又は、セルフレジに、複数の買物客４がフォーク並び（１列振り分け方式）で行列を形成する場合に、複数台のレジの近傍に行列を形成するためのパーティションポールが設置されているとする。そのときには、機器選択装置１０の画像取得部１１が、このパーティションポールを画像認識で検出し、第１算出部１２が、その画像認識した領域を画像設定領域６１として設定する。

実施形態４

本発明の実施形態４の機器選択装置１０について説明する。

上記実施形態２では、機器としてレジで説明したが、これに代えて駅、食堂、映画館の券売機でもよい。この場合には、機器選択装置１０は、レジの場合と同様に、稼働中の券売機に並んだ観客の行列の現実混雑度を算出し、その現実混雑度が高い場合には、他の券売機を稼働させる稼働情報を出力する。

変更例

図１２は、機器選択装置１０のハードウェア構成の一例を表すブロック図である。図１２に示すように、機器選択装置１０は、ＣＰＵ１０１と、機器選択プログラムなどを記憶するＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ（Hard Disk Drive）１０４と、ＨＤＤ１０４とのインターフェイスであるＩ／Ｆ１０５と、カメラ１００からの画像８を取得するインターフェイスであるＩ／Ｆ１０６と、マウス、ペン、キーボードなどの入力装置１０７と、入力装置１０７とのインターフェイスであるＩ／Ｆ１０８と、ディスプレイなどの表示装置１０９と、表示装置１０９とのインターフェイスであるＩ／Ｆ１１０と、稼働情報や停止情報を出力する出力装置１１１と、出力装置１１１とのインターフェイスであるＩ／Ｆ１１２と、バス１１３とを備えており、通常のコンピュータを利用したハードウェア構成となっている。

機器選択装置１０では、ＣＰＵ１０１がＲＯＭ１０２から機器選択プログラムをＲＡＭ１０３上に読み出して実行することにより、上記各部（画像取得部１１、第１算出部１２、第２算出部１３、選択部１４）がコンピュータ上で実現され、ＨＤＤ１０４に記憶されているデータ等を用いて、Ｉ／Ｆ１０６からの上記処理を行う。

なお、機器選択プログラムはＨＤＤ１０４に記憶されていてもよい。また、機器選択プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）、ＵＳＢメモリ等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されるようにしてもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、機器選択プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

また、上記コンピュータに限らず、機器選択装置１０は、システムＬＳＩ（LargeScale Integration）で実現してもよく、ＣＰＵ（Central Processing Unit）と、機器選択プログラムを記憶するＲＯＭ（Read Only Memory））と、ＲＡＭ（Random Access Memory）と、カメラ１００からの画像８の入力用のインターフェイスであるＩ／Ｆと、選択した機器仁関する情報を外部へ出力する出力用Ｉ／Ｆと、これら部品を接続するバスとを備えた構成でもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・機器選択装置、１１・・・画像取得部、１２・・・第１算出部、１３・・・第２算出部、１４・・・選択部

Claims (14)

1. 実世界に配された複数台の機器を含む画像を取得する画像取得部と、
   稼働中の１台の前記機器を設定し、前記画像上に前記機器に対応する画像設定領域を設定し、前記画像設定領域内に存在する人間の画像混雑度を算出する第１算出部と、
   前記画像と前記実世界上との位置関係から、前記画像設定領域に対応する前記実世界上の現実設定領域を算出し、前記画像混雑度から前記現実設定領域内の現実混雑度を算出する第２算出部と、
   前記現実混雑度が予め定めた第１基準を満たしている場合に、前記設定した稼働中の機器以外の停止中の前記機器を、予め定めた第１選択規則に基づいて選択し、前記選択した停止中の前記機器の稼働情報を出力する選択部と、
   を有する機器選択装置。
2. 前記選択部は、前記現実混雑度が予め定めた第２基準を満たしている場合に、前記設定した稼働中の機器以外の稼働中の前記機器を、予め定めた第２選択規則に基づいて選択し、前記選択した稼働中の前記機器の停止情報を出力する、
   請求項１に記載の機器選択装置。
3. 前記第１算出部は、過去に設定された前記画像設定領域に含まれる混雑と新たに追加された混雑の距離が、距離閾値より小さいときに、過去に設定された前記画像設定領域に新たに追加された前記混雑の範囲を結合して、新たな前記画像設定領域に設定する、
   請求項１又は２に記載の機器選択装置。
4. 前記画像には、複数台の前記機器が一列に配された状態が含まれ、
   前記画像設定領域には、複数の前記人間の行列が存在している領域が含まれている、
   請求項１乃至３のいずれか一項に記載の機器選択装置。
5. 前記第１規則は、前記設定した稼働中の機器と隣接している停止中の前記機器を選択するという規則である、
   請求項４に記載の機器選択装置。
6. 前記第１算出部は、前記画像内における前記人間の前記行列を整列、又は、誘導する器具を画像認識で検出して前記画像設定領域に設定する、
   請求項４に記載の機器選択装置。
7. 前記第１算出部は、前記画像設定領域の前記画像混雑度が、予め定めた第１閾値より高い場合には、他の領域を前記画像設定領域に結合して前記画像設定領域を拡張する、
   請求項１に記載の機器選択装置。
8. 前記第１算出部は、（１）前記画像混雑度が前記第１閾値より高く、かつ、（２）前記画像設定領域の前記画像混雑度と、前記画像設定領域に隣接する前記画像設定領域の前記画像混雑度の差が予め定めた第２閾値より低い場合に、前記画像設定領域に前記隣接する画像設定領域を結合する、
   請求項７に記載の機器選択装置。
9. 前記第１算出部は、前記画像混雑度が前記第１閾値より高い場合でも、設定された境界で分割された他の前記画像設定領域を結合しない、
   請求項７に記載の機器選択装置。
10. 前記第１基準は、前記現実設定領域内の単位面積当たりの人数が、第１混雑閾値より大きいときである、
    請求項１に記載の機器選択装置。
11. 前記第２基準は、前記現実設定領域内の単位面積当たりの人数が、第２混雑閾値より小さいときである、
    請求項２に記載の機器選択装置。
12. 前記機器が、レジ、券売機、自動販売機、ＡＴＭ、ゲートである、
    請求項１に記載の機器選択装置。
13. 実世界に配された複数台の機器を含む画像を取得する画像取得ステップと、
    稼働中の１台の前記機器を設定し、前記画像上に前記機器に対応する画像設定領域を設定し、前記画像設定領域内に存在する人間の画像混雑度を算出する第１算出ステップと、
    前記画像と前記実世界上との位置関係から、前記画像設定領域に対応する前記実世界上の現実設定領域を算出し、前記画像混雑度から前記現実設定領域内の現実混雑度を算出する第２算出ステップと、
    前記現実混雑度が予め定めた第１基準を満たしている場合に、前記設定した稼働中の機器以外の停止中の前記機器を、予め定めた第１選択規則に基づいて選択し、前記選択した停止中の前記機器の稼働情報を出力する選択ステップと、
    を有する機器選択方法。
14. 実世界に配された複数台の機器を含む画像を取得する画像取得機能と、
    稼働中の１台の前記機器を設定し、前記画像上に前記機器に対応する画像設定領域を設定し、前記画像設定領域内に存在する人間の画像混雑度を算出する第１算出機能と、
    前記画像と前記実世界上との位置関係から、前記画像設定領域に対応する前記実世界上の現実設定領域を算出し、前記画像混雑度から前記現実設定領域内の現実混雑度を算出する第２算出機能と、
    前記現実混雑度が予め定めた第１基準を満たしている場合に、前記設定した稼働中の機器以外の停止中の前記機器を、予め定めた第１選択規則に基づいて選択し、前記選択した停止中の前記機器の稼働情報を出力する選択機能と、
    をコンピュータに実現させるための機器選択プログラム。

Images