JP2023081638A - 情報処理方法、情報処理システム及びコンピュータプログラム - Google Patents

Abstract

【課題】物体の動作パターンを解析するための情報処理方法、情報処理システム及びコンピュータプログラムを提供する。【解決手段】監視領域を設定する処理の手順では、カメラにより撮影された撮影画像を取得し、撮影画像に含まれる特定の物体を検出し、検出した物体の前記撮影画像内での位置を特定し、複数の撮影画像から特定した複数の物体の位置をクラスタリングし、クラスタリングにより得られたクラスターに対応する撮影画像内の領域を、特定の物体の存在を監視すべき監視領域として決定する。【選択図】図３

Description

本発明は、物体の動作パターンを解析するための情報処理方法、情報処理システム及びコンピュータプログラムに関する。

従来、カメラを用いて撮影された撮影画像から、人物又は車等の物体を検出することが可能となっている。例えば、撮影画像から人物を検出し、検出結果を防犯に役立てることができる。特許文献１には、カメラを用いて撮影された画像から不審人物を検出する技術の例が開示されている。

特開２０２１－１２６５７号公報

店舗等の多数の人物が利用する施設では、人物がどのような経路を移動しどのような位置に留まるかといった人物の動作パターンを知りたいというニーズがある。例えば、店舗の中で人物が集まり易い場所が判明すれば、より多くの人物に商品を販売できるように商品の配置を調整することができる。例えば、人物が密になる場所が判明すれば、人物が密になる場所に重点的に空調を行うことにより、効率的に空調を行うことができる。また、車等、人物以外の物体についても、動作パターンを知ることに対するニーズがある。このように、撮影画像から物体を検出するだけでなく、物体の動作パターンを解析するための技術が求められている。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、物体の動作パターンを解析するための情報処理方法、情報処理システム及びコンピュータプログラムを提供することにある。

本発明に係る情報処理方法は、カメラにより撮影された撮影画像を取得し、前記撮影画像に含まれる特定の物体を検出し、検出した物体の前記撮影画像内での位置を特定し、複数の撮影画像から特定した複数の物体の位置をクラスタリングし、クラスタリングにより得られたクラスターに対応する撮影画像内の領域を、特定の物体の存在を監視すべき監視領域として決定することを特徴とする。

本発明に係るコンピュータプログラムは、カメラにより撮影された撮影画像を取得し、前記撮影画像に含まれる特定の物体を検出し、検出した物体の前記撮影画像内での位置を特定し、複数の撮影画像から特定した複数の物体の位置をクラスタリングし、クラスタリングにより得られたクラスターに対応する撮影画像内の領域を、特定の物体の存在を監視すべき監視領域として決定する処理をコンピュータに実行させることを特徴とする。

本発明に係る情報処理システムは、外部を撮影するカメラと、情報処理装置とを備え、前記情報処理装置は、前記カメラにより撮影された撮影画像を取得し、前記撮影画像に含まれる特定の物体を検出し、検出した物体の前記撮影画像内での位置を特定し、複数の撮影画像から特定した複数の物体の位置をクラスタリングし、クラスタリングにより得られたクラスターに対応する撮影画像内の領域を、特定の物体の存在を監視すべき監視領域として決定することを特徴とする。

本発明の一形態においては、撮影画像に含まれる人物等の特定の物体を検出し、物体の位置を特定し、特定した複数の位置をクラスタリングし、クラスタリングにより得られたクラスターに対応する撮影画像内の監視領域を決定する。監視領域を決定した後に取得した撮影画像を用いて、監視領域に含まれる物体を検出することにより、物体の動作パターンを解析することが可能となる。

本発明にあっては、物体の動作パターンを解析することが可能となり、動作パターンに応じて物体が利用する施設を適切に調整することが可能となる等、優れた効果を奏する。

物体の動作パターンを解析するための実施形態１に係る情報処理システムの構成例を示す模式図である。 情報処理装置の内部の機能構成例を示すブロック図である。 監視領域を設定する処理の手順の例を示すフローチャートである。 人物が含まれていない撮影画像の例を示す模式図である。 人物が含まれている撮影画像の第１の例を示す模式図である。 人物が含まれている撮影画像の第２の例を示す模式図である。 人物の検出を繰り返した結果の例を示す模式図である。 撮影画像内の監視領域の例を示す模式図である。 監視領域に含まれる人物を検出する処理の手順の例を示すフローチャートである。 人物の動作パターンを解析する処理の手順の例を示すフローチャートである。 監視領域に人物が含まれていた時間を特定した例を示す図表である。 設備の利用率を特定した例を示す図表である。 実施形態２に係る情報処理システムの構成例を示す模式図である。 関係データの内容例を示す模式図である。 電力消費の計画の例を示す模式図である。 実施形態３に係る情報処理システムの構成例を示す模式図である。

以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
＜実施形態１＞
図１は、物体の動作パターンを解析するための実施形態１に係る情報処理システム１００の構成例を示す模式図である。情報処理システム１００は、情報処理方法を実行する。図１には、スポーツジムに情報処理システム１００が設けられた例を示している。スポーツジムは、人物４に利用される施設の例である。スポーツジムには、複数のトレッドミル３が配置されている。トレッドミル３を用いて、人物４がトレーニングを行う。情報処理システム１００は、カメラ２を備えている。カメラ２は、スポーツジムの内部の、複数のトレッドミル３を含んだ領域を撮影する。カメラ２が撮影する領域は、固定されている。例えば、カメラ２は、可及的に広い領域を撮影することができるように、広角カメラ又は魚眼カメラを用いて構成されている。

カメラ２には、情報処理装置１が接続されている。図２は、情報処理装置１の内部の機能構成例を示すブロック図である。情報処理装置１は、サーバ装置又はパーソナルコンピュータ等のコンピュータである。情報処理装置１は、演算部１１と、メモリ１２と、ドライブ部１３と、記憶部１４と、操作部１５と、表示部１６と、インタフェース部１７とを備えている。演算部１１は、例えばＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、又はマルチコアＣＰＵを用いて構成されている。演算部１１は、量子コンピュータを用いて構成されていてもよい。メモリ１２は、演算に伴って発生する一時的なデータを記憶する。メモリ１２は、例えばＲＡＭ（Random Access Memory）である。ドライブ部１３は、光ディスク又は可搬型メモリ等の記録媒体１０から情報を読み取る。記憶部１４は、不揮発性であり、例えばハードディスク又は不揮発性半導体メモリである。

演算部１１は、記録媒体１０に記録されたコンピュータプログラム１４１をドライブ部１３に読み取らせ、読み取ったコンピュータプログラム１４１を記憶部１４に記憶させる。演算部１１は、コンピュータプログラム１４１に従って、情報処理装置１に必要な処理を実行する。コンピュータプログラム１４１はコンピュータプログラム製品であってもよい。コンピュータプログラム１４１は、情報処理装置１の外部からダウンロードされてもよい。又は、コンピュータプログラム１４１は、情報処理装置１に予め記憶されていてもよい。これらの場合は、情報処理装置１はドライブ部１３を備えていなくてもよい。

操作部１５は、使用者からの操作を受け付けることにより、テキスト等の情報の入力を受け付ける。操作部１５は、例えばタッチパネル、ペンタブレット、キーボード又はポインティングデバイスである。表示部１６は、画像を表示する。表示部１６は、例えば液晶ディスプレイ又はＥＬディスプレイ（Electroluminescent Display）である。操作部１５及び表示部１６は、一体になっていてもよい。

インタフェース部１７には、カメラ２が接続されている。カメラ２は、カメラ２の外部の固定された領域を撮影した撮影画像を作成し、情報処理装置１へ入力する。インタフェース部１７は、カメラ２から入力された撮影画像を受け付ける。インタフェース部１７で撮影画像を受け付けることにより、情報処理装置１は、撮影画像を取得する。カメラ２は、連続的に撮影画像を作成するか、又は定期的に繰り返し撮影画像を作成する。情報処理装置１は、連続的に撮影画像を取得するか、又は定期的に繰り返し撮影画像を取得する。

情報処理装置１は、複数のコンピュータにより構成され、データが複数のコンピュータによって分散して記憶されていてもよく、処理が複数のコンピュータによって分散して実行されてもよい。情報処理装置１は、クラウドコンピューティングを利用して実現されてもよく、一台のコンピュータ内に設けられた複数の仮想マシンによって実現されてもよい。或は、情報処理装置１はカメラ２に内蔵されていてもよい。

情報処理装置１は、学習済みの学習モデル１４２を備えている。学習モデル１４２は、コンピュータプログラム１４１に従って演算部１１が情報処理を実行することにより実現される。学習モデル１４２は、ハードウェアにより構成されていてもよい。学習モデル１４２は、量子コンピュータを用いて実現されてもよい。或は、学習モデル１４２は情報処理装置１の外部に設けられており、情報処理装置１は、外部の学習モデル１４２を利用して処理を実行する形態であってもよい。例えば、学習モデル１４２は、クラウドで構成されていてもよい。

学習モデル１４２は、撮影画像を入力した場合に撮影画像に含まれる人物４を検出した検出結果を出力するように予め機械学習により学習されている。人物４は特定の物体である。学習モデル１４２が出力する検出結果には、撮影画像内での人物４の位置が含まれる。例えば、撮影画像内での人物４の位置を示したバウンディングボックス及びバウンディングボックスの中心が出力される。例えば、学習モデル１４２は、ＹＯＬＯ（You Only Look Once）を用いて構成されている。学習モデル１４２は、Ｒ－ＣＮＮ（Region Based Convolutional Neural Networks）、又はセグメンテーション等、ＹＯＬＯ以外の方法を用いたモデルであってもよい。

情報処理装置１は、撮影画像内に人物４の存在を監視すべき監視領域を設定する処理を実行する。図３は、監視領域を設定する処理の手順の例を示すフローチャートである。以下、ステップをＳと略す。情報処理装置１の演算部１１は、コンピュータプログラム１４１に従って処理を実行する。

カメラ２は、撮影を行うことにより撮影画像を作成し、撮影画像を情報処理装置１へ入力する。情報処理装置１は、カメラ２から入力された撮影画像をインタフェース部１７で受け付けることにより、撮影画像を取得する（Ｓ１１）。演算部１１は、撮影画像を記憶部１４に記憶する。情報処理装置１は、撮影画像を学習モデル１４２へ入力する（Ｓ１２）。Ｓ１２では、演算部１１は、撮影画像を学習モデル１４２へ入力し、学習モデル１４２に処理を実行させる。学習モデル１４２は、撮影画像が入力されたことに応じて、入力された撮影画像に含まれる人物４を検出した検出結果を出力する。情報処理装置１は、学習モデル１４２が出力した人物４の検出結果を取得する（Ｓ１３）。

情報処理装置１は、次に、学習モデル１４２によって人物４が検出されたか否かを判定する（Ｓ１４）。Ｓ１４では、演算部１１は、学習モデル１４２が出力した人物４の検出結果が、人物４が検出されたことを示しているか否かを判定する。例えば、撮影画像の一部を囲うバウンディングボックスと、バウンディングボックスに囲われた部分が人物４である確率とが検出結果に含まれており、確率が所定の閾値以上である場合に、演算部１１は、人物４が検出されたと判定する。

図４は、人物４が含まれていない撮影画像の例を示す模式図である。図４には、無人状態のスポーツジムを撮影した撮影画像の例を示している。カメラ２はスポーツジムの天井に配置されており、複数のトレッドミル３を上から撮影した撮影画像が作成される。図５は、人物４が含まれている撮影画像の第１の例を示す模式図である。図５に示した撮影画像には、人物４が含まれている。人物４を囲うバウンディングボックス５１と、バウンディングボックス５１の中心点５２とが示されている。バウンディングボックス５１の中心点５２は、撮影画像内での人物４の位置である。なお、情報処理装置１は、Ｓ１２～Ｓ１４の代わりに、学習モデルを用いる方法以外の方法で撮影画像に含まれる人物４を検出する形態であってもよい。例えば、情報処理装置１は、所定のルールに従って撮影画像に含まれる人物４を検出してもよい。

人物４が検出された場合に（Ｓ１４：ＹＥＳ）、情報処理装置１は、検出された人物４の撮影画像内での位置を記憶する（Ｓ１５）。記憶部１４は、バウンディングボックス５１の中心点５２の位置を記録した位置データを記憶している。Ｓ１５では、演算部１１は、人物４の位置として、バウンディングボックス５１の中心点５２の位置を位置データに追加することにより、人物４の位置を記憶部１４に記憶する。例えば、演算部１１は、撮影画像内の位置をｘｙ座標で表し、中心点５２に対応するｘｙ座標の成分を位置データに記録する。人物４の位置として、人物４の重心等、中心点５２の位置以外の値が記録されてもよい。

情報処理装置１は、次に、人物４の検出を終了するか否かを判定する（Ｓ１６）。例えば、演算部１１は、カメラ２での撮影を開始してから経過した時間を計測し、所定時間が経過した場合に人物４の検出を終了すると判定し、まだ所定時間が経過していない場合に人物４の検出を終了しないと判定する。例えば、演算部１１は、位置データに記録された人物４の位置の数が所定数以上である場合に、人物４の検出を終了すると判定し、位置データに記録された人物４の位置の数が所定数未満である場合に、人物４の検出を終了しないと判定する。例えば、使用者が操作部１５を操作することによって、人物４の検出を終了する指示が入力された場合に、演算部１１は、人物４の検出を終了すると判定する。

人物４の検出を終了しないと判定した場合は（Ｓ１６：ＮＯ）、情報処理装置１は、処理をＳ１１へ戻し、Ｓ１１～Ｓ１６の処理を繰り返す。Ｓ１１～Ｓ１６の処理を繰り返すことにより、情報処理装置１は、撮影画像の取得と、撮影画像内での人物４の検出とを繰り返す。この結果、情報処理装置１は、複数の撮影画像から複数の人物４の位置を特定する。カメラ２は動画像を作成し、情報処理装置１は動画像を取得してもよく、Ｓ１１～Ｓ１６の処理では、情報処理装置１は、動画像を構成する複数の撮影画像の夫々から、人物４の位置を特定する。例えば、情報処理装置１は、動画像に含まれる一フレームを撮影画像として用いてＳ１１～Ｓ１６の処理を行い、処理をＳ１１へ戻す際に次のフレームを撮影画像とし、動画像に含まれる複数のフレームの夫々を撮影画像としてＳ１１～Ｓ１６の処理を繰り返す。なお、情報処理装置２の処理は、複数の撮影画像の全てから人物４の位置を特定するものに限らない。情報処理装置２は、所定数の撮影画像が得られる度に人物４の位置を特定するか、又は動画像の複数のフレームが得られる度に一つのフレームから人物４の位置を特定する等、複数の撮影画像の一部から人物４の位置を特定してもよい。

図６は、人物４が含まれている撮影画像の第２の例を示す模式図である。図６には、図５に示した例とは別の位置に人物４が含まれている撮影画像を示す。図５に示した例とは異なるバウンディングボックス５１の中心点５２が得られ、撮影画像内での人物４の位置として中心点５２の位置が位置データに追加される。Ｓ１１～Ｓ１６の処理が繰り返されることにより、人物４の検出が繰り返され、位置データには、多数の撮影画像内での人物４の位置が記録される。

図７は、人物４の検出を繰り返した結果の例を示す模式図である。図７では、繰り返し検出された人物４に対応するバウンディングボックス５１及びバウンディングボックス５１の中心点５２を撮影画像に重ねて示している。図７中に示した長方形及び黒点は、バウンディングボックス５１及び中心点５２である。撮影画像には、多数のバウンディングボックス５１が集中する位置と、バウンディングボックス５１があまり存在しない位置とがある。

多数のバウンディングボックス５１が集中する撮影画像内の位置は、人物４を検出した回数が多い位置であり、人物４が長く滞留する設備に対応する。バウンディングボックス５１があまり存在しない撮影画像内の位置は、人物４を検出した回数が少ない位置であり、人物４が滞留しない設備に対応する。人物４が使用するトレッドミル３に対応する撮影画像内の位置に、多数のバウンディングボックス５１が集中する。トレッドミル３に対応する位置以外の位置では、バウンディングボックス５１は少ない。多数のバウンディングボックス５１が集中した領域を特定することにより、撮影画像内でのトレッドミル３の位置を特定することができる。なお、情報処理装置１は、撮影画像内での人物４の位置として、バウンディングボックス５１の中心点５２の位置以外の情報を取得する形態であってもよい。例えば、情報処理装置１は、人物４の顔の位置又は人物４の重心の位置を人物４の位置として取得してもよい。

人物４の検出を終了すると判定した場合は（Ｓ１６：ＹＥＳ）、情報処理装置１は、検出された複数の人物４の位置をクラスタリングする（Ｓ１７）。Ｓ１７では、演算部１１は、記憶部１４から位置データを読み出し、位置データに記録された複数のバウンディングボックス５１の中心点５２の位置をクラスタリングする。例えば、撮影画像内での位置が互いに近い複数の中心点５２が同じクラスターに含まれるように、クラスタリングを行う。Ｓ１７では、演算部１１は、例えば、ｋ－ｍｅａｎｓ法を用いてクラスタリングを行う。使用者が操作部１５を操作することにより、クラスターの数等のクラスタリングに必要な情報が入力されてもよい。演算部１１は、ｋ－ｍｅａｎｓ法以外の方法を用いてクラスタリングを行ってもよい。

情報処理装置１は、クラスタリングの結果に基づいて、人物４の存在を監視すべき監視領域を決定する（Ｓ１８）。Ｓ１８では、演算部１１は、クラスタリングにより得られた複数のクラスターの中から、含まれる人物４の位置の数が所定の閾値以上であるクラスターを選択する。閾値は予め記憶部１４に記憶されているか、又はコンピュータプログラム１４１に含まれている。演算部１１は、選択したクラスターに対応する撮影画像内での領域を、監視領域と決定する。複数のクラスターが選択された場合は、複数の監視領域が決定される。なお、演算部１１は、含まれる人物４の位置の数が閾値を超過するクラスターに対応する領域を監視領域と決定する処理を行ってもよい。

例えば、Ｓ１８で、演算部１１は、クラスターに含まれる人物４の位置の平均を監視領域の中心点とし、撮影画像内で中心点から所定距離以内の範囲を監視領域とする。所定距離は予め記憶部１４に記憶されているか、又はコンピュータプログラム１４１に含まれている。図８は、撮影画像内の監視領域５３の例を示す模式図である。監視領域５３と、監視領域５３の中心点５４とが撮影画像に重ねて示されている。図８には、監視領域５３の形状が円である例を示したが、監視領域５３の形状は、正方形等、円以外であってもよい。

含まれる人物４の位置の数が所定の閾値以上であるクラスターに対応する領域を監視領域５３とすることにより、人物４が検出された回数が多い領域が監視領域５３となり、人物４が検出された回数が少ない領域は監視領域５３にはならない。即ち、トレッドミル３に対応する撮影画像内の領域が監視領域５３となり、トレッドミル３以外の場所に対応する撮影画像内の領域は、監視領域５３にはならない。撮影画像に複数のトレッドミル３が映っている場合は、複数のトレッドミル３に対応する複数の監視領域５３が定められる。監視領域５３に含まれる人物４を検出することにより、トレッドミル３を使用する人物４の動作パターンを調べることが可能となる。

Ｓ１８が終了した後、情報処理装置１は、監視領域５３を示した情報を記録した領域データを記憶部１４に記憶し、監視領域５３を設定する処理を終了する。Ｓ１１～Ｓ１８の処理は、所定のタイミングで繰り返し実行され、監視領域５３は決定し直される。例えば、所定時間が経過する度等、定期的にＳ１１～Ｓ１８の処理が実行される。又は、スポーツジムの模様替えが行われた際等、任意のタイミングで、使用者が操作部１５を操作することによって、処理実行の指示が情報処理装置１へ入力され、Ｓ１１～Ｓ１８の処理が実行される。監視領域５３が決定し直されることにより、最新の設備の状態に応じた監視領域５３を設定することができる。なお、Ｓ１１～Ｓ１８の処理では、撮影画像を取得する都度人物４の検出を行っているが、情報処理装置１は、撮影を長時間継続して得られた撮影画像又は蓄積した複数の撮影画像から人物４を検出する処理を行う形態であってもよい。

監視領域５３を決定した後、情報処理装置１は、撮影画像内の監視領域５３に含まれる人物４を検出する処理を実行する。監視領域５３を設定する処理を行った情報処理装置１とは異なる情報処理装置１によって、監視領域５３に含まれる人物４を検出する処理が実行されてもよい。図９は、監視領域５３に含まれる人物４を検出する処理の手順の例を示すフローチャートである。情報処理装置１は、監視領域５３を決定した後にカメラ２で作成された撮影画像を取得する（Ｓ２１）。演算部１１は、撮影画像を記憶部１４に記憶する。情報処理装置１は、撮影画像を学習モデル１４２へ入力する（Ｓ２２）。Ｓ２２では、演算部１１は、撮影画像を学習モデル１４２へ入力し、学習モデル１４２に処理を実行させる。学習モデル１４２は、撮影画像が入力されたことに応じて、入力された撮影画像に含まれる人物４を検出した検出結果を出力する。情報処理装置１は、学習モデル１４２が出力した人物４の検出結果を取得する（Ｓ２３）。

なお、情報処理装置１は、Ｓ２２～Ｓ２３の処理の代わりに、学習モデル１４２を用いない方法で監視領域５３に含まれる人物４を検出する処理を行ってもよい。例えば、情報処理装置１は、撮影画像を入力した場合に監視領域５３に人物４が含まれるか否かを示す情報を出力するように予め学習された、学習モデル１４２とは異なる学習モデルを用いて、人物４を検出してもよい。学習モデル１４２とは異なる学習モデルを用いることにより、情報処理装置１の計算負荷を低減し得る。例えば、情報処理装置１は、学習モデルを用いる方法以外の方法で人物４を検出する処理を行ってもよい。

情報処理装置１は、次に、監視領域５３内に人物４が検出されたか否かを判定する（Ｓ２４）。Ｓ２４では、演算部１１は、学習モデル１４２が出力した人物４の検出結果が、人物４が検出されたことを示しているか否かを判定し、人物４が検出されている場合に、検出された人物４の位置がいずれかの監視領域５３に含まれるか否かを判定する。例えば、検出された人物４を囲うバウンディングボックス５１の中心点５２が監視領域５３内に位置している場合に、演算部１１は、監視領域５３内に人物４が検出されたと判定する。例えば、人物４が検出されていない場合、又は検出された人物４を囲うバウンディングボックス５１の中心点５２が監視領域５３の外部に位置している場合、演算部１１は、監視領域５３内に人物４が検出されないと判定する。監視領域５３内に人物４が検出されない場合は（Ｓ２４：ＮＯ）、情報処理装置１は、人物４を検出する処理を終了する。

監視領域５３内に人物４が検出された場合は（Ｓ２４：ＹＥＳ）、情報処理装置１は、検出された人物４の密度を特定する（Ｓ２５）。Ｓ２５では、演算部１１は、人物４が検出された監視領域５３の数に応じて、人物４の密度を特定する。例えば、演算部１１は、人物４が検出された監視領域５３の数を監視領域５３の総数で除した値を、人物４の密度として特定する。情報処理装置１は、次に、特定した人物４の密度が所定の限界密度以上であるか否かを判定する（Ｓ２６）。限界密度は、予め記憶部１４に記憶されているか、又はコンピュータプログラム１４１に含まれている。Ｓ２６では、演算部１１は、人物４の密度と限界密度とを比較する。

人物４の密度が限界密度以上である場合は（Ｓ２６：ＹＥＳ）、情報処理装置１は、人物４の密度が高いことを示す警告を出力する（Ｓ２７）。例えば、Ｓ２７では、演算部１１は、人物４の密度が高いことを警告する画像を表示部１６に表示することにより、警告を出力する。或は、情報処理装置１は、音声出力部を備え、演算部１１は、人物４の密度が高いことを警告する音声を音声出力部から出力してもよい。人物４の密度が高いことが警告されることにより、トレッドミル３を使用している人物４に警告し、散開を促すことができる。例えば、警告により、感染症の感染防止を図ることができる。なお、演算部１１は、人物４の密度が限界密度を超過する場合に警告を出力する処理を行ってもよい。

人物４の密度が限界密度未満である場合（Ｓ２６：ＮＯ）、又はＳ２７が終了した後は、情報処理装置１は、時刻と人物４が検出された監視領域５３とを関連付けて記憶する（Ｓ２８）。演算部１１は、時刻を取得する処理を行う。例えば、演算部１１は、時刻を計測する。例えば、カメラ２は、時刻を計測し、撮影を行った時刻を撮影画像に付して情報処理装置１へ入力し、演算部１１は、撮影画像に付された時刻を取得する。時刻は年月日を含む。記憶部１４は、時刻と人物４が検出された監視領域５３を示す情報とを関連付けて記録した検出結果データを記憶している。Ｓ２８では、演算部１１は、人物４が検出された時刻、又は検出された人物４が含まれる撮影画像を作成した時刻と、人物４が検出された監視領域５３を示す情報とを、互いに関連付けて検出結果データに追加することにより、時刻及び人物４が検出された監視領域５３を記憶部１４に記憶する。

Ｓ２８が終了した後、情報処理装置１は、監視領域５３に含まれる人物４を検出する処理を終了する。Ｓ２１～Ｓ２８の処理は、繰り返し実行される。例えば、Ｓ２１～Ｓ２８の処理は、終日繰り返し実行される。Ｓ２１～Ｓ２８の処理により、人物４が含まれる監視領域５３が特定される。特定された監視領域５３に対応するトレッドミル３は人物４が利用したトレッドミル３であるので、人物４に利用されたトレッドミル３が特定される。Ｓ２１～Ｓ２８の処理を繰り返すことにより、トレッドミル３が人物４に利用された回数が特定され、回数に応じて、トレッドミル３が人物４に利用された時間が特定され得る。

Ｓ２１～Ｓ２８の処理が繰り返され、時刻及び人物４が検出された監視領域５３の情報が検出結果データに蓄積された後、情報処理装置１は、スポーツジム内での人物４の動作パターンを解析する処理を行う。監視領域５３を設定する処理、又は監視領域５３に含まれる人物４を検出する処理を行った情報処理装置１とは異なる情報処理装置１によって、人物４の動作パターンを解析する処理が実行されてもよい。

図１０は、人物４の動作パターンを解析する処理の手順の例を示すフローチャートである。情報処理装置１は、検出結果データに基づいて、特定の時間帯において監視領域５３に人物４が含まれていた時間を特定する（Ｓ３１）。特定の時間帯は、一日を複数に分割した期間である。例えば、０時～１時の間、１時～２時の間、…の夫々を特定の時間帯とする。Ｓ３１では、演算部１１は、検出結果データから、特定の時間帯に含まれる時刻及び人物４が検出された監視領域５３を示す情報を読み出し、読み出した情報に基づいて、監視領域５３に人物４が含まれていた時間を計算する。例えば、一分間隔で人物４の検出が行われた場合は、監視領域５３に含まれる人物４が検出された回数を一分に乗じた時間が、監視領域５３に人物４が含まれていた時間となる。演算部１１は、複数の監視領域５３の夫々に人物４が含まれていた時間を計算する。

Ｓ３１では、演算部１１は、一日の中の特定の時間帯において監視領域５３に人物４が含まれていた時間を、複数の日に亘って合計してもよい。例えば、演算部１１は、０時～１時の間、１時～２時の間、…の夫々において監視領域５３に人物４が含まれていた時間を、一週間又は一か月間等の複数の日に亘って合計する。演算部１１は、各時間帯において監視領域５３に人物４が含まれていた時間を、日の種類別に合計してもよい。例えば、演算部１１は、０時～１時の間、１時～２時の間、…の夫々において監視領域５３に人物４が含まれていた時間を、曜日別に、又は平日と休日とで区別して、合計してもよい。

図１１は、監視領域５３に人物４が含まれていた時間を特定した例を示す図表である。複数の監視領域５３に対応するトレッドミル３を、トレッドミル０１、トレッドミル０２、トレッドミル０３及びトレッドミル０４とする。０時～１時の間、１時～２時の間、…の夫々の時間帯において夫々の監視領域５３に人物４が含まれていた時間の一か月間の合計を、図１１に示している。スポーツジムは、１０時～２０時の間は一か月に２５日間営業が行われ、０時～１０時及び２０時～２４時の間は、一か月に２０日間営業が行われるとする。図１１に示した数値の単位は分である。図１１に示すように、各時間帯において夫々の監視領域５３に人物４が含まれていた時間が特定される。

情報処理装置１は、次に、Ｓ３１で特定した時間に基づいて、特定の時間帯において監視領域５３に対応する設備が利用されている時間の割合を示す利用率を特定する（Ｓ３２）。監視領域５３に人物４が含まれていた時間は、監視領域５３に対応する設備が人物４によって利用されていた時間であり、この時間を時間帯の長さで除することにより、設備の利用率が得られる。監視領域５３に対応する設備は、例えば、トレッドミル３である。Ｓ３１では、演算部１１は、監視領域５３に人物４が含まれていた時間を、時間帯の長さで除することにより、利用率を計算する。監視領域５３に人物４が含まれていた時間を複数の日に亘って合計している場合は、監視領域５３に人物４が含まれていた時間を、時間帯の長さに日数を乗じた値で除することにより、利用率が計算される。

図１２は、設備の利用率を特定した例を示す図表である。監視領域５３に対応する設備は、トレッドミル０１、トレッドミル０２、トレッドミル０３及びトレッドミル０４である。図１２には、０時～１時の間、１時～２時の間、…の夫々の時間帯における夫々のトレッドミル３の一か月間の利用率を示している。夫々のトレッドミル３及び時間帯に利用率が関連付けられている。図１２には、更に、各トレッドミル３の一日の利用率と、各時間帯における複数のトレッドミル３全体の利用率とが示されている。演算部１１は、これらの利用率を計算してもよい。一日の利用率は、複数の時間帯における利用率の平均である。複数のトレッドミル３全体の利用率は、複数のトレッドミル３の利用率の平均である。

時間帯の長さは一時間である必要はなく、その他の長さであってもよい。例えば、時間帯の長さは一日であってもよい。例えば、特定の曜日において監視領域５３に人物４が含まれていた時間が複数週間に亘って合計され、特定の曜日における設備の複数週間の利用率が計算されてもよい。

情報処理装置１は、次に、特定の時間帯及び設備に関連付けた利用率を出力する（Ｓ３３）。記憶部１４は、利用率を時間帯及び設備に関連付けて記録した利用率データを記憶している。Ｓ３３では、演算部１１は、特定した利用率を特定の時間帯及び設備に関連付けて利用率データに追加し、特定の時間帯及び設備に関連付けた利用率を表示部１６に表示することによって、利用率を出力する。例えば、演算部１１は、図１２に示す如き、夫々の時間帯及び設備に利用率を関連付けた図表を、表示部１６に表示する。情報処理装置１は、表示部１６に表示する以外の方法で利用率を出力してもよい。例えば、情報処理装置１は、プリンタを備え、夫々の時間帯及び設備に利用率を関連付けた図表をプリンタから出力する。例えば、情報処理装置１は、利用率データを電子データの形態で出力する。

設備の利用率が出力されることで、使用者は、各時間帯における設備の利用率を知ることができる。設備の利用率が明らかになることによって、人物４がどの時間帯にどの設備を利用するのかを表す人物４の動作パターンが明らかとなる。明らかになった人物４の動作パターンに応じて設備を調整することにより、設備が配置された施設の効率化を図ることができる。例えば、利用率の低いトレッドミル３を撤去する、利用率が低くなる時間帯にトレッドミル３を停止させる、又はトレッドミル３全体の利用率が上昇するようにトレッドミル３の配置を調整する等の方法により、スポーツジムの効率化を図ることができる。

情報処理装置１は、次に、特定の時間帯及び設備に関連付けた利用率に基づいて、電力消費の計画を作成する（Ｓ３４）。Ｓ３４では、例えば、演算部１１は、あるトレッドミル３の利用率がある時間帯で所定値を下回る場合に、当該時間帯では当該トレッドミル３を停止させるようにした電力消費の計画を作成する。例えば、演算部１１は、利用率が所定値以上である時間帯は空調の電力消費を高め、利用率が所定値を下回る時間帯は空調の電力消費を低下させるように、電力消費の計画を作成する。

情報処理装置１は、次に、作成した電力消費の計画を出力する（Ｓ３５）。Ｓ３５では、演算部１１は、電力消費の計画を記録した計画データを記憶部１４に記憶し、電力消費の計画を表示部１６に表示することによって出力する。情報処理装置１は、表示部１６に表示する以外の方法で電力消費の計画を出力してもよい。例えば、情報処理装置１は、計画データを電子データの形態で出力する。使用者は、出力された電力消費の計画を参考にして、電力消費を適切に調整することができる。例えば、利用率の低いトレッドミル３を停止させることにより、電力消費を削減することができる。例えば、利用率の高い時間帯に空調の電力消費を高めることにより、スポーツジムの温度を適切に調整し、スポーツジムの快適性を向上させることができる。

Ｓ３５が終了した後、情報処理装置１は、人物４の動作パターンを解析する処理を終了する。Ｓ３１～Ｓ３５の処理は、時刻及び人物４が検出された監視領域５３の情報が検出結果データに蓄積された状態で、随時行われる。例えば、Ｓ１１～Ｓ１８の処理が所定のタイミングで実行され、監視領域５３が決定し直された後、Ｓ２１～Ｓ２８の処理が繰り返し実行され、その後、Ｓ３１～Ｓ３５の処理が実行される。Ｓ３１～Ｓ３５の処理の内、Ｓ３１～Ｓ３３の処理と、Ｓ３４～Ｓ３５の処理とは、異なったタイミングで実行されてもよい。又は、Ｓ３１～Ｓ３３の処理が行われた後、Ｓ３４～Ｓ３５の処理は行われなくてもよい。

以上詳述した如く、本実施形態においては、撮影画像に含まれる人物４を検出し、人物４の位置を特定し、特定した複数の位置をクラスタリングし、クラスタリングにより得られたクラスターに対応する撮影画像内の監視領域５３を決定する。その後、撮影画像内の監視領域５３に含まれる人物４を検出する。人物４が多く利用する設備に対応する撮影画像内の領域を監視領域５３として容易に設定することができる。撮影画像内の監視領域５３に含まれる人物４を検出することにより、人物４がどの設備をいつ利用したかを示す行動履歴を記録することが可能となり、行動履歴に基づいて人物４の動作パターンを調べることが可能となる。例えば、スポーツジムでの各時間帯における夫々のトレッドミル３の利用率が得られる。人物４の動作パターンに応じて、人物４が利用する施設を適切に調整することができる。例えば、トレッドミル３の利用率に基づいてスポーツジムでの電力消費の計画を作成することにより、電力消費の効率化を図ることができる。

＜実施形態２＞
実施形態１では、単一のカメラ２が情報処理装置１に接続された例を示したが、実施形態２では、情報処理システム１００は複数のカメラ２を備える。図１３は、実施形態２に係る情報処理システム１００の構成例を示す模式図である。情報処理システム１００は、複数のカメラ２を備え、複数のカメラ２が情報処理装置１に接続されている。複数のカメラ２は、スポーツジム内の互いに異なる領域を撮影する。複数のカメラ２は、夫々に撮影画像を情報処理装置１へ入力する。情報処理装置１は、同様に、Ｓ１１～Ｓ１８の処理、及びＳ２１～Ｓ２８の処理を実行する。複数の撮影画像内の監視領域５３が決定され、各監視領域５３に含まれる人物４が検出される。

情報処理装置１は、複数のカメラと、設備と、電力を消費する機器との関係を示した関係データを記憶部１４に記憶している。図１４は、関係データの内容例を示す模式図である。関係データでは、カメラと設備と電力を消費する機器とが互いに関連付けられている。図１４にはカメラ２と、設備であるトレッドミル３と、電力を消費する機器である照明及び空調の関係が示されている。一のカメラ２であるカメラ０１が撮影する領域に、トレッドミル０１～トレッドミル０４が含まれている。トレッドミル０１～トレッドミル０４の夫々の付近に照明０１～照明０４の夫々が配置されている。トレッドミル０１及びトレッドミル０２の付近に空調０１が配置されており、トレッドミル０３及びトレッドミル０４の付近に空調０２が配置されている。同様に、カメラ０２が撮影する領域にトレッドミル０５～トレッドミル０８が含まれ、トレッドミル０５～トレッドミル０８の夫々の付近に照明０５～照明０８の夫々が配置され、トレッドミル０５及びトレッドミル０６の付近に空調０３が配置され、トレッドミル０７及びトレッドミル０８の付近に空調０４が配置されている。同様に、カメラと設備と電力を消費する機器との関係が関係データに記録されている。例えば、関係データでは、夫々のカメラ、設備、及び電力を消費する機器を識別するためのＩＤが互いに関連付けて記録されている。

情報処理装置１は、同様に、Ｓ３１～Ｓ３５の処理を実行する。トレッドミル３の利用率が得られ、電力消費の計画が作成される。情報処理装置１は、関係データを参照し、電力を消費する機器に関連付けられた設備の利用率に応じて、電力消費の計画を作成する。例えば、情報処理装置１は、トレッドミル０１～トレッドミル０４の夫々の利用率に応じて照明０１～照明０４の夫々での電力消費の計画を作成する。また、情報処理装置１は、トレッドミル０１及びトレッドミル０２の利用率に応じて空調０１の電力消費の計画を作成し、トレッドミル０３及びトレッドミル０４の利用率に応じて空調０２の電力消費の計画を作成する。

図１５は、電力消費の計画の例を示す模式図である。図１５には、時間帯と各照明での電力消費とを対応付けた例を示す。例えば、情報処理装置１は、トレッドミル３の利用率が高い時間帯では、関連付けられた照明を点灯し、トレッドミル３の利用率が低い時間帯では照明を消灯するように、電力消費の計画を作成する。また、図１５には、時間帯と各空調での電力消費とを対応付けた例を示す。例えば、情報処理装置１は、トレッドミル３の利用率が高い時間帯では、関連付けられた空調での電力消費を強とし、トレッドミル３の利用率が低い時間帯では空調での電力消費を弱とし、トレッドミル３の利用が無い時間帯では空調を消すように、電力消費の計画を作成する。Ｓ３５では、情報処理装置１は、図１５に示す如き電力消費の計画を出力する。出力される電力消費の計画には、夫々の設備を識別するためのＩＤが含まれる。使用者は、出力された電力消費の計画を参考にして、電力消費を適切に調整することができる。

以上のように、スポーツジム内の全てのトレッドミル３を単一のカメラ２で撮影することができない場合であっても、複数のカメラ２を用いることによって、人物４の動作パターンを調べることができる。即ち、夫々のトレッドミル３の利用率を特定し、電力消費の計画を作成することができる。従って、実施形態２では、全ての設備を単一のカメラ２で撮影することができない状態において、複数のカメラ２を用いることによって、人物４の動作パターンを調べることができる。

＜実施形態３＞
図１６は、実施形態３に係る情報処理システム１００の構成例を示す模式図である。複数の施設６があり、夫々の施設６にカメラ２が配置されている。施設６は、例えば、複数のトレッドミル３を備えたスポーツジムである。一つの施設６に複数のカメラ２が配置されていてもよい。夫々のカメラ２は、有線通信又は無線通信を利用して、インターネット等の通信ネットワークＮに接続されている。通信ネットワークＮには、情報処理装置１が接続されている。カメラ２は、当該カメラ２が配置された施設６の内部を撮影し、撮影画像を、通信ネットワークＮを介して情報処理装置１へ送信する。情報処理装置１は、複数のカメラ２から送信された撮影画像を受信することにより、撮影画像を取得する。

情報処理装置１は、夫々の施設６に配置されたカメラ２から取得した撮影画像に基づいて、夫々の施設６に関してＳ１１～Ｓ１８の処理、Ｓ２１～Ｓ２８の処理、及びＳ３１～Ｓ３５の処理を実行する。これにより、夫々の施設６に関して監視領域５３が決定され、監視領域５３に含まれる人物４が検出され、夫々の施設６における人物４の動作パターンを調べることができる。例えば、複数のスポーツジムの夫々におけるトレッドミル３の利用率が得られ、複数のスポーツジムの夫々における電力消費の計画を作成することができる。

実施形態１～３では、カメラ２が撮影する領域が固定されている形態を示したが、カメラ２は撮影方向を変更しながら撮影を行うことにより、より広い領域を撮影する形態であってもよい。実施形態１～３では、情報処理システム１００が対象とする施設の例としてスポーツジムを挙げているが、情報処理システム１００が対象とする施設はスポーツジム以外の施設であってもよい。例えば、情報処理システム１００が対象とする施設は、スーパーマーケット等の店舗であってもよい。この形態では、店舗内の人物４の動作パターンが得られる。例えば、店舗に設けられた商品陳列棚又は精算所等の施設が監視領域５３に対応し、各設備の利用率が特定される。利用率の高い商品陳列棚に売りたい商品を陳列する等、設備の利用率に応じて商品の配置を調整することにより、店舗の売り上げの増進を図ることができる。また、利用率に応じた電力消費の計画を作成することにより、空調又は照明の利用をより適切に調整する等、店舗における電力消費の効率化を図ることができる。

実施形態１～３では、物体が人物４であるとし、撮影画像から人物４を検出する形態を示したが、情報処理システム１００は、人物以外の物体を撮影画像から検出する形態であってもよい。例えば、物体は人間以外の動物であってもよい。物体は物品であってもよい。例えば、情報処理システム１００は、工場においてコンベアに運ばれながら機械によって加工される物品を物体とし、機械に対応する監視領域５３に含まれる物品を検出し、各機械の利用率を特定することができる。物体は車両であってもよい。例えば、駐車場にカメラ２が配置され、駐車場内の駐車スペースに対応する監視領域５３に含まれる車両が検出され、駐車スペースの利用率が特定されてもよい。

本発明は上述した実施の形態の内容に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。即ち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態も本発明の技術的範囲に含まれる。

１００ 情報処理システム
１ 情報処理装置
１０ 記録媒体
１４１ コンピュータプログラム
１４２ 学習モデル
２ カメラ
３ トレッドミル
４ 人物（物体）
５１ バウンディングボックス
５２ バウンディングボックスの中心点
５３ 監視領域
５４ 監視領域の中心点
６ 施設
Ｎ 通信ネットワーク

Claims (10)

1. カメラにより撮影された撮影画像を取得し、
   前記撮影画像に含まれる特定の物体を検出し、
   検出した物体の前記撮影画像内での位置を特定し、
   複数の撮影画像から特定した複数の物体の位置をクラスタリングし、
   クラスタリングにより得られたクラスターに対応する撮影画像内の領域を、特定の物体の存在を監視すべき監視領域として決定する
   ことを特徴とする情報処理方法。
2. クラスターに含まれる物体の位置の数が閾値以上である場合に、当該クラスターに対応する領域を前記監視領域として決定する
   ことを特徴とする請求項１に記載の情報処理方法。
3. 前記監視領域を決定した後に撮影された撮影画像内の前記監視領域に含まれる特定の物体を検出する
   ことを特徴とする請求項１又は２に記載の情報処理方法。
4. 物体の検出結果に基づいて、特定の時間帯において前記監視領域に物体が含まれていた時間を特定し、
   特定した前記時間に基づいて、前記特定の時間帯において前記監視領域に対応する設備が利用されている時間の割合を示す利用率を特定し、
   前記特定の時間帯及び前記監視領域に対応する設備に関連付けた前記利用率を出力する
   ことを特徴とする請求項３に記載の情報処理方法。
5. 複数のカメラにより複数の場所を撮影された複数の撮影画像に基づいて、前記複数の場所の夫々における設備の利用率を特定し、出力する
   ことを特徴とする請求項４に記載の情報処理方法。
6. 前記特定の時間帯及び前記設備に関連付けた前記利用率に基づいて、前記設備に関する電力消費の計画を出力する
   ことを特徴とする請求項４又は５に記載の情報処理方法。
7. 前記監視領域に含まれる特定の物体の数に基づいて、物体の密度を特定し、
   前記密度が所定の限界密度以上である場合に、警告を出力する
   ことを特徴とする請求項３乃至６のいずれか一つに記載の情報処理方法。
8. 所定のタイミングで、前記監視領域を決定し直す
   ことを特徴とする請求項１乃至７のいずれか一つに記載の情報処理方法。
9. カメラにより撮影された撮影画像を取得し、
   前記撮影画像に含まれる特定の物体を検出し、
   検出した物体の前記撮影画像内での位置を特定し、
   複数の撮影画像から特定した複数の物体の位置をクラスタリングし、
   クラスタリングにより得られたクラスターに対応する撮影画像内の領域を、特定の物体の存在を監視すべき監視領域として決定する
   処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
10. 外部を撮影するカメラと、
    情報処理装置とを備え、
    前記情報処理装置は、
    前記カメラにより撮影された撮影画像を取得し、
    前記撮影画像に含まれる特定の物体を検出し、
    検出した物体の前記撮影画像内での位置を特定し、
    複数の撮影画像から特定した複数の物体の位置をクラスタリングし、
    クラスタリングにより得られたクラスターに対応する撮影画像内の領域を、特定の物体の存在を監視すべき監視領域として決定する
    ことを特徴とする情報処理システム。

Images