JP2022011926A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】 本発明は、画像に対する特定物体の数の推定処理の処理時間を算出することにかかる時間の増大を抑制することを目的としている。【解決手段】 撮像手段により撮像された画像に対し、特定物体の数を推定する推定処理の対象である複数の部分領域を設定する設定手段と、複数の異なるサイズについて、当該サイズと、当該サイズの部分領域に対する前記推定処理の処理時間とを関連付けた処理時間情報に基づき、前記画像において前記設定手段により設定された前記複数の部分領域に対する前記推定処理の処理時間である全体処理時間を算出する算出手段とを有する。【選択図】 図５

Description

本発明は、情報処理技術に関する。

近年、撮像装置で所定のエリアを撮像し、撮像した画像を解析することによって画像中の人物の数を推定するシステムが提案されている。このようなシステムを用いて、公共の空間での混雑の検知を行い、イベント時の混雑解消や災害時の避難誘導への活用が期待されている。

画像中の人数を推定する方法として、機械学習によって得た学習モデルを用いて、画像内の部分領域に映る人数を推定する方法が提案されている。特許文献１では、機械学習によって得た学習モデルを用いて、画像の部分領域に映る人数を直接推定する方法が開示されている。以下、この方法を回帰ベース推定法とする。

特開２０１８－２２３４０号公報

画像に対して設定された複数の部分領域に対する回帰ベース推定法を用いた特定物体の数を推定する推定処理に要する処理時間をユーザは把握したいことがある。画像上の複数の部分領域に対する推定処理の処理時間をユーザに提示する場合を想定すると、実際に当該画像上の複数の部分領域の全てに対して推定処理を実行して要した時間を処理時間として算出する方法が考えられる。しかしながら、この場合、実際に複数の部分領域全てに対して推定処理を実行しているため、画像に対する推定処理の処理時間を算出することに時間がかかることがある。

そこで本発明は、画像に対する特定物体の数の推定処理の処理時間を算出することにかかる時間の増大を抑制することを目的としている。

上記課題を解決するために、本発明の情報処理装置は、以下の構成を備える。すなわち、撮像手段により撮像された画像に対し、特定物体の数を推定する推定処理の対象である複数の部分領域を設定する設定手段と、複数の異なるサイズについて、当該サイズと、当該サイズの部分領域に対する前記推定処理の処理時間とを関連付けた処理時間情報に基づき、前記画像において前記設定手段により設定された前記複数の部分領域に対する前記推定処理の処理時間である全体処理時間を算出する算出手段とを有する。

本発明によれば、画像に対する特定物体の数の推定処理の処理時間を算出することにかかる時間の増大を抑制することができる。

システム構成の一例を示す図である。 機能ブロックの一例を示す図である。 画像に対し設定される複数の部分領域の一例を示す図である。 処理時間情報の一例を示す図である。 全体処理時間および総フレーム処理時間を算出する処理のフローチャートである。 全体処理時間および総フレーム処理時間を算出する処理を説明するための図である。 処理時間情報を更新する処理のフローチャートである。 ライブ映像の設定されたフレーム間隔に対する推定処理が実行可能かを判定する処理を説明するための図である。 表示されるＧＵＩの一例を示す図である。 各装置のハードウェア構成を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

情報処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

情報処理装置１００は、例えば、後述する情報処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。

撮像装置１１０は、画像を撮像する装置であり、撮像手段として機能する。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、情報処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。すなわち、複数の撮像装置１１０が、ネットワーク１４０を介して、情報処理装置１００や記録装置１２０と接続されてもよい。この場合、情報処理装置１００および記録装置１２０は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置１１０のうちどの撮像装置１１０により撮像されたかを判断する。

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、情報処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を情報処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、情報処理装置１００の情報処理の結果や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置１００と接続されている。なお、ディスプレイ１３０、情報処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

なお、情報処理装置１００による情報処理の結果や、撮像装置１１０により撮像された画像は、情報処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に、図２に示す本実施形態に係る情報処理装置１００の機能ブロックを参照して、本実施形態に係る情報処理装置１００の情報処理について説明する。なお、図２に示す各機能は、本実施形態の場合、図１０を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０００とを用いて、次のようにして実現されるものとする。すなわち、図２に示す各機能は、情報処理装置１００のＲＯＭ１０２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１０００が実行することにより実現される。

通信部２００は、Ｉ／Ｆ１０４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した動画像や静止画などの画像データを受信する。なお、動画像は、時間的な連続性（あるいは、関連性）を有する複数のフレームの画像により構成される。本実施形態における通信部２００は、撮像装置１１０により撮像された動画像を構成する複数フレームの画像のうち少なくとも１つの画像を処理対象の画像として取得したり、撮像装置１１０により撮像された静止画を処理対象の画像として取得したりする。また、通信部２００は、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンドなどを含む。

出力制御部２０１は、撮像装置１１０が撮像した画像、本実施形態に係る情報処理に関する設定を行う設定画面、または、情報処理の結果を示す情報などを外部装置に出力したり、ディスプレイ１３０に表示させたりする。なお、出力制御部２０１による情報の出力先である外部装置は、例えば、他の情報処理装置（不図示）や記録装置１２０を含む。操作受付部２０２は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

設定部２０３は、撮像装置１１０により撮像された画像における所定領域に対し、特定物体の数を推定する推定処理の対象である複数の部分領域を設定する。なお、所定領域とは、推定された特定物体の数の合算が計数される対象の領域を示し、例えば、ユーザによる画像上の位置の指定に従って、設定部２０３により設定される。そして、本実施形態における設定部２０３は、画像における所定領域を覆うように、当該所定領域に対し複数の部分領域の各々を並べて設定する。なお、以降の説明において、本実施形態における所定領域は、画像全体の領域である場合を想定する。また、本実施形態における設定部２０３は、例えば、画像３００上の複数の異なる地点各々において映る特定物体のサイズと位置の情報に基づき、当該画像に対し複数の部分領域を設定する。なお、設定部２０３は、例えば、操作受付部２０３が受け付けた部分領域を指定するユーザの操作に基づき、画像に対し複数の部分領域を設定するようにしてもよい。なお、設定部２０３による部分領域を設定する処理の詳細な説明については後述する。

推定部２０４は、回帰ベース推定法により、設定部２０３により設定された画像における複数の部分領域の各々に対し、特定物体の数を推定する推定処理を実行する。回帰ベース推定法では、ある固定サイズＳの小画像を入力とし、当該小画像に写っている特定物体の数を出力とする回帰器（学習済み認識モデル）を用いることで、撮像装置１１０により撮像された画像上の部分領域における特定物体の数を推定する。回帰器を学習させるにあたって、特定物体の位置が既知である固定サイズＳの小画像を大量に用意し、当該対象の小画像を学習データとして、機械学習手法に基づいて回帰器を学習しておく。このとき、特定物体の数の推定精度を向上させるため、学習データである小画像のサイズ（固定サイズＳ）と当該小画像に映る特定物体のサイズとの比率が略一定であることが望ましい。そして推定部２０４は、画像に設定された複数の部分領域の各々について、当該部分領域の画像を固定サイズＳにリサイズしたものを小画像とし、当該小画像を回帰器に入力することで「当該部分領域内の特定物体の位置」を回帰器からの出力として求める。このとき、当該部分領域内の特定物体の位置の数が、当該部分領域内における特定物体の数となる。

なお、設定部２０３が画像に対し複数の部分領域を設定するにあたって、部分領域のサイズと当該部分領域内で映る特定物体のサイズとの比率が、学習データである小画像のサイズと当該小画像に映る特定物体のサイズとの比率ｒと略同一になることが望ましい。このように、学習データの環境に近づくよう画像に対し部分領域を設定することで、部分領域に含まれる特定物体の数の推定精度をより高めることができる。なお、以降の説明において、人物を特定物体して説明するが、これに限らない。例えば、人物の頭部、上半身、腕、足など人物の一部の部位を特定物体としてもよいし、車やナンバープレートなど他の物体を特定物体としてもよい。

記録部２０５は、情報処理装置１００による情報処理に関わる情報やデータを記憶する。例えば、記録部２０５は、画像に対し設定部２０３により設定された複数の部分領域各々に対する推定処理により推定された人物の数を記録する。また、本実施形態における記録部２０５は、複数の異なるサイズ各々について、当該サイズと、当該サイズの部分領域に対する推定処理に要する処理時間とを関連付けた情報である処理時間情報を記録する。なお、本実施形態において、処理時間情報は、情報処理装置１００の記録部２０５が保持するものとしたが、これに限らない。例えば、情報処理装置１００とネットワーク１４０を介して接続される外部装置（例えば記録装置１２０）が処理時間情報を保持していてもよい。この場合、情報処理装置１００の通信部２００は、処理時間情報を要求するコマンドを当該外部装置へ送信し、当該コマンドに従って当該外部装置から送信された処理時間情報を取得するようにしてもよい。

算出部２０６は、処理時間情報に基づき、画像において設定部２０４により画像に対し設定された複数の部分領域に対する推定処理の処理時間である全体処理時間を算出する。なお、全体処理時間とは、１つのフレームの画像における設定された複数の部分領域各々に対する推定処理に要した処理時間を合算した時間である。言い換えれば、全体処理時間とは、１つのフレームの画像に対する推定処理に要する処理時間である。また、算出部２０６は、複数の画像（複数フレームからなる動画像など）に対する推定処理の処理時間である総フレーム処理時間を算出する。総フレーム処理時間を算出する場合、算出部２０６は、例えば、次のような処理を実行する。すなわち、算出部２０６は、複数の画像のうち１つの画像について全体処理時間を算出し、当該全体処理時間と、当該複数フレームの画像の数とに基づき、当該複数の画像に対する総フレーム処理時間を算出する。例えば、算出部２０６は、複数の画像のうち１つの画像について算出した全体処理時間と、当該複数の画像のフレームの数とを乗じて得られる値を総フレーム処理時間として算出する。なお、算出部２０６により算出された１つの画像に対する全体処理時間を示す情報や、複数の画像に対する総フレーム処理時間を示す情報は、出力制御部２０２により外部装置に出力される。例えば、出力制御部２０２は、算出部２０６により算出された全体処理時間を示す情報や、総フレーム処理時間を示す情報などをディスプレイ１３０に表示させる。

更新部２０７は、画像における或る部分領域に対して推定処理が推定部２０４に実行された場合、当該或る部分領域に対する推定処理に実際に要した処理時間である実処理時間に基づき、処理時間情報における当該部分領域のサイズに対応する処理時間を更新する。例えば、更新部２０７は、画像に対し設定された複数の部分領域のうちの１つである或る部分領域に対する推定処理の実処理時間と、記録部２０５に記録される処理時間情報における当該或る部分領域のサイズに関連付けられた処理時間との差分を算出する。そして、更新部２０７は、算出した差分値が所定値未満である場合、処理時間情報の更新は行わない。一方、算出した差分値が所定値以上である場合、処理時間情報における当該或る部分領域のサイズに関連付けられた処理時間を、当該或る部分領域に対する推定処理の実処理時間に変更（更新）する。

次に図３を参照して、画像に対し複数の部分領域を設定する場合について説明する。図３は、本実施形態において撮像装置１１０に撮像された画像に対し設定された複数の部分領域を示す図である。

本実施形態における設定部２０３は、図３に示すように、撮像装置１１０により撮像された画像３００に対して複数の部分領域を設定する。なお、本実施形態における設定部２０３は、画像３００上の複数の異なる地点各々において映る人物のサイズと位置の情報に基づき、当該画像に対して複数の部分領域を設定するものとする。複数の異なる地点各々において映る人物のサイズと位置の情報は、予めユーザにより指定されてもよい。例えば、操作受付部２０３は、表示された画像における上部、中部、下部各々において映る人物の平均的なサイズを指定するユーザ操作を受け付ける。そして、記憶部２０５は、ユーザ操作に従って指定された上部、中部、下部各々について、人物の位置と、当該位置において映る平均的なサイズの情報を記憶する。そして、設定部２０３は、記憶部２０５により記憶された、画像の上部、中部、下部各々について、人物の位置と、当該位置における平均的なサイズ情報を取得する。なお、複数の異なる地点各々において映る人物のサイズと位置の情報は、次のように取得されてもよい。すなわち、撮像装置１１０により予め撮像された画像に対しパターンマッチングなどを用いて人物を検出する処理を実行し、当該画像から検出された人物の位置と、当該位置における当該人物のサイズとを関連付けた情報を記録部２０５は記憶する。そして、設定部２０３は、記憶部２０５により記憶された、画像から検された複数の異なる地点各々における人物の位置とサイズの情報として、画像から検出された人物の位置とサイズの情報を記憶部２０５から取得する。

そして、設定部２０４は、画像上の複数の異なる地点各々に対応する、人物の位置と、当該位置において映る人物のサイズの情報に基づき、画像上の任意の位置で映る人物のサイズ情報ｆ（ｘ，ｙ）を推定する。画像上の任意の位置における人物のサイズ情報ｆ（ｘ，ｙ）は、画像上の任意の位置座標（ｘ、ｙ）において映る人物の平均的なサイズを示している。サイズ情報ｆ（ｘ，ｙ）は、例えば、画像上のｘ座標を示すｘ、画像上のｙ座標を示すｙ及び１個以上のパラメータによって表せると仮定する。例えば、ｆ（ｘ，ｙ）＝ａｘ＋ｂｙ＋ｃと仮定する。この例では、未知のパラメータはａ、ｂ及びｃである。このとき設定部２０４は、記憶部２０５により記憶された画像上の複数の異なる地点各々における人物の位置とサイズの情報を用いて、未知のパラメータを、例えば最小二乗法等の統計処理により求めることができる。

そして、本実施形態における設定部２０４は、画像上の任意の位置における人物のサイズであるサイズ情報ｆ（ｘ，ｙ）に基づき、画像に対して複数の部分領域を設定する。図３に示す例では、画像３００上の任意の位置における人物のサイズとして、画像３００の水平方向において人物のサイズは略同一であり、画像３００の垂直方向における下部から上部に向かうにつれ人物のサイズは小さくなるものとする。まず、本実施形態における設定部２０３は、画像３００の下端に沿って複数の部分領域３０１ａを設定する。このとき部分領域３０１ａのサイズ（サイズａとする）と、該部分領域３０１ａ内の下端の座標においてサイズ情報ｆ（ｘ，ｙ）が示す人物のサイズとの比率が学習データに対応する比率ｒと略同一になるように、設定部２０３は部分領域３０１ａを設定する。次に、設定部２０３は、複数の部分領域３０１ａの上端に沿って、複数の部分領域３０１ｂを設定する。このとき部分領域３０１ｂのサイズ（サイズｂとする）と、当該部分領域３０１ｂ内の下端の座標においてサイズ情報ｆ（ｘ，ｙ）が示す人物のサイズとの比率が学習データに対応する比率ｒと略同一になるように、設定部２０３は部分領域３０１ｂを設定する。次に、設定部２０３は、複数の部分領域３０１ｂの上端に沿って、複数の部分領域３０１ｃを設定する。このとき部分領域３０１ｃのサイズ（サイズｃとする）と、該部分領域３０１ｃ内の下端の座標においてサイズ情報ｆ（ｘ、ｙ）が示す人物のサイズとの比率が学習データに対応する比率ｒと略同一になるように、設定部２０３は部分領域３０１ｃを設定する。このように、本実施形態における設定部２０３は、部分領域のサイズと該部分領域における特定物体のサイズとの比率が、学習データである小画像のサイズと当該小画像に映る特定物体のサイズとの比率ｒと略同一になるよう、画像に対し部分領域を設定する。このように、学習データの環境に近づくよう画像に対し部分領域を設定することで、部分領域に含まれる特定物体の数の推定精度をより高めることができる。なお図３を参照した上述の説明において画像の下端から上端に向かう順番で部分領域を設定したが、これに限らず、他の位置から部分領域を設定してもよい。

続いて、図４に示すテーブルを参照して、本実施形態における記録部２０５により記録される処理時間情報について説明する。図４に示す処理時間情報４００は、複数の異なる部分領域のサイズ各々について、当該サイズ４０１と、当該サイズの部分領域に対する推定処理の処理時間４０２とを関連付けたテーブルの情報である。なお、図４に示すように、部分領域のサイズ４０１は、矩形である部分領域の幅と高さそれぞれがピクセル（ｐｘ）の単位で示され、１つの部分領域に対する推定処理の処理時間は（ｍｓ）の単位で示される。なお、図４に示す処理時間情報４００の初期値は、ユーザにより予め設定された値でもいいし、使用するコンピュータの性能に応じて定めてもよい。なお、処理時間情報４００の初期値は、例えば、次のような処理を実行して得られる。すなわち、予め推定部２０４が部分領域に対して推定処理を実行し、記録部２０５は、当該部分領域に対する推定処理に要した処理時間と、当該部分領域のサイズとを関連付けて処理時間情報として保持する。なおこのとき、推定部２０４は、或るサイズの部分領域に対して複数回の推定処理を実行し、記録部２０５は、当該部分領域に対する当該複数回の推定処理各々に要した処理時間の平均値と、当該或るサイズとを関連付けて処理時間情報として保持してもよい。

続いて、図５のフローを参照して、本実施形態における情報処理装置１００により実行される情報処理を説明する。図５に示すフローの処理を実行することで、撮像装置１１０により撮像された画像における複数の部分領域に対し推定処理を実行するのに先立ち、全体処理時間および総フレーム処理時間を算出してユーザに提示することができる。なお、図５に示すフローは、例えば、撮像装置１１０により撮像された画像に対して複数の部分領域が設定される設定モードにおいてユーザ指示に従って実行されるようにしてもよい。また、図５に示すフローは、例えば、撮像装置１１０により撮像された画像に対して複数の部分領域の設定が完了したことに伴い、自動的に実行されるようにしてもよい。なお、図５に示すフローの処理は、情報処理装置１００のＲＯＭ１０２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１０００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

まず、Ｓ５０１において、画像に対する複数の部分領域の設定が完了していると判定された場合（Ｓ５０１にてＹｅｓ）、Ｓ５０２へ遷移する。一方、画像に対する複数の部分領域の設定が完了していないと判定された場合（Ｓ５０１にてＮｏ）、図５に示すフローの処理を終了する。

次に、Ｓ５０２にて、算出部２０６は、画像に対し設定された複数の部分領域の情報を取得する。ここで、算出部２０６は、複数の部分領域の情報として、例えば、画像に対し設定された当該複数の部分領域各々の位置およびサイズの情報を取得する。次に、Ｓ５０３にて、算出部２０６は、画像に対し設定された部分領域のサイズのうち、注目対象のサイズを決定する。図３に示すように、画像３００に対して、“サイズａ”の部分領域３０１ａ、“サイズｂ”の部分領域３０１ｂ、または、“サイズｃ”の部分領域３０１ｃが設定されている場合を想定する。このとき、Ｓ５０３において算出部２０６は、例えば、画像に対し設定された部分領域のサイズのうち、最もサイズの大きい“サイズａ”を注目対象として決定する。

次に、Ｓ５０４にて、算出部２０６は、現在注目対象としているサイズの部分領域の数Ｎをカウントする。図３に示す例において、現在注目対象としているサイズが“サイズａ”の場合、算出部２０６は、現在注目対象としているサイズの部分領域の数Ｎとして“４”を算出する。次に、Ｓ５０５にて、算出部２０６は、記録部２０６により記録された処理時間情報４００に基づき、現在注目対象のサイズに対応する処理時間ａｔを取得する。ここで、図３に示す例において、現在注目対象としているサイズが“サイズａ”であり、当該“サイズａ”が“２００（ｐｘ）×２００（ｐｘ）”である場合を想定する。このとき、算出部２０６は、記録部２０５により記録された処理時間情報４００から、“サイズａ（２００×２００）”に対応する処理時間として“５０”の情報を取得する。このように、算出部２０６は、処理時間情報４００における“サイズａ”が示す数値と最も近いサイズ４０１を特定し、特定したサイズ４０１に対応する処理時間４０２を取得する。次に、Ｓ５０６にて、算出部２０６は、１フレームの画像当たりの全体処理時間Ｓを求めるために、“注目対象のサイズの部分領域の数Ｎ”と“注目対象のサイズに対応する処理時間ａｔ”との積を全体処理時間Ｓに加算する。なお、全体処理時間Ｓは、図５に示すフローが開始された時点では“ゼロ”に初期化されているものとする。次に、Ｓ５０７にて、算出部２０６は、画像に対し設定された部分領域のサイズのうち、全てのサイズについて注目対象として決定したかを判定する。図３に示す例では、算出部２０６は、サイズａ、サイズｂ、サイズｃの３つのサイズ全てを注目対象として決定したかを判定する。画像に対し設定された部分領域のサイズのうち、全てのサイズについて注目対象として決定したと算出部２０６により判定された場合（Ｓ５０７にてＹｅｓ）、Ｓ５０８へ遷移する。一方、画像に対し設定された部分領域のサイズのうち、全てのサイズについて注目対象として決定していないと算出部２０６により判定された場合（Ｓ５０７にてＮｏ）、算出部２０６は、注目対象としていないサイズのうち、次に注目対象とするサイズを決定する。例えば、図３に示す例において、“サイズａ”、“サイズｂ”、“サイズｃ”のうち、“サイズａ”だけを注目対象として決定している場合を想定する。このとき、Ｓ５０７にてＮｏとなりＳ５０３へ遷移し、Ｓ５０３にて、算出部２０６は、例えば“サイズａ”の次にサイズが大きい“サイズｂ”を注目対象として決定する。そして、注目対象として決定された“サイズｂ”についてＳ５０４～Ｓ５０６の処理が実行される。すなわち、図５に示すフローにおいて、画像に対し設定された部分領域の異なるサイズ各々についてＳ５０３～Ｓ５０７の処理が繰り返される。その結果、算出部２０６は、１つのフレームの画像に対して設定された複数の部分領域に対する全体処理時間が算出される。

次に、Ｓ５０８にて、算出部２０６は、推定処理の対象となる画像のフレームの数ｘを取得する。ここで、推定処理の対象となる画像のフレームの数ｘは、次のような処理を経て取得される。すなわち、本実施形態における操作受付部２０２は、例えば、推定処理の対象となる画像を指定するユーザ操作を受け付ける。このとき、ユーザは、例えば、撮像装置１１０が撮像した動画像のうち推定処理が実行される画像の撮像日時の範囲と、推定処理が実行されるフレームの間隔であるフレーム間隔とを指定する操作を行う。ここで、推定処理が実行される画像の撮像日時の範囲として“２０２０／〇／△／１３：００～２０２０／〇／△／１８：００”が指定され、フレーム間隔として“１０”が指定された場合を想定する。このとき算出部２０６は、推定処理の対象となる画像のフレームの数として、“２０２０／〇／△／１３：００～２０２０／〇／△／１８：００”の間に撮像装置１１０に撮像された画像のフレームの数を、フレーム間隔“１０”で割った数を取得する。ここで、“２０２０／〇／△／１３：００～２０２０／〇／△／１８：００”の間に撮像装置１１０に撮像された画像のフレームの数が“１０００”の場合、算出部２０６は、推定処理の対象となる画像のフレームの数ｘとして、“１００”の数を取得する。

次に、Ｓ５０９にて、算出部２０６は、Ｓ５０３～Ｓ５０６の処理を経て算出された１つのフレームの画像に対する全体処理時間Ｓと、Ｓ５０８にて取得された推定処理の対象となる画像のフレームの数ｘとに基づき、総フレーム処理時間Ｓ’を算出する。本実施形態において、算出部２０６は、１つのフレームの画像に対する全体処理時間Ｓと、推定処理の対象となる画像のフレームの数ｘとを乗じることで、推定処理の対象となる全ての画像に対する総フレーム処理時間Ｓ’を算出する。なお、本実施形態において、推定処理の対象となる画像のフレームの数ｘが複数である場合、推定処理の対象である複数の画像各々に対し設定される複数の部分領域の位置とサイズは略同一であるものとする。言い換えれば、本実施形態において、推定処理の対象となる複数の画像に対して、複数の部分領域の設定として同じ設定がなされているものとする。

次に、Ｓ５１０にて、出力制御部２０１は、算出部２０６により算出された全体処理時間および総フレーム処理時間の少なくともいずれか一方を外部装置に出力する。本実施形態における出力制御部２０１は、例えば、算出部２０６により算出された１つのフレームの画像に対する全体処理時間と、推定処理の対象となる画像全体に対する総フレーム処理時間とをディスプレイ１３０に表示させる。なお、このとき、出力制御部２０１は、全体処理時間と、総フレーム処理時間と、設定部２０３により設定された複数の部分領域が重畳された画像と、解析設定の情報とを同時にディスプレイ１３０に表示させてもよい。なお、解析設定の情報とは、推定処理の対象となる画像のフレーム数ｘと、推定処理が実行される画像の撮像日時の範囲と、推定処理が実行されるフレーム間隔の少なくともいずれか１つを含むものとする。このように、推定処理に要する処理時間の予測とともに、現状の解析設定の情報をユーザに提示することで、ユーザが意図していた以上に予測された処理時間が長いような場合、ユーザは処理時間をおさえるよう解析設定を変更することが可能となる。

ここで、図６を参照して、本実施形態における全体処理時間および総フレーム処理時間を算出する処理の具体例について説明する。図６（ａ）では、撮像された画像６００ａに対する部分領域の設定のパターンである部分領域設定６１０ａと、撮像された画像６００ｂに対する部分領域の設定のパターンである部分領域設定６１０ｂとが示されている。なお、図６（ａ）に示すように、部分領域設定６１０ａと部分領域設定６１０ｂとでは、設定される部分領域の個数やサイズが異なっている。なお図６（ａ）に示す例では、画像６００ａ、６００ｂの各々は、図３と同様、任意の位置における人物のサイズは、画像の水平方向にて人物のサイズは略同一であり、画像の垂直方向における下部から上部に向かうにつれ人物のサイズは小さくなるものとする。したがって、画像６００ａ，６００ｂ各々は、画像の水平方向に設定される複数の部分領域のサイズは同じであり、画像の鉛直方向において下から上へ向かうにつれて部分領域のサイズは小さくなる。図６（ｂ）のテーブル６２０では、画像６００ａにおける部分領域設定６１０ａ、および、画像６００ｂにおける部分領域設定６１０ｂ、それぞれの場合の全体処理時間と総フレーム処理時間を示している。なお、図６（ｂ）に示す例では、推定処理の対象である画像のフレームの数は“１０００”であるものとする。本実施形態における出力制御部２０１は、算出部２０６による全体処理時間と総フレーム処理時間とを含むテーブル６２０の情報をディスプレイ１３０に表示させるようにしてもよい。

次に、図７に示すフローを参照して、画像に対して設定された複数の部分領域に対して推定処理を実行するモードである運用モードについて説明する。図７に示すフローの処理を実行することで、画像上の複数の部分領域に対して特定物体の数の推定処理を実行することができ、更に処理時間情報を更新することができる。なお、図７に示すフローの処理は、情報処理装置１００のＲＯＭ１０２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１０００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

Ｓ７０１にて、通信部２００は、撮像装置１１０により撮像された動画における１つのフレームの画像を処理対象の画像として取得する。なお、通信部２００は、ネットワーク１４０を介して撮像装置１１０や記憶装置１２０から処理対象の画像を取得してもよいし、情報処理装置１００の記憶部２０５から処理対象の画像を取得してもよい。また、通信部２００は、撮像装置１１０により撮像された静止画を処理対象の画像として取得してもよい。次に、Ｓ７０２にて、算出部２０６は、画像に対し設定された複数の部分領域の情報を取得する。ここで、算出部２０６は、複数の部分領域の情報として、例えば、画像に対し設定された当該複数の部分領域各々の位置およびサイズの情報を取得する。次に、Ｓ７０３にて、推定部２０４は、Ｓ７０２にて取得した情報に基づく画像上の複数の部分領域の各々に対し人物の数を推定する推定処理を実行する。次に、Ｓ７０４にて、算出部２０６は、現在処理対象としている画像に対し設定された複数の部分領域の各々に対する推定処理に推定された人物の数を合算することで人物の計数結果を取得する。次に、Ｓ７０５にて、出力制御部２０１は、部分領域の各々に対して推定された人物の数を合算した計数結果を示す情報を外部装置（ディスプレイ１３０等）へ出力する。推定処理の対象である全ての画像に対して推定処理が実行されてない場合（Ｓ７０６にてＮｏ）、Ｓ７０１へ遷移し、通信部２００は、次のフレームの画像を処理対象の画像として取得する。推定処理の対象である全ての画像に対して推定処理を実行した場合（Ｓ７０６にてＹｅｓ）、Ｓ７０７へ遷移する。Ｓ７０７にて、更新部２０７は、処理時間情報の更新処理を実行する。

ここで、図７（ｂ）に示すフローを参照して、Ｓ７０７の処理時間情報の更新処理について説明する。図７（ｂ）に示すフローを実行することにより、処理時間情報を適応的に更新することができる。なお、図７（ｂ）に示すフローの処理は、情報処理装置１００のＲＯＭ１０２０に格納されたコンピュータプログラムを情報処理装置１００のＣＰＵ１０００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

Ｓ７７１にて、更新部２０６は、現状設定されている部分領域のサイズのうち、注目対象のサイズを決定する。ここで、図３に示すように、画像３００に対して、“サイズａ”の部分領域３０１ａ、“サイズｂ”の部分領域３０１ｂ、または、“サイズｃ”の部分領域３０１ｃが設定されている場合を想定する。このとき、Ｓ７７１において更新部２０６は、例えば、画像に対し設定された部分領域のサイズのうち、最もサイズの大きい“サイズａ”を注目対象として決定する。

次に、Ｓ７７２にて、更新部２０６は、注目対象のサイズの部分領域に対し、複数のフレームの画像にわたってＳ７０３にて実行された推定処理に要した実際の処理時間である実処理時間の平均値を取得する。ここで、図３に示す例において、注目対象のサイズとして“サイズａ”が注目対象である場合を想定する。このとき、更新部２０６は、Ｓ７０１～Ｓ７０６の処理を経て、複数の画像に対して注目対象である“サイズａ”の部分領域に対して実行された複数回の推定処理各々に要した処理時間の平均値を取得する。次に、Ｓ７７３にて、更新部２０６は、注目対象のサイズの部分領域について取得した実処理時間の平均値と、記録部２０５により記録された処理時間情報における注目対象のサイズに対応する処理時間との差分値を算出する。ここで、図３に示す例において、注目対象のサイズとして“サイズａ”が注目対象である場合を想定する。このとき、更新部２０６は、Ｓ７７２において“サイズａ”の部分領域について取得した実処理時間の平均値と、処理時間情報４００において“サイズａ”に対応する処理時間との差分値を算出する。次に、Ｓ７７３にて算出された差分値が所定値以上である場合（Ｓ７７４にてＹｅｓ）、Ｓ７７５へ遷移する。そしてＳ７７５にて、更新部２０７は、Ｓ７７２で取得した注目対象のサイズの部分領域について取得した実処理時間の平均値を用いて、処理時間情報４００における当該注目対象のサイズに対応する処理時間を更新する。例えば、図３に示す例において、注目対象のサイズとして“サイズａ”が注目対象である場合を想定する。このとき、更新部２０７は、処理時間情報４００の“サイズａ”に最も近いサイズ４０１を特定し、特定したサイズ４０１に関連付けられた処理時間４０２を、“サイズａ”の部分領域についてＳ７７２で取得された実処理時間の平均値に置き換える。次に、Ｓ７７６にて、更新部２０７は、画像に対し設定された部分領域のサイズのうち、全てのサイズについて注目対象として決定したかを判定する。図３に示す例では、更新部２０６は、“サイズａ”、“サイズｂ”、“サイズｃ”の３つのサイズ全てを注目対象として決定したかを判定する。画像に対し設定された部分領域のサイズのうち、全てのサイズについて注目対象として決定したと更新部２０７により判定された場合（Ｓ７７６にてＹｅｓ）、図７（ｂ）に示すフローの処理を終了する。一方、画像に対し設定された部分領域のサイズのうち、全てのサイズについて注目対象として決定していないと判定された場合（Ｓ７７６にてＮｏ）、Ｓ７７１に遷移し、更新部２０６は、注目対象としていないサイズのうち次に注目対象とするサイズを決定する。例えば、図３に示す例において、“サイズａ”、“サイズｂ”、“サイズｃ”のうち、“サイズａ”だけを注目対象として決定している場合を想定する。このとき、Ｓ７７６にてＮｏとなりＳ７７１へ遷移し、Ｓ７７１にて更新部２０７は、“サイズａ”の次にサイズが大きい“サイズｂ”を注目対象として決定する。そして、注目対象として決定された“サイズｂ”についてＳ７７１～Ｓ７７６の処理が実行される。すなわち、図７（ｂ）に示すフローにおいて、画像に対し設定された部分領域の異なる全てのサイズについてＳ７７１～Ｓ７７６の処理が繰り返される。その結果、更新部２０７は、画像に対して設定された部分領域の異なる複数のサイズ各々に対応する処理時間情報４００を更新することができる。

ここでライブ映像に対して推定処理が実行される場合を想定し、ここで図８、９を参照して、ライブ映像に対する推定処理に先立ち、当該ライブ映像に対する推定処理が追いつくか否かについて判定する処理について説明する。

図８は、ライブ映像に対する推定処理が追いつくか否かを判定する処理を説明するための図である。図８に示す例において、横軸が時間を示している。また、図８では、ライブ映像の各フレームのうち、推定処理が実行されるフレーム間隔に従って得られる推定処理の対象である画像が取得される時間と、推定処理が実際に実行されたフレームの画像について推定処理に要した処理時間とが示されている。図８において、ライブ映像を構成する時間的に連続した各フレームのうち、推定処理が実行されるフレーム間隔としてユーザは“３フレーム”を指定した場合を想定する。このとき、図８に示すように、“フレーム１”から３フレームごとに順次新たなフレームの画像が取得される様子が示される。また、３フレームごとに画像が取得されることと並行し、取得された各フレームに対し推定処理が実行される様子が示される。しかしながら、ライブ映像におけるユーザに指定されたフレーム間隔のフレーム全てについて推定処理を行いたい場合であっても、設定された部分領域の数が多いなど解析設定の内容によって、次のような問題が生じることがある。すなわち、図８に示すように、１つのフレームの画像に対する全体処理時間が長くなり、“フレーム７”や“フレーム１３”のようにユーザが予期せず解析できないフレームが発生してしまうことがある。

そこで、本実施形態における算出部２０６は、ライブ映像におけるユーザに指定されたフレーム間隔の画像に対する推定処理の実行に先立ち、次のような処理を実行する。すなわち、算出部２０６は、フレーム間隔の時間（以下、フレーム間隔時間）と、図５に示すフローの処理により算出される１つの画像に対する全体処理時間とを比較する。なお、フレーム間隔時間とは、前フレームの画像がライブ映像にて取得される時刻と、当該前フレームの画像からフレーム間隔後の次フレームの画像がライブ映像にて取得される時刻との間の時間間隔を示している。図８に示す例では、フレーム間隔が“３フレーム”として指定されているため、フレーム間隔時間は、例えば“フレーム１”が取得される時刻と、“フレーム４”が取得される時刻との差分である。そして、算出部２０６によるフレーム間隔時間と全体処理時間との比較の結果、フレーム間隔時間の方が大きい場合、算出部２０６は、ライブ映像におけるフレーム間隔の画像に対する推定処理は追いつくと判定する。一方、当該比較の結果、全体処理時間の方が大きい場合、算出部２０６は、ライブ映像におけるフレーム間隔の画像に対する推定処理は追いつかないと判定する。出力制御部２０１は、ライブ映像におけるフレーム間隔に対する推定処理が追いつくか否かの算出部２０６による判定結果を示す情報を出力する。例えば、ライブ映像のフレーム間隔の画像に対する推定処理が追いつかないと算出部２０６により判定された場合、出力制御部２０１は、ユーザに通知を行う。図９に示す表示画面は、ライブ映像のフレーム間隔の画像に対する推定処理が追いつかないと算出部２０６により判定された場合、出力制御部２０１により表示されるＧＵＩの一例を示す図である。図９に示す例において、出力制御部２０１は、「ライブ映像のフレーム間隔の画像に推定処理が追いつかない可能性があります」といった所定のエラーメッセージを表示する。また、表示画面９００上のチェックボックス９０１を選択しＯＫボタン９０４をユーザが押下した場合、出力制御部２０１は、ライブ映像の推定処理が実行されるフレーム間隔の変更を行うための設定画面をディスプレイ１３０に表示させることができる。また、表示画面９００上のチェックボックス９０２を選択しＯＫボタン９０４をユーザが押下した場合、出力制御部２０１は、現在設定されている部分領域の設定を変更するための設定画面をディスプレイ１３０に表示させることができる。また、表示画面９００上のチェックボックス９０３を選択しＯＫボタン９０４をユーザが押下した場合、フレーム間隔や部分領域の設定の変更を行わず、ライブ映像に対する推定処理が実行される。このように、ライブ映像におけるユーザ指定のフレーム間隔に対する推定処理に先立ち、当該ライブ映像に対する推定処理が追いつくか否かについて判定し、当該判定の結果をユーザに提示するようにしてもよい。

以上説明したように本実施形態の情報処理装置１００は、複数の異なるサイズ各々について当該サイズと当該サイズの部分領域に対する処理時間とを関連付けた処理時間情報に基づき、画像に対し設定された複数の部分領域に対する全体処理時間を算出する。また本実施形態における情報処理装置１００は、推定処理の対象である画像のフレームの数と、１つのフレームの画像に対する全体処理時間とに基づき、総フレーム処理時間を算出する。このように、撮像装置１１０により撮像された画像における複数の部分領域に対し推定処理を実行するのに先立ち、１つの画像に対する全体処理時間や、推定処理の対象である画像全体に対する総フレーム処理時間を算出してユーザに提示することができる。このように、推定処理に要する処理時間の予測をユーザに提示することで、ユーザが意図していた以上に予測された処理時間が長いような場合、ユーザは処理時間をおさえるよう解析設定を変更することが可能となる。また、本実施形態における情報処理装置１００は、画像に対し設定された複数の部分領域の全てに対し推定処理を実行せず、処理時間情報に基づき、画像に対する全体処理時間を算出している。このようにすることで、画像に対する特定物体の数の推定処理の処理時間を算出することにかかる時間の増大を抑制することができる。

また、本実施形態における情報処理装置１００は、画像に対し設定された部分領域に対し実際に実行された推定処理に要した処理時間に基づき、記録部２０５に記録された処理時間情報を更新することができる。これより、記録部２０５により保持される処理時間情報における異なるサイズ各々に対する処理時間の精度を向上させることができる。

（その他の実施形態）
次に図１０を参照して、各実施形態の各機能を実現するための情報処理装置１００のハードウェア構成を説明する。なお、以降の説明において情報処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における情報処理装置１００は、ＣＰＵ１０００と、ＲＡＭ１０１０と、ＲＯＭ１０２０、ＨＤＤ１０３０と、Ｉ／Ｆ１０４０と、を有している。ＣＰＵ１０００は情報処理装置１００を統括制御する中央処理装置である。ＲＡＭ１０１０は、ＣＰＵ１０００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１０１０は、ＣＰＵ８００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１０１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ１０２０は、ＣＰＵ１０００が情報処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ１０３０は、画像データ等を記録する記憶装置であるＩ／Ｆ１０４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ１０００が処理を実行する例について説明するが、ＣＰＵ１０００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１０２０からプログラムコードを読み出してＲＡＭ１０１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報処理装置１００の各部は、図１０に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る情報処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 情報処理装置
１１０ 撮像装置
１２０ 記録装置
１３０ ディスプレイ
２００ 通信部
２０１ 出力制御部
２０２ 操作受付部
２０３ 設定部
２０４ 推定部
２０５ 記録部
２０６ 算出部
２０７ 更新部

Claims (10)

1. 撮像手段により撮像された画像に対し、特定物体の数を推定する推定処理の対象である複数の部分領域を設定する設定手段と、
   複数の異なるサイズについて、当該サイズと、当該サイズの部分領域に対する処理時間とを関連付けた処理時間情報に基づき、前記画像において前記設定手段により設定された前記複数の部分領域に対する前記推定処理の処理時間である全体処理時間を算出する算出手段とを有することを特徴とする情報処理装置。
2. 前記算出手段は、前記画像に対する前記全体処理時間と、前記推定処理の対象である複数の画像を構成するフレームの数とに基づき、前記推定処理の対象である前記複数の画像に対する処理時間である総フレーム処理時間を算出することを特徴とする請求項１に記載の情報処理装置。
3. 前記算出手段は、前記画像に対し設定された部分領域の異なるサイズ各々について前記処理時間情報に基づき取得した当該サイズに対応する処理時間と、前記画像上に設定された部分領域の異なるサイズ各々の数とに基づき、前記画像に対する前記全体処理時間を算出することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記画像に対し設定された複数の部分領域に対し前記推定処理を実行する推定手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記画像に対し設定せれた複数の部分領域に対し実行された前記推定処理の処理時間に基づき、前記処理時間情報を更新する更新手段を更に有することを特徴とする請求項４に記載の情報処理装置。
6. 前記処理時間情報を保持する保持手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記算出手段により算出された前記画像に対する前記処理時間を示す情報を出力する出力手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記出力手段は、前記撮像手段により撮像された前記推定処理が実行される第１の画像と第２の画像とが取得される時間間隔と、前記第１の画像または前記第２の画像のいずれかに対する前記全体処理時間とを比較した結果を示す情報を表示手段に表示させる請求項７に記載の情報処理装置。
9. 撮像手段により撮像された画像に対し、特定物体の数を推定する推定処理の対象である複数の部分領域を設定する設定工程と、
   複数の異なるサイズについて、当該サイズと、当該サイズの部分領域に対する処理時間とを関連付けた処理時間情報に基づき、前記画像において前記設定工程において設定された前記複数の部分領域に対する前記推定処理の処理時間である全体処理時間を算出する算出工程とを有することを特徴とする情報処理方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images