JP2023042400A - データ収集装置、データ収集方法及びデータ収集プログラム - Google Patents

Abstract

【課題】検出された物体の数が多くてもプロセッサの処理負荷を低く抑えるデータ収集装置を提供する。【解決手段】データ収集装置は、撮影装置から受信した連続する画像群を表す画像データに基づいて、所定の処理に用いられるデータを収集する。データ収集装置は、撮影装置からの画像データの送信を制御する送信制御部２３９と、撮影装置から受信した画像データによって表される画像群のそれぞれの画像に含まれる物体を検出する物体検出部２３１と、検出された物体をトラッキングする物体追跡部２３２と、トラッキングされた物体に関する物体画像データを記憶装置に記憶させるデータ記憶部２３３と、画像に含まれる物体の数を算出する数算出部２３８と、を有する。送信制御部は、数算出部によって算出された物体の数が相対的に多い場合には、データ記憶部によって記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、送信を制御する。【選択図】図３

Description

本開示は、データ収集装置、データ収集方法及びデータ収集プログラム関する。

スマートシティにおいて、そのコミュニティ内の複数の主体からデータを収集することが提案されている。特に、特許文献１では、異なる事業主体の情報システムから得られるデータには不確かさがあることから、斯かる不確かさを解消すべく、得られたデータを補正した上でデータを収集することが提案されている。

特開２０１３－０６９０８４号公報

ところで、スマートシティなどでは、スマートシティなどに設けられた複数のカメラなどから取得された画像データに基づいて、様々な処理を行うことが考えられる。このような処理を行うにあたっては、複数のカメラから画像データを受信すると共に、受信した画像データを上記処理に使用し易いように加工し、加工されたデータを上記処理のために収集することが必要になる。

具体的には、例えば、連続した画像群を表す画像データのそれぞれにおいて物体を検出し、検出された物体を連続した画像間でトラッキングし、このようにしてトラッキングされた各物体に関する連続的な画像データを収集することが考えられる。そして、このようにして収集された各物体に関する連続的な画像データを機械学習モデルに入力し、各物体についての評価を機械学習モデルから出力させることが考えられる。

ここで、検出された物体の連続した画像間でのトラッキングは、検出された物体毎に行われる。したがって、各画像データにおいて検出された物体の数が多すぎると、プロセッサにおけるトラッキングに必要な処理負荷が大きくなる。

上記課題に鑑みて、本開示の目的は、画像データにおいて検出された物体の数が多いときであってもプロセッサの処理負荷を低く抑えることにある。

本開示の要旨は以下のとおりである。

（１）撮影装置から受信した連続する画像群を表す画像データに基づいて、所定の処理に用いられるデータを収集するデータ収集装置であって、
前記撮影装置から当該データ収集装置への画像データの送信を制御する送信制御部と、
前記撮影装置から受信した前記画像データによって表される画像群のそれぞれの画像に含まれる物体を検出する物体検出部と、
検出された物体を連続する画像間でトラッキングする物体追跡部と、
前記物体追跡部によってトラッキングされた各物体に関する物体画像データを前記処理に用いられるデータとして記憶装置に記憶させるデータ記憶部と、
前記撮影装置から受信した画像データによって表される画像に含まれる物体の数を算出する数算出部と、を有し、
前記送信制御部又は前記物体検出部は、前記数算出部によって算出された物体の数が相対的に多い場合には、前記数算出部によって算出された物体の数が相対的に少ない場合に比べて、前記データ記憶部によって記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、前記送信を制御するか又は前記物体を検出する、データ収集装置。
（２）前記送信制御部は、前記数算出部によって算出された物体の数が相対的に多い場合には、前記数算出部によって算出された物体の数が相対的に少ない場合に比べて、前記撮影装置から当該データ収集装置への前記画像の送信頻度を低くさせる、上記（１）に記載のデータ収集装置。
（３）前記物体検出部は、前記数算出部によって算出された物体の数が相対的に多い場合には、前記数算出部によって算出された物体の数が相対的に少ない場合に比べて、前記物体の検出頻度を低くする、上記（１）又は（２）に記載のデータ収集装置。
（４）前記送信制御部又は前記物体検出部は、前記数算出部によって算出された物体の数が多いほど前記データ記憶部によって記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、前記送信を制御するか又は前記物体を検出する、上記（１）～（３）のいずれか１つに記載のデータ収集装置。
（５）前記数算出部は、前記物体検出部によって検出された物体の数を算出する、上記（１）～（４）のいずれか１つに記載のデータ収集装置。
（６）前記所定の処理は、画像データを入力すると該画像データに関連する出力パラメータの値を出力する機械学習モデルに、前記記憶装置に記憶された各物体に関する物体画像データを入力して前記出力パラメータの値を出力する処理である、上記（１）～（５）のいずれか１つに記載のデータ収集装置。
（７）撮影装置から受信した連続する画像群を表す画像データに基づいて、所定の処理に用いられるデータを収集するデータ収集方法であって、
前記撮影装置からの画像データの送信を制御することと、
前記撮影装置から受信した前記画像データによって表される画像群のそれぞれの画像に含まれる物体を検出することと、
検出された物体を連続する画像間でトラッキングすることと、
前記トラッキングされた各物体に関する物体画像データを前記処理に用いられるデータとして記憶装置に記憶させることと、
前記撮影装置から受信した画像データによって表される画像に含まれる物体の数を算出することと、を有し、
前記画像データの送信の制御又は前記物体の検出は、前記算出された物体の数が相対的に多い場合には、前記算出された物体の数が相対的に少ない場合に比べて、前記記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、行われる、データ収集方法。
（８）撮影装置から受信した連続する画像群を表す画像データに基づいて、所定の処理に用いられるデータを収集するデータ収集プログラムであって、
前記撮影装置からの画像データの送信を制御することと、
前記撮影装置から受信した前記画像データによって表される画像群のそれぞれの画像に含まれる物体を検出することと、
検出された物体を連続する画像間でトラッキングすることと、
前記トラッキングされた各物体に関する物体画像データを前記処理に用いられるデータとして記憶装置に記憶させることと、
前記撮影装置から受信した画像データによって表される画像に含まれる物体の数を算出することと、をコンピュータに実行させ、
前記画像データの送信の制御又は前記物体の検出は、前記算出された物体の数が相対的に多い場合には、前記算出された物体の数が相対的に少ない場合に比べて、前記記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、行われる、データ収集プログラム。

本開示によれば、画像データにおいて検出された物体の数が多いときであってもプロセッサの処理負荷を低く抑えることができる。

図１は、一つの実施形態に係る機械学習システムの概略的な構成図である。 図２は、サーバのハードウェア構成を概略的に示す図である。 図３は、サーバのプロセッサの機能ブロック図である。 図４は、サーバのプロセッサにおいて行われる、機械学習モデルを用いた不審者の通知処理の流れを示すフローチャートである。 図５は、サーバのプロセッサにおいて行われる機械学習モデルの学習処理の流れを示すフローチャートである。 図６は、サーバのプロセッサにおいて行われる画像データの収集処理の流れを示すフローチャートである。 図７は、人物の数と画像データの目標送信頻度との関係を示す図である。 図８は、第二実施形態に係るサーバのプロセッサの機能ブロック図である。 図９は、第二実施形態に係るサーバのプロセッサにおいて行われる画像データの収集処理の流れを示すフローチャートである。 図１０は、人物の数と目標検出頻度との関係を示す図である。

以下、図面を参照して実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

・第一実施形態
＜機械学習システムの構成＞
図１～７を参照して、第一実施形態に係る機械学習システム１の構成について説明する。図１は、一つの実施形態に係る機械学習システム１の概略的な構成図である。機械学習システム１は、サーバにおいて用いられる機械学習モデルを学習させる。また、機械学習システムは、機械学習モデルの学習に必要なデータを複数の撮影装置から収集するデータ収集システムとしても機能する。

図１に示したように、機械学習システム１は、複数の撮影装置１０と、撮影装置１０と通信可能なサーバ２０とを有する。複数の撮影装置１０のそれぞれとサーバ２０とは、通信ネットワーク４及び必要に応じて無線基地局５を介して相互に通信可能に構成される。通信ネットワーク４は、例えば、光通信回線などで構成され、インターネット網やキャリア網などを含む。無線基地局５は、通信ネットワーク４にゲートウェイ（図示せず）を介して接続される。撮影装置１０と無線基地局５との通信としては、通信距離が長い種々の広域無線通信を用いることができ、例えば、３ＧＰＰ、ＩＥＥＥによって策定された４Ｇ、ＬＴＥ、５Ｇ、ＷｉＭＡＸ等の任意の通信規格に準拠した通信が用いられる。

特に、本実施形態では、サーバ２０は、所定の対象エリア内に位置する撮影装置１０と通信する。対象エリアは、予め定められた境界によって囲まれた範囲であり、例えば、「ＩＣＴ等の新技術を活用しつつ、マネジメント(計画、整備、管理・運営等）の高度化により、都市や地域の抱える諸課題の解決を行い、また新たな価値を創出し続ける、持続可能な都市や地域」として定義されるスマートシティである。

各撮影装置１０は、所定の対象エリア内の所定の位置に設置され、撮影装置１０の周囲を撮影して連続した画像群を表す画像データを生成する。撮影装置１０は、例えば、対象エリア内に配置された監視カメラである。なお、撮影装置１０は、対象エリア内の任意の領域を撮影することができれば、如何なるカメラであってもよい。したがって、撮影装置１０は、対象エリア内に位置する車両に配置されたカメラであってもよいし、対象エリア内に位置するカメラ付きの端末機器（例えば、メガネ型端末など、個人に保持される端末）であってもよい。

撮影装置１０は、通信ネットワーク４に直接接続される通信モジュールを備え、撮影装置１０によって生成された画像データは、通信ネットワークを介して撮影装置１０からサーバ２０に送信される。或いは、撮影装置１０は、無線基地局５と通信可能な通信モジュールを備えていてもよい。この場合、撮影装置１０によって生成された画像データは無線基地局５及び通信ネットワーク４を介して撮影装置１０からサーバ２０に送信される。

サーバ２０は、通信ネットワーク４を介して、複数の撮影装置１０と接続される。サーバ２０は、複数の撮影装置１０によって生成された画像データに基づいて、後述する機械学習モデルを用いた処理を行う。加えて、サーバ２０は、サーバ２０において用いられる機械学習モデルを学習させる学習装置としても機能する。また、サーバ２０は、複数の撮影装置１０から受信した連続する画像データに基づいて、機械学習モデルの使用及び学習に用いられるデータを収集するデータ収集装置としても機能する。

図２は、サーバ２０のハードウェア構成を概略的に示す図である。サーバ２０は、図２に示したように、通信モジュール２１と、ストレージ装置２２と、プロセッサ２３とを備える。また、サーバ２０は、キーボード及びマウスといった入力装置、及び、ディスプレイ及びスピーカといった出力装置を有していてもよい。

通信モジュール２１は、サーバ２０外の機器と通信を行う通信装置の一例である。通信モジュール２１は、サーバ２０を通信ネットワーク４に接続するためのインターフェース回路を備える。通信モジュール２１は、通信ネットワーク４及び無線基地局５を介して、複数の撮影装置１０それぞれと通信可能に構成される。

ストレージ装置２２は、データを記憶する記憶装置の一例である。ストレージ装置２２は、例えば、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）又は光記録媒体を有する。また、ストレージ装置２２は、揮発性の半導体メモリ（例えば、ＲＡＭ）、不揮発性の半導体メモリ（例えば、ＲＯＭ）等を有していてもよい。ストレージ装置２２は、プロセッサ２３によって各種処理を実行するためのコンピュータプログラム、及びプロセッサ２３によって各種処理が実行されるときに使用される各種データを記憶する。特に、ストレージ装置２２は、撮影装置１０から受信した画像データ、及び機械学習モデルによる処理及び機械学習モデルの学習に使用されるデータを記憶する。

プロセッサ２３は、一つ又は複数のＣＰＵ及びその周辺回路を有する。プロセッサ２３は、更にＧＰＵ、又は論理演算ユニット若しくは数値演算ユニットのような演算回路を有していてもよい。プロセッサ２３は、ストレージ装置２２に記憶されたコンピュータプログラムに基づいて、各種処理を実行する。サーバ２０のプロセッサ２３によって実行される具体的な処理については後述する。

＜機械学習モデル＞
本実施形態では、サーバ２０において、任意の処理を行うときに、機械学習された機械学習モデルが用いられる。機械学習モデルは、様々な機械学習アルゴリズムに基づいたモデルである。本実施形態では、機械学習モデルは、例えば、ニューラルネットワーク（ＮＮ）、サポートベクトルマシン（ＳＶＭ）、決定木（ＤＴ）といった、教師あり学習によって学習されるモデルである。

また、本実施形態では、機械学習モデルには、連続した画像群を表す画像データによって表される画像に含まれる同一の物体（特に、人物）に関する連続した画像群を表す画像データが入力パラメータとして入力される。そして、機械学習モデルは、このようにして連続した画像群を表す画像データが入力された物体に関する特性を出力パラメータとして出力する。具体的には、機械学習モデルは、同一の人物に関する連続した画像群を表す画像データを入力すると、その人物に関する不審度（その人物が将来犯罪等の異常な行動を行う可能性の度合い）を算出するモデルである。

なお、機械学習モデルは、同一の人物に関する連続した画像群を表す画像データを入力すると、その人物に関する特性を出力するモデルであれば、如何なるモデルであってもよい。したがって、例えば、機械学習モデルは、同一の人物に関する連続した画像群を表す画像データを入力すると、その人物に関する体調不良度合い（その人物の体調が不良である度合い）を算出するモデルであってもよい。

具体的には、本実施形態では、機械学習モデルとして、例えば、リカレントニューラルネットワーク（ＲＮＮ）モデルが用いられる。特に、本実施形態では、機械学習モデルとして、ＲＮＮモデルのうち、ＬＳＴＭ（Long Short-Term Memory）ネットワークが用いられる。ＲＮＮモデルは、同一の人物についての時系列の連続した画像データが入力されると、その人物に関する不審度を出力する。

斯かる機械学習モデルは、入力パラメータとして使用されるデータと、このデータに対応する出力パラメータの値（正解値又は正解ラベル）とを含む学習用データセットを用いて学習される。本実施形態では、学習用データセットは、同一の人物に関する連続した画像群を表す画像データと、その画像データに対応する正解値（例えば、実際に犯罪等の異常な行動を行った場合には１、斯かる行動を行っていない場合には０）とを含む。

ＲＮＮモデルの機械学習にあたっては、例えば、ＲＮＮモデルの出力値と学習用データセットに含まれる出力パラメータの正解値との差が小さくなるように、公知の誤差逆伝搬法によって、ＲＮＮモデルにおける学習パラメータ（例えば、重み及びバイアス）が繰り返し更新される。この結果、ＲＮＮモデルが学習され、学習済みのＲＮＮモデルが生成される。なお、機械学習モデルにおける機械学習は、公知の任意の手法を用いることができる。また、本明細書では、学習パラメータは、学習によって値が繰り返し更新されるパラメータを意味する。

＜機械学習モデルの使用＞
次に、図３及び図４を参照して、サーバ２０における機械学習モデルを使用した処理について説明する。本実施形態では、サーバ２０は、撮影装置１０によって作成された画像データに基づいて、画像データに表される画像中の人物の不審度を算出する。加えて、サーバ２０は、不審度が一定の基準値以上になったときにはサーバを利用するユーザに不審度が高い人物を通知する。

図３は、サーバ２０のプロセッサ２３の機能ブロック図である。図３に示したように、プロセッサ２３は、物体検出部２３１と、物体追跡部２３２と、データ記憶部２３３と、算出部２３４と、通知部２３５と、データセット作成部２３６と、モデル学習部２３７と、数算出部２３８と、送信制御部２３９と、を有する。サーバ２０のプロセッサ２３が有するこれら機能ブロックは、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。或いは、プロセッサ２３が有するこれら機能ブロックは、プロセッサ２３に設けられる専用の演算回路であってもよい。特に、不審度を算出してユーザに不審人物を通知するにあたっては、物体検出部２３１と、物体追跡部２３２と、データ記憶部２３３と、算出部２３４と、通知部２３５と、が用いられる。

物体検出部２３１は、撮影装置１０から受信した画像データによって表される画像群のそれぞれの画像に含まれる物体を検出する。特に、本実施形態では、物体検出部２３１は、撮影装置１０から受信した画像データによって表される画像群のそれぞれの画像に含まれる人物を検出する。

画像データによって表される画像群の各画像に含まれる人物の検出は、公知の任意の物体認識手法によって行われる。例えば、物体検出部２３１は、一つの画像を表す画像データを入力するとその画像データによって表される画像に含まれる人物及びその人物の画像中の座標を出力する物体検出モデル（例えば、ＮＮモデル）を用いて人物の検出を行う。この場合、物体検出部２３１は、撮影装置１０から受信した連続した画像群を表す画像データから各画像を表す画像データを抜き出す。そして、物体検出部２３１は、各画像を表す画像データをＮＮモデルに入力して、その画像に含まれる人物を検出する。斯かる人物を検出するＮＮモデルとしては、例えば、faster-RCNN、ＹＯＬＯ、ＳＳＤといったコンボリューショナルニューラルネットワーク（ＣＮＮ）モデル等、公知の任意の物体検出アルゴリズムを用いたモデルが使用される。

物体追跡部２３２は、検出された物体（特に、人物）を連続する画像間でトラッキングする。すなわち、物体追跡部２３２は、撮影装置１０から受信した画像データに含まれる各画像において検出された人物と、その直前の画像において検出された人物とを関連付ける。物体追跡部２３２は、連続する二つの画像のうち一つ目の画像において複数の人物が検出された場合には、それぞれの人物について直前の二つ目の画像において検出された対応する人物との関連続けを行う。物体追跡部２３２は、連続する二つの画像のうち一つ目の画像において検出された人物に対応する人物が、その直前の二つ目の画像において検出されていない場合には、その人物が一つ目の画像において初めて出現したものとして取り扱う。同様に、物体追跡部２３２は、連続する二つの画像のうち一つ目の画像において検出された人物に対応する人物が、その直後の二つ目の画像において検出されていない場合には、その人物が一つ目の画像を最後に画像内から消えたものとして取り扱う。

物体追跡部２３２におけるトラッキングは、公知の任意のトラッキング手法によって行われる。具体的には、トラッキング手法としては、例えば、Lucas-Kanade法やHorn-Schunk法といったオプティカルフローを用いた手法等が用いられる。

データ記憶部２３３は、物体追跡部２３２によってトラッキングされた各物体（特に、各物体）に関する物体画像データを、ストレージ装置２２に記憶させる。具体的には、本実施形態では、データ記憶部２３３は、物体追跡部２３２によってトラッキングされた各人物について、その人物が検出された各画像からその人物の画像を抜き出す。そして、データ記憶部２３３は、このようにして抜き出した各人物についての複数の連続した画像を物体画像データとしてストレージ装置２２に記憶させる。したがって、物体追跡部２３２により複数の人物がトラッキングされた場合には、トラッキングされた人物の数に等しい数の物体画像データをストレージ装置２２に記憶させる。このようにしてストレージ装置２２に記憶された各人物に関する物体画像データは、機械学習モデルを用いて不審度を算出するのに用いられる他、機械学習モデルを学習させるのにも用いられる。

算出部２３４は、ストレージ装置２２に記憶されている各人物に関する物体画像データに基づいて、機械学習モデルを用いて、その物体（特に、人物）の不審度を算出する。機械学習モデルは、例えば、各人物に関する連続した画像群を表す物体画像データを入力パラメータとして入力すると、その人物の不審度を出力パラメータとして出力するＲＮＮモデルである。したがって、算出部２３４は、各人物に関する物体画像データを入力パラメータとして機械学習モデルに入力し、機械学習モデルから出力された出力パラメータである不審度を出力する。

通知部２３５は、算出部２３４によって算出された不審度が予め設定された所定の閾値以上である人物がある場合には、ユーザ又は他の処理装置（図示せず）に対して不審な人物がいる旨の通知を行う。このとき、通知部２３５は、不審な人物の画像及び不審な人物の現在の位置など、不審な人物に関する他の情報を併せて通知してもよい。ユーザへの通知は、例えば、サーバ２０に設けられたディスプレイ又はスピーカなどの出力装置によって行われる。他の処理装置は、例えば、警察などの行政機関や警備会社などにおいて、不審者情報等を収集する装置を含む。他の処理装置は、例えば、通信ネットワーク４を介してサーバ２０に接続される。したがって、他の処理装置への通知は、通信ネットワーク４を介して行われる。

なお、本実施形態では、算出部２３４は、各人物に関する物体画像データに基づいて機械学習モデルを用いてその人物の不審度を算出している。しかしながら、算出部２３４は、機械学習モデルを用いてその人物についての別のパラメータの値を算出してもよい。この場合、通知部２３５は、算出部２３４によって算出されたパラメータの値に基づいて、ユーザ又は他の処理装置への通知を行う。

具体的には、例えば、算出部２３４は、各人物に関する連続した画像群を表す物体画像データに基づいて、機械学習モデルを用いて、その人物に関する体調不良度合いを算出してもよい。この場合、通知部２３５は、体調不良度合いが予め設定された所定の閾値以上である人物がいる場合には、ユーザ又は他の処理装置に対して体調不良である人物がいる旨の通知を行う。加えて、通知部２３５は、体調不良の人物の画像及びその人物の現在位置など、体調不良の人物に関する他の情報を併せて通知してもよい。

いずれにせよ、機械学習モデルは、機械学習モデルは、各人物（又は各物体）に関する物体画像データを入力パラメータとして入力すると、その物体画像データに関連する出力パラメータの値を出力するモデルであれば、如何なるモデルであってもよい。そして、算出部２３４は、斯かる機械学習モデルに各人物に関する物体画像データを入力し、機械学習モデルから出力された出力パラメータの値を出力する。

図４は、サーバ２０のプロセッサ２３において行われる、機械学習モデルを用いた不審者の通知処理の流れを示すフローチャートである。

図４に示したように、サーバ２０のプロセッサ２３は、通信ネットワーク４を介して撮影装置１０から受信した連続的な画像群を表す画像データを取得する（ステップＳ１１）。具体的には、撮影装置１０は、撮影装置１０の周囲を撮影した画像を表す画像データを生成する毎に、生成した画像データをサーバ２０に送信する。したがって、撮影装置１０は、撮影装置１０の周囲を撮影した画像を表す画像データを連続的に送信する。プロセッサ２３は、斯かる画像データを受信すると、受信した画像データをサーバ２０のストレージ装置２２に記憶させる。したがって、ストレージ装置２２には、撮影装置１０から受信した連続的な画像群を表す画像データが記憶される。そして、プロセッサ２３の物体検出部２３１は、ストレージ装置２２から、ストレージ装置２２に記憶されていた画像データ（撮影装置１０から受信した連続的な画像群を表す画像データ）を取得する。

物体検出部２３１は、画像データを取得すると、取得した各画像データによって表される画像群のそれぞれの画像に含まれる人物を検出する（ステップＳ１２）。具体的には、物体検出部２３１は、ステップＳ１１において取得された画像データのうちのそれぞれの画像を表すデータを物体検出モデルに入力する。この結果、物体検出モデルから、各画像に含まれる人物及びその人物の画像中の座標が出力される。

物体検出部２３１によって人物が検出されると、物体追跡部２３２は、ステップＳ１２において物体検出部２３１によって検出された各人物を、連続する画像間でトラッキングする（ステップＳ１３）。物体追跡部２３２は、トラッキングの結果、異なる画像における同一の人物について、同一のラベルを付ける。

物体追跡部２３２によるトラッキングが行われると、データ記憶部２３３は、トラッキングされた各人物に関する物体画像データを、ストレージ装置２２に記憶させる（ステップＳ１４）。具体的には、データ記憶部２３３は、物体追跡部２３２によって同一のラベルが付された人物の画像を切り出し、その人物に関する連続的な画像群を表す物体画像データを生成し、生成した物体画像データをストレージ装置２２に記憶させる。切り出された人物の画像の大きさは、撮影装置１０から人物までの距離などに応じて異なる。このため人物の各画像の画像サイズは画像間又は人物間で異なっている。データ記憶部２３３は、このように画像毎及び人物毎に異なる人物の画像の画像サイズが同一になるように、人物の各画像をリサイズしてもよい。したがって、この場合、全ての人物に関する物体画像データに含まれる全ての画像は同一の画像サイズを有する。

データ記憶部２３３によって人物に関する物体画像データがストレージ装置２２に記憶されると、算出部２３４は、記憶された物体画像データに基づいて、その人物の不審度を算出する（ステップＳ１５）。具体的には、算出部２３４は、不審度を算出するＲＮＮモデルに、各人物に関する物体画像データ（各人物の連続的な画像群を表す画像データ）を入力する。特に、算出部２３４は、物体画像データに含まれる各人物に関する画像群のデータを時系列に沿って順次ＲＮＮモデルに入力する。その結果、ＲＮＮモデルから、その人物についての不審度が出力される。算出部２３４は、ストレージ装置２２に記憶されている全ての人物について、同様な操作を繰り返し実行する。

そして、通知部２３５は、ステップＳ１５において算出された不審度が所定の閾値以上となる人物がいた場合には、ユーザへ又は他の処理装置へ、不審人物がいる旨、不審人物の画像及び不審人物の現在位置などを通知する（ステップＳ１６）。不審人物の現在位置は、例えば、最後にその人物が検出された撮影装置１０の位置及びその撮影装置１０によって作成された画像内におけるその人物の位置などに基づいて特定される。

＜機械学習モデルの学習＞
次に、図３及び図５を参照して、サーバ２０における機械学習モデルの学習処理について説明する。本実施形態では、サーバ２０は、撮影装置１０によって作成された画像データに基づいて、不審度を算出する機械学習モデルの学習を行う。機械学習モデルの学習にあたっては、物体検出部２３１、物体追跡部２３２及びデータ記憶部２３３に加えて、データセット作成部２３６及びモデル学習部２３７が用いられる（図３を参照）。

データセット作成部２３６は、機械学習モデルを学習させるのに用いられる学習用データセットを作成する。上述したように、学習用データセットは、同一の人物に関する連続した画像群を表す画像データと、その画像データに対応する正解値とを含む。

各人物に関する連続した画像群を表す画像データは、データ記憶部２３３によってストレージ装置２２に物体画像データとして記憶されている。したがって、データセット作成部２３６は、ストレージ装置２２から物体画像データを取得する。

また、データセット作成部２３６は、例えば、警察などの行政機関や警備会社などに設置された端末機器から、犯罪等の異常な行動を行った人物の情報を取得する。或いは、データセット作成部２３６は、対象エリア内に位置する移動型の端末機器（例えば、携帯端末）などから、異常な行動を行った人物の情報を取得する。異常な行動を行った人物の情報は、例えば、異常な行動を行った人物の画像並びに異常な行動を行った時間及び位置の情報などを含む。そして、データセット作成部２３６は、端末機器から取得した異常な行動を行った人物の情報と、ストレージ装置２２に記憶されている多くの人物の物体画像データとに基づいて、異常な行動を取った人物の物体画像データを特定する。物体画像データの特定は、例えば、物体画像データに含まれる各画像の撮影場所及び撮影時刻と異常な行動を行った場所及び時刻とを対比し、且つ物体画像データに含まれる人物の画像と異常な行動を行った人物の画像とを対比することによって行われる。このようにして異常な行動を取った人物に関する物体画像データが特定されると、その物体画像データに対応する不審度の正解値を１としてデータセットが作成される。一方、一定時間を経過しても異常な行動を行った情報が端末機器から取得されなかった人物については、その人物の物体画像データに対応する不審度の正解値を０としてデータセットが作成される。

モデル学習部２３７は、データセット作成部２３６によって作成されたデータセットに基づいて、機械学習モデルの学習を行う。具体的には、モデル学習部２３７は、上述したように、公知の誤差逆伝播法等を用いて、機械学習モデルに用いられる学習パラメータを更新する。

図５は、サーバ２０のプロセッサ２３において行われる機械学習モデルの学習処理の流れを示すフローチャートである。学習処理においても図４に示した処理と同様に、物体画像データがストレージ装置２２に記憶される。特に、本実施形態では、図４に示した通知処理を実行するときにストレージ装置２２に記憶された物体画像データを、図５に示した学習処理に用いることもできる。いずれにせよ、ステップＳ２１～Ｓ２４は、ステップＳ１１～Ｓ１４と同様であるため説明を省略する。

ステップＳ２４においてデータ記憶部２３３によって人物に関する物体画像データがストレージ装置２２に記憶された後に、データセット作成部２３６は学習用データセットを作成する（ステップＳ２５）。データセット作成部２３６は、行政機関等の端末機器及び対象エリア内に位置する移動端末機器等において異常な行動を行った人物の情報が入力されると、その人物についての物体画像データと正解値の１とを組み合わせてデータセットを作成する。また、一定時間が経過しても異常な行動を行った情報が端末機器から入力されなかった人物については、その人物についての物体画像データと正解値の０とを組み合わせてデータセットを作成する。

ステップＳ２５においてデータセット作成部２３６によってある程度の数のデータセットが作成されると、モデル学習部２３７は、作成されたデータセットを用いて、機械学習モデルを学習させる（ステップＳ２６）。そして、モデル学習部２３７は、学習済みの機械学習モデルの学習パラメータを用いて、図４のステップＳ１５において用いられる機械学習モデルの学習パラメータの値を更新する（ステップＳ２７）。機械学習モデルの学習パラメータの値が更新された後は、ステップＳ１５では更新後の学習パラメータを用いた機械学習モデルによって不審度が算出される。

＜データの収集＞
次に、図３及び図６を参照して、サーバ２０における画像データの収集処理について説明する。画像データの収集にあたっては、物体検出部２３１に加えて、数算出部２３８及び送信制御部２３９が用いられる（図３を参照）。

ところで、上述したように、機械学習モデルを用いて各人物の不審度を算出したり、その機械学習モデルを学習したりするためには、各人物についての物体画像データが必要になる。そして、物体画像データを作成するためには、上述したように、撮影装置１０から送信されてきた画像データによって表される画像に含まれる人物の検出や、検出された人物の画像間でのトラッキングが必要になる。

画像間でのトラッキングは、検出された人ブル毎に行われる。したがって、撮影装置１０から送信されてきた画像データに含まれる各画像内の人物の数が多くなるほど、トラッキングの回数が増え、よってサーバ２０のプロセッサ２３に加わる処理負荷が大きくなる。このようにプロセッサ２３に加わる処理負荷が大きくなり過ぎると、プロセッサ２３の動作速度の低下や電力消費量の増大を招く。

そこで、本実施形態では、撮影装置１０によって生成された画像データによって表される画像に含まれる人物の数が多いときには、撮影装置１０からの画像データの送信頻度を低下させるようにしている。

数算出部２３８は、撮影装置１０から受信した画像データによって表される画像に含まれる人物の数を算出する。本実施形態では、数算出部２３８は、物体検出部２３１によって検出された人物の数を算出する。具体的には、数算出部２３８は、或る時刻において、サーバ２０に画像データを送信する全ての撮影装置１０によって撮影された画像のそれぞれに含まれる人物の数をカウントする。そして、各画像について求められた人物の数を、全ての画像に亘って合計する。これにより、或る時刻において全ての撮影装置１０によって撮影された全ての画像に含まれる人物の数が算出される。

なお、数算出部２３８は、必ずしも全ての撮影装置１０から受信した画像データによって表される画像に含まれる人物の数を正確に算出する必要はない。例えば、一部の撮影装置１０から受信した画像データによって表される画像に含まれている全ての人物の数を算出（推定）してもよい。一部の画像に含まれる人物の数が多ければ、全体の画像に含まれる人物の数も多くなり、両者には一定の相関があるためである。また、数算出部２３８は、撮影装置１０によって生成された画像データに基づかずに、例えば対象エリア内に位置する携帯端末の数に基づいて、撮影装置１０から受信した画像データによって表される画像に含まれる人物の数を算出（推定）してもよい。対象エリア内に位置する携帯端末の数が多ければ全体の画像に含まれる人物の数も多くなり、両者には一定の相関があるためである。

送信制御部２３９は、撮影装置１０からサーバ２０への画像データの送信を制御する。送信制御部２３９は、例えば、各撮影装置１０からの画像データの送信頻度を制御する。換言すると、送信制御部２３９、撮影装置１０が撮影した画像のうちサーバ２０へ送信する画像の割合を制御する。したがって、画像データの送信頻度が高く制御されているときには、撮影装置１０によって生成された全ての画像を含む画像データがサーバ２０へ送信される。一方、画像データの送信頻度が低く制御されているときには、撮影装置１０によって生成された画像のうち一部の画像を含む画像データがサーバ２０へ送信される。各撮影装置１０からの画像データの送信頻度を制御するために、送信制御部２３９は、例えば、各撮影装置１０へ、画像データの送信頻度に関する指令を送信する。

なお、送信制御部２３９は、撮影装置１０からサーバ２０への画像データの送信速度を制御してもよい。この場合、送信制御部２３９は、例えば、各撮影装置１０へ、サーバ２０への画像データの上限送信速度に関する指令を送信する。何れにせよ、送信制御部２３９は、撮影装置１０からサーバ２０へ単位時間当たりに送信される画像データのデータ量を制御する。

図６は、サーバ２０のプロセッサ２３において行われる画像データの収集処理の流れを示すフローチャートである。収集処理においても図４に示した処理と同様に、画像データによって表される画像に含まれる人物の検出が行われる。特に、本実施形態では、図４に示した通知処理を実行するときに行われた物体検出の結果を、図６に示した収集処理に用いることができる。いずれにせよ、ステップＳ３１及びＳ３２は、ステップＳ１１及びＳ１２と同様であるため、説明を省略する。

ステップＳ３２において画像に含まれる人物が検出されると、数算出部２３８は、物体検出部２３１によって検出された人物の数を算出する（ステップＳ３３）。特に、数算出部２３８は、物体検出部２３１によって、或る時刻において全ての撮影装置１０によって作成された画像について物体検出が完了したときに、その時刻における人物の数を算出する。

ステップＳ３３において人物の数が算出されると、送信制御部２３９は、算出された人物の数に基づいて、各撮影装置１０からの画像データの目標送信頻度を設定する（ステップＳ３４）。図７は、ステップＳ３３において算出された人物の数と、各撮影装置１０からサーバ２０への画像データの目標送信頻度との関係を示す図である。図７に示したように、本実施形態では、送信制御部２３９は、画像に含まれる人物の数が多いほど画像データの目標送信頻度が低くなるように目標送信頻度を設定する。

目標送信頻度が低くなると、各撮影装置１０からサーバ２０への画像データの送信頻度が低下するため、単位時間当たりにサーバ２０が受信する画像データに含まれる画像の数が減少する。このようにサーバ２０が受信する画像データに含まれる画像の数が減少すると、物体検出部２３１において物体検出が行われる頻度が低下すると共に、物体追跡部２３２においてトラッキングが行われる頻度が低下する。そして、最終的には、データ記憶部によってストレージ装置２２に記憶されるデータの単位物体数当たりのデータ量が少なくなる。換言すると、本実施形態では、送信制御部２３９は、ステップＳ３３において算出された画像に含まれる人物の数が多いほど単位物体数当たりのデータ量が少なくなるように、各撮影装置１０からの画像データの送信を制御する。

ステップＳ３４において、各撮影装置１０からの画像データの目標送信頻度が設定されると、送信制御部２３９は、各撮影装置１０に目標送信頻度に関する指令を送信する（ステップＳ３５）。

＜効果及び変形例＞
本実施形態では、撮影装置１０から受信した画像データによって表される画像に含まれる人物の数が多いほど、撮影装置１０からサーバ２０への画像データの目標送信頻度が低くされる。この結果、画像に含まれる人物の数が多いほど、物体追跡部２３２により一つの人物について行われるトラッキングの頻度が低下する。したがって、トラッキングに必要な処理負荷を低く抑えることができ、よってプロセッサ２３の動作速度の低下や電力消費量の増大を抑制することができる。

なお、上記実施形態では、図７に示したように、画像に含まれる人物の数が多いほど撮影装置１０からサーバ２０への画像データの目標送信頻度が低くなるように、人物の数に応じて連続的に目標送信頻度が設定される。しかしながら、画像に含まれる人物の数が多いほど撮影装置１０からサーバ２０への画像データの目標送信頻度が低くなるように、人物の数に応じて段階的に目標送信頻度が設定されてもよい。したがって、例えば、画像に含まれる人物の数が所定数未満の場合には目標送信頻度が第１頻度に設定され、画像に含まれる人物の数が所定数以上の場合には目標送信頻度が第１頻度よりも少ない第２頻度に設定されてもよい。いずれにせよ、送信制御部２３９は、数算出部２３８によって算出された人物の数が相対的に多い場合には、数算出部２３８によって算出された人物の数が相対的に少ない場合に比べて、撮影装置１０からサーバ２０への画像の送信頻度を低くさせる。換言すると、本実施形態では、送信制御部２３９は、数算出部２３８によって算出された人物の数が相対的に多い場合には、数算出部２３８によって算出された人物の数が相対的に少ない場合に比べて、データ記憶部２３３によってストレージ装置２２に記憶されるデータの単位人物数当たりのデータ量が少なくなるように、各撮影装置１０からの画像データの送信を制御する。

・第二実施形態
次に、図８～図１０を参照して第２実施形態に係る機械学習システム１について説明する。以下では、第１実施形態に係る機械学習システム１とは異なる部分を中心に説明する。

上記第一実施形態では、撮影装置１０から受信した画像データによって表される画像に含まれる人物の数が多いほど、撮影装置１０からサーバ２０への画像データの目標送信頻度が低くされる。これに対して、本実施形態では、撮影装置１０から受信した画像データによって表される画像に含まれる人物の数が多いほど、物体検出部２３１において人物の検出頻度が低くされる。

図８は、第二実施形態に係るサーバ２０のプロセッサ２３の機能ブロック図である。図８に示したように、第二実施形態では、プロセッサ２３は、送信制御部２３９を有していない。したがって、本実施形態では、撮影装置１０は、撮影装置１０によって生成された全ての画像データをサーバ２０に送信する。

本実施形態では、物体検出部２３１は、上記第一実施形態と同様に、撮影装置１０から受信した画像データによって表される画像群のそれぞれの画像に含まれる人物を検出する。しかしながら、本実施形態では、物体検出部２３１は、任意の検出頻度にて人物の検出を行う。したがって、物体検出部２３１は、必ずしも撮影装置１０から受信した画像データに含まれる全ての画像ついて人物を検出するわけではない。目標検出頻度が高く設定されているときには、物体検出部２３１は、撮影装置１０から受信した画像データに含まれる全ての画像について人物を検出する。一方で、目標検出頻度が低く設定されているときには、物体検出部２３１は、撮影装置１０から受信した画像データに含まれる画像のうち一部についてのみ人物を検出する。

図９は、第二実施形態に係るサーバ２０のプロセッサ２３において行われる画像データの収集処理の流れを示すフローチャートである。図中のステップＳ４１及びＳ４３は、図６のステップＳ３１及びＳ３３と同様であるため、説明を省略する。

ステップＳ３１においてプロセッサ２３が画像データを取得すると、物体検出部２３１は、取得した画像データに含まれる画像内の人物を検出する（ステップＳ４２）。特に、本実施形態では、物体検出部２３１は、後述するステップＳ４４において以前に設定された目標検出頻度にて画像内の人物を検出する。

その後、ステップＳ４３において人物の数が算出されると、物体検出部２３１は、算出された人物の数に基づいて目標検出頻度を設定する（ステップＳ４４）。図１０は、ステップＳ４３において算出された人物の数と、物体検出部２３１における目標検出頻度との関係を示す図である。図１０に示したように、本実施形態では、物体検出部２３１は、画像に含まれる人物の数が多いほど人物の検出頻度が低くなるように目標検出頻度を設定する。

目標検出頻度が低下すると、物体検出部２３１において人物の検出が行われる画像の数が減少する。このため、物体追跡部２３２においてトラッキングが行われる頻度が低下し、データ記憶部によってストレージ装置２２に記憶されるデータの単位物体数当たりのデータ量が少なくなる。換言すると、本実施形態では、物体検出部２３１は、ステップＳ４３において算出された画像に含まれる人物の数が多いほど単位人物数当たりのデータ量が少なくなるように、人物を検出する。

本実施形態では、撮影装置１０から受信した画像データによって表される画像に含まれる人物の数が多いほど、物体検出部２３１における目標検出頻度が低くされる。この結果、画像に含まれる人物の数が多いほど、物体追跡部２３２により一つの人物について行われるトラッキングの頻度が低下する。したがって、トラッキングに必要な処理負荷を低く抑えることができ、よってプロセッサ２３の動作速度の低下や電力消費量の増大を抑制することができる。

なお、上記実施形態では、図１０に示したように、画像に含まれる人物の数が多いほど物体検出部２３１における目標検出頻度が低くなるように、人物の数に応じて連続的に目標検出頻度が設定される。しかしながら、画像に含まれる人物の数が多いほど物体検出部２３１における目標検出頻度が低くなるように、人物の数に応じて段階的に目標検出頻度が設定されてもよい。したがって、例えば、画像に含まれる人物の数が所定数未満の場合には目標検出頻度が第１頻度に設定され、画像に含まれる人物の数が所定数以上の場合には目標検出頻度が第１頻度よりも少ない第２頻度に設定されてもよい。いずれにせよ、物体検出部２３１は、数算出部２３８によって算出された人物の数が相対的に多い場合には、数算出部２３８によって算出された人物の数が相対的に少ない場合に比べて、物体検出部２３１における検出頻度を低くさせる。換言すると、本実施形態では、物体検出部２３１は、数算出部２３８によって算出された人物の数が相対的に多い場合には、数算出部２３８によって算出された人物の数が相対的に少ない場合に比べて、データ記憶部２３３によってストレージ装置２２に記憶されるデータの単位人物数当たりのデータ量が少なくなるように、人物を検出する。

また、本実施形態においても、プロセッサ２３は、送信制御部２３９を有していてもよい。この場合、数算出部２３８によって算出された人物の数が多いほどストレージ装置２２に記憶されるデータの単位人物数当たりのデータ量が少なくなるように、送信制御部２３９による送信の制御及び物体検出部２３１による人物の検出が行われる。

また、上記実施形態では、物体検出部２３１は人物を検出し、物体追跡部２３２は検出された人物のトラッキングを行う。しかしながら、物体検出部２３１は、人物以外の物体を検出してもよいし、物体追跡部２３２は人物以外の物体をトラッキングしてもよい。この場合、算出部２３４で用いられる機械学習モデルは、例えば、人物以外の物体に関する画像群を表す画像データが入力されると、その物体に関する不審度を算出するモデルである。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。

１ 機械学習システム
４ 通信ネットワーク
５ 無線基地局
１０ 撮影装置
２０ サーバ

Claims (8)

1. 撮影装置から受信した連続する画像群を表す画像データに基づいて、所定の処理に用いられるデータを収集するデータ収集装置であって、
   前記撮影装置から当該データ収集装置への画像データの送信を制御する送信制御部と、
   前記撮影装置から受信した前記画像データによって表される画像群のそれぞれの画像に含まれる物体を検出する物体検出部と、
   検出された物体を連続する画像間でトラッキングする物体追跡部と、
   前記物体追跡部によってトラッキングされた各物体に関する物体画像データを前記処理に用いられるデータとして記憶装置に記憶させるデータ記憶部と、
   前記撮影装置から受信した画像データによって表される画像に含まれる物体の数を算出する数算出部と、を有し、
   前記送信制御部又は前記物体検出部は、前記数算出部によって算出された物体の数が相対的に多い場合には、前記数算出部によって算出された物体の数が相対的に少ない場合に比べて、前記データ記憶部によって記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、前記送信を制御するか又は前記物体を検出する、データ収集装置。
2. 前記送信制御部は、前記数算出部によって算出された物体の数が相対的に多い場合には、前記数算出部によって算出された物体の数が相対的に少ない場合に比べて、前記撮影装置から当該データ収集装置への前記画像の送信頻度を低くさせる、請求項１に記載のデータ収集装置。
3. 前記物体検出部は、前記数算出部によって算出された物体の数が相対的に多い場合には、前記数算出部によって算出された物体の数が相対的に少ない場合に比べて、前記物体の検出頻度を低くする、請求項１又は２に記載のデータ収集装置。
4. 前記送信制御部又は前記物体検出部は、前記数算出部によって算出された物体の数が多いほど前記データ記憶部によって記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、前記送信を制御するか又は前記物体を検出する、請求項１～３のいずれか１項に記載のデータ収集装置。
5. 前記数算出部は、前記物体検出部によって検出された物体の数を算出する、請求項１～４のいずれか１項に記載のデータ収集装置。
6. 前記所定の処理は、画像データを入力すると該画像データに関連する出力パラメータの値を出力する機械学習モデルに、前記記憶装置に記憶された各物体に関する物体画像データを入力して前記出力パラメータの値を出力する処理である、請求項１～５のいずれか１項に記載のデータ収集装置。
7. 撮影装置から受信した連続する画像群を表す画像データに基づいて、所定の処理に用いられるデータを収集するデータ収集方法であって、
   前記撮影装置からの画像データの送信を制御することと、
   前記撮影装置から受信した前記画像データによって表される画像群のそれぞれの画像に含まれる物体を検出することと、
   検出された物体を連続する画像間でトラッキングすることと、
   前記トラッキングされた各物体に関する物体画像データを前記処理に用いられるデータとして記憶装置に記憶させることと、
   前記撮影装置から受信した画像データによって表される画像に含まれる物体の数を算出することと、を有し、
   前記画像データの送信の制御又は前記物体の検出は、前記算出された物体の数が相対的に多い場合には、前記算出された物体の数が相対的に少ない場合に比べて、前記記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、行われる、データ収集方法。
8. 撮影装置から受信した連続する画像群を表す画像データに基づいて、所定の処理に用いられるデータを収集するデータ収集プログラムであって、
   前記撮影装置からの画像データの送信を制御することと、
   前記撮影装置から受信した前記画像データによって表される画像群のそれぞれの画像に含まれる物体を検出することと、
   検出された物体を連続する画像間でトラッキングすることと、
   前記トラッキングされた各物体に関する物体画像データを前記処理に用いられるデータとして記憶装置に記憶させることと、
   前記撮影装置から受信した画像データによって表される画像に含まれる物体の数を算出することと、をコンピュータに実行させ、
   前記画像データの送信の制御又は前記物体の検出は、前記算出された物体の数が相対的に多い場合には、前記算出された物体の数が相対的に少ない場合に比べて、前記記憶装置に記憶されるデータの単位物体数当たりのデータ量が少なくなるように、行われる、データ収集プログラム。

Images