JP2019200496A - データ収集方法、データ収集プログラムおよび情報処理装置 - Google Patents

Abstract

【課題】学習に適したデータを効率よく収集すること。【解決手段】情報処理装置１０１は、管理者端末１０２から学習用画像検索指示を受け付ける。情報処理装置１０１は、受け付けた学習用画像検索指示に基づいて、指定された認識対象物を含む画像を特定する。情報処理装置１０１は、特定した画像が撮影された地点および時刻と、認識対象物の移動速度情報とに基づいて、地点に対応付けて、地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が指定された認識対象物と同一の画像を検索する。【選択図】図２

Description

本発明は、データ収集方法、データ収集プログラムおよび情報処理装置に関する。

広域に分散配備された画像認識アプリが、近くに設置されたカメラの画像を入力として画像認識処理を行い、認識結果と画像を近くのデータストアに記録し、記録した認識結果と画像をもとにクラウド上のモデル学習器が認識モデルを再学習するシステムがある。認識モデルの再学習には、認識に失敗した認識対象が写っている画像が利用される。

先行技術としては、同じ場所の画像情報が複数回画像認識されることにより記憶手段に記憶された、同じ場所に関する複数の認識情報に基づいて、繰り返し画像認識することが可能な認識対象を学習地物として抽出するものがある。また、撮影機器の移動経路と移動体の移動経路との間の類似度を求め、求めた類似度に基づいて、撮影機器により撮影された画像のうち指定された画像と移動体との関連度を決定し、関連度を示す情報を、指定された画像と関係付けて登録する技術がある。また、それぞれの顧客に各広告メールを送信した場合の予測レスポンス率を算出し、最もレスポンスが期待される広告メールを選択して、メールサーバからパーソナル・コンピュータに対して送信する技術がある。

特開２００８−２５０６８７号公報 特開２０１０−２６７０３０号公報 特開２００２−１２３７３９号公報

しかしながら、従来技術では、学習に適したデータを収集することが難しい。例えば、認識に失敗した認識対象が写っている画像を収集するにあたり、画像に何が写っているかの判断は目視により行われるため、各地に設置されたカメラの全ての画像を対象として確認するには時間や手間がかかる。

一つの側面では、本発明は、学習に適したデータを効率よく収集することを目的とする。

１つの実施態様では、画像認識モデルの学習に用いるデータを収集するデータ収集方法であって、指定された認識対象物を含む画像を特定し、特定した前記画像が撮影された地点および時刻と前記認識対象物の移動速度情報とに基づいて、地点に対応付けて、前記地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が前記認識対象物と同一の画像を検索する、データ収集方法が提供される。

本発明の一側面によれば、学習に適したデータを効率よく収集することができる。

図１は、実施の形態１にかかるデータ収集システム１００のシステム構成例を示す説明図である。 図２は、データ収集システム１００の動作例を示す説明図である。 図３は、検索条件の調整例を示す説明図である。 図４は、情報処理装置１０１のハードウェア構成例を示すブロック図である。 図５は、シンク位置管理ＤＢ１２０の記憶内容の一例を示す説明図である。 図６は、移動特性テーブル１３０の記憶内容の一例を示す説明図である。 図７は、画像ＤＢ２１０の記憶内容の一例を示す説明図である。 図８は、画像属性管理ＤＢ２２０の記憶内容の一例を示す説明図である。 図９は、情報処理装置１０１の機能的構成例を示すブロック図である。 図１０は、検索条件テーブル１０００の記憶内容の一例を示す説明図である。 図１１は、学習用画像位置リスト１１００の具体例を示す説明図である。 図１２は、シンク間の物理的な位置関係を示す説明図である。 図１３は、エッジ装置Ｅｉの画像認識結果登録処理手順の一例を示すフローチャートである。 図１４は、情報処理装置１０１のデータ収集処理手順の一例を示すフローチャートである。 図１５は、検索条件調整処理の具体的処理手順の一例を示すフローチャートである。 図１６は、画像検索処理の具体的処理手順の一例を示すフローチャートである。 図１７は、管理者端末１０２の学習用画像判定処理手順の一例を示すフローチャート（その１）である。 図１８は、管理者端末１０２の学習用画像判定処理手順の一例を示すフローチャート（その２）である。 図１９は、実施の形態２にかかるデータ収集システム１９００のシステム構成例を示す説明図である。 図２０は、インデックス位置テーブル１９１０の記憶内容の一例を示す説明図である。

以下に図面を参照して、本発明にかかるデータ収集方法、データ収集プログラムおよび情報処理装置の実施の形態を詳細に説明する。

（実施の形態１）
まず、実施の形態１にかかるデータ収集システム１００のシステム構成について説明する。ここでは、データ収集システム１００を、エッジコンピューティングによる分散処理システムに適用した場合を例に挙げて説明する。

図１は、実施の形態１にかかるデータ収集システム１００のシステム構成例を示す説明図である。図１において、データ収集システム１００は、情報処理装置１０１と、管理者端末１０２と、エッジ装置Ｅ１〜Ｅｎ（ｎ：１以上の自然数）と、を含む。データ収集システム１００において、情報処理装置１０１、管理者端末１０２およびエッジ装置Ｅ１〜Ｅｎは、有線または無線のネットワーク１１０を介して相互に通信可能に接続される。ネットワーク１１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。

ここで、情報処理装置１０１は、シンク位置管理ＤＢ（Ｄａｔａｂａｓｅ）１２０および移動特性テーブル１３０を有し、画像認識モデルの学習に用いるデータを収集するコンピュータである。例えば、情報処理装置１０１は、クラウドコンピューティングのサーバである。

画像認識は、画像処理の技術を用いて画像を認識することである。画像認識の一方式としては、画像内の対象物が何であるかを判定するクラス分類方式がある。画像認識モデルは、画像に写る対象物を認識するための情報である。画像認識モデルは、モデル学習器（例えば、後述の図２に示すモデル学習器ＭＬ）において様々な画像データをもとに学習することで作成される。

情報処理装置１０１により収集される画像認識モデルの学習に用いるデータは、例えば、学習に用いる画像データそのものであってもよく、また、学習に用いる画像データの格納場所などを示す情報であってもよい。なお、シンク位置管理ＤＢ１２０および移動特性テーブル１３０の記憶内容については、図５および図６を用いて後述する。

管理者端末１０２は、データ収集システム１００の管理者が使用するコンピュータである。例えば、管理者端末１０２は、ＰＣ（パーソナル・コンピュータ）やタブレット端末などである。

エッジ装置Ｅ１〜Ｅｎは、それぞれ異なる地点に設置され、各種処理を行うコンピュータである。エッジ装置Ｅ１〜Ｅｎは、エッジコンピューティングにおけるエッジサーバであり、情報処理装置１０１（クラウド）に比べて、ユーザに近い位置に配置される。例えば、エッジ装置Ｅｉは、サーバ、ＰＣ、アクセスポイント、スマートフォンなどである。

以下の説明では、エッジ装置Ｅ１〜Ｅｎのうちの任意のエッジ装置を「エッジ装置Ｅｉ」と表記する場合がある（ｉ＝１，２，…，ｎ）。

エッジ装置Ｅｉは、カメラＣｉにより撮影された画像の画像データを受け付ける。カメラＣｉは、静止画または動画を撮影する撮影装置である。カメラＣｉは、例えば、店舗、住宅、駅、工場、道路、歩道など様々な場所に設置される。エッジ装置ＥｉとカメラＣｉは、近距離無線通信または有線通信により直接接続されていてもよく、また、不図示のゲートウェイ装置を介して接続されていてもよい。エッジ装置Ｅｉには、２台以上のカメラＣｉが接続されていてもよい。

具体的には、例えば、エッジ装置Ｅｉは、カメラＣｉの画像データを受け付けると、画像認識アプリケーションにより当該画像データに対する画像認識処理を実行する。画像認識アプリケーション（以下、「画像アプリ」と称する）は、画像内の認識対象を判別するアプリケーションである。

（データ収集システム１００の動作例）
つぎに、データ収集システム１００の動作例について説明する。ここでは、広域分散データ管理方式を利用する場合を想定する。広域分散データ管理方式は、生データ（画像データ）を発生源付近のエッジ装置Ｅｉで管理した上で、データの検索に必要なメタ情報（属性／位置情報）をクラウドで管理する方式である。

図２は、データ収集システム１００の動作例を示す説明図である。図２において、クラウドＣＬは、クラウドコンピューティングを実現するサーバ群である。クラウドＣＬは、情報処理装置１０１と、モデル学習器ＭＬと、ディレクトリＤＲと、を含む。モデル学習器ＭＬは、画像認識モデルの学習を行うソフトウェアである。

ディレクトリＤＲは、画像属性管理ＤＢ２２０を有し、画像データのメタ情報（属性／位置情報）を管理する機能部である。画像属性管理ＤＢ２２０の記憶内容については、図８を用いて後述する。モデル学習器ＭＬおよびディレクトリＤＲは、情報処理装置１０１により実現されてもよく、また、情報処理装置１０１に接続された他のコンピュータにより実現されてもよい。

エッジ装置Ｅｉは、シンクＳｉと、画像認識アプリＡｉとを含む。シンクＳｉは、画像ＤＢ２１０を有し、カメラＣｉにより撮影された画像の画像データを管理する機能部である。画像ＤＢ２１０の記憶内容については、図７を用いて後述する。画像認識アプリＡｉは、画像認識モデルを用いて、画像内の認識対象を判別する。なお、エッジ装置Ｅｉには、複数のシンクＳｉが含まれていてもよい。

データ収集システム１００では、認識に失敗した画像について画像認識モデルの再学習を行うために、認識に失敗した認識対象物が写っている画像の情報を収集する。例えば、生データ（画像データ）には「猫」が写っているものの、画像認識アプリＡｉで「犬」と判定してしまった場合、「猫」が写っている画像データを収集し、それらを入力として画像認識モデルの再学習を行う。

一方で、実際に画像にどのようなものが写っているかは目視により確認することになる。ところが、認識に失敗した認識対象物が写っている画像の情報を収集するにあたり、データ収集システム１００の管理者が、各シンクＳｉに保存されている全ての画像を一つ一つ目視により確認するとなると、多くの時間や手間がかかる。

したがって、何かを基準にして画像を間引くことで、管理者が目視により確認する画像の数を減らすことが望まれる。例えば、認識結果の確度を用いて画像を間引くことが考えられる。確度は、認識結果の確からしさを示す度合いである。より具体的には、例えば、認識に失敗した認識対象物が写っていると認識された画像のうち、確度が一定値以上の画像のみを抽出することが考えられる。

しかしながら、画像の認識結果は、誤認識が発生した画像認識モデルでの結果である。このため、確度を用いて間引いた後の画像に、学習したい認識対象物（認識に失敗した認識対象物）が写っていない画像が多く含まれるおそれがある。学習したい認識対象物が写っていない画像が含まれる割合は、現在の画像認識モデルでの誤認識率が高いほど多くなる。

例えば、「猫」の認識率が６０％の場合に、認識結果が「猫」である画像を全て取得したとすると、その中の約４割は、猫が写っていない画像となる。また、画像認識モデルの誤認識率が高いと、実際は、確度が低い画像の中にも、学習したい認識対象物が写っている画像が多く存在する可能性もある。

これでは、認識に失敗した認識対象物の画像を十分に収集できず、ひいては、画像認識モデルの再学習を行うことができないという問題を引き起こすおそれがある。そこで、本実施の形態では、画像認識モデルの学習に適したデータを効率よく収集するデータ収集方法について説明する。

以下、画像認識処理で認識に失敗した認識対象物が写っている画像の情報を収集する場合のデータ収集システム１００の動作例について説明する。

（２−１）カメラＣｉは、画像を撮影し、撮影した画像の画像データをシンクＳｉに出力する。カメラＣｉの撮影タイミングは、任意に設定可能である。例えば、カメラＣｉは、数秒程度の一定時間ごとに、画像を撮影することにしてもよい。

（２−２）シンクＳｉは、カメラＣｉから画像データを受け付けると、当該画像データを画像ＤＢ２１０に登録するとともに、ディレクトリＤＲの画像属性管理ＤＢ２２０に画像のメタ情報を登録する。メタ情報は、画像の属性情報と、画像の管理元であるシンクＳｉの位置情報とを含む。

属性情報は、画像ＩＤ、登録日時、認識結果および確度を含む。ただし、この時点では、属性情報には、認識結果および確度は含まれていない。位置情報は、シンクＩＤおよびアドレスを含む。メタ情報（属性情報、位置情報）についての詳細な説明は、図８を用いて後述する。

（２−３）画像認識アプリＡｉは、シンクＳｉから処理対象の画像データを取得する。処理対象の画像データは、例えば、登録日時をキーとして検索されてもよい。ただし、上記（２−２）において、シンクＳｉが画像データを受け付けると、その都度、画像認識アプリＡｉが当該画像データを取得することにしてもよい。

（２−４）画像認識アプリＡｉは、画像認識モデルを用いて、取得した画像データに対して画像認識処理を実行する。画像認識処理の結果には、認識結果と確度とが含まれる。認識結果は、画像に含まれると認識した認識対象物を示す。確度は、認識結果の確からしさを示す度合いである。ここでは、確度は、０〜１の値によって表され、１が最も高く、０が最も低い。

（２−５）画像認識アプリＡｉは、画像の属性情報として認識結果および確度をディレクトリＤＲに登録する。

（２−６）管理者端末１０２は、ディレクトリＤＲにアクセスして、カメラＣｉにより撮影された画像をランダムに抽出する。なお、画像をランダムに抽出（無作為抽出）する方法としては、既存のいかなる方法を用いることにしてもよい。具体的には、例えば、管理者端末１０２は、後述の図８に示す画像属性管理ＤＢ２２０内の画像属性管理情報をランダムに抽出することにしてもよい。

（２−７）管理者端末１０２は、ランダムに抽出した画像の画像データをシンクＳｉから取得し、取得した画像データを認識結果とともに表示する。この結果、管理者の目視により、画像認識アプリＡｉの認識結果が正しいか否かの判定が行われる。

（２−８）管理者端末１０２は、データ収集システム１００の管理者の操作入力により、画像認識アプリＡｉの認識結果が正しいか否かの判定結果を受け付ける。また、管理者端末１０２は、画像認識アプリＡｉの認識結果が正しくないことを示す判定結果を受け付けた場合、さらに、画像に写る正しい認識対象物の指定を受け付ける。

（２−９）管理者端末１０２は、画像認識アプリＡｉの認識結果が正しくないことを示す判定結果を受け付けた場合、情報処理装置１０１に学習用画像検索指示を送信する。学習用画像検索指示には、例えば、正判定画像の画像ＩＤ、登録日時、認識対象種別が含まれる。正判定画像は、データ収集システム１００の管理者により、画像認識アプリＡｉの認識結果が正しくないと判定され、かつ、正しい認識対象物が指定された画像である。

認識対象種別は、指定された正しい認識対象物の種別を示す。また、学習用画像検索指示には、正判定画像の管理元であるシンクＳｉの位置情報（シンクＩＤ、アドレス）が含まれていてもよい。なお、正判定画像の管理元であるシンクＳｉの位置情報は、例えば、ランダムに抽出された画像属性管理情報から特定することができる。

（２−１０）情報処理装置１０１は、管理者端末１０２から学習用画像検索指示を受け付けると、画像認識モデルの学習に用いる画像を検索する検索条件を調整する。検索条件は、例えば、指定された認識対象物を含む画像を検索する際の確度の閾値である。

具体的には、例えば、情報処理装置１０１は、受け付けた学習用画像検索指示に基づいて、指定された認識対象物を含む画像を特定する。そして、情報処理装置１０１は、特定した画像が撮影された地点および時刻と、認識対象物の移動速度情報とに基づいて、指定された認識対象物を含む画像を検索する際の検索条件を調整する。

認識対象物の移動速度情報は、認識対象物が移動する速度を特定する情報であり、例えば、認識対象物の移動速度そのものを示す。また、認識対象物の移動速度情報は、例えば、「レベル１：速い、レベル２：普通、レベル３：遅い」のように、認識対象物が移動する速度のレベルを示すものであってもよい。

ここで、図３を用いて、検索条件の調整例について説明する。

図３は、検索条件の調整例を示す説明図である。ここでは、画像認識モデルの学習に用いる画像を検索する検索条件として、認識結果が指定された認識対象物と同一であり、かつ、認識結果の確度が閾値Ａよりも大きい画像を検索するという条件を想定する。指定された認識対象物は、画像認識処理で認識に失敗した認識対象物である。

ここで、画像の認識結果が正しいということは、その画像が撮影された時刻および地点に認識対象物が存在するということである。また、認識対象物は、例えば、ヒト（人）、車や電車などの乗り物、猫や鳥などの生物、または、それらによって運ばれるモノである。したがって、認識対象物の移動速度から、認識対象物の移動可能範囲を限定することができる。

換言すれば、ある地点である時刻に撮影された認識対象物が、当該時刻から所定時間内に、他の地点で存在する確率を推定することができる。この際、認識対象物の速度が速いほど、ある地点から離れた場所でも存在する確率は高くなるといえる。例えば、ある地点のある時刻の画像に「猫」が写っていれば、その時刻の前後１０秒間に、その地点から１００ｍ圏内に「猫」が存在する可能性は高いと推定できる。

認識対象物が存在する確率が高い地点ほど、その地点についての検索条件となる確度の閾値Ａを下げても、認識対象物が写った画像を検索することができる可能性が高いといえる。また、認識対象物が存在する確率は、認識対象物が撮影された地点からの物理的な距離が長くなるほど低くなる傾向がある。

そこで、情報処理装置１０１は、地点間の距離および認識対象物の移動速度情報に基づいて、各地点で撮影された認識対象物を含む画像の存在確率を算出する。存在確率は、例えば、認識対象物が移動する速度に依存する正規分布関数を用いて求めることができる。そして、情報処理装置１０１は、各地点について算出した存在確率に基づいて、各地点の確度の閾値Ａが小さくなるように調整する。

より詳細に説明すると、例えば、情報処理装置１０１は、算出した存在確率が高いほど、予め設定された閾値θよりも低くなるように、各地点の閾値Ａを調整する。閾値θは、確度が閾値θ以下の画像を間引くための下限閾値であり、例えば、データ収集システム１００の管理者により設定される。

これにより、指定された認識対象物を含む画像が撮影された特定の地点からの物理的な距離が短い地点ほど、管理者が設定した閾値θよりも低くなるように、各地点の閾値Ａを調整することができる。図３の例では、シンクＳ１に対応するカメラＣ１で、指定された認識対象物「ヒト」を含む画像が撮影された場合を想定する。

この場合、シンクＳ１からの物理的な距離が長くなるほど、認識対象物「ヒト」を含む画像の存在確率は低くなる。したがって、グラフ３００に示すように、シンクＳ１からの物理的な距離が短いシンクほど、管理者が設定した閾値θよりも低くなるように、各シンクＳ１〜Ｓ５に対応する閾値Ａが調整される。

図２の説明に戻り、（２−１１）情報処理装置１０１は、ディレクトリＤＲの画像属性管理ＤＢ２２０を参照して、調整した検索条件を用いて、認識結果が指定された認識対象物と同一の画像を検索する。画像属性管理ＤＢ２２０は、地点に対応付けて、地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部の一例である。地点は、例えば、シンクＳｉに対応する。

（２−１２）情報処理装置１０１は、検索した検索結果を示す情報を出力する。具体的には、例えば、情報処理装置１０１は、指定された認識対象物と対応付けて、検索した画像の画像ＩＤと、検索した画像の画像データを格納するシンクＳｉの位置情報とを、管理者端末１０２に出力することにしてもよい。

（２−１３）管理者端末１０２は、検索された検索結果を示す情報を受け付けると、検索された画像の画像データをシンクＳｉから取得する。

（２−１４）管理者端末１０２は、取得した画像データを表示し、画像認識モデルの学習に用いる画像の選択を受け付ける。ここで選択される画像は、管理者により指定された認識対象物の特徴を学習させるための画像であり、指定された認識対象物が実際に写った画像である。

（２−１５）管理者端末１０２は、選択された画像の画像データをモデル学習器ＭＬに入力することにより、指定された認識対象物についての画像認識モデルの再学習を指示する。

（２−１６）モデル学習器ＭＬは、入力された画像データをもとに、指定された認識対象物についての画像認識モデルの再学習を行う。

（２−１７）モデル学習器ＭＬは、再学習した画像認識モデルを各シンクＳｉの画像認識アプリＡｉに送信する。この結果、各シンクＳｉの画像認識アプリＡｉにおいて画像認識モデルが更新される。

このようにして、データ収集システム１００によれば、ある地点で存在が確認された認識対象物が移動する速度を考慮して、各地点で撮影された画像の中から認識対象物を含む画像を検索することができる。これにより、画像認識処理で認識に失敗した対象物を含む画像を効率よく収集して、画像認識モデルの再学習を効率的に行うことができる。

（情報処理装置１０１のハードウェア構成例）
図４は、情報処理装置１０１のハードウェア構成例を示すブロック図である。図４において、情報処理装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１と、メモリ４０２と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４０３と、ディスクドライブ４０４と、ディスク４０５と、を有する。また、各構成部は、バス４００によってそれぞれ接続される。

ここで、ＣＰＵ４０１は、情報処理装置１０１の全体の制御を司る。ＣＰＵ４０１は、複数のコアを有していてもよい。メモリ４０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭがＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラムを記憶し、ＲＯＭがアプリケーションプログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。

Ｉ／Ｆ４０３は、通信回線を通じてネットワーク１１０に接続され、ネットワーク１１０を介して外部のコンピュータ（例えば、図１に示した管理者端末１０２、エッジ装置Ｅ１〜Ｅｎ）に接続される。そして、Ｉ／Ｆ４０３は、ネットワーク１１０と装置内部とのインターフェースを司り、外部のコンピュータからのデータの入出力を制御する。Ｉ／Ｆ４０３には、例えば、モデムやＬＡＮアダプタなどを採用することができる。

ディスクドライブ４０４は、ＣＰＵ４０１の制御に従ってディスク４０５に対するデータのリード／ライトを制御する。ディスク４０５は、ディスクドライブ４０４の制御で書き込まれたデータを記憶する。ディスク４０５としては、例えば、磁気ディスク、光ディスクなどが挙げられる。

なお、情報処理装置１０１は、上述した構成部のほかに、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、入力装置、ディスプレイ等を有することにしてもよい。また、管理者端末１０２およびエッジ装置Ｅ１〜Ｅｎについても、情報処理装置１０１と同様のハードウェア構成により実現することができる。ただし、管理者端末１０２は、上述した構成部のほかに、入力装置、ディスプレイ等を有する。

（シンク位置管理ＤＢ１２０の記憶内容）
つぎに、情報処理装置１０１が有するシンク位置管理ＤＢ１２０の記憶内容について説明する。シンク位置管理ＤＢ１２０は、例えば、図４に示したメモリ４０２、ディスク４０５などの記憶装置により実現される。

図５は、シンク位置管理ＤＢ１２０の記憶内容の一例を示す説明図である。図５において、シンク位置管理ＤＢ１２０は、シンクＩＤおよび物理的位置のフィールドを有し、各フィールドに情報を設定することで、シンク位置情報（例えば、シンク位置情報５００−１）をレコードとして記憶する。

ここで、シンクＩＤは、シンクＳｉを一意に識別する識別子である。物理的位置は、シンクＳｉの位置、すなわち、エッジ装置Ｅｉが設置された地点の緯度、経度を示す。シンクＳｉの位置は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により取得することができる。

例えば、シンク位置情報５００−１は、シンクＳ１の物理的位置（＋３５°３５′３″、＋１３９°３８′２４″）を示す。

（移動特性テーブル１３０の記憶内容）
つぎに、情報処理装置１０１が有する移動特性テーブル１３０の記憶内容について説明する。移動特性テーブル１３０は、例えば、図４に示したメモリ４０２、ディスク４０５などの記憶装置により実現される。

図６は、移動特性テーブル１３０の記憶内容の一例を示す説明図である。図６において、移動特性テーブル１３０は、認識対象種別および移動速度のフィールドを有し、各フィールドに情報を設定することで、移動特性情報（例えば、移動特性情報６００−１，６００−２）をレコードとして記憶する。

ここで、認識対象種別は、認識対象物の種別である。移動速度は、認識対象種別で区別される認識対象物が移動する速度である（単位：ｋｍ／ｈ）。移動速度としては、例えば、認識対象物の典型的な速度が設定される。例えば、移動特性情報６００−１は、認識対象種別「ヒト」の移動速度「６［ｋｍ／ｈ］」を示す。

なお、画像認識処理において、ヒト（男）やヒト（女）、ヒト（子供）やヒト（大人）などを区別して認識する場合がある。この場合、例えば、認識対象種別「ヒト」について、性別（男、女）や年齢区分（子供、大人）などによって異なる移動速度を設定することにしてもよい。

（画像ＤＢ２１０の記憶内容）
つぎに、図２に示したシンクＳｉが有する画像ＤＢ２１０の記憶内容について説明する。画像ＤＢ２１０は、例えば、エッジ装置Ｅｉのメモリ、ディスクなどの記憶装置により実現される。

図７は、画像ＤＢ２１０の記憶内容の一例を示す説明図である。図７において、画像ＤＢ２１０は、画像ＩＤ、登録日時および画像データのフィールドを有し、各フィールドに情報を設定することで、画像管理情報（例えば、画像管理情報７００−１）をレコードとして記憶する。

ここで、画像ＩＤは、カメラＣｉによって撮影された画像を一意に識別する識別子である。登録日時は、画像ＤＢ２１０に画像データが登録された日時を示す。登録日時は、カメラＣｉによって画像が撮影された日時に相当する。画像データは、カメラＣｉによって撮影された画像の画像データである。

例えば、画像管理情報７００−１は、画像ＩＤ「Ｉｍａｇｅ−１１」の画像の登録日時「２０１７／９／２６ １４：５８：００」および画像データ「０１０１０１１１・・・」を示す。

（画像属性管理ＤＢ２２０の記憶内容）
つぎに、図２に示したディレクトリＤＲが有する画像属性管理ＤＢ２２０の記憶内容について説明する。画像属性管理ＤＢ２２０は、例えば、クラウドＣＬに含まれるコンピュータ（例えば、情報処理装置１０１）のメモリ、ディスクなどの記憶装置により実現される。

図８は、画像属性管理ＤＢ２２０の記憶内容の一例を示す説明図である。図８において、画像属性管理ＤＢ２２０は、属性情報、シンク位置およびタイムスタンプのフィールドを有する。属性情報フィールドは、画像ＩＤ、登録日時、認識結果および確度のサブフィールドを有する。シンク位置フィールドは、シンクＩＤおよびアドレスのサブフィールドを有する。各フィールドに情報を設定することで、画像属性管理情報（例えば、画像属性管理情報８００−１）がレコードとして記憶される。

ここで、属性情報は、カメラＣｉによって撮影された画像の属性情報である。具体的には、画像ＩＤは、カメラＣｉによって撮影された画像を一意に識別する識別子である。登録日時は、カメラＣｉによって画像が撮影された日時を示す。認識結果は、画像認識アプリＡｉの画像認識処理により認識された画像の認識結果を示す。確度は、認識結果の確からしさを示す度合いである。確度は、０〜１の値によって表され、１が最も高い。

また、シンク位置は、カメラＣｉによって撮影された画像の管理元であるシンクＳｉの位置情報である。具体的には、シンクＩＤは、シンクＳｉを一意に識別する識別子である。アドレスは、シンクＳｉのアドレスを示す。アドレスとしては、例えば、シンクＳｉのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスが設定される。また、タイムスタンプは、画像属性管理ＤＢ２２０に画像属性管理情報（認識結果および確度を含む）が登録された日時である。

例えば、画像属性管理情報８００−１は、画像ＩＤ「Ｉｍａｇｅ−１１」の画像の登録日時「２０１７／９／２６ １４：５８：００」、認識結果「ヒト」および確度「０．７」を示す。また、画像属性管理情報８００−１は、画像ＩＤ「Ｉｍａｇｅ−１１」の画像管理元であるシンクＳ１のアドレス「ｘｘ．ｘｘ．ｘｘ．ｘｘ」およびタイムスタンプ「２０１７／９／２６ １５：１２：００」を示す。

（情報処理装置１０１の機能的構成例）
図９は、情報処理装置１０１の機能的構成例を示すブロック図である。図９において、情報処理装置１０１は、受付部９０１と、特定部９０２と、調整部９０３と、検索部９０４と、出力部９０５と、を含む。受付部９０１〜出力部９０５は制御部となる機能であり、具体的には、例えば、図４に示したメモリ４０２、ディスク４０５などの記憶装置に記憶されたプログラムをＣＰＵ４０１に実行させることにより、または、Ｉ／Ｆ４０３により、その機能を実現する。各機能部の処理結果は、例えば、メモリ４０２、ディスク４０５などの記憶装置に記憶される。

受付部９０１は、認識対象物の指定を受け付ける。指定される認識対象物は、例えば、画像認識アプリＡｉによる画像認識モデルを用いた画像認識処理で認識に失敗した対象物である。認識対象物の指定は、例えば、管理者端末１０２において、データ収集システム１００の管理者の操作入力により行われる。

具体的には、例えば、受付部９０１は、管理者端末１０２から学習用画像検索指示を受信することにより、学習用画像検索指示から特定される認識対象物の指定を受け付ける。学習用画像検索指示には、例えば、正判定画像の画像ＩＤ、登録日時、指定された認識対象物を示す情報が含まれる。

正判定画像は、データ収集システム１００の管理者により、画像認識アプリＡｉの認識結果が正しくないと判定され、かつ、正しい認識対象物が指定された画像である。また、学習用画像検索指示には、例えば、正判定画像が撮影された地点に対応するシンクの位置情報（シンクＩＤ、アドレス）が含まれていてもよい。

特定部９０２は、指定された認識対象物を含む画像を特定する。また、特定部９０２は、特定した画像が撮影された地点および時刻を特定する。具体的には、例えば、特定部９０２は、受信された学習用画像検索指示に含まれる画像ＩＤから特定される正判定画像を、指定された認識対象物を含む画像として特定する。

また、例えば、特定部９０２は、受信された学習用画像検索指示に含まれる登録日時を、特定した正判定画像が撮影された時刻として特定する。また、例えば、特定部９０２は、受信された学習用画像検索指示に含まれる位置情報（シンクＩＤ、アドレス）から特定されるシンクを、特定した正判定画像が撮影された地点として特定する。

なお、特定部９０２は、受信された学習用画像検索指示に含まれる画像ＩＤをキーとして、ディレクトリＤＲの画像属性管理ＤＢ２２０を参照することで、正判定画像が撮影された地点（シンクＳｉ）および時刻（登録日時）を特定することにしてもよい。

以下の説明では、指定された認識対象物を「認識対象物ＲＯ」と表記する場合がある。また、認識対象物ＲＯを含む画像（正判定画像）が撮影された地点に対応するシンクを、「正判定画像の管理元シンクＳｘ」、または、単に「管理元シンクＳｘ」と表記する場合がある（ｘ＝１，２，…，ｎ）。

調整部９０３は、特定された画像が撮影された地点と、認識対象物ＲＯの移動速度情報とに基づいて、複数の地点のいずれかの地点で撮影された認識対象物ＲＯを含む画像を検索する際の検索条件を調整する。ここで、複数の地点は、例えば、図１に示したカメラＣ１〜Ｃｎが設置された場所である。すなわち、複数の地点のいずれかの地点は、シンクＳｉに対応する。また、検索条件は、例えば、確度の閾値Ａである。

具体的には、例えば、まず、調整部９０３は、正判定画像の管理元シンクＳｘとシンクＳｉとの距離、および、認識対象物ＲＯの移動速度情報に基づいて、存在確率Ｐｉを算出する。ここで、存在確率Ｐｉは、シンクＳｉのカメラＣｉで撮影された認識対象物ＲＯを含む画像が存在する確率である。すなわち、存在確率Ｐｉは、認識対象物ＲＯを含む画像がシンクＳｉに登録されている確率を示す。

より詳細に説明すると、例えば、調整部９０３は、図５に示したシンク位置管理ＤＢ１２０を参照して、管理元シンクＳｘの物理的位置とシンクＳｉの物理的位置とを特定する。つぎに、調整部９０３は、特定した管理元シンクＳｘの物理的位置とシンクＳｉの物理的位置とから、管理元シンクＳｘとシンクＳｉとの距離を算出する。また、調整部９０３は、図６に示した移動特性テーブル１３０を参照して、認識対象物ＲＯに対応する移動速度を特定する。そして、調整部９０３は、下記式（１）を用いて、存在確率Ｐｉを算出する。

ただし、ｄは、管理元シンクＳｘとシンクＳｉとの距離である。σは、「ｖ×ｔ」である。ｖは、認識対象物ＲＯの移動速度（単位：ｋｍ／ｈ）である。ｔは、正判定画像が撮影された時刻との時間差を示す定数である。例えば、ｔは、正判定画像が撮影された時刻の前後どれくらいの時間内に撮影された画像を検索するのかによって任意に設定可能である。ｔの値は、予め設定されていてもよく、また、学習用画像検索指示に含まれていてもよい。

つぎに、調整部９０３は、算出した存在確率Ｐｉに基づいて、確度の閾値Ａｉを算出する。ここで、確度の閾値Ａｉは、シンクＳｉで撮影された認識対象物ＲＯを含む画像を検索する際の確度の閾値Ａである。より詳細に説明すると、例えば、調整部９０３は、下記式（２）を用いて、確度の閾値Ａｉを算出する。ただし、θは、確度が閾値θ以下の画像を間引くために予め設定された下限閾値であり、閾値Ａｉの初期値に相当する。θの値は、予め設定されていてもよく、また、学習用画像検索指示に含まれていてもよい。

Ａｉ＝Ａ（ｄ，ｖ，ｔ）＝θ×（１−Ｐｉ）・・・（２）

なお、確度の閾値Ａｉの算出例については、図１２を用いて後述する。また、算出された確度の閾値Ａｉは、例えば、図１０に示すような検索条件テーブル１０００に記憶される。検索条件テーブル１０００は、例えば、メモリ４０２、ディスク４０５などの記憶装置により実現される。ここで、検索条件テーブル１０００の記憶内容について説明する。

図１０は、検索条件テーブル１０００の記憶内容の一例を示す説明図である。図１０において、検索条件テーブル１０００は、シンクＩＤ、認証対象種別、確度閾値および登録日時のフィールドを有し、各フィールドに情報を設定することで、検索条件情報（例えば、検索条件情報１０００−１）をレコードとして記憶する。

ここで、シンクＩＤは、シンクＳｉを一意に識別する識別子である。認証対象種別は、認証対象物ＲＯの種別である。確度閾値は、シンクＳｉで撮影された認識対象物ＲＯを含む画像を検索する際の確度の閾値Ａである。登録日時は、正判定画像がシンクＳｉ（画像ＤＢ２１０）に登録された日時である。登録日時は、正判定画像が撮影された日時に相当する。

例えば、検索条件情報１０００−１は、シンクＳ４で撮影された認識対象物「ヒト」を含む画像を検索する際の確度の閾値Ａ４「０．５４」および登録日時「２０１７／９／２６ １５：１２：００」を示す。

図９の説明に戻り、検索部９０４は、複数の地点のいずれかの地点についての調整後の検索条件（確度の閾値Ａ）と、特定された画像（正判定画像）が撮影された時刻とに基づいて、記憶部９１０を参照して、当該地点で撮影された、認識結果が認識対象物ＲＯと同一の画像を検索する。

ここで、記憶部９１０は、複数の地点それぞれに対応付けて、各地点で撮影された画像の認識結果、確度および時刻を記憶する。記憶部９１０は、例えば、ディレクトリＤＲが有する画像属性管理ＤＢ２２０である。記憶部９１０は、情報処理装置１０１が有していてもよく、また、情報処理装置１０１がアクセス可能な他のコンピュータが有していてもよい。

具体的には、例えば、検索部９０４は、特定された正判定画像が撮影された時刻に基づいて、画像属性管理ＤＢ２２０を参照して、シンクＳｉに登録された画像のうち、認識結果が認識対象物ＲＯと同一であり、かつ、調整後の閾値Ａｉよりも確度が大きい画像を検索する。

より詳細に説明すると、例えば、検索部９０４は、検索条件テーブル１０００を参照して、シンクＳ１に対応する確度閾値「Ａ１＝０．５４」、認識対象種別「ヒト」および登録日時「２０１７／９／２６ １５：１２：００」を特定する。

つぎに、検索部９０４は、特定した登録日時に応じた検索対象期間を設定する。検索対象期間としては、例えば、登録日時の前後ｔ時間の期間が設定される。ｔは、上記式（１）に含まれる定数である。例えば、ｔを「１時間」とする。検索対象期間は、「２０１７／９／２６ １４：１２：００〜１６：１２：００」となる。ただし、検索部９０４は、定数ｔとは異なる時間を用いて検索対象期間を設定することにしてもよい。

そして、検索部９０４は、画像属性管理ＤＢ２２０を参照して、シンクＳ１に登録された画像のうち、設定した検索対象期間内に撮影され、かつ、認識結果が認識対象物ＲＯと同一であり、かつ、調整後の閾値Ａ１「０．５４」よりも確度が大きい画像を検索する。すなわち、検索部９０４は、画像属性管理ＤＢ２２０を参照して、登録日時が検索対象期間「２０１７／９／２６ １４：１２：００〜１６：１２：００」に含まれ、かつ、認識結果が「ヒト」であり、かつ、確度が「０．５４」よりも大きい画像を検索する。

検索された検索結果は、例えば、図１１に示すような学習用画像位置リスト１１００に記憶される。学習用画像位置リスト１１００は、例えば、メモリ４０２、ディスク４０５などの記憶装置により実現される。ここで、学習用画像位置リスト１１００の具体例について説明する。

図１１は、学習用画像位置リスト１１００の具体例を示す説明図である。図１１において、学習用画像位置リスト１１００は、認識対象種別と管理元シンクＩＤと画像ＩＤとを対応付けてあらわす。認識対象種別は、認識対象物ＲＯの種別を示す。管理元シンクＩＤは、検索部９０４によって検索された画像が登録されたシンクＳｉのシンクＩＤを示す。画像ＩＤは、検索部９０４によって検索された画像の画像ＩＤを示す。

図１１の例では、学習用画像位置リスト１１００には、各シンクＳｉについて、認証対象物「ヒト」を含むものとして検索された画像の画像ＩＤが示されている。

図９の説明に戻り、出力部９０５は、検索された結果を示す情報を出力する。出力部９０５の出力形式としては、例えば、メモリ４０２、ディスク４０５などの記憶装置への記憶、Ｉ／Ｆ４０３による他のコンピュータへの送信、不図示のディスプレイへの表示、不図示のプリンタへの印刷出力などがある。

具体的には、例えば、出力部９０５は、認識対象物ＲＯと対応付けて、検索された画像の画像データが登録されたエッジ装置ＥｉあるいはシンクＳｉを特定する情報を出力する。より詳細に説明すると、例えば、出力部９０５は、図１１に示したような学習用画像位置リスト１１００を管理者端末１０２に送信することにしてもよい。

これにより、データ収集システム１００の管理者は、学習用画像位置リスト１１００を参照して、画像認識モデルの学習に用いる画像データを収集することができる。

なお、上述した説明では、存在確率Ａｉを認識対象物の移動速度から求めることにしたが、これに限らない。例えば、情報処理装置１０１は、各シンクＳｉ周辺の地理的要因を考慮して、各シンクＳｉの存在確率Ａｉを求めることにしてもよい。

一例として、正判定画像の管理元シンクであるシンクＳ１とシンクＳ２との間に立ち入り禁止エリアが存在する場合を想定する。この場合、情報処理装置１０１は、例えば、シンクＳ２の存在確率Ａ１を、上記式（１）を用いて得られる確率よりも低い値（例えば、０）としてもよい。また、立ち入り禁止エリアが、車のみ立ち入り禁止のエリアの場合がある。この場合、情報処理装置１０１は、認識対象種別「車」の認識対象物ＲＯについて、例えば、シンクＳ２の存在確率Ａ１を、上記式（１）を用いて得られる確率よりも低い値（例えば、０）としてもよい。

また、上述した説明では、画像認識モデルの学習に用いるデータを収集する場合について説明したが、これに限らない。例えば、データ収集システム１００は、音声認識モデルの学習に用いるデータを収集することにしてもよい。音声認識処理の対象となるデータは、例えば、各地に設置されるマイクロフォンに受音された音声の音声データとなる。

（確度の閾値Ａｉの算出例）
つぎに、図１２を用いて、確度の閾値Ａｉの算出例について説明する。

図１２は、シンク間の物理的な位置関係を示す説明図である。図１２において、シンクＳ１〜Ｓ４のシンク間の物理的な位置関係が示されている。ここで、シンクＳ１は、正判定画像１２０１の管理元シンクである。正判定画像１２０１は、認識対象物「ヒト」が写った画像である。

ここでは、シンクＳ１，Ｓ２間の距離を３［ｋｍ］とし、シンクＳ２，Ｓ３間の距離を３［ｋｍ］とし、シンクＳ３，Ｓ４間の距離を３［ｋｍ］する。また、下限閾値θを「０．８」とする。上記式（１）に含まれる定数ｔを「１［ｈ］」とする。認識対象物「ヒト」の移動速度は、６［ｋｍ／ｈ］である。

以下、シンクＳ４の確度の閾値Ａ４を算出する場合を例に挙げて説明する。シンクＳ１，Ｓ４間の距離は、９［ｋｍ］である。この場合、上記式（１）に含まれるｄは、「ｄ＝９［ｋｍ］」となる。また、σ（ｖ，ｔ）は、「σ（ｖ，ｔ）＝６［ｋｍ／ｈ］×１［ｈ］＝６［ｋｍ］」となる。

このため、シンクＳ４の存在確率Ｐ４は、上記式（１）から、「Ｐ４＝０．３２」となる。そして、シンクＳ４の確度の閾値Ａ４は、上記式（２）から、「Ａ４＝θ（１−Ｐ４）＝０．８（１−０．３２）≒０．５４」となる。閾値Ａ４「０．５４」は、正判定画像１２０１が撮影された時刻の前後１時間以内に、シンクＳ４に対応するカメラＣ４により撮影された認識対象物「ヒト」を含む画像１２０２が存在する確率が５４％であることを示す。

（データ収集システム１００の各種処理手順）
つぎに、データ収集システム１００の各種処理手順について説明する。まず、エッジ装置Ｅｉの画像認識結果登録処理手順について説明する。

（エッジ装置Ｅｉの画像認識結果登録処理手順）
図１３は、エッジ装置Ｅｉの画像認識結果登録処理手順の一例を示すフローチャートである。図１３のフローチャートにおいて、まず、エッジ装置Ｅｉは、シンクＳｉにより、カメラＣｉにより撮影された画像の画像データを受け付けたか否かを判断する（ステップＳ１３０１）。

ここで、エッジ装置Ｅｉは、シンクＳｉにより、画像データを受け付けるのを待つ（ステップＳ１３０１：Ｎｏ）。そして、エッジ装置Ｅｉは、シンクＳｉにより、画像データを受け付けた場合（ステップＳ１３０１：Ｙｅｓ）、受け付けた画像データの画像管理情報を画像ＤＢ２１０に登録する（ステップＳ１３０２）。

つぎに、エッジ装置Ｅｉは、シンクＳｉにより、ディレクトリＤＲの画像属性管理ＤＢ２２０に画像のメタ情報（属性情報、位置情報）を登録する（ステップＳ１３０３）。そして、エッジ装置Ｅｉは、画像認識アプリＡｉにより、シンクＳｉが受け付けた画像データに対する画像認識処理を実行する（ステップＳ１３０４）。

つぎに、エッジ装置Ｅｉは、画像認識アプリＡｉにより、画像の属性情報として認識結果および確度をディレクトリＤＲの画像属性管理ＤＢ２２０に登録して（ステップＳ１３０５）、本フローチャートによる一連の処理を終了する。

これにより、カメラＣｉにより撮影された画像の画像データを受け付けるたびに、画像ＤＢ２１０に画像データを登録するとともに、画像のメタ情報（属性情報、位置情報）をディレクトリＤＲの画像属性管理ＤＢ２２０に登録することができる。

（情報処理装置１０１のデータ収集処理手順）
つぎに、図１４を用いて、情報処理装置１０１のデータ収集処理手順について説明する。

図１４は、情報処理装置１０１のデータ収集処理手順の一例を示すフローチャートである。図１４のフローチャートにおいて、まず、情報処理装置１０１は、管理者端末１０２から学習用画像検索指示を受け付けたか否かを判断する（ステップＳ１４０１）。ここで、情報処理装置１０１は、学習用画像検索指示を受け付けるのを待つ（ステップＳ１４０１：Ｎｏ）。

そして、情報処理装置１０１は、学習用画像検索指示を受け付けた場合に（ステップＳ１４０１：Ｙｅｓ）、学習用画像検索指示から特定される認識対象物ＲＯの指定を受け付ける（ステップＳ１４０２）。つぎに、情報処理装置１０１は、学習用画像検索指示に含まれる画像ＩＤから、認識対象物ＲＯを含む正判定画像を特定する（ステップＳ１４０３）。

そして、情報処理装置１０１は、特定した正判定画像が登録された管理元シンクＳｘおよび登録日時を特定する（ステップＳ１４０４）。つぎに、情報処理装置１０１は、シンク位置管理ＤＢ１２０を参照して、特定した管理元シンクＳｘの物理的位置を取得する（ステップＳ１４０５）。つぎに、情報処理装置１０１は、移動特性テーブル１３０を参照して、認識対象物ＲＯの移動速度を特定する（ステップＳ１４０６）。

そして、情報処理装置１０１は、特定した管理元シンクＳｘの物理的位置と認識対象物ＲＯの移動速度とに基づいて、各シンクＳｉに登録された認識対象物ＲＯを含む画像を検索する検索条件（確度の閾値Ａｉ）を調整する検索条件調整処理を実行する（ステップＳ１４０７）。なお、検索条件調整処理の具体的な処理手順については、図１５を用いて後述する。

つぎに、情報処理装置１０１は、調整後の検索条件に基づいて、各シンクＳｉに登録された認識対象物ＲＯを含む画像を検索する画像検索処理を実行する（ステップＳ１４０８）。なお、画像検索処理の具体的な処理手順については、図１６を用いて後述する。

そして、情報処理装置１０１は、検索した検索結果に基づいて、管理者端末１０２に学習用画像位置リスト１１００を送信して（ステップＳ１４０９）、本フローチャートによる一連の処理を終了する。これにより、画像認識モデルの学習に有用な画像の情報をデータ収集システム１００の管理者に提供することができる。

つぎに、図１５を用いて、図１４に示したステップＳ１４０７の検索条件調整処理の具体的な処理手順について説明する。

図１５は、検索条件調整処理の具体的処理手順の一例を示すフローチャートである。図１５のフローチャートにおいて、まず、情報処理装置１０１は、シンク位置管理ＤＢ１２０から選択されていない未選択のシンクＩＤを選択する（ステップＳ１５０１）。

そして、情報処理装置１０１は、シンク位置管理ＤＢ１２０を参照して、選択したシンクＩＤのシンクＳｉの物理的位置を取得する（ステップＳ１５０２）。つぎに、情報処理装置１０１は、取得した管理元シンクＳｘの物理的位置とシンクＳｉの物理的位置とに基づいて、管理元シンクＳｘとシンクＳｉとの距離を算出する（ステップＳ１５０３）。

そして、情報処理装置１０１は、上記式（１）を用いて、算出した管理元シンクＳｘとシンクＳｉとの距離、および、特定した認識対象物ＲＯの移動速度に基づいて、シンクＳｉの存在確率Ｐｉを算出する（ステップＳ１５０４）。なお、上記式（１）に含まれる定数ｔの値は、予め設定されていてもよく、また、学習用画像検索指示に含まれていてもよい。

つぎに、情報処理装置１０１は、算出した存在確率Ｐｉに基づいて、確度の閾値Ａｉの補正値を算出する（ステップＳ１５０５）。補正値は、例えば、上記式（２）に含まれる（１−Ｐｉ）である。そして、情報処理装置１０１は、上記式（２）を用いて、算出した補正値に基づいて、確度の閾値Ａｉを調整する（ステップＳ１５０６）。なお、上記式（２）に含まれる下限閾値θの値は、予め設定されていてもよく、また、学習用画像検索指示に含まれていてもよい。

つぎに、情報処理装置１０１は、調整後の確度の閾値Ａｉを、選択したシンクＩＤと対応付けて検索条件テーブル１０００に登録する（ステップＳ１５０７）。検索条件テーブル１０００には、認識対象種別および正判定画像の登録日時もあわせて登録される。そして、情報処理装置１０１は、シンク位置管理ＤＢ１２０から選択されていない未選択のシンクＩＤがあるか否かを判断する（ステップＳ１５０８）。

ここで、未選択のシンクＩＤがある場合（ステップＳ１５０８：Ｙｅｓ）、情報処理装置１０１は、ステップＳ１５０１に戻る。一方、未選択のシンクＩＤがない場合（ステップＳ１５０８：Ｎｏ）、情報処理装置１０１は、検索条件調整処理を呼び出したステップに戻る。

これにより、認識対象物ＲＯの移動速度から推定した認識対象物ＲＯを含む画像がシンクＳｉに登録されている存在確率Ｐｉに応じて、検索条件となる確度の閾値Ａｉを調整することができる。

つぎに、図１６を用いて、図１４に示したステップＳ１４０８の画像検索処理の具体的な処理手順について説明する。

図１６は、画像検索処理の具体的処理手順の一例を示すフローチャートである。図１６のフローチャートにおいて、まず、情報処理装置１０１は、シンク位置管理ＤＢ１２０から選択されていない未選択のシンクＩＤを選択する（ステップＳ１６０１）。

そして、情報処理装置１０１は、検索条件テーブル１０００を参照して、選択したシンクＩＤのシンクＳｉの確度閾値、認識対象種別および登録日時を特定する（ステップＳ１６０２）。つぎに、情報処理装置１０１は、特定した登録日時に応じた検索対象期間を設定する（ステップＳ１６０３）。

そして、情報処理装置１０１は、ディレクトリＤＲの画像属性管理ＤＢ２２０を参照して、シンクＳｉに登録された認識対象物ＲＯを含む画像のうち、設定した検索対象期間内に撮影され、かつ、特定した確度閾値よりも確度が大きい画像を検索する（ステップＳ１６０４）。

つぎに、情報処理装置１０１は、検索した検索結果（管理元シンクＩＤ／画像ＩＤ）を学習用画像位置リスト１１００に登録する（ステップＳ１６０５）。そして、情報処理装置１０１は、シンク位置管理ＤＢ１２０から選択されていない未選択のシンクＩＤがあるか否かを判断する（ステップＳ１６０６）。

ここで、未選択のシンクＩＤがある場合（ステップＳ１６０６：Ｙｅｓ）、情報処理装置１０１は、ステップＳ１６０１に戻る。一方、未選択のシンクＩＤがない場合（ステップＳ１６０６：Ｎｏ）、情報処理装置１０１は、画像検索処理を呼び出したステップに戻る。

これにより、各シンクＳｉに登録された画像のうち、認識に失敗した認識対象物（認識対象物ＲＯ）が写っている可能性が高い画像を検索することができる。

（管理者端末１０２の学習用画像判定処理手順）
つぎに、図１７を用いて、管理者端末１０２の学習用画像判定処理手順について説明する。管理者端末１０２の学習用画像判定処理は、例えば、定期的または所定のタイミングで実行される。

図１７および図１８は、管理者端末１０２の学習用画像判定処理手順の一例を示すフローチャートである。図１７のフローチャートにおいて、まず、管理者端末１０２は、ディレクトリＤＲの画像属性管理ＤＢ２２０から、画像属性管理情報をランダムに抽出する（ステップＳ１７０１）。

つぎに、管理者端末１０２は、抽出した画像属性管理情報のシンク位置から特定されるシンクＳｉの画像ＤＢ２１０から、抽出した画像属性管理情報の属性情報に含まれる画像ＩＤに対応する画像管理情報を取得する（ステップＳ１７０２）。そして、管理者端末１０２は、取得した画像管理情報に含まれる画像データ、および、抽出した画像属性管理情報の属性情報に含まれる認識結果を表示する（ステップＳ１７０３）。

つぎに、管理者端末１０２は、管理者の操作入力により、表示した認識結果が正しいことを示す判定結果を受け付けたか否かを判断する（ステップＳ１７０４）。ここで、認識結果が正しいことを示す判定結果を受け付けた場合（ステップＳ１７０４：Ｙｅｓ）、管理者端末１０２は、本フローチャートによる一連の処理を終了する。

一方、認識結果が正しくないことを示す判定結果を受け付けた場合（ステップＳ１７０４：Ｎｏ）、管理者端末１０２は、画像に写る正しい認識対象物の指定を受け付けたか否かを判断する（ステップＳ１７０５）。ここで、管理者端末１０２は、正しい認識対象物の指定を受け付けるのを待つ（ステップＳ１７０５：Ｎｏ）。

そして、管理者端末１０２は、正しい認識対象物の指定を受け付けた場合（ステップＳ１７０５：Ｙｅｓ）、情報処理装置１０１に学習用画像検索指示を送信して（ステップＳ１７０６）、図１８に示すステップＳ１８０１に移行する。学習用画像検索指示には、例えば、正判定画像の画像ＩＤ、登録日時、認識対象種別が含まれる。

図１８のフローチャートにおいて、まず、管理者端末１０２は、情報処理装置１０１から学習用画像位置リスト１１００を受信したか否かを判断する（ステップＳ１８０１）。ここで、管理者端末１０２は、学習用画像位置リスト１１００を受信するのを待つ（ステップＳ１８０１：Ｎｏ）。

そして、管理者端末１０２は、学習用画像位置リスト１１００を受信した場合（ステップＳ１８０１：Ｙｅｓ）、学習用画像位置リスト１１００から選択されていない未選択の管理元シンクＩＤを選択する（ステップＳ１８０２）。つぎに、管理者端末１０２は、学習用画像位置リスト１１００内の選択された管理元シンクＩＤに対応する画像ＩＤのうち選択されていない未選択の画像ＩＤを選択する（ステップＳ１８０３）。

そして、管理者端末１０２は、選択した管理元シンクＩＤのシンクＳｉの画像ＤＢ２１０から、選択した画像ＩＤに対応する画像管理情報を取得する（ステップＳ１８０４）。なお、各シンクＳｉのアドレスは、管理者端末１０２に予め記憶されていてもよく、また、ディレクトリＤＲの画像属性管理ＤＢ２２０にアクセスして特定してもよい。

つぎに、管理者端末１０２は、学習用画像位置リスト１１００内の選択された管理元シンクＩＤに対応する画像ＩＤのうち選択されていない未選択の画像ＩＤがあるか否かを判断する（ステップＳ１８０５）。ここで、未選択の画像ＩＤがある場合（ステップＳ１８０５：Ｙｅｓ）、管理者端末１０２は、ステップＳ１８０３に戻る。

一方、未選択の画像ＩＤがない場合（ステップＳ１８０５：Ｎｏ）、学習用画像位置リスト１１００から選択されていない未選択の管理元シンクＩＤがあるか否かを判断する（ステップＳ１８０６）。ここで、未選択の管理元シンクＩＤがある場合（ステップＳ１８０６：Ｙｅｓ）、管理者端末１０２は、ステップＳ１８０２に戻る。

一方、未選択の管理元シンクＩＤがない場合（ステップＳ１８０６：Ｎｏ）、管理者端末１０２は、ステップＳ１８０４において取得した画像管理情報の画像データを選択可能に表示する（ステップＳ１８０７）。つぎに、管理者端末１０２は、管理者の操作入力により、画像認識モデルの学習に用いる画像を選択する（ステップＳ１８０８）。

そして、管理者端末１０２は、選択した画像の画像データをモデル学習器ＭＬに入力することにより、認識対象物ＲＯについての画像認識モデルの再学習を指示して（ステップＳ１８０９）、本フローチャートによる一連の処理を終了する。

これにより、認識に失敗した認識対象物（認識対象物ＲＯ）が写っている画像をピックアップして画像認識モデルの再学習を行うことができる。

以上説明したように、実施の形態１にかかる情報処理装置１０１によれば、指定された認識対象物ＲＯを含む正判定画像を特定し、正判定画像が撮影された地点および時刻と認識対象物ＲＯの移動速度情報とに基づいて、地点に対応付けて、地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部９１０（例えば、画像属性管理ＤＢ２２０）を参照して、認識対象物ＲＯを含む画像を検索することができる。

これにより、ある地点で存在が確認された認識対象物ＲＯが移動する速度を考慮して、各地点で撮影された画像の中から認識対象物ＲＯを含む画像を検索することができ、認識に失敗した対象物を含む画像を効率よく収集することが可能となる。

また、情報処理装置１０１によれば、正判定画像が撮影された地点と認識対象物ＲＯの移動速度情報とに基づいて、複数の地点のいずれかの地点で撮影された認識対象物ＲＯを含む画像を検索する際の確度の閾値Ａを調整することができる。そして、情報処理装置１０１によれば、正判定画像が撮影された時刻に基づいて、記憶部９１０を参照して、当該いずれかの地点で撮影された画像のうち、認識結果が認識対象物ＲＯと同一であり、かつ、調整後の閾値Ａよりも確度が大きい画像を検索することができる。

これにより、ある地点で存在が確認された認識対象物ＲＯが移動する速度を考慮して、各地点（シンクＳｉ）について認識対象物ＲＯを含む画像を検索する際の確度の閾値Ａを調整することができる。このため、全地点で一律に同じ確度の閾値（例えば、下限閾値θ）を用いて画像を検索する場合に比べて、認識に失敗した対象物を含む画像を精度よく収集することができる。

また、情報処理装置１０１によれば、正判定画像が撮影された地点と複数の地点のいずれかの地点との距離、および、認識対象物ＲＯの移動速度情報に基づいて、当該いずれかの地点で撮影された認識対象物ＲＯを含む画像の存在確率Ｐを算出することができる。そして、情報処理装置１０１によれば、算出した存在確率Ｐに基づいて、当該いずれかの地点の確度の閾値Ａが小さくなるように調整することができる。

これにより、ある地点で存在が確認された認識対象物ＲＯが各地点で存在する確率を、認識対象物ＲＯが移動する速度と地点間の距離から推定し、推定した確率に応じて各地点についての確度の閾値Ａを調整することができる。例えば、推定した確率が高いほど管理者により設定された下限閾値θよりも低くなるように、各地点の閾値Ａを調整することができる。

また、情報処理装置１０１によれば、複数の地点のいずれかの地点で撮影された画像のうち、正判定画像が撮影された時刻に応じた期間内に撮影され、かつ、認識結果が認識対象物ＲＯと同一であり、かつ、調整後の閾値Ａよりも確度が大きい画像を検索することができる。

これにより、例えば、ある地点で認識対象物ＲＯの存在が確認された時刻の前後数時間の期間を検索対象期間として、各地点で撮影された画像の中から認識対象物ＲＯを含む画像を検索することができる。

また、情報処理装置１０１によれば、検索した結果を示す情報を出力することができる。具体的には、例えば、情報処理装置１０１は、認識対象物ＲＯと対応付けて、検索した画像の画像データが登録されたシンクＳｉ（あるいは、エッジ装置Ｅｉ）を特定する情報（例えば、学習用画像位置リスト１１００）を、管理者端末１０２に送信することができる。

これにより、データ収集システム１００の管理者は、画像認識処理で認識に失敗した認識対象物（認識対象物ＲＯ）が写っている画像のデータを効率よく収集して、画像認識モデルの再学習を行うことが可能となる。

これらのことから、実施の形態１にかかる情報処理装置１０１およびデータ収集システム１００によれば、広域環境下での画像認識システムにおけるモデル学習データの収集効率化を図ることができる。

（実施の形態２）
つぎに、実施の形態２にかかるデータ収集システム１９００について説明する。なお、実施の形態１で説明した箇所と同様の箇所については、図示および説明を省略する。

実施の形態１では、クラウドＣＬ内のディレクトリＤＲが全シンクに登録される画像のメタ情報（属性／位置情報）を一元管理する場合について説明した。しかしながら、システムが大規模化すると、クラウドＣＬ内のディレクトリＤＲで、画像のメタ情報（属性／位置情報）を一元管理することが難しくなる。

そこで、実施の形態２では、クラウドＣＬと末端のエッジ装置との間に複数の中間エッジを設け、複数の中間エッジで画像のメタ情報（属性／位置情報）を分散して管理する場合について説明する。まず、実施の形態２にかかるデータ収集システム１９００のシステム構成例について説明する。

図１９は、実施の形態２にかかるデータ収集システム１９００のシステム構成例を示す説明図である。図１９において、データ収集システム１９００は、クラウドＣＬと、複数の情報処理装置１０１と、管理者端末１０２と、複数のエッジ装置群Ｅ１〜Ｅｎと、を含む。クラウドＣＬは、学習用画像位置検索マスタ１９０１と、モデル学習器ＭＬと、ディレクトリＤＲと、を含む。

複数の情報処理装置１０１は、画像属性管理ＤＢ２２０を有し、それぞれ中間エッジとして機能する。例えば、各情報処理装置１０１は、地域ごとに設けられ、自配下の地域内で発生した画像のメタ情報（属性／位置情報）を管理する。地域は、例えば、関東地方、近畿地方、中国地方などである。

すなわち、実施の形態２では、各情報処理装置１０１が、実施の形態１で説明したディレクトリＤＲのような役割も担う。なお、画像属性管理ＤＢ２２０の記憶内容については、図８に示したものと同様のため説明を省略する。

ディレクトリＤＲは、インデックス位置テーブル１９１０を有し、管理者端末１０２からの要求に応じて、複数の情報処理装置１０１それぞれのアドレスを含むインデックス位置リストを送信する。ここで、インデックス位置テーブル１９１０の記憶内容について説明する。

図２０は、インデックス位置テーブル１９１０の記憶内容の一例を示す説明図である。図２０において、インデックス位置テーブル１９１０は、インデックスノードＩＤおよびアドレスのフィールドを有し、各フィールドに情報を設定することで、インデックス位置情報（例えば、インデックス位置情報２０００−１）をレコードとして記憶する。

ここで、インデックスノードＩＤは、中間エッジとなる情報処理装置１０１を一意に識別する識別子である。アドレスは、情報処理装置１０１のアドレスを示す。アドレスとしては、例えば、情報処理装置１０１のＩＰアドレスが設定される。すなわち、実施の形態２では、ディレクトＤＲにおいて、末端のエッジ装置のシンクの位置情報は保持しない。

管理者端末１０２に送信されるインデックス位置リストには、例えば、インデックス位置テーブル１９１０内のインデックス位置情報が含まれる。これにより、管理者端末１０２は、インデックス位置リストを参照して、各情報処理装置１０１にアクセスすることが可能となり、各種画像（例えば、正判定画像、学習用画像）を検索したり、画像の管理元シンクを特定したりすることができる。

なお、インデックス位置リストには、複数の情報処理装置１０１のうち、管理者端末１０２から指定された条件（例えば、地域、画像の登録日時など）に合致する一部の情報処理装置１０１のインデックス位置情報のみを含めるようにしてもよい。条件としては、例えば、地域や、画像の登録日時などを指定することができる。この場合、インデックス位置テーブル１９１０には、各情報処理装置１０１が管理する地域や、各情報処理装置１０１が管理している画像が撮影された期間を特定する情報が記憶される。

学習用画像位置検索マスタ１９０１は、管理者端末１０２から学習用画像検索指示を受け付ける。また、学習用画像位置検索マスタ１９０１は、管理者端末１０２から学習用画像検索指示を受け付けると、各情報処理装置１０１に学習用画像検索指示を転送する。この結果、各情報処理装置１０１において、実施の形態１で説明したデータ収集処理と同様の処理がそれぞれ実行される。ただし、各情報処理装置１０１において作成される学習用画像位置リスト１１００は、例えば、学習用画像位置検索マスタ１９０１を介して、管理者端末１０２に転送される。

以上説明したように、実施の形態２にかかるデータ収集システム１９００によれば、複数の情報処理装置１０１で画像のメタ情報（属性／位置情報）を分散して管理することができる。これにより、各種画像の検索や学習用画像の画像データの収集にかかる負荷を複数の中間エッジ（情報処理装置１０１）で分散することができ、システムの大規模化に対応することが可能となる。

なお、本実施の形態で説明したデータ収集方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本データ収集プログラムは、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本データ収集プログラムは、インターネット等のネットワークを介して配布してもよい。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）画像認識モデルの学習に用いるデータを収集するデータ収集方法であって、
指定された認識対象物を含む画像を特定し、
特定した前記画像が撮影された地点および時刻と前記認識対象物の移動速度情報とに基づいて、地点に対応付けて、前記地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が前記認識対象物と同一の画像を検索する、
処理をコンピュータが実行することを特徴とするデータ収集方法。

（付記２）前記コンピュータが、
特定した前記画像が撮影された地点と前記認識対象物の移動速度情報とに基づいて、複数の地点のいずれかの地点で撮影された前記認識対象物を含む画像を検索する際の確度の閾値を調整し、
特定した前記画像が撮影された時刻に基づいて、前記記憶部を参照して、前記いずれかの地点で撮影された画像のうち、認識結果が前記認識対象物と同一であり、かつ、調整後の前記閾値よりも確度が大きい画像を検索する、
処理を実行することを特徴とする付記１に記載のデータ収集方法。

（付記３）前記調整する処理は、
特定した前記画像が撮影された地点と前記いずれかの地点との距離、および、前記認識対象物の移動速度情報に基づいて、前記いずれかの地点で撮影された前記認識対象物を含む画像の存在確率を算出し、
算出した前記存在確率に基づいて、前記閾値が小さくなるように調整する、
ことを特徴とする付記２に記載のデータ収集方法。

（付記４）前記検索する処理は、
前記記憶部を参照して、前記いずれかの地点で撮影された画像のうち、特定した前記画像が撮影された時刻に応じた期間内に撮影され、かつ、認識結果が前記認識対象物と同一であり、かつ、調整後の前記閾値よりも確度が大きい画像を検索する、ことを特徴とする付記２または３に記載のデータ収集方法。

（付記５）前記コンピュータが、
検索した結果を示す情報を出力する、処理を実行することを特徴とする付記１〜４のいずれか一つに記載のデータ収集方法。

（付記６）前記出力する処理は、
前記認識対象物と対応付けて、検索した前記画像の画像データが登録された装置を特定する情報を出力する、処理を実行することを特徴とする付記５に記載のデータ収集方法。

（付記７）画像認識モデルの学習に用いるデータを収集するデータ収集プログラムであって、
指定された認識対象物を含む画像を特定し、
特定した前記画像が撮影された地点および時刻と前記認識対象物の移動速度情報とに基づいて、地点に対応付けて、前記地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が前記認識対象物と同一の画像を検索する、
処理をコンピュータに実行させることを特徴とするデータ収集プログラム。

（付記８）画像認識モデルの学習に用いるデータを収集する情報処理装置であって、
指定された認識対象物を含む画像を特定し、
特定した前記画像が撮影された地点および時刻と前記認識対象物の移動速度情報とに基づいて、地点に対応付けて、前記地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が前記認識対象物と同一の画像を検索する、
制御部を有することを特徴とする情報処理装置。

１００，１９００ データ収集システム
１０１ 情報処理装置
１０２ 管理者端末
１１０ ネットワーク
１２０ シンク位置管理ＤＢ
１３０ 移動特性テーブル
２１０ 画像ＤＢ
２２０ 画像属性管理ＤＢ
３００ グラフ
４００ バス
４０１ ＣＰＵ
４０２ メモリ
４０３ Ｉ／Ｆ
４０４ ディスクドライブ
４０５ ディスク
９０１ 受付部
９０２ 特定部
９０３ 調整部
９０４ 検索部
９０５ 出力部
９１０ 記憶部
１０００ 検索条件テーブル
１１００ 学習用画像位置リスト
１９０１ 学習用画像位置検索マスタ
１９１０ インデックス位置テーブル

Claims (7)

1. 画像認識モデルの学習に用いるデータを収集するデータ収集方法であって、
   指定された認識対象物を含む画像を特定し、
   特定した前記画像が撮影された地点および時刻と前記認識対象物の移動速度情報とに基づいて、地点に対応付けて、前記地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が前記認識対象物と同一の画像を検索する、
   処理をコンピュータが実行することを特徴とするデータ収集方法。
2. 前記コンピュータが、
   特定した前記画像が撮影された地点と前記認識対象物の移動速度情報とに基づいて、複数の地点のいずれかの地点で撮影された前記認識対象物を含む画像を検索する際の確度の閾値を調整し、
   特定した前記画像が撮影された時刻に基づいて、前記記憶部を参照して、前記いずれかの地点で撮影された画像のうち、認識結果が前記認識対象物と同一であり、かつ、調整後の前記閾値よりも確度が大きい画像を検索する、
   処理を実行することを特徴とする請求項１に記載のデータ収集方法。
3. 前記調整する処理は、
   特定した前記画像が撮影された地点と前記いずれかの地点との距離、および、前記認識対象物の移動速度情報に基づいて、前記いずれかの地点で撮影された前記認識対象物を含む画像の存在確率を算出し、
   算出した前記存在確率に基づいて、前記閾値が小さくなるように調整する、
   ことを特徴とする請求項２に記載のデータ収集方法。
4. 前記検索する処理は、
   前記記憶部を参照して、前記いずれかの地点で撮影された画像のうち、特定した前記画像が撮影された時刻に応じた期間内に撮影され、かつ、認識結果が前記認識対象物と同一であり、かつ、調整後の前記閾値よりも確度が大きい画像を検索する、ことを特徴とする請求項２または３に記載のデータ収集方法。
5. 前記コンピュータが、
   検索した結果を示す情報を出力する、処理を実行することを特徴とする請求項１〜４のいずれか一つに記載のデータ収集方法。
6. 画像認識モデルの学習に用いるデータを収集するデータ収集プログラムであって、
   指定された認識対象物を含む画像を特定し、
   特定した前記画像が撮影された地点および時刻と前記認識対象物の移動速度情報とに基づいて、地点に対応付けて、前記地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が前記認識対象物と同一の画像を検索する、
   処理をコンピュータに実行させることを特徴とするデータ収集プログラム。
7. 画像認識モデルの学習に用いるデータを収集する情報処理装置であって、
   指定された認識対象物を含む画像を特定し、
   特定した前記画像が撮影された地点および時刻と前記認識対象物の移動速度情報とに基づいて、地点に対応付けて、前記地点で撮影された画像の認識結果、確度および時刻を記憶する記憶部を参照して、認識結果が前記認識対象物と同一の画像を検索する、
   制御部を有することを特徴とする情報処理装置。

Images