JP2019049793A - 情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】画像に映る物体を識別する識別器の識別性能をより効果的に向上させることができる情報処理方法及び情報処理プログラムを提供する。【解決手段】制御部１３は、第１の画像に映る物体の領域を示す第１の領域情報と、第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、第１の領域情報に関連付けられた領域の分類を示す第１の分類情報と、第２の領域情報に関連付けられた領域の分類を示す第２の分類情報と、を取得し、第１の領域情報及び第２の領域情報に基づいて、第１の領域情報と第２の領域情報との類似性を判定し、類似性の判定結果に応じて、第１の分類情報と第２の分類情報とが一致するか否かを判定し、第１の分類情報と第２の分類情報とが一致しないと判定された場合、第１の分類情報及び第２の分類情報の少なくとも一方を変更するための所定の処理を行う。【選択図】図１

Description

本開示は、画像に映る物体を分類する情報処理方法及び情報処理プログラムに関するものである。

従来、識別器を用いて画像データ中の対象物を識別する識別装置が知られている。従来の識別装置では、識別器に対して機械学習を行うことにより、識別器の識別精度を高めている。画像データから、機械学習のための学習データを作成する場合には、画像データに対してアノテーション処理が行われる。アノテーション処理では、識別器が識別する対象物を示す領域と、当該領域の分類を示すラベルとがユーザによって入力され、入力された対象物及びラベルが学習用画像データに付与される。

例えば、特許文献１の分類モデル学習装置は、ラベル付けの信頼度が所定の基準を満たすエキスパートデータおよびラベル付けの信頼度が不明な非エキスパートデータの各々が対応する座標を取得して非エキスパートデータからエキスパートデータまでの距離を各々算出し、所定の規則に当てはめて近傍距離を定義する。次に、分類モデル学習装置は、選択した非エキスパートデータから近傍距離の範囲内にあるエキスパートデータを探索して同ラベル確率を算出し、付されたラベルが近傍距離の範囲内にあるエキスパートデータのラベルに一致する確率に基づく信頼度関数に当てはめて非エキスパートデータの信頼度を決定し、付加する。そして、分類モデル学習装置は、エキスパートデータおよび信頼度が付加された非エキスパートデータに基づいて所望のデータにラベル付けを行う分類モデルを学習する。

特開２００９−２８２６８６号公報

しかしながら、従来の技術では、上記識別器の識別性能を効果的に向上させることが困難な場合がある。例えば、特許文献１の分類モデル学習装置は、非エキスパートデータの信頼度を決定し、信頼度が付加された非エキスパートデータに基づいて所望のデータにラベル付けを行う分類モデルを学習しているが、非エキスパートデータには誤りが含まれているので、分類モデルの精度を効果的に高めることができず、更なる改善が必要とされていた。

本開示は、上記の問題を解決するためになされたもので、画像に映る物体を識別する識別器の識別性能をより効果的に向上させることができる情報処理方法及び情報処理プログラムを提供することを目的とするものである。

本開示の一態様に係る情報処理方法は、プロセッサを用いて、第１の画像に映る物体の領域を示す第１の領域情報と、前記第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、前記第１の領域情報に関連付けられた前記領域の分類を示す第１の分類情報と、前記第２の領域情報に関連付けられた前記領域の分類を示す第２の分類情報と、を取得し、前記第１の領域情報及び前記第２の領域情報に基づいて、前記第１の領域情報と前記第２の領域情報との類似性を判定し、前記類似性の判定結果に応じて、前記第１の分類情報と前記第２の分類情報とが一致するか否かを判定し、前記第１の分類情報と前記第２の分類情報とが一致しないと判定された場合、前記第１の分類情報及び前記第２の分類情報の少なくとも一方を変更するための所定の処理を行う。

本開示によれば、画像に映る物体を識別する識別器の識別性能をより効果的に向上させることができる。

本実施の形態１における情報処理システムの全体構成を示すブロック図である。 本実施の形態１におけるサーバの動作について説明するための第１のフローチャートである。 本実施の形態１におけるサーバの動作について説明するための第２のフローチャートである。 本実施の形態１における領域情報入力画面の一例を示す図である。 本実施の形態１におけるラベル情報入力画面の一例を示す図である。 本実施の形態１において、少なくとも１つの領域情報にラベル情報が関連付けられていない場合に表示されるラベル付与警告情報の一例を示す図である。 本実施の形態１において、ラベル情報が保留ラベルを含む場合に表示される保留確認情報の一例を示す図である。 本実施の形態１における１つ前の画像に対するラベル情報入力画面の一例を示す図である。 本実施の形態１における現在の画像に対するラベル情報入力画面の一例を示す図である。 本実施の形態２における情報処理システムの全体構成を示すブロック図である。 本実施の形態２におけるサーバの動作について説明するための第１のフローチャートである。 本実施の形態２におけるサーバの動作について説明するための第２のフローチャートである。 本実施の形態２におけるサーバの動作について説明するための第３のフローチャートである。 本実施の形態２において、１つ前の画像と現在の画像とで互いに類似する領域情報のラベル情報が異なっている場合に表示されるラベル不一致確認情報及びラベル変更確認情報の一例を示す図である。

（本開示の基礎となった知見）
ディープラーニングなどの機械学習を用いた画像認識において、学習に必要なデータとしては、画像データ中の認識したい対象物を特定し、特定した対象物に対してラベルを付与するアノテーション処理を大量に施したデータが要求されている。また、正確な分類モデルの構築には正確なラベルの付与が必要になってくる。

しかしながら、アノテーション処理は人間により行われる作業であるため、人間の判断ミス又は知識の不正確さから、誤ったラベルが含まれる事により、精度の良い分類モデルが構築できないことが課題になっている。

例えば、上記の従来の技術では、非エキスパートデータの信頼度を決定し、信頼度が付加された非エキスパートデータに基づいて所望のデータにラベル付けを行う分類モデルを学習しているが、非エキスパートデータには誤りが含まれているので、分類モデルの精度を効果的に高めることができない。

以上の課題を解決するために、本開示の一態様に係る情報処理方法は、プロセッサを用いて、第１の画像に映る物体の領域を示す第１の領域情報と、前記第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、前記第１の領域情報に関連付けられた前記領域の分類を示す第１の分類情報と、前記第２の領域情報に関連付けられた前記領域の分類を示す第２の分類情報と、を取得し、前記第１の領域情報及び前記第２の領域情報に基づいて、前記第１の領域情報と前記第２の領域情報との類似性を判定し、前記類似性の判定結果に応じて、前記第１の分類情報と前記第２の分類情報とが一致するか否かを判定し、前記第１の分類情報と前記第２の分類情報とが一致しないと判定された場合、前記第１の分類情報及び前記第２の分類情報の少なくとも一方を変更するための所定の処理を行う。

この構成によれば、第１の画像に映る物体の領域を示す第１の領域情報と、第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、第１の領域情報に関連付けられた領域の分類を示す第１の分類情報と、第２の領域情報に関連付けられた領域の分類を示す第２の分類情報と、が取得される。第１の領域情報及び第２の領域情報に基づいて、第１の領域情報と第２の領域情報との類似性が判定される。類似性の判定結果に応じて、第１の分類情報と第２の分類情報とが一致するか否かが判定される。第１の分類情報と第２の分類情報とが一致しないと判定された場合、第１の分類情報及び第２の分類情報の少なくとも一方を変更するための所定の処理が行われる。

したがって、第１の画像に映る物体の領域を示す第１の領域情報に関連付けられた領域の分類を示す第１の分類情報と、第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報に関連付けられた領域の分類を示す第２の分類情報とが一致しない場合、第１の分類情報及び第２の分類情報の少なくとも一方を変更するための所定の処理が行われるので、画像に映る物体を識別する識別器の識別性能をより効果的に向上させることができる。

また、上記の情報処理方法において、前記所定の処理は、前記第１の分類情報と前記第２の分類情報とが一致しないことを警告するための警告情報を出力装置に出力させてもよい。

この構成によれば、所定の処理において、第１の分類情報と第２の分類情報とが一致しないことを警告するための警告情報を出力装置に出力させるので、第１の分類情報と第２の分類情報とが一致しないことをユーザに報知することができ、分類情報が正しいか否かをユーザに確認させることができる。

また、上記の情報処理方法において、前記類似性の判定は、前記第１の領域情報が示す前記領域の態様と、前記第２の領域情報が示す前記領域の態様とに基づいて、前記類似性を判定してもよい。

この構成によれば、類似性の判定において、第１の領域情報が示す領域の態様と、第２の領域情報が示す領域の態様とに基づいて、第１の領域情報と第２の領域情報とが同一の物体を表しているか否かを判定することができる。

また、上記の情報処理方法において、前記領域の態様は、前記領域のサイズ及び前記領域の画像上の位置のいずれかを含んでもよい。

この構成によれば、領域の態様は、領域のサイズ及び領域の画像上の位置のいずれかを含むので、領域のサイズ及び領域の画像上の位置のいずれかにより、第１の領域情報と第２の領域情報との類似性を判定することができる。これは、時系列に隣接する画像の各々に映る同一の物体のサイズ又は画像上の位置は、類似である可能性が高いためである。

また、上記の情報処理方法において、さらに、前記第１の画像を撮影した地点の位置を示す第１の位置情報と、前記第２の画像を撮影した地点の位置を示す第２の位置情報とを取得し、前記類似性の判定は、前記第１の位置情報と前記第２の位置情報とに基づいて、前記類似性を判定してもよい。

この構成によれば、第１の画像を撮影した地点の位置を示す第１の位置情報と、第２の画像を撮影した地点の位置を示す第２の位置情報とが取得される。類似性の判定において、第１の位置情報と第２の位置情報とに基づいて、第１の領域情報と第２の領域情報とが同一の物体を表しているか否かを判定することができる。これは、画像が取得された位置が互いに近い場合、各画像に映る物体が同一である可能性が高いためである。

また、上記の情報処理方法において、前記類似性の判定は、前記第１の領域情報が示す前記領域内の前記物体の画像認識結果と、前記第２の領域情報が示す前記領域内の前記物体の画像認識結果とに基づいて、前記類似性を判定してもよい。

この構成によれば、類似性の判定において、第１の領域情報が示す領域内の物体の画像認識結果と、第２の領域情報が示す領域内の物体の画像認識結果とに基づいて、第１の領域情報と第２の領域情報とが同一の物体を表しているか否かを判定することができる。これは、画像認識により得られる物体の識別情報を比較することができるためである。

また、上記の情報処理方法において、前記第２の画像は、前記第１の画像よりも時系列で１つ前の画像であり、前記所定の処理は、前記第２の分類情報を前記第１の分類情報に変更してもよい。

この構成によれば、第２の画像は、第１の画像よりも時系列で１つ前の画像である。所定の処理において、第２の分類情報が第１の分類情報に変更される。したがって、第２の分類情報よりも時系列で新しい第１の分類情報に第２の分類情報を変更することができる。それにより、時系列に連続する画像における分類情報を正確な分類情報に統一することができる。また、分類情報の変更の自動化が可能となる。

また、上記の情報処理方法において、前記第２の画像は、前記第１の画像よりも時系列で１つ前の画像であり、前記所定の処理は、前記第２の分類情報を前記第１の分類情報に変更するか否かをユーザに確認するための確認情報を出力装置に出力させ、さらに、前記確認情報に対する前記ユーザの入力装置による入力操作に応じて前記第２の分類情報を前記第１の分類情報に変更してもよい。

この構成によれば、第２の画像は、第１の画像よりも時系列で１つ前の画像である。所定の処理において、第２の分類情報を第１の分類情報に変更するか否かをユーザに確認するための確認情報を出力装置に出力させる。そして、確認情報に対するユーザの入力装置による入力操作に応じて第２の分類情報が第１の分類情報に変更される。

したがって、第２の分類情報を第１の分類情報に変更するか否かがユーザに確認され、ユーザの入力装置による入力操作に応じて第２の分類情報が第１の分類情報に変更されるので、ユーザの判断により、第２の分類情報を第１の分類情報に変更するか否かを決定することができる。それにより、正確な分類情報が誤った分類情報に変更されるおそれを抑制することができる。

また、上記の情報処理方法において、さらに、前記第１の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定すると共に、前記第２の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定し、前記所定の処理は、前記第１の分類情報及び前記第２の分類情報の少なくとも一方が前記作業情報を含むと判定された場合、前記分類作業の状態を前記ユーザに確認するための確認情報を出力装置に出力させてもよい。

この構成によれば、第１の分類情報が、領域の分類作業の状態を示す作業情報を含むか否かが判定されると共に、第２の分類情報が、領域の分類作業の状態を示す作業情報を含むか否かが判定される。所定の処理において、第１の分類情報及び第２の分類情報の少なくとも一方が作業情報を含むと判定された場合、分類作業の状態をユーザに確認するための確認情報を出力装置に出力させる。

したがって、第１の分類情報及び第２の分類情報の少なくとも一方が作業情報を含む場合、分類作業の状態をユーザに確認することができる。それにより、分類が確定した正確な分類情報を記録することができる。

また、上記の情報処理方法において、前記作業情報は、前記分類作業が保留されたことを示す保留情報を含み、前記所定の処理は、前記第１の分類情報が前記保留情報を含むと判定された場合、前記分類作業が保留されたことを前記ユーザに確認するための前記確認情報を前記出力装置に出力させ、前記確認情報に対する前記ユーザの入力装置による入力操作に応じて前記第１の分類情報を取得し、前記第２の分類情報が前記保留情報を含むと判定された場合、前記分類作業が保留されたことを前記ユーザに確認するための前記確認情報を前記出力装置に出力させ、前記確認情報に対する前記ユーザの前記入力装置による入力操作に応じて前記第２の分類情報を取得してもよい。

この構成によれば、作業情報は、分類作業が保留されたことを示す保留情報を含む。所定の処理において、第１の分類情報が保留情報を含むと判定された場合、分類作業が保留されたことをユーザに確認するための確認情報を出力装置に出力させる。そして、確認情報に対するユーザの入力装置による入力操作に応じて第１の分類情報が取得される。また、第２の分類情報が保留情報を含むと判定された場合、分類作業が保留されたことをユーザに確認するための確認情報を出力装置に出力させる。そして、確認情報に対するユーザの入力装置による入力操作に応じて第２の分類情報が取得される。

したがって、分類作業が保留された場合、分類作業が保留されたことがユーザに確認されるので、分類情報の入力漏れを防止することができる。

また、上記の情報処理方法において、前記分類作業の終了操作が前記入力装置により入力された場合、前記第１の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定すると共に、前記第２の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定してもよい。

この構成によれば、分類作業の終了操作が入力装置により入力された場合、第１の分類情報が、領域の分類作業の状態を示す作業情報を含むか否かが判定されると共に、第２の分類情報が、領域の分類作業の状態を示す作業情報を含むか否かが判定されるので、分類作業の終了操作をトリガにして判定を行うことができる。

また、上記の情報処理方法において、さらに、前記第１の領域情報及び前記第１の分類情報を取得する前に、前記第１の領域情報に前記第１の分類情報が関連付けられているか否かを判定し、前記第１の領域情報に前記第１の分類情報が関連付けられていないと判定された場合、前記第１の領域情報に前記第１の分類情報が関連付けられていないことを警告するための警告情報を出力装置に出力させてもよい。

この構成によれば、第１の領域情報及び第１の分類情報が取得される前に、第１の領域情報に第１の分類情報が関連付けられているか否かが判定される。第１の領域情報に第１の分類情報が関連付けられていないと判定された場合、第１の領域情報に前記第１の分類情報が関連付けられていないことを警告するための警告情報を出力装置に出力させる。

したがって、第１の領域情報に第１の分類情報が関連付けられていない場合、第１の領域情報に第１の分類情報が関連付けられていないことをユーザに報知することができ、第１の分類情報の入力漏れを防止することができる。

本開示の他の態様に係る情報処理プログラムは、プロセッサに、第１の画像に映る物体の領域を示す第１の領域情報と、前記第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、前記第１の領域情報に関連付けられた前記領域の分類を示す第１の分類情報と、前記第２の領域情報に関連付けられた前記領域の分類を示す第２の分類情報と、を取得し、前記第１の領域情報及び前記第２の領域情報に基づいて、前記第１の領域情報と前記第２の領域情報との類似性を判定し、前記類似性の判定結果に応じて、前記第１の分類情報と前記第２の分類情報とが一致するか否かを判定し、前記第１の分類情報と前記第２の分類情報とが一致しないと判定された場合、前記第１の分類情報及び前記第２の分類情報の少なくとも一方を変更するための所定の処理を行う、処理を実行させる。

この構成によれば、第１の画像に映る物体の領域を示す第１の領域情報と、第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、第１の領域情報に関連付けられた領域の分類を示す第１の分類情報と、第２の領域情報に関連付けられた領域の分類を示す第２の分類情報と、が取得される。第１の領域情報及び第２の領域情報に基づいて、第１の領域情報と第２の領域情報との類似性が判定される。類似性の判定結果に応じて、第１の分類情報と第２の分類情報とが一致するか否かが判定される。第１の分類情報と第２の分類情報とが一致しないと判定された場合、第１の分類情報及び第２の分類情報の少なくとも一方を変更するための所定の処理が行われる。

したがって、第１の画像に映る物体の領域を示す第１の領域情報に関連付けられた領域の分類を示す第１の分類情報と、第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報に関連付けられた領域の分類を示す第２の分類情報とが一致しない場合、第１の分類情報及び第２の分類情報の少なくとも一方を変更するための所定の処理が行われるので、画像に映る物体を識別する識別器の識別性能をより効果的に向上させることができる。

以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

（実施の形態１）
図１は、本実施の形態１における情報処理システムの全体構成を示すブロック図である。図１に示す情報処理システムは、サーバ１と端末装置２とを備える。

サーバ１は、端末装置２と不図示の通信ネットワークを介して通信可能に接続されている。通信ネットワークは、例えば、インターネットである。

サーバ１は、通信部１１、記憶部１２及び制御部１３を備える。

通信部１１は、無線又は有線を用いて、インターネット等の通信ネットワークを介して、端末装置２などの外部装置と通信を行い、情報を送受信する。

記憶部１２は、例えば、半導体メモリ等のメモリであり、画像データ記憶部１２１及びラベル付与画像データ記憶部１２２を備える。

制御部１３は、例えばプロセッサであり、画像取得部１３１、アノテーション処理部１３２、ラベル付与判定部１３３、保留ラベル判定部１３４、ラベル情報比較部１３５、警告部１３６及び確認部１３７を備える。

画像データ記憶部１２１は、アノテーション処理に用いられる複数の画像データを記憶する。画像データ記憶部１２１は、時系列で隣接する複数の画像データを１つの画像データセットとし、日付単位又はカメラ単位に取得された複数の画像データセットを記憶する。なお、画像データは、通信部１１を介して、外部の装置から受信される。外部の装置としては、例えば、車両に配置されたドライブレコーダ又はパーソナルコンピュータなどである。本実施の形態１における画像データは、例えば、車両に配置されたドライブレコーダにより撮影された車両の周囲の道路が映る画像データである。また、本明細書において、画像データは、単に画像と呼ぶこともある。

画像取得部１３１は、画像データ記憶部１２１からアノテーション処理に用いる画像データを取得する。

アノテーション処理部１３２は、画像取得部１３１によって取得された画像データに対してアノテーション処理を行う。アノテーション処理部１３２は、領域情報生成部１３２１、ラベル情報生成部１３２２及び情報統合部１３２３を備える。

領域情報生成部１３２１は、画像に映る物体の領域を示す領域情報を生成する。領域情報生成部１３２１は、画像内の識別する対象物を矩形状の枠で囲み、矩形状の枠内の領域を示す領域情報を生成する。領域情報は、画像内における座標で表される。領域情報生成部１３２１は、例えば、画像の左上端部を原点とし、水平方向をＸ軸方向とし、垂直方向をＹ軸とする座標系において、矩形状の枠の左上端部の座標及び右下端部の座標を領域情報として生成する。また、領域情報は、矩形状の枠の左上端部の座標とＸ軸方向の長さとＹ軸方向の長さとで表されてもよい。また、領域の形状は、矩形状に限定されない。

ラベル情報生成部１３２２は、領域情報に関連付けられた領域の分類を示すラベル情報を生成する。ラベル情報は、対象物を分類するものであり、対象物の種類を含む。ラベル情報は、対象物が、例えば、電車、車、バス、バイク、自転車、歩行者及びその他のうちのいずれであるかを識別する情報である。

情報統合部１３２３は、画像データと、領域情報と、ラベル情報とを統合してラベル付与画像データを生成し、ラベル付与画像データ記憶部１２２に記憶する。

ラベル付与画像データ記憶部１２２は、画像データと、領域情報と、ラベル情報とを対応付けたラベル付与画像データを記憶する。ラベル付与画像データは、１つの画像データに対して、１つの領域情報だけでなく、複数の領域情報が対応付けられてもよい。すなわち、１つの画像データの中に、車、自転車及び歩行者などの複数の対象物が含まれている場合、複数の対象物のそれぞれに対応する領域情報が生成される。また、各領域情報にラベル情報が付与される。

ラベル付与判定部１３３は、領域情報及びラベル情報を取得する前に、領域情報にラベル情報が関連付けられているか否かを判定する。すなわち、ラベル付与判定部１３３は、領域情報に対してラベル情報が付与されているか否かを判定する。ラベル付与判定部１３３は、領域情報に対してラベル情報が付与されていないと判定された場合、警告部１３６に対し警告情報を出力するように指示する。

保留ラベル判定部１３４は、ラベル情報が、領域の分類作業の状態を示す作業情報を含むか否かを判定する。作業情報は、分類作業が保留されたことを示す保留情報を含む。ユーザは、ラベル情報を選択する際に、どのラベル情報を選択すればよいかわからない場合、ラベル情報の選択を保留することができる。この場合、ユーザは、分類作業を保留することを示す保留ラベル（保留情報）を選択する。保留ラベル判定部１３４は、分類作業が保留されたことを示す保留情報をラベル情報が含むか否かを判定する。保留ラベル判定部１３４は、分類作業の終了操作が端末装置２により入力された場合、ラベル情報が、領域の分類作業の状態を示す作業情報を含むか否かを判定する。

ラベル情報比較部１３５は、第１の画像に映る物体の領域を示す第１の領域情報と、第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、第１の領域情報に関連付けられた領域の分類を示す第１のラベル情報と、第２の領域情報に関連付けられた領域の分類を示す第２のラベル情報と、を取得する。第２の画像は、第１の画像よりも時系列的に１つ前に取得された画像である。ラベル情報比較部１３５は、第１の領域情報及び第２の領域情報に基づいて、第１の領域情報と第２の領域情報との類似性を判定する。また、ラベル情報比較部１３５は、類似性の判定結果に応じて、第１のラベル情報と第２のラベル情報とが一致するか否かを判定する。

ラベル情報比較部１３５は、第１の領域情報が示す領域の態様と、第２の領域情報が示す領域の態様とに基づいて、類似性を判定する。領域の態様は、領域のサイズ及び領域の画像上の位置のいずれかである。例えば、ラベル情報比較部１３５は、第１の領域情報が示す領域のサイズと、第２の領域情報が示す領域のサイズとの差分が所定値以下である場合、第１の領域情報と第２の領域情報とは類似していると判定する。また、ラベル情報比較部１３５は、第１の領域情報が示す領域のサイズと、第２の領域情報が示す領域のサイズとの差分が所定値より大きい場合、第１の領域情報と第２の領域情報とは類似していないと判定する。さらに、例えば、ラベル情報比較部１３５は、第１の領域情報が示す領域の位置と、第２の領域情報が示す領域の位置との間の距離が所定値以下である場合、第１の領域情報と第２の領域情報とは類似していると判定する。また、ラベル情報比較部１３５は、第１の領域情報が示す領域の位置と、第２の領域情報が示す領域の位置との間の距離が所定値より大きい場合、第１の領域情報と第２の領域情報とは類似していないと判定する。

なお、ラベル情報比較部１３５は、第１の画像を撮影した地点の位置を示す第１の位置情報と、第２の画像を撮影した地点の位置を示す第２の位置情報とに基づいて、類似性を判定してもよい。なお、第１の位置情報及び第２の位置情報は、画像データに対応付けられている。ラベル情報比較部１３５は、第１の位置情報及び第２の位置情報を画像データ記憶部１２１から取得する。

また、ラベル情報比較部１３５は、第１の領域情報が示す領域内の物体の画像認識結果と、第２の領域情報が示す領域内の物体の画像認識結果とに基づいて、類似性を判定してもよい。すなわち、ラベル情報比較部１３５は、第１の領域情報が示す領域内の物体の画像認識結果と、第２の領域情報が示す領域内の物体の画像認識結果とが一致した場合、第１の領域情報と第２の領域情報とは類似していると判定する。一方、ラベル情報比較部１３５は、第１の領域情報が示す領域内の物体の画像認識結果と、第２の領域情報が示す領域内の物体の画像認識結果とが一致しない場合、第１の領域情報と第２の領域情報とは類似していないと判定する。

さらに、ラベル情報比較部１３５による第１の領域情報と第２の領域情報との類似性の判定方法は上記に限定されない。ラベル情報比較部１３５は、第２の領域情報が示す領域の位置が第１の領域情報が示す領域の位置に移動する軌跡に基づいて、第１の領域情報と第２の領域情報とが類似しているか否かを判定してもよい。また、ラベル情報比較部１３５は、第１の画像を撮影した際の撮影装置の速度と、第２の画像を撮影した際の撮影装置の速度とに基づいて、類似性を判定してもよい。また、ラベル情報比較部１３５は、第１の画像を撮影した際の撮影装置の加速度と、第２の画像を撮影した際の撮影装置の加速度とに基づいて、類似性を判定してもよい。

警告部１３６は、ラベル付与判定部１３３によって領域情報にラベル情報が関連付けられていないと判定された場合、領域情報にラベル情報が関連付けられていないことを警告するためのラベル付与警告情報を端末装置２に出力させる。このとき、通信部１１は、警告部１３６によって生成されたラベル付与警告情報を端末装置２に送信する。

また、警告部１３６は、ラベル情報比較部１３５によって第１のラベル情報と第２のラベル情報とが一致しないと判定された場合、第１のラベル情報及び第２のラベル情報の少なくとも一方を変更するための所定の処理を行う。例えば、警告部１３６は、ラベル情報比較部１３５によって第１のラベル情報と第２のラベル情報とが一致しないと判定された場合、第１のラベル情報と第２のラベル情報とが一致しないことを警告するためのラベル不一致警告情報を端末装置２に出力させる。このとき、通信部１１は、警告部１３６によって生成されたラベル不一致警告情報を端末装置２に送信する。

確認部１３７は、保留ラベル判定部１３４によってラベル情報が作業情報を含むと判定された場合、分類作業の状態をユーザに確認するための確認情報を端末装置２に出力させる。すなわち、確認部１３７は、分類作業が保留されたことを示す保留情報をラベル情報が含むと判定された場合、分類作業が保留されていることをユーザに確認するための保留確認情報を端末装置２に出力させる。このとき、通信部１１は、確認部１３７によって生成された保留確認情報を端末装置２に送信する。また、ラベル情報生成部１３２２は、通信部１１を介して、保留確認情報に対するユーザの端末装置２による入力操作に応じてラベル情報を取得する。

端末装置２は、例えば、パーソナルコンピュータである。端末装置２は、通信部２１、入力部２２、出力部２３及び制御部２４を備える。

通信部２１は、無線又は有線を用いて、インターネット等の通信ネットワークを介して、サーバ１などの外部装置と通信を行い、情報を送受信する。

入力部２２は、例えば、キーボード又はマウスであり、ユーザによる入力操作を受け付ける。入力部２２は、領域情報のユーザによる入力操作及びラベル情報のユーザによる入力操作を受け付ける。

出力部２３は、例えば、液晶表示装置であり、種々の情報を表示する。出力部２３は、領域情報のユーザによる入力を受け付けるための領域情報入力画面及びラベル情報のユーザによる入力を受け付けるためのラベル情報入力画面を表示する。また、出力部２３は、領域情報にラベル情報が関連付けられていないことを警告するためのラベル付与警告情報、分類作業が保留されたことをユーザに確認するための保留確認情報、及び第１の分類情報と第２の分類情報とが一致しないことを警告するためのラベル不一致警告情報を表示する。

なお、出力部２３は、例えば、スピーカであってもよく、ラベル付与警告情報、保留確認情報及びラベル不一致警告情報を音声により出力してもよい。

制御部２４は、例えば、プロセッサであり、端末装置２の各構成の動作を制御する。

続いて、本実施の形態１におけるサーバ１の動作について説明する。

図２は、本実施の形態１におけるサーバの動作について説明するための第１のフローチャートであり、図３は、本実施の形態１におけるサーバの動作について説明するための第２のフローチャートである。

まず、ステップＳ１において、画像取得部１３１は、画像データ記憶部１２１からアノテーション処理に用いる画像データを取得する。このとき、画像取得部１３１は、複数の画像データで構成される画像データセットを取得する。

次に、ステップＳ２において、領域情報生成部１３２１は、画像に映る物体の領域を示す領域情報を生成する。ここで、領域情報生成部１３２１は、領域情報のユーザによる入力を受け付けるための領域情報入力画面を生成し、通信部１１を介して端末装置２へ送信する。端末装置２の通信部２１は、領域情報入力画面を受信する。出力部２３は、領域情報入力画面を表示する。入力部２２は、領域情報入力画面において領域情報のユーザによる入力操作を受け付ける。

図４は、本実施の形態１における領域情報入力画面の一例を示す図である。出力部２３は、図４に示す領域情報入力画面２０１を表示する。領域情報入力画面２０１には、画像２０２が表示される。領域情報入力画面２０１上には、カーソル２０３が表示され、ユーザは、入力部２２であるマウスを移動させることにより、領域情報入力画面２０１上のカーソル２０３を移動させる。ユーザは、マウスのボタンを長押しした状態で移動させることにより、画像２０２上に矩形状の枠２０４を表示させ、マウスのボタンを離すことにより、矩形状の枠２０４の形状及びサイズを決定する。ユーザは、対象物を囲むように、矩形状の枠２０４を表示させることにより、対象物を示す領域を決定する。図４では、自転車に乗った人物が対象物として選択され、対象物を囲むように、矩形状の枠２０４が表示されている。対象物を囲む領域が選択されると、制御部２４は、画像２０２上の領域の位置を示す領域情報を生成する。

通信部２１は、制御部２４によって生成された領域情報をサーバ１へ送信する。サーバ１の通信部１１は、端末装置２によって送信された領域情報を受信し、領域情報生成部１３２１へ出力する。領域情報生成部１３２１は、通信部１１によって受信された領域情報を取得する。以上により、領域情報生成部１３２１は、領域情報を生成する。

図２に戻って、次に、ステップＳ３において、ラベル情報生成部１３２２は、領域情報に関連付けられた領域の分類を示すラベル情報を生成する。ここで、ラベル情報生成部１３２２は、ラベル情報のユーザによる入力を受け付けるためのラベル情報入力画面を生成し、通信部１１を介して端末装置２へ送信する。端末装置２の通信部２１は、ラベル情報入力画面を受信する。出力部２３は、ラベル情報入力画面を表示する。入力部２２は、ラベル情報入力画面においてラベル情報のユーザによる入力操作を受け付ける。

図５は、本実施の形態１におけるラベル情報入力画面の一例を示す図である。出力部２３は、図５に示すラベル情報入力画面３０１を表示する。ラベル情報入力画面３０１には、画像２０２、ラベル情報選択リスト２０５及び画像切替ボタン２０６が表示される。ラベル情報入力画面３０１上には、カーソル２０３が表示され、ユーザは、入力部２２であるマウスを移動させることにより、ラベル情報入力画面３０１上のカーソル２０３を移動させる。ラベル情報選択リスト２０５には、対象物を分類するためのラベル名が選択可能に表示される。図５では、ラベル名として、電車、車、バス、バイク、自転車、歩行者及びその他が表示され、各ラベル名の左隣に選択ボタンが表示される。

まず、ユーザは、カーソル２０３を画像２０２上の所望の対象物の領域に移動させてマウスのボタンをクリックすることにより、ラベルを付与する対象物の領域を選択する。対象物の領域が選択されると、ラベル情報入力画面３０１上にラベル情報選択リスト２０５が表示される。

次に、ユーザは、カーソル２０３を所望のラベル名の左隣の選択ボタンに移動させてマウスのボタンをクリックすることにより、対象物の領域を分類するためのラベルを決定する。なお、対象物を分類することができず、対象物を後から分類する場合、ユーザは、ラベル情報選択リスト２０５に表示された「保留」に対応する選択ボタンを選択する。図５では、矩形状の枠２０４で示される領域に対するラベル名として、自転車に対応する選択ボタンが選択されている。ラベル名が選択されると、制御部２４は、ラベル名を示すラベル情報を生成する。

なお、ラベル情報は、対象物が何であるかを示す情報だけでなく、対象物がどこに存在しているかを示す情報を含んでもよい。ラベル情報入力画面３０１では、例えば、対象物が存在している場所が、車道及び歩道のいずれであるかの選択を受け付けてもよい。

通信部２１は、制御部２４によって生成されたラベル情報をサーバ１へ送信する。サーバ１の通信部１１は、端末装置２によって送信されたラベル情報を受信し、ラベル情報生成部１３２２へ出力する。ラベル情報生成部１３２２は、通信部１１によって受信されたラベル情報を取得する。以上により、ラベル情報生成部１３２２は、ラベル情報を生成する。なお、ユーザは、領域情報生成部１３２１によって生成された画像上の全ての領域に対してラベル情報を関連付ける。

また、図５に示すように、１つの画像データセットのうちの全ての画像データに対して領域情報及びラベル情報が対応付けられていない場合、次の画像データに切り替えるための画像切替ボタン２０６が表示される。一方、１つの画像データセットのうちの全ての画像データに対して領域情報及びラベル情報が対応付けられた場合、画像データセットに対するアノテーション処理を終了するための不図示の終了ボタンが表示される。

図２に戻って、次に、ステップＳ４において、情報統合部１３２３は、画像データと、領域情報と、ラベル情報とを統合してラベル付与画像データを生成する。

次に、ステップＳ５において、画像取得部１３１は、次の画像に切り替える指示を受け付けたか否かを判断する。図５に示す画像切替ボタン２０６がクリックされた場合、端末装置２の通信部２１は、次の画像に切り替えるための画像切替指示をサーバ１へ送信する。サーバ１の通信部１１は、画像切替指示を受信する。画像切替指示が受信された場合、画像取得部１３１は、画像切替指示を受け付けたと判断する。

ここで、画像切替指示を受け付けたと判断された場合（ステップＳ５でＹＥＳ）、ステップＳ６において、ラベル付与判定部１３３は、１の画像データに対して生成された全ての領域情報にラベル情報が関連付けられているか否かを判定する。少なくとも１つの領域情報にラベル情報が関連付けられていないと判定された場合（ステップＳ６でＮＯ）、ステップＳ７において、警告部１３６は、少なくとも１つの領域情報にラベル情報が関連付けられていないことを警告するためのラベル付与警告情報を端末装置２に出力させる。すなわち、警告部１３６は、ラベル付与警告情報を通信部１１へ出力し、通信部１１は、ラベル付与警告情報を端末装置２へ送信する。端末装置２の通信部２１は、サーバ１によって送信されたラベル付与警告情報を受信する。出力部２３は、通信部２１によって受信されたラベル付与警告情報を表示する。

図６は、本実施の形態１において、少なくとも１つの領域情報にラベル情報が関連付けられていない場合に表示されるラベル付与警告情報の一例を示す図である。

少なくとも１つの領域情報にラベル情報が関連付けられていない場合、ラベル付与警告情報２０７が表示される。例えば、ユーザは、領域情報に対してラベル情報を入力するのを忘れることがある。領域情報に対してラベル情報が入力されていない状態で、次の画像に切り替える画像切替ボタン２０６がクリックされた場合、少なくとも１つの領域情報にラベル情報が関連付けられていないことを警告するためのラベル付与警告情報２０７が表示される。これにより、ユーザは、ラベル情報を入力していない領域情報を認識することができ、ラベル情報の入力漏れを防止することができる。

図６に示すラベル情報入力画面３０１では、ラベル情報が関連付けられていない領域情報を示す矩形状の枠２０４が識別可能に表示される。例えば、ラベル情報が関連付けられていない領域情報を示す矩形状の枠２０４は、ラベル情報が関連付けられている領域情報を示す矩形状の枠２０４とは異なる色で表示される。ラベル付与警告情報２０７としては、例えば、「対象物にラベル情報がありません」との文章が表示される。

そして、ステップＳ７でラベル付与警告情報が出力された後、ステップＳ３に処理が戻り、再度、ラベル情報が生成される。

一方、ステップＳ５において画像切替指示を受け付けていないと判断された場合（ステップＳ５でＮＯ）、画像取得部１３１は、画像データセットに対するアノテーション処理を終了するためのアノテーション終了指示を受け付けたか否かを判定する。すなわち、ラベル情報入力画面３０１において、終了ボタンがクリックされた場合、端末装置２の通信部２１は、画像データセットに対するアノテーション処理を終了するためのアノテーション終了指示をサーバ１へ送信する。サーバ１の通信部１１は、アノテーション終了指示を受信する。アノテーション終了指示が受信された場合、画像取得部１３１は、アノテーション終了指示を受け付けたと判断する。

ここで、アノテーション終了指示を受け付けていないと判定された場合（ステップＳ８でＮＯ）、ステップＳ２へ処理が戻り、領域情報生成部１３２１は、画像に映る物体の領域を示す領域情報を生成する。

一方、アノテーション終了指示を受け付けたと判定された場合（ステップＳ８でＹＥＳ）、ステップＳ９において、保留ラベル判定部１３４は、ラベル情報が保留ラベルを含むか否かを判定する。すなわち、保留ラベル判定部１３４は、ラベル情報が入力されずに、保留されているか否かを判定する。ここで、ラベル情報が保留ラベルを含むと判定された場合（ステップＳ９でＹＥＳ）、ステップＳ１０において、確認部１３７は、保留されたラベル情報が存在することをユーザに確認するための保留確認情報を端末装置２に出力させる。すなわち、確認部１３７は、保留確認情報を通信部１１へ出力し、通信部１１は、保留確認情報を端末装置２へ送信する。端末装置２の通信部２１は、サーバ１によって送信された保留確認情報を受信する。出力部２３は、通信部２１によって受信された保留確認情報を表示する。

図７は、本実施の形態１において、ラベル情報が保留ラベルを含む場合に表示される保留確認情報の一例を示す図である。

図７に示すように、ラベル情報入力画面３０１Ａは、第１の画像２０２Ａの領域情報に対してラベル情報を入力するための画面であり、ラベル情報入力画面３０１Ｂは、第２の画像２０２Ｂの領域情報に対してラベル情報を入力するための画面であり、ラベル情報入力画面３０１Ｎは、第Ｎの画像２０２Ｎの領域情報に対してラベル情報を入力するための画面である。

図７では、第１の画像２０２Ａの１つ領域情報に対して、保留ラベルが選択されている。画像データセットの最後の画像データである第Ｎの画像２０２Ｎに対してラベル情報を入力するラベル情報入力画面３０１Ｎは、画像データセットに対するアノテーション処理を終了するための終了ボタン２０９を含む。

保留ラベルを含むラベル情報が存在する場合、保留確認情報２１０が表示される。例えば、ユーザは、領域情報に対して後からラベル情報を入力するために、一旦保留ラベルを選択し、その後保留したラベル情報の入力を忘れることがある。ラベル情報が保留ラベルを含む状態で、アノテーション処理を終了するための終了ボタン２０９がクリックされた場合、保留されたラベル情報が存在することをユーザに確認するための保留確認情報２１０が表示される。これにより、ユーザは、入力が保留されたラベル情報を認識することができ、ラベル情報の入力漏れを防止することができる。

図７に示すように、ラベル情報入力画面３０１Ｎに表示された終了ボタン２０９がクリックされた場合、保留ラベルを含むラベル情報が存在するラベル情報入力画面３０１Ａが表示されるとともに、ラベル情報入力画面３０１Ａに保留確認情報２１０が表示される。

図７に示すラベル情報入力画面３０１Ａでは、ラベル情報が関連付けられていない領域情報を示す矩形状の枠２０４が識別可能に表示される。例えば、ラベル情報が関連付けられていない領域情報を示す矩形状の枠２０４は、ラベル情報が関連付けられている領域情報を示す矩形状の枠２０４とは異なる色で表示される。保留確認情報２１０としては、例えば、「保留した対象物にラベル情報を付与してください」との文章が表示される。

そして、ステップＳ１０で保留確認情報が出力された後、ステップＳ３に処理が戻り、再度、ラベル情報が生成される。

図２に戻って、ラベル情報が保留ラベルを含まないと判定された場合（ステップＳ９でＮＯ）、ステップＳ１１において、情報統合部１３２３は、画像データと、領域情報と、ラベル情報とを統合したラベル付与画像データをラベル付与画像データ記憶部１２２に記憶する。

一方、ステップＳ６において１の画像データに対して生成された全ての領域情報にラベル情報が関連付けられていると判定された場合（ステップＳ６でＹＥＳ）、ステップＳ１２において、ラベル情報比較部１３５は、現在の画像に対応付けられている領域情報及びラベル情報を取得する。なお、ラベル情報比較部１３５は、現在の画像に複数の領域情報及びラベル情報が対応付けられている場合、複数の領域情報及びラベル情報を取得する。

ステップＳ１３において、ラベル情報比較部１３５は、１つ前の画像に対応付けられている領域情報及びラベル情報を取得する。なお、ラベル情報比較部１３５は、１つ前の画像に複数の領域情報及びラベル情報が対応付けられている場合、複数の領域情報及びラベル情報を取得する。

次に、ステップＳ１４において、ラベル情報比較部１３５は、現在の画像に対応付けられている領域情報と、１つ前の画像に対応付けられている領域情報との類似性を判定する。すなわち、ラベル情報比較部１３５は、現在の画像に対応付けられている少なくとも１つの領域情報のそれぞれと、１つ前の画像に対応付けられている少なくとも１つの領域情報との類似性を判定する。ラベル情報比較部１３５は、１つ前の画像に対応付けられている少なくとも１つの領域情報の中から１の領域情報と類似している領域情報を特定する。そして、ラベル情報比較部１３５は、現在の画像に対応付けられている少なくとも１つの領域情報のうちの他の領域情報のそれぞれについても同様の処理を行い、他の領域情報のそれぞれに類似する領域情報を１つ前の画像に対応付けられている少なくとも１つの領域情報の中から特定する。

なお、ラベル情報比較部１３５は、現在の画像に対応付けられている領域情報で示される領域の位置と、１つ前の画像に対応付けられている領域情報で示される領域の位置との間の距離を算出し、算出した距離が所定値以下である場合、２つの領域情報は類似していると判定する。また、ラベル情報比較部１３５は、算出した距離が所定値より大きい場合、２つの領域情報は類似していないと判定する。

次に、ステップＳ１４において、ラベル情報比較部１３５は、現在の画像に対応付けられている領域情報に類似する領域情報が１つ前の画像に対応付けられているか否かを判定する。ここで、現在の画像に対応付けられている領域情報に類似する領域情報が１つ前の画像に対応付けられていないと判定された場合（ステップＳ１５でＮＯ）、ステップＳ８へ処理が移行する。

一方、現在の画像に対応付けられている領域情報に類似する領域情報が１つ前の画像に対応付けられていると判定された場合（ステップＳ１５でＹＥＳ）、ステップＳ１６において、ラベル情報比較部１３５は、互いに類似する領域情報のラベル情報が異なるか否かを判定する。ここで、互いに類似する領域情報のラベル情報が異ならない、すなわち、互いに類似する領域情報のラベル情報が同じであると判定された場合（ステップＳ１６でＮＯ）、ステップＳ８へ処理が移行する。

一方、互いに類似する領域情報のラベル情報が異なると判定された場合（ステップＳ１６でＹＥＳ）、ステップＳ１７において、警告部１３６は、互いに類似する領域情報のラベル情報が異なることを警告するためのラベル不一致警告情報を端末装置２に出力させる。すなわち、警告部１３６は、ラベル不一致警告情報を通信部１１へ出力し、通信部１１は、ラベル不一致警告情報を端末装置２へ送信する。端末装置２の通信部２１は、サーバ１によって送信されたラベル不一致警告情報を受信する。出力部２３は、通信部２１によって受信されたラベル不一致警告情報を表示する。

図８は、本実施の形態１における１つ前の画像に対するラベル情報入力画面の一例を示す図であり、図９は、本実施の形態１における現在の画像に対するラベル情報入力画面の一例を示す図である。

図８に示すように、ラベル情報入力画面３０１１には、１つ前の画像２０２１、ラベル情報選択リスト２０５及び画像切替ボタン２０６が表示されている。図８では、矩形状の枠２０４で示される領域に対するラベル名として、バイクに対応する選択ボタンが選択されている。

また、図９に示すように、ラベル情報入力画面３０１２には、現在の画像２０２２及びラベル情報選択リスト２０５及び画像切替ボタン２０６が表示されている。図９では、矩形状の枠２０４で示される領域に対するラベル名として、自転車に対応する選択ボタンが選択されている。

このように、１つ前の画像２０２１の形状の枠２０４で示される領域のラベル情報と、現在の画像２０２２の形状の枠２０４で示される領域のラベル情報とが異なる場合、ラベル不一致警告情報２１１が表示される。例えば、画像内の対象物の大きさによっては、ユーザは、現在の画像の対象物に対し、１つ前の画像の同一の対象物に対するラベル情報とは異なるラベル情報を入力することがある。現在の画像のラベル情報と１つ前の画像のラベル情報とが異なる状態で、次の画像に切り替える画像切替ボタン２０６がクリックされた場合、現在の画像と１つ前の画像とでラベル情報が異なることを警告するためのラベル不一致警告情報２１１が表示される。これにより、ユーザは、同一の対象物に対して同一のラベル情報を付与することができ、ラベル情報を統一することができる。

図９に示すラベル情報入力画面３０１２では、１つ前の画像とラベル情報が異なる領域情報を示す矩形状の枠２０４が識別可能に表示される。例えば、１つ前の画像とラベル情報が異なる領域情報を示す矩形状の枠２０４は、１つ前の画像とラベル情報が同じ領域情報を示す矩形状の枠２０４とは異なる色で表示される。ラベル不一致警告情報２１１としては、例えば、「１つ前の画像とラベル情報が異なります」との文章が表示される。

なお、警告部１３６は、現在の画像のラベル情報が保留ラベルであり、１つ前の画像のラベル情報が保留ラベルである場合、ラベル不一致警告情報２１１を出力しなくてもよい。また、警告部１３６は、現在の画像のラベル情報が保留ラベルであり、１つ前の画像のラベル情報が保留ラベル以外のラベル名である場合、ラベル不一致警告情報２１１を出力してもよい。また、警告部１３６は、現在の画像のラベル情報が保留ラベル以外のラベル名であり、１つ前の画像のラベル情報が保留ラベルである場合、ラベル不一致警告情報２１１を出力してもよい。

そして、ステップＳ１７でラベル不一致警告情報が出力された後、ステップＳ３に処理が戻り、再度、ラベル情報が生成される。

なお、本実施の形態１では、１つ前の画像と現在の画像とで互いに類似する領域情報のラベル情報が異なると判定された場合、ステップＳ１７において、警告部１３６は、互いに類似する領域情報のラベル情報が異なることを警告するためのラベル不一致警告情報を端末装置２に出力させているが、本開示は特にこれに限定されない。１つ前の画像と現在の画像とで互いに類似する領域情報のラベル情報が異なると判定された場合、ラベル情報生成部１３２２は、１つ前の画像のラベル情報を現在の画像のラベル情報に変更してもよい。

また、本実施の形態１では、ラベル情報の入力を保留する場合、保留ラベルが選択されるが、本開示は特にこれに限定されず、ラベル情報の１つとして保留ラベルがなくてもよい。

（実施の形態２）
実施の形態１では、１つ前の画像と現在の画像とで互いに類似する領域情報のラベル情報が異なることを警告するためのラベル不一致警告情報が表示され、現在の画像の領域情報に対応するラベル情報が再度生成される。これに対し、実施の形態２では、１つ前の画像と現在の画像とで互いに類似する領域情報のラベル情報が異なっていてもよいか否かを確認するためのラベル不一致確認情報が表示され、１つ前の画像以前のアノテーション処理済みの画像の領域情報のラベル情報を、現在の画像の領域情報のラベル情報に変更するか否かを確認するためのラベル変更確認情報が表示される。

図１０は、本実施の形態２における情報処理システムの全体構成を示すブロック図である。図１０に示す情報処理システムは、サーバ１Ａと端末装置２とを備える。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。

サーバ１Ａは、通信部１１、記憶部１２及び制御部１３Ａを備える。制御部１３Ａは、例えばプロセッサであり、画像取得部１３１、アノテーション処理部１３２、ラベル付与判定部１３３、保留ラベル判定部１３４、ラベル情報比較部１３５、警告部１３６及び確認部１３７Ａを備える。

確認部１３７Ａは、ラベル情報比較部１３５によって第１のラベル情報と第２のラベル情報とが一致しないと判定された場合、上述した所定の処理として、第２のラベル情報と第１のラベル情報とが異なっていてもよいか否かを確認するためのラベル不一致確認情報を端末装置２に出力させる。

また、確認部１３７Ａは、ラベル情報比較部１３５によって第１のラベル情報と第２のラベル情報とが一致しないと判定された場合、上述した所定の処理として、第２のラベル情報を第１のラベル情報に変更するか否かをユーザに確認するためのラベル変更確認情報を端末装置２に出力させる。特に、確認部１３７Ａは、１つ前の画像の第２の領域情報に対応付けられている第２のラベル情報だけでなく、すでにアノテーション処理済みの１つ前以前の画像の第２の領域情報に対応付けられている第２のラベル情報を、現在の画像の第１の領域情報に対応付けられている第１のラベル情報に変更するか否かをユーザに確認するためのラベル変更確認情報を端末装置２に出力させてもよい。

ラベル情報生成部１３２２は、ラベル変更確認情報に対するユーザの入力操作に応じて第２のラベル情報を第１のラベル情報に変更する。特に、ラベル情報生成部１３２２は、１つ前の画像の第２の領域情報に対応付けられている第２のラベル情報だけでなく、すでにアノテーション処理済みの１つ前以前の画像の第２の領域情報に対応付けられている第２のラベル情報を、現在の画像の第１の領域情報に対応付けられている第１のラベル情報に変更してもよい。

続いて、本実施の形態２におけるサーバ１Ａの動作について説明する。

図１１は、本実施の形態２におけるサーバの動作について説明するための第１のフローチャートであり、図１２は、本実施の形態２におけるサーバの動作について説明するための第２のフローチャートであり、図１３は、本実施の形態２におけるサーバの動作について説明するための第３のフローチャートである。なお、本実施の形態２におけるステップＳ２１〜ステップＳ３６の処理は、図２及び図３に示すステップＳ１〜ステップＳ１６の処理と同じであるので説明を省略する。

ステップＳ３６で互いに類似する領域情報のラベル情報が異なると判定された場合（ステップＳ３６でＹＥＳ）、ステップＳ３７において、確認部１３７Ａは、１つ前の画像の領域情報に対応付けられているラベル情報と、現在の画像の領域情報に対応付けられているラベル情報とが異なっていてもよいか否かを確認するためのラベル不一致確認情報を端末装置２に出力させる。すなわち、確認部１３７Ａは、ラベル不一致確認情報を通信部１１へ出力し、通信部１１は、ラベル不一致確認情報を端末装置２へ送信する。端末装置２の通信部２１は、サーバ１によって送信されたラベル不一致確認情報を受信する。出力部２３は、通信部２１によって受信されたラベル不一致確認情報を表示する。

次に、ステップＳ３８において、確認部１３７Ａは、ラベル不一致確認情報に応じて、１つ前の画像の領域情報に対応付けられているラベル情報と、現在の画像の領域情報に対応付けられているラベル情報とが異なっていることを許容するラベル情報の許容操作の入力を受け付けたか否かを判定する。ここで、ラベル情報の許容操作の入力を受け付けたと判定された場合（ステップＳ３８でＹＥＳ）、ステップＳ２３に処理が戻る。

一方、ラベル情報の許容操作の入力を受け付けていないと判定された場合（ステップＳ３８でＮＯ）、ステップＳ３９において、確認部１３７Ａは、すでにアノテーション処理済みの１つ前以前の画像の領域情報に対応付けられているラベル情報を、現在の画像の領域情報に対応付けられているラベル情報に変更するか否かをユーザに確認するためのラベル変更確認情報を端末装置２に出力させる。すなわち、確認部１３７Ａは、ラベル変更確認情報を通信部１１へ出力し、通信部１１は、ラベル変更確認情報を端末装置２へ送信する。端末装置２の通信部２１は、サーバ１によって送信されたラベル変更確認情報を受信する。出力部２３は、通信部２１によって受信されたラベル変更確認情報を表示する。

次に、ステップＳ４０において、確認部１３７Ａは、ラベル変更確認情報に応じて、すでにアノテーション処理済みの１つ前以前の画像の領域情報に対応付けられているラベル情報を、現在の画像の領域情報に対応付けられているラベル情報に変更するラベル情報の置換操作の入力を受け付けたか否かを判定する。ここで、ラベル情報の置換操作の入力を受け付けていないと判定された場合（ステップＳ４０でＮＯ）、ステップＳ２３に処理が戻る。

一方、ラベル情報の置換操作の入力を受け付けたと判定された場合（ステップＳ４０でＹＥＳ）、ステップＳ４１において、ラベル情報生成部１３２２は、すでにアノテーション処理済みの１つ前以前の画像の領域情報に対応付けられているラベル情報を、現在の画像の領域情報に対応付けられているラベル情報に変更する。

図１４は、本実施の形態２において、１つ前の画像と現在の画像とで互いに類似する領域情報のラベル情報が異なっている場合に表示されるラベル不一致確認情報及びラベル変更確認情報の一例を示す図である。

図１４に示すように、ラベル情報入力画面４０１Ａは、第１の画像４０２Ａの領域情報に対してラベル情報を入力するための画面であり、ラベル情報入力画面４０１Ｂは、第２の画像４０２Ｂの領域情報に対してラベル情報を入力するための画面であり、ラベル情報入力画面４０１Ｃは、第３の画像４０２Ｃの領域情報に対してラベル情報を入力するための画面であり、ラベル情報入力画面４０１Ｄは、第４の画像４０２Ｄの領域情報に対してラベル情報を入力するための画面である。なお、第４の画像４０２Ｄが現在アノテーション処理中の現在の画像であり、第３の画像４０２Ｃが、第４の画像４０２Ｄの１つ前の画像である。

まず、第１の画像４０２Ａ、第２の画像４０２Ｂ及び第３の画像４０２Ｃでは、矩形状の枠２０４内の対象物の下部が、障害物４０３に隠れているため、ユーザは、対象物は歩行者であると推測している。そのため、ラベル情報入力画面４０１Ａ，４０１Ｂ，４０１Ｃでは、矩形状の枠２０４で示される領域に対するラベル情報として、歩行者に対応する選択ボタンが選択されている。

一方、第４の画像４０２Ｄでは、矩形状の枠２０４内の対象物が、障害物４０３から現れており、ユーザは、対象物が実際には車いすに乗った人物であったことが分かった。そのため、ラベル情報入力画面４０１Ｄでは、矩形状の枠２０４で示される領域に対するラベル情報として、その他に対応する選択ボタンが選択されている。

この場合、第３の画像４０２Ｃの矩形状の枠２０４で示される領域に対する第２のラベル情報と、第４の画像４０２Ｄの矩形状の枠２０４で示される領域に対する第１のラベル情報とは異なっており、第２のラベル情報と第１のラベル情報とが異なっていてもよいか否かを確認するためのラベル不一致確認情報４１１が表示される。

ラベル不一致確認情報４１１としては、例えば、「１つ前の画像とラベル情報が異なりますがよろしいですか？」との文章が表示され、ラベル情報が互いに異なることを許容するためのＹＥＳボタンと、ラベル情報が互いに異なることを許容しないためのＮＯボタンとが表示される。ＹＥＳボタンにカーソル２０３が合わされてクリックされると、第３の画像４０２Ｃの矩形状の枠２０４で示される領域に対する第２のラベル情報と、第４の画像４０２Ｄの矩形状の枠２０４で示される領域に対する第１のラベル情報とが異なることが許容される。

一方、ＮＯボタンにカーソル２０３が合わされてクリックされると、すでにアノテーション処理済みの１つ前以前の画像４０２Ａ，４０２Ｂ，４０２Ｃの領域情報に対応付けられている第２のラベル情報を、第４の画像４０２Ｄの領域情報に対応付けられている第１のラベル情報に変更するか否かをユーザに確認するためのラベル変更確認情報４１２が表示される。

ラベル変更確認情報４１２としては、例えば、「処理済み画像のラベル情報を変更しますか？」との文章が表示され、ラベル情報の変更を許容するためのＹＥＳボタンと、ラベル情報の変更を許容しないためのＮＯボタンとが表示される。ＹＥＳボタンにカーソル２０３が合わされてクリックされると、１つ前以前の第１、第２及び第３の画像４０２Ａ，４０２Ｂ，４０２Ｃの領域情報に対応付けられている第２のラベル情報が、現在の第４の画像４０２Ｄの領域情報に対応付けられている第１のラベル情報に変更される。例えば、図１４では、歩行者に対応する第２のラベル情報が、その他に対応する第１のラベル情報に変更される。

一方、ＮＯボタンにカーソル２０３が合わされてクリックされると、第３の画像４０２Ｃの矩形状の枠２０４で示される領域に対する第２のラベル情報と、第４の画像４０２Ｄの矩形状の枠２０４で示される領域に対する第１のラベル情報とが異なることが許容される。

このように、１つ前の第３の画像４０２Ｃの領域情報に対応付けられている第２のラベル情報が、現在の第４の画像４０２Ｄの領域情報に対応付けられている第１のラベル情報に変更されるので、誤ったラベル情報が付与されるのを防止することができる。また、１つ前以前の第１、第２及び第３の画像４０２Ａ，４０２Ｂ，４０２Ｃの領域情報に対応付けられている第２のラベル情報が、現在の第４の画像４０２Ｄの領域情報に対応付けられている第１のラベル情報に変更されるので、誤った複数のラベル情報を一括して修正することができ、ユーザの手間を省くことができる。

以上、本開示のシステムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、プロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ（中央演算処理装置）等のプロセッサがプログラムを実行することにより実現してもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

さらに、本開示の主旨を逸脱しない限り、本開示の各実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。

本開示に係る情報処理方法及び情報処理プログラムは、画像に映る物体を識別する識別器の識別性能をより効果的に向上させることができ、画像に映る物体を分類する情報処理方法及び情報処理プログラムとして有用である。

１，１Ａ サーバ
２ 端末装置
１１ 通信部
１２ 記憶部
１３，１３Ａ 制御部
２１ 通信部
２２ 入力部
２３ 出力部
２４ 制御部
１２１ 画像データ記憶部
１２２ ラベル付与画像データ記憶部
１３１ 画像取得部
１３２ アノテーション処理部
１３３ ラベル付与判定部
１３４ 保留ラベル判定部
１３５ ラベル情報比較部
１３６ 警告部
１３７，１３７Ａ 確認部
１３２１ 領域情報生成部
１３２２ ラベル情報生成部
１３２３ 情報統合部

Claims (13)

1. プロセッサを用いて、
   第１の画像に映る物体の領域を示す第１の領域情報と、前記第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、前記第１の領域情報に関連付けられた前記領域の分類を示す第１の分類情報と、前記第２の領域情報に関連付けられた前記領域の分類を示す第２の分類情報と、を取得し、
   前記第１の領域情報及び前記第２の領域情報に基づいて、前記第１の領域情報と前記第２の領域情報との類似性を判定し、
   前記類似性の判定結果に応じて、前記第１の分類情報と前記第２の分類情報とが一致するか否かを判定し、
   前記第１の分類情報と前記第２の分類情報とが一致しないと判定された場合、前記第１の分類情報及び前記第２の分類情報の少なくとも一方を変更するための所定の処理を行う、
   情報処理方法。
2. 前記所定の処理は、前記第１の分類情報と前記第２の分類情報とが一致しないことを警告するための警告情報を出力装置に出力させる、
   請求項１記載の情報処理方法。
3. 前記類似性の判定は、前記第１の領域情報が示す前記領域の態様と、前記第２の領域情報が示す前記領域の態様とに基づいて、前記類似性を判定する、
   請求項１又は２記載の情報処理方法。
4. 前記領域の態様は、前記領域のサイズ及び前記領域の画像上の位置のいずれかを含む、
   請求項３記載の情報処理方法。
5. さらに、前記第１の画像を撮影した地点の位置を示す第１の位置情報と、前記第２の画像を撮影した地点の位置を示す第２の位置情報とを取得し、
   前記類似性の判定は、前記第１の位置情報と前記第２の位置情報とに基づいて、前記類似性を判定する、
   請求項１又は２記載の情報処理方法。
6. 前記類似性の判定は、前記第１の領域情報が示す前記領域内の前記物体の画像認識結果と、前記第２の領域情報が示す前記領域内の前記物体の画像認識結果とに基づいて、前記類似性を判定する、
   請求項１又は２記載の情報処理方法。
7. 前記第２の画像は、前記第１の画像よりも時系列で１つ前の画像であり、
   前記所定の処理は、前記第２の分類情報を前記第１の分類情報に変更する、
   請求項１記載の情報処理方法。
8. 前記第２の画像は、前記第１の画像よりも時系列で１つ前の画像であり、
   前記所定の処理は、前記第２の分類情報を前記第１の分類情報に変更するか否かをユーザに確認するための確認情報を出力装置に出力させ、
   さらに、前記確認情報に対する前記ユーザの入力装置による入力操作に応じて前記第２の分類情報を前記第１の分類情報に変更する、
   請求項１記載の情報処理方法。
9. さらに、前記第１の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定すると共に、前記第２の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定し、
   前記所定の処理は、前記第１の分類情報及び前記第２の分類情報の少なくとも一方が前記作業情報を含むと判定された場合、前記分類作業の状態を前記ユーザに確認するための確認情報を出力装置に出力させる、
   請求項１記載の情報処理方法。
10. 前記作業情報は、前記分類作業が保留されたことを示す保留情報を含み、
    前記所定の処理は、
    前記第１の分類情報が前記保留情報を含むと判定された場合、前記分類作業が保留されたことを前記ユーザに確認するための前記確認情報を前記出力装置に出力させ、
    前記確認情報に対する前記ユーザの入力装置による入力操作に応じて前記第１の分類情報を取得し、
    前記第２の分類情報が前記保留情報を含むと判定された場合、前記分類作業が保留されたことを前記ユーザに確認するための前記確認情報を前記出力装置に出力させ、
    前記確認情報に対する前記ユーザの前記入力装置による入力操作に応じて前記第２の分類情報を取得する、
    請求項９記載の情報処理方法。
11. 前記分類作業の終了操作が前記入力装置により入力された場合、前記第１の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定すると共に、前記第２の分類情報が、前記領域の分類作業の状態を示す作業情報を含むか否かを判定する、
    請求項９又は１０記載の情報処理方法。
12. さらに、
    前記第１の領域情報及び前記第１の分類情報を取得する前に、前記第１の領域情報に前記第１の分類情報が関連付けられているか否かを判定し、
    前記第１の領域情報に前記第１の分類情報が関連付けられていないと判定された場合、前記第１の領域情報に前記第１の分類情報が関連付けられていないことを警告するための警告情報を出力装置に出力させる、
    請求項１記載の情報処理方法。
13. プロセッサに、
    第１の画像に映る物体の領域を示す第１の領域情報と、前記第１の画像と時系列で隣接する第２の画像に映る物体の領域を示す第２の領域情報と、前記第１の領域情報に関連付けられた前記領域の分類を示す第１の分類情報と、前記第２の領域情報に関連付けられた前記領域の分類を示す第２の分類情報と、を取得し、
    前記第１の領域情報及び前記第２の領域情報に基づいて、前記第１の領域情報と前記第２の領域情報との類似性を判定し、
    前記類似性の判定結果に応じて、前記第１の分類情報と前記第２の分類情報とが一致するか否かを判定し、
    前記第１の分類情報と前記第２の分類情報とが一致しないと判定された場合、前記第１の分類情報及び前記第２の分類情報の少なくとも一方を変更するための所定の処理を行う、
    処理を実行させるための情報処理プログラム。

Images