JP2020107170A - アノテーション装置、学習モデル、画像センサ、アノテーション方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】識別器の学習用データを効率的に生成することができるアノテーション装置を提供する。【解決手段】画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション装置は、学習対象の画像データである対象画像データを画面に表示させる表示制御部と、対象画像データ上でユーザが指定した位置の座標情報を取得する座標情報取得部と、取得された座標情報に基づいて、座標情報ごとに対象画像データから対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、学習用画像データと対象物のラベルとを含む学習用データを生成する学習用データ生成部とを備え、対象物領域のサイズは、対象物を撮像する撮像装置から対象物までの距離が遠いほど小さい。【選択図】図２

Description

本発明は、アノテーション装置、学習モデル、画像センサ、アノテーション方法、及びコンピュータプログラムに関する。

従来、画像データから対象物を識別する識別器が知られている。識別器のパラメータは、対象物を含む画像データである学習用画像データに対象物のラベルが付与された学習用データを用いて学習（例えば、教師有り学習）を行うことにより求められる。学習用データの生成作業はアノテーション処理と呼ばれる。

例えば、特許文献１にはアノテーション処理を削減するために、動画像データから、移動体を含む画像データを抽出し、抽出した画像データに対してアノテーション処理を行う構成が開示されている。

特開２０１８-８１５４５号公報

しかしながら、特許文献１のようにアノテーション処理の対象となる画像データを削減しても、ユーザによる画像データ中の移動体領域の指定は作業負荷が大きいという課題がある。

例えば、移動体を含む矩形領域を指定するために、ユーザは、矩形領域の左上の点をマウスボタンでクリックし、マウスをドラッグさせながら矩形領域のサイズを変化させ、矩形領域の右下の点でマウスボタンを離すという一連の作業を行わなければならない。

特に、動画像データから抽出された画像データは枚数が膨大であるため、作業の効率化が望まれる。

本発明は、このような事情に鑑みてなされたものであり、識別器の学習用データを効率的に生成することができるアノテーション装置、学習モデル、画像センサ、アノテーション方法、及びコンピュータプログラムを提供することを目的とする。

（１）上記目的を達成するために、本発明の一実施態様に係るアノテーション装置は、画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション装置であって、学習対象の画像データである対象画像データを画面に表示させる表示制御部と、前記対象画像データ上でユーザが指定した位置の座標情報を取得する座標情報取得部と、取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成する学習用データ生成部とを備え、前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい。

（９）本発明の他の実施態様に係る学習モデルは、画像データに基づいて、当該画像データから対象物を識別するよう、コンピュータを機能させるための学習モデルであって、上述のアノテーション装置により生成された学習用データを用いてパラメータが学習されている。

（１０）本発明の他の実施態様に係る画像センサは、対象領域を撮像する撮像部と、前記撮像部により撮像された前記対象領域の画像データに基づいて、当該画像データから対象物を識別する識別部とを備え、前記識別部は、上述のアノテーション装置により生成された学習用データを用いてパラメータが学習されている。

（１１）本発明の他の実施態様に係るアノテーション方法は、画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション方法であって、学習対象の画像データである対象画像データを画面に表示させるステップと、前記対象画像データ上でユーザが指定した位置の座標情報を取得するステップと、取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成するステップとを含み、前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい。

（１２）本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、学習対象の画像データである対象画像データを画面に表示させる表示制御部と、前記対象画像データ上でユーザが指定した位置の座標情報を取得する座標情報取得部と、取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成する学習用データ生成部として機能させ、前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい。

なお、本発明は、アノテーション装置の一部又は全部を実現する半導体集積回路として実現したり、アノテーション装置を含む画像識別システムとして実現したりすることもできる。

本発明によると、識別器の学習用データを効率的に生成することができる。

本発明の実施の形態１に係る画像識別システムの構成の一例を示すブロック図である。 本発明の実施の形態１に係るアノテーション装置の構成の一例を示すブロック図である。 動画像データのうちの１枚の画像データの一例を示す図である。 関係情報の一例を示す図である。 学習用データの一例を示す図である。 ワールド座標系と画像センサ（カメラ）のカメラ座標系との関係を示す図である。 関係情報生成部による関係情報の生成処理の一例を示すフローチャートである。 関係情報生成部による関係情報の生成処理を説明するための図である。 本発明の実施の形態１に係るアノテーション装置の処理手順の一例を示すフローチャートである。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。 本発明の実施の形態２に係るアノテーション装置の構成の一例を示すブロック図である。 背景画像データの一例を示す図である。 差分画像データの一例を示す図である。 本発明の実施の形態２に係るアノテーション装置の処理手順の一例を示すフローチャートである。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。 本発明の実施の形態３に係るアノテーション装置の処理手順の一例を示すフローチャートである。 表示装置の画面の表示例を示す図である。 表示装置の画面の表示例を示す図である。

［本願発明の実施形態の概要］
最初に本発明の実施形態の概要を列記して説明する。
（１）本発明の一実施形態に係るアノテーション装置は、画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション装置であって、学習対象の画像データである対象画像データを画面に表示させる表示制御部と、前記対象画像データ上でユーザが指定した位置の座標情報を取得する座標情報取得部と、取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成する学習用データ生成部とを備え、前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい。

この構成によると、ユーザが対象画像データ上で１つの位置を指定するだけで、学習用画像データが抽出され、学習用データが生成される。このため、識別器の学習用データを効率的に生成することができる。

（２）好ましくは、前記学習用データ生成部は、前記撮像装置で撮像された画像データ上の各座標と当該座標に対応する３次元空間中の座標に対象物が存在する場合の当該対象物の前記画像データ上の対象物領域との関係を示す関係情報に基づいて、前記対象画像データから前記座標情報取得部が取得した各前記座標情報に対応する対象物領域の画像データを、前記学習用画像データとして抽出する。

この構成によると、関係情報を参照することにより、対象画像データ上でユーザが指定した位置に対応する３次元空間中の位置に対象物が存在する場合の対象画像データ上での対象物領域を正確に決定することができる。このため、対象物を含む学習用画像データを正確に抽出することができる。

（３）さらに好ましくは、前記関係情報は、対象物の種類ごとに設けられており、前記アノテーション装置は、さらに、ユーザが指定した対象物の種類の情報を受け付ける種類情報受付部を備え、前記学習用データ生成部は、指定された前記対象物の種類に対応する前記関係情報に基づいて前記学習用画像データを抽出し、前記学習用画像データと指定された前記対象物の種類に対応する前記対象物のラベルとを含む前記学習用データを生成する。

この構成によると、対象物の種類ごとに３次元空間中での対象物のサイズが異なる場合であっても、種類に応じた学習用データを生成することができる。

（４）また、前記表示制御部は、前記対象画像データと背景画像データとの差分画像データを前記画面に表示させ、前記座標情報取得部は、表示された前記差分画像データ上で前記ユーザが指定した位置の座標情報を取得してもよい。

差分画像データは、背景部分が除去された画像データである。このため、ユーザは、効率的に対象物の位置を指定することができる。

（５）また、前記背景画像データは、複数の前記対象画像データの平均画像データであってもよい。

この構成によると、例えば、交通量の多い道路のように対象物である車両が映っていない背景画像データを準備することが困難な場合であっても、背景画像データを生成することができる。これにより、識別器の学習用データを効率的に生成することができる。

（６）また、前記表示制御部は、前記対象画像データ及び前記差分画像データを同時に表示し、前記座標情報取得部は、表示された前記対象画像データ及び前記差分画像データの一方の画像データ上で前記ユーザが指定した位置の座標情報を取得してもよい。

この構成によると、ユーザは、対象画像データ及び差分画像データを対比しながら、見やすい方の画像データ上で位置を指定することができる。

（７）また、前記座標情報取得部は、前記ユーザが指定した位置の座標情報を、前記対象物の下端位置の座標情報として取得してもよい。

３次元空間中の地面上の位置と、画像データ上の位置とは、事前にカメラキャリブレーション等により対応付けられている。また、対象物の下端位置は、地面上の位置とみなすことができる。このため、ユーザが指定した位置の座標情報を、対象物の下端位置の座標情報とすることにより、３次元空間中での対象物の下端位置を正確に決定することができる。これにより、学習用画像データを正確に抽出することができる。

（８）また、上述のアノテーション装置は、さらに、前記対象物領域のユーザによる変更の指示を受け付ける変更指示受付部を備え、前記学習用データ生成部は、前記指示に基づいて、前記対象画像データから変更後の前記対象物領域の画像データを前記学習用画像データとして抽出してもよい。

この構成によると、対象物が対象物領域からはみ出していることにより学習用画像データの抽出が不正確な場合などに、対象物領域を変更し、学習用画像データを抽出し直すことができる。

（９）本発明の他の実施形態に係る学習モデルは、画像データに基づいて、当該画像データから対象物を識別するよう、コンピュータを機能させるための学習モデルであって、上述のアノテーション装置により生成された学習用データを用いてパラメータが学習されている。

この構成によると、ユーザが対象画像データ上で１つの位置を指定することにより効率的に生成された学習用データに基づいて、学習モデルのパラメータが学習される。このため、効率的に学習モデルのパラメータを学習することができる。これにより、より多くの学習用データに基づいてパラメータを学習することができる。よって、汎化能力の高い学習モデルを提供することができる。

（１０）本発明の他の実施形態に係る画像センサは、対象領域を撮像する撮像部と、前記撮像部により撮像された前記対象領域の画像データに基づいて、当該画像データから対象物を識別する識別部とを備え、前記識別部は、上述のアノテーション装置により生成された学習用データを用いてパラメータが学習されている。

この構成によると、ユーザが対象画像データ上で１つの位置を指定することにより効率的に生成された学習用データに基づいて、パラメータが学習される。このため、効率的にパラメータを学習することができる。よって、汎化能力の高い識別器を備える画像センサを提供することができる。

（１１）本発明の他の実施形態に係るアノテーション方法は、画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション方法であって、学習対象の画像データである対象画像データを画面に表示させるステップと、前記対象画像データ上でユーザが指定した位置の座標情報を取得するステップと、取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成するステップとを含み、前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい。

この構成は、上述のアノテーション装置が備える特徴的な処理部に対応するステップを含む。このため、この構成によると、上述のアノテーション装置と同様の作用および効果を奏することができる。

（１２）本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、学習対象の画像データである対象画像データを画面に表示させる表示制御部と、前記対象画像データ上でユーザが指定した位置の座標情報を取得する座標情報取得部と、取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成する学習用データ生成部として機能させ、前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい。

この構成によると、コンピュータを、上述のアノテーション装置として機能させることができる。このため、上述のアノテーション装置と同様の作用および効果を奏することができる。

［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。

［実施の形態１］
＜画像識別システムの全体構成＞
図１は、本発明の実施の形態１に係る画像識別システムの構成の一例を示すブロック図である。

図１を参照して、画像識別システム１は、画像センサ２と、アノテーション装置３とを備える。

画像センサ２は、撮像装置の一例であり、所定の領域を撮像し、学習モデル２３に基づいて、当該領域の画像データ中に存在する対象物を識別する。

アノテーション装置３は、画像センサ２の学習モデル２３を学習するための学習用データを生成する。学習用データは、対象物を含む領域（以下、「対象物領域」という。）の画像データ（以下、「学習用画像データ」という。）と、対象物のラベルとを含む。

画像センサ２は、撮像部２１と、識別部２２とを備える。
撮像部２１は、例えば、ＣＭＯＳ（Complementary metal-oxide-semiconductor）イメージセンサや、ＣＣＤ（Charged-coupled device）イメージセンサなどの固体撮像素子を含んで構成され、所定の領域を撮像した結果である画像データを、識別部２２に出力する。

識別部２２は、撮像部２１から画像データを取得し、学習モデル２３に基づいて、取得した画像データ中に含まれる対象物を識別する。具体的には、識別部２２は、画像データから、対象物の領域と、対象物ラベルとを識別する。対象物ラベルは、例えば、対象物の種類ごとに設けられており、道路上を走行する車両に対して、普通車、トラック、バスおよび二輪車などのラベルが設けられている。

学習モデル２３は、例えば、ＳＳＤ（Single Shot MultiBox Detector）、ＹＯＬＯ（You Only Look Once）、ＲＣＮＮ（Regions with Convolutional Neural Networks）、またはＦａｓｔｅｒ ＲＣＮＮなどの識別器により構成することができる。アノテーション装置３が生成した学習用データに基づいて、深層学習等の手法を用いて学習モデル２３のパラメータを機械学習することによって、学習モデル２３は構築される。

＜アノテーション装置の構成＞
図２は、本発明の実施の形態１に係るアノテーション装置３の構成の一例を示すブロック図である。

アノテーション装置３は、記憶部３０と、表示制御部３４と、座標情報取得部３５と、学習用データ生成部３６と、車種情報受付部３７と、変更指示受付部３８と、関係情報生成部３９とを備える。

アノテーション装置３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）および通信インタフェース等を備える一般的なコンピュータにより構成される。各処理部３４〜３９は、ＨＤＤまたはＲＯＭ等に記憶されたコンピュータプログラムをＲＡＭに読み出し、読み出したコンピュータプログラムをＣＰＵ上で実行することにより機能的に実現される。なお、各処理部３４〜３９の一部または全部がハードウェアにより構成されていてもよい。

記憶部３０は、ＨＤＤまたはＲＡＭ等のメモリであり、画像データ３１と、関係情報３２と、学習用データ３３とを記憶している。

画像データ３１は、学習用データの生成の対象となる画像データであり、例えば、動画像データを構成する時系列の画像データである。画像データ３１は、例えば、画像センサ２が対象領域を撮像することにより得られる。

図３は、動画像データのうちの１枚の画像データ３１の一例を示す図である。
画像データ３１は、道路１１を含む領域を撮像することにより得られる画像データである。画像データ３１は、道路１１上を走行する車両６Ａ〜６Ｄを示している。

関係情報３２は、画像データ３１上の各座標と、当該座標に対象物が存在する場合の当該対象物の画像データ３１上の対象物領域との関係を示す情報である。

図４は、関係情報３２の一例を示す図である。
関係情報３２は、対象物の種類（対象物ラベル）ごとに設けられており、図４は、普通車用の関係情報３２を示している。

例えば、画像データ３１上の座標（Ｕ１，Ｖ１）に対象物である普通車が存在とした場合、矩形で表した対象物領域の左上隅座標は（ＵＬ１，ＶＬ１）であり、右下隅座標は（ＵＲ１，ＶＲ１）である。また、画像データ３１上の座標（Ｕ１，Ｖ２）に対象物である普通車が存在とした場合、矩形で表した対象物領域の左上隅座標は（ＵＬ２，ＶＬ２）であり、右下隅座標は（ＵＲ２，ＶＲ２）である。このようなレコードが、画像データ３１上の座標（画像座標）毎に設けられている。なお、関係情報３２には、画像データ３１上の座標と、対象物領域の左上隅座および右下隅座標のそれぞれとの関係が数式で示されていてもよい。なお、関係情報３２の生成方法については後述する。

学習用データ３３は、学習モデル２３のパラメータの学習に用いられるデータであり、上述したように学習用画像データと、対象物ラベルとを含む。

図５は、学習用データ３３の一例を示す図である。
学習用データ３３は、例えば、学習用画像データと対象物のラベル「普通車」との組、および、学習用画像データと対象物のラベル「トラック」との組などを含む。

関係情報生成部３９は、記憶部３０に記憶される関係情報３２を生成する。

ここで、図６〜図８を参照して、関係情報３２の生成処理について詳細に説明する。

図６は、ワールド座標系と画像センサ２（カメラ）のカメラ座標系との関係を示す図である。

図６に示すように、所定のワールド座標系（Ｘｗ，Ｙｗ，Ｚｗ）の３次元空間中に画像センサ２が固定的に設置される。また、画像センサ２を原点（例えば、画像センサ２のレンズ中心を原点）とし、画像センサ２の光軸をＺ方向とするカメラ座標系（Ｘｃａｍ，Ｙｃａｍ，Ｚｃａｍ）が設定される。また、画像センサ２が生成する画像データの画像座標系を（Ｕ，Ｖ）とする。

画像センサ２のカメラパラメータは、焦点距離ｆ、俯角α（Ｘｗ軸周りの角）、回転角β（Ｙｗ軸周りの角度）および水平角γ（Ｚｗ軸周りの角度）を含む。

このとき、画像座標（Ｕ，Ｖ）は、以下の式１および式２で算出される。

ここで、回転行列は、以下の式３で示すことができる。

画像センサ２を交通信号機などに設置した場合には画像センサ２の位置は固定である。また、画像センサ２のカメラパラメータや、画像センサ２と道路１１との位置関係も事前にカメラキャリブレーションにより決定することができる。

このため、式１および式２より、画像座標系の座標とワールド座標系の座標とを相互に変換することができる。なお、変換手法については、“「ディジタル画像処理[改訂新版]（CG-ARTS協会）」p308-312”に詳細に記載されている。このため、ここではその詳細な説明は省略する。

図７は、関係情報生成部３９による関係情報３２の生成処理の一例を示すフローチャートである。図８は、関係情報生成部３９による関係情報３２の生成処理を説明するための図である。

関係情報生成部３９は、画像データ３１上の各位置について以下に説明するステップＳ１〜Ｓ５の処理を繰り返す（ループＡ）。

つまり、関係情報生成部３９は、式１および式２に従い、処理対象位置の画像座標をワールド座標に変換する（Ｓ１）。例えば、図８の（Ａ）に示す画像データ３１上の位置７の画像座標をワールド座標に変換すると、図８の（Ｂ）に示す位置７のワールド座標が求められる。

関係情報生成部３９は、位置７のワールド座標を基点として３次元空間中に所定のサイズの直方体８を当てはめ、直方体８の８頂点のワールド座標を算出する（Ｓ２）。ここで、対象物を普通車とし、普通車を前方から撮影するものとする。また、位置７は、普通車の前方下部端の中央位置とする。また、直方体８のサイズは、普通車を囲うのに十分な所定のサイズとする。例えば、図８の（Ｂ）に示すように、関係情報生成部３９は、位置７を普通車の前方下部端の中央位置し、位置７を基点として、幅ｗ、高さｈおよび奥行ｄの直方体８をワールド座標系に当てはめる。なお、直方体８の底面が地面と平行なり、直方体８の奥行き方向が普通車の進行方向と平行となるように、直方体８を当てはめるのが望ましい。また、関係情報生成部３９は、直方体８の８頂点のワールド座標を算出する。

関係情報生成部３９は、直方体の８頂点のワールド座標を、式１および式２に従い、画像座標に変換する（Ｓ３）。例えば、関係情報生成部３９は、図８の（Ｂ）に示した直方体８を、図８の（Ｃ）に示す画像座標９に変換する。

関係情報生成部３９は、８頂点の画像座標を全て内包する外接矩形を画像データ３１上の対象物領域として算出する（Ｓ４）。例えば、関係情報生成部３９は、図８の（Ｃ）に示す８つの画像座標９を内包する外接矩形を算出することにより、図８の（Ｄ）に示す対象物領域１０を生成することができる。

関係情報生成部３９は、処理対象位置の画像座標と、対象物領域の左上隅座標および右下隅座標とを関係情報３２に登録する（Ｓ５）。例えば、関係情報生成部３９は、図８の（Ａ）に示した位置７の画像座標と、図８の（Ｄ）に示した対象物領域１０の左上隅座標および右下隅座標とを、関係情報３２に登録する。

なお、関係情報３２に登録する対象物領域１０の情報は、左上隅座標および右下隅座標に限定されるものではなく、対象物領域１０が特定できる情報であれば他の情報であってもよい。例えば、対象物領域１０の左上隅座標と、対象物領域１０のＵ軸方向およびＶ軸方向のサイズとを、関係情報３２に登録してもよい。

以上説明した処理により、図４に示したような関係情報３２が生成される。関係情報３２に示される対象物領域のサイズは、画像センサ２から対象物の距離が遠いほど小さくなる。

このような関係情報３２の生成処理を、対象物を普通車、トラック、バス、または二輪車とした場合のそれぞれについて行うことにより、普通車用、トラック用、バス用および二輪車用の関係情報３２が生成される。

再度図２を参照して、表示制御部３４は、学習対象の画像データ３１（対象画像データ）を表示装置４の画面に表示させる制御を行う。

座標情報取得部３５は、表示装置４の画面に表示された画像データ３１上でユーザが指定した位置の座標情報を取得する。ユーザによる位置の指定は、入力装置５により行われる。例えば、入力装置５はマウスであり、ユーザは、画像データ３１上でマウスのボタンをクリックすることにより位置指定を行う。なお、入力装置５は、マウスに限定されるものではなく、例えば、キーボードやタッチペンなどであってもよい。

学習用データ生成部３６は、関係情報３２に基づいて、座標情報取得部３５が取得した画像データ３１上の位置の座標情報に対応する対象物領域を特定する。ここで、対象物の種類に対応した関係情報３２が、対象物領域の特定に用いられる。例えば、対象物の種類が普通車である場合には普通車用の関係情報３２が用いられる。

学習用データ生成部３６は、画像データ３１から、特定した対象物領域内の画像データを、学習用画像データとして抽出する。学習用データ生成部３６は、抽出した学習用画像データと対象物ラベルとを含む学習用データ３３を生成する。学習用データ生成部３６は、生成した学習用データ３３を、記憶部３０に書き込む。

表示制御部３４は、画像データ３１上に、学習用データ生成部３６が特定した対象物領域を重畳させて、表示装置４の画面に表示させる。例えば、表示制御部３４は、対象物領域を矩形の枠で表示させる。

車種情報受付部３７は、種類情報受付部として機能し、ユーザが指定した対象物の種類（ここでは、車種）の情報を受け付ける。例えば、ユーザは、入力装置５を操作し、表示装置４に表示されたメニュー画面から車種を選択する。車種情報受付部３７は、選択された車種の情報を受け付ける。学習用データ生成部３６は、車種情報受付部３７が受け付けた車種に対応する関係情報３２を記憶部３０から読み出し、学習用画像データの抽出に用いる。

変更指示受付部３８は、表示装置４に表示された対象物領域のユーザによる変更の指示を受け付ける。例えば、ユーザが、入力装置５を操作して、対象物領域の矩形の枠を移動させたり、枠のサイズを変更したりすることにより、対象物領域の変更を指示する。変更指示受付部３８は、例えば、変更後の対象物領域の左上隅座標および右下隅座標を、対象物領域の変更の指示として受け付ける。

表示制御部３４は、当該指示に基づいて、変更後の対象物領域の枠を画像データ３１に重畳させて、表示装置４の画面に表示させる。

また、学習用データ生成部３６は、画像データ３１から、変更後の対象物領域内の画像データを、学習用画像データとして抽出し、抽出された学習用画像データで学習用データ３３を更新する。

＜アノテーション装置の処理＞
図９は、本発明の実施の形態１に係るアノテーション装置３の処理手順の一例を示すフローチャートである。

表示制御部３４は、記憶部３０から、学習用データの生成処理が未処理の画像データ３１を読み出し、読み出した画像データ３１を表示装置４の画面に表示させる制御を行う（Ｓ１１）。例えば、図３に示す画像データ３１が画面表示されたものとして以下の説明を行う。また、デフォルトの設定では、普通車が対象物として設定されているものとする。

画像データ３１上でユーザによる位置指定があった場合には（Ｓ１２でＹＥＳ）、座標情報取得部３５は、指定された位置の座標情報を取得する（Ｓ１３）。

表示制御部３４は、座標情報取得部３５から、座標情報取得部３５が取得した位置の座標情報を取得し、当該位置にマーカーを重畳させて表示する（Ｓ１４）。

図１０は、表示装置４の画面の表示例を示す図である。
例えば、表示制御部３４は、図１０に示される位置７Ａをユーザが指定した場合には、位置７Ａに「×」印のマーカーを重畳表示する。

学習用データ生成部３６は、座標情報取得部３５から、座標情報取得部３５が取得した位置の座標情報を取得する。学習用データ生成部３６は、対象物の関係情報３２に基づいて、取得した座標情報から、画像データ３１上の対象物領域の位置を特定する（Ｓ１５）。

表示制御部３４は、画像データ３１上に、学習用データ生成部３６が特定した対象物領域を重畳させて、表示装置４の画面に表示させる（Ｓ１６）。

図１１は、表示装置４の画面の表示例を示す図である。
例えば、図１１に示すように、表示制御部３４は、対象物領域１０Ａを矩形で表示させる。なお、表示制御部３４は、対象物領域が抽出されるにつれ、対象物領域の矩形を追加表示するようにしてもよい。

図１２は、表示装置４の画面の表示例を示す図である。
例えば、図１２に示すように、表示制御部３４は、画像データ３１上にこれまでに特定した３つの対象物領域１０Ａ〜１０Ｃを重畳表示させる。

ユーザが入力装置５を操作していずれかの対象物領域の変更を指示した場合には（Ｓ１７でＹＥＳ）、変更指示受付部３８は、対象物領域のユーザによる変更の指示を取得する（Ｓ１８）。

表示制御部３４は、取得した指示に基づいて、画像データ３１上に変更後の対象物領域１０を重畳させて、表示装置４の画面に表示させる（Ｓ１９）。

図１３は、表示装置４の画面の表示例を示す図である。
例えば、図１２に示した画像データ３１上でユーザが対象物領域１０Ｂの変更を指示した場合には、表示制御部３４は、図１３に示すように、対象物領域１０Ｂの位置を変更して表示させる。その後、ステップＳ１７に戻る。

対象物領域の変更の指示が無い場合には（Ｓ１７でＮＯ）、ステップＳ２０以降の処理が実行される。対象物領域の変更の指示が無い場合とは、例えば、表示装置４の画面上に表示された図示しない確定ボタンをユーザがクリックすることにより、対象物領域を確定させた場合などである。

ステップＳ２０では、学習用データ生成部３６は、画像データ３１から、対象物領域内の画像データを、学習用画像データとして抽出する（Ｓ２０）。例えば、学習用データ生成部３６は、図１３に示した対象物領域１０Ａ〜１０Ｃの画像データを、学習用画像データとして抽出する。

学習用データ生成部３６は、抽出した学習用画像データと対象物のラベルとを含む学習用データ３３を生成する（Ｓ２１）。これにより、図５に示すような学習用データ３３が生成される。なお、デフォルトでは、対象物は普通車とされているため、学習用データ３３のラベルは普通車とされる。

一方、ユーザが入力装置５を操作することにより車種を指定し、車種情報受付部３７がユーザの指定した車種の情報を受け付けた場合（Ｓ１２でＮＯ、Ｓ２２でＹＥＳ）、学習用データ生成部３６は、指定された車種の関係情報３２を記憶部３０から読み出し、対象物の関係情報３２を変更する（Ｓ２３）。その後、ステップＳ１２に戻る。
例えば、ユーザは、画面上に設けられたメニュー画面より車種を指定する。

図１４は、表示装置４の画面の表示例を示す図である。
例えば、ユーザは、入力装置５を操作して、カーソル１２を画面の左上上部に移動させると、表示制御部３４は、画面上に車種を選択するためのメニュー画面を表示させる。ここでは、車種として、普通車、トラック、バスおよび二輪車のいずれかを指定可能なメニュー画面が表示される。

ユーザは、入力装置５を操作して、いずれかの車種上にカーソル１２を移動させ、クリックをすることにより、車種を指定することができる。例えば、図１４では、車種としてトラックが指定される。

その後、学習用データ生成部３６は、対象物をトラックに変更し、トラック用の関係情報３２を読み出す。

以降の処理で、例えば、ユーザが車両６Ｄの前部下部端の中央位置を指定すると、ステップＳ１３以降の処理が実行される。つまり、学習用データ生成部３６は、トラック用の関係情報３２に基づいて、指定された位置に対応する対象物領域１０Ｄの位置を特定する。また、表示制御部３４は、画像データ３１上に対象物領域１０Ｄを重畳させて、表示装置４の画面に表示させる。

アノテーション装置３は、図９に示した処理を記憶部３０に記憶されている未処理の画像データ３１に対して順次繰り返し実行する。

＜実施の形態１の効果＞
以上説明したように、本発明の実施の形態１によると、ユーザが画像データ３１上で１つの位置を指定するだけで、学習用画像データが抽出され、学習用データ３３が生成される。このため、学習モデル２３のパラメータの学習用データ３３を効率的に生成することができる。

また、学習用データ生成部３６は、関係情報３２を参照することにより、画像データ３１上でユーザが指定した位置に対応する３次元空間中の位置に対象物が存在する場合の画像データ３１上での対象物領域を正確に決定することができる。このため、対象物を含む学習用画像データを正確に抽出することができる。

また、関係情報３２は、対象物の種類ごとに設けられている。このため、対象物の種類ごとに３次元空間中での対象物のサイズが異なる場合であっても、種類に応じた学習用データ３３を生成することができる。

また、対象物を指定する位置は、対象物の前方下部端の中央位置としている。３次元空間中の地面上の位置と、画像データ３１上の位置とは、事前にカメラキャリブレーション等により対応付けられている。また、対象物の下端位置は、地面上の位置とみなすことができる。このため、ユーザが指定した位置の座標情報を、対象物の下端位置の座標情報とすることにより、３次元空間中での対象物の下端位置を正確に決定することができる。これにより、学習用画像データを正確に抽出することができる。

また、ユーザは、対象物領域を変更することができる。このため、対象物が対象物領域からはみ出していることにより学習用画像データの抽出が不正確な場合などに、対象物領域を変更し、学習用画像データを抽出し直すことができる。

また、上述のアノテーション装置３により生成された学習用データ３３を用いて、学習モデル２３のパラメータが学習される。つまり、ユーザが画像データ３１上で１つの位置を指定することにより効率的に生成された学習用データ３３に基づいて、学習モデル２３のパラメータが学習される。このため、効率的に学習モデル２３のパラメータを学習することができる。これにより、より多くの学習用データ３３に基づいてパラメータを学習することができる。よって、汎化能力の高い学習モデル２３を提供することができる。

また、汎化能力の高い学習モデル２３を備える画像センサ２を提供することもできる。

［実施の形態２］
次に、本発明の実施の形態２について説明する。実施の形態２では、実施の形態１と異なり、画像データと背景画像データとの差分画像データを用いて学習用データを生成する。

実施の形態２に係る画像識別システムの構成は、図１に示した実施の形態１に係る画像識別システム１の構成と同様である。

＜アノテーション装置の構成＞
図１５は、本発明の実施の形態２に係るアノテーション装置３の構成の一例を示すブロック図である。

アノテーション装置３は、記憶部３０と、表示制御部３４と、座標情報取得部３５と、学習用データ生成部３６と、車種情報受付部３７と、変更指示受付部３８と、関係情報生成部３９と、背景画像データ生成部４１と、差分画像データ生成部４２とを備える。

アノテーション装置３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤおよび通信インタフェース等を備える一般的なコンピュータにより構成される。各処理部３４〜３９、４１および４２は、ＨＤＤまたはＲＯＭ等に記憶されたコンピュータプログラムをＲＡＭに読み出し、読み出したコンピュータプログラムをＣＰＵ上で実行することにより機能的に実現される。なお、各処理部３４〜３９、４１および４２の一部または全部がハードウェアにより構成されていてもよい。

記憶部３０は、画像データ３１と、関係情報３２と、学習用データ３３と、背景画像データ４０とを記憶している。

背景画像データ４０は、画像データ３１と同じ対象領域の画像データであるが、学習モデル２３による識別の対象物が映っていない画像データである。

図１６は、背景画像データの一例を示す図である。
背景画像データ４０は、図３に示した画像データ３１と同じ対象領域の画像データであるが、対象物である６Ａ〜６Ｄが含まれていない。

背景画像データ生成部４１は、背景画像データ４０を生成する。具体的には、背景画像データ生成部４１は、記憶部３０に記憶されている複数の画像データ３１から背景画像データ４０を生成し、記憶部３０に書き込む。例えば、背景画像データ生成部４１は、学習用データの生成の対象となるすべての画像データ３１の平均画像データを、背景画像データ４０として生成する。つまり、背景画像データ生成部４１は、学習用データの生成の対象となるすべての画像データ３１について、画素ごとに画素値の平均値を算出する。背景画像データ生成部４１は、各画素の画素値が算出した平均値からなる平均画像データを、背景画像データ４０として生成する。道路１１上を走行する車両を含む画像データ３１から背景画像データ４０を生成する場合を考えると、車両の渋滞時等を除き、車両がスムーズに走行している場合には、各画素で車両の画素値が占める時間よりも道路１１の画素値が占める時間の方が圧倒的に大きくなる。このため、平均画像データを算出することにより、道路１１の画素値に近い背景画像データ４０を生成することができる。なお、背景画像データ生成部４１は、車両の渋滞時等は、渋滞していない時間帯の画像データ３１から背景画像データ４０を生成するようにしてもよい。

差分画像データ生成部４２は、記憶部３０から、学習用データの生成の対象となるすべての画像データ３１と、背景画像データ４０とを読み出し、画像データ３１と、背景画像データ４０との差分画像データを作成する。例えば、差分画像データ生成部４２は、画像データ３１および背景画像データ４０の画素毎の画素値の差分の絶対値を算出する。差分画像データ生成部４２は、各画素の画素値が算出した差分の絶対値から構成される差分画像データを生成する。

図１７は、差分画像データの一例を示す図である。
例えば、差分画像データ生成部４２は、図３に示した画像データ３１と、図１６に示した背景画像データ４０とから、図１７に示す差分画像データ５１を生成する。

表示制御部３４は、差分画像データ生成部４２が生成した差分画像データ５１を、表示装置４の画面に表示させる制御を行う。

座標情報取得部３５は、表示装置４の画面に表示された差分画像データ５１上でユーザが指定した位置の座標情報を取得する。ユーザによる位置の指定は、実施の形態１と同様に入力装置５により行われる。

＜アノテーション装置の処理＞
図１８は、本発明の実施の形態２に係るアノテーション装置３の処理手順の一例を示すフローチャートである。

図１８に示す処理は、記憶部３０に記憶されている複数の画像データ３１の各々について繰り返し実行される。各画像データ３１から学習用データ３３が生成される。

それら複数の画像データ３１の最初の画像データ３１についての処理である場合には（Ｓ３１でＹＥＳ）、背景画像データ生成部４１は、複数の画像データ３１を記憶部３０から読み出し、読み出した複数の画像データ３１から平均画像データを作成することにより、背景画像データ４０を生成する。背景画像データ生成部４１は、生成した背景画像データ４０を記憶部３０に書き込む（Ｓ３２）。

２枚目以降の画像データ３１についての処理である場合には（Ｓ３１でＮＯ）、背景画像データ４０は生成済みである。このため、ステップＳ３２の処理は実行されない。

背景画像データ４０が生成された後は、差分画像データ生成部４２は、記憶部３０から、処理対象の画像データ３１と、背景画像データ４０とを読み出し、読み出した画像データ３１および背景画像データ４０の差分画像データ５１を生成する（Ｓ３３）。

表示制御部３４は、差分画像データ生成部４２が生成した差分画像データ５１を表示装置４の画面に表示させる制御を行う（Ｓ３４）。これにより、図１７に示すような差分画像データ５１が画面に表示される。

差分画像データ５１上でユーザによる位置指定があった場合には（Ｓ１２でＹＥＳ）、座標情報取得部３５は、指定された位置の座標情報を取得する（Ｓ１３）。

表示制御部３４は、座標情報取得部３５から、座標情報取得部３５が取得した位置の座標情報を取得し、当該位置にマーカーを重畳させて表示する（Ｓ１４）。

図１９は、表示装置４の画面の表示例を示す図である。
例えば、表示制御部３４は、図１９に示される位置７Ａをユーザが指定した場合には、位置７Ａに「×」印のマーカーを重畳表示する。

学習用データ生成部３６は、座標情報取得部３５から、座標情報取得部３５が取得した位置の座標情報を取得する。学習用データ生成部３６は、対象物の関係情報３２に基づいて、取得した座標情報から、画像データ３１上の対象物領域の位置を特定する（Ｓ１５）。

表示制御部３４は、画像データ３１上に、学習用データ生成部３６が特定した対象物領域を重畳して、表示装置４の画面に表示させる（Ｓ１６）。

図２０は、表示装置４の画面の表示例を示す図である。
例えば、図２０に示すように、表示制御部３４は、対象物領域１０Ａを矩形で表示させる。

ステップＳ１７〜Ｓ１９の処理は、実施の形態１で説明したものと同様である。ただし、ステップＳ１９の処理において対象物領域１０を重畳表示させる対象の画像データは、差分画像データ５１である。

ステップＳ２０では、学習用データ生成部３６は、画像データ３１から、対象物領域の画像データを、学習用画像データとして抽出する（Ｓ２０）。表示装置４は、差分画像データ５１に対象物領域を重畳表示するが、対象物領域の画像データは、差分画像データ５１ではなく、画像データ３１から抽出される。これは、識別部２２による識別対象の画像データは、差分画像データ５１ではなく、撮像部２１により撮像された画像データだからである。
ステップＳ２１〜Ｓ２３の処理は、実施の形態１で説明したものと同様である。

図２１は、表示装置４の画面の表示例を示す図である。
図１８に示した処理を処理対象の画像データ３１に対して行うことにより、最終的に図２１に示す差分画像データ５１上に、対象物である車両６Ａ〜６Ｄのそれぞれの対象物領域１０Ａ〜１０Ｄが表示され、各対象物領域の画像データが抽出される。

＜実施の形態２の効果＞
以上説明したように、本発明の実施の形態２によると、ユーザが差分画像データ５１上で対象物の位置を指定することにより、学習用データが生成される。差分画像データ５１は、背景部分が除去された画像データである。このため、ユーザは、効率的に対象物の位置を指定することができる。

また、差分画像データ生成部４２は、複数の画像データ３１の平均画像データを、差分画像データ５１の生成のための背景画像データとして生成する。このため、例えば、交通量の多い道路のように対象物である車両が映っていない背景画像データを準備することが困難な場合であっても、背景画像データを生成することができる。これにより、学習モデル２３の学習用データを効率的に生成することができる。

［実施の形態３］
次に、本発明の実施の形態３について説明する。実施の形態２では差分画像データを表示装置の画面に表示することとしたが、実施の形態３では、差分画像データとオリジナルの画像データとを表示する点が実施の形態２とは異なる。

実施の形態３に係る画像識別システムの構成は、図１に示した実施の形態１に係る画像識別システム１の構成と同様である。

＜アノテーション装置の構成＞
実施の形態３に係るアノテーション装置の構成は、図１５に示した実施の形態２に係るアノテーション装置３の構成と同様である。

ただし、表示制御部３４は、差分画像データ生成部４２が生成した差分画像データ５１とともに、差分画像データ５１の作成に用いたオリジナルの画像データ３１を、表示装置４の画面に表示させる制御を行う。

図２２は、表示装置４の画面の表示例を示す図である。
表示制御部３４は、表示装置４の画面の左側にオリジナルの画像データ３１を表示させ、右側にその画像データ３１と背景画像データ４０とから生成された差分画像データ５１を表示させる。

＜アノテーション装置の処理＞
図２３は、本発明の実施の形態３に係るアノテーション装置３の処理手順の一例を示すフローチャートである。

図２３に示す処理は、記憶部３０に記憶されている複数の画像データ３１の各々について繰り返し実行される。各画像データ３１から学習用データ３３が生成される。
ステップＳ３１〜Ｓ３３の処理は、実施の形態２で説明したものと同様である。

表示制御部３４は、図２２に示したように、画像データ３１と、画像データ３１を用いて生成された差分画像データ５１とを表示装置４の画面に表示させる（Ｓ４１）。

差分画像データ上でユーザによる位置指定があった場合には（Ｓ１２でＹＥＳ）、座標情報取得部３５は、指定された位置の座標情報を取得する（Ｓ１３）。ここで、ユーザは、画像データ３１上で位置を指定することもできるし、差分画像データ５１上で位置を指定することもできる。

表示制御部３４は、座標情報取得部３５から、座標情報取得部３５が取得した位置の座標情報を取得し、当該位置にマーカーを重畳させて表示する（Ｓ１４）。

図２４は、表示装置４の画面の表示例を示す図である。
例えば、表示制御部３４は、図２４に示される差分画像データ５１上の位置７Ａをユーザが指定した場合には、位置７Ａに「×」印のマーカーを重畳表示する。なお、ユーザが画像データ３１上の位置を指定した場合には、表示制御部３４は、当該位置にマーカーを重畳表示する。また、ユーザが画像データ３１および差分画像データ５１のいずれか一方の画像上の位置を指定した場合には、表示制御部３４は、当該位置のみならず、他方の画像の対応する位置にもマーカーを重畳表示するようにしてもよい。

学習用データ生成部３６は、座標情報取得部３５から、座標情報取得部３５が取得した位置の座標情報を取得する。学習用データ生成部３６は、対象物の関係情報３２に基づいて、取得した座標情報から、画像データ３１上の対象物領域の位置を特定する（Ｓ１５）。

表示制御部３４は、画像データ３１上および差分画像データ５１に、学習用データ生成部３６が特定した対象物領域を重畳して、表示装置４の画面に表示させる（Ｓ１６）。

図２５は、表示装置４の画面の表示例を示す図である。
例えば、表示制御部３４は、画像データ３１上および差分画像データ５１上のそれぞれの車両６Ａに対して対象物領域１０Ａを重畳して、画面に表示させる。なお、画像データ３１および差分画像データ５１のいずれか一方のみに対象物領域１０Ａを表示させてもよい。

ステップＳ１７〜Ｓ１９の処理は、実施の形態１で説明したものと同様である。ただし、ステップＳ１９の処理において対象物領域１０を重畳表示させる対象の画像データは、画像データ３１および差分画像データ５１である。なお、いずれか一方のみに対象物領域１０を重畳表示させてもよい。

ステップＳ２０では、学習用データ生成部３６は、画像データ３１から、対象物領域の画像データを、学習用画像データとして抽出する（Ｓ２０）。表示装置４は、画像データ３１および差分画像データ５１の少なくとも一方に対象物領域１０を重畳表示するが、対象物領域１０の画像データは、差分画像データ５１ではなく、画像データ３１から抽出される。これは、識別部２２による識別対象の画像データは、差分画像データ５１ではなく、撮像部２１により撮像された画像データだからである。
ステップＳ２１〜Ｓ２３の処理は、実施の形態１で説明したものと同様である。

＜実施の形態３の効果＞
以上説明したように、本発明の実施の形態３によると、ユーザは、画像データ３１および差分画像データ５１のいずれか一方の画像データ上で位置を指定することにより、画面上に対象物領域１０を表示させ、学習用画像データを抽出させることができる。このため、ユーザは、処理対象の画像データ３１および差分画像データ５１を対比しながら、見やすい方の画像データ上で位置を指定することができる。これにより、効率的に学習用データを生成することができる。

［付記］
以上、本発明の実施の形態に係る画像識別システム１について説明したが、本発明は、これらの実施の形態に限定されるものではない。

例えば、上述の実施の形態では、画像データから道路上を走行する車両を識別するシステムについて説明したが、画像識別システム１の適用対象はこれに限定されるものではない。固定された画像センサ２が撮像した画像データから対象物を識別するシステムにも本開示は適用可能である。例えば、監視カメラで撮像された対象エリアの画像データから、対象物である人物を識別するシステムにも本開示は適用可能である。

また、上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
また、アノテーション装置３は、複数のコンピュータにより実現されてもよい。

また、アノテーション装置３の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、アノテーション装置３の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、関係情報生成部３９の機能がクラウドサーバにより実現され、アノテーション装置３は、クラウドサーバに対して画像データ３１を送信し、クラウドサーバから関係情報３２を取得する構成であってもよい。
さらに、上記実施の形態の少なくとも一部を任意に組み合わせるとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像識別システム
２ 画像センサ
３ アノテーション装置
４ 表示装置
５ 入力装置
６Ａ 車両
６Ｂ 車両
６Ｃ 車両
６Ｄ 車両
８ 直方体
９ 画像座標
１０ 対象物領域
１０Ａ 対象物領域
１０Ｂ 対象物領域
１０Ｃ 対象物領域
１０Ｄ 対象物領域
１１ 道路
１２ カーソル
２１ 撮像部
２２ 識別部
２３ 学習モデル
３０ 記憶部
３１ 画像データ
３２ 関係情報
３３ 学習用データ
３４ 表示制御部
３５ 座標情報取得部
３６ 学習用データ生成部
３７ 車種情報受付部
３８ 変更指示受付部
３９ 関係情報生成部
４０ 背景画像データ
４１ 背景画像データ生成部
４２ 差分画像データ生成部
５１ 差分画像データ

Claims (12)

1. 画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション装置であって、
   学習対象の画像データである対象画像データを画面に表示させる表示制御部と、
   前記対象画像データ上でユーザが指定した位置の座標情報を取得する座標情報取得部と、
   取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成する学習用データ生成部とを備え、
   前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい
   アノテーション装置。
2. 前記学習用データ生成部は、前記撮像装置で撮像された画像データ上の各座標と当該座標に対応する３次元空間中の座標に対象物が存在する場合の当該対象物の前記画像データ上の対象物領域との関係を示す関係情報に基づいて、前記対象画像データから前記座標情報取得部が取得した各前記座標情報に対応する対象物領域の画像データを、前記学習用画像データとして抽出する、請求項１に記載のアノテーション装置。
3. 前記関係情報は、対象物の種類ごとに設けられており、
   前記アノテーション装置は、さらに、ユーザが指定した対象物の種類の情報を受け付ける種類情報受付部を備え、
   前記学習用データ生成部は、指定された前記対象物の種類に対応する前記関係情報に基づいて前記学習用画像データを抽出し、前記学習用画像データと指定された前記対象物の種類に対応する前記対象物のラベルとを含む前記学習用データを生成する、請求項２に記載のアノテーション装置。
4. 前記表示制御部は、前記対象画像データと背景画像データとの差分画像データを前記画面に表示させ、
   前記座標情報取得部は、表示された前記差分画像データ上で前記ユーザが指定した位置の座標情報を取得する、請求項１〜請求項３のいずれか１項に記載のアノテーション装置。
5. 前記背景画像データは、複数の前記対象画像データの平均画像データである、請求項４に記載のアノテーション装置。
6. 前記表示制御部は、前記対象画像データ及び前記差分画像データを同時に表示し、
   前記座標情報取得部は、表示された前記対象画像データ及び前記差分画像データの一方の画像データ上で前記ユーザが指定した位置の座標情報を取得する、請求項４または請求項５に記載のアノテーション装置。
7. 前記座標情報取得部は、前記ユーザが指定した位置の座標情報を、前記対象物の下端位置の座標情報として取得する、請求項１〜請求項６のいずれか１項に記載のアノテーション装置。
8. さらに、
   前記対象物領域のユーザによる変更の指示を受け付ける変更指示受付部を備え、
   前記学習用データ生成部は、前記指示に基づいて、前記対象画像データから変更後の前記対象物領域の画像データを前記学習用画像データとして抽出する、請求項１〜請求項７のいずれか１項に記載のアノテーション装置。
9. 画像データに基づいて、当該画像データから対象物を識別するよう、コンピュータを機能させるための学習モデルであって、
   請求項１〜請求項８のいずれか１項に記載のアノテーション装置により生成された学習用データを用いてパラメータが学習された、学習モデル。
10. 対象領域を撮像する撮像部と、
    前記撮像部により撮像された前記対象領域の画像データに基づいて、当該画像データから対象物を識別する識別部とを備え、
    前記識別部は、請求項１〜請求項８のいずれか１項に記載のアノテーション装置により生成された学習用データを用いてパラメータが学習されている、画像センサ。
11. 画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション方法であって、
    学習対象の画像データである対象画像データを画面に表示させるステップと、
    前記対象画像データ上でユーザが指定した位置の座標情報を取得するステップと、
    取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成するステップとを含み、
    前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい
    アノテーション方法。
12. コンピュータを、画像データ中の対象物を識別する識別器の学習に用いられる学習用データを生成するアノテーション装置として機能させるためのコンピュータプログラムであって、
    前記コンピュータを、
    学習対象の画像データである対象画像データを画面に表示させる表示制御部と、
    前記対象画像データ上でユーザが指定した位置の座標情報を取得する座標情報取得部と、
    取得された前記座標情報に基づいて、前記座標情報ごとに前記対象画像データから前記対象物を含む領域である対象物領域の画像データである学習用画像データを抽出し、前記学習用画像データと前記対象物のラベルとを含む前記学習用データを生成する学習用データ生成部として機能させ、
    前記対象物領域のサイズは、前記対象物を撮像する撮像装置から前記対象物までの距離が遠いほど小さい
    コンピュータプログラム。

Images