JP2016181068A - 学習サンプル撮影装置 - Google Patents

Abstract

【課題】画像を用いた判断を行う識別器の学習に必要な大量の学習サンプルを白動的に作成する学習サンプル撮影装置を提供する。
【解決手段】背景を模擬するモニタ１１と、対象物Ｔを撮影するカメラ１３と、影や光を模擬するプロジェクタ１２と、モニタ１１、カメラ１３及びプロジェクタ１２を制御するコントローラ２１〜２３とを有し、位置を固定した対象物Ｔをカメラ１３で撮影して、対象物Ｔの画像上位置３０を取得しておき、モニタ１１の表示パターン３１を順次変更し、プロジェクタ１２の投光パターン３２を順次変更すると共に、順次変更される表示パターン３１の各々を背景とし、順次変更される投光パターン３２の各々を前景とした対象物Ｔをカメラ１３で各々撮影し、撮影した画像を学習サンプルとする。
【選択図】図３

Description

本発明は、画像を用いた判断を行う識別器の学習に必要な大量の学習サンプル（学習画像や評価画像）を自動的に作成する学習サンプル撮影装置に関する。

下記の特許文献１では、動画から人物、車、動物などの認識対象を認識し、認識した領域の画像に幾何変換をかけて認識対象サンプルを生成している。

又、下記の特許文献２では、対象物の三次元形状と表面の模様のデータを予め用意しておき、仮想的に様々な視点から撮影した場合に得られる画像を、コンピュータグラフィックスを使って作成することで、特定の対象物を検出するための基準画像を作成している。

又、下記の非特許文献１では、監視カメラ画像に対して作業者が画像中の人物を矩形枠で囲むことで認識処理に必要な画像データベースを作成している。

特開２０１２−８８７８７号公報 特開２０１２−１７８１３３号公報

発明推進協会公開技報 公技番号２０１２−５０２８１７

画像を用いた識別器などの機械学習による対象物検出処理を構築するためには、大量の学習画像及び評価画像を用意する必要がある。

特許文献１の方法では、予め、人物、車、動物などの認識を行う処理を用意しておく必要があり、これを学習による識別器などで構築する場合は、その識別器を先に学習させておくために、別の方法で大量の学習サンプルを用意しておく必要がある。

又、特許文献２の方法では、対象物の三次元形状を設計データもしくは３Ｄスキャナなどで取得しておく必要があり、これらのデータや装置を用意できない場合には、この方法が使えない。又、三次元形状に対応する表面模様のデータを別途用意しておく必要がある。更に、コンピュータ上の計算により画像を作成するため、実際の照明による対象物上での光の反射や背景の状態とのズレが生じる。

非特許文献１の方法では、作業者が１つ１つ手作業によって画像を確認して画像データベースを作成する必要があり、大量の画像を得るためには多くの労力を要する。又、それぞれの作業者の感覚によって画像中の対象物を囲む枠の位置や大きさに差異が生じ、その差異が識別器などの性能低下に影響を及ぼす可能性がある。

本発明は上記課題に鑑みなされたもので、画像を用いた判断を行う識別器の学習に必要な大量の学習サンプルを白動的に作成する学習サンプル撮影装置を提供することを目的とする。

上記課題を解決する第１の発明に係る学習サンプル撮影装置は、
背景を模擬するモニタと、
対象物を撮影するカメラと、
前記モニタ及び前記カメラを制御する制御装置とを有し、
前記制御装置は、
位置を固定した前記対象物を前記カメラで撮影して、前記対象物の画像上の位置を取得しておき、
前記モニタに複数の表示パターンを表示すると共に、前記複数の表示パターンの各々を背景とした前記対象物を前記カメラで各々撮影し、撮影した画像を学習サンプルとする
ことを特徴とする。

上記課題を解決する第２の発明に係る学習サンプル撮影装置は、
上記第１の発明に記載の学習サンプル撮影装置において、
前記制御装置は、
前記モニタの前記複数の表示パターンを順次変更すると共に、順次変更される前記複数の表示パターンの各々を背景とした前記対象物を前記カメラで各々撮影する
ことを特徴とする。

上記課題を解決する第３の発明に係る学習サンプル撮影装置は、
上記第１又は第２の発明に記載の学習サンプル撮影装置において、
更に、影や光を模擬するプロジェクタを有し、
前記制御装置は、
前記プロジェクタも制御して、前記プロジェクタから複数の投光パターンを投光すると共に、前記複数の投光パターンの各々を前景とした前記対象物を前記カメラで各々撮影し、撮影した画像を学習サンプルとする
ことを特徴とする。

上記課題を解決する第４の発明に係る学習サンプル撮影装置は、
上記第３の発明に記載の学習サンプル撮影装置において、
前記制御装置は、
前記プロジェクタの前記複数の投光パターンを順次変更すると共に、順次変更される前記複数の投光パターンの各々を前景とした前記対象物を前記カメラで各々撮影する
ことを特徴とする。

上記課題を解決する第５の発明に係る学習サンプル撮影装置は、
前記プロジェクタは位置が変更可能に構成されている
ことを特徴とする。

本発明によれば、以下に示す効果を奏する。
（１）対象物の画像上位置が分かっている状態で、背景と前景に様々な変化がある学習サンプルを自動的に大量に得ることができる。
（２）対象物の画像上位置が分かっているので、各々の画像中から対象物の位置を検出する必要がない。もしくは、各々の画像中から対象物を検出する手段を必要としない。
（３）実際の対象物を撮影するため、対象物の三次元形状データや対象物の表面模様を取得しておく必要がない。
（４）実際に撮影を行うため、コンピュータ上の計算により画像を作成する方法に比べて、対象物上の光の反射や背景状態とのズレが無い。
（５）作業者が手作業で画像データベースを作成する方法に比べて、大量の画像を得るための労力を要しない。

本発明に係る学習サンプル撮影装置の構成例を示す概略図である。 図１に示した学習サンプル撮影装置による学習サンプル撮影の手順を説明するフローチャートである。 図１に示した学習サンプル撮影装置による学習サンプル撮影を説明する模式図である。

以下、本発明に係る学習サンプル撮影装置について、図１〜図３を参照して、その実施形態を説明する。

［実施例１］
本実施例の学習サンプル撮影装置は、図１に示すように、背景を模擬するモニタ１１と、影や光を模擬するプロジェクタ１２と、対象物Ｔを撮影するカメラ１３とを有し、更に、それらの制御装置として、モニタ１１を制御する背景表示用コントローラ２１と、プロジェクタ１２を制御する前景表示用コントローラ２２と、カメラ１３を制御する画像撮影用コントローラ２３とを有している。

プロジェクタ１２は、前景として、例えば、日照変化や影などを表現したり、対象物Ｔの表面模様を表現したりするために使用される。日照変化を表現する場合には、朝、昼、夕方などに対応して、プロジェクタ１２の位置を変更可能な構成、例えば、レールなどにプロジェクタ１２を取り付け、プロジェクタ１２がレール上を移動可能な構成としても良い。

このプロジェクタ１２が無くても、後述する学習サンプルの撮影は可能である。但し、望ましくは、プロジェクタ１２を用いて、対象物Ｔの表面模様や明るさに変動を加えた方が、より変化に富んだ様々な学習サンプルを撮影することができる。この場合には、より変化に富んだ様々な学習サンプルを識別器が学習することにより、その認識精度を向上させることができる。

又、画像撮影用コントローラ２３は、後述する図３に示すように、内部に記録装置２３ａを備えており、その記録装置２３ａに後述する画像上位置３０や撮影画像３３が保存され、これらが学習サンプル（学習画像及び評価画像）となっている。又、背景表示用コントローラ２１及び前景表示用コントローラ２２も、内部に記録装置を備えており、それらの記録装置に後述する表示パターン３１や投光パターン３２の画像データなどが保存されている。これらの記録装置としては、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ（ソリッドステートドライブ）などの装置が使用可能である。

上述した構成を有する本実施例の学習サンプル撮影装置では、図２のフローチャートに示す手順で学習サンプルを撮影している。図２と共に、図３も参照して、本実施例の学習サンプル撮影を説明する。なお、図３は、本実施例の学習サンプル撮影装置による学習サンプル撮影を説明する模式図である

（ステップＳ１）
対象物Ｔをモニタ１１上に設置する。なお、ここでは、モニタ１１を下側に配置し、プロジェクタ１２及びカメラ１３を上側に配置しているので、対象物Ｔをモニタ１１上に設置しているが、例えば、モニタ１１を右側（又は左側）に配置し、プロジェクタ１２及びカメラ１３を左側（又は右側）に配置する場合には、対象物Ｔをモニタ１１の前に設置するようにしても良い。

（ステップＳ２）
プロジェクタ１２とカメラ１３を固定する。具体的には、プロジェクタ１２の投光範囲が対象物Ｔ全体を含むように、プロジェクタ１２の位置と角度を調整し、固定すると共に、カメラ１３の画像中に対象物Ｔが入るように、カメラ１３の位置と角度を調整し。固定する。つまり、位置を固定した対象物Ｔに対して、プロジェクタ１２及びカメラ１３の位置関係を固定している。

（ステップＳ３〜Ｓ４）
画像撮影用コントローラ２３を用いて、位置を固定した対象物Ｔをカメラ１３で撮影し、対象物Ｔの画像上位置３０を取得する。具体的には、カメラ１３で撮影した画像上の対象物Ｔを矩形枠で囲み、対象物Ｔの画像上位置３０を取得し、取得した画像上位置３０を画像撮影用コントローラ２３内部の記録装置２３ａに保存する。このとき、モニタ１１の表示及びプロジェクタ１２の投光が無い状態で、画像上の対象物Ｔの認識を自動（画像認識）又は手動で行う。自動又は手動のいずれで認識を行っても、本実施例では、このときだけ認識作業が必要であり、以降の撮影の際に認識作業は不要である。このため、対象物Ｔとカメラ１３の位置関係は、以降の撮影の際も固定している。

（ステップＳ５）
画像撮影用コントローラ２３に撮影する画像枚数を設定する。

（ステップＳ６）
背景表示用コントローラ２１を用いて、モニタ１１の表示パターン３１を変更する。具体的には、ビデオ撮影などによって得られた画像データを背景表示用コントローラ２１内部の記録装置に保存しておき、保存した画像データを表示パターン３１としてモニタ１１に順次周期的に表示する。又は、ビデオ撮影などによって得られた画像データを大量の静止画像として背景表示用コントローラ２１内部の記録装置に保存しておき、保存した大量の静止画像から任意の画像をランダムに選び、選んだ静止画像を表示パターン３１としてモニタ１１に順次周期的に表示する。

（ステップＳ７）
前景表示用コントローラ２２を用いて、プロジェクタ１２の投光パターン３２を変更する。具体的には、ビデオ撮影などによって得られた画像データを前景表示用コントローラ２２内部の記録装置に保存しておき、保存した画像データを投光パターン３２としてプロジェクタ１２から順次周期的に灯光する。又は、ビデオ撮影などによって得られた画像データを大量の静止画像として前景表示用コントローラ２２内部の記録装置に保存しておき、保存した大童の静止画像から任意の画像をランダムに選び、選んだ静止画像を投光パターン３２としてプロジェクタ１２から順次周期的に投光する。

（ステップＳ８）
画像撮影用コントローラ２３を用いて、位置を固定した対象物Ｔをカメラ１３で撮影し、撮影画像３３を画像撮影用コントローラ２３内部の記録装置２３ａに保存する。このとき、周期的に切り替わるモニタ１１の表示パターン３１の各々を背景とし、周期的に切り替わるプロジェクタ１２の投光パターン３２の各々を前景として、位置を固定した対象物Ｔをカメラ１３で各々撮影することになる。カメラ１３は、表示パターン３１又は投光パターン３２が変更されたら対象物Ｔを撮影するようにしても良いし、表示パターン３１及び投光パターン３２の変更周期に合わせて、対象物Ｔを周期的に撮影するようにしても良い。

（ステップＳ９）
画像撮影用コントローラ２３は、撮影した画像枚数をカウントしており、カウントした画像枚数がステップＳ５で設定した画像枚数に達した場合には、撮影処理を終了する。つまり、背景表示用コントローラ２１によるモニタ１１の表示パターン３１の変更を終了し、前景表示用コントローラ２２によるプロジェクタ１２の投光パターン３２の変更を終了し、画像撮影用コントローラ２３によるカメラ１３での撮影を終了し、記録装置２３ａへの画像保存も終了する。

一方、カウントした画像枚数がステップＳ５で設定した画像枚数に達していない場合には、ステップＳ６に戻り、カウントした画像枚数がステップＳ５で設定した画像枚数に達するまで、ステップＳ６〜Ｓ８を繰り返す。つまり、背景表示用コントローラ２１によるモニタ１１の表示パターン３１の変更を継続し、前景表示用コントローラ２２によるプロジェクタ１２の投光パターン３２の変更を継続し、画像撮影用コントローラ２３によるカメラ１３での撮影を継続し、記録装置２３ａへの画像保存も継続する。

このように、モニタ１１上に設置した対象物Ｔに対して、モニタ１１の表示パターン３１を背景とすると共に、プロジェクタ１２の投光パターン３２を前景として、設定した画像枚数だけ自動的に撮影画像３３を撮影することになる。このとき、対象物Ｔはカメラ１３に対して動かないため、全ての撮影画像３３において、取得しておいた対象物Ｔの画像上位置３０が示す位置に対象物Ｔは存在する。つまり、対象物Ｔの位置が分かっている状態で、背景と前景に様々な変化がある学習サンプルを自動的に大量に得ることができる。

加えて、プロジェクタ１２やカメラ１３の位置を変更して、別の視点から対象物Ｔを撮影したい場合は、モニタ１１、プロジェクタ１２、カメラ１３を設置し直して、上述した学習サンプル撮影の撮影手順を行えば、別の視点から撮影した大量の学習サンプルを自動的に大量に得ることができる。

従って、本実施例の学習サンプル撮影装置は、以下に示す効果を奏することになる。
（１）対象物の画像上位置が分かっている状態で、背景と前景に様々な変化がある学習サンプルを自動的に大量に得ることができる。
（２）対象物の画像上位置が分かっているので、各々の画像中から対象物の位置を検出する必要がない。もしくは、各々の画像中から対象物を検出する手段を必要としない。
（３）実際の対象物を撮影するため、対象物の三次元形状データや対象物の表面模様を取得しておく必要がない。
（４）実際に撮影を行うため、コンピュータ上の計算により画像を作成する方法に比べて、対象物上の光の反射や背景状態とのズレが無い。
（５）作業者が手作業で画像データベースを作成する方法に比べて、大量の画像を得るための労力を要しない。

本発明は、画像を用いた判断を行う識別器の学習サンプルの作成に好適な装置である。

１１ モニタ
１２ プロジェクタ
１３ カメラ
２１ 背景表示用コントローラ
２２ 前景表示用コントローラ
２３ 画像撮影用コントローラ
Ｔ 対象物

Claims (5)

1. 背景を模擬するモニタと、
   対象物を撮影するカメラと、
   前記モニタ及び前記カメラを制御する制御装置とを有し、
   前記制御装置は、
   位置を固定した前記対象物を前記カメラで撮影して、前記対象物の画像上の位置を取得しておき、
   前記モニタに複数の表示パターンを表示すると共に、前記複数の表示パターンの各々を背景とした前記対象物を前記カメラで各々撮影し、撮影した画像を学習サンプルとする
   ことを特徴とする学習サンプル撮影装置。
2. 請求項１に記載の学習サンプル撮影装置において、
   前記制御装置は、
   前記モニタの前記複数の表示パターンを順次変更すると共に、順次変更される前記複数の表示パターンの各々を背景とした前記対象物を前記カメラで各々撮影する
   ことを特徴とする学習サンプル撮影装置。
3. 請求項１又は請求項２に記載の学習サンプル撮影装置において、
   更に、影や光を模擬するプロジェクタを有し、
   前記制御装置は、
   前記プロジェクタも制御して、前記プロジェクタから複数の投光パターンを投光すると共に、前記複数の投光パターンの各々を前景とした前記対象物を前記カメラで各々撮影し、撮影した画像を学習サンプルとする
   ことを特徴とする学習サンプル撮影装置。
4. 請求項３に記載の学習サンプル撮影装置において、
   前記制御装置は、
   前記プロジェクタの前記複数の投光パターンを順次変更すると共に、順次変更される前記複数の投光パターンの各々を前景とした前記対象物を前記カメラで各々撮影する
   ことを特徴とする学習サンプル撮影装置。
5. 請求項３又は請求項４に記載の学習サンプル撮影装置において、
   前記プロジェクタは位置が変更可能に構成されている
   ことを特徴とする学習サンプル撮影装置。