JP2023169481A - 学習データ生成装置、学習システム、および、学習データ生成方法 - Google Patents

Abstract

【課題】マーカを対象物に貼って撮影した画像データから、多くの学習データを低コストで収集すること。【解決手段】 学習システム１０は、認識用画像２２に写る対象物１１のマーカが写る相対視野から見た相対位置姿勢である認識位置姿勢２４を認識する認識部２３と、認識用画像２２に写る対象物１１をマーカ１２が写らない別の相対視野から撮影した学習用画像３２を取得し、認識用画像２２を撮影した相対視野と、学習用画像３２を撮影した相対視野との間の相対的な位置関係をもとに、認識位置姿勢２４を補正することで、学習用画像３２に写る対象物１１のマーカが写らない別の相対視野から見た相対位置姿勢である推定位置姿勢３４を推定する推定部３３と、学習用画像３２と推定位置姿勢３４または推定位置姿勢に関する情報またはその両方とを対応付けた学習データを、学習モデル４２の機械学習のために生成する学習部４１とを有する。【選択図】図１

Description

本発明は、学習データ生成装置、学習システム、および、学習データ生成方法に関する。

現場作業の自動化・省人化を行うため、現場の商品を撮影した撮影画像から商品の位置などの作業に役立つ情報を画像認識するシステムが活用されている。画像認識を行うためには、あらかじめ生成した認識モデルが用いられる。

特許文献１には、以下の２種類の認識モデルが記載されている。
・対象物自体にマーカを貼り、その対象物を撮影することで、対象物の位置を把握する認識モデル。
・対象物の周囲にマーカを円環状に貼った状態で、その対象物を撮影することで、対象物の位置を把握する認識モデル。
認識モデルは、大量の画像データと、その画像データに対する認識結果である教師データとを用いて、機械学習されたものである。そのため、認識モデルの質を向上させるためには、良質の学習データを低コストで収集することが重要である。

特許文献２には、カメラおよびＬＩＤＡＲ（Laser Imaging Detection and Ranging）などの複数種類のセンサを併用して対象物を認識する認識モデルについて、各センサの得手不得手となる状況を考慮した学習データの生成方法が記載されている。例えば、カメラは晴天雨天などの天候の変化には影響されないが、周囲が暗い夜が苦手である。一方、ＬＩＤＡＲは、周囲の明るさには影響されないが、雨天の水滴には影響される。
そこで、特許文献２には、以下の手順で教師あり学習データを生成する方法が記載されている。
・第一のセンサの出力に基づいて逐次的に得られた物体の認識結果データが機械学習に於ける教師データとして選択される。
・第二のセンサの出力が機械学習に於ける入力データとして選択される。
・教師データと入力データとの対応付けが為され、教師あり学習データとしてデータベースに格納される。

国際公開第２０１９／１８９６６１号 特開２０１７－１０２８３８号公報

認識モデルが適用される作業現場の環境は多種多様であるため、それらの環境に適合した汎用性の高く高精度な認識モデルを作成するためには、良質の学習データを大量に用意する必要がある。しかし、学習データの準備には多大な人手コストが掛かり、とくに、各画像に対して対象物の位置姿勢を人手て教示するアノテーション作業は大きな負担となっている。

特許文献１，２などの従来の技術では、対象物の位置姿勢を認識するための学習データの自動生成には不充分である。現場作業の自動化として、例えばロボットアームが箱を移動させる場合には、移動対象の箱の位置だけでなく、その箱の傾き度合いを示す姿勢も認識する必要がある。
特許文献１は、マーカが写った画像から、対象物の位置を認識するだけである。例えば、六面体の対象物のうちの一面にマーカを貼って撮影することで、その撮影面だけの学習データを得られる。しかし、残りの５面の学習データを得るためには、マーカを貼りなおすなどの負担が発生する。
特許文献２は、得手不得手が異なる複数種類のセンサを相互補完的に併用する場合という、限定的な状況下での学習データの自動生成方法を示したに過ぎない。つまり、カメラという一種類のセンサにより画像処理を行うための認識モデルの作成には、特許文献２の手法は適用できない。

そこで、本発明では、マーカを対象物に貼って撮影した画像データから、多くの学習データを低コストで収集することを主な課題とする。

前記課題を解決するために、本発明の学習データ生成装置は、以下の特徴を有する。
本発明は、対象物に付されたマーカが写る相対視野から撮影された認識用画像を取得し、前記マーカの前記認識用画像上での位置と、前記対象物と前記マーカとの位置関係を示す対象物モデルとをもとに、前記認識用画像に写る前記対象物の前記マーカが写る相対視野から見た相対位置姿勢である認識位置姿勢を認識する認識部と、
前記認識用画像に写る前記対象物を前記マーカが写らない別の相対視野から撮影した学習用画像を取得し、前記認識用画像を撮影した相対視野と、前記学習用画像を撮影した相対視野との間の相対的な位置関係をもとに、前記認識位置姿勢を補正することで、前記学習用画像に写る前記対象物の前記マーカが写らない別の相対視野から見た相対位置姿勢である推定位置姿勢を推定する推定部と、
前記学習用画像と前記推定位置姿勢または前記推定位置姿勢に関する情報またはその両方とを対応付けた学習データを、学習モデルの機械学習のために生成する学習部とを有することを特徴とする。
その他の手段は、後記する。

本発明によれば、マーカを対象物に貼って撮影した画像データから、多くの学習データを低コストで収集することができる。

本実施形態に関する学習システムおよび運用システムの構成図である。 本実施形態に関する学習システムを用いて学習させる工程の概要図である。 本実施形態に関する学習システムを用いて学習させる工程を示すフローチャートである。 本実施形態に関する学習システムおよび運用システムのハードウェア構成図である。 本実施形態に関する同じ種類の対象物に対して異なる位置にマーカを貼る場合の斜視図である。 本実施形態に関する無人搬送車にマーカを貼る場合の斜視図である。 本実施形態に関する認識カメラが撮影する位置かつ学習カメラが撮影しない位置にマーカを貼る場合の斜視図である。 本実施形態に関する図７の対象物ｄの側面図である。 本実施形態に関する図７のマーカを貼る領域の説明図である。 本実施形態に関する対象物から対象物モデルを作成する工程の概要図である。 本実施形態に関する対象物モデルに含まれる様々な情報を示す斜視図である。 本実施形態に関する撮影環境を用意する工程において、用意される撮影環境の具体例を示す斜視図である。 本実施形態に関する対象物を撮影する工程において、回転台を用いて回転させた対象物を、固定の撮影位置から撮影する場合の斜視図である。 本実施形態に関する対象物を撮影する工程において、ロボットアームを用いて回転させた対象物を、固定の撮影位置から撮影する場合の斜視図である。 本実施形態に関する対象物を撮影する工程において、作業現場のラインであるベルトコンベアを流れる対象物の面を調整した場合の斜視図である。 本実施形態に関する図１３の回転台を用いる場合において、ベルトコンベアを流れる対象物を示す斜視図である。 本実施形態に関する図１５のベルトコンベアを流れる対象物の変形例を示す斜視図である。 本実施形態に関する複数の対象物を同じ画像に撮影する場合の斜視図である。 本実施形態に関する学習データの作成と保存の工程において、認識用画像の画像加工処理を示す説明図である。

以下、本発明の各実施例について、添付図面を参照して説明する。本明細書及び添付図面において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。

図１は、学習システム１０および運用システム５０の構成図である。
学習システム１０は、学習モデル４２を生成する。運用システム５０は、生成された学習モデル４２を作業現場で活用することで現場作業を自動化する。
学習システム１０には、画像撮影用の環境として、マーカ１２が一部に貼られた対象物１１と、その対象物１１を照らす照明１３と、その対象物１１に視野を向けて撮影する認識カメラ２１および学習カメラ３１とが用意される。なお、図１ではマーカ１２としてＡＲ（Augmented Reality）マーカを例示するが、他のマーカを用いてもよい。
なお、同じ対象物１１が同じ位置姿勢に置かれていたとしても、カメラの視野によって、マーカ１２が貼られた面が撮影される場合もあるし、マーカ１２が写らない状態で撮影される場合もある。以下、認識カメラ２１は、マーカ１２が写る認識用画像２２を撮影するカメラとする。一方、学習カメラ３１は、マーカ１２が写らない学習用画像３２を撮影するカメラとする。認識カメラ２１と学習カメラ３１は異なるものであっても、同一のもので対象物１１との相対位置姿勢を変化させた結果であってもよい。

図２は、学習システム１０を用いて学習させる工程の概要図である。
学習システム１０には、認識用画像２２および学習用画像３２を処理することで、学習モデル４２の生成に用いられる教材データを作成する学習データ生成装置も用意される。認識用画像２２と学習用画像３２とは、同じ対象物１１を異なる相対視野から撮影したものである。つまり、同じ対象物１１が同じ位置姿勢に置かれているものを（例えば同時刻の対象物１１を）、異なる視野から撮影された画像である。あるいは、認識カメラ２１と学習カメラ３１を同一のカメラとして、対象物１１との相対位置姿勢を変更することで相対的に異なる視野から撮影した画像であってもよい。
学習システム１０の学習データ生成装置は、処理部として、認識部２３と、推定部３３と、学習部４１とを有する。
学習システム１０の学習データ生成装置の記憶部には、マーカ１２が貼られた状態の対象物１１を３Ｄモデル化した対象物モデル１１Ｍと、認識用画像２２および認識位置姿勢２４と、学習用画像３２および推定位置姿勢３４と、学習モデル４２とが格納される。

認識部２３は、認識用画像２２に写るマーカ１２と、対象物モデル１１Ｍ内のマーカ１２との位置関係をもとに、認識用画像２２を撮影した相対的な視野から見た対象物１１の位置姿勢である認識位置姿勢２４を認識する。つまり、認識部２３は、対象物１１に付されたマーカ１２が写る視野から撮影された認識用画像２２を取得し、対象物１１とマーカ１２との位置関係を示す対象物モデル１１Ｍとをもとに、認識用画像２２を撮影した相対的な視野から見た対象物１１の位置姿勢である認識位置姿勢２４を認識する。

推定部３３は、認識カメラ２１と学習カメラ３１との間の相対的な位置関係をもとに、認識位置姿勢２４を補正することで、学習用画像３２を撮影した相対的な視野から見た対象物１１の位置姿勢である推定位置姿勢３４を推定する。つまり、推定部３３は、認識用画像２２に写る対象物１１に対してマーカ１２が写らない別の相対的な視野から撮影した学習用画像３２を取得し、認識用画像２２を撮影した相対的な視野と、学習用画像３２を撮影した相対的な視野との間の相対的な位置関係をもとに、認識位置姿勢２４を補正することで、学習用画像３２を撮影した相対的な視野から見た対象物１１の位置姿勢である推定位置姿勢３４を推定する。
そのため、推定部３３は、認識カメラ２１の相対視点ａの相対座標系Ａで表現されている認識位置姿勢２４を、学習カメラ３１の相対視点ｂの相対座標系Ｂでの表現に変換することで、相対座標系Ｂの推定位置姿勢３４を推定する。

学習部４１は、学習用画像３２を入力データとし、推定位置姿勢３４を教師データとする学習データを、学習モデル４２の機械学習のために生成する。さらに、学習部４１は、認識用画像２２と認識位置姿勢２４とを対応付けた学習データを、学習モデル４２の機械学習のために生成してもよい。
学習部４１は、生成した学習データを用いた機械学習により、学習モデル４２を生成する。これにより、同じ位置姿勢の対象物１１から、マーカ１２が写らない学習用画像３２も学習データとして活用できるので、多くの学習データを低コストで収集できる。
また、学習部４１は、認識用画像２２を入力データとし、認識位置姿勢２４を教師データとする学習データも、学習モデル４２を生成するために用いてもよい。

運用システム５０には、画像撮影用の環境として、マーカ１２が貼られていない対象物５１を推論用画像５３として撮影する運用カメラ５２が用意される。
さらに、運用システム５０は、推論用画像５３を学習モデル４２に入力させることで、対応する対象物１１の位置姿勢を求める推論部５４と、推論部５４が求めた位置姿勢に従って、対象物１１の自動作業を制御する装置制御部５５とを有する。
装置制御部５５は、例えば、対象物１１をピッキングするピッキングロボットを制御したり、対象物１１を載せて運搬する自動運転のフォークリフトなどの無人搬送車（AGV：Automatic Guided Vehicle）を制御したりする。対象物１１とは、作業対象の商品そのものでもよいし、その商品を１つ以上梱包したケースや、その商品を１つ以上入れたカゴでもよい。

図３は、学習システム１０を用いて学習させる工程を示すフローチャートである。
ユーザは対象物１１にマーカ１２を付すとともに（Ｓ１１）、その対象物１１の立体形状を示す対象物モデル１１Ｍを作成する（Ｓ１２）。
ユーザは撮影環境を用意し（Ｓ１３）、その撮影環境内で対象物１１を撮影する（Ｓ１４）。
認識部２３は、認識カメラ２１が撮影した認識用画像２２から認識位置姿勢２４を認識する（Ｓ１５）。推定部３３は、学習カメラ３１が撮影した学習用画像３２から推定位置姿勢３４を推定する（Ｓ１６）。学習部４１は、学習用画像３２を入力データとし、推定位置姿勢３４を教師データとする学習データを作成して保存する（Ｓ１７）。

図４は、学習システム１０および運用システム５０のハードウェア構成図である。
学習システム１０および運用システム５０は、それぞれＣＰＵ９０１と、ＲＡＭ９０２と、ＲＯＭ９０３と、ＨＤＤ９０４と、通信Ｉ／Ｆ９０５と、入出力Ｉ／Ｆ９０６と、メディアＩ／Ｆ９０７とを有するコンピュータ９００として構成される。
通信Ｉ／Ｆ９０５は、外部の通信装置９１５と接続される。入出力Ｉ／Ｆ９０６は、入出力装置９１６と接続される。メディアＩ／Ｆ９０７は、記録媒体９１７からデータを読み書きする。さらに、ＣＰＵ９０１は、ＲＡＭ９０２に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、ＣＤ－ＲＯＭ等の記録媒体９１７に記録して配布したりすることも可能である。

以下、図５～図９を参照して、対象物にマーカを付す工程（Ｓ１１）の具体例を説明する。
図５は、同じ種類の（同じ立体形状で、同じ模様の）対象物１１に対して異なる位置にマーカ１２を貼る場合の斜視図である。ここでは、対象物１１として「Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ」のいずれかの文字が各面に印字された六面体を例示する。ユーザは、対象物１１ａのＡ面にマーカ１２ａを貼り、対象物１１ｂのＣ面にマーカ１２ｂを貼る。つまり、ユーザは、同一の対象物１１を少なくとも２つ以上準備し、対象物１１に対するマーカ１２を貼付する位置のパターンが少なくとも２つ以上になるように、対象物１１にマーカ１２を貼付する。
このように互いに異なる箇所にマーカ１２を貼った対象物１１のペアを用意することで、どの面も最低１回（１枚）の学習用画像３２に撮影される。例えば、対象物１１ａのＡ面にマーカ１２ａが貼られていても、対象物１１ａのＣ面にはマーカ１２が貼られていないので、マーカ１２が写らないＣ面の学習用画像３２を撮影可能である。一方で、対象物１１ａではマーカ１２が写らないＡ面の学習用画像３２を取得することはできない。しかし、対象物１１ｂであれば、マーカ１２ｂはＣ面に貼られているため、マーカ１２が写らないＡ面の学習用画像３２を取得することができる。

図６は、無人搬送車１１ｃにマーカ１２を貼る場合の斜視図である。
認識カメラ２１は、無人搬送車１１ｃの上部を写す視野にして、無人搬送車１１ｃの上部に貼られたマーカ１２含めた認識用画像２２を撮影する。
学習カメラ３１は、無人搬送車１１ｃの下部を写す視野にして、マーカ１２を含めない学習用画像３２を撮影する。

図７は、認識カメラ２１が撮影する位置かつ学習カメラ３１が撮影しない位置にマーカ１２を貼る場合の斜視図である。
まず、円柱形状の対象物１１ｄが床面に置かれている。その対象物１１ｄの重心を通り床面に垂直な軸１１ｄｍに対して線対象の位置姿勢になるように、認識カメラ２１および学習カメラ３１は配置される。そして、２つのカメラ視野の一方（図面の左方）からはマーカを計測することができ、視点の他方（図面の右方）からはマーカを計測することができないように、ユーザは、対象物１１ｄへマーカ１２ｄを貼付する。

図８は、図７の対象物１１ｄの側面図である。
対象物１１ｄは、トレイ１０２に置かれて、そのトレイ１０２はベルトコンベア１０１によって移動される。ここで、認識カメラ２１の視野と、学習カメラ３１の視野との間の角度１１ｄｋについて、認識カメラ２１からすべてのマーカ１２を撮影でき、かつ、認識カメラ２１からすべてのマーカ１２を撮影できないように調整する必要がある。

図９は、図７のマーカ１２を貼る領域の説明図である。
以下の説明は、図示した３つの事例１１１，１１２，１１３で共通する。
認識カメラ２１の視野を直線Ｌ３～直線Ｌ４の範囲とし、学習カメラ３１の視野を直線Ｌ１～直線Ｌ２の範囲とする。そして、円形の断面図となる対象物１１ｄの円周上の（表面上の）各点からの垂線Ｖ１－Ｖ５を定義する。

マーカ１２を貼ることができる領域Ｂ１，Ｂ２，Ｂ３は、認識カメラ２１の視野の死角になっておらず、学習カメラ３１の視野の死角となっている領域である。この死角の領域は、以下の２つの条件を共に満たす位置の集合である。
（条件１）垂線（例えば事例１１１のＶ５）と、その端点（円周上の点）から学習カメラ３１の位置へと向かう直線（例えば事例１１１のＬ５）との成す角が90度を超える（例えば事例１１１では150度）。
（条件２）垂線（例えば事例１１１のＶ５）と、その端点（円周上の点）から認識カメラ２１の位置へと向かう直線（図示省略）との成す角が90度未満となる（例えば事例１１１では90度未満となる）。

図１０は、対象物１１から対象物モデル１１Ｍを作成する工程（Ｓ１２）の概要図である。
符号１３１は、認識カメラ２１がマーカ１２を含む対象物１１を認識用画像２２として撮影したときの様子を示す。認識用画像２２は、輝度画像１３２および距離画像１３３のペアとして、取得される。
ユーザは、輝度画像１３２が表示されたＧＵＩ（Graphical User Interface）から、輝度画像１３２上で対象物１１の表面を指示することで対象物モデル１１Ｍを生成する。具体的には、以下の（手順１）～（手順４）に従って対象物モデル１１Ｍが生成される。

（手順１）輝度画像１３２にて対象物１１の表面の点（×印で図示した頂点などが望ましい）を人手で複数個教示する（マウス指示など）。そして、距離画像１３３から対象物１１の各点の３Ｄ位置を取得する。
（手順２）輝度画像１３２にてマーカを自動認識し、距離画像１３３からマーカ頂点の３Ｄ位置を取得する。つまり、輝度画像１３２と距離画像１３３とに基づきマーカの距離画像１３３内の位置姿勢を認識する。
（手順３）符号１３４に示すように、対象物１１の各点を包含する直方体と、その直方体上のマーカの３Ｄ位置とＩＤとを対象物モデル１１Ｍとする。この対象物モデル１１Ｍは、距離画像１３３内のマーカ１２の位置姿勢と、距離画像１３３内の対象物１１の位置姿勢との関係情報を含む。これにより、対象物１１とマーカ１２との位置姿勢関係に関する情報を算出できる。
（手順４）距離画像１３３から変換された３Ｄ点群と共に、対象物モデル１１Ｍを３Ｄ空間上に出現させ、様々な視点から確認し、適宜、直方体のサイズ・位置・向きを修正する。

図１１は、対象物モデル１１Ｍに含まれる様々な情報を示す斜視図である。
まず、図１０に示したように、対象物モデル１１Ｍには、対象物１１とマーカ１２との位置姿勢関係に関する情報が含まれる。図１１は、さらに対象物モデル１１Ｍに含まれる付加的な情報を説明する。
符号１４１は、複雑な形状の対象物１１に、３つのマーカ１２を貼る場合の対象物モデル１１Ｍを示す。３つのマーカ１２の位置関係は、各マーカの位置を頂点とした三角形の面積が所定値以上になるように、つまり、各マーカ１２が他のマーカ１２からなるべく遠い位置になるように、貼られることが望ましい。

符号１４２は、対象物１１を把持可能なハンドの位置の情報を含む対象物モデル１１Ｍを示す。
符号１４３は、対象物１１を吸着可能な表面のエリアの情報を含む対象物モデル１１Ｍを示す。
これらのハンドの位置の情報や、表面のエリアの情報は、図１０の輝度画像１３２と距離画像１３３と図１１の対象物モデル１１Ｍとのいずれかに付与される。そして、推定部３３は、推定位置姿勢に関する情報として、対象物を把持可能な位置情報および対象物を吸着可能な位置情報の少なくとも１つを定義し、学習用画像３２と推定位置姿勢３４あるいは推定位置姿勢に関する情報あるいはその両方とを対応付けた学習データを生成する。

図１２は、撮影環境を用意する工程（Ｓ１３）において、用意される撮影環境の具体例を示す斜視図である。
環境１５１は、撮影前のキャリブレーションにより、２台の物理的なカメラ（認識カメラ２１、学習カメラ３１）をフレーム１５１Ｒなどで固定させた場合を示す。
例えば、認識カメラ２１と、学習カメラ３１との間の相対位置姿勢を（回転行列R_ab,並進ベクトルt_ab）とする。推定部３３は、以下の数式に示すように、複数の同一３Ｄ点(ボードｃ上の点)を各視点ａ,ｂから撮影した場合に、ボードｃと各視点ａ,ｂとの座標系の関係R_ca,t_ca,R_cb,t_cbを算出する。
環境１５１は、２台のカメラを移動させないので、推論用画像５３と学習用画像３２とを同時に撮影できる。よって、ベルトコンベアを流れる対象物１１など、大量かつサイズの小さい対象物１１の撮影に適する。

環境１５２は、１台の物理的なカメラを移動させることで、視点ａでは認識カメラ２１として動作させ、視点ｂでは学習カメラ３１として動作させる場合を示す。認識カメラ２１は、対象物１１を囲むように配置された周囲マーカ（位置関係が既知）と、対象物１１のマーカを同時に視点ａから撮影する。学習カメラ３１は、視点ｂへと移動し、周囲マーカと共に対象物を撮影する。
推定部３３は、以下の数式に示すように、周囲マーカｃと視点aとの座標系の関係R_ma,t_maを算出し、周囲マーカｃと視点ｂとの座標系の関係R_mb,t_mbを算出する。

環境１５３は、環境１５２と同様に、１台の物理的なカメラを移動させることで、視点ａでは認識カメラ２１として動作させ、視点ｂでは学習カメラ３１として動作させる場合を示す。環境１５２および環境１５３は、１台のカメラ（所定のカメラ）を移動させるので、対象物１１のサイズが大きい場合や、さまざまな対象物１１のサイズを扱う場合に適する。
認識カメラ２１は、対象物１１のマーカを含む環境を視点ａから撮影する。学習カメラ３１は、対象物１１を連続的に撮影しながら視点を徐々に移動させ、最終的に視点ｂへと移動する。環境１５３では、環境１５２で用いていた周囲マーカを不要とする代わりに、撮影画像内の特徴点をもとに、カメラの位置関係を算出する。
つまり、推定部３３は、以下の数式に示すように、対象物マーカｏと視点aとの座標系の関係R_oa,t_oaを算出し、画像間で特徴点を追跡することで、隣り合うカメラ視点間の座標系の関係ΔR_p,Δt_pを算出する。

また、推定部３３は、以下の数式に示すように、エピポーラ幾何を算出する。

図１３は、対象物を撮影する工程（Ｓ１４）において、回転台を用いて回転させた対象物１１を、固定の撮影位置から撮影する場合の斜視図である。
図１３の環境では、１台の物理的なカメラを固定させ、回転台の回転前の対象物１１を認識カメラ２１として撮影させ、回転台の回転後の対象物１１を学習カメラ３１として撮影させる。
なお、回転台の回転により、対象物１１の位置姿勢は変化する。しかし、この位置姿勢の変化量は、回転台の回転角度として回転量を制御するエンコーダにより算出可能である。よって、推定部３３は、認識用画像２２から得た認識位置姿勢２４に対して、回転台の回転角度を反映することで、推定位置姿勢３４を算出できる。

図１４は、対象物を撮影する工程（Ｓ１４）において、ロボットアームを用いて回転させた対象物１１を、固定の撮影位置から撮影する場合の斜視図である。
図１４の環境では、図１３と同様に、１台の物理的なカメラを固定させ、回転前の対象物１１を認識カメラ２１として撮影させ、回転後の対象物１１を学習カメラ３１として撮影させる。そして、推定部３３は、認識用画像２２から得た認識位置姿勢２４に対して、ロボットアームの関節角から算出した位置姿勢の変更量を反映することで、推定位置姿勢３４を算出できる。

以上、図１３および図１４で示したように、学習システム１０は、さらに、対象物１１を機械的に回転させる機構を有している。認識カメラ２１および学習カメラ３１のうちの一方のカメラは回転前の対象物１１を撮影し、他方のカメラは回転後の対象物１１を撮影することで、互いに異なる視野で対象物１１を撮影する。
そして、推定部３３は、対象物１１の回転量をもとに、推定位置姿勢３４を推定する。

図１５は、対象物を撮影する工程（Ｓ１４）において、作業現場のラインであるベルトコンベアを流れる対象物１１の面を調整した場合の斜視図である。
対象物１１のマーカ面がカメラの視野（撮影方向）に対して垂直（対面）に位置している場合は、その撮影画像からマーカ１２を認識しやすくなる。一方、対象物１１のマーカ面がカメラの撮影方向に対して平行になってしまうと、その撮影画像にマーカ１２が写る面積が小さくなってしまい、マーカ１２を認識しづらくなる。

そこで、認識カメラ２１や学習カメラ３１の撮影方向を考慮して、ロボットアームなどで対象物１１を把持してマーカ１２を認識しやすい位置姿勢になるように、大まかに事前調整することが望ましい。以下、側面図である環境１６１における事前調整の一例である。
・マーカ１２が貼付された対象物１１の表面が、対象物１１の底面１１Ｔとならないように対象物１１を配置する。
・対象物１１を少なくとも２つ以上準備した場合に、それぞれの対象物１１のマーカの表面が、他の対象物１１と隣り合う面１１Ｓ以外の方向を向くように対象物を配置する。

また、マーカ１２の面とともに、光源・影などの影響も考慮して、マーカ１２を認識しやすくなるように調整することが望ましい。
環境１６１の平面図である環境１６２では、認識カメラ２１を対象物１１の周りの四方に配置し、照明１３は独立に調光可能にする。より具体的には、４台の認識カメラ２１と、１台の学習カメラ３１など、カメラを少なくとも５台備える。そして、学習カメラ３１の位置が４台の認識カメラ２１で形成される四角錐の頂点となる。４台の認識カメラ２１の視線方向の水平成分が互いに平行あるいは直交している関係となる。

図１６は、図１３の回転台を用いる場合において、ベルトコンベアを流れる対象物１１を示す斜視図である。
図１５の環境と比較すると、側面図である図１６の環境１６１と、その平面図である図１６の環境１６２では、４台の認識カメラ２１を、１台に減らすことができる。そして、回転台（または図１４のロボットアーム）による回転角度を変化させることで、残り３台の認識カメラ２１と同じ視点を再現できる。

図１７は、図１５のベルトコンベアを流れる対象物１１の変形例を示す斜視図である。
認識カメラ２１Ｂは、透明なトレイ１６５Ｔを介して対象物１１を撮像したり、透明板１６５Ｂを介して対象物１１を撮像したりする。これにより、対象物１１の底面に貼付されたマーカ１２を撮影できる。または、トレイ１６５Ｔの色や、透明板１６５Ｂの色を、ベルトコンベアの色（背景色）と同じ色または類似する色にすることで、対象物１１とマーカ１２とを他の背景から際立たせて撮影でき、マーカ１２の認識率を向上できる。

図１８は、複数の対象物１１を同じ画像に撮影する場合の斜視図である。
カメラ２１ａの視野から画像２２ａが撮影され、カメラ３１ａの視野から画像３２ａが撮影される。
画像２２ａに写る直立した第１対象物１１のＣ面にマーカ１２が付されており、傾いている第２対象物１１のＡ面にマーカ１２が付されていない。一方、画像３２ａに写る直立した第１対象物１１のＡ面にマーカ１２が付されておらず、傾いている第２対象物１１のＣ面にマーカ１２が付されている。

このように、１枚の画像に複数の対象物１１が写る場合には、対象物１１ごとに個別に学習データを生成すればよい。
・直立した第１対象物１１に着目すると、画像２２ａにマーカ１２が写っているので、認識部２３は、カメラ２１ａを認識カメラ２１とし、画像２２ａを認識用画像２２として第１対象物１１の認識位置姿勢２４を認識する。一方、画像３２ａにマーカ１２が写っていないので、推定部３３は、カメラ３１ａを学習カメラ３１とし、画像３２ａを学習用画像３２として第１対象物１１の推定位置姿勢３４を推定する。
・傾いている第２対象物１１に着目すると、画像３２ａにマーカ１２が写っているので、認識部２３は、カメラ３１ａを認識カメラ２１とし、画像３２ａを認識用画像２２として第２対象物１１の認識位置姿勢２４を認識する。一方、画像２２ａにマーカ１２が写っていないので、推定部３３は、カメラ２１ａを学習カメラ３１とし、画像２２ａを学習用画像３２として第２対象物１１の推定位置姿勢３４を推定する。
つまり、同じ１枚の画像２２ａが、直立した第１対象物１１にとっては認識用画像２２として扱われ、傾いている第２対象物１１にとっては学習用画像３２として扱われる。

図１９は、学習データの作成と保存（Ｓ１７）の工程において、認識用画像２２の画像加工処理を示す説明図である。
まず、学習カメラ３１は、Ａ面にマーカ１２が付されていない対象物１８１を撮影し、その一部を画像１８２とする。
次に、認識カメラ２１は、Ａ面にマーカ１２が付されている対象物１７１を撮影し、その一部であるマーカ１２周囲を画像１７２とする。対象物１７１および対象物１８１は、互いに同じ対象物１１である。そして、画像１７２および画像１８２で互いに同じ対象物１１内の相対位置である。
認識部２３は、対象物１７１の撮影画像を認識用画像２２として、その中に写る対象物１１の認識位置姿勢２４を認識する。さらに、認識部２３は、認識用画像２２のうちの画像１７２の箇所（マーカ１２周囲）に対して、画像１８２を重畳（上書き）した画像１７３を作成する。

しかし、このままでは、暗い環境で影のある対象物１７１の撮影画像の一部に、明るい環境で影のない対象物１８１の画像１８２が重畳されているので、見た目に違和感がある。よって、認識部２３は、画像１７３の明るい部分（画像１８２の重畳部分）を明度調整領域とし、その明度調整領域の明度を明度調整領域外の部分（影のある対象物１７１の部分）の明度と同じになるように調整した画像１７４を作成する。そして、認識部２３は、調整した画像１７４を認識用画像２２として、認識した認識位置姿勢２４と対応付けて学習モデル４２に反映させる学習データとする。
これにより、認識用画像２２にマーカ１２が写らない画像を疑似的に生成することで、認識精度を保ちつつ、学習効率が向上する。

以上説明した本実施形態の学習システム１０では、対象物モデル１１Ｍの作成の際に１回マーカ１２の教示作業を行えば、以降は教示作業を行うことなく、マーカ１２が対象物１１に写り込んでいない学習データ（学習用画像３２および推定位置姿勢３４）を取得できる。これにより、マーカ１２を対象物１１に貼って撮影した画像データから、多くの学習データを低コストで収集できる。

なお、本発明は前記した実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体におくことができる。また、クラウドを活用することもできる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線ＬＡＮに限定せず、有線ＬＡＮやその他の通信手段に変更してもよい。

１０ 学習システム（学習データ生成装置）
１１ 対象物
１１Ｍ 対象物モデル
１２ マーカ
１３ 照明
２１ 認識カメラ
２２ 認識用画像
２３ 認識部
２４ 認識位置姿勢
３１ 学習カメラ
３２ 学習用画像
３３ 推定部
３４ 推定位置姿勢
４１ 学習部
４２ 学習モデル
５０ 運用システム
５１ 対象物
５２ 運用カメラ
５３ 推論用画像
５４ 推論部
５５ 装置制御部

Claims (8)

1. 対象物に付されたマーカが写る相対視野から撮影された認識用画像を取得し、前記マーカの前記認識用画像上での位置と、前記対象物と前記マーカとの位置関係を示す対象物モデルとをもとに、前記認識用画像に写る前記対象物の前記マーカが写る相対視野から見た相対位置姿勢である認識位置姿勢を認識する認識部と、
   前記認識用画像に写る前記対象物を前記マーカが写らない別の相対視野から撮影した学習用画像を取得し、前記認識用画像を撮影した相対視野と、前記学習用画像を撮影した相対視野との間の相対的な位置関係をもとに、前記認識位置姿勢を補正することで、前記学習用画像に写る前記対象物の前記マーカが写らない別の相対視野から見た相対位置姿勢である推定位置姿勢を推定する推定部と、
   前記学習用画像と前記推定位置姿勢または前記推定位置姿勢に関する情報またはその両方とを対応付けた学習データを、学習モデルの機械学習のために生成する学習部とを有することを特徴とする
   学習データ生成装置。
2. 前記対象物モデルには、さらに、前記対象物を把持可能な位置情報および前記対象物を吸着可能な位置情報の少なくとも１つが含まれており、
   前記学習部は、前記推定位置姿勢に関する情報として前記対象物を把持可能な位置情報および前記対象物を吸着可能な位置情報の少なくとも１つを前記学習データに対応付けることを特徴とする
   請求項１に記載の学習データ生成装置。
3. 前記学習部は、さらに、前記認識用画像と前記認識位置姿勢または前記認識位置姿勢に関する情報またはその両方とを対応付けた前記学習データを、前記学習モデルの機械学習のために生成することを特徴とする
   請求項１に記載の学習データ生成装置。
4. 前記認識部は、前記認識用画像内の前記対象物に付された前記マーカが写る部分に、前記マーカが付されていない前記対象物の画像を重畳し、その重畳した部分の明度を他の部分の明度で調整した画像を生成し、その生成した画像を前記学習データに対応付けることを特徴とする
   請求項３に記載の学習データ生成装置。
5. 請求項１に記載の学習データ生成装置と、前記認識用画像を撮影する認識カメラと、前記学習用画像を撮影する学習カメラとを有する学習システムであって、
   前記認識カメラは、互いに異なる箇所に前記マーカが付された同じ種類で複数の前記対象物を撮影することを特徴とする
   学習システム。
6. 前記認識カメラは、第１の視野から前記認識用画像を撮影する所定のカメラであり、
   前記学習カメラは、前記第１の視野から第２の視野まで前記所定のカメラを移動させ、前記第２の視野から前記学習用画像を撮影する前記所定のカメラであることを特徴とする
   請求項５に記載の学習システム。
7. 前記学習システムは、さらに、前記対象物を機械的に回転させる機構を有しており、
   前記認識カメラおよび前記学習カメラのうちの一方のカメラは、回転前の前記対象物を撮影する所定のカメラであり、
   他方のカメラは、回転後の前記対象物を撮影する前記所定のカメラであり、 前記学習システムは、前記対象物を回転させることで、前記所定のカメラの絶対位置姿勢を変更することなく、前記認識用画像と前記学習用画像の両方を取得し、
   前記推定部は、前記対象物の回転量をもとに、前記推定位置姿勢を推定することを特徴とする
   請求項５に記載の学習システム。
8. 学習データ生成装置は、認識部と、推定部と、学習部とを有しており、
   前記認識部は、対象物に付されたマーカが写る相対視野から撮影された認識用画像を取得し、前記マーカの前記認識用画像上での位置と、前記対象物と前記マーカとの位置関係を示す対象物モデルとをもとに、前記認識用画像に写る前記対象物の前記マーカが写る相対視野から見た相対位置姿勢である認識位置姿勢を認識し、
   前記推定部は、前記認識用画像に写る前記対象物を前記マーカが写らない別の相対視野から撮影した学習用画像を取得し、前記認識用画像を撮影した相対視野と、前記学習用画像を撮影した相対視野との間の相対的な位置関係をもとに、前記認識位置姿勢を補正することで、前記学習用画像に写る前記対象物の前記マーカが写らない別の相対視野から見た相対位置姿勢である推定位置姿勢を推定し、
   前記学習部は、前記学習用画像と前記推定位置姿勢または前記推定位置姿勢に関する情報またはその両方とを対応付けた学習データを、学習モデルの機械学習のために生成することを特徴とする
   学習データ生成方法。

Images