JP2019191973A - 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法 - Google Patents

Abstract

【課題】ＣＡＤデータから学習画像を生成する学習画像生成装置及び学習画像方法、並びにその学習画像を用いて画像認識を行う画像認識装置及び画像認識方法を提供する。【解決手段】画像認識システム１において、画像認識装置３は、第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するモデル構築手段と、前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成する画像生成手段とを備えている。【選択図】図１

Description

本発明は、ＣＡＤデータから学習画像を生成する学習画像生成装置及び学習画像生成方法、並びにその学習画像を用いて画像認識を行う画像認識装置及び画像認識方法に関する。

物体を撮像して得られた画像から当該物体を認識する画像認識において、機械学習が近年利用され始めている。その場合、高い認識精度を達成するためには、認識対象となる物体の撮像画像を学習画像として大量に保有していることが必要になる。しかし、例えば、各種製品の製造工程における各種部品を認識対象とする場合では、新たに製造された部品及び製造数が少ない部品等については撮像画像を十分に用意することができず、学習画像を必要量確保することが困難なことがある。そこで、部品のＣＡＤデータを用いてＣＧ画像である学習画像を生成する技術が提案されている。

上記のようにＣＡＤデータから学習画像を生成する技術として、ＣＡＤデータのポリゴン表現の結合部をエッジとして扱い、そのエッジを用いて学習画像を生成する手法が知られている。その他にも、対象物体の輝度画像及び距離画像から対象物体の輝度分布モデルを推定し、その輝度分布モデルに基づいて学習画像を生成する手法が提案されている（特許文献１及び２を参照。）。

特許第６１２６４３７号公報 特開２０１７−１２０６７２号公報

しかしながら、上記の従来技術の前者については、対象物体を撮像する環境が変わり、光源位置及びその向きが異なると、エッジ抽出処理の精度が低下するため、良質な学習画像を得ることができないという問題がある。また、後者については、距離画像を取得するために高価な測定装置が必要になることに加え、対象物体との距離が大きく離れている又は対象物体が巨大なものである等の場合は適用することができないという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記課題を解決することができる学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法を提供することにある。

上述した課題を解決するために、本発明の一の態様の学習画像生成装置は、第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するモデル構築手段と、前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成する画像生成手段とを備える。

この態様において、前記撮像画像における第１物体の角度と一致するように、前記第１物体の３次元ＣＡＤ画像の角度を調整する調整手段をさらに備え、前記モデル構築手段は、前記調整手段により角度が調整された前記３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されていてもよい。

また、上記態様において、前記第１物体の３次元ＣＡＤ画像における第１物体の表面凹凸のコントラストを強調する凹凸強調手段をさらに備え、前記モデル構築手段は、前記凹凸強調手段により表面凹凸が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されていてもよい。

また、上記態様において、前記第１物体の３次元ＣＡＤ画像における第１物体の輪郭線を強調する輪郭線強調手段をさらに備え、前記モデル構築手段は、前記輪郭線強調手段により輪郭線が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されていてもよい。

また、上記態様において、前記モデル構築手段は、前記機械学習モデルを用いて前記第１物体の模倣画像を生成する生成手段と、生成した模倣画像と前記第１物体の撮像画像とを識別する識別手段とを具備しており、前記識別手段による識別結果を用いて前記機械学習を実行するように構成されていてもよい。

また、上記態様において、前記第１物体及び前記第２物体とは異なる形状を有する第３物体の撮像画像及び当該第３物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする第２機械学習モデルを構築する第２モデル構築手段をさらに備え、前記画像生成手段は、前記第２物体の形状が前記第１物体よりも前記第３物体の形状に近い場合に、前記取得した３次元ＣＡＤ画像を入力として前記第２機械学習モデルに与えることにより、前記第２物体の模倣画像を生成するように構成されていてもよい。

また、上記態様において、前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであってもよい。

本発明の一の態様の画像認識装置は、上記態様の学習画像生成装置により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するモデル構築手段と、撮像装置により得られた物体の撮像画像を取得する画像取得手段と、取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得する形状情報取得手段と、取得した形状情報に基づいて、前記撮像画像における物体を認識する画像認識手段とを備える。

本発明の一の態様の学習画像生成方法は、第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するステップと、前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成するステップとを有する。

本発明の一の態様の画像認識方法は、請求項９に記載に記載された学習画像生成方法により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するステップと、撮像装置により得られた物体の撮像画像を取得するステップと、取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得するステップと、取得した形状情報に基づいて、前記撮像画像における物体を認識するステップとを有する。

本発明によれば、画像認識用の学習画像をＣＡＤデータから生成することができる。

実施の形態に係る画像認識装置を備える画像認識システムの構成を示すブロック図。 実施の形態に係る画像認識装置が備える制御部の構成を示すブロック図。 第１学習モードにおける前処理器の動作の流れを示すフローチャート。 第１学習モードにおける画像生成器の動作の流れを示すフローチャート。 ３次元ＣＡＤ画像の一例を示す図。 撮像画像の一例を示す図。 撮像画像に合わせて角度が調整された３次元ＣＡＤ画像の一例を示す図。 第１学習モードにおける画像識別器の動作の流れを示すフローチャート。 画像生成モードにおける画像生成器の動作の流れを示すフローチャート。 ３次元ＣＡＤ画像の一例。 模倣画像の一例。 第２学習モードにおける学習器の動作の流れを示すフローチャート。 ３次元ＣＡＤ画像の一例を示す図。

以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下では、各種製品の製造工程における部品を画像認識の対象とした場合を例示する。

［画像認識システムの構成］
図１は、本実施の形態の画像認識装置を備える画像認識システムの構成を示すブロック図である。画像認識システム１は、認識対象の物体の撮像画像を取得する撮像装置２と、撮像装置２にて取得された撮像画像を用いて画像認識を実行する画像認識装置３と、画像認識装置３の処理結果を出力する出力装置４と、各種入力操作を行うための入力装置５とを備えている。

画像認識装置３は、例えばパーソナルコンピュータ等で構成され、制御部３１と、記憶部３２とを備えている。制御部３１は、後述する各処理を実現するコンピュータプログラムを実行するとともに各装置を制御する。記憶部３２は、当該コンピュータプログラム及び各種のデータを記憶する。この記憶部３２には、撮像装置２により取得された各部品の撮像画像を格納する撮像画像データベース（ＤＢ）３２ａと、認識対象の物体である各部品の３次元ＣＡＤ画像を格納する３次元ＣＡＤ画像データベース（ＤＢ）３２ｂとが設けられている。この３次元ＣＡＤ画像は、各部品を設計する際に作成された３次元ＣＡＤデータのスクリーンショットである。

図２は、画像認識装置３が備える制御部３１の構成を示す機能ブロック図である。図２に示すように、制御部３１は、３次元ＣＡＤ画像に対して前処理を施す前処理器３１ａと、撮像画像と前処理器３１ａから入力された３次元ＣＡＤ画像とを用いて後述する模倣画像（学習画像）を生成する画像生成器３１ｂと、画像生成器３１ｂによって生成された模倣画像と撮像画像とを識別する画像識別器３１ｃと、画像生成器３１ｂによって生成された学習画像を用いて機械学習を行う学習器３１ｄと、学習器３１ｄによる学習の結果得られた機械学習モデルを用いて画像認識を行う画像認識器３１ｅとを備えている。これらの前処理器３１ａ、画像生成器３１ｂ、画像識別器３１ｃ、学習器３１ｄ、及び画像認識器３１ｅは、コンピュータプログラムのモジュールとして実現される。

上述したように構成された画像認識装置３は、本発明の学習画像生成装置としての機能を兼ねている。上記の前処理器３１ａ、画像生成器３１ｂ及び画像識別器３１ｃが、当該学習画像生成装置に相当する。以下では、画像認識装置３の動作の説明を、（１）撮像画像及び３次元ＣＡＤ画像を用いて機械学習を行うことにより、学習画像を生成するための機械学習モデルである画像生成モデルを構築する第１学習モード、（２）その画像生成モデルを用いて学習画像を生成する画像生成モード、（３）生成された学習画像を用いて機械学習を行うことにより、画像認識を行うための機械学習モデルである画像認識モデルを構築する第２学習モード、（４）画像認識を実行する画像認識モードの４つに分けて行う。なお、このうち、（１）第１学習モード及び（２）画像生成モードにおける動作は本発明の学習画像生成装置としての動作に相当し、（３）第２学習モード及び（４）画像認識モードにおける動作が本発明の画像認識装置としての動作に相当する。

［画像認識装置の動作］
（１）第１学習モード
第１学習モードにおいては、前処理器３１ａ、画像生成器３１ｂ及び画像識別器３１ｃの各モジュールがそれぞれ後述する処理を実行する。これにより、部品の撮像画像及び３次元ＣＡＤ画像を用いた機械学習が行われ、その結果画像生成モデルが構築される。

図３は、第１学習モードにおける前処理器３１ａの動作の流れを示すフローチャートである。図３に示すとおり、前処理器３１ａはまず、撮像画像ＤＢ３２ａに撮像画像が存在する部品の３次元ＣＡＤ画像の入力を、３次元ＣＡＤ画像ＤＢ３２ｂから受け付ける（Ｓ１０１）。

次に、前処理器３１ａは、入力された３次元ＣＡＤ画像における部品の表面に設けられている凹凸のコントラストを強調する処理を実行する（Ｓ１０２）。この場合の凹凸には、部品に形成されている貫通／非貫通の孔及び各種形状の突起物等が含まれる。

後に行われる画像認識においては、上記のような部品の表面に設けられている凹凸の位置及び大きさ等のような局所的な特徴に注目して各部品を認識する必要が生じる。そのため、認識性能を高めるために、それらの局所的な特徴が、画像認識に利用される学習画像において正確に再現されることが好ましい。しかし、特に小さな凹凸については潰れてしまい、正確に再現されないことがある。本実施の形態の場合、上記のステップＳ１０２により部品の凹凸のコントラストを強調させることによって、当該凹凸を正確に表現した学習画像を生成することが可能になる。

次に、前処理器３１ａは、入力された３次元ＣＡＤ画像における部品の輪郭線を強調する処理を実行する（Ｓ１０３）。この処理は、例えば鮮鋭化フィルタを用いることにより行われる。

学習画像において部品の輪郭線がぼやける等した場合、認識性能の低下を招くおそれがある。本実施の形態の場合、上記のステップＳ１０３により部品の輪郭線を強調させることによって、当該輪郭線を正確に表現した学習画像を生成し、後に行われる画像認識の精度を高めることができる。

最後に、前処理器３１ａは、以上のように前処理が施された３次元ＣＡＤ画像を画像生成器３１ｂに出力し（Ｓ１０４）、処理を終了する。

画像生成器３１ｂは、上記のとおり前処理が施された３次元ＣＡＤ画像を用いて、次の処理を実行する。図４は、第１学習モードにおける画像生成器３１ｂの動作の流れを示すフローチャートである。図４に示すとおり、画像生成器３１ｂはまず、前処理器３１ａから３次元ＣＡＤ画像の入力を、撮像画像ＤＢ３２ａから当該３次元ＣＡＤ画像の部品に係る撮像画像の入力を、それぞれ受け付ける（Ｓ２０１）。

次に、画像生成器３１ｂは、入力された撮像画像における部品の角度と一致するように、３次元ＣＡＤ画像の角度を調整する（Ｓ２０２）。この処理の詳細について、図５乃至図７を参照しながら説明する。図５は前処理器３１ａから入力された３次元ＣＡＤ画像の一例であり、図６は撮像画像ＤＢ３２ａから入力された撮像画像の一例である。これらの画像に表されている部品は同一部品である。ステップＳ２０２において、画像生成器３１ｂは、図５に示す３次元ＣＡＤ画像の角度を、図６に示す撮像画像の部品の角度と一致するように調整する。その結果、図５に示す３次元ＣＡＤ画像は、図７に示す３次元ＣＡＤ画像へと変換される。これにより、３次元ＣＡＤ画像における部品が、撮像画像における部品と同じ見え方になる。この処理を行うことによって、画像認識の精度向上に寄与する学習構造を生成することができる。

上記の３次元ＣＡＤ画像の角度の調整は、オペレータによる操作を介して行われる。具体的には、オペレータが入力装置５を用いて３次元ＣＡＤ画像の角度を操作し、画像生成器３１ｂがその操作に応じて当該３次元ＣＡＤ画像の角度を変更する。但し、オペレータの操作を介することなく、画像生成器３１ｂが自動的に角度の調整を行ってもよい。例えば、３次元ＣＡＤ画像及び撮像画像の両画像における部品の輪郭線の位置等の情報を用いることにより、角度調整を自動的に行うことが可能である。

画像生成器３１ｂは、以上のようにして角度が合わせられた撮像画像及び３次元ＣＡＤ画像のペアを複数生成する。これらの画像のペアが、機械学習に用いられる教師データとなる。

なお、ペアとされた両画像を水平／垂直方向に反転させたり、輝度値を調整したりすることにより、教師データの数を増やすようにしてもよい。これによって、より適切な機械学習モデルを得ることが可能になる。

次に、画像生成器３１ｂは、上記のようにして用意された教師データを用いて機械学習を実行する（Ｓ２０３）。これにより、学習画像を生成するための機械学習モデルである画像生成モデルが構築される。この画像生成モデルは、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワーク（Convolutional Neural Network）であって、教師データである３次元ＣＡＤ画像を入力とし、同じく撮像画像を出力とするモデルである。

上記のようにして画像生成モデルが構築された後、画像生成器３１ｂは、学習回数が所定回数に達する等の所定の終了条件を満たすか否かを判定する（Ｓ２０４）。ここで、終了条件を満たしたと判定した場合（Ｓ２０４でＹＥＳ）、画像生成器３１ｂは処理を終了する。

他方、終了条件を満たしていないと判定した場合（Ｓ２０４でＮＯ）、画像生成器３１ｂは、教師データとして用いられている３次元ＣＡＤ画像を入力として画像生成モデルに与えることにより、その３次元ＣＡＤ画像に表されている物体の撮像画像を模倣した画像である模倣画像を生成し（Ｓ２０５）、その模倣画像を画像識別器３１ｃに出力する（Ｓ２０６）。

図８は、第１学習モードにおける画像識別器３１ｃの動作の流れを示すフローチャートである。図８に示すとおり、画像識別器３１ｃは、画像生成器３１ｂから模倣画像の入力を、撮像画像ＤＢ３２ａから当該模倣画像の部品に係る撮像画像の入力を、それぞれ受け付ける（Ｓ３０１）。

次に、画像識別器３１ｃは、入力された模倣画像及び撮像画像のペアを用いて機械学習を実行する（Ｓ３０２）。これにより、画像を識別するための機械学習モデルである画像識別モデルが構築される。この画像識別モデルは、上記の画像生成モデルと同様に畳み込みニューラルネットワークであって、模倣画像を入力とし、その模倣画像と撮像画像との識別結果を出力とするモデルである。ここで、入力された模倣画像が画像生成器３１ｂにより生成された画像であると正しく判定できた場合は識別できたことを示す情報が、反対にその模倣画像がペアとなっている撮像画像であると間違って判定した場合は識別できなかったことを示す情報が、識別結果として出力される。

上記のようにして画像識別モデルが構築された後、画像識別器３１ｃは、模倣画像を入力として当該画像識別モデルに与えることにより、その模倣画像と撮像画像との識別結果を生成し（Ｓ３０３）、その識別結果を画像生成器３１ｂに出力する（Ｓ３０４）。

図４に戻り、画像生成器３１ｂは、画像識別器３１ｃから識別結果の入力を受け付け（Ｓ２０７）、ステップＳ２０３に戻り機械学習を繰り返す。このとき、画像生成器３１ｂは、入力された識別結果が模倣画像と撮像画像との識別ができたことを示すものであった場合、画像識別器３１ｃが両画像を識別できなくなるようにパラメータを調整して、機械学習を実行する。この機械学習の繰り返しは、ステップＳ２０４において終了条件を満たしたと判定されるまで行われる。

その後、上記と同様にしてステップＳ２０５及びＳ２０６が実行され、画像生成器３１ｂから画像識別器３１ｃに対して模倣画像が出力される。この入力を受け付けた画像識別器３１ｃは、ステップＳ３０２を実行して機械学習を行う。このとき、画像識別器３１ｃは、入力された模倣画像と撮像画像とを識別することができるようにパラメータを調整して、機械学習を実行する。

上記のようにして画像生成器３１ｂ及び画像識別器３１ｃが互いに競い合うようにして機械学習を繰り返すことにより、画像生成器３１ｂは高精度の画像生成モデル、すなわち撮像画像に極めて近い模倣画像を生成可能な画像生成モデルを構築することができる。

（２）画像生成モード
画像生成モードにおいては、画像生成器３１ｂが、第１学習モードにおいて構築された画像生成モデルを用いて学習画像を生成する。

図９は、画像生成モードにおける画像生成器３１ｂの動作の流れを示すフローチャートである。図９に示すように、画像生成器３１ｂは、３次元ＣＡＤ画像ＤＢ３２ｂから３次元ＣＡＤ画像の入力を受け付ける（Ｓ４０１）。この３次元ＣＡＤ画像は、撮像画像が存在しない部品に係る３次元ＣＡＤ画像である。

次に、画像生成器３１ｂは、入力された３次元ＣＡＤ画像を入力として画像生成モデルに与えることにより、上記部品の模倣画像を生成する（Ｓ４０２）。

図１０は、ステップＳ４０１にて入力が受け付けられた３次元ＣＡＤ画像の一例であり、図１１は、ステップＳ４０２にて生成された模倣画像の一例である。これらの図１０及び図１１に示すように、３次元ＣＡＤ画像に表されている部品に似た形状の模倣画像が得られる。この模倣画像は、撮像画像が存在しない当該部品の画像認識に利用される学習画像となる。

次に、画像生成器３１ｂは、生成した学習画像（模倣画像）を学習器３１ｄに対して出力する（Ｓ４０３）。これにより、画像生成モードは終了し、第２学習モードに移行する。

（３）第２学習モード
第２学習モードにおいては、学習器３１ｄが、画像生成モードにより生成された学習画像を用いて機械学習を行い、画像認識モデルを構築する。

図１２は、第２学習モードにおける学習器３１ｄの動作の流れを示すフローチャートである。図１２に示すように、学習器３１ｄは、撮像画像ＤＢ３２ａから撮像画像の入力を、画像生成器３１ｂから学習画像の入力を、それぞれ受け付ける（Ｓ５０１）。このとき、これらの画像に表されている部品の形状に関する形状情報の入力も受け付ける（Ｓ５０１）。この形状情報は、当該部品の設計に用いられた３次元ＣＡＤデータから得られたものである。これらの撮像画像及び学習画像並びに部品の形状情報が、機械学習に用いられる教師データとなる。

なお、第１学習モードの場合と同様に、各画像を水平／垂直方向に反転させたり、輝度値を調整したりすることにより、教師データの数を増やすようにしてもよい。これにより、より適切な機械学習モデルを得ることができる。

次に、学習器３１ｄは、上記のようにして用意された教師データを用いて機械学習を実行する（Ｓ５０２）。これにより、画像認識を行うための機械学習モデルである画像認識モデルが構築される。この画像認識モデルは、画像生成モデルの場合と同様に畳み込みニューラルネットワークであって、教師データである撮像画像及び学習画像を入力とし、同じく部品の形状情報を出力とするモデルである。

上記のようにして画像認識モデルが構築された後、学習器３１ｄは、その画像認識モデルを画像認識器３１ｅに出力する（Ｓ５０３）。これにより、第２学習モードは終了し、画像認識モードに移行する。

（４）画像認識モード
画像認識モードにおいては、画像認識器３１ｅが、第２学習モードにより生成された画像認識モデルを用いて画像認識を行い、その認識結果を出力装置４に出力する。より具体的に説明すると、画像認識器３１ｅは、撮像装置２によって取得された部品の撮像画像を入力として画像認識モデルに与え、その部品の形状情報を取得し、その形状情報に基づいて当該部品の認識を行う。当該部品について学習画像としての撮像画像が事前に用意できなかった場合でも、本実施の形態では、その部品の模倣画像を学習画像として利用することができるため、適切な画像認識モデルを構築することができる。そのため、そのような部品についても精度良く認識することが可能になる。

（その他の実施の形態）
上述した実施の形態においては、機械学習モデルを、複数の畳み込み層と、複数のプーリング層と、複数の全結合層とを含む畳み込みニューラルネットワークとしたが、これに限定されるものではない。これ以外の構成のニューラルネットワークであってもよい。但し、画像認識精度の観点からは、少なくとも１つずつ、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークであることが好ましい。また、サポートベクタマシン、決定木等のニューラルネットワーク以外の機械学習モデルを用いることもできる。

また、上述した実施の形態においては、画像認識装置が学習画像生成装置の機能を兼ねているが、これに限定されるわけではなく、画像認識装置と学習画像生成装置とが別々のコンピュータで実現されていてもよい。

また、上述した実施の形態においては、画像生成器３１ｂが１つの画像生成モデルを構築しているが、これを複数構築するようにしてもよい。その場合、例えば次のような処理が行われる。まず第１学習モードにおいて、画像生成器３１ｂが、教師データとしての撮像画像及び３次元ＣＡＤ画像のペアを複数生成した後、部品の形状に応じて各ペアを複数のグループに分類する。例えば、図５に示すような平板状の基台を備える部品のグループと、図１３に示すような折り曲げ形状を有する基台を備える部品のグループとに各ペアが分類される。その後、画像生成器３１ｂがグループ毎に機械学習を実行し（Ｓ２０３）、それ以降の処理を上記の実施の形態と同様に行うことにより、グループ毎に画像生成モデルが構築される。その後の画像生成モードにおいては、画像生成器３１ｂが、ステップＳ４０１にて入力を受け付けた３次元ＣＡＤ画像に表されている部品と形状が類似する部品のグループを特定し、その特定したグループに係る画像生成モデルを用いて模倣画像を生成する（Ｓ４０２）。なお、形状が類似しているか否かの判断はオペレータが行ってもよく、また、ＳＩＦＴ（Scaled Invariance Feature Transform）及びＨＯＧ（Histograms of Oriented Gradient）等の局所特徴量のユークリッド距離、又は画像内における部品の充填率等を用いて画像生成器３１ｂが自動的に行ってもよい。このように、認識対象の物体の形状に応じて複数の画像生成モデルを構築し、それらを適切に使い分けることにより、良質な学習画像を生成することが可能になる。

１ 画像認識システム
２ 撮像装置
３ 画像認識装置
３１ 制御部
３１ａ 前処理器
３１ｂ 画像生成器
３１ｃ 画像識別器
３１ｄ 学習器
３１ｅ 画像認識器
３２ 記憶部
３２ａ 撮像画像データベース
３２ｂ ３次元ＣＡＤ画像データベース
４ 出力装置
５ 入力装置

Claims (10)

1. 第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するモデル構築手段と、
   前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成する画像生成手段と
   を備える、学習画像生成装置。
2. 前記撮像画像における第１物体の角度と一致するように、前記第１物体の３次元ＣＡＤ画像の角度を調整する調整手段をさらに備え、
   前記モデル構築手段は、前記調整手段により角度が調整された前記３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されている、
   請求項１に記載の学習画像生成装置。
3. 前記第１物体の３次元ＣＡＤ画像における第１物体の表面凹凸のコントラストを強調する凹凸強調手段をさらに備え、
   前記モデル構築手段は、前記凹凸強調手段により表面凹凸が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されている、
   請求項１又は２に記載の学習画像生成装置。
4. 前記第１物体の３次元ＣＡＤ画像における第１物体の輪郭線を強調する輪郭線強調手段をさらに備え、
   前記モデル構築手段は、前記輪郭線強調手段により輪郭線が強調された第１物体の３次元ＣＡＤ画像を用いて前記機械学習を実行するように構成されている、
   請求項１乃至３の何れかに記載の学習画像生成装置。
5. 前記モデル構築手段は、
   前記機械学習モデルを用いて前記第１物体の模倣画像を生成する生成手段と、
   生成した模倣画像と前記第１物体の撮像画像とを識別する識別手段と
   を具備しており、
   前記識別手段による識別結果を用いて前記機械学習を実行するように構成されている、
   請求項１乃至４の何れかに記載の学習画像生成装置。
6. 前記第１物体及び前記第２物体とは異なる形状を有する第３物体の撮像画像及び当該第３物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする第２機械学習モデルを構築する第２モデル構築手段をさらに備え、
   前記画像生成手段は、前記第２物体の形状が前記第１物体よりも前記第３物体の形状に近い場合に、前記取得した３次元ＣＡＤ画像を入力として前記第２機械学習モデルに与えることにより、前記第２物体の模倣画像を生成するように構成されている、
   請求項１乃至５の何れかに記載の学習画像生成装置。
7. 前記機械学習モデルは、畳み込み層及びプーリング層を含む畳み込みニューラルネットワークである、
   請求項１乃至６の何れかに記載の学習画像生成装置。
8. 請求項１乃至７に記載された学習画像生成装置により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するモデル構築手段と、
   撮像装置により得られた物体の撮像画像を取得する画像取得手段と、
   取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得する形状情報取得手段と、
   取得した形状情報に基づいて、前記撮像画像における物体を認識する画像認識手段と
   を備える、画像認識装置。
9. 第１物体の撮像画像及び当該第１物体の３次元ＣＡＤ画像を含む教師データを用いて機械学習を実行し、前記３次元ＣＡＤ画像を入力とし、前記撮像画像を出力とする機械学習モデルを構築するステップと、
   前記第１物体とは異なる形状を有する第２物体の３次元ＣＡＤ画像を入力として前記機械学習モデルに与えることにより、前記第２物体の模倣画像を、前記第２物体の画像認識の学習画像として生成するステップと
   を有する、学習画像生成方法。
10. 請求項９に記載に記載された学習画像生成方法により生成された学習画像及び前記第１物体の撮像画像と、前記第１物体及び前記第２物体の形状に関する形状情報とを含む教師データによって機械学習を実行し、前記学習画像及び前記撮像画像を入力とし、前記形状情報を出力とする機械学習モデルを構築するステップと、
    撮像装置により得られた物体の撮像画像を取得するステップと、
    取得した撮像画像を入力として前記機械学習モデルに与え、前記機械学習モデルから出力される形状情報を取得するステップと、
    取得した形状情報に基づいて、前記撮像画像における物体を認識するステップと
    を有する、画像認識方法。