JP2023149667A - 教師データ生成方法及び生成装置 - Google Patents

Abstract

【課題】少数の不良品データに基づき、精度のよいアノテーションが行われた多数の教師データを低コストで生成することができる教師データの生成方法を提供する。【解決手段】教師データ生成方法は、グレースケールの不良品画像上に、欠陥の範囲を有彩色で示す境界情報を重ね合わせた学習画像を訓練データとして用い、新たなグレースケールの欠陥の画像と有彩色の境界情報の画像とが含まれる生成欠陥画像を生成することを生成モデルに学習させる工程と、学習済みの生成モデルを用いて生成欠陥画像を生成する工程と、生成された生成欠陥画像から、有彩色に対応する画素値を有する画素を抜き出すことにより境界情報を抽出するとともに、境界情報の画像を含まないグレースケール欠陥画像を取得する工程と、抽出された境界情報の座標を境界座標として算出する工程と、グレースケール欠陥画像と境界座標とを紐づけて不良品教師データとする工程と、を有する。【選択図】図３

Description

本発明は、ニューラルネットワークを用いた機械学習機能を有する検査装置などに適用され、検査対象物の良否を判定するための学習モデルにおける教師データの生成方法及び生成装置に関する。

近年、ニューラルネットワークを用いた機械学習機能を有する検査装置により、各種の工業製品や部品などの検査対象物について、正常品（良品）であるか、異常品（不良品）であるかを判定する検品作業の自動化技術の開発が進んでいる。こうした検査装置では、良品と不良品に分類された検査対象物の外観の画像データを教師データとして多数読み込ませることにより、学習が行われる。そして、分類基準を学習した検査装置により、カメラで撮影した新規の検査対象物を、良品と不良品に分類することが可能になる。

上述したように、検査装置の学習には、良品及び不良品の画像データが用いられ、検査精度を高めるためには、良品及び不良品のいずれも、多数の画像データが必要である。しかし、工業製品などの製造現場では一般に、できるだけ不良品を出さないように製造が行われるため、良品の数は多いものの、不良品の数は非常に少ない。そのため、比較的容易に収集可能な良品の画像データ（以下「良品データ」という。）に比べて、不良品の画像データ（以下「不良品データ」という。）の収集は困難である。

また、不良品データを収集する際には、画像に含まれる欠陥の種類や、欠陥が存在する位置座標などの情報を各不良品データと紐づけるアノテーションと呼ばれる作業が必要となる。分類モデルの学習のために多数の不良品データを教師データとして用意する場合、事前に膨大な量のアノテーション作業を行う必要があるため、こうしたアノテーションを自動で精度よく行う方法が要望されている。

こうした問題に対し、不良品データを用いて学習させた生成モデルと分類モデルを用いて、多数の疑似不良品データを生成するとともにアノテーションを行い、これを教師データとして利用する技術が知られている。例えば特許文献１では、あらかじめ学習用の欠陥画像を用いて生成器と推定器の学習を行い、生成器により生成した欠陥画像に対し、推定器が欠陥の種別と位置を推定することで、多数のアノテーション済みの教師データを生成している。

特開２０２０－６０８７９号公報

しかしながら、特許文献１の教師データ生成方法では、欠陥画像に対するアノテーション、すなわち欠陥画像と欠陥の種別及び欠陥の位置との紐づけを、推定器の分類モデルにより実施するため、アノテーションの精度が分類モデルの精度に左右されることになる。そのため、分類モデルの精度が不十分な場合、アノテーションの精度も悪化するという問題がある。また、アノテーションのために分類モデルを構築する必要があるため、コストも高くなる。

本発明は、このような課題を解決するためになされたものであり、少数の不良品データに基づき、精度のよいアノテーションが行われた多数の教師データを低コストで生成することができる教師データの生成方法を提供することを目的とする。

この目的を達成するために、本発明の請求項１に係る教師データ生成方法は、グレースケールの不良品画像上に、当該不良品画像における欠陥の範囲を有彩色で示す境界情報を重ね合わせた学習画像を訓練データとして用い、新たなグレースケールの欠陥の画像とその欠陥の範囲を示す有彩色の境界情報の画像とが含まれる生成欠陥画像を生成することを生成モデルに学習させる事前学習工程（図３のステップ１）と、学習済みの生成モデルを用いて、生成欠陥画像を生成する欠陥画像生成工程（図３のステップ２）と、生成された生成欠陥画像から、有彩色に対応する画素値を有する画素を抜き出すことにより、当該生成欠陥画像に対応する境界情報を抽出するとともに、境界情報の画像を含まないグレースケール欠陥画像を取得する境界情報抽出工程（図３のステップ３～５）と、抽出された境界情報の生成欠陥画像における座標を境界座標として算出する境界座標算出工程（図３のステップ６）と、グレースケール欠陥画像と算出された境界座標とを紐づけて不良品教師データとする不良品教師データ作成工程（図３のステップ７）と、を有することを特徴とする。

この教師データ生成方法では、あらかじめ、グレースケールの不良品画像上に、当該不良品画像における欠陥の範囲を有彩色で示す境界情報を重ね合わせて合成した学習画像を用いて生成モデルの学習を行う。これにより、生成モデルは、発生し得る新たな欠陥の画像と、その欠陥の範囲を示すように配置された有彩色の境界情報の画像とを含む生成欠陥画像を生成できるようになる。

そして、このような生成欠陥画像から、有彩色の画素値を有する画素を抜き出すことにより、当該生成欠陥画像における欠陥の位置を示す境界情報を抽出するとともに、境界情報の画像が取り除かれたグレースケール欠陥画像を取得する。境界情報を抽出した後、この境界情報の生成欠陥画像における座標を算出し、算出された座標を、取得済みのグレースケール欠陥画像と紐づけることにより、アノテーション済みの不良品教師データを作成することができる。

このように、この教師データ生成方法では、欠陥の範囲を示す境界情報をあらかじめ画像として埋め込み、境界情報が埋め込まれた画像に基づき生成欠陥画像を生成した後、画像の色彩に基づき境界情報を抽出する。このようにして得られる境界情報は、常に欠陥の範囲を精度よく示すものであるため、これをグレースケール欠陥画像と紐づけることにより、精度のよいアノテーションを簡易な処理で行うことができる。また、アノテーションのために分類モデルを構築する必要がないので、アノテーションのコストを低減することができる。したがって、この教師データ生成方法を繰り返し実行することにより、少数の不良品データに基づき、精度のよいアノテーションが行われた多数の教師データを低コストで生成することができる。

本発明の請求項２に係る発明は、請求項１に記載の教師データ生成方法において、境界情報は、有彩色のバウンディングボックスであり、境界座標算出工程は、バウンディングボックスの各頂点の座標を境界座標として算出することを特徴とする。

この構成によれば、境界情報が有彩色のバウンディングボックスであるので、生成欠陥画像から抽出された矩形のバウンディングボックスの各頂点の座標を算出し、それをグレースケール欠陥画像と紐づけるという簡易な処理により、アノテーション済みの不良品教師データを作成することができる。したがって、この教師データ生成方法を繰り返し実行することにより、少数の不良品データに基づき、精度のよいアノテーションが行われた多数の教師データをより低コストで生成することができる。

本発明の請求項３に係る教師データ生成装置は、グレースケールの不良品画像上に、当該不良品画像における欠陥の範囲を有彩色で示す境界情報を重ね合わせた学習画像を教師データとして用い、新たなグレースケールの欠陥の画像とその欠陥の範囲を示す有彩色の境界情報の画像とが含まれる生成欠陥画像を生成することを生成モデルに学習させる事前学習手段（事前学習部１２）と、学習済みの生成モデルを用いて、生成欠陥画像を生成する欠陥画像生成手段（欠陥画像生成部１３）と、生成された生成欠陥画像から、有彩色に対応する画素値を有する画素を抜き出すことにより、当該生成欠陥画像に対応する境界情報を抽出するとともに、境界情報の画像を含まないグレースケール欠陥画像を取得する境界情報抽出手段（境界情報抽出部１４）と、抽出された境界情報の生成欠陥画像における座標を境界座標として算出する境界座標算出手段（境界座標算出部１５）と、グレースケール欠陥画像と算出された境界座標とを紐づけて不良品教師データとする不良品教師データ作成手段（不良品教師データ作成部１６）と、を備えることを特徴とする。

この教師データ生成装置では、あらかじめ事前学習手段により、グレースケールの不良品画像上に、当該不良品画像における欠陥の範囲を有彩色で示す境界情報を重ね合わせて合成した学習画像を用いた生成モデルの学習が行われる。これにより、欠陥画像生成手段は、生成モデルを用いて、発生し得る新たな欠陥の画像と、その欠陥の範囲を示すように配置された有彩色の境界情報の画像とを含む生成欠陥画像を生成できるようになる。

そして、境界情報抽出手段が、生成欠陥画像から有彩色の画素値を有する画素を抜き出すことにより、当該生成欠陥画像における欠陥の位置を示す境界情報を抽出するとともに、境界情報の画像が取り除かれたグレースケール欠陥画像を取得する。その後、境界座標算出手段が、境界情報の生成欠陥画像における座標を算出し、不良品教師データ作成手段が、算出された座標を取得済みのグレースケール欠陥画像と紐づけることにより、アノテーション済みの不良品教師データを作成することができる。したがって、この教師データ生成装置を繰り返し用いることにより、少数の不良品データに基づき、精度のよいアノテーションが行われた多数の教師データを低コストで生成することができる。

本発明の一実施形態による教師データ生成装置によって生成された不良品教師データが学習に利用される検査システムの概要を説明するための図である。 本発明の一実施形態による教師データ生成装置を示すブロック図である。 教師データ生成装置による不良品教師データの生成処理を示すフローチャートである。 教師データ生成装置による生成欠陥画像の生成を説明するための図である。 教師データ生成装置による不良品教師データの生成を説明するための図である。

以下、図面を参照しながら、本発明の好ましい実施形態を詳細に説明する。図１は、後述する教師データ生成装置１１によって生成された多数の不良品画像のデータ（不良品データ）、及び多数の良品画像のデータ（良品データ）を用いて学習された分類モデルを備えた検査システムを示している。この検査システム１は、例えば車両部品の製造工場などに設置され、製造された車両部品（例えばシリンダブロック）が正常品（良品）であるか、異常品（不良品）であるかを、車両部品の外観を検査することによって自動で判別するものである。以下、検査すべき車両部品を、「検査対象物」というものとする。

図１に示すように、検査システム１は、検査対象物Ｇを所定方向に所定速度で搬送する搬送機２と、検査対象物Ｇが所定の検査位置に到達したときに、その検査対象物Ｇの良否を判定する検査装置３とを備えている。なお、図示は省略するが、検査装置３によって不良品であると判定された検査対象物Ｇは、搬送機２から取り除かれたり、不良品専用の格納場所に搬送されたりするようになっている。

検査装置３は、主にコンピュータから成る情報処理装置で構成されており、制御部４、画像取得部５、記憶部６、学習部７、入力部８、出力部９及びカメラ１０を備えている。

制御部４は、ＣＰＵを備えており、検査装置３の上記各部５～９及びカメラ１０などを制御する。画像取得部５は、カメラ１０で撮影された検査対象物Ｇの外観画像を、デジタルデータとして取得する。記憶部６は、ＲＯＭ及びＲＡＭを有しており、検査装置３の制御で使用される各種のプログラムが記憶されているとともに、各種データが記憶される。学習部７は、検査対象物Ｇの良否を判別するための基準が学習された学習モデルを有している。入力部８は、作業者によって操作されるキーボードやマウスを有するとともに、外部からデータや信号が入力可能に構成されている。出力部９は、検査対象物Ｇの判定結果が表示されるディスプレイなどの表示器を有している。

図２は、本発明の一実施形態による教師データ生成装置１１を示している。この教師データ生成装置１１は、検査対象物Ｇの検品作業を行う作業者によって操作されることにより、不良品教師データを生成するためのものである。教師データ生成装置１１は、前述した検査装置３と同様に、コンピュータから成る情報処理装置で構成されており、事前学習部１２（事前学習手段）、欠陥画像生成部１３（欠陥画像生成手段）、境界情報抽出部１４（境界情報抽出手段）、境界座標算出部１５（境界座標算出手段）、不良品教師データ作成部１６（不良品教師データ作成手段）を備えている。

事前学習部１２は、グレースケールの不良品画像上に、当該不良品画像における欠陥の範囲を有彩色で示す境界情報を重ね合わせて合成した学習画像を用い、後述する欠陥画像生成部１３が有する生成モデルの学習を行う（事前学習工程）。学習画像は、生成モデルの学習に用いる訓練データとしてあらかじめ用意されるものであり、例えば製造ラインにおいて撮影されたグレースケールの不良品画像に対し、作業者が手動でアノテーション作業を行い、欠陥の種類を示すクラス情報Ｃのラベルと欠陥の範囲を示す有彩色の境界情報を付与したものを一枚の画像データとしたものである。

生成モデルとしては、ＶＡＥ（Variational Auto Encoder：変分オートエンコーダ）やＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）などを用いることができる。生成モデルは、上述の学習画像、すなわちグレースケールで表された欠陥と、その範囲を示す有彩色の境界情報とを画像化したものを入力としたときに、これに近似した画像を出力するように潜在変数ｚを学習する。

欠陥画像生成部１３は、学習済みの生成モデルに任意の欠陥の種類を示すクラス情報Ｃと潜在変数ｚにおける所定のパラメータ値を入力として与えることにより、発生し得る新たな欠陥の画像と、その欠陥が存在する範囲を示すように配置された有彩色の境界情報の画像と、を含む生成欠陥画像を生成させる（欠陥画像生成工程）。

境界情報抽出部１４は、生成された生成欠陥画像を構成する各画素を走査し、学習画像における境界情報の色彩に近い画素値を有する画素を抜き出すことで、これを当該生成欠陥画像における欠陥の位置を示す境界情報として抽出する（境界情報抽出工程）。また、境界情報に対応する画素が抜き出された後の生成欠陥画像を、グレースケール欠陥画像として不図示の記憶部に格納する。記憶部は、教師データ生成装置１１の一部として備えられていてもよいし、教師データ生成装置１１の外部に備えられていてもよい。また、グレースケール欠陥画像において、境界情報の抽出の際に画素が抜き出された部分については、当該部分に近接する画素の情報を複製して補填する処理を行ってもよい。

境界座標算出部１５は、抽出した境界情報の生成欠陥画像における座標を算出する（境界座標算出工程）。

不良品教師データ作成部１６は、算出された境界情報の座標及び入力されたクラス情報Ｃを、取得済みのグレースケール欠陥画像と紐づける形で不図示の記憶部に格納することにより、欠陥の種類と位置に関する情報が付与されたアノテーション済みの不良品教師データを作成する。

図３は、上述した教師データ生成装置１１による不良品教師データの生成処理を示している。本処理では、はじめにステップ１（「Ｓ１」と図示。以下同じ）において、生成モデルの事前学習を行う。事前学習では、上述した学習画像を訓練データとして用い、ＶＡＥやＧＡＮなどのニューラルネットワークを用いた生成モデルの学習を行う。なお、上述のとおり、学習画像とはグレースケールの不良品画像に対しクラス情報Ｃと境界情報を付与したものを一枚の画像データとしたものであり、学習の際には、種々の欠陥形状、クラス情報Ｃ、境界情報を有する複数の学習画像が訓練データとして用いられる。生成モデルは、学習画像が入力として与えられたときに、これに近似した生成画像を出力するようにニューラルネットワークを最適化することで、潜在変数ｚを学習する。

なお、本実施形態では、境界情報として、赤色のバウンディングボックスを使用する。したがって、学習画像においては、不良品画像中の欠陥の位置を囲むように赤色の矩形状のバウンディングボックスの画像が配置される。

次いで、学習済みの生成モデルを用いて、生成された欠陥画像、すなわち生成欠陥画像を出力する（ステップ２）。図４は、本実施形態における教師データ生成装置１１による生成欠陥画像の生成の概要を示す。同図に示すように、学習済みの生成モデルに対して、任意のクラス情報Ｃと潜在変数ｚにおける所定のパラメータ値を入力することで、発生し得る様々な欠陥の画像と、その欠陥が存在する位置を囲むように配置された赤色のバウンディングボックスの画像と、を含む生成欠陥画像が生成される。

次いで、出力された生成欠陥画像を構成する各画素を走査し、バウンディングボックスに用いられた色彩に近い画素値を検出する（ステップ３）。本実施形態におけるバウンディングボックスは赤色であるため、例えばＲＧＢの各値が２５５：０：０の付近の値を取る画素を検出するように設定することができる。画像中の欠陥及び背景はグレースケールで表されているため、欠陥や背景を示す画素が検出されることはない。これにより、バウンディングボックスの画像に対応する矩形状の画素を検出することができる。次いで、検出された画素を抜き出し、これを当該生成欠陥画像における欠陥の位置を示すバウンディングボックスとして抽出する（ステップ４）。

また、バウンディングボックスに対応する画素が抜き出された生成欠陥画像は、グレースケールの欠陥画像のみを含むグレースケール欠陥画像として取得され、不図示の記憶部に格納される（ステップ５）。なお、グレースケール欠陥画像において、バウンディングボックスの抽出により画素が抜き出された部分については、当該部分に近接する画素の情報を複製して補填する処理を行うように構成してもよい。この場合、複製される画素は、欠陥の周囲の欠陥が存在しない背景を表す画素であると想定される。

次いで、抽出したバウンディングボックスの生成欠陥画像における座標を算出する（ステップ６）。本実施形態では、横軸（Ｘ軸）上の最小値（Ｘｍｉｎ）及び最大値（Ｘｍａｘ）と、縦軸（Ｙ軸）上の最小値（Ｙｍｉｎ）及び最大値（Ｙｍａｘ）を算出することで、矩形状のバウンディングボックスの各頂点の座標を算出することができる。

次いで、算出したバウンディングボックスの座標の情報と、生成欠陥画像の生成時に入力したクラス情報Ｃとを、取得済みのグレースケール欠陥画像に紐づける形で不図示の記憶部に格納する（ステップ７）。これにより、欠陥の種類と欠陥の位置に関する情報が付与されたアノテーション済みの不良品教師データが得られる。

図５は、本実施形態における教師データ生成装置１１による不良品教師データの生成の概要を示す。上述のとおり、本実施形態においては、欠陥と、それを囲むように配置されたバウンディングボックスとが一体になった画像を生成欠陥画像として生成するので、生成欠陥画像において、バウンディングボックスの画像の位置は、常に欠陥の画像が存在する範囲を精度よく囲んだものとなる。そして、このような生成欠陥画像から、バウンディングボックスの画像に対応する画素を抜き出し、これをこの生成欠陥画像における欠陥の範囲を示すバウンディングボックスそのものとして利用するので、簡易な処理で精度よくアノテーションを行うことができる。また、本実施形態によれば、アノテーションのために分類モデルを構築する必要がないので、コストを低減することができる。

したがって、本実施形態の教師データ生成装置１１を繰り返し用いて種々の異なる生成欠陥画像から不良品教師データを生成することで、少数の不良品データに基づき、精度のよいアノテーションが行われた多数の不良品教師データを低コストで生成することができる。

なお、本発明は、説明した上記実施形態に限定されることなく、種々の態様で実施することができる。例えば、実施形態では、学習画像を作成するためのグレースケール不良品画像として、製造ラインにおいて撮影された実際の不良品データを用いる構成としたが、実際の不良品データに基づき、例えばＶＡＥやＧＡＮを用いて生成された疑似不良品データを用いる構成としてもよい。また、実施形態で示した教師データ生成装置１１の細部の構成などは、あくまで例示であり、本発明の趣旨の範囲内で適宜、変更することができる。

１ 検査システム
２ 搬送機
３ 検査装置
４ 制御部
５ 画像取得部
６ 記憶部
７ 学習部
８ 入力部
９ 出力部
１０ カメラ
１１ 教師データ生成装置
１２ 事前学習部
１３ 欠陥画像生成部
１４ 境界情報抽出部
１５ 境界座標算出部
１６ 不良品教師データ作成部
Ｇ 検査対象物

Claims (3)

1. グレースケールの不良品画像上に、当該不良品画像における欠陥の範囲を有彩色で示す境界情報を重ね合わせた学習画像を訓練データとして用い、新たなグレースケールの欠陥の画像とその欠陥の範囲を示す前記有彩色の境界情報の画像とが含まれる生成欠陥画像を生成することを生成モデルに学習させる事前学習工程と、
   学習済みの前記生成モデルを用いて、前記生成欠陥画像を生成する欠陥画像生成工程と、
   前記生成された生成欠陥画像から、前記有彩色に対応する画素値を有する画素を抜き出すことにより、当該生成欠陥画像に対応する前記境界情報を抽出するとともに、前記境界情報の画像を含まないグレースケール欠陥画像を取得する境界情報抽出工程と、
   前記抽出された境界情報の前記生成欠陥画像における座標を境界座標として算出する境界座標算出工程と、
   前記グレースケール欠陥画像と前記算出された境界座標とを紐づけて不良品教師データとする不良品教師データ作成工程と、を有することを特徴とする教師データ生成方法。
2. 前記境界情報は、有彩色のバウンディングボックスであり、
   前記境界座標算出工程は、前記バウンディングボックスの各頂点の座標を境界座標として算出することを特徴とする、請求項１に記載の教師データ生成方法。
3. グレースケールの不良品画像上に、当該不良品画像における欠陥の範囲を有彩色で示す境界情報を重ね合わせた学習画像を訓練データとして用い、新たなグレースケールの欠陥の画像とその欠陥の範囲を示す前記有彩色の境界情報の画像とが含まれる生成欠陥画像を生成することを生成モデルに学習させる事前学習手段と、
   学習済みの前記生成モデルを用いて、前記生成欠陥画像を生成する欠陥画像生成手段と、
   前記生成された生成欠陥画像から、前記有彩色に対応する画素値を有する画素を抜き出すことにより、当該生成欠陥画像に対応する前記境界情報を抽出するとともに、前記境界情報の画像を含まないグレースケール欠陥画像を取得する境界情報抽出手段と、
   前記抽出された境界情報の前記生成欠陥画像における座標を境界座標として算出する境界座標算出手段と、
   前記グレースケール欠陥画像と前記算出された境界座標とを紐づけて不良品教師データとする不良品教師データ作成手段と、を備えることを特徴とする教師データ生成装置。
   
   

Images