JP2021033564A

JP2021033564A - 画像分類方法、画像分類装置および画像分類プログラム

Info

Publication number: JP2021033564A
Application number: JP2019152058A
Authority: JP
Inventors: 達也亀津; Tatsuya Kametsu; 雅昭泉; Masaaki Izumi
Original assignee: YE Digital Co Ltd
Current assignee: YE Digital Co Ltd
Priority date: 2019-08-22
Filing date: 2019-08-22
Publication date: 2021-03-01

Abstract

【課題】機械学習用の画像を収集する手間を大幅に削減すること。【解決手段】実施形態の一態様に係る画像分類方法は、第１学習工程と、第２学習工程と、第１分類工程と、第２分類工程とを含む。第１学習工程は、検査対象画像を複数の分類クラスのいずれかに分類する第１識別器を生成する。第２学習工程は、分類クラスのそれぞれに分類される学習用画像が有する特徴量を獲得する第２識別器を分類クラスごとにそれぞれ生成する。第１分類工程は、第１識別器を用いて、検査対象画像を複数の分類クラスのいずれかに分類する。第２分類工程は、第２識別器に検査対象画像を入力して得られる出力値に基づいて、検査対象画像を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する。【選択図】図２

Description

開示の実施形態は、画像分類方法、画像分類装置および画像分類プログラムに関する。

従来、機械学習を利用して、画像解析を行う技術が知られている。たとえば、特許文献１に開示の技術は、分類結果が既知である複数の画像について算出した特徴ベクトルを用いて機械学習を実行し、機械学習で得られた結果に基づいて、分類結果が未知である画像の分類を行うものである。

こうした技術を応用したシステムを、たとえば製品の生産ラインなどに導入することにより、たとえば製造された製品の画像から、かかる製品が正常品であるか否か、また、正常品でなければ何が異常か、を分類することができる。

特開２０１５−０１１５５２号公報

しかしながら、上述した従来技術には、機械学習用の画像を収集する手間を削減するうえで、さらなる改善の余地がある。

具体的には、機械学習に基づく画像解析技術を応用したシステムでは、かかるシステムを運用する中で、画像の分類精度を高めていく場合が多い。画像の分類精度を高めるためには、再学習用の画像を用意する必要がある。再学習用の画像として、かかるシステムより誤って認識された画像が収集され利用される。システム管理者は、システムによる画像の分類結果の全てについて目視確認による評価を行い、再学習画像として採用する画像を選別する。

ところで、たとえば製品の生産ラインなどに導入されるシステムでは、システムにより分類される製品の画像数も膨大となる。このため、再学習画像の収集には、過大な労力と時間が要求される。

実施形態の一態様は、上記に鑑みてなされたものであって、機械学習用の画像を収集する手間を大幅に削減できる画像分類方法、画像分類装置および画像分類プログラムを提供することを目的とする。

実施形態の一態様に係る画像分類方法は、第１学習工程と、第２学習工程と、第１分類工程と、第２分類工程とを含む。第１学習工程は、複数の分類クラスのいずれに対応するかを示す情報が付与された複数の学習用画像を用いた機械学習を実行することにより、検査対象画像を複数の分類クラスのいずれかに分類する第１識別器を生成する。第２学習工程は、複数の分類クラスのそれぞれに分類された複数の学習用画像を用いて分類クラスごとに個別の機械学習を実行することによって、分類クラスのそれぞれに分類される学習用画像が有する特徴量を獲得する第２識別器を分類クラスごとにそれぞれ生成する。第１分類工程は、第１識別器を用いて、検査対象画像を複数の分類クラスのいずれかに分類する。第２分類工程は、第２識別器に検査対象画像を入力して得られる出力値に基づいて、検査対象画像を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する。

実施形態の一態様によれば、機械学習用の画像を収集する手間を大幅に削減できる。

図１は、比較例に係る画像分類方法の概要説明図である。図２は、実施形態に係る画像分類方法の概要説明図（その１）である。図３は、実施形態に係る画像分類方法の概要説明図（その２）である。図４は、実施形態に係る画像分類方法の概要説明図（その３）である。図５は、実施形態に係る第２識別部による分類の概念を示す図である。図６は、実施形態に係る画像分類装置のブロック図である。図７は、実施形態に係る第１学習部による学習の概要を示す図である。図８は、実施形態に係る第２学習部による学習の概要を示す図である。図９は、実施形態に係る画像分類装置が実行する処理手順を示すフローチャートである。図１０は、実施形態に係る画像分類装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。図１１は、その他の実施形態に係る第２学習部による学習の概要を示す図である。

以下、添付図面を参照して、本願の開示する画像分類方法、画像分類装置および画像分類プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。また、以下の説明において、実質的に同一の機能構成を有する複数の構成を必要に応じて区別する。なお、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、例えば、分類クラス２０のように、同一符号のみを付して、特に区別することなく説明する。

まず、図１を用いて、比較例に係る画像分類方法の概要を説明する。図１は、比較例に係る画像分類方法の概要説明図である。

図１に示すように、比較例に係る画像分類方法では、識別部１４４ＥＸが、識別器１３３ＥＸを用いて、複数の検査対象画像１０ＥＸを複数の分類クラス２０ＥＸ_１〜２０ＥＸ_ｎ（画像を仕分けするカテゴリ）のいずれかに分類することを概要とする。

識別器１３３ＥＸは、検査対象画像１０ＥＸに対応する学習用画像を学習用データセットとし、公知の学習アルゴリズムを用いた機械学習により生成されるモデルである。識別器１３３ＥＸは、検査対象画像１０ＥＸを識別器１３３ＥＸに入力することにより、識別器１３３ＥＸが出力する出力値に基づいて、検査対象画像１０ＥＸを複数の分類クラス２０ＥＸ_１〜２０ＥＸ_ｎのいずれかに分類する。

例えば、画像分類方法を用いたシステムのシステム管理者は、比較例に係る画像分類方法による検査対象画像１０ＥＸの分類結果を目視確認することにより、分類結果が誤っている検査対象画像１０ＥＸを再学習用の画像として収集する。そして、収集した再学習用の画像を学習用データセットとして、識別器１３３ＥＸに再学習させることにより、識別器１３３ＥＸの分類精度の向上が図られる。

ところで、システム管理者は、システム管理者が再学習用の画像を収集する際、識別部１４４ＥＸによる分類結果を全て確認する必要があるので、過大な労力および膨大な時間を要する。例えば、生産ラインにおける製品の検査において、事実上、再学習用の画像を収集不可能な状況となり得る。一例をあげれば、時間あたり、およそ５０万個の製品を生産する生産ラインにおける検査であれば、１日あたり７時間の稼働で３０日間に撮像される検査対象画像１０ＥＸの枚数は、およそ１億枚となり、膨大な数である。

このような点を鑑み、実施形態に係る画像分類方法では、以下に説明するように、機械学習用の画像を収集する手間を大幅に削減する方法を提案する。図２から図４は、実施形態に係る画像分類方法の概要説明図（その１）、（その２）及び（その３）である。

図２に示すように、実施形態に係る画像分類方法では、第１識別部１４４が、複数の検査対象画像１０を取得し、第１識別器１３３を用いて、検査対象画像１０を複数の分類クラス２０のいずれかに分類する（ステップＳ１）。

そして、実施形態に係る画像分類方法では、第２識別部１４５が、第２識別器１３４に検査対象画像１０を入力して得られる出力値に基づいて、検査対象画像１０を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する（ステップＳ２）。

以下、実施形態に係る画像分類方法を、例えば、製品として歯車を製造する生産ラインに適用する場合を例に挙げて説明を行う。

上記ステップＳ１において、第１識別部１４４は、図３に示すように、検査対象画像１０を第１識別器１３３に入力して得られる出力値に基づいて、検査対象画像１０を複数の分類クラス２０_１〜２０_ｎのいずれかに分類する。すなわち、ステップＳ１によって、製品である歯車の画像を撮像した検査対象画像１０が、分類クラス２０_１〜２０_ｎのいずれかに分類（クラス分類）される。

第１識別器１３３は、異常がない歯車の画像（不良品ではない歯車の画像）、及び異常がある歯車の画像（不良品である歯車の画像）を複数含む学習用画像を学習用データセットとした機械学習を実行することにより生成される。第１識別器１３３を生成する機械学習の学習アルゴリズムとして、例えば、「ＣＮＮ（Convolutional Neural Network）」などを採用できる。例えば、第１識別器１３３の機械学習に用いる学習用データセットには、分類クラス２０のいずれに対応するかを示す情報（例えば、クラスＩＤなどのタグ）が学習用画像のそれぞれに予めタグ付けされている。第１識別器１３３は、入力された検査対象画像１０が、いずれの分類クラス２０に対応する画像であるかを示す出力値を出力できる。

分類クラス２０_１は、例えば、検査対象画像１０に撮像される歯車に異常がない場合（不良品ではない場合）に、検査対象画像１０が分類されるクラスであり、クラスＩＤ：「０１」がタグ付けされている。また、分類クラス２０_２〜２０_ｎ（ｎは４以上の整数）は、検査対象画像１０に撮像される歯車に異常がある（不良品である場合）に、検査対象画像１０が分類されるクラスである。分類クラス２０_２は、例えば、検査対象画像１０に撮像される歯車の歯が欠けている場合に、検査対象画像１０が分類されるクラスであり、クラスＩＤ：「０２」がタグ付けされている。また、分類クラス２０_３は、例えば、検査対象画像１０に撮像される歯車にひび割れがある場合に、検査対象画像１０が分類されるクラスであり、クラスＩＤ：「０３」がタグ付けされている。また、分類クラス２０_ｎは、例えば、検査対象画像１０に撮像される歯車に傷がある場合に、検査対象画像１０が分類されるクラスであり、クラスＩＤ：「ｎｎ」がタグ付けされている。

また、上記ステップＳ２では、図４に示すように、第２識別器１３４に検査対象画像１０を入力して得られる出力値に基づいて、検査対象画像１０を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する。ここで、分類ミスとは、検査対象画像１０が、対応する分類クラス２０に正しく分類されないことを意味している。

第２識別器１３４_１〜１３４_ｎは、第１識別器１３３によって分類クラス２０_１〜２０_ｎのそれぞれに分類された学習用画像を学習用データセットとして、分類クラス２０_１〜２０_ｎごとに個別の機械学習を実行することにより生成される。第２識別器１３４を生成する機械学習の学習アルゴリズムとして、ＶＡＥ（Variational Auto Encoder）を用いることができる。第２識別器１３４_１〜１３４_ｎは、分類クラス２０_１〜２０_ｎのそれぞれに分類された学習用画像が有する特徴量を獲得するモデルである。すなわち、第２識別器１３４_１〜１３４_ｎは、それぞれに対応する分類クラス２０_１〜２０_ｎに分類されてくる学習用画像が共通して備える特徴量を獲得できる。

第２識別部１４５は、第２識別器１３４に検査対象画像１０を入力することにより得られる出力値に基づいて、検査対象画像１０を分類ミスの可能性が高い画像、又は分類ミスの可能性が低い画像のいずれかに分類する。図５は、実施形態に係る第２識別部による分類の概念を示す図である。

図５に示すように、第２識別部１４５_１は、第２識別器１３４に検査対象画像１０を入力することにより出力値として得られる検査対象画像１０に対応する特徴量の確率分布１３４ＰＤに基づいて、検査対象画像１０を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する。具体的には、第２識別部１４５_１は、確率分布１３４ＰＤの密度が薄い範囲ＰＳ１に含まれる各特徴量に対応する検査対象画像１０を分類ミスの可能性が高い画像、すなわち分類クラス２０_１に正しく分類されない可能性の高い画像に分類する。一方、第２識別部１４５_１は、確率分布１３４ＰＤの密度が濃い範囲ＰＳ２に含まれる各特徴量に対応する検査対象画像１０を分類ミスの可能性が低い画像、すなわち分類クラス２０_１に正しく分類されない可能性の低い画像に分類する。

すなわち、ステップＳ２では、ステップＳ１で分類クラス２０_１〜２０_ｎのいずれかに分類された検査対象画像１０が、分類ミスの可能性が高い画像、又は分類ミスの可能性が低い画像にさらに細かく分類される。

このように、実施形態に係る画像分類方法は、分類クラス２０_１〜２０_ｎのいずれかに分類された検査対象画像１０を、分類ミスの可能性が高い画像、又は分類ミスの可能性が低い画像にさらに細かく分類する。このため、システム管理者は、例えば、分類ミスの可能性が高い画像として分類された画像についてのみ目視確認を行い、分類結果の評価を行って、再学習画像として採用する画像を収集できる。このようにして、実施形態に係る画像分類方法は、機械学習用の画像を収集する手間を大幅に削減できる。

以下、上記画像分類方法を適用した画像分類装置１００の構成について、具体的に説明する。

図６は、実施形態に係る画像分類装置１００のブロック図である。なお、図６では、実施形態に係る画像分類装置１００の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的なその他の構成要素についての記載を省略している。

図２に示す画像分類装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図６を用いた説明では、これまでに既に述べた構成要素については、説明を簡略化するか、省略する場合がある。

図６に示すように、画像分類装置１００は、入力部１１０と、出力部１２０と、記憶部１３０と、制御部１４０とを備える。

入力部１１０は、操作部１１１を備える。操作部１１１は、キーボードやマウス、タッチパネルといった入力装置で実装され、各種入力を受け付ける。

出力部１２０は、表示部１２１を備える。表示部１２１は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどを備えた表示装置により実装され、各種情報を表示する。

記憶部１３０は、画像分類装置１００の各種処理の実現に必要となるプログラム及びデータを記憶する。記憶部１３０は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶装置により実装される。図６に示すように、記憶部１３０は、第１学習用データセット１３１と、第２学習用データセット１３２と、第１識別器１３３と、第２識別器１３４とを含む。

第１学習用データセット１３１は、第１識別器１３３を生成する機械学習に用いる複数の学習用画像で構成される。

第２学習用データセット１３２は、第２識別器１３４を生成する機械学習に用いる複数の学習用画像で構成される。

第１識別器１３３は、後述する第１学習部１４２により生成される。第２識別器１３４は、後述する第２学習部１４３により生成される。

制御部１４０は、画像分類装置１００の各部を制御する。制御部１４０は、ＣＰＵ（Central Processing Unit）などのプロセッサを備え、画像分類装置１００内の各種メモリを記憶領域として利用し、処理手順などを規定したプログラム及び所要データを用いて、種々の処理を実行する。図６に示すように、制御部１４０は、取得部１４１と、第１学習部１４２と、第２学習部１４３と、第１識別部１４４と、第２識別部１４５_１〜１４５_ｎとを備え、かかる各部により画像分類装置１００の各種処理を実行する。

取得部１４１は、学習用画像を取得する。学習用画像は、例えば、画像分類装置１００のシステム管理者が操作部１１１を操作することにより、画像分類装置１００に取り込まれる。取得部１４１は、第１識別器１３３の生成に用いる学習用画像を取得すると、第１学習用データセット１３１に格納する。取得部１４１は、第２識別器１３４の生成に用いる学習用画像を取得すると、第２学習用データセット１３２に格納する。

第１学習部１４２は、第１学習用データセット１３１を取得し、これを用いた機械学習を実行して、第１識別器１３３を生成する。第１学習部１４２は、機械学習の学習アルゴリズムとして、「ＣＮＮ」を用いることができる。図７は、実施形態に係る第１学習部による学習の概要を示す図である。

図７に示す第１学習用データセット１３１には、分類クラス２０のいずれに対応するかを示すタグ１３１Ｌ（例えばクラスＩＤなどのタグ）が複数の学習用画像のそれぞれに予めタグ付けされている。また、図７に示すモデル生成器２００は、「ＣＮＮ」による学習アルゴリズムに従って機械学習を実行可能に設計されている。

第１学習部１４２によって第１学習用データセット１３１がモデル生成器２００に入力されると、モデル生成器２００は、第１学習用データセット１３１を用いて、「ＣＮＮ」による学習アルゴリズムに従った機械学習を実行し、第１識別器１３３を生成する。第１学習部１４２は、モデル生成器２００により生成された第１識別器１３３を記憶部１３０に格納する。

第２学習部１４３は、第２学習用データセット１３２を取得し、これを用いた機械学習を実行して、第２識別器１３４を生成する。第２学習部１４３は、機械学習の学習アルゴリズムとして、「ＶＡＥ」を用いることができる。図８は、実施形態に係る第２学習部による学習の概要を示す図である。

図８に示す第２学習用データセット１３２に格納されるクラス別学習用画像は、複数の分類クラス２０のいずれかに予め仕分けされている。なお、それぞれの分類クラス２０に仕分けされたクラス別学習用画像には、クラスを示す情報（例えばクラスＩＤなどのタグ）はタグ付けされていない。また、図８に示すモデル生成器２００は、「ＶＡＥ」に従って機械学習を実行可能に設計されている。「ＶＡＥ」は、いわゆる教師データなしで機械学習を実行できる。このため、第２学習用データセット１３２を準備する際に、分類クラス２０に対応する情報（例えばクラスＩＤなどのタグ）をタグ付けする手間が削減される。

第２学習部１４３は、第２学習用データセット１３２に含まれる学習用画像を分類クラス２０ごとに個別にモデル生成器２００に入力する。モデル生成器２００は、分類クラス２０ごとに仕分けされた複数の学習用画像が入力されると、かかる複数の学習用画像を用いて、「ＶＡＥ」による学習アルゴリズムに従った機械学習を実行し、第２識別器１３４_１を生成する。第２学習部１４３は、モデル生成器２００により生成された第２識別器１３４_１を記憶部１３０に格納する。同様にして、第２学習部１４３は、モデル生成器２００により生成された第２識別器１３４_２〜第２識別器１３４_ｎを記憶部１３０にそれぞれ格納する。

第１識別部１４４は、上記図３に示すように、入力された検査対象画像１０を第１識別器１３３に入力して得られる出力値に基づいて、検査対象画像１０を複数の分類クラス２０_１〜２０_ｎのいずれかに分類する。第１識別器１３３は、検査対象画像１０が入力されると、入力された検査対象画像１０が、いずれの分類クラス２０に対応する画像であるかを示す値を出力できる。第１識別部１４４は、かかる値に基づいて、入力された検査対象画像１０を、いずれかの分類クラス２０に分類する。

第２識別部１４５は、上記図４及び図５に示すように、第２識別器１３４に検査対象画像１０を入力することにより得られる確率分布１３４ＰＤに基づいて、検査対象画像１０を分類ミスの可能性が高い画像、又は分類ミスの可能性が低い画像のいずれかに分類する。第２識別部１４５_１は、確率分布１３４ＰＤの密度が薄い範囲ＰＳ１に含まれる各特徴量に対応する検査対象画像１０を分類ミスの可能性が高い画像、すなわち分類クラス２０_１に正しく分類されない可能性の高い画像に分類する。一方、第２識別部１４５_１は、確率分布１３４ＰＤの密度が濃い範囲ＰＳ２に含まれる各特徴量に対応する検査対象画像１０を分類ミスの可能性が低い画像、すなわち分類クラス２０_１に正しく分類されない可能性の低い画像に分類する。第２識別器１３４は、入力した検査対象画像１０の特徴量を次元圧縮した潜在変数に変換し、変換した潜在変数の確率分布を出力できる。第２識別器１３４により出力される確率分布において、共通した特徴量を有する検査対象画像１０は局所的に固まって表現される。第１識別部１４４によって分類クラス２０_１に分類される検査対象画像１０は、おおよそ共通した特徴を備えていることが想定される。そこで、第２識別部１４５は、例えば、第２識別器１３４から出力される確率分布の密度が薄い範囲に含まれる各特徴量に対応する検査対象画像１０を、分類クラス２０_１に合致しない特徴を備えた分類ミスの可能性が高い画像として分類する。

次に、図９を用いて、画像分類装置１００が実行する処理手順の一例を説明する。図９は、実施形態に係る画像分類装置１００が実行する処理手順を示すフローチャートである。図９に示す処理手順は、制御部１４０の各部により実行される。

図９に示すように、第１学習部１４２は、第１学習工程を実行する（ステップＳ１０１）。第１学習工程は、上述のとおり、第１学習用データセット１３１を取得し、これを用いた機械学習を実行して、第１識別器１３３を生成する工程である。

続いて、第２学習部１４３は、第２学習工程を実行する（ステップＳ１０２）。第２学習工程は、上述のとおり、第２学習用データセット１３２を取得し、これを用いた機械学習を実行して、第２識別器１３４を生成する工程である。

続いて、第１識別部１４４は、第１分類工程を実行する（ステップＳ１０３）。第１分類工程は、上述のとおり、入力された検査対象画像１０を第１識別器１３３に入力して得られる出力値に基づいて、検査対象画像１０を複数の分類クラス２０_１〜２０_ｎのいずれかに分類する工程である。

続いて、第２識別部１４５は、第２分類工程を実行し（ステップＳ１０４）、図９に示す処理を終了する。第２分類工程は、上述のとおり、第２識別器１３４に検査対象画像１０を入力することにより得られる確率分布１３４ＰＤに基づいて、検査対象画像１０を分類ミスの可能性が高い画像、又は分類ミスの可能性が低い画像のいずれかに分類する工程である。

第１学習工程（ステップＳ１０１）及び第２学習工程（ステップＳ１０２）は、所定の学習期間に該当する場合に実行されてもよい。所定の学習期間は、画像分類装置１００の運用初回や、運用前に予め第１識別器１３３および第２識別器１３４を作成しておく場合の所定期間である場合に相当する。所定の学習期間に該当しない場合、図９に示す処理手順は、第１分類工程（ステップＳ１０３）から実行できる。

なお、上述してきた画像分類装置１００は、たとえば図１０に示すような構成のコンピュータ３００によって実現される。図１０は、画像分類装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ３００は、ＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、ＲＯＭ（Read Only Memory）３０３、ＨＤＤ（Hard Disk Drive）３０４、通信インタフェース（Ｉ／Ｆ）３０５、入出力インタフェース（Ｉ／Ｆ）３０６、およびメディアインタフェース（Ｉ／Ｆ）３０７を備える。

ＣＰＵ３０１は、ＲＯＭ３０３またはＨＤＤ３０４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ３０３は、コンピュータ３００の起動時にＣＰＵ３０１によって実行されるブートプログラムや、コンピュータ３００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ３０４は、ＣＰＵ３０１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インタフェース３０５は、通信ネットワークを介して他の機器からデータを受信してＣＰＵ３０１へ送り、ＣＰＵ３０１が生成したデータを、通信ネットワークを介して他の機器へ送信する。

ＣＰＵ３０１は、入出力インタフェース３０６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ３０１は、入出力インタフェース３０６を介して、入力装置からデータを取得する。また、ＣＰＵ３０１は、生成したデータを、入出力インタフェース３０６を介して出力装置へ出力する。

メディアインタフェース３０７は、記録媒体３０８に格納されたプログラムまたはデータを読み取り、ＲＡＭ３０２を介してＣＰＵ３０１に提供する。ＣＰＵ３０１は、当該プログラムを、メディアインタフェース３０７を介して記録媒体３０８からＲＡＭ３０２上にロードし、ロードしたプログラムを実行する。記録媒体３０８は、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

たとえば、コンピュータ３００が実施形態に係る画像分類装置１００として機能する場合、コンピュータ３００のＣＰＵ３０１は、ＲＡＭ３０２上にロードされたプログラムを実行することにより、制御部１４０が有する各部の機能を実現する。また、ＨＤＤ３０４には、記憶部１３０内のデータが記憶される。コンピュータ３００のＣＰＵ３０１は、これらのプログラムを、記録媒体３０８から読み取って実行するが、他の例として、他の装置から、通信ネットワークを介してこれらのプログラムを取得してもよい。

上述してきたように、実施形態に係る画像分類方法は、第１学習工程と、第２学習工程と、第１分類工程と、第２分類工程とを含む。

第１学習工程は、複数の分類クラス２０のいずれに対応するかを示す情報が付与された複数の学習用画像を用いた機械学習を実行することにより、検査対象画像１０を複数の分類クラス２０のいずれかに分類する第１識別器１３３を生成する。第２学習工程は、複数の分類クラス２０のそれぞれに分類された複数の学習用画像を用いて分類クラス２０ごとに個別の機械学習を実行することによって、分類クラス２０のそれぞれに分類される学習用画像が有する特徴量を獲得する第２識別器１３４を分類クラス２０ごとにそれぞれ生成する。

第１分類工程は、第１識別器１３３を用いて、検査対象画像１０を複数の分類クラス２０のいずれかに分類する。第２分類工程は、第２識別器１３４に検査対象画像１０を入力して得られる出力値に基づいて、検査対象画像１０を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する。

このように、実施形態に係る画像分類方法は、第１分類工程によって分類クラス２０のいずれかに分類された検査対象画像１０を、分類ミスの可能性が高い画像、又は分類ミスの可能性が低い画像にさらに細かく分類する。このため、システム管理者は、例えば、分類ミスの可能性が高い画像として分類された画像についてのみ目視確認を行い、分類結果の評価を行って、再学習画像として採用する画像を収集できる。このようにして、実施形態に係る画像分類方法は、機械学習用の画像を収集する手間を大幅に削減できる。

〔その他の実施形態〕
上述した実施形態では、分類クラス２０のそれぞれに対応する第２識別器１３４を生成する例を説明したが、全ての分類クラス２０に共通の第２識別器１３４を１つ生成してもよい。図１１は、その他の実施形態に係る第２学習部による学習の概要を示す図である。

図１１に示す第２学習用データセット１３２には、複数の分類クラス２０のいずれかに予め仕分けされているクラス別学習用画像に、それぞれの分類クラス２０を示す情報１３２Ｌが付与されている。分類クラス２０を示す情報１３２Ｌとして、クラスＩＤなどのタグを用いることができる。また、第１識別器１３３が生成済みである場合、第１識別器１３３により分類された学習用画像を、そのまま第２学習用データセット１３２として用いることにより、第２学習用データセット１３２の学習用画像にタグ付けする手間を削減できる。

そして、第２学習部１４３は、予めクラスを示す情報がラベリングされた学習用画像で構成される第２学習用データセット１３２をモデル生成器２００に入力する。モデル生成器２００は、分類クラス２０に仕分けされた複数の学習用画像が入力されると、かかる複数の学習用画像を用いて、ＣＶＡＥ（Conditional Variational Auto Encoder）による学習アルゴリズムに従った機械学習を実行し、全ての分類クラス２０に共通の第２識別器１３４Ｍを生成する。「ＣＶＡＥ」は、「ＶＡＥ」に対して、正解ラベル（例えばクラスを示す情報）を付与して学習するアルゴリズムである。第２識別器１３４Ｍは、第１識別部１４４により分類クラス２０ごとに分類された各検査対象画像１０を一度に入力し、それぞれの分類クラス２０ごとの出力値を一度に出力できる。

このように、全ての分類クラス２０に共通の第２識別器１３４Ｍを１つ生成することにより、分類クラス２０のそれぞれに対応する第２識別器１３４を生成する手間を削減できる。なお、全ての分類クラス２０に共通の第２識別器１３４Ｍを１つ生成する例には特に限定される必要はなく、いくつかの分類クラス２０に共通の第２識別器１３４をそれぞれ生成してもよい。

また、上述した実施形態では、第１識別器１３３を生成するための機械学習のアルゴリズムとしてディープラーニングの一種である「ＣＮＮ」を用いるものとしたが、アルゴリズムを限定するものではない。ＳＶＭ（Support Vector Machine）のようなパターン識別器を用いたサポートベクタ回帰等の回帰分析手法により機械学習を実行し、第１識別器１３３を生成してもよい。また、パターン識別器は、ＳＶＭに限らず、アダブースト（AdaBoost）、ランダムフォレストなどの公知のアルゴリズムの中から任意のアルゴリズムを用いてもよい。

また、上述した実施形態では、第２学習部１４３は、第２識別器１３４を生成するための機械学習のアルゴリズムとして「ＶＡＥ」の代わりに、ＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）などを用いてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１００画像分類装置
１１０入力部
１２０出力部
１３０記憶部
１３１第１学習用データセット
１３２第２学習用データセット
１３３第１識別器
１３４第２識別器
１４０制御部
１４１取得部
１４２第１学習部
１４３第２学習部
１４４第１識別部
１４５第２識別部

Claims

複数の分類クラスのいずれに対応するかを示す情報が付与された複数の学習用画像を用いた機械学習を実行することにより、検査対象画像を前記複数の分類クラスのいずれかに分類する第１識別器を生成する第１学習工程と、
複数の分類クラスのそれぞれに分類された複数の学習用画像を用いて前記分類クラスごとに個別の機械学習を実行することによって、前記分類クラスのそれぞれに分類される前記学習用画像が有する特徴量を獲得する第２識別器を前記分類クラスごとにそれぞれ生成する第２学習工程と、
前記第１識別器を用いて、前記検査対象画像を前記複数の分類クラスのいずれかに分類する第１分類工程と、
前記第２識別器に前記検査対象画像を入力して得られる出力値に基づいて、前記検査対象画像を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する第２分類工程と
を含むことを特徴とする画像分類方法。
前記第２分類工程は、
前記出力値として得られる前記検査対象画像に対応する特徴量の確率分布に基づいて、前記検査対象画像を前記分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類することを特徴とする
請求項１に記載の画像分類方法。
前記第２学習工程は、
前記分類クラスを示す情報が付与された複数の学習用画像を用いた機械学習を実行することにより、前記複数の分類クラスに共通の第２識別器を生成する
ことを特徴とする請求項２に記載の画像分類方法。
複数の分類クラスのいずれに対応するかを示す情報が付与された複数の学習用画像を用いた機械学習を実行することにより、検査対象画像を前記複数の分類クラスのいずれかに分類する第１識別器を生成する第１学習部と、
複数の分類クラスのそれぞれに分類された複数の学習用画像を用いて前記分類クラスごとに個別の機械学習を実行することによって、前記分類クラスのそれぞれに分類される前記学習用画像が有する特徴量を獲得する第２識別器を前記分類クラスごとにそれぞれ生成する第２学習部と、
前記第１識別器を用いて、前記検査対象画像を前記複数の分類クラスのいずれかに分類する第１識別部と、
前記第２識別器に前記検査対象画像を入力して得られる出力値に基づいて、前記検査対象画像を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する第２識別部と
を備えることを特徴とする画像分類装置。
コンピュータに備えられたプロセッサが、
複数の分類クラスのいずれに対応するかを示す情報が付与された複数の学習用画像を用いた機械学習を実行することにより、検査対象画像を前記複数の分類クラスのいずれかに分類する第１識別器を生成する第１学習手順と、
複数の分類クラスのそれぞれに分類された複数の学習用画像を用いて前記分類クラスごとに個別の機械学習を実行することによって、前記分類クラスのそれぞれに分類される前記学習用画像が有する特徴量を獲得する第２識別器を前記分類クラスごとにそれぞれ生成する第２学習手順と、
前記第１識別器を用いて、前記検査対象画像を前記複数の分類クラスのいずれかに分類する第１分類手順と、
前記第２識別器に前記検査対象画像を入力して得られる出力値に基づいて、前記検査対象画像を分類ミスの可能性が高い画像又は分類ミスの可能性が低い画像のいずれかに分類する第２分類手順と
を実行することを特徴とする画像分類プログラム。