JP2022089430A - 画像処理システム、及び画像処理プログラム - Google Patents

Abstract

【課題】 ニューラルネットワークによる分類器の学習用データセットを作る段階で離散最適化アルゴリズムを用いて良品画像を効率的に減らすと共に、画像における着目点を安定して配置させた着目点画像を作成することで、分類器による学習の精度を向上させる。【解決手段】 画像を所望のクラスに分類する画像処理システムであって、画像内の着目点を検出する検出器を離散最適化アルゴリズムにより最適化する検出器最適化部と、得られた最適化済み検出器により検出された着目点が中央に配置された着目点画像を作成する分類用学習データ作成部と、着目点画像を用いてニューラルネットワークによる分類器の学習を行う分類器学習部を備えた画像処理システム。【選択図】 図１

Description

本発明は、画像を所望のクラスに分類する画像処理技術に関し、特にニューラルネットワークによる分類器の学習を行う画像処理システムに関する。

従来、ニューラルネットワークを用いた学習においては、学習に使用するための画像数が多く必要であり、特に分類問題ではクラスごとに同数の画像を準備することで分類性能が得られてきた。しかし、現実の問題として、正常画像を大量に得ることは比較的容易である一方、異常画像を準備することは困難であった。また、画像から検出して分類したい対象が画像に対して非常に小さい場合には検出精度が悪くなるという問題もあった。

具体的には、ニューラルネットワークを用いた画像分類では、撮影された画像を分割し、得られた分割画像を用いて分類器の学習などが行われていた。
しかしながら、この場合、図８に示すように、分類したい欠点などは撮影画像の一部にしか存在しないため、良品画像に比べて欠点画像が非常に少なくなっていた。また、図９に示すように、分割画像において欠点が写る場所は不均一となるため、同じ欠点であっても画像としては異なるものになるという問題があった。また、良品にも様々な種類があるため、これらを良品として１つのクラスに分類することは難しいという問題もあった。さらに、画像に対して欠点が小さい場合があり、そのような場合には検出精度が悪くなるという問題もあった。

このような問題を解消するため、従来はサンプル数を多くすることによって様々ケースを学習することが行われていた。また、サンプル数を補うために転移学習なども行われていた。

特表２００３－５０３８０１号公報 国際公開第２０１７／０６８６７５号パンフレット

しかしながら、このようなサンプル数を多くする方法では、上記の問題を十分に解消することは困難であった。すなわち、良品画像に比べて欠点画像が少ないこと、欠点の写る場所が不均一であること、良品には様々な種類があること、及び画像に対して欠点が小さいことにもとづく問題を適切に解消可能な手段の提案が求められていた。

そこで、本発明者らは鋭意研究して、ニューラルネットワークによる学習用データセットを作る段階で離散最適化アルゴリズムを用いて良品画像を効率的に減らすと共に、画像における欠点などの着目点を画像に安定に配置することで、上記の各問題を解消することに成功して本発明を完成させた。

ここで、特許文献１において、ルールの演繹的な規定を必要としない画像分類システムが提案されている。また、特許文献２において、高精度な画像分類処理を実現する画像分類プログラムを生成可能なプログラム生成装置が提案されている。しかしながら、これらの発明は、上記の各問題を解消することの可能なものではなかった。

本発明は、上記事情に鑑みてなされたものであり、ニューラルネットワークによる分類器の学習用データセットを作る段階で離散最適化アルゴリズムを用いて良品画像を効率的に減らすと共に、画像における着目点を安定して配置させた着目点画像を作成することで、分類器による学習の精度を向上させることが可能な画像処理システム、及び画像処理プログラムの提供を目的とする。

上記目的を達成するため、本発明の画像処理システムは、画像を所望のクラスに分類する画像処理システムであって、前記画像内の着目点を検出する検出器を離散最適化アルゴリズムにより最適化する検出器最適化部と、得られた最適化済み検出器により検出された着目点が中央に配置された着目点画像を作成する分類用学習データ作成部と、前記着目点画像を用いてニューラルネットワークによる分類器の学習を行う分類器学習部を備えた構成としてある。

また、本発明の画像処理システムを、前記分類器学習部が、前記着目点画像と前記最適化済み検出器により作成された検出結果画像を用いて前記分類器の学習を行う構成とすることが好ましい。

また、本発明の画像処理システムを、前記分類器学習部が、前記ニューラルネットワークの入力データとして、さらに前記着目点の位置情報、形状情報、及び輝度情報の少なくともいずれかを用いて前記分類器の学習を行う構成とすることも好ましい。

また、本発明の画像処理システムを、前記検出器最適化部が、前記画像を分割して得られた分割画像を用いて前記検出器を最適化し、前記最適化済み検出器により作成された検出結果画像を統合する構成とすることも好ましい。

また、本発明の画像処理システムを、前記ニューラルネットワークが畳込み層を有している構成とすることも好ましい。

また、本発明の画像処理システムを、前記離散最適化アルゴリズムが、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて最適化する進化的計算である構成にすることも好ましい。

また、本発明の画像処理システムを、前記検出器最適化部が、直線構造、木構造、又はネットワーク状に複数の機能単位の実行順序を定義する複数の前記検出器である個体情報を記憶する個体群記憶部と、複数の学習用画像を記憶する画像記憶部と、前記個体情報にもとづいて前記学習用画像を処理し、前記学習用画像に対応する検出結果画像である出力情報を生成する画像処理部と、前記出力情報を評価するための前記学習用画像に対応する教師情報を記憶する教師情報記憶部と、前記出力情報と前記教師情報を比較して、前記個体情報ごと及び前記学習用画像ごとに評価値を計算し、前記個体情報ごとの評価値にもとづき前記個体情報を順位付けする評価値計算部と、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部とを備えた構成とすることも好ましい。

また、本発明の画像処理システムを、前記検出器最適化部が、前記画像記憶部に記憶された前記学習用画像を分割して分割画像を作成する画像分割部を備え、前記画像処理部が前記分割画像に対応する出力情報を生成し、前記検出器最適化部が、生成された前記出力情報を前記学習用画像ごとに統合して検出結果画像を作成する結果統合部をさらに備えた構成とすることも好ましい。

また、本発明の画像処理プログラムは、画像を所望のクラスに分類する画像処理プログラムであって、コンピュータを、前記画像内の着目点を検出する検出器を離散最適化アルゴリズムにより最適化する検出器最適化部、得られた最適化済み検出器により検出された着目点が中央に配置された着目点画像を作成する分類用学習データ作成部、及び、前記着目点画像を用いてニューラルネットワークによる分類器の学習を行う分類器学習部として機能させる構成としてある。

本発明によれば、ニューラルネットワークによる分類器の学習用データセットを作る段階で離散最適化アルゴリズムを用いて良品画像を効率的に減らすと共に、画像における着目点を安定して配置させた着目点画像を作成することで、分類器による学習の精度を向上させることが可能な画像処理システム、及び画像処理プログラムの提供が可能となる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施形態に係る画像処理装置における最適化済み検出器による特異点の検出の説明図である。 本発明の実施形態に係る画像処理装置による着目点画像の作成の説明図である。 本発明の実施形態に係る画像処理装置による処理手順を示すフローチャート（最適化済み検出器の生成まで）である。 本発明の実施形態に係る画像処理装置による処理手順における遺伝子操作の処理手順を示すフローチャートである。 本発明の実施形態に係る画像処理装置による処理手順を示すフローチャート（最適化済み検出器の生成処理の次の処理から分類器学習まで）である。 本発明の実施形態に係る画像処理装置による処理手順における分類器学習用データセット作成の処理手順を示すフローチャートである。 従来のニューラルネットワークを用いた画像分類における画像分割と欠点画像等を示す説明図である。 従来のニューラルネットワークを用いた画像分類で分割画像における欠点が写る場所の不均一性及び様々な良品を示す説明図である。

以下、本発明の画像処理システム、及び画像処理プログラムの実施形態について詳細に説明する。ただし、本発明は、以下の実施形態、及び後述する実施例の具体的な内容に限定されるものではない。

まず、本発明の実施形態に係る画像処理システム、及び画像処理プログラムについて、図１～図３を参照して説明する。図１は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。図２は、本実施形態に係る画像処理装置における最適化済み検出器による特異点の検出の説明図である。図３は、本実施形態に係る画像処理装置による着目点画像の作成の説明図である。

本実施形態の画像処理システムは、画像を所望のクラスに分類する画像処理システムであり、画像内の着目点を検出する検出器を離散最適化アルゴリズムにより最適化する検出器最適化部と、得られた最適化済み検出器により検出された着目点が中央に配置された着目点画像を作成する分類用学習データ作成部と、着目点画像を用いてニューラルネットワークによる分類器の学習を行う分類器学習部を備えている。
この離散最適化アルゴリズムとしては、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて最適化する進化的計算を用いることが好ましいが、その他のアルゴリズムであっても同様の効果を得られるものであれば用いてもよい。

具体的には、本実施形態の画像処理装置１は、図１に示すように、機能単位記憶部１０、個体生成部１１、個体群記憶部１２、画像入力部１３、画像記憶部１４、画像分割部１５、分割画像記憶部１６、検出用教師情報入力部１７、検出用教師情報記憶部１８、分割画像教師情報作成部１９、分割画像教師情報記憶部２０、画像処理部２１、出力情報記憶部２２、結果統合部２３、評価値計算部２４、評価結果記憶部２５、遺伝子操作部２７、最適化済み検出器記憶部２６、分類用教師情報入力部２８、分類用教師情報記憶部２９、分類用学習データ作成部３０、分類用学習データ記憶部３１、分類器学習部３２、及び分類結果記憶部３３を備えている。
本実施形態の画像処理装置１におけるこれらの各構成は、図１に示すように一個の情報処理装置に全て備えることができる。また、これらの各構成は、複数の情報処理装置からなる画像処理システムの各装置に分散して備えてもよい。

本実施形態の画像処理装置１におけるこれらの各構成のうち、検出器最適化部Ａは、機能単位記憶部１０、個体生成部１１、個体群記憶部１２、画像入力部１３、画像記憶部１４、画像分割部１５、分割画像記憶部１６、検出用教師情報入力部１７、検出用教師情報記憶部１８、分割画像教師情報作成部１９、分割画像教師情報記憶部２０、画像処理部２１、出力情報記憶部２２、結果統合部２３、評価値計算部２４、評価結果記憶部２５、遺伝子操作部２７、及び最適化済み検出器記憶部２６により構成される。

機能単位記憶部１０は、ある処理を実行する機能単位であるノード（遺伝子に相当する）をノード番号ごとに記憶する。本実施形態において、このノードとして、画像処理を行うための様々なものを用いることができる。この画像処理としては、画像から検出対象を検出する画像処理アルゴリズムや、画像のノイズ除去アルゴリズム、画像の高解像度化アルゴリズム、画像の合成のアルゴリズム等を挙げることができる。これらのアルゴリズムは、複数のノードを組み合わせることにより作成される。
また、これらのノードは、それぞれの処理の実行に用いるパラメータが存在する場合には、そのパラメータと共に機能単位記憶部１０に記憶される。

さらに、ノードとして、何ら処理を実行しないものを用いてもよく、複数の処理を実行する機能単位をまとめたものを１個のノード（ノードセット）として用いてもよい。ノードとして何ら処理を実行しないものを含めて用いることにより、例えば個体情報を生成するための初期ノード数の設定値が多すぎた場合などに、実質的なノード数を減らすことができる。

本明細書において、「画像処理」には、ノイズ除去のための各種フィルタ処理や、輝度補正などの補正処理、２値化処理、エッジ検出処理、周波数フィルタ処理、四則演算などの演算処理、モフォロジ処理、検出対象判定処理、分岐処理等が含まれる。

個体生成部１１は、機能単位記憶部１０に記憶されているノードを用いて、複数のノードの配列からなる個体情報を生成する。このとき、個体生成部１１は、複数のノードにもとづいて、複数の個体情報をランダムに生成することができる。この個体情報が、画像処理アルゴリズムを構成する。また、本実施形態における検出器、及び最適化済み検出器は、この個体情報に相当し、画像処理アルゴリズムを構成する。
個体生成部１１は、個体情報において、直線構造、木構造、又はネットワーク状に複数のノードの実行順序を定義することができる。ネットワークは、向きが付いたリンクにより構成される有向ネットワークであり、フィードバックを含むものとすることができる。

なお、ネットワーク状の個体情報を用いれば、直線構造や木構造のみからなる個体情報を用いる場合に比較して、より柔軟な表現力を持つネットワーク構造を含めて学習を行うことができるため、最適解（実用上の最適解，実用解）を導き出す上で優位性がある。すなわち、問題に対してどの構造体が最適解になるかは人が事前に把握することができないため、機械学習の前に構造体の条件を決定することは難しい。このため、個体情報として、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義するものを使用して、幅広い条件で最適解を探索することは、真の最適解を導き出せる可能性を高める上で有効と考えられる。

個体群記憶部１２は、個体生成部１１によって生成された複数の個体情報からなる個体群を記憶する。この個体群として、１つの世代又は複数の世代を個体群記憶部１２に記憶させることができ、世代番号ごとに個体情報を個体群記憶部１２に記憶させることができる。
なお、後述する評価値計算部２４は、世代ごと又は設定された世代ごとに個体情報を順位付けして、順位付け情報を評価結果記憶部２５に記憶させることができる。

画像入力部１３は、複数の学習用画像及び複数の検証用画像を画像処理装置１に入力して、画像の識別情報ごとに画像記憶部１４に記憶させる。
学習用画像は、全ての個体情報（画像処理アルゴリズム）により処理して出力情報を得るため、またその出力情報と教師情報を比較して評価値を計算するため、及び評価値を用いて個体の順位付けを実施するために用いることができる。
検証用画像は、所定の個体情報の中で一番良い個体情報により処理して出力情報を得るため、またその出力情報と教師情報を比較して評価値を計算するため、及びその評価値を用いて画像処理アルゴリズムの妥当性や過学習が発していなかなどを検証するために用いることができる。

なお、検証用画像は、人が結果を分析するために使用されるため、基本的に離散最適化アルゴリズムによる最適化には影響は及ぼさないが、終了判定に検証用画像の評価値を用いる場合、例えば検証用画像の評価値が閾値に達した場合に終了する場合や学習用画像と検証用画像の評価値に大きな差が発生した場合に早期終了する場合には、離散最適化アルゴリズムによる最適化に自動的に影響を及ぼすことになる。

画像分割部１５は、画像記憶部１４に記憶されている複数の学習用画像及び複数の検証用画像のそれぞれを、設定されたサイズの複数の分割画像（以下、単に画像と称する場合がある。）に分割して、画像の識別情報ごとに分割画像記憶部１６に記憶させる。図２には、入力された画像と、これを分割した画像のイメージを示している。入力画像に欠点などの着目点が写っている場合、その場所に対応する分割画像に着目点が表示される。このとき、一つの着目点の領域が複数の分割画像に分離して表示されることがある。なお、この「着目点」の用語は、画像における検出対象（画像処理により検出される特異点）に相当するものであり、座標上の１点を意味するものではない。

また、着目点が存在する分割画像に対応する検出結果画像には、着目点が存在する領域を示す情報が付加されている（図２では白く塗りつぶすことで示されている。）。本実施形態の画像処理システムでは、後述する画像処理部２１によってこのような検出結果画像が作成されることで、着目点の検出を行うことが可能になっている。

なお、本実施形態の画像処理システムから画像分割部１５、分割画像記憶部１６、及び後述する分割画像教師情報作成部１９、分割画像教師情報記憶部２０、結果統合部２３を省略して、複数の学習用画像及び複数の検証用画像を分割することなく使用して、画像処理を行うことも可能である。

検出用教師情報入力部１７は、出力情報を評価するための教師情報を入力し、対応する画像の識別情報ごとに検出用教師情報記憶部１８に記憶させる。
この教師情報としては、複数の学習用画像に対応する教師画像、及び複数の検証用画像に対応する教師画像などを用いることができる。この教師画像は、着目点の形状や位置を示すものであり、図２における検出結果画像のように、例えば黒の背景に白で着目点を表したものを用いることができる。
なお、本実施形態の画像処理システムにおいて、教師情報は画像のみに限定されず、画像と共に、画像における検出対象の個数や位置、あるいは検出対象が存在する範囲などを教師情報として用いることもできる。

分割画像教師情報作成部１９は、検出用教師情報記憶部１８から検出用教師情報を入力して、分割画像ごとに対応する教師情報を作成して、分割画像教師情報記憶部２０に記憶させる。
このとき、分割画像教師情報作成部１９は、教師画像を設定されたサイズの複数の画像に分割することによって教師情報を作成することができる。また、検出用教師情報に検出対象の個数や位置、あるいは検出対象が存在する範囲などが含まれる場合は、分割画像ごとの検出対象の個数、位置、範囲を計算することによって教師情報を作成することができる。

画像処理部２１は、分割画像記憶部１６から画像を入力すると共に、個体群記憶部１２から個体情報を入力して、その個体情報にもとづき当該個体情報に含まれる複数のノードを順次実行する。なお、画像処理部２１は、画像の入力処理、及び出力画像の保存処理を行うために、それぞれを実行するためのノードも実行する。

このとき、各ノードは、画像から得られる情報を用いて、それぞれの機能に対応する処理を実行する。また、各ノードは、その処理結果にもとづいて、処理結果に対応する次のノードを選択的に実行し得る。したがって、個体情報に含まれるノードであっても、画像処理において、必ずしも全てのノードが実行される訳ではない。勿論、個体情報における全てのノードが実行される場合はある。また、フィードバックが行われることによって、一つの個体情報において１つのみ定義されているノードが、複数回実行されることもあり得る。

また、ノードの機能として、上述したように、ノイズ除去のための各種フィルタ処理や、輝度補正などの補正処理、２値化処理、エッジ検出処理、周波数フィルタ処理、四則演算などの演算処理、モフォロジ処理、分岐処理等の狭義の画像処理がある。
また、ノードの機能として、検出対象判定処理がある。これは、画像処理部２１によって、画像における一定範囲の検出対象候補をラベリングしてその特徴量を計算し、閾値などにもとづいて、その特徴量を備えた検出対象候補が、正しい検出対象であるか否かを判定する処理として行われる。
なお、検出対象判定処理において、非検出対象候補をラベリングしてその特徴量を計算し、閾値などにもとづきその特徴量を備えていないことにより、検出対象でないことを判定する処理を行うこともできる。

さらに、画像処理部２１は、学習用画像と検証用画像ごとに出力情報としての画像（検出結果画像）などを作成して、個体情報（の識別情報）ごと且つ画像（の識別情報）ごとに出力情報記憶部２２に記憶させることができる。なお、教師情報として、画像における検出対象の個数、位置、又は検出対象が存在する範囲が含まれる場合は、出力情報として、それぞれ検出対象の個数、位置、又は検出対象が存在する範囲も出力情報として作成され、出力情報記憶部２２に記憶される。

画像処理部２１は、学習用画像と検証用画像のそれぞれについて、検出対象が検出された場合は、検出対象が存在する領域を示す情報が付加された検出結果画像を作成し、検出対象が検出されなかった場合は、当該情報が付加されていない検出結果画像を作成する。
そして、この出力情報を個体情報ごと且つ画像ごとに出力情報記憶部２２に記憶させることができる。

なお、検出結果画像を作成する機能を評価値計算部２４に行わせることもできる。すなわち、画像処理部２１により画像処理を行った後、評価値計算部２４が検出結果画像を作成を生成して出力情報記憶部２２に記憶させ、これを用いて評価値を計算する構成とすることも可能である。

結果統合部２３は、出力情報記憶部２２に記憶された出力情報としての検出結果画像を学習用画像と検証用画像ごとに統合して、分割前の画像と同じ大きさの検出結果画像を作成して、出力情報記憶部２２に記憶させる。これにより、一つの欠点の領域が複数の分割画像に分離した場合でも、後述するように、欠点を中央に配置した着目点画像を作成することが可能となる。

評価値計算部２４は、出力情報記憶部２２から出力情報（分割画像ごとの検出結果画像）を入力すると共に、分割画像教師情報記憶部２０からその出力情報に対応する教師情報を入力する。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を個体情報ごと且つ画像ごとに評価結果記憶部２５に記憶させることができる。

評価値計算部２４による評価値の計算は、例えば平均二乗誤差を用いて行うことができる。
また、評価値計算部２４は、個体群記憶部１２に記憶されている全ての個体情報（又は１世代分の個体情報）につき評価値を計算し終えて評価結果記憶部２５に記憶させたタイミングなどで、それらの評価値にもとづき個体情報を順位付け（ランキング）して、得られた順位付け情報を評価結果記憶部２５に記憶させることができる。
また、評価値計算部２４は、評価値にもとづき個体情報ごとに学習用画像を順位付け（ランキング）して、得られた順位付け情報を評価結果記憶部２５に記憶させることもできる。

さらに、評価値計算部２４は、画像処理部２１による画像処理を終了するか否かを判定するための終了判定を行うことができる。終了判定は、終了条件を満たすか否かにもとづき行うことができ、終了条件を満たす場合、評価結果記憶部２５に記憶された最も評価値の高い個体情報が、画像内の着目点（特異点）を検出するために最適化された個体情報（最適化済み検出器）として得られ、最適化済み検出器記憶部２６に記憶される。

画像処理部２１は、分割画像記憶部１８から分割画像を入力すると共に、最適化済み検出器記憶部２６から最適化済み検出器を入力して、この検出器にもとづき当該個体情報に含まれる複数のノードを順次実行し、出力情報としての画像（検出結果画像）などを作成して出力情報記憶部２２に記憶させることができる。

評価値計算部２４による終了判定における終了条件としては、予め設定した全ての世代の個体群について画像処理を完了した場合や、一定の世代数以上で進化が発生していない場合などを挙げることができる。
進化が発生していない場合とは、評価値が、比較対象の時点よりも改善されていない場合である。
なお、評価値計算部２４からこの終了判定の機能を分離して、本実施形態の画像処理装置１において終了判定を行うための終了判定部を備えてもよい。

遺伝子操作部２７は、評価結果記憶部２５における個体情報の順位付け情報にもとづいて、個体情報の選択又は変更を行って、個体群記憶部１２を更新する。
これによって、個体群記憶部１２に新たな世代の個体群の個体情報を順次追加することができる。

具体的には、遺伝子操作部２７は、評価値が高い個体情報を次世代に残すエリート個体保存部と、評価値にもとづいて、一定の確率で個体情報を次世代に残す個体選択部と、２つの個体情報の一部を相互に交換する交叉部と、選択された１つの個体情報の一部又は全部やノードのパラメータをランダムに書き換える突然変異部とを有するものとすることができる。

エリート個体保存部は、各世代の個体群において、一番評価値の良い個体情報などを、無条件で次世代に残す処理を行うことができる。
個体選択部は、各世代の個体群において、評価値の順位の高い個体情報を高い確率で選択して、次世代に残す処理等を行うことができる。

交叉部は、交叉処理として、複数の個体情報の各ノードの配列における同一（ノード番号）の並びについて、ある確率で入れ替える１様交叉を行うことができる。また、交叉部は、交叉処理として、各ノードの配列における同一の並びの１点を境として、一方の配列を相互に入れ替える１点交叉や、同一の並びの複数点を境として配列を相互に入れ替える複数点交叉を行うこともできる。交叉部は、このような交叉処理を、個体選択部により選択された個体情報に対して行うことができる。

突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、個体情報ごとに一定の確率でその個体情報の一部を書き換えたり、その個体情報の全てを書き換えることができる。突然変異部は、このような突然変異処理を、個体選択部により選択された個体情報に対して行うことができる。また、突然変異部は、突然変異処理として、機能単位記憶部１０に記憶されているノードを用いて、新しい個体情報を生成することもできる。さらに、突然変異部に、突然変異処理として、選択された親個体情報のノードのパラメータの一部又は全部をランダムに書き換えることなどによって、パラメータ変異を行わせることもできる。

なお、同じ個体情報にもとづいて生成された同系列個体が増えると、多様性が失われて進化が袋小路（数学的に局所解に陥った状態）に入ってしまう。一方、同系列以外の個体を増やしすぎると、ランダム探索に近づき、効率的な進化が行われない。
そこで、学習初期では多様性を持たせるために、同系列以外の個体を増やすように突然変異部による処理を行い、学習中期では効率的な進化を実施するために、個体選択部により同系列を増やすことが好ましい。また、進化が止まった場合には、再度多様性を持たせるために突然変異部により同系列以外を増やすことなどを好適に行うことができる。

そして、遺伝子操作部２７は、新たな世代の個体群を生成して、個体群記憶部１２に記憶させる。このとき、遺伝子操作部２７は、前の世代の個体群を上書きすることにより、個体群記憶部１２を更新することができる。また、複数世代の個体群を世代ごとに記憶させることにより、個体群記憶部１２を更新することもできる。

分類用教師情報入力部２８は、分類器の学習を行うための教師情報を入力して分類用教師情報記憶部２９に記憶させる。この教師情報は、着目点（特異点）を分類するためのクラス情報であり、例えば良品、汚れ、傷、打痕等を用いることができる。この教師情報としては、例えば黒の背景において、白で汚れ、傷、打痕等を表示した画像とそれぞれのクラス（例えばそれぞれ１，２，３）、及び良品のクラス（例えば０）として黒の背景のみの画像を用いることができる。

分類用学習データ作成部３０は、分類器の学習用データセットを作成して、分類用学習データ記憶部３１に記憶させる。
このとき、分類用学習データ作成部３０は、統合された検出結果画像を出力情報記憶部２２から入力する。また、分類用学習データ作成部３０は、学習用画像と検証用画像（入力画像）を画像記憶部１４から入力する。

ここで、分類用学習データ作成部３０は、検出結果画像として、着目点が存在するもののみを選択して入力することができる。このため、着目点が存在しない良品画像などの多くの良品画像を除いて分類器の学習用データセットを作成することができるため、良品画像を効率的に減らすことが可能になっている。

分類用学習データ作成部３０は、これらの画像を用いて、検出結果画像における着目点（画像処理で検出された特異点）のラベリングを行うと共に、各着目点が中央に配置された着目点画像を作成する。なお、「着目点」は、画像における検出対象（分類器の学習においては分類対象）に相当するものであり、画像処理で検出された特異点の領域を意味する。

このとき、分類用学習データ作成部３０は、着目点画像の拡大、縮小、及び画像カット等を行うことにより着目点のサイズ合わせの処理を行うことができ、また濃淡補正により着目点画像の濃淡合わせの処理を行うことができる。
なお、着目点画像に対応する領域と同サイズの画像を検出結果画像にもとづき作成し、これを検出結果画像として分類器の学習用データセットに含めることも好ましい。

分類用学習データ作成部３０は、図３に示すように、入力画像から着目点の切り出しを行って切出画像を作成し、これを用いて各着目点が中央に配置された着目点画像を作成する。
このとき、分類用学習データ作成部３０は、着目点が複数の分割画像に分離して表示されている場合には、統合された検出結果画像と対応する学習用画像又は検証用画像を参照して、着目点が中央に配置された着目点画像を作成することができる。

さらに、分類用学習データ作成部３０は、分類用教師情報記憶部２９から分類器の学習を行うための教師情報を入力して、着目点画像ごとに着目点のクラスを設定する。
そして、分類用学習データ作成部３０は、作成された着目点画像、検出結果画像、及びクラスを含む分類器の学習用データセットを作成する。

なお、分類器の学習用データセットに着目点画像とクラスのみを含めて分類器の学習を行うようにすることもできる。また、分類器の学習用データセットに着目点の位置情報、形状情報、輝度情報等から選択される少なくともいずれかを含めるようにすることもできる。

分類器学習部３２は、分類用学習データ記憶部３１に記憶されている分類器の学習用データセットを用いて、ニューラルネットワークによる学習を行う。このニューラルネットワークとしては、畳込み層を有する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いることが好ましい。

そして、分類器学習部３２は、得られた分類結果と学習済み分類器を分類結果記憶部３３に記憶させる。分類結果には、着目点画像ごとの各クラスの確率と分類種（一般的には最も高い確率のクラス）を含めることができる。また、これらを学習用画像及び検証用画像ごとに総合して、分類種の検出数と良品か不良品かなどの判定結果を含めることもできる。

次に、本実施形態に係る画像処理装置による処理手順について、図４～図７を参照して説明する。
まず、図４及び図５を参照して、本実施形態に係る画像処理装置による処理手順における最適化済み検出器の生成処理までの各処理と、遺伝子操作処理について説明する。
画像処理装置１における画像入力部１３が、画像を入力して、画像記憶部１４に記憶させる（ステップ１０）。この画像としては、複数の学習用画像と複数の検証用画像とすることができる。

また、検出用教師情報入力部１７が、検出用教師情報としての教師画像を入力して、検出用教師情報記憶部１８に記憶させる（ステップ１１）。このとき、検出用教師情報入力部１７は、検出用教師情報として、画像と共に、画像における検出対象の個数や位置、あるいは検出対象が存在する範囲などを用いることもできる。

次に、学習用画像と検証用画像の枚数分について、以下の処理が繰り返して実行される（ステップ１２）。
すなわち、画像分割部１５が、画像記憶部１４に記憶されている複数の学習用画像及び複数の検証用画像のそれぞれを分割して分割画像を作成し、画像の識別情報ごとに分割画像記憶部１６に記憶させる（ステップ１３）。
また、分割画像教師情報作成部１９が、検出用教師情報記憶部１８から検出用教師情報を入力して、分割画像ごとに対応する教師情報を作成し、分割画像教師情報記憶部２０に記憶させる（ステップ１４）。

次に、個体生成部１１が、初期個体群を生成する（ステップ１５）。
具体的には、個体生成部１１は、機能単位記憶部１０からノードをランダムに選択して配列することにより個体情報を生成し、識別情報ごとに個体群記憶部１２に記憶させることができる。
なお、ステップ１０～１４までの各ステップとステップ１５の実行順序は、入れ替えてもよい。

このとき、個体生成部１１は、複数の個体情報からなる個体群を一つの世代として、世代番号ごとに個体群を個体群記憶部１２に記憶させることができる。
なお、新たな世代の個体群は、個体群記憶部１２に記憶されている個体情報に対して、遺伝子操作部２７が遺伝子操作を行うことによって作成することができる。すなわち、新たな世代の個体群は、遺伝子操作部２７により個体情報の選択又は変更が行われ、個体群記憶部１２が更新されることによって作成することができる。

このように、個体群記憶部１２における世代は、ステップ１６に示す世代ループの実行に従って順次追加されるようにすることができる。
世代ループは、予め設定された世代数分について実行される。なお、後述する終了判定で終了条件が満たされる場合、設定された世代数分の実行前に世代ループが終了することがある。

次に、個体群ループが、個体群記憶部１２における当該世代の個体群の全ての個体情報について実行される（ステップ１７）。
すなわち、画像処理部２１は、個体群記憶部１２における当該世代の個体群の各個体情報を用いて、分割画像記憶部１６における分割画像について、それぞれ画像処理を実行する（ステップ１８）。
このとき、画像処理部２１は、分割画像に対して、個体情報を構成する複数の機能単位をそれぞれ順次実行し、分割画像に対応する出力情報としての検出結果画像等を作成して、出力情報記憶部２２に記憶させることができる。

次に、評価値計算部２４は、出力情報記憶部２２における当該世代の個体群の個体情報ごと及び分割画像ごとに、出力情報記憶部２２における出力情報と分割画像教師情報記憶部２０における教師情報とを比較して、評価値を計算する（ステップ１９）。
このとき、評価値計算部２４は、出力情報と教師情報とを用いて、例えば最小二乗法により、平均二乗誤差を評価値として算出することができる。

そして、評価値計算部２４は、得られた評価値を評価結果記憶部２５に個体情報ごと及び分割画像ごとに記憶させることができる。
なお、評価値計算部２４により、個体情報ごとに評価値の統計値を計算して記憶させることもできる。評価値の統計値としては、例えば平均値や標準偏差などを用いることができる。

次に、評価値計算部２４は、評価結果記憶部２５に記憶されている評価値にもとづいて、個体情報の順位付けを行い、その結果を評価結果記憶部２５に記憶する（ステップ２０）。この個体情報の順位付けは、評価値の統計値などにもとづいて行うことができる。

また、評価値計算部２４は、終了条件が満たされているか否かの判定処理を行う（ステップ２１）。
終了条件が満たされている場合、評価値計算部２４は、評価結果記憶部２５に記憶されている最も順位の高い個体情報を、最適化済み検出器として最適化済み検出器記憶部２７に記憶させる（ステップ２３）。

終了条件が満たされていない場合、遺伝子操作部２７は、遺伝子操作処理を実行する（ステップ２２）。
これにより、遺伝子操作部２７は、個体群記憶部１２に新たな世代の個体群を追加更新することができる。

具体的には、図５に示すように、遺伝子操作部２７におけるエリート個体保存部は、最も評価値の高い個体情報を次世代の個体群の個体情報として選択する（ステップ３０）。
また、遺伝子操作部２７における個体選択部は、評価値の順位の高い個体情報ほど高い確率で次世代の個体群の個体情報として選択する（ステップ３１）。

さらに、遺伝子操作部２７における交叉部は、個体選択部により選択された個体情報に対して、交叉処理を実行して、新たな個体情報を生成する（ステップ３２）。
また、遺伝子操作部２７における突然変異部は、個体選択部により選択された個体情報にもとづいて、またはこれらの個体情報を用いることなく、突然変異処理等を行い、新たな個体情報を生成する（ステップ３３）。
なお、エリート個体保存部、個体選択部、交叉部、突然変異部による各処理の順序を、各処理を実行可能な順序の範囲で入れ替えて実行してもよい。

この遺伝子操作処理によって、個体群記憶部１２に第２世代の個体群の個体情報を追加することができる。
このように、世代ループを繰り返すことで、個体群記憶部１２において、新たな世代の個体群の個体情報を順次追加することができる。

次に、図６と図７を参照して、本実施形態に係る画像処理装置による処理手順における最適化済み検出器の生成処理の次の処理から分類器学習処理までの各処理と分類器学習用データセット作成処理について説明する。
まず、学習用画像と検証用画像の枚数分について、以下の処理が繰り返して実行される（ステップ４０）。

すなわち、画像分割部１５が、画像記憶部１４に記憶されている複数の学習用画像及び複数の検証用画像のそれぞれを分割して分割画像を作成し、画像の識別情報ごとに分割画像記憶部１６に記憶させる（ステップ４１）。
また、分割画像教師情報作成部１９が、検出用教師情報記憶部１８から検出用教師情報を入力して、分割画像ごとに対応する教師情報を作成し、分割画像教師情報記憶部２０に記憶させる（ステップ４２）。

ここで、ステップ４１，４２においてステップ１３，１４と同様の処理を行う理由は、ステップ１０～２３により実行する進化的計算による学習に時間がかかることを考慮して、ステップ４８により実行するニューラルネットワークによる分類器の学習に必要な画像枚数に比較して少ない画像枚数で最適化済み検出器を作成した後、多数の画像を用いて検出結果画像を作成し、分類器学習用データセットを作成可能にしているためである。
このため、分類器の学習に十分な枚数の画像を用いて進化的計算を実行する場合は、ステップ４１，４２を省略して、ステップ１３，１４で得られた分割画像と教師情報を用いて、以降の処理を行うことも可能である。

次に、分割画像の枚数分について、以下の処理が繰り返して実行される（ステップ４３）。
画像処理部２１が、分割画像記憶部１８から分割画像を入力すると共に、最適化済み検出器記憶部２６から最適化済み検出器を入力して、この検出器にもとづき当該個体情報に含まれる複数のノードを順次実行し、出力情報としての画像（検出結果画像）などを作成して出力情報記憶部２２に記憶させる（ステップ４４）。
そして、結果統合部２３が、出力情報記憶部２２に記憶された検出結果画像を、学習用画像及び検証用画像ごとに統合し、統合された検出結果画像を作成して出力情報記憶部２２に記憶させる（ステップ４５）。

次に、分類器学習用データセットの作成処理が行われる（ステップ４６）。
具体的には、図７に示すように、分類用学習データ作成部３０が、統合された検出結果画像（着目点が存在するもののみ）を出力情報記憶部２２から入力する。また、分類用学習データ作成部３０が、学習用画像と検証用画像を画像記憶部１４から入力すると共に、それぞれに対応する分割画像を分割画像記憶部１６から入力する（ステップ５０）。

また、分類用学習データ作成部３０が、分類用教師情報記憶部２９から分類器の学習を行うための教師情報を入力する（ステップ５１）。
そして、検出結果画像の枚数分について、以下のループが実行される（ステップ５２）。
まず、分類用学習データ作成部３０は、検出結果画像における着目点（画像処理で検出された特異点）のラベリングを行う（ステップ５３）。

次に、ラベル数分について、以下の処理が繰り返して実行される（ステップ５４）。
すなわち、分類用学習データ作成部３０が、ラベルされた着目点の重心を計算する（ステップ５５）。そして、着目点の重心が中央に配置された着目点画像を作成する（ステップ５６）。このとき、分類用学習データ作成部３０は、着目点画像の拡大、縮小、及び画像カット等を行うことにより着目点のサイズ合わせの処理を行うことができ、また濃淡補正により着目点画像の濃淡合わせの処理を行うことができる。また、着目点画像に対応する領域と同サイズの画像を検出結果画像にもとづき作成し、これを検出結果画像として分類器の学習用データセットに含めることも好ましい。

また、分類用学習データ作成部３０は、分類用教師情報記憶部２９から入力した分類器の学習を行うための教師情報を用いて、着目点画像ごとに着目点のクラスを設定する（ステップ５７）。
そして、分類用学習データ作成部３０は、作成された着目点画像、検出結果画像、着目点の位置情報、形状情報、輝度情報等、及びクラスを含む分類器の学習用データセットを作成し、分類用学習データ記憶部３１に記憶させる（ステップ５８）。

次に、分類器学習部３２が、分類用学習データ記憶部３１から分類器の学習用データセットを入力して（ステップ４７）、ニューラルネットワークによる学習を行う（ステップ４８）。このニューラルネットワークとしては、畳込み層を有する畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いることが好ましい。
そして、分類器学習部３２は、得られた分類結果と学習済み分類器を分類結果記憶部３３に記憶させる。

上記実施形態の画像処理装置は、本発明の画像処理プログラムに制御されたコンピュータを用いて実現することができる。コンピュータのＣＰＵは、画像処理プログラムにもとづいてコンピュータの各構成要素に指令を送り、画像処理装置の動作に必要となる所定の処理、例えば、個体生成処理、画像処理、評価値計算処理、遺伝子操作処理、分類用学習データ作成処理、分類器学習処理等を行わせる。このように、本発明の画像処理装置における各処理、動作は、プログラムとコンピュータとが協働した具体的手段により実現できるものである。

プログラムは予めＲＯＭ，ＲＡＭ等の記録媒体に格納され、コンピュータに実装された記録媒体から当該コンピュータにプログラムを読み込ませて実行されるが、例えば通信回線を介してコンピュータに読み込ませることもできる。
また、プログラムを格納する記録媒体は、例えば半導体メモリ、磁気ディスク、光ディスク、その他任意のコンピュータで読取り可能な任意の記録手段により構成できる。

以上説明したように、本発明の実施形態に係る画像処理システム、及び画像処理プログラムによれば、ニューラルネットワークによる分類器の学習用データセットを作る段階で離散最適化アルゴリズムを用いて良品画像を効率的に減らすと共に、画像における着目点を安定して配置させた着目点画像を作成することで、分類器による学習の精度を向上させることが可能である。
また、これによって、検査画像が良品の撮影画像であるか否か、及び画像が不良品の撮影画像である場合にどのような種類の不良品の画像であるかを適切に判定することが可能となる。

本発明は、以上の実施形態に限定されるものではなく、本発明の範囲内において、種々の変更実施が可能であることは言うまでもない。
例えば、画像処理装置における各構成を複数の情報処理装置に分散して持たせたり、分類用教師情報として上述したもの以外のものを含めて使用することが可能である。

本発明は、設備や製品などの画像データにもとづき検査などを行う場合であって、画像の分類に優れた画像検査用の情報処理装置を得るために、好適に利用することが可能である。

１ 画像処理装置
１０ 機能単位記憶部
１１ 個体生成部
１２ 個体群記憶部
１３ 画像入力部
１４ 画像記憶部
１５ 画像分割部
１６ 分割画像記憶部
１７ 検出用教師情報入力部
１８ 検出用教師情報記憶部
１９ 分割画像教師情報作成部
２０ 分割画像教師情報記憶部
２１ 画像処理部
２２ 出力情報記憶部
２３ 結果統合部
２４ 評価値計算部
２５ 評価結果記憶部
２６ 最適化済み検出器記憶部
２７ 遺伝子操作部
２８ 分類用教師情報入力部
２９ 分類用教師情報記憶部
３０ 分類用学習データ作成部
３１ 分類用学習データ記憶部
３２ 分類器学習部
３３ 分類結果記憶部
Ａ 検出器最適化部

Claims (9)

1. 画像を所望のクラスに分類する画像処理システムであって、
   前記画像内の着目点を検出する検出器を離散最適化アルゴリズムにより最適化する検出器最適化部と、得られた最適化済み検出器により検出された着目点が中央に配置された着目点画像を作成する分類用学習データ作成部と、前記着目点画像を用いてニューラルネットワークによる分類器の学習を行う分類器学習部を備えた
   ことを特徴とする画像処理システム。
2. 前記分類器学習部が、前記着目点画像と前記最適化済み検出器により作成された検出結果画像を用いて前記分類器の学習を行うことを特徴とする請求項１記載の画像処理システム。
3. 前記分類器学習部が、前記ニューラルネットワークの入力データとして、さらに前記着目点の位置情報、形状情報、及び輝度情報の少なくともいずれかを用いて前記分類器の学習を行うことを特徴とする請求項１又は２記載の画像処理システム。
4. 前記検出器最適化部が、前記画像を分割して得られた分割画像を用いて前記検出器を最適化し、前記最適化済み検出器により作成された検出結果画像を統合することを特徴とする請求項１～３のいずれかに記載の画像処理システム。
5. 前記ニューラルネットワークが畳込み層を有していることを特徴とする請求項１～４のいずれかに記載の画像処理システム。
6. 前記離散最適化アルゴリズムが、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて最適化する進化的計算であることを特徴とする請求項１～５のいずれかに記載の画像処理システム。
7. 前記検出器最適化部が、
   直線構造、木構造、又はネットワーク状に複数の機能単位の実行順序を定義する複数の前記検出器である個体情報を記憶する個体群記憶部と、
   複数の学習用画像を記憶する画像記憶部と、
   前記個体情報にもとづいて前記学習用画像を処理し、前記学習用画像に対応する検出結果画像である出力情報を生成する画像処理部と、
   前記出力情報を評価するための前記学習用画像に対応する教師情報を記憶する教師情報記憶部と、
   前記出力情報と前記教師情報を比較して、前記個体情報ごと及び前記学習用画像ごとに評価値を計算し、前記個体情報ごとの評価値にもとづき前記個体情報を順位付けする評価値計算部と、
   前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部と、を備えた
   ことを特徴とする請求項１～６のいずれかに記載の画像処理システム。
8. 前記検出器最適化部が、前記画像記憶部に記憶された前記学習用画像を分割して分割画像を作成する画像分割部を備え、
   前記画像処理部が前記分割画像に対応する出力情報を生成し、
   前記検出器最適化部が、生成された前記出力情報を前記学習用画像ごとに統合して検出結果画像を作成する結果統合部をさらに備えた
   ことを特徴とする請求項１～７のいずれかに記載の画像処理システム。
9. 画像を所望のクラスに分類する画像処理プログラムであって、
   コンピュータを、
   前記画像内の着目点を検出する検出器を離散最適化アルゴリズムにより最適化する検出器最適化部、得られた最適化済み検出器により検出された着目点が中央に配置された着目点画像を作成する分類用学習データ作成部、及び、前記着目点画像を用いてニューラルネットワークによる分類器の学習を行う分類器学習部として機能させる
   ことを特徴とする画像処理プログラム。

Images