JP2022116695A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】機械学習を適用した画像処理方法において、検出精度と処理速度とを両立した画像処理方法及び画像処理装置を提供すること。【解決手段】本開示に係る画像処理方法は、対象物の所定範囲の異なる部分を撮像した複数の画像を取得すること（Ｓ２）と、機械学習を用いて取得された所定の画像処理方法を適用して、複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行うこと（Ｓ３）と、総合評価を行うことを含む。総合評価は、所定範囲又は所定範囲の一部である部分範囲を構成する複数の画像の数Ｙ１と、Ｙ１個の画像のうち個別評価において特徴が含まれていると評価された画像の数Ｘ１との比Ｘ１／Ｙ１が第１の所定値以上（Ｓ４）の場合に対象物が検出対象の特異部を含むと評価する（Ｓ５）。【選択図】図３

Description

本発明は、画像処理方法及び画像処理装置に関する。

ある異常状態、又は、他とは異なる特徴を有する部位の有無を検査する欠陥検査システム、異常検査システム、又は、特異部検知システムが知られている。近年、機械学習を用いて、欠陥等を含む、他の大部分の領域と異なる特徴を持った部位（以下、「特異部」という。）の有無を評価するための手法が提案されている。

特許文献１には、撮像部で撮像された対象物の撮像画像から任意の特徴を持った特異部を含む特異部画像を抽出し、特異部画像を入力とした機械学習により特異部の種別を識別する特異部検知システムが記載されている。

国際公開第２０１９／００３８１３号

検出対象である特異部は、様々な形状を有し得る。特異部が大きな形状を有する場合や、長尺状に形成されている場合、撮像画像から抽出される特異部画像も大きくなる。

しかしながら、このような特異部を機械学習により検出しようとすると、学習済みモデルを生成するための学習時間が長くなってしまう。また、学習済みモデルを用いて特異部を検出するための演算時間が増大してしまう。このような課題は、演算能力の高い情報処理装置を用いることで解決が見込めるものの、コストの増大を招くことから、例えば、インライン検査のような用途で製造ラインに実装する際の弊害となる。

また、特異部画像の大きさが機械学習を適用する画像サイズとして設定されている画像サイズよりも大きい場合には、特異部の一部を含めずに特異部画像を抽出せざるを得ないため、特異部の検出精度が低下してしまうという結果を招く。

そこで本発明は、上記課題を解決するために、機械学習を適用した画像処理方法において、検出精度と処理速度とを両立した画像処理方法及び画像処理装置を提供することを目的とする。

本開示に係る画像処理方法は、対象物を撮像した複数の画像であって、それぞれが前記対象物の所定範囲の異なる部分を撮像した複数の画像を取得することと、前記複数の画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、前記複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行うことと、前記特徴が前記複数の画像のうちの２以上の画像に含まれているか否かに基づいて、前記対象物が検出対象の特異部を含むか否かの総合評価を行うことと、を含む。ここで、前記総合評価は、前記所定範囲又は前記所定範囲の一部である部分範囲を構成する前記複数の画像の数Ｙ１と、Ｙ１個の前記画像のうち前記個別評価において前記特徴が含まれていると評価された画像の数Ｘ１との比Ｘ１／Ｙ１が、第１の所定値以上の場合に、前記対象物が検出対象の特異部を含む、と評価する。

このような画像処理方法によれば、機械学習を用いて取得された所定の画像処理方法を適用して複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行うと共に、特徴が複数の画像のうちの２以上の画像に含まれているか否かに基づいて、対象物が検出対象の特異部を含むか否かの総合評価を行い、具体的には、所定範囲に対応する複数の画像、又は、所定範囲の一部である部分範囲を構成する複数の画像、の少なくともいずれか一方の画像の数Ｙ１と、特徴が含まれていると評価された画像の数Ｘ１に基づいて特異部の有無を評価する。すなわち、対象物の所定範囲又はその部分範囲を構成する複数の画像のうち、個別評価において特徴が含まれる旨を示す推定スコアが所定値以上とされた画像の多寡に基づいて、前記対象物が検出対象の特異部を含むか否かを評価する。従って、特異部画像の大きさが機械学習を適用する画像サイズとして設定されている画像サイズよりも大きい場合であっても、その画像サイズで個別評価を行うと共に、所定範囲又は部分範囲内における特徴を含む複数の画像の数に基づいた総合評価を行うことにより、学習時間及び演算時間の短縮と、画像サイズよりも大きい特異部の検出を両立することが可能となる。

なお、本開示における「評価」は、特異部の有無を判断すること、又は、確率情報と共に特異部の有無を判断すること、特異部の有無に関する確率情報（推定スコア）を出力することを含む。また、本開示における「評価」は、特異部に複数の種類がある場合には、上記特異部の有無に関する情報および／または特異部の種別に関する情報を出力することを含む。

なお、上述される個別評価及び総合評価の前又は後に、異なる又は同一の評価を行ってもよい。例えば、所定範囲について総合評価を実行した後に、所定範囲の一部である部分範囲について更に総合評価を１回又は複数回実行してもよい。

また、本開示の一態様は、前記対象物の所定範囲を撮像した基画像を分割して、それぞれの画像サイズが同一の前記複数の画像を生成すること、をさらに含む。

また、本開示の一態様において、前記総合評価は、前記比Ｘ１／Ｙ１が前記第１の所定値未満であり、かつ、前記第１の所定値よりも小さい第２の所定値以上であって、かつ、前記Ｙ１個の画像から構成される前記所定範囲又は前記部分範囲の一部である第２部分範囲を構成する複数の画像の数Ｙ２（＜Ｙ１）と、Ｙ２個の前記画像のうち前記個別評価において前記特徴が含まれていると評価された画像の数Ｘ２との比Ｘ２／Ｙ２が、第３の所定値以上の場合に、前記対象物が検出対象の特異部を含む、と評価する。

また、本開示の一態様において、前記総合評価は、前記個別評価において前記特徴を含むと評価された画像Ａが存在しており、かつ、前記個別評価において、前記画像Ａの周囲に位置する前記複数の画像のうち、２以上の画像に前記特徴が含まれると評価された場合に、前記対象物が検出対象の特異部を含む、と評価することも可能である。

また、本開示の一態様において、前記総合評価は、前記個別評価において前記特徴を含むと評価された画像Ａが存在し、前記画像Ａの周囲に位置し、前記個別評価において前記特徴を含むと評価された画像Ｂが存在し、前記画像Ａの周囲に位置せず、前記画像Ｂの周囲に位置し、前記個別評価において前記特徴を含まないと評価された画像Ｃが存在し、前記画像Ａ及び前記画像Ｂの周囲に位置せず、前記画像Ｃの周囲に位置し、前記個別評価において前記特徴を含むと評価された画像Ｄが存在し、前記画像Ａ、前記画像Ｂ及び前記画像Ｃの周囲に位置せず、前記画像Ｄの周囲に位置し、前記個別評価において前記特徴を含むと評価された画像Ｅが存在する場合に、前記対象物が検出対象の特異部を含む、と評価することも可能である。

本開示は、画像処理装置を開示する。この画像処理装置は、対象物の所定範囲の異なる部分を撮像した複数の画像を取得する画像取得手段と、前記複数の画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、前記複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行う個別評価手段と、前記特徴が前記複数の画像のうちの２以上の画像に含まれているか否かに基づいて、前記対象物が検出対象の特異部を含むか否かの総合評価を行う総合評価手段と、を備え、前記総合評価手段は、前記所定範囲又は前記所定範囲の一部である部分範囲を構成する前記複数の画像の数Ｙ１と、Ｙ１個の前記画像のうち前記個別評価手段により前記特徴が含まれていると評価された画像の数Ｘ１との比Ｘ１／Ｙ１が、第１の所定値以上の場合に、前記対象物が検出対象の特異部を含む、と評価するように構成される。

このような画像処理装置によれば、機械学習を用いて取得された所定の画像処理方法を適用して複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行うと共に、特徴が複数の画像のうちの２以上の画像に含まれているか否かに基づいて、対象物が検出対象の特異部を含むか否かの総合評価を行うことが可能となり、具体的には、所定範囲又はその所定範囲の一部である部分範囲を構成する複数の画像の数Ｙ１と、特徴が含まれていると評価された画像の数Ｘ１に基づいて特異部の有無を評価することが可能となる。従って、特異部画像の大きさが機械学習を適用する画像サイズとして設定されている画像サイズよりも大きい場合であっても、その画像サイズで個別評価を行うと共に、所定範囲又は部分範囲内における特徴を含む複数の画像の数に基づいた総合評価を行うことにより、学習時間及び演算時間の短縮と、画像サイズよりも大きい特異部の検出を両立することが可能となる。

また、本開示の画像処理装置は、前記対象物の所定範囲を撮像した基画像を分割して、それぞれの画像サイズが同一の前記複数の画像を生成する手段、をさらに含んでもよい。

また、本開示の一態様において、前記総合評価手段は、前記比Ｘ１／Ｙ１が前記第１の所定値未満であり、かつ、前記第１の所定値よりも小さい第２の所定値以上であって、かつ、前記Ｙ１個の画像から構成される前記所定範囲又は前記部分範囲の一部である第２部分範囲を構成する複数の画像の数Ｙ２（＜Ｙ１）と、Ｙ２個の前記画像のうち前記個別評価手段により前記特徴が含まれていると評価された画像の数Ｘ２との比Ｘ２／Ｙ２が、第３の所定値以上の場合に、前記対象物が検出対象の特異部を含む、と評価するように構成されている。

また、本開示の一態様において、前記総合評価手段は、前記個別評価手段により前記特徴を含むと評価された画像Ａが存在しており、かつ、前記個別評価手段により、前記画像Ａの周囲に位置する前記複数の画像のうち、２以上の画像に前記特徴が含まれると評価された場合に、前記対象物が検出対象の特異部を含む、と評価するように構成されてもよい。

また、本開示の一態様において、前記総合評価手段は、前記個別評価手段により前記特徴を含むと評価された画像Ａが存在し、前記画像Ａの周囲に位置し、前記個別評価手段により前記特徴を含むと評価された画像Ｂが存在し、前記画像Ａの周囲に位置せず、前記画像Ｂの周囲に位置し、前記個別評価手段により前記特徴を含まないと評価された画像Ｃが存在し、前記画像Ａ及び前記画像Ｂの周囲に位置せず、前記画像Ｃの周囲に位置し、前記個別評価手段により前記特徴を含むと評価された画像Ｄが存在し、前記画像Ａ、前記画像Ｂ及び前記画像Ｃの周囲に位置せず、前記画像Ｄの周囲に位置し、前記個別評価手段により前記特徴を含むと評価された画像Ｅが存在する場合に、前記対象物が検出対象の特異部を含む、と評価するように構成されてもよい。

なお、一の画像が他の一の画像の「周囲に位置」するとは、一の画像と他の一の画像の間に他の画像が存在しない位置関係をいい、典型的には、一の画像と他の一の画像の頂点又は辺が対向または共有する位置関係にあることをいい、一の画像が他の一の画像の「周囲に位置」しないとは、一の画像と他の一の画像の間に更に別の画像が存在する位置関係にあることをいう。

また、本開示の一態様において、前記特異部は、前記対象物の欠陥である。

また、本開示によるコンピュータプログラムは、コンピュータに、対象物を撮像した複数の画像であって、それぞれが前記対象物の所定範囲の異なる部分を撮像した複数の画像を取得することと、前記複数の画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、前記複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行うことと、前記特徴が前記複数の画像のうちの２以上の画像に含まれているか否かに基づいて、前記対象物が検出対象の特異部を含むか否かの総合評価を行うことと、を実行させる命令を含む。ここで、前記総合評価は、前記所定範囲又は前記所定範囲の一部である部分範囲を構成する前記複数の画像の数Ｙ１と、Ｙ１個の前記画像のうち前記個別評価において前記特徴が含まれていると評価された画像の数Ｘ１との比Ｘ１／Ｙ１が、第１の所定値以上の場合に、前記対象物が検出対象の特異部を含む、と評価する。

コンピュータプログラムは、非一時的な（Non-transitory）記憶媒体に格納されてもよい。非一時的な記憶媒体は、不揮発性の半導体記憶素子を含む。

このようなコンピュータプログラムをコンピュータに実行させることにより、上記画像処理方法と同様の効果を発揮することが可能になる。

また、本開示に係る画像処理システムは、上述された画像処理装置と、サーバとを備える。サーバは、機械学習の教師データとして、それぞれが異なる種類の特徴を含む第１画像データ群及び特徴を含まない第２画像データ群を格納する。第１画像データには、同一のラベルが付与されてもよい。第２画像データ群には、第１画像データに付与されるラベルとは異なるラベルが付与される。また、本開示に係る画像処理システムは、上述した本開示に係るコンピュータプログラムに含まれる実行命令が、プロセッサ及びメモリを備え、無線または有線により互いに通信可能に接続された複数の演算装置が連携して実行される態様を含む。

このような画像処理システムによれば、上記画像処理装置と同様の効
果を発揮することが可能になる。

図１は、本実施形態に係る画像処理システムの機能ブロック図である。 図２は、本実施形態に係る画像処理システムのハードウェア構成を示すブロック図である。 図３は、本実施形態に係る画像処理方法のフローチャートである。 図４は、部分範囲の分割画像に対する個別評価の結果を模式的に示す図である。 図５は、本実施形態の変形例に係る画像処理方法の総合評価において使用する複数の分割画像の位置関係のパターンの例を示す。 図６は、本実施形態の変形例に係る画像処理方法の総合評価において使用する複数の分割画像の位置関係のパターンの例を示す。 図７は、特異部と分割画像の大きさの関係を示す図である。

以下、本発明の実施形態について図面を用いて説明する。以下の実施形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。

図１は、本実施形態に係る画像処理システム１０の機能ブロック図である。この画像処理システム１０は、液体を収容するペットボトル（「対象物」の一例）の内部に異物が混入しているか否かを判断するための画像処理システムである。但し、後述するように、本発明は、様々な対象物及び様々な特異部に適用することが可能である。

この画像処理システム１０は、撮像部１２、画像分割部１４、個別評価部１６及び総合評価部１８を有する画像処理装置２０を備えている。更に、画像処理システム１０は、画像処理装置２０にネットワークＮを介して接続されるサーバ装置を更に備えている。サーバ装置は、正常サンプルの画像を格納するデータベースＤＢ１及び異常サンプルの画像を格納するデータベースＤＢ２を備えている。本実施の形態において、正常サンプルとは、特異部を含まない、換言すると、対象物が異常を有しないサンプルであり、良品に該当するサンプルである。また、異常サンプルとは、特異部を含む、換言すると、対象物が異常を有するサンプルであり、不良品に該当するサンプルである。

撮像部１２は、対象物の一部又は全部を撮像し、画像（「基画像」の一例）を取得する。撮像部１２は、例えば、ラインセンサ又はエリアセンサ等のイメージセンサ等から構成することができる。例えば、対象物が中心軸に対し回転対称の形状を有する場合（内容物を収容する内部空間を有する容器等）、対象物を中心軸周りに回転させながら、ラインセンサで側面を撮像することにより、対象物の側面全体（「所定範囲」の一例）に対応する画像を取得することができる。なお、対象物は円筒形状には限られない。本実施形態の場合、撮像部１２はラインセンサから構成され、対象物の画像として、５０００画素×５０００画素の各画素について、８ビット（２５６階調）の輝度値を有するグレースケールデータを取得する。なお、撮像部１２は、対象物の画像として、ＲＧＢデータ等のカラーデータを取得してもよい。また、撮像部１２により対象物を撮像して画像を取得することに替えて、対象物の画像を格納するデータベース等から、対象物の画像を取得してもよい。

画像分割部１４（「画像取得手段」の一例）は、撮像部１２により取得された画像を同一サイズの複数の画像に分割し、対象物の所定範囲の異なる部分を撮像した複数の画像を取得する（以下、分割された各画像を分割画像という場合がある。）。分割画像は、機械学習を用いた画像処理方法に適したサイズを有するように設定される。ここで分割画像のサイズは、検出対象である特異部が有し得る大きさを包含するように設定される必要はなく、特異部が有し得る大きさより小さく設定されてよい。例えば、所定範囲のサイズが５０００画素×５０００画素で、分割画像のサイズが７５画素×７５画素の場合、画像分割部１４は、約４４００個の分割画像を取得する。このように分割画像のサイズを機械学習に適するように小さく設定することにより、特異部を包含するように画像サイズを設定する場合と比較して、機械学習の演算時間を短縮することが可能となる。更に、学習に必要な画像枚数を減少させることが可能となるから、学習時間を短縮することが可能となるとともに、異常サンプルの画像収集が容易になるという大きなメリットもある。

個別評価部１６は、複数の分割画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、複数の分割画像のそれぞれが検出対象となる特徴を含むか否かの個別評価を行う。

ここで特異部とは、形状、輝度及び色の少なくとも一つの観点から、周囲の領域とは異なる特徴をもった部位のことをいい、特徴は、特異部そのもの又は特異部の一部である。このため、特徴とは、形状、輝度及び色の少なくとも一つの観点から、周囲の領域とは異なる特徴をもった部位のことをいう。

特異部及び特徴は、欠陥であってもよいし、人為的に設定されたマークやパターン等であってもよい。形状に関する特異部及び特徴は、形状が有する特性（例えば、体積、面積、高さ、粒子径、アスペクト比、真円度、輪郭形状等）において、周囲の領域とは異なる特性を有する部分のことをいう。同様に、輝度については、明るさ、ヒストグラム等の輝度に関する特性において、色については、スペクトル、中心波長、最大波長等の色に関する特性において、周囲の領域とは異なる特性を有する部分のことをいう。

本実施形態における特異部及び特徴は、ペットボトル内部の液体中に含まれ得る塵、人毛、気泡及び容器の汚れ等である。

本実施形態の個別評価部１６は、畳み込みニューラルネットワークから構成される学習済みモデルを備える。畳み込みニューラルネットワークは、分割画像のデータを入力するための入力層と、特徴の有無を出力するための出力層と、両層を結合する中間層を備える。中間層は、フィルターをスライドさせて重複部分の積和を特徴量として算出する畳み込み演算を行って特徴量を有するマップを生成する畳み込み層と、畳み込み層から出力された二次元配列データの最大値を抽出するプーリング層との組み合わせを複数備え、内部パラメータを重み係数として結合して出力層に評価結果を提供する結合層とを備える。なお、ニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional Neural Network）の他、ＲＮＮ（Recurrent Neural Network)、Ｅｌｍａｎ ｎｅｔｗｏｒｋ、Ｊｏｒｄａｎ ｎｅｔｗｏｒｋ、ＥＳＮ（Echo State Network）、ＬＳＴＭ（Long Short Term Memory network)、ＢＲＮＮ（Bi-directional RNN）などから構成することができる。また、出力層は、対象の分割画像が特徴を有する可能性を示す確率情報（「分類確率」と呼ばれる場合もある。）を出力する。但し出力層による出力として、特徴の有無という２値の結果を出力してもよいし、特徴の種類ごとに出力をしてもよい。

サーバ装置は、正常な対象物のサンプル画像を格納するデータベースＤＢ１及び異常な対象物のサンプル画像を格納するデータベースＤＢ２を備えている。データベースＤＢ１は、特異部を含まない分割画像のデータを格納する。本実施形態では、データベースＤＢ１は、分割画像のデータとして、対象物であるペットボトルの側面を撮像して取得される７５画素×７５画素の特異部及び特徴を含まないデータを格納する。

データベースＤＢ２は、特異部または特徴を含む第２画像データ群を格納する。本実施形態では、データベースＤＢ２は、分割画像のデータとして、対象物であるペットボトルの側面を撮像して取得される７５画素×７５画素の特異部又は特徴の少なくとも何れか一方を含むデータを格納する。本実施形態において、特異部及び特徴は、例えば、人毛、塵、容器の汚れ又はそれらの一部である。従って、データベースＤＢ２は、人毛を含む複数の分割画像のデータ、塵を含む複数の分割画像のデータ、容器の汚れを含む複数の分割画像のデータ等をそれぞれ格納する。

なお、特異部及び特徴は、検出対象に応じて異なる。例えば、気泡が検出対象である場合、気泡を含む分割画像のデータは、特異部及び特徴を含む第２画像データとしてデータベースＤＢ２に格納される。しかしながら、炭酸飲料が収容されるペットボトルが検出対象物である場合、気泡は検出対象でないため、気泡を含む分割画像のデータは、特異部又は特徴を含む第１画像データとしてデータベースＤＢ１に格納される。

個別評価部１６は、データベースＤＢ１及びデータベースＤＢ２に格納される分割画像のデータを教師データとして学習することにより、特徴の有無を評価するための内部パラメータを含む学習済みモデルを取得している。内部パラメータは、例えば、畳み込み層におけるバイアス値、結合層における重み付け係数等である。教師データを追加することにより内部パラメータは、変動する。

本実施の形態における学習済みモデルは、所定の大きさの入力画像に含まれる特徴の有無に関する情報を出力するように構成された学習済みモデルである。本実施の形態における学習済みモデルは、複数の分割画像のデータのそれぞれに対して特徴の有無がラベル付けされた教師データを用いた機械学習により生成される。なお、学習済みモデルは、入力画像に含まれる特徴の有無に関する情報および／または特徴の種別に関する情報を出力するようにしてもよい。このような学習済みモデルは、複数の分割画像のデータのそれぞれに対して、特徴の有無および／または特徴の種別がラベル付けされた教師データを用いた機械学習により生成される。

個別評価部１６は、各分割画像のそれぞれに対し、上述したような機械学習を用いて取得された学習済みモデルを適用して、１０００以上の各分割画像が特徴を含むか否かの個別評価を行い、特徴の有無の可能性を示す確率情報を取得する。

総合評価部１８は、複数の分割画像のうち、特徴が含まれている可能性があると個別評価部１６によって評価された２以上の分割画像に基づいて、特異部の有無の評価を行う。より具体的には、総合評価部１８は、所定範囲内の分割画像の数Ｙ１と、特徴が含まれている可能性があると個別評価部１６によって評価された分割画像の数Ｘ１とを取得し、その比であるＸ１／Ｙ１が、所定の閾値以上の場合に、対象物が特異部を含むと評価する。

図２は、画像処理装置２０を実現するためのハードウェア構成を示すブロック図である。撮像部１２は、上述したとおり、対象物を撮像して対象物の所定範囲の画像を取得するものであり、例えば、ラインカメラから構成される。プロセッサ２２は、記憶部２４に記憶されたコンピュータプログラム（特異部有無の評価を行うための学習済みモデルを含む。）を実行して、本実施形態に示される各演算処理を実行する。従って、プロセッサ２２及び記憶部２４は、協働して、画像分割部１４、個別評価部１６及び総合評価部１８として機能する。プロセッサ２２は、例えば、複数の演算コアを備えるＡＳＩＣ（Application Specific Integrated Circuit)、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array)又は量子コンピュータ等から構成される。記憶部２４は、本実施形態に示される各演算処理を実行するためのコンピュータプログラム（特徴有無の評価を行うための学習済みモデルを含む。）を含む各命令その他の情報を記憶する。記憶部２４は、ＮＡＮＤフラッシュメモリ、ＦｅＲＡＭ、ＭＲＡＭ等の電気的に情報を記録及び読取可能な不揮発性半導体記憶素子（一時的でない記憶素子）又はＨＤＤ（Hard Disc Drive）等の磁気記憶素子から構成される。ＲＡＭ２６は、本実施形態に示される各演算処理等のために使用するデータその他の情報を一次記憶するためのＳＲＡＭ(Static Random Access Memory）及びＤＲＡＭ（Dynamic Random Access Memory）等の揮発性半導体記憶素子から構成される。表示部２８は、プロセッサ２２による演算結果を表示するためのディスプレイを備える。演算結果は、個別評価部１６及び総合評価部１８による評価結果を含む。通信Ｉ／Ｆ部３０は、ネットワークＮを介して、データベースＤＢ１及びデータベースＤＢ２に接続され、データベースＤＢ１及びデータベースＤＢ２から情報を受け取ることができる。入力部３２は、検査者が画像処理システム１０に情報を入力するためのキーボード等の入力機器を備える。これら各構成は、バスを介して相互にデータ送受信可能に接続される。ただし、一部構成は、ネットワークＮを介して遠隔地に設けられてもよいし、他の構成と一体化されてもよい。また、プロセッサ２２によって実行される機能の一部は、撮像部１２等、他の構成によって実行されてもよい。更にサーバ装置も、図２に示されるハードウェア構成を備えてもよい。更に、データベースＤＢ１及びデータベースＤＢ２は、画像処理装置２０と一体に構成された情報処理装置として構成されてもよい。また、画像処理装置２０の画像分割部１４、個別評価部１６及び総合評価部１８を実行するそれぞれの情報処理装置が、画像処理装置２０から分離して設けられ、これらがネットワークＮを介して電気通信可能に接続されて画像処理システム１０を構成してもよい。

以上のような画像処理システム１０を用いた画像処理方法について説明する。図３は、本実施形態に示される画像処理方法のフローチャートである。

まず、撮像部１２は、対象物を撮像して基画像を取得する（ステップＳ１）。具体的には、対象物であるペットボトルを中心軸周りに回転させながら、撮像部１２のラインカメラによってペットボトルの側面を撮像して、所定範囲に対応する基画像を撮像する。本実施形態において、撮像部１２は、所定範囲に対応する基画像として５０００画素×５０００画素の画像を撮像する。また、本実施形態において、撮像部１２は、５０００画素×５０００画素の各画素について、８ビット（２５６階調）の輝度値を有するグレースケールデータを基画像として取得する。ここで、ペットボトルの容器は、透光性を有する。このため、撮像部１２は、ペットボトルの容器及びその内部に収容される液体の画像を取得する。

次いで画像分割部１４は、撮像部１２によって取得されたペットボトルの側面に対応する基画像を７５画素×７５画素の分割画像に分割し、１０００個以上の分割画像を取得する（ステップＳ２）。

そして個別評価部１６は、機械学習を用いて生成された学習済みモデルに基づいて、各分割画像を個別に評価し、各分割画像が特徴を含むか否かを評価する（ステップＳ３）。

図４は、所定範囲の一部である部分範囲の分割画像に対する個別評価の結果を模式的に示す図である。同図における部分範囲は、紙面上下方向に８行、紙面左右方向に１０列の８０個の分割画像を含んでいる。また、各分割画像に示される数値は、個別評価部１６により取得された、各分割画像が特徴を有する可能性を示す確率情報を示している。本実施形態では、数値が０に近いほど特徴を有する可能性が高く、数値が１に近いほど特徴を有する可能性が低い。例えば、分割画像ＤＩ１の確率情報は、０．０４１であるから、分割画像ＤＩ１が特徴を有しない確率は、４．１％（特徴を有する確率は９５．９％）である。分割画像ＤＩ２の確率情報は、０．４４４であるから、分割画像ＤＩ２が特徴を有しない確率は、４４．４％（特徴を有する確率は５５．６％）である。

画像処理装置２０は、各分割画像の確率情報を表示部２８に表示可能に構成してもよい。例えば、確率情報を３つの閾値で分類し、各分割画像を色分けして表示可能に構成することにより、特徴を有すると評価された分割画像が所定範囲内又は部分範囲内にどのように分布しているかをわかりやすく表示させてもよい。なお、特徴を有すると評価する基準となる閾値は、検出対象に応じて適宜設定可能である。例えば、特徴を有しない確率が９０％以上のときに特徴を有しないと評価するように個別評価部１６を構成してもよい。

特徴を有すると評価される原因は、様々である。例えば、ノイズが原因となって特徴を有すると評価される場合がある。また、塵、人毛等が原因となって特徴を有すると評価される場合がある。例えば人毛Ｈ（図４）が混入している場合、分割画像ＤＩ３乃至ＤＩ７等のように隣接した複数の分割画像に亘って特徴を有すると評価される場合がある。

その後総合評価部１８は、所定範囲内の分割画像の数Ｙ１と、特徴が含まれている可能性があると個別評価部１６によって評価された分割画像の数Ｘ１とを取得し、その比であるＸ１／Ｙ１が、所定の閾値（「第１の所定値」の一例）以上か否か判断する（ステップＳ４）。

例えば、Ｙ１が５０００でありＸ１が１０の場合、Ｘ１／Ｙ１は０．００２となる。この値が所定の閾値以上の場合（ＹＥＳ）、検出対象物は特異部を含むと評価する（ステップＳ５）。閾値未満の場合（ＮＯ）、検出対象物は特異部を含まないと評価する（ステップＳ６）。

検出対象物が特異部を含むと評価された場合、表示部２８は、その旨の情報を出力し、検査者による目視検査を促す（ステップＳ７）。このとき、表示部２８は、特異部又は特徴が含まれていると評価された分割画像の所定範囲内の位置を表示するように構成される。このように構成することで、検査者は、特異部又は特徴が含まれていると評価された領域を容易に特定することができる。このため、目視による検査時間を低減することが可能になる。なお、検出対象物が特異部を含むと評価された場合、画像処理装置２０は、その旨の情報を、製造ラインの制御対象物を制御するコントローラ（例えば、PLC: programmable logic controller等）に出力してもよく、情報を受信したコントローラは、特異部を含むと評価された対象物を、製造ラインの系外に不良品または不良品の候補として排出するように製造ラインを制御するようにしてもよい。

なお、検出対象物は特異部を含まないと評価された場合であっても、目視検査を更に行ってもよい。

また、検出対象物が大きい場合、ステップＳ１乃至ステップＳ７を含む本実施形態に係る画像処理方法を異なる範囲について繰り返し実行してもよい。一方で、特異部が欠陥でありその欠陥が発生し得る箇所が一部の領域に集中している場合、検出対象物が大きくても、その領域についてステップＳ１乃至ステップＳ７を含む本実施形態に係る画像処理方法を実施し、別の領域については、異なる方法（例えば目視検査）により検出対象物を検査してもよい。

以上のような画像処理システム１０及び画像処理方法によれば、分割画像のサイズを機械学習に適するように小さく設定することが可能になるため、特異部を包含するように大きく画像サイズを設定する場合と比較して、機械学習の学習時間及び演算時間を短縮することが可能となる。更に、本出願の発明者らは、特異部又は特徴として評価すべきでないノイズ等については複数の分割画像に跨る場合が少ない一方で、特異部又は特徴として評価すべきである塵、人毛等については複数の分割画像に跨る場合が相対的に多いことに着目し、単一の分割画像が特徴を有することに基づいて特異部を有すると評価するのではなく、複数の分割画像が特徴を有することに基づいて特異部を有すると評価する画像処理システム１０及び画像処理方法を考案した。このため、ノイズ等に起因して特異部が存在すると誤認して過検出する可能性を減少させるとともに、特異部又は特徴として評価すべきである塵、人毛等の見逃しを抑制し、検出精度を高めることが可能になる。

換言すると、特異部が複数の分割画像に跨るように分割画像のサイズを設定することにより、検出精度と処理速度とを両立した画像処理システム１０及び画像処理方法を提供したとも言える。

大量に生産される対象物の場合、そのうちの１個のみに特異部が存在したとしても大きな問題に生じる可能性があるところ、本実施形態に係る画像処理システム１０及び画像処理方法を使用し、あえて特異部よりも小さいサイズとなるように分割画像を生成することにより、特異部の見逃し率を低減することが可能となった。

また、本実施の形態における画像処理方法では、教師データ（訓練データ）に基づいて、入力データに対する推定ルールを自律的に生成可能な機械学習により得られたモデルを用いる方法を採用するところ、教師データとして画素数が少ない分割画像を利用することにより、学習時間の短縮を図ることが可能になる。

特に本実施の形態における評価方法を製造ラインに実装して製品検査に用いることを想定すると、製造対象の製品のロット変更や型式変更に臨機応変に対応すべく、学習済みモデルを生成するための時間は短いことが好ましい。上記のように、学習時間の増大を抑制することで、製造ラインへの実装に適した評価方法を実現することができる。

なお、上述した効果をさらに高める観点から、第１の方法としては、製造対象の製品のロット変更や型式変更に応じて変更すべき要素が少なく、また、データ量の大きい画像処理にも適用可能なルールベースの画像処理方法を用いることが、好ましい。

なお、撮像部１２により撮像される領域を通過するように複数の対象物を移動させながら撮像することにより、複数の対象物を同時に撮像可能としてもよい。これによれば、複数の対象物を効率的に評価可能となる。その際、中心軸周りに対象物を回転させながら移動させることにより、側面全体を評価可能となるように画像処理システム１０を構成してもよい。また、第１の対象物について撮像部１２を用いて撮像を実行しながら、同時に、第２の対象物について、個別評価部１６または総合評価部１８を用いて特徴または特異部の有無の評価を実行してもよい。

［第１変形例］
以下、第１実施形態の第１変形例について説明する。なお、以下に記載される変形例において第１実施形態または他の変形例と同一又は同様の構成を備えることが当業者に合理的に理解可能な点については説明を省略または簡略化し異なる部分を中心に説明する。

第１実施形態に係る画像処理装置及び画像処理方法は、所定範囲について、所定範囲を構成する複数の画素の数Ｙ１と、Ｙ１個の画像のうち個別評価において特徴が含まれていると評価された画像の数Ｘ１との比に基づいて総合評価を行った。

第１変形例に係る画像処理方法は、所定範囲ではなく、所定範囲の一部である部分範囲について、部分範囲を構成する複数の画素の数Ｙ１と、Ｙ１個の画像のうち個別評価において特徴が含まれていると評価された画像の数Ｘ１との比に基づいて総合評価を行う。

部分範囲の大きさは、適宜設定可能である。例えば、検出対象として想定される特異部の大きさを包含するように、部分範囲が設定される。例えば、典型的な特異部の大きさが分割画像１６個（４行４列の１６個の分割画像から構成される部分範囲）に包含される場合が多いとき、部分範囲を同じ４行４列の１６個の分割画像から構成される部分として設定し、個別評価において特徴が含まれていると評価された画素の数が４個以上のとき、即ち、Ｙ１が１６でありＸ１が４でありＸ１／Ｙ１が０．２５以上である場合に総合評価部１８は、特異部を含むと評価するように構成されてもよい。

［第２変形例］
以下、第１実施形態の第２変形例について説明する。
第２変形例に係る画像処理方法は、第１実施形態に記載された総合評価と、第１変形例に記載された総合評価を組み合わせた評価を行う。

具体的には、ステップＳ４において、Ｘ１／Ｙ１が閾値未満の場合（ＮＯ）であっても、この閾値よりも小さい第２閾値（「第２の所定値」の一例）以上の場合、Ｙ１個の分割画像から構成される所定範囲の一部である第２部分範囲を構成する複数の分割画像の数Ｙ２（＜Ｙ１）と、Ｙ２個の画像のうち個別評価において特徴が含まれていると評価された画像の数Ｘ２との比Ｘ２／Ｙ２が、第３閾値（「第３の所定値」の一例）以上の場合に、総合評価部１８は、特異部を含むと評価するように構成してもよい。

このような構成を採用することにより、所定範囲内におけるＸ１が小さい場合であっても、一部の領域に特徴が含まれていると評価された分割画像が密集している場合を捕捉することが可能になるから、特異部の見逃し率を抑制することが可能となる。

［第３変形例］
以下、第１実施形態の第３変形例について説明する。
第３変形例に係る画像処理方法は、個別評価において特徴が含まれていると評価された複数の分割画像の位置関係のパターンに基づいて総合評価を行う。

図５に、複数の分割画像の位置関係のパターンの例を示す。同図において黒色のセルは、分割画像の個別評価（ステップＳ３）において、特徴が含まれていると評価された分割画像を示し、白色のセルは、特徴が含まれていないと評価された分割画像を示している。

同図に示されるように、図５（Ａ）及び図５（Ｂ）は、３行３列の９個の分割画像から構成される部分範囲のうち、特徴が含まれていると評価された分割画像のうち中心の分割画像（「画像Ａ」の一例）の周囲に位置する８個の分割画像のうち、特徴が含まれると評価された分割画像が２個存在するパターンを示している。図５（Ａ）及び図５（Ｂ）は、共に、各列（上下方向）に１つずつ特徴が含まれると評価された分割画像が存在し、かつ、斜め方向に隣接する２個の分割画像を含んでいるパターンを示しており、図５（Ａ）は、斜め方向に３個連なっているパターンを示し、図５（Ｂ）は、中心の分割画像を基準として１個の分割画像については斜めに連なり、他の１個の分割画像については上下方向又は左右方向に連なっているパターンを示している。

なお、図に示されるパターンを９０度回転させたパターン及びこのパターンを紙面上下対称または紙面左右対称にしたパターンであってもよい。

行列状に配列される分割画像に対し、特異部が斜め方向に延在する可能性が高いことが予めわかっている場合、同図に示されるように、個別評価において、中心となる分割画像の周囲に位置する８つの分割画像のうち、２以上の分割画像に特徴が含まれると評価され、かつ、少なくとも１つの分割画像が、特徴を含まれていると評価された分割画像に対して斜め方向に位置する場合に、総合評価部１８は、特異部を含むと評価するように構成してもよい。

なお、その他の６個の分割画像には特徴が含まれていないと個別評価された場合に、総合評価部１８は、特異部を含むと評価するように構成してもよいし、その他の６個の分割画像に特徴が含まれていると個別評価された場合であっても、総合評価部１８は、特異部を含むと評価するように構成してもよい。

特異部が線状のものであり、分割画像のサイズよりも細い幅を有するような場合、前者のように総合評価をすることが好ましい。一方で、特異部が線状のものであっても、分割画像のサイズよりも太い幅を有するような場合、後者のように総合評価をしてもよい。すなわち想定される特異部の形状に応じて、個別評価において特徴が含まれていると評価された複数の分割画像の位置関係のパターンを設定することが好ましい。

このような、個別評価において特徴が含まれていると評価された複数の分割画像の位置関係のパターンに基づく総合評価は、第１実施形態におけるステップＳ４において実行し、Ｘ１／Ｙ１が所定の閾値以上、かつ、図５（Ａ）または図５（Ｂ）等に示されるパターンが検出されたときに、検出対象物は特異部を含むと評価するようにしてもよい。

また、代替的に、Ｘ１／Ｙ１が所定の閾値以上であるか否かというステップＳ４を実行せずに、個別評価の後に、複数の分割画像の位置関係のパターンに基づいて、検出対象物は特異部を含むと評価する総合評価を行ってもよい。そのような場合の画像処理方法は、付記される。

［第４変形例］
以下、第１実施形態の第４変形例について説明する。
第４変形例に係る画像処理方法は、個別評価において特徴が含まれていると評価された複数の分割画像の位置関係のパターンに基づいて総合評価を行う点で、第３変形例と共通する。

本出願の発明者らは、第３変形例に記載される場合（３行３列の９個の分割画像から構成される部分範囲のうち、特徴が含まれていると評価された分割画像のうち中心の分割画像（「画像Ａ」の一例）の周囲に位置する８個の分割画像のうち、特徴が含まれると評価された分割画像が２個存在する場合）以外の場合であっても、特異部が存在する場合がある点に着目した。そのような場合とは、個別評価において特徴を含むと評価された２つの分割画像（「画像Ａ」及び「画像Ｂ」の一例）が隣接し、個別評価において特徴を含むと評価された他の２つの分割画像（「画像Ｄ」及び「画像Ｅ」の一例）が隣接し、画像Ａ及び画像Ｂと、画像Ｃ及び画像Ｄとは、互いに隣接しておらず、個別評価において特徴を含まないと評価された１つの分割画像（「画像Ｃ」の一例）を隔てているパターンである。

換言すると、個別評価において特徴を含むと評価された画像Ａが存在し、画像Ａの周囲に位置し、個別評価において前記特徴を含むと評価された画像Ｂが存在し、画像Ａの周囲に位置せず、画像Ｂの周囲に位置し、個別評価において特徴を含まないと評価された画像Ｃが存在し、画像Ａ及び画像Ｂの周囲に位置せず、画像Ｃの周囲に位置し、個別評価において特徴を含むと評価された画像Ｄが存在し、画像Ａ、画像Ｂ及び画像Ｃの周囲に位置せず、画像Ｄの周囲に位置し、個別評価において特徴を含むと評価された画像Ｅが存在する場合に、総合評価部１８は、対象物が検出対象の特異部を含む、と評価するように構成される。

図６には、このようなパターンが例示されている。なお、図に示されるパターンを９０度回転させたパターン及びこのパターンを紙面上下対称または紙面左右対称にしたパターンについては記載を省略する。これら図面において、黒色のセルは、分割画像の個別評価（ステップＳ３）において、特徴が含まれていると評価された分割画像を示し、白色のセルは、特徴が含まれていないと評価された分割画像を示している。

図６（Ａ）には、画像Ｂ、画像Ｃ及び画像Ｄが行方向又は列方向に一直線に配列されているパターンを一部に含むパターンを示している。画像Ａは、画像Ａ１乃至画像Ａ３のいずれか一つであってもよい。画像Ｅは、画像Ｅ１乃至画像Ｅ３のいずれか一つであってもよい。

図６（Ｂ）には、画像Ｂ、画像Ｃ及び画像Ｄのうち画像Ｂ及び画像Ｃが行方向又は列方向に一直線に配列され、画像Ｄが画像Ｃに対して斜め方向に配置されるパターンを一部に含むパターンを示している。画像Ａは、画像Ａ１乃至画像Ａ３のいずれか一つであってもよい。画像Ｅは、画像Ｅ１乃至画像Ｅ５のいずれか一つであってもよい。

図６（Ｃ）には、画像Ｂ、画像Ｃ及び画像Ｄのうち、画像Ｂ及び画像Ｄが行方向又は列方向に同じ位置に配列され、画像Ｃが画像Ｂ及び画像Ｄに対して斜め方向に配置されるパターンを一部に含むパターンを示している。画像Ａは、画像Ａ１乃至画像Ａ３のいずれか一つであってもよい。画像Ｅは、画像Ｅ１乃至画像Ｅ４のいずれか一つであってもよい。

図６（Ｄ）には、画像Ｂ、画像Ｃ及び画像Ｄが斜め方向に一直線に配列されるパターンを一部に含むパターンを示している。画像Ａは、画像Ａ１乃至画像Ａ５のいずれか一つであってもよい。画像Ｅは、画像Ｅ１乃至画像Ｅ５のいずれか一つであってもよい。

なお図６（Ｅ）に示されるパターンは、図６（Ｂ）を９０度回転された後に左右対称に反転されたパターンに相当するため、図６（Ｂ）のパターンと実質的に同一であるため説明を割愛する。

このような、個別評価において特徴が含まれていると評価された複数の分割画像の位置関係のパターンに基づく総合評価は、第１実施形態におけるステップＳ４において実行される、Ｘ１／Ｙ１が所定の閾値以上、という評価と共に、または独立して、実行されてもよい。

以上のような画像処理方法及び画像処理装置によれば、画像Ｃに相当する分割画素に含まれるべき特徴の検出を見逃したとしても、その周囲の分割画素に基づいて特異部を検出することが可能となるから、特異部の見逃しを抑制し、検出精度を高めることが可能になる。

［教師データの生成方法］
以下、データベースＤＢ１及びデータベースＤＢ２に格納する教師データの生成方法について説明する。

従来、ノイズ因を生じさせる複雑な構造を有する対象物を官能検査する場合、過検出を抑制するために部位の境界部などノイズ因を生じさせる部分をマスクして撮像をすることが行われていた。

しかしながら、マスクにより特異部が分断されると、特異部の検出性能が低下する。このため、本実施形態においては、教師データを生成するために複数の部位から構成される対象物を撮像して基画像を取得する際に、マスクを用いることなく複数の部位およびその境界部を含むように対象物の所定範囲を撮像する。ここで複数の部位は、平面から構成される一つの部位と、これに接続される曲面から構成される一つの部位や、ある素材から構成される一つの部品と、この部品に接続され他の素材から構成される他の一つの部品の場合を含む。

そして、基画像を複数の分割画像に分割して教師データを生成する。データベースＤＢ１には、特異部を含まない分割画像が格納される。ここで、これら分割画像は、複数の部位およびその境界部を含む所定範囲を構成するところ、フィルタ処理等のノイズを除去するための処理を行うことなく教師データとなる分割画像を生成している。このため、これら分割画像は、ノイズを含んでいる場合もある。

その後、ステップＳ１において対象物を撮像して基画像を取得する際に、撮像部１２は、複数の部位およびその境界部を含むように対象物の所定範囲を撮像し、これに基づいてステップＳ２において分割画像が取得される。

そしてステップＳ３において、機械学習を用いて生成された学習済みモデルに基づいて、各分割画像を個別に評価し、各分割画像が特徴を含むか否かを評価するところ、学習済みモデルは、複数の部位およびその境界部を含む所定範囲を構成する分割画像を教師データとしているので、この所定範囲を構成する各分割画像が特徴を含むか否かの個別評価を精度良く実行することが可能となる。

データベースＤＢ２には、特異部または特徴を含む分割画像が格納される。これら分割画像も、複数の部位およびその境界部を含む所定範囲を構成する。図７には、特異部Ｈ２乃至Ｈ４の一例と、これに基づいて生成される分割画像の一例が示される。この図に示されるように、特異部は、分割画像のサイズよりも大きい場合がある（換言すると一部の特異部よりも小さくなるように分割画像のサイズを設定する）。また、分割画像のサイズよりも小さい特異部であっても、特異部が複数の分割画像にまたがることもある。本実施形態に示される総合評価部１８によって、２以上の分割画像に基づいて総合評価を行うことにより、そのような特異部の検出精度を高めることが可能となる。

［適用範囲］
本開示に係る画像処理システム及び画像処理装置は、様々な対象物を評価するために適用することが可能である。例えば、ポリ塩化ビニリデン（ＰＶＤＣ）の透明フィルムの製造工程において、透明フィルムに含まれ得る異物、傷、皺等を特異部として検出するために使用することができる。

また、フラットパネルディスプレイ用等の高分子フィルムの製造工程において、高分子フィルムに含まれ得る異物、傷等を特異部として検出するために使用することができる。

また、ガラス製品等の製造工程において、ガラスに含まれ得る割れやキズ等を特異部として検出するために使用することができる。この場合、ガラス製品に照明を当てて撮像し、特異部において輝度が他の部位よりも高くなることを利用して特異部を検出することができる。

また、クロマトグラフィーの分離膜の製造工程において、膜表面の変形や気泡を特異部として検出するために使用することができる。この場合、分離膜に照明を当てて撮像し、特異部において輝度が他の部位よりも低く、又は、高くなることを利用して特異部を検出することができる。

また、本開示は、その要旨を逸脱しない限り、さまざまな変形が可能である。たとえば、当業者の通常の創作能力の範囲内で、ある実施形態における一部の構成要素を、他の実施形態に追加することができる。また、ある実施形態における一部の構成要素を、他の実施形態の対応する構成要素と置換することができる。

例えば、本開示に係る画像処理方法は、
対象物を撮像した複数の画像であって、それぞれが前記対象物の所定範囲の異なる部分を撮像した複数の画像を取得することと、
前記複数の画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、前記複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行うことと、
前記特徴が前記複数の画像のうちの２以上の画像に含まれているか否かに基づいて、前記対象物が検出対象の特異部を含むか否かの総合評価を行うことと、
を含み、
前記総合評価は、前記個別評価において、前記所定範囲又は前記所定範囲の一部である部分範囲を構成する前記複数の画像の位置関係に基づいて、前記対象物が検出対象の特異部を含むか否かを評価する、
画像処理方法であってよい。

例えば、本開示に係る画像処理装置は、
対象物を撮像した複数の画像であって、それぞれが前記対象物の所定範囲の異なる部分を撮像した複数の画像を取得する手段と、
前記複数の画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、前記複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行う手段と、
前記特徴が前記複数の画像のうちの２以上の画像に含まれているか否かに基づいて、前記対象物が検出対象の特異部を含むか否かの総合評価を行う手段と、
を含み、
前記総合評価を行う手段は、前記個別評価において、前記所定範囲又は前記所定範囲の一部である部分範囲を構成する前記複数の画像の位置関係に基づいて、前記対象物が検出対象の特異部を含むか否かを評価するように構成される、
画像処理装置であってよい。

このような画像処理方法及び画像処理装置において、
前記複数の画像は、それぞれ長辺及び短辺を有する矩形状の領域の画像であり、
前記総合評価は、前記個別評価において前記特徴を含むと評価された少なくとも２つの前記画像が斜め方向に隣接する場合に、前記対象物が検出対象の特異部を含むと評価するように構成されてもよい。

１０ 画像処理システム
１２ 撮像部
１４ 画像分割部
１６ 個別評価部
１８ 総合評価部
１８ 総合評価部
２０ 画像処理装置
２０ 画像処理装置
２２ プロセッサ
２４ 記憶部
２８ 表示部
３２ 入力部
ＤＢ１ データベース
ＤＢ２ データベース

Claims (12)

1. 対象物を撮像した複数の画像であって、それぞれが前記対象物の所定範囲の異なる部分を含む複数の画像を取得することと、
   前記複数の画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、前記複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行うことと、
   前記特徴が前記複数の画像のうちの２以上の画像に含まれているか否かに基づいて、前記対象物が検出対象の特異部を含むか否かの総合評価を行うことと、
   を含み、
   前記総合評価は、前記所定範囲又は前記所定範囲の一部である部分範囲を構成する前記複数の画像の数Ｙ１と、Ｙ１個の前記画像のうち前記個別評価において前記特徴が含まれていると評価された画像の数Ｘ１との比Ｘ１／Ｙ１が、第１の所定値以上の場合に、前記対象物が検出対象の特異部を含む、と評価する、
   画像処理方法。
2. 前記対象物の所定範囲を撮像した基画像を分割して、それぞれの画像サイズが同一の前記複数の画像を生成すること、
   をさらに含む請求項１に記載の画像処理方法。
3. 前記総合評価は、
   前記比Ｘ１／Ｙ１が前記第１の所定値未満であり、かつ、前記第１の所定値よりも小さい第２の所定値以上であって、かつ、
   前記Ｙ１個の画像から構成される前記所定範囲又は前記部分範囲の一部である第２部分範囲を構成する複数の画像の数Ｙ２（＜Ｙ１）と、Ｙ２個の前記画像のうち前記個別評価において前記特徴が含まれていると評価された画像の数Ｘ２との比Ｘ２／Ｙ２が、第３の所定値以上の場合に、
   前記対象物が検出対象の特異部を含む、と評価する、
   請求項１または２に記載の画像処理方法。
4. 前記総合評価は、
   前記個別評価において前記特徴を含むと評価された画像Ａが存在しており、かつ、
   前記個別評価において、前記画像Ａの周囲に位置する前記複数の画像のうち、２以上の画像に前記特徴が含まれると評価された場合に、
   前記対象物が検出対象の特異部を含む、と評価する、
   請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記総合評価は、
   前記個別評価において前記特徴を含むと評価された画像Ａが存在し、
   前記画像Ａの周囲に位置し、前記個別評価において前記特徴を含むと評価された画像Ｂが存在し、
   前記画像Ａの周囲に位置せず、前記画像Ｂの周囲に位置し、前記個別評価において前記特徴を含まないと評価された画像Ｃが存在し、
   前記画像Ａ及び前記画像Ｂの周囲に位置せず、前記画像Ｃの周囲に位置し、前記個別評価において前記特徴を含むと評価された画像Ｄが存在し、
   前記画像Ａ、前記画像Ｂ及び前記画像Ｃの周囲に位置せず、前記画像Ｄの周囲に位置し、前記個別評価において前記特徴を含むと評価された画像Ｅが存在する場合に、
   前記対象物が検出対象の特異部を含む、と評価する、
   請求項１から４のいずれか一項に記載の画像処理方法。
6. 前記特異部は、前記対象物の欠陥である、請求項１から５のいずれか一項に記載の画像処理方法。
7. 対象物の所定範囲の異なる部分を撮像した複数の画像を取得する画像取得手段と、
   前記複数の画像のそれぞれに対し、機械学習を用いて取得された所定の画像処理方法を適用して、前記複数の画像のそれぞれが検出対象の特徴を含むか否かの個別評価を行う個別評価手段と、
   前記特徴が前記複数の画像のうちの２以上の画像に含まれているか否かに基づいて、前記対象物が検出対象の特異部を含むか否かの総合評価を行う総合評価手段と、
   を備え、
   前記総合評価手段は、前記所定範囲又は前記所定範囲の一部である部分範囲を構成する前記複数の画像の数Ｙ１と、Ｙ１個の前記画像のうち前記個別評価手段により前記特徴が含まれていると評価された画像の数Ｘ１との比Ｘ１／Ｙ１が、第１の所定値以上の場合に、前記対象物が検出対象の特異部を含む、と評価するように構成される、
   画像処理装置。
8. 前記対象物の所定範囲を撮像した基画像を分割して、それぞれの画像サイズが同一の前記複数の画像を生成する手段、
   をさらに含む請求項７に記載の画像処理装置。
9. 前記総合評価手段は、
   前記比Ｘ１／Ｙ１が前記第１の所定値未満であり、かつ、前記第１の所定値よりも小さい第２の所定値以上であって、かつ、
   前記Ｙ１個の画像から構成される前記所定範囲又は前記部分範囲の一部である第２部分範囲を構成する複数の画像の数Ｙ２（＜Ｙ１）と、Ｙ２個の前記画像のうち前記個別評価手段により前記特徴が含まれていると評価された画像の数Ｘ２との比Ｘ２／Ｙ２が、第３の所定値以上の場合に、
   前記対象物が検出対象の特異部を含む、と評価するように構成された、
   請求項７または８に記載の画像処理装置。
10. 前記総合評価手段は、
    前記個別評価手段により前記特徴を含むと評価された画像Ａが存在しており、かつ、
    前記個別評価手段により、前記画像Ａの周囲に位置する前記複数の画像のうち、２以上の画像に前記特徴が含まれると評価された場合に、
    前記対象物が検出対象の特異部を含む、と評価するように構成された、
    請求項７から９のいずれか一項に記載の画像処理装置。
11. 前記総合評価手段は、
    前記個別評価手段により前記特徴を含むと評価された画像Ａが存在し、
    前記画像Ａの周囲に位置し、前記個別評価手段により前記特徴を含むと評価された画像Ｂが存在し、
    前記画像Ａの周囲に位置せず、前記画像Ｂの周囲に位置し、前記個別評価手段により前記特徴を含まないと評価された画像Ｃが存在し、
    前記画像Ａ及び前記画像Ｂの周囲に位置せず、前記画像Ｃの周囲に位置し、前記個別評価手段により前記特徴を含むと評価された画像Ｄが存在し、
    前記画像Ａ、前記画像Ｂ及び前記画像Ｃの周囲に位置せず、前記画像Ｄの周囲に位置し、前記個別評価手段により前記特徴を含むと評価された画像Ｅが存在する場合に、
    前記対象物が検出対象の特異部を含む、と評価するように構成された、
    請求項７から１０のいずれか一項に記載の画像処理装置。
12. 前記特異部は、前記対象物の欠陥である、請求項７から１１のいずれか一項に記載の画像処理装置。

Images