JP2013235578A - 画像処理装置 - Google Patents

Abstract

【課題】対象物を撮像した画像から、当該対象物の状態を的確かつ迅速に判定できる画像処理装置を提供すること。
【解決手段】確信度算出部であるＣＰＵ１０によって予め準備された参照画像テンプレートを基準として不良品あるいは良品との近似性の高さを示す確信度を規定し、当該確信度に基づいて、判定対象である対象物の良否の状態についての判定を行っている。これにより、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。
【選択図】図１

Description

本発明は、対象物を撮像した写真等の画像から当該対象物の状態を判定するための画像処理装置に関する。

例えば、対象物である瓶の口部等の外観を撮像して撮像画像を取得し、その取得画像に基づいて異物の混入や、割れ、欠け及び汚れといった欠陥の有無を検査する技術が種々知られている（例えば特許文献１〜３等参照）。

しかしながら、例えば特許文献１、２等では、取得した画像データを所定の閾値で２値化し、さらに、２値化したデータについて白または黒の面積（面積比）を測定することで、欠陥の有無を検査しているため、単純な方法による２値化では、検査の信頼性を高めることが容易でない場合がある。また、例えば特許文献３では、ガラス瓶の瓶口の形状という局所的に形状の特徴が出やすい特定の部分について良否を判定するため、迅速かつ的確に検査はできても、ガラス瓶以外の対象物においてこのような局所的特徴が常にあるとは限らず、種々の対象物にそのまま適用できるものではない。

また、写真等の画像について、どのようなカテゴリに属するものであるかを判別するための技術として、画像の情報として多次元ベクトルとして表現される色、形状、テクスチャ、サイズ等についての各種パラメータに基づいて自動的に属性を判定するものが知られている（特許文献４参照）。特許文献４では、上記パラメータに基づいた判別を行うことで、抽象的であいまいな概念的広がりを有する多様なカテゴリのうち、例えば猥褻画像のような特定カテゴリに属するか否かを判定可能としている。

しかしながら、特許文献４では、判定対象となる画像について、例えば当該画像に写った対象物の位置や色味、形状等が良好であるか否か、といった対象物の状態を判定することについては開示がない。

特開平２−２４５４４号公報 特開平４−２７０９５１号公報 特開２００７−２４０４６９号公報 特開２００３−９９７７８号公報

本発明は、対象物を撮像した画像から、当該対象物の良否等の状態を的確かつ迅速に判定できる画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、（ａ）一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理装置であって、（ｂ）対象画像に基づいて対象物の状態を判定するに際して基準として参照される参照画像についての情報を、パラメータ化して抽出された参照側形状的パラメータとして格納する参照画像格納部と、（ｃ）対象物を撮像して対象画像を取得する撮像装置と、（ｄ）撮像装置での撮像により取得された対象画像から、参照側形状的パラメータとの比較対象となる対象側形状的パラメータを抽出する対象側形状的パラメータ抽出部と、（ｅ）参照側形状的パラメータに対する対象側形状的パラメータの近似性の高さを数値化した確信度を算出する確信度算出部と、（ｆ）確信度算出部で算出された確信度に基づいて対象物の状態を判定する状態判定部と、を有する。ここで、形状的パラメータとは、画像から切り出される形状や色、テクスチャ、大きさ等についてパラメータ化され、多次元ベクトルとして表現されるデータを意味する。

上記画像処理装置によれば、状態判定部が、確信度算出部において算出される形状的パラメータから導かれる確信度に基づいて、対象物の良否等の状態を判定するので、対象物の状態を的確かつ迅速に判定することができる。この際、特に確信度は、形状的パラメータについての比較結果から算出されるため、写真等の画像に表された良否の状態のようにその状態を判定するに際して抽象的であいまいな概念的広がりを有するものであっても、的確かつ迅速な比較を行って、精度の高い確信度をもって判定を行うことができる。

本発明の具体的な側面では、撮像装置によりサンプルを撮像して取得されたサンプル画像についての情報をパラメータ化して参照画像格納部に格納されるべき参照側形状的パラメータを抽出する参照側形状的パラメータ抽出部をさらに備える。この場合、参照側形状的パラメータ抽出部において、撮像装置で撮像されたサンプル画像から参照側形状的パラメータを作成できる。

本発明の別の側面では、確信度算出部が、確信度として、第１の確信度と、第１の確信度とは異なる基準に基づく第２の確信度とをそれぞれ算出し、状態判定部が、第１の確信度と第２の確信度とに基づいて対象物の状態を判定する。この場合、異なる基準から多面的に判定を行うことで、より的確に対象物の状態を判定することができる。

本発明のさらに別の側面では、参照画像格納部が、参照側形状的パラメータとして、不良品の状態を示す画像に関する情報と良品の状態を示す画像に関する情報とのうち少なくとも一方の情報を記憶している。この場合、参照画像格納部に格納された情報に基づいて、対象物が不良品の状態にあるか否か、あるいは、対象物が良品の状態にあるか否かを判定することができる。

本発明のさらに別の側面では、参照画像格納部が、不良品の状態を示す画像の情報と良品の状態を示す画像に関する情報との双方を含み、不良品の状態を示す画像の情報は、不良品だけをサンプリングして作成される不良品に関する参照画像テンプレートで構成され、良品の状態を示す画像に関する情報は、良品だけをサンプリングして作成される良品に関する参照画像テンプレートとで構成される。この場合、不良品に関する参照画像テンプレートに基づいて、不良品性についての確信度が算出でき、良品に関する参照画像テンプレートに基づいて、良品性についての確信度が算出できるので、不良品性及び良品性の両面から確信度を測って、より信頼性が高まる。

本発明のさらに別の側面では、状態判定部が、判定において優先的な判断基準として取り扱われる確信度についての第１の閾値と、第１の閾値よりも小さな値であるとともに第１の閾値による判定が不能な場合において判断基準となる第２の閾値とを基準として、対象物の状態を判定する。この場合、多段階の判定を可能とすることで、判定の信頼性をある程度以上に維持しつつ判定不能となることを低減できる。

本発明のさらに別の側面では、参照画像格納部において、参照側形状的パラメータは、外形形状に関するパラメータ、色に関するパラメータ、テクスチャに関するパラメータ、及び大きさに関するパラメータのうち少なくとも１つのパラメータを含む。この場合、外形形状、色、テクスチャあるいは大きさといった画像についての各種情報のうち、例えば対象物の属性や判定の目的に応じて当該対象物の状態の良否が端的に現れるものに基づいて、参照側形状的パラメータを作成することができる。これにより、写真等の画像のような抽象的であいまいな概念的広がりを有するものについての判定であっても、信頼性の高いものとすることができる。

本発明のさらに別の側面では、参照画像格納部に格納されている参照画像についての情報を更新することで学習を行う学習部をさらに有する。この場合、学習部による学習を通じて、参照画像についての情報を修正し、確信度や判定の信頼性をさらに高めることができる。

本発明のさらに別の側面では、学習部が、同種類の状態を判定する基準として参照される参照画像についての情報に含まれる参照側形状的パラメータのうち、全ての参照側形状的パラメータについての平均から乖離した度合いを示す乖離度について所定値を超えているものを削除する。この場合、基準として採用されるべきでない情報を、参照画像についての情報から排除できる。つまり、目的に適合する参照側形状的パラメータを蓄積して判断の信頼性を高めることができる。

上記目的を達成するため、本発明に係る画像処理方法は、一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理方法であって、対象画像に基づいて対象物の状態を判定するに際して基準として参照される参照画像についての情報を、パラメータ化して抽出された参照側形状的パラメータとして格納する参照画像格納工程と、対象画像から、参照側形状的パラメータとの比較対象となる対象側形状的パラメータを抽出する対象側形状的パラメータ抽出工程と、参照側形状的パラメータに対する対象側形状的パラメータの近似性の高さを数値化した確信度を算出する確信度算出工程と、確信度算出工程で算出された確信度に基づいて対象物の状態を判定する状態判定工程と、を有する。

上記画像処理方法によれば、確信度算出工程において算出される形状的パラメータから導かれる確信度に基づいて、状態判定工程において対象物の良否等の状態を判定するので、対象物の状態を的確かつ迅速に判定することができる。この際、特に確信度は、形状的パラメータについての比較結果から算出されるため、写真等の画像に表された良否の状態のようにその状態を判定するに際して抽象的であいまいな概念的広がりを有するものであっても、的確かつ迅速な比較を行って、精度の高い確信度をもって判定を行うことができる。

第１実施形態に係る画像処理装置の構造を概念的に説明するブロック図である。 図１の画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。 （Ａ）は、不良品に関する参照画像テンプレートを作成する工程を説明するフローチャートであり、（Ｂ）は、良品に関する参照画像テンプレートを作成する工程を説明するフローチャートである。 図２の変形例の画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。 第２実施形態に係る画像処理装置を用いた画像処理方法において、不良品に関する参照画像テンプレートを作成する工程を説明するフローチャートである。 対象物の良否判定を行う工程を説明するフローチャートである。 変形例の良否判定を行う工程を説明するフローチャートである。 図７における不良品タイプの判定処理について説明するフローチャートである。 （Ａ）及び（Ｂ）は、第３実施形態に係る画像処理装置を用いた画像処理方法において、画像を自動分割する一例を示す図である。 （Ａ）は、不良品に関する参照分割画像テンプレートを作成する工程を説明するフローチャートであり、（Ｂ）は、良品に関する参照分割画像テンプレートを作成する工程を説明するフローチャートである。 第３実施形態に係る画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。 画像を自動分割する他の一例を示す図である。 第４実施形態に係る画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。 第５実施形態に係る画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。

〔第１実施形態〕
以下、本発明の第１実施形態に係る画像処理装置について図面を参照しつつ説明する。

図１に示すように、本実施形態に係る画像処理装置１００は、ＣＰＵ１０、撮像装置１１、記憶装置１２、表示装置１３、入力装置１４、バス５０等を備える。

ＣＰＵ１０は、バス５０を介して、撮像装置１１、記憶装置１２、表示装置１３や入力装置１４との間で相互にデータの授受が可能になっている。また、ＣＰＵ１０は、入力装置１４からのオペレーターの指示に基づいて、記憶装置１２から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。

具体的に説明すると、ＣＰＵ１０は、状態を判定される対象である対象物の画像データからその状態を判別するためのプログラム（良否判定プログラム）により、入力装置１４からの指示や撮像装置１１で撮像された画像情報に基づいて、対象物の状態の良し悪し（良否）を予め記憶装置１２に格納された画像に関するデータと比較することで判定してその判定結果を出力することができる。つまり、ＣＰＵ１０は、例えば表示装置１３に判定結果を表示させることができ、不図示の出力装置に印刷等をさせることができる。

撮像装置１１は、例えばＣＣＤ等からなる固体撮像装置を内蔵する。この固体撮像装置で検出された画像は、例えばデジタル画像信号として出力される。撮像装置１１は、判定対象となる対象物を撮像してデジタル処理可能な状態の判定対象画像を作成する。

記憶装置１２は、画像処理装置１００を動作させる各種プログラム等を複数記憶しているプログラム領域と、入力指示、入力データ、処理結果等を一時格納するデータ領域とを備える。記憶装置１２は、撮像装置１１で撮像された画像の近似性を測るにあたって比較可能とするために、画像から切り出される形状等についてパラメータ化するパラメータ化プログラムや、パラメータ化されている画像に関するデータ（以下、「形状的パラメータ」という。）どうしを比較してそれらの近似性の高さを数値化して示す確信度を算出する確信度算出プログラム等の各種プログラムを格納する。さらに、記憶装置１２は、対象物の状態を判定するために比較を行うにあたっての基準となる良否の状態を示す典型的な画像の情報である参照画像テンプレート等の各種情報を格納している。例えば、記憶装置１２は、撮像装置１１で撮像され参照画像として取り込まれ、パラメータ化プログラムに基づいてパラメータ化された画像データを、典型的な良否状態を示す画像である参照画像テンプレートの参照側形状的パラメータとして格納する。つまり、記憶装置１２は、参照画像格納部である。ＣＰＵ１０は、必要に応じて記憶装置１２からこの参照側形状的パラメータを読み出し、対象物についての形状的パラメータと参照側形状的パラメータとを比較して、これらの近似性の高さを示す指数を算出し、対象物の良否判定を行う。なお、参照画像テンプレートは、画像処理装置１００の本動作である対象物の状態の良否を判定する動作を行う前に予め準備されているものとする。

以上において、形状的パラメータには、画像に関する種々の情報をデータ化したものが含まれる。形状的パラメータは、画像の情報として多次元ベクトルとして表現されるものであり、例えば、画像中に現れる色、形状、テクスチャ、サイズ等についての各種パラメータが該当し、これらの特性に基づいて判定対象物の状態が判定される。色のパラメータについては、例えばＲＧＢの３色についての平均値やメジアンや、色のヒストグラムを作成してその偏差を、近似性の高さを測る上での判断基準とすることができる。また、形状のパラメータについては、例えば輪郭（エッジ）で切り出した図形の円形度や複雑度、尖度、モーメント等を、近似性の高さを測る上での判断基準とすることができる。なお、ここで、円形度とは、切り出された図形の縦横比によって定まる指数であり、複雑度とは、切り出された図形における空洞の存在の有無や空洞の個数あるいは外側輪郭の屈曲度によって定まる指数である。なお、尖度は、直線距離と輪郭線の距離との比や、輪郭線の中心角とピクセル数との比から決定され、モーメントは、切り出された図形の形状から決定される。また、テクスチャのパラメータについては、例えば１次元投影法によって取得されるパターンの相関から得られる偏差を、近似性の高さを測る上での判断基準とすることができる。また、サイズすなわち大きさのパラメータについては、輪郭（エッジ）で切り出した図形の面積や、周囲長、フェレー径（縦又は横方向）を、近似性の高さを測る上での判断基準とすることができる。

表示装置１３は、ＣＰＵ１０から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行う画像表示部等により構成され、ＣＰＵ１０からの指令信号に基づいて必要な表示を行う。

入力装置１４は、キーボード等から構成され、画像処理装置１００を操作するオペレーターの意思を反映した指令信号をＣＰＵ１０に出力する。

以下、図１に示す画像処理装置１００を用いた画像処理に基づく対象物の判定の主要な動作の一例について説明する。図２は、画像処理方法を抽象化して説明するフローチャートである。ここでは、良否判定のための基準となる参照画像テンプレートが既に作成され、記憶装置１２に格納されている、すなわち判定のための準備が整っているものとして説明する。なお、この参照画像テンプレートの準備過程について、詳しくは図３（Ａ）等において後述する。

まず、ＣＰＵ１０は、撮像装置１１を撮像動作させるプログラムを読み出して、判定対象となる対象物を撮像した画像である判定対象画像を取り込む（ステップＳ１）。次に、ＣＰＵ１０は、撮像された判定対象画像の位置決めを行う（ステップＳ２）。例えば、判定対象画像がその外縁として外枠を有するものであれば、その外枠に沿った輪郭を位置決めの基準とすることができる。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、判定対象画像から形状的パラメータを抽出し（ステップＳ３）、記憶装置１２に保管する。上記において、ＣＰＵ１０は、対象側形状的パラメータ抽出部として機能する。以上により、判定対象である対象物が良否判定可能な状態にデータ化される。

次に、ＣＰＵ１０は、記憶装置１２から読み出した良否判定プログラムに基づいて、比較判定を行う。このため、まず、ＣＰＵ１０は、記憶装置１２に予め格納されている良否判定の基準となる参照画像テンプレートのうち、不良品に関する参照画像テンプレート（不良品参照画像テンプレート）から形状的パラメータを読み出す（ステップＳ４ａ）。さらに、ＣＰＵ１０は、不良品に関する参照画像テンプレートからの形状的パラメータすなわち参照側の形状的パラメータとステップＳ３において抽出された判定対象側の形状的パラメータとを比較し（ステップＳ５ａ）、判定対象画像ひいては対象物の状態が典型的な不良品にどの程度近いものであるかを、ステップＳ５ａにおいて比較された結果に基づいて、判定対象画像から対象物についての不良品との近さの程度を示す確信度を第１の確信度として算出する（ステップＳ６ａ）。以下、この第１の確信度を不良品性確信度と呼ぶこととする。なお、不良品性確信度については、画像の色や形状等に関する形状的パラメータに基づいて、種々の算出方法で規定する場合が考えられる。例えば形状的パラメータの差をベクトル的に考えてベクトル各成分の差で定まる距離に基づいて不良品性確信度を定めることができる。ここでは、ステップＳ５ａ，Ｓ６ａでの比較・算出から求められる典型的な不良品との近似性の高さ（例えば上記のベクトル的なものの距離）を数値化したもの（以下、「不良品指数」という。）をもって不良品性確信度とする。つまり、不良品指数が高いほど不良品であるものと判定される。不良品指数は、例えば取得された画像データのパラメータが最も典型的な不良品の画像データのパラメータと全く同一である場合を最大値の１００％となるように規格化されている。

ここで、上記のように規格化された値に対して、第１の閾値と第２の閾値とが設けられており、これらの閾値から対象物が不良品であるか否かを判定するものとなっている。第１の閾値は、比較的高い値で設定され、不良判定として確実な範疇となるようなものが満たす値となっている。第２の閾値は、第１の閾値よりは小さな値として設定されるが、ある程度高い値を設定することで、第２の閾値を超える場合も不良品である蓋然性が比較的高いものとなるような値となっている。第１及び第２の閾値は、統計的に知られた対象物についての不良判定として確実な範疇で定められるものである。なお、確実に判定できる閾値が未知の場合には、例えば試運転を繰り返しながら調整をすることで、閾値を定めればよい。

第１及び第２の閾値の設定については、種々のものが考えられるが、具体的な一例としては、不良品性確信度についての偏差値に基づいて規定することが考えられる。まず、不良品性確信度の高いものから低いものまでの全ての中から無作為に抽出した標本（第１標本）についての分布において標準偏差を算出した場合に、一定以上の偏差値となるときの不良品性確信度の値を、第１の閾値として定めることができる。上記第１の閾値を定めることで、第１の閾値を超える場合には、確実に不良品であるものと判断する値として用いることができる。また、例えば、典型的な不良画像を集めた集合すなわち不良品性確信度が比較的高いものの中から無作為に抽出した標本（第２標本）についての分布において標準偏差を算出した場合に、偏差値が第２標本における平均値よりは低いものの、ある程度以上の値であり、上記の第１標本での平均値よりは高い値となっている値を、第２の閾値として定めることができる。典型的な不良画像を集めた集合において、ある程度の不良品性確信度を有することで、不良品である蓋然性が比較的高いものと判断する値として用いることができる。各標本の分布特性に応じて第１及び第２の閾値を定めることで、抽象的であいまいな概念的広がりを有するもの判定について信頼性を高めたものにできる。また、以上のような第１及び第２の閾値を設定では、第１の閾値の調整において、より限定された範囲の確実に該当するものに絞るようにするような判定ができる。一方、第２の閾値の調整において、該当するとされるものをできるだけ多くするような判定ができる。第１及び第２の閾値を適宜調整することで、必要とされる精度等に応じた設定ができる。

また、ＣＰＵ１０は、上記ステップＳ４ａ〜ステップＳ６ａと並行して、良品に関する参照画像テンプレート（良品参照画像テンプレート）から形状的パラメータを読み出し（ステップＳ４ｂ）、良品に関する参照画像テンプレートからの形状的パラメータすなわち参照側の形状的パラメータとステップＳ３において抽出された判定対象側の形状的パラメータとを比較する（ステップＳ５ｂ）。さらに、ＣＰＵ１０は、判定対象画像から対象物についての良品との近さの程度を示す確信度を第２の確信度として算出する（ステップＳ６ｂ）。以下、この第２の確信度を良品性確信度と呼ぶこととする。ここでは、典型的な良品との近似性の高さを数値化したもの（以下、「良品指数」という。）をもって良品性確信度とする。つまり、良品指数が高いほど良品であるものと判定される。良品指数は、例えば取得された画像データのパラメータが最も典型的な良品の画像データのパラメータと全く同一である場合を最大値の１００％となるように規格化されている。規格化された値に対して、例えば上記した不良品参照画像テンプレートからの形状的パラメータにおける第１又は第２の閾値の規定と同様にして、良品参照画像テンプレートからの形状的パラメータにおける閾値を設けて、この閾値から対象物が良品であるか否かを判定する。閾値を超える場合は、良品である蓋然性が比較的高いものとして扱われる。

以上のように、ここでは、不良品性確信度すなわち第１の確信度と、第１の確信度とは異なる不良品性確信度すなわち第２の確信度との２つの面から判定対象物について判定を行うものとしている。異なる基準から多面的に判定を行うことで、より的確に対象物の状態を判定することができる。例えば、１つの対象について第１の確信度から不良品に入ると判定され、第２の確信度から良品に入らないと判定されれば、その対象は欠陥品であることが極めて高いこと言える。

ＣＰＵ１０は、ステップＳ７ａにおいて、ステップＳ６ａで算出された不良品性確信度が第１の閾値を超えており、かつ、ステップＳ６ｂで算出された良品性確信度が閾値を超えていないと判断すると（ステップＳ７ａ：Ｙｅｓ）、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ８）。

一方、ＣＰＵ１０は、ステップＳ７ａにおいて、不良品性確信度が第１の閾値以下である、又は、良品性確信度が閾値以上であると判断すると（ステップＳ７ａ：Ｎｏ）、さらに、良品性確信度が閾値を超えており、かつ、不良品性確信度が第１の閾値を超えてないかを判断する（ステップＳ７ｂ）。ここで、良品性確信度が閾値を超えており、かつ、不良品性確信度が第１の閾値を超えていないと判断すると（ステップＳ７ｂ：Ｙｅｓ）、判定対象画像すなわち判定対象物を良品であるものと判定する（ステップＳ９）。

ＣＰＵ１０は、ステップＳ７ｂにおいて、良品性確信度が閾値以下である、又は、不良品性確信度が第１の閾値以上であると判断すると（ステップＳ７ｂ：Ｎｏ）、さらに、不良品性確信度が第１の閾値を超えており、かつ、良品性確信度が閾値を超えているかを判断する（ステップＳ７ｃ）。ここで、不良品性確信度が第１の閾値を超えており、かつ、良品性確信度が閾値を超えていると判断すると（ステップＳ７ｃ：Ｙｅｓ）、第１の確信度である不良品性確信度を第２の確信度である良品性確信度よりも優先的に適用して、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ８）。

ＣＰＵ１０は、ステップＳ７ｃにおいて、不良品性確信度が第１の閾値以下である、又は、良品性確信度が閾値以下であると判断すると（ステップＳ７ｃ：Ｎｏ）、さらに、不良品性確信度が第２の閾値を超えているかを判断する（ステップＳ７ｄ）。ここで、不良品性確信度が第２の閾値を超えていると判断すると（ステップＳ７ｄ：Ｙｅｓ）、不良品性確信度を優先的に適用して、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ８）。

ＣＰＵ１０は、ステップＳ７ｄにおいて、不良品性確信度が第２の閾値以下であると判断すると（ステップＳ７ｄ：Ｎｏ）、統計的割合に基づいて良否判定を行う（ステップＳＱ）。ここで、統計的割合とは、その判定対象である対象物の検査において統計的に知られる良品・不良品の割合を言う。ステップＳ７ｄにおいて、Ｎｏと判断される場合、その判定対象画像すなわち対象物は、良品性確信度も不良品性確信度も高くない状態にあり、上記ステップＳ７ｄまでの手法では判定不能であり、良否の判断が非常に難しい状態にあるものと言える。ステップＳＱでは、このような状態にある対象物について乱数等を用いて、統計的割合に応じた割合で良品であるか不良品であるかを決定している。例えば、判定対象である対象物について、検査において、ｑ：（１―ｑ）の割合で不良品と良品とが発生するものであることが統計的に知られていれば、ＣＰＵ１０は、ステップＳＱにおいて、ｑ×１００％の確率で不良品であり、（１―ｑ）×１００％の確率で良品であると判定することになる。

なお、ステップＳ８又はステップＳ９における判定結果は、ＣＰＵ１０からの指令を受けた表示装置１３によって表示される。この際、併せて不良品性確信度や良品性確信度の数値等の算出結果を表示させてもよい。

以下、図３（Ａ）及び３（Ｂ）を用いて、上記判定のための基準となる参照画像テンプレートの作成について説明する。図３（Ａ）は、参照画像テンプレートのうち不良品に関する参照画像テンプレートの作成の工程について説明するためのフローチャートであり、図３（Ｂ）は、参照画像テンプレートのうち良品に関する参照画像テンプレートの作成の工程について説明するためのフローチャートである。つまり、図３（Ａ）に示す工程は、図２のステップＳ４ａにおいて読み出される形状的パラメータを準備するものであり、図３（Ｂ）に示す工程は、図２のステップＳ４ｂにおいて読み出される形状的パラメータを本動作前に準備するものである。なお、ここで、準備段階での学習については、画像処理装置１００の本動作の前段階のすべての段階での学習が含まれ、例えば本動作の直前に行う試運転の段階において学習をする場合も含まれるものとする。

まず、図３（Ａ）において、不良品に関する参照画像テンプレートを作成するために、明らかに不良品であるものとされる典型的なサンプルを複数（又は単数）用意する。つまり、人間の眼等を通して予め典型的な不良品であることが分かっている既知のサンプルのみを用意する。ＣＰＵ１０（図１参照）は、用意された当該サンプルを撮像装置１１に撮像させ、これを参照画像として取り込む（ステップＳ１０１ａ）。次に、ＣＰＵ１０は、参照画像の位置決めを行う（ステップＳ１０２ａ）。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、参照画像から形状的パラメータを抽出する（ステップＳ１０３ａ）。つまり、ＣＰＵ１０は、参照側形状的パラメータ抽出部として機能する。最後に、ＣＰＵ１０は、抽出された形状的パラメータを情報として含む参照画像についての画像情報を記憶装置１２に設けられた特定の領域内に格納する（ステップＳ１０４ａ）。つまり、記憶装置１２は参照画像についての情報を格納する参照画像格納部として機能する。以上により、典型的な不良品に関する参照画像テンプレートが作成される。なお、典型的なサンプルは、通常では複数用意されるため、上記ステップＳ１０１ａ〜ステップＳ１０４ａの動作を繰り返して、各サンプルについてパラメータ化を行うことになる。

また、図３（Ｂ）に示すように、良品に関する参照画像テンプレートの作成についても、上述した不良品に関する参照画像テンプレートの作成と同様に、人間の眼等を通して予め典型的な良品であることが既知であるサンプルのみを用意する。ステップＳ１０１ｂ〜ステップＳ１０４ｂの動作を行うことで、参照画像テンプレートが作成される。

なお、以上のサンプルについては、現実の判定対象たる対象物に相当する実在の物そのものであってもよいが、画像サンプルであってもよい。この場合、画像サンプルがデジタル画像のように、既にＣＰＵ１０によって処理可能な状態となっている場合には、撮像装置１１による画像取得の動作は不要となる。さらに、サンプルが既にパラメータ化されたデータとなっている場合には、直接的に記憶装置１２に当該データを格納すればよい。

なお、本動作の直前に行う試運転の段階において、良否判定の結果に誤りが多い場合には、適切な精度で良否判定がなされるようになるまで、上記のような事前学習を繰り返すものとする。

以上のように、本実施形態に係る画像処理装置１００では、確信度算出部であるＣＰＵ１０によって予め準備された参照画像テンプレートを基準として不良品あるいは良品との近似性の高さを示す確信度を規定し、当該確信度に基づいて、判定対象である対象物の良否の状態についての判定を行っている。これにより、画像処理装置１００は、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。

なお、以上において、ステップＳＱに示す統計的割合に基づく良否判定を行わないものとしてもよい。例えば、ステップＳ７ｄにおいて、不良品性確信度が第２の閾値以下であると判断した場合には（ステップＳ７ｄ：Ｎｏ）、ＣＰＵ１０は、判定対象画像すなわち判定対象物を不良品ではなく良品であるものと判定することとしてもよい。

また、多くの対象が判定不能でステップＳＱに達してしまったり、良否判定に多くの間違いがあったりする、といった判定精度が低い状態が続く場合には、各閾値を調整することも可能である。ただし、閾値の調整は、画像処理装置１００の本動作の前段階である試運転の段階までになされることが望ましい。本動作中において、ステップＳ７ｄさらにはステップＳＱに達してしまう場合には、例えばこれらに達した形状的パラメータの情報を蓄積しておき、当該形状的パラメータについての画像を人間の眼等を通して良否の確認をし、当該画像をサンプルとして強制的に図３（Ａ）又は図３（Ｂ）に示す参照画像テンプレートの作成をし直すものとしてもよい。

また、例えばステップＳＱに達するものが少ない場合には、ステップＳＱにおいて判定を行わず、判定不能のまま中立とするものとしてもよい。この場合、ステップＳＱに達したものについては、装置による自動的な判定をせず、例えば人間の眼によって判定を行うことが考えられる。

以下、図４のフローチャートを参照して、変形例に係る画像処理装置について説明する。なお、本変形例での画像処理装置の構成は、図１と同様であるので、図示を及び説明を省略する。上記の一例では、参照画像テンプレートは、画像処理装置１００の本動作を行う前に予め準備されているすなわち事前学習を行うものとしているが、本変形例では、例えば本動作中において、適宜学習を行うことで、参照画像テンプレートを更新して、判定基準の改善、修正や発展等を図ることを可能としている。

図４は、図２の一部を変形したものであり、図２に示す場合と同様の動作によりステップＳ８での不良品判定又はステップＳ９での良品判定がなされた後、参照画像テンプレートを更新する工程、すなわち学習の工程が追加されたものである（ステップＳ１０ａ、ステップＳ１０ｂ）。具体的に説明すると、まず、ＣＰＵ１０（図１参照）は、ステップＳ８での不良品判定がなされると、判定対象となった判定対象側の形状的パラメータの判定過程を確認し、ステップＳ７ａにおいて、Ｙｅｓと判断されて不良品判定がなされたものであった場合には、この形状的パラメータの情報を、新たな不良品に関する参照画像テンプレートの一部として追加する（ステップＳ１０ａ）。ここで、ステップＳ７ａにおいて、Ｙｅｓと判断されたものとは、既述の通り、不良品性確信度が第１の閾値を超えており、かつ、良品性確信度が閾値を超えていないと判断されたものである。つまり、判定対象となった対象画像は、典型的な不良品の状態を示す画像であり、良品の状態を示す画像ではなかったものといえる。このような画像を不良品に関する参照画像テンプレートとして追加することで、不良品に関する参照画像テンプレートの信頼性、言い換えるとステップＳ６ａで算出される不良品性確信度の信頼性を高めることができる。

同様に、ＣＰＵ１０は、ステップＳ９での良品判定がなされると、判定対象となった判定対象側の形状的パラメータの判定過程を確認し、ステップＳ７ｂにおいて、Ｙｅｓと判断されて良品判定がなされたものであった場合には、この形状的パラメータの情報を、新たな良品に関する参照画像テンプレートの一部として追加する（ステップＳ１０ｂ）。これにより、ステップＳ６ｂで算出される良品性確信度の信頼性を高めることができる。

以上のように、本変形例では、ＣＰＵ１０が、不良品性確信度及び良品性確信度の信頼性を高めるために参照画像についての情報を更新することで学習を行う学習部として機能している。

また、ステップＳ１０ａ及びステップＳ１０ｂの学習動作については、本動作中に毎回行う場合のほか、本動作において間欠的に行う等種々のタイミングで行うものとしてもよい。さらに、参照画像テンプレートの一部として追加するに際して、例えば不良品性確信度の比較によってランキングをし、ランキングの下位のものを排除すれば、参照画像テンプレートにおけるデータの追加・変更・削除を行っても、そのデータ量を一定に保つことができる。

〔第２実施形態〕
以下、図５等により、本発明の第２実施形態に係る画像処理装置について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。

図５は、本実施形態において判定のための基準として用いる参照画像テンプレートの作成について説明するための図である。図示のように、本実施形態では、不良品に関する参照画像テンプレートを複数種類用意するものとしている。

例えば、良品については、常に典型的なパターンがあり、複数又は単数のサンプルを用意することで、いわば平均的、標準的なデータ収集がなされ、良品についての近似性を適切に判定できる参照画像テンプレートが作成できる場合が多いと考えられる。しかし、不良品の発生については、対象となる対象物の属性等によっては、不良発生の原因が複数種類あり、原因ごとに不良として現れる形状等が大きく異なっている場合がある。不良発生の原因としては、例えば、位置ズレや異物の混入、割れ、欠け及び汚れといった種々のものが存在し得る。これらの原因によって対象物上に現れる形状や色、大きさ等の差異は、原因ごとに大きく異なり、形状的パラメータとして現れる特徴にも差が生じる場合がある。このような場合であるにもかかわらず、これら複数種類の典型的な不良品についての参照側の形状的パラメータを集約して１つのテンプレートを作成してしまうと、パラメータのばらつきが大きすぎ、不良品との類似性を適切に判定できないものになってしまう可能性がある。これに対して、本実施形態では、図５に例示するように、不良発生の原因ごとすなわちタイプごとに複数の異なるサンプルにそれぞれ分類したものを用意して、分類されたサンプルについて、不良品に関する参照画像テンプレートを個別に作成し、これらを判定の基準としている。例えば、タイプ１として対象物の割れについての不良品のサンプルを集め、１つのテンプレートを作成する（ステップＳ２０１ａ〜Ｓ２０４ａ）。また、タイプ２として対象物の欠けについての不良品のサンプルを集め、１つのテンプレートを作成する（ステップＳ２０１ｂ〜Ｓ２０４ｂ）。以下、同様の動作をすることで、複数組の参照画像テンプレートが作成される。

図６は、複数種類の不良品に関する参照画像テンプレートが用意された場合における対象物の判定方法の一例について説明するためのフローチャートである。ここでは、１つの良品に関する参照画像テンプレートと、（Ｌ−１）種類（Ｌは１より大きい自然数）の不良品に関する参照画像テンプレートが用意されているものとする。ここでは、異なるタイプの不良発生がＬ種類あり、これらのうち、参照画像テンプレートが用意される典型的な不良のタイプが（Ｌ−１）種類あり、これらのどれにも属さないような不良発生を最後であるＬ番目の不良であるものとする。

まず、ＣＰＵ１０は、（Ｌ−１）種類の不良品に関する参照画像テンプレートに基づいて不良品性確信度を算出する（ステップＳ２６ａ）。また、ＣＰＵ１０は、ステップＳ２６ａと並行して、良品に関する参照画像テンプレートに基づいて良品性確信度を算出する（ステップＳ２６ｂ）。

次に、ＣＰＵ１０は、ステップＳ２６ａで算出された各タイプの不良品性確信度のうちいずれかが第１の閾値を超えており、かつ、ステップＳ２６ｂで算出された良品性確信度が閾値を超えていないと判断すると（ステップＳ２７ａ：Ｙｅｓ）、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ２８）。

一方、ＣＰＵ１０は、ステップＳ２７ａにおいて、各タイプの不良品性確信度のいずれも第１の閾値以下である、又は、良品性確信度が閾値以上であると判断し（ステップＳ２７ａ：Ｎｏ）、さらに、良品性確信度が閾値を超えており、かつ、不良品性確信度のいずれも第１の閾値を超えていないと判断すると（ステップＳ２７ｂ：Ｙｅｓ）、判定対象画像すなわち判定対象物を良品であるものと判定する（ステップＳ２９）。

ＣＰＵ１０は、ステップＳ２７ｂにおいて、良品性確信度が閾値以下である、又は、不良品性確信度のいずれかが第１の閾値以上であると判断し（ステップＳ２７ｂ：Ｎｏ）、さらに、不良品性確信度のうちいずれかが第１の閾値を超えており、かつ、良品性確信度が閾値を超えていると判断すると（ステップＳ２７ｃ：Ｙｅｓ）、不良品性確信度を優先的に適用して、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ２８）。

ＣＰＵ１０は、ステップＳ２７ｃにおいて、不良品性確信度のいずれもが第１の閾値以下である、又は、良品性確信度が閾値以下であると判断し（ステップＳ７ｃ：Ｎｏ）、さらに、不良品性確信度のうちいずれかが第２の閾値を超えていると判断すると（ステップＳ７ｄ：Ｙｅｓ）、不良品性確信度を優先的に適用して、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ２８）。

ＣＰＵ１０は、ステップＳ２７ｄにおいて、不良品性確信度のいずれもが第２の閾値以下であると判断すると（ステップＳ２７ｄ：Ｎｏ）、統計的割合に基づいて良否判定を行い（ステップＳＱ）、良否を判定する（ステップＳ２８，Ｓ２９）。

図７は、本実施形態の変形例に係る画像処理装置について説明するためのフローチャートである。図７に示す一例では、図６のステップＳ２８での不良品判定がなされた判定対象画像すなわち判定対象物について、さらに不良品となったもののタイプを分類する処理（ステップＳＲ）を追加している。

以下、図８により、図７のステップＳＲにおける不良品の分類処理の一例について説明する。まず、ＣＰＵ１０は、ステップＳ２８において不良と判定された判定対象画像について、各タイプのうち不良品性確信度が第１の閾値を超えている場合があるか否かを判断する（ステップＳＲ１）。ステップＳＲ１において、いずれかのタイプについて第１の閾値を超えていると判断されると（ステップＳＲ１：Ｙｅｓ）、当該判定対象画像に対応する判定対象物は、そのタイプの不良品であると判定される（ステップＳＪ１）。ここで、１つの判定対象画像が複数のタイプについて第１の閾値を超えている場合には、該当する全てのタイプについての不良品であると判定される。例えば、タイプ１が対象物の割れについての不良品性確信度を示すものであり、タイプ２が対象物の欠けについての不良品性確信度を示すものである場合に、ある判定対象画像がタイプ１及びタイプ２の双方について第１の閾値を超えていれば、その判定対象画像に対応する判定対象物は、割れと欠けの双方が発生したものとして扱われることになる。

一方、ステップＳＲ１において、いずれのタイプの不良品性確信度についても第１の閾値を超えていないと判断されると（ステップＳＲ１：Ｎｏ）、タイプ１〜タイプ（Ｌ−１）の不良品性確信度が第２の閾値を超えているか否かを判定する（ステップＳＲ２）。ステップＳＲ２において、タイプ１〜タイプ（Ｌ−１）の不良品性確信度が第２の閾値を超えていると判断されると（ステップＳＲ２：Ｙｅｓ）、当該判定対象画像に対応する判定対象物は、タイプ１〜タイプ（Ｌ−１）のうち対応するタイプの不良品であると判定される（ステップＳＪ２）。なお、複数のタイプについて第２の閾値を超えている場合には、該当する全てのタイプについての不良品であると判定される。

一方、ステップＳＲ２において、タイプ１〜タイプ（Ｌ−１）のいずれについても不良品性確信度が第２の閾値以下であると判断されると（ステップＳＲ２：Ｎｏ）、当該判定対象画像に対応する判定対象物は、タイプＬの不良品であると判定される（ステップＳＪ３）。つまり、参照画像テンプレートが用意された（Ｌ−１）種類の典型的な不良のどれにも属さないＬ番目の不良であると判定される。

以上により、ステップＳＲにおける不良品の分類処理がなされる。また、ここでは、ステップＳＲ１において第１の閾値を超えていると判断された判定対象画像を不良品に関する参照画像テンプレートとして追加するものとしている（ステップＳＫ）。つまり、ステップＳＫでの学習工程を追加することで、不良品性確信度の信頼性を不良のタイプごとに高めることができる。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。

特に、本実施形態では、不良品の発生タイプが複数存在するような判定対象についても取り扱うことが可能となる。

また、Ｌ番目の不良発生が多く生じる場合には、新たなタイプの参照画像テンプレートを追加するものとしてもよい。

また、上記では、ステップＳ２７ａ等では、（Ｌ−１）種類のタイプの不良品性確信度ごとの閾値に基づいて良品判定を行っているが、これに限らず、複数のタイプの平均的な値に基づいて判定を行うことも可能である。例えば、Ｋ種類のタイプの不良品性確信度をＡ_１〜Ａ_Ｋとし、各タイプの不良発生の発生率すなわち頻度をα_１〜α_Ｋとして、重み付不良品性確信度を、Σα_ｉ×Ａ_ｉと規定し、この重み付不良品性確信度に基づいて、良否の判定を行うものとしてもよい。具体的には、重み付不良品性確信度についての閾値を定めておき、ステップＳＱでの統計的割合に基づく処理に代えて、Σα_ｉ×Ａ_ｉの値が上記閾値を超えている場合には不良品であり、閾値以下であれば良品である、とする判定を行うものとしてもよい。

また、以上では、不良品の発生タイプが複数存在しこれに応じて複数種類の参照画像テンプレートを用意しているのに対して、良品については、１種類の参照画像テンプレートのみを用意しているものとしているが、良品について複数種類の参照画像テンプレートを用意してもよい。また、良品について複数種類の参照画像テンプレートを用意し、不良品について１種類の参照画像テンプレートのみを用意するという態様も可能である。

〔第３実施形態〕
以下、図９（Ａ）等により、本発明の第３実施形態に係る画像処理装置について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。

図９（Ａ）及び９（Ｂ）は、本実施形態における画像処理について説明するための図である。図示のように、本実施形態では、撮像装置１１（図１参照）で取り込まれた図９（Ａ）に示す全体画像ＰＨを、自動分割によって分割して図９（Ｂ）に示すように複数の分割画像Ｐ_１〜Ｐ_ｍを切り出し、切り出された分割画像Ｐ_１〜Ｐ_ｍごとに作成されたテンプレート（以下「参照分割画像テンプレート」という。）を、判定の基準として用いている。なお、図９（Ａ）及び９（Ｂ）の例は、ケース等に収納されたｍ個のビンＢＴ_１〜ＢＴ_ｍ（図の場合、６行８列であり、ｍ＝６×８＝４８である。）を撮像した画像を模式的に示している。この場合、ｍ個のビンＢＴ_１〜ＢＴ_ｍの配列は予め定まっており、この配列に対応して画一的に領域を画定する分割線ＬＬに従って、元の全体画像ＰＨから、各ビンが１つずつ含まれるｍ個の分割画像Ｐ_１〜Ｐ_ｍが自動的に切り分けられる様子を示している。本実施形態では、以上のようにして自動分割された分割画像について参照分割画像テンプレートをそれぞれ作成し、これらをもって対象物を判定するための基準としている。なお、以上の自動分割の動作に関しては、例えば記憶装置１２（図１参照）が分割線ＬＬに関するデータを格納するとともに、格納されたデータに基づいて自動分割を行う自動分割プログラムを格納しており、ＣＰＵ１０がこれらのデータやプログラムを適宜読み出して画像分割の動作を行っている。

以下、図１０（Ａ）及び１０（Ｂ）により、参照分割画像テンプレートの作成について説明する。

まず、図１０（Ａ）において、不良品に関する参照分割画像テンプレートを作成するために、サンプルとして明らかに不良品であるものとされる典型的なサンプルを複数（又は単数）予め用意する。ＣＰＵ１０は、用意された当該サンプルを撮像装置１１（図１参照）に撮像させた参照画像を全体画像ＰＨとして取り込む（ステップＳ３０１ａ）。次に、ＣＰＵ１０は、全体画像ＰＨの位置決めを行う（ステップＳ３０２ａ）。次に、ＣＰＵ１０は、全体画像ＰＨの領域分割を行う（ステップＳ３０３ａ）。具体的には、ＣＰＵ１０は、記憶装置１２から自動分割を行うためのデータやプログラムを読み出して、分割線ＬＬによって画定される領域に基づいて、全体画像ＰＨからｍ個の分割画像Ｐ_１〜Ｐ_ｍを切り出す。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、各分割画像Ｐ_１〜Ｐ_ｍから形状的パラメータをそれぞれ抽出する（ステップＳ３０４ａ）。最後に、ＣＰＵ１０は、抽出された形状的パラメータを情報として含む参照分割画像についての画像情報を記憶装置１２に設けられた特定の領域内に格納する（ステップＳ３０５ａ）。以上により、不良品に関する参照分割画像テンプレートが作成される。

また、図１０（Ｂ）に示すように、良品に関する参照分割画像テンプレートの作成についても、上述した不良品に関する参照分割画像テンプレートの作成と同様に、ステップＳ３０１ｂ〜ステップＳ３０５ｂの動作を行うことで、参照分割画像テンプレートが作成される。

図１１は、上述した手順により準備された参照分割画像テンプレートを用いた対象物の判定方法の一例について説明するためのフローチャートであり、第１実施形態の図２に対応する図である。

まず、ＣＰＵ１０は、判定対象画像として全体画像を読み込み（ステップＳ１）、位置決めを行う（ステップＳ２）。次に、ＣＰＵ１０は、記憶装置１２から自動分割を行うためのデータやプログラムを読み出して、当該全体画像をｍ個の判定対象分割画像に自動分割する（ステップＳ４０１）。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、各判定対象分割画像について、判定対象分割画像から形状的パラメータをそれぞれ抽出する（ステップＳ４０３）。

次に、ＣＰＵ１０は、不良品に関する参照分割画像テンプレートから形状的パラメータを読み出し（ステップＳ４０４ａ）、判定対象側の形状的パラメータと比較し（ステップＳ４０５ａ）、不良品性確信度を算出する（ステップＳ４０６ａ）。また、ＣＰＵ１０は、上記ステップＳ４０４ａ〜ステップＳ４０６ａと並行して、良品に関する参照画像テンプレートとの比較において、良品性確信度を算出する（Ｓ４０４ｂ〜ステップＳ４０６ｂ）。

以下、図２等に示す場合と同様にして、ＣＰＵ１０は、不良品性確信度及び良品性確信度に基づいて、各判定対象分割画像すなわち判定対象物の各分割部分についての良否判定を行う（ステップＳ４０７ａ〜Ｓ４０７ｄ，ＳＱ，Ｓ８，Ｓ９）。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。

特に、本実施形態では、対象物について、全体を分割した部分ごとに良否判定をすることができる。この場合、例えば全体の一部に不良箇所がある場合に、その不良箇所を特定することができる。

なお、自動分割についての他の一例として、図１２に示すように、お弁当等に用いられる食器容器といった対象物を収容する容器ＴＲについて、容器ＴＲに設けられた各収容空間ＳＰ１〜ＳＰ６に基づいて領域分割を行うものとしてもよい。図１１の例では、分割線ＬＬによって画一的に分割しているが、このように個々に異なる形状・大きさの領域に分割することも可能である。

また、本実施形態においても、学習部を設けることで、不良品性確信度及び良品性確信度の信頼性を高めることができる。

〔第４実施形態〕
以下、図１３により、本発明の第４実施形態に係る画像処理装置について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。

図１３は、画像処理方法を抽象化して説明するフローチャートである。本実施形態では、良否判定のための基準となる参照画像テンプレートとして、不良品に関する参照画像テンプレートのみを用い、良品に関する参照画像テンプレートを用いない点が第１実施形態の場合と異なっている。つまり、ステップＳ１〜ステップＳ３によって、判定対象画像の形状的パラメータを抽出した後、ステップＳ４ａ及びステップＳ５ａによって抽出した形状的パラメータを不良品に関する参照画像テンプレートについての形状的パラメータとのみ比較し、ステップＳ６ａにおいて不良品指数を不良品性確信度として算出し、当該不良品性確信度が閾値を超えていれば（ステップＳ７ａ：Ｙｅｓ）、判定対象画像すなわち判定対象物を不良品であるものと判定し（ステップＳ８）、当該確信度が閾値を超えていなければ（ステップＳ７ａ：Ｎｏ）、判定対象画像すなわち判定対象物を良品であるものと判定する（ステップＳ９）。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。

なお、以上では、不良品に関する参照画像テンプレートのみを用い、良品に関する参照画像テンプレートを用いないものとしているが、逆に、良品に関する参照画像テンプレートのみを用い、不良品に関する参照画像テンプレートを用いないものとする態様も可能である。

また、本実施形態においても、学習部を設けることで、不良品性確信度及び良品性確信度の信頼性を高めることができる。

〔第５実施形態〕
以下、図１４により、本発明の第５実施形態に係る画像処理装置について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態〜第４実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。

本実施形態の画像処理装置は、第１実施形態〜第４実施形態と同様に、各実施形態のうちいずれかに示した画像処理による良否判定の処理を繰り返して行うものとし、かつ、良否判定処理の本動作中に参照画像テンプレートについての更新がなされ得るものとする。つまり、学習を行う操作がなされるものとする。この場合、参照画像テンプレートの更新において、判定基準として不適当なものが参照画像テンプレートの一部として入り込む可能性がある。あるいは、参照画像テンプレートの更新により判定基準が遷移していくことで、適当であったものが不適当なものとなっていく場合も考えられる。本実施形態では、参照画像テンプレートを監視する監視部としての機能を設けることにより、参照画像テンプレートを常に判定基準として適切なものとしている。

図１４に示すように、まず、ＣＰＵ１０は、良否判定の処理を行う（ステップＳ７０１）。次に、ＣＰＵ１０は、ステップＳ７０１の動作において、参照画像テンプレートについての更新がなされた場合に、各形状的パラメータについての平均からの乖離度を算出する（ステップＳ７０２）。ここで、乖離度とは、ある参照画像テンプレートに属する形状的パラメータの平均からどの程度乖離しているものであるかを示す値を言う。例えば、良品に関する参照画像テンプレートに属する形状的パラメータにおいては、色、形状、テクスチャ、サイズ等について表現される全ての多次元ベクトルがある範疇内のベクトル値に収まるものと考えられる。従って、仮に本来良品に関する参照画像テンプレートに属するべきでない形状的パラメータが混入していれば、混入した形状的パラメータの多次元ベクトルは、他の形状的パラメータの多次元ベクトルとは異質なものとなっていると考えられる。従って、良品に関する参照画像テンプレートに属する全ての形状的パラメータについて一定の法則に従って数値化し、数値化した値についての全形状的パラメータの平均値をとり、その平均値と各形状的パラメータについて数値化した値との差を求めれば、その差を各形状的パラメータの乖離度と定義でき、この乖離度をもって排除すべき形状的パラメータを特定できる。ＣＰＵ１０は、この乖離度が規定の値を超えている形状的パラメータの個数をカウントする（ステップＳ７０３）。ＣＰＵ１０は、ステップＳ７０３においてカウントされた個数が規定数に達するまで参照画像テンプレートの監視を続ける（ステップＳ７０４）。ステップＳ７０４において規定数に達したと判断されると、ＣＰＵ１０は、該当する形状的パラメータを参照画像テンプレートから削除する（ステップＳ７０５）。ＣＰＵ１０は、良否判定の処理が終了するまで上記動作を繰りかえす（ステップＳ７０６）。以上において、ＣＰＵ１０は、参照画像テンプレートを監視する監視部として機能する。

ここで、上述の各形状的パラメータについて数値化した値については、例えば良否判定の処理を行うための良品性確信度を適用することができる。参照画像テンプレートにおける形状的パラメータは、いずれも典型的な不良品又は典型的な良品についての画像情報であり、不良品性確信度又は良品性確信度は非常に高いものに偏るはずである。従って、確信度についての分布において標準偏差を取り、パラメータののうち偏差値が平均的な値から極端に離れたものすなわち乖離度が大きいものがあれば、これを排除することで、判定基準として適切な状態を確保できる。なお、乖離度に関する規定の値を超える場合とは、例えば、当該確信度が正規分布従うものとした場合の棄却域に入るような場合とすることができる。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。

特に、本実施形態では、参照画像テンプレートを更新するすなわち判定基準についての学習が行われることで、参照画像テンプレートを常に判定基準として適切なものとなるように監視することができる。

以上各実施形態に即して本発明を説明したが、本発明は上記各実施形態に限定されるものではない。例えば不良品性確信度については、画像の色や形状等についての形状的パラメータに基づいて、種々の算出方法で規定する場合が考えられるものとしているが、これについては、判定対象物の性質に応じて、種々調整することができる。例えば、色や形状等種々のパラメータについて、重みづけをすることができる。具体的には、判定対象が良好であるか否かが、判定対象物の色の違いによって大きく異なって現れるようなものである場合には、色のパラメータの要素を他の要素よりも判定の比重を大きくして優先的に取り扱うことで、より適切な判断を行うことができる。

また、上記各実施形態では、欠陥品を検出するために、確信度に関して、不良品性確信度と良品性確信度とを採用し、これらを第１及び第２の確信度として規定しているが、確信度については、不良品・良品のみならず、判定対象や判定の目的等に応じて、様々な観点から規定できる。例えば、生命体の部位を顕微鏡で観察して特定の形状のものを識別する場合や、森林の中で特定の形状をした害虫を探し出す場合には、取り込んだ画像中に特定の形状であるものが存在するか否かや、特定形状のものがどこにいくつ存在するかといったことを判定する必要があり、これに即した確信度を採用することになる。つまり、上述のような不良品・良品とは別の観点から確信度を算出するものとなる。また、確信度については、不良品性確信度のみを用いる１つの確信度で判定を行う場合や、不良品性確信度と良品性確信度との２つの確信度で判定を行う場合だけでなく、３つ以上の確信度で判定を行うものであってもよい。また、単一の画像に限らず、単一の画像から合成加工して得られる単一または複数の画像について確信度で判定を行うものとしてもよい。

１００…画像処理装置、 １０…ＣＰＵ、 １１…撮像装置、 １２…記憶装置、 １３…表示装置、 １４…入力装置、 ５０…バス、 ＰＨ…全体画像、 Ｐ_１〜Ｐ_ｍ…分割画像、 ＢＴ_１〜ＢＴ_ｍ…ビン、 ＬＬ…分割線、 ＴＲ…容器、 ＳＰ１〜ＳＰ６…収容空間

Claims (10)

1. 一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理装置であって、
   前記対象画像に基づいて前記対象物の状態を判定するに際して基準として参照される参照画像についての情報を、パラメータ化して抽出された参照側形状的パラメータとして格納する参照画像格納部と、
   前記対象物を撮像して前記対象画像を取得する撮像装置と、
   前記撮像装置での撮像により取得された前記対象画像から、前記参照側形状的パラメータとの比較対象となる対象側形状的パラメータを抽出する対象側形状的パラメータ抽出部と、
   前記参照側形状的パラメータに対する前記対象側形状的パラメータの近似性の高さを数値化した確信度を算出する確信度算出部と、
   前記確信度算出部で算出された前記確信度に基づいて前記対象物の状態を判定する状態判定部と、
   を有する画像処理装置。
2. 前記撮像装置によりサンプルを撮像して取得されたサンプル画像についての情報をパラメータ化して前記参照画像格納部に格納されるべき前記参照側形状的パラメータを抽出する参照側形状的パラメータ抽出部をさらに備える、請求項１に記載の画像処理装置。
3. 前記確信度算出部は、前記確信度として、第１の確信度と、前記第１の確信度とは異なる基準に基づく第２の確信度とをそれぞれ算出し、
   前記状態判定部は、前記第１の確信度と前記第２の確信度とに基づいて前記対象物の状態を判定する、請求項１及び２のいずれか一項に記載の画像処理装置。
4. 前記参照画像格納部は、前記参照側形状的パラメータとして、不良品の状態を示す画像に関する情報と良品の状態を示す画像に関する情報とのうち少なくとも一方の情報を記憶している、請求項１から３までのいずれか一項に記載の画像処理装置。
5. 前記参照画像格納部は、前記不良品の状態を示す画像の情報と前記良品の状態を示す画像に関する情報との双方を含み、
   前記不良品の状態を示す画像の情報は、不良品だけをサンプリングして作成される不良品に関する参照画像テンプレートで構成され、
   前記良品の状態を示す画像に関する情報は、良品だけをサンプリングして作成される良品に関する参照画像テンプレートとで構成される、請求項４に記載の画像処理装置。
6. 前記状態判定部は、判定において優先的な判断基準として取り扱われる前記確信度についての第１の閾値と、前記第１の閾値よりも小さな値であるとともに前記第１の閾値による判定が不能な場合において判断基準となる第２の閾値とを基準として、前記対象物の状態を判定する、請求項１から５までのいずれか一項に記載の画像処理装置。
7. 前記参照画像格納部において、前記参照側形状的パラメータは、外形形状に関するパラメータ、色に関するパラメータ、テクスチャに関するパラメータ、及び大きさに関するパラメータのうち少なくとも１つのパラメータを含む、請求項１から６までのいずれか一項に記載の画像処理装置。
8. 前記参照画像格納部に格納されている前記参照画像についての情報を更新することで学習を行う学習部をさらに有する、請求項１から７までのいずれか一項に記載の画像処理装置。
9. 前記学習部は、同種類の状態を判定する基準として参照される参照画像についての情報に含まれる前記参照側形状的パラメータのうち、全ての参照側形状的パラメータについての平均から乖離した度合いを示す乖離度について所定値を超えているものを削除する、請求項８に記載の画像処理装置。
10. 一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理方法であって、
    前記対象画像に基づいて前記対象物の状態を判定するに際して基準として参照される参照画像についての情報を、パラメータ化して抽出された参照側形状的パラメータとして格納する参照画像格納工程と、
    前記対象画像から、前記参照側形状的パラメータとの比較対象となる対象側形状的パラメータを抽出する対象側形状的パラメータ抽出工程と、
    前記参照側形状的パラメータに対する前記対象側形状的パラメータの近似性の高さを数値化した確信度を算出する確信度算出工程と、
    前記確信度算出工程で算出された前記確信度に基づいて前記対象物の状態を判定する状態判定工程と、
    を有する画像処理方法。

Images