JP2014021973A - 画像処理装置 - Google Patents

Abstract

【課題】対象物を撮像した画像から、当該対象物の良否等の状態を的確かつ迅速に判定できる画像処理装置を提供すること。
【解決手段】状態判定部であるＣＰＵ１０が、対応する参照分割画像と対象分割画像とを比較することで、対象物の部分ごとに状態を判定している。従って、例えば対象物において部分的に異常がある場合であってもこの異常を捉えることが可能であり、対象物の状態をより的確に判定することができる。また、参照分割画像や対象分割画像は、全体画像を自動分割することで迅速に作成できるので、判定処理全体としても迅速なものにできる。また、形状的パラメータに基づいて判定の処理を行うことで、画像処理装置１００は、対象物の画像のように抽象的であいまいな概念的広がりを有するものであっても、的確かつ迅速に判定を行うことができる。
【選択図】図１

Description

本発明は、対象物を撮像した写真等の画像から当該対象物の状態を判定するための画像処理装置に関する。

例えば、対象物である瓶の口部等の外観を撮像して撮像画像を取得し、その取得画像に基づいて異物の混入や、割れ、欠け及び汚れといった欠陥の有無を検査する技術が種々知られている（例えば特許文献１〜３等参照）。

しかしながら、例えば特許文献１、２等では、取得した画像データを２値化し白または黒の面積（面積比）を測定することで、欠陥の有無を検査しているため、このような単純な手法による２値化を利用する限り、検査の信頼性を高めることは容易でない。また、例えば特許文献３では、ガラス瓶の瓶口の形状という局所的に形状の特徴が出やすい特定箇所について良否を判定するため、迅速かつ的確に検査はできても、ガラス瓶以外の対象物においてこのような局所的特徴が常にあるとは限らず、種々の対象物にそのまま適用できるものではない。また、例えばガラス瓶全体の良否判定をするには、瓶口以外の部分についての判定を別途必要とする場合もある。

また、写真等の画像について、どのようなカテゴリに属するものであるかを判別するための技術として、画像の情報として多次元ベクトルとして表現される色、形状、テクスチャ、サイズ等についての各種パラメータに基づいて自動的に属性を判定するものが知られている（特許文献４参照）。特許文献４では、上記パラメータに基づいた判別を行うことで、抽象的であいまいな概念的広がりを有する多様なカテゴリのうち、例えば猥褻画像のような特定カテゴリに属するか否かを判定可能としている。

しかしながら、特許文献４では、判定対象となる画像について、例えば当該画像に写った対象物の位置や色味、形状等が切り取った部分ごとに良好であるか否か、といった対象物の状態を判定することについては開示がない。

特開平２−２４５４４号公報 特開平４−２７０９５１号公報 特開２００７−２４０４６９号公報 特開２００３−９９７７８号公報

本発明は、対象物を撮像した画像から、当該対象物の良否等の状態を的確に判定できる画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明に係る画像処理装置は、（ａ）一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理装置であって、（ｂ）対象画像に基づいて対象物の状態を判定するに際して基準として参照される参照画像を対象物の属性に応じて自動分割して複数の参照分割画像を作成する参照分割画像作成部と、（ｃ）参照分割画像作成部において作成された複数の参照分割画像を格納する参照分割画像格納部と、（ｄ）対象物を撮像して対象画像を取得する撮像装置と、（ｅ）撮像装置での撮像により取得された対象画像を、参照分割画像作成部での自動分割に基づいて分割することにより、複数の参照分割画像にそれぞれ対応する複数の対象分割画像を作成する対象分割画像作成部と、（ｆ）参照分割画像格納部に格納された複数の参照分割画像と対象分割画像作成部で作成された複数の対象分割画像とを比較して、対象物の状態を判定する状態判定部と、を有する。

上記画像処理装置によれば、状態判定部が、対応する参照分割画像と対象分割画像とを比較することで、対象物の部分ごとに状態を判定するので、例えば特定できない位置等に部分的に異常がある場合であってもこれを容易に捉えることが可能であり、対象物の状態をより的確に判定することができる。例えば、対象物を構成する各部分のうち要所となる１つ以上の部分を分割できれば、その分割画像を判定することで、画像全体として良否を的確に判定することができる。人間が対象物を認識するに際して、その全体を観察するだけでなく、要部を抽出することで判断を行っている場合がある。上記のように画像を分割することで、対象物の要所ごとに判定を行うことができれば、人間による対象物の判定の仕方に近づけることができる。また、対象物によっては、要部の配置等について個々に揺らぎがある場合もある。このような場合には、全体を見るよりも全体を構成する個別の部分ごとに良否判定をすることで全体についてより的確な判定ができる場合もある。なお、参照分割画像や対象分割画像は、全体画像を自動的に分割することで迅速に作成されるので、良否等の判定処理全体としてある程度の処理速度を確保できる。

本発明の具体的な側面では、参照分割画像作成部が、複数の参照分割画像についての情報を、パラメータ化された参照側形状的パラメータとして抽出し参照分割画像格納部に格納させる参照側形状的パラメータ抽出部を有し、対象分割画像作成部が、複数の対象分割画像から、参照側形状的パラメータとの比較対象となる対象側形状的パラメータを抽出する対象側形状的パラメータ抽出部を有し、状態判定部が、抽出された参照側形状的パラメータと対象側形状的パラメータとを比較して、対象物の状態を判定する。ここで、形状的パラメータとは、画像から切り出される形状や色、テクスチャ、大きさ等についてパラメータ化され、多次元ベクトルとして表現されるデータを意味する。この場合、形状的パラメータについての比較結果に基づいて判定するため、写真等の画像に表された良否の状態のようにその状態を判定するに際して抽象的であいまいな概念的広がりを有するものであっても、精度の高いものにできる。

本発明の別の側面では、参照分割画像格納部において、参照側形状的パラメータは、外形形状に関するパラメータ、色に関するパラメータ、テクスチャに関するパラメータ及び大きさに関するパラメータのうち少なくとも１つのパラメータを含む。この場合、外形形状、色、テクスチャあるいは大きさといった画像についての各種情報のうち、例えば対象物の属性や判定の目的に応じて当該対象物の状態の良否が端的に現れるものに基づいて、参照側形状的パラメータを作成することができる。これにより、写真等の画像のような抽象的であいまいな概念的広がりを有するものについての判定であっても、信頼性の高いものとすることができる。

本発明のさらに別の側面では、参照分割画像作成部が、撮像装置で対象物の少なくとも一部に相当するサンプルを撮像して取得されたサンプル画像から判定の対象となるべき領域部分を自動的に切り出すことで複数の参照分割画像の占有領域となる分割領域をそれぞれ画定する。この場合、サンプルを利用して的確な分割領域を効率的に画定させることができる。

本発明のさらに別の側面では、対象物が、複数の内容物と当該複数の内容物に対応して仕切られた複数の収容領域を有する支持体とで構成され、参照分割画像作成部が、対象物のうち支持体のみで構成されるサンプルのサンプル画像において、当該支持体に設けられた仕切りに沿って分割領域を画定する。この場合、対象物を構成する支持体をサンプルとして分割領域を効率的に画定させることができる。なお、ここで支持体に設けられる仕切りについては、分割領域を画定するものでありさえすればよく、線状の細い領域を占めるもののみならず、幅広い領域を占めるものも含まれる。

本発明のさらに別の側面では、対象物が、複数の内容物と当該複数の内容物に対応して仕切られた複数の収容領域を有する支持体とで構成され、参照分割画像作成部が、対象物を構成する内容物と支持体とに相当するサンプルのサンプル画像において、当該内容物の輪郭画像を自動的に切り出すとともに、自動的に切り出された当該輪郭画像の領域と当該輪郭画像の周辺領域とを含む１つの領域を複数の参照分割画像のうちの１つの分割領域として画定する。この場合、対象物を構成する内容物を基準としてその周辺を含む領域を分割領域とすることで、当該領域を的確に画定させることができる。

本発明のさらに別の側面では、参照分割画像作成部が、参照画像としてのサンプル画像から自動的に切り出された複数の参照分割画像の分割領域となるべき領域の候補のうち、所定のサイズ以上のもののみを、分割領域として取り扱う。この場合、分割領域として適切でない領域を迅速に除去できる。

本発明のさらに別の側面では、参照分割画像格納部が、互いに異なる分割パターンで分割領域をそれぞれ画定する複数の分割テンプレートを格納するとともに、対象物の属性に応じて複数の分割テンプレートのうち一の分割テンプレートを選択して当該一の分割テンプレートに基づく分割パターンで各参照分割画像の占有領域となる分割領域を画定する。この場合、対象物に応じて適切な分割パターンを選択して迅速に分割領域を画定できる。

本発明のさらに別の側面では、参照分割画像作成部が、新たな分割パターンについての分割テンプレートを複数の分割テンプレートの１つとして追加する分割テンプレート更新部を有する。この場合、新たな対象物についての分割領域を画定する分割パターンを保存しておくことができる。

上記目的を達成するため、本発明に係る画像処理方法は、一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理方法であって、対象画像に基づいて対象物の状態を判定するに際して基準として参照される参照画像を対象物の属性に応じて自動分割して複数の参照分割画像を作成する参照分割画像作成工程と、参照分割画像作成工程において作成された複数の参照分割画像を格納する参照分割画像格納工程と、対象画像を、参照分割画像作成工程での自動分割に基づいて分割することにより、複数の参照分割画像にそれぞれ対応する複数の対象分割画像を作成する対象分割画像作成工程と、参照分割画像格納工程において格納された複数の参照分割画像と対象分割画像作成工程において作成された複数の対象分割画像とを比較して、対象物の状態を判定する状態判定工程と、を有する。

上記画像処理方法によれば、状態判定工程において、対応する参照分割画像と対象分割画像とを比較することで、対象物の部分ごとに状態を判定するので、例えば部分的に異常がある場合であってもこれを捉えることが可能であり、対象物の状態をより的確に判定することができる。また、参照分割画像や対象分割画像は、全体画像を自動分割することで迅速に作成されるので、良否等の判定処理全体としても迅速なものにできる。

第１実施形態に係る画像処理装置の構造を概念的に説明するブロック図である。 図１の画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。 参照分割画像テンプレートを作成する工程を説明するフローチャートである。 （Ａ）〜（Ｃ）は、参照分割画像テンプレートを作成する工程のうち参照画像の分割領域を画定する工程の一例を示す図であり、（Ｄ）は、分割画像の様子を示す図である。 図４の分割領域を画定する工程を説明するフローチャートである。 （Ａ）〜（Ｆ）は、第２実施形態に係る画像処理装置を用いた画像処理方法において、参照画像の分割領域を画定する工程の他の一例を説明するための図である。 図６の分割領域を画定する工程を説明するフローチャートである。 （Ａ）〜（Ｈ）は、第３実施形態に係る画像処理装置を用いた画像処理方法において、参照画像の領域分割を例示する図である。 参照分割画像テンプレートを作成する工程の一例を説明するフローチャートである。 （Ａ）は、第４実施形態に係る画像処理装置を用いた画像処理方法において、不良品に関する参照分割画像テンプレートを作成する工程を説明するフローチャートであり、（Ｂ）は、良品に関する参照分割画像テンプレートを作成する工程を説明するフローチャートである。 第４実施形態に係る画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。 第５実施形態に係る画像処理装置を用いた画像処理方法において、良否判定を行う工程を説明するフローチャートである。 図１２における不良品タイプの判定処理について説明するフローチャートである。 第６実施形態に係る画像処理装置を用いた画像処理方法を概念的に説明するフローチャートである。

〔第１実施形態〕
以下、本発明の第１実施形態に係る画像処理装置について図面を参照しつつ説明する。

図１に示すように、本実施形態に係る画像処理装置１００は、ＣＰＵ１０、撮像装置１１、記憶装置１２、表示装置１３、入力装置１４、バス５０等を備える。

ＣＰＵ１０は、バス５０を介して、撮像装置１１、記憶装置１２、表示装置１３や入力装置１４との間で相互にデータの授受が可能になっている。また、ＣＰＵ１０は、入力装置１４からのオペレーターの指示に基づいて、記憶装置１２から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。

具体的に説明すると、ＣＰＵ１０は、状態を判定される対象である対象物の画像データからその状態を判別するためのプログラム（良否判定プログラム）により、入力装置１４からの指示や撮像装置１１で撮像された画像情報に基づいて、対象物の状態の良し悪し（良否）を予め記憶装置１２に格納された画像に関するデータと比較することで判定し、その判定結果を出力することができる。つまり、ＣＰＵ１０は、例えば表示装置１３に判定結果を表示させることができ、不図示の出力装置に印刷等させることができる。

撮像装置１１は、例えばＣＣＤ等からなる固体撮像装置を内蔵する。この固体撮像装置で検出された画像は、例えばデジタル画像信号として出力される。撮像装置１１は、判定対象となる対象物を撮像してデジタル処理可能な状態の判定対象画像を作成する。

記憶装置１２は、画像処理装置１００を動作させる各種プログラム等を複数記憶しているプログラム領域と、入力指示、入力データ、処理結果等を一時格納するデータ領域とを備える。記憶装置１２は、撮像装置１１で撮像された画像の近似性を測るにあたって比較可能とするために、画像から切り出される形状等についてパラメータ化するパラメータ化プログラムや、パラメータ化されている画像に関するデータ（以下、「形状的パラメータ」という。）どうしを比較することで判定を行うプログラム、取得された画像を分割（細分化）して分割画像を作成する画像分割プログラム等の各種プログラムを格納する。本実施形態では、上記画像分割プログラムによって作成される分割画像に基づいて、対象物の良否を判定している。また、記憶装置１２は、上記分割画像についての情報である参照分割画像テンプレート等の各種情報を格納している。例えば、撮像装置１１で撮像され参照画像として取り込まれ、ＣＰＵ１０によって画像分割プログラムに基づいて当該参照画像から参照分割画像が作成され、さらに作成された参照分割画像についてパラメータ化プログラムに基づいてパラメータ化された画像データが作成されると、記憶装置１２は、当該画像データを典型的な良否状態を示す画像である参照分割画像テンプレートの参照側形状的パラメータとして格納する。つまり、記憶装置１２は、参照分割画像格納部である。また、記憶装置１２は、画像分割プログラムによって画定される画像分割の分割パターンを格納している。ＣＰＵ１０は、必要に応じて記憶装置１２からこの参照側形状的パラメータを読み出し、対象物についての分割画像から抽出された形状的パラメータと参照側形状的パラメータとを比較して、これらの近似性の高さを示す指数を算出し、対象物の良否判定を行う。なお、参照分割画像テンプレートは、画像処理装置１００の本動作である対象物の状態の良否を判定する動作を行う前に予め準備されているものとする。

以上において、形状的パラメータには、画像に関する種々の情報をデータ化したものが含まれる。形状的パラメータは、画像の情報として多次元ベクトルとして表現されるものであり、例えば、画像中に現れる色、形状、テクスチャ、サイズ等についての各種パラメータが該当し、これらの特性に基づいて判定対象物の状態が判定される。色のパラメータについては、例えばＲＧＢの３色についての平均値やメジアン、あるいは色のヒストグラムから得られる偏差を、近似性の高さを測る上での判断基準とすることができる。また、形状のパラメータについては、例えば輪郭（エッジ）で切り出した図形の円形度や複雑度、尖度、モーメント等を、近似性の高さを測る上での判断基準とすることができる。なお、ここで、円形度とは、切り出された図形の縦横比によって定まる指数であり、複雑度とは、切り出された図形における空洞の存在の有無や空洞の個数あるいは外側輪郭の屈曲度によって定まる指数である。なお、尖度は、直線距離と輪郭線の距離との比や、輪郭線の中心角とピクセル数との比から決定され、モーメントは、切り出された図形の形状から決定される。また、テクスチャのパラメータについては、例えば１次元投影法によって取得されるパターンの近似から得られる偏差を、近似性の高さを測る上での判断基準とすることができる。また、サイズすなわち大きさのパラメータについては、輪郭（エッジ）で切り出した図形の面積や、周囲長、フェレー径（縦又は横方向）を、近似性の高さを測る上での判断基準とすることができる。

表示装置１３は、ＣＰＵ１０から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行う画像表示部等により構成され、ＣＰＵ１０からの指令信号に基づいて必要な表示を行う。

入力装置１４は、キーボード等から構成され、画像処理装置１００を操作するオペレーターの意思を反映した指令信号をＣＰＵ１０に出力する。

以下、図１に示す画像処理装置１００を用いた画像処理に基づく対象物の判定の主要な動作の一例について説明する。判定の対象すなわち画像処理装置１００にとっての処理対象である対象物については、お弁当や回路基板等種々のものが考えられるが、ここでは、判定処理において、対象物が何であるかについては、予め決まっているものとする。つまり、１つの判定処理において、対象物の形状等がまったく無秩序に多様なものが存在し得るといったものではなく、対象物の属性に応じてある程度限られた範疇に限られることになる。従って、画像処理装置１００は、その限られた範疇の中での形状的パラメータの相関性を測定することで、対象物の良否の判定を行うものとなる。図２は、画像処理方法を抽象化して説明するフローチャートである。ここでは、良否判定のための基準となる参照分割画像テンプレートが既に作成され、記憶装置１２に格納されている、すなわち判定のための準備が整っているものとして説明する。なお、この参照分割画像テンプレートの準備過程について、詳しくは図３〜図５を用いて後述する。

まず、ＣＰＵ１０は、撮像装置１１を撮像動作させるプログラムを読み出して、判定対象となる対象物を撮像した画像である判定対象画像を取り込む（ステップＳ１）。次に、ＣＰＵ１０は、撮像された判定対象画像の位置決めを行う（ステップＳ２）。例えば、判定対象画像がその外縁として外枠を有するものであれば、その外枠に沿った輪郭を位置決めの基準とすることができる。次に、ＣＰＵ１０は、判定対象画像の自動分割を行い、複数の対象分割画像を作成する（ステップＳ３）。つまり、ＣＰＵ１０は、複数の対象分割画像を作成する対象分割画像作成部として機能する。なお、判定対象画像の自動分割の方法は、参照分割画像テンプレートの作成における参照画像の自動分割に倣ったものである。つまり、ＣＰＵ１０は、記憶装置１２に格納されている参照画像を分割した分割パターンを読み出し、これに基づいて判定対象画像を分割する。なお、参照画像を分割する分割パターンの作成の詳細については、図４及び図５を用いて後述する。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、各対象分割画像から形状的パラメータをそれぞれ抽出し（ステップＳ４）、記憶装置１２に保管する。上記において、ＣＰＵ１０は、対象側形状的パラメータ抽出部として機能する。以上により、判定対象である対象物が良否判定可能な状態にデータ化される。

次に、ＣＰＵ１０は、比較判定の処理を行う。このため、まず、ＣＰＵ１０は、記憶装置１２に予め格納されている良否判定の基準となる参照分割画像テンプレートから形状的パラメータを読み出す（ステップＳ５）。さらに、ＣＰＵ１０は、参照側の形状的パラメータとステップＳ３において抽出された判定対象側の形状的パラメータとを比較し良否を判定する（ステップＳ６）。例えば、参照分割画像テンプレートが典型的な不良品についての情報を収集したものとすると、ステップＳ６において、このテンプレートにおける形状的パラメータに対する判定対象側の形状的パラメータの近似性を確認することで、当該判定対象側の形状的パラメータが不良性の高いものすなわち対象物が不良品であることを判定することができる。

以下、図３等を用いて、上記判定のための基準となる参照分割画像テンプレートの作成について説明する。図３は、参照分割画像テンプレートの作成の工程の一例について説明するためのフローチャートである。つまり、図３に示す工程は、図２のステップＳ５において読み出される形状的パラメータを準備するものである。なお、ここで、準備段階での学習については、画像処理装置１００の本動作の前段階のすべての段階での学習が含まれ、例えば本動作の直前に行う試運転の段階において学習をする場合も含まれるものとする。

図３において、参照分割画像テンプレートを作成するために、典型的なサンプルを複数（又は単数）用意する。つまり、人間の眼等を通して予め良否が分かっている既知のサンプルのみを用意する。ここでは、典型的な不良品であることが判明しているサンプルを用意するものとする。ＣＰＵ１０（図１参照）は、用意された当該サンプルを撮像装置１１に撮像させ、これを参照画像として取り込む（ステップＳ１０１ａ）。次に、ＣＰＵ１０は、参照画像の位置決めを行う（ステップＳ１０２ａ）。次に、ＣＰＵ１０は、参照画像の分割の仕方を決定する、すなわち参照画像が占める領域のうちから各参照分割画像の部分領域である分割領域を画定する（ステップＳ１０３）。次に、ＣＰＵ１０は、ステップＳ１０３で決定された分割に従って、参照画像の領域自動分割を行う（ステップＳ１０４）。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、各参照分割画像から形状的パラメータを抽出する（ステップＳ１０５）。つまり、ＣＰＵ１０は、参照側形状的パラメータ抽出部として機能する。最後に、ＣＰＵ１０は、抽出された形状的パラメータを情報として含む参照分割画像についての画像情報を記憶装置１２に設けられた特定の領域内に格納する（ステップＳ１６）。つまり、記憶装置１２は参照分割画像についての情報を格納する参照分割画像格納部として機能する。以上により、参照分割画像テンプレートが作成される。なお、典型的なサンプルが複数用意される場合には、上記ステップＳ１０１〜ステップＳ１０６の動作を繰り返して、各サンプルについてパラメータ化を行うことになる。

以下、図４（Ａ）〜４（Ｄ）及び図５を用いて、図３のステップＳ１０３における分割領域を画定する工程即ち分割パターンの作成工程の一例について説明する。ここでは、対象物の一部についてのサンプルから分割する領域を自動抽出するものについて説明する。より具体的には、例えばお弁当等といった内容物とその内容物を収容する支持体である容器ＴＲとで構成されるものを対象物とし、当該対象物において、内容物を収容する容器ＴＲを、分割領域を画定するためのサンプルとする。まず、図４（Ａ）に示すように、容器ＴＲには、仕切りＳＣによって仕切られることで食品等をそれぞれ収容する６つの収容領域である収容空間ＳＰ１〜ＳＰ６が設けられている。なお、仕切りＳＣの一部には、模様や溝といった装飾部分Ｑ１〜Ｑ６が設けられているが、これらの装飾部分Ｑ１〜Ｑ６には、食品等は収められず、良否等の判定対象とならない部分である。図４（Ｂ）は、容器ＴＲを撮像したサンプル画像である全体画像ＰＨから、対象となり得る対象分割画像の領域の候補である分割候補領域Ｒ１〜Ｒ１２（図中点線）を、自動的に切り出した状態を示す図である。撮像装置１１は、画像処理により収容空間ＳＰ１〜ＳＰ６等のエッジ部分を判定して自動的に切り出す動作を行うが、この動作は画一的に行われるため、上記切出しによって取り出されたもの中には、分割画像の対象となるべき収容空間ＳＰ１〜ＳＰ６に対応する分割候補領域Ｒ１〜Ｒ６のみならず、例えば装飾部分Ｑ１〜Ｑ６に対応する分割候補領域Ｒ７〜Ｒ１２のように判定対象となるべきでない領域も含まれてしまう。従って、図４（Ｂ）において切り出された分割候補領域Ｒ１〜Ｒ１２のうちから、図４（Ｃ）に一点鎖線で示すように、対象となるべき分割領域となる収容空間ＳＰ１〜ＳＰ６に対応する分割候補領域Ｒ１〜Ｒ６のみを分割領域Ｐ１〜Ｐ６として選択し、図４（Ｂ）に示す意図しない分割候補領域Ｒ７〜Ｒ１２を排除した状態とする必要がある。ここでは、一例として、所定のサイズ以下の領域については、自動的に除去するものとすることで、領域Ｒ１〜Ｒ６すなわち分割領域Ｐ１〜Ｐ６のみが残るようにしている。分割領域Ｐ１〜Ｐ６が定まることで、例えば図４（Ｄ）に示すように、容器ＴＲの収容空間ＳＰ１〜ＳＰ６内にそれぞれ収容された個々の内容物についての分割対象物ＰＰ１〜ＰＰ６を、自動的に切り出すことが可能となる。

以下、図５のフローチャートにより、分割領域Ｐ１〜Ｐ６の決定の手順について説明する。図５は、図３のステップＳ１０３の処理の内容に相当する。まず、ＣＰＵ１０は、図４（Ａ）の容器ＴＲを撮像した全体画像ＰＨから図４（Ｂ）に示す分割候補領域Ｒ１〜Ｒ１２を自動的に切り出す（ステップＳ１０３ａ）。次に、ＣＰＵ１０は、分割候補領域Ｒ１〜Ｒ１２から分割領域Ｐ１〜Ｐ６を選択する（ステップＳ１０３ｂ）。ここでは、分割候補領域Ｒ１〜Ｒ１２について各領域が占める面積を測定し、所定値以下のものを取り除くことで、判定の対象とならない装飾部分Ｑ１〜Ｑ６に対応する領域Ｒ７〜Ｒ１２が排除され、図４（Ｃ）に示すように分割候補領域Ｒ１〜Ｒ６すなわち分割領域Ｐ１〜Ｐ６だけが残るものとなっている。最後に、ＣＰＵ１０は、ステップＳ１０３ｂにおいて選択された分割領域Ｐ１〜Ｐ６の情報を記憶装置１２に格納するすなわち分割領域Ｐ１〜Ｐ６の情報が保存される（ステップＳ１０３ｃ）。以上により、図３のステップＳ１０３における参照分割画像ひいては図２のステップＳ３における対象分割画像の作成に用いられる分割の範囲が定められる。つまり、図３のステップＳ１０４では、分割領域Ｐ１〜Ｐ６に基づいて参照画像の領域自動分割がなされて、ステップＳ１０５において参照分割画像テンプレートが作成される。また、図２のステップＳ３における判定対象画像の領域自動分割の動作も、この分割領域Ｐ１〜Ｐ６に基づいてなされる。これにより、作成される複数の対象分割画像は、複数の参照分割画像と１対１に対応したものとなり、ステップＳ６においてそれぞれ比較可能なものとなる。

以上のように、本実施形態に係る画像処理装置１００では、状態判定部であるＣＰＵ１０が、対応する参照分割画像と対象分割画像とを比較することで、対象物の部分ごとに状態を判定している。従って、例えば対象物において部分的に異常がある場合であってもこの異常を捉えることが可能であり、対象物の状態をより的確に判定することができる。また、対象物を構成する各部分である分割対象物ＰＰ１〜ＰＰ６に対象物の要所となる部分を包含するように分割することで、画像全体として良否を的確に判定することができる。例えば、対象物を人の顔とした場合、人間は、顔の要部である目や鼻、口等の特徴を捉えることで誰の顔であるかを特定している場合がある。つまり、要所ごとに判定を行うことで全体を特定する場合がある。上記のように分割した画像ごとに判定を行うことで、人間による対象物の判定の仕方に近づけることができる。また、参照分割画像や対象分割画像は、全体画像を自動分割することで迅速に作成できるので、判定処理全体としてある程度の処理速度を確保できる。また、形状的パラメータに基づいて判定の処理を行うことで、画像処理装置１００は、対象物の画像のように抽象的であいまいな概念的広がりを有するものであっても、例えば形状的パラメータに基づいて数値化した値から比較を行うことで的確かつ迅速に判定を行うことができる。

なお、状態判定部であるＣＰＵ１０は、図２のステップＳ６での判定において、複数の対象分割画像のうち相対的に大きな領域を占める対象分割画像の比較結果を、相対的に小さな領域を占める対象分割画像の比較結果よりも優先するものとしてもよい。例えば、図４において、分割対象物ＰＰ１〜ＰＰ６を含む対象分割画像のうち、比較的大きな領域を占める分割対象物ＰＰ２や分割対象物ＰＰ４を含む対象分割画像において不良性が高いものと判断される場合には、たとえ他の対象分割画像において良性が高いものと判断されても、全体としては不良品であると判断するとしてもよい。対象物の属性に応じて複数の対象分割画像の比較結果に優先性を設けることで、より的確な判定が可能となる。

また、上記では、対象物の一例としてお弁当のように内容物とその内容物を収容する容器ＴＲとで構成されるものとしているが、本実施形態における対象物はこれに限らず種々のものが想定される。例えば、ＩＣチップ等の素子を搭載した回路基板を対象物とすることもできる。この場合、基板部分が支持体であり、その上にマウントされるＩＣチップ等の素子が支持体上の内容物ということになる。また、この場合、回路基板上のうちＩＣチップ等の素子を分離させる領域が仕切りとしなる。このような仕切りには、線状の細い領域のみならず、幅広く占める領域も含まれる。

〔第２実施形態〕
以下、図６（Ａ）〜６（Ｆ）等により、本発明の第２実施形態に係る画像処理装置について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。また、画像処理の手順については、特に説明する場合を除き、図２及び図３のフローチャートに示す場合と同様である。

図６（Ａ）〜６（Ｆ）に示すように、本実施形態では、分割領域を画定する工程が第１実施形態の図４（Ａ）〜４（Ｄ）に示す場合と異なっている。つまり、図３のフローチャートに示す各工程のうちステップＳ１０３の具体的内容が異なっている。

以下、図６（Ａ）〜６（Ｆ）及び図７を用いて、図３のステップＳ１０３における分割領域を画定する工程の一例について説明する。ここでは、図示のように、図６（Ａ）に示すように、対象物である容器ＴＲとその収容空間ＳＰ１〜ＳＰ６にそれぞれ収容された分割対象物ＰＰ１〜ＰＰ６との全体が、分割領域を画定するためのサンプルとなっている。ここでは、図６（Ｂ）に示すように、撮像装置１１（図１参照）によって対象物全体を撮像したサンプル画像である全体画像ＰＨにおいて、分割対象物ＰＰ１〜ＰＰ６に対応する内容物画像Ｃ１〜Ｃ６から図６（Ｃ）に示す輪郭画像であるエッジ部分Ｅ１〜Ｅ６で画定される領域Ｒ１〜Ｒ６を自動的に切り出している。しかしながら、この切出しの動作は画一的に行われるため、対象とすべき領域Ｒ１〜Ｒ６以外の部分も切り出されてしまう可能性がある。ここでは、図６（Ｃ）に示すように、対象外の領域として領域Ｒ７〜Ｒ１２が切り出されているものとする。これらの意図しない領域Ｒ７〜Ｒ１２は、分割領域の対象から除去される必要がある。ここでは、一例として、所定のサイズ以下の領域については、自動的に除去するものとすることで、図６（Ｄ）に示すように対象とすべき領域Ｒ１〜Ｒ６のみが残るようにしている。次に、図６（Ｅ）に示すように領域Ｒ１〜Ｒ６を膨らめている。例えば領域Ｒ２において矢印で示すように、エッジ部分Ｅ２を押し広げた楕円状の領域をもって、分割画像を画定する分割領域Ｐ２としている。他の領域Ｒ１，Ｒ３〜Ｒ６についても、同様にして分割領域Ｐ１，Ｐ３〜Ｐ６が画定される。

多くの画像を判定する場合において、上記内容物画像Ｃ１〜Ｃ６の位置は、各画像で個々に多少の差がある。従って、１つのサンプルにおけるエッジ部分Ｅ１〜Ｅ６で画定される領域Ｒ１〜Ｒ６をそのまま分割画像の領域としてしまうと、多くの対象画像を取り込んだ時に、各分割対象物の分割画像を正しく捉えることができなくなってしまう可能性がある。そこで、上記のようにエッジ部分Ｅ１〜Ｅ６を押し広げた領域を分割領域Ｐ１〜Ｐ６とすることで、ある程度のマージンを持たせている。これにより、例えば内容物画像Ｃ２に相当する領域Ｒ２のような比較的複雑な形状を有するものであっても、分割対象物全体を捉えられるようにしている。なお、ＣＰＵ１０は、図６（Ｆ）に示すような状態の領域を分割領域Ｐ１〜Ｐ６とする分割パターンを、記憶装置１２に保存する。

以下、図７のフローチャートにより、分割領域Ｐ１〜Ｐ６の決定の手順について説明する。図７は、図３のステップＳ１０３の処理の内容に相当する。まず、ＣＰＵ１０は、図６（Ａ）の容器ＴＲ及び分割対象物ＰＰ１〜ＰＰ６を撮像し、図６（Ｂ）に示す全体画像ＰＨから分割候補領域である領域Ｒ１〜Ｒ１２（図６（Ｃ）参照）を自動的に切り出す（ステップＳ１０３ａ）。次に、ＣＰＵ１０は、領域Ｒ１〜Ｒ１２のうち対象外の領域Ｒ７〜Ｒ１２を排除し、領域Ｒ１〜Ｒ６のみを選択する（ステップＳ１０３ｂ）。ここでは、領域Ｒ１〜Ｒ１２について各領域が占める面積を測定し、所定値以下のものを取り除くことで、判定の対象とならない領域Ｒ７〜Ｒ１２が排除され、図６（Ｄ）に示すように領域Ｒ１〜Ｒ６だけを残す。次に、ＣＰＵ１０は、記憶装置１２に格納されたプログラム群から領域を変形するためのプログラムを適宜読み出して、図６（Ｅ）に示すように、領域Ｒ１〜Ｒ６から変形することで画定される分割領域Ｐ１〜Ｐ６をそれぞれ形成する（ステップＳ１０３ｘ）。最後に、ＣＰＵ１０は、ステップＳ１０３ｂにおいて選択された分割領域Ｐ１〜Ｐ６の情報を記憶装置１２に格納するすなわち分割領域Ｐ１〜Ｐ６の分割パターンの情報が保存される（ステップＳ１０３ｃ）。以上により、図３のステップＳ１０４における参照分割画像の作成や、図２のステップＳ３における対象分割画像の作成に用いられる分割領域Ｐ１〜Ｐ６による分割パターンが定められる。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、対象物の良否等の状態を的確かつ迅速に判定できる。

上記において、図２のステップＳ３における対象分割画像の作成を、図３のステップＳ１０４における参照分割画像の作成と同様にして行うものとしているが、参照分割画像の作成とは別途に行うものとしてもよい。つまり、全体画像である判定対象画像について、別途に図６（Ａ）〜６（Ｆ）及び図７に示す動作を行うことで、対象分割画像を作成するものとしてもよい。各判定対象画像における各分割対象物の配置等について揺らぎが大きく、参照画像と比較して一致していない場合には、上記のように、判定対象画像ごとに個別に対象分割画像を切り出すことで、各対象分割画像に含まれる分割対象物の状態をより的確に捉えることができ、信頼性の高い比較判定ができる。

なお、上記において、例えば隣接す２つの分割候補領域のうち一方の領域を膨らめた結果、他方の領域を包含した場合には、包含された他方の領域については候補から除外するものとしてもよい。

〔第３実施形態〕
以下、図８（Ａ）〜８（Ｈ）等により、本発明の第３実施形態に係る画像処理装置について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。なお、画像処理の手順のうち、良否の状態の判定に関しては、図２のフローチャートに示す場合と同様である。

図８（Ａ）〜８（Ｆ）は、本実施形態における画像処理について説明するための図であり、分割領域のパターンをそれぞれ示す図である。本実施形態では、複数の分割パターンが、記憶装置１２（図１参照）に分割テンプレートとしてそれぞれ保存されており、ＣＰＵ１０が複数の分割テンプレートから一の分割パターンを選択することが可能となっている。この場合、記憶装置１２に保存された複数の分割パターンに対応して種々の対象物について判定が可能となり、対象物を何であるか特定し、これに応じた一の分割パターンを選択することで、判定の処理を行うことができる。従って、本実施形態では、分割領域の画定の手順に関して、第１実施形態の図３のフローチャートに示す場合とは、異なるものとなっている。

分割する領域のパターンについては、第１及び第２実施形態において説明したように、実際の対象物やその一部である容器をサンプルとし、これを撮像することによって画定させることもできるが、例えば図８（Ａ）に示すような仕切り線ＨＬによる８つの分割領域Ｐ１〜Ｐ８を手描き等によって作成した図を読み込んで形成させることも可能である。また、図８（Ｂ）〜８（Ｄ）に示すように、予め分割領域が画一的に決まっているものもある。例えば、シート状の物体を巻き取った側面の状態について判定をする場合には、図８（Ｂ）のような分割によって各部分ごとに状態を判定することで、より的確な判定ができる。また、例えばあらかじめ決まった格子状に配列されて梱包されるものであれば、図８（Ｃ）のような分割によって各部分ごとに状態を判定することが望ましく、また、千鳥状に配列されて梱包されるものであれば、図８（Ｄ）のような分割によって各部分ごとに状態を判定することが望ましい。なお、図８（Ｅ）は、図４（Ｃ）に示す動作により作成されたものの一例であり、図８（Ｆ）は、図６（Ｆ）と同様の動作により作成されるものの一例である。なお、図８（Ｆ）のように分割領域が重なり合っていてもよい。

本実施形態では、図８（Ａ）〜８（Ｄ）のような種々の分割パターンが分割テンプレートとして記憶装置１２にストックされており、ＣＰＵ１０が対象物に応じて適した分割パターンを読み出して、あるいは、図８（Ｅ）や図８（Ｆ）のような種々の分割パターンをＣＰＵ１０が作成して、読み出された分割パターン又は作成された分割パターンに基づいて画像分割を行う。

ここで、図８（Ｃ）に示す格子状に配列されたものの一例としては、図８（Ｇ）及び８（Ｈ）に示すように、ケース等に収納されたｍ個のビンＢＴ_１〜ＢＴ_ｍ（図の場合、６行８列であり、ｍ＝６×８＝４８である。）を撮像した画像が考えられる。を模式的に示している。このような対象物の場合、ｍ個のビンＢＴ_１〜ＢＴ_ｍの配列は予め定まっており、この配列に対応して画一的に領域を画定する分割線ＬＬに従って、元の全体画像ＰＨから、各ビンが１つずつ含まれるｍ個の分割画像Ｐ_１〜Ｐ_ｍが自動的に切り分けられる。

以下、図９により、参照分割画像テンプレートの作成の一例について説明する。ここでは、図８（Ａ）〜８（Ｄ）に例示したような定められた手描き等によって取り込まれた画像から作成された分割領域のパターンや、画一的な分割領域のパターンのように記憶装置１２内に予め保存されているパターンのうちから一のパターンを選択する分割パターン選択モードと、図８（Ｅ）、８（Ｆ）に例示したような図５或いは図７のフローチャートで説明した手順によって分割領域のパターンを自動的に切り出して作成するモードとが選択可能になっている。

まず、ＣＰＵ１０（図１参照）は、サンプルを撮像装置１１に撮像させ、これを参照画像として取り込む（図９のステップＳ２０１ａ）。次に、ＣＰＵ１０は、参照画像の位置決めを行う（ステップＳ２０２ａ）。次に、ＣＰＵ１０は、参照画像の分割の仕方を決定する、すなわち参照画像が占める領域のうちから各参照分割画像の部分領域である分割領域を画定する（ステップＳ２０３ａ〜Ｓ２０３ｄ）。具体的には、まず、分割パターンの選択が行われる（ステップＳ２０３ａ）。次に、選択されたパターンが分割パターン選択モードにおける一のパターンであるか否かを判断する（ステップＳ２０３ｂ）。ステップＳ２０３ｂにおいて、予め記憶装置１２内に分割テンプレートとして保存されているパターンのうちから一のパターンが選択されていると判断すると（ステップＳ２０３ｂ：Ｙｅｓ）、ＣＰＵ１０は、当該パターンを記憶装置１２から読み出す（ステップＳ２０３ｃ）。一方、ステップＳ２０３ｂにおいて、分割パターン選択モードが選択されていないと判断すると、ＣＰＵ１０は、分割領域のパターンを自動的に切り出して作成する処理を行う（ステップＳ２０３ｄ）。つまり、図５或いは図７の手順に従って、分割領域のパターンを定める。次に、ＣＰＵ１０は、ステップＳ２０３ｃ又はステップＳ２０３ｄで決定された分割パターンに基づいて、参照画像の領域自動分割を行う（ステップＳ２０４）。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、各参照分割画像から形状的パラメータを抽出し（ステップＳ２０５）、抽出された形状的パラメータを情報として含む参照分割画像についての画像情報を記憶装置１２に設けられた特定の領域内に格納する（ステップＳ２０６）。以上により、参照分割画像テンプレートが作成される。

ここで、以上の動作のうち、ステップＳ２０３ａ等における参照画像の分割の仕方の決定すなわち分割パターンの選択方法については、一つの方法として、入力装置１４（図１参照）を介した人間（オペレーター）の判断に基づく指示に従って、ＣＰＵ１０が一のパターンを選択するものとしてもよい。

また、分割パターンの選択方法について、別の方法として、人間の判断を必要とせず、記憶装置１２にストックされている全てのパターンについて試験運転することで、最も適切な一のパターンを自動選択するものとしてもよい。具体的に説明すると、ステップＳ２０２ａにおいて位置決めされた一の参照画像に対して、図８（Ａ）〜８（Ｄ）に示す記憶装置１２にストックされている全てのパターンについての形状的パラメータを抽出し、そのデータのばらつき（分散）を確認することで、最も適切な一のパターンが判定できる。例えば、一の参照画像が図８（Ｇ）のようなものである場合、図８（Ｃ）のパターンについての形状的パラメータのばらつきが最も少ないものとなるはずである。他の図８（Ａ）、８（Ｂ）、及び８（Ｄ）の場合では、ｍ個のビンＢＴ_１〜ＢＴ_ｍの配置が仕切り線と一致しないからである。例えば図８（Ｄ）については、分割の一部分については、図８（Ｃ）のパターンと一致するため、ばらつきが少ない箇所も生じ得る。しかし、全ての分割パターンについて形状的パラメータのばらつきを算出すれば、他のパターンに比べて明らかに図８（Ｃ）のパターンでのばらつきが少ないことが判定できる。具体的には、ＣＰＵ１０が、全てのパターンについて全ての分割画像について形状的パラメータを抽出するステップと、ＣＰＵ１０が全ての形状的パラメータについてばらつきを算出するステップと、ＣＰＵ１０が算出された各パターンでのばらつきを比較し、ばらつきが最小となっている分割パターンを選択するステップとを設けることで、最も適切な一のパターンを自動選択するができる。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、対象物の良否等の状態を的確かつ迅速に判定できる。

また、この場合、参照分割画像作成部としてのＣＰＵ１０が、ステップＳ２０３ｄにおいて新たに作成された分割パターンについての分割テンプレートを複数の分割テンプレートの１つとして追加する分割テンプレート更新部として機能するものとしてもよい。つまり、ＣＰＵ１０が、新たな分割パターンを記憶装置１２に保存させることができる。

また、例えば図８（Ｃ）に示す格子状の分割パターンについては、各マス目のスケールを適宜調整可能としてもよい。例えば、図８（Ｃ）では、６行８列、分割の個数ｍ＝４８としているが、これ以外の個数に分割する格子状の分割パターンを準備しておくことで、ビンの配列数が異なる場合にも対処可能なものとなっていてもよい。この際、ＣＰＵ１０が複数ある各分割パターンで分割された画像について形状的パラメータをそれぞれ自動的に抽出及び測定し、パラメータのばらつき加減から、選択した分割パターンの成否を判定してもよい。この場合、複数ある格子状の分割パターンから適したものを自動選択できる。

また、図８（Ｇ）及び８（Ｈ）に示すように、複数ある画一的な形状のビンＢＴ_１〜ＢＴ_ｍについて良否の判定を行う場合には、１つの参照分割画像テンプレートを共用とすることもできる。つまり、分割対象物であるビンＢＴ_１〜ＢＴ_ｍが画一的な形状や色合い等を有する場合、ｍ個の分割画像Ｐ_１〜Ｐ_ｍについて抽出される形状的パラメータの特徴も互いに似通ったものとなる。従って、その良否の判定の基準となる参照分割画像テンプレートをｍ個の分割画像Ｐ_１〜Ｐ_ｍそれぞれについて用意する必要はなく、共通する１つの参照分割画像テンプレートで、全ての分割画像Ｐ_１〜Ｐ_ｍについての良否判定を行うものとすることも可能である。ただし、分割画像Ｐ_１〜Ｐ_ｍが画一的であっても、例えば判定する時間帯や判定時の照明の具合等のような使用環境によってビンＢＴ_１〜ＢＴ_ｍの配置される位置によって色合い等が異なり形状的パラメータとして現れる特徴が各ビンＢＴ_１〜ＢＴ_ｍによって異なっている場合には、個別に参照分割画像テンプレートを用意することになる。

〔第４実施形態〕
以下、図１０（Ａ）、１０（Ｂ）等により、本発明の第４実施形態に係る画像処理装置について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。

図１０（Ａ）及び１０（Ｂ）は、参照分割画像テンプレートの作成について説明するための図である。図１０（Ａ）は、参照分割画像テンプレートのうち不良品に関する参照分割画像テンプレートの作成の工程について説明するためのフローチャートであり、図１０（Ｂ）は、参照分割画像テンプレートのうち良品に関する参照分割画像テンプレートの作成の工程について説明するためのフローチャートである。本実施形態の場合、不良品に関する参照分割画像テンプレートに基づいて、不良品性についての確信度が算出でき、良品に関する参照分割画像テンプレートに基づいて、良品性についての確信度が算出できることで、不良品性及び良品性の両面から判定を行うものとしている。良品性や不良品性を示す指数である確信度を規定することによって、判定の信頼性をより高めている。

まず、図１０（Ａ）において、不良品に関する参照分割画像テンプレートを作成するために、対象物全体に対応するサンプルであって、明らかに不良品であるものとされる典型的なものを複数（又は単数）用意する。つまり、人間の眼等を通して予め典型的な不良品であることが分かっている既知のサンプルのみを用意する。ＣＰＵ１０（図１参照）は、用意された当該サンプルを撮像装置１１に撮像させ、これを分割前の参照画像（全体画像）として取り込む（ステップＳ３０１ａ）。次に、ＣＰＵ１０は、参照画像の位置決めを行う（ステップＳ３０２ａ）。次に、ＣＰＵ１０は、参照画像の分割の仕方を決定するすなわち分割領域を画定する（ステップＳ３０３ａ）。次に、ＣＰＵ１０は、ステップＳ３０３ａで決定された分割に従って、参照画像の領域自動分割を行う（ステップＳ３０４ａ）。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、各参照分割画像から形状的パラメータをそれぞれ抽出し（ステップＳ３０５ａ）、最後に、抽出された形状的パラメータを情報として含む参照分割画像についての画像情報を記憶装置１２に設けられた特定の領域内にそれぞれ格納する（ステップＳ３０６ａ）。以上により、典型的な不良品に関する参照分割画像テンプレートが作成される。

また、図１０（Ｂ）に示すように、良品に関する参照分割画像テンプレートの作成についても、上述した不良品に関する参照分割画像テンプレートの作成と同様に、人間の眼等を通して予め典型的な良品であることが分かっている既知のサンプルのみを用意し、ステップＳ３０１ｂ〜ステップＳ３０６ｂの動作を行うことで、参照分割画像テンプレートが作成される。

以下、図１１を用いて画像処理に基づく対象物の判定の主要な動作の一例を説明する。なお、良否判定のための基準となる参照分割画像テンプレートについては、上記図１０（Ａ）及び１０（Ｂ）に説明した動作により既に作成され、記憶装置１２に格納されているものとする。

まず、ＣＰＵ１０は、撮像装置１１を撮像動作させるプログラムを読み出して、判定対象となる対象物を撮像した画像である判定対象画像を取り込む（ステップＳ４０１）。次に、ＣＰＵ１０は、撮像された判定対象画像の位置決めを行う（ステップＳ４０２）。次に、ＣＰＵ１０は、判定対象画像の領域自動分割を行う（ステップＳ４０３）。ここで、分割の仕方すなわち分割パターンについては、上述の参照分割画像の作成時における分割パターンに倣って分割がなされる。これにより、判定対象画像から作成される各対象分割画像は、各参照分割画像に対応するものとなる。次に、ＣＰＵ１０は、記憶装置１２からパラメータ化プログラムを読み出して、各判定対象分割画像から形状的パラメータをそれぞれ抽出する（ステップＳ４０４）。

次に、ＣＰＵ１０は、記憶装置１２から読み出した良否判定プログラムに基づいて、比較判定を行う。このため、まず、ＣＰＵ１０は、記憶装置１２に予め格納されている良否判定の基準となる参照分割画像テンプレートのうち、図１０（Ａ）に示す工程により準備された不良品に関する参照分割画像テンプレート（不良品参照分割画像テンプレート）から形状的パラメータを読み出す（ステップＳ４０５ａ）。さらに、ＣＰＵ１０は、不良品に関する参照分割画像テンプレートからの形状的パラメータすなわち参照側の形状的パラメータとステップＳ４０４において抽出された判定対象側の形状的パラメータとを比較し（ステップＳ４０６ａ）、対象分割画像ひいては対象物の状態が典型的な不良品にどの程度近いものであるかを、ステップＳ４０６ａにおいて比較された結果を、対象分割画像から対象物についての不良品との近さの程度を示す確信度として算出する（ステップＳＣａ）。以下、この確信度を不良品性確信度と呼ぶこととする。なお、不良品性確信度については、画像の色や形状等に関する形状的パラメータに基づいて、種々の算出方法で規定する場合が考えられる。ここでは、ステップＳ４０６ａ，ＳＣａでの比較・算出から求められる典型的な不良品との近似性の高さを数値化したもの（以下、「不良品指数」という。）をもって不良品性確信度とする。つまり、不良品指数が高いほど不良品であるものと判定される。不良品指数は、例えば取得された画像データのパラメータが典型的な不良品の画像データのパラメータと全く同一である場合を最大値の１００％となるように規格化されており、規格化された値に対して、第１の閾値と第２の閾値とを設けてこれらの閾値から対象物が不良品であるか否かを判定するものとする。第１及び第２の閾値は、統計的に知られた対象物についての不良判定として確実な範疇で定められるものである。なお確実に判定できる閾値が未知の場合には、例えば試運転を繰り返しながら調整をすることで、閾値を定めればよい。各閾値について、第１の閾値は、第２の閾値よりも高い値に設定されている。第１の閾値を超える場合には、確実に不良品であるものと判断される。第２の閾値は、第１の閾値よりは小さな値として設定されるが、第２の閾値を超える場合も不良品である蓋然性が比較的高いものとして扱われる。

また、ＣＰＵ１０は、上記ステップＳ４０５ａ〜ステップＳ４０７ａ及びステップＳＣａと並行して、図１０（Ｂ）に示す工程により準備された良品に関する参照分割画像テンプレート（良品参照分割画像テンプレート）から形状的パラメータを読み出し（ステップＳ４０５ｂ）、良品に関する参照分割画像テンプレートからの形状的パラメータすなわち参照側の形状的パラメータとステップＳ４０４において抽出された判定対象側の形状的パラメータとを比較する（ステップＳ４０６ｂ）。さらに、ＣＰＵ１０は、対象分割画像から対象物についての良品との近さの程度を示す確信度を算出する（ステップＳＣｂ）。以下、この確信度を良品性確信度と呼ぶこととする。ここでは、典型的な良品との近似性の高さを数値化したもの（以下、「良品指数」という。）をもって良品性確信度とする。つまり、良品指数が高いほど良品であるものと判定される。良品指数は、例えば取得された画像データのパラメータが典型的な良品の画像データのパラメータと全く同一である場合を最大値の１００％となるように規格化されており、規格化された値に対して、閾値を設けてこの閾値から対象物が良品であるか否かを判定するものとする。閾値を超える場合は、良品である蓋然性が比較的高いものとして扱われる。ここでは、不良品性確信度については、第１の閾値と第２の閾値との２段階の閾値を設け、良品性確信度については、１つの閾値のみを設けているものとする。また、この閾値は、複数ある対象分割画像の全てに設けられているが、ＣＰＵ１０での判断としては、全ての対象分割画像において設定された閾値を超えている場合に、判定対象画像全体として閾値を超えていると判断するものとする。

第１及び第２の閾値の設定については、種々のものが考えられるが、具体的な一例としては、不良品性確信度についての偏差値に基づいて規定することが考えられる。まず、不良品性確信度の高いものから低いものまでの全ての中から無作為に抽出した標本（第１標本）についての分布において標準偏差を算出した場合に、一定以上の偏差値となるときの不良品性確信度の値を、第１の閾値として定めることができる。上記第１の閾値を定めることで、第１の閾値を超える場合には、確実に不良品であるものと判断する値として用いることができる。また、例えば、典型的な不良画像を集めた集合すなわち不良品性確信度が比較的高いものの中から無作為に抽出した標本（第２標本）についての分布において標準偏差を算出した場合に、偏差値が第２標本における平均値よりは低いものの、ある程度以上の値であり、上記の第１標本での平均値よりは高い値となっている値を、第２の閾値として定めることができる。典型的な不良画像を集めた集合において、ある程度の不良品性確信度を有することで、不良品である蓋然性が比較的高いものと判断する値として用いることができる。各標本の分布特性に応じて第１及び第２の閾値を定めることで、抽象的であいまいな概念的広がりを有するもの判定について信頼性を高めたものにできる。また、以上のような第１及び第２の閾値を設定では、第１の閾値の調整において、より限定された範囲の確実に該当するものに絞るようにするような判定ができる。一方、第２の閾値の調整において、該当するとされるものをできるだけ多くするような判定ができる。第１及び第２の閾値を適宜調整することで、必要とされる精度等に応じた設定ができる。

ＣＰＵ１０は、ステップＳ４０７ａにおいて、ステップＳＣａで算出された不良品性確信度が第１の閾値を超えており、かつ、ステップＳＣｂで算出された良品性確信度が閾値を超えていないと判断すると（ステップＳ４０７ａ：Ｙｅｓ）、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ８）。

一方、ＣＰＵ１０は、ステップＳ４０７ａにおいて、不良品性確信度が第１の閾値以下である、又は、良品性確信度が閾値以上であると判断すると（ステップＳ４０７ａ：Ｎｏ）、さらに、良品性確信度が閾値を超えており、かつ、不良品性確信度が第１の閾値を超えてないかを判断する（ステップＳ４０７ｂ）。ここで、良品性確信度が閾値を超えており、かつ、不良品性確信度が第１の閾値を超えていないと判断すると（ステップＳ４０７ｂ：Ｙｅｓ）、判定対象画像すなわち判定対象物を良品であるものと判定する（ステップＳ９）。

ＣＰＵ１０は、ステップＳ４０７ｂにおいて、良品性確信度が閾値以下である、又は、不良品性確信度が第１の閾値以上であると判断すると（ステップＳ４０７ｂ：Ｎｏ）、さらに、不良品性確信度が第１の閾値を超えており、かつ、良品性確信度が閾値を超えているかを判断する（ステップＳ４０７ｃ）。ここで、不良品性確信度が第１の閾値を超えており、かつ、良品性確信度が閾値を超えていると判断すると（ステップＳ４０７ｃ：Ｙｅｓ）、不良品性確信度を優先的に適用して、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ８）。

ＣＰＵ１０は、ステップＳ４０７ｃにおいて、不良品性確信度が第１の閾値以下である、又は、良品性確信度が閾値以下であると判断すると（ステップＳ４０７ｃ：Ｎｏ）、さらに、不良品性確信度が第２の閾値を超えているかを判断する（ステップＳ４０７ｄ）。ここで、不良品性確信度が第２の閾値を超えていると判断すると（ステップＳ４０７ｄ：Ｙｅｓ）、不良品性確信度を優先的に適用して、判定対象物を不良品であるものと判定する（ステップＳ８）。

ＣＰＵ１０は、ステップＳ４０７ｄにおいて、不良品性確信度が第２の閾値以下であると判断すると（ステップＳ４０７ｄ：Ｎｏ）、統計的割合に基づいて良否判定を行う（ステップＳＱ）。ここで、統計的割合とは、その判定対象である対象物の検査において統計的に知られる良品・不良品の割合を言う。ステップＳ４０７ｄにおいて、Ｎｏと判断される場合、その判定対象画像すなわち対象物は、良品性確信度も不良品性確信度も高くない状態にあり、上記ステップＳ４０７ｄまでの手法では判定不能であり、良否の判断が非常に難しい状態にあるものと言える。ステップＳＱでは、このような状態にある対象物について乱数等を用いて、統計的割合に応じた割合で良品であるか不良品であるかを決定している。例えば、判定対象である対象物について、検査において、ｑ：（１―ｑ）の割合で不良品と良品とが発生するものであることが統計的に知られていれば、ＣＰＵ１０は、ステップＳＱにおいて、ｑ×１００％の確率で不良品であり、（１―ｑ）×１００％の確率で良品であると判定することになる。

さらに、ＣＰＵ１０は、ステップＳ８での不良品判定又はステップＳ９での良品判定がなされた後、参照分割画像テンプレートを更新する工程、すなわち学習の工程の処理を行う（ステップＳ１０ａ、ステップＳ１０ｂ）。具体的に説明すると、まず、ＣＰＵ１０は、ステップＳ８での不良品判定がなされると、判定対象となった判定対象側の形状的パラメータの判定過程を確認し、ステップＳ４０７ａにおいて、Ｙｅｓと判断されて不良品判定がなされたものであった場合には、この形状的パラメータの情報を、新たな不良品に関する参照分割画像テンプレートの一部として追加する（ステップＳ１０ａ）。ここで、ステップＳ４０７ａにおいて、Ｙｅｓと判断されたものとは、既述の通り、不良品性確信度が第１の閾値を超えており、かつ、良品性確信度が閾値を超えていないと判断されたものである。つまり、判定対象となった対象画像は、典型的な不良品の状態を示す画像であり、良品の状態を示す画像ではなかったものといえる。このような画像を不良品に関する参照分割画像テンプレートとして追加することで、不良品に関する参照分割画像テンプレートの信頼性、言い換えるとステップＳＣａで算出される不良品性確信度の信頼性を高めることができる。

同様に、ＣＰＵ１０は、ステップＳ９での良品判定がなされると、判定対象となった判定対象側の形状的パラメータの判定過程を確認し、ステップＳＣｂにおいて、Ｙｅｓと判断されて良品判定がなされたものであった場合には、この形状的パラメータの情報を、新たな良品に関する参照分割画像テンプレートの一部として追加する（ステップＳ１０ｂ）。これにより、ステップＳＣｂで算出される良品性確信度の信頼性を高めることができる。

上記の場合、ＣＰＵ１０は、ステップＳ１０ａ，１０ｂにおいて、不良品性確信度及び良品性確信度の信頼性を高めるために参照分割画像についての情報を更新することで学習を行う学習部として機能している。これにより、例えば本動作中において、適宜学習を行うことで、参照分割画像テンプレートを更新して、判定基準の改善、修正や発展等を図ることが可能となっている。

なお、上記において、ステップＳ８又はステップＳ９における判定結果は、ＣＰＵ１０からの指令を受けた表示装置１３によって表示される。この際、併せて不良品性確信度や良品性確信度の数値等の算出結果を表示させてもよい。

また、以上のサンプルについては、現実の判定対象たる対象物に相当する実在の物そのものであってもよいが、画像サンプルであってもよい。この場合、画像サンプルがデジタル画像のように、既にＣＰＵ１０によって処理可能な状態となっている場合には、撮像装置１１による画像取得の動作は不要となる。さらに、サンプルが既にパラメータ化されたデータとなっている場合には、直接的に記憶装置１２に当該データを格納すればよい。

なお、本動作の直前に行う試運転の段階において、良否判定の結果に誤りが多い場合には、適切な精度で良否判定がなされるようになるまで、上記のような事前学習を繰り返すものとする。

以上のように、本実施形態に係る画像処理装置１００では、確信度算出部であるＣＰＵ１０によって予め準備された参照分割画像テンプレートを基準として不良品あるいは良品との近似性の高さを示す確信度を規定し、当該確信度に基づいて、判定対象である対象物の良否の状態についての判定を行っている。これにより、画像処理装置１００は、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。

なお、以上において、ステップＳＱに示す統計的割合に基づく良否判定を行わないものとしてもよい。例えば、ステップＳ４０７ｄにおいて、不良品性確信度が第２の閾値以下であると判断した場合には（ステップＳ４０７ｄ：Ｎｏ）、ＣＰＵ１０は、判定対象画像すなわち判定対象物を不良品ではなく良品であるものと判定することとしてもよい。

また、多くの対象が判定不能でステップＳＱに達してしまったり、良否判定に多くの間違いがあったりする、といった判定精度が低い状態が続く場合には、各閾値を調整することも可能である。ただし、閾値の調整は、画像処理装置１００の本動作の前段階である試運転の段階までになされることが望ましい。本動作中において、ステップＳ４０７ｄさらにはステップＳＱに達してしまう場合には、例えばこれらに達した形状的パラメータの情報を蓄積しておき、当該形状的パラメータについての画像を人間の眼等を通して良否の確認をし、当該画像をサンプルとして強制的に図１０（Ａ）又は図１０（Ｂ）に示す参照分割画像テンプレートの作成をし直すものとしてもよい。

また、ステップＳ１０ａ及びステップＳ１０ｂの学習動作については、本動作中に毎回行う場合のほか、本動作において間欠的に行う等種々のタイミングで行うものとしてもよい。さらに、参照分割画像テンプレートの一部として追加するに際して、例えば不良品性確信度の比較によってランキングをし、ランキングの下位のものを排除すれば、参照分割画像テンプレートにおけるデータの追加・変更・削除を行っても、そのデータ量を一定に保つことができる。

〔第５実施形態〕
以下、図１２により、本発明の第５実施形態に係る画像処理装置を用いた画像処理方法について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。本実施形態では、不良品に関する参照分割画像テンプレートを複数種類用意するものとしている。

例えば、良品については、常に典型的なパターンがあり、複数又は単数のサンプルを用意することで、いわば平均的、標準的なデータ収集がなされ、良品についての近似性を適切に判定できる参照分割画像テンプレートが作成できる場合が多いと考えられる。しかし、不良品の発生については、対象となる対象物の属性等によっては、不良発生の原因が複数種類あり、原因ごとに不良として現れる形状等が大きく異なっている場合がある。不良発生の原因としては、例えば、位置ズレや異物の混入、割れ、欠け及び汚れといった種々のものが存在し得る。これらの原因によって対象物上に現れる形状や色、大きさ等の差異は、原因ごとに大きく異なり、形状的パラメータとして現れる特徴にも差が生じる場合がある。このような場合であるにもかかわらず、これら複数種類の典型的な不良品についての参照側の形状的パラメータを集約して１つのテンプレートを作成してしまうと、パラメータのばらつきが大きすぎ、不良品との類似性を適切に判定できないものになってしまう可能性がある。これに対して、本実施形態では、不良発生の原因ごとすなわちタイプごとに複数の異なるサンプルにそれぞれ分類したものを用意して、分類されたサンプルについて、不良品に関する参照分割画像テンプレートを個別に作成し、これらを判定の基準としている。例えば、タイプ１として対象物の割れについての不良品のサンプルを集め、１つのテンプレートを作成する。また、タイプ２として対象物の欠けについての不良品のサンプルを集め、１つのテンプレートを作成する。以下、同様の動作をすることで、複数組の参照分割画像テンプレートが作成される。

図１２は、複数種類の不良品に関する参照分割画像テンプレートが用意された場合における対象物の判定方法の一例について説明するためのフローチャートである。ここでは、１つの良品に関する参照分割画像テンプレートと、（Ｌ−１）種類（Ｌは１より大きい自然数）の不良品に関する参照分割画像テンプレートが用意されているものとする。ここでは、異なるタイプの不良発生がＬ種類あり、これらのうち、参照分割画像テンプレートが用意される典型的な不良のタイプが（Ｌ−１）種類あり、これらのどれにも属さないような不良発生を最後であるＬ番目の不良であるものとする。

まず、ＣＰＵ１０は、（Ｌ−１）種類の不良品に関する参照分割画像テンプレートに基づいて不良品性確信度を算出する（ステップＳ２６ａ）。また、ＣＰＵ１０は、ステップＳ２６ａと並行して、良品に関する参照分割画像テンプレートに基づいて良品性確信度を算出する（ステップＳ２６ｂ）。

次に、ＣＰＵ１０は、ステップＳ２６ａで算出された各タイプの不良品性確信度のうちいずれかが第１の閾値を超えており、かつ、ステップＳ２６ｂで算出された良品性確信度が閾値を超えていないと判断すると（ステップＳ２７ａ：Ｙｅｓ）、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ２８）。

一方、ＣＰＵ１０は、ステップＳ２７ａにおいて、各タイプの不良品性確信度のいずれも第１の閾値以下である、又は、良品性確信度が閾値以上であると判断し（ステップＳ２７ａ：Ｎｏ）、さらに、良品性確信度が閾値を超えており、かつ、不良品性確信度のいずれも第１の閾値を超えていないと判断すると（ステップＳ２７ｂ：Ｙｅｓ）、判定対象画像すなわち判定対象物を良品であるものと判定する（ステップＳ２９）。

ＣＰＵ１０は、ステップＳ２７ｂにおいて、良品性確信度が閾値以下である、又は、不良品性確信度のいずれかが第１の閾値以上であると判断し（ステップＳ２７ｂ：Ｎｏ）、さらに、不良品性確信度のうちいずれかが第１の閾値を超えており、かつ、良品性確信度が閾値を超えていると判断すると（ステップＳ２７ｃ：Ｙｅｓ）、不良品性確信度を優先的に適用して、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ２８）。

ＣＰＵ１０は、ステップＳ２７ｃにおいて、不良品性確信度のいずれもが第１の閾値以下である、又は、良品性確信度が閾値以下であると判断し（ステップＳ７ｃ：Ｎｏ）、さらに、不良品性確信度のうちいずれかが第２の閾値を超えていると判断すると（ステップＳ７ｄ：Ｙｅｓ）、不良品性確信度を優先的に適用して、判定対象画像すなわち判定対象物を不良品であるものと判定する（ステップＳ２８）。

ＣＰＵ１０は、ステップＳ２７ｄにおいて、不良品性確信度のいずれもが第２の閾値以下であると判断すると（ステップＳ２７ｄ：Ｎｏ）、統計的割合に基づいて良否判定を行い（ステップＳＱ）、良否を判定する（ステップＳ２８，Ｓ２９）。

さらに、ＣＰＵ１０は、ステップＳ２８での不良品判定がなされると、不良品となったもののタイプを分類する処理（ステップＳＲ）を行う。

以下、図１３により、図１２のステップＳＲにおける不良品の分類処理の一例について説明する。まず、ＣＰＵ１０は、ステップＳ２８において不良と判定された判定対象画像について、各タイプのうち不良品性確信度が第１の閾値を超えている場合があるか否かを判断する（ステップＳＲ１）。ステップＳＲ１において、いずれかのタイプについて第１の閾値を超えていると判断されると（ステップＳＲ１：Ｙｅｓ）、当該判定対象画像に対応する判定対象物は、そのタイプの不良品であると判定される（ステップＳＪ１）。ここで、１つの判定対象画像が複数のタイプについて第１の閾値を超えている場合には、該当する全てのタイプについての不良品であると判定される。例えば、タイプ１が対象物の割れについての不良品性確信度を示すものであり、タイプ２が対象物の欠けについての不良品性確信度を示すものである場合に、ある判定対象画像がタイプ１及びタイプ２の双方について第１の閾値を超えていれば、その判定対象画像に対応する判定対象物は、割れと欠けの双方が発生したものとして扱われることになる。

一方、ステップＳＲ１において、いずれのタイプの不良品性確信度についても第１の閾値を超えていないと判断されると（ステップＳＲ１：Ｎｏ）、タイプ１〜タイプ（Ｌ−１）の不良品性確信度が第２の閾値を超えているか否かを判定する（ステップＳＲ２）。ステップＳＲ２において、タイプ１〜タイプ（Ｌ−１）の不良品性確信度が第２の閾値を超えていると判断されると（ステップＳＲ２：Ｙｅｓ）、当該判定対象画像に対応する判定対象物は、タイプ１〜タイプ（Ｌ−１）のうち対応するタイプの不良品であると判定される（ステップＳＪ２）。なお、複数のタイプについて第２の閾値を超えている場合には、該当する全てのタイプについての不良品であると判定される。

一方、ステップＳＲ２において、タイプ１〜タイプ（Ｌ−１）のいずれについても不良品性確信度が第２の閾値以下であると判断されると（ステップＳＲ２：Ｎｏ）、当該判定対象画像に対応する判定対象物は、タイプＬの不良品であると判定される（ステップＳＪ３）。つまり、参照分割画像テンプレートが用意された（Ｌ−１）種類の典型的な不良のどれにも属さないＬ番目の不良であると判定される。

以上により、ステップＳＲにおける不良品の分類処理がなされる。また、ここでは、ステップＳＲ１において第１の閾値を超えていると判断された判定対象画像を不良品に関する参照分割画像テンプレートとして追加するものとしている（ステップＳＫ）。つまり、ステップＳＫでの学習工程を追加することで、不良品性確信度の信頼性を不良のタイプごとに高めることができる。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、的確かつ迅速に行うことができる。

〔第６実施形態〕
以下、図１４により、本発明の第６実施形態に係る画像処理装置を用いた画像処理方法について説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。

図１４は、画像処理方法を抽象化して説明するフローチャートである。まず、ＣＰＵ１０は、撮像装置１１を撮像動作させるプログラムを読み出して、判定対象となる対象物を撮像した画像である判定対象画像を取り込む（ステップＳ１）。次に、ＣＰＵ１０は、撮像された判定対象画像の位置決めを行う（ステップＳ２）。次に、ＣＰＵ１０は、判定対象画像の自動分割を行い、複数の対象分割画像を作成する（ステップＳ３）。なお、判定対象画像の自動分割の方法は、上記他の実施形態において説明した分割パターン（例えば図８（Ａ）〜８（Ｆ）参照）のいずれかを適宜選択する。最後に、ＣＰＵ１０は、記憶装置１２から参照分割画像を読み出して、対象分割画像をパターンマッチングによって比較判定を行う（ステップＳ７０４）。

以上のように、本実施形態の場合、パターンマッチングにより比較判定を行うことで、参照画像及び判定対象画像の双方とも、形状的パラメータを抽出するといったパラメータ化をすることがないので、迅速な処理が可能である。

本実施形態においても、対象物の画像のように抽象的であいまいな概念的広がりを有するものについての判定であっても、対象物の良否等の状態を的確かつ迅速に判定できる。

以上各実施形態に即して本発明を説明したが、本発明は上記各実施形態に限定されるものではない。例えば不良品性確信度については、画像の色や形状等についての形状的パラメータに基づいて、種々の算出方法で規定する場合が考えられるものとしているが、これについては、判定対象物の性質に応じて、種々調整することができる。例えば、色や形状等種々のパラメータについて、重みづけをすることができる。具体的には、判定対象が良好であるか否かが、判定対象物の色の違いによって大きく異なって現れるようなものである場合には、色のパラメータの要素を他の要素よりも判定の比重を大きくして優先的に取り扱うことで、より適切な判断を行うことができる。

また、第１実施形態の図４（Ａ）〜４（Ｄ）や第２実施形態の図６（Ａ）〜６（Ｆ）において示した分割領域を画定する工程では、自動的に画定動作を行うものとしているが、工程の一部について人間（オペレーター）の判断が入るものとしてもよい。例えば、分割候補領域Ｒ１〜Ｒ１２のうち判定の対象とならない領域Ｒ７〜Ｒ１２を排除するに際して、各領域が占める面積を測定し、所定値以下のものを取り除くことで、自動的な画定動作を可能としているが、どの領域を排除するかについては、人間が選択するものとしてもよい。

１００…画像処理装置、 １０…ＣＰＵ、 １１…撮像装置、 １２…記憶装置、 １３…表示装置、 １４…入力装置、 ５０…バス、 ＰＨ…全体画像、 Ｐ_１〜Ｐ_ｍ…分割画像、 ＢＴ_１〜ＢＴ_ｍ…ビン、 ＬＬ…分割線、 ＴＲ…容器、 ＳＰ１〜ＳＰ６…収容空間

Claims (10)

1. 一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理装置であって、
   前記対象画像に基づいて前記対象物の状態を判定するに際して基準として参照される参照画像を前記対象物の属性に応じて自動分割して複数の参照分割画像を作成する参照分割画像作成部と、
   前記参照分割画像作成部において作成された前記複数の参照分割画像を格納する参照分割画像格納部と、
   前記対象物を撮像して前記対象画像を取得する撮像装置と、
   前記撮像装置での撮像により取得された前記対象画像を、前記参照分割画像作成部での自動分割に基づいて分割することにより、前記複数の参照分割画像にそれぞれ対応する複数の対象分割画像を作成する対象分割画像作成部と、
   前記参照分割画像格納部に格納された前記複数の参照分割画像と前記対象分割画像作成部で作成された前記複数の対象分割画像とを比較して、前記対象物の状態を判定する状態判定部と、
   を有する画像処理装置。
2. 前記参照分割画像作成部は、前記複数の参照分割画像についての情報を、パラメータ化された参照側形状的パラメータとして抽出し前記参照分割画像格納部に格納させる参照側形状的パラメータ抽出部を有し、
   前記対象分割画像作成部は、前記複数の対象分割画像から、前記参照側形状的パラメータとの比較対象となる対象側形状的パラメータを抽出する対象側形状的パラメータ抽出部を有し、
   前記状態判定部は、抽出された前記参照側形状的パラメータと前記対象側形状的パラメータとを比較して、前記対象物の状態を判定する、請求項１に記載の画像処理装置。
3. 前記参照分割画像格納部において、前記参照側形状的パラメータは、外形形状に関するパラメータ、色に関するパラメータ、テクスチャに関するパラメータ及び大きさに関するパラメータのうち少なくとも１つのパラメータを含む、請求項２に記載の画像処理装置。
4. 前記参照分割画像作成部は、前記撮像装置で前記対象物の少なくとも一部に相当するサンプルを撮像して取得されたサンプル画像から判定の対象となるべき領域部分を自動的に切り出すことで前記複数の参照分割画像の占有領域となる分割領域をそれぞれ画定する、請求項１から３までのいずれか一項に記載の画像処理装置。
5. 前記対象物は、複数の内容物と当該複数の内容物に対応して仕切られた複数の収容領域を有する支持体とで構成され、
   前記参照分割画像作成部は、前記対象物のうち前記支持体のみで構成される前記サンプルの前記サンプル画像において、当該支持体に設けられた仕切りに沿って前記分割領域を画定する、請求項４に記載の画像処理装置。
6. 前記対象物は、複数の内容物と当該複数の内容物に対応して仕切られた複数の収容領域を有する支持体とで構成され、
   前記参照分割画像作成部は、前記対象物を構成する前記内容物と前記支持体とに相当する前記サンプルの前記サンプル画像において、当該内容物の輪郭画像を自動的に切り出すとともに、自動的に切り出された当該輪郭画像の領域と当該輪郭画像の周辺領域とを含む１つの領域を前記複数の参照分割画像のうちの１つの前記分割領域として画定する、請求項４に記載の画像処理装置。
7. 前記参照分割画像作成部は、前記参照画像としての前記サンプル画像から自動的に切り出された前記複数の参照分割画像の前記分割領域となるべき領域の候補のうち、所定のサイズ以上のもののみを、前記分割領域として取り扱う、請求項４から６までのいずれか一項に記載の画像処理装置。
8. 前記参照分割画像格納部は、互いに異なる分割パターンで分割領域をそれぞれ画定する複数の分割テンプレートを格納するとともに、前記対象物の属性に応じて前記複数の分割テンプレートのうち一の分割テンプレートを選択して当該一の分割テンプレートに基づく分割パターンで各参照分割画像の占有領域となる分割領域を画定する、請求項１から３までのいずれか一項に記載の画像処理装置。
9. 前記参照分割画像作成部は、新たな分割パターンについての分割テンプレートを前記複数の分割テンプレートの１つとして追加する分割テンプレート更新部を有する、請求項８に記載の画像処理装置。
10. 一定の形態を有する対象物を撮像した対象画像から当該対象物の状態を判定する画像処理方法であって、
    前記対象画像に基づいて前記対象物の状態を判定するに際して基準として参照される参照画像を前記対象物の属性に応じて自動分割して複数の参照分割画像を作成する参照分割画像作成工程と、
    前記参照分割画像作成工程において作成された前記複数の参照分割画像を格納する参照分割画像格納工程と、
    前記対象画像を、前記参照分割画像作成工程での自動分割に基づいて分割することにより、前記複数の参照分割画像にそれぞれ対応する複数の対象分割画像を作成する対象分割画像作成工程と、
    前記参照分割画像格納工程において格納された前記複数の参照分割画像と前記対象分割画像作成工程において作成された前記複数の対象分割画像とを比較して、前記対象物の状態を判定する状態判定工程と、
    を有する画像処理工程。

Images