JP2015143951A - 物体判別装置、画像センサ、物体判別方法 - Google Patents

Abstract

【課題】様々な種類の物体判別に適用可能な汎用性を有しつつ、判別速度の低下および判別精度の低下を抑えることのできる技術を提供する。
【解決手段】画像を用いて物体の種類を判別する物体判別装置が、判別の対象となる複数種類の物体それぞれの特徴量が登録されている記憶部と、入力された画像から物体を検出する検出部と、前記検出部で検出された物体の特徴量を前記画像から抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別する判別部と、を有する。前記特徴量抽出部は、前記画像から複数種類の特徴量を抽出可能であり、前記判別部は、判別処理に利用する特徴量の数および組み合わせを変更可能に構成されている。
【選択図】図１１

Description

本発明は、画像を用いて物体の種類を判別する物体判別技術に関する。

ＦＡ（Factory Automation）分野においては、ラインを流れる計測対象物（以下、「ワーク」とも呼ぶ）を計測・監視するために、画像センサ（視覚センサ）と呼ばれるセンサデバイスが広く用いられている。画像センサは、カメラと画像処理装置から構成され、予め登録された教師物体（以下、「モデル」または「パターン」とも呼ぶ）とのマッチング処理によって画像内のワークを検出し、必要な情報の抽出・計測などを行う機能を有している。画像センサの出力は、例えば、ワークの識別、検査、仕分けなどの様々な用途に利用される。

ところで、ＦＡ分野における最近の傾向として、一つのラインに複数種類のワークを混在して流し、種類別に異なる処理を適用する、という生産形態が増えている。例えば、アソート商品の箱詰めラインにおいては、コンベヤ上に異なる種類のワークをランダムに流し、ピックアップロボットで種類別にピックアップし正しい位置に箱詰めするという作業を行う。また、多品種少量生産のラインでは、形、色、サイズなどの仕様が少しずつ異なるシリーズ商品が同一のラインで製造され、仕様ごとに加工方法や検査内容などを違える場合がある。

このように複数種類のワークが混在するライン（以下、「混流ライン」とも呼ぶ）において、ワークの種類別に異なる処理を実施するには、その前提として、画像センサでワークの種類を正確に判別することが要求される。ワークの種類判別は、画像認識や物体認識と呼ばれる要素技術を用いて実現できる。すなわち、複数種類のモデルの特徴量を予め画像センサに登録しておき、ワーク画像から抽出した特徴量と各モデルの特徴量との類似度を評価することで、ワークの種類を推定するのである。

画像から得られる特徴量には様々なものがあり、大きく分類すると、色（濃淡含む）に関する特徴量、形状に関する特徴量、大きさに関する特徴量、テクスチャ（模様）に関する特徴量などがある（以下、色、形状…などの画像特徴の分類を「特徴カテゴリ」又は単に「カテゴリ」と呼ぶ。）。汎用品として販売される画像センサに上記のような種類判別機能を実装する場合には、判別の対象となる物体の特徴は未知であり、どのような画像特徴に注目すれば種類判別できるかわからないため、複数のカテゴリの特徴量を複合的に用いた判別アルゴリズムを採用せざるを得ない。（例えば、特許文献１では、容器の種類を判別するために、色判別と形状判別を組み合わせたアルゴリズムが提案されている。）

特開平１１−８６０００号公報

しかしながら、複数のカテゴリの特徴量を組み合わせるアルゴリズムは、汎用性が高まる一方で、次のような不利がある。一つは、判別速度の低下である。特徴量の数が増えるほど、画像から特徴量を抽出する処理や特徴量同士の類似度を評価する処理にかかる計算コストがＮ倍で増え、一つのワークの判別に要する時間が増大する。判別速度の低下は、後工程の待ち時間の発生やタクトタイムの増大を招くため、好ましくない。もう一つのデ
メリットは、判別精度の低下である。例えば、形状のみが異なるシリーズ商品を形状に関する特徴量のみで判別するケースと、形状・色・大きさの３つのカテゴリの特徴量を組み合わせて判別するケースを考える。形状に関する特徴量ではシリーズ毎に有意な差がでるが、色に関する特徴量と大きさに関する特徴量ではほとんど差がでない。それゆえ、形状・色・大きさの３つのカテゴリの特徴量を組み合わせると、形状に関する特徴量の差が１／３に弱められてしまい、有意な差として検出できないおそれがある。これが誤判別を生む原因となるのである。

本発明は、上記実情に鑑みてなされたものであり、様々な種類の物体判別に適用可能な汎用性を有しつつ、判別速度の低下および判別精度の低下を抑えることのできる技術を提供することを目的とする。

上記目的を達成するために本発明では、判別の対象となる物体の特徴（言い換えれば、種類の違いが顕著に現れる特徴）に合わせて、判別処理に利用する特徴量の数および組み合わせを変更できるようにする、という構成を採用する。

具体的には、本発明に係る物体判別装置は、画像を用いて物体の種類を判別する物体判別装置であって、判別の対象となる複数種類の物体それぞれの特徴量が登録されている記憶部と、入力された画像から物体を検出する検出部と、前記検出部で検出された物体の特徴量を前記画像から抽出する特徴量抽出部と、前記特徴量抽出部で抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別する判別部と、を有する。ここで、前記特徴量抽出部は、前記画像から複数種類の特徴量を抽出可能であり、前記判別部は、判別処理に利用する特徴量の数および組み合わせを変更可能に構成されていることを特徴とする。

この構成によれば、複数種類の特徴量が利用可能であるため、様々な種類の物体判別に汎用的に適用することができる。加えて、判別処理に実際に利用する特徴量の数や組み合わせを変更できるようにしたことで、物体の種類の違いが顕著に現れる特徴に合わせたカスタマイズ（使用する特徴量の絞り込み）を可能とし、判別速度の低下および判別精度の低下を可及的に抑えることができる。

判別処理に利用する特徴量の数および組み合わせの変更は、いかなる方法ないし手段を用いて行ってもよい。例えば、物体判別装置が、判別処理に利用する特徴量をユーザに選択させる手動設定部を有する構成でもよいし、物体判別装置が、判別処理に利用する特徴量を自動で選択する自動設定部を有する構成でもよい。

手動設定の構成の場合は、ユーザが実物（またはその画像）を見て認識した特徴上の相違に合わせて特徴量を選択できるため、ユーザの意図によく合致した判別結果が得られると期待できる。また、形状の個体差が大きい、照明（明るさ）の変動がある、カメラ歪がある、などといったライン特有の条件（これは、ユーザの経験や知識として与えられる）を考慮して、信頼度の低い特徴量を判別処理から除外できるという利点もある。一方、自動設定の構成の場合は、手動で特徴量を選択するという操作が省略できるため、利便性および操作性の向上を図ることができる。

自動設定の構成において、判別処理に利用する特徴量はどのような選択基準ないしアルゴリズムにより選択してもよい。例えば、前記自動設定部は、前記複数種類の物体のあいだの分離性がより高い特徴量を優先的に、前記判別処理に利用する特徴量として選択するとよい。種類の異なる物体間の分離性が高い特徴量を判別処理に利用することで、判別精度（判別能力）の向上を期待できるからである。

なお、自動設定により選択される特徴量が必ずしも適当でない場合もある。例えば、上記のように、形状の個体差、照明の変動、カメラ歪といったライン特有の条件が原因で、個体ごとのばらつきや環境変動によるばらつきが大きい特徴量（信頼度の低い特徴量）もあるからである。したがって、前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補とをユーザに提示するとともに、特徴量の選択の修正をユーザに行わせる手動設定部をさらに有することが好ましい。これにより、ユーザの経験や知識を考慮して、信頼度の低い特徴量を非選択にしたり、逆に、信頼度の高い特徴量を選択するなど、ユーザの意図に合わせた柔軟なカスタマイズが可能となる。この場合に、前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補は、前記複数種類の物体のあいだの分離性が高い順に、提示されることが好ましい。つまり、装置側が良い（良好な判別結果が得られる）と考える特徴量をレコメンドするのである。これにより、ユーザによる特徴量の選択を支援できるとともに、ユーザが不適当な特徴量を選択しないように誘導することができる。

前記複数種類の特徴量は、異なるカテゴリの画像特徴に関する特徴量であるとよい。画像特徴のカテゴリとしては、例えば、色（濃淡含む）、大きさ（サイズ）、形状、テクスチャ（模様）などがある。このように異なるカテゴリの特徴量を選択可能としたことで、様々な種類の物体判別に汎用的かつ柔軟に適応可能となる。

前記手動設定部及び／又は前記自動設定部では、判別処理に利用する特徴量が、画像特徴のカテゴリの単位で選択できるようにするとよい。例えば、色／大きさ／形状／テクスチャのように画像特徴のカテゴリが選択肢となっている方が、判別する物体の特徴に適合するものを容易かつ適切に選択することができる。特に、特徴量の選択や修正をユーザに行わせる場合には、特徴量の名称などを提示し選択させるよりも、画像特徴のカテゴリを提示し選択させる方が分かりやすく直観的である。

物体判別装置が、判別処理に利用する特徴量の各々について、物体全体のうちのどの範囲から特徴量を抽出するかをユーザに指定させる範囲設定部をさらに有することが好ましい。特徴量を抽出する範囲を指定（限定）することで、異なる物体のあいだの特徴量の分離性をより高めることができ、判別精度のさらなる向上を期待できる。

前記判別部は、複数の特徴量を判別処理に利用する場合に、各特徴量について求めた類似度を統合した統合スコアを計算し、該統合スコアに基づいて前記検出された物体の種類を判別するとよい。これにより、複数の特徴量の総合評価が簡易に実現できる。なお、統合スコアの計算は、各特徴量の類似度（個別スコア）の合計、平均、加重平均など、どのような計算でもよい。

なお、本発明は、上記構成の少なくとも一部を有する物体判別装置もしくは画像処理装置として捉えることができる。また、本発明は、物体を撮影するカメラと、物体判別装置もしくは画像処理装置とを有する画像センサとして捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む物体判別方法もしくは物体判別装置の制御方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、様々な種類の物体判別に適用可能な汎用性を有しつつ、判別速度の低下および判別精度の低下を抑えることのできる技術を提供することができる。

画像センサの全体構成を示す図。 画像センサのハードウェア構成を示す図。 画像処理装置の種類判別にかかわる機能構成を示す図。 （ａ）は特徴量データベースを示す図、（ｂ）は特徴量選択テーブルを示す図。 稼働モードにおける種類判別処理の流れを示すフローチャート。 （ａ）取り込まれた画像、（ｂ）ワークの検出結果、（ｃ）種類判別結果の一例を示す図。 図５のステップＳ１０２の処理の詳細を示すフローチャート。 図５のステップＳ１０３の処理の詳細を示すフローチャート。 設定モードにおけるモデル登録および特徴量選択の流れを示すフローチャート。 設定画面に取り込まれた画像と切り出されたモデル画像の一例を示す図。 特徴カテゴリリストと特徴量の選択／非選択の状態の一例を示す図。 特徴量選択の他の例を示す図。 特徴量のレコメンドを説明する図。 特徴量抽出範囲の指定を説明する図。

本発明は、複数種類の物体が混在し得る状況（不規則な順番で視野に現れる場合も含む）に対し、カメラで撮影した画像を利用して各々の物体の種類を判別する技術に関するものである。この技術は、ＦＡ用の画像センサ、コンピュータビジョン、マシンビジョンなどにおける物体判別に応用することができる。以下に述べる実施形態では、本発明の好ましい応用例の一つとして、複数種類のワークが混在して流れる混流ラインにおいて各ワークの検出および種類判別を行うＦＡ用の画像センサに本発明を実装した例を説明する。

（画像センサ）
図１を参照して、本発明の実施形態に係る画像センサの全体構成および適用場面について説明する。

画像センサ１は、生産ラインなどに設置され、製造物（ワーク２）を撮像することで得られる入力画像を用いてワーク２の種類判別などを行うシステムである。なお、画像センサ１には、種類判別のほかにも、エッジ検出、キズ・汚れ検出、面積・長さ・重心の計測など、必要に応じて様々な画像処理機能を実装可能である。

図１に示すように、コンベヤ３上には複数種類のワーク２が混在して流れている。画像センサ１は、カメラ１１から定期的に画像を取り込み、画像処理装置１０によって画像に含まれる各ワーク２の検出、種類判別などの処理を実行し、その結果をディスプレイ１２に表示したり、外部装置（ＰＬＣ４など）へと出力する。ＰＬＣ（Programmable Logic Controller）４は、画像センサ１、コンベヤ３、ロボット等の製造装置（不図示）の制御
を司るデバイスである。

（画像センサのハードウェア構成）
図２を参照して、画像センサ１のハードウェア構成を説明する。画像センサ１は、概略、カメラ１１と画像処理装置１０から構成される。

カメラ１１は、ワーク２の画像を画像処理装置１０に取り込むためのデバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-
Coupled Device）カメラを好適に用いることができる。入力画像の形式（解像度、カラー／モノクロ、静止画像／動画、階調、データ形式など）は任意であり、ワーク２の種類やセンシングの目的に合わせて適宜選択すればよい。可視光像以外の特殊な画像（Ｘ線画像、サーモ画像など）を検査に利用する場合には、その画像に合わせたカメラを用いてもよい。

画像処理装置１０は、ＣＰＵ（中央演算処理装置）１１０と、記憶部としてのメインメモリ１１２およびハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続される。

カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１とのあいだのデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部（マウス１３、キーボード、タッチパネル、ジョグコントローラなど）とのあいだのデータ伝送を仲介する。表示コントローラ１２０は、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイ１２での表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４のあいだのデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール（あるいは、パーソナルコンピュータやサーバ装置）などとのあいだのデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記憶媒体であるメモリカード１４との間のデータ伝送を仲介する。

画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４またはメモリカード１４に格納されたプログラム（命令コード）を読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に格納された状態で流通する。

汎用的なパーソナルコンピュータを画像処理装置１０として利用する場合には、本実施形態で述べる物体判別機能を提供するためのアプリケーションプログラムに加えて、コンピュータの基本的な機能を提供するためのＯＳ（オペレーション・システム）がインストールされていてもよい。この場合には、本実施形態に係るプログラムは、ＯＳが提供するプログラムモジュールを利用することで、目的とする機能を実現してもよい。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部または全部が専用のロジック回路で代替されてもよい。

（画像処理装置の機能構成）
図３に、画像処理装置が提供する種類判別（物体判別）にかかわる機能構成を示す。画像処理装置１０は、種類判別にかかわる機能として、画像入力部１３０、検出部１３１、特徴量抽出部１３２、判別部１３３、出力部１３４、記憶部１３５、設定部１３６を有している。これらの機能ブロックは、画像処理装置１０のＣＰＵ１１０がコンピュータプログラムを実行することにより実現される。

図４は、記憶部１３５に格納されているデータの一例である。図４（ａ）は、判別の対象となる複数種類の物体（モデル）の特徴量が登録されている特徴量データベースを模式的に示しており、図４（ｂ）は、判別処理に利用する特徴量を定義する特徴量選択テーブルを模式的に示している。

物体判別に利用可能な画像特徴には様々なものがある。本実施形態では、一例として、「色」、「形状」、「サイズ」、「模様」の４つのカテゴリの画像特徴を用いる。「色」特徴を表す指標としては、例えば、色ヒストグラム、代表色、色相、彩度、色記述子（Ｃ−ＳＩＦＴなど）、色モーメントなどの特徴量を用いることができる。「形状」特徴を表す指標としては、例えば、ＨＯＧ（Histograms of Oriented Gradients）特徴量、円形度、フーリエ記述子、アスペクト比、輪郭の凹凸度、重心などの特徴量を用いることができる。「サイズ」特徴を表す指標としては、例えば、面積、周囲長、半径などの特徴量を用いることができる。「模様」特徴を表す指標としては、例えば、Haar-like特徴量、Local
Binary Patter、記述子（ＳＩＦＴ、ＳＵＲＦなど）、空間周波数などの特徴量を用いることができる。ここで挙げた特徴カテゴリ及び各カテゴリの特徴量は一例であり、これら以外のものを用いても構わない。また、一つの特徴カテゴリに対し複数の特徴量を用いてもよい。特徴量データベースには、５種類のモデルのそれぞれについて、上記４つのカテゴリの特徴量が登録されている。

画像処理装置１０は、４つのカテゴリの特徴量すべてを判別処理に利用することも可能である。しかし、すべての特徴量を用いると、前述のように判別速度と判別精度の低下を招くおそれがある。それゆえ本実施形態では、４つのカテゴリのうちから選択した一部の特徴量のみを判別処理に利用できるような構成を採用している。図４（ｂ）に示す特徴量選択テーブルは、判別処理に利用する特徴量を定義するテーブルであり、フラグが「１」に設定されているカテゴリの特徴量（図４（ｂ）では、「色」と「形状」の２つ）のみが判別処理に利用されることとなる。

（画像処理装置の動作）
画像処理装置１０は、コンベヤ３上を流れるワーク２の画像を取り込み、ワーク２の検出や種類判別などの処理を実行する「稼働モード」と、稼働モードに先立ち、画像処理装置１０に対して各種設定を行うための「設定モード」とを有している。モードの切り替えはユーザが任意に行うことができる。図４（ａ）に示した特徴量データベースに対するモデルの登録、図４（ｂ）に示した特徴量選択テーブルの設定・更新は、「設定モード」で行われる作業である。

以下、すでに図４（ａ）および図４（ｂ）に示す設定が行われているという前提で「稼働モード」の動作について説明をしたのち、「設定モード」におけるモデル登録および特徴量選択の動作について説明する。

（１）稼働モード
図５のフローチャートに沿って、稼働モードにおける各機能ブロックの動作、および、種類判別処理の全体の流れについて説明する。

ＰＬＣ４からのトリガー信号が入力されると、画像入力部１３０がカメラ１１から画像を取り込む（ステップＳ１００）。図６（ａ）は取り込まれた画像の一例であり、コンベヤ上に５種類の物体（例：アソートチョコレート）が混在している状態を示している。

次に、検出部１３１が、入力画像から個々のワーク２を検出する（ステップＳ１０１）。検出処理にはどのようなアルゴリズムを用いてもよい。例えば、２値化により背景をカットした後、所定の面積よりも大きい領域（ピクセル群）をワーク２として検出する方法、パターンマッチングによりワークらしい領域を探索する方法などを利用することができる。なお、検出部１３１は、必要に応じて入力画像に対し平滑化やノイズ除去などの前処理を行うとよい。図６（ｂ）は検出結果の一例であり、画像から検出された個々のワークの領域を点線矩形で示している。

次に、特徴量抽出部１３２が、検出されたワークの画像を解析して、必要な特徴量を抽出する（ステップＳ１０２）。図７は、ステップＳ１０２の処理の詳細を示している。ここで、Ｎはカテゴリの総数（本実施形態ではＮ＝４）、Ｘｉはｉ番目（ｉ＝１〜Ｎ）のカテゴリに関する特徴量、Ｆｉは特徴量Ｘｉのフラグの値を示している。まず、特徴量抽出部１３２は、記憶部１３５から特徴量選択テーブルを読み込む（ステップＳ１１０）。そして、Ｎ種類の特徴量Ｘ１〜ＸＮのそれぞれについて、フラグＦｉが「１」か否かを調べ（ステップＳ１１１）、フラグが「１」の場合はその特徴量Ｘｉを画像から抽出する処理を行い（ステップＳ１１２）、フラグが「１」でない場合は特徴量抽出をスキップする。図４（ｂ）の例では、注目するワークの特徴量として、「色」に関する特徴量と「形状」に関する特徴量の２種類の特徴量が抽出されることとなる。このように本実施形態では、画像から必要な特徴量のみを抽出し、不必要な特徴量（判別処理に使わない特徴量）については抽出処理を省略するようにしたので、全体としての処理時間の短縮を図ることができる。

続いて、判別部１３３が、ワークの特徴量を特徴量データベース（図４（ａ））に登録されている５種類のモデルそれぞれの特徴量と比較し、ワークの種類を判別する（ステップＳ１０３）。

図８は、ステップＳ１０３の処理の詳細を示している。ここで、Ｃｉはｉ番目のカテゴリに関する特徴量に対応した識別器を表す。まず、判別部１３３は、記憶部１３５から特徴量選択テーブルを読み込む（ステップＳ１２０）。そして、それぞれの特徴量Ｘｉについて、フラグＦｉが「１」か否かを調べ（ステップＳ１２１）、フラグが「１」の場合は識別器Ｃｉに対しワークの特徴量Ｘｉを入力する（ステップＳ１２２）。フラグが「１」でない場合は識別器Ｃｉによる計算をスキップする。識別器Ｃｉは、特徴量データベースを参照し、ワークの特徴量Ｘｉとモデルの特徴量Ｘｉのあいだの類似度（ワークとモデルが同種の物体である確率）を計算し、スコアを出力する（ステップＳ１２３）。ステップＳ１２１〜Ｓ１２３をＮ種類の特徴量Ｘ１〜ＸＮについて繰り返したのち、識別器Ｃ１〜ＣＮの出力スコアを統合して最終的な統合スコアを求める（ステップＳ１２４）。例えば、スコアの合計、平均、加重平均などを求めればよい。なお、ステップＳ１２４では、フラグが「１」でない特徴量のスコアはゼロとするか無視すればよい。

ステップＳ１２０〜Ｓ１２４を５種類のモデルのそれぞれについて繰り返すことで、ワークと各モデルとのあいだの類似度（スコア）が得られる。判別部１３３は、５種類のモデルのうちで最大のスコアが得られたものとワークとが同種の物体であると判定する（ステップＳ１２５）。なお、最大のスコアが所定の下限値に満たない場合には、ワークが未知の物体である（５種類のモデルのいずれにも該当しない）可能性があるため、エラー（種類不明）と判定すればよい。

ステップＳ１０１で検出されたすべてのワークに対し、ステップＳ１０２およびＳ１０３の処理を繰り返すことで、各ワークの種類を判別することができる。図６（ｃ）は判別結果の一例であり、個々のワークの判別結果（種類）を１〜５の数字で示している。この判別結果は、出力部１３４によってディスプレイ１２またはＰＬＣ４に出力される（ステップＳ１０４）。

（２）設定モード
次に、図９のフローチャートに沿って、設定モードにおけるモデル登録および特徴量選択の動作について説明する。なお、図９に示す処理は、例えば、画像センサ１を新たに設置したとき、ラインに流すワークの種類が変更になったとき、製造条件や環境条件などが変化したとき、判別精度の改善を行うとき、などに実行される。

（ａ）モデル登録
まず、判別の対象となる５種類の物体（モデル）を用意し、それらを稼働時と同じ条件でカメラ１１で撮影し、画像を取り込む（ステップＳ２００）。図１０（ａ）は、設定部１３６によりディスプレイ１２に表示される設定画面のユーザインターフェイスの一例である。設定画面右側の画像ウィンドウ２０には、カメラ１１から画像入力部１３０を介して取り込まれた画像が表示される。

次に、ユーザが、登録するモデルを指定する（ステップＳ２０１）。例えば、マウス１３などの入力部を操作して、画像ウィンドウ２０に表示された画像内の各モデルの領域を個別に囲むことで、各モデルの領域を教示することができる。画像ウィンドウ２０内の点線矩形はユーザにより指定された各モデルの領域を示している。

モデルの領域指定が完了すると、設定部１３６は、領域指定に従って各モデルの画像の切り出しを行う（ステップＳ２０２）。得られた５種類のモデル画像２２は、図１０（ｂ）に示すように画像ウィンドウ２０内に並べて表示される。モデル画像２２それぞれに対し、モデル名称の入力が可能である。なお、ここでは、５種類すべてのモデルを一回で撮影し、画像から各モデル画像を切り出しているが、モデルを一つずつ個別に撮影することで、領域指定および画像切り出しを省略ないし簡略化してもよい。

次に、設定部１３６は、特徴量抽出部１３２を利用して、各モデル画像２２から特徴量の抽出を行う（ステップＳ２０３）。抽出された特徴量（一般に、多次元のベクトルで表現される）は、モデル別に、記憶部１３５内の特徴量データベースに登録される（図４（ａ）参照）。なお、この段階では、判別処理にどのカテゴリの特徴量を利用するか未定であるため、すべてのカテゴリの特徴量の抽出が行われる。以上でモデル登録が完了である。

（ｂ）特徴量の選択
続いて、判別処理に利用する特徴量の選択処理に移る。判別処理に利用する特徴量の選択（数および組み合わせの決定）には、大きく分けて、ユーザが自己の判断に基づき行う手動設定と、設定部１３６が自動で選択する自動設定の２つの方法がある。本実施形態では、最初に設定部１３６による自動設定を行い、必要に応じてユーザが手動で変更する、という構成を採用する。

（ｂ−１）自動設定
本実施形態の設定部１３６は、５種類のモデルのあいだの分離性がより高い特徴量を優先的に選択する、という選択基準にしたがって、判別処理に利用する特徴量を決める。モデル間の分離性が高い特徴量を判別処理に利用することで、判別精度（判別能力）の向上を期待できるからである。

具体的には、図９のステップＳ２０４に示すように、設定部１３６は、特徴量データベースに登録された各モデルの特徴量を参照して、特徴量ごとにモデル間の分離性を評価する。分離性の指標（分離度）としては、例えば、特徴量のモデル間分散、特徴量のモデル間距離の合計など、いかなる指標を用いてもよい。設定部１３６は、４種類の特徴量のうち、最も分離性の高い特徴量から順に所定の個数（例えば２個）を、判別処理に利用する特徴量に選ぶ（ステップＳ２０５）。なお、ステップＳ２０５で選択する特徴量の個数は、ユーザが変更できるようにしてもよいし、分離性の評価結果などに応じて動的に変更してもよい（例えば、分離性が所定の基準よりも高い特徴量をすべて選択するなど）。

その後、設定部１３６は、ステップＳ２０５の選択結果にしたがって記憶部１３５の特徴量選択テーブルのフラグを設定するとともに（ステップＳ２０６）、図１１（ａ）に示
すように、設定画面左側の情報ウィンドウ２１に特徴カテゴリリスト２３と選択／非選択のステイタスを示すチェックボックス２４が表示される（ステップＳ２０７）。ユーザは、この情報ウィンドウ２１をみることで、判別処理に利用される画像特徴の種類（画像処理装置１０が推奨する画像特徴の種類）を確認することができる。

（ｂ−２）手動設定
上述した自動設定は、ユーザによる操作が不要となるため、利便性および操作性の向上を図ることができるという利点がある。しかし、自動設定により選択される特徴量が必ずしも適当でない場合も想定される。例えば、形状やサイズの個体差が大きい物体に対して「形状」や「サイズ」に関する特徴量を利用するのは妥当でないし、照明（明るさ）の変動がある環境では「色」に関する特徴量は信頼度が低い可能性もある。また、カメラ歪がある場合には、ワークの画像内での位置に依存して形状が歪むため、「形状」に関する特徴量は信頼度が低い可能性がある。ここで例示したようなライン特有の条件や事情は、モデル登録に用いた画像からでは知ることができないので、自動設定では考慮することが難しい。そこで、本実施形態の設定部１３６は、手動設定というオプションを用意し、ユーザの経験や知識に基づくカスタマイズ（設定の追い込み）を可能とする。

具体的には、ユーザが、マウス１３などの入力部を操作して、チェックボックス２４を押下すると、カテゴリごとに特徴量の選択／非選択を切り替えることができる（ステップＳ２０８）。図１１（ｂ）は、ユーザが「色」を非選択にし、「形状」のみを判別処理に利用するよう変更した例である。最後に、ＯＫボタン２５が押下されると、設定部１３６が記憶部１３５内の特徴量選択テーブルを更新し、特徴量の選択処理を終了する。

手動設定の場合は、ユーザが実物（またはその画像）を見て認識した特徴上の相違（例えば、「色の違いが目立つ」、「形状の違いで区別したい」など）に合わせて特徴量を選択できるため、ユーザの意図によく合致した判別結果が得られると期待できる。また、前述のように、ユーザの経験や知識を考慮して、信頼度の低い特徴量（個体ごとのばらつきや環境変動によるばらつきが大きい特徴量）を非選択にしたり、逆に、信頼度の高い特徴量（個体ごとのばらつきや環境変動によるばらつきが小さい特徴量）を選択するなど、ユーザの意図に合わせた柔軟なカスタマイズが可能となり、より良い判別精度が期待できる。なお、本実施形態では、特徴カテゴリのリストを提示し、特徴カテゴリの単位で選択／非選択を切り替えられるようにしたので、特徴量の名称（ヒストグラム、ＨＯＧ特徴量、Haar-like特徴量など）をそのまま提示し選択させるよりも、意味を理解しやすく、また
、判別する物体の特徴に適合するものを容易かつ適切に選択することが可能である。

（特徴量選択の例）
図１１（ａ）とは異なる判別対象に対する特徴量選択の例を、図１２（ａ）〜図１２（ｃ）に示す。図１２（ａ）は、デザインはほぼ同じで、サイズのみが異なるシリーズ商品であり、この場合は「サイズ」に関する特徴量による判別が有効である。図１２（ｂ）は、パッケージに付されたラベルの内容が異なるシリーズ商品であるが、この場合は例えば「色」に関する特徴量による判別が有効である。図１２（ｃ）は、外箱のデザインが異なるシリーズ商品であり、この場合は例えば「模様」に関する特徴量と「色」に関する特徴量による判別が有効である。

このように、本実施形態の画像処理装置１０では、複数のカテゴリの特徴量が利用可能であるため、様々な種類の物体判別に汎用的かつ柔軟に適用することができる。加えて、判別処理に実際に利用する特徴量の数や組み合わせを変更できるようにしたことで、物体の種類の違いが顕著に現れる特徴に合わせたカスタマイズ（使用する特徴量の絞り込み）を可能とし、判別速度の高速化および判別精度の向上を図ることができる。

（変形例）
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。

例えば、図１１（ａ）では、特徴カテゴリリスト２３とチェックボックス２４を用いて、選択済みの特徴量（自動設定で選択された特徴量）と、他に選択可能な特徴量の候補とをユーザに提示する構成とした。これは、ユーザの手動による変更を可能とするためである。そこでさらに進んで、設定部１３６が、特徴カテゴリリスト２３の並びをおすすめ順に並び替えるとよい。具体的には、前述のように特徴量ごとに分離性を評価した後、分離性が高い順に特徴量を並べ替え、その並びに従って特徴カテゴリリスト２３およびチェックボックス２４の表示を行う。図１３（ａ）は、図１１（ａ）の特徴カテゴリリスト２３を並べ替えて表示した例である。分離性の高い「形状」および「色」がリストの上位に表示されていることがわかる。また、図１３（ｂ）のように、特徴量の組み合わせを提示する特徴カテゴリリスト２３を表示することも好ましい。この場合は、特徴量の組み合わせごとに分離性を評価し、分離性が高い順に特徴量の組を並べ替えて提示すればよい。なお、特徴量の組み合わせごとの分離性は、例えば、特徴量ごとの分離性の平均などで求めることができる。特徴量の組み合わせの数は膨大であるため、例えば、３個以下の特徴量の組み合わせの全通りについて分離性を評価し、そのうち上位１０個の組み合わせを提示するなどすればよい。図１３（ａ）、図１３（ｂ）で説明したように、装置側が良い（良好な判別結果が得られる）と考える特徴量（または特徴量の組み合わせ）をレコメンドすることで、ユーザによる特徴量の選択を支援できるとともに、ユーザが不適当な特徴量を選択しないように誘導することができるという利点がある。

上述した実施形態では、特徴量を判別処理に使用するか否かを指定するだけであったが、さらに、使用する特徴量に対して優先度を設定できるようにしてもよい。例えば、図１３（ｃ）に示すように、特徴カテゴリリスト２３において、優先度を指定する数字を入力できるようにする。指定された優先度は、判別処理において統合スコアを計算する際（ステップＳ１２４）の重みとして利用できる。例えば、個別スコアを加重平均する際に、優先度が高い特徴量に関わるスコアほど重みを大きくするのである。あるいは、最初に優先度が最も高い特徴量のみを用いて種類判別を行い、そこで判別不能となった場合（例えば、どのモデルに対するスコア（類似度）も低い場合、同程度のスコア（類似度）を示すモデルが複数ある場合など）に、次に優先度の高い特徴量も考慮する、というように段階的に判別処理を行うこともできる。いずれの方法でも、優先度の高い特徴量（特徴カテゴリ）の方が重視されるため、ユーザの意図により合致した判別結果が得られるものと期待できる。

図１４に示すように、設定部１３６が、判別処理に利用する特徴量の各々について、物体全体のうちのどの範囲から特徴量を抽出するかをユーザに範囲指定させることも好ましい。図１４に示したのは、図１２（ｂ）に示したのと同様、パッケージに付されたラベルの内容が異なるシリーズ商品であり、「色」に関する特徴量による判別が有効である。この例のように、商品間の相違が一部分（ラベルのみ）に限られていることが分かっている場合には、予め特徴量を抽出する範囲を指定（限定）することで、商品間の特徴量の分離性をより高めることができ、判別精度のさらなる向上を期待できる。また、模様やデザインが複雑な物体の場合も、物体全体から特徴量を抽出するよりも、一部の領域（例えば商品名の部分など）のみから特徴量を抽出するほうが有効である場合もある。範囲指定の具体的な操作法としては、例えば、マウス１３などの入力部を用いて、特徴カテゴリリスト２３の範囲指定ボタン２６を押下することで範囲指定する特徴量を特定した後、画像ウィンドウ２０のモデル画像２２上に特徴量抽出範囲２７を描画する方法などを採用すればよい。指定された範囲は、例えば、画像座標などの形式で特徴量とともに特徴量データベー
スに登録される。なお、特徴量ごとに異なる範囲を指定できることが好ましい。

上述した実施形態では、自動設定と手動設定を併用したが、自動設定のみ、あるいは、手動設定のみの構成としてもよい。手動設定のみの場合は、モデル登録の前に特徴量の手動設定を行わせ、先に特徴量選択テーブルを生成することで、モデル登録の際に判別処理に利用する特徴量のみを抽出し登録するようにしてもよい。これによりモデル登録処理に要する時間を短縮できる。なお、上述した実施形態では、特徴カテゴリの単位で特徴量を選択させるユーザインタフェースを採用したが、特徴量の名称などをリスト表示し、特徴量の単位で判別処理に利用するものを選択できるようにしてもよい。これにより、より高度なカスタマイズが可能となる。

図１では、カメラと画像処理装置が別体で構成されているが、カメラと画像処理装置が一体となった構成の画像センサを用いることもできる。また、画像処理装置に複数台のカメラを接続し、一つの画像センサで複数のラインの計測・監視を行うこともできる。また、グリッドコンピューティング、クライアントサーバシステム、クラウドコンピューティングなどの技術を適用し、画像処理装置の機能の一部または全部を別のコンピュータで実行するようにしてもよい。

１：画像センサ、２：ワーク、３：コンベヤ、４：ＰＬＣ
１０：画像処理装置、１１：カメラ、１２：ディスプレイ
２０：画像ウィンドウ、２１：情報ウィンドウ、２２：モデル画像、２３：特徴カテゴリリスト、２４：チェックボックス、２５：ＯＫボタン、２６：範囲指定ボタン、２７：特徴量抽出範囲
１３０：画像入力部、１３１：検出部、１３２：特徴量抽出部、１３３：判別部、１３４：出力部、１３５：記憶部、１３６：設定部

Claims (14)

1. 画像を用いて物体の種類を判別する物体判別装置であって、
   判別の対象となる複数種類の物体それぞれの特徴量が登録されている記憶部と、
   入力された画像から物体を検出する検出部と、
   前記検出部で検出された物体の特徴量を前記画像から抽出する特徴量抽出部と、
   前記特徴量抽出部で抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別する判別部と、
   を有し、
   前記特徴量抽出部は、前記画像から複数種類の特徴量を抽出可能であり、
   前記判別部は、判別処理に利用する特徴量の数および組み合わせを変更可能に構成されている
   ことを特徴とする物体判別装置。
2. 判別処理に利用する特徴量をユーザに選択させる手動設定部をさらに有する
   ことを特徴とする請求項１に記載の物体判別装置。
3. 判別処理に利用する特徴量を自動で選択する自動設定部をさらに有する
   ことを特徴とする請求項１に記載の物体判別装置。
4. 前記自動設定部は、前記複数種類の物体のあいだの分離性がより高い特徴量を優先的に、前記判別処理に利用する特徴量として選択する
   ことを特徴とする請求項３に記載の物体判別装置。
5. 前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補とをユーザに提示するとともに、特徴量の選択の修正をユーザに行わせる手動設定部をさらに有する
   ことを特徴とする請求項３または４に記載の物体判別装置。
6. 前記自動設定部によって選択された特徴量と他に選択可能な特徴量の候補は、前記複数種類の物体のあいだの分離性が高い順に、提示される
   ことを特徴とする請求項５に記載の物体判別装置。
7. 前記複数種類の特徴量は、異なるカテゴリの画像特徴に関する特徴量である
   ことを特徴とする請求項１〜６のうちいずれか１項に記載の物体判別装置。
8. 判別処理に利用する特徴量が、画像特徴のカテゴリの単位で選択される
   ことを特徴とする請求項７に記載の物体判別装置。
9. 判別処理に利用する特徴量の各々について、物体全体のうちのどの範囲から特徴量を抽出するかをユーザに指定させる範囲設定部をさらに有する
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の物体判別装置。
10. 前記判別部は、複数の特徴量を判別処理に利用する場合に、各特徴量について求めた類似度を統合した統合スコアを計算し、該統合スコアに基づいて前記検出された物体の種類を判別する
    ことを特徴とする請求項１〜９のうちいずれか１項に記載の物体判別装置。
11. 物体を撮影するカメラと、
    前記カメラから入力された画像から前記物体の種類を判別し、その結果を出力する、請
    求項１〜１０のうちいずれか１項に記載の物体判別装置と、を有する
    ことを特徴とする画像センサ。
12. 画像を用いて物体の種類を判別する物体判別方法であって、
    コンピュータが、判別の対象となる複数種類の物体それぞれの特徴量を記憶部に登録するステップと、
    コンピュータが、入力された画像から物体を検出するステップと、
    コンピュータが、前記検出された物体の特徴量を前記画像から抽出するステップと、
    コンピュータが、前記抽出された特徴量と前記記憶部に登録されている前記複数種類の物体それぞれの特徴量との類似度を評価することにより、前記検出された物体の種類を判別するステップと、
    コンピュータが、ユーザの指定によりまたは自動で、判別処理に利用する特徴量の数および組み合わせを変更するステップと、を含む
    ことを特徴とする物体判別方法。
13. 請求項１２に記載の物体判別方法の各ステップをコンピュータに実行させる
    ことを特徴とするプログラム。
14. 請求項１３に記載のプログラムを非一時的に記憶する
    ことを特徴とするコンピュータ読取可能な記録媒体。

Images