JP2011170745A - パンの識別装置とそのプログラム - Google Patents

Abstract

【課題】 画像認識によりパンの種類を正確に識別する。
【構成】 パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。
【選択図】 図１

Description

この発明はパンの識別に関し、特に画像認識によりパンの種類を識別する装置とそのプログラムとに関する。

パンの種類を識別したいとの要求がある。例えばパン焼き釜からどの種類のパンを何個焼き上げたのかを自動的に認識し、生産管理を行いたいとの要求がある。またパンの販売時にトレー上のパンの種類と種類毎の数を自動的に認識し、価格の計算と販売数の管理を自動化したいとの要求がある。パン焼き釜の付近で、パンの種類と個数を人手でキー入力するのは面倒であるし、粉にまみれた手でキーを押すのは好ましくない。販売員がパンの種類を正確に見分けるのには熟練が必要で、未熟練の販売員がPOS端末から人手で入力するには無理がある。

食品の種類の識別に関して、特許文献１(特開2000-225049A)は皿上の寿司の種類を画像認識することを開示している。特許文献１では、同一の販売価格で類似したパターンが存在する場合、寿司の種類毎に皿への並べ方を変えることを提案している。しかしながらこの手法は、パンの種類の識別には有効とは考えにくい。

パンの識別での問題点は、以下の点にある。
1) パンの色は基本的に焦げ茶色で、形状は円形に近いものが多い。
2) 同種のパンでも個体間で形状の差が大きく、例えば種類が同じクロワッサンでも、パンの縦横比、パンの中央部での横方向の突起の有無など、形状が変化に富んでいる。
3) ピロシキとカレーパンなど、種類が異なるにもかかわらず、揚げパンで平面視で真円でないなど、基本的特徴が共通なものがある。
4) こしアンパンと粒アンパンのように、極めて類似したパンがある。

特開2000-225049A

この発明の課題は、画像認識によりパンの種類を正確に識別することにある。

この発明のパンの識別装置は、カメラからのパンのカラー画像を画像認識することにより、パンの種類を識別する装置であって、
パンのカラー画像から、少なくともパンの内側領域のカラー画像と外側領域のカラー画像とを切り出す切り出し部と、
パンのカラー画像から、パンの輪郭に関する特徴量を求めるための輪郭データ抽出部と、
パンのカラー画像から、パンのテクスチャーに関する特徴量を求めるためのテクスチャーデータ抽出部と、
パンの内側領域のカラー画像のカラースペース内での特徴量を求めるための内側カラーデータ抽出部と、
パンの外側領域のカラー画像のカラースペース内での特徴量を求めるための外側カラーデータ抽出部と、
前記各抽出部で求めた特徴量によりパンの種類を識別する識別部、とを備えている。

この発明のパンの識別プログラムは、
カメラからのパンのカラー画像を画像認識することにより、パンの種類を識別するために、
コンピュータを、
パンのカラー画像から、少なくともパンの内側領域のカラー画像と外側領域のカラー画像とを切り出す切り出し部と、
パンのカラー画像から、パンの輪郭に関する特徴量を求めるための輪郭データ抽出部と、
パンのカラー画像から、パンのテクスチャーに関する特徴量を求めるためのテクスチャーデータ抽出部と、
パンの内側領域のカラー画像のカラースペース内での特徴量を求めるための内側カラーデータ抽出部と、
パンの外側領域のカラー画像のカラースペース内での特徴量を求めるための外側カラーデータ抽出部と、
前記各抽出部で求めた特徴量によりパンの種類を識別する識別部、として機能させる。

好ましくは、前記識別部は、パンの全ての種類の中からパンの種類を識別する第１段の識別部と、少なくとも第１段の識別部でパンの種類を特定できなかったものに対して、第１段で識別したパンの種類の候補を対象としてパンの種類を識別する第２段の識別部とからなる。
より好ましくは、前記テクスチャーデータ抽出部ではパンのカラーデータ中の輝度成分を用いてテクスチャーの特徴量を求め、
前記切り出し部は、パンの内側領域のカラー画像と、中間領域のカラー画像と、外側領域のカラー画像の３種類のカラー画像を切り出し、
さらに、パンの中間領域のカラー画像のカラースペース内での特徴量を求めるための中間カラーデータ抽出部を備えている。

この発明では、パンの輪郭、パンのテクスチャー、パンを少なくとも内側と外側とに分割した際の、内側と外側とのカラースペースでの特徴を用いて、パンの種類を識別する。パンの輪郭は、アンパン、ロールパンなどの丸いパンと、デニッシュ、フランスパンなどの細長いパン、食パン系の四角いパン、ピザ系の三角のパンの識別に有効である。テクスチャーは、ロールパン、パイ系のパンなどのパン皮自体のテクスチャーと、揚げパンのパン粉のテクスチャー、砂糖をまぶしたパンでの砂糖粒、豆パンでの豆などを識別に利用できる。パンの内側のカラーデータはトッピングの色を反映し、外側のカラーデータはパン自体の色を反映している。これらの特徴はいずれも単独でパンを識別するには不十分であるが、これらの特徴を組合せることにより、多種類のパンをほぼ正確に識別できる。

しかしながら、こしアンパンと粒アンパンなどのように、極めて類似したパンを識別することは難しい。そこで第１段階の識別でパンの種類をほぼ識別した後に、第２段階の識別により、類似したパンのグループ内で識別すると、正確にパンの種類を識別できる。第２段階の識別は、例えば第１段階で識別が困難なものに対してのみ行えばよい。

パンの種類を正確に識別すると、パンの販売時に価格計算を自動化でき、販売数量をパンの種類毎に自動的に求めることができる。またパンの生産数量と種類とを正確に求めることができる。

実施例の識別装置のブロック図 実施例での特徴量の抽出(前処理)アルゴリズムを示すフローチャート 背景(トレー)からのパンの切り出しを示す図 パンを左側の内側、中央部の中間、右側の外側の３領域へ分割することを示す図 実施例での学習アルゴリズムを示すフローチャート 実施例での識別アルゴリズムを示すフローチャート 第１段の識別での特徴数と正解率との関係を示す図 第２段での識別の例を示す図で、右側のパンは「ミルクフランス」、左側のパンは「アーモンドフランス」である。

以下に本発明を実施するための最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

図１〜図８に実施例を示す。図１に実施例の識別装置２を示し、４は適宜の光源で、６はＣＣＤカメラで、他のカメラでも良い。８は背景分離部で、ＣＣＤカメラ６のカラー画像からパンと背景とを分離する。背景は例えば複数個のパンを載せたトレーであり、色相の変化、あるいは色相の変化と輝度の変化などから、パンをトレーから切り出す。なおパンが互いに接触して置かれている場合、パンが接触してない部分での輪郭から始めて、パンが接触している部分まで輪郭を延長することにより、パンの画像を互いに分離する。こなおパンが互いに接触している場合、接触部で輝度が急変する。切り出し部１０は背景分離部８で切り出したパンの画像を、例えば内側(トッピングのある領域)、中間、外側の３領域に分割する。分割は内側と外側の２領域などでも良い。

識別装置２に光源４とＣＣＤカメラ６を設けず、これらを識別装置２とは別体にしても良い。用いるカラースペースはRGB,H(色相)S(飽和度)V(輝度)などとし、輝度と明度は同じ意味で用いる。画像認識にクラスターへの分離を用いたが、クラスターを用いない認識方法でも良い。

背景分離部８からのデータを輪郭データ抽出部１２へ送り、面積、円形度、重心から輪郭までの距離の平均と分散、縦横比、充填度、輪郭のHuモーメント、などの特徴量を抽出する。円形度は例えばパンの面積とパンの輪郭長の２乗の比である。縦横比はパンの最大長さとこれに直角な方向での長さとの比で、充填度はパンの面積とパンを収容できる最小の長方形の面積との比である。Huモーメントは例えば２次のモーメントなどを用い、それ自体としては画像認識において周知である。Huモーメントは画像の回転、縮小、拡大などにより不変で、同種のパンであればHuモーメントも互いに類似することが期待できる。

テクスチャーデータ抽出部１４はパン全体の画像からテクスチャーデータを抽出し、ここではテクスチャーデータとして同時生起行列を求めるが、２次元フーリエ変換での高周波数成分、あるいは２次元の自己相関関数などを求めてもよい。同時生起行列では、i,jを画素を表す添字とし、画素値は輝度とする。画素i,jが相対的にδ＝(d,θ)だけ離れているものとし、画素iの画素値がLiである際に、同時生起行列は画素jの画素値がLjとなる確率を示している。同時生起行列はδ毎に変化するが、デジタル画像なのでdの値は０,１,２などであり、θの値は０°,４５°,９０°,１３５°などに限られるので、同時生起行列の数も限られる。

内側カラーデータ抽出部１６,中間カラーデータ抽出部１８,外側カラーデータ抽出部２０は、パンから切り出した内側、中間、外側の３領域に対し、カラースペース内での特徴量を抽出する。カラースペース内の特徴量としては、RGBあるいはHSVなどのカラースペースでの色座標の平均値と分散、輝度のHuモーメントなどがある。内側カラーデータ抽出部１６は、内側の領域のカラーデータから特徴量を抽出し、中間カラーデータ抽出部１８は中間領域のカラーデータから特徴量を抽出し、外側カラーデータ抽出部２０は外側領域のカラーデータから特徴量を抽出する。実施例では、このようにして最大９１種類の特徴量をパンのカラー画像から抽出する。ただし学習によりどの特徴量を用いるかを決定すると、必要な特徴量は例えば１０種類程度に減少するので、抽出部１２〜２０はこれらのうち必要な特徴量のみを抽出する。

学習部２２はどのような特徴量の組み合わせで画像認識を行うかを学習し、入力はパンの種類に関する正解で、出力は特徴量の組合せ、あるいは特徴量の組合せとその重みなどで、画像認識部２４，２６へ出力する。画像認識は、例えば学習用のサンプル（多種類のパンのカラー画像から抽出した特徴量）を、例えばパンの種類毎のクラスターに分解することである。１つのクラスターが１種類のパンしか含まなければ、基本的にパンの種類を正確に識別できる。１つのクラスターが複数の種類のパンを含み、あるいはクラスター間の分離が不完全であれば、パンの種類を誤認識する可能性がある。そこで第１段の画像認識と第２段の画像認識とを行う。

第１段画像認識部２４は、学習部２２により指定された特徴量を用いて、パンの種類を認識する。第１段画像認識部２４は、対象とする全ての種類のパンの中からパンの種類を識別する。識別には例えば特徴量により定まる空間内での、同種のパンの集まり(クラスター)の中心座標と、クラスター半径とを用い、入力されたパンの特徴量がどのクラスターに属するかから種類を判定する。出力はパンの種類の上位３候補とし、確実に１つのパンの種類を識別できる場合、上位３候補を全て同じパンの種類とする。例えば１種類のパンのみからなるクラスターに確実に属する場合が、これに相当する。複数のクラスターに属する可能性がある場合、あるいはこしアンパンと粒アンパンのように、複数種のパンを含むクラスターに属する場合、上位３候補として複数種のパンの種類を出力する。上位３候補が一致する場合、正しい認識が行われたものとしてパンの種類を出力する。上位３候補の中に不一致がある場合、識別が難しいものとして、第２段画像認識部２６による識別を行う。なお上位３候補が一致した場合でも、第２段の識別を行っても良い。

第２段画像認識部２６は認識部２４とは用いる特徴量の組み合わせが異なり、識別の候補となるパンの種類は、第１段の識別で特定したクラスターとその周囲のクラスターに限られる。例えばこしアンパンと粒アンパンとからなるクラスター内で、どちらかを識別し、パンの種類を識別する範囲はがられている。第２段認識部２６で求めた上位３候補が互いに一致すると、正解が得られたものとして出力する。この作業を個々のパン毎に繰り返すことにより、トレー上のパンの種類と個数とが判明する。なお第２段認識部２６の上位３候補が不一致の場合、学習部２２などからオペレータが正解を入力する。また学習部２２は不正解の頻度が高い場合、あるいはパンの種類が追加された場合などに、学習を再度実行する。

３０は記憶媒体で、識別装置２のプログラムを記憶する。例えば光源４とＣＣＤカメラ６とを制御できるパーソナルコンピュータに、記憶媒体３０のプログラムを記憶させることにより、実施例の識別装置２が得られる。

図２に前処理アルゴリズムを示し、図３,図４に前処理の内容を示す。色相の変化などでパンと背景とを分離する(ステップ１)。これによって図３の左側のトレー上のパンの画像から、パンの部分のみを取り出すことができる。HSVの変化などから、パンを内側、中間、外側の３領域に分割し、分割は内側、外側の２領域でも良い。図４で、中央のトッピング領域は中間のパンの領域とは色調などが異なるので、分離できる。中間領域と外側領域では焼き色などが異なるので、これも分離できる。中間領域、外側領域はパンの焼き色などを反映しており、内側領域は前記のようにトッピングを反映している(ステップ２)。パン全体の輪郭の特徴量を抽出し(ステップ３)、内側、中間、外側の各領域毎にHSV値の平均、分散、Huモーメントなどのカラースペース内での特徴量を抽出する(ステップ４)。そしてパン全体に対しテクスチャーの特徴量、例えば同時生起行列を抽出する(ステップ５)。

図５に学習アルゴリズムを示し、第１段学習は全ての種類のパンを互いに識別することを目的とし、最適の特徴量を探索する(ステップ１１)。特徴量の探索に用いなかった新しいパンを用い、求めた特徴量により識別する。ここで上位３候補が等しく、実際の種類と一致した場合は正解とし、不一致であれば誤答とする。正解率が低い場合、用いる特徴量を変更し、所望の正解率(例えば８０％以上)が得られるまで、特徴量の探索を続行する(ステップ１２)。

第２段学習は類似したパンを互いに識別することを目的とし、用いる特徴量は、アンパンの上に黒胡麻があれば粒アンで、芥子粒があればこしアンである、パンの端まで切れ込みがあればアーモンドフランスで、端までの切れ込みがなければミルクフランスであるなどである（ステップ１３）。この特徴は、アンパンには黒胡麻を用い、こしアンには芥子粒を用いるなど、パン屋さんの職業的な伝統を反映している。ステップ１４で類似のパンを互いに識別するための特徴量を探し、ステップ１５で特徴量の探索には用いなかった新しいパンを識別し、正解率が低ければ特徴量を変更する。

図６に識別アルゴリズムを示し、学習の段階で第１段と第２段での特徴量が判明し、用いる特徴量とその重み等は、認識部２４，２６へ入力されている。特徴量に応じてパンの種類を識別し(ステップ２１)、第１段識別での信頼性が高ければそのままパンの種類を出力する。信頼性が低い場合、第２段の識別によりパンの種類を出力する(ステップ２２〜２４)。

これらの結果、店頭などにおいて、トレー上のパンの種類と種類毎の個数を求めることができるので、価格が自動的に判明し、同時に販売数量も管理できる。従ってパンの種類が多くても、不慣れな店員でパンを販売できる。パンの生産管理の場合、同様に焼き上げたパンの種類と個数を自動的に求めることができる。

図７に第１段識別に用いる特徴量の数と正解率の関係を示す。２９種類のパンを６個ずつ購入し、９１種類の特徴量を抽出した際の正解率を求め、正解率は学習に用いなかったパンを識別できる確率である。特徴量が１０〜２０程度で正解率が最高となり、それ以上特徴数を増しても正解率は向上しなかった。図７は第１段の識別での正解率を示し、第２段の識別を行うと正解率はほぼ１００％となった。

図８に第２段識別での例を示し、右側のパンはミルクフランス、左側のパンはアーモンドフランスである。実際の区別はパンの端部まで切れ込みがあるか否かで、このことはパンの味付けにミルククリームを用いるかアーモンドクリームを用いるかとは関係がない。第１段の識別でミルクフランスとアーモンドフランスとのクラスターまで識別し、第２段でクラスター内でこれらを識別する。

実施例では以下の効果が得られる。
1) パンの種類と個数とを自動的に認識できる。
2) パンを内側領域と中間領域及び外側領域、あるいは内側領域とその外側の領域に分割することにより、トッピング上の特徴とパンの焼き具合の特徴とを別々に利用できる。
3) パンの輪郭の特徴を用いることにより、識別率を高める。丸いパン、四角いパン、三角のパン、輪郭の凹凸が多いパンなどを、輪郭上の特徴で識別できる。
4) パンのテクスチャーの特徴とを用いることにより、識別率を高める。例えばカレーパンもアンパンもパンの形状自体としては大差はない。しかしカレーパンでは表面にパン粉のテクスチャーが表れ、これは揚げパンの特徴である。またクロワッサンなどのパイ系のパンと他のパンはテクスチャーが異なる。
5) 第１段の識別と第２段の識別を組み合わせることにより、パンの種類を正確に識別できる。

２ 識別装置
４ 光源
６ ＣＣＤカメラ
８ 背景分離部
１０ 切り出し部
１２ 輪郭データ抽出部
１４ テクスチャーデータ抽出部
１６ 内側カラーデータ抽出部
１８ 中間カラーデータ抽出部
２０ 外側カラーデータ抽出部
２２ 学習部
２４ 第１段画像認識部
２６ 第２段画像認識部
３０ 記憶媒体

Claims (4)

1. カメラからのパンのカラー画像を画像認識することにより、パンの種類を識別する装置であって、
   パンのカラー画像から、少なくともパンの内側領域のカラー画像と外側領域のカラー画像とを切り出す切り出し部と、
   パンのカラー画像から、パンの輪郭に関する特徴量を求めるための輪郭データ抽出部と、
   パンのカラー画像から、パンのテクスチャーに関する特徴量を求めるためのテクスチャーデータ抽出部と、
   パンの内側領域のカラー画像のカラースペース内での特徴量を求めるための内側カラーデータ抽出部と、
   パンの外側領域のカラー画像のカラースペース内での特徴量を求めるための外側カラーデータ抽出部と、
   前記各抽出部で求めた特徴量によりパンの種類を識別する識別部、とを備えている、パンの識別装置。
2. 前記識別部は、パンの全ての種類の中からパンの種類を識別する第１段の識別部と、少なくとも第１段の識別部でパンの種類を特定できなかったものに対して、第１段で識別したパンの種類の候補を対象としてパンの種類を識別する第２段の識別部とからなることを特徴とする、請求項１のパンの識別装置。
3. 前記テクスチャーデータ抽出部ではパンのカラーデータ中の輝度成分を用いてテクスチャーの特徴量を求め、
   前記切り出し部は、パンの内側領域のカラー画像と、中間領域のカラー画像と、外側領域のカラー画像の３種類のカラー画像を切り出し、
   さらに、パンの中間領域のカラー画像のカラースペース内での特徴量を求めるための中間カラーデータ抽出部を備えていることを特徴とする、請求項２のパンの識別装置。
4. カメラからのパンのカラー画像を画像認識することにより、パンの種類を識別するために、
   コンピュータを、
   パンのカラー画像から、少なくともパンの内側領域のカラー画像と外側領域のカラー画像とを切り出す切り出し部と、
   パンのカラー画像から、パンの輪郭に関する特徴量を求めるための輪郭データ抽出部と、
   パンのカラー画像から、パンのテクスチャーに関する特徴量を求めるためのテクスチャーデータ抽出部と、
   パンの内側領域のカラー画像のカラースペース内での特徴量を求めるための内側カラーデータ抽出部と、
   パンの外側領域のカラー画像のカラースペース内での特徴量を求めるための外側カラーデータ抽出部と、
   前記各抽出部で求めた特徴量によりパンの種類を識別する識別部、として機能させるパンの識別プログラム。