JP2015173410A - 画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】撮像対象物の方が撮像装置に近い配置関係となるように撮像対象物が網目状の搬送帯の上に搭載された状況において、搬送帯のパターンを消去して、撮像対象物の位置及び大きさを正確に認識できる画像処理システムを提供する。
【解決手段】 撮像対象物１７を搬送する網目状の搬送帯１１と、撮像対象物１７の全景を含む領域を撮像する撮像装置２２と、搬送帯１１の下方に配置され、搬送帯１１及び撮像対象物１７とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板１５と、撮像装置２２から出力される画像データから、撮像対象物１７の周りに写り込まれている搬送帯１１の網目のパターンを消去して、撮像対象物１７の重心位置及び大きさを算出する画像処理装置２３を含む。
【選択図】 図１

Description

本発明は、ベルトコンベアのような搬送帯の上に撮像対象物が搭載された場合、搬送帯のパターンを画像データから消去し、撮像対象物の位置及び大きさを認識する画像処理システム、画像処理方法及び画像処理プログラムに関する。

生鮮物の自動加工処理装置等においては、耐久性、滑りにくさ、水の溜まりの抑制などの観点から、生鮮物を搭載し搬送するためのベルトコンベアに金属網等を使うことがある。金属網等の孔の開いた形態のベルトコンベアを用意し、ベルトコンベアの背景から処理対象物を抽出する手法として、金網に何らかの色の塗装を施してベルトコンベアと処理対象物の光学的特性を異なるものにするアイデアがある。しかしながら、食品衛生の観点からベルトコンベアに塗装を施すことは許されないことがある。

更に無塗装の金網は無彩色であるが、処理対象物も同様に無彩色の場合も発生する。このような状況では一般的な輝度情報を基にした２値化処理などではベルトコンベアと処理対象物を識別することは極めて困難である。
一方、檻やネット越しに撮像対象物が存在する場合に撮像対象物のみを撮影する画像処理装置として、画像データの中から画像中に存在する２次元的に繰り返される繰り返しパターンを検出し、繰り返しパターンを画像から消去し、更に、画像から消去した繰り返しパターンの周辺画素を用いて、繰り返しパターンの領域に対し画素を補間する発明が提案されている（特許文献１参照。）

しかしながら、特許文献１に記載された発明では、画像データに対応する画像の中から撮像対象物よりも撮像装置（カメラ）に近い側に、撮像の障害物として撮像対象物の上に存在する直線及び／又は曲線からなるパターンを検出している。具体的には、金網検知用テンプレート記憶部から金網パターンを示す金網検知用テンプレートを取得し、取得した金網検知用テンプレートを用いてテンプレートマッチング等により、画像の中から直線及び／又は曲線からなるパターンを２次元的に繰り返される繰り返しパターンを検出している。特許文献１に記載された発明は、檻やネットよりも撮像装置から遠い側に撮像対象物が障害物として存在する場合には有効であるが、ベルトコンベアの上に撮像対象物が搭載されているように、撮像対象物の方が撮像装置に近い場合は、背景像として存在する金属網の繰り返しパターンは撮像対象物の陰になり、直線及び／又は曲線からなるパターンが、撮像対象物が占める面積の箇所では、消滅しているので、撮像対象物の相対的面積が大きい場合は、有効な繰り返しパターンの検出ができなくなる。

又、ベルトコンベアとして用いている金属網の上に一定の重量を有する撮像対象物が搭載された場合、撮像対象物の重量により、撮像対象物が搭載された箇所で金属網が撓むため、撮像対象物の近傍において金属網の周期性が乱れる。このため、撮像対象物に一番近い箇所での金属網の繰り返しパターンの消去が困難になる問題があった。又、特にホタテ、サバ、イカ等の魚介類等の生鮮物が撮像対象物である場合は、ベルトコンベアに水滴が付着して、水滴が付着した箇所での金属網の周期性が乱れるので、金属網の繰り返しパターンの消去が困難になる問題があった。

以上のように、特に、生鮮物を含む処理対象物を撮像対象物とする状況において、金属網等の孔が開いたベルトコンベアで撮像対象物が搬送される場合において、撮像対象物と撮像対象物の背景としてのベルトコンベアのパターンの像とを識別することが困難であった。

特開２０１３−５５３７８号公報

上記事情を鑑み、本発明は、撮像対象物の方が撮像装置に近い配置関係となるように撮像対象物が水平方向に走行する網目状の搬送帯の上に搭載された状況において、背景側に位置する搬送帯のパターンを消去して、撮像対象物の位置及び大きさを正確に認識できる画像処理システム、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様は、(a)撮像対象物を上面に搭載して搬送する網目状の搬送帯と、(b)搬送帯の上方に配置され、撮像対象物の全景を含む領域を撮像する撮像装置と、(c)搬送帯の下方に配置され、搬送帯及び撮像対象物とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板と、(d)撮像装置に接続され、撮像装置から出力される画像データから、撮像対象物の周りに写り込まれている搬送帯の網目のパターンを消去して、撮像対象物の重心位置及び大きさを算出する画像処理装置とを備える画像処理システムであることを要旨とする。

本発明の第２の態様は、(a)網目状の搬送帯の上面に撮像対象物を搭載し、搬送帯の下方に搬送帯及び撮像対象物とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板を配置し、搬送帯の上方に配置された撮像装置によって、撮像対象物の全景を含む領域を撮像するステップと、(b)撮像装置から出力される画像データから、撮像対象物の周りに写り込まれている搬送帯の網目のパターンを消去して、撮像対象物の重心位置及び大きさを算出するステップとを含む画像処理方法であることを要旨とする。

本発明の第２の態様で述べた画像処理方法を実現するためのコンピュータソフトウェアプログラムは、コンピュータ読取り可能な記録媒体に保存し、この記録媒体をコンピュータシステムによって読み込ませることにより、本発明の画像処理方法を実行することができる。
即ち、本発明の第３の態様は、(a)網目状の搬送帯の上面に撮像対象物を搭載し、搬送帯の下方に搬送帯及び撮像対象物とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板を配置し、搬送帯の上方に配置された撮像装置に対し、撮像対象物の全景を含む領域を撮像させる命令と、(b)画像処理装置に対し、撮像装置から出力される画像データから、撮像対象物の周りに写り込まれている搬送帯の網目のパターンを消去させ、撮像対象物の重心位置及び大きさを算出させる命令とを含む一連の命令を画像処理装置を備えるコンピュータシステムに実行させる画像処理プログラムであることを要旨とする。ここで、「記録媒体」とは、例えばコンピュータの外部メモリ装置、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのプログラムを記録することができるような媒体などを意味する。具体的には、フレキシブルディスク、ＣＤ−ＲＯＭ，ＭＯディスク、カセットテープ、オープンリールテープなどが「記録媒体」に含まれる。

本発明によれば、撮像対象物の方が撮像装置に近い配置関係となるように撮像対象物が水平方向に走行する網目状の搬送帯の上に搭載された状況において、背景側に位置する搬送帯のパターンを消去して、撮像対象物の位置及び大きさを正確に認識できる画像処理システム、画像処理方法及び画像処理プログラムを提供することができる。

本発明の第１の実施の形態に係る画像処理システムの主要部の概略を説明する模式的な鳥瞰ブロック図である。 第１の実施の形態に係る画像処理システムに用いられる画像処理装置の内部構造を、論理的なハードウェア資源の組み合わせとして概念的に説明する図である。 本発明の第１の実施の形態に係る画像処理方法の一例を説明する概念的なフローチャートである。 第１の実施の形態に係る画像処理方法において、撮像データ受信回路が撮像装置から受信し、取得した撮像対象物を含む撮像データの一例を示す図である。 図４に対応する撮像対象物を含む撮像データを、説明の便宜上、拡大した矩形の画素（ピクセル）によって模式的に誇張表現する図である。 ＲＧＢ色空間とＨＳＶ色空間の関係を説明する図である。 第１の実施の形態に係る画像処理方法におけるＲＧＢ色空間のデータからＨＳＶ色空間のデータへの変換を説明する模式図である。 第１の実施の形態に係る画像処理方法における２値化の処理に必要なＨＳＶ色空間における閾値を説明する図である。 第１の実施の形態に係る画像処理方法における背景領域における各画素の２値化の処理を説明する模式図である。 第１の実施の形態に係る画像処理方法における膨張処理前の画像を示す模式図である。 第１の実施の形態に係る画像処理方法における膨張処理後の画像を示す模式図である。 図１２（ａ）は偶発的なノイズがある場合の画像で、図１２（ｂ）は図１２（ａ）に対し縮小処理をして、背景部のパタンーンを縮小した状態を説明する図である。 図１３（ａ）は、図１２（ａ）の画像に対し、直接膨張処理をすることにより、偶発的なノイズの領域が拡大されることを説明する図で、図１３（ｂ）は図１２（ａ）に対し、先に縮小処理をしてから膨張処理をする手順を繰り返すことにより、搬送帯のパターンが消去されることを説明する図である。 収縮処理で消滅しない背景領域の大きさを説明するために、５×５の画素領域を示す図である。 図１５（ａ）は、図１４のXV−XV方向（Ｘ方向）に１次元だけ取り出した場合の彩度の強度分布を説明する図で、図１５（ｂ）は、図１５（ａ）のような彩度の強度分布がある場合、揺らぎによる２値化の境界のずれがあり、更に左右で２ピクセル幅分が収縮処理により消えることを説明する図である。 第１の実施の形態に係る画像処理方法において、背景板を示す画素を"１"に符号化し、撮像対象物の像と網状搬送帯の網目のパターンとを合成した背景以外の領域（非背景領域）を示す画素を"０"に符号化した段階の画像を説明する模式図である。 第１の実施の形態に係る画像処理方法において、背景板を示す画素と、網状搬送帯の網目のパターンを示す画素が、共に"１"に符号化されて、網状搬送帯の網目のパターンが消去された段階の画像を説明する模式図である。 図１７の模式図に対応する、現実の網状搬送帯の網目のパターンが消去された段階の画像を説明する図である。 第１の実施の形態に係る画像処理方法において、撮像対象物を示す、画素値"０"に符号化された画素が占有している画素領域のＸ方向の重心位置とＹ方向の重心位置を決定し、画素値"０"に符号化された画素が占有している画素領域の画素数を算出し、更に画素値"０"に符号化された画素が占有している領域の半径を算出する段階の画像を説明する模式図である。 図１９の模式図の段階に対応する、現実の画像における重心位置の決定、画素数の算出、半径の算出の処理を説明する図である。 本発明の他の実施の形態に係る画像処理システムに用いられる画像処理装置の一例として、画像処理装置の内部構造の一部をフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）で構成した場合の構造を例示するブロック図である。

次に、図面を参照して、本発明の第１の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであり、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

又、以下に示す第１の実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、符号化のビット数、構成部品の材料、形状、構造、配置等を下記のものに特定するもので
ない。例えば、以下の説明では、8ビット＝２５６階調の色空間における処理を説明するが、例示に過ぎず、１０ビットによる符号化やプラス・マイナスの符号化の処理であっても、本発明の技術的思想が適用可能であることは勿論である。更に、以下に示す第１の実施の形態においては、説明の便宜上、撮像対象物１７の外径が円形で近似できる場合について例示的に説明するが、撮像対象物１７の形状は円形以外のいかなる形状であっても構わないことも勿論である。このように、本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（画像処理システムの構成）
本発明の第１の実施の形態に係る画像処理システムは、図１に示すように、撮像対象物１７を水平な主面の上面に搭載して搬送する網目状の搬送帯１１と、搬送帯１１の上方に配置され、撮像対象物１７の全景を含む領域を撮像する撮像装置２２と、搬送帯１１の下方に配置され、搬送帯１１及び撮像対象物１７とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板１５と、撮像装置２２に接続され、撮像装置２２から出力される画像データから、撮像対象物１７の周りに写り込まれている搬送帯１１の網目のパターンを消去して撮像対象物１７の重心位置及び大きさを算出する画像処理装置２３とを備えるコンピュータシステムである。画像処理装置２３は、特許文献１に記載された発明のように、画像パターンの周期性を抽出して、搬送帯１１の網目状のパターンを除去するのではなく、撮像対象物１７と搬送帯１１の網目のパターンの相対的な大きさや太さの違い、或いは撮像装置２２から出力された画像データ全体の大域的な均一性に立脚して、搬送帯１１の網目のパターンを抽出して消去している。撮像対象物１７には、水分を含んだホタテ、サバ、イカ等の魚介類や野菜等の生鮮物の他、加工済みの食品、工業製品の種々の物体が代表例として含まれる。

図１においては、搬送帯１１と撮像装置２２の間に矩形の枠状をなす透過型の光源２１が配置されている。図１に示すとおり、主面を水平にして水平方向に走行する搬送帯１１の下に搬送帯１１とも撮像対象物１７とも明度、色相又は色度の少なくともいずれかが異なる光学特性を呈する素材を背景板１５として水平方向に敷かれている。図１に示す構成では搬送帯１１に高さ方向の厚みがあったり、撮像対象物１７が水に濡れた状態であったりすることを想定すると、画像処理装置２３に入力される撮像対象物１７の画像情報に影や光沢反射が映らないような留意が必要である。このため、光源２１は、通常のＬＥＤ光源ではなく、矩形の額縁形状により、撮像対象物１７が含まれる撮像範囲全体を様々な方向のベクトルを持った光で包むことで、撮像対象物１７に影と光沢を発生させないように設定されている。

搬送帯１１の右側には、円筒状形状をなし回転することにより、搬送帯１１をベルトコンベアとして水平方向に移動させる第１の搬送帯駆動部１２が設けられている。図示を省略しているが、搬送帯１１の左側にも、同様な円筒状形状をなし回転することにより、搬送帯１１をベルトコンベアとして移動させる第２の搬送帯駆動部が設けられている。第１の搬送帯駆動部１２及び第２の搬送帯駆動部の回転運動は、搬送帯制御装置１３によって制御される。

撮像装置２２、光源２１及び搬送帯制御装置１３は、画像処理装置２３にそれぞれ接続され、画像処理装置２３との間で信号の授受を行う。画像処理装置２３には、データ記憶装置２４、プログラム記憶装置２５及び表示装置２６が接続されている。なお、図１にはデータ記憶装置２４及びプログラム記憶装置２５が、便宜上、それぞれ単独のハードウェア資源であるかのように図示されているが、現実の物理的ハードウェア資源としては、データ記憶装置２４及びプログラム記憶装置２５が、それぞれ、機能及び規模を異にする複数の記憶装置の集合として構成されている構成を否定するものではない。

例えば、図１に示すコンピュータシステムにおいて、データ記憶装置２４は、複数のレジスタ、複数のキャッシュメモリ、主記憶装置、補助記憶装置を含む一群の内から適宜選択された任意の組み合わせとすることも可能である。又、キャッシュメモリは１次キャッシュメモリと２次キャッシュメモリの組み合わせとしてもよく、更に３次キャッシュメモリを備えるヒエラルキーを有しても構わない。

図１に示すコンピュータシステムを構成する画像処理装置２３の論理的なハードウェア資源の構成は、図２のように表現される。画像処理装置２３には、マイクロチップとして実装されたマイクロプロセッサ（ＭＰＵ）等を使用してコンピュータシステムを構成することが可能である。又、コンピュータシステムを構成する画像処理装置２３として、算術演算機能を強化し信号処理に特化したデジタルシグナルプロセッサ（ＤＳＰ）や、メモリや周辺回路を搭載し組込み機器制御を目的としたマイクロコントローラ（マイコン）等を用いてもよい。或いは、現在の汎用コンピュータのメインＣＰＵを画像処理装置２３に用いてもよい。更に、画像処理装置２３の一部の構成又はすべての構成をフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）のようなプログラマブル・ロジック・デバイス（ＰＬＤ）で構成してもよい。ＰＬＤによって、画像処理装置２３の一部又はすべてを構成した場合は、データ記憶装置２４は、ＰＬＤを構成する論理ブロックの一部に含まれるメモリブロック等のメモリ要素として構成することができる。更に、画像処理装置２３は、ＣＰＵコア風のアレイとＰＬＤ風のプログラム可能なコアを同じチップに搭載した構造でもよい。このＣＰＵコア風のアレイは、あらかじめＰＬＤ内部に搭載されたハードマクロＣＰＵと、ＰＬＤの論理ブロックを用いて構成したソフトマクロＣＰＵを含む。つまりＰＬＤの内部においてソフトウェア処理とハードウェア処理を混在させた構成でもよい。

図２に論理的なハードウェア資源の構成を示すように、第１の実施の形態に係る画像処理システムの画像処理装置２３は、撮像装置２２から画像データを取得する撮像データ受信回路２３１と、撮像データ受信回路２３１が取得した画像データから、背景板１５が撮像された「背景領域」とこの背景領域以外が撮像されている「非背景領域」の２つに分離する背景領域分離手段２３２と、背景領域分離手段２３２で分離された背景領域を、搬送帯１１の網目のパターンの幅以上に膨張処理することにより、非背景領域から搬送帯１１の像を消去する網目消去回路２３３と、網目消去回路２３３により生成された撮像対象物１７の２値化画像を基に、撮像対象物１７の重心位置及び大きさを算出する撮像対象物認識手段２３４とを備える。

背景領域分離手段２３２は、ＲＧＢ色空間のデータをＨＳＶ色空間のデータに変換するＲＧＢ／ＨＳＶ変換回路２３２ａと、背景領域を２値化する背景領域２値化回路２３２ｂとを論理的な内部構造として含む。
例えば、Ｒ，Ｇ，Ｂのそれぞれが8ビット＝２^８＝２５６階調の場合、Ｒ，Ｇ，Ｂはそれぞれ０〜２５５の値をとるので、ＲＧＢ色空間については、ＲＧＢを三次元座標で表すと、一辺の長さが２５５で表される立方体で表現できる。この立方体を白（２５５、２５５、２５５）の頂点の位置から黒（０、０、０）の頂点の方向へ見て、R軸を水平方向の右側にとると図６のように正六角形で表現できる。図６の正六角形の中心が、立方体の白（２５５、２５５、２５５）の頂点であり、白（２５５、２５５、２５５）の頂点の裏に黒（０、０、０）の頂点が位置している。

このとき、図６のＲ（赤）の方向をＨ＝０°として、反時計回りにＨ＝１２０°の位置がＧ（緑）、Ｈ＝２４０°の位置がＢ（青）、と色相Ｈが０〜３６０°（２π）の範囲で定義される。背景領域分離手段２３２の処理においては、ＲＧＢ／ＨＳＶ変換回路２３２ａがＲＧＢのデータをＨＳＶのデータに変換した後、ＨＳＶ系の色相Ｈ（色味）を分離の指標とした場合、図６に示すように、一周３６０°の角度表記で表現する。彩度Ｓは一番外側の六角形のＳ＝１に対して、どの割合の位置に配されているかを０〜１．０で表したもので、六角形の等高線のように示される。図６では、一番外側の六角形のＳ＝１に対して、順にＳ＝０．７５，Ｓ＝０．５，Ｓ＝０．２５の六角形の等高線が示され、中心がＳ＝０となり、彩度Ｓは図６の外側Ｓ＝１の六角形に対して、内側の六角形の大きさの割合で求められる。

Ｒ，Ｇ，Ｂの最大輝度値をI_max、最小輝度値をI_minとしたときに、明度V = I_maxと定義したものがＨＳＶモデルである。I_maxがRの最大値のとき：
色相Ｈ＝（６０°×（Ｇ−Ｂ）／(I_max - I_min) ）×２５５／３６０
となる。ただし、H＜０のとき、H＝H＋３６０°とする。I_maxがGの最大値のとき：
色相Ｈ＝（６０°×（Ｂ−Ｒ）／(I_max - I_min)＋１２０°）×２５５／３６０
となる。I_maxがBの最大値のとき：
色相Ｈ＝（６０°×（Ｒ−Ｇ）／(I_max - I_min)＋２４０°）×２５５／３６０
となるので、図７（ａ）の左上のブロックに示したＲ＝１３１、Ｇ＝２５５、Ｂ＝１２７の場合は、図７（ｂ）の左上のブロックに示したように色相Ｈ＝８４となる。図７（ａ）の上段の左から２番目のブロックに示したＲ＝Ｇ＝４５，Ｂ＝２１０の場合は、図７（ｂ）の上段の左から２番目のブロックに示したように色相Ｈ＝１７０となる。又、図７（ａ）の上段の左から３番目のブロックに示したＲ＝１００、Ｇ＝Ｂ＝９６の場合は、図７（ｂ）の上段の左から３番目のブロックに示したように色相Ｈ＝０となる。色相Ｈの範囲は０〜２５５となる。

Ｒ，Ｇ，Ｂの成分の内、最大の成分をI_max、最小の成分をI_minとすると、
彩度S = (I_max - I_min) / I_max×２５５
と定義されるので、図７（ａ）の左上のブロックに示したＲ＝１３１、Ｇ＝２５５、Ｂ＝１２７の場合は、図７（ｂ）の左上のブロックに示したように彩度Ｓ＝１２８となる。図７（ａ）の上段の左から２番目のブロックに示したＲ＝Ｇ＝４５，Ｂ＝２１０の場合は、図７（ｂ）の上段の左から２番目のブロックに示したように彩度Ｓ＝２００となる。又、図７（ａ）の上段の左から３番目のブロックに示したＲ＝１００、Ｇ＝Ｂ＝９６の場合は、彩度Ｓ＝１０となる。彩度Ｓの範囲は０〜２５５となる。

一方、明度V = I_maxであるので、図７（ａ）の左上のブロックに示したＲ＝１３１、Ｇ＝２５５、Ｂ＝１２７の場合は、図７（ｂ）の左上のブロックに示したように明度Ｖ＝２５５となる。図７（ａ）の上段の左から２番目のブロックに示したＲ＝Ｇ＝４５，Ｂ＝２１０の場合は、図７（ｂ）の上段の左から２番目のブロックに示したように明度Ｖ＝２１０となる。又、図７（ａ）の上段の左から３番目のブロックに示したＲ＝１００、Ｇ＝Ｂ＝９６の場合は、明度Ｖ＝１００となるので、ＲＧＢ／ＨＳＶ変換回路２３２ａは、ＲＧＢ色空間のデータをＨＳＶ色空間のデータに変換する。

理論上は、ＨＳＶ色空間において、背景板１５の色相Ｈと搬送帯１１の色相Ｈ又は撮像対象物１７の色相Ｈとの色相角度差ΔＨが１°でもあれば、撮像データ受信回路２３１が取得した画像データから、背景板１５が撮像された背景領域とこの背景領域以外が撮像されている非背景領域の２つに分離できる。しかしながら、入力画像には撮像装置２２として用いるＣＣＤカメラの量子化ノイズや、単板式カラーカメラの場合には、ＣＣＤカメラのべーヤーパターンの補間に起因するノイズが多分に含まれているので、背景板１５の色相Ｈと、搬送帯１１又は撮像対象物１７との色相Ｈの色相角度差ΔＨは、３０°以上であることが好ましい。色相Ｈは０〜３６０°の間で定義されるので、背景板１５の色相Ｈと、搬送帯１１又は撮像対象物１７との色相Ｈの色相角度差ΔＨは、３０°＜ ΔＨ ＜３３０°が好ましい。特に、色相角度差ΔＨ＝１８０°の場合が、背景板１５の色相Ｈと、搬送帯１１又は撮像対象物１７の色相Ｈの差が顕著になるので好ましい。

一方、撮像対象物１７が白やグレーの無彩色の場合、背景板１５の色相Ｈと搬送帯１１の色相Ｈは、撮像対象物１７の色相Ｈに対して色相角度差ΔＨは、ベクトルの向きが定まらないので定義できない。色相角度差ΔＨが定義できない場合は、色相Hはどちらの方向でもよく、ＨＳＶ色空間において、彩度Ｓの彩度差ΔＳを大きくするように彩度を選べばよい。

背景領域分離手段２３２の処理において、背景領域の膨張処理によって搬送帯１１の網目のパターンの消去を試みる場合、それぞれの隙間から確実に背景領域が存在している必要がある。その際、背景領域と搬送帯１１のパターンの境目はこれまた空間的な離散化の影響を受けて上下左右から少なくとも１ピクセルのばらつきが発生する。つまりワーストケースとして上下方向、左右方向それぞれで２ピクセルつぶれて撮像されることもある。２ピクセルつぶれても背景領域が存続するためには、３ピクセル以上の幅を持つような倍率で撮像光学系を構成する必要がある。

更に、撮像装置２２のノイズにより撮像対象物１７領域に意図しない偽の背景領域が１ピクセルのサイズで発生してしまうことがある。スパイクノイズやごま塩ノイズと呼ばれているものである。この偽の背景領域は膨張させないためにあらかじめ逆の収縮処理を行って消去することが可能であるが、本来の背景領域も上下方向、左右方向に２ピクセル削られることになるため、先の３ピクセルにこの２ピクセルを加えて、１次元方向に並んだ５ピクセル幅の背景領域を構成できるような搬送帯１１の網目のパターンの隙間が必要ということになる。

撮像対象物認識手段２３４は、撮像対象物１７の重心位置を決定する重心位置決定回路２３４ａと、画素数を算出する画素数算出回路２３４ｂと、撮像対象物１７の半径を算出する半径算出回路２３４ｃとを論理的な内部構造として含む。
画像処理装置２３は、更に、光源２１を制御する光源制御回路２３５と、撮像装置２２を制御する撮像装置制御回路２３６と、搬送帯制御装置１３に対し命令を発信する搬送帯制御装置命令回路２３７と、図１のプログラム記憶装置２５に格納された実行すべき命令を画像処理装置２３がどこまで実行したか、或いは画像処理装置２３が、現在実行しているプログラム記憶装置２５上のアドレスを記憶するプログラムカウンタ２３８とを備える。そして、図２に示すように、画像処理装置２３を構成するハードウェア資源としての撮像データ受信回路２３１、背景領域分離手段２３２、網目消去回路２３３、撮像対象物認識手段２３４、光源制御回路２３５、撮像装置制御回路２３６、搬送帯制御装置命令回路２３７及びプログラムカウンタ２３８は、データバス２３９を介して互いに接続されている。

図１に示す構成において、撮像装置２２によって、撮像対象物１７、搬送帯１１、背景板１５の３つが映り込むまれた画像が取得される。搬送帯１１の網目の隙間からは、図４に示すように、背景板１５が画像に映り込むまれる。図４に示すように、分散したトポロジーで多数の領域として背景板１５が見えており、背景板１５の分散した領域のそれぞれを囲むように、搬送帯１１のパターンがある。

背景板１５の分散した領域のそれぞれと、搬送帯１１のパターンを構成する線とは、面積や太さが違うので、網目消去回路２３３は、背景板１５のそれぞれの領域の面積や搬送帯１１のパターンを構成する線の太さ等のトポロジーの違いを利用して、搬送帯１１のパターンを消去する。
又、背景板１５が見えないところは、即ち撮像対象物１７が存在するところとする足がかりになる。網目消去回路２３３によって撮像対象物１７とそれ以外の領域の２つに塗り分けられた２値化画像が取得され、撮像対象物認識手段２３４によって、撮像対象物１７の位置と大きさを通常の画像処理の手法を用いて算出し、撮像対象物１７の存在を認識することができる。

図２に示す画像処理装置２３を構成するハードウェア資源としての撮像データ受信回路２３１、背景領域分離手段２３２、網目消去回路２３３、撮像対象物認識手段２３４、光源制御回路２３５、撮像装置制御回路２３６及び搬送帯制御装置命令回路２３７等は、論理的な機能に着目したハードウェア資源を形式的に表現しているのであって、必ずしも、半導体チップ上に物理的な領域としてそれぞれ独立して存在する機能ブロックを意味するものではないが、ＰＬＤの「論理ブロック」のような半導体チップ上に実装されたプログラム可能な論理コンポーネント等の現実に存在する構成を否定するものでもない。画像処理装置２３の一部の構成又はすべての構成をＦＰＧＡのようなＰＬＤで構成した場合は、図２に示したプログラムカウンタ２３８やデータバス２３９等は省略可能である。

図１及び図２では図示を省略しているが、第１の実施の形態に係る画像処理システムは、操作者からのデータや命令などの入力を受け付ける入力装置、分別結果を出力する出力装置等を更に備えるようにしてもよい。入力装置はキーボード、マウス、ライトペン又はフレキシブルディスク装置などで構成される。入力装置より画像処理の実行者は、入出力データを指定したり、画像処理に必要な個別の数値や許容誤差の値及び誤差の程度を設定できる。更に、入力装置より出力データの形態等の解析パラメータを設定することも可能で、又、演算の実行や中止等の指示の入力も可能である。又出力装置及び表示装置２６は、それぞれプリンタ装置及びディスプレイ装置等により構成してもよい。

第１の実施の形態に係る画像処理システムによれば、生鮮物、加工済みの食品、工業製品等の種々の撮像対象物１７の位置が撮像装置２２に近い配置関係となるように撮像対象物１７が水平方向に走行する網目状の搬送帯１１の上に搭載された場合、撮像対象物１７の自重により網目のパターンの周期性が乱れる状況が発生しても、或いは、撮像対象物１７としての魚介類や野菜等からの水滴が網目のパターンの周期性を乱す場合であっても、搬送帯１１のパターンを消去して、撮像対象物１７の位置及び大きさを正確に認識できる。

（画像処理方法）
図３及び図１０〜図２０を用いて、本発明の第１の実施の形態に係る画像処理方法を説明する。なお、以下に述べる画像処理方法は、一例であり、特許請求の範囲に記載した趣旨の範囲内であれば、この変形例を含めて、これ以外の種々の画像処理方法が実現可能であることは勿論である。

（ａ） 図３のステップＳ１０において、図２に示した画像処理装置２３の撮像データ受信回路２３１は、撮像装置２２から図４及び図５に示すような撮像データを受信する。図５に示すような現実の画素サイズよりも大きく表現した矩形の画素（ピクセル）によって、模式的に示す誇張表現では、便宜上、撮像対象物１７を示す７６個の画素の集合（固まり）の周りに、搬送帯１１の網目のパターンを示す画素（ピクセル）と、網目のパターンで囲まれた背景板１５を示す画素（ピクセル）が写り込まれて表現されている。現実のＣＣＤカメラでは、例えば、画素数２０万の場合、画素サイズは５μｍ×７μｍ程度、画素数２００万の場合では画素サイズは４．４μｍ×４．４μｍ程度、画素数５００万の場合では画素サイズは３．５μｍ×３．５μｍ程度となるので、図５に示すような矩形の画素の角部による凹凸は目視では認められず、現実には、図４に例示するようスムーズな曲線の画像になる。

（ｂ） ステップＳ１１のステップＳ１１１において、撮像装置２２から送られてきた撮像データがカラー画像であるか否か判定する。ステップＳ１１１において、撮像装置２２から送られてきた撮像データがカラー画像であると判定された場合は、ステップＳ１１２に進む。ステップＳ１１２において、背景領域分離手段２３２のＲＧＢ／ＨＳＶ変換回路２３２ａが、図７（ａ）に示されたような、ＲＧＢ色空間の画素のデータを、図７（ｂ）に示されたようなＨＳＶ色空間の画素のデータに変換する。

ステップＳ１１３において、背景領域分離手段２３２の背景領域２値化回路２３２ｂが、図９（ａ）に示されたようなＨＳＶ色空間の画素のデータを、図８の左下に左上がりのハッチングで示した領域を閾値領域として、背景領域を２値化する。即ち、図８は、青近傍の色を持つ背景板１５の場合のＨＳＶ色空間を示しているが、色相Hに色相最小値Ｈ_minと色相最大値H_maxの範囲を定め、その上で、彩度Sが彩度最小値S_min閾値以上、明度Vが明度最小値V_minの閾値以上となる画素を画素値Ｍ＝１の背景領域、それ以外を、画素値Ｍ＝０の背景以外の領域（非背景領域）を示す画素と定義している。なお、図８では、図６で０°〜３６０°で示された色相Ｈの値を、１周が０〜２５５となる８ビットの値に符号化している。又、図８では、図６において０〜１で示された彩度Ｓの値を０〜２５５の８ビットに符号化している。図８で、V軸は紙面に垂直方向なので、図示を省略している。

例えば、図９（ａ）の左上のブロックに示したＨ＝８４，Ｓ＝１２８，Ｖ＝２５５の画素の場合は、図８で緑方向に向かう左上がりの線近傍の中央部に位置するので、図９（ｂ）の左上のブロックに示したように画素値Ｍ＝０となる。図９（ａ）の上段の左から２番目のブロックに示したＨ＝１７０，Ｓ＝２００，Ｖ＝２１０の画素の場合は、図８で青方向に向かう左下がりの線に沿ってハッチングした領域の内部に位置するので、図９（ｂ）の上段の左から２番目のブロックに示したように画素値Ｍ＝１となる。又、図９（ａ）の上段の左から３番目のブロックに示したＨ＝０，Ｓ＝１０，Ｖ＝１００の画素の場合は、図８で赤方向に向かう水平線の中心近くに位置するので、画素値Ｍ＝０となる。

このように、背景領域２値化回路２３２ｂが、ＨＳＶ色空間において、色相Hに色相最小値Ｈ_minと色相最大値H_maxの範囲を定め、彩度Sが彩度最小値S_min閾値以上、明度Vが明度最小値V_minの閾値以上となる画素を画素値Ｍ＝１の背景領域、それ以外を、画素値Ｍ＝０の非背景領域の画素と定義することにより背景領域で２値化することができる。ステップＳ１１３において背景領域２値化回路２３２ｂが、背景領域で２値化することにより、図１６に示すように、背景板１５を示す画素が"１"に符号化され、撮像対象物１７の像と搬送帯１１の網目のパターンとを合成した背景以外の領域（非背景領域）を示す画素が"０"に符号化される。

ステップＳ１１１において、撮像装置２２から送られてきた撮像データがカラー画像ではなく、撮像データが白黒画像であると判定されれば、ステップＳ１１２のＲＧＢ／ＨＳＶ変換回路２３２ａによる処理をジャンプして、ステップＳ１１３において、背景領域２値化回路２３２ｂが明度差を用いて、背景板１５を示す画素を"１"に符号化し、撮像対象物１７の像と搬送帯１１の網目のパターンとを合成した背景以外の領域（非背景領域）を示す画素を"０"に符号化する。

このようにして、カラー画像の場合は、ステップＳ１１２及びステップＳ１１３の処理を実行することにより、白黒画像の場合は、ステップＳ１１２をジャンプしてステップＳ１１３の処理を実行する。この結果、ステップＳ１１での処理としては、画像処理装置２３の背景領域分離手段２３２が、図１６に示すように、背景板１５を示す画素の領域を非背景領域から分離する。図１６では、背景板１５を示す画素が"１"に符号化され、撮像対象物１７の像と搬送帯１１の網目のパターンとを合成した非背景領域を示す画素が"０"に符号化されている。

（ｃ） ステップＳ１２において、画像処理装置２３の網目消去回路２３３が、図１７及び図２０に示すように、背景領域分離手段２３２で分離された背景板１５を示す画素の領域を、搬送帯１１の網目のパターンの幅以上に膨張処理することにより、非背景領域を示す画素の領域から、搬送帯１１の網目のパターンを示す画素を消去する。
例えば、図１０（ａ）では、左上に表示した、注目画素（ｘ，ｙ）＝（６，５）の外側を含めた９画素から膨張処理後の画素の値を決定する。（ｘ，ｙ）＝（６，５）の位置の膨張処理後の値は、図１０（ｂ）に示す（ｘ，ｙ）＝（５，４）〜（７，６）の９つの画素の値から決定される関数とする。図１０（ａ）では、左上がりのハッチングをした画素を"０"に符号化し、白抜きの画素を"１"に符号化して示している。膨張処理では、注目画素の外側を含めた９画素の領域で、１個でも"１"の画素があれば、処理後の画素値は"１"と決定される。一方、注目画素の外側を含めた９画素の領域で、９画素のすべてが"０"であれば、処理後の画素値は"０"と決定される。図１０（ａ）の左上の太い実線で囲んだ枠内の９画素をスキャンして全画素で検査した結果が、図１１に示す膨張処理後の画像になる。

図１１では、左上がりのハッチングで示した画素が"０"に符号化された画素であり、白抜きの画素が、膨張処理により新たに"１"になった画素を含めた"１"に符号化された画素である。又、右上がりで間隔が疎なハッチングで示した画素が、膨張処理前の画像における画素値"１"の画素である。右上がりで間隔が疎なハッチングで示した画素も、本来は白抜きで示された"１"に符号化された画素として表現される。図１０と図１１を比較すれば、膨張処理前に対し、膨張処理後は、白抜きで示された"１"に符号化された画素が占有する領域が膨らんだような効果をもたらす。

一方、収縮処理においても、注目画素の外側を含めた９画素から収縮処理後の画素の値を決定する。収縮処理後の画素値の決定方法は、膨張処理の逆の定義による操作になる。収縮処理では、注目画素の外側を含めた９画素の領域で、１個でも"０"の画素があれば、処理後の画素値は"０"と決定される。一方、注目画素の外側を含めた９画素の領域で、９画素のすべてが"１"であれば、処理後の画素値は"１"と決定される。例えば、図１０（ａ）の左上の太い実線で囲んだ枠内と同様な、９画素の全領域をスキャンして、９画素のすべてを検査した結果が、収縮処理後の画像になる。収縮処理によれば、処理前は画素値が"１"だった画素が収縮処理により画素値が"０"になった画素が、増大し、結果として、収縮処理前に対し、画素値"１"だった画素の領域が縮んだような効果をもたらす。

撮像装置２２として用いるＣＣＤカメラのノイズによって、偶発的に２値化画像に、画素値が"１"のノイズが乗ることがある。図１２（ａ）においては、左上にある撮像対象物１７を示す、画素値が"０"の１６８個の画素の集合の中に２画素分、偶発的な画素値が"１"のノイズが存在していると仮定する。図１２（ａ）において、右上がりのハッチングで示した画素は、画素値が"０"の搬送帯１１の網目のパターンを示す画素であり、白抜きの画素は背景部としての画素値が"１"の画素である。

図１２（ａ）に示すような、偶発的に発生した画素値が"１"のノイズを表示する画素が存在している状況では、そのまま膨張処理をすると、図１３（ａ）に示すように、偶発的なノイズを表示する画素の領域も拡大してしまう。図１３（ａ）では、左上がりで間隔が疎なハッチングで、膨張処理によって３×３の領域に拡大した画素値が"１"のノイズを表示する画素の領域を示す。なお、膨張処理によって図１３（ａ）の右上がりのハッチングで示した搬送帯１１の網目のパターンを示す画素が背景部を示す画素と同化する。

図１２（ａ）に示すような、画素値が"１"のノイズを表示する画素がある状況で、いきなり膨張処理を行うと、図１３（ａ）に示すように画素値が"１"のノイズの画素の領域も膨張し、撮像対象物１７を示す画素値が"０"の画素の領域を意図せず侵してしまうことになる。そこで、画素値が"１"のノイズを表示する画素を、画素値が"０"の撮像対象物１７を示す画素の領域から除去するために、図１２（ｂ）に示すように膨張処理に先立って、網目消去回路２３３が、一旦収縮処理を挿入する。図１２（ｂ）に示す収縮処理によって、左上がりで間隔が疎なハッチングで示した画素値が"０"の、搬送帯１１の網目のパターンを示す画素の領域が太り、白抜きの矩形で示した画素値が"１"の背景部を示す領域も、図１２（ａ）に示した状態から、ある程度縮んでしまうので、図１２（ｂ）に示す収縮処理で消滅しない程度の背景領域の大きさが必要である。例えば、図１４及び図１５に示すように、揺らぎによって、網目消去回路２３３が２値化した際の境界が想定よりずれることがある。図１５は、図１４のXV−XV方向（Ｘ方向）に１次元だけ取り出した図でありる。図１５の左側に、図１４の５×５の画素領域に対応する５画素が示され、右側に図１４の１個の白抜きの矩形で示された偶発的なノイズを示す画素値が"１"の画素である画素Ｐ_Nが表示されている。

図１５（ａ）は元のアナログ量として彩度Ｓの強度分布を示すが、彩度Ｓの最小値Ｓ_minを中心とする揺らぎδによって、５ピクセル幅を想定しても、２値化の結果、図１５（ｂ）のΔで示したように、それぞれ内側に１画素ずつ割り込んで画素値が"１"の画素が３ピクセル幅になることもある。
更に、２値化の後、ノイズ消去の意図で収縮処理を行って、左右から画素値が"１"の画素Ｐ_ｘdを１個ずつ消去して画素値を"０"としたとしても、膨張の核として背景領域の中心には、図１５（ｂ）に符号Ｐ_ｘrで示すように、最低限、画素値が"１"の画素が１画素だけでも消滅せず残っている必要がある。図１５（ｂ）に示すように、揺らぎによる２値化の境界のずれが、左右で２ピクセル幅＝２Δ、更に収縮処理により左右で２ピクセル幅＝２Ｐ_ｘd消去されて画素値が"０"となったとしても、中心に背景領域の画素Ｐ_ｘrが最低限膨張の核として画素値が"１"の画素が１画素残るためには、図１４及び図１５に示すように、設計上は５画素相当の画素値が"１"の画素の領域を確保しなければならない。

図１２（ｂ）に示す収縮処理の後に、網目消去回路２３３が膨張処理を適切な回数行うと、ノイズを表示する画素の領域が消滅しつつ、図１３（ｂ）に示すように、撮像対象物１７を示す、画素値が"０"の画素の集合からなる領域を示すことができる。図１７の矩形の画素によって、模式的に示す誇張表現では、左上の位置に、撮像対象物１７を示す４９個の画素の集合が"０"に符号化されて示されている。そして、図１７では、背景板１５を示す画素と、搬送帯１１の網目のパターンを示す画素が"１"に符号化されている。

（ｄ） ステップＳ１３において、画像処理装置２３の撮像対象物認識手段２３４は、図１９及び図２０に例示的に示すように、撮像対象物１７を示す画像を認識する。図１９の矩形の画素によって、模式的に示す誇張表現では、撮像対象物１７を示す４９個の画素のそれぞれが"０"に符号化されて示され、背景板１５を示す画素と搬送帯１１の網目のパターンを示す画素がそれぞれ"１"に符号化されて示されている。

具体的には、ステップＳ１３１において、撮像対象物認識手段２３４の重心位置決定回路２３４ａが、撮像対象物１７のパターンが占有する、画素値"０"に符号化された画素領域のＸ方向の重心位置とＹ方向の重心位置を決定する。更に、ステップＳ１３２において、撮像対象物認識手段２３４の画素数算出回路２３４ｂが、画素値"０"に符号化された画素が占有している画素領域の画素数を算出する。更に、ステップＳ１３３において、撮像対象物認識手段２３４の半径算出回路２３４ｃが、画素値"０"に符号化された画素が占有している画素領域の全体が円形であると仮定して、撮像対象物１７の半径ｒを算出する。

以上のように、第１の実施の形態に係る画像処理方法によれば、生鮮物、加工済みの食品、工業製品等の種々の撮像対象物１７の位置が撮像装置２２に近い配置関係となるように撮像対象物１７が水平方向に走行する網目状の搬送帯１１の上に搭載された場合、撮像対象物１７の自重により網目のパターンの周期性が乱れる状況が発生しても、或いは、撮像対象物１７としての魚介類や野菜等からの水滴が網目のパターンの周期性を乱す場合であっても、搬送帯１１のパターンを消去して、撮像対象物１７の位置及び大きさを正確に認識できる。

ｍを１以上の整数として、搬送帯１１を構成する金網の網目のパターンの太さをｍピクセル幅とすると、想定される搬送帯１１の網目のパターンの最大太さは、（ｍ＋４）画素のピクセル幅となる。図１５に示したとおり、揺らぎδによって、２値化した際の境界が想定よりずれることがある。網目のパターンの太さをｍピクセル幅に想定しても、２値化の結果、それぞれ外側に１画素ずつ広がって（ｍ＋２）画素のピクセル幅になることもある。更に、ノイズ消去の意図で背景領域の収縮処理を行った場合、最大で搬送帯１１の網目のパターンは、更に２画素膨らむので、膨張処理直前の網目のパターンの太さは最大で（ｍ＋４）画素のピクセル幅が想定される。

一方、撮像対象物１７のパターンを示す画素領域は、１回の収縮処理によって２画素拡大し、その後の膨張処理によって（ｍ＋４）画素のピクセル幅分縮小するので、結果として、（ｍ＋２）画素のピクセル幅を縮小する。ｄを１以上の整数として、仮に直径がｄピクセル幅の円形の撮像対象物１７があった場合、直径ｄは、（ｄ−（ｍ＋２））ピクセル幅に縮小する。このサイズの縮小の許容比率を５％以下とすると、
（ｄ−（ｍ＋４））／ｄ ＞０．９５
が成り立ち、直径ｄについて解くと、
ｄ＞２０（ｍ＋２）
となる。言い方を変えると、第１の実施の形態に係る画像処理システムには直径ｄが２０（ｍ＋２）ピクセル幅より小さい撮像対象物１７は適さない。撮像対象物１７が安定して搬送帯１１に乗るためには、撮像対象物１７のサイズに対して、搬送帯１１の金網のピッチが少なくとも２ピッチ必要である。２ピッチ以下では、そもそも撮像対象物１７が金網の隙間を抜けて落ちたり、１点支持となったりして安定感が損なわれる。上記の条件を数式で表すと、ｋを１以上の整数として、背景部の太さをｋピクセル幅とすれば、
２（ｍ＋ｋ） ＜２０（ｍ＋２）
となり、これを解くと
ｋ＜９ｍ＋２０
が得られる。つまり、これが背景部の大きさの上限値となるピクセル幅である。

（画像処理プログラム）
図９、図１０，図１５及び図１６に示した一連の画像処理の操作は、図９、図１０，図１５及び図１６と等価なアルゴリズムを実行させるプログラムにより、図１に示した画像処理システムを制御して実行できる。この画像処理プログラムは、図１に示したプログラム記憶装置２５に記憶させればよい。又、この画像処理プログラムは、コンピュータ読取り可能な記録媒体に保存し、この記録媒体をプログラム記憶装置２５に読み込ませることにより、第１の実施の形態に係る一連の画像処理の操作を実行することができる。

ここで、「コンピュータ読取り可能な記録媒体」とは、例えばマイクロプロセッサの外部メモリ装置、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどの種々のプログラムを記録することができるような媒体であれば構わない。具体的には、フレキシブルディスク、ＣＤ−ＲＯＭ，ＭＯディスク、カセットテープ、オープンリールテープなどが「コンピュータ読取り可能な記録媒体」に含まれる。

即ち、第１の実施の形態に係る画像処理プログラムは、(a)網目状の搬送帯１１の上面に撮像対象物１７を搭載し、搬送帯１１の下方に搬送帯１１及び撮像対象物１７とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板１５を配置し、搬送帯１１の上方に配置された撮像装置２２に対し、撮像対象物１７の全景を含む領域を撮像させる命令と、(b)画像処理装置２３に対し、撮像装置２２から出力される画像データから、撮像対象物１７の周りに写り込まれている搬送帯１１の網目のパターンを消去させ、撮像対象物１７の重心位置及び大きさを算出させる命令とを含む一連の命令を、図１に示した画像処理装置２３を備えるコンピュータシステムに実行させるコンピュータソフトウェアプログラムである。

ここで、画像処理装置２３に対し、画像データから網目のパターンを消去させ、撮像対象物１７の重心位置及び大きさを算出させる命令には、以下の命令が含まれている：
（イ）撮像データ受信回路２３１に撮像装置２２から画像データを取得させる命令；
（ロ）背景領域分離手段２３２に、取得された画像データから、背景板１５が撮像された背景領域とこの背景領域以外が撮像されている非背景領域の２つに分離させる命令；
（ハ）網目消去回路２３３に分離された背景領域を、搬送帯１１の網目のパターンの幅以上に膨張処理することにより、非背景領域から搬送帯１１の像を消去させる命令；
（ニ）撮像対象物認識手段２３４に撮像対象物１７の２値化画像を基に、撮像対象物１７の重心位置及び大きさを算出させる命令

第１の実施の形態に係る画像処理システムの画像処理装置２３を備えるコンピュータシステムは、例えばフレキシブルディスク装置（フレキシブルディスクドライブ）及び光ディスク装置（光ディスクドライブ）を内蔵若しくは外部接続するように構成できる。フレキシブルディスクドライブに対してはフレキシブルディスクを、又光ディスクドライブに対してはＣＤ−ＲＯＭをその挿入口から挿入し、所定の読み出し操作を行うことにより、これらの記録媒体に格納された画像処理プログラムを画像処理システムを構成するプログラム記憶装置２５にインストールすることができる。更に、インターネット等の情報処理ネットワークを介して、この画像処理プログラムをプログラム記憶装置２５に格納することが可能である。

以上のように、第１の実施の形態に係る画像処理プログラムによれば、撮像対象物１７の方が撮像装置２２に近い配置関係となるように撮像対象物１７が水平方向に走行する網目状の搬送帯１１の上に搭載された場合、撮像対象物１７の自重により網目のパターンの周期性が乱れる状況が発生しても、搬送帯１１のパターンを消去して、撮像対象物１７の位置及び大きさを正確に認識できるように、図１に示した画像処理装置２３を含むコンピュータシステムを制御し、動作させることができる。

なお、上記の（イ）〜（ニ）の一連の命令に等価な処理は、ＦＰＧＡのようなＰＬＤを構成して、専用の回路を処理の順番に応じて接続することにより、信号が来たらすぐに次の回路が動作するハードウェア処理によっても実施可能である。或いは、ＦＰＧＡ等のＰＬＤの内部にＣＰＵを組み込み、（イ）〜（ニ）の一連の命令に等価な処理一部をハードウェア処理によって実施して、残余の一部をプログラムによるソフトウェア処理によって実施するように構成してもよい。ＦＰＧＡ内部に組み込まれるＣＰＵには、出荷時に埋め込まれているハードマクロＣＰＵでもよく、論理ブロックでソフトマクロＣＰＵを作ってもよい。

（その他の実施の形態）
上記のように、本発明は第１の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

既に述べた第１の実施の形態の説明においては、ＲＧＢ空間からＨＳＶ空間に変換する例を示したが、ＲＧＢ空間から、Ｒ，Ｇ，Ｂの値の最大と最小の平均で明るさを決めるＨＳＬ空間に変換してもよく、ＲＧＢ空間から、Ｒ，Ｇ，Ｂの値の平均で明るさを決めるＨＳＩ空間に変換しても構わない。更に、ＣＭＹ空間又はＣＭＹＫ空間から、Ｃ，Ｍ，Ｙの値の最大と最小の平均で明るさを決めるＨＳＬ空間に変換してもよい。

更に、図２に示した画像処理装置２３のハードウェア資源の構成一例であり、図２１に示すように、その一部をＦＰＧＡで構成してもよい。図２１に示すように、第１の実施の形態に係る画像処理システムの画像処理装置２３の一部を構成するＦＰＧＡは、撮像装置２２から画像データを取得する入力端子Ｉに接続された撮像データ受信回路２３１と、撮像データ受信回路２３１が取得した画像データから、背景板１５が撮像された「背景領域」とこの背景領域以外が撮像されている「非背景領域」の２つに分離する背景領域分離回路２３２ＧＡと、背景領域分離回路２３２ＧＡで分離された背景領域を、搬送帯１１の網目のパターンの幅以上に膨張処理することにより、非背景領域から搬送帯１１の像を消去する網目消去回路２３３と、網目消去回路２３３により生成された撮像対象物１７の２値化画像を基に、撮像対象物１７の重心位置及び大きさを算出する撮像対象物認識回路２３４ＧＡとを、処理に合わせて互いに接続し、撮像対象物認識回路２３４ＧＡの出力側を画像処理装置２３の出力端子Ｏに接続している。

背景領域分離回路２３２ＧＡは、図２に示した背景領域分離手段２３２と等価な機能をなす論理ブロックであり、ＲＧＢ色空間のデータをＨＳＶ色空間のデータに変換するＲＧＢ／ＨＳＶ変換回路２３２ａと、背景領域を２値化する背景領域２値化回路２３２ｂとを論理ブロックを構成するゲートアレイとして、処理の順番に合わせて含む。更に、撮像対象物認識回路２３４ＧＡは、図２に示した撮像対象物認識手段２３４と等価な機能をなす論理ブロックであり、撮像対象物１７のパターンが占める領域の画素数を算出する画素数算出回路２３４ｂと、撮像対象物１７の重心位置を決定する重心位置決定回路２３４ａと、撮像対象物１７の半径を算出する半径算出回路２３４ｃとをゲートアレイとして、処理の順番に合わせて接続して含む。

図２１に示すように、ＦＰＧＡとして、 撮像データ受信回路２３１、背景領域分離回路２３２ＧＡ、網目消去回路２３３、撮像対象物認識回路２３４ＧＡをそれぞれ、その必要とされる機能を実現するために専用に設計されたハードウェア回路として半導体チップ上に構成し、処理の順番に沿って各専用回路である撮像データ受信回路２３１、背景領域分離回路２３２ＧＡ、網目消去回路２３３、撮像対象物認識回路２３４ＧＡをつないで動作させるので、信号が来たらすぐに次の回路が動作するハードウェア処理が実施できる。図２に示したようにプログラムカウンタ２３８を用いてプログラムで撮像データ受信回路２３１、背景領域分離回路２３２ＧＡ、網目消去回路２３３、撮像対象物認識回路２３４ＧＡのそれぞれの機能の順番を指定する必要はないので、 撮像データ受信回路２３１、背景領域分離回路２３２ＧＡ、網目消去回路２３３のそれぞれで実行した結果をレジスタに蓄えずにすぐに次の回路に出力し、必要な処理が実行できる。更に、図２１に示した光源制御回路２３５、撮像装置制御回路２３６、搬送帯制御装置命令回路２３７等もＦＰＧＡによって構成してもよい。

図２１に示したような、その他の実施の形態に係る画像処理システムの画像処理装置２３によれば、ＦＰＧＡによって、専用回路を自由に構成できるので、使わない機能を搭載する必要はないので半導体チップの小型化が可能である。又、リアルタイム性が必要な機能だけを並列化して高速化、他の機能は回路を兼用して小さくするなど、独自の特徴を出すことができる。図２１に示したように画像処理装置２３の少なくとも一部をＦＰＧＡによって構成することにより、各処理を並列に実行できるので、割り込みによる遅延が発生せず、リアルタイム処理に有利である。

又、既に述べた第１の実施の形態の説明においては、図２又は図２１に示した半径算出回路２３４ｃを用いて、図３のステップＳ１３３において、撮像対象物１７が占有する画素領域の半径を算出する場合について例示的に説明したが、撮像対象物の形状は、円形で外径が近似できる物体のみならず、長い物等、任意形状であっても撮像対象物の大きさを算出することができる。例えば、円形以外の任意形状の撮像対象物であっても、撮像対象物に外接する矩形（長方形）が定義できれば、外接長方形のＸ軸に平行な辺の長さである水平フェレ径や、外接長方形のＹ軸に平行な辺の長さである垂直フェレ径によって、撮像対象物の外形寸法を評価し、撮像対象物の大きさを算出することができる。水平フェレ径や垂直フェレ径を算出しておくことにより、撮像対象物の外接矩形の大きさが求まるため、撮像対象物を処理対象物とした場合、処理対象物を掴むときのハンドの稼動域などの情報が得られ、また、画像処理の探索範囲を限定するための情報としても活用できる。

或いは、注目する撮像対象物と等面積で、撮像対象物のまわりの２次モーメントとの２次モーメントの差が最小となる特徴物相当楕円である「慣性等価楕円」が定義できれば、慣性等価楕円の短軸長さと長軸長さをそれぞれ求めて数値出力することによって、撮像対象物の外形寸法を評価できる。更に、慣性等価楕円の短軸と長軸の比（＝短軸長／長軸長）によっても、撮像対象物の外形寸法を評価してもよく、慣性等価楕円の傾き角θによって、撮像対象物の外形寸法を評価してもよい。慣性等価楕円の傾き角θは、慣性等価楕円の主軸（長軸）と水平線とのなす角度であるが、慣性等価楕円の傾き角θが算出できれば、撮像対象物を処理対象物とした場合、処理対象物を掴むときにどれくらいワークが傾いているかといった情報を知ることができる。

このように、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明は、ベルトコンベア上に、ホタテ、サバ、イカ等の魚介類や野菜等の生鮮物、加工済みの食品、工業製品を処理対象物として搭載し、処理対象物を自動加工処理するために、処理対象物を搬送する工程の途中で、背景のベルトコンベアの網目のパターンを消去し、処理対象物の位置や大きさを認識する画像処理技術の分野、更にこの画像処理技術を用いた食品の加工装置や工業製品の製造装置を生産する技術分野や、食品加工等に関係する種々の産業の分野に利用可能である。例えば、コロッケや肉を焼くラインで焼き具合をコンベア上で検査するような食品加工の分野、或いは、油分がついた機械部品等を金網コンベアに乗せて連続的に化学洗浄し、洗浄具合をコンベア上で検査するような技術分野に利用可能である。

１１…搬送帯
１３…搬送帯制御装置
１５…背景板
１７…撮像対象物
２１…光源
２２…撮像装置
２３…画像処理装置
２３１…撮像データ受信回路
２３２…背景領域分離手段
２３２ａ…ＨＳＶ変換回路
２３２ｂ…２値化回路
２３３…網目消去回路
２３４…撮像対象物認識手段
２３４ａ…重心位置決定回路
２３４ｂ…画素数算出回路
２３４ｃ…半径算出回路
２３５…光源制御回路
２３６…撮像装置制御回路
２３７…搬送帯制御装置命令回路
２３８…プログラムカウンタ
２３９…データバス
２５…プログラム記憶装置
２６…表示装置

Claims (11)

1. 撮像対象物を上面に搭載して搬送する網目状の搬送帯と、
   前記搬送帯の上方に配置され、前記撮像対象物の全景を含む領域を撮像する撮像装置と、
   前記搬送帯の下方に配置され、前記搬送帯及び前記撮像対象物とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板と、
   前記撮像装置に接続され、前記撮像装置から出力される画像データから、前記撮像対象物の周りに写り込まれている前記搬送帯の網目のパターンを消去して、前記撮像対象物の重心位置及び大きさを算出する画像処理装置と、
   を備えることを特徴とする画像処理システム。
2. 前記画像処理装置は、
   前記撮像装置から前記画像データを取得する撮像データ受信回路と、
   前記撮像データ受信回路が取得した前記画像データから、前記背景板が撮像された背景領域と該背景領域以外が撮像されている非背景領域の２つに分離する背景領域分離手段と、
   前記背景領域分離手段で分離された前記背景領域を、前記搬送帯の網目のパターンの幅以上に膨張処理することにより、前記非背景領域から前記搬送帯の像を消去する網目消去回路と、
   前記網目消去回路により生成された前記撮像対象物の２値化画像を基に、前記撮像対象物の重心位置及び大きさを算出する撮像対象物認識手段と、
   を備えることを特徴とする請求項１に記載の画像処理システム。
3. 前記画像処理装置は、
   前記撮像装置から前記画像データを取得する撮像データ受信回路と、
   前記撮像データ受信回路の出力端に接続され、前記撮像データ受信回路が取得した画像データから、前記背景板が撮像された背景領域と該背景領域以外が撮像されている非背景領域の２つに分離する背景領域分離回路と、
   前記背景領域分離回路の出力端に接続され、前記背景領域分離回路で分離された背景領域を、前記搬送帯の網目のパターンの幅以上に膨張処理することにより、前記非背景領域から前記搬送帯の像を消去する網目消去回路と、
   前記網目消去回路の出力端に接続され、前記網目消去回路により生成された前記撮像対象物の２値化画像を基に、前記撮像対象物の重心位置及び大きさを算出する撮像対象物認識回路と、
   を、前記画像処理装置の処理の順番に従って接続された専用回路として備えるプログラマブル・ロジック・デバイスで構成していることを特徴とする請求項１に記載の画像処理システム。
4. 前記搬送帯消去部において、前記背景領域の膨張処理の前に前記背景領域の収縮処理を挿入することを特徴とする請求項１又は２に記載の画像処理システム。
5. 前記撮像装置の画素を単位として、前記搬送帯の隙間を通して撮像される前記背景板の領域が占める画素数は、1次元方向に測って５画素以上であることを特徴とする請求項４に記載の画像処理システム。
6. 網目状の搬送帯の上面に撮像対象物を搭載し、前記搬送帯の下方に前記搬送帯及び前記撮像対象物とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板を配置し、前記搬送帯の上方に配置された撮像装置によって、前記撮像対象物の全景を含む領域を撮像するステップと、
   前記撮像装置から出力される画像データから、前記撮像対象物の周りに写り込まれている前記搬送帯の網目のパターンを消去して、前記撮像対象物の重心位置及び大きさを算出するステップと、含む
   を含むことを特徴とする画像処理方法。
7. 前記網目のパターンを消去して、前記撮像対象物の重心位置及び大きさを算出するステップは、
   前記撮像装置から前記画像データを取得するステップと、
   取得された前記画像データから、前記背景板が撮像された背景領域と該背景領域以外が撮像されている非背景領域の２つに分離するステップと、
   分離された前記背景領域を、前記搬送帯の網目のパターンの幅以上に膨張処理することにより、前記非背景領域から前記搬送帯の像を消去するステップと、
   前記撮像対象物の２値化画像を基に、前記撮像対象物の重心位置及び大きさを算出するステップと、
   を含むことを特徴とする請求項６に記載の画像処理方法。
8. 前記網目のパターンを消去して、前記撮像対象物の重心位置及び大きさを算出するステップは、
   前記撮像装置から前記画像データを取得する撮像データ受信回路と、前記撮像データ受信回路の出力端に接続され、前記撮像データ受信回路が取得した画像データから、前記背景板が撮像された背景領域と該背景領域以外が撮像されている非背景領域の２つに分離する背景領域分離回路と、前記背景領域分離回路の出力端に接続され、前記背景領域分離回路で分離された背景領域を、前記搬送帯の網目のパターンの幅以上に膨張処理することにより、前記非背景領域から前記搬送帯の像を消去する網目消去回路と、前記網目消去回路の出力端に接続され、前記網目消去回路により生成された前記撮像対象物の２値化画像を基に、前記撮像対象物の重心位置及び大きさを算出する撮像対象物認識回路とを、前記網目のパターンを消去して、前記撮像対象物の重心位置及び大きさを算出するステップに至る処理の順番に従って接続された専用回路として備えるプログラマブル・ロジック・デバイスによって、プログラムを用いずにハードウェア処理することを特徴とする請求項６に記載の画像処理方法。
9. 前記背景領域の膨張処理の前に前記背景領域の収縮処理を挿入することを特徴とする請求項７に記載の画像処理方法。
10. 前記撮像装置の画素を単位として、前記搬送帯の隙間を通して撮像される前記背景板の領域が占める画素数は、1次元方向に測って５画素以上であることを特徴とする請求項９に記載の画像処理方法。
11. 網目状の搬送帯の上面に撮像対象物を搭載し、前記搬送帯の下方に前記搬送帯及び前記撮像対象物とは、明度、色相又は色度の少なくともいずれかが異なる光学特性の背景板を配置し、前記搬送帯の上方に配置された撮像装置に対し、前記撮像対象物の全景を含む領域を撮像させる命令と、
    画像処理装置に対し、前記撮像装置から出力される画像データから、前記撮像対象物の周りに写り込まれている前記搬送帯の網目のパターンを消去させ、前記撮像対象物の重心位置及び大きさを算出させる命令と、
    を含む一連の命令を前記画像処理装置を備えるコンピュータシステムに実行させることを特徴とする画像処理プログラム。