JP2020197953A - 対象物の画像抽出処理方法、電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法 - Google Patents

Abstract

【課題】認識精度を向上させることが可能な、対象物の画像抽出処理方法、電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法を提供する。【解決手段】組成解析装置１０において処理装置１００は、形状又は面積が異なる複数の対象物を撮像した画像の中から、対象物の認識情報を含む分類データに基づいて、対象物に認識枠を付与することにより対象物の画像を抽出する認識枠付与手段１４１と、認識枠が２個以上重なり合う対象物を画像の中から抽出し、抽出された対象物に含まれる任意の２個の認識枠の重複部分の面積を算出し、任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する重複部分の面積の比が基準値以上となる場合に、小さい方の認識枠を削除する補正手段１４２を含む画像抽出手段１４０を有する。【選択図】図１

Description

本発明は、対象物の画像抽出処理方法、電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法に関する。

ＩＯＴ機器の普及やＡＩの進化等により多種多用かつ大量のデータを効率的且つ効果的に収集、共有、分析及び活用することが可能となってきている。中でも画像から得られる情報を処理して活用する技術は、飛躍的に向上している。

画像から得られる情報処理は、様々な業界で用いられており、近年、資源保護の観点から自動車を破砕して得られるシュレッダーダスト、廃家電製品、ＰＣ及び携帯電話等の電子・電気機器部品屑から有価金属を回収する金属リサイクル業界においても注目されてきている。

電子・電気機器部品屑から有価金属を回収する金属リサイクル方法としては、例えば、電気・電子部品屑を焼却後、所定のサイズに粉砕し、粉砕した電気・電子部品屑を銅の溶錬炉で処理して銅を回収する方法が知られている（例えば、特許文献１参照）。

特開２０１５−１２３４１８号公報

しかしながら、電子・電気機器部品屑の処理量が増加することにより、電子・電気機器部品屑に含まれる物質の種類によってはその後の銅製錬工程での処理に好ましくない物質（製錬阻害物質）が従来よりも多量に投入される場合がある。そのため、電子・電気機器部品屑の投入量を制限せざるを得なくなる状況が生じる。

電子・電気機器部品屑の投入量の制限を抑制するためには、電子・電気機器部品屑から製錬阻害物質を低減しておくことが効率性の観点から望ましい。しかしながら、電子・電気機器部品屑には、様々な形状及び種類の部品屑が含まれているため、選別機等を用いて機械的に目的とする物質を除去することが難しい。供給元の違い等によりその原料組成が変化する場合も多い。そのため、選別前に、選別すべき対象物を、画像解析技術を用いて抽出することができれば、効率性の観点からも望ましいと考えられる。

しかしながら、画像解析技術は多少なりとも誤認識が生じる場合がある。例えば、電子・電気機器部品屑を構成する実装部品、基板、筐体のプラスチック等の破砕物は、形状及び面積がばらばらの状態で混在しているため画像認識が難しい場合がある。誤認識の発生は、上述した電子・電気機器部品屑の処理だけではなく、種々の形状及び面積を有する対象物が混在する画像の画像認識処理においても同様の課題が存在する。

上記課題を鑑み、本開示は、認識精度を向上させることが可能な、対象物の画像抽出処理方法、電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法を提供する。

本発明の実施の形態は一側面において、認識枠付与手段が、形状又は面積が異なる複数の対象物を撮像した画像の中から、対象物の認識情報を含む分類データに基づいて、対象物に認識枠を付与することにより対象物の画像を抽出することと、補正手段が、認識枠が２個以上重なり合う対象物を画像の中から抽出し、抽出された対象物に含まれる任意の２個の認識枠の重複部分の面積を算出し、任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する重複部分の面積の比が基準値以上となる場合に、小さい方の認識枠を削除することを含む対象物の画像抽出処理方法である。

本発明の実施の形態は別の一側面において、形状又は面積が異なる複数の部品屑を含む電子・電気機器部品屑を撮像した画像の中から複数の部品屑毎にそれぞれ異なる描画条件の認識枠を付与し、認識枠が２個以上重なり合う部品屑を画像の中から抽出し、抽出された部品屑に含まれる任意の２個の認識枠の重複部分の面積を算出し、任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する重複部分の面積の比が基準値以上となる場合に、小さい方の認識枠を削除し、削除後の画像に含まれる認識枠が付された複数の部品屑を、複数の部品屑毎に分類してそれぞれの総面積を計測し、複数の部品屑の単位面積当たりの想定重量を複数の部品屑の総面積と乗算して複数の部品屑の重量比率を解析することにより、電子・電気機器部品屑の組成を推定することを含む電子・電気機器部品屑の組成解析方法である。

本発明の実施の形態は更に別の一側面において、形状又は面積が異なる複数の部品屑を含む電子・電気機器部品屑を撮像した画像の中から、複数の部品屑毎にそれぞれ異なる描画条件の認識枠を付与するための部品屑の認識情報を含む分類データを備える記憶装置と、分類データに基づいて、複数の部品屑に認識枠を付与する認識枠付与手段と、認識枠が２個以上重なり合う部品屑を画像の中から抽出し、抽出された部品屑に含まれる任意の２個の認識枠の重複部分の面積を算出し、任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する重複部分の面積の比が基準値以上となる場合に、小さい方の認識枠を削除することにより、認識枠の補正を行う補正手段と、削除後の画像に含まれる認識枠が付された複数の部品屑を、複数の部品屑毎に分類してそれぞれの総面積を計測する計測手段と、複数の部品屑の単位面積当たりの想定重量を複数の部品屑の総面積と乗算して複数の部品屑の重量比率を解析することにより、電子・電気機器部品屑の組成を推定する解析手段とを備える電子・電気機器部品屑の組成解析装置である。

本発明の実施の形態は更に別の一側面において、複数の部品屑からなる電子・電気機器部品屑を撮像する撮像工程と、電子・電気機器部品屑を撮像した画像の中から複数の部品屑の画像を抽出して複数の部品屑毎に分類するための分類データを記憶する分類データに基づいて、複数の部品屑の画像を抽出して複数の部品屑毎に認識枠を付与する認識枠付与工程と、認識枠が２個以上重なり合う部品屑を画像の中から抽出し、抽出された部品屑に含まれる任意の２個の認識枠の重複部分の面積を算出し、任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する重複部分の面積の比が基準値以上となる場合に、小さい方の認識枠を削除することにより、認識枠の補正を行う補正工程と、補正工程後の画像に含まれる認識枠が付された複数の部品屑を、複数の部品屑毎に分類してそれぞれの総面積を計測する計測工程と、複数の部品屑の単位面積当たりの想定重量を複数の部品屑の総面積と乗算して複数の部品屑の重量比率を解析することにより、電子・電気機器部品屑の組成を解析する解析工程とを含む電子・電気機器部品屑の処理方法である。

本開示によれば、認識精度を向上させることが可能な、対象物の画像抽出処理方法、電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法が提供できる。

本発明の実施の形態に係る電子・電気機器部品屑の処理装置を示す概略図である。 図２（ａ）は単一の対象物について認識枠が２個付された場合の例を示し、図２（ｂ）は単一の対象物について認識枠が３個以上付された場合の例を示す説明図である。 画像中に存在する電子・電気機器部品屑を部品屑毎に特定して部品屑毎にそれぞれ認識枠で色分けした画像の例を示す写真である。 本発明の実施の形態に係る電子・電気機器部品屑の処理装置を用いた解析結果の一例を表す表である。 本発明の実施の形態に係る対象物の画像抽出処理方法の一例を表すフローチャートである。 本発明の実施の形態に係る電子・電気機器部品屑の処理装置を用いた電子・電気機器部品屑の処理方法の一例を表すフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。なお、以下に示す実施の形態はこの発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。
なお、以下に示す実施の形態においては、画像抽出対象物として電子・電気機器部品屑を抽出する場合を例に示すが、電子・電気機器部品屑以外にも種々の画像の構成要素を対象物として応用できることは勿論である。

（対象物の画像抽出処理方法）
本発明の実施の形態に係る対象物の画像抽出処理方法は、解析装置を用いて、形状又は面積が異なる複数の対象物を撮像した画像の中から、対象物の認識情報を含む分類データに基づいて、対象物に認識枠を付与することにより対象物の画像を抽出することと、認識枠が２個以上重なり合う対象物を画像の中から抽出し、抽出された対象物に含まれる任意の２個の認識枠の重複部分の面積を算出し、任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する重複部分の面積の比が基準値以上となる場合に、小さい方の認識枠を削除することを含む。

本実施形態に係る対象物は、破砕物であることが好ましい。破砕物とは、破砕機などで破砕処理が行われた後の物品を意味し、様々な形状及び表面積がばらばらである。特に、破砕前の物品が複数の部品及び材質で構成される場合は、破砕により完全に部品毎、材質毎には分離されにくいという特徴を有する。

例えば、対象物を電子・電気機器部品屑とした場合、典型的には基板、プラスチック、金属片、銅線屑、コンデンサー、ＩＣチップ、その他部品屑をそれぞれ単体部品として分離しておくことが好ましい。しかしながら、破砕による分離では、完全なる単体分離は難しく、一部の部品屑上に他の部品屑が残る場合がある。例えば、コンデンサーやＩＣチップなどは破砕による分離によっても原形をとどめ、同じような形状及び大きさを有するものが多いが、基板、プラスチック、金属片、銅線屑などは、破砕されると形状も大きさもそれぞれ変化し、同一の形状及び大きさを有するものは殆どない。

本実施形態では、対象物の認識情報を含む分類データに基づいて、対象物に認識枠を付与することにより、対象物の画像を抽出する。例えば、電子・電気機器部品屑を対象物とする場合、電子・電気機器部品屑を撮像した画像を用いて、例えば、基板、プラスチック、その他部品屑の３種類に分類する場合には、基板とプラスチック、その他の部品屑を分類して抽出するための分類対象物の構成要素及び色彩の情報を含む基本情報（以下「教師データ」ともいう）を与え、この基本情報に基づいて抽出処理を行う。

ここで、基本情報に含まれる「構成要素」とは、それぞれの部品屑を構成する要素及び要素の位置関係を含む。例えば、電子・電気機器部品屑を対象物とする場合、基板に対する構成要素としては、基板の表面を覆う樹脂層、基板表面に形成された配線層、基板上に実装されるパーツなどの各要素と、その大きさ及び配置位置関係などを含む。基本情報に含まれる「色彩」とは、部品屑が備える色彩を示し、例えば、基板の場合は、基板表面に塗布された層の色、例えば緑色を含む。

このような教師データの作製は、例えば、電子・電気機器部品屑を対象物とする場合は、電子・電気機器部品屑を予め手選別などにより仕分けし、基板、プラスチック、金属片などの夫々の画像を、解析装置及び解析装置が備える記憶装置に読み込ませる。教師データとして読み込まれる基板、プラスチック、金属片の形状及び面積の情報はそれぞれ代表例であり、形状も面積も異なり、一つとして同じものはない。教師データ数を多くするほど解析精度は高まる。

対象物の画像を抽出する場合は、画像中の対象物の特徴と分類対象の教師データから導き出された夫々の特徴を比較し、確信度、即ち、教師データから導き出された特徴に対して対象物がどの程度特徴に合致しているかを示す度合を算出する。そして、確信度が一定値以上のものを分類対象として、分類対象毎に異なる認識枠が付与される。

ところが、形状又は面積が異なる複数の対象物の場合、一の対象物に対して認識枠が複数設定される場合がある。例えば、基板上に金属片が残っていれば、基板としての認識枠と金属片としての金属枠の両方の認識枠が重なった状態で設定される場合がある。この場合、基板としての確信度も高く、金属片としての確信度も高く、認識枠の設定としては間違っていない。

また、基板全体で一つの認識枠が設定されるほか、基板の一部に、教師データから導き出された基板としての合致がみられる領域に別の基板としての認識枠が更に付される場合がある。その結果、一の部品屑に対して複数の認識枠が付される場合がある。更に、基板には、回路が配置されていない部分もあるため、その部分がプラスチックとして認識枠が付される場合もある。このように、教師データの精度を高めて認識枠が適正に付与されたとしても、実際の部品屑の個数と認識枠の個数が大きくずれる場合がある。

よって、本実施形態に係る対象物として、電子・電気機器部品屑等のような形状又は面積が少なくとも異なる物質を画像認識する場合には、対象物の認識情報を含む分類データの精度を機械学習などにより更に高めたとしても、比較的同一形状及び面積の物質を対象物として画像認識する場合に比べて誤認識が生じやすくなるという点から本実施形態に係る処理方法の適用において特に有利である。

確信度については、確信度を低く設定すれば、複数の認識枠が設定される対象物が多くなる一方で、確信度を高く設定してしまうと、認識枠が設定されない対象物が増えてしまう恐れがある。確信度の設定は、対象物の性質に応じて当業者が適宜変更することが好ましい。

以下に詳細に説明するが、本発明の実施に係る対象物の画像抽出処理方法によれば、認識枠が複数設定される場合、認識枠の重なりが大きいもの、具体的には、２個の認識枠の重なり部分の面積が２個の認識枠のうちの小さい認識枠の面積に対して、一定の基準値より大きい場合に、小さい認識枠を削除することで、認識枠の個数を実際の対象物の個数により近づけることができ、認識精度を高めることができる。

本実施形態では、対象物については、電子・電気機器部品屑を例に挙げて説明するが、これに限定されるものではなく、多くの部品及び材質で構成される組立品の破砕物などに対しても適用され得ることは勿論である。

（処理装置）
本発明の実施の形態に係る電子・電気機器部品屑の処理装置は、図１に示すように、電子・電気機器部品屑を撮像する撮像装置１２と、電子・電気機器部品屑の組成を推定する解析手段を備える組成解析装置１０と、組成解析装置１０によって解析された組成解析結果に基づいて電子・電気機器部品屑から特定の部品屑を選別する選別機１３とを備える。

本実施形態における「電子・電気機器部品屑」とは、廃家電製品・ＰＣや携帯電話等の電子・電気機器を破砕した屑であり、回収された後、適当な大きさには破砕されたものを指す。本実施形態では、電子・電気機器部品屑とするための破砕は、処理者自身が行ってもよいが、市中で破砕されたものを購入等したものでもよい。

破砕方法として、特定の装置には限定されず、せん断方式でも衝撃方式でもよいが、できる限り、部品の形状を損なわない破砕が望ましい。従って、細かく粉砕することを目的とする粉砕機のカテゴリーに属する装置は含まれない。

電子・電気機器部品屑は、基板、筐体などに使われるプラスチック（合成樹脂類）、金属片、銅線屑、コンデンサー、ＩＣチップ、その他、等の複数の部品屑からなり、処理目的に応じて更に細かく分類することができる。以下に限定されるものではないが、本実施形態では、粒度５０ｍｍ以下に破砕されている電子・電気機器部品屑を好適に処理することができる。

組成解析装置１０は、組成解析処理を処理するための処理装置１００、各種制御に必要な情報を記憶する記憶装置１１０、入力装置１２０、表示装置１３０を備えることができる。処理装置１００は、画像抽出手段１４０、分類手段１０１、計測手段１０２、解析手段１０３、運転条件生成手段１０４、変更情報生成手段１０５、位置情報出力手段１０６、機械学習手段１０７及び更新手段１０８を含むことができる。

記憶装置１１０は、分類データ記憶手段１１１、解析情報記憶手段１１２、運転条件記憶手段１１３、位置情報記憶手段１１４を備えることができる。解析手段１０３はネットワーク１１を通じて解析手段１０３の解析結果を、サーバ１５或いはネットワーク１１を介して接続された選別機１３とは別の選別機１４へ出力することができるようになっている。

分類データ記憶手段１１１は、電子・電気機器部品屑を撮像した画像の中から画像解析の対象物となる複数の部品屑の画像を抽出して複数の部品屑毎に分類するための分類データが記憶されている。例えば、分類データ記憶手段１１１は、電子・電気機器部品屑の画像情報から、複数の部品屑、即ち、基板、プラスチック、金属片、銅線屑、コンデンサー、ＩＣチップ、その他（コネクタ、フィルム状部品屑、被覆線屑等）の少なくとも３種類以上、好ましくは７種類以上に分類するための分類対象物の構成要素及び色彩を含む認識情報を備える基本情報（教師データ）が記憶されている。

基板情報としては、基板を例に挙げると、基板を構成する樹脂基板の色彩や、表面に実装されたＩＣ、配線等の形状、色彩、これらの相対的位置関係等の情報が記憶される。なお、電子・電気機器部品屑の中の特定の部品を上記の部品屑のいずれかに設定するための条件は、その後の選別処理目的に応じて、操作者が予め設定することができる。

画像抽出手段１４０は、認識枠付与手段１４１及び補正手段１４２を備えることができる。認識枠付与手段１４１は、形状又は面積が異なる複数の対象物を撮像した画像の中から、対象物の認識情報を含む分類データに基づいて、対象物に特定の認識枠を付与することにより対象物の画像を抽出する。

例えば、認識枠付与手段１４１は、対象物の構成要素及び色彩を含む認識情報を含む分類データに基づいて、対象物に対して対象物と外接する最小外接図形を付与することができる。最小外接図形には、操作者の要望に応じて、矩形、平行四辺形、台形、正方形、多角形、超多面体等の種々の形状を採用することができるが、一般的には矩形が好適に用いられる。

図２（ａ）は、対象物Ｏ１の認識情報を含む分類データに基づいて、対象物Ｏ１に最小外接矩形からなる認識枠１、２が付された場合の画像例を示す。図２（ａ）においては、対象物Ｏ１の個数が１つであるにも関わらず認識枠が２つ付されている。補正手段１４２は、認識枠１、２が２個以上重なり合う対象物Ｏ１を画像の中から抽出し、抽出された対象物Ｏ１に含まれる任意の２個の認識枠１、２の重複部分の面積Ｓ_o（不図示）を算出する。そして、任意の２個の認識枠１、２のうち面積が小さい方の認識枠２の面積Ｓ_sに対する重複部分の面積Ｓ_o（不図示）の比（面積比Ｓ_o／Ｓ_s）が基準値Ｐ以上となる場合に、小さい方の認識枠２を削除する補正を実施する。

例えば、図２（ａ）の場合、認識枠１、２の重複部分の面積Ｓ_oは、２個の認識枠１、２のうち面積が小さい方の認識枠２の面積Ｓ_sと同様となるため、面積比Ｓ_o／Ｓ_sは１．０となる。ここで、基準値Ｐが０．９０であると予め定められている場合、補正手段１４２は、面積比Ｓ_o／Ｓ_s≧基準値Ｐとなることから、認識枠２を削除する。これにより、対象物Ｏ１には適正な１個の認識枠１が付される結果となる。

画像認識では、図２（ａ）に示すように、分類データの精度によらず、一の対象物Ｏ１に対して複数の認識枠１、２が付されてしまう場合がある。特に、電子・電気機器部品屑のような種々の形状及び構成を含む部品屑を対象とする場合、対象物Ｏ１を認識するための膨大な正解データ（教師データ）を分類データとして保持している場合においても一定の割合で誤認識が生じてしまう。

本実施形態に係る補正手段１４２によれば、認識枠が２個以上重なり合う対象物Ｏ１を、認識枠を付した画像の中から抽出し、認識枠の数を本来の対象物Ｏ１の個数に基づいて適正な数に補正することができるため、誤認識を減らし、画像認識精度を高める認識枠を用いて、例えば画像中の対象物の組成等を解析する場合においてもより精度良く解析することができる。

図２（ｂ）に示すように、一の対象物Ｏ２に対して３つ以上の認識枠３〜６が付されてしまう場合がある。この場合、補正手段は、認識枠３〜６が３個以上重なり合う場合において、大小重なる認識枠３〜６のうちの任意の認識枠３〜６を２つ選択し、基準値Ｐに基づいて、小さい方の認識枠３〜６を削除する処理を、削除する認識枠３〜６が無くなるまで繰り返すことが好ましい。これにより、認識枠の数を本来の対象物Ｏ１の個数に合うように補正することができる。

基準値Ｐは、画像中の対象物Ｏ１、Ｏ２の実際の個数Ｎ_oと、分類データに基づいて付与された認識枠Ｎ_cとの比（Ｎ_o／Ｎ_c）で表される、対象物の誤認識率（ＦＲ）に基づいて設定されることが好ましい。分類データに基づいて付与された認識枠Ｎ_cには、図２（ａ）及び図２（ｂ）に例示される認識枠１〜６以外にも、対象物以外の物質が囲われた認識枠、画像の背景を誤って囲った認識枠等も含まれる。対象物の画像認識の誤認識が生じ得る具体的な割合に基づいて、認識枠の補正を行うように設定することで、補正手段１４２により、より精度良く認識枠の削除処理を行うことができる。

基準値Ｐは画像解析対象とする対象物に応じて、操作者が適宜設定することが可能である。基準値Ｐは、０．７５以上１．０以下とすることが好ましく、より好ましくは０．８５以上１．０以下、更に好ましくは０．９０以上１．０以下である。特に、本発明者の検討によれば、分類データを最適化したとしても、電子・電気機器部品屑の画像認識においては約１０〜１５％程度の誤認識率が生じ得ることが分かった。そのため、電子・電気機器部品屑の中から複数の部品屑を抽出して認識枠１〜６を付与する場合には、基準値Ｐを０．８５以上、より好ましくは０．９０以上とすることが好ましい。

確信度によっても基準値Ｐの設定を調整できる。本実施形態では、確信度の規定値を超える物質に認識枠が付与されるが、確信度の規定値を高く設定しすぎると認識枠が適切に付与されず、誤認識が生じる場合がある。一方、確信度の規定値を低く設定しすぎると、今度は１の物質に複数の認識枠が付与される場合や、１の物質に対する認識枠の設定が重なることで誤認識が生じる場合がある。よって、確信度の規定値についても適正に設定する必要がある。よって、本実施形態では、誤認識率が５％以下となるように、部品屑の画像内の密度に応じて、確信度の規定値と基準値Ｐとの規定値を調整することが好ましい。例えば、電子・電気機器部品屑の部品密度が高く、部品屑同士で重なりが多くみられる場合には、基準値Ｐを０．９以上とすることが好ましく、部品密度が低く、一定以上の隙間を介して部品屑同士が配置されている場合には、基準値Ｐを０．７以上とすることが好ましい。

分類手段１０１は、分類データ記憶手段１１１に記憶された分類データに基づいて、認識枠が付され、所定の補正処理が施された後の電子・電気機器部品屑を含む画像をそれぞれ異なる描画条件で複数の部品屑毎に分類する。例えば、電子・電気機器部品屑が撮像された画面の中から、基板、プラスチック及びその他部品屑の３種類に分類したい場合、分類手段１０１は、基板、プラスチック及びその他部品屑について、電子・電気機器部品屑を撮像した画像からそれぞれ別種類の対象物として抽出し、抽出された基板、プラスチック及びその他部品屑について、それぞれ異なる描画条件の認識枠を付与する。図３は分類手段１０１が画像中に存在する電子・電気機器部品屑を部品屑毎に特定して、部品屑毎にそれぞれ異なる色の認識枠で区分けした画像の例を示している。

計測手段１０２は、分類手段が分類した複数の部品屑それぞれの画像の面積を計測する。計測手段１０２は、図３に示すように、それぞれ別の色枠で区分けされた部品屑の面積を、部品屑毎に、それぞれ解析情報記憶手段１１２に記憶された計測情報を用いて計測する。解析情報記憶手段１１２は、処理装置１００による組成分析の解析に必要な情報、例えば、複数の部品屑の面積を計測するための情報、部品屑の重量比率の計算に必要な各部品屑毎の単位当たりの重量比率の情報等を記憶する。

解析手段１０３は、複数の部品屑の単位面積当たりの想定重量を複数の部品屑の面積と乗算して複数の部品屑の重量比率を解析することにより、電子・電気機器部品屑の組成を推定する。複数の部品屑の単位面積当たりの想定重量は、操業結果に応じて予め操作者により入力装置１２０等を介して設定しておくことができる。以下に限定されるものではないが、例えば、電子・電気機器部品屑を３種類に分類する場合、基板屑の想定重量を例えば２．０ｇ／ｃｍ²、プラスチックの想定重量を１．５ｇ／ｃｍ²、その他の部品を１．０ｇ／ｃｍ²と設定することができる。

解析手段１０３は、面積の他に、部品屑毎にその部品屑を構成する部品の個数（個）、上記の面積の計算結果と個数とに基づいて算出される平均粒径、重量比などの物理的特性も解析して表示装置１３０等に出力することができる。解析結果の一例を図４に示す。図３に示す解析結果では、基板が全体の７０％を占め、次いでプラスチックが２２％、銅線屑が６％、金属片が３％含まれることが分かる。

運転条件生成手段１０４は、解析手段による複数の部品屑の重量比率の解析結果に基づいて、複数の部品屑を選別するための選別機の運転条件の情報を生成する。選別機としては、ピッキング、カラーソーター、メタルソーター、渦電流選別機、風力選別機、篩別機などの種々の選別機がある。例えば、図４に示す解析結果から、運転条件生成手段１０４は、例えば基板とプラスチックとを選別するカラーソーターの運転条件を生成し、生成した運転条件を運転条件記憶手段１１３へ格納する。運転条件記憶手段１１３へ格納された運転条件は、選別機１３、１４へ出力されて、選別機１３、１４が、出力された運転条件に応じて選別処理を行うことができる。変更情報生成手段１０５は、運転条件の変更条件を運転条件記憶手段１１３へ格納する。

位置情報出力手段１０６は、電子・機器部品屑を撮像した画像において分類手段１０１が分類した複数の部品屑のそれぞれの位置情報を取得し、位置情報記憶手段１１４へ格納する。そして、複数の部品屑の中から特定の部品屑の位置を抽出してこれを選別するための特定の選別機１３、１４に対し、位置情報を出力する。例えば、基板と金属片はメタルソーター等の特定の選別機１３、１４では分離できないが、画像情報で個別に位置情報が得られれば、ピッキング機能を備える選別機１３、１４によってこれらを選別することができるようになる。

機械学習手段１０７は、電子・電気機器部品屑を撮像した複数の画像または複数の部品屑を選別するための選別機１３、１４の選別結果に基づいて、分類手段１０１が参照する分類データを機械学習により処理する。

機械学習においては、まず、電子・電気機器部品屑を撮像した画像に写る部品屑単体に対して認識枠が付される。例えば、画像内に写っている基板に対し、ペイントソフトで赤線により囲む等して認識枠が付され、機械学習手段１０７は、認識枠が付された部品屑を基板であると更に学習する。同様に、機械学習手段１０７は、数種類の色の認識枠でそれぞれ囲まれたプラスチック、金属片、銅線屑などに対し、それぞれ固有の部品屑であると学習する。このような方法で１００枚以上、好ましくは数百枚〜数千枚の学習データを用意し、学習データを機械学習手段１０７が処理することで、それぞれの部品屑の特徴を学習し、その分類の精度を向上させるように学習する。

更新手段１０８は、機械学習手段１０７の学習結果に基づいて、分類手段１０１が部品屑を分類するために用いられる分類データを更新する。更新された分類データは、ネットワーク１１を介して接続された選別機１４やサーバ１５へ出力されてもよい。

本発明の実施の形態に係る電子・電気機器部品屑の処理装置によれば、画像抽出手段１４０が備える認識枠付与手段１４１が、形状又は面積が異なる複数の対象物Ｏ１、Ｏ２を撮像した画像の中から、対象物Ｏ１、Ｏ２の認識情報を含む分類データに基づいて、対象物に認識枠１〜６を付与し、補正手段１４２が、認識枠１〜６が２個以上重なり合う対象物Ｏ１、Ｏ２を画像の中から抽出し、抽出された対象物Ｏ１、Ｏ２に含まれる任意の２個の認識枠１〜６のうち不適切な認識枠を削除して、実際の対象物Ｏ１、Ｏ２の個数に合った数の認識枠１〜６の数に補正することにより、画像認識による誤認識を低減し、認識精度を高めることができる。これにより、画像に付された認識枠を用いて、例えば対象物Ｏ１、Ｏ２の存在比や組成の解析を行う際に、より現実に即した適切な解析を行うことができるようになる。

（対象物の画像抽出処理方法）
図５に示すフローチャートを用いて本発明の実施の形態に係る対象物の画像抽出処理方法の例を説明する。ステップＳ１において、画像抽出手段１４０が備える認識枠付与手段１４１が、分類データ記憶手段１１１に記憶された対象物の認識情報を含む分類データに基づいて、対象物に認識枠を付与する。認識枠の付与結果は記憶装置１１０内に格納される。

ステップＳ２において、画像抽出手段１４０が備える補正手段１４２が、認識枠付与手段１４１によって認識枠が付与された画像の中から、認識枠が２個以上重なり合う対象物を抽出する。ステップＳ３において、補正手段１４２が、抽出した対象物は認識枠が３個以上重なり合うか否か判別する。認識枠が３個以上重なる場合はステップＳ４に進み、認識枠が重なり合う大小２つの認識枠を抽出し、ステップＳ５へ進む。補正手段１４２が、抽出した対象物に付与された認識枠が２個である場合はそのままステップＳ５へ進む。

ステップＳ５において、補正手段１４２が、重なり合う大小２つの認識枠の重なり部分の面積Ｓ_oと、２個の認識枠１、２のうち面積が小さい方の認識枠２の面積Ｓ_sとを算出する。算出結果は適宜記憶装置１１０へ記憶される。補正手段１４２は更に、２個の認識枠のうち面積が小さい方の認識枠の面積Ｓ_sに対する重複部分の面積Ｓ_oの比（面積比Ｓ_o／Ｓ_s）を予め設定された基準値Ｐと比較する。面積比Ｓ_o／Ｓ_s＜基準値Ｐである場合はステップＳ８へ進む。面積比Ｓ_o／Ｓ_s≧基準値Ｐである場合はステップＳ７へ進む。

ステップＳ７において、補正手段１４２は、２個の認識枠のうち面積が小さい方の認識枠を削除する。ステップＳ８において、抽出すべき、認識枠が２個以上重なる他の対象物があるか否かを判定し、抽出すべき他の対象物が存在する場合にはステップＳ２へ戻る。他の対象物が存在しない場合は処理を終了する。

本発明の実施の形態に係る対象物の画像抽出処理方法によれば、対象物が一つである場合に誤認識により複数の認識枠が付された場合においても、認識枠の数を適正に補正することができるため、認識精度をより向上させることが可能な画像抽出処理方法が提供できる。

（電子・電気機器部品屑を用いた対象物の画像抽出処理及び組成解析方法）
図１に示す電子・電気機器部品屑の処理装置を用いた対象物の画像抽出処理方法、組成解析方法及び電子・電気機器部品屑の処理方法の一例について、図６のフローチャートを用いて説明する。なお、図６のステップＳ１１〜Ｓ１８は、図５のステップＳ１〜Ｓ８と実質的に同様であるため、重複した記載を省略する。

ステップＳ１９において、図１の分類手段１０１が、撮像装置１２により撮像された画像内に存在する部品屑を、分類データ記憶手段１１１に記憶された分類データに基づいて、部品屑毎（例えば、基板、プラスチック、金属片、銅線屑、コンデンサー、ＩＣチップ、その他の部品屑の７分類）に分類する。

分類手段１０１による分類結果は、表示装置１３０等によって表示されることができる。操作者の確認がし易くなるように、分類結果はそれぞれ異なる描画条件、例えば色、枠の太さ、枠の線（点線、破線、二重線など）を変更するように表示する。表示装置１３０に表示される画像において、例えば、基板は赤枠で、プラスチックは青枠にする等して、部品屑毎に色の異なる認識枠が付される。このとき、図１の位置情報出力手段は、分類手段１０１によるこの分類結果に基づくこれらの位置情報を位置情報記憶手段１１４に格納することができる。

例えば、基板、プラスチック、金属片、銅線屑、コンデンサー、ＩＣチップ、その他の部品屑の７分類に分類した場合、基板、銅線屑、コンデンサー及びＩＣチップは有価物とし、金属片（アルミやＳＵＳ）及びプラスチックを製錬阻害物質と見なして選別するように、選別条件を適切化することで、電子・電気機器部品屑の分離効率やロス率、操業成績を数値化して管理することができる。

更に、ステップＳ１９において、計測手段１０２が、分類手段１０１が分類した複数の部品屑の総面積を計測する。計測手段１０２による各部品屑の面積の計測は、画像から面積を推定するための既知の面積検出ソフトを用いて計測することができる。ステップＳ２０において、解析手段１０３は、複数の部品屑の単位面積当たりの想定重量を複数の部品屑の面積と乗算して複数の部品屑の重量比率を解析することにより、電子・電気機器部品屑の組成を推定する。

例えば図３に示すように、解析手段１０３によって、撮像装置１２が撮像した画像の中から複数の部品屑毎の平均の面積、個数、平均粒径、重量比などを数値化して解析することができるため、従来のように、手線別で電子・電気機器部品屑の原料組成を評価するよりも著しく迅速にその原料組成を数値化して把握することができる。

ステップＳ２１において、解析手段１０３が解析した原料解析結果に基づいて、選別処理が行われる。例えば、ステップＳ２０で得られた組成解析結果に基づいて、原料を選別処理するための選別機の選択と、選別条件、選別順序等の操業条件が決定され、その操業条件に基づいて選別処理が行われる。

このように、選別機１３に対してそれぞれ本発明の実施の形態に係る組成解析装置による組成解析結果を活用することで、搬送中の電子・電気機器部品屑を連続的に撮影しながら、その画像データをリアルタイムに解析し、原料組成を解析することができる。

従来、電子・電気機器部品屑の原料組成は、手選別によって評価し、その結果を選別処理の操業管理、運転条件の設定に反映させることが行われていたが、しかしながら、手選別により原料組成を把握する手法では、迅速な処理を行うことができなかった。

本発明の実施の形態によれば、時々刻々とその組成が変化する電子・電気機器部品屑の中からその中の部品屑の組成を画像解析と所定の分類データに基づく分離によって、瞬時に判別し数値化することができるため、大量の電子・電気機器部品屑をより適切な条件で迅速に選別を行うことができる。

また、表示装置１３０に解析結果として各原料種毎に色の異なる枠を付けて表示させることで操作者が認識しやすくなるため、組成解析装置の誤検知も認識しやすくなる。

更に、各部品屑に対して付与された認識枠は、ステップＳ１２〜Ｓ１８に示す各工程で補正を加えて適正化されることにより、画像認識における誤認識を少なくすることができ、解析精度を向上することができる。

本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。即ち、本発明は各実施形態に限定されるものではなく、その要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態の構成要素を適宜組み合わせてもよい。

以下に本発明の実施例を比較例と共に示すが、これらの実施例は本発明及びその利点をよりよく理解するために提供するものであり、発明が限定されることを意図するものではない。

（実施例１）
電子・電気機器部品屑を対象として、本実施例に係る処理装置により複数の基板屑からなる部品屑を撮像した画像に認識枠を付与し、認識枠が２個以上重なり合う対象物を抽出した。認識枠が２個以上重なり合う対象物は、以下の３ケースに分類できることが分かった。

（１）大きい枠Ａの内側に小さい枠Ｂが完全に入っている場合（面積が枠Ａ∩枠Ｂ／枠Ｂ＝１００％となる場合）
（２）大きい枠Ａの内側に小さい枠Ｂが基準値（ここでは９０％とする）以上１００％未満入っている場合（面積が９０％≦枠Ａ∩枠Ｂ／枠Ｂ＜１００％となる場合）
（３）二つの枠が一部重なっている場合（面積が枠Ａ∩枠Ｂ／枠Ｂ＜９０％となる場合）

画像中の２個以上の認識枠が重なり合う基板屑を上記の（１）〜（３）の態様で分類した結果について調べた結果、ケース（１）の割合は９．８％、ケース（２）の割合は５８．５％を占め、ケース（１）及び（２）の合計で６８．３％を占めることが分かった。また、画像中の基板屑の実際の個数Ｎ_oを目視でカウントし、処理装置の画像認識処理によって付与された認識枠Ｎ_cとの比（Ｎ_o／Ｎ_c）で表される対象物の誤認識率は、１３．８％であった。

その後、大きい枠Ａの内側に小さい枠Ｂが９０％以上入っている認識枠（上述のケース（１）及び（２）に該当する認識枠）を本実施例に係る補正処理により削除したところ、処理装置の画像認識処理によって付与された認識枠Ｎ_cとの比（Ｎ_o／Ｎ_c）で表される対象物の誤認識率を４．４％まで下げることができた。

（実施例２）
電子・電気機器部品屑を対象として、本実施例に係る処理装置により複数のプラスチックからなる部品屑を撮像した画像に認識枠を付与し、認識枠が２個以上重なり合う対象物を抽出し、実施例１と同様の３ケースに分類したところ、ケース（１）の割合は２６．７％、ケース（２）の割合は４３．３％を占め、ケース（１）及び（２）の合計で７０．０％を占めることが分かった。また、画像中の基板屑の実際の個数Ｎ_oを目視でカウントし、処理装置の画像認識処理によって付与された認識枠Ｎ_cとの比（Ｎ_o／Ｎ_c）で表される対象物の誤認識率は、１２．３％であった。

その後、大きい枠Ａの内側に小さい枠Ｂが９０％以上入っている認識枠（上述のケース（１）及び（２）に該当する認識枠）を本実施例に係る補正処理により削除したところ、処理装置の画像認識処理によって付与された認識枠Ｎ_cとの比（Ｎ_o／Ｎ_c）で表される対象物の誤認識率を３．７％まで下げることができた。

このように、本実施例に係る処理方法によれば、画像認識により対象物に付与される認識枠の数を実際の対象物の数に近づけることができ、これにより、画像認識の認識精度を向上させることが可能となる。

１０…組成解析装置
１１…ネットワーク
１２…撮像装置
１３,１４…選別機
１５…サーバ
１００…処理装置
１０１…分類手段
１０２…計測手段
１０３…解析手段
１０４…運転条件生成手段
１０５…変更情報生成手段
１０６…位置情報出力手段
１０７…機械学習手段
１０８…更新手段
１１０…記憶装置
１１１…分類データ記憶手段
１１２…解析情報記憶手段
１１３…運転条件記憶手段
１１４…位置情報記憶手段
１２０…入力装置
１３０…表示装置
１４０…画像抽出手段
１４１…認識枠付与手段
１４２…補正手段

Claims (10)

1. 認識枠付与手段が、形状又は面積が異なる複数の対象物を撮像した画像の中から、前記対象物の認識情報を含む分類データに基づいて、前記対象物に認識枠を付与することにより前記対象物の画像を抽出することと、
   補正手段が、前記認識枠が２個以上重なり合う前記対象物を前記画像の中から抽出し、抽出された前記対象物に含まれる任意の２個の認識枠の重複部分の面積を算出し、前記任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する前記重複部分の面積の比が基準値以上となる場合に、前記小さい方の認識枠を削除すること
   を含むことを特徴とする対象物の画像抽出処理方法。
2. 前記補正手段が、前記認識枠が３個以上重なり合う場合に、前記小さい方の認識枠を削除する処理を、削除する認識枠が無くなるまで繰り返すことを含む請求項１に記載の対象物の画像抽出処理方法。
3. 前記対象物に認識枠を付与することが、前記対象物の構成要素及び色彩を含む認識情報を含む分類データに基づいて、前記対象物に対して前記対象物と外接する最小外接図形を付与することを含む請求項１又は２に記載の画像抽出処理方法。
4. 前記基準値が、０．７５〜１．０であることを含む請求項１〜３のいずれか１項に記載の対象物の画像抽出処理方法。
5. 前記対象物が、電子・電気機器部品屑であることを含む請求項１〜４のいずれか１項に記載の対象物の画像抽出処理方法。
6. 前記形状又は面積が異なる複数の対象物を撮像した画像が、複数の部品屑を含む電子・電気機器部品屑を撮像した画像を含み、
   前記対象物に認識枠を付与することにより前記対象物の画像を抽出することが、前記電子・電気機器部品屑を、基板、プラスチック及びその他部品屑に分類して抽出することを含み、且つ、抽出された前記基板、前記プラスチック及び前記その他部品屑について、それぞれ異なる描画条件の認識枠を付与すること
   を含む対象物の請求項１〜５のいずれか１項に記載の対象物の画像抽出処理方法。
7. 前記形状又は面積が異なる複数の対象物を撮像した画像が、複数の部品屑を含む電子・電気機器部品屑を撮像した画像を含み、
   前記対象物に認識枠を付与することにより前記対象物の画像を抽出することが、前記電子・電気機器部品を、基板、プラスチック、金属片、銅線屑、コンデンサー、ＩＣチップ及びその他部品屑に分類して抽出することを含み、且つ、抽出された前記基板、前記プラスチック、前記金属片、前記銅線屑、前記コンデンサー、前記ＩＣチップ及び前記その他部品屑について、それぞれ異なる描画条件の認識枠を付与すること
   を含む対象物の請求項１〜５のいずれか１項に記載の対象物の画像抽出処理方法。
8. 形状又は面積が異なる複数の部品屑を含む電子・電気機器部品屑を撮像した画像の中から前記複数の部品屑毎にそれぞれ異なる描画条件の認識枠を付与し、
   前記認識枠が２個以上重なり合う前記部品屑を前記画像の中から抽出し、抽出された前記部品屑に含まれる任意の２個の認識枠の重複部分の面積を算出し、前記任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する前記重複部分の面積の比が基準値以上となる場合に、前記小さい方の認識枠を削除し、
   前記削除後の画像に含まれる前記認識枠が付された複数の部品屑を、前記複数の部品屑毎に分類してそれぞれの総面積を計測し、
   前記複数の部品屑の単位面積当たりの想定重量を前記複数の部品屑の総面積と乗算して前記複数の部品屑の重量比率を解析することにより、前記電子・電気機器部品屑の組成を推定すること
   を含むことを特徴とする電子・電気機器部品屑の組成解析方法。
9. 形状又は面積が異なる複数の部品屑を含む電子・電気機器部品屑を撮像した画像の中から、前記複数の部品屑毎にそれぞれ異なる描画条件の認識枠を付与するための前記部品屑の認識情報を含む分類データを備える記憶装置と、
   前記分類データに基づいて、前記複数の部品屑に認識枠を付与する認識枠付与手段と、
   前記認識枠が２個以上重なり合う前記部品屑を前記画像の中から抽出し、抽出された前記部品屑に含まれる任意の２個の認識枠の重複部分の面積を算出し、前記任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する前記重複部分の面積の比が基準値以上となる場合に、前記小さい方の認識枠を削除することにより、認識枠の補正を行う補正手段と、
   前記削除後の画像に含まれる前記認識枠が付された複数の部品屑を、前記複数の部品屑毎に分類してそれぞれの総面積を計測する計測手段と、
   前記複数の部品屑の単位面積当たりの想定重量を前記複数の部品屑の総面積と乗算して前記複数の部品屑の重量比率を解析することにより、前記電子・電気機器部品屑の組成を推定する解析手段と
   を備えることを特徴とする電子・電気機器部品屑の組成解析装置。
10. 複数の部品屑からなる電子・電気機器部品屑を撮像する撮像工程と、
    前記電子・電気機器部品屑を撮像した画像の中から前記複数の部品屑の画像を抽出して前記複数の部品屑毎に分類するための分類データを記憶する分類データに基づいて、前記複数の部品屑の画像を抽出して前記複数の部品屑毎に認識枠を付与する認識枠付与工程と、
    前記認識枠が２個以上重なり合う前記部品屑を前記画像の中から抽出し、抽出された前記部品屑に含まれる任意の２個の認識枠の重複部分の面積を算出し、前記任意の２個の認識枠のうち面積が小さい方の認識枠の面積に対する前記重複部分の面積の比が基準値以上となる場合に、前記小さい方の認識枠を削除することにより、認識枠の補正を行う補正工程と、
    前記補正工程後の画像に含まれる前記認識枠が付された複数の部品屑を、前記複数の部品屑毎に分類してそれぞれの総面積を計測する計測工程と、
    前記複数の部品屑の単位面積当たりの想定重量を前記複数の部品屑の総面積と乗算して前記複数の部品屑の重量比率を解析することにより、前記電子・電気機器部品屑の組成を解析する解析工程と、
    を含むことを特徴とする電子・電気機器部品屑の処理方法。