JP2010060407A - ボタン認識装置およびボタン認識方法 - Google Patents

Abstract

【課題】ボタンの表裏および種類の判別精度の向上を図ることができるとともに、ミシンによって縫製物にボタンを仕上がりよく縫い付ける。
【解決手段】ボタンＢの前面に対してそれぞれ異なる方向から照射光が照射されるように配置された複数の光源９Ａ、９Ｂ、９Ｃと、各光源９Ａ、９Ｂ、９Ｃからの照射光が照射された状態におけるボタンＢの前面を撮像するカメラ１３と、各光源９Ａ、９Ｂ、９Ｃからの照射光の照射およびカメラ１３の撮像のタイミングを制御し、カメラ１３による撮像によって各光源９Ａ、９Ｂ、９Ｃによる異なる方向からの照射光の照射毎のボタンＢの撮像画像を取得し、各撮像画像に基づいて撮像対象となっているボタンＢの面法線ベクトルｎを算出し、基準面法線ベクトルと比較して、撮像対象ボタンＢの種類および表裏を判別する制御装置１５とを備えた。
【選択図】 図５

Description

本発明は、ボタンの種類および表裏を認識するボタンの認識装置およびボタン認識方法に関する。

従来より、自動ボタン縫い付け装置によってボタンを縫製物に縫い付けるにあたり、ボタンの表裏を判別するボタン認識装置が用いられている。

例えば、特許文献１には、ボタンの表裏を検知するためのボタン検知装置を備えた自動ボタン縫着装置が記載されている。このボタン検知装置は、ボタンつまみ足が上昇する際に、このボタンつまみ足によって保持されたボタンの上面に係合可能な位置に進退自在に配置され、ボタンの上面における縁部と中央部に係合可能なボタン検知手段と、このボタン検知手段の上下変位によってボタンの表裏を判別する判別手段とを有している。

この自動ボタン検知装置は、例えば、ボタン検知手段として、ボタン有無検知レバーおよびボタン表裏検知レバーを備えている。このような自動ボタン検知装置は、ボタン供給アームによってボタンつまみ足にボタンが供給された後、ボタンつまみ足が上昇する際に、ボタンの縁部によってボタン有無検知レバーが押し上げられたか否かにより、ボタンつまみ足におけるボタンの有無を検知するようになっている。また、自動ボタン検知装置は、ボタンの表面における中央部が窪んでいるのに対し、裏面における中央部は平面状であるというボタンの形状を利用して、ボタンつまみ足が上昇する際に、ボタンの中央部によってボタン表裏検知レバーが押し上げられたか否かにより、ボタンの表裏を判別するようになっている。

また、特許文献２には、ボタン収納部および移動経路に所定の振動を発生させることにより、ボタン収納部に収納されたボタンを、ボタンの表裏選別後にボタン排出口から順次排出するボタン供給部を備えたボタン供給装置が記載されており、このボタン供給装置は、移動経路の途中においてボタン選別機構を備えている。そして、ボタン供給装置においては、ボタンの表面における中央部が窪んでおり裏面の中央部が平面状であるというボタン形状を利用して、ボタンは、ボタン選別機構を通過する際に、平面状の裏面が下側を向いており、表面が上側に向いているときには、ボタン選別機構を通過するようになっている。一方、ボタンは、中央部に窪みのある表面が下側を向き、裏面が上側に向いているときには、ボタン選別機構からボタン収納部における下方に落下するようになっている。これにより、ボタン供給装置は、ボタンの表裏を判別し、表面が上側を向いているボタンのみをボタン排出口から順次排出するようになっている。

さらに、特許文献３に記載されたボタン供給装置は、ボタンの糸通し孔に係止される係止ピンが形成され、ボタンをミシンの縫製部に供給するボタン搬送部と、係止ピン上に載置されたボタンの上面からボタンを回転させながら係止ピン上に押し当てる回転装置とを備えている。このようなボタン供給装置は、回転装置によってボタンを回転させながら係止ピン上に押し当ててボタンの糸通し孔に係止ピンを係止させることにより、ボタンを平面上における所定の角度回動して、ミシンに供給するようになっている。

さらにまた、特許文献４には、文字、図形、記号等、衣服への縫着時に方向性がある模様が施されているボタンの上面を撮像して前方画像を取得する撮像手段を備えたボタンの縫着方向設定装置が記載されている。このボタンの縫着方向設定装置は、撮像手段により取得された前方画像と、ボタンについて予め記録された基準画像とに基づいて、ボタンの上面の模様が所定の方向に向くようにボタンを回転させて、ミシンに供給するようになっている。

特許第２６５９０７３号公報 特許第２６４８０４２号公報 特許第２５０５２８９号公報 特公平２−０２３１９７号公報

しかし、前述の特許文献１に記載の自動ボタン検知装置および特許文献２に記載のボタン供給装置によれば、ボタンの表裏の判別を、ボタンの表面における中央部が窪み、裏面が平面状であるというボタン形状を利用して行うため、例えば、表裏とも同じような形状であるが、表面にのみ彫刻が施されているような表裏に微妙な相違があるだけのボタンについては、表裏の判別ができないという問題を有していた。

また、特許文献３に記載のボタン供給装置によれば、糸通し孔の形成位置の精度が悪いボタンがボタン搬送部上に載置された場合、係止ピンが糸通し孔に係止されないまま回転装置によってボタンが係止ピン上に押し当てられてしまい、係止ピンが折れてしまうおそれがあるという問題を有していた。

さらに、特許文献４に記載のボタンの縫着方向設定装置によれば、ボタンの表面に形成された刻印や画像等によっても、ボタンの表裏を判別することが可能であるが、例えば、ボタンが光を反射する材料によって形成されている場合、ボタンの色彩や模様によっては、取得した前方画像において背景画像とボタン画像とを区別することが困難なことがあった。さらにまた、前述のボタンの縫着方向設定装置によれば、ボタンが透明または半透明の材料によって構成されている場合には、撮像手段によってボタンについて予め記録された基準画像と比較するために十分な前方画像を取得することができない場合があった。このため、このボタンの縫着方向設定装置は、例えば反射性の材料や透明、半透明の材料によって形成されているような多種多様なボタンの判別に対応することができないという問題を有していた。さらに、特許文献４に記載のボタンの縫着方向設定装置では、ボタンの表面に刻印や画像が形成されておらず、しかもボタンの表裏の形状に微妙な相違しか有していないボタンについては、特許文献１および２に記載のボタン供給装置と同様に表裏の判別ができないという問題があった。

本発明はこれらの点に鑑みてなされたものであり、ボタンの表裏および種類の判別精度の向上を図ることができるとともに、ミシンによって縫製物にボタンを仕上がりよく縫い付けることが可能なボタン認識装置およびボタン認識方法を提供することを目的とする。

前記目的を達成するため、請求項１に記載の発明に係るボタン認識装置の特徴は、ボタンの前面に対してそれぞれ異なる方向から照射光が照射されるように配置された複数の光源と、前記各光源からの照射光が照射された状態における前記ボタンの前面を撮像する撮像装置と、前記各光源からの照射光の照射および前記撮像装置の撮像のタイミングを制御し、前記撮像装置による撮像によって前記各光源による異なる方向からの照射光毎の前記ボタンの撮像画像を取得し、前記各撮像画像に基づいて撮像対象となっているボタンの面法線ベクトルを算出し、前記撮像対象ボタンの前面における予め算出された基準面法線ベクトルと比較して、前記撮像対象ボタンの種類および表裏を判別する制御装置とを備えた点にある。

この請求項１に記載の発明によれば、複数の光源による異なる方向からの照射光の照射によって取得された各撮像画像を用いて、各撮像画像の全画素毎の面法線ベクトルを求めることができ、これにより、ボタンの３次元形状を求めることができる。このため、ボタンの表裏の面形状やボタンの種類による形状の差が微妙な場合であっても、ボタンの表裏や撮像対象となっているボタンが所望のボタンと同一の種類か否かを判別することができる。

請求項２に記載の発明に係るボタン認識装置の特徴は、請求項１に記載のボタン認識装置において、前記制御装置は、前記ボタンの前面における全体または外周縁における少なくとも一部分の前記面法線ベクトルを算出する点にある。

この請求項２に記載の発明によれば、制御装置は、ボタンの前面における全体について面法線ベクトルを算出することにより、ボタンの表裏および種類の判別精度をより向上させることができる。一方、制御装置は、ボタンの前面における外周縁の少なくとも一部分について面法線ベクトルを算出することにより、面法線ベクトルを算出する面積を小さくすることができる。このため、制御装置は、ボタンの表裏および種類の判別精度を向上させることができるとともに、算出時間の短時間化を図ることができ、より効率的にボタンの表裏および種類を判別することができる。

請求項３に記載の発明に係るボタン認識装置の特徴は、請求項１または請求項２に記載のボタン認識装置において、前記制御装置は、前記各光源から順番に前記ボタンに照射光を照射し、前記撮像装置によって、前記各照射方向からの照射光の照射毎に前記ボタンの前面を撮像して、前記各照射方向からの照射光毎の前記撮像画像を取得する点にある。

この請求項３に記載の発明によれば、各光源によって順番にボタンに照射光を照射して、カメラによって各光源による照射光の照射毎に撮像するので、制御装置は、各照射方向からの照射光毎の撮像画像を容易に取得することができ、これにより、判別工程の短時間化を図ることができ、より効率的にボタンの表裏および種類を判別することができる。

請求項４に記載の発明に係るボタン認識装置の特徴は、請求項１または請求項２に記載のボタン認識装置において、前記各光源として、それぞれ異なる色彩の照射光を照射する光源を用い、前記制御装置は、前記各光源から前記ボタンに同時に照射光を照射した状態において前記撮像装置によって前記ボタンを撮像し、前記撮像画像から前記各色彩の成分を抽出して前記各光源による照射光毎の前記撮像画像を取得する点にある。

この請求項４に記載の発明によれば、制御装置は、各光源によって同時にボタンに照射光を照射した状態によってボタンの上面を撮像するので、ボタンの認識のための時間を短縮することができ、より効率的にボタンの表裏および種類を判別することができる。

請求項５に記載の発明に係るボタン認識方法の特徴は、ボタンの前面に対して複数の照射方向から照射光を照射し、前記各照射方向からの照射光の照射毎に、前記ボタンの前面を撮像し、前記各照射方向からの照射光毎の前記ボタンの撮像画像に基づいて、前記撮像対象となっているボタンの面法線ベクトルを算出し、前記撮像対象ボタンの前面における予め算出された基準面法線ベクトルと比較して、前記撮像対象ボタンの種類および表裏を判別する点にある。

この請求項５に記載の発明によれば、複数の照射方向からの照射光の照射によって取得された各撮像画像を用いて、各撮像画像の全画素毎の面法線ベクトルを求めることができ、これにより、ボタンの３次元形状を求めることができる。このため、ボタンの表裏の曲面形状や異なるボタンの形状の差が小さい場合であっても、表裏や撮像対象となっているボタンが所望のボタンと同一の種類か否かを判別することができる。

本発明に係るボタン認識装置およびボタン認識方法によれば、ボタンの表裏および種類の判別精度の向上を図ることができ、この結果、ミシンによって縫製物にボタンを仕上がりよく縫い付けることができる。

以下、本発明に係るボタン認識装置の一実施形態を図１から図１３を参照して説明する。

図１は、本実施形態に係るボタン認識装置を備えたボタン供給装置およびミシンを示す概略斜視図である。

図１に示すように、ボタン認識装置１はミシン２にボタンＢを供給するボタン供給装置３に備えられている。

ボタン供給装置３は、円筒状の第１ボタン供給部５を有し、第１ボタン供給部５の内壁面には、第１ボタン供給部５の底面から上縁の一部に形成された第１排出口５ａまでボタンＢを搬送する螺旋状の通路５ｂが形成されている。そして、第１ボタン供給部５は、底面部に収納されたボタンＢを、所定の微振動によって通路５ｂに沿って上昇させて第１排出口５ａまで搬送し、第１排出口５ａから下方に落下させるようになっている。

第１ボタン供給部５における第１排出口５ａの下方には、円盤状の第２ボタン供給部６が配設されており、第２ボタン供給部６は、円盤状の回転板６ａと、回転板６ａにおける底面の周縁部および側面を被覆して回転板６ａを収納する支持体６ｂとを備えている。回転板６ａにおける周縁部には、少なくとも３つ（本実施形態においては８つ）の切欠部６ｃが、円周方向に同一の間隔をもって形成されており、第２ボタン供給部６は、切欠部６ｃおよび支持体６ｂに囲まれて形成された凹状のボタン収容部６ｄによって、第１排出口５ａから落下したボタンＢを収容するようになっている。回転板６ａは、支持体６ｂの内部においてモータ等の駆動手段によって周方向に間欠的に回転し、この回転板６ａの回転により、各ボタン収容部６ｄに収容されたボタンＢは、水平環状の搬送経路において搬送されるようになっている。

支持体６ｂには、回転板６ａの回動によってボタン収容部６ｄにおいて搬送されたボタンＢを第２ボタン供給部６の下方に落下して排出するための図示しない第２排出口が形成されている。第２排出口は、回転板６ａの間欠的な回動移動の間の停止時に切欠部６ｃに対向する位置であって、回転板６ａの回転中心を挟んで支持体６ｂにおける第１排出口５ａの下方と対向する位置に形成されている。

そして、第２ボタン供給部６は、１つのボタン収容部６ｄが第１排出口５ａの下方に位置すると停止し、ボタン収容部６ｄにおいて第１排出口５ａから落下したボタンＢを収容した後に回転し、隣位するボタン収容部６ｄが第１排出口５ａの下方に位置すると停止するようになっている。また、第２ボタン供給部６は、回転板６ａの回動によって切欠部６ｃが第２排出口の上面に位置すると、第２排出口からボタンＢを落下して排出するようになっている。

第２ボタン供給部６とミシン２との間であって第２排出口の近傍には、ボタン収容部６ｄに収容されたボタンＢの平面形状における位置を修正して、ミシン２に供給するボタン位置修正装置７が配設されている。ボタン位置修正装置７は、ボタンＢを搬送する搬送アーム７ａを有しており、搬送アーム７ａの先端部上面には、ボタンＢに形成されたボタン孔に係止される係止ピン７ｂが突出して形成されている。搬送アーム７ａは、図示しない駆動手段により先端部が第２排出口の下方とミシン２との間を往復移動するようになっており、先端部が第２排出口の下方に位置するときに、第２排出口から排出されたボタンＢを先端部において受け取るようになっている。

第２排出口の上方には、図示しないモータおよびシリンダ等の駆動手段によって回転かつ昇降移動する位置修正部材７ｃが設けられており、位置修正部材７ｃは、搬送アーム７ａの先端部にボタンＢが落下すると、回転しながら下降して位置修正部材７ｃの下端部をボタンＢの前面（上面）に圧接するようになっている。これにより、位置修正装置は、ボタンＢを係止ピン７ｂの先端部で回転させてボタン孔を搬送アーム７ａの係止ピン７ｂに係止するようになっている。

そして、搬送アーム７ａは、ボタン孔を係止ピン７ｂに係止することにより先端部においてボタンＢを保持し、この状態でボタンＢをミシン２に搬送するようになっている。

ボタン認識装置１は、図２に示すように、ボタンＢの上面に照射光を照射する複数（本実施形態においては３つ）の光源９Ａ、９Ｂ、９Ｃ（９）を備えた照明装置１０を有している。照明装置１０は、第２ボタン供給部６の上方におけるボタンＢの搬送経路における第１排出口５ａからのボタンＢの収容位置と第２排出口からのボタンＢの排出位置との間であって回転板６ａの間欠的な回動移動の間の停止時に切欠部６ｃに対向する位置に配置されている。

各光源９は、図２および図３に示すように、ボタンＢの上面に対してそれぞれ異なる照射方向から照射光が照射されるように予め定められた位置に、ボタン収容部６ｄに対向して配置されており、各光源９は、環状の支持体１１によって一体に保持されている。

照明装置１０の上方には、ボタンＢの上面を撮像する撮像手段としてのカメラ１３が固定して配設されており、図４に示すように、カメラ１３は、照明装置１０における支持体１１の開口部を介してボタンＢの上面を撮像するようになっている。なお、カメラ１３の配置位置は、各光源９の照射光がボタンＢの上面において反射した反射光を撮像可能な位置であれば、照明装置１０の上方でなくてもよい。

図５に示すように、ボタン認識装置１は、ボタン認識装置１の各部の動作を制御する制御装置１５を有している。制御装置１５は、ＣＰＵ１６を有しており、ＣＰＵ１６は、アナログ・デジタルコンバータ（Ａ／Ｄコンバータ）１７を介してカメラ１３に接続されているとともに、カメラ制御部１８を介してカメラ１３に接続されている。また、制御装置１５は、光源制御部２０を介して各光源９に接続されている。さらに、制御装置１５は、インターフェース（Ｉ／Ｆ）１９を介してミシン２の制御部２１とボタン供給装置３とに接続されているとともに、光源制御部２０を介して各光源９に接続されている。制御装置１５には、画像メモリ２２、データベースメモリ２３およびワークメモリ２５が設けられそれぞれＣＰＵ１６に接続されており、データベースメモリ２３には、撮像対象となるボタンＢの前面における撮像画像から予め算出されたボタンＢの上面の基準面法線ベクトルが撮像画像の各画素毎に記憶されている。また、カメラ１３によって撮像されたボタンＢの撮像画像は、Ａ／Ｄコンバータ１７によりデジタル化された後、画像メモリ２２において記憶されるようになっている。

さらに、制御装置１５は、画像処理プログラムが記憶された画像処理プログラムメモリ２６を有しており、画像処理プログラムに基づいて、各光源９による照射方向からの照射毎の撮像画像を取得し、各撮像画像に基づいて、撮像対象となったボタンＢの面法線ベクトルｎを、算出するようになっている。例えば、図６に示すような面法線ベクトルｎを基準にθ方向からの光源９によってボタンＢの上面が照射されている場合に、光源９の強さＬ、光源ベクトルｓ、ボタンＢの上面の反射率ρを用いて、面法線ベクトルｎを算出する。そして、制御装置１５は、算出された面法線ベクトルｎと撮像対象となっているボタンＢの基準面法線ベクトルと比較して、撮像対象となっているボタンＢの種類および表裏を判別するようになっている。

次に、本実施形態に係るボタン認識装置１によるボタン認識方法について詳細に説明する。

第１ボタン供給部５の第１排出口５ａから排出されたボタンＢが、第２ボタン供給部６におけるボタン収容部６ｄに収容された後、回転板６ａの回転により搬送されてボタン認識装置１における照明装置１０およびカメラ１３の下方において停止すると、ボタン認識装置１の制御装置１５は、ボタンＢの認識動作を開始する。

図７に示すように、まず、制御装置１５は、各光源９のうち第１光源９Ａを点灯してボタンＢの上面に照射光を照射し（ＳＴ１）、カメラ１３によって第１光源９Ａによる照射光の照射によってボタンＢの上面を撮像する（ＳＴ２）。続いて、制御装置１５は、第１光源９Ａを消灯し（ＳＴ３）、撮像した撮像画像を画像メモリ２２に記憶する（ＳＴ４）。その後、制御装置１５は、全光源９の照射光の照射による撮像が終了したか否かを判別し（ＳＴ５）、終了していないと判別した場合には（ＳＴ５においてＮｏ）、残りの第２光源９Ｂを点灯して、ＳＴ１〜ＳＴ４を繰り返す。そして、制御装置１５は、第１光源９Ａから第３光源９Ｃまで、これらの各工程（ＳＴ１〜ＳＴ４）を繰り返して、ＳＴ５において全ての光源９を点灯したと判別した場合には（ＳＴ５においてＹｅｓ）、撮像画像を画像メモリ２２からワークメモリ２５に転送して（ＳＴ６）、撮像画像の全画素について、面法線ベクトルを算出する（ＳＴ７）。

面法線ベクトルの算出について、図８に示すように、まず制御装置１５は、ｈ＝１として（ＳＴ７１）、算出対象となる撮像画像の全画素のうちｈ画素目の面法線ベクトルを算出する（ＳＴ７２）。

ここで、制御装置１５におけるボタンＢの上面の面法線ベクトルｎの算出対象は、図９（ａ）に示すようにボタンＢの前面全体でもよい。また、図９（ｂ）に示すように、ボタンＢの外周縁の一部分のみまたは前面全体を撮像して、ボタンＢの外周縁における一部分を算出対象としてもよい。さらには、図９（ｃ）に示すようにボタンＢの前面全体を撮像し、ボタンＢの外周縁全体のみを算出対象としてもよい。

図１０に示すように、ｘｙｚ座標において、カメラ１３の受光素子であるＣＣＤまたはＣＭＯＳによる撮像画像のそれぞれの画素の位置を（ｉ，ｊ）とすると、面法線ベクトルｎは、数式１によって表される。

ここで、ａ_ｉｊ、ｂ_ｉｊ、ｃ_ｉｊは、それぞれ、面法線ベクトルｎのｘ，ｙ，ｚ成分である。

また、各光源の位置は、予め定められているから、図１０に示すように、光源９をｋ（ｋ＝１〜３）とし、光源ベクトルｓの仰角をα、方位角をβとすると、仰角α、方位角βは、各光源ｋの配設位置により予め定められていて既知であるから、光源ベクトルｓは、数式２によって表される。なお、光源ベクトルｓは、長さ１の単位ベクトルである。

また、ここでは、各光源ｋからは、ボタンＢに対して平行光線が照射され、各光源ｋの仰角αおよび方位角βは、各光源の受光位置（ｉ，ｊ）により変化せず同一であるものとする。

ここで、光源ベクトルｓは単位ベクトルであるから、

となり、仰角αｋ、方位角βｋより、光源ベクトルｓを表す数式２を数式４のように変形することができる。

一方、画素（ｉ，ｊ）における光源９による輝度Ｘｉｊｋは、ランベルトの余弦則により、数式５によってあらわすことができ、数式５に数式１および数式２を代入すると数式６が得られる。

ここで、光源ベクトルｓは数式３に示すように単位ベクトルであり、ｃｉｊ＝１とすることにより、輝度を表す数式５は、数式７に変形することができる。

そして、各光源９を１、２、３とし、各光源９から撮像した結果を数式６に代入すると、数式８、数式９、数式１０が得られる。

ここで、数式８、数式９、数式１０の右辺の分母を消去するために、数式９を数式８で割り（Ｘｉｊ２／Ｘｉｊ１）、数式１０を数式８で割る（Ｘｉｊ３／Ｘｉｊ１）と、数式１１、数式１２が得られる。

そして、数式１１および数式１２の連立方程式を解くと、ａｉｊは、数式１３によって求められ、ｂｉｊは、数式１４によって求められ、ｃｉｊ＝１であるので、これにより画素（ｉ，ｊ）における面法線ベクトルｎを求めることができる。

なお、数式１３および１４において、ａ_ｋ、ｂ_ｋ、ｃ_ｋは、数式１２により、
ａ_ｋ＝ｃｏｓα_ｋｃｏｓβ_ｋ
ｂ_ｋ＝ｃｏｓα_ｋｓｉｎβ_ｋ
ｃ_ｋ＝ｓｉｎα_ｋ
として算出される。

続いて、制御装置１５は、算出対象の撮像画像の全画素数をｍとしたとき、ｈがｍより小さいか否かを判別し（ＳＴ７３）、ｈがｍより小さいと判別した場合には（ＳＴ７３においてＹｅｓ）、ｈ＝ｈ＋１として、再度ｈ画素目の面法線ベクトルを算出して（ＳＴ７２）、ｈがｍより小さいか否かを判別する（ＳＴ７３）。一方、制御装置１５は、ＳＴ７３においてｈがｍより小さくないと判別した場合には（ＳＴ７３においてＮｏ）、面法線ベクトルを算出する工程を終了する。このようにして、制御装置１５は、撮像画像全体、前述の算出対象となるボタンＢの前面全体、または外周縁の一部分、または外周縁の全体の全画素について面法線ベクトルを算出する。

また、制御装置１５において面法線ベクトルｎを求める場合であって、例えば金属性のボタンＢ等、ボタンＢの上面の材質、処理等によってボタンＢの上面における照射光の拡散反射成分に対して鏡面成分（正反射）が無視できない場合には、予めボタンＢの上面の反射率ρを取得して、データベースに記憶しておくとよい。また、図１１に示すように、カメラ１３のレンズに偏光フィルタ２８を装着したり、または光源９の前面に偏光フィルタ２９を装着することにより、カメラ１３によって拡散反射成分のみを受光するようにしてもよい。これにより、制御装置１５は、正確な面法線ベクトルｎを算出することができる。

さらに、各光源９として、例えばＬＥＤ等の指向特性があるような点光源９ではない光源９を用いる場合には、光源９の前面に拡散フィルタ３０を装着することにより、指向特性を除去することができ、これにより、制御装置１５は、正確な面法線ベクトルｎを算出することができる。

続いて、制御装置１５は、面法線ベクトルの比較処理を行う（ＳＴ８）。面法線ベクトルの比較処理について、図１２に示すように、制御装置１５は、まずデータベースから撮像対象となっているボタンＢの全画素の基準面法線ベクトルを取り出し、パターンマッチングにより、算出した撮像画像における全画素の面法線ベクトルｎと比較して（ＳＴ８１）、全画素の基準面法線ベクトルと算出された面法線ベクトルとの一致率を算出する（ＳＴ８２）。

次に、制御装置１５は、予め決定されたしきい値に基づいて、例えば、全画素の基準面法線ベクトルと算出された面法線ベクトルｎとの一致率が８０％より大きいか否かを判別する（ＳＴ９）。そして、制御装置１５は、一致率が８０％より大きいと判別した場合には（ＳＴ８においてＹｅｓ）、ボタンＢの表面が上方を向いていると判別し（ＳＴ１０）、Ｉ／Ｆ１９を介してその判別結果をミシン２の制御部２１に出力するとともに、ボタン位置修正装置７の搬送アーム７ａを駆動してボタンＢをミシン２に搬送する（ＳＴ１１）。次いで、ミシン２の制御部２１は、搬送アーム７ａによって搬送されたボタンＢを用いてボタンＢの縫いつけを行う。

一方、制御装置１５は、ＳＴ８において一致率が８０％より大きくないと判別した場合には（ＳＴ８においてＮｏ）、ボタンＢの裏面が上方を向いているまたはボタンＢの種類が異なると判別し（ＳＴ１２）、搬送アーム７ａによって搬送されたボタンＢを不図示の排除位置に搬送して排除する（ＳＴ１３）。

本実施形態によれば、複数の光源９Ａ、９Ｂ、９Ｃによる照射方向からの照射によって取得された各撮像画像を用いて全画素毎の面法線ベクトルｎを求めることができ、これにより、ボタンＢの３次元形状を求めることができる。このため、ボタンＢの表裏の曲面形状や異なるボタンＢの形状の差が小さい場合であっても、表裏や撮像対象となっているボタンＢが所望のボタンＢと同一の種類か否かを判別することができる。

したがって、本実施形態のボタン認識装置１によれば、ボタンＢの表裏および種類の判別精度の向上を図ることができ、この結果、ミシン２によって縫製物にボタンＢを仕上がりよく縫い付けることができる。

また、制御装置１５は、ボタンＢの前面における全体について面法線ベクトルｎを算出することにより、ボタンＢの表裏および種類の判別精度をより向上させることができる。さらに、制御装置１５は、ボタンＢの前面における外周縁の一部分または全部について面法線ベクトルｎを算出することにより、面法線ベクトルｎを算出する面積を小さくすることができる。このため、制御装置１５は、ボタンＢの表裏および種類の判別精度を向上させることができるとともに、算出時間の短時間化を図ることができ、より効率的にボタンＢの表裏および種類を判別することができる。

さらには、各光源９によって順番にボタンＢに照射光を照射して、カメラ１３によって各光源９による照射光の照射毎に撮像するので、制御装置１５は、各照射方向からの照射光毎の撮像画像を容易に取得することができ、これにより、判別工程の短時間化を図ることができ、より効率的にボタンＢの表裏および種類を判別することができる。

さらにまた、本実施形態によれば、固定したカメラ１３によって各撮像画像を撮像するので、複数のカメラ１３を用いて各照射方向からの照射毎の撮像画像を撮像する場合と比較して、撮像範囲の対応付けをする必要がなく、判別工程の短時間化を図ることができ、より効率的にボタンＢの表裏および種類を判別することができる。

続いて、本発明の第２の実施形態について、図１３を用いて説明する。

図１３は、第２の実施形態に係るボタン認識装置１の腰部を示す概略側面図である。ここで、第２の実施形態において、第１の実施形態と同一の構成については詳述を省略し、同一の符号を用いて説明する。

図１３に示すように、第２の実施形態におけるボタン認識装置１は、ボタンＢの上面に対して異なる照射方向から照射光を照射する位置に配置された４つ以上（第２の実施形態においては５つ）の光源９Ａ、９Ｂ、９Ｃ、９Ｄ、９Ｅ（以下、符号９で総称する）を備えている。光源９の数は、ボタンＢの上面の形状や表面特性等を考慮して決定する。

次に、第２の実施形態に係るボタン認識装置１のボタンＢ認識方法について説明する。

制御装置１５は、各光源９による照射方向からの照射光の照射毎に、カメラ１３によってボタンＢの上面を撮像し、撮像した各撮像画面を画像メモリ２２に記憶する。そして、制御装置１５は、画像処理プログラムに基づき、撮像対象となっているボタンＢの上面の面法線ベクトルｎを算出する。

ここで、図１３に示すように、カメラ１３は、光源９Ｂ、９Ｃ、９ＤからボタンＢの上面におけるある部分において反射した反射光については、光源９Ｂ、９Ｃ、９Ｄ、ボタンＢの上面およびカメラ１３の位置関係から、拡散反射成分のみを受光する。一方、カメラ１３は、光源９ＡからボタンＢの上面において反射した反射光については、光源９Ａ、ボタンＢの上面およびカメラ１３の位置関係から、正反射成分のみを受光する。さらに、カメラ１３は、光源９ＥからボタンＢにおいて反射した反射光については、キャストシャドウが発生して受光することができない。

このとき、制御装置１５は、正反射成分については、輝度の高さあるいは色彩により拡散成分と区別し、その光源９Ａの撮像画像における該当する画素の反射光データを面法線ベクトルｎの算出に用いない。また、制御装置１５は、所定のしきい値に達しない輝度の部分（暗い部分）については、反射光が受光されない光源９Ｅとして、その光源９Ｅの撮像画像における該当する画素の反射光データを面法線ベクトルｎの算出に用いない。しきい値は、ボタンＢの上面の色彩等を考慮して設定する。

そこで、制御装置１５は、該当する画素については光源９Ｂ、９Ｃ、９Ｄによる照射方向の照射毎の撮像画像を用いて、面法線ベクトルｎを算出する。

そして、制御装置１５は、算出した面法線ベクトルｎと基準面法線ベクトルと比較し、ボタンＢの表面が上方を向いているか、またはボタンＢの裏面が上方を向いているまたはボタンＢの種類が異なるかを判別する。そして、制御装置１５は、ボタンＢの表面が上方を向いていると判別した場合には、インターフェース（Ｉ／Ｆ）１９を介してボタン位置修正装置７の搬送アーム７ａを駆動してボタンＢをミシン２に搬送するとともに、判別結果をミシン２の制御部２１に出力する。次いで、ミシン２の制御部２１は、ボタンＢの表面が上方を向いているという判別結果を入力した場合には、搬送アーム７ａによって搬送されたボタンＢを用いてボタンＢの縫いつけを行う。

一方、制御装置１５は、ボタンＢの裏面が上方を向いていると判別した場合には、搬送アーム７ａによって搬送されたボタンＢを不図示の排除位置に搬送して排除する。

第２の実施形態によれば、制御装置１５は、拡散反射光のみを用いて面法線ベクトルｎを算出することができるので、予め反射率を取得することなく面法線ベクトルｎを算出することができる。

また、制御装置１５は、所定のしきい値以上の輝度の反射光データを用いて面法線ベクトルｎを算出することができるので、より正確な面法線ベクトルｎを算出することが可能となる。

したがって、第２の実施形態のボタン認識装置１によれば、ボタンＢの表裏および種類の判別精度の向上を図ることができ、この結果、ミシン２によって縫製物にボタンＢを仕上がりよく縫い付けることができる。

なお、本発明は前記両実施形態に限定されるものではなく、必要に応じて種々変更することが可能である。

例えば、第１の実施形態におけるボタン認識装置１は、第１ボタン供給部５、第２ボタン供給部６およびボタン位置修正装置７を備えたボタン供給装置３に設けられているが、これに限定されるものではない。

また、前述の両実施形態においては、順番に各光源９による照射方向からの照射光の照射毎にボタンＢの前面を撮像するものであるが、本発明はこれに限定されるものではない。例えば、各光源９として、Ｒ、Ｇ、Ｂ等それぞれ異なる色彩の照射光を照射する光源９を用い、制御装置１５は、各光源９によって同時にボタンＢに照射光を照射した状態によってボタンＢの上面を撮像し、撮像画像から各色彩の成分を抽出して各光源９による照射方向毎の撮像画像を取得してもよい。これにより、ボタン認識装置１は、複数の光源９による照射方向からの照射によって取得された各撮像画像を用いて全画素毎の面法線ベクトルｎを求めることができ、これにより、ボタンＢの３次元形状を求めることができる。また、各光源９によって同時にボタンＢを照射した状態でボタンＢの上面を撮像するので、ボタンＢの認識のための時間を短縮することができ、より効率的にボタンＢの表裏および種類を判別することができる。

さらに、前述の両実施形態においては、複数の光源９を用いて複数の照射方向からの照射光毎の撮像画像を得るようになっているが、本発明はこれに限定されず、予め複数の照射方向を決定し、各照射方向から照射光を照射するように１つの光源９を移動するようにしてもよい。

本発明に係るボタン認識装置の一実施形態を備えたボタン供給装置およびミシンを示す概略斜視図 図１のボタン供給装置における第２ボタン供給部およびボタン認識装置を示す概略平面図 図１のボタン認識装置を示す概略斜視図 図１のボタン認識装置を示す概略断面図 図１のボタン認識装置の構成を示すブロック図 ボタンと光源とカメラとの関係を示す概略側面図 図１のボタン認識装置におけるボタン認識方法を示すフローチャート 図７のボタン認識方法において面法線ベクトルの算出処理を示すフローチャート （ａ）〜（ｃ）は、ボタンにおける撮像対象を示す概略平面図 図１の光源と１の画素との関係を示すＸＹＺ軸座標 図１の認識装置において偏光フィルタおよび拡散フィルタを装着した場合を示す概略側面図 図７のボタン認識方法において面法線ベクトルの比較処理を示すフローチャート 第２の実施形態におけるボタン認識装置のカメラとボタンと光源との関係を示す概略側面図

符号の説明

１ ボタン認識装置
Ｂ ボタン
９Ａ、９Ｂ、９Ｃ 光源
１０ 照明装置
１１ 支持体
１３ カメラ
１５ 制御装置
１６ ＣＰＵ
１７ Ａ／Ｄコンバータ
１８ カメラ制御部
１９ インターフェース
２０ 光源制御部
２１ 制御部
２２ 画像メモリ
２３ データベースメモリ
２５ ワークメモリ
２６ 画像処理プログラムメモリ

Claims (5)

1. ボタンの前面に対してそれぞれ異なる方向から照射光が照射されるように配置された複数の光源と、
   前記各光源からの照射光が照射された状態における前記ボタンの前面を撮像する撮像装置と、
   前記各光源からの照射光の照射および前記撮像装置の撮像のタイミングを制御し、前記撮像装置による撮像によって前記各光源による異なる方向からの照射光毎の前記ボタンの撮像画像を取得し、前記各撮像画像に基づいて撮像対象となっているボタンの面法線ベクトルを算出し、前記撮像対象ボタンの前面における予め算出された基準面法線ベクトルと比較して、前記撮像対象ボタンの種類および表裏を判別する制御装置と
   を備えたことを特徴とするボタン認識装置。
2. 前記制御装置は、前記ボタンの前面における全体または外周縁における少なくとも一部分の前記面法線ベクトルを算出することを特徴とする請求項１に記載のボタン認識装置。
3. 前記制御装置は、前記各光源から順番に前記ボタンに照射光を照射し、前記撮像装置によって、前記各照射方向からの照射光の毎に前記ボタンの前面を撮像して、前記各照射方向からの照射光毎の前記撮像画像を取得することを特徴とする請求項１または請求項２のボタン認識装置。
4. 前記各光源として、それぞれ異なる色彩の照射光を照射する光源を用い、
   前記制御装置は、前記各光源から前記ボタンに同時に照射光を照射した状態において前記撮像装置によって前記ボタンを撮像し、前記撮像画像から前記各色彩の成分を抽出して前記各光源による照射光毎の前記撮像画像を取得することを特徴とする請求項１または請求項２に記載のボタン認識装置。
5. ボタンの前面に対して複数の照射方向から照射光を照射し、
   前記各照射方向からの照射光の照射毎に、前記ボタンの前面を撮像し、
   前記各照射方向からの照射光毎の前記ボタンの撮像画像に基づいて、前記撮像対象となっているボタンの面法線ベクトルを算出し、
   前記撮像対象ボタンの前面における予め算出された基準面法線ベクトルと比較して、前記撮像対象ボタンの種類および表裏を判別することを特徴とするボタン認識方法。

Images