JP2011123775A - Fabric product discrimination device and fabric product gripping system - Google Patents
Fabric product discrimination device and fabric product gripping system Download PDFInfo
- Publication number
- JP2011123775A JP2011123775A JP2009282299A JP2009282299A JP2011123775A JP 2011123775 A JP2011123775 A JP 2011123775A JP 2009282299 A JP2009282299 A JP 2009282299A JP 2009282299 A JP2009282299 A JP 2009282299A JP 2011123775 A JP2011123775 A JP 2011123775A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- product
- fabric product
- fabric
- cloth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
【課題】容易且つ高精度で、布製品を識別できる布製品識別装置、および、該布製品識別装置を備えた布製品把持システムを得る。
【解決手段】布製品把持システム１００は、第１載置台４０Ａに置かれる布製品を把持した後にその把持した布製品を展開して第２載置台４０Ｂに静置するものであって、主に、布製品処理ロボット１０と、カメラ１６、第２載置台４０Ｂ、および制御部３０の一部（判定部）を含む布製品識別装置５０と、から構成される。判定部の主要部である布製品判定ソフトウェアは、カメラ１６で撮像して得た画像データの一部と、布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、画像データに照合した局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する。
【選択図】図１A fabric product identification device capable of easily and accurately identifying a fabric product, and a fabric product gripping system including the fabric product identification device.
A cloth product gripping system 100, which grips a cloth product placed on a first mounting table 40A and then unfolds the gripped product and rests it on a second mounting table 40B. The cloth product processing robot 10, the camera 16, the second mounting table 40 </ b> B, and the cloth product identifying device 50 including a part (determination unit) of the control unit 30. The fabric product determination software, which is the main part of the determination unit, compares a part of image data obtained by imaging with the camera 16 with each of local template image data set in advance for each local feature of the fabric product. It is determined whether or not the positional relationship between the local template image data collated with the image data is a preset positional relationship.
[Selection] Figure 1
Description
本発明は、衣類、タオル、シーツ等の布製品の自動識別装置および自動把持システムに関する。 The present invention relates to an automatic identification device and an automatic gripping system for cloth products such as clothes, towels and sheets.
近年、アパレル業界や、クリーニング業界、リネンサプライ業界、福祉業界、医療業界等から、布製品のハンドリング、例えば、布製品の搬送や、布製品の積み重ね、布製品の折り畳み等を全て自動で行うことが可能なロボットの開発を待ち望む声が聞かれる。 In recent years, from the apparel industry, the cleaning industry, the linen supply industry, the welfare industry, the medical industry, etc., the handling of fabric products, for example, the transportation of fabric products, the stacking of fabric products, the folding of fabric products, etc. are all performed automatically. The voice of waiting for the development of the robot that can do is heard.
ところで、このような布製品の全自動ハンドリングを実現させるためには、先ず、個々の布製品を識別する技術を確立する必要がある。ここで、物を認識する技術については、現在までに様々な提案がなされている。 By the way, in order to realize such fully automatic handling of fabric products, it is first necessary to establish a technique for identifying individual fabric products. Here, various proposals have been made for technologies for recognizing objects.
例えば、下記特許文献１において、領域を指定するという負担をユーザに課すことなく、加工処理が施されて部分的に絵柄の変化した画像から加工前の元画像を精度よく判定したり検索したりするために、加工処理が施された画像と加工前の元画像との間の画像類似度を高い値として算出することができる画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラムが提案されている。 For example, in Patent Document 1 below, without imposing the burden of specifying an area on the user, it is possible to accurately determine or search an original image before processing from an image that has been subjected to processing and has partially changed its pattern. Therefore, an image similarity calculation system, an image search system, an image similarity calculation method, and an image that can calculate the image similarity between the processed image and the original image before processing as a high value A similarity calculation program has been proposed.
また、下記特許文献２においては、入力パターンの変動に対して頑健な識別が可能であり、誤識別が生じる可能性を低減させながら、より処理コストの少ないパターン認識を行うことが可能なパターン識別方法及びその装置、そのプログラムが提案されている。 Further, in Patent Document 2 below, pattern identification that can be robustly recognized against fluctuations in input patterns and that can perform pattern recognition with lower processing cost while reducing the possibility of erroneous identification. A method, an apparatus thereof, and a program thereof have been proposed.
また、下記特許文献３においては、重み情報付きマスクパターンを用いて、サーチ画像上の任意の位置で変動照合が必要かどうか判定でき、無駄なテンプレート変動による照合処理を削減でき、高速化が図れる画像のマッチング処理方法が提案されている。 In Patent Document 3, the mask pattern with weight information can be used to determine whether or not variation collation is necessary at an arbitrary position on the search image, collation processing due to useless template variation can be reduced, and speed can be increased. Image matching processing methods have been proposed.
また、下記特許文献４においては、抽出対象となるパターンの境界が不明確である場合においても、抽出対象となるパターンを精度良く抽出することが可能なパターン抽出装置が提案されている。 In Patent Document 4 below, a pattern extraction device is proposed that can accurately extract a pattern to be extracted even when the boundary of the pattern to be extracted is unclear.
しかしながら、上記特許文献１〜４のものにおいては、変形しやすい衣類、シーツ類などの布製品を高精度で識別することは困難であった。 However, in the above-mentioned Patent Documents 1 to 4, it is difficult to identify fabric products such as clothes and sheets that are easily deformed with high accuracy.
そこで、本発明の目的は、容易且つ高精度で、布製品を識別できる布製品識別装置、および、該布製品識別装置を備えた布製品把持システムを提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide a fabric product identification device that can easily and accurately identify a fabric product, and a fabric product gripping system including the fabric product identification device.
（１） 一局面に従う布製品識別装置は、布製品を撮像し、前記布製品の画像データを得る撮像部と、前記画像データの一部と、前記布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、前記画像データに照合した前記局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する判定部と、を備えているものである。 (1) The cloth product identification device according to one aspect previously captures a cloth product, obtains image data of the cloth product, a part of the image data, and a local feature portion of the cloth product in advance. A determination unit that determines whether or not each of the set local template image data is collated, and whether or not the positional relationship between the local template image data collated with the image data is a preset positional relationship. And.
上記（１）の構成によれば、布製品の特徴部分（例えば、衣類の襟、袖など）を認識するだけでなく、布製品の特徴部分同士の位置関係（例えば、衣類の襟と袖との位置関係）まで認識することが可能となることから、どの種類の布製品かを容易且つ高精度で識別することができる。また、仮に、無造作におかれた布製品に対しても、同様に、どの種類の布製品かを容易且つ高精度で識別することができる。 According to the configuration of (1) above, not only the characteristic parts (for example, clothing collars and sleeves) of the fabric product are recognized, but also the positional relationship between the characteristic parts of the fabric products (for example, clothing collars and sleeves). Can be recognized easily and with high accuracy. Similarly, even for a fabric product that has been randomly selected, it is possible to easily identify the type of fabric product with high accuracy.
（２） 上記（１）の布製品識別装置においては、前記判定部において、前記判定の前に、前記画像データと、前記特徴部分を含む全体に又は大局的な特徴部分ごとに、予め設定した大局テンプレート画像データのそれぞれとが照合するか否か判定するものであってもよい。 (2) In the cloth product identification device according to (1) above, the determination unit sets in advance the image data and the entire characteristic part including the characteristic part or each global characteristic part before the determination. It may be determined whether each of the global template image data is collated.
上記（２）の構成によれば、判定部において、上記（１）での判定の前に、布製品の全体又は大局的な特徴部分についての判定をするので、どの種類の布製品かをさらに高精度で識別することができる。また、局所テンプレート画像データは、布製品の全体又は大局的な特徴部分を含む大局テンプレート画像データから分割して作成しておくので、局所テンプレート画像データの位置関係が入れ替わることや、隣接する局所テンプレート画像データの位置が互いに反転して認識されることがない。その結果として、布製品の局所的な特徴部分について認識する場合は、局所テンプレート画像データ同士の位置関係を指定した状態で、布製品の局所的な特徴部分について認識することが可能となることから、どの種類の布製品かをさらに高精度で識別することができる。 According to the configuration of (2) above, the determination unit makes a determination on the entire fabric product or a general characteristic portion before the determination in (1) above, so that it is further determined which type of fabric product. It can be identified with high accuracy. In addition, since the local template image data is created by dividing the entire fabric product or the global template image data including the global characteristic portion, the positional relationship of the local template image data is changed, or the adjacent local template The positions of the image data are not recognized by being reversed with respect to each other. As a result, when recognizing the local feature portion of the fabric product, it is possible to recognize the local feature portion of the fabric product while specifying the positional relationship between the local template image data. Which kind of fabric product can be identified with higher accuracy.
（３） 上記（２）の布製品識別装置においては、前記判定部において、前記画像データと前記局所テンプレート画像データとの照合判定を、前記画像データと前記大局テンプレート画像データとの照合領域内で実行することが好ましい。 (3) In the fabric product identification device according to (2), the determination unit performs a collation determination between the image data and the local template image data within a collation region between the image data and the global template image data. It is preferable to carry out.
布製品の局所的な特徴部分は、当然、布製品の全体又は大局的な特徴部分に含まれている。したがって、上記（３）の構成のように、判定部における判定において、局所テンプレート画像データを用いて照合する際の領域を、布製品の画像データと、大局テンプレート画像データとの照合領域に限定しておけば、誤認識を減らすことができる。その結果として、どの種類の布製品かをより迅速かつ高精度で識別することができる布製品識別装置を提供できる。 The local features of the fabric product are of course included in the overall or global features of the fabric product. Therefore, as in the configuration of (3) above, in the determination by the determination unit, the region for collation using the local template image data is limited to the collation region between the image data of the fabric product and the global template image data. If this is done, misrecognition can be reduced. As a result, it is possible to provide a fabric product identification device that can identify which type of fabric product more quickly and with high accuracy.
（４） 上記（１）又は（２）の布製品識別装置においては、前記判定部において、前記判定の前に、前記画像データと、予め前記布製品の輪郭形状を帯状に画像処理して得ておいた輪郭形状テンプレート画像データとが照合するか否か判定するものであってもよい。 (4) In the cloth product identification device according to (1) or (2), the determination unit obtains the image data and the contour shape of the cloth product in advance in a band shape before the determination. It may be determined whether or not to match with the contour shape template image data.
上記（４）の構成によれば、形が変り易い布製品について、該布製品における帯状の輪郭形状を輪郭形状テンプレート画像データとして予め用意しておき、該輪郭形状テンプレート画像データと撮像して得た画像データとを照合し、上記（１）又は（２）の構成における各判定の前処理をしておくことで、どの種類の布製品かをより容易且つより高精度で識別することができる。特に、輪郭形状テンプレート画像データにおいては、細い線状の輪郭形状のテンプレート画像データを用いる場合に比べて、輪郭が曖昧になることから、高精度でどの種類の布製品かを識別することができる。また、輪郭形状テンプレート画像データにおいて、輪郭形状以外の部分を表示しないようにしておくことで、布製品に柄が付されている場合でも、柄を消すことができる場合があり、複雑な柄があったとしても影響を最小限にすることができ、高精度でどの種類の布製品かを識別することができる。 According to the configuration of (4) above, for a fabric product whose shape is likely to change, a belt-like contour shape in the fabric product is prepared in advance as contour shape template image data, and is obtained by imaging with the contour shape template image data. By comparing the image data with each other and pre-processing each determination in the configuration (1) or (2) above, it is possible to identify which type of fabric product more easily and with higher accuracy. . In particular, in the contour shape template image data, since the contour becomes ambiguous compared to the case where the template image data having a thin linear contour shape is used, it is possible to identify which type of fabric product with high accuracy. . In addition, in the contour shape template image data, a portion other than the contour shape is not displayed, so even if a pattern is attached to the fabric product, the pattern may be erased, and a complicated pattern may be displayed. If any, the influence can be minimized, and the type of fabric product can be identified with high accuracy.
（５） 他の局面に従う布製品把持システムにおいては、上記（１）〜（４）のうちいずれか１つの布製品識別装置と、前記布製品を把持できるものであるとともに、前記布製品を落下させる又は広げることが可能な把持装置と、を備えているものである。 (5) In the cloth product gripping system according to another aspect, any one of the cloth product identification devices of the above (1) to (4) and the cloth product can be gripped, and the cloth product is dropped. And a gripping device that can be spread or widened.
上記（５）の構成によれば、布製品識別装置によって布製品の特徴部分を容易且つ高精度で判別できているので、把持装置によって布製品の特徴部分を掴む、又は、布製品の特徴部分を基点として特定した他の位置を掴むことが容易となる。したがって、把持装置によって、布製品を置き直す又は布製品を広げることなどの操作を円滑に行うことが可能な布製品把持システムを提供できる。 According to the configuration of (5) above, since the characteristic part of the cloth product can be easily and accurately discriminated by the cloth product identification device, the characteristic part of the cloth product is grasped by the gripping device, or the characteristic part of the cloth product It becomes easy to grasp another position specified by using as a base point. Therefore, it is possible to provide a fabric product gripping system that can smoothly perform operations such as repositioning the fabric product or spreading the fabric product by the gripping device.
（６） 上記（５）の布製品把持システムにおいては、前記把持装置によって前記布製品を把持し、所定位置において前記布製品を落下又は広げた後、前記判定部が、前記判定を実行するものであってもよい。 (6) In the cloth product gripping system according to (5), the determination unit performs the determination after gripping the cloth product by the gripping device and dropping or spreading the cloth product at a predetermined position. It may be.
上記（６）の構成によれば、初期状態からの実行だけでなく、判定部による判定が一度実行された後に、布製品を置き直して、判定部による判定を再実行することも可能であることから、どの種類の布製品かの識別を再実行し、布製品の識別精度をさらに向上させることが可能である。 According to the configuration of (6) above, not only the execution from the initial state but also the determination by the determination unit can be re-executed after the determination by the determination unit is once performed and then the fabric product is replaced. Therefore, it is possible to re-execute the identification of which type of fabric product and further improve the accuracy of identifying the fabric product.
以下、図１〜図８を参照して、本発明の実施の形態に係る布製品把持システムについて説明する。 Hereinafter, a fabric product gripping system according to an embodiment of the present invention will be described with reference to FIGS.
本発明の実施の形態に係る布製品把持システム１００は、図１に示されるように、第１載置台４０Ａに置かれる布製品を把持した後にその把持した布製品を展開して第２載置台４０Ｂに静置するものであって、主に、布製品処理ロボット（把持装置）１０と、第２載置台４０Ｂ、および制御部３０の一部（判定部）を含む布製品識別装置５０と、から構成される。 As shown in FIG. 1, the fabric product gripping system 100 according to the embodiment of the present invention grips a fabric product placed on the first mounting table 40 </ b> A and then expands the gripped fabric product to provide a second mounting table. The cloth product identification device 50 including the cloth product processing robot (gripping device) 10, the second mounting table 40B, and a part of the control unit 30 (determination unit), Consists of
以下、布製品処理ロボット１０、布製品識別装置５０についてそれぞれ詳述していく。 Hereinafter, the fabric product processing robot 10 and the fabric product identification device 50 will be described in detail.
＜布製品処理ロボット＞
図１に示すように、布製品処理ロボット１０は、ロボットハンド２０、ロボットアーム１５、カメラ（撮像部）１６および制御部３０の一部からなる。図１においては、布製品処理ロボット１０を一対（２個）設けてあり、布製品処理ロボット１０の間に第１載置台４０Ａおよび第２載置台４０Ｂが設けられている。
<Clothing robot>
As shown in FIG. 1, the fabric product processing robot 10 includes a robot hand 20, a robot arm 15, a camera (imaging unit) 16, and a part of a control unit 30. In FIG. 1, a pair (two) of fabric product processing robots 10 are provided, and a first mounting table 40 </ b> A and a second mounting table 40 </ b> B are provided between the fabric product processing robots 10.
図１に示すように、ロボットハンド２０は、ロボットアーム１５の先端側部分に回動自在に取り付けられている。したがって、ロボットアーム１５は、ロボットハンド２０を３次元空間内で自由自在に動かすことができる。また、カメラ１６は、ロボットアーム１５の上部からロボットハンド２０近傍を撮像できるように設けられている。 As shown in FIG. 1, the robot hand 20 is rotatably attached to the tip side portion of the robot arm 15. Therefore, the robot arm 15 can freely move the robot hand 20 in the three-dimensional space. The camera 16 is provided so that the vicinity of the robot hand 20 can be imaged from above the robot arm 15.
制御部３０は、カメラ１６により撮像されたデータに基づいて、ロボットアーム１５およびロボットハンド２０の動作を制御する。 The control unit 30 controls the operations of the robot arm 15 and the robot hand 20 based on the data captured by the camera 16.
＜布製品識別装置＞
布製品識別装置５０は、図１に示されるように、主に、第２載置台４０Ｂおよび制御部３０の一部（判定部）から構成される。なお、以下、第２載置台４０Ｂおよび制御部３０の一部（判定部）についてそれぞれ詳述していくが、制御部３０については、判定部以外の構成も説明する。
<Cloth product identification device>
As shown in FIG. 1, the fabric product identification device 50 mainly includes a second mounting table 40 </ b> B and a part (determination unit) of the control unit 30. Hereinafter, the second mounting table 40B and a part of the control unit 30 (determination unit) will be described in detail, but the configuration of the control unit 30 other than the determination unit will also be described.
（１）第２載置台
第２載置台４０Ｂは、図１に示されるように、上部面に天板として設けられ、光線を透過するとともに布製品を載置可能な平面部４１と、平面部４１を固定支持する枠部材４２と、を有しているものである。
(1) Second mounting table As shown in FIG. 1, the second mounting table 40 </ b> B is provided as a top plate on the upper surface, transmits a light beam, and can mount a cloth product, and a plane unit. Frame member 42 for fixing and supporting 41.
（２）制御部
制御部３０は、図１に示されるように、主に、本体、ディスプレイ、キーボードおよびマウスから構成されている。
(2) Control Unit As shown in FIG. 1, the control unit 30 mainly includes a main body, a display, a keyboard, and a mouse.
本体は、マザーボードや、ＣＰＵ、メインメモリ、ハードディスク、ＵＳＢインターフェイスボードやＲＳ−２３２Ｃインターフェイスボード等を備えている。そして、ハードディスクには距離決定ソフトウェアや、布製品処理ロボット制御ソフトウェア、テンプレート画像データ生成ソフトウェア、布製品判定ソフトウェア（判定部の主要部）等のソフトウェアがインストールされており、これらのソフトウェアはＣＰＵやメインメモリ等によって実行される。 The main body includes a motherboard, a CPU, a main memory, a hard disk, a USB interface board, an RS-232C interface board, and the like. The hard disk is installed with software such as distance determination software, fabric product processing robot control software, template image data generation software, fabric product determination software (main part of the determination unit), and these software are CPU and main software. It is executed by a memory or the like.
（距離決定ソフトウェアによる処理）
制御部３０は、２つのカメラ１６において同時に画像が生成されると、距離決定ソフトウェアにより、カメラ１６からそれらの画像のデータを収集する。次に、この制御部３０では、距離決定ソフトウェアにより、両面像の画素の対応関係がデータ化される。続いて、この制御部３０では、ステレオカメラ機能と画素対応関係データとに基づいて画像中の二次元画像座標点までの距離が求められる。その後、カメラモジュールにおいて、両面像中から最も似通った対象物を、画素間を横に移動しながら対応付けしていく。そして、全ての画素について検索が完了すると、画像中の対象物までの距離が求められる。
(Processing by distance determination software)
When the images are simultaneously generated in the two cameras 16, the control unit 30 collects data of the images from the cameras 16 by the distance determination software. Next, in the control unit 30, the correspondence relationship between the pixels of the double-sided image is converted into data by the distance determination software. Subsequently, the control unit 30 obtains the distance to the two-dimensional image coordinate point in the image based on the stereo camera function and the pixel correspondence data. Thereafter, in the camera module, the most similar object in the double-sided image is associated while moving horizontally between the pixels. When the search is completed for all the pixels, the distance to the object in the image is obtained.
なお、このような手法は当業者に公知の手法であるため、これ以上詳細な説明は行わない。 In addition, since such a method is a method well-known to those skilled in the art, it does not carry out detailed description any more.
（布製品処理ロボット制御ソフトウェアによる処理）
制御部３０では、布製品処理ロボット制御ソフトウェアにより、布製品の把持箇所が決定され、布製品処理ロボット１０の布製品の把持処理から布製品の静置処理までの一連の動作を実現する制御信号が生成され、その制御信号が逐次、布製品処理ロボット１０に送信される。
(Processing by cloth product processing robot control software)
In the control unit 30, the cloth product processing robot control software determines the cloth product gripping position, and the control signal for realizing a series of operations from the cloth product gripping process to the cloth product stationary process of the cloth product processing robot 10. Is generated, and the control signal is sequentially transmitted to the fabric processing robot 10.
（テンプレート画像データ生成ソフトウェアによる処理）
制御部３０では、テンプレート画像データ生成ソフトウェアにより、後述する布製品判定ソフトウェアによる処理に用いる各種のテンプレート画像データの生成処理を行う。以下、図２〜図５を用いつつ、各種のテンプレート画像データの生成処理について説明する。
(Processing by template image data generation software)
In the control unit 30, the template image data generation software performs various template image data generation processing used for processing by the cloth product determination software described later. Hereinafter, a process for generating various template image data will be described with reference to FIGS.
まず、カメラ１６を用いて、展開した各種の布製品（Ｔシャツ、ズボン、シーツなど）の全体を撮像し、布製品の全体画像データを予め制御部３０のハードディスク内に格納しておく。そして、図２に示したように、格納されている布製品の全体画像データのそれぞれを呼び出して（ステップＳ１）、各布製品の全体及び各布製品の大局的な特徴部分ごとに大局テンプレート画像データを生成する（ステップＳ２）とともに、各布製品の局所的な特徴部分ごとに局所テンプレート画像データを生成する（ステップＳ３）。 First, the camera 16 is used to image the entire developed cloth products (T-shirts, pants, sheets, etc.), and the entire image data of the cloth products is stored in the hard disk of the control unit 30 in advance. Then, as shown in FIG. 2, each of the stored overall image data of the fabric product is called (step S1), and a global template image is obtained for each overall fabric product and for each global feature portion of each fabric product. Data is generated (step S2), and local template image data is generated for each local feature of each fabric product (step S3).
ここで、大局テンプレート画像データ、局所テンプレート画像データの一例を挙げる。布製品全体の大局テンプレート画像データとしては、例えば、図３（ａ）に示したような布製品（いわゆるＴシャツ）の画像データが挙げられる。布製品の大局テンプレート画像データとしては、図３（ｂ）に示したように、図３（ａ）の画像データを４分割したうち、布製品の特徴部分（ここでは、Ｔシャツの袖、襟など）が含まれる上半分の２つのそれぞれ（画像データＡ１、Ｂ１）が挙げられる。なお、他の布製品の部分と誤認識が生じやすい下半分の２つの画像データは、採用していない。布製品の局所テンプレート画像データとしては、図３（ｃ）に示したように、図３（ｂ）の画像データそれぞれを４分割したうち、内側の２つを除いた画面データのそれぞれ（画像データＡ１ａ、Ａ１ｂ、Ａ１ｃ、Ｂ１ａ、Ｂ１ｂ、Ｂ１ｃ）が挙げられる。なお、該内側の２つの画像データは、特徴となる部分が少なく、他の布製品の部分と類似する形状を有しており、誤認識が生じやすくなるため、採用していない。 Here, examples of global template image data and local template image data are given. The global template image data of the entire fabric product includes, for example, image data of a fabric product (so-called T-shirt) as shown in FIG. As the general template image data of the fabric product, as shown in FIG. 3 (b), the image data of FIG. 3 (a) is divided into four parts. Etc.) in the upper half (image data A 1 , B 1 ). Note that the lower two pieces of image data that are likely to be erroneously recognized as other fabric parts are not used. As the local template image data of the cloth product, as shown in FIG. 3C, each of the screen data except for the inner two of the image data of FIG. A 1 a, A 1 b, A 1 c, B 1 a, B 1 b, B 1 c). The two pieces of image data on the inner side are not adopted because they have few characteristic parts and have shapes similar to the parts of other fabric products, and are likely to cause erroneous recognition.
また、他の布製品について、以下のような大局テンプレート画像データ、局所テンプレート画像データの例がある。例えば、布製品全体の大局テンプレート画像データとしては、図４（ａ）に示したような布製品（いわゆるズボン）の画像データが挙げられる。布製品の大局テンプレート画像データとしては、図４（ｂ）に示したように、図４（ａ）の画像データを左右半分ずつに分割したもののそれぞれ（画像データＡ２、Ｂ２）が挙げられる。布製品の局所テンプレート画像データとしては、図４（ｃ）に示したように、図４（ｂ）の画像データのうち、腰周り部分を取り出して得た画面データのそれぞれ（画像データＡ２ａ、Ｂ２ａ）、裾部分を取り出して得た画面データのそれぞれ（画像データＡ２ｂ、Ｂ２ｂ）が挙げられる。 For other fabric products, there are examples of global template image data and local template image data as follows. For example, image data of cloth products (so-called trousers) as shown in FIG. As the global template image data of the cloth product, as shown in FIG. 4B, the image data of FIG. 4A divided into left and right halves (image data A 2 and B 2 ) can be mentioned. . As the local template image data of the cloth product, as shown in FIG. 4C, each of the screen data obtained by taking out the waist part of the image data of FIG. 4B (image data A 2 a , B 2 a) and screen data (image data A 2 b, B 2 b) obtained by taking out the bottom part.
次に、上述した大局テンプレート画像データごとに、テンプレートマッチングの前処理の一つとして、精画像データ及び粗画像データを生成する（ステップＳ４）。具体的には、精画像を生成する場合、大局テンプレート画像データごとに、カラー画像からグレー画像に変換する。また、粗画像を生成する場合、大局的なテンプレート画像データごとに、カラー画像からグレー画像に変換するとともに、最大濃度値検出によってぼかした画像に加工し、曖昧な画像を生成する。なお、グレー画像に変換するのは、カラー画像から情報量を減らすためであるので、最初からグレー画像である場合には、行う必要がないのは言うまでもない。なお、各局所テンプレート画像データにおいても、大局テンプレート画像データに対して行った同様の処理を行って、精画像データ及び粗画像データを生成する。 Next, for each of the above-described global template image data, fine image data and coarse image data are generated as one of template matching preprocessing (step S4). Specifically, when generating a fine image, a color image is converted to a gray image for each global template image data. Further, when generating a coarse image, each global template image data is converted from a color image to a gray image, and processed into a blurred image by detecting the maximum density value, thereby generating an ambiguous image. Note that the conversion to the gray image is performed in order to reduce the amount of information from the color image, so it is needless to say that it is not necessary to perform the conversion when the image is a gray image from the beginning. In each local template image data, the same processing performed on the global template image data is performed to generate fine image data and coarse image data.
続いて、生成した精画像データ及び粗画像データにおける精画像及び粗画像はコントラストになっているので、情報量を減らすために白及び黒だけの二値画像に変換して、二値画像データを生成する処理を行う（ステップＳ５）。以下の処理については、二値画像に変換した精画像データ及び粗画像データそれぞれについて行う。 Subsequently, since the fine image and coarse image in the generated fine image data and coarse image data are in contrast, in order to reduce the amount of information, the binary image data is converted into a binary image of only white and black. A generation process is performed (step S5). The following processing is performed for each of the fine image data and the coarse image data converted into a binary image.
次に、布製品ＣＬの輪郭形状が帯状となっている輪郭形状テンプレート画像データの生成処理を行う（ステップＳ６）。ここで、図５を用いて、輪郭形状テンプレート画像データの生成処理について詳述する。 Next, a process of generating contour shape template image data in which the contour shape of the fabric product CL is a band is performed (step S6). Here, the generation processing of the contour shape template image data will be described in detail with reference to FIG.
まず、画像から必要な部分だけを残すために、二値画像内の白の領域を物体としてラベリング処理を行う（領域の番号付け）（ステップＰ１）。特に、画像データを白の領域が大きい順に並べながらラベリングを行う。ここで、最大領域を有した画像データが布製品全体の画像になるので、この最大領域を有した画像データをラベル画像データとして抽出する。 First, in order to leave only a necessary part from an image, labeling processing is performed using a white area in the binary image as an object (area numbering) (step P1). In particular, labeling is performed while arranging image data in descending order of white area. Here, since the image data having the maximum area becomes an image of the entire fabric product, the image data having the maximum area is extracted as the label image data.
次に、抽出したラベル画像データにおける画像の輪郭を追跡し、画像の輪郭だけを残した画像に加工して、輪郭画像データを生成する処理を行う（ステップＰ２）。 Next, the contour of the image in the extracted label image data is traced and processed into an image in which only the contour of the image is left, and processing for generating contour image data is performed (step P2).
続いて、輪郭画像データにおける輪郭画像の輪郭を外側に膨張させ、膨張輪郭画像データを生成する（ステップＰ３）。 Subsequently, the contour of the contour image in the contour image data is expanded outward to generate expanded contour image data (step P3).
続いて、ラベル画像データにおける画像を内側に収縮させ、収縮ラベル画像データを生成する（ステップＰ４）。 Subsequently, the image in the label image data is contracted inward to generate contracted label image data (step P4).
続いて、排他的論理和による処理画像データを生成する（ステップＰ５）。具体的には、ステップＰ３で生成した膨張輪郭画像データと、ステップＰ４で生成した収縮ラベル画像データとの差分処理を行って得た画像の輪郭を外側及び内側へ均等に膨張させた画像データを得る。該画像データの画像から白の領域のみ抜き取りをする。 Subsequently, processed image data by exclusive OR is generated (step P5). Specifically, image data obtained by uniformly expanding the contour of the image obtained by performing the difference process between the expanded contour image data generated in Step P3 and the contracted label image data generated in Step P4 outward and inward is obtained. obtain. Only the white area is extracted from the image of the image data.
続いて、マスク画像データを生成する処理を行う（ステップＰ６）。具体的には、ステップＳ５で生成した二値画像データにおける画像に、ステップＰ５で生成した画像データにおける画像を重ね合わせてマスク画像処理し、マスク画像データを生成する。例えば、図６（ａ）の画像を有したマスク画像データから、図６（ｂ）に示したようなマスク画像を生成し、該マスク画像を有したマスク画像データを生成する。なお、このようにして得た大局テンプレート画像データ及び局所テンプレート画像データのマスク画像データを、後述するテンプレートマッチングに用いるテンプレート画像データとする。 Subsequently, a process for generating mask image data is performed (step P6). Specifically, mask image processing is performed by superimposing the image in the image data generated in step P5 on the image in the binary image data generated in step S5 to perform mask image processing. For example, a mask image as shown in FIG. 6B is generated from the mask image data having the image of FIG. 6A, and mask image data having the mask image is generated. The global template image data and the mask image data of the local template image data obtained in this way are used as template image data used for template matching described later.
次に、回転テンプレート画像データを生成する処理を行う（図２：ステップＳ７）。具体的には、マスク画像データのそれぞれについて、画像中央を中心として１°ずつ回転させ３６０枚の画像を作成し、各画像について回転テンプレート画像データを生成し、テンプレート画像データ生成ソフトウェアによる処理を終了する。なお、テンプレート画像データ生成ソフトウェアによる処理の終了後、各回転テンプレート画像データは、制御部３０に含まれる画像処理ボード（図示せず）に転送され、データ登録を行う。 Next, a process of generating rotation template image data is performed (FIG. 2: step S7). Specifically, for each of the mask image data, the image is rotated by 1 ° around the center of the image, 360 images are generated, rotated template image data is generated for each image, and the processing by the template image data generation software is completed. To do. Note that after the processing by the template image data generation software is completed, each rotation template image data is transferred to an image processing board (not shown) included in the control unit 30 and data registration is performed.
（布製品判定ソフトウェアによる処理）
制御部３０では、布製品判定ソフトウェア（判定部の主要部）により、どの種類の布製品であるかを識別する処理（布製品識別処理）を行う。以下、図７、図８を用いつつ、布製品識別処理について説明する。
(Process by cloth product judgment software)
In the control unit 30, the fabric product determination software (main part of the determination unit) identifies a type of fabric product (fabric product identification processing). Hereinafter, the fabric product identification process will be described with reference to FIGS.
先ず、布製品処理ロボット１０によって第２載置台４０Ｂの平面部４１上に載置された布製品ＣＬを撮像する処理を行うように、カメラ１６を制御するための制御信号が生成され、その制御信号がカメラ１６に送信され、カメラ１６が布製品ＣＬを撮像し、布製品ＣＬの画像データを生成する（ステップＱ１）。 First, a control signal for controlling the camera 16 is generated so that the cloth product processing robot 10 performs processing for imaging the cloth product CL placed on the flat surface portion 41 of the second placement table 40B. A signal is transmitted to the camera 16, and the camera 16 images the cloth product CL and generates image data of the cloth product CL (step Q1).
次に、布製品ＣＬを撮像して得た画像データと、画像処理ボード（図示せず）に登録されているテンプレート画像データとのマッチング処理（テンプレートマッチング処理）を行う（ステップＱ２）。ここで、テンプレートマッチング処理について、図８を用いて説明する。 Next, a matching process (template matching process) between the image data obtained by imaging the cloth product CL and the template image data registered in the image processing board (not shown) is performed (step Q2). Here, the template matching process will be described with reference to FIG.
先ず、布製品ＣＬを撮像して得た画像データの全領域に対して、上述の回転テンプレート画像データのうち大局テンプレート画像データに係るもの全てとの照合処理（画像データの照合１）を行う（ステップＲ１）。次に、照合処理中に、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの相関データ、回転テンプレート画像データの角度データ、照合処理で得た領域の位置データ、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの画像濃度差データ、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの面積差のデータなどのマッチングデータ（照合データ）を取得し（ステップＲ２）、取得したデータから最も大きい相関画像を有した最大相関画像データを抽出する（ステップＲ３）。 First, collation processing (image data collation 1) is performed on all regions of image data obtained by imaging the cloth product CL with all of the above rotation template image data related to the global template image data (image data collation 1). Step R1). Next, during the collating process, correlation data between the image data obtained by imaging the cloth product CL and the rotation template image data, angle data of the rotating template image data, position data of the region obtained by the collating process, cloth product CL Matching data (collation data) such as image density difference data between image data obtained by picking up images and rotation template image data, and area difference data between image data obtained by picking up the cloth product CL and rotation template image data (Step R2), and the maximum correlation image data having the largest correlation image is extracted from the acquired data (step R3).
次に、上述の最大相関画像データから、局所領域の探索範囲を限定する探索領域の指定処理を行う（ステップＲ４）。なお、最大相関画像データは大局テンプレート画像データの一つでもあるが、局所テンプレート画像データは大局テンプレート画像データから生成しているので、大局テンプレート画像データを基に局所領域の探索範囲を限定することが可能である。ここでは、最大相関画像データの画像の座標位置を中心として、最大相関画像データの画像より少し広い範囲を局所領域の探索範囲として指定する。また、局所テンプレート画像データは大局テンプレート画像データを分割して生成したものであるので、局所テンプレート画像データ同士の位置関係が反転したり入れ替わったりすることはないので、探索位置を限定する。 Next, a search area specifying process for limiting the search range of the local area is performed from the maximum correlation image data described above (step R4). Although the maximum correlation image data is one of the global template image data, the local template image data is generated from the global template image data, so the search range of the local region should be limited based on the global template image data. Is possible. Here, a range slightly wider than the image of the maximum correlation image data with the coordinate position of the image of the maximum correlation image data as the center is designated as the search range of the local area. Further, since the local template image data is generated by dividing the global template image data, the positional relationship between the local template image data is not reversed or interchanged, so that the search position is limited.
続いて、上述の最大相関画像データの画像の角度データを基に、角度の指定処理を行う（ステップＲ５）。ここでは、上述の最大相関画像データにおける画像角度データから±１０°を探索範囲として指定する。 Subsequently, an angle designation process is performed based on the angle data of the image of the maximum correlation image data described above (step R5). Here, ± 10 ° is designated as the search range from the image angle data in the maximum correlation image data described above.
続いて、布製品ＣＬを撮像して得た画像データの画像領域のうちステップＲ４、Ｒ５によって絞り込んだ領域に対して、上述の最大相関画像データの画像領域内の局所テンプレート画像データに係るもの全てとの照合処理（画像データの照合２）を行って、（ステップＲ６）、上述の最大相関画像データよりも相関の高い最高相関画像データを抽出する（ステップＲ７）。 Subsequently, all the areas related to the local template image data in the image area of the maximum correlation image data described above with respect to the area narrowed down in steps R4 and R5 among the image areas of the image data obtained by imaging the cloth product CL. (Step R6), the highest correlation image data having a higher correlation than the above-described maximum correlation image data is extracted (step R7).
次に、下記（２）の条件式による判定が正解かどうか判定する（図７：ステップＱ３）。具体的には、同じ領域内で生成された大局テンプレート画像データと局所テンプレート画像データとを用いて、条件式（２）にそれぞれを係数として当てはめ、認識率を算出する。正解でないと判定された場合（ステップＱ３：Ｎｏ）、布製品ＣＬの画像データから得た輪郭データから、布製品ＣＬの角部を探索して布製品処理ロボット１０によって把持し、布製品ＣＬを展開した上で、ステップＱ２に戻り、再度、テンプレートマッチング処理を行って、正解であると判定されるまで処理を繰り返す。下記（２）の条件式による判定が正解である場合（ステップＱ３：Ｙｅｓ）、その結果から、どの布製品であるかを識別することができるとともに、布製品のどの部分であるかまで判定される。正解判定後、布製品識別処理は終了する。なお、下記（２）の条件式における「ｒｇ」は、布製品ＣＬを撮像して得た画像データの画像領域の全体又は大局領域と、大局テンプレート画像データとの相関値である。また、「ｒｓ」は、布製品ＣＬを撮像して得た画像データの画像領域の局所領域と、局所テンプレート画像データとの相関値である。「ｒｓ１
ｍａｘ」は、布製品ＣＬを撮像して得た画像データの画像領域の局所領域と、局所テンプレート画像データとの最高相関値である。「ｒｓ２ ｍａｘ」は、前述の最高相関値に次いで高い相関値のことである。
Next, it is determined whether or not the determination by the conditional expression (2) below is correct (FIG. 7: Step Q3). Specifically, using the global template image data and local template image data generated in the same region, each is applied as a coefficient to the conditional expression (2), and the recognition rate is calculated. When it is determined that the answer is not correct (step Q3: No), the corner portion of the fabric product CL is searched from the contour data obtained from the image data of the fabric product CL, and is gripped by the fabric product processing robot 10, and the fabric product CL is After the expansion, the process returns to step Q2, and the template matching process is performed again, and the process is repeated until it is determined that the answer is correct. When the determination by the conditional expression (2) below is correct (step Q3: Yes), from the result, it is possible to identify which cloth product and which part of the cloth product is determined. The After the correct answer is determined, the fabric product identification process ends. Note that “rg” in the conditional expression (2) below is a correlation value between the entire image area of the image data obtained by imaging the cloth product CL or the global area and the global template image data. “Rs” is a correlation value between the local region of the image region of the image data obtained by imaging the fabric product CL and the local template image data. “Rs1
“max” is the highest correlation value between the local region of the image region of the image data obtained by imaging the cloth product CL and the local template image data. “Rs2 max” is the highest correlation value after the highest correlation value described above.
J＝[α×ｒｇ+β×(ｒｓ１ ｍａｘ∈(ｒｓ)+ｒｓ２ ｍａｘ∈(ｒｓ))／２]／（α＋β） （２）
（α＝∈Ｍ１ β＝∈Ｍ２ Ｊ≧∈Ｍ３）
J = [α × rg + β × (rs1 maxε (rs) + rs2 maxε (rs)) / 2] / (α + β) (2)
(Α = ∈M1 β = ∈M2 J ≧ ∈M3)
なお、上述の布製品判定ソフトウェアによる布製品識別処理が終了した後、布製品ＣＬを所定の場所に移動させるために、布製品把持システム１００における布製品処理ロボット１０の動作を制御する。具体的には、以下のように制御する。 In addition, after the cloth product identification process by the cloth product determination software described above is completed, the operation of the cloth product processing robot 10 in the cloth product gripping system 100 is controlled in order to move the cloth product CL to a predetermined location. Specifically, the control is performed as follows.
まず、上記動作制御の前に、予め上述の大局テンプレート画像データ及び局所テンプレート画像データごとに、布製品処理ロボット１０のロボットハンド２０で把持する位置を決めておく。次に、上述の布製品識別処理によって認識された位置データから領域を指定し、第２載置台４０Ｂの平面部４１上に載置された布製品ＣＬの輪郭データを取得する。取得した輪郭データから把持する位置を指定し、制御信号を送信して、一方のロボットハンド２０に布製品を把持させる。一方のロボットハンド２０で把持した状態で、さらに布製品ＣＬの輪郭をたどり、他方のロボットハンド２０で把持するための最適な位置を、上述のテンプレートマッチング処理によって検出する。該検出後、制御信号を送信して、他方のロボットハンド２０で把持し、布製品ＣＬを所定の場所に所定の方向へ向けて移動させる。 First, before the operation control, a position to be held by the robot hand 20 of the cloth processing robot 10 is determined in advance for each of the above-described global template image data and local template image data. Next, an area is specified from the position data recognized by the cloth product identification process described above, and the contour data of the cloth product CL placed on the flat surface portion 41 of the second placement table 40B is acquired. A gripping position is designated from the acquired contour data, and a control signal is transmitted to cause one robot hand 20 to grip the cloth product. In the state of being gripped by one robot hand 20, the outline of the cloth product CL is further traced, and the optimum position for gripping by the other robot hand 20 is detected by the above-described template matching process. After the detection, a control signal is transmitted and held by the other robot hand 20, and the cloth product CL is moved to a predetermined location in a predetermined direction.
＜布製品識別装置を備えた布製品把持システムの特徴＞
本発明の実施の形態に係る布製品把持システム１００は、以下のような特徴を有した布製品識別装置５０を備えたものである。すなわち、布製品識別装置５０は、布製品ＣＬの特徴部分（例えば、衣類の襟、袖など）を認識するだけでなく、布製品ＣＬの特徴部分同士の位置関係（例えば、衣類の襟と袖との位置関係）まで認識することが可能となることから、どの種類の布製品かを容易且つ高精度で識別することができる。また、仮に、無造作におかれた布製品ＣＬに対しても、同様に、どの種類の布製品かを容易且つ高精度で識別することができる。
<Characteristics of cloth product gripping system equipped with cloth product identification device>
A fabric product gripping system 100 according to an embodiment of the present invention includes a fabric product identification device 50 having the following characteristics. In other words, the cloth product identification device 50 not only recognizes the characteristic parts (for example, clothing collars and sleeves) of the cloth product CL but also the positional relationship between the characteristic parts of the cloth product CL (eg, clothing collars and sleeves). It is possible to recognize the type of fabric product easily and with high accuracy. Similarly, it is possible to easily and accurately identify the type of fabric product for the fabric product CL that has been randomly created.
また、布製品識別装置５０は、制御部３０内の布製品判定ソフトウェア（判定部の主要部）において、撮像して得た画像データの一部と、布製品ＣＬの局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、画像データに照合した局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否か判定する前に、布製品ＣＬの全体又は大局的な特徴部分についての判定をすることで、どの種類の布製品かをさらに高精度で識別することができるものである。また、局所テンプレート画像データは、布製品ＣＬの全体又は大局的な特徴部分を含む大局テンプレート画像データから分割して作成しておくので、局所テンプレート画像データの位置関係が入れ替わることや、隣接する局所テンプレート画像データの位置が互いに反転して認識されることがない。その結果として、布製品ＣＬの局所的な特徴部分について認識する場合は、局所テンプレート画像データ同士の位置関係を指定した状態で、布製品ＣＬの局所的な特徴部分について認識することが可能となることから、どの種類の布製品かをさらに高精度で識別することができる。 In addition, the cloth product identification device 50 uses the cloth product determination software (main part of the determination section) in the control unit 30 for each part of the image data obtained by imaging and each local feature of the cloth product CL. Before determining whether or not each of the preset local template image data is collated, and whether or not the positional relationship between the local template image data collated with the image data is a preset positional relationship, By determining the entire product CL or a general characteristic portion, it is possible to identify the type of fabric product with higher accuracy. In addition, since the local template image data is created by dividing the entire cloth product CL from the global template image data including the global characteristic portion, the positional relationship of the local template image data may be switched, The positions of the template image data are not recognized by being reversed with respect to each other. As a result, when recognizing the local feature portion of the fabric product CL, it is possible to recognize the local feature portion of the fabric product CL in a state where the positional relationship between the local template image data is designated. Therefore, it is possible to identify which type of fabric product with higher accuracy.
また、布製品ＣＬの局所的な特徴部分は、当然、布製品ＣＬの全体又は大局的な特徴部分に含まれている。したがって、制御部３０内の布製品判定ソフトウェア（判定部の主要部）における判定において、局所テンプレート画像データを用いて照合する際の領域を、布製品の画像データと、大局テンプレート画像データとの照合領域に限定しておくので、誤認識を減らすことができる。その結果として、どの種類の布製品かをより迅速かつ高精度で識別することができる布製品識別装置５０を提供できる。 In addition, the local feature portion of the fabric product CL is naturally included in the entire fabric product CL or the global feature portion. Therefore, in the determination in the cloth product determination software (the main part of the determination section) in the control unit 30, the area used for matching using the local template image data is compared with the image data of the cloth product and the global template image data. Since it is limited to the area, erroneous recognition can be reduced. As a result, it is possible to provide a fabric product identification device 50 that can identify which type of fabric product more quickly and with high accuracy.
また、形が変り易い布製品ＣＬについて、布製品ＣＬにおける帯状の輪郭形状を輪郭形状テンプレート画像データとして予め用意しておき、該輪郭形状テンプレート画像データと撮像して得た画像データとを照合し、布製品判定ソフトウェア（判定部の主要部）における各判定の前処理をしておくことで、どの種類の布製品かをより容易且つより高精度で識別することができる。特に、輪郭形状テンプレート画像データにおいては、細い線状の輪郭形状のテンプレート画像データを用いる場合に比べて、輪郭が曖昧になることから、高精度でどの種類の布製品かを識別することができる。また、輪郭形状テンプレート画像データにおいて、輪郭形状以外の部分を表示しないようにしておくことで、布製品ＣＬに柄が付されている場合でも、柄を消すことができる場合があり、複雑な柄があったとしても影響を最小限にすることができ、高精度でどの種類の布製品かを識別することができる。 In addition, for the fabric product CL whose shape is likely to change, a belt-like contour shape in the fabric product CL is prepared in advance as contour shape template image data, and the contour shape template image data is compared with image data obtained by imaging. By performing pre-processing of each determination in the cloth product determination software (main part of the determination unit), it is possible to identify which kind of cloth product is easier and with higher accuracy. In particular, in the contour shape template image data, since the contour becomes ambiguous compared to the case where the template image data having a thin linear contour shape is used, it is possible to identify which type of fabric product with high accuracy. . In addition, in the contour shape template image data, a portion other than the contour shape is not displayed so that the pattern can be erased even when the pattern is attached to the cloth product CL. Even if there is, the influence can be minimized, and it is possible to identify which kind of fabric product with high accuracy.
本発明の実施の形態に係る布製品把持システム１００では、布製品識別装置５０によって布製品の特徴部分を容易且つ高精度で判別できているので、布製品処理ロボット１０（把持装置）によって布製品ＣＬの特徴部分を掴む、又は、布製品ＣＬの特徴部分を基点として特定した他の位置を掴むことが容易となる。したがって、布製品処理ロボット１０（把持装置）によって、布製品ＣＬを置き直す又は布製品ＣＬを広げることなどの操作を円滑に行うことが可能な布製品把持システム１００を提供できる。 In the fabric product gripping system 100 according to the embodiment of the present invention, since the fabric product identification device 50 can easily and accurately discriminate the characteristic part of the fabric product, the fabric product processing robot 10 (grip device) can identify the fabric product. It becomes easy to grasp the characteristic part of CL, or to grasp another position specified with the characteristic part of the cloth product CL as a base point. Therefore, it is possible to provide the fabric product gripping system 100 capable of smoothly performing operations such as repositioning the fabric product CL or expanding the fabric product CL by the fabric product processing robot 10 (gripping device).
また、布製品把持システム１００においては、布製品処理ロボット１０（把持装置）によって布製品ＣＬを把持し、所定位置において布製品ＣＬを落下又は広げた後、布製品判定ソフトウェア（判定部の主要部）が、各判定を実行するものである。これにより、初期状態からの実行だけでなく、布製品判定ソフトウェア（判定部の主要部）による各判定が一度実行された後に、布製品ＣＬを置き直して、各判定を再実行することも可能であることから、どの種類の布製品かの識別を再実行し、布製品の識別精度をさらに向上させることが可能である。 In the cloth product gripping system 100, after the cloth product CL is gripped by the cloth product processing robot 10 (gripping device) and the cloth product CL is dropped or spread at a predetermined position, the cloth product determination software (main part of the determination unit) ) Executes each determination. As a result, not only the execution from the initial state but also each determination by the cloth product determination software (the main part of the determination unit) is executed once, then the cloth product CL can be replaced and each determination can be re-executed. Therefore, it is possible to re-identify which type of fabric product and further improve the accuracy of identifying the fabric product.
＜変形例＞
なお、本発明は、特許請求の範囲を逸脱しない範囲で設計変更できるものであり、上記実施形態に限定されるものではない。例えば、下記の変形例がある。
<Modification>
The present invention can be modified in design without departing from the scope of the claims, and is not limited to the above embodiment. For example, there are the following modifications.
（Ａ） 上記実施の形態に係る布製品識別装置５０における各ソフトウェアによる処理の順序は、本発明の趣旨を変えない範囲で適宜変更されてもよい。 (A) The order of processing by each software in the fabric product identification device 50 according to the above embodiment may be changed as appropriate without departing from the spirit of the present invention.
（Ｂ） 上記実施の形態においては、カメラ１６を用いたが、布製品ＣＬの把持をするだけであるなら、カメラ１６の代わりに、布製品ＣＬの位置を認識するとともに該位置の情報を、制御部３０に送信可能なセンサーを用いてもよい。 (B) In the above-described embodiment, the camera 16 is used. However, if only the cloth product CL is gripped, the position of the cloth product CL is recognized in place of the camera 16 and information on the position is obtained. A sensor that can transmit to the control unit 30 may be used.
１０ 布製品処理ロボット
１５ ロボットアーム
１６ カメラ
２０ ロボットハンド
３０ 制御部
４０Ａ 第１載置台
４０Ｂ 第２載置台
４１ 平面部
４２ 枠部材
５０ 布製品識別装置
１００ 布製品把持システム
DESCRIPTION OF SYMBOLS 10 Cloth processing robot 15 Robot arm 16 Camera 20 Robot hand 30 Control part 40A 1st mounting base 40B 2nd mounting base 41 Plane part 42 Frame member 50 Cloth product identification apparatus 100 Cloth product gripping system
Claims (6)
前記画像データの一部と、前記布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、前記画像データに照合した前記局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する判定部と、を備えていることを特徴とする布製品識別装置。 An imaging unit that captures an image of the fabric product and obtains image data of the fabric product;
Whether or not a part of the image data and each of the local template image data set in advance for each local characteristic part of the fabric product are collated, and the local template image data collated with the image data And a determination unit that determines whether or not the positional relationship is a preset positional relationship.
前記布製品を把持できるものであるとともに、前記布製品を落下させる又は広げることが可能な把持装置と、を備えていることを特徴とする布製品把持システム。 The cloth product identification device according to any one of claims 1 to 4,
A cloth product gripping system comprising a gripping device capable of gripping the cloth product and capable of dropping or spreading the cloth product.
The cloth product gripping system according to claim 5, wherein the determination unit executes the determination after the cloth product is gripped by the gripping device and the cloth product is dropped or spread.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009282299A JP5545564B2 (en) | 2009-12-11 | 2009-12-11 | Cloth product gripping system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009282299A JP5545564B2 (en) | 2009-12-11 | 2009-12-11 | Cloth product gripping system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011123775A true JP2011123775A (en) | 2011-06-23 |
| JP5545564B2 JP5545564B2 (en) | 2014-07-09 |
Family
ID=44287587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009282299A Active JP5545564B2 (en) | 2009-12-11 | 2009-12-11 | Cloth product gripping system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5545564B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013198872A (en) * | 2012-03-26 | 2013-10-03 | Gunze Ltd | Processing system, processing method, processing program, and computer-readable recording medium having the processing program recorded therein |
| JP2014035733A (en) * | 2012-08-10 | 2014-02-24 | Gunze Ltd | Imaging processing apparatus, imaging processing method, work processing system and work processing method |
| JP2023155753A (en) * | 2022-04-11 | 2023-10-23 | パナソニックＩｐマネジメント株式会社 | Template matching device, template matching method and template matching system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07249119A (en) * | 1994-03-09 | 1995-09-26 | Daikin Ind Ltd | Image recognition method and apparatus thereof |
| JP2002109537A (en) * | 2000-09-28 | 2002-04-12 | Seiko Epson Corp | Medium recording image detection program, image detection device, and image detection method |
| JP2004005361A (en) * | 2002-04-26 | 2004-01-08 | National Institute Of Advanced Industrial & Technology | Clothing state estimation method and program |
| JP2009258968A (en) * | 2008-04-16 | 2009-11-05 | Hitachi High-Technologies Corp | Image inspection device |
-
2009
- 2009-12-11 JP JP2009282299A patent/JP5545564B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07249119A (en) * | 1994-03-09 | 1995-09-26 | Daikin Ind Ltd | Image recognition method and apparatus thereof |
| JP2002109537A (en) * | 2000-09-28 | 2002-04-12 | Seiko Epson Corp | Medium recording image detection program, image detection device, and image detection method |
| JP2004005361A (en) * | 2002-04-26 | 2004-01-08 | National Institute Of Advanced Industrial & Technology | Clothing state estimation method and program |
| JP2009258968A (en) * | 2008-04-16 | 2009-11-05 | Hitachi High-Technologies Corp | Image inspection device |
Non-Patent Citations (2)
| Title |
|---|
| CSNG199800454012; 田房 友典: '離散的弛緩法を用いた衣服の認識' 電気学会論文誌Ｃ 第１１７-Ｃ巻 第１２号, ｐ．１８８７-１８９２, 社団法人電気学会 * |
| JPN6013043261; 田房 友典: '離散的弛緩法を用いた衣服の認識' 電気学会論文誌Ｃ 第１１７-Ｃ巻 第１２号, ｐ．１８８７-１８９２, 社団法人電気学会 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013198872A (en) * | 2012-03-26 | 2013-10-03 | Gunze Ltd | Processing system, processing method, processing program, and computer-readable recording medium having the processing program recorded therein |
| JP2014035733A (en) * | 2012-08-10 | 2014-02-24 | Gunze Ltd | Imaging processing apparatus, imaging processing method, work processing system and work processing method |
| JP2023155753A (en) * | 2022-04-11 | 2023-10-23 | パナソニックＩｐマネジメント株式会社 | Template matching device, template matching method and template matching system |
| JP7780743B2 (en) | 2022-04-11 | 2025-12-05 | パナソニックＩｐマネジメント株式会社 | Template matching device, template matching method, and template matching system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5545564B2 (en) | 2014-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5873442B2 (en) | Object detection apparatus and object detection method | |
| Zhang et al. | A novel method for user-defined human posture recognition using Kinect | |
| JP4479194B2 (en) | Motion identification device and object posture identification device | |
| Triantafyllou et al. | A geometric approach to robotic unfolding of garments | |
| JP4894741B2 (en) | Information processing apparatus, information processing method, program, and recording medium | |
| JP5791475B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN106030610B (en) | Real-time 3D gesture recognition and tracking system for mobile devices | |
| JP4372051B2 (en) | Hand shape recognition apparatus and method | |
| JP4792521B2 (en) | Fabric product identification device and fabric product gripping system | |
| JP6066093B2 (en) | Finger shape estimation device, finger shape estimation method, and finger shape estimation program | |
| WO2012077287A1 (en) | Orientation state estimation device and orientation state estimation method | |
| JP5613741B2 (en) | Image processing apparatus, method, and program | |
| JP2012155391A (en) | Posture state estimation device and posture state estimation method | |
| JP6708260B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2017146938A (en) | Book detection device, book detection method, and computer program for book detection | |
| JP2014215735A (en) | Nail image synthesizing device, nail image synthesizing method, and nail image synthesizing program | |
| JP5545564B2 (en) | Cloth product gripping system | |
| JP2005310101A (en) | Gaze guidance degree calculation system, gaze guidance degree calculation program and storage medium, and gaze guidance degree calculation method | |
| JP2000149025A (en) | Gesture recognizing device and method thereof | |
| WO2018135326A1 (en) | Image processing device, image processing system, image processing program, and image processing method | |
| US11568564B2 (en) | Mapping multiple views to an identity | |
| JP2017033556A (en) | Image processing method and electronic apparatus | |
| US20250014212A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium | |
| JP5373128B2 (en) | Person identification device, person identification method, and person identification program | |
| JP5876121B2 (en) | Image processing apparatus, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120302 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120706 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140430 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5545564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S303 | Written request for registration of pledge or change of pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316304 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |