JP2017220036A - ワーク検知システム及び衣服検知システム - Google Patents

ワーク検知システム及び衣服検知システム Download PDF

Info

Publication number
JP2017220036A
JP2017220036A JP2016113952A JP2016113952A JP2017220036A JP 2017220036 A JP2017220036 A JP 2017220036A JP 2016113952 A JP2016113952 A JP 2016113952A JP 2016113952 A JP2016113952 A JP 2016113952A JP 2017220036 A JP2017220036 A JP 2017220036A
Authority
JP
Japan
Prior art keywords
image data
workpiece
camera
detection system
photographic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016113952A
Other languages
English (en)
Other versions
JP6784991B2 (ja
Inventor
護 見浪
Mamoru Minami
護 見浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Okayama University NUC
Original Assignee
Okayama University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Okayama University NUC filed Critical Okayama University NUC
Priority to JP2016113952A priority Critical patent/JP6784991B2/ja
Publication of JP2017220036A publication Critical patent/JP2017220036A/ja
Application granted granted Critical
Publication of JP6784991B2 publication Critical patent/JP6784991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

【課題】吸着パッドによるワークの吸着不良を解消するために、色を利用してワークの配置を正確に検知するワーク検知システムを提供する。【解決手段】ワークの写真画像データを記憶した記憶手段と、ワークを撮影するカメラと、記憶手段に記憶された写真画像データに基づいて第1の画像データを生成するとともに、カメラから出力された写真画像データから第2の画像データを生成して、この第1と第2の画像データからカメラで撮影されたワークの配置を検出する検出手段とを備えたワーク検知システムであって、検出手段は、記憶手段に記憶された写真画像データから3次元モデルを複数生成する手段と、この3次元モデルから第1の画像データを生成する手段と、この第1の画像データと第2の画像データとの相関関数値を算出する手段と、この相関関数値が最大となる第1の画像データを生成する3次元モデルに基づいて前記ワークの配置を検出する手段とを有する。【選択図】図2

Description

本発明は、ワーク検知システム及び衣服検知システムに関し、特に、予め記憶したワークの色情報に基づいてワークの配置を検知するワーク検知システム及び衣服検知システムに関する。
従来、製造現場においては、工業用ロボットが多用されている。これらの工業用ロボットでは、加工対象のワークの形状や姿勢あるいは位置等の情報があらかじめ定義されているため、カメラによってワークを検知しやすく、安定な作業が実現可能となっている。
一方、昨今では、ロボットの利用範囲が拡大しており、あらかじめ定義されたワークに対する作業だけでなく、例えば掃除ロボット等のように、不特定な状況に対応することが求められる作業への利用も始まっている。
特に、本発明者は、海中で自律的に作業を行う水中ロボットも開発しており、水中ロボットに設けたカメラで海底の物体を認識するとともに、海底に設けた充電用基地局に向けて自ら航行して接続し、充電作業ができる機能の開発を行っていた。
充電用基地局の検知は、水中ロボットが充電用基地局から一定距離以上離れている場合にはソナーを利用して充電用基地局の方向を検知して近づき、水中ロボットがある程度まで充電用基地局に近づくと、充電用基地局に設置した自光マーカーを利用することとした。すなわち、水中ロボットはカメラで自光マーカーを撮影して画像データを生成し、この画像データを解析することで充電用基地局に対する水中ロボットの距離及び姿勢を認識し、水中ロボットを適正な姿勢として充電用基地局に接近させて接続させることとしていた(例えば、特許文献1参照。)。
ここで、自光マーカーは、あらかじめ所定の形状であると定義しておくことで、充電用基地局に対する水中ロボットの距離及び姿勢を検知可能としているが、本発明者は、カメラによる自光マーカーの認識技術を開発する中で、色による物体の検知が可能となる可能性を見出した。
特開2016−090488号公報
本発明者は、上記の水中ロボットの開発と平行して、中古衣服の流通システムの開発を行っていた。中古衣服の流通システムでは、基本的には一品物を扱うこととなり、しかも、商品がワンピース、トレーナー、Tシャツ、スカート等のように、形態や重量さらにはサイズが様々であった。そこで、これらを取り扱う際に、特定のグループ毎への仕分けを行って作業をすることとすると、仕分け作業が煩雑であって、かつ広大な収納スペースも必要となる恐れがあり、しかも、収納時には、中古衣服に虫食いやシミ等が発生しないように管理する必要もあり、管理コストも問題となる恐れがあった。
これらのことを鑑みて、各中古衣服をそれぞれ個別に袋詰めして取り扱うことすることで、収納スペースを削減し、かつ中古衣服の劣化を予防しやすくし、さらには、出荷時の荷詰め作業を高速化することを検討していたが、中古衣服の大きさがまちまちであるために、袋詰めされた状態の大きさもまちまちとなっていた。すなわち、ワークのサイズ及び形状が不特定となっていた。
このように、不特定なサイズ及び形態のワークを吸着パッドで吸着して取り出そうとする場合、ワークの位置及び姿勢もまちまちであることから吸着不良が生じやすく、目的のワーク、すなわち中古衣服を吸着パッドで取り出すことができずに、作業者による手作業に頼らざるを得なかった。
本発明者は、吸着パッドによるワークの吸着不良を解消するために、ワークの色を利用してワークの確実な検知を可能とすべく研究開発を行って、本発明を成すに至ったものである。
本発明のワーク検知システムは、ワークの写真画像データを記憶した記憶手段と、ワークを撮影するカメラと、記憶手段に記憶された写真画像データに基づいて第1の画像データを生成するとともに、カメラから出力された写真画像データから第2の画像データを生成して、この第1と第2の画像データからカメラで撮影されたワークの配置を検出する検出手段とを備えたワーク検知システムである。
特に、検出手段は、記憶手段に記憶された写真画像データを奥行き方向に変位させることで3次元に拡張した3次元モデルを複数生成する手段と、この3次元モデルから第1の画像データを生成する手段と、この第1の画像データと第2の画像データとの相関関数値を算出する手段と、この相関関数値が最大となる第1の画像データを生成する3次元モデルに基づいてワークの配置を検出する手段とを有するものである。
また、本発明のワーク検知システムでは、カメラは互いに所定間隔だけ離隔させて2台設けて、一方を左目用カメラ、他方を右目用カメラとして、それぞれ前記第2の画像データを生成していることにも特徴を有するものである。
また、本発明の衣服検知システムは、折りたたんだ衣服を袋詰めしたパッケージをワークとして、このワークの写真画像データを記憶した記憶手段と、ワークを撮影するカメラと、記憶手段に記憶された写真画像データに基づいて第1の画像データを生成するとともに、カメラから出力された写真画像データから第2の画像データを生成して、この第1と第2の画像データからカメラで撮影されたワークの配置を検出する検出手段とを備えた衣服検知システムであって、検出手段は、記憶手段に記憶された写真画像データを奥行き方向に変位させることで3次元に拡張した3次元モデルを複数生成する手段と、この3次元モデルから第1の画像データを生成する手段と、この第1の画像データと第2の画像データとの相関関数値を算出する手段と、この相関関数値が最大となる第1の画像データを生成する3次元モデルに基づいてワークの配置を検出する手段とを有するものである。
本発明によれば、ワークのサイズや形状が定義困難な不特定な形状であっても、ワークの写真画像データを利用することでワークの正確な検知を可能とすることができる。したがって、ロボットによるワークの確実な移送作業を可能とすることができる。
本実施形態のワークの説明図である。 本発明に係るワーク検知システムの概略模式図である。 ワークの配置を検出する処理のフローチャートである。 相関関数値の分布データの一例である。
本発明のワーク検知システム及び衣服検知システムでは、検知対象のワークの写真画像データを用いて目的のワークを検知可能とすることで、ワークのサイズや形状が定義困難な不特定な形状であってもワークの位置及び姿勢を検知可能としているものである。ワークの位置及び姿勢が検知可能となることで、吸着パッドによるワークの確実な吸着を可能とすることができる。
特に、中古衣服の販売を行う際には、商品である中古衣服は一品物であって、サイズや形状が定義困難であるが、あらかじめ取得した写真画像データを用い、色相値を利用することで、ワークの位置及び姿勢を検知できる。ここで、写真画像データとは、CCD等の固体撮像素子を備えたデジタルカメラで被写体を撮影することで得られる画像データであって、本実施形態では特にビットマップ形式の写真画像データを用いている。
以下において、検知対象のワークは折りたたんだ衣服を袋詰めしたパッケージであり、図1に示すように、特徴的な模様を上面として袋詰めしている。しかも、衣服は、平面視略矩形状として折りたたむことで、後述する相関関数値の演算に寄与する座標点を確保しやすくしている。以下において説明する実施形態では、検知対象のワークを衣服としているが、ワークは衣服に限定するものではなく、写真画像データが生成できるものであれば、何であってもよい。
図2に、本発明に係るワーク検知システムの概略模式図を示す。本発明に係るワーク検知システムでは、ワークWを間欠搬送する搬送用コンベア10と、搬送用コンベア10上の所定のワークWを吸着ヘッド21で吸着して所定位置に移送する移送アーム22と、ワークWを撮影して画像データを生成する第1カメラC1と第2カメラC2と、これらのカメラC1,C2と移送アーム22と搬送用コンベア10の制御を行うとともにワークの配置を検出する解析機23で構成している。
解析機23は、具体的にはパーソナルコンピュータであって、適宜のプログラムでカメラC1,C2と移送アーム22と搬送用コンベア10を制御可能としている。
さらに、解析機23は、ビットマップ形式の写真画像データをハードディスクあるいはメモリ等の記憶手段に記憶させており、必要に応じて所望の写真画像データを記憶手段から読み出し可能とすることで記憶手段して機能させている。
さらには、解析機23は、所定のプログラムに基づいて後述するようにワークWの配置を検出する検出手段として機能させている。特に、解析機23は、所定のプログラムを機能させることで、記憶手段に記憶している写真画像データから後述するように3次元モデルを生成し、さらに、この3次元モデルから色相点群で構成される第1の画像データを生成させることとしている。第1の画像データの具体的な生成方法は、後述する。
搬送用コンベア10は、図示していないが、上流側にはワークWを適宜のタイミングで搬送用コンベア10の上面に載置する載置装置を設けており、下流側には、移送アーム22で取り去られなかったワークWを回収する回収装置を設けている。
移送アーム22の先端に設けた吸着ヘッド21には、搬送用コンベア10に向けて複数の吸着ノズル21aを設けており、この吸着ノズル21aを介して搬送用コンベア10上の所定のワークWを吸着可能としている。
吸着ヘッド21で所定のワークWを吸着した移送アーム22は、吸着ヘッド21を所定位置に移動させてワークWの吸着を解除することで、所定のワークWを取り出し可能としている。
第1カメラC1と第2カメラC2は、吸着ヘッド21の左右側面にそれぞれ装着することで、所定間隔だけ離隔させて設けており、一方を左目用カメラ、他方を右目用カメラとしている。なお、第1カメラC1と第2カメラC2は、吸着ヘッド21に装着する形態に限定するものではなく、吸着ヘッド21とは切り離して設けてもよい。第1カメラC1と第2カメラC2は、それぞれ搬送用コンベア10上のワークWに向けている。
第1カメラC1と第2カメラC2は、CCD等の固体撮像素子を用いたいわゆるデジタルカメラであり、それぞれ撮影することで生成した写真画像データを解析機23に入力し、解析機23は、所定のプログラムを機能させることで、入力された写真画像データから色相点群で構成される第2の画像データを生成することとしている。
以下において、所定のプログラムに基づいて解析機23をワークWの配置を検出する検出手段として機能させる手順を説明する。図3は、当該プログラムのフローチャートである。
まず、解析機23は、搬送用コンベア10でワークWを搬送して、ワークWが吸着ヘッド21の下方位置に到達したところで搬送用コンベア10による搬送を停止する(ステップS1)。
解析機23は、第1カメラC1と第2カメラC2でワークWを撮影して、生成された写真画像データを解析機23に入力し(ステップS2)、この写真画像データに含まれるバーコードデータを読み出している。図1に示すように、各ワークWの表面にはバーコードを表示したバーコードシールを貼り付けており、解析機23は、バーコードから解析機23の記憶手段に記憶されているワークWの写真画像データを特定して読み出している(ステップS3)。
さらに、解析機23は、第2の画像データを生成する手段として機能させて、第1カメラC1と第2カメラC2から解析機23にそれぞれ入力された写真画像データから、色相点群で構成される第2の画像データをそれぞれ生成する(ステップS4)。
第1カメラC1と第2カメラC2から解析機23にそれぞれ入力されるビットマップ形式の写真画像データは、各ピクセル座標(i,j)での色相値の集合として表されているが、第2の画像データは、写真画像データをx−y平面上のデータとして座標変換して、所定の座標点(x(i,j),y(i,j))における色相値の集合としている。第2の画像データの色相点群分布モデル情報をH(x,y)と表すこととする。第2の画像データは、写真画像データの部分集合となっている。このように第2の画像データを生成することで写真画像データよりもデータ量を削減して、短時間での処理を可能としている。色相値は、本実施形態では、HSV表色系のHue値を用いている。
次いで、解析機23は、3次元モデルを生成する手段として機能させて、ステップS2で読み出した写真画像データを用いて、3次元モデルを生成している(ステップS5)。読み出した写真画像データは2次元データであるが、この写真画像データを奥行き方向、すなわちz軸方向に変位させることでz軸成分を生じさせて3次元に拡張した3次元モデルとしている。
特に、3次元モデルは複数作成しており、z軸方向の変位だけでなくX−Y平面内の平行移動、及びz軸回りの回転移動も行うこととしている。具体的には、最適解が得られるように、遺伝的認識法や勾配法等の適宜のアルゴリズムを利用して、3次元モデルを生成している。
次いで、解析機23は、第1の画像データを生成する手段として機能させて、各3次元モデルから色相点群で構成される第1の画像データを生成している(ステップS6)。ここで、第1の画像データを生成する際に、解析機23は、第1カメラC1及び第2カメラC2の向きを補正する射影処理を3次元モデルに施すことで2次元の射影画像データを生成し、この射影画像データから、第2の画像データと同様に色相点群で構成される第1の画像データを生成している。第1の画像データの色相点群分布モデル情報をH_M(x,y)と表すこととする。第1の画像データは、第1カメラC1及び第2カメラC2の向きに基づく補正を行っていることで、第1カメラC1及び第2カメラC2とワークWとの距離を正確に評価できる。
次いで、解析機23を第1の画像データと第2の画像データとの相関関数値を算出する手段として機能させて、相関関数値の分布F(x,y)=F(H_M(x,y), H(x,y))のデータを得る(ステップS7)。得られた分布データの一例を図4に示す。
図4に示すように、F(x,y)が最大値を持つ座標(x,y)は,第3の画像データが第2の画像データの色相分布H(x, y)との相関が高いことを意味しており、最大値を与える(x,y)座標にワークWが位置していることになる。解析機23をワークWの配置を検出する手段として機能させて、相関関数値が予め設定していた閾値よりも大きくなる場合には(ステップS8:YES)、解析機23は、相関関数値が最大となる第1の画像データを生成する3次元モデルがワークWの位置及び姿勢であるとしてワークWの配置情報を特定し(ステップS9)、移送アーム22を適宜駆動させて吸着ヘッド21でワークWを吸着して取り出すこととしている(ステップS10)。
その後、作業の終了条件となっていない場合には(ステップS11:NO)、解析機23はステップS1に戻って次のワークを搬送することとしている。
一方、ステップS8において相関関数値が予め設定していた閾値よりも大きくならなかった場合には(ステップS8:NO)、解析機23はステップS5に戻って新たな3次元モデルを生成することとしている。
以上のように、ワークWの配置を検出できることから、吸着ヘッド21でワークWを確実に吸着することができ、所望のワークの取り出しを実行することができる。
W ワーク
10 搬送用コンベア
21 吸着ヘッド
21a 吸着ノズル
22 移送アーム
23 解析機
C1 第1カメラ
C2 第2カメラ

Claims (3)

  1. ワークの写真画像データを記憶した記憶手段と、
    前記ワークを撮影するカメラと、
    前記記憶手段に記憶された写真画像データに基づいて第1の画像データを生成するとともに、前記カメラから出力された写真画像データから第2の画像データを生成して、この第1と第2の画像データから前記カメラで撮影されたワークの配置を検出する検出手段と
    を備えたワーク検知システムであって、
    前記検出手段は、
    前記記憶手段に記憶された写真画像データを奥行き方向に変位させることで3次元に拡張した3次元モデルを複数生成する手段と、
    この3次元モデルから第1の画像データを生成する手段と、
    この第1の画像データと前記第2の画像データとの相関関数値を算出する手段と、
    この基づいて前記ワークの配置を検出する手段と
    を有するワーク検知システム。
  2. 前記カメラは互いに所定間隔だけ離隔させて2台設けて、一方を左目用カメラ、他方を右目用カメラとして、それぞれ前記第2の画像データを生成している請求項1に記載のワーク検知システム。
  3. 折りたたんだ衣服を袋詰めしたパッケージをワークとして、
    このワークの写真画像データを記憶した記憶手段と、
    前記ワークを撮影するカメラと、
    前記記憶手段に記憶された写真画像データに基づいて第1の画像データを生成するとともに、前記カメラから出力された写真画像データから第2の画像データを生成して、この第1と第2の画像データから前記カメラで撮影されたワークの配置を検出する検出手段と
    を備えた衣服検知システムであって、
    前記検出手段は、
    前記記憶手段に記憶された写真画像データを奥行き方向に変位させることで3次元に拡張した3次元モデルを複数生成する手段と、
    この3次元モデルから前記第1の画像データを生成する手段と、
    この第1の画像データと前記第2の画像データとの相関関数値を算出する手段と、
    この相関関数値が最大となる前記第1の画像データを生成する3次元モデルに基づいて前記ワークの配置を検出する手段と
    を有する衣服検知システム。
JP2016113952A 2016-06-07 2016-06-07 ワーク検知システム及び衣服検知システム Active JP6784991B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016113952A JP6784991B2 (ja) 2016-06-07 2016-06-07 ワーク検知システム及び衣服検知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016113952A JP6784991B2 (ja) 2016-06-07 2016-06-07 ワーク検知システム及び衣服検知システム

Publications (2)

Publication Number Publication Date
JP2017220036A true JP2017220036A (ja) 2017-12-14
JP6784991B2 JP6784991B2 (ja) 2020-11-18

Family

ID=60657730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016113952A Active JP6784991B2 (ja) 2016-06-07 2016-06-07 ワーク検知システム及び衣服検知システム

Country Status (1)

Country Link
JP (1) JP6784991B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023209974A1 (ja) * 2022-04-28 2023-11-02 株式会社ニコン 制御装置、制御システム、ロボットシステム、制御方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP6784991B2 (ja) 2020-11-18

Similar Documents

Publication Publication Date Title
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
US10124489B2 (en) Locating, separating, and picking boxes with a sensor-guided robot
CN109230580B (zh) 一种基于混放物料信息采集的拆垛机器人系统及方法
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
JP2019063984A (ja) 情報処理装置、方法及びロボットシステム
JP5854815B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US20140067317A1 (en) Information processing system, method, and program
JP2011027724A (ja) 3次元計測装置、その計測方法及びプログラム
JP2010247959A (ja) 箱状ワーク認識装置および方法
JP2016144841A (ja) 3次元センサを備えた搬送ロボットシステム
US20220016764A1 (en) Object grasping system
JP2017058130A (ja) 対象物検出装置、方法及びデパレタイズ自動化装置並びに梱包箱
JP2016196077A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
KR20180058440A (ko) 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템
JP2010122777A (ja) ワーク識別方法およびワーク識別装置
JP6784991B2 (ja) ワーク検知システム及び衣服検知システム
JP6040264B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
Lin et al. Vision based object grasping of industrial manipulator
Xu et al. A vision-guided robot manipulator for surgical instrument singulation in a cluttered environment
TWI675000B (zh) 物件運送方法及系統
JP2018146347A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6836628B2 (ja) ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム
JP6708142B2 (ja) ロボットの制御装置
JP5332873B2 (ja) 袋状ワーク認識装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R150 Certificate of patent or registration of utility model

Ref document number: 6784991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350