JP2017208043A - ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法 - Google Patents

ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法 Download PDF

Info

Publication number
JP2017208043A
JP2017208043A JP2016101851A JP2016101851A JP2017208043A JP 2017208043 A JP2017208043 A JP 2017208043A JP 2016101851 A JP2016101851 A JP 2016101851A JP 2016101851 A JP2016101851 A JP 2016101851A JP 2017208043 A JP2017208043 A JP 2017208043A
Authority
JP
Japan
Prior art keywords
pattern
robot hand
reference position
unit
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016101851A
Other languages
English (en)
Other versions
JP6614029B2 (ja
Inventor
克樹 白井
Katsuki Shirai
克樹 白井
原田 徹
Toru Harada
徹 原田
礼造 中村
Reizo Nakamura
礼造 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016101851A priority Critical patent/JP6614029B2/ja
Publication of JP2017208043A publication Critical patent/JP2017208043A/ja
Application granted granted Critical
Publication of JP6614029B2 publication Critical patent/JP6614029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】撮像範囲の狭いカメラを用いて、ロボットハンドの位置を検出できるようにする。【解決手段】プロジェクタ16からは、複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンが作業台24の上面に向けて投影される。また、プロジェクタ16からは、複数のグループのそれぞれの唯一性を示す唯一性パターンがパターンの内容を異ならせて作業台24の上面に向けて複数回投影される。カメラ18は、ロボットハンド34に取り付けられ、プロジェクタ16から投影されたパターンを撮像する。制御機器20は、カメラ18で撮像された基準位置パターンに基づいて、複数のグループのうち位置検出に利用するグループを決定する。また、制御機器20は、カメラ18で撮像された複数の唯一性パターンに基づいて、上記決定されたグループの基準位置を抽出し、ロボットハンド34の絶対座標を算出する。【選択図】図1

Description

本願の開示する技術は、ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法に関する。
例えば、特許文献1に記載されているように、製造現場や作業現場等における作業を行うために、ロボットハンドが用いられることがある。このようなロボットハンドを用いた現場において、作業を正確に行うためには、ロボットハンドの位置精度が高いことが要求される。特許文献2、3には、対象物にパターンを投影し、このパターンに基づいて対象物の位置を検出する技術が開示されている。
特開2013−208672号公報 特開平5−149713号公報 特開平7−261920号公報
上記技術より、ロボットハンドが移動する作業領域にプロジェクタからパターンを投影し、このパターンをロボットハンドに搭載したカメラで撮像し、ロボットハンドの位置を検出する技術が想定される。
しかしながら、ロボットハンドにおけるカメラの搭載領域は、狭小であるため、撮像範囲の広いカメラをロボットハンドに搭載することは困難であり、カメラの撮像範囲には限度がある。一方、撮像範囲の狭いカメラを用いると、カメラで撮像できるパターンの範囲が制限されるため、ロボットハンドの位置を正確に検出することが困難になる。
本願の開示する技術は、上記事情に鑑みて成されたものであり、一つの側面として、撮像範囲の狭いカメラを用いて、ロボットハンドの位置を検出できるようにすることを目的とする。
上記目的を達成するために、本願の開示する技術の一観点によれば、投影部と、撮像部と、決定部と、演算部とを備えるロボットハンドの位置検出装置が提供される。投影部は、複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンを作業領域に向けて投影する。また、投影部は、前記複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて前記作業領域に向けて複数回投影する。撮像部は、前記作業領域上を移動するロボットハンドに取り付けられ、前記投影部から投影されたパターンを撮像する。決定部は、前記撮像部で撮像された前記基準位置パターンに基づいて、前記複数のグループのうち位置検出に利用するグループを決定する。演算部は、前記撮像部で撮像された複数の前記唯一性パターンに基づいて、前記決定部にて決定された前記グループの基準位置を抽出し、前記ロボットハンドの絶対座標を算出する。
本願の開示する技術によれば、撮像範囲の狭いカメラを用いて、ロボットハンドの位置を検出することができる。
ロボット装置の全体構成の一例を示す図である。 制御機器の機能的な構成の一例を示すブロック図である。 プロジェクタから投影される画像と、画像に表示されるパターンに対応するデジタル信号のタイミングチャートの一例を示す図である。 複数のピクセルによって形成される一つのグループの一例を示す図である。 カメラの最小撮像範囲の一例を示す図である。 時間毎にパターンの内容が異なる複数の唯一性パターンの一例を示す図である。 制御機器のハードウェア構成の一例を示すブロック図である。 制御機器において実行される位置検出処理の一例を示すフローチャートである。 カメラの撮像範囲、カメラによって撮像された基準位置パターン、及び、基準位置ピクセルを中心にグルーピングされた複数のグループの一例を示す図である。 時間間隔を空けてカメラにて撮像された異なる二種類の唯一性パターンの一例を示す図である。 各唯一性ピクセルにおいて、異なる二種類の唯一性パターンがそれぞれデジタル信号に変換されるタイミングチャートの一例を示す図である。 信号処理部にて抽出された基準位置ピクセルと、カメラの中心の絶対座標との間の縦方向及び横方向のずれ量の一例を示す図である。 一つのグループを、一つのストローブ信号用ピクセルと、一つのクロック信号用ピクセルと、複数の唯一性ピクセルによって形成する第一変形例を説明する図である。 第一変形例における唯一性パターンをデジタル信号で表現したタイミングチャートである。 第二変形例における唯一性パターンをデジタル信号で表現したタイミングチャートである。
以下、本願の開示する技術の一実施形態を説明する。
図1に示されるように、本実施形態に係るロボット装置30は、ロボット12と、ロボットコントローラ14と、プロジェクタ16と、カメラ18と、制御機器20と、アーチ部材22と、作業台24とを備える。プロジェクタ16、カメラ18、及び、制御機器20は、ロボット12に設けられた後述のロボットハンド34の位置を検出する位置検出装置10を構成する。
ロボット12は、ロボットアーム32と、ロボットハンド34とを有する。ロボットアーム32の基端部は、アーチ部材22の上枠部に固定されている。ロボットアーム32は、一例として、垂直多関節ロボットであり、各関節部に駆動部を有している。各駆動部は、ロボットコントローラ14によって制御され、ロボットアーム32は、各駆動部により駆動される。
ロボットハンド34は、ロボットアーム32の先端部に取り付けられている。作業台24の上には、一例として、基板36が載置されている。また、作業台24の上には、基板36に隣接して部品供給トレイ38が設置されている。ロボットハンド34は、ロボットアーム32の駆動を伴って作業台24の上を移動する。ロボットハンド34は、部品供給トレイ38から実装部品を取り出して、この実装部品を基板36における所望の位置に搬送する等の作業を行う。作業台24の上面は、「作業領域」の一例である。
本実施形態に係るロボット装置30は、実装部材の搬送作業の他に、例えば、仕分け作業、塗装作業、溶接作業、ネジ締め作業、組立作業、検査作業、計測作業等の各種作業を行うことが可能である。
プロジェクタ16は、アーチ部材22の上枠部にロボットアーム32と並んで固定されている。このプロジェクタ16は、作業台24の中央部の上方に位置している。プロジェクタ16は、作業台24の上面の全体にパターンが表示されるように、作業台24の上面に向けて所定のパターンを投影する。
カメラ18は、「撮像部」の一例であり、ロボットハンド34に取り付けられている。ロボットハンド34は、作業台24の上面よりも小さいサイズで形成されており、カメラ18は、ロボットハンド34よりも小さいサイズで形成されている。このカメラ18は、プロジェクタ16から投影されたパターンを撮像する。このカメラ18には、例えば、CCD(Charge-Coupled Device)イメージセンサ等が用いられる。
制御機器20は、例えば、ノート型パーソナルコンピュータ等の各種コンピュータにより実現される。図2に示されるように、この制御機器20は、機能部別には、位置データ格納部42と、パターン制御部44と、画像処理部46と、信号処理部48と、演算部50と、カウント部52とを有する。
位置データ格納部42は、データベースであり、この位置データ格納部42には、絶対位置データが格納されている。パターン制御部44は、プロジェクタ16と共に、投影部54を構成している。パターン制御部44は、位置データ格納部42に格納されている絶対位置データに基づいて、プロジェクタ16が投影するパターンを制御する。画像処理部46は、カメラ18にて撮像されたパターンを読み取って画像処理し、信号処理部48は、画像処理部46にて得られた画像処理データをデジタル信号に変換して位置データを抽出する。
演算部50は、信号処理部48にて抽出された位置データと、位置データ格納部42に格納されている絶対位置データとを照合し、カメラ18の中心の絶対座標を算出する。後に詳述するようにプロジェクタ16から投影されるパターンには、唯一性パターンと称される複数回投影されるパターンがある。カウント部52は、この唯一性パターンの撮像回数をカウントする。
図3には、プロジェクタ16から投影される画像60が示されている。本実施形態では、一例として、画像の画素数を、縦480pixel×横640pixelとする。上述のプロジェクタ16には、単板式のものが使用されており、画像60には、各ピクセル62の点灯及び消灯によりパターンが表示される。各ピクセル62の点灯は、デジタル信号の1に割り当てられ、各ピクセル62の消灯は、デジタル信号の0に割り当てられる。
プロジェクタ16から投影される画像60の中には、複数のグループが含まれる。図4には、一つのグループ64が示されている。本実施形態において、一つのグループ64は、縦3pixel×横3pixelの合計9個のピクセル62によって形成される。プロジェクタ16から投影される画像には、式(1)、(2)より、縦方向に160個のグループ、横方向に213個のグループが含まれる。したがって、プロジェクタ16から投影される画像には、式(3)より、34080個のグループが含まれる。
480/3=160 ・・・(1)
640/3=213.3333 ・・・(2)
160×213=34080 ・・・(3)
本実施形態において、プロジェクタ16から投影されるパターンは、基準位置パターンと、唯一性パターンとに区別される。基準位置パターンは、図4に示される各グループ64の基準位置ピクセルCによって表示される。一方、唯一性パターンは、ランダムなパターンであり、図4に示される各グループ64の唯一性ピクセルD0〜D8によって表示される。各グループ64を形成する複数のピクセル62の中心に位置するピクセル62は、基準位置パターンを表示する場合には基準位置ピクセルCとして機能し、唯一性パターンを表示する場合には唯一性ピクセルD4として機能する。
各グループ64の中心に位置するピクセル62は、当該グループの基準位置に相当し、各グループ64には、当該グループの基準位置毎に絶対座標が割り当てられている。この絶対座標は、唯一性パターンにより表現される。各グループ64の絶対座標である絶対位置データは、上述の如く位置データ格納部42(図2参照)に格納されている。この絶対位置データには、異なる二種類の唯一性パターンをデジタル信号に変換することにより得られる位置データと、各グループ64の基準位置ピクセルCの位置との関係が含まれる。本実施形態では、一例として、プロジェクタ16から投影される画像の画素数は、縦480pixel×横640pixelであるので、位置データ格納部42には、34080個の位置データが格納されている。
各グループ64の中心に位置するピクセル62を基準位置ピクセルCとし、かつ、一つのグループ64における縦横のピクセル数をnとする場合、縦横2n−1個以上ずつのピクセルがカメラ18の撮像範囲にあることが要求される。本実施形態では、一つのグループにおける縦横のピクセル数を3としているので、図5に示されるように、縦横5個以上のピクセル62がカメラ18の撮像範囲66にあることが要求される。これは、カメラ18が作業台24の上面上のどの位置にあっても、中心に基準位置ピクセルCを有するグループ64(縦横3個ずつの計9個のピクセル)がカメラ18の撮像範囲66に少なくとも一つ含まれるようにするためである。
ロボットハンド34の各位置を検出するには、図6に示されるように、時間毎にパターンの内容が異なる複数の唯一性パターンが使用される。図6には、一例として、3つの唯一性パターン(パターン1〜3)が示されている。一つのグループ64は、9個のピクセル62によって形成されるため、一つのグループ64で表現される位置データは、2=512個である。
本実施形態では、プロジェクタ16から投影される唯一性パターンに34080個のグループが含まれるため、34080個以上の位置データを確保するために、(2=262144>34080より、二種類の唯一性パターンを使用する。このように、プロジェクタ16から投影される唯一性パターン(画像)に含まれるグループ数よりも、複数の唯一性パターンで表現される位置データ(座標)の総数が多くなるように、唯一性パターンの使用数が設定される。唯一性パターンの使用数が増えると、所望の位置データの量が拡充する。
図7に示されるように、上述の制御機器20は、ハードウェア構成としては、CPU(Central Processing Unit)72と、一時記憶領域としてのメモリ74と、不揮発性の記憶部76と、入出力I/F(Interface)78を備える。入出力I/F78には、キーボード及びディスプレイ等の入出力装置80に加えて、上述のロボットコントローラ14、プロジェクタ16、及び、カメラ18が接続される。CPU72、メモリ74、記憶部76、及び、入出力I/F78は、バス82を介して互いに接続される。
記憶部76は、HDD(Hard Disk Drive)、SSD(solid state drive)、フラッシュメモリ等によって実現される。この記憶部76には、上述の位置データ格納部42が設けられている。また、記憶部76には、位置検出プログラム84が記憶されている。CPU72は、位置検出プログラム84を記憶部76から読み出してメモリ74に展開し、位置検出プログラム84を実行する。
上述のパターン制御部44、画像処理部46、信号処理部48、演算部50、及び、カウント部52(図2参照)は、CPU72が位置検出プログラム84中の所定のプロセスを実行することで実現される。後述するように、画像処理部46は、「決定部」として機能する。メモリ74には、カウンタ86が設けられている。
次に、上述のロボット装置30におけるロボットハンド34の位置検出方法の一例について説明する。
図1に示される制御機器20は、ロボットアーム32が駆動してロボットハンド34の位置が変更される毎に、図8に示される位置検出処理を実行する。以下の説明において、ロボット装置30の構成要素については、図1を参照し、制御機器20の機能的な構成要素については、図2を参照し、制御機器20のハードウェア構成については、図7を参照し、各ステップの内容については、図8を参照することにする。
ステップS1では、パターン制御部44が、プロジェクタ16を制御し、プロジェクタ16から作業台24の上面に向けて基準位置パターンを投影させる。基板36の上方には、カメラ18を搭載したロボットハンド34が位置しており、カメラ18は、作業台24の上面の全体に亘って投影された基準位置パターンの一部を撮像する。
本例では、図9の(A)に示されるように、カメラ18の撮像範囲66は、一例として、縦横6個ずつのピクセル62を含むように設定されている。図9の(B)には、カメラ18によって撮像された基準位置パターンが示されている。基準位置パターンは、各グループの基準位置ピクセルCによって表示される。
ステップS2では、画像処理部46が、カメラ18にて撮像された基準位置パターンを読み取って画像処理する。ステップS3では、画像処理部46が、基準位置パターンに含まれる基準位置ピクセルCの位置を検出する。
ステップS4では、画像処理部46が、「決定部」として機能し、カメラ18で撮像された基準位置パターンに基づいて、複数のグループのうち位置検出に利用するグループを決定する。図9の(C)には、基準位置ピクセルCを中心にグルーピングされた複数のグループ64が示されている。画像処理部46は、複数のグループ64の中から任意のグループを位置検出に利用するグループとして決定する。図9の(C)には、一例として、位置検出に利用するグループ64が、ハッチングを施した状態で示されている。
ステップS5では、カウント部52が、カウンタ86の値を初期化する。ステップS6では、カウント部52が、カウンタ86の値を1つカウントアップする。
ステップS7では、パターン制御部44が、位置データ格納部42に格納されている絶対位置データに基づいて、プロジェクタ16に投影信号を出力し、プロジェクタ16から作業台24の上面に向けて唯一性パターンを投影させる。基板36の上方には、カメラ18を搭載したロボットハンド34が位置しており、カメラ18は、作業台24の上面の全体に亘って投影された唯一性パターンの一部を撮像する。プロジェクタ16から投影される唯一性パターンは、カメラ18の位置情報を示すランダムパターンであり、カメラ18によって撮像される唯一性パターンの一部は、ロボットハンド34の位置、すなわち、カメラ18の位置によって異なる。
ステップS8では、画像処理部46が、カメラ18にて撮像された唯一性パターンを読み取って画像処理する。カメラ18は、上述のステップS7にてパターン制御部44から出力された投影信号に同期して唯一性パターンを撮像する。また、画像処理部46は、上述のステップS7にてパターン制御部44から出力された投影信号(パターン変更信号)に同期して唯一性パターンを読み取る。
ステップS9では、カウント部52が、カウンタ86の値が2以上であるか判断する。カウンタ86の値が2未満である場合には、上述のステップS6〜ステップS8が再度実行される。これにより、パターンが異なる二種類の唯一性パターンが時間間隔を空けて基板36に投影される。このパターンが異なる二種類の唯一性パターンは、カメラ18にて順次撮像される。
図10には、時間間隔を空けてカメラ18にて撮像された異なる二種類の唯一性パターン(パターン1、2)が示されている。この図10に示される二種類の唯一性パターンは、一つのグループにおけるパターンを示している。一つのグループにおいて、異なる二種類の唯一性パターンは、複数の唯一性ピクセルD0〜D8によって表示される。画像処理部46は、異なる二種類の唯一性パターンを読み取って画像処理する。そして、カウンタ86の値が2以上になると、ステップS10に移行する。
ステップS10では、信号処理部48が、上述の画像処理部46にて決定されたグループについて、異なる二種類の唯一性パターンをそれぞれデジタル信号に変換し、位置データ(パターンデータ)を抽出する。
図11には、各唯一性ピクセルDnにおいて、異なる二種類の唯一性パターンがそれぞれデジタル信号に変換されるタイミングチャートが示されている。位置データ信号(Dn)は、唯一性ピクセルDnの点灯及び消灯に対応している。図11に示されるように、異なる二種類の唯一性パターンの時間軸の推移としては、パターン1、パターン2、パターン無しを1周期としている。
ステップS11では、演算部50が、上述のステップS10において信号処理部48にて抽出された位置データと、位置データ格納部42に格納されている絶対位置データとを照合する。
ステップS12では、演算部50が、上記照合の結果から、上述の決定されたグループの基準位置ピクセルの位置を抽出する。この基準位置ピクセルの位置は、各グループの基準位置に相当する。図12の(A)には、このようにして抽出された基準位置ピクセルCが示されている。この抽出された基準位置ピクセルCの位置と、カメラ18の中心18Aの絶対座標との間には、ずれが生じている。
ステップS13では、演算部50が、抽出された基準位置ピクセルCの位置に基づいて、ロボットハンド34の絶対座標を算出する。具体的には、図12の(B)に示されるように、上述の抽出された基準位置ピクセルCの位置と、カメラ18の中心18Aの絶対座標との間の縦方向及び横方向のずれ量Xpix、Ypixに基づいて、カメラ18の中心18Aの絶対座標、すなわち、ロボットハンド34の絶対座標が算出される。
本例では、以上の要領で、ロボットハンド34の位置が変更される毎に、ロボットハンド34の絶対座標が算出される。このようにして得られた複数の絶対座標は、メモリ74に記憶される。なお、ロボットハンド34の各位置について上記位置検出処理を複数回実施すると共に、このようにして得られた複数の絶対座標の差分を抽出し、誤検出を防止するようにしても良い。
次に、本実施形態の作用及び効果について説明する。
先ず、本実施形態の作用及び効果を明確にするために、比較例について説明する。比較例としては、1種類の唯一性パターンを使用する場合が想定される。1種類の唯一性パターンを使用する場合、縦480pixel×横640pixelの画像に対して34080個の位置データを確保するには、216=65536>34080より、一つのグループを縦4pixel×横4pixelの合計16個のピクセルで形成する必要がある。また、この場合、縦横7個以上ずつのピクセルがカメラ18の撮像範囲にあることが要求される。
したがって、カメラの撮像範囲を広くする必要があるが、ロボットハンドにおけるカメラの搭載領域は、狭小であるため、撮像範囲の広いカメラをロボットハンドに搭載することは困難であり、カメラの撮像範囲には限度がある。一方、縦横7個のピクセルより撮像範囲が狭いカメラを用いると、カメラで撮像できるパターンの範囲が制限されるため、ロボットハンドの位置を正確に検出することが困難になる。
これに対し、本実施形態では、複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて作業領域に向けて複数回投影する。したがって、カメラ18の撮像範囲が限定された狭い範囲である場合でも、カメラ18で複数回撮像した唯一性パターンから各グループの位置情報(唯一性)を得ることができる。これにより、撮像範囲の狭いカメラ18を用いて、ロボットハンド34の位置を検出することができる。
しかも、各グループの唯一性を確保するためには、パターンの内容を異ならせた唯一性パターンを複数回投影すれば足りる。したがって、例えば、ロボットハンド34の移動毎にラインカメラを走査してロボットハンドの位置を検出する方法等に比して、ロボットハンド34の位置検出に要する時間を短縮することができる。
また、複数のピクセルのうち基準位置パターンを表示する基準位置ピクセルは、各グループを形成する複数のピクセルの中心に位置する。したがって、基準位置ピクセルが隣接するグループに接しないので、各基準位置ピクセルがどのグループに属するかと言うことを明確に区別することができる。
また、各グループは、縦横n個ずつの複数のピクセルによって形成され、カメラ18の撮像範囲は、縦横2n−1個以上ずつの複数のピクセルを撮像するように設定されている。これにより、カメラ18が作業領域のどの位置にあっても、中心に基準位置ピクセルを有するグループがカメラ18の撮像範囲に少なくとも一つ含まれるようにすることができる。
また、プロジェクタ16から投影される唯一性パターン(画像)に含まれるグループの総数よりも、複数の唯一性パターンで表現される位置データ(座標)の総数が多くなるように、唯一性パターンが複数回投影される。これにより、カメラ18で複数回撮像した唯一性パターンから各グループの位置情報(唯一性)を確実に得ることができる。
次に、上記実施形態に記載された以外に採用し得る変形例について説明する。
(第一変形例)
図13には、第一変形例における一つのグループ64が示されている。第一変形例において、一つのグループ64は、一つのストローブ信号用ピクセルSと、一つのクロック信号用ピクセルCと、複数の唯一性ピクセルD0〜D6によって形成される。
図14には、第一変形例における唯一性パターンをデジタル信号で表現したタイミングチャートが示されている。ストローブ信号(S)は、ストローブ信号用ピクセルSの点灯及び消灯に対応し、クロック信号(C)は、クロック信号用ピクセルCの点灯及び消灯に対応し、複数の位置データ信号(Dn)は、複数の唯一性ピクセルD0〜D6の点灯及び消灯に対応する。パターン制御部44は、図14に示されるタイミングチャートに従って唯一性パターンをプロジェクタ16から投影させる。
この第一変形例において、ストローブ信号(S)は、情報の開始点を指示し、クロック信号(C)は、情報取得タイミングを指示する。ストローブ信号(S)及びクロック信号(C)は、ステータス情報を表している。複数の位置データ信号(Dn)には、位置情報が付与されており、複数の位置データ信号(Dn)は、各グループの位置情報を表す。
この第一変形例では、一例として、ストローブ信号(S)の立下りで、プロジェクタ16から唯一性パターンが投影されると共に、カメラ18で唯一性パターンが撮像される。また、クロック信号(C)の立上り時に、複数の唯一性ピクセルD0〜D6によって表示される唯一性パターン(複数の位置データ信号(Dn)の値)が、画像処理部46によって読み取られる。このときの画像処理部46は、「読取部」として機能する。さらに、クロック信号(C)の立下り時に、パターン制御部44における複数の位置データ信号(Dn)の値が変更される。
なお、この第一変形例では、複数の唯一性ピクセルD0〜D6の数が7個であるため、34080個以上の位置データを確保するために、(2=2097152>34080より、三種類の唯一性パターンを使用する。
この第一変形例によれば、プロジェクタ16から投影される唯一性パターンに画像処理部46の読取タイミングを指示するステータス情報が含まれている。したがって、プロジェクタ16から投影される唯一性パターン(画像)によって画像処理部46における唯一性パターンの読取タイミングを制御することができる。これにより、上記実施形態のステップS8のように、画像処理部46が、パターン制御部44から出力された投影信号(パターン変更信号)に同期して唯一性パターンを読み取る必要性を無くすことができる。
(第二変形例)
上記実施形態では、プロジェクタ16として、単板式のものが使用されているが、第二変形例では、プロジェクタ16として、三板式のものが使用される。三板式のプロジェクタ16が使用されることにより、赤、青、緑のそれぞれの明滅が独立して制御され、プロジェクタ16からは、複数の色で唯一性パターンが投影される。図15には、第二変形例における唯一性パターンをデジタル信号で表現したタイミングチャートが示されている。
この第二変形例によれば、三板式のプロジェクタ16を使用することにより、赤、青、緑のそれぞれの明滅を独立して制御することができるため、単板式のプロジェクタ16を使用する場合に比して、1回の唯一性パターンあたりに2倍のデータ送信(多重化)が可能になる。これにより、1周期あたりの唯一性パターンの切り替え回数を減少でき、ロボットハンド34の位置検出に要する時間をさらに短縮することができる。
(その他の変形例)
上記実施形態において、複数のピクセルのうち基準位置パターンを表示する基準位置ピクセルは、各グループを形成する複数のピクセルの中心に位置する。しかしながら、複数のピクセルのうち基準位置パターンを表示する基準位置ピクセルは、各グループの中心以外の位置のピクセルでも良い。
また、上記実施形態では、一例として、プロジェクタ16から投影される画像の画素数は、縦480pixel×横640pixelであるが、縦480pixel×横640pixel以外でも良い。
また、上記実施形態において、一つのグループは、縦3pixel×横3pixelの合計9個のピクセルによって形成されているが、一つのグループを形成する縦横のn数は、3より大きくても良い。
また、上記実施形態において、ロボットアーム32には、垂直多関節式のロボットが適用されているが、パラレルリンク式のロボットが適用されても良い。
また、上記実施形態において、パターン制御部44、画像処理部46、信号処理部48、演算部50、及び、カウント部52は、CPU72が位置検出プログラム84中の所定のプロセスを実行することで実現される。しかしながら、パターン制御部44、画像処理部46、信号処理部48、演算部50、及び、カウント部52は、例えば、半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現されても良い。
以上、本願の開示する技術の一実施形態について説明したが、本願の開示する技術は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
なお、上述の本願の開示する技術の一実施形態に関し、更に以下の付記を開示する。
(付記1)
複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンを作業領域に向けて投影すると共に、前記複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて前記作業領域に向けて複数回投影する投影部と、
前記作業領域上を移動するロボットハンドに取り付けられ、前記投影部から投影されたパターンを撮像する撮像部と、
前記撮像部で撮像された前記基準位置パターンに基づいて、前記複数のグループのうち位置検出に利用するグループを決定する決定部と、
前記撮像部で撮像された複数の前記唯一性パターンに基づいて、前記決定部にて決定された前記グループの基準位置を抽出し、前記ロボットハンドの絶対座標を算出する演算部と、
を備えるロボットハンドの位置検出装置。
(付記2)
前記投影部は、前記複数のピクセルのうち前記基準位置パターンを表示する基準位置ピクセルが、各前記グループを形成する前記複数のピクセルの中心に位置するように、前記基準位置パターンを投影する、
付記1に記載のロボットハンドの位置検出装置。
(付記3)
各前記グループは、縦横n個ずつの複数のピクセルによって形成され、
前記撮像部は、縦横2n−1個以上ずつの複数のピクセルを撮像する、
付記2に記載のロボットハンドの位置検出装置。
(付記4)
前記投影部は、前記投影部から投影される前記唯一性パターンに含まれる前記グループの総数よりも、複数の前記唯一性パターンで表現される位置データの総数が多くなるように、前記唯一性パターンを複数回投影する、
付記1〜付記3のいずれか一項に記載のロボットハンドの位置検出装置。
(付記5)
前記演算部は、前記決定部にて決定された前記グループの基準位置から、前記撮像部の中心の絶対座標を算出し、該絶対座標を前記ロボットハンドの絶対座標とする、
付記1〜付記4のいずれか一項に記載のロボットハンドの位置検出装置。
(付記6)
前記撮像部で撮像された前記唯一性パターンを読み取る読取部をさらに備え、
前記投影部は、前記読取部の読取タイミングを指示するステータス情報を含む唯一性パターンを前記唯一性パターンとして投影する、
付記1〜付記5のいずれか一項に記載のロボットハンドの位置検出装置。
(付記7)
前記投影部は、前記唯一性パターンを複数の色で投影する、
付記1〜付記6のいずれか一項に記載のロボットハンドの位置検出装置。
(付記8)
作業領域上を移動するロボットハンドを有するロボットと、
前記ロボットハンドの位置を検出する位置検出装置と、
を備え、
前記位置検出装置は、
複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンを作業領域に向けて投影すると共に、前記複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて前記作業領域に向けて複数回投影する投影部と、
前記ロボットハンドに取り付けられ、前記投影部から投影されたパターンを撮像する撮像部と、
前記撮像部で撮像された前記基準位置パターンに基づいて、前記複数のグループのうち位置検出に利用するグループを決定する決定部と、
前記撮像部で撮像された複数の前記唯一性パターンに基づいて、前記決定部にて決定された前記グループの基準位置を抽出し、前記ロボットハンドの絶対座標を算出する演算部と、
を有するロボット装置。
(付記9)
コンピュータに、
複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンを投影部から作業領域に向けて投影し、
前記作業領域上を移動するロボットハンドに取り付けられた撮像部で、前記投影部から投影された基準位置パターンを撮像し、
前記複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて前記投影部から前記作業領域に向けて複数回投影し、
前記撮像部で、前記投影部から投影された複数の前記唯一性パターンを撮像し、
前記撮像部で撮像された前記基準位置パターンに基づいて、前記複数のグループのうち位置検出に利用するグループを決定し、
前記撮像部で撮像された複数の前記唯一性パターンに基づいて、前記決定された前記グループの基準位置を抽出し、前記ロボットハンドの絶対座標を算出する、
ことを含む処理を実行させるロボットハンドの位置検出方法。
(付記10)
前記複数のピクセルのうち前記基準位置パターンを表示する基準位置ピクセルが、各前記グループを形成する前記複数のピクセルの中心に位置するように、前記投影部から前記基準位置パターンを投影する、
付記9に記載のロボットハンドの位置検出方法。
(付記11)
各前記グループを、縦横n個ずつの複数のピクセルによって形成し、
前記撮像部で、縦横2n−1個以上ずつの複数のピクセルを撮像する、
付記10に記載のロボットハンドの位置検出方法。
(付記12)
前記投影部から投影される前記唯一性パターンに含まれる前記グループの総数よりも、複数の前記唯一性パターンで表現される位置データの総数が多くなるように、前記投影部から前記唯一性パターンを複数回投影する、
付記9〜付記11のいずれか一項に記載のロボットハンドの位置検出方法。
(付記13)
前記決定された前記グループの基準位置から、前記撮像部の中心の絶対座標を算出し、該絶対座標を前記ロボットハンドの絶対座標とする、
付記9〜付記12のいずれか一項に記載のロボットハンドの位置検出方法。
(付記14)
前記撮像部で撮像された前記唯一性パターンの読取タイミングを指示するステータス情報を含む唯一性パターンを前記唯一性パターンとして前記投影部から投影する、
付記9〜付記13のいずれか一項に記載のロボットハンドの位置検出方法。
(付記15)
前記投影部から前記唯一性パターンを複数の色で投影する、
付記9〜付記14のいずれか一項に記載のロボットハンドの位置検出方法。
10 位置検出装置
12 ロボット
14 ロボットコントローラ
16 プロジェクタ
18 カメラ(撮像部)
20 制御機器(コンピュータ)
30 ロボット装置
34 ロボットハンド
42 位置データ格納部
44 パターン制御部
46 画像処理部(決定部、読取部)
48 信号処理部
50 演算部
52 カウント部
54 投影部
72 CPU

Claims (6)

  1. 複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンを作業領域に向けて投影すると共に、前記複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて前記作業領域に向けて複数回投影する投影部と、
    前記作業領域上を移動するロボットハンドに取り付けられ、前記投影部から投影されたパターンを撮像する撮像部と、
    前記撮像部で撮像された前記基準位置パターンに基づいて、前記複数のグループのうち位置検出に利用するグループを決定する決定部と、
    前記撮像部で撮像された複数の前記唯一性パターンに基づいて、前記決定部にて決定された前記グループの基準位置を抽出し、前記ロボットハンドの絶対座標を算出する演算部と、
    を備えるロボットハンドの位置検出装置。
  2. 前記投影部は、前記複数のピクセルのうち前記基準位置パターンを表示する基準位置ピクセルが、各前記グループを形成する前記複数のピクセルの中心に位置するように、前記基準位置パターンを投影する、
    請求項1に記載のロボットハンドの位置検出装置。
  3. 各前記グループは、縦横n個ずつの複数のピクセルによって形成され、
    前記撮像部は、縦横2n−1個以上ずつの複数のピクセルを撮像する、
    請求項2に記載のロボットハンドの位置検出装置。
  4. 前記投影部は、前記投影部から投影される前記唯一性パターンに含まれる前記グループの総数よりも、複数の前記唯一性パターンで表現される位置データの総数が多くなるように、前記唯一性パターンを複数回投影する、
    請求項1〜請求項3のいずれか一項に記載のロボットハンドの位置検出装置。
  5. 作業領域上を移動するロボットハンドを有するロボットと、
    前記ロボットハンドの位置を検出する位置検出装置と、
    を備え、
    前記位置検出装置は、
    複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンを作業領域に向けて投影すると共に、前記複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて前記作業領域に向けて複数回投影する投影部と、
    前記ロボットハンドに取り付けられ、前記投影部から投影されたパターンを撮像する撮像部と、
    前記撮像部で撮像された前記基準位置パターンに基づいて、前記複数のグループのうち位置検出に利用するグループを決定する決定部と、
    前記撮像部で撮像された複数の前記唯一性パターンに基づいて、前記決定部にて決定された前記グループの基準位置を抽出し、前記ロボットハンドの絶対座標を算出する演算部と、
    を有するロボット装置。
  6. コンピュータに、
    複数のピクセルによってそれぞれ形成される複数のグループの各々の基準位置を示す基準位置パターンを投影部から作業領域に向けて投影し、
    前記作業領域上を移動するロボットハンドに取り付けられた撮像部で、前記投影部から投影された基準位置パターンを撮像し、
    前記複数のグループのそれぞれの唯一性を示す唯一性パターンをパターンの内容を異ならせて前記投影部から前記作業領域に向けて複数回投影し、
    前記撮像部で、前記投影部から投影された複数の前記唯一性パターンを撮像し、
    前記撮像部で撮像された前記基準位置パターンに基づいて、前記複数のグループのうち位置検出に利用するグループを決定し、
    前記撮像部で撮像された複数の前記唯一性パターンに基づいて、前記決定された前記グループの基準位置を抽出し、前記ロボットハンドの絶対座標を算出する、
    ことを含む処理を実行させるロボットハンドの位置検出方法。
JP2016101851A 2016-05-20 2016-05-20 ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法 Active JP6614029B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016101851A JP6614029B2 (ja) 2016-05-20 2016-05-20 ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016101851A JP6614029B2 (ja) 2016-05-20 2016-05-20 ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法

Publications (2)

Publication Number Publication Date
JP2017208043A true JP2017208043A (ja) 2017-11-24
JP6614029B2 JP6614029B2 (ja) 2019-12-04

Family

ID=60415005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016101851A Active JP6614029B2 (ja) 2016-05-20 2016-05-20 ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法

Country Status (1)

Country Link
JP (1) JP6614029B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020157875A1 (ja) * 2019-01-30 2020-08-06 株式会社Fuji 作業座標作成装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020157875A1 (ja) * 2019-01-30 2020-08-06 株式会社Fuji 作業座標作成装置
JPWO2020157875A1 (ja) * 2019-01-30 2021-10-14 株式会社Fuji 作業座標作成装置
JP7112528B2 (ja) 2019-01-30 2022-08-03 株式会社Fuji 作業座標作成装置

Also Published As

Publication number Publication date
JP6614029B2 (ja) 2019-12-04

Similar Documents

Publication Publication Date Title
JP6922168B2 (ja) 表面実装ラインの品質管理システム及びその制御方法
US9998683B2 (en) Image processing device and image processing program
JP5257616B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
TWI526671B (zh) 板彎量測裝置和其板彎量測方法
US20150042784A1 (en) Image photographing method and image photographing device
JP2008185514A (ja) 基板外観検査装置
JP2005308464A (ja) 欠陥検出装置および欠陥検出方法
JP2015109559A (ja) 画像処理装置、画像処理方法
JP5222430B1 (ja) 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
US20110316814A1 (en) Optical distance determination device, optical touch monitoring system and method for measuring distance of a touch point on an optical touch panel
JP6614029B2 (ja) ロボットハンドの位置検出装置、ロボット装置、及び、ロボットハンドの位置検出方法
JP5561503B2 (ja) プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法
JP4704511B1 (ja) 線幅算出装置と算出方法並びに算出プログラム
US20200043443A1 (en) Correction system
TW201540074A (zh) 色彩校正裝置以及方法
JP2017156311A (ja) 3次元計測装置、3次元計測システム、3次元計測方法及びプログラム
JP6323160B2 (ja) 検査装置、検査方法及び検査プログラム
CN109218707B (zh) 口扫系统及口扫方法
KR20180037347A (ko) 기판 검사장치 및 이를 이용한 기판의 왜곡 보상 방법
JP5130257B2 (ja) 画像処理装置
JP3123275B2 (ja) 電子部品の欠品検査における検査データの作成方法
TWI469089B (zh) 影像判斷方法以及物件座標計算裝置
JP5354163B2 (ja) プロジェクター、プログラムおよび情報記憶媒体
WO2021131827A1 (ja) 情報処理装置、及び情報処理方法
TW201310985A (zh) 被拍攝物體之影像定位系統及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191021

R150 Certificate of patent or registration of utility model

Ref document number: 6614029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150