JP2005056300A - 視覚フィードバック装置及び方法 - Google Patents
視覚フィードバック装置及び方法 Download PDFInfo
- Publication number
- JP2005056300A JP2005056300A JP2003288616A JP2003288616A JP2005056300A JP 2005056300 A JP2005056300 A JP 2005056300A JP 2003288616 A JP2003288616 A JP 2003288616A JP 2003288616 A JP2003288616 A JP 2003288616A JP 2005056300 A JP2005056300 A JP 2005056300A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- distance
- image
- template
- visual feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
- Control Of Position Or Direction (AREA)
Abstract
【解決手段】移動対象物と移動目標を含むシーン画像を撮像する撮像手段101を備え、前記シーン画像と予め保存しておいたテンプレート画像2514を用いて、テンプレートマッチングを行い、前記移動対象物を前記移動目標に誘導する視覚フィードバック装置において、前記移動対象物と前記移動目標位置の距離を演算する距離演算手段105を備え、距離演算手段105で求めた距離が、所定の速度条件距離より大きい場合には、前記移動対象物を高速で移動させ、前記距離が前記速度条件距離よりも小さい場合にはテンプレートマッチングを行いながら、前記移動対象物を誘導する。
【代表図】 図1
Description
また、特許文献1に記載の装置では、撮像手段に固定焦点距離のレンズを装着しているため、移動対象物と移動目標の間の距離に関わらず、撮像される画像の視野が固定されているので、前記画像の1画素当たりの位置分解能が、前記距離に関わらず、常に同じとなる。一方、移動対象物が移動目標に近付くにつれ、位置の検出精度を高くすることが望まれている。しかし、位置分解能が一定なので検出精度を高くすることができず、その結果、挿入作業等の成功率が低いという問題があった。
本発明は、このような問題点に鑑みてなされたものであり、撮像手段によって撮像された画像を用いた移動対象物の移動目標への移動を、高速に行い、また、移動対象物位置が移動目標位置に近付くにつれて、位置検出精度を高くして、作業効率を向上させることができる視覚フィードバック装置及び方法を提供することを目的とする。
前記テンプレートマッチングの結果に基づいて前記移動対象物の3次元位置と前記移動目標位置の3次元位置を演算するステップを備えるものである。
また、パン・チルト機構およびズーム制御手段を備えたので、前記移動対象物と前記移動目標をシーン画像の中央に大きくとらえられ、その結果、前記移動対象物と前記移動目標の位置関係を正確に検出できる効果がある。
図1は本発明の第1の実施例を示す2次元視覚フィードバック装置の機能ブロック図である。図において、101は撮像手段(左カメラ2506または右カメラ2507に相当)であり、移動対象物(ペグ2501)と移動目標(ホール2502)を含むシーン画像2509を撮像する。
102はマッチング手段であり、予め保存したテンプレート画像2514とシーン画像2509を用いてテンプレートマッチングを行い、シーン画像2509内の移動対象物と移動目標の位置を検出する。ここで検出する位置は、一般にシーン画像2509の左上を原点とする画像座標系に関するものであり、画像座標系に関する移動対象物位置をUp、移動目標位置をUhとする。
103は座標変換手段であり、画像座標系に関する移動対象物位置Upと移動目標位置Uhを、移動機構(ロボット2505)が認識できるワールド座標系に変換する。ワールド座標系に関する移動対象物位置をWp、移動目標位置をWhとする。
P=K(Wh−Wp) (1)
で演算することができる。ここでゲインKは、0から1までの任意の定数である。
105は距離演算手段であり、ワールド座標系に関する移動対象物位置Wpと移動目標位置Whの距離を演算する。この距離は、現在の移動対象物(ペグ2501)と移動目標(ホール2502)の距離であり、現在距離Lwとする。Leは終了条件距離であり、移動対象物(ペグ2501)の移動を終了させるための条件を表しており、予め設定されている。Lsは速度条件距離であり、移動対象物(ペグ2501)の、次に説明する高速指令生成手段106での移動を終了させるための条件を表しており、予め設定されている。速度条件距離Lsは、終了条件距離Leより大きな値を設定する。
(Lw−Ls)/T (2)
を高速移動指令Qの速度とする。もし、移動機構(ロボット2505)が持つ最高速度がこの速度より小さければ、移動区間を分割して速度を決めてやれば良い。このようにすれば、移動時間Tを与えれば、現在距離Lwが比較的大きい時には高速で、小さい時には低速(但し移動指令Pよりは高速)で移動することができる。
Lw>Ls (3)
の場合に、指令切換信号108の高速指令生成側の信号を、
Lw≦Ls (4)
の場合に、指令切換信号108の指令生成側の信号を出力する。
Lw>Le (5)
の場合に、指令ON信号111を、
Lw≦Le (6)
の場合に、指令OFF信号112を出力する。
ステップ201では、撮像手段101により、移動対象物(ペグ2501)と移動目標(ホール2502)を含むシーン画像2509を撮像する。ステップ202では、マッチング手段102により、予め保存したテンプレート画像2514とシーン画像2509を用いてテンプレートマッチングを行い、シーン画像2509内の移動対象物位置Upと移動目標位置Uhを検出する。ステップ203では、座標変換手段103により、画像座標系に関する移動対象物位置Upと移動目標位置Uhを、ワールド座標系に関する移動対象物位置Wpと移動目標位置Whに変換する。ステップ204では、距離演算手段105により、ワールド座標系に関する移動対象物位置Wpと移動目標位置Whの距離(現在距離Lw)を演算する。
図4は本発明の第2の実施例を示す3次元視覚フィードバック装置の機能ブロック図である。図1の2次元視覚フィードバック装置と共通する構成要素については同一の符号を付しているので説明を省略する。図において、401は右撮像手段(右カメラ2507に相当)であり、402は左撮像手段(左カメラ2506)であり、共に、移動対象物(ペグ2501)と移動目標(ホール2502)を含むシーン画像(右シーン画像2511、左シーン画像2510)を撮像する。403は固定台(カメラ台2508)で、右撮像手段401と左撮像手段402を固定している。404は右マッチング手段、405は左マッチング手段であり、予め保存したテンプレート画像2514と右シーン画像2511、左シーン画像2510を用いてテンプレートマッチングを行い、右シーン画像2511、左シーン画像2510内の移動対象物(ペグ2501)と移動目標(ホール2502)を検出する。ここで検出する位置は、一般に右シーン画像2511、左シーン画像2510の左上を原点とする画像座標系に関するものであり、画像座標系に関する右撮像手段E01の移動対象物位置をURp、移動目標位置をURh、左撮像手段402の移動対象物位置をULp、移動目標位置をULhとする。406はステレオ演算手段であり、画像座標系に関する右移動対象物位置URp、右移動目標位置URhと左移動対象物位置ULp、左移動目標位置ULhから、一般に広く知られている三角測量の原理に基づいたステレオ視により、移動対象物(ペグ2501)と移動目標(ホール2502)の3次元位置を演算する。ここで演算する3次元位置は、通常、両撮像手段(401と402)の中央、またはどちらかの撮像手段に固定されたカメラ座標系に関するものであり、カメラ座標系に関する移動対象物位置をCp、移動目標位置をChとする。座標変換手段103は、移動機構(ロボット2505)が認識できるワールド座標系に、カメラ座標系に関する移動対象物位置Cp、移動目標位置Chを変換する。その他のブロックの機能は、図1を用いて説明した2次元視覚フィードバック装置と同じである。
図6は本発明の第3の実施例を示す2次元視覚フィードバック装置の機能ブロック図である。図1に示した2次元視覚フィードバック装置と共通する構成要素には同一の符号を付している。図において、601は撮像手段101に装着されるズームレンズであり、焦点距離609が可変である。また、ズームレンズ601は焦点距離609の値を示す信号を出力できるように構成されている。602はパン・チルト機構であり、一体化された撮像手段101とズームレンズ601を上下左右に振ることができる。603はテンプレートサイズ変更手段であり、テンプレート画像2514のサイズを焦点距離609に応じて変更してリサイズテンプレート画像606を作成する。今、テンプレート画像2514を取得した時の焦点距離609をf0、現在の焦点距離609をfiとすると、テンプレート画像2514に対するリサイズテンプレート画像のスケールSを、
S=fi/f0 (7)
で演算する。テンプレートサイズ変更手段603は、シーン画像2509を撮像した時の焦点距離fiを入力して式(7)によりスケールSを演算し、このスケールSをテンプレート画像2514に掛けることによって、テンプレート画像2514のサイズを拡大・縮小する。これがリサイズテンプレート画像606となる。
604はパン・チルト制御手段で、シーン画像2509内の移動対象物位置Upと移動目標位置Uhからそれらの中点を求め、その中点がシーン画像2509の中央に位置するようなパン・チルト制御信号607を生成する。すなわち、撮像手段101は、常に移動対象物位置Upと移動目標位置Uhの中央を向いていることになる。
605はズーム制御手段であり、シーン画像2509内の移動対象物位置Upと移動目標位置Uhから、それぞれがシーン画像2509の縦方向または横方向の広範囲に位置付けられるように、ズームレンズ601の焦点距離を制御するズーム制御信号608を出力する。
これらパン・チルト制御手段604、ズーム制御手段605により、パン・チルト機構602、ズームレンズ601が制御され、撮像手段C01によって撮像されるシーン画像2509は図7に示すようになる。
このように、パン・チルト制御手段604、ズーム制御手段605により、パン・チルト機構602、ズームレンズ601が制御される結果、シーン画像2509がズームアップされ、移動対象物(ペグ2501)が移動目標(ホール2502)に近付くにつれ、位置分解能が高くなり、更に、それに応じてテンプレートサイズ変更手段603でテンプレート画像2514のサイズを変更するので、正しい移動対象物(ペグ2501)の位置と移動目標(ホール2502)の位置が検出できる。
図9は本発明の第4の実施例を示す3次元視覚フィードバック装置の機能ブロック図である。図1、図4あるいは図6に示した視覚フィードバック装置と共通する構成要素には同一の符号を付している。図において、901は右撮像手段401に装着された右ズームレンズであり、902は左撮像手段402に装着された左ズームレンズである。右ズームレンズ901、左ズームレンズ902は焦点距離(右焦点距離908、左焦点距離909)が可変であり、右焦点距離908、左焦点距離909の値を示す信号を出力できるように構成されている。パン・チルト機構602は、固定台403(カメラ台2508)を上下左右に振ることができる。
903は右テンプレートサイズ変更手段、904は左テンプレートサイズ変更手段であり、テンプレート画像2514のサイズを右焦点距離908、左焦点距離909に応じて変更して右リサイズテンプレート画像912、左リサイズテンプレート画像913を作成する。右テンプレートサイズ変更手段903、左テンプレートサイズ変更手段904は、右シーン画像2511、左シーン画像2510を撮像した時の焦点距離fiを入力して式(7)によりスケールSを演算し、このスケールSをテンプレート画像2514に掛けることによって、テンプレート画像2514のサイズを拡大・縮小する。これが右リサイズテンプレート画像912、左リサイズテンプレート画像913となる。
右マッチング手段404、左マッチング手段405では、右リサイズテンプレート画像912、左リサイズテンプレート画像913と右シーン画像2511、左シーン画像2510を用いてテンプレートマッチングを行い、右シーン画像2511内の移動対象物(ペグ2501)URpと移動目標(ホール2502)URh、左シーン画像2510内の移動対象物(ペグ2501)位置ULpと移動目標(ホール2502)位置ULhを検出する。パン・チルト制御手段604は、右シーン画像2511内の移動対象物位置URpと移動目標位置URh、左シーン画像2510内の移動対象物位置ULpと移動目標位置ULhから各シーン画像において移動対象物位置と移動目標位置の中点を求め、その中点が各シーン画像の中央に位置するようなパン・チルト制御信号607を生成する。すなわち、右撮像手段401、左撮像手段402は、常に移動対象物位置と移動目標位置の中央を向いていることになる。
905は右ズーム制御手段で、右シーン画像2511内の移動対象物位置URpと移動目標位置URhから、それぞれが右シーン画像2511の縦方向または横方向の広範囲に位置付けられるように、右ズームレンズ901の焦点距離を制御する右ズーム制御信号910を出力する。906は左ズーム制御手段で、左シーン画像2510内の移動対象物位置ULpと移動目標位置ULhから、それぞれが左シーン画像2510の縦方向または横方向の広範囲に位置付けられるように、左ズームレンズ902の焦点距離を制御する左ズーム制御信号911を出力する。
907はキャリブレーションテーブルであり、ステレオ演算手段406の演算で必要となる右撮像手段401と左撮像手段402の位置関係を表すキャリブレーション行列を、右ズームレンズ901、左ズームレンズ902の焦点距離(右焦点距離908、左焦点距離909)に応じて出力できるように構成している。以下では、このキャリブレーションテーブル907について説明する。
尚、本実施の形態では、キャリブレーションテーブル907として、予め、焦点距離(右焦点距離908、左焦点距離909)に応じたキャリブレーション行列を保存しておき、焦点距離(右焦点距離908、左焦点距離909)の入力に応じて必要なキャリブレーション行列を出力するように構成したが、本発明は、これに限るものではなく、焦点距離(右焦点距離908、左焦点距離909)に応じてキャリブレーション行列をその都度演算するように構成しても、全く同様の効果を奏することができる。
ステップA01では、右焦点距離908、左焦点距離909から式(7)を演算してそれぞれのスケールSを求め、このそれぞれのスケールSをテンプレート画像2514に掛けることによってサイズを変更して右リサイズテンプレート画像912、左リサイズテンプレート画像913を作成する。
ステップA02では、右ズーム制御手段905と右ズームレンズ901、左ズーム制御手段906と左ズームレンズ902により、右シーン画像2511、左シーン画像2510内の移動対象物位置URp、ULpと移動目標位置URh、ULhから、それぞれが右シーン画像2511、左シーン画像2510内の広範囲に位置付けられるように、右ズームレンズ901、左ズームレンズ902の焦点距離を制御する。
Claims (12)
- 移動対象物と移動目標を含むシーン画像を撮像する撮像手段を備え、前記シーン画像とを予め保存しておいたテンプレート画像を用いて、テンプレートマッチングを行い、前記移動対象物を前記移動目標に誘導する視覚フィードバック装置において、
前記移動対象物と前記移動目標位置の距離を演算する距離演算手段を備え、前記距離演算手段で求めた距離が、所定の速度条件距離より大きい場合には、前記テンプレートマッチングを行わないで、前記移動対象物を高速で移動させ、前記距離が前記速度条件距離よりも小さい場合にはテンプレートマッチングを行いながら、前記移動対象物を前記移動目標に誘導することを特徴とする視覚フィードバック装置。 - 前記撮像手段を複数個備えるとともに、前記複数の撮像手段を固定する固定台と、前記シーン画像と前記テンプレート画像を用いてテンプレートマッチングを行い、前記移動対象物の位置と前記移動目標位置を検出する複数のマッチング手段と、前記複数のマッチング手段の出力を受けて、前記移動対象物の3次元位置と前記移動目標の3次元位置を演算するステレオ演算手段を備えることを特徴とする請求項1に記載の視覚フィードバック装置。
- 前記距離演算手段で求めた距離に応じて高速移動指令を生成する高速指令生成手段を備えたことを特徴とする請求項1または請求項2に記載の視覚フィードバック装置。
- 前記撮像手段に、焦点距離を可変にできるズームレンズと、パン・チルト機構を備えるととともに、前記ズームレンズの焦点距離に応じて、前記テンプレート画像のサイズを変更するテンプレートサイズ変更手段と、
前記移動対象物と前記移動目標の中点が、前記シーン画像の中央に位置するように、前記パン・チルト機構を制御するパン・チルト制御手段と、
前記移動対象物と前記移動目標の各位置が、前記シーン画像の縦方向または横方向の広範囲に位置付けられるように、前記ズームレンズの焦点距離を制御するズーム制御手段とを備えることを特徴とする視覚フィードバック装置。 - 前記撮像手段と前記ズームレンズを複数個備えるとともに、前記複数の撮像手段を固定する固定台と、前記ステレオ演算手段で必要となる各々の前記撮像手段の位置関係を表す行列であって、各々の前記ズームレンズの焦点距離に応じて前記行列を出力できるように構成されたキャリブレーションテーブルとを備えることを特徴とする請求項4に記載の視覚フィードバック装置。
- 前記テンプレートサイズ変更手段は、前記テンプレート画像を予め保存する際の前記ズームレンズの焦点距離に対する、前記ズーム制御手段によって変更された前記ズームレンズの焦点距離の比を用いて前記テンプレート画像のサイズを変更することを特徴とする請求項4または請求項5に記載の視覚フィードバック装置。
- 撮像手段で移動対象物と移動目標を含むシーン画像を撮像し、前記シーン画像と予め保存しておいたテンプレート画像を用いて、テンプレートマッチングを行い、前記移動対象物を前記移動目標に誘導する視覚フィードバック方法において、
前記移動対象物と前記移動目標位置の距離を演算するステップと、
前記距離が、所定の速度条件距離より大きい場合に、前記テンプレートマッチングを行わないで、前記移動対象物を高速で移動させるステップと、
前記距離が前記速度条件距離よりも小さい場合にはテンプレートマッチングを行いながら、前記移動対象物を前記移動目標に誘導するステップを有することを特徴とする視覚フィードバック方法。 - 異なる複数の方向から複数のシーン画像を撮像するステップと、
前記複数のシーン画像についてテンプレートマッチングを行うステップと、
前記テンプレートマッチングの結果に基づいて前記移動対象物の3次元位置と前記移動目標の3次元位置を演算するステップを備えることを特徴とする請求項7に記載の視覚フィードバック方法。 - 前記距離に応じて高速移動指令を生成することを特徴とする請求項7または8に記載の視覚フィードバック方法。
- 前記撮像手段に、焦点距離を可変にできるズームレンズと、パン・チルト機構を備えるととともに、
前記ズームレンズの焦点距離に応じて、前記テンプレート画像のサイズを変更するステップと、
前記移動対象物位置と前記移動目標位置の中点が、前記シーン画像の中央に位置するように、前記パン・チルト機構を制御するステップと、
前記移動対象物と前記移動目標の各位置が、前記シーン画像の縦方向または横方向の広範囲に位置付けられるように、前記ズームレンズの焦点距離を制御するステップを備えることを特徴とする視覚フィードバック方法。 - 異なる複数の方向から複数のシーン画像を撮像し、前記複数のシーン画像についてテンプレートマッチングを行い、前記テンプレートマッチングの結果に基づいて前記移動対象物の3次元位置と前記移動目標の3次元位置を演算するステップを備えることを特徴とする請求項10に記載の視覚フィードバック方法。
- 前記テンプレート画像のサイズを変更するステップは、前記テンプレート画像を予め保存する際の前記ズームレンズの焦点距離に対する、前記ズーム制御手段によって変更された前記ズームレンズの焦点距離の比を用いて前記テンプレート画像のサイズを変更することを特徴とする請求項10または請求項11に記載の視覚フィードバック方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003288616A JP2005056300A (ja) | 2003-08-07 | 2003-08-07 | 視覚フィードバック装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003288616A JP2005056300A (ja) | 2003-08-07 | 2003-08-07 | 視覚フィードバック装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005056300A true JP2005056300A (ja) | 2005-03-03 |
Family
ID=34367216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003288616A Pending JP2005056300A (ja) | 2003-08-07 | 2003-08-07 | 視覚フィードバック装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005056300A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010221325A (ja) * | 2009-03-23 | 2010-10-07 | Toyota Motor Corp | 移動ロボット |
JP2010536600A (ja) * | 2007-08-24 | 2010-12-02 | エリート エンジニアリング コーポレイション | ロボットアームと制御システム |
JP2013158847A (ja) * | 2012-02-01 | 2013-08-19 | Seiko Epson Corp | ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム |
JP2015085450A (ja) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | ロボット制御システム、ロボット、プログラム及びロボット制御方法 |
CN108680227A (zh) * | 2018-07-27 | 2018-10-19 | 中国石油集团川庆钻探工程有限公司工程技术研究院 | 一种双目视觉物位计及其使用方法和测量物位的方法 |
JP2020135623A (ja) * | 2019-02-22 | 2020-08-31 | ファナック株式会社 | 物体検出装置、制御装置及び物体検出用コンピュータプログラム |
-
2003
- 2003-08-07 JP JP2003288616A patent/JP2005056300A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010536600A (ja) * | 2007-08-24 | 2010-12-02 | エリート エンジニアリング コーポレイション | ロボットアームと制御システム |
JP2010221325A (ja) * | 2009-03-23 | 2010-10-07 | Toyota Motor Corp | 移動ロボット |
JP2013158847A (ja) * | 2012-02-01 | 2013-08-19 | Seiko Epson Corp | ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム |
JP2015085450A (ja) * | 2013-10-31 | 2015-05-07 | セイコーエプソン株式会社 | ロボット制御システム、ロボット、プログラム及びロボット制御方法 |
CN108680227A (zh) * | 2018-07-27 | 2018-10-19 | 中国石油集团川庆钻探工程有限公司工程技术研究院 | 一种双目视觉物位计及其使用方法和测量物位的方法 |
CN108680227B (zh) * | 2018-07-27 | 2023-12-08 | 中国石油天然气集团有限公司 | 一种双目视觉物位计及其使用方法和测量物位的方法 |
JP2020135623A (ja) * | 2019-02-22 | 2020-08-31 | ファナック株式会社 | 物体検出装置、制御装置及び物体検出用コンピュータプログラム |
US11285624B2 (en) | 2019-02-22 | 2022-03-29 | Fanuc Corporation | Object detection device, control device, and object detection computer program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8094204B2 (en) | Image movement based device control method, program, and apparatus | |
EP1985416B1 (en) | Mobile robot | |
EP1220143A2 (en) | Electronics device applying an image sensor | |
US11639000B2 (en) | Geometrically appropriate tool selection assistance for determined work site dimensions | |
CN101733755A (zh) | 机械手系统、机械手控制装置以及机械手控制方法 | |
CN1573628A (zh) | 自动机械系统 | |
JP2011083882A (ja) | ロボットシステム | |
WO2010095204A1 (ja) | インターフェース制御装置、及びその方法 | |
CN107820002B (zh) | 改进的监测摄像机方向控制 | |
US20140225991A1 (en) | Image capturing apparatus and method for obatining depth information of field thereof | |
JP2005056300A (ja) | 視覚フィードバック装置及び方法 | |
KR101412513B1 (ko) | 프레임 그래버 보드를 이용한 로봇팔 제어시스템 및 그 방법 | |
JP2007171018A (ja) | 物体位置認識方法及び物体位置認識装置 | |
JP2008217330A (ja) | 速度推定方法および速度推定プログラム | |
JP2686685B2 (ja) | ロボットによる物体操作のための能動的カメラ探索装置 | |
CN115564823A (zh) | 三维扫描方法、装置、设备及存储介质 | |
US20080036861A1 (en) | Targeted object pursuit system | |
CN111522299B (zh) | 机械控制装置 | |
CN110740249A (zh) | 图像采集方法及图像采集设备 | |
JP2005205519A (ja) | ロボットハンド装置 | |
KR20090028043A (ko) | 촬영 화면 기반의 화면 지정이 가능한 촬영 장치 및 화면지정 방법 | |
CN111699077B (zh) | 用于机器人的基于视觉的操作 | |
KR101467898B1 (ko) | 레이저 포인터를 이용한 마킹 보조 장치 및 방법 | |
CN111522295B (zh) | 机械控制装置 | |
JP2012154862A (ja) | 3次元寸法測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20060713 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090408 |
|
A521 | Written amendment |
Effective date: 20090604 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090805 |