JP2007533963A - 物体の3d位置の非接触式光学的測定方法及び測定装置 - Google Patents
物体の3d位置の非接触式光学的測定方法及び測定装置 Download PDFInfo
- Publication number
- JP2007533963A JP2007533963A JP2006527269A JP2006527269A JP2007533963A JP 2007533963 A JP2007533963 A JP 2007533963A JP 2006527269 A JP2006527269 A JP 2006527269A JP 2006527269 A JP2006527269 A JP 2006527269A JP 2007533963 A JP2007533963 A JP 2007533963A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- determination
- coordinate system
- geometric properties
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
Description
処理される構成部品の正確な位置決めが不可能な製造ラインの場合、前記構成部品の完全な3D位置、すなわち空間内での3D配置及び3D配向を知ることは、ロボットを使用して前記構成部品を把持し、処理することを可能にするために、特に重要である。
そのため、前記幾何学的特性がロボットアーム上に公知の方法で配置され、あるいは調整ターゲットがロボットアーム上に取り付けられている。
前記ロボットアームが、固着されたカメラのレンズ有効範囲内で移動され、その後、ロボットアームの3D位置の測定が、その配置及び配向を調査及び/又は再調整するために実施される。
例えば、基準部品の位置を測定することで、誤って取り付けられた構成部品を判断するために、装着部品の位置が基準部品の位置に一致しているかどうかを調査することが可能である。
一台のカメラを使用する場合には、複数の構成部品を把持するための調整2D法のみがこれまで公知である。
すなわち、平面内の配置及び配向(3つの自由度)及び更に構成部品の高さについての情報(1つ以上の自由度)が測定される。
しかしながら、この方法を使用したとしても、構成部品の位置について、せいぜい2.5D情報しか得られず、その結果、例えば、構成部品が傾斜位置にある場合には、構成部品を正確に認識することが不可能である。
この調整は、かなりの時間を要し、従って保守に長時間を要する。
さらに、手動調整法は、一般に比較的不正確である。
また、1つの測定変量の感覚による解決法が公知であり、その解決法では、多センサー評価を使用して実際の全問題を解決する。
そのようなセンサーによる多測定も時間を要し、3D位置の全体的評価に役に立つことが殆どないことが多い。
従って、その方法は、物体の画像が一台のカメラによって生成され、前記物体の3D位置が、検出された幾何学的特性についての画像情報に基づく前記カメラ画像から計算されることを特徴とする。
公知の方法とは異なる方法をとることにより、物体の画像が一台のカメラによって生成され、物体の3D位置が幾何学的特性に関連する画像情報に基づくカメラ画像から計算される。
単純化及びコンパクト化されるため、製造における一連の動きに対する本発明方法の影響が実質的に低減した。
ロボットを調整する場合、本発明方法を利用して一般に不正確な手動設定を取り除くことが可能であり、従って、信頼性のある高度な手段を保証することができる。
さらに、これにより迅速なロボットの設定が可能となり、それにより保守時間が短縮される。
3D位置を計算するための基礎として、カメラの実際の画像プロセスを数学モデルによりモデル化することができる。
画像プロセスの構成において、特に、調査すべき物体とカメラとの間の配置と配向、使用される光学素子の特性(焦点距離、歪など)、遠近法変換、そしてカメラ及び/又はコンピュータ内への画像の取り込み時の照度のデジタル化と不連続化を考慮することが可能である。
言い換えれば、複数の方程式の系(通常、非線形)を準備することができ、その系に画像プロセスのパラメータが未知の変数として入力される。
例えば、2つの方程式が、物体に関する3D位置と、その物体の2次元の画像位置との相関関係から得られる。
従って、幾つかの特性を使用することで、画像プロセスの自由なパラメータ全ての方程式の系を挙げること及び数学的方法を使用して未知の変数を決定することが可能である。
有利な方法では、自由なパラメータとして系内でモデル化される多くの方程式が使用される。
それで、そのような方程式の過決定系を解くために、非線形最適化法を使用して最適な解を決定する。
さらに、カメラの位置合わせも固定して予め設定することができる。
特定の用途により、複数の点、複数の直線、複数のアングル、複数の円、複数の楕円の輪郭及び/円錐断面を物体に関して公知の位置を特定する幾何学的特性として使用することができる。
この場合、唯一の重要な点は、これら幾何学的特性が一般に数学的に説明できる輪郭及び形状であり、これらは構成部品に関して公知であり、カメラ画像で十分に観察及び評価できる点である。
調整の枠組み内で、例えば、カメラの内部パラメータを決定するために幾何学的物体を使用することができる。
この調整を使用して、光学歪を補正することができ、特に、カメラ座標系と物体座標系との間の3D位置の関係を決定することができる。
物体の幾何学的特性の代わりに、別の調整ターゲットも調整に使用することができる。
また、他の任意の決定可能な固定座標系に対して、物体の3D位置を測定することが、別の段取り工程を使用して測定可能な例えば、世界座標系と比較することによって可能である。
基準マスター部品の運動測定値あるいは比較測定値の枠組み内で、物体の3D位置を動的座標系に対しても測定することができる。
別の画像の生成のために、幾つか固定の単一カメラあるいは一台又は二台以上の移動カメラを使用することができる。
別の画像を使用して、計算された3D位置を別の品質基準を使用して評価することができ、必要なら補正を実施することができる。
その結果として、3D位置の更に改善された高精度の測定が達成される。
特に、例えば、これらのセンサーとして、周囲温度のばらつきを補償する温度センサーを用いることが可能であり、それにより、3D位置を計算するときに、調査すべき物体の温度依存性膨張を考慮することが可能である。
それによりリムに対してマーク付けされた位置が、幾何学的特性として自動的に付与されることが可能である。
このマーク付けされた位置は、例えば、バルブ又はハブキャップとすることができる。
好ましい実施形態では、付与されたマーク付けされた位置がユーザーにより相互に受け入れられるか、あるいは、拒絶される。
リムに関する幾何学的形状を知っているため、結果としてホイールベースをその自由度全てでチェックすることが可能である。
従って、第一に、リムに関する突出パターンの要件が省略され、第二に、緩いサスペンション支柱の場合、正又は負の車軸キャンバーを測定することができる。
従って、物体の3D位置の非接触式光学的測定装置は、物体の3D位置が、検出された幾何学的特性についての画像情報に基づいて、前記物体の画像を生成する一台のカメラのカメラ画像から計算されることによって測定されることを特徴としている。
この発明に係る装置は、請求項1乃至請求項16のいずれか1項に記載の方法を実施するために機能し、その結果として、繰り返しを避けるために前の説明部分を参照する。
前記カメラ画像の迅速な評価と3D位置の即時計算に関して、この装置は、適当な画像処理ソフトウェアを有した工業用パソコンを備えていることが好ましい。
このために、第一に、請求項1に従属する複数の請求項と、第二に、図面に基づく以下の発明の好ましい実施形態の説明を参照する必要がある。
一般に、好ましい設計形態と教示形状も、1つの図面に基づくこの発明の好ましい実施形態の説明に関連して説明される。
この目的のため、物体1の画像が物体1上方に配置された一台のカメラ2で生成される。
カメラ2の位置と調整は、この空間固定座標系xyzに対して固定して予め設定される必要がある。
画像取り込み時に、カメラ2の近傍円周に配置された光源3が、物体1を十分に照明することができる。
そこで2D(2次元)の画像情報と物体1に存在する幾何学的特徴の公知の3D位置(図示せず)とを相互に関係づけることが行われる。
画像プロセスの自由なパラメータ全てに対して、非線形最適化プロセスの解法には複数の方程式の過決定系が用意されている。
これらの複数の方程式の系の解法後に、物体1の正確な3D位置を決定することができ、座標をロボット6に移すことができる。
物体1の配置と配向を知ることで、ロボット6が、対応する補正の後、物体1を把持及び/又は処理することができる。
最後に、前記実施形態は、請求された教示内容を説明するためにのみ役立つが、この教示内容を前記実施形態に限定するものではないことを特に指摘する必要がある。
2 カメラ
3 光源
4 工業用パソコン
5 モニター
6 ロボット
Claims (24)
- 物体の3D位置の非接触式光学的決定のための方法であって、該3D位置の決定が、前記物体の3D位置及び3D配向の決定を有し、前記物体の幾何学的特性が、公知である該方法において、
前記物体の画像が、カメラによって生成され、前記物体の3D位置が、検出された幾何学的特性についての画像情報に基づく該カメラ画像から計算されることを特徴とする物体の3D位置の非接触式光学的決定のための方法。 - 前記3D位置の完全な決定が、前記カメラを使用する1つの画像取り込みによって実施されることを特徴とする請求項1に記載の方法。
- 前記幾何学的特性の公知3D位置が、各々の場合において、対応する2次元画像情報に対応付けられることを特徴とする請求項1又は請求項2に記載の方法。
- 複数式の系が、画像プロセスの自由なパラメータ全てに備えられていることを特徴とする請求項1ないし請求項3のいずれか1項に記載の方法。
- 非線形最適化方法が、複数式の過決定系の解決に使用されることを特徴とする請求項4に記載の方法。
- 前記カメラが、固定保持されていることを特徴とする請求項1ないし請求項5のいずれか1項に記載の方法。
- 前記カメラの位置合わせが、予め設定されていることを特徴とする請求項1ないし請求項6のいずれか1項に記載の装方法。
- 数学的に記載される一般的な輪郭と形状が、幾何学的特性として使用されることを特徴とする請求項1ないし請求項7のいずれか1項に記載の方法。
- 複数の点、複数の直線、複数のアングル、複数の円、複数の楕円形状及び/又は円錐断面が、幾何学的特性として使用されることを特徴とする請求項8に記載の方法。
- 前記カメラが、前記幾何学的特性を使用して調整されることを特徴とする請求項1ないし請求項9のいずれか1項に記載の方法。
- 内部のカメラパラメータが、調整の枠組み内で決定されることを特徴とする請求項10に記載の方法。
- 前記物体の3D位置が、固定座標系に対して決定されることを特徴とする請求項1ないし請求項11のいずれか1項に記載の方法。
- 前記物体の3D位置が、カメラ座標系、物体座標系に対してあるいは世界座標系に対して決定されることを特徴とする請求項1ないし請求項11のいずれか1項に記載の方法。
- 前記物体の3D位置が、動的座標系に対して決定されることを特徴とする請求項1ないし請求項11のいずれか1項に記載の方法。
- 前記物体の画像が、1つ又は2つ以上の別なカメラを使用して好適には種々のカメラアングルから生成されることを特徴とする請求項1ないし請求項14のいずれか1項に記載の方法。
- 前記別の画像によって、前記物体の計算された3D位置の品質が決定され、必要であれば補正が行われることを特徴とする請求項15に記載の方法。
- 前記3D位置の決定での誤差が、センサーによって補償され及び/又は補正されることを特徴とする請求項1ないし請求項16のいずれか1項に記載の方法。
- 追跡測定及び/又はキャンバー測定が、リムの幾何学的特性に基づいて自動車で実施されることを特徴とする請求項1ないし請求項17のいずれか1項に記載の方法。
- 前記リムに対して自動的にマーク付き場所が、幾何学的特性として設けられていることを特徴とする請求項18に記載の方法。
- 前記設けられたマーク付き場所が、ユーザーによって相互作用的に受け入れられるか拒絶されることを特徴とする請求項19に記載の方法。
- 物体の3D位置の非接触式光学的決定のための装置であって、該3D位置の決定が、前記物体の3D位置及び3D配向の決定を有し、前記物体の幾何学的特性が公知であり、好適には請求項1ないし請求項20のいずれか1項に記載の方法を実施するための装置において、
前記物体の3D位置が、検出された幾何学的特性についての画像情報に基づいてカメラ画像から計算される前記物体の画像を生成するカメラを特徴とする物体の3D位置の非接触式光学的決定のための装置。 - 前記カメラが、固定されていることを特徴とする請求項21に記載の装置。
- 前記カメラ画像を評価し、前記3D位置を計算するための少なくとも1つの工業用パソコンを特徴とする請求項21又は請求項22に記載の装置。
- 前記工業用パソコン、が画像処理ソフトウェアを特徴とする請求項23に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10345112 | 2003-09-26 | ||
PCT/DE2004/002132 WO2005031647A1 (de) | 2003-09-26 | 2004-09-23 | Verfahren und vorrichtung zur berührungslosen optischen 3d-lagebestimmung eines objekts |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007533963A true JP2007533963A (ja) | 2007-11-22 |
JP2007533963A5 JP2007533963A5 (ja) | 2008-01-10 |
Family
ID=34384326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006527269A Pending JP2007533963A (ja) | 2003-09-26 | 2004-09-23 | 物体の3d位置の非接触式光学的測定方法及び測定装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8064686B2 (ja) |
EP (1) | EP1665162A1 (ja) |
JP (1) | JP2007533963A (ja) |
CN (1) | CN1856804A (ja) |
DE (1) | DE102004046584A1 (ja) |
WO (1) | WO2005031647A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010223909A (ja) * | 2009-03-25 | 2010-10-07 | Fuji Xerox Co Ltd | 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置 |
JP2018040760A (ja) * | 2016-09-09 | 2018-03-15 | 株式会社鈴木エンタープライズ | 構造物寸法計測システム及び計測方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3946716B2 (ja) * | 2004-07-28 | 2007-07-18 | ファナック株式会社 | ロボットシステムにおける3次元視覚センサの再校正方法及び装置 |
JP4914039B2 (ja) * | 2005-07-27 | 2012-04-11 | キヤノン株式会社 | 情報処理方法および装置 |
CN102022979A (zh) * | 2009-09-21 | 2011-04-20 | 鸿富锦精密工业(深圳)有限公司 | 三维光学感测系统 |
WO2011134563A1 (de) | 2010-04-28 | 2011-11-03 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum verbinden zweier fahrzeugbauteile bzw. zweier nichtfahrzeugbauteile |
DE102010041356A1 (de) | 2010-09-24 | 2012-03-29 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Verbinden von Bauteilen |
DE102010042803B4 (de) | 2010-10-22 | 2020-09-24 | Bayerische Motoren Werke Aktiengesellschaft | Bauteilverbindung |
DE102011080483B4 (de) | 2011-08-05 | 2015-07-09 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zur Herstellung eines Bauteils oder eines aus mehreren Bauteilen bestehenden Bauteilverbunds |
JP5494597B2 (ja) * | 2011-09-16 | 2014-05-14 | 株式会社安川電機 | ロボットシステム |
CN104175085B (zh) * | 2013-05-21 | 2016-11-09 | 重庆长安汽车股份有限公司 | 冲压生产顶杆孔快速定位装置及方法 |
US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
WO2019039996A1 (en) * | 2017-08-25 | 2019-02-28 | Maker Trading Pte Ltd | ARTIFICIAL VISION SYSTEM AND METHOD FOR IDENTIFYING LOCATIONS OF TARGET ELEMENTS |
CN109443321B (zh) * | 2018-10-30 | 2021-01-08 | 中国人民解放军国防科技大学 | 一种监测大型结构形变的串并联像机网络测量方法 |
US10871384B2 (en) | 2019-02-26 | 2020-12-22 | Thomas P. Moyer | Apparatus and methods utilizing emissive patterns to determine positional information |
CN113432585A (zh) * | 2021-06-29 | 2021-09-24 | 沈阳工学院 | 一种基于机器视觉技术的非接触式轮毂位置精确测定方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63133002A (ja) * | 1986-11-25 | 1988-06-04 | Nec Corp | 三次元座標測定装置 |
JPH0238804A (ja) * | 1988-07-28 | 1990-02-08 | Agency Of Ind Science & Technol | 物体計測装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5959397A (ja) * | 1982-09-29 | 1984-04-05 | オムロン株式会社 | 特徴点のラベリング装置 |
US4942539A (en) * | 1988-12-21 | 1990-07-17 | Gmf Robotics Corporation | Method and system for automatically determining the position and orientation of an object in 3-D space |
DE4113992A1 (de) * | 1991-04-29 | 1992-11-05 | Ameling Walter | Verfahren zur automatischen dreidimensionalen ueberwachung von gefahrenraeumen |
US5380978A (en) * | 1991-07-12 | 1995-01-10 | Pryor; Timothy R. | Method and apparatus for assembly of car bodies and other 3-dimensional objects |
US5388059A (en) * | 1992-12-30 | 1995-02-07 | University Of Maryland | Computer vision system for accurate monitoring of object pose |
US6081273A (en) * | 1996-01-31 | 2000-06-27 | Michigan State University | Method and system for building three-dimensional object models |
FR2760277B1 (fr) * | 1997-02-28 | 1999-03-26 | Commissariat Energie Atomique | Procede et dispositif de localisation d'un objet dans l'espace |
JP3377465B2 (ja) * | 1999-04-08 | 2003-02-17 | ファナック株式会社 | 画像処理装置 |
US6886231B2 (en) * | 1999-06-25 | 2005-05-03 | Burke E. Porter Machinery Company | Robotic apparatus and method for mounting a valve stem on a wheel rim |
DE19934864A1 (de) * | 1999-07-24 | 2001-02-08 | Bosch Gmbh Robert | Vorrichtung zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen |
US6771808B1 (en) * | 2000-12-15 | 2004-08-03 | Cognex Corporation | System and method for registering patterns transformed in six degrees of freedom using machine vision |
JP4366023B2 (ja) * | 2001-03-16 | 2009-11-18 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 |
AUPR812601A0 (en) * | 2001-10-09 | 2001-11-01 | Integra Medical Imaging (Aust) Pty Ltd | 2-D and 3-D pose estimation of articles from 2-D images |
-
2004
- 2004-09-23 CN CNA2004800277822A patent/CN1856804A/zh active Pending
- 2004-09-23 JP JP2006527269A patent/JP2007533963A/ja active Pending
- 2004-09-23 EP EP04786848A patent/EP1665162A1/de not_active Ceased
- 2004-09-23 WO PCT/DE2004/002132 patent/WO2005031647A1/de active Search and Examination
- 2004-09-23 DE DE102004046584A patent/DE102004046584A1/de not_active Withdrawn
-
2006
- 2006-03-24 US US11/389,381 patent/US8064686B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63133002A (ja) * | 1986-11-25 | 1988-06-04 | Nec Corp | 三次元座標測定装置 |
JPH0238804A (ja) * | 1988-07-28 | 1990-02-08 | Agency Of Ind Science & Technol | 物体計測装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010223909A (ja) * | 2009-03-25 | 2010-10-07 | Fuji Xerox Co Ltd | 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置 |
JP2018040760A (ja) * | 2016-09-09 | 2018-03-15 | 株式会社鈴木エンタープライズ | 構造物寸法計測システム及び計測方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2005031647A1 (de) | 2005-04-07 |
EP1665162A1 (de) | 2006-06-07 |
US8064686B2 (en) | 2011-11-22 |
CN1856804A (zh) | 2006-11-01 |
DE102004046584A1 (de) | 2005-05-19 |
US20070009149A1 (en) | 2007-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8064686B2 (en) | Method and device for the contactless optical determination of the 3D position of an object | |
CN108717715B (zh) | 一种用于弧焊机器人的线结构光视觉系统自动标定方法 | |
US10035268B2 (en) | Measurement system used for calibrating mechanical parameters of robot | |
JP4021413B2 (ja) | 計測装置 | |
JP6280525B2 (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
CN105783711B (zh) | 三维扫描仪校正系统及其校正方法 | |
JP5355789B2 (ja) | 測定システムのための較正方法、コンピュータデータ信号及び測定システム | |
CN101239469B (zh) | 机器人机构的校准装置及方法 | |
WO2017135081A1 (ja) | 車載カメラ用校正システム | |
US20090019916A1 (en) | Method for calibrating a measuring system | |
US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
JP2007533963A5 (ja) | ||
CN107121093A (zh) | 一种基于主动视觉的齿轮测量装置及测量方法 | |
CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统 | |
CN110146017B (zh) | 工业机器人重复定位精度测量方法 | |
JP2015062991A (ja) | 座標系校正方法、ロボットシステム、プログラム及び記録媒体 | |
CN114022370B (zh) | 一种振镜激光加工畸变校正方法及系统 | |
CN109773589B (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
CN114001651B (zh) | 一种基于双目视觉测量和先验检测数据的大型细长筒类构件位姿原位测量方法 | |
CN113781558A (zh) | 一种姿态与位置解耦的机器人视觉寻位方法 | |
CN112958960A (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
CN115200475A (zh) | 一种臂载式多视觉传感器快速校正方法 | |
CN115179323A (zh) | 基于远心视觉约束的机器末位姿测量装置及精度提升方法 | |
CN113733078B (zh) | 机械臂精调控制量判读方法、计算机可读存储介质 | |
WO2022124232A1 (ja) | 画像処理システム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100209 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100430 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100512 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100609 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100617 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110407 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110427 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20110930 |