JP2005031085A - 製造部品のキズを解析し、識別するシステム及び方法 - Google Patents

製造部品のキズを解析し、識別するシステム及び方法 Download PDF

Info

Publication number
JP2005031085A
JP2005031085A JP2004201256A JP2004201256A JP2005031085A JP 2005031085 A JP2005031085 A JP 2005031085A JP 2004201256 A JP2004201256 A JP 2004201256A JP 2004201256 A JP2004201256 A JP 2004201256A JP 2005031085 A JP2005031085 A JP 2005031085A
Authority
JP
Japan
Prior art keywords
under inspection
location
work
approach vector
scratch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004201256A
Other languages
English (en)
Other versions
JP2005031085A5 (ja
Inventor
Suneel Tumkur Shankarappa
スネール・トゥムクール・シャンカラッパ
Gregory Alan Mohr
グレゴリー・アラン・モーア
Mysore Siddu Dinesh
マイソール・シッドゥ・ディネシュ
Brian Walter Lasiuk
ブライアン・ウォルター・ラシウク
Ronald Cecil Mcfarland
ロナルド・セシル・マクファーランド
Elizabeth Lokenberg Dixon
エリザベス・ローケンベルグ・ディクソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2005031085A publication Critical patent/JP2005031085A/ja
Publication of JP2005031085A5 publication Critical patent/JP2005031085A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 デジタル画像における場所を規定された標示の物理的部品への変換を自動化する。
【解決手段】 検査中の部品のキズを識別するシステム及び方法は、部品上の複数の異なる場所に対応する3次元空間座標から構成される部品の3次元表現を生成すること(206)と、3次元空間座標を検査中の部品の対応する場所と共に登録すること(214)とを含む。検査中の部品の画像が生成され、生成された画像から、検査中の部品のキズが識別される(210)。キズの場所は対応する3次元空間座標と相関され、対応する3次元空間座標の情報を使用して、キズの場所で検査中の部品に対して作業を実行するために装置が制御される(216)。
【選択図】 図2

Description

本発明は一般に製造検査システムに関し、特に、製造部品のキズ又は欠陥を解析し、識別するシステム及び方法に関する。
製造部品に対する非破壊評価(NDE)技法及びその手順はデータ収集、画像検査、検討及びアーカイビングにおける完全にデジタルなインフラストラクチャに近づきつつある。それらの検査の主な目的は、部品のキズ又は欠陥を識別することである。検査は、検出されたキズの数及び重大度に基づいて部品を合格させるか、修理するか、再加工するか又は廃棄するかに関する決定を実行する機会を与える。デジタル検出器が持つ感度及びダイナミックレンジの利点によって、X線写真フィルムでは以前は検出できなかったようなキズを検出し、その場所を特定できるようになった。産業用検査における光源と検出器の多重画像検査及び精密配置による高いスループットは、部品の表面において横方向に10μの精度をもって複数のキズの場所を特定することを可能にした。
従来のキズ検出システムは、X線写真で識別されたようなキズ座標を自動的に、精密に、再現性をもって現実の物理的部品に変換することが不可能である。むしろ、従来のシステムは手動操作によって2次元目視画像を3次元の部品と重ね合わせることを必要としているが、これは完全にオペレータの判断に任されているため、非常に誤りを生じやすい。異なる基準ポイントから何度も検査される複雑な部品の場合、更に大きな悪影響が出る。
デジタル画像における場所を規定された標示の物理的部品への変換を自動化し、この動作を設計、製造、検査、サービス及び再加工の各段階を統合した完全にデジタルなフレームワークで実行することが可能であることが望ましいであろう。
簡単に言えば、本発明の1つの面においては、検査中の部品のキズを識別するシステム及び方法は、部品上の複数の異なる場所に対応する3次元空間座標から構成される部品の3次元表現を生成することと、3次元空間座標を検査中の部品の対応する場所と共に登録することとを含む。検査中の部品の画像が生成され、生成された画像から、検査中の部品のキズが識別される。キズの場所は対応する3次元空間座標と相関され、対応する3次元空間座標の情報を使用して、キズの場所で検査中の部品に対して作業を実行するために装置が制御される。
本発明の他の特徴、面及び利点は、添付の図面と共に以下の好ましい実施例の詳細な説明を考慮することにより明白になるであろう。
図1は、本発明による自動化部品解析システムのブロック線図である。図1に示すように、システムはシステム制御装置10と、検出器制御装置20と、作業制御装置50とを含む。システム制御装置10には、表示装置15が結合されている。検出器25及び光源30は検出器制御装置20に結合されている。作業工具45は作業制御装置50に結合されている。システムは、部品40を支持するプラットフォーム35を更に含む。
システム制御装置10はPC又はサーバなどのワークステーションとして実現されることが可能である。システム制御装置10はCPU、主メモリ、ROM、記憶装置及び通信インタフェースを含むのが好ましく、これらは全てバスを介して互いに結合されている。CPUは単一のマイクロプロセッサとして実現されても良いし、あるいは多重処理システムの複数のプロセッサとして実現されても良い。主メモリはRAM及び小型キャッシュによって実現されるのが好ましい。ROMは不揮発性記憶装置であり、例えば、EPROM又はNVRAMとして実現されれば良い。記憶装置はハードディスクドライブ又は他の種類の不揮発性書き込み可能記憶装置であれば良い。
システム制御装置10の通信インタフェースは、検出器制御装置20、プラットフォーム35及び作業制御装置50への2方向データ通信結合を可能にする。これらの要素はシステム制御装置10に直接ワイヤ接続又は無線リンクを介して直接に結合されるか、あるいはサーバを介するなどして間接的に結合されることが可能である。そのような実現形態のいずれにおいても、通信インタフェースは様々に異なる種類の情報を表現するデジタルデータストリームを搬送する電気信号、電磁信号又は光信号を結合されている要素との間で送受信する。
検出器制御装置20は、システム制御装置10と同様に実現されたワークステーションを含むことができる。検出器制御装置20はマイクロコントローラを更に含んでいても良い。検出器制御装置20は検出器25及び光源30の位置どり及び動作を制御する。検出器25及び光源30の位置どり及び動作を制御するための信号は検出器制御装置20からユーザによる指示を通して提供されるか、又はシステム制御装置10から送信される信号を介して提供されることが可能である。
当初、部品40はプラットフォーム35上の、特定の回転位置及び軸方向高さに対して登録された場所、又は同等に登録された位置又は登録された座標に中心を合わせて配置される。部品40は、回転の向きのマッピングを含めて、部品モデルの3次元空間座標が検査中の部品40の対応する場所へマッピングされるように配置される。位置決めは、例えば、部品40上の基準マークをプラットフォーム35上の基準マークと整列させることにより実行可能である。また、部品40上の基準マークをレーザー走査し、検査中の部品40を3次元モデルと整列させるためにモデルを自動的に回転させ、並進移動させることによって、部品40自体を位置合わせすることも可能である。この位置決めによって、部品40は後続する処理に際して全く同一の向きで除去、交換されることが可能になり、以下に説明する部品モデルと、検査中の部品40との間に一定の相関関係を規定するためのシステムが提供される。検査解析システムの座標系において部品モデルをマッピングすることにより、部品40のデジタルモデルと、実際の部品40の、検出器25及び光源30により生成されるデジタル画像データとのデータ融合が可能になる。これにより、検査プロセス、解析プロセス、注釈プロセス及び再加工プロセスを合理化することができる。
検出器25及び光源30は部品40の2次元画像を生成するように実現されている。検出器25及び光源30は、例えば、X線画像、超音波画像、渦電流画像又は赤外線画像を生成するように構成されることができる。検出器25と光源30は別個の要素として示されているが、実行されるべき撮影の種類に応じて単一の要素として実現されることも可能である。
検出器25及び光源30により画像が生成される前に、検出器制御装置20は、特定の有利なポイントから部品40の画像を生成するために、検出器25及び光源30を位置決めする。この位置決めは、検出器25及び光源30をどこに位置決めすべきかを識別する検出器制御装置20からの入力信号を介して実行されることが可能である。あるいは、手動操作により検出器25と光源30を位置決めすることもできる。検出器25及び光源30が指定された位置にあるとき、部品40の画像が生成され、画像を表現する2次元デジタルデータは検出器制御装置20を介してシステム制御装置10に提供される。画像データを提供することに加えて、検出器制御装置20は、画像が生成されたときの検出器25及び光源30の位置を識別する位置データをシステム制御装置10に提供することができる。システム制御装置10は生成された画像を表示装置15に表示させることができる。表示装置15は、例えば、CRT、プラズマ又はTFTモニタとして実現されることが可能である。
部品40の画像を生成するために検出器25及び光源30を位置決めするのに加えて、検出器25及び光源30に対する部品40の位置を変化させるためにプラットフォーム35を調整することができる。プラットフォーム35の位置制御は、システム制御装置10から供給される信号により実行できるが、手動操作によりプラットフォーム35を位置決めすることも可能である。プラットフォーム35は、例えば、部品40をプラットフォーム35の中心軸に関して回転させること、又は部品40を垂直軸に沿って、すなわち、上下に移動させることを含むいくつかの異なる方法で移動させることができる。検出器25及び光源30と同様に、プラットフォーム35の位置情報はシステム制御装置10に提供されることが可能である。検出器25、光源30及びプラットフォーム35の位置情報の間で、システム制御装置10は生成された画像における部品40の厳密な向きを判定するのに十分なデータを有する。
部品40の画像が表示装置15に表示されるため、ユーザは、画像中に示される部品40の部分にキズ又は関心ある特徴形状が存在するか否かを判定するために画像を解析し、検査することができる。キズは、例えば、不完全な溶接部、溶接部における融着の不足、介在物、空隙、腐食領域、亀裂、あるいは部品40の構造上の一体性又は強度を損なわせるおそれがあるリベット、ボルト又はその他の部品などであると考えられる。部品の場合、キズは部品40の種類によって決まる。部品40は装置又は機械の多種多様な異なる要素のうちのいずれかであれば良い。例えば、部品40はジェットエンジンのタブ又はシリンダ、風車の羽根、鋳造物、鍛造回路基板、あるいは検出器25により画像を生成することによって、文書化、検査及び/又は修正する必要があるキズの識別が容易になるような他の何らかの要素であると考えることができる。
ユーザが部品40のキズを識別すると、ユーザは指示装置又はユーザ画像中のキズの厳密な場所を識別することを可能にする他の場所選択メカニズムなどによって、表示装置15上で直接にキズの場所の指示を行うことができる。画像中のキズの場所は、画像を生成する元になった部品40上の実際の場所に変換することができる画素座標に相当する。画素座標を部品40上のキズの実際の場所に変換できるこの能力があるため、ユーザはキズの場所で部品40に対して作業を実行させることが可能である。
キズの種類に応じて、ユーザは部品40に対して実行されるべき作業を指示できる。この作業は、例えば、部品上のキズの場所にマーキングすること、キズを修理すること、キズに塗料を塗布すること、キズを研削すること、あるいはキズの場所を正確に且つ/又は自動的に判定する能力に基づいて実行できると考えられる他の機能である。
作業は作業制御装置50の制御の下に作業工具45により実行される。作業制御装置50はシステム制御装置10と同様に実現されたワークステーションを含むことができ、マイクロコントローラを更に含んでいても良い。作業制御装置50はシステム制御装置10からの信号に応答して、キズの場所で部品40に対して作業を実行するために作業工具45を制御する。作業工具45は実行されるべき作業の種類に応じて様々な変更可能な構成を有していることができる。例えば、作業工具45はマーキング用工具、塗料塗布用工具、研削用工具、修理用工具又は特定の作業を実行するための他の何らかの工具部分であって良い。更に、プラットフォーム35上における部品40の位置情報及びキズの場所としてユーザにより識別された画素座標に基づいて、作業制御装置50は作業工具45を部品40上のキズの場所へ正確に誘導し、キズの場所で作業を実行することが可能である。
図2は、本発明に従って製造部品のキズを解析し、識別するプロセスの流れ図である。図1の自動化部品解析システムと関連させて図2のプロセスを説明する。図1のシステムの構成及び実現形態は図2のプロセスを実行するための単なる一例であるにすぎないことは当業者により理解されるべきである。更に、図2のプロセスを実行するための他のシステム構成及び実現形態も可能であることが理解されるべきである。
図2に示すように、まず、ユーザは製造中の部品40のCAD画像を作成する(ステップ202)。CAD画像は、部品40を正確に表現することが可能であるいくつかの利用可能なCADアプリケーションを使用して作成できる。また、CADアプリケーションに類似する又はそれと同等の能力を有する描画アプリケーションを使用することも可能である。描画アプリケーションはシステム制御装置で実現されても良いし、あるいはユーザが描画を作成できるワークステーション又はPCで実現されても良い。先に説明したように、部品40は、例えば、ジェットエンジンのタブ又はシリンダ、風車の羽根、鋳造物、回路基板、あるいは検出器25により画像を生成することによって、文書化及び/又は修正する必要があるキズの識別が容易になるような他の何らかの要素であると考えられる。部品40の完全な表現を作成するために、CAD又は描画アプリケーションは様々な有利なポイントからの複数の描画又は画像を含んでいても良い。
次に、CAD画像は部品40の3次元表現に変換される(ステップ204)。部品の3次元表現は、部品40の露出面を含めて、部品40の様々に異なる場所に対応する一連の3次元空間座標を含む。CADアプリケーション自体がCAD画像を3次元表現に変換するための変換機能を含むのが好ましい。例えば、CADアプリケーションはCAD画像を周知の3次元フォーマットであるSTLフォーマットに変換できる。3次元表現への変換は、部品40上のキズの場所を判定するための所望のスケールと一致する分解能で実行されるのが好ましい。STLの外にも、他の3次元フォーマットが可能である。
部品40の対応する3次元空間座標から構成される3次元表現は、後の参照に備えて、ハードディスクドライブ又は他の不揮発性メモリなどのメモリに格納されることが可能である。メモリはシステム制御装置10で実現されるか、又はシステム制御装置10がアクセス可能である場所で実現されることが可能である。3次元表現座標は、3次元表現の3次元空間座標が実際の部品40の対応する場所と一致するように、プラットフォーム35上の部品位置合わせ座標と一致するように設定されている。
部品40の3次元表現が生成され、格納され、検査中の部品40の場所に位置合わせされたならば、検査中の部品40の2次元デジタル画像が生成される(ステップ206)。2次元デジタル画像を生成するために、ユーザは、部品40、検出器25及び光源30を特定の向きで2次元デジタル画像を生成するための特定の位置に配置するように、システム制御装置10によって検出器制御装置20及びプラットフォーム35を制御することができる。特に、ユーザは部品40の特定の向きの画像を生成するための命令をシステム制御装置10から入力することができ、それらの命令は、検出器25、光源30及び部品40を適正に位置決めするために、検出器制御装置20及びプラットフォーム35により解釈される。また、ユーザがそれらの構成要素を手動操作で位置決めすることも可能である。
例えば、部品40の様々な向き及び見かけを示すために、2つ以上の画像を生成することができる。以下の説明においては、便宜上、1つの2次元画像の解析についてのみ説明する。しかし、1つの2次元画像を解析し、適用するプロセスは生成される部品40のどの2次元画像にも適用可能であることは理解されるべきである。先に説明したように、2次元画像は、例えば、X線画像、超音波画像、渦電流画像又は赤外線画像であることが可能である。
部品40の2次元画像と、画像における部品40の向き及び部分を判定するのに十分な位置情報はシステム制御装置10に提供され、システム制御装置10はその画像を表示装置15に表示する(ステップ208)。ユーザは表示された画像を検査し、解析して、部品40のキズを識別できる(ステップ210)。識別されたキズの場所を設定するために、ユーザは指示装置によってキズの場所までポインタ、カーソル又はアイコンを移動させ、その場所でクリックして、その場所をキズとしてマーキングすることができる。また、表示装置15をタッチスクリーンのように手で触れる操作に応答するようにさせることも可能であり、その場合、ユーザはPDAで使用されているようなタッチ要素を使用して、キズの場所をマーキングする。キズの場所は画像の1つの特定の画素座標に対応する。この画素座標を使用して、部品40におけるキズの特定の物理的場所を識別することができる。
部品40のキズの場所をマーキングすることに加えて、ユーザはキズの場所で実行すべき特定の作業を識別することができる(ステップ212)。例えば、ユーザは作業工具45に部品40上のキズの場所をマーキングさせるか、キズの場所に塗料を塗布させるか、キズの場所で研削作業を実行させるか、キズを修理させるか、又は他の何らかの作業を実行させることを選択できる。選択される特定の作業はキズの種類、キズの重大度、キズの実際の場所及び作業工具の能力によって決まるであろう。ユーザは、例えば、表示装置15に示される実行可能な作業のメニューからどの作業を実行すべきかを選択することができる。
部品40に対してキズの場所で作業を実行するために、画像で識別されたキズの場所を部品40における実際の物理的場所に対応する3次元空間座標に変換する変換が実行される(ステップ214)。変換は、画像で識別されたキズの場所から部品40における実際の物理的場所に対応する3次元空間座標への一連の回転及び変換を実行することを含むことができる。変換はシステム制御装置10により実行されることが可能である。例えば、システム制御装置10は、識別されたキズの場所を対応する画素座標、検出器25、センサ30及び部品40の位置情報、並びに実際の部品40の撮影とは別個に作成される部品40の3次元表現に基づいて部品40における実際の物理的位置に変換するように構成された処理装置を含むことができる。
図3は、本発明に従った座標変換プロセスの流れ図である。図3のプロセスは、識別されたキズの場所が部品40におけるキズの実際の物理的場所へどのようにして変換されるかに関して更に詳細に示している。図3に示すように、まず、ユーザは選択された画像においてキズの場所を選択する(ステップ302)。キズの場所の選択は先に説明したステップ210に従って実行される。
キズの場所の選択に応答して、画素座標が識別される(ステップ304)。キズの場所は画像の特定の1つの画素座標に対応する。この画素座標を使用して、部品40におけるキズの特定の物理的場所を識別できる。画素座標は画像中の特定の1つの画素の行及び列の値として表現されることが可能である。
次に、識別された画素座標は対応する検出器座標に変換される(ステップ306)。検出器座標は検出器25における特定の1つの場所に対応する。検出器座標は検出器25の中心に対する検出器25上の特定の場所として表現されることが可能である。例えば、検出器25はグローバルY−Z平面にあると定義することができ、検出器25の中心はY−Z平面の原点であると定義できる。この場合、X方向は検出器25の原点から出る垂線である。この定義において、検出器座標はY−Z平面における特定の1つのY−Z座標に対応している。Y−Z座標は画素としてではなく、例えば、インチ単位の原点からの離間距離として測定できる。
検出器座標から部品40の3次元空間座標を判定することができる(ステップ308)。部品40の3次元空間座標は検査中の実際の部品40におけるキズの場所に対応している。検出器座標を使用して、検出器25の位置、光源30の位置、検出器25により撮影されたときの部品40の位置、及び部品40のCAD表現から開発された部品40の3次元表現から3次元空間座標を判定することができる。位置情報及び3次元表現を使用することに加えて、部品40及び3次元表現は、3次元表現を部品40と整列させるのを助け且つ判定される3次元空間座標が部品40におけるキズの場所により精密に対応するように保障するために、識別可能なマーキングを含んでいても良い。実際の部品40にあるキズの座標は、既にマーキングされている検出器25の画素及び光源30に隣接する線に沿って位置している。この線は、以下に更に詳細に説明するように、見通し線ベクトルに対応している。
図2に戻ると、部品40におけるキズの特定の場所に対応する3次元空間座標を判定した後、作業工具45は部品40に対してキズの場所で識別された作業を実行するように制御される(ステップ216)。システム制御装置10は、実行すべき作業を識別する情報及び3次元空間座標を示す信号を作業制御装置50に供給する。その信号に応答して、作業工具45は、作業制御装置50の制御の下で、部品40に対してキズの実際の場所で識別された作業を実行する。先に説明した通り、この作業は、例えば、キズの場所に識別可能なマークをつけること、キズを修理すること、キズに塗料を塗布すること、キズを研削すること、又は作業工具45の能力に従って部品40に対して実行できる他の何らかの作業を実行することであると考えられる。
部品40の形状に応じて、作業工具45はキズの場所で作業を実行するために部品40に接近する方法を調整しなければならないであろう。図4は、本発明に従った衝突回避プロセスの流れ図である。衝突回避プロセスは、作業工具45が部品40の表面に接近するための安全な経路を発見する反復手順である。
図4に示すように、まず、交差ポイントが判定される(ステップ402)。交差ポイントは、部品40におけるキズの実際の場所であると判定された3次元空間座標に対応する。この3次元空間座標は図2のプロセスに従って判定される。交差ポイントに基づいて、接近ベクトルが設定される(ステップ404)。接近ベクトルは、当初、表面上の任意のベクトルに対応するように設定されることが可能である。例えば、交差ポイントにおける表面垂線に設定されることができる。この初期接近ベクトルは、作業工具45が部品のキズの場所以外の何らかの部分に衝突することなく、キズの場所に接近するためのベクトルを識別するための第1回目の試みとして機能する。
初期接近ベクトルが設定された後、クリアランス領域内に部品40の3次元空間座標が存在するか否かを判定するための検査が実行される(ステップ406)。クリアランス領域は、作業工具45が部品40のキズの場所以外の部分により妨害されることなく、キズの場所に到達するために必要とされる交差ポイント垂線の周囲の最小限の広さの空間に対応している。クリアランス領域は、円筒などの任意の形状の3次元ボリュームとして指定される。ボリュームが構成されると、このボリュームにおける部品40からの3次元空間座標を求める検索が実行される。円筒などの3次元ボリュームの大きさは、キズの場所に隣接して動作されるべき作業工具45の部分の大きさに対応している。
クリアランス領域で検索した後、クリアランス領域内に部品の3次元空間座標の1つが存在するか否かに関して判定が実行される(ステップ408)。存在していなければ、接近ベクトルの現在設定が受け入れられる(ステップ412)。その後、受け入れられた接近ベクトルを使用して、作業工具45をキズの場所まで移動させ、適切な作業を実行することができる。
しかし、クリアランス領域内に部品40の1つ以上の3次元空間座標が存在している場合には、接近ベクトルが調整される(ステップ410)。クリアランス領域内に存在する各々の3次元空間座標は、作業工具45がキズの場所に接近する間に作業工具45との衝突を引き起こす可能性がある障害ポイントに相当する。障害ポイントの極方向及び方位方向における動作が計算され、後の使用に備えて格納される。接近ベクトルを調整するための第1回目の試みとして、見通し線ベクトルが判定される。見通し線ベクトルは、検出器25と部品40の表面上の交差ポイントとの間の障害のない直線経路に相当する。X線撮影及び赤外線撮影を実行する場合、光源30、検出器25及び画像中の関心領域の間の物質の量を最小限にするように露光がセットアップされるため、そのような見通し線ベクトルは、通常、障害を引き起こしていると考えられるポイントを回避する。接近ベクトルを見通し線ベクトルに対応するように調整した後、見通し線ベクトルに関連して再度計算されたクリアランス領域に部品座標が存在するか否かを判定するために、ステップ406及び408が再び実行される。衝突ポイントが発見されなければ、見通し線ベクトルは作業工具45の安全な接近経路として受け入れられる。
接近ベクトルとして見通し線ベクトルを使用してクリアランス領域内で部品座標が発見された場合には、接近ベクトルは再度調整される。まず、クリアランス領域内の座標ごとに、初期表面垂線又は見通し線ベクトルのいずれかの周囲で、交差ポイントに関して角度向きが計算される。角度向きは極角度(θ)及び方位角(φ)により指定される。クリアランス領域内に入る全ての座標の方位角分布に関して解析が実行される。衝突を引き起こす可能性がある座標に関して方位角で180°回転された方位角(φ)である方位角(φ)の余角に最も密接に対応する角度が選択される。接近ベクトル(すなわち、表面垂線又は見通し線ベクトル)は極(θ)方向に20°程度の小さな角度だけ回転され、次に、方位方向にクリアランス領域内に入った座標まで回転される。接近ベクトルを回転させたならば、回転後の接近ベクトルに従って再度計算されたクリアランス領域によってステップ406及び408が繰り返される。クリアランス領域内に部品座標が存在していなければ、回転後の接近ベクトルが受け入れられる。部品座標がまだ存在している場合には、クリアランス領域内に部品座標が存在しなくなるまで極角度及び方位角の一方又は双方を変化させることにより、接近ベクトルを調整するための試みを実行することができる。最終的に安全な接近経路を判定できなければ、ユーザに対してエラーが報告される。
例示及び説明を目的として、本発明の好ましい実施例の説明を提示した。以上の説明は余すところのない徹底した説明であること又は本発明を開示された厳密な形態に限定することを意図されておらず、上記の教示に照らして改変及び変形は可能であるか、又は本発明の実施から習得できるであろう。特許請求の範囲に記載された符号は、理解容易のためであってなんら発明の技術的範囲を実施例に限縮するものではない。
本発明による画像形成装置の構造図。 本発明に従って製造部品のキズを解析し、識別するプロセスの流れ図。 本発明に従った座標変換プロセスの流れ図。 本発明に従った衝突回避プロセスの流れ図。
符号の説明
10…システム制御装置、15…表示装置、20…検出器制御装置、25…検出器、30…光源、35…プラットフォーム、40…部品、45…作業工具、50…作業制御装置

Claims (10)

  1. 検査中の部品のキズを識別する方法において、
    部品上の複数の異なる場所に対応する3次元空間座標から構成される部品の3次元表現を生成すること(204)と、
    3次元空間座標を検査中の部品の対応する場所と共に登録すること(204)と、
    検査中の部品の画像を生成すること(206)と、
    生成された画像から検査中の部品のキズを識別すること(210)と、
    キズの場所を対応する3次元空間座標と相関すること(214)と、
    対応する3次元空間座標の情報を使用して、検査中の部品に対して、キズの場所で作業を実行するために装置を制御すること(216)とから成る方法。
  2. 生成された画像を表示装置に表示すること(208)と、
    前記表示装置で識別された場所に応答して、キズの場所の標示を受信すること(210)とを更に含む請求項1記載の方法。
  3. 検査中の部品に対して前記装置がどの作業を実行すべきかの標示を受信すること(212)を更に含み、検査中の部品に対して前記装置により実行される作業は受信された標示に対応し、作業はマーキング及び修理のうちの1つである請求項1記載の方法。
  4. 検査中の部品に接触し、それに対して作業を実行するために前記装置に対して初期接近ベクトルを設定すること(404)と、
    検査中の部品のいずれかの表面ポイントが初期接近ベクトルに隣接するクリアランス領域の中に存在するか否かを判定すること(406、408)と、
    クリアランス領域内に表面ポイントが存在しない場合、検査中の部品まで前記装置を移動させるための接近ベクトルとして初期接近ベクトルを受け入れること(412)とを更に含む請求項1記載の方法。
  5. 識別することは、
    クリアランス領域内に少なくとも1つの表面ポイントが存在する場合、初期接近ベクトルを調整すること(410)と、
    検査中の部品のいずれかの表面ポイントが調整後の接近ベクトルに隣接するクリアランス領域の中に存在するか否かを判定すること(406、408)と、
    クリアランス領域内に表面ポイントが存在しない場合、調整後の接近ベクトルを検査中の部品まで前期装置を移動させるための接近ベクトルとして受け入れること(412)とを更に含む請求項4記載の方法。
  6. 検査中の部品のキズを識別する部品解析システムにおいて、
    部品(40)上の複数の異なる場所に対応する3次元空間座標から構成される部品(40)の3次元表現を格納する記憶装置と、
    検査中の部品(40)の画像を生成する撮影装置(20、25、30)と、
    前記撮影装置(20、25、30)及び前記記憶装置に結合され、プロセッサと、前記プロセッサにより実行される複数の命令を含むメモリとを含み、複数の命令は、3次元空間座標を検査中の部品の対応する場所と共に登録し(204)、前記撮影装置から生成された画像を受信し(206)、検査中の部品のキズを識別する標示を受信し(210)、キズの場所を部品の3次元表現における対応する3次元空間座標と相関する(214)ように構成されているシステム制御装置(10)と、
    前記システム制御装置(10)に結合され、前記システム制御装置(10)により相関された対応する3次元空間座標に基づいて、キズの場所で検査中の部品(40)に対して作業を実行する作業工具(45)とを具備する部品解析システム。
  7. 前記生成された画像を表示する表示装置(15)と、
    ユーザによる入力に応じて、前記表示装置(15)上の前記キズの場所を識別するキズ識別装置(10)とを更に具備する請求項6記載の部品解体システム。
  8. 前記システム制御装置(10)のメモリは、検査中の部品(40)に対して前記作業工具(45)がどの作業を実行すべきかの標示を受信するように構成された命令を更に含み(212)、検査中の部品(40)に対して前記作業工具(45)により実行される作業は受信された標示に対応し、作業はマーキング及び修理のうちの1つである請求項6記載の部品解析システム。
  9. 前記システム制御装置(10)のメモリは、
    検査中の部品(40)と接触し、それに対して作業を実行するために前記作業工具(45)に対して初期接近ベクトルを設定し(404)、
    検査中の部品(40)のいずれかの表面ポイントが初期接近ベクトルに隣接するクリアランス領域の中に存在するか否かを判定し(406、408)、
    クリアランス領域内に表面ポイントが存在しない場合、初期接近ベクトルを検査中の部品(40)まで前記作業工具(45)を移動させるための接近ベクトルとして受け入れる(412)ように構成された命令を更に含む請求項6記載の部品解析システム。
  10. 前記システム制御装置(10)のメモリは、
    クリアランス領域内に少なくとも1つの表面ポイントが存在する場合、初期接近ベクトルを調整し(410)、
    検査中の部品(40)のいずれかの表面ポイントが調整後の接近ベクトルに隣接するクリアランス領域の中に存在するか否かを判定し(406、408)、
    クリアランス領域内に表面ポイントが存在しない場合、調整後の接近ベクトルを検査中の部品(40)まで前記作業工具(45)を移動させるための接近ベクトルとして受け入れる(412)ように構成された命令を更に含む請求項9記載の部品解析システム。
JP2004201256A 2003-07-09 2004-07-08 製造部品のキズを解析し、識別するシステム及び方法 Pending JP2005031085A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/615,402 US7272254B2 (en) 2003-07-09 2003-07-09 System and method for analyzing and identifying flaws in a manufactured part

Publications (2)

Publication Number Publication Date
JP2005031085A true JP2005031085A (ja) 2005-02-03
JP2005031085A5 JP2005031085A5 (ja) 2007-08-16

Family

ID=33452660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004201256A Pending JP2005031085A (ja) 2003-07-09 2004-07-08 製造部品のキズを解析し、識別するシステム及び方法

Country Status (4)

Country Link
US (1) US7272254B2 (ja)
EP (1) EP1496474A1 (ja)
JP (1) JP2005031085A (ja)
CN (1) CN100476415C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366484B2 (en) 2015-06-26 2019-07-30 Canon Kabushiki Kaisha Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003103323A1 (en) * 2002-05-31 2003-12-11 Telecom Italia S.P.A. Method for locating mobile terminals, system and components therefor
US8060345B2 (en) * 2004-03-18 2011-11-15 The Boeing Company Transforming airplane configuration requirements into intelligent spatial geometry
US20070078618A1 (en) * 2005-09-30 2007-04-05 Honeywell International, Inc. Method and system for enabling automated data analysis of multiple commensurate nondestructive test measurements
US20080082559A1 (en) * 2006-09-28 2008-04-03 Gm Global Technology Operations, Inc. Method of linking information to an electronically enabled manufactured part archive
US7627447B2 (en) 2007-01-23 2009-12-01 The Boeing Company Method and apparatus for localizing and mapping the position of a set of points on a digital model
US8060835B2 (en) * 2007-06-05 2011-11-15 The Boeing Company Three dimensional defect mapping
FR2921284B1 (fr) 2007-09-26 2009-12-11 Snecma Procede de recuperation d'elements de turbomachine
US8010315B2 (en) * 2007-11-27 2011-08-30 General Electric Company Multi-modality inspection method with data validation and data fusion
US7840367B2 (en) * 2007-11-28 2010-11-23 General Electric Company Multi-modality inspection system
US8131055B2 (en) * 2008-01-31 2012-03-06 Caterpillar Inc. System and method for assembly inspection
US8238635B2 (en) * 2008-03-21 2012-08-07 General Electric Company Method and system for identifying defects in radiographic image data corresponding to a scanned object
US8131107B2 (en) * 2008-05-12 2012-03-06 General Electric Company Method and system for identifying defects in NDT image data
US20090295796A1 (en) * 2008-05-29 2009-12-03 Brown Clayton D Method of updating a model
US9177371B2 (en) * 2008-06-09 2015-11-03 Siemens Energy, Inc. Non-destructive examination data visualization and analysis
US20100059902A1 (en) * 2008-09-08 2010-03-11 Moore Thomas E Process and apparatus for buffing golf balls
US20100169053A1 (en) * 2008-12-30 2010-07-01 Caterpillar Inc. Method for creating weldment inspection documents
GB2487572A (en) * 2011-01-28 2012-08-01 Ge Inspection Technologies Ltd A non-destructive test method for automatic fastener inspection
US8407111B2 (en) * 2011-03-31 2013-03-26 General Electric Company Method, system and computer program product for correlating information and location
US9869645B2 (en) * 2011-05-26 2018-01-16 General Electric Company System for non-destructive testing and method for processing data generated therein
GB201110678D0 (en) * 2011-06-23 2011-08-10 Sarclad Ltd A method of detecting defects in a metallic surface
DE112011105499T5 (de) * 2011-08-04 2014-05-28 Mitsubishi Electric Corp. Verfahren und System zum Bestimmen von Defekten einer Oberfläche eines Modells eines Objekts
US8849620B2 (en) 2011-11-18 2014-09-30 Nike, Inc. Automated 3-D modeling of shoe parts
US8755925B2 (en) 2011-11-18 2014-06-17 Nike, Inc. Automated identification and assembly of shoe parts
US10552551B2 (en) 2011-11-18 2020-02-04 Nike, Inc. Generation of tool paths for shore assembly
JP5829930B2 (ja) * 2012-01-27 2015-12-09 日立Geニュークリア・エナジー株式会社 渦電流探傷システム及び渦電流探傷方法
US9935152B2 (en) 2012-12-27 2018-04-03 General Electric Company X-ray detector having improved noise performance
US9218470B2 (en) * 2012-12-31 2015-12-22 General Electric Company Systems and methods for non-destructive testing user profiles
US9835596B2 (en) * 2013-01-17 2017-12-05 Siemens Energy, Inc. System and method for identification, grouping and sizing of embedded flaws in rotor components using ultrasonic inspection
US10481768B2 (en) * 2013-04-12 2019-11-19 The Boeing Company Nonconformance identification and visualization system and method
US20140298216A1 (en) 2013-03-28 2014-10-02 The Boeing Company Visualization of an Object Using a Visual Query System
US10416857B2 (en) 2013-05-09 2019-09-17 The Boeing Company Serial number control visualization system
US10373301B2 (en) 2013-09-25 2019-08-06 Sikorsky Aircraft Corporation Structural hot spot and critical location monitoring system and method
US9917133B2 (en) 2013-12-12 2018-03-13 General Electric Company Optoelectronic device with flexible substrate
US10732131B2 (en) 2014-03-13 2020-08-04 General Electric Company Curved digital X-ray detector for weld inspection
US9645095B2 (en) * 2014-10-06 2017-05-09 The Boeing Company System and method for inspecting a composite part during manufacture
EP3245474A4 (en) 2015-01-13 2018-07-04 Sikorsky Aircraft Corporation Structural health monitoring employing physics models
KR20160114992A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 빈피킹 시스템 및 빈피킹 수행 방법
CN105081517A (zh) * 2015-07-31 2015-11-25 共享铸钢有限公司 一种大型铸钢件材质疏松类缺陷的挖除方法
US10685147B2 (en) 2016-02-29 2020-06-16 The Boeing Company Non-conformance mapping and visualization
CN107782731B (zh) * 2016-08-31 2021-08-03 西门子能源有限公司 用于维护零部件表面受损的机械设备的方法
CN107255642A (zh) * 2017-06-23 2017-10-17 昆山善思光电科技有限公司 X光无损检测设备的导航装置及其方法
CN108072674B (zh) * 2018-02-07 2019-07-23 西安交通大学 一种基于数字射线的燃气轮机叶片缺陷三维空间定位方法
CN108489999A (zh) * 2018-03-23 2018-09-04 四川恒立智方自动化工程有限公司 工件的组装瑕疵检测方法
US20190317048A1 (en) * 2018-04-17 2019-10-17 Illinois Tool Works Inc. Systems and methods to remotely manage non-destructive testing systems
CN108830840A (zh) * 2018-05-31 2018-11-16 江苏华鹰光电科技有限公司 一种电路板缺陷的主动智能检测方法及其应用
CN110705097B (zh) * 2019-09-29 2023-04-14 中国航发北京航空材料研究院 一种航空发动机转动件无损检测数据的去重方法
CN111979752B (zh) * 2020-08-31 2021-10-01 福建顺源纺织有限公司 一种纺织材料加工用带检测功能的切断机
US11913345B2 (en) 2021-07-26 2024-02-27 General Electric Company System and method of using a tool assembly
CN114354882A (zh) * 2021-12-29 2022-04-15 博迈科海洋工程股份有限公司 一种工艺管线焊缝的信息提取及缺陷检测方法
CN117392122B (zh) * 2023-12-07 2024-03-15 深圳前海慧联科技发展有限公司 基于超声波技术的螺栓无损检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6160102A (ja) * 1984-08-31 1986-03-27 Toyota Motor Corp ロボツト制御装置
JPS6186194A (ja) * 1984-10-04 1986-05-01 株式会社日立製作所 ロボツトの衝突回避制御方法
JPS63215952A (ja) * 1987-03-05 1988-09-08 Mazda Motor Corp 表面性状の検査方法
JPH0322111A (ja) * 1989-06-20 1991-01-30 Shinko Electric Co Ltd 移動ロボットの走行制御方法
JPH0592345A (ja) * 1991-09-27 1993-04-16 Mazda Motor Corp 研磨ツールの制御装置
JPH06210564A (ja) * 1993-01-14 1994-08-02 Mazda Motor Corp 研磨ツールの制御装置
JPH06307812A (ja) * 1993-04-22 1994-11-04 Mazda Motor Corp 曲面上の三次元位置計測方法及びその装置
JPH0829143A (ja) * 1994-07-13 1996-02-02 Mazda Motor Corp 表面状態検査方法及びその装置
JP2000321039A (ja) * 1999-05-14 2000-11-24 Nissan Motor Co Ltd 塗装欠陥検査装置及び方法
JP2001060108A (ja) * 1999-06-18 2001-03-06 Agency Of Ind Science & Technol ロボット動作教示装置および動作教示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4755753A (en) * 1986-07-23 1988-07-05 General Electric Company Eddy current surface mapping system for flaw detection
GB2266367B (en) * 1991-04-19 1995-11-01 Kawasaki Heavy Ind Ltd Ultrasonic defect testing method and apparatus
US5430376A (en) * 1993-06-09 1995-07-04 General Electric Company Combined thermoelectric and eddy-current method and apparatus for nondestructive testing of metallic of semiconductor coated objects
FR2730058A1 (fr) * 1995-01-27 1996-08-02 Gec Alsthom Syst Et Serv Procede de controle non destructif d'une surface, en particulier en milieu hostile
US5818718A (en) * 1996-04-01 1998-10-06 University Of Utah Research Foundation Higher order construction algorithm method for rapid prototyping
US6205239B1 (en) * 1996-05-31 2001-03-20 Texas Instruments Incorporated System and method for circuit repair
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US6118540A (en) * 1997-07-11 2000-09-12 Semiconductor Technologies & Instruments, Inc. Method and apparatus for inspecting a workpiece
US6173070B1 (en) * 1997-12-30 2001-01-09 Cognex Corporation Machine vision method using search models to find features in three dimensional images
US6466643B1 (en) * 2000-01-07 2002-10-15 General Electric Company High speed digital radiographic inspection of aircraft fuselages
US6950548B1 (en) * 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
JP2002082067A (ja) * 2000-09-05 2002-03-22 Olympus Optical Co Ltd 基板検査装置
US6341153B1 (en) * 2000-10-27 2002-01-22 Genesis Engineering Company System and method for portable nondestructive examination with realtime three-dimensional tomography
US6614872B2 (en) * 2001-01-26 2003-09-02 General Electric Company Method and apparatus for localized digital radiographic inspection
US6618465B2 (en) * 2001-11-12 2003-09-09 General Electric Company X-ray shielding system and shielded digital radiographic inspection system and method
US6714831B2 (en) * 2002-01-24 2004-03-30 Ford Motor Company Paint defect automated seek and repair assembly and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6160102A (ja) * 1984-08-31 1986-03-27 Toyota Motor Corp ロボツト制御装置
JPS6186194A (ja) * 1984-10-04 1986-05-01 株式会社日立製作所 ロボツトの衝突回避制御方法
JPS63215952A (ja) * 1987-03-05 1988-09-08 Mazda Motor Corp 表面性状の検査方法
JPH0322111A (ja) * 1989-06-20 1991-01-30 Shinko Electric Co Ltd 移動ロボットの走行制御方法
JPH0592345A (ja) * 1991-09-27 1993-04-16 Mazda Motor Corp 研磨ツールの制御装置
JPH06210564A (ja) * 1993-01-14 1994-08-02 Mazda Motor Corp 研磨ツールの制御装置
JPH06307812A (ja) * 1993-04-22 1994-11-04 Mazda Motor Corp 曲面上の三次元位置計測方法及びその装置
JPH0829143A (ja) * 1994-07-13 1996-02-02 Mazda Motor Corp 表面状態検査方法及びその装置
JP2000321039A (ja) * 1999-05-14 2000-11-24 Nissan Motor Co Ltd 塗装欠陥検査装置及び方法
JP2001060108A (ja) * 1999-06-18 2001-03-06 Agency Of Ind Science & Technol ロボット動作教示装置および動作教示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366484B2 (en) 2015-06-26 2019-07-30 Canon Kabushiki Kaisha Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work

Also Published As

Publication number Publication date
CN100476415C (zh) 2009-04-08
US7272254B2 (en) 2007-09-18
EP1496474A1 (en) 2005-01-12
CN1576829A (zh) 2005-02-09
US20050008213A1 (en) 2005-01-13

Similar Documents

Publication Publication Date Title
JP2005031085A (ja) 製造部品のキズを解析し、識別するシステム及び方法
JP6474334B2 (ja) 画像検査装置、画像検査方法および画像検査プログラム
EP2538241B1 (en) Advanced remote nondestructive inspection system and process
US8792709B2 (en) Transprojection of geometry data
US8249832B2 (en) Correlation of inspection information and computer-aided design data for structural assessment
JP6767490B2 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
US20150039245A1 (en) System and method of non-destructive inspection with a visual scanning guide
US20100157043A1 (en) System and method for inspecting the interior surface of a pipeline
JP5388921B2 (ja) 3次元距離計測装置及びその方法
Chi et al. Rebar inspection integrating augmented reality and laser scanning
CN111400067B (zh) 一种远程检测的方法及终端
CN111508020B (zh) 融合图像与激光雷达的电缆三维位置计算方法、装置
JP4642381B2 (ja) 構成部品を検査する方法及び装置
JPH08261740A (ja) 特に悪環境における表面の非破壊検査方法
US11566888B1 (en) Systems and methods for automatic measurement and scanning of complex surfaces
EP2449340B1 (en) Vehicle measurement system with user interface
US20120180318A1 (en) Nuclear power plant construction preparation unit, nuclear power plant construction system, and nuclear power plant construction method
US20240153069A1 (en) Method and arrangement for testing the quality of an object
US7117047B1 (en) High accuracy inspection system and method for using same
Deng et al. CAD model-based inspection and visualisation for 3D non-destructive testing of complex aerostructures
JP2006010312A (ja) 撮像装置
JP2017148878A (ja) 軌道データ生成装置および軌道データ生成方法
CN117697828B (zh) 一种手术机器人精度测量工装及精度测量方法
JP7537607B2 (ja) ミスアライメント測定システム、溶接鋼管の製造設備、撮像端末、撮像システム、情報処理装置、ミスアライメント測定方法、溶接鋼管の製造方法、及び、溶接鋼管の品質管理方法
US20240221343A1 (en) Display processing device, display processing method, and display processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100301

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100301

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100301

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100305

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100331

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100430

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111222

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113