JP2011523459A - 超音波検査の走査計画のためのビジョン・システム - Google Patents

超音波検査の走査計画のためのビジョン・システム Download PDF

Info

Publication number
JP2011523459A
JP2011523459A JP2011509681A JP2011509681A JP2011523459A JP 2011523459 A JP2011523459 A JP 2011523459A JP 2011509681 A JP2011509681 A JP 2011509681A JP 2011509681 A JP2011509681 A JP 2011509681A JP 2011523459 A JP2011523459 A JP 2011523459A
Authority
JP
Japan
Prior art keywords
dimensional information
surface displacement
data
ultrasonic
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011509681A
Other languages
English (en)
Inventor
ドゥー,ソー・エックス
デュボア,マーク
カイザー,デーヴィッド・エル
ドレイク,トーマス・イー
ヤウン,ケネス・アール
オスターカンプ,マーク・エイ
Original Assignee
ロッキード・マーチン・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロッキード・マーチン・コーポレーション filed Critical ロッキード・マーチン・コーポレーション
Publication of JP2011523459A publication Critical patent/JP2011523459A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/24Probes
    • G01N29/2418Probes using optoacoustic interaction with the material, e.g. laser radiation, photoacoustics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/24Probes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Manufacturing & Machinery (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)

Abstract

航空機の構成要素における複合材料の分析のためのシステムおよび方法である。構造化光測定を使用して対象物の3次元形状が判定され、次いで、レーザ超音波測定を行うときの走査数を最少にするために3次元形状が分析される。

Description

本発明は、概して、複合材料の測定のための非破壊技術の分野に関する。詳細には、本発明は、位置データを超音波データと相関させる方法およびシステムに関する。
近年では、航空宇宙産業および他の商工業界で複合材料の使用が増加している。複合材料は大幅な性能の改善をもたらすが、製造が難しく、したがって、製造中に厳しい品質管理手順を必要とする。例えば、介在物、層間剥離、および空隙の検出など、複合構造中の不具合を特定する方法として非破壊評価(「NDE」)技術が発展してきた。従来のNDE法は、典型的には、遅く、労力を要し、コストがかさむ。その結果、検査手順により複合構造に関連する製造コストが不都合に増大する。
一様でない表面を有する部品の場合、好ましくは、測定データは位置データに相関される。これらの部品に関しては、部品の形状の判定が測定を部品上の位置に相関させる鍵となる。一様でない形状を有する複合部品を走査する先行技術の方法は、走査する部品をテーブル上に配置し、既知の位置に固定し、それにより、走査のための開始基準点を与える必要があった。大型および/または一様でない形状の対象物の場合は、部品を配置するのに必要なテーブルまたは他の手段が、高価であり、単一の部品のみに特有のものであることが多い。
先行技術の方法によれば、複雑な形状の部品の走査には、いくつかの異なるポーズまたはビューからの複数回の走査が必要であった。これらのポーズは、典型的には、熟練のオペレータが手動で選択していた。しかし、これらの方法にはいくつかの欠点がある。多くの部品の形状が複雑なので、その表面形状を横切って、または2つ以上の部品から構成された対象物を走査するときは隣接する部品を横切って、部品が走査過剰なのかまたは走査不足なのかを判定するのが難しいことが多い。さらに、先行の技術は、ポーズの数および位置を選択するのに個人の経験に頼っている。したがって、形状が複雑な対象物を走査するための改善された方法が必要である。
対象物の形状を判定する非接触の方法および装置、ならびにその対象物に関するレーザ超音波測定値を相関させる方法が提供される。
一態様では、物体を分析する方法が提供される。その方法は、(a)物体に関する3次元情報を得るためにその物体を構造化光システムで走査するステップと、(b)その物体の表面を走査するのに必要な走査の最少の数を決定するために、その物体の3次元情報を処理するステップと、(c)超音波による表面変位を生み出すためにレーザ・ビームをその物体の表面に向けるステップであって、そのレーザ・ビームが、処理した3次元情報に従ってその物体の表面に向けられる、ステップと、(d)超音波による表面変位を検出するステップと、(e)物体の3次元情報を超音波による表面変位と相関させるステップと、(f)その超音波による表面変位データを処理するステップと、(g)超音波による表面変位データの座標測定値を提供するために、3次元情報と処理した超音波による表面変位を相関させるステップとを含む。
いくつかの実施形態では、その物体は複合材料を含む。いくつかの実施形態では、構造化光システムで物体を走査することは、カメラ、光ビーム生成要素、および構造化光装置を移動させる手段を備える構造化光装置を提供することと、その物体の表面上に光ビームを投射することと、物体の表面上に投射された光ビームの画像を受け取るようにカメラを操作することと、物体の表面全体が測定されるまで構造化光装置を次の位置に移動させることとを含む。いくつかの実施形態では、物体の表面で超音波による表面変位を検出するステップは、検出レーザ・ビームを生成することと、物体の表面にその検出レーザ・ビームを向けることと、位相変調光を生成するようにその物体の超音波による表面変位で検出レーザ・ビームを散乱させることと、表面における超音波による表面変位に関するデータを得るためにその位相変調光を処理することと、物体の構造についての情報を提供するためにデータを収集することとを含む。いくつかの実施形態では、物体は航空機の部品である。いくつかの実施形態では、物体は航空機である。
いくつかの実施形態では、これらのステップはさらに、物体から検出された光を処理するために、第1のコンピュータが実装するプロセスを実行することを含む。いくつかの実施形態では、それらのステップはさらに、物体の形状に関する3次元情報を得るために、第2のコンピュータが実装するプロセスを実行することを含む。いくつかの実施形態では、これらのステップはさらに、物体に関する3次元情報を処理し、物体を評価するのに必要な走査の最少の数を決定するために、第3のコンピュータが実装するプロセスを実行することを含む。
別の態様では、就航中の航空機の部品を評価する方法が提供される。その方法は、物体の3次元情報を得るために、製造したままの航空機の部品を構造化光システムで走査するステップを含む。物体の3次元情報は、製造したままの航空機の部品の表面を走査するのに必要な走査の最少の数を決定するために処理される。超音波による表面変位を生み出すために、レーザ・ビームが、製造したままの航空機の部品の表面に向けられ、そのレーザ・ビームが、製造したままの航空機の部品の表面を走査するのに必要な走査数を最少にするように、処理された3次元情報に従って物体の表面に向けられる。超音波による表面変位を測定し、製造したままの航空機の部品の3次元情報と相関させる。次いで、製造したままの航空機の部品3次元情報を、既知のデータ・セットと比較し、超音波による表面変位データを処理する。製造したままの航空機の部品の超音波による表面変位データに関する座標測定値を提供するために、既知のデータ・セットを処理した超音波による表面変位と相関させる。次いで、製造したままの航空機の部品の3次元情報および超音波による表面変位データが格納される。製造したままの航空機の部品は、航空機に取り付けられ、物体の3次元情報を得るために取り付けた航空機の部品を構造化光システムで走査する。物体の3次元情報は、取り付けられた航空機の部品の表面を走査するのに必要な走査の最少の数を決定するために処理される。超音波による表面変位を生み出すために、レーザ・ビームが、取り付けられた航空機の部品の表面に向けられ、そのレーザ・ビームは、製造したままの航空機の部品の表面を走査するのに必要な走査の数を最少にするように、処理した3次元情報に従って物体の表面に向けられる。超音波による表面変位を生み出すために、レーザ・ビームが、取り付けられた航空機の部品の表面に向けられる。超音波による表面変位を検出し、取り付けた航空機の部品の3次元情報と相関させる。超音波による表面変位データを処理し、超音波による表面変位データに関する座標測定値を提供するために、既知のデータ・セットに相関させる。次いで、取り付けた航空機の部品の3次元情報および処理した超音波による表面変位データを、製造したままの航空機の部品び3次元情報および処理した超音波による表面変位データと比較する。
いくつかの実施形態では、航空機の部品の評価は、層間剥離、ひび割れ、介在物、分離、およびそれらの組み合わせからなる群から選択された不具合の特定を含む。
本発明は、異なる形態の複数の実施形態を含む。本開示を本発明の原理の例示とみなすべきであり、本明細書で図示し説明する実施形態に本発明を限定するものではないことを理解して、特定の実施形態を詳細に説明し、図に示す。所望の結果をもたらすために、本明細書で検討する実施形態の様々な教示を、別々に、または任意の適切な組み合わせで採用されてもよいことを十分に認識されたい。上記で言及した様々な特徴、ならびに以下でより詳細に説明する他の特性および特徴が、実施形態の以下の詳細な説明を読み、添付の図面を参照することによって当業者には簡単に明らかになるであろう。
本明細書で説明するのは、複合材料を含む対象物の形状を判定する非接触の方法および装置、ならびに対象物に関するレーザ超音波の測定値を相関させる方法である。
構造化光
構造化光は、3D複合材料のマッピングのための例示的な非接触技術の一つであり、光のパターン(例えば、平面、格子、または他のより複雑な形状)を既知の角度で対象物上に投射することを含む。こうした技術は、寸法情報のイメージングおよび獲得に有用である。
典型的には、構造化光システムでは、光ビームを広げるかまたは分散させてシート状の光にすることによって光のパターンを生成する。シート状の光が対象物と交差するときに、対象物の表面上に明るい光を見ることができる。光の線をある角度、典型的には、入射レーザ光の角度と異なる検出角度から観察することによって、線の歪みを、見ている対象物の高さの差異に変換することができる。複数のビュー(ポーズと称されることが多い)の走査を組み合わせて、対象物全体の形状を提供することができる。対象物を光で走査することによって、対象物の形状についての3D情報を提供することができ、その3D情報は対象物に関する絶対座標および形状データを含む。これは、アクティブ三角測量と称されることがある。
構造化光を用いて対象物の形状を判定することができるので、環境中の対象物の特定および位置特定の両方を助けることもできる。これらの特性により、構造化光が工程管理または品質管理を実施する生産ラインで有用になる。物体の形状を提供するために、対象物を走査することができ、次いで、それらの形状をアーカイブ・データと比較することができる。こうした利点は、生産ラインをさらに自動化し、それにより、一般に全体のコストを削減可能にすることができる。
対象物上に投射した光ビームは、カメラまたは同様の手段で観察することができる。例示的な光検出手段はCCDカメラなどを含む。様々な異なる光源を走査源として使用できるが、正確性および信頼性に関してレーザが好ましい。
構造化光3Dスキャナは、あるパターンの光を対象上に投射し、対象上のそのパターンの変形を見る。そのパターンは1次元または2次元でよい。1次元のパターンの一例は線であってもよい。その線は、LCD投射器または掃引レーザを用いて対象上に投射される。カメラなどの検出手段は、線の形状を観察し、三角測量と同様の技術を使用して、線上の各点の距離を計算する。単一線のパターンの場合は、その線を視野全体にわたって掃引して、1回に1ストリップの距離情報を集める。
構造化光3Dスキャナの一利点は速度である。1回に1つの点を走査する代わりに、構造化光スキャナは、一度に複数の点または視野全体を走査する。これは、走査運動による歪みの問題を低減するかまたはなくす。いくつかの現行のシステムは、移動している対象物をリアルタイムで走査することができる。
いくつかの実施形態では、構造化光システムの検出カメラは、走査レーザの波長など、特定の波長にのみ対応する光を通すように設計されたフィルタを含む。検出カメラは、光画像を検出および記録し、様々なアルゴリズムを使用して、その画像に対応する座標値を決定するように動作可能である。いくつかの実施形態では、レーザおよび検出カメラは、対象物を異なる角度から見る。
構造化光システムは、テクスチャ・カメラとして知られる第2のカメラも含むこともでき、そのカメラは、対象物のフル・イメージをもたらすように動作可能である。
いくつかの実施形態では、構造化光システムは、対象物の形状、および走査する対象物または部品の特定のビューに対応するポイント・クラウドを生成するために、一連のデータ点を提供する。次いで、各ビューまたはポーズに関するポイント・クラウドをマージして、対象物または部品全体の複合ポイント・クラウドをアセンブルすることができる。次いで、個々のポイント・クラウド・データを、特有のセル座標系に変換することができる。
各部品に関して測定したポーズが、部品全体のポイント・クラウドを提供するためにアセンブルされ、部品に関する相対座標が決定されると、部品に対応するデータ・セットを登録することができる。部品に対応するデータ・セットを登録することにより、部品に関する座標点を完全に補完し、データを空間中で操作でき、それにより、同じ部品を後の走査で簡単に特定することができるようになる。部品を登録すると、後続の走査を以前の走査または確認したCADデータと比較することによって、同様の部品がより簡単に特定および確認される。データベースを提供するために、登録した走査を収集することができる。
レーザ超音波
レーザ超音波は、固体材料を分析して、それにより、不具合の存在などのデータなどを提供するための非破壊評価技術である。具体的には、レーザ超音波は非破壊で非接触の分析技術なので、デリケートな試料、および形状が複雑な試料に使用することができる。さらに、レーザ超音波を使用して、大型の対象物の性質を測定することができる。
レーザ超音波では、パルス・レーザの照射により、分析する表面に熱膨張および熱収縮が起き、それにより、材料内に応力波が生成される。これらの波は、材料の表面に変位を生み出す。変位に測定可能な変化が記録されるときに不具合が検出される。
超音波のレーザ検出は、様々な形で行うことができ、これらの技術は常に改善され開発されている。問題の知識、および様々なタイプのレーザ検出器ができることの理解を必要とするので、一般に使用するための最良の使用方法はない。一般に使用されるレーザ検出器は2つのカテゴリー、すなわち、干渉による検出(ファブリーペロー、マイケルソン、時間遅延、振動計など)と、ナイフ・エッジ検出器などの振幅変動検出とに分けられる。
レーザ超音波は、複合材料から作られた対象物を検査する例示的な一方法である。一般に、この方法は、複合材の一部分にパルス生成レーザを放射することによって複合材の表面に超音波振動を生成するステップを含む。位相変調光を生成するように、検出レーザ・ビームを、振動する表面に向け、表面の振動によって分散、反射、および位相変調させることができる。位相変調されたレーザ光を、光学手段によって収集し、処理のために方向付けすることができる。処理は、典型的には、収集光学装置に接続された干渉計によって行われる。こうした位相変調光の処理から複合材に関する情報を確認することができ、これには、ひび割れ、層間剥離、空隙、異物(介在物)、剥離、および線維情報の検出が含まれる。
いくつかの実施形態では、中赤外レーザを用いることができる。一般に、中赤外レーザにより、光の透過の深さがより大きく、分析する表面に熱損傷を与えずに熱弾性を生み出すように信号/ノイズ比が改善され、パルスがより短くなる。
航空宇宙産業で使用される構成要素など、形状が複雑な対象物に対してレーザ超音波を使用する利点の一つは、接触媒質が必要なく、輪郭を追従するロボットを必要とせずに複雑な形状を試験できることである。したがって、航空宇宙産業での製造においてポリマー・マトリックス複合材料の検査のためにレーザ超音波を使用することができる。これらの複合材料は、複合材料を用意する間に複数の特徴付け段階を経る場合があり、そのうちの一つがレーザ超音波による超音波検査である。製造中のいくつかの点において、これらの複合材は、好ましくは、複合材を形成するのに使用される樹脂が確実に適切に硬化するように化学的に特徴付けられる。さらに、形成プロセスで適正な樹脂が使用されたことを確認することが重要である。レーザ超音波は、非破壊で非接触の技術なので、好ましい分析方法である。典型的には、複合材料の化学的特徴付けは、典型的に、赤外線の分光実験室分析のための対照試料を得ることを含む。
本方法を用いる別の利点は、本明細書で説明する分光分析を、特定の部品から取り実験室で分析した試料ではなく、製造したままの部品に実行してもよいことである。さらに、本明細書で説明する分光分析技術は、部品が完成した製品に取り付けられたときにも用いることもできる。いくつかの実施形態では、本方法を、完成した製品に対して耐用年数の期間の間に、すなわち、就航した後で、航空機または他の乗り物に取り付けられている間に使用してもよい。例えば、分光分析は、航空機に組み付ける前の部品の受入れ検査中に航空機の部品に行うことができる。同様に、航空機に取り付けられた後に分光分析を用いて、航空機の受入れ前または航空機が就航した後、および部品または航空機の耐用年数の間に、部品を分析することができる。
本方法は航空機を含む最終の製品に限定されず、任意の単一の部品、または2つ以上の部品を含む任意の製品を含むことができることに留意されたい。さらに、レーザ超音波システムを使用して、アクセスが難しい位置にある部品、または部品の一部分の分光分析を行うことができる。本方法は製造した部品など、目標とする対象物の組成を判定することができるだけでなく、対象物を形成するプロセスが適正に行われたかどうかを判定することできる。例えば、部品が複合材であるか、または樹脂製品を含む場合は、樹脂などの複合材の構成成分が適切に加工されたかまたは硬化したかどうかを判定することができる。さらに、樹脂など、特定または所望の構成成分が最終製品を形成する際に使用されたかどうかを判定することもできる。分析により、塗装面などのコーティングが対象物に塗布されたかどうか、表面に適切なコーティングが塗布されたがどうか、およびそのコーティングが適切に塗布されたかどうかを判定することもできる。
したがって、既知の複合材の記録した光の深さのデータは、測定した超音波変位値および対応する生成ビームの波長から材料を特定するために、有効な比較基準を与える。上記に記載したように、部品の材料に関する特定は、特有の材料の組成に限定されないが、材料が適切に加工された場合はコーティングを含むこともでき、その材料内の組成の割合を含むこともできる。
好ましい実施形態では、対象物または部品を走査するのに最適の様式が決定され、これは、完全な走査それぞれに必要なビューまたは「ポーズ」の数を最適化し(すなわち、最少の数を使用し)、それにより、走査の重複を最小限に抑え、後続の走査を再構築する必要性を最小限に抑えることを含む。いくつかの実施形態では、測定したデータに従ってポーズの数を最適化することができる。いくつかの他の実施形態では、CADデータの見地からポーズの最少の数を決定することができる。さらに他の実施形態では、対象物または部品の表面全体を走査するのに必要な走査の最少の走査数を決定するために、対象物を走査する前にCADデータを分析することができる。
好ましい実施形態では、対象物または部品は、走査する対象物または部品に関する3次元情報を得るために、構造化光システムによる最初の走査の際に走査される。走査する対象物または部品から反射した画像を受けるカメラによって集められた光は、レーザ超音波データを得るために部品を走査するために最も効果的な様式を決定するように、すなわち、走査する対象物または部品の完全な表面を確実に走査するのに必要な走査の最少の数を決定するように処理される。ポーズまたは走査の最少数が決定されると、対象物または部品は、本明細書で説明する方法に従ってレーザ超音波システムで走査される。計算されたポーズまたは走査の最少回数を確認することができる。
一態様では、本発明は、複合材料の位置データと分光データを相関させるための自動化した非破壊技術および装置を提供する。例示的な装置は、レーザ超音波システム、アナログ・カメラ、および構造化光システムを含む。レーザ超音波システムは、生成レーザ、検出レーザ、および検出レーザから光を収集するように構成された光学手段を含むことができる。いくつかの実施形態では、その光学手段は光スキャナなどを含むことができる。例示的な生成レーザは当技術分野で知られている。例示的な検出レーザは当技術分野で知られている。
アナログ・カメラはリアルタイムのモニタである。構造化光システムは、構造化光信号を供給するレーザと、走査する対象物のパノラマ画像を供給する任意選択のテクスチャ・カメラと、構造化光カメラとを含む。いくつかの実施形態では、構造化光カメラは、レーザによって生成されたレーザ光以外の全ての光をフィルタで除外するように設計されたフィルタを含むことができる。このシステムは、アームを中心とする回転軸を有する多関節ロボット・アームに連結される。このシステムは、構造化光システムをロボット・アームに接続するパンチルト装置も含む。ロボット・アームは、好ましくはセンサを含み、そのセンサにより、システムがアームならびに取り付けられたカメラおよびレーザの位置を認識でき、それにより、自己認識型の絶対位置決めシステムが提供され、走査する部品を基準ツール・テーブル上に配置する必要がなくなる。さらに、自己認識型のロボット・システムは、大き過ぎてツール・テーブル上で分析するには大きすぎる場合がある、大型の対象物を走査するのに適している。そのシステムは、様々なカメラを制御しデータを収集するように動作可能なソフトウェアを含むコンピュータに接続されてもよい。いくつかの実施形態では、そのシステムは定置型のシステムでよい。いくつかの他の実施形態では、そのシステムを線形のレールに連結することができる。いくつかの他の実施形態では、そのシステムを可動式のベースまたは乗り物に取り付けることができる。有利なことに、その乗り物を、そのシステムを様々な位置に運ぶために使用することができる。
いくつかの実施形態では、多関節ロボット・アーム、およびそのアームを動かす任意の手段は、例えばテーブルなどの一般的な領域における対象物との衝突を防止する手段を含むことができる。衝突の回避は、ロボット・アーム用の制御システム中に、または様々なセンサの使用を通して全ての固定物および対象物の位置をプログラミングすることを含む様々な手段で実現することができる。典型的には、走査する部品が占有する空間を、ロボット・アームが占有できないようにされている。
部品を走査する方法を以下で説明する。第1のステップでは、較正した構造化光システム、レーザ超音波、およびロボット位置決めシステムを含む装置が提供される。第2のステップでは、走査のために予め決められた位置に部品が位置決めされる。一般に、先行技術で必要だったように既知の位置に部品を位置決めすることは必要ないが、部品を規定の位置に配置することが有利である。第3のステップでは、部品に関する3次元測定値および情報を提供するために部品を構造化光システムで走査する。典型的には、構造化光カメラは、レーザ光のみがフィルタを通過し記録されるように光にフィルタをかけるフィルタを含む。これは、レーザで生成した波長以外の全ての波長をフィルタで除去することによって実現することができる。線検出アルゴリズムが、対象物の表面にわたる個々の走査それぞれに関する座標を決定する。構造化光システムデータが記録される。次いで、そのシステムは、部品の表面全体が確実に走査されるように部品の残りの画像を取るために移動および再配置される。第4のステップでは、部品の表面全体を走査した後で、構造化光データは、対象物の3次元ビューをもたらすように編集される。第5のステップでは、構造化光データは、走査する部品の表面領域全体に関するデータを得るのに必要なレーザ超音波による走査またはポーズの最少回数を決定するために処理される。第6のステップでは、レーザ超音波データは、3次元構造化光情報に基づいて決定されたポーズに従って収集される。レーザ超音波データを、構造化光データに相関させ、任意選択で、対応する既知のデータ・セット、例えば、CADまたはアーカイブ・データに相関させる。このようにして、レーザ超音波データを、部品の構造に対してマッピングすることができ、不具合の存在、不在、または形成の傾向を判定することができる。任意選択で、レーザ超音波3次元情報によって決定された走査の数および位置が、走査する部品の十分な範囲をもたらすかどうかを判定するためにレーザ超音波データを分析することができる。
超音波変位は、熱弾性膨張に応答して目標表面上に生み出される。超音波変位の振幅は、特定の超音波波長では目標表面への生成レーザ・ビームの光の透過深さに正比例する。光の透過深さは、目標物の光の吸収の逆数である。したがって、本方法の別の実施形態では、生成レーザ・ビーム光の波長を変化させることによって、生成ビームの波長範囲にわたって目標材料の吸収帯を観察することができる。
自動化されたシステムは、走査またはポーズの回数を最少にすることによってプロセスを最適化するように計算された手段を使用せずに、オペレータが知識および経験に基づいて物体を走査するためのパターンを選択する必要がある先行技術の従来のシステムよりずっと迅速なので、有利である。先行技術の方法の主な欠点の一つは、後で比較および編集するためのデータベースを準備するような比較に適したデータを提供するために、同様の形状を有する後続の各部品を厳密に同じようにして配置する必要があることである。対照的に、本システムでは、部品は構造化光システムによって最初に走査され、それにより、形状についてのデータが提供され、各部品が走査パターンを決定するために個別に走査されるときに、走査する対象物または部品をどのような様式にも配置でき、その結果、個別の走査またはポーズの数が最少になる。いくつかの実施形態では、本システムは、従来技術の方法より最大で5倍速く部品を走査することができ、好ましい実施形態では、本システムは、従来技術の方法より最大で10倍速く部品を走査することができる。データ獲得の速度が速くなると、部品の処理能力が増大する。
前に述べたように、CADデータまたは登録された構造にレーザ超音波データをマッピングする利点は、検証された構造を使用し、部品の表面全体が走査されていることを検証することにより、検査効率が改善されていること含む。さらに、超音波データを部品の座標データに相関させることによって、部品データのアーカイビングは、後で走査される部品の相関であるように単純化される。
レーザ超音波は、空隙、異物、層間剥離、空隙、異物(介在物)、分離、ひび割れなど、他の一般的な材料の特徴、および線維の配向、線維の密度などの線維の特徴、部品の厚さ、ならびにバルクの機械的性質を測定するのに有用である。したがって、本方法の別の利点は、レーザ超音波検出システムが目標の分光分析を実行し、同時に、不具合状況の存在に関してバルク材を分析することである。時間および資本の節約に加えて、本方法は、試験クーポンまたは対照試料に対応するのではなく、対象物自体の表面全体に分析が行われるような、より代表的な分光分析を提供する。上記したように、製造した部品単独、より大きい完成製品に取り付けられている部品、または組み立てられた最終の完成製品全体に走査を行うことができる。
いくつかの実施形態では、分析する対象物に関してCADデータが利用可能である場合がある。これらの実施形態では、構造化光システムによって生成された3D位置データを、CADデータに対して比較および/またはCADデータと重ね合わせることができる。これを品質管理手順として使用して製造プロセスを検証することができる。他の実施形態では、構造化光データを、CADデータと重ね合わせて、部品の確認を行うことができる。構造化光システムで収集されるデータを使用して、対象物の3D構造に対応するデータ・クラウドを提供することができる。そのシステムで使用される較正技術に基づいて、絶対データ・クラウドを生成することができる。次いで、データ・クラウドをCAD図面上に配向することができ、それにより、構造化光データとCADデータとの間の相関が行われる。次いで、好ましくは、構造化光データと同時に収集され、対象物の表面の個々の点に相関したレーザ超音波データを、CADデータに投射またはマッピングして、レーザ超音波データのための絶対座標データを提供することができる。
いくつかの実施形態では、その装置は、テクスチャ・カメラなどの第2のカメラを含むことができる。テクスチャ・カメラは一般に、対象物のフル・イメージを捉え、部品を認識する目的で使用することができる。構造化光カメラとは異なり、テクスチャ・カメラの画像は、画像から対象物を除去するようにフィルタリングされない。構造化光データは部品の仮想表面を提供するが、テクスチャ・カメラは、構造化光およびレーザ超音波データと併せて使用できる、対象物の実際の画像を提供することができる。このようにして、構造化光データおよびCADデータの両方は、テクスチャ・カメラによって提供された視覚的な画像と比較することができる。さらに、テクスチャ・カメラは、走査する部品のビューをオペレータに、アーカイブ目的で供給することができる。
好ましくは、構造化光システムは、対象物の走査を行う前に較正される。較正は、測定の正確性、および走査する対象物に関する座標データの準備を確実にするために必要である。いくつかの実施形態では、そのシステムは、既知の形状を有する対象物を構造化光システムで走査することによって、局所的に、すなわちチルト機構およびピボット機構に関連して較正される。
当業者には理解されるように、複雑な形状の部品の走査は、複数回の走査を必要とすることがある。一実施形態では、それらの走査は、走査が部品の継ぎ目または縁部で重なるように行われる。別の実施形態では、走査は、部品の特定の領域において意図的に重なるように行われる。
同様または同一の部品のCADデータまたは先行の走査に対する構造化光データの登録および比較は、最小の重なりで、または部品の重要な領域で重なって、表面領域の100%が確実に走査されることを助けることができる。さらに、登録により、複数の部品にわたって特性および/または不具合を走査および比較することができる。これにより、問題のある領域を分析し、後の不具合の防止のための解決策を開発することができる。さらに、データの格納により、修理する部品を「構築した状態の」データ・セットと比較することが可能になる。
形状が複雑なより小さい部品の場合は、構造化光システムに対して必要な整列用目印を与えるペグおよびポストを含むツーリング・テーブルを使用することができる。しかし、ツーリング・テーブルを検査する部品のベースおよびサポートとして使用するには、部品の形状の前もっての知識、ならびに部品に関する開始時の基準点を必要とする。
本明細書で使用して場合、約およびおおよそという用語、は、記載した値の5%以内の任意の値を含むと解釈すべきである。さらに、値の範囲に対する約およびおおよそという用語の記載は、記載した範囲の上端および下端の両方を含むと解釈すべきである。
本発明を、その一部の実施形態のみで示しまたは説明してきたが、本発明はそのように限定されるものではなく、本発明の範囲から逸脱することなく様々な変更が可能であることが当業者には明らかであるべきである。

Claims (14)

  1. 物体を分析する方法であって、
    前記物体に関する3次元情報を得るために前記物体を構造化光システムで走査するステップと、
    前記物体の表面を走査するのに必要な走査の最少の数を決定するために前記物体の3次元情報を処理するステップと、
    超音波による表面変位を生み出すためにレーザ・ビームを前記物体の表面に向けるステップであって、前記レーザ・ビームが、処理した3次元情報に従って前記物体の前記表面に向けられる、ステップと、
    前記超音波による表面変位を検出するステップと、
    物体の3次元情報を前記超音波による表面変位と相関させるステップと、
    前記超音波による表面変位データを処理するステップと、
    前記超音波による表面変位データの座標測定値を提供するために、前記3次元情報と前記処理した超音波による表面変位とを相関させるステップと
    を含む方法。
  2. 評価のために前記物体を配置するステップをさらに含む、請求項1に記載の方法。
  3. 前記物体が複合材料を含む、請求項1に記載の方法。
  4. 前記物体を構造化光システムで走査する前記ステップが、
    カメラ、光ビーム生成要素、および構造化光装置を移動させる手段を備える構造化光装置を提供することと、
    前記物体の前記表面上に光ビームを投射することと、
    前記物体の前記表面上に投射された前記光ビームの画像を受け取るように前記カメラを動作させることと、
    前記物体の表面全体が測定されるまで前記構造化光装置を次の位置に移動させることと
    を含む、請求項1に記載の方法。
  5. 前記物体の前記表面における超音波による表面変位を検出する前記ステップが、
    検出レーザ・ビームを生成することと、
    前記物体の前記表面に前記検出レーザ・ビームを向けることと、
    位相変調光を生成するように前記物体の前記超音波による表面変位で前記検出レーザ・ビームを分散させることと、
    前記表面における前記超音波による表面変位に関するデータを得るために前記位相変調光を処理することと、
    前記物体の構造についての情報を提供するために前記データを収集することと
    を含む、請求項1に記載の方法。
  6. 前記既知のデータ・セットがCADデータである、請求項1に記載の方法。
  7. 前記物体の寸法を測定する前に前記構造化光システムを較正するステップをさらに含む、請求項1に記載の方法。
  8. 前記物体が航空機の部品である、請求項1に記載の方法。
  9. 前記物体が航空機である、請求項1に記載の方法。
  10. 前記物体から検出された光を処理するために、第1のコンピュータが実装するプロセスを実行するステップをさらに含む、請求項1に記載の方法。
  11. 前記物体の形状に関する3次元情報を得るために、第2のコンピュータが実装するプロセスを実行するステップをさらに含む、請求項10に記載の方法。
  12. 前記物体に関する前記3次元情報を処理し、前記物体を評価するのに必要な走査の最少の数を決定するために、第3のコンピュータが実装するプロセスを実行するステップをさらに含む、請求項10に記載の方法。
  13. 就航中の航空機の部品を評価する方法であって、
    物体の3次元情報を得るために、製造したままの航空機の部品を構造化光システムで走査することと、
    前記製造したままの航空機の部品の表面を走査するのに必要な走査の最少の数を決定するために、前記物体の3次元情報を処理することと、
    超音波による表面変位を生み出すためにレーザ・ビームを前記製造したままの航空機の部品の表面に向けることであって、前記レーザ・ビームが、前記製造したままの航空機の部品の前記表面を走査するのに必要な走査数を最少にするように、処理された3次元情報に従って前記物体の表面に向けられる、レーザ・ビームを部品の表面に向けることことと、
    前記超音波による表面変位を検出することと、
    前記製造したままの航空機の部品の3次元情報を前記超音波による表面変位と相関させることと、
    前記製造したままの航空機の部品の3次元情報を既知のデータ・セットと比較することと、
    前記超音波による表面変位データを処理することと、
    前記製造したままの航空機の部品の超音波による表面変位データに関する座標測定値を提供するために、前記既知のデータ・セットと前記処理した超音波による表面変位とを相関させることと、
    前記製造したままの航空機の部品の3次元情報および前記超音波による表面変位データを格納することと、
    前記製造したままの航空機の部品を航空機上に取り付けることと、
    物体の3次元情報を得るために前記取り付けた航空機の部品を構造化光システムで走査することと、
    前記取り付けた航空機の部品の前記表面を走査するのに必要な走査の最少の数を決定するために、前記物体の3次元情報を処理することと、
    超音波による表面変位を生み出すためにレーザ・ビームを前記取り付けた航空機の部品の表面に向けることであって、前記レーザ・ビームが、前記製造したままの航空機の部品の表面を走査するのに必要な走査数を最少にするように、処理した3次元情報に従って前記物体の表面に向けられる、レーザ・ビームを部品の表面に向けることことと、
    超音波による表面変位を生み出すためにレーザ・ビームを前記取り付けた航空機の部品の表面に向けることと、
    前記超音波による表面変位を検出することと、
    前記取り付けた航空機の部品の3次元情報を前記超音波による表面変位と相関させることと、
    前記超音波による表面変位データを処理することと、
    前記超音波による表面変位データに関する座標測定値を提供するために、前記既知のデータ・セットと前記処理した超音波による表面変位とを相関させることと、
    前記取り付けた航空機の部品の3次元情報および処理した超音波による表面変位データと、前記製造したままの航空機の部品の3次元情報および処理した超音波による表面変位データとを比較することと
    を含む方法。
  14. 前記航空機の部品の評価が、層間剥離、ひび割れ、介在物、分離、およびそれらの組み合わせからなる群から選択される不具合の特定を含む、請求項13に記載の方法。
JP2011509681A 2008-05-16 2009-05-14 超音波検査の走査計画のためのビジョン・システム Pending JP2011523459A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/122,158 2008-05-16
US12/122,158 US20090287450A1 (en) 2008-05-16 2008-05-16 Vision system for scan planning of ultrasonic inspection
PCT/US2009/043886 WO2009140453A1 (en) 2008-05-16 2009-05-14 Vision system for scan planning of ultrasonic inspection

Publications (1)

Publication Number Publication Date
JP2011523459A true JP2011523459A (ja) 2011-08-11

Family

ID=40872446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011509681A Pending JP2011523459A (ja) 2008-05-16 2009-05-14 超音波検査の走査計画のためのビジョン・システム

Country Status (10)

Country Link
US (1) US20090287450A1 (ja)
EP (1) EP2286181A1 (ja)
JP (1) JP2011523459A (ja)
KR (1) KR20110022599A (ja)
CN (1) CN102077052B (ja)
AU (1) AU2009246353B2 (ja)
CA (1) CA2724493A1 (ja)
IL (1) IL209273A0 (ja)
TW (1) TWI476365B (ja)
WO (1) WO2009140453A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012019189A2 (en) 2010-08-06 2012-02-09 Par Systems, Inc. Containerized systems
US20130266228A1 (en) * 2012-04-10 2013-10-10 Siemens Industry, Inc. Automatic part identification and workflow generation
KR101280921B1 (ko) * 2012-05-30 2013-07-02 한국항공우주연구원 레이저 유도파를 이용한 유도파 시뮬레이션 방법 및 이를 적용한 유도파 시뮬레이션 장치
US10373301B2 (en) * 2013-09-25 2019-08-06 Sikorsky Aircraft Corporation Structural hot spot and critical location monitoring system and method
US9731392B2 (en) * 2014-08-05 2017-08-15 Ati Industrial Automation, Inc. Robotic tool changer alignment modules
WO2016115075A1 (en) 2015-01-13 2016-07-21 Sikorsky Aircraft Corporation Structural health monitoring employing physics models
KR101648425B1 (ko) * 2015-03-30 2016-08-16 한국항공우주산업 주식회사 항공기구조물의 복합소재 초음파검사 구동장치
CN105300887B (zh) * 2015-10-10 2018-06-29 中国航空工业集团公司北京航空材料研究院 一种激光超声无损检测材料织构的方法
FR3042594B1 (fr) * 2015-10-16 2019-05-17 Airbus Operations Systeme de controle non-destructif de pieces par generation d'ondes ultrasonores au moyen d'un laser d'excitation
TWI581841B (zh) 2015-10-30 2017-05-11 財團法人工業技術研究院 分離式飛行拍攝裝置
CN105938087B (zh) * 2016-06-29 2018-10-30 华南理工大学 一种基于多轴飞行器的激光超声检测系统与方法
US11307063B2 (en) 2016-12-23 2022-04-19 Gtc Law Group Pc & Affiliates Inspection robot for horizontal tube inspection having vertically positionable sensor carriage
ES2901649T3 (es) 2016-12-23 2022-03-23 Gecko Robotics Inc Robot de inspección
JP6273055B1 (ja) * 2017-01-31 2018-01-31 株式会社日立パワーソリューションズ 位置制御装置、位置制御方法、及び超音波映像システム
US11287507B2 (en) * 2018-04-30 2022-03-29 The Boeing Company System and method for testing a structure using laser ultrasound
CN109254293B (zh) * 2018-09-30 2023-11-14 北京小米移动软件有限公司 超声波测距装置和方法、使用该装置的结构光设备及终端
EP3746989A4 (en) * 2018-11-16 2021-03-17 Beijing Didi Infinity Technology and Development Co., Ltd. SYSTEMS AND METHODS FOR POSITIONING VEHICLES IN POOR LIGHT CONDITIONS
CA3126283A1 (en) 2019-03-08 2020-09-17 Gecko Robotics, Inc. Inspection robot
CA3134724A1 (en) * 2019-03-26 2020-10-01 Telefonaktiebolaget Lm Ericsson (Publ) Determining a transformation between coordinate systems in an ultrasonic haptic device and a visual sensor device
CN111999388B (zh) * 2020-08-31 2022-06-24 广东工业大学 一种碳纤维编织复合材料的激光超声检测系统及方法
US11865698B2 (en) 2021-04-20 2024-01-09 Gecko Robotics, Inc. Inspection robot with removeable interface plates and method for configuring payload interfaces
US11971389B2 (en) 2021-04-22 2024-04-30 Gecko Robotics, Inc. Systems, methods, and apparatus for ultra-sonic inspection of a surface
CN113358057A (zh) * 2021-06-03 2021-09-07 河南科技大学 一种飞机变形扫描检测设备及检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504610A (ja) * 2000-07-14 2004-02-12 ロッキード マーティン コーポレイション 試験目的の超音波信号発生装置を配置し位置決めするためのシステムおよび方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349954A (en) * 1993-07-23 1994-09-27 General Electric Company Tumor tissue characterization apparatus and method
US20040154402A1 (en) * 1998-06-30 2004-08-12 Lockheed Martin Corporation Remote laser beam delivery system and method for use with a robotic positioning system for ultrasonic testing purposes
US6748112B1 (en) * 1998-07-28 2004-06-08 General Electric Company Method and apparatus for finding shape deformations in objects having smooth surfaces
US6378387B1 (en) * 2000-08-25 2002-04-30 Aerobotics, Inc. Non-destructive inspection, testing and evaluation system for intact aircraft and components and method therefore
EP1403333A1 (en) 2002-09-24 2004-03-31 Sicpa Holding S.A. Method and ink sets for marking and authenticating articles
DE10246312B3 (de) * 2002-10-04 2004-03-18 Pfleiderer Infrastrukturtechnik Gmbh & Co. Kg Feste Fahrbahn mit einer Vorrichtung zur Überwachung des Unterbauzustandes, ein Verfahren zu ihrer Herstellung sowie Überwachungsverfahren hierfür
US7286246B2 (en) * 2003-03-31 2007-10-23 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
EP1653191A4 (en) * 2003-07-11 2010-09-08 Olympus Corp INFORMATION PRESENTATION APPARATUS AND INFORMATION PRESENTATION SYSTEM USING THE DEVICE
JP4500025B2 (ja) * 2003-09-04 2010-07-14 株式会社日立エルジーデータストレージ 光ディスク装置及び光ディスク装置の制御方法
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US7253908B2 (en) * 2004-07-22 2007-08-07 The Boeing Company Non-destructive inspection using laser profiling and associated method
US7268893B2 (en) * 2004-11-12 2007-09-11 The Boeing Company Optical projection system
KR100642500B1 (ko) * 2005-03-02 2006-11-06 (주)쎄미시스코 유리기판의 에지 결함 및 디스컬러 검사장치
US7681453B2 (en) * 2005-03-29 2010-03-23 Lockheed Martin Corporation System and method to calibrate multiple sensors
JP4839827B2 (ja) * 2005-12-26 2011-12-21 コニカミノルタセンシング株式会社 3次元測定装置
TWI291013B (en) * 2006-01-25 2007-12-11 Univ Nat Taipei Technology Digital-structured micro-optic three-dimensional confocal surface profile measuring system and technique
US20070229850A1 (en) * 2006-04-04 2007-10-04 Boxternal Logics, Llc System and method for three-dimensional image capture
US7605924B2 (en) * 2006-12-06 2009-10-20 Lockheed Martin Corporation Laser-ultrasound inspection using infrared thermography

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004504610A (ja) * 2000-07-14 2004-02-12 ロッキード マーティン コーポレイション 試験目的の超音波信号発生装置を配置し位置決めするためのシステムおよび方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN7013002907; W.Turner et al.: 'USING COMPUTER VISION TO MAP LASER ULTRASOUND ONTO CAD GEOMETRIES' AIP Conference Proceedings Vol.657, 2003, pp.340-347 *

Also Published As

Publication number Publication date
US20090287450A1 (en) 2009-11-19
TWI476365B (zh) 2015-03-11
KR20110022599A (ko) 2011-03-07
CN102077052B (zh) 2014-05-07
TW201009292A (en) 2010-03-01
WO2009140453A1 (en) 2009-11-19
EP2286181A1 (en) 2011-02-23
IL209273A0 (en) 2011-01-31
CN102077052A (zh) 2011-05-25
AU2009246353B2 (en) 2014-08-21
AU2009246353A1 (en) 2009-11-19
CA2724493A1 (en) 2009-11-19

Similar Documents

Publication Publication Date Title
EP2288868B1 (en) Vision system and method for mapping of ultrasonic data into cad space
AU2009246353B2 (en) Vision system for scan planning of ultrasonic inspection
KR101489030B1 (ko) 광학적 모양 및 위치 측정을 위한 구조-광 시스템의 정확한 이미지 획득 방법
CA2719248C (en) System, program product, and related methods for registering three-dimensional models to point data representing the pose of a part
JP2724300B2 (ja) 特に悪環境における表面の非破壊検査方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111215

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130930

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140805