JP2008519980A - 被膜、表面、及び界面を検査するシステム及び方法 - Google Patents

被膜、表面、及び界面を検査するシステム及び方法 Download PDF

Info

Publication number
JP2008519980A
JP2008519980A JP2007541150A JP2007541150A JP2008519980A JP 2008519980 A JP2008519980 A JP 2008519980A JP 2007541150 A JP2007541150 A JP 2007541150A JP 2007541150 A JP2007541150 A JP 2007541150A JP 2008519980 A JP2008519980 A JP 2008519980A
Authority
JP
Japan
Prior art keywords
temperature
coating
defects
comparing
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007541150A
Other languages
English (en)
Other versions
JP4463855B2 (ja
Inventor
孝三 斉藤
アリ、モハメッド アイ. ハッサン
亮 沼里
エイ. オマール、モハメッド
正人 榊原
俊一 鈴木
康夫 谷川
Original Assignee
トヨタ モーター マニュファクチュアリング、ノース アメリカ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36407563&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2008519980(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by トヨタ モーター マニュファクチュアリング、ノース アメリカ インク filed Critical トヨタ モーター マニュファクチュアリング、ノース アメリカ インク
Publication of JP2008519980A publication Critical patent/JP2008519980A/ja
Application granted granted Critical
Publication of JP4463855B2 publication Critical patent/JP4463855B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/08Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness for measuring thickness
    • G01B21/085Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness for measuring thickness using thermal means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

塗料被膜内の欠陥を検出するシステムは、表面及びその表面に塗布された被膜の温度を変更するよう構成された温度調節装置を含む。このシステムは、さらに、被膜内の異常を判断するよう、表面及び被膜の温度変化(時間の経過に伴う)を測定するための赤外線センサと、表面及び被膜の測定された温度変化と予想される温度変化(時間の経過に伴う)とを比較するためのプロセッサとを含むことがある。欠陥を判断する自己参照方法も開示されており、これによれば、周囲のピクセルが、それぞれのピクセルの温度変化を計算するための検出プロセスにおける基準として利用される。その上、接着界面を検査するための本発明による態様の適用形態も開示されている。
【選択図】図1

Description

関連出願の相互参照
本明細書は、2003年7月29日に出願された米国特許出願第10/629,426号明細書の一部継続出願であり、その全体が参照により本明細書に援用される。
本発明は、表面及び基板に塗布された被膜の欠陥を検出するシステム及び方法に関する。より詳細には、本発明は、赤外線カメラを使用して、車両の塗料被膜、表面、及び界面における表面及び表面下の欠陥を検出するシステム及び方法に関する。
高品質の自動車及びその他の車両又は機械を生産する際の最も重要な方法の1つに、外観の検査(即ち、部品の仕上塗料の品質)がある。通常、例えば、自動車の外板には、保護被膜、接着補助被膜、塗料被膜、及び透明被膜を含む、少なくとも4つの被膜が塗布される。知覚される外面塗料品質を低下させる、適切に準備された表面の被膜方法において発生する欠陥には、粉塵、髪、金属粒子、スプレーしぶき、不完全な噴霧、剥離、及び剥片の侵入が含まれるが、これらに限定されるものではない。このような欠陥の検査が、顧客から見た製品の外観品質を保証する。
これまで、仕上塗料の品質の評価は、たいてい人による検査に基づくものであった。これは、退屈かつ主観的な方法であり、重要な技能及び訓練を必要とするものであった。他の検査手順は、仕上げ面から反射した光を通して不具合を感知する電荷結合素子(CCD)光センサの使用に基づくものであった。しかしながら、この技術は、反射角及び散乱角に対する鋭敏性及び依存性のために、複雑な形状、湾曲した形状、及び/又は隠れた形状(即ち、車体)については特に有効なものではない。
また、表面の異常又は欠陥については、ある製品(即ち、半導体チップ)を検査するのに赤外線カメラを使用することが一般に公知であった。しかしながら、このような検査技術は、ピクセル値の一時的な動作(例えば、時間の経過に伴う温度変化)を何ら斟酌することなく、公知(標準)の値に対するピクセル値の空間分析のみに基づくものである。
また、時間の経過に伴う温度変化を測定するために他の技術も利用されてきたが、このような技術は、同じデータファイルのピクセルの測定された温度変化と周囲のピクセルの温度変化を比較せず、したがって、表面下の異常を効率的かつ効果的に検出していない。さらに、多くの検査手順には、温度偏差を判断するために温度プロファイル内に公知の欠陥のない領域が必要であり、他の検査手順には、1連のデータファイルを連続して取得する必要がある。このような手順はまた、オペレータの介入が必要であり、多くの時間を必要とし、及び/又は計算が複雑となり、リアルタイムの適用形態に適していない。
そのため、表面だけでなく、多層の塗料被膜内の表面下の異常や他の関連する表面の、表面だけでなく表面下の異常をも検査することが可能な、改良されたシステム及び方法が望まれている。
したがって、本発明は、上記の問題及び欠点に解決し、取り除くことを目的とし、また、表面上の被膜、特に自動車の塗料及び被膜、結合ジョイント、及び他の表面を検査するためのこれまでのシステム及び方法を改良することを目的とする。いくつかの態様によれば、表面下の異常をより効率的に検出するための技術が提供される。他の態様によれば、リアルタイムの適用形態のための、及びオペレータの関与の必要性を最小限に抑えるための技術が提供される。
前述の目的及び他の目的を達成するために、かつ本発明の例示的実施形態に従って、被膜の欠陥を検出するシステムは、表面及び被膜の温度を変更するよう構成された温度調節装置と、時間の経過に伴う表面及び被膜の温度変化を測定するよう構成された赤外線センサと、時間の経過に伴う表面及び被膜の測定された温度変化と時間の経過に伴う予想される温度変化とを比較するよう構成されたプロセッサと、を備える。
本発明の前述の目的及び他の目的をさらに達成するために、被膜の欠陥を検出するシステム及び方法は、温度シグネチュアを作るために表面の温度プロファイルを測定するステップと、第1被膜を表面に塗布するステップと、被膜された表面の温度を変更するステップと、被膜された表面からの放射された輻射の第1の測定を行うステップと、放射された輻射と温度シグネチュアとを比較するステップとを含む。この方法はまた、第2被膜を被膜表面に塗布するステップと、被膜された表面の温度を変更するステップと、被膜された表面からの放射された輻射の第2の測定を行うステップと、第1の測定と第2の測定とを比較するステップと、を含む。
本発明の他の例示的実施形態に従って前述の目的及び他の目的をさらに達成するために、被膜の欠陥を検出するシステム及び方法は、複数の被膜を表面に塗布するステップと、予想される温度変化を構成するステップと、被膜表面の温度を調節するステップと、正常に調節された被膜表面の温度変化を測定するステップと、調節された表面の測定された温度変化と予想された温度変化とを比較するステップと、を含む。
本発明の追加の例示的実施形態に従って前述の目的及び他の目的をさらに達成するために、被膜の欠陥を検出するシステム及び方法は、温度シグネチュアを作るよう表面の温度プロファイルを測定するステップと、第1被膜を表面に塗布するステップと、被膜された表面の温度を変更するステップとを含む。この方法は、さらに、被膜表面からの放射される輻射量の第1の測定を行うステップと、放射された輻射と温度シグネチュアとを比較するステップと、第2被膜を第1被膜に塗布するステップと、被膜表面の温度を変更するステップと、この被膜表面からの放射された輻射量の第2の測定を行うステップと、その温度変化を測定するステップとを含む。この方法はまた、予想される温度変化を構成するステップと、第1の測定と第2の測定とを比較するステップと、被膜表面の測定された温度変化と予想される温度変化とを比較するステップと、を含む。
当業者には、以下の記載より、本発明のさらに他の実施形態、組合せ、利点、及び目的が明らかとなろう。以下には、本発明の例示的代替実施形態が例示目的で示され、記載されている。理解されるであろうが、本発明は、本発明の範囲から逸脱することなく、他の異なる態様、目的、及び実施形態がすべて可能である。したがって、図面、目的、及び以下の記載は、何ら限定的なものではなく、本質的に例証的及び例示的なものとみなされるべきである。
本明細書は、本発明を具体的に記載しており、かつ明確に権利請求する特許請求の範囲でその結論を述べているが、これらは、添付図面と合わせた以下の記載より、より良く理解されるであろう。
本明細書の実施形態において利用される欠陥検出の1つの原理は、熱的不整合に関する。特に、このような欠陥を有する表面及び/又は被膜の温度が調節され、赤外線センサで検知される場合、その欠陥は、効果的に強調され、異なる温度範囲又は色を有する箇所として区別可能である。より詳細には、その欠陥と周囲の塗料又は表面との熱特性又は熱浸透率の差が熱的不整合を作る。温度不整合により、その周囲と比較して欠陥から異なる熱波動の反射が生じる。温度不整合の概念は、以下の式で表される。
Figure 2008519980
ここで、κ=熱伝導性、ρ=密度、及びc=比熱である。下付き文字1は、欠陥の属性を示し、下付き文字0は、周囲の属性を示す。
何故なら、浸透率が
Figure 2008519980
であるとすると、
Figure 2008519980
であるからである。
したがって、熱的不整合は、感知機構(例えば、赤外線カメラ又はセンサ、これについては以下にさらに記載する)によって感知された、欠陥とその周囲との熱属性又は特性(浸透性)の差である。例えば、空洞部分と樹脂エポキシとの間の熱的不整合を判断する場合であり、空洞部分(欠陥)は、9.19W.(sec.m−2.K−1の公知の熱浸透率を有し、エポキシ樹脂(周囲)は、667W.(sec.m−2.K−1の公知の熱浸透率を有する。
Figure 2008519980
したがって、この例においては、エポキシ樹脂と比較して、熱波動の約97%のみが空洞部分の界面から反射し、これにより、その特定の箇所の空洞部分とエポキシ樹脂との間の温度プロファイルの偏差が生じる。
欠陥とその周囲との間の熱的不整合の結果、その周囲の変化の速度と比較して、欠陥の温度変化の速度の原因であるパラメータである、温度変化プロファイル又はコントラストプロファイルが確立され得る。より詳細には、欠陥の浸透率値が異なるため、その周囲と比較して異なる冷却率ΔTが生じ、欠陥とその周囲とのコントラストが観察され得る。温度コントラスト又は温度変化(T)の概念は、以下の式で表される。
Figure 2008519980
ここで、T=温度、t=時間、d=欠陥のある箇所、t=初期時間、及びs=欠陥のない箇所である。したがって、温度コントラストは、通常の(予想される)プロファイル(即ち、そのポイントの時間の経過に伴う予想される温度変化)と比較して、異物の存在又は被膜材料の過剰又は不在(例えば、欠陥)による表面の様々なデータポイント又はピクセルについて測定された温度プロファイルΔTの偏差である。
実施形態の1つ以上において、本発明の、これらの原理、システム、及び方法を適用することにより、放射された輻射を測定し、その測定を、1)公知の、予想される、又はモデルとなる温度プロファイル、及び/又は2)シェル及び/又は前の層などの以前に測定された温度プロファイルとを比較することにより、及び/又は3)その測定に基づいて温度コントラスト又は変化を判断し、その値と予想されるコントラスト又は変化とを比較することにより、単層の及び多層の被膜の欠陥を検出することが可能となる。本発明の少なくともいくつかの実施形態では、二次元面の欠陥、及びその欠陥の特定の深さ又は厚さを識別することが可能である。
図面(図中の全図において同様の数字は同じ要素を示している)について詳細に述べると、図1は、温度プロファイルを検知して判断するための例示的なシステム10の少なくとも一部を例示している。図1の例示的なシステムにおいては、本明細書においてはシェル又は製品12と呼ぶ表面が未加工(例えば、被膜されていない)であり、シェル(即ち、被膜されていない部品又はプライマーの層で被膜されていない部品)の温度プロファイルが、後に1つ以上の塗布された被膜を有する同じシェルの温度プロファイルと比較するために、シェルの温度シグネチュアを作成するように測定されてもよい(これについては以下に記載する)。勿論、シェル12は、被膜すべき1つの部片、車両の一部分又は車体全体を構成し得る。代替形態として、図1の例示的なシステムはまた、シェル12が1つ以上の被膜を有し、シェル及び被膜の温度プロファイルが、欠陥を検査するために測定されることが求められる状況にも適用し得る。しかしながら、この例については、シェル12が未加工である、及び/又は対象となっている被膜がまだ塗布されていないと仮定される。
図1に例示されているように、例示的なシステム10は、温度調節装置20と、赤外線(IR)センサ30などの感知機構と、プロセッサ40とを備えることがある。この例においては、温度調節装置20が、キュア装置を備えて例示されている。キュア装置は、業界では、通常、自動車シェルの表面に被膜又は塗料の層を「焼き付ける」のに使用される。本発明においては、キュア装置は、シェル12に被膜及び/又は塗料を「焼き付ける」ために機能するだけでなく、放射された輻射や温度変化をIRセンサ30(以下に記載する)により最適に測定するためにシェル及び被膜の適切な温度調節もする。当業界において公知であるように、このようなキュア作業所やキュア装置は、複数のヒーター列、及び/又はシェルの温度を上昇するための他の要素、被膜すべきその表面、及び/又は適宜塗布された1つ又は複数の被膜を有し得る。自動車パネルなどに塗料及び/又は他の表面被膜に適用するための例示的実施形態においては、キュア装置の温度が150〜250℃の範囲内に設定されることがある。この範囲は、所望の温度プロファイルが測定され得るよう、シェル(及び被膜)の温度を調節しつつ被膜の適度な「焼き付け」を保証するのに特に有効であることが分かっている。
しかし、別の実施形態においては、キュア装置20は、被膜を充分に「焼き付ける」又はキュアするため、及び/又は温度プロファイルを測定するのに最適な条件を提供するため、所望の温度に設定されることがある。また、本発明は、熱の移行中に放射された輻射や温度変化を測定することにより欠陥を検出することを目的とするので、温度調節装置はまた、温度プロファイルの最適な測定を提供するよう、温度試験面(及び被膜)を調節するのに使用される加熱装置及び/又は冷却装置の任意の組合せも含むことがあることを理解されたい。この点に関して、考えられる「調節」には、相対温度を増加すること又は減少することが含まれ得ることを理解されたい。このような組合せは、これらの間の測定可能な温度差(temperature differentiation)を作るよう、シェル表面とは異なる温度で被膜を塗布すること、及び/又は対象表面が加熱されている間にシェル12の温度プロファイルを測定することを含むが、これらに限定されるものではない。このような組合せは、さらに、材料内の熱エネルギに変換され、次いでIRセンサ又は他の適切な感知機構によって検出される、音波又は超音波の使用を含むことがある。
キュア装置20内でシェル12の温度が調節された後、シェル12がIRセンサ30で検査されることがある。図1に例示されているように、IRセンサ30は、シェル12を検査するための所定の視界32を有して構成されることがある。IRセンサ30は、シェル認識センサ16及びベルト速度センサ18からの入力により、シェル12を検査するよう適切に位置決めされていてもよい。例えば、シェル認識センサ16は、キュア装置20に入るシェル又は製品の種類を判断するために、IRセンサ30及び/又はプロセッサ40と通信するよう統合される又は構成されることがある。シェルの認識は、IRセンサ30が較正されており、特有のシェル12について適切な視界32(例えば、大きさ又は角度)を捕獲するよう位置していることを確実にするのに有用であり得る。その上、ベルト速度センサ18は、ベルト14の速度を判断するよう、IRセンサ30及び/又はプロセッサ40と統合され、したがって、IRセンサは、開始位置で適切に自ら位置決めするよう同期し又は一致し、ロボットアーム34上のシェル12の周りを動くことがある。また、IRセンサは、静止しており、スナップショット(例えば、平面図又は側面図)を撮るよう位置していることがある。別の実施形態においては、センサ及び/又は論理の任意の組合せが、所望の視界32を測定するために、1つ以上のIRセンサ30を適切に位置決めするよう、IRセンサ30と統合されることがある。
さらに図1について述べると、多くの理由により、シェル12がキュア装置20を出てくる時間と、IRセンサ30によって測定される時間とに遅延があることが望ましいことがある。例えば、シェル12が最初にキュア装置20を出る時間に、シェル12がまだ熱を吸収しており、したがって、温度プロファイルを測定するための放射された輻射が変動していることがあると思われる。したがって、シェルの種類及び構成により、シェル及び/又は被膜、及び任意の関連被膜の冷却中のある時点に(即ち、最大温度が達成された後に)測定を行うことが望ましいと思われる。しかしながら、前述したように、本発明では、測定に最適な輻射が放射される温度を提供するための加熱及び冷却の任意の組合せを使用することを考えている。
また、シェル12について計算された最大のコントラストに従って、キュア装置20とIRセンサによる測定との間に遅延があることが望ましいであろう。より詳細には、欠陥を有する様々なシェル及び/又は層状の被膜の間の熱属性が異なるために、最大の温度コントラスト(例えば、ΔT、即ち、異物の存在による、測定された温度プロファイル及び通常の又は予想プロファイルの偏差)を見るための最適な時間間隔が一般に存在すると思われる。例えば、製品又はシェルが室温近くまで冷却されると、一般に検知可能な温度コントラストが減少するようになり、この結果、欠陥検出の感度又は精度が低下する。以下に記載するように、最大の温度コントラストの特定の期間中にシェル12を測定することにより、多層の被膜の1つ以上の層内の潜在的な欠陥の深さに焦点があてられることがある。
IRセンサ30は、少なくとも、表面からの放射された輻射及び/又はある期間に亘る表面の温度変化を測定するよう構成されている、任意のセンサ又は感知機器を備えることがある。例えば、上記の例のIRセンサ30は、CMC Electronics社製のTVS8500であり得る。これは、周囲温度全体に40℃未満の温度範囲の約3〜5μm(波長)の本発明のための優れた観察範囲を達成することが可能である。このような観察範囲は、現在、約200℃以下の比較的低いキュア温度を有する自動車の被膜に特に適応可能であると思われるが、本発明には他の観察範囲も考えられる。
IRセンサ30は、そのレンズの手動及び/又は自動焦点合わせにより、又はロボットアーム34の適切な位置決め等によりシェル12に対して適切な場所で自ら位置決めすることにより、視界32を変更することがある。したがって、すべての所望の視界32を捕獲するためにはIRセンサ30が1つだけでよいと考えられるが、任意の数の視界を捕獲するのに、任意の数のIRセンサを共に使用することがあることを理解されたい。このような実施形態においては、IRセンサが同時に温度コントラストを比較するよう一時的に同期することがある。
図1に例示されているように、IRセンサ30は、適切な視界32を確立することにより、未加工シェル12から初期又は基本となる放射された輻射(温度プロファイル)を測定し得る。以下に記載するように、IRセンサ30は、視界内の領域を格子にマップし、その格子のそれぞれの正方形又はピクセルが測定すべき所望の領域を映すことがある。未加工シェルが許容できる(例えば、その後の許容できる被膜を妨げる恐れのある、割れ、へこみなどの致命的な欠陥を有さない)場合、シェルの温度プロファイル(その温度シグネチュア)が作られることがある。
シェル12の温度シグネチュアは、プロセッサ40内に格納される、又はプロセッサ40からアクセスされることがある。プロセッサ40は、例えば、データをログ記録し、記録されたデータの比較及び分析を行うよう構成された任意のメモリ又はコンピュータを含むことがある。シェルの温度シグネチュアは、欠陥を検出するために、1つ以上の被膜を有するシェルの温度プロファイルと後に比較するためのテンプレートとして使用されることがある。より詳細には、シェルの温度シグネチュアは、テンプレート(即ち、任意の既存の許容できる傷又は欠陥のマップ)を提供することがあるので、1つ以上の被膜を有するシェル12について撮られた温度プロファイルとの比較によって検出された欠陥が、シェル上に存在するものとして既に公知の傷/欠陥から区別され得る。
このシステム及び方法の別の独自の特徴は、多様なシェルのための多くのシェルの温度シグネチュアが作られ、プロセッサ40内に格納されることがあることである(又は、このため、プロセッサ40がこれらへのアクセスを有する)。例えば、認識センサ16は、シェルの形状を感知し、適応可能な温度シグネチュア又は同様のモデルの温度シグネチュアが作られているかどうかを発見するよう、プロセッサ40にその形状に関する信号を送信することがある。作られている場合には、シェルは、直接、塗装作業所I60(以下に記載する)へと進路が変えられることがある。一方、プロセッサ40がシェル12を認識しなかった場合、シェル12は、温度シグネチュアを作るために、システム10を通じて方向付けられることがある。別の実施形態においては、シェル12は、シェルの種類に関する信号をIRセンサ又はプロセッサに送信するよう構成された、識別タグ又は他の識別装置を含むことがある。本発明のシステムは、それぞれのシェルについて互いに異なる温度シグネチュアを確立することが可能であるので、異なるシェルモデルが、ベルトライン14に沿って次々に進んでいくことがある。
シェルの温度シグネチュアが作られ、特定のシェル12のために格納された後、そのシェルは、第1被膜作業所へと移動することがある。図2について述べると、第1被膜作業所は、塗装作業所I60として例示されている。この例については、図2に例示されている例示的なシステムは、塗布装置50が追加されて、図1と同様の構成要素を有する。以下に記載するように、塗装作業所I等の例示的な被膜作業所が、1つ以上の被膜を有するシェル12の温度プロファイルだけでなく、温度調節の後のシェル12及び任意の関連する被膜の温度変化も測定するよう構成されることがある。
塗装作業所I60は、被膜塗布装置50と、温度調節装置20と、赤外線センサ30と、プロセッサ40とを備えて例示されている。図2に例示されているように、塗布装置50は、塗料又は別の所望の被膜を自動車シェルなどの表面に塗布するよう構成された、当業界において一般に公知の、塗装ガン又は静電気噴霧装置を備えることがある。別の実施形態においては、塗料及び/又は他の任意の被膜を表面に塗布するよう構成された任意の装置が使用されることがある。
図1と同様に、温度調節装置20は、塗布装置50からシェル及び第1被膜112を加熱するよう構成されたキュア装置を備えることがある。前述したように、温度調節装置20はまた、シェル及び/又は被膜112の温度を調節するよう構成された、加熱及び/又は冷却要素又は装置の任意の組合せを有することがある。このような要素は、加熱ランプ、赤外線発熱体、対流領域、マイクロ波ヒーター等を含むことがある。図2に例示されているように、車認識センサ16及びベルト速度センサ18が、シェル112がキュア装置12を出た後のベルト速度とシェル112を感知するために、キュア装置20の反対側に位置決めされることがある。またこれも理解されるであろうが、バーコードリーダ、光センサ、接触スイッチ、又は他の識別設備、及び/又は位置合わせ機器も、IR感知のためにシェル112を適切に並べるのに利用され得る。上述したように、このようなセンサは、適切な視界を捕獲するために、IRセンサ30を適切に位置決めするのに使用されることがある。
図1及び図2に例示した上述のシステムは、例えば、自動車の外観を劣化させる恐れのある欠陥について、自動車シェルのみ及びこれに塗布された被膜を有する自動車シェルを検査するのに使用され得る。しかも、本発明では、上記に記載したシステムを利用して、自動車の被膜を検査する多くの方法を意図する。例えば、欠陥について多層の被膜を検査する1つの方法に、前の層と比較した、被膜のそれぞれの連続する層の分析が含まれる。より具体的には、被膜の温度プロファイルは、新しい又は未解決の欠陥の存在を判断するために、前の被膜から測定された温度プロファイルと比較されることがある。したがって、塗装作業所Iと同様の、いくつかの被膜作業所及び検査作業所は、完全な被膜ラインを作るために連結されることがあり、被膜作業所のそれぞれが、被膜ライン全体に渡る統計的方法データと同様に前の被膜作業所に関するデータを通信するよう構成される。
図3について述べると、多層被膜の欠陥を検査する方法の例示的ステップが例示されている。この例については、未加工シェル(例えば、図1の12)のためのシェルの温度シグネチュアが作られる又は公知であると仮定される。図1〜図3について述べると、未加工シェル12は、被膜のために塗装作業所I60へと進む。被膜が塗布された62後、シェル(図2の112)が、温度調節装置20(例えば、キュア装置)へと移動することがある。表面及び被膜は、キュア及び予備試験調節のためにキュア装置によって調節されることがある(ステップ64)。
適切な時間の後、IRセンサ30は、シェル及び被膜から放射された輻射を測定するために適切な視界写真を撮ることがある(ステップ66に示されている)。したがって、温度プロファイル又は「写真」とは、ある瞬間(t)の1つの温度画像のキャプチャーである。温度プロファイルの写真を撮る際に、IRセンサ30は、視界内の領域を格子にマップすることがあり(即ち、図2)、それぞれの正方形又は格子のピクセルが、測定すべき所望の領域を映すことがある。例えば、格子は、0.1mmの領域に分割されることがある。このような領域は、例えば、普通の肉眼で通常見ることのできる欠陥又は実際に修復可能な最小の欠陥の大きさに基づくことがある。
IRセンサは、測定された温度プロファイルをプロセッサ(例えば、40)に送信することがあり、プロセッサは、プロファイルと自動車シェルの温度シグネチュアとを比較する(ステップ68)ことがある。当該方法(例えば、塗装作業所I)のこの段階(68)では、IRセンサによって捕獲されたプロファイルは、未加工シェル(図1の12)から作られたシェルの温度シグネチュアと比較される。より詳細には、IRセンサで見られ、捕獲された温度プロファイルの格子は、シェルの温度シグネチュアの格子に電子的に重ね合わせさられることがある。温度プロファイルと温度シグネチュアとの偏差が、プロセッサ内に電子的に又はモニタ(図示せず)上に様々な色の点により視覚的に表示されることがあり、これにより、欠陥の存在が表示される。
以下に記載するように、次の被膜の後、シェル及び被膜の温度プロファイルは、段階68と同様に、前の瞬間に撮られたシェル及びより少ない被膜から測定された前の温度プロファイルと比較されることがある。別の実施形態においては、捕獲されたプロファイルは、シェルの温度シグネチュアと比較されることがあるだけでなく、プロセッサ内に格納されている許容できる既存のモデルプロファイルとも比較され得る。より詳細には、マニュアル検査又は前の検査から蓄積されたデータを通じて、許容できる品質の表面被膜を示すモデル(又は「標準の」)プロファイル(及び/又は偏差の範囲)が作られ、プロセッサ内に格納されることがある。モデルプロファイルは、この放射の差について実物を繰り返し測定する、本明細書において記載される温度モデリング(温度上昇プロファイル)に基づいて形成され得る。第1及び第2被膜層の熱放射を取得し、その差をモデルプロファイルと比較することの意味は、厚くなった被膜層(即ち、厚さ)及び完全性(即ち、混入した異物の存在)を監視することである。
モデルプロファイルとの偏差が、(1)層1上の被膜層2の被膜面積、(2)被膜層2の厚さ、(3)被膜層1と2との間の欠陥界面、及び/又は(4)被膜層2内の混入した異物の存在に関し得る、被膜層内の欠陥様態を示す。したがって、IRセンサによって捕獲された温度プロファイルは、さらに、偏差を検出するためにこの許容できるモデルプロファイルと比較されることがあり、所定の標準に設定された品質制御を保証する。
比較によって欠陥が表示された場合、プロセッサは、プログラムされた許容標準に基づいて、その欠陥が、その後の被膜に問題を生じさせる及び/又は不満足な最終製品(主要な欠陥)となる性質のものかどうかを(ステップ70で)判断することがある。重大な欠陥があると、プロセッサは、ステップ72で、再びプログラムされた許容標準に基づいて、欠陥パラメータと格納されている欠陥現象履歴のデータとを比較することにより、その欠陥が修復可能であるかどうかを判断することがある。欠陥が修復可能でない場合、一実施形態においては、シェルは、ステップ74でスクラップとして送られることがある。表面及び被膜が修復可能(76)と判断された場合、技能者がその場でその欠陥を修復するか、シェルを処理するための修復「行列」に送るか、又は、後に被膜方法においてその欠陥を修復する(次の被膜を塗布するだけで欠陥を修復できることがある)。修復された場合、シェルは、ステップ80で、塗装作業所II等の仕上げ処理方法に再び挿入されることがある。
プロセッサが重大な欠陥の示唆がないと判断した場合、自動車シェルは、塗装作業所IIへと通過することがある(ステップ80)。塗装作業所Iと同様に、塗装作業所IIでも、被膜を塗布し(ステップ82)、シェルをキュア装置に移し(ステップ84)、シェル、第1被膜、及び第2被膜の温度プロファイルを測定する(ステップ86)ことがある。IRセンサは、ステップ88で、比較のために温度プロファイルをプロセッサに送信することがある。この段階で、プロセッサは、偏差について、塗装作業所IIで測定された温度プロファイルと塗装作業所Iで測定された温度プロファイルとを比較することがある。温度プロファイル間の偏差は、新しく塗布された被膜(例えば、塗装作業所IIで塗布された被膜)の欠陥を示すことがある。さらに、プロセッサはまた、さらに欠陥について検査するために、2層の被膜された許容できるシェルについて、塗装作業所IIで測定された温度プロファイルとシェルの温度シグネチュア又は既存の(又は標準の)モデルプロファイルとを比較することがある。
上述したように重大な欠陥が検出された場合、プロセッサは、ステップ92で、シェルをスクラップとして送る(ステップ94)か又は修復する(ステップ96)かを判断することがある。重大な欠陥が示されなかった場合、自動車シェルは、上述したステップ80〜86と同様のステップに従って、塗装作業所III100へと移動することがある。しかしながら、塗装作業所IIIで測定された温度プロファイルは、偏差について、塗装作業所I及び/又はIIで測定された温度プロファイルと比較され得る。その上、塗装作業所IIIで測定された温度プロファイルは、3層の被膜された許容できるシェルについて、シェル又は既存の(又は標準の)モデルプロファイル温度シグネチュアと比較されることがある。
したがって、本発明の当該例示的な方法においては、それぞれ個別の被膜の温度プロファイルが測定され、前の温度プロファイルだけでなく、自動車シェル及び許容できる既存のモデルプロファイルの温度シグネチュアとも比較され得るので、欠陥が、より正確に検出され、層別に位置が特定され得る。この検出方法は、重大な欠陥が検出されたにもかかわらず、その被膜方法が引き続き可能である又は完了する適用形態において、特に有用であり得る。この状況においては、それぞれの被膜層及び検出された欠陥に関するデータが蓄積され、そのため、欠陥が位置特定され、それぞれの被膜段階ではなく被膜方法の最後に必要に応じて、より適切に修復されることがある。例えば、トップ被膜の欠陥には、トップ被膜及び透明被膜での簡単な修復手順を必要とするだけであるが、別のプライマー層の欠陥には、より頑強な作業が必要であることがある。
いくつかの適用形態においては、それぞれの被膜の温度プロファイルを測定するのではなく、被膜方法後のあるときに又は被膜方法の完了時に、1回の測定を行うことが望ましいであろう。この種の欠陥検出により、上述したように表面の欠陥だけでなく表面下の欠陥も表示され得る方法が可能となる。よって、本発明の別の態様には、欠陥とその周囲との間の温度変化(例えば、温度コントラスト)を判断するために、連続して測定(例えば、視界の温度プロファイル又は温度写真)を行うことにより、完了時を含む被膜方法のいつの時点においても、表面下の欠陥を検出し位置を特定する方法が含まれる。別の実施形態においては、IRセンサは、ある期間に亘って視界を走査することがある。温度変化の測定は、特定の欠陥及びその周囲の公知の熱放射率から構成された、予想される温度変化(例えば、予想される温度コントラスト)と比較されることがある。この方法は、塗料の最も外側の被膜内にある表面の欠陥を検出し得るだけでなく、最も外側の被膜の下の1つ以上の被膜層の欠陥も検出し位置を特定することがある。
例えば、図4について述べると、表面の及び表面下の欠陥を検出し位置を特定する代替方法が例示されている。前述したように、本発明による方法のこの態様の原理は、温度調節装置(即ち、キュア装置)内で加熱された後のシェル及び被膜の温度変化を測定することである。図4に例示されているように、被膜が、ステップ122で自動車の表面に塗布されることがある。被膜が塗布された後、上述したように、自動車シェル及び被膜の温度が調節される(124)。被膜されたシェルがある温度に達して加熱が終わった後、欠陥とそれらの周囲との最大のコントラストが達成されると、IRセンサが、シェルの温度変化の速度及び被膜内の欠陥を(ステップ126)測定することがある。前述したように、欠陥と周囲の被膜との熱浸透率の差が熱的不整合を作る。この熱的不整合により、その周囲と比較して、その欠陥とは異なる熱波動の反射が生じ、この結果、温度コントラストのプロファイルがIRセンサによって確立され得る。最大の温度コントラストは、シェル及び関連する被膜によって変わることがあり、温度及び変化を測定するタイミング及び特有の手順も、これに従って変わり得る。
IRセンサは、被膜及び欠陥の公知の熱浸透率値でプログラムされ得る温度コントラスト/温度変化データ及び最終的に予想される温度変化を、プロセッサに送信することがある。例えば、被膜及び欠陥が公知の熱伝導率、密度及び比熱キャパシタンスを有するので、予想される温度変化(如何に、シェル、被膜及び欠陥が温度を急速に変化させるか)が判断され得る。したがって、冷却されたシェル、被膜及び欠陥の実際の温度変化と、これらの間の温度コントラストから、欠陥の存在を判断するために、予想される温度変化と比較されることがある。同様に、検出された欠陥の実際の温度変化が、段階130で、欠陥(即ち、粉塵、髪、金属剥片など)の特有の種類及び重大度を判断するために、プログラムされたデータ及び以前の試験から蓄積されたデータと比較されることがある。重大な欠陥が示されなかった場合、自動車シェルは、生産現場へと又は次の塗装作業所へと移動することがある(ステップ140)。
上述したように、被膜のための、予想される温度変化又は予想される温度コントラストを形成するために、熱属性(即ち、κ、ρ、c)が識別され得る。
Figure 2008519980
Figure 2008519980
熱浸透率値により、被膜の熱慣性が判断される。この慣性及び拡散率値を以下の発熱(加熱温度調節のための)伝導式に当てはめると、温度上昇プロファイル(加熱による表面温度の上昇)ができる。
Figure 2008519980
ここで、tは時間変数であり、Cは熱吸収に関係する定数であり、Lは被膜層の厚さである。よって、その温度上昇プロファイルの実際の許容誤差及び修正形態を設定するために、検査される被膜の熱放射を監視することにより、予想される温度変化(例えば、予想される温度コントラスト)が形成される。
本明細書において論じた比較に基づき、重大な欠陥が観察された場合には、欠陥が、段階130で特有の領域に特定されることがある。述べたように、IRセンサは、視界内の領域を格子にマップし、格子のそれぞれの正方形又はピクセルが測定するべき所望の領域を映すことがある。プロセッサは、予想される温度変化(上記で論じた)に基づいて異常(欠陥)の場所を判断するために、相対隣接ピクセルの温度変化の速度を互いに比較し得る。一態様によれば、以下により詳細に記載するように、隣接ピクセルの比較が、ピクセルの温度コントラストを判断し比較するために、「自己参照」技術によって行われ得る。次いで、コントラストを認識することにより、欠陥の領域及び深さが識別され得る。したがって、欠陥が特有の被膜層及び領域の両方が特定されることがある。言い換えれば、この実施形態においては、その欠陥の平面の場所及び深さの両方が判断され得る。
次いで、プロセッサは、ステップ132で、欠陥パラメータと格納されている欠陥現象履歴のデータとを比較することにより、その欠陥が修復可能であるかどうかを判断することがある。欠陥が修復可能でない場合、一実施形態においては、シェルは、ステップ134でスクラップとして送られることがある。表面及び被膜が修復可能であると判断された場合、技能者が、段階136でその欠陥を修復する又は上記に論じたような他の適切な対策を行うことがある。
図4に例示されている方法も、1層の被膜又はシェル内の欠陥を検出するのに使用されることがあり、したがって、1層以上の被膜の適用形態に限定されるものではないことを理解されたい。例えば、図3について述べると、ここでは、1つの被膜が自動車シェルに塗布されるが、IRセンサは、測定期間中の実際の温度変化を測定し、かつシェル、被膜、及び欠陥について熱放射率値(予想される温度変化)と比較するために、その測定をプロセッサに送信するよう構成されることがある。したがって、図4に例示されている方法は、検出された温度変化の速度を測定及び比較することにより、単層の及び多層の被膜の両方の欠陥を検出するのに使用され得る。
本発明に従って、自動車の被膜方法の絶対的な品質をさらに保証するために、上記で論じた方法を組み合わせることも考えられる。例えば、図5について述べると、多層の被膜を検査する方法の別の実施形態が例示されている。図3及び図4と同様に、被膜が、塗装作業所Iで自動車シェルに(ステップ222で)塗布されることがある。被膜が塗布された後、自動車シェル及び被膜が上記に論じたように調節されることがある(ステップ224)。キュア装置から取り外された後、IRセンサは、シェル及び被膜から放射された輻射(温度プロファイル)を測定するための視界写真を撮り、シェル及び被膜内の欠陥の温度変化の速度を測定する(226)ことがある。IRセンサは、格納されているデータと比較するために、そのデータをプロセッサに送信することがある。
プロセッサは、欠陥の存在を判断するために、自動車シェルの温度シグネチュアを有する温度プロファイルと、許容できる既存のモデルプロファイルと、及び/又は、後被膜方法において前の温度プロファイルとを比較することがある(ステップ228a)。同様に、プロセッサは、欠陥の存在を判断するために、実際の温度変化と予想される温度変化とを比較することがある(ステップ228b)。所望の場合には、この比較は、欠陥の真の性質と修復が必要か及び/又は実行可能かを理解するために、ステップ230で共に又は別々に評価され得る。
本システム及び方法はこのような詳細な測定及び比較が可能であり、これにより欠陥を直ちに検出できるので、本発明は、他の人工知能及び/又は自動フィードバック論理と統合されることがあり、したがって、欠陥が検出されると、作業の統計的分析及び被膜方法の必要な変更(もしあるならば)がリアルタイムで行われ得ることが考えられる。例えば、図2及び図5について述べると、欠陥(即ち、塗料のスプレーしぶき)の検出に基づいて、プロセッサ40が、修復のために現在のシェルの欠陥にフラグを立て、さらに、噴霧圧力や塗料の量を減少し、スプレーガンなどを洗浄する又は取り替える(即ち、検出された欠陥を補正する)よう、塗装作業所Iの塗布装置50に信号を送信することがある。この情報はまた、問題の領域を識別することにより、被膜塗布システムの保全又はグレードアップを容易にする。その上、プロセッサは、欠陥、欠陥の原因となった機械類の作業、及び/又はその欠陥が発生した機械類又は作業所の技術作業についての情報に関する知識データベースを格納する及び/又は更新することがある。したがって、前の段階の被膜内だけでなく被膜方法全体の、欠陥を最小限に抑える又は排除するよう、リアルタイムの変更及び統計的分析が行われ得る。
初めに
本明細書において記載する赤外線検査技術により、多様な自動車製造プロセスにおける欠陥の存在を調査するための、柔軟で非接触かつ非破壊的なツールが実現される。以下の実施例に示されているように、本発明の原理は、溶接された複合高分子プラスチックジョイントの、被膜表面及び/又は接着強度/完全性を検査するのに適用され得る。
これらの実施例においては、利用され得る赤外線技術の種類には、例えば、送信信号及び/又はパルス反射信号の使用が含まれ得る。光熱波動の検出及び生成は、非接触システム及び方法を用いて離れたところで行なわれ得る。これらの実施例において使用される遠隔走査及び領域検査技術により、リアルタイムの製造作業の検査時間及び使用を改良することが可能となる。
様々な加熱方法が、このような欠陥検出に利用され得る。被膜の接着の適用形態の場合のように、表面近く、つまり浅い接着界面の検査について、材料表面全体の熱上昇を監視する赤外線サーモグラフィの段階加熱レジームが使用され得ることが分かっている。また、プラスチック結合の適用形態と同様に、低い熱伝導率の材料内の深部欠陥又は表面下の欠陥の検査の場合についても、パルス反射される赤外線サーモグラフィの設定がより良い定量分析を提供するのに利用され得ることが分かっている。

ここで記載するように、赤外線サーモグラフィを使用して接着の完全性及び被膜の欠陥を評価することは、上記で論じた概念及び原理に基づき得る。特に、フィルム基板の界面について、これらの異常が、上記で論じた熱的不整合因数Γに支配される量だけ熱波動を反射する平面を構成する。これはまた、以下のように定義され得る。
Figure 2008519980
ここで、eは、熱慣性、又は浸透率であり、
Figure 2008519980
と定義される。
kは熱伝導性であり、pは密度、cは材料の比熱である。下付き文字の、coat、planeとは、被膜材料及び反射面がそれぞれ作られる材料(例えば、空気)である。
欠陥に熱を閉じ込める、熱波動を反射する熱的不整合因数Γの役割は、以下の熱伝導式で表され得る。
Figure 2008519980
ここで、zは深さ、tは時間変数、Cは熱吸収に関する定数、Lは材料の厚さ、aは、a=k/p・cとして定義される熱浸透率である。その解は、赤外線検出器によって検出された面の温度履歴であり、深さz=0で表現され得る。この式から、Γは、反射面(欠陥又は基板界面)から面の温度値に影響する材料表面への前方及び後方への熱の移動を決定する因数であることが明らかである。
例証的適用形態
したがって、本発明の原理に従って、基板界面からの熱波動の反射効果は、表面下の欠陥を特定する、かつ被膜フィルムの厚さを測定するのに使用され得る。厚さ測定の適用形態が、図6に例示されている。ここには、スチール基板からの反射に対する異なる例証的塗料層の厚さにおける、温度履歴グラフ(即ち、温度対時間)が示されている。次いで、厚さの値が、半無限(即ち、反射界面がない)の場合からの逸脱が発生した時間から推測され得る。
次いで、同様に、接着界面の完全性の評価が特有の深さの(接着界面で)Γの値を監視し、熱的不整合要因値に基づいて接着異常の特性を決定付けるという同様の手順を利用して行われ得る。この適用形態を例示するために、図7は、異なるΓ値を有する接着層界面からの反射を示している。図8は、上記の熱伝導式の正規形をプロットしたものであり、この正規化は加熱源(即ち、C)に対して行われ、正規化された時間はフーリエ数の平方根である。
Figure 2008519980
したがって、時間の経過に伴う温度プロファイルを監視すること、特にプロファイルの熱的不整合を監視すること(即ち、プロファイルの1つの領域が如何に周囲の領域と異なっているかの変化を監視すること)が、三次元の表面下の欠陥識別及び厚さ測定の両方に使用され得る。
したがって、上記に示し、かつ以下により具体的な実施例について記載するように、本発明の原理は、被膜、表面、及び接着界面内の、表面下の欠陥を検査し突き止めるのに使用され得る。一態様によれば、時間の経過に伴う温度プロファイルを監視すること、特に温度プロファイルによって表示された熱的不整合及び/又は温度コントラストの変化を監視することが、欠陥の特有の深部場所及び/又は欠陥厚さの位置を正確に示すのに使用され得る。
より具体的な実施例を以下に記載する。
実施例1
この実施例においては、赤外線システムが、防錆被膜の欠け落ちた箇所を検出するために生産ラインに設置される。図8は、その周囲とは異なる温度シグネチュアを表す、欠け落ちた箇所を有する防錆保護被膜で被膜された鉄骨構造の温度プロファイルを示している(同じ赤外線検出システムは、欠落した被膜箇所(薄い塗料)の検出に使用され得る。)。これらの欠け落ちた箇所は、検出するのに容易な目標となる被膜とは異なる熱慣性を有するスチール基板を露出する。この適用形態は図9に示されており、ここには、薄い塗装領域の視覚画像及びこれに対応する温度プロファイルが示されている。本発明の原理によれば、その領域の時間の経過に伴う温度変化は、時間の経過に伴う温度プロファイルを監視することによって判断され得る。これにより、欠陥が、本明細書に記載されている方法などに従って、予想される変化に対する温度変化基づいて判断され得る。
実施例2
この実施例においては、赤外線システムが、本発明の追加の原理に従って高分子プラスチックの溶接ジョイントの接着層の完全性を調査するのに使用される。ジョイントは、この実施例においては、接着界面を有する2層の高分子(高密度ポリエチレンHDPE)の複合体から作られる。断熱の目的で、熱吸収属性及び放射属性がより良くなるように黒くするために、炭素色素がHDPE層の1つに追加されている。この実施例において検査されるジョイントの形状が、図10の断面図に示されており、この実施例の形状が頸部で共に溶接された2つのカップで表されている。HDPE層と当該形状の残りの部分との間には接着界面がある。この実施例においては、赤外線サーモグラフィは2つのモードで印加され得る。刺激物(例えば、ソース)及び検出器が両側にある送信モードがある。反射モードについては、刺激物及び検出器は、同じ側に位置し、時間の経過に伴う表面温度上の反射した熱波動効果を監視する。反射モードを使用する主要目的は、リアルタイムの非接触モードを使用して、層間剥離などの表面下の特徴のいくつかを調査することである。
この実施例においては、この材料の動作を予測するのを助けるための分析モデルが考案されている。この分析モデルは、図11に示されており、接着領域をシミュレートするためのものである。このモデルは、以下の円柱座標式においてほぼ同種の熱伝導式を表すよう、間接的な有限差分手法を利用している。
Figure 2008519980
この対称性により分析が簡単なものとなり、円グラフの1片のみを研究するだけで良い。背壁及び側壁は断熱性を有すると仮定される。刺激境界条件は、放射源に従って設定される。境界条件は送信モードに適合するよう調整され得る。対流及び放射表面の熱損失はこのモデルに含まれる。分析研究における層間剥離は、高分子と空気との間に存在する熱的不整合による熱特性波動を反映する界面を構成する空気層としてモデル化される。
表面下の特徴からの熱波動の反射は、その時点でその周囲との偏差を生じさせる面の温度値に影響を及ぼす。この偏差は、時間の経過に伴って監視され、温度コントラストとして記録される。図12は、欠陥のない箇所にQ=100kW/mのパルス及びエアギャップに第2のパルスを溶着した後の時間の経過に伴う冷却曲線サンプルを示している。図13は、異なる深さで発生する異なる層間剥離について、時間の経過に伴う温度コントラストを示している。示されているように、コントラストピークは、層間剥離の深さが増加するにつれて衰退する。図12及び図13は、時間の経過に伴う温度変化を監視し記録するための最良の観察期間、及び鋭敏性の限界を決定する際に、パルス赤外線サーモグラフィ手順を案内するのに使用され得る。
記録された後、データは、異なるソフトウェアルーチン、即ち、パルス位相サーモグラフィPPT、合成赤外線サーモグラフィSIT、及び/又は赤外線動的トモグラフィIDTを使用して分析され得る。この実施例についての以下の分析は、キッシングボンドの接着層の厚さをマッピングするためのIDTに基づく。この手法は、最大のコントラスト行列及び時間グラム行列を確立することに基づく。最大のコントラスト行列は、パルスに応答した過渡期を通じて示された、欠陥のある箇所と欠陥のない箇所との間の最大の偏差値を提示し、これらの値の発生時間は時間グラム行列によって報告される。
しかも、この実施例においては、最大のコントラスト行列に必要な温度絶対コントラストを計算する際に、自己参照手順が利用される。自己参照手順は、温度プロファイル内のそれぞれのピクセルとその周囲の小さい局所部位又は領域(例えば、ピクセルのカーネル)との偏差を計算することに基づく。この手順により、温度偏差を計算するために温度プロファイル内に公知のサウンド領域が必要なくなり、それぞれの温度プロファイルが自ら参照するので、その精度が保証される。MATLABを使用するコンピュータコードが、修正された赤外線動的トモグラフィの計算のために準備される。厚さマッピングを可能にするために、トモグラフィの結果を表示するためのさらなる修正形態が適用される。この技術の表示は、検査される材料をこれらの深さでの熱属性の分散に対応する深さスライスにスライシングすることに基づく。この適用形態においては、トモグラフィの出力は、多くのスライスではなく1つの画像内にすべての情報を含むよう、厚さマップの形態で表される。この実施例においては、厚さマッピングスキームは、以下の式を使用して適用される。
Figure 2008519980
ここで、Z(i,j)は、場所(i,j)の深さであり、a、bは、(検査される材料による)実験的に判断された定数であり、tmax(i,j)は、時間グラム行列からとられた位置(i,j)の時間であり、Cmax(i,j)は、コントラスト行列からの(i,j)のコントラスト値である。したがって、深さは、コントラスト及びこのコントラストを計算するよう温度プロファイルが撮られたこれに対応する時間から判断され得る。
この手法を使用した結果が、図14に示されており、これは、キッシングボンドの中間にある厚さマップの点、即ち、層間剥離を示している。この結果の正当性を検証するために、超音波C走査が、Ultrascan5(US Ultratek、Martinez、CA)を用いて行われる。この走査のための変換器周波数は5MHzであり、サンプリング率は100MHzであり、X−Y走査増分は0.012インチであり、音速は0.0741インチ/マイクロ秒である。サウンドの速度は、ノギスを用いて直接測定され得る粉砕再生層及び未使用層を含む、サンプルの部品全体に適用される接触変換器を用いて推定される。X−Y増分は、変換器のビームフィールド幅の約1/4(0.04インチ)で選ばれる。C走査の結果は、図15に示されており、このサンプルの層間剥離の存在を検証する。
実施例3
この実施例においては、本発明の追加の態様に従って、赤外線「自己参照」サーモグラフィが再び適用される。述べたように、この技術により、温度プロファイルからの欠陥の自動識別を可能にするための欠陥の無い領域についての以前の知識の必要性が排除される。この技術の原則は、温度コントラストを計算するために、これらの部位が欠陥のない動作を示すという仮定を用いて、サーモグラムプロファイルを小さく局在化された部位に分割することである。この技術は、静的(ホットスポット検出)な場合及び動的(赤外線トモグラフィ)な場合の両方において利用され得る。
この実施例においては、温度コントラストの計算は、画像品質即ち欠陥の可視度を向上させることができるので、データを処理する際に使用される。したがって、連続して撮られた多くのプロファイル内の温度変化を監視することにより、コントラストが計算され得る。多くの定義が、温度コントラストを計算するのに使用され得る。このような定義には、現在進行中のコントラスト、正規化されたコントラスト、及び絶対コントラストが含まれ、絶対コントラストが最も広く使用されている。絶対コントラストは、以下の式で計算され得る。
Figure 2008519980
ここで、(i,j)は、温度プロファイル内のピクセルの座標であり、tは、ある時点であり、C(i,j,t)は、温度絶対コントラストであり、Tdef(i,j,t)は、欠陥のあるピクセルの温度であり、Tsoa(i,j,t)は、欠陥のない領域の温度値である。
しかし、これらのコントラストの定義のいずれかを使用する温度コントラストの計算に共通の問題は、研究される温度プロファイル内の欠陥のない領域(即ち、Tsoa(i,j,t))について事前の知識を必要とすることである。温度コントラストの計算の他の問題は、検査される材料の表面に対する刺激力の均一でない分散、及び表面形状又は条件(表面荒さ及び清浄度)による不均一な表面放射率から生じる。連続してコントラストを測定する場合の計算の問題も存在する。このような問題により、赤外線サーモグラフィの検査の自動化が複雑となり、いくつかの幾何学的形状を評価する際の自動システムの効率が低下する。
この実施例の技術は、隣接した領域に対する1つの領域の時間の経過に伴う温度変化を監視するために、対数の温度時間歴勾配の偏差を研究するよう、欠陥のあるピクセルの動作とその周囲のピクセルのカーネル(21×21)とを比較することに基づく。「自己参照」と呼ばれるこの技術の基本原理は、表面を表すピクセルのための温度プロファイルデータを、温度コントラストの計算に必要な、欠陥のない動作として役立つ小さい局所部位に分割することである。次いで、コントラストは、以下の式で計算される。
Figure 2008519980
ここで、Tpix(i,j,t)は、i、j座標で時間tのピクセルの温度であり、Tsurr(i,j)(t)は、時間tのピクセル(i,j)の周囲の部位の平均温度である。したがって、この方法では、周囲のピクセルの平均値からピクセル温度を引き算する。次いで、そのピクセルに欠陥があるかどうかを決定するために、それぞれのピクセルのそれぞれの差が周囲の部位の標準偏差の特定の倍数と比較され得る。この差が(特定の適用形態について判断された)基準より大きい場合、このピクセルには欠陥がある。基準より小さい場合、欠陥はない。したがって、この計算は、時間の経過に伴って連続的にではなく、特定の温度プロファイルについて静的に行われ得る。
この手法の他の適用形態は、平均値ではなく、周囲の部位の温度の中央値を使用し得る。この手法の適用形態は、検査される材料の表面上の均一でない加熱及び不均一な放射率から生じる難題を克服する。力の分散の均一性及び放射率値を保証するよう、温度プロファイルを十分小さい局所部位に分割することにより、不均一性の影響が排除される。以下の4つの主要な利点が、この実施例の自己参照手順を適用することによって得られる。
(1)それぞれの温度プロファイルが自らを参照するので、別個の「比較標準」の必要性が排除される。
(2)刺激力の伝達が均一でないこと、不均一な放射率、及び幾何学的な差が克服される。
(3)温度プロファイル内の欠陥の無い領域についての、事前の知識の必要性が排除される。
(4)簡単かつ静的な作業、したがって、比較的短い処理時間となる。
欠陥検出の精度を最高にするために、局所部位の大きさは、その欠陥及び求められる大きさより大きくなるよう、領域全体に安定した温度が確実となるよう、しかし不均一性が最小の領域内に含まれるのに十分に小さいよう選択され得る。
自己参照スキームの有効性を例示するために、以下のより具体的な実施例に含まれる欠陥の異なる種類及び大きさを有する、静的赤外線サーモグラフィのホットスポット検出及び動的赤外線トモグラフィの適用形態が適用される。
実施例3A
この実施例においては、自動車の被膜構造体(120μmの厚さ)で塗装された金属表面上の面の特徴を検出するための赤外線システムが設計される。このような特徴には、塗装表面の外観に影響を及ぼす、塵粒、へこみ、及び混入した異物が含まれることがある。これらの不具合のある領域は、熱属性(粉塵又はほこりの混入)の差又は形状(へこみ)による放射率の差により、それらの周囲と比較した場合に、異なる温度プロファイル(及び時間の経過に伴う異なる温度変化)を有する。
この実施例は、リアルタイムで大きい視界を検査するためであり、視界全体に均一に熱を確実に伝達しなければならないという難題がある。この実施例においては、スチール基板のサンプルが、3つの異なる種類の塗料(プライマー被膜、透明被膜、及び金属剥片を含む第3被膜)で塗装される。この被膜の組合せは、異なる温度プロファイルを有する3つの領域を設けるよう選ばれる。プライマー被膜は厚くて不透明であり、透明被膜は透明層であり、第3の層は熱伝導性を増加させる金属剥片である。表面上に小さい圧痕(へこみ)が人工的に作られ、へこみの大きさは、検出可能な欠陥を作るよう0.75mmである。
サンプルは、ハロゲンランプ(150ワット)を使用して無作為に(15秒間)加熱され、表面の温度マップ(写真)が、赤外線ボロメータを使用して、特に200μmのゲルマニウムレンズを備えたFLIR製のThermaCAM SC2000を使用して記録される。未加工の温度プロファイル画像が、図16に表されている。温度コントラストはまた、2つの手法を用いて計算される。即ち、1つは、(オペレータ介入を必要とする)温度プロファイルデータ内の欠陥が無い領域についての事前の知識を有する絶対コントラストを使用し、もう1つは、自己参照手法を使用する。2つの手順の結果は、図17a及び図17bに示されている。図17aは、自己参照技術を使用してへこみ全体のコントラストを示し、図17bは、絶対コントラストを示している。強度値のプロファイルが、両方の技術を用いて得られたコントラストを示すよう、図17a及び図17bのそれぞれの隣に描かれている。
この実施例の自己参照アルゴリズムは、その他のピクセル値を維持しつつ、以下の式に示されているものなどの基準を超える、それらの局所部位からの偏差レベルを表示するピクセルの強度を上げることを目的とする。この技術は、被膜表面の時間の経過に伴う温度変化を判断することを含む、本発明の様々な実施形態と共に利用され得る。この実施例においては、局所部位の大きさは、19×19ピクセルのカーネルが選ばれる。
Figure 2008519980
ここで、ηは、温度プロファイルの信号対雑音比に依存する定数であり、σsurr(i,j)は、ピクセル(i,j)の周囲の局所部位の標準偏差である。このような基準は、データ内容を有用なもののみに減少する温度プロファイルの閾値に使用され、また自動検出スキームとしても使用され得る。式の基準に従って閾値処理ステップを図16の温度プロファイルに適用することにより、その他から対象となっている特徴を分離する際の、このような手法の有効性を示す図18が生じる。閾値処理プロセスでは、局所部位の大きさが帯状の部分の幅より小さく設定されるので、中間の帯状の部分及びその縁部が完全に削除され、したがって、このような部位が帯状の部分内に含まれる。
実施例3B
自己参照技術のこの特徴を強調するために、面の欠陥及び大きい熱質量を有する別のサンプルが研究される。このサンプルは図19に示され、その結果が図20に示されている。大きい熱質量のために、全体的に見て、このような統計による自動欠陥検出アルゴリズムの有効性を減少させる温度プロファイルに基づく閾値処理統計が使用不可能となる。
実施例3C
この実施例においては、自己参照技術は、赤外線トモグラフィに適用される。トモグラフィの手法は、本質的に、温度コントラストの過渡的動作を監視することに基づくという理由により選ばれる。自己参照アルゴリズムは、その動作の分析を援助するよう、トモグラフィの手順に適用される。この実施例の場合の適用形態は、溶接されたプラスチックの複合構造体(高密度ポリエチレン高分子)内の接着の完全性の検査である。この実施例においては、15msの持続時間の6.4kJのパルス源を使用する、パルス赤外線サーモグラフィの設定が利用される(商品名BALCAR Source 6400)。この実施例においては、図10に示されているサンプルが利用される。
自己参照コントラスト計算スキームを採用するパルスルーチンから得られた1連の温度プロファイルについて赤外線トモグラフィの手順を行うために、MATLABを使用するコンピュータアルゴリズムが準備される。局所部位(領域又はカーネル)の大きさは、この場合、33×33ピクセルが選ばれる。トモグラフィのルーチンからの出力は、最大のコントラストの時間及びその時間に対応する最大のコントラストの値を表す、時間グラム画像の形態である。他のトモグラフィの適用形態においては、最大の半分のコントラストの時間が使用され得る。赤外線トモグラフィの結果の伝統的な表示については、検査される材料は、特有の深さの熱属性の分散に対応する深さ層にスライシングされる。この実施例においては、トモグラフィの結果を表すための新しい形態が使用される。サーモグラフィのデータは、検査される領域のための厚さマップで表される。このマップは、異なる深さ層の異なるスライスではなく、1つの画像内のデータのすべてを表す。この画像は、時間グラム行列及び最大のコントラスト行列を以下の式に入れることによって作られる。
Figure 2008519980
ここで、Zは、欠陥の深さであり、tminは、最大のコントラストの時間に関係し得る、正規化された噴出性e/e曲線の最小値の発生時間である。この式は、上記に論じたように、以下の式のようにコントラストで書かれ得る。
Figure 2008519980
ここで、Z(i,j)は、場所(i,j)の深さであり、a、bは、(検査される材料により)実験的に判断される定数であり、tmax(i,j)は、時間グラム行列からとられた位置(i,j)の時間であり、Cmax(i,j)は、コントラスト行列からの(i,j)のコントラスト値である。
トモグラフィの手順の結果は、図14に示されており、これは、溶接ボンドの中間にある層間剥離を示している。これらの層間剥離の存在を検証するために、厚さマップの超音波検査が使用される。超音波装置(商品名Ultratek)は、5MHzの変換器周波数、及び100MHzのサンプリング率を使用している。超音波の結果は、図15に示されている。
したがって、自己参照アルゴリズムは、動的な温度絶対コントラストの計算において有効に働く。この自己参照技術は、オペレータ介入を必要とせずに、静的及び動的の両方の赤外線サーモグラフィの適用形態を自動化するのを助け得る。さらに、この技術は、複雑な形状を検査するのにも使用されることがある。
理解されるであろうが、このアルゴリズムの機能、及び本明細書に記載されている、他の機能、方法、及びアルゴリズムは、所望のタスクを行うよう、ソフトウェア、ファームウェア、及び/又は関連ハードウェア回路を使用して実施され得る。例えば、記載されている様々な機能は、汎用又は専用プログラミング言語を使用して、一連の命令、符号、又はコマンドとしてプログラムされ、1つ以上の汎用又は専用コンピュータ、プロセッサ、又は他の制御回路で実行され得る。
実施例4
この実施例においては、熱放射の差を利用して、スチール基板(燃料タンク、鉄骨構造など)上の欠落した被膜箇所を検出するためのシステムが設けられる。このシステムは、熱検出器と、目標表面全体に検出器を横切る走査機構と、加熱ランプなどの放射源に又はそのプロセスにおいて実在するエアガン又はキュア装置などの対流装置に適用される温度調節装置と、計算処理ユニットとを備える。論じたように、時間の経過に伴う熱放射の差は、スチール基板の属性を有する欠落した箇所と塗装材料の属性を有する上手く被膜された周囲との間の、熱属性、即ち、熱伝導性κ、比熱C、密度ρの差に起因すると思われる。被膜されたスチール製品の(上記の熱刺激方法のいずれかによる)熱調節により、欠落した被膜箇所が、上手く被膜された周囲とは異なる形で熱を貯え、移動させ、したがって、これらの箇所の異なる温度インプリント、及び欠落した箇所と上手く被膜された周囲との間の時間の経過に伴って起こる温度変化の差が生じる。熱検出器は、被膜表面からの熱放射を検出し、この放射の温度プロファイルを作る。処理ユニットは、この温度プロファイルを処理し、上手く被膜された基板から逸脱した熱放射値の偏差、及び時間の経過に伴って起きる温度変化の差を検出する。次いで、この情報は、本明細書に記載されているシステム及び方法などに従って、その欠落した箇所を検出するのに利用され得る。
例示的システムレイアウトが、図21に示されている。この実施例においては、スチール燃料タンクが、保護のために、欠け防止被膜で被膜されるが、塗装の適用形態ステップ(塗装ガンノズルの形態)で、「薄い塗料箇所」と呼ばれるいくつかの箇所が欠落する。キュア装置の出口に設置された熱検出器は、タンクの熱放射画像を作成し、コンピュータコードが、それらの放射に基づいて、特に時間の経過に伴って起きる温度変化と時間の経過に伴って予想される温度変化との差を使用して、薄い塗料箇所を検出する。
実施例5
この実施例においては、プラスチックジョイントの完全性が検査される。利用されるこのシステムは、プラスチック成形されたジョイントの接触強度、及び接着界面の層間剥離の存在を検査する。このシステムは、この実施例においては、熱検出器と、目標表面全体に検出器を横切る走査機構と、温度調節手段と、コンピュータ又は処理ユニットとを備える。上手く接触しているジョイント(即ち、閉じ込められた空気がない)が、(その低い熱伝導性値による)空気の高い熱抵抗により、空気ポケットを有するジョイントより速く熱を伝達する。したがって、如何に熱が時間の経過に伴ってジョイントを通るかを監視することが、接触強度の評価の助けとなる。その上、層間剥離は、異なる熱属性(即ち、熱伝導性κ、比熱C、及び密度ρ)を有し、熱反射係数と呼ばれる因数に支配される量だけ熱前線を反射する界面を構成する。
Figure 2008519980
このシステムは、2つの形態において適用され得る。即ち、1つは、両側に熱検出器と熱刺激物とを有し、図22に示されているものなどの、検討中のジョイントを通る熱伝達を監視する。ジョイント全体の熱前線の速度は、(ブレイクジョイントに必要な引っ張り力によって測定された)ジョイントの異なる強さ値と共に変化する。この概念は、図23に示されている。したがって、図23に示されているように、ジョイントが加熱されるときの時間の経過に伴う温度変化を監視することにより、ジョイント内に不具合が存在するかどうかが判断され得る。特に、弱いジョイントは、空洞の存在により、強いジョイントよりゆっくりとその温度を上昇させる。
このシステムの第2の形態は、検出器と熱刺激物とを同じ側に備える適用形態に用いられ得る。したがって、この場合、熱検出器は、伝達された構成要素ではなく、熱前線の反射した構成要素を監視する。この形態の設定が図24に示されている。反射した熱前線により、界面、又はジョイント内の反射の特徴が明らかになり、この反射に必要な時間は、これらの界面深さの表示である。処理ユニットは、反射量及びその発生時間を材料の熱拡散率α=κ/ρCに関係付けて、以下の式を使用して、図6に示されているこれらの特徴の深さマップを作成する。
Figure 2008519980
C、nは、材料の熱属性に依存する定数、即ち、αであり、Sは、熱反射信号である。したがって、深さと様々な時間に得られる熱反射信号との間に関係が存在する。
別の実施例として、プラスチックの燃料タンクが、粉砕(真空化)又は崩壊(衝撃損傷)に対して、タンク構造の完全性を保護するためのスタンドオフを組み込む。これらのスタンドオフは、壊れる前の、ある引っ張り力を持ちこたえる、プラスチックジョイントから作られる。上述した方法及びシステムは、このようなスタンドオフの構造上の完全性を検査するのに利用され得る。
実施例6
この実施例においては、キュアの均一性及び十分性の点において、キュア性能を評価するシステムが設けられる。このシステムは、熱検出器と、目標表面全体に検出器を横切る走査機構と、温度調節装置と、処理ユニットとを備える。キュアプロセスは、被膜構造内の含有水分を乾燥させ、塗料接着に触媒作用を及ぼすのに適用される。熱検出器を用いて、キュアした被膜製品からの熱放射を監視することにより、その製品の表面の温度値が提供される。このプロファイルは、キュア装置による熱刺激の分散を示す。水は、塗料とは異なる熱属性(即ち、熱伝導性κ、比熱C、及び密度ρ)を有するので、温度プロファイル内の温度値は、被膜構造内の含有水分を表示する。このシステムは、キュアした被膜製品からの熱放射を収集するために、キュア装置の出口に設置された熱検出器を含み得る。この熱放射は、予め定義された(予想される)理想的なキュアプロファイルと比較するよう処理される。この理想的なプロファイルは、制御されたサンプルからの温度プロファイルより得られる。
実施例7
図25は、本発明の様々な原理に従って、表面の及び表面下の欠陥を突き止めるよう行われ得る比較の組合せを示す概略図である。この実施例は、多くの欠陥検査作業を用いて表面被膜内の欠陥を判断するシステム及び方法を作るため、本発明の様々な態様を組み合わせる。この実施例においては、自動車部品の表面が層で被膜され、それぞれの層について、欠陥の存在を判断するための比較が行われる。特に、第1の層を塗布する前に、シェルの温度プロファイル又はシグネチュア102が、所与の時間、所望の温度でシェルを加熱することにより、次いで赤外線センサを使用して、温度プロファイルを得ることにより、被膜されていない(例えば、プライマーのみで被膜された)シェルから得られる。シェルの温度プロファイルデータ102は、シェル上のそれぞれの場所XnYnの温度Tを表す、複数のピクセル位置を有する。
次いで、第1コーティンがシェルに塗布され、この被膜が、シェルと同じ温度でかつ同じ時間加熱される。次いで、第1の層を有するシェルの温度プロファイルデータ104は、IRセンサを使用することにより、時間t1で撮られる。次いで、この被膜の温度プロファイルデータ104は、それぞれのピクセルが、そのシェルから撮られた元のプロファイル内のこれに対応するピクセルからどの程度大きく逸脱しているかを判断するために、シェルプロファイルデータ102と比較される。シェルプロファイル102内のピクセルの温度が、被膜のプロファイルデータ104内のこれに対応するピクセルを所定の量(適用形態による)だけ超えると、そのピクセル場所の潜在的な欠陥が目立つようになる。追加の検査として、被膜のプロファイルデータ104内のそれぞれのピクセルが、著しい偏差が存在するかどうかを判断するために、データ内の周囲のピクセルと比較されることがある。特に、この実施例においては、周囲のピクセル108の温度Tが平均化され、ピクセル106がその平均値と比較される。その計算に使用される周囲のピクセル108の数は、適用形態及び通常遭遇する欠陥の種類によって変えられ得る。例えば、燃料タンクの被膜内の欠陥は、通常、5ミリメートル未満の大きさであり、したがって、5ミリメートルに対応する適切な数のピクセルが選ばれ得る。ピクセル106がその周囲のピクセル108の平均値と比較された後、これらの値の差を表すそれぞれのピクセルのための温度コントラストが計算され得る。次いで、それぞれのピクセルのための温度コントラストが、閾値レベルと比較され得る。著しい偏差が存在する場合、ピクセル106が潜在的な欠陥の場所として記録される。著しいと考えられる偏差の量は、適用形態の種類に依存する。例えば、プラスチックの燃料タンクの被膜を分析する場合には、5ミリメートルのカーネルサイズには、0.3〜0.4℃又はそれ以上の偏差が著しいと言える。追加の比較として、時間t1に撮られた被膜の温度プロファイル104は、被膜が塗布された後の理想的なシェルを表しており、かつ欠陥が存在しない、経験的に又は計算によって判断され得る、予想される被膜の温度プロファイル105と比較され得る。層1について、異なる時間tの追加の温度プロファイルも撮られ、同様の比較において使用され得る。
しかも、追加されるそれぞれの層の温度プロファイルデータについて、追加の比較が行われ得る。この実施例においては、第2の層が塗布された後、第2被膜の温度プロファイルデータセット110が、シェル及び2つの層が加熱された後の時間t1に得られる。次いで、この第2被膜データ110は、これに対応するピクセル内に著しい偏差が存在するかどうかを判断するために、第1被膜データ104と比較され得る。第2被膜の温度プロファイルデータ110も、偏差が存在するかどうかを判断するために、シェルの温度プロファイルデータ102と比較され得る。しかも、時間t1の第2被膜の温度プロファイルデータ110も、予想される温度プロファイルデータ105と比較され得る。その上、追加の第2被膜の温度プロファイルも時間t2で得られ、このデータは、絶対温度コントラストデータセット112を判断するために、時間t1にとられた第2被膜データ110と比較され得る。この絶対温度コントラストデータ112は、時間t2での被膜2のために、予想される温度コントラスト114と比較され得る。その上、自己参照温度コントラストの計算が、ピクセルデータ116(時間t2で層2のためにとられた温度プロファイルデータを表すデータ116)で行われ得る。この実施例においては、それぞれのピクセル118の温度Tは、それぞれのピクセルの温度コントラストを判断するために、(例えば、ピクセル119の平均値又は平均温度を使用して)周囲のピクセル119の温度Tと比較される。ピクセルの温度コントラストと許容しうるコントラストとの間に著しい偏差が存在する場合、ピクセル118は潜在的な欠陥場所として記録され得る。周囲のピクセル119の数は、適用形態によって変えられ得る。いくつかの実施形態においては、ピクセル118は、実際には、多くのより小さいピクセルの平均温度を表すことがある。
したがって、欠陥のピクセルの場所は、その欠陥の二次元の場所を識別する。様々な欠陥のピクセル場所が識別された後、その欠陥の深さがその欠陥の場所の三次元識別を提供するよう計算され得る。例えば、温度コントラスト及び欠陥が目立つ温度プロファイルの時間を認識することにより、上記で論じた式が欠陥の深さを判断するのに利用され得る。したがって、加熱後の温度コントラストが発生した時間が、検出された欠陥の深さを表示し得る。代替形態として、時間を熱反射信号に関係付ける上記の式が欠陥の深さを判断するのに利用され得る。
前述の様々な実施形態及び実施例についての記載は、例示及び説明の目的で記載したものである。したがって、これらは、網羅的なものでも、また開示されている正確な形態に本発明を限定するものでもない。当業者には、上記の教示により、多くの代替形態、修正形態、及び変形形態が明らかとなろう。例えば、本発明のシステム及び方法は、自動車の被膜方法以外の、数多くの適用形態における多様な被膜に適用されることがある。したがって、単層の及び多層の被膜を検査するための様々な要素、システム、及び方法の代替実施形態のいくつかについて具体的に論じてきたが、当業者には、他の実施形態も明らかであろうし、又は比較的容易に開発されるであろう。したがって、本発明による態様は、本明細書に記載されたすべての代替形態、修正形態、及び変形形態、及び特許請求の範囲の趣旨及び範囲内に含まれるその他をも包含するものである。
本発明に従って温度シグネチュアを作る例示的システム及び方法を示す概略図である。 本発明に従って表面を被膜する及び温度プロファイルを測定するシステム及び方法の例示的作業所を示す概略図である。 本発明に従って被膜を検査する方法の例示的ステップを例示する簡略化された流れ図である。 本発明に従って被膜を検査する方法の代替実施形態の例示的ステップを例示する簡略化された流れ図である。 本発明に従って被膜を検査する方法の別の実施形態の例示的ステップを例示する簡略化された流れ図である。 本発明の原理に従って、時間の経過に伴う温度変化が如何に欠陥を検出するのに使用され得るかを示すグラフである。 本発明の原理に従って、時間の経過に伴う温度変化が如何に欠陥を検出するのに使用され得るかを示すグラフである。 本発明の原理に従って検出され得る、その周囲とは異なる温度プロファイルを表す欠け落ちた箇所を有する防錆保護被膜で被膜された鉄骨構造の温度プロファイルの例を示す図である。 本発明の原理に従って検出され得る、薄い塗装領域の視覚画像及びこれに対応する温度プロファイルを示す図である。 本発明の原理に従って、その強度及び完全性が判断され得る、結合ジョイントの一例を示す図である。 図10の例の結合領域をシミュレートするための三次元分析モデルである。 本発明の原理に従ってエアギャップの存在を検出するのに使用され得る、結合ジョイント内の場所のパルスを溶着した後の、時間の経過に伴うサンプル温度冷却曲線を示すグラフである。 本発明の原理に従って層間剥離を検出するのに使用され得る、異なる深さの異なる層間剥離について、時間の経過に伴う温度コントラストを示すグラフである。 本発明の原理に従って検出され得る層間剥離を有する、キッシングボンドジョイントの中間の厚さの低下を示す厚さマップである。 結合ジョイントの例の、層間剥離の存在を検証する画像を示す図である。 本発明の原理に従ってその欠陥が検出され得る、被膜表面の例の温度プロファイルを示す図である。 表面のへこみ全体に存在するコントラスト及び強度の例を示す画像及びグラフである。 自己参照技術の実施形態を使用して計算されたコントラスト及び強度を示す図である。 絶対コントラスト及び強度の実施形態を示す図である。 対象となっている特徴をその他のものから分離する際の自己参照手法の有効性を示すグラフである。 温度プロファイル及びこれに対応する強度を示すグラフである。 欠陥を示すグラフである。両方とも、本発明の原理に従って自己参照技術を使用して検出された別のサンプルの欠陥を示している。 別の例証的システムレイアウトを示す概略図である。このシステムは、本発明の原理に従って構成され、動作する。 結合ジョイント内の欠陥を検出するシステムを示す概略図である。このシステムは、本発明の原理に従って構成され、動作する。 本発明の原理に従って欠陥を検出するのに使用され得る、複数のサンプルについての時間の経過に伴って温度が変化するときの熱前線の速度を例示するグラフである。 本発明の原理に従って構成され、動作する、別の例示的検出システムを示す概略図である。 本発明の様々な原理に従って、表面の及び表面下の欠陥を突き止めるよう行われ得る比較の組合せを示す概略図である。

Claims (30)

  1. 被膜内の欠陥を検出するシステムであって、
    a)製造部品の表面の温度を変更するよう構成されている温度調節装置と、
    b)時間の経過に伴う前記表面の温度を測定するよう構成された赤外線センサであって、第1に前記表面の第1の温度プロファイルを、第2に前記表面の第2の温度プロファイルを提供するよう構成され、前記プロファイルのそれぞれが、前記表面の複数の個々の特定された領域について複数の温度データを含む、赤外線センサと、
    c)前記第1及び第2の温度プロファイルを受信し、前記プロファイルのそれぞれとシグネチュア温度プロファイルとを比較し、それぞれの特定された領域の温度と周囲の特定された領域の温度とを比較することにより、それぞれのプロファイルのそれぞれの特定された領域について、時間の経過に伴う温度変化を表すパラメータを計算するよう構成されたプロセッサであって、さらに、それぞれの特定された領域についての前記温度変化パラメータのそれぞれと閾値レベルとを比較することにより、前記表面の表面下の不具合を識別するよう構成されているプロセッサと、を含むシステム。
  2. 前記システムが、被膜を前記表面に塗布するよう構成された塗布装置をさらに備える請求項1に記載のシステム。
  3. 前記システムが、被膜を前記表面に塗布するよう構成された複数の被膜作業所をさらに有する請求項1に記載のシステム。
  4. 前記表面が、被膜を有する請求項1に記載のシステム。
  5. 前記システムが、連結されているセンサを有する複数の被膜作業所をさらに有する請求項1に記載のシステム。
  6. 前記プロセッサが、さらに、前記表面によって放射された輻射と温度シグネチュア及び許容できる既存のモデルプロファイルとを比較するよう構成されている請求項1に記載のシステム。
  7. 前記プロセッサが、さらに、検出された欠陥を補正するよう、塗布装置に送信するための信号を生成するよう構成されている請求項1に記載のシステム。
  8. 前記プロセッサが、前記周囲の領域の大きさを変えるよう構成されている請求項1に記載のシステム。
  9. 被膜内の欠陥を検出する方法であって、
    a)温度シグネチュアを作るよう、表面の温度プロファイルを測定するステップと、
    b)第1被膜を前記表面に塗布するステップと、
    c)その温度が時間の経過に伴って変化しているときに、前記表面及び前記第1被膜から放射された輻射の第1の測定を行うステップと、
    d)前記放射された輻射と前記温度シグネチュアとを比較するステップと、
    e)第2被膜を前記第1被膜に塗布するステップと、
    f)その温度が時間の経過に伴って変化しているときに、前記表面、前記第1及び第2被膜からの放射された輻射の第2の測定を行うステップと、
    g)前記第1の測定と前記第2の測定とを比較するステップと、
    h)それぞれのピクセル位置の温度と周囲のピクセルの温度とを比較することにより、前記測定の少なくとも1つにおける複数のピクセル位置について温度変化を計算するステップと、
    i)表面の又は表面下の欠陥を識別するよう、前記比較及び前記計算を使用するステップと、を含む方法。
  10. a)予想される温度変化を構成するステップと、
    b)前記表面及び被膜の温度を調節するステップと、
    c)前記表面及び被膜の前記温度変化を測定するステップと、
    d)前記表面及び被膜の前記測定された温度変化と前記予想される温度変化とを比較するステップと、をさらに含む請求項9に記載の被膜内の欠陥を検出する方法。
  11. 前記表面及び前記第1被膜から放射された輻射の前記第1の測定と第1の許容できる既存のモデルプロファイルとを比較するステップをさらに含む請求項9に記載の被膜内の欠陥を検出する方法。
  12. 放射された輻射の前記第2の測定と第2の許容できる既存のモデルプロファイルとを比較するステップをさらに含む請求項9に記載の被膜内の欠陥を検出する方法。
  13. 前記計算に基づいて前記欠陥の深さを識別するステップをさらに含む請求項9に記載の被膜内の欠陥を検出する方法。
  14. 識別された欠陥を補正するステップをさらに含む請求項9に記載の被膜内の欠陥を検出する方法。
  15. 被膜内の欠陥を検出する方法であって、
    a)複数の被膜を表面に塗布するステップと、
    b)熱浸透率値を前記被膜のそれぞれに割り当てるステップと、
    c)前記表面被膜のための予想される温度変化を構成するステップと、
    d)前記表面及び被膜の温度を調節するステップと、
    e)1つの温度プロファイルデータセット内のそれぞれの位置の温度と周囲のピクセル位置の温度とを比較することにより、複数のピクセル位置について前記調節された表面及び被膜内の時間に対する温度変化を計算するステップと、
    f)前記調節された表面及び被膜内の前記ピクセル位置について前記計算された温度変化と前記予想される温度変化とを比較するステップと、
    g)欠陥を識別するために前記比較を使用するステップと、を含む方法。
  16. a)温度シグネチュアを作るよう、前記表面の温度プロファイルを測定するステップと、
    b)前記表面及び前記被膜の第1被膜から放射された輻射の第1の測定を行うステップと、
    c)前記放射された輻射と前記温度シグネチュアとを比較するステップと、
    d)前記表面及び前記被膜の第2被膜から放射された輻射の第2の測定を行うステップと、
    e)前記第1の測定と前記第2の測定とを比較するステップと、をさらに含む請求項15に記載の被膜内の欠陥を検出する方法。
  17. 前記計算に基づいて前記欠陥の深さ及び平面位置を識別するステップをさらに含む請求項15に記載の被膜内の欠陥を検出する方法。
  18. 前記欠陥を補正するステップをさらに含む請求項15に記載の被膜内の欠陥を検出する方法。
  19. 検出された1つ以上の欠陥に対処するよう、塗布装置の動作の変更を実施するステップをさらに含む請求項15に記載の被膜内の欠陥を検出する方法。
  20. 被膜内の欠陥を検出する方法であって、
    a)温度シグネチュアを作るよう、表面の温度プロファイルを測定するステップと、
    b)第1被膜を前記表面に塗布するステップと、
    c)前記表面及び前記第1被膜の温度を変更するステップと、
    d)それらの温度が時間の経過に伴って変化するときの、前記表面及び前記被膜から放射された輻射量の第1の測定を行うステップと、
    e)放射された前記輻射と前記温度シグネチュアとを比較するステップと、
    f)第2被膜を前記第1被膜に塗布するステップと、
    g)前記表面及び前記第1及び第2被膜の温度を変更するステップと、
    h)それらの温度が時間の経過に伴って変化するときの、前記表面及び前記第1及び第2被膜から放射された輻射量の第2の測定を行うステップと、
    i)前記表面、前記第1及び第2被膜の時間の経過に伴う温度変化を測定するステップと、
    j)時間の経過に伴う予想される温度変化を構成するステップと、
    k)前記第1の測定と前記第2の測定とを比較するステップと、
    l)前記表面、前記第1及び第2被膜の時間の経過に伴う前記測定された温度変化と時間の経過に伴う前記予想される温度変化とを比較するステップと、
    m)それぞれの特定された領域のデータと周囲の領域のデータとを比較することにより、前記第1の又は第2の測定において複数の特定された領域のそれぞれについて温度パラメータの変化を計算するステップと、
    n)欠陥の深さを識別するよう、前記温度パラメータの変化を使用するステップと、を含む方法。
  21. 前記表面及び前記第1被膜から放射された輻射の前記第1の測定と第1の許容できる既存のモデルプロファイルとを比較するステップをさらに含む請求項20に記載の被膜内の欠陥を検出する方法。
  22. 前記表面、前記第1及び第2被膜から放射された輻射の前記第2の測定と第2の許容できる既存のモデルプロファイルとを比較するステップをさらに含む請求項20に記載の被膜内の欠陥を検出する方法。
  23. それぞれの特定された領域のそれぞれの温度変化パラメータと閾値レベルとを比較するステップをさらに含む請求項20に記載の被膜内の欠陥を検出する方法。
  24. 前記計算に利用される周囲の領域の数を変えるステップをさらに含む請求項20に記載の被膜内の欠陥を検出する方法。
  25. 検出された1つ以上の欠陥に対処するよう、塗布装置の作業の変更を実施するステップをさらに含む請求項20に記載の被膜内の欠陥を検出する方法。
  26. 被膜内の欠陥を検出する方法であって、
    a)第1被膜を表面に塗布するステップと、
    b)前記表面及び被膜の温度を修正するステップと、
    c)温度プロファイルを作るよう、前記表面の複数の特定された領域について前記表面及び前記第1被膜の温度パラメータを測定するステップと、を含み、さらに、
    d)前記温度プロファイルのそれぞれの特定された領域について、温度変化パラメータを判断するよう、前記表面及び前記第1被膜の前記温度パラメータと周囲の特定された領域の温度パラメータとを比較するステップと、
    e)前記特定された領域の前記温度変化パラメータに基づいて、欠陥を識別するステップと、を含む方法。
  27. a)温度シグネチュアを作るよう、前記表面の温度プロファイルを測定するステップと、
    b)前記表面及び前記第1被膜から放射された輻射量の第1の測定を行うステップと、
    c)放射された前記輻射と前記温度シグネチュアとを比較するステップと、
    d)前記表面と前記第1被膜及び第2被膜との間の温度差を作るステップと、
    e)第2被膜を前記第1被膜に塗布するステップと、
    f)前記表面、前記第1及び第2被膜からの放射された輻射量の第2の測定を行うステップと、
    g)前記第1の測定と前記第2の測定とを比較するステップと、をさらに含む請求項26に記載の被膜内の欠陥を検出する方法。
  28. 前記比較に基づいて、前記欠陥の三次元の場所を識別するステップをさらに含む請求項26に記載の被膜内の欠陥を検出する方法。
  29. 識別された欠陥を補正するステップをさらに含む請求項26に記載の被膜内の欠陥を検出する方法。
  30. 欠陥を識別すると、塗布装置の作業をリアルタイムで変更するステップをさらに含む請求項26に記載の被膜内の欠陥を検出する方法。
JP2007541150A 2004-11-12 2004-11-12 被膜、表面、及び界面を検査するシステム及び方法 Expired - Fee Related JP4463855B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2004/037622 WO2006054962A2 (en) 2004-11-12 2004-11-12 Systems and methods for inspecting coatings, surfaces and interfaces

Publications (2)

Publication Number Publication Date
JP2008519980A true JP2008519980A (ja) 2008-06-12
JP4463855B2 JP4463855B2 (ja) 2010-05-19

Family

ID=36407563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007541150A Expired - Fee Related JP4463855B2 (ja) 2004-11-12 2004-11-12 被膜、表面、及び界面を検査するシステム及び方法

Country Status (3)

Country Link
EP (1) EP1828754B1 (ja)
JP (1) JP4463855B2 (ja)
WO (1) WO2006054962A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013081151A1 (ja) * 2011-11-30 2013-06-06 ダイハツ工業株式会社 ワックスの塗布膜厚並びに塗布範囲評価方法、及び塗布検査システム
JP2014032160A (ja) * 2012-08-06 2014-02-20 Japan Aerospace Exploration Agency 探傷方法及び探傷装置
CN104164660A (zh) * 2014-08-26 2014-11-26 复旦大学 一种低介电常数多孔SiOCNH薄膜及其制备方法
JP2019174408A (ja) * 2018-03-29 2019-10-10 住ベシート防水株式会社 接合状態検査方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2684365A1 (en) 2007-04-16 2008-10-23 Josep Maria Tornero Montserrat System of detection of faults in surfaces by merging of images by means of light sweeping
EP2357466B1 (en) * 2008-10-21 2016-07-27 West Nippon Expressway Engineering Shikoku Company Limited Infrared thermal image analyzer
ITBA20110067A1 (it) * 2011-11-29 2013-05-30 Diagnostic Engineering Solutions S R L "dispositivo modulare per la diagnostica strutturale di materiali e strutture varie, mediante tecniche termografiche ad eccitazioni multiple".
ITRM20130381A1 (it) * 2013-06-28 2014-12-29 Diagnostic Engineering Solutions S R L Dispositivo modulare per la diagnostica strutturale di materiali e strutture varie, mediante tecniche termografiche ad eccitazioni multiple.
CN105403588A (zh) * 2015-12-28 2016-03-16 国电联合动力技术有限公司 一种评估风电叶片涂料抗冰冻性能的测试系统及方法
DE102017219996A1 (de) * 2017-11-10 2019-05-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Beschichtungsfehlerminimierung und/oder -behebung bei einer Vielzahl von Fehlertypen bei der Herstellung beschichteter Bauteile
JP6907951B2 (ja) * 2018-01-11 2021-07-21 トヨタ自動車株式会社 ヒートシンクの検査方法、検査装置及び生産方法、生産システム
EP3907501B1 (en) * 2019-02-06 2023-04-12 Panasonic Intellectual Property Management Co., Ltd. Thickness measurement method, thickness measurement device, defect detection method, and defect detection device
CN113295124B (zh) * 2021-05-26 2023-02-03 广船国际有限公司 涂层厚度检测方法及涂层厚度检测装置
DE102021124565A1 (de) * 2021-09-22 2023-03-23 Infineon Technologies Ag Vorrichtung und verfahren zum aufspüren von rissen in proben mit hilfe von infrarotstrahlung
CN114609189B (zh) * 2022-02-24 2023-04-21 电子科技大学 一种基于微波致热的缺陷深度信息提取方法
CN115688525B (zh) * 2022-11-09 2023-10-20 内蒙古科技大学 一种涂层结构优化设计方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4454541A (en) 1982-06-14 1984-06-12 Rca Corporation Charge coupled device based blemish detection system and method
US20020018510A1 (en) * 1996-07-31 2002-02-14 Murphy John C. Thermal-based methods for nondestructive evaluation
US5711603A (en) * 1996-10-30 1998-01-27 United Technologies Corporation Nondestructive testing: transient depth thermography
US6346704B2 (en) * 1997-06-06 2002-02-12 Osb Scan Inc. Defect detection in articles using computer modelled dissipation correction differential time delayed far IR scanning
DE19726696A1 (de) * 1997-06-24 1999-01-07 Jenoptik Jena Gmbh Verfahren zur Fokussierung bei der Abbildung strukturierter Oberflächen von scheibenförmigen Objekten
US6013915A (en) * 1998-02-10 2000-01-11 Philip Morris Incorporated Process control by transient thermography
US6751342B2 (en) * 1999-12-02 2004-06-15 Thermal Wave Imaging, Inc. System for generating thermographic images using thermographic signal reconstruction
US6495833B1 (en) * 2000-01-20 2002-12-17 Research Foundation Of Cuny Sub-surface imaging under paints and coatings using early light spectroscopy

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013081151A1 (ja) * 2011-11-30 2013-06-06 ダイハツ工業株式会社 ワックスの塗布膜厚並びに塗布範囲評価方法、及び塗布検査システム
JP2014032160A (ja) * 2012-08-06 2014-02-20 Japan Aerospace Exploration Agency 探傷方法及び探傷装置
CN104164660A (zh) * 2014-08-26 2014-11-26 复旦大学 一种低介电常数多孔SiOCNH薄膜及其制备方法
JP2019174408A (ja) * 2018-03-29 2019-10-10 住ベシート防水株式会社 接合状態検査方法
JP7122138B2 (ja) 2018-03-29 2022-08-19 住ベシート防水株式会社 接合状態検査方法

Also Published As

Publication number Publication date
EP1828754A2 (en) 2007-09-05
WO2006054962A2 (en) 2006-05-26
EP1828754B1 (en) 2013-07-17
EP1828754A4 (en) 2012-02-29
WO2006054962A3 (en) 2006-08-10
JP4463855B2 (ja) 2010-05-19

Similar Documents

Publication Publication Date Title
US7220966B2 (en) Systems and methods for inspecting coatings, surfaces and interfaces
JP4463855B2 (ja) 被膜、表面、及び界面を検査するシステム及び方法
US10094794B2 (en) Characterization of wrinkles and periodic variations in material using infrared thermography
US9519844B1 (en) Infrared thermographic methods for wrinkle characterization in composite structures
US20070051891A1 (en) Systems and methods for inspecting coatings
AU2017245369B2 (en) Wrinkle characterization and performance prediction for composite structures
US7549339B2 (en) Inverse thermal acoustic imaging part inspection
KR20200019187A (ko) 유리섬유 및 비금속의 파이프를 비파괴적으로 검사하는 장치 및 방법
Zhao et al. A novel defect depth measurement method based on Nonlinear System Identification for pulsed thermographic inspection
Atwya et al. Transient thermography for flaw detection in friction stir welding: a machine learning approach
WO2018018075A1 (en) Vessel inspection system
US8467069B2 (en) Method and device for inspecting the quality of a formed thermoplastic fiber-reinforced plastic component
Hwang et al. Automated visualization of steel structure coating thickness using line laser scanning thermography
JP2008014959A (ja) コーティング部材の界面欠陥検査方法
Zhu et al. Study on probability of detection for fatigue cracks in sonic infrared imaging
EP3447480B1 (en) In-process monitoring; automated decision-making; and process control for composite manufacturing using part-referenced ply-by-ply infrared thermography and other non-contact non-destructive inspection
KR102514450B1 (ko) 열화상 카메라를 이용한 용접부 결함 검출 방법
CN105784771A (zh) 金属蜂窝钎焊件脉冲红外热波检测方法
RU2568044C1 (ru) Электротермический способ выявления и определения дефектов в стенках элементов конструкции
Clough Uncertainty in Thermographic Non-destructive Testing
CN118192477B (zh) 一种用于塑焊一体机的设备智能控制系统及方法
Türler et al. Nondestructive Evaluation of Spot Welds Using Acoustic and Thermographie Imaging Techniques
Shrestha et al. Non-Destructive Testing for Detection, Localization and Quantification of Damage on Composite Structures for Composite Repair Applications
JP2001004574A (ja) コーティング部材の界面欠陥検査方法
Contreras et al. The Search for'Defects' by Non-invasive Techniques: Development and Application of Pulsed-Transmissive and Reflective Thermography in Fiberglass Material

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100217

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313118

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees