JP2020187005A - 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体 - Google Patents

推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP2020187005A
JP2020187005A JP2019091717A JP2019091717A JP2020187005A JP 2020187005 A JP2020187005 A JP 2020187005A JP 2019091717 A JP2019091717 A JP 2019091717A JP 2019091717 A JP2019091717 A JP 2019091717A JP 2020187005 A JP2020187005 A JP 2020187005A
Authority
JP
Japan
Prior art keywords
welded portion
range
reflected wave
intensity distribution
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019091717A
Other languages
English (en)
Other versions
JP6805289B2 (ja
Inventor
真拡 齊藤
Masahiro Saito
真拡 齊藤
千葉 康徳
Yasunari Chiba
康徳 千葉
彰 牛島
Akira Ushijima
彰 牛島
利幸 小野
Toshiyuki Ono
利幸 小野
淳 松村
Jun Matsumura
淳 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019091717A priority Critical patent/JP6805289B2/ja
Priority to EP20174365.5A priority patent/EP3739331B1/en
Priority to US15/931,148 priority patent/US11480549B2/en
Priority to CN202010408497.6A priority patent/CN111948285B/zh
Publication of JP2020187005A publication Critical patent/JP2020187005A/ja
Application granted granted Critical
Publication of JP6805289B2 publication Critical patent/JP6805289B2/ja
Priority to US17/950,473 priority patent/US11927570B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/11Analysing solids by measuring attenuation of acoustic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/041Analysing solids on the surface of the material, e.g. using Lamb, Rayleigh or shear waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/043Analysing solids in the interior, e.g. by shear waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04Analysing solids
    • G01N29/07Analysing solids by measuring propagation velocity or propagation time of acoustic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/26Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/265Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the sensor relative to a stationary material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22Details, e.g. general constructional or apparatus details
    • G01N29/28Details, e.g. general constructional or apparatus details providing acoustic coupling, e.g. water
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4463Signal correction, e.g. distance amplitude correction [DAC], distance gain size [DGS], noise filtering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/02Indexing codes associated with the analysed material
    • G01N2291/023Solids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00Indexing codes associated with group G01N29/00
    • G01N2291/26Scanned objects
    • G01N2291/267Welds

Landscapes

  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

【課題】反射波の受信結果から溶接部の範囲を推定できる、推定装置、検査システム、推定方法、プログラム、及び記憶媒体を提供する。【解決手段】実施形態に係る推定装置は、処理部を備える。処理部は、第1方向に配列された複数の超音波センサのそれぞれが、第1方向と交差する第2方向へ、溶接部に向けて超音波を送信して反射波を受信することで取得した情報を受け付ける。処理部は、第2方向における反射波の強度分布に基づいて、溶接部の第2方向における範囲を推定する。処理部は、第2方向の各点で、第1方向における反射波の強度分布の重心位置を計算し、複数の重心位置に基づいて溶接部の第1方向における範囲を推定する。【選択図】図1

Description

本発明の実施形態は、推定装置、検査システム、推定方法、プログラム、及び記憶媒体に関する。
溶接では、2つ以上の部品の一部同士を溶融して接合させ、1つの部材が作製される。溶接により作製された部材は、溶接された部分(以下、溶接部という)が、適切に接合されているか検査される。例えば、非破壊の検査では、超音波センサを含むプローブを溶接部に接触させる。そして、溶接部に向けて超音波を送信し、その反射波に基づいて接合の有無を調べる。
超音波が溶接部以外からも反射される場合、接合の検査精度を向上させるためには、溶接部から反射された成分に基づいて接合を検査することが望ましい。このため、反射波の受信結果に基づいて、溶接部の範囲を推定できる技術が求められていた。
特許第5618529号公報
本発明が解決しようとする課題は、反射波の受信結果から溶接部の範囲を推定できる、推定装置、検査システム、推定方法、プログラム、及び記憶媒体を提供することである。
実施形態に係る推定装置は、処理部を備える。前記処理部は、第1方向に配列された複数の超音波センサのそれぞれが、前記第1方向と交差する第2方向へ、溶接部に向けて超音波を送信して反射波を受信することで取得した情報を受け付ける。前記処理部は、前記第2方向における前記反射波の強度分布に基づいて、前記溶接部の前記第2方向における範囲を推定する。前記処理部は、前記第2方向の各点で、前記第1方向における前記反射波の強度分布の重心位置を計算し、複数の前記重心位置に基づいて前記溶接部の前記第1方向における範囲を推定する。
実施形態に係る検査システムを表す模式図である。 実施形態に係る検査システムの一部を表す斜視図である。 実施形態に係る検査システムのプローブ先端の内部構造を表す模式図である。 実施形態に係る検査システムの動作の概要を表すフローチャートである。 実施形態に係る検査システムによる検査方法を説明するための模式図である。 反射波の受信結果に基づく画像の模式図である。 一断面でのZ方向における反射波の強度分布を例示するグラフである。 Z方向における反射波の強度分布を例示するグラフである。 反射波の強度分布をフィルタリングした結果を例示するグラフである。 反射波の受信結果を例示する模式図である。 X−Y面における反射波の強度分布の一例である。 反射波の受信結果を例示する模式図である。 実施形態に係る推定装置の動作を例示するフローチャートである。 反射波の受信結果を例示する画像である。 実施形態に係る検査システムの動作を表すフローチャートである。 実施形態に係る検査システムを説明するための図である。 実施形態に係る検査システムの別の動作を表すフローチャートである。 実施形態に係る検査システムを説明するための図である。 溶接部近傍の画像を例示する模式図である。 溶接部近傍の画像を例示する模式図である。 実施形態に係る検査システムの別の動作を説明するための模式図である。 Z方向における反射波の強度分布を例示するグラフである。 変形例に係る推定装置により推定された溶接部の範囲を例示する模式図である。 実施形態の変形例に係る推定装置の動作を例示するフローチャートである。
以下に、本発明の各実施形態について図面を参照しつつ説明する。
図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
図1は、実施形態に係る検査システムを表す模式図である。
図2は、実施形態に係る検査システムの一部を表す斜視図である。
実施形態に係る検査システム100は、2つ以上の部品が一体化された溶接部を非破壊検査するために用いられる。
図1に表したように、実施形態に係る検査システム100は、検査装置1及び推定装置2を含む。図2に表したように、検査装置1は、プローブ10、撮像部20、塗布部30、及びアーム40を含む。
プローブ10は、溶接部を検査するための複数の超音波センサを含む。撮像部20は、溶接された部材を撮影し、画像を取得する。撮像部20は、画像から溶接痕を抽出し、溶接部の大凡の位置を検出する。塗布部30は、カプラントを溶接部の上面に塗布する。カプラントは、プローブ10と検査対象との間で超音波の音響的整合をとるために用いられる。カプラントは、液体でも良いし、ゲル状でも良い。
プローブ10、撮像部20、及び塗布部30は、例えば図2に表したように、アーム40の先端に設けられている。アーム40は、例えば、多関節ロボットである。アーム40の駆動により、プローブ10、撮像部20、及び塗布部30を変位させることができる。
検査装置1は、例えば制御部1aを含む。制御部1aは、処理回路を含む中央演算処理装置(CPU)を備える。制御部1aは、検査装置1に含まれる上述した各構成要素の動作を制御する。
推定装置2は、処理部2aを含む。処理部2aは、処理回路を含むCPUを備える。処理部2aは、検査装置1で取得された情報に基づいて、溶接部の位置を推定する。
推定装置2は、表示装置2b及び入力装置2cを含んでいても良い。表示装置2bは、例えば、モニタ、プロジェクタ、又はプリンタを含む。入力装置2cは、例えば、キーボード、マウス、タッチパッド、又はマイク(音声入力)を含む。タッチパネルのように、表示装置と入力装置の両方として機能する装置が用いられても良い。
検査装置1は、有線通信、無線通信、又はネットワークを介して推定装置2と接続される。又は、検査装置1に推定装置2が組み込まれ、1つの装置が検査装置1と推定装置2の両方として機能しても良い。この場合、制御部1a及び処理部2aの一方のみが設けられ、制御部1a及び処理部2aの当該一方が、制御部1a及び処理部2aの両方として機能しても良い。
図3は、実施形態に係る検査システムのプローブ先端の内部構造を表す模式図である。
プローブ10先端の内部には、図3に表したマトリクスセンサ11が設けられている。マトリクスセンサ11は、複数の超音波センサ12を含む。超音波センサ12は、例えば、トランスデューサである。複数の超音波センサ12は、互いに交差するX方向(第1方向)及びY方向(第3方向)に配列されている。この例では、X方向とY方向は、直交している。X方向とY方向は、直交していなくても良い。プローブ10は、X方向及びY方向を含む面と交差するZ方向(第2方向)に移動し、検査対象に接触する。
図3は、部材5を検査する様子を表している。部材5は、金属板51(第1部材)と金属板52(第2部材)が、溶接部53においてスポット溶接されて作製されている。溶接部53では、金属板51の一部と金属板52の一部が溶融し、混ざり合って凝固した凝固部54が形成されている。それぞれの超音波センサ12は、カプラント55が塗布された部材5に向けて超音波USを送信し、部材5からの反射波RWを受信する。
より具体的な一例として、図3に表したように、1つの超音波センサ12が溶接部53に向けて超音波USを送信する。超音波USの一部は、部材5の上面または下面などで反射される。複数の超音波センサ12のそれぞれは、この反射波RWを受信(検出)する。それぞれの超音波センサ12が順次超音波USを送信し、それぞれの反射波RWを複数の超音波センサ12で受信することで、部材5の溶接部53近傍を、2次元的に検査する。
図4は、実施形態に係る検査システムの動作の概要を表すフローチャートである。
まず、撮像部20が部材5を撮影し、取得した画像から溶接部53の位置を検出する(ステップS1)。アーム40は、塗布部30を、溶接部53とZ方向において対向する位置へ移動させる。塗布部30は、カプラントを溶接部に塗布する(ステップS2)。アーム40は、プローブ10をZ方向に移動させ、溶接部53に接触させる(ステップS3)。
プローブ10が溶接部53に接触した状態で、複数の超音波センサ12が、溶接部53を含む部材5に向けて超音波USを送信し、反射波RWを受信する。検査装置1は、反射波RWを受信して得られた情報を推定装置2へ送信する。処理部2aは、情報を受け付けると、溶接部53のX方向、Y方向、及びZ方向のそれぞれの範囲を推定する(ステップS4)。
検査装置1は、推定装置2によって推定された範囲における反射波の受信結果に基づいて、アーム40を駆動させる。検査装置1は、アームの駆動により、プローブ10を変位させ、プローブ10の角度を調整する(ステップS5)。角度の調整後、複数の超音波センサ12が、超音波USを送信し、反射波RWを受信する。これにより、溶接部53が検査される(ステップS6)。制御部1aは、未検査の溶接部53があるか判定する(ステップS7)。未検査の溶接部53が無い場合、検査を終了する。未検査の溶接部53がある場合、制御部1aは、アーム40を駆動させ、プローブ10、撮像部20、及び塗布部30を別の溶接部53に向けて移動させる(ステップS8)。その後、再度ステップS1〜S7が実行される。
溶接部53の上面5b及び下面5dは、金属板51の上面5aに対して傾斜していることがある。これは、溶接部53が凝固部54を含むことや、溶接の過程における形状の変形などに基づく。この場合、上面5b又は下面5dに対して平均的に垂直な方向に沿って超音波USが送信されることが望ましい。これにより、上面5b及び下面5dにおいてより強く超音波が反射され、検査の精度を向上させることができる。また、ステップS4とS5が交互に繰り返されても良い。これにより、プローブ10の角度をより適切な値に調整できる。この結果、溶接部の検査の精度をさらに向上できる。
図5は、実施形態に係る検査システムによる検査方法を説明するための模式図である。
図5(a)に表したように、超音波USの一部は、金属板51の上面5aまたは溶接部53の上面5bで反射される。超音波USの別の一部は、部材5に入射し、金属板51の下面5cまたは溶接部53の下面5dで反射する。
上面5a、上面5b、下面5c、及び下面5dのZ方向における位置は、互いに異なる。すなわち、これらの面と超音波センサ12との間のZ方向における距離が、互いに異なる。超音波センサ12が、これらの面からの反射波を受信すると、反射波の強度のピークが検出される。超音波USを送信した後、各ピークが検出されるまでの時間を算出することで、どの面で超音波USが反射されているか調べることができる。
反射波の強度は、任意の態様で表現されて良い。例えば、超音波センサ12から出力される反射波強度は、位相に応じて、正の値及び負の値を含む。正の値及び負の値を含む反射波強度に基づいて、各種処理が実行されても良い。正の値及び負の値を含む反射波強度を、絶対値に変換しても良い。反射波強度の平均値を、各時刻における反射波強度から減じても良い。又は、反射波強度の加重平均値、重み付き移動平均値などを、各時刻における反射波強度から減じても良い。反射波強度にこれらの処理を加えた結果を用いた場合でも、本願で説明する各種処理を実行可能である。
図5(b)及び図5(c)は、超音波USを送信した後の時間と、反射波RWの強度と、の関係を例示するグラフである。ここでは、反射波RWの強度を絶対値で表している。図5(b)のグラフは、金属板51の上面5a及び下面5cからの反射波RWの受信結果を例示している。図5(c)のグラフは、溶接部53の上面5b及び下面5dからの反射波RWの受信結果を例示している。
図5(b)のグラフにおいて、1回目のピークPe1は、上面5aからの反射波RWに基づく。2回目のピークPe2は、下面5cからの反射波RWに基づく。ピークPe1及びピークPe2が検出された時間は、それぞれ、金属板51の上面5a及び下面5cのZ方向における位置に対応する。ピークPe1が検出された時間とピークPe2が検出された時間との時間差TD1は、上面5aと下面5cとの間のZ方向における距離Di1に対応する。
同様に、図5(c)のグラフにおいて、1回目のピークPe3は、上面5bからの反射波RWに基づく。2回目のピークPe4は、下面5dからの反射波RWに基づく。ピークPe3及びピークPe4が検出された時間は、それぞれ、溶接部53の上面5b及び下面5dのZ方向における位置に対応する。ピークPe3が検出された時間とピークPe4が検出された時間との時間差TD2は、上面5bと下面5dとの間のZ方向における距離Di2に対応する。
図6〜図12を参照して、ステップS4について具体的に説明する。
図6(a)及び図6(b)は、反射波の受信結果に基づく画像の模式図である。
図6(a)は、X−Z断面における検査対象の状態を表している。図6(b)は、Y−Z断面における検査対象の状態を表している。
図6(a)及び図6(b)では、反射波の強度が高い点は、白色で表されている。ここでは、模式的に、反射波の強度を二値化して表している。Z方向における位置は、超音波を発してから、反射波が受信されるまでの時間に対応する。X方向又はY方向に沿って延びる白線は、部材の面を表している。
図6(a)及び図6(b)において、X方向又はY方向の中央に存在する複数の白線は、溶接部53の上面5b及び下面5dからの反射波に基づく。X方向又はY方向の側方に存在する複数の白線は、金属板51の上面5a及び下面5c、又は金属板52の上面及び下面からの反射波に基づく。また、図6(a)及び図6(b)では、Z方向において3本以上の白線が存在する。これは、部材5の各部の上面と下面との間を、超音波USが多重反射していることを表している。
図6(a)及び図6(b)に表したように、マトリクスセンサ11による反射波の受信結果には、溶接部53以外からの反射波も含まれている。推定装置2は、その反射波の受信結果から、溶接部53の範囲を推定する。
ここでは、図6(a)及び図6(b)に例示したように、反射波の受信結果を2次元的に表している。反射波の受信結果は、3次元的に表されても良い。例えば、部材5は、複数のボクセルで表される。各ボクセルには、X方向、Y方向、及びZ方向のそれぞれの座標が設定される。反射波の受信結果に基づき、各ボクセルには、反射波強度が紐付けられる。推定装置2は、複数のボクセルにおいて、溶接部53に対応する範囲(ボクセルのグループ)を推定する。
図7(a)及び図7(b)は、一断面でのZ方向における反射波の強度分布を例示するグラフである。
図8は、Z方向における反射波の強度分布を例示するグラフである。
処理部2aは、反射波の受信結果に基づいて、Z方向における反射波の強度分布を計算する。図7(a)及び図7(b)は、その一例である。図7(a)及び図7(b)において、横軸はZ方向における位置を表し、縦軸は反射波の強度を表す。図7(a)は、1つのX−Z断面でのZ方向における反射波の強度分布を例示している。図7(b)は、1つのY−Z断面でのZ方向における反射波の強度分布を例示している。図7(a)及び図7(b)では、反射波強度を絶対値に変換した結果を表している。
又は、処理部2aは、Z方向の各点で、X−Y面における反射波強度を合算し、Z方向における反射波の強度分布を生成しても良い。図8は、その一例である。図8において、横軸はZ方向における位置を表し、縦軸は反射波の強度を表す。図8では、反射波強度を絶対値に変換し、且つZ方向の各点における反射波強度から、反射波強度の平均値を減じた結果を表している。
Z方向における反射波の強度分布は、溶接部の上面及び下面で反射した成分と、その他の部分の上面及び下面で反射した成分と、を含む。換言すると、強度分布は、図6(b)に表した時間差TD1に対応する周期成分と、図6(c)に表した時間差TD2に対応する周期成分と、を含む。
処理部2aは、フィルタリングにより、反射波の強度分布から、溶接部の上面及び下面で反射した成分のみを抽出する。例えば、溶接部のZ方向における厚さ(上面と下面との間の距離)の半分の整数倍に対応する値が、予め設定される。処理部2aは、その値を参照し、その値の周期成分だけを抽出する。
フィルタリングとしては、バンドパスフィルタ、ゼロ位相フィルタ、ローパスフィルタ、ハイパスフィルタ、又はフィルタ後の強度に対する閾値判定などを用いることができる。
図9は、反射波の強度分布をフィルタリングした結果を例示するグラフである。
図9において、横軸はZ方向における位置を表し、縦軸は反射波の強度を表す。図9に表したように、フィルタリングの結果、溶接部の上面及び下面で反射した成分のみが抽出される。
処理部2aは、抽出結果に基づいて、溶接部のZ方向における範囲を推定する。例えば、処理部2aは、抽出結果に含まれるピークを検出する。処理部2aは、1つ目のピークのZ方向における位置及び2つ目のピークのZ方向における位置を検出する。処理部2aは、これらの位置を基準に、例えば図9に表した範囲Ra1を、溶接部のZ方向における範囲と推定する。
溶接部の構造、マトリクスセンサ11の構成などにより、溶接部の上面からの反射波強度の符号(正又は負)と、溶接部の下面からの反射波強度の符号と、が互いに反転することがある。この場合、処理部2aは、正と負の一方のピークと、正と負の他方の別のピークと、を検出しても良い。処理部2aは、これらのピークの位置を基準に、溶接部のZ方向における範囲を推定する。また、反射波強度への処理によっては、反射波強度が正の値と負の値の一方のみで表される場合がある。この場合、溶接部のZ方向における範囲は、複数のピークの位置に基づいて推定されても良いし、ピークとボトムの位置に基づいて推定されても良いし、複数のボトムの位置に基づいて推定されても良い。すなわち、処理部2aは、フィルタリングした後の反射波強度について、複数の極値の位置に基づいて溶接部のZ方向における範囲を推定する。
X−Z断面及びY−Z断面のそれぞれにおける反射波の強度分布を生成したときは、X−Z断面における強度分布に基づくZ方向の範囲と、Y−Z断面における強度分布に基づくZ方向の範囲と、が推定される。例えば、処理部2aは、これらの複数の推定結果について、平均、加重平均、重み付き移動平均などを計算し、その計算結果を溶接部全体のZ方向における範囲と推定する。
又は、処理部2aは、X−Z断面及びY−Z断面の一方における反射波の強度分布に基づいて、溶接部のZ方向における範囲を推定し、その推定結果を、溶接部全体のZ方向における範囲とみなしても良い。処理部2aは、X方向の一部且つY方向の一部における反射波の強度分布に基づいて、溶接部のZ方向における範囲を推定し、その推定結果を、溶接部全体のZ方向における範囲とみなしても良い。これらの処理によれば、反射波の強度分布の生成に必要な計算量を低減できる。
図9の例では、範囲Ra1の下限のZ方向における位置は、1つ目のピークのZ方向における位置から、所定の値を減じた値に設定されている。範囲Ra1の上限のZ方向における位置は、2つ目のピークのZ方向における位置から、所定の値を加えた値に設定されている。こうすることで、溶接部の上面及び下面が、超音波センサ12の配列方向に対して傾いているときに、溶接部のX−Y面におけるいずれかの点で、2つ目のピークがZ方向の範囲から外れることを抑制できる。
溶接部のZ方向の範囲を推定した後、処理部2aは、溶接部のX方向の範囲及びY方向の範囲を推定する。
図10及び図12は、反射波の受信結果を例示する模式図である。
図10及び図12において、領域Rは、マトリクスセンサ11によって反射波の受信結果が得られた全体の領域を表す。領域Rの一断面では、溶接部の上面及び下面における反射波の成分と、その他の部分の上面及び下面における反射波の成分と、が含まれている。
処理部2aは、Z方向の各点で、X−Y面における反射波の強度分布を生成する。処理部2aは、予め設定されたZ方向の範囲内において、強度分布を生成しても良い。これにより、計算量を低減できる。又は、処理部2aは、推定したZ方向の範囲内において、強度分布を生成しても良い。これにより、計算量を低減しつつ、X−Y面における反射波の強度分布を生成する際に、溶接部の下面からの反射波成分が外れることを抑制できる。
図11(a)〜図11(c)は、X−Y面における反射波の強度分布の一例である。図11(a)は、Z=1の座標でのX−Y面における反射波の強度分布を表している。図11(b)は、Z=2の座標でのX−Y面における反射波の強度分布を表している。図11(c)は、Z=350の座標でのX−Y面における反射波の強度分布を表している。図11(a)〜図11(c)では、模式的に、反射波の強度を二値化して表している。
処理部2aは、Z方向の各点で、X−Y面における反射波の強度分布の重心位置を計算する。ここでは、強度分布を示す画像の重心位置を計算することで、強度分布の重心位置を得ている。例えば図11(a)〜図11(c)に表したように、処理部2aは、各画像における重心位置C1〜C350を計算する。図12において、線分Lは、Z=0〜Z=350までの全ての重心位置を繋いだ結果を表している。
処理部2aは、Z=0〜Z=350までの重心位置を平均化する。これにより、X方向における重心の平均位置及びY方向における重心の平均位置が得られる。図12において、平均位置APは、X方向における重心の平均位置及びY方向における重心の平均位置を表す。処理部2aは、平均位置APを中心として、X方向及びY方向のそれぞれにおいて所定の範囲を、溶接部のX方向の範囲Ra2、及び溶接部のY方向の範囲Ra3とする。
例えば、範囲Ra2及び範囲Ra3を推定するために、プローブ10(マトリクスセンサ11)の径を示す値Vが予め設定される。処理部2aは、X方向及びY方向において、AP−V/2からAP+V/2までを、それぞれ範囲Ra2及び範囲Ra3とする。この場合、X−Y面における推定範囲は、四角形状となる。この例に限らず、X−Y面における推定範囲は、5角以上の多角形状又は円状などであっても良い。X−Y面における推定範囲の形状は、溶接部の形状に応じて適宜変更可能である。
値Vに基づく別の値を用いて範囲Ra2及び範囲Ra3が決定されても良い。プローブ10の径を示す値に代えて、溶接部の径を示す値が予め設定されても良い。溶接部の径は、プローブ10の径と対応するためである。溶接部の径を示す値は、実質的に、プローブ10の径を示す値とみなすことができる。
以上の処理により、溶接部のZ方向の範囲Ra1、X方向の範囲Ra2、及びY方向の範囲Ra3が推定される。範囲が推定された後は、推定した範囲における反射波の受信結果に基づいて、図4に表したステップS5が実行される。
図13は、実施形態に係る推定装置の動作を例示するフローチャートである。
処理部2aは、検査装置1から送信された情報を受け付ける(ステップS401)。情報は、複数の超音波センサ12による反射波の受信結果を含む。処理部2aは、Z方向における反射波の強度分布を生成する(ステップS402)。処理部2aは、溶接部の厚さの値に基づいて強度分布をフィルタリングする(ステップS403)。これにより、溶接部における反射波成分だけが、強度分布から抽出される。処理部2aは、抽出結果に基づき、溶接部のZ方向における範囲を推定する(ステップS404)。処理部2aは、Z方向の各点で、X−Y面における反射波強度の重心位置を計算する(ステップS405)。処理部2aは、計算した複数の重心位置を平均化することで、平均位置を計算する(ステップS406)。処理部2aは、平均位置と、プローブ10の径と、に基づいて、X方向及びY方向におけるそれぞれの範囲を推定する(ステップS407)。
なお、Z方向における範囲の推定は、X方向及びY方向における範囲の推定の後に実行されても良い。例えば、図13に表したフローチャートにおいて、ステップS402〜S404は、ステップS405〜S407の後に実行されても良い。この場合、処理部2aは、推定されたX方向及びY方向の範囲内に基づいて、Z方向における反射波の強度分布を計算しても良い。これにより、計算量を低減できる。
実施形態の効果を説明する。
溶接部を検査する際、プローブ10の溶接部に対する角度を、適切な値に調整することが重要である。プローブ10の角度は、反射波の受信結果に基づいて調整できる。このとき、X方向、Y方向、及びZ方向のそれぞれにおいて、角度調整に利用する受信結果の範囲を絞り込むことが望ましい。図6(a)、図6(b)、及び図10に表したように、受信結果には、溶接部以外からの反射波も含まれるためである。溶接部以外からの反射波が受信結果に含まれると、溶接部に対するプローブ10の角度を適切に調整することが困難となる。
従来、受信結果から溶接部からの反射波を抽出するために、X方向、Y方向、及びZ方向のそれぞれにおける溶接部の範囲をユーザが指定していた。この方法によれば、プローブ10の角度をより適切に調整できる。しかし、各方向の範囲を指定するユーザには、検査に関する専門的な知識が求められる。このため、検査結果が、ユーザの経験、主観などに依存する。
そこで、実施形態に係る推定装置2では、処理部2aが、受信結果に基づき、X方向、Y方向、及びZ方向のそれぞれにおける溶接部の範囲を推定する。具体的には、処理部2aは、Z方向における反射波の強度分布に基づいて、Z方向における範囲を推定する。また、処理部2aは、Z方向の各点で、X方向及びY方向における反射波の強度分布の重心位置を計算し、その計算結果に基づいてX方向における範囲及びY方向における範囲を推定する。実施形態に係る推定装置2を用いることで、ユーザによる溶接部の範囲の指定が不要となる。
例えば、処理部2aによる推定結果に基づいて、制御部1aは、プローブ10の角度を調整し、溶接部を検査する。これにより、溶接部の検査の精度を向上させることができる。
又は、処理部2aは、推定結果を表示装置2bなどに出力しても良い。例えば、ユーザは、溶接部の実際の位置が想定していた位置からどの程度ずれているか、推定結果から確認できる。
上述した例では、X方向における範囲とY方向における範囲の両方を推定した。この例に限らず、推定装置2は、X方向における範囲とY方向における範囲の一方のみを推定しても良い。例えば、複数の超音波センサ12が一方向に配列されているとき、推定装置2は、それらの超音波センサ12による受信結果に基づいて、溶接部のZ方向における範囲と、溶接部の当該配列方向における範囲と、を推定する。
(実施例)
図14は、反射波の受信結果を例示する画像である。
図14において、色が白いほど、その点における反射波の強度が大きいことを示している。処理部2aは、図14に表した受信結果について、図13に表した動作を実行する。この結果、範囲Raが推定される。
処理部2aは、推定した結果を、検査装置1へ送信する。処理部2aは、図14に表した、反射波の受信結果を示す画像と、その画像において推定された溶接部の範囲と、を表示装置2bに表示させても良い。
例えば、制御部1a及び処理部2aは、以下に説明するように、上述した範囲Raの推定と、その範囲Raに基づくプローブ10の角度調整と、を交互に繰り返す。
図15は、実施形態に係る検査システムの動作を表すフローチャートである。
図16は、実施形態に係る検査システムを説明するための図である。
図15に表したフローチャートの動作は、図4に表したフローチャートのステップS4及びS5に対応する。
まず、検査装置1において、複数の超音波センサ12が超音波を送信し、反射波を受信する。推定装置2は、反射波の受信結果を含む情報を受け付けると、その情報に基づいて溶接部の範囲を推定する(ステップS411)。制御部1aは、反射波の受信結果の全体から、推定された範囲における反射波の成分を抽出する。図16(a)及び図16(d)は、部材5の溶接部53近傍を表す平面図である。例えば図16(a)に表した範囲Raからの反射波の成分が抽出される。
制御部1aは、範囲RaのX−Y面における各点について、接合または未接合を検出する。制御部1aは、この検出結果のうち、X方向に沿う線分L1上の検出結果に基づいて、プローブ10のY方向まわりの角度を調整する。線分L1は、例えば、範囲RaのY方向における中央付近に位置している。
図16(b)は、線分L1上の各点における検出結果の一例である。図16(b)において、縦軸は、Z方向における位置を表す。横軸は、X方向における位置を表す。図16(b)において、○(白丸)は、図5(a)に表した部材5の1つ目の反射面(第1反射面)のZ方向における位置を表す。すなわち、〇は、溶接部53の上面5bの位置を表す。●(黒丸)は、部材5の2つ目の反射面(第2反射面)のZ方向における位置を表す。すなわち、〇は、溶接部53の下面5dの位置を表す。上面及び下面のZ方向における位置は、範囲Raの各点でのZ方向における反射波強度のピーク位置に基づいて決定される。◆は、後述する、接合及び未接合の検出結果を表す。
制御部1aは、第1反射面と第2反射面との間の距離を算出する。制御部1aは、例えば、当該距離が予め設定された閾値以上である場合、その点が接合されていると判定する。制御部1aは、当該距離が当該閾値未満である場合、その点が未接合と判定する。図16(b)に表したグラフにおいて、接合されていると判定された点は、1の値で表され、未接合と判定された点は、0の値で表されている。
上述の方法により、制御部1aは、部材5のX方向に沿った複数の点について、接合及び未接合を検出する。制御部1aは、接合が検出された数(以下、検出数という)を抽出する(ステップS412)。制御部1aは、検出数が、予め設定された閾値以上であるか判定する(ステップS413)。この閾値は、溶接部53のX方向における寸法、X方向における超音波センサ12の密度などに基づいて設定される。
検出数が閾値以上である場合、制御部1aは、プローブ10のY方向まわりの角度を維持し、角度調整を終了する。この場合、図4に表したステップS7を省略しても良い。既に十分な数の検出数が検出されており、溶接部53は、適切に接合されているとみなせるためである。検出数が閾値未満であるとき、制御部1aは、それまでにステップS411及びS412を実行した回数m1を、予め設定された値n1と比較する(ステップS414)。
回数m1が値n1未満であるとき、制御部1aは、プローブ10のY方向まわりの角度を変化させる(ステップS415)。そして、ステップS411が再度実行される。これにより、ステップS411及びステップS412が、Y方向のまわりにおける角度を変えながら、繰り返し実行される。回数m1が、値n1以上であるとき、制御部1aは、それまでの検出結果から、プローブ10のY方向まわりの適切な第1角度を導出する(ステップS416)。
図16(c)は、ステップS411〜S415の繰り返しにより得られた検出結果の一例を表す。図16(c)において、横軸はY方向まわりの角度を表し、縦軸はそれぞれの角度における検出数を表す。例えば、制御部1aは、最も検出数が多かった角度θ1を、第1角度とする。または、制御部1aは、角度と検出数との関係を表す二次関数QFを生成し、この二次関数QFの変曲点となる角度θ2を第1角度としても良い。制御部1aは、プローブ10のY方向まわりの角度を、第1角度に設定する(ステップS417)。
次に、検査装置1において、複数の超音波センサ12が超音波を送信し、反射波を受信する。推定装置2は、反射波の受信結果を含む情報を受け付けると、その情報に基づいて溶接部53の範囲を推定する(ステップS418)。制御部1aは、反射波の受信結果の全体から、推定された範囲における反射波の成分を抽出する。
制御部1aは、図16(d)に表した、Y方向に沿う線分L2上の検出結果に基づいて、プローブ10のY方向まわりの角度を調整する。線分L2は、例えば、推定された範囲RaのX方向における中央付近に位置している。
制御部1aは、ステップS412と同様に、部材5のY方向に沿った複数の点における検出数を抽出する(ステップS419)。制御部1aは、検出数が、予め設定された閾値以上であるか判定する(ステップS420)。この閾値は、溶接部53のY方向における寸法、Y方向における超音波センサ12の密度などに基づいて設定される。
検出数が閾値以上である場合、制御部1aは、プローブ10のX方向まわりの角度を維持し、角度調整を終了する。検出数が閾値未満である場合、制御部1aは、それまでにステップS418及びS419を実行した回数m2を、予め設定された値n2と比較する(ステップS421)。
回数m2が値n2未満である場合、制御部1aは、プローブ10のX方向まわりの角度を変化させる(ステップS422)。そして、ステップS418〜S420が再度実行される。
回数m2が、値n2以上である場合、制御部1aは、それまでの検出結果から、プローブ10のX方向まわりの適切な第2角度を導出する(ステップS423)。第2角度の導出は、ステップS416の方法と同様にして実行される。制御部1aは、プローブ10のX方向まわりの角度を、第2角度に設定する(ステップS424)。
以上の方法により、プローブ10の角度が適切に調整される。その後、プローブ10による溶接部53の検査が行われる。
図17は、実施形態に係る検査システムの別の動作を表すフローチャートである。
図18は、実施形態に係る検査システムを説明するための図である。
図17に表したフローチャートの動作は、図4に表したフローチャートのステップS4及びS5に対応する。
図17に表したフローチャートでは、ステップS431において、制御部1aは、対象物に向けて超音波を送信する際の送信角度を設定する。ステップS431では、送信角度は、予め設定された基準角度に設定される。対象物Oの形状と姿勢が既知であれば、基準角度は、超音波が対象物の表面に対して垂直に入射する値に設定される。又は、基準角度は、垂直に入射する値に所定の値を加算した値に設定されても良い。送信角度が設定されると、制御部1aは、マトリクスセンサ11から超音波を送信させる。
送信角度θの角度情報は、図18に表したように、参照角度RAに対する傾き(θ,θ)で表される。参照角度RAは、例えば、ステップS431で送信角度として設定される基準角度に等しい。
検査装置1において、送信角度は、プローブ10の角度を変化させることで調整される。又は、超音波ビームの送信方向を制御することで、送信角度が調整されても良い。例えば、プローブ10の角度を変更せずに、プローブ10内に配列されている超音波センサ12の駆動タイミングを制御することで、超音波ビームの送信方向を調整しても良い。
ステップS432(検出ステップ)では、検査装置1のプローブ10が溶接部53に接触した状態において、プローブ10から対象物に向けて、ステップS431で設定された送信角度で超音波を送信する。プローブ10は、対象物からの反射波の強度を検出する。
図19(a)〜図19(c)及び図20は、溶接部近傍の画像を例示する模式図である。
図19(a)は、撮像部20により撮影された溶接部の画像を表す。図19(b)は、図19(a)のA−A’断面に対応する画像を表す。図19(c)は、図19(a)のB−B’断面に対応する画像を表す。図20は、画像の全体を表す。画像は、図20に表したように、三次元位置のそれぞれにおける値を保持したボリュームデータである。
図19(b)の画像は、X方向及びZ方向の各点の反射波強度を表す。Z方向における位置は、反射波強度が検出された時間に対応する。すなわち、図19(b)の画像は、X方向に配列された複数の超音波センサ12で、反射波強度が複数回検出された結果に基づく。図19(c)の画像は、Y方向及びZ方向の各点の反射波強度を表す。図19(b)と同様に、図19(c)の画像において、Z方向における位置は、反射波強度が検出された時間に対応する。図19(b)、図19(c)、及び図20の画像に含まれる各点(画素)の輝度は、反射波の強度に対応する。輝度が高く、色が白い(ドットの密度が低い)ほど、反射波の強度が高いことを示す。
画像中には、輝度が相対的に高い画素が、Z方向と交差する方向に連続した部分が存在する。図19(b)及び図19(c)では、それらの部分の一部である部分p1〜p4を例示している。部分p1〜p4は、超音波が強く反射された面を示している。
図19(b)及び図19(c)から分かるように、溶接部53とそれ以外の箇所では、面が検出されたZ方向における位置が異なっている。例えば、図19(b)の画像では、部分p1のZ方向における位置は、部分p2のZ方向における位置と異なっている。図19(c)の画像では、部分p3のZ方向における位置は、部分p4のZ方向における位置と異なっている。これは、溶接部53以外の箇所の下面のZ方向における位置が、溶接部53の下面のZ方向における位置と異なることに基づく。
ステップS433(推定ステップ)では、処理部2aは、ステップS432で得られた結果に基づいて、溶接部の範囲を推定する。
ステップS434(算出ステップ)では、制御部1aは、ステップS433で推定された範囲における反射波強度の勾配を計算する。制御部1aは、勾配に基づき、対象物の傾きを示す傾斜角度を計算する。具体的には、ステップS434は、ステップS434a及びS434bを含む。
ステップS434aでは、X方向、Y方向、及びZ方向からなる三次元空間上の推定範囲において、各点における反射波強度の勾配が算出される。この処理は、反射波強度に基づいて図19及び図20に表したような画像が生成される場合、推定範囲において画素毎に画素値の勾配を算出することに対応する。
座標(x,y,z)における反射波の強度をI(x,y,z)とする。推定範囲は、例えば、x1≦x≦x2、y1≦y≦y2、z1≦z≦z2を満たす座標が示す領域である。図19(b)及び図19(c)において、領域r1及びr2は、推定された範囲の一例を示す。
反射波の強度の勾配は、以下の式1で計算される。
(式1)
G(x,y,z)=(I(x+1,y,z)−I(x,y,z),I(x,y+1,z)−I(x,y,z),I(x,y,z+1)−I(x,y,z))
G(x,y,z)は、座標(x,y,z)における、X方向、Y方向、及びZ方向の反射波強度の勾配を示す3次元ベクトルである。式1は、勾配を前進差分により算出した。この他に、後進差分や中心差分などの、一般的な勾配の計算方法が用いられても良い。
ステップS434bでは、反射波強度の勾配に基づき、溶接部53の傾きを示す傾斜角度を算出する。まず、上述した所定の領域内で計算した勾配の平均を算出する。これを平均勾配と呼ぶ。平均勾配の算出方法は、単純な平均に限らず、加重平均としても良い。
例えば、X座標及びY座標が推定範囲の中心に近いほど、大きい重みを付与するように設定される。X座標及びY座標のそれぞれの推定範囲の中心は、((x1+x2)/2,(y1+y2)/2)で表される。これにより、溶接部53以外の領域が平均処理に寄与する影響を低減できる。又は、G(x,y,z)が大きい値であるほど大きい重みを付与しても良い。又は、検査の対象物に関する情報に基づいて、重みが付与されても良い。例えば、溶接部53の上面又は下面が映ると予想されるZ方向の座標に近いほど、大きい重みを付与しても良い。これにより、より溶接部53の上面又は下面からの反射波に基づいた平均処理が可能となる。又は、上述した平均処理を、メディアンを算出する処理に置き換えても良い。
送信角度に対する溶接部53の傾きを示す差分角度を、上述の平均勾配を用いて算出する。平均勾配をGMと記す。まず、平均勾配からスケール情報を除外し、方向情報を示す次式の2次元ベクトルを計算する。
(式2)
(GM(x)/GM(z),GM(y)/GM(z))
GM(x)、GM(y)、GM(z)は、それぞれ、平均勾配のX、Y、Z方向の成分である。式2の第1成分から差分角度のθ成分を算出し、第2成分から差分角度のθ成分を算出する。算出は、X方向、Y方向、及びZ方向における反射波強度の検出ピッチから逆算する方法を採ることができる。
又は、予め、溶接部53を様々な角度に傾け、それぞれの角度においてプローブ10で反射波を検出しても良い。この検出結果に基づき、式2の第1成分及び第2成分と差分角度の関係をテーブル化する。そのテーブルを用いて角度を算出する。もしくは、回帰式の形で算出関係を保持しても良い。次に、差分角度の符号を反転した角度と、現在の送信角度と、の和により、対象物の傾きに対応する傾斜角度を算出する。
図19(b)の画像中に示した矢印A1は、X−Z面における反射波強度の勾配を表す。同様に、図19(c)の画像中に示した矢印A2は、Y−Z面における反射波強度の勾配を表す。
傾斜角度は、上述したように参照角度RAを基準とした角度であっても良いし、その時点の送信角度に対する差分角度の符号を反転した角度であっても良い。例えば、送信角度と、算出された対象物の面の傾きと、の差分が傾斜角度として算出されても良い。このような差分も、実質的に、対象物の傾きを示す。
ステップS435(判定ステップ)では、制御部1aが、画像の取得を終了するか否かを判定する。終了と判定されなかったときは、ステップS436(設定ステップ)が実行される。ステップS436では、制御部1aが、ステップS434で算出された傾斜角度に基づき、送信角度を再度設定する。制御部1aは、再設定した送信角度で、再びステップS432を実行させる。すなわち、ステップS432〜S435を含む第1ループが、ステップS435で終了と判定されるまで繰り返される。
例えば、ステップS435では、ステップS432〜S434が所定の回数繰り返されたときに、終了と判定する。
別の一例では、繰り返し毎にステップS434において算出された傾斜角度を記憶しておく。傾斜角度の算出結果が収束したと判定された場合に、終了と判定する。例えば、第1ループが複数回実行され、n回目のステップS434により第1傾斜角度が算出される。n+1回目のステップS434により、第2傾斜角度が算出される。第2傾斜角度と第1傾斜角度との差を算出し、この差が所定の値より小さくなった場合に、終了と判定する。第2傾斜角度と第1傾斜角度との差は、例えば、θ成分の差の絶対値とθ成分の差の絶対値の和である。
例えば、ステップS436では、新たに設定される送信角度θNEXTとして、傾斜角度がそのまま用いられる。
又は、現在の送信角度θと、傾斜角度と、を用いて、送信角度θNEXTが設定されても良い。例えば、送信角度θNEXTと送信角度θとの差が、傾斜角度と送信角度θとの差よりも大きくなるように決定しても良い。このとき、θ成分及びθ成分の少なくともいずれかの差が、より大きくなるようにする。こうすることで、送信角度θとは異なる角度で、かつ溶接部53の傾きとして予測される傾斜角度の周辺で、再度傾斜角度が算出される。これにより、次に算出される傾斜角度の精度を高めることができる。反射波の強度の検出精度等の要因で、算出された傾斜角度が実際の溶接部53の傾きよりも小さい場合に、角度の変化量を大きくできる。これにより、繰り返し算出される傾斜角度の収束を早めることができる。
特に、送信角度θNEXTの更新された回数が少ないときには、送信角度θが収束していない場合が多い。従って、ステップS436が所定の回数実行されるまでは、送信角度θNEXTを、送信角度θNEXTと送信角度θとの差が傾斜角度と送信角度θとの差よりも大きくなるように設定することが望ましい。所定の回数以降は、送信角度θNEXTを、例えば、送信角度θNEXTと送信角度θとの差が傾斜角度と送信角度θとの差と同じになるように設定することが望ましい。
図21は、実施形態に係る検査システムの別の動作を説明するための模式図である。
図21において、横軸はθ成分を表し、縦軸はθ成分を表す。図21(a)は、送信角度θNEXTとして算出された傾斜角度をそのまま用いた場合の、送信角度の遷移を表す。図21(b)は、初回の送信角度θNEXTの設定において、送信角度θNEXTを、送信角度θNEXTと送信角度θとの差が傾斜角度と送信角度θとの差の2倍になるように設定した場合の、送信角度の遷移を表す。
図21(a)に表した送信角度θ、θ1、及びθ2のように、反射波の強度の検出精度が低い場合、実際の溶接部53の傾斜角度θ0に向けて、送信角度が少しずつ収束していく場合がある。このような場合、上述した方法によれば、図21(b)に表した送信角度θ及びθ3のように、送信角度を傾斜角度θ0に向けてより早く収束させることができる。これにより、第1ループの実行回数を少なくし、検査に要する時間を短縮できる。
別の例としては、繰り返し毎の傾斜角度を保存しておき、所定の繰り返し回数以内に計算された傾斜角度に基づき送信角度θNEXTを算出する。例えば、所定の繰り返し回数以内に計算された傾斜角度の平均により、θNEXTを算出する。
ステップS435で終了と判定されると、ステップS437が実行される。ステップS437では、送信角度を導出角度に設定した状態で、ステップS432が実行されたか判定される。導出角度は、それまでに算出された傾斜角度に基づいて導出され、対象物の傾きに対応すると推定される角度である。例えば、導出角度として、直前に算出された傾斜角度が設定される。直前に算出された傾斜角度は、実際の対象物の傾きに最も近いと考えられるためである。又は、直前に算出された複数の傾斜角度の平均が導出角度として設定されても良い。送信角度が導出角度に設定された状態でステップS432が実行されていない場合、ステップS438〜S440が実行される。ステップS438では、送信角度を導出角度に設定する。ステップS439では、ステップS432と同様に、設定された送信角度で対象物に向けて超音波を送信し、その反射波の強度を検出する。ステップS439の検出結果に基づき、画像が生成されても良い。ステップS440では、ステップS433と同様に、反射波強度に基づいて、溶接部53の範囲を推定する。
ステップS440の後、又はそれまでに送信角度が導出角度に設定された状態でステップS432が実行されていた場合、動作を終了する。その後、調整された角度において、溶接部53が検査される。
(変形例)
処理部2aは、Z方向の範囲を、X−Y面の部分ごとに推定しても良い。例えば、処理部2aは、X方向における各点及びY方向における各点で、反射波の強度分布を計算する。又は、処理部2aは、X方向の所定範囲ごと及びY方向の所定範囲ごとに、反射波の強度分布を計算しても良い。
この場合、溶接部から外れた部分における強度分布は、フィルタリングすると、ピークが得られない。例えば、処理部2aは、ピークが得られなかった部分では、Z方向における範囲を推定しない。又は、処理部2aは、ピークが得られなかった部分を、溶接部のX方向の推定範囲及びY方向の推定範囲から除外しても良い。
図22(a)及び図22(b)は、Z方向における反射波の強度分布を例示するグラフである。
図22(a)及び図22(b)は、それぞれ、X−Y面の特定の部分でのZ方向における反射波の強度分布を例示している。
強度分布を生成した後は、図13に表した方法で、X−Y面の部分ごとにZ方向における範囲を推定する。Z方向における範囲の推定後は、Z方向の各点で重心位置を計算し、複数の重心位置に基づいてX方向の範囲及びY方向の範囲を推定する。
図23は、変形例に係る推定装置により推定された溶接部の範囲を例示する模式図である。
図23において、領域Rは、マトリクスセンサ11によって反射波の受信結果が得られた全体の領域を表す。範囲Raは、推定装置による推定結果を表す。変形例では、X−Y面の部分ごとにZ方向における範囲が推定される。このため、図23に表したように、Z方向における範囲がX−Y面の部分ごとに異なりうる。
処理部2aは、図23に表した範囲Raにおける反射波の受信結果に基づいて、プローブ10の角度調整及び溶接部の検査を実行する。
図24は、実施形態の変形例に係る推定装置の動作を例示するフローチャートである。
処理部2aは、検査装置1から送信された情報を受け付ける(ステップS401)。処理部2aは、X−Y面の部分ごとに、Z方向における反射波の強度分布を生成する(ステップS408)。処理部2aは、それぞれの強度分布をフィルタリングし、溶接部における反射波成分を抽出する(ステップS403)。処理部2aは、それぞれの抽出結果に基づき、部分ごとに溶接部のZ方向における範囲を推定する(ステップS409)。以降は、図13に表したフローチャートのステップS405〜S407と同様の処理が実行される。
図24に表した動作によれば、溶接部のより詳細な範囲を推定できる。詳細な範囲に基づいて、プローブ10の角度調整、溶接部の検査などを行うことで、検査の精度をさらに向上させることができる。一方、図7(a)、図7(b)、及び図8に表したように、断面ごとの強度分布、又はX−Y面における強度を合算した強度分布に基づいて溶接部の範囲を推定することで、推定装置2における計算量を低減できる。
以上で説明した推定装置2、検査システム100、又は推定方法によれば、溶接部の範囲を精度良く推定できる。同様に、処理部2aに上述した推定方法を実行させるプログラムまたは当該プログラムを記憶した記憶媒体を用いることで、溶接部の範囲を精度良く推定できる。
上記の種々のデータの処理は、例えば、プログラム(ソフトウェア)に基づいて実行される。例えば、コンピュータが、このプログラムを記憶し、このプログラムを読み出すことにより、上記の種々の情報の処理が行われる。
上記の種々の情報の処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク及びハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD−ROM、DVD±R、DVD±RWなど)、半導体メモリ、または、他の記録媒体に記録されても良い。
例えば、記録媒体に記録された情報は、コンピュータ(または組み込みシステム)により読み出されることが可能である。記録媒体において、記録形式(記憶形式)は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させる。コンピュータにおいて、プログラムの取得(または読み出し)は、ネットワークを通じて行われても良い。
実施形態に係る推定装置2は、1つまたは複数の装置(例えばパーソナルコンピュータなど)を含む。実施形態に係る推定装置2は、ネットワークにより接続された複数の装置を含んでも良い。
以上では、プローブ10がアーム40の先端に設けられ、制御部1aにより自動的にプローブ10の角度が調整される例を説明した。この例に限らず、プローブ10は、人が把持するように構成されていても良い。推定装置2は、そのプローブ10によって得られた反射波の受信結果に基づいて、溶接部の範囲を推定する。例えば、制御部1aは、プローブ10の角度をどの方向にどの程度動かせば良いか、ユーザに向けて表示させる。
以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
1 検査装置、 1a 制御部、 2 推定装置、 2a 処理部、 2b 表示装置、 2c 入力装置、 5a 上面、 5b 上面、 5c 下面、 5d 下面、 10 プローブ、 11 マトリクスセンサ、 12 超音波センサ、 20 撮像部、 30 塗布部、 40 アーム、 51、52 金属板、 53 溶接部、 54 凝固部、 55 カプラント、 θ1 角度、 θ2 角度、 100 検査システム、 AP 平均位置、 C1、C2、C350 画像重心、 Di1 距離、 Di2 距離、 L 線分、 L1 線分、 L2 線分、 O 対象物、 Pe1〜Pe4 ピーク、 QF 二次関数、 R 領域、 RA 参照角度、 RW 反射波、 Ra、Ra1〜Ra3 範囲、 TD1 時間差、 TD2 時間差、 US 超音波
Z方向における反射波の強度分布は、溶接部の上面及び下面で反射した成分と、その他の部分の上面及び下面で反射した成分と、を含む。換言すると、強度分布は、図(b)に表した時間差TD1に対応する周期成分と、図(c)に表した時間差TD2に対応する周期成分と、を含む。
図16(b)は、線分L1上の各点における検出結果の一例である。図16(b)において、縦軸は、Z方向における位置を表す。横軸は、X方向における位置を表す。図16(b)において、○(白丸)は、図5(a)に表した部材5の1つ目の反射面(第1反射面)のZ方向における位置を表す。すなわち、〇は、溶接部53の上面5bの位置を表す。●(黒丸)は、部材5の2つ目の反射面(第2反射面)のZ方向における位置を表す。すなわち、は、溶接部53の下面5dの位置を表す。上面及び下面のZ方向における位置は、範囲Raの各点でのZ方向における反射波強度のピーク位置に基づいて決定される。◆は、後述する、接合及び未接合の検出結果を表す。
本発明の実施形態は、推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体に関する。
本発明が解決しようとする課題は、反射波の受信結果から溶接部の範囲を推定できる、推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体を提供することである。
以上で説明した推定装置2、検査システム100、推定方法、角度調整方法、又は検査方法によれば、溶接部の範囲を精度良く推定できる。同様に、処理部2aに上述した推定方法を実行させるプログラムまたは当該プログラムを記憶した記憶媒体を用いることで、溶接部の範囲を精度良く推定できる。

Claims (16)

  1. 第1方向に配列された複数の超音波センサのそれぞれが、前記第1方向と交差する第2方向へ、溶接部に向けて超音波を送信して反射波を受信することで取得した情報を受け付け、
    前記第2方向における前記反射波の強度分布に基づいて、前記溶接部の前記第2方向における範囲を推定し、
    前記第2方向の各点で、前記第1方向における前記反射波の強度分布の重心位置を計算し、複数の前記重心位置に基づいて前記溶接部の前記第1方向における範囲を推定する、
    処理部を備えた推定装置。
  2. 前記処理部は、前記第2方向の各点で前記第1方向における前記反射波の強度を合算することで、前記第2方向における前記反射波の前記強度分布を生成する請求項1記載の推定装置。
  3. 前記処理部は、前記第1方向の各部の前記第2方向における前記反射波の前記強度分布に基づき、前記溶接部の前記第1方向の部分ごとに前記第2方向における範囲を推定する請求項1記載の推定装置。
  4. 前記処理部は、前記溶接部の前記部分ごとの前記範囲に基づいて、前記溶接部の全体の前記第2方向における範囲を推定する請求項3記載の推定装置。
  5. 前記処理部は、予め設定された前記溶接部の厚さに基づき、前記第2方向における前記反射波の前記強度分布から、前記厚さの半分の整数倍に対応する周期成分を抽出する請求項1〜4のいずれか1つに記載の推定装置。
  6. 前記処理部は、予め設定された前記複数の超音波センサの前記第1方向における寸法と、前記複数の重心位置と、に基づいて前記溶接部の前記第1方向における範囲を推定する請求項1〜5のいずれか1つに記載の推定装置。
  7. 前記複数の超音波センサは、前記第1方向に垂直であり前記第2方向と交差する第3方向にさらに配列され、
    前記処理部は、前記第2方向の各点で、前記第1方向及び前記第3方向における前記反射波の強度分布の重心位置を計算し、複数の前記重心位置に基づき、前記溶接部の前記第1方向における前記範囲に加えて、前記溶接部の前記第3方向における範囲を推定する請求項1〜6のいずれか1つに記載の推定装置。
  8. 請求項1〜7のいずれか1つに記載の推定装置と、
    前記複数の超音波センサを含むプローブを有する検査装置と、
    を備えた検査システム。
  9. 前記検査装置は、
    先端に前記プローブが設けられたアームと、
    前記アームを駆動させる制御部と、
    をさらに有し、
    前記制御部は、推定された前記溶接部の前記第1方向における前記範囲及び前記第2方向における前記範囲に応じて、前記アームを駆動させて前記プローブを変位させる請求項8記載の検査システム。
  10. 第1方向に配列された複数の超音波センサのそれぞれが、前記第1方向と交差する第2方向へ、溶接部に向けて超音波を送信して反射波を受信することで取得した情報を取得し、
    前記第2方向における前記反射波の強度分布に基づいて、前記溶接部の前記第2方向における範囲を推定し、
    前記第2方向の各点で、前記第1方向における前記反射波の強度分布の重心位置を計算し、複数の前記重心位置に基づいて前記溶接部の前記第1方向における範囲を推定する推定方法。
  11. 前記第2方向の各点で前記第1方向における前記反射波の強度を合算することで、前記第2方向における前記反射波の前記強度分布を生成する請求項10記載の推定方法。
  12. 前記複数の超音波センサは、前記第1方向に垂直であり前記第2方向と交差する第3方向にさらに配列され、
    前記第2方向の各点で、前記第1方向及び前記第3方向における前記反射波の強度分布の重心位置を計算し、複数の前記重心位置に基づき、前記溶接部の前記第1方向における前記範囲に加えて、前記溶接部の前記第3方向における範囲を推定する請求項10又は11に記載の推定方法。
  13. 処理部に、
    第1方向に配列された複数の超音波センサのそれぞれが、前記第1方向と交差する第2方向へ、溶接部に向けて超音波を送信して反射波を受信することで取得した情報を受け付けさせ、
    前記第2方向における前記反射波の強度分布に基づいて、前記溶接部の前記第2方向における範囲を推定させ、
    前記第2方向の各点で、前記第1方向における前記反射波の強度分布の重心位置を計算させ、複数の前記重心位置に基づいて前記溶接部の前記第1方向における範囲を推定させる、
    プログラム。
  14. 前記処理部に、前記第2方向の各点で前記第1方向における前記反射波の強度を合算させることで、前記第2方向における前記反射波の前記強度分布を生成させる請求項13記載のプログラム。
  15. 前記複数の超音波センサは、前記第1方向に垂直であり前記第2方向と交差する第3方向にさらに配列され、
    前記第2方向の各点で、前記第1方向及び前記第3方向における前記反射波の強度分布の重心位置を計算させ、複数の前記重心位置に基づき、前記溶接部の前記第1方向における前記範囲に加えて、前記溶接部の前記第3方向における範囲を推定させる請求項13又は14に記載のプログラム。
  16. 請求項13〜15のいずれか1つに記載のプログラム。
JP2019091717A 2019-05-14 2019-05-14 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体 Active JP6805289B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019091717A JP6805289B2 (ja) 2019-05-14 2019-05-14 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体
EP20174365.5A EP3739331B1 (en) 2019-05-14 2020-05-13 Estimation device, inspection system, estimation method, and storage medium
US15/931,148 US11480549B2 (en) 2019-05-14 2020-05-13 Estimation device, inspection system, estimation method, and storage medium
CN202010408497.6A CN111948285B (zh) 2019-05-14 2020-05-14 推定装置、检查系统、推定方法及存储介质
US17/950,473 US11927570B2 (en) 2019-05-14 2022-09-22 Estimation device, inspection system, estimation method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019091717A JP6805289B2 (ja) 2019-05-14 2019-05-14 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2020187005A true JP2020187005A (ja) 2020-11-19
JP6805289B2 JP6805289B2 (ja) 2020-12-23

Family

ID=70682745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019091717A Active JP6805289B2 (ja) 2019-05-14 2019-05-14 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体

Country Status (4)

Country Link
US (2) US11480549B2 (ja)
EP (1) EP3739331B1 (ja)
JP (1) JP6805289B2 (ja)
CN (1) CN111948285B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11561204B2 (en) 2019-08-28 2023-01-24 Kabushiki Kaisha Toshiba Display control system, inspection control system, display control method, and storage medium
WO2023002968A1 (ja) * 2021-07-19 2023-01-26 株式会社 東芝 処理装置、検出システム、処理方法、プログラム、及び記憶媒体
US11980975B2 (en) 2019-09-24 2024-05-14 Kabushiki Kaisha Toshiba Processing system, processing method, and storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6570600B2 (ja) 2017-11-15 2019-09-04 株式会社東芝 検査システム、制御装置、角度調整方法、プログラム、および記憶媒体
JP6629393B1 (ja) * 2018-07-10 2020-01-15 株式会社東芝 制御方法、検査システム、プログラム、及び記憶媒体
JP6805289B2 (ja) * 2019-05-14 2020-12-23 株式会社東芝 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体
JP2023014805A (ja) * 2021-07-19 2023-01-31 株式会社東芝 処理システム、ロボットシステム、制御装置、処理方法、制御方法、プログラム、及び記憶媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61215908A (ja) * 1985-02-20 1986-09-25 Shimadzu Corp 配管検査装置
JPH09257769A (ja) * 1996-03-22 1997-10-03 Touyoko Erumesu:Kk 泥状物測定方法
JP2007278809A (ja) * 2006-04-05 2007-10-25 Kawasaki Heavy Ind Ltd スポット溶接部の検査方法及び装置
JP2009229064A (ja) * 2008-03-19 2009-10-08 Hitachi-Ge Nuclear Energy Ltd 超音波検査方法および超音波検査装置
JP2011117877A (ja) * 2009-12-04 2011-06-16 Toshiba Corp 三次元超音波検査装置
US20160231291A1 (en) * 2011-05-10 2016-08-11 Edison Welding Institute, Inc. Gating methods for use in weld inspection systems
CN108226290A (zh) * 2018-01-08 2018-06-29 西安交通大学 一种基于超声相控阵的零件内部缺陷三维参数提取方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3678736A (en) 1970-08-03 1972-07-25 Gen Electric Machine with improved operating head traversing workpieces with curved surfaces
JPH11326287A (ja) * 1998-05-15 1999-11-26 Nippon Krautkraemer Ferusutaa Kk 超音波探傷装置を用いた溶接部の溶融凝固部分の判定法
GB0518153D0 (en) 2005-09-07 2005-10-12 Rolls Royce Plc Apparatus for measuring wall thicknesses of objects
JP4096014B2 (ja) * 2006-08-08 2008-06-04 日立Geニュークリア・エナジー株式会社 原子炉圧力容器の超音波検査方法及び装置
JP2008051645A (ja) 2006-08-24 2008-03-06 Toshiba Corp 超音波探傷装置
JP2008203082A (ja) * 2007-02-20 2008-09-04 Mazda Motor Corp スポット溶接部の超音波検査方法、超音波検査装置、検査プローブの角度調整方法および位置調整方法。
WO2008133216A1 (ja) * 2007-04-19 2008-11-06 Jfe Steel Corporation 超音波によるスポット溶接部の評価方法及び装置
CA2982160A1 (en) 2015-04-07 2016-10-13 Edison Welding Institute, Inc. Phased array system for inspection of laser welds
JP6570600B2 (ja) 2017-11-15 2019-09-04 株式会社東芝 検査システム、制御装置、角度調整方法、プログラム、および記憶媒体
JP6629393B1 (ja) 2018-07-10 2020-01-15 株式会社東芝 制御方法、検査システム、プログラム、及び記憶媒体
JP6805289B2 (ja) * 2019-05-14 2020-12-23 株式会社東芝 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61215908A (ja) * 1985-02-20 1986-09-25 Shimadzu Corp 配管検査装置
JPH09257769A (ja) * 1996-03-22 1997-10-03 Touyoko Erumesu:Kk 泥状物測定方法
JP2007278809A (ja) * 2006-04-05 2007-10-25 Kawasaki Heavy Ind Ltd スポット溶接部の検査方法及び装置
JP2009229064A (ja) * 2008-03-19 2009-10-08 Hitachi-Ge Nuclear Energy Ltd 超音波検査方法および超音波検査装置
JP2011117877A (ja) * 2009-12-04 2011-06-16 Toshiba Corp 三次元超音波検査装置
US20160231291A1 (en) * 2011-05-10 2016-08-11 Edison Welding Institute, Inc. Gating methods for use in weld inspection systems
CN108226290A (zh) * 2018-01-08 2018-06-29 西安交通大学 一种基于超声相控阵的零件内部缺陷三维参数提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
溝田裕久: "溶融池深さの溶接中計測技術の開発", 超音波TECHNO, vol. 第27巻第6号, JPN6020027859, 12 November 2015 (2015-11-12), pages 63 - 66, ISSN: 0004317667 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11561204B2 (en) 2019-08-28 2023-01-24 Kabushiki Kaisha Toshiba Display control system, inspection control system, display control method, and storage medium
US11980975B2 (en) 2019-09-24 2024-05-14 Kabushiki Kaisha Toshiba Processing system, processing method, and storage medium
WO2023002968A1 (ja) * 2021-07-19 2023-01-26 株式会社 東芝 処理装置、検出システム、処理方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
EP3739331B1 (en) 2023-12-06
CN111948285A (zh) 2020-11-17
US20200363377A1 (en) 2020-11-19
US20230012631A1 (en) 2023-01-19
JP6805289B2 (ja) 2020-12-23
US11927570B2 (en) 2024-03-12
CN111948285B (zh) 2023-10-20
EP3739331A1 (en) 2020-11-18
US11480549B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
JP6805289B2 (ja) 推定装置、検査システム、推定方法、角度調整方法、検査方法、プログラム、及び記憶媒体
CN110402388B (zh) 检查系统、控制方法及存储介质
CN111065918B (zh) 控制方法、检查系统、程序以及存储介质
JP7457096B2 (ja) 処理装置
US20220314354A1 (en) Processing system, processing method, and storage medium
EP3786633A1 (en) Display control system, inspection control system, display control method, and storage medium
US20210086282A1 (en) Processing system, processing method, and storage medium
CN114761793A (zh) 处理系统、处理方法、程序、以及存储介质
JP2021056209A (ja) 処理システム、処理方法、プログラム、及び記憶媒体
JP6982666B2 (ja) 表示制御システム、検査管理システム、表示制御方法、プログラム、及び記憶媒体
JP2023014784A (ja) 処理装置、検出システム、処理方法、プログラム、及び記憶媒体
CN115635480A (zh) 处理系统、机器人系统、控制装置、处理方法、控制方法及存储介质
JP2023014818A (ja) 処理システム、ロボットシステム、制御装置、教示方法、プログラム、及び記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200601

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200601

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201203

R151 Written notification of patent or utility model registration

Ref document number: 6805289

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151