JP2020517965A - 物体を光学式に検査するための検査装置及び物体検査システム - Google Patents

物体を光学式に検査するための検査装置及び物体検査システム Download PDF

Info

Publication number
JP2020517965A
JP2020517965A JP2019558573A JP2019558573A JP2020517965A JP 2020517965 A JP2020517965 A JP 2020517965A JP 2019558573 A JP2019558573 A JP 2019558573A JP 2019558573 A JP2019558573 A JP 2019558573A JP 2020517965 A JP2020517965 A JP 2020517965A
Authority
JP
Japan
Prior art keywords
inspection device
housing
opening
camera
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019558573A
Other languages
English (en)
Other versions
JP7055148B2 (ja
Inventor
トーベ アレクサンダー
トーベ アレクサンダー
ベアガー マーティン
ベアガー マーティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2020517965A publication Critical patent/JP2020517965A/ja
Application granted granted Critical
Publication of JP7055148B2 publication Critical patent/JP7055148B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8829Shadow projection or structured background, e.g. for deflectometry

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

製造プロセスの物体及びワークピースの品質は、表面及び/又は形状に基づいて評価されることが多い。ハウジング(3)と、メインカメラ(2)と、評価ユニット(10)と、を備えた、物体(7)を光学式に、特に偏向計測式に検査するための検査装置(1)が提案され、ハウジング(3)は、開口部(4)を備えた中空体であり、物体(7)は、検査のために開口部(4)に位置決め可能であり、メインカメラ(2)は、撮影方向及び撮影面を有し、メインカメラ(2)は、ハウジング(3)の開口部(4)への撮影方向を備えるように配置され、検査装置(1)は、複数の光源(6)を含み、光源(6)は、開口部(4)の周囲に配置され、光源(6)は、撮影面を可変に照明するように構成され、メインカメラ(2)は、撮影面に位置する物体(7)に関して、複数の物体画像を撮影するように構成され、評価ユニット(10)は、物体画像に基づいて、物体(7)の幾何学形態を特定するように構成される。

Description

本発明は、物体を光学式に、特に偏向計測式に(deflectometric)検査するための検査装置に関し、検査装置は、ハウジングと、メインカメラとを備え、ハウジングは、開口部を備えた中空体であり、物体は、検査のために開口部に位置決め可能であり、メインカメラは、撮影方向及び撮影面を有しており、メインカメラは、ハウジングの開口部に向けられた撮影方向を備えるように配置され、検査装置は、複数の光源を含み、光源は、開口部の周囲に配置されており、光源は、撮影面を可変に照明するように構成されており、メインカメラは、撮影面に位置する物体に関して、複数の物体画像を撮影するように構成されている。
対象物の表面特性は、照明装置を用いて測定及び/又は検査されることが多い。その際、対象物の画像が、カメラによって撮影され、撮影時には対象物がドーム状拡散体を用いて照明される。
おそらく本発明に最も近い従来技術が記載されている刊行物である独国特許出願公開第19623949号明細書(DE19623949A1)には、ドーム状拡散体を介して、その下に位置する対象物を照明する照明装置と、ドーム状拡散体の上端部に配置されている対物レンズを有しているビデオカメラと、コンピュータを含む評価装置とを備えた、対象物の表面を光学式に検査するための装置が開示されており、評価装置には、対象物の事前に定義された面の目標画像又は目標グレー値が記憶されており、この目標画像又は目標グレー値が、カメラによって撮影された画像と比較され、実際画像と目標画像との偏差が所定の大きさを有する場合には、評価信号が生成され、照明装置は、常にスイッチオンされている白色光ランプを有している。
独国特許出願公開第19623949号明細書
発明の概要
本発明の枠内においては、請求項1の特徴を備えた、物体を光学式に、特に偏向計測式に検査するための検査装置が提案される。さらに、請求項13に記載の特徴を備えた検査装置を備えた物体検査システムが提案される。本発明の好適な及び/又は有利な実施形態は、従属請求項、以下の説明及び添付の図面より明らかになる。
本発明によれば、物体を光学式に、特に偏向計測式に検査するための検査装置が提案される。特に、検査装置は、物体を自動的に検査するように構成されている。物体は、例えばワークピース及び/又は構成部材であり、その場合、物体は、特に光沢のある、及び/又は、反射性の表面を有している。物体の偏向計測式の検査は、例えば、物体の表面の光学検査である。特に、検査装置は、可変の物体スペクトルに関して、偏向計測式の検査を実現するように構成されている。
検査装置は、ハウジングを有している。ハウジングは、開口部を備えた中空体である。特に、ハウジングは、内部空間を有している。ハウジングは、例えば、切断された中空体であり、この切断された中空体は、中空体の開口部を形成する断面を有している。さらに、ハウジングは、特に内面及び外面を有している。物体は、検査のために開口部に位置決めすることができる。特に、物体は、検査のために開口部の中心に位置決めすることができ、その際に、開口部の中心の位置は、特に、物体に関する最適な検査位置及び/又は作業位置である。ハウジングの開口部は、特に、中空体を画定する縁部を有している。ハウジングにおける開口部は、例えば、円形、楕円形、三角形又は任意の多角形である。
検査装置は、メインカメラを有している。特に、メインカメラは、ズーム可能なカメラであり、その場合、メインカメラは調整可能な撮像領域及び/又は倍率を有している。メインカメラは、特にビデオカメラであり、代替的には、メインカメラは、スチルカメラである。特に、メインカメラは、CCDカメラであり、特にカラーカメラ及び/又はモノクロカメラである。代替的に、メインカメラは、CMOSカメラである。メインカメラは、撮影方向及び撮影面を有している。特に、撮影方向は、撮影面に対して垂直に延在している。撮影方向は、特に、メインカメラが撮影を行う方向である。撮影面は、特に、対象物をメインカメラによって鮮明に結像することができる面である。例えば、撮影面は、被写界深度が最大の面である。
メインカメラは、ハウジングの開口部に向けられた撮影方向を備えるように配置されている。特に、メインカメラは、撮影方向において、ハウジングの開口部を通る視野を有している。メインカメラは、特に、メインカメラが撮影方向においてハウジングの開口部の中心を通る視野を有するように配置されている。特に、さらに、撮影方向がハウジングの開口部によって展開される面に対して垂直に延在するように、メインカメラが配置されている。
検査装置は、複数の光源を有している。特に、検査装置は、5個より多くの光源、特に20個より多くの光源、特に50個より多くの光源を有している。光源は、特にLEDである。特に、光源は、白色光源又はカラー光源、特にRGB光源である。特に、光源は、点光源であり、代替的に及び/又は補完的に、光源は面光源である。光源は、特に、熱光源であり、この場合、熱光源は、広範な波長範囲の放射特性、例えばプランクの放射則に基づく放射特性を有している。代替的に及び/又は補完的に、光源は、非熱光源であり、この場合、非熱光源は、特に線状放射器及び/又は帯状放射器である。
光源は、ハウジングにおける開口部の周囲に配置されている。特に、光源は開口部の縁部に沿って配置されている。代替的に及び/又は補完的に、光源は、ハウジングの内面に配置されている。光源は、撮影面を可変に照明するように構成されている。可変の照明とは、特に、光源による交番的な照明と解される。可変の照明は、例えば、光源によって放射される光の合成色の変化及び/又は複数の光源による照明方向の変化である。例えば、ある時点t1においては、撮影領域が、全ての光源によって照光され、他の時点t2においては、撮影領域が、複数の光源のうちの一方のサブセットによって照光され、また、ある時点t3においては、撮影面が、複数の光源のうちの他方のサブセットによって照光される。特に、メインカメラが撮影面を明るく鮮明に及び/又は高コントラストで撮影及び/又は結像することができるように、光源が配置されている。
メインカメラは、撮影面に位置する物体について、複数の物体画像を撮影するように構成されている。特に、メインカメラは、撮影面に位置する物体について、2より多く、特に10より多く、及び/又は、特に50より多くの物体画像を撮影するように構成されている。特に、物体画像は時間的に間隔を空けて、特に時間的に等間隔で撮影され、この際、例えば2つの物体画像が撮影される時間間隔は、1ミリ秒よりも長い、及び/又は、1秒よりも短い。特に、メインカメラは、ビデオカメラであり、撮影面に位置する物体の複数の物体画像を、特にビデオシーケンスとして撮影するように構成されている。
検査装置は、評価ユニットを有している。特に、評価ユニットは、データ技術的にメインカメラに接続されており、この場合、評価ユニットは、物体画像をデータ技術的に提供している及び/又は提供する。評価ユニットは、物体画像に基づいて、物体の幾何学形態を特定するように構成されている。特に、評価ユニットは、幾何学形態として、スロープマップを物体の物体画像に基づいて特定するように構成されている。特に、評価ユニットは、物体画像、幾何学形態及び/又はスロープマップに基づいて、物体の表面を再構成するように構成されている。
本発明は、物体の表面幾何学形態及び/又はスロープマップの高速で自動的及び/又は確実な特定を実現する検査装置を提供するという考察を基礎としている。有利には、検査装置によって、表面幾何学形態を確実かつ高速に特定することができ、この場合、そのために必要とされる全ての構成要素が検査装置に統合されている。
本発明の1つの特に好適な実施形態においては、ハウジングは、切欠を含む。切欠は、物体の保持部及び/又は操作装置のための通路及び/又は収容部として構成されている。特に、切欠は、物体のための通路及び/又は収容部である。保持部は、例えば軸系である。操作装置は、例えばロボット及び/又はロボットアームである。保持部及び/又は操作装置は、物体の保持、位置決め及び/又は回転を行うように構成されている。切欠は特に、物体を撮影面において、複数の位置に、特に、幾何学形態の特定に関連する及び/又は必要とされるあらゆる位置に位置決めすることができるように構成されている。この構成は、撮影面において複数の位置に位置決めすることができる物体の幾何学形態特定のために衝突無く、物体の保持部及び/又は操作装置と共に使用することができる、ハウジングを備えた検査装置を提供するという考察を基礎としている。
特に、切欠は、ハウジングの開口部に直接接している。特に、切欠及び開口部は、物質によって相互に離隔されていない。例えば、切欠は、開口部に隣接する拡大部とみなすことができる。この構成は、例えば保持部及び/又は操作装置を切欠に対して相対的なあらゆる角度位置において使用することができるという考察を基礎としている。
本発明の1つの考えられる構成においては、切欠が円形及び/又は楕円形である。特に、切欠は、扇形、例えば半円形である。代替的に、切欠は、任意の多角形、例えば三角形、四角形又は六角形である。特に、切欠は、ハウジングによって展開される残存の空間角度が可能な限り大きくなるように構成されている。特に、切欠を、保持部及び/又は操作装置の形状及び/又は物体に適合させることができる。特に、開口部の周囲に配置されている光源は、切欠を備えたハウジングに関して、月桂冠状に配置されている。特に、切欠は、少なくとも部分的に、開口部によって展開される面及び/又は撮影面の外側に配置されている。この構成は、切欠による影響を可能な限り少なくし及び/又は低減し、その結果、例えば、可能な限りわずかな散乱光及び/又は妨害光しかカメラ及び/又は撮影面に入射しないようにするハウジングを備えた検査装置を提供するという考察を基礎としている。
本発明の1つの特に好適な構成においては、光源が、ハウジングにおける開口部の周囲に均等に及び/又は等間隔で配置されている。特に、光源は、均等に及び/又は等間隔で、開口部とハウジングとの境界部を形成する縁部に配置されている。特に、光源は、それらの光源が相互に接する及び/又は曲線に接するように、開口部の周囲に配置されている。さらに、光源を、検査装置のハウジング全体において、等間隔で及び/又は均等に配置することができ、例えば、各空間角度部分デルタシータ(ΔΩ)に同数配置することができる。この構成は、撮影面における物体の可能な限り均等で一定の照明を実現する検査装置を提供するという考察を基礎としている。
1つの考えられる構成においては、光源が、放射方向を有している。放射方向は、特に、光源が最大の強度を有する光を放射する方向である。各光源の放射方向は、メインカメラの撮影方向とそれぞれ1つの照明角度を成す。光源のうちの少なくとも1つの照明角度は可変であり、特に、全ての光源の照明角度は可変である。特に、照明角度は、位置合わせ可能であり、特に可逆的に位置合わせ可能である。例えば、光源は、ベース及び/又は台座を含み、この場合、ベース及び/又は台座は、照明角度を変更するために、方向転換可能にハウジング及び/又は縁部に配置されている。この構成は、光源の照明角度が調整可能及び/又は位置調節可能であり、その結果、物体に関して最善の照光及び/又は照明を検査中に実現する検査装置を提供するという考察を基礎としている。
特に好適には、ハウジングが、ドーム状及び/又は半球である。特に、ハウジングは、丸屋根状である。さらに、ハウジングは、例えば、円筒状、コーン状及び/又は円錐状に構成することができる。特に、ドーム状及び/又は半球状のハウジングは、例えば平坦な断面を表す開口部を有している。この構成は、可能な限り広い内部空間を有し、その結果、その内部空間において物体を良好に操作することができる及び/又は回動させることができるハウジングを提供するという考察を基礎としている。
特に好適には、検査装置が複数の補助カメラを有している。特に、検査装置は、10個より多くの補助カメラ、特に20個より多くの補助カメラ、有利には30個より多くの補助カメラを有している。補助カメラは、特にディジタルカメラ及び/又は画像センサである。補助カメラは、例えば、カラーカメラとして又はモノクロカメラとして構成されている。特に、補助カメラは、それぞれ1つのカメラユニットを有しており、カメラユニットは、画像を撮影するための画像センサを含む。特に、カメラユニットは、5ミリメートルより小さい直径、特に2ミリメートルより小さい直径を有している。補助カメラは、ハウジング内に配置されている。特に、補助カメラは、メインカメラの周囲に配置されている。特に好適には、補助カメラは、ハウジングの開口部の周囲に配置されている。
補助カメラは、物体の補助画像を撮影するように構成されている。特に、補助画像は、撮影領域における部分領域及び/又は物体全体を結像する。補助画像は、特に、物体画像のうちの少なくとも1つとの少なくとも1つの重畳部を有している。特に、補助カメラは、撮影面にある物体を鮮明に及び/又は高コントラストで結像することができるように配置されている。代替的に及び/又は補完的に、補助カメラは、撮影面にない物体を鮮明に及び/又は高コントラストで結像することができるように配置されている。評価ユニットは、特に、補助画像に基づいて、物体の幾何学形態を特定するように構成されている。特に、評価ユニットは、物体画像に基づいて特定された幾何学形態を、補助画像に基づいて洗練及び/又は補完するように構成されている。代替的に及び/又は補完的に、評価ユニットは、補助画像に基づいて、物体画像によってカバーされなかった領域における物体の幾何学形態を補完するように構成されている。特に、補助カメラは、物体の撮影の視点切り替えを実現するように配置されている。この構成は、補助カメラの使用によって、物体の複数の画像、視点及び/又は物体の外観を提供し、そのようにして幾何学形態を、補助画像及び物体画像に基づいて特定することができ、その結果、例えば物体の幾何学形態の非常に正確な測定を実現する検査装置を提供するという考察を基礎としている。
本発明の1つの考えられる構成においては、各補助カメラが、異なる焦点距離を有している、及び/又は、異なる撮影領域を結像する。特に、補助カメラは、調節可能及び/又は調整可能な焦点距離を有している。特に、補助カメラの撮影領域の大きさは、メインカメラの撮影領域以上である。この構成は、複数の補助カメラを使用することによって、物体の結像を異なる焦点距離及び/又は物体部分を用いて実現する検査装置を提供するという考察を基礎としており、この場合、検査装置の寿命はメインカメラの最大ズームサイクル数によって限定されていない。
特に、補助カメラは、電子回路基板及びカメラユニットを有している。特に、カメラユニットは、例えば、対物レンズ及び/又はレンズのような光学ユニット並びに画像センサを含む。カメラユニットは、例えば、CCDカメラ若しくはCMOSカメラであり、及び/又は、CCDカメラ若しくはCMOSカメラを含む。電子回路基板は、カメラユニットを制御し、電流を供給し、及び/又は、撮影された画像のデータをアーカイブする及び/又はユーザに提供するように構成されている。電子回路基板は、特に可撓性の接続部を用いて、カメラユニットに接続されている。可撓性の接続部は、例えば、可撓性のケーブルである。特に、カメラユニットは、検査装置のハウジング内に配置されており、この場合、電子回路基板は、検査装置のハウジングの外側に配置されており、この場合、可撓性の接続部は、ハウジング内のカメラユニットをハウジングの外側にある電子回路基板に接続する。この構成は、カメラユニットの電子装置部分がハウジングの外側に配置されることによって、この電子装置部分がメインカメラの視野を制限する可能性はないことにより、メインカメラの最小限のフットプリント及び/又は被覆度において補助カメラがハウジング内に配置されるという考察を基礎としている。
特に好適には、ハウジングの内部が反射性である。例えば、ハウジングの内部は、例えば銀めっきされたミラーのような鏡面性の表面である。代替的に、ハウジングは、内面において吸収性、例えばつや消しの黒であり、また、障害光及び/又は散乱光の光吸収体として構成されている。特に、ハウジングの吸収効率は、内面において約1である。この構成は、光を非常に良好に散乱させ、撮影面にある物体を可能な限り良好に照光する検査装置を提供するという考察を基礎としており、また、他方においては、散乱光を可能な限り良好に捕捉し、その結果、物体の幾何学形態を可能な限り簡単に再構成することができるという考察を基礎としている。
特に好適には、ハウジングにおける開口部は、開口面を画定している。特に、開口面は、平坦及び/又は均一な面である。代替的に、開口面は、湾曲した面である。特に、開口面と撮影面とは、一致している。代替的に及び/又は補完的に、開口面及び撮影面は、相互に平行にずらされている。この構成は、物体の測定時に、検査装置の可能な限りわずかな周囲光しか測定を妨害しない検査装置を提供するという考察を基礎としており、この場合、物体は、検査時にまさに開口面に位置しており、それによって開口面を部分的に覆っている。
物体検査システムは、本発明の他の対象である。物体検査システムは、請求項1乃至12のいずれか一項及び/又は上記の説明による検査装置と、物体を操作する及び/又は保持するための少なくとも1つの操作装置とを含む。操作装置は、例えば、ロボット、ロボットアーム及び/又は軸系であり、この場合、操作システムにおいて物体を例えば緊張させることができる。操作装置は、物体を保持し、位置決めし、及び/又は、回動させるように構成されている。さらに、操作装置は、物体を撮影面において少なくとも部分的に回動及び/又は方向転換させるように構成されており、この場合、検査装置は、物体の幾何学形態を撮影し、その一方では、物体は、撮影面において操作装置によって保持される。特に、操作装置は、物体を検査装置による幾何学形態の特定中に回転させるように構成されているので、その結果、物体検査システムは、物体全体及び/又は物体のほぼ全ての幾何学形態を特定するように構成されている。特に、物体検査システムは、物体全体の検査を実施するように構成されている。従って、物体検査システムは、物体を操作装置によって操作し及び/又は保持し、その一方では、物体は、検査装置によって測定される可能性を提供し、この場合、操作装置は、衝突なく、検査装置との相互作用を生じさせることができる。
本発明のさらなる特徴、利点及び効果は、本発明の好適な実施例の以下の説明より明らかになる。
検査装置を示す。 電子回路基板及びカメラユニットを備えた補助カメラを示す。
図1は、メインカメラ2及びハウジング3を備えた検査装置1を示す。ハウジング3は、丸屋根状の中空体であり、この実施例においては、半球状の中空体である。半球状の中空体は、特に赤道面で切断されている。ハウジング3は、開口部4を有しており、この開口部4は、この実施例においては、円形の開口部4である。ハウジング3は、外側領域及び内側領域を有しており、内側領域は、特に反射性であり、代替的に及び/又は補完的に、内側領域は吸収性である。ハウジング3の、開口部4側とは反対側には、この実施例においては、半球状のハウジング3の極には、メインカメラ2が配置されている。
メインカメラ2は、撮影方向を有しており、このメインカメラ2の撮影方向は、ハウジング3の開口部4の方向に向けられている。特に、カメラ2は焦点距離を有しているので、ハウジング3の開口部4の領域を、メインカメラ2によって鮮明に及び/又は高コントラストで結像することができる。特に、メインカメラ2は電子回路部品を有しており、この電子回路部品は、ハウジング3の外側に配置されているので、特に、メインカメラ2のレンズ及び/又は対物レンズのみが、開口部4への視野方向を備えて、ハウジング3内に配置されている。
ハウジング3は、縁部5を有しており、この縁部5は、ハウジング3と開口部4との境界を形成している。縁部5は、この実施例においては、円環状に形成されている。縁部5に沿って、特に開口部4を包囲するように、複数の光源6が配置されている。光源6は、特に、発光ダイオードである。光源6は、放射方向を有しており、この実施例においては、各光源6の放射方向は、中央に位置する、円形の開口部4の中心に向けられている。特に、光源6は、方向転換可能に縁部5に配置されているので、メインカメラ2の撮影方向と光源6の放射方向とが成す角度は、可変である。この実施例においては、光源6の放射方向とメインカメラ2の撮影方向とが成す角度、特に照明角度は、90度である。特に、光源6の照明角度は、電子的に調整可能及び/又は調節可能である。光源6は、開口部4の領域を照明するように構成されており、この際、照明には、光源6の全て及び/又は一部のみを利用することができる。特に、光源6は、例えば光の色の変更及び/又はアクティブである光源6の変更によって、開口部4の種々の照明を実現するように構成されている。
特に、開口部4は、メインカメラ2の撮影面と一致する面を展開している。メインカメラ2の撮影面には、物体7を配置することができる。物体7は、例えば、電子部品モジュール又は機械的なモジュールである。特に、物体7は、光沢のある表面を含む。特に、物体7は、撮影面の領域において、方向転換可能及び/又は回転可能である。
検査装置1及び/又はハウジング3は、切欠8を有している。切欠8は、特に、ハウジング3の欠落部である。切欠8は、特に、開口部4に直接的に続いている。切欠8は、この実施例においては、ハウジングにおける半円形の切欠である。切欠8は、物体7の保持部及び/又は物体7の操作装置、例えば、物体7を開口部4に保持する軸系を、収容することができるように構成されている。特に、切欠8は、物体7の直径以下の大きさであり、この場合、切欠8は、操作システム及び/又は保持部を収容するためにのみ構成されている。
検査装置1は、複数の補助カメラ9a及び9bを含む。補助カメラ9a及び9bは、ディジタルカメラとして構成されており、それらの補助カメラ9a及び9bによって、物体7を撮影領域及び/又は開口部4において鮮明に及び/又は高コントラストで結像することができるように、ハウジング3内に配置されている。補助カメラ9aは、メインカメラ2に直接接しており、メインカメラ2の撮影方向に対して平行な撮影方向を備えるように配向されている。補助カメラ9aは、特に、メインカメラ2とは異なる焦点距離及び/又は被写界深度を有している。補助カメラ9bは、特に、ハウジング3の縁部5の領域に配置されている。補助カメラ9a及び9bも同様に、物体7への撮影方向を備えるように配向されている。特に、補助カメラ9bの撮影方向と、メインカメラ2の撮影方向とが成す角度は、80度よりも大きい。補助カメラ9bは、物体7の補助画像を撮影するように構成されている。メインカメラ2は、物体7の物体画像を撮影するように構成されている。
検査装置1は、評価ユニット10を有しており、この評価ユニット10は、メインカメラ2によって撮影された物体画像に基づいて、及び、補助カメラ9a,9bによって撮影された補助画像に基づいて、物体7の幾何学形態及び/又はスロープマップを特定するように構成されている。評価ユニット10は、例えば、マイクロチップ、マイクロコントローラ、及び/又はコンピュータユニットとして構成されている。特に、評価ユニット10をメインカメラ2に組み込むことができる。
図2には、補助カメラ9が示されている。補助カメラ9は、カメラユニット11、可撓性の接続部12及び電子回路基板13を有している。カメラユニット11は、特に、例えば、CCDチップ又はCMOSチップのようなカメラセンサを含む。さらに、カメラユニット11は、対物レンズユニットを含み、対物レンズユニットは、例えば、レンズを含む。対物レンズユニットは、画像を鮮明にカメラセンサに結像するように構成されている。カメラユニット11は、特に10ミリメートル未満の直径を有している。
電子回路基板13は、カメラユニット11を制御する、及び/又は、電流を供給するように構成されている。特に、電子回路基板13は、カメラユニット11のデータの制御又は評価に必要とされる全ての電子コンポーネントを含む。特に、電子回路基板13は、回路基板インタフェース14を含む。回路基板インタフェース14は、補助カメラ9から、特にカメラユニット11から提供される補助画像をデータ技術的に提供するように構成されている。特に、回路基板インタフェース14は、データ技術的に、検査装置1の評価ユニット10に接続されている。
電子回路基板13は、可撓性の接続部12を介してカメラユニット11に接続されている。可撓性の接続部12は、例えば、可撓性のケーブルであり、可撓性のケーブルによって、カメラユニット11が、データ技術的に及び/又は電子的に電子回路基板13に接続されている。特に、可撓性の接続部12は、カメラユニット11を位置合わせするように構成されている。可撓性の接続部12は、特に高い曲げ剛性を有しており、代替的には、可撓性の接続部12は、低い曲げ剛性を有している。可撓性の接続部12は、検査装置のハウジング3の内面からハウジング3の外面への貫通部として構成されており、可撓性の接続部は、ハウジング3の内面に設けられているカメラユニット11を、ハウジング3の外面に設けられている電子回路基板13に接続する。

Claims (15)

  1. 物体(7)を光学式に、特に偏向計測式に検査するための検査装置(1)であって、
    前記検査装置(1)は、ハウジング(3)と、メインカメラ(2)とを備え、
    前記ハウジング(3)は、開口部(4)を備えた中空体であり、前記物体(7)は、検査のために前記開口部(4)に位置決め可能であり、
    前記メインカメラ(2)は、撮影方向及び撮影面を有し、前記メインカメラ(2)は、前記ハウジング(3)の前記開口部(4)に向けられた撮影方向を備えるように配置され、
    前記検査装置(1)は、複数の光源(6)を含み、前記光源(6)は、前記開口部(4)の周囲に配置され、前記光源(6)は、前記撮影面を可変に照明するように構成されており、
    前記メインカメラ(2)は、前記撮影面に位置する前記物体(7)に関して、複数の物体画像を撮影するように構成されている、
    検査装置(1)において、
    前記物体画像に基づいて、前記物体(7)の幾何学形態を特定するように構成されている評価ユニット(10)が設けられていることを特徴とする、検査装置(1)。
  2. 前記ハウジング(1)は、切欠(8)を有しており、前記切欠(8)は、前記物体(7)の保持部及び/又は操作装置のための通路及び/又は収容部を形成する、請求項1に記載の検査装置(1)。
  3. 前記切欠(8)は、前記開口部(4)に接している、請求項2に記載の検査装置(1)。
  4. 前記切欠(8)は、扇形及び/又は楕円形である、請求項2又は3に記載の検査装置(1)。
  5. 前記光源(6)は、前記開口部(4)の周囲に、月桂冠状に配置されている、及び/又は、前記切欠(8)による中断個所を有するように配置されている、請求項2乃至4のいずれか一項に記載の検査装置(1)。
  6. 前記検査装置(1)は、特殊検査状態を有し、前記保持部及び/又は前記操作装置は、部分的に前記切欠(8)に配置され、前記物体(7)は、前記撮影面に位置決めされる、請求項2乃至4のいずれか一項に記載の検査装置(1)。
  7. 前記光源(6)は、前記開口部(4)の周囲に均等に及び/又は等間隔で配置されている、請求項1乃至6のいずれか一項に記載の検査装置(1)。
  8. 前記光源(6)は、放射方向を有し、各光源(6)の前記放射方向は、前記撮影方向とそれぞれ1つの照明角度を成し、前記光源(6)のうちの少なくとも1つの照明角度は、可変である、請求項1乃至7のいずれか一項に記載の検査装置(1)。
  9. 前記ハウジング(3)は、ドーム状及び/又は半球である、請求項1乃至8のいずれか一項に記載の検査装置(1)。
  10. 複数の補助カメラ(9,9a,9b)が設けられ、前記補助カメラ(9,9a,9b)は、前記ハウジングにおいて、前記メインカメラの周囲に配置され、前記補助カメラ(9,9a,9b)は、前記物体(7)の補助画像を撮影するように構成されており、前記評価ユニット(10)は、前記補助画像に基づいて前記物体(7)の幾何学形態を特定する、及び/又は、特定された前記幾何学形態を改善するように構成されている、請求項1乃至9のいずれか一項に記載の検査装置(1)。
  11. 各前記補助カメラ(9,9a,9b)は、異なる焦点距離を有している、及び/又は、異なる撮影領域を結像する、請求項10に記載の検査装置(1)。
  12. 前記補助カメラ(9,9a,9b)は、電子回路基板(13)及びカメラユニット(11)を有しており、前記電子回路基板(13)は、可撓性の接続部(12)を用いて前記カメラユニット(11)に接続されており、前記カメラユニット(11)は、前記ハウジング(3)内に配置されており、前記電子回路基板(13)は、前記ハウジング(3)の外側に配置されている、請求項1乃至11のいずれか一項に記載の検査装置(1)。
  13. 前記ハウジング(3)は、内面において反射性又は吸収性である、請求項1乃至12のいずれか一項に記載の検査装置(1)。
  14. 前記開口部(4)は、開口面を画定し、前記開口面と前記撮影面とは、一致する、請求項1乃至13のいずれか一項に記載の検査装置(1)。
  15. 請求項1乃至14のいずれか一項に記載の検査装置(1)と、前記物体(7)の操作及び/又は保持のための操作装置とが設けられ、前記操作装置は、前記物体(7)を前記撮影面において少なくとも部分的に回動及び/又は方向転換させるように構成されていることを特徴とする、物体検査システム。
JP2019558573A 2017-04-27 2018-02-23 物体を光学式に検査するための検査装置及び物体検査システム Active JP7055148B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017207071.4A DE102017207071A1 (de) 2017-04-27 2017-04-27 Prüfvorrichtung zur optischen Prüfung eines Objekts und Objektprüfungsanordnung
DE102017207071.4 2017-04-27
PCT/EP2018/054458 WO2018197074A1 (de) 2017-04-27 2018-02-23 Prüfvorrichtung zur optischen prüfung eines objekts und objektprüfungsanordnung

Publications (2)

Publication Number Publication Date
JP2020517965A true JP2020517965A (ja) 2020-06-18
JP7055148B2 JP7055148B2 (ja) 2022-04-15

Family

ID=61616957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558573A Active JP7055148B2 (ja) 2017-04-27 2018-02-23 物体を光学式に検査するための検査装置及び物体検査システム

Country Status (6)

Country Link
US (1) US11041813B2 (ja)
EP (1) EP3615886B1 (ja)
JP (1) JP7055148B2 (ja)
CN (1) CN110537075B (ja)
DE (1) DE102017207071A1 (ja)
WO (1) WO2018197074A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815465B2 (en) * 2019-03-08 2023-11-14 Gemological Institute Of America, Inc. (Gia) Portable high-resolution gem imaging system
DE102020205535A1 (de) 2020-04-30 2021-11-04 Robert Bosch Gesellschaft mit beschränkter Haftung Charakterisierung, Training und Anwendung von Bildklassifikatoren
DE102020207323A1 (de) 2020-06-12 2021-12-16 Robert Bosch Gesellschaft mit beschränkter Haftung Messung der Empfindlichkeit von Bildklassifikatoren anhand realistischer Änderungen, die Klassengrenzen überschreiten
EP3923193B1 (de) 2020-06-12 2024-03-27 Robert Bosch GmbH Messung der empfindlichkeit von bildklassifikatoren gegen veränderungen des eingabebildes
DE102020207324A1 (de) 2020-06-12 2021-12-16 Robert Bosch Gesellschaft mit beschränkter Haftung Plausibilisierung der Ausgabe eines Bildklassifikators mit einem Generator für abgewandelte Bilder
CN111678458A (zh) * 2020-06-18 2020-09-18 东莞市小可智能设备科技有限公司 一种锡球视觉测量装置及其测量方法
DE102020208474B4 (de) 2020-07-07 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Messung der Empfindlichkeit von Klassifikatoren anhand zusammenwirkender Störungen
DE102020208545A1 (de) 2020-07-08 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Kontrolle des Verhaltens eines Bildklassifikators über genetisch erarbeitete Störungen
DE102020208621A1 (de) 2020-07-09 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln von Bildbereichen, auf die ein Bildklassifikator seine Entscheidungen stützt
DE102020210732A1 (de) 2020-08-25 2022-03-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Messung der Relevanz von Bildbereichen für Entscheidungen eines Bildklassifikators
DE102020210729A1 (de) 2020-08-25 2022-03-03 Robert Bosch Gesellschaft mit beschränkter Haftung Training von Klassifikatornetzwerken auf eine bessere Erklärbarkeit der erhaltenen Klassifikations-Scores
CN112040138B (zh) * 2020-08-31 2021-12-14 英华达(上海)科技有限公司 立体光源系统、摄像方法、装置、存储介质及电子设备
DE102020211166A1 (de) 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Klassifikatornetzwerk mit transparenter, besser erklärbarer Arbeitsweise
DE102020211995A1 (de) 2020-09-24 2022-03-24 Robert Bosch Gesellschaft mit beschränkter Haftung Bestimmung der für einen Bildklassifikator entscheidungsrelevanten Bildanteile im latenten Raum des Bildklassifikators
DE102020212005B4 (de) 2020-09-24 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Bestimmung der für einen Bildklassifikator entscheidungsrelevanten Bildanteile
US11825182B2 (en) 2020-10-12 2023-11-21 Waymo Llc Camera module with IR LEDs for uniform illumination
DE102020214944A1 (de) 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Bestimmung der für einen Bildklassifikator entscheidungsrelevanten Bildanteile mit vermindertem Rechenzeitbedarf
DE102020214996A1 (de) 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Messung der Empfindlichkeit eines Bildklassifikators gegenüber Änderungen des Eingabe-Bildes
DE102020215814A1 (de) 2020-12-14 2022-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Bestimmung der für einen Bildklassifikator entscheidungsrelevanten Bildanteile mittels binärer Masken
EP4012611A1 (de) 2020-12-14 2022-06-15 Robert Bosch GmbH Bestimmung der für einen bildklassifikator entscheidungsrelevanten bildanteile durch zielgerichtetes abwandeln im latenten raum
DE102020216054A1 (de) 2020-12-16 2022-06-23 Robert Bosch Gesellschaft mit beschränkter Haftung Ermitteln der Wirkung des Eingabe-Bildes eines Bildklassifikators auf ein durch Faltungsschichten gebildetes Zwischenprodukt
DE102021200877A1 (de) 2021-02-01 2022-08-04 Robert Bosch Gesellschaft mit beschränkter Haftung Quantitative Beurteilung von Relevanzbewertungsfunktionen für die Ausgabe eines Bildklassifikators
DE102021104661A1 (de) 2021-02-26 2022-09-01 Robert Bosch Gesellschaft mit beschränkter Haftung Bildklassifikator mit Indikatorschicht für Nachvollziehbarkeit der Entscheidungen
DE102021104672A1 (de) 2021-02-26 2022-09-01 Robert Bosch Gesellschaft mit beschränkter Haftung Erzeugen von kontrafaktischen Bildern für die Auswertung von Bildklassifikatoren
DE102021206877A1 (de) 2021-06-14 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Quantitative Bewertung eines Bildverarbeiters für die Erzeugung kontrafaktischer Bilder
DE102021214253A1 (de) 2021-12-13 2023-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Bestimmung der für eine Bildverarbeitung mit einem Transformer-Netzwerk entscheidungsrelevanten Bildanteile
DE102021214465A1 (de) 2021-12-15 2023-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Analyse des Verhaltens von Bildklassifikatoren
DE102022200060A1 (de) 2022-01-05 2023-07-06 Robert Bosch Gesellschaft mit beschränkter Haftung Bestimmung der Relevanz von Bildanteilen für das Ergebnis einer Verarbeitung des Bildes durch ein Transformer-Netzwerk
US20240073520A1 (en) * 2022-08-29 2024-02-29 Sony Interactive Entertainment Inc. Dual camera tracking system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06300702A (ja) * 1990-02-23 1994-10-28 Control Autom Inc プリント回路基板検査装置
US20020179679A1 (en) * 2001-05-03 2002-12-05 Kim Chang-Hyo Three-dimensional soldering inspection apparatus and method
US20040150822A1 (en) * 2003-01-30 2004-08-05 Samsung Electronics Co., Ltd. Soldering inspection apparatus
JP2010060312A (ja) * 2008-09-01 2010-03-18 Kirin Techno-System Co Ltd 異物検査装置及び異物検査システム
JP2013185994A (ja) * 2012-03-08 2013-09-19 Omron Corp 画像処理装置およびその制御方法
KR101376274B1 (ko) * 2013-11-04 2014-03-26 주식회사 서울금속 비전 검사 장치
JP2015508499A (ja) * 2012-01-05 2015-03-19 ヘルミー イメージング オーワイ 光学測定用配置および関連方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19623949C2 (de) 1996-06-15 1999-06-10 Ibea Ingenieurbuero Fuer Elekt Vorrichtung zur optischen Prüfung der Oberflächenbeschaffenheit von Gegenständen
FR2806478B1 (fr) * 2000-03-14 2002-05-10 Optomachines Dispositif et procede de controle optique de pieces de vaisselle comme des assiettes emaillees ou tout produit ceramique emaille
TW561796B (en) * 2001-10-12 2003-11-11 Japan Aqua Co Ltd Magnified photography device, measuring device, and measuring program
CA2604718C (en) * 2005-04-12 2012-03-13 Tiffen Acquisition, Llc Folding hinge
CN201434664Y (zh) * 2009-05-31 2010-03-31 吉林大学 汽车前照灯前端面位置与车体偏斜角测量辅助装置
CN201532192U (zh) * 2009-11-30 2010-07-21 哈尔滨科瑞精密仪器有限公司 一种大量程高精度轮廓测量位移传感器
JP4985752B2 (ja) * 2009-12-10 2012-07-25 カシオ計算機株式会社 針位置検出装置および電子時計
JP6878781B2 (ja) * 2016-06-30 2021-06-02 オムロン株式会社 検査システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06300702A (ja) * 1990-02-23 1994-10-28 Control Autom Inc プリント回路基板検査装置
US20020179679A1 (en) * 2001-05-03 2002-12-05 Kim Chang-Hyo Three-dimensional soldering inspection apparatus and method
US20040150822A1 (en) * 2003-01-30 2004-08-05 Samsung Electronics Co., Ltd. Soldering inspection apparatus
JP2010060312A (ja) * 2008-09-01 2010-03-18 Kirin Techno-System Co Ltd 異物検査装置及び異物検査システム
JP2015508499A (ja) * 2012-01-05 2015-03-19 ヘルミー イメージング オーワイ 光学測定用配置および関連方法
JP2013185994A (ja) * 2012-03-08 2013-09-19 Omron Corp 画像処理装置およびその制御方法
KR101376274B1 (ko) * 2013-11-04 2014-03-26 주식회사 서울금속 비전 검사 장치

Also Published As

Publication number Publication date
JP7055148B2 (ja) 2022-04-15
EP3615886A1 (de) 2020-03-04
CN110537075A (zh) 2019-12-03
DE102017207071A1 (de) 2018-10-31
US11041813B2 (en) 2021-06-22
EP3615886B1 (de) 2023-08-30
WO2018197074A1 (de) 2018-11-01
CN110537075B (zh) 2021-11-30
US20200150050A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
JP7055148B2 (ja) 物体を光学式に検査するための検査装置及び物体検査システム
JP5181321B2 (ja) 光照射装置
JP4360808B2 (ja) 照明装置を備えた測定装置及び物体の照明のための方法
US5367439A (en) System for frontal illumination
JP5648749B2 (ja) 形状計測装置および形状計測方法
US7808644B2 (en) Device for optically measuring the shapes of objects and surfaces
JP6206560B2 (ja) システム
TW201205033A (en) Shape measuring device and calibrating method
JP2003503701A (ja) 照明モジュール
US20200182801A1 (en) Lighting device and inspection apparatus
JP2018506716A (ja) 光放射源の照明又は放射に関する少なくとも1つの特性変数を方向に依存して測定するための方法及びゴニオラジオメーター
JP5807772B2 (ja) 欠陥検出装置およびその方法
JP5481484B2 (ja) 3次元物体を2次元平面画像に光学的に変換する装置および方法
KR20170080631A (ko) 조명 시스템, 조명 시스템을 구비한 검사 도구, 및 조명 시스템 동작 방법
US20170010220A1 (en) System for inspecting a backside of a wafer
JP2004516491A (ja) 電子部品の接点要素の位置を測定する方法及び装置
US20090073446A1 (en) Lighting Subsystem for a Machine Vision System
JP7086813B2 (ja) 照明装置
US11251347B2 (en) Semiconductor light source
WO2001098760A1 (fr) Lampe d'examen
JP4038157B2 (ja) 光照射装置
JP2009129795A (ja) スポットライト
JP2009097940A (ja) 形状測定装置
JP7222765B2 (ja) 画像測定装置
KR100816839B1 (ko) 발광다이오드 환형광원의 고휘도 평행광 발생을 위한발광다이오드의 입사각 측정 장치와 측정방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211220

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220104

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220405

R150 Certificate of patent or registration of utility model

Ref document number: 7055148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150