JP2020144691A - 代表色決定方法、検査装置、検査方法およびプログラム - Google Patents

代表色決定方法、検査装置、検査方法およびプログラム Download PDF

Info

Publication number
JP2020144691A
JP2020144691A JP2019041743A JP2019041743A JP2020144691A JP 2020144691 A JP2020144691 A JP 2020144691A JP 2019041743 A JP2019041743 A JP 2019041743A JP 2019041743 A JP2019041743 A JP 2019041743A JP 2020144691 A JP2020144691 A JP 2020144691A
Authority
JP
Japan
Prior art keywords
region
representative color
type
region group
printed wiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019041743A
Other languages
English (en)
Other versions
JP2020144691A5 (ja
Inventor
有美 金田
Yumi Kaneda
有美 金田
西原 栄治
Eiji Nishihara
栄治 西原
塩見 順一
Junichi Shiomi
順一 塩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2019041743A priority Critical patent/JP2020144691A/ja
Priority to TW108141156A priority patent/TW202034282A/zh
Priority to KR1020190168536A priority patent/KR102399373B1/ko
Priority to CN202010128269.3A priority patent/CN111665264B/zh
Publication of JP2020144691A publication Critical patent/JP2020144691A/ja
Publication of JP2020144691A5 publication Critical patent/JP2020144691A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/30Circuit design
    • G06F30/39Circuit design at the physical level
    • G06F30/394Routing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95661Inspecting patterns on the surface of objects for PCB's for leads, e.g. position, curvature
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】プリント配線基板上の各種類の領域群の適切な代表色を操作者のスキルに依存することなく自動的に決定する。【解決手段】検査装置では、プリント配線基板を示す参照画像データと、プリント配線基板の製造に使用されたCAMデータとが準備される(ステップS11,S12)。CAMデータに基づいてプリント配線基板上の各種類の領域群に対応する設計上の領域群が特定される(ステップS13)。各種類の領域群は、例えば、細線化され、細線上の画素に対応する参照画像中の画素の値の平均値が、代表色として決定される(ステップS14)。各種類の領域群の代表色に基づいて、検査の対象となる対象画像の画素の値をいずれかの領域群に分類する分類器が生成される(ステップS16)。【選択図】図4

Description

本発明は、プリント配線基板の画像から各種類の領域群を抽出する際に利用される代表色を決定する技術に関連する。
プリント配線基板では、銅の配線や基材上にソルダレジストと呼ばれる保護膜が形成される。プリント配線基板上には文字や領域を示すパターンも形成される。そのため、プリント配線基板上には、様々な種類の領域が存在する。例えば、銅のメッキが露出する領域、銅の配線上にソルダレジストが存在する領域、基材上にソルダレジストが存在する領域、文字が描かれた領域等がプリント配線基板上には存在する。プリント配線基板の検査を行うには、プリント配線基板を撮像して得られたカラー画像から上記様々な種類の領域を抽出する必要がある。抽出された領域は、その領域に適した条件で検査される。
プリント配線基板の画像である対象画像から各種類の領域を抽出する技術の一つとして、代表色を利用するものがある。この方法では、プリント配線基板の画像を参照しながら操作者がマウス等を用いて領域の種類毎に複数の代表色を設定する。そして、対象画像の各画素が、当該画素の色が最も近い代表色の領域に割り当てられる。これにより、対象画像から各種類の領域が抽出される。このような技術として、例えば、特許文献1に開示されたものがある。
特開2002−259967号公報
ところで、操作者が表示部に表示されたプリント配線基板の画像を見ながら代表色を有する画素を指定する場合、代表色を得る位置が適切であるか否かは操作者のスキルに依存する。そのため、未熟な操作者が代表色の決定に携わると、領域の抽出が適切に行われない虞がある。
本発明は上記課題に鑑みなされたものであり、操作者のスキルに依存することなく適切な代表色を自動的に決定することを目的としている。
請求項1に記載の発明は、プリント配線基板上の各種類の領域群の代表色を前記プリント配線基板の少なくとも一部を示す参照画像に基づいて演算部を含む処理装置が決定する代表色決定方法であって、プリント配線基板の参照画像のデータと、前記プリント配線基板に対応するCAMデータとが予め準備されており、前記代表色決定方法が、a)前記CAMデータに基づいて前記プリント配線基板上の各種類の領域群に対応する設計上の領域群を特定する工程と、b)前記a)工程にて特定された前記設計上の領域群中の前記参照画像の画素の値に基づいて、前記各種類の領域群の代表色を決定する工程とを備える。
請求項2に記載の発明は、請求項1に記載の代表色決定方法であって、前記b)工程において、前記a)工程にて特定された前記設計上の領域群が細線化され、細線上の前記参照画像の画素の値に基づいて、前記各種類の領域群の代表色が決定される。
請求項3に記載の発明は、請求項1または2に記載の代表色決定方法であって、前記a)工程が、前記プリント配線基板の画像を2次元に配列された複数の矩形領域に分割する工程を含み、前記a)工程および前記b)工程が、前記複数の矩形領域のそれぞれを前記参照画像として実行される。
請求項4に記載の発明は、請求項1ないし3のいずれか1つに記載の代表色決定方法であって、前記a)工程において、少なくともいずれか1種類の領域群に関して、面積が大きい領域である大領域と、微細パターン中の領域である微細領域とが特定され、前記b)工程において、前記大領域に対応する代表色と、前記微細領域に対応する代表色とが決定される。
請求項5に記載の発明は、請求項1ないし4のいずれか1つに記載の代表色決定方法であって、d)前記b)工程で決定された前記代表色に色が近い領域群を前記各種類の領域群から抽出する工程と、e)前記d)工程にて抽出された前記領域群の画素の値に基づいて、更新された代表色を決定する工程とをさらに備える。
請求項6に記載の発明は、プリント配線基板を検査する検査装置であって、プリント配線基板の画像を取得する撮像部と、請求項1ないし5のいずれか1つに記載の代表色決定方法にて決定された前記各種類の領域群の代表色に基づいて生成された分類器を有し、前記撮像部にて取得された対象画像の各画素の値を前記分類器に入力することにより、前記対象画像から前記各種類の領域群を抽出する抽出部と、前記各種類の領域群を前記各種類に対して定められた条件で検査する欠陥検出部とを備える。
請求項7に記載の発明は、プリント配線基板を検査する検査方法であって、プリント配線基板の画像を対象画像として取得する工程と、請求項1ないし5のいずれか1つに記載の代表色決定方法にて決定された前記各種類の領域群の代表色に基づいて生成された分類器に、前記対象画像の各画素の値を入力することにより、前記対象画像から前記各種類の領域群を抽出する工程と、前記各種類の領域群を前記各種類に対して定められた条件で検査する工程とを備える。
請求項8に記載の発明は、コンピュータに、プリント配線基板上の各種類の領域群の代表色を前記プリント配線基板の少なくとも一部を示す参照画像に基づいて決定させるプログラムであって、プリント配線基板の参照画像と、前記プリント配線基板に対応するCAMデータとが予め準備されており、前記プログラムの前記コンピュータによる実行は、前記プログラムに、a)前記CAMデータに基づいて前記プリント配線基板上の各種類の領域群に対応する設計上の領域群を特定する工程と、b)前記a)工程にて特定された前記設計上の領域群中の前記参照画像の画素の値に基づいて、前記各種類の領域群の代表色を決定する工程とを実行させる。
本発明によれば、基板上の各種類の領域群の適切な代表色を操作者のスキルに依存することなく自動的に決定することができる。
検査装置の構成を示す図である。 コンピュータの構成を示す図である。 コンピュータにより実現される機能構成を示す図である。 検査装置が代表色決定装置および分類器生成装置として機能する際の検査装置の動作の流れを示す図である。 参照画像の例を示す図である。 2次元に配列された複数の矩形領域を示す図である。 設計上のメッキ領域群を示す図である。 設計上のパターン−レジスト領域群を示す図である。 設計上の基材−レジスト領域群を示す図である。 設計上のシルク領域群を示す図である。 細線化された画像を示す図である。 代表色の更新の流れを示す図である。 代表色に色が近く、かつ、設計上のパターン−レジスト領域内の領域を抽出した例を示す図である。 大領域と微細領域とを示す図である。 検査装置が基板の検査を行う動作の流れを示す図である。
図1は、本発明の一の実施の形態に係る検査装置1の構成を示す図である。検査装置1は、例えば、電子部品が実装される前のプリント配線基板9(以下、「基板」という。)の外観を検査する装置である。
検査装置1は、基板9を撮像する装置本体2と、コンピュータ3とを備える。コンピュータ3は、演算部を含む処理装置であり、検査装置1の全体動作の制御も行う。装置本体2は、撮像部21と、基板9を保持するステージ22と、ステージ移動機構23とを有する。撮像部21は、基板9を撮像して多階調のカラー画像(正確には、カラー画像のデータ)を取得する。ステージ移動機構23は、撮像部21に対してステージ22を相対的に移動する。
撮像部21は、照明光を出射する照明部211と、光学系212と、撮像デバイス213とを有する。光学系212は、基板9に照明光を導くとともに基板9からの光を撮像デバイス213に導く。撮像デバイス213は、光学系212により結像された基板9の像を電気信号に変換する。照明部211は、LEDや電球等のランプと、ランプからの光を整えるレンズや反射部材等の光学要素とを含む。光学系212は、複数のレンズやハーフミラー等の光学要素を含む。撮像デバイス213は、例えば、2次元のイメージングセンサである。撮像デバイス213は1次元のイメージングセンサであってもよく、この場合、ステージ22を移動しながら撮像が行われる。
ステージ移動機構23はボールねじ、ガイドレール、モータ等により構成される。もちろん、ステージ移動機構23として様々な機構が採用可能であり、例えば、リニアモータが利用可能である。コンピュータ3がステージ移動機構23および撮像部21を制御することにより、ステージ22が水平方向に移動して基板9上の所望の領域が撮像される。ステージ22は基板9を保持する保持部である。基板9の保持は様々な方法で行われてよい。例えば、ステージ22に溝が形成され、溝内に形成された吸引口から吸引が行われることにより、基板9がステージ22上に吸着される。ステージ22に多数の吸引口が形成されて基板9が吸着されてもよい。ステージ22を多孔質材料にて形成し、多孔質材料から吸引が行われてもよい。ステージ22は機械的な機構により基板9を保持してもよい。
図2はコンピュータ3の構成を示す図である。コンピュータ3は各種演算処理を行うCPU31、基本プログラムを記憶するROM32および各種情報を記憶するRAM33を含む一般的なコンピュータシステムの構成を有する。コンピュータ3は、情報記憶を行う固定ディスク34、画像等の各種情報の表示を行うディスプレイ35、操作者からの入力を受け付けるキーボード36aおよびマウス36b(以下、「入力部36」と総称する。)、光ディスク、磁気ディスク、光磁気ディスク、メモリカード等のコンピュータ読み取り可能な記録媒体8から情報の読み取りを行う読取装置37、並びに、検査装置1の他の構成との間で信号を送受信する通信部38をさらに含む。
コンピュータ3では、事前に読取装置37を介して記録媒体8からプログラム80が読み出されて固定ディスク34に記憶されている。プログラム80はネットワークを介して固定ディスク34に記憶されてもよい。CPU31は、プログラム80に従ってRAM33や固定ディスク34を利用しつつ演算処理を実行する。CPU31は、コンピュータ3において演算部として機能する。CPU31以外に演算部として機能する他の構成が採用されてもよい。
図3は、コンピュータ3がプログラム80に従って演算処理を実行することにより実現される機能構成を示す図である。これらの機能構成には、制御部301と、代表色決定部302と、分類器生成部303と、抽出部304と、欠陥検出部305と、記憶部306とが含まれる。抽出部304は分類器341を有する。これらの機能の全部または一部は専用の電気回路により実現されてもよい。また、複数のコンピュータによりこれらの機能が実現されてもよい。演算部を含む処理装置であるコンピュータ3は基板9のカラー画像から各種類の領域を抽出する際に利用される代表色を決定する代表色決定装置としての機能も有する。さらに、コンピュータ3は、代表色に基づいて分類器341を生成する分類器生成装置としての機能も有する。
図3に示す機能構成のうち、制御部301、代表色決定部302、分類器生成部303、抽出部304および欠陥検出部305は、CPU31、ROM32、RAM33、固定ディスク34およびこれらの周辺構成により実現され、記憶部306は、主としてRAM33および固定ディスク34により実現される。
制御部301は、撮像部21およびステージ移動機構23、並びに、各機能構成の動作を制御する。代表色決定部302は、分類器341の生成に利用される代表色を決定する。分類器生成部303は、分類器341を生成する。抽出部304は、分類器341を用いて、検査対象となる基板9の画像(以下、「対象画像」という。)から各種類の領域を抽出する。欠陥検出部305は、抽出された領域に基づいて基板9の欠陥を検出する。
図4は、検査装置1が代表色決定装置および分類器生成装置として機能する際の検査装置1の動作の流れを示す図である。なお、図4のステップS13〜S16は、実質的にコンピュータ3のみの動作と捉えることができる。
コンピュータ3では、まず、参照画像のデータ(以下、「参照画像データ」という。)41が記憶部306に保存されて準備される(ステップS11)。参照画像は、代表色を決定するための基板9の画像である。参照画像は、欠陥を有しない基板9を撮像部21にて撮像することにより取得されてもよく、多数の基板9を撮像し、各色成分について多数の画像の平均を求めることにより取得されてもよい。参照画像は基板9の全体の画像である必要はなく、基板9の少なくとも一部を示す画像であればよい。以下の説明において、画像に対する処理は、正確には、画像のデータに対する処理である。
図5は、参照画像の例を示す図である。基板9では、基材上に銅等の導体膜で形成された配線やランド等が形成される。配線の大部分は、保護膜で覆われる。保護膜は、配線に不要な半田が付着することを防止する役割も有することから、以下、「ソルダレジスト」と呼ぶ。ソルダレジスト上には、例えば、白いインクで文字、記号、枠線等の指示パターンが描かれる。指示パターンの描画方法としてシルク印刷やインクジェット方式等の様々なものが採用可能であるが、以下、これらの指示パターンの領域を「シルク領域」と呼ぶ。多くの場合、1つの参照画像においてシルク領域の数は2以上であるが、1つの場合もあり得るため、以下、参照画像内の全てのシルク領域を指す場合に「シルク領域群」と呼ぶ。図5の参照画像71では、シルク領域の幾つかに符号84を付している。以下の説明において、「領域群」は「少なくとも1つの領域」を意味する。
基板9を観察した場合、シルク領域84以外に、配線やランド等が露出する領域、配線がソルダレジストに覆われた領域、基材がソルダレジストに覆われた領域等が存在する。配線の元となる導体膜は、通常、メッキにて形成されるため、以下、配線等が露出する領域を「メッキ領域」と呼ぶ。多くの場合、1つの参照画像においてメッキ領域の数は2以上であるが、1つの場合もあり得るため、以下、参照画像内の全てのメッキ領域を指す場合に「メッキ領域群」と呼ぶ。図5の参照画像71では、幾つかのメッキ領域に符号81を付している。
また、配線パターンがソルダレジストで覆われた領域を「パターン−レジスト領域」と呼び、参照画像内の全てのパターン−レジスト領域を指す場合に「パターン−レジスト領域群」と呼ぶ。基材がソルダレジストで覆われた領域を「基材−レジスト領域」と呼び、参照画像内の全ての基材−レジスト領域を指す場合に「パターン−レジスト領域群」と呼ぶ。図5の参照画像71では、幾つかのパターン−レジスト領域に符号82を付し、幾つかの基材−レジスト領域に符号83を付している。もちろん、基板9上には他の領域が存在してもよいが、説明を簡素化するために、以下、メッキ領域群、パターン−レジスト領域群、基材−レジスト領域群およびシルク領域群のみが基板9上に存在するものとして説明する。
記憶部306には、基板9に対応するCAMデータ42、すなわち、基板9を製造する際に使用されたCAMデータ42も保存されて準備される(ステップS12)。CAMデータ42の形式は特に限定されず、ベクトル形式であってもよく、ラスタ形式であってもよい。好ましくは、CAMデータ42は演算処理される時点でラスタ形式である。CAMデータ42は、例えば、少なくとも1つの配線領域を示すデータ、少なくとも1つのソルダレジスト領域を示すデータ、および、少なくとも1つのシルク領域を示すデータの集合として準備される。ステップS11およびステップS12は、入力部36を介して操作者により行われてもよく、実質的に自動的に行われてもよい。
基板9の全体を示す画像のサイズが大きい場合、ステップS11では、図6に示すように、全体画像7は、2次元に配列された複数の矩形領域70に分割される。そして、以下に説明する処理は、複数の矩形領域70のそれぞれに対して実行される。換言すれば、ステップS11において全体画像が分割されることにより複数の参照画像が準備され、複数の矩形領域70のそれぞれを参照画像として処理が実行される。図5の参照画像71は、基板9の一部の画像であり、矩形領域70に対応する例である。各矩形領域70に対して以下に説明する処理を行うことにより、後述の代表色の決定において、基板9上の位置による色の変動の影響、例えば、照明の影響を低減することができる。全体画像7のサイズが小さい場合は分割は行われず、参照画像のサイズは全体画像7のサイズと同じである。
代表色決定部302は、CAMデータ42に基づいて、基板9上の各位置における設計上の領域の種類を特定する。例えば、基板9上のある位置が配線領域ではあるがソルダレジスト領域ではなく、かつ、シルク領域ではない場合、その位置は「メッキ領域」に属すると特定される。基板9上のある位置が配線領域であり、かつ、ソルダレジスト領域であるが、シルク領域ではない場合、その位置は「パターン−レジスト領域」に属すると特定される。基板9上のある位置が配線領域ではなく、ソルダレジスト領域であり、シルク領域ではない場合、その位置は「基材−レジスト領域」に属すると特定される。基板9上のある位置がシルク領域である場合、その位置は「シルク領域」に属すると特定される。
上記処理により、CAMデータ42に基づいて、基板9上の各種類の領域群に対応する参照画像中の「設計上の」領域群が特定される。なお、参照画像は基板9の全体を示すとは限らないため、正確には、基板9上の各種類の領域群の少なくとも一部に対応する参照画像中の「設計上の」領域群が特定される(ステップS13)。CAMデータ42により各種類の「設計上の」領域群が特定されるため、実際の参照画像における各種類の領域群は、基板9の製造誤差や欠陥の存在により、ステップS13で特定された領域群と僅かに異なる可能性がある。特定された各種類の領域群を示すデータは、好ましくは、ラスタ形式である。
図7は、図5の参照画像71のメッキ領域81に対応する設計上のメッキ領域61、すなわち、設計上のメッキ領域群を示す。図8は、図5の参照画像71のパターン−レジスト領域82に対応する設計上のパターン−レジスト領域62、すなわち、設計上のパターン−レジスト領域群を示す。図9は、図5の参照画像71の基材−レジスト領域83に対応する設計上の基材−レジスト領域63、すなわち、設計上の基材−レジスト領域群を示す。図10は、図5の参照画像71のシルク領域84に対応する設計上のシルク領域64、すなわち、設計上のシルク領域群を示す。これらの領域群は、例えば、二値画像として記憶部306に一時的に保存される。または、これらの領域群は、1つの画像に合成され、各画素に領域群の種類を示す値が割り当てられた多値画像として保存される。
次に、代表色決定部302は、各種類の領域群を細線化する。例えば、図8に示すパターン−レジスト領域群に対して細線化を行うことにより、図11に示す二値の細線化画像が得られる。そして、図11の細線化画像において値が「1」の画素に対応する参照画像71中の画素の値、すなわち、細線621上の画素に対応する参照画像71中の画素の値が取得される。取得された画素の値の平均値が、パターン−レジスト領域群の代表色として決定される。参照画像はカラー画像であるため、画素の値の平均値は、通常、Rの色成分の値の平均値、Gの色成分の値の平均値およびBの色成分の値の平均値の組み合わせである。他の種類の領域群に対しても同様にして、細線化を利用して代表色が決定される(ステップS14)。
既述のように、CAMデータ42から導かれる設計上の各種類の領域群は、参照画像中の実際の各種類の領域群と異なる可能性がある。しかし、設計上の各種類の領域群を細線化することにより、細線上の画素に対応する位置は、参照画像において注目している領域内にほぼ確実に位置する。これにより、参照画像から各種類の領域群の適切な代表色を操作者のスキルに依存することなく自動的に決定することが実現される。
代表色が決定されると、分類器生成部303は、代表色に基づいて分類器341を生成する(ステップS16)(ステップS15については後述)。後述の検査処理では、分類器341に対象画像の各画素の値が入力され、当該値に対応する領域の種類が出力される。分類器341は典型的には、LUT(ルックアップテーブル)である。一般的に、色空間を代表色の位置を基準に分割し、分割された三次元空間のいずれに画素の値が属するかを特定するLUTを生成することにより、分類器341が生成される。色空間は、RGB空間でもよく、L空間でもよく、他の色空間でもよい。各種類の領域群の代表色に基づく分類器341の生成には様々な手法が採用可能であるが、例えば、上述の特開2002−259967号公報に開示された手法が採用可能である。
次に、図4のステップS15について説明する。ステップS15は代表色を更新することにより、より適切な代表色を決定する工程であり、必要に応じて実行される。図12はステップS15の具体例を示す図である。ステップS15では、ステップS14にて決定された代表色に色が近い領域群が、当該代表色に対応する種類の領域群から抽出される(ステップS151)。ここで、「色が近い」とは、色空間における距離が短いことをいう。
図13は、図5に示す参照画像71から、図8に示すパターン−レジスト領域62に関して求められた代表色に色が近く、かつ、設計上のパターン−レジスト領域62内の領域82aを抽出した例を示す図である。全ての領域82aにおける参照画像71中の画素の値の平均を新たな代表色とすることにより、代表色が更新される(ステップS152)。ステップS152において、パターン−レジスト領域62に代えて、パターン−レジスト領域62を収縮させた領域が用いられてもよい。領域82aの画素の様々な代表値、例えば、各色要素の値の中央値や最頻値等が新たな代表色として決定されてもよい。このように、抽出された領域82a(正確には、領域群)の画素の値に基づいて、更新された代表色が決定される。代表色を更新することにより、代表色をより適切なものとすることができる。
代表色の決定は、上記の細線化を利用するものには限定されず、代表色の更新方法も上記の方法には限定されない。CAMデータ42を利用して特定された設計上の領域群中の参照画像の画素の値に基づいて、各種類の領域群の代表色が決定されるのであれば、様々な手法が採用可能である。例えば、細線化に代えて、各種類の領域群に対して細らせ処理が行われてもよい。単純に、設計上の各種類の領域群の範囲において、参照画像の画素の値の平均値や中央値が代表色として求められてもよい。いずれの手法においても、参照画像から各種類の領域群の適切な代表色を操作者のスキルに依存することなく自動的に決定することが実現される。
代表色の更新が行われる場合は、最初の代表色の決定の自由度は高い。例えば、独立した各領域内に必ず存在すると認められる位置(例えば、矩形の重心)の画素の値が最初の代表色として決定されてもよい。あるいは、参照画像を小さい矩形の配列に分割し、各種類の領域群に含まれる矩形の重心の画素の値の平均値が最初の代表色として決定されてもよい。さらには、小さな矩形を参照画像上にて走査し、矩形全体がいずれかの種類の領域群に包含された際に矩形の重心の画素の値を取得し、画素の値の平均値が最初の代表色として決定されてもよい。上記手法における最初の代表色は、更新されることなく最終的な代表色として利用されてもよい。
ステップS14では、少なくとも1種類の領域群に対して複数の代表色が決定されてもよい。例えば、複数の種類の領域群のそれぞれに対して複数の代表色が決定される場合、色空間内の各位置は、当該位置から複数の代表色までの平均距離が最も小さい種類の領域に割り当てられる。もちろん、他の方法により、複数の代表色から当該代表色に対応する色空間内の領域が求められてもよい。
図14に示すパターン−レジスト領域群では、面積が大きい領域である大領域62aと、微細パターン中の領域である微細領域62bとが存在する。そこで、好ましくは、これらの領域(正確には、大領域群および微細領域群)が特定された上で、大領域62aに対応する代表色と、微細領域62b対応する代表色とが決定される。そして、ステップS16において、これらの代表色を用いてパターン−レジスト領域群に対応する色空間内の領域が求められる。この手法は、他のいずれの種類の領域群に対しても採用可能である。これにより、より適切な分類器341を生成することができる。
大領域であるか微細領域であるかは、例えば、注目している領域に収縮処理を施し、消滅しなかった場合に大領域であると判断することができる。この処理により、例えば、メッキ領域に対しては、大領域と、ランドやパッド等の微小領域とで個別に代表色を決定することができる。パターン−レジスト領域では、大領域と、微細配線等の複雑な領域とで個別に代表色を決定することができる。少なくとも1種類の領域群が、大領域、中領域および微細領域に分けられて3つの代表色が決定されてもよい。例えば、この方式をシルク領域に適用することにより、ベタ領域、文字領域、線領域のそれぞれに実質的に対応する代表色を決定することができる。
図15は、検査装置1が基板9の検査を行う動作の流れを示す図である。ここでは、1つのロット(以下、「対象ロット」という。)として製造される複数の基板9が検査対象であるものとする。対象ロットに含まれる複数の基板9は同一の製品の製造に用いられ、同じ条件にて同じ配線パターンが形成される。上述の参照画像の取得に利用された基板9は、対象ロットに含まれる基板9である。
検査では、まず、1つの基板9がステージ22に保持され、制御部301の制御の下、ステージ移動機構23にて位置調整が行われた後、撮像部21により基板9の画像が取得される(ステップS21)。検査の対象となる対象画像のデータは、対象画像データ45として記憶部306に保存される。
抽出部304により、対象画像の各画素の値は分類器341に入力され、当該画素が、メッキ領域、パターン−レジスト領域、基材−レジスト領域およびシルク領域のいずれに属するかが特定される。これにより、対象画像から各種類の領域群が抽出される。具体的には、各種類の領域群を示す画像が抽出画像として取得され、抽出画像データ46として記憶部306に保存される(ステップS22)。なお、実質的に対象画像から各種類の領域群が抽出されるのであれば、抽出された領域群を示すデータの構造は抽出画像という形式には限定されない。例えば、各種類の領域群の範囲を示す情報が取得されるのみでもよい。この場合、対象画像と各種類の領域群の範囲を示す画像との組み合わせが、各種類の領域群を抽出した画像として扱われる。
抽出画像データ46は、欠陥検出部305に入力され、各領域の種類群が当該種類に対して定められた条件で検査される(ステップS23)。例えば、メッキ領域群に対応する抽出画像に対しては、配線のショートやオープン、メッキの欠け、異物の存在等が検査される。パターン−レジスト領域群に対応する抽出画像に対しては、配線のオープンやショート、異物の存在、レジスト不良等が検査される。基材−レジスト領域群に対応する抽出画像に対しては、メッキ残り、異物の存在等が検査される。シルク領域群に対応する抽出画像に対しては、パターンの欠けやにじみ、異物の存在等が検査される。検査結果47は記憶部306に保存される。
1つの基板9に対する上記処理が終わると、ステージ22上の基板9が次の基板9に交換され、ステップS21〜S23が繰り返される。
上記検査装置1およびその動作は様々に変更可能である。
例えば、分類器341はLUTには限定されない。分類器341として色空間を複数の部位に区画する条件式が用いられてもよい。
コンピュータ3は、装置本体2から独立してもよい。逆に、コンピュータ3は装置本体2の筐体の中に収納されてもよい。コンピュータ3は代表色を決定する装置として、あるいは、分類器を生成する装置としてのみ用いられてもよい。
図4に示すステップS11とステップS12とは順序が入れ替わってもよい。図4に示す工程以外に、様々な工程が追加されてもよい。例えば、参照画像データ41を前処理する工程や、CAMデータ42を前処理する工程が存在してもよい。図15においても、対象画像データ45を前処理する工程や、抽出画像データ46を前処理する工程が追加されてもよい。
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
1 検査装置
3 コンピュータ(処理装置)
7 全体画像
9 基板(プリント配線基板)
21 撮像部
41 参照画像データ
42 CAMデータ
61 設計上のメッキ領域
62 設計上のパターン−レジスト領域
62a 大領域
62b 微細領域
63 設計上の基材−レジスト領域
64 設計上のシルク領域
70 矩形領域
71 参照画像
80 プログラム
81 参照画像中のメッキ領域
82 参照画像中のパターン−レジスト領域
82a (代表色に色が近い)領域
83 参照画像中の基材−レジスト領域
84 参照画像中のシルク領域
303 抽出部
304 欠陥検出部
341 分類器
621 細線
S13〜S15,S21〜S23,S151,S152 ステップ

Claims (8)

  1. プリント配線基板上の各種類の領域群の代表色を前記プリント配線基板の少なくとも一部を示す参照画像に基づいて演算部を含む処理装置が決定する代表色決定方法であって、
    プリント配線基板の参照画像のデータと、前記プリント配線基板に対応するCAMデータとが予め準備されており、
    前記代表色決定方法が、
    a)前記CAMデータに基づいて前記プリント配線基板上の各種類の領域群に対応する設計上の領域群を特定する工程と、
    b)前記a)工程にて特定された前記設計上の領域群中の前記参照画像の画素の値に基づいて、前記各種類の領域群の代表色を決定する工程と、
    を備えることを特徴とする代表色決定方法。
  2. 請求項1に記載の代表色決定方法であって、
    前記b)工程において、前記a)工程にて特定された前記設計上の領域群が細線化され、細線上の前記参照画像の画素の値に基づいて、前記各種類の領域群の代表色が決定されることを特徴とする代表色決定方法。
  3. 請求項1または2に記載の代表色決定方法であって、
    前記a)工程が、前記プリント配線基板の画像を2次元に配列された複数の矩形領域に分割する工程を含み、
    前記a)工程および前記b)工程が、前記複数の矩形領域のそれぞれを前記参照画像として実行されることを特徴とする代表色決定方法。
  4. 請求項1ないし3のいずれか1つに記載の代表色決定方法であって、
    前記a)工程において、少なくともいずれか1種類の領域群に関して、面積が大きい領域である大領域と、微細パターン中の領域である微細領域とが特定され、
    前記b)工程において、前記大領域に対応する代表色と、前記微細領域に対応する代表色とが決定されることを特徴とする代表色決定方法。
  5. 請求項1ないし4のいずれか1つに記載の代表色決定方法であって、
    d)前記b)工程で決定された前記代表色に色が近い領域群を前記各種類の領域群から抽出する工程と、
    e)前記d)工程にて抽出された前記領域群の画素の値に基づいて、更新された代表色を決定する工程と、
    をさらに備えることを特徴とする代表色決定方法。
  6. プリント配線基板を検査する検査装置であって、
    プリント配線基板の画像を取得する撮像部と、
    請求項1ないし5のいずれか1つに記載の代表色決定方法にて決定された前記各種類の領域群の代表色に基づいて生成された分類器を有し、前記撮像部にて取得された対象画像の各画素の値を前記分類器に入力することにより、前記対象画像から前記各種類の領域群を抽出する抽出部と、
    前記各種類の領域群を前記各種類に対して定められた条件で検査する欠陥検出部と、
    を備えることを特徴とする検査装置。
  7. プリント配線基板を検査する検査方法であって、
    プリント配線基板の画像を対象画像として取得する工程と、
    請求項1ないし5のいずれか1つに記載の代表色決定方法にて決定された前記各種類の領域群の代表色に基づいて生成された分類器に、前記対象画像の各画素の値を入力することにより、前記対象画像から前記各種類の領域群を抽出する工程と、
    前記各種類の領域群を前記各種類に対して定められた条件で検査する工程と、
    を備えることを特徴とする検査方法。
  8. コンピュータに、プリント配線基板上の各種類の領域群の代表色を前記プリント配線基板の少なくとも一部を示す参照画像に基づいて決定させるプログラムであって、
    プリント配線基板の参照画像と、前記プリント配線基板に対応するCAMデータとが予め準備されており、
    前記プログラムの前記コンピュータによる実行は、前記プログラムに、
    a)前記CAMデータに基づいて前記プリント配線基板上の各種類の領域群に対応する設計上の領域群を特定する工程と、
    b)前記a)工程にて特定された前記設計上の領域群中の前記参照画像の画素の値に基づいて、前記各種類の領域群の代表色を決定する工程と、
    を実行させることを特徴とするプログラム。
JP2019041743A 2019-03-07 2019-03-07 代表色決定方法、検査装置、検査方法およびプログラム Pending JP2020144691A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019041743A JP2020144691A (ja) 2019-03-07 2019-03-07 代表色決定方法、検査装置、検査方法およびプログラム
TW108141156A TW202034282A (zh) 2019-03-07 2019-11-13 代表色決定方法、檢查裝置、檢查方法以及程式產品
KR1020190168536A KR102399373B1 (ko) 2019-03-07 2019-12-17 대표색 결정 방법, 검사 장치, 검사 방법 및 프로그램
CN202010128269.3A CN111665264B (zh) 2019-03-07 2020-02-28 代表色决定方法、检查装置、检查方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019041743A JP2020144691A (ja) 2019-03-07 2019-03-07 代表色決定方法、検査装置、検査方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020144691A true JP2020144691A (ja) 2020-09-10
JP2020144691A5 JP2020144691A5 (ja) 2022-03-01

Family

ID=72355593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019041743A Pending JP2020144691A (ja) 2019-03-07 2019-03-07 代表色決定方法、検査装置、検査方法およびプログラム

Country Status (4)

Country Link
JP (1) JP2020144691A (ja)
KR (1) KR102399373B1 (ja)
CN (1) CN111665264B (ja)
TW (1) TW202034282A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI751869B (zh) * 2020-12-30 2022-01-01 廣達電腦股份有限公司 運算裝置及用於近眼顯示裝置之缺陷偵測方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW244359B (en) * 1994-11-07 1995-04-01 China Steel Co Ltd Process of forming a protection layer on the bricks of feeding side of a converter
JPH11316193A (ja) * 1998-04-30 1999-11-16 Dainippon Screen Mfg Co Ltd 画像の領域分割方法
JP2005326226A (ja) * 2004-05-13 2005-11-24 Dainippon Screen Mfg Co Ltd 欠陥検出装置、配線領域抽出装置、欠陥検出方法および配線領域抽出方法
JP2006024116A (ja) * 2004-07-09 2006-01-26 Dainippon Screen Mfg Co Ltd カラー画像の領域分割
JP2008099149A (ja) * 2006-10-13 2008-04-24 Konica Minolta Business Technologies Inc 画像処理装置、画像処理方法および画像処理プログラム
JP2008298436A (ja) * 2007-05-29 2008-12-11 Mega Trade:Kk 外観検査装置における外観検査方法
JP2009150656A (ja) * 2007-12-18 2009-07-09 Dainippon Screen Mfg Co Ltd パターン検査方法およびパターン検査装置
JP2010175305A (ja) * 2009-01-27 2010-08-12 Saki Corp:Kk 被検査体の検査装置
JP2013181807A (ja) * 2012-03-01 2013-09-12 Dainippon Screen Mfg Co Ltd 領域分類装置、そのプログラム、基板検査装置、および領域分類方法
WO2015141487A1 (ja) * 2014-03-18 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018116008A (ja) * 2017-01-20 2018-07-26 株式会社Screenホールディングス 位置ずれ量取得装置、検査装置、位置ずれ量取得方法および検査方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3560473B2 (ja) * 1998-05-26 2004-09-02 大日本スクリーン製造株式会社 プリント基板の検査装置およびプリント基板の検査方法
JP4139571B2 (ja) * 2001-02-28 2008-08-27 大日本スクリーン製造株式会社 カラー画像の領域分割
JP4648660B2 (ja) * 2004-07-21 2011-03-09 大日本スクリーン製造株式会社 画像の領域分割による物体の表面領域配置の取得
CN100386773C (zh) * 2004-12-27 2008-05-07 欧姆龙株式会社 图像处理方法、基板检查方法和装置及检查数据制作方法
JP2011252770A (ja) * 2010-06-01 2011-12-15 Shirai Electronics Industrial Co Ltd プリント基板の検査装置およびその検査方法
JP6348289B2 (ja) * 2014-01-31 2018-06-27 株式会社Screenホールディングス 検査装置および検査方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW244359B (en) * 1994-11-07 1995-04-01 China Steel Co Ltd Process of forming a protection layer on the bricks of feeding side of a converter
JPH11316193A (ja) * 1998-04-30 1999-11-16 Dainippon Screen Mfg Co Ltd 画像の領域分割方法
JP2005326226A (ja) * 2004-05-13 2005-11-24 Dainippon Screen Mfg Co Ltd 欠陥検出装置、配線領域抽出装置、欠陥検出方法および配線領域抽出方法
JP2006024116A (ja) * 2004-07-09 2006-01-26 Dainippon Screen Mfg Co Ltd カラー画像の領域分割
JP2008099149A (ja) * 2006-10-13 2008-04-24 Konica Minolta Business Technologies Inc 画像処理装置、画像処理方法および画像処理プログラム
JP2008298436A (ja) * 2007-05-29 2008-12-11 Mega Trade:Kk 外観検査装置における外観検査方法
JP2009150656A (ja) * 2007-12-18 2009-07-09 Dainippon Screen Mfg Co Ltd パターン検査方法およびパターン検査装置
JP2010175305A (ja) * 2009-01-27 2010-08-12 Saki Corp:Kk 被検査体の検査装置
JP2013181807A (ja) * 2012-03-01 2013-09-12 Dainippon Screen Mfg Co Ltd 領域分類装置、そのプログラム、基板検査装置、および領域分類方法
WO2015141487A1 (ja) * 2014-03-18 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018116008A (ja) * 2017-01-20 2018-07-26 株式会社Screenホールディングス 位置ずれ量取得装置、検査装置、位置ずれ量取得方法および検査方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAE-MIN MOON ET AL.: ""The Multi-Modal Human Identification Based on Smartcard in Video Surveillance System"", 2010 IEEE/ACM INT'L CONFERENCE ON GREEN COMPUTING AND COMMUNICATIONS & INT'L CONFERENCE ON CYBER, PH, JPN6022054540, 18 December 2010 (2010-12-18), US, pages 691 - 698, XP031923559, ISSN: 0004952847, DOI: 10.1109/GreenCom-CPSCom.2010.74 *
大津 全史、外3名: ""動画像中からの交差する人物の追跡"", FIT2002 情報科学技術フォーラム 一般講演論文集 第3分冊, JPN6022054541, 13 September 2002 (2002-09-13), JP, pages 193 - 194, ISSN: 0004952846 *
金 大祐、外2名: ""ビデオメモシステム構築のための画像からのハングル文字列領域抽出"", 映像情報メディア学会技術報告, vol. 25, no. 85, JPN6022054542, 14 December 2001 (2001-12-14), JP, pages 7 - 12, ISSN: 0005015456 *

Also Published As

Publication number Publication date
KR20200107760A (ko) 2020-09-16
CN111665264B (zh) 2023-07-04
KR102399373B1 (ko) 2022-05-17
TW202034282A (zh) 2020-09-16
CN111665264A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
JP6348289B2 (ja) 検査装置および検査方法
CN110658198A (zh) 光学检测方法、光学检测装置及光学检测系统
US20050254699A1 (en) Apparatus and method for detecting defect and apparatus and method for extracting wire area
CN106934794A (zh) 信息处理装置,信息处理方法和检查系统
WO2019169821A1 (zh) Led 灯智能检测方法、检测系统及存储介质
US10533952B2 (en) Method of inspecting a terminal of a component mounted on a substrate and substrate inspection apparatus
JP2015176282A (ja) 画像処理方法、画像処理装置、並びに、当該方法を実行するプログラム、及び、当該プログラムを記録する記録媒体
KR102399373B1 (ko) 대표색 결정 방법, 검사 장치, 검사 방법 및 프로그램
KR102529354B1 (ko) 학습 장치, 검사 장치, 학습 방법 및 검사 방법
JP5832167B2 (ja) 部品有無判定装置及び部品有無判定方法
JP2018017608A (ja) 回路基板の検査方法及び検査装置
JP4506395B2 (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
KR20180087090A (ko) 검사 기준 화상을 통한 자동 조명 설정 방식의 머신 비전 시스템 및 동작 방법
US11763445B2 (en) Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value
KR101056995B1 (ko) 3차원 형상 검사방법
JP2021047677A (ja) 参照画像生成装置、検査装置、アライメント装置および参照画像生成方法
WO2024070338A1 (ja) 位置計測システム及び照明条件好適化システム
JP2906454B2 (ja) 物体位置検出方法
JP2006038543A (ja) テンプレートヒストグラム生成方法およびパターン検査装置
JP2024110453A (ja) 検査装置および検査方法
JP2006078301A (ja) 物体のカラー画像による欠陥検出
JP2008292348A (ja) 基板画像抽出装置、基板画像抽出方法及び基板外観検査装置
JP2002296016A (ja) プリント回路板の保護層形状認識方法及び検査方法
CN114359900A (zh) 一种基于数字微镜的pcb高精度智能定位方法
CN112881401A (zh) 使用复合光源的光学检测方法及其装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230320