JP2019033174A - 識別システム、識別方法およびプログラム - Google Patents

識別システム、識別方法およびプログラム Download PDF

Info

Publication number
JP2019033174A
JP2019033174A JP2017153213A JP2017153213A JP2019033174A JP 2019033174 A JP2019033174 A JP 2019033174A JP 2017153213 A JP2017153213 A JP 2017153213A JP 2017153213 A JP2017153213 A JP 2017153213A JP 2019033174 A JP2019033174 A JP 2019033174A
Authority
JP
Japan
Prior art keywords
identifier
character string
database
image
target substrate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017153213A
Other languages
English (en)
Other versions
JP7052248B2 (ja
Inventor
小田 賢治
Kenji Oda
賢治 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017153213A priority Critical patent/JP7052248B2/ja
Publication of JP2019033174A publication Critical patent/JP2019033174A/ja
Application granted granted Critical
Publication of JP7052248B2 publication Critical patent/JP7052248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Supply And Installment Of Electrical Components (AREA)

Abstract

【課題】製造工程において対象基板の状態が変化しても、対象基板を確実に識別できる識別システムを提供する。【解決手段】データベース15と、回路基板110の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列を第1識別子としてデータベースに登録する登録装置11と、照合対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列とデータベースに登録された第1識別子とを照合することによって照合対象の対象基板を識別する照合装置13とを備える識別システム1とする。【選択図】図1

Description

本発明は、製造ラインにおいて回路基板を識別する識別システム、識別方法およびプログラムに関する。
電子機器の製造ラインでは、品質向上のために、製造ラインに設置された製造装置の装置情報や、電子機器に搭載される回路基板や部品の検査情報などを分析し、分析したデータを製品に紐付けるトレーサビリティの仕組みが求められる。このような仕組みの構築のためには、製造ラインの各工程において回路基板を識別することが必要である。例えば、電子機器や回路基板の品名や品番、製造年月日などを含む個体識別情報を回路基板に設定し、その個体識別情報に基づいて回路基板を追跡することによってトレーサビリティを確保できる。
トレーサビリティを目的とした回路基板の識別方法として、バーコードや2次元コードなどの識別子が印刷されたラベルや、識別情報を記憶させたRFID(Radio Frequency Identifier)を基板に貼り付ける方法がある。また、回路基板の識別方法として、レーザーマーカーやインクジェットなどによって基板に識別子を印刷する方法もある。
上述のような方法で回路基板のトレーサビリティを得るためには、ラベルやRFID、印刷設備などが必要となるため、製造コストが増大するという問題点がある。また、回路基板への個体識別情報の貼り付けや印刷などの作業が必要となるため、製造時間が増大するという問題点がある。これらの問題点を解決するために、個体識別情報を基板に付与することなしにそれぞれの基板を識別することが求められている。このような課題を解決するために、回路基板の表面の画像や、部品の実装状態、はんだの状態から得られる特徴量を人の指紋のように捉えて個々の回路基板を識別する方法が開示されている。
特許文献1には、対象基板の対向する2つの側面を搬送方向に対して垂直な方向から撮像し、対象基板の側面の画像データから特徴量を抽出して、抽出された対象基板の特徴量を用いて対象基板を照合する識別システムについて開示されている。
特許文献2には、基板に実装された部品を含む画像を撮像し、画像に含まれる部品実装状態に関する情報から対象基板の特徴量を抽出して、抽出した特徴量に基づいて基板を照合する識別システムについて開示されている。
特許文献3には、対象基板のはんだ状態に関する情報を含む画像を撮像し、撮像した画像に含まれるはんだ状態に関する情報から対象基板の特徴量を抽出して、抽出した特徴量に基づいて基板を照合する識別システムについて開示されている。
特開2017−058306号公報 特開2016−178157号公報 特開2016−178159号公報
特許文献1−3の装置によれば、基板を識別するための個体識別情報を基板に付与せずに、基板に部品を実装した後のどの段階においても、生産性を損なうことなく個々の基板を識別できる。
ところで、一般に、回路基板の製造工程が進むにつれて、回路基板の表面に傷や汚れがつくことによって撮像対象自体が変化する可能性が大きくなる。また、各工程における照明条件の違いや、カメラの画像ノイズなどによって画像が変化する可能性もある。そのため、特許文献1−3の手法では、撮像対象自体の変化に伴って、照合対象の回路基板の照合度が低下する可能性がある。
また、特許文献1−3の手法では、データ容量が比較的大きな画像を用いて回路基板を照合することになる。そのため、特許文献1−3の手法を用いる場合、記憶装置や通信装置の容量を十分に確保する必要がある。
また、一般的な回路基板の製造ラインにおいては、SMT(Surface Mount Technology)工程までは1枚の回路基板で実装し、その後の工程においてその回路基板を複数枚に分割することもある。そのように回路基板を複数枚に分割すると、照合箇所が1箇所であったり、照合箇所が廃棄対象領域であったりした場合に回路基板を識別できなくなる可能性がある。
本発明の目的は、上述した課題を解決し、製造工程において対象基板の状態が変化しても、対象基板を確実に識別できる識別システムを提供することにある。
本発明の一態様の識別システムは、データベースと、回路基板の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列を第1識別子としてデータベースに登録する登録装置と、照合対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列とデータベースに登録された第1識別子とを照合することによって照合対象の対象基板を識別する照合装置とを備える。
本発明の一態様の識別システムは、データベースと、回路基板の製造ラインを構成する第1工程において、登録対象の対象基板の画像から特徴量を抽出し、抽出した特徴量を第3識別子としてデータベースに登録する第1登録装置と、第1工程以降の工程において、照合対象の対象基板の画像から特徴量を抽出し、照合対象の対象基板から抽出した特徴量と、データベースに登録された第3識別子とを照合することによって照合対象の対象基板を識別する第1照合装置と、製造ラインを構成する第2工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列を第1識別子としてデータベースに登録する第2登録装置と、第2工程以降の工程において、照合対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列とデータベースに登録された第1識別子とを照合することによって照合対象の対象基板を識別する第2照合装置とを備える。
本発明の一態様の識別方法においては、回路基板の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列を第1識別子としてデータベースに登録し、照合対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列とデータベースに登録された第1識別子とを照合することによって照合対象の対象基板を識別する。
本発明の一態様のプログラムは、回路基板の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識する処理と、認識した文字列を第1識別子としてデータベースに登録する処理と、照合対象の対象基板を撮像した画像に含まれる文字列を認識する処理と、認識した文字列とデータベースに登録された第1識別子とを照合することによって照合対象の対象基板を識別する処理とをコンピュータに実行させる。
本発明によれば、製造工程において対象基板の状態が変化しても、対象基板を確実に識別できる識別システムを提供することが可能になる。
本発明の第1の実施形態に係る識別システムの構成を示すブロック図である。 本発明の第1の実施形態に係る識別システムに含まれる登録装置の構成を示すブロック図である。 本発明の第1の実施形態に係る識別システムに含まれる照合装置の構成を示すブロック図である。 本発明の第1の実施形態に係る識別システムに含まれるデータベースに格納されるテーブルの一例である。 本発明の第1の実施形態に係る識別システムに含まれる登録装置の動作について説明するためのフローチャートである。 本発明の第1の実施形態に係る識別システムに含まれる照合装置の動作について説明するためのフローチャートである。 本発明の第2の実施形態に係る識別システムに含まれるデータベースに格納されるテーブルの一例である。 本発明の第2の実施形態に係る識別システムに含まれる登録装置の動作について説明するためのフローチャートである。 本発明の第2の実施形態に係る識別システムに含まれる照合装置の動作について説明するためのフローチャートである。 本発明の第3の実施形態に係る識別システムの構成を示すブロック図である。 本発明の第3の実施形態に係る識別システムの対象とする製造ラインと、各工程において対象基板を識別するのに用いる識別子の対応関係を示す概念図である。 本発明の第3の実施形態に係る識別システムに含まれる第1登録装置の構成を示すブロック図である。 本発明の第3の実施形態に係る識別システムに含まれる第1照合装置の構成を示すブロック図である。 本発明の第3の実施形態に係る識別システムに含まれる第2登録装置の構成を示すブロック図である。 本発明の第3の実施形態に係る識別システムに含まれる第2照合装置の構成を示すブロック図である。 本発明の第3の実施形態に係る識別システムに含まれるデータベースに格納されるテーブルの一例である。 本発明の第3の実施形態に係る識別システムに含まれるデータベースに格納されるテーブルの別の一例である。 本発明の第3の実施形態に係る識別システムに含まれる第1登録装置の動作について説明するためのフローチャートである。 本発明の第3の実施形態に係る識別システムに含まれる第1照合装置の動作について説明するためのフローチャートである。 本発明の第3の実施形態に係る識別システムに含まれる第2登録装置の動作について説明するためのフローチャートである。 本発明の第3の実施形態に係る識別システムに含まれる第2照合装置の動作について説明するためのフローチャートである。 本発明の各実施形態の識別システムを実現するハードウェア構成の一例を示すブロック図である。
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。
以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様の構成には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。
(第1の実施形態)
まず、本発明の第1の実施形態に係る識別システムについて図面を参照しながら説明する。
一般的な回路基板(以下、対象基板)には、CPU(Central Processing Unit)やASIC(application specific integrated circuit)、FPGA(field-programmable gate array)などの部品が実装される。それらの部品は、型番やロット番号だけでなく、部品単体を個別に識別できるシリアル番号(以下、部品ID)が捺印されているものがある(ID:Identifier)。本実施形態においては、識別対象の対象基板に搭載された部品のシリアル番号をその対象基板の識別子として利用する。
(構成)
図1は、本実施形態の識別システム1の構成を示すブロック図である。識別システム1は、第1工程、第2工程、・・・、第N工程を含む製造ラインにおいて、対象基板を登録・照合する(Nは自然数)。図1の例では、各工程を経た後に対象基板を登録・照合する例について説明するが、各工程に投入する前後の少なくともいずれかに対象基板を登録したり、照合したりするように構成すればよい。
識別システム1は、第1工程において、投入された基板110の識別子を登録する。また、識別システム1は、第2工程以降の各工程においては、第1工程において登録された識別子と照合することによって対象基板を識別する。最終の第N工程を経た基板120が、電子機器に搭載される製品基板である。
識別システム1は、製造ラインの各工程に対応させて配置された少なくとも一つのカメラ17に接続される。カメラ17は、対象基板の部品搭載面を撮像し、撮像した画像を識別システム1に送信する。本実施形態において、カメラ17は、対象基板の主面に搭載された部品の搭載箇所を撮像する。なお、部品の側方に部品IDが捺印されている場合、対象基板の側方から部品搭載箇所を撮像するようにカメラ17を配置してもよい。
本実施形態において、カメラ17は、対象基板に搭載された部品に関して、部品IDが捺印された箇所を撮像し、撮像した画像を識別システム1に送信する。なお、カメラ17は、識別システム1によって制御されるように構成してもよいし、製造ラインを流れてきた対象基板を自動的に撮像して得られた画像を識別システム1に自動送信するように構成してもよい。
識別システム1は、カメラ17から受信した画像に含まれる文字列を認識して、認識した文字列を対象基板の識別子として利用する。すなわち、識別システム1は、文字認識によって認識した部品のシリアル番号を識別子として用いて対象基板を識別する。なお、識別システム1は、対象基板に搭載された部品のシリアル番号だけではなく、対象基板に搭載された部品を一意に特定できる識別子を用いて対象基板を識別してもよい。これ以降、識別子として登録される文字列のことを識別子(文字列)と表記する。また、識別子(文字列)のことを第1識別子とも呼ぶ。
続いて、登録装置11、照合装置13およびデータベース15の構成の概略について説明する。
図1のように、識別システム1は、登録装置11と、少なくとも一つの照合装置13と、データベース15とを備える。通常、照合装置13は、第2工程以降の各工程に対応させて配置する。なお、第1工程の前に登録装置11を配置し、第1工程の後に照合装置13を配置してもよい。
登録装置11は、製造ラインの第1工程に対応付けて設置され、第1工程の製造装置と、第1工程の後に設置されたカメラ17とに接続される。例えば、第1工程は、SMT(Surface Mount Technology)の搭載工程に相当する。なお、登録装置11は、対象基板に部品が搭載された後の工程であれば、いずれかの工程に対応させて配置されてもよい。また、本実施形態においては、識別システム1に登録装置11が一つ含まれる構成を例示するが、登録装置11の数は適宜変更してもよい。
登録装置11は、登録対象の対象基板の画像をカメラ17から取得し、取得した画像から部品に記された文字列を認識する。本実施形態において、登録装置11は、対象基板に搭載された部品に捺印された文字列(部品ID)を認識し、その対象基板の識別子(文字列)としてデータベース15に登録する。
すなわち、登録装置11は、回路基板の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列を識別子(文字列)としてデータベース15に登録する。本実施形態においては、登録対象の対象基板に搭載された部品に捺印された部品IDを文字列として認識し、認識した文字列を識別子(文字列)としてデータベース15に登録する。
また、登録装置11は、データベース15に識別子(文字列)を登録すると、第1工程における対象基板の生産情報を第1工程の製造装置から取得し、取得した生産情報を識別子(文字列)に対応付けてデータベース15に登録する。生産情報とは、その対象基板の生産開始時間や終了時間、生産条件、設備条件などのトレーサビリティに必要な情報である。
照合装置13は、第2工程以降の各工程に対応付けて設置される。なお、本実施形態においては、全ての照合装置13に同一の符号を付すが、必ずしも同じ構成にしなくてもよい。
照合装置13は、第2工程以降の工程において、照合対象の対象基板を照合する。照合装置13は、第2工程以降の工程においてカメラ17から画像を取得し、対象基板に搭載された部品の部品IDを文字認識する。照合装置13は、部品IDを文字認識すると、データベース15に登録された識別子(文字列)を検索し、認識した文字列を識別子(文字列)とする基板を識別する。
すなわち、照合装置13は、照合対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列とデータベース15に登録された識別子(文字列)とを照合することによって照合対象の対象基板を識別する。本実施形態においては、照合対象の対象基板に搭載された部品に捺印された部品IDを文字列として認識し、認識した文字列とデータベース15に登録された識別子(文字列)とを照合することによって対象基板を照合する。
照合装置13は、照合対象の対象基板を識別すると、その工程における対象基板の生産情報をその工程の製造装置から取得し、取得した生産情報を識別子(文字列)に対応付けてデータベース15に登録する。
データベース15には、各対象基板に対応付けられた識別子(文字列)が登録される。なお、本実施形態においては、データベース15が一つ含まれる構成を例示するが、データベース15の数は適宜変更できる。また、以下の文面や図面などにおいて、データベースのことをDB(Database)と記載することがある。
〔登録装置〕
次に、登録装置11の詳細構成について図面を参照しながら説明する。図2は、登録装置11の構成を示すブロック図である。図2のように、登録装置11は、撮像部111、画像処理部112、文字認識部113、識別子登録部115、生産情報登録部117を有する。
撮像部111(撮像手段とも呼ぶ)は、部品IDが捺印されている箇所の画像をカメラ17から取得する。すなわち、撮像部111は、製造ラインを構成する工程ごとに設置された少なくとも一つのカメラを制御して対象基板を撮像させる。例えば、撮像部111は、部品IDが捺印されている箇所を撮像させるようにカメラ17を制御し、カメラ17が撮像した画像を取得する。例えば、撮像部111は、カメラ17や照明などの撮像機器を制御し、撮像結果である画像を保存するコンピュータによって実現される。
画像処理部112(画像処理手段とも呼ぶ)は、撮像部111が取得した画像に画像処理を行う。画像処理部112は、撮像部111が取得した画像を正規化や標準化して保存しやすくしたり、文字認識しやすくしたりする。例えば、画像処理部112は、画像の輝度調整や文字領域の切出しなどといった処理を行う。
文字認識部113(文字認識手段とも呼ぶ)は、画像処理部112によって画像処理された画像(以下、処理画像)に含まれる文字列を認識する。本実施形態において、文字認識部113は、部品に捺印された部品IDを文字列として認識する。
例えば、文字認識部113は、処理画像から文字を検出し、検出した文字を文字コードに変換する。文字認識部113は、文字コードに変換された文字によって構成される文字列を識別子(文字列)としてデータベース15に登録する。例えば、文字認識部113は、光学文字認識(OCR:Optical Character Recognition)によって文字を認識する。
識別子登録部115(識別子登録手段とも呼ぶ)は、文字認識部113が認識した文字列(部品ID)をデータベース15に登録する。すなわち、識別子登録部115は、登録対象の対象基板の識別子(文字列)をデータベース15に登録する。
生産情報登録部117(生産情報登録手段とも呼ぶ)は、製造ラインを構成する工程ごとに対象基板の生産情報を取得し、識別子(文字列)に対応付けてデータベース15に生産情報を登録する。なお、第1工程における対象基板の生産情報を登録しない場合は、生産情報登録部117を省略してもよい。
〔照合装置〕
次に、照合装置13の詳細構成について図面を参照しながら説明する。図3は、照合装置13の構成を示すブロック図である。図3のように、照合装置13は、撮像部131、画像処理部132、文字認識部133、識別子照合部136、生産情報登録部137を有する。なお、図3には、第n工程に対応させて配置された照合装置13を示す(nは2以上の自然数)。
撮像部131(撮像手段とも呼ぶ)は、部品IDが捺印されている箇所の画像をカメラ17から取得する。撮像部131は、登録装置11の撮像部111と同様の構成である。
画像処理部132(画像処理手段とも呼ぶ)は、撮像部131が取得した画像に画像処理を行う。画像処理部132は、登録装置11の画像処理部112と同様の構成である。
文字認識部133(文字認識手段とも呼ぶ)は、画像処理部132によって処理された処理画像に含まれる文字列を認識する。文字認識部133は、登録装置11の文字認識部113と同様の構成である。
識別子照合部136(識別子照合手段とも呼ぶ)は、データベース15を検索し、文字認識部133が認識した文字列(部品ID)に一致する識別子(文字列)を検出する。識別子照合部136は、文字認識部133が認識した文字列に一致する識別子(文字列)を検出すると、文字認識部133が認識した文字列を有する対象基板は、検出された識別子(文字列)に対応する対象基板であると識別する。
すなわち、識別子照合部136は、照合対象の対象基板を撮像した画像から認識される文字列と、データベース15に登録された識別子(文字列)とを照合することによって対象基板を識別する。
生産情報登録部137(生産情報登録手段とも呼ぶ)は、照合された対象基板の生産情報を第n工程の製造装置から取得し、取得した生産情報をデータベース15に登録された識別子(文字列)に対応付けて登録する。生産情報登録部137は、登録装置11の生産情報登録部117と同様の構成である。
ここで、データベース15に登録される情報について図面を参照しながら説明する。図4は、データベース15に登録される情報の一例を示すテーブル150である。テーブル150においては、データ番号で示される各行が個々の基板のデータを示す。テーブル150には、各基板を識別するための識別子(文字列)を登録する領域と、各工程の生産情報を登録する領域とが設定される。テーブル150には、データ番号で表される各基板の識別子(文字列)に対応付けて、各基板の各工程における生産情報が登録される。
図4のテーブル150においては、第1工程が印刷工程、第2工程が実装工程、・・・、第N工程が検査工程に相当する。テーブル150には、各対象基板の画像から文字認識によって得られた文字列(部品ID)が識別子(文字列)として登録される。なお、テーブル150には、各対象基板を区別するためにデータ番号を示しているが、識別子(文字列)のみで対象基板を識別可能であれば、データ番号は省略可能である。
図4のテーブル150のように、各対象基板に関して、各対象基板から取得された識別子(文字列)に対応させて生産情報をデータベースに登録することによって、製造過程において対象基板のトレーサビリティを確保できる。
(動作)
次に、図5および図6のフローチャートを参照して、本実施形態の識別システム1の動作について説明する。図5は、登録装置11の動作について説明するためのフローチャートである。図6は、照合装置13の動作について説明するためのフローチャートである。以下においては、登録装置11および照合装置13を動作の主体として、それぞれの装置の動作について個別に説明する。
まず、図5のフローチャートに沿って、登録装置11の動作について説明する。
〔登録処理〕
図5において、まず、登録装置11は、対象基板に搭載された部品をカメラ17に撮像させ、部品を含む範囲の画像を取得する(ステップS111)。
次に、登録装置11は、取得した画像に対して画像処理を行う(ステップS112)。
次に、登録装置11は、画像処理された処理画像から文字列を認識する(ステップS113)。
次に、登録装置11は、認識した文字列を識別子(文字列)としてデータベース15に登録する(ステップS114)。
次に、登録装置11は、データベース15に登録した対象基板の生産情報を第1工程の製造装置から取得する(ステップS115)。
そして、登録装置11は、製造装置から取得した生産情報をその対象基板の識別子(文字列)に対応付けてデータベース15に登録する(ステップS116)。
以上が、図5のフローチャートに沿った登録装置11の動作についての説明である。続いて、図6のフローチャートに沿って、照合装置13の動作について説明する。
〔照合処理〕
図6において、まず、照合装置13は、対象基板に搭載された部品をカメラ17に撮像させ、部品を含む範囲の画像を取得する(ステップS121)。
次に、照合装置13は、取得した画像に対して画像処理を行う(ステップS122)。
次に、照合装置13は、画像処理された処理画像から文字列を認識する(ステップS123)。
次に、照合装置13は、データベース15に登録された識別子(文字列)を取得する(ステップS124)。
ここで、照合装置13は、データベース15から取得した識別子(文字列)と、処理画像から認識した文字列とが一致するか否かを判定する(ステップS125)。
データベース15から取得した識別子(文字列)と、処理画像から認識した文字列とが一致する場合(ステップS125でYes)、照合装置13は、照合対象の対象基板の生産情報をその工程の製造装置から取得する(ステップS126)。一方、データベース15から取得した識別子(文字列)と、処理画像から認識した文字列とが一致しない場合(ステップS125でNo)、照合装置13は、ステップS124に戻って別の識別子(文字列)をデータベース15から取得する。
そして、ステップS126の後、照合装置13は、製造装置から取得した生産情報をその対象基板の識別子(文字列)に対応付けてデータベース15に登録する(ステップS127)。
以上が、図6のフローチャートに沿った照合装置13の動作についての説明である。
以上のように、本実施形態においては、対象基板に搭載された部品に捺印されたシリアル番号を識別子(文字列)とし、各工程における対象基板の生産情報をその識別子(文字列)に対応付けてデータベースに登録する。そのため、本実施形態によれば、シールやRFIDなどの材料や、印刷機などの特別な設備が不要となり、基板識別を低コスト化できる。また、本実施形態によれば、対象基板自身によってその対象基板を識別できるため、対象基板に識別子を印刷したり、識別子が印刷されたシールを貼付したりするような事前の作業が不要となる。
また、本実施形態においては、部品IDを文字認識し、認識した文字を用いて対象基板を照合する。そのため、本実施形態によれば、文字列の一致で照合しているので、得られた画像に多少の変化があっても照合箇所の一致度を損なうことがなくなり、照合の信頼度を高めることができる。その結果、本実施形態によれば、製造工程が進むにつれて基板表面に傷や汚れがついたり、照明条件の変化やカメラの画像ノイズなどの要因で画像が変化したりしても、安定して対象基板を識別することが可能となる。
また、本実施形態においては、容量の大きな画像データではなく、容量の小さな文字データをデータベースに保存する。その結果、本実施形態によれば、基板の照合に用いるデータの保存容量を削減できるため、基板識別に必要なデータベースの容量を削減できる。
さらに、本実施形態においては、分割や廃棄の対象にはならない搭載部品を用いて基板を識別する。そのため、本実施形態によれば、基板を分割したり、基板の一部を廃棄したりする場合であっても、識別対象箇所が失われることがなく、より確実な基板識別が可能になる。
すなわち、本実施形態によれば、製造工程において対象基板の状態が変化しても、対象基板を確実に識別できる。
(第2の実施形態)
次に、本発明の第2の実施形態に係る識別システムについて図面を参照しながら説明する。なお、本実施形態の識別システムの構成は、一部の機能を除いて第1の実施形態の識別システムと同様であるため、詳細な説明は省略する。
本実施形態においては、対象基板の識別に用いる識別子として、対象基板に搭載された部品のシリアル番号に相当する文字列に加えて、部品の画像を画像処理することで得られる処理画像を用いる。なお、識別子として用いる処理画像は、対象基板に搭載された部品の画像のみならず、部品搭載面や側面、裏面などの画像を画像処理したものであってもよい。これ以降、識別子として登録する処理画像を識別子(画像)と表記する。また、識別子(画像)のことを第2識別子とも呼ぶ。
本実施形態の登録装置は、画像処理によって得られる処理画像から文字列を認識して識別子(文字列)としてデータベースに登録するとともに、その処理画像自体を識別子(画像)としてデータベースに登録する。言い換えると、本実施形態の登録装置は、登録対象の対象基板に搭載された部品を撮像した画像を画像処理することで得られた処理画像を識別子と(画像)して識別子(文字列)に対応付けてデータベース15に登録する。
また、本実施形態の照合装置は、画像処理によって得られる処理画像から文字列を認識できなかった場合、その処理画像そのものを用いて対象基板を識別する。すなわち、本実施形態の照合装置は、文字認識できない箇所については、その箇所の画像(処理画像)と最も一致度の高い識別子(画像)をデータベースから選択する。言い換えると、本実施形態の照合装置は、照合対象の対象基板に搭載された部品を撮像した画像を画像処理することで得られた処理画像と、データベース15に登録された識別子(画像)とを照合することによって対象基板を識別する。
図7は、データベースに登録される情報の一例を示すテーブル250である。テーブル250には、識別子(文字列)に対応付けて識別子(画像)が識別子として登録される。また、テーブル250には、各対象基板の識別子に対応付けて、各対象基板の各工程における生産情報が登録される。
図7のテーブル250の例では、第1工程が印刷工程、第2工程が実装工程、・・・、第N工程が検査工程に相当する。テーブル250には、各対象基板の処理画像から文字認識によって得られた文字列が識別子(文字列)として登録されるとともに、各対象基板の処理画像が識別子(画像)として登録される。なお、テーブル250には、各対象基板を区別するためにデータ番号を示しているが、識別子のみで対象基板を識別可能であれば、データ番号は省略可能である。
図7のテーブル250のように、各対象基板に対応させて、各対象基板から取得された文字列(部品ID)を識別子(文字列)としてデータベースに登録するとともに、その文字列を抽出した処理画像そのものを識別子(画像)としてデータベースに登録する。本実施形態によれば、識別子(文字列)と識別子(画像)とに対応付けて生産情報をデータベースに登録することによって、文字列を認識できない場合が発生しても、製造過程の対象基板のトレーサビリティを確保できる。
(動作)
次に、図8および図9を参照して、本実施形態の識別システムの動作について図面を参照しながら説明する。図8は、登録装置の動作について説明するためのフローチャートである。図9は、照合装置の動作について説明するためのフローチャートである。以下においては、登録装置および照合装置を動作の主体として、それぞれの装置の動作について個別に説明する。
〔登録処理〕
図8において、まず、登録装置は、対象基板に搭載された部品をカメラに撮像させ、部品を含む範囲の画像を取得する(ステップS211)。
次に、登録装置は、取得した画像に対して画像処理を行う(ステップS212)。
次に、登録装置は、画像処理された処理画像から文字列を認識することを試みる(ステップS213)。
文字列の認識に成功した場合(ステップS213でYes)、登録装置は、認識した文字列を識別子(文字列)としてデータベースに登録する(ステップS214)。そして、登録装置は、識別子(文字列)に対応させて、処理画像を識別子(画像)としてデータベースに登録する(ステップS215)。
一方、文字列の認識に失敗した場合(ステップS213でNo)、登録装置は、処理画像を識別子(画像)としてデータベースに登録する(ステップS215)。ただし、登録装置は、文字列の認識に失敗した場合(ステップS213でNo)、ステップS213に戻って文字認識を再び試みてもよい。
次に、登録装置は、データベースに登録した対象基板の生産情報を第1工程の製造装置から取得する(ステップS216)。
そして、登録装置は、製造装置から取得した生産情報をその対象基板の識別子に対応付けてデータベースに登録する(ステップS217)。
以上が、図8のフローチャートに沿った登録装置の動作についての説明である。
〔照合処理〕
図9において、まず、照合装置は、対象基板に搭載された部品をカメラに撮像させ、部品を含む範囲の画像を取得する(ステップS221)。
次に、照合装置は、取得した画像に対して画像処理を行う(ステップS222)。
次に、照合装置は、画像処理された処理画像から文字列を認識することを試みる(ステップS223)。
文字列の認識に成功した場合(ステップS223でYes)、照合装置は、データベースに登録された識別子(文字列)を取得する(ステップS224)。次に、照合装置は、認識した文字列と、データベースから取得した識別子(文字列)とを比較する(ステップS225)。そして、照合装置は、認識した文字列と一致する識別子(文字列)を選択する(ステップS226)。
一方、文字列の認識に失敗した場合(ステップS223でNo)、照合装置は、データベースに登録された識別子(画像)を取得する(ステップS227)。次に、照合装置は、処理画像と、データベースから取得した識別子(画像)とを比較する(ステップS228)。そして、照合装置は、処理画像との一致度が最も大きい識別子(画像)を選択する(ステップS229)。
ステップS226またはステップS229の後、照合装置は、照合対象の対象基板の生産情報をその工程の製造装置から取得する(ステップS230)。
そして、照合装置は、製造装置から取得した生産情報をその対象基板の識別子(文字列)または識別子(画像)に対応付けてデータベースに登録する(ステップS231)。
以上が、図9のフローチャートに沿った照合装置の動作についての説明である。
以上のように、本実施形態においては、対象基板に搭載された部品から認識される文字列に加えて、その部品の処理画像を識別子としてデータベースに登録する。その結果、本実施形態によれば、文字列を認識できなかった場合に、処理画像を用いて対象基板を識別できる。そのため、本実施形態によれば、第1の実施形態と比べてより確実に対象基板を識別することができる。
(第3の実施形態)
次に、本発明の第3の実施形態に係る識別システムについて図面を参照しながら説明する。本実施形態の識別システムは、特徴量と文字列とを組み合わせて対象基板を識別する。
図10は、本実施形態の識別システム3の構成を示すブロック図である。図11は、製造ラインを構成する印刷工程、搭載工程、リフロー工程、自動光学検査工程、基板分割工程、基板組立工程および検査工程において登録される識別子の違いについて説明するための概念図である。
図10のように、識別システム3は、第1登録装置31、第1照合装置32、第2登録装置33、第2照合装置34、データベース35を備える。識別システム3が設置される製造ラインを構成する各工程には、対象基板の側面を撮像するカメラ371、対象基板の部品搭載面を撮像するカメラ372が設置される。図10の例においては、部品が搭載されていない基板310を製造ラインに投入し、各工程を経て部品が実装された基板320(製品)が得られる。
識別システム3は、製造ラインの各工程に対応させて配置されたカメラ371およびカメラ372に接続される。カメラ371およびカメラ372は、識別システム3によって制御されるように構成してもよいし、製造ラインを流れてきた対象基板を自動的に撮像して得られる画像データを識別システム3に自動送信するように構成してもよい。
識別システム3は、対象基板に部品が搭載される前の印刷工程および搭載工程の前後においては、対象基板の側面をカメラ371に撮像させる。識別システム3は、カメラ371に撮像させた対象基板の側面画像をカメラ371から取得する。識別システム3は、カメラ371から取得する側面画像から抽出される特徴量を用いて基板を識別する。
識別システム3は、印刷工程の前に、対象基板の側面画像から抽出される特徴量を識別子としてデータベースに登録する。なお、識別子として用いる特徴量は、対象基板の側面画像のみならず、部品搭載面や裏面、内部パターン、部品配置、はんだ状態などから抽出してもよい。これ以降、識別子として登録される識別子のことを識別子(特徴量)と表記する。また、識別子(特徴量)のことを第3識別子とも呼ぶ。
例えば、識別システム3は、部品が搭載されていない対象基板に関しては、特許文献1(特開2017−058306号公報)などに開示された技術を用いて、対象基板の側面画像から抽出される特徴量を識別子(特徴量)としてデータベースに登録する。識別システム3は、印刷工程および搭載工程の前後においては、対象基板の側面から抽出される特徴量と、データベース登録された識別子(特徴量)とを照合することによって対象基板を識別する。
識別システム3は、搭載工程の後に対象基板を照合した後は、対象基板の部品の搭載位置をカメラ372に撮像させる。識別システム3は、カメラ372に撮像させた対象基板の部品搭載面の画像を識別システム3から取得する。なお、カメラ372は、対象基板の側面も撮像するように構成してもよい。識別システム3は、カメラ372から受信した画像に含まれる文字列を認識して、認識した文字列を識別子(文字列)として利用する。
そして、識別システム3は、搭載工程の後で対象基板を識別した後、すなわちリフロー工程の前に、対象基板に搭載された部品に捺印されたシリアル番号などの文字列を識別子(文字列)として対象基板に対応付けてデータベース35に登録する。識別システム3は、リフロー工程以降の各工程においては、搭載工程の後に登録された識別子(文字列)を用いて基板を識別する。
続いて、第1登録装置31、第1照合装置32、第2登録装置33、第2照合装置34およびデータベース35の概略について説明する。
第1登録装置31(特徴量登録装置とも呼ぶ)は、印刷工程に対応付けて設置される。なお、本実施形態においては、識別システム3に第1登録装置31が一つだけ含まれる構成を例示するが、第1登録装置31の数は適宜変更してもよい。
第1登録装置31は、印刷工程の前に設置されたカメラ371に接続される。第1登録装置31は、カメラ371から対象基板の側面画像を取得し、取得した側面画像から特徴量を抽出する。第1登録装置31は、抽出した特徴量を識別子(特徴量)としてデータベース15に登録する。
言い換えると、第1登録装置31は、登録対象の対象基板の画像から特徴量を抽出し、抽出した特徴量を識別子(特徴量)としてデータベース35に登録する。具体的には、第1登録装置31は、登録対象の対象基板の側面を撮像した側面画像から特徴量を抽出し、側面画像から抽出した特徴量を識別子(特徴量)としてデータベース35に登録する。
第1照合装置32(特徴量照合装置とも呼ぶ)は、印刷工程および搭載工程に対応付けて設置され、各工程の製造装置と、各工程の後に設置されたカメラ371に接続される。なお、本実施形態においては、全ての第1照合装置32に同一の符号を付すが、必ずしも同じ構成にしなくてもよい。
第1照合装置32は、印刷工程および搭載工程の後に、照合対象の対象基板がどの基板に対応するのかを照合する。第1照合装置32は、印刷工程および搭載工程の後にカメラ371から対象基板の側面画像を取得し、取得した側面画像から特徴量を抽出する。第1照合装置32は、側面画像から特徴量を抽出すると、データベース35に登録された識別子(特徴量)を検索し、対象基板から抽出した特徴量と一致する識別子(特徴量)を照合することによって対象基板を識別する。
言い換えると、第1照合装置32は、照合対象の対象基板の画像から特徴量を抽出し、照合対象の対象基板から抽出した特徴量と、データベース35に登録された識別子(特徴量)とを照合することによって照合対象の対象基板を識別する。具体的には、第1照合装置は、照合対象の対象基板の側面を撮像した側面画像から特徴量を抽出し、側面画像から抽出した特徴量と、データベース35に登録された識別子(特徴量)とを照合する。
第1照合装置32は、照合対象の対象基板を識別すると、その対象基板の生産情報をその工程の製造装置から取得し、識別した識別子(特徴量)に対応付けて生産情報をデータベース35に登録する。
第2登録装置33は、製造ラインの搭載工程に対応付けて設置され、搭載工程の製造装置と、搭載工程の後(リフロー装置の前)に設置されたカメラ372とに接続される。なお、本実施形態においては、識別システム1に登録装置11が一つ含まれる構成を例示するが、登録装置11の数は適宜変更してもよい。
第2登録装置33は、カメラ372から対象基板の部品搭載面の画像を取得し、取得した部品搭載面の画像から部品に捺印された文字列を認識する。第2登録装置33は、認識した文字列をデータベース35に識別子(文字列)として登録する。このとき、第2登録装置33は、対象基板の識別子(特徴量)と対応付けて識別子(文字列)をデータベース35に登録する。
また、第2登録装置33は、その対象基板の生産情報を搭載工程の製造装置から取得し、識別子(文字列)に対応付けて生産情報をデータベース35に登録する。
第2照合装置34は、リフロー工程以降の工程に対応付けて設置され、各工程の製造装置と、各工程の後に設置されたカメラ372とに接続される。なお、本実施形態においては、全ての第2照合装置34に同一の符号を付すが、必ずしも同じ構成にしなくてもよい。
第2照合装置34は、リフロー工程以降の工程において、照合対象の対象基板がどの基板に対応するのかを照合する。第2照合装置34は、リフロー工程以降の工程においてカメラ372から画像を取得し、対象基板に搭載された部品の部品IDを文字認識する。第2照合装置34は、部品IDを文字認識すると、データベース35に登録された文字列を検索し、認識した文字列を識別子(文字列)とする基板を識別する。
第2照合装置34は、照合対象の対象基板を識別すると、その対象基板の生産情報をその工程の製造装置から取得し、識別した識別子(文字列)に対応付けてデータベース35に登録する。
データベース35には、各対象基板に対応付けられた識別子(特徴量)および識別子(文字列)が登録される。なお、本実施形態においては、識別システム3にデータベース35が一つ含まれる構成を例示するが、データベース35の数は適宜変更できる。
〔第1登録装置〕
次に、第1登録装置31の詳細構成について図面を参照しながら説明する。図12は、第1登録装置31の構成を示すブロック図である。図12のように、第1登録装置31は、撮像部311、画像処理部312、特徴量抽出部314、識別子登録部315を有する。
撮像部311(撮像手段とも呼ぶ)は、カメラ371から対象基板の側面の画像を取得する。例えば、撮像部311は、対象基板の側面を撮像させるようにカメラ371を制御し、カメラ371が撮像した画像を取得する。
画像処理部312(画像処理手段とも呼ぶ)は、撮像部311が取得した画像に画像処理を行う。画像処理部312は、撮像部311が取得した画像を正規化や標準化して保存しやすくしたり、特徴量を抽出しやすくしたりする。例えば、画像処理部312は、画像の輝度調整などといった処理を実行する。
特徴量抽出部314(特徴量抽出手段とも呼ぶ)は、画像処理部312によって処理された画像(以下、処理画像)から特徴量を抽出する。例えば、特徴量抽出部314は、対象基板の側面の模様などに基づいて特徴量を抽出する。
識別子登録部315(識別子登録手段とも呼ぶ)は、特徴量抽出部314が抽出した特徴量を識別子(特徴量)としてデータベース35に登録する。
〔第1照合装置〕
次に、第1照合装置32の詳細構成について図面を参照しながら説明する。図13は、第1照合装置32の構成を示すブロック図である。図13のように、第1照合装置32は、撮像部321、画像処理部322、特徴量抽出部324、識別子照合部326、生産情報登録部327を有する。なお、図13には、印刷工程に対応させて設置された第1照合装置32を示す。
撮像部321(撮像手段とも呼ぶ)は、カメラ371から対象基板の側面画像を取得する。撮像部321は、第1登録装置31の撮像部311と同様の構成である。
画像処理部322(画像処理手段とも呼ぶ)は、撮像部321が取得した画像に画像処理を行う。画像処理部322は、第1登録装置31の画像処理部312と同様の構成である。
特徴量抽出部324(特徴量抽出手段とも呼ぶ)は、画像処理部322によって処理された画像(以下、処理画像)から特徴量を抽出する。特徴量抽出部324は、第1登録装置31の特徴量抽出部314と同様の構成である。
識別子照合部326(識別子照合手段とも呼ぶ)は、データベース35を検索し、特徴量抽出部324が抽出した特徴量と一致する識別子(特徴量)を検出する。識別子照合部326は、特徴量抽出部324が検出した特徴量に一致する識別子(特徴量)を検出すると、特徴量抽出部324が抽出した特徴量を有する対象基板は、検出された識別子(特徴量)に対応付けられた対象基板であると識別する。
生産情報登録部327(生産情報登録手段とも呼ぶ)は、照合された対象基板の生産情報をその工程の製造装置から取得し、取得した生産情報をデータベース35に登録された識別子(特徴量)に対応付けて登録する。
〔第2登録装置〕
次に、第2登録装置33の詳細構成について図面を参照しながら説明する。図14は、第2登録装置33の構成を示すブロック図である。図14のように、第2登録装置33は、撮像部331、画像処理部332、文字認識部333、識別子登録部335を有する。
撮像部331(撮像手段とも呼ぶ)は、カメラ372から部品IDが捺印されている箇所の画像を取得する。例えば、撮像部331は、部品IDが捺印されている箇所を撮像させるようにカメラ372を制御し、カメラ372が撮像した画像を取得する。
画像処理部332(画像処理手段とも呼ぶ)は、撮像部331が取得した画像に画像処理を行う。
文字認識部333(文字認識手段とも呼ぶ)は、画像処理部332によって処理された画像(以下、処理画像)に含まれる文字列を認識する。文字認識部333が認識した文字列が部品IDに相当する。
識別子登録部335(識別子登録手段とも呼ぶ)は、データベース35に登録された識別子(特徴量)に対応付けて、文字認識部333が認識した文字列(部品ID)を識別子(文字列)としてデータベース35に登録する。すなわち、識別子登録部335は、対象基板の識別子(特徴量)に対応付けて、識別子(文字列)をデータベース35に登録する。
〔第2照合装置〕
次に、第2照合装置34の詳細構成について図面を参照しながら説明する。図15は、第2照合装置34の構成を示すブロック図である。図15のように、第2照合装置34は、撮像部341、画像処理部342、文字認識部343、識別子照合部346、生産情報登録部347を有する。なお、図15には、リフロー工程に対応させて設置された第2照合装置34を示す。
撮像部341(撮像手段とも呼ぶ)は、カメラ372から部品IDが捺印されている箇所の画像を取得する。撮像部341は、第2登録装置33の撮像部331と同様の構成である。
画像処理部342(画像処理手段とも呼ぶ)は、撮像部341が取得した画像に画像処理を行う。画像処理部342は、第2登録装置33の画像処理部332と同様の構成である。
文字認識部343(文字認識手段とも呼ぶ)は、画像処理部342によって処理された画像(以下、処理画像)に含まれる文字列を認識する。文字認識部343は、第2登録装置33の文字認識部333と同様の構成である。
識別子照合部346(識別子照合手段とも呼ぶ)は、データベース35を検索し、文字認識部343が認識した文字列に一致する文字列を検出する。識別子照合部346は、文字認識部343が認識した文字列に一致する識別子(文字列)を検出すると、文字認識部343が認識した文字列を有する対象基板は、検出された識別子(文字列)に対応付けられた対象基板であると識別する。
生産情報登録部347(生産情報登録手段とも呼ぶ)は、照合された対象基板の生産情報をその工程の製造装置から取得し、取得した生産情報をデータベース35に登録された識別子に対応付けて登録する。
以上が、第1登録装置31、第1照合装置32、第2登録装置33および第2照合装置34の構成についての説明である。
ここで、データベース35に登録される情報について図面を参照しながら説明する。図16は、データベース35に登録される情報の一例を示すテーブル351である。テーブル351には、各対象基板の識別子(文字列)および識別子(特徴量)に対応付けて、各対象基板の各工程における生産情報が登録される。
図16のテーブル351においては、データ番号を付した各行が1枚の対象基板のデータを示す。テーブル351には、基板を識別するための識別子を登録する領域と、各工程の生産情報を登録する領域とが設定される。
図16のテーブル351には、各対象基板の画像から文字認識によって得られる識別子(文字列)に加えて、各対象基板の側面画像から抽出される識別子(特徴量)が登録される。なお、テーブル351には、各対象基板を区別するためにデータ番号を示しているが、識別子のみで対象基板を識別可能であれば、データ番号は省略可能である。
図16のテーブル351のように、各対象基板から取得された識別子(文字列)および識別子(特徴量)に対応させて生産情報をデータベースに登録することによって、製造過程において対象基板のトレーサビリティを確保できる。
図17は、データベース35に登録される情報の別の一例のテーブル352である。テーブル352は、第2の実施形態の識別システムにおいて特徴量を利用する例である。テーブル352には、各対象基板の識別子(文字列)、識別子(画像)および識別子(特徴量)に対応付けて、各対象基板の各工程における生産情報が登録される。
(動作)
次に、図18〜図21のフローチャートを参照して、本実施形態の識別システム3の動作について説明する。図18は、第1登録装置31の動作について説明するためのフローチャートである。図19は、第1照合装置32の動作について説明するためのフローチャートである。図20は、第2登録装置33の動作について説明するためのフローチャートである。図21は、第2照合装置34の動作について説明するためのフローチャートである。以下においては、第1登録装置31、第1照合装置32、第2登録装置33および第2照合装置34を動作の主体として、それぞれの装置の動作について個別に説明する。
まず、図18のフローチャートに沿って、第1登録装置31の動作について説明する。
〔第1登録処理〕
図18において、まず、第1登録装置31は、対象基板の側面をカメラ371に撮像させ、対象基板の側面画像を取得する(ステップS311)。
次に、第1登録装置31は、取得した側面画像に対して画像処理を行う(ステップS312)。
次に、第1登録装置31は、画像処理された処理画像から特徴量を抽出する(ステップS313)。
次に、第1登録装置31は、抽出した特徴量を識別子(特徴量)としてデータベース35に登録する(ステップS314)。
以上が、図18のフローチャートに沿った第1登録装置31の動作についての説明である。続いて、図19のフローチャートに沿って、第1照合装置32の動作について説明する。
〔第1照合処理〕
図19において、まず、第1照合装置32は、対象基板の側面をカメラ371に撮像させ、対象基板の側面画像を取得する(ステップS321)。
次に、第1照合装置32は、取得した側面画像に対して画像処理を行う(ステップS322)。
次に、第1照合装置32は、画像処理された処理画像から特徴量を抽出する(ステップS323)。
次に、第1照合装置32は、データベース35に登録された識別子(特徴量)を取得する(ステップS324)。
ここで、第1照合装置32は、データベース35から取得した識別子(特徴量)と、処理画像から認識した特徴量とが一致するか否かを判定する(ステップS325)。
データベース35から取得した識別子(特徴量)と、処理画像から認識した特徴量とが一致すると判定した場合(ステップS325でYes)、第1照合装置32は、照合対象の対象基板の生産情報をその工程の製造装置から取得する(ステップS326)。そして、第1照合装置32は、製造装置から取得した生産情報をその対象基板の識別子(特徴量)に対応付けてデータベース35に登録する(ステップS327)。
一方、データベース35から取得した識別子(特徴量)と、処理画像から認識した特徴量とが一致しないと判定した場合(ステップS325でNo)、第1照合装置32は、ステップS324に戻って別の識別子(特徴量)をデータベース15から取得する。
以上が、図19のフローチャートに沿った第1照合装置32の動作についての説明である。続いて、図20のフローチャートに沿って、第2登録装置33の動作について説明する。
〔第2登録処理〕
図20において、まず、第2登録装置33は、対象基板に搭載された部品をカメラ372に撮像させ、部品の画像を取得する(ステップS331)。
次に、第2登録装置33は、取得した部品の画像に対して画像処理を行う(ステップS332)。
次に、第2登録装置33は、画像処理された処理画像から文字列を認識する(ステップS333)。
次に、第2登録装置33は、対象基板の識別子(特徴量)に対応させて、認識した文字列を識別子(文字列)としてデータベース35に登録する(ステップS334)。
次に、第2登録装置33は、データベース35に登録した対象基板の生産情報を第1工程の製造装置から取得する(ステップS335)。
そして、第2登録装置33は、製造装置から取得した生産情報をその対象基板の識別子(文字列)に対応付けてデータベース35に登録する(ステップS336)。
以上が、図20のフローチャートに沿った第2登録装置33の動作についての説明である。
〔第2照合処理〕
図21において、まず、第2照合装置34は、対象基板に搭載された部品をカメラ372に撮像させ、部品の画像を取得する(ステップS341)。
次に、第2照合装置34は、取得した部品の画像に対して画像処理を行う(ステップS342)。
次に、第2照合装置34は、画像処理された処理画像から文字列を認識する(ステップS343)。
次に、第2照合装置34は、データベース35に登録された識別子(文字列)を取得する(ステップS344)。
ここで、第2照合装置34は、データベース35から取得した識別子(文字列)と、処理画像から認識した文字列とが一致するか否かを判定する(ステップS345)。
データベース35から取得した識別子(文字列)と、処理画像から認識した文字列とが一致すると判定した場合(ステップS345でYes)、第2照合装置34は、照合対象の対象基板の生産情報をその工程の製造装置から取得する(ステップS346)。
そして、第2照合装置34は、製造装置から取得した生産情報をその対象基板の識別子(文字列)に対応付けてデータベース35に登録する(ステップS347)。
一方、データベース15から取得した識別子(文字列)と、処理画像から認識した文字列とが一致しない場合(ステップS345でNo)、第2照合装置34は、ステップS344に戻って別の識別子(文字列)をデータベース35から取得する。
以上が、図21のフローチャートに沿った第2照合装置34の動作についての説明である。
以上のように、第1登録装置は、回路基板の製造ラインを構成する第1工程において、登録対象の対象基板の画像から特徴量を抽出し、抽出した特徴量を第3識別子としてデータベースに登録する。第1照合装置は、第1工程以降の工程において、照合対象の対象基板の画像から特徴量を抽出し、照合対象の対象基板から抽出した特徴量と、データベースに登録された第3識別子とを照合することによって照合対象の対象基板を識別する。第2登録装置は、製造ラインを構成する第2工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列を第1識別子としてデータベースに登録する。第2照合装置は、第2工程以降の工程において、照合対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した文字列とデータベースに登録された第1識別子とを照合することによって照合対象の対象基板を識別する。
すなわち、本実施形態の識別システムは、対象基板の側面から抽出される特徴量と、対象基板に搭載される部品から読み取られる文字列とを組み合わせて、基板製造の全工程で基板識別を行う。本実施形態の識別システムは、搭載工程までは側面画像を用いた基板識別を行い、その後の工程では文字列を用いた基板識別を行う。その結果、本実施形態によれば、対象基板に部品を搭載する前の工程であっても、その対象基板を登録・照合することができる。また、本実施形態によれば、リフロー工程などで対象基板の側面が汚れてしまい、側面画像を用いた照合ができなくなった場合であっても基板識別が可能となる。
(ハードウェア)
ここで、本発明の各実施形態に係る識別システムを実現するハードウェア構成について、図22の情報処理装置90を一例として挙げて説明する。なお、図22の情報処理装置90は、各実施形態の識別システムを実現するための構成例であって、本発明の範囲を限定するのではない。
図22のように、情報処理装置90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96を備える。図22においては、インターフェースをI/F(Interface)と略して表記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96は、バス99を介して互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る識別システムによる処理を実行する。
主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。
補助記憶装置93は、種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
入出力インターフェース95は、情報処理装置90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
情報処理装置90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
また、情報処理装置90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
また、情報処理装置90には、必要に応じて、ディスクドライブを備え付けてもよい。ディスクドライブは、バス99に接続される。ディスクドライブは、プロセッサ91と図示しない記録媒体(プログラム記録媒体)との間で、記録媒体からのデータ・プログラムの読み出し、情報処理装置90の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。また、記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。
以上が、本発明の各実施形態に係る識別システムを可能とするためのハードウェア構成の一例である。なお、図22のハードウェア構成は、各実施形態に係る識別システムを実現するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る識別システムに関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。
各実施形態の識別システムの構成要素は、任意に組み合わせることができる。また、各実施形態の識別システムの構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1、3 識別システム
11 登録装置
13 照合装置
15 データベース
17 カメラ
31 第1登録装置
32 第1照合装置
33 第2登録装置
34 第2照合装置
35 データベース
111、131 撮像部
112、132 画像処理部
113、133 文字認識部
115 識別子登録部
117、137 生産情報登録部
136 識別子照合部
150、250、351、352 テーブル
311、321、331、341 撮像部
312、322、332、342 画像処理部
314、324 特徴量抽出部
315、335 識別子登録部
326、346 識別子照合部
327、347 生産情報登録部
371、372 カメラ

Claims (10)

  1. データベースと、
    回路基板の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、認識した前記文字列を第1識別子として前記データベースに登録する登録装置と、
    照合対象の前記対象基板を撮像した画像に含まれる前記文字列を認識し、認識した前記文字列と前記データベースに登録された前記第1識別子とを照合することによって照合対象の前記対象基板を識別する照合装置とを備える識別システム。
  2. 前記登録装置は、
    登録対象の前記対象基板に搭載された部品に捺印されたシリアル番号を前記文字列として認識し、認識した前記文字列を前記第1識別子として前記データベースに登録し、
    前記照合装置は、
    照合対象の前記対象基板に搭載された部品に捺印された前記シリアル番号を前記文字列として認識し、認識した前記文字列と前記データベースに登録された前記第1識別子とを照合することによって前記対象基板を照合する請求項1に記載の識別システム。
  3. 前記登録装置は、
    登録対象の前記対象基板の前記第1識別子を前記データベースに登録する識別子登録手段を有し、
    前記照合装置は、
    照合対象の前記対象基板を撮像した画像から認識される前記文字列と、前記データベースに登録された前記第1識別子とを照合することによって前記対象基板を識別する識別子照合手段を有し、
    前記登録装置および前記照合装置のそれぞれは、
    前記製造ラインを構成する工程ごとに設置された少なくとも一つのカメラを制御して前記対象基板を撮像させる撮像手段と、
    前記撮像手段によって撮像された画像に画像処理を行う画像処理手段と、
    前記画像処理手段によって画像処理された処理画像から前記文字列を認識する文字認識手段と、
    前記製造ラインを構成する工程ごとに前記対象基板の生産情報を取得し、前記第1識別子に対応付けて前記データベースに前記生産情報を登録する生産情報登録手段とを有する請求項1または2に記載の識別システム。
  4. 前記識別子登録手段は、
    前記画像処理手段によって画像処理された登録対象の前記対象基板の前記処理画像を第2識別子として前記データベースに登録し、
    前記識別子照合手段は、
    照合対象の前記対象基板を撮像した画像を画像処理することで得られた前記処理画像と、前記データベースに登録された前記第2識別子とを照合することによって前記対象基板を識別する請求項3に記載の識別システム。
  5. 前記識別子登録手段は、
    登録対象の前記対象基板に搭載された部品を含む範囲の画像を画像処理することで得られた前記処理画像を第2識別子として前記第1識別子に対応付けて前記データベースに登録し、
    前記識別子照合手段は、
    照合対象の前記対象基板に搭載された部品を含む範囲の画像を画像処理することで得られた前記処理画像と、前記データベースに登録された前記第2識別子とを照合することによって前記対象基板を識別する請求項4に記載の識別システム。
  6. 登録対象の前記対象基板の画像から特徴量を抽出し、抽出した前記特徴量を第3識別子として前記データベースに登録する特徴量登録装置と、
    照合対象の前記対象基板の画像から前記特徴量を抽出し、照合対象の前記対象基板から抽出した前記特徴量と、前記データベースに登録された前記第3識別子とを照合することによって照合対象の前記対象基板を識別する特徴量照合装置とを備える請求項1乃至5のいずれか一項に記載の識別システム。
  7. 前記特徴量登録装置は、
    登録対象の前記対象基板の側面を撮像した側面画像から前記特徴量を抽出し、前記側面画像から抽出した前記特徴量を第3識別子として前記データベースに登録し、
    前記特徴量照合装置は、
    照合対象の前記対象基板の側面を撮像した前記側面画像から前記特徴量を抽出し、前記側面画像から抽出した前記特徴量と、前記データベースに登録された前記第3識別子とを照合することによって照合対象の前記対象基板を識別する請求項6に記載の識別システム。
  8. データベースと、
    回路基板の製造ラインを構成する第1工程において、登録対象の対象基板の画像から特徴量を抽出し、抽出した前記特徴量を第3識別子として前記データベースに登録する第1登録装置と、
    前記第1工程以降の工程において、照合対象の前記対象基板の画像から前記特徴量を抽出し、照合対象の前記対象基板から抽出した前記特徴量と、前記データベースに登録された前記第3識別子とを照合することによって照合対象の前記対象基板を識別する第1照合装置と、
    前記製造ラインを構成する第2工程において、登録対象の前記対象基板を撮像した画像に含まれる文字列を認識し、認識した前記文字列を第1識別子として前記データベースに登録する第2登録装置と、
    前記第2工程以降の工程において、照合対象の前記対象基板を撮像した画像に含まれる前記文字列を認識し、認識した前記文字列と前記データベースに登録された前記第1識別子とを照合することによって照合対象の前記対象基板を識別する第2照合装置とを備える識別システム。
  9. 回路基板の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識し、
    認識した前記文字列を第1識別子としてデータベースに登録し、
    照合対象の前記対象基板を撮像した画像に含まれる前記文字列を認識し、
    認識した前記文字列と前記データベースに登録された前記第1識別子とを照合することによって照合対象の前記対象基板を識別する識別方法。
  10. 回路基板の製造ラインを構成するいずれかの工程において、登録対象の対象基板を撮像した画像に含まれる文字列を認識する処理と、
    認識した前記文字列を第1識別子としてデータベースに登録する処理と、
    照合対象の前記対象基板を撮像した画像に含まれる前記文字列を認識する処理と、
    認識した前記文字列と前記データベースに登録された前記第1識別子とを照合することによって照合対象の前記対象基板を識別する処理とをコンピュータに実行させるプログラム。
JP2017153213A 2017-08-08 2017-08-08 識別システム、識別方法およびプログラム Active JP7052248B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017153213A JP7052248B2 (ja) 2017-08-08 2017-08-08 識別システム、識別方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017153213A JP7052248B2 (ja) 2017-08-08 2017-08-08 識別システム、識別方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019033174A true JP2019033174A (ja) 2019-02-28
JP7052248B2 JP7052248B2 (ja) 2022-04-12

Family

ID=65523675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017153213A Active JP7052248B2 (ja) 2017-08-08 2017-08-08 識別システム、識別方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7052248B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078109A (zh) * 2020-08-13 2022-02-22 鸿富锦精密电子(天津)有限公司 图像处理方法、电子装置和存储介质
JP7407778B2 (ja) 2021-09-01 2024-01-04 ダイハツ工業株式会社 照合装置および表示方法
JP7407777B2 (ja) 2021-09-01 2024-01-04 ダイハツ工業株式会社 照合装置および照合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0221386A (ja) * 1988-07-11 1990-01-24 Mitsubishi Electric Corp 型名認識装置
JPH04326800A (ja) * 1991-04-26 1992-11-16 Sharp Corp プリント配線基板検査装置
JPH04333179A (ja) * 1991-05-09 1992-11-20 Mitsubishi Electric Corp 型名認識装置及び認識方法
JPH07175894A (ja) * 1993-11-05 1995-07-14 Toshiba Corp ニューラルネットワークと文字認識方法と電子部品実装検査装置及びそれを用いた管理方法
JP2006317266A (ja) * 2005-05-12 2006-11-24 Omron Corp 検査基準設定装置及び方法、並びに、工程検査装置
JP2009117610A (ja) * 2007-11-06 2009-05-28 Omron Corp 基板情報の管理方法および管理システム
JP2012138450A (ja) * 2010-12-27 2012-07-19 Fuji Mach Mfg Co Ltd 実装システム
JP2016100527A (ja) * 2014-11-25 2016-05-30 日本電気株式会社 基板の識別装置、基板の識別方法、及び基板のトレーサビリティシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0221386A (ja) * 1988-07-11 1990-01-24 Mitsubishi Electric Corp 型名認識装置
JPH04326800A (ja) * 1991-04-26 1992-11-16 Sharp Corp プリント配線基板検査装置
JPH04333179A (ja) * 1991-05-09 1992-11-20 Mitsubishi Electric Corp 型名認識装置及び認識方法
JPH07175894A (ja) * 1993-11-05 1995-07-14 Toshiba Corp ニューラルネットワークと文字認識方法と電子部品実装検査装置及びそれを用いた管理方法
JP2006317266A (ja) * 2005-05-12 2006-11-24 Omron Corp 検査基準設定装置及び方法、並びに、工程検査装置
JP2009117610A (ja) * 2007-11-06 2009-05-28 Omron Corp 基板情報の管理方法および管理システム
JP2012138450A (ja) * 2010-12-27 2012-07-19 Fuji Mach Mfg Co Ltd 実装システム
JP2016100527A (ja) * 2014-11-25 2016-05-30 日本電気株式会社 基板の識別装置、基板の識別方法、及び基板のトレーサビリティシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078109A (zh) * 2020-08-13 2022-02-22 鸿富锦精密电子(天津)有限公司 图像处理方法、电子装置和存储介质
JP7407778B2 (ja) 2021-09-01 2024-01-04 ダイハツ工業株式会社 照合装置および表示方法
JP7407777B2 (ja) 2021-09-01 2024-01-04 ダイハツ工業株式会社 照合装置および照合方法

Also Published As

Publication number Publication date
JP7052248B2 (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
JP5831420B2 (ja) 画像処理装置および画像処理方法
US5253306A (en) Method of matching patterns and apparatus therefor
JP2019033174A (ja) 識別システム、識別方法およびプログラム
JP2009133741A (ja) 検査群データ管理システム
CN1323369C (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
US8355546B2 (en) Method for identifying fingerprint image
JP2000149087A (ja) レーザ反射光のスペックルパターンを利用したロット管理方法
CN112550886B (zh) 检查装置及标签粘贴装置
JP2018088107A (ja) 識別システム、識別方法および識別プログラム
US10803309B2 (en) Identifying versions of a form
JP2008084174A (ja) 印刷物検査装置、印刷物検査方法及びプログラム
JP5125566B2 (ja) 記号判定装置および記号判定方法
JP2010058974A (ja) 物品管理装置および物品管理方法
JP5045211B2 (ja) 文字認識装置、外観検査装置及び文字認識方法
JPH07175894A (ja) ニューラルネットワークと文字認識方法と電子部品実装検査装置及びそれを用いた管理方法
JP6729111B2 (ja) 識別装置、トレーサビリティシステムおよび識別方法
CN108596127A (zh) 一种指纹识别方法、身份验证方法及装置和身份核验机
JP2002183712A (ja) 外観検査方法および外観検査装置
JP7311033B2 (ja) 個体識別システム、個体識別方法、およびプログラム
US11657489B2 (en) Segmentation of continuous dynamic scans
JP2002181731A (ja) 部品検査方法
JP4872930B2 (ja) 文字認識装置、そのような装置を備えた燃料ポンプモジュールの組み付け装置及び文字認識方法
JP2009110445A (ja) 画像認識装置、画像認識プログラムおよび画像認識方法
JP5755681B2 (ja) ダイレクトイメージ露光器を用いるバーコード、並びに不良ユニットマーク形成システム及びその方法
JP4188344B2 (ja) 指紋照合装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R151 Written notification of patent or utility model registration

Ref document number: 7052248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151