JP2009075744A

JP2009075744A - 基板実装部品の管理システム

Info

Publication number: JP2009075744A
Application number: JP2007242512A
Authority: JP
Inventors: Kazuo Aida; 和男合田; Fuminori Shioda; 史典塩田; Kento Nakae; 健人中江
Original assignee: SPIRIT21 KK
Current assignee: SPIRIT21 KK
Priority date: 2007-09-19
Filing date: 2007-09-19
Publication date: 2009-04-09

Abstract

【課題】部品の実装を終えた完成形の基板から実装された部品の識別文字情報を採取し、実時間性が求められないことを利用した精度の高い文字認識処理手法を提供し、基板に実装された部品のロット番号を含む識別文字情報の管理を行わせることで基板のトレーサビリティーを安易に可能とする安価なシステムを提供する。
【解決手段】部品情報に基づいて文字列画像を取得し、当該文字列画像を当該基板情報および部品情報と関連付けて、基板認識結果データベースに登録し、基板認識結果データベースに登録済みの文字列画像を、文字辞書に基づいて、文字列画像採取タイミングとは異なる任意の非実時間タイミングで文字認識処理を実施し、認識結果情報を出力し、認識結果情報を前記基板認識結果データベースに登録し、基板認識結果データベースに登録された認識結果情報を検索可能に構成した基板実装部品の管理システムである。
【選択図】図１

Description

本発明は、基板に実装される部品の識別文字情報を取得し、当該識別文字情報を非実時間で文字認識処理を実行し、さらに、認識結果の検索を行える基板に実装された部品の管理システムに関する。

実装済みの基板の部品に印字された文字（ロット番号等）を、該部品の撮像画像から文字認識によって抽出し、この文字（ロット番号等）から基板の品質管理を行う技術として、下記特許文献１が知られている。具体的に、この特許文献１は、電子部品の表面に印字された文字をニューラルネットワークを用いた文字認識方法によって正確に認識し、この結果から逆付けや誤実装の検出に加えてプリント基板の品質管理や生産管理を行なえるものである。その具体的構成としては、プリント基板を載置した載置台を演算処理装置からの指令によりプリント基板上のＦＰＩＣの配置情報に基づいて移動させる。そしてＩＴＶカメラに撮像されたＦＰＩＣ上のメーカー名、形式名、ロット番号等の記載事項を画像処理装置に取り込みニューラルネットワークを用いて実時間で文字の認識をする。その際に文字の分割や合成を行なう。その結果からＦＰＩＣのプリント基板への逆付けや誤実装の検出に加えてプリント基板を用いた製品の品質管理や生産管理をも行なうものであり、実装済み基板の撮像時に部品の上記識別文字情報を認識するものである。

特開平７−１７５８９４号公報

半導体集積回路（ＩＣもしくはＬＳＩと呼ばれる）なる部品は飛躍的な集積度と高度なアルゴリズムによって構成されており、そうであるが故に性能改善や不具合改善がしばしば行われる。部品メーカーはこれらの改善をロット番号で管理する場合が多く、しばしば特定のロット番号を示して性能情報や不具合情報を顧客に提供することがある。ところが、当該ロット番号を実装した基板においては、部品メーカーより前記情報が公表された時点で、既に顧客に販売され顧客のシステム中で稼働している場合がほとんどである。

前記部品の性能情報および不具合情報が当該部品を実装した基板および顧客のシステムに与える悪影響を鑑みると、早期に当該部品を実装した基板を特定し、当該基板を使用している顧客に対し情報を提供すると共に必要に応じて基板のリコール等の対策を打つことが望ましい。

正規の部品流通の場合には、その取引の際に部品ロット番号が売り手買い手の双方で控えられる場合が多い。しかし、産業用途向け基板の場合にはその長期継続生産要求と長期メンテナンス要求、または超最短納期対応要求によりやむなく市場流通在庫品（一般的にジャンク品と称されることもある）を基板に実装せざるを得ない場合も多々ある。市場流通在庫品の場合はロット番号の違うものが混在することは一般的であり、さらに取引の際に当該部品の部品ロット番号が控えられるようなことは殆どの場合行われていない。

前記部品取引の際にロット番号が控えられていた場合であっても、当該ロット番号の部品がどの基板のどの位置に実装されたかを特定することは非常に困難であり、前記顧客に対して情報を提供し必要に応じて対策を打つという目的に対しては有効であるとは言い難い。

前記理由により、部品の実装を終えた基板完成形における各基板に実際に実装された各部品のロット番号を控えて管理することは、基板のトレーサビリティーの面より基板の需給双方において非常に重要な課題になってきている。基板完成形における各基板に実際に実装された各部品のロット番号を控えるには、当該基板完成形において各部品本体に直接印字されている識別文字情報を読みとって控えることが最も現実的である。

実装済みの基板上の部品に印字されたロット番号を、該部品の撮像画像から文字認識によって抽出し、基板の品質管理をする思想および技術は、前記特許文献１に開示されている。しかし、この特許文献１によると、ロット番号を含む部品の文字認識結果によって、部品の逆付けや誤実装をも同時に判定する機能を有効に作用させようとするものであり、基板の撮像処理時間内に文字認識結果を出力しなくてはならない。この目的を達成するためのニューラルネットワークを用いた高度な文字認識方法による高精度かつ高速な文字認識処理手法を前記特許文献１は開示しているが、これによると、各撮像端末に特許文献１に開示された技術の如く高度な文字認識手法を搭載し、その手法を実時間処理するための高性能で高速なコンピュータを各撮像端末は必要とする。

しかしながら、基板のトレーサビリティーのための実装された部品のロット番号管理を考えた場合、文字認識処理を基板の撮像処理時間タイミングで行う実時間性は要求されない。この目的において、複数台の撮像端末を用いる一般的なシステム構成を考慮した場合、前記の如く高精度な文字認識処理と高速な処理のためのコンピュータを各撮像端末に用意することは、機能および性能の重複となりコスト的に大きなデメリットである。

本発明は、前記実情を鑑みてなされたものであり、その目的は、部品の実装を終えた完成形の基板から実装された部品の識別文字情報を採取し、実時間性が求められないことを利用した精度の高い文字認識処理手法を提供し、基板に実装された部品のロット番号を含む識別文字情報の管理を行わせることで基板のトレーサビリティーを安易に可能とする安価なシステムを提供するものである。

上記課題を解決するため本発明に係る基板実装部品の管理システムは、
基板に実装された部品における当該部品の基板上での位置情報、および当該部品上における当該部品の識別文字情報が付された領域の位置情報から成る部品情報について、当該基板に実装された部品であって任意に選択された全ての部品に関しての部品情報を有する基板情報が格納される基板情報データベースと、
前記部品の識別文字情報が付された領域の位置情報と部品の識別情報（例えば、部品型番）とが相関付けられて格納される部品領域情報データベースと、
前記部品情報に基づいて撮像された識別文字情報領域の画像である文字列画像および、当該文字列画像を文字認識した結果の情報である認識結果情報が格納される基板認識結果データベースと、
前記文字列画像の文字認識処理に用いられる文字画像の情報である文字辞書が格納される文字辞書データベースと、を有するデータベース部を備え、
前記部品情報に基づいて文字列画像を取得する撮像処理部と、
前記撮像処理部で取得された文字列画像を当該基板情報および部品情報と関連付けて、前記基板認識結果データベースに登録する文字列画像登録部と、
前記基板認識結果データベースに登録済みの文字列画像を、前記文字辞書に基づいて、文字列画像採取タイミングとは異なる任意の非実時間タイミングで文字認識処理を実施し、認識結果情報を出力する文字認識部と、
前記文字認識部によって出力された認識結果情報を前記基板認識結果データベースに登録する認識結果情報登録部と、
前記基板認識結果データベースに登録された認識結果情報を検索可能な閲覧検索部と、を備え、
前記文字認識部は、
文字列画像から個々の文字画像を抽出する文字画像抽出部と、
前記抽出された文字画像と前記文字辞書に登録された文字画像とによって双方の画像の特徴を比較し、近似度合いを認識スコアなる定量値として算出して認識結果情報登録部へ出力する文字辞書比較部と、
前記認識スコアが最高値となる文字辞書中の文字画像が属する文字を認識文字として、前記文字列画像の全ての文字画像に対応する認識文字を設定して、前記文字列画像に対応する認識文字列を作成し認識結果情報登録部へ出力する認識文字列作成部と、
を有することを特徴とする。

本発明による基板実装部品の管理システムは、データベース部を備え、基板に実装された部品における当該部品の基板上での位置情報、および当該部品上における当該部品の識別文字情報が付された領域の位置情報から成る部品情報について、当該基板に実装された部品であって任意に選択された全ての部品に関しての部品情報を有する基板情報が格納される基板情報データベースと、部品の識別文字情報が付された領域の位置情報と部品型番とが相関付けられて格納される部品領域情報データベースと、部品情報に基づいて撮像された文字列画像および、当該文字列画像を文字認識した結果の情報である認識結果情報が格納される基板認識結果データベースと、文字列画像の文字認識処理に用いられる文字画像の情報である文字辞書が格納される文字辞書データベースとを有する構成である。この構成に加えて、部品実装基板の在庫管理情報を格納する基板在庫データベース、顧客情報を格納する営業データベースが含まれていてもよく、あるいは、この基板在庫データベース、営業データベースが独立して設置され、それらデータベース部、データベース相互においてデータの送受信、関連づけ（リンク）がなされるように構成されていてもよい。

そして、当該システムは、部品情報に基づいて、部品の識別文字情報を文字列画像として取得する撮像処理部と、この撮像処理部で取得された文字列画像を当該基板情報および部品情報と関連付けて、基板認識結果データベースに登録する文字列画像登録部と、基板認識結果データベースに登録済みの文字列画像を前記文字辞書に基づいて、文字列画像採取タイミングとは異なる任意の非実時間タイミングで文字認識処理を実施し、認識結果情報を出力する文字認識部と、文字認識部によって出力された認識結果情報を基板認識結果データベースに登録する認識結果情報登録部と、基板認識結果データベースに登録された認識結果情報を検索可能な閲覧検索部とを備えている。この閲覧検索部の機能によって、認識結果情報に目的とする文字情報を含む部品およびその部品が実装された基板を検索して特定しようとしている。さらに前記基板在庫データベース、営業データベースとリンクすることによって、特定された基板の販売状況を即時に知り得ることが可能となる。例えば、任意の基板から採取した、当該基板に実装された各部品の文字列画像を文字認識処理した各認識結果情報によって、基板および実装された部品、および実装された部品に印字されていた識別文字情報、もしくは基板自体に別途付け加えられた識別文字情報（当該基板の製造シリアル番号等）は関連づけられて基板認識結果データベース内で管理される。部品型番と認識結果に含まれるべきロット番号によって基板認識結果データベースを検索することで、当該部品型番に当該番号印字のあった基板（基板種類）とその製造シリアル番号が明確になる。リンクされた営業データベース内を当該基板種類と製造シリアル番号によって検索を行うことで、当該基板種類であって当該製造シリアル番号を付与された基板は、販売済みであるかどうか、販売時期、販売先などが明確になるのである。

本発明では、前記課題を解決しつつ、各部品に印字された識別文字情報から当該部品が実装された基板および顧客を短期で確実に明確にする目的のために、前記システムの構成とし、特に文字認識処理は文字列画像採取タイミングとは異なる任意の非実時間タイミングで行なわれるのが好ましいことに注目して成された。文字認識部は、基板認識結果データベースに登録済みの各文字列画像について、文字列画像採取タイミングとは異なる任意の非実時間タイミングにおいて、その時点の前記文字辞書を用いて文字認識処理を行い、認識結果を出力する。本方式によって、前記撮像処理部が本システム中に複数台存在し、各撮像処理部が任意のタイミングで文字列画像を無作為に基板認識結果データベースに登録した場合においても、全ての文字列画像の認識処理は唯一の文字認識部によって行うことが可能となる。唯一の文字認識部とすることに伴って、当該文字認識部の作用はシステム全体の性能、機能に対して大きな影響を与える。以下、本システムにおいて特徴となる文字認識部の作用に付いて記述する。文字認識部は、基板認識結果データベースに登録済みの各文字列画像から個々の文字画像を抽出する文字画像抽出部と、抽出された文字画像と前記文字辞書とによって双方の画像の特徴を比較し、近似度合いを認識スコアなる定量値として出力する文字辞書比較部と、認識スコアが最高値となる文字辞書中の文字画像が属する文字を認識文字として、前記文字列画像の全ての文字画像に対応する認識文字を設定して、文字列画像に対応する認識文字列を作成し認識結果情報登録部へ出力する認識文字列作成部とを有している。（基板認識結果データベースに登録済みの未文字認識処理である文字列画像の文字認識処理を行い、結果を基板認識結果データベースに登録する本文字認識処理のことを、以下、第一文字認識処理と称する。）

一方、本基板実装部品の管理システムは、前記認識スコアが所定値未満である認識文字を認識文字列が含む場合に、当該認識文字列、当該認識文字列の被文字列画像、および認識文字列を構成する全認識文字に対する全認識スコアを表示手段に表示させる表示制御部と、
前記認識スコアが所定値未満である認識文字を含む認識文字列に対し、該当認識文字の文字修正を受け付ける修正入力受付部と、
前記受け付けた文字修正を該当認識文字列に反映する認識文字列修正部と、
前記修正された文字に対応する文字画像を、該当する被文字列画像から抽出し、受け付けた修正文字に属する文字画像として文字辞書に新たに登録する辞書更新部と、をさらに備えることを特徴とする。

この構成によれば、認識の不確かな認識文字を含む認識文字列が修正可能となり、さらに文字修正を持って当該文字画像が文字辞書に追加されるため、文字画像を文字辞書に登録する独立した作業（ティーチングと称される）の必要はない。さらに、以後の文字認識処理は更新後の文字辞書との照合によって行われるため、今後、該当する文字画像が文字列画像の中に含まれていたとしても該当文字画像の認識スコアが低得点であることはなく、認識文字列の正答度は向上する。部品に印字された識別文字情報の文字形態および文字サイズは、各部品メーカーおよび部品種および生産工場等で多種多様である。さらに、将来的にも増加する可能性がある。この種の文字について予め文字辞書を充実させておくことは不可能であり、従って、前記文字修正と文字辞書更新の方法は本システムにおいて非常に有効に作用する。

前記、文字辞書更新以後、該当する文字画像が文字列画像の中に含まれていたとしても該当文字画像の認識スコアが低得点であることはないと記述したが、これは前記第一文字認識処理に作用するものである。従って、本システムでは、前記文字辞書更新が行われた際に、既に文字認識処理済みの文字列画像に対して、任意の条件を与えて再認識処理を行うことを可能としている。（任意の条件によって、認識処理済みの文字列画像の再認識処理を行う文字認識処理を第二文字認識処理と称する。）前記任意の条件とは、例えば、前記所定値未満である認識文字を含む認識文字列を抽出して表示した際の閾値となる認識スコアを文字認識部は記録する。記録は、文字辞書更新の度に行われることとし、任意のタイミングで文字認識部が第二文字認識処理を行う際に、記録上最も低い認識スコアを用いて文字認識処理済みの認識結果の中から、前記認識スコア未満である認識文字を含む文字列画像全てを対象に選択する等の方法が考えられる。

この作用によって、文字辞書更新内容が既に文字認識処理済みの認識結果に反映され、この繰り返しによって認識結果の確からしさは文字辞書更新毎に向上する。

更に、本基板実装部品の管理システムにおいて、前記文字認識部は、前記文字辞書内の任意の文字に属する文字画像間において相互に第一文字認識処理および第二文字認識処理と同一の文字認識処理によって認識スコアの算出を行う（任意の同一文字に属する文字画像間において相互に行う文字認識処理を第三文字認識処理と称する）ように構成され、
当該認識スコアが相互に所定値以上である文字画像の内いずれか一方の文字画像を文字辞書から削除する辞書削除部を、さらに備えることを特徴とする。

この構成によれば、文字修正によって文字辞書に登録される懸念がある非常に近似した文字画像を削除することができる。文字辞書の増大は認識精度の向上につながる反面、比較すべき文字画像が増加することにより、文字認識処理時間に影響を及ぼす。文字列画像採取タイミングとは異なる非実時間処理ではあるが、単位時間当たりの第一文字認識処理量および第二文字認識処理量がオーバーフロー（例えば、一日に追加される新規文字列画像を一日のうちに文字認識処理しきれない等）するのは好ましくない。本発明の構成を採用することで、定期的に文字辞書の最適化を行うことができ、データ量の多い文字辞書の最適化を行うことは記憶（メモリ）資産的にも有効に作用する。

（実施形態１）
本実施形態に係る基板実装部品の管理システムについて図面を用いて以下に説明する。図１は、基板実装部品の管理システムの機能ブロック図である。

データベース部は、基板に実装された部品における当該部品の基板上での位置情報、および当該部品上における当該部品の識別文字情報が付された領域の位置情報から成る部品情報について、当該基板に実装された部品であって任意に選択された全ての部品に関しての部品情報を有する基板情報が格納される基板情報データベース（以下、基板情報ＤＢ２と称する）と、部品の識別文字情報が付された領域の位置情報と部品型番とが相関付けられて格納される部品領域情報データベース（以下、部品領域情報ＤＢ１と称する）と、部品情報に基づいて撮像された文字列画像および、当該文字列画像を文字認識した結果の情報である認識結果情報が格納される基板認識結果データベース（以下、基板認識結果ＤＢ４と称する）と、文字列画像の文字認識処理に用いられる文字画像の情報である文字辞書が格納される文字辞書データベース（以下、文字辞書ＤＢ３と称する）と、を有している。

このデータベース部は、顧客管理データベース（以下、顧客管理ＤＢ５と称する）と、基板在庫管理データベース（以下、基板在庫管理ＤＢ６と称する）と、相互にネットワークで接続され、互いにデータの送受信が可能である。基板情報登録部１０１は、該当基板種類に対する部品座標データを元に基板情報を作成し基板情報ＤＢ２に登録する。基板情報は撮像処理部２が該当基板の撮像処理を行う際に必要な情報である。基板情報については詳細を後述する。

撮像処理部２は、基板情報および部品情報に基づいて、基板に実装された部品の識別文字情報として文字列画像を取得する機能を有する。ここでは、複数の撮像処理部を示しているが、一つのみの設置であっても構わない。撮像処理部２の具体的構成は後述する。

文字列画像登録部３は、撮像処理部２で取得された文字列画像を当該基板情報および部品情報と関連付け、複数の送信元となる撮像処理部２のために各々用意された該当する基板認識結果保存領域に振り分けて基板認識結果ＤＢ４に登録する。

文字認識部４は、文字列画像から個々の文字画像を抽出する文字画像抽出部４１、文字画像抽出部４１で抽出した文字画像を文字辞書ＤＢ３に登録された文字画像と比較して認識スコアを算出する文字辞書比較部４２、認識スコアが最高値となる文字辞書ＤＢ３中の文字画像が属する文字を認識文字として、文字列画像の全ての文字画像に対応する認識文字を設定して、文字列画像に対応する認識文字列を作成する認識文字列作成部４３により構成される。

本構成によって、基板認識結果ＤＢ４に登録済みの文字列画像を文字辞書ＤＢ３に基づいて、文字列画像採取タイミングとは異なる任意の非実時間タイミングで文字認識処理を実施し、文字辞書ＤＢ３の更新によって既に文字認識処理済みの文字列画像に対して、任意の条件を与えて再認識処理を実施し、更に、文字辞書ＤＢ３内の任意の文字に属する文字画像間において相互に文字認識処理を実施する。これら三種の文字認識処理は、任意のトリガによって優先順位の元に時間軸多重処理される。

認識結果情報登録部５は、文字認識部４によって得られた認識結果情報（認識文字列および各文字の認識スコア）を基板認識結果ＤＢ４に登録する。

文字登録部７は、基板認識結果ＤＢ４の中から、認識結果に所定の認識スコア未満である認識文字を含む文字列画像および認識文字列、当該認識文字列の各認識文字の認識スコアを抽出して表示する表示制御部７１、キーボード等の公知の入力手段によって認識スコアが所定未満である認識文字の文字修正を受け付ける入力受付部７２、入力受付部７２により受け付けた文字修正を該当認識文字列の該当文字に対して施し、修正後の認識文字列を該当文字列画像の認識文字列として基板認識結果ＤＢ４に再登録する認識文字列修正部７３、修正された文字に該当する文字画像を該当文字列画像から抽出し、修正文字に属する文字画像として文字辞書ＤＢ３に登録する辞書更新部７４により構成される。

閲覧検索部６は、基板認識結果ＤＢ４に登録された認識結果情報を検索可能とし、複数設置することが可能である。閲覧検索部６の具体的構成は後述する。

図２は、基板情報ＤＢ２と基板認識結果ＤＢ４の関係について説明するための図である。基板情報ＤＢ２は、基板の種類ごとに作成された基板情報から成る。任意の基板情報は、該当基板種に実装される部品情報（当該部品の該当基板上での位置等）から成り、各部品情報は該当部品上に付された識別文字情報の領域位置等の情報（以下、文字領域情報と称する）から成る。図２では、基板情報ＤＢ２に１〜ＬのＬ種類の基板情報が登録されており、基板情報１は１〜Ｍの部品情報を含んでいることを示している。これは基板情報１なる基板種類には識別文字情報としての文字列画像を採取すべき部品がＭ個実装されていることを示している。更に各部品情報はそれぞれに文字領域情報を含んでおり、該当基板上には総合Ｎ個の文字列画像採取対象となる文字領域が存在することを示している。

基板認識結果ＤＢ４は、基板個体毎の認識結果から成る。任意の基板認識結果は、当該基板個体から採取した文字列画像から成り、各文字列画像は文字認識処理によって得られる認識文字列および各文字に対応する文字数分の認識スコアからなる認識結果と関連づけられる。図２では、基板認識結果ＤＢ４に１〜ＰのＰ個の基板認識結果が登録されており、基板認識結果１は基板情報１に基づいて作成された該当基板一個体のものであることを示している。該当基板情報に含まれる１〜Ｎの文字領域情報の各々に対して該当基板一個体から採取された文字列画像１〜Ｎが基板認識結果１として互いに関連づけられていることを示している。例えば、１００枚の基板を基板情報１によって撮像処理した場合、各文字列画像１〜Ｎを含む基板認識結果１〜１００が作成されることになる。

基板情報は該当基板種類に対する部品座標データを元に基板情報登録部１０１で作成する。図３に任意の基板種類の部品座標データ抜粋を示す。本部品座標データは、基板の部品配置配線設計（一般的に基板アートワーク設計と称される）時に出力されるデータであり、部品実装前の該当基板（一般的にベアボードと称される）の製作および該当基板への部品実装のための装置（一般的にマウンター、自動挿入機と称される）用データとして使用されるものである。左欄より部品型番、基板原点に対する該当部品基準点のＸ座標、同Ｙ座標、回転角度、実装番号（該当基板上での部品位置を表す唯一の番号）である。該当基板のいかなる位置にいかなる部品が実装されるかを示している。

図４に部品情報の形態例を示す。図３に準じた項目であり、識別文字情報を欲する部品のみを部品座標データから抽出して作成される。部品座標データに記載されていない識別文字情報を欲する部品（例えば、基板に製造上追加する基板シリアル番号等）はこの時点で部品情報として作成しなければならない。

図５に文字領域情報の形態例を示す。図６に該当部品に[VAN9876]を囲む識別文字領域と[Z07KA taiwan]を囲む識別文字領域が存在する例を示した。部品基準点と前記二識別文字領域の基準点との位置関係および、各識別文字領域の縦横サイズ、各識別文字領域の回転角度を部品型番に関連づけて決定することができる。つまり部品型番によって前記文字領域の位置、サイズ、回転角度が決まるため、図５の文字領域情報を作成することができる。図６の例では二識別文字領域が存在するため、該当部品に対して二つの文字領域情報を作成する。これは図２の基板情報ＤＢ２の基板情報１の部品情報１が文字領域情報１および文字領域情報２と関連付けされている例と等価である。

前記部品型番と該当文字領域情報は、該当文字領域情報が作成されることで該当部品型番と関連づけられて部品領域情報ＤＢ１に登録される。これにより、次回以降部品情報に該当部品型番を見いだした場合、部品領域情報ＤＢ１に登録された該当文字領域情報を参照することが可能となる。

図７は基板と実装された部品と各部品の識別文字情報の関係をイメージにしたものである。図２の基板情報ＤＢ２における基板情報および部品情報および文字領域情報の関係は、図７の基板および部品および文字領域の関係と同様になっている。

図８に撮像処理部２の構成を示す。また、図９に撮像処理部２の基板撮像部２４の具体的構成の一例を示す。本システム１に複数存在可能である撮像処理部２は、おのおのが任意の基板情報を用いて該当基板の撮像を行い、文字列画像登録部３を通して任意に部品の識別文字情報としての文字列画像を基板認識結果ＤＢ４へ登録する。図９に示す基板撮像部２４において、２４ａは一般的に電動シリンダと呼ばれ、モーター２４ｂが回転することでベース板２４ｃが電動シリンダ２４ａの溝に沿って移動する仕組みになっている。同様に、電動シリンダ２４ｄは、モーター２４ｅが回転することでベース板２４ｆが電動シリンダ２４ｄの溝に沿って移動する。両電動シリンダを制御して、カメラ２４ｇの撮像視野中心（光軸）を撮像対象基板２４ｋの目標座標に一致させ、目標視野の撮像を行う。

基板情報処理部２１は、撮像処理を開始する前に、対象とする基板情報を基板情報ＤＢ２より取得する。該当基板情報に含まれる全部品情報および文字領域情報から算出可能な各識別文字情報の位置と、カメラ２４ｇの撮像視野サイズによって、該当基板の全識別文字情報を撮像するのに最も撮像回数が少なくなるような最適撮像座標を求める。次に、全撮像座標を一巡するための最短ルートを求め、各撮像座標の撮像順位を決定する。最適撮像座標の算出と全撮像座標の撮像順位の算出は、該当基板の撮像時間を最短にする上で重要な前処理である。

前記前処理は基板情報処理部２１において基板情報を基板情報ＤＢ２から取得した後に行うように記述したが、基板情報登録部１０１によって基板情報を作成する時点で行われていても構わない。この場合には、撮像処理部２は、該当基板に関連づけられた最適撮像座標および各撮像座標の撮像順位情報を該当基板情報とは別に基板情報ＤＢ２から取得した後、撮像処理を開始する。

第一枚目の基板の撮像に先立って、基板情報処理部２１は、文字列画像登録部３に使用する基板情報を示し、以後任意の基板個体の文字列画像の一連の送信を行うことを示す。文字列画像登録部３は、これを受けて基板認識結果ＤＢ４に当該基板のための基板認識結果保存領域の確保を行う。複数の撮像処理部２から任意に送られる文字列画像は、送信元の撮像処理部２のために各々用意された該当する基板認識結果保存領域に振り分けられて登録されて行く。基板情報処理部２１は、前記最適撮像座標および撮像順位に従い、撮像座標制御部２２を通して基板撮像部２４のカメラ２４ｇの撮像視野中心を第一順位の撮像座標に移動する。撮像視野中心が撮像座標に到達すると、撮像座標制御部２２は基板情報処理部２１に撮像座標の確定を報告する。次に、基板情報処理部２２は撮像制御部２３に撮像指令を発行する。撮像制御部２３は基板撮像部２４のカメラ２４ｇに撮像信号を出力すると共に、照明２４ｊに発光信号を出力する。カメラ２４ｇから出力される画像信号は、画像取込部２５で静止画像イメージにされた後、画像切出部２６に渡される。画像切出部２６は、該当撮像視野内に存在する全識別文字情報を相当する部品情報および文字領域情報に従って文字列画像として切り出し、基板情報処理部２１に受け渡す。この後、基板情報処理部２１は第二順位の撮像座標での撮像処理に移ると共に、取得された文字列画像は文字列画像登録部３を介して基板認識結果ＤＢ４に順次登録される。この繰り返しによって該当基板の全ての文字領域情報の処理によって得られた全文字列画像が基板認識結果ＤＢ４に登録された時点で、撮像処理部２は第一枚目の基板の撮像処理を終える。前記、文字列画像は撮像の都度、順次、基板認識結果ＤＢ４へ登録される記述としたが、第一枚目の基板の撮像処理が全て終了した時点で、全文字列画像は基板認識結果ＤＢ４に一括登録されても構わない。

以下において、文字認識処理について改めて説明する。基板認識結果ＤＢ４に登録された全ての文字列画像は、文字認識部４によって随時文字認識処理（第一文字認識処理）が行われる。第一文字認識処理が行われた文字列画像は、関連づけられた認識結果に認識文字列と各文字の認識スコアが与えられ、当該基板認識結果は更新される。第一文字認識処理が行われた文字列画像について、再び第一文字認識処理が行われることはない。

文字認識処理には文字辞書ＤＢ３が参照される。図１０に文字辞書ＤＢ３の一例を示す。文字辞書ＤＢ３は文字画像の集まりであり、解釈されるべき文字に関連づけられて複数の文字画像が登録される。図１０では、文字４と解釈されるべき文字辞書を抽出して示しており、文字辞書４には様々な形態の五種類の文字画像が登録されている例である。文字認識部４は、文字列画像から文字画像抽出部４１にて個々の文字画像を抽出し、文字辞書比較部４２にて各文字画像を文字辞書ＤＢ３に登録された文字画像と比較して認識スコアを算出し、認識文字列作成部４３にて各認識スコアが最高値となる文字辞書ＤＢ３中の文字画像が属する文字を認識文字として認識文字列を作成することは既に前述した。この方法はパターンマッチングと呼ばれる文字認識に用いられる最も一般的な方法であり、文字辞書比較部４２では認識すべき文字画像を文字辞書ＤＢ３に登録された一つ一つの文字画像と特徴量を比較して認識スコアという得点付けを行い、最も高得点である文字画像を最も近似したものとしてその文字画像が属する文字を認識文字とする。

図１１に認識スコアの一例を示す。文字列画像（ア）から文字画像抽出部４１にて（イ）（ウ）（エ）（オ）の各文字画像を抽出し、文字辞書比較部４２にて文字辞書ＤＢ３に登録された文字Ｔ、Ｌ、１、５、８に属する各一つの文字画像と比較して認識スコアを算出した例を示している。図１１の縦の文字画像は前記抽出した各文字画像であり、横は文字Ｔ、Ｌ、１、５、８に属する各一つの文字画像である。例示を簡単にするために、文字Ｔ、Ｌ、１、５、８に属する文字画像は各一つとしているが、図１０に示す文字４に属する文字画像のように、通常は同一文字に複数の文字画像が登録される。縦および横の交点には縦の被比較文字画像を各文字辞書ＤＢ３に登録された文字画像と特徴量を比較した際の認識スコアを記入している。認識スコアは完全一致を１００点として、高得点であるほど最も近似している。文字画像（イ）は９５点であるＴ、以下、（ウ）（エ）（オ）はＬ、１、８と認識され、認識文字列は「ＴＬ１８」となる。この例では、文字辞書ＤＢ３に文字６の文字画像登録がないため、（オ）の認識文字は最も認識スコアの高い８となった。もちろん、文字６として文字画像登録が成されていたとしても、該当文字画像と（オ）を比較した場合の認識スコアが、文字８に属する文字画像よりも低得点であれば認識文字は６とはならず、８となる。認識文字列「ＴＬ１８」および各文字の認識スコア９５点、６５点、６０点、５０点は該当文字列と関係づけられて基板認識結果ＤＢ４に登録される。

文字登録部７は、基板認識結果ＤＢ４の中から、認識結果に所定の認識スコア（以下、比較用認識スコアと称する）未満である認識文字を含む文字列画像および認識文字列、当該認識文字列の各認識文字の認識スコアを抽出して表示する表示制御部７１、キーボード等の公知の入力手段によって認識スコアが所定未満である認識文字の文字修正を受け付ける入力受付部７２、入力受付部７２により受け付けた文字修正を該当認識文字列の該当文字に対して施し、修正後の認識文字列を該当文字列画像の認識文字列として基板認識結果ＤＢ４に再登録する認識文字列修正部７３、修正された文字に該当する文字画像を該当文字列画像から抽出し、修正文字に属する文字画像として文字辞書ＤＢ３に登録する辞書更新部７４により構成されることは前述の通りである。

例えば、前記比較用認識スコアとなる値を６２点と与えるとする。図１１の例による認識結果は認識スコアが６０点および５０点を含むため、表示制御部７１に抽出して表示することができる。一方、例えば前記比較用認識スコアとなる値を４０点と与えるとすると、図１１の例による認識結果は表示制御部７１に抽出して表示することができない。前者の場合、表示制御部７１には文字列画像（ア）および認識文字列「ＴＬ１８」および認識スコア９５、６５、６０、５０が表示される。もちろん、基板認識結果ＤＢ４には他の認識結果も登録されているわけであるから、同様に文字列画像の各文字の認識スコアが６２点を下回る認識結果および文字列画像は漏れなく表示することができる。比較用認識スコアは入力受付部８等から任意の値を与えることができるのが望ましい。なぜならば、認識スコアは認識文字列の各文字の認識正解度を表す定量値と考えることができるため、与える値が大きければ、任意の抽出された認識文字列の全ての文字が正解である可能性が高くなるし、与える値が小さければ、任意の抽出された認識文字列に不正解が含まれる可能性は高くなると言える。抽出される認識結果も、与える値が大きければ多くなるだろうし、与える値を小さくすれば抽出される認識結果も少なくなるはずである。文字辞書ＤＢ３が充実すればするほどこの傾向は顕著になる。

前記比較用認識スコアを６２点と与え、図１１の例による認識結果が表示制御部７１に抽出されて表示された場合を考える。抽出された認識結果は認識不正解の認識文字を含む可能性がある。オペレータは、表示された文字列画像および認識文字列および各文字の認識スコアを確認するが、この場合、抽出に該当した認識スコアを色分け表示することはオペレータにどの文字が認識不正解の認識文字らしいかを示す意味において非常に効果的である。オペレータは当該認識スコアに対応する認識文字と、文字認識に使用された文字列画像を表示によって比較することが可能である。本例では、文字１および文字８が所定の認識スコア未満であるため、この２つの認識スコアが色分け表示されるが、オペレータは文字列画像との目視比較によって文字１は正解だが、文字８は不正解であることに気づき入力受付部７２によって文字８を文字６と修正する。認識文字列修正部７３は、この修正入力によって基板認識結果ＤＢ４の該当認識文字列を「ＴＬ１８」から「ＴＬ１６」に修正登録する。

認識文字列の修正は、同時に文字辞書ＤＢ３への文字画像登録として作用する。前記修正例では、辞書更新部７４によって、文字６に該当する図１１（オ）の文字画像が文字６に属する文字画像として文字辞書ＤＢ３へ登録される。本文字辞書の更新により、以降の第一文字認識処理における該当同一文字画像に対する認識スコアが低得点となることはなくなることになる。

前記修正に伴って、前記使用された比較用認識スコアおよび修正された基板認識結果の情報（例えば基板認識結果ＩＤ番号等）、修正日時等が認識文字列修正部７３によって作成され（以下、修正記録と称する）、文字認識部４に対して送信される。文字認識部４は、任意のタイミングにおいて前記修正記録を基に認識処理済みの文字列画像の再認識処理となる第二文字認識処理を行う。

第二文字認識処理の任意のタイミングとは、定期的な時間設定でもよいし、修正記録の蓄積状態でも構わない。例えば前者であった場合、定刻になると文字認識部４は蓄積された修正記録より、使用された最大の比較用認識スコアをもって基板認識結果ＤＢ４に登録された全ての認識結果を検索する。該当比較用認識スコア未満である各文字の認識スコアを含む認識結果と関連づけられた全文字列画像について第二文字認識処理を行う。当然、第二文字認識処理中においても第一文字認識処理を行うべきであり、双方の処理は時間軸多重で行うのが望ましい。また、前記修正記録には修正された基板認識結果の情報を記載することにより、第二文字認識処理対象を当該基板情報を使用して採取された基板認識結果に含まれる文字列画像に限定するなどの条件を付しても構わない。更に、第二文字認識処理は、該当認識結果の中で比較用認識スコア未満である文字画像に対してのみに行うことが望ましい。正解らしい認識文字に再度認識処理を行う必要もないと考えられる。これらの第二文字認識処理条件は、別途オペレータによって与える方式である方が好ましい。

本第二文字認識処理の作用によって、文字辞書ＤＢ３の更新内容が既に文字認識処理済みの認識結果に反映され、第二文字認識処理による繰り返し処理によって基板認識結果ＤＢ４の認識結果の確からしさは文字辞書更新によって向上してゆく。

一方、前記認識文字列の修正による文字辞書ＤＢ３への文字画像追加は、文字辞書ＤＢ３への近似した文字画像の追加による文字辞書ＤＢ３の増大化を生む恐れがある。文字辞書ＤＢ３の増大（充実）は認識精度の向上につながる反面、文字辞書比較部４２によって比較する対象文字画像が増加することにより、文字認識処理時間を長くしてしまう。この緩和手段として、文字認識部４は第一および第二文字認識処理に加え、文字辞書ＤＢ３の任意の文字に属する文字画像間で相互に第三文字認識処理を行い、相互に認識スコアが所定値以上に高い場合は、類似文字画像とみなして辞書削除部１１によって片方の文字画像を文字辞書ＤＢ３から削除する。本最適化手法で、むやみに文字辞書ＤＢが増大することを緩和する。

前記最適化手法を説明する例を図１２に示した。文字４の文字辞書には（カ）（キ）（ク）（ケ）（コ）の五つの文字画像が登録されているとする。第三文字認識処理により、文字認識部４は、登録されている五文字画像間で相互に文字認識処理を行い、各認識スコアを出力する。例えば、（カ）によって（キ）を文字認識処理した場合の認識スコアは３０点であり、（カ）によって（ク）を文字認識処理した場合の認識スコアは１５点であるという具合である。同様に（カ）と（コ）の場合の認識スコアは９０点を得たとする。認識スコアが８５点を越えた場合に類似文字画像と判断させた場合、（カ）もしくは（コ）のいずれかは文字４の文字辞書から削除される。

閲覧検索部６は、基板認識結果ＤＢ４に登録された認識結果情報を検索可能とし、複数設置することができる。図１３に部品型番と認識文字列に製造ロットを指定して検索する例を示した。部品型番がＸＹＺ−１１１で認識文字列にＺ０７ＫＡを含むものを抽出表示している。

検索結果表示の項目についてはオペレータが選択して設定可能であるのが望ましいが、図１３では認識文字列および基板名称、基板シリアル番号、実装番号を表示した例を示している。検索に使用した認識文字列により基板認識結果ＤＢ４の全ての認識文字列を検索し、該当する認識文字列を含む認識結果から、各関連づけされた部品情報に検索条件である部品型番を持つ認識結果を抽出し、各関連づけされた基板情報、部品情報、文字領域情報および該当認識結果を含む基板認識情報に含まれる他の認識文字列より基板名称、基板シリアル番号、実装番号を特定して表示している。

本システム１のデータベース部は、顧客管理ＤＢ５や基板在庫管理ＤＢ６と相互にネットワークで接続され、互いに参照可能である構成が望ましい。そのようにすることで、図１４に示したように販売状態、販売顧客または仕掛かり管理場所、販売日等が明確になる。

以上のように構成し運用することで、任意の部品の任意ロット番号に不具合が報告され、既に該当部品を任意の基板に実装して販売済みである場合においても、該当ロット番号の該当部品を実装した基板をいち早く特定し、該当不具合が該当基板に及ぼす影響の検討に即座に着手することができ、更には該当基板を販売した顧客に対して注意情報の提供やリコール等の連絡を迅速に漏れなく行うことが可能となる。また、該当部品から該当基板を追跡する作業に要する延べ時間、延べ人数、さらに販売した顧客を特定できることによる他顧客への連絡費用の削減を大幅に見込むことができる。

（実施形態２）
上記実施形態１の各々構成要素は、ソフトウェアとハードウエア（ＣＰＵ、メモリ等）とを協働作用することによって実現でき、専用回路、ファームウエア等で、またはそれらの組み合わせで実現することもできる。

ソフトウェアで実現する場合、そのプログラムは以下のようになる。このプログラムは、記録媒体に記録され、記録媒体として提供可能であり、また、通信回線を介して提供（ダウンロード提供）されてもよい。通信回線を介して提供される場合、その一部の機能のみが提供されてもよく、他の一部がサーバ装置に残っていてもよく、全体の機能として本発明の機能が発揮されていれば本発明の技術的範囲に含まれる。

本発明のソフトウエアプログラムは、コンピュータに、
前記部品情報に基づいて文字列画像を取得する撮像処理ステップと、
前記撮像処理ステップで取得された文字列画像を当該基板情報および部品情報と関連付けて、基板認識結果データベースに登録する文字列画像登録ステップと、
基板認識結果データベースに登録済みの文字列画像を、文字辞書に基づいて、文字列画像採取タイミングとは異なる任意の非実時間タイミングで文字認識処理を実施し、認識結果情報を出力する文字認識ステップと、
前記文字認識ステップによって出力された認識結果情報を基板認識結果データベースに登録する認識結果情報登録ステップと、
基板認識結果データベースに登録された認識結果情報を検索可能な閲覧検索ステップと、を実行させ、
前記文字認識ステップにおいて、
文字列画像から個々の文字画像を抽出する文字画像抽出ステップと、
前記抽出された文字画像と前記文字辞書に登録された文字画像とによって双方の画像の特徴を比較し、近似度合いを認識スコアなる定量値として算出して認識結果情報登録ステップへ出力する文字辞書比較部と、
前記認識スコアが最高値となる文字辞書中の文字画像が属する文字を認識文字として、前記文字列画像の全ての文字画像に対応する認識文字を設定して、前記文字列画像に対応する認識文字列を作成し認識結果情報登録ステップへ出力する認識文字列作成ステップと、
を実行させることを特徴とするプログラムである。

また、他の本発明のソフトウエアプログラムは、コンピュータに、
前記基板認識結果データベースに登録された認識結果情報中の認識文字列が、前記認識スコアが所定値未満である認識文字を含む場合に、当該認識文字列、当該認識文字列に対応する文字列画像、および当該認識文字列に対応する各認識文字の認識スコア全てを表示手段に表示させる表示制御ステップと、
前記認識スコアが所定値未満である認識文字の修正文字を受け付ける入力受付ステップと、
前記受け付けた修正文字に基づいて当該認識文字列の当該文字を修正して基板認識結果データベースに再登録する認識文字列修正ステップと、
前記修正された文字に対応する文字画像を、前記文字列画像から抽出し、文字辞書中の当該文字に属する文字画像として新たに登録する辞書更新ステップとを実行させるプログラムである。

また、他の本発明のソフトウエアプログラムは、コンピュータに、
辞書更新ステップによる文字辞書データベースの更新をきっかけに、基板認識結果データベースに登録された既に少なくとも一度は文字認識処理が行われて認識結果情報の存在する前記認識スコアが所定値未満である認識文字を含む認識文字列を持つ文字列画像に対し、再度文字認識処理を実行するステップとを実行させるプログラムである。

また、他の本発明のソフトウエアプログラムは、コンピュータに、
文字辞書内において、同一の文字を意味する２以上の文字画像のそれぞれについて相互に文字認識処理を実行して、認識スコアを算出するステップと、
認識スコアが相互に所定値以上である文字画像の内いずれか一方の文字画像を削除する辞書削除ステップとを実行させるプログラムである。

基板実装部品の管理システムの機能ブロック図基板情報ＤＢと基板認識結果ＤＢの関係について説明するための図一般的な部品対座標データの抜粋を示す図部品情報の内部項目を示す図文字領域情報の内部項目を示す図部品に印刷（または付された）識別情報である文字列画像の一例を示す図基板に部品が搭載されている例を示す図撮像処理部の構成を示す図撮像処理部の基板撮像部の具体的構成の一例を示す図文字辞書ＤＢの一例を示す図認識スコアの一例を示す図文字辞書の最適化について示す図部品型番と、文字列に製造ロット番号を指定して検索する例を示す図検索結果の表示例を示す図

符号の説明

１基板実装部品の管理システム
２撮像処理部
２１基板情報処理部
２２撮像座標制御部
２３撮像制御部
２４基板撮像部
２５画像取込部
２６画像切出部
３文字列画像登録部
４文字認識部
４１文字画像抽出部
４２文字辞書比較部
４３認識文字列作成部
５認識結果情報登録部
６閲覧検索部
７文字登録部
７１表示制御部
７２入力受付部
７３認識文字列修正部
７４辞書更新部
１１辞書削除部
ＤＢ１部品領域情報データベース
ＤＢ２基板情報データベース
ＤＢ３文字辞書データベース
ＤＢ４基板認識結果データベース
ＤＢ５顧客管理データベース
ＤＢ６基板在庫管理データベース

Claims

基板に実装された部品における当該部品の基板上での位置情報、および当該部品上における当該部品の識別文字情報が付された領域の位置情報から成る部品情報について、当該基板に実装された部品であって任意に選択された全ての部品に関しての部品情報を有する基板情報が格納される基板情報データベースと、
前記部品の識別文字情報が付された領域の位置情報と部品の識別情報とが相関付けられて格納される部品領域情報データベースと、
前記部品情報に基づいて撮像された識別文字情報領域の画像である文字列画像および、当該文字列画像を文字認識した結果の情報である認識結果情報が格納される基板認識結果データベースと、
前記文字列画像の文字認識処理に用いられる文字画像の情報である文字辞書が格納される文字辞書データベースと、を有するデータベース部を備え、
前記部品情報に基づいて文字列画像を取得する撮像処理部と、
前記撮像処理部で取得された文字列画像を当該基板情報および部品情報と関連付けて、前記基板認識結果データベースに登録する文字列画像登録部と、
前記基板認識結果データベースに登録済みの文字列画像を、前記文字辞書に基づいて、文字列画像採取タイミングとは異なる任意の非実時間タイミングで文字認識処理を実施し、認識結果情報を出力する文字認識部と、
前記文字認識部によって出力された認識結果情報を前記基板認識結果データベースに登録する認識結果情報登録部と、
前記基板認識結果データベースに登録された認識結果情報を検索可能な閲覧検索部と、を備え、
前記文字認識部は、
文字列画像から個々の文字画像を抽出する文字画像抽出部と、
前記抽出された文字画像と前記文字辞書に登録された文字画像とによって双方の画像の特徴を比較し、近似度合いを認識スコアなる定量値として算出して認識結果情報登録部へ出力する文字辞書比較部と、
前記認識スコアが最高値となる文字辞書中の文字画像が属する文字を認識文字として、前記文字列画像の全ての文字画像に対応する認識文字を設定して、前記文字列画像に対応する認識文字列を作成し認識結果情報登録部へ出力する認識文字列作成部と、
を有することを特徴とする基板実装部品の管理システム。
前記基板認識結果データベースに登録された認識結果情報中の認識文字列が、前記認識スコアが所定値未満である認識文字を含む場合に、当該認識文字列、当該認識文字列に対応する文字列画像、および当該認識文字列に対応する各認識文字の認識スコア全てを表示手段に表示させる表示制御部と、
前記認識スコアが所定値未満である認識文字の修正文字を受け付ける入力受付部と、
前記受け付けた修正文字に基づいて当該認識文字列の当該文字を修正して基板認識結果データベースに再登録する認識文字列修正部と、
前記修正された文字に対応する文字画像を、前記文字列画像から抽出し、文字辞書中の当該文字に属する文字画像として新たに登録する辞書更新部と、
をさらに備える請求項１に記載の基板実装部品の管理システム。
前記文字認識部は、
前記辞書更新部による文字辞書データベースの更新をきっかけに、基板認識結果データベースに登録された既に少なくとも一度は文字認識処理が行われて認識結果情報の存在する前記認識スコアが所定値未満である認識文字を含む認識文字列を持つ文字列画像に対し、再度文字認識処理を実行する請求項２に記載の基板実装部品の管理システム。
前記文字認識部は、前記文字辞書内において、同一の文字を意味する２以上の文字画像のそれぞれについて相互に文字認識処理を実行して、認識スコアを算出するように構成され、
当該認識スコアが相互に所定値以上である文字画像の内いずれか一方の文字画像を削除する辞書削除部を、さらに備える請求項１〜３のいずれか１項に記載の基板実装部品の管理システム。