JP2014002497A - 電子機器の捺印シンボル検査装置、及びその方法 - Google Patents

Abstract

【課題】捺印シンボルの揺らぎにかかわらず、高速、且つ、高い精度で良否判定が可能な電子機器の捺印シンボル検査装置、及びその方法等を提供する。
【解決手段】捺印シンボル検査装置１００は、電子機器としての電子部品の捺印シンボルを含む領域を撮像した撮像画像に対応した画像データに基づいて分離演算する第１のニューラルネットワークにより、捺印シンボルを識別する捺印シンボル識別部２００と、画像データに基づいて分離演算する複数の第２のニューラルネットワークを有し、複数の第２のニューラルネットワークのうち捺印シンボル識別部２００によって識別された捺印シンボルに対応して設けられる第２のニューラルネットワークにより、捺印シンボルを良否判定する良否判定部３００とを含む。
【選択図】図４

Description

本発明は、電子機器の捺印シンボル検査装置、及び電子機器の捺印シンボル検査方法等に関する。

従来、電子機器としての電子部品に捺印されたシンボル（文字、数字、各種記号）の検査は、パーソナルコンピューター（Personal Computer：ＰＣ）並びに専用コンピューターボードを用いたテンプレートマッチングという手法で行われる。テンプレートマッチングでは、各種シンボルのフォントパターンと、そこから得られる統計的特徴量とを事前にテンプレートとして登録しておき、事前に登録したテンプレートと、検査対象の捺印シンボルとを照合することで実現される。このとき、統計的特徴量として、例えば、モーメント、マハラノビス汎距離等が採用される。

図２４（Ａ）、図２４（Ｂ）、図２４（Ｃ）に、テンプレートマッチングの説明図を示す。図２４（Ａ）は、テンプレートマッチングにおいて用いられるテンプレートを模式的に表したものである。図２４（Ｂ）及び図２４（Ｃ）は、テンプレートと検査対象の捺印シンボルとの照合の様子を模式的に表したものである。なお、図２４（Ａ）〜図２４（Ｃ）では、検査対象の捺印シンボルが、大文字の英字“Ａ”であるものとする。

テンプレートマッチングの実施に先立って、図２４（Ａ）に示すように、検査対象のシンボル“Ａ”のテンプレートＴＰＬが事前に登録される。このテンプレートＴＰＬは、必要に応じて、ばらつきを考慮した統計的特徴量として登録され、例えば図２４（Ａ）に示すような模式的な形状を有する。検査対象の捺印シンボルは、撮像カメラ等の撮像手段により撮像されて画像データに変換され、該画像データから検査対象の捺印シンボルに対応した統計的特徴量が算出される。その後、両者の統計的特徴量を比較することで、テンプレートＴＰＬと、検査対象の捺印シンボルとの照合が行われる。そして、図２４（Ｂ）や図２４（Ｃ）に示すように、捺印シンボルＴＳ１，ＴＳ２がテンプレートＴＰＬを逸脱しているか否かを判別することで、捺印シンボルの良否が判定される。

図２４（Ｂ）に示すように捺印シンボルＴＳ１がテンプレートＴＰＬを逸脱していないと判別されたとき、捺印シンボルＴＳ１が良品として判定される。これに対して、テンプレートマッチングは、統計解析を主体にした特徴量の比較により実現されるため、図２４（Ｃ）に示すように僅かでもテンプレートＴＰＬから逸脱する統計的特徴量を有する捺印シンボルＴＳ２については照合度が不足する。そのため、図２４（Ｃ）の場合、シンボル認識できずに不良品として判定されてしまう。これは、テンプレートマッチングが、いわゆる柔軟性のないリジッドな認識を行うことに起因しており、捺印シンボルの揺らぎによる不必要な認識不能状態が、検査対象のシンボルが捺印された電子機器の歩留まりを低下させる要因となる。

一方、このような電子部品の捺印シンボルの検査に、高い汎化能力を有するニューラルネットワークを利用した手法が、種々提案されている。

例えば特許文献１には、情報を有するドットが２次元マトリックス状に配列されることによって文字パターンを保持する入力面を備えた文字認識装置が開示されている。この文字認識装置において、入力面に配列されるドットには各々正、０、又は負のいずれかの値を持たせて重みが付けられた特徴抽出面の細胞を有し、細胞を行方向及び列方向に動かして所定の領域内を走査する。そして、特徴抽出面における各細胞を用いて抽出された特徴量を、ニューラルネットワークの入力層に入力させる。

また、例えば特許文献２には、ニューラルネットワークを用いて複数の文字フォントの認識を行う文字認識装置に誤差逆伝搬法で学習を行われる文字学習方法が開示されている。この文字学習方法では、学習データ及び未学習データに対する認識率を共に高めるために、学習用の一群の文字パターンに未学習の文字パターンの部分的な特徴を有する文字パターンを付け加えるようにした技術が開示されている。

更に、特許文献３には、検査対象物の画像データを複数の領域に２度分割すると共に、２度目の分割による各分割領域の方が１度目の分割による各分割領域より、Ｘ及びＹの各方向に１／２だけずれるように分割するようにした画像認識装置が開示されている。これにより、両分割時に分割の境界付近となる画素の画像データも、他方の分割時には分割領域のほぼ中央に位置することになり、各分割領域の境界上、及び境界近傍の特徴を確実に抽出する。そして、抽出された各分割領域の特徴量を、ニューラルネットワークを用いて検査対象物の画像を認識させる。

更にまた、特許文献４には、取込画像から縦方向スリット状に切り出したスリット画像を、ニューラルネットワークに入力するようにした文字認識装置が開示されている。この文字認識装置は、文字の切り出し状態を示す信号と、切り出し中の文字種別を示す識別信号と、切り出しの開始・終了時に各文字に応じて出力される認識信号を出力する。これにより、原画像中で隣り合う２つの文字が接合した画像として取り込まれた場合や、塊状のノイズが含まれている場合に個々の文字を正しく切り出して識別する。

更にまた、特許文献５には、認識対象外文字を除去し認識対象文字のみを文字認識の対象とするために、クロス数判別処理、横長比判別処理、黒ドット率判別処理を行うようにした文字認識装置が開示されている。そして、ニューラルネットワークを用いたパターン認識により、これらの処理により抽出された文字パターンから文字認識する。

更にまた、特許文献６には、模様と文字列が重なり、濃度差がほとんどなく、これまで抽出できなかった印刷物の文字列部分の画像抽出処理が開示されている。この画像抽出処理では、ツリー構造状画像変換自動生成法（Automatic Construction of Tree-structural Image Transformation：ＡＣＴＩＴ）を使用することにより、画像変換処理フィルター列を表すツリー構造の最適化を行う。

特開平３−６７３８１号公報 特開平４−２６４９９４号公報 特開平５−２８２４５号公報 特開平５−１９７８４１号公報 特開平９−２５１５１１号公報 特開２００４−３６２４４０号公報

電子部品等の電子機器の捺印シンボルの検査の際、検査対象の捺印シンボルが、正しい捺印か不良な捺印かを判定する必要がある。

図２５（Ａ）、図２５（Ｂ）、図２５（Ｃ）に、検査対象の捺印シンボルを撮像手段により撮像した画像の一例を示す。図２５（Ａ）は、捺印シンボル“Ａ”にかすれ又は欠けが存在するときの捺印シンボルの一例を表したものである。図２５（Ｂ）は、捺印シンボル“Ａ”に、ゴミ等の汚れが存在するときの捺印シンボルの一例を表したものである。図２５（Ｃ）は、捺印シンボル“Ａ”に、にじみが存在するときの捺印シンボルの一例を表したものである。

上記のテンプレートマッチングでは、単なる１つの閾値の判定で判断するため、十分な精度が得られず、捺印シンボルの揺らぎによる不必要な認識不能状態が歩留まりを低下させる要因となっている。そのため、例えば、図２５（Ａ）のかすれ具合や欠け具合によっては、良品として判定したい場合があるにもかかわらず、不良品として判定されてしまう。また、例えば図２５（Ｂ）のゴミ等は、撮像時点において一時的に付着したものであり、その後、除去されて、良品として判定したい場合があるにもかかわらず、不良品として判定されてしまう。更に、例えば図２５（Ｃ）のにじみ具合によっては、良品として判定したい場合があるにもかかわらず、不良品として判定されてしまう。

この点、特許文献１〜特許文献３、特許文献５、及び特許文献６に開示された手法では、ニューラルネットワークを用いて、フォントパターンに近い捺印シンボルの認識が可能である。しかしながら、かすれ、汚れ、にじみ等の想定しない不良な捺印シンボルについては、テンプレートマッチングと同様に、十分な精度が得られず、捺印シンボルの揺らぎにより歩留まりを低下させるという問題がある。

一方、特許文献４に開示された手法では、ある程度のノイズが含まれている捺印シンボルについて認識が可能となるが、捺印シンボルが並ぶ方向にスリットを移動させながら１文字判定を行うため、高速化ができないという問題がある。また、スリットの移動方向と交差する方向のノイズ等について、十分な精度が得られず、結果として、高い精度で捺印シンボルを良否判定することができないという問題がある。

本発明は、以上のような技術的課題に鑑みてなされたものである。本発明の幾つかの態様によれば、捺印シンボルの揺らぎにかかわらず、高速、且つ、高い精度で良否判定が可能な電子機器の捺印シンボル検査装置、及びその方法等を提供することができる。

（１）本発明の第１の態様は、電子機器の捺印シンボルを検査する電子機器の捺印シンボル検査装置が、前記捺印シンボルを含む領域を撮像した撮像画像に対応した画像データに基づいて分離演算する第１のニューラルネットワークにより、前記捺印シンボルを識別する捺印シンボル識別部と、前記画像データに基づいて分離演算する複数の第２のニューラルネットワークを有し、前記複数の第２のニューラルネットワークのうち前記捺印シンボル識別部によって識別された前記捺印シンボルに対応して設けられる第２のニューラルネットワークにより、前記捺印シンボルを良否判定する良否判定部とを含む。

本態様においては、第１のニューラルネットワークにより、電子機器に捺印されたシンボルを高精度に識別し、識別したシンボル専用の第２のニューラルネットワークにより、シンボルの識別後にシンボルの良否判定を行う。本態様によれば、捺印シンボルの識別及び良否判定の各々において高精度な処理が可能となり、捺印シンボルの揺らぎにかかわらず、高速、且つ、高精度で良否判定を行うことができるようになる。

（２）本発明の第２の態様は、電子機器の捺印シンボルを検査する電子機器の捺印シンボル検査方法が、前記捺印シンボルを含む領域を撮像した撮像画像に対応した画像データに基づいて分離演算する第１のニューラルネットワークにより、前記捺印シンボルを識別する捺印シンボル識別ステップと、前記捺印シンボル識別ステップにおいて識別された前記捺印シンボルに対応して設けられ前記画像データに基づいて分離演算する第２のニューラルネットワークにより、前記捺印シンボルを良否判定する良否判定ステップとを含む。

本態様においては、捺印シンボル識別ステップにおいて、第１のニューラルネットワークにより、電子機器に捺印されたシンボルを高精度に識別する。そして、良否判定ステップにおいて、識別したシンボル専用の第２のニューラルネットワークにより、シンボルの識別後にシンボルの良否判定を行う。本態様によれば、捺印シンボルの識別及び良否判定の各々において高精度な処理が可能となり、捺印シンボルの揺らぎにかかわらず、高速、且つ、高精度で良否判定を行うことができるようになる。

第１の実施形態における捺印シンボル検査システムの構成例を示す図。 図１の捺印シンボル検査装置の説明図。 図３（Ａ）、図３（Ｂ）は、第１のニューラルネットワークの中間ユニット又は出力ユニットを構成するユニットの説明図。 図１の捺印シンボル検査装置の構成例の機能ブロック図。 式（４）のαとβとの関係を示す図。 図４の捺印シンボル識別部の構成例の機能ブロック図。 図４の良否判定部の構成例の機能ブロック図。 第１の実施形態における電子部品の捺印シンボルの一例を示す図。 第１の実施形態における捺印シンボル検査装置の動作例のフロー図。 図９のステップＳ１の動作例のフロー図。 捺印シンボル検査装置による捺印シンボル識別処理の処理例のフロー図。 ステップＳ３１の説明図。 捺印シンボル検査装置による良否判定処理の処理例のフロー図。 図１４（Ａ）、図１４（Ｂ）は、第１のニューラルネットワークの学習データの分布を模式的に示す図。 図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）は、第１の実施形態における定型抽出フレームの説明図。 第２の実施形態における電子部品の捺印シンボルの一例を示す図。 第２の実施形態における捺印シンボル検査装置の構成例の機能ブロック図。 第２の実施形態における捺印シンボル検査装置の動作例のフロー図。 第２の実施形態における捺印シンボル検査装置の検査対象である電子部品の他の例を示す図。 第３の実施形態における捺印シンボル検査装置の説明図。 第３の実施形態における捺印シンボル検査装置を構成する捺印シンボル識別部の構成例のブロック図。 第４の実施形態における捺印シンボル検査装置の説明図。 第４の実施形態における捺印シンボル検査装置を構成する良否判定部の構成例のブロック図。 図２４（Ａ）、図２４（Ｂ）、図２４（Ｃ）は、テンプレートマッチングの説明図。 図２５（Ａ）、図２５（Ｂ）、図２５（Ｃ）は、検査対象の捺印シンボルを撮像手段により撮像した画像の一例を示す図。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の課題を解決するために必須の構成要件であるとは限らない。

１． 第１の実施形態
〔捺印シンボル検査システム〕
図１に、本発明の第１の実施形態における捺印シンボル検査システムの構成例を示す。図１の捺印シンボル検査システムは、電子機器としての電子部品に捺印されたシンボルを検査し、検査結果に応じて電子部品を良品又は不良品に振り分ける。

捺印シンボル検査システム１０は、撮像手段（撮像部）としての撮像カメラ２０と、捺印シンボル検査装置１００と、振り分け処理装置３０とを備えている。撮像カメラ２０は、捺印シンボル検査装置１００に接続され、撮像カメラ２０により撮像された撮像画像の画像データ（撮像データ）を捺印シンボル検査装置１００に供給する。捺印シンボル検査装置１００は、振り分け処理装置３０に接続され、捺印シンボル検査装置１００の検査結果に対応した検査結果信号を、振り分け処理装置３０に供給する。振り分け処理装置３０は、検査結果信号に応じて、検査対象の電子部品４０を良品又は不良品に振り分ける処理を行う。

このような構成を有する捺印シンボル検査システム１０は、所定の検査経路を流れる電子部品４０の捺印シンボルを識別し、識別したシンボルの良否判定を実施し、良品と判定された電子部品と不良品と判定された電子部品とを振り分ける。このとき、撮像カメラ２０が、検査対象の電子部品４０の捺印シンボルを含む領域を撮像して撮像画像の画像データを生成し、該画像データを捺印シンボル検査装置１００に出力する。捺印シンボル検査装置１００は、ニューラルネットワークを用いて、電子部品４０の捺印シンボルを、高速、且つ、高精度に識別し、認識したシンボルの揺らぎ（かすれ、汚れ、欠け、にじみ、位置のずれ等）にかかわらず良否判定を実施する。捺印シンボル検査装置１００による良否判定結果は、検査結果として、これに対応する検査結果信号により、振り分け処理装置３０に出力される。振り分け処理装置３０は、例えば、検査結果信号に応じて、良品として判定された電子部品４０を検査経路に残して次の工程に送る処理を行い、不良品として判定された電子部品４０を検査経路から除外する処理を行う。

〔捺印シンボル検査装置〕
捺印シンボル検査装置１００が用いるニューラルネットワークは、学習によりシンボル認識の判断基準の自動形成と高い汎化性とを実現する特性を有している。そのため、捺印シンボル検査装置１００における捺印シンボルの曖昧な良否判定基準を、学習により自動形成させることで、若干の捺印の不具合や捺印シンボルを撮像したときの状況に対しても安定した良否判定を実現させることができる。このようなニューラルネットワークは、行列計算からなる分離演算を行うものであり、乗算器や加算器等を有するＤＳＰ（Digital Signal Processor）等のプロセッサーにより、その機能を容易に実現することができる。従って、ニューラルネットワークを捺印シンボルの検査に適用することで、高速、且つ、実用度の高い捺印シンボル検査装置の構築が可能となる。

以下の説明において、捺印シンボル検査装置の検査対象である電子部品のシンボルを捺印する手法に限定されるものではなく、レーザー等でシンボルを刻む場合や、インク等でシンボルを捺印する場合等にも適用することができる。また、電子部品に捺印されるシンボルとしては、大文字又は小文字の英字、数字、各種記号、ひらがな、カタカナ、漢字等がある。なお、以下の説明では、捺印シンボルとして、大文字の英字“Ａ”〜“Ｚ”（但し、英字“Ｉ”及び“Ｏ”を除く）、及び数字“０”〜“９”の３４種類のシンボルを検査するものとする。これにより、良否判定の精度にかかわらず、ユーザーによる大文字の英字“Ｉ”と数字“１”の混同や大文字の英字“Ｏ”と数字“０”の混同を、確実に回避することができる。

図２に、図１の捺印シンボル検査装置１００の説明図を示す。図２では、ニューラルネットワークを模式的に表すと共に、捺印シンボル“Ａ”に対して検査する様子を模式的に表している。

捺印シンボル検査装置１００は、捺印シンボル識別手段と、良否判定手段とを有している。捺印シンボル識別手段は、検査対象の捺印シンボルの画像データに基づく第１のニューラルネットワークＮＮ１による相対分類によって、捺印シンボルを識別する。良否判定手段は、各々が捺印シンボル識別手段によって識別されたシンボルに対応して設けられる複数の第２のニューラルネットワークＮＮ２を有している。図２の場合、良否判定手段は、３４種類の第２のニューラルネットワークＮＮ２を有している。良否判定手段は、検査対象の捺印シンボルの画像データに基づき、捺印シンボル識別手段によって識別されたシンボル専用の第２のニューラルネットワークＮＮ２による相対分類によって、捺印シンボルの良否判定を行う。

具体的には、撮像カメラ２０が、検査対象の捺印シンボル“Ａ”を含む領域を撮像して、撮像画像の画像データを生成する。捺印シンボル識別手段は、撮像画像を所定のブロック数に分割し、画像データに基づいて各ブロックを構成する画素の代表値を生成し、第１のニューラルネットワークＮＮ１に入力する。

第１のニューラルネットワークＮＮ１は、階層型モデルのニューラルネットワークであり、入力層、中間層、及び出力層を有している。第１のニューラルネットワークＮＮ１は、複数の中間層を有していてもよい。入力層は、撮像画像の分割ブロック数分の入力ユニットを有しており、各入力ユニットには、対応するブロックの代表値が入力される。中間層は、入力層の入力ユニットの約半数の中間ユニットを有しており、各中間ユニットは、入力層の全入力ユニットの各々と接続され、各々が個別の重み付けがされる。出力層は、識別対象の捺印シンボル数分である３４個の出力ユニットを有しており、各出力ユニットは、中間層の全中間ユニットの各々と接続され、各々が個別の重み付けがされる。入力ユニットと中間ユニットとの間の重み付け、及び中間ユニットと出力ユニットとの間の重み付けは、学習によって調整される。

ここで、第１のニューラルネットワークＮＮ１の中間ユニット又は出力ユニットを構成するユニットについて説明する。

図３（Ａ）、図３（Ｂ）に、第１のニューラルネットワークＮＮ１の中間ユニット又は出力ユニットを構成するユニットの説明図を示す。図３（Ａ）は、入力層、中間層、及び出力層の各々を第１層、第２層、及び第３層としたときの第ｋ（ｋ＝２，３）層の第ｊ（ｊは自然数）ユニットＵ^ｋ _ｊの構成の概要を表す。第ｊユニットＵ^ｋ _ｊは、第２層（ｋ＝２）のとき中間ユニットとなり、第３層（ｋ＝３）のとき出力ユニットとなる。図３（Ｂ）は、図３（Ａ）の伝達部の伝達関数ｆ（ｘ_ｉ）の説明図を表す。

第１のニューラルネットワークＮＮ１の中間ユニット又は出力ユニットを構成する第ｋ層の第ｊユニットＵ^ｋ _ｊは、図３（Ａ）に示すように、結合部ＵＴ^ｋ _ｊと、伝達部ＴＦ^ｋ _ｊとを備えている。結合部ＵＴ^ｋ _ｊは、次式のように、第（ｋ−１）層の全ユニットからの出力を重み付けして線形和ｘ^ｋ _ｊを出力する。

式（１）において、第（ｋ−１）層の第ｉユニットから第ｋ層の第ｊユニットへの出力の重み付け係数をＷ^{ｋ−１，ｋ} _ｉ，ｊ、第（ｋ−１）層の第ｉユニットＵ^ｋ−１ _ｉの出力をｏ^ｋ−１ _ｉとしている。

伝達部ＴＦ^ｋ _ｊは、次式のように、結合部ＵＴ^ｋ _ｊの出力である線形和ｘ^ｋ _ｊを入力とする、例えば次式のような伝達関数ｆ（ｘ^ｋ _ｊ）を出力ｏ^ｋ _ｊとして出力する。第ｊユニットＵ^ｋ _ｊが出力層を構成するユニットの場合（ｋ＝３の場合）、出力ｏ^ｋ _ｊは出力ユニットの反応値に相当する。

式（２）は、伝達関数ｆ（ｘ^ｋ _ｊ）として、図３（Ｂ）に示すシグモイド関数を用いる例を示しているが、図３（Ｂ）に示す関数に限定されるものではない。

第１のニューラルネットワークＮＮ１を学習させることは、所与の学習データを与えて出力層の各出力ユニットの出力と教師信号との差が所定の閾値以下となるように、Ｗ^{ｋ−１，ｋ} _ｉ，ｊを調整することを意味する。この結果、例えば捺印シンボル“Ａ”を学習させることにより、Ｗ^{ｋ−１，ｋ} _ｉ，ｊが調整される。そのため、捺印シンボル“Ａ”の撮像画像を分割した各ブロックの代表値を入力層の対応する入力ユニットに入力すると、捺印シンボル“Ａ”に対応する出力層の出力ユニットのみが他の出力ユニットに比べて反応値が大きくなる。これにより、捺印シンボル識別手段は、相対分類によって捺印シンボル“Ａ”を識別することができるようになる。

次に、図２における良否判定手段は、捺印シンボル識別手段と同様に、撮像カメラ２０によって撮像された撮像画像を所定のブロック数に分割し、画像データに基づいて各ブロックを構成する画素の代表値を生成する。そして、良否判定手段は、この代表値を、第２のニューラルネットワークＮＮ２に入力する。この第２のニューラルネットワークＮＮ２は、捺印シンボル識別手段により識別された捺印シンボル“Ａ”に対応して設けられるニューラルネットワークである。

第２のニューラルネットワークＮＮ２は、第１のニューラルネットワークＮＮ１と同様に、階層型モデルのニューラルネットワークであり、入力層、中間層、及び出力層を有している。第２のニューラルネットワークＮＮ２は、複数の中間層を有していてもよい。入力層は、撮像画像の分割ブロック数分の入力ユニットを有しており、各入力ユニットには、対応するブロックの代表値が入力される。中間層は、入力層の入力ユニットの約半数の中間ユニットを有しており、各中間ユニットは、入力層の全入力ユニットの各々と接続され、各々が個別の重み付けがされる。出力層は、良品用と不良品用の２個の出力ユニットを有しており、各出力ユニットは、中間層の全中間ユニットの各々と接続され、各々が個別の重み付けがされる。入力ユニットと中間ユニットとの間の重み付け、及び中間ユニットと出力ユニットとの間の重み付けは、学習によって調整される。

第２のニューラルネットワークＮＮ２についても、図３（Ａ）及び図３（Ｂ）と同様のユニットにより構成される。従って、例えば良品の捺印シンボル“Ａ”を学習させることにより、対応する第２のニューラルネットワークＮＮ２のＷ^{ｋ−１，ｋ} _ｉ，ｊが調整される。そのため、良品の捺印シンボル“Ａ”の撮像画像を分割した各ブロックの代表値を入力層の対応する入力ユニットに入力すると、良品の捺印シンボル“Ａ”に対応する出力層の出力ユニットのみが不良品に対応する出力ユニットに比べて反応値が大きくなる。これにより、良否判定手段は、相対分類によって捺印シンボル“Ａ”の良否判定を行うことができるようになる。

〔捺印シンボル検査装置の構成〕
第１の実施形態における捺印シンボル検査装置１００は、次のような構成により、上記の動作を実現する。

図４に、図１の捺印シンボル検査装置１００の構成例の機能ブロック図を示す。図４では、捺印シンボル検査装置１００が、１種類の所定サイズの３４種類の捺印シンボルを検査するものとする。以下では、説明の便宜上、シンボル“Ａ”〜“Ｚ”（“Ｏ”及び“Ｉ”を除く），“０”〜“９”の順序で、対応する良否判定学習データ編集部及び良否判定学習部を表記している。

捺印シンボル検査装置１００は、捺印シンボル識別手段としての捺印シンボル識別部２００と、良否判定手段としての良否判定部３００と、検査制御部１４０とを備えている。また、捺印シンボル検査装置１００は、捺印シンボル識別部２００に対応して、シンボル識別学習データ編集部１１０、第１の学習データ編集部１１２、第２の学習データ編集部１１４、及びシンボル識別学習部１２０を備えている。更に、捺印シンボル検査装置１００は、良否判定部３００に対応して、識別するシンボル毎に設けられた良否判定学習データ編集部と、良否判定学習部とを備えている。具体的には、捺印シンボル検査装置１００は、“Ａ”用良否判定学習データ編集部１３０_１、“Ｂ”用良否判定学習データ編集部１３０_２、・・・、及び「９」用良否判定学習データ編集部１３０_３４と、“Ａ”用良否判定学習部１３２_１、“Ｂ”用良否判定学習部１３２_２、・・・、及び“９”用良否判定学習部１３２_３４とを備えている。

捺印シンボル識別部２００は、電子部品４０の捺印シンボルを含む領域を撮像カメラ２０により撮像した撮像画像に対応した画像データに基づいて分離演算する第１のニューラルネットワークＮＮ１により、捺印シンボルを識別する。第１のニューラルネットワークＮＮ１は、シンボル識別学習データ編集部１１０、第１の学習データ編集部１１２、第２の学習データ編集部１１４、及びシンボル識別学習部１２０により事前に学習が行われる。

シンボル識別学習データ編集部１１０は、第１のニューラルネットワークＮＮ１に、定型フォントパターンの画像データを入力して学習させる。これにより、第１のニューラルネットワークＮＮ１において、定型フォントパターンの認識の判断基準を自動形成させ、高い汎化性により各シンボルを相対的に分類することができるようになる。また、位相が同じシンボルであれば、１種類のフォントパターンを学習させることで、複数のフォントパターンのシンボルを認識することができるようになる。ここで、位相は、シンボルを構成する線のつながりに対応した特徴であり、例えば交点、端点、尖点、穴等がある。位相が同じシンボルの例として、“１”，“｜”，“／”があり、位相が異なるシンボルの例として、例えば“０”，“Φ”，“o”がある。

第１の学習データ編集部１１２は、第１のニューラルネットワークＮＮ１に、上記の定型フォントパターンにノイズを付加した画像データを入力して学習させる。例えば、微細な塵、ゴミ等のノイズが混入した画像を、第１のニューラルネットワークＮＮ１に学習させる。このように、第１のニューラルネットワークの学習データとして、予め想定できる捺印シンボルの画像を与えることにより、想定したシンボルの変動（かすれ、にじみ、欠け、位置ずれ等）に対して、安定した認識が可能となる。

第２の学習データ編集部１１４は、第１のニューラルネットワークＮＮ１に、位相が同じ複数のフォントパターンの画像データを入力して学習させる。位相が同じシンボルについて、想定される複数のフォントを学習に与えることで、シンボルの識別能力を強化することができるようになる。

シンボル識別学習部１２０は、シンボル識別学習データ編集部１１０、第１の学習データ編集部１１２、又第２の学習データ編集部１１４からの学習データに基づき、式（１）の重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを求める。そして、シンボル識別学習部１２０は、求めた重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを、捺印シンボル識別部２００の第１のニューラルネットワークＮＮ１に反映させる。このとき、シンボル識別学習部１２０は、出力層の各出力ユニットの出力と教師信号との差が所定の閾値以下となるように、次式の重み付け係数の修正量ΔＷ^{ｋ−１，ｋ} _ｉ，ｊを算出する。なお、以下の式において、ｔは、学習回数を表す

より具体的には、シンボル識別学習部１２０は、通常の誤差逆伝播法を改良した改良型誤差逆伝播法により、重み付け係数の修正量ΔＷ^{ｋ−１，ｋ} _ｉ，ｊを算出する。改良型誤差逆伝播法は、通常の誤差逆伝播法に慣性項と振動項とを付加したものであり、次式に従って重み付け係数の修正量ΔＷ^{ｋ−１，ｋ} _ｉ，ｊを算出する。

式（４）において、εは正の学習定数、ｄ^ｋ _ｊは第ｋ層の第ｊユニットの一般化誤差、ｏ^ｋ−１ _ｉは第（ｋ−１）層の第ｉユニットの出力、αは慣性項の比例定数、βは振動項の比例定数を表す。式（４）において、慣性項は、現在の重み付け係数の変化量を考慮して収束を早める働きを有し、振動項は、解の探索をローカルミニマムから脱却させる働きを有する。また、α、βは、次のような関係を満たすように調整される。

図５に、式（４）のαとβとの関係を示す。図５は、横軸にα、縦軸にβを表し、斜線領域ＳＡが、αとβの選択領域となる。

これは、参考文献（S.Nagata，M.Sekiguchi and K.Asakawa：”Mobile Robot Control by a Structured Hierarchical Neural Network”; IEEE Control System Magazine, April, pp.69〜76(1990)）において設定された慣性項と振動項の境界条件である。斜線領域ＳＡの範囲内でα及びβを変化させながら、出力層の各出力ユニットの出力と教師信号との差が所定の閾値以下となるように繰り返し演算することで、α及びβを決定する。

図４において、良否判定部３００は、電子部品４０の捺印シンボルを含む領域を撮像カメラ２０により撮像した撮像画像に対応した画像データに基づいて分離演算する第２のニューラルネットワークＮＮ２により、捺印シンボルを良否判定する。第２のニューラルネットワークＮＮ２は、上記のように、捺印シンボル識別部２００によって識別された前記捺印シンボルに対応して設けられるものである。第２のニューラルネットワークＮＮ２は、“Ａ”用良否判定学習データ編集部１３０_１〜“９”用良否判定学習データ編集部１３０_３４、及び“Ａ”用良否判定学習部１３２_１〜“９”用良否判定学習部１３２_３４により事前に学習が行われる。

“Ａ”用良否判定学習データ編集部１３０_１は、第２のニューラルネットワークＮＮ２に、良品の捺印シンボル“Ａ”の画像データを入力して学習させる。また、“Ａ”用良否判定学習データ編集部１３０_１は、欠け、ゴミの混入、にじみ、かすれ等により不良品として判定されたものの良品として判定させたい捺印シンボル“Ａ”の画像データを入力して学習させる。これにより、捺印シンボル“Ａ”専用のニューラルネットワークにおいて高い汎化性により良品又は不良品を相対的に分類することができ、非常に高い精度で、捺印シンボル“Ａ”の良否判定が可能となる。

“Ａ”用良否判定学習部１３２_１は、“Ａ”用良否判定学習データ編集部１３０_１からの学習データに基づき、シンボル識別学習部１２０と同様に、式（１）の重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを求める。そして、“Ａ”用良否判定学習部１３２_１は、求めた重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを、良否判定部３００の“Ａ”用の第２のニューラルネットワークＮＮ２に反映させる。このとき、“Ａ”用良否判定学習部１３２_１は、出力層の各出力ユニットの出力と教師信号との差が所定の閾値以下となるように、改良型誤差逆伝播法により式（４）に従って重み付け係数の修正量ΔＷ^{ｋ−１，ｋ} _ｉ，ｊを算出する。

“Ｂ”用良否判定学習データ編集部１３０_２は、第２のニューラルネットワークＮＮ２に、良品の捺印シンボル“Ｂ”の画像データを入力して学習させる。また、“Ｂ”用良否判定学習データ編集部１３０_２は、欠け、ゴミの混入、にじみ、かすれ等により不良品として判定されたものの良品として判定させたい捺印シンボル“Ｂ”の画像データを入力して学習させる。これにより、捺印シンボル“Ｂ”専用のニューラルネットワークにおいて高い汎化性により良品又は不良品を相対的に分類することができ、非常に高い精度で、捺印シンボル“Ｂ”の良否判定が可能となる。

“Ｂ”用良否判定学習部１３２_２は、“Ｂ”用良否判定学習データ編集部１３０_２からの学習データに基づき、シンボル識別学習部１２０と同様に、式（１）の重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを求める。そして、“Ｂ”用良否判定学習部１３２_２は、求めた重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを、良否判定部３００の“Ｂ”用の第２のニューラルネットワークＮＮ２に反映させる。このとき、“Ｂ”用良否判定学習部１３２_２は、出力層の各出力ユニットの出力と教師信号との差が所定の閾値以下となるように、改良型誤差逆伝播法により式（４）に従って重み付け係数の修正量ΔＷ^{ｋ−１，ｋ} _ｉ，ｊを算出する。

同様に、“９”用良否判定学習データ編集部１３０_３４は、第２のニューラルネットワークＮＮ２に、良品の捺印シンボル“９”の画像データを入力して学習させる。また、“９”用良否判定学習データ編集部１３０_３４は、欠け、ゴミの混入、にじみ、かすれ等により不良品として判定されたものの良品として判定させたい捺印シンボル“９”の画像データを入力して学習させる。これにより、捺印シンボル“９”専用のニューラルネットワークにおいて高い汎化性により良品又は不良品を相対的に分類することができ、非常に高い精度で、捺印シンボル“９”の良否判定が可能となる。

“９”用良否判定学習部１３２_３４は、“９”用良否判定学習データ編集部１３０_３４からの学習データに基づき、シンボル識別学習部１２０と同様に、式（１）の重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを求める。そして、“９”用良否判定学習部１３２_３４は、求めた重み付け係数Ｗ^{ｋ−１，ｋ} _ｉ，ｊを、良否判定部３００の“９”用の第２のニューラルネットワークＮＮ２に反映させる。このとき、“９”用良否判定学習部１３２_３４は、出力層の各出力ユニットの出力と教師信号との差が所定の閾値以下となるように、改良型誤差逆伝播法により式（４）に従って重み付け係数の修正量ΔＷ^{ｋ−１，ｋ} _ｉ，ｊを算出する。

なお、図４では、捺印シンボル“Ａ”，“Ｂ”，“９”のみを図示したが、他の捺印シンボル“Ｃ”〜“Ｚ”，“０”〜“８”についても同様である。

検査制御部１４０は、捺印シンボル検査装置１００を構成する各部の制御を司る。具体的には、検査制御部１４０は、捺印シンボル識別部２００及び良否判定部３００を制御して、１つのシンボル毎に、捺印シンボル識別部２００により捺印シンボルを識別し、識別された捺印シンボルを良否判定部３００により良否判定する制御を行う。これにより、検査制御部１４０は、電子部品４０の捺印シンボルの識別、及び良否判定の制御を行う。

図６に、図４の捺印シンボル識別部２００の構成例の機能ブロック図を示す。

捺印シンボル識別部２００は、画像抽出部２１０と、画像分割処理部２２０と、分割ブロック数設定値記憶部２２２と、代表値演算部２３０と、分離演算部２４０と、判定部２５０とを備えている。

画像抽出部２１０には、撮像カメラ２０からの撮像画像に対応した画像データが入力される。画像抽出部２１０は、撮像カメラ２０により撮像された撮像画像から、検査対象の捺印シンボルの所定サイズのフレーム内の画像を抽出し、抽出した画像に対応した画像データを画像分割処理部２２０に出力する。

画像分割処理部２２０は、画像抽出部２１０によって抽出された画像を、分割ブロック数設定値記憶部２２２に記憶された設定値に対応したブロック数に分割する。分割ブロック数設定値記憶部２２２は、検査制御部１４０等により、画像分割処理部２２０による分割ブロック数に対応した設定値が変更可能に構成されている。画像分割処理部２２０は、分割した各ブロックの画像データを、代表値演算部２３０に出力する。

代表値演算部２３０は、画像分割処理部２２０によって分割されたブロック毎の画素値の特徴量としての代表値を演算する。代表値としては、ブロック内の全画素の画素値の加算平均値、重心値、又は分散値がある。

分離演算部２４０は、シンボル識別学習部１２０により学習が行われた第１のニューラルネットワークＮＮ１により分離演算を行う。具体的には、分離演算部２４０は、第１のニューラルネットワークＮＮ１の入力層を構成する各入力ユニットに、代表値演算部２３０により得られた対応するブロックの代表値が入力され、上記のように分離演算を行う。その結果、分離演算部２４０は、第１のニューラルネットワークＮＮ１の出力層を構成し、識別対象の捺印シンボルに対応した出力ユニットの反応値を出力する。

判定部２５０は、分離演算部２４０から出力された、第１のニューラルネットワークＮＮ１の出力層を構成する全出力ユニットの反応値に基づいて、識別すべき捺印シンボルを判定する。判定部２５０の判定結果は、検査制御部１４０に出力される。

このように、捺印シンボル識別部２００は、撮像画像を分割した複数のブロックを構成する各ブロック内の画素値の代表値（具体的には、特徴量）に基づいて、捺印シンボルを識別する。具体的には、捺印シンボル識別部２００は、撮像画像から捺印シンボルの所定サイズのフレーム内の画像を抽出し、抽出した画像に対応した画像データに基づいて分離演算する第１のニューラルネットワークＮＮ１により、捺印シンボルを識別する。

図７に、図４の良否判定部３００の構成例の機能ブロック図を示す。

良否判定部３００は、画像抽出部３１０、画像分割処理部３２０、分割ブロック数設定値記憶部３２２、代表値演算部３３０を備えている。また、良否判定部３００は、捺印シンボル識別部２００によって識別された捺印シンボルに対応して設けられた分離演算部及び判定部を備えている。具体的には、良否判定部３００は、“Ａ”用分離演算部３４０_１とこれに対応して設けられた“Ａ”用判定部３５０_１、“Ｂ”用分離演算部３４０_２とこれに対応して設けられた“Ｂ”用判定部３５０_２、・・・、及び“９”用分離演算部３４０_３４とこれに対応して設けられた“９”用判定部３５０_３４を備えている。

画像抽出部３１０には、撮像カメラ２０からの撮像画像に対応した画像データが入力される。画像抽出部３１０は、撮像カメラ２０により撮像された撮像画像から、検査対象の捺印シンボルの所定サイズのフレーム内の画像を抽出し、抽出した画像に対応した画像データを画像分割処理部３２０に出力する。

画像分割処理部３２０は、画像抽出部３１０によって抽出された画像を、分割ブロック数設定値記憶部３２２に記憶された設定値に対応したブロック数に分割する。分割ブロック数設定値記憶部３２２は、検査制御部１４０等により、画像分割処理部３２０による分割ブロック数に対応した設定値が変更可能に構成されている。なお、捺印シンボル識別部２００の画像分割処理部２２０における分割ブロック数が、良否判定部３００の画像分割処理部３２０における分割ブロック数以下であることが望ましい。これにより、捺印シンボル識別部において無駄に処理負荷をかけることなく、良否判定部において高精度な良否判定を行うことで、リソースを適正に割り当てながら、捺印シンボルの揺らぎにかかわらず、高速、且つ、高い精度で良否判定を行うことができる。画像分割処理部３２０は、分割した各ブロックの画像データを、代表値演算部３３０に出力する。

代表値演算部３３０は、画像分割処理部３２０によって分割されたブロック毎の特徴量としての代表値を演算する。代表値としては、ブロック内の全画素の画素値の加算平均値、重心値、又は分散値がある。

“Ａ”用分離演算部３４０_１〜“９”用分離演算部３４０_３４の各々は、対応する良否判定学習部により学習が行われた第２のニューラルネットワークＮＮ２により分離演算を行う。例えば、“Ａ”用分離演算部３４０_１は、対応する第２のニューラルネットワークＮＮ２の入力層を構成する入力ユニットに、代表値演算部３３０により得られた対応するブロックの代表値が入力され、上記のように分離演算を行う。その結果、“Ａ”用分離演算部３４０_１は、第２のニューラルネットワークＮＮ２の出力層の良品に対応する出力ユニットの反応値及び不良品に対応する出力ユニットの反応値を出力する。同様に、例えば、“９”用分離演算部３４０_３４は、対応する第２のニューラルネットワークＮＮ２の入力層を構成する入力ユニットに、代表値演算部３３０により得られた対応するブロックの代表値が入力され、上記のように分離演算を行う。その結果、“９”用分離演算部３４０_３４は、第２のニューラルネットワークＮＮ２の出力層の良品に対応する出力ユニットの反応値及び不良品に対応する出力ユニットの反応値を出力する。

“Ａ”用判定部３５０_１〜“９”用判定部３５０_３４の各々は、対応する分離演算部から出力された、第２のニューラルネットワークＮＮ２の出力層を構成する全出力ユニットの反応値に基づいて、良否判定を行う。“Ａ”用判定部３５０_１〜“９”用判定部３５０_３４の各々の判定結果は、検査制御部１４０に出力される。

このように、良否判定部３００は、撮像画像を分割した複数のブロックを構成する各ブロック内の画素値の代表値に基づいて、捺印シンボルを良否判定する。

〔捺印シンボル検査装置の動作〕
捺印シンボル検査装置１００は、中央演算処理装置（Central Processing Unit：以下、ＣＰＵ）、読み出し専用メモリー（Read Only Memory：以下、ＲＯＭ）又はランダムアクセスメモリー（Random Access Memory：以下、ＲＡＭ）を有している。ＲＯＭ又はＲＡＭには、以下のフローの各ステップに対応したプログラムが格納されている。捺印シンボル検査装置１００を構成する各部の機能は、ＲＯＭ又はＲＡＭに格納されたプログラムを読み込んだＣＰＵが、該プログラムに対応した処理を実行することで実現される。

ここで、捺印シンボル検査装置１００の動作について説明する前に、捺印シンボル検査装置１００の検査対象の電子部品４０の捺印シンボルについて簡単に説明する。

図８に、第１の実施形態における電子部品４０の捺印シンボルの一例を示す。図８は、電子部品４０として面実装型の整流ダイオードである半導体装置を上面から見た図を模式的に表したものである。

電子部品４０は、パッケージ本体部４２と、端子４４，４６とを備えている。パッケージ本体部４２は、整流ダイオード素子を封止材により密封保持する。端子４４は、パッケージ本体部４２に密封された整流ダイオード素子のカソード端子に接続される。端子４６は、パッケージ本体部４２に密封された整流ダイオード素子のアノード端子に接続される。パッケージ本体部４２には、カソード端子の向きを示すカソードマーク４８の他に、品名、管理番号又はロット番号を表すシンボルが捺印されている。以下では、例えば、“Ａ”を第１捺印シンボル、“１”を第２捺印シンボル、“８”を第３捺印シンボルとする。

第１の実施形態における捺印シンボル検査システム１０は、図８に示すような１種類の所定サイズの３シンボル分の捺印シンボルを検査する。このとき、撮像カメラ２０が、パッケージ本体部４２の左上隅の所定の基準位置を基準に撮像領域ＰＡの位置を調整した後、該撮像領域ＰＡの画像を撮像し、撮像画像の画像データを捺印シンボル検査装置１００に供給する。なお、撮像領域ＰＡ内に設けられる定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３については、後述する。撮像カメラ２０により撮像された撮像画像の画像データが入力される捺印シンボル検査装置１００は、次のように動作する。

図９に、第１の実施形態における捺印シンボル検査装置１００の動作例のフロー図を示す。図９の動作をソフトウェアで実現する場合、ＲＯＭ又はＲＡＭに図９に示す処理を実現するプログラムが格納される。

まず、捺印シンボル検査装置１００は、電子部品４０の捺印シンボルの検査に先立って、シンボル識別学習及び良否判定学習等の学習処理を行う（ステップＳ１）。シンボル識別学習は、シンボル識別学習部１２０によって行われる。良否判定学習は、“Ａ”用良否判定学習部１３２_１〜“９”用良否判定学習部１３２_３４によって行われる。

図１０に、図９のステップＳ１の動作例のフロー図を示す。図１０の動作をソフトウェアで実現する場合、ＲＯＭ又はＲＡＭに図１０に示す処理を実現するプログラムが格納される。

図９のステップＳ１では、シンボル識別学習部１２０が、シンボル識別学習データ編集部１１０からの学習データに基づいて、第１のニューラルネットワークＮＮ１に学習させる（ステップＳ２０）。

次に、シンボル識別学習部１２０は、第１の学習データ編集部１１２からの学習データに基づいて、定型フォントパターンにノイズを付加した画像データを入力して学習させる（ステップＳ２１、第１の学習ステップ）。

続いて、シンボル識別学習部１２０は、第２の学習データ編集部１１４からの学習データに基づいて、位相が同じ複数のフォントパターンの画像データを入力して学習させる（ステップＳ２２、第２の学習ステップ）。

その後、“Ａ”用良否判定学習部１３２_１〜“９”用良否判定学習部１３２_３４の各々が、対応する良否判定学習データ編集部からの学習データに基づいて、各第２のニューラルネットワークＮＮ２を学習させ（ステップＳ２３）、一連の処理を終了する（エンド）。

図９において、ステップＳ１に続いて、捺印シンボル検査装置１００の検査制御部１４０は、捺印シンボル識別部２００により１シンボル目の第１捺印シンボルの識別処理を行わせる制御を行う（ステップＳ２）。ステップＳ２では、捺印シンボル識別部２００が、１シンボル目の第１捺印シンボルの識別が可能であるか否か、識別が可能な場合にはどのシンボルであるかを識別する。

ステップＳ２において所定の第１捺印シンボル（例えば、図８の“Ａ”）として識別されたとき（ステップＳ３：Ｙ）、検査制御部１４０は、良否判定部３００により、ステップＳ２で識別された第１捺印シンボルの良否判定を行わせる制御を行う（ステップＳ４）。ステップＳ４では、良否判定部３００が、識別された第１捺印シンボルが良品であるか、不良品であるかを判定する。

ステップＳ４において良品と判定されたとき（ステップＳ５：Ｙ）、検査制御部１４０は、捺印シンボル識別部２００により２シンボル目の第２捺印シンボルの識別処理を行わせる制御を行う（ステップＳ６）。ステップＳ６では、捺印シンボル識別部２００が、２シンボル目の第２捺印シンボルの識別が可能であるか否か、識別が可能な場合にはどのシンボルであるかを識別する。

なお、ステップＳ３において所定の第１捺印シンボルとして識別されなかったとき（ステップＳ３：Ｎ）、検査制御部１４０は、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ１５）。また、ステップＳ４において良品と判定されなかったとき（ステップＳ５：Ｎ）、検査制御部１４０は、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ１５）。

ステップＳ６において所定の第２捺印シンボル（例えば、図８の“１”）として識別されたとき（ステップＳ７：Ｙ）、検査制御部１４０は、良否判定部３００により、ステップＳ６で識別された第２捺印シンボルの良否判定を行わせる制御を行う（ステップＳ８）。ステップＳ８では、良否判定部３００が、識別された第２捺印シンボルが良品であるか、不良品であるかを判定する。

ステップＳ８において良品と判定されたとき（ステップＳ９：Ｙ）、検査制御部１４０は、捺印シンボル識別部２００により３シンボル目の第３捺印シンボルの識別処理を行わせる制御を行う（ステップＳ１０）。ステップＳ１０では、捺印シンボル識別部２００が、３シンボル目の第３捺印シンボルの識別が可能であるか否か、識別が可能な場合にはどのシンボルであるかを識別する。

なお、ステップＳ７において所定の第２捺印シンボルとして識別されなかったとき（ステップＳ７：Ｎ）、検査制御部１４０は、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ１５）。また、ステップＳ８において良品と判定されなかったとき（ステップＳ９：Ｎ）、検査制御部１４０は、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ１５）。

ステップＳ１０において所定の第３捺印シンボル（例えば、図８の“８”）として識別されたとき（ステップＳ１１：Ｙ）、検査制御部１４０は、良否判定部３００により、ステップＳ１０で識別された第３捺印シンボルの良否判定を行わせる制御を行う（ステップＳ１２）。ステップＳ１２では、良否判定部３００が、識別された第３捺印シンボルが良品であるか、不良品であるかを判定する。

ステップＳ１２において良品と判定されたとき（ステップＳ１３：Ｙ）、検査制御部１４０は、良品に対応する検査結果信号を出力して良品として振り分ける制御を行う（ステップＳ１４）。

なお、ステップＳ１１において所定の第３捺印シンボルとして識別されなかったとき（ステップＳ１１：Ｎ）、検査制御部１４０は、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ１５）。また、ステップＳ１２において良品と判定されなかったとき（ステップＳ１３：Ｎ）、検査制御部１４０は、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ１５）。

ステップＳ１４又はステップＳ１５に続いて、捺印シンボル検査装置１００は、一連の処理を終了する（エンド）。

図１１に、捺印シンボル検査装置１００による捺印シンボル識別処理の処理例のフロー図を示す。図１１の処理は、捺印シンボル識別ステップとして、図９のステップＳ２、ステップＳ６、及びステップＳ１０において実行される。図１１の処理をソフトウェアで実現する場合、ＲＯＭ又はＲＡＭに図１１に示す処理を実現するプログラムが格納される。

まず、捺印シンボル検査装置１００の捺印シンボル識別部２００は、画像抽出部２１０において、撮像カメラ２０からの撮像画像の画像データに基づいて、撮像画像から捺印シンボルの所定サイズの定型抽出フレーム内の画像を抽出する（ステップＳ３０）。定型抽出フレームは、図８の撮像領域ＰＡ内に予め決められた位置に設けられる。図８の場合、撮像領域ＰＡ内に、３シンボル分の定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３が設けられる。

次に、捺印シンボル識別部２００は、画像分割処理部２２０において、分割ブロック数設定値記憶部２２２に記憶された設定値に対応した分割ブロック数で、抽出された画像を分割する（ステップＳ３１）。

図１２に、ステップＳ３１の説明図を示す。図１２は、ステップＳ３０において抽出された定型抽出フレーム内の画像の一例を表す。

例えば、分割ブロック数設定値記憶部２２２に記憶される設定値が水平方向に“１２”、垂直方向に“１６”のとき、画像分割処理部２２０は、抽出された画像を、水平方向に１２分割し、垂直方向に１６分割する。このとき、各ブロックは、水平方向に３２画素、垂直方向に３２画素を有するものとする。画像分割処理部２２０により分割された１９２ブロックのうち左上ブロックを先頭として、順番に、第１のニューラルネットワークＮＮ１の入力層を構成する入力ユニットに割り当てる。

ステップＳ３１に続いて、捺印シンボル識別部２００は、代表値演算部２３０において、図１２の各ブロックの代表値を演算する（ステップＳ３２）。ここでは、代表値演算部２３０は、各ブロックの全画素の画素値の加算平均値を代表値として演算するものとする。ここで求められた代表値は、正規化した後に、分離演算部２４０に出力されるようにしてもよい。

ブロック毎に加算平均値を演算すると、捺印シンボル識別部２００は、分離演算部２４０において、第１のニューラルネットワークＮＮ１により分離演算を行う（ステップＳ３３）。即ち、第１のニューラルネットワークＮＮ１の入力層を構成する入力ユニットに、代表値演算部２３０により得られた対応するブロックの代表値が入力される。すると、分離演算部２４０は、第１のニューラルネットワークＮＮ１の出力層を構成する捺印シンボルに対応した出力ユニットの反応値を出力する。

ここで、第１のニューラルネットワークＮＮ１の出力層を構成する３４種類の出力ユニットの反応値のうち最大値をＭ１、Ｍ１の次の大きな値（準最大値）をＭ２とする。ステップＳ３３に続いて、判定部２５０は、Ｍ１が予め決められた閾値ｔｈ１以上であるか否かを判定する（ステップＳ３４）。

Ｍ１が閾値ｔｈ１以上であると判定されたとき（ステップＳ３４：Ｙ）、判定部２５０は、（Ｍ１−Ｍ２）が予め決められた閾値ｔｈ２以上であるか否かを判定する（ステップＳ３５）。

（Ｍ１−Ｍ２）が閾値ｔｈ２以上であると判定されたとき（ステップＳ３５：Ｙ）、判定部２５０は、最大値Ｍ１を出力する出力ユニットに対応したシンボルとして識別し（ステップＳ３６）、一連の処理を終了する（エンド）。

一方、ステップＳ３４においてＭ１が閾値ｔｈ１以上ではないと判定されたとき（ステップＳ３４：Ｎ）、判定部２５０は、シンボルを識別不可能であると判断し（ステップＳ３７）、一連の処理を終了する（エンド）。また、ステップＳ３５において（Ｍ１−Ｍ２）が閾値ｔｈ２以上ではないと判定されたとき（ステップＳ３５：Ｎ）、判定部２５０は、シンボルを識別不可能であると判断し（ステップＳ３７）、一連の処理を終了する（エンド）。

以上のように、最大値Ｍ１と準最大値Ｍ２とを用いてシンボルを識別するようにしたので、誤認識を防止して、高精度に捺印シンボルを識別することができるようになる。

図１３に、捺印シンボル検査装置１００による良否判定処理の処理例のフロー図を示す。図１３の処理は、良否判定ステップとして、図９のステップＳ４、ステップＳ８、及びステップＳ１２において実行される。図１３の動作をソフトウェアで実現する場合、ＲＯＭ又はＲＡＭに図１３に示す処理を実現するプログラムが格納される。

まず、捺印シンボル検査装置１００の良否判定部３００は、画像抽出部３１０において、撮像カメラ２０からの撮像画像の画像データに基づいて、撮像画像から捺印シンボルの所定サイズの定型抽出フレーム内の画像を抽出する（ステップＳ４０）。ステップＳ４０では、ステップＳ３０と同様に、撮像領域ＰＡ内に設けられた定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３を用いて、画像が抽出される。

次に、良否判定部３００は、画像分割処理部３２０において、分割ブロック数設定値記憶部３２２に記憶された設定値に対応した分割ブロック数で、抽出された画像を分割する（ステップＳ４１）。ステップＳ４１では、ステップＳ３１と同様に、画像分割処理部３２０は、抽出された画像を分割するものとする。

続いて、良否判定部３００は、代表値演算部３３０において、ステップＳ４１において分割された各ブロックの代表値を演算する（ステップＳ４２）。ここでは、代表値演算部３３０は、各ブロックの全画素の画素値の加算平均値を代表値として演算するもののとする。

ブロック毎に加算平均値を演算すると、良否判定部３００は、捺印シンボル識別部２００によって識別された捺印シンボルに対応した分離演算部において、第２のニューラルネットワークＮＮ２により分離演算を行う（ステップＳ４３）。即ち、対応する第２のニューラルネットワークＮＮ２の入力層を構成する入力ユニットに、代表値演算部３３０により得られた対応するブロックの代表値が入力される。すると、当該分離演算部は、第２のニューラルネットワークＮＮ２の出力層を構成する良品又は不良品に対応した出力ユニットの反応値を出力する。

ここで、第２のニューラルネットワークＮＮ２の出力層を構成する２種類の出力ユニットの反応値のうち最大値をｍ１、ｍ１の次の大きな値（準最大値）をｍ２とする。ステップＳ４３に続いて、ステップＳ４３において分離演算した分離演算部に対応した判定部は、ｍ１が予め決められた閾値ｔｈ３以上であるか否かを判定する（ステップＳ４４）。

ｍ１が閾値ｔｈ３以上であると判定されたとき（ステップＳ４４：Ｙ）、当該判定部は、（ｍ１−ｍ２）が予め決められた閾値ｔｈ４以上であるか否かを判定する（ステップＳ４５）。

（ｍ１−ｍ２）が閾値ｔｈ４以上であると判定されたとき（ステップＳ４５：Ｙ）、当該判定部は、最大値ｍ１を出力する出力ユニットに対応した良品又は不良品として判定し（ステップＳ４６）、一連の処理を終了する（エンド）。

一方、ステップＳ４４においてｍ１が閾値ｔｈ３以上ではないと判定されたとき（ステップＳ４４：Ｎ）、当該判定部は、判定不可能であると判断し（ステップＳ４７）、一連の処理を終了する（エンド）。また、ステップＳ４５において（ｍ１−ｍ２）が閾値ｔｈ４以上ではないと判定されたとき（ステップＳ４５：Ｎ）、当該判定部は、判定不可能であると判断し（ステップＳ４７）、一連の処理を終了する（エンド）。

以上のように、最大値ｍ１と準最大値ｍ２とを用いてシンボルを良否判定するようにしたので、誤判定を防止して、高精度に捺印シンボルの良否判定を行うことができるようになる。

以上説明したように、第１の実施形態では、まず、第１のニューラルネットワークＮＮ１により、電子部品に捺印されたシンボルを高精度に識別する。その後、識別したシンボル専用の第２のニューラルネットワークＮＮ２により、識別後にシンボルの良否判定を行う。これにより、捺印シンボルの識別及び良否判定の各々において高精度な処理が可能となり、捺印シンボルの揺らぎにかかわらず、高速、且つ、高精度で良否判定を行うことができるようになる。

また、第１のニューラルネットワークＮＮ１に、ノイズを付加した画像を学習データとして学習させるようにしたので、ノイズに対して頑健な捺印シンボル検査装置を提供することができるようになる。

図１４（Ａ）、図１４（Ｂ）に、第１のニューラルネットワークＮＮ１の学習データの分布を模式的に示す。図１４（Ａ）は、第１のニューラルネットワークＮＮ１に定型フォントパターンの画像データを入力して学習させた場合の学習データの分布例を模式的に表す。図１４（Ｂ）は、第１のニューラルネットワークＮＮ１に、定型フォントパターンにノイズを付加した画像データを入力して学習させた場合の学習データの分布例を模式的に表す。図１４（Ａ）及び図１４（Ｂ）において、横軸は代表値を表し、縦軸は頻度を表す。

シンボル識別学習データ編集部１１０により第１のニューラルネットワークＮＮ１を学習させた場合、図１４（Ａ）に示すように学習データが分布する。これに対して、第１の学習データ編集部１１２により第１のニューラルネットワークＮＮ１を学習させた場合、図１４（Ｂ）に示すように学習データの分布が大きくなる（σ１＜σ２）。しかしながら、ニューラルネットワークを用いることにより、学習が可能な範囲で学習データの分布を大きくすることで、ノイズに対しロバストな捺印シンボル検査装置を自動形成させることができる。

また、第１の実施形態では、画像抽出部２１０，３１０において、定型抽出フレームを用いて画像を抽出し、一律に各シンボルを抽出する。こうすることで、非常に簡素な構成で、ニューラルネットワークの汎化性によって、捺印シンボルの揺らぎにかかわらず高精度でシンボルを認識したり良否判定したりすることができる。

図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）に、第１の実施形態における定型抽出フレームの説明図を示す。図１５（Ａ）は、撮像領域ＰＡ内に設けられる定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３の説明図を表す。図１５（Ｂ）は、定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３により抽出された画像の一例を表す。図１５（Ｃ）は、定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３により抽出された画像の他の例を表す。

図１５（Ａ）に示す撮像領域ＰＡ内に、予め決められた位置に定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３が設けられており、画像抽出部２１０，３１０の各々は、定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３内の画像を抽出する。その結果、画像抽出部２１０，３１０の各々は、図１５（Ｂ）や図１５（Ｃ）に示すような画像を抽出する。図１５（Ｂ）に示す場合、シンボルが予め決められた正しい位置に捺印されたと判断することができ、捺印シンボルのかすれや欠け等の具合によって、ニューラルネットワークにより相対分類することができる。

これに対して、図１５（Ｃ）に示す場合、シンボルが予め決められた正しい位置に捺印されていないと判断することができる。しかしながら、図１５（Ｃ）において、定型抽出フレームＥＡ１を用いて抽出された画像では欠けＥＲ１が存在する場合に相当し、定型抽出フレームＥＡ２を用いて抽出された画像ではゴミＥＲ２が混入した場合に相当する。また、定型抽出フレームＥＡ３を用いて抽出された画像では、例えば数画素の位置ずれＥＲ３が存在した場合に相当する。従って、第１の実施形態では、汎化性のあるニューラルネットワークを用いて、定型抽出フレームにより抽出された画像を識別するようにしたので、欠けＥＲ１、ゴミＥＲ２及び位置ずれＥＲ３にかかわらず、正しく識別することができる。

２． 第２の実施形態
第１の実施形態では、図８に示すように１種類の所定サイズの捺印シンボルを検査するものとして説明したが、本発明に係る実施形態は、これに限定されるものではない。第２の実施形態では、２種類の所定サイズの捺印シンボルを検査する。

図１６に、第２の実施形態における電子部品の捺印シンボルの一例を示す。図１６は、電子部品として面実装型の整流ダイオードである半導体装置を上面から見た図を模式的に表したものである。図１６において、図８と同様の部分には同一符号を付し、適宜説明を省略する。

第２の実施形態における捺印シンボル検査装置の検査対象である電子部品４０ａは、パッケージ本体部４２と、端子４４，４６とを備えている。電子部品４０ａは、パッケージ本体部４２において、カソード端子を示すカソードマーク４８の他に、品名、管理番号又はロット番号を表すシンボルが捺印されている。電子部品４０ａでは、第１のフォントサイズ及び第２のフォントサイズの２種類のシンボルが捺印される。以下では、例えば“Ａ”を第１捺印シンボル、“１”を第２捺印シンボル、“８”を第３捺印シンボル、“Ｒ”を第４捺印シンボル、“Ｊ”を第５捺印シンボルとする。第１捺印シンボルのフォントサイズは、図８と同様の第１のフォントサイズであり、第２捺印シンボル〜第５捺印シンボルの各々のフォントサイズは、第１のフォントサイズより小さい第２のフォントサイズである。

第２の実施形態における捺印シンボル検査システムは、図１６に示すような２種類の所定サイズの５シンボル分の捺印シンボルを検査する。このとき、撮像カメラ２０が、パッケージ本体部４２の左上隅の所定の基準位置を基準に撮像領域ＰＡの位置を調整し、該撮像領域ＰＡの画像を撮像し、撮像画像の画像データを捺印シンボル検査装置に供給する。捺印シンボル検査装置は、撮像領域ＰＡ内の所定の位置に設けられた定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３，ＥＡ４，ＥＡ５内の画像を抽出して、各画像の画像データに基づいて捺印シンボルを検査する。

図１７に、第２の実施形態における捺印シンボル検査装置の構成例の機能ブロック図を示す。図１７では、捺印シンボル検査装置が、２種類の所定サイズの３４種類の捺印シンボルを検査するものとする。なお、図１７において、図４と同様の部分には同一符号を付し、適宜説明を省略する。

第２の実施形態における捺印シンボル検査装置１００ａは、捺印シンボル識別部２００ａと、良否判定部３００ａと、検査制御部１４０ａとを備えている。捺印シンボル識別部２００ａは、第１のフォントサイズ用に設けられた第１の捺印シンボル識別部２６０ａと、第２のフォントサイズ用に設けられた第２の捺印シンボル識別部２７０ａとを備えている。また、捺印シンボル検査装置１００ａは、第１の捺印シンボル識別部２６０ａに対応して、第１のシンボル識別学習データ編集部１１０ａ、第１の学習データ編集部１１２、第２の学習データ編集部１１４、及び第１のシンボル識別学習部１２０ａを備えている。更に、捺印シンボル検査装置１００ａは、第２の捺印シンボル識別部２７０ａに対応して、第２のシンボル識別学習データ編集部１２２ａ、第３の学習データ編集部１２４ａ、第４の学習データ編集部１２６ａ、及び第２のシンボル識別学習部１２８ａを備えている。

また、良否判定部３００ａは、第１のフォントサイズ用に設けられた第１の良否判定部３６０ａと、第２のフォントサイズ用に設けられた第２の良否判定部３７０ａとを備えている。更に、捺印シンボル検査装置１００ａは、第１の良否判定部３６０ａ及び第２の良否判定部３７０ａの各々に対応して、識別するシンボル毎に設けられた良否判定学習データ編集部と、良否判定学習部とを備えている。具体的には、捺印シンボル検査装置１００ａは、第１の“Ａ”用良否判定学習データ編集部１３０_１ａ、・・・、及び第１の「９」用良否判定学習データ編集部１３０_３４aと、第１の“Ａ”用良否判定学習部１３２_１ａ、・・・、及び第１の“９”用良否判定学習部１３２_３４ａとを備えている。また、捺印シンボル検査装置１００ａは、第２の“Ａ”用良否判定学習データ編集部１３４_１ａ、・・・、及び第２の「９」用良否判定学習データ編集部１３４_３４aと、第２の“Ａ”用良否判定学習部１３６_１ａ、・・・、及び第２の“９”用良否判定学習部１３６_３４ａとを備えている。

第１の捺印シンボル識別部２６０ａ及び第２の捺印シンボル識別部２７０ａの各々は、図６に示す構成と同様の構成を有している。第１の良否判定部３６０ａ及び第２の良否判定部３７０ａの各々は、図７に示す構成と同様の構成を有している。

第１のシンボル識別学習データ編集部１１０ａは、第１のフォントサイズ用の図４のシンボル識別学習データ編集部１１０の機能を実現する。第１の学習データ編集部１１２は、第１のフォントサイズ用の図４の第１の学習データ編集部１１２の機能を実現する。第２の学習データ編集部１１４は、第１のフォントサイズ用の図４の第２の学習データ編集部１１４の機能を実現する。第１のシンボル識別学習部１２０ａは、第１のフォントサイズ用の図４のシンボル識別学習部１２０の機能を実現する。第１の捺印シンボル識別部２６０ａは、第１のフォントサイズ用の図４の捺印シンボル識別部２００の機能を実現する。第１の“Ａ”用良否判定学習データ編集部１３０_１ａ〜第１の“９”用良否判定学習データ編集部１３０_３４ａの各々は、第１のフォントサイズ用に、対応する図４の“Ａ”用良否判定学習データ編集部１３０_１〜“９”用良否判定学習データ編集部１３０_３４の機能を実現する。第１の“Ａ”用良否判定学習部１３２_１ａ〜第１の“９”用良否判定学習部１３２_３４ａの各々は、第１のフォントサイズ用に、対応する図４の“Ａ”用良否判定学習部１３２_１〜“９”用良否判定学習部１３２_３４の機能を実現する。

同様に、第２のシンボル識別学習データ編集部１２２ａは、第２のフォントサイズ用の図４のシンボル識別学習データ編集部１１０の機能を実現する。第３の学習データ編集部１２４ａは、第２のフォントサイズ用の図４の第１の学習データ編集部１１２の機能を実現する。第４の学習データ編集部１２６ａは、第２のフォントサイズ用の図４の第２の学習データ編集部１１４の機能を実現する。第２のシンボル識別学習部１２８ａは、第２のフォントサイズ用の図４のシンボル識別学習部１２０の機能を実現する。第２の捺印シンボル識別部２７０ａは、第２のフォントサイズ用の図４の捺印シンボル識別部２００の機能を実現する。第２の“Ａ”用良否判定学習データ編集部１３４_１ａ〜第２の“９”用良否判定学習データ編集部１３４_３４ａの各々は、第２のフォントサイズ用に、対応する図４の“Ａ”用良否判定学習データ編集部１３０_１〜“９”用良否判定学習データ編集部１３０_３４の機能を実現する。第２の“Ａ”用良否判定学習部１３６_１ａ〜第２の“９”用良否判定学習部１３６_３４ａの各々は、第２のフォントサイズ用に、対応する図４の“Ａ”用良否判定学習部１３２_１〜“９”用良否判定学習部１３２_３４の機能を実現する。

検査制御部１４０ａは、捺印シンボル検査装置１００ａを構成する各部の制御を司る。具体的には、検査制御部１４０ａは、捺印シンボル識別部２００ａ及び良否判定部３００ａを制御して、フォントサイズに応じて、１つのシンボル毎に、捺印シンボル識別部２００ａにより捺印シンボルを識別し、識別された捺印シンボルを良否判定部３００ａにより良否判定する制御を行う。これにより、検査制御部１４０ａは、電子部品４０ａの捺印シンボルの識別、及び良否判定の制御を行う。

第２の実施形態における捺印シンボル検査装置１００ａもまた、第１の実施形態と同様に、ＣＰＵ、ＲＯＭ又はＲＡＭを有している。ＲＯＭ又はＲＡＭには、以下のフローの各ステップに対応したプログラムが格納されている。捺印シンボル検査装置１００ａを構成する各部の機能は、ＲＯＭ又はＲＡＭに格納されたプログラムを読み込んだＣＰＵが、該プログラムに対応した処理を実行することで実現される。

図１８に、第２の実施形態における捺印シンボル検査装置１００ａの動作例のフロー図を示す。図１８の動作をソフトウェアで実現する場合、ＲＯＭ又はＲＡＭに図１８に示す処理を実現するプログラムが格納される。

まず、捺印シンボル検査装置１００ａは、電子部品４０ａの捺印シンボルの検査に先立ち、シンボル識別学習、及び良否判定学習等の学習処理を行う（ステップＳ４０）。シンボル識別学習は、フォントサイズ毎に図１０で説明したように行われる。具体的には、シンボル識別学習は、第１のフォントサイズ用に第１のシンボル識別学習部１２０ａによって行われ、第２のフォントサイズ用に第２のシンボル識別学習部１２８ａによって行われる。良否判定学習は、フォントサイズ毎に図１０で説明したように行われる。具体的には、良否判定学習は、第１のフォントサイズ用に、第１の“Ａ”用良否判定学習部１３２_１ａ〜第１の“９”用良否判定学習部１３２_３４ａによって行われ、第２のフォントサイズ用に、第２の“Ａ”用良否判定学習部１３６_１ａ〜第２の“９”用良否判定学習部１３６_３４ａによって行われる。

次に、捺印シンボル検査装置１００の検査制御部１４０ａは、第１の捺印シンボル識別部２６０ａにより第１のフォントサイズの第１捺印シンボルの識別処理を行わせる制御を行う（ステップＳ４１）。ステップＳ４１において所定の第１捺印シンボル（例えば、図１６の“Ａ”）として識別されたとき（ステップＳ４２：Ｙ）、検査制御部１４０ａは、第１の良否判定部３６０ａにより、ステップＳ４１で識別された第１捺印シンボルの良否判定を行わせる制御を行う（ステップＳ４３）。ステップＳ４３において良品と判定されたとき（ステップＳ４４：Ｙ）、検査制御部１４０ａは、第２の捺印シンボル識別部２７０ａにより第２のフォントサイズの第２捺印シンボルの識別処理を行わせる制御を行う（ステップＳ４５）。

なお、ステップＳ４２において所定の第１捺印シンボルとして識別されなかったとき（ステップＳ４２：Ｎ）、検査制御部１４０ａは、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。また、ステップＳ４３において良品と判定されなかったとき（ステップＳ４４：Ｎ）、検査制御部１４０ａは、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。

ステップＳ４５において所定の第２捺印シンボル（例えば、図１６の“１”）として識別されたとき（ステップＳ４６：Ｙ）、検査制御部１４０ａは、第２の良否判定部３７０ａにより、ステップＳ４５で識別された第２捺印シンボルの良否判定を行わせる制御を行う（ステップＳ４７）。ステップＳ４７において良品と判定されたとき（ステップＳ４８：Ｙ）、検査制御部１４０ａは、第２の捺印シンボル識別部２７０ａにより第２のフォントサイズの第３捺印シンボルの識別処理を行わせる制御を行う（ステップＳ４９）。

なお、ステップＳ４６において所定の第２捺印シンボルとして識別されなかったとき（ステップＳ４６：Ｎ）、検査制御部１４０ａは、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。また、ステップＳ４７において良品と判定されなかったとき（ステップＳ４８：Ｎ）、検査制御部１４０ａは、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。

ステップＳ４９において所定の第３捺印シンボル（例えば、図１６の“８”）として識別されたとき（ステップＳ５０：Ｙ）、検査制御部１４０ａは、第２の良否判定部３７０ａにより、ステップＳ４９で識別された第３捺印シンボルの良否判定を行わせる制御を行う（ステップＳ５１）。ステップＳ５１において良品と判定されたとき（ステップＳ５２：Ｙ）、検査制御部１４０ａは、第２の捺印シンボル識別部２７０ａにより第２のフォントサイズの第４捺印シンボルの識別処理を行わせる制御を行う（ステップＳ５３）。

なお、ステップＳ４９において所定の第３捺印シンボルとして識別されなかったとき（ステップＳ５０：Ｎ）、検査制御部１４０ａは、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。また、ステップＳ５１において良品と判定されなかったとき（ステップＳ５２：Ｎ）、検査制御部１４０ａは、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。

ステップＳ５３において所定の第４捺印シンボル（例えば、図１６の“Ｒ”）として識別されたとき（ステップＳ５４：Ｙ）、検査制御部１４０ａは、第２の良否判定部３７０ａにより、ステップＳ５３で識別された第４捺印シンボルの良否判定を行わせる制御を行う（ステップＳ５５）。ステップＳ５５において良品と判定されたとき（ステップＳ５６：Ｙ）、検査制御部１４０ａは、第２の捺印シンボル識別部２７０ａにより第２のフォントサイズの第５捺印シンボルの識別処理を行わせる制御を行う（ステップＳ５７）。

なお、ステップＳ５３において所定の第４捺印シンボルとして識別されなかったとき（ステップＳ５４：Ｎ）、検査制御部１４０ａは、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。また、ステップＳ５５において良品と判定されなかったとき（ステップＳ５６：Ｎ）、検査制御部１４０ａは、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。

ステップＳ５７において所定の第５捺印シンボル（例えば、図１６の“Ｊ”）として識別されたとき（ステップＳ５８：Ｙ）、検査制御部１４０ａは、第２の良否判定部３７０ａにより、ステップＳ５７で識別された第５捺印シンボルの良否判定を行わせる制御を行う（ステップＳ５９）。ステップＳ５９において良品と判定されたとき（ステップＳ６０：Ｙ）、検査制御部１４０ａは、良品に対応する検査結果信号を出力して良品として振り分ける制御を行う（ステップＳ６１）。

なお、ステップＳ５７において所定の第５捺印シンボルとして識別されなかったとき（ステップＳ５８：Ｎ）、検査制御部１４０ａは、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。また、ステップＳ５９において良品と判定されなかったとき（ステップＳ６０：Ｎ）、検査制御部１４０ａは、同様に、不良品に対応する検査結果信号を出力して不良品として振り分ける制御を行う（ステップＳ６２）。

ステップＳ６１又はステップＳ６２に続いて、捺印シンボル検査装置１００ａは、一連の処理を終了する（エンド）。

図１８において、ステップＳ４１、ステップＳ４５、ステップＳ４９、ステップＳ５３、ステップＳ５８は、図１１に示す捺印シンボル識別処理と同様である。また、ステップＳ４３、ステップＳ４７、ステップＳ５１、ステップＳ５５、ステップＳ５９は、図１３に示す捺印シンボル識別処理と同様である。

なお、第２の実施形態では、捺印シンボル検査装置１００ａが、図１６に示す電子部品４０ａの捺印シンボルを検査するものとして説明したが、本発明に係る実施形態は、これに限定されるものではない。

図１９に、第２の実施形態における捺印シンボル検査装置１００ａの検査対象である電子部品の他の例を示す。図１９は、電子部品として面実装型の整流ダイオードである半導体装置を上面から見た図を模式的に表したものである。図１９において、図１６と同様の部分には同一符号を付し、適宜説明を省略する。

この電子部品４０ｂは、パッケージ本体部４２と、端子４４，４６とを備えている。電子部品４０ｂでは、第２のフォントサイズの１種類のシンボルが捺印され、例えば“Ａ”を第１捺印シンボル、“１”を第２捺印シンボル、“８”を第３捺印シンボル、“Ａ”を第４捺印シンボル、“Ｒ”を第５捺印シンボル、“Ｊ”を第６捺印シンボルとする。第１の捺印シンボル〜第６の捺印シンボルの各々のフォントサイズは、第２のフォントサイズである。

捺印シンボル検査装置１００ａは、撮像領域ＰＡ内の所定の位置に設けられた定型抽出フレームＥＡ１，ＥＡ２，ＥＡ３，ＥＡ４，ＥＡ５，ＥＡ６内の画像を抽出して、各画像の画像データに基づいて捺印シンボルを検査する。

以上のように、捺印シンボル検査装置１００ａは、図８に示す第１のフォントサイズのみの捺印シンボルを検査したり、図１９に示す第２のフォントサイズのみの捺印シンボルを検査したりすることができる。

以上説明したように、第２の実施形態では、フォントサイズ毎に、第１の実施形態と同様に捺印シンボルを識別して良否判定を行う。これにより、異なるフォントサイズの捺印シンボルが混在する場合であっても、捺印シンボルの揺らぎにかかわらず、高精度で良否判定を行うことができるようになる。

３． 第３の実施形態
第１の実施形態では、第１のニューラルネットワークＮＮ１を構成する出力層が、識別対象のシンボルに対応した３４種類の出力ユニットのみを有するものとして説明したが、本発明に係る実施形態は、これに限定されるものではない。第３の実施形態では、第１のニューラルネットワークを構成する出力層が、３４種類の出力ユニットに加えて、これらの出力ユニットに分類不可能な捺印シンボルを退避させるための退避ユニットを有している。

図２０に、第３の実施形態における捺印シンボル検査装置の説明図を示す。図２０において、図２と同様の部分には同一符号を付し、適宜説明を省略する。

第３の実施形態における捺印シンボル検査装置が第１の実施形態における捺印シンボル検査装置１００と異なる点は、捺印シンボルを識別するための第１のニューラルネットワークＮＮ１の出力層に退避ユニットＴＵ１が追加された点である。退避ユニットＴＵ１には、第１のニューラルネットワークＮＮ１の出力層の出力ユニットに分類不可能な捺印シンボルを退避させる。即ち、第１のニューラルネットワークＮＮ１に、３４種類の捺印シンボルのいずれかに分類不可能な捺印シンボルが入力されたときに、退避ユニットの反応値が他の出力ユニットの反応値と大きくなるように構成される。この第１のニューラルネットワークＮＮ１については、退避ユニットＴＵ１に分類された捺印シンボルを除いて学習させる。こうすることで、何らかの原因で極端に損傷した捺印シンボルを、いずれかの出力ユニットに強制的に分類させることに起因して他の捺印シンボルの識別精度を低下させることなく、出力ユニットに分類された捺印シンボルの識別精度を高く維持することができる。

このような第３の実施形態における捺印シンボル検査装置の構成は、捺印シンボル識別部の構成を除いて図４と同様である。

図２１に、第３の実施形態における捺印シンボル検査装置を構成する捺印シンボル識別部の構成例のブロック図を示す。図２１において、図６と同様の部分には同一符号を付し、適宜説明を省略する。

第３の実施形態における捺印シンボル識別部２００ｃは、画像抽出部２１０と、画像分割処理部２２０と、分割ブロック数設定値記憶部２２２と、代表値演算部２３０と、分離演算部２４０ｃと、判定部２５０とを備えている。分離演算部２４０ｃは、退避処理部２４２ｃを備えている。

分離演算部２４０ｃは、シンボル識別学習部１２０により学習が行われた第１のニューラルネットワークＮＮ１により分離演算を行う。具体的には、分離演算部２４０ｃは、第１のニューラルネットワークＮＮ１の入力層を構成する入力ユニットに、代表値演算部２３０により得られた対応するブロックの代表値が入力され、上記のように分離演算を行う。このとき、退避処理部２４２ｃは、各々が識別可能な捺印シンボルに対応した複数の出力ユニットに分類不可能な捺印シンボルを退避ユニットＴＵ１に退避させる。

なお、図２０では、第１のニューラルネットワークＮＮ１に１つの退避ユニットを追加する例を説明したが、第１のニューラルネットワークＮＮ１に複数の退避ユニットを追加するようにしてもよい。例えば、第１のニューラルネットワークＮＮ１に第１の退避ユニット及び第２の退避ユニットを追加した場合、各退避ユニットには、捺印シンボルの揺らぎの種類に応じて分類させることができる。この場合、第１の退避ユニットには、捺印シンボルの揺らぎのうち、定型フォントパターンより検査対象のシンボルを構成する画素が減少する捺印シンボル（例えば、欠けやかすれ等を有する捺印シンボル）を退避させる。第２の退避ユニットには、捺印シンボルの揺らぎのうち、定型フォントパターンより検査対象のシンボルを構成する画素が増加する捺印シンボル（例えば、ゴミの混入やにじみ等を有する捺印シンボル）を退避させる。こうすることで、捺印シンボル検査装置の検査結果を解析して捺印状態の原因を特定し、シンボルの捺印に反映させることもできるようになる。

以上説明したように、第３の実施形態によれば、第１のニューラルネットワークＮＮ１に退避ユニットを設け、識別可能な捺印シンボルに対応した複数の出力ユニットに分類不可能な捺印シンボルを退避させることができる。これにより、第１の実施形態と同様の効果に加えて、何らかの原因で極端に損傷した捺印シンボルの誤認識を防止すると共に、出力ユニットに分類された捺印シンボルの識別精度を高く維持することができる。

４． 第４の実施形態
第１の実施形態では、第２のニューラルネットワークＮＮ２を構成する出力層が、良品及び不良品の各々に対応した２種類の出力ユニットを有するものとして説明したが、本発明に係る実施形態は、これに限定されるものではない。第４の実施形態では、第２のニューラルネットワークＮＮ２を構成する出力層が、上記の２種類の出力ユニットに加えて、これらの出力ユニットに分類不可能な捺印シンボルを退避させる退避ユニットを有している。

図２２に、第４の実施形態における捺印シンボル検査装置の説明図を示す。図２２は、第３の実施形態と同様に第１のニューラルネットワークＮＮ１に退避ユニットＴＵ１を設けると共に、第２のニューラルネットワークＮＮ２に退避ユニットを設けた構成を表している。図２２において、図２０と同様の部分には同一符号を付し、適宜説明を省略する。

第４の実施形態における捺印シンボル検査装置が第３の実施形態における捺印シンボル検査装置と異なる点は、捺印シンボルの良否判定を行うための第２のニューラルネットワークＮＮ２の出力層に退避ユニットＴＵ２，ＴＵ３が追加された点である。図２２では、複数の第２のニューラルネットワークＮＮ２のうち、“Ｂ”及び“９”の良品又は不良品を判定するための第２のニューラルネットワークＮＮ２にのみ退避ユニットＴＵ２，ＴＵ３が設けられている。退避ユニットＴＵ２，ＴＵ３の各々には、対応する第２のニューラルネットワークＮＮ２の出力層の出力ユニットに分類不可能な捺印シンボルを退避させる。即ち、“Ｂ”の良否判定用の第２のニューラルネットワークＮＮ２に、良品又は不良品に分類不可能な捺印シンボルが入力されたときに、退避ユニットＴＵ２の反応値が他の出力ユニットの反応値と大きくなるように構成される。同様に、“９”の良否判定用の第２のニューラルネットワークＮＮ２に、良品又は不良品に分類不可能な捺印シンボルが入力されたときに、退避ユニットＴＵ３の反応値が他の出力ユニットの反応値と大きくなるように構成される。退避ユニットＴＵ２，ＴＵ３を有する第２のニューラルネットワークＮＮ２については、退避ユニットに分類された捺印シンボルを除いて学習させる。こうすることで、何らかの原因で極端に損傷した捺印シンボルを、いずれかの出力ユニットに強制的に分類させることによる誤判定を防止し、出力ユニットに分類された捺印シンボルの良否判定の精度を高く維持することができる。

このような第４の実施形態における捺印シンボル検査装置は、捺印シンボル識別部及び良否判定部の構成を除き、図４と同様である。捺印シンボル識別部は、図２１と同様の構成を有している。

図２３に、第４の実施形態における捺印シンボル検査装置を構成する良否判定部の構成例のブロック図を示す。図２３において、図７と同様の部分には同一符号を付し、適宜説明を省略する。

第４の実施形態における良否判定部３００ｄは、画像抽出部３１０、画像分割処理部３２０、分割ブロック数設定値記憶部３２２、代表値演算部３３０を備えている。また、良否判定部３００ｄは、捺印シンボル識別部２００によって識別された捺印シンボルに対応して設けられた分離演算部及び判定部を備えている。具体的には、良否判定部３００ｄは、“Ａ”用分離演算部３４０_１とこれに対応して設けられた“Ａ”用判定部３５０_１、“Ｂ”用分離演算部３４０_２ｄとこれに対応して設けられた“Ｂ”用判定部３５０_２、・・・、“８”用分離演算部３４０_３３とこれに対応して設けられた“８”用判定部３５０_３３、及び“９”用分離演算部３４０_３４ｄとこれに対応して設けられた“９”用判定部３５０_３４を備えている。更に、“Ｂ”用分離演算部３４０_２ｄは、退避処理部３４２_２ｄを備え、“９”用分離演算部３４０_３４ｄは、退避処理部３４２_３４ｄを備えている。

良否判定部３００ｄが有する各分離演算部は、対応する良否判定学習部により学習が行われた第２のニューラルネットワークＮＮ２により分離演算を行う。例えば、“Ｂ”用分離演算部３４０_２ｄは、対応する第２のニューラルネットワークＮＮ２の入力層を構成する入力ユニットに、代表値演算部３３０により得られた対応するブロックの代表値が入力され、上記のように分離演算を行う。このとき、退避処理部３４２_２ｄは、良品又は不良品に対応した出力ユニットに分類不可能な捺印シンボルを退避ユニットＴＵ２に退避させる。同様に、例えば、“９”用分離演算部３４０_３４ｄは、対応する第２のニューラルネットワークＮＮ２の入力層を構成する入力ユニットに、代表値演算部３３０により得られた対応するブロックの代表値が入力され、上記のように分離演算を行う。このとき、退避処理部３４２_３４ｄは、良品又は不良品に対応した出力ユニットに分類不可能な捺印シンボルを退避ユニットＴＵ３に退避させる。

なお、図２２では、第２のニューラルネットワークＮＮ２に１つの退避ユニットを追加する例を説明したが、第２のニューラルネットワークＮＮ２に複数の退避ユニットを追加するようにしてもよい。

以上説明したように、第４の実施形態によれば、第２のニューラルネットワークＮＮ２に退避ユニットを設け、良品又は不良品に対応した複数の出力ユニットに分類不可能な捺印シンボルを退避させることができる。これにより、第１の実施形態又は第３の実施形態と同様の効果に加えて、何らかの原因で極端に損傷した捺印シンボルの誤判定を防止すると共に、出力ユニットに分類された捺印シンボルの良否判定精度を高く維持することができる。

以上、本発明に係る捺印シンボル検査装置、及びその方法等を上記のいずれかの実施形態に基づいて説明したが、本発明は上記のいずれかの実施形態に限定されるものではない。例えば、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、次のような変形も可能である。

（１）上記のいずれかの実施形態において、電子部品に捺印されたシンボルを検査する例を説明したが、本発明は、これに限定されるものではない。本発明に係る捺印シンボル検査装置は、電子機器（電子装置）に捺印されたシンボルを検査することができる。なお、本発明に係る捺印シンボル検査装置の検査対象のシンボルが捺印される電子機器としては、電子部品や、電子ユニット等がある。電子部品としては、ダイオード、パワーＭＯＳＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）、サイダック、サージアブソーバー、パワーチェナー、パワーＩＣ（Integrated Circuit）等の半導体素子や回路素子、集積回路装置がある。また、電子ユニットとしては、ＤＣ／ＤＣコンバーター、ＡＣ／ＤＣコンバーター、ＤＣ／ＡＣコンバーター、その他システム周辺機器、各種車両に搭載する電装製品等がある。

（２）上記のいずれかの実施形態では、ニューラルネットワークが階層型モデルであるものとして説明したが、本発明は、これに限定されるものではない。

（３）第２の実施形態において、２種類のフォントサイズの捺印シンボルを検査する捺印シンボル検査装置について説明したが、本発明は、これに限定されるものではない。例えば、３種類以上のフォントサイズの捺印シンボルを検査する捺印シンボル検査装置を構成するようにしてもよい。この場合、例えば、フォントサイズ毎に、第２の実施形態と同様に、専用の学習データ編集部、シンボル識別学習部、捺印シンボル識別部、良否判定学習部、及び良否判定部を設ければよい。

（４）上記のいずれかの実施形態において、本発明を捺印シンボル検査装置、及びその方法等として説明したが、本発明は、これに限定されるものではない。例えば、本発明に係る捺印シンボル検査方法の処理手順が記述されたプログラム、このプログラムが記録された記録媒体であってもよい。

１０…捺印シンボル検査システム、 ２０…撮像カメラ、 ３０…振り分け処理装置、
４０，４０ａ，４０ｂ…電子部品、 １００，１００ａ…捺印シンボル検査装置、
１１０…シンボル識別学習データ編集部、 １１０ａ…第１のシンボル識別学習データ編集部、 １１２…第１の学習データ編集部、 １１４…第２の学習データ編集部、
１２０…シンボル識別学習部、 １２０ａ…第１のシンボル識別学習部、
１２２ａ…第２のシンボル識別学習データ編集部、 １２４ａ…第３の学習データ編集部、 １２６ａ…第４の学習データ編集部、 １２８ａ…第２のシンボル識別学習部、
１３０_１…“Ａ”用良否判定学習データ編集部、 １３０_１ａ…第１の“Ａ”用良否判定学習データ編集部、 １３０_２…“Ｂ”用良否判定学習データ編集部、
１３０_３４…“９”用良否判定学習データ編集部、 １３０_３４ａ…第１の“９”用良否判定学習データ編集部、 １３２_１…“Ａ”用良否判定学習部、
１３２_１ａ…第１の“Ａ”用良否判定学習部、 １３２_２…“Ｂ”用良否判定学習部、
１３２_３４…“９”用良否判定学習部、 １３２_３４ａ…第１の“９”用良否判定学習部、 １３４_１ａ…第２の“Ａ”用良否判定学習データ編集部、
１３４_３４ａ…第２の“９”用良否判定学習データ編集部、
１３６_１ａ…第２の“Ａ”用良否判定学習部、 １３６_３４ａ…第２の“９”用良否判定学習部、 １４０，１４０ａ…検査制御部、
２００，２００ａ，２００ｃ…捺印シンボル識別部、 ２１０，３１０…画像抽出部、
２２０，３２０…画像分割処理部、 ２２２，３２２…分割ブロック数設定値記憶部、
２３０，３３０…代表値演算部、 ２４０，２４０ｃ…分離演算部、
２４２ｃ，３４２_２ｄ，３４２_３４ｄ…退避処理部、 ２５０…判定部、
２６０ａ…第１の捺印シンボル識別部、 ２７０ａ…第２の捺印シンボル識別部、
３００，３００ａ，３００ｄ…良否判定部、 ３４０_１…“Ａ”用分離演算部、
３４０_２，３４０_２ｄ…“Ｂ”用分離演算部、 ３４０_３３…“８”用分離演算部、
３４０_３４，３４０_３４ｄ…“９”用分離演算部、 ３５０_１…“Ａ”用判定部、
３５０_２…“Ｂ”用判定部、 ３５０_３３…“８”用判定部、
３５０_３４…“９”用判定部、 ３６０ａ…第１の良否判定部、
３７０ａ…第２の良否判定部、 ＥＡ１，ＥＡ２，ＥＡ３，ＥＡ４，ＥＡ５，ＥＡ６…定型抽出フレーム、 ＰＡ…撮像領域、 ＴＵ１，ＴＵ２，ＴＵ３…退避ユニット

Claims (11)

1. 電子機器の捺印シンボルを検査する電子機器の捺印シンボル検査装置であって、
   前記捺印シンボルを含む領域を撮像した撮像画像に対応した画像データに基づいて分離演算する第１のニューラルネットワークにより、前記捺印シンボルを識別する捺印シンボル識別部と、
   前記画像データに基づいて分離演算する複数の第２のニューラルネットワークを有し、前記複数の第２のニューラルネットワークのうち前記捺印シンボル識別部によって識別された前記捺印シンボルに対応して設けられる第２のニューラルネットワークにより、前記捺印シンボルを良否判定する良否判定部とを含むことを特徴とする電子機器の捺印シンボル検査装置。
2. 前記捺印シンボル識別部は、
   前記撮像画像を分割した複数のブロックを構成する各ブロック内の画素値の代表値に基づいて、前記捺印シンボルを識別し、
   前記良否判定部は、
   前記撮像画像を分割した複数のブロックを構成する各ブロック内の画素値の代表値に基づいて、前記捺印シンボルを良否判定し、
   前記捺印シンボル識別部における分割ブロック数が、前記良否判定部における分割ブロック数以下であることを特徴とする請求項１記載の電子機器の捺印シンボル検査装置。
3. 前記捺印シンボル識別部は、
   前記撮像画像から前記捺印シンボルの所定サイズのフレーム内の画像を抽出し、抽出した画像に対応した画像データに基づいて分離演算する前記第１のニューラルネットワークにより、前記捺印シンボルを識別することを特徴とする請求項１又は２に記載の電子機器の捺印シンボル検査装置。
4. 前記第１のニューラルネットワークに、定型フォントパターンにノイズを付加した画像データを入力して学習させる第１の学習データ編集部を含むことを特徴とする請求項１乃至３のいずれか記載の電子機器の捺印シンボル検査装置。
5. 前記第１のニューラルネットワークに、位相が同じ複数のフォントパターンの画像データを入力して学習させる第２の学習データ編集部を含むことを特徴とする請求項１乃至４のいずれか記載の電子機器の捺印シンボル検査装置。
6. 前記第１のニューラルネットワークは、入力層、１又は複数の中間層、及び出力層を有する階層型モデルのニューラルネットワークであり、
   前記第１のニューラルネットワークを構成する出力層は、各々が識別可能な捺印シンボルに対応した複数の出力ユニットと、退避ユニットとを含み、
   前記捺印シンボル識別部は、
   前記複数の出力ユニットに分類不可能な捺印シンボルを前記退避ユニットに退避させる退避処理部を含むことを特徴とする請求項１乃至５のいずれか記載の電子機器の捺印シンボル検査装置。
7. 電子機器の捺印シンボルを検査する電子機器の捺印シンボル検査方法であって、
   前記捺印シンボルを含む領域を撮像した撮像画像に対応した画像データに基づいて分離演算する第１のニューラルネットワークにより、前記捺印シンボルを識別する捺印シンボル識別ステップと、
   前記捺印シンボル識別ステップにおいて識別された前記捺印シンボルに対応して設けられ前記画像データに基づいて分離演算する第２のニューラルネットワークにより、前記捺印シンボルを良否判定する良否判定ステップとを含むことを特徴とする電子機器の捺印シンボル検査方法。
8. 前記捺印シンボル識別ステップでは、
   前記撮像画像から前記捺印シンボルの所定サイズのフレーム内の画像を抽出し、抽出した画像に対応した画像データに基づいて分離演算する前記第１のニューラルネットワークにより、前記捺印シンボルを識別することを特徴とする請求項７記載の電子機器の捺印シンボル検査方法。
9. 前記第１のニューラルネットワークに、定型フォントパターンにノイズを付加した画像データを入力して学習させる第１の学習ステップを含むことを特徴とする請求項７又は８記載の電子機器の捺印シンボル検査方法。
10. 前記第１のニューラルネットワークに、位相が同じ複数のフォントパターンの画像データを入力して学習させる第２の学習ステップを含むことを特徴とする請求項７乃至９のいずれか記載の電子機器の捺印シンボル検査方法。
11. 前記第１のニューラルネットワークは、入力層、１又は複数の中間層、及び出力層を有する階層型モデルのニューラルネットワークであり、
    前記第１のニューラルネットワークを構成する出力層は、識別可能な捺印シンボルに対応した複数の出力ユニットと、退避ユニットとを含み、
    前記捺印シンボル識別ステップでは、
    前記複数の出力ユニットに分類不可能な捺印シンボルを前記退避ユニットに退避させることを特徴とする請求項７乃至１０のいずれか記載の電子機器の捺印シンボル検査方法。

Images