JP2004362440A - 印刷物の文字列抽出処理装置 - Google Patents
印刷物の文字列抽出処理装置 Download PDFInfo
- Publication number
- JP2004362440A JP2004362440A JP2003162540A JP2003162540A JP2004362440A JP 2004362440 A JP2004362440 A JP 2004362440A JP 2003162540 A JP2003162540 A JP 2003162540A JP 2003162540 A JP2003162540 A JP 2003162540A JP 2004362440 A JP2004362440 A JP 2004362440A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- printed matter
- image
- processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
【課題】従来の画像処理技術では抽出及び画像処理生成が困難である模様と文字列が重なり、さらに模様と文字列の濃度差がほとんどない同系色で印刷されている印刷物の文字列部分を抽出する文字列抽出処理装置を提供する。
【解決手段】ツリー構造状画像変換の自動生成手段を使用するとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した画像変換処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ的確に抽出できるようにする。
【選択図】 図１
【解決手段】ツリー構造状画像変換の自動生成手段を使用するとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した画像変換処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ的確に抽出できるようにする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、遺伝的プログラミングを画像変換処理フィルタのツリー構造状組み合わせの最適化処理に適用したツリー構造状画像変換自動生成法（ＡＣＴＩＴ）を用いた印刷物の文字列抽出処理装置に関するものである。
【０００２】
【従来の技術】
模様と文字が印刷された印刷物、またはデジタル画像から文字のみを読み取る場合は、模様と文字を分離し、文字のみを抽出する処理が不可欠であるが、従来の文字の抽出処理では印刷物の濃度ヒストグラムを利用して模様の濃度と文字の濃度の中間で閾値を設定して文字のみを抽出する方法が多く用いられている。しかし、模様と文字の濃度の差が低い場合や同じ場合では適切な閾値を設定することができないため模様が残ってしまうか又は文字が消えてしまい抽出が行えないという問題があった。
【０００３】
このように模様と文字の濃度に差が少なく、明確な閾値を設定することが困難な場合ではＲ、Ｇ、ＢやＨ、Ｓ、Ｌの色の情報を利用した方法が用いられており、印刷物の色彩の情報をＲ、Ｇ、Ｂの各成分に分解し、各成分ごとに２値化の閾値を設定し、各成分ごとに横方向射影データにより文字らしさを抽出する文字抽出装置（例えば、特許文献１参照。）がある。しかし、模様と文字の両方にＲ、Ｇ、Ｂの各色が用いられている場合や彩度の低いくすんだ色を用いて印刷されている場合は色の情報を利用しても文字の抽出が困難である。
【０００４】
このような場合では参照用文字列を利用する手法があり、抽出が容易な参照用文字列を抽出して特徴量を算出し、抽出困難な文字列に対して前記算出した参照用文字列の特徴量を用いて抽出を行う（例えば、特許文献２参照。）。しかし、この方法では抽出が容易な参照用文字列が必要であり、抽出困難な文字列を単独で抽出することができない。
【０００５】
このように、従来の方法では抽出困難な文字列を抽出する場合、対象となる印刷物の模様や色の特徴を利用する必要があるため、対象となる印刷物の知識と画像処理の専門知識と経験と試行錯誤が必要である。また、対象となる印刷物に特化した処理になるために対象が変わるごとに新たな処理方法を考案する必要があった。
【０００６】
一般に、画像処理のカスタマイズあるいは画像処理の自動化、省力化を目的とした画像処理方法としてエキスパートシステムがある（例えば、特許文献３参照。）。エキスパートシステムは、画像処理に関する知識をシステムにあらかじめ組み込み、知識に基づいた推論やユーザとの対話形式によるやりとりで、画像処理方法の選択や処理に付随するパラメータの調整を行う技術であるが、この方法では対象に依存しない広範囲な応用を目的とした場合や、現在まで確立されていない新しい分野への応用を考えた場合、蓄えられた知識では表現しきれない処理手順が存在するため対処できないという欠点がある。
【０００７】
また、特定分野の画像処理をチューニングするニューラルネットワークという方法があり、このニューラルネットワークは脳の神経回路をモデルとして、最適化や学習を行う手法であり、神経細胞（ニューロン）をモデル化したユニットを多数接続し、ネットワークを構成する。各ユニットには他の複数のユニットからの出力信号の値に結合の重みを掛けた値の和を入力し、ニューロンモデルで定義された関数により出力値を決定する。関数の代表例としては閾値関数やシグモイド関数と呼ばれる関数が使用される。
【０００８】
ニューラルネットワークの画像への応用として、原画像から何らかの方法で画像を処理して、濃度の統計量等の特徴量を抽出し、これをニューラルネットワークに付与することで、画像処理を学習・最適化させる方法が用いられている。
【０００９】
しかし、未知の画像へのニューラルネットワークの適用には、入力するための特徴量の選定、最適化の方法などにより、画像処理能力が左右されることから、画像処理及びニューラルネットワークの専門的知識・経験が必要とされる。したがって、好ましい画像処理の結果が得られなければ、目的とする画像処理が行われるまで、特徴量の選定及び最適化の方法の検討を繰り返す必要がある。
【００１０】
すなわち、文字列抽出する画像に何らかの画像処理を施すアルゴリズムは、膨大に存在し、画像処理手法、そのデータベースの活用、又はそのデータを学習させるために、その中から適切なものを選択し、組み合わせ、更には修正を行うなどの試行錯誤が必要となり、画像処理の専門的な知識・経験及び組み合わせの最適化のために多大な時間と労力を必要とする。
【００１１】
以上の問題を鑑み、生物の進化の過程を模倣した最適化手法の１つである遺伝的アルゴリズム（ＧＡ：Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）をもとに考案された遺伝的プログラミング（ＧＰ：Ｇｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）を画像処理に適用したツリー構造状画像変換自動生成法（ＡＣＴＩＴ：Ａｕｔｏｍａｔｉｃ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｔｒｅｅ−ｓｔｒｕｃｔｕｒａｌ Ｉｍａｇｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ；情報メディア学会誌５３，６，ｐｐ８８８−８９４（１９９９））を印刷物の文字列抽出方法に用いることにする。
【００１２】
この手法は、予め用意した複数の画像変換処理フィルタを任意の形のツリー構造状に組み合わせることによって、入力画像から出力画像への画像変換処理を実現するものである（図６）。なお、該手法は、１つ又は複数の入力手段と、１つの出力手段を持つ画像変換処理フィルタＦｎを用いる。処理される画像はツリー構造における全ての葉ノード１（終端）より入力され、フィルタの組み合わせにより異なった処理を受ける。それらは画像変換処理により順次合成され、最終的に一つの画像となって出力される。フィルタの組み合わせにより、領域や目的毎に異なった処理を施し、それらの結果を適宜合成するような複雑な画像変換処理を構築することが可能となる。
【００１３】
ツリー構造は処理対象となる画像群の中から目標の特徴を捉えたいくつかの原画像とそれらに対する理想的な処理結果である目標画像を用意し、ツリー構造が表す画像変換に原画像を入力したときの出力画像が目標画像と同様になるように遺伝的プログラミング（ＧＰ）の手法を用いて最適化を行う。こうして目的とする画像変換が自動的に得られ、一度構築された画像変換は、原画像と同じ特徴をもつ画像が入力されたときには目標画像が与えられなくても目的とする処理を実行する。
【００１４】
遺伝的アルゴリズム（ＧＡ）は、解こうとしている問題の解を染色体と呼ばれる記号列表現に変換し、これらの染色体の集団に遺伝的操作と呼ばれる記号列表現に変換し、これらの染色体の集団に遺伝的操作と呼ばれる演算を繰り返し行うことにより、染色体の集団を少しずつ変更して最適解あるいは最適解に匹敵する解を求める確率的な演算手法である。
【００１５】
ＧＡでは生物の遺伝子コードを最適化問題の解として１次元配列の文字列で表現し、それぞれ異なる遺伝子コード（図７）を持つ個体集団が適者生存に基づく淘汰・増殖を繰り返すことで、与えられた問題に対する適応度は世代を重ねるごとに上がってゆく。各個体は適応度関数を用いて計算された適応度を持ち、一般的に問題の解に近いほど適応度が高くなり、適応度が高い個体ほど次の世代に生き残る確率が高くなる。
【００１６】
ＧＡを適用し個体集団を十分に進化させた後、集団中で最も適応度の高い個体が持つ遺伝子コードをその問題の最適解とする（図８）。
【００１７】
一方、遺伝的プログラミング（ＧＰ）は基本的な動作部分はＧＡと同じであるが、ＧＡにおいて１次元の文字列で表される遺伝子コードをツリー構造状にすることによって、プログラムなどの最適化をより効率的に行えるように拡張した手法である。各個体の遺伝子コードを表すツリーは、ユーザが設定した終端記号と非終端記号から構成される。葉ノードとなるのが終端記号で、内部ノードとなるのが非終端記号である。ＧＡ・ＧＰの基本的な処理の流れは以下のとおりである（図９）。
（１）初期の個体集団をランダムに作成し、各個体の適応度を評価する。
（２）個体の複製のために親集合を選択する。
（３）親集合から交叉、突然変異によって子集合を生成する。
（４）生成した子集合の適応度を評価する。
（５）親集合と子集合より生存する個体を選択し新しい集団とする。
（６）（２）〜（４）を繰り返す。
【００１８】
初期個体の生成は次に示す規則に基づいて行う。ツリーのルートノードには必ず非終端記号を生成し、それ以降は各ノードが終端記号である確率をｐｔ、非終端記号である確率を数式１として生成する。
【００１９】
【数式１】
【００２０】
非終端記号が生成されたときに１入力フィルタである確率をｐ１、２入力フィルタである確率を数式２とし、１個体あたりの非終端記号すなわちフィルタの総数の期待値をｎｆとすると、１個体あたりのフィルタ総数の期待値ｎｔは数式３となり、終端記号の生成確率ｐｔは数式４となる。
【００２１】
【数式２】
【００２２】
【数式３】
【００２３】
【数式４】
【００２４】
ただし、フィルタの数が上限数ｎｍａｘに達した場合は無条件で終端記号を生成する。また、生成したツリー構造に含まれるフィルタの数が初期個体の下限数ｎｍｉｎ未満であった場合には、もう一度そのツリー構造を生成しなおす。フィルタの上限数ｎｍａｘ、フィルタの数の期待値ｎｆ、フィルタの下限数ｎｍｉｎ、１入力フィルタ生成確率ｐ１はＡＣＴＩＴ実行時にパラメータとして与える。
【００２５】
交叉、突然変異はＧＰでは各個体を表すツリー構造に対して適用する。ツリー構造に対する交叉（図１０）は、親２個体それぞれの全ノードからランダムに選択し、任意のノード以下の部分ツリーを交換することによって行う。いずれかの個体のフィルタ数が０になるかｎｍａｘを超えた場合にはもう一度交叉をやり直す。交叉後ｂに各個体を突然変異率Ｐｍｕｔの確率で突然変異させる（図１１）。突然変異は個体の全ノードからランダムに１つを選択し、書き換えｄ、挿入ｅ、又は削除ｆという３つの方法のうち１つを等確率で選択し実行する。ただし選択されたノードが終端ノード１である場合には、削除ｆ以外のどちらか一方を等確率で選択して実行する。新しいノードを生成する場合は終端記号の生成確率ｐｔを用いる。突然変異の結果、個体のフィルタ数が０になるかｎｍａｘを超えた場合には、もう一度突然変異をやり直す。ここで示した突然変異率Ｐｍｕｔも他のパラメータ同様ＡＣＴＩＴ実行時に与える。
【００２６】
適応度評価のために数式５の関数を用いる。
【００２７】
【数式５】
【００２８】
適応度は出力画像と目標画像との重み付けした距離を正規化し、画像の全セットでの平均をとることによって求める。ここで，｛ｏｋ（ｉ，ｊ）｝は原画像にツリー構造状画像変換を適用することで得られた出力画像、｛ｔｋ（ｉ，ｊ）｝は目標画像、｛ｗｋ（ｉ，ｊ）｝は重み画像である。重み画像とは、各目標画像の画素ごとの達成希望度をあらわすものであり、値が大きいほど出力が目標画像と一致することが望まれる。また、各画像はｉ，ｊ方向の画素数をＷ、Ｈとし、各画素は０からＶｍａｘまでの整数値をとるものとする。原画像・目標画像・重み画像の組は複数用意することができ、そのセット数をＫとする。適応度は０から１までの値をとり、出力画像が目標画像に類似しているほど大きな値をとり、完全に一致すれば１となる。
【００２９】
ＡＣＴＩＴは複数の画像を入力して１つの画像を出力する変換について、任意の画像変換を自動構築することから、カラー画像を処理する際には個体の遺伝子コードがとる終端記号の種類をカラー画像のＨＳＶ（Ｈｕｅ：色相、Ｓａｔｕｒａｔｉｏｎ：彩度、Ｖａｌｕｅ：明度）、ＲＧＢ（Ｒｅｄ：赤、Ｇｒｅｅｎ：緑、Ｂｌｕｅ：青）などの表色系へと変換した各チャンネルとすることによって、カラー画像から階調画像への画像変換の構築が可能となる。
【００３０】
以上詳述したツリー構造状画像変換自動生成法（ＡＣＴＩＴ）を用いた方法として印刷物の不良欠点抽出方法及び装置があり、従来の画像処理技術では抽出及び画像処理生成が困難である印刷物との濃度差がほとんどなく、肉眼では検出が困難な印刷物の不良欠点部分の画像抽出処理において、ＡＣＴＩＴを使用するとともに、これを印刷物の不良欠点抽出処理に特化し、より抽出精度を高めるための階調画像の追加及びそれらを比較演算処理するための画像変換処理フィルタの導入により、未知のどのような印刷物の不良欠点であっても、容易かつ的確に抽出できる方法及び装置（例えば、特許文献４参照。）がある。
【００３１】
この方法は、対象物の不良欠点の抽出処理を行うに当たっては何ら問題なかったが、印刷物に付与された番号などの文字は面積が小さく幅が狭いため、文字の輪郭を正確に認識することが必要となるが、文字の消失や欠けに対して十分な結果を得ることが困難な状況であった。
【００３２】
【特許文献１】
特開平５−２６６２５１号公報
【特許文献２】
特開平６−４４４０４号公報
【特許文献３】
特開平８−９６１３６号公報
【特許文献４】
特開２００２−３６６９２９号公報
【００３３】
【発明が解決しようとする課題】
以上詳述したように、これまでの文字抽出処理では、背景模様との重なりがない文字列や背景模様と文字列の濃度や色彩が異なる画像については、かなりの精度で抽出が可能となるが、模様と文字列が重なり、さらに模様と文字列が濃度差がほとんどない同系色で印刷されている場合には文字列を抽出できないという問題があった。
【００３４】
本発明は、係る問題を解決するためになされたものであり、従来の画像処理技術では抽出及び画像処理生成が困難である模様との濃度差がほとんどなく、抽出できなかった印刷物の文字列部分の画像抽出処理において、ＡＣＴＩＴを使用することにより、画像変換処理フィルタ列を表すツリー構造の最適化を行うことにより目的の画像を得るとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した画像処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ正確に抽出し、印刷物の製造工程または流通段階で容易かつ正確に、正誤判定、真偽判別する装置を提供するものである。
【００３５】
【課題を解決するための手段】
本発明の印刷物の文字列抽出処理装置は、印刷物の画像データを取り込むデータ入力手段と、前記画像データから印刷物の文字列を抽出するための画像変換処理フィルタを指定し、前記画像変換処理フィルタを最適化するためのパラメータを設定するデータ設定手段と、前記画像データを階調画像に変換し、前記パラメータ設定値と前記画像変換処理フィルタにより、印刷物の文字列を抽出する画像変換処理手順を自動構築し、前記印刷物の文字列を抽出処理して、前記印刷物の文字列の認証により正誤又は真偽を判別するデータ処理手段と、前記パラメータ設定値、前記画像データ、及び前記画像変換処理手順を記憶するデータ記憶手段と、前記画像変換処理手順及び前記印刷物の文字列を抽出した画像を出力・表示するデータ出力手段とからなる印刷物の文字列抽出処理装置において、前記入力画像データが印刷物の文字列を含む画像データ及び前記画像データから前記印刷物の文字列のみを抽出した教師画像データで構成され、前記データ処理手段の画像変換処理手順の自動構築処理手順は、遺伝的アルゴリズムを画像処理に適用した遺伝的プログラミングで画像変換処理フィルタのツリー構造状組み合わせを最適化処理することで、前記画像変換処理手順を自動構築することを特徴としている。
【００３６】
また、本発明の印刷物の文字列抽出処理装置の前記ツリー構造状画像変換の自動生成手段において、印刷物の文字列を含む前記画像データ、前記画像データから前記印刷物の文字列のみを抽出した前記教師画像データからなる標準画像セットデータに、適応度評価の度合いを表現した重み画像データを加えることを特徴としている。
【００３７】
また、本発明の印刷物の文字列抽出処理装置の前記パラメータ設定手段において、任意の画像変換処理フィルタの組み合わせであるツリー構造を一個体として、その複数個体に遺伝的プログラミングを用いることで個体数を定義する個体集団数、一個体当たりの画像変換処理フィルタ数の最大値、前記ツリー構造状画像変換の自動生成手段における遺伝的プログラミング処理の交叉確率・突然変異率、及び世代交代の上限数とからなることを特徴としている。
【００３８】
また、本発明の印刷物の文字列抽出処理装置において、前記印刷された印刷物の画像データを前記データ入力手段で入力し、前記画像データを前記階調画像変換処理手段で階調画像変換処理を施し、前記階調画像変換処理データを基に、前記文字列抽出処理手段で印刷物の文字列を抽出し、前記抽出した印刷物の文字列抽出画像データを前記画像データ記憶手段に記憶保存すると共に、前記印刷物の文字列抽出画像データを出力・表示することを特徴としている。
【００３９】
また、本発明の印刷物の文字列抽出処理装置において、前記印刷物の文字列抽出処理手段により、前記印刷物から印刷物の文字列抽出画像データを抽出し、前記データ処理手段の記番号認証処理手段により認証に成功した場合は真の印刷物と判断し、又は前記データ処理手段の記番号認証処理手段により認証に失敗した場合は偽の印刷物と判断することを特徴としている。
【００４０】
なお、本発明の印刷物の文字列抽出手段により抽出する印刷物は、有価証券類であることを特徴としている。
【００４１】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。（第１の実施形態）図１は、本実施形態における文字列抽出装置の構成図であり、この構成図を基に、印刷物の文字列抽出方法における画像データの入力から文字列の真偽を判断するまでを、図２及び図３のフローチャートを参照して説明する。
【００４２】
まず、標準画像セットとしての教師画像セットをデータ入力部Ａに入力（Ｓ１）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ２）を施し、データ設定部Ｂの画像変換処理フィルタ設定部Ｂ２において、データ処理部ＤのＡＣＴＩＴ処理Ｄ２で使用する画像変換処理フィルタを指定（Ｓ３）する。この時、文字を確実に認識させるために、対象となる画像（原画像）を左右２分割し、それぞれのヒストグラムを作成して、画像の左半分、右半分の２値化した閾値を個々に算出する。また、データ設定部Ｂのパラメータ設定部Ｂ１では、ＡＣＴＩＴのパラメータを設定（Ｓ４）し、初期個体集団をランダムに生成（Ｓ５）し、適応度の評価（Ｓ６）を行う。
【００４３】
前記の適応度評価により親集団をランダムに選択（Ｓ７）し、データ処理部Ｄの最適化処理部Ｄ２１で交叉するものをランダムに選択（Ｓ８）し、選択されたものは交叉（Ｓ９）を開始し、一個体当たりの画像処理フィルタ数ｎが０（Ｓ１０）になるともう一度交叉（Ｓ９）をやり直し、画像処理フィルタ数が０ではなく最大値ｎｍａｘ（Ｓ１１）に達した場合も交叉（Ｓ９）をやり直す。
【００４４】
一個体当たりの画像処理フィルタ数ｎが０＜ｎ＜ｎｍａｘの範囲内で処理されたもの、及び前記データ処理部Ｄの最適化処理部Ｄ２１で交叉の処理が成されていないもの（Ｓ８）は、突然変異率で確率的に選択（Ｓ１２）されて突然変異処理の書き換え（Ｓ１２ａ）、挿入（Ｓ１２ｂ）、又は削除（Ｓ１２ｃ）の処理を行い、画像変換処理手順、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。なお、（Ｓ１２）で突然変異処理が成されていないものについても、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。
【００４５】
前記画像変換処理手順による画像変換処理の適応度をデータ処理部Ｄの適応度評価部Ｄ２２で評価（Ｓ１４）し、適応度が１になるか、若しくは適応度が１とはならなくても目標とする画像処理が達成された場合、画像変換処理手順は最適化されているものと判断され、その手順をデータ記憶部Ｃの画像変換処理手順記憶部Ｃ３に記憶保存（Ｓ１７）する。また、適応度が１に等しくなく、かつ、世代交代数が上限値（Ｓ１５）に達した場合も画像変換処理手順は最適化されているものと判断され、同様の手順で処理される。
【００４６】
適応度が１（Ｓ１４）に等しくなく、かつ、世代交代数も上限値（Ｓ１５）に達しない場合は、親集団及び子集団より次世代生存個体を適応度に応じて選択（Ｓ１６）し、親集団のランダム選択工程（Ｓ７）に戻り前記工程を繰り返す。
【００４７】
最適化処理の出力画像において、文字の消失／欠けが発生しても、最適化の途中段階では文字が消失していない場合があるので、データ記憶部に文字列の書体をあらかじめ記憶させ、最適化中の木構造内の画像に対して、文字列の書体情報とパターンマッチングさせることにより、文字列の個々の文字を順次認識させることで、最適化終了後の出力画像で消失／欠けが発生している文字の認識率を上昇させ、認識精度を向上させるようにしている。
【００４８】
次に、未知の文字列を含む印刷物の対象画像をデータ入力部Ａに入力（Ｓ１８）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ１９）を行い、前記処理で得られた最適化画像変換処理により文字列の抽出処理（Ｓ２０）を行い、抽出された文字列の認識処理（Ｓ２１）をデータ処理部Ｄの文字列認識処理部Ｄ４で行い、次に認識された文字列の認証処理（Ｓ２２）をデータ処理部Ｄの文字列認証処理部Ｄ５で行い、認証が成功した場合は真の印刷物と判断（Ｓ２３）し、そうでない場合は偽の印刷物と判断（Ｓ２４）する。
【００４９】
次に、本発明に係る他の実施形態について、図面を参照して詳細に説明する。
（第２の実施形態） 前記した図１の文字列抽出装置の構成図を基に、印刷物の文字列抽出方法における画像データの入力から文字列の正誤を判断するまでを、図４及び図５のフローチャートを参照して説明する。
【００５０】
まず、標準画像セットとしての教師画像セットをデータ入力部Ａに入力（Ｓ１）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ２）を施し、データ設定部Ｂの画像変換処理フィルタ設定部Ｂ２において、データ処理部ＤのＡＣＴＩＴ処理Ｄ２で使用する画像変換処理フィルタを指定（Ｓ３）する。データ設定部Ｂのパラメータ設定部Ｂ１では、ＡＣＴＩＴのパラメータを設定（Ｓ４）し、初期個体集団をランダムに生成（Ｓ５）し、適応度の評価（Ｓ６）を行う。
【００５１】
前記の適応度評価により親集団をランダムに選択（Ｓ７）し、データ処理部Ｄの最適化処理部Ｄ２１で交叉するものをランダムに選択（Ｓ８）し、選択されたものは交叉（Ｓ９）を開始し、一個体当たりの画像処理フィルタ数ｎが０（Ｓ１０）になるともう一度交叉（Ｓ９）をやり直し、画像処理フィルタ数が０ではなく最大値ｎｍａｘ（Ｓ１１）に達した場合も交叉（Ｓ９）をやり直す。
【００５２】
一個体当たりの画像処理フィルタ数ｎが０＜ｎ＜ｎｍａｘの範囲内で処理されたもの、及び前記データ処理部Ｄの最適化処理部Ｄ２１で交叉の処理が成されていないもの（Ｓ８）は、突然変異率で確率的に選択（Ｓ１２）されて突然変異処理の書き換え（Ｓ１２ａ）、挿入（Ｓ１２ｂ）、又は削除（Ｓ１２ｃ）の処理を行い、画像変換処理手順、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。なお、（Ｓ１２）で突然変異処理が成されていないものについても、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。
【００５３】
前記画像変換処理手順による画像変換処理の適応度をデータ処理部Ｄの適応度評価部Ｄ２２で評価（Ｓ１４）し、適応度が１になるか、若しくは適応度が１とはならなくても目標とする画像処理が達成された場合、画像変換処理手順は最適化されているものと判断され、その手順をデータ記憶部Ｃの画像変換処理手順記憶部Ｃ３に記憶保存（Ｓ１７）する。また、適応度が１に等しくなく、かつ、世代交代数が上限値（Ｓ１５）に達した場合も画像変換処理手順は最適化されているものと判断され、同様の手順で処理される。
【００５４】
適応度が１（Ｓ１４）に等しくなく、かつ、世代交代数も上限値（Ｓ１５）に達しない場合は、親集団及び子集団より次世代生存個体を適応度に応じて選択（Ｓ１）し、親集団のランダム選択工程（Ｓ７）に戻り前記工程を繰り返す。
【００５５】
次に、未知の文字列を含む印刷物の対象画像をデータ入力部Ａに入力（Ｓ１８）し、指定文字列をデータ入力部 Ａに入力（Ｓ２２）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ１９）を行い、前記処理で得られた最適化画像変換処理により文字列抽出処理（Ｓ２０）を行い、文字列の認識処理（Ｓ２１）をデータ処理部Ｄの文字列認識処理部Ｄ４で行い、前記入力（Ｓ２２）した指定文字列と前記認識した文字列の正誤処理（Ｓ２３）をデータ処理部Ｄの文字列正誤判定部Ｄ６で行い、一致した場合は正常処理と判断（Ｓ２４）し、一致しなかった場合は異常処理と判断（Ｓ２５）する。
【００５６】
次に、本発明を実施例により、図面を参照して詳細に説明する。（実施例）印刷物の文字抽出方法について、前記した図１の文字列抽出装置の構成図を基に、図１２に示す本発明に係る入力画像である原画像、教師画像、重み画像、及び未知の文字列を抽出した画像を示す図を用いて説明する。
【００５７】
本実施例で用いる印刷物の画像としては、印刷物に付与されている記番号を用いる。まず、原画像１、教師画像２、及び重み画像３からなる画像群を用意する。原画像１は、印刷物の記番号周辺の領域を切り出し作成する。教師画像２は選択した原画像１から、期待する画像変換処理の結果となる画像を作成する。教師画像は白地に記番号を配置した画像とし、記番号は黒とする。また、必要であれば適応度評価の重みを表現した重み画像３を作成する。白い領域が重み付けをする記番号領域である。原画像１、教師画像２、及び重み画像３の標準画像セットをデータ処理部Ｄの階調画像変換処理部Ｄ１で階調画像に変換する。
【００５８】
次に、ＡＣＴＩＴの遺伝的プログラミング（ＧＰ）の最適化処理で用いる各パラメータをデータ設定部Ｂのパラメータ設定部Ｂ１で設定し、標準画像セットをＡＣＴＩＴで処理する。遺伝的プログラミング（ＧＰ）によるツリー構造状画像変換の最適化処理Ｄ２１が行われ、適応度が最大値の１となった時、又は設定した世代数が全て終了した時点で処理は終わり、出力されるものとして最大適応度を持つ最適化画像変換処理手順が得られる。
【００５９】
続いて、上記で得られた最適化画像変換処理手順を基にして、印刷物の機械処理装置に搭載されたラインセンサで印刷物を読み込み、本発明の方法により未知の文字列を含む印刷物の画像から未知の文字列４を抽出して認識と認証を行い、認証に成功した印刷物を真なる印刷物と判断して受理し、認証に失敗した印刷物を偽の印刷物と判断して返却を行う。
【００６０】
以上、一般的な印刷物について詳述したが、例えば印刷物が銀行券の場合は、原画像として銀行券の記番号周辺の領域を、その記番号の全桁を含んで切り出して用い、同様の操作を行えば良い。
【００６１】
【発明の効果】
本発明では、文字列を抽出する処理を自動構築でき、原画像、及び教師画像を設定する簡単な作業で済むので画像処理に関する経験・知識をほとんど必要としない。
【００６２】
また、従来は抽出できない文字列に対しても新たに特殊なフィルタを追加することにより処理を容易に短時間に構築でき、人間では考え付くことができない処理手順を探索することが出来る。
【００６３】
また、事前に用意するフィルタの種類や適用順序に関する制限を必要としないため、画像処理の知識に基づく処理手順の制限、又はシステムとの対話によるユーザへの負担が解消される。
【００６４】
また、画像処理フィルタ列をあらわすツリー構造の最適化を行うことにより目的の画像を得られることから、特徴量の抽出やニューラルネットワークの最適化のための試行錯誤を必要としないし、知識データベースを必要としないので未知画像への対応も容易に可能である。
【００６５】
また、従来の画像処理技術では抽出及び画像処理生成が困難である印刷物の文字列部分の画像抽出処理において、ＡＣＴＩＴを使用するとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した２値化画像変換処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ正確に抽出することが可能である。
【図面の簡単な説明】
【図１】本発明に係る一実施形態における印刷物の文字列抽出処理装置の構成図である。
【図２】本実施形態１における印刷物の文字列抽出処理方法における画像データの入力から画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存するまでのフローチャートである。
【図３】本実施形態１における印刷物の文字列抽出処理方法における画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存から文字列の真偽を判断するまでのフローチャートである。
【図４】本実施形態２における印刷物の文字列抽出処理方法における画像データの入力から画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存するまでのフローチャートである。
【図５】本実施形態２における印刷物の文字列抽出処理方法における画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存から文字列の正誤を判断するまでのフローチャートである。
【図６】ツリー構造状に組み合わされた画像処理フィルタを示す図である。
【図７】遺伝的アルゴリズムの遺伝子コードを示す図である。
【図８】遺伝的プログラミングの最適化処理における世代数と適応度の関係を示す図である。
【図９】遺伝的プログラミングの基本的な流れを示す図である。
【図１０】遺伝的プログラミングの最適化処理のうち、交叉を示す図である。
【図１１】遺伝的プログラミングの最適化処理のうち、突然変異を示す図である。
【図１２】本実施例における入力画像である原画像、教師画像、重み画像、及び未知の文字列を抽出した画像を示す図である。
【符号の説明】
１ 葉ノード（終端）
Ｆｎ 画像処理フィルタ（非終端）
ａ 交叉前のツリー構造
ｂ 交叉後のツリー構造
ｃ 突然変異前のツリー構造
ｄ 書き換え後のツリー構造
ｅ 挿入後のツリー構造
ｆ 削除後のツリー構造
２ 基本画像（有価証券）
３ 印刷物の文字列
４ 画像
５ 教師画像
６ 未知の画像
７ 未知の文字列抽出画像
【発明の属する技術分野】
本発明は、遺伝的プログラミングを画像変換処理フィルタのツリー構造状組み合わせの最適化処理に適用したツリー構造状画像変換自動生成法（ＡＣＴＩＴ）を用いた印刷物の文字列抽出処理装置に関するものである。
【０００２】
【従来の技術】
模様と文字が印刷された印刷物、またはデジタル画像から文字のみを読み取る場合は、模様と文字を分離し、文字のみを抽出する処理が不可欠であるが、従来の文字の抽出処理では印刷物の濃度ヒストグラムを利用して模様の濃度と文字の濃度の中間で閾値を設定して文字のみを抽出する方法が多く用いられている。しかし、模様と文字の濃度の差が低い場合や同じ場合では適切な閾値を設定することができないため模様が残ってしまうか又は文字が消えてしまい抽出が行えないという問題があった。
【０００３】
このように模様と文字の濃度に差が少なく、明確な閾値を設定することが困難な場合ではＲ、Ｇ、ＢやＨ、Ｓ、Ｌの色の情報を利用した方法が用いられており、印刷物の色彩の情報をＲ、Ｇ、Ｂの各成分に分解し、各成分ごとに２値化の閾値を設定し、各成分ごとに横方向射影データにより文字らしさを抽出する文字抽出装置（例えば、特許文献１参照。）がある。しかし、模様と文字の両方にＲ、Ｇ、Ｂの各色が用いられている場合や彩度の低いくすんだ色を用いて印刷されている場合は色の情報を利用しても文字の抽出が困難である。
【０００４】
このような場合では参照用文字列を利用する手法があり、抽出が容易な参照用文字列を抽出して特徴量を算出し、抽出困難な文字列に対して前記算出した参照用文字列の特徴量を用いて抽出を行う（例えば、特許文献２参照。）。しかし、この方法では抽出が容易な参照用文字列が必要であり、抽出困難な文字列を単独で抽出することができない。
【０００５】
このように、従来の方法では抽出困難な文字列を抽出する場合、対象となる印刷物の模様や色の特徴を利用する必要があるため、対象となる印刷物の知識と画像処理の専門知識と経験と試行錯誤が必要である。また、対象となる印刷物に特化した処理になるために対象が変わるごとに新たな処理方法を考案する必要があった。
【０００６】
一般に、画像処理のカスタマイズあるいは画像処理の自動化、省力化を目的とした画像処理方法としてエキスパートシステムがある（例えば、特許文献３参照。）。エキスパートシステムは、画像処理に関する知識をシステムにあらかじめ組み込み、知識に基づいた推論やユーザとの対話形式によるやりとりで、画像処理方法の選択や処理に付随するパラメータの調整を行う技術であるが、この方法では対象に依存しない広範囲な応用を目的とした場合や、現在まで確立されていない新しい分野への応用を考えた場合、蓄えられた知識では表現しきれない処理手順が存在するため対処できないという欠点がある。
【０００７】
また、特定分野の画像処理をチューニングするニューラルネットワークという方法があり、このニューラルネットワークは脳の神経回路をモデルとして、最適化や学習を行う手法であり、神経細胞（ニューロン）をモデル化したユニットを多数接続し、ネットワークを構成する。各ユニットには他の複数のユニットからの出力信号の値に結合の重みを掛けた値の和を入力し、ニューロンモデルで定義された関数により出力値を決定する。関数の代表例としては閾値関数やシグモイド関数と呼ばれる関数が使用される。
【０００８】
ニューラルネットワークの画像への応用として、原画像から何らかの方法で画像を処理して、濃度の統計量等の特徴量を抽出し、これをニューラルネットワークに付与することで、画像処理を学習・最適化させる方法が用いられている。
【０００９】
しかし、未知の画像へのニューラルネットワークの適用には、入力するための特徴量の選定、最適化の方法などにより、画像処理能力が左右されることから、画像処理及びニューラルネットワークの専門的知識・経験が必要とされる。したがって、好ましい画像処理の結果が得られなければ、目的とする画像処理が行われるまで、特徴量の選定及び最適化の方法の検討を繰り返す必要がある。
【００１０】
すなわち、文字列抽出する画像に何らかの画像処理を施すアルゴリズムは、膨大に存在し、画像処理手法、そのデータベースの活用、又はそのデータを学習させるために、その中から適切なものを選択し、組み合わせ、更には修正を行うなどの試行錯誤が必要となり、画像処理の専門的な知識・経験及び組み合わせの最適化のために多大な時間と労力を必要とする。
【００１１】
以上の問題を鑑み、生物の進化の過程を模倣した最適化手法の１つである遺伝的アルゴリズム（ＧＡ：Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）をもとに考案された遺伝的プログラミング（ＧＰ：Ｇｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）を画像処理に適用したツリー構造状画像変換自動生成法（ＡＣＴＩＴ：Ａｕｔｏｍａｔｉｃ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｔｒｅｅ−ｓｔｒｕｃｔｕｒａｌ Ｉｍａｇｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ；情報メディア学会誌５３，６，ｐｐ８８８−８９４（１９９９））を印刷物の文字列抽出方法に用いることにする。
【００１２】
この手法は、予め用意した複数の画像変換処理フィルタを任意の形のツリー構造状に組み合わせることによって、入力画像から出力画像への画像変換処理を実現するものである（図６）。なお、該手法は、１つ又は複数の入力手段と、１つの出力手段を持つ画像変換処理フィルタＦｎを用いる。処理される画像はツリー構造における全ての葉ノード１（終端）より入力され、フィルタの組み合わせにより異なった処理を受ける。それらは画像変換処理により順次合成され、最終的に一つの画像となって出力される。フィルタの組み合わせにより、領域や目的毎に異なった処理を施し、それらの結果を適宜合成するような複雑な画像変換処理を構築することが可能となる。
【００１３】
ツリー構造は処理対象となる画像群の中から目標の特徴を捉えたいくつかの原画像とそれらに対する理想的な処理結果である目標画像を用意し、ツリー構造が表す画像変換に原画像を入力したときの出力画像が目標画像と同様になるように遺伝的プログラミング（ＧＰ）の手法を用いて最適化を行う。こうして目的とする画像変換が自動的に得られ、一度構築された画像変換は、原画像と同じ特徴をもつ画像が入力されたときには目標画像が与えられなくても目的とする処理を実行する。
【００１４】
遺伝的アルゴリズム（ＧＡ）は、解こうとしている問題の解を染色体と呼ばれる記号列表現に変換し、これらの染色体の集団に遺伝的操作と呼ばれる記号列表現に変換し、これらの染色体の集団に遺伝的操作と呼ばれる演算を繰り返し行うことにより、染色体の集団を少しずつ変更して最適解あるいは最適解に匹敵する解を求める確率的な演算手法である。
【００１５】
ＧＡでは生物の遺伝子コードを最適化問題の解として１次元配列の文字列で表現し、それぞれ異なる遺伝子コード（図７）を持つ個体集団が適者生存に基づく淘汰・増殖を繰り返すことで、与えられた問題に対する適応度は世代を重ねるごとに上がってゆく。各個体は適応度関数を用いて計算された適応度を持ち、一般的に問題の解に近いほど適応度が高くなり、適応度が高い個体ほど次の世代に生き残る確率が高くなる。
【００１６】
ＧＡを適用し個体集団を十分に進化させた後、集団中で最も適応度の高い個体が持つ遺伝子コードをその問題の最適解とする（図８）。
【００１７】
一方、遺伝的プログラミング（ＧＰ）は基本的な動作部分はＧＡと同じであるが、ＧＡにおいて１次元の文字列で表される遺伝子コードをツリー構造状にすることによって、プログラムなどの最適化をより効率的に行えるように拡張した手法である。各個体の遺伝子コードを表すツリーは、ユーザが設定した終端記号と非終端記号から構成される。葉ノードとなるのが終端記号で、内部ノードとなるのが非終端記号である。ＧＡ・ＧＰの基本的な処理の流れは以下のとおりである（図９）。
（１）初期の個体集団をランダムに作成し、各個体の適応度を評価する。
（２）個体の複製のために親集合を選択する。
（３）親集合から交叉、突然変異によって子集合を生成する。
（４）生成した子集合の適応度を評価する。
（５）親集合と子集合より生存する個体を選択し新しい集団とする。
（６）（２）〜（４）を繰り返す。
【００１８】
初期個体の生成は次に示す規則に基づいて行う。ツリーのルートノードには必ず非終端記号を生成し、それ以降は各ノードが終端記号である確率をｐｔ、非終端記号である確率を数式１として生成する。
【００１９】
【数式１】
非終端記号が生成されたときに１入力フィルタである確率をｐ１、２入力フィルタである確率を数式２とし、１個体あたりの非終端記号すなわちフィルタの総数の期待値をｎｆとすると、１個体あたりのフィルタ総数の期待値ｎｔは数式３となり、終端記号の生成確率ｐｔは数式４となる。
【００２１】
【数式２】
【数式３】
【数式４】
ただし、フィルタの数が上限数ｎｍａｘに達した場合は無条件で終端記号を生成する。また、生成したツリー構造に含まれるフィルタの数が初期個体の下限数ｎｍｉｎ未満であった場合には、もう一度そのツリー構造を生成しなおす。フィルタの上限数ｎｍａｘ、フィルタの数の期待値ｎｆ、フィルタの下限数ｎｍｉｎ、１入力フィルタ生成確率ｐ１はＡＣＴＩＴ実行時にパラメータとして与える。
【００２５】
交叉、突然変異はＧＰでは各個体を表すツリー構造に対して適用する。ツリー構造に対する交叉（図１０）は、親２個体それぞれの全ノードからランダムに選択し、任意のノード以下の部分ツリーを交換することによって行う。いずれかの個体のフィルタ数が０になるかｎｍａｘを超えた場合にはもう一度交叉をやり直す。交叉後ｂに各個体を突然変異率Ｐｍｕｔの確率で突然変異させる（図１１）。突然変異は個体の全ノードからランダムに１つを選択し、書き換えｄ、挿入ｅ、又は削除ｆという３つの方法のうち１つを等確率で選択し実行する。ただし選択されたノードが終端ノード１である場合には、削除ｆ以外のどちらか一方を等確率で選択して実行する。新しいノードを生成する場合は終端記号の生成確率ｐｔを用いる。突然変異の結果、個体のフィルタ数が０になるかｎｍａｘを超えた場合には、もう一度突然変異をやり直す。ここで示した突然変異率Ｐｍｕｔも他のパラメータ同様ＡＣＴＩＴ実行時に与える。
【００２６】
適応度評価のために数式５の関数を用いる。
【００２７】
【数式５】
適応度は出力画像と目標画像との重み付けした距離を正規化し、画像の全セットでの平均をとることによって求める。ここで，｛ｏｋ（ｉ，ｊ）｝は原画像にツリー構造状画像変換を適用することで得られた出力画像、｛ｔｋ（ｉ，ｊ）｝は目標画像、｛ｗｋ（ｉ，ｊ）｝は重み画像である。重み画像とは、各目標画像の画素ごとの達成希望度をあらわすものであり、値が大きいほど出力が目標画像と一致することが望まれる。また、各画像はｉ，ｊ方向の画素数をＷ、Ｈとし、各画素は０からＶｍａｘまでの整数値をとるものとする。原画像・目標画像・重み画像の組は複数用意することができ、そのセット数をＫとする。適応度は０から１までの値をとり、出力画像が目標画像に類似しているほど大きな値をとり、完全に一致すれば１となる。
【００２９】
ＡＣＴＩＴは複数の画像を入力して１つの画像を出力する変換について、任意の画像変換を自動構築することから、カラー画像を処理する際には個体の遺伝子コードがとる終端記号の種類をカラー画像のＨＳＶ（Ｈｕｅ：色相、Ｓａｔｕｒａｔｉｏｎ：彩度、Ｖａｌｕｅ：明度）、ＲＧＢ（Ｒｅｄ：赤、Ｇｒｅｅｎ：緑、Ｂｌｕｅ：青）などの表色系へと変換した各チャンネルとすることによって、カラー画像から階調画像への画像変換の構築が可能となる。
【００３０】
以上詳述したツリー構造状画像変換自動生成法（ＡＣＴＩＴ）を用いた方法として印刷物の不良欠点抽出方法及び装置があり、従来の画像処理技術では抽出及び画像処理生成が困難である印刷物との濃度差がほとんどなく、肉眼では検出が困難な印刷物の不良欠点部分の画像抽出処理において、ＡＣＴＩＴを使用するとともに、これを印刷物の不良欠点抽出処理に特化し、より抽出精度を高めるための階調画像の追加及びそれらを比較演算処理するための画像変換処理フィルタの導入により、未知のどのような印刷物の不良欠点であっても、容易かつ的確に抽出できる方法及び装置（例えば、特許文献４参照。）がある。
【００３１】
この方法は、対象物の不良欠点の抽出処理を行うに当たっては何ら問題なかったが、印刷物に付与された番号などの文字は面積が小さく幅が狭いため、文字の輪郭を正確に認識することが必要となるが、文字の消失や欠けに対して十分な結果を得ることが困難な状況であった。
【００３２】
【特許文献１】
特開平５−２６６２５１号公報
【特許文献２】
特開平６−４４４０４号公報
【特許文献３】
特開平８−９６１３６号公報
【特許文献４】
特開２００２−３６６９２９号公報
【００３３】
【発明が解決しようとする課題】
以上詳述したように、これまでの文字抽出処理では、背景模様との重なりがない文字列や背景模様と文字列の濃度や色彩が異なる画像については、かなりの精度で抽出が可能となるが、模様と文字列が重なり、さらに模様と文字列が濃度差がほとんどない同系色で印刷されている場合には文字列を抽出できないという問題があった。
【００３４】
本発明は、係る問題を解決するためになされたものであり、従来の画像処理技術では抽出及び画像処理生成が困難である模様との濃度差がほとんどなく、抽出できなかった印刷物の文字列部分の画像抽出処理において、ＡＣＴＩＴを使用することにより、画像変換処理フィルタ列を表すツリー構造の最適化を行うことにより目的の画像を得るとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した画像処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ正確に抽出し、印刷物の製造工程または流通段階で容易かつ正確に、正誤判定、真偽判別する装置を提供するものである。
【００３５】
【課題を解決するための手段】
本発明の印刷物の文字列抽出処理装置は、印刷物の画像データを取り込むデータ入力手段と、前記画像データから印刷物の文字列を抽出するための画像変換処理フィルタを指定し、前記画像変換処理フィルタを最適化するためのパラメータを設定するデータ設定手段と、前記画像データを階調画像に変換し、前記パラメータ設定値と前記画像変換処理フィルタにより、印刷物の文字列を抽出する画像変換処理手順を自動構築し、前記印刷物の文字列を抽出処理して、前記印刷物の文字列の認証により正誤又は真偽を判別するデータ処理手段と、前記パラメータ設定値、前記画像データ、及び前記画像変換処理手順を記憶するデータ記憶手段と、前記画像変換処理手順及び前記印刷物の文字列を抽出した画像を出力・表示するデータ出力手段とからなる印刷物の文字列抽出処理装置において、前記入力画像データが印刷物の文字列を含む画像データ及び前記画像データから前記印刷物の文字列のみを抽出した教師画像データで構成され、前記データ処理手段の画像変換処理手順の自動構築処理手順は、遺伝的アルゴリズムを画像処理に適用した遺伝的プログラミングで画像変換処理フィルタのツリー構造状組み合わせを最適化処理することで、前記画像変換処理手順を自動構築することを特徴としている。
【００３６】
また、本発明の印刷物の文字列抽出処理装置の前記ツリー構造状画像変換の自動生成手段において、印刷物の文字列を含む前記画像データ、前記画像データから前記印刷物の文字列のみを抽出した前記教師画像データからなる標準画像セットデータに、適応度評価の度合いを表現した重み画像データを加えることを特徴としている。
【００３７】
また、本発明の印刷物の文字列抽出処理装置の前記パラメータ設定手段において、任意の画像変換処理フィルタの組み合わせであるツリー構造を一個体として、その複数個体に遺伝的プログラミングを用いることで個体数を定義する個体集団数、一個体当たりの画像変換処理フィルタ数の最大値、前記ツリー構造状画像変換の自動生成手段における遺伝的プログラミング処理の交叉確率・突然変異率、及び世代交代の上限数とからなることを特徴としている。
【００３８】
また、本発明の印刷物の文字列抽出処理装置において、前記印刷された印刷物の画像データを前記データ入力手段で入力し、前記画像データを前記階調画像変換処理手段で階調画像変換処理を施し、前記階調画像変換処理データを基に、前記文字列抽出処理手段で印刷物の文字列を抽出し、前記抽出した印刷物の文字列抽出画像データを前記画像データ記憶手段に記憶保存すると共に、前記印刷物の文字列抽出画像データを出力・表示することを特徴としている。
【００３９】
また、本発明の印刷物の文字列抽出処理装置において、前記印刷物の文字列抽出処理手段により、前記印刷物から印刷物の文字列抽出画像データを抽出し、前記データ処理手段の記番号認証処理手段により認証に成功した場合は真の印刷物と判断し、又は前記データ処理手段の記番号認証処理手段により認証に失敗した場合は偽の印刷物と判断することを特徴としている。
【００４０】
なお、本発明の印刷物の文字列抽出手段により抽出する印刷物は、有価証券類であることを特徴としている。
【００４１】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。（第１の実施形態）図１は、本実施形態における文字列抽出装置の構成図であり、この構成図を基に、印刷物の文字列抽出方法における画像データの入力から文字列の真偽を判断するまでを、図２及び図３のフローチャートを参照して説明する。
【００４２】
まず、標準画像セットとしての教師画像セットをデータ入力部Ａに入力（Ｓ１）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ２）を施し、データ設定部Ｂの画像変換処理フィルタ設定部Ｂ２において、データ処理部ＤのＡＣＴＩＴ処理Ｄ２で使用する画像変換処理フィルタを指定（Ｓ３）する。この時、文字を確実に認識させるために、対象となる画像（原画像）を左右２分割し、それぞれのヒストグラムを作成して、画像の左半分、右半分の２値化した閾値を個々に算出する。また、データ設定部Ｂのパラメータ設定部Ｂ１では、ＡＣＴＩＴのパラメータを設定（Ｓ４）し、初期個体集団をランダムに生成（Ｓ５）し、適応度の評価（Ｓ６）を行う。
【００４３】
前記の適応度評価により親集団をランダムに選択（Ｓ７）し、データ処理部Ｄの最適化処理部Ｄ２１で交叉するものをランダムに選択（Ｓ８）し、選択されたものは交叉（Ｓ９）を開始し、一個体当たりの画像処理フィルタ数ｎが０（Ｓ１０）になるともう一度交叉（Ｓ９）をやり直し、画像処理フィルタ数が０ではなく最大値ｎｍａｘ（Ｓ１１）に達した場合も交叉（Ｓ９）をやり直す。
【００４４】
一個体当たりの画像処理フィルタ数ｎが０＜ｎ＜ｎｍａｘの範囲内で処理されたもの、及び前記データ処理部Ｄの最適化処理部Ｄ２１で交叉の処理が成されていないもの（Ｓ８）は、突然変異率で確率的に選択（Ｓ１２）されて突然変異処理の書き換え（Ｓ１２ａ）、挿入（Ｓ１２ｂ）、又は削除（Ｓ１２ｃ）の処理を行い、画像変換処理手順、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。なお、（Ｓ１２）で突然変異処理が成されていないものについても、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。
【００４５】
前記画像変換処理手順による画像変換処理の適応度をデータ処理部Ｄの適応度評価部Ｄ２２で評価（Ｓ１４）し、適応度が１になるか、若しくは適応度が１とはならなくても目標とする画像処理が達成された場合、画像変換処理手順は最適化されているものと判断され、その手順をデータ記憶部Ｃの画像変換処理手順記憶部Ｃ３に記憶保存（Ｓ１７）する。また、適応度が１に等しくなく、かつ、世代交代数が上限値（Ｓ１５）に達した場合も画像変換処理手順は最適化されているものと判断され、同様の手順で処理される。
【００４６】
適応度が１（Ｓ１４）に等しくなく、かつ、世代交代数も上限値（Ｓ１５）に達しない場合は、親集団及び子集団より次世代生存個体を適応度に応じて選択（Ｓ１６）し、親集団のランダム選択工程（Ｓ７）に戻り前記工程を繰り返す。
【００４７】
最適化処理の出力画像において、文字の消失／欠けが発生しても、最適化の途中段階では文字が消失していない場合があるので、データ記憶部に文字列の書体をあらかじめ記憶させ、最適化中の木構造内の画像に対して、文字列の書体情報とパターンマッチングさせることにより、文字列の個々の文字を順次認識させることで、最適化終了後の出力画像で消失／欠けが発生している文字の認識率を上昇させ、認識精度を向上させるようにしている。
【００４８】
次に、未知の文字列を含む印刷物の対象画像をデータ入力部Ａに入力（Ｓ１８）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ１９）を行い、前記処理で得られた最適化画像変換処理により文字列の抽出処理（Ｓ２０）を行い、抽出された文字列の認識処理（Ｓ２１）をデータ処理部Ｄの文字列認識処理部Ｄ４で行い、次に認識された文字列の認証処理（Ｓ２２）をデータ処理部Ｄの文字列認証処理部Ｄ５で行い、認証が成功した場合は真の印刷物と判断（Ｓ２３）し、そうでない場合は偽の印刷物と判断（Ｓ２４）する。
【００４９】
次に、本発明に係る他の実施形態について、図面を参照して詳細に説明する。
（第２の実施形態） 前記した図１の文字列抽出装置の構成図を基に、印刷物の文字列抽出方法における画像データの入力から文字列の正誤を判断するまでを、図４及び図５のフローチャートを参照して説明する。
【００５０】
まず、標準画像セットとしての教師画像セットをデータ入力部Ａに入力（Ｓ１）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ２）を施し、データ設定部Ｂの画像変換処理フィルタ設定部Ｂ２において、データ処理部ＤのＡＣＴＩＴ処理Ｄ２で使用する画像変換処理フィルタを指定（Ｓ３）する。データ設定部Ｂのパラメータ設定部Ｂ１では、ＡＣＴＩＴのパラメータを設定（Ｓ４）し、初期個体集団をランダムに生成（Ｓ５）し、適応度の評価（Ｓ６）を行う。
【００５１】
前記の適応度評価により親集団をランダムに選択（Ｓ７）し、データ処理部Ｄの最適化処理部Ｄ２１で交叉するものをランダムに選択（Ｓ８）し、選択されたものは交叉（Ｓ９）を開始し、一個体当たりの画像処理フィルタ数ｎが０（Ｓ１０）になるともう一度交叉（Ｓ９）をやり直し、画像処理フィルタ数が０ではなく最大値ｎｍａｘ（Ｓ１１）に達した場合も交叉（Ｓ９）をやり直す。
【００５２】
一個体当たりの画像処理フィルタ数ｎが０＜ｎ＜ｎｍａｘの範囲内で処理されたもの、及び前記データ処理部Ｄの最適化処理部Ｄ２１で交叉の処理が成されていないもの（Ｓ８）は、突然変異率で確率的に選択（Ｓ１２）されて突然変異処理の書き換え（Ｓ１２ａ）、挿入（Ｓ１２ｂ）、又は削除（Ｓ１２ｃ）の処理を行い、画像変換処理手順、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。なお、（Ｓ１２）で突然変異処理が成されていないものについても、個体集団データ及び処理後の各種パラメータを記憶保存（Ｓ１３）する。
【００５３】
前記画像変換処理手順による画像変換処理の適応度をデータ処理部Ｄの適応度評価部Ｄ２２で評価（Ｓ１４）し、適応度が１になるか、若しくは適応度が１とはならなくても目標とする画像処理が達成された場合、画像変換処理手順は最適化されているものと判断され、その手順をデータ記憶部Ｃの画像変換処理手順記憶部Ｃ３に記憶保存（Ｓ１７）する。また、適応度が１に等しくなく、かつ、世代交代数が上限値（Ｓ１５）に達した場合も画像変換処理手順は最適化されているものと判断され、同様の手順で処理される。
【００５４】
適応度が１（Ｓ１４）に等しくなく、かつ、世代交代数も上限値（Ｓ１５）に達しない場合は、親集団及び子集団より次世代生存個体を適応度に応じて選択（Ｓ１）し、親集団のランダム選択工程（Ｓ７）に戻り前記工程を繰り返す。
【００５５】
次に、未知の文字列を含む印刷物の対象画像をデータ入力部Ａに入力（Ｓ１８）し、指定文字列をデータ入力部 Ａに入力（Ｓ２２）し、データ処理部Ｄの階調画像変換処理部Ｄ１で階調画像変換処理（Ｓ１９）を行い、前記処理で得られた最適化画像変換処理により文字列抽出処理（Ｓ２０）を行い、文字列の認識処理（Ｓ２１）をデータ処理部Ｄの文字列認識処理部Ｄ４で行い、前記入力（Ｓ２２）した指定文字列と前記認識した文字列の正誤処理（Ｓ２３）をデータ処理部Ｄの文字列正誤判定部Ｄ６で行い、一致した場合は正常処理と判断（Ｓ２４）し、一致しなかった場合は異常処理と判断（Ｓ２５）する。
【００５６】
次に、本発明を実施例により、図面を参照して詳細に説明する。（実施例）印刷物の文字抽出方法について、前記した図１の文字列抽出装置の構成図を基に、図１２に示す本発明に係る入力画像である原画像、教師画像、重み画像、及び未知の文字列を抽出した画像を示す図を用いて説明する。
【００５７】
本実施例で用いる印刷物の画像としては、印刷物に付与されている記番号を用いる。まず、原画像１、教師画像２、及び重み画像３からなる画像群を用意する。原画像１は、印刷物の記番号周辺の領域を切り出し作成する。教師画像２は選択した原画像１から、期待する画像変換処理の結果となる画像を作成する。教師画像は白地に記番号を配置した画像とし、記番号は黒とする。また、必要であれば適応度評価の重みを表現した重み画像３を作成する。白い領域が重み付けをする記番号領域である。原画像１、教師画像２、及び重み画像３の標準画像セットをデータ処理部Ｄの階調画像変換処理部Ｄ１で階調画像に変換する。
【００５８】
次に、ＡＣＴＩＴの遺伝的プログラミング（ＧＰ）の最適化処理で用いる各パラメータをデータ設定部Ｂのパラメータ設定部Ｂ１で設定し、標準画像セットをＡＣＴＩＴで処理する。遺伝的プログラミング（ＧＰ）によるツリー構造状画像変換の最適化処理Ｄ２１が行われ、適応度が最大値の１となった時、又は設定した世代数が全て終了した時点で処理は終わり、出力されるものとして最大適応度を持つ最適化画像変換処理手順が得られる。
【００５９】
続いて、上記で得られた最適化画像変換処理手順を基にして、印刷物の機械処理装置に搭載されたラインセンサで印刷物を読み込み、本発明の方法により未知の文字列を含む印刷物の画像から未知の文字列４を抽出して認識と認証を行い、認証に成功した印刷物を真なる印刷物と判断して受理し、認証に失敗した印刷物を偽の印刷物と判断して返却を行う。
【００６０】
以上、一般的な印刷物について詳述したが、例えば印刷物が銀行券の場合は、原画像として銀行券の記番号周辺の領域を、その記番号の全桁を含んで切り出して用い、同様の操作を行えば良い。
【００６１】
【発明の効果】
本発明では、文字列を抽出する処理を自動構築でき、原画像、及び教師画像を設定する簡単な作業で済むので画像処理に関する経験・知識をほとんど必要としない。
【００６２】
また、従来は抽出できない文字列に対しても新たに特殊なフィルタを追加することにより処理を容易に短時間に構築でき、人間では考え付くことができない処理手順を探索することが出来る。
【００６３】
また、事前に用意するフィルタの種類や適用順序に関する制限を必要としないため、画像処理の知識に基づく処理手順の制限、又はシステムとの対話によるユーザへの負担が解消される。
【００６４】
また、画像処理フィルタ列をあらわすツリー構造の最適化を行うことにより目的の画像を得られることから、特徴量の抽出やニューラルネットワークの最適化のための試行錯誤を必要としないし、知識データベースを必要としないので未知画像への対応も容易に可能である。
【００６５】
また、従来の画像処理技術では抽出及び画像処理生成が困難である印刷物の文字列部分の画像抽出処理において、ＡＣＴＩＴを使用するとともに、これを印刷物の文字列抽出処理に特化し、より抽出精度を高めるための閾値算出方法を変更した２値化画像変換処理フィルタの導入により、未知のどのような印刷物の文字列であっても、容易かつ正確に抽出することが可能である。
【図面の簡単な説明】
【図１】本発明に係る一実施形態における印刷物の文字列抽出処理装置の構成図である。
【図２】本実施形態１における印刷物の文字列抽出処理方法における画像データの入力から画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存するまでのフローチャートである。
【図３】本実施形態１における印刷物の文字列抽出処理方法における画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存から文字列の真偽を判断するまでのフローチャートである。
【図４】本実施形態２における印刷物の文字列抽出処理方法における画像データの入力から画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存するまでのフローチャートである。
【図５】本実施形態２における印刷物の文字列抽出処理方法における画像変換処理手順及び個体集団データ及び処理後の各種パラメータを記憶保存から文字列の正誤を判断するまでのフローチャートである。
【図６】ツリー構造状に組み合わされた画像処理フィルタを示す図である。
【図７】遺伝的アルゴリズムの遺伝子コードを示す図である。
【図８】遺伝的プログラミングの最適化処理における世代数と適応度の関係を示す図である。
【図９】遺伝的プログラミングの基本的な流れを示す図である。
【図１０】遺伝的プログラミングの最適化処理のうち、交叉を示す図である。
【図１１】遺伝的プログラミングの最適化処理のうち、突然変異を示す図である。
【図１２】本実施例における入力画像である原画像、教師画像、重み画像、及び未知の文字列を抽出した画像を示す図である。
【符号の説明】
１ 葉ノード（終端）
Ｆｎ 画像処理フィルタ（非終端）
ａ 交叉前のツリー構造
ｂ 交叉後のツリー構造
ｃ 突然変異前のツリー構造
ｄ 書き換え後のツリー構造
ｅ 挿入後のツリー構造
ｆ 削除後のツリー構造
２ 基本画像（有価証券）
３ 印刷物の文字列
４ 画像
５ 教師画像
６ 未知の画像
７ 未知の文字列抽出画像
Claims (8)
- 印刷物の画像データを取り込むデータ入力手段と、
前記画像データから印刷物の文字列を抽出するための画像変換処理フィルタを指定し、前記画像変換処理フィルタを最適化するためのパラメータを設定するデータ設定手段と、
前記画像データを階調画像に変換し、前記パラメータ設定値と前記画像変換処理フィルタにより、印刷物の文字列を抽出する画像変換処理手順を自動構築し、前記印刷物の文字列を抽出処理して、前記印刷物の文字列の認証により正誤又は真偽を判別するデータ処理手段と、
前記パラメータ設定値、前記画像データ、及び前記画像変換処理手順を記憶するデータ記憶手段と、
前記画像変換処理手順及び前記印刷物の文字列を抽出した画像を出力・表示するデータ出力手段とからなる印刷物の文字列抽出処理装置において、
前記入力画像データが印刷物の文字列を含む画像データ及び前記画像データから前記印刷物の文字列のみを抽出した教師画像データで構成され、
前記データ処理手段の画像変換処理手順の自動構築処理手順は、遺伝的アルゴリズムを画像処理に適用した遺伝的プログラミングで画像変換処理フィルタのツリー構造状組み合わせを最適化処理することで、前記画像変換処理手順を自動構築することを特徴とする印刷物の文字列抽出処理装置。 - 前記印刷物の文字列を抽出するための画像変換処理フィルタにおいて、抽出した画像データを複数に分割し、それぞれのヒストグラムを作成して、分割した複数の画像ごとの２値化した閾値を個々に算出させるフィルタを組み込んだことを特徴とする請求項１記載の印刷物の文字列抽出処理装置。
- 前記データ処理手段の遺伝的アルゴリズムのデータ記憶部に、文字列の画像データをあらかじめ記憶させ、最適化中の木構造内の画像に対して、文字列の画像情報とパターンマッチングさせることにより、文字列の個々の文字を順次認識させることを特徴とする請求項１又は２記載の印刷物の文字列抽出処理装置。
- 前記ツリー構造状画像変換の自動生成手段において、印刷物の文字列を含む前記画像データ、前記画像データから前記印刷物の文字列のみを抽出した前記教師画像データからなる標準画像セットデータに、適応度評価の度合いを表現した重み画像データを加えることを特徴とする請求項１、２又は３記載の印刷物の文字列抽出処理装置。
- 前記パラメータ設定手段において、任意の画像変換処理フィルタの組み合わせであるツリー構造を一個体として、その複数個体に遺伝的プログラミングを用いることで個体数を定義する個体集団数、一個体当たりの画像変換処理フィルタ数の最大値、前記ツリー構造状画像変換の自動生成手段における遺伝的プログラミング処理の交叉確率・突然変異率、及び世代交代の上限数とからなることを特徴とする請求項１、２，３又は４記載の印刷物の文字列抽出処理装置。
- 前記印刷された印刷物の画像データを前記データ入力手段で入力し、前記画像データを前記階調画像変換処理手段で階調画像変換処理を施し、前記階調画像変換処理データを基に、前記文字列抽出処理手段で印刷物の文字列を抽出し、前記抽出した印刷物の文字列抽出画像データを前記画像データ記憶手段に記憶保存すると共に、前記印刷物の文字列抽出画像データを出力・表示することを特徴とする請求項１、２、３，４又は５記載の印刷物の文字列抽出処理装置。
- 前記印刷物の文字列抽出処理手段により、前記印刷物から印刷物の文字列抽出画像データを抽出し、前記データ処理手段の記番号認証処理手段により認証に成功した場合は真の印刷物と判断し、又は前記データ処理手段の記番号認証処理手段により認証に失敗した場合は偽の印刷物と判断することを特徴とする請求項１、２、３、４，５又は６記載の印刷物の文字列抽出処理装置。
- 前記印刷物は有価証券類であることを特徴とする請求項１、２、３、４、５、６又は７記載の印刷物の文字列抽出処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003162540A JP4320438B2 (ja) | 2003-06-06 | 2003-06-06 | 印刷物の文字列抽出処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003162540A JP4320438B2 (ja) | 2003-06-06 | 2003-06-06 | 印刷物の文字列抽出処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004362440A true JP2004362440A (ja) | 2004-12-24 |
| JP4320438B2 JP4320438B2 (ja) | 2009-08-26 |
Family
ID=34054662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003162540A Expired - Fee Related JP4320438B2 (ja) | 2003-06-06 | 2003-06-06 | 印刷物の文字列抽出処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4320438B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007013425A1 (ja) * | 2005-07-26 | 2007-02-01 | National University Corporation Hokkaido University | 画像処理自動構成装置 |
| JP2007279967A (ja) * | 2006-04-05 | 2007-10-25 | Fuji Heavy Ind Ltd | 画像処理装置 |
| JP2008197867A (ja) * | 2007-02-13 | 2008-08-28 | Yokohama National Univ | 進化計算システム及び進化計算方法 |
| JP2011176736A (ja) * | 2010-02-25 | 2011-09-08 | Toshiba Corp | 監視装置 |
| KR101149843B1 (ko) | 2009-10-08 | 2012-05-24 | 주식회사 카스모아이티 | 유가증권의 일련번호 인식방법 |
| GB2485833A (en) * | 2010-11-26 | 2012-05-30 | S3 Res & Dev Ltd | Improved OCR Using Configurable Filtering for Analysing Set Top Boxes |
| JP2019159956A (ja) * | 2018-03-14 | 2019-09-19 | オムロン株式会社 | ニューラルネットワーク型画像処理装置 |
| WO2020067204A1 (ja) * | 2018-09-27 | 2020-04-02 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011148285A (ja) | 2009-12-25 | 2011-08-04 | Fujifilm Corp | レンチキュラーレンズを有する感熱転写受像シートを用いた画像形成方法 |
-
2003
- 2003-06-06 JP JP2003162540A patent/JP4320438B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007013425A1 (ja) * | 2005-07-26 | 2007-02-01 | National University Corporation Hokkaido University | 画像処理自動構成装置 |
| JP2007279967A (ja) * | 2006-04-05 | 2007-10-25 | Fuji Heavy Ind Ltd | 画像処理装置 |
| JP2008197867A (ja) * | 2007-02-13 | 2008-08-28 | Yokohama National Univ | 進化計算システム及び進化計算方法 |
| KR101149843B1 (ko) | 2009-10-08 | 2012-05-24 | 주식회사 카스모아이티 | 유가증권의 일련번호 인식방법 |
| JP2011176736A (ja) * | 2010-02-25 | 2011-09-08 | Toshiba Corp | 監視装置 |
| GB2485833A (en) * | 2010-11-26 | 2012-05-30 | S3 Res & Dev Ltd | Improved OCR Using Configurable Filtering for Analysing Set Top Boxes |
| JP2019159956A (ja) * | 2018-03-14 | 2019-09-19 | オムロン株式会社 | ニューラルネットワーク型画像処理装置 |
| WO2019176479A1 (ja) * | 2018-03-14 | 2019-09-19 | オムロン株式会社 | ニューラルネットワーク型画像処理装置 |
| US11361424B2 (en) | 2018-03-14 | 2022-06-14 | Omron Corporation | Neural network-type image processing device, appearance inspection apparatus and appearance inspection method |
| WO2020067204A1 (ja) * | 2018-09-27 | 2020-04-02 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4320438B2 (ja) | 2009-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Machado et al. | Experiments in computational aesthetics: An iterative approach to stylistic change in evolutionary art | |
| CN110008680B (zh) | 基于对抗样本的验证码生成系统及方法 | |
| CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN108229490A (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
| CN111651762A (zh) | 一种基于卷积神经网络的pe恶意软件检测方法 | |
| CN109801225B (zh) | 基于多任务全卷积神经网络的人脸网纹污迹去除方法 | |
| CN111627080B (zh) | 基于卷积神经与条件生成对抗性网络的灰度图像上色方法 | |
| JP4320438B2 (ja) | 印刷物の文字列抽出処理装置 | |
| JP2002366929A (ja) | 印刷物の不良欠点抽出処理方法及び装置 | |
| WO2023116565A1 (zh) | 智能设计网络安全架构图的方法 | |
| Hashim | A Scheme to Passcode Generation | |
| Zhao et al. | A transferable anti-forensic attack on forensic CNNs using a generative adversarial network | |
| Ashlock et al. | Fingerprinting: Visualization and automatic analysis of prisoner's dilemma strategies | |
| CN106951912A (zh) | 一种果蔬外观变化识别模型的建立方法和识别方法 | |
| CN112560034B (zh) | 基于反馈式深度对抗网络的恶意代码样本合成方法及装置 | |
| EP4040349A1 (en) | Device and method for training object analysis model on basis of data augmentation | |
| CN109902751A (zh) | 一种融合卷积神经网络和半字模板匹配的表盘数字字符识别方法 | |
| Islam et al. | An approach to evaluate classifiers for automatic disease detection and classification of plant leaf | |
| Kohmura et al. | Determining optimal filters for binarization of degraded characters in color using genetic algorithms | |
| CN114495135A (zh) | 票据识别方法及装置 | |
| CN113052230A (zh) | 一种基于解纠缠网络的服装图像生成系统和方法 | |
| Otobe et al. | Image processing and interactive selection with Java based on genetic algorithms | |
| Greenfield | On the co-evolution of evolving expressions | |
| CN117690178B (zh) | 一种基于计算机视觉的人脸图像识别方法与系统 | |
| Zhao | Understanding New Threats Against Digital Forensics and Computer Vision Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090514 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090514 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |