JP2014130415A - 文字認識装置、文字認識方法、及び文字認識プログラム - Google Patents

Abstract

【課題】文字認識の性能を左右する閾値を設定することなく、文字境界部分の状態にかかわりなく文字の境界位置を高い精度で的確に決定することが可能な文字認識装置、文字認識方法、及び文字認識プログラムを提供する。
【解決手段】文字認識装置１０は、撮像素子１１と、画像メモリ１２と、文字切り出し部１３３と、を有し、文字切り出し部１３３は、画像データにおいて文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて画像データにおける最小輝度曲線を作成する最小輝度曲線作成部１３３１と、作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出部１３３２と、検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理部１３３３と、を備えている。
【選択図】図１

Description

本発明は、紙やプラスチック等の情報記録媒体上の文字列を撮像して得られた画像データを処理することによって文字列を認識する文字列認識技術に係り、特に、撮像された画像内の文字列の区切り位置を検索して文字を認識する文字認識装置、文字認識方法、及び文字認識プログラムに関するものである。

従来から、例えば小切手などの媒体表面に印刷された文字列を認識するための装置がある。例えば、二値化された画像データから文字部分を検出して、その文字部分を外接矩形枠に沿って切り出し、得られた文字パターンから特徴量を抽出し、入力パターンの特徴ベクトルと特徴辞書中の文字ごとの基準ベクトルとの類似度を求め、その類似度の大きさにより候補文字を選択する、といった文字認識装置などが知られている。

文字認識装置における文字の切り出しは、画像データの文字列方向への射影データに基づいて、文字列の垂直方向における位置を検出し、これに基づいて、文字列の方向にシフトさせながら、文字列と垂直な方向への画像データの射影を計算し、得られた射影データが所定の閾値を超えた箇所を、文字列に含まれる文字の区切り位置として検出している。

出願人は、画像データからの文字の切り出しにおいて、文字列の方向への画像データの水平射影データに基づいて、文字列の方向と直交する垂直方向における文字列の位置を検出し、これに基づいて、文字列の方向にシフトさせながら、垂直方向への画像データの垂直射影を計算し、これにより得られた垂直射影データが所定の閾値を超えた箇所を、文字列を構成する文字の区切り位置として検出するとともに、所定の閾値には、垂直射影データから検出された文字列の両端間の画素数に応じて決定される第１の閾値と、垂直射影データに含まれる正のピーク値の中から文字列を構成する文字の個数に応じて決定される第２の閾値とのいずれか一方の閾値に基づいて、文字列に含まれる文字の区切り位置を検出する技術を開示している（例えば、特許文献１参照）。

特開２００８-２５０７５４号公報

特許文献１に記載された技術では、初期の閾値（第１の閾値）で検出した文字区切りの正のピーク数が期待するピーク数と一致しない場合に、垂直射影データに含まれる正のピーク値を降順に並べたとき最大のピーク値から数えて文字列を構成する文字数Ｎ＋１番目のピーク値を第２の閾値として文字区切り位置を検索するようにしている。しかし、特許文献１に記載されている技術では、文字列における文字の区切り位置の検出に、正のピーク値と閾値との大小関係を利用するため、閾値をどのように設定するかが問題となることが多い。

情報記録媒体上の文字が鮮明な場合には、ピーク値が明確であるから特許文献１に記載された技術でも正しい文字認識ができる。一方、情報記録媒体上の文字は、文字の先端等がつぶれやノイズなどの影響を受け易いため、文字がぼやけた場合には、閾値のレベルによって文字境界の見逃しやノイズによる文字境界点の誤検出といった問題が生じやすく、従来技術では安定的な認識性能が阻害される恐れがある。このような場合は、正しい文字区切り位置の検出が困難になって、正しい文字認識ができなくなるという問題点がある。

本発明の目的は、文字認識の性能を左右する閾値を設定することなく、文字境界部分の状態にかかわりなく文字の境界位置を高い精度で的確に決定することが可能な文字認識装置、文字認識方法、及び文字認識プログラムを提供することにある。

以上のような課題を解決するために、本発明は、以下のものを提供する。

（１）情報記録媒体上の文字列を撮像する撮像手段と、前記撮像手段で撮像された文字列の画像データを記憶する記憶手段と、前記画像データを処理して前記文字列を形成する文字を切り出す文字切り出し部と、を有する文字認識装置であって、前記文字切り出し部は、前記画像データにおいて前記文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて前記画像データにおける最小輝度曲線を作成する最小輝度曲線作成部と、作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出部と、検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理部と、を備えたことを特徴とする文字認識装置。

本発明によれば、最小輝度曲線作成部は、撮像された文字列の画像データにおける文字画像領域について、画素列を文字列と垂直な方向にスキャンして最小輝度値を求める操作を文字画像領域の左端側の輝度列から右端側の輝度列まで繰り返すことによって最小輝度曲線を求め、この最小輝度曲線に基づいて各文字の文字列方向の境界点を求めるようにしたため、文字区間と、文字と文字との間の空白区間が明確に分離され、正確な文字区切り位置の決定が可能となる。

本発明の文字認識装置は、文字認識の性能を左右する閾値を設定することなく、文字境界部分の状態にかかわりなく文字の境界位置を高い精度で的確に決定することが可能であり、ひいては文字認識性能の向上を図ることが可能となる。

（２）前記文字切り出し部が、基準の文字幅を設定した文字幅設定部を有し、前記最小輝度曲線を前記基準の文字幅と比較して前記基準の文字幅を超えた区間を文字区間として検出する文字区間検出部を備えたことを特徴とする。

本発明によれば、文字と文字との間の空白区間に汚れや、ピンポイントがある場合でも、基準の文字幅を超えた区間を文字区間として検出することにより、このような汚れやピンポイントによる文字区間の誤検出を排除して、文字の境界位置を的確に決定することが可能となる。

（３）前記最小輝度曲線作成部が、２値化された前記画像データに基づいて最小輝度値を検出して最小輝度曲線を作成することを特徴とする。

本発明によれば、２値化された前記画像データは、単純に最小輝度曲線に沿って輝度値＝０（黒）の区間を文字区間とし、輝度値＝２５５（白）の区間を空白区間として判断できるから、多値の画像データを文字切り出し処理するものに比べて文字切り出し処理を高速化することができる。

（４）情報記録媒体上の文字列を撮像して得られた画像データを処理することによって前記文字列を認識する文字認識方法において、前記画像データにおいて前記文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて前記画像データにおける最小輝度曲線を作成する最小輝度曲線作成工程と、作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出工程と、検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理工程と、を有することを特徴とする文字認識方法。

本発明によれば、最小輝度曲線作成工程は、撮像された文字列の画像データにおける文字画像領域について、画素列を文字列と垂直な方向にスキャンして最小輝度値を求める操作を文字画像領域の左端側の輝度列から右端側の輝度列まで繰り返すことによって最小輝度曲線を求め、この最小輝度曲線に基づいて各文字の文字列方向の境界点を求めるようにしたため、文字区間と、文字と文字との間の空白区間が明確に分離され、正確な文字区切り位置の決定が可能となる。

本発明の文字認識方法は、文字認識の性能を左右する閾値を設定することなく、文字境界部分の状態にかかわりなく文字の境界位置を高い精度で的確に決定することが可能であり、ひいては文字認識性能の向上を図ることが可能となる。

（５）情報記録媒体上の文字列を撮像して得られた画像データを処理することによって、前記文字列から各文字を切り出す文字切り出し処理をコンピュータに実行させる文字認識プログラムであって、コンピュータに、前記画像データにおいて前記文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて前記画像データにおける最小輝度曲線を作成する最小輝度曲線作成手順と、作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出手順と、検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理手順と、を実行させるための文字認識プログラム。

本発明によれば、最小輝度曲線作成手順は、撮像された文字列の画像データにおける文字画像領域について、画素列を文字列と垂直な方向にスキャンして最小輝度値を求める操作を文字画像領域の左端側の輝度列から右端側の輝度列まで繰り返すことによって最小輝度曲線を求め、この最小輝度曲線に基づいて各文字の文字列方向の境界点を求めるようにしたため、文字区間と、文字と文字との間の空白区間が明確に分離され、正確な文字区切り位置の決定が可能となる。

本発明の文字認識プログラムは、文字認識の性能を左右する閾値を設定することなく、文字境界部分の状態にかかわりなく文字の境界位置を高い精度で的確に決定することが可能であり、ひいては文字認識性能の向上を図ることが可能となる。

本発明によれば、文字認識の性能を左右する閾値を設定することなく、文字境界部分の状態にかかわりなく文字の境界位置を高い精度で的確に決定することが可能で、ひいては文字認識性能の向上を図ることが可能となる。

本発明の実施形態に係る文字認識装置の構成例を示すブロック図である。 情報記録媒体上に形成されたＯＣＲ文字記録領域に印刷された文字列を撮像したときの画像データの一例を示す図である。 本実施形態に係る文字切り出し部の構成例を示すブロック図である。 本実施形態に係る文字認識装置の動作を説明するためのフローチャートである。 本実施形態に係る文字切り出し部の処理フローを示すフローチャートである。 本実施形態に係る文字切り出し部における最小輝度曲線作成部の処理フローを示すフローチャートである。 本実施形態に係る文字切り出し部における文字区切り位置検出部の処理フローを示すフローチャートである。 本実施形態に係る最小輝度曲線作成部により図２に示す画像データに形成される最小輝度曲線の一例を示す図である。 文字列を構成する文字に着目したときの画像データを示す図である。 本実施形態に係る最小輝度曲線作成部により図１０に示す画像データに形成される最小輝度曲線の一例を示す図である。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、本発明の実施形態に係る文字認識装置の構成例を示すブロック図である。

本実施形態に係る文字認識装置１０は、紙やプラスチック等の情報記録媒体２０上の文字列を撮像して得られた画像データを処理することによって、画像データから切り出した文字列から各文字を切り出して認識する機能を有する。

文字認識装置１０は、画像認識技術に基づいて、撮像画像内の文字列における文字間の区切り位置を検出（検索）する際に、次のような特徴的な処理を行う。
文字認識装置１０は、文字切り出し処理における射影生成に際し、文字が第１方向である横方向すなわちＸ軸方向に並んでいるときはＸ軸への射影を生成し、文字が第１方向に直交する第２方向である縦方向すなわちＹ軸方向に並んでいるときはＹ軸への射影を生成する。以下では、一例として、文字が第１方向である横方向すなわちＸ軸方向に並んでいる状態において、Ｘ軸への射影として説明する。

文字認識装置１０は、文字列位置に基づいて形成される文字画像領域について、各画素列を文字列と垂直な方向にスキャンして最小輝度値を求める操作を文字画像領域の最も左側の輝度列から最も右側の輝度列まで繰り返すことによって最小輝度曲線を求め、この最小輝度曲線に基づいて各文字の文字列方向の境界点を求める。

以下に、文字認識装置１０の具体的な構成および撮像画像の文字認識処理機能について説明する。

［文字認識装置の構成および機能］
図１において、文字認識装置１０は、情報記録媒体上の文字列を読み取る画像読取部としての密着型の（１次元）撮像素子１１と、撮像素子１１で撮像された文字列の画像データを記憶する画像メモリ１２と、画像メモリ１２に記憶された画像データを処理することによって文字列を認識するデータ処理部１３と、を有している。

また、データ処理部１３は、画像データの２値化を行う２値化部１３１と、画像データから文字列を切り出す文字列切り出し部１３２と、文字列から各文字を切り出す文字切り出し部１３３と、文字切り出し部１３３で得られた文字パターンから特徴量を抽出する特徴抽出部１３４と、特徴ベクトルと基準ベクトルを比較する特徴比較部１３５、予め文字ごとの特徴を格納している特徴辞書格納部１３６と、入力パターンの特徴ベクトルと特徴辞書中の文字ごとの基準ベクトルとの類似度を求める類似文字認識部１３７と、を有している。なお、これらの各部は、情報記録媒体２０上の文字列、たとえばＯＣＲ文字列を認識する文字認識装置の一例として機能する。

図２は、情報記録媒体２０のＯＣＲ文字記録領域（図１参照）２１に印刷された文字列を撮像したときの画像データの一例を示す図である。

画像読取部としての撮像素子１１は、情報記録媒体２０上のＯＣＲ文字記録領域２１にＯＣＲ文字列を撮像し、そのＯＣＲ文字列の光電変換を行う。画像メモリ１２は、撮像素子１１で撮像されたＯＣＲ文字列等の画像データを記憶（格納）する。なお、この画像メモリ１２は、ＲＡＭ，ＳＤＲＡＭ，ＤＤＲＳＤＲＡＭ，ＲＤＲＡＭなど、画像データを記憶し得るものであれば如何なるものであってもよい。

データ入力部において、例えば図２に示すような、情報記録媒体２０のＯＣＲ文字記録領域２１に印刷されたＯＣＲ文字列は、媒体搬送機構の搬送ガイドに沿って情報記録媒体２０が動かされると、１次元撮像素子１１によってその文字パターンが撮像されて光電変換され、その画像データが画像メモリ１２に取り込まれる。データ処理部１３は、画像メモリ１２に取り込まれた画像データを読み出して、上述した各部において様々な処理を施し、最終的に、情報記録媒体２０上のＯＣＲ文字列を認識するように構成されている。

図示の実施例では、撮像素子１１として密着型１次元撮像素子を採用して装置の小型化等を図っているが、撮像素子１１としては、読み取り対象の情報記録媒体２０の文字列を読み取り対象とする２次元のエリアセンサ等を採用することも可能である。この場合、撮像素子１１は、例えばＣＣＤやＣＭＯＳセンサにより形成される。

本実施の形態では、情報記録媒体２０は、旅券（パスポート）であるが、これに限定さるものではない。情報記録媒体２０は、ＪＩＳに準拠している一般的なカードであってもよく、例えば、幅８６ｍｍ，高さ５４ｍｍ，厚み０．７６ｍｍというサイズのプラスチックカードでもよく、ＩＤカードや運転免許証などでもよい。また、認識対象としては、活字文字だけでなく、手書き文字にも適用可能である。また、本発明は、文字認識に留まらず、１Ｄ及び２Ｄバーコードの復号などにも応用可能である。

［データ処理部の各部の構成および機能］
次に、データ処理部１３の各部の基本的な構成および機能について説明する。
データ処理部１３は、画像メモリ１２から画像データを読み出して、その画像データが多階調の濃淡画像である場合には、白黒２値の画像に変換を行う。

２値化部１３１は、この画像メモリ１２から読み出した画像データに対する２値化処理を行う。２値化部１３１は、適当な方法（例えば判別分析法）によって閾値を求め、元の画像を白黒２値の画像に変換する。ここで、データ処理部１３における以降の処理は、この白黒２値画像を用いて行われることとする。

２値化処理は、多階調の濃淡画像を白黒画像に変換する処理である。具体的には、２値化は画像の輝度値（濃度値）をもとにヒストグラムを作成して、閾値と呼ばれる値を基準に、ヒストグラムをしきい値以下としきい値以上の二つに分け、それぞれを白（輝度値＝２５５）と黒（輝度値＝０）に振り分ける処理である。この閾値を統計学などの手法を用いて自動的に選定する方法には、従来、多くのものが発表されており、例として、判別分析法、Kittler法、モード法、Pタイル法などがあり、これらはいずれも公知である。本明細書では、前述のような統計学などの数学的手法を用いて、閾値を自動的に選定する方法を総称して、自動閾値選定法と呼ぶ。

文字列切り出し部１３２は、２値化部１３１で２値化された文字列を水平方向に射影して、文字列の上下エッジを検出する。そして、文字列切り出し部１３２は、上下エッジの中心位置を、文字列の中心ラインと識別して文字列切り出しを行う。ここで、水平方向とは、文字が横方向に並んでいる第１方向、すなわちＸ軸方向である。

本実施形態の文字切り出し部１３３は、文字列切り出し部１３２で切り出された行の文字列から文字列の文字が並んでいる方向、本例では水平方向の区切り位置を検出して、文字の切り出し処理を行う。具体的には、本実施形態の文字切り出し部１３３は、認識対象となる５文字を囲む暫定切り出し領域（図９参照）、例えば矩形領域を設定し、その矩形領域において文字が並んでいる方向と直交する垂直方向の垂直射影を生成（形成）する。ここでは、上述したように、文字切り出し部１３３は、射影生成に際し、文字が横方向すなわちＸ軸方向に並んでいるときは、Ｘ軸への射影を生成する。

文字切り出し部１３３は、文字列を形成する文字を切り出すものであり、画像データにおいて文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて画像データにおける最小輝度曲線を作成する最小輝度曲線作成部１３３１と、作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出部１３３２と、検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理部１３３３と、を備えている。なお、この文字切り出し部１３３における文字切り出し処理については、後でさらに詳述する。

データ処理部１３において、文字切り出し部１３３の文字切り出し処理が終了すると、認識対象となっている文字の外接矩形領域（上下左右の座標値）が求められる。

特徴抽出部１３４は、上述した外接矩形領域を任意のサブ領域に分割、たとえば１個の外接矩形領域を５×５の領域に分割し、そのうち１個の領域をサブ領域とし、各サブ領域において、サブ領域内の全画素数に占める黒画素数の割合を求め、それらを要素とする特徴ベクトルを生成する。

特徴比較部１３５は、特徴抽出部１３４で求められた特徴ベクトルを、予めこの媒体で使用される全文字について求めておいた基準特徴ベクトルと比較して、類似度（例えば正規化相関係数）が最も高いものをその文字が該当する候補文字に設定する。なお、基準特徴ベクトルは、予め特徴辞書格納部１３６に格納されているものであって、特徴比較が行われる際に、特徴辞書格納部１３６から類似度が高い文字のデータが読み出され、特徴比較部１３５において特徴比較が行われる。

類似文字認識部１３７は、基本的に、特徴比較部１３５の特徴比較によって設定された候補文字を、媒体に用いられた文字として認識する。なお、類似度が一定値を超える候補文字が複数個存在する場合には、文字認識を行うことができないので、類似文字認識部１３７は、特徴ベクトルから導き出せる２次的な特徴量を利用して、類似文字の判別を行う。例えば、類似文字認識部１３７は、任意に分割したサブ領域を左側半分と右側半分との２領域の左右線対称に分けて、部分特徴ベクトルを構成してそれらの間の類似性を調べたり、同様に上半分と下半分との２領域の上下線対称に分けて、類似性を調べたりするように構成してもよい。また、類似文字認識部１３７は、左右線対称や上下線対象と同様に点対称で類似性を調べるように構成してもよい。

次に、本実施形態に係る文字認識装置１０において、特徴的な機能を有する文字切り出し部１３３の文字区切り位置検出部１３３２における文字の区切り位置の検出処理（文字切り出し処理）について詳細に説明する。

［文字切り出し部の構成］
図３は、本実施形態に係る文字切り出し部の構成例を示すブロック図である。
本実施形態に係る文字切り出し部１３３は、図３に示すように、最小輝度曲線作成部１３３１、文字区切り位置検出部１３３２と、文字切り出し処理部１３３３と、で構成されている。すなわち、この文字切り出し部１３３は、最小輝度曲線作成部１３３１で作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出部１３３２と、検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理部１３３３と、を備えている。

最小輝度曲線作成部１３３１は、画像データにおいて文字列の方向に直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて画像データにおける最小輝度曲線を作成する。具体的には、最小輝度曲線作成部１３３１は、文字列検出工程で得られる文字列位置に基づいて形成される文字画像領域について、画素列を文字列と垂直な方向にスキャンして最小輝度値を求める操作を文字画像領域の最も左側の輝度列から最も右側の輝度列まで繰り返すことによって最小輝度曲線を作成する。そして、文字列切り出し部１３２で切り出された１行の文字列について、認識処理対象のうち隣接する２文字を囲む矩形の暫定切り出し領域ＲＣＴを設ける。

文字区切り位置検出部１３３２は、作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する。具体的には、文字区切り位置検出部１３３２は、最小輝度曲線に基づいて各文字の文字列方向の境界点を求める。本実施形態では、文字切り出し部１３３における処理が白黒２値画像を用いて行われることから、文字区切り位置検出は、単純に最小輝度曲線に沿って輝度値＝０の区間（黒の区間）を文字区間とし、輝度値＝２５５の区間（白の区間）を空白区間とし、空白区間の中点を区切り点としている。

文字切り出し処理部１３３３は、検出した文字間の区切り位置に基づいて各文字を切り出す。なお、本実施形態において、最小輝度曲線作成部１３３１は、設定された矩形領域ＲＣＴ内において最小輝度曲線を生成するように構成されている。ただし、本発明はこの構成だけはなく、例えば文字列全体に対して最小輝度曲線（図８参照）を生成しておき、設定領域に対しその設定領域に対応する最小輝度曲線（図１０参照）を用いるように構成することも可能である。なお、図８において、縦軸は図１０と同じ輝度値を示し、横軸は図１０と同じ画素位置を示している。

［文字認識装置の全体動作］
次に、本実施形態に係る文字認識装置１０の全体的な動作について図４に関連付けて説明する。図４は、本実施形態に係る文字認識装置の動作を説明するためのフローチャートである。

情報記録媒体２０のＯＣＲ文字記録領域２１に印刷されたＯＣＲ文字列は、媒体搬送機構の搬送ガイドに沿って情報記録媒体が動かされると、１次元撮像素子１１によってその文字パターンが読み取られて光電変換され（ステップＳＴ１０１）、例えば、２５６階調の多値画像データとして画像メモリ１２に取り込まれる（ステップＳＴ１０２）。

次に、画像メモリ１２に格納された画像に対して、必要に応じて２値化部１３１で２値化が行われる（ステップＳＴ１０３）。具体的には、データ処理部１３においては、画像メモリ１２から画像データを読み出して、その画像データが多階調の濃淡画像である場合に、２値化部１３１で濃淡画像が白黒２値の画像に変換される。より具体的には、２値化部１３１は、適当な方法（例えば判別分析法）によって閾値を求め、元の画像を白黒２値の画像に変換する。

次いで、文字列切り出し部１３２において、文字列切り出し（行切り出し）が行われる（ステップＳＴ１０４）。具体的には、文字列切り出し部１３２において、２値化部１３１で２値化された文字列が水平方向に射影されて、文字列の上下エッジが検出される。そして、文字列切り出し部１３２においては、上下エッジの中心位置が、文字列の中心ラインと識別されて行切り出しが行われる。

次いで、文字区切り位置検出部１３３２を含む文字切り出し部１３３において、文字切り出しが行われる（ステップＳＴ１０５）。最小輝度曲線作成部１３３１においては、その矩形領域において射影が生成される。例えば、上述したように、射影形成に際し、文字が横方向（Ｘ軸方向）に並んでいるときには、Ｘ軸への射影が形成される。本実施形態では、文字切り出し部１３３における処理が白黒２値画像を用いて行われることから、文字区切り位置検出は、単純に最小輝度曲線に沿って輝度値＝０の区間を文字区間とし、輝度値＝２５５の区間を空白区間とし、空白区間の中点を区切り点とすればよい。図９の部分に対応する最小輝度曲線は図１０に示すようになる。なお、図１０は、２値化された画像データに基づき作成されているので、縦軸は白（１）と黒（０）で示すところであるが、装置内での処理の中で、（０）と（１）との中間の値を用いて処理する場合があるため、輝度値＝２５５を、白（１）と仮定している。このような仮定をすることで、中間の値を少数点で示すことなく、整数値で処理することができ、計算上、処理しやすくしている。

ステップＳＴ１０５の文字切り出し処理が終了すると、認識対象となっている文字の外接矩形領域（上下左右の座標値）が求められる。

次いで、特徴抽出部１３４において特徴抽出が行われる（ステップＳＴ１０６）。具体的には、特徴抽出部１３４においては、上述した外接矩形領域が任意のサブ領域に分割（たとえば１個の外接矩形領域を５×５の領域に分割され、そのうち１個の領域がサブ領域とされる）され、各サブ領域において、サブ領域内の全画素数に占める黒画素数の割合が求められ、それらを要素とする特徴ベクトルが生成される。

次いで、特徴比較部１３５において、特徴比較が行われる（ステップＳＴ１０７）。具体的には、特徴比較部１３５においては、ステップＳＴ１０６で求めた特徴ベクトルが、予めこの媒体で使用される全文字について求められて特徴辞書格納部１３６に格納されている基準特徴ベクトルと比較されて、類似度（例えば正規化相関係数）が最も高いものをその文字が該当する候補文字に設定される。

最後に、文字認識が行われる（ステップＳＴ１０８）。具体的には、ステップＳＴ１０７の特徴比較によって設定された候補文字が、媒体に用いられた文字として認識される。なお、類似度が一定値を超える候補文字が複数個存在する場合には、文字認識を行うことができないので、類似文字認識部１３７において、特徴ベクトルから導き出せる２次的な特徴量を利用して、類似文字の判別が行われる。

例えば、任意に分割したサブ領域を左側半分と右側半分との２領域の左右線対称に分けて、部分特徴ベクトルを構成してそれらの間の類似性を調べたり、同様に上半分と下半分との２領域の上下線対称に分けて、類似性を調べたりしてもよい。また、左右線対称や上下線対象と同様に点対称で類似性を調べてもよい。

［本実施形態の文字切り出し処理の具体例］
次に、このような特徴を有する文字切り出し部１３３における文字切り出し処理例について、図５から図７に関連付けてより具体的に説明する。図５は、本実施形態に係る文字切り出し部の処理フローを示すフローチャートである。図６は、本実施形態に係る文字切り出し部における最小輝度曲線作成部の処理フローを示すフローチャートである。図７は、本実施形態に係る文字切り出し部における文字区切り位置検出部の処理フローを示すフローチャートである。

図９は、文字列を構成する文字（一部）に着目したときの画像データを示す図である。文字認識装置１０において、文字認識を行おうとする画像ＩＭＧが図９のように与えられているとする。図９の例では、文字「Ｋ」、「Ｏ」、「＜」、「Ｂ」、「Ｃ」を含む文字列の画像が示されている。また、図１０は、図９に示す画像データを垂直射影することによって得られた垂直射影データである。

なお、図９は、図２中の「Ｋ」から「Ｃ」までの画像データを示している。この文字列は、一例として、図２に例示した情報記録媒体２０のＯＣＲ文字記録領域２１に印刷された文字を撮像したときの画像データの２行目の文字列に相当している。また、図９の例では、文字の配列方向（並んでいる方向）において、隣接する文字間は空白が形成されており、隣接する２文字の境界が明確となっている。本実施の形態における各文字は概略、所定の幅（基準の文字幅）で形成され、さらに、隣接する２文字の間には一定の幅を持つ空白区間が形成されている。

図５に示すように、最小輝度曲線作成部１３３１は、画像データにおいて文字列の方向に直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて画像データにおける最小輝度曲線を作成する（ステップＳＴ１０５１）。

具体的には、図６に示すように、最小輝度曲線作成部１３３１は、文字列検出工程で得られる文字列位置に基づいて形成される文字画像領域について、画素列を文字列の方向（Ｘ軸方向）と垂直な方向（Ｙ軸方向）にスキャンして最小輝度値を求める（ステップＳＴ１０５１１）。この操作を文字画像領域において、Ｘ軸方向に左端側の輝度列から右端側の輝度列まで繰り返すことによって各画素列の最小輝度値を検出する（ステップＳＴ１０５１２）。そして、検出された各画素列の最小輝度値に基づいて、図１０に示すような文字画像領域における最小輝度曲線を作成する（ステップＳＴ１０５１３）。

次いで、文字区切り位置検出部１３３２は、最小輝度曲線作成部１３３１で作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する（ステップＳＴ１０５２）。

具体的には、図７に示すように、文字区切り位置検出部１３３２は、最小輝度曲線に沿って輝度値＝２５５の区間（白の区間）を空白区間として検出する（ステップＳＴ１０５２１）。そして、各空白区間の幅（画素数）を図１０に示すＳ１〜Ｓ６のように求める（ステップＳＴ１０５２２）。

次いで、各空白区間における幅（Ｓ１〜Ｓ６）の中点を求め、空白区間の中点を文字間の区切り位置として検出する（ステップＳＴ１０５２３）。なお、図１０において、輝度値＝０の区間（Ｌ１〜Ｌ５）（黒の区間）は文字区間である。

最後に、文字切り出し処理部１３３３は、検出した文字間の区切り位置（空白区間の中点）に基づいて各文字を切り出す（ステップＳＴ１０５３）。

［他の実施例］
最小輝度曲線作成部１３３１で作成される最小輝度曲線は、画像データにおける各画素列の最小値を求めているため、文字と文字との間の空白区間に汚れや、ピンポイントがあると、これが疑似文字区間を形成する可能性がある。このような汚れやピンポイントによる文字区間の誤検出を排除するには、基準の文字幅を設定し、これに比較して小さい場合には非文字であると判定するようにすればよい。本発明の文字認識装置１０は、文字切り出し部１３３が、基準の文字幅を設定した文字幅設定部を有し、最小輝度曲線を基準の文字幅と比較して、最小輝度曲線の輝度値＝０の区間が基準の文字幅を超えた区間を文字区間として検出する文字区間検出部を備えた構成にしてもよい。

本発明の文字認識装置１０は、データ処理部１３において、処理の最初に画像全体を２値化するのではなく、多階調画像のまま文字列検出、文字切り出し処理までを行って、その後その文字領域内に限定して画像を２値化する構成にすることもできる。この場合の文字切り出し工程では、多階調画像を用いて最小輝度曲線を作成するが、文字切り出しには適当な閾値を設けることで、２値画像を用いて最小輝度曲線を用いる場合と同様の処理が可能である。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

（本実施例の主な効果）
以上のように、本実施形態によれば、最小輝度曲線作成部は、撮像された文字列の画像データにおける文字画像領域について、画素列を文字列と垂直な方向にスキャンして最小輝度値を求める操作を文字画像領域の左端側の輝度列から右端側の輝度列まで繰り返すことによって最小輝度曲線を求め、この最小輝度曲線に基づいて各文字の文字列方向の境界点を求めるようにしたため、文字区間と空白区間が明確に分離され、正確な文字区切り位置の決定が可能となる。また、本発明は、文字認識の性能を左右する閾値を設定することなく、文字境界部分の状態にかかわりなく文字の境界位置を高い精度で的確に決定することが可能であり、ひいては文字認識性能の向上を図ることが可能となる。

１０…文字認識装置、１１…撮像素子（画像読取部）、１２…画像メモリ、１３…データ処理部、１３１…２値化部、１３２…文字列切り出し部、１３３…文字切り出し部、１３３０…文字区切り位置検出部、１３３１…最小輝度曲線作成部、１３３２…文字区切り位置検出部、１３３３…文字切り出し処理部、１３４…特徴抽出部、１３５…特徴比較部、１３６…特徴辞書格納部、１３７…類似文字認識部、２０…情報記録媒体、２１…ＯＣＲ文字記録領域

Claims (5)

1. 情報記録媒体上の文字列を撮像する撮像手段と、
   前記撮像手段で撮像された文字列の画像データを記憶する記憶手段と、
   前記画像データを処理して前記文字列を形成する文字を切り出す文字切り出し部と、を有する文字認識装置であって、
   前記文字切り出し部は、前記画像データにおいて前記文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて前記画像データにおける最小輝度曲線を作成する最小輝度曲線作成部と、作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出部と、検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理部と、を備えたことを特徴とする文字認識装置。
2. 前記文字切り出し部が、基準の文字幅を設定した文字幅設定部を有し、前記最小輝度曲線を前記基準の文字幅と比較して前記基準の文字幅を超えた区間を文字区間として検出する文字区間検出部を備えたことを特徴とする請求項１記載の文字認識装置。
3. 前記最小輝度曲線作成部が、２値化された前記画像データに基づいて最小輝度値を検出して最小輝度曲線を作成することを特徴とする請求項１又は２記載の文字認識装置。
4. 情報記録媒体上の文字列を撮像して得られた画像データを処理することによって前記文字列を認識する文字認識方法において、
   前記画像データにおいて前記文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて前記画像データにおける最小輝度曲線を作成する最小輝度曲線作成工程と、
   作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出工程と、
   検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理工程と、を有することを特徴とする文字認識方法。
5. 情報記録媒体上の文字列を撮像して得られた画像データを処理することによって、前記文字列から各文字を切り出す文字切り出し処理をコンピュータに実行させる文字認識プログラムであって、
   コンピュータに、
   前記画像データにおいて前記文字列の方向と直交する方向に配列された画素列に格納されている輝度値の中で最小輝度値を検出し、各画素列の最小輝度値に基づいて前記画像データにおける最小輝度曲線を作成する最小輝度曲線作成手順と、
   作成した最小輝度曲線上において隣接する文字間の区間を求めて文字間の区切り位置を検出する文字区切り位置検出手順と、
   検出した文字間の区切り位置に基づいて各文字を切り出す文字切り出し処理手順と、を実行させるための文字認識プログラム。

Images