JP2003256772A - 文字認識装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】本発明はレイアウト構造の複雑な原稿の文字画
像の文字行の切り出しを高精度に行って高精度に文字認
識を行う文字認識装置を提供する。 【解決手段】文字認識装置は入力した画像の文字領域／
図領域／表領域等の領域識別を行い、黒画素の連続する
範囲毎に、当該範囲と外接する矩形を抽出して、抽出し
た矩形の有効／無効を判断する基準値を予め調整済みの
値に設定する行切り出しパラメータ設定処理を行う。文
字認識装置は設定した基準値に基づいて矩形の有効／無
効を判断する有効矩形の設定処理を行って、領域識別処
理の結果に基づいて行方向の設定を行い、有効矩形を対
象に行切り出し処理を行って、切り出された行矩形を１
文字単位に分割する文字切り出し処理を行う。文字認識
装置は切り出した１文字の画像特徴を抽出し、パターン
辞書の文字特徴とを比較して、文字認識する文字認識処
理を行う（ステップＳ１０１〜Ｓ１１０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字認識装置及び
記録媒体に関し、詳細には、レイアウト構造の複雑な原
稿の文字画像の文字行の切り出しを高精度に行って、高
精度に文字認識を行う文字認識装置及び記録媒体に関す
る。

【０００２】

【従来の技術】従来、画像として取り込んだ文字を認識
することにより、文字情報の正確な入力や文字の入力の
省力化することが行われており、また、この認識した文
字を音声により出力したり、認識した文字を翻訳するこ
とが行われている。

【０００３】文書画像中の文字を認識する場合、一般に
は、スキャナ等で紙原稿の文書画像を、例えば、文字線
部を黒画素、背景部を白画素で表現した白黒２値に量子
化して、文書画像データを得る。次に、この文書画像デ
ータから文書画像上の文字行と対応する文字行データを
切り出し、この文字行データから文字パタンデータを切
り出して文字単位の認識を行なう。

【０００４】ところが、文字行切り出し対象である文書
の中には特殊なレイアウト構成を有したものが多く、こ
れらの文書画像からは、上記従来の文字行切り出し方法
では、文字行データを正確に切り出すことができない場
合があった。

【０００５】そこで、従来、文書画像データから文字行
データを切り出す文字行切り出し装置において、文書画
像データを、該データ中の全ての行と交差する方向が分
割線となるように複数のサブブロックに分割する領域分
割部と、前記分割された各サブブロックから行画像デー
タの切り出しをそれぞれ行う行画像データ切り出し部
と、前記行画像データ切り出し部に接続された文字行判
定部と、前記文字行判定部に接続された文字行データ再
生部とを具え、前記文字行判定部は、前記行画像データ
切り出し部で切り出された各行画像データが単一文字行
から切り出されたものか否かを、着目行画像データを含
むサブブロックに隣接するサブブロック中に着目行画像
データと列方向において重なる行画像データがいくつか
あるかにより判定し、着目行画像データが単一文字行か
ら切り出されたものである場合は該行画像データを前記
文字行再生部に出力し、着目行画像データが複数の文字
行を含むものである場合は該行画像データを文書画像デ
ータとして前記領域分割部に出力する構成としてあり、
前記文字行データ再生部は、前記文字行判定部から入力
された各行画像データのうちの隣接するサブブロックの
行画像データ同士をこれら行画像データの位置情報に基
づいて接続し文字行データとする構成としてあることを
特徴とする文字行切り出し装置が提案されている（特開
平５−３５９１３号公報参照）。

【０００６】すなわち、この従来技術は、横書きの場
合、行切り出し処理で、横方向の分割を行うとともに、
縦方向にも行って、複雑なレイアウトの行を正しく切り
出し、文字高さが通常の文字行よりも高い文字を含む文
書から文字行データを正確に切り出そうとしている。

【０００７】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の技術にあっては、横書きの場合、行切り出し
処理で、横方向の分割を行うとともに、縦方向にも行っ
て、複雑なレイアウトの行を正しく切り出しを行おうと
していたため、大きな文字が小さな文字行の横に配置さ
れている特定のパターンにしか対応することができず、
一般的なレイアウトの原稿に対しては、適切に処理する
ことができず、改良の必要があった。

【０００８】すなわち、一般的に、一枚の原稿中でもタ
イトル行(見出し行)と本文行とは、文字のサイズが異
り、タイトル行は、比較的大きなサイズの文字が使用さ
れ、目立ちやすくなっており、本文は、１０．５ポイン
ト程度のサイズの文字が使用されることが多い。また、
行方向についても、新聞等によくみられるように、縦書
き文書の中に、見出しとして、大きなサイズの文字を使
用して横書きで書かれるものもあり、逆に、横書き文書
において、縦書きのタイトル等が用いられていることが
あり、１枚の原稿において、行方向も縦横存在し、ま
た、文字サイズも複数存在する。

【０００９】これら縦横の行が混在し、文字サイズも複
数存在する可能性のある原稿においても、従来では、行
切り出し処理の前に領域識別処理を行い、各領域の範囲
と行方向を決定してから、その結果の基づいて、１度だ
け行切り出し処理を行っている。

【００１０】しかし、領域識別処理は、原稿全体の画像
特徴から領域を区分し、その領域の属性を判定してお
り、実際に行切り出しをするわけではないため、行方向
を間違えることや大きなサイズの文字を図領域であると
誤って判定してしまうことがある。この誤った判定結果
に基づいて行切り出し処理やそれに後続する文字切り出
し処理、認識処理を行っても、正しい結果を得ることが
できない。

【００１１】そこで、本発明は、タイトル行等の本文行
とは異る特徴的な行のみを専用に切り出す処理を、切り
出す目的行の種類だけ、基準値を変えて複数回実行する
ことによって、当該行を高精度に抽出し、また、各抽出
結果を合成して、最終的な行切り出し結果とすることに
より、原稿中に変則的にレイアウトされることの多いタ
イトル行を積極的に検出して、その行に惑わされること
なく本文行の行切り出しを行い、大きなサイズの文字と
図領域とを明確に区別して、高精度かつ頑強な文字認識
装置を提供することを目的としている。

【００１２】具体的には、請求項１記載の発明は、少な
くとも文字を含む画像に対して所定の画像処理を施した
後、当該画像処理後の画像の特徴を抽出し、当該抽出し
た画像の特徴を予め各文字の特徴が格納されている画像
特徴辞書と照合して文字認識を行うに際して、行切り出
し処理で使用する基準値を変更可能なものとし、当該基
準値に基づいて行切り出し処理を実行することにより、
複数サイズの行が存在するレイアウト構造の複雑な原稿
の文字行切り出し精度を向上し、文字認識を高精度かつ
頑強に行うことのできる文字認識装置を提供することを
目的としている。

【００１３】請求項２記載の発明は、行方向を縦と横の
両方向に仮定して、当該両方に対する行切り出し処理を
実行することにより、縦横両方向に行方向が存在した
り、複数サイズの行が存在するレイアウト構造の複雑な
原稿の文字行切り出し精度を向上し、文字認識を高精度
かつ頑強に行うことのできる文字認識装置を提供するこ
とを目的としている。

【００１４】請求項３記載の発明は、基準値を段階的に
変化させて、行切り出し処理を複数回実行することによ
り、縦横両方向に行方向が存在したり、複数サイズの行
が存在するレイアウト構造の複雑な原稿の文字行切り出
し精度をより一層向上し、文字認識をより一層高精度か
つ頑強に行うことのできる文字認識装置を提供すること
を目的としている。

【００１５】請求項４記載の発明は、段階的に変化させ
た各基準値毎に行った行切り出し処理の処理結果を統合
して、行切り出しを行うことにより、縦横両方向に行方
向が存在したり、複数サイズの行が存在するレイアウト
構造の複雑な原稿の文字行切り出し精度をより一層向上
し、文字認識をより一層高精度かつ頑強に行うことので
きる文字認識装置を提供することを目的としている。

【００１６】請求項５記載の発明は、段階的に変化させ
た各基準値毎に行った行切り出し処理の処理結果を統合
する際、矩形範囲が重複している矩形に対しては、矩形
面積が広い方の矩形を行として選択することにより、大
きな行に含まれている小さな行と同程度のサイズの行を
削除することを防止して、縦横両方向に行方向が存在し
たり、複数サイズの行が存在するレイアウト構造の複雑
な原稿の文字行切り出し精度をより一層向上し、文字認
識をより一層高精度かつ頑強に行うことのできる文字認
識装置を提供することを目的としている。

【００１７】請求項６記載の発明は、基準値毎に抽出し
た行切り出し結果に対応する行画像を削除することによ
り、文字行を積極的に抽出することで最終的に残った行
を文字領域以外と判定して、縦横両方向に行方向が存在
したり、複数サイズの行が存在するレイアウト構造の複
雑な原稿の文字行切り出し精度をより一層向上し、文字
認識をより一層高精度かつ頑強に行うことのできる文字
認識装置を提供することを目的としている。

【００１８】請求項７記載の発明は、記録媒体に、情報
処理装置に導入されて実行されることで、上記請求項１
から請求項６のいずれかに記載の文字認識装置を構築す
る文字認識方法のプログラム及びデータを記録すること
により、記録媒体を、コンピュータ等の情報処理装置に
読み取らせることで、複数サイズの行が存在するレイア
ウト構造の複雑な原稿の文字行切り出し精度を向上し、
文字認識を高精度かつ頑強に行うことのできる文字認識
装置を実現する記録媒体を提供することを目的としてい
る。

【００１９】

【課題を解決するための手段】請求項１記載の発明の文
字認識装置は、少なくとも文字を含む画像に対して所定
の画像処理を施した後、当該画像処理後の画像から文字
行を切り出す行切り出し処理を行って、当該行切り出し
を行った行の画像の特徴を抽出し、当該抽出した画像の
特徴を予め各文字の特徴が格納されている画像特徴辞書
と照合して文字認識を行う文字認識装置であって、前記
行切り出し処理で使用する基準値を変更可能なものと
し、当該基準値に基づいて行切り出し処理を実行するこ
とにより、上記目的を達成している。

【００２０】上記構成によれば、少なくとも文字を含む
画像に対して所定の画像処理を施した後、当該画像処理
後の画像の特徴を抽出し、当該抽出した画像の特徴を予
め各文字の特徴が格納されている画像特徴辞書と照合し
て文字認識を行うに際して、行切り出し処理で使用する
基準値を変更可能なものとし、当該基準値に基づいて行
切り出し処理を実行するので、複数サイズの行が存在す
るレイアウト構造の複雑な原稿の文字行切り出し精度を
向上させることができ、文字認識を高精度かつ頑強に行
うことができる。

【００２１】この場合、例えば、請求項２に記載するよ
うに、前記文字認識装置は、行方向を縦と横の両方向に
仮定して、当該両方に対する行切り出し処理を実行する
ものであってもよい。

【００２２】上記構成によれば、行方向を縦と横の両方
向に仮定して、当該両方に対する行切り出し処理を実行
するので、縦横両方向に行方向が存在したり、複数サイ
ズの行が存在するレイアウト構造の複雑な原稿の文字行
切り出し精度を向上させることができ、文字認識を高精
度かつ頑強に行うことができる。

【００２３】また、例えば、請求項３に記載するよう
に、前記文字認識装置は、前記基準値を段階的に変化さ
せて、前記行切り出し処理を複数回実行するものであっ
てもよい。

【００２４】上記構成によれば、基準値を段階的に変化
させて、行切り出し処理を複数回実行するので、縦横両
方向に行方向が存在したり、複数サイズの行が存在する
レイアウト構造の複雑な原稿の文字行切り出し精度をよ
り一層向上させることができ、文字認識をより一層高精
度かつ頑強に行うことができる。

【００２５】さらに、例えば、請求項４に記載するよう
に、前記文字認識装置は、前記段階的に変化させた各基
準値毎に行った行切り出し処理の処理結果を統合して、
行切り出しを行うものであってもよい。

【００２６】上記構成によれば、段階的に変化させた各
基準値毎に行った行切り出し処理の処理結果を統合し
て、行切り出しを行うので、縦横両方向に行方向が存在
したり、複数サイズの行が存在するレイアウト構造の複
雑な原稿の文字行切り出し精度をより一層向上させるこ
とができ、文字認識をより一層高精度かつ頑強に行うこ
とができる。

【００２７】また、例えば、請求項５に記載するよう
に、前記文字認識装置は、前記段階的に変化させた各基
準値毎に行った行切り出し処理の処理結果を統合する
際、矩形範囲が重複している矩形に対しては、矩形面積
が広い方の矩形を行として選択するものであってもよ
い。

【００２８】上記構成によれば、段階的に変化させた各
基準値毎に行った行切り出し処理の処理結果を統合する
際、矩形範囲が重複している矩形に対しては、矩形面積
が広い方の矩形を行として選択するので、大きな行に含
まれている小さな行と同程度のサイズの行を削除するこ
とを防止して、縦横両方向に行方向が存在したり、複数
サイズの行が存在するレイアウト構造の複雑な原稿の文
字行切り出し精度をより一層向上させることができ、文
字認識をより一層高精度かつ頑強に行うことができる。

【００２９】さらに、例えば、請求項６に記載するよう
に、前記文字認識装置は、前記基準値毎に抽出した行切
り出し結果に対応する行画像を削除するものであっても
よい。

【００３０】上記構成によれば、基準値毎に抽出した行
切り出し結果に対応する行画像を削除するので、文字行
を積極的に抽出することで最終的に残った行を文字領域
以外と判定して、縦横両方向に行方向が存在したり、複
数サイズの行が存在するレイアウト構造の複雑な原稿の
文字行切り出し精度をより一層向上させることができ、
文字認識をより一層高精度かつ頑強に行うことができ
る。

【００３１】請求項７記載の発明の記録媒体は、情報処
理装置に導入されて実行されることで、上記請求項１か
ら請求項６のいずれかに記載の文字認識装置を構築する
文字認識方法のプログラム及びデータを記録しているこ
とにより、上記目的を達成している。

【００３２】上記構成によれば、記録媒体に、情報処理
装置に導入されて実行されることで、上記請求項１から
請求項６のいずれかに記載の文字認識装置を構築する文
字認識方法のプログラム及びデータを記録しているの
で、記録媒体を、コンピュータ等の情報処理装置に読み
取らせることで、複数サイズの行が存在するレイアウト
構造の複雑な原稿の文字行切り出し精度を向上させて、
文字認識を高精度かつ頑強に行うことのできる文字認識
装置を実現することができる。

【００３３】

【発明の実施の形態】以下、本発明の好適な実施の形態
を添付図面に基づいて詳細に説明する。なお、以下に述
べる実施の形態は、本発明の好適な実施の形態であるか
ら、技術的に好ましい種々の限定が付されているが、本
発明の範囲は、以下の説明において特に本発明を限定す
る旨の記載がない限り、これらの態様に限られるもので
はない。

【００３４】図１〜図９は、本発明の文字認識装置及び
記録媒体の第１の実施の形態を示す図であり、本実施の
形態は、請求項１及び請求項７に対応するものである。

【００３５】図１は、本発明の文字認識装置及び記録媒
体の第１の実施の形態を適用した文字認識装置１の概略
ブロック構成図である。

【００３６】図１において、文字認識装置１は、パーソ
ナルコンピュータ等が用いられており、後述するよう
に、文字認識ソフトウェアが導入されることで、文字認
識装置１として構築される。文字認識装置１は、ＣＰＵ
（Central Processing Unit ）２、メモリ３、通信部
４、表示部５、ハードディスク６、キーボード７、ＣＤ
−ＲＯＭ（Compact Disc Read Only Memory ）ドライブ
８及びＦＤ（フロッピィディスク：登録商標）ドライブ
９等を備えており、上記主要各部は、バス１０で接続さ
れている。

【００３７】メモリ３は、ＲＯＭ（Read Only Memor
y）、ＲＡＭ（Random Access Memory）等で構成され、
文字認識装置１としての基本処理プログラムや後述する
文字認識処理プログラムを処理するのに必要な各種デー
タやＣＰＵ２が処理するのに必要な各種データやＣＰＵ
２の処理したデータを記憶する。

【００３８】ＣＰＵ２は、メモリ３またはハードディス
ク６内のプログラムに基づいてメモリ３をワークメモリ
として利用しつつ、文字認識装置１の各部を制御して、
文字認識処理路実行する。

【００３９】通信部４は、ＣＰＵ２の制御下で、接続さ
れる通信回線を介して、他の装置等との間で各種データ
の送受信を行う。

【００４０】表示部５は、ＬＣＤ（Liquid Crystal Dis
play）やＣＲＴ（陰極線管：Cathode Ray Tube）等が用
いられ、文字認識装置１から利用者に通知する各種情
報、例えば、キーボード７等の入力ディバイスから入力
された情報、文字認証の対象の画像、文字認識結果の文
字データ等を表示出力する。

【００４１】ハードディスク６は、ＯＳ（Operating Sy
stem）や当該ＯＳ上で動作する各種アプリケーションソ
フトウェア（アプリケーションプログラム）、特に、文
字認識ソフトウェア及び各種データを記憶し、文字認識
装置１は、ＣＤ−ＲＯＭドライブ８やＦＤドライブ９で
読み取ったＣＤ−ＲＯＭやフロッピー（登録商標）ディ
スクに記録されている文字認識ソフトウェアがハードデ
ィスク６に導入されて、起動されることで、構築され
る。ハードディスク６には、文字認識処理のデータとし
て、各種データ、例えば、文字パターンのパターン辞書
等が格納されている。

【００４２】キーボード７は、文字認識装置１に必要な
命令や文字入力等を行うのに使用される。

【００４３】ＣＤ−ＲＯＭドライブ８には、文字認識ソ
フトウェアのプログラムやそのデータ（パターン辞書
等）の記録されたＣＤ−ＲＯＭ（記録媒体）が着脱可能
に挿入され、ＣＤ−ＲＯＭドライブ８は、ＣＰＵ２の制
御下で、挿入されたＣＤ−ＲＯＭに記録されているプロ
グラムやデータを読み取る。

【００４４】ＦＤドライブ９には、ＦＤ（フロッピィデ
ィスク）が着脱可能に挿入され、ＦＤドライブ９は、Ｃ
ＰＵ２の制御下で、認識した文字データ等の各種データ
を書き込んだり、ＦＤに記録されているデータ等を読み
取る。

【００４５】次に、本実施の形態の作用を説明する。本
実施の形態の文字認識装置１は、記録媒体としてのＣＤ
−ＲＯＭ等に記録されている文字認識プログラム（文字
認識ソフトウェア）がＣＤ−ＲＯＭ８等で読み取られ
て、ハードディスク６に導入され、当該文字認識プログ
ラムが起動されることで構築される。

【００４６】そして、文字認識装置１は、少なくとも文
字を含む画像から文字行を切り出す行切り出し処理を行
って、当該行切り出しを行った行の画像の特徴を抽出
し、当該抽出した画像の特徴を予め各文字の特徴が格納
されている画像特徴辞書と照合して文字認識を行う際
に、行切り出し処理で使用する基準値を変更可能なもの
とし、当該基準値に基づいて行切り出し処理を実行する
ところにその特徴がある。

【００４７】なお、以下の説明では、図２に示すように
日本語文の行が縦横混在する原稿を認識するものとす
る。なお、認識する原稿は、図２の例のようなレイアウ
トのものに限られるものではなく、また、原稿の言語、
文字画像種類(手書き／活字文字等)、書式(縦書き／横
書き)も図２の例のものに限定されるものではない。

【００４８】図１の原稿は、一般的な原稿であり、さま
ざまのサイズの文字、文字フォントから構成され、行方
向も一枚の原稿内で縦方向と横方向が混在している。

【００４９】文字認識装置１は、図３に示すように、こ
の原稿の画像データを図示しないスキャナ等で読み取っ
たり、ＣＤ−ＲＯＭドライブ８またはＦＤドライブ９に
挿入されたＣＤ−ＲＯＭまたはＦＤから読み取ったり、
あるいは、通信部４を介して他の装置から受信して取得
し、取得した原稿の画像データをハードディスク６に格
納する画像入力処理を行う（ステップＳ１０１）。

【００５０】文字認識装置１は、認識対象の画像データ
をハードディスク６に格納すると、文字領域／図領域／
表領域等の領域の範囲の予め決められ各領域の特徴を求
めて、例えば、文字領域であると、行方向を判定すると
いう領域識別を行う（ステップＳ１０２）。なお、ステ
ップＳ１０３以降は、文字領域の場合のみの処理であ
る。

【００５１】次に、文字認識装置１は、黒画素の連続す
る範囲毎に、当該範囲と外接する矩形を求め（抽出し）
（ステップＳ１０３）、抽出した矩形の有効／無効を判
断するための基準値を予め調整済みの値に設定する行切
り出しパラメータ設定処理を行う（ステップＳ１０
４）。この、矩形の有効／無効を判断するために利用す
る基準値は、矩形サイズ、矩形の存在位置等の矩形を特
徴づける複数の値によって定義される。

【００５２】文字認識装置１は、ステップＳ１０４で設
定した基準値に基づいて、ステップＳ１０３で求めた矩
形の有効／無効を判断する有効矩形の設定処理を行い
（ステップＳ１０５）、領域識別処理の結果に基づいて
行方向の設定を行う（ステップＳ１０６）。

【００５３】文字認識装置１は、ステップＳ１０５にお
いて有効と判断した矩形を対象に、行切り出し処理を行
う（ステップＳ１０７）。この行切り出し処理では、一
般的な方法として、近隣の矩形同士は同一行に属すると
判断して、同一行に属する矩形を統合していき、一つの
行を作成していく方法を用いることができる（図５及び
図６参照）。

【００５４】次に、文字認識装置１は、切り出された行
矩形を１文字単位に分割して文字を切り出す文字切り出
し処理を行い（ステップＳ１０８）、当該切り出した１
文字の画像特徴を抽出する（ステップＳ１０９）。

【００５５】文字認識装置１は、最後に、ステップＳ１
０９で抽出した特徴と、パターン辞書に格納されている
文字特徴とを比較し、最も類似している文字パターンを
選択して、文字として認識する文字認識処理を行う（ス
テップＳ１１０）。

【００５６】すなわち、本実施の形態の文字認識装置１
は、切り出し処理の前に、原稿中の黒画素の連結を探索
して、それと外接する矩形を作成する。ノイズや罫線等
の文字画像を構成している黒画素とは思われない、著し
く大きい矩形あるいは著しく小さい矩形を、予め設定し
ている基準値を用いて無効と判定する。例えば、図２に
示した原稿の場合、矩形抽出を行うと、例えば、図４に
示すような矩形抽出結果（抜粋）となる。

【００５７】そして、文字認識装置１は、残った有効矩
形に対して、行切り出し処理を行う。

【００５８】一般的な行切り出し方法としては、図５に
示すように、矩形間の水平距離、あるいは、図６に示す
ように、矩形間の垂直距離を測定し、設定値よりも近け
れば、同一行に属するものとして矩形を統合して、より
大きな外接矩形とする。そして、その大きくした外接矩
形に対して、同様に、近隣の矩形を探し、近ければ統合
するという処理を繰り返して、徐々に行を成長させてい
く方法がある。

【００５９】そして、本実施の形態の文字認識装置１
は、行切り出しの前に有効矩形を判定する際に利用する
基準値を固定値ではなく可変にし、抽出したい行を構成
すると思われる矩形のみが有効になるような値に設定す
る（ステップＳ１０４参照）。この基準の下で有効矩形
と判断された矩形を、行切り出し処理で行にまとめる。
例えば、図２の原稿の場合、有効矩形のうち、本文文字
サイズ以上のサイズの文字矩形のみを残すと、例えば、
図７に示すようになる。

【００６０】この際、本文文字よりも大きな文字の一部
の孤立点などが、本文文字サイズと同じ程度の大きさで
あれると、図２の原稿の場合、図８に示すように、矢印
で示している矩形が削除されることになる。

【００６１】ところが、ほとんどの場合、図８に示すよ
うに、矢印で示している矩形は、他の矩形の範囲内にあ
ることが多いため、後続の行切り出し処理で問題になる
ことは少ない。

【００６２】そして、文字認識装置１は、行切り出し処
理で、近隣の矩形同士を統合し、より大きな矩形を作成
することによって行を成長させていくが、矩形同士が近
隣か否かを判断する矩形間距離に対する基準値も、有効
矩形サイズによって変更する。

【００６３】例えば、大きな文字であれば同一行に属す
る文字であっても文字矩形間距離は比較的広いし、小さ
な文字であれば同一行に属する文字矩形の矩形間距離は
小さい。

【００６４】したがって、行切り出し処理で使用する基
準値も、有効矩形サイズに応じて変更する。

【００６５】例えば、図８に示した有効矩形に対して、
図５及び図６に示した、近隣矩形の統合処理を施すと、
図９に一点鎖線で示すように、大きな文字の行が切り出
される(横方向のみ)。

【００６６】なお、上記説明では、本文文字以上のサイ
ズの文字から構成される行を抽出する例を示したが、有
効矩形のサイズ範囲及び矩形統合の垂直距離・水平距離
の定義を変えることで、所望のサイズの文字から構成さ
れる行のみを抽出することもできる。例えば、有効矩形
サイズ等の基準値を調整して、本文行のみ抽出すること
も可能である。

【００６７】すなわち、所望の文字サイズの行のみを抽
出することができ、見出し行等に代表される大きなサイ
ズの行のみを抽出して、文字認識処理することができ
る。したがって、原稿の内容を少量のテキストで表現す
ることができる。

【００６８】このように、本実施の形態の文字認識装置
１は、少なくとも文字を含む画像に対して所定の画像処
理を施した後、当該画像処理後の画像の特徴を抽出し、
当該抽出した画像の特徴を予め各文字の特徴が格納され
ている画像特徴辞書と照合して文字認識を行うに際し
て、行切り出し処理で使用する基準値を変更可能なもの
とし、当該基準値に基づいて行切り出し処理を実行して
いる。

【００６９】したがって、複数サイズの行が存在するレ
イアウト構造の複雑な原稿の文字行切り出し精度を向上
させることができ、文字認識を高精度かつ頑強に行うこ
とができる。

【００７０】図１０〜図１１は、本発明の文字認識装置
及び記録媒体の第２の実施の形態を示す図であり、本実
施の形態は、請求項２及び請求項７に対応するものであ
る。

【００７１】なお、本実施の形態は、上記第１の実施の
形態の文字認識装置１と同様な文字認識装置に適用した
ものであり、本実施の形態の説明においては、必要に応
じて、上記第１の実施の形態の説明で用いた符号をその
まま用いて説明する。

【００７２】本実施の形態の文字認識装置１は、ＣＤ−
ＲＯＭドライブ８やＦＤドライブ９で読み取ったＣＤ−
ＲＯＭやフロッピーディスクに記録されている文字認識
ソフトウェアがハードディスク６に導入されて、起動さ
れることで、構築される。

【００７３】そして、文字認識装置１は、上記第１の実
施の形態の文字認識装置１が領域識別処理による判定は
全体的な画像特徴のみで判定していたのに対して、縦横
の２方向を別々に仮定して、それぞれ単独で領域識別処
理を行い、各結果を最終的に合成して、いずれの行方向
についても領域識別する。

【００７４】すなわち、文字認識装置１は、図１０に示
すように、原稿（例えば、図２に示す原稿）の画像デー
タを図示しないスキャナ等で読み取ったり、ＣＤ−ＲＯ
Ｍドライブ８またはＦＤドライブ９に挿入されたＣＤ−
ＲＯＭまたはＦＤから読み取ったり、あるいは、通信部
４を介して他の装置から受信して取得し、取得した原稿
の画像データをハードディスク６に格納する画像入力処
理を行う（ステップＳ２０１）。

【００７５】文字認識装置１は、認識対象の画像データ
をハードディスク６に格納すると、黒画素の連続する範
囲毎に、当該範囲と外接する矩形を求め（抽出し）（ス
テップＳ２０２）、行方向を横に設定して（ステップＳ
２０３）、抽出した矩形に対する行切り出しサブルーチ
ン処理を行う（ステップＳ２０４）。

【００７６】次に、文字認識装置１は、行方向を縦に設
定して（ステップＳ２０５）、当該設定した方向の行切
り出しサブルーチン処理を行い（ステップＳ２０６）、
ステップＳ２０４とステップＳ２０６での横方向と縦方
向の切り出し結果を合成する（ステップＳ２０７）。

【００７７】文字認識装置１は、切り出した行矩形を１
文字単位に分割して文字を切り出す文字切り出し処理を
行い（ステップＳ２０８）、切り出した文字の画像特徴
を抽出する特徴抽出処理を行う（ステップＳ２０９）。

【００７８】次に、文字認識装置１は、ステップＳ２０
９で抽出した画像特徴と、パターン辞書に格納されてい
る文字特徴とを比較し、最も類似している文字パターン
を選択して、文字として認識する文字認識処理を行い
（ステップＳ２１０）、最後に、各文字の認識確信度
（認識結果の確からしさ）であるパターンマッチ距離や
言語解析の妥当さを算出して、処理を終了する（ステッ
プＳ２１１）。

【００７９】そして、文字認識装置１は、上記ステップ
Ｓ２０４及びステップＳ２０６での行切り出しサブルー
チン処理を、図１１に示すように行う。

【００８０】すなわち、文字認識装置１は、行切り出し
サブルーチン処理では、図１１に示すように、行切り出
しパラメータに基づいて有効矩形を設定し（ステップＳ
２２１）、設定した有効矩形を行切り出しパラメータに
基づいて統合して、行を成長させて、行切り出しを行う
（ステップＳ２２２）。

【００８１】このように、本実施の形態の文字認識装置
１は、行方向を縦と横の両方向に仮定して、当該両方に
対する行切り出し処理を実行している。

【００８２】したがって、縦横両方向に行方向が存在し
たり、複数サイズの行が存在するレイアウト構造の複雑
な原稿の文字行切り出し精度を向上させることができ、
文字認識を高精度かつ頑強に行うことができる。

【００８３】すなわち、領域識別処理による判定は全体
的な画像特徴のみで判定するため、行方向を誤る場合も
少くない。また、原稿に含まれる行方向は縦横混在であ
り、予め知ることはできない。

【００８４】ところが、縦横の２方向を別々に仮定し
て、それぞれ単独で処理し、各結果を最終的に合成して
いるので、いずれの行方向の結果も得ることができ、ま
た、実際に行切り出し処理を行うので、高精度に行切り
出し結果を得られる。

【００８５】そして、合成する方法としては、縦横の両
方の結果を単純に連結してもよいが、後続の認識処理に
おいて、誤った行切り出しに対応する認識精度は著しく
低いことが予想されるので、認識結果の確からしさ(パ
ターンマッチ距離や言語解析の妥当さ)が、基準値より
も低ければ、その行切り出し結果は棄却すればよい。

【００８６】図１２〜図１７は、本発明の文字認識装置
及び記録媒体の第３の実施の形態を示す図であり、本実
施の形態は、請求項３から請求項６及び請求項７に対応
するものである。

【００８７】なお、本実施の形態は、上記第１の実施の
形態の文字認識装置１と同様な文字認識装置に適用した
ものであり、本実施の形態の説明においては、必要に応
じて、上記第１の実施の形態の説明で用いた符号をその
まま用いて説明する。

【００８８】本実施の形態の文字認識装置１は、ＣＤ−
ＲＯＭドライブ８やＦＤドライブ９で読み取ったＣＤ−
ＲＯＭやフロッピーディスクに記録されている文字認識
ソフトウェアがハードディスク６に導入されて、起動さ
れることで、構築される。

【００８９】文字認識装置１は、行切り出し処理を行う
際に、行切り出し処理で使用する基準値を段階的に変化
させて、複数回行切り出し処理を実行するものである。

【００９０】すなわち、文字認識装置１は、図１２に示
すように、原稿（例えば、図２に示す原稿）の画像デー
タを図示しないスキャナ等で読み取ったり、ＣＤ−ＲＯ
Ｍドライブ８またはＦＤドライブ９に挿入されたＣＤ−
ＲＯＭまたはＦＤから読み取ったり、あるいは、通信部
４を介して他の装置から受信して取得し、取得した原稿
の画像データをハードディスク６に格納する画像入力処
理を行う（ステップＳ３０１）。

【００９１】文字認識装置１は、認識対象の画像データ
をハードディスク６に格納すると、黒画素の連続する範
囲毎に、当該範囲と外接する矩形を求め（抽出し）（ス
テップＳ３０２）、行切り出し回数をカウントする行切
り出し回数カウンタを「０」にセットする（ステップＳ
３０３）。

【００９２】次に、文字認識装置１は、行切り出し回数
カウンタをインクリメントし（ステップＳ３０４）、行
切り出し回数カウンタのカウント値に応じた行切り出し
パラメータの組を処理パラメータとして設定し（ステッ
プＳ３０５）、図１１に示した行切り出しサブルーチン
処理を行って（ステップＳ３０６）、未処理の行切り出
しパラメータ組みがあるかチェックする（ステップＳ３
０７）。

【００９３】ステップＳ３０７で、未処理の行切り出し
パラメータ組があるときには、文字認識装置１は、ステ
ップＳ３０４に戻って、行切り出し回数カウンタのイン
クリメント処理から上記同様に処理することで、基準値
を段階的に変化させて、複数回行切り出し処理を実行す
る（ステップＳ３０４〜Ｓ３０７）。

【００９４】ステップＳ３０７で、未処理の行切り出し
パラメータ組がないときには、文字認識装置１は、複数
回行った行切り出し処理の切り出し結果を合成し（ステ
ップＳ３０８）、切り出した行矩形を１文字単位に分割
して文字を切り出す文字切り出し処理を行う（ステップ
Ｓ３０９）。

【００９５】文字認識装置１は、切り出した文字の画像
特徴を抽出する特徴抽出処理を行い（ステップＳ３１
０）、ステップＳ３１０で抽出した画像特徴と、パター
ン辞書に格納されている文字特徴とを比較して、最も類
似している文字パターンを選択して、文字として認識す
る文字認識処理を行う（ステップＳ３１１）。

【００９６】文字認識装置１は、最後に、各文字の認識
確信度（認識結果の確からしさ）であるパターンマッチ
距離や言語解析の妥当さを算出して、処理を終了する
（ステップＳ３１２）。

【００９７】すなわち、本文行サイズ以外の行であって
も、行の大きさには複数の段階があり、各々意味がある
場合が多い。例えば、図２の原稿においては、最も大き
なサイズの文字行が見出し行であり、その次に大きな文
字が副題行である。また、原稿によっては、最も大きな
文字行が見出し行で、次に大きな文字行が章題である場
合もある。

【００９８】このような複雑な構造を有する原稿の画像
は、一度に行切り出し処理を実行すると、近傍の別のサ
イズの矩形と誤って統合してしまうおそれがある。例え
ば、図２の原稿の画像について、本文文字行よりも大き
いサイズの文字行を一度に切り出そうとすると、図１３
に示すような複数のサイズの矩形が同時に有効になり、
最も大きな行と、次に大きな行が近接しているため、行
方向が正しくない場合には、行方向で統合されて、図１
４に示すように、不正な行切り出し結果が混入する結果
となるおそれがある。

【００９９】そこで、本実施の形態の文字認識装置１
は、上述のように、行切り出しの対象となる文字行の範
囲を段階的に設定し、注目しているサイズより大きくて
も小さくても、行切り出し処理に影響しないようにし
て、行切り出し処理を高精度に行っている。

【０１００】例えば、図１５に示した原稿においては、
最も大きな文字行を切り出す処理においては、最も大き
な行の認識結果を第一に提示して、２番目に大きな文字
行に相当する矩形を無視し、その次に大きな行の認識結
果を提示することで、原稿の内容を簡潔に表現して、た
とえ行方向が正しくない場合であっても、不正な統合を
してしまうことを防止し、図１６に示すように、正しい
行方向で行の切り出しを行うことができる。

【０１０１】したがって、行抽出結果を行の大きさ別に
まとめることによって、当該原稿において、意味のある
重要な行を効率的に求めることができる。

【０１０２】そして、上記大きさの異る文字行を段階的
に抽出するには、各文字行に対応した行切り出し基準値
(有効矩形サイズ、矩形統合距離等)の組を複数組用意
し、基準値を変えて複数回、行切り出し処理を繰り返す
ことで、対応することができる。

【０１０３】なお、文字のサイズの変化は、他のサイズ
の文字との差異を強調するために使用されるものである
ため、なだらかに変化はせず、段階的に変化することが
通常である。したがって、本文文字(通常の文章では、
１０．５ｐｏｉｎｔ）を基に、行切り出し処理の基準値
の組を段階的に設定することができる。

【０１０４】このように、本実施の形態の文字認識装置
１は、基準値を段階的に変化させて、行切り出し処理を
複数回実行している。

【０１０５】したがって、縦横両方向に行方向が存在し
たり、複数サイズの行が存在するレイアウト構造の複雑
な原稿の文字行切り出し精度をより一層向上させること
ができ、文字認識をより一層高精度かつ頑強に行うこと
ができる。

【０１０６】また、上記行切り出し処理においては、縦
方向と横方向との両方の行切り出し処理を独立して行
い、それぞれの行切り出し結果を最後に合成し、また、
文字サイズ行の大きさ毎に行切り出し処理を独立して行
い、最後に合成している。

【０１０７】したがって、縦横両方向に行方向が存在し
たり、複数サイズの行が存在するレイアウト構造の複雑
な原稿の文字行切り出し精度をより一層向上させること
ができ、文字認識をより一層高精度かつ頑強に行うこと
ができる。

【０１０８】ところが、各々の行切り出し処理を独立し
て実行すると、図１４に示したように、重複した範囲を
別々の行切り出し結果となるおそれがある。

【０１０９】そして、誤った行方向を仮定した場合に
は、文字間隔よりも行間隔の方が広いが一般的であるた
め、偶然、狭い行間隔の付近で誤って統合されてしまっ
ても、近隣の矩形がやがて存在しなくなり、行は長く成
長していかない。

【０１１０】一方、行方向を正しく仮定した場合には、
近隣の矩形を統合していき、行は長く成長していく。

【０１１１】そこで、同一範囲を共有する行切り出し結
果のうち、行矩形が最も広い面積の結果を正しい行選択
として選択すると、誤った行方向を仮定した切り出し結
果を棄却することができる。なお、行矩形の縦横比を用
いて行選択を行っても、同様に誤った行方向を仮定した
切り出し結果を棄却することができるが、行が細く切り
出された場合に選択を誤るおそれがあるため、面積比を
用いて行選択を行うことが望ましい。例えば、誤った行
方向で行を切り出した場合を示している図１４と正しい
行方向で行を切り出した場合を示している図１６を比較
すると、図１４の場合の行矩形よりも、明らかに図１６
の場合の行矩形の面積が広いため、図１６の方の行切り
出しを選択することになる。

【０１１２】このようにすると、大きな行に含まれてい
る小さな行と同程度のサイズの行を削除することを防止
して、縦横両方向に行方向が存在したり、複数サイズの
行が存在するレイアウト構造の複雑な原稿の文字行切り
出し精度をより一層向上させることができ、文字認識を
より一層高精度かつ頑強に行うことができる。

【０１１３】さらに、図領域の判定を行う場合、大きな
文字行の抽出結果が確定した後、当該範囲を削除する
と、図領域と混同していた部分が削除されるため、図領
域の判定が高精度に行うことができる。すなわち、大き
な文字画像は削除されているため、大きな矩形のうち、
正方形に近い矩形を図領域と判定しても、正しく図領域
を高い確率で判定することができる。

【０１１４】また、文字行と判定した範囲を削除する
と、大きな文字行が存在していた範囲が空白になるた
め、大きな文字行とは関係のない行、例えば、本文文字
行の矩形が、大きな文字行に誤って統合されてしまうこ
とを防止することができ、より高精度に図領域と文字行
を判定することができる。

【０１１５】すなわち、図１７に示すように、大きな文
字行の範囲を削除した画像を領域識別処理して、領域を
判定し、その後、領域に応じた処理を加える。例えば、
文字領域であれば、行切り出し処理→文字切り出し処理
→認識処理という一連の処理を行う。

【０１１６】このようにすると、文字行を積極的に抽出
することで最終的に残った行を文字領域以外と判定し
て、縦横両方向に行方向が存在したり、複数サイズの行
が存在するレイアウト構造の複雑な原稿の文字行切り出
し精度をより一層向上させることができ、文字認識をよ
り一層高精度かつ頑強に行うことができる。

【０１１７】なお、上記各実施の形態においては、図１
に示した１つの装置として文字認識装置１が構成されて
いる場合について説明したが、文字認識装置は、図１８
に示すように、文字認識装置２０が、インターネット等
通信回線２１で相互に接続された複数の装置２２ａ、２
２ｂ、２２ｃ、・・・で構築されていてもよい。この場
合、装置２２ａ、２２ｂ、２２ｃ、・・・が、図１に示
した文字認識装置１としての機能を分担し、例えば、装
置２２ａがＣＰＵ２としての機能、装置２２ｂが、ハー
ドディスク６としての機能、装置２２ｃが、原稿の画像
を読み取るスキャナ等としての機能を果たすことにな
る。

【０１１８】以上、本発明者によってなされた発明を好
適な実施の形態に基づき具体的に説明したが、本発明は
上記のものに限定されるものではなく、その要旨を逸脱
しない範囲で種々変更可能であることはいうまでもな
い。

【０１１９】

【発明の効果】請求項１記載の発明の文字認識装置によ
れば、少なくとも文字を含む画像に対して所定の画像処
理を施した後、当該画像処理後の画像の特徴を抽出し、
当該抽出した画像の特徴を予め各文字の特徴が格納され
ている画像特徴辞書と照合して文字認識を行うに際し
て、行切り出し処理で使用する基準値を変更可能なもの
とし、当該基準値に基づいて行切り出し処理を実行する
ので、複数サイズの行が存在するレイアウト構造の複雑
な原稿の文字行切り出し精度を向上させることができ、
文字認識を高精度かつ頑強に行うことができる。

【０１２０】請求項２記載の発明の文字認識装置によれ
ば、行方向を縦と横の両方向に仮定して、当該両方に対
する行切り出し処理を実行するので、縦横両方向に行方
向が存在したり、複数サイズの行が存在するレイアウト
構造の複雑な原稿の文字行切り出し精度を向上させるこ
とができ、文字認識を高精度かつ頑強に行うことができ
る。

【０１２１】請求項３記載の発明の文字認識装置によれ
ば、基準値を段階的に変化させて、行切り出し処理を複
数回実行するので、縦横両方向に行方向が存在したり、
複数サイズの行が存在するレイアウト構造の複雑な原稿
の文字行切り出し精度をより一層向上させることがで
き、文字認識をより一層高精度かつ頑強に行うことがで
きる。

【０１２２】請求項４記載の発明の文字認識装置によれ
ば、段階的に変化させた各基準値毎に行った行切り出し
処理の処理結果を統合して、行切り出しを行うので、縦
横両方向に行方向が存在したり、複数サイズの行が存在
するレイアウト構造の複雑な原稿の文字行切り出し精度
をより一層向上させることができ、文字認識をより一層
高精度かつ頑強に行うことができる。

【０１２３】請求項５記載の発明の文字認識装置によれ
ば、段階的に変化させた各基準値毎に行った行切り出し
処理の処理結果を統合する際、矩形範囲が重複している
矩形に対しては、矩形面積が広い方の矩形を行として選
択するので、大きな行に含まれている小さな行と同程度
のサイズの行を削除することを防止して、縦横両方向に
行方向が存在したり、複数サイズの行が存在するレイア
ウト構造の複雑な原稿の文字行切り出し精度をより一層
向上させることができ、文字認識をより一層高精度かつ
頑強に行うことができる。

【０１２４】請求項６記載の発明の文字認識装置によれ
ば、基準値毎に抽出した行切り出し結果に対応する行画
像を削除するので、文字行を積極的に抽出することで最
終的に残った行を文字領域以外と判定して、縦横両方向
に行方向が存在したり、複数サイズの行が存在するレイ
アウト構造の複雑な原稿の文字行切り出し精度をより一
層向上させることができ、文字認識をより一層高精度か
つ頑強に行うことができる。

【０１２５】請求項７記載の発明の記録媒体によれば、
記録媒体に、情報処理装置に導入されて実行されること
で、上記請求項１から請求項６のいずれかに記載の文字
認識装置を構築する文字認識方法のプログラム及びデー
タを記録しているので、記録媒体を、コンピュータ等の
情報処理装置に読み取らせることで、複数サイズの行が
存在するレイアウト構造の複雑な原稿の文字行切り出し
精度を向上させて、文字認識を高精度かつ頑強に行うこ
とのできる文字認識装置を実現することができる。

【図面の簡単な説明】

【図１】本発明の文字認識装置及び記録媒体の第１の実
施の形態を適用した文字認識装置の要部ブロック構成
図。

【図２】図１の文字認識装置で読み取られる原稿の一例
を示す図。

【図３】図１の文字認識装置による文字認識処理を示す
フローチャート。

【図４】図３の行切り出し処理での図２の原稿からの矩
形抽出結果の一例を示す図。

【図５】矩形間の水平距離を測定して矩形を統合して行
切り出しを行う行切り出し方法の説明図。

【図６】矩形間の垂直距離を測定して矩形を統合して行
切り出しを行う行切り出し方法の説明図。

【図７】図３の行切り出し処理で本文文字の矩形以上の
矩形のみを残した場合の画像を示す図。

【図８】図３の行切り出し処理で本文文字の矩形以上の
矩形のみを残す処理を行った場合に本文文字よりも大き
な文字の一部に本文文字サイズと同じ程度の大きさの孤
立点などがある画像を示す図。

【図９】図８の有効矩形に対して図５及び図６の近隣矩
形の統合処理を施した際に大きな文字の行が切り出され
ことを示す図。

【図１０】本発明の文字認識装置及び記録媒体の第２の
実施の形態を適用した文字認識装置による文字認識処理
を示すフローチャート。

【図１１】図１０の行切り出しサブルーチン処理を示す
フローチャート。

【図１２】本発明の文字認識装置及び記録媒体の第３の
実施の形態を適用した文字認識装置による文字認識処理
を示すフローチャート。

【図１３】図２の原稿の画像に対して複数のサイズの矩
形が同時に有効になる行切り出しの一例を示す図。

【図１４】図２の原稿の画像に対して行方向が誤った行
方向で行切り出しを行った場合の一例を示す図。

【図１５】図２の原稿の画像に対して１回の行切り出し
処理では同程度のサイズの矩形のみを有効にする行切り
出しを行った場合の一例を示す図。

【図１６】図２の原稿の画像に対して正しい行方向での
行切り出しを行った場合の一例を示す図。

【図１７】図２の原稿の画像を行切り出しで段階的に文
字領域を削除した原稿の図。

【図１８】文字認識装置をネットワーク接続された複数
の装置で構成する場合の構成例を示す図。

【符号の説明】

１ 文字認識装置 ２ ＣＰＵ ３ メモリ ４ 通信部 ５ 表示部 ６ ハードディスク ７ キーボード ８ ＣＤ−ＲＯＭドライブ ９ ＦＤドライブ １０ バス ２０ 文字認識装置 ２１ 通信回線 ２２ａ、２２ｂ、２２ｃ、・・・ 装置

Claims (7)

【特許請求の範囲】
1. 【請求項１】少なくとも文字を含む画像に対して所定の
   画像処理を施した後、当該画像処理後の画像から文字行
   を切り出す行切り出し処理を行って、当該行切り出しを
   行った行の画像の特徴を抽出し、当該抽出した画像の特
   徴を予め各文字の特徴が格納されている画像特徴辞書と
   照合して文字認識を行う文字認識装置であって、前記行
   切り出し処理で使用する基準値を変更可能なものとし、
   当該基準値に基づいて行切り出し処理を実行することを
   特徴とする文字認識装置。
2. 【請求項２】前記文字認識装置は、行方向を縦と横の両
   方向に仮定して、当該両方に対する行切り出し処理を実
   行することを特徴とする請求項１記載の文字認識装置。
3. 【請求項３】前記文字認識装置は、前記基準値を段階的
   に変化させて、前記行切り出し処理を複数回実行するこ
   とを特徴とする請求項１または請求項２記載の文字認識
   装置。
4. 【請求項４】前記文字認識装置は、前記段階的に変化さ
   せた各基準値毎に行った行切り出し処理の処理結果を統
   合して、行切り出しを行うことを特徴とする請求項３記
   載の文字認識装置。
5. 【請求項５】前記文字認識装置は、前記段階的に変化さ
   せた各基準値毎に行った行切り出し処理の処理結果を統
   合する際、矩形範囲が重複している矩形に対しては、矩
   形面積が広い方の矩形を行として選択することを特徴と
   する請求項４記載の文字認識装置。
6. 【請求項６】前記文字認識装置は、前記基準値毎に抽出
   した行切り出し結果に対応する行画像を削除することを
   特徴とする請求項４記載の文字認識装置。
7. 【請求項７】情報処理装置に導入されて実行されること
   で、上記請求項１から請求項６のいずれかに記載の文字
   認識装置を構築する文字認識方法のプログラム及びデー
   タを記録していることを特徴とする記録媒体。