JP2002007966A

JP2002007966A - 文書画像復号方法

Info

Publication number: JP2002007966A
Application number: JP2001130954A
Authority: JP
Inventors: P Minka Thomas; ピーミンカトーマス; S Bloomberg Dan; エスブルームバーグダン; Ashok C Popat; シーポパットアショク
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2000-05-12
Filing date: 2001-04-27
Publication date: 2002-01-11
Anticipated expiration: 2021-04-27
Also published as: JP4624593B2; US6738518B1

Abstract

(57)【要約】【課題】確率的有限状態ネットワークを用いて文書画
像レイアウトをモデル化するテキスト認識システムにお
いて、テキスト行復号の計算効率を改善する。【解決手段】復号処理における実テンプレート画像と
観測画像との間での一致度を求める実スコア計算を、列
ベースの（すなわち一次元）発見的スコアの計算に置き
換える。この場合、観測画像２１の各画素列（縦列）毎
に黒画素数を求め、その黒画素数の１次元のアレイ４２
を生成し、テンプレートにも同様の列毎の黒画素数のア
レイを生成する。そして、観測画像のアレイ４２とテン
プレートのアレイとのマッチング処理により、列ベース
の発見的スコアを求める。この発見的スコアは、従来方
式で求められる実スコアの真の上界となるので、テキス
ト行復号時に実スコアの代わりに使用できる。テンプレ
ートとしては、バイレベル（２値）のものもマルチレベ
ルのものも使用できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、全般的には、マル
コフ情報源などの確率的有限状態ネットワークを使用す
る画像復号認識技法に関する。特に、本発明は、テキス
ト行画像を復号する際にダイナミック・プログラミング
（動的計画法）操作で使用できる発見的（ヒューリステ
ィック）スコアを作成する技法を提供する。

【０００２】

【従来の技術】米国特許第５３２１７７３号は、従来の
通信理論に基づく文書画像復号（以下、ＤＩＤと略す。
ＤＩＤは、Document Image Decodingの略）と呼ばれる
文書認識技法を開示している。ＤＩＤモデルは、確率的
メッセージ情報源、イメージャ、チャネル、およびデコ
ーダを含む。確率的メッセージ情報源は、従来の確率分
布に従って１組の候補文字列から有限文字列Ｍを選択す
る。イメージャは、メッセージを理想的なバイナリ画像
Ｑに変換する。チャネル・モデルは、スキュー（斜め歪
み）、ブラー（ぼけ）、付加的ノイズ（additive nois
e）など、印刷および走査による歪みを導入することに
よって、理想画像を観測画像Ｚにマッピングする。最後
に、デコーダは、観測画像Ｚを受信し、ア・ポステオリ
（後験的）な（ＭＡＰ）決定基準に従って最初のメッセ
ージの推定値Ｍ＾（Ｍの上に“＾”（ハット）が乗った
ものと解されたい。文字コードの制限上、このように表
記する）を作成する。最初のメッセージの推定値Ｍ＾
は、観測されるメッセージＺのトランスクリプション
（転写）と呼ばれることが多い。

【０００３】メッセージ情報源およびイメージャの機能
が組み合わされることで、マルコフ情報源として実現さ
れる単一の合成情報源となる。マルコフ情報源とは、正
規文法として特定のクラスの文書画像に生じる二次元
（２Ｄ）空間レイアウト（配置）および画像構成要素群
の全体を記述する確率論的有限状態オートマトンであ
る。一般的なマルコフ情報源モデルは、１組の節（ノー
ド）と、各節への１組の有向遷移とを含む有限状態ネッ
トワークを備える。２つの顕著な節はそれぞれ、初期状
態および最終状態を示す。画像はネットワーク内を通る
道（パス）として表わされる。ネットワーク内の任意の
先行要素状態と後続要素状態との間の有向遷移は、１組
の属性に関連付けされている。これら属性の組には、遷
移確率と、英語の記号または文字を識別するためのメッ
セージ文字列と、ページ画像で使用されるフォントで表
された文字テンプレートと、道が次に取り出す画像内の
（ｘ，ｙ）位置を示すベクトル変位を含む。このベクト
ル変位は、（ｗ_t，０）とラベル付けされる。変位
（ｗ_t，０）は、テンプレートの「設定幅」である水平
距離ｗを示す。テンプレートの設定幅は、この遷移に関
連するテンプレートが画像内で占有するテキスト行上の
水平（ｘ方向）距離を指定する。

【０００４】米国特許第５３２１７７３号は、観測画像
の復号処理において、初期状態から最終状態へと、モデ
ルの節および画像平面の座標によってインデックスが付
された三次元（３Ｄ）復号トレリス（菱形）・データ構
造を通して最良の（ＭＡＰ）道を見つけることを開示し
ている。復号では、二次元形式のビタビ（ダイナミック
・プログラミング：動的計画法）アルゴリズムを使用し
て、画像平面の各点で、再帰的に定義された１組の尤度
関数が算出される。ビタビ手順の前進フェーズでは、画
像内の各画素位置ごとに、各文字テンプレートを印刷す
ることで得られる道群の中から、すでに算出されている
すべての位置に到着するための最も可能性の高い道群を
使用することによって、その位置に到着する可能性の最
も高い道が識別される。

【０００５】最良の道の尤度を算出する場合、ある確率
を有するある画像を予測するチャネル・モデルから導か
れた確率分布が使用される。観測画像Ｚを復号する場
合、画像平面の各点で、再帰的に定義された１組の尤度
関数が算出される。各々の節の計算では、遷移のテンプ
レートが、画像点の近傍で、復号すべき画像の領域に対
応している確率が算出される。このテンプレート画像確
率は、画像点での特定のテンプレートと画像領域との一
致（整合性）の度合いを示すテンプレート画像一致スコ
アによって表される。画像モデルを表す復号トレリスで
は、テンプレート画像一致スコアはトレリス内の枝をラ
ベル付けする。

【０００６】最良の道上のソース・モデル内の開始節か
ら終了節までの各節間の遷移に関連する文字テンプレー
トの系列は、復号画像のメッセージまたはトランスクリ
プションを形成するように連結される。

【０００７】モデルによって定義される画像のサイズお
よび複雑さ（すなわち、遷移の数）と、マッチング処理
すべきテンプレートの数は計算時間の主要な因子であ
る。

【０００８】計算時間に影響を与える重要な因子は実テ
ンプレート画像スコアの計算である。ここで、各テンプ
レートは、当該画像中の各画像位置に整合している。

【０００９】復号効率を改善する必要があることを認識
した米国特許第５５２６４４４号（以下、ＩＣＰ特許第
５５２６４４４号と呼ぶ）は、各テキスト行を復号する
のに必要な時間を削減する繰り返し完全パス（Ｉｔｅｒ
ａｔｅｄＣｏｍｐｌｅｔｅＰａｔｈ：以下、ＩＣＰと
略す）と呼ばれる発見的アルゴリズムを開示する。復号
時には、ＩＣＰによって、各節への削減された１組の遷
移群のみに対して水平モデルが実行される（すなわち、
実テンプレート画像一致スコアが算出される）。ここ
で、各節への削減された遷移の数は、その節へのすべて
の可能な遷移の数よりもかなり小さい。

【００１０】ＩＣＰは、画素の水平行の大部分の全ビタ
ビ復号を、その行のスコアの単純上界の計算で置き換え
る。この上界スコアは発見的関数から導かれる。したが
って、水平テキスト行が生じる可能性があることを垂直
モデルが示す画像の各領域ごとに、各行がテキスト・ベ
ースラインであるかのようにこの領域内の各画素行に対
して全ビタビ復号を実行するのではなく、まず、各水平
行ごとに発見的スコアを導く。

【００１１】

【発明が解決しようとする課題】ＩＣＰアルゴリズムは
全体的な復号時間を顕著に改善したが、ＤＩＤ法を使用
した単一列（単一コラム）のテキストだけの単一のペー
ジの文書認識は依然として商業的に実際的なものではな
かった。復号時間は、発見的スコアの代わりに実スコア
が算出されるときに、個々の水平テキスト行に対して全
ビタビ復号を実行することに費やされる。ＩＣＰ特許第
５５２６４４４号で開示された技術的進歩によって実現
される改良は、顕著なものであるが、個々のテキスト行
の効率的な復号に対処するものではなかった。個々のテ
キスト行の復号時間をさらに短縮することが望ましい。

【００１２】

【課題を解決するための手段】本発明の技法は、実スコ
アよりも計算するのが簡単であると共に復号計算におい
て実スコアを十分正確に表す発見的スコアを使用するこ
とで、テキスト行の全ビタビ復号中に実テンプレート画
像一致スコアを算出することを不要にすることができる
という観測に基づくものである。

【００１３】本発明は、列画素カウントに基づく新しい
上界発見的テンプレート画像一致スコアを算出し、画像
情報源としての確率的有限状態ネットワークと、復号を
実行するためのビタビ手順などの動的計画法（ダイナミ
ック・プログラミング）演算とを使用する任意の全ペー
ジ・デコーダまたは全ライン・デコーダでのテキスト行
の復号時に、この新しいヒューリスティックを使用する
技法を導入する。

【００１４】本発明のスコアリング・ヒューリステッィ
クには２つの重要な利点がある。発見的（ヒューリステ
ィック）列ベースのスコアリング（スコア付け演算）に
より、文書画像モデルを表す確率的有限状態ネットワー
ク内の行内節の真の上界スコアが作成され、これにより
行復号時にこの発見的スコアを使用することにより、算
出する必要のある実テンプレート画像一致スコアの数
を、行復号の精度を犠牲にすることなく減らすことがで
きる。

【００１５】また、この発見的（ヒューリスティック）
スコアを使用すると、実テンプレート画像スコアの二次
元計算は主として、より簡単な、この発見的スコアの一
次元計算になる。列ベースの発見的スコアのより簡単で
あるが正確な計算により、従来の復号方法が必要とす
る、計算コストのかかる非常に多数の実テンプレート画
像スコアがこの発見的スコアで置き換えられるので、計
算効率が顕著に向上する。列ベースの発見的スコアは、
文字テンプレートの列内のＯＮ画像および画像の列内の
ＯＮ画像の数に関する情報を表す一次元データ構造を使
用して算出される。

【００１６】

【発明の実施の形態】この実施の形態の技法は、ある定
義を考慮したときに最も良く理解される。すなわち、
「グリフ」という用語は、本明細書では、画像内に実現
される文字の単一のインスタンス、すなわち例を指す。

【００１７】この実施の形態では、文字テンプレート・
データ構造のライブラリが使用される。テンプレート２
１（図２）などの各テンプレート・データ構造は、文字
のビットマップ画像を示す。文字には、その文字を一意
に識別するための文字ラベルが対応づけられている。

【００１８】テンプレートは、寸法ｍ×ｎの画素群を有
し、さらに、テンプレート２１ではクロスバー（十字
形）によって示された原点と、文字の設定幅ｗとを有す
る。各テンプレートのテンプレート原点は、各テンプレ
ート内の同じ位置に指定されている。図２では文字テン
プレートが２Ｄ画素アレイとして示されているが、これ
はテンプレートを表すことのできるデータ構造の一つの
タイプである。テンプレートは、垂直ストローク、ジョ
イン（join：接合部）、アセンダ（英文組版で“ｘ”よ
り上に伸びた部分）、ディセンダ（英文組版でベースラ
インより下に伸びた部分）、湾曲部などのようなビット
マップ文字の各断片を連結することによって作成する
か、あるいは完全な文字テンプレートを表す明示的な２
Ｄ画素アレイを出力として作成する形式モデルによって
表すこともできる。

【００１９】ビットマップ文字テンプレートの「サポー
ト」または「前景」は、テンプレートが背景と異なる１
組の画素位置群である。白い背景上に黒いテキストを含
む文書では、テンプレート・サポートは１組の黒い
（「ＯＮ」）テンプレート画素群である。文字テンプレ
ートは、黒以外の色の前景画素を有するテンプレートと
して定義することもでき、あるいは黒い背景上に白いテ
キストを示す「反転ビデオ」テンプレートであってもよ
い。

【００２０】テンプレートのサポート領域および背景領
域は、いくつかの異なるレベルに分離し、それぞれの画
像発生確率を割り当てることができる。サポート領域お
よび背景領域が２つの異なるレベル（１つが黒い背景画
素のレベル、もう１つが白い背景画素のレベル）である
に分離されるテンプレートを、本明細書では「バイレベ
ル（bi-level）」テンプレートと呼ぶ。このテンプレー
トは、最大で２つの画素レベルを示す。バイレベル・テ
ンプレートは、いくつかの黒い前景画素に関してそれぞ
れの異なる発生確率を示す、２つ以上の黒前景画素レベ
ルを含むマルチレベル・テンプレートと区別することが
できる。

【００２１】本発明では、発見的スコアを算出するため
に特殊なデータ構造、すなわち、上界発見的スコアを効
率的に算出することを可能にする文字テンプレート・デ
ータ構造および画像テキスト行データ構造から導かれ
る、より簡単な一次元サロゲート（代用物）が作成され
る。このようなサロゲート・データ構造は「テンプレー
ト・アナログ・データ」構造および「画像アナログデー
タ」構造と呼ばれ、各データ構造は、それぞれの情報源
データ構造に存在する前景列画素カウント値に関する情
報を示す。

【００２２】図１の演算２００によって、テンプレート
・ライブラリ２０内の各バイレベル・テンプレートまた
は標準テンプレートごとに１組の一次元（１Ｄ）１×ｍ
テンプレート列アレイ（配列）群４０が作成される。テ
ンプレート列アレイ内の各データ項目は、テンプレート
内の１列の画素に対応し、そのテンプレート画素列内の
ＯＮ画素の数を示す。図２は、テンプレート・ライブラ
リ内のテンプレート２１、２２、２３、および２４のテ
ンプレート列アレイ群４０の作成を概略的に示してい
る。この例では、アレイ群４０は、個々のテンプレート
２１〜２４にそれぞれ対応するテンプレート列アレイ４
２，４４，４６，４８を含んでいる。テンプレート列ア
レイ群４０を作成するプロセスの擬似コードは以下のと
おりである。

【００２３】［コード１］＊１Ｄテンプレート画素カウント・アレイを算出＊ｋ＝テンプレートｑの総数＊ｍ＝画素列群にわたるテンプレート幅＊ｎ＝画素行群にわたるテンプレート高さｉ＝｛１ｌ，．．．ｋ｝について実行開始ｊ＝｛１，．．．ｍ｝について実行開始ｌ＝｛１，．．．ｎ｝について実行開始テンプレート列アレイ_i(j)＝テンプレート列アレイ_i(j)＋ｑ_i(j,l) 終了終了終了

【００２４】演算３００では、観測画像Ｚと呼ばれる、
復号すべき画像内の幅Ｗの画像領域を入力として使用し
て、１×Ｗ画像テキスト行列アレイ６０が作成される。
図３は、入力画像の画像領域５０に関する画像テキスト
行列アレイ６０の作成を概略的に示している。画像テキ
スト行列アレイ６０は、以下では画像アレイ６０と呼ば
れ、テキストのベースライン上にあるか、あるいはその
近傍にあるとみなされる画像Ｚ内のある水平画素行ｙに
対して作成される。画像アレイ６０内の各データ項目
は、Ｚ内の画像幅分の画像領域の中の画素列に対応し、
その画素列内のＯＮ画素の数を示す。画像領域５０は寸
法ｎ×Ｗを有し、この場合、ｎはテンプレート・ライブ
ラリ内のテンプレートの高さを示す。画像アレイ６０を
作成するプロセスの擬コードは以下のとおりである。

【００２５】［コード２］＊画像Ｚ内の行ｙに関して１Ｄ画像領域列画素カウントアレイＩＣを算出＊ｙ＝１Ｄアレイについての画像Ｚ内の水平行＊ｗ＝画素列群内の行ｙの幅＊ｎ＝画素行群内のテンプレート高さｊ＝｛１，．．．ｗ｝について実行開始ｌ＝｛ｙ−（ｎ−１），．．．ｙ｝について実行開始ＩＣ_y(j)＝ＩＣ_y(j)＋Ｚ_(j,l) 終了終了

【００２６】復号は、テンプレート列アレイ４０および
画像アレイ６０を使用して作成された発見的スコアを用
いて開始し、実テンプレート画像一致スコアは必要に応
じて算出される。また、発見的スコアは、画像ベースラ
インの周りにテンプレートを垂直に位置決めした場合の
いかなる場合にも有効である。

【００２７】発見的列ベース・スコアリングを使用した
テキスト行の復号は、実テンプレート画像一致スコアで
はなく発見的列ベース・スコアを使用してテキスト行を
通る最良の道を識別することによって、ビタビ復号手順
を実行することから成る。ビタビ・デコーダは、テンプ
レート・ライブラリ内のすべてのテンプレートに画素位
置ｘ_iで観測画像との最良の一致を示す水平テキスト行
内の各画素位置ｘ_iごとのスコアを必要とする。列ベー
スの発見的スコアは、テキスト行復号が開始される前に
算出される。図１の演算４００では、画像アレイ６０お
よび１組のテンプレート列アレイ群４０を入力として使
用して列ベースの発見的スコア７０が作成される。発見
的スコア・アレイ７０はｋ×ｗのアレイであり、この場
合、ｋは情報源モデル内のテンプレートの総数であり、
ｗは、復号中の画像テキスト行またはその一部の幅であ
る。列ベースの発見的スコアは、画像テキスト行のあら
ゆる画像位置ｉで、あらゆるテンプレートについて算出
され、すべてのスコアは、動的計画法（ダイナミック・
プログラミング）復号演算で使用できるように記憶され
る。

【００２８】図４は、発見的スコア７０がどのように作
成されるかを概略的に示している。画像アレイ６０内の
各アレイ要素ＩＣ_iは、テキスト行画像内の画素位置ｘ_i
に関する列ベースの画素カウントを表す。１組のｋ個の
テンプレート列アレイ群４０内の各テンプレート列アレ
イ４５は、その各エントリ４３が当該テンプレート内の
その列に関する列ベースの画素カウントを表す１×ｍア
レイである。演算４００では、復号中のテキスト行画像
内の各画素位置での各テンプレートごとに１つのスコ
ア、合計ｋ×ｗ個のスコアが作成される。図４は、ｋ×
ｗ発見的スコア・アレイ７０に記憶されたこの１組の発
見的スコアを示している。テキスト行画像内の画素位置
ｘ_iの発見的スコアを示すアレイ７０内のスコアＳ_k(i)
を作成する場合、各テンプレート列アレイ内の各エント
リが、文字テンプレートの幅にわたって、アレイ要素Ｉ
Ｃ₁から始まる画像アレイ６０内の連続する同じ数のエ
ントリと１つずつ比較される。図４は、双方向矢印を含
む線を使用してこの比較を表している。比較された各エ
ントリ対の最小値（すなわち小さい方の値）が取り出さ
れ、そのテンプレートのスコアを示す連続和に加えられ
る。最小値のすべての和から得た最終テンプレート・ス
コアがスコア・アレイ７０内のエントリＳ_k(i)になる。
１組のアレイ群４０内の各テンプレート列アレイは、同
様に、エントリＩＣ_iから始まる画像アレイ６０内の１
組のアレイ・エントリと比較される。上述の演算４００
の擬似コードは以下のとおりである。

【００２９】［コード３］＊１×ｍテンプレート列アレイを使用して１×ｗ画像列アレイＩＣ＊内の各エントリごとに発見的スコアを算出＊ｗ＝（行ｙ内の画素列の数を表す）画像列アレイ内のエントリの数＊ｋ＝テンプレート列アレイの総数＊ｍ＝テンプレート列アレイ内のエントリの数＊ｋ×ｗスコア・アレイをゼロに初期設定ｑ＝｛１，．．．ｋ｝について実行開始ｉ＝｛１，．．．ｗ｝について実行開始ｊ＝｛１，．．．ｍ｝について実行開始スコア_(q,i)＝スコア_(q,i)＋ｍｉｎ（テンプレート列アレイ_(q,j)，ＩＣ_(i+ _(j-l) ）終了終了終了

【００３０】発見的スコアを算出する際、特定の比較演
算に関して短すぎるか、あるいは長過ぎるデータ構造
は、計算を容易にするための必要に応じて、ゼロでパデ
ィングする（埋める）ことによって必要な長さに延ばさ
れるか、あるいは必要な長さに打ち切られる。列ベース
の発見的スコアは、実テンプレート画像一致スコアの真
の上界スコアである。実テンプレート画像一致スコアで
は、各テンプレート列の寄与は、テンプレート画像ＡＮ
Ｄ演算の後にＯＮになる列内の画素の数である。ＡＮＤ
演算によって、このＯＮテンプレート列画素数が、テン
プレート列内のＯＮ画素の数、すなわち突き合わせてい
る画像列内のＯＮ画素の数を超えることはなくなる。し
たがって、テンプレート内のＯＮ列画素の数と画像内の
ＯＮ列画素の数との間での最小値（小さい方）は、テン
プレートと画像の間の実一致スコアの真の上界である。

【００３１】列ベースの発見的スコアリングは、マルチ
レベル・テンプレートを使用するシステムでのテキスト
行復号に適用することができる。マルチレベル・テンプ
レートを使用した復号は、バイレベル・テンプレートま
たは標準テンプレートを使用した場合よりも正確なトラ
ンスクリプション結果を与える。

【００３２】マルチレベル・テンプレート６２０（図
５）は、前景画素および背景画素を観測画像内のそれら
の発生確率に従ってそれぞれの異なる画素グループに分
類する。各画素グループが、テンプレート・レベルであ
る。図５は、一例として５レベルのテンプレートを、５
つの矩形を積み重ねた集まりとして示している。ここで
各矩形はそれぞれ、寸法ｍ×ｎを有し、指定された画素
を含む１つのテンプレート・レベルを示す。

【００３３】単一レベルのテンプレートの各列内の黒画
素および白画素は、マルチレベル・テンプレートでは、
複数のテンプレート・レベルにわたって分散する。１つ
の画素が複数のレベルに属することはできず、各画素は
あるレベルにだけ存在し、したがって、各画素は１つの
レベルにだけ、１度だけ現れる。

【００３４】テンプレート・レベルは３種類のうちの１
つとして指定することができる。第１の種類である黒画
素テンプレート・レベルは、文字画像内の黒画素のう
ち、背景画素であるよりも前景画素（黒）である方の確
率が高い画素のセットを含み、実テンプレート画像一致
スコアの算出時に正の重みが関連付けされる。テンプレ
ート・レベル６２１、６２２、６２３は、各レベルにお
いてラベル６３１「ｂｌ」（blackの略）で示されてい
るように黒画素テンプレートとして指定されている。第
２の種類である白画素テンプレート・レベルは、文字画
像内の白画素のうち、背景画素であるよりも白画素であ
る確率の方が高い画素のセットを含み、負の重みが関連
付けされる。図５のテンプレート６２０は、ラベル６３
３「ｗｈ」で示（whiteの略）されているように１つの
白画素テンプレート・レベル６２４を含む。第３の種類
背景テンプレート・レベルは、文字画像の「サポート」
のいかなる部分も形成しない背景画素のセットである。
背景テンプレート・レベルはテンプレート画像一致スコ
アリング・プロセスに関与しない。図５のテンプレート
・レベル６２５は、ラベル６３４「ｂｋ」（background
の略）で示されているように背景画素テンプレートとし
て指定されている。一般に、マルチレベル・テンプレー
トは、少なくとも２つの黒前景画素レベルおよび１つの
背景中立画素レベルを含む。

【００３５】またマルチレベル文字テンプレートは、各
レベル毎に関連づけて、観測画像内の文字画像に現れる
当該レベルの画素群の確率を示す確率または重みを有す
る。図５は、レベルの番号を示す下付き文字を有するｗ
で指定されたボックスとして確率６５０を示している。

【００３６】ｎレベルのマルチレベル・テンプレートの
実スコアを算出するには、黒及び白のテンプレート・レ
ベル群のそれぞれと画像との（ｎ−１）回のマッチング
処理が必要があり、この計算において中立（背景）レベ
ルは使用されない。図５の５レベル・テンプレート６２
０の実スコアを算出するには、テンプレートと画像の４
回のテンプレート画像マッチング計算と、各テンプレー
ト・レベルでの各和の適切な重み付け（正または負）と
が必要である。

【００３７】白画素テンプレート・レベルは、その確率
に対応する負の重みを有し、これにより、実テンプレー
ト画像一致スコアを算出する際にこのレベルを使用した
場合、一致スコアが低くなるか、あるいはスコアに対し
て影響がないかのいずれかである。

【００３８】マルチレベル・テンプレートの発見的スコ
アを算出するプロセスは、観測画像内のＯＮ画素をテン
プレートの様々なレベルに割り当てることを暗黙的に考
慮して構成されている。マルチレベル・テンプレートを
使用した発見的スコアも列ベースのスコアである。スコ
アリング・プロセスは、計算効率が高いと共に、発見的
スコアを真の上界スコアになるように最大にする。

【００３９】テンプレート６２０（図５）は、テンプレ
ート列内に総数でｎ個のＯＮ画素およびＯＦＦ画素を含
む。この場合、ｎは列の高さを画素単位で表した場合の
値である。このｎ個の画素は、様々なテンプレート・レ
ベルに割り当てられるか、すなわちこれらのテンプレー
ト・レベル間で分散される。

【００４０】所与のテンプレートに関する列ベースのテ
ンプレート画像発見的スコアは、観測画像列（観測画像
内の列）内のＯＮ画素が、最高の確率を有する黒テンプ
レート・レベル列群に割り当てられたときに最大にな
る。これは、それら各黒テンプレート・レベル列ごとに
その最大ＯＮ画素数に達するまでである。次が中立背景
レベルに割り当てられたときであり最後が白テンプレー
ト・レベルに割り当てられたときである。このようにし
て各テンプレート・レベルの各列に画像列画素群を割り
当てることを、テンプレート・レベルの「充填（fil
l）」と言うことができる。発見的スコアは、観測画像
列内のＯＮ画素が黒テンプレート・レベルに割り当てら
れた黒画素を充填したときに高くなり、観測画像列内の
ＯＮ画素が、白テンプレート・レベルに割り当てられた
白画素を充填したときに低くなる。

【００４１】

【表１】

【００４２】表１は、図５の５レベル・テンプレート６
２０を使用した、テンプレート列内の画素と画像列内の
画素との一致に関する列ベースの発見的スコアを算出す
るために使用されるサンプル・データを示している。表
１は、確率値の降順に配列された５つのテンプレート・
レベル６２０を示している。表１において、背景テンプ
レート・レベル６２５の確率の絶対値が、白テンプレー
ト・レベル６２４の確率の絶対値よりも高く、したがっ
て画素割付けの実行時に先に「充填される」ので、レベ
ル６２５がレベル６２４の前に位置することに留意され
たい。テンプレート６２０は、この例では画素高さが２
５画素であるものと仮定している。各テンプレート・レ
ベルにはいくつかのＯＮ画素またはＯＦＦ画素が割り当
てられる。たとえば、テンプレート・レベル６２３は９
つのＯＮ画素を含む。画素列黒画素カウント・データの
３つの例が表１に示されている。第１の例では、観測画
像列内に１５個ないし２１個の黒画素がある。これらの
黒画素は、合計で１５個の黒画素によって黒テンプレー
ト・レベル６２１、６２２、および６２３を完全に充填
する。最大で６個の、観測画像列内の他の黒画素は、背
景レベル６２５を充填する。この観測画像列の発見的ス
コアは以下のように算出される。

【００４３】［数１］Ｓｃｏｒｅ_(15...21)＝２＊ｗ₆₂₁＋４＊ｗ₆₂₂＋９＊ｗ₆₂₃ （１）背景レベル６２５は発見的スコアを算出する際には使用
されず、観測画像列内の黒画素１６から２１は発見的ス
コアに対して無効である。

【００４４】表１の第２の観測画像の例において、２３
個の黒画素は、合計で１５個の黒画素によって黒テンプ
レート・レベル６２１、６２２、および６２３を充填す
る。観測画像列内の他の６個の黒画素は背景レベル６２
５を完全に充填する。残りの２個の黒画素は白テンプレ
ート・レベル６２４を部分的に充填する。この観測画像
列の発見的スコアは以下のように算出される。

【００４５】［数２］Ｓｃｏｒｅ₍₂₃₎＝２＊ｗ₆₂₁＋４＊ｗ₆₂₂＋９＊ｗ₆₂₃＋２＊ｗ₆₂₄（ただしｗ₆₂₄ ＜０）（２）

【００４６】１１個の黒画素を有する、表１内の第３の
観測画像列の例の発見的スコアは以下のように算出され
る。

【００４７】［数３］Ｓｃｏｒｅ₍₁₁₎＝２＊ｗ₆₂₁＋４＊ｗ₆₂₂＋５＊₆₂₃ （３）上述の、列ベースの発見的スコアを算出する擬似コード
は以下のとおりである。

【００４８】［コード４］＊単一のテンプレート・スコア・テーブル内の単一のエントリを算出ｂｐ：＝画像列内の黒画素の数ｗｐ：＝画像列内の白画素の数＊黒テンプレート・レベルについて重みの降順にループ処理ｐ：＝ｍｉｎ（ｂｐ，テンプレート・レベル内の黒画素数）スコア：＝スコア＋ｐ×（レベル重み）ｂｐ：＝ｂｐ−ｐ＊白テンプレート・レベルについて重みの大きさの降順にループ処理ｐ：＝（テンプレート・レベル内の白画素数）−ｗｐｐ＞０ならば＃十分な白画素がない；ｐ個を黒画素にマッチングさせなければならないスコア：＝スコア＋ｐ×（レベル重み）ｗｐ：＝０そうでないならばｗｐ：＝−ｐ＊スコアを返す。

【００４９】観測画像列内で取り得るすべての黒画素数
について、観測画像列とマルチレベル・テンプレート内
の列との一致に関する列ベースの発見的スコアを事前に
算出し、テーブルに格納しておくことができ、この場
合、観測画像列内の黒画素数は、そのテーブルの索引イ
ンデックスとして働く。上記の擬似コードに示されたプ
ロセスに従って算出されるスコアから成る個の１×ｎテ
ーブルの組が、テンプレート・ライブラリ内の各ｍ×ｎ
マルチレベル・テンプレートごとに作成される。

【００５０】確率論的有限状態ネットワークがマルチレ
ベル・テンプレートを用いるときのテキスト行のデコー
ドに必要な発見的スコアの計算のための擬似コードを以
下に示す。

【００５１】［コード５］＊複数組のテンプレート・スコア・テーブル群を使用して１×ｗ画像列＊アレイＩＣ内の各エントリについての発見的スコアを算出＊ｗ＝（行ｙ内の画素列群の数を表す）画像列アレイ内のエントリの数＊ｋ＝１テンプレート当たり１組として、テンプレート・スコア・テーブル＊の組の総数＊ｍ＝各マルチレベル・テンプレートごとのｎ×１テーブルの数＊ｋ×ｗスコア・アレイをゼロに初期化ｑ＝｛１，．．．ｋ｝について実行開始ｉ＝｛１，．．．ｗ｝について実行開始ｊ＝｛１，．．．ｍ｝について実行開始スコア_(q,i)＝スコア_(q,i)＋テンプレート・スコア・テーブル_q(IC(i+(j-1) ₎₎ 終了終了終了

【００５２】この擬似コードは、ｋ×ｗ個の出力スコア
・アレイを作成する。この場合、ｋは情報源モデル内の
テンプレートの総数であり、ｗは、復号中の画像テキス
ト行またはその一部の幅である。

【００５３】さらなる効率化を実現するに、テンプレー
ト列アレイと画像列アレイとの間で２分の１の比較およ
び加算しか必要とされない場合に、単一の発見的スコア
の計算を係数２で圧縮する（２分の１にする）ことがで
きる。これは、２つの隣接する画素列内の前景画素の和
である前景画素カウントを含む画像列アレイ群およびテ
ンプレート列アレイ群を作成することによって実現する
ことができる。

【００５４】図６は、テンプレート列アレイ４６内の２
つの列画素カウントから成る群を合計して単一の組合せ
列画素カウントを作成する方法を示す、１Ｄテンプレー
ト画素和データ構造８６を概略的に示している。データ
構造８６は、データ構造４６と同じ１×ｍデータ構造で
あるように示されている。一つの実装では、図２のテン
プレート列アレイがまず算出され、次いで、隣接する列
前景画素のカウントが合計され、テンプレート列アレイ
・データ構造のエントリ群の２分の１に（すなわち、１
エントリおきに）格納される。もちろん他の実装方式も
可能である。

【００５５】１Ｄ画像画素和データ構造を算出する場
合、画像アレイ６０内のあらゆる２つの隣接する列画素
カウントが合計され単一の組合せ列画素カウントが作成
される。画像画素和データ構造内の各組合せカウント
は、画像アレイ６０内の互いに隣接する列画素カウント
同士数の和を表し、ここで和をとる列画素カウントのペ
アは、隣接するペアと一部が重なる。

【００５６】列ベースの発見的スコアを作成する場合、
テンプレート画素和データ構造内の組合せ列画素カウン
トが画像画素和データ構造内の対応する組合せ画素カウ
ント和と突き合され、最小画素カウント（小さい方のカ
ウント）が求められる。次いで、これらの最小値が合計
されスコアが作成される。

【００５７】テキスト行画像内のあらゆる画像位置ｉで
の発見的スコアの計算を不要にすることによって、計算
をさらに削減することができる。ある画像位置の上界発
見的スコアを隣接する次の画像位置の上界発見的スコア
として使用することによって、他の上界発見的スコアを
算出することができる。

【００５８】より少ない数の計算によって発見的スコア
を作成する上述の概念およびプロセスは、マルチレベル
・テンプレートのスコアの作成に適用することもでき
る。

【００５９】ビタビ手順を列ベースの発見的スコアリン
グと共に使用してテキスト行画像を復号する主要な関数
を図７のフローチャートに示す。発見的スコアを使用し
た復号では通常、数回の反復が必要である。復号の反復
により、ボックス５１０で、テキスト行を通る節の最良
の道が推定される。この最良の道での節同士の間の遷移
は、現時点でのテキスト行の推定メッセージ（トランス
クリプション）を含む文字ラベル群を示す。次のビタビ
反復が開始される前に、ボックス５３０で、推定された
最良の道の一部として識別された各節について実テンプ
レート画像一致スコアが算出される。このプロセスを最
良の道の再スコアリングと呼ぶ。

【００６０】次いで、推定された最良の道の各節の再ス
コアリングが完了すると、ボックス５４０で、各節毎
に、その節のｘ位置でのいくつかの異なる垂直（ｙ）位
置において、推定された最良の道の一部として識別され
た各テンプレートがテキスト行画像と突き合される。各
ｙ画像位置ごとに実テンプレート画像一致スコアが作成
される。各テンプレートに関して算出される最大実スコ
アが各節のｙ画像位置を示す。推定された最良の道に沿
った各節位置での単一のテンプレートの実スコアが算出
され、ベースラインの最良の位置が判定される。

【００６１】次いで、ボックス５１０で、すでに推定さ
れている最良の道の再スコアリングされた節の実スコア
を使用すると共に、他のすべての画像位置に列ベースの
発見的スコアを使用して、テキスト行のビタビ復号が繰
り返される。最良の道に沿ったすべての節が再スコアリ
ングされるか、あるいは現在のビタビ位置が前の反復で
見つかった最良の道と同じになったことがボックス５４
８のテストで示されるまで、テキスト行の復号が反復さ
れる。

【００６２】実験結果は、フルページ（２Ｄ）ビタビ・
デコーダにおける列ベースの発見的スコアリングを使用
したテキスト行の復号の場合、全体の計算時間が係数４
０で圧縮されることを示している。この利得は２つの部
分において得られる。第１に、実験結果は、主として、
行復号のために実スコアではなく発見的スコアを算出す
ることによる時間短縮のために、単一のテキスト行を復
号するのに必要な計算時間が係数８だけ短縮されること
を示している。第２に、列ベースの発見的スコアリング
は、５つの垂直ベースライン位置について実テンプレー
ト画像一致スコアを作成することを不要にする。各ベー
スライン位置について実テンプレート画像一致スコアを
求めることは、フルページ（２Ｄ）ビタビ復号では、実
ベースラインが不明であるために必要になるものである
が、これが本実施形態の手法では不要になる。列ベース
の発見的スコアリングでは、ベースラインの最良の垂直
位置の上界が自動的に与えられる。

【００６３】本実施形態の手法は、図８のプロセッサ制
御型マシン１００と共通の構成要素、特性、および構成
を有するあらゆるマシンで実現することができる。

【００６４】マシン１００は、本実施形態の手法を実施
するために特別に構成し最適化したものでもよいし、記
憶したコンピュータ・プログラムによって選択的に活動
化または再構成される汎用コンピュータを備えたもので
もよい。

【００６５】マシン１００の物理的構成要素を実際に接
続する方法には、いくつかまたはすべての構成要素間の
ハード配線物理接続と、リモート通信網またはローカル
通信網ならびに赤外線接続および無線接続などによる、
有線通信設備または無線通信設備を介した接続を含める
ことができる。

【００６６】マシン１００は、例えば、図１の演算２０
０、３００、４００、および５００を実行して、テンプ
レート列アレイおよび画像領域列アレイを使用した列ベ
ースの発見的スコアを算出し、この発見的スコアを使用
してテキスト行画像復号を実行するように構成される。
あるいは、マシン１００は、マルチレベル・テンプレー
トについて作成されたテンプレート・スコア・テーブル
を使用して列ベースの発見的スコアを算出する演算を行
うように構成することができる。入力観測画像は、信号
源１５８、すなわちたとえば、画像スキャナやデジタル
・カメラなどの撮像装置、メモリ装置、通信チャネル、
データ・バス、演算を実行する他のプロセッサ、他の適
切なビットマップ画像信号源など、から与えることがで
きる。信号源１５８から与えられた入力画像は、入力回
路１５６を介してプロセッサ１４０に転送され、データ
・メモリ１１４に記憶することができる。マシン１００
には、画像を表示できる従来型の表示装置（図示せ
ず）、または印刷装置を含めることもできるが、このこ
とは必須ではない。

【００６７】プロセッサ１４０は、プログラム・メモリ
１１０にアクセスして命令を取り出し、この命令を実行
することによって動作する。マシン１００が、図１に示
された演算を実行するように構成されている場合、プロ
グラム・メモリ１１０は、列ベースの発見的スコアリン
グを使用したテキスト行復号を実行するために図１の演
算５００を実施するテキスト行復号命令を含む。プログ
ラム・メモリ１１０は、このような演算に関して、既に
例示した擬似コードで示された処理内容に従って、テン
プレート列アレイ４０、画像アレイ６０、および発見的
列ベース・スコア７０を作成する命令サブルーチンを含
む。

【００６８】プロセッサ１４０は、命令の実行時に、デ
ータ・メモリ１１４にアクセスし、演算を実行するのに
必要なデータを得るか、あるいは格納する。たとえば、
プロセッサ１４０は、計算済みの発見的スコア７０をデ
ータ・メモリ１１４に格納する。

【００６９】図８は、マシン１００でソフトウェア・プ
ロダクト１６０を使用できることも示している。ソフト
ウェア・プロダクト１６０は、記憶媒体アクセス回路１
５０からアクセスできるデータ記憶媒体１７０を含む。
ソフトウェア・プロダクト１６０は、データ記憶媒体１
７０と、このプロダクトについて説明した適切な文書と
を含む収縮包装（シュリンクラップ）パッケージの形で
市販することができる。

【００７０】記憶媒体アクセス回路１５０は、データ記
憶媒体１７０が、サーバなどリモートに位置する記憶装
置の一部として記憶されているときに、データ記憶媒体
１７０上の命令データにアクセスするために通信アクセ
ス・ソフトウェアおよび回路を含む。ソフトウェア・プ
ロダクト１６０は、リモートに位置する記憶装置から通
信設備を介してユーザに送信される、本実施形態の方法
を実施するための命令データを示すデータ・ストリー
ム、の形で市販するか、あるいはその他の方法でユーザ
によって利用できるようにすることができる。

【００７１】データ記憶媒体１７０は、列ベースの発見
的スコアリングを使用したテキスト行復号が使用される
ときに実行できるようにプロセッサ１４０に供給される
図１の演算２００、３００、４００、および５００を実
行するための命令データ１６６および１６８、またはマ
ルチレベル・テンプレートに関する演算を実行するため
の命令データを記憶する。

【図面の簡単な説明】

【図１】列ベースの発見的スコアリングを使用して画
像テキスト行を復号する復号演算を示すフローチャート
である。

【図２】１組のテンプレートに関して作成された、一
次元列ベースの、１組のテンプレート画素カウント・ア
レイの概略図である。

【図３】入力画像の水平画像領域に関して作成され
た、一次元列ベースのテンプレート画素カウント・アレ
イの概略図である。

【図４】列ベースの発見的スコアを算出する方法を説
明するための概略図である。

【図５】本発明の第２の実施形態で使用される種類の
マルチレベル文字テンプレートの概略図である。

【図６】複数のテンプレート画素カウント列が合計さ
れる発見的スコアリングの変形例の概略図である。

【図７】列ベースの発見的スコアリングが使用される
ときに画像テキスト行復号手順の変形例を示すフローチ
ャートである。

【図８】本発明を実施できるように構成されたマシン
を示し、本発明に係るソフトウェア・プロダクトと、こ
のプロダクトを上記のマシンと共に使用する方法とをさ
らに示す簡略化されたブロック図である。

【符号の説明】

２１，２２，２３，２４テンプレート、４０テンプ
レート列アレイ群、４２，４４，４６，４８テンプレ
ート列アレイ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者アショクシーポパットアメリカ合衆国カリフォルニア州サンカルロスセダーストリート 625 アパートメントケイＦターム(参考） 5B064 DA11 DC25 5L096 BA17 GA28 JA06 JA09

Claims

【特許請求の範囲】

【請求項１】プロセッサ制御型マシンを用いてテキス
ト行画像を復号する方法であって、前記マシンはプロセ
ッサと、データを記憶するメモリ装置とを含み、前記メ
モリ装置に記憶されているデータは、前記プロセッサが
前記マシンを操作するために実行する命令データを含
み、前記プロセッサは、前記メモリ装置に記憶されてい
る命令データにアクセスしそれを実行するために前記メ
モリ装置に接続されているマシンを用いた復号方法にお
いて、それぞれが文字記号を示す複数の画像グリフを含むビッ
トマップ画像領域を示す入力テキスト行画像を受け取る
ステップと、前記マシンの前記メモリ装置に記憶されている複数の文
字テンプレート及び文字ラベルを取得するステップであ
って、前記各文字テンプレートは文字記号の二次元ビッ
トマップ画像を示すとともに、前記各文字テンプレー
ト、当該文字テンプレートによって表される文字記号を
識別するための文字ラベルに対応づけられているところ
のステップと、入力テキスト行画像の画像部分の列内の画像前景画素の
画素カウント値を用いて一次元画像アナログデータ構造
を作成するステップと、複数の文字テンプレートのそれぞれの文字テンプレート
の列内のテンプレート前景画素の画素カウント値を用い
て複数の一次元テンプレートアナログデータ構造を作成
するステップと、前記一次元画像アナログデータ構造と前記複数の一次元
テンプレートアナログデータ構造とを用いて複数のテン
プレート・画像発見的スコアを算出するステップであっ
て、これら各テンプレート画像発見的スコアのそれぞれ
が、前記複数の文字テンプレートのうちの１つと前記入
力テキスト行画像の画像部分の二次元領域との一致度の
推定値を示すところのステップと、複数の節と、前記入力テキスト行画像内の文字記号群の
予測される空間配置のモデルを示すそれら各節間の遷移
と、を含む確率的有限状態ネットワークを示す復号トレ
リス・データ構造を使用して動的計画法演算を実行する
ステップであって、前記動的計画法演算は、前記複数の
テンプレート画像発見的スコアを用いて前記入力テキス
ト画像を復号し、その中に含まれる画像グリフによって
表される文字記号の文字ラベルを生成するところのステ
ップと、を含む方法。
【請求項２】前記複数のテンプレートアナログデータ
構造を作成するステップが、前記文字テンプレート内の
各列ごとのテキスト列前景画素のカウント値を示す一次
元テンプレート画素カウント・データ構造を、前記各文
字テンプレートごとに作成するステップを含み、前記一次元画像アナログデータ構造を作成するステップ
が、前記画像部分内のそれぞれの列内の画像列前景画素
のカウント値を含む１Ｄ画像画素カウント・データ構造
を作成するステップを含み、前記複数のテンプレート画像発見的スコアのそれぞれを
算出するステップが、各々が前記文字テンプレートの１
つの列内のテンプレート列前景画素のカウント値と、前
記画像部分の１つの列内の画像列前景画素のカウント値
と、の最小値であるところの複数の最小画素カウント値
の和を算出するステップを含む、請求項１に記載の方法。
【請求項３】各文字テンプレートが少なくとも１つの
前景テンプレート・レベルおよび背景テンプレート・レ
ベルを含み、各前景テンプレート・レベルが、複数の前
景画素を含むとともに、当該前景テンプレート・レベル
に関連するテンプレート・レベル重み付け因子を示し、前記複数の一次元テンプレートアナログ構造のそれぞれ
が、前記文字テンプレートの各前景テンプレート・レベ
ルごとに、そのレベルに関連付けされたテンプレート・
レベル重み付け因子によって重み付けされたそれぞれの
列ごとの前景画素テンプレート・レベル列カウント値を
示す情報を含み、前記一次元画像アナログデータ構造が、前記画像部分の
それぞれの列内の画像前景画素のカウント値群を示す一
次元画像画素カウント・データ構造であり、前記複数のテンプレート画像発見的スコアのそれぞれを
算出する際に、前記一次元画像画素カウント・データ構
造および一次元テンプレートアナログデータ構造を使用
して複数の列画素カウント値の和を算出する、請求項１に記載の方法。
【請求項４】ビットマップ・テキスト入力画像を分析
し、マルコフ情報源の復号トレリスによって算出された
少なくとも１つの完全な道に基づいて、テンプレートラ
イブラリから選択された文字記号テンプレート群の組合
せを得る、コンピュータによって実現される画像認識方
法において、前記復号トレリスの各遷移に関連する文字記号に応じ
て、該遷移に対して、正確な確率の代用である発見的確
率を割り当てるステップと、動的計画法演算とその後に続く再スコアリング演算との
反復シーケンスを、停止条件が満たされるまで実行する
ステップであって、前記動的計画法演算により、遷移に
割り当てられた発見的確率を用いて前記復号トレリスに
よって節および遷移の完全な道が作成され、前記再スコ
アリング演算により、発見的確率を有する前記完全な道
内の各節に厳密な確率が割り当てられ、前記復号トレリ
スが、動的計画法演算の後続の反復で利用できる厳密な
確率を有する、ところのステップと、を含む方法。