JP2004530214A - テキスト弁別方法及び関連する装置 - Google Patents

Abstract

本発明は、電子的に生成された画像のラインを走査するテキスト弁別方法であって、走査された画像ラインの背景セグメントを推定し、非背景セグメントが画像のテキスト部を構成するかどうかを判定するために推定背景セグメントと非背景セグメントの間の差を解析する方法を提供する。

Description

【０００１】
本発明は、電子的に生成された画像内でテキストと背景を弁別する方法であって、テキストセグメントと背景セグメントを識別するために画像の各ラインを走査する段階を含む方法に関する。
【０００２】
電子視覚ディスプレイ装置は、特に情報技術分野に幅広い用途がある。例えば、コンピュータで生成された画像では、画像を特定の表示要件に適合させるために画像データを処理することが必要となる場合がしばしば生ずる。
【０００３】
例えば、特に固定の画素寸法を与えるＬＣＤ装置では、ディスプレイに関連するグラフィックカードから与えられる入来ＲＧＢ信号の画像フォーマットを変換することが必要となりうる。このようなディスプレイは、一般的には、適切な同期、フレームレート変換、色／輝度／コントラストの調整、及び、上述のように画像形式の変換を行うよう入来ＲＧＢ信号を適合する役割を果たすＩＣコントローラを一般的に使用する。例えば、グラフィックカードがＬＣＤ視覚ディスプレイ装置によってサポートされるのとは異なる画像形式を生成する役割を果たす場合、ＬＣＤによって与えられる特定の解像度に信号を適合させるために、一般的にはズームといった何らかの形の適合が行われねばならない。詳細には、ＬＣＤは１０２４×７６８画素の本来の解像度を有し、一方、おそらくは８００×６００又は６４０×１０２４画素の標準ＶＧＡモードのみをサポートする比較的古いグラフィックカードが与えられるとすると、画像は、水平方向に６４０画素から１０２４画素へ、垂直方向に４８０画素から７６８画素へズームされねばならないことが認められ得る。このようなズームは、一般的には、入力信号を再サンプリング及びフィルタリングすることによって達成される。これは、不利には、例えばテキストといった意図される鮮鋭なエッジの周辺で特に顕著であるボケを画像に導入する。
【０００４】
もちろん、このようなボケは、テキストの処理に専用の画像処理配置の採用によって防止されうることが認められる。するとテキスト画像の必要な鮮鋭さは保たれるが、このような特別なテキストスケーリングアルゴリズムは、他の画像内容、例えば画像の背景又は写真部分に対して適切には機能せず、したがって、かかる配置は、画像ないでテキストセグメントと背景セグメントを正確に弁別する手段が有利に使用されうる一つのシナリオを与える。分けられたテキスト部分と背景画像部分は、有利には、ズームされた画像が元の画像の全ての適切な鮮鋭さ及びコントラストを保つよう、適切な夫々のスケーリングアルゴリズムによって別々に処理されうる。
【０００５】
また、従来のＩＣコントローラは、画像全体に同じ処理関数を適用する傾向がある。このようにして、単一のフィルタは、テキスト／グラフィックスの鮮鋭さの保存と、自然な内容の領域のエイリアシングされない平滑さの間の妥協を与えねばならない。より最近のＩＣコントローラは、低域通過フィルタ配置により鮮鋭なエッジと仮定された自然な部分とについて区別された処理段階を採用しており、かかる区別は、通常は局所的なコントラストの評価に基づいてなされる。しかしながら、続く処理は、単純に２つの線形フィルタ間で切り換えることによって行われ、いずれの続く処理努力も画素毎にテキストを識別しようとするものではない。
【０００６】
米国特許第５，０４８，０９６号は、例えば、続く光学文字認識処理で支援するよう画像から非テキストのものを除去し、単一の線を形成する画素が各線のうちのテキスト画像の部分を形成する画素を識別するよう調べられるいわゆるランレングス解析を用いる処理が開示される。
【０００７】
しかしながら、このような配置は、不利なことに、１つ以上のテキスト色を検出しうる、又は画像の水平方向に生ずる背景反転を処理しうる方法に関して制限されている。更に、このような公知の方法に関して生ずるハードウエア要件は制限のあるものであるとわかる。
【０００８】
本発明は、視覚ディスプレイ装置を駆動するビデオ信号と共に使用される改善されたテキスト弁別方法及び装置を提供することを目的とする。本発明は、独立項によって定義される。従属項は、有利な実施例を定義する。
【０００９】
本発明の１つの面によれば、電子的に生成された画像のための、画像のラインを走査する段階を含むテキスト弁別方法であって、走査される画像ラインの少なくとも１つの背景セグメントを推定し、推定された非背景セグメントが画像のテキスト部分を形成するかどうかを判定するために少なくとも１つの推定された背景セグメントと推定された非背景セグメントの間の差分を解析することを特徴とする方法が提供される。
【００１０】
本発明は特に、単一のメモリラインといった少ないハードウエア資源と及び限られた計算を必要とする一方で、演算の適切な速度と正確さを達成する点で特に有利である。
本発明は、有利には、ディスプレイの同じ領域内に隣接する場所で見つけられるときでも、一色以上のテキスト部分の検出を可能とする。各画像ラインの水平方向に生ずる背景反転は、従来技術に対して利点を示す方法で処理されうる。
【００１１】
本発明によって提供される有利には適切なアルゴリズムによって達成される処理では、テキストが存在する画像の領域を識別するだけでなく、より重要には、画像のどの画素がテキストのセグメントを形成するかを識別することが可能である。有利には、判定されたテキスト画素の実際の位置では、改善された画素繰り返し手順が適用されえ、これは、元のコントラストと鮮鋭さが有利に保存されるよう、従来の線形フィルタリングとは異なり、処理された画像にグレーレベルを導入しないため、特にパワフルな方法でテキスト画像をスケーリングすることが可能である。
【００１２】
もちろん、本発明は、画像のテキスト部分を背景部分とは別に処理するときに、特に、テキスト画像の鮮鋭さ及びコントラストを保存するために何らかの形のズーム操作が必要とされるときに有利であるとされる様々な状況で使用されうることが認められる。
【００１３】
請求項２、３及び４に記載の特徴は、方法の正確性を維持しつつ、単一のメモリラインのみのハードウエア要件を維持する点で特に有利である。
【００１４】
請求項５に記載の特徴は、非背景セグメントであると判定された画像ラインのどのセグメントが再び正確にテキストセグメントを構成するかを判定されうるかを確認する特に正確で単純な方法を提供するという利点がある。
【００１５】
請求項６の特徴は、背景弁別を達成するための特に有利で簡単な手段を提供し、請求項７記載の特徴は、写真又はグラフィック画像と共に生成されるような高いコントラストの背景領域を有する画像を解析するときに特に有利であることが示される。
【００１６】
従って、本発明は、アルゴリズム中で具現化され得、例えばコンピュータで生成された画像内に見つけられるテキストを画素毎に検出するよう配置されうる。このような検出は、知覚されるテキストセグメントと推定される背景セグメントの間のコントラストの差分を解析することによって行われ、ライン毎に行われる背景推定手順は、背景推定ラインバッファを背景を表すのに十分に均一で長いと判定された現在入力ラインの部分で更新することに基づく。テキストは、有利には、他の画像領域とは異なる方法で、例えばモニタスケーラ、コンピュータで生成されたテキスト画像の光学文字認識、又は画像編集プログラムのズーム特徴等で処理されうる。
【００１７】
本発明の上述及び他の面は、以下説明する実施例から明らかとなるであろう。以下、本発明について、例としてのみ添付の図面を参照して説明する。図１を参照するに、例えば画像捕捉装置１４においてＹＵＶ又はＲＧＢ入力ビデオ信号１２を受信し、続いて画像捕捉装置１４がＹＵＶ・ＲＧＢ変換器１６へ信号を与えるよう配置されたＩＣコントローラ処理チェーン１０を示すブロック図が示されている。ＲＧＢ変換器１６から出力される信号は、フレームメモリ２２にインタフェース接続されたフレームレート変換ユニット２０へ与えられる。信号は、フレームレート変換ユニット２０からスケーリングエンジン２４へ与えられ、スケーリングエンジン２４は、図示の実施例では、図２に関して後述するように本発明に従って動作するよう配置されるテキスト検出器を含む。このスケーリングエンジンの出力は、全ての明るさ／コントラスト制御を行うガンマ補正ユニット２６へ与えられる。
【００１８】
上述のように、本発明の方法は、図示の例では、ＩＣコントローラ１０のスケーリングユニット２４内にその機能的な位置をおくアルゴリズムに具現化される。このように、スケーリングユニット２４は、画像フォーマット変換を行うのに役立つ。
【００１９】
ＲＧＢ入力信号１２は、図１に示す処理チェーン１４乃至２６によって各ラインが順番に処理されるよう、ライン毎にＩＣコントローラ１０へ与えられる。このチェーンは、各セクションが、色変換、デインタレース、フレームレート変換、画像フォーマット変換、及びカメラ補正等の画像の特定の特徴に影響を与えるか又は適合させるよう作用する処理ルートを形成する。上述のように、フォーマット変換は、スケーリングエンジン２４によって有利に達成され、図示の実施例では、画像全体の必要な処理を達成するよう、画像のテキストセグメントが非テキストセグメントから分けられ、２つの分けられた部分が夫々のスケーリングアルゴリズムによって処理される２ステップ処理であると考えられうる。
【００２０】
このような処理について、図１のスケーリングエンジン２４をより詳細に示す図２を参照して更に説明する。スケーリングユニット２４は、図１のフレームレート変換ユニット２０から入力信号２８を受信するよう配置され、この信号は次に、本発明を具現化するアルゴリズムの機能的な場所を与える信号分割ユニット３０及びテキスト検出器ユニット３２の両方へ与えられる。このような動作方法を考慮して、テキスト検出器ユニット３２は、ここでは信号分割ユニット３０を駆動するためにも作用する背景推定ラインテキスト検出器３２と称される。明確に示すと、背景推定ラインテキスト検出器３２への入力はフレームレート変換ユニット２０から与えられた画像ラインを含み、背景推定ラインテキスト検出器３２の出力はそのラインの各画像に対するテキスト／非テキストの決定を表わす２値信号を含む。背景推定ラインテキスト検出器３２の入力は、データがそこから読み込まれるラインバッファを含んでもよく、出力は同じ長さの２値バッファ（図示せず）によって形成されてもよい。しかしながら、本発明によって与えられる処理は、出力が、各素子の二進値が各対応する画素のテキスト・非テキストの決定を示すラインバッファであるか、或いは、所定数の画素の一定の遅延を導入することが必要であれば特に有利でありうるビットストリームであるよう、実施されうることが認められよう。実際に、背景セグメントが認識され、最後の導関数閾値切り換えから最少の所定の数の画素の後、背景推定ラインバッファへ複製されえ、背景セグメントは、以下説明するように次の導関数閾値切り換えが達成されるまで、画素毎に連続される。しかしながら、所定の最少画素数よりも大きい長さを有することがわかっているバッファが図１の処理ルートに導入されれば、このような操作は必要に応じて必要なときに達成されえ、それにより画素毎の遅延された決定を可能とする。しかしながら、図示の例では、出力されるとともに検出ライン全体が計算される。
【００２１】
本発明を具現化する特定のアルゴリズムに関して以下更に説明するように、本発明の主な特徴は、推定された背景セグメントのライン毎の連続的な更新に関する。元の画像の各ラインに対して、十分に均一であり幅広い部分は推定背景として識別され、背景推定ラインバッファ内の当該の位置へ複製される。最終画像は、完全な、しかしテキストのない画像を与えるよう、推定背景ラインを組み合わせることによって形成されうる。画像の各ラインに対して、元の画像の輝度は対応する位置における背景推定ラインの輝度と比較され、輝度の差が各画素に対する所定の閾値を超える場合、特定の画素はテキスト画素としてフラグが付される。
【００２２】
図１及び図２のブロック図に示すように、本発明を具現化するアルゴリズムは、ＩＣコントローラ１０の処理ルート内に特定の適用を見いだし、入力画像信号は、背景推定ラインテキスト検出器３２内で動作する推定ラインアルゴリズムの出力に基づいて２つの別の信号部分へ分割される。図２を特に参照して、分割されたテキスト及び背景データは、夫々のスケーリングユニット３４（テキスト）、３６（背景）で異なる夫々のアルゴリズムによって処理され、このようなスケーリングされた信号は、図１のガンマ補正ユニット２６へ与えられる出力信号４０を与えるよう組合せユニット３８において組み合わされる。分けられたテキスト信号と背景信号は、スケーリングユニット３４、３６内の適切な夫々のアルゴリズムによってスケーリングされているため、組み合わされた信号４０は、コントラストと鮮鋭さに関して元の画像と同じであるスケーリングされた画像を生成しうる。
【００２３】
しかしながら、推定背景は単にテキストの検出のために使用されるものであって、スケーリングエンジンのための入力を与えるものではないことが認識されるべきである。むしろ、実際の背景は、検出されたテキストを捕捉し、次に隣接する画素から欠落した画素を外挿することによって抽出されうる。
【００２４】
ここで図３を参照するに、本発明を具現化するアルゴリズムが、続く背景推定ライン更新の必要とされる背景推定及び続くテキスト検出を達成しうる方法を示す役割を果たすフローチャートが示されている。
【００２５】
アルゴリズムは、１ライン状態レジスタを用いる走査ライン解析に基づく。図示の実施例は、図示の実施例は、一般的にテキストは性質が均一（一つの色）であるかグラフィック／写真的である背景に囲まれるという前提から始まる。ライン毎に画像を走査する場合、ライン内の背景領域を推定し更新することができる。次に、テキストは、推定される背景に対するコントラストの差を解析することによって推定される。テキストは水平方向を有するため、一般的に背景ラインはテキストラインに先行する。これに基づいて、テキストを解析するとき、現在の背景推定は正確な値を保持する可能性が高い。背景推定の手順は、以下の通りに動作し、以下概説するアルゴリズムの実施例のＭａｔｌａｂコード表現に関連する。
【００２６】
まず、アルゴリズムの状態レジスタとして動作する背景推定ライン（ＢＥＬ）は、背景が検出されなかったことを示す従来の値（−１）で初期化され、即ち、
ｂｅｌ＝−１＊ｏｎｅｓ（１，ｗ）
と書くことができ、但し、ｗは画像幅であり、関数「ｏｎｅｓ（）」は１を含むラインベクトルを形成する。
【００２７】
第２に、画像の各ラインに対して、背景として分類されうるセグメントの選択が行われる。上述のように、各セグメントは、十分に幅が広く、均一であり、低い輝度変化を示されねばならない。これらの条件は、推定されるセグメントの長さに対する閾値（ｍｉｎＬ）、及び、各セグメントの最大導関数に対する閾値（ｍａｘＤ）を夫々設定することによって行われうる。ｍｉｎＬよりも長いセグメントが絶対値としてのｍａｘＤよりも高い２つの導関数ピークで囲まれている場合、このセグメントはＢＥＬ上に複製されることにより、前の推定値を更新する。ＢＥＬの残る部分は、前の値を保持し、それにより最後の有効な推定値を伝える。
【００２８】
閾値ｍａｘＤを設定するとき、あまりに高すぎる値は、背景セグメントに幾らかの低いコントラストのテキストを含みうる一方で、低すぎる値は写真をテキストとして認識することにより失敗を導きうることが認められるべきである。
【００２９】
例えば、アンチエイリアシングされたテキストといった幾つかの場合、２つの連続する輝度は背景を例えば薄い灰色へ又は薄い灰色を濃い灰色へインクリメント又はデクリメントし、又はその逆が確認されうる。しかしながら、これらの差はｍａｘＤよりも高くとも、背景セグメントの始まりとしては解釈されるべきではない。従って、このような包含を防止するために、更なる条件が課せられうる。即ち、条件を満たすセグメントはＢＥＬの内側の対応する位置へ複製される一方で、背景の他の部分に対しては前の有効な推定値が保持される。
【００３０】
背景として分類されていないセグメントについては、背景の前の推定値との比較が行われる。推定された背景に対して十分なコントラストを示すと判定された画素は、テキストとして識別される。
【００３１】
例を更に詳細に示すため、本発明を具現化するアルゴリズムのＭａｔｌａｂコード表現を以下に示す。
／／最少背景セグメント長
ｍｉｎＬ＝３５；
／／背景切換えに対する最小導関数
ｍａｘＤ＝６０；
／／Ｄは、差分ベクトルの寸法を輝度のものと一貫するようゼロでパディングされた入力
／／輝度の水平差分ベクトルである
Ｄ＝（［ｄｉｆｆ（ｌｕｍ（ｉ，：））０］）；
／／以下の演算は、背景セグメントの始まり又は終わりであると考えられるべき導関数に
／／ついての条件を満たす輝度ベクトルの画素のインデックスでベクトルｆＤを埋める。
／／これらは、
／／画素に関連付けられる導関数の絶対値がｍａｘＤよりも高くなくてはならない：
／／ａｂｓ（Ｄ）＞ｍａｘＤ
／／導関数の連続する高い値は、同じ符号であるときは、背景の一部と考えられる。
／／幾つかの場合、例えばアンチエイリアシングされたテキストの場合、２つの連続する
／／及び同様の輝度のインクリメント又はデクリメント（背景から薄い灰色へ、及び、薄
／／い灰色から濃い灰色へ、並びに、その逆）が見いだされうる。
／／これらの差分がｍａｘＤよりも高くとも、これらは背景セグメントの始まりであると
／／解釈されてはならない。従って、十分に高いことのほかに、その前又はその後のもの
／／と異なる符号を有する導関数を背景セグメントの有効な始まり／終わりとして考慮し、
／／ ．．．Ｄ．／［［Ｄ（２：ｗ）Ｄ（ｗ）］＋０．０００１］＜０．．．及び．．．
／／Ｄ．／［［Ｄ（１）Ｄ（１：ｗ−１）］＋０．０００１］＜０．．．
／／又は
／／前のもの又は後のものよりもはるかに高く、
／／ ．．．Ｄ．［［Ｄ（２：ｗ）Ｄ（ｗ）］＋０．０００１］＞ｔｈ＿ｓｔｅｐ．．．
／／（全ての除算は、要素毎のベクトル除算であり、０．０００１はゼロによる除算を防
／／止するためである）である。
／／
／／ベクトルｆＤは、ラインの始まりと終わりがセグメントの端であると考えられねばな
／／らないことを意図して、１（前）とｗ（後）でパディングされる。
／／ ［１ｆｉｎｄ（ａｂ．．． ．．．＜０））ｗ］；
ｆＤ＝［１ｆｉｎｄ（ａｂｓ（Ｄ）＞ｍａｘＤ＆（Ｄ．／［［Ｄ（２：ｗ）Ｄ（ｗ）］＋０．０００１］＞ｔｈ＿ｓｔｅｐ｜Ｄ．［［Ｄ（２：ｗ）Ｄ（ｗ）］＋０．０００１］＜０）＆（Ｄ．／［［Ｄ（１）Ｄ（１：ｗ−１）］＋０．０００１］＞ｔｈ＿ｓｔｅｐ｜Ｄ．／［［Ｄ（１）Ｄ（１：ｗ−１）］＋０．０００１］＜０））ｗ］；
／／以下の演算は、導関数ピークと続くものの間の距離（画素単位）を計算する
／／（尚、ｆＤは導関数ピークのインデックスを含むベクトルである）。
ＤｆＤ＝ｄｉｆｆ（ｆＤ）；
／／ここで、背景セグメントであると考えられるのに十分に長いセグメントを選択しうる。／／ｆＤｆＤは、セグメントのＤｆＤ内のインデックスがｍｉｎＬよりも長いことを表わす。
ｆＤｆＤ＝ｆｉｎｄ（ＤｆＤ＞ｍｉｎＬ）。
【００３２】
ここで、図４Ａを参照するに、この通常の表示に従ってコンピュータ画面上に予想されうる元の画像の例を示し、図４Ｂは、テキスト部分と非テキスト部分を弁別するようグラフィックカードからの信号がいったん本発明に従って処理された後の同じ表示を示す図である。ここでの表示は、テキスト部分が除去されたものを表わす。テキスト部分自体は、図４Ｃ似示す検出出力画像信号中に見つけることができる。
【００３３】
尚、上述の実施例は、本発明を制限するものではなく、当業者は、添付の請求の範囲を逸脱することなく多くの他の実施例を設計することが可能である。請求の範囲では、括弧内に示す参照番号は請求の範囲を制限するものと理解されるべきではない。「含む」という後は、請求の範囲に記載された要素又は段階以外のものが存在することについて排除するものではない。要素が単数形で記載されている場合は、かかる要素が複数個存在する場合について排除するものではない。本発明は、幾つかの別個の要素を含むハードウエア、及び適切にプログラミングされたコンピュータによって実施されうる。幾つかの手段を列挙した装置に関する請求項では、これらの手段のうちのいくつかはハードウエアの同一のアイテムによって具現化されうる。互いに異なる従属項に幾つかの手段が記載されているということだけでは、これらの手段が都合良く利用され得ないということを示すものではない。
【図面の簡単な説明】
【００３４】
【図１】本発明が使用されうるＩＣコントローラ処理チェーンを示すブロック図である。
【図２】図１に示され、本発明を具現化するテキスト検出器が使用される、スケーリングエンジンを示すブロック図である。
【図３ａ】図２に示されたテキスト検出器内で用いられる処理を示すフローチャートである。
【図３ｂ】図２に示されたテキスト検出器内で用いられる処理を示すフローチャートである。
【図４Ａ】元のＶＤＵ画像と、テキストが検出され除去された推定背景ＶＤＵ画像と、本発明の実施例による検出されたテキストを含む検出出力画像との差を示すために、元のＶＤＵ画像を示す図である。
【図４Ｂ】元のＶＤＵ画像と、テキストが検出され除去された推定背景ＶＤＵ画像と、本発明の実施例による検出されたテキストを含む検出出力画像との差を示すために、推定背景ＶＤＵ画像を示す図である。
【図４Ｃ】元のＶＤＵ画像と、テキストが検出され除去された推定背景ＶＤＵ画像と、本発明の実施例による検出されたテキストを含む検出出力画像との差を示すために、検出出力画像を示す図である。

Claims (13)

1. 画像のラインを走査する段階を含む、画像用のテキスト弁別方法であって、
   前記画像ラインの少なくとも１つの背景セグメントを推定する段階と、
   非背景セグメントが前記画像のテキスト部の部分を形成するかどうかを判定するよう前記少なくとも１つの背景セグメントと非背景セグメントの差を解析する段階とを含む方法。
2. 続くラインの背景セグメントが推定されるときに更新されるよう配置される記憶手段の中に前記推定された背景セグメントを格納する段階を含む、請求項１記載の方法。
3. 背景セグメントはライン毎に推定され、前記記憶手段は現在のライン入力の背景推定値で更新される、請求項２記載の方法。
4. 前の有効な背景推定セグメントを、現在の背景ライン推定値で更新されていないメモリ場所に保持する段階を含む、請求項３記載の方法。
5. 前記少なくとも１つの背景セグメントの推定は、前記画像のラインの幅及びセグメントの均一性の決定に基づく、請求項１記載の方法。
6. 前記均一性は、各セグメントの導関数を閾値と比較することによって導出される、請求項５記載の方法。
7. 各背景推定ラインセグメントのヒストグラムパラメータ化を採用する段階を含む、請求項５記載の方法。
8. ライン上の画素についてライン毎に前記画素の輝度値と隣接画素の輝度値の差分値を決定する段階と、
   前記ライン上の続く画素のシーケンスを、
   前記シーケンス中の画素が最大差分値よりも小さい差分値を有し、
   前記シーケンス中の画素の数が最小長さよりも大きい場合は、背景として分類し、
   それ以外の場合は、前記画素を潜在的なテキストとして分類する段階とを含む、
   請求項１記載の方法。
9. 前記潜在的なテキストとして分類された画素の輝度値を背景セグメント中の前のライン中の対応する画素の輝度値と比較する段階と、
   前記２つの輝度値の間の絶対差分値が最大差分値を越える場合に画素をテキストとして分類する、請求項８記載の方法。
10. 推定された背景セグメントと非背景セグメントの間の差を解析する段階は、前記推定された背景セグメントに対する前記非背景セグメントのコントラストを解析することを含む、請求項１記載の方法。
11. テキスト識別信号は、２値バッファによって出力される、請求項１記載の方法。
12. テキスト識別信号は、ビットストリームによって出力される、請求項１記載の方法。
13. 請求項１記載の方法を実行する手段を含む、画像中のテキストと背景を弁別する装置。

Images