JP2012043408A - 文書画像を処理する方法、装置及びプログラム - Google Patents

Abstract

【課題】スキャンされた文書画像からの高速且つ信頼できるテキストライン抽出を提供する。
【解決手段】文書画像の処理方法は、文書画像に対して水平及び垂直テキストライン抽出を実行するステップと、水平及び垂直テキストライン間の重複関係を示す値を有する要素から成る重複行列を提供するステップと、垂直及び水平方向において重複行列をマージするステップと、マージされた重複行列の要素の値に基づいて、文書画像において１又はそれ以上のテキスト重複領域を決定するステップと、１つのテキスト重複領域内で、水平及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするステップと、水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、そのテキスト重複領域の位置付けは水平であると決定し、そうでない場合は垂直であると決定するステップとを有する。
【選択図】図１

Description

本発明は、画像処理の分野、特に、文書画像を処理する方法、装置及びプログラムに関する。

テキストライン抽出は、文書画像処理における重要なステップである。画像からテキストラインを得るための従来の方法には主に２つのタイプがある。第１のタイプは、画像からテキストパラグラフを分離してテキストラインを抽出するためにレイアウト解析を用いる。もう１つのタイプは、情景画像からのテキスト抽出の考えを用いる。Ｆ．Ｓｈａｆａｉｔ、Ｄ．Ｋｅｙｓｅｒｓ、及びＴ．Ｂｒｅｕｅｌ、「Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ａｎｄ ｂｅｎｃｈｍａｒｋｉｎｇ ｏｆ ｓｉｘ ｐａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ」、ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌｕｍｅ ３０、 Ｎｏ．６、９４１〜９５４頁、２００７年１１月３０日（非特許文献１）、及びＥ．Ｋｉｍ等、「Ｓｃｅｎｅ ｔｅｘｔ ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｆｏｃｕｓ ｏｆ ｍｏｂｉｌｅ ｃａｍｅｒａ」、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ １０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ、１６６〜１７０頁、２００９年７月２６〜２９日、バルセロナ（非特許文献２）を参照されたい。これらの文献の内容はいずれも、参照により本願に援用される。

テキスト抽出の目的は、抽出されたテキストラインに対する文字認識により、スキャンされたページの位置付けを決定することである。テキスト抽出の重要な要件には、
１．画像の全テキストラインの抽出は必要でないこと、及び
２．処理速度が可能な限り速いこと
がある。

Ｆ．Ｓｈａｆａｉｔ、Ｄ．Ｋｅｙｓｅｒｓ、及びＴ．Ｂｒｅｕｅｌ、「Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ａｎｄ ｂｅｎｃｈｍａｒｋｉｎｇ ｏｆ ｓｉｘ ｐａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ」、ＩＥＥＥ Ｔｒａｎｓ． Ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌｕｍｅ ３０、 Ｎｏ．６、９４１〜９５４頁、２００７年１１月３０日 Ｅ．Ｋｉｍ等、「Ｓｃｅｎｅ ｔｅｘｔ ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｆｏｃｕｓ ｏｆ ｍｏｂｉｌｅ ｃａｍｅｒａ」、Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ １０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ、１６６〜１７０頁、２００９年７月２６〜２９日、バルセロナ Ｎ．Ｅｚａｋｉ等、「Ｔｅｘｔ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ｎａｔｕｒａｌ ｓｃｅｎｅ ｉｍａｇｅｓ：ｔｏｗａｒｄｓ ａ ｓｙｓｔｅｍ ｆｏｒ ｖｉｓｕａｌｌｙ ｉｍｐａｉｒｅｄ ｐｅｒｓｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、６８３〜６８６頁、２００４年

従来の方法は、上記２つの要件に関して課題を有している。レイアウト解析に基づく方法は、速度要件を満たすことができない。また、レイアウト解析に基づく方法は、文書画像全体を解析する。画像の構成が非常に複雑である場合には、通常、テキストライン抽出は失敗する。第２のタイプのテキストライン抽出方法（非特許文献２参照）は非常に高速である。しかし、それは、主に、戸外の情景テキストからの水平テキストライン抽出に対するものである。第２のタイプの方法がスキャンされた文書画像に適用される場合、１つの大きな問題は、スキャンされた文書が水平テキストライン、垂直テキストライン、及び画像を含む場合に、いかにしてテキストラインの正しい方向を見つけ出すかである。本発明の目的は、スキャンされた文書画像からの高速且つ信頼できるテキストライン抽出である。

上記背景技術を鑑み、本発明の目的は、スキャンされた文書画像からの高速且つ信頼できるテキストライン抽出を可能にする、特に、レイアウト解析をすることができない複雑な文書画像に適した文書画像処理の方法、装置及びプログラムを提供することである。

以下、本発明の特定の態様に対する基本的な理解を提供するために、本発明に関する概要が与えられる。しかし、この概要は本発明に関する包括的な要約でないことが理解されるべきである。本発明な重要部分を決定するわけでも、本発明の適用範囲を限定するわけでもない。その目的は、単に、簡略化された形態で本発明に関して多少の概念を提示することであり、すなわち、後述される発明の詳細な説明の前置きである。

上記目的を達成するよう、本発明の態様に従って、文書画像処理装置の動作方法であって、
Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行するステップと、
Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行するステップと、
Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供するステップであって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示すステップと、
垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージするステップと、
水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージするステップと、
前記マージされた重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するステップと、
前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするステップと、
水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するステップと
を前記文書画像処理装置が実行する方法が提供される。

本発明の他の態様に従って、更に、文書画像を処理する装置であって、
Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行するよう構成される水平テキストライン抽出ユニットと、
Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行するよう構成される垂直テキストライン抽出ユニットと、
Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供するよう構成される重複行列提供ユニットであって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示す前記重複行列提供ユニットと、
垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージするよう構成される垂直マージユニットと、
水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージするよう構成される水平マージユニットと、
前記垂直マージユニット及び前記水平マージユニットによってマージされた前記重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するよう構成されるテキスト重複領域決定ユニットと、
前記テキスト重複領域決定ユニットよって決定された前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするよう構成されるカウントユニットと、
前記カウントユニットによってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、前記カウントユニットによってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するよう構成されるテキスト配置決定ユニットと
を有する装置が提供される。

本発明の他の態様に従って、更に、
文書画像を処理するためのコンピュータを、
Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行する水平テキストライン抽出手段、
Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行する垂直テキストライン抽出手段、
Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供する重複行列提供手段であって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示す前記重複行列提供手段、
垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージする垂直マージ手段、
水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージする水平マージ手段、
前記垂直マージ手段及び前記水平マージ手段によってマージされた前記重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するテキスト重複領域決定手段、
前記テキスト重複領域決定手段よって決定された前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするカウント手段、及び
前記カウント手段によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、前記カウント手段によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するよう構成されるテキスト配置決定手段
として機能させるための文書画像処理プログラムが提供される。

本発明の他の態様に従って、更に、上記文書画像処理方法を実施するコンピュータプログラムプロダクトが提供される。

本発明の他の態様に従って、更に、上記文書画像処理方法を実施するコンピュータプログラムコードが坦持されている機械可読記憶媒体が提供される。

上記の本発明の技術的解決法において、水平テキストライン抽出及び垂直テキストライン抽出の両方が文書画像に対して実行され、文書画像における１又はそれ以上のテキスト重複領域が水平テキストラインと垂直テキストラインとの間の重複関係に基づいて決定され、１又はそれ以上のテキスト重複領域の１つの領域の位置付けがストローク又は画素点の総数に基づいて決定される。このようにして、スキャンされた文書画像からの高速且つ信頼できるテキストライン抽出が可能となり、それは特に、レイアウト解析をすることができない複雑な文書画像に適している。

本発明の実施形態によれば、スキャンされた文書画像からの高速且つ信頼できるライン抽出を可能にする、特に、レイアウト解析をすることができない複雑な文書画像に適した文書画像処理の方法、装置及びプログラムを提供することが可能となる。

本発明の実施形態に従う文書画像処理方法を表すフローチャートである。 本発明の実施形態に従う水平テキストライン抽出の具体例を表す図である。 本発明の実施形態に従う垂直テキストライン抽出の具体例を表す図である。 本発明の実施形態に従う文書画像処理装置を表すブロック図である。

添付の図面に関連して後述される詳細な記載を参照することで、本発明はより良く理解されるであろう。図中、同じ又は対応する構成要素は同じ参照符号によって表される。以下の詳細な記載とともに添付の図面は本明細書に含まれ、本発明の好ましい実施形態を更に例示し且つ一例として本発明の原理及び利点を説明する本明細書の一部を形成する。

当業者には明らかなように、図中の要素は簡単及び明りょうさのために示されているにすぎず、必ずしも実寸通りではない。例えば、図中の特定の要素のサイズは、本発明の実施形態に対する理解を助けるために、他の要素に比べて拡大されていることがある。

以下、本発明の例となる実施形態が図面に関連して記載される。明りょうさ及び簡単のために、実際の実施形態の全ての特徴が本明細書において記載されているわけではない。しかし、例えばシステム及び動作に関する制限条件を満足する開発者の明確な目標を達成するために、実際のあらゆる実施形態を開発する過程の間、実施形態に特有の多くの決定が行われる必要があることは明らかである。また、システム及び動作に関する制限条件は実施形態に応じて様々である。更に、開発作業は非常に複雑であり且つ多大な時間を必要とするが、このような開発作業が、本開示から利益を得る当業者にとっては日常的なタスクにすぎないことは明らかである。

ここで、説明される必要がある１つの点は、不必要な詳細が、本発明を不明りょうにすることを防ぐために、本発明に従う考えに密接に関連するデバイス構成及び／又は処理ステップしか図面に示されず、本発明とほとんど関係ない他の詳細は省略されることである。

以下、本発明の実施形態に従う文書画像処理方法について、図面を参照して詳細に記載する。

図１は、本発明の実施形態に従う文書画像処理方法を表すフローチャートである。

最初に、ステップＳ１１０で、水平テキストライン抽出が文書画像に対して実行される。

テキスト及び画像が複雑な文書画像には含まれることがあり、そのような文書画像では、テキストは水平テキストライン及び垂直テキストラインの両方を含む。水平テキストライン抽出がステップＳ１１０で文書画像に対して実行された後、文書画像における水平テキストラインが取得される。ここで、水平テキストラインの行数はＮｈによって表される。

次に、ステップＳ１２０で、垂直テキストライン抽出が文書画像に対して実行される。

文書画像における垂直テキストラインは、ステップＳ１２０を実行することによって得られる。ここで、垂直テキストラインの列数はＮｖによって表される。このようにして、Ｎｈ行の水平テキストライン及びＮｖ列の垂直テキストラインが取得される。

特定の（水平又は垂直）テキストライン抽出のための多くの方法が存在する。この点について、非特許文献２及び次の関連技術文献：Ｎ．Ｅｚａｋｉ等、「Ｔｅｘｔ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ｎａｔｕｒａｌ ｓｃｅｎｅ ｉｍａｇｅｓ：ｔｏｗａｒｄｓ ａ ｓｙｓｔｅｍ ｆｏｒ ｖｉｓｕａｌｌｙ ｉｍｐａｉｒｅｄ ｐｅｒｓｏｎｓ」、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、６８３〜６８６頁、２００４年（非特許文献３）を参照されたい。非特許文献３の内容も、参照により本願に援用される。

次に、ステップＳ１３０で、ＭＯによって表される重複行列が提供される。

重複行列ＭＯは、ステップＳ１１０で得られた水平テキストラインの行数に対応するＮｈ個の行と、ステップＳ１２０で得られた垂直テキストラインの列数に対応するＮｖ個の列とを有する。重複行列ＭＯのｉ行目及びｊ列目のＭＯ（ｉ，ｊ）によって表される要素の値は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間の重複関係を示す。ここで、１≦ｉ≦Ｎｈ及び１≦ｊ≦Ｎｖである。言い換えると、重複行列ＭＯを提供する目的は、ステップＳ１１０で得られた水平テキストラインの各行と、ステップＳ１２０で得られた垂直テキストラインの各列との間の重複関係を表すことである。この重複関係は、複雑な文書画像において１又はそれ以上のテキスト重複領域を決定するのに寄与する。

本発明の好ましい実施形態に従って、ＭＯ（ｉ，ｊ）＝０は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間に重複がないことを示し、ＭＯ（ｉ，ｊ）＝ｉは、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間に重複が存在することを示す。明らかに、ＭＯ（ｉ，ｊ）は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間の重複関係を示すために、他の値をとってよい。

次に、ステップＳ１４０で、重複行列ＭＯは垂直方向においてマージされる。

垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す重複行列ＭＯの要素の値は、垂直テキストラインのその列が水平テキストラインの複数行と同時に重なり合う場合に、同じ値に設定される。重複行列ＭＯに含まれる要素の値の多様性は、このようなマージにより低減される。最終的に、複雑な文書画像における１又はそれ以上のテキスト重複領域が、重複行列ＭＯにおいて同じ値を有する要素の分布状態に従って決定され得る。

本発明の好ましい実施形態に従って、垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す重複行列ＭＯの要素の値は、垂直テキストラインのその列が水平テキストラインの複数行と同時に重なり合う場合に、その値の最小値（又は最大値等）に設定される。

次に、ステップＳ１５０で、重複行列ＭＯは水平方向においてマージされる。

水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す重複行列ＭＯの要素の値は、水平テキストラインのその行が垂直テキストラインの複数行と同時に重なり合う場合に、同じ値に設定される。重複行列ＭＯに含まれる要素の値の多様性は、このようなマージにより更に低減される。

本発明の好ましい実施形態に従って、水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す重複行列ＭＯの要素の値は、水平テキストラインのその行が垂直テキストラインの複数行と同時に重なり合う場合に、その値の最小値（又は最大値等）に設定される。

文書画像のレイアウトが簡単である場合において、処理はステップＳ１４０の直後に次のステップに進み、Ｓ１５０が実行される。文書画像のレイアウトが複雑である場合において、処理ステップＳ１４０及びＳ１５０は、重複行列ＭＯの要素の値がもはや変化しなくなるまで、水平方向及び垂直方向において重複行列ＭＯのマージを繰り返すよう、繰り返し行われてよい。

次に、ステップＳ１６０で、文書画像における１又はそれ以上のテキスト重複領域が、マージされた重複行列ＭＯの要素の値に基づいて決定される。

マージされた重複行列ＭＯにおいて、相異なる同じ値を有する要素は、異なった領域に分布する。文書画像における１又はそれ以上のテキスト重複領域は、同じ値に従って決定され得る。

次に、ステップＳ１７０で、水平テキストライン及び垂直テキストラインの夫々におけるストローク又は画素点の総数が、１又はそれ以上のテキスト重複領域の１つの領域内でカウントされる。

テキスト重複領域ごとに、より多くのストローク又は画素点は常に、正確な位置付けにおいてテキストラインに集められ、より少ないストローク又は画素点は、誤った位置付けにおいてテキストラインに集められる。

最後に、ステップＳ１８０で、１又はそれ以上のテキスト重複領域の１つの領域の位置付けが決定される。

テキスト重複領域の位置付けは、水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるものよりも大きい場合は、横向きと決定される。テキスト重複領域の位置付けは、水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるものよりも小さい場合は、縦向きと決定される。然るに、水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるものとちょうど等しい場合は、テキスト重複領域の位置付けが横向き又は縦向きのいずれであるかは決定され得ないことに留意すべきである。このような特別の場合には、テキスト重複領域の位置付けに関する判断は行われない。

本発明に従う上記文書画像処理方法によれば、１又はそれ以上のテキスト重複領域及びそれらの正確な位置付けは、スキャンされた文書画像から即座に決定可能であり、それは、特に、レイアウト解析をすることができない複雑な文書画像に適している。

文書画像におけるテキスト重複領域の位置付けが決定された場合において、１又はそれ以上のテキスト重複領域の夫々の位置付けが横向きであると判断される場合は、文書画像は横向きにあると決定され、１又はそれ以上のテキスト重複領域の夫々の位置付けが縦向きであると判断される場合は、文書画像は縦向きにあると決定され、１又はそれ以上のテキスト重複領域の位置付けが横向き及び縦向きの両方を含むと判断される場合は、文書画像は複合的な位置付けにあると決定される。

以下、本発明に従う文書画像処理方法について図２及び図３を参照して詳細に記載する。

図２は、本発明の実施形態に従う水平テキストライン抽出の具体例を表す図である。図２に表されているように、水平テキストライン抽出が文書画像に対して行われた後、夫々Ｈ−１、Ｈ−２、Ｈ−３、Ｈ−４及びＨ−５によって表される５行の水平テキストラインが得られる。

図３は、本発明の実施形態に従う垂直テキストライン抽出の具体例を表す図である。図３に表されているように、垂直テキストライン抽出が文書画像に対して行われた後、夫々Ｖ−１、Ｖ−２、Ｖ−３、Ｖ−４、Ｖ−５、Ｖ−６及びＶ−７によって表される７列の垂直テキストラインが得られる。

５行の水平テキストライン及び７列の垂直テキストラインの間の重複関係に従って、５行及び７列の重複行列ＭＯが、表１に示されるように与えられる。

表１に示されているように、重複行列ＭＯのｉ行目及びｊ列目のＭＯ（ｉ，ｊ）によって表される要素の値は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間の重複関係を示す。水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間に重複がない場合、Ｍ（ｉ，ｊ）＝０である。水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間に重複が存在する場合、ＭＯ（ｉ，ｊ）＝ｉである。

次いで、表１に示される重複行列ＭＯは、垂直方向においてマージされる。

最初に、列Ｖ−１がマージされる。垂直テキストラインの列Ｖ−１は、水平テキストラインの行Ｈ−１、行Ｈ−２、行Ｈ−３及び行Ｈ−４と同時に重なり合っている。Ｍ（１，１）、ＭＯ（２，１）、ＭＯ（３，１）及びＭＯ（４，１）は走査され、その最小値である１が得られる。従って、Ｍ（１，１）、ＭＯ（２，１）、ＭＯ（３，１）及びＭＯ（４，１）は全て１に設定され、表２が得られる。

次いで、列Ｖ−２がマージされる。垂直テキストラインの列Ｖ−２は、水平テキストラインの行Ｈ−２及びＨ−３行と同時に重なり合っている。ＭＯ（２，２）及びＭＯ（３，２）は走査され、その最小値である２が得られる。従って、ＭＯ（２，２）及びＭＯ（３，２）は全て２に設定され、表３が得られる。

垂直方向における重複行列ＭＯのマージが完了した後、表３に示される重複行列ＭＯは、水平方向においてマージされる。

最初に、行Ｈ−２がマージされる。水平テキストラインの行Ｈ−２は、垂直テキストラインの列Ｖ−１及び列Ｖ−２と同時に重なり合っている。ＭＯ（２，１）及びＭＯ（２，２）は走査され、その最小値である１が得られる。従って、ＭＯ（２，１）及びＭＯ（２，２）は全て１に設定され、表４が得られる。

次いで、行Ｈ−３がマージされる。水平テキストラインの行Ｈ−３は、垂直テキストラインの列Ｖ−１及び列Ｖ−２と同時に重なり合っている。ＭＯ（３，１）及びＭＯ（３，２）は走査され、その最小値である１が得られる。従って、ＭＯ（３，１）及びＭＯ（３，２）は全て１に設定され、表５が得られる。

図２及び図３に表されている文書画像の例のレイアウトは簡単であるため、重複行列ＭＯのマージ処理は、垂直方向及び水平方向における重複行列ＭＯのマージが一度行われた後に、完了する。しかし、文書画像のレイアウトが複雑である場合には、重複行列ＭＯの要素の値がもはや変化しなくなるまで、必要に応じて、垂直方向及び水平方向における重複行列ＭＯのマージを繰り返すことが可能である。

次に、文書画像における１又はそれ以上のテキスト重複領域が、表５に示されるマージされた重複行列ＭＯの要素の値に基づいて、決定される。図２及び図３に表されている文書画像は２つのテキスト重複領域を有する。第１のテキスト重複領域は、水平テキストの行Ｈ−１、Ｈ−２、Ｈ−３及びＨ−４と、垂直テキストラインの列Ｖ−１及びＶ−２とを含む。第２のテキスト重複領域は、水平テキストラインの行Ｈ−５と、垂直テキストラインの列Ｖ−３、Ｖ−４、Ｖ−５、Ｖ−６及びＶ−７とを含む。

次いで、第１のテキスト重複領域内で、水平テキストラインの行Ｈ−１、Ｈ−２、Ｈ−３及びＨ−４並びに垂直テキストラインの列Ｖ−１及びＶ−２の夫々におけるストローク又は画素点の総数がカウントされる。図２及び図３から明らかであるように、水平テキストラインの行Ｈ−１、Ｈ−２、Ｈ−３及びＨ−４におけるストローク又は画素点の総数は、垂直テキストラインの列Ｖ−１及びＶ−２におけるストローク又は画素点の総数よりも大きい。従って、第１のテキスト重複領域の位置付けは横向きであると決定され得る。

次いで、第２のテキスト重複領域内で、水平テキストラインの行Ｈ−５並びに垂直テキストラインの列Ｖ−３、Ｖ−４、Ｖ−５、Ｖ−６及びＶ−７の夫々におけるストローク又は画素点の総数がカウントされる。図２及び図３から明らかであるように、水平テキストラインの行Ｈ−５におけるストローク又は画素点の総数は、垂直テキストラインの列Ｖ−３、Ｖ−４、Ｖ−５、Ｖ−６及びＶ−７におけるストローク又は画素点の総数よりも小さい。従って、第２のテキスト重複領域の位置付けは縦向きであると決定され得る。

図２及び図３に表される文書画像に含まれるテキスト重複領域の位置付けは横向き及び縦向きの両方を含むので、文書画像は複合的な位置付けにあると決定され得る。

上述される本発明に従う文書画像処理方法の例では、重複行列ＭＯは最初に垂直方向においてマージされてから、次に水平方向においてマージされる。しかし、本発明はそのような態様に限られない。例えば、重複行列ＭＯが最初に水平方向においてマージされてから、次に垂直方向においてマージされることも可能である。そして、重複行列ＭＯがマージされる場合に、マージは垂直方向及び水平方向においてインターレースされてよい。すなわち、垂直方向における垂直テキストラインの全ての列のマージが完了した後に水平テキストラインの全ての行が水平方向においてマージされる必要はない。代替的に、垂直方向における垂直テキストラインの１つの列のマージが完了した直後に水平テキストラインの１つの行が水平方向においてマージされることが可能である。本発明は、重複行列ＭＯのマージの順序に関して特別の要件を有さない。

以下、本発明の実施形態に従う文書画像処理装置について、図面を参照して詳細に記載する。

図４は、本発明の実施形態に従う文書画像処理装置４００を表すブロック図である。

図４を参照して、本発明の実施形態に従う装置４００は、水平テキストライン抽出ユニット４１０と、垂直テキストライン抽出ユニット４２０と、重複行列提供ユニット４３０と、垂直マージユニット４４０と、水平マージユニット４５０と、テキスト重複領域決定ユニット４６０と、カウントユニット４７０と、テキスト配置決定ユニット４８０とを有する。

水平テキストライン抽出ユニット４１０は、Ｎｈ行の水平テキストラインを得るよう文書画像に対して水平テキストライン抽出を実行するよう構成される。

垂直テキストライン抽出ユニット４２０は、Ｎｖ列の垂直テキストラインを得るよう文書画像に対して垂直テキストライン抽出を実行するよう構成される。

重複行列提供ユニット４３０は、Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供するよう構成される。ここで、重複行列ＭＯのｉ行目及びｊ列目のＭＯ（ｉ，ｊ）によって表される要素の値は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間の重複関係を示す。なお、１≦ｉ≦Ｎｈ及び１≦ｊ≦Ｎｖである。

垂直マージユニット４４０は、重複行列ＭＯを垂直方向においてマージするよう構成され、垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す重複行列ＭＯの要素の値が、垂直テキストラインのその列が水平テキストラインの複数行と同時に重なり合う場合に同じ値に設定されるようにする。

水平マージユニット４５０は、重複行列ＭＯを水平方向においてマージするよう構成され、水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す重複行列ＭＯの要素の値が、水平テキストラインのその列が垂直テキストラインの複数列と同時に重なり合う場合に同じ値に設定されるようにする。

テキスト重複領域決定ユニット４６０は、垂直マージユニット４４０及び水平マージユニット４５０によってマージされた重複行列ＭＯの要素の値に基づいて、文書画像において１又はそれ以上のテキスト重複領域を決定するよう構成される。

カウントユニット４７０は、テキスト重複領域決定ユニット４６０によって決定された１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするよう構成される。

テキスト配置決定ユニット４８０は、カウントユニット４７０によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるものよりも大きい場合は、１又はそれ以上のテキスト重複領域の当該１つの領域は横向きであると決定し、カウントユニット４７０によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるものよりも小さい場合は、１又はそれ以上のテキスト重複領域の当該１つの領域は縦向きであると決定するよう構成される。

本発明の実施形態に従って、テキスト重複領域決定ユニット４６０が文書画像において１又はそれ以上のテキスト重複領域を決定した後、垂直マージユニット４４０及び水平マージユニット４５０は、重複行列ＭＯの要素の値がもはや変化しなくなるまで、垂直方向及び水平方向において重複行列ＭＯのマージを繰り返してよい。

本発明の実施形態に従って、ＭＯ（ｉ，ｊ）＝０は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間に重複がないことを示し、ＭＯ（ｉ，ｊ）＝ｉは、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間に重複が存在することを示す。垂直マージユニット４４０は、垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す重複行列ＭＯの要素の値を、垂直テキストラインの当該列が水平テキストラインの複数行と同時に重なり合う場合に、その値の最小値に設定する。水平マージユニット４５０は、水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す重複行列ＭＯの要素の値を、水平テキストラインの当該行が垂直テキストラインの複数列と同時に重なり合う場合に、その値の最小値に設定する。

本発明の実施形態に従って、装置４００は、１又はそれ以上のテキスト重複領域の夫々の位置付けが横向きであるとテキスト配置決定ユニット４８０が決定する場合は、文書画像は横向きにあると決定し、１又はそれ以上のテキスト重複領域の夫々の位置付けが縦向きであるとテキスト配置決定ユニット４８０が決定する場合は、文書画像は縦向きにあると決定し、１又はそれ以上のテキスト重複領域の夫々の位置付けが横向き及び縦無の両方を含むとテキスト配置決定ユニット４８０が決定する場合は、文書画像は複合的な位置付けにあると決定するよう構成される画像配置決定ユニット（図示せず。）を更に有してよい。

装置４００に含まれる上記の夫々のユニットの様々な具体的な実施については先に詳細に記載されているので、その説明はここでは繰り返されない。

明らかに、本発明に従う上記方法の夫々の動作処理は、機械可読記憶媒体に記憶されたコンピュータ実行可能なプログラムの形で実施されてよい。

そして、本発明の対象は、上記コンピュータ実行可能なプログラムが坦持される記憶媒体が、コンピュータ実行可能なプログラムを読み出して実行するシステム若しくは装置、コンピュータ又はそれらの中央処理ユニット（ＣＰＵ）に直接的に又は間接的に提供される形で実施されてよい。ここで、本発明の実施は、システム又は装置がプログラムを実行するよう働く限りプログラムに限定されず、プログラムは、目的プログラム、インタープリターによって実行されるプログラム、オペレーティングシステムに提供されるスクリプトプログラム等の任意の形をとることができる。

上記機械可読記憶媒体には、様々なメモリ及び記憶ユニットと、半導体デバイスと、光ディスク、磁気ディスク及び光磁気ディスク等のディスクユニットと、情報を記憶するのに適した他の媒体とが含まれるが、これらに限られない。

更に、本発明は、コンピュータによりインターネット上の対応するウェブサイトに接続し、本発明に従うコンピュータ実行可能なプログラムをダウンロードしてコンピュータにインストールし、そのプログラムを実行することによって、実施されてもよい。

本発明の装置及び方法において、夫々の構成要素又はステップは分解及び／又は結合されてよいことは自明である。このような分解及び／又は結合は、本発明の等価な解決法として考えられるべきである。そして、上記の一連の処理を実施するステップはもともと記載されている順序で実行されてよいが、これは必然的ではない。一部のステップは、互いに同時に又は独立して実行されてよい。

本発明の実施形態について図面に関連して詳細に記載してきたが、上記実施形態は本発明を説明するためにのみ用いられたのであり、本発明に対する限定として解されるべきではないことは言うまでもない。当業者にとって、様々な変形及び代替が、本発明の本質的要素及び適用範囲から逸脱することなく、上記実施形態に対して行われてよい。そのため、本発明の適用範囲は、添付の特許請求の範囲及びその均等によってのみ定義される。

本発明によってカバーされる技術的解決法は以下の付記を含むが、これらに限られないことは、上記記載から明らかである。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
文書画像処理装置の動作方法であって、
Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行するステップと、
Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行するステップと、
Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供するステップであって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示すステップと、
垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージするステップと、
水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージするステップと、
前記マージされた重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するステップと、
前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするステップと、
水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦方向であると決定するステップと
を前記文書画像処理装置が実行する方法。

（付記２）
前記文書画像処理装置が、
前記文書画像において１又はそれ以上のテキスト重複領域を決定する前に、前記重複行列ＭＯの要素の値がもはや変化しなくなるまで、垂直方向及び水平方向において前記重複行列ＭＯのマージを繰り返すステップ
を更に実行する、付記１に記載の方法。

（付記３）
ＭＯ（ｉ，ｊ）＝０は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在しないことを示し、
ＭＯ（ｉ，ｊ）＝ｉは、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在することを示し、
垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値は、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に最小値に設定され、
水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値は、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に最小値に設定される、
付記１又は２に記載の方法。

（付記４）
前記文書画像処理装置が、
前記１又はそれ以上のテキスト重複領域の夫々の位置付けが横向きであると決定される場合に、前記文書画像は横向きにあると決定するステップと、
前記１又はそれ以上のテキスト重複領域の夫々の位置付けが縦方向であると決定される場合に、前記文書画像は縦方向にあると決定するステップと、
前記１又はそれ以上のテキスト重複領域の位置付けが横向き及び縦向きの両方を含むと決定される場合に、前記文書画像は複合的な位置付けにあると決定するステップと
を更に実行する、付記１に記載の方法。

（付記５）
文書画像を処理する装置であって、
Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行するよう構成される水平テキストライン抽出ユニットと、
Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行するよう構成される垂直テキストライン抽出ユニットと、
Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供するよう構成される重複行列提供ユニットであって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示す前記重複行列提供ユニットと、
垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージするよう構成される垂直マージユニットと、
水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージするよう構成される水平マージユニットと、
前記垂直マージユニット及び前記水平マージユニットによってマージされた前記重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するよう構成されるテキスト重複領域決定ユニットと、
前記テキスト重複領域決定ユニットよって決定された前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするよう構成されるカウントユニットと、
前記カウントユニットによってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、前記カウントユニットによってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するよう構成されるテキスト配置決定ユニットと
を有する装置。

（付記６）
前記テキスト重複領域決定ユニットが前記文書画像において１又はそれ以上のテキスト重複領域を決定する前に、前記垂直マージユニット及び前記水平マージユニットは、前記重複行列ＭＯの要素の値がもはや変化しなくなるまで、垂直方向及び水平方向において前記重複行列ＭＯのマージを繰り返す、
付記５に記載の装置。

（付記７）
ＭＯ（ｉ，ｊ）＝０は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在しないことを示し、
ＭＯ（ｉ，ｊ）＝ｉは、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在することを示し、
前記垂直マージユニットは、垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値を、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に最小値に設定し、
前記水平マージユニットは、水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値を、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に最小値に設定する、
付記５又は６に記載の装置。

（付記８）
前記１又はそれ以上のテキスト重複領域の夫々の位置付けが横向きであると決定される場合に、前記文書画像は横向きにあると決定し、
前記１又はそれ以上のテキスト重複領域の夫々の位置付けが縦向きであると決定される場合に、前記文書画像は縦向きにあると決定し、
前記１又はそれ以上のテキスト重複領域の位置付けが横向き及び縦向きの両方を含むと決定される場合に、前記文書画像は複合的な位置付けにあると決定する
よう構成される画像配置決定ユニットを更に有する、付記５に記載の装置。

（付記９）
コンピュータによって読み出されて実行される場合に、前記コンピュータが付記１乃至４のうちいずれか１つに記載される方法を実行することを可能にする機械可読命令コードを記憶したプログラムプロダクト。

（付記１０）
付記９に記載のプログラムプロダクトを有する機械可読記憶媒体。

（付記１１）
文書画像を処理するためのコンピュータを、
Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行する水平テキストライン抽出手段、
Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行する垂直テキストライン抽出手段、
Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供する重複行列提供手段であって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示す前記重複行列提供手段、
垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージする垂直マージ手段、
水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージする水平マージ手段、
前記垂直マージ手段及び前記水平マージ手段によってマージされた前記重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するテキスト重複領域決定手段、
前記テキスト重複領域決定手段よって決定された前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするカウント手段、及び
前記カウント手段によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、前記カウント手段によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するよう構成されるテキスト配置決定手段
として機能させるための文書画像処理プログラム。

４００ 文書画像処理装置
４１０ 水平テキスト抽出ユニット
４２０ 垂直テキスト抽出ユニット
４３０ 重複行列提供ユニット
４４０ 垂直マージユニット
４５０ 水平マージユニット
４６０ テキスト重複領域決定ユニット
４７０ カウントユニット
４８０ テキスト配置決定ユニット
Ｈ−１〜Ｈ−５ 水平テキストライン
Ｖ−１〜Ｖ−７ 垂直テキストライン

Claims (9)

1. 文書画像処理装置の動作方法であって、
   Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行するステップと、
   Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行するステップと、
   Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供するステップであって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示すステップと、
   垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージするステップと、
   水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージするステップと、
   前記マージされた重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するステップと、
   前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするステップと、
   水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するステップと
   を前記文書画像処理装置が実行する方法。
2. 前記文書画像処理装置が、
   前記文書画像において１又はそれ以上のテキスト重複領域を決定する前に、前記重複行列ＭＯの要素の値がもはや変化しなくなるまで、垂直方向及び水平方向において前記重複行列ＭＯのマージを繰り返すステップ
   を更に実行する、請求項１に記載の方法。
3. ＭＯ（ｉ，ｊ）＝０は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在しないことを示し、
   ＭＯ（ｉ，ｊ）＝ｉは、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在することを示し、
   垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値は、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に最小値に設定され、
   水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値は、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に最小値に設定される、
   請求項１又は２に記載の方法。
4. 前記文書画像処理装置が、
   前記１又はそれ以上のテキスト重複領域の夫々の位置付けが横向きであると決定される場合に、前記文書画像は横向きにあると決定するステップと、
   前記１又はそれ以上のテキスト重複領域の夫々の位置付けが縦向きであると決定される場合に、前記文書画像は縦向きにあると決定するステップと、
   前記１又はそれ以上のテキスト重複領域の位置付けが横向き及び縦向きの両方を含むと決定される場合に、前記文書画像は複合的な位置付けにあると決定するステップと
   が更に実行する、請求項１に記載の方法。
5. 文書画像を処理する装置であって、
   Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行するよう構成される水平テキストライン抽出ユニットと、
   Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行するよう構成される垂直テキストライン抽出ユニットと、
   Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供するよう構成される重複行列提供ユニットであって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示す前記重複行列提供ユニットと、
   垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージするよう構成される垂直マージユニットと、
   水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージするよう構成される水平マージユニットと、
   前記垂直マージユニット及び前記水平マージユニットによってマージされた前記重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するよう構成されるテキスト重複領域決定ユニットと、
   前記テキスト重複領域決定ユニットよって決定された前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするよう構成されるカウントユニットと、
   前記カウントユニットによってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、前記カウントユニットによってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するよう構成されるテキスト配置決定ユニットと
   を有する装置。
6. 前記テキスト重複領域決定ユニットが前記文書画像において１又はそれ以上のテキスト重複領域を決定する前に、前記垂直マージユニット及び前記水平マージユニットは、前記重複行列ＭＯの要素の値がもはや変化しなくなるまで、垂直方向及び水平方向において前記重複行列ＭＯのマージを繰り返す、
   請求項５に記載の装置。
7. ＭＯ（ｉ，ｊ）＝０は、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在しないことを示し、
   ＭＯ（ｉ，ｊ）＝ｉは、水平テキストラインのｉ行目と垂直テキストラインのｊ列目との間には重複が存在することを示し、
   前記垂直マージユニットは、垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値を、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に最小値に設定し、
   前記水平マージユニットは、水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値を、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に最小値に設定する、
   請求項５又は６に記載の装置。
8. 前記１又はそれ以上のテキスト重複領域の夫々の位置付けが横向きであると決定される場合に、前記文書画像は横向きにあると決定し、
   前記１又はそれ以上のテキスト重複領域の夫々の位置付けが縦向きであると決定される場合に、前記文書画像は縦向きにあると決定し、
   前記１又はそれ以上のテキスト重複領域の位置付けが横向き及び縦向きの両方を含むと決定される場合に、前記文書画像は複合的な位置付けにあると決定する
   よう構成される画像配置決定ユニットを更に有する、請求項５に記載の装置。
9. 文書画像を処理するためのコンピュータを、
   Ｎｈ行の水平テキストラインを得るよう前記文書画像に対して水平テキストライン抽出を実行する水平テキストライン抽出手段、
   Ｎｖ列の垂直テキストラインを得るよう前記文書画像に対して垂直テキストライン抽出を実行する垂直テキストライン抽出手段、
   Ｎｈ行及びＮｖ列を有するＭＯによって表される重複行列を提供する重複行列提供手段であって、該重複行列ＭＯのｉ行目（１≦ｉ≦Ｎｈ）及びｊ列目（１≦ｊ≦Ｎｖ）のＭＯ（ｉ，ｊ）によって表される要素の値はｉ行目の水平テキストラインとｊ列目の垂直テキストラインとの間の重複関係を示す前記重複行列提供手段、
   垂直テキストラインの列と水平テキストラインの複数行の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、垂直テキストラインの当該列が水平テキストラインの前記複数行と同時に重なり合う場合に同じ値に設定されるように、垂直方向において前記重複行列ＭＯをマージする垂直マージ手段、
   水平テキストラインの行と垂直テキストラインの複数列の夫々との間の重複関係を示す前記重複行列ＭＯの要素の値が、水平テキストラインの当該行が垂直テキストラインの前記複数列と同時に重なり合う場合に同じ値に設定されるように、水平方向において前記重複行列ＭＯをマージする水平マージ手段、
   前記垂直マージ手段及び前記水平マージ手段によってマージされた前記重複行列ＭＯの要素の値に基づいて、前記文書画像において１又はそれ以上のテキスト重複領域を決定するテキスト重複領域決定手段、
   前記テキスト重複領域決定手段よって決定された前記１又はそれ以上のテキスト重複領域の１つの領域内で、水平テキストライン及び垂直テキストラインの夫々においてストローク又は画素点の総数をカウントするカウント手段、及び
   前記カウント手段によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも大きい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは横向きであると決定し、前記カウント手段によってカウントされた水平テキストラインにおけるストローク又は画素点の総数が垂直テキストラインにおけるストローク又は画素点の総数よりも小さい場合は、前記１又はそれ以上のテキスト重複領域の前記１つの領域の位置付けは縦向きであると決定するよう構成されるテキスト配置決定手段
   として機能させるための文書画像処理プログラム。

Images