JP2011233160A

JP2011233160A - 画像データの特徴を特定する方法

Info

Publication number: JP2011233160A
Application number: JP2011153366A
Authority: JP
Inventors: Richard John Campbell; ジョンキャンベルリチャード
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-07-10
Filing date: 2011-07-11
Publication date: 2011-11-17
Anticipated expiration: 2028-07-09
Also published as: JP5214775B2; JP2009020884A; US20090016611A1; US8340430B2; JP4902603B2

Abstract

【課題】電子文書の言語または言語ファミリといった画像の特徴を特定する方法を提供する。
【解決手段】本発明に係る方法の一形態では、画像データの所定の領域に含まれる複数の字体要素について、特徴点の数に対応する字体要素の出現回数を、特徴点の数をビンとした度数分布として積算し、該度数分布から対象分布特性を求め、対象分布特性と、見本分布特性とを比較することにより文字の言語または言語ファミリを特定する。
【選択図】図８

Description

本発明は画像データの特徴を特定するための方法及びシステムに関するものである。

電子文書のページ方向は、原稿がスキャンされた方向、読み取り装置のローラに対する原稿の方向、またはその他の要因によって、便宜的に決められた名目上のページ方向である「原稿のページ方向」とは対応していないことがある。この電子文書のページ方向と名目上のページ方向との不一致は、電子文書を処理する場合において、好ましくない、予期しない、または最善ではない等の結果をもたらす。例えば、電子文書を印刷した物に最終処理を行う時、この方向の違いは好ましくない結果をもたらす。典型的な最終処理として紐で綴じる、またはステープルで綴じる等の処理がある。さらに許容できるレベルの正確さで、ある画像処理操作、例えば光学文字認識（optical character recognition :ＯＣＲ）を行うために、具体的な方向に関するデータの入力が必要になる。加えて、もし名目上のページ方向に対応する電子文書のページ方向が不明であれば、例えばコンピュータのモニタ、携帯用のディスプレイ、及びその他の表示装置において、表示されるべき適切な方向を得ることができない。

特許文献１にはＯＣＲ技術を用い文字認識を行い、読み取った原稿のページ方向を特定する方法が記載されている。これによると、原稿内の一文字一文字を切り出し、切り出した文字をパターン化する。切り出した文字パターンの特徴とデータベース化された文字パターン情報とを比較する。マッチングの方法としては、データベース化された文字パターンに切り出した文字パターンを重ね合わせ、画素毎の白黒を比較し、全てが合致した時のデータベース化された文字パターンをその文字であると判別する。全てが合致する文字パターンがない場合、マッチングする画素が最も多い文字パターンの文字であると判別する。尚、所定のマッチング割合に達しなければ判別不能と判断する。上記の処理を、切り出された文字パターンを９０°、１８０°、２７０°回転させたものについて同様に行う。文字パターンの回転角毎に判別可能な文字数の比較を行い、判別可能な文字数が最も多い回転角を文字の方向とすることにより、原稿のページ方向を特定することができる。

特開平６−１８９０８３（平成６年７月８日公開）

しかしながら、上記従来の方法では、文字パターン情報を記録するデータベースが大きくなるという問題を生じる。切り出した文字をマッチングするためには文字数分のパターンデータが必要となり、パターンデータ用のメモリサイズが大きくなってしまう。またこのデータベースは文書に書かれた文字の言語が不明であるときはさらに増大する。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、字体のマッチングのためのパターンデータを格納するメモリサイズを削減できる、電子文書のページ方向、及び言語または言語ファミリ等を特定する方法及びシステムを実現することにある。

本発明に係る文字の言語または言語ファミリを特定する方法は、（ａ）画像データから２値化された画像データを生成する第１ステップと、（ｂ）上記２値化された画像データの中の字体要素を決定する第２ステップと、（ｃ）字体の特徴を示す所定のパターンにマッチする、上記字体要素の特徴点の数を算出する第３ステップと、（ｄ）上記画像データの所定の領域に含まれる複数の上記字体要素について、上記特徴点の数に対応する上記字体要素の出現回数を、上記特徴点の数を横軸とした度数分布として積算する第４ステップと、（ｅ）上記度数分布を上記字体要素あたりの分布として正規化することにより得られる対象分布特性を算出する第５ステップと、（ｆ）所定の言語または言語ファミリのトレーニング画像データに対して、上記第１から第５ステップと同じ手順を用いて得られる見本分布特性を取得する第６ステップと、（ｇ）上記対象分布特性と、上記見本分布特性とを比較することにより文字の言語または言語ファミリを特定する第７ステップと、を有することを特徴としている。

これにより、字体のマッチングのために必要となるパターンデータ数は、字体の特徴の種類の数ですむので、字体のマッチングのためのパターンデータを格納するメモリサイズを削減しながら、言語または言語ファミリを特定することができる。

（Ａ）は「読める方向」にある典型的なテキストを示す図であり、（Ｂ）は（Ａ）を時計回りに９０°回転させた典型的なテキスト文書を示す図であり、（Ｃ）は（Ａ）を時計回りに１８０°回転させた典型的なテキスト文書を示す図であり、（Ｄ）は（Ａ）を反時計回りに９０°回転させた典型的なテキスト文書を示す図である。ページ方向の修正を含む本発明に係る実施形態を示すフロー図である。画像の２値化処理の後に非テキストブロック除去処理を含む本発明に係る実施形態を示すフロー図である。要素フィルタリング処理を含む本発明に係る実施形態を示すフロー図である。（Ａ）は字体要素の境界線の中心を字体要素の参照点とする典型的な字体要素を示す図であり、（Ｂ）は字体要素の重心を字体要素の参照点とする典型的な字体要素を示す図である。（Ａ）は上向き特徴部といわれる字体の特徴に対応する典型的な画素パターンを示し、（Ｂ）は右向き特徴部といわれる字体の特徴に対応する典型的な画素パターンを示し、（Ｃ）は下向き特徴部といわれる字体の特徴に対応する典型的な画素パターンを示し、（Ｄ）は左向き特徴部といわれる字体の特徴に対応する典型的な画素パターンを示し、（Ｅ）は右上開口特徴部といわれる字体の特徴に対応する典型的な画素パターンを示し、（Ｆ）は右下開口特徴部といわれる字体の特徴に対応する典型的な画素パターンを示し、（Ｇ）は左下開口特徴部といわれる字体の特徴に対応する典型的な画素パターンを示し、（Ｈ）は左上開口特徴部といわれる字体の特徴に対応する典型的な画素パターンを示す図である。典型的な字体要素を示す図である。特徴数の集計処理を含む本発明に係る実施形態を示すフロー図である。ページ方向検出のための教師付きトレーニングを含む本発明に係る実施形態を示すフロー図である。言語検出のための教師付きトレーニングを含む本発明に係る実施形態を示すフロー図である。特徴／見本比較処理を含む本発明に係る実施形態を示すフロー図である。本発明に係る画像特徴特定システムを示すブロック図である。

本発明の実施形態は、字体の特徴の分布を測定することにより画像データ中のテキスト方向を特定する方法及びシステムからなる。また本発明の他の実施形態は、字体の特徴の分布を測定することにより、電子文書のテキストの言語または言語ファミリを特定する方法及びシステムからなる。本発明のいくつかの実施形態は、トレーニングデータサンプルのセットのページまたはテキスト領域に渡って、字体の特徴の見本分布を生成する教師付きトレーニング（supervised-training）法を使用した方法及びシステムからなる。

本発明の上述及び他の目的、特徴、及び優位性についてさらに理解を深めるため、以下に本発明のいくつかの実施形態について図１〜１１に基づいて説明する。

本発明の実施形態は以下に示す図１〜１１を参照することにより、理解することができる。尚、図中の各部に数字の符号を付している。

本発明の構成要素は一般に図中に記述及び記載されているように、様々な異なる形態に変更及び組み合わせることができる。それゆえ、以下に本発明における方法及びシステムの実施形態を詳細に記述することは、本発明の範囲を限定するものではなく、単に本発明の好ましい実施形態を記述するためのものである。

本発明の実施形態の要素は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせにより具現化できる。ここで扱う典型的な実施形態はこれらの形態のうちの一つでのみ記載されるが、当業者は本発明の請求項に示される範囲に基づきこれらの形態のどんな形態でも実施することができるだろう。

電子文書（文書画像、テキスト画像、または画像ともみなされる）のページ方向は、名目上のページ方向である「原稿のページ方向」と対応していないことがある。これはスキャン方向、スキャナローラに対する原稿の方向、及び他の要因によるものである。電子文書におけるページ方向と名目上のページ方向との不一致は、電子文書を処理する場合において、好ましくない、予期しない、または最善ではない等の結果をもたらしうる。例えば、電子文書を印刷した物に最終処理を行う時、この方向の違いは好ましくない結果をもたらしうる。典型的な最終処理としては紐で綴じる、またはステープルで綴じる等の処理がある。さらに許容できるレベルの正確さで、ある画像処理操作、例えば光学文字認識（optical character recognition :ＯＣＲ）を行うために、具体的な方向に関するデータの入力が必要になる。加えて、もし名目上のページ方向に対応する電子文書のページ方向が不明であれば、例えばコンピュータのモニタ、携帯用のディスプレイ、及びその他の表示装置において表示される適切な方向を得ることができない。

本発明のいくつかの実施形態は、電子文書における最有力のテキスト方向の自動検出に関するものである。テキスト方向は名目上のページ方向に関係していることがある。

スキャン、コピー、及び他のデジタル画像処理をする際、文書は画像処理装置のローラ、またはドキュメントフィーダ上に標準ではない方向に置かれることがある。スキャン等の電子画像は通常の読める方向から逆向き、または回転したものになっていることがある。

図１（Ａ）〜（Ｄ）は、上方向を読める方向とみなし、読める方向に関する、数種類の文書方向を描いたものである。図１（Ａ）は、読める方向に置かれた典型的なテキスト文書２を示している。これは０°方向とみなされる。図１（Ｂ）は、９０°回転した方向に置かれた典型的なテキスト文書４を示している。これは時計回りに９０°回転した方向、時計逆周りに２７０°回転した方向、右に９０°回転した方向または左に２７０°回転した方向であるともみなされる。図１（Ｃ）は、１８０°回転した方向に置かれた典型的なテキスト文書６を示している。これは逆方向であるとみなされる。図１（Ｄ）は２７０°回転した方向に置かれた典型的なテキスト文書８を示している。これは時計回りに２７０°回転した方向、時計逆周りに９０°回転した方向、右に２７０°回転した方向、左に９０°回転した方向であるともみなされる。

スキャンした場合、回転した電子文書のページに対しては、コピーケースの中の原稿を物理的に回転させる、または文書ビューアまたは他の画像・文書処理アプリケーションの中でページを逆向けたり回転させることによって、ユーザが手動で修正する必要がある。

本発明のいくつかの実施形態は、電子文書が読める方向か、９０°回転しているか、１８０°回転しているか、２７０°回転しているかを特定することができる。本発明のいくつかの実施形態は、ページ上のテキストの言語または言語ファミリを特定することができる。

本発明のいくつかの実施形態は、字体（グリフ）の特徴の分布を測定することにより電子文書のページ方向を特定することができる。本発明の他の実施形態は、字体の特徴の分布を測定することにより電子文書のテキストの言語または言語ファミリを特定することができる。本発明のいくつかの実施形態は、トレーニングデータサンプルのセットのページまたはテキスト領域に渡って、字体の特徴の見本分布を生成する教師付きトレーニング法を利用することがある。それぞれのトレーニングサンプルにおいて、トレーニングサンプル中のテキストの方向及びテキストの言語または言語ファミリはあらかじめ与えられている。トレーニングデータは、見本となるページまたは他の領域の特徴分布のライブラリを形成する。本発明の実施形態はデータのページまたは他の領域の特徴分布とマッチングするために、見本となるページまたは他の領域の特徴分布のライブラリを利用することができる。

本発明のいくつかの実施形態は、２値化した角部のパターンを使用し、文字の非対称性をコード化するために、字体の参照位置に関係する象限（四象限）の位置のコード化をする。本発明のいくつかの実施形態は、テキストデータの言語または言語ファミリを検出し分類するために、字体の２値化した角部のパターンの度数分布を利用する。本発明のいくつかの実施形態は、分類処理部をトレーニングし、ページ方向の見本を生成するために、２値化した角部のパターンを利用する。

本発明のいくつかの実施形態に関して図２を参照して説明する。電子文書画像は２値化される（処理１０）。典型的な２値化の方法は局所的に適応する２値化法及びグローバル２値化法からなる。局所２値化法は、Bernsen、ChowとKaneko、Eikvil他、MardiaとHainsworth、Niblack、Taxt他、YanowitzとBruckstein、Parker、WhiteとRohrerの動的閾値アルゴリズム、WhiteとRohrerの積分関数アルゴリズム、による局所２値化法、及び他の局所法を含む。グローバル２値化法は、Abutaleb、Kapur他、KittlerとIllingworth、Otsu、によるグローバル２値化法、及び他のグローバル法からなる。本発明のいくつかの実施形態では、３２×３２画素のブロックを用いるブロックベースOtsu（大津）２値化法によって２値化処理を行う。画像データの２値化は、画像データの背景画素とそれ以外（字体要素）とを区別できるようにするために行う。

２値化の次に字体要素決定が行われる（処理１２）。字体（グリフ）は、記述された言語において使用される個々の文字またはシンボルである。字体要素決定の間、２値化の結果は字体要素を識別するための接続要素アルゴリズムによって処理される。字体要素決定はまた字体要素の特性の計算を含む。典型的な字体要素の特性は、字体要素の外接矩形、字体要素面積、字体要素の重心、字体要素の外接矩形面積、字体要素の外接矩形中心、及び他の特性を含む。ここで字体要素の外接矩形とは字体要素に外接するような矩形である。一つの字体要素は一つの字体文字を有している。しかし画像ノイズまたは他の要因により、一つの字体要素が多数の字体文字または非字体要素を含む、または一つの字体文字が多数の要素に分割されることがある。

字体要素及び字体要素の特性からページ方向を決定する（処理１４）。電子文書画像は、電子文書画像が読める方向または他の望みの方向に配置されるよう、検出されたページ方向にしたがって電子文書画像が修正される（処理１６）。

本発明のいくつかの実施形態に関して図３を参照して説明すると、非テキストブロックを除去するための非テキストブロック除去が、２値化の後、字体要素決定の前に行われる（処理１１）。本発明のいくつかの実施形態では、非テキストブロック除去は、ブロック内の、コントラスト基準に満たないブロック、またはクラスの分離度が基準に満たないブロックを除去する工程を有する。

本発明のいくつかの実施形態に関して図４を参照して説明すると、ノイズかもしれない字体要素を除去するための要素フィルタリングが、字体要素決定の後、ページ方向特定の前に行われる（処理１３）。本発明のいくつかの実施形態では、要素フィルタリングは、サイズ基準に満たない字体要素を除去する工程を有する。典型的なサイズ基準は、要素面積のサイズの平均に基づくサイズ下限値及びサイズ上限値、字体幅の下限値、及び他のサイズ基準を含む。

本発明のいくつかの実施形態は、非テキストブロック除去処理及び要素フィルタリング処理の両方を有してもよい。

本発明のいくつかの実施形態では、ページ方向特定は、２値化された字体要素の参照点（参照位置）に対する字体要素の特徴点の分布（特徴配置）に基づいている。本発明のいくつかの実施形態に関して図５（Ａ）を参照して説明すると、字体要素３０の参照点は、字体要素外接矩形３４の中心３２であってもよい。（ｃ_ｘ、ｃ_ｙ）で示される、字体要素外接矩形３４の中心３２は、下記の式によって決定される。

ここで{glyph}は字体要素４０を含む画素の組の座標を示している。

本発明の他方の実施形態に関して図５（Ｂ）を参照して説明すると、字体要素４０の参照点は、字体要素４０の重心４２であってもよい。（ｃ_ｘ、ｃ_ｙ）で示される、字体要素４０の重心４２は、下記の式によって決定される。

ここでareaは字体要素４０を含む画素数（面積）を示している。

本発明のいくつかの実施形態では、字体要素の参照点と比較して、字体要素の特徴点の相対的な配置（相対位置）が記述される。本発明のいくつかの実施形態では、字体要素の特徴点の配置は、特徴点が位置する象限によって記述される。本発明の典型的なものでは、字体要素の参照点は、四象限に分解した原点であってもよい。

図５（Ａ）において、参照点３２は字体要素外接矩形３４の中心であってもよい。画像の左上に原点をとり、画像の水平位置を対応する正のＸ座標、画像の垂直位置を対応する正のＹ座標で記述する典型的なラスタスキャン座標系において、（ｆｘ、ｆｙ）で示される特徴点の象限は、以下の式によって決定される。

本発明のいくつかの実施形態では、特徴点が象限を分割する線３１，３３上に載っていた場合、特徴点は両方の象限に位置するとみなされる。本発明の他方の実施形態では、特徴点が象限を分割する線３１，３３上に載っていた場合、その特徴点は分割線に関するあらかじめ決められた象限に位置するとみなされる。

本発明のいくつかの実施形態では、特徴点が字体要素参照点３２上に載っていた場合、特徴点は４つの象限全てに位置するとみなされる。本発明の他方の実施形態では、特徴点が字体要素参照点３２上に載っていた場合、その特徴点はあらかじめ決められた象限に位置するとみなされる。

図５（Ｂ）において、参照点４２は字体要素４０の重心であってもよい。画像の左上に原点をとり、画像の水平位置を対応する正のＸ座標、画像の垂直位置を対応する正のＹ座標で記述する典型的なラスタスキャン座標系において、（ｆｘ、ｆｙ）で示される特徴点の象限は、以下の式によって決定される。

本発明のいくつかの実施形態では、特徴点が象限を分割する線４１，４３上に載っていた場合、特徴点は両方の象限に位置するとみなされる。本発明の他方の実施形態では、特徴点が象限を分割する線４１，４３上に載っていた場合、その特徴点は分割線に関するあらかじめ決められた象限に位置するとみなされる。

本発明のいくつかの実施形態では、特徴点が字体要素参照点４２上に載っていた場合、特徴点は４つの象限全てに位置するとみなされる。本発明の他方の実施形態では、特徴点が字体要素参照点４２上に載っていた場合、その特徴点はあらかじめ決められた象限に位置するとみなされる。

本発明のいくつかの実施形態では、画素パターンに基づく特徴がページ方向を特定するために使用される。図６（Ａ）〜（Ｈ）に、８種類の典型的なパターン特徴に関する３×３画素の典型的なパターンを１２個示してある。図６（Ａ）に示されるパターン６０、６２は”上向き特徴部（upward pointing）”といわれる字体の特徴に関係している。図６（Ｂ）に示されるパターン６４，６６は”右向き特徴部（rightward pointing）”といわれる字体の特徴に関係している。図６（Ｃ）に示されるパターン６８，７０は”下向き特徴部（downward pointing）”といわれる字体の特徴に関係している。図６（Ｄ）に示されるパターン７２，７４は”左向き特徴部（leftward pointing）”といわれる字体の特徴に関係している。図６（Ｅ）に示されるパターン７６は”右上開口特徴部（up-right open）”といわれる字体の特徴に関係している。図６（Ｆ）に示されるパターン７８は”右下開口特徴部（down-right open）”といわれる字体の特徴に関係している。図６（Ｇ）に示されるパターン８０は”左下開口特徴部（down-left open）”といわれる字体の特徴に関係している。図６（Ｈ）に示されるパターン８２は”左上開口特徴部（up-left open）”といわれる字体の特徴に関係している。

字体要素の中のある画素とその周囲の８つの近接する画素とが、字体についての特定の特徴を示すパターンとマッチしたとき、その画素はその特定の特徴と関係がある特徴点であるとみなされる。その画素は特徴パターンの中心画素であるとみなされる。字体要素中の背景画素に対応する画素、字体要素中の字体画素に対応する画素、及び字体要素中の”無関係（don't care）画素”とでもいうべき、字体でも背景でもかまわない部分に対応する画素によって、特徴に関係するパターンが表される。図６（Ａ）〜（Ｈ）に示される典型的なパターンにおいて、パターン中の背景画素を白い四角（例えば５５）で示す。パターン中の灰色の四角（例えば５６）で示す画素は字体要素中の字体画素に対応する。パターン中の斜線のハッチングの四角（例えば５７）で示す画素は字体または背景画素のどちらでもよい画素に対応する。ここで、字体の特徴を示すパターンは、字体の角部（鋭角または鈍角の角部）または字体の頂点を示すパターンとしてもよい。この場合、字体の角部または頂点が向いている方向の種類によって複数のパターンにわけてもよい。より具体的には、字体の鋭角の角部または頂点に位置する字体画素を基準画素としたとき、当該基準画素に隣接する背景画素の当該基準画素に対する方向、及び、当該基準画素に隣接する字体画素の当該基準画素に対する方向の組み合わせに応じたパターンであってもよい。例えば、図６（Ａ）に示すように、基準画素に隣接する背景画素の当該基準画素に対する方向が上方向及び左方向、または、上方向及び右方向であり、基準画素に隣接する字体画素の当該基準画素に対する方向が下方向である組み合わせを、字体の特徴を示す一つのパターンとすればよい。また字体の鈍角の角部を示すパターンは、字体の鈍角の角部に位置する背景画素を基準画素とし、当該基準画素に隣接する背景画素の当該基準画素に対する方向、及び、当該基準画素に隣接する字体画素の当該基準画素に対する方向の組み合わせに応じたパターンであってもよい。例えば、図６（Ｅ）に示すように、基準画素に隣接する背景画素の当該基準画素に対する方向が上方向及び右方向であり、基準画素に隣接する字体要素の当該基準画素に対する方向が下方向及び左方向である組み合わせを、字体の特徴を示す一つのパターンとすればよい。

上述の特徴点を、図７に示される典型的な字体要素９０とともに図示する。背景画素は白い四角（例えば９１）で示される部分であり、字体画素は網模様の四角（例えば９２）で示される部分である。画素９３は上向き特徴部と左向き特徴部との両方に関する特徴点である。画素９４は上向き特徴部と右向き特徴部との両方に関する特徴点である。画素９５は下向き特徴部と左向き特徴部との両方に関する特徴点である。画素９６は下向き特徴部と右向き特徴部との両方に関する特徴点である。画素９７は左下開口特徴部に関する特徴点である。画素９８は右下開口特徴部に関する特徴点である。画素９９は下向き特徴部と右向き特徴部との両方に関する特徴点である。画素１００は下向き特徴部と左向き特徴部との両方に関する特徴点である。

本発明のいくつかの実施形態では、字体要素における画素パターンに基づく特徴の出現回数とその相対的な位置の出現回数とは、領域またはページ毎の統計を作るために他の字体要素の特徴の出現回数とその相対的な位置の出現回数と結合される。領域またはページ毎の統計から、ページ方向のより確かな評価を得ることができる。

本発明のいくつかの実施形態では、画素パターンに基づく特徴の出現回数とその相対的な位置の出現回数とは、出現位置の象限を示す添字を行毎に付し、出現した画素パターンに基づく特徴を示す添字を列ごとに付した分布マトリクス（度数分布）に蓄積される。字体要素をｇで示し、その字体要素の分布マトリクスをｄｍ_ｇで示すと、その字体要素中のそれぞれの特徴の出現について、字体要素の分布マトリクスの中の対応する要素が蓄積される。

上述した図６（Ａ）〜（Ｈ）に示される８種類の典型的な画素パターン特徴について、分布マトリクスｄｍ_ｇは下記の形式で与えられる。

ここでｄｍ_ｇの要素ｅ_i,jは、字体要素ｇにおいて画素パターンに基づく特徴ｊが象限ｉに現れた回数を示す。ここで各ｊは８種類の画素パターンに基づく特徴の一つに対応する。ｋ番目の領域について、蓄積された分布マトリクスをＤＭ_ｋで示すと、領域Ｒ^ｋ中の全ての字体要素ｇの分布マトリクスｄｍ_ｇを各要素に関して和をとったものが総和分布マトリクスＤＭ_ｋである。総和分布マトリクスＤＭ_ｋは下記の式で表される。

字体要素の分布マトリクスｄｍ_ｇと、字体要素が回転したものからなる字体要素の分布マトリクスとの間にはある関係がある。上述の図６（Ａ）〜（Ｈ）に示される８種類の典型的な画素パターン特徴と、図５（Ａ）〜（Ｂ）に示される典型的な四象限に分解したものとに関して、字体要素が時計回りに９０°回転したものを表すためには、字体要素の分布マトリクスの要素を以下のように並べ替えればよい。

字体要素が時計回りに１８０°回転したものを表すためには、字体要素の分布マトリクスの要素を以下のように並べ替えればよい。

字体要素が時計回りに２７０°回転したものを表すためには、字体要素の分布マトリクスの要素を以下のように並べ替えればよい。

ここで特徴１（マトリクスの１列目に相当）は上向き特徴部に対応し、特徴２（マトリクスの２列目に相当）は右向き特徴部に対応し、特徴３（マトリクスの３列目に相当）は下向き特徴部に対応し、特徴４（マトリクスの４列目に相当）は左向き特徴部に対応し、特徴５は右上開口特徴部に対応し、特徴６は右下開口特徴部に対応し、特徴７は左下開口特徴部に対応し、特徴８は左上開口特徴部に対応する。

本発明のいくつかの実施形態では、分布マトリクス同士の間にある関係のために、トレーニング法を用いる場合において、一つの文書方向についてトレーニングすれば、４つの方向全ての分布マトリクスを得ることができる。

本発明のいくつかの実施形態では、画素パターンに基づく特徴を使って、文書の言語または言語ファミリを特定することができる。言語または言語ファミリの決定のための有効な統計は、対象の領域中またはページ中に渡った字体要素にみられる画素パターンに基づく特徴の数の分布である。種々の言語ファミリにおいて、それぞれ異なる言語で書かれた字体要素の組からは、字体要素あたりの特徴の数の分布について、それぞれ異なる分布が得られる。例えば、ラテン語系のアルファベットでは、アジアの言語に比べ、文字あたりの画素パターンに基づく特徴の数がより少なくなる傾向にある。

図８に示される本発明のいくつかの実施形態では、字体要素あたりの特徴の数の分布が決定される。２値化（処理１１０）の後、字体要素決定（処理１１２）、及び特徴決定（処理１１４）がそれぞれの字体要素について行われる。その後、それぞれの字体要素について特徴数の集計が行われ（処理１１６）、対象領域またはページについて字体要素あたりの特徴数の積算が行われ（処理１１８）、対象領域またはページの分布特性が得られる。上記積算結果の配列はヒストグラムとみなされ、また分布ベクトルＤＶ（distribution vector）ともみなせる。ここでヒストグラムのそれぞれのビン（値域）、またはベクトルの要素は、画素パターンに基づく特徴の数が、そのビンに対応する数である字体要素の数を対象領域またはページについて積算したものにあたる。分布ベクトルは以下の式で決定される。

ここで上式における＝は代入演算子であり、/**/に挟まれているのはコメントである。

分布特性は、本発明のいくつかの実施形態において、電子文書中のテキストの言語または言語ファミリを決めるために使用される。

図９に示される本発明のいくつかの実施形態は、教師付きトレーニング（supervised-training）法に基づいてテキスト方向（ページ方向）を特定する。これらの実施形態では、トレーニングデータセットについて特徴が測定される（処理１２０）。次にトレーニングデータセットとあらかじめわかっているトレーニングデータの方向に関するデータとから作られた測定結果を使って分類処理部をトレーニングする（処理１２２）。そして文書画像の特徴が測定され（処理１２４）、トレーニングされた分類処理部と文書画像の特徴とを使用して文書方向（ページ方向）が特定される（処理１２６）。

図１０に示される本発明のいくつかの実施形態は、教師付きトレーニング法に基づいてテキストの言語を決定する。これらの実施形態では、トレーニングデータセットについて特徴が測定される（処理１３０）。次にトレーニングデータセットとあらかじめわかっているトレーニングデータの言語に関するデータとから作られた測定結果を使って分類処理部をトレーニングする（処理１３２）。そして文書画像の特徴が測定され（処理１３４）、トレーニングされた分類処理部と文書画像の特徴とを使用して文書の言語が特定される（処理１３６）。

本発明のいくつかの実施形態では、それぞれの言語ファミリの見本分布マトリクス及び見本分布ベクトルが分類処理部のトレーニングに使用される。これらの典型的な分布（見本分布マトリクス）は、各言語ファミリの典型的な文書に基づく教師付きトレーニングによって得られる。

典型的な分布は、それぞれの言語のトレーニングデータセットに渡って得られた分布を正規化し、この正規化された分布を平均することによって得られる。本発明のいくつかの実施形態では、トレーニングデータについての方向と言語に関するデータは、トレーニングデータの２値化された画像データの部分に関係するメタデータとして備えられる。本発明のいくつかの実施形態では、トレーニング法によって、参照方向（例えば通常上方向とみなされる読める方向）からのトレーニングデータが正規化される。この分布マトリクスは、参照方向であるｎ番目のトレーニングサンプルについて、ＤＭ_{ｎ,Ｄ＝Ｕ}で示される。トレーニングサンプルは文書画像のある領域またはページからなる。言語についてのそれぞれのトレーニング分布マトリクスを正規化することにより、正規化された分布マトリクスが得られる。ここで正規化された分布マトリクスをＮＤＭ_{ｎ,Ｄ＝Ｕ}で示す。ＤＭ_{ｎ,Ｄ＝Ｕ}とＮＤＭ_{ｎ,Ｄ＝Ｕ}の関係は以下の式で示される。

ここでｅⁿ _i,jの上付添字ｎは、ｎ番目のトレーニングデータサンプルについてのｅ_i,jであることを示す。また添字Ｄ＝Ｕは、ページ方向（direction）が上向き（up）のものであることを示す。

他方の実施形態では、以下の式に示されるように、正規化された分布マトリクスは、各要素の和が１（unity）ではない値をとってもよい。

ここでＣはあらかじめ決められた定数である。

見本分布マトリクスは、言語または言語ファミリについての複数のトレーニングサンプルに渡って、上記の正規化された分布マトリクスのそれぞれの要素の平均をとることにより得られる。ここで言語ファミリを示す添字をＦとすると、言語ファミリＦに対応する見本分布マトリクスは以下の式で示される。

ここで添字ｎは、参照方向の言語ファミリＦについてのｎ番目のトレーニングサンプルであることを示す。またｎ_Tは平均をとるサンプルの数である。

他の方向の見本分布マトリクスは、参照方向に対応する見本分布マトリクスからの並べ替えに基づいて決定される。本発明のいくつかの実施形態では、参照方向は読める方向である。他方の実施形態では、参照方向は読める方向以外の方向である。また上記の実施形態においては、各言語に対するそれぞれの見本分布マトリクスとして３２個のデータ（８種類の特徴×４象限）が必要であるのみであり、必要とするデータベースを小さくすることができる。したがって計算に必要なメモリサイズを大きく削減することが可能となる。

本発明のいくつかの実施形態では、それぞれの言語ファミリについての見本分布ベクトルＮＤＶ_Ｆは、トレーニングサンプルから以下の式によって決定される。

ここで添字ｎは、言語ファミリＦについてのｎ番目のトレーニングサンプルであることを示し、またＤＶ_ｎはｎ番目のトレーニングサンプルについての分布ベクトルを示す。またｎ_Tは平均をとるサンプルの数である。見本分布ベクトルは多数のトレーニングサンプルに渡って平均をとることによって得られる。分布ベクトルはページ方向とは無関係である。

本発明のいくつかの実施形態では、分類処理部がマッチングを検出する際の最良の検出手段となる。ページ方向、言語または言語ファミリ、及び信頼度を特定するためのトレーニングデータから計算された見本分布（見本分布マトリクスまたは見本分布ベクトル）はページ方向検出モジュールによって利用される。分類処理部は見本分布と、文書画像から得られた分布特性とを比較することにより、ページ方向、言語または言語ファミリ、及びその信頼度を特定する。

本発明のいくつかの実施形態では、信頼度は、評価されたページ方向結果の信頼性が低い場合にそのページ方向結果を排除するために利用される。他方の実施形態では、ページ方向マッチングの段階で計算された情報が、方向に関する他の情報源から得られる情報と併せて利用される。そのようなページ方向マッチングの段階で計算される典型的な情報は、似たようなマッチングの全てについて信頼度を測定したものからなる。

本発明のいくつかの実施形態は、図１１に示される関係で表される。文書画像は２値化され（１４０）、字体要素の候補が決定される（１４２）。２値化された字体要素の候補は、期待する字体要素構造に一致しない要素を排除するため要素フィルタリングされる（１４４）。その結果、字体要素からなる２値化字体マップが得られる。この字体マップから正規化された分布ＮＤＭ及びＮＤＶを生成することにより文書画像の特徴を抽出する（１４６）。文書画像の特徴を示すこれらの分布（分布特性）は、あらかじめ一連のトレーニング手順で計算された言語及びページ方向に関する見本分布と比較される（１４８）。ここでＮＤＭ及びＮＤＶは字体要素の特徴の出現数（Σ_ｉΣ_ｊｅ_ｉ，ｊ）でそれぞれＤＭ及びＤＶを割り正規化したものである。

本発明のいくつかの実施形態では、この比較によって、測定された分布ＮＤＭと見本分布ＮＤＭ_Ｆ，Ｄとの積和演算結果ＮＤＭ・ＮＤＭ_Ｆ，Ｄに応じたマッチング値が得られる。この積和演算結果は、２つのマトリクスの要素同士の積の和をとったもので、次式で定義される。

正規化されたマトリクスについての上記マッチング値は０から１までの値をとり、０はもっとも悪いマッチング結果を、１はもっともよいマッチング結果であることを表している。すなわち、これは、文書画像から得られた分布マトリクスと見本分布から得られた分布マトリクスとの特性が近ければ値が大きくなる、信頼度というべきものである。積和演算によってページ方向と、言語または言語ファミリとの全ての組み合わせについて上記のマッチング値を算出する。そしてその中からもっともふさわしい結果が次式の選択条件により決定される。

ここでＤはページ方向を、Ｆは言語ファミリを示す。このようにして測定データと最も高い相関（マッチング値）を示すページ方向、及び言語または言語ファミリの見本分布（ｄ、ｆ）が特定される。

本発明の他方の実施形態では、マッチング値は次式で与えられるように、２つのマトリクスの差分の絶対値の和に応じたものとして得られる。

本実施形態では、マッチング値は０がもっともよいマッチング結果であり、２がもっとも悪いマッチング結果であることを示す。すなわち、これは、文書画像から得られた分布マトリクスと見本分布から得られた分布マトリクスとの特性が近ければ値が小さくなる、信頼度というべきものである。上記演算によってページ方向と、言語または言語ファミリとの全ての組み合わせについて上記のマッチング値を算出する。そしてその中からもっともふさわしい結果が次式の選択条件により決定される。

ここでＤはページ方向を、Ｆは言語ファミリを示す。このようにして測定データと最も小さい差分（マッチング値）を示すページ方向、及び言語または言語ファミリの見本分布（ｄ、ｆ）が特定される。

本発明のいくつかの実施形態では、見本分布をあらかじめメモリ等の記録媒体に保存しておき、そこから取得するようにしてもよい。また、見本分布をインターネット等のネットワークまたは電気信号回線を経由して取得してもよい。

本発明のいくつかの実施形態では、分布ベクトルを利用して言語または言語ファミリを特定するためのマッチング値は、積和演算結果ＮＤＶ・ＮＤＶ_Ｆによって与えられる。上記の演算はベクトルの内積である。他方の実施形態では、マッチング値は分布ベクトルの各要素同士の差分の絶対値の和Σ｜ＮＤＶ−ＮＤＶ_Ｆ｜によって与えられる。ここでΣはベクトルの各要素（成分）についての和である。もっともふさわしい言語を特定するための選択条件はそれぞれ、積和演算結果については（ｆ）＝ｍａｘ_Ｆ（ＮＤＶ・ＮＤＶ_Ｆ）であり、差分の絶対値の和については（ｆ）＝ｍｉｎ_Ｆ（Σ｜ＮＤＶ−ＮＤＶ_Ｆ｜）である。

本発明のいくつかの実施形態では、言語の分類はページ方向の検出に先立って行われる。これらの実施形態では、ページ方向の検出に使用される言語ファミリの範囲は、前もって分類された言語に基づいて限定されたものとなる。

本発明の他方の実施形態では、言語の決定とページ方向の検出は、平行して行われる。そして分布マトリクスのマッチング結果と、マッチング結果から最適なものを選択するための選択条件とは、ページ方向の特定及び言語ファミリの特定の両方に役立つ情報を返す。この情報は限定された言語ファミリのマッチング結果と組み合わされる。すなわち、分布マトリクスは複数の言語ファミリの見本分布マトリクスと比較され、そのマッチング結果の中から、選択条件により最もマッチング結果がよいものを選び出し、言語ファミリ及びページ方向が特定される。一方の実施形態では、最もマッチング結果がよいものを選択する際に、各マッチング結果は重みをつけて評価される。他方の実施形態では、マッチング値は分類処理部に入力される。

本発明のいくつかの実施形態は上述した最適マッチングの検出処理として記述できる。本発明の他方の実施形態は、パターン認識法に基づく分類処理部からなる。

本発明のいくつかの実施形態は、上述の各実施形態を実現するシステムとして提供される。図１２を参照しながら本実施形態の画像特徴特定システム１５０に関して以下に説明する。画像特徴特定システム１５０に、スキャナ等により読み取られた画像データが入力される。入力された画像データは２値化画像生成部１５１に入力され、２値化された画像データが生成される。画像データの２値化は、画像データの背景画素とそれ以外（字体要素）とを区別できるようにするために行う。上記２値化された画像データは字体要素決定部１５２に入力され、２値化された画像データの中の字体要素が決定される。上記字体要素を含む２値化された画像データは参照位置決定部１５３に入力され、字体要素の参照位置が決定される。上記参照位置は上記字体要素の重心、または上記字体要素の外接矩形の中心、としてもよい。また上記字体要素を含む２値化された画像データは特徴配置決定部１５４に入力され、字体要素の中の、字体の特徴を示す所定のパターンにマッチする、特徴点の位置（特徴配置）が決定される。特徴点の位置は字体要素の、パターンにマッチする部分の中心としてもよい。字体要素の上記参照位置と上記特徴点の位置とを示すデータは相対位置決定部１５５に入力され、参照位置に対する特徴点の相対的な位置（相対位置）が決定される。上記相対的な位置は、字体要素を参照点を原点として四象限に分け、上記特徴点の位置が位置する象限を示すデータとしてもよい。相対位置を示すデータは画像特徴特定部１５６に入力され、上記相対位置に基づき画像の特徴（ページ方向、言語または言語ファミリ等）が特定される。画像特徴特定部１５６が行う処理として以下に具体例を記す。画像特徴特定部１５６は、上記画像データの所定の領域に含まれる複数の上記字体要素について、上記字体の特徴及び上記相対位置毎に、上記字体の特徴の出現回数を度数分布として積算し、上記度数分布を上記字体要素あたりの分布として正規化することにより得られる対象分布特性を算出し、上記対象分布特性と、上記見本分布特性とを比較することにより画像のページ方向、言語または言語ファミリを特定する。上記見本分布特性は、所定のページ方向、言語または言語ファミリのトレーニング画像データに対して、対象分布特性と同様の手順を用いることで算出することができる。見本分布はあらかじめメモリ等の記録媒体に保存しておき、そこから取得するようにしてもよい。また、見本分布をインターネット等のネットワークまたは電気信号回線を経由して取得してもよい。

ニューラルネットワーク（Neural Networks）、サポートベクターマシン（Support Vector Machines）（ＳＶＭ）、Hidden Markovモデル、及びその他の方法を含むトレーニング方法を、画素パターンに基づく特徴、及びページ方向と言語とを決定するための上述した演算方法、と連携させて使用してもよい。

上の明細書中で使用した用語及び表現は、説明するために使用したものであり、範囲を限定するものではない。また図示及び記述された特徴と同等のものを排除する用語及び表現の使用を意図するものでもない。本発明の範囲は、特許請求の範囲に示した請求項でのみ定義及び限定されるべきものである。

最後に、画像特徴特定システム１５０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像特徴特定システム１５０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像特徴特定システム１５０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像特徴特定システム１５０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像特徴特定システム１５０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

（変形例）
本発明の一形態に係る画像の特徴を特定する方法は、ａ）画像データから２値化された画像データを生成するステップと、ｂ）上記２値化された画像データの中の字体要素を決定するステップと、ｃ）上記字体要素の参照位置を決定するステップと、ｄ）上記字体要素の特徴配置を決定するステップと、ｅ）上記特徴配置の、上記参照位置に対する相対位置を決定するステップと、ｆ）上記相対位置に基づき画像の特徴を特定するステップと、を有することを特徴としている。

これにより、字体のマッチングのためのパターンデータを格納するメモリサイズを削減しながら、画像の特徴を特定することができる。

上記参照位置は上記字体要素の重心であってもよい。

上記参照位置を決定するステップは、ａ）上記字体要素の外接矩形を決定するステップと、ｂ）上記外接矩形の中心を決定するステップと、を有してもよい。

上記相対位置を決定するステップは、上記参照位置に基づき上記特徴配置を象限に分解するステップを有してもよい。

上記画像の特徴は、方向の特徴であってもよい。

これにより、字体のマッチングのためのパターンデータを格納するメモリサイズを削減しながら、電子文書のページ方向を特定することができる。

上記画像の特徴は、言語の特徴であってもよい。

これにより、字体のマッチングのためのパターンデータを格納するメモリサイズを削減しながら、言語または言語ファミリを特定することができる。

また本発明の一形態に係る画像の特徴を特定する方法は、ａ）画像データから２値化された画像データを生成するステップと、ｂ）上記２値化された画像データの中の第１の字体要素を決定するステップと、ｃ）上記第１の字体要素の第１の参照位置を決定するステップと、ｄ）上記第１の字体要素の中の、第１の特徴に対応する第１の特徴配置を決定するステップと、ｅ）上記第１の特徴配置の、上記第１の参照位置に対する第１の相対位置を決定するステップと、ｆ）上記第１の特徴及び上記第１の相対位置に関して、その出現回数を第１の度数分布として積算するステップと、ｇ）上記第１の度数分布に基づいた分布特性に基づき、画像の特徴を特定するステップと、を有することを特徴としている。

上記画像の特徴に対応する信頼度を決定するステップをさらに有してもよい。

これにより、特定された画像の特徴の信頼性を高めることができる。

上記の画像の特徴を決定するステップは、上記分布特性をあらかじめトレーニングされた分類処理部に入力するステップを有してもよい。

ａ）上記第１の字体要素の中の、第２の特徴に対応する第２の特徴配置を決定するステップと、ｂ）上記第２の特徴配置の、上記第１の参照位置に対する第２の相対位置を決定するステップと、ｃ）上記第２の特徴及び上記第２の相対位置に関して、その出現回数を上記第１の度数分布に積算するステップと、をさらに有してもよい。

上記第１の参照位置は、上記第１の字体要素の重心であってもよい。

上記第１の参照位置を決定するステップは、ａ）上記第１の字体要素の第１の外接矩形を決定するステップと、ｂ）上記第１の外接矩形の中心を決定するステップと、を有してもよい。

上記第１の相対位置を決定するステップは、上記第１の参照位置に基づき上記第１の特徴配置を象限に分解するステップを有してもよい。

上記画像の特徴は、方向の特徴であってもよい。

上記画像の特徴は、言語の特徴であってもよい。

ａ）上記２値化された画像データの中の第２の字体要素を決定するステップと、ｂ）上記第２の字体要素の第２の参照位置を決定するステップと、ｃ）上記第２の字体要素の中の、上記第１の特徴に対応する第２の特徴配置を決定するステップと、ｄ）上記第２の特徴配置の、上記第２の参照位置に対する第２の相対位置を決定するステップと、ｅ）上記第１の特徴及び上記第２の相対位置に関して、その出現回数を第２の度数分布として積算するステップと、をさらに有してもよい。

上記分布特性を生成するために、上記第２の度数分布と上記第１の度数分布とを結合するステップをさらに有してもよい。

複数の字体要素について度数分布を積算し、結合することにより、より正確に画像の特徴を特定することができる。

本発明の一形態に係る画像の特徴を特定するシステムは、ａ）画像データから２値化された画像データを生成する２値化画像生成手段と、ｂ）上記２値化された画像データの中の字体要素を決定する字体要素決定手段と、ｃ）上記字体要素の参照位置を決定する参照位置決定手段と、ｄ）上記字体要素の中の特徴配置を決定する特徴配置手段と、ｅ）上記特徴配置の、上記参照位置に対する相対位置を決定する相対位置決定手段と、ｆ）上記相対位置に基づき画像の特徴を特定する画像特徴特定手段と、を備えることを特徴としている。

上記画像の特徴は、方向の特徴であってもよい。

上記画像の特徴は、言語の特徴であってもよい。

本発明の一形態に係る画像のページ方向を特定する方法は、ａ）画像データから２値化された画像データを生成する第１ステップと、ｂ）上記２値化された画像データの中の字体要素を決定する第２ステップと、ｃ）上記字体要素の重心、または上記字体要素の外接矩形の中心、を参照位置として決定する第３ステップと、ｄ）上記参照位置を原点として字体要素を四象限に分割する第４ステップと、ｅ）字体の特徴を示す所定のパターンにマッチする、上記字体要素の特徴点の位置を決定する第５ステップと、ｆ）上記特徴点の位置が、上記四象限のいずれに位置するかを示す相対位置を決定する第６ステップと、ｇ）上記画像データの所定の領域に含まれる複数の上記字体要素について、上記字体の特徴及び上記相対位置毎に、上記字体の特徴の出現回数を度数分布として積算する第７ステップと、ｈ）上記度数分布を上記字体要素あたりの分布として正規化することにより得られる対象分布特性を算出する第８ステップと、ｉ）所定のページ方向のトレーニング画像データに対して、上記第１から第８ステップと同じ手順を用いて得られる見本分布特性を取得する第９ステップと、ｊ）上記対象分布特性と、上記見本分布特性とを比較することにより画像のページ方向を特定する第１０ステップと、を有することを特徴としている。

これにより、字体のマッチングのために必要となるパターンデータ数は、字体の特徴の種類の数ですみ、また各言語に対するそれぞれの見本分布特性として「字体の特徴の数×象限の数」のデータが必要であるのみであり、必要とするデータを格納するメモリサイズを削減しながら、電子文書のページ方向を特定することができる。

本発明の一形態に係る文字の言語または言語ファミリを特定する方法は、ａ）画像データから２値化された画像データを生成する第１ステップと、ｂ）上記２値化された画像データの中の字体要素を決定する第２ステップと、ｃ）上記字体要素の重心、または上記字体要素の外接矩形の中心、を参照位置として決定する第３ステップと、ｄ）上記参照位置を原点として字体要素を四象限に分割する第４ステップと、ｅ）字体の特徴を示す所定のパターンにマッチする、上記字体要素の特徴点の位置を決定する第５ステップと、ｆ）上記特徴点の位置が、上記四象限のいずれに位置するかを示す相対位置を決定する第６ステップと、ｇ）上記画像データの所定の領域に含まれる複数の上記字体要素について、上記字体の特徴及び上記相対位置毎に、上記字体の特徴の出現回数を度数分布として積算する第７ステップと、ｈ）上記度数分布を上記字体要素あたりの分布として正規化することにより得られる対象分布特性を算出する第８ステップと、ｉ）所定の言語または言語ファミリのトレーニング画像データに対して、上記第１から第８ステップと同じ手順を用いて得られる見本分布特性を取得する第９ステップと、ｊ）上記対象分布特性と、上記見本分布特性とを比較することにより文字の言語または言語ファミリを特定する第１０ステップと、を有することを特徴としている。

これにより、字体のマッチングのために必要となるパターンデータ数は、字体の特徴の種類の数ですみ、また各言語に対するそれぞれの見本分布特性として「字体の特徴の数×象限の数」のデータが必要であるのみであり、必要とするデータを格納するメモリサイズを削減しながら、言語または言語ファミリを特定することができる。

スキャン、コピー、及びデジタル画像処理における電子文書の最有力のテキスト方向またはテキスト言語の自動特定に利用できる。

２，４，６，８テキスト文書
１０、１１０２値化処理（２値化画像生成）
１２、１１２字体要素決定処理
１４ページ方向特定処理
１６ページ方向修正処理
３０字体要素
３２中心（参照点）
３４字体要素外接矩形（外接矩形）
３５，３６，３７，３８象限
４０字体要素
４２重心（参照点）
４４，４５，４６，４７象限
５５背景画素
５６字体画素
５７無関係画素
９０字体要素
１１４特徴決定処理
１１６特徴数の集計処理
１１８特徴数の積算処理
１２０トレーニングデータセットについて特徴を測定
１２２分類処理部をトレーニング
１２４文書画像の特徴を測定
１２６文書画像の特徴を使用してページ方向を特定
１５０画像特徴特定システム
１５１２値化画像生成部
１５２字体要素決定部
１５３参照位置決定部
１５４特徴配置決定部
１５５相対位置決定部
１５６画像特徴特定部

Claims

画像データの中の文字の言語または言語ファミリを特定する方法において、
ａ）画像データから２値化された画像データを生成する第１ステップと、
ｂ）上記２値化された画像データの中の字体要素を決定する第２ステップと、
ｃ）字体の特徴を示す所定のパターンにマッチする、上記字体要素の特徴点の数を算出する第３ステップと、
ｄ）上記画像データの所定の領域に含まれる複数の上記字体要素について、上記特徴点の数に対応する上記字体要素の出現回数を、上記特徴点の数をビンとした度数分布として積算する第４ステップと、
ｅ）上記度数分布を正規化することにより得られる対象分布特性を算出する第５ステップと、
ｆ）所定の言語または言語ファミリのトレーニング画像データに対して、上記第１から第５ステップと同じ手順を用いて得られる見本分布特性を取得する第６ステップと、
ｇ）上記対象分布特性と、上記見本分布特性とを比較することにより文字の言語または言語ファミリを特定する第７ステップと、
を有することを特徴とする文字の言語または言語ファミリを特定する方法。