JP2010218128A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】文字画像を人間の筆順にて区切られる文字ストロークと同様なストロークに精度良く分解する画像処理装置、画像処理方法、プログラム及び記録媒体を提供する。
【解決手段】画像処理装置は、文字画像を細線化する細線化処理手段と、細線化処理手段により細線化された文字画像から端点及び交点を検出する検出手段と、検出手段により検出された交点がストロークの終了か否かを判定する判定手段と、細線化処理手段と検出手段と判定手段とに基づいて、文字画像から文字のストロークを分解して抽出するストローク抽出手段と、を備える。
【選択図】図８

Description

本発明は、手書き文字を認識する画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

手書き文字の認識、特にオフラインの手書き文字認識は、活字と異なり書いた人毎の癖などが影響するため、文字認識精度が低いという問題があった。個人の手書き文字用の辞書を使用してパターンマッチングする等の方法があるが、精度が低いという問題が解決できずに実用に耐えるものがほとんど商品化されていない。

しかし近年、タブレット等の入力機器を使用したオンラインの手書き文字の文字認識技術としては、文字ストロークを入力として手書き文字認識を行う技術が提案されている。さらに、オンラインの手書き文字認識技術は、近年ゲーム機等の民生品に搭載され実用的に問題ないレベルに進歩してきている。

オフラインの文字認識に関しても、オンラインの文字認識と同様に文字ストロークを入力とした認識方法を用いれば、オンライン文字認識と同様な認識精度が得られる事が期待される。上記文字ストロークに分解して手書き文字認識を行う技術としては、例えば、原文字パタ−ンを細線化して得られた芯線パターンからストロークの方向コード列、端点、屈曲点、分岐点を検出順に並べた特徴と、分岐点から延びる３本の芯線方向の組合せ特徴と、から手書き文字認識を行う技術が開示されている（例えば、特許文献１）。

また、上記技術に関連し、文字ストロークを抽出する技術も開示されている（例えば、特許文献２）。例えば、上記特許文献２では、文字画像の黒画素の連結方向に対応した方向コードを付け、方向コード毎に別々の方向に走査して方向コード毎の連結性を調べ、連結した同一方向コードの画素群をストロークとして抽出する。また、ストローク抽出時に交叉を検出した場合には、ストロークを延長するか、終端するかを予め決められた一方の手順に従い、注目ストロークを抽出する。

しかし、上記特許文献１及び上記特許文献２の技術では、抽出するストロークは、交点や分岐点において終端し、抽出したストロークから得られる情報を特徴とした特別な辞書等によって文字を認識する。つまり、上記特許文献１及び上記特許文献２の技術では、手書き文字の画像データからオフラインに、オンラインの手書き文字認識に供するような人間の筆順にて区切られる文字ストロークと同様なストロークの形態には分解してはいないという課題があった。そのため、文字認識の精度が未だに不十分であるという課題があった。

本発明はこのような実情を鑑みてなされたものであり、精度の良い文字ストロークを入力とする手書き文字認識により文字認識を実現するために、文字画像を人間の筆順にて区切られる文字ストロークと同様なストロークに精度良く分解する画像処理装置、画像処理方法、プログラム及び記録媒体を提供することを目的とする。

本発明の画像処理装置は、文字画像を細線化する細線化処理手段と、細線化処理手段により細線化された文字画像から端点及び交点を検出する検出手段と、検出手段により検出された交点がストロークの終了か否かを判定する判定手段と、細線化処理手段と検出手段と判定手段とに基づいて、文字画像から文字のストロークを分解して抽出するストローク抽出手段と、を備えることを特徴とする。

本発明の画像処理方法は、文字画像を細線化する細線化処理ステップと、細線化処理ステップにより細線化された文字画像から端点及び交点を検出する検出ステップと、検出ステップにより検出された交点がストロークの終了か否かを判定する判定ステップと、細線化処理ステップと検出ステップと判定ステップとに基づいて、文字画像から文字のストロークを分解して抽出するストローク抽出ステップと、を備えることを特徴とする。

本発明のプログラムは、文字画像を細線化する処理と、細線化された文字画像から端点及び交点を検出する処理と、検出された交点がストロークの終了か否かを判定する処理と、文字画像から文字のストロークを分解して抽出する処理と、をコンピュータに実行させることを特徴とする。

本発明の記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、オフラインであっても、精度よく手書き文字を認識することが可能となる。

本実施形態に係る画像処理装置の概略構成例を示す図である。 本実施形態に係る画像処理装置の画像配信動作例を説明するための図である。 本実施形態に係る画像処理装置のＯＣＲ処理動作例の流れを示すフローチャートである。 本実施形態に係る画像処理装置の文字認識処理動作例の流れを示すフローチャートである。 手書き文字画像の例を示す図である。 ２値化された手書き文字画像の例を示す図である。 線細化された２値化手書き文字画像の例を示す図である。 始点検出された線細化手書き文字画像の例を示す図である。 本実施形態に係る画像処理装置の文字ストローク抽出処理動作例を示すフローチャートである。 本実施形態に画像処理装置における優先度決定パターンテーブル例を示す図である。 本実施形態に係る画像処理装置における優先度決定例を説明するための図である。 本実施形態に係る画像処理装置における優先度決定例を説明するための図である。 本実施形態に係る画像処理装置の文字ストローク抽出処理動作例を示すフローチャートである。 本実施形態に係る画像処理装置における優先度決定パターンテーブル例を示す図である。 本実施形態に係る画像処理装置における優先度決定例を説明するための図である。 本実施形態に係る画像処理装置におけるベクトルの方向算出例を説明するための図である。 本実施形態に係る画像処理装置における優先度決定パターンテーブル例を示す図である。 本実施形態に係る画像処理装置における交点統合処理を説明するための図である。 本実施形態に係る画像処理装置の文字ストローク抽出処理動作例を示すフローチャートである。 本実施形態に係る画像処理装置の文字ストローク抽出処理動作例を示すフローチャートである。

以下に本発明の実施形態の例について、図面を用いて詳細に説明する。尚、以下、画像処理装置としてＭＦＰ（Multi Function Peripheral）を例に挙げて説明するが、これに限定されるものではない。また、同構成要素には同一の符号を付し、重複する説明は省略する。

（実施形態１）
図１は、本実施形態に係る画像処理装置の概略構成例を示す。図１に示すように、本実施形態に係るＭＦＰは、スキャナ部１０１、スキャナ画像処理部１０２、エンコーダ１０３、ＣＰＵ（Central Processing Unit）１０５、メモリ１０６、ハードディスク（以下、ＨＤＤ：Hard Disk Drive）１０７、操作部１０８、フォーマット変換部１０９、外部Ｉ／Ｆ（インターフェース）１１０、バス１１１、デコーダ１１２、プリンタ画像処理部１１３、プリンタ１１４を備えている。

スキャナ部１０１は、原稿の情報を読取り、画像データを取得する。スキャナ画像処理部１０２は、スキャナ部１０１から入力された画像データに公知のγ補正処理や空間フィルタ処理等の画像処理を行う。エンコーダ１０３は、ビットマップ形式の画像データを圧縮符号化して符号データを出力する。ＣＰＵ１０５は、画像処理装置全体の動作制御命令や外部装置との通信、バス１１１のデータの流れを制御する。メモリ１０６は、画像データや圧縮符号化された符号データを一時的に記憶するワーク領域として使用される揮発性のメモリである。ＨＤＤ１０７は、符号データ等を保存、蓄積する。

操作部１０８は、ユーザとのＩ／Ｆであり、スタートボタン等を備え、ＭＦＰの動作モード等の設定入力を受け付ける。フォーマット変換処理部１０９は、外部装置に対して符号化された画像データを転送する際に、画像データのフォーマットを変換する。外部Ｉ／Ｆ１１０は、外部転送路２０２を介してパーソナルコンピュータ(以下ＰＣ：Personal Computer)等の外部装置と制御コマンドやページ記述言語形式を含む画像データを送受信する。バス１１１は、接続された構成要素間にて双方向にデータを転送する。デコーダ１１２は、符号データを復号処理して画像データを出力する。プリンタ画像処理部１１３は、入力された画像データに公知の色補正処理、γ変換処理、擬似階調処理等を行い、プリンタ１１４に出力する。プリンタ１１４は、画像データを記録紙等の記録媒体に出力する。

尚、外部Ｉ／Ｆ１１０は、例えばＬＡＮ（Local Area Network）等の外部転送路２０２に接続され、例えばサーバ装置やパーソナルコンピュータ等の外部装置やインターネット等の外部ネットワークに接続され、スキャンした画像や、ＨＤＤ１０７内に蓄積された画像を、配信・転送する機能を備えている。

＜複写動作＞
次に、本実施形態に係る画像処理装置における基本的な原稿読取り動作例及び複写動作例について説明する。

例えば、ユーザにより操作部１０８上のスタートボタン（図示無し）が押下されると、操作部１０８よりバス１１１を介して信号を受信したＣＰＵ１０５は、複写動作に先立ち必要なパラメータの設定等を行い、所定の複写動作を実施すべくＭＦＰ全体の制御を行う。尚、ユーザにより操作部１０８上のスタートボタンが押下されることで動作が開始する例を挙げたが、これに限定されるものではない。

まずスキャナ部１０１は、原稿をスキャンして図示しないＣＣＤ（Charge Coupled Device）によって光電変換を行い、デジタル信号であるＲｅｄ（以下Ｒ）、Ｇｒｅｅｎ（以下Ｇ）、Ｂｌｕｅ（以下Ｂ）のカラー画像データに変換して出力する。スキャナ画像処理部１０２は、スキャナ部１０１から出力された画像データに画像処理を行う。画像処理としては、例えば、ＣＣＤから読込まれた反射率属性の信号を、濃度属性に変換するγ変換やｌｏｇ変換、スキャナ光学系のＭＴＦの劣化補正やモアレ抑制を目的としたエッジ強調や平滑化処理を行う空間フィルタ処理、原稿地肌を除去する地肌除去処理、スキャナの色空間を、例えばｓＲＧＢ等の標準色空間へと変換する色変換処理等を行うが、これに限定されるものではない。

スキャナ画像処理部１０２から出力された画像データは、バス１１１を介して一時的にメモリ１０６に記憶される。メモリ１０６に記憶された画像データは、エンコーダ１０３に入力され、圧縮符号化される。エンコーダ１０３からバス１１１に出力される符号データは、一旦メモリ１０６に記憶された後、メモリ１０６から読み出されてＨＤＤ１０７に保存される。メモリ１０６から読み出された画像データは、ＨＤＤ１０７への保存と平行してデコーダ１１２にも入力され、復号処理が行われる。上記のようなバス１１１の制御は、ＣＰＵ１０５によって行われる。

尚、このようにバスに接続されたメモリへのデータの書き込みアクセスは、バスに接続された各処理部がＤＭＡ（Direct Memory Access）方式によって数十バイトから数キロバイト単位の一定量のデータ単位でメモリにアクセスするため、バスの接続部はバッファとＤＭＡコントローラで構成されている。但し、本実施形態では説明の簡略化のためＤＭＡコントローラは省略している。また、メモリからデータを読み出す場合にも同様にＤＭＡ方式によってアクセスするため、入力バッファメモリが必要となる。

また、ＨＤＤ１０７は、ディスクの中心に近い側と遠い側等で読み出し／書き込み速度が変化することや読み出し／書き込みエラー等を生じる可能性があり、半導体メモリと比較すると同期信号の読み出し／書き込みには向かないデバイスである。そのため、ＨＤＤ１０７に符号データを保存する際には、メモリ１０６への書き込みを介在させる。これは、ＨＤＤ１０７に同期信号であるエンコーダ１０３の出力データを直接書き込まずに、一旦メモリ１０６に記憶された符号データを非同期に書き込み、安定的に使用するためである。また、読み出し時も同様である。尚、１ページ単位というマクロでは、ＨＤＤ１０７も同期して動作することになる。

尚、ＨＤＤ１０７に保存された符号化データは、複写動作時に紙詰まり等が発生した場合のバックアップ用途、多ページの原稿を多部数、ページ順に出力するいわゆる電子ソート機能用途等の複写動作時に使用される用途の他に、外部機器への画像データ配信用途、過去に保存したデータを原稿無しで再びプリントする再プリント用途等に使用される。

他方、デコーダ１１２は、メモリ１０６から符号データが入力されると所定の復号及び合成処理を行い、画像データをプリンタ画像処理部１１３に出力する。プリンタ画像処理部１１３での画像処理は、上記スキャナ画像処理部１０２同様、特に限定されることはない。プリンタ画像処理部１１３での画像処理としては、例えば、ＲＧＢ信号をプリンタの色材信号、例えばＣｙａｎ（以下Ｃ）、Ｍａｇｅｎｔａ（以下Ｍ）、Ｙｅｌｌｏｗ（以下Ｙ）、Ｂｌａｃｋ（以下Ｋ）に変換してカラーマッチングを行う色補正処理、墨生成処理、画像データのγをプリンタ部１１４のγに合わせるγ補正処理、ディザや誤差拡散といったハーフトーンへの変換を行う擬似階調処理等がある。

上記のような画像処理が行われた画像データはプリンタ部１１４にて図示しない記録紙等の記録媒体に印字及び出力され、複写動作が完了する。尚、本実施形態では、エンコーダ１０３により画像の圧縮符号化が行われ、デコーダ１１２により復号化が行われるように説明している。通常、ＭＦＰでは、必要メモリ量やＨＤＤの容量節約のためにこのような操作が行われるが、圧縮符号化を行わなくとも実現可能である。また、圧縮符号化の種類は問わないものとする。

以上、本実施形態に係るＭＦＰの最も基本的な動作である複写動作例について説明した。尚、複写動作完了後には、ＨＤＤ１０７内に複写動作途中の画像データが圧縮符号化された状態で保存されている。上述したように、ＨＤＤ１０７内に画像データを保存しておくことによって、画像データをＰＣ等へ電子データとして取り込むことや、必要になった時点で容易に再プリントをすることができる。ここで、原稿をＨＤＤ１０７内に電子データとして保存することのみ必要な場合は、上述したデコーダ１１２以降の処理は削除できる。

＜画像配信動作＞
次に、本実施形態に係る画像処理装置の画像配信動作例について説明する。

上述したように、本実施形態に係るＭＦＰは、外部転送路２０２を介して外部装置に画像を配信する機能を備える。図２は、本実施形態に係る画像処理装置が画像を配信する場合の、全体システム構成例を示す図である。図２に示すように、本実施形態に係るＭＦＰは、外部転送路２０２を介してクライアント装置であるＰＣ２０３と接続されている。ＰＣは、画像を表示するための表示部であるモニタ２０４を備えている。尚、外部転送路２０２は有線及び無線の何れであってもよい。

まず、ユーザにより操作部１０８を介して画像配信動作に必要な配信パラメータの設定が行われる。そして、スタートボタン（図示無し）が押下されると、操作部１０８よりバス１１１を介して信号を受信したＣＰＵ１０５は、画像配信動作に先立ち必要な動作パラメータの設定等を行い、所定の画像配信動作を実施すべくＭＦＰ全体の制御を行う。

配信パラメータ設定は、例えば、配信画像の形態（例えば、カラー、グレー、モノクロ２値）、圧縮レベル、圧縮、出力フォーマット、配信機能等である。配信機能としては、例えば、画像を画像種類毎に多層化して圧縮率を高めることや、ＯＣＲ（optical character recognition）処理により画像に透明テキストコードを付加して検索可能とする等のものが一般的に使用されている。ここでは、例えば、手書きと活字等の印刷データが混在した原稿上から、ＯＣＲ処理により画像に透明テキストコードを付加して検索可能とする「検索可能文書配信」機能が選択されたものとする。尚、本実施形態では１つの機能が選択された例を挙げて説明するが、これに限定されるものではなく、複数の機能が同時に選択してもよい。

ここで、配信対象画像が新規スキャンデータの場合は、上述した複写動作と同様に、エンコーダ１０３により圧縮符号化された画像データをメモリ１０６上に展開する。また、配信対象画像がＨＤＤ１０７に保存されている画像である場合は、対象画像をＨＤＤ１０７より読み出し、同様にメモリ１０６上に展開する。

次に、上述したユーザによるパラメータ設定により設定された「検索可能文書配信」を実現するための活字、手書き統合型のＯＣＲ処理が行われる。ＯＣＲ処理は、ＣＰＵ１０５によってメモリ１０６上に画像を展開して、ソフトウェア的に実施される。尚、ＯＣＲ処理の詳細動作については後述する。尚、上記メモリ１０６上に展開された画像データは圧縮符号化されているものであり、通常ＯＣＲ処理動作の前に復号化の処理が必要である。復号化は、デコーダ１１２を介して行っても良いし、ＣＰＵ１０５によってＯＣＲ処理と平行して行っても良く、特に限定はしない。また、これ以降、説明の簡素化のため圧縮符号化及び復号化の処理を省略して説明を行うこととする。

ＯＣＲ処理がなされた画像データは、ユーザにより設定されたフォーマットへフォーマット変換処理部１０９にて変換される。フォーマット変換処理では、画像データとＯＣＲ処理されたテキストデータが多層レイヤに配置され、ＯＣＲ処理結果のテキストデータが、元の文字画像と略同一位置へ配置される文書データとなる。ユーザがこの文書データのアプリを使用して検索を実施すると、透明テキスト部へカーソルが移動して、あたかも画像データに検索がヒットしたかのように動作する。

上述したようにフォーマット変換された画像データは、いったんメモリ１０６に蓄積された後、外部Ｉ／Ｆ１１０より外部転送路２０２を介してＰＣ２０３に転送され、ＰＣ２０３上で表示アプリケーション等を使用してモニタ２０４に表示される。

尚、上述したような透明テキスト付きの検索可能な文書を配信する技術については、詳細な説明を省略するが、公知技術を適用することができる。

＜ＯＣＲ処理＞
図３は、本実施形態に係る画像処理装置において活字、手書き統合型のＯＣＲ処理の動作例を示す。次に、本実施形態に係る画像処理装置におけるＯＣＲ処理動作例について、図３に示すフローチャートを用いて説明する。

図３に示すように、まずＣＰＵ１０５は入力画像全体を２値化する（ステップＳ１）。画像を２値化する方法としてどのような方法も適用することができる。例えば、画像全体を固定のしきい値により２値化する最も単純で高速な処理を適用することができる。さらに好適なのは、例えば、文字抽出の精度向上させるために、所定の矩形領域のブロック単位に画像信号を入力し、入力された信号をしきい値決定処理にてブロック単位に１つのしきい値を決定する２値化方法である。ここでのしきい値決定処理方法は、種々の方法が考えられ特に限定されない。例えば、特開２００２−７７６３号公報にて開示されているようなヒストグラムをとって平均、分散等の統計的性質を利用した方法も適用することができる。また、簡易な方法としてはブロック内全画素の輝度(Ｙ)値の平均値を用いることや、平均値に所定の重みを演算することによってしきい値を決定する方法等を適用することができる。

上述したようなしきい値決定処理にて決定されたしきい値に応じて画像データに２値化処理が行われ、メモリ１０６は２値画像データとして画像データを記憶する。尚、入力がカラー画像の場合は、公知の方法により輝度信号に変換するなどの前処理を行う。

次に、ＣＰＵ１０５は領域の識別処理を行う（ステップＳ２）。領域の識別処理方法としては、以下に示す特開平特開平７−３３４６１４号公報に開示されているような領域の識別処理方法が好適である。

上記領域の識別処理は、画像から黒画素連結成分に外接した矩形を抽出し、抽出した矩形の中で文字の矩形と判断される矩形を行方向へ統合する領域分割方法である。文字矩形の統合を行う際に、周辺の文字矩形又は行との位置関係を参照するため、活字とは異なる大きさの手書き文字に対しても精度良く文字領域の抽出、識別ができる。

上記ステップＳ２の識別結果に基づいて、複数行を集約した文字領域単位に２値画像が切り出され、行、文字の区切りの位置情報とともに文字認識に利用される。

ＣＰＵ１０６は、上記ステップＳ２において抽出された文字領域単位の画像を１文字単位に切り出し、文字認識処理を行う（ステップＳ３）。文字認識処理の詳細については後述する。該当の文字領域単位での文字認識処理が完了すると、その認識結果（文字コード）と上記Ｓ２で抽出された元画像に対する文字領域、行、文字の各々の位置情報等がメモリ１０６に記憶される。

＜文字認識処理＞
図４は、本実施形態に係る画像処理装置の文字認識処理動作例の流れを示す。次に、本実施形態に係る画像処理装置における上記ステップＳ３に示す文字認識処理動作例について、図４に示すフローチャートを用いて説明する。尚、本実施形態では、文字認識処理は上述したように、１文字単位毎に行われる。

入力された文字画像に対して１ｄｏｔの画像への細線化処理を行い、文字の芯線を抽出する（ステップＳ１１）。画像の細線化処理は種々の方法を適用できるが、例えば、以下に示す特開２００８−１５８８４７号公報に記載された方法等が好適である。すなわち、４近傍距離変換の逐次型アルゴリズムを実行し、その結果を順次メモリ１０６に記憶してラスタ走査の方向を変化させながら３×３マスクのパターンマッチングを使用して細線化処理を逐次的に実行していく。最終的に１ｄｏｔの文字の細線（芯線）画像が抽出され、細線（芯線）画像はメモリ１０６に記憶される。例えば、図５に示す手書き文字画像に対して、２値化処理を実行すると、図６に示すような画像になる。図６に示す画像に細線化処理した結果を図７示す。

上記ステップＳ１１において１ｄｏｔに細線化された画像をもとに、文字ストロークを検出（例えば、文字を人の筆順に対応するストローク単位に分解）する（ステップＳ１２）。ストローク検出処理により、図７の（ｂ）に示すように、端点と交点が検出され、端点（始点）又は交点から、端点（終点）又は交点までのストロークに分解される。ストローク分解された画像の例を図７の（ｃ）に示す。ストローク検出処理の詳細については後述する。尚、抽出した個々のストロークは必要に応じてラベリングなどを行い、メモリ１０６に記憶しておくとよい。

上記ステップＳ１２において分解したストローク画像をもとに、ストロークの数値化を行う（ステップＳ１３）。ストローク数値化の方法は、１文字の画像領域の何れかの端部（例えば左上など）を座標の原点として画素の座標を元に数値すればよい。尚、ここでの数値化の精度は認識精度にほとんど関係しない。なぜなら、本実施形態における文字画像の認識は、タブレット上に書いた文字のストローク程度の精度でよいためである。

上記ステップＳ１３において算出した数値に基づいて、ストローク毎に始点を検出する（ステップＳ１４）。基本的に文字は、上から下へ、向かって左から右へ書かれるため、この文字の筆順の性質を利用して始点を識別することができる。

例えば、図８に示すように、文字へ向かって左上を原点とし、文字のストロークの端点毎の座標を水平方向がＸ座標、垂直方向がＹ座標とする。そして、１つのストロークの２点の座標のＸ座標の距離とＹ座標の距離を計算しその大きさを比較する。ここで、例えばＸ座標の距離が大きい場合は、Ｘ座標の原点に近い方の点を始点とし、Ｙ座標の距離が大きい場合にはＹ座標の原点に近い方の点を始点とすれば良い。上述したような方法によれば、ＸＹ座標の距離という簡易な計算によりストロークの始点を求めることができる。

上記ステップＳ１４において検出したストローク毎の始点から、簡易的にストロークの筆順を求める（ステップＳ１５）。通常文字は、上から下へ、左から右へ書かれるためこの性質を利用して、始点のＸ座標が原点に近いものというように簡易的に決める方法も適用できるが、特に図８に示すように原点からの距離が近い順に筆順を決定する方法が好適である。ここで、多少正規の筆順と異なる場合が考えられるが、もともと人によって筆順は異なる場合が多いため、次段の文字コード識別処理にて吸収するように構成するのがよい。また、漢字には、辺と造りがある場合があるが、通常は、辺から書く場合が多い。そのような場合は、上記Ｓ１５にて辺と造りの部分で文字を分割し、辺と造りで各々の筆順を算出した後に全体の筆順を求めるように構成するとよりよい。

次に、各ストロークの座標データと筆順とから文字を認識してコード化する（ステップＳ１６）。コード化には、現存するタブレット等でのオンライン文字認識の技術を使用すればよく、１文字単位でストロークを入力して文字認識する技術であれば何れも適用することができる。例えば、特開０５−１３５２０８号公報に開示された技術のように、ストローク毎に基本ストローク辞書とのマッチングを行って文字認識を行えばよい。

＜ストローク抽出処理＞
図９は、本実施形態に係る画像処理装置の文字ストローク抽出処理動作例を示す。次に、本実施形態に係る画像処理装置の文字ストローク抽出動作、つまり文字ストロークを検出（例えば、文字をストローク単位に分解）する処理の例について、図９に示すフローチャートを用いて説明する。尚、この処理を単純に実行すると、図７の（ｄ）に示すように、字の筆順とは異質なストロークが抽出される場合があり、文字の認識精度を低下させてしまう。

まず、１ｄｏｔ細線画像を、例えば左上から右下方向へラスタ走査して端点（始点）を検出する（ステップＳ９０１）。次に、分岐がある（交点）か否かを判定し（ステップＳ９０２）、分岐がなく、交点ではない場合（ステップＳ９０２／ＮＯ）には、周囲画素から黒画素をスキャンして１ｄｏｔ進める（ステップＳ９０３）。この場合、分岐点ではないので進める画素は１方向である。

上記ステップＳ９０２において分岐がある場合（ステップＳ９０２／ＹＥＳ）には、交点と認識して、その交点に未処理の画素の方向が２方向以上あるか否かを判定する（ステップＳ９０４）。未処理の画素が１方向のみである場合（ステップＳ９０４／ＮＯ）、上記ステップＳ９０３の処理に移行する。例えば、３叉路の分岐の場合を考えると、以前に１つの方向が処理されていた場合には進める可能性は一意に決定されるので、後述するステップＳ９０５以下の処理は必要なくなる。

２以上の方向に未処理画素がある場合（ステップＳ９０４／ＹＥＳ）には、方向の優先度を算出する（ステップＳ９０５）。方向の優先度は、黒画素スキャンした方向から算出する。図１０の（ａ）〜(ｄ)は、中央を現在の注目画素（スキャンの位置）つまり交点として、その前の画素からの方向によって４パターンに分けた優先度を決定するパターンテーブル例を示している。ここで、４近傍細線化処理の場合は、斜めの方向へは連結していないものとされ、移動も禁止されるためこの４パターンとなる。図１０に示す数字の小さい方が優先度高である。尚、×の画素は黒画素が取りえない又は進めない位置を表している。

図１１を参照して優先度を決定する例を説明する。図１１に示すように、交点の１つ前の画素が交点の上側にある場合は、図１０の（ｂ）パターンを参照して、交点から次の画素がどの位置に存在するかに基づいて優先度を決定する。３叉路の場合は、２方向に進める可能性があるので、図１１の場合は、未処理の画素が優先度２と優先度３の方向にある。ここで、現在処理中のストロークの優先度決定については優先度の高い方を選択し、優先度２となる。

次に、処理中のストローク以外のストローク優先度を求める。図１１の場合では、交点から見て水平方向に伸びるストロークを仮定する。この場合、処理済の画素は対象に入れない。水平方向伸びるストロークは左から右へ伸びるストロークと右から左へ伸びるストロークとの２つのストロークを仮定することができる。左から右へ伸びるストロークは、図１０の(ａ)を用いて優先度１、右から左へ伸びるストロークも図１０の（ｃ）を用いて優先度１となる。この場合は優先度の高いものを１つ選んで優先度とし、結果処理中以外のストロークの優先度は１となる。

尚、その他のストロークの処理を簡易的にしたい場合は、複数の方向毎に優先度を算出せずに、左から右のストロークのみ判定するなどストロークの方向の優先度をあらかじめ設定しておいても良い。

上述したように決定した処理中のストロークの優先度とその他のストロークの優先度とを比較する（ステップＳ９０６）。図１１の例では、処理中のストロークは、その他のストロークの優先度よりも低い（ステップＳ９０６／ＮＯ）ため、この交点にてストロークは終了（end）となる。他方、処理中のストロークの優先度がその他のストロークの優先度によりも高い場合（ステップＳ９０６／ＹＥＳ）には、交点分岐の２方向のうち優先度の高い方向へ１ｄｏｔストロークを前進させる（ステップＳ９０７）。図１１において、仮に処理中ストロークの優先度がその他のストロークよりも高い場合は、右（優先度２）方向に１ｄｏｔ前進することになる。

次に、１ｄｏｔ前進した画素が終点であるか否かを判定し（ステップＳ９０８）、終点に到達するか、交点で他のストロークよりも優先度が低くなるまで、上記ステップＳ９０２〜ステップＳ９０７の処理を繰り返し、ストロークに分解する。ここで、上述したような処理を少なくとも１以上行い、上記ステップＳ９０１〜ステップＳ９０７までの処理で未処理の交点を残している場合には、検出された未処理の交点から処理を再スタートする。

以上のように、本実施形態では、手書き文字と活字等の印刷が混在した原稿を入力した画像処理装置のＯＣＲ処理（文字認識処理）において、文字を細線化してストロークを抽出する際に、交点において複数のストロークを仮定する。そして、仮定されたストロークの各々について優先度を決定し、人間の筆順にて区切られる文字ストロークと同様なストロークの優先度が高くなるように優先度を決定する。これにより、精度良く文字を人間の筆順にて区切られる文字ストロークへ分解することが可能となる。

また、活字と手書き文字を同じ手法で文字認識しているため、活字と手書き文字とを認識する必要がない文字認識手段を提供することが可能となる。さらに、筆順にて区切られるストローク、ストロークの始点、筆順を識別しているため、精度の良いオンラインの文字認識処理をオフラインの文字認識処理に適用することが可能となる。

尚、本実施形態では、画像処理装置のＣＰＵが処理を実施する例を挙げて説明した。しかし、例えば、画像処理装置のスキャナで読み込んだ画像をサーバＰＣ等の外部装置に配信した後に、サーバＰＣ等のＣＰＵによって処理を実施するようにしてもよい。その場合は、ＭＦＰではなく、例えばスキャナ単体装置等を使用することができる。

（実施形態２）
上記実施形態１では、細線化処理に４近傍細線化処理を適用する例を挙げて説明したが、本実施形態では細線化処理に８近傍細線化処理を適用する例を挙げて説明する。８近傍細線化処理では、斜め方向の連結を許容するため図１１に示す形状の交点は、図１２の（ａ）のような形状となる性質がある。

図１２は、本実施形態に係る画像処理装置において実行される上記ステップＳ１２に示すストローク抽出処理の動作例を示す。本実施形態における文字ストローク抽出処理以外の構成、動作は上記実施形態１と同様とする。

まず、１ｄｏｔ細線画像を、例えば左上から右下方向へラスタ走査して端点（始点）を検出する（ステップＳ１３０１）。次に、分岐がある（交点）か否かを判定し（ステップＳ１３０２）、分岐がなく、交点ではない場合（ステップＳ１３０２／ＮＯ）には、周囲画素から黒画素をスキャンして１ｄｏｔ進める（ステップＳ１３０３）。この場合、分岐点ではないので進める画素は１方向である。

上記ステップＳ１３０２において分岐がある場合（ステップＳ１３０２／ＹＥＳ）には、交点と認識して、その交点に未処理の画素の方向が２方向以上あるか否かを判定する（ステップＳ１３０４）。未処理の画素が１方向のみである場合（ステップＳ１３０４／ＮＯ）、上記ステップＳ１３０３の処理に移行する。

２以上の方向に未処理画素がある場合（ステップＳ１３０４／ＹＥＳ）には、仮想交点を仮定し（ステップＳ１３０５）、方向の優先度を算出する（ステップＳ１３０６）。方向の優先度は、黒画素スキャンした方向から算出する。仮想交点は、図１２の（ｂ）に示すように、実際の交点から１ｄｏｔ進んだ交点３叉路に囲まれた白画素の点を仮想交点とする。この仮想交点を上記実施形態１の交点と同様にして扱う。

図１４は、本実施形態における優先度を決定するためのパターンテーブル例を示す。中央画素を仮想交点として、その前の画素（実際の交点）からの方向によって図１４の（ａ）〜(ｈ)に示す８パターンに分けた、優先度を決定するパターンテーブルを示している。ここで、図１４中の×印の画素は、黒画素を取りえないことを表している。

上記実施形態１と同じように、本実施形態では図１５に示す場合を例に挙げて優先度算出を説明すると、実際の交点の画素が仮想交点の上側にある場合は、図１４の（ｃ）パターンを参照して優先度が決定される。ここで、図１５の場合は、優先度４と優先度５の方向がある。ここで、現在処理中のストロークの優先度の決定については優先度の高いほうを選択し、優先度４となる。

次に、処理中のストローク以外のストロークの優先度を算出する。仮想交点から見て水平方向に伸びるストロークを仮定すると、左から右へ伸びるストロークは図１４の（ａ）を用いて優先度１、右から左へ伸びるストロークもパターン（ｅ）を用いて優先度１となるので、結果このストロークは交点にて終点となる。

上述したように算出した処理中のストロークの優先度とその他のストロークの優先度を比較する（ステップＳ１３０７）。図１５の例では、処理中のストロークは、その他のストロークの優先度よりも低い（ステップＳ１３０７／ＮＯ）ため、上記したようにこの交点にてストロークは終了（end）となる。他方、処理中のストロークの優先度がその他のストロークの優先度よりも高い場合（ステップＳ１３０７／ＹＥＳ）には、交点分岐の２方向のうち優先度の高い方向へ１ｄｏｔストロークを前進させる（ステップＳ１３０８）。図１５において、仮に処理中ストロークの優先度がその他のストロークよりも高い場合は、右（優先度４）方向に１ｄｏｔ前進することになる。

次に、１ｄｏｔ前進した画素が終点であるか否かを判定し（ステップ１３９０９）、終点に到達するか、交点で他のストロークよりも優先度が低くなるまで、上記ステップＳ１３０２〜ステップＳ１３０８の処理を繰り返し、ストロークに分解する。ここで、上述したような処理を少なくとも１以上行い、上記ステップＳ１３０１〜ステップＳ１３０８までの処理で未処理の交点を残している場合には、検出された未処理の交点から処理を再スタートする。

以上のように、本実施形態では、文字ストローク検出に８近傍細線化処理を適用した場合において、交点から１ｄｏｔ先の画素を仮想交点として設定し、優先度を決定している。そのため、交点が４５度方向に連結する場合の多い８近傍細線化を適用する場合にも、精度良く筆順で区切られる文字ストロークの分解が可能となる。

（実施形態３）
上記実施形態１及び実施形態２では、ストロークの優先度を交点から決定する説明の簡略化のために、１画素の距離にある画素の状態によって判定する例を示した。しかし、上記方法では、例えば、図１６の（ａ）に示すような「人」という字における文字ストローク動作において、優先度の判定を間違えることで不具合が生じるおそれがある。本実施形態では、交点又は仮想交点と隣り合う画素のみではなく、交点までの数画素による方向ベクトルを算出してストロークの優先度を算出する例を示す。構成動作は上記図１３を用いて説明した実施形態２の場合と同様である。

上記図１３に示すステップＳ１３０１〜ステップＳ１３０５までの処理は、上記実施形態２と同様である。上記ステップＳ１３０５と同様に仮想交点を仮定した（ステップＳ１３０５）後、本実施形態では仮想交点から１ｄｏｔ離れた画素を基点として数画素（例えば、３画素）分、ストロークの先の画素との位置からベクトルの方向を算出する。尚、基点とする画素は、これに限定されるものではない。

図１６の（ｂ）に示すように、図１６の（ａ）に示す模式図に対して交点と接する画素に（１）〜（３）の記号を振り、そこから３画素離れた黒画素に■の記号を付している。ここで、上方から向かって左下方向へ処理が進んできたと仮定すると、（１）の画素を終端とするベクトルをベクトル（１）、（２）を始点とするベクトルをベクトル（２）、（３）を始点とするベクトルをベクトル（３）として、上記ベクトル（１）〜（３）ベクトルの方向を使用してストロークの優先度を算出する。

本実施形態における優先度決定動作には、図１７の（ａ）〜（ｈ）に示すパターンテーブル例を使用する。本実施形態のように、隣接する画素の位置情報ではなく交点から伸びる線のベクトルを優先度決定動作に使用する場合、禁止される方向はなくなることとなる。

図１６に示す場合を例とすると、ベクトル（１）からベクトル（２）の仮ストロークが図１７の（ｄ）のパターンを使用して優先度１となる。また、ベクトル（１）からベクトル（３）の仮ストロークが優先度４、ベクトル（２）からベクトル（３）の仮ストロークが優先度４となる。これにより、優先度が一番高いベクトル（１）からベクトル（２）の方向へ処理を進めることが選択される。尚、ベクトル（２）からベクトル（１）の仮ストロークも優先度１となるが、処理ストロークと逆方向のベクトルのため無視する。

以上のように、本実施形態では、ストロークの優先度を交点から１画素の距離にある画素の状態ではなく、交点から伸びる線画のベクトルから算出するため、精度の良い文字ストロークの分解が可能となる。

尚、本実施形態では、ベクトルの算出において仮想交点から１画素分離れた画素と３画素分の先の画素を使用していたが、交点からの画素を基点とすることや、３画素以上／未満の先の画素を使用することも可能である。但し、一般的な細線化の場合、交点の部分で線が不自然に曲がることが良くあるため、本実施形態に示すように、交点又は仮想交点から１画素離れた画素を基点とすることで、より精度を向上させることが可能となる。

（実施形態４）
上記実施形態１〜実施形態３においては、交点又は仮想交点が唯一の１点である場合を例に挙げて示したが、細線化の方法によっては十字の交点部分等で、図１８の（ａ）に示すように、交点が２つに分かれてしまうような場合がある。図１９は、本実施形態に係る画像処理装置のストローク検出処理動作例を示す。本実施形態では、交点が２つに分かれてしまうような場合におけるストローク検出動作例について、図１９に示すフローチャートを用いて説明する。

まず、１ｄｏｔ細線画像を、例えば左上から右下方向へラスタ走査して端点（始点）を検出する（ステップＳ１９０１）。次に、分岐がある（交点）か否かを判定し（ステップＳ１９０２）、分岐がない場合（ステップＳ１９０２／ＮＯ）には、周囲画素から黒画素をスキャンして１ｄｏｔ進める（ステップＳ１９０３）。この場合、分岐点ではないので進める画素は１方向である。

上記ステップＳ１９０２において分岐がある場合（ステップＳ１９０２／ＹＥＳ）には、つまり、処理が交点に到達すると、周囲の交点を検出する（ステップＳ１９０４）。上記ステップＳ１９０４の処理では、例えば検出された交点から特定範囲（例えば、５×５画素の領域）を検出することで周囲の交点を検出する。

周囲に交点が存在する場合（ステップＳ１９０５／ＹＥＳ）には、交点を統合する（ステップＳ１９０６）。統合された交点は、１つの交点として扱う。尚、本実施形態では、ある領域範囲内に２つの交点が存在している例を挙げたが、これに限定されるものではなく、少なくとも２以上の交点を統合し、１つの交点として扱うことができる。以降のステップＳ１９０７〜ステップＳ１９１１の処理は、上記実施形態３に示した上記ステップＳ１３０４、ステップＳ１３０５〜ステップＳ１３０９の処理と同様である。つまり、仮想交点を仮定する処理がない以外は、上記実施形態３の場合と同様である。

図１８の（ｂ）は、上記ステップＳ１９０１において上側から処理が進んできた場合に検出された交点と、上記ステップＳ１９０４に示す周囲の交点検出処理により検出された交点を示す。また、図１８の（ｃ）は、上記ステップＳ１９０１及びステップＳ１９０４で検出され、上記ステップＳ１９０６において結合された交点を示している。ここで、本実施形態で仮想交点を仮定する処理を必ずしも必要ない理由は、上記ステップＳ１９０６に示す交点統合処理が仮想交点の処理と同様の効果を奏するためである。ただし、必ずしも仮想交点を仮定する処理を削除しなくてはいけないのではなく、図２０に示すように、仮想交点を仮定する処理を実施するようにしてもよい。

以上のように、本実施形態では、交点を検出した際に周囲の領域から他の交点を検出し、検出された交点を結合してストローク検出処理を行う。これにより、細線化の方法によって交点部分が２つに分かれてしまうような場合においても、精度よく筆順で区切られた文字のストロークが検出可能となる。

尚、各図のフローチャートに示す処理を、ＣＰＵが実行するためのプログラムは本発明によるプログラムを構成する。このプログラムを記録するコンピュータ読取り可能な記録媒体としては、半導体記憶部や光学的及び／又は磁気的な記憶部等を用いることができる。このようなプログラム及び記録媒体を、前述した各実施形態とは異なる構成のシステム等で用い、そこのＣＰＵで上記プログラムを実行させることにより、本発明と実質的に同じ効果を得ることができる。

以上好適な実施の形態に基づき具体的に説明したが、本発明は上述した画像処理装置、画像処理方法、プログラム及び記録媒体に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であるということは言うまでもない。

１０１ スキャナ部
１０２ スキャナ画像処理部
１０３ エンコーダ
１０５ ＣＰＵ
１０６ メモリ
１０７ ＨＤＤ
１０８ 操作部
１０９ フォーマット変換部
１１０ 外部Ｉ／Ｆ
１１１ バス
１１２ デコーダ
１１３ プリンタ画像処理部
１１４ プリンタ
２０１ ＭＦＰ
２０２ 外部転送路
２０３ ＰＣ
２０４ モニタ

特開平０３−５０６９１号公報 特開昭５７−１９９０７５号公報

Claims (19)

1. 文字画像を細線化する細線化処理手段と、
   前記細線化処理手段により細線化された文字画像から端点及び交点を検出する検出手段と、
   前記検出手段により検出された交点がストロークの終了か否かを判定する判定手段と、
   前記細線化処理手段と前記検出手段と前記判定手段とに基づいて、前記文字画像から文字のストロークを分解して抽出するストローク抽出手段と、を備えることを特徴とする画像処理装置。
2. 前記細線化処理手段は、前記文字画像を１画素サイズの線幅に細線化することを特徴とする請求項１記載の画像処理装置。
3. 前記検出手段により検出された交点の周囲領域に少なくとも１以上の他の交点が存在する場合に、前記交点と前記少なくとも１以上の他の交点とを統合する交点統合手段をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記ストロークの優先度を決定する優先度決定手段をさらに備え、
   前記判定手段は、前記交点を含む可能性があるストロークを仮定し、前記優先度決定手段により決定された前記交点を含む可能性があるストロークの優先度に基づいて、前記交点がストロークの終了か否かを判定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記優先度決定手段は、前記交点と被優先度決定ストロークにおける交点に到達する前の画素との方向ベクトルである第１の方向ベクトルに基づいて優先度を決定することを特徴とする請求項４記載の画像処理装置。
6. 前記優先度決定手段は、前記第１の方向ベクトルと前記被優先度決定ストロークの次画素候補との位置及び次画素候補の何れかから延びる方向ベクトルである第２の方向ベクトルとに基づいて優先度を決定することを特徴とする請求項５記載の画像処理装置。
7. 前記優先度決定手段は、前記第１の方向ベクトルの延長線上方向に前記第２の方向ベクトルが存在する場合、最も優先度を高くすることを特徴とする請求項６記載の画像処理装置。
8. 前記優先度決定手段は、前記第１の方向ベクトルと前記第２の方向ベクトルとのなす角が大きいほど優先度を高くすることを特徴とする請求項６記載の画像処理装置。
9. 文字画像を細線化する細線化処理ステップと、
   前記細線化処理ステップにより細線化された文字画像から端点及び交点を検出する検出ステップと、
   前記検出ステップにより検出された交点がストロークの終了か否かを判定する判定ステップと、
   前記細線化処理ステップと前記検出ステップと前記判定ステップとに基づいて、前記文字画像から文字のストロークを分解して抽出するストローク抽出ステップと、を備えることを特徴とする画像処理方法。
10. 前記細線化処理ステップは、前記文字画像を１画素サイズの線幅に細線化することを特徴とする請求項９記載の画像処理方法。
11. 前記検出ステップにより検出された交点の周囲領域に少なくとも１以上の他の交点が存在する場合に、前記交点と前記少なくとも１以上の他の交点とを統合する交点統合ステップをさらに備えることを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記ストロークの優先度を決定する優先度決定ステップをさらに備え、
    前記判定ステップは、前記交点を含む可能性があるストロークを仮定し、前記優先度決定ステップにより決定された前記交点を含む可能性があるストロークの優先度に基づいて、前記交点がストロークの終了か否かを判定することを特徴とする請求項９から１１の何れか１項に記載の画像処理方法。
13. 前記優先度決定ステップは、前記交点と被優先度決定ストロークにおける交点に到達する前の画素との方向ベクトルである第１の方向ベクトルに基づいて優先度を決定することを特徴とする請求項１２記載の画像処理方法。
14. 前記優先度決定ステップは、前記第１の方向ベクトルと前記被優先度決定ストロークの次画素候補との位置及び次画素候補の何れかから延びる方向ベクトルである第２の方向ベクトルとに基づいて優先度を決定することを特徴とする請求項１３記載の画像処理方法。
15. 文字画像を細線化する処理と、
    細線化された前記文字画像から端点及び交点を検出する処理と、
    検出された前記交点がストロークの終了か否かを判定する処理と、
    前記文字画像から文字のストロークを分解して抽出する処理と、をコンピュータに実行させることを特徴とするプログラム。
16. 前記文字画像を１画素サイズの線幅に細線化する処理をコンピュータに実行させることを特徴とする請求項１５記載のプログラム。
17. 検出された前記交点の周囲領域に少なくとも１以上の他の交点が存在する場合に、前記交点と前記少なくとも１以上の他の交点とを統合する処理をコンピュータに実行させることを特徴とする請求項１５又は１６に記載のプログラム。
18. 前記ストロークの優先度を決定する処理と、
    前記交点を含む可能性があるストロークを仮定し、前記交点を含む可能性があるストロークの優先度に基づいて、前記交点がストロークの終了か否かを判定する処理と、をコンピュータに実行させることを特徴とする請求項１５から１７の何れか１項に記載のプログラム。
19. 請求項１５から１８の何れか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images