JP2010273119A - 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 - Google Patents

Abstract

【課題】原稿の種類の区別無く読み取られた画像データに対しても、文字の認識精度を高めることが可能な画像処理装置、画像形成装置、画像処理方法、並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録した記録媒体を提供する。
【解決手段】画像処理装置２のＡ／Ｄ変換部２０が受け付けた画像データに基づく画像より、原稿検知部２３が、画像入力装置１で読み取られた原稿のサイズを検出して原稿の種類を判定し、判定された原稿の種類が名刺以外の一般原稿の場合（又は名刺の場合）、文字認識部３１ａ（又は３１ｂ）が文字を認識し、フォーマット化処理部３２ａ（又は３２ｂ）が、認識された文字が埋め込まれたＰＤＦ形式の画像データ（又はｖＣａｒｄのデータ）を生成し、送受信装置５が生成されたデータを外部にイメージ送信する。
【選択図】図１

Description

本発明は、画像データに基づく画像に含まれる文字を認識する画像処理方法、画像処理装置、該画像処理装置を備える画像形成装置、並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録した記録媒体に関する。

従来、画像データに基づく画像に含まれる文字を認識する技術が盛んに用いられている。例えば、画像の中の文字が含まれる領域から文字の特徴を有する候補を抽出し、抽出した候補とテンプレート画像とのパターンマッチングによって文字の候補を文字として認識する画像処理装置が実用化されている。

この場合、認識されるべき文字が活字の場合であっても、原稿画像の文字のにじみ、読み取り時に混入するノイズ等の要因により文字の認識精度が低下するため、認識精度を一定の高レベルに維持するのは容易なことではない。これに対し、名刺のように文字列が出現する位置、項目等のレイアウトが限定されている原稿画像を読み取った画像データの場合は、原稿の種類に特化した認識処理を行うことにより、文字の認識精度を向上させることが可能である。

例えば特許文献１では、名刺の供給機構、名刺の搬送機構等の機構を備える専用の読取装置で名刺情報を読み取って得られる名刺画像データに含まれる文字画像から文字列を認識して文字コード列に変換し、変換した文字コード列に基づいて名刺に含まれている項目別の情報を抽出する技術が開示されている。この技術によれば、名刺に含まれる各項目の情報を精度よく抽出でき、抽出した情報をＩＭＣ（Internet Mail Consortium）により標準化されたｖＣａｒｄに規定されるフォーマットに変換して、名刺情報の登録及び管理を実用的に行うようなこともできる。

特開平２−１１６９８４号公報

しかしながら、特許文献１に開示された技術を原稿の種類が異なる場合にまで拡張して適用するには、予め原稿の種類が判明していることが要件であり、原稿の種類の区別無く読み取られた画像データに基づいて文字を認識する場合は、画像データを受け付ける都度原稿の種類を指定する必要が生じるため、使用者は煩雑な操作を強いられていた。

本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、原稿の種類の区別無く読み取られた画像データに対しても、文字の認識精度を高めることが可能な画像処理装置、画像処理方法、画像形成装置、並びに前記画像処理装置を実現するためのコンピュータプログラム及び該コンピュータプログラムを記録した記録媒体を提供することにある。

本発明に係る画像処理装置は、原稿画像を読み取って得られる画像データを受け付ける手段と、該手段が受け付けた画像データに基づく画像に含まれる文字を認識する認識手段とを備える画像処理装置において、前記画像に基づいて原稿のサイズを検出する手段と、該手段が検出したサイズに基づいて、原稿の種類を判定する判定手段とを備え、該判定手段が判定した原稿の種類に応じて、前記認識手段が文字を認識するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記判定手段が前記原稿の種類を名刺と判定した場合、前記認識手段は、名刺の文字が含まれるべき項目別に文字を認識するようにしてあることを特徴とする。

本発明に係る画像処理装置は、前記認識手段が文字を認識した結果に基づいて前記原稿の種類が名刺であるか否かを判定する手段を備え、該手段が名刺でないと判定した場合、前記認識手段が、前記画像に含まれる文字を再度認識するようにしてあることを特徴とする。

本発明に係る画像形成装置は、上述した発明の何れか１つに記載の画像処理装置と、該画像処理装置が受け付けた画像データに基づいて出力画像を形成する手段とを備えることを特徴とする。

本発明に係る画像処理方法は、原稿画像を読み取って得られる画像データを受け付け、受け付けた画像データに基づく画像に含まれる文字を認識する画像処理方法において、前記画像に基づいて原稿のサイズを検出するステップと、検出したサイズに基づいて、原稿の種類を判定するステップとを含み、判定した原稿の種類に応じて、文字を認識するようにしてあることを特徴とする。

本発明に係るコンピュータプログラムは、画像データを受け付けて画像処理するコンピュータに、原稿画像を読み取って得られる画像データに基づく画像に含まれる文字を認識させるコンピュータプログラムにおいて、コンピュータに、前記画像に基づいて原稿のサイズを検出させるステップと、コンピュータに、検出させたサイズに基づいて、原稿の種類を判定させるステップとを含み、コンピュータに、判定させた原稿の種類に応じて、文字を認識させるようにしてあることを特徴とする。

本発明に係る記録媒体は、上述した発明に記載のコンピュータプログラムを記録してあることを特徴とする。

本発明にあっては、受け付けた画像データに基づく画像より原稿のサイズを検出し、検出したサイズに基づいて判定した原稿の種類に応じて文字を認識する。
これにより、判定した原稿の種類に特有の文字のフォント、文字列の桁数、文字のレイアウト等の特徴に着目して文字を認識する。

本発明にあっては、原稿の種類を名刺と判定した場合、名刺の文字が含まれるべき項目別に文字を認識するため、名刺に特化した文字認識の処理によって名刺の文字の認識精度を高めることができる。

本発明にあっては、画像データに基づく画像に含まれる文字を認識した結果より、原稿の種類が名刺でないと判定される場合、文字が名刺の項目に含まれるか否かに関わりなく、前記画像に含まれる文字を再度認識する。
これにより、名刺に類似したサイズを有する一般原稿が読み取られた画像データから名刺の文字が誤って認識されることを防止する。

本発明にあっては、上述した発明に係る画像処理装置が受け付けた画像データに基づく画像から出力画像を生成する。
これにより、原稿の種類の区別無く読み取られた画像データに対しても、原稿の種類に適した文字の認識を行って認識精度を高めることが可能な画像処理装置が、スキャナ、デジタル複合機等に適用される。

本発明にあっては、記録媒体から読み出されたコンピュータプログラムによって、上述した画像処理装置の各手段が実現される。

本発明によれば、判定した原稿の種類に応じて文字を認識する。
従って、判定した原稿の種類に特有の文字のフォント、文字列の桁数、文字のレイアウト等の特徴に着目して文字を認識することにより、原稿の種類の区別無く読み取られた画像データに対しても、原稿の種類に適した文字の認識を行って認識精度を高めることが可能となる。

本発明の実施の形態１に係るデジタル複合機の構成例を示すブロック図である。 原稿検知部の構成例を示すブロック図である。 原稿のエッジ座標を検出する方法を示す説明図である。 レイアウト解析部における処理内容を示す説明図である。 文字認識部の構成例を示すブロック図である。 標準的な名刺の構成例及び項目の例を示す説明図である。 標準的な名刺が有する項目、及び夫々の項目に含まれる文字列の特徴を示す説明図である。 名刺以外の一般原稿を読み取って送受信装置からイメージ送信する場合のデジタル複合機の構成例を示すブロック図である。 出力階調補正部が行うγ補正の補正曲線を示す特性図である。 名刺を読み取って送受信装置からイメージ送信する場合のデジタル複合機の構成例を示すブロック図である。 名刺及び一般原稿を読み取ってイメージ送信動作を行うＣＰＵの処理手順を示すフローチャートである。 本発明の実施の形態２に係るデジタル複合機が備える画像処理装置の構成例を示す部分ブロック図である。 本発明の実施の形態３に係るデジタル複合機が備える画像処理装置の構成例を示す部分ブロック図である。 本発明の実施の形態４に係るカラー画像読取装置の構成例を示すブロック図である。

以下、本発明に係る画像処理装置及び画像形成装置をコピア、プリンタ、ファクシミリ、scan to e-mail等の機能を備えるデジタル複合機に、また、本発明に係る画像処理装置をカラー画像読取装置に夫々適用した実施の形態について詳述する。
（実施の形態１）
図１は、本発明の実施の形態１に係るデジタル複合機の構成例を示すブロック図である。図中１００はデジタル複合機であり、デジタル複合機１００は、ＣＣＤ（Charge Coupled Device）ラインセンサを有しており原稿画像からの反射光を読み取ることにより得られたＲＧＢ（Ｒ：赤，Ｇ：緑，Ｂ：青）のアナログ画像データを出力する画像入力装置１と、該画像入力装置１から入力されたアナログ画像データを受け付けてＣＭＹＫ（Ｃ：シアン，Ｍ：マゼンタ，Ｙ：イエロー，Ｋ：ブラック）のデジタルカラー信号を出力する画像処理装置２とを備える。

デジタル複合機１００は、また、画像処理装置２から入力されたデジタルカラー信号に基づいて電子写真方式、インクジェット方式等の出力方式により記録紙上に出力画像を形成する画像出力装置４と、図示しないネットワークインタフェース及び通信インタフェースを介して外部の接続装置及び通信回線との間でデータを送受信する送受信装置５とを備える。

画像処理装置２は、画像入力装置１から入力されたアナログ画像データを受け付けてＲＧＢのデジタル画像データに変換するＡ／Ｄ変換部２０と、Ａ／Ｄ変換部２０から与えられたＲＧＢの画像データから、画像入力装置１の照明系、結像系及び撮像系で生じる各種の歪を除去するシェーディング補正部２１と、シェーディング補正部２１から与えられたＲＧＢの画像データに対してγ（ガンマ）を補正する入力処理部２２とを備える。入力処理部２２から出力された画像データは、ハードディスク等の大容量記憶装置を有する記憶部３４へ一旦引き渡され、ＪＰＥＧ等の所定の符号化により圧縮されてファイリングされる。入力処理部２２によって記憶部３４から読み出されたＪＰＥＧコードは、ＲＧＢの画像データに復号化され、原稿のサイズを検出する原稿検知部２３に与えられるようになっている。
尚、原稿検知部２３が検出した原稿のサイズをファイリングデータとして記憶部３４に記憶するようにしてもよい。

画像処理装置２は、また、原稿検知部２３から出力されたＲＧＢの画像データをＲＧＢの補色に対応するＣＭＹ信号に変換すると共に色再現性を高める処理を行う色補正部２４と、色補正部２４が出力したＣＭＹ信号に基づいてＣＭＹＫのデジタルカラー信号を生成する黒生成／下色除去部２５とを備える。黒生成／下色除去部２５が出力するＣＭＹＫのデジタルカラー信号は、空間フィルタ部２６で強調処理及び平滑化処理が行われ、用紙等の記録媒体に出力するための出力γ補正が出力階調補正部２７で施された後に、階調再現処理が行われる中間調生成部２８を介して画像出力装置４に与えられる。

原稿検知部２３から出力されたＲＧＢの画像データは、また、領域分離処理部２９に与えられる。領域分離処理部２９は、与えられた画像データに含まれる各画素が、黒文字、色文字、網点、印画紙写真（連続階調領域）等の領域のうち、どの領域に属しているかを示す領域分離データを生成して黒生成／下色除去部２５、空間フィルタ部２６、及び中間調生成部２８に与える。

画像処理装置２は、更にまた、与えられた画像データに基づく画像に含まれる文字列が縦書きであるか否かを判定するレイアウト解析部３０と、与えられた画像データ及び前記レイアウト解析部３０が判定した結果に基づいて画像に含まれる文字を認識する文字認識部３１と、該文字認識部３１が認識した結果に基づいて送受信装置５に与えるデータをフォーマット化するフォーマット化処理部３２とを備える。文字認識部３１とフォーマット化処理部３２とは、夫々一般原稿用及び名刺用として、文字認識部３１ａ，３１ｂとフォーマット化処理部３２ａ，３２ｂとを有する。レイアウト解析部３０及び文字認識部３１には、原稿検知部２３から夫々の処理に適した解像度の画像データが与えられる。

尚、後述するイメージ送信動作の場合、色補正部２４は、ＲＧＢの画像信号をＲ’Ｇ’Ｂ’（一般に普及している表示装置の表示特性に適合したＲ’Ｇ’Ｂ’の画像データ。例えば、ｓＲＧＢデータ）の画像信号に変換し、黒生成／下色除去部２５及び中間調生成部２８は、Ｒ’Ｇ’Ｂ’の画像信号をパススルーしてフォーマット化処理部３２ａに与えるようにしてある。この場合、領域分離処理部２９は、領域分離データを空間フィルタ部２６及び出力階調生成部２８に与える。イメージ送信動作の場合の信号経路を、図１に一点鎖線で示す。

上述した画像処理装置２の各部及び記憶部３４は、マイクロコンピュータからなる制御部３３のＣＰＵ３３ａが、ＲＯＭ（図示せず）に予め格納されている制御プログラムを実行することによって、制御されるようになっている。ＣＰＵ３３ａは、また、デジタル複合機１００内の各装置が協調して動作するように制御する。
尚、制御部３３は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＤＳＰ（Digital Signal Processor）で構成するようにしてもよい。

図２は、原稿検知部２３の構成例を示すブロック図である。原稿検知部２３は、記憶部３４を介して入力処理部２２から与えられたＲＧＢの画像データを輝度信号に変換する信号変換部２３０と、該信号変換部２３０で変換された輝度信号に基づいて原稿のエッジ座標を検出するエッジ検出処理部２３１とを有する。原稿検知部２３は、また、画像データを２値化する２値化処理部２３２と、該２値化処理部２３２で２値化された画像データの解像度を低解像度化する解像度変換部２３３とを有する。
尚、原稿検知部２３は、色補正部２４及び領域分離処理部２９に対し、ＲＧＢの画像データを上述した信号変換部２３０等のブロックを経由させずにそのまま与える。

信号変換部２３０は、以下の式（１）により、画像データの各画素について各色成分を輝度信号に変換する。この場合、ＲＧＢの画像データをＣＩＥ１９７６Ｌ^* ａ^* ｂ^* （ＣＩＥ：Commission International de l’Eclairage、Ｌ^* ：明度、ａ^* ，ｂ^* ：色度）信号に変換してもよく、ＲＧＢの信号のうちのＧ信号を輝度信号としてもよい。

Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉ・・・・（１）
但し、Ｙ：各画素の輝度信号
Ｒ，Ｇ，Ｂ：各画素の各色成分
ｉ：画素ごとに付与された値（ｉは１以上の整数）

エッジ検出処理部２３１は、検出した原稿のエッジ座標から、原稿のサイズを検出し、検出したサイズに基づいて、原稿の種類が名刺であるか否かを判定する。具体的には、標準的な名刺のサイズ（後述の図６参照）である５５ｍｍ（縦）×９１ｍｍ（横）に対し、検出した原稿のサイズが、縦横共に±２ｍｍ以内の差で一致するか否かを判定し、一致すると判定した場合に原稿の種類が名刺であると判定する。

図３は、原稿のエッジ座標を検出する方法を示す説明図である。ここでは、画像データに基づく画像の主走査方向及び副走査方向に夫々Ｘ軸及びＹ軸をとり、画像上の位置をＸ軸及びＹ軸上の座標値で表すものとして説明する。図３（ａ）では、原稿の主走査方向のエッジ座標を検出する場合を示す。主走査方向の同一ライン上で、隣接画素との画素値の差が所定の閾値（例えば２０）より大きくなる画素が有するＸ軸方向の座標値のうち、最大及び最小のものを夫々エッジ候補座標とする。そして、全ラインについてのエッジ候補座標をヒストグラムに表し、度数が所定の閾値（例えば全ライン数の１０％）以上となるエッジ候補座標のうち、最大及び最小のものを検出して夫々エッジ座標とする。同様に図３（ｂ）では、原稿の副走査方向のエッジ座標を検出する場合を示す。この場合は、図３（ａ）の場合と縦横の関係が変わるだけであるため、詳細な説明を省略する。

図２に戻って、２値化処理部２３２は、エッジ検出処理部２３１から与えられた画像データにおいて画素値（濃度）が８ビットで表される場合、例えば閾値を１２８とする。あるいは、注目する画素を中心とする複数の画素（例えば５×５の２５個の画素）について、各画素の画素値の平均値を算出して閾値としてもよい。

解像度変換部２３３は、２値化処理部２３２から与えられた画像データを、公知のニアレストネイバー法、バイリニア法、バイキュービック法等の方法を用いて低解像度の画像データに変換し、レイアウト解析部３０及び文字認識部３１に夫々与える。具体的には、例えば、１２００ｄｐｉ，６００ｄｐｉの画像データを３００ｄｐｉ及び７５ｄｐｉの画像データに変換してレイアウト解析部３０及び文字認識部３１に夫々与える。後述するレイアウト解析に高解像度の画像データは必要とされないため、文字認識部３１には、必要最低限の解像度の画像データが与えられるようにしてある。

図４は、レイアウト解析部３０における処理内容を示す説明図である。ここでも画像データに基づく画像の主走査方向及び副走査方向に夫々Ｘ軸及びＹ軸をとり、画像の左上隅に原点があるものとして説明する。レイアウト解析部３０は、画像データに基づく画像に含まれる複数の文字に夫々外接する矩形を求め、矩形間の距離に基づいて文字列の縦書き／横書きの区別を判定し、判定結果を文字認識部３１に与える。文字に外接する矩形を求める方法を、以下に順を追って説明する。

（ａ）主走査方向（Ｘ軸方向）のラインのうち、最上部のラインを注目ラインとし、該注目ラインに含まれる各黒画素にラベリングを行う。
（ｂ）注目ラインに対し、副走査方向の前方（Ｙ軸方向）に隣接するラインを新たに注目ラインとし、該注目ラインに含まれる各黒画素について、１つ前の注目ラインに含まれる黒画素とは異なるラベリングを行う。
（ｃ）注目ラインと１つ前の注目ラインとで黒画素が連結しているか否かを判定し、連結していると判定した黒画素のラベルを、１つ前の注目ライン上にあって連結している黒画素のラベルと置き換える。
（ｄ）上記（ｂ）及び（ｃ）を繰り返し、Ｘ軸方向及びＹ軸方向に連結している黒画素の集合を文字として抽出する。そして、抽出した文字の上端、下端、左端及び右端のＸＹ座標を元に、前記文字に外接する矩形を抽出する。

画像に含まれる複数の文字について、夫々に外接する矩形が抽出された場合、図４に示すように、主走査方向及び副走査方向に隣接する文字について、夫々の文字に外接する矩形間の離隔距離を算出し、例えば、副走査方向の距離が主走査方向の距離より大きい（又は小さい）ときは、画像に含まれる文字列が横書き（又は縦書き）であると判定する。

図５は、文字認識部３１の構成例を示すブロック図である。図５（ａ）及び図５（ｂ）では、夫々一般原稿用の文字認識部３１ａ及び名刺用の文字認識部３１ｂの構成例を示す。文字の認識に際し、原稿検知部２３のエッジ検出処理部２３１で判定した原稿の種別に応じて文字認識部３１ａ及び文字認識部３１ｂを使い分けるものとする。文字認識部３１ａ，３１ｂは、原稿検知部２３の解像度変換部２３３から与えられた低解像度の白黒２値の画像データから特徴量を抽出して文字認識を行う認識処理部３１０，３１３を夫々備える。認識処理部３１０，３１３で認識された文字は、夫々描画コマンド生成部３１１及び項目抽出部３１４に与えられる。

認識処理部３１０，３１３は、夫々一般原稿用辞書３１２及び名刺用辞書３１５と、画像データから抽出した特徴量とを比較して文字を認識するようにしてある。この場合、認識処理部３１０，３１３は、レイアウト解析部３０が判定した結果（文字列の縦書き／横書きの区別）を参照する。
描画コマンド生成部３１１は、認識処理部３１０で認識された文字をいわゆる透明テキスト（描画色として透明色が指定された文字コード）として配置するための命令を生成してフォーマット化処理部３２ａに与える。フォーマット化処理部３２ａは、中間調生成部２８から与えられたＲ’Ｇ’Ｂ’の画像データをＰＤＦ形式の画像データに変換し、変換した画像データに対し、描画コマンド生成部３１１から与えられた命令に基づいて透明テキストを埋め込むと共に、透明テキストが埋め込まれたＰＤＦ形式の画像データを送受信装置５に与える。

項目抽出部３１４は、認識処理部３１３が認識した文字が、名刺のどの項目（例えば、団体名、役職名、氏名等。後述の図６参照）に含まれるべき文字であるのかを判定し、名刺の項目に含まれると判定した文字及び該文字を含むと判定した項目をフォーマット化処理部３２ｂに与える。項目抽出部３１４は、また、名刺の何らかの項目に含まれると判定した文字が、例えば８０％以下であるときに、原稿が名刺でないと判定してレイアウト解析部３０及び認識処理部３１０に処理を移すようにしてある。
フォーマット化処理部３２ｂは、名刺用のｖＣａｒｄフォーマットを生成し、生成したフォーマットに対し、項目抽出部３１４から与えられた項目別に、認識された文字を記録して送受信装置５に与える。

図６は、標準的な名刺の構成例及び項目の例を示す説明図である。図６（ａ）に示すように、標準的な名刺は、５５ｍｍ（縦）×９１ｍｍ（横）のサイズを有しており、このサイズを有する原稿が名刺である可能性は十分高いといえる。図６（ｂ）では、図６（ａ）に示す名刺が有する項目と、夫々の項目に含まれる文字列とを示してある。
図７は、標準的な名刺が有する項目、及び夫々の項目に含まれる文字列の特徴を示す説明図である。各項目の文字列が有する特徴には、例えば、「株式会社」、「事業部」、「部長」等の特定キーワードの有無、文字のレイアウト、文字列の桁数、及び文字サイズ、文字種等のフォントが挙げられる。

本実施の形態では、特許文献１に開示された項目別情報抽出手段が用いる方法によって、項目抽出部３１４が、名刺の項目別に文字列（項目別情報）を抽出するようにしてある。
即ち、項目抽出部３１４は、認識処理部３１３が認識した文字について、文字列に特定のキーワードが含まれる場合、並びに文字列の桁数、及び文字サイズ、文字種等のフォントに図７に示す特徴がある場合に、名刺の項目に含まれる文字であると判定する。

以下では、図示しない操作パネルよりイメージ送信動作を指定された場合の処理について説明する。
図８は、名刺以外の一般原稿を読み取って送受信装置５からイメージ送信する場合のデジタル複合機１００の構成例を示すブロック図である。ここでは、主に図１と異なる部分について説明する。

上述したように、領域分離処理部２９は、領域分離データを空間フィルタ部２６及び出力階調補正部２７にのみ与える。色補正部２４は、原稿検知部２３から与えられたＲＧＢの画像データを、一般の表示装置が有する表示特性に適合したＲ’Ｇ’Ｂ’の画像データ（例えばＩＥＣ規格のｓＲＧＢデータ）に変換して黒生成／下色除去部２５に与える。黒生成／下色除去部２５に与えられたＲ’Ｇ’Ｂ’の画像データはそのまま空間フィルタ部２６にパススルーされて強調処理及び平滑化処理が行われ、出力階調補正部２７に与えられてγ補正される。

図９は、出力階調補正部２７が行うγ補正の補正曲線を示す特性図である。出力階調補正部２７では、画像データに基づく画像における文字以外の領域に対し、図９（ａ）に示すような一般の表示装置が有する表示特性に適合するγ補正が行われ、文字領域に対しては、図９（ｂ）に示すような文字をくっきりさせるγ補正が行われる。

図８に戻って、原稿検知部２３のエッジ検出処理部２３１が、原稿の種類は名刺ではないと判定した場合、上述したように、文字認識部３１ａが、レイアウト解析部３０が判定した結果（文字列の縦書き／横書きの区別）を参照して画像データから文字を認識し、フォーマット化処理部３２ａが、透明テキストが埋め込まれたＰＤＦ形式の画像データを生成して送受信装置５に与える。送受信装置５に与えられた画像データは、図示しないメール処理部で電子メールに添付されて外部の接続装置及び通信回線に向けて送信される。

図１０は、名刺を読み取って送受信装置５からイメージ送信する場合のデジタル複合機１００の構成例を示すブロック図である。ここでも、主に図１と異なる部分について説明する。
尚、名刺を読み取った場合であっても、一般原稿を読み取った場合と同様に図８に示す処理を行って、透明テキストが埋め込まれたＰＤＦ形式の画像データをイメージ送信するようにしてもよい。

原稿検知部２３のエッジ検出処理部２３１が、原稿の種類は名刺であると判定した場合、上述したように、文字認識部３１ｂが、レイアウト解析部３０が判定した結果（文字列の縦書き／横書きの区別）を参照しつつ画像データから名刺の項目別に文字を認識し、フォーマット化処理部３２ｂが、名刺用のｖＣａｒｄフォーマットに認識された文字を記録して送受信装置５に与える。送受信装置５に与えられたｖＣａｒｄのデータは、図示しないメール処理部で電子メールに添付されて外部の接続装置及び通信回線に向けて送信される。

以下に、上述したデジタル複合機１００の動作を、それを示すフローチャートを用いて説明する。図１１は、名刺及び一般原稿を読み取ってイメージ送信動作を行うＣＰＵ３３ａの処理手順を示すフローチャートである。図１１の処理は、操作パネルからイメージ送信動作が指定されたときに起動され、図示しないＲＯＭに予め格納されている制御プログラムに従って実行される。

図１１の処理が起動された場合、ＣＰＵ３３ａは、画像入力装置１を制御して、図示しない原稿台に載置された一般原稿又は名刺について原稿画像を読み取り（ステップＳ１１）、画像処理装置２の原稿検知部２３を制御して、画像データに基づく画像から原稿のサイズを検出する（ステップＳ１２）。その後、ＣＰＵ３３ａは、検出した原稿のサイズが名刺サイズであるか否かを判定し（ステップＳ１３）、名刺サイズであると判定した場合（ステップＳ１３：ＹＥＳ）、即ち原稿の種類が名刺であると判定した場合、レイアウト解析部３０を制御してレイアウト解析を行う（ステップＳ１４）ことにより、原稿の文字列の縦書き／横書きの区別を判定する。

次いで、ＣＰＵ３３ａは、文字認識部３１ｂを制御して、レイアウト解析の結果を参照しつつ名刺の項目別に文字を認識し（ステップＳ１５）、認識した文字が名刺の項目に含まれ割合から原稿が名刺であるか否かを判定する（ステップＳ１６）。原稿が名刺であると判定した場合（ステップＳ１６：ＹＥＳ）、ＣＰＵ３３ａは、フォーマット化処理部３２ｂを制御して、認識した文字をｖＣａｒｄフォーマットに記録したデータを生成する（ステップＳ１７）。そして、ＣＰＵ３３ａは、送受信装置５を制御して、生成されたｖＣａｒｄのデータを外部の接続装置及び通信回線に向けて送信し（ステップＳ１８）、処理を終了する。

ステップＳ１３で原稿のサイズが名刺サイズではないと判定した場合（ステップＳ１３：ＮＯ）、又はステップＳ１６で原稿が名刺ではないと判定した場合（ステップＳ１６：ＮＯ）、ＣＰＵ３３ａは、レイアウト解析部３０を制御してレイアウト解析を行う（ステップＳ１９）ことにより、原稿の文字列の縦書き／横書きの区別を判定する。その後、ＣＰＵ３３ａは、文字認識部３１ａを制御して、レイアウト解析の結果を参照しつつ一般原稿としての文字を認識する（ステップＳ２０）。

次いで、ＣＰＵ３３ａは、フォーマット化処理部３２ａを制御して、Ｒ’Ｇ’Ｂ’の画像データをＰＤＦ形式の画像データに変換すると共に、認識された文字を透明テキストとして埋め込む（ステップＳ２１）。そして、ＣＰＵ３３ａは、送受信装置５を制御して、透明テキストが埋め込まれたＰＤＦ形式の画像データを外部の接続装置及び通信回線に向けて送信し（ステップＳ２２）、処理を終了する。

以上のように本実施の形態１によれば、画像処理装置が受け付けた画像データに基づく画像より、画像入力装置で読み取られた原稿のサイズを検出し、検出したサイズに基づいて判定した原稿の種類に応じて文字を認識する。
従って、判定した原稿の種類に特有の文字のフォント、文字の桁数、文字のレイアウト等の特徴に着目して文字を認識することにより、原稿の種類の区別無く読み取られた画像データに対しても、原稿の種類に適した文字の認識を行って認識精度を高めることが可能となる。

また、原稿の種類を名刺と判定した場合、名刺の文字が含まれるべき項目別に文字を認識するため、名刺に特化した文字認識の処理によって名刺の文字の認識精度を高めることが可能となる。

更にまた、画像データに基づく画像に含まれる文字を認識した結果より、原稿の種類が名刺でないと判定される場合、文字が名刺の項目に含まれるか否かに関わりなく、前記画像に含まれる文字を再度認識する。
従って、名刺に類似したサイズを有する一般原稿が読み取られた画像データから名刺の文字が誤って認識されることを防止することが可能となる。

更にまた、画像処理装置が受け付けた画像データに基づく画像から出力画像を生成する。
従って、原稿の種類の区別無く読み取られた画像データに対しても、原稿の種類に適した文字の認識を行って認識精度を高められる画像処理装置をスキャナ、デジタル複合機等に適用することが可能となる。

尚、本実施の形態１にあっては、検出した原稿サイズに基づいて、原稿の種類が名刺であるか否かを判定しているが、これに限定されるものではなく、例えば、葉書、免許証、保険証等の他の原稿について、原稿の種類を判定するようにしてもよい。また、原稿台に載置された原稿について原稿画像を読み取る例を示したが、原稿を搬送させて原稿画像を読み取るようにしてもよい。

（実施の形態２）
実施の形態１は、文字認識部３１が、レイアウト解析部３０の判定結果（文字列の縦書き／横書きの区別）を参照して文字を認識する形態であるのに対し、実施の形態２は、文字認識部３１が、前記判定結果のみならず領域分離処理部２９から与えられたマップ信号をも参照して文字を認識する形態である。

図１２は、本発明の実施の形態２に係るデジタル複合機１００ａが備える画像処理装置２ａの構成例を示す部分ブロック図である。本実施の形態２では、名刺以外の一般原稿を読み取ってイメージ送信動作を行う場合を例に説明する。入力処理部２２は、ＲＧＢの画像データを原稿検知部２３及び領域分離処理部２９に与える。領域分離処理部２９は、入力処理部２２から与えられた画像データに含まれる各画素が、黒文字、色文字、網点、印画紙写真等の領域のうち、どの領域に属しているかを示す領域分離データを生成して空間フィルタ部２６、及び出力階調補正部２７に与える。原稿検知部２３は、低解像度の白黒２値の画像データ（輝度信号）を文字認識部３１ａに与える。

領域分離処理部２９は、また、前記領域分離データから作成したテキストマップ（文字エッジと判定された画素よりなる画像領域）を文字認識部３１ａに与える。文字認識部３１ａは、領域分離処理部２９から与えられたテキストマップを参照して、原稿検知部２３から与えられた画像データに基づく画像に含まれる文字を認識する。
その他、実施の形態１に対応する箇所には同様の符号を付して、その詳細な説明を省略する。

以上のように本実施の形態２によれば、画像データに基づく画像のうち、文字エッジと判定された画素よりなる文字領域に含まれる文字を認識するため、文字の認識精度をより高めることが可能となる。

（実施の形態３）
実施の形態１，２は、レイアウト解析部３０から文字認識部３１にレイアウトの判定結果（文字列の縦書き／横書きの区別）が与えられる形態であるのに対し、実施の形態３は、入力処理部２２から与えられる画像データに基づいて原稿の種類を判別する原稿種別自動判別部３５から原稿の種別が文字認識部３１に与えられる形態である。

図１３は、本発明の実施の形態３に係るデジタル複合機１００ｂが備える画像処理装置２ｂの構成例を示す部分ブロック図である。本実施の形態３では、名刺以外の一般原稿を読み取ってイメージ送信動作を行う場合を例に説明する。入力処理部２２は、原稿種別自動判別部３５を介して、ＲＧＢの画像データを原稿検知部２３及び領域分離処理部２９に与える。原稿種別自動判別部３５は、入力処理部２２から与えられた画像データに基づいて原稿の種類を判別し、原稿の種別を原稿種別判別信号として文字認識部３１ａに与える。

領域分離処理部２９は、原稿種別自動判別部３５から与えられた画像データに含まれる各画素が、黒文字、色文字、網点、印画紙写真等の領域のうち、どの領域に属しているかを示す領域分離データを生成して空間フィルタ部２６及び出力階調補正部２７に与えると共に、前記領域分離データから作成したテキストマップを文字認識部３１ａに与える。原稿検知部２３は、低解像度の白黒２値の画像データ（輝度信号）を文字認識部３１ａに与える。

文字認識部３１ａは、原稿種別自動判別部３５から与えられた原稿の種別が、文字原稿、文字印刷写真原稿、及び文字印画紙写真原稿である場合に、領域分離処理部２９から与えられたテキストマップを参照して、原稿検知部２３から与えられた画像データに基づく画像に含まれる文字を認識する。

上述した原稿の種類は、下地領域、印画紙写真領域、網点領域、文字領域等の各領域（に含まれる画素数）の比率と夫々所定の閾値とを比較することにより、原稿の種類を判別することができる。例えば、文字領域の比率と網点領域の比率とが、夫々所定の閾値以上の場合は、文字／網点原稿（文字印刷写真原稿）であると判定される。

また、文字領域、網点領域、印画紙写真領域の順に検出精度が高いとされる場合、文字領域の比率が全画素数の３０％の場合には文字原稿と、網点領域の比率が全画素数の２０％の場合には網点原稿（印刷写真原稿）と、印画紙写真領域の比率が全画素数の１０％の場合には印画紙写真原稿と夫々判別する。ここでは、原稿の種類として、文字原稿、文字印刷写真原稿、印刷写真原稿、印画紙写真原稿、及び文字印画紙写真原稿を判別する。

その他、実施の形態１に対応する箇所には同様の符号を付して、その詳細な説明を省略する。

以上のように本実施の形態３によれば、原稿の種類が文字原稿、文字印刷写真原稿、及び文字印画紙写真原稿と判別される場合に、文字エッジと判定された画素よりなる文字領域に含まれる文字を認識するため、文字の認識精度を更に高めることが可能となる。

尚、実施の形態２，３にあっては、名刺以外の一般原稿を読み取ってイメージ送信動作を行う場合を例に説明したが、名刺を読み取ってイメージ送信動作を行う場合は、文字認識部３１ａ及びフォーマット化処理部３２ａを夫々文字認識部３１ｂ及びフォーマット化処理部３２ｂに置き換えればよい。

（実施の形態４）
実施の形態１は、本発明に係る画像処理装置２及び画像形成装置をデジタル複合機１００に適用した形態であるのに対し、実施の形態４は、本発明に係る画像処理装置２ｃをカラー画像読取装置（スキャナ）１０１に適用した形態である。

図１４は、本発明の実施の形態４に係るカラー画像読取装置１０１の構成例を示すブロック図である。カラー画像読取装置１０１は、原稿画像からの反射光を読み取ってＲＧＢのアナログ画像データを出力する画像入力装置１と、該アナログ画像データに基づく画像に含まれる文字を認識して透明テキストに埋め込んだＰＤＦ画像データ及びｖＣａｒｄのデータを出力する画像処理装置２ｃと、図示しないネットワークインタフェース及び通信インタフェースを介して外部の接続装置及び通信回線との間でデータを送受信する送受信装置５とを備える。

色補正部２４は、ＲＧＢの画像信号をＲ’Ｇ’Ｂ’（色特性の異なるＲＧＢ）の画像信号に変換してフォーマット化処理部３２ａに与える。フォーマット化処理部３２ａは、色補正部２４から与えられたＲ’Ｇ’Ｂ’の画像データをＰＤＦ形式の画像データに変換し、変換した画像データに対し、文字認識部３１ａの描画コマンド生成部３１１（図５参照）から与えられた命令に基づいて透明テキストを埋め込むと共に、透明テキストが埋め込まれたＰＤＦ形式の画像データを送受信装置５に与える。

その他、実施の形態１に対応する箇所には同様の符号を付して、その詳細な説明を省略する。

以上のように本実施の形態４によれば、画像入力装置で原稿を読み取った画像データについて、画像処理装置で画像データに基づく画像に含まれる文字を認識する。
従って、原稿の種類の区別無く読み取られた画像データに対しても、原稿の種類に適した文字の認識を行って認識精度を高められる画像処理装置をカラー画像読取装置に適用することが可能となる。

本発明は、コンピュータに実行させるためのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録したコンピュータ読み取り可能な記録媒体に、上述した原稿のサイズ検出結果に基づいて判定した原稿の種類に応じて文字を認識する方法を記録したものとすることも可能である。これにより、前記方法を行うプログラムを記録した記録媒体を持ち運び自在に提供することができる。

記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、外部記憶装置として設けられた図示しないプログラム読取装置に記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。何れの場合においても、格納されているプログラムコードは、ＣＰＵにアクセスされて実行される構成であってもよく、プログラムコードが読み出され、例えばＲＡＭのプログラム記憶エリアにダウンロードされて実行される構成であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

前記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープ、カセットテープ等のテープ系、フレキシブルディスク及びハードディスクに代表される磁気ディスク、CD−ROM／MO／MD／DVDに代表される光ディスク等のディスク系、ICカード（メモリカードを含む）、光カード等のカード系、及びマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等の半導体メモリ系の媒体に固定的にプログラムコードを担持するものであってもよい。

前記プログラムメディアは、また、インターネットを含む通信ネットワークからプログラムコードがダウンロード可能となるようにプログラムコードが流動的に担持された媒体であってもよい。このように通信ネットワークからプログラムコードをダウンロードする場合、ダウンロード用のプログラムは、予め本体装置に格納されるものでもよく、他の記録媒体からインストールされるものであってもよい。尚、本発明は、前記プログラムコードが搬送波に埋め込まれて電子的に伝送されるコンピュータデータ信号の形態でも実現され得る。

前記記録媒体は、例えば、デジタル複合機及びコンピュータシステムに備えられるプログラム読取装置によって読み取られ、ＣＰＵによって上述した画像処理方法が実行される。コンピュータシステムは、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラ等の画像入力装置、所定のプログラムがロードされることにより上記画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴディスプレイ、液晶ディスプレイ等の画像表示装置、及びコンピュータの処理結果を紙等に出力するプリンタより構成される。更には、ネットワークを介してサーバー等に接続するためのネットワークカード、モデム等の通信手段が備えられる。

１００，１００ａ，１００ｂ デジタル複合機
１０１ カラー画像読取装置
１ 画像入力装置
２，２ａ，２ｂ，２ｃ 画像処理装置
２０ Ａ／Ｄ変換部（画像データを受け付ける手段）
２３ 原稿検知部
２３１ エッジ検出処理部（原稿のサイズを検出する手段、判定手段）
３１０，３１３ 認識処理部（認識手段）
３１４ 項目抽出部（原稿の種類が名刺であるか否かを判定する手段）
３３ 制御部
３３ａ ＣＰＵ
４ 画像出力装置（出力画像を形成する手段）
５ 送受信装置

Claims (7)

1. 原稿画像を読み取って得られる画像データを受け付ける手段と、該手段が受け付けた画像データに基づく画像に含まれる文字を認識する認識手段とを備える画像処理装置において、
   前記画像に基づいて原稿のサイズを検出する手段と、
   該手段が検出したサイズに基づいて、原稿の種類を判定する判定手段とを備え、
   該判定手段が判定した原稿の種類に応じて、前記認識手段が文字を認識するようにしてあること
   を特徴とする画像処理装置。
2. 前記判定手段が前記原稿の種類を名刺と判定した場合、前記認識手段は、名刺の文字が含まれるべき項目別に文字を認識するようにしてあること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記認識手段が文字を認識した結果に基づいて前記原稿の種類が名刺であるか否かを判定する手段を備え、
   該手段が名刺でないと判定した場合、前記認識手段が、前記画像に含まれる文字を再度認識するようにしてあること
   を特徴とする請求項２に記載の画像処理装置。
4. 請求項１から３までの何れか１項に記載の画像処理装置と、
   該画像処理装置が受け付けた画像データに基づいて出力画像を形成する手段と
   を備えることを特徴とする画像形成装置。
5. 原稿画像を読み取って得られる画像データを受け付け、受け付けた画像データに基づく画像に含まれる文字を認識する画像処理方法において、
   前記画像に基づいて原稿のサイズを検出するステップと、
   検出したサイズに基づいて、原稿の種類を判定するステップとを含み、
   判定した原稿の種類に応じて、文字を認識するようにしてあること
   を特徴とする画像処理方法。
6. 画像データを受け付けて画像処理するコンピュータに、原稿画像を読み取って得られる画像データに基づく画像に含まれる文字を認識させるコンピュータプログラムにおいて、
   コンピュータに、前記画像に基づいて原稿のサイズを検出させるステップと、
   コンピュータに、検出させたサイズに基づいて、原稿の種類を判定させるステップとを含み、
   コンピュータに、判定させた原稿の種類に応じて、文字を認識させるようにしてあること
   を特徴とするコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。

Images