JP2000298702A - 画像処理装置及びその方法、コンピュータ可読メモリ - Google Patents

Abstract

(57)【要約】 【課題】 文字認識を高速かつ精度良く認識することが
できる画像処理装置及びその方法、コンピュータ可読メ
モリを提供する。 【解決手段】 入力された画像中の画素毎に、該画素が
文字画像の一部であるか否かを像域分離部１１９で判定
する。入力された画像の少なくとも第１の２値化画像及
び第２の２値化画像を２値化部１２０で生成する。画像
認識部４０００は、判定結果に基づいて、第１の２値化
画像中の文字行を決定する。決定された文字行から文字
を切り出す。切り出された文字を認識する。認識された
文字を対応するフォントデータに変換する。そして、画
像編集部１０７は、変換されたフォントデータと、認識
不能の文字に対応する第２の２値化画像を合成して出力
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像を
処理する画像処理装置及びその方法、コンピュータ可読
メモリに関するものである。

【０００２】

【従来の技術】文字認識技術は、近年のＣＰＵ及び半導
体の高速化によって低速複写機の複写速度程度において
は、略リアルタイムでの処理が可能である。また、近
年、複写原稿が殆どワードプロセッサ等で作成されるた
め、その認識精度も高まり、実用レベルに到達した。

【０００３】また、原稿中の文字サイズの認識及び文字
の認識技術に関して、例えば、特開昭６１−１０７８７
６等で開示される原稿の文字イメージ情報を認識したフ
ォントイメージ情報に変換して像再生する技術を用いれ
ば、原理的に繰り返される複写による画像劣化はなくな
る。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の文字認識技術では、２値化した原稿画像全体から直
行する２方向の射影像を求め、平均的文字サイズを予測
し、該サイズで原稿全体を文字サイズに相当するメッシ
ュに分割する。そして、この分割され、切り出された文
字に対して文字認識を実行するために、原稿画像中に中
間調画画像が混在している場合、文字列を示す射影像が
この中間調画像によって乱されるため、メッシュが精度
良く認識することができないという問題点があった。

【０００５】本発明は上記の問題点に鑑みてなされたも
のであり、文字認識を高速かつ精度良く認識することが
できる画像処理装置及びその方法、コンピュータ可読メ
モリを提供することを目的とする。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、また、好ましくは、入力された画像を処理する画
像処理装置であって、前記入力された画像中の画素毎
に、該画素が文字画像の一部であるか否かを判定する判
定手段と、前記入力された画像の少なくとも第１の２値
化画像及び第２の２値化画像を生成する生成手段と、前
記判定手段による判定結果に基づいて、前記第１の２値
化画像中の文字行を決定する決定手段と、前記決定手段
で決定された文字行から文字を切り出す切出手段と、前
記切出手段で切り出された文字を認識する認識手段と、
前記認識手段で認識された文字を対応するフォントデー
タに変換する変換手段と、前記変換手段で変換されたフ
ォントデータと、前記認識手段で認識不能の文字に対応
する前記第２の２値化画像を合成して出力する出力手段
とを備える。

【０００７】また、好ましくは、前記生成手段は、単純
２値化を行う第１の２値化手段と、擬似中間調表現可能
な２値化を行う第２の２値化手段とを備え、前記第１の
２値化画像は、前記第１の２値化手段によって生成さ
れ、前記第２の２値化画像は、前記第２の２値化手段に
よって生成される。

【０００８】また、好ましくは、前記第２の２値化手段
は、誤差拡散法によって処理対象画像を２値化する。

【０００９】また、好ましくは、前記判定手段は、前記
入力された画像を像域分離する像域分離手段とを備え
る。

【００１０】また、好ましくは、前記決定手段は、前記
入力された画像中の画素を第１方向及び第２方向へ射影
して得られるヒストグラムを生成するヒストグラム生成
手段と、前記ヒストグラム生成手段で生成されたヒスト
グラムに基づいて、前記入力された画像中の平均文字高
さ及び平均行間隔を算出する算出手段と、前記算出手段
で算出された平均行間隔で、前記入力された画像を分割
する分割手段と、前記分割手段で分割された各画像の画
素分布に基づいて、前記入力された画像中の文字行を決
定する。

【００１１】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、入力された
画像を処理する画像処理方法であって、前記入力された
画像中の画素毎に、該画素が文字画像の一部であるか否
かを判定する判定工程と、前記入力された画像の少なく
とも第１の２値化画像及び第２の２値化画像を生成する
生成工程と、前記判定工程による判定結果に基づいて、
前記第１の２値化画像中の文字行を決定する決定工程
と、前記決定工程で決定された文字行から文字を切り出
す切出工程と、前記切出工程で切り出された文字を認識
する認識工程と、前記認識工程で認識された文字を対応
するフォントデータに変換する変換工程と、前記変換工
程で変換されたフォントデータと、前記認識工程で認識
不能の文字に対応する前記第２の２値化画像を合成して
出力する出力工程とを備える。

【００１２】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
入力された画像を処理する画像処理のプログラムコード
が格納されたコンピュータ可読メモリであって、前記入
力された画像中の画素毎に、該画素が文字画像の一部で
あるか否かを判定する判定工程のプログラムコードと、
前記入力された画像の少なくとも第１の２値化画像及び
第２の２値化画像を生成する生成工程のプログラムコー
ドと、前記判定工程による判定結果に基づいて、前記第
１の２値化画像中の文字行を決定する決定工程のプログ
ラムコードと、前記決定工程で決定された文字行から文
字を切り出す切出工程のプログラムコードと、前記切出
工程で切り出された文字を認識する認識工程のプログラ
ムコードと、前記認識工程で認識された文字を対応する
フォントデータに変換する変換工程のプログラムコード
と、前記変換工程で変換されたフォントデータと、前記
認識工程で認識不能の文字に対応する前記第２の２値化
画像を合成して出力する出力工程のプログラムコードと
を備える。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。

【００１４】図１は実施形態１の画像処理装置の機能構
成を示すブロック図である。

【００１５】原稿１００１は、画像読取部１００２のレ
ンズ１０１よりイメージセンサ１０２を通して画像信号
となる。次に、この画像信号がＡ／Ｄコンバータ１０３
に入力されてＡ／Ｄ変換された後、画像処理部１００３
に入力される。画像処理部１００３では、入力された画
像信号に対しシェーディング補正回路１０４でシェーデ
ィング補正を行った後、モード切替回路１０５へ入力す
る。

【００１６】モード切替回路１０５では、操作部１１６
による操作者の設定、つまり、認識複写モードであるか
通常複写モードであるかに基づいて出力先を切り替え
る。通常複写モードが設定された場合、光濃度変換回路
１０６で輝度データを記録濃度データに変換する。次
に、２値化部１２０で記録濃度データを２値化した後、
画像編集部１０７に出力する。画像編集部１０７では、
ＣＰＵ１１３内のＲＡＭ１１５に記憶されている画像処
理の設定内容に基づき、記録濃度データに対し編集処理
を行う。そして、その編集された記録濃度データを画像
記録部１００４に出力する。

【００１７】画像記録部１００４は、転写紙等の搬送を
行うモータ等の制御回路、画像処理部１００３より入力
されたビデオ信号を感光ドラムに書き込むレーザ記録回
路部、及び現像を行う現像制御回路で構成される記録部
１１７を有し、記録部１１７によって記録紙等の記録媒
体上に画像を記録する。

【００１８】一方、モード切替回路１０５で、認識複写
モードが設定された場合、モード切替回路１０５の出力
先は画像認識部４０００へと切り替えられる。画像認識
部４０００では、画像バッファメモリ１１８を使って、
原稿中の文字を認識し、認識結果である文字コードをフ
ォントデータに変換する。尚、画像認識部４の詳細につ
いては、後述する。

【００１９】また、操作部１１６は、画像処理部１００
３に対する画像編集内容、コピー枚数、変倍率等の画像
複写動作等を指示する各種キー群、各種ＬＥＤ群と、操
作時の内容を表示する表示部などを有している。

【００２０】次に、実施形態１の画像処理装置のハード
ウェア構成について、図２を用いて説明する。

【００２１】図２は実施形態１の画像処理装置のハード
ウェア構成を示す断面図である。

【００２２】図２において、１は原稿給送手段となる原
稿給送装置であり、載置された原稿を１枚ずつ或いは２
枚連続に原稿台ガラス面２上の所定位置に給送する。４
はランプ３、走査ミラー５等で構成されるスキャナであ
り、原稿給送装置１により原稿台ガラス面２に載置され
る。そして、操作部１１６から例えば複写指示や文字認
識指示を与えると、スキャナ４が所定方向（図示の左右
方向）に走査して原稿反射光を走査ミラー５〜７を介し
てレンズ８を通過させ、イメージセンサ部９に結像させ
る。

【００２３】１００は、図１に示した各種回路を搭載し
た制御部である。１０は露光部であり、制御部１００内
の画像編集部１０７からの画像データに基づいて画像信
号を発生する画像信号制御部（不図示）より画像信号を
受け、その画像信号に応じた光ビームを感光体１１に照
射する。１２、１３は現像器であり、感光体１１に形成
された静電潜像を所定色の現像剤（トナー）で可視化す
る。１４、１５は被転写紙積載部であり、定形サイズの
記録媒体を積載収納する。記録媒体は、給送ローラの駆
動によりレジストローラ配設位置まで給送され、感光体
１１に形成される画像との画像先端合わせタイミングを
とられた状態で再給紙される。

【００２４】１６は転写分離帯電器であり、感光体１１
に現像されたトナー像を記録媒体に転写した後、感光体
１１より分離して搬送ベルトを介して定着部１７で定着
させる。１８は排紙ローラであり、画像形成が終了した
記録媒体をトレー２０に積載排紙する。１９は方向フラ
ッパであり、画像形成の終了した被転写紙の搬送方向を
排紙口と内部搬送方向に切り替え、多重／両面画像形成
プロセスに備える。

【００２５】次に、実施形態１の操作部１１６の外観に
ついて、図３を用いて説明する。

【００２６】図３は実施形態１の操作部の外観を示す図
である。

【００２７】５００１は装置本体への通電を制御する電
源スイッチである。５００２はリセットキーであり、ス
タンバイ中は、標準モードに復帰させるキーとして動作
する。５００３はコピースタートキーである。５００４
はクリアキーであり、複写枚数等の数値をクリアすると
きに使用する。

【００２８】５００５はＩＤキーであり、このＩＤキー
５００５により特定の操作者に対して複写動作を可能に
し、特定の操作者以外の操作者に対しては、ＩＤキー５
００５によりＩＤを入力しない限り複写動作を禁止する
ことが可能となる。５００６はストップキーであり、コ
ピーを中断したり、中止したりするときに用いるキーで
ある。５００７はガイドキーであり、各機能を知りたい
ときに使用するキーである。

【００２９】５００８は上カーソルキーであり、各機能
設定画面においてポインタを上に移動させるキーであ
る。５００９は下カーソルキーであり、各機能設定画面
においてポインタを下に移動させるキーである。５０１
０は右カーソルキーであり、各機能設定画面においてポ
インタを右に移動させるキーである。５０１１は左カー
ソルキーであり、各機能設定画面においてポインタを左
に移動させるキーである。５０１２はＯＫキーであり、
各機能設定画面において、処理の確定を指示するキーで
ある。

【００３０】５０１３は指示キーであり、各機能設定画
面において画面５０５２の右下に出力された画像の内容
の実行を指示するキーである。５０１４は定形縮小キー
であり、定形サイズを他の定形サイズに縮小するときに
使用する。５０１５は等倍コピーキーであり、等倍コピ
ーを選択するときに使用する。５０１６は定形拡大キー
であり、定形サイズを他の定形サイズに拡大するときに
使用する。５０１７はカセット選択キーであり、コピー
するカセット段を選択するときに使用する。

【００３１】５０１８はコピー濃度調整キーであり、コ
ピー濃度を薄くするときに使用する。５０１９はＡＥキ
ーであり、原稿の濃度に対しコピー濃度を自動的に調整
するときに使用する。５０２０はコピー濃度調整キーで
あり、コピー濃度を濃くする。５０２１はソータの動作
を指定するキーである。５０２２は予熱キーであり、予
熱モードのＯＮ／ＯＦＦに使用する。５０２３は割り込
みキーであり、コピー中に割り込みしてコピーを行いた
いときに使用する。５０２４はテンキーであり、数値の
入力を行うときに使用する。

【００３２】５０２５はマーカー処理キーであり、トリ
ミング，マスキング，部分処理（輪郭処理，網処理，影
付け処理，ネガポジ処理）を設定する。５０２６はパタ
ーン可処理キーであり、色をパターン化して表現した
り、色を濃度差で表現したりするときに使用する。５０
２７は色消去キーであり、特定色を消去したいときに使
用する。５０２８は画質キーであり、画質の設定を行い
たいときに使用する。５０２９はネガポジキーであり、
ネガポジ処理を行うときに使用する。５０３０はイメー
ジクリエイトキーであり、輪郭処理，影付け処理，網処
理，斜体，ミラー処理，リピート処理を行うときに使用
する。

【００３３】５０３１はトリミングキーであり、エリア
を指定し、トリミングをするときに使用する。５０３２
はマスキングキーであり、エリアを指定し、マスキング
を行うときに使用する。５０３３は部分処理キーであ
り、エリアを指定し、その後、部分処理（輪郭処理，網
処理，影付け処理，ネガポジ処理）を行うときに使用す
る。５０３４は枠消しキーであり、モードに合わせて枠
消しを行うときに使用する。モードには、シート枠消し
（シートサイズに対して枠を作成する）、原稿枠消し
（原稿サイズに合わせて枠を作成する。原稿サイズ指定
有り）、ブック枠消し（ブックの見開きサイズに合わせ
て枠と中央に空白を作成する。ブック見開きサイズ指定
有り）がある。５０３５は綴じ代キーであり、用紙の一
端に綴じ代を作成したいときに使用する。

【００３４】５０３６は所望とする領域の画像を移動さ
せる移動キーであり、移動を行いたいときに使用する。
移動には、平行移動（上下左右），センター移動，コー
ナー移動，指定移動（ポイント指定）がある。５０３７
はズームキーであり、複写倍率を２５％〜４００％ま
で、１％刻みで設定できる。また、主走査，副走査を独
立に設定できる。尚、画像の変倍は、原稿の副走査方向
に関しては、スキャナ４の移動速度を制御することで行
ない、原稿の主走査方向に関しては、スキャナ４より読
出した画像データの間引き、或は補間処理で行う。

【００３５】５０３８はオート変倍キーであり、複写紙
のサイズに合わせて自動的に拡大縮小する。また、主走
査，副走査を独立にオート変倍できる。５０３９は拡大
連写キーであり、１枚の原稿を複数枚に拡大して複写を
行うときに使用する。５０４０は縮小レイアウトキーで
あり、複数の原稿を１枚に拡大縮小して複写を行うとき
に使用する。５０４３は連写キーであり、原稿台ガラス
面の複写領域を左右に２分割し、自動的に２枚のコピー
をする連続複写（ページ連写，両面連写）を行いたいと
きに使用する。５０４４は両面キーであり、両面（片面
両面，ページ連写両面，両面両面）の出力を行いたいと
きに使用する。

【００３６】５０４５は多重キーであり、多重（多重，
ページ連写多重）を行いたいときに使用する。５０４６
はメモリキーであり、メモリを使用したモード（メモリ
合成，エリア合成，すかし合成）を行いたいときに使用
する。５０４７はプロジェクタキーであり、プロジェク
タを使用するときに使用する。５０４８はプリンタキー
であり、プリンタ時の設定を行うときに使用する。５０
５０は、原稿混載キーであり、フィーダを使用してコピ
ーを取るとき原稿サイズが混載しているときに使用す
る。５０５１はモードメモリキーであり、複写設定され
た複写モードを登録するため、登録された複写モードを
呼び出すときに使用する。

【００３７】５０５２はタッチパネル付きの液晶表示器
であり、装置の状態，複写枚数，複写倍率，複写用紙サ
イズを表示し、認識複写モード或いは通常複写モードの
モード設定及び設定された複写モードの内容を表示す
る。

【００３８】次に、実施形態１の画像認識部４０００の
詳細構成について、図１を用いて説明する。

【００３９】まず、認識複写モード時では、２値化部１
２０は誤差拡散法による２値化処理部と一定閾値を用い
た単純２値化処理部を備え、両処理部を用いて光濃度変
換回路１０６からの記録濃度データをそれぞれ２値化
し、それらの２値化信号は画像バッファメモリ１１８に
蓄積される。一方、モード切替回路１０５からの輝度デ
ータは、像域分離部１１９に入力され、入力された輝度
データを画素毎に、注目画素が文字を構成する画素か否
かを判定し、その判定結果を示す属性判定信号（１ビッ
ト）を生成する。この属性判定信号も、画像バッファメ
モリ１１８に蓄積される。特に、像域分離部１１９で
は、一般に文字のエッジ部画素を文字部画素として検出
するため、例えば、８ポイント以下の小さい文字は濃度
に関わらずその文字を構成する全画素に対して文字部画
素を示す属性判定信号“１”を生成する。また、線幅が
太い大きな文字や線分に対しては、その輪郭部を構成す
る画素のみが文字部画素を示す属性判定信号として
“１”が生成される。

【００４０】ここで、像域分離部１１９は、例えば、特
開昭６２−１０７５７０等で開示される周知の像域分離
手法を用いることが可能である。具体的には、注目多値
画素信号をその周辺画素信号から得られる平均値で２値
化し、その２値化された２値化信号の２次元的連続性と
２値化時に得られる平均値と注目画素信号とのレベル差
から文字部を、他の網点中間調画像あるいは銀塩写真等
の連続中間調画像から識別分離する。

【００４１】画像バッファメモリ１１８に格納された画
像信号は、像域分離結果である属性判定信号に基づい
て、文字切出部１０８で、画像信号中の黒画素を直交す
る２方向へ射影し、そのヒストグラムから画像信号中の
行或いは列の存在を検出する。そして、検出された行或
いは列の方向により、画像信号全域を一定幅の行或いは
列に分割し、各行毎にその行内の各文字を切り出し、各
切り出された文字に対して順次その特徴量をベクトル算
出部１０９で算出する。認識制御部１１１に切り出され
た文字の特徴量が入力されると、認識制御部１１１が有
する認識辞書を用いて、その文字を認識する。尚、この
認識制御部１１１の処理の詳細については、後述する。
そして、出力された認識文字は、イメージデータ変換部
１１０に渡され、認識文字に対応するフォントデータに
変換される。

【００４２】次に、画像認識部４０００の処理フローに
ついて、図４を用いて説明する。

【００４３】図４は実施形態１の画像認識部の処理フロ
ーを示すフローチャートである。

【００４４】まず、ステップＳ１０９で、像域分離部１
１９は、入力された輝度データに対し、像域分離処理を
施し、その処理結果である属性判定信号を画像バッファ
メモリ１１８に蓄積する。尚、文字以外の画像部分で
は、属性判定信号“０”が各画素で得られるが、中間調
画像中のエッジ部等では、文字との誤判定画素が孤立し
て存在する。従って、ステップＳ１１０で、この文字と
孤立判定された誤判定画素を除去する。これにより、略
全ての画像に対して、その文字部のみの画素に対して属
性判定信号“１”が得られる。

【００４５】ステップＳ１００で、ステップＳ１１０の
処理によって得られる１ページ分の画像（単純２値化処
理部で２値化された画像）を画像バッファメモリ１１８
に格納する。次に、ステップＳ１０１で、画像バッファ
メモリ１１８に格納された画像に対し、属性判定信号に
基づいて、Ｘ，Ｙ方向の黒画素の射影を求めてヒストグ
ラムを作成する。

【００４６】例えば、図５に示すような画像が画像バッ
ファメモリ１１８に格納されている場合、つまり、画像
の構成として、右上部、右中部、右下部に絵があり、そ
の左及びその下に横書き文書が存在する画像に対して、
属性判定信号に基づいてヒストグラムを作成すると、紙
面縦方向のヒストグラムからは行／列に相当する分離部
分は存在しないが、紙面横方向のヒストグラムからは紙
面下部に横方向に行の存在が検出でき、図６に示すよう
な検出結果を得ることができる。即ち、両方向の黒画素
のヒストグラムを所定閾値で２値化し、一定周期の規則
性が検出できれば、紙面に対して行／列の存在が判定で
きる。また、図６の文字行の部分をより詳細に示すと、
図７のようになる。

【００４７】次に、ステップＳ１０３で、判定した行／
列に対し、平均行高さＧ／平均文字高さＶを決定する。
つまり、図７に示すように、横方向の黒画素ヒストグラ
ムからその平均周期Ｇが得られ、これが行間空白部を含
めた行高さとなる。また、平均文字高さＶも同様に得ら
れる。そして、ステップＳ１０４で、得られた平均行高
さＧを用いて、画像全体を帯状に分割する。図６の例で
は、Ｌ１からＬ２７の２７本の行に分割できる。

【００４８】次に、ステップＳ１０５で、分割された各
行が文字認識可能な認識行であるか否かを判定する。例
えば、図６の例では、行Ｌ１、行Ｌ２、行Ｌ１３及び行
Ｌ２７の行の場合、明らかに各行内には黒画素が存在し
ないので、文字以外の画像領域と判定する。一方、行Ｌ
１６は隣接する行Ｌ１５及び行Ｌ１７との境界に黒画素
が存在しないので、これらの行は認識行であると判定で
きる。即ち、分割された帯状の領域が認識行であるか否
かは、その境界線上の黒画素の有無から容易に判定でき
る。ここで、行Ｌ１４，行Ｌ１５は平均的なサイズの文
字行とは異なる認識行であるが、この場合は認識対象か
ら外す。また、行Ｌ１，行Ｌ１３，行Ｌ２７は空白領域
であることも判定でき、この場合、白い画像領域として
扱っても良いし、あるいは空白文字の集合として扱うこ
とも可能である。

【００４９】以上の処理によって、図６の例の場合、部
分Ｉはイメージデータとなり、それ以外の行は認識行と
なる。

【００５０】次に、ステップＳ１０６で、各認識行から
切り出される文字に対して文字認識を行う。次に、ステ
ップＳ１０７で、認識文字をフォントデータに変換す
る。次に、ステップＳ１０８で、フォントデータと認識
行以外のイメージデータ（誤差拡散法による２値化処理
部で２値化された画像）とを合成する。従って、図１に
おいてイメージデータ変換部１１０は、対象行が認識行
の場合、認識制御部１１１で得られた認識文字からフォ
ントデータを展開すると共に、対象行がイメージデータ
の場合は、画像バッファメモリ１１８より誤差拡散法に
よる２値化処理部で２値化された画像信号を、夫々切り
替えて画像編集部１０７に出力する。

【００５１】次に、ステップＳ１０６の処理の詳細につ
いて、図８を用いて説明する。

【００５２】図８は実施形態１のステップＳ１０６の処
理の詳細を示すフローチャートである。

【００５３】尚、図８の具体例として、図９を参照して
説明する。図９は、特に、図６の先頭行を更に拡大した
認識行を示している。

【００５４】まず、ステップＳ２００で、紙面縦（Ｙ）
方向に黒画素を射影してヒストグラム５５０を作成す
る。次に、ステップＳ２０１で、作成したヒストグラム
５５０より、認識行の先頭文字の左先端部を検出する。
この場合、認識行の左端から所定数以上黒画素が存在す
る画素列５５１が検出される。

【００５５】ステップＳ２０２で、文字Ｃｎの先端から
平均文字幅Ｈの列に黒画素があるか否かを判定する。黒
画素がある場合（ステップＳ２０２でＹＥＳ）、ステッ
プＳ２０４で、文字Ｃｎは半角であると判定する。一
方、黒画素がない場合（ステップＳ２０２でＮＯ）、文
字Ｃｎは全角であると判定する。そして、ステップＳ２
０５で、認識された文字のサイズに応じて、文字Ｃｎの
認識を行う。ステップＳ２０６で、文字Ｃｎが認識可能
であるか否かを判定する。認識可能である場合（ステッ
プＳ２０６でＹＥＳ）、ステップＳ２０８で、認識され
た文字をフォントデータに展開して、新たなイメージデ
ータとして置き換える。一方、認識不可能である場合
（ステップＳ２０６でＮＯ）、ステップＳ２０８に進
む。

【００５６】ステップＳ２０２で、文字Ｃｎの先端から
平均文字幅Ｈの列に黒画素があるか否かを判定する。黒
画素がある場合（ステップＳ２０２でＹＥＳ）、ステッ
プＳ２０４で、文字Ｃｎは半角であると判定する。一
方、黒画素がない場合（ステップＳ２０２でＮＯ）、文
字Ｃｎは全角であると判定する。そして、ステップＳ２
０５で、認識された文字のサイズに応じて、文字Ｃｎの
認識を行う。ステップＳ２０６で、文字Ｃｎが認識可能
であるか否かを判定する。認識可能である場合（ステッ
プＳ２０６でＹＥＳ）、ステップＳ２０８で、認識され
た文字をフォントデータに展開して、新たなイメージデ
ータとして置き換える。一方、認識不可能である場合
（ステップＳ２０６でＮＯ）、ステップＳ２０８に進
む。

【００５７】尚、ステップＳ２０２の判定は、以下のよ
うに行う。即ち、通常漢字は縦横の比が略１：１である
ため、平均文字高さＶを使って、平均全角文字幅Ｈ（＝
Ｖ＋α αは定数）を定義する。画素列５５１から平均
全角文字幅Ｈ右に位置する列５５２上の黒画素数５５３
を評価する。即ち、文字Ｃ１が全角文字であるなら、列
５５２上は次の文字との隙間に位置しているため、黒画
素は存在しない。従って、認識行内の文字をその左端か
ら夫々平均全角文字幅Ｈ毎右に位置する列の黒画素数を
評価して、その文字が全角文字か否かを判定する。列５
５２では、黒画素が存在しないため、文字Ｃ１は全角と
判定される。従って、文字Ｃ１の認識は、全角文字とし
てその領域内（Ｖ＊Ｈ）の画像データを正規化し、認識
辞書との比較に依って行う。

【００５８】認識方法の一例について、図１０を用いて
説明する。

【００５９】図１０は実施形態１の認識方法の一例を説
明するための図である。

【００６０】図１０では、切出された文字［王］を認識
する場合の木構造の認識辞書を用いた例である。

【００６１】ここで、木構造の認識辞書における１つの
段のｉ番目のグループの標準パターンベクトル（特徴
量）を＊ｖi、切出された文字の入力ベクトルを＊ｕと
すると、ベクトル＊ｖiとベクトル＊ｕとの距離は、ｒ
をベクトルの次元数として、

【００６２】

【数１】 で表される。そして、この木構造に沿い、前後の類似し
た標準パターン同士でグループ分けすることにより次段
が構成される複数段の各段において、各グループの標準
パターンと切出された文字との最短距離を求める。この
ようにして、最小距離を与えるグループを結ぶパスを形
成しながら、下り検索を行い、最終段で得られた最小距
離の文字候補（標準パターン）を認識文字として出力す
る。このようにして、各段において距離が最小となるグ
ループが選択されて、図１０に示す最終段の文字［王］
に至るパスが形成される。

【００６３】尚、得られた文字候補である標準パターン
ベクトルと切出された文字の入力ベクトルとの距離が一
定値を超える場合には、その文字候補を採用せず、認識
不能と判断して、切出された文字をイメージデータとし
て扱う。認識できた場合、後述する手順に従って、切出
された文字に対応するフォントデータを新たな画像信号
として切出された文字と置き換えると共に、認識行内の
次の文字の左端をヒストグラム５５０より検出する。

【００６４】図９において、次の文字Ｃ２も先述同様に
その左端から平均全角文字幅Ｈ右に位置する列５５４上
の黒画素数を評価する。この場合、明らかに黒画素が存
在するため、文字Ｃ２は全角文字でないと判断できる。
実施形態１では、文字を全角と半角のどちらかに識別す
るため、文字Ｃ２は半角と判断する。従って、文字Ｃ２
に対し、その切出された文字に対応する領域Ｖ＊Ｈ／２
のイメージデータと半角文字用の認識辞書を用いて上記
同様の認識処理を行う。このように、実施形態１では、
認識行中に存在する半角文字が認識できるため、半角文
字と全角文字が混在する認識行でも、より高速で精度の
高い文字認識が可能となる。

【００６５】次に、認識された文字のフォントデータへ
の変換方法について、図１１を用いて説明する。

【００６６】図１１は実施形態１のフォントデータへの
変換方法を説明するための図である。

【００６７】図１１中、上は認識行のイメージデータ
（２値画像信号）であり、下は認識行から切出された文
字から変換されたフォントデータであり、特に、切出さ
れた文字Ｃ１から文字Ｃ１０を文字Ｂ１から文字Ｂ１０
として変換した例である。説明のため、フォントは字体
を丸ゴシックとし、サイズも少し小さめで表している。
フォントデータの展開は、各切出された文字の左上端の
点５６０，５６１を基準に対応するフォントデータを展
開して配置する。従って、原稿の文字サイズより大きな
サイズで展開すれば、隣接する文字間が縮まり、更に大
きい場合は重なることになる。

【００６８】尚、被認識文字Ｃ６は認識不能であったと
想定した例であり、この場合、先に説明したように、切
出された文字Ｃ６がイメージデータとして扱われ、フォ
ントデータに展開された文字Ｂ１から文字Ｂ１０と共に
合成されることになる。このように認識行中の切出され
た文字の端部に、展開したフォントデータの端部を合わ
せることにより、認識不能文字をイメージデータとして
そのまま用いてフォントデータ中に合成しても、自然な
文書として品位の高い画像信号を出力することができ
る。

【００６９】以上説明したように、実施形態１によれ
ば、像域分離部１１９によって画像中の文字画像とそれ
以外の中間調画像を判定した後に、認識行を特定して、
認識行内の各文字を認識する。このように、文字画像と
中間調画像が混在した画像でも、的確に文字画像中の文
字を精度良く認識することができる。

【００７０】また、平均全角文字幅Ｈに基づいて、認識
行内の文字が全角であるか半角であるかを判定し、その
判定結果に基づいて各文字を認識するので、認識行に全
角と半角が混在していも精度良く各文字を認識すること
ができる。

【００７１】また、入力した画像中の文字画像はフォン
トデータとして出力し、中間調画像は中間調表現を維持
したまま出力することができるので、両者の出力時の画
品位の劣化を防止することができる。 （実施形態２）実施形態１では、ステップＳ２０２〜ス
テップＳ２０４の処理において、平均文字高さＶに基づ
く平均全角文字幅Ｈを用いて、認識対象文字が全角文字
であるか半角文字であるかを判定したが、例えば、平均
文字高さＶに基づく平均半角文字幅Ｈ１（＝Ｖ／２＋
α）と、平均文字高さＶに基づく平均２倍角文字幅Ｈ２
（＝２＊Ｖ＋α）を定義して、夫々の位置におけるヒス
トグラムから得られる黒画素ＨＹ（Ｈ），ＨＹ（Ｈ
１），ＨＹ（Ｈ２）から認識対象文字を全角、半角、二
倍角文字のいずれかに識別することができる。この文字
のサイズを識別する識別処理について、図１２を用いて
説明する。また、図１２に示す処理は、図８のステップ
Ｓ２０２〜ステップＳ２０３の処理を置き換えた処理に
相当する。

【００７２】図１２は実施形態２の識別処理を示すフロ
ーチャートである。

【００７３】まず、ステップＳ３０２で、文字Ｃｎの先
端から文字幅ＨＹ（Ｈ）の列に黒画素があるか否かを判
定する。黒画素がない場合（ステップＳ３０２でＮ
Ｏ）、ステップＳ３０５で、文字Ｃｎは全角であると判
断する。一方、黒画素がある場合（ステップＳ３０２で
ＹＥＳ）、ステップＳ３０３に進み、文字Ｃｎの先端か
ら文字幅ＨＹ（Ｈ１）の列に黒画素があるか否かを判定
する。黒画素がない場合（ステップＳ３０３でＮＯ）、
ステップＳ３０７で、文字Ｃｎは半角であると判断す
る。一方、黒画素がある場合（ステップＳ３０３でＹＥ
Ｓ）、ステップＳ３０４に進み、文字Ｃｎの先端から文
字幅ＨＹ（Ｈ２）の列に黒画素があるか否かを判定す
る。黒画素がない場合（ステップＳ３０４でＮＯ）、ス
テップＳ３０６で、文字Ｃｎは２倍角であると判断す
る。一方、黒画素がある場合（ステップＳ３０４でＹＥ
Ｓ）、ステップＳ３０３に進み、文字Ｃｎは、例えば、
分離文字と半角文字の連続、特殊記号等が想定され、認
識不可能と判断し、イメージデータであると判断する。

【００７４】尚、実施形態２では、各文字のサイズの判
定を、予想される文字間の黒画素の有無で判定している
が、一般に下地部の汚れ等で多少の黒画素が存在するこ
とを考慮した閾値を設定して、各文字のサイズの判定を
行っても良い。また、同様にすれば、上付き／下付き文
字等も切り出し、認識することも可能である。

【００７５】上記実施形態１、２における像域分離部１
１９における像域分離処理は、例えば、２値化ドット
数、濃度勾配、濃度ヒストグラム等を用いた他の像域分
離処理方法を用いても良い。

【００７６】また、白黒画像を前提に説明したが、カラ
ー画像に対しても適用することができる。この場合、カ
ラー画像を色分解した画像信号から、例えば、輝度信号
を生成し、この輝度信号に対して上述した処理を適用す
れば良い。

【００７７】また、画像を分割した各行の黒画素の存在
有無に基づいて、各行が認識行であるか否かを判定した
が、属性判定信号に基づいて、認識行を決定するように
しても良い。これにより、より高速に認識処理を実行す
ることができる。

【００７８】また、文字画像と中間調画像のそれぞれの
画品位を良好に出力するために、２値化部１２０では、
２値化方法として誤差拡散法を用いたが、両者を良好に
出力できる２値化方法であれば、これに限定されない。

【００７９】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【００８０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００８１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００８２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００８３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００８４】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００８５】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図４、図８、図１２に示
すフローチャートに対応するプログラムコードが格納さ
れることになる。

【００８６】

【発明の効果】以上説明したように、本発明によれば、
文字認識を高速かつ精度良く認識することができる画像
処理装置及びその方法、コンピュータ可読メモリを提供
できる。

【図面の簡単な説明】

【図１】実施形態１の画像処理装置の機能構成を示すブ
ロック図である。

【図２】実施形態１の画像処理装置のハードウェア構成
を示す断面図である。

【図３】実施形態１の操作部の外観を示す図である。

【図４】実施形態１の画像認識部の処理フローを示すフ
ローチャートである。

【図５】実施形態１の画像及びヒストグラム作成結果の
一例を示す図である。

【図６】実施形態１の認識行の判定結果の一例を示す図
である。

【図７】実施形態１のヒストグラム作成結果の詳細を示
す図である。

【図８】実施形態１のステップＳ１０６の処理の詳細を
示すフローチャートである。

【図９】実施形態１の認識行に施す処理を説明するため
の図である。

【図１０】実施形態１の認識方法の一例を説明するため
の図である。

【図１１】実施形態１のフォントデータへの変換方法を
説明するための図である。

【図１２】実施形態２の識別処理を示すフローチャート
である。

【符号の説明】

１０１ レンズ １０２ イメージセンサ １０３ ＡＤコンバータ １０４ シェーディング補正回路 １０５ モード切替回路 １０６ 光濃度変換回路 １０７ 画像編集部 １０８ 文字切出部 １０９ ベクトル算出部 １１０ イメージデータ変換部 １１１ 認識制御部 １１３ ＣＰＵ １１４ ＲＯＭ １１５ ＲＡＭ １１６ 操作部 １１７ 記録部 １１８ 画像バッファメモリ １１９ 像域分離部 １２０ ２値化部 １００１ 原稿 １００２ 画像読取部 １００３ 画像処理部 １００４ 画像記録部 ４０００ 画像認識部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 本田 永和 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 小林 誠 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 片岡 淳之介 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 Ｆターム(参考） 5B029 AA01 BB02 CC23 CC28 CC29 DD03 DD04 EE11 EE15 5B064 AA01 BA01 CA03 CA08 CA09 CA11 DA05 DA13 DA16 DA35 FA15

Claims (11)

【特許請求の範囲】
1. 【請求項１】 入力された画像を処理する画像処理装置
   であって、 前記入力された画像中の画素毎に、該画素が文字画像の
   一部であるか否かを判定する判定手段と、 前記入力された画像の少なくとも第１の２値化画像及び
   第２の２値化画像を生成する生成手段と、 前記判定手段による判定結果に基づいて、前記第１の２
   値化画像中の文字行を決定する決定手段と、 前記決定手段で決定された文字行から文字を切り出す切
   出手段と、 前記切出手段で切り出された文字を認識する認識手段
   と、 前記認識手段で認識された文字を対応するフォントデー
   タに変換する変換手段と、 前記変換手段で変換されたフォントデータと、前記認識
   手段で認識不能の文字に対応する前記第２の２値化画像
   を合成して出力する出力手段とを備えることを特徴とす
   る画像処理装置。
2. 【請求項２】 前記生成手段は、単純２値化を行う第１
   の２値化手段と、 擬似中間調表現可能な２値化を行う第２の２値化手段と
   を備え、 前記第１の２値化画像は、前記第１の２値化手段によっ
   て生成され、前記第２の２値化画像は、前記第２の２値
   化手段によって生成されることを特徴とする請求項１に
   記載の画像処理装置。
3. 【請求項３】 前記第２の２値化手段は、誤差拡散法に
   よって処理対象画像を２値化することを特徴とする請求
   項２に記載の画像処理装置。
4. 【請求項４】 前記判定手段は、前記入力された画像を
   像域分離する像域分離手段とを備えることを特徴とする
   請求項１に記載の画像処理装置。
5. 【請求項５】 前記決定手段は、前記入力された画像中
   の画素を第１方向及び第２方向へ射影して得られるヒス
   トグラムを生成するヒストグラム生成手段と、 前記ヒストグラム生成手段で生成されたヒストグラムに
   基づいて、前記入力された画像中の平均文字高さ及び平
   均行間隔を算出する算出手段と、 前記算出手段で算出された平均行間隔で、前記入力され
   た画像を分割する分割手段と、 前記分割手段で分割された各画像の画素分布に基づい
   て、前記入力された画像中の文字行を決定することを特
   徴とする請求項１に記載の画像処理装置。
6. 【請求項６】 入力された画像を処理する画像処理方法
   であって、 前記入力された画像中の画素毎に、該画素が文字画像の
   一部であるか否かを判定する判定工程と、 前記入力された画像の少なくとも第１の２値化画像及び
   第２の２値化画像を生成する生成工程と、 前記判定工程による判定結果に基づいて、前記第１の２
   値化画像中の文字行を決定する決定工程と、 前記決定工程で決定された文字行から文字を切り出す切
   出工程と、 前記切出工程で切り出された文字を認識する認識工程
   と、 前記認識工程で認識された文字を対応するフォントデー
   タに変換する変換工程と、 前記変換工程で変換されたフォントデータと、前記認識
   工程で認識不能の文字に対応する前記第２の２値化画像
   を合成して出力する出力工程とを備えることを特徴とす
   る画像処理方法。
7. 【請求項７】 前記生成工程は、単純２値化を行う第１
   の２値化工程と、 擬似中間調表現可能な２値化を行う第２の２値化工程と
   を備え、 前記第１の２値化画像は、前記第１の２値化工程によっ
   て生成され、前記第２の２値化画像は、前記第２の２値
   化工程によって生成されることを特徴とする請求項６に
   記載の画像処理方法。
8. 【請求項８】 前記第２の２値化工程は、誤差拡散法に
   よって処理対象画像を２値化することを特徴とする請求
   項７に記載の画像処理方法。
9. 【請求項９】 前記判定工程は、前記入力された画像を
   像域分離する像域分離工程とを備えることを特徴とする
   請求項６に記載の画像処理方法。
10. 【請求項１０】 前記決定工程は、前記入力された画像
    中の画素を第１方向及び第２方向へ射影して得られるヒ
    ストグラムを生成するヒストグラム生成工程と、 前記ヒストグラム生成工程で生成されたヒストグラムに
    基づいて、前記入力された画像中の平均文字高さ及び平
    均行間隔を算出する算出工程と、 前記算出工程で算出された平均行間隔で、前記入力され
    た画像を分割する分割工程と、 前記分割工程で分割された各画像の画素分布に基づい
    て、前記入力された画像中の文字行を決定することを特
    徴とする請求項６に記載の画像処理方法。
11. 【請求項１１】 入力された画像を処理する画像処理の
    プログラムコードが格納されたコンピュータ可読メモリ
    であって、 前記入力された画像中の画素毎に、該画素が文字画像の
    一部であるか否かを判定する判定工程のプログラムコー
    ドと、 前記入力された画像の少なくとも第１の２値化画像及び
    第２の２値化画像を生成する生成工程のプログラムコー
    ドと、 前記判定工程による判定結果に基づいて、前記第１の２
    値化画像中の文字行を決定する決定工程のプログラムコ
    ードと、 前記決定工程で決定された文字行から文字を切り出す切
    出工程のプログラムコードと、 前記切出工程で切り出された文字を認識する認識工程の
    プログラムコードと、 前記認識工程で認識された文字を対応するフォントデー
    タに変換する変換工程のプログラムコードと、 前記変換工程で変換されたフォントデータと、前記認識
    工程で認識不能の文字に対応する前記第２の２値化画像
    を合成して出力する出力工程のプログラムコードとを備
    えることを特徴とするコンピュータ可読メモリ。