JP2002288589A - 画像処理方法、画像処理装置および画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】文字と文字以外の画像を含むカラー文書から正
確に文字領域抽出を行うことができる画像処理方法を提
供すること。 【解決手段】処理対象となる多値画像を文字と文字以外
の画像を含むカラー文書から取得して(ステップＳ１)、
圧縮画像を生成し(ステップＳ２)、圧縮画像から同色と
みなせる画素をランとして抽出し(ステップＳ３)、抽出
したランを統合して連結成分を生成する(ステップＳ
４)。連結成分のうち不要成分の除去後(ステップＳ
５)、連結成分の外接矩形を統合し(ステップＳ６)、統
合した外接矩形から文字らしいものを判定し(ステップ
Ｓ７)、得られた結果を出力する（ステップＳ８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文字以外の画像を
含む処理対象となる画像から入力されたカラー文書画像
を認識する文書画像認識システムなどに利用され、カラ
ー文書画像や、写真、図などを含む文書から文字行の位
置を正しく特定する画像処理方法、画像処理装置および
画像処理方法を実行させるプログラムを記録したコンピ
ュータ読み取り可能な記録媒体に係り、特に、カラー文
書から正確な文字領域抽出を可能とする画像処理方法の
プログラムをコンピュータで実行するようにした画像処
理方法、画像処理装置および画像処理方法をコンピュー
タに実行させるプログラムを記録したコンピュータ読み
取り可能な記録媒体に関する。

【０００２】

【従来の技術】文書画像を認識する際、文字の位置を正
しく特定する技術は、高い認識精度を得るために不可欠
である。仮に、文書画像のどこに文字があるのか不明な
状態で文字認識処理を行った場合、文字認識の必要のな
い写真、図などの領域に文字認識処理を行ってしまうこ
とになるため、不要な処理に不要な時間がかかるだけで
なく、文字でない部分を無理に文字とみなして認識した
結果が大量に出力されることになり、認識結果を利用す
る際に大きな困難を伴うことになる。このため、たとえ
ば、特開平２０００―６７１５８号公報においては、文
字領域を正しく特定するために、２値画像の黒画素の連
結成分を用いて処理を行っている。すなわち、この公報
には、入力された画像を縮小して黒画素の連結成分の外
接矩形を取得し、この取得した外接矩形から基本となる
要素を抽出する。この抽出した基本要素を文字、表、
図、その他に分類し、文字要素を統合して行を生成し、
この生成した行を統合して文字領域とする。この文字領
域から段組情報を抽出し、その抽出された段の位置を参
照し、過剰に統合された文字領域を修正することが開示
されている。

【０００３】

【発明が解決しようとする課題】しかしながら、上記公
報に開示された画像処理方法では、２値画像を対象とす
るものであり、処理対象文書がカラー印刷されている場
合には、カラー情報をどこかで欠落させて２値画像に変
換する必要がある。しかしながら、２値化には決定的な
方法があるわけではなく、処理対象画像によっては、文
字がつぶれてしまったり、背景の色が細かいノイズ状に
なって２値画像に表現されてしまうなどの問題がしばし
ば発生する。このような状態では、縮小画像の黒画素の
連結成分抽出が思うようにできず、精度が低化してしま
うという難点がある。本発明は、上述した事情に鑑みて
なされたもので、従来困難であった文字および文字以外
の画像を含むカラー文書から正確に文字領域抽出を行う
ことができる画像処理処理方法、画像処理装置および画
像処理方法をコンピュータに実行させるプログラムを記
録したコンピュータ読み取り可能な記録媒体を提供する
ことを目的としている。

【０００４】本発明の請求項１の目的は、特に、直接カ
ラー画像の画素情報を用いることにより、カラー文書か
ら正確に文字領域の抽出を可能とし、高い認識精度を得
ることができる画像処理方法を提供することにある。本
発明の請求項２の目的は、特に、背景が暗くても、ある
いは明るくても画素値を圧縮画像の画素として使用する
ことができる画像処理方法を提供することにある。本発
明の請求項３の目的は、特に、同色とみなせる画素をラ
ンとして抽出して、１ラインのラン統合を確実に行うこ
とができる画像処理方法を提供することにある。本発明
の請求項４の目的は、特に、互いに接触する２つの連結
成分を正確に生成することができる画像処理方法を提供
することにある。本発明の請求項５の目的は、特に、連
結成分の不要な部分を除去でき、より正確に連結成分を
生成することができる画像処理方法を提供することにあ
る。本発明の請求項６の目的は、特に、連結成分の外接
矩形を確実に統合することができる画像処理方法を提供
することにある。

【０００５】本発明の請求項７の目的は、特に、統合さ
れた外接矩形の高さが所定範囲外の場合には、統合され
た外接矩形から文字らしいものを判定せず、必要とする
文字らしい文字の判定精度を向上することができる画像
処理方法を提供することにある。本発明の請求項８の目
的は、特に、抽出対象の文字色の整合が取れない場合に
は、文字でないと判定して統合された外接矩形から文字
らしいもののみをより高精度に判定することができる画
像処理方法を提供することにある。本発明の請求項９の
目的は、特に、外接矩形内のエッジ強度の強い画素数が
少数しか存在しない場合に文字でないと判定して統合さ
れた外接矩形から文字らしいもののみをより高精度に判
定することができる画像処理方法を提供することにあ
る。本発明の請求項１０の目的は、特に、２値化された
画像の連結成分の外接矩形中で、文字らしい形状の矩形
数が少ない場合に文字でないと判断して、統合された外
接矩形から文字らしいもののみをより高精度に判定する
ことができる画像処理方法を提供することにある。

【０００６】本発明の請求項１１の目的は、特に、直接
カラー画像の画素情報を用いることにより、カラー文書
から正確に文字領域の抽出を可能とし、高い認識精度を
得ることができる画像処理装置を提供することにある。
本発明の請求項１２の目的は、特に、背景が暗くても、
あるいは明るくても画素値を圧縮画像の画素として使用
することができる画像処理装置を提供することにある。
本発明の請求項１３の目的は、特に、同色とみなせる画
素をランとして抽出して、１ラインのラン統合を確実に
行うことができる画像処理装置を提供することにある。
本発明の請求項１４の目的は、特に、互いに接触する２
つの連結成分を正確に生成することができる画像処理装
置を提供することにある。本発明の請求項１５の目的
は、特に、連結成分の不要な部分を除去でき、より正確
に連結成分を生成することができる画像処理装置を提供
することにある。本発明の請求項１６の目的は、特に、
連結成分の外接矩形を確実に統合することができる画像
処理装置を提供することにある。

【０００７】本発明の請求項１７の目的は、特に、統合
された外接矩形の高さが所定範囲外の場合には、統合さ
れた外接矩形から文字らしいものを判定せず、必要とす
る文字らしい文字の判定精度を向上することができる画
像処理装置を提供することにある。本発明の請求項１８
の目的は、特に、抽出対象の文字色の整合が取れない場
合には、文字でないと判定して統合された外接矩形から
文字らしいもののみをより高精度に判定することができ
る画像処理装置を提供することにある。本発明の請求項
１９の目的は、特に、外接矩形内のエッジ強度の強い画
素数が少数しか存在しない場合に文字でないと判定して
統合された外接矩形から文字らしいもののみをより高精
度に判定することができる画像処理装置を提供すること
にある。本発明の請求項２０の目的は、特に、２値化さ
れた画像の連結成分の外接矩形中で、文字らしい形状の
矩形数が少ない場合に文字でないと判断して、統合され
た外接矩形から文字らしいもののみをより高精度に判定
することができる画像処理装置を提供することにある。

【０００８】本発明の請求項２１の目的は、特に、直接
カラー画像の画素情報を用いることにより、カラー文書
から正確に文字領域の抽出を可能とし、高い認識精度を
得ることができる画像処理方法を実現するプログラムを
記録したコンピュータ読取可能な記録媒体を提供するこ
とにある。本発明の請求項２２の目的は、特に、背景が
暗くても、あるいは明るくても画素値を圧縮画像の画素
として使用することができる画像処理方法を実現するプ
ログラムを記録したコンピュータ読取可能な記録媒体を
提供することにある。本発明の請求項２３の目的は、特
に、同色とみなせる画素をランとして抽出して、１ライ
ンのラン統合を確実に行うことができる画像処理方法を
実現するプログラムを記録したコンピュータ読取可能な
記録媒体を提供することにある。本発明の請求項２４の
目的は、特に、互いに接触する２つの連結成分を正確に
生成することができる画像処理方法を実現するプログラ
ムを記録したコンピュータ読取可能な記録媒体を提供す
ることにある。

【０００９】本発明の請求項２５の目的は、特に、連結
成分の不要な部分を除去でき、より正確に連結成分を生
成することができる画像処理方法を実現するプログラム
を記録したコンピュータ読取可能な記録媒体を提供する
ことにある。本発明の請求項２６の目的は、特に、連結
成分の外接矩形を確実に統合することができる画像処理
方法を実現するプログラムを記録したコンピュータ読取
可能な記録媒体を提供することにある。本発明の請求項
２７の目的は、特に、統合された外接矩形の高さが所定
範囲外の場合には、統合された外接矩形から文字らしい
ものを判定せず、必要とする文字らしい文字の判定精度
を向上することができる画像処理方法を実現するプログ
ラムを記録したコンピュータ読取可能な記録媒体を提供
することにある。本発明の請求項２８の目的は、特に、
抽出対象の文字色の整合が取れない場合には、文字でな
いと判定して統合された外接矩形から文字らしいものの
みをより高精度に判定することができる画像処理方法を
実現するプログラムを記録したコンピュータ読取可能な
記録媒体を提供することにある。

【００１０】本発明の請求項２９の目的は、特に、外接
矩形内のエッジ強度が強い画素数が少数しか存在しない
場合に文字でないと判定して統合された外接矩形から文
字らしいもののみをより高精度に判定することができる
画像処理方法を実現するプログラムを記録したコンピュ
ータ読取可能な記録媒体を提供することにある。本発明
の請求項３０の目的は、特に、２値化された画像の連結
成分の外接矩形中で、文字らしい形状の矩形数が少ない
場合に文字でないと判断して、統合された外接矩形から
文字らしいもののみをより高精度に判定することができ
る画像処理方法を実現するプログラムを記録したコンピ
ュータ読取可能な記録媒体を提供することにある。

【００１１】

【課題を解決するための手段】請求項１に記載した発明
に係る画像処理方法は、上述した目的を達成するため
に、文字および文字以外の画像を含む処理対象となる画
像から多値画像を取得する第１ステップと、上記多値画
像から圧縮画像を生成する第２ステップと、上記圧縮画
像から同色とみなせる画素をランとして抽出する第３ス
テップと、上記ランを統合して連結成分を生成する第４
ステップと、上記連結成分のうち不要なものを排除する
第５ステップと、上記連結成分の外接矩形を統合する第
６ステップと、上記統合された外接矩形から文字らしい
ものを判定する第７ステップと、上記文字らしい情報か
ら文字領域を出力する第８ステップとを備えることを特
徴としている。請求項２に記載した発明に係る画像処理
方法は、上記第２ステップが、圧縮するブロックサイズ
を決定するステップと、ブロック内の全画素の明度値を
求めるステップと、背景に対して暗い文字を抽出する場
合は最も明度の低い画素値を選択するステップと、上記
背景に対して明るい文字を抽出する場合には、最も明度
の高い画素値を選択するステップと、上記選択された画
素値を圧縮画素値として使用するステップとを備えるこ
とを特徴としている。

【００１２】請求項３に記載した発明に係る画像処理方
法は、上記第３ステップが、各画素をランデータとして
登録するステップと、隣接するランを選択するステップ
と、上記隣接するランの色差を求めるステップと、上記
色差が小さい場合には上記ランを統合するステップと、
１ラインのラン統合を繰り返すステップとを備えること
を特徴としている。請求項４に記載した発明に係る画像
処理方法は、上記第４ステップが、上記ランデータを連
結成分データとして登録するステップと、互いに接触す
る２つの連結成分を抽出するステップと、上記２つの連
結成分の色差を算出するステップと、上記色差があらか
じめ定めた値より小さい場合には、連結成分を統合する
ステップと、連結成分の統合を繰り返すステップとを備
えることを特徴としている。請求項５に記載した発明に
係る画像処理方法は、上記第５ステップが、上記連結成
分の大きさがあらかじめ定めた値より小さい場合に連結
成分データから不要な成分を削除するステップと、上記
連結成分の明度と周囲の画素の明度とを比較するステッ
プと、上記比較の結果を用いて不要な連結成分データを
削除するステップとを備えることを特徴としている。

【００１３】請求項６に記載した発明に係る画像処理方
法は、上記第６ステップが、各連結矩形の外接矩形を求
めるステップと、上記外接矩形を２つ選択するステップ
と、上記選択された外接矩形の高さ方向の座標値の差異
を求めるステップと、上記外接矩形の高さから幅方向の
距離限界値を求めるステップと、上記外接矩形間の幅方
向の座標値の差異と上記距離限界値を比較するステップ
と、上記外接矩形間の色差を算出するステップと、上記
高さ方向の座標値の差異、幅方向の座標値の差異、距離
限界値、色差を用いて上記外接矩形の統合の可否を決定
するステップと、上記外接矩形を統合する場合には双方
の外接矩形に外接する矩形を新たな外接矩形として一つ
に登録し直すステップとを備えることを特徴としてい
る。請求項７に記載した発明に係る画像処理方法は、上
記第７ステップが、上記外接矩形の高さが所定範囲外の
場合には、文字でないと判断するステップを備えること
を特徴としている。

【００１４】請求項８に記載した発明に係る画像処理方
法は、上記第７ステップが、外接矩形の色情報と周囲の
画素の色情報を比較し、抽出対象の文字色との整合がと
れない場合には、文字でないと判断するステップを備え
ることを特徴としている。請求項９に記載した発明に係
る画像処理方法は、上記第７ステップが、外接矩形内の
エッジ強度を測定するステップと、エッジ強度が強い画
素数が少ししか存在しない場合には、文字でないと判断
するステップを備えることを特徴としている。請求項１
０に記載した発明に係る画像処理方法は、上記第７ステ
ップが、外接矩形内の画像を２値化するステップと、上
記２値化された画像の連結成分を求めるステップと、上
記連結成分の外接矩形を求めるステップと、上記求めら
れた外接矩形のうちで文字らしい形状の矩形数が少ない
場合には、文字でないと判断するステップとを備えるこ
とを特徴としている。

【００１５】請求項１１に記載した発明に係る画像処理
装置は、文字および文字以外の画像を含む処理対象とな
る画像から多値画像を取得する手段と、上記多値画像か
ら圧縮画像を生成する手段と、上記圧縮画像から同色と
みなせる画素をランとして抽出する手段と、上記ランを
統合して連結成分を生成する手段と、上記連結成分のう
ち不要なものを排除する手段と、上記連結成分の外接矩
形を統合する手段と、上記統合された外接矩形から文字
らしいものを判定する手段と、上記文字らしい情報から
文字領域を出力する手段とを備えることを特徴としてい
る。請求項１２に記載した発明に係る画像処理装置は、
上記圧縮画像を生成するが、圧縮するブロックサイズを
決定する手段と、ブロック内の全画素の明度値を求める
手段と、背景に対して暗い文字を抽出する場合は最も明
度の低い画素値を選択する手段と、背景に対して明るい
文字を抽出する場合は最も明度の高い画素値を選択する
手段と、上記選択された画素値を圧縮画像の画素値とし
て使用する手段とを備えることを特徴としている。

【００１６】請求項１３に記載した発明に係る画像処理
装置は、上記同色とみなせる画素をランとして抽出する
手段が、各画素をランデータとして登録する手段と、隣
接するランを選択する手段と、隣接するランの色差を求
める手段と、上記色差が小さい場合は上記ランを統合す
る手段と、１ラインのラン統合を繰り返す手段とを備え
ることを特徴としている。請求項１４に記載した発明に
係る画像処理装置は、上記連結成分を生成する手段が、
上記ランデータを連結成分データとして登録する手段
と、互いに接触する２つの連結成分を抽出する手段と、
色差があらかじめ定めた値より小さい場合には、連結成
分を統合する手段と、上記連結成分の統合を繰り返す手
段とを備えることを特徴としている。請求項１５に記載
した発明に係る画像処理装置は、上記連結成分のうち不
要なものを排除する手段が、上記連結成分の大きさが予
め定めた値より小さい場合に連結成分データから削除す
る手段と、連結成分の明度と周囲の画素の明度とを比較
する手段と、上記比較の結果を用いて不要な連結成分デ
ータを削除する手段とを備えることを特徴としている。

【００１７】請求項１６に記載した発明に係る画像処理
装置は、上記連結成分の外接矩形を統合する手段が、各
連結矩形の外接矩形を求める手段と、上記外接矩形を２
つ選択する手段と、上記選択された外接矩形の高さ方向
の座標値の差異を求める手段と、上記外接矩形の高さか
ら幅方向の距離限界値を求める手段と、外接矩形間の幅
方向の座標値の差異と上記距離限界値とを比較する手段
と、上記外接矩形間の色差を算出する手段と、上記高さ
方向の座標値の差異、幅方向の座標値の差異、上記距離
限界値、上記色差を用いて上記外接矩形の統合の可否を
決定する手段と、上記外接矩形の統合を決定する場合に
は、双方の外接矩形に外接する矩形を新たな外接矩形と
して一つに登録し直す手段とを備えることを特徴として
いる。請求項１７に記載した発明に係る画像処理装置
は、上記統合された外接矩形から文字らしいものを判定
する手段が、外接矩形の高さが所定範囲外の場合は文字
でないと判断する手段を備えることを特徴としている。

【００１８】請求項１８に記載した発明に係る画像処理
装置は、上記統合された外接矩形から文字らしいものを
判定する手段が、外接矩形の色情報と、周囲の画素の色
情報とを比較し、抽出対象の文字色との整合がとれない
場合には文字でないと判断する手段を備えることを特徴
としている。請求項１９に記載した発明に係る画像処理
装置は、上記統合された外接矩形から文字らしいものを
判定する手段が、外接矩形内のエッジ強度を測定する手
段と、エッジ強度の強い画素数が少数しか存在しない場
合に文字でないと判断する手段とを備えることを特徴と
している。請求項２０に記載した発明に係る画像処理装
置は、上記統合された外接矩形から文字らしいものを判
定する手段が、上記矩形内の画像を２値化する手段と、
上記２値化された画像の連結成分を求める手段と、上記
連結成分の外接矩形を求める手段と、求めた外接矩形の
うちで文字らしい形状の矩形数が少ない場合には文字で
ないと判断する手段とを備えることを特徴としている。

【００１９】請求項２１に記載した発明に係る画像処理
方法を実現するプログラムを記録したコンピュータ読み
取り可能な記録媒体は、文字および文字以外の画像を含
む処理対象となる画像から多値画像を取得する第１ステ
ップと、上記多値画像から圧縮画像を生成する第２ステ
ップと、上記圧縮画像から同色とみなせる画素をランと
して抽出する第３ステップと、上記ランを統合して連結
成分を生成する第４ステップと、上記連結成分のうち不
要なものを排除する第５ステップと、上記連結成分の外
接矩形を統合する第６ステップと、上記統合された外接
矩形から文字らしいものを判定する第７ステップと、上
記文字らしい情報から文字領域を出力する第８ステップ
とを備えることを特徴としている。請求項２２に記載し
た発明に係る画像処理方法を実現するプログラムを記録
したコンピュータ読み取り可能な記録媒体は、上記第２
ステップが、圧縮するブロックサイズを決定するステッ
プと、ブロック内の全画素の明度値を求めるステップ
と、背景に対して明るい文字を抽出する場合は最も明度
の低い画素値を選択するステップと、上記背景に対して
明るい文字を抽出する場合には、最も明度の高い画素値
を選択するステップと、上記選択された画素値を圧縮画
素値として使用するステップとを備えることを特徴とし
ている。

【００２０】請求項２３に記載した発明に係る画像処理
方法を実現するプログラムを記録したコンピュータ読み
取り可能な記録媒体は、上記第３ステップが、各画素を
ランデータとして登録するステップと、隣接するランを
選択するステップと、上記隣接するランの色差を求める
ステップと、上記色差が小さい場合には上記ランを統合
するステップと、１ラインのラン統合を繰り返すステッ
プとを備えることを特徴としている。請求項２４に記載
した発明に係る画像処理方法を実現するプログラムを記
録したコンピュータ読み取り可能な記録媒体は、上記第
４ステップが、上記ランデータを連結成分データとして
登録するステップと、互いに接触する２つの連結成分を
抽出するステップと、上記２つの連結成分の色差を算出
するステップと、上記色差があらかじめ定めた値より小
さい場合には、連結成分を統合するステップと、連結成
分の統合を繰り返すステップとを備えることを特徴とし
ている。

【００２１】請求項２５に記載した発明に係る画像処理
方法を実現するプログラムを記録したコンピュータ読み
取り可能な記録媒体は、上記第５ステップが、上記連結
成分の大きさがあらかじめ定めた値より小さい場合に連
結成分データから削除するステップと、上記連結成分の
明度と周囲の画素の明度とを比較するステップと、上記
比較の結果を用いて不要な連結成分データを削除するス
テップとを備えることを特徴としている。請求項２６に
記載した発明に係る画像処理方法を実現するプログラム
を記録したコンピュータ読み取り可能な記録媒体は、上
記第６ステップが、各連結矩形の外接矩形を求めるステ
ップと、上記外接矩形を２つ選択するステップと、上記
選択された外接矩形の高さ方向の座標値の差異を求める
ステップと、上記外接矩形の高さから幅方向の距離限界
値を求めるステップと、上記外接矩形間の幅方向の座標
値の差異と上記距離限界値を比較するステップと、上記
外接矩形間の色差を算出するステップと、上記高さ方向
の座標値の差異、幅方向の座標値の差異、距離限界値、
色差を用いて上記外接矩形の統合の可否を決定するステ
ップと、上記外接矩形を統合する場合には双方の外接矩
形に外接する矩形を新たな外接矩形として一つに登録し
直すステップとを備えることを特徴としている。

【００２２】請求項２７に記載した発明に係る画像処理
方法を実現するプログラムを記録したコンピュータ読み
取り可能な記録媒体は、上記第７ステップが、上記外接
矩形の高さが所定範囲外の場合には、文字でないと判断
するステップを備えることを特徴としている。請求項２
８に記載した発明に係る画像処理方法を実現するプログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、上記第７ステップが、外接矩形の色情報と周囲の画
素の色情報を比較し、抽出対象の文字色との整合がとれ
ない場合には、文字でないと判断するステップを備える
ことを特徴としている。請求項２９に記載した発明に係
る画像処理方法を実現するプログラムを記録したコンピ
ュータ読み取り可能な記録媒体は、上記第７ステップ
が、外接矩形内のエッジ強度を測定するステップと、エ
ッジ強度が強い画素数が少ししか存在しない場合には、
文字でないと判断するステップを備えることを特徴とし
ている。請求項３０に記載した発明に係る画像処理方法
を実現するプログラムを記録したコンピュータ読み取り
可能な記録媒体は、上記第７ステップが、外接矩形内の
画像を２値化するステップと、上記２値化された画像の
連結成分を求めるステップと、上記連結成分の外接矩形
を求めるステップと、上記求められた外接矩形のうちで
文字らしい形状の矩形数が少ない場合には、文字でない
と判断するステップとを備えることを特徴としている。

【００２３】

【作用】すなわち、本発明の請求項１による画像処理方
法は、処理対象の画像から多値画像を取得してその取得
した、多値画像から圧縮画像を生成し、上記圧縮画像か
ら同色とみなせる画素をランとして抽出し、そのランを
統合して連結成分を生成するとともに、不要連結成分の
排除後に連結成分の外接矩形を統合して、外接矩形から
文字らしいものを判定して文字らしい情報から文字領域
を出力することができるので、特に、直接、カラー画像
の画素情報を用いることにより、カラー文書から正確に
文字領域の抽出を可能とし、高い認識精度を得ることが
可能となる。本発明の請求項２による画像処理方法は、
決定した圧縮するブロックサイズ内の全画素の明度値を
求めて背景に対して明るい文字を抽出する場合は最も明
度の低い画素値を選択するとともに、背景に対して暗い
文字を抽出する場合には、最も明度の高い画素値を選択
して、選択された画素値を圧縮画素値として使用するこ
とができるので、特に、背景が暗くても、あるいは明る
くても画素値を圧縮画像の画素として使用することが可
能となる。

【００２４】本発明の請求項３による画像処理方法は、
各画素をランデータとして登録後、隣接するランを選択
して、隣接するランの色差が小さい場合にはランを統合
して、１ラインのラン統合を繰り返すことができるの
で、特に、同色とみなせる画素をランとして抽出して、
１ラインのラン統合を確実に行うことが可能となる。本
発明の請求項４による画像処理方法は、各画素をランデ
ータとして登録後、隣接するランを選択して、隣接ラン
の色差が小さい場合にはランを統合して、１ラインのラ
ン統合を繰り返すことができるので、特に、互いに接触
する２つの連結成分を正確に生成することが可能とな
る。本発明の請求項５による画像処理方法は、連結成分
の大きさがあらかじめ定めた値より小さい場合に連結成
分データから不要な成分を削除して連結成分の明度が周
囲の画素の明度との対比から不要な連結成分データを削
除することができるので、特に、連結成分の不要な部分
を除去でき、より正確に連結成分を生成することが可能
となる。

【００２５】本発明の請求項６による画像処理方法は、
各連結矩形の外接矩形を２つ選択し、選択された外接矩
形の高さ方向の座標値の差異を求めるとともに、外接矩
形の高さから幅方向の距離限界値を求め、外接矩形間の
幅方向の座標値の差異と距離限界値を比較して外接矩形
間の色差を算出し、高さ方向の座標値の差異、幅方向の
座標値の差異、距離限界値、色差を用いて外接矩形の統
合の可否を決定し、外接矩形を統合する場合には双方の
外接矩形に外接矩形を新たな外接矩形として一つに登録
し直すことができるので、特に、連結成分の外接矩形を
確実に統合することが可能となる。本発明の請求項７に
よる画像処理方法は、外接矩形の高さが所定範囲外の場
合には、文字でないと判断することができるので、特
に、統合された外接矩形の高さが所定範囲外の場合に
は、統合された外接矩形から文字らしいものを判定せ
ず、必要とする文字らしい文字の判定精度を向上するこ
とが可能となる。本発明の請求項８による画像処理方法
は、外接矩形の色情報と周囲の画素の色情報を比較して
抽出対象の文字色との整合がとれない場合には、文字で
ないと判断することができるので、特に、抽出対象の文
字色の整合が取れない場合には、文字でないと判定して
統合された外接矩形から文字らしいもののみをより高精
度に判定することが可能となる。

【００２６】本発明の請求項９による画像処理方法は、
外接矩形内のエッジ強度の強い画素数が少数しか存在し
ない場合に文字でないと判定して統合された外接矩形か
ら文字らしいもののみをより高精度に判定することが可
能となる。本発明の請求項１０による画像処理方法は、
２値化された画像の連結成分の外接矩形中で、文字らし
い形状の矩形数が少ない場合に文字でないと判断して、
統合された外接矩形から文字らしいもののみをより高精
度に判定することが可能となる。本発明の請求項１１に
よる画像処理装置は、文字および文字以外の画像を含む
処理対象となる画像から多値画像を取得し、その多値画
像から圧縮画像を生成し、圧縮画像から同色とみなせる
画素をランとして抽出するとともに、ランを統合して連
結成分を生成し、連結成分のうち不要なものを排除し
て、連結成分の外接矩形を統合した後、外接矩形から文
字らしいものを判定して、文字らしい情報から文字領域
を出力することができるので、特に、直接カラー画像の
画素情報を用いることにより、カラー文書から正確に文
字領域の抽出を可能とし、高い認識精度を得ることが可
能となる。

【００２７】本発明の請求項１２による画像処理装置
は、圧縮するブロックサイズを決定し、ブロック内の全
画素の明度値を求めることにより、背景に対して暗い文
字を抽出する場合は最も明度の低い画素値を選択し、背
景に対して明るい文字を抽出する場合は最も明度の高い
画素値を選択し、その選択された画素値を圧縮画像の画
素値として使用することができるので、特に、背景が暗
くても、あるいは明るくても画素値を圧縮画像の画素と
して使用することが可能となる。本発明の請求項１３に
よる画像処理装置は、各画素をランデータとして登録
後、隣接するランを選択し、その隣接するランの色差を
求めて、色差が小さい場合はランを統合して１ラインの
ラン統合を繰り返すことができるので、特に、同色とみ
なせる画素をランとして抽出して、１ラインのラン統合
を確実に行うことが可能となる。本発明の請求項１４に
よる画像処理装置は、ランデータを連結成分データとし
て登録後、互いに接触する２つの連結成分を抽出し、そ
の連結成分の色差があらかじめ定めた値より小さい場合
には、連結成分を統合し、連結成分の統合を繰り返すこ
とができるので、特に、互いに接触する２つの連結成分
を正確に生成することが可能となる。

【００２８】本発明の請求項１５による画像処理装置
は、連結成分の大きさが予め定めた値より小さい場合に
連結成分データから不要成分を削除し、連結成分の明度
と周囲の画素の明度とを比較し、その比較の結果を用い
て不要な連結成分データを削除することができるので、
特に、連結成分の不要な部分を除去でき、より正確に連
結成分を生成することが可能となる。本発明の請求項１
６による画像処理装置は、各連結矩形の外接矩形を求め
て外接矩形を２つ選択し、選択された外接矩形の高さ方
向の座標値の差異を求め、外接矩形の高さから幅方向の
距離限界値を求め、外接矩形間の幅方向の座標値の差異
と距離限界値とを比較し、外接矩形間の色差を算出し、
高さ方向の座標値の差異、幅方向の座標値の差異、距離
限界値、色差を用いて外接矩形の統合の可否を決定し、
外接矩形の統合を決定する場合には、双方の外接矩形に
外接する矩形を新たな外接矩形として一つに登録し直す
ことができるので、特に、連結成分の外接矩形を確実に
統合することが可能となる。

【００２９】本発明の請求項１７による画像処理装置
は、外接矩形の高さが所定範囲外の場合は文字でないと
判断することができるので、特に、統合された外接矩形
の高さが所定範囲外の場合には、統合された外接矩形か
ら文字らしいものを判定せず、必要とする文字らしい文
字の判定精度を向上することが可能となる。本発明の請
求項１８による画像処理装置は、外接矩形の色情報と、
周囲の画素の色情報とを比較し、抽出対象の文字色との
整合が採れない場合には文字でないと判断することがで
きるので、特に、抽出対象の文字色の整合が取れない場
合には、文字でないと判定して統合された外接矩形から
文字らしいもののみをより高精度に判定することが可能
となる。本発明の請求項１９による画像処理装置は、外
接矩形内のエッジ強度を測定し、エッジ強度の強い画素
数が少数しか存在しない場合に文字でないと判断するこ
とができるので、特に、外接矩形内のエッジ強度の強い
画素数が少数しか存在しない場合に文字でないと判定し
て統合された外接矩形から文字らしいもののみをより高
精度に判定することが可能となる。

【００３０】本発明の請求項２０による画像処理装置
は、矩形内の画像を２値化し、その２値化された画像の
連結成分を求め、その求めた連結成分の外接矩形を求
め、その外接矩形のうちで文字らしい形状の矩形数が少
ない場合には文字でないと判断することができるので、
特に、２値化された画像の連結成分の外接矩形中で、文
字らしい形状の矩形数が少ない場合に文字でないと判断
して、統合された外接矩形から文字らしいもののみをよ
り高精度に判定することが可能となる。本発明の請求項
２１による画像処理方法を実現するプログラムを記録し
たコンピュータ読み取り可能な記録媒体は、文字および
文字以外の画像を含む処理対象となる画像から多値画像
を取得した多値画像から圧縮画像を生成し、圧縮画像か
ら同色とみなせる画素をランとして抽出し、ランを統合
して連結成分を生成し、その連結成分のうち不要なもの
を排除し、連結成分の外接矩形を統合し、統合された外
接矩形から文字らしいものを判定し、上記文字らしい情
報から文字領域を出力することができるので、特に、直
接カラー画像の画素情報を用いることにより、カラー文
書から正確に文字領域の抽出を可能とし、高い認識精度
を得ることが可能となる。

【００３１】本発明の請求項２２による画像処理方法を
実現するプログラムを記録したコンピュータ読み取り可
能な記録媒体は、圧縮するブロックサイズを決定し、そ
の決定されたブロック内の全画素の明度値を求め、背景
に対して暗い文字を抽出する場合は最も明度の低い画素
値を選択し、背景に対して明るい文字を抽出する場合に
は、最も明度の高い画素値を選択し、選択された画素値
を圧縮画素値として使用することができるので、特に、
背景が暗くても、あるいは明るくても画素値を圧縮画像
の画素として使用することができる画像処理方法を実現
すること可能となる。本発明の請求項２３による画像処
理方法を実現するプログラムを記録したコンピュータ読
み取り可能な記録媒体は、各画素をランデータとして登
録して、隣接するランを選択し、その隣接するランの色
差を求め、色差が小さい場合にはランを統合し、１ライ
ンのラン統合を繰り返すことができるので、特に、同色
とみなせる画素をランとして抽出して、１ラインのラン
統合を確実に行うことができる画像処理方法を実現する
ことが可能となる。

【００３２】本発明の請求項２４による画像処理方法を
実現するプログラムを記録したコンピュータ読み取り可
能な記録媒体は、ランデータを連結成分データとして登
録し、互いに接触する２つの連結成分を抽出し、２つの
連結成分の色差を算出してその算出した色差があらかじ
め定めた値より小さい場合には、連結成分を統合すると
ともに、連結成分の統合を繰り返すことができるので、
特に、互いに接触する２つの連結成分を正確に生成する
ことが可能となる。本発明の請求項２５による画像処理
方法を実現するプログラムを記録したコンピュータ読み
取り可能な記録媒体は、連結成分の大きさがあらかじめ
定めた値より小さい場合に連結成分データから削除し、
連結成分の明度と周囲の画素の明度との比較の結果を用
いて不要な連結成分データを削除することができるの
で、特に、連結成分の不要な部分を除去でき、より正確
に連結成分を生成することが可能となる。本発明の請求
項２６による画像処理方法を実現するプログラムを記録
したコンピュータ読み取り可能な記録媒体は、各連結矩
形の外接矩形を求めて外接矩形を２つ選択し、その選択
された外接矩形の高さ方向の座標値の差異を求め、外接
矩形の高さから幅方向の距離限界値を求め、外接矩形間
の幅方向の座標値の差異と距離限界値を比較し、外接矩
形間の色差を算出し、高さ方向の座標値の差異、幅方向
の座標値の差異、距離限界値、色差を用いて外接矩形の
統合の可否を決定するとともに、外接矩形を統合する場
合には双方の外接矩形に外接矩形を新たな外接矩形とし
て一つに登録し直すことができるので、特に、連結成分
の不要な部分を除去でき、より正確に連結成分を生成す
ることが可能となる。

【００３３】本発明の請求項２７による画像処理方法を
実現するプログラムを記録したコンピュータ読み取り可
能な記録媒体は、外接矩形の高さが所定範囲外の場合に
は、文字でないと判断することができるので、特に、統
合された外接矩形の高さが所定範囲外の場合には、統合
された外接矩形から文字らしいものを判定せず、必要と
する文字らしい文字の判定精度を向上することが可能と
なる。本発明の請求項２８による画像処理方法を実現す
るプログラムを記録したコンピュータ読み取り可能な記
録媒体は、外接矩形の色情報と周囲の画素の色情報を比
較し、抽出対象の文字色との整合がとれない場合には、
文字でないと判断することができるので、抽出対象の文
字色の整合が取れない場合には、文字でないと判定して
統合された外接矩形から文字らしいもののみをより高精
度に判定することが可能となる。

【００３４】本発明の請求項２９による画像処理方法を
実現するプログラムを記録したコンピュータ読み取り可
能な記録媒体は、外接矩形内のエッジ強度を測定し、エ
ッジ強度が強い画素数が少ししか存在しない場合には、
文字でないと判断することができるので、特に、外接矩
形内のエッジ強度が強い画素数が少数しか存在しない場
合に文字でないと判定して統合された外接矩形から文字
らしいもののみをより高精度に判定することが可能とな
る。本発明の請求項３０による画像処理方法を実現する
プログラムを記録したコンピュータ読み取り可能な記録
媒体は、外接矩形内の画像を２値化して、その２値化さ
れた画像の連結成分を求め、連結成分の外接矩形を求め
るとともに、求められた外接矩形のうちで文字らしい形
状の矩形数が少ない場合には、文字でないと判断するこ
とができるので、特に、２値化された画像の連結成分の
外接矩形中で、文字らしい形状の矩形数が少ない場合に
文字でないと判断して、統合された外接矩形から文字ら
しいもののみをより高精度に判定することができる。

【００３５】

【発明の実施の形態】以下、実施の形態に基づき、図面
を参照して本発明の画像処理方法、画像処理装置および
画像処理方法をコンピュータに実行させるプログラムを
記録したコンピュータ読み取り可能な記録媒体を詳細に
説明する。図１は、本発明の１実施の形態の概略的処理
手順を示すフローチャートであり、コンピュータ読取可
能な記録媒体に記録されたプログラムにしたがって本発
明の画像処理方法を実現する処理手順を示すフローチャ
ートである。まず、本発明により処理される処理対象の
原稿は、文字および文字以外の画像を含むものである。
この原稿は図示されていないが、スキャナ、撮像装置な
どの原稿読み取り装置により、処理対象の原画像のデー
タを処理対象画像入力手段により取得して(ステップＳ
１)、圧縮画像生成手段に入力し、そこで圧縮すること
により、圧縮画像データを生成する(ステップＳ２)。次
に、この圧縮画像データからラン生成手段に入力するこ
とにより、同色とみなせる画素をランとして抽出する
(ステップＳ３)。

【００３６】ここで、「ラン」とは、周知のように、２
値の文書画像のように、白画素あるいは黒画素がある程
度連続する場合がある(たとえば、フアクシミリなどで
扱う２値の文書画像)。この連続した白画素、あるいは
黒画素を１次元方向に白あるいは黒の連続する画素のか
たまりを符号化の単位とするものである。このようにし
て、上記ステップＳ３で同色とみなせる画素をランとし
て抽出すると、その抽出したランを連結成分生成手段に
送り、ラン同士で接触していて、色の近いものをまとめ
て、連結成分として抽出する(ステップＳ４)。次いで、
この抽出された連結成分のうちの不要なものを排除する
ために連結成分選別手段に送り、不要な連結成分を排除
する(ステップＳ５)。次に、上記の不要な連結成分を除
去されて、必要となる連結成分のみを外接矩形統合手段
に入力して、この必要となる連結成分の外接矩形同士を
統合して(ステップＳ６)、文字行候補を生成する．次
に、上記文字行候補を文字判定手段により文字判定を行
い(ステップＳ７)、文字らしい特徴をもたないものを排
除する。この文字らしい特徴をもたないものを排除する
ことにより、文字らしい特徴を有する文字行候補のみを
文字領域出力手段に入れて、ステップＳ８で文字行の座
標値を出力する(請求項１、請求項１１、請求項２１に
対応する)。図２は、上記図１のフローチャートにした
がって、本発明による画像処理方法の第１の実施の形態
の処理手順に適用される各手段の構成を示すブロック図
である。この図２において、上記処理対象画像入力手段
１０１は、原画像を取得して格納しておく手段であり、
この処理対象画像入力手段１０１で格納された原画像の
データは、上記圧縮画像生成手段１０２と、上記文字判
定手段１０７に送出される。圧縮画像生成手段１０２
は、圧縮画像を生成して格納するとともに、上記ラン生
成手段１０３に送出する(請求項２、請求項１２、請求
項２２に対応する)。

【００３７】圧縮画像生成手段１０２は、上記ラン生成
手段１０３、上記連結成分生成手段１０４、上記連結成
分選別手段１０５、上記外接矩形統合手段１０６、上記
文字判定手段１０７にそれぞれ出力する。ラン生成手段
１０３は、圧縮画像からランを生成する手段であり、生
成したランを上記連結成分生成手段１０４に送出する
(請求項３、請求項１３、請求項２３に対応する)。上記
連結成分生成手段１０４は、ランから連結成分を生成す
る手段であり、生成した連結成分は連結成分選別手段１
０５に送出する(請求項４、請求項１４、請求項２４に
対応する)。連結成分選別手段１０５は、連結成分生成
手段１０４で得られた連結成分を選別して外接矩形統合
手段１０６に送出する。外接矩形統合手段１０６は、連
結成分選別手段１０５で得られた連結成分の外接矩形を
統合して、文字判定手段１０７に送出する。

【００３８】文字判定手段１０７は、外接矩形統合手段
１０６で統合された外接矩形から文字行を判定して、上
記文字領域出力手段１０８に送出する。文字領域出力手
段１０８は、文字行と判定された座標を出力する手段で
ある(請求項１１に対応)。次に、この図２で示す画像処
理装置の動作について図３以降に示すフローチャートに
沿って説明する。まず、最初に、処理したい原稿を処理
対象画像入力手段１０１で原画像(カラー)として取得す
る。この取得された元画像のデータは、処理対象画像入
力手段１０１から圧縮画像生成手段１０２および文字判
定手段１０７に送出する。圧縮画像生成手段１０２は、
図３に示すフローチャートに沿って処理を実行する。こ
の図３に示すフローチャートは、上記圧縮画像生成手段
１０２の処理手順を示すものである。圧縮画像生成手段
１０２は、原画像から圧縮画像を生成するが、この圧縮
画像は処理の高速化のため、およびある色が細かい点の
集合で表現されている場合の悪影響を防ぐために生成す
る。

【００３９】この原画像を圧縮する際に、まずブロック
サイズを決定する(ステップＳ１０２ａ)。ここでいう
「ブロックサイズ」とは、圧縮画像を作成する際に、１
画素にまとめる原画像上の画素のかたまりのサイズであ
る。ここでは、原画像上の２×２画素を圧縮画像の１画
素にまとめるものとする。次に、ブロック内の画素の明
度を求め(ステップＳ１０２ｂ)、次いで、最も暗い画素
値を抽出する(ステップＳ１０２ｃ)。この際、ここで
は、背景に対して暗い色の文字を抽出する場合を考え
て、最も暗い画素を抽出した場合を例にしているが、こ
れとは逆に、背景に対して明るい色の文字を抽出する場
合には、ブロック内の最も明るい画素の値を抽出する。
もし、明るい文字も、暗い文字も抽出したい場合は、こ
の実施の形態の一連の処理を、明文字／暗文字の仮定だ
けを変えて再度抽出を行い、結果の論理和を取ることで
実現できる。上記のようにして抽出した暗い画素値を、
圧縮画像の該当画素の画素値として用ることとし（圧縮
画像画素値セット）、圧縮画像にこの値を書き込む(ス
テップＳ１０２ｄ)。

【００４０】以上のステップＳ１０２ａ〜ステップＳ１
０２ｄの処理手順を繰り返し実行し、すべての画素に対
して吟味を行って(ステップＳ１０２ｅ)、すべての画素
の吟味が終了すると、圧縮画像生成手段１０２による処
理が終了したことになり、次ぎの処理工程、すなわち、
図２に示したラン生成手段１０３による処理工程に移行
する。ラン生成手段１０３による処理工程は、図４に示
すフローチャートに沿って実行される。この図４は、ラ
ン生成手段１０３の処理手順を示すフローチャートであ
り、まず、ある行（たとえば、先頭行など）を注目行と
し、各画素をランデータとして登録する(ステップＳ１
０３ａ)。次に、ランの統合を行う。この場合、左端の
ランを参照ランとする（ステップＳ１０３ｂ)。次に、
その隣のランを注目ランとし(ステップＳ１０３ｃ)、参
照ランと注目ランとを比較する(ステップＳ１０３ｄ)。
この場合の比較の方法には、種々考えられるが、ここで
は、色のＲ(赤)、Ｇ(緑)、，Ｂ(青)各成分の差の２乗和
を色差として定義し、この色差が小さければ、色が近い
とする。

【００４１】色差があらかじめ決められた閾値と比較し
(ステップＳ１０３ｅ)、その比較の結果、色差が閾値以
下の場合には、ラン同士を統合して一つの長いランとし
て、登録し、この統合したランを新しい参照ランとする
(ステップＳ１０３ｆ)。なお、統合したランの色は、統
合前の各ランの平均値、ランの長さによる加重平均値、
メジアン(ｍｅｄｉａｎ：複数のデータを昇順、または
降順に整列した際の中央に位置する値)などを用いるこ
とが考えられるが、ここでは、メジアンを用ることにす
る。一方、上記ステップＳ１０３ｅでの色差があらかじ
め決められた閾値と比較した結果、色差が閾値以下でな
い場合、すなわち色差が閾値より大きい場合、注目ラン
を新たな参照ランとする(ステップＳ１０３ｇ)。上記の
ように、ステップＳ１０３ｆでの新定義による統合した
新しい参照ランと、ステップＳ１０３ｇでの新定義によ
る注目ランの新しい参照ランの右隣にランがあるか、否
かの吟味、すなわち判定をする(ステップＳ１０３ｈ)。

【００４２】この判定の結果、新しい参照ランの右隣に
ランがある場合には、このランを新しい注目ランとして
ステップＳ１０３ｃの処理に戻り、ランの統合を繰り返
す。

【００４３】また、上記判定の結果、新しい参照ランの
右隣にランがない場合には、この行のランの統合が一通
り済んだことになる。ここまでで注目のランの統合は一
応できたことになるが、実際には、統合が不充分である
ことが多い。そこで、同じ行のラン統合を繰り返して行
い、ランがこれ以上統合できなくなるまで統合を繰り返
し、統合を完全なものにする。このために、ラン統合を
再度行うか吟味するために、ステップＳ１０３ｂの左端
のランを参照する処理からステップS１０３ｈの右端に
ランがあるか、否かの判定処理に至るまでの一連の処理
を実行した際、注目行のラン統合が１度でも行われた
か、否かを判定する(ステップＳ１０３ｉ)。この判定の
結果、ランの統合が行われていないと判定した場合、す
なわち、ステップＳ１０３ｆにおける統合したランを新
しい参照ランとする処理が１度も実行されなかった場合
は、これ以上ランを統合する必要がないことになるので
(ステップＳ１０３ｊ)、つまり、すべての行のランを抽
出したことになり、この行のラン統合をこれ以上繰り返
して行わない。

【００４４】また、上記とは逆に、上記ステップＳ１０
３ｉの判定処理において、ランの統合が行われていると
判定した場合には、再度ステップＳ１０３ｂの左端のラ
ンを参照する処理からステップＳ１０３ｉの処理工程を
実行し、再度統合処理を実行する。このようにして、ラ
ンの統合が完全に行われれると、この行のラン抽出が完
成したことになる。すべての行のランの抽出作業を行い
（ステップＳ１０３ｊ）、この画像のラン抽出を終了
し、次工程である連結成分生成工程に移行する。なお、
すべての行のランの抽出作業が終了していない場合に
は、ステップＳ１０３ｉの処理工程から注目行を他行に
変更させて（ステップＳ１０３ｋ）、再度ステップＳ１
０３ａの処理工程に処理手順を戻して、再び上記ステッ
プＳ１０３ａ〜ステップＳ１０３ｊの処理を繰り返し実
行する。次に、連結成分生成工程の説明を行う。図５
は、この連結成分生成工程の処理手順を示すフローチャ
ートである。

【００４５】まず、図４のフローチャートにしたがって
実行されたラン生成処理工程により生成されたランデー
タを図２で示した連結成分生成手段１０４に入力して、
この連結成分生成手段１０４において、ランデータを連
結成分データとしてそのまま登録する(ステップＳ１０
４ａ)。次に、この登録された連結成分データの中から
互いに接触する２つの連結成分データを抽出する（ステ
ップＳ１０４ｂ)。次に、２つの連結成分データの色を
比較する。ここでは、ラン生成と同じ方法で色差を求
め、この求めた色差を閾値と比較する(ステップＳ１０
４ｃ)。この比較の結果、色差が閾値以下の場合には、
連結成分同士を統合して１つの連結成分とする(ステッ
プＳ１０４ｄ)。連結成分にも色情報が必要であるが、
これもランの場合と同様とする(請求項５、請求項１
５、請求項２５に対応する)。一方、色差と閾値との比
較の結果、色差が閾値以上の場合には、連結成分同士の
統合を行わず、処理工程をステップＳ１０４ｅに移行す
る。このステップＳ１０４ｅの処理では、すべての連結
成分の組み合せについて吟味し、すべての連結成分の組
み合せが吟味するまで繰り返し処理を実行する。

【００４６】すなわち、すべての連結成分の組み合せが
終了するまで、ステップＳ１０４ｂの互いに抽出する２
つの連結成分の抽出処理工程からステップＳ１０４ｅの
すべての連結成分の組み合せを吟味するまでの処理工程
の実行を繰り返す。このようにして、すべての連結成分
の組み合せが完了すると、１回の連結成分統合が終了す
る。ここでも、ランの場合と同様に、１度統合しただけ
では不充分である場合が多いので、繰り返し統合を行う
(ステップＳ１０４ｆ)。この場合、ランの場合に習っ
て、これ以上統合できなくなるまで処理を繰り返しても
良いが、ここでは高速化のために、あらかじめ定めてお
いた回数だけ統合を行うこととする。以上で連結成分生
成処理が終了する。次に、図２で示した連結成分選別手
段１０５による連結成分選別処理手順について図６を参
照して説明する。この図６は、連結成分選別処理手順を
示すフローチャートである。上記連結成分生成手段１０
４による連結成分生成処理工程で得られた連結成分を１
つ選択する(ステップＳ１０５ａ)。

【００４７】次に、この選択された１つの連結成分の大
きさを所定の大きさ以下であるか、否かの判定を行う。
すなわち吟味する（ステップＳ１０５ｂ）。この判定の
結果、連結成分の大きさが所定の大きさ以下である場合
には、ステップＳ１０５ｃでノイズとみなして連結成分
データから削除する(請求項５、請求項１５、請求項２
５に対応する)。また、ステップＳ１０５ｂにおける判
定の結果、１つの連結成分の大きさを所定の大きさ以上
であると判定した場合には、連結成分の明度と、周囲を
取り巻く画素の明度を比較する(ステップＳ１０５ｄ)。
この際、背景に対して暗い文字を抽出しようとしている
場合は、連結成分が周囲より明るい場合は文字である可
能性が少ないことになる。そこで、連結成分より明るい
画素数を吟味し(ステップＳ１０５ｅ)、この吟味の結
果、明るい画素数の割合が所定の割合より少ない場合に
は、文字でないとみなして連結データから削除する(ス
テップＳ１０５ｃ)。なお、周囲より明るい文字を抽出
しようとしている場合には、連結成分より画素数をカウ
ントすれば良い。

【００４８】このようにして、すべての連結成分の吟味
を終了すると(ステップＳ１０５ｆ)、次の工程、すなわ
ち図２で示した外接矩形統合手段１０６による外接矩形
統合処理工程に移行する。図７は、この外接矩形統合処
理工程の処理手順を示すフローチャートであり、この図
７のフローチャートに沿って以下に外接矩形統合処理手
順について説明する。この外接矩形統合処理は、文字行
を抽出するための処理である。なお、ここでは、行方向
を横と仮定して説明する。まず、各連結成分の外接矩形
を求める(ステップＳ１０６ａ)。次いで、この求めた外
接矩形のうちの２つを選び（ステップＳ１０６ｂ）、座
標値のうち、Ｙ方向(縦方向)に重なっている部分の長さ
を調べる(ステップＳ１０６ｃ)。この結果、Ｙ方向に重
なっている部分が全くないか、あるいはＹ方向に重なっ
ている部分が少ない場合には、これらの外接矩形が同一
行を構成する要素とは考えにくいので、外接矩形同士の
統合は行わない。

【００４９】また、ステップＳ１０６ｃでの外接矩形の
Ｙ方向に重なっている部分の長さが大きい場合は、外接
矩形の高さ等を参考にしてＸ方向の統合する矩形間距離
最大値（Ｘ距離限界値）を求める(ステップＳ１０６
ｄ)。ここでの外接矩形の高さ等を参考にする理由は、
高さの高い文字であれば、隣接する文字との距離も長く
なる傾向であることを考慮したためである。具体的に
は、外接矩形高さをそのままＸ距離限界値に設定するこ
とが考えられる。注目している２つの外接矩形のＸ方向
の距離とＸ距離限界値を比較し(ステップＳ１０６ｅ)、
この比較の結果、外接矩形のＸ方向の距離がＸ距離限界
値より大きい場合であると判定した場合は、同一行構成
要素でないとみなして統合を行わない。次に、２つの外
接矩形の色差を所定値以上であるか、否かの吟味を行う
(ステップＳ１０６ｆ)。この吟味の結果、２つの外接矩
形の色差が所定値以上である場合には、異なる行の文字
とみなして、統合を行わない。

【００５０】次に、これらの条件をクリアした外接矩形
は、同一行を構成する要素であるとみなして、２つの外
接矩形を新しい外接矩形として登録する(ステップＳ１
０６ｇ)。矩形情報として色情報も必要になるが、これ
は各外接矩形の色情報を基に決定する。この場合、ラン
の場合と同様に、様々な方法が考えられるが、ここでメ
ジアンを用いることにする。このようにして、次々に外
接矩形を吟味して（ステップＳ１０６ｈ）、すべての外
接矩形の吟味が終了すると、今度は図２で示した文字判
定手段１０７による文字判定処理工程に移行する(請求
項６、請求項１６、請求項２６に対応する)。次に、こ
の文字判定処理工程について説明する。図８は、この文
字判定処理手順を示すフローチャートであり、この文字
判定処理工程は、上記図７で説明した外接矩形統合処理
手順により得られた文字行候補（すなわち、外接矩形）
の中から、本当に文字行であるものだけを選び出す工程
である。

【００５１】次に、この図８のフローチャートに沿って
説明する。まず、外接矩形を一つ選択する(ステップＳ
１０７ａ)。次に選択した外接矩形の矩形の高さを吟味
する(ステップＳ１０７ｂ)。この吟味の結果、外接矩形
の矩形の高さが所定以上に高すぎるものは文字でないと
ステップＳ１０７ｃで判定する(請求項７、請求項１
７、請求項２７に対応する)。次に、ステップＳ１０７
ｂでの選択した外接矩形の矩形の高さが所定値以下であ
ると判定した場合には、外接部分の色情報と周囲の色情
報を比較し（ステップＳ１０７ｄ）、その比較の結果、
上記連結成分選別の場合と同様に、背景より暗い文字を
抽出する場合においては、周囲が外接矩形より暗い場合
には(ステップＳ１０７ｅ)、文字行でないとみなす(ス
テップＳ１０７ｃ)。また、背景より明るい文字を抽出
する場合は、上記とは逆の条件となる(請求項８、請求
項１８、請求項２８に対応する)。次に、外接矩形内の
エッジ強度が強い画素数を数える(ステップＳ１０７
ｆ)。この実施の形態では、エッジ強度の判定は原画像
上で行う。その方法は、種々考えられるが、一例とし
て、３×３がその形状と図９、図１０に示す係数を持つ
空間フィルタをエッジ強度を測りたい画素を中心にして
個別に施し、それらの２乗和をもってエッジ強度とする
方法などが考えられる(請求項９、請求項１９、請求項
２９に対応する)。

【００５２】さて、上記ステップＳ１０７ｆで得られた
エッジ強度の強い画素数の矩形内の全画素数に対する比
率が所定値より小さい場合は(ステップＳ１０７ｇ)、文
字でないと判定する。次に、矩形内の画像を２値化する
(ステップＳ１０７ｈ)。２値化の方法には、閾値を固定
で決めておく方法、判別分析方法(「コンピュータビジ
ョン」第４章・丸善・谷内田正彦編を参照)などが考え
られる。ここでは、判別分析法｛上記著書に記載されて
いる内容の概略を転記すると、「画像の２値化問題は、
画像をパターン領域（クラス１）と背景領域(クラス２)
の２クラスに分けることであるとし、濃度とヒストグラ
ムを用いて最もクラス分離の良い濃度閾値を与えるよう
とするものである。」｝を用ることにする。さて、判別
分析法で２値化した画像から連結成分の抽出を行い、そ
の外接矩形を求める(ステップＳ１０７ｉ)。ここで求め
た外接矩形のうち、文字らしくない形状の矩形がある
か、否かの判定を行い(ステップＳ１０７ｊ)、その判定
の結果、文字らしくない形状の矩形がある場合には、文
字らしくない形状の矩形を排除する(ステップＳ１０７
ｃ)。

【００５３】ここで、文字らしくない形状の矩形とは、
たとえば、縦横比が極端に横長や、縦長の形状の矩形、
あるいは非常に小さい矩形等が該当する(請求項１０、
請求項２０、請求項３０に対応する)。このような縦横
比の割合が小さい場合は、注目している外接矩形は、文
字行でないとみなす。また、上記ステップＳ１０７ｊで
の安定の結果、文字らしい形状の外接矩形が少なくない
と判定された場合には、この外接矩形は文字であると判
定され(ステップＳ１０７ｋ)れる。このようにして、す
べての外接矩形に対して上記ステップＳ１０７ａ〜ステ
ップＳ１０７ｋの処理を繰り返し実行して、すべての外
接矩形が文字であると判定すると(ステップＳ１０７
ｍ)、図２で示した文字領域出力手段１０８に出力して
結果を出力することになる。次に、本発明の第２の実施
の形態について説明する。図１１は、この第２の実施の
形態の構成を示すブロック図である。この実施の形態
は、上記請求項２１〜請求項３０に対応し、画像処理方
法を実現するプログラムを記録媒体に記録および読み取
り可能な汎用の処理装置の構成を示している。

【００５４】この図１１において、ＣＰＵ４０１、メモ
リ４０２、ハードディスク４０３、入力装置４０４、Ｃ
Ｄ―ＲＯＭドライブ４０５、ディスプレイ４０６、ＣＤ
―ＲＯＭ等の記録媒体４０７などから構成され、これら
は相互にデータバス４０８で接続されている。ＣＤ―Ｒ
ＯＭ等の記録媒体４０７には、本発明の文字領域抽出の
「処理機能や本発明の画像処理方法を実行するプログラ
ムが記録されている。また、処理対象の原画像は、たと
えば、ハードディスク４０３などに格納されている。Ｃ
ＰＵ４０１は、記録媒体４０７に記録されている上記処
理機能や処理手順を実現するプログラムを読み出して実
行し、文字領域抽出の結果をディプレイ４０６などに出
力する(請求項２１〜請求項３０に対応する)。なお、本
発明は、上述し、かつ図面に示す実施の形態にのみ限定
されることなく、その要旨を変更しない範囲内で種々変
形して実施することができる。

【００５５】

【発明の効果】以上述べたように、本発明によれば、文
字および文字以外の画像を含む処理対象となる画像から
多値画像を取得し、上記多値画像から圧縮画像を生成
し、上記圧縮画像から同色とみなせる画素をランとして
抽出し、上記ランを統合して連結成分を生成し、上記連
結成分のうち不要なものを排除し、上記連結成分の外接
矩形を統合し、上記統合された外接矩形から文字らしい
ものを判定し、上記文字らしい情報から文字領域を出力
することにより、カラー文書画像から正確に文字領域を
抽出することができる画像処理方法、画像処理装置およ
び画像処理方法をコンピュータに実行させるプログラム
を記録したコンピュータ読み取り可能な記録媒体を提供
することが可能となり、特に、請求項１に記載の発明に
よれば、直接、カラー画像の画素情報を用いることによ
り、カラー文書から正確に文字領域の抽出を可能とし、
高い認識精度を得ることが可能となる。

【００５６】本発明の請求項２の画像処理方法によれ
ば、上記第２ステップが、圧縮するブロックサイズを決
定するステップと、ブロック内の全画素の明度値を求め
るステップと、背景に対して明るい文字を抽出する場合
は最も明度の低い画素値を選択するステップと、上記背
景に対して明るい文字を抽出する場合には、最も明度の
高い画素値を選択するステップと、上記選択された画素
値を圧縮画素値として使用するステップとを備えること
により、決定した圧縮するブロックサイズ内の全画素の
明度値を求めて背景に対して明るい文字を抽出する場合
は最も明度の低い画素値を選択するとともに、背景に対
して明るい文字を抽出する場合には、最も明度の高い画
素値を選択して、選択された画素値を圧縮画素値として
使用することができるので、特に、背景が暗くても、あ
るいは明るくても画素値を圧縮画像の画素として使用す
ることが可能となる。本発明の請求項３の画像処理方法
は、上記第３ステップが、各画素をランデータとして登
録するステップと、隣接するランを選択するステップ
と、上記隣接するランの色差を求めるステップと、上記
色差が小さい場合には上記ランを統合するステップと、
１ラインのラン統合を繰り返すステップとを備えること
により、各画素をランデータとして登録後、隣接するラ
ンを選択して、隣接するランの色差が小さい場合にはラ
ンを統合して、１ラインのラン統合を繰り返すことがで
きるので、特に、同色とみなせる画素をランとして抽出
して、１ラインのラン統合を確実に行うことが可能とな
る。

【００５７】本発明の請求項４の画像処理方法によれ
ば、上記第４ステップが、上記ランデータを連結成分デ
ータとして登録するステップと、互いに接触する２つの
連結成分を抽出するステップと、上記２つの連結成分の
色差を算出するステップと、上記色差があらかじめ定め
た値より小さい場合には、連結成分を統合するステップ
と、連結成分の統合を繰り返すステップとを備えること
により、各画素をランデータとして登録後、隣接するラ
ンを選択して、隣接ランの色差が小さい場合にはランを
統合して、１ラインのラン統合を繰り返すことができる
ので、特に、互いに接触する２つの連結成分を正確に生
成することが可能となる。本発明の請求項５の画像処理
方法によれば、上記第５ステップが、上記連結成分の大
きさがあらかじめ定めた値より小さい場合に連結成分デ
ータから削除するステップと、上記連結成分の明度と周
囲の画素の明度とを比較するステップと、上記比較の結
果を用いて不要な連結成分データを削除するステップと
を備えることにより、連結成分の大きさがあらかじめ定
めた値より小さい場合に連結成分データから不要な成分
を削除して連結成分の明度が周囲の画素の明度との対比
から不要な連結成分データを削除することができるの
で、特に、連結成分の不要な部分を除去でき、より正確
に連結成分を生成することが可能となる。

【００５８】本発明の請求項６の画像処理方法によれ
ば、上記第６ステップが、各連結矩形の外接矩形を求め
るステップと、上記外接矩形を２つ選択するステップ
と、上記選択された外接矩形の高さ方向の座標値の差異
を求めるステップと、上記外接矩形の高さから幅方向の
距離限界値を求めるステップと、上記外接矩形間の幅方
向の座標値の差異と上記距離限界値を比較するステップ
と、上記外接矩形間の色差を算出するステップと、上記
高さ方向の座標値の差異、幅方向の座標値の差異、距離
限界値、色差を用いて上記外接矩形の統合の可否を決定
するステップと、上記外接矩形を統合する場合には双方
の外接矩形に外接矩形を新たな外接矩形として一つに登
録し直すステップとを備えることにより、各連結矩形の
外接矩形を２つ選択し、選択された外接矩形の高さ方向
の座標値の差異を求めるとともに、外接矩形の高さから
幅方向の距離限界値を求め、外接矩形間の幅方向の座標
値の差異と距離限界値を比較して外接矩形間の色差を算
出し、高さ方向の座標値の差異、幅方向の座標値の差
異、距離限界値、色差を用いて外接矩形の統合の可否を
決定し、外接矩形を統合する場合には双方の外接矩形に
外接矩形を新たな外接矩形として一つに登録し直すこと
ができるので、特に、連結成分の外接矩形を確実に統合
することが可能となる。

【００５９】本発明の請求項７の画像処理方法によれ
ば、上記第７ステップが、上記外接矩形の高さが所定範
囲外の場合には、文字でないと判断するステップを備え
ることにより、外接矩形の高さが所定範囲外の場合に
は、文字でないと判断することができるので、特に、統
合された外接矩形の高さが所定範囲外の場合には、統合
された外接矩形から文字らしいものを判定せず、必要と
する文字らしい文字の判定精度を向上することが可能と
なる。本発明の請求項８の画像処理方法によれば、上記
第７ステップが、上記外接矩形の色情報と周囲の画素の
色情報を比較し、抽出対象の文字色との整合がとれない
場合には、文字でないと判断するステップを備えること
により、外接矩形の色情報と周囲の画素の色情報を比較
して抽出対象の文字色との整合がとれない場合には、文
字でないと判断することができるので、特に、抽出対象
の文字色の整合が取れない場合には、文字でないと判定
して統合された外接矩形から文字らしいもののみをより
高精度に判定することが可能となる。

【００６０】本発明の請求項９の画像処理方法によれ
ば、上記第７ステップが、外接矩形内のエッジ強度を測
定するステップと、エッジ強度が強い画素数が少ししか
存在しない場合には、文字でないと判断するステップを
備えることにより、外接矩形内のエッジ強度を測定し、
エッジ強度が強い画素数が少ししか存在しない場合に
は、文字でないと判断することができるので、特に、外
接矩形内のエッジ強度の強い画素数が少数しか存在しな
い場合に文字でないと判定して統合された外接矩形から
文字らしいもののみをより高精度に判定することが可能
となる。本発明の請求項１０の画像処理方法によれば、
上記第７ステップが、外接矩形内の画像を２値化するス
テップと、上記２値化された画像の連結成分を求めるス
テップと、上記連結成分の外接矩形を求めるステップ
と、上記求められた外接矩形のうちで文字らしい形状の
矩形数が少ない場合には、文字でないと判断するステッ
プとを備えることにより、２値化された外接矩形内の画
像の連結成分を求めて、連結成分の外接矩形を求め、そ
の外接矩形のうちで文字らしい形状の矩形数が少ない場
合には、文字でないと判断することができるので、特
に、２値化された画像の連結成分の外接矩形中で、文字
らしい形状の矩形数が少ない場合に文字でないと判断し
て、統合された外接矩形から文字らしいもののみをより
高精度に判定することが可能となる。

【００６１】本発明の請求項１１のる画像処理装置によ
れば、文字および文字以外の画像を含む処理対象となる
画像から多値画像を取得する手段と、上記多値画像から
圧縮画像を生成する手段と、上記圧縮画像から同色とみ
なせる画素をランとして抽出する手段と、上記ランを統
合して連結成分を生成する手段と、上記連結成分のうち
不要なものを排除する手段と、上記連結成分の外接矩形
を統合する手段と、上記統合された外接矩形から文字ら
しいものを判定する手段と、上記文字らしい情報から文
字領域を出力する手段とを備えることにより、文字およ
び文字以外の画像を含む処理対象となる画像から多値画
像を取得し、その多値画像から圧縮画像を生成し、圧縮
画像から同色とみなせる画素をランとして抽出するとと
もに、ランを統合して連結成分を生成し、連結成分のう
ち不要なものを排除して、連結成分の外接矩形を統合し
た後、外接矩形から文字らしいものを判定して、文字ら
しい情報から文字領域を出力することができるので、特
に、直接カラー画像の画素情報を用いることにより、カ
ラー文書から正確に文字領域の抽出を可能とし、高い認
識精度を得ることが可能となる。

【００６２】本発明の請求項１２の画像処理装置によれ
ば、上記圧縮画像を生成する手段が、圧縮するブロック
サイズを決定する手段と、ブロック内の全画素の明度値
を求める手段と、背景に対して暗い文字を抽出する場合
は最も明度の低い画素値を選択する手段と、背景に対し
て明るい文字を抽出する場合は最も明度の高い画素値を
選択する手段と、上記選択された画素値を圧縮画像の画
素値として使用する手段とを備えることにより、圧縮す
るブロックサイズを決定し、ブロック内の全画素の明度
値を求めることにより、背景に対して暗い文字を抽出す
る場合は最も明度の低い画素値を選択し、背景に対して
明るい文字を抽出する場合は最も明度の高い画素値を選
択し、その選択された画素値を圧縮画像の画素値として
使用することができるので、特に、背景が暗くても、あ
るいは明るくても画素値を圧縮画像の画素として使用す
ることが可能となる。本発明の請求項１３の画像処理装
置によれば、上記同色とみなせる画素をランとして抽出
する手段が、各画素をランデータとして登録する手段
と、隣接するランを選択する手段と、隣接するランの色
差を求める手段と、上記色差が小さい場合は上記ランを
統合する手段と、１ラインのラン統合を繰り返す手段と
を備えることにより、各画素をランデータとして登録
後、隣接するランを選択し、その隣接するランの色差を
求めて、色差が小さい場合はランを統合して１ラインの
ラン統合を繰り返すことができるので、特に、同色とみ
なせる画素をランとして抽出して、１ラインのラン統合
を確実に行うことが可能となる。

【００６３】本発明の請求項１４の画像処理装置によれ
ば、上記連結成分を生成する手段が、上記ランデータを
連結成分データとして登録する手段と、互いに接触する
２つの連結成分を抽出する手段と、色差があらかじめ定
めた値より小さい場合には、連結成分を統合する手段
と、上記連結成分の統合を繰り返す手段とを備えるこに
より、ランデータを連結成分データとして登録後、互い
に接触する２つの連結成分を抽出し、その連結成分の色
差があらかじめ定めた値より小さい場合には、連結成分
を統合し、連結成分の統合を繰り返すことができるの
で、特に、互いに接触する２つの連結成分を正確に生成
することが可能となる。本発明の請求項１５の画像処理
装置によれば、上記連結成分のうち不要なものを排除す
る手段が、上記連結成分の大きさが予め定めた値より小
さい場合に連結成分データから削除する手段と、連結成
分の明度と周囲の画素の明度とを比較する手段と、上記
比較の結果を用いて不要な連結成分データを削除する手
段とを備えることにより、連結成分の大きさが予め定め
た値より小さい場合に連結成分データから不要成分を削
除し、連結成分の明度と周囲の画素の明度とを比較し、
その比較の結果を用いて不要な連結成分データを削除す
ることができるので、特に、連結成分の不要な部分を除
去でき、より正確に連結成分を生成することが可能とな
る。

【００６４】本発明の請求項１６の画像処理装置によれ
ば、上記連結成分の外接矩形を統合する手段が、各連結
矩形の外接矩形を求める手段と、上記外接矩形を２つ選
択する手段と、上記選択された外接矩形の高さ方向の座
標値の差異を求める手段と、上記外接矩形の高さから幅
方向の距離限界値を求める手段と、外接矩形間の幅方向
の座標値の差異と上記距離限界値とを比較する手段と、
上記外接矩形間の色差を算出する手段と、上記高さ方向
の座標値の差異、幅方向の座標値の差異、上記距離限界
値、上記色差を用いて上記外接矩形の統合の可否を決定
する手段と、上記外接矩形の統合を決定する場合には、
双方の外接矩形に外接する矩形を新たな外接矩形として
一つに登録し直す手段とを備えることにより、各連結矩
形の外接矩形を求めて外接矩形を２つ選択し、選択され
た外接矩形の高さ方向の座標値の差異を求め、外接矩形
の高さから幅方向の距離限界値を求め、外接矩形間の幅
方向の座標値の差異と距離限界値とを比較し、外接矩形
間の色差を算出し、高さ方向の座標値の差異、幅方向の
座標値の差異、距離限界値、色差を用いて外接矩形の統
合の可否を決定し、外接矩形の統合を決定する場合に
は、双方の外接矩形に外接する矩形を新たな外接矩形と
して一つに登録し直すことができるので、特に、連結成
分の外接矩形を確実に統合することが可能となる。

【００６５】本発明の請求項１７の画像処理装置によれ
ば、上記統合された外接矩形から文字らしいものを判定
する手段が、外接矩形の高さが所定範囲外の場合は文字
でないと判断する手段を備えることにより、外接矩形の
高さが所定範囲外の場合は文字でないと判断することが
できるので、特に、統合された外接矩形の高さが所定範
囲外の場合には、統合された外接矩形から文字らしいも
のを判定せず、必要とする文字らしい文字の判定精度を
向上することが可能となる。本発明の請求項１８の画像
処理装置によれば、上記統合された外接矩形から文字ら
しいものを判定する手段が、外接矩形の色情報と、周囲
の画素の色情報とを比較し、抽出対象の文字色との整合
が採れない場合には文字でないと判断する手段を備える
ことにより、外接矩形の色情報と、周囲の画素の色情報
とを比較し、抽出対象の文字色との整合が採れない場合
には文字でないと判断することができるので、特に、抽
出対象の文字色の整合が取れない場合には、文字でない
と判定して統合された外接矩形から文字らしいもののみ
をより高精度に判定することが可能となる。

【００６６】本発明の請求項１９のる画像処理装置によ
れば、上記統合された外接矩形から文字らしいものを判
定する手段が、外接矩形内のエッジ強度を測定する手段
と、エッジ強度の強い画素数が少数しか存在しない場合
に文字でないと判断する手段とを備えることにより、外
接矩形内のエッジ強度を測定し、エッジ強度の強い画素
数が少数しか存在しない場合に文字でないと判断するこ
とができるので、特に、外接矩形内のエッジ強度の強い
画素数が少数しか存在しない場合に文字でないと判定し
て統合された外接矩形から文字らしいもののみをより高
精度に判定することが可能となる。本発明の請求項２０
による画像処理装置は、上記統合された外接矩形から文
字らしいものを判定する手段は、上記矩形内の画像を２
値化する手段と、上記２値化された画像の連結成分を求
める手段と、上記連結成分の外接矩形を求める手段と、
求めた外接矩形のうちで文字らしい形状の矩形数が少な
い場合には文字でないと判断する手段とを備えることに
より、矩形内の画像を２値化し、その２値化された画像
の連結成分を求め、その求めた連結成分の外接矩形を求
め、その外接矩形のうちで文字らしい形状の矩形数が少
ない場合には文字でないと判断することができるので、
特に、２値化された画像の連結成分の外接矩形中で、文
字らしい形状の矩形数が少ない場合に文字でないと判断
して、統合された外接矩形から文字らしいもののみをよ
り高精度に判定することが可能となる。

【００６７】本発明の請求項２１の画像処理方法を実現
するプログラムを記録したコンピュータ読み取り可能な
記録媒体によれば、文字および文字以外の画像を含む処
理対象となる画像から多値画像を取得する第１ステップ
と、上記多値画像から圧縮画像を生成する第２ステップ
と、上記圧縮画像から同色とみなせる画素をランとして
抽出する第３ステップと、上記ランを統合して連結成分
を生成する第４ステップと、上記連結成分のうち不要な
ものを排除する第５ステップと、上記連結成分の外接矩
形を統合する第６ステップと、上記統合された外接矩形
から文字らしいものを判定する第７ステップと、上記文
字らしい情報から文字領域を出力する第８ステップとを
備えることにより、文字および文字以外の画像を含む処
理対象となる画像から多値画像を取得した多値画像から
圧縮画像を生成し、圧縮画像から同色とみなせる画素を
ランとして抽出し、ランを統合して連結成分を生成し、
その連結成分のうち不要なものを排除し、連結成分の外
接矩形を統合し、統合された外接矩形から文字らしいも
のを判定し、上記文字らしい情報から文字領域を出力す
ることができるので、特に、直接カラー画像の画素情報
を用いることにより、カラー文書から正確に文字領域の
抽出を可能とし、高い認識精度を得ることが可能とな
る。

【００６８】本発明の請求項２２の画像処理方法を実現
するプログラムを記録したコンピュータ読み取り可能な
記録媒体によれば、上記第２ステップが、圧縮するブロ
ックサイズを決定するステップと、ブロック内の全画素
の明度値を求めるステップと、背景に対して明るい文字
を抽出する場合は最も明度の低い画素値を選択するステ
ップと、上記背景に対して明るい文字を抽出する場合に
は、最も明度の高い画素値を選択するステップと、上記
選択された画素値を圧縮画素値として使用するステップ
とを備えることにより、圧縮するブロックサイズを決定
し、その決定されたブロック内の全画素の明度値を求
め、背景に対して明るい文字を抽出する場合は最も明度
の低い画素値を選択し、背景に対して明るい文字を抽出
する場合には、最も明度の高い画素値を選択し、選択さ
れた画素値を圧縮画素値として使用することができるの
で、特に、背景が暗くても、あるいは明るくても画素値
を圧縮画像の画素として使用することができる画像処理
方法を実現すること可能となる。

【００６９】本発明の請求項２３の画像処理方法を実現
するプログラムを記録したコンピュータ読み取り可能な
記録媒体によれば、上記第３ステップが、各画素をラン
データとして登録するステップと、隣接するランを選択
するステップと、上記隣接するランの色差を求めるステ
ップと、上記色差が小さい場合には上記ランを統合する
ステップと、１ラインのラン統合を繰り返すステップと
を備えることにより、各画素をランデータとして登録し
て、隣接するランを選択し、その隣接するランの色差を
求め、色差が小さい場合にはランを統合し、１ラインの
ラン統合を繰り返すことができるので、特に、同色とみ
なせる画素をランとして抽出して、１ラインのラン統合
を確実に行うことができる画像処理方法を実現すること
が可能となる。本発明の請求項２４の画像処理方法を実
現するプログラムを記録したコンピュータ読み取り可能
な記録媒体によれば、上記第４ステップが、上記ランデ
ータを連結成分データとして登録するステップと、互い
に接触する２つの連結成分を抽出するステップと、上記
２つの連結成分の色差を算出するステップと、上記色差
があらかじめ定めた値より小さい場合には、連結成分を
統合するステップと、連結成分の統合を繰り返すステッ
プとを備えることにより、ランデータを連結成分データ
として登録し、互いに接触する２つの連結成分を抽出
し、２つの連結成分の色差を算出してその算出した色差
があらかじめ定めた値より小さい場合には、連結成分を
統合するとともに、連結成分の統合を繰り返すことがで
きるので、特に、互いに接触する２つの連結成分を正確
に生成することが可能となる。

【００７０】本発明の請求項２５の画像処理方法を実現
するプログラムを記録したコンピュータ読み取り可能な
記録媒体によれば、上記第５ステップは、上記連結成分
の大きさがあらかじめ定めた値より小さい場合に連結成
分データから削除するステップと、上記連結成分の明度
と周囲の画素の明度とを比較するステップと、上記比較
の結果を用いて不要な連結成分データを削除するステッ
プとを備えることにより、連結成分の大きさがあらかじ
め定めた値より小さい場合に連結成分データから削除
し、連結成分の明度と周囲の画素の明度との比較の結果
を用いて不要な連結成分データを削除することができる
ので、特に、連結成分の不要な部分を除去でき、より正
確に連結成分を生成することが可能となる。本発明の請
求項２６の画像処理方法を実現するプログラムを記録し
たコンピュータ読み取り可能な記録媒体によれば、上記
第６ステップが、各連結矩形の外接矩形を求めるステッ
プと、上記外接矩形を２つ選択するステップと、上記選
択された外接矩形の高さ方向の座標値の差異を求めるス
テップと、上記外接矩形の高さから幅方向の距離限界値
を求めるステップと、上記外接矩形間の幅方向の座標値
の差異と上記距離限界値を比較するステップと、上記外
接矩形間の色差を算出するステップと、上記高さ方向の
座標値の差異、幅方向の座標値の差異、距離限界値、色
差を用いて上記外接矩形の統合の可否を決定するステッ
プと、上記外接矩形を統合する場合には双方の外接矩形
に外接矩形を新たな外接矩形として一つに登録し直すス
テップとを備えることにより、各連結矩形の外接矩形を
求めて外接矩形を２つ選択し、その選択された外接矩形
の高さ方向の座標値の差異を求め、外接矩形の高さから
幅方向の距離限界値を求め、外接矩形間の幅方向の座標
値の差異と距離限界値を比較し、外接矩形間の色差を算
出し、高さ方向の座標値の差異、幅方向の座標値の差
異、距離限界値、色差を用いて外接矩形の統合の可否を
決定するとともに、外接矩形を統合する場合には双方の
外接矩形に外接矩形を新たな外接矩形として一つに登録
し直すことができるので、特に、連結成分の不要な部分
を除去でき、より正確に連結成分を生成することが可能
となる。

【００７１】本発明の請求項２７の画像処理方法を実現
するプログラムを記録したコンピュータ読み取り可能な
記録媒体によれば、上記第７ステップが、上記外接矩形
の高さが所定範囲外の場合には、文字でないと判断する
ステップを備えることにより、外接矩形の高さが所定範
囲外の場合には、文字でないと判断することができるの
で、特に、統合された外接矩形の高さが所定範囲外の場
合には、統合された外接矩形から文字らしいものを判定
せず、必要とする文字らしい文字の判定精度を向上する
ことが可能となる。本発明の請求項２８の画像処理方法
を実現するプログラムを記録したコンピュータ読み取り
可能な記録媒体によれば、上記第７ステップが、外接矩
形の色情報と周囲の画素の色情報を比較し、抽出対象の
文字色との整合がとれない場合には、文字でないと判断
するステップを備えるこにより、外接矩形の色情報と周
囲の画素の色情報を比較し、抽出対象の文字色との整合
がとれない場合には、文字でないと判断することができ
るので、特に、抽出対象の文字色の整合が取れない場合
には、文字でないと判定して統合された外接矩形から文
字らしいもののみをより高精度に判定することが可能と
なる。

【００７２】本発明の請求項２９のる画像処理方法を実
現するプログラムを記録したコンピュータ読み取り可能
な記録媒体によれば、上記第７ステップが、外接矩形内
のエッジ強度を測定するステップと、エッジ強度が強い
画素数が少ししか存在しない場合には、文字でないと判
断するステップを備えることにより、外接矩形内のエッ
ジ強度を測定し、エッジ強度が強い画素数が少ししか存
在しない場合には、文字でないと判断することができる
ので、特に、外接矩形内のエッジ強度が強い画素数が少
数しか存在しない場合に文字でないと判定して統合され
た外接矩形から文字らしいもののみをより高精度に判定
することが可能となる。本発明の請求項３０の画像処理
方法を実現するプログラムを記録したコンピュータ読み
取り可能な記録媒体によれば、上記第７ステップが、外
接矩形内の画像を２値化するステップと、上記２値化さ
れた画像の連結成分を求めるステップと、上記連結成分
の外接矩形を求めるステップと、上記求められた外接矩
形のうちで文字らしい形状の矩形数が少ない場合には、
文字でないと判断するステップとを備えることにより、
外接矩形内の画像を２値化して、その２値化された画像
の連結成分を求め、連結成分の外接矩形を求めるととも
に、求められた外接矩形のうちで文字らしい形状の矩形
数が少ない場合には、文字でないと判断することができ
るので、特に、２値化された画像の連結成分の外接矩形
中で、文字らしい形状の矩形数が少ない場合に文字でな
いと判断して、統合された外接矩形から文字らしいもの
のみをより高精度に判定することができる。

【図面の簡単な説明】

【図１】本発明による画像処理方法の第１実施の形態の
画像処理手順を示すフローチャートである。

【図２】本発明による画像処理装置の第１実施の形態の
構成を示すブロック図である。

【図３】図２の画像処理装置における圧縮画像生成手段
による圧縮画像生成処理手順を説明するためのフローチ
ャートである。

【図４】図２の画像処理装置におけるラン生成手段によ
るラン生成処理手順を説明するためのフローチャートで
ある。

【図５】図２の画像処理装置における連結成分生成手段
による連結成分生成処理手順を説明するためのフローチ
ャートである。

【図６】図２の画像処理装置における連結成分選別手段
による連結成分選別生成処理手順を説明するためのフロ
ーチャートである。

【図７】図２の画像処理装置における外接矩形統合手段
による外接矩形統合処理手順を説明するためのフローチ
ャートである。

【図８】図２の画像処理装置における文字判定手段によ
る文字判定処理手順を説明するためのフローチャートで
ある

【図９】本発明の画像処理方法による外接矩形内のエッ
ジ強度の判定方法に適用される空間フィルタを示す説明
図である。

【図１０】本発明の画像処理方法による外接矩形内のエ
ッジ強度の判定方法に適用される空間フィルタを示す説
明図である。

【図１１】本発明の画像処理方法を実現するプログラム
を記録したコンピュータ読み取り可能なことを特徴とす
る記録媒体に記録されているプログラムを読み出してプ
ログラムを実行する処理装置の構成を示すブロック図で
ある。

【符号の説明】

１０１ 処理対象画像入力手段 １０２ 圧縮画像生成手段 １０３ ラン生成手段 １０４ 連結成分生成手段 １０５ 連結成分選別手段 １０６ 外接矩形統合手段 １０７ 文字判定手段 １０８ 文字領域出力手段 ４０１ ＣＰＵ ４０２ メモリ ４０３ ハードディスク ４０４ 入力装置 ４０５ ＣＤ−ＲＯＭドライブ ４０６ ディスプレイ ４０７ ＣＤ−ＲＯＭ ４０８ データバス

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 １８０ Ｇ０６Ｔ 7/60 １８０Ａ ２００ ２００Ｄ Ｈ０４Ｎ 1/40 Ｈ０４Ｎ 1/40 Ｆ

Claims (30)

【特許請求の範囲】
1. 【請求項１】 文字および文字以外の画像を含む処理対
   象となる画像から多値画像を取得する第１ステップと、 上記多値画像から圧縮画像を生成する第２ステップと、 上記圧縮画像から同色とみなせる画素をランとして抽出
   する第３ステップと、 上記ランを統合して連結成分を生成する第４ステップ
   と、 上記連結成分のうち不要なものを排除する第５ステップ
   と、 上記連結成分の外接矩形を統合する第６ステップと、 上記統合された外接矩形から文字らしいものを判定する
   第７ステップと、 上記文字らしい情報から文字領域を出力する第８ステッ
   プと、を備えることを特徴とする画像処理方法。
2. 【請求項２】 上記第２ステップは、 圧縮するブロックサイズを決定するステップと、 ブロック内の全画素の明度値を求めるステップと、 背景に対して暗い文字を抽出する場合は最も明度の低い
   画素値を選択するステップと、 上記背景に対して明るい文字を抽出する場合には、最も
   明度の高い画素値を選択するステップと、 上記選択された画素値を圧縮画像の画素値として使用す
   るステップと、を備えることを特徴とする請求項１記載
   の画像処理方法。
3. 【請求項３】 上記第３ステップは、 各画素をランデータとして登録するステップと、 隣接するランを選択するステップと、 上記隣接するランの色差を求めるステップと、 上記色差が小さい場合には上記ランを統合するステップ
   と、 １ラインのラン統合を繰り返すステップと、を備えるこ
   とを特徴とする請求項１記載の画像処理方法。
4. 【請求項４】 上記第４ステップは、 上記ランデータを連結成分データとして登録するステッ
   プと、 互いに接触する２つの連結成分を抽出するステップと、 上記２つの連結成分の色差を算出するステップと、 上記色差があらかじめ定めた値より小さい場合には、連
   結成分を統合するステップと、 連結成分の統合を繰り返すステップと、を備えることを
   特徴とする請求項１記載の画像処理方法。
5. 【請求項５】 上記第５ステップは、 上記連結成分の大きさがあらかじめ定めた値より小さい
   場合に連結成分データから不要な成分を削除するステッ
   プと、 上記連結成分の明度と周囲の画素の明度とを比較するス
   テップと、 上記比較の結果を用いて不要な連結成分データを削除す
   るステップと、を備えることを特徴とする請求項１記載
   の画像処理方法。
6. 【請求項６】 上記第６ステップは、 各連結矩形の外接矩形を求めるステップと、 上記外接矩形を２つ選択するステップと、 上記選択された外接矩形の高さ方向の座標値の差異を求
   めるステップと、 上記外接矩形の高さから幅方向の距離限界値を求めるス
   テップと、 上記外接矩形間の幅方向の座標値の差異と上記距離限界
   値を比較するステップと、 上記外接矩形間の色差を算出するステップと、 上記高さ方向の座標値の差異、幅方向の座標値の差異、
   距離限界値、色差を用いて上記外接矩形の統合の可否を
   決定するステップと、 上記外接矩形を統合する場合には双方の外接矩形に外接
   する矩形を新たな外接矩形として一つに登録し直すステ
   ップと、を備えることを特徴とする請求項１記載の画像
   処理方法。
7. 【請求項７】 上記上記第７ステップは、 上記外接矩形の高さが所定範囲外の場合には、文字でな
   いと判断するステップを備えることを特徴とする請求項
   １記載の画像処理方法。
8. 【請求項８】 上記第７ステップは、 外接矩形の色情報と周囲の画素の色情報を比較し、抽出
   対象の文字色との整合がとれない場合には、文字でない
   と判断するステップを備えることを特徴とする請求項１
   記載の画像処理方法。
9. 【請求項９】 上記第７ステップは、 外接矩形内のエッジ強度を測定するステップと、 エッジ強度が強い画素数が少ししか存在しない場合に
   は、文字でないと判断するステップを備えることを特徴
   とする請求項１記載の画像処理方法。
10. 【請求項１０】 上記第７ステップは、 外接矩形内の画像を２値化するステップと、 上記２値化された画像の連結成分を求めるステップと、 上記連結成分の外接矩形を求めるステップと、 上記求められた外接矩形のうちで文字らしい形状の矩形
    数が少ない場合には、文字でないと判断するステップ
    と、を備えることを特徴とする請求項１記載の画像処理
    方法。
11. 【請求項１１】 文字および文字以外の画像を含む処理
    対象となる画像から多値画像を取得する手段と、 上記多値画像から圧縮画像を生成する手段と、 上記圧縮画像から同色とみなせる画素をランとして抽出
    する手段と、 上記ランを統合して連結成分を生成する手段と、 上記連結成分のうち不要なものを排除する手段と、 上記連結成分の外接矩形を統合する手段と、 上記統合された外接矩形から文字らしいものを判定する
    手段と、 上記文字らしい情報から文字領域を出力する手段と、を
    備えることを特徴とする画像処理装置。
12. 【請求項１２】 上記圧縮画像を生成する手段が、圧縮
    するブロックサイズを決定する手段と、 ブロック内の全画素の明度値を求める手段と、 背景に対して暗い文字を抽出する場合は最も明度の低い
    画素値を選択する手段と、 背景に対して明るい文字を抽出する場合は最も明度の高
    い画素値を選択する手段と、 上記選択された画素値を圧縮画像の画素値として使用す
    る手段と、を備えることを特徴とする請求項１１記載の
    画像処理装置。
13. 【請求項１３】 上記同色とみなせる画素をランとして
    抽出する手段は、 各画素をランデータとして登録する手段と、 隣接するランを選択する手段と、 隣接するランの色差を求める手段と、 上記色差が小さい場合は上記ランを統合する手段と、 １ラインのラン統合を繰り返す手段と、を備えることを
    特徴とする請求項１１記載の画像処理装置。
14. 【請求項１４】 上記連結成分を生成する手段は、 上記ランデータを連結成分データとして登録する手段
    と、 互いに接触する２つの連結成分を抽出する手段と、 色差があらかじめ定めた値より小さい場合には、連結成
    分を統合する手段と、 上記連結成分の統合を繰り返す手段と、を備えることを
    特徴とする請求項１１記載の画像処理装置。
15. 【請求項１５】 上記連結成分のうち不要なものを排除
    する手段は、 上記連結成分の大きさが予め定めた値より小さい場合に
    連結成分データから削除する手段と、 連結成分の明度と周囲の画素の明度とを比較する手段
    と、 上記比較の結果を用いて不要な連結成分データを削除す
    る手段と、を備えることを特徴とする請求項１１記載の
    画像処理装置。
16. 【請求項１６】 上記連結成分の外接矩形を統合する手
    段は、 各連結矩形の外接矩形を求める手段と、 上記外接矩形を２つ選択する手段と、 上記選択された外接矩形の高さ方向の座標値の差異を求
    める手段と、 上記外接矩形の高さから幅方向の距離限界値を求める手
    段と、 外接矩形間の幅方向の座標値の差異と上記距離限界値と
    を比較する手段と、上記外接矩形間の色差を算出する手
    段と、 上記高さ方向の座標値の差異、幅方向の座標値の差異、
    上記距離限界値、上記色差を用いて上記外接矩形の統合
    の可否を決定する手段と、 上記外接矩形の統合を決定する場合には、双方の外接矩
    形に外接する矩形を新たな外接矩形として一つに登録し
    直す手段と、を備えることを特徴とする請求項１１記載
    の画像処理装置。
17. 【請求項１７】 上記統合された外接矩形から文字らし
    いものを判定する手段は、外接矩形の高さが所定範囲外
    の場合は文字でないと判断する手段を備えることを特徴
    とする請求項１１記載の画像処理装置。
18. 【請求項１８】 上記統合された外接矩形から文字らし
    いものを判定する手段は、外接矩形の色情報と、周囲の
    画素の色情報とを比較し、抽出対象の文字色との整合が
    とれない場合には文字でないと判断する手段を備えるこ
    とを特徴とする請求項１１記載の画像処理装置。
19. 【請求項１９】 上記統合された外接矩形から文字らし
    いものを判定する手段は、外接矩形内のエッジ強度を測
    定する手段と、 エッジ強度の強い画素数が少数しか存在しない場合に文
    字でないと判断する手段を、を備えることを特徴とする
    請求項１１記載の画像処理装置。
20. 【請求項２０】 上記統合されたが外接矩形から文字ら
    しいものを判定する手段は、上記矩形内の画像を２値化
    する手段と、 上記２値化された画像の連結成分を求める手段と、 上記連結成分の外接矩形を求める手段と、 求めた外接矩形のうちで文字らしい形状の矩形数が少な
    い場合には文字でないと判断する手段と、を備えること
    を特徴とする請求項１１記載の画像処理装置。
21. 【請求項２１】 文字および文字以外の画像を含む処理
    対象となる画像から多値画像を取得する第１ステップ
    と、 上記多値画像から圧縮画像を生成する第２ステップと、 上記圧縮画像から同色とみなせる画素をランとして抽出
    する第３ステップと、 上記ランを統合して連結成分を生成する第４ステップ
    と、 上記連結成分のうち不要なものを排除する第５ステップ
    と、 上記連結成分の外接矩形を統合する第６ステップと、 上記統合された外接矩形から文字らしいものを判定する
    第７ステップと、 上記文字らしい情報から文字領域を出力する第８ステッ
    プと、を備える画像処理方法を実現するプログラムを記
    録したコンピュータ読み取り可能な記録媒体。
22. 【請求項２２】 上記第２ステップは、 圧縮するブロックサイズを決定するステップと、 ブロック内の全画素の明度値を求めるステップと、 背景に対して暗い文字を抽出する場合は最も明度の低い
    画素値を選択するステップと、 上記背景に対して明るい文字を抽出する場合には、最も
    明度の高い画素値を選択するステップと、 上記選択された画素値を圧縮画素値として使用するステ
    ップと、を備える画像処理方法を実現するプログラムを
    記録したコンピュータ読取可能な請求項２１記載の記録
    媒体。
23. 【請求項２３】 上記第３ステップは、 各画素をランデータとして登録するステップと、 隣接するランを選択するステップと、 上記隣接するランの色差を求めるステップと、 上記色差が小さい場合には上記ランを統合するステップ
    と、 １ラインのラン統合を繰り返すステップと、を備える画
    像処理方法を実現するプログラムを記録したコンピュー
    タ読取可能な請求項２１記載の記録媒体。
24. 【請求項２４】 上記第４ステップは、 上記ランデータを連結成分データとして登録するステッ
    プと、 互いに接触する２つの連結成分を抽出するステップと、 上記２つの連結成分の色差を算出するステップと、 上記色差があらかじめ定めた値より小さい場合には、連
    結成分を統合するステップと、 連結成分の統合を繰り返すステップと、を備える画像処
    理方法を実現するプログラムを記録したコンピュータ読
    取可能な請求項２１記載の記録媒体。
25. 【請求項２５】 上記第５ステップは、 上記連結成分の大きさがあらかじめ定めた値より小さい
    場合に連結成分データから削除するステップと、 上記連結成分の明度と周囲の画素の明度とを比較するス
    テップと、 上記比較の結果を用いて不要な連結成分データを削除す
    るステップと、を備える画像処理方法を実現するプログ
    ラムを記録したこコンピュータ読取可能な請求項２１記
    載の記録媒体。
26. 【請求項２６】 上記第６ステップは、 各連結矩形の外接矩形を求めるステップと、 上記外接矩形を２つ選択するステップと、 上記選択された外接矩形の高さ方向の座標値の差異を求
    めるステップと、 上記外接矩形の高さから幅方向の距離限界値を求めるス
    テップと、 上記外接矩形間の幅方向の座標値の差異と上記距離限界
    値を比較するステップと、 上記外接矩形間の色差を算出するステップと、 上記高さ方向の座標値の差異、幅方向の座標値の差異、
    距離限界値、色差を用いて上記外接矩形の統合の可否を
    決定するステップと、 上記外接矩形を統合する場合には双方の外接矩形に外接
    する矩形を新たな外接矩形として一つに登録し直すステ
    ップと、を備える画像処理方法を実現するプログラムを
    記録したコンピュータ読取可能な請求項２１記載の記録
    媒体。
27. 【請求項２７】 上記第７ステップは、 上記外接矩形の高さが所定範囲外の場合には、文字でな
    いと判断するステップを備える画像処理方法を実現する
    プログラムを記録したコンピュータ読取可能な請求項２
    １記載の記録媒体。
28. 【請求項２８】 上記第７ステップは、 外接矩形の色情報と周囲の画素の色情報を比較し、抽出
    対象の文字色との整合がとれない場合には、文字でない
    と判断するステップを備える画像処理方法を実現するプ
    ログラムを記録したコンピュータ読取可能な請求項２１
    記載の記録媒体。
29. 【請求項２９】 上記第７ステップは、 外接矩形内のエッジ強度を測定するステップと、 エッジ強度が強い画素数が少ししか存在しない場合に
    は、文字でないと判断するステップを備える画像処理方
    法を実現するプログラムを記録したコンピュータ読取可
    能な請求項２１記載の記録媒体。
30. 【請求項３０】 上記第７ステップは、 外接矩形内の画像を２値化するステップと、 上記２値化された画像の連結成分を求めるステップと、 上記連結成分の外接矩形を求めるステップと、 上記求められた外接矩形のうちで文字らしい形状の矩形
    数が少ない場合には、文字でないと判断するステップ
    と、を備える画像処理方法を実現するプログラムを記録
    したコンピュータ読取可能な請求項２１記載の記録媒
    体。