JP2008011268A - 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 - Google Patents

Abstract

【課題】画像の補正処理をより高精度に行ない、画質の向上を図ること。
【解決手段】 処理の対象となる処理対象画素を含む画像に補正処理を施す画像処理装置である。この画像処理装置は、処理対象画素を含む予め定められた大きさの画像領域を抽出する。そして画像領域内に含まれる画素の信号値から、画像領域に関する変動量を算出する。又、画像領域内に含まれる画素の信号値から、画像領域における変動回数を算出する。更に、変動回数及び変動量と、補正強度との対応関係を設定する設定手段を用いて、変動回数及び変動量から補正強度Ｆｚ１、Ｆｚ２、Ｆｅを求め、処理対象画素の信号値に対して、求めた補正強度で補正処理を加える。なお、設定手段は、異なる変動回数又は変動量に対し、補正強度Ｆｚ１、Ｆｚ２、Ｆｅが漸次変化するように対応関係を設定する。
【選択図】 図１３

Description

本発明は、画像に補正処理を施す画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体に関する。

従来から、画像に補正処理を加える画像処理装置が知られている。例えば、読み取った画像を文字と網点の２領域に分離し、文字領域に対してはエッジ強調処理を施し、網点領域に対しては平滑化処理を施すことでシャープ感の向上とモアレの低減とを両立する技術がある（特許文献１参照）。
特開２００２−０７７６２３号公報

しかしながら、一般的に画像に加えるべき補正処理は、その画像の属性に依存するため、画像の属性を誤判断してしまうと、適正な補正処理を加えることができなくなる。例えば、文字に対して平滑化処理を施したり、網点に対してエッジ強調を施したりすると、逆に画像を劣化してしまう。また、例えば、文字の一部を文字領域と判定し、文字の他部を網点領域と判定してしまうと、１つの文字の中にエッジ強調と平滑化の処理の切り換えが発生し、著しく画像を劣化していた。特に、従来は、画像の属性に応じて、エッジ強調等の補正処理のＯＮ・ＯＦＦを切り替えており、遷移状態が存在しなかった。そのため、処理の切り替え部分で画像の劣化があった。

本発明は、上記従来技術の課題を解決するためになされたものであり、画像の補正処理をより高精度に行ない、画質の向上を図ることを目的とする。

上記目的を達成するため、本発明に係る装置は、
処理の対象となる処理対象画素を含む画像に補正処理を施す画像処理装置であって、
前記処理対象画素を含む予め定められた大きさの画像領域を抽出する抽出手段と、
前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動量を算出する変動量算出手段と、
前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動回数を算出する変動回数算出手段と、
前記変動回数及び前記変動量と、補正強度との対応関係を設定する設定手段と、
前記設定手段を用いて前記変動回数及び前記変動量から前記補正強度を求め、前記処理対象画素の信号値に対して、求めた前記補正強度で補正処理を加える補正手段と、
を有し、
前記設定手段は、異なる前記変動回数又は前記変動量に対し、補正強度が漸次変化するように前記対応関係を設定することを特徴とする。

上記目的を達成するため、本発明に係る方法は、
処理の対象となる処理対象画素を含む画像に補正処理を施す画像処理方法であって、
前記処理対象画素を含む予め定められた大きさの画像領域を抽出する抽出ステップと、
前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動量を算出する変動量算出ステップと、
前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動回数を算出する変動回数算出ステップと、
前記変動回数及び前記変動量と、補正強度との対応関係を設定する設定手段を用いて、前記変動回数及び前記変動量から前記補正強度を求め、前記処理対象画素の信号値に対して、求めた前記補正強度で補正処理を加える補正ステップと、
を有し、
前記設定手段は、異なる前記変動回数又は前記変動量に対し、補正強度が漸次変化するように前記対応関係を設定することを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
処理の対象となる処理対象画素を含む画像に補正処理を施す画像処理プログラムであって、
画像処理装置が、該画像処理プログラムを実行することにより、
前記処理対象画素を含む予め定められた大きさの画像領域を抽出する抽出ステップと、
前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動量を算出する変動量算出ステップと、
前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動回数を算出する変動回数算出ステップと、
前記変動回数及び前記変動量と、補正強度との対応関係を設定する設定手段を用いて、前記変動回数及び前記変動量から前記補正強度を求め、前記処理対象画素の信号値に対して、求めた前記補正強度で補正処理を加える補正ステップと、
が実現され、
前記設定手段は、異なる前記変動回数又は前記変動量に対し、補正強度が漸次変化するように前記対応関係を設定することを特徴とする。

上記目的を達成するため、本発明に係る記憶媒体は、上記画像処理プログラムをコンピュータが読取可能に記憶したことを特徴とする。

本発明によれば、変動量と変動回数により補正強度を変えることができるため、画像補正処理により発生し得る弊害を低減でき、画像の補正処理をより高精度に行ない、画質の向上を図ることができる。

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
＜ＭＦＰの構成＞
図１は、本発明の実施の形態に係るマルチファンクションプリンタ（以下、ＭＦＰ）１の概観斜視図である。図１（ａ）は、ＭＦＰ１のＡＤＦ（オートドキュメントフィーダ）３１部分を閉じた状態であり、図１（ｂ）は、開いた状態である。

このＭＦＰ１は、基本的に、ホストコンピュータ（ＰＣ）からデータを受信してプリントするプリンタとしての機能及びスキャナとしての機能を有する。さらにＭＦＰ単体で動作する機能として、スキャナで読取った画像をプリンタで印刷するコピー機能、メモリカードなどの記憶媒体から画像データを読取って印刷する機能、或いはデジタルカメラからの画像データを受信して印刷する機能を備えている。

図１において、ＭＦＰ１はフラットベットスキャナなどのスキャニングユニット１４、インクジェット式や電子写真式などによるプリントユニット１３を備えている。また、表示パネル等のディスプレイユニット１９や各種キースイッチ等を備えるオペレーションユニット１５を備えている。更に、ＭＦＰ１の背面にはＰＣと通信するためのＵＳＢポート（不図示）が設けられ、ＰＣとの通信が行われる。各種メモリカードからデータを読み出すためのカードスロットを含むカードインタフェイス２２やデジタルカメラとデータ通信を行うためのカメラポートを含むカメラインタフェイス２３が設けられている。ＭＦＰ１は、他にも、自動で原稿を原稿台にセットするためのＡＤＦ３１などを備えている。

図２は、ＭＦＰ１の内部構成を示すブロック図である。図２において、ＣＰＵ１１は、ＭＦＰ１が備える様々な機能を制御し、オペレーションユニット１５の所定の操作に従い、ＲＯＭ１６に記憶された画像処理のプログラムを実行する。プログラムを実行することにより、ＣＰＵ１１が処理対象画素を選択したり、処理対象画素を含む予め定められた大きさの画像領域を抽出したりできる。また、ＣＰＵ１１は、画像領域内に含まれる画素の信号値から、画像領域に関する変動量や変動回数や変動加速度を算出することもできる。ＲＯＭ１６には、画像処理に用いられる様々なテーブルや数式が格納されており、変動量や変動回数や変動加速度と様々な補正強度との対応関係を設定する設定手段として機能する。ＣＣＤを備えるスキャニングユニット１４は、原稿画像を読取り、赤（Ｒ）、緑（Ｇ）および青（Ｂ）色のアナログ輝度データを出力する。なお、スキャニングユニット１４は、ＣＣＤの代わりに密着型イメージセンサ(ＣＩＳ)を備えてもよい。また、ＡＤＦ３１を備えれば、連続でオーダーシートを読取ることができ更に簡便である。

また、カードインターフェイス２２は、例えばディジタルスチルカメラ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒｅ 以下ＤＳＣ）で撮影され、メモリカードなどに記録された画像データを、オペレーションユニット１５に対する操作に従い読み込む。なお、カードインターフェイス２２を介して読み込まれた画像データの色空間は、必要ならば、画像処理部１２により、ＤＳＣの色空間（例えばＹＣｂＣｒ）から標準的なＲＧＢ色空間（例えばＮＴＳＣ−ＲＧＢやｓＲＧＢ）に変換される。また、そのヘッダ情報に基づき、読み込まれた画像データは、有効な画素数への解像度変換など、アプリケーションに必要な様々な処理が必要に応じて施される。また、カメラインターフェイス２３は、ＤＳＣに直接接続して画像データを読み込むためのものである。

画像処理部１２においては、読取り信号値の変換、画像の補正・加工処理、輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換、スケーリング、ガンマ変換、誤差拡散等の画像処理等の画像処理が行われる。画像処理部１２が行なう補正処理としては、エッジ強調処理、平滑化処理、置換処理、及び無彩色化処理などが含まれ、補正手段として機能する。画像処理部１２での画像処理によって得られるデータは、ＲＡＭ１７に格納される。ＲＡＭ１７に格納された補正データが所定量に達すると、プリントユニット１３による記録動作が実行される。

不揮発性ＲＡＭ１８としては、バッテリバックアップされたＳＲＡＭなどを用いることができ、ＭＦＰ１に固有のデータなどを記憶する。オペレーションユニット１５は、記憶媒体に記憶された画像データを選択し、記録をスタートするためのフォトダイレクトプリントスタートキーを備え、オーダーシートをプリントさせるキー、オーダーシートを読み込ますキー等を備える。また、モノクロコピー時やカラーコピー時におけるコピースタートキー、コピー解像度や画質などのモードを指定するモードキー、コピー動作などを停止するためのストップキー、並びに、コピー数を入力するテンキーや登録キーなどを備えてもよい。ＣＰＵ１１は、これらキーの押下状態を検出し、その状態に応じて各部を制御する。

ディスプレイユニット１９は、ドットマトリクスタイプの液晶表示部（ＬＣＤ）およびＬＣＤドライバを備え、ＣＰＵ１１の制御に基づき各種表示を行う。また、記憶媒体に記録されていた画像データのサムネイルを表示する。プリントユニット１３は、インクジェット方式のインクジェットヘッド、汎用ＩＣなどによって構成され、ＣＰＵ１１の制御により、ＲＡＭ１７に格納されている記録データを読み出し、ハードコピーとしてプリント出力する。

ドライブユニット２１は、スキャニングユニット１４およびプリントユニット１３を動作させるため、給排紙ローラを駆動するステッピングモータ、ステッピングモータの駆動力を伝達するギヤ、および、ステッピングモータを制御するドライバ回路などを含む。

センサユニット２０は、記録紙幅センサ、記録紙有無センサ、原稿幅センサ、原稿有無センサおよび記録媒体検知センサなどを含む。ＣＰＵ１１は、このセンサユニット２０から得られる情報に基づき、原稿および記録紙の状態を検知する。

ＰＣインターフェイス２４はＰＣとのインターフェイスであり、ＭＦＰ１はＰＣインターフェイス２４を介してＰＣからのプリント、スキャンなどの動作を行う。コピー動作時は、スキャニングユニット１４で読取った画像データをＭＦＰ内部でデータ処理し、プリントユニット１３で印刷する。

オペレーションユニット１５により、コピー動作が指示されると、スキャニングユニット１４は原稿台に置かれた原稿を読取る。読取られたデータは画像処理部１２に送られ、画像処理が施された後、プリントユニット１３に送られ印刷が行われる。

＜画像処理＞
図３はコピー時に実行される画像処理のフローチャートである。以下、各ステップについて説明を記述する。スキャニングユニット１４で読取られ、ＡＤ変換された画像データに対し、撮像素子のばらつきを補正するために、ＳＴＥＰ３０１において、シェーディング補正が施される。

その後、ＳＴＥＰ３０２で、入力デバイス変換が行われる。これによりデバイス固有であった信号データが標準的な色空間領域へと変換される。標準的な色空間領域としては、IEC（国際電気標準会議；International Electrotechnical Commission）により定められたsRGBがある。また、Adobe Systems社により提唱されているAdobeRGBでもよい。変換方法は、３ｘ３や３ｘ９のマトリクスによる演算方式や、変換規則を記載したテーブルに基づいて決定するルックアップテーブル方式などが挙げられる。

変換されたデータは、ＳＴＥＰ３０３において、補正・加工の処理が施される。処理内容としては、読取りによるボケを補正するエッジ強調処理や、文字の判読性を向上させる文字加工処理、光照射による読取りで発生した裏写りを除去する処理などが挙げられる。 ＳＴＥＰ３０４では、拡大縮小処理が実行され、ユーザにより変倍指定がされている場合や、２枚の原稿を一枚の紙に割り当てる割付けコピーなどで、所望の倍率に変換される。変換方法は、バイキュービックやニアレストネイバーなどの方法が一般的である。

ＳＴＥＰ３０５では、標準色な色空間上のデータを、出力デバイスに固有の信号データへと変換する。本実施の形態に係るＭＦＰは、インクジェット方式であり、シアン、マゼンタ、イエロー、ブラックなどのインク色データへの変換処理が実行される。この変換もＳＴＥＰ３０２と同様の方式を用いればよい。

さらに、ＳＴＥＰ３０６において、記録可能なレベル数への変換が行われる。例えば、インクドットを打つ／打たないの２値で表現する場合であれば、誤差拡散などの量子化方法において、２値化すればよい。これによりプリンタが記録可能なデータ形式となり、それに基づいて記録動作が実行され、画像が形成される。

＜処理単位＞
図４（ａ）は補正処理を実施する際の処理単位を説明する図である。図４（ａ）の○印の画素を注目画素（処理の対象となる画素）とすると、図４（ａ）の太線のように注目画素を含む７×７画素で構成される領域（７×７領域）を設定する。この設定した７×７領域内の画像信号を用いて注目画素に対する画像処理を実行する。注目画素の処理が実行された後は、例えば図４（ｂ）の×印の画素のように注目画素に隣接する画素を次の注目画素と設定し、同様に７×７領域を設定して画像処理を実行する。以降、同様に順次注目画素を１画素ずつ移動し、その都度７×７領域を設定することによって対象の画素全てを補正する。

次に処理単位が領域単位の場合を説明する。図４（ａ）の○印の画素に対して７×７領域を設定し、○印に対して設定する補正強度を７×７領域内の複数画素、例えば全画素に適用する。次の処理は図４（ｃ）の△印の画素に対して７×７領域を設定することで○印に対する７×７領域と△印に対する７×７領域とが隣接するように処理単位を移動する。 ただし、処理単位を画素単位とした方がより高い精度で補正強度を設定できる為、本実施の形態は、処理単位を画素単位として説明する。

図５は処理単位の移動フローを説明する図である。ＳＴＥＰ５０１は処理対象設定である。ＳＴＡＲＴ直後は、最初の処理対象を設定する。ＳＴＥＰ５０５からＳＴＥＰ５０１に戻った場合は、次の処理対象を設定する。

ＳＴＥＰ５０２は処理領域設定である。処理領域とは前記説明したように処理単位を含む複数画素（前記説明では７×７領域）で構成される領域である。
ＳＴＥＰ５０３は補正強度設定である。処理単位に対する補正強度を設定する。
ＳＴＥＰ５０４は補正実行である。ＳＴＥＰ５０３で設定した補正強度を使って処理単位を補正する。
ＳＴＥＰ５０５は最終補正対象判定である。処理単位が最後の処理単位であるか否かを判定する。最後の処理単位でなければ（ＮＯ）ＳＴＥＰ５０１に戻る。最後の処理単位であれば（ＹＥＳ）ＥＮＤとなる。

以下の実施の形態では処理領域を７×７領域として説明している。これはスキャニングユニット１４で使っているＣＣＤまたはＣＩＳの撮像素子１画素が読む原稿の画素範囲を６画素以内とするよう設計した為である。尚、６画素以内の設計と言っても、原稿台からの原稿の浮きや原稿の凹凸等によって、撮像素子に入射する原稿からの反射光は種々の影響を受ける。その為、実際には６画素を超える範囲を読み取る場合もある。以下の実施の形態において原稿を読み取った画像信号の説明図を複数示すが、これらの画像信号も必ずしも６画素以内の反射光とは限らない。

図６は撮像素子１画素に入る原稿からの反射光範囲を簡易的に示している。本実施の形態で使用した撮像素子は、図６（ａ）に示すように撮像素子１画素に対して、原稿の７画素範囲から６画素以内の反射光が入射するよう設計している（前述したように場合によっては６画素を超える場合もある）。つまり、原稿の１画素の反射光は撮像素子７画素に影響している。これが背景技術で述べたエッジのボケを発生し、シャープ感を損なっている。以下の実施の形態はボケを低減することを目的の１つとしている。例えば後述の第２実施形態は注目画素を置換候補画素で置換してエッジを強調する。よって、注目画素に対応する原稿画素の影響が少ない画素領域から置換候補を選択するとエッジ強調の効果は高い。そこで最低限、原稿画像の１画素の影響を受けている領域は処理領域として確保した。だから、７×７領域を処理領域と設定している。エッジ強調の効果をより高くする為、７×７を超える領域を参照領域とすることも有効である。また、図６（ｂ）に示すように撮像素子１画素に対して、原稿の３画素範囲から反射光が入射する設計とした場合は、処理領域を３×３領域のように小さく設定してもよい。このように参照領域は原稿画像１画素が影響する撮像素子の画素数や、スポット径、ボケ画素数、Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ（ＭＴＦ）等の撮像素子の性能に応じて適宜設定すればよい。

＜言葉の定義＞
以下に、本明細書中で用いられる言葉の定義について説明する。
変動量とは、処理対象画素を中心とする周辺画素群における、画素信号値の変動の大きさを表わす値である。本実施形態では、１画素の両側に隣接する２画素の輝度値の差分の絶対値（エッジ量）のうち、最大のものを変動量として説明するが、これに限定されるものではない。注目する画素の画像信号に関連する値の１次微分の絶対値等、変化の差分（大きさ）を表現する値、または注目する領域内の画像信号に関連する値の変化の差分（大きさ）を代表して表現する値であってもよい。

変動回数とは、処理対象画素を中心とする周辺画素群における、画素信号値の変動の頻度を表わす値である。本実施形態では、画像領域内の１画素の両側に隣接する２画素の輝度値の差分を−１、０、１で３値化し、３値化データの増減頻度（符号変化数（ゼロ交差点数））を変動回数として説明するが、これに限定されるものではない。画像領域内の画像信号に関連する値の１次微分の零交差点数や空間周波数、２値化後の黒白の変化数等、画像信号に関連する値の変化の頻度を表現する値であると定義する。

変動加速度とは、処理対象画素を中心とする周辺画素群における、画素信号値の変動の加速度を表わす値である。以下の実施の形態では画像領域内の輝度の差分からさらに差をとった値として説明するが、これに限定されるものではない。注目する領域内の画像信号に関連する値の２次微分等、変化の加速度を表現する値であればよい。

彩度とは、以下の実施の形態では注目する画素または領域における各色の画像信号差の内、最大絶対値として説明するが、これに限定されるものではない。度軸からの距離を表現する値であると定義する。

適応的に補正強度を設定するとは、定義した変動回数、変動量、変動加速度、彩度の夫々取り得る値領域の内、夫々少なくとも一部の値領域において、夫々の値毎に異なる補正強度を設定することであると定義する。

尚、画像信号の取り得る範囲を０〜２５５を例に説明するが、画像信号の範囲はこれに限るものではなく、ＭＦＰ、画像処理に適するよう設定すればよい。

以下、補正強度設定について説明する。尚、画像信号の取り得る範囲を０〜２５５を例に説明するが、画像信号の範囲はこれに限るものではなく、ＭＦＰ、画像処理に適するよう設定すればよい。

本実施形態は補正強度をエッジ強度とし、補正処理をエッジ強調フィルタ処理とする。後述するエッジ強調フィルタによるエッジ強調量を変動回数と変動量に基づいて適応的に設定するエッジ強度によって補正する。以下は、エッジ強度設定と設定したエッジ強度の適用の説明である。

図７は第１実施形態における補正強度設定のフローチャートを示しており、フローチャートのステップに沿って補正強度設定を説明する。

＜補正強度設定ＳＴＥＰ７０１：処理領域設定＞
ＲＧＢの多値の画像信号で構成される画像において、注目画素を中心とした横７画素、縦７画素で構成される７×７領域の処理領域を設定し、処理領域の各画素値から式（１）に従って輝度Ｌを算出し、Ｌの７×７領域の処理領域を生成する。
Ｌ ＝ （Ｒ＋２×Ｇ＋Ｂ）／４ ・・・式（１）
尚、本実施の形態は、式（１）で算出した輝度Ｌを用いているが、別の輝度を適用してもよい。例えば、均等色空間Ｌ*a*b*のＬ*を輝度としてもよく、ＹＣｂＣｒのＹを輝度としてもよい。図８（ａ１）は白背景中の黒縦線を横方向に読み取った際の輝度を示している。図８（ａ２）は白背景中の横方向に並んだ網点を横方向に読み取った際の輝度を示している。

＜補正強度設定ＳＴＥＰ７０２：４方向抽出＞
ＳＴＥＰ７０１で生成したＬの処理領域から図９に示すように横１方向、縦１方向、斜２方向の合計４方向の各７画素を抽出する。

＜補正強度設定ＳＴＥＰ７０３：Ｌ差分算出＞
ＳＴＥＰ７０２で抽出した４方向のＬから各方向５画素のＬの差分Ｇｒｄを図１０と式（２）に示すように算出する。ここで、画素Ｌ（ｉ）の前画素をＬ（ｉ−１）と後画素をＬ（ｉ＋１）とする。
Ｇｒｄ（ｉ） ＝ Ｌ（ｉ＋１）−Ｌ（ｉ−１） ・・・式（２）
尚、Ｌ差分の算出方法はこれに限らず、隣接同士の差分でもよく、前記説明した前後画素より更に離れた画素同士の差分でもよい。図８（ｂ１）と図８（ｂ２）は夫々図８（ａ１）と図８（ａ２）のＬに対して式（２）を適用して求めたＧｒｄを示している。

＜補正強度設定ＳＴＥＰ７０４：エッジ方向判定＞
ＳＴＥＰ７０３で算出した４方向のＧｒｄにおいて、注目画素の４方向のＧｒｄ絶対値を求める。４方向のＧｒｄ絶対値の内、最大のＧｒｄ絶対値である方向を注目画素のエッジ方向と判定する。

＜補正強度設定ＳＴＥＰ７０５：変動量算出＞
ＳＴＥＰ７０４で判定したエッジ方向にならぶ７つの画素から、ＳＴＥＰ７０３で５つのＧｒｄを算出できる。その５つのＧｒｄを比較し、その最大絶対値を注目画素の変動量（エッジ量）として算出する。変動量が大きい程強いエッジであり、変動量が弱い程平坦に近いことを示す。

＜補正強度設定ＳＴＥＰ７０６：変動回数算出＞
ＳＴＥＰ７０３で算出した４方向のＧｒｄから４方向合計の変動回数を算出する。図１１（ａ）に示すようにＧｒｄの符号が＋から−又は−から＋に変化する回数、図１１（ｂ）に示すようにＧｒｄの符号が＋から０そして次の画素で−又は−から０そして次の画素で＋に変化する回数を注目画素の変動回数（零交差点数）として算出する。

尚、第１実施形態では図１１（ｃ）に示すように複数画素の０を挟んで符号が変化する場合や図１１（ｄ）に示すように０にはなるが符号の変化がない場合には変動回数としてカウントしていない。複数画素の０を挟んだ場合や０にはなるが符合が変化しない場合は、太線の可能性があり、ＳＴＥＰ７０８とＳＴＥＰ１４０３で述べるように太線に対しては図１１（ａ）や図１１（ｂ）の細線とは別強度を設定できる利点があるからである。

また、図８に示すように文字は網点に比べて変動回数が少ない傾向であるが、原稿の濃度均一性やシェーディング精度によっては、図１２（ａ）に示すように文字の場合もＧｒｄに振幅の小さい変化が多くなる場合がある。この場合、変動回数が網点のように多くなり、後述の補正強度設定を実施すると網点に近いエッジ強度が設定されてしまう弊害が起こる。そこで、ＳＴＥＰ７０５で算出した変動量が設定した閾値を超えるような比較的大きい場合は、小さいＧｒｄを０に平滑化するとより精度の高いエッジ強度設定が可能である。具体的には、図１２（ｂ）に示すようにＳＴＥＰ−Ｓ７０５で算出した変動量を閾値（エッジ閾値）と比較し、変動量がエッジ閾値を超える場合は、平滑化閾値を設定する。平滑化閾値以下のＧｒｄ絶対値の場合は、図１２（ｃ）に示すようにＧｒｄを０として変動回数をカウントする。これによって、文字の変動回数を少なく抑えることができてエッジ強度設定の精度を高くできる。

＜補正強度設定ＳＴＥＰ７０７：変動回数に基づくエッジ強度設定１＞
ＳＴＥＰ７０６で算出した変動回数に応じて適応的にエッジ強度Ｆｚ１を設定する。図１３（ａ）はＳＴＥＰ７０７におけるＦｚ１設定を説明する図であり、横軸は変動回数、縦軸はＦｚ１を示している。文字の可能性が高い第１閾値より小さい変動回数の場合は、エッジを強調する為にＦｚ１を１に設定する。高線数でモアレ発生し易い網点の可能性が高い第２閾値より大きい変動回数の場合は、モアレを強調しない為にＦｚ１を０に設定する。第１閾値以上且つ第２閾値以下の変動回数の場合は、変動回数＝第１閾値のときＦｚ１＝１、変動回数＝第２閾値のときＦｚ１＝０となるべく、変動回数に応じてＦｚ１が漸次変化するように適応的に設定する。これにより、エッジ強調部分とそうでない部分との境界において処理の切り換えが目立ち難くなる。Ｆｚ１の設定は、具体的には図１３（ａ）の参照や以下の式（３）によって適応的に行なわれる。
Ｆｚ１ ＝ （第２閾値−変動回数）／（第２閾値−第１閾値） ・・・式（３）

＜補正強度設定ＳＴＥＰ７０８：変動回数に基づくエッジ強度設定２＞
ＳＴＥＰ７０６で算出した変動回数に応じて適応的にフィルタ強度Ｆｚ２を設定する。図１３（ｂ）はＳＴＥＰ７０８におけるＦｚ２設定を説明する図であり、横軸は変動回数、縦軸はＦｚ２を示しており、図１３（ａ）と組み合わせたときに図１３（ｃ）となることを目的としている。ＳＴＥＰ７０６で述べたように変動回数が０の場合は太線の可能性が高い。太線を後述するエッジ強調フィルタを用いてエッジ強調すると、太線の縁部が濃くなる縁取りが発生する。もし縁取りをなしにしたい場合は、図１３（ｂ）のように太線の可能性が高い第３閾値より小さい変動回数の場合は、エッジ強調を抑える為にＦｚ２を０に設定する。細線の可能性が高い第４閾値より大きい変動回数の場合は、エッジ強調する為にＦｚ２を１に設定する。第３閾値以上且つ第４閾値以下の変動回数の場合は、変動回数＝第３閾値のときＦｚ２＝０、変動回数＝第４閾値のときＦｚ２＝１となるべく、変動回数に応じてＦｚ２が漸次変化するように適応的に設定する。これにより、フィルタによるエッジ強調部分とそうでない部分との境界において処理の切り換えが目立ち難くなる。具体的には図１３（ｂ）の参照や以下の式（４）によって適応的に設定できる。
Ｆｚ２ ＝ （変動回数−第３閾値）／（第４閾値−第３閾値） ・・・式（４）
Ｆｚ１×Ｆｚ２によって図１３（ｃ）のエッジ強度を実現できる。縁取りをありにしたい場合は、変動回数に関係なくＦｚ２＝１を設定すればよい。

＜補正強度設定ＳＴＥＰ７０９：変動量に基づくエッジ強度設定＞
ＳＴＥＰ７０５で算出した変動量に応じて適応的にエッジ強度Ｆｅを設定する。図１３（ｄ）はＳＴＥＰ７０９におけるＦｅ設定を説明する図であり、横軸は変動量、縦軸はＦｅを示している。平坦の可能性が高い第５閾値より小さい変動量の場合は、小さい変動を強調して画像を荒らさない為にＦｅ＝０を設定する。エッジの可能性が高い第６閾値より大きい変動量の場合は、エッジ強調する為にＦｅ＝１を設定する。第５閾値以上且つ第６閾値以下の変動量の場合は、変動量＝第５閾値のときＦｅ＝０から、変動量＝第６閾値のときＦｅ＝１まで、変動量が変化するに連れてＦｅが漸次変化するように適応的に設定する。これにより、エッジ強調部分とそうでない部分との境界において処理の切り換えが目立ち難くなる。具体的には図１３（ｄ）の参照や以下の式（５）によって適応的に設定できる。
Ｆｅ ＝ （変動量−第５閾値）／（第６閾値−第５閾値） ・・・式（５）。

図１４は第１実施形態における補正処理のフローチャートを示しており、フローチャートのステップに沿って補正処理を説明する。

＜補正処理ＳＴＥＰ１４０１：エッジ強調量算出＞
ＳＴＥＰ７０１で設定したＲＧＢの７×７領域に対して、エッジ強調フィルタを掛けた際の注目画素値と掛ける前の注目画素値との差分（エッジ強調量）を各色毎に算出する。本実施の形態では、注目画素を中心として５×５エッジ強調フィルタを掛ける例で説明をするが、ＳＴＥＰ７０１で設定した処理領域サイズ以下のフィルタサイズであればよく、フィルタ係数値も適宜設定すればよい。図１５（ａ）は５×５エッジ強調フィルタのフィルタ係数の一例である。注目画素値をＮ０とし、図１５（ａ）のフィルタを掛けた結果の注目画素値をＮ１とし、エッジ強調量をΔＦとすると、ΔＦは式（６）を使って算出できる。
ΔＦ ＝ Ｎ１−Ｎ０ ・・・式（６）
また、注目画素のフィルタ係数を図１５（ｂ）のように、図１５（ａ）の注目画素位置のフィルタ係数から図１５（ａ）のフィルタ合計値を引いた値とすることで、図１５（ｂ）を適用するだけでΔＦを算出することができる。

＜補正処理ＳＴＥＰ１４０２：Ｆｚ１によるエッジ強調量補正＞
ＳＴＥＰ１４０１で算出したエッジ強調量ΔＦをＳＴＥＰ７０７で設定したフィルタ強度Ｆｚ１で補正する。補正したエッジ強調量ΔＦｚ１は式（７）を使って算出する。
ΔＦｚ１ ＝ Ｆｚ１×ΔＦ ・・・式（７）
ＳＴＥＰ１４０２によって、変動回数が少ない文字に対しては比較的強くエッジ強調し、変動回数が多い網点に対しては比較的弱くエッジ強調を施すことが可能で、文字のシャープ感を増加することとモアレを強調しないことを両立することができる。

＜補正処理ＳＴＥＰ１４０３：Ｆｚ２によるエッジ強調量補正＞
ＳＴＥＰ１４０２で算出したエッジ強調量ΔＦｚ１をＳＴＥＰ７０８で設定したフィルタ強度Ｆｚ２で補正する。補正したエッジ強調量ΔＦｚ２は式（８）を使って算出する。
ΔＦｚ２ ＝ Ｆｚ２×ΔＦｚ１ ・・・式（８）
図１３（ｂ）のようにＦｚ２を設定した場合、ＳＴＥＰ１４０３によって、太線は縁取りがでないようエッジ強調が施され、細線は太線より強くエッジ強調してシャープ感の増加と黒文字の濃度増加を施すことができる。

＜補正処理ＳＴＥＰ１４０４：Ｆｅによるエッジ強調量補正＞
ＳＴＥＰ１４０３で算出したエッジ強調量ΔＦｚ２をＳＴＥＰ７０９で設定したフィルタ強度Ｆｅで補正する。補正したエッジ強調量ΔＦｅは式（９）を使って算出する。
ΔＦｅ ＝ Ｆｅ×ΔＦｚ２ ・・・式（９）
ＳＴＥＰ１４０４によって、文字のようなエッジ部は比較的強くエッジ強調し、背景や写真のような平坦部は比較的弱くエッジ強調を施すことができる。これにより文字のシャープ感増加とモアレを強調しないこと、写真を荒らさないことを両立できる。

＜補正処理ＳＴＥＰ１４０５：エッジ強調フィルタ処理完了＞
ＳＴＥＰ１４０４で算出したエッジ強調量ΔＦｅを式（１０）に示すように注目画素値Ｎ０に加算することによって、エッジ強調フィルタ処理画素値Ｎｅを算出する。
Ｎｅ ＝ Ｎ０＋ΔＦｅ ・・・式（１０）
尚、Ｎｅを所望のレンジにクリップする処理を入れてもよい。

＜第１実施形態による効果＞
図１６は第１実施形態により設定した適応的な補正強度を変動回数と変動量に対して示している。尚、ここで示す補正強度はＦｚ１とＦｚ２とＦｅを全て適用した際の強度（Ｆｚ１×Ｆｚ２×Ｆｅ）である。図１６（ａ）は太線に縁取りを出す場合の設定であり、図１６（ｂ）は太線に縁取りを出さない場合の設定を示しており、濃度が高い程補正強度が強いことを示している。従来、変動回数に対しては適応的に補正強度を設定できないことが課題であったが、図１６に示す通り変動回数に対しても適応的に補正強度を設定できる効果がある。

また、変動量のみならず変動回数によって補正強度を変えることができる為、網点に対するエッジ強調によるモアレ弊害を低減できる。さらに、変動回数に応じて適応的に補正強度を設定できる為、変動回数による処理の切り換え弊害を低減できる。また、変動回数と変動量に応じて適応的に補正強度を設定できる為、変動回数と変動量による処理の切り換え弊害を低減できる。

図１７は６００ｄｐｉの解像度で原稿を読み取った画像のエッジ強調前と後を示している。図１７（ａ１）と（ａ２）は７ｐｔサイズの数字５の一部であり、夫々エッジ強調前と後を示している。また、図１８（ａ１）と（ａ２）は夫々図１７（ａ１）と（ａ２）に対応しており、図１７（ａ１）と（ａ２）中に示した１６画素の画像信号を示している。

図１７（ｂ１）と（ｂ２）は１５０線スクリーン角３０°の網点で５０％濃度を表現しており、夫々エッジ強調前と後を示している。また、図１８（ｂ１）と（ｂ２）は夫々図１７（ｂ１）と（ｂ２）に対応しており、図１７（ｂ１）と（ｂ２）中に示した１６画素の画像信号を示している。

図１７（ｃ１）と（ｃ２）は人間の目の一部を表現した写真であり、夫々エッジ強調前と後を示している。また、図１８（ｃ１）と（ｃ２）は夫々図１７（ｃ１）と（ｃ２）に対応しており、図１７（ｃ１）と（ｃ２）中に示した１６画素の画像信号を示している。

図１７と図１８に示すように文字エッジの画像信号の強調と、網点エッジの画像信号を文字エッジ程は強調しないことと、写真エッジの画像信号を文字エッジ程は強調しないこととを両立することができる。

（第２実施形態）
第１実施形態はフィルタ処理によるエッジ強調を適応的な強度で実施する例を説明したが、第２実施形態ではエッジ強調と平滑化を適応的な強度で実施する例を説明する。

第１実施形態のＳＴＥＰ７０７において、図１３（ａ）のエッジ強度Ｆｚ１ではなく、図１９に示すエッジ強度Ｆｚ１を用いる。図１９のＦｚ１は−の強度も持つことが特徴である。強度が＋の場合はエッジを強調する効果を持つが、強度が−の場合はエッジを弱める（平滑化する）効果を持つ。図１９に示すように網点の可能性が高い変動回数（第２ａ閾値より大きい変動回数）に対して−の強度を設定することにより、網点を平滑化することができる。すなわち、第１実施形態では網点によるモアレを強調しないようにしていたが、第２実施形態ではモアレを低減することができる。

また、以下に平滑化する別の例を説明する。図２０は第２実施形態における補正強度設定のフローチャートである。尚、一部の処理は、図７を用いて説明した処理と同様であるので、同じ処理には同じ符号を付し、説明を割愛する。

＜補正強度設定ＳＴＥＰ２０１０：変動回数に基づく平滑化強度設定＞
ＳＴＥＰ７０６で算出した変動回数に応じて適応的に平滑化強度Ａｚを設定する。図２１はＳＴＥＰ２０１０におけるＡｚ設定を説明する図であり、横軸は変動回数、縦軸はＦｚ３を示している。文字の可能性が高い第７閾値より小さい変動回数の場合は、平滑化しない為にＡｚを０に設定する。網点の可能性が高い第８閾値より大きい変動回数の場合は、平滑化する為にＡｚを１に設定する。第７閾値以上且つ第８閾値以下の変動回数の場合は、処理の切り換えを目立ち難くする為に変動回数＝第７閾値のときＡｚ＝０、変動回数＝第８閾値のときＡｚ＝１となるように変動回数毎に漸次変化するＡｚを適応的に設定する。具体的には図１６の参照や以下の式（１１）によって適応的に設定できる。
Ａｚ ＝ （第８閾値−変動回数）／（第８閾値−第７閾値） ・・・式（１１）

図２２は第２実施形態における補正処理のフローチャートである。ここで、一部の処理は、第１実施形態の図１４における一部の処理と同様であるため、同じ処理については同じ符号を付して説明を割愛する。

＜補正処理ＳＴＥＰ２２０６：平滑化量算出＞
ＳＴＥＰ７０１で設定したＲＧＢの７×７領域のブロックに対して、平滑化フィルタを掛けた際の注目画素値の変化量（平滑化量）を各色毎に算出する。本実施の形態では、注目画素を中心として５×５平滑化フィルタを掛ける例で説明をするが、ＳＴＥＰ７０１で設定した処理領域サイズ以下のフィルタサイズであればよく、フィルタ係数値も適宜設定すればよい。図２３（ａ）は５×５平滑化フィルタのフィルタ係数の一例である。注目画素値をＮ０とし、図２３（ａ）のフィルタを掛けた結果の注目画素値をＮ２とし、平滑化量をΔＡとすると、ΔＡは式（１２）を使って算出できる。
ΔＡ ＝ Ｎ２−Ｎ０ ・・・式（１２）
また、注目画素のフィルタ係数を図１８（ｂ）のように、図１８（ａ）の注目画素位置のフィルタ係数から図１８（ａ）のフィルタ合計値を引いた値とすることで、図１８（ｂ）を適用するだけでΔＡを算出することができる。

＜補正処理ＳＴＥＰ２２０７：Ｆｚ３による平滑化量補正＞
ＳＴＥＰ２２０６で算出した平滑化量ΔＡをＳＴＥＰ２０１０で設定した平滑化強度Ａｚで補正する。補正した平滑化量ΔＡｚは式（１３）を使って算出する。
ΔＡｚ ＝ Ａｚ×ΔＡ ・・・式（１３）
ＳＴＥＰ２２０７によって、変動回数が少ない文字に対しては比較的弱く平滑化することでシャープ感を損なわず、変動回数が多い網点に対しては比較的強く平滑化を施してモアレ低減できる。

＜補正処理ＳＴＥＰ２２０８：平滑化フィルタ処理完了＞
ＳＴＥＰ２２０７で算出した平滑化量ΔＡｚを式（１４）に示すようにＳＴＥＰ１４０５で算出した注目画素値のエッジ強調フィルタ処理画素値Ｎｅに加算することによって、フィルタ処理画素値Ｎｆを算出する。
Ｎｆ ＝ Ｎｅ＋ΔＡｚ ・・・式（１４）
尚、Ｎｆを所望のレンジにクリップする処理を入れてもよい。

＜第２実施形態による効果＞
第１実施形態は、変動回数が比較的多い網点に対してエッジ強調を抑えることができる為、モアレ強調しない効果がある。しかし、画像補正処理前に既にモアレが発生している場合、第１実施形態の実施によってモアレをそれ以上悪化することはなくても、良化することは難しい。第２実施形態は変動回数が比較的多い網点に対して平滑化を強く施すことができる為、第１実施形態に比べてモアレを低減する効果がある。また、変動回数が少ない文字に対しては平滑化を弱くできる為、文字のシャープ感を損なうことはない。従来のように網点と文字に像域分離して、網点に対して平滑化を実施し、文字は平滑化しない処理の場合、網点の一部を網点判定、他部を文字判定してしまうと、平滑化処理の切り換えが画像上に目立っていた。第２実施形態は変動回数に応じて適応的に漸次変化する平滑化強度を設定できる為、従来課題である平滑化処理の切り換えを目立たなくすることができる。

（第３実施形態）
第１実施形態はフィルタ処理によるエッジ強調を適応的な強度で実施する例を説明した。図２４（ａ）は白の背景中に黒の縦直線が描かれた原稿を白の背景から黒の縦直線にかけて読み取った画像信号Ｇの値を示している。ここで、図２４（ａ）に示す値と同値が画像の縦方向に並んでいる場合、Ｆｚ１、Ｆｚ２、Ｆｅ全て１の強度で図１５のフィルタを使って第１実施形態を実施すると、図２４（ａ）の画像信号が図２４（ｂ）となる。図２４（ｂ）は図２４（ａ）に比べてエッジが強調されるが、図２４（ｃ）のようにエッジ中に中間値がない状態ではない。第３実施形態では第１実施形態のエッジ強調に加え、置換を適応的な強度で実施して図２４（ｃ）に近づけることで更にエッジ強調する例を説明する。

図２５は第３実施形態の補正強度設定のフローチャートである。ここで、一部の処理は、第１実施形態の図７における一部の処理と同様であるため、同じ処理については同じ符号を付して説明を割愛する。また、第２実施形態と組み合わせてもよい。

＜補正強度設定ＳＴＥＰ２５１０：最大最小輝度位置判定＞
ＳＴＥＰ７０４で判定したエッジ方向について、ＳＴＥＰ７０２で抽出した４方向の内、エッジ方向のＬの７画素から最大Ｌと最小Ｌの画素位置を判定する。

＜補正強度設定ＳＴＥＰ２５１１：変動加速度算出＞
ＳＴＥＰ７０４で判定したエッジ方向について、ＳＴＥＰ７０３で算出したエッジ方向のＧｒｄから３画素の変動加速度Ｌａｐを算出する。変動加速度の算出方法は式（１５）である。但し、画素Ｇｒｄ（ｉ）の前画素をＧｒｄ（ｉ−１）と後画素Ｇｒｄ（ｉ＋１）とする。図８（ｃ１）と図８（ｃ２）は夫々図８（ｂ１）と図８（ｂ２）のＧｒｄに対して式（１５）を適用して求めたＬａｐを示している。
Ｌａｐ（ｉ） ＝ Ｇｒｄ（ｉ＋１） − Ｇｒｄ（ｉ−１） ・・・式（１５）
尚、変動加速度の算出方法はこれに限らず、Ｇｒｄの隣接同士の差分でもよい。

＜補正強度設定ＳＴＥＰ２５１２：置換画素位置判定＞
ＳＴＥＰ２５１０で判定した最大Ｌと最小Ｌの画素位置と、ＳＴＥＰ２５１１で算出した変動加速度Ｌａｐから置換画素位置を判定する。図８のようにＬａｐの符号が＋の場合は注目画素のＬは最大Ｌよりも最小Ｌに値の大きさが近く、Ｌａｐの符号が−の場合は注目画素のＬは最小Ｌよりも最大Ｌに値の大きさが近い傾向がある。そこで、表１に示すようにＬａｐの符号に対して置換画素位置を判定し、置換すれば図２４（ｃ）を実現することができる。第３実施形態では表１のように置換画素位置を判定するが、注目画素のＬａｐが０となるエッジ中心の扱いについては表１に限るものではなく、注目画素のＬａｐが０であれば、最大Ｌの画素位置にしてもよいし、また逆に最小Ｌの画素位置にしてもよい。

＜補正強度設定ＳＴＥＰ２５１３：変動加速度絶対値に基づく置換強度設定＞
ＳＴＥＰ２５１１で算出した変動加速度の絶対値に応じて適応的に置換強度Ｃｌを設定する。Ｃｌを変動加速度の絶対値によらず、Ｃｌ＝１に設定することで、図２４（ｃ）を得ることができる。ただ、常にＣｌ＝１とするとジャギーが目立つ場合がある。そこで、ここではジャギーを抑えつつ、図２４（ｂ）よりもエッジを強調できる置換例を説明する。

図２６（ａ）はＳＴＥＰ２５１３におけるＣｌ設定を説明する図であり、横軸は変動加速度絶対値、縦軸はＣｌを示している。エッジ中心付近である第９閾値より小さい変動加速度の場合は、置換しない為にＣｌを０に設定する。エッジ中心付近を置換しないように設定するのはジャギー発生を目立たなくする目的である。エッジ中心から離れた第１０閾値より大きい変動加速度絶対値の場合は、置換する為にＣｌを１に設定する。第９閾値以上且つ第１０閾値以下の変動加速度分絶対値の場合は、変動加速度絶対値＝第９閾値のときＣｌ＝０、変動加速度絶対値＝第９閾値のときＣｌ＝１となるように変動加速度絶対値毎に漸次変化するＣｌを適応的に設定する。これにより、処理の切り換えが目立ち難くなる。具体的には図２６（ａ）の参照や以下の式（１６）によって適応的に設定できる。
Ｃｌ ＝ （変動加速度絶対値−第９閾値）／（第１０閾値−第９閾値）・・・式（１６）

＜補正強度設定ＳＴＥＰ２５１４：変動回数に基づく置換強度設定＞
ＳＴＥＰ７０６で算出した変動回数に応じて適応的に置換強度Ｃｚを設定する。第１１閾値と第１２閾値を使い、ＳＴＥＰ７０７と同様に図２６（ｂ）の特性でＣｚを適応的に設定する。変動回数が第１１閾値より小さい太線の場合はＣｚ＝１、第１２閾値より大きい細線や網点の場合はＣｚ＝０、第１１閾値以上且つ第１２閾値以下の場合は式（１７）によって適応的に設定できる。
Ｃｚ ＝ （第１２閾値−変動回数）／（第１２閾値−第１１閾値） ・・・式（１７）

＜補正強度設定ＳＴＥＰ２５１５：変動量に基づく置換強度設定＞
ＳＴＥＰ７０５で算出した変動量に応じて適応的に置換強度Ｃｅを設定する。第１３閾値と第１４閾値を使い、ＳＴＥＰ７０９と同様に図２６（ｃ）の特性でＣｅを適応的に設定する。変動量が第１３閾値より小さいの場合はＣｅ＝０、第１４閾値より大きい場合はＣｅ＝１、第１３閾値以上且つ第１４閾値以下の場合は式（１８）によって適応的に設定できる。
Ｃｅ ＝ （変動量−第１３閾値）／（第１４閾値−第１３閾値） ・・・式（１８）

図２７は第３実施形態の補正処理のフローチャートである。図２７のＳＴＥＰ２７０１〜ＳＴＥＰ２７０５は、第１実施形態で既に説明した図１４のＳＴＥＰ１４０１〜ＳＴＥＰ１４０５と夫々同じである為、説明は省略する。第１実施形態と異なるＳＴＥＰについて説明する。

＜補正処理ＳＴＥＰ２７０６：置換量算出＞
ＳＴＥＰ２５１２で判定した置換画素位置の画素値を用いて置換量を算出する。ＳＴＥＰ７０１で設定したＲＧＢの７×７領域からＳＴＥＰ２５１２で判定した置換画素位置のＲＧＢ値を抽出する。注目画素値をＮ０とし、置換画素位置の画素値をＣ０とし、置換量をΔＣとすると、ΔＣは式（１９）を使って算出できる。
ΔＣ ＝ Ｃ０−Ｎ０ ・・・式（１９）

＜補正処理ＳＴＥＰ２７０７：Ｃｌによる置換量補正＞
ＳＴＥＰ２７０６で算出した置換量ΔＣをＳＴＥＰ２５１３で設定した置換強度Ｃｌで補正する。補正した置換量ΔＣｌは式（２０）を使って算出する。
ΔＣｌ ＝ Ｃｌ×ΔＣ ・・・式（２０）
ＳＴＥＰ２７０７によって、ジャギー発生を抑えた置換が施される。

＜補正処理ＳＴＥＰ２７０８：Ｃｚによる置換量補正＞
ＳＴＥＰ２７０７で算出した置換量ΔＣｌをＳＴＥＰ２５１４で設定した置換強度Ｃｚで補正する。補正した置換量ΔＣｚは式（２１）を使って算出する。
ΔＣｚ ＝ Ｃｚ×ΔＣｌ ・・・式（２１）
ＳＴＥＰ２７０８によって、太線は置換を強くし、細線は置換を弱くしてジャギー発生を抑えた置換を施すことができる。

＜補正処理ＳＴＥＰ２７０９：Ｃｅによる置換量補正＞
ＳＴＥＰ２７０８で算出した置換量ΔＣｚをＳＴＥＰ２５１５で設定した置換強度Ｃｅで補正する。補正した置換量ΔＣｅは式（２２）を使って算出する。
ΔＣｅ ＝ Ｃｅ×ΔＣｚ ・・・式（２２）
ＳＴＥＰ２７０９によって、文字等のエッジ部は比較的強く置換することでシャープ感を向上し、平坦部は比較的弱く置換することで荒れを防止する。

＜補正処理ＳＴＥＰ２７１０：置換処理完了＞
ＳＴＥＰ２７０９で算出した置換量ΔＣｅを式（２３）に示すように注目画素のエッジ強調フィルタ値Ｎｅに加算することによって、フィルタと置換によるエッジ強調した注目画素値Ｎｃを算出する。
Ｎｃ ＝ Ｎｅ＋ΔＣｅ ・・・式（２３）
尚、Ｎｃを所望のレンジにクリップする処理を入れてもよい。

以上の第３実施形態による効果を説明する。第１実施形態のエッジ強調フィルタによるエッジ強調に加え、第３実施形態の置換を使ったエッジ強調を実施することで、第１実施形態よりも更にシャープ感を増す効果が得られる。また、第１実施形態の縁どりが出ないようにした場合は、太線のエッジ強調が弱くなるが、第３実施形態によって縁取りが出ないことは維持したまま第１実施形態よりもエッジを強調する効果がある。また、変動回数が比較的多い網点に対しては置換を弱くできる為、モアレを強調することもない。さらに、変動量が比較的小さい写真に対しては置換を弱くできる為、写真を荒らすこともない。第３実施形態は変動加速度、変動回数、変動量に応じて適応的に置換強度を設定できる為、従来技術の文字と網点の像域分離を使って抽出した文字部に置換を適応することに比べて、置換処理の切り換えを画像上目立たなくすることができる。

（第４実施形態）
第１〜第３実施形態では原稿を読み取った際に発生するボケとモアレを改善する為に、シャープ感を向上するエッジ強調処理とモアレを低減する平滑化処理を説明した。ただ、原稿を読み取った際の別の課題もある。例えば黒文字を読み取った際にＲとＧとＢが必ずしも同じ値を有しないために、印刷結果として黒文字の黒濃度低下とやや彩度増加が発生する。これは黒文字の品位を劣化していた。本実施の形態は黒を読み取ったＲとＧとＢの値をより近くする処理について説明する。また、ＲとＧとＢの値をより近くする処理を無彩色化処理と呼び、無彩色化処理の強度を無彩色化強度と呼ぶ。無彩色化強度についても第１〜第３実施形態と同様に適応的に設定することを説明する。

図２８は第４実施形態の補正強度設定のフローチャートである。ここで、一部の処理は、第３実施形態の図２５における一部の処理と同様であるため、同じ処理については同じ符号を付して説明を割愛する。ここでは、第３実施形態に第４実施形態を付け加えたフローであるが、第１実施形態や第２実施形態に付け加えたフローであってもよい。第３実施形態と異なるＳＴＥＰについて説明する。

＜補正強度設定ＳＴＥＰ２８１６：彩度算出＞
ＳＴＥＰ７０１で設定したＲＧＢ７×７領域の注目画素に対して彩度を算出する。注目画素を中心とする３×３領域の各色平均値を算出する。Ｒ、Ｇ、Ｂそれぞれの平均値をＡＲ、ＡＧ、ＡＢとし、｜ＡＲ−ＡＧ｜、｜ＡＧ−ＡＢ｜、｜ＡＢ−ＡＲ｜の内、最大の値を彩度として算出する。尚、彩度算出はこれに限ったものではない。ここでは３×３領域の平均から求めたが、ＳＴＥＰ７０１で設定した処理領域サイズ内の領域から求めればよい。また、色空間をＲＧＢで求めたが、ブロックを輝度色差空間に変換して色差成分を使って輝度軸からの距離として求めてもよい。更に、第３実施形態で求めたＮｃを使ってエッジ強調や平滑化処理を施した後の値から求めてもよい。

＜補正強度設定ＳＴＥＰ２８１７：彩度に基づく無彩色化強度設定＞
ＳＴＥＰ２８１６で算出した彩度に応じて適応的に無彩色化強度Ｋｓを設定する。図２９（ａ）はＳＴＥＰ２８１６におけるＫｓ設定を説明する図であり、横軸は彩度、縦軸はＫｓを示している。輝度軸付近である第１５閾値より小さい彩度の場合は、無彩色化する為にＫｓを１に設定する。輝度軸付近を無彩色化するのは、輝度軸に近い為、原稿は無彩色に近い可能性が高いと判断できるからである。輝度軸から離れた第１６閾値より大きい彩度の場合は、無彩色化しない為にＫｓを０に設定する。これはカラーの可能性が高いからである。第１５閾値以上且つ第１６閾値以下の彩度の場合は、処理の切り換えを目立ち難くする為に彩度＝第１５閾値のときＫｓ＝１、彩度＝第１６閾値のときＫｓ＝０となるように彩度毎に漸次変化するＫｓを適応的に設定する。具体的には図２４（ａ）の参照や以下の式（２４）によって適応的に設定できる。
Ｋｓ ＝ （第１６閾値−彩度）／（第１６閾値−第１５閾値） ・・・式（２４）

＜補正強度設定ＳＴＥＰ２８１８：変動回数に基づく無彩色化強度設定＞
ＳＴＥＰ７０６で算出した変動回数に応じて適応的に無彩色化強度Ｋｚを設定する。第１７閾値と第１８閾値を使い、ＳＴＥＰ２５０７と同様に図２９（ｂ）の特性でＫｚを適応的に設定する。変動回数が第１７閾値より小さいの場合はＫｚ＝１、第１８閾値より大きい場合はＫｚ＝０、第１７閾値以上且つ第１８閾値以下の場合は式（２５）によって適応的に設定できる。
Ｋｚ ＝ （第１８閾値−変動回数）／（第１８閾値−第１７閾値） ・・・式（２５）

＜補正強度設定ＳＴＥＰ２８１９：変動量に基づく無彩色化強度設定＞
ＳＴＥＰ７０５で算出した変動量に応じて適応的に無彩色化強度Ｋｅを設定する。第１９閾値と第２０閾値を使い、ＳＴＥＰ２５０９と同様に図２９（ｃ）の特性でＫｅを適応的に設定する。変動量が第１９閾値より小さいの場合はＫｅ＝０、第２０閾値より大きい場合はＫｅ＝１、第１９閾値以上且つ第２０閾値以下の場合は式（２６）によって適応的に設定できる。
Ｋｅ ＝ （変動量−第１９閾値）／（第２０閾値−第１９閾値） ・・・式（２６）

図３０は第４実施形態の補正処理のフローチャートである。ここで、一部の処理は、第３実施形態の図２７における一部の処理と同様であるため、同じ処理については同じ符号を付して説明を割愛する。

＜補正処理ＳＴＥＰ３０１１：無彩色化量算出＞
ＳＴＥＰ２７１０で算出したＮｃを使って、式（２７）から無彩色化量ΔＫを算出する。Ｇ成分のＮｃをＮｃＧとし、ＲまたはＢ成分のＮｃをＮｃＰとする。
ΔＫ ＝ ＮｃＧ−ＮｃＰ ・・・式（２７）

＜補正処理ＳＴＥＰ３０１２：Ｋｓによる無彩色化量補正＞
ＳＴＥＰ３０１１で算出した無彩色化量ΔＫをＳＴＥＰ２８１７で設定した無彩色化強度Ｋｓで補正する。補正した無彩色化量ΔＫｓは式（２８）を使って算出する。
ΔＫｓ ＝ Ｋｓ×ΔＫ ・・・式（２８）
ＳＴＥＰ３０１２によって、輝度軸付近の画像信号をより輝度軸に近づけることが可能である。

＜補正処理ＳＴＥＰ３０１３：Ｋｚによる無彩色化量補正＞
ＳＴＥＰ３０１２で算出した無彩色化量ΔＫｓをＳＴＥＰ２８１８で設定した無彩色化強度Ｋｚで補正する。補正した無彩色化量ΔＫｚは式（２９）を使って算出する。
ΔＫｚ ＝ Ｋｚ×ΔＫｓ ・・・式（２９）
ＳＴＥＰ３０１３によって、変動回数が少ない文字に対しては無彩色化を比較的強くして文字を黒く、変動回数が多い網点や写真に対しては無彩色化を比較的弱くして色味の変化を抑えることができる。

＜補正処理ＳＴＥＰ３０１４：Ｋｅによる無彩色化量補正＞
ＳＴＥＰ３０１３で算出した無彩色化量ΔＫｚをＳＴＥＰ２８１９で設定した無彩色化強度Ｋｅで補正する。補正した無彩色化量ΔＫｅは式（３０）を使って算出する。
ΔＫｅ ＝ Ｋｅ×ΔＫｚ ・・・式（３０）
ＳＴＥＰ３０１４によって、文字のようなエッジ部は無彩色化を強くして文字を黒くし、写真のようにエッジが比較的弱い画像は無彩色化を弱くして色味の変化を抑えることができる。

＜補正処理ＳＴＥＰ３０１５：無彩色化処理完了＞
ＳＴＰＥ３０１４で算出した無彩色化量ΔＫｅを式（３１）に示すようにフィルタと置換によってエッジ強調した注目画素値Ｎｃに加算することによって、フィルタ処理と置換処理と無彩色化処理した注目画素値Ｎｋを算出する。
Ｎｋ ＝ Ｎｃ＋ΔＫｅ ・・・式（３１）
尚、Ｎｋを所望のレンジにクリップする処理を入れてもよい。

＜第４実施形態による効果＞
第１〜第３実施形態によってシャープ感を増す効果が得られる。しかし、各色の画像信号が同値に近づけて黒文字を黒々とした印象にすることはできない。第４実施形態は彩度に応じて適応的に無彩色化できる為、輝度軸に近い画素値を持つ黒文字をより黒々とした品位にする効果を持つ。また、変動回数と変動量に応じて無彩色化強度を変更できる為、文字に特化して無彩色化し、網点や写真の色味を変えないようにすることもできる。第４実施形態は、彩度、変動回数、変動量に応じて無彩色化量を設定できる為、従来の文字且つ無彩色を像域分離して無彩色化を適用するのに比べて、無彩色化処理の切り換えを画像上目立たなくすることができる。

（第５実施形態）
第１〜第４実施形態ではエッジ強調や平滑化、無彩色化を適応的に補正することを説明した。ここでは、第１〜第４実施形態を実施した画像信号に対して図３１を適用する例を説明する。図３１は横軸を入力画像信号値、縦軸を出力画像信号値としている。第１〜第４実施形態を実施した画像信号を図３１の入力画像信号として出力画像信号を求めることによって、図３１の適用が可能である。図３１の画像信号が小さい程暗く、大きい程明るいことを表現しているとすると、図３１の適用によって、黒文字部の画像信号はより黒く、白背景部の画像信号はより白くすることができる。以上により、文字部と背景部とのコントラストを増加できる為、文字のシャープ感を更に増す効果がある。図３１の画像信号をＲＧＢとし、ＲＧＢ各色に適用してもよいし、画像信号をＬとしてＬに適用してもよい。また、図３１の画像信号をＲＧＢとした場合、各色毎に入出力カーブを変更してもよい。また、図３１の入出力カーブに限らず、適宜設定すればよい。

一方、第１〜第４実施形態では変動回数と変動量、その他変動加速度や彩度を使って適応的に補正強度を決定したが、補正強度を像域に置き換えれば、変動回数及び変動量に応じて適応的に像域分離する効果を持つ。例えば、ＦｚとＦｅの積が大きい程、より文字の可能性が高い画素と判定でき、小さい程より網点や写真の可能性が高い画素と判定できる。また、変動加速度や彩度も使うことで、エッジ中心への近さ、輝度軸への近さについても判定が可能で、像域をより詳細に分離できる効果がある。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクがある。また、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、クライアントＰＣのブラウザを用いてインターネットサイトに接続し、本発明に係るプログラムそのもの、もしくは更に自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードするという利用方法もある。また、本発明に係るプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の範疇に含まれる。 また、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布してもよい。所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、プログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、ＰＣの機能拡張ユニットに備わるメモリに本発明に係るプログラムが書き込まれ、そのプログラムに基づき、その機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう場合も、本発明の範疇に含まれる。

ＭＦＰの説明図である。 ＭＦＰの制御説明図である。 ＭＦＰの画像処理のフローチャートである。 処理単位の説明図である。 処理単位の移動のフローチャートである。 撮像素子の読取範囲の説明図である。 第１実施形態の補正強度設定のフローチャートである。 輝度と１次微分と２次微分の説明図である。 ４方向抽出の説明図である。 Ｌ差分の説明図である。 変動回数の説明図である。 変動回数補正の説明図である。 エッジ強度設定の説明図である。 第１実施形態の補正処理のフローチャートである。 エッジ強調フィルタ係数の説明図である。 設定したエッジ強度の説明図である。 エッジ強調前後の画像の説明図である。 エッジ強調前後の画像信号の説明図である。 平滑化を含むエッジ強度設定の説明図である。 第２実施形態の補正強度設定のフローチャートである。 平滑化強度設定の説明図である。 第２実施形態の補正処理のフローチャートである。 平滑化フィルタ係数の説明図である。 エッジ強調の説明図である。 第３実施形態の補正強度設定のフローチャートである。 置換強度設定の説明図である。 第３実施形態の補正処理のフローチャートである。 第４実施形態の補正強度設定のフローチャートである。 黒化強度設定の説明図である。 第４実施形態の補正処理のフローチャートである。 黒つぶしと白とばしの説明図である。

符号の説明

１ ＭＦＰ
３１ オートドキュメントフィーダ
１３ プリントユニット
１４ スキャニングユニット
１５ オペレーションパネル
１９ ディスプレイパネル
４２ カードスロット
４３ カメラポート
１１ ＣＰＵ
１２ 画像処理部
１６ ＲＯＭ
１７ ＲＡＭ
１８ 不揮発性ＲＡＭ
１９ ディスプレイユニット
２０ センサユニット
２１ ドライブユニット
２２ カードインターフェイス
２３ カメラインターフェイス
２４ ＰＣインターフェイス

Claims (20)

1. 処理の対象となる処理対象画素を含む画像に補正処理を施す画像処理装置であって、
   前記処理対象画素を含む予め定められた大きさの画像領域を抽出する抽出手段と、
   前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動量を算出する変動量算出手段と、
   前記画像領域内に含まれる画素の信号値から、前記処理対象画素に対する変動回数を算出する変動回数算出手段と、
   前記変動回数及び前記変動量と、補正強度との対応関係を設定する設定手段と、
   前記設定手段を用いて前記変動回数及び前記変動量から前記補正強度を求め、前記処理対象画素の信号値に対して、求めた前記補正強度で補正処理を加える補正手段と、
   を有し、
   前記設定手段は、異なる前記変動回数又は前記変動量に対し、補正強度が漸次変化するように前記対応関係を設定することを特徴とする画像処理装置。
2. 前記設定手段は、前記変動回数が取り得る値の内の少なくとも一部の範囲において、前記変動回数に応じて補正強度が漸次変化するように対応関係を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記変動量が取り得る値の内の少なくとも一部の範囲において、前記変動量に応じて補正強度が漸次変化するように対応関係を設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、
   前記変動回数が第１閾値より小さい場合に前記補正強度を最大値に設定し、
   前記変動回数が前記第１閾値より大きい第２閾値より更に大きい場合に、前記補正強度を最小値に設定し、
   前記変動回数が前記第１閾値から前記第２閾値まで変化するにつれて、前記補正強度が前記最大値から前記最小値へ漸次変化するように設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記設定手段は、
   前記変動量が第３閾値より小さい場合に前記補正強度を最小値に設定し、
   前記変動量が前記第３閾値より大きい第４閾値より更に大きい場合に、前記補正強度を最大値に設定し、
   前記変動量が前記第３閾値から前記第４閾値まで変化するにつれて、前記補正強度が前記最小値から前記最大値へ漸次変化するように設定することを特徴とする請求項１に記載の画像処理装置。
6. 前記変動量算出手段は、前記画像領域内のエッジ方向上に並ぶ複数画素の信号値から前記変動量を算出することを特徴とする請求項１に記載の画像処理装置。
7. 前記変動回数算出手段は、前記画像領域内のエッジ方向上に並ぶ画素の信号値から前記変動回数を算出することを特徴とする請求項１に記載の画像処理装置。
8. 前記変動量算出手段は、前記画像領域内において処理対象画素を含む複数方向の画素列の信号値の差分を比較し、該差分が最大の方向を前記エッジ方向と定義することを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記変動量算出手段は、前記画像領域内のエッジ方向上に並ぶ複数画素の信号値の一次微分値の最大絶対値を前記変動量として算出することを特徴とする請求項１に記載の画像処理装置。
10. 前記最大値と前記最小値の符号が異なることを特徴とする請求項４または５に記載の画像処理装置。
11. 前記補正手段は、エッジ強調処理、平滑化処理、置換処理、及び無彩色化処理のうち、少なくとも一つの処理を補正処理として行ない、
    前記設定手段は、前記補正強度として、エッジ強調量、平滑化量、置換量、及び無彩色化量の内少なくとも１つを設定することを特徴とする請求項１に記載の画像処理装置。
12. 前記設定手段は、前記変動回数と、第１補正強度及び第２補正強度との対応関係を設定し、かつ、前記変動量と、第３補正強度との対応関係を設定し、
    前記補正手段は、前記処理対象画素を前記第１、第２、第３補正強度でフィルタ処理することを特徴とする請求項１に記載の画像処理装置。
13. 前記設定手段は、
    前記変動回数が第５閾値より小さい場合に前記第１補正強度を最大値に設定し、
    前記変動回数が前記第５閾値より大きい第６閾値より更に大きい場合に、前記第１補正強度を最小値に設定し、
    前記変動回数が前記第５閾値から前記第６閾値まで変化するにつれて、前記第１補正強度が前記最大値から前記最小値へ漸次変化するように設定し、
    前記変動回数が第７閾値より小さい場合に前記第２補正強度を最小値に設定し、
    前記変動回数が前記第７閾値より大きい第８閾値より更に大きい場合に、前記第２補正強度を最大値に設定し、
    前記変動回数が前記第７閾値から前記第８閾値まで変化するにつれて、前記第２補正強度が前記最小値から前記最大値へ漸次変化するように設定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記画像領域内に含まれる画素の信号値から、前記画像領域に関する変動加速度を算出する変動加速度算出手段を更に有し、
    前記設定手段は、
    前記変動加速度と第４補正強度との対応関係を設定し、
    前記変動回数と第５補正強度との対応関係を設定し、
    前記変動量と第６補正強度との対応関係を設定し、
    前記補正手段は、前記処理対象画素を前記第４、第５、第６補正強度で置換処理することを特徴とする請求項１に記載の画像処理装置。
15. 前記設定手段は、
    前記変動加速度が第９閾値より小さい場合に前記第４補正強度を最小値に設定し、
    前記変動加速度が前記第９閾値より大きい第１０閾値より更に大きい場合に、前記第４補正強度を最大値に設定し、
    前記変動加速度が前記第９閾値から前記第１０閾値まで変化するにつれて、前記第４補正強度が前記最小値から前記最大値へ漸次変化するように設定することを特徴とする請求項１４に記載の画像処理装置。
16. 前記画像領域内に含まれる画素の信号値から、前記画像領域に関する彩度を算出する変動加速度算出手段を更に有し、
    前記設定手段は、
    前記彩度と第７補正強度との対応関係を設定し、
    前記変動回数と第８補正強度との対応関係を設定し、
    前記変動量と第９補正強度との対応関係を設定し、
    前記補正手段は、前記処理対象画素を前記第７、第８、第９補正強度で置換処理することを特徴とする請求項１に記載の画像処理装置。
17. 前記設定手段は、
    前記彩度が第１１閾値より小さい場合に前記第７補正強度を最大値に設定し、
    前記彩度が前記第１１閾値より大きい第１２閾値より更に大きい場合に、前記第７補正強度を最小値に設定し、
    前記彩度が前記第１１閾値から前記第１２閾値まで変化するにつれて、前記第７補正強度が前記最大値から前記最小値へ漸次変化するように設定することを特徴とする請求項１６に記載の画像処理装置。
18. 処理の対象となる処理対象画素を含む画像に補正処理を施す画像処理方法であって、
    前記処理対象画素を含む予め定められた大きさの画像領域を抽出する抽出ステップと、
    前記画像領域内に含まれる画素の信号値から、前記画像領域に関する変動量を算出する変動量算出ステップと、
    前記画像領域内に含まれる画素の信号値から、前記画像領域における変動回数を算出する変動回数算出ステップと、
    前記変動回数及び前記変動量と、補正強度との対応関係を設定する設定手段を用いて、前記変動回数及び前記変動量から前記補正強度を求め、前記処理対象画素の信号値に対して、求めた前記補正強度で補正処理を加える補正ステップと、
    を有し、
    前記設定手段は、異なる前記変動回数又は前記変動量に対し、補正強度が漸次変化するように前記対応関係を設定することを特徴とする画像処理方法。
19. 処理の対象となる処理対象画素を含む画像に補正処理を施す画像処理プログラムであって、
    画像処理装置が、該画像処理プログラムを実行することにより、
    前記処理対象画素を含む予め定められた大きさの画像領域を抽出する抽出ステップと、
    前記画像領域内に含まれる画素の信号値から、前記画像領域に関する変動量を算出する変動量算出ステップと、
    前記画像領域内に含まれる画素の信号値から、前記画像領域における変動回数を算出する変動回数算出ステップと、
    前記変動回数及び前記変動量と、補正強度との対応関係を設定する設定手段を用いて、前記変動回数及び前記変動量から前記補正強度を求め、前記処理対象画素の信号値に対して、求めた前記補正強度で補正処理を加える補正ステップと、
    が実現され、
    前記設定手段は、異なる前記変動回数又は前記変動量に対し、補正強度が漸次変化するように前記対応関係を設定することを特徴とする画像処理プログラム。
20. 請求項１９に記載の画像処理プログラムをコンピュータが読取可能に記憶した記憶媒体。