JP2010061565A - 画素補間装置、画素補間方法および画像読取装置 - Google Patents

Abstract

【課題】スクリーン画像においても自然な繋がりで欠落画素を補間することのできる画素補間装置等を提供する。
【解決手段】画像補間処理部３０は、欠落画素の周辺画素から欠落画素の濃度の推定値を求めるプレ補間部３１と、プレ補間部３１で求めた推定値を濃度値とする欠落画素を含む第１の二次元領域内の画素の濃度の平均値である第１平均値と、欠落画素の近傍であって欠落画素を含まない第２の二次元領域の濃度の平均値である第２平均値とを求め、第１平均値と前記第２平均値との差がなくなるもしくは小さくなるように、第１の二次元領域内の欠落画素に係る推定値を補正する平均補正部３２とを有する。
【選択図】図３

Description

本発明は、欠落画素を補間する画素補間装置、画素補間方法および画像読取装置に関する。

原稿画像を光学的に読み取る画像読取装置に用いられる密着型ラインイメージセンサ（Contact Image Sensor,以下CIS）は、１ライン分の読み取り長を直列に並べた複数のセンサチップで分担するように構成されており、物理的制約上、センサチップ同士のつなぎ目部分に約１画素分の撮像素子が存在しない部分があり、画像を読み取ることのできない欠落画素が１画素分発生する。たとえば、斜め線を欠落画素のない部分で読み取ると図１３ａのようになるが、同じ斜め線を欠落画素のある個所で読み取ると、図１３ｂのように×印を付した部分の画素が欠落してしまう。図中の白丸は実在の白画素、黒丸は実在の黒画素、×印は欠落画素を示している。

このような欠落画素の生じる密着型ラインイメージセンサの出力する画像データを、欠落画素の発生を考慮せずにそのまま使用すると、図１３ｃに示すようになり、欠落画素部分において不自然なスジが発生してしまう。そこで、１次元方向（たとえば、密着型ラインイメージセンサのライン方向）の近傍画素との連続性を維持するような方法で欠落画素を補間し、スジを見え難くすることが行われる。

たとえば、欠落画素を含む一次元方向の所定範囲（たとえば、ラインイメージセンサの読み取りライン方向で欠落画素とその左右の各１画素）の平均値と、欠落画素を含まない欠落画素近傍の一次元方向の所定範囲（たとえば、ラインイメージセンサの読み取りライン方向で欠落画素を挟む左右の３画素）の平均値とが一致するように欠落画素の補間値を定める補間方法がある（たとえば、特許文献１参照。）。

特開２００５−１１７２９１号公報

一次元方向の周辺画素から欠落画素の補間値を求める方法では、スクリーン画像（網点画像）のように、二次元領域（たとえば、４×４）のスクリーンパターンによる周期性を有する画像の場合、不自然なスジ状のモアレが発生して著しい画質の劣化を招くことがある。たとえば、図１４は、スクリーン画像に含まれる欠落画素をその水平方向の周辺画素で補間する処理を施した画像であり、補間位置Ａにおいて不自然なモアレが発生している。

欠落画素を含む所定範囲の平均濃度と欠落画素を含まない欠落画素近傍の所定範囲の平均濃度とが一致するように欠落画素の濃度を決定する特許文献１に開示の補間法では、所定範囲を広げたり、そのサイズを選定したりすることでスクリーンパターンの周期性に対応させようとしているが、この補間法の場合、欠落画素を含む所定範囲には、濃度値が不定な画素である欠落画素を１画素しか含めることはできない。

すなわち、値の不定な欠落画素を２画素以上含めると、欠落画素を含む領域の濃度平均値と欠落画素を含まない領域の濃度平均値とを一致させるという条件のみでは、複数の欠落画素の濃度を個別に決定することはできず、これら複数の欠落画素を同一の濃度に補間するしかなく、最適な補間はできない。したがって、特許文献１の補間法では、平均値を求めるための所定範囲は一次元領域に制限されるので、二次元的な広がりを有するスクリーンパターンの周期性に対応した適切な補間は難しい。また、一次元の所定範囲を広くすると、同じ画素数を二次元領域で得る場合に比べて、所定範囲の端部の画素が欠落画素から遠くなるので、欠落画素との関連性が希薄になり、欠落画素の濃度を推定するための周辺画素としては好ましくない。

本発明は、上記の問題を解決しようとするものであり、スクリーン画像を処理対象とする場合にも、自然な繋がりで欠落画素を補間することのできる画素補間装置、画素補間方法および画像読取装置を提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］欠落画素の周辺画素から前記欠落画素の濃度の推定値を求める補間部と
前記補間部で求めた推定値を濃度値とする欠落画素を含む第１の二次元領域内の画素の濃度の平均値である第１平均値と、前記欠落画素の近傍であって前記欠落画素を含まない第２の二次元領域の濃度の平均値である第２平均値とを求め、前記第１平均値と前記第２平均値との差がなくなるもしくは小さくなるように、前記第１の二次元領域内の欠落画素に係る前記推定値を補正する補正部と
を有する
ことを特徴とする画素補間装置。

上記発明では、補間部で求めた推定値を欠落画素に対する暫定の濃度値に使用して、欠落画素を含む二次元領域の濃度の平均値と欠落画素を含まないその近傍の二次元領域の濃度の平均値とを求め、これらの差がなくなるように、欠落画素の暫定濃度として与えた推定値を補正している。

［２］欠落画素の周辺がスクリーン画像領域か否かを判別する判別部を備え、
前記判別部によって周辺がスクリーン画像領域であると判定された欠落画素については前記補間部で求めた推定値を前記補正部で補正した値をその欠落画素の濃度値とし、前記判別部によって周辺がスクリーン画像領域でないと判定された欠落画素については前記補間部で求めた推定値をその欠落画素の濃度値とする
ことを特徴とする［１］に記載の画素補間装置。

上記発明では、欠落画素がスクリーン画像領域にない場合は補間部で求めた推定値をその欠落画素の濃度値として使用し、欠落画素がスクリーン画像領域にある場合は補正部によって補正された値をその欠落画素の濃度値として使用する。

［３］処理対象の画像内における前記欠落画素の位置情報が予め与えられている
ことを特徴とする［１］または［２］に記載の画素補間装置。

上記発明では、与えられた位置情報の示す位置に欠落画素が存在するとして、該欠落画素の補間処理を行う。

［４］前記補間部は、欠落画素の近傍の一次元方向の周辺画素を参照して前記欠落画素に関する濃度の推定値を求める
ことを特徴とする［１］乃至［３］のいずれか１つに記載の画素補間装置。

上記発明では、補間部は一次元方向の周辺画素から欠落画素の濃度の推定値を求める。

［５］前記補正部は、前記第１平均値と前記第２平均値との差がなくなるもしくは小さくなるように、前記第１の二次元領域内の欠落画素に係る前記推定値を補正する動作として、前記第１平均値と前記第２平均値との差分を前記第１の二次元領域に含まれる画素数倍し、その値を前記第１の二次元領域内にある１または複数の欠落画素に分配し、該分配した値をその分配先の欠落画素の推定値に加算する処理を行う
ことを特徴とする［１］または［２］に記載の画素補間装置。

［６］所定方向の一次元に並ぶ複数画素分の読み取り領域を備えた複数のセンサチップが前記所定方向に直列に配置されかつ前記センサチップ同士の境界で欠落画素の生じるラインイメージセンサを有し、該ラインイメージセンサと原稿とを相対移動させて前記原稿を二次元に光学的に読み取る読取部と、
前記読取部で原稿を読み取って得た画像データの欠落画素を補間する［１］乃至［５］のいずれか１つに記載の画素補間装置と
を有する画像読取装置。

［７］欠落画素の周辺画素から前記欠落画素の濃度の推定値を求め、
前記推定値を濃度値とする欠落画素を含む第１の二次元領域内の画素の濃度の平均値である第１平均値と、前記欠落画素の近傍であって前記欠落画素を含まない第２の二次元領域の濃度の平均値である第２平均値とを求め、
前記第１平均値と前記第２平均値との差がなくなるもしくは小さくなるように、前記第１の二次元領域内の欠落画素に係る前記推定値を補正する
ことを特徴とする画素補間方法。

本発明に係わる画素補間装置、画素補間方法および画像読取装置によれば、スクリーン画像を処理対象とする場合にも、自然な繋がりで欠落画素を補間することができる。

以下、図面に基づき本発明の各種実施の形態を説明する。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態に係わる画像読取装置の機能が組み込まれたデジタル複合機１０の概略構成を示すブロック図である。デジタル複合機１０は、原稿を光学的に読み取って得た画像の複製を記録紙上に形成して印刷出力するコピー機能や、読み取った原稿画像をファイルとして出力したり保存したりするスキャン機能、外部端末から受信した印刷データに基づいて用紙上に画像を形成して出力するプリンタ機能などを備えた装置である。

デジタル複合機１０は、原稿を光学的に読み取って画像データを取得するスキャナ部１１と、スキャナ部１１の有する密着型のラインイメージセンサ１２から出力されるアナログの画像データを量子化してデジタルの画像データに変換するＡ／Ｄ変換部１３と、Ａ／Ｄ変換部１３から出力される画像データを入力し、ラインイメージセンサ１２の読み取り画像にある欠落画素を補間する画像補間処理部３０と、画像補間処理部３０の出力する補間後の画像データに対して各種の画像処理を施す読み取り系画像処理部１４と、画像メモリ１５に対するデータのリード・ライトなどを制御するメモリ制御部１６と、画像データの圧縮および伸張を行う圧縮／伸張器１８と、圧縮／伸張器１８で圧縮された画像データもしくは非圧縮の画像データを保存するハードディスク装置（ＨＤＤ）１９と、画像データに対してプリント出力のための各種画像処理を施す出力系画像処理部２１と、出力系画像処理部２１から出力される画像データに基づいて記録紙上に画像を形成してプリント出力するプリンタ部２２とを備えている。

さらにデジタル複合機１０はＰＣＩ（Peripheral Component Interconnect）バスなどで構成されたシステムバス２３を備えており、該システムバス２３に、当該デジタル複合機１０を統括制御する機能を果たすＣＰＵ（Central Processing Unit）２４と、ＣＰＵ２４が実行するプログラムや各種のデータを書き換え可能で不揮発に記憶するフラッシュメモリ２５と、ＣＰＵ２４がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用されるＲＡＭ（Random Access Memory）２６と、操作表示部２７と、ネットワークＩ／Ｆ部２８と、前述のメモリ制御部１６とが接続されている。

操作表示部２７は、表面にタッチパネルを備えた液晶ディスプレイと各種の操作スイッチから構成され、ユーザに各種の案内表示や状態表示を行ったり、ユーザから各種の操作を受け付けたりする機能を有している。

ネットワークＩ／Ｆ部２８は、ＬＡＮ（Local Area Network）などのネットワークと接続されて外部装置とデータの授受を行う機能を果たす。

スキャナ部１１は、図示省略の自動原稿送り装置によって読み取り対象の原稿を搬送し、その搬送経路の途中に配置された密着型のラインイメージセンサ１２を用いて、いわゆる流し読み方式で原稿画像を二次元に読み取る。すなわち、図２に示すように、ラインイメージセンサ１２は、主走査方向（Ｘ）の１ライン分に対応する読み取り領域を備えており、原稿３の搬送方向は、主走査方向（Ｘ）に対して直行する副走査方向（Ｙ）にされており、原稿３がラインイメージセンサ１２の受光部上を通過する際にラインイメージセンサ１２によるライン単位の読み取り動作を繰り返し行うことで原稿３を２次元画像として読み取るようになっている。なお、原稿３とラインイメージセンサ１２とは副走査方向に相対移動すればよく、原稿３をプラテンガラス上に載置した状態でラインイメージセンサ１２を副走査方向に移動させるように構成されてもよい。

ラインイメージセンサ１２は、主走査方向の一次元に並ぶ複数画素分の読み取り領域を備えたセンサチップ１２ａを主走査方向に直列に複数配置して構成されている。センサチップ１２ａ同士の境界では、その境界を挟む両側の読み取り画素Ｐの間隔Ｌａは各センサチップ１２ａにおける画素ピッチＬｂより長く（Ｌｂのほぼ２倍）なっており、この境界部分において１画素分の欠落（この欠落している画素を欠落画素Ｋとする）が生じている。

図１に戻って説明を続ける。読み取り系画像処理部１４は、画像補間処理部３０から出力される補間後の画像データに対して、各種のフィルタ処理などの画像処理を施す。

メモリ制御部１６は、読み取り系画像処理部１４および画像メモリ１５、圧縮／伸張器１８、出力系画像処理部２１、システムバス２３の間でのデータの受け渡しを管理し制御する機能を備えている。詳細には、読み取り系画像処理部１４から出力された画像データを入力する機能、画像メモリ１５に対してアドレス信号やタイミング信号などを与えて画像メモリ１５へのデータの書き込み及び読み出しを制御する機能、圧縮／伸張器１８との間でデータを授受する機能、画像メモリ１５に記憶されている画像データを出力系画像処理部２１に出力する機能、システムバス２３側と画像データや制御データを授受する機能などを果たす。

出力系画像処理部２１は、メモリ制御部１６からの画像データに対して、ガンマ変換、周波数変換、ＰＷＭ変換などの画像処理を施す機能およびプリンタ部２２からのタイミング信号に同期させて画像データを順次プリンタ部２２へ送出するタイミング制御機能などを果たす。

プリンタ部２２は、出力系画像処理部２１から入力された画像データに対応する画像を電子写真プロセスによって記録紙上に形成して出力するものである。プリンタ部２２は、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有する、いわゆるレーザープリンタとして構成されている。他の方式のプリンタであってもかまわない。

このデジタル複合機１０において、たとえば、原稿を複写するコピージョブを実行する場合、読取動作と出力動作が行われる。読取動作では、スキャナ部１１で原稿を読み取り、その読み取って得た画像データに対して画像補間処理部３０で欠落画素の補間を行い、補間後の画像データを読み取り系画像処理部１４で処理し、圧縮／伸張器１８で圧縮した後、あるいは非圧縮のまま、画像メモリ１５またはハードディスク装置１９に記憶する。出力動作では、記憶された画像データを画像メモリ１５またはハードディスク装置１９から順次読み出し、非圧縮の場合はそのまま、圧縮されている場合は圧縮／伸張器１８で伸張した後、出力系画像処理部２１で処理した画像データをプリンタ部２２に出力し、該プリンタ部２２は該画像データに対応する画像を記録紙に形成して印刷出力する。

図３は、ラインイメージセンサ１２による読み取り画像の欠落画素を補間する画像補間処理部３０の構成を示している。画像補間処理部３０は、プレ補間部３１と平均補正部３２とを備えている。プレ補間部３１にはスキャナ部１１のラインイメージセンサ１２で読み取って得た処理対象の画像データが入力される。処理対象の画像データは各画素が複数階調で表された多階調の画像データであり、たとえば、１画素を２５６階調で表している。

プレ補間部３１は、スキャナ部１１のラインイメージセンサ１２で読み取って得た処理対象の画像データ（周辺画素データ）を入力し、欠落画素（補間画素とも呼ぶ。）の濃度の推定値（これをプレ推定値とする。）を、当該欠落画素の一次元方向の周辺画素を参照画素に使用して算出する機能を果たす。

平均補正部３２は、プレ補間部３１で求めたプレ推定値を濃度値とする欠落画素を含む第１の二次元領域内の画素の濃度の平均値である第１平均値と、その欠落画素の近傍であって当該欠落画素を含まない第２の二次元領域の濃度の平均値である第２平均値とを求め、第１平均値と第２平均値との差がなくなるもしくは小さくなる（第１平均値と第２平均値とが等しく、もしくはほぼ等しくなる）ように、プレ推定値を補正する機能を果たす。

なお、画像補間処理部３０には、欠落画素が１ラインの先頭から何画素目にあるかを示す位置情報が、たとえば、ＣＰＵ２４から与えられる、もしくは予め設定されている。画像補間処理部３０は、その位置情報の示す位置に欠落画素が存在するものとして、その欠落画素の濃度値を推定により求め、この濃度値を有する１画素分の画像データ（欠落画素の画像データ）を、入力された画像データ（周辺画素データ）の中の該当位置（位置情報の示す欠落画素の位置）に挿入して後段の読み取り系画像処理部１４へ出力するようになっている。

以下、プレ補間部３１と平均補正部３２の動作についてより詳細に説明する。

プレ補間部３１は、欠落画素の一次元方向（たとえば、主走査方向）にある複数の周辺画素を参照画素として、欠落画素の濃度値（プレ推定値Ｄ_ＰＭ）を推定する。たとえば、主走査方向の周辺４画素を参照画素とする場合、図４に示すように、欠落画素Ｋを挟む両側に２画素ずつ参照画素Ｒｆ（Ｒｆ_−２、Ｒｆ_−１、Ｒｆ_１、Ｒｆ_２）をとり、以下の（１）式に示す演算により、プレ推定値（Ｄ_ＰＭ）を求める。
Ｄ_Ｍ＝Ｃ_−２Ｄ_−２＋Ｃ_−１Ｄ_−１＋Ｃ_１Ｄ_１＋Ｃ_２Ｄ_２…（１）式
ここで、Ｃ_−２、Ｃ_−１、Ｃ_１、Ｃ_２はそれぞれ重み係数であり、Ｄ_−２、Ｄ_−１、Ｄ_１、Ｄ_２は周辺画素の濃度値である。たとえば、参照画素との連続性を維持するように推定するスプライン法を用いると、各重み係数は以下のようになる。
｛Ｃ_−２，Ｃ_−１，Ｃ_１，Ｃ_２｝＝｛-0.1875，0.6875，0.6875，-0.1875｝
スプライン法を用いると、たとえば、図５に示すように、プレ推定値が決定される。

プレ補間方法は、上記のスプライン法に限定されるものではなく、実在する画素の濃度値から推定する方法であれば、どのような補間方法であってもかまわない。また、参照画素は主走査方向にあるものに限定されず、欠落画素を中心に左傾斜のライン上、右傾斜のライン上、あるいはその双方のライン上の周辺画素から欠落画素のプレ推定値を求めてもかまわない。

平均補正部３２は、プレ補間部３１の求めたプレ推定値を補正する。プレ補間部３１で求めたプレ推定値は線画や自然画では自然な繋がりの画像に補間されて問題ないが、スクリーン画像（網点画像）では周辺画素との連続性が著しく低く、さらに一定のパターン（周期性）を持った画像であるため、補間画素部分に副走査方向へ不自然なスジ状の濃度ムラが発生する。平均補正部３２では、この濃度ムラが解消されるようにプレ推定値を補正する。

平均補正部３２は、図３に示すように、平均補正値算出部３３と推定値補正部３４とを備えている。平均補正値算出部３３は、プレ補間部３１で求めた推定値を濃度値とする欠落画素を含む第１の二次元領域の濃度の平均値である第１平均値と、欠落画素の近傍であって欠落画素を含まない第２の二次元領域の濃度の平均値である第２平均値とを求め、さらに第１平均値と前記第２平均値との差の平均値（平均値差分ΔＤ_Ａ）を求める機能を果たす。

ここでは、図６に示すように、欠落画素を含む３画素×３画素の正方マトリクスを第１の二次元領域Ｆとし、欠落画素を含まない第２の二次元領域Ｇは、欠落画素の左右にそれぞれに設けた３画素×３画素の２つの正方マトリクスＧ_Ｒ、Ｇ_Ｌになっている。図６の白丸は実在する画素（周辺画素）であり、斜線を施した丸は欠落画素Ｋを示している。平均補正値算出部３３での演算においては、各欠落画素Ｋの濃度としてプレ補間部３１で算出されたプレ推定値が使用される。

第１の二次元領域Ｆに含まれる９個の画素の濃度の平均値である第１平均値Ａ_Ｍ、正方マトリクスＧ_Ｒの濃度の平均値Ａ_Ｒ、正方マトリクスＧ_Ｌの濃度の平均値Ａ_Ｌはそれぞれ以下の式で表わされる。

Ａ_Ｍ＝（Ｄ_ＰＭ１＋Ｄ_ＰＭ２＋Ｄ_ＰＭ３＋Ｄ_Ｌ３＋Ｄ_Ｌ６＋Ｄ_Ｌ９＋Ｄ_Ｒ１＋Ｄ_Ｒ４＋Ｄ_Ｒ７）／９
Ａ_Ｌ＝（Ｄ_Ｌ１＋Ｄ_Ｌ２＋Ｄ_Ｌ３＋Ｄ_Ｌ４＋Ｄ_Ｌ５＋Ｄ_Ｌ６＋Ｄ_Ｌ７＋Ｄ_Ｌ８＋Ｄ_Ｌ９）／９
Ａ_Ｒ＝（Ｄ_Ｒ１＋Ｄ_Ｒ２＋Ｄ_Ｒ３＋Ｄ_Ｒ４＋Ｄ_Ｒ５＋Ｄ_Ｌ６＋Ｄ_Ｒ７＋Ｄ_Ｒ８＋Ｄ_Ｒ９）／９
ここで、添え字を有するＤは、その添え字の示す位置の画素の濃度を示す。

平均補正部３２は、上記Ａ_Ｍ、Ａ_Ｌ、Ａ_Ｒを算出した後、Ａ_ＬとＡ_Ｒの平均値とＡ_Ｍとの差分である平均値差分ΔＤ_Ａを求める。
ΔＤ_Ａ＝Ａ_Ｍ−（Ａ_Ｌ＋Ａ_Ｒ）／２
さらに平均補正値算出部３３は、平均値差分（ΔＤ_Ａ）から、平均補正値（ΔＤ_ＡＣ）を求める。平均補正値ΔＤ_ＡＣは、マトリクス（第１の二次元領域Ｆ）内で必要な補正値の総和を示す。ここでは、第１の二次元領域Ｆは３×３画素のマトリクスなので、
ΔＤ_ＡＣ＝９ΔＤ_Ａ
となり、平均値差分（ΔＤ_Ａ）の９倍となる。

図７は、プレ推定値（Ｄ_ＰＭ）と、プレ推定値を含む第１の二次元領域Ｆの濃度の平均値Ａ_Ｍと、第２の二次元領域Ｇのうちの左側の正方マトリクスＧ_Ｌにおける濃度の平均値Ａ_Ｌと、第２の二次元領域Ｇのうちの右側の正方マトリクスＧ_Ｒにおける濃度の平均値Ａ_Ｒと、画素の位置との関係を例示している。

プレ推定値は、プレ補間に使用した画素（Ｒｆ_−２〜Ｒｆ_２）との関係では、スプライン法により自然な濃度の繋がりになっているが、より広い二次元の領域（Ｆ、Ｇ_Ｒ、Ｇ_Ｌ）における関係でみると第１の二次元領域Ｆの部分の濃度Ａ_Ｍがその周囲の濃度Ａ_Ｌ、Ａ_Ｒより低く、濃度が自然に繋がっていないことがわかる。

スクリーン画像の場合は一定範囲の領域（スクリーンパターン）を単位に濃度を表現しているので、スクリーンパターン相当の二次元領域を単位として見た場合に濃度の繋がりが確保されるように欠落画素の濃度を決定することが好ましい。すなわち、図８に示すように、第１の二次元領域Ｆの平均濃度Ａ_Ｍが、第２の二次元領域Ｇのうちの左側の正方マトリクスＧ_Ｌにおける濃度の平均値Ａ_Ｌと第２の二次元領域Ｇのうちの右側の正方マトリクスＧ_Ｒにおける濃度の平均値Ａ_Ｒとの平均の濃度である平均値濃度Ａ_ＭＣ（Ａ_ＭＣ＝（Ａ_Ｌ＋Ａ_Ｒ）／２））となるようにすればよい。

先ほど求めたΔＤ_Ａは、第１の二次元領域Ｆの平均濃度Ａ_Ｍを平均値濃度Ａ_ＭＣにするために必要な１画素当たりの補正量であり、第１の二次元領域Ｆ全体としては９画素あるので、ΔＤ_ＡＣ＝９ΔＤ_Ａの補正を行えばよい。

そこで、推定値補正部３４は、平均補正値算出部３３にて算出された平均補正値を、マトリクス（第１の二次元領域Ｆ）内に存在する３つの欠落画素のプレ推定値へ均等に分配することでプレ推定値を補正した最終推定値Ｄ_Ｍを得る。

詳細には、各欠落画素のプレ推定値は次のように補正されて、最終推定値Ｄ_Ｍにされる。

Ｄ_Ｍ＝Ｄ_ＰＭ＋ΔＤ_{ＡＣ（−１）}／９＋ΔＤ_{ＡＣ（０）}／９＋ΔＤ_{ＡＣ（＋１）}／９
ここで、ΔＤ_{ＡＣ（−１）}は、１ライン後を着目ラインとしたときの平均補正値であり、ΔＤ_{ＡＣ（０）}は現在のラインを着目ラインとしたときの平均補正値であり、ΔＤ_{ＡＣ（＋１）}は、１ライン前を着目ラインとしたときの平均補正値である。図９は分配の様子を示しており、図１０は最終推定値の導出を模擬表示している。

なお、ΔＤ_ＡＣを第１の二次元領域Ｆ内のすべての欠落画素（３画素）に均等に分配するほか、着目ラインの欠落画素のみにΔＤ_ＡＣをすべて反映させるように補正してもよい。

図１１は、画像補間処理部３０により欠落画素の補間が行われたスクリーン画像の一例を示している。図１４に示す従来の補間方法による画像の欠落画素Ａ部分にあった不自然なスジはなく、自然な繋がりの画像に補間されている。

このように、一次元等の補間処理によって各欠落画素のプレ推定値Ｄ_ＰＭを決定しておき、このプレ推定値Ｄ_ＰＭを欠落画素の仮の濃度値に使用して、欠落画素を含む第１の二次元領域Ｆと欠落画素を含まない第２の二次元領域Ｇとの濃度平均が一致もしくはほぼ一致するように各プレ推定値Ｄ_ＰＭを補正するので、二次元のスクリーンパターンで処理されたスクリーン画像内の欠落画素を補間した場合にも、モアレやスジを発生させることなく自然な繋がりで補間することができる。

すなわち、各欠落画素について、ある程度確からしい濃度値であるプレ推定値をプレ補間部３１で求め、このプレ推定値を各欠落画素の暫定的な濃度値に使用した上で、第１の二次元領域Ｆと第２の二次元領域Ｇとの濃度の平均値が一致するようにプレ推定値を補正するので、欠落画素を含む領域の中に複数の欠落画素を設定することができる。言い換えると、欠落画素を含む領域を二次元の領域にすることができる。また、欠落画素を含む第１の二次元領域Ｆの平均値と欠落画素を含まない第２の二次元領域Ｇの平均値との差分を第１の二次元領域Ｆ内の複数の欠落画素に均等に分配しても、各欠落画素に固有の特性が残留する。すなわち、各欠落画素の濃度は、均等に分配された補正値とプレ推定値との合計で表わされ、その各欠落画素のプレ推定値は、プレ補間部３１による一次元の補間によって個別に求められたものなので、プレ推定値を加算した後も一次元の補間で求めた際の各欠落画素の濃度の特徴を残留し反映され、かつ二次元領域で見た場合の濃度ムラがなくなるように補正される。

＜第２の実施の形態＞
図１２は、第２の実施の形態に係る画像補間処理部３０Ｂの構成を示している。画像補間処理部３０Ｂは、第１の実施の形態で示した画像補間処理部３０に加えて周辺画像領域判別部３６と補間方式選択部３７を備えている。プレ補間部３１、平均補正部３２の構成や動作、デジタル複合機１０としてのその他の構成は第１の実施の形態と同一であり、その説明は省略する。

プレ補間部３１および平均補正部３２を使用した補間処理は、前述したようにスクリーン画像に対して有効である。そこで、周辺画像領域判別部３６によって周辺画素データの領域判別を行い、補間すべき欠落画素がスクリーン画像領域に存在するのか、それ以外の画像領域に存在するのかを判別する。領域判別の手法は従来から使用されている方法等、任意でよい。

補間方式選択部３７には、プレ補間部３１の出力するプレ推定値と、平均補正部３２の出力する補正後の推定値と、周辺画像領域判別部３６の出力する領域判別の結果を示す信号とが入力されている。補間方式選択部３７は、周辺画像領域判別部３６から入力された判別結果が処理対象の欠落画素がスクリーン画像領域にあることを示す場合は、平均補正部３２から入力される補正後の推定値を選択し、それ以外の場合はプレ補間部から入力されるプレ推定値を選択する。選択された値は、欠落画素に対する最終的な補間値（最終の推定値）として使用される。

このように、スクリーン画像領域にある欠落画素の場合は平均補正部３２で補正後の推定値を補間値に使用し、スクリーン画像領域以外の領域にある欠落画素の場合はプレ補間部３１で生成したプレ推定値を補間値に使用するので、それぞれの領域に応じて適切に欠落画素を補間することができる。

以上、本発明の各種実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

たとえば、実施の形態では第１の二次元領域Ｆなどを３×３画素の正方マトリクス領域に設定したが、４×４、５×５、その他のサイズでも正方マトリクス以外の形状でもかまわない。また、欠落画素を含む第１の二次元領域Ｆは、注目する欠落画素をその領域内に含めばよく、たとえば、欠落画素が領域内のいずれかの端に偏るように設定されてもかまわない。また欠落画素を含まない領域は、欠落画素を含まずかつ欠落画素の近傍に存在する領域であれば、その形状などは任意でよい。実施の形態では欠落画素を挟む左右の両側の領域Ｇ_Ｌ、Ｇ_Ｒに分けて第２の二次元領域Ｇを設定したが、１つの領域とされてもよい。また第１の二次元領域Ｆと第２の二次元領域Ｇは異なるサイズでも同一サイズでもかまわない。要するに、欠落画素を含む二次元領域と、欠落画素を含まない欠落画素の近傍の二次元領域との平均濃度が一致するように補正すればよいので、各二次元領域の形状やサイズは任意でよい。

また実施の形態では、第１の二次元領域Ｆの平均濃度（第１平均値）と第２の二次元領域Ｇの平均濃度（第２平均値）とが一致するように欠落画素のプレ推定値を補正した。これは好ましい態様であるが、本発明はこれに限定されるものではなく、第１平均値と第２平均値との差が小さくなるように補正されれば、適宜の効果を得ることができる。

本発明の実施の形態に係わるデジタル複合機の構成を示すブロック図である。 主走査方向、副走査方向とラインイメージセンサとの関係および複数のセンサチップによるラインイメージセンサの構成を示す説明図である。 本発明の第１の実施の形態に係る画像補間処理部の構成を示すブロック図である。 一次元の補間における参照画素と欠落画素との関係を示す説明図である。 プレ補間の処理結果を例示した説明図である。 欠落画素を含む第１の二次元領域と欠落画素を含まない第２の二次元領域の一例を示す説明図である。 プレ推定値と、プレ推定値を含む第１の二次元領域の濃度の平均値と、第２の二次元領域の左正方マトリクスＧ_Ｌおける濃度の平均値と、右正方マトリクスＧ_Ｒにおける濃度の平均値と、各画素位置との関係を示す説明図である。 プレ推定値を含む第１の二次元領域の濃度の平均値と、第２の二次元領域の左正方マトリクスＧ_Ｌにおける濃度の平均値と右正方マトリクスＧ_Ｒにおける濃度の平均値との平均との差分である平均値差分を示す説明図である。 平均補正値を各欠落画素のプレ推定値に分配する様子を模擬的に示す説明図である。 最終推定値の導出を示す説明図である。 本発明に係る画像補間処理部によって欠落画素の補間処理を行った結果のスクリーン画像の一例を示す説明図である。 本発明の第２の実施の形態に係る画像補間処理部の構成を示すブロック図である。 欠落画素の画像、欠落画素のある画像、欠落画素を補間しない場合の画像を例示した説明図である。 一次元方向のみの補間による欠落画素の補間されたスクリーン画像の一例を示す説明図である。

符号の説明

３…原稿
１０…デジタル複合機
１１…スキャナ部
１２…ラインイメージセンサ
１２ａ…センサチップ
１３…Ａ／Ｄ変換部
１４…読み取り系画像処理部
１５…画像メモリ
１６…メモリ制御部
１８…圧縮／伸張器
１９…ハードディスク装置（ＨＤＤ）
２１…出力系画像処理部
２２…プリンタ部
２３…システムバス
２４…ＣＰＵ
２５…フラッシュメモリ
２６…ＲＡＭ
２７…操作表示部
２８…ネットワークＩ／Ｆ部
３０、３０Ｂ…画像補間処理部
３１…プレ補間部
３２…平均補正部
３３…平均補正値算出部
３４…推定値補正部
３６…周辺画像領域判別部
３７…補間方式選択部
Ａ…補間位置
Ｆ…欠落画素を含む第１の二次元領域
Ｇ、Ｇ_Ｒ、Ｇ_Ｌ…欠落画素を含まない第２の二次元領域
Ｋ…欠落画素
Ｌａ…境界での画素間隔
Ｌｂ…センサチップ内での画素ピッチ
Ｐ…読み取り画素
Ｒｆ…参照画素
Ｓ…センサチップ

Claims (7)

1. 欠落画素の周辺画素から前記欠落画素の濃度の推定値を求める補間部と
   前記補間部で求めた推定値を濃度値とする欠落画素を含む第１の二次元領域内の画素の濃度の平均値である第１平均値と、前記欠落画素の近傍であって前記欠落画素を含まない第２の二次元領域の濃度の平均値である第２平均値とを求め、前記第１平均値と前記第２平均値との差がなくなるもしくは小さくなるように、前記第１の二次元領域内の欠落画素に係る前記推定値を補正する補正部と
   を有する
   ことを特徴とする画素補間装置。
2. 欠落画素の周辺がスクリーン画像領域か否かを判別する判別部を備え、
   前記判別部によって周辺がスクリーン画像領域であると判定された欠落画素については前記補間部で求めた推定値を前記補正部で補正した値をその欠落画素の濃度値とし、前記判別部によって周辺がスクリーン画像領域でないと判定された欠落画素については前記補間部で求めた推定値をその欠落画素の濃度値とする
   ことを特徴とする請求項１に記載の画素補間装置。
3. 処理対象の画像内における前記欠落画素の位置情報が予め与えられている
   ことを特徴とする請求項１または２に記載の画素補間装置。
4. 前記補間部は、欠落画素の近傍の一次元方向の周辺画素を参照して前記欠落画素に関する濃度の推定値を求める
   ことを特徴とする請求項１乃至３のいずれか１つに記載の画素補間装置。
5. 前記補正部は、前記第１平均値と前記第２平均値との差がなくなるもしくは小さくなるように、前記第１の二次元領域内の欠落画素に係る前記推定値を補正する動作として、前記第１平均値と前記第２平均値との差分を前記第１の二次元領域に含まれる画素数倍し、その値を前記第１の二次元領域内にある１または複数の欠落画素に分配し、該分配した値をその分配先の欠落画素の推定値に加算する処理を行う
   ことを特徴とする請求項１または２に記載の画素補間装置。
6. 所定方向の一次元に並ぶ複数画素分の読み取り領域を備えた複数のセンサチップが前記所定方向に直列に配置されかつ前記センサチップ同士の境界で欠落画素の生じるラインイメージセンサを有し、該ラインイメージセンサと原稿とを相対移動させて前記原稿を二次元に光学的に読み取る読取部と、
   前記読取部で原稿を読み取って得た画像データの欠落画素を補間する請求項１乃至５のいずれか１つに記載の画素補間装置と
   を有する画像読取装置。
7. 欠落画素の周辺画素から前記欠落画素の濃度の推定値を求め、
   前記推定値を濃度値とする欠落画素を含む第１の二次元領域内の画素の濃度の平均値である第１平均値と、前記欠落画素の近傍であって前記欠落画素を含まない第２の二次元領域の濃度の平均値である第２平均値とを求め、
   前記第１平均値と前記第２平均値との差がなくなるもしくは小さくなるように、前記第１の二次元領域内の欠落画素に係る前記推定値を補正する
   ことを特徴とする画素補間方法。