JP2018085654A - 光電変換装置、光電変換方法及び画像形成装置 - Google Patents

Abstract

【課題】読み取り画像上に現れる欠陥画素の影響を抑制する。【解決手段】位置特定部が、各画素で受光した光を電気信号に変換する光電変換部の画素のうち、異常レベルの電気信号を出力する欠陥画素を検出し、少なくとも光電変換部上の欠陥画素の位置情報を保持する。補間判定部は、欠陥画素を補間処理した際に、正常な補間処理結果が得られるか否かを、欠陥画素の周囲の画素の画素値に基づいて判定し、欠陥画素の電気信号を正常レベルの電気信号に近似する補間処理を実行するか否かの補間判定処理を行う。そして、補間処理部が、補間処理を実行するとの判定結果が得られた欠陥画素に対して画素補間処理を行う。【選択図】図６

Description

本発明は、光電変換装置、光電変換方法及び画像形成装置に関する。

今日において、撮像素子の欠陥画素で生成された異常な画像データを、欠陥画素の周囲の画素からの画像データを用いて補間する補間処理が知られている。例えば、特許文献１（特開２０１２−１０５０６３号公報）には、画像のＲＴＳノイズ（Random Telegraph Signal Noise）を低減することを目的として、周辺画素平均値のショットノイズ量よりも対象画素のノイズ量が高い場合に、補正対象として補間処理する画像処理装置が開示されている。

しかし、従来の補間処理は、欠陥画素が文字等の細い縦線部分又は模様にかかる場合に、誤った値に置き換えてしまう等、欠陥画素の影響を除去できない問題があった。

また、特許文献１に開示されている画像処理装置で用いられている判断条件を、リニアセンサに適用した場合、補正対象でない画素の画像データを補正してしまい、視覚的に縦スジが発生するおそれがある。また、特許文献１に開示されている画像処理装置は、平均化したレベルのショットノイズ量で補間処理を行うか否かの判定を行う。このため、文字等の細い縦線部分又は模様部分の読み込みが、欠陥画素で行われる場合に、結果的に補間処理が不要であるにも関わらず補間処理が行われ、欠陥画素からの画像データが好ましくない方向に補間処理されて出力される問題がある。

本発明は、上述の課題に鑑みてなされたものであり、画像上の欠陥画素の影響を抑制することができるような光電変換装置、光電変換方法及び画像形成装置の提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、各画素で受光した光を電気信号に変換する光電変換部と、画素のうち、異常レベルの電気信号を出力する欠陥画素を検出し、少なくとも光電変換部上の欠陥画素の位置情報を保持する位置特定部と、欠陥画素を補間処理した際に、正常な補間処理結果が得られるか否かを、欠陥画素の周囲の画素の画素値に基づいて判定し、欠陥画素の電気信号を正常レベルの電気信号に近似する補間処理を実行するか否かの補間判定処理を行う補間判定部と、補間処理を実行するとの判定結果が得られた欠陥画素に対して画素補間処理を行う補間処理部とを有する。

本発明によれば、画像上の欠陥画素の影響を抑制することができるという効果を奏する。

図１は、第１の実施の形態のＭＦＰの横断面図である。 図２は、第１の実施の形態のＭＦＰに設けられている読み取り装置の横断面図である。 図３は、欠陥画素により画像上に現れるＲＴＳノイズを説明するための図である。 図４は、周辺画素にコントラストが存在する場合において、画像に対する欠陥画素の現れ方を説明するための図である。 図５は、リニアセンサに、周辺画素平均値のショットノイズ量よりも対象画素のノイズ量が高い場合に補間処理を行う補間手法を適用した場合の問題点を説明するための図である。 図６は、第１の実施の形態のＭＦＰに設けられている光電変換部のブロック図である。 図７は、補間判定部で行われる補間判定処理及び補間処理部で行われる補間処理が実行されるタイミングを説明するための図である。 図８は、補間判定部が補間判定処理で行う演算動作を説明するための図である。 図９は、補間判定処理の流れを示すフローチャートである。 図１０は、補間処理部のブロック図である。 図１１は、対象パターン上でテンプレートを移動させながらＳＡＤ値を算出する動作を説明するための図である。 図１２は、補間処理動作の流れを示すフローチャートである。 図１３は、 第２の実施の形態のＭＦＰにおける補間判定部の補間判定動作の流れを示すフローチャートである。 図１４は、第５の実施の形態の補間処理動作の概要を説明するための図である。 図１５は、第６の実施の形態の補間処理動作の概要を説明するための図である。 図１６は、第７の実施の形態のＭＦＰに設けられている補間処理部のブロック図である。 図１７は、補間処理の妥当性を確認後の画像データの出力を行う第７の実施の形態の動作の流れを示すフローチャートである。 図１８は、第８の実施の形態におけるレベル差の判定動作の流れを示すフローチャートである。

まず、最初に適用分野の説明をする。光電変換装置及び光電変換方法は、画像の読み取りを行う機器の他、光の有無を感知して所定の情報処理を行う機器に適用可能である。具体的には、光電変換装置及び光電変換方法は、複合機（ＭＦＰ：Multifunction Peripheral）のリニアセンサ、カメラ装置又はビデオカメラ装置のオートフォーカス用のラインセンサ、インタラクティブ・ホワイトボード装置（電子黒板）上に書き込まれたれた文字、記号又は図形の読み取りを行うラインセンサ等に適用することができる。以下、一例として、光電変換装置、光電変換方法及び画像形成装置を適用したＭＦＰの説明をする。

（第１の実施の形態）
（ＭＦＰの構成）
まず、図１に、第１の実施の形態のＭＦＰを横から見た状態の図を示す。この図１は、ＭＦＰの本体を透視した状態の図となっている。この図１に示すように、ＭＦＰは、読み取り装置１及び本体２を有している。読み取り装置１は、自動原稿給送機構（ＡＤＦ：Auto Document Feeder）３、及び、スキャナ機構４を有している。

本体２内には、タンデム方式の作像部５、作像部５に給紙部１３から搬送路６を介して記録紙を供給するレジストローラ７、光書き込み装置８、定着搬送部９、及び、両面トレイ１０を有している。作像部５には、イエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の４色に対応する４本の感光体ドラム１１が並設されている。各感光体ドラム１１の周囲には、帯電器、現像器１２、転写器、クリーナ、及び、除電器を含む作像要素が配置されている。また、転写器と感光体ドラム１１との間には、両者のニップに挟持された状態で駆動ローラと従動ローラとの間に張架された中間転写ベルト１４が設けられている。

このように構成されたタンデム方式の画像形成装置では、ＹＭＣＫの各色に対応する感光体ドラム１１に光書き込みを行い、現像器１２で各色のトナー毎に現像し、例えばＹ，Ｍ，Ｃ，Ｋの順で中間転写ベルト１４上に１次転写する。そして、１次転写により４色が重畳したフルカラーの画像を記録紙に２次転写した後、定着して排紙する。これにより、フルカラーの画像を記録紙上に形成する。

（ＡＤＦ及びスキャナ機構の構成）
図２は、ＡＤＦ３及びスキャナ機構４の横断面図である。スキャナ機構４は、上面に原稿を載置するコンタクトガラス１５を備えている。また、スキャナ機構４は、原稿露光用の光源１６及び第１反射ミラー１７を備えた第１キャリッジ１８と、第２反射ミラー１９及び第３反射ミラー２０を備えた第２キャリッジ２４とを備えている。また、スキャナ機構４は、第３反射ミラー２０で反射された光を、光電変換部２１の受光領域上に結像させるためのレンズユニット２２を備えている。また、スキャナ機構４は、読み取り光学系等による各種の歪み補正用の基準白板２３、及び、シートスルー読取用スリット２４を備えている。スキャナ機構４は、光源１６からの照射光で照明した原稿からの反射光を、光電変換部２１で受光して電気信号（画像データ）に変換して出力する。

ＡＤＦ３は、コンタクトガラス１５に対して開閉可能となるように、図示しないヒンジ部材等を介して本体２に接続されている。ＡＤＦ３は、複数枚の原稿からなる原稿束２７を載置可能な原稿トレイ２８を備えている。また、このＡＤＦ３は、原稿トレイ２８に載置された原稿束２７から原稿を１枚ずつ分離して、シートスルー読取用スリット２５へ向けて自動給送する給送ローラ２９を含む分離給送部も備えている。

（原稿の読み取り動作）
このような読み取り装置１は、コンタクトガラス１５上に載置した原稿の読み取りを行うスキャンモード、及び、ＡＤＦ３により自動給送される原稿の読み取りを行うシートスルーモードを有している。なお、スキャンモード又はシートスルーモードによる画像読み取り前に、点灯された光源１６によって基準白板２３を照明し、反射光による画像を光電変換部２１で読み取る。そして、その１ライン分の画像データの各画素のレベルが均一なレベルになるように、シェーディング補正用データを生成して記憶する。記憶されシェーディング補正用データは、以下に説明するスキャンモード又はシートスルーモードで読み取られた画像データのシェーディング補正に用いられる。

スキャンモード時には、第１キャリッジ１８及び第２キャリッジ２４が、図示しないステッピングモータによって、矢印Ａ方向（副走査方向）に移動して原稿を走査する。このとき、コンタクトガラス１５から光電変換部２１の受光領域までの光路長を一定に維持するために、第２キャリッジ２４は、第１キャリッジ１８の１／２の速度で移動する。

同時に、コンタクトガラス１５上に載置された原稿の下面である画像面が、第１キャリッジ１８の光源１６によって照明（露光）される。すると、その画像面からの反射光が、第１キャリッジ１８の第１反射ミラー１７、第２キャリッジ２４の第２反射ミラー１９及び第３反射ミラー２０によって順次反射される。そして、第３反射ミラー２０による反射光束が、レンズユニット２２によって集束され、光電変換部２１の受光領域上に結像される。光電変換部２１は、１ライン毎に受光した光を光電変換して画像データを生成する。画像データは、デジタル化され、ゲイン調整が施されて出力される。画像の読み取りが完了した原稿は、図示しない排出口に排出される。

シートスルーモードの時には、第１キャリッジ１８及び第２キャリッジ２４が、シートスルー読取用スリット２５の下側へ移動して停止する。その後、ＡＤＦ３の原稿トレイ２８上に載置された原稿束２７の最下位の原稿から順次、給送ローラ２９によって矢印Ｂ方向（副走査方向）へ自動給送され、シートスルー読取用スリット２５の位置を原稿が通過する際に、その原稿の走査が行われる。

この際、自動給送される原稿の下面（画像面）が第１キャリッジ１８の光源１６によって照明される。すると、その画像面からの反射光が、第１キャリッジ１８の第１反射ミラー１７、第２キャリッジ２４の第２反射ミラー１９及び第３反射ミラー２０によって順次反射される。そして、第３反射ミラー２０による反射光束が、レンズユニット２２によって集束され、光電変換部２１の受光領域上に結像される。光電変換部２１は、１ライン毎に受光した光を光電変換して画像データを生成する。画像データは、デジタル化され、ゲイン調整が施されて出力される。画像の読み取りが完了した原稿は、図示しない排紙口に排紙される。

（欠陥画素によるＲＴＳノイズ）
ここで、光電変換部２１に欠陥画素が存在した場合に発生するＲＴＳノイズについて説明する。一例ではあるが、光電変換部２１は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の半導体撮像素子で形成される。このような光電変換部２１において、ＭＯＳ（Metal Oxide Semiconductor）トランジスタのチャネル内を移動するキャリアの１つがゲート絶縁膜等に存在するトラップ準位に捕獲されると、出力レベルが大きく変動し、画像にランダムテレグラフシグナルノイズ（以下、ＲＴＳノイズと称する）が生ずることが知られている。

図３（ａ）は、出力レベルの変動により、画素値の平均値から正負の方向それぞれ一定量離れたレベルに分布のピークが小さく現れる。そして、ＲＴＳノイズ量（σｒｔｓ）が大きい程、上述の一定量は大きくなる。

エリアセンサの場合、発生したＲＴＳノイズは、各フレーム画像に対して点状に現れる。現れたＲＴＳノイズは、フレーム毎にレベルが小さく、かつ、ランダムに変化する。このため、エリアセンサで発生したＲＴＳノイズは、画像上において、それほど目立たない。

これに対して、一列分（又は複数列分）の光電変換素子を備えたリニアセンサの場合、図３（ｂ）に示すように、ＲＴＳノイズを発生する画素が存在すると、縦に並ぶ点のレベル変化となって各フレーム画像上に現れる。また、図３（ａ）に示す正規のノイズ分布の範囲（σｓｈｔ）に対してＲＴＳノイズ（σｒｔｓ）がその範囲内に入っていたとしても、ＲＴＳノイズによる変化が同じ画素に集中するため、１枚の静止画上に縦線として現れる。

なお、このようなＲＴＳノイズは、光電変換部２１の画素毎のＭＯＳトランジスタの構成により、色単独で発生（各色のＭＯＳトランジスタで個々に発生）する。または、ＲＴＳノイズは、全色チャンネルで同じ位置に発生（カラム構成等で全ての色共通のＭＯＳトランジスタで発生）する。

（周囲画素にコントラストがあるときの欠陥画素の影響）
図４（ａ）に、欠陥画素の左右に隣接する一つ又は複数の画素（周囲画素）にコントラストがある場合における、欠陥画素（ＲＴＳノイズ）による影響が現れた画像の一例を示す。この図４（ａ）は、３画素分の太さの縦線のうち、中心の縦線を形成する画素中に欠陥画素が存在する例を示している。また、この図４（ａ）は、欠陥画素の左右の画素で形成される縦線の濃度は均一ではなく、各縦線の間に濃淡（コントラスト）が存在する例を示している。また、比較例として、図４（ｂ）に、正常な画素で描画された３画素分の太さの縦線の画像を示す。

欠陥画素に隣接する画素において、濃度が濃い縦線が描画される場合、図４（ａ）に示すように欠陥画素の影響が現れ難くなり、欠陥画素で描画される縦線は、細線として認識可能となる。このように、欠陥画素が存在する場合でも、欠陥画素の周囲画素のパターンによっては、欠陥画素の影響が目立ち難くなる場合がある。また、上述の例は、欠陥画素及び左右の画素により描画される３本の縦線の間にコントラストが存在する例であった。このため、欠陥画素及び左右の画素により描画される３本の縦線が略々均一の場合、欠陥画素の影響が現れることが懸念される。

しかし、描画する画像の色が白色又は白色に近い色の場合、欠陥画素の影響は現れ難くなる。これは、ＲＴＳノイズは、欠陥画素内部の電気的な欠陥に起因して生ずるノイズであるため、欠陥画素の影響は、欠陥画素の周囲画素から出力される画像データの出力レベルが、所定以上のレベルになれば、図４（ｃ）に示すように、ショットノイズによって低減されるためである。

（リニアセンサに補間処理を適用した場合の問題点）
次に、一列分（又は複数列分）の１次元的な光電変換処理を行うリニアセンサに、周辺画素平均値のショットノイズ量よりも対象画素のノイズ量が高い場合に補間処理を行う補間手法を適用した場合の問題点を説明する。

この補間手法の場合、周囲画素の平均レベルＤａｖｅから換算したショットノイズ量σｓｈｔと、欠陥画素のノイズ量σｒｔｓの大小関係（σｒｔｓ＞σｓｈｔで補間対象）、かつ、周囲画素とレベル差が大きい場合に補間判定を行う。このため、図３（ａ）を用いて説明した欠陥画素の場合、「σｒｔｓ＜σｓｈｔ」となり、補正対象とならない。すなわち、上述の補間手法をリニアセンサに適用すると、図３（ａ）を用いて説明した欠陥画素に対しては補間処理が行われず、図５（ａ）に示すように補正すべき縦筋が補正されない問題を生ずる。

また、仮にσｒｔｓ＜σｓｈｔとなることで、図５（ａ）に示す縦筋の補間処理を行った場合でも、図４（ａ）を用いて説明したコントラストが各縦線の間に存在する場合、図４（ａ）に示した３本の縦線のうち、中央の縦線に対応する画素を補間対象としてしまう。補間画素のレベルは、周辺画素の平均値又は中央値に置換する。このため、中央の縦線に対応する画素のレベルが、周囲画素の平均値又は中央値に置き換わり、図５（ｂ）に示すように３本の縦線の中央に白線が存在する画像となる不都合を生ずる。これは、欠陥画素の補間処理が、却って欠陥画素の部分を目立たせる結果となったことを意味している。

実施の形態のＭＦＰでは、光電変換部２１において、欠陥画素の影響が現れる部分を選択的に補正することで、画像上の欠陥画素の影響を軽減している。また、ＲＴＳノイズを生ずる欠陥画素の他、「白キズ」が生じている欠陥画素に対しても、影響が現れる部分を選択的に補正することで、画像上の欠陥画素の影響を軽減している。

なお、「白キズ」とは、ＣＭＯＳイメージセンサ等において異常な暗電流が発生し、他の画素より大きいオフセットを画像に生ずる、フォトダイオード上の欠陥である。画素に白キズが存在する場合、全てのラインでオフセットが大きくなる。このため、リニアセンサの画素に白キズが存在すると、画像に縦線状のノイズが現れる不都合を生ずる。白キズは、フォトダイオード単位で発生するため、画素単独で発生する。

（光電変換部のハードウェア構成）
図６に、光電変換部２１のブロック図を示す。この図６に示すように、光電変換部２１は、撮像部３０（光電変換部の一例）、位置特定部３１、補間判定部３２及び補間処理部３３を有している。撮像部３０〜補間処理部３３のうち、一部又は全部が集積化されている。一例として、撮像部３０〜補間処理部３３が全て、一つのＩＣ（Integrated Circuit）チップに集積化されている。または、撮像部３０とは別に、位置特定部３１〜補間処理部３３を集積化し、集積化した位置特定部３１〜補間処理部３３と撮像部３０を、一つのパッケージに封止し、見かけ上、一つのＬＳＩ（Large-Scale Integration）とした、いわゆるマルチチップとなっている。なお、これらは一例であり、この他、撮像部３０及び位置特定部３１を集積化し、後段の補間判定部３２に接続する等、集積化又はマルチチップ化は、任意の組み合わせで行えばよい。

なお、位置特定部３１〜補間処理部３３は、ハードウェアであることとして説明を進めるが、位置特定部３１〜補間処理部３３のうち、全部又は一部をソフトウェアで実現してもよい。ソフトウェアで実現する場合、位置特定部３１〜補間処理部３３は、例えば補間処理プログラム等のコンピュータ装置で読み取り及び実行が可能なコンピュータプログラムとして提供される。この補間処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、補間処理プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、補間処理プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。

光電変換部２１は、一例ではあるが、一列分（又は複数列分）の光電変換素子（画素）を備えたリニアセンサとなっている。撮像部３０は、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサ等の半導体撮像素子となっている。

（補間処理動作）
このような光電変換部２１において、撮像部３０は、ＲＧＢ（赤緑青）の色チャンネル毎に設けられており、各色の画像データを生成する。位置特定部３１は、例えば暗時画像を所定時間取得し、レベル変動又は標準偏差が大きい欠陥画素を検出する。そして、位置特定部３１は、検出した欠陥画素が属する色チャンネルを示す色情報、及び、撮像部３０上における欠陥画素の物理的な位置を示すアドレス情報を記憶する。

補間判定部３２は、撮像部３０から供給される画像データのうち、位置特定部３１に記憶されている欠陥画素の色情報及びアドレス情報に対応する色の画素の画像データの分布及びレベルを、欠陥画素の周囲画素の画像データに基づいて検出する。そして、補間判定部３２は、画像データの分布及びレベルが所定の条件を満たす欠陥画素を、補間対象と判定する。補間処理部３３は、補間判定部３２で補間対象と判定された欠陥画素に対して補間処理を行う。光電変換部２１は、このような補間処理を、毎ライン実行する。

（補間判定処理及び補間処理のタイミング）
図７は、補間判定部３２で行われる補間判定処理及び補間処理部３３で行われる補間処理が実行されるタイミングを説明するための図である。補間判定処理及び補間処理は、図７に示すように、補間判定部３２又は補間処理部３３に欠陥画素の画像データが供給されるタイミングで、順次、行われる。換言すると、欠陥画素に対する補間判定処理及び補間処理は、時系列で実行される。

図７の例は、第４番目の画素及び第２２番目の画素が、それぞれ欠陥画素であり、第４番目の画素及び第２２番目の画素からの画像データが、補間判定部３２に供給されるタイミングで補間判定処理が行われ、補間判定結果に基づいて、補間処理部３３で欠陥画素からの画像データが、欠陥画素の周囲画素の画像データのレベル等に基づいて補間処理される様子を示している。

このように、補間判定処理及び補間処理を時系列で実行することで、１ライン分の画像データを、全て記憶するメモリを不要とすることができる。すなわち、図６に示すように、補間処理部３３に設けるメモリ３４として、補間判定処理の演算及び補間処理に必要な周囲画素の画像データを記憶可能な小容量のメモリ（数画素分の容量のメモリ）を設ければよい。このため、ＭＦＰの製造費用の削減に貢献することができる。

（補間判定処理で行う演算動作）
図８は、補間判定部３２が補間判定処理で行う演算動作を説明するための図である。補間判定部３２は、画像の１ライン毎に、各欠陥画素の周囲画素が、濃度の濃いベタ領域に相当するか否かを判断する。図８の例は、欠陥画素の左右５画素を、それぞれ周囲画素として濃度の濃いベタ領域に相当するか否かを判断する例を示している。なお、この例では、欠陥画素の左右５画素を演算対象の画素として説明を行うが、欠陥画素の左右２画素、左右３画素、左右８画素等でもよい。

補間判定部３２は、欠陥画素の左側（Ｌ：Ｌｅｆｔ）に隣接する５画素で形成される画像データの最大値及び最小値の差分値ΔＬを、ＲＧＢの色毎に算出する（ΔＲＬ、ΔＧＬ、ΔＢＬ）。また、補間判定部３２は、欠陥画素の右側（Ｒ：Ｒｉｇｈｔ）に隣接する５画素で形成される画像データの最大値及び最小値の差分値ΔＬを色毎に算出する（ΔＲＲ、ΔＧＲ、ΔＢＲ）。

補間判定部３２は、この差分値の演算により、欠陥画素の周囲画素のレベル変化の度合いを算出している。算出した差分値が大きいほど、画像データのレベル変化が大きいことを意味する。補間判定部３２は、算出した差分値が大きい場合、画像データのレベル変化が大きく、欠陥画素の周囲画素にコントラストが存在し、不均一なパターンの画像が形成されるものと判断する。

また、補間判定部３２は、欠陥画素の左側（Ｌ）に隣接する５画素で形成される画像データの平均値Ｌａｖｅを、ＲＧＢの色毎に算出する（ＲＬａｖｅ、ＧＬａｖｅ、ＢＬａｖｅ）。また、補間判定部３２は、欠陥画素の右側（Ｒ）に隣接する５画素で形成される画像データの平均値Ｒａｖｅを、ＲＧＢの色毎に算出する（ＲＲａｖｅ、ＧＲａｖｅ、ＢＲａｖｅ）。この平均値は、周囲画素の濃度を示している。補間判定部３２は、平均値が大きいほど、低濃度（白側）であると判断する。

（補間判定動作）
補間判定部３２は、周囲画素の差分値及び平均値を用いることで、以下に説明するように、欠陥画素に対する影響度を精度よく把握し、補間処理の有無を判定することができる。図９は、補間判定処理の流れを示すフローチャートである。このフローチャートに示すように、補間判定部３２は、上述した欠陥画素の周囲画素の最大値及び最小値の差分値、及び、周囲画素の平均値を算出し（ステップＳ１）、差分値が所定の第１の閾値以下であるか否かを判別する（ステップＳ２）。

差分値が第１の閾値よりも大きい場合（ステップＳ２：Ｎｏ）、補間判定部３２は、欠陥画素の周囲の画像領域は、例えば模様又はパターン領域等のコントラストのある画像領域であるものと判断する。図４（ａ）を用いて上述したように、コントラストのある画像領域では、画素異常による欠陥画素の影響は現れ難くなる。また、差分値が第１の閾値よりも大きいということは、周囲画素で形成される画像は、低濃度（白側＝白色又は白色に近い色）であり、欠陥画素の影響が現れ難いことを意味する。このため、差分値が第１の閾値よりも大きい場合、補間判定部３２は、ステップＳ５において、補間処理は実施しないと判定し、この判定結果を補間処理部３３に供給する。

一方、差分値が第１の閾値以下の場合（ステップＳ２：Ｙｅｓ）、補間判定部３２は、ステップＳ３において、平均値が所定の第２の閾値以下であるか否かを判別する。図４（ｃ）を用いて説明したように、周囲画素の画像データが特定のレベル（第２の閾値）よりも大きくなると、画素の内部の電気的起因で生ずるノイズの影響は、ショットノイズによって埋もれて、画像上に現れ難くなる。反対に、周囲画素の画像データが特定のレベル以下の場合、ノイズの影響は、ショットノイズに埋もれることなく、画像上に現れる。

このため、補間判定部３２は、平均値が第２の閾値以下である場合（ステップＳ３：Ｙｅｓ）、ノイズの影響がショットノイズに埋もれることがないため、ステップＳ４において、補間処理を行うと判定し、この判定結果を補間処理部３３に供給する。これに対して、補間判定部３２は、平均値が第２の閾値よりも大きい場合（ステップＳ３：Ｎｏ）、ノイズの影響がショットノイズに埋もれるため、ステップＳ５において、補間処理は実施しないと判定し、この判定結果を補間処理部３３に供給する。

（補間処理動作）
次に、補間処理部３３における補間処理動作を説明する。図１０は、補間処理部の詳細なブロック図である。この図１０に示すように、補間処理部３３は、上述の数画素分の容量のメモリ３４と共に、相関度算出部４１及び置換処理部４２を有している。

補間処理部３３は、一例として図１１に示すように、補間判定部３２により補間対象と判定された欠陥画素の前後１６画素及び前後３ラインを、探索領域（対象パターン）として補間候補となる画素を探索する。また、補間処理部３３は、欠陥画素、欠陥画素の前後２画素及びこの前後２画素の上下の２画素で形成される３ライン分の領域をテンプレートとして設定する。そして、補間処理部３３は、図１１に示すように、テンプレートを１画素ずつ移動しながら上述の対象パターン（欠陥画素の前後１６画素及び前後３ラインの画像データ）と比較し、対象パターンの各部とテンプレートの相関度を算出する。

相関度としては、一例としてＳＡＤ（Sum of Absolute Difference）値を用いる。例えば、図１１に示す例の場合、補間処理部３３は、以下の数式（例としてＳＡＤ値Ｓ１〜Ｓ２４を求める場合）に基づいて、２４個分のＳＡＤ値を算出する。そして、補間処理部３３は、一番小さいＳＡＤ値（＝最大の相関度）を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理する。

なお、以下の数式及び図１１において、「Ｓ」はＳＡＤ値を意味する。「Ｓ１」は、１つ目のＳＡＤ値、Ｓ２４は、２４個目のＳＡＤ値を示す。「Ｐ」は、対象パターンの画素を意味する。「Ｐ１１」は、対象パターンの第１ライン目の第１番目の画素を、「Ｐ３２１」は、対象パターンの第１ライン目の第３２番目の画素を意味する。同様に、「Ｐ１３」は、対象パターンの第３ライン目の第１番目の画素を、「Ｐ３２３」は、対象パターンの第３ライン目の第３２番目の画素を意味する。また、「Ｔ」は、テンプレートの画素を意味する。「Ｔ１１」は、テンプレートの第１ライン目の第１番目の画素を、「Ｔ４１」は、テンプレートの第１ライン目の第４番目の画素を意味する。同様に、「Ｐ１３」は、対象パターンの第３ライン目の第１番目の画素を、「Ｐ４３」は、対象パターンの第３ライン目の第４番目の画素を意味する。

Ｓ１＝（Ｐ１１−Ｔ１１）＋（Ｐ１２−Ｔ１２）＋（Ｐ１３−Ｔ１３）＋（Ｐ２１−Ｔ２１）＋（Ｐ２２−Ｔ２２）＋（Ｐ２３−Ｔ２３）＋（Ｐ３１−Ｔ３１）＋（Ｐ３２−Ｔ３２）＋（Ｐ３３−Ｔ３３）・・・Ｓ２４＝（Ｐ２８１−Ｔ１１）＋（Ｐ２８２−Ｔ１２）＋（Ｐ２８３−Ｔ１３）＋（Ｐ２９１−Ｔ２１）＋（Ｐ２９２−Ｔ２２）＋（Ｐ２９３−Ｔ２３）＋（Ｐ３０１−Ｔ３１）＋（Ｐ３０２−Ｔ３２）＋（Ｐ３０３−Ｔ３３）

補間処理部３３は、このような数式に基づく演算処理を行うことで、ＳＡＤ値Ｓ１〜Ｓ２４を算出する。そして、例えばＳＡＤ値Ｓ２２の値が最小値の場合、この最小値を算出した対象パターンの部分の中心画素であるＰ２８２の画素を置換画素として、欠陥画素と置き換え処理する。

図１２は、このような補間処理動作の流れを示すフローチャートである。ステップＳ２１では、図１０に示す相関度算出部４１が、ＳＡＤ値の演算回数として「１」を、カウンタに設定する（ｎ＝１：ｎは演算回数）。すなわち、図１１に示す例の場合、相関度算出部４１は、計２４個のＳＡＤ値を算出する。このため、相関度算出部４１は、ステップＳ２１において、最初に、１回目のＳＡＤ値の演算動作であることを示す「１」をカウンタに設定する。なお、相関度算出部４１は、一つのＳＡＤ値の算出を完了する毎に、「１」→「２」→「３」・・・「２４」等のように、カウンタの値を一つずつインクリメントする。インクリメントのタイミングは、対象パターンに対してテンプレートを１画素移動するタイミングである。

次に、ステップＳ２２では、相関度算出部４１が、上述の数式に基づいて、ＳＡＤ値（Ｓｎ：ＳはＳＡＤ値の意、ｎは、算出されるＳＡＤ値の1〜２４の番号）を算出する。ステップＳ２３では、相関度算出部４１が、演算回数が２４回（ｎ＝２４：ｎは演算回数）となったか否かを判別する。上述のように、相関度算出部４１は、対象パターンに対してテンプレートを一つずつ移動しながら上述の演算を行う。このため、演算回数が２４回に満たない場合（ステップＳ２３：Ｎｏ）、ステップＳ２５に処理を進め、演算回数を一つインクリメントして（ｎ＝ｎ＋１）、ステップＳ２２に処理を戻す。そして、ステップＳ２２において、再度、ＳＡＤ値を算出する。

このようにして２４個のＳＡＤ値を算出すると（ステップＳ２３：Ｙｅｓ）、ステップＳ２４に処理が進み、図１０に示す置換処理部４２が、２４個数のＳＡＤ値のうち、最小値を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理（補間処理）して、図１２のフローチャートの処理を終了する。

このような第１の実施の形態のＭＦＰは、欠陥画素として検出された画素を補間処理するか否かを判定する補間判定部３２を有している。補間判定部３２は、欠陥画素として検出された画素の左右に隣接する複数の画素である周辺画素で形成される画像のコントラスト、及び画像データのレベルに基づいて、欠陥画素として検出された画素を補間処理するか否かを判定する。補間処理部３３は、この補間判定部３２により、補間処理を行うと判定された画素に対して、補間処理を行う。これにより、より正確に欠陥画素の補間処理を行うことができる。

（第２の実施の形態）
次に、第２の実施の形態のＭＦＰの説明をする。欠陥画素の影響は、欠陥画素が存在する色チャンネルにおいて、欠陥画素の左右のいずれか一方が濃度の濃い画像である場合、その影響が現れる。例えば、画像中に部分的に黒部分があり、その端部を欠陥画素で読み取る場合、欠陥画素の例えば右側は濃度が低い画像であるのに対し、欠陥画素の左側は濃度の濃い画像となるため、欠陥画素の影響が現れ易くなる。

このため、第２の実施の形態は、「欠陥画素の右側の周辺画素の画像データの差分値及び平均値」、及び、「欠陥画素の左側の周辺画素の画像データの差分値及び平均値」のうち、いずれか一方が、上述の補間判定の条件を満たす場合に、補間処理を実行する例である。なお、上述の第１の実施の形態と以下に説明する第２の実施の形態とは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複した説明は省略する。

図１３のフローチャートに、第２の実施の形態のＭＦＰにおける補間判定部３２の補間判定動作の流れを示す。この図１３において、ステップＳ１１では、補間判定部３２が、欠陥画素の左側に隣接する５画素分の画像データの「最大値及び最小値の差分値」及び「平均値」、欠陥画素の右側に隣接する５画素分の画像データの「最大値及び最小値の差分値」及び「平均値」を、それぞれ算出する。

ステップＳ１２では、補間判定部３２が、欠陥画素の左側に隣接する５画素に対応する差分値、又は、欠陥画素の右側に隣接する５画素に対応する差分値のうち、いずれか一方が、第１の閾値（Dth_diff）よりも小さいか否かを判別する。いずれか一方の差分値が、第１の閾値（Dth_diff）よりも大きいと判別した場合（ステップＳ１２：Ｎｏ）、補間判定部３２は、ステップＳ１５に処理を進め、欠陥画素に対する補間処理は行わないと判定して図１３のフローチャートの処理を終了する。

これに対して、いずれか一方の差分値が、第１の閾値（Dth_diff）よりも小さいと判別した場合（ステップＳ１２：Ｙｅｓ）、補間判定部３２は、ステップＳ１３に処理を進め、欠陥画素の左側に隣接する５画素に対応する平均値、又は、欠陥画素の右側に隣接する５画素に対応する平均値のうち、いずれか一方が、第２の閾値（Dth_ave）よりも小さいか否かを判別する。

いずれか一方の平均値が、第２の閾値（Dth_ave）よりも大きいと判別した場合（ステップＳ１３：Ｎｏ）、補間判定部３２は、ステップＳ１５に処理を進め、欠陥画素に対する補間処理は行わないと判定して図１３のフローチャートの処理を終了する。

これに対して、いずれか一方の平均値が、第２の閾値（Dth_ave）よりも小さいと判別した場合（ステップＳ１３：Ｙｅｓ）、補間判定部３２は、ステップＳ１４に処理を進め、欠陥画素に対する補間処理は行うと判定して図１３のフローチャートの処理を終了する。

このように、欠陥画素の右側に隣接する周辺画素、及び、血管画素の左側に隣接する周辺画素のうち、いずれか一方が、補間条件を満たす場合に補間処理を行う。これにより、より好ましい補間処理を行うことができる。

（第３の実施の形態）
次に、第３の実施の形態のＭＦＰの説明をする。例えば黄色のカラーパッチの読み取りを行う場合、Ｒチャンネル及びＧチャンネルでは高レベルの画像データ（濃度が薄い画像）が生成されるが、Ｂチャンネルでは低レベルの画像データ（濃度の濃い画像）が生成される。この場合、低レベルの画像データを生成するＢチャンネルに欠陥画素が生じていると、欠陥画素の影響が現れる画像データを用いて黄色のカラーパッチの読み取り画像が形成されるため、ＲＧＢの各画像から最終的に生成される濃度の薄い画像に対して、欠陥画素の影響が現れるおそれがある。

すなわち、本来、黄色の画像は、濃度の薄い画像であるため、欠陥画素の影響が現れ難いが、濃度の濃い色のチャンネルに欠陥画素が生じていた場合、ＲＧＢの各画像から最終的に生成される濃度の薄い画像に対して、欠陥画素の影響が現れるおそれがある。

このため、第３の実施の形態のＭＦＰの場合、補間判定部３２は、ＲＧＢのいずれかのチャンネルに存在する欠陥画素が、第１又は第２の実施の形態で説明した補間判定条件を満たす場合に、補間処理を行うと判定する。これにより、各色のチャンネルの画像データに対して漏れなく補間処理を行うことができる。

なお、上述の各実施の形態と第３の実施の形態との差異は、以上説明した点のみである。第３の実施の形態における、他の構成、動作及び効果は、上述の第１の実施の形態及び第２の実施の形態の説明を参照されたい。

（第４の実施の形態）
次に、第４の実施の形態のＭＦＰの説明をする。この第４の実施の形態のＭＦＰの場合、図６に示す撮像部３０の後段に、撮像部３０で形成された画像データを可変された利得で増幅する可変増幅回路が設けられている。この可変増幅回路の利得は、撮像状況等に応じて、ＭＦＰ１の制御部により可変制御される。また、制御部は、上述の第１の閾値及び第２の閾値のうち、少なくとも一方の閾値を、可変増幅回路の利得（ゲイン値）に応じて変更する。

補間判定部３２は、可変増幅回路に設定されている現在のゲイン値に応じて、上述の補間判定処理を行う。具体的には、例えば撮像部３０で濃度の濃い画像が撮像された場合、撮像部３０から出力される画像データのレベルは低レベルとなるため、高いゲイン値の利得で増幅されて出力される。このため、補間判定部３２は、可変増幅回路に高いゲイン値が設定されている場合は、補間処理を行うと判定する。

これに対して、撮像部３０で濃度の低い画像が撮像された場合、撮像部３０から出力される画像データのレベルは高レベルとなるため、低いゲイン値の利得で増幅されて出力される。このため、補間判定部３２は、可変増幅回路に低いゲイン値が設定されている場合は、補間処理を行わないと判定する。

このように、第４の実施の形態では、撮像部３０からの画像データを増幅する可変増幅回路の利得に基づいて補間処理を行うか否かの判定を行うことができ、利得変更処理等で生産性が低下する不都合を防止できる他、上述の各実施の形態と同様の効果を得ることができる。

（第５の実施の形態）
次に、第５の実施の形態のＭＦＰを説明する。例えばＲチャンネルに欠陥画素が存在する場合、Ｒチャンネルの欠陥画素に対応する画像データのみ補間処理を行うと、１色だけ補間処理を施すことから、３色で形成される画像に対して、補間処理による突発的な色味が加わり、画像上にノイズとして現れるおそれがある。このようなことから、第５の実施の形態のＭＦＰは、一つの色チャンネルの欠陥画素に対して補間処理を行う際に、他の色チャンネルの同じ画素も補間処理を行う。すなわち、補間処理を行う場合は、全ての色チャンネルで行う。

具体的には、図１４に示すように、Ｒチャンネルの第４番目の画素、Ｇチャンネルの第２６番目の画素、Ｂチャンネルの第１９番目の画素が、それぞれ欠陥画素とする。この場合、補間処理部３３の相関度算出部４１は、上述のように欠陥画素となっているＲチャンネルの第４番目の画素を補間処理する画素として、Ｒチャンネルの例えば第１０番目画素を検出したとする。置換処理部４２は、このＲチャンネルの第１０番目画素の画像データで、欠陥画素となっているＲチャンネルの第４番目画素の画像データを置換処理する。また、置換処理部４２は Ｇチャンネルの第４番目の画素の画像データを、Ｇチャンネルの第１０番目の画素の画像データで置換処理すると共に、Ｂチャンネルの第４番目の画素の画像データを、Ｂチャンネルの第１０番目の画素の画像データで置換処理する。

同様に、相関度算出部４１は、欠陥画素となっているＧチャンネルの第２６番目の画素を補間処理する画素として、Ｇチャンネルの例えば第１５番目画素を検出したとする。置換処理部４２は、このＧチャンネルの第１５番目画素の画像データで、欠陥画素となっているＧチャンネルの第２６番目画素の画像データを置換処理する。また、置換処理部４２は Ｒチャンネルの第２６番目の画素の画像データを、Ｒチャンネルの第１５番目の画素の画像データで置換処理すると共に、Ｂチャンネルの第２６番目の画素の画像データを、Ｂチャンネルの第１５番目の画素の画像データで置換処理する。

同様に、相関度算出部４１は、欠陥画素となっているＢチャンネルの第１５番目の画素を補間処理する画素として、Ｂチャンネルの例えば第３２番目画素を検出したとする。置換処理部４２は、このＢチャンネルの第３２番目画素の画像データで、欠陥画素となっているＢチャンネルの第１５番目画素の画像データを置換処理する。また、置換処理部４２は Ｒチャンネルの第１５番目の画素の画像データを、Ｒチャンネルの第３２番目の画素の画像データで置換処理すると共に、Ｇチャンネルの第１５番目の画素の画像データを、Ｇチャンネルの第３２番目の画素の画像データで置換処理する。

このように、全色チャンネル同時に補間処理を実行することで、補間の精度を向上させることができる他、上述の各実施の形態と同様の効果を得ることができる。

なお、全色チャンネルの平均値となる画像データで置換処理を行ってもよい。例えば、上述の例において、欠陥画素となっているＲチャンネルの第４番目の画素を補間処理する画素として、Ｒチャンネルの例えば第１０番目画素を検出した場合、ＲＧＢの各チャンネルの第１０番目画素の画像データの平均値で、ＲＧＢの各チャンネルの第４番目の画素の画像データを補間処理する。この場合でも、上述と同様の効果を得ることができる。

（第６の実施の形態）
次に、第６の実施の形態のＭＦＰを説明する。上述のように対象パターンとテンプレートとの相関度算出の結果、選定された部分の中心画素（置換画素）が、図１５に示すように別の欠陥画素であった場合、好ましい補間処理結果が得られないおそれがある。このため、第６の実施の形態では、補間処理部３３の相関度算出部４１が、対象パターンの探索領域の画像データに別の欠陥画素が含まれている場合、相関度算出から除外する。すなわち、相関度算出部４１が、対象パターンの探索領域の画像データに別の欠陥画素が含まれている場合、相関度算出動作をスキップして、欠陥画素が含まれていない探索領域で相関度の算出を行う。

具体的に説明すると、欠陥画素の位置は、図６に示す位置特定部３１に予め記憶されている。相関度算出部４１は、位置特定部３１に予め記憶されている欠陥画素の位置を参照し、探索領域に欠陥画素が含まれている場合は、相関度の算出を行うことなく、探索領域を対象パターン上の次の探索領域（欠陥画素が含まれていない探索領域）まで進め、相関度の算出を行う。

これにより、欠陥画素の補間精度の向上を図ることができる他、上述の各実施の形態と同様の効果を得ることができる。

（第７の実施の形態）
次に、第７の実施の形態のＭＦＰを説明する。この第７に実施の形態は、補間処理の妥当性を確認してから出力するようにした例である。図１６に、第７の実施の形態のＭＦＰに設けられている補間処理部３３のブロック図を示す。この図１６からわかるように、第７の実施の形態の場合、補間処理部３３の置換処理部４２の後段に、置換画素判定部５１を有している。

図１７は、このような補間処理の妥当性を確認後の画像データの出力を行う動作の流れを示すフローチャートである。ステップＳ３１では、相関度算出部４１が、位置特定部３１に記憶されている欠陥画素の位置情報に基づいて、探索領域に正常画素が含まれているか否かを判別する。探索領域の画素が全て欠陥画素である場合（ステップＳ３１：Ｎｏ）、補間処理を行うことなく、図１７のフローチャートの処理を終了する。

これに対して、探索領域の正常画素が含まれている場合（ステップＳ３１：Ｙｅｓ）、相関度算出部４１は、ステップＳ３２〜ステップＳ３５及びステップＳ３７の処理を行う。図１７のステップＳ３２〜ステップＳ３５及びステップＳ３７は、図１２のステップＳ２１〜ステップＳ２５に相当する。ステップＳ３２〜ステップＳ３５及びステップＳ３７では、図１２を用いて説明したように、相関度算出部４１が、対象パターン上でテンプレートを移動させながら例えば２４個のＳＡＤ値を算出する。そして、置換処理部４２が、最小のＳＡＤ値を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理（補間処理）を行う。

次に、テンプレートによる相関度算出の結果、選定された部分の中心画素（置換画素）が別の欠陥画素であった場合、置換後の画像データも好ましい画像データとはならない可能性が高い。このため、置換画素判定部５１は、位置特定ブロック３１に記憶されている欠陥画素の位置情報に基づき、置換画素が欠陥画素であるか否かを判別する（ステップＳ３６）。置換画素が欠陥画素であると判別した場合（ステップＳ３６：Ｎｏ）、置換処理部４２は、上述の最小値となるＳＡＤ値の次に小さな値となるＳＡＤ値（２番目に小さなＳＡＤ値：２番目に高い相関度）を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理（再補間処理）を行う（ステップＳ３８）。

置換画素判定部５１は、このような再補間処理に用いられた上述の中心画素が、欠陥画素でないと判別した場合に、 再補間処理された画素の画像データを出力する。これにより、図１７のフローチャートの処理が終了となる。なお、再補間処理に用いられた中心画素が欠陥画素である場合、ステップＳ３８において、３番目に小さなＳＡＤ値を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理が行われる。再補間処理に用いられた中心画素が欠陥画素ではないと判別されるまで、このような再補間処理の動作が繰り返し実行される。これにより、欠陥画素による補間失敗を防止でき、補間精度を向上させることができる他、上述の各実施の形態と同様の効果を得ることができる。

（第８の実施の形態）
次に、第８の実施の形態のＭＦＰの説明をする。上述のように対象パターン上でテンプレートを移動させて相関度を算出した結果、欠陥画素を選定された部分の中心画素（置換画素）に置き換え後、周囲の画素よりレベル差（ΔＤｃｏｌ＿＊：＊はＲＧＢ）がある場合は、補間処理が失敗している可能性が高い。このような不都合を防止するために、第８の実施の形態は、予め定めておいた第３の閾値（ΔＤｔｈ）に基づき、置換画素のレベル差を判定する。そして、レベル差（ΔＤｃｏｌ＿＊）が第３の閾値（ΔＤｔｈ）よりも小さい場合に、置換画素の画像データを出力する。なお、第８の実施の形態のＭＦＰの補間処理部３３も、図１６に示したように置換処理部４２の後段に、置換画素判定部５１を有するハードウェア構成となっている。

図１８は、このような第８の実施の形態におけるレベル差の判定動作の流れを示すフローチャートである。この図１８のステップＳ４１〜ステップＳ４４及びステップＳ４６は、図１２のステップＳ２１〜ステップＳ２５に相当する。ステップＳ４１〜ステップＳ４４及びステップＳ４６では、図１２を用いて説明したように、相関度算出部４１が、対象パターン上でテンプレートを移動させながら例えば２４個のＳＡＤ値を算出する。そして、置換処理部４２が、最小のＳＡＤ値を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理（補間処理）を行う。

次に、置換画素判定部５１が、置換画素の画像データのレベルと、周囲の画素の画像データのレベルとのレベル差（ΔＤｃｏｌ＿＊）が、第３の閾値（ΔＤｔｈ）よりも小さいか否かを判別する。

具体的には、置換画素判定部５１は、Ｄｃｏｌ＿＊（＊＝ＲＧＢ）を置換画素のレベルとして、以下の数式に基づいてレベル差（ΔＤｃｏｌ＿＊）を算出する。なお、以下の数式における「Ｔ」はテンプレートの意味であり、「Ｔ１２」は、図１１に示したようにテンプレートの第２ライン目の第１番目の画素を示している。同様に、「Ｔ２２」は、テンプレートの第２ライン目の第２番目の画素を、「Ｔ３２」は、テンプレートの第２ライン目の第３番目の画素を、「Ｔ４２」は、テンプレートの第２ライン目の第４番目の画素を、それぞれ示している。

ΔＤｃｏｌ＿＊＝（Ｄｃｏｌ＿＊）−（（Ｔ１２＿＊＋Ｔ２２＿＊＋Ｔ３２＿＊＋Ｔ４２＿＊）／４）

このような演算を行うこと算出されたレベル差（ΔＤｃｏｌ＿＊）が、第３の閾値（ΔＤｔｈ）よりも小さいと判別した場合（ステップＳ４５：Ｙｅｓ）、置換画素判定部５１は、ステップＳ４９で補間処理された画素の画像データをそのまま出力して、図１８のフローチャートの処理を終了する。

これに対して、いずれかの色チャンネルで、レベル差（ΔＤｃｏｌ＿＊）が、第３の閾値（ΔＤｔｈ）よりも大きいと判別した場合（ステップＳ４５：Ｎｏ）、置換処理部４２は、ステップＳ４７に処理を進め、上述の最小値となるＳＡＤ値の次に小さな値となるＳＡＤ値（２番目に小さなＳＡＤ値）を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理（再補間処理）を行う。

置換画素判定部５１は、このような再補間処理に用いられた上述の中心画素に対応するレベル差（ΔＤｃｏｌ＿＊）が、第３の閾値（ΔＤｔｈ）よりも小さいと判別した場合に、 再補間処理された画素の画像データを出力する。これにより、図１８のフローチャートの処理が終了となる。

なお、再補間処理に用いられた中心画素に対応するレベル差（ΔＤｃｏｌ＿＊）が、第３の閾値（ΔＤｔｈ）よりも大きい場合、ステップＳ４７において、３番目に小さなＳＡＤ値を算出した対象パターンの部分の中心画素を置換画素として、欠陥画素と置き換え処理が行われる。再補間処理に用いられた中心画素に対応するレベル差（ΔＤｃｏｌ＿＊）が、第３の閾値（ΔＤｔｈ）よりも小さいと判別されるまで、このような再補間処理の動作が繰り返し実行される。

これにより、ゴミ等による補間失敗を防止でき、補間精度を向上させることができる他、上述の各実施の形態と同様の効果を得ることができる。

最後に、上述の各実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 複合機（ＭＦＰ）の読み取り装置
２ ＭＦＰの本体
２１ 光電変換部
３０ 撮像部
３１ 位置特定部
３２ 補間判定部
３３ 補間処理部
３４ メモリ
４１ 相関度算出部
４２ 置換処理部
５１ 置換画素判定部

特開２０１２−１０５０６３号公報

Claims (13)

1. 各画素で受光した光を電気信号に変換する光電変換部と、
   前記画素のうち、異常レベルの電気信号を出力する欠陥画素を検出し、少なくとも前記光電変換部上の欠陥画素の位置情報を保持する位置特定部と、
   前記欠陥画素を補間処理した際に、正常な補間処理結果が得られるか否かを、前記欠陥画素の周囲の画素の画素値に基づいて判定し、前記欠陥画素の電気信号を正常レベルの電気信号に近似する補間処理を実行するか否かの補間判定処理を行う補間判定部と、
   前記補間処理を実行するとの判定結果が得られた前記欠陥画素に対して画素補間処理を行う補間処理部と
   を有する光電変換装置。
2. 前記光電変換部は、前記各画素を一次元に配列した画素列を、所定の色チャンネル分有すること
   を特徴とする請求項１に記載の光電変換装置。
3. 前記補間判定部は、前記位置特定部からの位置情報に基づき、前記欠陥画素に対応する前記電気信号が供給された際に、補間処理を実行するか否かの判定を行い、
   前記補間処理部は、前記補間判定部の判定結果に基づいて、前記欠陥画素に対応する前記電気信号の補間処理を行うこと
   を特徴とする請求項１又は請求項２に記載の光電変換装置。
4. 前記補間判定部は、前記欠陥画素の左側に隣接する複数画素の電気信号の値、及び、前記欠陥画素の右側に隣接する複数画素の電気信号の値の最大値と最小値の差分値、及び、平均値を算出し、前記差分値が第１の閾値よりも大きな値である場合、補間処理は実行しないと判定し、前記差分値が第１の閾値以下であり、かつ、前記平均値が第２の閾値よりも大きな値である場合、補間処理は実行しないと判定し、前記差分値が第１の閾値以下であり、かつ、前記平均値が第２の閾値以下である場合、補間処理を実行すると判定すること
   を特徴とする請求項２又は請求項３に記載の光電変換装置。
5. 前記補間判定部は、前記欠陥画素の左側に隣接する複数画素の電気信号、又は、前記欠陥画素の右側に隣接する複数画素の電気信号のうち、いずれか一方の電気信号の前記差分値が前記第１の閾値以下であり、かつ、前記平均値が前記第２の閾値以下である場合に、補間処理を実行すると判定すること
   を特徴とする請求項４に記載の光電変換装置。
6. 前記補間判定部は、いずれかの前記色チャンネルに存在する欠陥画素に対応する補間処理を実行する場合、他の色チャンネルにおける、前記欠陥画素に対応する画素も補間処理すること
   を特徴とする請求項２から請求項５のうち、いずれか一項に記載の光電変換装置。
7. 前記第１の閾値及び前記第２の閾値を、前記光電変換部からの電気信号を増幅する可変増幅回路に設定されている利得に応じて変更する制御部を、さらに備え、
   前記補間判定部は、前記可変増幅回路に設定されている利得に応じて、前記補間判定処理を行うこと
   を特徴とする請求項１から請求項６のうち、いずれか一項に記載の光電変換装置。
8. 前記補間処理部は、前記欠陥画素を含む前記画素列と、前後の一列又は複数の画素列からなる対象パターン上で、前記対象パターンの部分的な大きさのテンプレートを、前記対象パターンの端部から列方向に沿って、少なくとも１画素ずつ移動させながら、対象パターンとテンプレートとの相関度を算出し、最大の相関度を算出した前記対象パターンの部分の中心画素を置換画素として用いて、前記欠陥画素を補間処理すること
   を特徴とする請求項１から請求項７のうち、いずれか一項に記載の光電変換装置。
9. 前記補間処理部は、前記位置特定部で保持されている欠陥画素の位置情報に基づいて、前記中心画素が欠陥画素であることが判別された場合、相関度の算出を行うことなく、前記中心画素が欠陥画素とならない位置まで前記テンプレートを移動させて前記相関度の算出を行うこと
   を特徴とする請求項８に記載の光電変換装置。
10. 前記補間処理部は、前記位置特定部で保持されている欠陥画素の位置情報に基づいて、前記欠陥画素の補間処理に用いる前記置換画素が欠陥画素であるか否かを判別する置換画素判定部を有し、前記置換画素判定部で、前記置換画素が欠陥画素であると判定された場合、次に高い相関度が検出された、前記対象パターンの部分の中心画素を置換画素として用いて、前記欠陥画素を補間処理すること
    を特徴とする請求項８に記載の光電変換装置。
11. 前記補間処理部は、前記置換画素の電気信号のレベルと、前記置換画素の周囲の画素の電気信号のレベルとのレベル差が、第３の閾値よりも小さいか否かを判別することで、前記置換画素の妥当性を判定する置換画素判定部を有し、前記置換画素判定部で、前記レベル差が前記第３の閾値よりも小さいと判定された場合に、前記置換画素で生成された電気信号を出力し、前記置換画素判定部で、前記レベル差が前記第３の閾値よりも大きいと判定された場合は、次に高い相関度が検出された、前記対象パターンの部分の中心画素を置換画素として用いて前記欠陥画素を補間処理すること
    を特徴とする請求項８に記載の光電変換装置。
12. 位置特定部が、各画素で受光した光を電気信号に変換する光電変換部の前記画素のうち、異常レベルの電気信号を出力する欠陥画素を検出し、少なくとも前記光電変換部上の欠陥画素の位置情報を保持し、
    補間判定部が、前記欠陥画素を補間処理した際に、正常な補間処理結果が得られるか否かを、前記欠陥画素の周囲の画素の画素値に基づいて判定し、前記欠陥画素の電気信号を正常レベルの電気信号に近似する補間処理を実行するか否かの補間判定処理を行い、
    補間処理部が、前記補間処理を実行するとの判定結果が得られた前記欠陥画素に対して画素補間処理を行う
    光電変換方法。
13. 載置台に載置された原稿に光を照射し、反射光を光電変換部で受光して、原稿の読み取りを行う画像形成装置であって、
    前記光電変換部の画素のうち、異常レベルの電気信号を出力する欠陥画素を検出し、少なくとも前記光電変換部上の欠陥画素の位置情報を保持する位置特定部と、
    前記欠陥画素を補間処理した際に、正常な補間処理結果が得られるか否かを、前記欠陥画素の周囲の画素の画素値に基づいて判定し、前記欠陥画素の電気信号を正常レベルの電気信号に近似する補間処理を実行するか否かの補間判定処理を行う補間判定部と、
    前記補間処理を実行するとの判定結果が得られた前記欠陥画素に対して画素補間処理を行う補間処理部と
    を有する画像形成装置。