JP2004072528A

JP2004072528A - Method and program for interpolation processing, recording medium with the same recorded thereon, image processor and image forming device provided with the same

Info

Publication number: JP2004072528A
Application number: JP2002230491A
Authority: JP
Inventors: Teruhiko Matsuoka; 松岡　輝彦
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-08-07
Filing date: 2002-08-07
Publication date: 2004-03-04

Abstract

<P>PROBLEM TO BE SOLVED: To provide an interpolation processing method for minimizing the occurrence of an interpolation error and synthesizing a high quality image, an interpolation processing program and a recording medium with the interpolation processing program recorded thereon and further to provide an image processor for using the interpolation processing method to process an image and an image forming device provided with the image processor. <P>SOLUTION: A plurality of kinds of interpolation directions with an interpolation pixel as an origin are defined (a4), and a block pair consisting of two blocks respectively located at both interpolation direction destinations and having a position relation of being point symmetrical to each other with respect to the interpolation pixel as a symmetrical point is extracted for each of the interpolation directions (a5). A correlation between two blocks is calculated for each extracted pair of blocks (a6), and at least one interpolation direction is selected on the basis of the correlation (a7). Pixel data of the interpolation pixel is generated on the basis of the selected interpolation direction (a8). <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を構成する複数の画素の画素データを用いて補間処理を行い、補間画素の画素データを生成する補間処理方法、補間処理プログラムおよびこれを記録した記録媒体に関し、さらに前記補間処理方法によって補間画素の画素データを生成する画像処理装置および前記画像処理装置を備える画像形成装置に関する。
【０００２】
【従来の技術】
補間処理の対象となる画像には、静止画像と動画像とがある。このうち、動画像を出力するビデオテープレコーダや、ビデオ信号に基づいた画像を出力するビデオプリンタの一部には、インターレース走査方式が採用されている。
【０００３】
インターレース走査方式とは、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ：陰極線管）の画像表示方式のひとつであり、人間の視覚特性上の残像効果を利用したものである。この方式によると、動画像は、２枚のフィールドで構成される１枚のフレームが連続することによって映し出される。フィールドとは、飛び越し走査された水平走査線上に並ぶ画素によって構成される画像である。飛び越し走査とは、フィールドの奇数番目の走査線上、あるいは、偶数番目の走査線上のいずれかのみの走査を行うことをいい、１回目の走査によって生じた走査線間の隙間は、２回目の走査によって埋められる。この時間的にずれのある２回の走査によって構成される２枚のフィールドが、視覚特性上の残像効果によって、人間には１枚の画像として認識されるのである。
【０００４】
このようなインターレース走査方式による動画像（以下、「インターレース画像」という。）をＣＲＴ（陰極線管）などの表示装置に表示させる場合、１度に伝送する画素データの量は１フレームの半分の情報量であるので、スムーズな伝送を行うことができる。
【０００５】
インターレース画像を、表示装置に連続的に表示させる場合には特に問題はない。しかしながら、インターレース画像を一時停止させる場合のように、静止画像を表示する場合には問題が生じる。問題とは、２回に分けて伝送される２枚のフィールドを単純に合成して静止画像とすると、たとえば、画像中に表示される被写体が完全に静止していない場合には、フィールド間の時間上のずれによって、画像の連続性が損なわれ、合成された１枚の合成画像にずれが生じることである。この結果、表示される合成画像の品質が低下する。
【０００６】
また、表示装置に連続的に表示させる場合であっても、液晶テレビなどノンインターレース走査方式を採用する表示装置にインターレース画像を表示させる場合には、上述と同様の問題が生じる。なお、ノンインターレース走査方式とは、別名、順次走査方式と呼ばれ、走査線を飛び越さずに走査し、表示する方式である。
【０００７】
そこで、フィールド間の時間上のずれによって生じる画像の不連続性を排除するため、１枚のフィールドのみを用い、フィールド中の走査線間に補間画素の画素データを生成することが考えられる。これによって、画像の不連続性といった画像の劣化を防止することができ、高品質な１枚の画像を合成することができる。
【０００８】
以下、水平走査線間に補間画素の画素データを生成する補間技術について、図８〜図１６を参照して説明する。
【０００９】
図８は、インターレース画像を構成する１枚のフィールドを表す図である。図には、水平走査線上に並ぶ画素の画素データに基づいて表示されたひし形の画像Ｖが示されている。図９は、図８において〇印で示した部分Ｒの拡大図である。図１０〜図１２は、従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。なお、以下の説明において、Ｂ（０）は補間画素とともに、補間画素の画素データを表し、Ａ（ｎ）およびＣ（ｎ）は、補間画素Ｂ（０）の画素データを生成する際に参照される画素を表すとともに、その画素の画素データを表すものとする。なお、画素Ａ（ｎ），Ｃ（ｎ）は、補間画素Ｂ（０）に対して補間走査線に隣接する上下の水平走査線上に並ぶ画素である。ここで、ｎは補間画素Ｂ（０）を基準とした場合の、水平走査線方向の画素の配列位置番号を表している。
【００１０】
従来の補間技術の第１番目としては、図１０に示すように、補間走査線の上に位置する水平走査線上に並ぶ画素の画素データを、そのまま用いる方法である。すなわち、フィールドの奇数番目の走査線１、走査線３、走査線５、…に並ぶ画素の画素データの１つをそのまま補間走査線である偶数番目の走査線２、走査線４、…に並ぶ画素の画素データとする補間処理方法である。なお、補間走査線が奇数番目の走査線である場合には、偶数番目の走査線上に並ぶ画素の画素データを用いて補間処理を行い、補間画素の画素データを生成してもよい。この方法では、
Ｂ（０）＝Ａ（０）
として補間処理を行う。この方法によると、画像の垂直方向の解像度が２分の１となり、斜線などをうまく補間することができず、生成された補間画素の画素データを基に、ギザギザが極めて目立つ、低品質の画像が合成されてしまう。
【００１１】
第２番目の補間技術としては、図１１に示すように、補間走査線の上下に位置する２つの走査線上に並ぶ画素の画素データの平均値を算出する方法である。この方法では、
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２
として補間処理を行う。この方法によると、補間処理後において画像に生じるギザギザは若干目立たなくなるが、画像のエッジが劣化することによって、画像がぼけてしまう。
【００１２】
さらに、第３番目の補間技術としては、図１２に示すように、画像のエッジの方向に注目し、画素間の連続性を示す相関関係を求め、求めた相関関係に基づいて補間処理を行う方法である。具体的には、補間画素に対する上下方向だけでなく、右上から左下方向、および左上から右下方向の全部で３つの方向に位置する画素対の画素データを用いて、これらの画素対の画素データの差分絶対値を計算することによって相関関係を求める。画素対の画素データの差分絶対値が小さければ、画像の連続性は高く、滑らかであるといえる。したがって、相関関係が大きい部分に位置する画素の画素データから、補間画素の画素データを生成すると、滑らかな画像を得ることができるので、差分絶対値が最小となる方向に位置する画素対を抽出し、これらの画素データの平均値を求め、求めた平均値を補間画素の画素データとして生成する。この方法では、
Ｂ（０）＝（Ａ（−１）＋Ｃ（１））／２
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２
Ｂ（０）＝（Ａ（１）＋Ｃ（−１））／２
をそれぞれ算出し、算出した３つの画素データＢ（０）のうち、最小値を補間画素の画素データとして生成する。
【００１３】
このように、第３番目の補間技術によって補間処理すると、滑らかな画像を合成することができる。
【００１４】
しかしながら、第３番目の補間技術によっても、すべてのインターレース画像について高品質な画像が合成できるとは限らない。これは、画像には水平に限りなく近い傾斜エッジが存在する場合があり、このような傾斜エッジの検出は、前記の３方向における相関関係を求めるのみでは不十分だからである。
【００１５】
そこで、前述の第３番目の補間技術のように３方向だけでなく、たとえば、５つあるいは７つの方向における画素の相関関係を求めて補間処理を行う補間技術も提案されている。図１３は５方向において相関関係を検出する補間技術を説明するための図であり、図１４は７方向において相関関係を検出する補間技術を説明するための図である。このように、補間処理を行うために相関関係を求める方向を増やすことで、画素間に相関関係がある方向を正確に決定することができる。
【００１６】
しかしながら、これらの補間技術にも問題がある。それは、本来は関連性が低い画素間であるにもかかわらず、関連性が高いと判断されてしまう場合があることである。たとえば、図１４に示す画素Ａ（−３），Ｃ（３）、あるいは、画素Ａ（３），Ｃ（−３）のように、補間画素Ｂ（０）から遠い画素間における画素データは、補間画素の画素データとのデータ的な関連性は低い場合が多い。しかしながら、画素Ａ（−３），Ｃ（３）、あるいは、画素Ａ（３），Ｃ（−３）の画素データがたまたま一致するような場合は、この画素間の相関関係が大きいと判断されてしまう。そして、補間画素の画素データは、画素Ａ（−３），Ｃ（３）の画素データに基づいて生成される。このような場合は、補間画素Ｂ（０）の画素データは、隣接する画素の画素データとは不連続で全く異なる値が設定されてしまうこととなり、極めて目立つノイズとなってしまう。
【００１７】
そこで、このように補間処理がうまくいかず、妥当な画素データの生成が行われない「補間ミス」を低減すべく、改良された技術として、特開平５−１５３５６２号公報には、以下のような補間技術が提案されている。
【００１８】
当該技術において参照される画素は、図１４に示すように７方向に位置する１４個の画素である。この７方向の中から、補間画素の画素データを生成することとなる補間方向を所定の方法で決定している。
【００１９】
まず、図１４に示す画素Ａ（−１），Ｃ（１）、画素Ａ（０），Ｃ（０）、画素Ａ（１），Ｃ（−１）が含まれる領域を第１の領域とし、当該領域における３方向について相関性（相関関係）を判断する。そして、この第１の領域における斜め方向、すなわち、画素Ａ（−１）と画素Ｃ（１）とを結ぶ方向、あるいは、画素Ａ（１）と画素Ｃ（−１）とを結ぶ方向に相関関係があるか否かを判断し、相関関係がある場合には、画素Ａ（０）と画素Ｃ（０）とを結ぶ方向に対してさらに浅い角度を成す方向についても相関関係を判断する。浅い角度を成す方向とは、画素Ａ（１）と画素Ｃ（−１）、画素Ａ（２）と画素Ｃ（−２）および画素Ａ（３）と画素Ｃ（−３）、あるいは、画素Ａ（−１）と画素Ｃ（１）、画素Ａ（−２）と画素Ｃ（２）および画素Ａ（−３）と画素Ｃ（３）とを結ぶ方向である。すなわち、最初の段階で画素Ａ（１）と画素Ｃ（−１）に相関関係があると判断されたならば、画素Ａ（１），Ｃ（−１）、画素Ａ（２），Ｃ（−２）、画素Ａ（３），Ｃ（−３）を含む領域を第２の領域として、各画素間の相関関係を判断する。他方、画素Ａ（−１）と画素Ｃ（１）に相関関係があると判断されたならば、画素Ａ（−１），Ｃ（１）、画素Ａ（−２），Ｃ（２）、画素Ａ（−３），Ｃ（３）を含む領域を第３の領域として、各画素間の相関関係を判断し、最も相関関係が大きいものを補間方向として決定し、決定した補間方向に基づいて補間画素の画素データを生成している。
【００２０】
他の補間技術として、特開２０００−４４４９号公報に開示の補間技術がある。当該技術において参照される画素は、図１３に示すように５方向に位置する１０個の画素である。この５方向の中から、補間画素の画素データを生成することとなる補間方向を所定の方法で決定している。図１３に示すように、一方のフィールドの画素間の相関関係をＡ番目の水平走査線上に並ぶ各画素の画素データＡ（−２）〜Ａ（２）とＣ番目の水平走査線上に並び、Ａ番目の前述の画素に対応する画素の画素データＣ（−２）〜Ｃ（２）との差に基づき、各方向の相関関係を評価し、５方向のうち、相関評価指数の値が最も小さい方向を補間軸として定めている。なお、高域成分が最も多く含まれている画素成分に基づいて上下の水平走査線上に並ぶ所定画素の相関関係を評価して、補間軸を決定する技術、均等色空間の座標値に基づいて上下の水平走査線上に並ぶ所定画素の相関関係を評価して補間軸を決定する方法についても示されている。
【００２１】
【発明が解決しようとする課題】
前述の補間技術によれば、いずれの技術を用いても補間処理が必ずしも正確に行われない場合があり、結果として、生成された補間画素の画素データから成る画像には、本来滑らかな輪郭線であるべき部分に凹凸が発生したり、ノイズが目についたりする補間ミスが発生するといった問題がある。このような補間ミスが発生するのは、画像のエッジが常に、デジタル化された画像中の画素に沿って存在しているわけではないからである。
【００２２】
図１５は、画像のエッジとなる部分がデジタル化された画像中の画素の配列方向に沿って存在しない例を示す図である。図のように、エッジを示す直線Ｌは、画素Ａ（０）と画素Ａ（１）との境界部分から画素Ｃ（−１）と画素Ｃ（０）との境界部分を横切って存在している。画素Ａ（０），Ａ（１），Ｃ（−１），Ｃ（０）の画素データはそれぞれ、５、５、６、３であり、画素Ａ（３），Ｃ（−３）の画素データは、両者とも「Ｘ」であって、同じ値である。なお、「Ｘ」は、他の画素の画素データとの相関は低いものとする。このような画像は、印刷などと比べ、解像度があまり高くない画像、たとえば、インターレース走査方式を採用するＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｃｏｍｍｉｔｔｅｅ　Ｓｙｓｔｅｍ）方式によるテレビの画像を、デジタル化した画像として取り扱う場合に十分生じ得る。
【００２３】
図１５に示す画像において、前述の第１〜第３番目の補間技術によって、補間画素Ｂ（０）の画素データを生成する場合、補間処理は正確に行われない。すなわち、画素Ａ（０）と画素Ｃ（０）との差分絶対値は２であり、画素Ａ（１）と画素Ｃ（−１）との差分絶対値は１であるのに対して、画素Ａ（３）と画素Ｃ（−３）との差分絶対値は０であるため、差分絶対値が一番小さい画素Ａ（３）と画素Ｃ（−３）との相関関係が一番大きいものと判定されるからである。結果的に、相関関係が必ずしも大きくない画素Ａ（３）と画素Ｃ（−３）との画素データの平均値が補間画素Ｂ（０）の画素データとして生成されるため、補間画像の品質が低下する。
【００２４】
また、前述の特開平５−１５３５６２号公報に開示の技術によっても、当該画像の補間処理は正確に行われない。第１の領域の判定によって斜め方向に相関関係があるとされると、第２の領域の判定がなされ、最終的に、画素Ａ（３）と画素Ｃ（−３）を結ぶ方向が相関関係が大きいと判断されるので、同様の問題を有している。また、特開２０００−４４４９号公報に開示の技術を用いても同様に補間ミスが生じる。
【００２５】
さらに、前述とは逆の場合、すなわち、画素Ａ（３），Ｃ（−３）の画素データを用いて補間処理を行うのが正しい場合でも、補間ミスは生じる。
【００２６】
特開平５−１５３５６２号公報に開示の技術によると、次のような補間ミスが生じる。図１６は、図１５の画像を第１、第２および第３の領域に区切った図である。当該技術では、まず、図に示す画素Ａ（０），Ｃ（０）、画素Ａ（−１），Ｃ（１）、画素Ａ（１），Ｃ（−１）とから成る第１の領域における３方向の相関関係が求められるが、画素Ａ（−１），Ｃ（１）、画素Ａ（１），Ｃ（−１）において、相関関係が大きいと判断されない場合、たとえば、画素Ａ（−１）と画素Ｃ（１）との差分絶対値が１の場合には、画素Ａ（１）と画素Ｃ（−１）との差分絶対値と同じ値であるため、相関関係を示す方向はいずれでもないと判定される。したがって、この場合、次の判定ステップとしての第２および第３の領域における相関関係は判定されないため、画素Ａ（−３）と画素Ｃ（３）とを結ぶ方向、すなわち、浅い角度のエッジが検出されないことになる。したがって、画素Ａ（−３）と画素Ｃ（３）とを結ぶ方向のように、相関関係が最も大きい方向があっても、補間画素データの生成には用いられない場合が生じるのである。
【００２７】
また、別の問題として、前述の補間技術によると、１枚のフィールドのみを用いて１枚のフレームを合成しているため、補間が正しく行われても、所定の部分については画像が劣化してしまう場合がある。これは、フィールド間において、画像に時間的なずれがない部分についても補間処理を行うからである。すなわち、フィールド間で画素データの変動がほとんどなく、画像に動きの無いとされる部分は、他方のフィールドの画素の画素データをそのまま用いれば足りるところ、線形補間などの補間処理を行うために、画像がぼけてしまうからである。
【００２８】
本発明の目的は、補間ミスの発生を極力抑えることができ、高品質な画像を合成することができる補間処理方法、補間処理プログラムおよびこれを記録した記録媒体を提供することであり、さらに、前記補間処理方法を用いて画像を処理する画像処理装置およびこれを備えた画像形成装置を提供することである。
【００２９】
【課題を解決するための手段】
本発明は、複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理方法において、
前記補間画素を起点として双方向に向いた補間方向を複数種類定め、
同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記補間方向ごとに抽出し、
抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
求めた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択し、
選択した補間方向に関して前記補間画素を起点としたときに当該補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法である。
【００３０】
また本発明は、複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理部を備える画像処理装置において、
前記補間画素を起点として双方向に向いた補間方向を複数種類定める補間方向設定手段と、
同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記複数種類の補間方向ごとに抽出する抽出手段と、
前記抽出手段によって抽出されたブロック対ごとに、２つのブロック間の相関関係を求める相関関係導出手段と、
前記相関関係導出手段によって求められた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択する選択手段と、
前記選択手段によって選択された補間方向に関して前記補間画素を起点としたときに前記補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成する画素データ生成手段とを含むことを特徴とする画像処理装置である。
【００３１】
本発明に従えば、補間画素を起点として双方向に向いた複数種類の補間方向が定められる。これらの補間方向先に位置し、補間画素を対称点として互いに点対称の位置関係にある２つのブロックがブロック対として複数組抽出され、ブロック対ごとにブロック間の相関関係が求められる。この相関関係に基づいて、複数種類の補間方向の中から少なくとも１つの補間方向が選択される。そして、選択された補間方向に関し、補間画素を起点としたときに、補間方向先の双方にそれぞれ位置する画素が選択される。選択された画素の画素データに基づいて、補間画素の画素データが生成される。
【００３２】
このように、ブロック間の相関関係は、ブロック内の複数の画素を用いて求めることができるので、単純に１対の画素間で求める場合に比べると、信頼性の高い相関関係を求めることができる。したがって、信頼性の高い相関関係に基づいて、信頼性の高い補間方向を選択することができるので、精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００３３】
また本発明は、複数の画素から成る画像に対して前記画素間に設定された補間画素の画素データを、前記画像を構成する複数の画素データを用いて生成する補間処理方法において、
同じ数の画素から成る２つのブロックであって、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を複数組抽出し、
抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
求めた相関関係に基づいて、前記複数組のブロック対の中から少なくとも１つのブロック対を選択し、選択したブロック対の２つのブロック間の相関方向を求め、求めた相関方向を補間方向として定め、
定めた補間方向に関して前記補間画素を起点としたときに当該補間方向先に位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法である。
【００３４】
本発明に従えば、補間画素を対称点として互いに点対称の位置関係にある２つのブロックが、１つのブロック対として複数組抽出され、複数組のブロック対ごとにブロック間の相関関係が求められる。この相関関係に基づいて、複数組のブロック対の中から、少なくとも１つのブロック対が選択され、選択されたブロック対の２つのブロック間の相関関係に基づいて、複数組のブロック対の中から少なくとも１つのブロック対が選択される。選択されたブロック対の２つのブロック間の相関方向が求められ、この相関方向は補間方向として定められる。そして、定められた補間方向に関し、補間画素を起点としたときに、補間方向先に位置する画素が選択され、選択された画素の画素データに基づいて、補間画素の画素データが生成される。
【００３５】
このように、ブロック間の相関関係は、ブロック内の複数の画素を用いて求めることができるので、単純に１対の画素間で求める場合に比べると、信頼性の高い相関関係を求めることができる。したがって、信頼性の高い相関関係に基づいて、信頼性の高い補間方向を選択することができるので、精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００３６】
また本発明は、インターレース走査によって得られた１フィールドの画像に対して当該フィールドの水平走査線間に設定される補間走査線上に設定された補間画素の画素データを、前記水平走査線上に並ぶ複数の画素の画素データを用いて生成する補間処理方法において、
前記補間画素を起点として双方向に向いた補間方向を複数種類定め、
前記補間画素が設定されている補間走査線を挟む２つの水平走査線上にそれぞれ並ぶ同じ数の画素から成る２つのブロックであって、前記補間方向先の双方にそれぞれ位置し、前記補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対を前記補間方向ごとに抽出し、
抽出したブロック対ごとに、２つのブロック間の相関関係を求め、
求めた相関関係に基づいて、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択し、
選択した補間方向に関して前記補間画素を起点としたときに前記選択した補間方向先の双方にそれぞれ位置する画素を選択し、選択した画素の画素データに基づいて、前記補間画素の画素データを生成することを特徴とする補間処理方法である。
【００３７】
本発明に従えば、まず、フィールドの水平走査線間に設定される補間走査線上に並ぶ補間画素を起点として双方向に向いた複数種類の補間方向が定められる。補間走査線を挟む２つの水平走査線上に並ぶ２つのブロックであって、定められた補間方向先に位置し、補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成るブロック対が複数組抽出される。抽出されたブロック対ごとにブロック間の相関関係が求められ、求められた相関関係に基づいて、少なくとも１つの方向が補間方向として選択される。そして、選択された補間方向に関し補間画素が起点とされたときに、補間方向先に位置する画素が選択され、この選択された画素の画素データに基づいて、補間画素の画素データが生成される。
【００３８】
このように、ブロック間の相関関係は、ブロック内の複数の画素を用いて求めることができるので、単純に１対の画素間で求める場合に比べると、信頼性の高い相関関係を求めることができる。したがって、信頼性の高い相関関係に基づいて、信頼性の高い補間方向を選択することができるので、精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００３９】
また本発明は、前記２つのブロック間の相関関係は、
前記２つのブロックの画素の中から、前記補間画素を対称点として互いに点対称の位置関係にある画素対のうち、少なくとも１組の画素対を基準画素対として定め、前記基準画素対以外の画素を補助画素とし、
前記基準画素対の画素データの差分絶対値を算出するとともに、２つのブロック間で相互に対応関係にある補助画素間の画素データの差分絶対値を算出し、
算出した各差分絶対値に基づいて求めることを特徴とする。
【００４０】
本発明に従えば、２つのブロック間の相関関係は、補間画素を対称点として互いに点対称の位置関係にある基準画素対の画素データの差分絶対値と、基準画素以外の補助画素間の画素データの差分絶対値を算出する。
【００４１】
このように、基準画素間の相関関係を基準とし、さらに、補助画素間の相関関係を求めるので、１の画素間で相関関係を求める場合と比べると、ブロック間の相関関係の信頼性を、複数の補助画素間の相関関係によって高めることができる。
【００４２】
また本発明は、補助画素間の画素データの差分絶対値を算出するときは、補助画素間を結んで成る線分が、前記基準画素間を結んで成る線分とほぼ平行となるような補助画素間について画素データの差分絶対値を算出することを特徴とする。
【００４３】
本発明に従えば、基準画素間を結んで成る線分が、補助画素間を結んで成る線分にほぼ平行となるような補助画素間の画素データの差分絶対値を算出する。このように、補助画素間を結ぶ線分が基準画素を結ぶ線分とほぼ平行となるような補助画素を選んで相関関係を求めるので、基準画素間の相関関係に対応した相関関係を求めることができる。
【００４４】
また本発明は、前記複数種類の補間方向の中から少なくとも１つの補間方向を選択するときは、前記複数種類の補間方向を近似する方向ごとにグループ分けし、各グループの中でその補間方向先の双方に位置する画素間の相関関係が最も大きい補間方向を抽出し、各グループから抽出された補間方向の相関関係を比較して補間方向を選択することを特徴とする。
【００４５】
本発明に従えば、少なくとも１つの補間方向が選択されるときは、複数の補間方向が近似する方向ごとにグループ分けされ、各グループの中でその補間方向先の双方に位置する画素間の相関関係が最も大きい補間方向が抽出される。各グループから抽出された補間方向の相関関係が比較されて、補間方向が選択される。
【００４６】
このように、補間方向の選択には、近似する方向ごとにグループ分けされた各グループから１つの補間方向を抽出し、抽出した補間方向を比較し、抽出した補間方向の関係によって、１つの補間方向を選択するので、複数の補間方向の中から相関関係が一番大きいものを単純に選択する場合に比べて、相関方向に基づいた正確な補間方向を選択することができる。
【００４７】
また本発明は、補間処理対象のフィールドとこのフィールドと１フレームを構成する対応フィールドとの間の相関関係を求め、求めた相関関係が予め定める関係である場合は、前記補間方向の選択を行わずに、前記対応フィールドにおける前記補間画素に対応する画素の画素データを補間画素の画素データとして生成することを特徴とする。
【００４８】
本発明に従えば、まず、補間処理対象のフィールドと、このフィールドと１フレームを構成する対応フィールドとの間の相関関係が求められる。求めたフィールド間の相関関係が予め定める関係となる場合には、補間方向の選択は行われない。この場合、対応フィールドにおける補間画素に対応する画素の画素データが補間画素の画素データとして生成される。
【００４９】
このように、フィールド間の相関関係が大きく、予め定める関係となる場合、たとえば、フィールド間に画像の動きがない場合には、無理に補間処理を行わなくとも、対応フィールドの画素データをそのまま用いることで、もとの画像により近い画像を再現することができるので、画像の劣化を防止することができる。
【００５０】
また本発明は、前記補間画素の画素データを生成した後、前記補間画素の画素データと前記補間画素の周囲に位置する所定の複数画素の画素データとを比較して、生成した前記補間画素の画素データに誤りが生じているか否かを判定し、誤りが生じている場合には、所定の画素の画素データを用いて新たな画素データを生成し、生成した新たな画素データを前記補間画素の画素データとして置き換えることを特徴とする。
【００５１】
本発明に従えば、補間画素の画素データを生成した後に、当該画素データの値の妥当性を検証すべく、補間画素の画素データと補間画素の周囲に位置する所定の複数画素の画素データとが比較され、生成した補間画素の画素データに誤りが生じているか否かが判定される。画素データの誤りとは、たとえば、生成した画素データが孤立点状態となっている場合が挙げられる。生成した補間画素の画素データに誤りが生じている場合には、所定の画素の画素データが用いられて新たな画素データが生成される。そして、この生成された新たな画素データが補間画素の画素データとして置き換えられる。
【００５２】
このように、補間画素の画素データを生成した後、生成した画素データに誤りが生じていれば、再補間処理を行うことによって、より正確な画素データを生成することができる。したがって、補間ミスの発生をさらに抑えることができる。
【００５３】
また本発明は、前記画素データは、輝度値であることを特徴とする。
本発明に従えば、補間処理には輝度値を用いるので、モノクロおよびカラー画像の双方の画像の補間処理に対応することができる。
【００５４】
また本発明は、コンピュータに上記の補間処理方法を実行させるための補間処理プログラムである。
本発明に従えば、補間処理をコンピュータに実行させることができる。
【００５５】
また本発明は、上記の補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００５６】
本発明に従えば、補間処理方法を実行する補間処理プログラムをコンピュータに容易に供給することができる。
【００５７】
また本発明は、上記の画像処理装置を備え、前記画像処理装置によって補間処理が施された画像データに基づいて画像を形成し、出力することを特徴とする画像形成装置である。
【００５８】
本発明に従えば、前述の画像処理装置によって生成された補間画素の画素データを用いて成る高画質の画像を出力することができる。
【００５９】
【発明の実施の形態】
［第１実施形態］
図１は、本発明の実施の一形態である補間処理方法の処理手順を示すフローチャートである。本発明の補間処理方法の対象となる画像は、特に、インターレース走査方式による画像（「インターレース画像」）であり、インターレース画像は、２枚のフィールドから１枚のフレームが構成される。なお、以下の説明における画素データの例としては、輝度値が挙げられるが、輝度値のみならず、色の値を示す色差などの画素データであってもよい。
【００６０】
インターレース画像を、一時停止させて静止画像として表示させる場合、あるいは、液晶テレビなどのノンインターレース走査方式を採用する表示装置に表示させる場合、以下のような補間処理を行う。
【００６１】
まず、フィールドを構成する画素の画素データが入力され、ステップａ１では、補間処理が開始される。画素データの入力は、１画素ごと、１走査線ごと、１プレーンごとなど、どのような入力でも構わない。ここにいうプレーンとは、色成分ごとの画素データをいう。補間画素に対する所定の周囲画素の画素データが入力された時点で、次の処理が開始される。それまでは、随時画素データの入力が行われる。
【００６２】
ステップａ２では、画像ノイズ部分の抽出が行われる。画像ノイズ部分とは、フリッカノイズから成るノイズ部分をいう。被写体に動きがあると、２つのフィールド間での被写体像のずれが生じるが、このずれが生じている２つのフィールドの画素の画素データを基に画像を合成すると、画像上では１走査線おきのずれとなり、ノイズとなって現れる。このノイズがフリッカノイズである。このように、被写体に動きがある場合、合成された画像の画質は劣悪となってしまうため、まず、このフリッカノイズが画像のいずれの部分に存在するのかを抽出する必要がある。
【００６３】
図２は、画像ノイズ部分を抽出する抽出処理を説明するための図である。抽出処理には、補間画素Ｂ（０）の上下２本の水平走査線上に並ぶ画素の画素データであって、補間画素Ｂ（０）の垂直方向に位置する各２画素の画素データが参照される。図では、上部２本の水平走査線上に並ぶ画素Ａ（０），Ｄ（０）の画素データと、下部２本の水平走査線上に並ぶ画素Ｃ（０），Ｅ（０）の画素データが参照されている。
【００６４】
なお、ここにいう補間画素Ｂ（０）とは、補間画素の画素データが生成される補間処理対象のフィールドに対応するフィールド、すなわち、補間処理対象のフィールドと１フレームを構成するフィールド上の画素であって、当該画素は、補間画素に対応する位置にある。なお、以下の説明では、画素を示す参照符号「Ｂ（０）」などは、画素を表すとともに、その画素の画素データを表すものとする。
【００６５】
まず、参照する画素の画素データから、補間画素Ｂ（０）と画素Ｄ（０）との画素データの差分絶対値、すなわち、｜Ｄ（０）−Ｂ（０）｜を算出するとともに、補間画素Ｂ（０）と画素Ｅ（０）との画素データの差分絶対値、すなわち、｜Ｅ（０）−Ｂ（０）｜を算出する。算出結果のうち、小さい値を選択する。さらに、画素Ａ（０）と画素Ｃ（０）との画素データの差分絶対値、すなわち、｜Ａ（０）−Ｃ（０）｜を算出し、先に選択した小さい値と比較する。この２つの値のうち、大きい値をＤ１とする。
【００６６】
次に、補間画素Ｂ（０）の画素データを生成しようとするフィールドにおいて、＋１／４画素分だけずれた位置の画素データを以下の式（１）によって算出する。
Ｓ１＝Ｂ（０）×３＋Ｅ（０）　　　　　　　　　　　　　　　…（１）
【００６７】
同様に、もう一方のフィールドにおいて、＋１／４画素分だけずれた位置の画素データを以下の式（２）によって算出する。
Ｓ２＝Ａ（０）＋Ｃ（０）×３　　　　　　　　　　　　　　　…（２）
【００６８】
そして、式（１）および（２）の算出結果の差分絶対値、｜Ｓ１−Ｓ２｜を算出する。さらに、｜Ｓ１−Ｓ２｜と、Ｄ１にある定数値を掛けた値を比較することで、画像ノイズ部分であるか否かを判定する。｜Ｓ１−Ｓ２｜の方が、Ｄ１にある定数値を掛けた値よりも大きければ、補間画素Ｂ（０）は、画像ノイズ部分であるとする。逆に、｜Ｓ１−Ｓ２｜の方が小さければ、両フィールドで、さらに、−１／４画素分だけずれた位置の画素データを算出することによって、画像ノイズ部分であるか否かの判定を続ける。なお、補間画素Ｂ（０）が画像ノイズ部分であると判定された場合でも、補間処理の正確性を高めるため、両フィールドで、さらに、−１／４画素分だけずれた位置の画素データの算出を行ってもよい。
【００６９】
補間画素Ｂ（０）の画素データを生成しようとするフィールドにおいて、−１／４だけずれた位置の画素データを算出するため、以下の式（３）を計算する。
Ｓ３＝Ｂ（０）×３＋Ｄ（０）　　　　　　　　　　　　　　　…（３）
【００７０】
同様に、もう一方のフィールドにおいて、−１／４画素分だけずれた位置の画素データを算出するため、以下の式（４）を計算する。
Ｓ４＝Ｃ（０）＋Ａ（０）×３　　　　　　　　　　　　　　　…（４）
【００７１】
そして、式（３）および（４）の算出結果の差分絶対値、｜Ｓ３−Ｓ４｜を算出し、｜Ｓ３−Ｓ４｜と、Ｄ１にある定数値を掛けた値を比較する。｜Ｓ３−Ｓ４｜とＤ１との関係から、Ｄ１にある定数値を掛けた値よりも｜Ｓ３−Ｓ４｜の方が、Ｄ１にある定数値を掛けた値よりも大きければ、補間画素Ｂ（０）は、画像ノイズ部分であると判定する。逆に、｜Ｓ３−Ｓ４｜の方が小さければ、画像ノイズ部分ではないと判定する。
【００７２】
以上のように、フィールド間の相関関係を画素データの差に基づいて求めることで、画像ノイズ部分を抽出することができる。これは、フィールド間の画素データの変化が大きければ、相関関係が低いものであり、画像ノイズ部分である可能性が大きいということに基づく。
【００７３】
ステップａ３では、ステップａ２における判定結果に基づいて、画像ノイズ部分であるか否かが判断される。画像ノイズ部分であると判断された場合にはステップａ４に進み、画像ノイズ部分でないと判断された場合にはステップａ９に進む。
【００７４】
ステップａ９では、補間走査線が設定されるフィールドに対応する対応フィールドの画素データが抽出され、この画素データをそのまま補間画素の画素データとして生成する。すなわち、補間画素が画像ノイズ部分でないと判定されると、補間画素の画素データとして、対応フィールドの画素データをそのまま用いるのである。
【００７５】
ステップａ４では、補間方向が複数設定される。補間方向は、補間画素Ｂ（０）を起点として双方向に向いた複数種類の方向である。
【００７６】
図３は、補間画素Ｂ（０）の補間処理の際に参照する画素を表した図である。図中の、補間画素Ｂ（０）を含む左右方向（水平方向）１列の走査線が補間走査線である。補間走査線上に並ぶ補間画素の補間処理に参照される画素は、補間走査線を挟む走査線であって、補間走査線の上下に位置する水平走査線上に並んでいる画素である。すなわち、画素Ａ（ｎ）および画素Ｃ（ｎ）（ｎは整数）である。
【００７７】
補間画素Ｂ（０）に対する補間方向は、画素Ａ（−３）とＣ（３）間、画素Ａ（−２）とＣ（２）間、画素Ａ（−１）とＣ（１）間、画素Ａ（０）とＣ（０）間、画素Ａ（１）とＣ（−１）間、画素Ａ（２）とＣ（−２）間、画素Ａ（３）とＣ（−３）間を結ぶ線分上の７方向である。
【００７８】
ステップａ５では、ブロック対が補間方向ごとに抽出される。ブロック対を構成する２つのブロックは、補間走査線の上下の水平走査線上に並ぶ同じ数の画素から成る。ここでは、１のブロックの構成画素は３画素であり、これら３画素は水平方向に連続して並んでいる。２つのブロックの位置関係は、補間画素を対象点として互いに点対称となっている。
【００７９】
具体的には図３を参照して、たとえば補間方向が、画素Ａ（−３）とＣ（３）間を結ぶ線分上の方向であるとすると、ブロック対は、画素Ａ（−４），Ａ（−３），Ａ（−２）の３画素で構成されるブロックと、画素Ｃ（２），Ｃ（３），Ｃ（４）の３画素で構成されるブロックとから成る。補間方向は７方向であるので、他の６つのブロック対は、
画素Ａ（−３），Ａ（−２），Ａ（−１）のブロックと画素Ｃ（１），Ｃ（２），Ｃ（３）のブロックとから成るブロック対、
画素Ａ（−２），Ａ（−１），Ａ（０）のブロックと画素Ｃ（０），Ｃ（１），Ｃ（２）のブロックとから成るブロック対、
画素Ａ（−１），Ａ（０），Ａ（１）のブロックと画素Ｃ（−１），Ｃ（０），Ｃ（１）のブロックとから成るブロック対、
画素Ａ（０），Ａ（１），Ａ（２）のブロックと画素Ｃ（−２），Ｃ（−１），Ｃ（０）までのブロックとから成るブロック対、
画素Ａ（１），Ａ（２），Ａ（３）までのブロックと画素Ｃ（−３），Ｃ（−２），Ｃ（−１）のブロックとから成るブロック対、
画素Ａ（２），Ａ（３），Ａ（４）のブロックと画素Ｃ（−４），Ｃ（−３），Ｃ（−２）のブロックから成るブロック対である。
【００８０】
ステップａ６では、ブロック対ごとの相関関係を求めるため、各ブロック対におけるブロック間の相関値が算出される。相関値とは、相関関係を数値で表したものである。具体的には、１のブロックの画素と当該画素に対応する他方のブロックの画素との画素データの差分絶対値をそれぞれ算出し、算出した差分絶対値の総和を算出する。そして、算出した総和に所定の重み係数を掛けることによって、ブロックの相関値とする。
【００８１】
図３を用いて説明する。たとえば、画素Ａ（−４）〜Ａ（−２）までのブロックと、それに対応する画素Ｃ（２）〜Ｃ（４）までのブロックでは、ブロック対を構成する２つのブロック間において、画素間の画素データの差分絶対値が算出される。すなわち、画素Ａ（−４）とＣ（２）、画素Ａ（−３）とＣ（３）、画素Ａ（−２）とＣ（４）のそれぞれの差分絶対値が算出され、算出された差分絶対値の総和が求められる。この総和に対し、所定の重み係数が掛けられる。他の６個のブロック対についても、同様に相関値を算出する。この２つのブロックにおいては、補間方向が画素Ａ（−３）とＣ（３）間を結ぶ線分上の方向であるので、画素Ａ（−３）とＣ（３）の１組の画素対が基準画素対として定め、この基準画素対以外の画素、すなわち、画素Ａ（−４），Ａ（−２），画素Ｃ（２），Ｃ（４）を補助画素として定める。
【００８２】
ここで、相関値の算出に用いる画素の組み合わせを、前述のように設定すると、当該画素間を結んで成る線分は、他の線分とほぼ平行となる。すなわち、画素Ａ（−４）とＣ（２）、画素Ａ（−３）とＣ（３）、画素Ａ（−２）とＣ（４）とを結ぶ線分は、ほぼ平行である。このように、画素間を結ぶ各線分が互いにほぼ平行となるため、算出される相関値は互いに対応がとれていることになる。これによって、相関値の信頼性を高めることができる。
【００８３】
ステップａ７では、補間方向が選択される。算出した７つの相関値のうち、最小の相関値に基づいて、補間方向を選択する。具体的には、補間画素Ｂ（０）を対称点として左上方向と右下方向との位置関係にある補間方向を第１のグループとし、右上方向と左下方向との位置関係にある補間方向を第２のグループとしてグループ分けし、各グループにおいて相関値が最小となる補間方向を選択し、選択した補間方向に基づいて１の補間方向を選択する。なお、上下方向は、両方のグループに含めるものとする。
【００８４】
すなわち、画素Ａ（−３）とＣ（３）間、画素Ａ（−２）とＣ（２）間、画素Ａ（−１）とＣ（１）間、画素Ａ（０）とＣ（０）間の補間方向を第１のグループとし、画素Ａ（０）とＣ（０）間、画素Ａ（１）とＣ（−１）間、画素Ａ（２）とＣ（−２）間、画素Ａ（３）とＣ（−３）間上を通る補間方向を第２のグループとする。そして、第１のグループにおいて、相関値が最小となる補間方向と、第２のグループにおいて、相関値が最小となる補間方向とを選択する。選択された２つの補間方向から、次の条件に基づいて、最終的な補間方向を決定する。
【００８５】
選択された２つの補間方向が、双方とも画素Ａ（０）とＣ（０）間上を通る補間方向である場合、あるいは、双方とも画素Ａ（０）とＣ（０）間上を通る補間方向でない場合は、画素Ａ（０）とＣ（０）間上を通る補間方向を補間方向として選択する。
【００８６】
これに対し、選択された２つの補間方向のいずれか一方が、画素Ａ（０）とＣ（０）間上を通る補間方向である場合は、画素Ａ（０）とＣ（０）間上を通る補間方向ではない他方の方向を、補間方向として選択する。
【００８７】
ステップａ８では、補間処理が行われる。具体的には、選択された補間方向先の双方にそれぞれ位置する２つ画素を選択し、選択した画素の画素データに基づいて、線形補間処理を行う。
【００８８】
ステップａ１０では、前述のステップａ２〜ａ９の処理が、１の補間走査線について終了したか否かが判断される。処理が終了したと判断された場合にはステップａ１１に進み、処理が終了していないと判断された場合にはステップａ１５に進む。ステップａ１５では、次の補間画素へと対象を移動させる。たとえば、１の補間走査線についての補間処理を、補間画素を１画素ずつ、ずらしながら行う場合は、次の対象となる補間画素は、補間処理が終了した画素の右へ１画素ずれた画素となる。
【００８９】
ステップａ１１では、生成された補間画素の画素データの正当性が評価される。具体的には、対象となる補間画素の周囲に位置する画素であって、対象補間画素を中心とする縦、横、右斜めおよび左斜めの４方向に位置する画素の画素データと、対象補間画素の画素データとを比較し、対象補間画素の画素データが全方向に対して一定値以上の値となるか否かによって評価する。なお、横方向に位置する画素とは、対象補間画素に隣接する補間画素である。対象補間画素の画素データが全方向に対して一定値以上の値となっている場合には、対象補間画素の画素データは正当でないと判断され、一定値より小さい値と成っている場合には、対象補間画素の画素データは正当であると判断される。
【００９０】
ステップａ１２で補間画素の画素データが正当であると判断された場合にはステップａ１４に進み、正当でないと判断された場合にはステップａ１３に進む。ステップａ１３では、再補間処理が行われる。再補間処理には、補間画素の上下に位置する画素の画素データが用いられ、線形補間処理がされる。すなわち、補間画素Ｂ（０）の再補間処理には、画素Ａ（０），Ｃ（０）の画素データが用いられることになる。
【００９１】
この正当性評価は、画像ノイズ部分と判定されて補間処理された補間画素に対して、必ず行われる。なぜなら、補間方向の選択の際に、たまたま条件に合致したために、実際の画像には適合しない補間画素の画素データを生成してしまう場合があり、正確でない補間方向が選択されるということが生じ得るからである。これは、補間処理に参照される画素の範囲が限定されていることによるものである。このことから、正確でない補間方向に基づいて補間処理するよりは、補間画素の上下に位置し、最近傍である画素の画素データを用いて補間処理を行うことで、妥当でない補間画素の画素データが生成されるのを防止することができる。
【００９２】
ステップａ１４では、前述のステップａ１１〜ａ１３の処理が１の補間走査線について終了したか否かが判断される。１の補間走査線について、処理が終了した場合にはステップａ１７に進み、補間処理を終了させる。処理が終了していない場合にはステップａ１６に進む。ステップａ１６では、補間処理対象を次の補間画素へと移動させる。
【００９３】
１の補間走査線における補間処理が終了したならば、次の補間走査線が補間処理の対象となり、当該補間走査線上の補間画素について補間処理が行われる。
【００９４】
以上のように、相関関係を示す相関値は、ブロック内の複数の画素を用いて求められるので、単純に１対の画素間で求める場合に比べると、相関値の信頼性が高まる。したがって、この信頼性の高い相関値に基づいて、正確な補間方向を選択することができ、正確な補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【００９５】
次に、前述の補間処理に関し、具体的な数値を用いて説明する。図４は、補間画素Ｂ（０）と、その補間処理の際に参照される周囲の画素とを示した図である。図中の数値は、画素データを表しており、図では１０進数で示しているが、実際には８ビットデータであり、０〜２５５の値をとる。なお、補間画素Ｂ（０）を含む補間走査線上に並ぶ画素、画素Ｄ（０），Ｅ（０）が存在するフィールドと、画素Ａ（ｎ），Ｃ（ｎ）が存在するフィールドとは、実際には異なるフィールドであるが、便宜上、１つの図で示している。
【００９６】
まず、画像ノイズ部分の抽出を行う（ステップａ２）。補間画素Ｂ（０）に対して上下２画素ずつ、すなわち、上側の画素Ａ（０）および画素Ｄ（０）と、下側の画素Ｃ（０）および画素Ｅ（０）との４画素を参照する。
【００９７】
まず、参照する画素の画素データから、補間画素Ｂ（０）と画素Ｄ（０）および画素Ｅ（０）との画素データの差分絶対値を算出する。
｜Ｄ（０）−Ｂ（０）｜＝｜２−１｜＝１
｜Ｅ（０）−Ｂ（０）｜＝｜０−１｜＝１
【００９８】
ここで、どちらか小さい方を選択するが、ここでは同じ値なので、仮に最初の値を選択することとする。さらに、画素Ａ（０）と画素Ｃ（０）との画素データの差分絶対値を算出する。
｜Ａ（０）−Ｃ（０）｜＝｜５−３｜＝２
【００９９】
算出した２つの値のうち、大きい値をＤ１とする。
Ｄ１＝２
【０１００】
次に、補間画素Ｂ（０）の画素データを生成しようとするフィールドおよびもう一方のフィールドにおいて、それぞれ、＋１／４画素分だけずれた位置の画素データを算出する。
Ｓ１＝Ｂ（０）×３＋Ｅ（０）＝１×３＋０＝３
Ｓ２＝Ａ（０）＋Ｃ（０）×３＝５＋３×３＝１４
【０１０１】
Ｓ１とＳ２との差分絶対値と、Ｄ１にある定数を掛けた値とを比較することで、画像ノイズ部分であるか否かを判定する。ここでは、ある定数として５を用いる。なお、この定数は、複数の画像に対し、実験的に任意の定数を設定して補間処理を行った結果、得られた最適の数値である。比較を行うと、
｜Ｓ１−Ｓ２｜＝｜３−１４｜＝１１＞１０（＝Ｄ１×５＝２×５）
となり、｜Ｓ１−Ｓ２｜の方が大きいので、補間画素Ｂ（０）は画像ノイズ部分であると判定する。
【０１０２】
このように、補間画素Ｂ（０）は、画像ノイズ部分であると判定された場合、さらに、両フィールドにおいて−１／４画素分だけずれた位置の画素データを算出する必要はないが、補間処理の正確性を高めるため、両フィールドで、さらに、−１／４画素分だけずれた位置の画素データの算出を行ってもよい。実際には、以下の算出処理は省略しても問題ない。
【０１０３】
補間画素Ｂ（０）の画素データを生成しようとするフィールドおよびもう一方のフィールドにおいて、−１／４画素分だけずれた位置の画素データを算出する。
Ｓ３＝Ｂ（０）×３＋Ｄ（０）＝１×３＋２＝５
Ｓ４＝Ｃ（０）＋Ａ（０）×３＝３＋５×３＝１８
【０１０４】
同様に、Ｓ３とＳ４との差分絶対値とＤ１に５を掛けた値とを比較する。
｜Ｓ３−Ｓ４｜＝｜５−１８｜＝１３＞１０（＝Ｄ１×５＝２×５）
【０１０５】
比較した結果、｜Ｓ３−Ｓ４｜の方が大きいので、補間画素Ｂ（０）は画像ノイズ部分であると判定する。
【０１０６】
次に、補間方向を複数設定する（ステップａ４）。補間方向としては、画素Ａ（−３），Ｃ（３）間、画素Ａ（−２），Ｃ（２）間、画素Ａ（−１），Ｃ（１）間、画素Ａ（０），Ｃ（０）間、画素Ａ（１），Ｃ（−１）間、画素Ａ（２），Ｃ（−２）間、画素Ａ（３），Ｃ（−３）間上の７方向を定める。
【０１０７】
次に、ブロック対を抽出する（ステップａ５）。ブロック対を補間方向ごとに抽出するので、前述の７方向に対応させて、
画素Ａ（−４）〜Ａ（−２）のブロックと画素Ｃ（２）〜Ｃ（４）のブロックから成るブロック対、
画素Ａ（−３）〜Ａ（−１）のブロックと画素Ｃ（１）〜Ｃ（３）のブロックとから成るブロック対、
画素Ａ（−２）〜Ａ（０）までのブロックと画素Ｃ（０）〜Ｃ（２）のブロックとから成るブロック対、
画素Ａ（−１）〜Ａ（１）のブロックと画素Ｃ（−１）〜Ｃ（１）のブロックとから成るブロック対、
画素Ａ（０）〜Ａ（２）までのブロックと画素Ｃ（−２）〜Ｃ（０）のブロックとから成るブロック対、
画素Ａ（１）〜Ａ（３）のブロックと画素Ｃ（−３）〜Ｃ（−１）のブロックとから成るブロック対、
画素Ａ（２）〜Ａ（４）のブロックと画素Ｃ（−４）〜Ｃ（−２）のブロックから成るブロック対の７対を抽出する。
【０１０８】
そして、ブロック対におけるブロック間ごとに相関値を算出する（ステップａ６）。まず、画素Ａ（−４）〜Ａ（−２）のブロックと画素Ｃ（２）〜Ｃ（４）のブロックから成るブロック対の相関値を算出する。なお、算出した相関値をＨ１とする。同様に、他の６対のブロック対の相関値を算出し、算出した相関値を順にＨ２，Ｈ３，Ｈ５，Ｈ６，Ｈ７とする。ここで、相関値の算出に用いる重み係数は、Ｈ１，Ｈ２，Ｈ３，Ｈ５，Ｈ６，Ｈ７については２とし、Ｈ４については１とする。この重み係数も、実験的にいくつかの画像に対して補間処理を行った結果、得られた値である。重み係数は、補間画素を中心とすると、中心から遠くに離れるほど、大きな重みとし、左右対称となる補間方向には同じ重みとする。
Ｈ１＝｛｜Ａ（−４）−Ｃ（２）｜＋｜Ａ（−３）−Ｃ（３）｜
＋｜Ａ（−２）−Ｃ（−４）｜｝×２
＝（｜０−１｜＋｜０−５｜＋｜１−５｜）×２
＝２０
【０１０９】
同様に、相関値Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６，Ｈ７を算出する。
Ｈ２＝（｜０−１｜＋｜１−１｜＋｜２−５｜）×２＝８
Ｈ３＝（｜１−３｜＋｜２−１｜＋｜５−１｜）×２＝１４
Ｈ４＝（｜２−６｜＋｜５−３｜＋｜５−１｜）×１＝１０
Ｈ５＝（｜５−３｜＋｜５−６｜＋｜１−３｜）×２＝１０
Ｈ６＝（｜５−１｜＋｜１−３｜＋｜１−６｜）×２＝２２
Ｈ７＝（｜１−０｜＋｜１−１｜＋｜５−３｜）×２＝６
【０１１０】
このように、相関値の算出に用いる画素間を結んで成る線分を、他の線分とほぼ平行とすることで、算出される相関値は互いに対応がとれていることになる。これによって、相関値の信頼性を高めることができる。
【０１１１】
そして、補間方向を選択する（ステップａ７）。まず、相関値Ｈ１〜Ｈ７のうち、相関値Ｈ１〜Ｈ４を第１のグループとし、相関値Ｈ７〜Ｈ４を第２のグループとする。各グループにおいて相関値が最小値をとる相関値を求める。相関値Ｈ１〜Ｈ４の中では、相関値Ｈ２が最小値をとり、相関値Ｈ７〜Ｈ４の中では、相関値Ｈ７が最小値をとる。ここで、各グループとも相関値Ｈ４が選択されてないことから、所定の条件、「双方とも画素Ａ（０）と画素Ｃ（０）との組み合わせでない場合は、画素Ａ（０）と画素Ｃ（０）間上を通る補間方向を補間方向として選択する」に従い、補間方向として、画素Ａ（０）と画素Ｃ（０）とを結ぶ補間方向を選択する。
【０１１２】
そして、選択した補間方向先の双方にそれぞれ位置する画素の画素データを用いて、補間画素の画素データを生成する（ステップａ８）。
Ｂ（０）＝（Ａ（０）＋Ｃ（０））／２＝（５＋３）／２＝４
【０１１３】
以上の処理を１の補間走査線について、補間走査線上に並ぶ画素に対し順番に行う。
【０１１４】
ここで、図４に示すように、補間画素Ｂ（−１），Ｂ（１）について、補間処理により、Ｂ（−１）＝２、Ｂ（１）＝０として生成され、これらの補間画素が並ぶ補間走査線の補間処理が終了したとする。
【０１１５】
次に、補間画素Ｂ（０）の画素データの正当性を評価する（ステップａ１１）。具体的には、対象となる補間画素の画素データと、対象補間画素の縦、横、右斜め、左斜めの４方向に位置する画素の画素データとを用いて、１次元のマスク処理を行う。なお、対象補間画素の横方向に位置する画素は、隣接する補間画素である。
【０１１６】
そして、マスク処理によって算出した値と、予め定められた閾値とを比較することによって、正当性を評価する。ここでマスク処理に用いる１次元のマスクを［−１　２　−１］とし、閾値として用いる値を１０とする。この閾値は、実験的にいくつかの画像に対して補間処理を行った結果、目で見て孤立点になっているような画素が選択されている閾値を求めたものである。
【０１１７】
それぞれの方向についてマスク処理を行い、値を算出する。
縦方向：｜５×（−１）＋４×２＋３×（−１）｜＝０
横方向：｜２×（−１）＋４×２＋０×（−１）｜＝６
右斜め：｜５×（−１）＋４×２＋６×（−１）｜＝３
左斜め：｜２×（−１）＋４×２＋１×（−１）｜＝５
このように、いずれの方向においても、閾値１０より小さい値となったので、補間画素Ｂ（０）の画素データは正当であると評価する。したがって、求められた画素データ「４」を最終的に、補間画素Ｂ（０）の画素データとする。
【０１１８】
仮に、縦、横、右斜め、左斜めの４方向において算出した値のいずれかが閾値よりも大きな値となった場合には、再補間処理を行う（ステップａ１３）。再補間処理とは、画素Ａ（０），Ｃ（０）の画素データを用いた線形補間処理である。
【０１１９】
なお、前述の例では、選択された補間方向は、画素Ａ（０），Ｃ（０）間の方向であり、補間処理の正当性評価によって補間が正当でないと判断された場合は、再度、画素Ａ（０），Ｃ（０）の画素データを用いて再補間処理を行うことになり、生成した補間画素Ｂ（０）の画素データは、「４」となる。
【０１２０】
以上の処理を１の補間走査線上に並ぶすべての補間画素に対して行う。
なお、前述の例では近傍１８画素および画素Ｄ（０），Ｅ（０）の２画素を用いて補間処理しているが、これ以外の周辺画素数を用いても構わない。
【０１２１】
［第２実施形態］
次に、本発明の第２実施形態について説明する。図５は、第２実施形態である補間処理方法の処理手順を示すフローチャートである。
【０１２２】
ステップｂ１〜ステップｂ３の処理は、第１実施形態におけるステップａ１〜ステップａ３の処理と同様である。
【０１２３】
ステップｂ３で、画像ノイズ部分であると判断された場合にはステップｂ４に進み、画像ノイズ部分でないと判断された場合にはステップｂ８に進む。
【０１２４】
ステップｂ８では、ステップａ９と同様、補間走査線が設定されるフィールドに対応する対応フィールドの画素データが抽出され、この画素データがそのまま補間画素の画素データとして生成される。
【０１２５】
ステップｂ４では、ブロック対が複数組抽出される。このブロック対は、補間画素を対象点として互いに点対象の位置関係にある２つのブロックから成る。
【０１２６】
ステップｂ５では、ブロック対ごとに、２つのブロック間の相関関係が求められる。
【０１２７】
ステップｂ６では、補間方向が設定される。この補間方向を定めるにあたって、まず、ステップｂ５において求められた相関関係に基づいて、複数のブロック対の中から少なくとも１つのブロック対が選択され、選択されたブロック対の２つのブロック間の相関方向が求められる。そして、この相関方向を補間方向とする。
【０１２８】
ステップｂ７では、補間処理が行われる。補間処理は、ステップｂ６で定めた補間方向先に位置する画素を選択し、選択した画素の画素データに基づいて生成する。
【０１２９】
なお、ステップｂ９〜ステップｂ１６の処理は、第１実施形態のステップａ１０〜ステップａ１７の処理と同様である。
【０１３０】
以上のように、相関関係を示す相関値は、ブロック内の複数の画素を用いて求められるので、単純に１対の画素間で求める場合に比べると、相関値の信頼性が高まる。したがって、この信頼性の高い相関値に基づいて、正確な補間方向を選択することができ、正確な補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１３１】
［第３実施形態］
続いて、本発明の画像処理装置を構成する補間処理部Ａについて説明する。図６は、補間処理部Ａの構成を示すブロック図である。補間処理部Ａは、画像ノイズ部分抽出手段１、補間方向設定手段２、抽出手段３、補間関係導出手段４、選択手段５、画素データ生成手段６、フィールドデータ抽出手段７、画素データ合成手段８、１走査線終了判定手段９、補間正当性評価手段１０および再補間手段１１から成る。
【０１３２】
補間処理部Ａの画像ノイズ部分抽出手段１は、アナログデータとして入力され画像処理装置中でＡ／Ｄ（アナログ／デジタル）変換処理された画像データ、あるいは、デジタルの画像データに対し、５本の水平走査線分の画素データをバッファに保持した後、補間対象画素に対する画像ノイズ部分抽出処理を行う。画像ノイズ部分抽出処理によって、画像ノイズ部分でないと判断された部分に対しては、フィールドデータ抽出手段７が現在保持している補間画素の画素データをそのまま抽出する。他方、画像ノイズ部分抽出処理によって、画像ノイズ部分であると判断された部分に対しては、補間方向設定手段２が制御されて、次の処理が行われる。
【０１３３】
補間方向設定手段２は、補間画素を起点とする補間方向を複数種類定め、定めた補間方向に関する情報を抽出手段３に出力する。
【０１３４】
抽出手段３は、補間方向に関する情報に基づいて、複数組のブロック対を補間方向ごとに抽出する。ブロック対は、補間方向先の双方に位置し、補間画素を対称点として互いに点対称の位置関係にある２つのブロックから成る。抽出したブロック対に関する情報は、相関関係導出手段４に出力される。
【０１３５】
相関関係導出手段４は、補間走査線の上下の水平走査線上の画素の画素データを用いて、ブロックの相関値を算出し、算出した相関値を選択手段５に出力する。
【０１３６】
選択手段５は、相関値に基づいて、相関関係の最も大きい補間方向を探索し、複数種類の補間方向の中から少なくとも１つの補間方向を選択する。選択された補間方向に関する情報は、画素データ生成手段６に出力される。
【０１３７】
画素データ生成手段６は、補間方向先の上下の水平走査線上の画素の画素データを用いて線形補間処理を行う。
【０１３８】
１走査線終了判定手段９は、補間処理が１つの補間走査線について終了したか否かを判定する。補間処理が終了していなければ、補間対象を１つ右の画素へとずらす。そして、画像ノイズ部分抽出手段１に制御が移される。補間処理が、１つの補間走査線について終了したと判定された場合には、画素データ合成手段８に制御が移される。
【０１３９】
画素データ合成手段８は、フィールドデータ抽出手段７で抽出された画素の画素データと、画素データ生成手段６で生成された補間画素の画素データとを合成する。同時に、いずれの画素が補間処理された画素であるかについての情報もあわせて、補間正当性評価手段１０に出力する。
【０１４０】
補間正当性評価手段１０は、画素データ合成手段８によって入力された補間走査線上の画素の画素データと、その上下の水平走査線上の画素の画素データと、さらに、補間処理された画素であるかについての情報とを用いて、画素データ生成手段６で補間処理された画素に対してのみ、生成された補間画素の画素データの正当性を評価する。評価結果は、再補間手段１１へ出力される。
【０１４１】
再補間手段１１は、評価結果に基づいて次の処理を行う。補間画素の画素データの値が妥当であると判断した場合には、その値をそのまま出力する。他方、補間画素の画素データの値が妥当でないと判断した場合には、補間走査線の上下の水平走査線の画素の画素データを用いて線形補間処理を行い、生成した画素データを出力する。そして、出力された画素データは、画像処理装置の階調補正部に出力される。
【０１４２】
以上によって、信頼性の高い相関関係に基づいて、正確な補間方向を選択するとができるので、正確な補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１４３】
図７に、本発明のカラー画像処理装置Ｂを備えるカラー画像形成装置Ｃのブロック図である。
【０１４４】
図７に示すように、カラー画像処理装置Ｂは、Ａ／Ｄ変換部３０、補間処理部Ａ、入力階調補正部３１、領域分離処理部３２、空間フィルタ処理部３３、変倍処理部３４、色空間変換部３５、色補正部３６、黒生成下色除去部３７、出力階調補正部３８および階調再現処理部３９とを備える。
【０１４５】
このカラー画像処理装置Ｂに、カラー画像入力装置（アナログ入力装置）５０ａあるいは、カラー画像入力装置（デジタル入力装置）５０ｂと、カラー画像出力装置５１とが接続され、たとえば複合機やプリンタなどのカラー画像形成装置Ｃを構成している。
【０１４６】
カラー画像入力装置５０ａは、たとえばＴＶチューナやビデオカメラなどのインターレース画像読取部によって構成され、ＴＶ局からのＮＴＳＣ信号などのテレビ信号や、ビデオカメラのＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）から入力されるＲＧＢ（Ｒ：赤・Ｇ：緑・Ｂ：青）のアナログ信号を、カラー画像処理装置Ｂに入力するものである。カラー画像処理装置Ｂにデジタルのカラー画像入力装置５０ｂが接続されている場合、デジタルＴＶ信号やデジタルビデオカメラ出力など、デジタル信号が入力される。その場合には、Ａ／Ｄ変換部３０は必要ない。
【０１４７】
このカラー画像出力装置５１は、画像データを紙などの記録媒体上、あるいは、ディスプレイなどの表示媒体上に出力するもので、たとえば、電子写真方式やインクジェット方式を用いた画像出力装置、テレビなどの画像表示装置を挙げることができるが特に限定されるものではない。
【０１４８】
カラー画像入力装置にて読み取られたアナログ信号の画像データは、カラー画像処理装置Ｂ内を、Ａ／Ｄ変換部３０、補間処理部Ａ、入力階調補正部３１、領域分離処理部３２、空間フィルタ処理部３３、変倍処理部３４、色空間変換部３５、色補正部３６、黒生成下色除去部３７、出力階調補正部３８および階調再現処理部３９の順で処理され、Ｃ，Ｍ，Ｙ，Ｋ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の各デジタルカラー信号として、カラー画像出力装置５１へ出力される。
【０１４９】
入力がデジタル信号の画像データの場合は、カラー画像処理装置Ｂ内を、補間処理部Ａから階調再現処理部３９へと順に処理され、同様にＣ，Ｍ，Ｙ，Ｋの各デジタルカラー信号として、カラー画像出力装置へ出力される。
【０１５０】
Ａ／Ｄ変換部３０は、カラー画像入力装置５０ａから入力されるＹ，Ｃｂ，Ｃｒの各アナログ信号をデジタル信号に変換して、補間処理部Ａに出力する。
【０１５１】
補間処理部Ａでは、Ａ／Ｄ変換部３０において、Ａ／Ｄ変換処理された画像データ、あるいは、カラー画像入力装置５０ｂから入力されたＹ，Ｃｂ，Ｃｒの各画像データに対し、画像データを構成する複数の画素の画素データを用いて、画素間に設定される補間画素の画素データを生成する。生成した画素データを入力階調補正部３１に出力する。
【０１５２】
入力階調補正部３１は、補間処理部Ａにて補間処理されたＹ，Ｃｂ，Ｃｒの各信号に対して、必要に応じてトーンスケールの補正処理やカラーバランスの補正処理を行う。処理されたＹ，Ｃｂ，Ｃｒの各信号は、領域分離処理部３２に出力される。
【０１５３】
領域分離処理部３２は、入力されたＹ，Ｃｂ，Ｃｒの各信号の画像データに基づいて、画像を構成する各画素を文字領域、網点領域、写真領域のいずれかに分離する領域分離処理を行う。領域分離処理部３２は、分離結果に基づき、画素がいずれの領域に属しているかを示す領域識別信号を、空間フィルタ処理部３３、黒生成下色除去部３７および階調再現処理部３９に出力するとともに、入力階調補正処理部３１から入力された入力信号をそのまま空間フィルタ処理部３３に出力する。
【０１５４】
空間フィルタ処理部３３は、領域分離処理部３２から入力されたＹ，Ｃｂ，Ｃｒの各信号の画像データに対して、領域識別信号をもとに、デジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒状性劣化を防ぐ処理を行う。
【０１５５】
たとえば、領域分離処理部３２にて文字に分離された領域に関しては、特に黒文字あるいは色文字の再現性を高めるために、空間フィルタ処理の鮮鋭強調処理によって高周波数の強調量の増大がなされる。また、領域分離処理部３２によって網点に分離された領域に関しては、入力網点成分を除去するためのローパス・フィルタ処理が施される。空間フィルタ処理部３３は、空間フィルタ処理されたＹ，Ｃｂ，Ｃｒの各信号の画像データを変倍処理部３４に出力する。
【０１５６】
変倍処理部３４では、ユーザからの指定などに応じて、出力画像の解像度や大きさに応じて、拡大や縮小などの変倍処理によって、画像データを所定のサイズに変更する。変倍処理されたＹ，Ｃｂ，Ｃｒの各信号の画像データは、色変換処理部３５に出力される。
【０１５７】
色空間変換部３５は、入力されたＹ，Ｃｂ，Ｃｒの各信号の画像データを、ＣＭＹの色空間に変換し、Ｃ，Ｍ，Ｙの各信号（ＣＭＹ信号）の画像データとし、これを色補正部３６に出力する。
【０１５８】
色補正部３６は、カラー画像出力装置５１の出力形式に合わせた色補正を行い、色補正したＣＭＹ信号の画像データを黒生成下色除去部３７に出力する。
【０１５９】
黒生成下色除去部３７は、入力されたＣＭＹ信号から、黒（Ｋ）信号を生成する黒生成処理と、もとのＣＭＹ信号から黒生成処理で得られたＫ信号を差し引いて新たなＣＭＹ信号を生成する処理とを行い、ＣＭＹ信号をＣ，Ｍ，Ｙ，Ｋの４色信号（ＣＭＫＹ信号）に変換する。黒生成下色除去処理は、一般的な方法であるスケルトンブラックによって行われる。スケルトンブラックによる黒生成下色除去処理は、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）とし、入力される信号をＣ，Ｍ，Ｙとし、出力される信号をＣ’，Ｍ’，Ｙ’，Ｋ’とし、ＵＣＲ（Ｕｎｄｅｒ　Ｃｏｌｏｒ　Ｒｅｍｏｖａｌ）率をα（０＜α＜１）とすると、以下の式（５）〜（８）で表される。なお、ｍｉｎは、最小値（ｍｉｎｉｍｕｍ）を表す。
Ｋ’＝ｆ｛ｍｉｎ（Ｃ，Ｍ，Ｙ）｝　　　　　　　　　　　　…（５）
Ｃ’＝Ｃ−αＫ’　　　　　　　　　　　　　　　　　　　　…（６）
Ｍ’＝Ｍ−αＫ’　　　　　　　　　　　　　　　　　　　　…（７）
Ｙ’＝Ｙ−αＫ’　　　　　　　　　　　　　　　　　　　　…（８）
【０１６０】
階調再現処理部３９は、ＣＭＹＫ信号の画像データに対して、空間フィルタ処理部３３と同様に、領域識別信号をもとに所定の処理を施する。
【０１６１】
たとえば、領域分離処理部３２にて文字に分離された領域は、特に黒文字或いは色文字の再現性を高めるために、階調再現処理部３９においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【０１６２】
また、領域分離処理部３２にて網点に分離された領域に関しては、出力階調補正部３８で、濃度信号などの信号をカラー画像出力装置５１の特性値である網点面積率に変換する出力階調補正処理を行った後、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）を行う。領域分離処理部３２にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理を行う。
【０１６３】
以上の各処理が行われた画像データは、カラー画像処理装置Ｂの有する画像メモリに一旦記憶され、所定のタイミングで読み出されてカラー画像出力装置５１に入力される。
【０１６４】
前述のカラー画像処理装置Ｂの説明において、補間処理部Ａは、Ａ／Ｄ変換処理部３０の処理後に用いられているが、本発明はこの形態に限定されるものではなく、Ｙ，Ｃｂ，Ｃｒデータを扱う部分であれば、どこに用いても構わない。
【０１６５】
前述の補間処理手順は、補間処理プログラム、あるいは、他の処理と組み合わせた画像処理プログラムによってコンピュータに実行させることができる。補間処理プログラムは、コンピュータ読み取り可能な記録媒体に記録される。たとえば、プリンタドライバとして適用することができる。これによって、補間処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。
【０１６６】
この補間処理プログラムを記録したコンピュータ読み取り可能な記録媒体としては、マイクロコンピュータに補間処理手順を行わせるためメモリ、たとえばＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）のようなものそのものがプログラムメディアであってもよい。また、外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
【０１６７】
いずれの場合においても、格納されている補間処理プログラムはマイクロプロセッサがアクセスして実行させる構成であってもよい。補間処理プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、実行される方式であってもよい。このダウンロード用のプログラムは予め画像処理装置Ｂに格納されているものとする。
【０１６８】
ここで、前述のプログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、フロッピディスクやハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ
Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ）、ＭＤ（Ｍｉｎｉ　Ｄｉｓｋ）およびＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）などの光ディスクのディスク系、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ
Ｃｉｒｃｕｉｔｓ）カード（メモリカードを含む）、光カードなどのカード系あるいはマスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【０１６９】
また、本実施形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークから補間処理プログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークから、補間処理プログラムをダウンロードする場合には、そのダウンロード用のプログラムを予め本体装置に格納しておくか、あるいは、別の記録媒体からインストールされるものであってもよい。
【０１７０】
前述の記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読取装置で読み取られることによって、補間処理方法を実行する。
【０１７１】
コンピュータシステムは、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどの画像入力装置、所定のプログラムがロードされることによって前述の画像処理方法など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するＣＲＴ（陰極線管）ディスプレイ・液晶ディスプレイなどの画像表示装置、および、コンピュータの処理結果を紙などに出力するプリンタを備えて構成される。さらには、このコンピュータシステムには、ネットワークを介してサーバなどに接続するための通信手段としてのモデムなどが備えられる。
【０１７２】
なお、前述のように、本発明の補間処理方法の対象となる画像を、インターレース画像として説明したが、本発明は、当該画像に限定されるものではない。
【０１７３】
【発明の効果】
以上のように本発明によれば、複数の画素から成るブロック間の相関関係に基づいて、補間画素に対する補間方向を選択するので、１対の画素間の相関関係に基づいて選択する場合に比べて、信頼性の高い補間方向を選択することができる。これによって、信頼性の高い補間方向に基づく精度の高い補間画素の画素データを生成することができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１７４】
また本発明によれば、インターレース画像に対しても、信頼性の高い補間処理を行うことができる。これによって、補間ミスの発生を抑えることができ、高品質の画像を生成することができる。
【０１７５】
また本発明によれば、２つのブロック間の相関関係は、基準画素間の相関関係を基準とし、さらに、補助画素間の相関関係を求めるので、１の画素間で相関関係を求める場合と比べて、信頼性の高いブロック間の相関関係求めることができる。これによって、信頼性の高い補間方向を選択することができる。
【０１７６】
また本発明によれば、２つのブロック間の相関関係を求めるときは、補助画素間を結ぶ線分が基準画素を結ぶ線分とほぼ平行となるような補助画素を選んで相関関係を求めるので、基準画素間の相関関係に対応した相関関係を求めることができる。
【０１７７】
また本発明によれば、補間方向を選択するときは、近似する方向ごとにグループ分けされた各グループから１つの補間方向を抽出し、抽出した補間方向を比較し、抽出した補間方向の関係に基づいて１つの補間方向を選択するので、複数の補間方向の中から相関関係が一番大きいものを単純に選択する場合に比べて、信頼性の高い補間方向を選択することができる。
【０１７８】
また本発明によれば、インターレース画像においてフィールド間の相関関係が大きく、予め定める関係となる場合、たとえば、フィールド間に画像の動きがない場合には、無理に補間処理を行わなくとも、対応フィールドの画素データをそのまま用いることで、もとの画像により近い画像を再現することができるので、画像の劣化を防止することができる。
【０１７９】
また本発明によれば、補間画素の画素データを生成した後、生成した画素データに誤りが生じていれば、再補間処理を行うことによって、より正確な画素データを生成することができる。したがって、補間ミスの発生をさらに抑えることができる。
【０１８０】
また本発明によれば、補間処理には輝度値を用いるので、モノクロおよびカラー画像の双方の画像の補間処理に対応することができる。
【０１８１】
また本発明によれば、補間処理をコンピュータに実行させることができる。
また本発明によれば、補間処理方法を実行する補間処理プログラムをコンピュータに容易に供給することができる。
【０１８２】
また本発明によれば、前述の画像処理装置によって生成された補間画素の画素データを用いて成る高画質の画像を出力することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である補間処理方法の処理手順を示すフローチャートである。
【図２】画像ノイズ部分を抽出する抽出処理を説明するための図である。
【図３】補間画素Ｂ（０）の補間処理の際に参照する画素を表した図である。
【図４】補間画素Ｂ（０）と補間処理の際に参照される周囲の画素を示した図である。
【図５】第２実施形態である補間処理方法の処理手順を示すフローチャートである。
【図６】補間処理部Ａの構成を示すブロック図である。
【図７】本発明のカラー画像処理装置Ｂを備えるカラー画像形成装置Ｃのブロック図である。
【図８】インターレース走査方式の画像を構成する１枚のフィールドを表す図である。
【図９】図７のひし形の画像Ｖ中、〇印で示した部分Ｒの拡大図である。
【図１０】従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。
【図１１】従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。
【図１２】従来の補間技術によって補間されたフィールドの一部分を示す拡大図である。
【図１３】５方向において相関関係を検出する補間技術を説明するための図である。
【図１４】７方向において相関関係を検出する補間技術を説明するための図である。
【図１５】画像のエッジと成る部分がデジタル化された画像中の画素に沿って存在しない例を示す図である。
【図１６】従来の補間技術によって補間されたフィールドの一部分を示す図である。
【符号の説明】
１　画像ノイズ部分抽出手段
２　補間方向設定手段
３　抽出手段
４　相関関係導出手段
５　選択手段
６　画素データ生成手段
７　フィールドデータ抽出手段
８　画素データ合成手段
９　１走査線終了判定手段
１０　補間正当性評価手段
１１　再補間手段
３０　Ａ／Ｄ（アナログ／デジタル）変換部
３１　入力階調補正部
３２　領域分離処理部
３３　空間フィルタ処理部
３４　変倍処理部
３５　色空間変換部
３６　色補正部
３７　黒生成下色除去部
３８　出力階調補正部
３９　階調再現処理部
Ａ　補間処理部
Ｂ　カラー画像処理装置
Ｃ　カラー画像形成装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an interpolation processing method, an interpolation processing program for performing interpolation processing using pixel data of a plurality of pixels constituting an image to generate pixel data of an interpolation pixel, and a recording medium storing the same, and further relates to the interpolation processing. The present invention relates to an image processing apparatus that generates pixel data of an interpolation pixel by a method, and an image forming apparatus including the image processing apparatus.
[0002]
[Prior art]
The images to be subjected to the interpolation processing include a still image and a moving image. Among them, an interlaced scanning method is adopted for a part of a video tape recorder that outputs a moving image or a video printer that outputs an image based on a video signal.
[0003]
The interlace scanning method is one of the image display methods of a CRT (Cathode Ray Tube: cathode ray tube), and utilizes an afterimage effect on human visual characteristics. According to this method, a moving image is displayed by continuous one frame composed of two fields. A field is an image composed of pixels arranged on a horizontal scanning line obtained by interlaced scanning. Interlaced scanning refers to performing only scanning on the odd-numbered scanning lines or even-numbered scanning lines in the field. The gap between the scanning lines generated by the first scanning is the second scanning. Buried by The two fields constituted by the two scans with a time lag are recognized by a human as one image due to an afterimage effect on visual characteristics.
[0004]
When a moving image (hereinafter, referred to as an “interlaced image”) based on such an interlaced scanning method is displayed on a display device such as a CRT (cathode ray tube), the amount of pixel data transmitted at a time is half the information of one frame. Since it is an amount, smooth transmission can be performed.
[0005]
There is no particular problem when displaying interlaced images continuously on a display device. However, there is a problem when displaying a still image, such as when temporarily stopping an interlaced image. The problem is that if two fields transmitted in two transmissions are simply combined into a still image, for example, if the subject displayed in the image is not completely still, Due to the time shift, the continuity of the image is lost, and a shift occurs in one synthesized image. As a result, the quality of the displayed composite image is reduced.
[0006]
Further, even when the display is continuously displayed on the display device, the same problem as described above occurs when displaying an interlaced image on a display device employing a non-interlaced scanning method such as a liquid crystal television. The non-interlaced scanning method is also called a progressive scanning method, which is a method of scanning and displaying without skipping scanning lines.
[0007]
Therefore, in order to eliminate discontinuity of an image caused by a time lag between fields, it is conceivable to use only one field and generate pixel data of an interpolated pixel between scanning lines in the field. As a result, it is possible to prevent image deterioration such as discontinuity of the image, and it is possible to synthesize one high-quality image.
[0008]
Hereinafter, an interpolation technique for generating pixel data of an interpolated pixel between horizontal scanning lines will be described with reference to FIGS.
[0009]
FIG. 8 is a diagram illustrating one field constituting an interlaced image. The figure shows a diamond-shaped image V displayed based on pixel data of pixels arranged on a horizontal scanning line. FIG. 9 is an enlarged view of a portion R indicated by a mark in FIG. 10 to 12 are enlarged views showing a part of a field interpolated by a conventional interpolation technique. In the following description, B (0) represents the pixel data of the interpolated pixel together with the interpolated pixel, and A (n) and C (n) are referred to when generating the pixel data of the interpolated pixel B (0). And the pixel data of that pixel. The pixels A (n) and C (n) are pixels arranged on the upper and lower horizontal scanning lines adjacent to the interpolation pixel B (0). Here, n represents the pixel array position number in the horizontal scanning line direction with reference to the interpolation pixel B (0).
[0010]
As a first example of the conventional interpolation technique, as shown in FIG. 10, a method of directly using pixel data of pixels arranged on a horizontal scanning line located on an interpolation scanning line. That is, one of the pixel data of the pixels arranged in the odd-numbered scan line 1, scan line 3, scan line 5,... In the field is directly arranged in even-numbered scan line 2, scan line 4,. This is an interpolation processing method using pixel data of pixels. If the interpolated scanning line is an odd-numbered scanning line, the interpolation process may be performed using pixel data of pixels arranged on the even-numbered scanning line to generate pixel data of the interpolated pixel. in this way,
B (0) = A (0)
To perform interpolation processing. According to this method, the resolution in the vertical direction of the image is halved, and diagonal lines and the like cannot be interpolated well. Based on the pixel data of the generated interpolated pixels, jagged edges are extremely conspicuous, and a low-quality image Are synthesized.
[0011]
As a second interpolation technique, as shown in FIG. 11, a method of calculating an average value of pixel data of pixels arranged on two scanning lines located above and below an interpolation scanning line. in this way,
B (0) = (A (0) + C (0)) / 2
To perform interpolation processing. According to this method, the jaggedness generated in the image after the interpolation processing becomes slightly inconspicuous, but the image is blurred due to deterioration of the edge of the image.
[0012]
Further, as a third interpolation technique, as shown in FIG. 12, attention is paid to a direction of an edge of an image, a correlation indicating continuity between pixels is obtained, and an interpolation process is performed based on the obtained correlation. Is the way. More specifically, the pixel data of the pixel pairs located not only in the vertical direction with respect to the interpolation pixel but also in all three directions from the upper right to the lower left and from the upper left to the lower right are used. Is calculated by calculating the absolute value of the difference. If the difference absolute value of the pixel data of the pixel pair is small, it can be said that the continuity of the image is high and the image is smooth. Therefore, when pixel data of an interpolated pixel is generated from pixel data of a pixel located in a portion having a large correlation, a smooth image can be obtained, and a pixel pair located in a direction in which the absolute difference value is minimum is extracted. Then, an average value of the pixel data is obtained, and the obtained average value is generated as pixel data of the interpolation pixel. in this way,
B (0) = (A (-1) + C (1)) / 2
B (0) = (A (0) + C (0)) / 2
B (0) = (A (1) + C (-1)) / 2
Are calculated, and among the three calculated pixel data B (0), the minimum value is generated as the pixel data of the interpolation pixel.
[0013]
As described above, when the interpolation processing is performed by the third interpolation technique, a smooth image can be synthesized.
[0014]
However, even with the third interpolation technique, it is not always possible to synthesize high-quality images for all interlaced images. This is because an image may include an inclined edge that is as close as possible to the horizontal, and detection of such an inclined edge is not sufficient simply by obtaining the correlation in the three directions.
[0015]
In view of this, there has been proposed an interpolation technique for performing an interpolation process by obtaining a correlation between pixels in five or seven directions as well as in three directions as in the third interpolation technique described above. FIG. 13 is a diagram for explaining an interpolation technique for detecting a correlation in five directions, and FIG. 14 is a diagram for explaining an interpolation technique for detecting a correlation in seven directions. As described above, by increasing the direction in which the correlation is obtained in order to perform the interpolation processing, it is possible to accurately determine the direction in which the correlation exists between the pixels.
[0016]
However, these interpolation techniques also have problems. That is, although it is originally between pixels having low relevance, it may be determined that relevancy is high. For example, pixel data between pixels far from the interpolation pixel B (0), such as the pixels A (-3) and C (3) or the pixels A (3) and C (-3) shown in FIG. Data relevance with the pixel data of the interpolation pixel is often low. However, when the pixel data of the pixels A (-3) and C (3) or the pixel data of the pixels A (3) and C (-3) happens to coincide, it is determined that the correlation between the pixels is large. Would. Then, the pixel data of the interpolation pixel is generated based on the pixel data of the pixels A (−3) and C (3). In such a case, the pixel data of the interpolated pixel B (0) is discontinuously set to a completely different value from the pixel data of the adjacent pixel, resulting in extremely noticeable noise.
[0017]
In order to reduce the "interpolation error" in which the interpolation processing does not work well and the generation of appropriate pixel data is not performed, JP-A-5-153562 discloses the following technique. Various interpolation techniques have been proposed.
[0018]
The pixels referred to in this technique are 14 pixels located in seven directions as shown in FIG. From among these seven directions, the interpolation direction for generating the pixel data of the interpolation pixel is determined by a predetermined method.
[0019]
First, a region including the pixels A (-1) and C (1), the pixels A (0) and C (0), and the pixels A (1) and C (-1) shown in FIG. Then, the correlation (correlation) is determined for the three directions in the region. Then, the correlation in the oblique direction in the first area, that is, the direction connecting pixel A (-1) and pixel C (1), or the direction connecting pixel A (1) and pixel C (-1). It is determined whether or not there is a relationship, and if there is a correlation, the correlation is also determined in a direction forming a shallower angle with respect to a direction connecting the pixel A (0) and the pixel C (0). The direction forming a shallow angle is defined as pixel A (1) and pixel C (-1), pixel A (2) and pixel C (-2), pixel A (3) and pixel C (-3), or pixel A direction connecting the pixel A (-1) to the pixel C (1), the pixel A (-2) to the pixel C (2), and the pixel A (-3) to the pixel C (3). That is, if it is determined that there is a correlation between the pixel A (1) and the pixel C (-1) at the first stage, the pixels A (1) and C (-1), the pixels A (2) and C ( -2) A region including pixels A (3) and C (-3) is set as a second region, and the correlation between the pixels is determined. On the other hand, if it is determined that there is a correlation between the pixel A (-1) and the pixel C (1), the pixels A (-1) and C (1), the pixels A (-2) and C (2), A region including the pixels A (-3) and C (3) is set as a third region, the correlation between the pixels is determined, the one having the largest correlation is determined as the interpolation direction, and based on the determined interpolation direction. Thus, pixel data of the interpolation pixel is generated.
[0020]
As another interpolation technique, there is an interpolation technique disclosed in JP-A-2000-4449. The pixels referred to in this technique are ten pixels located in five directions as shown in FIG. From among these five directions, the interpolation direction for generating the pixel data of the interpolation pixel is determined by a predetermined method. As shown in FIG. 13, the correlation between the pixels in one field is arranged on the C-th horizontal scanning line with the pixel data A (-2) to A (2) of each pixel arranged on the A-th horizontal scanning line. The correlation in each direction is evaluated based on the difference between the pixel data C (−2) to C (2) of the pixel corresponding to the A-th pixel, and among the five directions, the value of the correlation evaluation index is the highest. The smaller direction is defined as the interpolation axis. It should be noted that the technique of evaluating the correlation of predetermined pixels arranged on the upper and lower horizontal scanning lines based on the pixel components containing the most high-frequency components and determining the interpolation axis, based on the coordinate values of the uniform color space A method of evaluating the correlation between predetermined pixels arranged on upper and lower horizontal scanning lines and determining an interpolation axis is also shown.
[0021]
[Problems to be solved by the invention]
According to the above-described interpolation technique, the interpolation processing may not always be performed accurately by using any of the techniques. As a result, an image composed of the pixel data of the generated interpolation pixels may have a smooth contour line. However, there is a problem in that irregularities occur in portions that should be used, and interpolation errors occur such that noise is noticeable. Such interpolation errors occur because the edges of the image are not always present along the pixels in the digitized image.
[0022]
FIG. 15 is a diagram illustrating an example in which an edge portion of an image does not exist along the arrangement direction of pixels in a digitized image. As shown in the figure, a straight line L indicating an edge extends from the boundary between the pixel A (0) and the pixel A (1) and across the boundary between the pixel C (-1) and the pixel C (0). I have. The pixel data of the pixels A (0), A (1), C (-1), and C (0) are 5, 5, 6, and 3, respectively, and the pixels of the pixels A (3) and C (-3) are The data are both "X" and have the same value. Note that “X” has a low correlation with the pixel data of other pixels. Such an image is sufficiently generated when an image having a resolution not so high as compared with printing or the like, for example, an image of a television by an NTSC (National Television Committee System) system employing an interlaced scanning system is treated as a digitized image. obtain.
[0023]
In the image shown in FIG. 15, when the pixel data of the interpolated pixel B (0) is generated by the above-described first to third interpolation techniques, the interpolation processing is not performed accurately. That is, while the absolute value of the difference between pixel A (0) and pixel C (0) is 2 and the absolute value of the difference between pixel A (1) and pixel C (−1) is 1, Since the absolute value of the difference between A (3) and pixel C (-3) is 0, the pixel A (3) and the pixel C (-3) having the smallest absolute difference have the largest correlation. It is because it is determined. As a result, the average value of the pixel data of the pixel A (3) and the pixel C (-3) whose correlation is not necessarily large is generated as the pixel data of the interpolation pixel B (0), so that the quality of the interpolation image is low. descend.
[0024]
Further, even with the technique disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 5-153562, the interpolation processing of the image is not accurately performed. If it is determined that there is a correlation in the oblique direction by the determination of the first area, the determination of the second area is made, and finally, the direction connecting the pixel A (3) and the pixel C (-3) is correlated. Is determined to be large, and thus has the same problem. In addition, even if the technique disclosed in JP-A-2000-4449 is used, an interpolation error similarly occurs.
[0025]
Further, even in the opposite case, that is, when it is correct to perform the interpolation process using the pixel data of the pixels A (3) and C (-3), an interpolation error occurs.
[0026]
According to the technique disclosed in JP-A-5-153562, the following interpolation error occurs. FIG. 16 is a diagram in which the image of FIG. 15 is divided into first, second, and third regions. In this technique, first, a first area including pixels A (0) and C (0), pixels A (-1) and C (1), and pixels A (1) and C (-1) shown in FIG. Are obtained, but if it is not determined that the correlation is large in the pixels A (-1) and C (1) and the pixels A (1) and C (-1), for example, the pixel A ( When the absolute value of the difference between the pixel -1) and the pixel C (1) is 1, the absolute value of the difference is the same as the absolute value of the difference between the pixel A (1) and the pixel C (-1). Is determined to be neither. Therefore, in this case, since the correlation in the second and third regions as the next determination step is not determined, the direction connecting pixel A (−3) and pixel C (3), that is, the edge having a shallow angle is It will not be detected. Therefore, even if there is a direction having the largest correlation, such as a direction connecting the pixel A (-3) and the pixel C (3), the direction may not be used for generating the interpolated pixel data.
[0027]
Also, as another problem, according to the above-described interpolation technique, one frame is synthesized using only one field, so that even if interpolation is performed correctly, an image deteriorates in a predetermined portion. In some cases. This is because the interpolation processing is performed even on a portion where there is no temporal shift in the image between the fields. In other words, there is little variation in pixel data between fields, and the portion where there is no motion in the image is sufficient if it is sufficient to use the pixel data of the pixels in the other field as it is.To perform interpolation processing such as linear interpolation, This is because the image is blurred.
[0028]
An object of the present invention is to provide an interpolation processing method, an interpolation processing program, and a recording medium on which the interpolation processing method, which can minimize the occurrence of an interpolation error and can synthesize a high-quality image, is recorded. An object of the present invention is to provide an image processing apparatus for processing an image using the interpolation processing method and an image forming apparatus including the same.
[0029]
[Means for Solving the Problems]
The present invention is an interpolation processing method of generating pixel data of an interpolation pixel set between the pixels for an image composed of a plurality of pixels using a plurality of pixel data constituting the image.
A plurality of types of interpolation directions oriented bidirectionally with the interpolation pixel as a starting point are determined,
A block pair consisting of two blocks each having the same number of pixels and located at both sides of the interpolation direction and having a point symmetrical positional relationship with each other with the interpolation pixel as a symmetrical point. Extract every
For each extracted block pair, determine the correlation between the two blocks,
Based on the obtained correlation, select at least one interpolation direction from the plurality of types of interpolation directions,
When the interpolated pixel is set as a starting point with respect to the selected interpolation direction, a pixel located at each of both sides of the interpolation direction is selected, and pixel data of the interpolated pixel is generated based on pixel data of the selected pixel. This is a characteristic interpolation processing method.
[0030]
According to another aspect of the present invention, there is provided an image processing apparatus including an interpolation processing unit configured to generate pixel data of an interpolated pixel set between pixels in an image including a plurality of pixels by using a plurality of pixel data included in the image. At
Interpolation direction setting means for determining a plurality of types of interpolation directions oriented bidirectionally from the interpolation pixel,
The plurality of types of block pairs, each including two blocks each having the same number of pixels and located in both directions in the interpolation direction and having a point symmetrical positional relationship with each other with the interpolation pixel as a symmetric point, Extracting means for extracting for each interpolation direction of
Correlation derivation means for obtaining a correlation between two blocks for each block pair extracted by the extraction means;
Selecting means for selecting at least one interpolation direction from the plurality of types of interpolation directions based on the correlation obtained by the correlation deriving means;
With respect to the interpolation direction selected by the selection unit, when the interpolation pixel is set as a starting point, pixels located both in the interpolation direction are selected, and pixel data of the interpolation pixel is determined based on pixel data of the selected pixel. And a pixel data generating means for generating pixel data.
[0031]
According to the present invention, a plurality of types of interpolation directions that are bidirectional starting from the interpolation pixel are determined. A plurality of pairs of two blocks located ahead of these interpolation directions and having a point-symmetric positional relationship with each other with the interpolation pixel as a symmetric point are extracted as a block pair, and the correlation between the blocks is obtained for each block pair. Based on the correlation, at least one interpolation direction is selected from a plurality of types of interpolation directions. Then, with respect to the selected interpolation direction, when the interpolation pixel is set as the starting point, the pixels located respectively on both sides of the interpolation direction are selected. Pixel data of the interpolated pixel is generated based on the pixel data of the selected pixel.
[0032]
As described above, since the correlation between blocks can be obtained by using a plurality of pixels in the block, it is possible to obtain a highly reliable correlation as compared with the case of simply obtaining between a pair of pixels. it can. Therefore, a highly reliable interpolation direction can be selected based on a highly reliable correlation, so that pixel data of an interpolation pixel with high accuracy can be generated. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0033]
Further, the present invention provides an interpolation processing method for generating pixel data of an interpolation pixel set between the pixels for an image composed of a plurality of pixels by using a plurality of pixel data constituting the image.
Extracting a plurality of pairs of two pairs of blocks each having the same number of pixels and including two blocks having a point-symmetric positional relationship with each other with the interpolation pixel as a symmetric point;
For each extracted block pair, determine the correlation between the two blocks,
Based on the obtained correlation, at least one block pair is selected from the plurality of block pairs, a correlation direction between two blocks of the selected block pair is obtained, and the obtained correlation direction is determined as an interpolation direction. ,
When the interpolation pixel is set as a starting point with respect to a determined interpolation direction, a pixel located ahead of the interpolation direction is selected, and pixel data of the interpolation pixel is generated based on pixel data of the selected pixel. This is an interpolation processing method.
[0034]
According to the present invention, two sets of two blocks having a point-symmetric positional relationship with each other with the interpolation pixel as a symmetric point are extracted as one block pair, and a correlation between blocks is obtained for each of the plurality of block pairs. . At least one block pair is selected from the plurality of block pairs based on the correlation, and based on the correlation between two blocks of the selected block pair, the block is selected from the plurality of block pairs. At least one block pair is selected. A correlation direction between two blocks of the selected block pair is determined, and the correlation direction is determined as an interpolation direction. Then, with respect to the determined interpolation direction, when the interpolation pixel is set as a starting point, a pixel located ahead of the interpolation direction is selected, and pixel data of the interpolation pixel is generated based on the pixel data of the selected pixel.
[0035]
As described above, since the correlation between blocks can be obtained by using a plurality of pixels in the block, it is possible to obtain a highly reliable correlation as compared with the case of simply obtaining between a pair of pixels. it can. Therefore, a highly reliable interpolation direction can be selected based on a highly reliable correlation, so that pixel data of an interpolation pixel with high accuracy can be generated. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0036]
Further, according to the present invention, with respect to an image of one field obtained by interlaced scanning, pixel data of an interpolation pixel set on an interpolation scanning line set between horizontal scanning lines of the field is stored in a plurality of pixels arranged on the horizontal scanning line. In the interpolation processing method generated using the pixel data of the pixel of
A plurality of types of interpolation directions oriented bidirectionally with the interpolation pixel as a starting point are determined,
Two blocks each having the same number of pixels arranged on two horizontal scanning lines sandwiching the interpolation scanning line in which the interpolation pixel is set. The two blocks are located in both the destinations of the interpolation direction. A block pair composed of two blocks having a point symmetrical positional relationship with each other as a point is extracted for each interpolation direction,
For each extracted block pair, determine the correlation between the two blocks,
Based on the obtained correlation, select at least one interpolation direction from the plurality of types of interpolation directions,
With respect to the selected interpolation direction, when the interpolation pixel is set as a starting point, a pixel located at both of the selected interpolation direction destination is selected, and pixel data of the interpolation pixel is generated based on pixel data of the selected pixel. An interpolation processing method characterized in that:
[0037]
According to the present invention, first, a plurality of types of interpolation directions that are bi-directional are determined with interpolation pixels arranged on interpolation scanning lines set between horizontal scanning lines of a field as starting points. A block pair consisting of two blocks arranged on two horizontal scanning lines sandwiching the interpolation scanning line and located ahead of a predetermined interpolation direction and having a point-symmetric positional relationship with each other with the interpolation pixel as a symmetry point. Are extracted. A correlation between blocks is obtained for each extracted block pair, and at least one direction is selected as an interpolation direction based on the obtained correlation. Then, when an interpolation pixel is set as a starting point in the selected interpolation direction, a pixel located ahead of the interpolation direction is selected, and pixel data of the interpolation pixel is generated based on the pixel data of the selected pixel. .
[0038]
As described above, since the correlation between blocks can be obtained by using a plurality of pixels in the block, it is possible to obtain a highly reliable correlation as compared with the case of simply obtaining between a pair of pixels. it can. Therefore, a highly reliable interpolation direction can be selected based on a highly reliable correlation, so that pixel data of an interpolation pixel with high accuracy can be generated. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0039]
Further, according to the present invention, the correlation between the two blocks is
Among the pixels of the two blocks, at least one pixel pair is determined as a reference pixel pair among pixel pairs having a point-symmetric positional relationship with the interpolation pixel as a symmetric point, and pixels other than the reference pixel pair are determined. Is an auxiliary pixel,
Calculating the absolute value of the difference between the pixel data of the reference pixel pair, and calculating the absolute value of the difference between the pixel data of the auxiliary pixels having a correspondence relationship between the two blocks;
It is characterized in that it is obtained based on the calculated absolute difference values.
[0040]
According to the present invention, the correlation between the two blocks includes a difference absolute value of pixel data of a reference pixel pair having a point-symmetric positional relationship with respect to an interpolation pixel as a symmetric point, and a pixel between auxiliary pixels other than the reference pixel. Calculate the absolute value of the difference between the data.
[0041]
As described above, the correlation between the reference pixels is used as a reference, and furthermore, the correlation between the auxiliary pixels is obtained. Therefore, compared with the case where the correlation is obtained between one pixel, the reliability of the correlation between the blocks is This can be enhanced by the correlation between a plurality of auxiliary pixels.
[0042]
Further, according to the present invention, when calculating the absolute value of the pixel data difference between the auxiliary pixels, an auxiliary line is formed such that a line segment connecting the auxiliary pixels is substantially parallel to a line segment connecting the reference pixels. It is characterized in that a difference absolute value of pixel data is calculated between pixels.
[0043]
According to the present invention, the absolute value of the pixel data difference between the auxiliary pixels is calculated such that the line connecting the reference pixels is substantially parallel to the line connecting the auxiliary pixels. As described above, since the correlation is obtained by selecting the auxiliary pixel in which the line segment connecting the auxiliary pixels is substantially parallel to the line segment connecting the reference pixel, the correlation corresponding to the correlation between the reference pixels is obtained. Can be.
[0044]
Further, the present invention, when selecting at least one interpolation direction from among the plurality of types of interpolation directions, divides the plurality of types of interpolation directions into groups each of which approximates the direction of interpolation. The interpolation direction having the largest correlation between the pixels located in both of the groups is extracted, and the correlation between the interpolation directions extracted from each group is compared to select the interpolation direction.
[0045]
According to the present invention, when at least one interpolation direction is selected, the plurality of interpolation directions are grouped in directions that are similar to each other, and the correlation between pixels located at both of the interpolation direction destinations in each group is determined. The interpolation direction having the largest relationship is extracted. The correlation of the interpolation direction extracted from each group is compared, and the interpolation direction is selected.
[0046]
As described above, to select an interpolation direction, one interpolation direction is extracted from each group grouped for each approximate direction, the extracted interpolation directions are compared, and one interpolation direction is determined based on the relationship between the extracted interpolation directions. Since the direction is selected, an accurate interpolation direction based on the correlation direction can be selected as compared with a case where a direction having the largest correlation is simply selected from a plurality of interpolation directions.
[0047]
Further, according to the present invention, a correlation between a field to be subjected to interpolation processing and a corresponding field constituting one frame is obtained, and when the obtained correlation is a predetermined relation, the interpolation direction is selected. Instead, pixel data of a pixel corresponding to the interpolation pixel in the corresponding field is generated as pixel data of the interpolation pixel.
[0048]
According to the present invention, first, a correlation between a field to be subjected to the interpolation processing and a corresponding field constituting this frame and one frame is obtained. If the obtained correlation between the fields is a predetermined relationship, no interpolation direction is selected. In this case, pixel data of a pixel corresponding to the interpolation pixel in the corresponding field is generated as pixel data of the interpolation pixel.
[0049]
As described above, when the correlation between the fields is large and has a predetermined relationship, for example, when there is no image movement between the fields, the pixel data of the corresponding field is used as it is without performing the interpolation process forcibly. Thus, an image closer to the original image can be reproduced, so that deterioration of the image can be prevented.
[0050]
Further, according to the present invention, after generating the pixel data of the interpolation pixel, the pixel data of the interpolation pixel is compared with pixel data of a plurality of predetermined pixels located around the interpolation pixel, and the generated interpolation pixel It is determined whether or not an error has occurred in the pixel data.If an error has occurred, new pixel data is generated using pixel data of a predetermined pixel, and the generated new pixel data is referred to as the interpolation pixel. The pixel data is replaced with
[0051]
According to the present invention, after generating the pixel data of the interpolation pixel, in order to verify the validity of the value of the pixel data, the pixel data of the interpolation pixel and the pixel data of a predetermined plurality of pixels located around the interpolation pixel Are compared to determine whether an error has occurred in the pixel data of the generated interpolation pixel. The error of the pixel data includes, for example, a case where the generated pixel data is in an isolated point state. If an error occurs in the pixel data of the generated interpolation pixel, new pixel data is generated using the pixel data of the predetermined pixel. Then, the generated new pixel data is replaced as the pixel data of the interpolation pixel.
[0052]
As described above, after generating the pixel data of the interpolation pixel, if an error occurs in the generated pixel data, more accurate pixel data can be generated by performing the re-interpolation processing. Therefore, the occurrence of an interpolation error can be further suppressed.
[0053]
Further, the invention is characterized in that the pixel data is a luminance value.
According to the present invention, since the luminance value is used in the interpolation processing, it is possible to cope with the interpolation processing of both monochrome and color images.
[0054]
Further, the present invention is an interpolation processing program for causing a computer to execute the above-described interpolation processing method.
According to the present invention, an interpolation process can be executed by a computer.
[0055]
Further, the present invention is a computer-readable recording medium recording the above-mentioned interpolation processing program.
[0056]
According to the present invention, an interpolation processing program for executing an interpolation processing method can be easily supplied to a computer.
[0057]
According to another aspect of the present invention, there is provided an image forming apparatus including the image processing apparatus described above, wherein an image is formed based on the image data subjected to the interpolation processing by the image processing apparatus, and the image is output.
[0058]
According to the present invention, it is possible to output a high-quality image using the pixel data of the interpolated pixels generated by the image processing device described above.
[0059]
BEST MODE FOR CARRYING OUT THE INVENTION
[First Embodiment]
FIG. 1 is a flowchart showing a processing procedure of an interpolation processing method according to an embodiment of the present invention. The image to be subjected to the interpolation processing method of the present invention is, in particular, an image based on an interlaced scanning method (“interlaced image”), and an interlaced image is composed of one frame from two fields. In the following description, examples of the pixel data include a luminance value. However, not only the luminance value but also pixel data such as a color difference indicating a color value may be used.
[0060]
When the interlaced image is paused and displayed as a still image, or when displayed on a display device adopting a non-interlaced scanning method such as a liquid crystal television, the following interpolation processing is performed.
[0061]
First, the pixel data of the pixels constituting the field is input, and in step a1, the interpolation process is started. The input of the pixel data may be any input such as every pixel, every scan line, every plane, etc. The plane here refers to pixel data for each color component. When the pixel data of the predetermined surrounding pixels for the interpolation pixel is input, the next processing is started. Until then, pixel data is input as needed.
[0062]
In step a2, an image noise portion is extracted. The image noise part is a noise part composed of flicker noise. When the subject moves, the subject image is displaced between the two fields. When the images are combined based on the pixel data of the pixels in the two fields where the displacement occurs, the image is shifted every other scan line. And appears as noise. This noise is flicker noise. As described above, when the subject moves, the image quality of the synthesized image becomes inferior. Therefore, first, it is necessary to extract in which part of the image the flicker noise exists.
[0063]
FIG. 2 is a diagram for explaining an extraction process for extracting an image noise portion. In the extraction processing, pixel data of pixels arranged on two horizontal scanning lines above and below the interpolation pixel B (0), that is, pixel data of each of two pixels positioned in the vertical direction of the interpolation pixel B (0) is referred to. You. In the figure, pixel data of pixels A (0) and D (0) arranged on the upper two horizontal scanning lines and pixel data of pixels C (0) and E (0) arranged on the lower two horizontal scanning lines are shown. Is referenced.
[0064]
Here, the interpolation pixel B (0) is a field corresponding to the field to be subjected to the interpolation processing in which the pixel data of the interpolation pixel is generated, that is, the pixel on the field constituting one frame with the field to be subjected to the interpolation processing. And the pixel is located at a position corresponding to the interpolation pixel. In the following description, a reference numeral “B (0)” or the like indicating a pixel indicates a pixel and pixel data of the pixel.
[0065]
First, the absolute value of the difference between the pixel data of the interpolated pixel B (0) and the pixel data D (0), that is, | D (0) −B (0) | The absolute value of the difference between the pixel data of the pixel B (0) and the pixel data of the pixel E (0), that is, | E (0) −B (0) |, is calculated. A smaller value is selected from the calculation results. Further, the absolute value of the difference between the pixel data of the pixel A (0) and the pixel data of the pixel C (0), that is, | A (0) −C (0) |, is calculated and compared with the previously selected small value. Of these two values, the larger value is D1.
[0066]
Next, in a field in which pixel data of the interpolation pixel B (0) is to be generated, pixel data at a position shifted by + ／ pixel is calculated by the following equation (1).
S1 = B (0) × 3 + E (0) (1)
[0067]
Similarly, in the other field, pixel data at a position shifted by + ／ pixel is calculated by the following equation (2).
S2 = A (0) + C (0) × 3 (2)
[0068]
Then, an absolute difference value | S1−S2 | of the calculation results of Expressions (1) and (2) is calculated. Further, by comparing | S1−S2 | with a value obtained by multiplying D1 by a certain constant value, it is determined whether or not the image noise portion exists. If | S1−S2 | is larger than the value obtained by multiplying D1 by a certain constant value, it is determined that the interpolated pixel B (0) is an image noise portion. Conversely, if | S1−S2 | is smaller, pixel data at a position shifted by − ／ pixel in both fields is further calculated to determine whether or not an image noise portion exists. to continue. Even if it is determined that the interpolated pixel B (0) is an image noise portion, in order to increase the accuracy of the interpolation process, the pixel data at the position shifted by −−１ pixel in both fields is further improved. The calculation may be performed.
[0069]
In a field where pixel data of the interpolation pixel B (0) is to be generated, the following equation (3) is calculated in order to calculate pixel data at a position shifted by ４.
S3 = B (0) × 3 + D (0) (3)
[0070]
Similarly, in the other field, the following equation (4) is calculated to calculate pixel data at a position shifted by −−１ pixel.
S4 = C (0) + A (0) × 3 (4)
[0071]
Then, the absolute difference value | S3-S4 | of the calculation results of Expressions (3) and (4) is calculated, and | S3-S4 | is compared with a value obtained by multiplying D1 by a constant value. From the relationship between | S3-S4 | and D1, if | S3-S4 | is larger than the value obtained by multiplying D1 by a constant value, the interpolated pixel B ( 0) is determined to be an image noise portion. Conversely, if | S3−S4 | is smaller, it is determined that it is not an image noise portion.
[0072]
As described above, the image noise portion can be extracted by obtaining the correlation between the fields based on the difference between the pixel data. This is based on the fact that the greater the change in pixel data between fields, the lower the correlation, and the greater the possibility of image noise.
[0073]
In step a3, it is determined whether or not the image is a noise portion based on the determination result in step a2. If it is determined that the image is a noise portion, the process proceeds to step a4. If it is determined that the image is not a noise portion, the process proceeds to step a9.
[0074]
In step a9, the pixel data of the corresponding field corresponding to the field in which the interpolation scanning line is set is extracted, and this pixel data is directly generated as the pixel data of the interpolation pixel. That is, when it is determined that the interpolation pixel is not the image noise portion, the pixel data of the corresponding field is used as it is as the pixel data of the interpolation pixel.
[0075]
In step a4, a plurality of interpolation directions are set. The interpolation directions are a plurality of types of directions that are bidirectional starting from the interpolation pixel B (0).
[0076]
FIG. 3 is a diagram illustrating pixels referred to in the interpolation processing of the interpolation pixel B (0). In the figure, one horizontal scanning line (horizontal direction) including the interpolation pixel B (0) is an interpolation scanning line. The pixels referred to in the interpolation processing of the interpolation pixels arranged on the interpolation scanning line are the scanning lines sandwiching the interpolation scanning line, and are the pixels arranged on the horizontal scanning lines located above and below the interpolation scanning line. That is, the pixel A (n) and the pixel C (n) (n is an integer).
[0077]
The interpolation directions for the interpolation pixel B (0) are between the pixels A (-3) and C (3), between the pixels A (-2) and C (2), between the pixels A (-1) and C (1), Between pixels A (0) and C (0), between pixels A (1) and C (-1), between pixels A (2) and C (-2), between pixels A (3) and C (-3) Are the seven directions on the line segment connecting.
[0078]
In step a5, a block pair is extracted for each interpolation direction. The two blocks forming the block pair include the same number of pixels arranged on horizontal scanning lines above and below the interpolation scanning line. Here, the constituent pixels of one block are three pixels, and these three pixels are arranged continuously in the horizontal direction. The positional relationship between the two blocks is point-symmetric with respect to the interpolation pixel as a target point.
[0079]
Specifically, referring to FIG. 3, for example, if the interpolation direction is a direction on a line segment connecting pixels A (−3) and C (3), the block pair includes pixel A (−4) , A (-3) and A (-2), and a block composed of three pixels C (2), C (3) and C (4). Since the interpolation directions are seven directions, the other six block pairs are:
A block pair consisting of a block of pixels A (-3), A (-2), A (-1) and a block of pixels C (1), C (2), C (3);
A block pair consisting of a block of pixels A (-2), A (-1), A (0) and a block of pixels C (0), C (1), C (2);
A block pair consisting of a block of pixels A (-1), A (0), A (1) and a block of pixels C (-1), C (0), C (1);
A block pair consisting of a block of pixels A (0), A (1), A (2) and a block of pixels C (-2), C (-1), C (0);
A block pair consisting of a block of pixels A (1), A (2) and A (3) and a block of pixels C (-3), C (-2) and C (-1);
The block pair includes a block of pixels A (2), A (3) and A (4) and a block of pixels C (-4), C (-3) and C (-2).
[0080]
In step a6, a correlation value between blocks in each block pair is calculated to obtain a correlation for each block pair. The correlation value is a numerical value representing the correlation. Specifically, a difference absolute value of pixel data between a pixel of one block and a pixel of the other block corresponding to the pixel is calculated, and a sum of the calculated difference absolute values is calculated. Then, the calculated sum is multiplied by a predetermined weight coefficient to obtain a block correlation value.
[0081]
This will be described with reference to FIG. For example, in a block of pixels A (−4) to A (−2) and a corresponding block of pixels C (2) to C (4), an inter-pixel Is calculated. That is, the absolute differences of the pixels A (-4) and C (2), the pixels A (-3) and C (3), and the pixels A (-2) and C (4) are calculated and calculated. The sum of the absolute differences is determined. The sum is multiplied by a predetermined weighting factor. Correlation values are similarly calculated for the other six block pairs. In these two blocks, since the interpolation direction is a direction on a line connecting the pixels A (-3) and C (3), one pixel pair of the pixels A (-3) and C (3) is used. Is defined as a reference pixel pair, and pixels other than the reference pixel pair, that is, pixels A (-4), A (-2), pixels C (2), and C (4) are determined as auxiliary pixels.
[0082]
Here, when the combination of pixels used for calculating the correlation value is set as described above, the line segment connecting the pixels is substantially parallel to other line segments. That is, the line segments connecting the pixels A (-4) and C (2), the pixels A (-3) and C (3), and the pixels A (-2) and C (4) are almost parallel. As described above, since the line segments connecting the pixels are substantially parallel to each other, the calculated correlation values correspond to each other. Thus, the reliability of the correlation value can be improved.
[0083]
In step a7, an interpolation direction is selected. An interpolation direction is selected based on the smallest correlation value among the seven calculated correlation values. Specifically, an interpolation direction having a positional relationship between the upper left direction and the lower right direction is defined as a first group with the interpolation pixel B (0) as a symmetric point, and an interpolation direction having a positional relationship between the upper right direction and the lower left direction is defined as a first group. Grouping is performed as a second group, an interpolation direction in which the correlation value is minimum in each group is selected, and one interpolation direction is selected based on the selected interpolation direction. Note that the vertical direction is included in both groups.
[0084]
That is, between pixels A (-3) and C (3), between pixels A (-2) and C (2), between pixels A (-1) and C (1), and between pixels A (0) and C (0). ) Are defined as a first group, between pixels A (0) and C (0), between pixels A (1) and C (-1), between pixels A (2) and C (-2), The interpolation direction passing between the pixels A (3) and C (-3) is defined as a second group. Then, in the first group, an interpolation direction in which the correlation value is minimum and in the second group, an interpolation direction in which the correlation value is minimum are selected. From the two selected interpolation directions, a final interpolation direction is determined based on the following conditions.
[0085]
When the two selected interpolation directions are both interpolation directions passing between pixels A (0) and C (0), or both are interpolation directions passing between pixels A (0) and C (0). If the direction is not the direction, the interpolation direction passing above between the pixels A (0) and C (0) is selected as the interpolation direction.
[0086]
On the other hand, if one of the two selected interpolation directions is an interpolation direction that passes on between the pixels A (0) and C (0), the upper direction between the pixels A (0) and C (0) The other direction that is not the interpolation direction passing through is selected as the interpolation direction.
[0087]
In step a8, an interpolation process is performed. Specifically, two pixels located respectively on both sides of the selected interpolation direction are selected, and linear interpolation processing is performed based on the pixel data of the selected pixel.
[0088]
In step a10, it is determined whether or not the processing in steps a2 to a9 has been completed for one interpolation scanning line. If it is determined that the process has been completed, the process proceeds to step a11. If it is determined that the process has not been completed, the process proceeds to step a15. In step a15, the target is moved to the next interpolation pixel. For example, when performing the interpolation processing for one interpolation scanning line while shifting the interpolation pixels one pixel at a time, the next interpolation pixel to be processed is a pixel shifted by one pixel to the right of the pixel on which the interpolation processing has been completed. Become.
[0089]
In step a11, the validity of the pixel data of the generated interpolation pixel is evaluated. Specifically, pixel data of pixels located around the target interpolation pixel and located in four directions of vertical, horizontal, right diagonal, and left diagonal with the target interpolation pixel as a center, The pixel data of the pixel is compared with the pixel data of the target interpolation pixel to evaluate whether or not the pixel data of the target interpolation pixel has a value equal to or more than a certain value in all directions. In addition, the pixel located in the horizontal direction is an interpolation pixel adjacent to the target interpolation pixel. If the pixel data of the target interpolation pixel has a value equal to or greater than a certain value in all directions, it is determined that the pixel data of the target interpolation pixel is not valid. , The pixel data of the target interpolation pixel is determined to be valid.
[0090]
If it is determined in step a12 that the pixel data of the interpolation pixel is valid, the process proceeds to step a14, and if it is determined that the pixel data is not valid, the process proceeds to step a13. In step a13, a re-interpolation process is performed. In the re-interpolation processing, pixel data of pixels located above and below the interpolation pixel is used, and linear interpolation processing is performed. That is, the pixel data of the pixels A (0) and C (0) is used for the re-interpolation processing of the interpolation pixel B (0).
[0091]
This validity evaluation is always performed on the interpolated pixel determined as the image noise portion and subjected to the interpolation processing. This is because, when selecting the interpolation direction, pixel data of an interpolation pixel that does not match the actual image may be generated because the condition is met by chance, and the incorrect interpolation direction may be selected. Because you get. This is because the range of pixels referred to in the interpolation processing is limited. Therefore, rather than performing the interpolation processing based on the incorrect interpolation direction, the pixel data of the invalid interpolation pixel is obtained by performing the interpolation processing using the pixel data of the pixel located above and below the interpolation pixel and being the nearest pixel. Can be prevented from being generated.
[0092]
In step a14, it is determined whether or not the processing in steps a11 to a13 has been completed for one interpolation scanning line. When the process is completed for one interpolation scanning line, the process proceeds to step a17, where the interpolation process is completed. If the processing has not been completed, the process proceeds to step a16. In step a16, the interpolation processing target is moved to the next interpolation pixel.
[0093]
When the interpolation processing on one interpolation scanning line is completed, the next interpolation scanning line is to be subjected to the interpolation processing, and the interpolation processing is performed on the interpolation pixels on the interpolation scanning line.
[0094]
As described above, since the correlation value indicating the correlation is obtained by using a plurality of pixels in the block, the reliability of the correlation value is increased as compared with a case where the correlation value is simply obtained between a pair of pixels. Therefore, an accurate interpolation direction can be selected based on the highly reliable correlation value, and pixel data of an interpolation pixel with high accuracy based on the accurate interpolation direction can be generated. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0095]
Next, the above-described interpolation processing will be described using specific numerical values. FIG. 4 is a diagram showing an interpolated pixel B (0) and surrounding pixels referred to in the interpolation process. Numerical values in the figure represent pixel data and are shown in decimal numbers in the figure, but are actually 8-bit data and take values from 0 to 255. The pixels arranged on the interpolation scanning line including the interpolation pixel B (0), the field where the pixels D (0) and E (0) exist, and the field where the pixels A (n) and C (n) exist are as follows. Although actually different fields, they are shown in one diagram for convenience.
[0096]
First, an image noise portion is extracted (step a2). The upper and lower pixels A (0) and D (0) and the lower pixel C (0) and the pixel E (0) are divided into two pixels each for the upper and lower pixels with respect to the interpolation pixel B (0). refer.
[0097]
First, the absolute value of the difference between the pixel data of the interpolated pixel B (0) and the pixel data of the pixel D (0) and the pixel E (0) is calculated from the pixel data of the reference pixel.
| D (0) -B (0) | = | 2-1 | = 1
| E (0) -B (0) | = | 0-1 | = 1
[0098]
Here, whichever is smaller is selected, but since the same value is used here, the first value is temporarily selected. Further, the difference absolute value of the pixel data between the pixel A (0) and the pixel C (0) is calculated.
| A (0) -C (0) | = | 5-3 | = 2
[0099]
Of the two calculated values, the larger value is D1.
D1 = 2
[0100]
Next, in the field in which pixel data of the interpolation pixel B (0) is to be generated and the other field, pixel data at positions shifted by + ／ pixel is calculated.
S1 = B (0) × 3 + E (0) = 1 × 3 + 0 = 3
S2 = A (0) + C (0) × 3 = 5 + 3 × 3 = 14
[0101]
By comparing the absolute value of the difference between S1 and S2 with a value obtained by multiplying D1 by a certain constant, it is determined whether or not the image noise portion exists. Here, 5 is used as a certain constant. The constant is an optimal numerical value obtained as a result of performing an interpolation process by setting an arbitrary constant on a plurality of images experimentally. When you make a comparison,
| S1-S2 | = | 3-14 | = 11> 10 (= D1 × 5 = 2 × 5)
Since | S1−S2 | is larger, it is determined that the interpolation pixel B (0) is an image noise portion.
[0102]
As described above, when it is determined that the interpolation pixel B (0) is an image noise portion, it is not necessary to calculate pixel data at a position shifted by − ／ pixel in both fields. In order to improve the accuracy of the processing, pixel data at a position shifted by − 画素 pixel in both fields may be further calculated. Actually, there is no problem even if the following calculation processing is omitted.
[0103]
In the field where the pixel data of the interpolation pixel B (0) is to be generated and the other field, pixel data at a position shifted by −−１ pixel is calculated.
S3 = B (0) × 3 + D (0) = 1 × 3 + 2 = 5
S4 = C (0) + A (0) × 3 = 3 + 5 × 3 = 18
[0104]
Similarly, the difference absolute value between S3 and S4 is compared with a value obtained by multiplying D1 by 5.
| S3-S4 | = | 5-18 | = 13> 10 (= D1 × 5 = 2 × 5)
[0105]
As a result of comparison, | S3−S4 | is larger, so that it is determined that the interpolated pixel B (0) is an image noise portion.
[0106]
Next, a plurality of interpolation directions are set (step a4). As the interpolation direction, pixels A (−3) and C (3), pixels A (−2) and C (2), pixels A (−1) and C (1), pixels A (0), Seven directions are defined between C (0), between pixels A (1) and C (-1), between pixels A (2) and C (-2), and between pixels A (3) and C (-3). .
[0107]
Next, a block pair is extracted (step a5). Since a block pair is extracted for each interpolation direction, corresponding to the above seven directions,
A block pair including a block of pixels A (-4) to A (-2) and a block of pixels C (2) to C (4);
A block pair including a block of pixels A (-3) to A (-1) and a block of pixels C (1) to C (3);
A block pair including a block of pixels A (-2) to A (0) and a block of pixels C (0) to C (2);
A block pair including a block of pixels A (-1) to A (1) and a block of pixels C (-1) to C (1);
A block pair including a block of pixels A (0) to A (2) and a block of pixels C (-2) to C (0);
A block pair including a block of pixels A (1) to A (3) and a block of pixels C (-3) to C (-1);
Seven pairs of a block pair including a block of pixels A (2) to A (4) and a block of pixels C (-4) to C (-2) are extracted.
[0108]
Then, a correlation value is calculated for each block in the block pair (step a6). First, a correlation value of a block pair including a block of pixels A (-4) to A (-2) and a block of pixels C (2) to C (4) is calculated. Note that the calculated correlation value is set to H1. Similarly, the correlation values of the other six block pairs are calculated, and the calculated correlation values are set to H2, H3, H5, H6, and H7 in order. Here, the weight coefficient used for calculating the correlation value is 2 for H1, H2, H3, H5, H6, and H7, and 1 for H4. This weighting factor is also a value obtained as a result of performing an interpolation process on some images experimentally. With respect to the interpolation pixel as the center, the weighting factor is set to be larger as the distance from the center is larger, and the same weight is set in the symmetric interpolation direction.
H1 = ｛| A (−4) −C (2) | + | A (−3) −C (3) |
+ | A (-2) -C (-4) |｝ × 2
= (| 0-1 | + | 0-5 | + | 1-5 |) × 2
= 20
[0109]
Similarly, correlation values H2, H3, H4, H5, H6, and H7 are calculated.
H2 = (| 0-1 | + | 1-1 | + | 2-5 |) × 2 = 8
H3 = (| 1-3 | + | 2-1 | + | 5-1 |) × 2 = 14
H4 = (| 2-6 | + | 5-3 | + | 5-1 |) × 1 = 10
H5 = (| 5-3 | + | 5-6 | + | 1-3 |) × 2 = 10
H6 = (| 5-1 | + | 1-3 | + | 1-6 |) × 2 = 22
H7 = (| 1-0 | + | 1-1 | + | 5-3 |) × 2 = 6
[0110]
In this way, by making the line segment connecting the pixels used for calculating the correlation value substantially parallel to the other line segments, the calculated correlation values correspond to each other. Thus, the reliability of the correlation value can be improved.
[0111]
Then, an interpolation direction is selected (step a7). First, among the correlation values H1 to H7, the correlation values H1 to H4 are set as a first group, and the correlation values H7 to H4 are set as a second group. In each group, a correlation value having a minimum correlation value is obtained. Among the correlation values H1 to H4, the correlation value H2 has the minimum value, and among the correlation values H7 to H4, the correlation value H7 has the minimum value. Here, since the correlation value H4 is not selected for each group, the predetermined condition, “If neither is a combination of the pixel A (0) and the pixel C (0), the pixel A (0) and the pixel C According to "select an interpolation direction passing between (0) and above as an interpolation direction", an interpolation direction connecting pixel A (0) and pixel C (0) is selected as the interpolation direction.
[0112]
Then, the pixel data of the interpolated pixel is generated using the pixel data of the pixel located at both sides of the selected interpolation direction destination (step a8).
B (0) = (A (0) + C (0)) / 2 = (5 + 3) / 2 = 4
[0113]
The above processing is sequentially performed on the pixels arranged on the interpolation scanning line for one interpolation scanning line.
[0114]
Here, as shown in FIG. 4, interpolation pixels B (−1) and B (1) are generated by interpolation processing as B (−1) = 2 and B (1) = 0. It is assumed that the interpolation processing of the interpolation scanning line in which are arranged is completed.
[0115]
Next, the validity of the pixel data of the interpolation pixel B (0) is evaluated (step a11). Specifically, one-dimensional mask processing is performed using the pixel data of the target interpolation pixel and the pixel data of the pixels located in the four directions of vertical, horizontal, right diagonal, and left diagonal of the target interpolation pixel. . A pixel located in the horizontal direction of the target interpolation pixel is an adjacent interpolation pixel.
[0116]
Then, the validity is evaluated by comparing the value calculated by the mask processing with a predetermined threshold value. Here, the one-dimensional mask used for the mask processing is [-1 2 -1], and the value used as the threshold is 10. This threshold value is obtained by experimentally performing interpolation processing on some images, and as a result, a threshold value at which a pixel that is an isolated point is selected.
[0117]
Mask processing is performed for each direction to calculate a value.
Vertical direction: | 5 x (-1) + 4 x 2 + 3 x (-1) | = 0
Lateral direction: | 2 × (-1) + 4 × 2 + 0 × (−1) | = 6
Oblique right: | 5 × (−1) + 4 × 2 + 6 × (−1) | = 3
Left diagonal: | 2 × (-1) + 4 × 2 + 1 × (−1) | = 5
As described above, since the value becomes smaller than the threshold value 10 in any direction, the pixel data of the interpolation pixel B (0) is evaluated as valid. Therefore, the obtained pixel data “4” is finally set as the pixel data of the interpolation pixel B (0).
[0118]
If any of the values calculated in the four directions of vertical, horizontal, diagonal right, and diagonal left becomes a value larger than the threshold, re-interpolation processing is performed (step a13). The re-interpolation process is a linear interpolation process using pixel data of pixels A (0) and C (0).
[0119]
In the above-described example, the selected interpolation direction is the direction between the pixels A (0) and C (0), and if it is determined by the evaluation of the validity of the interpolation process that the interpolation is not valid, the interpolation is performed again. The re-interpolation process is performed using the pixel data of the pixels A (0) and C (0), and the generated pixel data of the interpolated pixel B (0) is “4”.
[0120]
The above processing is performed on all the interpolation pixels arranged on one interpolation scanning line.
In the above-described example, the interpolation process is performed using the 18 neighboring pixels and the two pixels D (0) and E (0), but other numbers of peripheral pixels may be used.
[0121]
[Second embodiment]
Next, a second embodiment of the present invention will be described. FIG. 5 is a flowchart showing a processing procedure of the interpolation processing method according to the second embodiment.
[0122]
Steps b1 to b3 are the same as steps a1 to a3 in the first embodiment.
[0123]
If it is determined in step b3 that the image is a noise portion, the process proceeds to step b4. If it is determined that the image is not an image noise portion, the process proceeds to step b8.
[0124]
In step b8, as in step a9, the pixel data of the corresponding field corresponding to the field in which the interpolation scanning line is set is extracted, and this pixel data is directly generated as the pixel data of the interpolation pixel.
[0125]
In step b4, a plurality of block pairs are extracted. This block pair is composed of two blocks which have a point relationship with each other with the interpolation pixel as a target point.
[0126]
In step b5, the correlation between the two blocks is determined for each block pair.
[0127]
In step b6, an interpolation direction is set. In determining the interpolation direction, first, at least one block pair is selected from the plurality of block pairs based on the correlation obtained in step b5, and the correlation direction between the two blocks of the selected block pair is determined. Is required. Then, this correlation direction is set as the interpolation direction.
[0128]
In step b7, an interpolation process is performed. In the interpolation processing, a pixel located ahead of the interpolation direction determined in step b6 is selected and generated based on the pixel data of the selected pixel.
[0129]
Note that the processing of step b9 to step b16 is the same as the processing of step a10 to step a17 in the first embodiment.
[0130]
As described above, since the correlation value indicating the correlation is obtained by using a plurality of pixels in the block, the reliability of the correlation value is increased as compared with a case where the correlation value is simply obtained between a pair of pixels. Therefore, an accurate interpolation direction can be selected based on the highly reliable correlation value, and pixel data of an interpolation pixel with high accuracy based on the accurate interpolation direction can be generated. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0131]
[Third embodiment]
Next, the interpolation processing unit A constituting the image processing apparatus of the present invention will be described. FIG. 6 is a block diagram illustrating a configuration of the interpolation processing unit A. The interpolation processing unit A includes an image noise portion extraction unit 1, an interpolation direction setting unit 2, an extraction unit 3, an interpolation relation derivation unit 4, a selection unit 5, a pixel data generation unit 6, a field data extraction unit 7, and a pixel data synthesis unit 8. A scanning line end determining means 9, an interpolation validity evaluating means 10 and a re-interpolating means 11.
[0132]
The image noise portion extraction means 1 of the interpolation processing unit A converts five sets of image data or digital image data which are input as analog data and subjected to A / D (analog / digital) conversion processing in the image processing apparatus. After holding the pixel data for the horizontal scanning lines in the buffer, an image noise portion extraction process is performed on the pixel to be interpolated. For the portion determined to be not the image noise portion by the image noise portion extraction processing, the field data extraction means 7 extracts the pixel data of the interpolation pixel currently held as it is. On the other hand, the interpolation direction setting means 2 is controlled for the part determined to be the image noise part by the image noise part extraction processing, and the following processing is performed.
[0133]
The interpolation direction setting means 2 determines a plurality of types of interpolation directions starting from the interpolation pixel, and outputs information on the determined interpolation direction to the extraction means 3.
[0134]
The extraction means 3 extracts a plurality of block pairs for each interpolation direction based on information on the interpolation direction. The block pair is composed of two blocks that are located on both sides of the interpolation direction and have a point-symmetric positional relationship with each other with the interpolation pixel as a symmetric point. Information on the extracted block pair is output to the correlation deriving means 4.
[0135]
The correlation deriving unit 4 calculates the correlation value of the block using the pixel data of the pixels on the horizontal scanning lines above and below the interpolation scanning line, and outputs the calculated correlation value to the selection unit 5.
[0136]
The selection unit 5 searches for an interpolation direction having the largest correlation based on the correlation value, and selects at least one interpolation direction from a plurality of types of interpolation directions. Information on the selected interpolation direction is output to the pixel data generating means 6.
[0137]
The pixel data generating means 6 performs a linear interpolation process using pixel data of pixels on upper and lower horizontal scanning lines ahead of the interpolation direction.
[0138]
The one scanning line end determining means 9 determines whether or not the interpolation processing has been completed for one interpolation scanning line. If the interpolation process has not been completed, the interpolation target is shifted to the right pixel. Then, the control is transferred to the image noise portion extracting means 1. When it is determined that the interpolation processing has been completed for one interpolation scanning line, the control is transferred to the pixel data synthesizing unit 8.
[0139]
The pixel data synthesizing unit 8 synthesizes the pixel data of the pixel extracted by the field data extracting unit 7 and the pixel data of the interpolated pixel generated by the pixel data generating unit 6. At the same time, information on which pixel is the pixel subjected to the interpolation processing is output to the interpolation validity evaluation means 10 together with the information.
[0140]
The interpolation validity evaluation unit 10 determines whether the pixel data of the pixel on the interpolation scanning line input by the pixel data synthesizing unit 8, the pixel data of the pixel on the horizontal scanning line above and below the pixel data, and whether the pixel has been subjected to the interpolation processing. The validity of the pixel data of the generated interpolated pixel is evaluated only for the pixel interpolated by the pixel data generating unit 6 using the information about The evaluation result is output to the re-interpolating means 11.
[0141]
The re-interpolating means 11 performs the following processing based on the evaluation result. If it is determined that the value of the pixel data of the interpolation pixel is appropriate, the value is output as it is. On the other hand, when it is determined that the value of the pixel data of the interpolated pixel is not appropriate, linear interpolation processing is performed using the pixel data of the pixels of the horizontal scanning lines above and below the interpolation scanning line, and the generated pixel data is output. Then, the output pixel data is output to the gradation correction unit of the image processing device.
[0142]
As described above, since an accurate interpolation direction can be selected based on a highly reliable correlation, it is possible to generate pixel data of an interpolation pixel with high accuracy based on the accurate interpolation direction. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0143]
FIG. 7 is a block diagram of a color image forming apparatus C including the color image processing apparatus B of the present invention.
[0144]
As shown in FIG. 7, the color image processing apparatus B includes an A / D conversion unit 30, an interpolation processing unit A, an input gradation correction unit 31, an area separation processing unit 32, a spatial filter processing unit 33, and a scaling processing unit 34. A color space conversion unit 35, a color correction unit 36, a black generation and under color removal unit 37, an output gradation correction unit 38, and a gradation reproduction processing unit 39.
[0145]
A color image input device (analog input device) 50a or a color image input device (digital input device) 50b and a color image output device 51 are connected to the color image processing device B. The image forming apparatus C is configured.
[0146]
The color image input device 50a is composed of, for example, an interlaced image reading unit such as a TV tuner or a video camera, and receives a TV signal such as an NTSC signal from a TV station or RGB (RGB) input from a CCD (Charge Coupled Device) of the video camera. R: red, G: green, B: blue) analog signals are input to the color image processing apparatus B. When a digital color image input device 50b is connected to the color image processing device B, a digital signal such as a digital TV signal or a digital video camera output is input. In that case, the A / D converter 30 is not required.
[0147]
The color image output device 51 outputs image data on a recording medium such as paper or a display medium such as a display. Although an image display device can be mentioned, it is not particularly limited.
[0148]
The image data of the analog signal read by the color image input device is transmitted to the A / D conversion unit 30, the interpolation processing unit A, the input gradation correction unit 31, the area separation processing unit 32, the space The processing is performed in the order of the filter processing unit 33, the scaling processing unit 34, the color space conversion unit 35, the color correction unit 36, the black generation and under color removal unit 37, the output gradation correction unit 38, and the gradation reproduction processing unit 39. , M, Y, and K (C: cyan, M: magenta, Y: yellow) are output to the color image output device 51 as digital color signals.
[0149]
When the input is image data of a digital signal, the color image processing apparatus B sequentially processes the data from the interpolation processing section A to the gradation reproduction processing section 39, and similarly processes the C, M, Y, and K digital color signals. Is output to the color image output device.
[0150]
The A / D conversion section 30 converts each of the Y, Cb, and Cr analog signals input from the color image input device 50a into a digital signal, and outputs the digital signal to the interpolation processing section A.
[0151]
In the interpolation processing unit A, the A / D conversion unit 30 converts the A / D-converted image data or the image data of Y, Cb, and Cr input from the color image input device 50b into image data. The pixel data of the interpolated pixel set between the pixels is generated using the pixel data of the plurality of constituent pixels. The generated pixel data is output to the input tone correction unit 31.
[0152]
The input tone correction section 31 performs tone scale correction processing and color balance correction processing on the Y, Cb, and Cr signals interpolated by the interpolation processing section A as necessary. The processed Y, Cb, and Cr signals are output to the area separation processing unit 32.
[0153]
The region separation processing unit 32 separates each pixel constituting the image into a character region, a halftone dot region, or a photograph region based on the input image data of the Y, Cb, and Cr signals. I do. The region separation processing unit 32 outputs a region identification signal indicating which region the pixel belongs to to the spatial filter processing unit 33, the black generation and under color removal unit 37, and the tone reproduction processing unit 39 based on the separation result. At the same time, the input signal input from the input gradation correction processing unit 31 is output to the spatial filter processing unit 33 as it is.
[0154]
The spatial filter processing unit 33 performs a spatial filter processing by a digital filter on the image data of each of the Y, Cb, and Cr signals input from the area separation processing unit 32 based on the area identification signal, A process for correcting the characteristics to prevent the output image from being blurred and the graininess from deteriorating is performed.
[0155]
For example, with respect to the region separated into characters by the region separation processing unit 32, the amount of high-frequency enhancement is increased by sharp enhancement processing of spatial filter processing in order to particularly enhance the reproducibility of black characters or color characters. In addition, the area separated into halftone dots by the area separation processing unit 32 is subjected to low-pass filter processing for removing the input halftone dot component. The spatial filter processing unit 33 outputs the image data of the Y, Cb, and Cr signals that have been subjected to the spatial filter processing to the scaling unit 34.
[0156]
The scaling unit 34 changes the image data to a predetermined size by a scaling process such as enlargement or reduction in accordance with the resolution and size of the output image in response to a designation from the user or the like. The image data of each of the Y, Cb, and Cr signals subjected to the scaling process is output to the color conversion processing unit 35.
[0157]
The color space conversion unit 35 converts the input image data of each of the Y, Cb, and Cr signals into a CMY color space to obtain image data of each of the C, M, and Y signals (CMY signals). Output to the color correction unit 36.
[0158]
The color correction unit 36 performs color correction according to the output format of the color image output device 51, and outputs the color-corrected CMY signal image data to the black generation and under color removal unit 37.
[0159]
The black generation and under color removal unit 37 generates a black (K) signal from the input CMY signal, and subtracts the K signal obtained by the black generation processing from the original CMY signal to obtain a new CMY signal. The CMY signal is converted into a four-color signal of C, M, Y, and K (CMKY signal). The black generation and under color removal processing is performed by skeleton black which is a general method. In the black generation and under color removal processing using skeleton black, the input / output characteristics of the skeleton curve are set to y = f (x), the input signals are set to C, M, and Y, and the output signals are set to C ′, M ′, and Y. If the UCR (Under Color Removal) rate is α (0 <α <1), then they are expressed by the following equations (5) to (8). Note that min represents a minimum value.
K ′ = f {min (C, M, Y)} (5)
C ′ = C−αK ′ (6)
M ′ = M−αK ′ (7)
Y ′ = Y−αK ′ (8)
[0160]
The tone reproduction processing section 39 performs a predetermined process on the image data of the CMYK signal based on the area identification signal, similarly to the spatial filter processing section 33.
[0161]
For example, in the area separated into characters by the area separation processing unit 32, in order to enhance the reproducibility of a black character or a color character in particular, the gradation reproduction processing unit 39 uses a high-resolution image suitable for high-frequency reproduction. Binary or multi-level processing on the screen is selected.
[0162]
Further, for the area separated into halftone dots by the area separation processing unit 32, the output tone correction unit 38 converts a signal such as a density signal into a halftone dot area ratio which is a characteristic value of the color image output device 51. After performing the output gradation correction process, a gradation reproduction process (halftone generation) for finally separating the image into pixels and performing processing so that each gradation can be reproduced is performed. With respect to the area separated into photographs by the area separation processing unit 32, binarization or multi-value processing is performed on a screen that emphasizes tone reproducibility.
[0163]
The image data on which the above processes have been performed are temporarily stored in the image memory of the color image processing apparatus B, read out at a predetermined timing, and input to the color image output apparatus 51.
[0164]
In the above description of the color image processing apparatus B, the interpolation processing unit A is used after the processing of the A / D conversion processing unit 30. However, the present invention is not limited to this embodiment, and the Y, Cb, Any portion that handles Cr data may be used.
[0165]
The above-described interpolation processing procedure can be executed by a computer using an interpolation processing program or an image processing program combined with other processing. The interpolation processing program is recorded on a computer-readable recording medium. For example, it can be applied as a printer driver. This makes it possible to provide a portable recording medium on which the interpolation processing program is recorded.
[0166]
As a computer-readable recording medium on which the interpolation processing program is recorded, a memory such as a ROM (Read Only Memory) itself for causing a microcomputer to perform an interpolation processing procedure may be a program medium. Further, a program reading device may be provided as an external storage device, and may be a program medium readable by inserting a recording medium therein.
[0167]
In any case, the stored interpolation processing program may be configured to be accessed and executed by the microprocessor. The interpolation processing program may be read, and the read program may be downloaded to a program storage area of the microcomputer and executed. It is assumed that this download program is stored in the image processing apparatus B in advance.
[0168]
Here, the above-described program medium is a recording medium configured to be separable from the main body, such as a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a floppy disk or a hard disk, or a CD-ROM (Compact Disk Read Only).
Discs of optical discs such as Memory (Memory), MO (Magneto Optical), MD (Mini Disk), and DVD (Digital Versatile Disk), and IC (Integrated).
(Circuits) cards (including memory cards), card systems such as optical cards, or mask ROMs, EPROMs (Erasable Programmable Read Only Memory), EEPROMs (Electrically Erasable Programmable Read Only Memory, etc.). May be a medium carrying a program.
[0169]
Further, in the present embodiment, since the system configuration is such that a communication network including the Internet can be connected, a medium that carries the program in a fluid manner such that the interpolation processing program is downloaded from the communication network may be used. When the interpolation processing program is downloaded from the communication network as described above, the program for downloading may be stored in the main device in advance, or may be installed from another recording medium. Good.
[0170]
The above-described recording medium executes the interpolation processing method by being read by a program reading device provided in a digital color image forming apparatus or a computer system.
[0171]
The computer system includes an image input device such as a flatbed scanner, a film scanner, and a digital camera, a computer that performs various processes such as the above-described image processing method when a predetermined program is loaded, and a CRT that displays a processing result of the computer. (Cathode ray tube) It is provided with an image display device such as a display and a liquid crystal display, and a printer for outputting the processing result of the computer to paper or the like. Further, the computer system is provided with a modem or the like as communication means for connecting to a server or the like via a network.
[0172]
As described above, the image to be subjected to the interpolation processing method of the present invention has been described as an interlaced image, but the present invention is not limited to this image.
[0173]
【The invention's effect】
As described above, according to the present invention, an interpolation direction for an interpolated pixel is selected based on a correlation between blocks including a plurality of pixels, so that the interpolation direction is selected based on a correlation between a pair of pixels. Thus, a highly reliable interpolation direction can be selected. As a result, it is possible to generate highly accurate pixel data of an interpolation pixel based on a highly reliable interpolation direction. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0174]
Further, according to the present invention, highly reliable interpolation processing can be performed even on an interlaced image. As a result, the occurrence of interpolation errors can be suppressed, and a high-quality image can be generated.
[0175]
Further, according to the present invention, the correlation between two blocks is based on the correlation between reference pixels, and furthermore, the correlation between auxiliary pixels is obtained. Thus, a highly reliable correlation between blocks can be obtained. As a result, a highly reliable interpolation direction can be selected.
[0176]
Further, according to the present invention, when obtaining the correlation between two blocks, the correlation is obtained by selecting an auxiliary pixel whose line segment connecting the auxiliary pixels is substantially parallel to the line segment connecting the reference pixels. , A correlation corresponding to the correlation between the reference pixels can be obtained.
[0177]
Further, according to the present invention, when selecting an interpolation direction, one interpolation direction is extracted from each group grouped for each approximate direction, the extracted interpolation directions are compared, and the relationship between the extracted interpolation directions is determined. Since one interpolation direction is selected based on this, an interpolation direction with higher reliability can be selected as compared with a case where the one having the largest correlation is simply selected from a plurality of interpolation directions.
[0178]
Further, according to the present invention, when the correlation between the fields in the interlaced image is large and a predetermined relationship is established, for example, when there is no image movement between the fields, the corresponding field is not required even if the interpolation process is not forcibly performed. By using the pixel data as it is, it is possible to reproduce an image closer to the original image, so that deterioration of the image can be prevented.
[0179]
Further, according to the present invention, after generating pixel data of an interpolation pixel, if an error occurs in the generated pixel data, more accurate pixel data can be generated by performing re-interpolation processing. Therefore, the occurrence of an interpolation error can be further suppressed.
[0180]
Further, according to the present invention, since the luminance value is used for the interpolation processing, it is possible to cope with the interpolation processing of both monochrome and color images.
[0181]
Further, according to the present invention, the computer can execute the interpolation processing.
Further, according to the present invention, an interpolation processing program for executing an interpolation processing method can be easily supplied to a computer.
[0182]
Further, according to the present invention, it is possible to output a high-quality image using the pixel data of the interpolated pixels generated by the above-described image processing device.
[Brief description of the drawings]
FIG. 1 is a flowchart showing a processing procedure of an interpolation processing method according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an extraction process for extracting an image noise portion.
FIG. 3 is a diagram illustrating pixels referred to when performing interpolation processing on an interpolation pixel B (0).
FIG. 4 is a diagram showing an interpolated pixel B (0) and surrounding pixels referred to in the interpolation processing.
FIG. 5 is a flowchart illustrating a processing procedure of an interpolation processing method according to a second embodiment.
FIG. 6 is a block diagram illustrating a configuration of an interpolation processing unit A.
FIG. 7 is a block diagram of a color image forming apparatus C including a color image processing apparatus B of the present invention.
FIG. 8 is a diagram showing one field constituting an image of an interlaced scanning system.
9 is an enlarged view of a portion R indicated by a triangle in the diamond-shaped image V of FIG. 7;
FIG. 10 is an enlarged view showing a part of a field interpolated by a conventional interpolation technique.
FIG. 11 is an enlarged view showing a part of a field interpolated by a conventional interpolation technique.
FIG. 12 is an enlarged view showing a part of a field interpolated by a conventional interpolation technique.
FIG. 13 is a diagram for explaining an interpolation technique for detecting a correlation in five directions.
FIG. 14 is a diagram for explaining an interpolation technique for detecting a correlation in seven directions.
FIG. 15 is a diagram illustrating an example in which an edge portion of an image does not exist along pixels in a digitized image.
FIG. 16 is a diagram showing a part of a field interpolated by a conventional interpolation technique.
[Explanation of symbols]
1 Image noise part extraction means
2 Interpolation direction setting means
3 Extraction means
4 Correlation derivation means
5 Selection means
6. Pixel data generation means
7 Field data extraction means
8. Pixel data synthesis means
9. One scan line end determination means
10 Interpolation validity evaluation means
11 Re-interpolation means
30 A / D (analog / digital) converter
31 Input tone correction unit
32 area separation processing unit
33 Spatial filter processing unit
34 Zoom processing section
35 Color space conversion unit
36 color correction unit
37 Black generation and under color removal section
38 Output gradation correction unit
39 gradation reproduction processing section
A interpolation processing unit
B color image processing device
C color image forming apparatus

Claims

In an interpolation processing method of generating pixel data of an interpolation pixel set between the pixels for an image composed of a plurality of pixels using a plurality of pixel data configuring the image,
A plurality of types of interpolation directions oriented bidirectionally with the interpolation pixel as a starting point are determined,
A block pair consisting of two blocks each having the same number of pixels and located at both sides of the interpolation direction and having a point symmetrical positional relationship with each other with the interpolation pixel as a symmetrical point. Extract every
For each extracted block pair, determine the correlation between the two blocks,
Based on the obtained correlation, select at least one interpolation direction from the plurality of types of interpolation directions,
When the interpolated pixel is set as a starting point with respect to the selected interpolation direction, a pixel located at each of both sides of the interpolation direction is selected, and pixel data of the interpolated pixel is generated based on pixel data of the selected pixel. Characteristic interpolation processing method.

In an interpolation processing method of generating pixel data of an interpolation pixel set between the pixels for an image composed of a plurality of pixels using a plurality of pixel data configuring the image,
Extracting a plurality of pairs of two pairs of blocks each having the same number of pixels and including two blocks having a point-symmetric positional relationship with each other with the interpolation pixel as a symmetric point;
For each extracted block pair, determine the correlation between the two blocks,
Based on the obtained correlation, at least one block pair is selected from the plurality of block pairs, a correlation direction between two blocks of the selected block pair is obtained, and the obtained correlation direction is determined as an interpolation direction. ,
When the interpolation pixel is set as a starting point with respect to a determined interpolation direction, a pixel located ahead of the interpolation direction is selected, and pixel data of the interpolation pixel is generated based on pixel data of the selected pixel. Interpolation processing method.

The pixel data of the interpolated pixels set on the interpolated scanning line set between the horizontal scanning lines of the field with respect to the image of one field obtained by the interlaced scanning is converted into the pixel data of a plurality of pixels arranged on the horizontal scanning line. In the interpolation processing method generated by using
A plurality of types of interpolation directions oriented bidirectionally with the interpolation pixel as a starting point are determined,
Two blocks each having the same number of pixels arranged on two horizontal scanning lines sandwiching the interpolation scanning line in which the interpolation pixel is set. The two blocks are located in both the destinations of the interpolation direction. A block pair composed of two blocks having a point symmetrical positional relationship with each other as a point is extracted for each interpolation direction,
For each extracted block pair, determine the correlation between the two blocks,
Based on the obtained correlation, select at least one interpolation direction from the plurality of types of interpolation directions,
With respect to the selected interpolation direction, when the interpolation pixel is set as a starting point, a pixel located at both of the selected interpolation direction destination is selected, and pixel data of the interpolation pixel is generated based on pixel data of the selected pixel. An interpolation processing method characterized in that:

The correlation between the two blocks is
Among the pixels of the two blocks, at least one pixel pair is determined as a reference pixel pair among pixel pairs having a point-symmetric positional relationship with the interpolation pixel as a symmetric point, and pixels other than the reference pixel pair are determined. Is an auxiliary pixel,
Calculating the absolute value of the difference between the pixel data of the reference pixel pair, and calculating the absolute value of the difference between the pixel data of the auxiliary pixels having a correspondence relationship between the two blocks;
The interpolation processing method according to any one of claims 1 to 3, wherein the value is obtained based on each of the calculated absolute differences.

When calculating the absolute value of the difference in pixel data between the auxiliary pixels, pixel data between auxiliary pixels such that a line segment connecting the auxiliary pixels is substantially parallel to a line segment connecting the reference pixels. 5. The interpolation processing method according to claim 4, wherein the absolute value of the difference is calculated.

When selecting at least one interpolation direction from among the plurality of types of interpolation directions, the plurality of types of interpolation directions are grouped by a direction approximating the plurality of types of interpolation directions, and each of the groups is located at both of the interpolation direction destinations in each group. 4. The interpolation processing method according to claim 3, wherein an interpolation direction having the largest correlation between pixels is extracted, and an interpolation direction is selected by comparing correlations between the interpolation directions extracted from each group.

A correlation between the field to be subjected to the interpolation processing and the corresponding field that constitutes one frame is obtained. If the obtained correlation is a predetermined relation, the selection of the interpolation direction is not performed. 4. The interpolation processing method according to claim 3, wherein pixel data of a pixel corresponding to the interpolation pixel in a field is generated as pixel data of the interpolation pixel.

After generating the pixel data of the interpolated pixel, the pixel data of the interpolated pixel is compared with pixel data of a plurality of predetermined pixels located around the interpolated pixel. It is determined whether or not an error has occurred. If an error has occurred, new pixel data is generated using the pixel data of the predetermined pixel, and the generated new pixel data is replaced with the pixel data of the interpolation pixel. The interpolation processing method according to claim 1, wherein:

The interpolation processing method according to claim 1, wherein the pixel data is a luminance value.

An interpolation processing program for causing a computer to execute the interpolation processing method according to claim 1.

A computer-readable recording medium recording the interpolation processing program according to claim 10.

In an image processing apparatus including an interpolation processing unit that generates pixel data of an interpolation pixel set between the pixels for an image including a plurality of pixels using a plurality of pixel data included in the image,
Interpolation direction setting means for determining a plurality of types of interpolation directions oriented bidirectionally from the interpolation pixel,
The plurality of types of block pairs, each including two blocks each having the same number of pixels and located in both directions in the interpolation direction and having a point symmetrical positional relationship with each other with the interpolation pixel as a symmetric point, Extracting means for extracting for each interpolation direction of
Correlation derivation means for obtaining a correlation between two blocks for each block pair extracted by the extraction means;
Selecting means for selecting at least one interpolation direction from the plurality of types of interpolation directions based on the correlation obtained by the correlation deriving means;
With respect to the interpolation direction selected by the selection unit, when the interpolation pixel is set as a starting point, pixels located both in the interpolation direction are selected, and pixel data of the interpolation pixel is determined based on pixel data of the selected pixel. An image processing apparatus comprising: a pixel data generation unit that generates pixel data.

An image forming apparatus comprising: the image processing apparatus according to claim 12, wherein an image is formed based on image data subjected to interpolation processing by the image processing apparatus and output.