JP2005117291A - 画素補間回路及び画素補間方法 - Google Patents

Abstract

【課題】 多様な種類の画像内容に対して、誤差の小さな画素補間処理ができる画素補間回路及び画素補間方法を提供する。
【解決手段】 それぞれの補間演算方法に従って、補間画素近傍に実在するテスト画素について算出したテスト補間データと、補間画素について算出した補間候補データとを出力する複数の補間演算回路と、テスト補間データと入力画像データとから複数の補間演算回路の補間適性を評価し、評価に従って、複数の補間演算回路の中から選択された一の補間演算回路が出力した補間候補データを補間データとして出力する。
【選択図】 図１

Description

この発明は、画像関連機器の信号処理に関わるものであり、さらに詳しくは、デジタル画像データから補間画素を作成する画素補間回路および画素補間方法に関するものである。

従来の画素補間回路では、特定の補間方法、すなわち、画素補間回路毎に固定された１つの演算方法により補間画素の補間データを算出していた。ここで演算方法とは、例えば、補間画素に隣接する画素のデータの平均値から補間データを求める方法、最小自乗法を用い補間画素に隣接する画素のデータの回帰直線を求め、その回帰直線から補間データを求める方法、下記特許文献１に記載の方法のように、補間画素に隣接する４画素のデータから４次式の曲線を求め、その４次式から補間データを求める方法等である。

特開２００３−１０１７２４号公報（第５〜６頁、第３〜５図）

このように、従来の画素補間回路は回路毎に演算方法が固定されているので、回路毎に補間特性が異なる。したがって、画像の内容、形状等により、回路毎にそれぞれ、小さな誤差で補間処理ができる画像、すなわち得意な画像と、補間誤差が大きくなってしまう画像、すなわち不得意な画像とが存在する。つまり、従来の画素補間回路では、固定された補間方法でしか補間処理が行えなかったので、不得意な画像を補間処理しなければならない場合は、補間誤差が大きくなるという問題があった。

この発明は、上記で説明した問題点を解消するためになされたもので、多様な種類の画像内容に対して誤差の小さな補間処理ができる画素補間回路及び画素補間方法を提供することを目的とする。

この発明は、入力された画像データから補間画素の補間データを算出する画素補間回路であって、
それぞれの補間演算方法に従って、補間画素近傍に実在するテスト画素について算出したテスト補間データと、補間画素について算出した補間候補データとを出力する複数の補間演算回路と、
テスト補間データとテスト画素における入力画像データとから複数の補間演算回路の補間適性を評価し、評価に従って、複数の補間演算回路の中から選択された一の補間演算回路が出力した補間候補データを補間データとして出力する出力回路と
を備えることとしたものである。

この発明は、多様な種類の画像内容に対して誤差の小さな補間処理をすることができる。

実施の形態１．
この発明に係る画素補間回路は、補間特性の異なる複数の補間演算回路を有し、各補間演算回路から出力されたテスト補間データを評価する。そして、テスト補間データの評価から最も補間誤差の少ないと類推される補間演算回路を特定し、特定された補間演算回路が算出した補間候補データを補間データとして出力するものである。
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。

図１は実施の形態１における画素補間回路の構成を示すブロック図、図２は実施の形態１における画素補間回路の画素補間処理フローを示す図である。図１、及び図２を用いて、画素補間方法のフローの概略を説明する。
まず、入力画像データＤＩが、補間演算回路部４を構成する第１の補間演算回路４ａ〜第ｎの補間演算回路４ｎまでのｎ個の補間演算回路と判定回路２に入力される（ｎは２以上の整数）。なお、このｎ個の補間演算回路は、補間演算方法が回路毎に異なる。したがって、回路毎に異なる補間特性を有することとなる。

次に、第１の補間演算回路４ａにおいて、補間画素の周辺に実在する画素Ｔ１についてこれが欠落しているものと仮定し、周辺画素に基づいて補間されるべき仮想的な補間画素とみなしてテスト補間演算を行い、演算結果をテスト補間データＴＤ１［Ｔ１］として判定回路２に出力する（ステップ１）。なお、以降において、仮想的に補間画素と見なしてテスト補間データを算出する画素を「テスト画素」という。判定回路２は、テスト補間データＴＤ１［Ｔ１］と、画素Ｔ１における入力画像データＤＩ［Ｔ１］とから、画素Ｔ１についての判定データＭ１［Ｔ１］を算出し、算出した判定データＭ１［Ｔ１］を管理回路１に出力する（ステップ２）。画素Ｔ１以外にテスト補間演算を行う画素がある場合は、ステップ１に戻る（ステップ３）。そして、画素Ｔ１に対する処理と同様、第１の補間演算回路４ａは、画素Ｔ１の次の画素である画素Ｔ２についてテスト補間データＴＤ１［Ｔ２］を算出し、判定回路２に出力する（ステップ１）。判定回路２は、テスト補間データＴＤ１［Ｔ２］と、画素Ｔ２における入力画像データＤ１［Ｔ２］とから、画素Ｔ２についての判定データＭ１［Ｔ２］を算出し、算出した判定データＭ１［Ｔ２］を管理回路１に出力する（ステップ２）。ステップ１からステップ３までの処理は、最終のテスト画素Ｔｍ（ｍは１以上の整数）についてまで行う。

最終のテスト画素Ｔｍに対する、第１の補間演算回路４ａによるテスト補間データの出力と、判定回路２による判定データＭ１［Ｔｍ］の出力とが終了した後に、本来の補間対象である補間画素Ｌについて補間演算を行い、演算結果を補間候補データＤ１として出力回路３に出力する（ステップ４）。このように、ステップ１からステップ４までの処理は１つの補間演算回路、ここでは第１の補間演算回路４ａのみが関連する。

次に、上記で説明したステップ１からステップ４の処理を行った補間演算回路以外に、まだテスト補間データ、及び補間候補データの算出を行う補間演算回路がある場合はステップ１に戻り（ステップ５）、再びテスト画素Ｔ１〜Ｔｍについてそれぞれテスト補間データ、判定データ、及び補間候補データの算出を行う。すなわち、ステップ１からステップ４までの処理を、第２の補間演算回路４ｂ〜第ｎの補間演算回路ｎまでのすべての補間演算回路にて行う。したがって、補間演算回路毎に、テスト補間データＴＤ２［Ｔ１］〜ＴＤ２［Ｔｍ］、判定データＭ２［Ｔ１］〜Ｍ２［Ｔｍ］、補間候補データＤ２、…、テスト補間データＴＤｎ［Ｔ１］〜ＴＤｎ［Ｔｍ］、判定データＭｎ［Ｔ１］〜Ｍｎ［Ｔｍ］、補間候補データＤｎがそれぞれ算出される。

次に、判定データから補間演算回路毎の評価データを算出する。具体的には、管理回路１が、判定データＭ１［Ｔ１］〜Ｍ１［Ｔｍ］を用いて、第１の補間演算回路４ａについての評価データＳ１を算出する。同様に、判定データＭ２［Ｔ１］〜Ｍ２［Ｔｍ］を用いて、第２の補間演算回路４ｂについての評価データＳ２を算出する。このような処理により、管理回路１が評価データＳ１〜Ｓｎまでを算出する。そして、評価データＳ１〜Ｓｎの中から、最も補間適性が高い評価データＳｘを選択し、その評価データＳｘを算出したする基となったテスト補間データを出力した補間演算回路４ｘを特定する。そして、管理回路１は、特定された補間演算回路４ｘから出力された補間候補データＤｘを出力回路３が選択するための選択信号Ｃを出力する（ステップ６）。

上記で説明したように、ステップ６では、テスト画素全体についての補間適性が最も高い補間演算回路を選択する。これは、テスト画素全体についての補間適性が最も高い補間演算回路は、補間画素Ｌに対する補間適性も高いと類推できるからである。

そして、出力回路３は、選択信号Ｃに基づいて、ステップ６で特定された補間演算回路４ｘが出力した補間候補Ｄｘデータを補間データＤ０として出力する（ステップ７）。

ステップ１からステップ７の処理が最後の補間画素について終了するまで、補間データの出力を行う（ステップ８）。

以下、主に図３〜図７を用いて、画素補間方法のフローの詳細を説明する。図３（ａ）、（ｂ）は、第１の補間演算回路４ａ〜第ｎの補間演算回路４ｎと、判定回路２とに入力される入力画像データＤＩを示す図であり、補間画素とテスト画素との位置関係を示す。図３において、○は実在する画素、×は補間演算処理により算出する補間画素を示す。図４は、図２におけるステップ２の判定処理を詳細に説明した処理フローを示す図である。図６は、図２におけるステップ６の判定データの評価処理を詳細に説明した処理フローを示す図である。

この実施の形態では、図３におけるＴ１〜Ｔｍ（この場合、ｍ＝２ｋ）で示した実在する画素をテスト画素と定める。なお、テスト画素とは、上記で説明したように、補間画素の周辺に実在する画素であって、仮想的に補間画素と見なしてテスト補間データを算出する画素のことである。図３（ａ）は、補間画素Ｌを中心として一次元的に左右両側にｋ個ずつのテスト画素を設定した例である。なお、テスト画素は補間画素に対して左右不均等に設定しても良く、左右のどちらか片方だけ設定しても良い。また、図３（ｂ）のように、２次元的に設定しても良い。

まず、入力画像データＤＩが入力された第１の補間演算回路４ａは、テスト画素Ｔ１を仮想的に補間画素と見なした場合のテスト補間データＴＤ１［Ｔ１］を算出し、判定回路２に出力する（ステップ１）。判定回路２は、テスト補間データＴＤ１［Ｔ１］と、テスト画素Ｔ１における入力画像データＤＩ［Ｔ１］との差分の絶対値を求め、判定データＭ１［Ｔ１］を算出する（ステップ２１）。したがって、判定データＭ１［Ｔ１］を数式により表現すると、
Ｍ１［Ｔ１］＝｜ＴＤ１［Ｔ１］−ＤＩ［Ｔ１］｜
となる。判定回路２は、判定データＭ１［Ｔ１］を管理回路１に出力する（ステップ２２）。

ここで、判定データＭ１［Ｔ１］の値が小さい場合は、テスト補間データが入力画像データに近いこと、即ち、テスト画素Ｔ１に対する第１の補間演算回路４ａの補間演算方法の補間適性が高いことを示す。逆に、判定データＭ１［Ｔ１］の値が大きい場合は、テスト画素Ｔ１に対する第１の補間演算回路４ａの補間演算方法の補間適性が低いことを示す。すなわち、判定データＭ１［Ｔ１］の値の大小により、テスト画素Ｔ１に対する第１の補間演算回路４ａの補間適性を判断することができる。

次に、テスト画素Ｔ１以外の画素、具体的にはテスト画素Ｔ２に対してもテスト画素Ｔ１の場合と同様に、第１の補間演算回路４ａは、テスト画素Ｔ２を仮想的に補間画素と見なした場合のテスト補間データＴＤ１［Ｔ２］を算出し、判定回路２に出力する（ステップ３、ステップ１）。判定回路２は、テスト補間データＴＤ１［Ｔ２］と、テスト画素Ｔ２における入力画像ＤＩ［Ｔ２］との差分の絶対値を求め、判定データＭ１［Ｔ２］を算出する（ステップ２１）。したがって、判定データＭ１［Ｔ２］を数式により表現すると、
Ｍ１［Ｔ２］＝｜ＴＤ１［Ｔ２］−ＤＩ［Ｔ２］｜
となる。判定回路２は、判定データＭ１［Ｔ２］を管理回路１に出力する（ステップ２２）。判定データＭ１［Ｔ１］の値の大小により、テスト画素Ｔ１に対する第１の補間演算回路４ａの補間適性を判断することができた場合と同様、判定データＭ１［Ｔ２］の値の大小によって、テスト画素Ｔ２に対する第１の補間演算回路４ａの補間適性を判断することができる。

第１の補間演算回路４ａは、残りのテスト画素Ｔ３〜Ｔｍについてもテスト画素Ｔ１、Ｔ２の場合と同様に、テスト補間データＴＤ１［Ｔ３］〜ＴＤ１［Ｔｍ］を算出し、判定回路２に出力する。判定回路２は、テスト補間データＴＤ１［Ｔ３］〜ＴＤ１［Ｔｍ］と各テスト画素における入力画像データＤＩ［Ｔ３］〜ＤＩ［Ｔｍ］との差分の絶対値を求め、判定データＭ１［Ｔ３］〜Ｍ１［Ｔｍ］を算出する。判定データＭ１［Ｔ３］〜Ｍ１［Ｔｍ］を数式により表現すると、それぞれ、
Ｍ１［Ｔ３］＝｜ＴＤ１［Ｔ３］−ＤＩ［Ｔ３］｜
〜
Ｍ１［Ｔｍ］＝｜ＴＤ１［Ｔｍ］−ＤＩ［Ｔｍ］｜
となる。そして、判定回路２は、判定データＭ１［Ｔ３］〜Ｍ１［Ｔｍ］を管理回路１に出力する。なお、テスト画素Ｔ１、Ｔ２の場合と同様、各判定データＭ１［Ｔ３］〜Ｍ１［Ｔｍ］の値の大小により、各テスト画素Ｔ３〜Ｔｍに対する第１の補間演算回路４ａの補間適性を判断することができる。

すべてのテスト画素Ｔ１〜Ｔｍについてテスト補間データを算出した後、補間演算回路４ａは、本来の補間対象である補間画素Ｌについての補間候補データＤ１を算出し、出力回路３に出力する（ステップ４）。

次に、上記で説明した第１の補間演算回路４ａにおける処理と同様に、入力画像データＤＩが入力された第２の補間演算回路４ｂは、テスト画素Ｔ１を仮想的に補間画素と見なした場合のテスト補間データＴＤ２［Ｔ１］を算出し、判定回路２に出力する（ステップ５、ステップ１）。判定回路２は、テスト補間データＴＤ２［Ｔ１］と、テスト画素Ｔ１における入力画像ＤＩのデータＤＩ［Ｔ１］との差分の絶対値を求め、判定データＭ２［Ｔ１］を算出する（ステップ２１）。したがって、判定データＭ２［Ｔ１］を数式により表現すると、
Ｍ２［Ｔ１］＝｜ＴＤ２［Ｔ１］−ＤＩ［Ｔ１］｜
となる。そして、判定回路２は、判定データＭ２［Ｔ１］を管理回路１に出力する（ステップ２２）。第１の補間演算回路４ａを用いて判定データＭ１を算出した場合と同様、判定データＭ２［Ｔ１］の値の大小により、テスト画素Ｔ１に対する第２の補間演算回路４ｂの補間適性を判断することができる。

同様に、第２の補間演算回路４ｂは、他の残りのテスト画素Ｔ２〜Ｔｍに対してもテスト補間データＴＤ２［Ｔ２］〜ＴＤ２［Ｔｍ］を算出し、判定回路２に出力する。判定回路２は、各テスト補間データと各テスト画素における入力画像データの差分の絶対値を求め、判定データＭ２［Ｔ２］〜Ｍ２［Ｔｍ］を算出する（ステップ２１）。判定回路２は、判定データＭ２［Ｔ２］〜Ｍ２［Ｔｍ］を管理回路１に出力する（ステップ２２）。

すべてのテスト画素Ｔ１〜Ｔｍについてテスト補間データを算出した後、補間演算回路４ｂは、本来の補間対象である補間画素Ｌについての補間候補データＤ２を算出し、出力回路３に出力する（ステップ４）。

第１の補間演算回路４ａ、第２の補間演算回路４ｂにおける処理と同様に、残りの第３の補間演算回路４ｃ〜第ｎの補間演算回路４ｎもそれぞれ、テスト画素Ｔ１〜Ｔｍについてテスト補間データＴＤ３［Ｔ１］〜ＴＤ３［Ｔｍ］、ＴＤ４［Ｔ１］〜ＴＤ４［Ｔｍ］、・・・、ＴＤｎ［Ｔ１］〜ＴＤｎ［Ｔｍ］を算出し、判定回路２に出力する。判定回路２は、テスト補間データと入力画像データとから、判定データＭ３［Ｔ１］〜Ｍ３［Ｔｍ］、Ｍ４［Ｔ１］〜Ｍ４［Ｔｍ］、・・・、Ｍｎ［Ｔ１］〜Ｍｎ［Ｔｍ］をそれぞれ算出し、管理回路１に出力する。そして、第３の補間演算回路４ｃ〜第ｎの補間演算回路４ｎは、本来の補間対象である補間画素Ｌについてのそれぞれの補間候補データＤ３〜Ｄｎを算出し、出力回路３に出力する。

このように、すべてのテスト画素Ｔ１〜Ｔｍに対し、第１の補間演算回路４ａ〜第ｎの補間演算回路４ｎが、テスト補間データ及び補間候補データを算出するとともに、判定回路２が判定データを算出する。図５は、テスト画像Ｔ１〜Ｔｍと、第１の補間演算回路４ａ〜第ｎの補間演算回路４ｎが出力した判定データとの対応をまとめた表である。

判定データが入力された管理回路１は、テスト画素全体に対する第１の補間演算回路４ａの補間適性を評価するために、図５の第１列目に記載されている判定データＭ１［Ｔ１］〜Ｍ１［Ｔｍ］を加算し、第１の補間演算回路４ａの評価データＳ１を算出する（ステップ６１）。したがって、評価データＳ１を数式により表現すると、
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋・・・＋Ｍ１［Ｔｍ］
となる。なお、上記で説明したように、判定データの値の大小から、それぞれのテスト画素に対するそれぞれの補間演算回路の補間適性を判断することができる。したがって、個々の判定データを加算した評価データＳ１の値の大小により、テスト画素全体に対する第１の補間演算回路４ａの補間適性を判断することができる。

同様に、管理回路１は、テスト画素全体に対する第２の補間演算回路４ｂ〜第ｎの補間演算回路４ｎの補間適性を評価するために、それぞれ、図５の該当する列の判定データを加算し、評価データＳ２〜Ｓｎを算出する（ステップ６２）。評価データＳ１〜Ｓｎを数式により表現すると、
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋・・・＋Ｍ２［Ｔｍ］
〜
Ｓｎ＝Ｍｎ［Ｔ１］＋Ｍｎ［Ｔ２］＋・・・＋Ｍｎ［Ｔｍ］
となる。このように、補間回路毎の判定データを加算し、評価データを算出することにより、テスト画素全体に対する補間回路毎の補間適性を判断することができる。図７は、第１の補間演算回路４ａ〜第ｎの補間演算回路４ｎと、評価データＳ１〜Ｓｎとの対応をまとめた表である。

上記で説明したように、評価データの値が小さい補間演算回路ほど、補間画素Ｌ近傍のテスト画素全体に対する補間適性が高いので、補間画素Ｌに対する補間適性も高いと類推できる。したがって、管理回路１は、評価データＳ１〜Ｓｎの中から最も値の小さな評価データＳｘを選び（ステップ６３）、その評価データを算出する基となった補間演算回路４ｘを特定する（ステップ６４）。さらに管理回路１は、出力回路３が、すべての補間候補データＤ１〜Ｄｎの中から、特定された補間演算回路４ｘが出力した補間候補データＤｘを選択し、補間データＤ０として出力するための選択信号Ｃを出力する（ステップ６５）。

出力回路３は、選択信号Ｃに基づいて、第１の補間演算回路〜第ｎの補間演算回路が出力した補間候補データＤ１〜Ｄｎの中から特定された補間演算回路４ｘが出力した補間候補データＤｘを選択し、補間データＤ０として出力する（ステップ７）。

次に、具体的な例を用いて説明する。図８は、図１の補間演算回路部４として左右平均補間演算回路５と右斜め平均補間演算回路６とした画素補間回路の構成を示すブロック図である。すなわち、図８に示された画素補間回路は、管理回路１、判定回路２、出力回路３、左右平均補間演算回路５、及び右斜め平均補間演算回路６とにより構成される。

図９は、右斜めの輪郭を含む画像であり、図において○及び●は実存する画素を示し、×は補間画素を示す。また、○は濃度データの値が２５５の画素を示し、●は濃度データの値が０の画素を示す。なお、画素の濃度値は０から２５５の２５６段階に分けられ、８ビットのデータで表される。図９（ａ）は補間画素を含まない画像であり、例えば、コピー元である原紙の画像の状態を示す。図９（ｂ）は、図９（ａ）の画像をコピー機により取り込んだ時のデジタル画像データを示し、画素列ＬＬがコピー機に取り込まれない状態を示している。したがって、画素列ＬＬを補間処理により補間する必要がある。つまり、図８に示す画素補間回路には、コピー機により取り込まれた図９（ｂ）に示す画像が、画像データＤＩとして入力される。また、図９（ｂ）に示すように、テスト画素Ｔ１〜Ｔ４として、補間画素Ｌを中心に左右にそれぞれ２個ずつ１次元的に設定する。

図１０を用い、左右平均補間演算回路５と右斜め平均補間演算回路６の補間演算方法を説明する。図１０の画素Ｌにおける濃度データ値をＸＬ、画素Ａ〜Ｆにおける濃度データ値をそれぞれＸＡ〜ＸＦとすると、左右平均補間演算回路５の補間演算方法は、画素Ｂと画素Ｅとの平均値
ＸＬ＝（ＸＢ＋ＸＥ）／２
となる。また、右斜め平均補間演算回路６の補間演算方法は、画素Ｃと画素Ｄとの平均値
ＸＬ＝（ＸＣ＋ＸＤ）／２
となる。

図１１、及び図１２は、テスト画素Ｔ１〜Ｔ４、及び補間画素Ｌにおける左右平均補間演算回路５、右斜め平均補間演算回路６、および判定回路２の処理を説明するための図である。図１１（ａ）は、テスト画素Ｔ１における左右平均補間演算回路５のテスト補間データを算出する場合を示す図であり、図１１（ｂ）は、テスト画素Ｔ２における左右平均補間演算回路５のテスト補間データを算出する場合を示す図であり、図１１（ｃ）は、テスト画素Ｔ３における左右平均補間演算回路５のテスト補間データを算出する場合を示す図であり、図１１（ｄ）は、テスト画素Ｔ４における左右平均補間演算回路５のテスト補間データを算出する場合を示す図であり、図１１（ｅ）は、補間画素Ｌにおける左右平均補間演算回路５の補間候補データを算出する場合を示す図である。

同様に、図１２（ａ）〜（ｅ）は、それぞれテスト画素Ｔ１〜Ｔ４おける右斜め平均補間演算回路６のテスト補間データを算出する場合を示す図、及び補間画素Ｌにおける右斜め平均補間演算回路６の補間候補データを算出する場合を示す図である。

図１１（ａ）に示すように、左右平均補間演算回路５は、画素Ｔ１Ｂおよび画素Ｔ１Ｅにおける各濃度データ値の平均値をテスト画素Ｔ１のテスト補間データＴＤ１［Ｔ１］として算出する。ここでは上記で説明したように、画素Ｔ１Ｂの濃度データ値を２５５、画素Ｔ１Ｅの濃度データ値を２５５としているので、テスト補間データＴＤ１［Ｔ１］は、
ＴＤ１［Ｔ１］＝（Ｔ１Ｂ＋Ｔ１Ｅ）／２＝（２５５＋２５５）／２＝２５５
となる。左右平均補間演算回路５は、テスト補間データＴＤ１［Ｔ１］を判定回路２に出力する。テスト補間データＴＤ１［Ｔ１］が入力された判定回路２は、テスト補間データＴＤ１［Ｔ１］と、テスト画素Ｔ１における入力画像ＤＩのデータＤＩ［Ｔ１］との差分の絶対値を算出し、判定データＭ１［Ｔ１］として管理回路１に出力する。テスト補間データＴＤ１［Ｔ１］＝２５５、入力画像データＤＩ［Ｔ１］＝２５５であるので、判定データＭ１［Ｔ１］の値は、
Ｍ１［Ｔ１］＝｜ＴＤ１［Ｔ１］−ＤＩ［Ｔ１］｜＝｜２５５−２５５｜＝０
となる。

同様に、図１１（ｂ）に示す場合も、左右平均補間演算回路５は、画素Ｔ２Ｂおよび画素Ｔ２Ｅにおける各濃度データ値の平均値をテスト画素Ｔ２のテスト補間データＴＤ１［Ｔ２］として算出する。画素Ｔ２Ｂの濃度データ値を２５５、画素Ｔ２Ｅの濃度データ値を０としているので、テスト補間データＴＤ１［Ｔ２］は、
ＴＤ１［Ｔ２］＝（Ｔ２Ｂ＋Ｔ２Ｅ）／２＝（２５５＋０）／２＝１２７．５
となる。判定回路２は、テスト補間データＴＤ１［Ｔ２］と、テスト画素Ｔ２における入力画像ＤＩのデータＤＩ［Ｔ２］との差分の絶対値を判定データＭ１［Ｔ２］として算出する。テスト補間データＴＤ１［Ｔ２］＝１２７．５、入力画像データＤＩ［Ｔ２］＝２５５であるので、判定データＭ１［Ｔ２］は、
Ｍ１［Ｔ２］＝｜ＴＤ１［Ｔ２］−ＤＩ［Ｔ２］｜＝｜１２７．５−２５５｜＝１２７．５
となる。

さらに、図１１（ｃ）に示す場合も、左右平均補間演算回路５は、画素Ｔ３Ｂおよび画素Ｔ３Ｅにおける各濃度データ値の平均値をテスト画素Ｔ３のテスト補間データＴＤ１［Ｔ３］として算出する。判定回路２は、テスト補間データＴＤ１［Ｔ３］と入力画像データＤ１［Ｔ３］とから判定データＭ１［Ｔ３］を算出する。テスト画素データＴＤ１［Ｔ３］は、
ＴＤ１［Ｔ３］＝（Ｔ３Ｂ＋Ｔ３Ｅ）／２＝（２５５＋０）／２＝１２７．５
となり、判定データＭ１［Ｔ３］は、
Ｍ１［Ｔ３］＝｜ＴＤ１［Ｔ３］−ＤＩ［Ｔ３］｜＝｜１２７．５−０｜＝１２７．５
となる。

図１１（ｄ）に示す場合も、左右平均補間演算回路５は、画素Ｔ４Ｂおよび画素Ｔ４Ｅにおける各濃度データ値の平均値をテスト画素Ｔ４のテスト補間データＴＤ１［Ｔ４］として算出する。判定回路２は、テスト補間データＴＤ１［Ｔ４］と入力画像データＤ１［Ｔ４］とから判定データＭ１［Ｔ４］を算出する。テスト補間データＴＤ１［Ｔ４］は、
ＴＤ１［Ｔ４］＝（Ｔ４Ｂ＋Ｔ４Ｅ）／２＝（０＋０）／２＝０
となり、判定データＭ１［Ｔ４］は、
Ｍ１［Ｔ４］＝｜ＴＤ１［Ｔ４］−ＤＩ［Ｔ４］｜＝｜０−０｜＝０
となる。

補間画素Ｌの補間補間データＤ１については、図１１（ｅ）に示すように、左右平均補間演算回路５が、画素ＬＢおよび画素ＬＥの各濃度データ値の平均値を補間画素Ｌの補間候補データＤ１として出力する。画素ＬＢの濃度データ値は２５５、画素ＬＥの濃度データ値は０であるので、補間データＤ１は
Ｄ１＝（ＬＢ＋ＬＥ）／２＝（２５５＋０）／２＝１２７．５
となる。

次に、図１２（ａ）〜図１２（ｅ）を用い、テスト画素Ｔ１〜Ｔ４、及び補間画素Ｌに対する右斜め平均補間演算回路６、判定回路２の処理について説明する。

図１２（ａ）に示すように、右斜め平均補間演算回路６は、画素Ｔ１Ｃおよび画素Ｔ１Ｄにおける各濃度データ値の平均値をテスト画素Ｔ１のテスト補間データＴＤ１［Ｔ１］として算出する。ここでは上記で説明したように、画素Ｔ１Ｃの濃度データ値を２５５、画素Ｔ１Ｄの濃度データ値を２５５としているので、テスト補間データＴＤ２［Ｔ１］は
ＴＤ２［Ｔ１］＝（Ｔ１Ｃ＋Ｔ１Ｄ）／２＝（２５５＋２５５）／２＝２５５
となる。右斜め平均補間演算回路６は、テスト補間データＴＤ１［Ｔ１］を判定回路２に出力する。テスト補間データＴＤ２［Ｔ１］が入力された判定回路２は、テスト補間データＴＤ２［Ｔ１］と、テスト画素Ｔ１における入力画像ＤＩのデータＤＩ［Ｔ１］との差分の絶対値を算出し、判定データＭ２［Ｔ１］として管理回路１に出力する。テスト補間データＴＤ２［Ｔ１］＝２５５、入力画像データＤＩ［Ｔ１］＝２５５であるので、判定データＭ２［Ｔ１］の値は
Ｍ２［Ｔ１］＝｜ＴＤ２［Ｔ１］−ＤＩ［Ｔ１］｜＝｜２５５−２５５｜＝０
となる。

同様に、図１２（ｂ）に示す場合も、右斜め平均補間演算回路６は、画素Ｔ２Ｃおよび画素Ｔ２Ｄにおける各濃度データ値の平均値をテスト画素Ｔ２のテスト補間データＴＤ２［Ｔ２］として算出する。画素Ｔ２Ｃの濃度データ値を２５５、画素Ｔ２Ｄの濃度データ値を０としているので、テスト補間データＴＤ２［Ｔ２］は
ＴＤ２［Ｔ２］＝（Ｔ２Ｃ＋Ｔ２Ｄ）／２＝（２５５＋０）／２＝１２７．５
となる。判定回路２は、テスト補間データＴＤ２［Ｔ２］と、テスト画素Ｔ２における入力画像ＤＩのデータＤＩ［Ｔ２］との差分の絶対値を判定データＭ２［Ｔ２］として算出する。テスト補間データＴＤ２［Ｔ２］＝１２７．５、入力画像データＤＩ［Ｔ２］＝２５５であるので、判定データＭ２［Ｔ２］は
Ｍ２［Ｔ２］＝｜ＴＤ２［Ｔ２］−ＤＩ［Ｔ２］｜＝｜１２７．５−２５５｜＝１２７．５
となる。

さらに、図１２（ｃ）に示す場合も、右斜め平均補間演算回路６は、画素Ｔ３Ｃ、および画素Ｔ３Ｄの各濃度データ値の平均値をテスト画素Ｔ３のテスト補間データＴＤ２［Ｔ３］として算出する。判定回路２は、テスト補間データＴＤ２［Ｔ３］と入力画像データＤＩ［Ｔ３］とから判定データＭ２［Ｔ３］を算出する。テスト画素データＴＤ２［Ｔ３］は、
ＴＤ１［Ｔ３］＝（Ｔ３Ｃ＋Ｔ３Ｄ）／２＝（０＋０）／２＝０
となり、判定データＭ２［Ｔ３］は、
Ｍ２［Ｔ３］＝｜ＴＤ２［Ｔ３］−ＤＩ［Ｔ３］｜＝｜０−０｜＝０
となる。

図１２（ｄ）に示す場合も、右斜め平均補間演算回路６は、画素Ｔ４Ｃおよび画素Ｔ４Ｄにおける各濃度データ値の平均値をテスト画素Ｔ４のテスト補間データＴＤ２［Ｔ４］として算出する。判定回路２は、テスト補間データＴＤ２［Ｔ４］と入力画像データＤ１［Ｔ４］とから判定データＭ２［Ｔ４］を算出する。テスト補間データＴＤ２［Ｔ４］は、
ＴＤ２［Ｔ４］＝（Ｔ４Ｃ＋Ｔ４Ｄ）／２＝（０＋０）／２＝０
となり、判定データＭ２［Ｔ４］は、
Ｍ２［Ｔ４］＝｜ＴＤ２［Ｔ４］−ＤＩ［Ｔ４］｜＝｜０−０｜＝０
となる。

補間画素Ｌの補間候補データＤ２については、図１２（ｅ）に示すように、右斜め平均補間演算回路６が、画素ＬＣおよび画素ＬＤの各濃度データ値の平均値を欠落画素Ｌの補間候補データＤ２として出力する。画素ＬＣの濃度データ値は０、画素ＬＥの濃度データ値は０であるので、補間データＤ２は
Ｄ２＝（ＬＣ＋ＬＤ）／２＝（０＋０）／２＝０
となる。

図１３は、テスト画素Ｔ１〜Ｔ４における判定データＭ１、Ｍ２の値を示した図である。

次に、判定データＭ１、Ｍ２に対する管理回路１の処理について説明する。管理回路１は、テスト画素Ｔ１〜Ｔ４に対する左右平均補間演算回路５の補間適性を評価するために、テスト画素Ｔ１〜Ｔ４までの判定データＭ１［Ｔ１］〜Ｍ１［Ｔ４］を加算し、評価データＳ１を算出する。したがって、評価データＳ１は、
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋Ｍ１［Ｔ３］＋Ｍ１［Ｔ４］
＝０＋１２７．５＋１２７．５＋０＝２５５
となる。

同様に、管理回路１はテスト画素Ｔ１〜Ｔ４に対する右斜め平均補間演算回路６の補間適性を評価するために、テスト画素Ｔ１〜Ｔ４までの判定データＭ２［Ｔ１］〜Ｍ２［Ｔ４］を加算し、評価データＳ２を算出する。したがって、評価データＳ２は、
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋Ｍ２［Ｔ３］＋Ｍ２［Ｔ４］
＝０＋１２７．５＋０＋０＝１２７．５
となる。

図１４は、左右平均補間演算回路５の評価データＳ１と、右斜め平均補間演算回路６の評価データＳ２の値を示した図である。

評価データの値が小さい補間演算回路ほど、補間画素Ｌ近傍のテスト画素全体に対する補間適性が高いので、補間画素Ｌに対する補間適性も高いと類推できる。したがって、管理回路１は評価データＳ１及びＳ２の中から最も値の小さいＳ２を選択し、評価データＳ２を算出した右斜め平均補間演算回路６を特定する。そして、管理回路１は、右斜め平均補間演算回路６により算出された補間画素Ｌの補間候補データＤ２を出力回路３が選択するための選択信号Ｃを出力する。

出力回路３は、選択信号Ｃに基づいて、右斜め平均補間演算回路６が出力した補間候補データＤ２＝０を補間データＤ０＝０として出力する。

図９（ａ）に示したように、原画像における画素Ｌの濃度データ値は０である。したがって、補間データＤ０として左右平均補間演算回路５が算出した補間候補データＤ１＝１２７．５を採用していた場合よりも、右斜め平均補間演算回路６が算出した補間候補データＤ２を補間データＤ０として出力する場合の方が、補間誤差が小さいことが分かる。

このように、本実施の形態に係る画素補間回路は、補間特性の異なる左右平均補間演算回路５と右斜め平均補間演算回路６を有すること、補間画素近傍に実在するテスト画素に対するテスト補間データを基に補間適性を評価することに特徴を有する。そして、テスト画素に対する補間適性が高い補間演算回路は補間画素に対する補間適性も高いと類推し、この補間演算回路が算出した補間候補データを補間データとして出力することにも特徴がある。これらの特徴を有することにより、本実施の形態に係る画素補間回路は、補間誤差の小さい画素補間処理を行うことができる。

実施の形態２．
本実施の形態では、実施の形態１で説明した図８の画素補間回路の補間演算回路部４において、補間特性の異なる補間演算回路を追加して構成した場合を説明する。図１５は、実施の形態２における画素補間回路の構成を示すブロック図であり、図８に示した実施の形態１の画素補間回路の補間演算回路部４に、左斜め平均補間演算回路７を追加して構成している。左斜め平均補間演算回路７は、左右平均補間演算回路５、右斜め平均補間演算回路６と同様に、入力された入力画像ＤＩに基づいて補間演算を行い、補間候補データＤ３を出力回路３に出力すると共に、テスト補間データＴＤ３を判定回路２に出力する。判定回路２はテスト補間データＴＤ１、ＴＤ２、ＴＤ３に基づいて演算を行い、それぞれ判定データＭ１、Ｍ２、Ｍ３を出力する。管理回路１は、判定データＭ１、Ｍ２、Ｍ３に基づいて評価データＳ１、Ｓ２、Ｓ３の演算を行い、補間誤差の最も小さいと類推される補間演算回路を特定し、選択信号Ｃを出力回路３に出力する。出力回路３は選択信号Ｃに基づいて補間演算回路を特定し、特定された補間演算回路が出力した補間候補データを選択し、補間データＤ０として出力する。

次に、具体的な例を用いて実施の形態２に係る画素補間演算回路の処理について説明する。図１６は左斜めの輪郭を含む画像であり、図において○及び●は実存する画素を示し、×は補間画素を示す。また、○は濃度データの値が２５５の画素を示し、●は濃度データの値が０の画素を示す。図１６（ａ）は補間画素を含まない画像であり、例えば、コピー元である原紙の画像の状態を示す。図１６（ｂ）は、図１６（ａ）の画像をコピー機により取り込んだ時のデジタル画像データを示し、画素列ＬＬがコピー機に取り込まれない状態を示している。したがって、画素列ＬＬを補間処理により補間する必要がある。つまり、図１５に示す画素補間回路には、コピー機により取り込まれた図１６（ｂ）に示す画像が、画像データＤＩとして入力される。また、図１６（ｂ）に示すように、テスト画素Ｔ１〜Ｔ４として、補間画素Ｌを中心に左右にそれぞれ２個ずつ１次元的に設定する。

図１０を用い、左斜め平均補間演算回路７の補間演算方法を説明する。図１０の画素Ｌにおける濃度データ値をＸＬ、画素Ａ〜Ｆにおける濃度データ値をそれぞれＸＡ〜ＸＦとすると、左右平均補間演算回路７の補間演算方法は、画素Ｂと画素Ｅの平均値
ＸＬ＝（ＸＡ＋ＸＦ）／２
となる。

図１７は、テスト画素Ｔ１〜Ｔ４、および補間画素Ｌにおける左斜め平均補間演算回路７、および判定回路２の処理を説明するための図である。図１７（ａ）〜（ｅ）は、それぞれテスト画素Ｔ１〜Ｔ４における左斜め平均補間演算回路７のテスト補間データを算出する場合を示す図、及び補間画素Ｌにおける左斜め平均補間演算回路７の補間候補データを算出する場合を示す図である。

図１７（ａ）に示すように、左斜め平均補間演算回路７は、画素Ｔ１Ａおよび画素Ｔ１Ｆにおける各濃度データ値の平均値をテスト画素Ｔ１のテスト補間データＴＤ３［Ｔ１］として算出する。ここでは上記で説明したように、画素Ｔ１Ａの濃度データ値を２５５、画素Ｔ１Ｆの濃度データ値を０としているので、テスト補間データＴＤ３［Ｔ１］は、
ＴＤ３［Ｔ１］＝（Ｔ１Ａ＋Ｔ１Ｆ）／２＝（２５５＋２５５）／２＝２５５
となる。左斜め平均補間演算回路７は、テスト補間データＴＤ３［Ｔ１］を判定回路２に出力する。テスト補間データＴＤ３［Ｔ１］が入力された判定回路２は、テスト補間データＴＤ３［Ｔ１］と、テスト画素Ｔ１における入力画像ＤＩのデータＤＩ［Ｔ１］との差分の絶対値を算出し、判定データＭ３［Ｔ１］として管理回路１に出力する。テスト補間データＴＤ３［Ｔ１］＝２５５、入力画像データＤＩ［Ｔ１］＝２５５であるので、判定データＭ３［Ｔ１］の値は、
Ｍ３［Ｔ１］＝｜ＴＤ１［Ｔ１］−ＤＩ［Ｔ１］｜＝｜２５５−２５５｜＝０
となる。

同様に、図１７（ｂ）に示す場合も、左斜め平均補間演算回路７は、画素Ｔ２Ａおよび画素Ｔ２Ｆにおける各濃度データ値の平均値をテスト画素Ｔ２のテスト補間データＴＤ３［Ｔ２］として算出する。画素Ｔ２Ａの濃度データ値を２５５、画素Ｔ２Ｆの濃度データ値を０としているので、テスト補間データＴＤ３［Ｔ２］は
ＴＤ３［Ｔ２］＝（Ｔ２Ａ＋Ｔ２Ｆ）／２＝（２５５＋０）／２＝１２７．５
となる。判定回路２は、テスト補間データＴＤ３［Ｔ２］と、テスト画素Ｔ２における入力画像ＤＩのデータＤＩ［Ｔ２］との差分の絶対値を判定データＭ３［Ｔ２］として算出する。テスト補間データＴＤ３［Ｔ２］＝１２７．５、入力画像データＤＩ［Ｔ２］＝２５５あるので、判定データＭ３［Ｔ２］は
Ｍ３［Ｔ２］＝｜ＴＤ３［Ｔ２］−ＤＩ［Ｔ２］｜＝｜１２７．５−２５５｜＝１２７．５
となる。

さらに、図１７（ｃ）に示す場合も、左斜め平均補間演算回路７は、画素Ｔ３Ａおよび画素Ｔ３Ｆにおける各濃度データ値の平均値をテスト画素Ｔ３のテスト補間データＴＤ３［Ｔ３］として算出する。判定回路２は、テスト補間データＴＤ３［Ｔ３］と入力画像データＤＩ［Ｔ３］とから判定データＭ３［Ｔ３］を算出する。テスト画素データＴＤ３［Ｔ３］は、
ＴＤ３［Ｔ３］＝（Ｔ３Ａ＋Ｔ３Ｆ）／２＝（０＋０）／２＝０
となり、判定データＭ３［Ｔ３］は、
Ｍ３［Ｔ３］＝｜ＴＤ３［Ｔ３］−ＤＩ［Ｔ３］｜＝｜０−０｜＝０
となる。

図１７（ｄ）に示す場合も、左斜め平均補間演算回路７は、画素Ｔ４Ａおよび画素Ｔ４Ｆにおける各濃度データ値の平均値をテスト画素Ｔ４のテスト補間データＴＤ３［Ｔ４］として算出する。判定回路２は、テスト補間データＴＤ３［Ｔ４］と入力画像データＤＩ［Ｔ４］とから判定データＭ３［Ｔ４］を算出する。テスト画素データＴＤ３［Ｔ４］は、
ＴＤ３［Ｔ４］＝（Ｔ４Ａ＋Ｔ４Ｆ）／２＝（０＋０）／２＝０
となり、判定データＭ３［Ｔ４］は、
Ｍ３［Ｔ４］＝｜ＴＤ３［Ｔ４］−ＤＩ［Ｔ４］｜＝｜０−０｜＝０
となる。

補間画素Ｌの補間候補データＤ３については、図１７（ｅ）に示すように、左斜め平均補間演算回路７が、画素ＬＡおよび画素ＬＦの各濃度データ値の平均値を補間画素Ｌの補間候補データＤ３として出力する。画素ＬＡの濃度データ値は０、画素ＬＥの濃度データ値は０であるので、補間データＤ３は
Ｄ３＝（ＬＡ＋ＬＦ）／２＝（０＋０）／２＝０
となる。

左右平均補間演算回路５、及び右斜め平均補間演算回路６も左斜め平均補間演算回路７と同様に、補間候補データ、テスト補間データを算出し、判定回路２はそれぞれの回路から出力されたテスト補間データを基に判定データの算出を行う。ただし、左右平均補間演算回路５、及び右斜め平均補間演算回路６における処理については、実施の形態１において図１１および図１２を用いて説明しているので、ここでは詳細を省略する。なお、左右平均補間演算回路５から出力される補間画素の補間候補データＤ１の値は１２７．５、右斜め平均補間演算回路６から出力される補間画素の補間候補データＤ２の値は１２７．５である。
図１８は、テスト画素Ｔ１〜Ｔ４における判定データＭ１、Ｍ２、Ｍ３の値を示した図である。

次に、判定データＭ１、Ｍ２、Ｍ３に対する管理回路１の処理について説明する。管理回路１は、テスト画素Ｔ１〜Ｔ４に対する左右平均補間演算回路５の補間適性を評価するために、テスト画素Ｔ１〜Ｔ４までの判定データＭ１［Ｔ１］〜Ｍ１［Ｔ４］を加算し、評価データＳ１を算出する。したがって、評価データＳ１は、
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋Ｍ１［Ｔ３］＋Ｍ１［Ｔ４］
＝０＋１２７．５＋１２７．５＋０＝２５５
となる。

同様に、管理回路１はテスト画素Ｔ１〜Ｔ４に対する右斜め平均補間演算回路６の補間適性を評価するために、テスト画素Ｔ１〜Ｔ４までの判定データＭ２［Ｔ１］〜Ｍ２［Ｔ４］を加算し、評価データＳ２を算出する。したがって、評価データＳ２は、
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋Ｍ２［Ｔ３］＋Ｍ２［Ｔ４］
＝１２７．５＋１２７．５＋１２７．５＋０＝３８２．５
となる。

さらに、管理回路１はテスト画素Ｔ１〜Ｔ４に対する左斜め平均補間演算回路７の補間適性を評価するために、テスト画素Ｔ１〜Ｔ４までの判定データＭ３［Ｔ１］〜Ｍ３［Ｔ４］を加算し、評価データＳ３を生成する。したがって、評価データＳ３は、
Ｓ３＝Ｍ３［Ｔ１］＋Ｍ３［Ｔ２］＋Ｍ３［Ｔ３］＋Ｍ３［Ｔ４］
＝０＋１２７．５＋０＋０＝１２７．５
となる。

図１９は、左右平均補間演算回路５の評価データＳ１と、右斜め平均補間演算回路６の評価データＳ２と、左斜め平均補間演算回路７の評価データＳ３の値を示した図である。

評価データの値が小さい補間演算回路ほど、補間画素Ｌ近傍のテスト画素全体に対する補間適性が高いので、補間画素Ｌに対する補間適性も高いと類推できる。したがって、管理回路１は評価データＳ１〜Ｓ３の中から最も値の小さいＳ３を選択し、評価データＳ３を出力した左斜め平均補間演算回路７を特定する。そして、管理回路１は、左斜め平均補間演算回路７により算出された補間画素Ｌの補間候補データＤ３を出力回路３が選択するための選択信号Ｃを出力する。

出力回路３は、選択信号Ｃに基づいて、左斜め平均補間演算回路７が出力した補間候補データＤ３＝０を補間データＤ０＝０として出力する。

図１６（ａ）に示したように、原画像における画素Ｌの濃度データ値は０である。したがって、補間データＤ０として左右平均補間演算回路５が算出した補間候補データＤ１＝１２７．５、右斜め平均補間演算回路６が算出した補間候補データＤ２＝１２７．５を採用していた場合よりも、左斜め補間演算回路７が算出した補間候補データＤ２を補間データＤ０として出力する場合の方が、補間誤差が小さいことが分かる。

このように、本実施の形態に係る画素補間回路は、実施の形態１の補間演算回路部４に左斜め平均補間演算回路７を追加することにより、左斜めの輪郭の画像が入力された場合でも、補間誤差の小さな補間処理を行うことができる。すなわち、多様な種類の画像内容に対して誤差の小さな補間処理ができる。

また、本実施の形態に係る画素補間回路は図１５に示したように、図８に示した実施の形態１に係る画素補間回路の補間演算回路部４内に、左斜め平均補間演算回路７を追加したものである。すなわち、画素補間回路全体の構成を大きく変えること無く補間演算回路を追加することができる。同様に、画素補間回路全体の構成を大きく変えること無く補間演算回路を削除することも可能である。

実施の形態３．
本実施の形態では、実施の形態１で説明した図８の画素補間回路の判定回路２において、データ量を削減した判定データを用いる場合を説明する。なお、本実施の形態に係る画素補間回路の構成は、図８の画素補間回路と同じである。

すなわち、判定回路２は、各補間演算回路から入力されたテスト補間データと、テスト画素における入力画像データとの差分との絶対値を算出し、算出した値を２つのしきい値を用いて３値化し、３値化した値を判定データとして管理回路１に出力する。この３値化処理により、データ量の削減が可能となる。

本実施の形態における判定回路２の処理について説明する。判定処理回路２は、第１の補間演算回路４ａが出力するテスト補間データＴＤ１［Ｔ１］と、テスト画素Ｔ１における入力画像ＤＩのデータＤＩ［Ｔ１］との差分の絶対値を算出し、算出した値を２つのしきい値ＴＨ１およびＴＨ２（０≦ＴＨ１＜ＴＨ２）を用いて３値化し、３値化した値を判定データＭ１［Ｔ１］として出力する。すなわち、判定データＭ１［Ｔ１］は
０≦｜ＴＤ１［Ｔ１］−ＤＩ［Ｔ１］｜＜ＴＨ１
が成立する場合、Ｍ１［Ｔ１］＝−１、
ＴＨ１≦｜ＴＤ１［Ｔ１］−ＤＩ［Ｔ１］｜＜ＴＨ２
が成立する場合、Ｍ１［Ｔ１］＝０、
ＴＨ２≦｜ＴＤ１［Ｔ１］−ＤＩ［ＴＩ］｜
が成立する場合、Ｍ１［Ｔ１］＝１
となる。

判定データＭ１［Ｔ１］の値が小さい場合、即ちＭ１［Ｔ１］＝−１の場合は、テスト補間データが入力画像データに近いこと、即ち、テスト画素Ｔ１に対する第１の補間演算回路４ａの補間演算方法の補間適性が高いことを示す。逆に、判定データＭ１［Ｔ１］の値が大きい場合は、テスト画素Ｔ１に対する第１の補間演算回路４ａの補間演算方法の補間適性が低いことを示す。つまり、実施の形態１の場合と同様、判定データＭ１［Ｔ１］の値の大小により、テスト画素Ｔ１に対する第１の補間演算回路４ａの補間適性を判断することができると同時に、判定データＭ１［Ｔ１］のデータ量を削減することができる。

同様に、判定回路２は、第１補間演算回路４ａが出力する、テスト画素Ｔ２〜Ｔｍについてのテスト補間データＴＤ１［Ｔ２］〜ＴＤ１［Ｔｍ］に対しても、それぞれのテスト画素に対応する入力画像ＤＩのデータＤＩ［Ｔ２］〜ＤＩ［Ｔｍ］との差分の絶対値を算出し、算出した値を２つのしきい値ＴＨ１およびＴＨ２を用いて３値化し、３値化した値を判定データＭ１［Ｔ２］〜Ｍ１［Ｔｍ］として出力する。すなわち、判定データＭ１［Ｔ２］〜Ｍ１［Ｔｍ］は
０≦｜ＴＤ１［Ｔ２］−ＤＩ［Ｔ２］｜＜ＴＨ１
が成立する場合、Ｍ１［Ｔ２］＝−１、
ＴＨ１≦｜ＴＤ１［Ｔ２］−ＤＩ［Ｔ２］｜＜ＴＨ２
が成立する場合、Ｍ１［Ｔ２］＝０、
ＴＨ２≦｜ＴＤ１［Ｔ２］−ＤＩ［Ｔ２］｜
が成立する場合、Ｍ１［Ｔ２］＝１
〜
０≦｜ＴＤ１［Ｔｍ］−ＤＩ［Ｔｍ］｜＜ＴＨ１
が成立する場合、Ｍ１［Ｔｍ］＝−１、
ＴＨ１≦｜ＴＤ１［Ｔｍ］−ＤＩ［Ｔｍ］｜＜ＴＨ２
が成立する場合、Ｍ１［Ｔｍ］＝０、
ＴＨ２≦｜ＴＤ１［Ｔｍ］−ＤＩ［Ｔｍ］｜
が成立する場合、Ｍ１［Ｔｍ］＝１
となる。判定データＭ１［Ｔ１］の場合と同様、各判定データＭ１［Ｔ２］〜Ｍ１［Ｔｍ］の値の大小により、各テスト画素Ｔ２〜Ｔｍに対する第１の補間演算回路４ａの補間適性を判断することができる。

第１の補間演算回路４ａにおける処理と同様に、第２の補間演算回路４ｂ〜第ｎの補間演算回路４ｎもそれぞれ、テスト画素Ｔ１〜Ｔｍについてテスト補間データＴＤ２［Ｔ１］〜ＴＤ２［Ｔｍ］、ＴＤ３［Ｔ１］〜ＴＤ３［Ｔｍ］、・・・、ＴＤｎ［Ｔ１］〜ＴＤｎ［Ｔｍ］を算出し、判定回路２に出力する。判定回路２は、テスト補間データと入力画像データとから、判定データＭＤ２［Ｔ１］〜ＭＤ２［Ｔｍ］、ＭＤ３［Ｔ１］〜ＭＤ３［Ｔｍ］、・・・、ＭＤｎ［Ｔ１］〜ＭＤｎ［Ｔｍ］をそれぞれ算出する。

次に、具体的な例を用いて説明する。ここでは、実施の形態１の図８に示した画素補間回路を用い、図９（ｂ）に示した入力画像データＤＩが入力された場合において、しきい値をそれぞれＴＨ１＝５０、ＴＨ２＝１００とした場合の処理について説明する。

まず、左右平均補間演算回路５はテスト画素Ｔ１についてのテスト補間データＴＤ１［Ｔ１］を判定回路２に出力する。判定回路２は、テスト画素Ｔ１における左右平均補間演算回路５のテスト補間データＴＤ１［Ｔ１］と、テスト画素Ｔ１における入力画像ＤＩのデータＤＩ［Ｔ１］との差分の絶対値を算出する。そして、この算出した値をしきい値ＴＨ１、ＴＨ２を用いて３値化し、３値化した値を判定データＭ１［Ｔ１］として出力する。図１１（ａ）にて説明したように、テスト画素Ｔ１におけるテスト補間データＴＤ１［Ｔ１］の値は２５５、入力画像データＤＩ［Ｔ１］の濃度データ値は２５５である。したがって、
｜ＴＤ１［Ｔ１］−ＤＩ［Ｔ１］｜＝｜２５５−２５５｜＝０
となり、
０＝｜ＴＤ１［Ｔ１］−ＤＩ［Ｔ１］｜＝０＜ＴＨ１＝５０が成立するので、
判定データＭ１［Ｔ１］＝−１
となる。

同様に、判定回路２は、左右平均補間演算回路５が出力する、テスト画素Ｔ２〜Ｔ４についてのテスト補間データＴＤ１［Ｔ２］〜ＴＤ１［Ｔ４］と、それぞれのテスト画素に対応する入力画像データＤＩ［Ｔ２］〜ＤＩ［Ｔ４］との差分の絶対値を算出する。そして、それぞれ算出した値を２つのしきい値ＴＨ１、ＴＨ２を用いて３値化し、３値化した値を判定データＭ１［Ｔ２］〜Ｍ１［Ｔ４］として出力する。すなわち、図１１（ｂ）〜（ｄ）にて説明した各テスト画素のテスト補間データを用いて、各判定データＭ１［Ｔ２］〜Ｍ１［Ｔ４］を算出する。

テスト画素Ｔ２におけるテスト補間データＴＤ１［Ｔ２］の値は１２７．５、入力画像データＤＩ［Ｔ２］の濃度データ値は２５５である。したがって、
｜ＴＤ１［Ｔ２］−ＤＩ［Ｔ２］｜＝｜１２７．５−２５５｜＝１２７．５
となり、
ＴＨ２＝１００≦｜ＴＤ１［Ｔ２］−ＤＩ［Ｔ２］｜＝１２７．５が成立するので、
判定データＭ１［Ｔ２］＝１
となる。

テスト画素Ｔ３におけるテスト補間データＴＤ３［Ｔ２］の値は１２７．５、入力画像データＤＩ［Ｔ２］の濃度データ値は０である。したがって、
｜ＴＤ１［Ｔ３］−ＤＩ［Ｔ３］｜＝｜１２７．５−０｜＝１２７．５
となり、
ＴＨ２＝１００≦｜ＴＤ１［Ｔ３］−ＤＩ［Ｔ３］｜＝１２７．５が成立するので、
判定データＭ１［Ｔ３］＝１
となる。

テスト画素Ｔ４におけるテスト補間データＴＤ３［Ｔ４］の値は０、入力画像データＤＩ［Ｔ２］の濃度データ値は０である。したがって、
｜ＴＤ１［Ｔ４］−ＤＩ［Ｔ４］｜＝｜０−０｜＝０
となり、
０＝｜ＴＤ１［Ｔ４］−ＤＩ［Ｔ４］｜＝０＜ＴＨ１＝５０が成立するので、
判定データＭ１［Ｔ４］＝−１
となる。

さらに、判定回路２は、右斜め平均補間演算回路６が算出したテスト補間データＴＤ２［Ｔ１］〜ＴＤ２［Ｔ４］を用いて、判定データＭ２［Ｔ１］〜Ｍ２［Ｔ４］を算出する。

テスト画素Ｔ１におけるテスト補間データＴＤ２［Ｔ１］の値は２５５、入力画像データＤＩ［Ｔ１］の濃度データ値は２５５である。したがって、
｜ＴＤ２［Ｔ１］−ＤＩ［Ｔ１］｜＝｜２５５−２５５｜＝０
となり、
０＝｜ＴＤ２［Ｔ１］−ＤＩ［Ｔ１］｜＝０＜ＴＨ１＝５０が成立するので、
判定データＭ２［Ｔ１］＝−１
となる。

テスト画素Ｔ２におけるテスト補間データＴＤ２［Ｔ２］の値は１２７．５、入力画像データＤＩ［Ｔ２］の濃度データ値は２５５である。したがって、
｜ＴＤ２［Ｔ２］−ＤＩ［Ｔ２］｜＝｜１２７．５−２５５｜＝１２７．５
となり、
ＴＨ２＝１００≦｜ＴＤ２［Ｔ２］−ＤＩ［Ｔ２］｜＝１２７．５が成立するので、
判定データＭ２［Ｔ２］＝１
となる。

テスト画素Ｔ３におけるテスト補間データＴＤ２［Ｔ３］の値は０、入力画像データＤＩ［Ｔ３］の濃度データ値は０である。したがって、
｜ＴＤ２［Ｔ３］−ＤＩ［Ｔ３］｜＝｜０−０｜＝０
となり、
０＝｜ＴＤ２［Ｔ３］−ＤＩ［Ｔ３］｜＝０＜ＴＨ１＝５０が成立するので、
判定データＭ１［Ｔ３］＝−１
となる。

テスト画素Ｔ４におけるテスト補間データＴＤ２［Ｔ４］の値は０、入力画像データＤＩ［Ｔ４］の濃度データ値は０である。したがって、
｜ＴＤ２［Ｔ４］−ＤＩ［Ｔ４］｜＝｜０−０｜＝０
となり、
０＝｜ＴＤ２［Ｔ４］−ＤＩ［Ｔ４］｜＝０＜ＴＨ１＝５０が成立するので、
判定データＭ１［Ｔ４］＝−１
となる。
図２０は、テスト画素Ｔ１〜Ｔ４における判定データＭ１、Ｍ２の値を示した図である。

次に、判定データＭ１、Ｍ２に対する管理回路１の処理について説明する。管理回路１は、テスト画素Ｔ１〜Ｔ４に対する左右平均補間演算回路５の補間適性を評価するために、テスト画素Ｔ１〜Ｔ４までの判定データＭ１［Ｔ１］〜Ｍ１［Ｔ４］を加算し、評価データＳ１を算出する。したがって、評価データＳ１は、
Ｓ１＝Ｍ１［Ｔ１］＋Ｍ１［Ｔ２］＋Ｍ１［Ｔ３］＋Ｍ１［Ｔ４］
＝（−１）＋１＋１＋（−１）
＝０
となる。

同様に、管理回路１はテスト画素Ｔ１〜Ｔ４に対する右斜め平均補間演算回路６の補間適性を評価するために、テスト画素Ｔ１〜Ｔ４までの判定データＭ２［Ｔ１］〜Ｍ２［Ｔ４］を加算し、評価データＳ２を算出する。したがって、評価データＳ２は、
Ｓ２＝Ｍ２［Ｔ１］＋Ｍ２［Ｔ２］＋Ｍ２［Ｔ３］＋Ｍ２［Ｔ４］
＝（−１）＋１＋（−１）＋（−１）
−２
となる。

図２１は、左右平均補間演算回路５の評価データＳ１と、右斜め平均補間演算回路６の評価データＳ２の値を示した図である。

評価データの値が小さい補間演算回路ほど、補間画素Ｌ近傍のテスト画素全体に対する補間適性が高いので、補間画素Ｌに対する補間適性も高いと類推できる。したがって、管理回路１は評価データＳ１とＳ２の中から最も値の小さいＳ２を選択し、評価データＳ２を出力した右斜め平均補間演算回路６を特定する。そして、管理回路１は、右斜め平均補間演算回路６により算出された補間画素Ｌの補間候補データＤ２を出力回路３が選択するための選択信号Ｃを出力する。

出力回路３は、選択信号Ｃに基づいて、右斜め平均補間演算回路６が出力した補間候補データＤ２＝０を補間データＤ０＝０として出力する。

図９（ａ）に示したように、原画像における画素Ｌの濃度データ値は０である。したがって、補間データＤ０として左右平均補間演算回路５が出力した補間候補データＤ１＝１２７．５を採用していた場合よりも、右斜め平均補間演算回路６が算出した補間候補データＤ２を補間データＤ０として出力する場合の方が、補間誤差が小さいことが分かる。

このように、本実施の形態に係る画素補間回路は、補間誤差の小さい画素補間処理を行うことができると共に、判定データを３値化することにより、判定回路２、管理回路１にて扱うデータ量を大きく削減することができる。

なお、本実施の形態では、２つのしきい値を用いて判定データを削減する場合について説明したが、用いるしきい値を１つとし、判定データを２値化することによって、データ量を削減しても良い。また、判定データを量子化することによってデータ量を削減しても良い。

また、実施の形態１から３では、図９（ａ）、図１６（ａ）に示したコピー元の原紙の画像データをコピー機に取り込む際に欠落する画素列ＬＬを補間する処理について説明した。しかし、本発明に係る画素補間回路は、当然このような使用方法に限られるものではなく、様々なデジタル画像データの処理に用いられることはいうまでもない。

また、補間演算回路部４を構成する補間演算回路として左右平均補間演算回路５、右斜め平均補間演算回路６、左斜め平均補間演算回路７を用いて説明したが、これらの補間演算回路に限られるものではなく、例えば、最小自乗法を用い補間画素に隣接する画素の回帰直線を求め、その回帰直線から補間データを求める補間演算回路、補間画素に隣接する４画素のデータから４次曲線を求め、その４次曲線から補間データを求める補間演算回路を用いても良い。

さらに、ハードウェアやソフトウェアのみによって本発明を構成しても良く、また、ハードウェアとソフトウェアとが混在した状態で本発明を構成しても良い。

実施の形態１における画素補間回路の構成を示すブロック図である。 実施の形態１における画素補間処理フローを示す図である。 実施の形態１における補間画素とテスト画素との位置関係を示す図である。 実施の形態１における判定処理フローを示す図である。 実施の形態１におけるテスト画素に対する判定データとの対応を示す図である。 実施の形態１における判定データの評価処理フローを示す図である。 実施の形態１における補間演算回路と評価データとの対応を示す図である。 実施の形態１における画素補間回路の構成を示すブロック図である。 実施の形態１における原画像データと入力画像データを示す図である。 実施の形態１における補間演算方法を示す図である。 実施の形態１における左右平均補間演算回路の補間演算方法を示す図である。 実施の形態１における右斜め平均補間演算回路の補間演算方法を示す図である。 実施の形態１におけるテスト画素と判定データとの対応を示す図である。 実施の形態１における評価データを示す図である。 実施の形態２における画素補間回路の構成を示すブロック図である。 実施の形態２における原画像データと入力画像データを示す図である。 実施の形態２における左斜め平均補間演算回路の補間演算方法を示す図である。 実施の形態２におけるテスト画素と判定データとの対応を示す図である。 実施の形態２における評価データを示す図である。 実施の形態３におけるテスト画素と判定データとの対応を示す図である。 実施の形態３における評価データを示す図である。

符号の説明

１ 管理回路、２ 判定回路、３ 出力回路、４ 補間演算回路部、４ａ 第１の補間演算回路、４ｂ 第２の補間演算回路、４ｎ 第ｎの補間演算回路、５ 左右平均補間演算回路、６ 右斜め平均補間演算回路、７ 左斜め平均補間演算回路

Claims (4)

1. 入力された画像データから補間画素の補間データを算出する画素補間回路であって、
   それぞれの補間演算方法に基づいて、当該補間画素近傍に実在するテスト画素について算出したテスト補間データと、当該補間画素について算出した補間候補データとを出力する複数の補間演算回路と、
   前記テスト補間データと前記テスト画素における入力画像データとから前記複数の補間演算回路の補間適性を評価し、当該評価に従って、当該複数の補間演算回路の中から選択された一の補間演算回路が出力した補間候補データを補間データとして出力する出力回路と
   を備える画素補間回路。
2. 補間演算回路の補間適性の評価及び選択は、
   各テスト画素における、テスト補間データと入力画像データとの差分の絶対値として算出された判定データを出力する判定回路と、
   当該判定データを各補間演算回路について加算した評価データの中から、最も値の小さな評価データを選択し、当該選択された評価データを算出する基となったテスト補間データを出力した補間演算回路を特定し、当該特定された補間演算回路が出力した補間候補データを選択するための選択信号を出力する管理回路により行われること
   を特徴とする請求項１に記載の画素補間回路。
3. 判定データは、各テスト画素における、テスト補間データと入力画像データとの差分の絶対値を２値化あるいは３値化された値であること
   を特徴とする請求項２に記載の画素補間回路。
4. 入力された画像データから補間画素の補間データを算出する画素補間方法であって、
   それぞれの補間演算方法に従って、当該補間画素近傍に実在するテスト画素について算出したテスト補間データと、当該補間画素について算出した補間候補データとを出力する複数の補間演算ステップと、
   前記テスト補間データと前記テスト画素における入力画像データとから前記複数の補間演算回路の補間適性を評価し、当該評価に従って、当該複数の補間演算回路の中から選択された一の補間演算回路が出力した補間候補データを補間データとして出力する出力ステップと
   を備える画素補間方法。
   

Images