JP2010039672A - 拡大画像生成装置 - Google Patents

Abstract

【課題】ぼやけが大きくなったり孤立点が生成されたりすることなく、良好な拡大画像を生成できる拡大画像生成装置を提供する。
【解決手段】拡大画像生成装置１において、補間方向決定部５では、メモリ制御部２から出力される補間位置情報、補間に必要な元画素データ、水平垂直方向補間部４から入力される補間方向有効判別条件により、複数の補間方向から１つの補間方向を決定する。補間画素値生成部７では、水平垂直方向補間部４から出力される第１の補間画素値成分と、前記補間方向に補間処理されて斜め方向補間部６から出力される第２の補間画素値成分のうち、水平垂直方向補間部４から出力される斜め方向補間選択条件に合致したものとを、メモリ制御部２から出力される補間位置情報、補間方向決定部５から出力される補間方向情報により、最終的な補間画素値を決定する。
【選択図】図１

Description

本発明は、入力された元画像に対して、補間処理を行なうことにより、拡大画像を生成する拡大画像生成装置に関するものである。

拡大画像を生成するための補間方法として、最近傍補間法や共一次補間（バイリニア補間）法が広く知られており、少ない演算処理で実現できることから、リアルタイム処理を要求される場合に採用されている。一方、３次補間（バイキュービック）法とよばれる高次の補間方法は、情報損失がもっとも少ないとされ、自然な画像が得られる反面、演算処理が大きく、処理に時間がかかるため、リアルタイム処理には不向きである。

また、特許文献１には、水平方向、あるいは、垂直方向と０°＜角度＜９０°をなす斜め方向の２画素間の差分から方向性を判断し、その方向に傾斜した平行四辺形（垂直方向に平行で、水平方向に斜め方向）を形成する４つの元画素の画素値から線形補間により、拡大画像の１つの生成画素を少ないぼやけで生成する方法が提案されている。

また、特許文献２では、特許文献１の補間方法による問題点である縦横方向に相関が弱くなるのを軽減するための方法として、縦横方向の線形補間結果と、斜め方向の線形補間結果とを一定の比率で足し合わせて拡大画像の１つの生成画素を作成する方法が提案されている。

特許第３７３９４０５号公報 特開２００２−２４８１５号公報

特許文献１に開示された補間方法では、１つの生成画素について、周囲４画素の画素差分から斜め方向を判定し、その斜め方向から補間方向を決定、補間処理を行なっている。その際、画素差分が最小となる２点からなる線分と、さらには、その１点を端点とし、その線分を左右から挟む２本の線分とをもとに斜め方向を判定することにより、斜め方向の判定精度を向上させているが、一旦、斜め方向を判定して補間方向を決定し補間値を算出すると、その補間値が適当であるかどうか判定を行なっていないために、斜め方向が水平方向、あるいは、垂直方向に近い場合に、補間位置と周辺４画素の画素値によっては、補間値が適当でなく、孤立点を生成してしまう場合がある。

また、特許文献２に開示された補間方法では、縦横方向の線形補間結果と、斜め方向の線形補間結果とを一律、一定の比率で足し合わせてしまうため、補間位置によって、適切な補間結果を選択できない場合がある。

すなわち、特許文献１〜２においては、必ずしも適当な補間を行うことができるとは限らないので、ぼやけが大きくなったり孤立点が生成されたりする場合があるという問題点があった。

本発明は上記のような問題点を解消するためになされたものであり、ぼやけが大きくなったり孤立点が生成されたりすることなく、良好な拡大画像を生成できる拡大画像生成装置を提供することを目的とする。

本発明に係る拡大画像生成装置は、入力された元画像から拡大画像を生成する拡大画像生成装置であって、水平方向および垂直方向の両方において隣接する４つの元画素からなる第１の元画素群によって囲まれる拡大画像を構成する１つの生成画素の第１の補間画素値成分を、前記第１の元画素群を含むＭ×Ｎ画素（Ｍ、Ｎは２以上の整数）から補間処理により生成する水平垂直方向補間部と、前記生成画素を囲む４つの元画素のうち、水平方向および垂直方向の少なくとも一方において隣接し、かつ構成する平行四辺形の平行する２辺が、水平方向および垂直方向の少なくとも一方に平行となる第２の元画素群の組を所定領域内で複数探索する斜め方向パターン探索部と、前記第１の元画素群を構成する４つの元画素において水平方向の２辺に沿って画素値の差分をそれぞれ算出してなる２組の水平方向差分値と、前記第１の元画素群を構成する４つの元画素において垂直方向の２辺に沿って画素値の差分をそれぞれ算出してなる２組の垂直方向差分値と、前記斜め方向パターン探索部により求められた各前記第２の元画素群をそれぞれ構成する４つの元画素において水平方向でも垂直方向でもない斜め方向の２辺に沿って画素値の差分をそれぞれ算出してなる２組の斜め方向差分値とから補間方向評価値を算出し、当該補間方向評価値によって補間方向を決定する補間方向評価部と、前記補間方向評価部により決定された前記補間方向に基づき、前記第１の元画素群と前記第２の元画素群の組とからなる１つの元画素群を選択し、前記生成画素の第２の補間画素値成分を線形補間により生成する斜め方向補間部と、前記水平垂直方向補間部により生成される前記第１の補間画素値成分と、前記斜め方向補間部により生成される前記第２の補間画素値成分とから、前記生成画素の画素値を生成する補間画素値生成部と、を備え、前記補間画素値生成部は、前記第２の補間画素値成分の値が、前記生成画素の位置を水平方向および垂直方向に通る各線分と前記第１の元画素群から構成される四角形の４辺との各交点において前記第１の元画素群から線形補間により求められた画素値の最大値以下から最小値以上の範囲内にあるとき、前記第２の補間画素値成分を有効とし、前記第１の補間画素値成分と前記第２の補間画素値成分とから、前記生成画素の画素値を生成し、前記範囲内にないとき、前記第１の補間画素値成分を前記生成画素値の画素値とすることを特徴とする。

本発明に係る拡大画像生成装置は、補間方向評価値によって補間方向を決定する補間方向評価部を備え、さらには、補間方向評価部により決定された補間方向に基づき、補間画素値成分を算出するとともに、補間画素値生成部によって補間画素値成分を評価し、補間方向と補間位置によって、最終的な補間画素値を決定するので、ぼやけが大きくなったり孤立点が生成されたりすることなく、良好な拡大画像を生成できる。

＜実施の形態１＞
＜動きベクトル検出装置の構成＞
図１は、本発明の実施の形態１に係る拡大画像生成装置１の要部構成を示すブロック図である。

拡大画像生成装置１は、入力される元画像に対して、拡大画像を生成して出力するものである。図２に示すような水平方向の画素走査と垂直方向のライン走査とを行う１フレームの画像が、拡大画像生成装置１に入力されると、補間処理によって水平方向および垂直方向に拡大処理された１フレームの画像が出力される。なお、図２において、走査方向はこれに限るものではなく、水平方向と垂直方向とが逆でもよい。

拡大画像生成装置１は、３つの入力端子１１、１３、１４ａと、メモリ制御部２と、メモリ３と、水平垂直方向補間部４と、補間方向決定部５と、斜め方向補間部６と、補間画素値生成部７と、２つの出力端子１２、１４ｂとを備えている。

入力端子１１には、デジタルカメラなどで撮影された静止画像や、ビデオカメラなどで撮影された動画像の１フレーム（枚）の画像（元画像）が入力される。もちろん、デジタルカメラやビデオカメラの撮像素子で取得された画像が直接入力されても構わないし、一旦、メモリに保存されたものが読み出されて入力されても構わない。入力端子１１に入力された画像データは、メモリ制御部２に入力される。なお、元画像の１つ１つの画素を元画素、その値を元画素値（元画素データ）と記す。

メモリ制御部２は、入力端子１１を介して入力された元画素データをメモリ３に出力し、書き込む。また、入力端子１４ａを介して制御部（不図示）から拡大処理要求を受け、補間処理を開始し、補間位置を更新するとともに、その補間位置情報を水平垂直方向補間部４、補間方向決定部５、斜め方向補間部６、および補間画素値生成部７に出力する。また、メモリ３から元画素データを読み出し、水平垂直方向補間部４、補間方向決定部５、および斜め方向補間部６に出力する。さらに、補間位置の更新によって、メモリ３で補間処理に不要になった元画素データが発生した場合には、出力端子１４ｂを介して、次の元画素データを制御部に要求する。メモリ３は、数ライン分のラインメモリで構成される。なお、メモリ３の構成はこれに限るものではない。

水平垂直方向補間部４では、メモリ制御部２を介して、メモリ３から読み出された元画素のうち、補間画素を取り囲む水平／垂直方向の両方に隣接する４つの元画素（第１の元画素群と記す。）を含むＭ×Ｎ画素（Ｍ、Ｎは２以上の整数）から、補間処理により、補間位置から、（拡大画像を構成する１つの生成画素の）第１の補間画素値成分を算出するとともに、４つの元画素の水平方向、あるいは垂直方向に隣接する２つの元画素からなる線分を、補間位置を通り、垂直方向、あるいは水平方向に平行な直線で内分する点の値から、斜め方向補間選択条件を算出し、補間画素値生成部７に出力する。また、４つの元画素のうち、水平方向、あるいは垂直方向に隣接する２つの元画素を所定の一定比率で内分する点の値から、補間方向有効判別条件を算出し、補間方向決定部５に出力する。

補間方向決定部５では、メモリ制御部２から出力される補間位置情報、補間に必要な元画素データ、水平垂直方向補間部４から入力される補間方向有効判別条件、および制御部（不図示）から入力端子１３を介して入力される補間方向優先順位設定により、複数の補間方向から１つの補間方向を決定し、決定した補間方向情報を斜め方向補間部６および補間画素値生成部７に出力する。

斜め方向補間部６では、メモリ制御部２から出力される補間位置情報、元画素データ、および補間方向決定部５から出力される補間方向情報をもとに線形補間を行ない、第２の補間画素値成分を算出し、補間画素値生成部７に出力する。

補間画素値生成部７では、水平垂直方向補間部４から出力される斜め方向補間選択条件のもと、メモリ制御部２から出力される補間位置情報と、補間方向決定部５から出力される補間方向情報に基づき、水平垂直方向補間部４から出力される第１の補間画素値成分および斜め方向補間部６から出力される第２の補間画素値成分から、補間画素値を生成し、出力端子１２から出力する。

図３は、メモリ制御部２の要部構成を示すブロック図である。メモリ制御部２は、入力端子２４、２６ｂ、２９ａと、出力端子２５ａ、２５ｂ、２６ａ、２７、２８、２９ｂと、データ書き込み部２１と、補間画素位置算出部２２と、データ読み出し部２３とを備えている。

データ書き込み部２１は、書き込みアドレスを発生し、入力端子２４から入力された元画素データを出力端子２５ｂから、書き込みアドレス他制御信号を出力端子２５ａから、それぞれ出力する。また、元画素データ書き込み状況を補間画素位置算出部２２に出力する。

補間画素位置算出部２２は、入力端子２９ａを介して制御部（不図示）から拡大処理要求を受け、補間位置（水平方向補間位置および垂直方向補間位置）を更新し、補間位置情報として、データ読み出し部２３および出力端子２８に出力する。その際、垂直方向補間位置の更新により不要になったラインメモリを把握し、出力端子２９ｂを介して、制御部に次の画像データを入力端子２４から入力させるよう要求し、新たに、不要になったラインメモリに元画素データを補充する。

データ読み出し部２３は、補間画素位置算出部２２から入力された補間位置から読み出しアドレスを算出し、読み出しアドレス他制御信号を出力端子２６ａから出力し、入力端子２６ｂから元画素データを読み出し、出力端子２７から出力する。

図４は、水平垂直方向補間部４の要部構成を示すブロック図である。水平垂直方向補間部４は、入力端子４３、４４と、出力端子４５、４６、４７と、第１の補間係数算出部４１と、第１の補間処理部４２とを備えている。

第１の補間係数算出部４１は、入力端子４３から入力される補間位置情報をもとに第１の補間係数を算出し、第１の補間処理部４２に出力する。

第１の補間処理部４２は、入力端子４４から入力される元画素データ（第１の元画素群データと記す）を含むＭ×Ｎ画素（Ｍ、Ｎは２以上の整数）を、第１の補間係数算出部４１から出力される第１の補間係数を用いて補間処理を行ない、出力端子４５から第１の補間画素値成分として出力する。また、補間処理の際に算出される中間データをもとに、斜め方向補間選択条件を算出し、出力端子４６から出力するとともに、補間方向有効判別条件を算出し、出力端子４７から出力する。

図５は、補間方向決定部５の要部構成を示すブロック図である。補間方向決定部５は、入力端子５５、５６、５７、５９と、出力端子５８と、斜め方向パターン探索部５１と、代表点評価部５２と、補間方向評価値算出部５３と、補間方向評価部５４とを備えている。

斜め方向パターン探索部５１は、補間位置から探索する斜め方向パターンを探索し、有効な斜め方向パターンを第１の斜め方向パターン情報として、代表点評価部５２に出力する。

代表点評価部５２は、斜め方向パターン探索部５１から出力された第１の斜め方向パターン情報をもとに、有効な斜め方向パターンについて代表点を選択し、斜め方向パターン代表値ｑｓを算出する。そして、斜め方向パターン代表値ｑｓを、入力端子５７から入力される補間方向有効判別条件により評価し、有効な斜め方向パターンを第２の斜め方向パターン情報として、補間方向評価値算出部５３に出力する。

補間方向評価値算出部５３は、代表点評価部５２から出力された第２の斜め方向パターン情報と、入力端子５６から入力される元画素データとから、有効な斜め方向パターンについて補間方向評価値を算出し、算出した補間方向評価値を補間方向評価部５４に出力する。

補間方向評価部５４は、補間方向評価値算出部５３から出力される有効な斜め方向パターンの補間方向評価値と、入力端子５９から入力される補間方向優先順位設定とから、補間方向を決定し、補間方向情報として出力端子５８から出力する。

図６は、斜め方向補間部６の要部構成を示すブロック図である。斜め方向補間部６は、入力端子６４、６５、６６と、出力端子６７と、処理画素選択部６１と、第２の補間係数算出部６２と、第２の補間処理部６３とを備えている。

処理画素選択部６１は、入力端子６４から入力される補間方向情報をもとに、入力端子６６から入力される元画素データから、補間処理に必要な画素データを選択し、第２の補間処理部６３に出力する。

第２の補間係数算出部６２は、入力端子６４から入力される補間方向情報と、入力端子６５から入力される補間位置情報とから第２の補間係数を算出し、第２の補間処理部６３に出力する。

第２の補間処理部６３は、処理画素選択部６１から出力される元画素データを、第２の補間係数算出部６２から出力される第２の補間係数で補間し、出力端子６７から第２の補間画素値成分を出力する。

図７は、補間画素値生成部７の要部構成を示すブロック図である。補間画素値生成部７は、入力端子７４、７５、７６、７７、７９と、出力端子７８と、斜め方向補間有効判別部７１と、補間画素値選択部７２と、画素値合成部７３とを備えている。

斜め方向補間有効判別部７１は、入力端子７４から入力される斜め方向補間選択条件により、入力端子７７から入力される第２の補間画素値成分の有効／無効判別を行ない、有効／無効判別信号を補間画素値選択部７２に出力する。

補間画素値選択部７２は、入力端子７５から入力される第１の補間画素値成分と、入力端子７７から入力される第２の補間画素値成分とを、斜め方向補間有効判別部７１から出力される有効／無効判別信号により切り替えて、画素値合成部７３に出力する。

画素値合成部７３は、入力端子７５から入力される第１の補間画素値成分と、補間画素値選択部７２の出力とを、入力端子７６から入力される補間方向情報と入力端子７９から入力される補間位置情報に基づき、合成処理して、出力端子７８より最終的な補間画素値として出力する。

図８は、画素値合成部７３の要部構成を示すブロック図である。画素値合成部７３は、入力端子８４、８５、８６、８７と、出力端子８８と、フェーダ８１、８２と、加算器８３とを備えている。

フェーダ８１は、入力端子８４から入力される第１の補間画素値成分をレベル調整（減衰）する。同様に、フェーダ８２は、入力端子８５から入力される補間画素値選択部７２の出力をレベル調整（減衰）する。なお、フェーダ８１とフェーダ８２は、入力端子８６から入力される補間方向情報と、入力端子８７から入力される補間位置情報とをもとに決定された減衰係数で連動して制御される。加算器８３は、フェーダ８１出力とフェーダ８２出力を加算する。

以上のような構成を有する拡大画像生成装置１の動作について、図１から図８を用いて、以下で説明する。

図２のように、水平方向の画素走査を垂直方向に順に繰り返すことによって読み出される元画像があるとする。なお、読み出し方向はこれに限るものではなく、水平方向と垂直方向とが逆になっていてもよい。

図１、３を参照して、入力端子１４ａを介して制御部（不図示）から拡大処理要求を受けると、メモリ制御部２は補間処理を開始し、出力端子１４ｂを介して、制御部に元画素データの供給を要求する。これをきっかけに、入力端子１１から拡大画像生成装置１に元画素データが入力される。入力端子１１から入力された元画素データは、メモリ制御部２に入力される。メモリ制御部２に入力された元画素データは、入力端子２４を介して、データ書き込み部２１に入力される。データ書き込み部２１では、入力端子２４から入力された元画素データにあわせて、書き込みアドレスを発生し、入力端子２４から入力された元画素データを出力端子２５ｂから、書き込みアドレス他制御信号を出力端子２５ａからメモリ３に出力する。メモリ３では、メモリ制御部２から出力された元画素データを、書き込みアドレス他制御信号で制御して、格納する。

データ書き込み部２１は、元画素データ書き込み状況を、補間画素位置算出部２２に出力し、補間処理の開始／継続／停止などを通知する。補間画素位置算出部２２は、データ書き込み部２１から出力される元画素データ書き込み状況を受け、出力端子２９ｂを介して、制御部に元画素データの供給の開始／継続／停止を要求する。また、補間画素位置算出部２２は、補間処理が可能なだけの元画素データがメモリ３に書き込まれている間、補間位置を更新し、補間位置情報を出力端子２８から水平垂直方向補間部４、補間方向決定部５、斜め方向補間部６、および補間画素値生成部７に出力するとともに、データ読み出し部２３にも出力する。データ読み出し部２３は、補間画素位置算出部２２から出力された補間位置をもとに、読み出しアドレスを発生し、読み出しアドレス他制御信号を出力端子２６ａからメモリ３に出力する。メモリ３では、メモリ制御部２から出力された読み出しアドレス他制御信号から、要求されている元画素データを読み出し、メモリ制御部２に出力する。メモリ３から出力された元画素データは、メモリ制御部２に入力端子２６ｂを介して入力され、出力端子２７から水平垂直方向補間部４、補間方向決定部５、および斜め方向補間部６に出力される。

メモリ制御部２から出力された元画素データおよび補間位置情報は水平垂直方向補間部４に入力される。図４を参照して、補間位置情報は、入力端子４３を介して、第１の補間係数算出部４１に入力される。また、元画素データは、入力端子４４を介して、第１の補間処理部４２に入力される。第１の補間係数算出部４１は、入力端子４３から入力された補間位置情報から第１の補間係数を算出し、第１の補間処理部４２に出力する。以下、図９を参照して、第１の補間係数の算出手法について説明する。

図９で、点Ｑを補間画素とすると、第１の補間処理に必要とされる元画素は、補間画素Ｑを取り囲む水平／垂直方向の両方に隣接する点Ｐ（ｉ、ｊ）、Ｐ（ｉ＋１、ｊ）、Ｐ（ｉ、ｊ＋１）、Ｐ（ｉ＋１、ｊ＋１）である（ｉ、ｊは整数）。これら４つの元画素Ｐを第１の元画素群と呼ぶことにする。そこで、補間画素Ｑは、元画素Ｐ間をＮ分割（Ｎは０より大きい整数）した座標（ｘ、ｙ）（ｘ、ｙは、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ）に位置するものとする（以下、座標（ｘ、ｙ）を補正位置（ｘ、ｙ）と記す）。つまり、補間画素Ｑは、第１の元画素群Ｐ（ｉ、ｊ）、Ｐ（ｉ＋１、ｊ）、Ｐ（ｉ、ｊ＋１）、Ｐ（ｉ＋１、ｊ＋１）で構成される四角形を、水平方向にｘ：（Ｎ−ｘ）、垂直方向にｙ：（Ｎ−ｙ）に内分した点であり、第１の補間係数は、水平方向にｘ：（Ｎ−ｘ）、垂直方向にｙ：（Ｎ−ｙ）となる。なお、説明の都合上、点Ｐ（ｉ、ｊ）、Ｐ（ｉ＋１、ｊ）、Ｐ（ｉ、ｊ＋１）、Ｐ（ｉ＋１、ｊ＋１）をそれぞれ点Ａ０、Ｂ０、Ｃ０、Ｄ０とも記す。

第１の補間処理部４２は、入力端子４４から入力された元画素データのうち、第１の元画素群データを、第１の補間係数算出部４１から出力される第１の補間係数を使って、線形補間を行ない、第１の補間画素値成分を算出し、出力端子４５から補間画素値生成部７に出力する。

補間位置（ｘ、ｙ）に位置する補間画素Ｑの第１の補間画素値成分ｑ０は、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０それぞれの画素値ａ０、ｂ０、ｃ０、ｄ０を用いて、式（１）から求められる。

なお、第１の補間係数の算出方法は、上記のように元画素から線形補間により求める方法に限るものではなく、第１の元画素群を含むＭ×Ｎ画素（Ｍ、Ｎは２以上の整数）から高次の補間を用いて算出してもよい。例えば、Ｍ＝４、Ｎ＝４、補間画素と周辺の元画素との距離をｔとして、式（２）のような重み付け係数（第１の補間係数）ｋとするバイキュービックや、式（３）のような重み付け係数（第１の補間係数）ｋとするＬａｎｃｚｏｓ−２補間などを用いてもよい。

また、図９で、線分Ａ０Ｂ０を水平方向にｘ：（Ｎ−ｘ）に内分する点Ｈ０Ｔ、線分Ｃ０Ｄ０を水平方向にｘ：（Ｎ−ｘ）に内分する点Ｈ０Ｂ、線分Ａ０Ｃ０を垂直方向にｙ：（Ｎ−ｙ）に内分する点Ｖ０Ｌ、および線分Ｂ０Ｄ０を垂直方向にｙ：（Ｎ−ｙ）に内分する点Ｖ０Ｒそれぞれの画素値ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒは、式（４）、（５）、（６）、（７）から求められる。

第１の補間処理部４２では、上記の画素値ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒの最大値ｍａｘ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）および最小値ｍｉｎ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）を斜め方向補間選択条件として算出し、出力端子４６から補間画素値生成部７に出力する。

さらに、線分Ａ０Ｂ０を１：３に内分する点を点Ａ０１Ｂ０３、線分Ａ０Ｂ０を１：１に内分する点を点Ａ０１Ｂ０１、線分Ａ０Ｂ０を３：１に内分する点を点Ａ０３Ｂ０１、線分Ｃ０Ｄ０を１：３に内分する点を点Ｃ０１Ｄ０３、線分Ｃ０Ｄ０を１：１に内分する点を点Ｃ０１Ｄ０１、線分Ｃ０Ｄ０を３：１に内分する点を点Ｃ０３Ｄ０１、線分Ａ０Ｃ０を１：３に内分する点を点Ａ０１Ｃ０３、線分Ａ０Ｃ０を１：１に内分する点を点Ａ０１Ｃ０１、線分Ａ０Ｃ０を３：１に内分する点を点Ａ０３Ｃ０１、線分Ｂ０Ｄ０を１：３に内分する点を点Ｂ０１Ｄ０３、線分Ｂ０Ｄ０を１：１に内分する点を点Ｂ０１Ｄ０１、線分Ｂ０Ｄ０を３：１に内分する点を点Ｂ０３Ｄ０１とする。

点Ａ０１Ｂ０３、Ａ０１Ｂ０１、Ａ０３Ｂ０１、Ｃ０１Ｄ０３、Ｃ０１Ｄ０１、Ｃ０３Ｄ０１、Ａ０１Ｃ０３、Ａ０１Ｃ０１、Ａ０３Ｃ０１、Ｂ０１Ｄ０３、Ｂ０１Ｄ０１、Ｂ０３Ｄ０１それぞれの画素値ａ１ｂ３、ａ１ｂ１、ａ３ｂ１、ｃ１ｄ３、ｃ１ｄ１、ｃ３ｄ１、ａ１ｃ３、ａ１ｃ１、ａ３ｃ１、ｂ１ｄ３、ｂ１ｄ１、ｂ３ｄ１は、式（８）、（９）、（１０）、（１１）、（１２）、（１３）、（１４）、（１５）、（１６）、（１７）、（１８）、（１９）からそれぞれ求められる。

第１の補間処理部４２では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０から構成される四角形の各辺と、斜め方向パターン毎に設定される代表点（後述する）を通り、水平方向、あるいは、垂直方向に平行な直線との交点（つまり、上記の点Ａ０１Ｂ０３、Ａ０１Ｂ０１、Ａ０３Ｂ０１、Ｃ０１Ｄ０３、Ｃ０１Ｄ０１、Ｃ０３Ｄ０１、Ａ０１Ｃ０３、Ａ０１Ｃ０１、Ａ０３Ｃ０１、Ｂ０１Ｄ０３、Ｂ０１Ｄ０１、Ｂ０３Ｄ０１のうちの所定の４点）の最大（画素）値および最小（画素）値を補間方向有効判別条件（後述する）として算出し、補間方向決定部５に出力する。

メモリ制御部２から出力された元画素データおよび補間位置情報は補間方向決定部５に入力される。入力端子５５から補間方向決定部５に入力された補間位置情報は、斜め方向パターン探索部５１に入力される。斜め方向パターン探索部５１では、入力端子５５から入力された補間位置情報から、所定領域内で有効な斜め方向パターンを複数探索する。具体的な例を図１０〜１８に示す。

図１０〜１８は、水平方向に４ライン、垂直方向に４ラインの元画素から斜め方向パターンを探索し、補間処理を行なう場合の一例である。Ｐａｔｔｅｒｎ０〜Ｐａｔｔｅｒｎ８まであり、Ｐａｔｔｅｒｎ０は、水平垂直方向補間部４で処理される元画素（第１の元画素群）と同じである。なお、斜め方向パターン探索範囲は、必ずしも、これに限るものではなく、水平方向に６ライン、垂直方向に４ラインの元画素から、斜め方向パターンを探索するように構成してもよい。図２に示すように、水平方向に画素走査をしている場合、画素走査方向（本例では、水平方向）にライン数（画素数）を多くとることは、ライン走査方向（本例では、垂直方向）にライン数（画素数）を多くとるよりも、回路規模的に容易である。したがって、回路規模的に許容される場合には、ライン走査方向にもライン数（画素数）を多く確保してもよいことは言うまでもない。

Ｐａｔｔｅｒｎ１〜Ｐａｔｔｅｒｎ４は、水平方向に斜め方向の傾きを有する斜め方向パターンであり、Ｐａｔｔｅｒｎ５〜Ｐａｔｔｅｒｎ８は、垂直方向に斜め方向の傾きを有する斜め方向パターンである。各斜め方向パターンの点Ａ、Ｂ、Ｃ、Ｄを第２の元画素群と記す。

なお、Ｐａｔｔｅｒｎ１〜Ｐａｔｔｅｒｎ４では、線分ＡＣおよび線分ＢＤが垂直方向に平行で、線分ＡＢおよび線分ＣＤが水平方向に対して斜め方向となり、Ｐａｔｔｅｒｎ５〜Ｐａｔｔｅｒｎ８では、線分ＡＢおよび線分ＣＤが水平方向に平行で、線分ＡＣおよび線分ＢＤが垂直方向に対して斜め方向となるように構成しているため、後述するように、代表点評価部５２で斜め方向パターン代表値ｑｓを算出したり、斜め方向補間部６で補間画素値（第２の補間画素値）を算出したりする際に、補間係数（第２の補間係数）を容易に算出することが可能であるという利点がある。

図１０を参照して、Ｐａｔｔｅｒｎ０の場合には、第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形は、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形と同じであるため、第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎとなり、Ｐａｔｔｅｒｎ０は、常に有効な斜め方向パターンと判定される。

図１１を参照して、Ｐａｔｔｅｒｎ１の場合、点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ−１）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ＜Ｎ−ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ１は、補間位置の条件から有効な斜め方向パターンと判定される。

図１２を参照して、Ｐａｔｔｅｒｎ２の場合、点Ａは点Ｐ（ｉ、ｊ＋１）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ、ｊ＋２）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ≧Ｎ−ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ２は、補間位置の条件から有効な斜め方向パターンと判定される。

図１３を参照して、Ｐａｔｔｅｒｎ３の場合、点Ａは点Ｐ（ｉ、ｊ−１）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ、ｊ）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ≦ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ３は、補間位置の条件から有効な斜め方向パターンと判定される。

図１４を参照して、Ｐａｔｔｅｒｎ４の場合、点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ＋１）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ＋２）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ＞ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ４は、補間位置の条件から有効な斜め方向パターンと判定される。

図１５を参照して、Ｐａｔｔｅｒｎ５の場合、点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ−１、ｊ＋１）、点Ｄは点Ｐ（ｉ、ｊ＋１）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ＜Ｎ−ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ５は、補間位置の条件から有効な斜め方向パターンと判定される。

図１６を参照して、Ｐａｔｔｅｒｎ６の場合、点Ａは点Ｐ（ｉ＋１、ｊ）、点Ｂは点Ｐ（ｉ＋２、ｊ）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ≧Ｎ−ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ６は、補間位置の条件から有効な斜め方向パターンと判定される。

図１７を参照して、Ｐａｔｔｅｒｎ７の場合、点Ａは点Ｐ（ｉ−１、ｊ）、点Ｂは点Ｐ（ｉ、ｊ）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ＞ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ７は、補間位置の条件から有効な斜め方向パターンと判定される。

図１８を参照して、Ｐａｔｔｅｒｎ８の場合、点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ＋１、ｊ＋１）、点Ｄは点Ｐ（ｉ＋２、ｊ＋１）である。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域を表す補間位置（ｘ、ｙ）の範囲は、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ、ｙ≦ｘとなる。補間位置がこの範囲にあるとき、Ｐａｔｔｅｒｎ８は、補間位置の条件から有効な斜め方向パターンと判定される。

なお、第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とから、有効な斜め方向パターンを判定するための補間位置の条件において、各斜め方向パターンの境界をどちらの斜め方向パターンに含むかはこの限りではない。具体的には、上述においては、Ｐａｔｔｅｒｎ３の条件としてｙ≦ｘ、Ｐａｔｔｅｒｎ４の条件としてｙ＞ｘとしているが、あるいは、Ｐａｔｔｅｒｎ３の条件としてｙ＜ｘ、Ｐａｔｔｅｒｎ４の条件としてｙ≧ｘとしてもよい。また、Ｐａｔｔｅｒｎ５の条件としてｙ≧Ｎ−２ｘ、ｙ≦２Ｎ−２ｘとしているが、あるいは、ｙ＞Ｎ−２ｘ、ｙ＜２Ｎ−２ｘとしてもよい。

斜め方向パターン探索部５１から出力された第１の斜め方向パターン情報は、代表点評価部５２に入力される。代表点評価部５２では、斜め方向パターン探索部５１において、補間位置から有効と判定された斜め方向パターンについて、代表点による斜め方向パターン代表値ｑｓから、斜め方向パターンの有効／無効の判定を行なう。なお、内分比の簡単な代表点を用いることにより、演算処理を簡略化することができる。

各斜め方向パターンにおける代表点を図１９〜２６を用いて説明する。代表点は、第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形が、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形と重なる部分で、なるべく中心（あるいは重心）にあたり、演算処理量を削減するため、簡単な内分比となる点が選択される。

図１９を参照して、Ｐａｔｔｅｒｎ１では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に１：３、垂直方向に１：３に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を１：３に内分する点Ａ０１Ｂ０３の画素値（ａ１ｂ３）、線分Ｃ０Ｄ０を１：３に内分する点Ｃ０１Ｄ０３の画素値（ｃ１ｄ３）、線分Ａ０Ｃ０を１：３に内分する点Ａ０１Ｃ０３の画素値（ａ１ｃ３）、および線分Ｂ０Ｄ０を１：３に内分する点Ｂ０１Ｄ０３の画素値（ｂ１ｄ３）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ１ｂ３、ｃ１ｄ３、ａ１ｃ３、ｂ１ｄ３）≦ｑｓ≦ｍａｘ（ａ１ｂ３、ｃ１ｄ３、ａ１ｃ３、ｂ１ｄ３）のとき、Ｐａｔｔｅｒｎ１は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

図２０を参照して、Ｐａｔｔｅｒｎ２では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に３：１、垂直方向に３：１に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を３：１に内分する点Ａ０３Ｂ０１の画素値（ａ３ｂ１）、線分Ｃ０Ｄ０を３：１に内分する点Ｃ０３Ｄ０１の画素値（ｃ３ｄ１）、線分Ａ０Ｃ０を３：１に内分する点Ａ０３Ｃ０１の画素値（ａ３ｃ１）、および線分Ｂ０Ｄ０を３：１に内分する点Ｂ０３Ｄ０１の画素値（ｂ３ｄ１）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ３ｂ１、ｃ３ｄ１、ａ３ｃ１、ｂ３ｄ１）≦ｑｓ≦ｍａｘ（ａ３ｂ１、ｃ３ｄ１、ａ３ｃ１、ｂ３ｄ１）のとき、Ｐａｔｔｅｒｎ２は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

図２１を参照して、Ｐａｔｔｅｒｎ３では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に３：１、垂直方向に１：３に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を３：１に内分する点Ａ０３Ｂ０１の画素値（ａ３ｂ１）、線分Ｃ０Ｄ０を３：１に内分する点Ｃ０３Ｄ０１の画素値（ｃ３ｄ１）、線分Ａ０Ｃ０を１：３に内分する点Ａ０１Ｃ０３の画素値（ａ１ｃ３）、および線分Ｂ０Ｄ０を１：３に内分する点Ｂ０１Ｄ０３の画素値（ｂ１ｄ３）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ３ｂ１、ｃ３ｄ１、ａ１ｃ３、ｂ１ｄ３）≦ｑｓ≦ｍａｘ（ａ３ｂ１、ｃ３ｄ１、ａ１ｃ３、ｂ１ｄ３）のとき、Ｐａｔｔｅｒｎ３は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

図２２を参照して、Ｐａｔｔｅｒｎ４では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に１：３、垂直方向に３：１に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を１：３に内分する点Ａ０１Ｂ０３の画素値（ａ１ｂ３）、線分Ｃ０Ｄ０を１：３に内分する点Ｃ０１Ｄ０３の画素値（ｃ１ｄ３）、線分Ａ０Ｃ０を３：１に内分する点Ａ０３Ｃ０１の画素値（ａ３ｃ１）、および線分Ｂ０Ｄ０を３：１に内分する点Ｂ０３Ｄ０１の画素値（ｂ３ｄ１）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ１ｂ３、ｃ１ｄ３、ａ３ｃ１、ｂ３ｄ１）≦ｑｓ≦ｍａｘ（ａ１ｂ３、ｃ１ｄ３、ａ３ｃ１、ｂ３ｄ１）のとき、Ｐａｔｔｅｒｎ４は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

図２３を参照して、Ｐａｔｔｅｒｎ５では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に１：３、垂直方向に１：３に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を１：３に内分する点Ａ０１Ｂ０３の画素値（ａ１ｂ３）、線分Ｃ０Ｄ０を１：３に内分する点Ｃ０１Ｄ０３の画素値（ｃ１ｄ３）、線分Ａ０Ｃ０を１：３に内分する点Ａ０１Ｃ０３の画素値（ａ１ｃ３）、および線分Ｂ０Ｄ０を１：３に内分する点Ｂ０１Ｄ０３の画素値（ｂ１ｄ３）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ１ｂ３、ｃ１ｄ３、ａ１ｃ３、ｂ１ｄ３）≦ｑｓ≦ｍａｘ（ａ１ｂ３、ｃ１ｄ３、ａ１ｃ３、ｂ１ｄ３）のとき、Ｐａｔｔｅｒｎ５は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

図２４を参照して、Ｐａｔｔｅｒｎ６では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に３：１、垂直方向に３：１に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を３：１に内分する点Ａ０３Ｂ０１の画素値（ａ３ｂ１）、線分Ｃ０Ｄ０を３：１に内分する点Ｃ０３Ｄ０１の画素値（ｃ３ｄ１）、線分Ａ０Ｃ０を３：１に内分する点Ａ０３Ｃ０１の画素値（ａ３ｃ１）、および線分Ｂ０Ｄ０を３：１に内分する点Ｂ０３Ｄ０１の画素値（ｂ３ｄ１）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ３ｂ１、ｃ３ｄ１、ａ３ｃ１、ｂ３ｄ１）≦ｑｓ≦ｍａｘ（ａ３ｂ１、ｃ３ｄ１、ａ３ｃ１、ｂ３ｄ１）のとき、Ｐａｔｔｅｒｎ６は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

図２５を参照して、Ｐａｔｔｅｒｎ７では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に１：３、垂直方向に３：１に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を１：３に内分する点Ａ０１Ｂ０３の画素値（ａ１ｂ３）、線分Ｃ０Ｄ０を１：３に内分する点Ｃ０１Ｄ０３の画素値（ｃ１ｄ３）、線分Ａ０Ｃ０を３：１に内分する点Ａ０３Ｃ０１の画素値（ａ３ｃ１）、および線分Ｂ０Ｄ０を３：１に内分する点Ｂ０３Ｄ０１の画素値（ｂ３ｄ１）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ１ｂ３、ｃ１ｄ３、ａ３ｃ１、ｂ３ｄ１）≦ｑｓ≦ｍａｘ（ａ１ｂ３、ｃ１ｄ３、ａ３ｃ１、ｂ３ｄ１）のとき、Ｐａｔｔｅｒｎ７は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

図２６を参照して、Ｐａｔｔｅｒｎ８では、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形を水平方向に３：１、垂直方向に１：３に内分する四角形（□）で示す位置を代表点とする。斜め方向パターン代表値ｑｓが、線分Ａ０Ｂ０を３：１に内分する点Ａ０３Ｂ０１の画素値（ａ３ｂ１）、線分Ｃ０Ｄ０を３：１に内分する点Ｃ０３Ｄ０１の画素値（ｃ３ｄ１）、線分Ａ０Ｃ０を１：３に内分する点Ａ０１Ｃ０３の画素値（ａ１ｃ３）、および線分Ｂ０Ｄ０を１：３に内分する点Ｂ０１Ｄ０３の画素値（ｂ１ｄ３）の最大最小範囲にあるとき、つまり、ｍｉｎ（ａ３ｂ１、ｃ３ｄ１、ａ１ｃ３、ｂ１ｄ３）≦ｑｓ≦ｍａｘ（ａ３ｂ１、ｃ３ｄ１、ａ１ｃ３、ｂ１ｄ３）のとき、Ｐａｔｔｅｒｎ８は、斜め方向パターン代表値ｑｓの条件から有効な斜め方向パターンと判定される。

各斜め方向パターンにおける代表点はこれに限るものではなく、演算処理に余裕がある場合には、より補間位置に近い代表点を選ぶことが望ましい。

次に、代表点評価部５２における代表点による斜め方向パターン代表値ｑｓの算出方法について説明する。斜め方向パターン代表値ｑｓは、補間係数が水平方向にｕｓ：Ｎ−ｕｓ（ｕｓは、０≦ｕｓ＜Ｎ）、垂直方向にｖｓ：Ｎ−ｖｓ（ｖｓは、０≦ｖｓ＜Ｎ）であるとすると、第２の元画素群Ａ、Ｂ、Ｃ、Ｄそれぞれの画素値ａ、ｂ、ｃ、ｄを用いて、式（２０）から求められる。なお、補間係数は、代表点の位置（ｘｓ、ｙｓ）（ｘｓ、ｙｓは、０≦ｘｓ＜Ｎ、０≦ｙｓ＜Ｎ）と、斜め方向パターンによって異なる。

図２７から図３４を用いて、補間位置（代表点の位置）が座標（ｘ、ｙ）（ｘ、ｙは、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ）のときの各パターンにおける補間係数を説明する。なお、Ｐａｔｔｅｒｎ０の第２の元画素群Ａ、Ｂ、Ｃ、Ｄは、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０と同じであるため、その補間係数は、水平方向に［ｘ］：［Ｎ−ｘ］、垂直方向に［ｙ］：［Ｎ−ｙ］となる。

図２７を参照して、Ｐａｔｔｅｒｎ１の場合、第２の元画素群の点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ−１）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ）である。補間係数は、水平方向に［ｘ］：［Ｎ−ｘ］、垂直方向に［ｘ＋ｙ］：［Ｎ−（ｘ＋ｙ）］となる。

図２８を参照して、Ｐａｔｔｅｒｎ２の場合、第２の元画素群の点Ａは点Ｐ（ｉ、ｊ＋１）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ、ｊ＋２）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。補間係数は、水平方向に［ｘ］：［Ｎ−ｘ］、垂直方向に［ｙ−（Ｎ−ｘ）］：［Ｎ−｛ｙ−（Ｎ−ｘ）｝］となる。

図２９を参照して、Ｐａｔｔｅｒｎ３の場合、第２の元画素群の点Ａは点Ｐ（ｉ、ｊ−１）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ、ｊ）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。補間係数は、水平方向に［ｘ］：［Ｎ−ｘ］、垂直方向に［ｙ＋（Ｎ−ｘ）］：［Ｎ−｛ｙ＋（Ｎ−ｘ）｝］となる。

図３０を参照して、Ｐａｔｔｅｒｎ４の場合、第２の元画素群の点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ＋１）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ＋２）である。補間係数は、水平方向に［ｘ］：［Ｎ−ｘ］、垂直方向に［ｙ−ｘ］：［Ｎ−（ｙ−ｘ）］となる。

図３１を参照して、Ｐａｔｔｅｒｎ５の場合、第２の元画素群の点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ−１、ｊ＋１）、点Ｄは点Ｐ（ｉ、ｊ＋１）である。補間係数は、水平方向に［ｘ＋ｙ］：［Ｎ−（ｘ＋ｙ）］、垂直方向に［ｙ］：［Ｎ−ｙ］となる。

図３２を参照して、Ｐａｔｔｅｒｎ６の場合、第２の元画素群の点Ａは点Ｐ（ｉ＋１、ｊ）、点Ｂは点Ｐ（ｉ＋２、ｊ）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。補間係数は、水平方向に［ｘ−（Ｎ−ｙ）］：［Ｎ−｛ｘ−（Ｎ−ｙ）｝］、垂直方向に［ｙ］：［Ｎ−ｙ］となる。

図３３を参照して、Ｐａｔｔｅｒｎ７の場合、第２の元画素群の点Ａは点Ｐ（ｉ−１、ｊ）、点Ｂは点Ｐ（ｉ、ｊ）、点Ｃは点Ｐ（ｉ、ｊ＋１）、点Ｄは点Ｐ（ｉ＋１、ｊ＋１）である。補間係数は、水平方向に［ｘ＋（Ｎ−ｙ）］：［Ｎ−｛ｘ＋（Ｎ−ｙ）｝］、垂直方向に［ｙ］：［Ｎ−ｙ］となる。

図３４を参照して、Ｐａｔｔｅｒｎ８の場合、第２の元画素群の点Ａは点Ｐ（ｉ、ｊ）、点Ｂは点Ｐ（ｉ＋１、ｊ）、点Ｃは点Ｐ（ｉ＋１、ｊ＋１）、点Ｄは点Ｐ（ｉ＋２、ｊ＋１）である。補間係数は、水平方向に［ｘ−ｙ］：［Ｎ−（ｘ−ｙ）］、垂直方向に［ｙ］：［Ｎ−ｙ］となる。

代表点評価部５２から出力された第２の斜め方向パターン情報は、補間方向評価値算出部５３に入力される。補間方向評価部算出５３では、代表点評価部５２から入力される第２の斜め方向パターン情報から有効な斜め方向パターンを抽出するとともに、入力端子５６から入力される元画素データから補間方向評価値を算出し、補間方向評価部５４に出力する。

次に、図４３〜４５を用いて、補間方向評価値の算出方法について説明する。図４３は、Ｐａｔｔｅｒｎ０の例である。このとき、水平方向には、線分ＡＢおよび線分ＣＤを用いて評価する。具体的には、元画素Ａの画素値と元画素Ｂの画素値との差分値（ｄｉｆＡＢ）および、元画素Ｃの画素値と元画素Ｄの画素値との差分値（ｄｉｆＣＤ）を用い、補間点が、線分ＡＢ上にある場合にはｄｉｆＡＢを、線分ＣＤ上にある場合にはｄｉｆＣＤを、それ以外の場合には（ｄｉｆＡＢ＋ｄｉｆＣＤ）／２を補間方向評価値とする（水平方向差分値）。垂直方向には、線分ＡＣおよび線分ＢＤを用いて評価する。具体的には、元画素Ａの画素値と元画素Ｃの画素値との差分値（ｄｉｆＡＣ）および、元画素Ｂの画素値と元画素Ｄの画素値との差分値（ｄｉｆＢＤ）を用い、補間点が、線分ＡＣ上にある場合にはｄｉｆＡＣを、線分ＢＤ上にある場合にはｄｉｆＢＤを、それ以外の場合には（ｄｉｆＡＣ＋ｄｉｆＢＤ）／２を補間方向評価値とする（垂直方向差分値）。

図４４は、水平方向に斜め方向の傾きを有するパターンの例である。このとき、この水平方向に斜め方向な線分ＡＢおよび線分ＣＤを用いて評価する。具体的には、元画素Ａの画素値と元画素Ｂの画素値との差分値（ｄｉｆＡＢ）および、元画素Ｃの画素値と元画素Ｄの画素値との差分値（ｄｉｆＣＤ）を用い、補間点が、線分ＡＢ上にある場合にはｄｉｆＡＢを、線分ＣＤ上にある場合にはｄｉｆＣＤを、それ以外の場合には（ｄｉｆＡＢ＋ｄｉｆＣＤ）／２を補間方向評価値とする（斜め方向差分値）。

図４５は、垂直方向に斜め方向の傾きを有するパターンの例である。このとき、この垂直方向に斜め方向な線分ＡＣおよび線分ＢＤを用いて評価する。具体的には、元画素Ａの画素値と元画素Ｃの画素値との差分値（ｄｉｆＡＣ）および、元画素Ｂの画素値と元画素Ｄの画素値との差分値（ｄｉｆＢＤ）を用い、補間点が、線分ＡＣ上にある場合にはｄｉｆＡＣを、線分ＢＤ上にある場合にはｄｉｆＢＤを、それ以外の場合には（ｄｉｆＡＣ＋ｄｉｆＢＤ）／２を補間方向評価値とする。

なお、補間方向評価値はこれに限るものではなく、演算処理に余裕がある場合には、次に図４４〜４５を参照して説明するように、第２の元画素群Ａ、Ｂ、Ｃ、Ｄから構成される平行四辺形の、水平方向、あるいは、垂直方向に対して、斜め方向に傾きを有する辺に平行で補間位置を通る直線が、垂直方向、あるいは、水平方向に平行な辺と交わる二点の各画素値間の差分値をもって、補間方向評価値としてもよい。このとき、Ｐａｔｔｅｒｎ０については、次に図４３を参照して説明するように、補間位置を通る直線が、第２の元画素群Ａ、Ｂ、Ｃ、Ｄから構成される平行四辺形（四角形）の垂直方向に平行な辺と交わる二点の画素値の差分値、または水平方向に平行な辺と交わる二点の画素値の差分値をもって、補間方向評価値とする。

具体的には、補間画素Ｑの補間位置を座標（ｘ、ｙ）としたとき、図４３で、Ｐａｔｔｅｒｎ０の補間方向評価値は、線分ＡＢをｘ：（Ｎ−ｘ）で内分する点Ｇ０の画素値と線分ＣＤをｘ：（Ｎ−ｘ）に内分する点Ｈ０の画素値との差分値（垂直方向差分値）、または線分ＡＣをｙ：（Ｎ−ｙ）で内分する点Ｅ０の画素値と線分ＢＤをｙ：（Ｎ−ｙ）で内分する点Ｆ０の画素値との差分値（水平方向差分値）となる。

同様に、図４４のように水平方向に斜め方向の傾きを有する斜め方向パターンの補間方向評価値は、補間画素Ｑの補間位置（ｘ、ｙ）を通り、線分ＡＢおよび線分ＣＤに平行な直線が、線分ＡＣと交わる点Ｅｈの画素値と、線分ＢＤと交わる点Ｆｈの画素値との差分値（斜め方向差分値）となる。

さらに、図４５のように垂直方向に斜め方向の傾きを有する斜め方向パターンの補間方向評価値は、補間画素Ｑの補間位置（ｘ、ｙ）を通り、線分ＡＣおよび線分ＢＤと平行な直線が、線分ＡＢと交わる点Ｇｖの画素値と、線分ＣＤと交わる点Ｈｖの画素値との差分値（斜め方向差分値）となる。なお、点Ｅ０、Ｆ０、Ｇ０、Ｈ０、Ｅｈ、Ｆｈ、Ｇｖ、Ｈｖそれぞれの画素値は、第２の元画素群Ａ、Ｂ、Ｃ、Ｄそれぞれの画素値ａ、ｂ、ｃ、ｄから内分比によって算出する。

後述するが、補間画素値（第２の補間画素値成分）は、補間方向決定部５で、１つの有効な斜め方向パターンが選択され、斜め方向補間部６で、その斜め方向パターンを構成する４つの元画素値（第２の元画素群データ）から補間処理されて算出されることから、補間方向評価値（斜めの傾き具合を評価する値）の算出にあたって、少なくとも、補間位置が２つの元画素を結ぶ直線上にないときには、斜め方向パターンを構成する４つの元画素値（第２の元画素群データ）を考慮することは有効である。

図５を参照して、補間方向評価値算出部５３で算出された補間方向評価値は、代表点評価値５２から入力された第２の斜め方向パターン情報に追加され、補間方向評価部５４に出力される。補間方向評価部５４では、補間方向評価値算出部５３から出力される第２の斜め方向パターン情報から、有効な斜め方向パターンについて、補間方向評価値を取り出して評価し、補間方向を決定する。補間方向は、補間方向評価値が小さい斜め方向パターンとするが、入力端子５９から入力される補間方向優先順位設定を考慮する。

補間方向優先順位設定により、例えば、補間方向評価値が同じ値の場合に、水平垂直方向パターン（Ｐａｔｔｅｒｎ０）を優先するか、斜め方向パターン（Ｐａｔｔｅｒｎ１〜Ｐａｔｔｅｒｎ８）を優先するか、あるいは、同じ斜め方向パターンでも、水平方向に斜め方向の傾きを有する斜め方向パターン（Ｐａｔｔｅｒｎ１〜Ｐａｔｔｅｒｎ４）を優先するか、垂直方向に斜め方向の傾きを有する斜め方向パターン（Ｐａｔｔｅｒｎ５〜Ｐａｔｔｅｒｎ８）を優先するかを制御する。水平方向に斜め方向の傾きを有する斜め方向パターン（Ｐａｔｔｅｒｎ１〜Ｐａｔｔｅｒｎ４）内で優先順位をつけてもよいし、垂直方向に斜め方向の傾きを有する斜め方向パターン（Ｐａｔｔｅｒｎ５〜Ｐａｔｔｅｒｎ８）内で、優先順位をつけてもよい。

補間方向評価部５４で決定された補間方向は、補間方向情報として出力端子５８から斜め方向補間部６に出力される（図６参照）。斜め方向補間部６では、入力端子６４を介して補間方向決定部５から入力された補間方向情報は、第２の補間係数算出部６２に入力されるとともに、処理画素選択部６１に入力される。また、入力端子６５を介して、補間位置情報がメモリ制御部２から入力され、第２の補間係数算出部６２に入力される。

入力端子６６を介してメモリ制御部２から元画素データ（各斜め方向パターンに対する第２の元画素群データ）が入力され、処理画素選択部６１に入力される。処理画素選択部６１では、入力端子６６から入力された各斜め方向パターンに対する第２の元画素群データから、入力端子６４から入力された補間方向情報にある斜め方向パターンの第２の元画素群データを選択し、第２の補間処置部６３に出力する。

第２の補間係数算出部６２では、入力端子６４から入力された補間方向情報と、入力端子６５から入力された補間位置情報とから、第２の補間係数を算出して、第２の補間処置部６３に出力する。第２の補間係数は、補間位置（ｘ、ｙ）（ｘ、ｙは、０≦ｘ＜Ｎ、０≦ｙ＜Ｎ）と、斜め方向パターンとによって異なり、各斜め方向パターンの第２の補間係数は、前述の斜め方向パターン代表値ｑｓの補間係数と同様に算出される。なお、補間方向決定部５によって唯一に選択された斜め方向パターンは、補間方向情報として、斜め方向補間部６（第２の補間係数算出部６２）に入力される。

第２の補間処置部６３では、第２の補間係数算出部６２から出力された第２の補間係数を用い、処理画素選択部６１から出力された第２の元画素群に対して、線形補間を施し、第２の補間画素値成分を出力する。

第２の補間画素値成分の画素値ｑ２は、第２の補間係数が、水平方向にｕ：Ｎ−ｕ（ｕは、０≦ｕ＜Ｎ）、垂直方向にｖ：Ｎ−ｖ（ｖは、０≦ｖ＜Ｎ）であるとすると、第２の元画素群Ａ、Ｂ、Ｃ、Ｄそれぞれの画素値ａ、ｂ、ｃ、ｄを用いて、式（２１）から求められる。

第２の補間画素値成分は、出力端子６７から補間画素値生成部７に出力される（図７参照）。

補間画素値生成部７では、入力端子７４を介して水平垂直方向補間部４から斜め方向補間選択条件が入力され、斜め方向補間有効判別部７１に入力される。また、入力端子７５を介して水平垂直方向補間部４から入力された第１の補間画素値成分は、補間画素値選択部７２の入力端子７２ａ、画素値合成部７３に入力される。

入力端子７７を介して斜め方向補間部６から入力された第２の補間画素値成分は、斜め方向補間有効判別部７１および補間画素値選択部７２の入力端子７２ｂに入力される。斜め方向補間有効判別部７１では、入力端子７７から入力された第２の補間画素値成分が、入力端子７４から入力された斜め方向補間選択条件に合致したときに、第２の補間画素値成分を有効と判別し、合致しないとき、第２の補間画素値成分を無効と判別する。斜め方向補間有効判別部７１から第２の補間画素値成分に関する有効／無効判別信号が補間画素値選択部７２に出力される。

補間画素値選択部７２では、斜め方向補間有効判別部７１から入力される有効／無効判別信号によって、入力端子７２ａに入力される第１の補間画素値成分と、入力端子７２ｂに入力される第２の補間画素値成分とを選択して出力端子７２ｃから出力する。

具体的には、有効／無効判別信号が有効のとき、入力端子７２ｂから入力される第２の補間画素値成分が選択され、無効のとき、入力端子７２ａから入力される第１の補間画素値成分が選択されて、出力端子７２ｃから出力される。補間画素値選択部７２の出力端子７２ｃから出力された補間画素値は、画素値合成部７３に入力される。

入力端子７６を介して補間方向決定部５から入力された補間方向情報と、入力端子７９を介してメモリ制御部２から入力された補間位置情報は、画素値合成部７３に入力される。

図８を参照して、入力端子８４を介して入力された第１の補間画素値成分はフェーダ８１に入力され、フェーダ８１によってレベル調整（減衰）されて、加算器８３に入力される。同様に、入力端子８５を介して入力された補間画素値選択部７２の出力はフェーダ８２に入力され、フェーダ８２によってレベル調整（減衰）されて、加算器８３に入力され、出力端子８８から出力される。

フェーダ８１、フェーダ８２の減衰係数は、入力端子８６を介して入力される補間方向情報と、入力端子８７を介して入力される補間位置情報により決定される。なお、フェーダ８１とフェーダ８２は連動して動作し、それぞれの減衰係数を、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率α：β（ただし、α＋β＝Ｎ）と読み替えることができる。第１の補間画素値成分の画素値をｓ１、補間画素値選択部７２の出力ｓ２とすると、補間画素値ｑは、式（２２）から求められる。

次に、図３５〜４２を用いて、各補間方向のときの合成比率α：βの関係を説明する。補間位置を（ｘ、ｙ）とする。

図３５を参照して、Ｐａｔｔｅｒｎ１の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［Ｎ−（ｘ＋ｙ）］：［ｘ＋ｙ］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ａ（Ａ０）と斜め方向線分ＣＤ（Ｃ０Ｂ０）に対して、補間位置（ｘ、ｙ）が頂点Ａ（Ａ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＣＤ（Ｃ０Ｂ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。なお、α：β＝［Ｎ−（ｘ＋ｙ）］：［ｘ＋ｙ］は、正確には補間位置と線分ＣＤとの距離および補間位置と頂点Ａの距離の比ではなく、補間位置と線分ＣＤとの距離および補間位置と線分ＡＢとの距離の比である。しかし、補間位置が上記の重なる領域にあるときには、ｘおよびｙは小さく、補間位置と頂点Ａの距離を（ｘ＋ｙ）とすることは良い近似となる。もちろん、装置の演算能力に余裕があるときには、正確な計算を行っても良い。以下の他のＰａｔｔｅｒｎ例でも同様である。

図３６を参照して、Ｐａｔｔｅｒｎ２の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［（ｘ＋ｙ）−Ｎ］：［２Ｎ−（ｘ＋ｙ）］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ｄ（Ｄ０）と斜め方向線分ＡＢ（Ｃ０Ｂ０）に対して、補間位置（ｘ、ｙ）が頂点Ｄ（Ｄ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＡＢ（Ｃ０Ｂ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。

図３７を参照して、Ｐａｔｔｅｒｎ３の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［ｘ−ｙ］：［Ｎ−（ｘ−ｙ）］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ｂ（Ｂ０）と斜め方向線分ＣＤ（Ａ０Ｄ０）に対して、補間位置（ｘ、ｙ）が頂点Ｂ（Ｂ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＣＤ（Ａ０Ｄ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。

図３８を参照して、Ｐａｔｔｅｒｎ４の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［ｙ−ｘ］：［Ｎ−（ｙ−ｘ）］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ｃ（Ｃ０）と斜め方向線分ＡＢ（Ａ０Ｄ０）に対して、補間位置（ｘ、ｙ）が頂点Ｃ（Ｃ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＡＢ（Ａ０Ｄ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。

図３９を参照して、Ｐａｔｔｅｒｎ５の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［Ｎ−（ｘ＋ｙ）］：［ｘ＋ｙ］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ａ（Ａ０）と斜め方向線分ＢＤ（Ｂ０Ｃ０）に対して、補間位置（ｘ、ｙ）が頂点Ａ（Ａ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＢＤ（Ｂ０Ｃ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。

図４０を参照して、Ｐａｔｔｅｒｎ６の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［（ｘ＋ｙ）−Ｎ］：［２Ｎ−（ｘ＋ｙ）］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ｄ（Ｄ０）と斜め方向線分ＡＣ（Ｂ０Ｃ０）に対して、補間位置（ｘ、ｙ）が頂点Ｄ（Ｄ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＡＣ（Ｂ０Ｃ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。

図４１を参照して、Ｐａｔｔｅｒｎ７の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［ｙ−ｘ］：［Ｎ−（ｙ−ｘ）］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ｃ（Ｃ０）と斜め方向線分ＢＤ（Ａ０Ｄ０）に対して、補間位置（ｘ、ｙ）が頂点Ｃ（Ｃ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＢＤ（Ａ０Ｄ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。

図４２を参照して、Ｐａｔｔｅｒｎ８の場合、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［ｘ−ｙ］：［Ｎ−（ｘ−ｙ）］となる。第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、頂点Ｂ（Ｂ０）と斜め方向線分ＡＣ（Ａ０Ｄ０）に対して、補間位置（ｘ、ｙ）が頂点Ｂ（Ｂ０）に近いほど第１の補間画素値成分の比率を大きく、斜め方向線分ＡＣ（Ａ０Ｄ０）に近いほど補間画素値選択部７２の出力の比率を大きくする。

また、Ｐａｔｔｅｒｎ０の場合、第１の補間画素値成分を第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０から算出したとすると、第１の補間画素値成分と補間画素値選択部７２の出力は同じ値となり、画素値合成部７３からの出力は合成比率にかかわらず第１の補間画素値成分と同じ値になる。一方、第１の補間画素値成分を第１の元画素群を含むＭ×Ｎ画素（Ｍ、Ｎは２以上の整数）から算出したとすると、第１の補間画素値成分と補間画素値選択部７２の出力は異なる値となり、最終的な補間画素値としては、高次補間により算出した第１の補間画素値成分を選択することが望ましい。したがって、例えば、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を、α：β＝Ｎ：０とする。

なお、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率はこれに限るものではなく、さらに、第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形と、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形とが重なる領域の、水平方向線分、垂直方向線分（たとえば、Ｐａｔｔｅｎ１のときには、線分ＡＤ（Ａ０Ｂ０）、線分ＡＣ（Ａ０Ｃ０））に近いほど、第１の補間画素値成分の比率を大きく、反対に、斜め方向線分ＣＤ（Ｃ０Ｂ０）に近いほど補間画素値選択部７２の出力の比率を大きくするようにしてもよい。すなわち、補間位置（ｘ、ｙ）が第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０で構成される四角形の四辺に近いほど、つまり、水平方向、垂直方向の相関が強いほど、第１の補間画素値成分の比率を大きくし、反対に、第２の元画素群Ａ、Ｂ、Ｃ、Ｄで構成される四角形の斜め方向線分に近いほど、つまり、斜め方向の相関が強いほど、補間画素値選択部７２の出力の比率を大きくすることによっても同様の効果が得られる。

次に、図４６〜４８に示す具体例をもって、水平垂直方向補間部４、補間方向決定部５、斜め方向補間部６、および補間画素値生成部７の動作を説明する。ここでは、説明を容易にするために、Ｐａｔｔｅｒｎ０およびＰａｔｔｅｒｎ６のみが、補間位置の条件から有効な斜め方向パターンであるとして説明する。

図４６は、分割数１６、補間位置（１０、１０）のＰａｔｔｅｒｎ０およびＰａｔｔｅｒｎ６を示している。点Ａ０の画素値が１００、点Ａ（Ｂ０）の画素値が５０、点Ｂの画素値が０、点Ｃ（Ｃ０）の画素値が２０、点Ｄ（Ｄ０）の画素値が０である。水平垂直方向補間部４の第１の補間処理部４２に第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０が入力され、補間方向有効判別条件および斜め方向補間選択条件の各要素が算出される。補間位置（１０、１０）に最も近い代表点の座標は（１２、１２）であり、図４６において四角で表している。補間方向有効判別条件および斜め方向補間選択条件の算出の際には、この代表点を用いる。なお、図４７および図４８を用いて後に説明する他の具体例に関しても、代表点の座標は（１２、１２）である。

補間方向有効判別条件のＰａｔｔｅｒｎ６に関係する要素は、ａ０３ｂ０１＝６２．５、ｃ０３ｄ０１＝５、ａ０３ｃ０１＝４０、ｂ０３ｄ０１＝１２．５であり、補間方向有効判別条件は、ｍａｘ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝６２．５、ｍｉｎ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝５である。

また、斜め方向補間選択条件の要素は、ｈ０ｔ＝６８．８、ｈ０ｂ＝７．５、ｖ０ｌ＝５０、ｖ０ｒ＝１８．８であり、斜め方向補間選択条件は、ｍａｘ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝６８．８、ｍｉｎ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝７．５である。

補間方向決定部５で、補間方向を決定する。斜め方向パターン探索部５１から、Ｐａｔｔｅｒｎ０およびＰａｔｔｅｒｎ６を有効な斜め方向パターンとする第１の斜め方向パターン情報が、代表点評価部５２に出力される。

代表点評価部５２では、斜め方向パターン探索部５１から出力された有効な斜め方向パターンについて、その代表点と第２の元画素群とから、斜め方向パターン代表値ｑｓを算出し、斜め方向パターン代表値ｑｓをもとに有効／無効が判定される。

Ｐａｔｔｅｒｎ６の代表点は（１２、１２）であり、斜め方向パターン代表値ｑｓは、式（２０）から、１３．８となる。ｍｉｎ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）≦ｑｓ≦ｍａｘ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）より、Ｐａｔｔｅｒｎ６は有効な斜め方向パターンと判定される。また、Ｐａｔｔｅｒｎ０は、常に有効な（斜め方向）パターンである。

したがって、Ｐａｔｔｅｒｎ０とＰａｔｔｅｒｎ６とを有効な斜め方向パターンとする第２の斜め方向パターン情報が、補間方向評価値算出部５３に出力される。

次に、補間方向評価値算出部５３では、代表点評価部５２で有効と判定された斜め方向パターンについて、補間方向評価値が算出される。Ｐａｔｔｅｒｎ０の補間方向評価値は、水平方向で、(｜１００−５０｜＋｜２０−０｜)／２＝３５、垂直方向で、(｜１００−２０｜＋｜５０−０｜)／２＝６５、Ｐａｔｔｅｒｎ６の補間方向評価値は、(｜５０−２０｜＋｜０−０｜)／２＝１５である。算出された補間方向評価値は、補間方向評価部５４に出力される。

補間方向評価部５４では、第２の斜め方向パターン情報にある有効な斜め方向パターンについて、補間方向評価部５３で算出された補間方向評価値をもとに、補間方向を評価する。ここでは、最小となる補間方向評価値をもつパターンが選択される。よって、Ｐａｔｔｅｒｎ６が選択され、補間方向情報として、出力端子５８から出力される。なお、入力端子５９から入力される補間方向優先順位設定によって、補間方向評価値が同じ値となった場合に、どの斜め方向パターンを優先的に選択するか制御することが可能である。

補間方向決定部５で、Ｐａｔｔｅｒｎ６が選択されると、斜め方向補間部６で、Ｐａｔｔｅｒｎ６の第２の元画素群Ａ、Ｂ、Ｃ、Ｄを使って、線形補間が行われる。Ｐａｔｔｅｒｎ６の補間係数は、水平方向に［１０−（１６−１０）］：［１６−｛１０−（１６−１０）｝］、垂直方向に［１０］：［１６−１０］となる。したがって、第２の補間画素値成分は、式（２１）から、２３．４となる。

一方、水平垂直方向補間部４では、第１の補間画素値成分が、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０と、補間係数（水平方向に［１０］：［１６−１０］、垂直方向に［１０］：［１６−１０］）とを用いて、式(１)から算出され、３０．５である。算出された第１の補間画素値成分は、補間画素値生成部７に出力される。

補間画素値生成部７では、斜め方向補間有効判別部７１において、斜め方向補間部６から出力された第２の補間画素値成分が、水平垂直方向補間部４から出力された斜め方向補間選択条件から、有効か無効か判定される。第２の補間画素値成分２３．４は、斜め方向補間選択条件のｍａｘ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝６８．８、ｍｉｎ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝７．５の間にあるため、有効と判定され、補間画素値選択部７２の出力となる。Ｐａｔｔｅｒｎ６のとき、第１の補間画素値成分と補間画素値選択部７２の出力との合成比率は、α：β＝［（１０＋１０）−１６］：［３２−（１０＋１０）］となる。したがって、最終的な補間画素値は、式（２２）から、２５．２となり、出力端子７８から出力される。

ここで、もっとも簡単な例を考えて、補間画素値を評価してみる。点Ｂ０（Ａ）および点Ｃ０（Ｃ）と、点Ｂおよび点Ｄ０（Ｄ）とがそれぞれ境界をなす右上から左下への斜め線を考えると、補間点の補間位置（１０、１０）は、点Ｂ０（Ａ）と点Ｃ０（Ｃ）との中点と、点Ｄ０（Ｄ）とを通る直線上で、上記境界を２：６に内分する点である。よって、（５０＋２０）／２×６／８＝２６．２５が最適な補間画素値のひとつといえる。第１の補間画素値成分３０．５との差分値は、｜３０．５−２６．２５｜＝４．２５、第２の補間画素値成分２３．４との差分値は、｜２３．５−２６．２５｜＝２．７５、最終的な画素値２５．２との差分値は、｜２５．２−２６．２５｜＝１．０５となり、最終的な画素値が、もっとも斜め線に沿った補間画素を得ることができ、その結果、輪郭をぼかすことなく、見た目に引き締まった（すっきりとした）良好な拡大画像を得ることができる。

図４７は、分割数１６、補間位置（１５、１３）のＰａｔｔｅｒｎ０およびＰａｔｔｅｒｎ６を示している。点Ａ０の画素値が１００、点Ａ（Ｂ０）の画素値が５０、点Ｂの画素値が０、点Ｃ（Ｃ０）の画素値が４０、点Ｄ（Ｄ０）の画素値が３０である。水平垂直方向補間部４の第１の補間処理部４２に第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０が入力され、補間方向有効判別条件および斜め方向補間選択条件の各要素が算出される。

補間方向有効判別条件のＰａｔｔｅｒｎ６に関係する要素は、ａ０３ｂ０１＝６２．５、ｃ０３ｄ０１＝３２．５、ａ０３ｃ０１＝５５、ｂ０３ｄ０１＝３５であり、補間方向有効判別条件は、ｍａｘ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝６２．５、ｍｉｎ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝３２．５である。また、斜め方向補間選択条件の要素は、ｈ０ｔ＝５３．１、ｈ０ｂ＝３０．６、ｖ０ｌ＝５１．３、ｖ０ｒ＝３３．８であり、斜め方向補間選択条件は、ｍａｘ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝５３．１、ｍｉｎ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝３０．６である。

補間方向決定部５で、補間方向を決定する。斜め方向パターン探索部５１から、Ｐａｔｔｅｒｎ０およびＰａｔｔｅｒｎ６を有効な斜め方向パターンとする第１の斜め方向パターン情報が、代表点評価部５２に出力される。

代表点評価部５２では、斜め方向パターン探索部５１から出力された有効な斜め方向パターンについて、その代表点と第２の元画素群とから、斜め方向パターン代表値ｑｓを算出し、斜め方向パターン代表値ｑｓをもとに有効／無効が判定される。

Ｐａｔｔｅｒｎ６の代表点は（１２、１２）であり、斜め方向パターン代表値ｑｓは、式（２０）から、３２．５となる。ｍｉｎ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）≦ｑｓ≦ｍａｘ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）より、Ｐａｔｔｅｒｎ６は有効な斜め方向パターンと判定される。また、Ｐａｔｔｅｒｎ０は、常に有効な（斜め方向）パターンである。

したがって、Ｐａｔｔｅｒｎ０とＰａｔｔｅｒｎ６とを有効な斜め方向パターンとする第２の斜め方向パターン情報が、補間方向評価値算出部５３に出力される。

次に、補間方向評価値算出部５３では、代表点評価部５２で有効と判定された斜め方向パターンについて、補間方向評価値が算出される。Ｐａｔｔｅｒｎ０の補間方向評価値は、水平方向で、(｜１００−５０｜＋｜４０−３０｜)／２＝３０、垂直方向で、(｜１００−４０｜＋｜５０−３０｜)／２＝４０、Ｐａｔｔｅｒｎ６の補間方向評価値は、(｜５０−４０｜＋｜０−３０｜)／２＝２０である。算出された補間方向評価値は、補間方向評価部５４に出力される。

補間方向評価部５４では、第２の斜め方向パターン情報にある有効な斜め方向パターンについて、補間方向評価部５３で算出された補間方向評価値をもとに、補間方向を評価する。ここでは、最小となる補間方向評価値をもつパターンが選択される。よって、Ｐａｔｔｅｒｎ６が選択され、補間方向情報として、出力端子５８から出力される。なお、入力端子５９から入力される補間方向優先順位設定によって、補間方向評価値が同じ値となった場合に、どの斜め方向パターンを優先的に選択するか制御することが可能である。

補間方向決定部５で、Ｐａｔｔｅｒｎ６が選択されると、斜め方向補間部６で、Ｐａｔｔｅｒｎ６の第２の元画素群Ａ、Ｂ、Ｃ、Ｄを使って、線形補間が行われる。Ｐａｔｔｅｒｎ６の補間係数は、水平方向に［１５−（１６−１３）］：［１６−｛１５−（１６−１３）｝］、垂直方向に［１３］：［１６−１３］となる。したがって、第２の補間画素値成分は、式（２１）から、２８．８となる。

一方、水平垂直方向補間部４では、第１の補間画素値成分が、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０と、補間係数（水平方向に［１５］：［１６−１５］、垂直方向に［１３］：［１６−１３］）とを用いて、式(１)から算出され、３４．８である。算出された第１の補間画素値成分は、補間画素値生成部７に出力される。

補間画素値生成部７では、斜め方向補間有効判別部７１において、斜め方向補間部６から出力された第２の補間画素値成分が、水平垂直方向補間部４から出力された斜め方向補間選択条件から、有効か無効か判定される。第２の補間画素値成分２８．８は、斜め方向補間選択条件のｍａｘ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝５３．１、ｍｉｎ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝３０．６の間にないため、無効と判定され、最終的な補間画素として、第１の補間画素値成分が選択され、出力端子７８から出力される。第２の補間画素値成分の値２８．８は、補間画素を取り囲む４つの元画素（第１の元画素群）から構成される画素値の傾斜にそぐわない画素値となっており、選択されないことによって、孤立点を生むことなく、良好な拡大画像を得ることができる。

図４８は、分割数１６、補間位置（１４、１３）のＰａｔｔｅｒｎ０およびＰａｔｔｅｒｎ６を示している。点Ａ０の画素値が１００、点Ａ（Ｂ０）の画素値が４０、点Ｂの画素値が０、点Ｃ（Ｃ０）の画素値が４０、点Ｄ（Ｄ０）の画素値が４０である。水平垂直方向補間部４の第１の補間処理部４２に第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０が入力され、補間方向有効判別条件および斜め方向補間選択条件の各要素が算出される。

補間方向有効判別条件のＰａｔｔｅｒｎ６に関係する要素は、ａ０３ｂ０１＝５５、ｃ０３ｄ０１＝４０、ａ０３ｃ０１＝５５、ｂ０３ｄ０１＝４０であり、補間方向有効判別条件は、ｍａｘ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝５５、ｍｉｎ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝４０である。また、斜め方向補間選択条件の要素は、ｈ０ｔ＝４７．５、ｈ０ｂ＝４０、ｖ０ｌ＝５１．３、ｖ０ｒ＝４０であり、斜め方向補間選択条件は、ｍａｘ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝５１．３、ｍｉｎ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）＝４０である。

補間方向決定部５で、補間方向を決定する。斜め方向パターン探索部５１から、Ｐａｔｔｅｒｎ０およびＰａｔｔｅｒｎ６を有効な斜め方向パターンとする第１の斜め方向パターン情報が、代表点評価部５２に出力される。

代表点評価部５２では、斜め方向パターン探索部５１から出力された有効な斜め方向パターンについて、その代表点と第２の元画素群とから、斜め方向パターン代表値ｑｓを算出し、斜め方向パターン代表値ｑｓをもとに有効／無効が判定される。

Ｐａｔｔｅｒｎ６の代表点は（１２、１２）であり、斜め方向パターン代表値ｑｓは、式（２０）から、３５となる。ｍｉｎ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝４０、ｍａｘ（ａ０３ｂ０１、ｃ０３ｄ０１、ａ０３ｃ０１、ｂ０３ｄ０１）＝５５の間にないため、Ｐａｔｔｅｒｎ６は無効な斜め方向パターンと判定される。また、Ｐａｔｔｅｒｎ０は、常に有効な（斜め方向）パターンである。

したがって、Ｐａｔｔｅｒｎ０を有効な斜め方向パターンとする第２の斜め方向パターン情報が、補間方向評価値算出部５３に出力される。

次に、補間方向評価値算出部５３では、代表点評価部５２で有効と判定された斜め方向パターンについて、補間方向評価値が算出される。代表点評価部５２により、Ｐａｔｔｅｒｎ６が無効と判定されたため、Ｐａｔｔｅｒｎ０のみが有効な斜め方向パターンである。Ｐａｔｔｅｒｎ０の補間方向評価値は、水平方向で、(｜１００−４０｜＋｜４０−４０｜)／２＝３０、垂直方向で、(｜１００−４０｜＋｜４０−４０｜)／２＝３０である。算出された補間方向評価値は、補間方向評価部５４に出力される。

補間方向評価部５４では、第２の斜め方向パターン情報にある有効な斜め方向パターンについて、補間方向評価部５３で算出された補間方向評価値をもとに、補間方向を評価する。ここでは、最小となる補間方向評価値をもつ斜め方向パターンが選択され、補間方向情報として、出力端子５８から出力される。Ｐａｔｔｅｒｎ０しか有効な斜め方向パターンがないため、Ｐａｔｔｅｒｎ０が出力されることになる。

補間方向決定部５で、Ｐａｔｔｅｒｎ０が選択されると、斜め方向補間部６で、Ｐａｔｔｅｒｎ０の第２の元画素群Ａ、Ｂ、Ｃ、Ｄ（第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０と同じ）を使って、線形補間が行われる。Ｐａｔｔｅｒｎ０の補間係数は、水平方向に［１４］：［１６−１４］、垂直方向に［１３］：［１６−１３］となる。したがって、第２の補間画素値成分は、式（２１）から、４１．４となる。なお、これは、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０から算出した第１の補間画素値成分と同じ値となる。

一方、水平垂直方向補間部４では、第１の補間画素値成分が、第１の元画素群Ａ０、Ｂ０、Ｃ０、Ｄ０と、補間係数（水平方向に［１４］：［１６−１４］、垂直方向に［１３］：［１６−１３］）とを用いて、式(１)から算出され、４１．４である。算出された第１の補間画素値成分は、補間画素値生成部７に出力される。

補間画素値生成部７には、補間方向情報としてＰａｔｔｅｒｎ０が入力されるため、水平垂直方向補間部４から入力される第１の補間画素値成分が選択され、最終的な補間画素として、第１の補間画素値成分の値４１．４が出力端子７８から出力される。仮に、Ｐａｔｔｅｒｎ６が有効な斜め方向パターンと判定されていた場合、第２の補間画素値成分の値３４．８となり、補間画素を取り囲む４つの元画素（第１の元画素群）から構成される画素値の傾斜にそぐわない画素値となる。したがって、Ｐａｔｔｅｒｎ６が選択されないことによって、孤立点を生むことなく、良好な補間画像を得ることができる。

なお、図４６〜４８においては、説明を簡単にするために、Ｐａｔｔｅｒｎ０以外には、Ｐａｔｔｅｒｎ６しか有効な斜め方向パターンがないものとして扱ったが、実際には、斜め方向パターン探索部５１で補間位置の条件から有効な斜め方向パターンと判定されるものは複数存在するため、本例の場合に、代表点評価部５２において、Ｐａｔｔｅｒｎ６が、無効な斜め方向パターンと判定された場合にも、必ずしもＰａｔｔｅｒｎ０が選択されるわけではない。他の最適な斜め方向パターンが選択される場合もある。

＜効果＞
以上説明したように、補間方向決定部５の斜め方向パターン探索部５１において、補間位置の条件から、有効な斜め方向パターンを決定し、さらに、代表点評価部５２において、代表点を用いた斜め方向パターン代表値ｑｓの条件から、有効な斜め方向パターンを絞りこみ、補間方向評価値算出部５３において、残った有効な斜め方向パターンについて、補間方向評価値を算出し、補間方向評価部５４において、補間方向評価値から最適な補間方向を決定し、斜め方向補間部６において、最適な補間方向から線形補間により、第２の補間画素値成分を算出し、水平垂直方向補間部４より出力された第１の補間画素値成分とから、最終的な補間画素値を算出して出力する。その結果、元画像の輪郭（エッジ、斜め線）にあわせた最適な補間画素値を得ることができ、良好な補間画像（拡大画像）を得ることができる。

また、斜め方向補間部６で算出される第２の補間画素値成分を、斜め方向補間有効判別部７１で、水平垂直方向補間部４で補間画素の周辺画素値から算出される斜め方向補間選択条件により、有効／無効を判別することにより、補間方向決定部５における斜め方向パターンの評価で不十分なケースを回避することができ、補間位置の周辺画素値との関係から不適と判断されるような補間画素値を出力することがないため、良好な補間画像（拡大画像）を得ることができる。

また、補間画素値生成部７において、斜め方向補間有効判別部７１により有効と判別された斜め方向補間による第２の補間画素値成分と、水平垂直方向補間部４より出力された第１の補間画素値成分とを、補間方向決定部５から出力される補間方向情報と、メモリ制御部２から出力される補間位置情報により、合成比率を変えて合成するため、水平方向や垂直方向の相関が強い場合に、斜め方向補間を行うことによって不適と判断されるような補間画素値を出力することがないため、良好な補間画像（拡大画像）を得ることができる。

＜変形例＞
演算処理量に余裕がある場合には、補間方向決定部５の代表点評価部５２における代表点を補間位置そのものに設定することが可能である。

その場合、水平垂直方向補間部４から出力される補間方向有効判別条件は、水平垂直方向補間部４から補間画素値生成部７に出力される斜め方向補間選択条件、つまり、ｍａｘ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）、ｍｉｎ（ｈ０ｔ、ｈ０ｂ、ｖ０ｌ、ｖ０ｒ）と同じになり、補間画素値選択部７の斜め方向補間有効判別部７１による第２の補間画素値成分の有効／無効判別を、斜め方向パターン探索部５１で有効な斜め方向パターンと判定されたすべての斜め方向パターンについて、代表点補間部５２で実施することと等価になる。

補間方向評価部５４において、補間方向評価値算出部５３で算出した補間方向評価値を評価する前に、あらかじめ、適切な補間画素値を算出しない斜め方向パターンを除外することができるため、補間方向評価値によって、有効な斜め方向パターンが選択されなくなる頻度を下げることができ、より良好な補間画像（拡大画像）を得ることができる。

本発明の実施の形態１に係る拡大画像生成装置１の要部構成を示すブロック図である。 フレーム画像における画素走査方向を説明するための図である。 メモリ制御部２の要部構成を示すブロック図である。 水平垂直方向補間部４の要部構成を示すブロック図である。 補間方向決定部５の要部構成を示すブロック図である。 斜め方向補間部６の要部構成を示すブロック図である。 補間画素値生成部７の要部構成を示すブロック図である。 画素値合成部７３の要部構成を示すブロック図である。 水平垂直方向補間部４の動作を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ０）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ１）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ２）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ３）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ４）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ５）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ６）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ７）を説明するための図である。 斜め方向パターン探索部５１から出力される有効な斜め方向パターン（Ｐａｔｔｅｒｎ８）を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ１）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ２）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ３）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ４）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。ンと判定されるための条件を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ５）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ６）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ７）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。 斜め方向パターン（Ｐａｔｔｅｒｎ８）の代表点と有効な斜め方向パターンと判定されるための条件を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ１）の第２の補間係数を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ２）の第２の補間係数を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ３）の第２の補間係数を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ４）の第２の補間係数を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ５）の第２の補間係数を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ６）の第２の補間係数を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ７）の第２の補間係数を説明するための図である。 斜め方向補間部６における斜め方向パターン（Ｐａｔｔｅｒｎ８）の第２の補間係数を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ１）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ２）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ３）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ４）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ５）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ６）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ７）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 画素値合成部７３における斜め方向パターン（Ｐａｔｔｅｒｎ８）の第１の補間画素値成分と補間画素値選択部７２の出力との合成比率を説明するための図である。 補間方向評価値算出部５３で算出される補間方向評価値を説明するための図である。 補間方向評価値算出部５３で算出される補間方向評価値を説明するための図である。 補間方向評価値算出部５３で算出される補間方向評価値を説明するための図である。 水平垂直方向補間部４、補間方向決定部５、斜め方向補間部６、補間画素値生成部７の動作の一例を説明するための図である。 水平垂直方向補間部４、補間方向決定部５、斜め方向補間部６、補間画素値生成部７の動作の一例を説明するための図である。 水平垂直方向補間部４、補間方向決定部５、斜め方向補間部６、補間画素値生成部７の動作の一例を説明するための図である。

符号の説明

１ 拡大画像生成装置、２ メモリ制御部、３ メモリ、４ 水平垂直方向補間部、５ 補間方向決定部、６ 斜め方向補間部、７ 補間画素値生成部、１１、１３、１４ａ、２４、２６ｂ、２９ａ、４３、４４、５５、５６、５７、５９、６４、６５、６６、７２ａ、７２ｂ、７３ａ、７３ｂ、７４、７５、７６、７７、７９、８４、８５、８６、８７ 入力端子、１２、１４ｂ、２５ａ、２５ｂ、２６ａ、２７、２８、２９ｂ、４５、４６、４７、５８、６７、７２ｃ、７３ｃ、７８、８８ 出力端子、２１ データ書き込み部、２２ 補間画素位置算出部、２３ データ読み出し部、４１ 第１の補間係数算出部、４２ 第１の補間処理部、５１ 斜め方向パターン探索部、５２ 代表点評価部、５３ 補間方向評価値算出部、５４ 補間方向評価部、６１ 処理画素選択部、６２ 第２の補間係数算出部、６３ 第２の補間処理部、７１ 斜め方向補間有効判別部、７２ 補間画素値選択部、７３ 画素値合成部、８１、８２ フェーダ、８３ 加算器。

Claims (8)

1. 入力された元画像から拡大画像を生成する拡大画像生成装置であって、
   水平方向および垂直方向の両方において隣接する４つの元画素からなる第１の元画素群によって囲まれる拡大画像を構成する１つの生成画素の第１の補間画素値成分を、前記第１の元画素群を含むＭ×Ｎ画素（Ｍ、Ｎは２以上の整数）から補間処理により生成する水平垂直方向補間部と、
   前記生成画素を囲む４つの元画素のうち、水平方向および垂直方向の少なくとも一方において隣接し、かつ構成する平行四辺形の平行する２辺が、水平方向および垂直方向の少なくとも一方に平行となる第２の元画素群の組を所定領域内で複数探索する斜め方向パターン探索部と、
   前記第１の元画素群を構成する４つの元画素において水平方向の２辺に沿って画素値の差分をそれぞれ算出してなる２組の水平方向差分値と、前記第１の元画素群を構成する４つの元画素において垂直方向の２辺に沿って画素値の差分をそれぞれ算出してなる２組の垂直方向差分値と、前記斜め方向パターン探索部により求められた各前記第２の元画素群をそれぞれ構成する４つの元画素において水平方向でも垂直方向でもない斜め方向の２辺に沿って画素値の差分をそれぞれ算出してなる２組の斜め方向差分値とから補間方向評価値を算出し、当該補間方向評価値によって補間方向を決定する補間方向評価部と、
   前記補間方向評価部により決定された前記補間方向に基づき、前記第１の元画素群と前記第２の元画素群の組とからなる１つの元画素群を選択し、前記生成画素の第２の補間画素値成分を線形補間により生成する斜め方向補間部と、
   前記水平垂直方向補間部により生成される前記第１の補間画素値成分と、前記斜め方向補間部により生成される前記第２の補間画素値成分とから、前記生成画素の画素値を生成する補間画素値生成部と、
   を備え、
   前記補間画素値生成部は、前記第２の補間画素値成分の値が、前記生成画素の位置を水平方向および垂直方向に通る各線分と前記第１の元画素群から構成される四角形の４辺との各交点において前記第１の元画素群から線形補間により求められた画素値の最大値以下且つ最小値以上の範囲内にあるとき、前記第２の補間画素値成分を有効とし、前記第１の補間画素値成分と前記第２の補間画素値成分とから、前記生成画素の画素値を生成し、前記範囲内にないとき、前記第１の補間画素値成分を前記生成画素値の画素値とすることを特徴とする拡大画像生成装置。
2. 請求項１に記載の拡大画像生成装置であって、
   前記補間画素値生成部は、前記第２の補間画素値成分が有効なとき、囲まれる前記第１の元画素群に対する前記生成画素の相対位置に応じて、前記第１の補間画素値成分と前記第２の補間画素値成分の合成比率を変えて、前記生成画素の画素値を生成することを特徴とする拡大画像生成装置。
3. 請求項１又は請求項２に記載の拡大画像生成装置であって、
   前記補間方向評価部は、前記第２の元画素群から線形補間により算出される前記生成画素の画素値が、前記生成画素の位置を水平方向および垂直方向に通る各線分と前記第１の元画素群から構成される四角形の４辺との各交点において前記第１の元画素群から線形補間により求められた画素値の最大値以下かつ最小値以上の範囲内にあるとき、前記第２の
   元画素群を有効とし、前記範囲内にないとき、前記第２の元画素群を無効とすることを特徴とする拡大画像生成装置。
4. 請求項１又は請求項２に記載の拡大画像生成装置であって、
   前記補間方向評価部は、前記第１の元画素群から構成される四角形と前記第２の元画素群から構成される平行四辺形とが重なる領域を代表する代表点を設定し、前記第２の元画素群から線形補間により算出される前記代表点の画素値が、前記代表点の位置を水平方向および垂直方向に通る各線分と前記第１の元画素分から構成される四角形の４辺との各交点において前記第１の元画素群から線形補間により求められた画素値の最大値以下かつ最小値以上の範囲内にあるとき、前記第２の元画素群を有効とし、前記範囲内にないとき、前記第２の元画素群を無効とすることを特徴とする拡大画像生成装置。
5. 請求項１乃至請求項４のいずれか一項に記載の拡大画像生成装置であって、
   前記補間方向評価部は、前記２組の水平方向差分値と前記２組の垂直方向差分値と前記２組の斜め方向差分値とを前記生成画素の位置で内分した値に基づき前記補間方向評価値を算出することを特徴とする拡大画像生成装置。
6. 請求項１乃至請求項４のいずれか一項に記載の拡大画像生成装置であって、
   前記補間方向評価部は、前記生成画素の位置が、前記第１の元画素群の水平方向の２辺のうちの１辺上、前記第１の元画素群の垂直方向の２辺のうちの１辺上、または前記斜め方向パターン探索部により求められた各前記第２の元画素群の水平方向でも垂直方向でもない斜め方向の２辺のうちの１辺上にあるときには、前記１辺に沿って画素値の差分を算出してなる一の差分値に、前記１辺上にないときには、前記２辺に沿って画素値の差分をそれぞれ算出してなる二の差分値に、それぞれ基づき前記補間方向評価値を算出することを特徴とする拡大画像生成装置。
7. 請求項５又は請求項６に記載の拡大画像生成装置であって、
   前記補間方向評価部は、前記補間方向評価値が最も小さくなる、前記第１の元画素群、あるいは、前記第２の元画素群をもって、補間方向を決定することを特徴とする拡大画像生成装置。
8. 請求項７に記載の拡大画像生成装置であって、
   前記補間方向評価部は、前記補間方向評価値に重み付けを行なうことによって、水平方向優先、垂直方向優先、あるいは斜め方向優先の切り替えを行なうことを特徴とする拡大画像生成装置。

Images