JP2007060104A - 自己相関値算出方法及び補間画素生成方法、それらの装置並びにそれらのプログラム - Google Patents

Abstract

【課題】 複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む指定された範囲内の指定された方向に沿った自己相関値を精度良く算出する。
【解決手段】 複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、複数の入力サンプルのうちの、対象位置又はその近傍を通過して指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第１の自己相関値を算出する第１算出ステップと、複数の入力サンプルのうちの、指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第２の自己相関値を算出する第２算出ステップと、第１の自己相関値と第２の自己相関値を基に、最終的な自己相関値を算出する第３算出ステップと、を備える。
【選択図】 図１４

Description

本発明は、対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法及びその方法により算出された画像についての自己相関値を参照して補間画素を生成するための補間画素生成方法、それらの方法を行なうための装置並びにそれらの方法をコンピュータに行なわせるためのプログラムに関する。

従来、パーソナルコンピュータで、テレビを視聴する場合、ＮＴＳＣ(National Television Standards Committee)方式、ＰＡＬ(Phase Alternation by Line)方式又はＳＥＣＡＭ(SEquential Couleur A Memoire)方式のインターレス映像信号をパーソナルコンピュータのノンインターレス（プログレッシブ）・モニタに表示するために、偶数フィールド及び奇数フィールドをインターリーブ合成して作成したフレームに、コーミング(combing)除去処理を施していた。

上記処理をした場合、１秒間に表示されるフレーム数は、約３０又は約２５であるため、処理前の画像に比べ、動きの滑らかさが劣る問題があった。また、コーミング除去方法によっては、映像全体がぼやけたり、映像のディテイル(detail)が潰れてしまう問題があった。

このような、問題を改善するための方法として、例えば、ＮＴＳＣ信号の各フィールドをそれぞれ１つのフレームに変換して、１秒間に約６０フレーム表示できるようにするインターレス／プログレッシブ変換方法がある。このインターレス／プログレッシブ変換方法では、インターレス信号の各フィールドについて画素単位で映像の動きを判定し、その画素が動き部分のものであるのか静止部分のものであるかにより補間方法を適応的に切り換える。

補間画素を生成するべき位置である対象位置が動き部分に含まれると判断された場合には、その対象位置を含むフィールド内の実在する画素を用いて補間画素を生成する。そのためには、例えば、フレームにおいて対象位置の上隣にある画素と下隣にある画素との平均値を補間画素の値とする。しかし、このように補間画素を生成すると、対象位置が物体の輪郭付近にある場合には、その輪郭がぼやけてしまう。

そこで、対象位置からみて最も画像の自己相関値が高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法がある（例えば、特許文献１第５３〜５４段落参照。）。

図１及び図２は、このような方法により生成された補間画素を示すものである。図１及び図２において、垂直方向に並ぶ数字はフレームにおける走査線の番号を表し、水平方向に並ぶ数字は走査線に並ぶ画素の番号を表す。第２走査線は、補間されるべき走査線である。また、画像の内容は、レベルが１００の白の背景の前に、レベルが０の黒の物体があるものとしている。

図１（ａ）は、対象位置（２、５）の近傍において、第１走査線と第３走査線との間で、物体の輪郭が１画素ずれている場合のものである。画素（１、５）と画素（３、５）とを結ぶ直線の方向（垂直方向）の自己相関値を例えば両画素の絶対差分により表し、画素（１、６）と画素（３、４）とを結ぶ直線の方向（第１斜め方向）の自己相関値を同様に両画素の絶対差分により表し、画素（１、７）と画素（３、３）とを結ぶ直線の方向（第２斜め方向）の自己相関値を同様に両画素の絶対差分により表し、画素（１、８）と画素（３、２）とを結ぶ直線の方向（第３斜め方向）の自己相関値を同様に両画素の絶対差分により表すと、全ての方向の自己相関値が等しくなってしまうが、自己相関値を算出するために利用した２つの画素の平均値を補間画素の値とするならば、どの方向が選択されても、補間画素の値は５０となる。

図１（ｂ）は、対象位置（２、５）の近傍において、第１走査線と第３走査線との間で、物体の輪郭が２画素ずれている場合のものである。第１斜め方向の自己相関値が最も高く（絶対差分が小さいことは、自己相関値が大きいことを示す。）、この方向に対応した補間フィルタ（画素（１、６）と画素（３、４）の平均値を補間値とするフィルタ）によりレベル１００の補間値が生成される。仮に、単純に上下の画素（画素（１、５）と画素（３、５））の平均値を補間値とすると補間値は５０となり、輪郭がぼやけてしまう。従って、これらを比較することにより、自己相関値が最も高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法の効果を理解することができる。

図１（ｃ）は、対象位置（２、５）の近傍において、第１走査線と第３走査線との間で、物体の輪郭が３画素ずれている場合のものである。画素（２、４）については、第１斜め方向及び第２斜め方向の自己相関値が最も高く、これらのうちの何れかの方向に対応した補間フィルタ（画素（１、５）と画素（３、３）の平均値を補間値とするフィルタ、又は、画素（１、６）と画素（３、２）の平均値を補間値とするフィルタ）によりレベル５０の補間値が生成される。同様な処理により対象位置（２、５）のレベルは５０となり、対象位置（２、６）のレベルは０となる。仮に、単純に上下の画素の平均値を補間値とするとこれらの３つの対象位置の補間値は５０となり、輪郭がぼやけてしまう。従って、これらを比較することにより、自己相関値が最も高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法の効果を理解することができる。

図１（ｄ）は、対象位置（２、５）の近傍において、第１走査線と第３走査線との間で、物体の輪郭が４画素ずれている場合のものである。

図２（ａ）は、対象位置（２、５）の近傍において、第１走査線と第３走査線との間で、物体の輪郭が５画素ずれている場合のものである。

図２（ｂ）は、対象位置（２、５）の近傍において、第１走査線と第３走査線との間で、物体の輪郭が６画素ずれている場合のものである。

従って、第１走査線と第３走査線との間で、物体の輪郭が何画素ずれていようと、自己相関値が最も高い方向（そのずれ量に応じて変化する）を検出し、その方向に対応した補間フィルタを用いて補間画素の値を算出することにより、物体の輪郭を明確にさせることができる。
特開２００１−３５２５２５号公報

しかし、上記の対象位置からみて最も画像の自己相関値が高い方向を求め、その方向に対応した補間フィルタを用いて補間画素の値を算出する方法には、次に説明するような問題点がある。

図３（ａ）を参照すると、第１走査線、第３走査線、第５走査線及び第７走査線には実在画素が存在する。また、白地の背景に水平方向に約４〜５画素の幅を有し、左下から右上の方向に伸びる黒い棒状の物体が存在する。その物体は、第ｎ走査線から第（ｎ＋２）走査線の間では、約４画素シフトしている。

図３（ａ）は、正しく補間された場合の第４走査線の画素の明度（レベル）を示す。第４走査線の画素は、第２斜め方向の補間フィルタ（例えば、対象画素をｘ（ｉ，ｊ）とした場合、その値を（（ｘ（ｉ−１、ｊ＋２）＋ｘ（ｉ＋１、ｊ−２））／２とするフィルタ）により補間されている。特に、対象位置（４、６）の画素は、位置（３、８）の画素（レベルが５０）と位置（５、４）（レベルが０）の画素により補間され、対象位置（４、６）の画素のレベルは、２５となっている。

しかし、例えば、自己相関値が最大である方向の候補として選択される複数の方向が第（−３）斜め方向（対象位置を（ｉ，ｊ）とした場合、位置（ｉ−１、ｊ−３）と位置（ｉ＋１、ｊ＋３）とを結ぶ方向）から第３斜め方向（対象位置を（ｉ，ｊ）とした場合、位置（ｉ−１、ｊ＋３）と位置（ｉ＋１、ｊ−３）とを結ぶ方向）までの範囲にある場合、図３（ｂ）に示すように、対象位置（４、６）に関しては、第（−３）斜め方向の自己相関値が最大となるため、位置（３、３）の画素（レベルが１００）と位置（５、９）（レベルが１００）の画素により補間され、対象位置（４、６）の画素のレベルは、１００となっている。つまり、対象位置（４、６）の補間画素のレベルは、正しく補間された場合には図３（ａ）に示すように２５になるのに対し、自己相関値の誤検出により１００となってしまう。

第４走査線にある他の画素は正しく補間されたとしても、図３（ｂ）に示すように、第４走査線における物体の水平方向の幅は３．５画素となってしまい、他の走査線における物体の幅４〜５画素と異なってしまう。

図４（ａ）を参照すると、第１走査線、第３走査線、第５走査線及び第７走査線には実在画素が存在する。また、白地の背景に水平方向に約１画素の幅を有し、左下から右上の方向に伸びる黒い棒状の物体が存在する。その物体は、第ｎ走査線から第（ｎ＋２）走査線の間では、約１／２画素シフトしている。

図４（ａ）は、正しく補間された場合の第２走査線、第４走査線及び第６走査線の画素の明度（レベル）を示す。しかし、従来は、このような正しい補間をすることができなかった。

図４（ｂ）を参照すると、自己相関値が最大である方向の候補として選択される複数の方向が第（−Ｄ）斜め方向（対象位置を（ｉ，ｊ）とした場合、位置（ｉ−１、ｊ−Ｄ）と位置（ｉ＋１、ｊ＋Ｄ）とを結ぶ方向）（Ｄは３以上）から第Ｄ斜め方向（対象位置を（ｉ，ｊ）とした場合、位置（ｉ−１、ｊ＋Ｄ）と位置（ｉ＋１、ｊ−Ｄ）とを結ぶ方向）（Ｄは３以上）までの範囲にある場合には次のようになる。

すなわち、図３（ｂ）に示すように、対象位置（２、５）に関しては、全ての方向の自己相関値が同一となるため、どの方向の補間フィルタにより補間画素を生成するべきであるのか決定することができなくなる。垂直方向の補間フィルタを用いれば補間画素のレベルは正しく０となるが、例えば、複数の方向の自己相関値が同一である場合にはそれらの方向のうちの最も垂直に近い方向を選択するというような優先順位を設けていない限り、垂直方向の補間フィルタを必ず選択するようなことはできない。垂直方向以外の方向の補間フィルタを用いると補間画素のレベルは１００となってしまう。

対象位置（６、４）に関しては、対象位置（２、５）と同様であり、対象位置（６、４）の補間画素のレベルも０となることが確実ではなく、１００となってしまう場合がある。

対象位置（４、４）に関しては、垂直方向及び第１斜め方向の自己相関値が最小となり、この２つの方向以外の方向の自己相関値が相互に等しく、且つ、最大となる。従って、垂直方向及び第１斜め方向の補間フィルタを利用しない。例えば、第（−１）斜め方向を用いると、対象位置（４、４）の補間画素のレベルは１００となってしまう。

対象位置（４、５）に関しては、対象位置（４、４）と同様であり、対象位置（４、５）の補間画素のレベルも１００となってしまう。

従って、第２走査線、第４走査線及び第６走査線の全補間画素のレベルが１００となる。従って、正しく補間された場合には、図４（ａ）に示すように一直線に繋がる黒い物体が、自己相関値の誤検出により、図４（ｂ）に示すように、破線状の物体に化けてしまう。

そこで本発明は、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を正しく算出するための自己相関値算出方法、その装置及びそのプログラムを提供することを目的とする。

また、本発明は、そのような自己相関値算出方法、その装置及びそのプログラムを利用した補間画素生成方法、その装置及びそのプログラムを提供することを目的とする。

図３（ａ）、（ｂ）を参照して説明した問題点は、図３（ｂ）の例を用いて説明すると、位置（３、３）と位置（５、９）とを結ぶ線分における画像の自己相関値が、正しく算出されたとするならば、黒い物体の存在により小さくなるべきであるのに、位置（３、３）にある実在画素と位置（５、９）にある実在画素のみに基づいて算出されるので、大きくなってしまうということである。

すなわち、位置（３、３）と位置（５、９）とを結ぶ線分の方向の相関値が最大である場合には、これらの位置に実在する画素を利用して対象位置（４、６）の補間画素を生成するのであるから、これらの位置の実在する画素を基にこの方向の自己相関値を算出することは、基本的には間違っていない。

しかし、対象位置（４、６）と位置（３、３）との間には約３．１６画素分の距離（＝１（＝４−１）の自乗と３（＝６−３）の自乗の和の平方根）があり、同様に、対象位置（４、６）と位置（５、９）との間にも約３．１６画素分の距離がある。両者を併せて、自己相関値を算出するために用いた２画素の間には約６．３２画素分の距離がある。従って、この距離の範囲にある画像の内容は無視されている。従来技術では、この長い距離の範囲にある画像の内容を無視することに起因して、自己相関値が誤って算出されていた。

従って、この長い距離の範囲にある画像の内容も考慮して、当該方向の自己相関値を算出すればよいのであるが、対象位置を通過し、且つ、当該方向に伸びる方向の直線には、実在する画素がない。

そこで、対象位置（４、６）を通過し、且つ、当該方向（位置（３、３）から位置（５、９）までを結ぶ方向）に伸びる直線のうちの位置（３、３）から位置（５、９）までの範囲にある線分における画像に近似した画像を表すような実在画素も利用して、対象位置（４、６）から見た当該方向の当該範囲の自己相関値を算出する。

そして、このような実在画素として位置（３、３）から位置（３、９）までの範囲にある実在画素と位置（５、３）から位置（５、９）までの範囲にある実在画素を選択する。すなわち、対象位置を含む複数画素群線（補間されるべき走査線（第４走査線））に隣接する第１の複数画素群線（実在する走査線（第３走査線））に含まれる複数の画素のうちの当該方向の直線に乗る画素（位置（３、３）の画素）を第１画素とする。また、対象位置を含む複数画素群線に隣接する第２の複数画素群線（実在する走査線（第５走査線））に含まれる複数の画素のうちの当該方向の直線に乗る画素（位置（５、９）の画素）を第２の画素とする。そして、第１の複数画素群線に含まれる複数の画素のうちの第１の複数画素群線に沿った方向（水平方向）で見て第１の画素から第２の画素までの範囲にある複数の画素と、第２の複数画素群線に含まれる複数の画素のうちの第２の複数画素群線に沿った方向（水平方向）で見て第１の画素から第２の画素までの範囲にある複数の画素も利用して、対象位置から見た当該方向の当該範囲の自己相関値を算出する。

こうすることにより、サンプル抜けによる自己相関値の誤りを減らすことができる。

図４（ａ）、（ｂ）を参照して説明した第１の問題点は、図４（ｂ）の例を用いて説明すると、例えば、対象位置（２、５）から見た場合、本来、垂直方向の自己相関値が最大であるべきであるのに対し、他の方向の自己相関値も垂直方向の自己相関値と同一となってしまうことである。この問題点も、垂直方向以外の方向の自己相関値を算出するためには、当該方向の当該範囲の両端にある画素（例えば、第（−１）方向であれば、位置（１、４）にある画素と位置（３、６）にある画素）の間にある画素も自己相関値を算出するための基礎としなければならないのに、当該方向の当該範囲の両端にある画素のみに基づいて自己相関値を算出することにより生じている。しかし、当該方向の当該範囲の両端にある画素の間に実在する画素はない（例えば、対象位置（２、５）には実在画素はないし、他の中間位置にも画素がない。）。

この問題も、上記と同様な方法により解決することができる。すなわち、この例では、位置（１、４）から位置（１、６）までの範囲にある実在画素と位置（３、４）から位置（３、６）までの範囲にある実在画素にも基づいて自己相関値を算出する。

図４（ａ）、（ｂ）を参照して説明した第２の問題点は、図４（ｂ）の例を用いて説明すると、例えば、対象位置（４、４）から見た場合、本来、第（１／４）方向（位置（３、４．２５）と位置（５、３．７５）を結ぶ方向）の自己相関値が最大であるべきであるのに対し、第（−１）方向、第（−２）方向等の自己相関値が最大となってしまうことである。これは、第（１／４）方向を無視して候補にしていないことに起因する。従って、第（１／４）方向も候補として、第（１／４）方向の自己相関値も算出することにより解決することができる。しかし、隣接走査線（第３走査線と第５走査線）上に第（１／４）方向の実在画素がない。そこで、隣接走査線（第３走査線と第５走査線）上に第（１／４）方向の補間画素を生成し、その補間画素を基にこの方向の自己相関値を算出する。

図４の例でいえば、位置（３、４）の実在画素と位置（３、５）の位置の実在画素を基に、位置（３、４．２５）の補間画素を生成し、位置（５、３）の実在画素と位置（５、４）の位置の実在画素を基に、位置（５、３．７５）の補間画素を生成し、これらの補間画素を基に第（１／４）方向の自己相関値を算出する。

そうすると、位置（３、４．２５）の補間画素の値は７５となり、位置（５、３．７５）の補間画素の値は２５となり両者の絶対差分は５０となる。これが、第（１／４）方向の自己相関値の指標を表す（但し、絶対差分が小さいほど、自己相関値が大きいことを示す）。他方、第０方向の絶対差分値は１００である。また、第１方向の絶対差分値は１００である。第（−１）方向の絶対差分値は、単純に２画素の絶対差分から求めると０であるが、上述したように、隣接走査線の実在画素も基にして適切に算出すれば、５０を上回る。そうすると、第（１／４）方向の自己相関値が最大となる。

また、実施形態で説明する方法により第１方向の自己相関値及び第（−１）方向の自己相関値を算出すると、それらの値は、それぞれ、１００及び５０となる。そうすると、第（１／４）方向の自己相関値と第（−１）方向の自己相関値が等しくなってしまう。しかし、第０方向と第１方向の間で候補に入れる方向を第（１／２）方向のみとし、第０方向と第（−１方向）の間で候補に入れる方向を第（−１／２）方向のみとし、第（１／２）方向が第ｑ方向（ｑは、０を超え、１未満の任意の数）を代表し、第（-１／２）方向が第（−ｑ）方向（ｑは、０を超え、１未満の任意の数）を代表するようにした場合には、図４（ａ）、（ｂ）の例の対象位置（４、４）については、位置（３、４．５）の補間画素の値は５０となり、位置（５、３．５）の補間画素の値は５０となる。従って、第（１／４）方向を代表する方向である第（１／２）方向の相関値を表す数値として、両補間画素の絶対差分を計算すると０となる。そうすると、実施形態で説明する方法により第１方向の自己相関値及び第（−１）方向の自己相関値を算出した場合であっても、第（１／２）方向が自己相関値が最大である方向となる。これに応じて、第（１／２）方向に対応した方向性を有する補間フィルタで補間値を生成する。

本発明の第１の観点によれば、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第１の自己相関値を算出する第１算出ステップと、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第２の自己相関値を算出する第２算出ステップと、前記第１の自己相関値と前記第２の自己相関値を基に、最終的な自己相関値を算出する第３算出ステップと、を備えることを特徴とする自己相関値算出方法が提供される。

本発明の第１の観点による自己相関値算出方法において、前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であるようにしてもよい。

本発明の第１の観点による自己相関値算出方法において、前記入力対象物は、テレビ画像であり、前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であるようにしてもよい。

本発明の第１の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであるようにしてもよい。

本発明の第１の観点による自己相関値算出方法において、前記入力対象物は、テレビ画像であり、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第１の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第１サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第２の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第２サンプルであるようにしてもよい。

本発明の第１の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する２つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第１サンプルと前記複数の第２サンプルの間にあるサンプルであるようにしてもよい。

本発明の第１の観点による自己相関値算出方法において、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであるようにしてもよい。

本発明の第１の観点による自己相関値算出方法において、前記第２算出ステップでは、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第２の自己相関値を算出するようにしてもよい。

本発明の第２の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記算出ステップでは、前記複数の方向のうちの少なくとも１つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、本発明の第１の観点による自己相関値算出方法により前記自己相関値を算出することを特徴とする補間画素生成方法が提供される。

本発明の第２の観点による補間画素生成方法において、前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第１入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第２入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向（以下、「補間方向」という。）であるようにしてもよい。

本発明の第２の観点による補間画素生成方法において、前記第１入力画素群線上に前記補間方向に対応した第１補間画素を生成し、前記第２入力画素群線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。

本発明の第２の観点による補間画素生成方法において、前記生成ステップにより生成された前記補間画素の値が前記対象位置に隣接する第１入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第２入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えるようにしてもよい。

本発明の第２の観点による補間画素生成方法において、演算装置の測定された負荷により、前記複数の方向の数を変えるようにしてもよい。

本発明の第２の観点による補間画素生成方法において、前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第１の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第１の所定値よりも少ない第２の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切るようにしてもよい。

本発明の第３の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第１入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第２入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向（以下、「補間方向」という。）であることを特徴とする補間画素生成方法が提供される。

本発明の第３の観点による補間画素生成方法において、前記第１入力画素群線上に前記補間方向に対応した第１補間画素を生成し、前記第２入力画素群線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。

本発明の第４の観点によれば、複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、を備え、前記算出ステップは、前記複数の方向のうちの少なくとも１つの方向について、入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第１画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第２画素を基に、第１の自己相関値を算出する第１サブステップと、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第１画素から前記第２画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第１画素から前記第２画素までの範囲にある複数の画素を基に、第２の自己相関値を算出する第２サブステップと、前記第１の自己相関値と前記第２の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第３サブステップと、を備えることを特徴とする補間画素生成方法が提供される。

本発明の第４の観点による補間画素生成方法において、前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向（以下、「補間方向」という。）であるようにしてもよい。

本発明の第４の観点による補間画素生成方法において、記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第１補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めるようにしてもよい。

本発明の第４の観点による補間画素生成方法において、前記生成ステップにより生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えるようにしてもよい。

本発明の第４の観点による補間画素生成方法において、演算装置の測定された負荷により、前記複数の方向の数を変えるようにしてもよい。

本発明の第４の観点による補間画素生成方法において、前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第１の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第１の所定値よりも少ない第２の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切るようにしてもよい。

本発明によれば、複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第１の自己相関値を算出する第１算出ステップと、前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第２の自己相関値を算出する第２算出ステップと、前記第１の自己相関値と前記第２の自己相関値を基に、最終的な自己相関値を算出する第３算出ステップと、を備えるので、正しい相関値を算出することができる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

図５は、本発明の実施形態によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。

第１のフィールド・メモリ１０１−１は、処理対象となっているフィールドの１つ先のフィールドの画像データを格納する。第２のフィールド・メモリ１０１−２は、処理対象となっているフィールドの画像データを格納する。第３のフィールド・メモリ１０１−３は、処理対象となっているフィールドの１つ前のフィールドの画像データを格納する。

画像データ書込部１０３は、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３に画像データを書き込む。なお、第１乃至第３のフィールド・メモリ１０１−１、１０１−２及び１０１−３をリング・バッファ構成とし、循環的に、３つのフィールドの画像データをこれらのフィールド・メモリに格納するようにしても良い。

動画補間画素生成部１０５は、第２のフィールド・メモリ１０１−２に格納されている画像データを基に、動画補間画素を生成する。

動画補間画素生成部１０５は、基本的には、例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（１）に従って、動画補間画素Ａ（ｎ，ｉ，ｊ）を生成する。ここで、ｉは、実在する走査線と補間するべき走査線とを合わせて数えた場合の位置である。

ここで、ｘ（ｎ，ｉ−１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ上の画素の値であり、ｘ（ｎ，ｉ＋１，ｊ）は、処理の対象となっているフィールドの処理の対象となっている画素の１つ下の画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの画素のうちの処理の対象となっている画素の所定の近傍の画素の値の加重平均を処理の対象となっている画素の値としてもよい。

また、動画補間画素生成部１０５は、処理の対象となっているフィールドの補間するべき位置にある各画素について、その画素の動き量（動き量計算部１２１から入力する。）が所定のしきい値以上である場合には、斜め線補正の処理を行なう。しきい値としては、典型的には、静止を表すゼロを用いたり、非常に小さい動きを表す値を用いたりするが、他の値を用いてもよい。そして、式（１）等により求めたＡ（ｎ，ｉ，ｊ）を破棄して、斜め線補正の処理により得られた値を新たな動画補間画素Ａ（ｎ，ｉ，ｊ）とする。斜め線補正の処理については後述する。

静止画補間画素生成部１０７は、第１のフィールド・メモリ１０１−１に格納されている画素データ及び第３のフィールド・メモリ１０１−３に格納されている画素データを基に、静止画画素を生成する。例えば、現在処理の対象となっているフィールドの番号をｎ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の垂直方向位置をｉ、そのフィールドにおいて、補間するべき画素として現在処理の対象となっている画素の水平方向位置をｊとした場合、式（２）に従って、動画補間画素Ｂ（ｎ，ｉ，ｊ）を生成する。

ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。上記では、これらの２つの画素の値の平均値を処理の対象となっている画素の値としているが、これらの２つの画素のうちの１つの画素の値を処理の対象となっている画素の値としてもよい。また、処理の対象となっているフィールドの近傍のフィールドの画素のうちの処理の対象となっている画素と同一の位置にある画素の値の加重平均を処理の対象となっている画素の値としてもよい。

差分計算部１０９は、処理の対象となっているフィールドの処理の対象となっている画素についての差分Ｃ（ｎ，ｉ，ｊ）を式（３）に従って求める。

ここで、ｘ（ｎ−１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ前のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値であり、ｘ（ｎ＋１，ｉ，ｊ）は、処理の対象となっているフィールドの１つ後のフィールドの画素のうち、処理の対象となっている画素と同一の位置（ｉ，ｊ）にある画素の値である。差分Ｃ（ｎ，ｉ，ｊ）は、動き量の基本となる。

差分補正部１１１は、式（４）に従って、Ｃを補正することにより、補正された差分Ｄ（ｎ，ｉ，ｊ）を求める。

ここで、Δｃの値は、ノイズのレベル等により決定され、補正値保持部１１３に格納されている。

差分累積部１１５は、累積動き量メモリ１１７に格納されている累積動き量ｍ（ｉ，ｊ）を式（５）に従って更新する。

ここで、ＴＨの値は、視覚特性等により決定され、しきい値保持部１１９に格納されている。ＴＨの値は、例えば、１６である。

上式に従って、累積動き量ｍ（ｉ，ｊ）を計算することにより、あるフィールドである量の動きが検出された場合には、そのフィールドでは、累積動き量ｍ（ｉ，ｊ）は、その前のフィールドでの累積動き量にその動きの量を加算してから１引いた値又は、動き量が大きい場合には、しきい値ＴＨとなり、それから１フィールド経過する度に１ずつ減少する。こうすることにより、動き検出は、尾を引くこととなる。これにより、動きがあった後に動画部が間違って静止画部であると判断される可能性を低くすることができる。動画部が間違って静止画部であると判断された場合には、動画部として正しく処理された時に算出される補間値とは全く異なった補間値が算出され、視覚上問題となる。一方、静止画部が間違って動画部であると判断された場合には、解像度が落ちるだけであり、視覚上問題とはならない。特に、実際に動きが検出された部分の周辺の静止画部は、動画部であると間違って判断されたとしても、その部分の解像度の低下は実際に動きがある部分によるマスキング効果により視覚されない。従って、式（５）を導入して、動画部が間違って静止画部と判断される可能性を低くすることの長所は、静止画部が間違って動画部と判断される可能性が増える欠点を上回るので、式（５）を導入することは、全体として、画質改善に役立つ。また、文字が固定されているテロップ部等の多くの静止画部は、その部分から動きが検出されることがないので、式（５）を導入しても、間違って、動画部であると判断されることはない。

動き量計算部１２１は、式（６）に従って動き量Ｍ（ｉ，ｊ）を算出する。

合成補間画素生成部１２３は、式（７）に従って合成補間画素ｘ’（ｎ，ｉ，ｊ）を計算する。

選択部１２５は、ライン毎に実在画素ｘ（ｎ，ｉ，ｊ）と補間画素ｘ’（ｎ，ｉ，ｊ）を切り換えて、プログレッシブ走査の画像データを出力する。

なお、図５に示すインターレス／プログレッシブ変換装置は、ハードウェアによって実現することもできるが、コンピュータを図５に示すインターレス／プログレッシブ変換装置として機能させるためのプログラムをコンピュータが記録媒体から読み込んで実行することによっても実現することができる。

次に、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することの効果について説明する。

図６に示すように、白い平坦な背景上を黒い縦線が右に移動する場合を想定する。また、考察を容易にするために、動き累積量ｍ（ｉ，ｊ）を式（８）に従って計算するものとする。

そうすると、式（６）を用いずに、仮に、式（９）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図６に示すように、動きが検出されずに、静止画補間画素により補間が行われることとなり、コーミングが発生する。

すなわち、図６において、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値が画素２３４の動き量となるが、この値はゼロであるため、画素２３４は、静止画画素であると間違って判断される。そうすると、画素１３４と画素３３４の平均値が画素２３４の補間値となり、画素２３４は白となってしまう。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であるのに対し、画素２１４、２３４、２５４は間違って白となってしまい、コーミングが発生する。

一方、本発明に従って、式（６）に従って、動き量Ｍ（ｉ，ｊ）を計算することとすると、図７に示すように、正しく動きが検出され、動画補間画素により補間が行われることとなり、コーミングが発生しない。

すなわち、図７において、図６の場合と同様に、四角の画素は元々ある画素であり、丸の画素は補完するべき画素である。例えば、画素１３４と画素３３４との差分の絶対値に画素０４４と画素２４４との差分の絶対値の和としきい値ＴＨのうちの大きい方が画素２３４の動き量となるが、この大きい方の値はしきい値ＴＨであるため、画素２３４は、動画画素であると正しく判断される。そうすると、画素２２４と画素２４４の平均値が画素２３４の補間値となり、画素２３４は黒となる。画素２１４、２５４についても同様である。そうすると、画素２２４、２４４、２６４が正しく黒であり、且つ、画素２１４、２３４、２５４も正しく黒であるため、コーミングは発生しない。

このように、式（６）に従って動き量Ｍ（ｉ，ｊ）を計算することにより、動画画素が間違って静止画画素であると判断されることを回避することができる。

次に、図５に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明する。

図８を参照すると、まず、動画補間画素生成部１０５は、式（１）に従って、動画補間画素を生成する（ステップＳ２０１）。次に、静止画補間画素生成部１０７は、式（２）に従って、静止画補間画素を生成する（ステップＳ２０３）。次に、差分計算部１０９は、式（３）に従って、差分を計算する（ステップＳ２０５）。次に、差分補正部１１１は、式（４）に従って、差分を補正する（ステップＳ２０７）。次に、差分累積部１１５は、式（５）に従って、累積動き量を更新する（ステップＳ２０９）。次に、動き量計算部１２１は、式（６）に従って、動き量を計算する（ステップＳ２１１）。次に、動画補間画素生成部１０５は、動き量計算部１２１が計算した動き量が所定のしきい値以上であるか否かを判断する（ステップＳ２１３）。そうである場合には、動画補間画素生成部１０５は、斜め線補正の処理を行なう（ステップＳ２１５）。次に、合成補間画素生成部１２３は、式（７）に従って、合成補間画素を生成する（ステップＳ２１３）。

次に、動画補間画素生成部１０５が行なう斜め線補正処理について説明する。斜め線補正処理は、現在処理の対象となっているフィールド内の全ての補間画素について行なう。

なお、計算を簡単にするために、相関値を表す数値として、ある画素のレベルと他のある画素のレベルとの絶対差分又はこの絶対差分を基に算出した数値を利用するが、このような絶対差分と数値は、相関値が大きい場合に小さくなるため、このような数値に相関値という用語を適用すると大小関係において誤解を招くおそれがあるので、このような数値に変化度という用語を適用することとする。従って、変化度が大きければ相関値が小さいことを示し、逆に、変化度が小さければ相関値が大きいことを示す。また、変化度が最小であれば相関値が最大であることを示す。以下では、相関値という用語の代わりに変化度という用語を用いて説明を行なう。

図９を参照すると、現在、処理対象位置にある対象画素がエッジ部にあるか否かを判断する（ステップＳ３０１）。例えば、対象画素の上下の画素の絶対差分値が所定のしきい値以上である場合に、対象画素がエッジ部にあると判断する。対象画素がエッジ部にない場合には（ステップＳ３０１でＮＯ）、斜め線処理を対象画素に対して行なっても画質改善の効果が薄いため、演算装置の負荷を軽減することも考慮して、斜め線処理をスキップする。

対象画素がエッジ部にある場合には（ステップＳ３０１でＹＥＳ）、垂直方向の変化度と補間値を算出する（ステップＳ３０３）。

図１０を参照すると、ステップＳ３０３では、まず、垂直方向の変化度Ｖ（０）を算出する（ステップＳ３０３−１）。例えば、対象画素の直上にある実在画素と直下にある実在画素との絶対差分を、垂直方向の変化度Ｖ（０）とする。次に、補間方向として垂直方向を選択した場合に用いられるべき補間値Ｃ（０）を垂直方向に対応した補間フィルタにより算出する（ステップＳ３０３−３）。例えば、対象画素の直上にある実在画素と直下にある実在画素との平均値を、補間方向として垂直方向を選択した場合に用いられるべき補間値Ｃ（０）とするが、これに限られるわけではない。次に、変化度Ｖ（０）を暫定の最終的な変化度Ｖ（ＦＩＮ）に代入して（ステップＳ３０３−５）、補間値Ｃ（０）を対象画素の暫定の最終的な補間値Ｃ（ＦＩＮ）に代入する（ステップＳ３０３−７）。

図９に戻り、ステップＳ３０３の次に、第（１／２）斜め方向と第（−１／２）斜め方向の変化度と補間値を算出する（ステップＳ３０５）。

図１１を参照すると、ステップＳ３０５では、まず、４つの中間画素の値を算出する（ステップＳ３０５−１）。４つの中間画素とは、図１３に示すような四角と丸を重ねた図形で表す画素Ｘ’（−１、−１／２）、画素Ｘ’（−１、＋１／２）、画素Ｘ’（＋１、−１／２）及び画素Ｘ’（＋１、＋１／２）である。なお、図１３において、左側に縦方向に並ぶ数字−１、０、＋１は、フレームで見た場合の対象画素が含まれる走査線を基準とした相対的な走査線番号であり、上側に横方向に並ぶ数字−２〜＋２は、対象画素を基準とした相対的な走査線内画素番号である。四角で表す画素は実在画素である。丸で表す画素は対象画素である。

次に、第（１／２）斜め方向の変化度Ｖ（１／２）を算出する（ステップＳ３０５−３）。例えば、中間画素Ｘ’（−１、＋１／２）と中間画素Ｘ’（＋１、−１／２）の絶対差分を、第（１／２）斜め方向の変化度Ｖ（１／２）とする。次に、第（１／２）斜め方向を補間方向として選択した場合に用いられるべき補間値Ｃ（１／２）をこの方向に対応した補間フィルタにより算出する（ステップＳ３０５−５）。例えば、中間画素Ｘ’（−１、＋１／２）と中間画素Ｘ’（＋１、−１／２）の平均値を補間値Ｃ（１／２）とするが、これに限られるわけではない。

次に、第（−１／２）斜め方向の変化度Ｖ（−１／２）を算出する（ステップＳ３０５−７）。例えば、中間画素Ｘ’（−１、−１／２）と中間画素Ｘ’（＋１、＋１／２）の絶対差分を、第（−１／２）斜め方向の変化度Ｖ（−１／２）とする。次に、第（−１／２）斜め方向を補間方向として選択した場合に用いられるべき補間値Ｃ（−１／２）をこの方向に対応した補間フィルタにより算出する（ステップＳ３０５−９）。例えば、中間画素Ｘ’（−１、−１／２）と中間画素Ｘ’（＋１、＋１／２）の平均値を補間値Ｃ（−１／２）とするが、これに限られるわけではない。

図１２を参照すると、次に、第（１／２）斜め方向の変化度Ｖ（１／２）が暫定の最終的な変化度Ｖ（ＦＩＮ）よりも小さいか否かを判断する（ステップＳ３０５−１１）。これは、第（１／２）斜め方向の相関値Ｒ（１／２）が暫定の最終的な相関値Ｒ（ＦＩＮ）よりも大きいか否かを判断することに対応する。ステップＳ３０５−１１の判断結果が肯定的である場合には、第（１／２）斜め方向の変化度Ｖ（１／２）を、暫定の最終的な変化度Ｖ（ＦＩＮ）に代入して（ステップＳ３０５−１３）、第（１／２）斜め方向の補間値Ｃ（１／２）を暫定の最終的な補間値Ｃ（ＦＩＮ）に代入する（ステップＳ３０５−１５）。

次に、第（−１／２）斜め方向の変化度Ｖ（−１／２）が暫定の最終的な変化度Ｖ（ＦＩＮ）よりも小さいか否かを判断する（ステップＳ３０５−１７）。これは、第（−１／２）斜め方向の相関値Ｒ（−１／２）が暫定の最終的な相関値Ｒ（ＦＩＮ）よりも大きいか否かを判断することに対応する。ステップＳ３０５−１７の判断結果が肯定的である場合には、第（−１／２）斜め方向の変化度Ｖ（−１／２）を、暫定の最終的な変化度Ｖ（ＦＩＮ）に代入して（ステップＳ３０５−１９）、第（−１／２）斜め方向の補間値Ｃ（−１／２）を暫定の最終的な補間値Ｃ（ＦＩＮ）に代入する（ステップＳ３０５−２１）。

図９に戻り、ステップＳ３０５の次に、第１斜め方向と第（−１）斜め方向の変化度と補間値を算出する（ステップＳ３０７）。

図１４を参照すると、ステップＳ３０７では、まず、第１斜め方向の離散変化度ＶＤ（１）を算出する（ステップＳ３０７−１）。ここで、「離散」とは、この変化度を算出するために用いる画素が離れていることを示す。例えば、対象位置から垂直方向に１、水平方向に−１離れた実在画素Ｘ（１、−１）と対象位置から垂直方向に−１、水平方向に１離れた実在画素Ｘ（−１、１）の絶対差分を、第１斜め方向の離散変化度ＶＤ（１）とする。次に、第１斜め方向を補間方向として選択した場合に用いられるべき補間値Ｃ（１）をこの方向に対応した補間フィルタにより算出する（ステップＳ３０７−３）。例えば、実在画素Ｘ（１、−１）と実在画素Ｘ（−１、１）の平均値を補間値Ｃ（１）とするが、これに限られるわけではない。

次に、第（−１）斜め方向の離散変化度ＶＤ（−１）を算出する（ステップＳ３０７−５）。例えば、対象位置から垂直方向に１、水平方向に１離れた実在画素Ｘ（１、１）と対象位置から垂直方向に−１、水平方向に−１離れた実在画素Ｘ（−１、−１）の絶対差分を、第（−１）斜め方向の離散変化度ＶＤ（−１）とする。次に、第（−１）斜め方向を補間方向として選択した場合に用いられるべき補間値Ｃ（−１）をこの方向に対応した補間フィルタにより算出する（ステップＳ３０７−７）。例えば、実在画素Ｘ（１、１）と実在画素Ｘ（−１、−１）の平均値を補間値Ｃ（−１）とするが、これに限られるわけではない。

次に、第１斜め方向の離散変化度ＶＤ（１）と第（−１）斜め方向の離散変化度ＶＤ（−１）の最小値を第（±１）斜め方向の離散変化度ＶＤ（±１）として設定する（ステップＳ３０７−９）。従って、第（±１）斜め方向の離散変化度ＶＤ（±１）は、第１斜め方向と第（−１）斜め方向のうち離散変化度が小さい方向の離散変化度を表すこととなる。また、第（±１）斜め方向の離散変化度ＶＤ（±１）は、第１斜め方向と第（−１）斜め方向のうち離散自己相関値が大きい方向の離散自己相関値に対応した離散変化度を表すこととなる。

次に、対象位置の上側隣接線での隣接線方向の変化度ＶＵ（±１）を算出する（ステップＳ３０７−１１）。例えば、図１６（ａ）を、Ｎ＝１として見ればわかるように、実在画素Ｘ（−１、−１）と実在画素Ｘ（−１、０）との絶対差分と実在画素Ｘ（−１、０）と実在画素Ｘ（−１、１）との絶対差分のうちの最大値を変化度ＶＵ（±１）とする。従って、上側隣接線の実在画素のうちの対象位置から見て水平方向に−１画素ずれた位置から＋１画素ずれた位置までの範囲にある３つの実在画素に注目し、相互に隣接するペアの画素の絶対差分のうちの最大値が変化度ＶＵ（±１）となる。従って、この範囲における最大の変化を変化度ＶＵ（±１）が表すこととなる。従って、上側隣接線での隣接線方向の変化度ＶＵ（±１）は、第１斜め方向の離散変化度ＶＤ（１）や第（−１）斜め方向の離散変化度ＶＤ（−１）で本来表したいが、ライン間に実在画素がないことにより表すことができない変化度を近似的に表すこととなる。

次に、対象位置の下側隣接線での隣接線方向の変化度ＶＬ（±１）を算出する（ステップＳ３０７−１３）。例えば、図１６（ｂ）を、Ｎ＝１として見ればわかるように、実在画素Ｘ（１、−１）と実在画素Ｘ（＋１、０）との絶対差分と実在画素Ｘ（１、０）と実在画素Ｘ（１、１）との絶対差分のうちの最大値を変化度ＶＬ（±１）とする。従って、下側隣接線の実在画素のうちの対象位置から見て水平方向に−１画素ずれた位置から＋１画素ずれた位置までの範囲にある３つの実在画素に注目し、相互に隣接するペアの画素の絶対差分のうちの最大値が変化度ＶＬ（±１）となる。従って、この範囲における最大の変化を変化度ＶＬ（±１）が表すこととなる。従って、下側隣接線での隣接線方向の変化度ＶＬ（±１）は、上側隣接線での隣接線方向の変化度ＶＵ（±１）と同様に、第１斜め方向の離散変化度ＶＤ（１）や第（−１）斜め方向の離散変化度ＶＤ（−１）で本来表したいが、ライン間に実在画素がないことにより表すことができない変化度を近似的に表すこととなる。

次に、対象位置の上側隣接線での隣接線方向の変化度ＶＵ（±１）と対象位置の下側隣接線での隣接線方向の変化度ＶＬ（±１）の最小値を第（±１）隣接線方向変化度ＶＨ（±１）として設定する（ステップＳ３０７−１５）。従って、第（±１）隣接線方向変化度ＶＨ（±１）は、上側隣接線における隣接線方向の変化度ＶＵ（±１）と下側隣接線における隣接線方向の変化度ＶＬ（±１）のうちの小さい方の変化度を表すこととなる。すなわち、第（±１）隣接線方向変化度ＶＨ（±１）は、上側隣接線における自己相関値と下側隣接線における自己相関値のうちの大きい方の自己相関値に対応した変化度を表すこととなる。

上記の処理において、ＶＨ（±１）＝ｆ（ＶＵ（±１）、ＶＬ（±１））とした場合、関数ｆとしてＭＩＮを選択する理由は次の通りである。すなわち、ＶＵ（±１）、ＶＬ（±１）は一定の範囲内（ここの時点での説明では横方向３画素の範囲内）で横方向の変化の最大を示すが、これらの値が小さいと、この範囲での画像は変化の少ないなだらかなものであることを示し、これらの値が大きいとこの範囲での画像は変化の大きいものであることを示す。斜め線補正処理では複数の斜め方向の候補から一番変化の少ない方向を補間方向とするので、ここではＭＩＮを選択する必要がある。

例えば、対象位置を通り、１つの画素の幅を有する縦線状の黒い物体（レベル０）が白い背景（レベル１００）の前にあるとすると、第１斜め方向の離散変化度ＶＤ（−１）と第（−１）斜め方向の離散変化度ＶＤ（１）は、共にゼロ（＝１００−１００）となるため、黒い物体の存在がこれらの変化度に反映されないが、上側隣接線での隣接線方向の変化度ＶＵ（±Ｎ）と下側隣接線の隣接線方向の変化度ＶＬ（±Ｎ）は、共に１００（＝ＭＡＸ（ＡＢＳ（０−１００）、ＡＢＳ（１００−０）））となり、黒い物体の存在がこれらの変化度に反映される。また、第（±１）斜め方向の離散変化度ＶＤ（±１）はゼロ（＝ＭＩＮ（０、０））となり、第（±１）隣接線方向の変化度ＶＢ（±１）は１００（＝ＭＩＮ（１００、１００））となる。

次に、第（±１）斜め方向の離散変化度ＶＤ（±１）と第（±１）隣接線方向変化度ＶＨ（±１）を基に、最終的な第（±１）斜め方向変化度Ｖ（±１）を算出する（ステップＳ３０７−１７）。例えば、下式のように第（±１）斜め方向の離散変化度ＶＤ（±１）と第（±１）隣接線方向変化度ＶＨ（±１）の加重平均値を最終的な第（±１）斜め方向変化度Ｖ（±１）として設定する。

Ｖ（±１）＝α×ＶＤ（±１）＋（１−α）×ＶＨ（±１）
但し、
０＜α＜１
または、Ｖ（０）やＶ（±１／２）では、ＶＨ（０）やＶＨ（±１／２）を含めないことを考慮して、下式のように第（±１）斜め方向の離散変化度ＶＤ（±１）に第（±１）隣接線方向変化度ＶＨ（±１）の要素を加算しても良い。

Ｖ（±１）＝ＶＤ（±１）＋α×ＶＨ（±１）
但し、
０＜α＜１
従って、第１斜め方向の離散変化度ＶＤ（１）が第（−１）斜め方向の離散変化度ＶＤ（−１）よりも小さい（従って、第１斜め方向の離散自己相関値が第（−１）斜め方向の離散自己相関値よりも大きい）場合には、最終的な第（±１）斜め方向変化度Ｖ（±１）は、第（−１）斜め方向の離散変化度ＶＤ（−１）には基づかず、第１斜め方向の離散変化度ＶＤ（１）と第（±１）隣接線方向変化度ＶＨ（±１）に基づいて算出されるようになる。従って、第（±１）隣接線方向変化度ＶＨ（±１）を第１斜め方向の離散変化度ＶＤ（１）の誤りを補正する因子としてみれば、第１斜め方向の離散変化度ＶＤ（１）が第（−１）斜め方向の離散変化度ＶＤ（−１）よりも小さい場合には、最終的な第（±１）斜め方向変化度Ｖ（±１）は、第１斜め方向変化度Ｖ（１）を表すこととなる。

同様に、第（−１）斜め方向の離散変化度ＶＤ（−１）が第１斜めの離散方向変化度ＶＤ（１）よりも小さい（従って、第（−１）斜め方向の離散自己相関値が第１斜め方向の離散自己相関値よりも大きい）場合には、最終的な第（±１）斜め方向変化度Ｖ（±１）は、第（−１）斜め方向変化度Ｖ（−１）を表すこととなる。

従って、最終的な第（±１）斜め方向変化度Ｖ（±１）は、第１斜め方向と第（−１）斜め方向のうち変化度が小さい方向の変化度Ｖ（１）又はＶ（−１）を表すこととなる。また、最終的な第（±１）斜め方向変化度Ｖ（±１）は、第１斜め方向と第（−１）斜め方向のうち自己相関値が大きい方向の自己相関値に対応した変化度Ｖ（１）又はＶ（−１）を表すこととなる。

図１５を参照すると、次に、第（±１）斜め方向の変化度Ｖ（±１）が暫定の最終的な変化度Ｖ（ＦＩＮ）よりも小さいか否かを判断する（ステップＳ３０７−１９）。これは、第１斜め方向又は第（−１）斜め方向のうちの変化度が小さい方向の変化度Ｖ（１）又はＶ（−１）が暫定の最終的な変化度Ｖ（ＦＩＮ）よりも小さいか否かを判断することに対応し、また、第１斜め方向又は第（−１）斜め方向のうちの自己相関値が大きい方向の自己相関値に対応した変化度Ｖ（１）又はＶ（−１）が暫定の最終的な変化度Ｖ（ＦＩＮ）よりも小さいか否かを判断することにも対応する。

ステップＳ３０７−１９の判断結果が肯定的である場合には、第（±１）斜め方向の変化度Ｖ（±１）を、暫定の最終的な変化度Ｖ（ＦＩＮ）に代入する（ステップＳ３０７−２１）。

ステップＳ３０７−２１の次に、第１斜め方向の離散変化度ＶＤ（１）が第（−１）斜め方向の離散変化度ＶＤ（−１）よりも小さいか否かを判断する（ステップＳ３０７−２３）。

ステップＳ３０７−２３の判断結果が肯定的である場合には、第１斜め方向の補間値Ｃ（１）を暫定の最終的な補間値Ｃ（ＦＩＮ）に代入し（ステップＳ３０７−２５）、ステップＳ３０７−２３の判断結果が否定的である場合には、第（−１）斜め方向の補間値Ｃ（−１）を暫定の最終的な補間値Ｃ（ＦＩＮ）に代入する（ステップＳ３０７−２７）。

従って、ステップＳ３０７では、第１斜め方向の変化度Ｖ（１）が第（−１）斜め方向の変化度Ｖ（−１）よりも小さく、且つ、第１斜め方向の変化度Ｖ（１）が暫定の最終的な変化度Ｖ（ＦＩＮ）よりも小さい場合（従って、第１斜め方向の自己相関値が第（−１）斜め方向の自己相関値よりも大きく、且つ、第１斜め方向の自己相関値が暫定の最終的な自己相関値よりも大きい場合）には、第１斜め方向の変化度Ｖ（１）が暫定の最終的な変化度Ｖ（ＦＩＮ）として設定され、第１斜め方向に対応した補間値Ｃ（１）が暫定の最終的な補間値Ｃ（ＦＩＮ）として設定される。他方、第（−１）斜め方向の変化度Ｖ（−１）が第１斜め方向の変化度Ｖ（１）よりも小さく、且つ、第（−１）斜め方向の変化度Ｖ（−１）が暫定の最終的な変化度Ｖ（ＦＩＮ）よりも小さい場合（従って、第（−１）斜め方向の自己相関値が第１斜め方向の自己相関値よりも大きく、且つ、第（−１）斜め方向の自己相関値が暫定の最終的な自己相関値よりも大きい場合）には、第（−１）斜め方向の変化度Ｖ（−１）が暫定の最終的な変化度Ｖ（ＦＩＮ）として設定され、第（−１）斜め方向に対応した補間値Ｃ（−１）が暫定の最終的な補間値Ｃ（ＦＩＮ）として設定される。他の場合（第１斜め方向の変化度Ｖ（１）が暫定の最終的な変化度Ｖ（ＦＩＮ）以上であり、且つ、第（−１）斜め方向の変化度Ｖ（−１）が暫定の最終的な変化度Ｖ（ＦＩＮ）以上である場合）には、暫定の最終的な変化度Ｖ（ＦＩＮ）と暫定の最終的な補間値Ｃ（ＦＩＮ）は更新されない。

図９に戻り、ステップＳ３０７の次に、ＣＰＵの現在の負荷はＡ１パーセント以上であるか否かを判断する（ステップＳ３０９）。そうである場合には（ステップＳ３０９でＹＥＳ）、ステップＳ３１１、Ｓ３１３及びＳ３１５をスキップして、ステップＳ３１７に進む。

そうでない場合には（ステップＳ３０９でＮＯ）、ステップＳ３１１に進む。ステップＳ３１１では、第２斜め方向と第（−２）斜め方向について、ステップＳ３０７と同様な処理を行なう。従って、図１４及び図１５を参照して、Ｎ＝１として、すでに説明したステップＳ３０７−１〜Ｓ３０７−２７を、Ｎ＝２として、行なう。

次に、ＣＰＵの現在の負荷はＡ２パーセント以上であるか否かを判断する（ステップＳ３１３）。但し、Ａ２＜Ａ１である。そうである場合には（ステップＳ３１３でＹＥＳ）、ステップＳ３１５をスキップして、ステップＳ３１７に進む。

そうでない場合には（ステップＳ３１３でＮＯ）、ステップＳ３１５に進む。ステップＳ３１５では、第３斜め方向及び第（−３）斜め方向について、ステップＳ３０７と同様な処理を行なう。従って、図１４及び図１５を参照して、Ｎ＝１として、すでに説明したステップＳ３０７−１〜Ｓ３０７−２７を、Ｎ＝３として、行なう。

ステップＳ３０７、Ｓ３１１及びＳ３１５は、全て、図１４及び図１５に示すステップＳ３０７−１〜Ｓ３０７−２７を含む。これらのステップの間の違いは、Ｎの値である。Ｎの値が大きいほど、例えば、ステップＳ３０７−１１、Ｓ３０７−１３の演算量が増える。従って、ステップＳ３０７よりもステップＳ３１１の方が演算量が多く、ステップＳ３１１よりもステップＳ３１５の方が演算量が多い。例えば、ステップＳ３０７、Ｓ３１１及びＳ３１５の演算量の比率が１：２：３であれば、ステップＳ３０７のみを行う場合の演算量を１とすると、ステップＳ３０７及びＳ３１１を行う場合の演算量は３（＝１＋２）となり、ステップＳ３０７、Ｓ３１１及びＳ３１５を行なう場合の演算量は６（＝１＋２＋３）となる。

本実施形態によるインターレス／プログレッシブ変換装置をパーソナルコンピュータのソフトウェアにより実現する場合、パーソナルコンピュータの発売時期やグレードにより、ＣＰＵの能力が異なり、ＣＰＵによっては、ステップＳ３０７、Ｓ３１１及びＳ３１５を全て行なうと過負荷となることがあり得る。

また、斜め線補正処理は、上述したように、斜め線が水平に近づくほど処理量が増える。そして、斜め線補正処理を、垂直からある傾きの範囲までのみについて行なったとしても、それに応じた画質改善効果が奏される。従って、演算量が少ない方向である垂直に近い方向から優先して処理を行ない、より多い演算量を必要とする水平に近い方向の処理を行なうための余力がＣＰＵに残っているかどうかを判断し、そうであれば、その処理を行なう。このために、ステップＳ３０３、Ｓ３０５、Ｓ３０７、Ｓ３１１及びＳ３１５をこの順に並べ、ステップＳ３０９及びＳ３１３の判断を入れている。これにより、ＣＰＵに無理な負荷をかけず、また、演算能力の高いＣＰＵを最大限利用することが可能となっている。

なお、上記では、正方格子状に並ぶ複数の実在画素より構成されるフィールド画像を基にフィールド内補間を行なうことによりフレーム画像を生成する場合における斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を例に取り説明したが、本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法はこのような場合におけるものに限定されない。例えば、フィールド画像がライン間オフセットサンプリングされている実在画素又はハニカム状にサンプリングされている実在画素により構成されている場合にも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を適用できる。ＪＰＥＧ等の静止画において、任意の位置の補間画素を得るためにも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を適用することができる。また、動画像において、時間軸方向、縦方向及び横方向に成分を持つ斜め線について本発明の斜め方向補間処理及びこれにおいて利用する自己相関値算出方法をすることもできる。更に、二次元又は三次元の物体に含まれるある成分の濃度や二次元又は三次元に分布する物理量の強度がサンプリングされている場合に、サンプリングされた濃度や強度を基に補間位置での濃度や強度を求めるためにも本発明による斜め方向補間処理及びこれにおいて利用する自己相関値算出方法を利用することができる。

また、サンプルは、必ずしも直線上に並んでいる必要な無く、曲線上に並んでいても良い。例えば、３次元物体の表面のサンプルなどは一般に曲線上に並ぶ。

また、垂直方向又は斜め方向の離散変化度ＶＤ（Ｎ）を求めるために利用するサンプルを結んだ第Ｎ方向の線は、上記の説明では対象画素を通過するとしていたが、必ずしもこれに限られるのではなく、例えば、第Ｎ方向の線が対象画素の近傍を通過するようにしてもよい。例えば、対象画素を通過し第Ｎ方向に伸びた線に乗るサンプルがない場合には、対象画素に近接してその線に近接するサンプルを基に垂直又は斜め方向の離散変化度ＶＤ（Ｎ）を求めるようにしてもよいが、このような場合には、その基とされたサンプルを結んだ線は、対象画素を通過せずに、その代わりに、対象画素の近傍を通過するようになる。

従来例による斜め方向補間処理を説明するための第１の図である。 従来例による斜め方向補間処理を説明するための第２の図である。 従来例による斜め方向補間処理の問題点を説明するための第１の図である。 従来例による斜め方向補間処理の問題点を説明するための第２の図である。 本発明の実施形態によるインターレス／プログレッシブ変換装置の構成を示すブロック図である。 本発明の実施形態の効果を説明するための第１の図である。 本発明の実施形態の効果を説明するための第２の図である。 図５に示すインターレス／プログレッシブ変換装置により行われるインターレス／プログレッシブ変換方法について説明するためのフローチャートである。 図８に示す斜め線補正処理のステップの詳細を示すフローチャートである。 図９に示す垂直方向の変化度と補間値の算出のステップの詳細を示すフローチャートである。 図９に示す第（１／２）斜め方向と第（−１／２）斜め方向の変化度と補間値の算出のステップの詳細を示す第１のフローチャートである。 図９に示す第（１／２）斜め方向と第（−１／２）斜め方向の変化度と補間値の算出のステップの詳細を示す第２のフローチャートである。 図９に示す第（１／２）斜め方向と第（−１／２）斜め方向の変化度と補間値の算出のステップを説明するための図である。 図９に示す第Ｎ斜め方向と第（−Ｎ）斜め方向の変化度と補間値の算出のステップの詳細を示す第１のフローチャートである（Ｎ＝１、２、３）。 図９に示す第Ｎ斜め方向と第（−Ｎ）斜め方向の変化度と補間値の算出のステップの詳細を示す第２のフローチャートである（Ｎ＝１、２、３）。 図９に示す第Ｎ斜め方向と第（−Ｎ）斜め方向の変化度と補間値の算出のステップを説明するための図である（Ｎ＝１、２、３）。

符号の説明

１０１−１〜１０１−３ フィールド・メモリ
１０３ 画像データ書込部
１０５ 動画補間画素生成部
１０７ 静止画補間画素生成部
１０９ 差分計算部
１１１ 差分補正部
１１３ 補正値保持部
１１５ 差分累積部
１１７ 累積動き量メモリ
１１９ しきい値保持部
１２１ 動き量計算部
１２３ 合成補間画素生成部
１２５ 選択部

Claims (46)

1. 複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出方法において、
   前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第１の自己相関値を算出する第１算出ステップと、
   前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第２の自己相関値を算出する第２算出ステップと、
   前記第１の自己相関値と前記第２の自己相関値を基に、最終的な自己相関値を算出する第３算出ステップと、
   を備えることを特徴とする自己相関値算出方法。
2. 請求項１に記載の自己相関値算出方法において、
   前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であることを特徴とする自己相関値算出方法。
3. 請求項１に記載の自己相関値算出方法において、
   前記入力対象物は、テレビ画像であり、
   前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であることを特徴とする自己相関値算出方法。
4. 請求項１に記載の自己相関値算出方法において、
   前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出方法。
5. 請求項１に記載の自己相関値算出方法において、
   前記入力対象物は、テレビ画像であり、
   前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第１の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第１サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第２の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第２サンプルであることを特徴とする自己相関値算出方法。
6. 請求項５に記載の自己相関値算出方法において、
   前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する２つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第１サンプルと前記複数の第２サンプルの間にあるサンプルであることを特徴とする自己相関値算出方法。
7. 請求項１に記載の自己相関値算出方法において、
   前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出方法。
8. 請求項１に記載の自己相関値算出方法において、
   前記第２算出ステップでは、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第２の自己相関値を算出することを特徴とする自己相関値算出方法。
9. 複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
   前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
   前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
   前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
   を備え、
   前記算出ステップでは、前記複数の方向のうちの少なくとも１つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、請求項１乃至８の何れか１項に記載の自己相関値算出方法により前記自己相関値を算出することを特徴とする補間画素生成方法。
10. 請求項９に記載の補間画素生成方法において、
    前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第１入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第２入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向（以下、「補間方向」という。）であることを特徴とする補間画素生成方法。
11. 請求項１０に記載の補間画素生成方法において、
    前記第１入力画素群線上に前記補間方向に対応した第１補間画素を生成し、前記第２入力画素群線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
12. 請求項９に記載の補間画素生成方法において、
    前記生成ステップにより生成された前記補間画素の値が前記対象位置に隣接する第１入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第２入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えることを特徴とする補間画素生成方法。
13. 請求項９に記載の補間画素生成方法において、
    演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成方法。
14. 請求項１３に記載の補間画素生成方法において、
    前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第１の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第１の所定値よりも少ない第２の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切ることを特徴とする補間画素生成方法。
15. 複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
    前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
    前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
    前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
    を備え、
    前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第１入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第２入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向（以下、「補間方向」という。）であることを特徴とする補間画素生成方法。
16. 請求項１５に記載の補間画素生成方法において、
    前記第１入力画素群線上に前記補間方向に対応した第１補間画素を生成し、前記第２入力画素群線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
17. 複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成方法において、
    前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出ステップと、
    前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出ステップと、
    前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成ステップと、
    を備え、
    前記算出ステップは、前記複数の方向のうちの少なくとも１つの方向について、
    入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第１画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第２画素を基に、第１の自己相関値を算出する第１サブステップと、
    前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第１画素から前記第２画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第１画素から前記第２画素までの範囲にある複数の画素を基に、第２の自己相関値を算出する第２サブステップと、
    前記第１の自己相関値と前記第２の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第３サブステップと、
    を備えることを特徴とする補間画素生成方法。
18. 請求項１７に記載の補間画素生成方法において、
    前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向（以下、「補間方向」という。）であることを特徴とする補間画素生成方法。
19. 請求項１８に記載の補間画素生成方法において、
    前記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第１補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成方法。
20. 請求項１７に記載の補間画素生成方法において、
    前記生成ステップにより生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成ステップにより生成された前記補間画素の値を前記範囲に収まるように補正するステップを更に備えることを特徴とする補間画素生成方法。
21. 請求項１７に記載の補間画素生成方法において、
    演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成方法。
22. 請求項２１に記載の補間画素生成方法において、
    前記算出ステップを、当該算出のための前記演算装置の演算量が少ない方向から順に行ない、前記演算装置の測定された負荷が第１の所定値以上である場合には、前記算出ステップを、所定の順位の方向で打ち切り、前記演算装置の測定された負荷が前記第１の所定値よりも少ない第２の所定値以上である場合には、前記算出ステップを前記所定の順位よりも低い順位の方向で打ち切ることを特徴とする補間画素生成方法。
23. 複数の入力サンプルが含まれる入力対象物の指定された対象位置を含む範囲内の指定された方向に沿った自己相関値を算出するための自己相関値算出装置において、
    前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルを基に、第１の自己相関値を算出する第１算出手段と、
    前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルを基に、第２の自己相関値を算出する第２算出手段と、
    前記第１の自己相関値と前記第２の自己相関値を基に、最終的な自己相関値を算出する第３算出手段と、
    を備えることを特徴とする自己相関値算出装置。
24. 請求項２３に記載の自己相関値算出装置において、
    前記指定された方向よりもサンプル密度が高い方向は、前記指定された方向よりもサンプル密度が高い複数の方向のうちの、前記指定された方向に最も近い方向であることを特徴とする自己相関値算出装置。
25. 請求項２３に記載の自己相関値算出装置において、
    前記入力対象物は、テレビ画像であり、
    前記指定された方向よりもサンプル密度が高い方向は、テレビ走査線の方向であることを特徴とする自己相関値算出装置。
26. 請求項２３に記載の自己相関値算出装置において、
    前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出装置。
27. 請求項２３に記載の自己相関値算出装置において、
    前記入力対象物は、テレビ画像であり、
    前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第１の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第１サンプルと、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する第２の走査線上に並ぶ複数サンプルのうちの前記対象位置又はその近傍を通過して前記指定された方向に伸びた線上にある複数の第２サンプルであることを特徴とする自己相関値算出装置。
28. 請求項２７に記載の自己相関値算出装置において、
    前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、テレビ画像のフレームにおける前記対象位置を含む走査線に隣接する２つの走査線上にそれぞれ並ぶ複数サンプルのうちの水平方向において前記複数の第１サンプルと前記複数の第２サンプルの間にあるサンプルであることを特徴とする自己相関値算出装置。
29. 請求項２３に記載の自己相関値算出装置において、
    前記複数の入力サンプルのうちの、前記指定された方向よりもサンプル密度が高い方向に並ぶ複数のサンプルは、指定された範囲内に含まれるものであることを特徴とする自己相関値算出装置。
30. 請求項２３に記載の自己相関値算出装置において、
    前記第２算出手段では、前記複数の入力サンプルのうちの、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた線上に並ぶ複数のサンプルと、前記対象位置又はその近傍を通過せず前記指定された方向よりもサンプル密度が高い方向に伸びた他の線上に並ぶ複数のサンプルとを基に、前記第２の自己相関値を算出することを特徴とする自己相関値算出装置。
31. 複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
    前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
    前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
    前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
    を備え、
    前記算出手段は、前記複数の方向のうちの少なくとも１つの方向について、前記複数の入力画素が含まれる前記入力画像を、複数の入力サンプルが含まれる入力対象物として、請求項１乃至８の何れか１項に記載の自己相関値算出装置を備えることを特徴とする補間画素生成装置。
32. 請求項３１に記載の補間画素生成装置において、
    前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第１入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第２入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向（以下、「補間方向」という。）であることを特徴とする補間画素生成装置。
33. 請求項３２に記載の補間画素生成装置において、
    前記第１入力画素群線上に前記補間方向に対応した第１補間画素を生成し、前記第２入力画素群線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
34. 請求項３１に記載の補間画素生成装置において、
    前記生成手段により生成された前記補間画素の値が前記対象位置に隣接する第１入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置に隣接する第２入力画素群線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成手段により生成された前記補間画素の値を前記範囲に収まるように補正する手段を更に備えることを特徴とする補間画素生成装置。
35. 請求項３１に記載の補間画素生成装置において、
    演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成装置。
36. 請求項３５に記載の補間画素生成装置において、
    前記算出手段は、当該算出のための前記演算装置の演算量が少ない方向から順に動作し、前記演算装置の測定された負荷が第１の所定値以上である場合には、前記算出手段は、所定の順位の方向で動作を打ち切り、前記演算装置の測定された負荷が前記第１の所定値よりも少ない第２の所定値以上である場合には、前記算出手段を前記所定の順位よりも低い順位の方向で動作を打ち切ることを特徴とする補間画素生成装置。
37. 複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
    前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
    前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
    前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
    を備え、
    前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置に隣接する第１入力画素群線に含まれる何れの入力画素の位置とも異なる位置と、前記対象位置に隣接する第２入力画素群線に含まれる何れの入力画素の位置とも異なる位置とを結ぶものの方向（以下、「補間方向」という。）であることを特徴とする補間画素生成装置。
38. 請求項３７に記載の補間画素生成装置において、
    前記第１入力画素群線上に前記補間方向に対応した第１補間画素を生成し、前記第２入力画素群線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
39. 複数の入力画素が含まれる入力画像を基に、対象位置に補間画素を生成する補間画素生成装置において、
    前記入力画像を基に、前記対象位置を含む範囲の自己相関値を、前記対象位置から見た複数の方向のそれぞれについて、算出する算出手段と、
    前記複数の方向のうちの前記自己相関値が最大である方向を検出する検出手段と、
    前記入力画像を基に、前記相関値の最大である方向に対応した補間フィルタを用いて、前記補間画素を生成する生成手段と、
    を備え、
    前記算出手段は、前記複数の方向のうちの少なくとも１つの方向について、
    入力画像のフレームにおける、前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第１画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、前記対象位置から当該方向に伸びた線に含まれる第２画素を基に、第１の自己相関値を算出する第１サブ手段と、
    前記対象位置を含む走査線の上隣の走査線に含まれ、且つ、水平方向において前記第１画素から前記第２画素までの範囲にある複数の画素と、前記対象位置を含む走査線の下隣の走査線に含まれ、且つ、水平方向において前記第１画素から前記第２画素までの範囲にある複数の画素を基に、第２の自己相関値を算出する第２サブ手段と、
    前記第１の自己相関値と前記第２の自己相関値を基に、当該方向についての最終的な自己相関値を算出する第３サブ手段と、
    を備えることを特徴とする補間画素生成装置。
40. 請求項３９に記載の補間画素生成装置において、
    前記複数の方向のうちの少なくとも１つの方向は、前記対象位置を通過する線であって、前記対象位置を含む走査線の上隣の走査線と前記対象位置を含む走査線の下隣の走査線において、何れの入力画素とも交わらないものの方向（以下、「補間方向」という。）であることを特徴とする補間画素生成装置。
41. 請求項４０に記載の補間画素生成装置において、
    前記対象位置を含む走査線の上隣の走査線上に前記補間方向に対応した第１補間画素を生成し、前記対象位置を含む走査線の下隣の走査線上に前記補間方向に対応した第２補間画素を生成し、前記第１補間画素と前記第２補間画素を用いて、前記補間方向についての自己相関値を求めることを特徴とする補間画素生成装置。
42. 請求項３９に記載の補間画素生成装置において、
    前記生成手段により生成された前記補間画素の値が前記対象位置を含む走査線の上隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値から前記対象位置を含む走査線の下隣の走査線に含まれる入力画素のうちの前記対象位置に最も近い入力画素の値までの範囲から外れる場合には、前記生成手段により生成された前記補間画素の値を前記範囲に収まるように補正する手段を更に備えることを特徴とする補間画素生成装置。
43. 請求項３９に記載の補間画素生成装置において、
    演算装置の測定された負荷により、前記複数の方向の数を変えることを特徴とする補間画素生成装置。
44. 請求項４３に記載の補間画素生成装置において、
    前記算出手段は、当該算出のための前記演算装置の演算量が少ない方向から順に動作し、前記演算装置の測定された負荷が第１の所定値以上である場合には、前記算出手段を、所定の順位の方向で動作を打ち切り、前記演算装置の測定された負荷が前記第１の所定値よりも少ない第２の所定値以上である場合には、前記算出手段を前記所定の順位よりも低い順位の方向で動作を打ち切ることを特徴とする補間画素生成装置。
45. コンピュータに請求項１乃至２２の何れか１項に記載の方法を行わせるためのプログラム。
46. 請求項４５に記載のプログラムを記録した、コンピュータ読取り可能な記録媒体。

Images