JP2009205280A - 画素補間装置及び画素補間方法 - Google Patents

Abstract

【課題】緩やかな傾きのエッジ方向まで正しいエッジ方向に補間できる技術を提供する。
【解決手段】画素補間を行う画素補間装置３において、エッジ画素検出部１１は、補間画素の上下に位置するライン上の画素のうち、エッジを構成するエッジ画素を検出する。連続エッジ検出部１２は、エッジ画素検出部１１により検出されたエッジ画素の中から、２以上の画素が連続して並ぶエッジ画素を連続エッジとして検出する。連続エッジペア検出部１３は、連続エッジ検出部１２により検出された連続エッジのうち、補間画素の上及び下のライン上からそれぞれ検出された連続エッジの組み合わせを決定する。エッジ方向決定部１４は、連続エッジペア検出部１３により決定された１組の連続エッジの位置関係に基づいて、補間画素のエッジ方向を決定する。補間画素算出部１５は、エッジ方向決定部１４により決定されたエッジ方向を用いて補間画素を算出する。
【選択図】図２

Description

本発明は、インタレース・プログレッシブ変換や画像拡大等の処理により画素を空間方向に補間する技術に関する。

空間方向に画素を補間するための処理の例として、インタレース・プログレッシブ変換（順次走査変換）や画像拡大等がある。このうち、インタレース・プログレッシブ変換については、画素の動きに応じて、フィールド内補間により求めたフィールド内補間画素値及びフィールド間補間により求めたフィールド間補間画素値を重み付け加算して補間画素値を算出するか、あるいは、フィールド内補間画素値あるいはフィールド間補間画素値のいずれかを選択する方法によるのが一般的である。

ここで、フィールド内補間画素値の算出処理においては、各フィールドの画素は１ラインおきにしか存在しないため、一般的に、補間対象画素の上下のラインの画素を使用して垂直方向のバイリニアまたはバイキュービック補間が行われる。このとき、エッジ方向によらずにこれらの補間方法により垂直方向の画素補間を行うと、斜めエッジの部分には、ジャギーと呼ばれるギザギザが発生することとなる。

斜めエッジ部分の画素補間によるジャギーの発生を抑制するための技術として、例えば、フィールド内の水平方向及び垂直方向で隣り合う画素間の画素情報の差分値を用いて、補間すべき方向を検出することにより、補間画素の周辺領域が、複雑な絵柄、フラットな絵柄、縦線絵柄、角の絵柄であるか等の判定を行い、斜め方向エッジ等を複雑な絵柄等と区別する技術について提供されている（例えば、特許文献１）。

図２３は、特許文献１における補間方法を説明する図である。図中の各点は画素を表し、このうち、エッジ画素については黒色で表す。上記の判定において、上記の絵柄であると判定された場合は、上下方向に画素補間を行う。上記の絵柄以外であると判定された場合は、図に示す補間画素の周囲領域について、方向ごとの画素差分を算出し、相関が高い方向を補間方向として画素補間を行い、ジャギーを低減している。

ジャギーを低減させるための他の技術としては、例えば、補間対象の注目画素について、斜め方向のエッジの有無を判定し、判定結果に基づいて、注目画素を含む、注目画素位置に対応する複数の画素位置のエッジの方向を検出する技術について提供されている（例えば、特許文献２）。

また、補間対象の注目画素に対し、注目画素を中心とする領域及びその周辺の画素領域の画素情報の合計をそれぞれ算出し、算出した各領域の画素情報及び領域の位置関係に基づいて、相関の最も強い方向を検出して補間方向とする技術について提供されている（例えば、特許文献３）。

更に他の技術として、注目画素位置におけるエッジの斜め方向を判定し、更に注目画素位置におけるエッジの形状を判定して、エッジ形状の判定結果にしたがって、斜め方向のエッジを適切に補間する技術について提供されている（例えば、特許文献４）。

更に他の技術として、画像に含まれるエッジを検出してその方向を求め、求めたエッジ方向に適応させて２次元標本化関数を変形することにより適応型標本化関数を生成し、適応型標本化関数を用いてエッジ部分の補間を行う技術について提供されている（例えば、
特許文献５）。
特開２００５−３４１３４６号公報 特開２００５−２６６９１８号公報 特開２００５−３４１３３７号公報 特開２００７−６７６５２号公報 特表２０００−０７５８６５号公報

上記の特許文献１に記載の技術によれば、補間方向を決定するための周辺画素領域の幅により、傾斜の緩やかな補間方向の限界が制限されることとなる。すなわち、周辺画素領域の幅が狭い場合には、傾きが緩やかな補間方向までは検出することができない。

逆に、周辺画素領域の幅を広くとると、傾きが緩やかな補間方向まで検出することが可能となる。しかし、周辺画素領域の幅を広くとることにより、周辺領域を複雑な領域（絵柄等）と判定する場合が多くなり、ジャギーを低減するためのエッジ方向の補間を行う場合が少なくなる、という問題がある。

本発明は、上記の問題を鑑みて、緩やかな傾きのエッジ方向まで、正しいエッジ方向に補間できる技術を提供することを目的とする。

上記課題を解決するために、開示の画素補間装置は、補間画素の上下あるいは左右に位置するライン上の画素のうち、エッジを構成するエッジ画素を検出するエッジ画素検出手段と、前記エッジ画素検出手段により検出されたエッジ画素の中から、２以上の画素が連続して並ぶエッジ画素を連続エッジとして検出する連続エッジ検出手段と、前記連続エッジ検出手段により検出された連続エッジのうち、前記補間画素の上及び下のライン上からそれぞれ検出された連続エッジの組み合わせ、あるいは該補間画素の左及び右のラインからそれぞれ検出された連続エッジの組み合わせを決定する連続エッジペア検出手段と、前記連続エッジペア検出手段により決定された１組の連続エッジの位置関係に基づいて、補間画素のエッジ方向を決定するエッジ方向決定手段と、前記エッジ方向決定手段により決定されたエッジ方向を用いて補間画素を算出する補間画素算出手段と、を備える構成とする。

補間画素の上下あるいは左右のライン上の画素からエッジとして検出された画素が連続して並んでいるときは、その連続する画素を連続エッジとして検出する。そして、連続エッジが補間画素の上と下のライン、あるいは左と右のラインにあるときは、２つの連続エッジを組み合わせて１組の連続エッジ（連続エッジペア）と判断し、連続エッジペアを用いてエッジ方向を決定する。このようにして決定されたエッジ方向を用いて補間画素を計算するため、エッジの傾きが緩やかな場合であっても、正しくエッジ方向を求めて正しく画素補間を行うことが可能となる。

前記エッジ方向決定手段は、前記１組の連続エッジのそれぞれの中点を結ぶ方向を前記補間画素のエッジ方向とする構成としてもよい。あるいは、前記エッジ方向決定手段は、前記１組の連続エッジのそれぞれの左端あるいは右端の画素同士を結ぶ方向を前記補間画素のエッジ方向とする構成としてもよい。

前記エッジ方向決定手段は、前記１組の連続エッジのうちいずれか一方の連続エッジの中点におけるエッジ方向を上記のエッジ方向決定方法で決定してエッジ方向の初期値とし、該中点から連続エッジの外側に向けて、補間画素の該エッジ方向の初期値についての周
辺画素の画素相関を用いて、補間画素ごとにエッジ方向を決定してゆく構成としてもよい。

あるいは、前記エッジ方向決定手段は、前記１組の連続エッジのうちいずれか一方の連続エッジの端点におけるエッジ方向を上記のエッジ方向決定方法で決定してエッジ方向の初期値とし、該端点から他方の端点に向けて、補間画素の該エッジ方向の初期値についての周辺画素の画素相関を用いて、補間画素ごとにエッジ方向を決定してゆく構成としてもよい。

更には、前記エッジ方向決定手段は、前記エッジ方向決定手段は、決定されたエッジ方向を前記１組の連続エッジ画素の基本エッジ方向とし、該基本エッジ方向及び補間画素の該基本エッジ方向についての周辺画素の画素相関に基づいて、補間画素ごとに最終的なエッジ方向を決定してゆく構成としてもよい。

開示の画素補間装置によれば、補間画素に隣接する画素から１組の連続エッジを検出して、検出した１組の連続エッジからエッジ方向を求め、求めたエッジ方向を用いて補間画素を算出する。エッジ方向を決定するための範囲を限定することなく、実際に検出された連続エッジの組み合わせからエッジ方向を算出することで、傾きの緩やかなエッジであっても正しくエッジ方向を決定することができ、これにより、エッジ方向についての画素補間を正しく行うことが可能となる。

以下、本発明の好適な実施の形態について、図面を参照して詳細に説明する。
図１は、インタレース・プログレッシブ変換装置の構成図である。図１に示すインタレース・プログレッシブ変換装置１は、フィールド間補間画素値算出部２、フィールド内補間画素値算出部３、動き検出部４及び画素値ブレンド部５を含んで構成される。

なお、本実施形態に係る画素補間方法は、画像拡大においても適用可能であるが、以下の説明においては、インタレース・プログレッシブ変換における画素補間を例に説明することとする。

フィールド間補間画素値算出部２は、入力される画像信号のうち、同パリティのフィールドの２つの画像で動き検出を行い、動き検出をした２つフィールドの間にある異パリティのフィールド画像（これを補間対象フィールド画像とする）について、補間対象フィールドと異なる時間のフィールド画像の画素を用いて補間画素値を算出する。フィールド内補間画素値算出部３は、補間対象フィールド画像について、そのフィールド内の画素を用いてバイリニアあるいはバイキュービック補間等により、補間を行う。

動き検出部４は、同パリティのフィールドの２つの画像から、動きベクトルを算出して動きを検出する。画素値ブレンド部５は、動き検出部４による動きの検出結果を用いて、フィールド間補間画素値及びフィールド内補間画素値の重み付けを行い、出力画像を生成して出力する。

図１に示すインタレース・プログレッシブ変換装置１のうち、本実施形態に係る画素補間方法については、フィールド内補間画素値算出部３において実行される。以下、フィールド内補間画素値算出部すなわち画素補間装置３について説明する。

図２は、画素補間装置（フィールド内補間画素値算出部）３の構成図である。図２に示
す画素補間装置３は、エッジ画素検出部１１、連続エッジ検出部１２、連続エッジペア検出部１３、エッジ方向決定部１４及び補間画素値算出部１５を含んで構成される。

エッジ画素検出部１１は、補間画素の上下のラインからエッジ画素を検出する。連続エッジ検出部１２は、エッジ画素検出部１１において検出されたエッジ画素のうち、あるライン上にエッジ画素が並んでいる場合に、その連続して並ぶエッジ画素を連続エッジとして検出する。

連続エッジペア検出部１３は、連続エッジ検出部１２において検出された連続エッジのうち、補間画素の上下のラインのそれぞれに連続エッジがあるときは、それらの連続エッジを１組の連続エッジとして検出する。以下、連続エッジペア検出部１３により検出された１組の連続エッジを、「連続エッジペア」と定義する。

エッジ方向決定部１４は、連続エッジペア検出部１３において検出された連続エッジペアの補間方向を決定する。補間画素値算出部１５は、エッジ方向決定部１４において決定された補間方向を用いて、補間画素値を算出する。

このように、図２に示す画素補間装置３は、連続して並ぶエッジ画素のうち、補間画素の上下のラインに位置する１組のエッジ画素を連続エッジペアとして検出し、連続エッジペアから補間方向を決定する。従来技術のように所定の領域の範囲内に限定することなく、実際に検出された連続エッジペアを用いて補間方向を決定しているため、エッジの傾きが限定されることがなく、緩やかな傾きのエッジ方向であっても正確に検出することが可能となる。

なお、本実施形態においては、インタレース・プログレッシブ変換における画素補間について説明をしているため、補間画素の上下のラインからエッジ画素や連続エッジを検出することとしている。例えば画像拡大等の処理においては、補間画素の上下のラインだけでなく、左右のラインからもエッジ画素や連続エッジの検出を行う。

以下、図２に示す画素補間装置３の各部の構成及びその動作について、具体的に説明する。
図３は、エッジ画素検出部１１の構成図である。図３に示すエッジ画素検出部１１は、エッジ強度算出部２１、エッジ方向算出部２２及びエッジ画素決定部２３を含んで構成される。

エッジ強度算出部２１は、エッジ強度算出フィルタを用いて、エッジ強度を算出する。
図４は、エッジ強度算出フィルタの例である。注目画素について、周辺画素との輝度相関値を求めることにより、エッジ強度を算出する。なお、エッジ強度算出フィルタについては、公知の技術であるため、詳細な説明は省略する。

図５は、エッジ強度算出フィルタの他の例である。図５（ａ）は、垂直方向についてのエッジ強度算出フィルタの例であり、図５（ｂ）は、水平方向についてのエッジ強度算出フィルタの例である。図５に示すフィルタを用いて、垂直及び水平方向のエッジ強度を別々に求めることとしてもよい。

エッジ方向算出部２２は、水平方向及び垂直方向のエッジ強度の比から、エッジ角度（エッジ方向）を算出する。
エッジ画素決定部２３は、エッジ強度算出部２１及びエッジ方向算出部２２においてそれぞれ求められたエッジ強度及びエッジ方向を用いて、エッジ画素を決定する。具体的には、エッジ強度が所定のしきい値以上で、且つエッジ方向が所定の角度以下である画素を、エッジ画素として検出する。

図６は、連続エッジの検出方法を説明する図である。図中の各点は画素を表し、このうち、エッジ画素検出部１１においてエッジ画素として検出された画素については、黒色で表す。

図６に示すように、検出されたエッジ画素のうち、複数のエッジ画素がライン上に連続して並んでいる場合に、それらのエッジ画素を連続エッジとして検出する。所定数以上のエッジ画素が連続して並んでいることを、追加の条件としてもよい。

図７は、連続エッジペアの検出方法を説明する図である。図に示す実在ラインのうち、連続エッジについては、実線で表す。図７では、補間ラインの上下の実在ラインには、それぞれ３つずつ連続エッジが存在する場合を示している。

補間ラインの上下に位置する実在ラインから検出された連続エッジから連続エッジペアを検出する方法としては、実施例においては、上下のラインそれぞれの連続エッジに、１画素以上の重なりがある場合には、その連続エッジの組み合わせを連続エッジペアとして検出している。

なお、連続エッジ同士の長さの比が所定のしきい値以下であることを追加の検出条件としてもよい。更には、図８に示すような検出条件を追加してもよい。
図８は、連続エッジペアの検出方法を説明する他の図である。互いに重なり合う部分がある１組の連続エッジが存在する場合に、その１組の連続エッジにより分割される左右の領域のそれぞれについて、連続エッジの含まれる実在ライン上の画素と他の実在ライン上の画素との輝度差を算出する。左右の領域のいずれにおいても、算出した輝度差が所定のしきい値以下であることを、追加の検出条件とすることもできる。なお、この追加の検出条件は、エッジの右側あるいは左側の領域では、輝度の値は一定の範囲内にあるとの仮定に基づく。

図９は、エッジ方向決定部１４の構成図である。図９に示すエッジ方向決定部１４は、エッジ方向算出部４１を含んで構成される。
エッジ方向算出部４１は、連続エッジペア検出部１３により検出された連続エッジペアを構成する連続エッジ同士の位置関係から、補間画素のエッジ方向及び画素補間領域を決定する。具体的には、入力された連続エッジペアの位置情報と連続エッジペア及びその周辺画素の輝度値から、補間画素ごとのエッジ方向及び画素補間領域を算出する。

ここで、連続エッジペアの位置情報とは、各連続エッジの開始画素の位置を示す情報と、終了画素の位置を示す情報とから構成される。
図１０は、連続エッジペアを用いて補間方向を決定する方法を説明する図である。図１０（ａ）に示すように、例えば、連続エッジペアの各連続エッジの中点を結ぶ方向をエッジ方向としてもよい。あるいは、図１０（ｂ）や図１０（ｃ）に示すように、連続エッジペアの各連続エッジの右端同士または左端同士を結ぶ方向をエッジ方向としてもよい。

図１１は、上記の方法を用いてエッジ方向を決定する処理を示したフローチャートであ
る。
図１１に示す処理は、エッジ方向決定部１４に、連続エッジペアの位置情報と、連続エッジペア及び周辺画素の輝度値が入力されたことを契機として開始される。

まず、ステップＳ１で、連続エッジペアごとにエッジ方向と画素補間領域とを決定する。エッジ方向は、上記のとおり、入力された連続エッジペアの位置情報から、各連続エッジの中点、右端あるいは左端の位置を求めることにより得られる。画素補間領域は、入力された連続エッジペア及びその周辺画素の輝度値から、補間すべき領域を求めることにより得られる。

ステップＳ２で、連続エッジペアのエッジ方向を、ステップＳ１で求めた画素補間領域の補間画素のエッジ方向として設定し、処理を終了する。
図１２は、エッジ方向決定部の他の構成図である。図１２に示すエッジ方向決定部１４Ｂは、エッジ方向初期値決定部４２、エッジ方向候補相関値計算部４３及びエッジ方向最終決定部４４を含んで構成される。なお、図９に示す構成のエッジ方向決定部１４と区別するために、図１２及び以下の説明では、「１４Ｂ」の符号を付している。

図１２に示すエッジ方向決定部１４Ｂは、上記と同様の方法により求めたエッジ方向をエッジ方向の初期値とし、求めたエッジ方向初期値と補間画素の周辺画素の相関に基づいて最終的なエッジ方向を決定する点で図９に示すエッジ方向決定部１４と異なる。

エッジ方向初期値決定部４２は、図９のエッジ方向算出部４１と同様の方法によりエッジ方向を求め、エッジ方向の初期値とする。エッジ方向初期値決定部４２からは、連続エッジペアごとのエッジ方向と画素補間領域に加えて、連続エッジペア及びその周辺画素の輝度値が出力される。

エッジ方向候補相関値計算部４３は、エッジ方向初期値決定部４２から入力された情報、すなわち、連続エッジペアごとのエッジ方向、画素補間領域、連続エッジペア及びその周辺画素の輝度値を用いて、補間画素の周辺画素について、エッジ方向候補の画素相関値を計算する。そして、補間画素ごとのエッジ方向候補の画素相関値及び画素補間領域を出力する。画素相関値の具体的な計算方法については後述する。

エッジ方向最終決定部４４は、エッジ方向候補相関値計算部４３から入力された情報、すなわち、補間画素ごとのエッジ方向候補の画素相関値、画素補間領域から、補間画素ごとに最終的なエッジ方向を決定し、補間画素ごとのエッジ方向及び画素補間領域を出力する。

図１３は、エッジ方向候補相関値の計算方法を説明する図である。図に示す画素のうち、画素Ａ〜Ｅと画素Ｆ〜Ｊとは、それぞれ補間ラインの上及び下に位置する実在ライン上の画素を表す。ここでは、エッジ方向の初期値が画素Ｃ−Ｈである場合を例に説明する。

エッジ方向の初期値Ｃ−Ｈに対して、それぞれの画素の左右２画素ずつを取り出して、相関値を算出する。具体的には、｜Ｃ−Ｈ｜、｜Ａ−Ｊ｜、｜Ｂ−Ｉ｜、｜Ｄ−Ｇ｜、｜Ｅ−Ｆ｜を計算する。なお、相関値の具体的な計算方法については、公知の技術を用いている。

上記の方法以外の相関値の算出方法としては、例えば、エッジ方向の画素（図１３では画素Ｃ、Ｈ）以外の画素を使用することとしてもよい。例えば、エッジ方向の画素を中心
として、水平方向に所定数の画素（例えば５画素）の平均値を使用することとしてもよい。

図１４は、エッジの補間方向の決定方法を説明する図である。
図１４（ａ）に示すように、各連続エッジの中点に位置する画素を用いてエッジ方向の初期値を求め、連続エッジペアを構成する各連続エッジの中点から外側に向かう方向にエッジの補間方向を求めていく構成としてもよい。

あるいは、図１４（ｂ）及び図１４（ｃ）にそれぞれ示すように、各連続エッジの左端及び右端に位置する画素を用いてエッジ方向の初期値を求め、それぞれ右側及び左側に向かう方向にエッジの補間方向を求めていく構成としてもよい。

補間画素の上下の画素のうち、いずれかが連続エッジの領域を超えたときに補間を終了することとしてもよい。あるいは、連続エッジの外側まで補間をすることとしてもよい。すなわち、補間画素の上下の画素の両方が連続エッジの領域を超えたときに補間を終了することとしてもよい。

図１５及び図１６は、補間対象画素ごとの補間方向候補の設定方法を説明する図である。
例えば、図１５に示すように、Ｄ−Ｍを初期値として補間方向を決定した後、次に１画素右側に位置する補間対象画素について補間方向を決定する場合に、求めた初期値Ｄ−Ｍをそれぞれ１画素ずつ右側にずらして得られるＥ−Ｎを中心として、上記の方法にしたがって相関値を算出することとしてもよい。

あるいは、図１６に示すように、Ｄ−Ｍを初期値として補間方向をＥ−Ｌと決定し、次に１画素右側に位置する補間対象画素について補間方向を決定する場合に、決定した補間方向Ｅ−Ｌの画素Ｅ及び画素Ｌをそれぞれ１画素ずつ右側にずらして得られる画素Ｆ及び画素Ｍを結ぶ方向Ｆ−Ｍを中心として、上記の方法にしたがって相関値を算出することとしてもよい。

図１７は、図１５に示す方法で補間方向候補を設定して各補間画素のエッジ方向を決定する処理を示したフローチャートである。上記のとおり、図１５に示す方法によれば、次に決定すべき補間方向候補は、初期値として決定した補間方向に平行に、各連続エッジ上の画素を所定の方向（右側あるいは左側）に１画素ずつずらして得られる方向を中心として、相関値を求める。

なお、図１７に示す処理は、図１１に示す処理と同様に、エッジ方向決定部１４Ｂに、連続エッジペアの位置情報と、連続エッジペア及び周辺画素の輝度値が入力されたことを契機として開始される。連続エッジペアの位置情報については、上記と同様に、各連続エッジの開始画素の位置を示す情報と、終了画素の位置を示す情報とから構成される。

まず、ステップＳ１１で、図１１のステップＳ１と同様の処理を行い、連続エッジペアごとにエッジ方向と画素補間領域とを決定する。ステップＳ１２で、決定した連続エッジペアのエッジ方向を、画素補間領域での補間画素のエッジ方向候補の初期値として設定する。

ステップＳ１３で、補間対象画素について、エッジ方向初期値を中心としてエッジ方向候補についての画素相関値を算出し、ステップＳ１４で、補間対象画素について、画素相
関値を用いて、エッジ方向候補の中からエッジ方向を決定する。そして、ステップＳ１５で、連続エッジペアの画素補間領域の全ての画素の補間が完了したか否かを判定する。なお、図１７においては、連続エッジペアを構成する各連続エッジの全ての画素について補間を行う構成としているが、これには限らない。先述のとおり、一方の連続エッジの端点まで補間が完了するまで補間を行う構成としてもよい。

ステップＳ１５で、連続エッジペアを構成する各連続エッジの全ての画素について補間が完了していないと判定された場合は、ステップＳ１３に戻り、１画素右側あるいは１画素左側のいずれか所定の方向の画素について、同様の処理を実行する。

以降は、各補間画素についてステップＳ１３及びステップＳ１４の処理を繰り返し、ステップＳ１５で、各連続エッジの全ての画素について補間が完了したと判定された場合は、処理を終了する。

図１８は、図１６に示す方法で補間方向候補を設定して各補間画素のエッジ方向を決定する処理を示したフローチャートである。上記のとおり、図１６に示す方法によれば、ある補間対象画素について決定した補間方向を平行に所定の方向（右側あるいは左側）に１画素ずらして得られる方向を中心として、相関値を求める。

図１８に示す処理は、図１１や図１７に示す処理と同様に、エッジ方向決定部１４Ｂに、連続エッジペアの位置情報と、連続エッジペア及び周辺画素の輝度値が入力されたことを契機として開始される。連続エッジペアの位置情報については、上記と同様に、各連続エッジの開始画素の位置を示す情報と、終了画素の位置を示す情報とから構成される。

まず、ステップＳ２１で、図１１のステップＳ１や図１７のステップＳ１１と同様の処理を行う。ステップＳ２２で、連続エッジペアのエッジ方向を、画素補間領域で最初にエッジ方向を決定する補間画素についての、エッジ方向候補の初期値として設定する。

ステップＳ２３及びステップＳ２４の処理は、それぞれ図１７のステップＳ１３及びステップＳ１４と対応する。
ステップＳ２５で、次の補間画素のエッジ方向候補の初期値として、ステップＳ２４で決定したエッジ方向を設定する。そして、ステップＳ２６で、図１７のステップＳ１５と同様に、連続エッジペアの画素補間領域の全ての画素について補間が完了したか否かを判定し、未完了の場合はステップＳ２３に戻り、同様の処理を繰り返す。ステップＳ２６で。全ての画素について補間が完了したと判定された場合は、処理を終了する。

図１９は、補間画素値算出部１５の構成図である。図１９に示す補間画素値算出部１５は、エッジ方向補間値算出部５１を含んで構成される。
エッジ方向補間値算出部５１は、画素補間装置３に入力された画像と、エッジ方向決定部１４において決定した画素ごとのエッジ方向とから、補間画素値を算出し、出力する。

図２０は、補間画素値の算出方法を説明する図である。図２０においては、３列のライン上の画素を円形で表し、このうち、上段及び下段の画素は実在ラインの画素、中段の画素は補間ラインの画素を表している。

補間画素Ｐの補間画素値ηは、図中、上下段の実在ラインの画素のうち、画素値算出対象の補間画素Ｐについてのエッジ方向に位置する画素の画素値α及びβを用いて、以下の式で算出される。
η＝（α＋β）／２ （１）
図２１は、補間画素値算出部の他の構成図である。図２１に示す補間画素値算出部１５Ｂは、エッジ方向補間画素値算出部５１、垂直方向補間画素値算出部５２、エッジ方向補間画素値・垂直方向補間画素値ブレンド比算出部（以下、ブレンド比算出部と略記）５３及びエッジ方向補間画素値・垂直方向補間画素値ブレンド部（以下、ブレンド部と略記）５４を含む。なお、図１９に示す構成の補間画素値算出部１５と区別するために、図２１及び以下の説明では、「１５Ｂ」の符号を付している。

エッジ方向補間画素値算出部５１については、図１９のそれと同様であるので、ここでは説明を省略する。
垂直方向補間画素値算出部５２は、補間画素の垂直方向に関し上下に位置する画素から補間画素値を算出する。ブレンド比算出部５３は、エッジ方向補間画素値算出部５１において算出した補間画素値（以下エッジ方向補間画素値とする）と、垂直方向補間画素値算出部５２において算出した補間画素値（以下垂直方向補間画素値とする）とのブレンド比を算出する。

ブレンド部５４は、ブレンド比算出部５３において求めたブレンド比を用いて、エッジ方向補間画素値と垂直方向画素値とから最終的な補間画素値を算出し、出力する。
図２２は、図２１に示す補間画素値算出部１５Ｂにおける補間画素値の算出方法を説明する図である。図２２においては、図２０と同様に、上下段に実在ラインの画素を、中段に補間ラインの画素を表す。

補間画素Ｐのエッジ方向の補間画素値ηの算出方法については、先に図２０を参照して説明したとおりである。
補間画素Ｐの垂直方向補間画素値γは、図２２の上下段の実在ライン上の画素のうち、補間画素Ｐの垂直方向に位置する画素の画素値Ａ及びＢを用いて、以下の式で算出される。
γ＝（Ａ＋Ｂ）／２ （２）
なお、垂直方向補間画素値の算出方法については、上記に限定されず、垂直方向のバイキュービック補間により求めることとしてもよい。

エッジ方向補間画素値ηと垂直方向補間画素値γとのブレンド比は、エッジ方向補間画素値の重み付け値ε及び垂直方向補間画素値の重み付け値κは、それぞれ以下の（３）式及び（４）式により求める。
ε＝｜Ａ−Ｂ｜ （３）
κ＝｜α−β｜ （４）
補間画素Ｐについての最終的な補間画素値πは、例えば、上記の（１）から（４）式により求めたη、γ、ε、κを用いて、以下の（５）式で算出される。
π＝（ε×η＋κ×γ）／（ε＋κ） （５）
なお、ε＝κ＝０の場合は、π＝γとする。

また、エッジ方向補間画素値の重み付け値εについては、上記（３）式による算出方法に限らない。例えば、補間画素の上下の画素だけでなく、補間画素の上下の画素を中心としてその水平方向に数画素（例えば７画素）を用いて、補間画素の上のライン及び下のラインの画素の差分絶対値の平均値をそれぞれ計算する構成としてもよい。

以上説明したように、本実施形態に係る画素補間装置によれば、連続するエッジ画素か
らなる連続エッジが、補間ラインの上下（あるいは左右）のラインにあるときに、それらの連続エッジを連続エッジペアとして検出して、検出した連続エッジペアからエッジ方向を求めて補間画素値を算出する。所定の範囲からエッジ方向を求めるのではなく、実際にエッジとして検出された連続エッジの組み合わせからエッジ方向を求めることで、緩やかな傾きのエッジであっても、正しくエッジ方向を決定することができる。また、これにより、正しく画素補間を行ってジャギーを低減させることが可能となる。

インタレース・プログレッシブ変換装置の構成図である。 画素補間装置の構成図である。 エッジ画素検出部の構成図である。 エッジ強度算出フィルタの例である。 エッジ強度算出フィルタの他の例である。 連続エッジの検出方法を説明する図である。 連続エッジペアの検出方法を説明する図である。 連続エッジペアの検出方法を説明する他の図である。 エッジ方向決定部の構成図である。 連続エッジペアを用いて補間方向を決定する方法を説明する図である。 エッジ方向を決定する処理を示したフローチャートである。 エッジ方向決定部の他の構成図である。 エッジ方向候補相関値の計算方法を説明する図である。 エッジの補間方向の決定方法を説明する図である。 補間対象画素ごとの補間方向候補の設定方法を説明する図（その１）である。 補間対象画素ごとの補間方向候補の設定方法を説明する図（その２）である。 補間画素ごとにエッジ方向を決定する処理を示したフローチャート（その１）である。 補間画素ごとにエッジ方向を決定する処理を示したフローチャート（その２）である。 補間画素値算出部の構成図である。 補間画素値の算出方法を説明する図である。 補間画素値算出部の他の構成図である。 補間画素値の他の算出方法を説明する図である。 従来における画素補間方法を説明する図である。

符号の説明

１ インタレース・プログレッシブ変換装置
２ フィールド間補間画素値算出部
３ フィールド内補間画素値算出部（画素補間装置）
４ 動き検出部
５ 画素値ブレンド部
１１ エッジ画素検出部
１２ 連続エッジ検出部
１３ 連続エッジペア検出部
１４、１４Ｂ エッジ方向決定部
１５、１５Ｂ 補間画素値算出部
２１ エッジ強度算出部
２２ エッジ方向算出部
２３ エッジ画素決定部
４１ エッジ方向算出部
４２ エッジ方向初期値決定部
４３ エッジ方向候補相関値計算部
４４ エッジ方向最終決定部
５１ エッジ方向補間（画素）値算出部
５２ 垂直方向補間値算出部
５３ エッジ方向補間画素値・垂直方向補間画素値ブレンド比算出部（ブレンド比算出部）
５４ エッジ方向補間画素値・垂直方向補間画素値ブレンド部（ブレンド部）

Claims (10)

1. 画素補間を行う画素補間装置であって、
   補間画素の上下あるいは左右に位置するライン上の画素のうち、エッジを構成するエッジ画素を検出するエッジ画素検出手段と、
   前記エッジ画素検出手段により検出されたエッジ画素の中から、２以上の画素が連続して並ぶエッジ画素を連続エッジとして検出する連続エッジ検出手段と、
   前記連続エッジ検出手段により検出された連続エッジのうち、前記補間画素の上及び下のライン上からそれぞれ検出された連続エッジの組み合わせ、あるいは該補間画素の左及び右のラインからそれぞれ検出された連続エッジの組み合わせを決定する連続エッジペア検出手段と、
   前記連続エッジペア検出手段により決定された１組の連続エッジの位置関係に基づいて、補間画素のエッジ方向を決定するエッジ方向決定手段と、
   前記エッジ方向決定手段により決定されたエッジ方向を用いて補間画素を算出する補間画素算出手段と、
   を備えることを特徴とする画素補間装置。
2. 前記エッジ画素検出手段は、画素のエッジ強度及びエッジ方向を算出し、該算出したエッジ強度及びエッジ方向を使用してエッジ画素の検出を行う
   ことを特徴とする請求項１記載の画素補間装置。
3. 前記エッジ方向決定手段は、前記１組の連続エッジのそれぞれの中点を結ぶ方向を前記補間画素のエッジ方向とする
   ことを特徴とする請求項１記載の画素補間装置。
4. 前記エッジ方向決定手段は、前記１組の連続エッジのそれぞれの左端あるいは右端の画素同士を結ぶ方向を前記補間画素のエッジ方向とする
   ことを特徴とする請求項１記載の画素補間装置。
5. 前記エッジ方向決定手段は、前記１組の連続エッジのうちいずれか一方の連続エッジの中点におけるエッジ方向を上記のエッジ方向決定方法で決定してエッジ方向の初期値とし、該中点から連続エッジの外側に向けて、補間画素の該エッジ方向の初期値についての周辺画素の画素相関を用いて、補間画素ごとにエッジ方向を決定してゆく
   ことを特徴とする請求項１記載の画素補間装置。
6. 前記エッジ方向決定手段は、前記１組の連続エッジのうちいずれか一方の連続エッジの端点におけるエッジ方向を上記のエッジ方向決定方法で決定してエッジ方向の初期値とし、該端点から他方の端点に向けて、補間画素の該エッジ方向の初期値についての周辺画素の画素相関を用いて、補間画素ごとにエッジ方向を決定してゆく
   ことを特徴とする請求項１記載の画素補間装置。
7. 前記エッジ方向決定手段は、決定されたエッジ方向を前記１組の連続エッジ画素の基本エッジ方向とし、該基本エッジ方向及び補間画素の該基本エッジ方向についての周辺画素の画素相関に基づいて、補間画素ごとに最終的なエッジ方向を決定してゆく
   ことを特徴とする請求項１記載の画素補間装置。
8. 前記補間画素算出手段は、前記エッジ方向決定手段により決定されたエッジ方向にある画素を用いて補間画素値を算出する
   ことを特徴とする請求項１記載の画素補間装置。
9. 前記補間画素算出手段は、前記エッジ方向決定手段により決定されたエッジ方向にある画素を用いてエッジ方向についての補間画素値を算出するとともに、前記１組の連続エッジに関し垂直方向にある画素を用いて該垂直方向についての補間画素値を算出し、該エッジ方向についての補間画素値と該垂直方向についての補間画素値とを重み付けして補間画素値を算出する
   ことを特徴とする請求項１記載の画素補間装置。
10. 補間画素の上下あるいは左右に位置するライン上の画素のうち、エッジを構成するエッジ画素を検出し、
    前記検出されたエッジ画素の中から、２以上の画素が連続して並ぶエッジ画素を連続エッジとして検出し、
    前記検出された連続エッジのうち、前記補間画素の上及び下のライン上からそれぞれ検出された連続エッジの組み合わせ、あるいは該補間画素の左及び右のラインからそれぞれ検出された連続エッジの組み合わせを決定し、
    前記決定された１組の連続エッジの位置関係に基づいて、補間画素のエッジ方向を決定し、
    前記決定されたエッジ方向を用いて補間画素を算出する、
    処理を備えることを特徴とする画素補間方法。