JP2012506646A - 領域区分を用いた映像補間装置およびその方法 - Google Patents

Abstract

領域区分を用いた映像補間装置およびその方法を開示する。映像補間装置は、エッジ付近の画質劣化を改善するために入力映像の勾配値に対する細線化処理を行った後、エッジ可否を判断して映像の補間方向による領域分割およびピクセル代替によって最適の地域情報を用いて映像の解像度を変換することができる。

Description

本発明の実施形態は映像の解像度変換のための映像補間方式に関し、特に、入力映像の地域情報を効果的に用いてナチュラルな高解像度の映像を生成する技術に関する。

最近、多様な解像度を有するディスプレイ装置が発売されつつ、入力映像の解像度をディスプレイ装置に提供する解像度に合わせて変換される過程が必須である。

低解像度の映像を高解像度に変換する解像度変換技術は、大きく復元基盤方法（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｂａｓｅｄ ｍｅｔｈｏｄ）、線形フィルタリング技術を用いる方法、非線形フィルタリング技術を用いる方法に分けられる。

低解像度の映像を高解像度映像に変換する場合、エッジ周辺に多くの画質劣化が発生することがある。代表的な画質劣化として、解像度を変換した結果、映像のエッジ近所にノコギリの歯状のパターンが発生するジグザグ現象（ｊａｇｇｅｄｎｅｓｓ）、解像度の変換によって鮮明度の低下が発生するブラー（ｂｌｕｒｒｉｎｇ）現象、およびフィルタ特性の低下によるエッジ近辺のアイリアシング現象（ａｌｉａｓｉｎｇ）などがある。すなわち、エッジ周辺における処理が解像度の変更に最も重要な役割をする。

したがって、既存の解像度変換技術の限界を克服して低解像度の映像を高解像度の映像に変換するにあたって、よりナチュラルな映像復元と共にエッジ周辺に精巧な処理を行うことによって画質を改善するための技術研究が持続的に求められる。

本発明の一実施形態に係る映像補間装置は、入力映像に対して各ピクセルの勾配値を算出する勾配算出部と、前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するエッジ判断部と、補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断する補間方向判断部と、前記補間方向に応じて前記補間するピクセルを基準にして前記補間領域を分割した後、前記補間領域内ピクセルのピクセル値を代替するピクセル代替部と、前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行する補間実行部とを備えてもよい。

このとき、前記エッジ判断部は、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値との比較結果に基づいて前記ピクセルがエッジであるか否かを判断してもよい。

また、前記ピクセル代替部は、前記補間方向が対角方向である場合、前記補間するピクセルを基準にして前記補間領域を４象限に分割する対角方向領域分割部と、前記４象限それぞれに含まれたピクセルをエッジ有無に応じて参加ピクセルと非参加ピクセルに分類した後、前記参加ピクセルのピクセル値を用いて前記非参加ピクセルのピクセル値を代替する対角方向ピクセル代替部とを備えてもよい。

また、前記ピクセル代替部は、前記補間方向が垂直方向である場合、前記補間するピクセルを基準にして垂直方向に前記補間領域の一部を分割する垂直方向領域分割部と、前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替する垂直方向ピクセル代替部とを備えてもよい。

また、前記ピクセル代替部は、前記補間方向が水平方向である場合、前記補間するピクセルを基準にして水平方向に前記補間領域の一部を分割する水平方向領域分割部と、前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替する水平方向ピクセル代替部とを備えてもよい。

また、本発明の一実施形態に係る映像補間方法は、入力映像に対して各ピクセルの勾配値を算出するステップと、前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するステップと、補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断するステップと、前記補間方向に応じて前記補間するピクセルを基準にして前記補間領域を分割した後、前記補間領域内ピクセルのピクセル値を代替するステップと、前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行するステップとを含んでもよい。

本発明の一実施形態によれば、入力映像のエッジ周辺に発生する劣化現像を排除することのできる新しい線形フィルタリング技術を提供することによって、エッジ周辺の映像がより鮮明かつナチュラルに復元できる。

本発明の一実施形態によれば、補間方向に応じて最適の地域情報を効率的に用いることで映像の解像度を高め、リアルタイムに処理することで適する映像補間方式を提供することによって、高画質の映像を提供することができる。

本発明の一実施形態に係る映像補間装置を示す図である。 図１に示す勾配算出部の一例を示す図である。 図１に示すピクセル代替部の動作を説明するための図である。 図１に示すピクセル代替部の一例を示すブロック図である。 図４に示す対角方向領域分割部の動作を説明するための図である。 図４に示す対角方向ピクセル代替部の動作を説明するための図である。 図４に示す垂直方向領域分割部の動作を説明するための図である。 図４に示す垂直方向ピクセル代替部の動作を説明するための図である。 図４に示す水平方向領域分割部の動作を説明するための図である。 図４に示す水平方向ピクセル代替部の動作を説明するための図である。 本発明の一実施形態に係る映像補間方法を示す動作フローチャートである。 図１１に示すピクセルのエッジ可否を判断する過程を示す動作フローチャートである。 図１１に示す対角方向に対する領域分割およびピクセル代替過程を示す動作フローチャートである。 図１１に示す垂直方向に対する領域分割およびピクセル代替過程を示す動作フローチャートである。 図１１に示す水平方向に対する領域分割およびピクセル代替過程を示す動作フローチャートである。

以下、添付された図面に記載された内容を参照して本発明に係る好適な実施形態を詳細に説明する。ただし、本発明が実施形態によって制限されたり限定されたりすることはない。

図１は、本発明の一実施形態に係る映像補間装置を示す図である。図１を参照するに、映像補間装置は、勾配算出部１０１、エッジ判断部１０２、補間方向判断部１０３、ピクセル代替部１０４、補間実行部１０５に構成してもよい。

勾配算出部１０１は、入力映像に対して各ピクセルの勾配値Ｇを算出する。

図２は、勾配算出部１０１の一例を示す図である。図２を参照するに、勾配算出部１０１は、各ピクセルの勾配値Ｇを算出するために勾配フィルタ２０１を用いてもよい。このとき、勾配フィルタ２０１としてソーベルフィルタ（ｓｏｂｅｌ ｆｉｌｔｅｒ）を用いてもよい。

一例として、勾配算出部１０１は、勾配フィルタ２０１を介して水平方向の勾配値Ｇｘおよび垂直方向の勾配値Ｇｙを算出した後、算出された水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙの絶対値の和で該当ピクセルの勾配値Ｇを算出してもよい。

勾配値Ｇは式（１）のように定義してもよい。

Ｇ＝｜Ｇｘ｜＋｜Ｇｙ｜ （１）
エッジ判断部１０２は、各ピクセルの勾配値Ｇを用いて該当のピクセルがエッジに該当するか否かを判断してもよい。エッジ判断部１０２は、各ピクセルの勾配値Ｇに対して細線化（ｔｈｉｎｎｉｎｇ）処理を行った後エッジ可否を判断してもよい。

エッジ判断部１０２は、各ピクセルに対して水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙとの比較結果に基づいて該当のピクセルがエッジであるか否かを判断してもよい。

エッジ判断部１０２は、ピクセルの勾配値Ｇが予め決定した閾値Ｔ以上であり、同時に少なくとも１つの他の条件を満足する場合にエッジとして判断する一方、１つの条件でも満足しない場合にはエッジではないもの（ｎｏｎ−ｅｄｇｅ）として判断する。

一例として、エッジ判断部１０２は、ピクセルの勾配値Ｇが閾値Ｔ以上であり（第１条件）水平方向の勾配値Ｇｘが垂直方向の勾配値Ｇｙよりも大きい場合（第２条件）には、水平方向の勾配値Ｇｘが該当のピクセルに隣接する左側ピクセルと右側ピクセルの勾配値よりも大きい場合（第３条件）、該当のピクセルをエッジとして判断してもよい。このとき、エッジ判断部１０２は、水平方向の勾配値Ｇｘが左側ピクセルと右側ピクセルそれぞれの水平方向の勾配値より予め決定された設定値（Ｖ）以上大きい場合に（第４条件）該当のピクセルをエッジとして判断してもよい。

一方、エッジ判断部１０２は、ピクセルの勾配値Ｇが閾値Ｔ以上であり（第１条件）、垂直方向の勾配値Ｇｙが水平方向の勾配値Ｇｘよりも大きい場合（第５条件）には、垂直方向の勾配値Ｇｙが該当のピクセルに隣接する上側ピクセルと下側ピクセルの勾配値よりも大きい場合（第６条件）、該当のピクセルをエッジとして判断してもよい。このとき、エッジ判断部１０２は、垂直方向の勾配値Ｇｙが上側ピクセルと下側ピクセルそれぞれの垂直方向の勾配値より設定値（Ｖ）以上大きい場合（第７条件）、該当のピクセルをエッジとして判断してもよい。

すなわち、エッジ判断部１０２は、前記第１条件を満足しつつ同時に前記第２条件ないし第４条件を全て満足したり、前記第５条件と第７条件を全て満足するケースに該当のピクセルを最終的にエッジとして判断してもよい。

このように、エッジ判断部１０２は、ピクセルの勾配値によって直ちにエッジ可否を判断することなく、水平方向の勾配値と垂直方向の勾配値を共に考慮した細線化処理によって厚いエッジの発生を除去することができる。結局、エッジの細線化処理によってエッジ周辺に発生し得る劣化現象を最小化することができる。

補間方向判断部１０３は、補間する補間領域（ｗｉｎｄｏｗ）内にエッジに該当するピクセルの存在可否を判断してもよく、補間領域にエッジが存在する場合、補間領域内で補間しようとするピクセル（以下、「補間ピクセル」と称する）の位置に応じて補間方向を判断してもよい。

図３を参照するに、補間方向判断部１０３は、補間領域３０１内に存在する全てのピクセルのエッジ可否を判断して補間領域３０１にエッジに該当するピクセルが存在する場合、補間ピクセルの位置を考慮して補間方向を判断してもよい。このとき、補間方向判断部１０３は、補間ピクセルの位置に応じて対角方向、垂直方向、水平方向に区分して補間方向を判断してもよい。

ピクセル代替部１０４は、補間方向に応じて補間ピクセルを基準にして補間領域を分割した後、補間領域内で周辺ピクセルのピクセル値を用いて各ピクセルのピクセル値を代替してもよい。

図４は、ピクセル代替部１０４の一例を示すブロック図である。図４を参照するに、ピクセル代替部１０４は、対角方向の補間方向に対して対角方向領域分割部４０１および対角方向ピクセル代替部４０２から構成され、垂直方向の補間方向に対して垂直方向領域分割部４０３および垂直方向ピクセル代替部４０４から構成され、水平方向の補間方向に対して水平方向領域分割部４０５および水平方向ピクセル代替部４０６から構成されてもよい。

図５は対角方向領域分割部４０１の動作を説明するための図であり、図６は対角方向ピクセル代替部４０２の動作を説明するための図である。

図５を参照するに、対角方向領域分割部４０１は、補間ピクセルを基準にして補間領域を４象限に分割してもよい。

図６を参照するに、対角方向ピクセル代替部４０２は、４象限それぞれに含まれたピクセルのエッジ有無に応じて参加ピクセルと非参加ピクセルとに分類した後、参加ピクセルのピクセル値を用いて非参加ピクセルのピクセル値を代替してもよい。このとき、ピクセル値は該当のピクセルの明度値を意味する。

対角方向ピクセル代替部４０２は、４象限で補間ピクセルと隣接した順にピクセルのエッジ可否を判断して参加ピクセルと非参加ピクセルとに分類してもよい。

例えば、対角方向ピクセル代替部４０２は、第１象限の領域にｉ、ｊ＋１、ｉ、ｊ＋２、ｉ−１、ｊ＋１、ｉ−１、ｊ＋２のピクセルが存在する場合、補間ピクセルと最も隣接したｉ、ｊ＋１のピクセルからエッジ可否を判断し、次にｉ、ｊ＋２、ｉ−１、ｊ＋１、ｉ−１、ｊ＋２の順にピクセルのエッジ可否を判断してもよい。このとき、ｉ、ｊ＋１を除いた残りのピクセルのエッジ有無の判断順序は変更され得る。

また、対角方向ピクセル代替部４０２は、ｉ、ｊ＋１のピクセルがエッジに該当する場合、以下全てのピクセル、すなわち、ｉ、ｊ＋１、ｉ、ｊ＋２、ｉ−１、ｊ＋１、ｉ−１、ｊ＋２のピクセル値を空きにして該当のピクセルを非参加ピクセルとして分類する。一方、ｉ、ｊ＋１のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ、ｊ＋１のピクセルを参加ピクセルとして分類した後、ｉ、ｊ＋２のピクセルに移動してｉ、ｊ＋２ピクセルのエッジ可否を判断する。このとき、ｉ、ｊ＋２のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ、ｊ＋２のピクセルを参加ピクセルとして分類し、エッジに該当する場合に対角方向ピクセル代替部４０２は、ｉ、ｊ＋２のピクセルのピクセル値を空きにして非参加ピクセルとして分類する。次に、ｉ−１、ｊ＋１に移動して該当のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋１のピクセルを参加ピクセルとして分類し、エッジに該当する場合に対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋１のピクセルのピクセル値を空きにして非参加ピクセルとして分類する。次に、ｉ−１、ｊ＋２に移動して該当のピクセルがエッジではない場合、対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋２のピクセルを参加ピクセルとして分類し、エッジに該当する場合に対角方向ピクセル代替部４０２は、ｉ−１、ｊ＋２のピクセルのピクセル値を空きにして非参加ピクセルとして分類する。

このとき、ピクセルのピクセル値を空きにするという意味は、ピクセル値を他の値に代替するため臨時的にピクセル値を消すことを意味する。

このような過程を第２象限、第３象限、第４象限に独立的に行って補間領域に含まれた全てのピクセルを参加ピクセルと非参加ピクセルとに分類してもよい。

対角方向ピクセル代替部４０２は、補間領域内ピクセルを参加ピクセルと非参加ピクセルに分類した後、参加ピクセルのピクセル値を用いてピクセル値を空いた非参加ピクセルの新しいピクセル値を算出してもよい。例えば、対角方向ピクセル代替部４０２は、参加ピクセルの平均ピクセル値を算出した後、算出された平均ピクセル値を全ての非参加ピクセルに対するピクセル値に代替してもよい。

図７は、垂直方向領域分割部４０３の動作を説明するための図であり、図８は、垂直方向ピクセル代替部４０４の動作を説明するための図である。図７を参照するに、垂直方向領域分割部４０３は、補間ピクセルを基準にして垂直方向に前記補間領域の一部を分割してもよい。垂直方向領域分割部４０３は、補間方向が垂直方向である場合、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして垂直線上に位置するピクセルを用いてもよい。

垂直方向ピクセル代替部４０４は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替してもよい。垂直方向ピクセル代替部４０４は、該当の領域内ピクセルのエッジ有無に応じる垂直配置の形態を判断した後、判断された垂直配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。

図７のように４×４構造の補間領域を用いる場合、垂直方向領域分割部４０３は、補間領域で補間ピクセルを基準にして垂直方向に位置する４個のピクセルを含む領域を分割してもよい。

図８を参照するに、分割された補間領域に含まれたピクセルのエッジ有無に応じて、ピクセルの垂直配置の形態を６つの場合の数に分類してもよい。

垂直方向ピクセル代替部４０４は、垂直配置の形態別に予め定義されたピクセル代替式を用いて分割された補間領域内ピクセルのピクセル値を代替してもよい。

このとき、分割された補間領域内ピクセルの垂直配置の形態が図８に示す１のケースに該当する場合、そのピクセル代替式は式（２）のように定義してもよい。式（２）によれば、ｉ−１、ｊとｉ＋２、ｊのピクセル値はｉ、ｊのピクセル値とｉ＋１、ｊのピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す２のケースに該当する場合、そのピクセル代替式は式（３）のように定義してもよい。式（３）によれば、ｉ−１、ｊとｉ＋２、ｊのピクセル値はｉ、ｊのピクセル値とｉ＋１、ｊのピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す３のケースに該当する場合、そのピクセル代替式は式（４）のように定義してもよい。式（４）によれば、ｉ−１、ｊとｉ、ｊのピクセル値はｉ＋１、ｊのピクセル値とｉ＋２、ｊのピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す４のケースに該当する場合、そのピクセル代替式は式（５）のように定義してもよい。式（５）によれば、ｉ−１、ｊ、ｉ、ｊとｉ＋２、ｊのピクセル値はｉ＋１、ｊのピクセル値に代替してもよい。

また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す５のケースに該当する場合、そのピクセル代替式は式（６）のように定義してもよい。式（６）によれば、ｉ＋１、ｊとｉ＋２、ｊのピクセル値はｉ−１、ｊのピクセル値とｉ、ｊのピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの垂直配置の形態が図８に示す６のケースに該当する場合、そのピクセル代替式は式（７）のように定義してもよい。式（７）によれば、ｉ−１、ｊ、ｉ＋１、ｊとｉ＋２、ｊのピクセル値はｉ、ｊのピクセル値に代替してもよい。

図９は水平方向領域分割部４０５の動作を説明するための図であり、図１０は水平方向ピクセル代替部４０６の動作を説明するための図である。図９を参照するに、水平方向領域分割部４０５は、補間ピクセルを基準にして水平方向に前記補間領域の一部を分割してもよい。水平方向領域分割部４０５は、補間方向が水平方向である場合、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして水平線上に位置するピクセルを用いてもよい。

水平方向ピクセル代替部４０６は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替してもよい。水平方向ピクセル代替部４０６は、該当の領域内ピクセルのエッジ有無に応じて水平配置の形態を判断した後、判断された水平配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。

図９に示すように、４×４構造の補間領域を用いる場合、水平方向領域分割部４０５は、補間領域で補間ピクセルを基準にして水平方向に位置する４個のピクセルを含む領域を分割してもよい。

図１０を参照するに、分割された補間領域に含まれたピクセルのエッジ有無に応じてピクセルの水平配置の形態を６つの場合の数に分類してもよい。

水平方向ピクセル代替部４０６は、水平配置の形態別に予め定義されたピクセル代替式を用いて分割された補間領域内ピクセルのピクセル値を代替してもよい。

このとき、分割された補間領域内ピクセルの水平配置の形態が図１０に示す１のケースに該当する場合、そのピクセル代替式は式（８）のように定義してもよい。式（８）によれば、ｉ、ｊ−１とｉ、ｊ＋２のピクセル値はｉ、ｊのピクセル値とｉ、ｊ＋１のピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの水平配置の形態が図１０の２ケースに該当する場合、そのピクセル代替式は式（９）のように定義してもよい。式（９）によれば、ｉ、ｊ−１とｉ、ｊ＋２のピクセル値はｉ、ｊのピクセル値とｉ、ｊ＋１のピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す３のケースに該当する場合、そのピクセル代替式は式（１０）のように定義してもよい。式（１０）によれば、ｉ、ｊ−１とｉ、ｊのピクセル値はｉ、ｊ＋１のピクセル値とｉ、ｊ＋２のピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す４のケースに該当する場合、そのピクセル代替式は式（１１）のように定義してもよい。式（１１）によれば、ｉ、ｊ−１、ｉ、ｊとｉ、ｊ＋２のピクセル値はｉ、ｊ＋１のピクセル値に代替してもよい。

また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す５のケースに該当する場合、そのピクセル代替式は式（１２）のように定義してもよい。式（１２）によれば、ｉ、ｊ＋１とｉ、ｊ＋２のピクセル値はｉ、ｊ−１のピクセル値とｉ、ｊのピクセル値の平均に代替してもよい。

また、分割された補間領域内ピクセルの水平配置の形態が図１０に示す６のケースに該当する場合、そのピクセル代替式は式（１３）のように定義してもよい。式（１３）によれば、ｉ、ｊ−１、ｉ、ｊ＋１とｉ、ｊ＋２のピクセル値はｉ、ｊのピクセル値に代替してもよい。

ピクセル代替部１０４は、補間方向に応じて補間領域を分割して補間領域内ピクセルのピクセル値を代替することによって、補間領域に存在するピクセルのうち補間に使用できないピクセルを分離し、補間時に分離されたピクセルのピクセル値を排除してもよい。すなわち、ピクセル代替部１０４は、補間ピクセルが占めている物体とは全く関係のないピクセルを除去することができ、ブラーによる画質の低下を改善することができる。

補間実行部１０５は、補間方向に応じて領域分割およびピクセル代替過程が完了すれば、代替されたピクセル値を用いて補間ピクセルの補間を実行してもよい。補間実行部１０５は、ピクセル代替部１０４で領域分割によって分類された補間に参加するピクセル値、すなわち周辺ピクセルのエッジ有無に応じて代替されたピクセル値を用いて補間を実行することができる。

図１１は、本発明の一実施形態に係る映像補間方法を示す動作フローチャートである。

本発明の一実施形態に係る映像補間方法において、低解像度の入力映像を高解像度に補間する過程は次のような過程を含んでもよい。

本発明の一実施形態に係る映像補間方法は、入力映像に対して各ピクセルの勾配値Ｇを算出する（１１０１）。

このとき、各ピクセルの勾配値Ｇを算出するステップ１１０１は、該当のピクセルに対して水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙを算出した後、算出された水平方向の勾配値Ｇｘと垂直方向の勾配値Ｇｙの絶対値の和に該当のピクセルの勾配値Ｇを算出してもよい。

また、本発明の一実施形態に係る映像補間方法は各ピクセルの勾配値Ｇを用いてエッジの有無判断を実行する（１１０２）。

このとき、各ピクセルのエッジ可否を判断するステップ１１０２は、該当のピクセルの勾配値Ｇに対して細線化処理を経た後にエッジ可否を判断してもよい。

各ピクセルのエッジ可否を判断するステップ１１０２は、次のような過程を含んでもよい。

図１２を参照するに、各ピクセルのエッジ可否を判断するステップ１１０２は、第１条件（１２０１）、第２条件（１２０２）、第３条件（１２０３）、および第４条件（１２０４）を同時に満足する場合、該当のピクセルをエッジと判断する（１２０５）。

一例として、第１条件（１２０１）は、該当のピクセル（ｉ、ｊ）の勾配値Ｇが閾値Ｔ以上でなければならない条件である。第２条件（１２０２）は、水平方向の勾配値Ｇｘ（ｉ、ｊ）が垂直方向の勾配値Ｇｙ（ｉ、ｊ）以上でなければならない条件である。また、第３条件（１２０３）は、水平方向の勾配値Ｇｘ（ｉ、ｊ）が該当のピクセルに隣接する左側ピクセル（ｉ、ｊ−１）の水平方向の勾配値Ｇｘ（ｉ、ｊ−１）および右側ピクセル（ｉ、ｊ＋１）の水平方向の勾配値Ｇｘ（ｉ、ｊ＋１）以上でなければならない条件である。また、第４条件（１２０４）は、左側ピクセル（ｉ、ｊ−１）の水平方向の勾配値Ｇｘ（ｉ、ｊ−１）と右側ピクセル（ｉ、ｊ＋１）の水平方向の勾配値Ｇｘ（ｉ、ｊ＋１）の２つのうち大きい値と該当のピクセル（ｉ、ｊ）の水平方向の勾配値Ｇｘ（ｉ、ｊ）との間の差異値の絶対値が設定値（Ｖ）以上でなければならない条件である。

また、各ピクセルのエッジ可否を判断するステップ１１０２は、第１条件（１２０１）、第５条件（１２０６）、第６条件（１２０７）および第７条件（１２０８）を同時に満足する場合、該当のピクセルをエッジと判断する（１２０５）。

一例として、第５条件（１２０６）は、垂直方向の勾配値Ｇｙ（ｉ、ｊ）が水平方向の勾配値Ｇｘ（ｉ、ｊ）以上でなければならない条件である。第６条件（１２０７）は、垂直方向の勾配値Ｇｙ（ｉ、ｊ）が該当のピクセルに隣接する上側ピクセル（ｉ−１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ−１、ｊ）および下側ピクセル（ｉ＋１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ＋１、ｊ）以上でなければならない条件である。また、第７条件（１２０８）は、上側ピクセル（ｉ−１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ−１、ｊ）と下側ピクセル（ｉ＋１、ｊ）の垂直方向の勾配値Ｇｙ（ｉ＋１、ｊ）Ｇｙ（ｉ＋１、ｊ）の２つのうち大きい値と該当のピクセル（ｉ、ｊ）の垂直方向の勾配値Ｇｙ（ｉ、ｊ）との間の差異値の絶対値が設定値（Ｖ）以上でなければならない条件である。

また、各ピクセルのエッジ可否を判断するステップ１１０２は、第１条件〜第４条件（１２０１〜１２０４）および第５条件〜第７条件（１２０６〜１２０８）のうちいずれか１つの条件にも満足しない場合、該当のピクセルをｎｏｎ−ｅｄｇｅと判断する（１２０９）。

したがって、各ピクセルのエッジ可否を判断するステップ１１０２は、該当のピクセルの勾配値Ｇが予め決定した閾値Ｔ以上でありながら、同時に他の条件を全て満足する場合にエッジとして判断する一方、そのうち１つの条件にも満足しない場合はノンエッジとして判断する。

再び図１１において、本発明の一実施形態に係る映像補間方法は、補間領域内にエッジに該当するピクセルの存在可否を判断した後（１１０３）、補間領域にエッジが存在する場合、補間領域内で補間ピクセルの位置に応じて補間方向を判断する（１１０４）。

このとき、補間ピクセルの補間方向を判断するステップ１１０４は、補間ピクセルの位置に応じて対角方向、垂直方向、水平方向に区分してもよい。

また、本発明の一実施形態に係る映像補間方法は、補間方向が対角方向の場合に対角方向に対する領域分割およびピクセル代替を行なう（１１０５）。

対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は次のような過程を含んでもよい。

図１３を参照するに、対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は、補間ピクセルを基準にして補間領域を４象限に分割する（１３０１）。

また、対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は、４象限それぞれに含むピクセルのエッジ有無に応じて、参加ピクセルと非参加ピクセルに分類する（１３０２）。このとき、参加ピクセルと非参加ピクセルに分類するステップ１３０２は、４象限において独立的に行って補間ピクセルと隣接した順にそれぞれ４象限に含まれたピクセルのエッジ可否を判断して参加ピクセルと非参加ピクセルに分類してもよい。

また、対角方向に対する領域分割およびピクセル代替を行うステップ１１０５は、参加ピクセルのピクセル値を用いて非参加ピクセルのピクセル値を代替してもよい。このとき、非参加ピクセルのピクセル値を代替するステップは、補間領域内の全ての参加ピクセルの平均ピクセル値を算出した後（１３０３）、算出された平均ピクセル値を全ての非参加ピクセルに対するピクセル値に代替する（１３０４）。

再び図１１において、本発明の一実施形態に係る映像補間方法は、補間方向が垂直方向である場合、垂直方向に対する領域分割およびピクセル代替を行う（１１０６）。

垂直方向に対する領域分割およびピクセル代替を行うステップ１１０６は次のような過程を含んでもよい。

図１４を参照するに、垂直方向に対する領域分割およびピクセル代替を行うステップ１１０６は、補間ピクセルを基準にして垂直方向に補間領域の一部を分割する（１４０１）。このとき、補間領域の一部を分割するステップ１４０１は、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして垂直線上に位置するピクセルを含む領域を分割してもよい。

また、垂直方向に対する領域分割およびピクセル代替を行うステップ１１０６は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替する（１４０２）。このとき、水平方向に対するピクセル代替を行うステップ１４０２は、該当の領域内ピクセルのエッジ有無に応じる垂直配置の形態を判断した後、判断された垂直配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。

再び図１１において、本発明の一実施形態に係る映像補間方法は、補間方向が水平方向である場合、水平方向に対する領域分割およびピクセル代替を行なう（１１０７）。

水平方向に対する領域分割およびピクセル代替を行うステップ１１０７は次のような過程を含んでもよい。

図１５を参照するに、水平方向に対する領域分割およびピクセル代替を行うステップ１１０７は、補間ピクセルを基準にして水平方向に補間領域の一部を分割する（１５０１）。このとき、補間領域の一部を分割するステップ１５０１は、補間領域内に含まれたピクセルのうち補間ピクセルを基準にして水平線上に位置するピクセルを含む領域を分割してもよい。

また、水平方向に対する領域分割およびピクセル代替を行うステップ１１０７は、分割された補間領域に含まれたピクセルのピクセル値を該当の領域内の周辺ピクセルのピクセル値を用いて代替する（１５０２）。このとき、水平方向に対するピクセル代替を行うステップ１５０２は、該当の領域内ピクセルのエッジ有無に応じる水平配置の形態を判断した後、判断された水平配置の形態に対して予め定義されたピクセル代替式を用いて該当の領域内ピクセルのピクセル値を代替してもよい。

再び図１１において、本発明の一実施形態に係る映像補間方法は、補間方向に応じて領域分割およびピクセル代替過程が完了すれば、代替されたピクセル値を用いて補間ピクセルの補間を実行する（１１０８）。

したがって、映像補間方法は、細線化処理により厚いエッジの発生を除去し、補間方向に係る領域分割およびピクセル代替過程を介してエッジによって分離された領域を精巧に処理することで、さらに鮮明な高解像度の映像を提供することができる。

本発明の実施形態に係る映像補間方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。前記コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むものでもよい。前記媒体に記録されるプログラム命令は、本発明の目的のために特別に設計され構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータで読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェア階層で作動するように構成されてもよい。

上述したように、本発明は、一例として限定された実施形態と図面とによって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。

したがって、本発明の範囲は説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。

Claims (19)

1. 入力映像に対して各ピクセルの勾配値を算出する勾配算出部と、
   前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するエッジ判断部と、
   補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断する補間方向判断部と、
   前記補間方向に応じて前記補間するピクセルを基準にして前記補間領域を分割した後、前記補間領域内ピクセルのピクセル値を代替するピクセル代替部と、
   前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行する補間実行部と、
   を備えることを特徴とする映像補間装置。
2. 前記勾配算出部は、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値を用いて前記ピクセルの勾配値を算出することを特徴とする請求項１に記載の映像補間装置。
3. 前記エッジ判断部は、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値との比較結果に基づいて前記ピクセルがエッジであるか否かを判断することを特徴とする請求項１に記載の映像補間装置。
4. 前記ピクセル代替部は、
   前記補間方向が対角方向である場合、前記補間するピクセルを基準にして前記補間領域を４象限に分割する対角方向領域分割部と、
   前記４象限それぞれに含まれたピクセルをエッジ有無に応じて参加ピクセルと非参加ピクセルに分類した後、前記参加ピクセルのピクセル値を用いて前記非参加ピクセルのピクセル値を代替する対角方向ピクセル代替部と、
   を備えることを特徴とする請求項１に記載の映像補間装置。
5. 前記対角方向ピクセル代替部は、前記補間するピクセルと隣接した順に前記４象限それぞれに含まれたピクセルのエッジ可否を判断して前記参加ピクセルと非参加ピクセルに分類することを特徴とする請求項４に記載の映像補間装置。
6. 前記ピクセル代替部は、
   前記補間方向が垂直方向である場合、前記補間するピクセルを基準にして垂直方向に前記補間領域の一部を分割する垂直方向領域分割部と、
   前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替する垂直方向ピクセル代替部と、
   を備えることを特徴とする請求項１に記載の映像補間装置。
7. 前記垂直方向ピクセル代替部は、前記補間領域に含まれたピクセルによる垂直配置の形態を判断した後、前記垂直配置の形態に対して予め定義されたピクセル代替式を用いて前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項６に記載の映像補間装置。
8. 前記ピクセル代替部は、
   前記補間方向が水平方向である場合、前記補間するピクセルを基準にして水平方向に前記補間領域の一部を分割する水平方向領域分割部と、
   前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替する水平方向ピクセル代替部と、
   を備えることを特徴とする請求項１に記載の映像補間装置。
9. 前記水平方向ピクセル代替部は、前記補間領域に含まれたピクセルによる水平配置の形態を判断した後、前記水平配置の形態に対して予め定義されたピクセル代替式を用いて前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項８に記載の映像補間装置。
10. 入力映像に対して各ピクセルの勾配値を算出するステップと、
    前記勾配値を用いて前記ピクセルがエッジに該当するピクセルであるか否かを判断するステップと、
    補間領域内にエッジに該当するピクセルが存在する場合、前記補間領域内で補間するピクセルの位置に応じて補間方向を判断するステップと、
    前記補間方向に応じて前記補間するピクセルを基準にして前記補間領域を分割した後、前記補間領域内ピクセルのピクセル値を代替するステップと、
    前記代替されたピクセル値を用いて前記補間するピクセルの補間を実行するステップと、
    を含むことを特徴とする映像補間方法。
11. 前記勾配値を算出するステップは、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値を用いて前記ピクセルの勾配値を算出することを特徴とする請求項１０に記載の映像補間方法。
12. 前記ピクセルがエッジに該当するピクセルであるか否かを判断するステップは、前記ピクセルに対して水平方向の勾配値と垂直方向の勾配値との比較結果に基づいて前記ピクセルがエッジであるか否かを判断することを特徴とする請求項１０に記載の映像補間方法。
13. 前記補間領域内ピクセルのピクセル値を代替するステップは、
    前記補間方向が対角方向である場合、前記補間するピクセルを基準にして前記補間領域を４象限に分割するステップと、
    前記４象限それぞれに含まれたピクセルをエッジ有無に応じて参加ピクセルと非参加ピクセルに分類した後、前記参加ピクセルのピクセル値を用いて前記非参加ピクセルのピクセル値を代替するステップと、
    を含むことを特徴とする請求項１０に記載の映像補間方法。
14. 前記参加ピクセルと非参加ピクセルに分類するステップは、前記補間するピクセルと隣接した順に前記４象限それぞれに含まれたピクセルのエッジ可否を判断して前記参加ピクセルと非参加ピクセルに分類することを特徴とする請求項１３に記載の映像補間方法。
15. 前記補間領域内ピクセルのピクセル値を代替するステップは、
    前記補間方向が垂直方向である場合、前記補間するピクセルを基準にして垂直方向に前記補間領域の一部を分割するステップと、
    前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替するステップと、
    を含むことを特徴とする請求項１０に記載の映像補間方法。
16. 前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替するステップは、前記補間領域に含まれたピクセルによる垂直配置の形態を判断した後、前記垂直配置の形態に対して予め定義されたピクセル代替式を用いて前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項１５に記載の映像補間方法。
17. 前記補間領域内ピクセルのピクセル値を代替するステップは、
    前記補間方向が水平方向である場合、前記補間するピクセルを基準にして水平方向に前記補間領域の一部を分割するステップと、
    前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替するステップと、
    を含むことを特徴とする請求項１０に記載の映像補間方法。
18. 前記分割された補間領域内ピクセルのピクセル値を周辺ピクセルのピクセル値を用いて代替するステップは、前記補間領域に含まれたピクセルによる水平配置の形態を判断した後、前記水平配置の形態に対して予め定義されたピクセル代替式を用いて前記補間領域内ピクセルのピクセル値を代替することを特徴とする請求項１７に記載の映像補間方法。
19. 請求項１０〜請求項１８のいずれか一項の方法を行うプログラムを記録したコンピュータ読み出し可能な記録媒体。

Images