JP2020061693A - 補間フレーム生成装置及び方法 - Google Patents

Abstract

【課題】補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外領域に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる補間フレーム生成装置を提供する。【解決手段】位相情報生成部３は、補間フレームの位相を示す位相情報ｉを生成する。抽出画素決定部４は、補間画素Ｐｉを生成するために検出された動きベクトルＭＶと第１及び第２のフレームとが交差する第１及び第２の動きベクトル交差画素Ｐ０，Ｐ１を生成し、動きベクトル交差画素Ｐ０，Ｐ１に基づいて抽出画素Ｐ０Ｉ，Ｐ１Ｉを決定する。補間位相選択部５は、位相情報ｉと第１及び第２の動きベクトル交差画素Ｐ０，Ｐ１が有効画素範囲外領域か否か、とに基づいて、補間位相を選択する。補間画素生成部６０は、第１及び第２の抽出画素Ｐ０Ｉ，Ｐ１Ｉと補間位相とに基づいて補間画素Ｐｉを生成する。【選択図】図１

Description

本発明は、一対の実フレーム間に内挿する補間フレームを生成するための補間フレーム生成装置及び方法に関する。

近年、テレビなどの映像処理装置では、入力映像のフレーム間に補間フレームを挿入して出力する、いわゆるフレームレート変換が一般的に行われている。このように、入力されたフレームレートに対して高いフレームレートで出力することにより、滑らかでぼけの少ない動画を提供することができる。入力映像の連続するフレーム間の差異からフレーム間の動きベクトルを推定し、その動きベクトルと前後のフレームから挿入する補間フレームが生成される（例えば、特許文献１）。

特開２００８−２４５１３５号公報

補間フレーム内の補間画素の生成には、動きベクトルに基づいて選択される、一対の実フレーム双方の画素が必要である。しかしながら、動きベクトルに基づいて選択される画素が実フレームの有効画素範囲外領域に位置する場合がある。このような場合には、何らかの対処をして補間画素を生成することが必要となる。

特許文献１に記載の方法は、動きベクトルに基づいて選択される一対の実フレーム双方の画素のうち、有効画素範囲に位置する実フレーム内の画素のみを用いて補間画素を生成するいわゆる片側補間である。すなわち、正しい動きベクトルが検出されれば適切な補間画素が生成されるが、フレームの端部では正しい動きベクトルの検出が困難であり、動きベクトルが誤検出されると視覚的な違和感が大きくなってしまう。

本発明は、補間画素を生成するために動きベクトルに基づいて選択される画素が実フレームの有効画素範囲外領域に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる補間フレーム生成装置及び方法を提供することを目的とする。

本発明は、映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレームの位相を示す位相情報を生成する位相情報生成部と、前記補間フレーム内の補間画素を生成するために検出された動きベクトルと前記第１のフレームとが交差する第１の動きベクトル交差画素を生成し、前記動きベクトルと前記第２のフレームとが交差する第２の動きベクトル交差画素を生成し、前記第１の動きベクトル交差画素に基づいて第１の抽出画素を決定し、前記第２の動きベクトル交差画素に基づいて第２の抽出画素を決定する抽出画素決定部と、前記位相情報によって決まる前記補間フレームの位相と前記第１及び第２の動きベクトル交差画素が有効画素範囲外領域か否か、とに基づいて補間位相を選択する補間位相選択部と、前記第１及び第２の抽出画素と前記補間位相とに基づいて前記補間画素を生成する補間画素生成部と、を備える補間フレーム生成装置を提供する。

本発明は、映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレームの位相を示す位相情報を生成し、前記補間フレーム内の補間画素を生成するために検出された動きベクトルと前記第１のフレームとが交差する第１の動きベクトル交差画素を生成し、前記動きベクトルと前記第２のフレームとが交差する第２の動きベクトル交差画素を生成し、前記第１の動きベクトル交差画素に基づいて第１の抽出画素を決定し、前記第２の動きベクトル交差画素に基づいて第２の抽出画素を決定し、前記位相情報と前記第１の動きベクトル交差画素及び前記第２の動きベクトル交差画素が有効画素範囲外領域か否か、とに基づいて補間位相を選択し、前記補間位相と前記第１及び第２の抽出画素とに基づいて、前記補間画素を生成する補間フレーム生成方法を提供する。

本発明の補間フレーム生成装置及び方法によれば、動きベクトルに基づいて選択される画素が実フレームの有効画素範囲外領域に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる。

一実施形態の補間フレーム生成装置１００を備えるフレームレート変換装置の概略的な構成を示すブロック図である。 補間画素を生成するための画素が実フレームの有効画素範囲に位置する状態の一例を示す図である。 補間画素を生成するための画素が実フレームの有効画素範囲外領域に位置する状態の一例を示す図である。 抽出画素決定部４の動作の一例を示す図である。 抽出画素決定部４の動作の一例を示す図である。 抽出画素決定部４の動作の一例を示す図である。 抽出画素決定部４の動作の一例を示す図である。 抽出画素決定部４の動作の一例を示す図である。 補間位相選択部５の動作の一例を示す図である。 補間位相選択部５の動作の一例を示す図である。 補間位相選択部５の動作の一例を示す図である。 補間位相選択部５の動作の一例を示す図である。 一実施形態の補間フレーム生成装置１００の動作、及び、一実施形態の補間フレーム生成方法を示すフローチャートである。 補間位相選択部５の補間位相選択信号の選択条件を示す表である。

以下、一実施形態の補間フレーム生成装置及び方法について、添付図面を参照して説明する。まず、図１を用いて、一実施形態の補間フレーム生成装置１００を備えるフレームレート変換装置の概略的な構成及び動作を説明する。

図１は、本実施形態における補間フレーム生成装置１００の概略的な構成を示すブロック図である。補間フレーム生成装置１００は、図１に示すように、動きベクトル検出部１と、フレームメモリ２と、位相情報生成部３と、抽出画素決定部４と、補間位相選択部５と、補間フレーム内挿部６とを備えている。図１において、動きベクトル検出部１及びフレームメモリ２には、入力映像信号Ｓｉｎの各フレームｆ０（第１のフレーム）を構成する画素の画素値が順に入力される。入力映像信号Ｓｉｎのフレームレート（フレーム周波数）は、例えば２４Ｈｚである。フレームｆ０は実フレームであり、フレームｆ０を現在フレームとする。フレームメモリ２は、フレームｆ０の全画素の画素値を記憶する。

フレームメモリ２は、フレームｆ０を１フレーム期間遅延させて、フレームｆ０に対して１フレーム前のフレームｆ１（第２のフレーム）を動きベクトル検出部１に供給する。ここで、１フレーム期間とは、１フレームの全画素値をフレームメモリ２に入力するために必要な期間のことである。動きベクトル検出部１に供給されるフレームｆ１のフレームレートは２４Ｈｚである。フレームｆ１は実フレームである。フレームメモリ２は、フレームｆ１をフレームレート１２０Ｈｚで読み出して、補間フレーム内挿部６に供給する。すなわち、フレームメモリ２を用いて、フレームレートの変換を行う。

動きベクトル検出部１に供給されるフレームｆ１と、補間フレーム内挿部６に供給されるフレームｆ１とはフレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームｆ１と称する。

フレームｆ０は、フレームメモリ２によって遅延され、フレームレート１２０Ｈｚに変換されて、補間フレーム内挿部６に供給される。フレームメモリ２によって遅延される時間は、後述する動きベクトルＭＶを、動きベクトル検出部１が検出するために要する時間に相当する。例えば、フレームメモリ２によって遅延される時間は、数十ライン相当とすることができる。ここで、１ラインとは入力映像信号Ｓｉｎの水平方向の画素数を示し、１ライン相当の時間とは、１ラインの画素値をフレームメモリ２に入力するために必要な時間のことである。

フレームメモリ２に入力されるフレームｆ０と補間フレーム内挿部６に供給されるフレームｆ０とは、数十ライン程度の時間分ずれており、フレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームｆ０と称する。

動きベクトル検出部１は、フレームｆ０内の複数の画素よりなるブロックとフレームｆ１内の複数の画素よりなるブロックとの差分値を算出し、差分値の小さい方向に基づき、動きベクトルＭＶを検出する。

なお、複数の画素よりなるブロック間の差分値の算出方法は種々の公知技術を用いればよい。例えば、フレームｆ０内の画素とフレームｆ１内の画素との画素値の差分値を算出し、その差分値の絶対値を算出し、ブロックごとにその差分値の総和を求めることでブロック間の差分値を算出してもよい。

動きベクトルＭＶはフレームメモリ２に一旦書き込まれ、フレームレート１２０Ｈｚのフレームに対応するようにレートが変換されて、抽出画素決定部４に供給される。動きベクトル検出部１より出力される動きベクトルＭＶと、抽出画素決定部４に供給される動きベクトルＭＶとはレートが異なるが、両者は同じ動きベクトルであるため、双方を動きベクトルＭＶと称する。

ここで、本実施形態における補間フレーム生成装置１００が生成するフレームを補間フレームｆｉとする。前述のとおり、フレームメモリ２はフレームレート１２０Ｈｚでフレームｆ０とフレームｆ１とを読み出して、補間フレーム内挿部６にこれらのフレームを供給する。従って、補間フレーム内挿部６は、フレームｆ０とフレームｆ１との位相差を１とした場合、フレームｆ０とフレームｆ１との間にそれぞれ位相が０．２ずつ異なる補間フレームｆｉを４枚挿入して、フレームレート１２０Ｈｚの出力映像信号Ｓｏｕｔを生成する。

図２は、動きベクトル交差画素Ｐ０及び動きベクトル交差画素Ｐ１が有効画素範囲に位置している例を示す。補間フレームｆｉ内の補間画素Ｐｉを生成するために検出された動きベクトルＭＶと、フレームｆ０とが、図２に示すように図上で交差する位置を動きベクトル交差画素Ｐ０とする。補間フレームｆｉ内の補間画素Ｐｉを生成するために検出された動きベクトルＭＶと、フレームｆ１とが、図２に示すように図上で交差する位置を動きベクトル交差画素Ｐ１とする。

１フレームの有効画素範囲とは、フルＨＤの映像信号を例とすると、水平１９２０画素、垂直１０８０画素の領域である。有効画素範囲外領域とは、１フレームの表示領域のうち有効画素範囲の外部の領域であって、正しい補間画素Ｐｉを生成することができる画素が存在しない領域である。水平１９２０画素、垂直１０８０画素のフレームの内部であっても、例えばフレームの上下端部が一様の黒とされているレターボックス形式の画像がある。映像信号がこのような画像からなる信号である場合には、黒の画素を用いて正しい補間画素Ｐｉを生成することはできない。フレームの一部が黒等の、固定色、固定輝度、または固定画素値の画素となっている場合には、固定色、固定輝度、または固定画素値の画素以外の領域が有効画素範囲となる。

補間フレーム内挿部６は補間画素生成部６０を備える。仮に、動きベクトルＭＶがそのまま補間画素生成部６０に供給されるとすれば、図２に示すように、補間画素生成部６０は、動きベクトル交差画素Ｐ０及びＰ１の画素の画素値を用いて、補間フレームｆｉ内の補間画素Ｐｉを生成する。

図３は、動きベクトル交差画素Ｐ０がフレームｆ０の有効画素範囲外領域に位置している例を示す。補間画素生成部６０が動きベクトルＭＶをそのまま用いて補間画素Ｐｉを生成しようとすると、動きベクトル交差画素Ｐ０またはＰ１が有効画素範囲外領域に位置するため、適切な補間画素Ｐｉを生成できないことがある。

再び図１に戻り、動きベクトルＭＶに基づいて選択される画素がフレームｆ０またはフレームｆ１の有効画素範囲外領域に位置する場合であっても、視覚的な違和感の少ない補間画素Ｐｉを生成するための具体的な構成を説明する。

図１において、フレームメモリ２及び位相情報生成部３には、フレームｆ０と補間フレームｆｉとの位相差を示す位相情報ｉを決定するための入力タイミング信号ｃｎｔが供給される。入力タイミング信号ｃｎｔは、例えば補間フレームｆｉ内の水平方向の位置を示す水平カウンタと、水平カウンタがリセットするタイミング毎にインクリメントする垂直カウンタとで構成することができる。ここで、水平カウンタがリセットするタイミングとは、入力映像信号Ｓｉｎにおける、任意の１ラインの全画素値がフレームメモリ２へ入力され、次のラインの最初の画素値がフレームメモリ２へ入力されるタイミングのことである。入力映像信号Ｓｉｎの垂直同期信号がリセットするときに、垂直カウンタは値を０にリセットする。垂直同期信号がリセットするタイミングとは、入力映像信号Ｓｉｎにおける、任意のフレームの全画素値がフレームメモリ２へ入力され、次のフレームの最初の画素値がフレームメモリ２へ入力されるタイミングのことである。

位相情報生成部３は、入力タイミング信号ｃｎｔに基づいて位相情報ｉを生成する。位相情報ｉは、フレームｆ０とフレームｆ１との位相差を１とした場合、０以上１未満の範囲（０≦ｉ＜１）の値とすることができる。例えば位相情報生成部３は、垂直カウンタの上限が有効画素範囲の垂直ライン数である場合、垂直カウンタを有効画素範囲の垂直ライン数で除算した値を位相情報ｉとして生成することができる。位相情報生成部３は、生成した位相情報ｉを抽出画素決定部４と、補間位相選択部５に供給する。

抽出画素決定部４には、フレームメモリ２から動きベクトルＭＶが、位相情報生成部３から位相情報ｉがそれぞれ供給される。抽出画素決定部４は、動きベクトルＭＶと位相情報ｉとに基づいてフレームｆ０における、補間画素Ｐｉを生成するための画素を示す抽出画素Ｐ０Ｉと、フレームｆ１における、補間画素Ｐｉを生成するための画素を示す抽出画素Ｐ１Ｉとを決定する。

図４は、動きベクトル交差画素Ｐ０及び動きベクトル交差画素Ｐ１が有効画素範囲に位置している場合の、抽出画素決定部４の動作を示す。抽出画素決定部４は、図４に示すように、フレームｆ１からの位相差が位相情報ｉの値と同じ値ｄであり、かつフレームｆ０からの位相差が、１から位相情報ｉの値を減算した値（１−ｄ）である補間フレームｆｉの位相を算出する。ここで、フレームｆ０の位相とフレームｆ１の位相との位相差は１とする。

抽出画素決定部４は、図４に示すように補間画素Ｐｉを生成するために検出された動きベクトルＭＶと、フレームｆ０とが交差する動きベクトル交差画素Ｐ０を算出する。抽出画素決定部４は、補間画素Ｐｉを生成するために検出された動きベクトルＭＶと、フレームｆ１とが交差する動きベクトル交差画素Ｐ１を算出する。

抽出画素決定部４は、動きベクトル交差画素Ｐ０が有効画素範囲外領域か否かを示す信号として、有効画素範囲外フラグｆｌｇ０を生成する。抽出画素決定部４は、動きベクトル交差画素Ｐ１が有効画素範囲外領域か否かを示す信号として、有効画素範囲外フラグｆｌｇ１を生成する。有効画素範囲外フラグｆｌｇ０の値が０である場合、動きベクトル交差画素Ｐ０は有効画素範囲に位置することを示し、有効画素範囲外フラグｆｌｇ０の値が１である場合、動きベクトル交差画素Ｐ０は有効画素範囲外領域に位置することを示す。有効画素範囲外フラグｆｌｇ１の値が０である場合、動きベクトル交差画素Ｐ１は有効画素範囲に位置することを示し、有効画素範囲外フラグｆｌｇ１の値が１である場合、動きベクトル交差画素Ｐ１は有効画素範囲外領域に位置することを示す。

抽出画素決定部４は、図４に示すように動きベクトル交差画素Ｐ０が有効画素範囲の画素Ｐ０２だった場合、有効画素範囲外フラグｆｌｇ０の値を、有効画素範囲を示す０に設定し、画素Ｐ０２を、抽出画素Ｐ０Ｉに決定する。

図５は、動きベクトル交差画素Ｐ０が有効画素範囲外領域に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲に位置している場合の、抽出画素決定部４の動作の一例を示す。抽出画素決定部４は、図５に示すように動きベクトル交差画素Ｐ０が有効画素範囲外領域の位置Ｐ０（−５）だった場合、抽出画素Ｐ０Ｉをフレームｆ０の有効画素範囲の所定の位置に決定し、有効画素範囲外フラグｆｌｇ０の値を、有効画素範囲外領域を示す１に設定する。

抽出画素決定部４は、フレームｆ０の有効画素範囲の所定の画素を、例えば図５に示すように水平方向成分のみを有する動きベクトルＭＶと有効画素範囲の輪郭とが交差する画素Ｐ００とし、画素Ｐ００を抽出画素Ｐ０Ｉに決定する。

図６は、動きベクトル交差画素Ｐ０が有効画素範囲外領域に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲に位置している場合の、抽出画素決定部４の動作のさらなる一例を示す。抽出画素決定部４は、フレームｆ０の有効画素範囲の所定の画素を、例えば図６に示すように、補間画素Ｐｉと同位置のフレームｆ０の画素Ｐ０２とし、画素Ｐ０２を抽出画素Ｐ０Ｉに決定する。抽出画素決定部４は、フレームｆ０の有効画素範囲の所定の画素を、先に述べた画素Ｐ００等と異なる画素に決定しても良い。

抽出画素決定部４は、図４に示すように動きベクトル交差画素Ｐ１が有効画素範囲の画素Ｐ１１３だった場合、有効画素範囲外フラグｆｌｇ１の値を、有効画素範囲を示す０に設定し、画素Ｐ１１３を、抽出画素Ｐ１Ｉとして決定する。

図７は、動きベクトル交差画素Ｐ０が有効画素範囲に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲外領域に位置している場合の、抽出画素決定部４の動作の一例を示す。抽出画素決定部４は、図７に示すように動きベクトル交差画素Ｐ１が有効画素範囲外領域の画素Ｐ１（−２）だった場合、抽出画素Ｐ１Ｉをフレームｆ１の有効画素範囲の所定の画素に決定し、有効画素範囲外フラグｆｌｇ１の値を、有効画素範囲外領域を示す１に設定する。

抽出画素決定部４は、フレームｆ１の有効画素範囲の所定の画素を、例えば図７に示すように水平方向成分のみを有する動きベクトルＭＶと有効画素範囲の輪郭とが交差する画素Ｐ１０とし、画素Ｐ１０を抽出画素Ｐ１Ｉに決定する。

図８は、動きベクトル交差画素Ｐ０が有効画素範囲に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲外領域に位置している場合の、抽出画素決定部４の動作のさらなる一例を示す。抽出画素決定部４は、フレームｆ１の有効画素範囲の所定の画素を、例えば図８に示すように、補間画素Ｐｉと同位置のフレームｆ１の画素Ｐ１２とし、画素Ｐ１２を抽出画素Ｐ１Ｉに決定する。抽出画素決定部４は、フレームｆ１の有効画素範囲の所定の画素を、先に述べた画素Ｐ１０等と異なる画素に決定しても良い。

ここまで抽出画素決定部４の説明として、図４〜図８に示すように、動きベクトルＭＶが水平方向成分のみを有する場合のみを述べたが、動きベクトル検出部１は、垂直方向の成分のみを有する動きベクトルＭＶを検出する。また、動きベクトル検出部１は、水平方向及び垂直方向の成分を有する動きベクトルＭＶを検出する。抽出画素決定部４は、動きベクトルＭＶが垂直方向の成分のみを有する場合、または動きベクトルＭＶが水平方向及び垂直方向の成分を有する場合でも、動きベクトルＭＶが通る有効画素範囲の最も端の画素を、有効画素範囲の所定の画素とすればよい。なお、動きベクトルＭＶが通る有効画素範囲の最も端の画素とは、動きベクトルＭＶと有効画素範囲の輪郭とが交差する画素とする。

抽出画素決定部４が決定する抽出画素Ｐ０Ｉは、補間画素Ｐｉを基準としてフレームｆ０内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルとで構成することができる。抽出画素決定部４が決定する抽出画素Ｐ１Ｉは、補間画素Ｐｉを基準としてフレームｆ１内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルとで構成することができる。

抽出画素決定部４は、決定した抽出画素Ｐ０Ｉと、抽出画素Ｐ１Ｉとを、抽出画素信号として補間画素生成部６０に供給する。抽出画素決定部４は、設定した有効画素範囲外フラグｆｌｇ０と、有効画素範囲外フラグｆｌｇ１とを、有効画素範囲外信号として補間位相選択部５に供給する。

補間位相選択部５には、位相情報生成部３から位相情報ｉが供給され、抽出画素決定部４から有効画素範囲外フラグｆｌｇ０及び有効画素範囲外フラグｆｌｇ１が有効画素範囲外信号として供給される。補間位相選択部５は、図４に示すように、フレームｆ１からの位相差が位相情報ｉの値と同じ値ｄであり、かつフレームｆ０からの位相差が、１から位相情報ｉの値を減算した値（１−ｄ）である補間フレームｆｉの位相を算出する。ここで、フレームｆ０の位相とフレームｆ１の位相との位相差は１とする。補間に用いる画素が属するフレームのことを補間位相とし、補間位相選択部５は、補間位相を選択する。

図９は、動きベクトル交差画素Ｐ０が有効画素範囲外領域に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲に位置する場合の、補間位相選択部５の動作の一例を示す。図１４は、補間位相選択部５の補間位相選択信号ｓｅｌの選択条件を示す表である。図９と図１４とは、有効画素範囲外フラグｆｌｇ０の値が有効画素範囲外領域を示す１であり、かつ有効画素範囲外フラグｆｌｇ１の値が有効画素範囲を示す０であり、かつ有効画素範囲外領域を差すフラグを有するフレームｆ０と補間フレームｆｉとの位相差（１−ｄ）が閾値ｔｈよりも大きい（（１−ｄ）＞ｔｈ）場合を示す。この場合、補間位相選択部５は、フレームｆ１のみを補間位相として選択する。

図１０は、動きベクトル交差画素Ｐ０が有効画素範囲に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲外領域に位置する場合の、補間位相選択部５の動作の一例を示す。図１０と図１４とは、有効画素範囲外フラグｆｌｇ０の値が有効画素範囲を示す０であり、かつ有効画素範囲外フラグｆｌｇ１の値が有効画素範囲外領域を示す１であり、かつ有効画素範囲外領域を差すフラグを有するフレームｆ１と補間フレームｆｉとの位相差ｄが閾値よりも大きい（ｄ＞ｔｈ）場合を示す。この場合、補間位相選択部５は、フレームｆ０のみを補間位相として選択する。

補間位相選択部５は、それ以外のすべての場合、図１４に示すように、フレームｆ０とフレームｆ１との両方を補間位相として選択する。

図１１は、動きベクトル交差画素Ｐ０が有効画素範囲外領域に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲に位置する場合の、補間位相選択部５の動作のさらなる一例を示す。図１１と図１４とは、有効画素範囲外フラグｆｌｇ０の値が有効画素範囲外領域を示す１であり、かつ有効画素範囲外フラグｆｌｇ１の値が有効画素範囲を示す０であり、かつ有効画素範囲外領域を差すフラグを有するフレームｆ０と補間フレームｆｉとの位相差（１−ｄ）が閾値ｔｈより小さい（（１−ｄ）≦ｔｈ）場合を示す。この場合、補間位相選択部５は、フレームｆ０及びフレームｆ１との両方を補間位相として選択する。

図１２は、動きベクトル交差画素Ｐ０が有効画素範囲に位置し、かつ動きベクトル交差画素Ｐ１が有効画素範囲外領域に位置する場合の、補間位相選択部５の動作のさらなる一例を示す。図１２と図１４とは、有効画素範囲外フラグｆｌｇ０の値が有効画素範囲を示す０であり、かつ有効画素範囲外フラグｆｌｇ１の値が有効画素範囲外領域を示す１であり、かつ有効画素範囲外領域を差すフラグを有するフレームｆ１と補間フレームｆｉとの位相差ｄが閾値ｔｈより大きい（ｄ≦ｔｈ）場合を示す。この場合、補間位相選択部５は、フレームｆ０及びフレームｆ１との両方を補間位相として選択する。

図４と図１４とは、有効画素範囲外フラグｆｌｇ０の値が有効画素範囲を示す０であり、かつ有効画素範囲外フラグｆｌｇ１の値が有効画素範囲を示す０である場合を示す。この場合、補間位相選択部５は、フレームｆ０及びフレームｆ１との両方を補間位相として選択する。

補間位相選択部５が実フレームと補間フレームｆｉとの位相差と比較する閾値ｔｈは、０以上１未満の範囲（０≦ｉ＜１）で設定可能である。相関の低い画素を補間に用いることで発生する視覚的な違和感を軽減するためには、閾値ｔｈを０．５よりも小さい値に設定するのが望ましい。また、フレームレート２４Ｈｚの原画であるフィルム映像を２−３プルダウン処理等によってフレームレート６０Ｈｚに変換した映像を、さらにフレーム補間技術等によってフレームレート１２０Ｈｚに変換した場合、原画のフレームと、原画に一番近い補間フレームとの位相差は０．２となる。そのため、閾値ｔｈを０．２に設定することで視覚的な違和感をより軽減できる。ここで、フレームｆ０の位相とフレームｆ１の位相との位相差は１とする。

補間位相選択部５が実フレームと補間フレームｆｉとの位相差と比較する閾値ｔｈは、動きベクトルＭＶの信頼度や、動きベクトルＭＶの１フレーム内におけるヒストグラムのばらつき具合などの要因によって変動するようにしてもよい。動きベクトルＭＶの信頼度は、例えば動きベクトルＭＶの大きさが大きいほど信頼度が低いとすることができる。動きベクトルＭＶの信頼度は、他の公知技術を用いることによって求めてもよい。動きベクトルＭＶの１フレーム内におけるヒストグラムのばらつき具合は、例えば分散や標準偏差などの統計値を用いて求めてもよい。

補間位相選択部５は、以上のように選択した、フレームｆ０のみを補間位相とする信号、または、フレームｆ１のみを補間位相とする信号、または、フレームｆ０とフレームｆ１の両方を補間位相とする信号、のいずれかを補間位相選択信号ｓｅｌとする。補間位相選択部５は、補間位相選択信号ｓｅｌを補間画素生成部６０に供給する。

補間画素生成部６０には、抽出画素決定部４から抽出画素信号Ｐ０Ｉ及びＰ１Ｉが、補間位相選択部５から補間位相選択信号ｓｅｌがそれぞれ供給される。補間画素生成部６０は、抽出画素信号Ｐ０Ｉと、抽出画素信号Ｐ１Ｉと、補間位相選択信号ｓｅｌとに基づいて、補間フレームｆｉ内の各補間画素Ｐｉを生成する。

補間画素生成部６０は補間位相選択信号ｓｅｌが図４、及び図１１、及び図１２に示すフレームｆ０とフレームｆ１とを補間位相とする場合、抽出画素信号Ｐ０Ｉの画素値と抽出画素信号Ｐ１Ｉの画素値とを混合して、補間画素Ｐｉを生成する。

補間画素生成部６０は補間位相選択信号ｓｅｌが図９に示すフレームｆ１のみを補間位相とする場合、フレームｆ１の抽出画素信号Ｐ１Ｉの画素値と同じ値の補間画素Ｐｉを生成する。

補間画素生成部６０は補間位相選択信号ｓｅｌが図１０に示すフレームｆ０のみを補間位相とする場合、フレームｆ０の抽出画素信号Ｐ０Ｉの画素値と同じ値の補間画素Ｐｉを生成する。

補間画素生成部６０が、補間フレームｆｉ内の全ての補間画素Ｐｉを生成することによって、補間フレームｆｉが生成される。

補間フレーム内挿部６は、時間方向に隣接するフレームｆ０とフレームｆ１との間であり、フレームｆ１との位相差がｄである位相に補間フレームｆｉを内挿する。

図９〜図１２より次のことが分かる。本実施形態の補間フレーム生成装置１００及び方法によれば、補間画素を生成するために動きベクトルに基づいて選択される画素が、実フレームの有効画素範囲外領域に位置する場合、かつ有効画素範囲外領域を指す画素が属する位相から補間フレームまでの距離が所定の値未満の場合、有効画素範囲の画素に置換されて補間に使用する画素として抽出される。本実施形態の補間フレーム生成装置１００及び方法によれば、補間画素を生成するために動きベクトルに基づいて選択される画素が、実フレームの有効画素範囲外領域に位置する場合かつ有効画素範囲外領域を指す画素が属する位相から補間フレームまでの距離が所定の値以上の場合、有効画素範囲を指す画素のみを使用して補間する。したがって、実施形態の補間フレーム生成装置１００及び方法によれば、視覚的な違和感の少ない補間画素を生成することができる。

図１３に示すフローチャートを用いて、本実施形態の補間フレーム生成装置１００の動作、及び、補間フレーム生成装置１００で実行される補間フレーム生成方法による処理を改めて説明する。

図１３において、動きベクトル検出部１に入力映像信号Ｓｉｎが供給されて処理が開始されると、補間フレーム生成装置１００は、補間フレーム生成の処理を開始する。動きベクトル検出部１は、ステップＳ１にて、フレームｆ０及びフレームｆ１の画素に基づいて、各補間フレームｆｉの各補間画素Ｐｉを生成するための動きベクトルＭＶを検出する。位相情報生成部３は、ステップＳ２にて、入力タイミング信号ｃｎｔから位相情報ｉを生成する。

抽出画素決定部４は、ステップＳ３にて、動きベクトルＭＶと位相情報ｉに基づいて動きベクトル交差画素Ｐ０及びＰ１を算出する。抽出画素決定部４は、ステップＳ４にて、動きベクトル交差画素Ｐ０及びＰ１が有効画素範囲に位置する場合、動きベクトル交差画素Ｐ０及びＰ１を抽出画素信号Ｐ０Ｉ及びＰ１Ｉとして決定する。抽出画素決定部４は、ステップＳ４にて、動きベクトル交差画素Ｐ０及びＰ１が有効画素範囲外領域に位置する場合、有効画素範囲の所定の画素を抽出画素信号Ｐ０Ｉ及びＰ１Ｉに決定する。

抽出画素決定部４は、ステップＳ５にて、動きベクトル交差画素Ｐ０及びＰ１が有効画素範囲に位置する場合、動きベクトル交差画素Ｐ０及びＰ１を有するフレームの有効画素範囲外信号ｆｌｇ０及びｆｌｇ１を０に設定する。抽出画素決定部４は、ステップＳ５にて、動きベクトル交差画素Ｐ０及びＰ１が有効画素範囲外領域に位置する場合、動きベクトル交差画素Ｐ０及びＰ１を有するフレームの有効画素範囲外信号ｆｌｇ０及びｆｌｇ１を１に設定する。ステップＳ４とステップＳ５は、処理の順番を入れ替えても良い。

補間位相選択部５は、ステップＳ６にて、有効画素範囲外信号ｆｌｇ０及びｆｌｇ１が有効画素範囲外領域を示すフレームの位相と位相情報ｉによって決まる補間フレームｆｉの位相との位相差と、閾値とを比較することによって、補間位相を選択し、補間位相選択信号ｓｅｌを生成する。

補間画素生成部６０は、ステップＳ７にて、補間位相選択信号ｓｅｌが示す補間位相の抽出画素信号Ｐ０Ｉ及びＰ１Ｉが示す画素の画素値を用いて補間画素Ｐｉを生成する。補間画素生成部６０は、ステップＳ８にて、補間フレームｆｉ内の全ての補間画素Ｐｉを生成したか否かを判定する。ステップＳ８にて、全ての補間画素Ｐｉを生成していなければ（ステップＳ８のＮＯ）、ステップＳ１〜Ｓ７の処理が繰り返される。

ステップＳ８にて全ての補間画素Ｐｉを生成していれば（ステップＳ８のＹＥＳ）、補間画素生成部６０は、ステップＳ９にて、入力映像信号Ｓｉｎが継続的に入力されたか否かを判定する。ステップＳ９にて、入力映像信号Ｓｉｎが継続的に入力されていれば（ステップＳ９のＹＥＳ）ステップＳ１〜ステップＳ８の処理が繰り返される。ステップＳ９にて、入力映像信号Ｓｉｎが継続的に入力されなければ（ステップＳ９のＮＯ）、補間画素生成部６０は、補間フレーム生成の処理を終了させる。

図１に示すフレームレート変換装置（補間フレーム生成装置１００）をハードウェア（回路）で構成してもよいし、少なくとも一部をソフトウェア（コンピュータプログラム）によって構成してもよい。フレームレート変換装置（補間フレーム生成装置１００）を構成する上で、ハードウェアとソフトウェアとの使い分けは任意である。

コンピュータプログラム（フレームレート変換プログラムまたは補間フレーム生成プログラム）が、コンピュータに図１３に示す処理を実行させてもよい。コンピュータプログラムは、非一時的な記憶媒体に記憶されていてもよいし、インターネット等の通信回線でコンピュータへと送信されてもよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１ 動きベクトル検出部
２ フレームメモリ
３ 位相情報生成部
４ 抽出画素決定部
５ 補間位相選択部
６ 補間フレーム内挿部
６０ 補間画素生成部
１００ 補間フレーム生成装置（フレームレート変換装置）
ＭＶ 動きベクトル
ｉ 位相情報
ｄ フレームｆ１と補間フレームｆｉとの位相差
ｃｎｔ 入力タイミング信号
ｓｅｌ 補間位相選択信号
ｆ０ 第１のフレーム（実フレーム）
ｆ１ 第２のフレーム（実フレーム）
ｆｉ 補間フレーム
Ｐ０ 第１の動きベクトル交差画素
Ｐ１ 第２の動きベクトル交差画素
Ｐｉ 補間画素
Ｐ０Ｉ 第１の抽出画素（抽出画素信号）
Ｐ１Ｉ 第２の抽出画素（抽出画素信号）
ｆｌｇ０ 第１の有効画素範囲外フラグ（有効画素範囲外信号）
ｆｌｇ１ 第２の有効画素範囲外フラグ（有効画素範囲外信号）

Claims (5)

1. 映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレームの位相を示す位相情報を生成する位相情報生成部と、
   前記補間フレーム内の補間画素を生成するために検出された動きベクトルと前記第１のフレームとが交差する第１の動きベクトル交差画素を生成し、前記動きベクトルと前記第２のフレームとが交差する第２の動きベクトル交差画素を生成し、前記第１の動きベクトル交差画素に基づいて第１の抽出画素を決定し、前記第２の動きベクトル交差画素に基づいて第２の抽出画素を決定する抽出画素決定部と、
   前記位相情報によって決まる前記補間フレームの位相と前記第１及び第２の動きベクトル交差画素が有効画素範囲外領域か否か、とに基づいて補間位相を選択する補間位相選択部と、
   前記第１及び第２の抽出画素と前記補間位相とに基づいて前記補間画素を生成する補間画素生成部と、
   を備える補間フレーム生成装置。
2. 前記補間位相選択部は、前記第１の動きベクトル交差画素が有効画素範囲外領域に位置し、かつ、前記第２の動きベクトル交差画素が有効画素範囲に位置し、かつ、前記第１のフレームの位相と前記補間フレームの位相との位相差が所定の値より大きい場合、前記第２のフレームのみを前記補間位相に選択し、前記第１の動きベクトル交差画素が有効画素範囲に位置し、かつ、前記第２の動きベクトル交差画素が有効画素範囲外領域に位置し、かつ、前記第２のフレームの位相と前記補間フレームの位相との位相差が前記所定の値より大きい場合、前記第１のフレームのみを前記補間位相に選択し、それ以外の場合、前記第１及び前記第２のフレームを前記補間位相に選択し、
   前記補間画素生成部は、前記補間位相選択部が、前記第２のフレームのみを前記補間位相に選択した場合、前記第２の抽出画素の画素値のみを用いて前記補間画素を生成し、前記第１のフレームのみを前記補間位相に選択した場合、前記第１の抽出画素の画素値のみを用いて前記補間画素を生成し、前記第１及び前記第２のフレームを前記補間位相に選択した場合、前記第１の抽出画素の画素値と前記第２の抽出画素の画素値とを用いて前記補間画素を生成する
   ことを特徴とする請求項１に記載の補間フレーム生成装置。
3. 前記補間位相選択部は前記所定の値を、前記第１のフレームの位相と前記第２のフレームの位相との位相差を２で除算した値よりも小さい値とする
   ことを特徴とする請求項２に記載の補間フレーム生成装置。
4. 前記抽出画素決定部は、前記第１の動きベクトル交差画素が有効画素範囲の場合、前記第１の動きベクトル交差画素を前記第１の抽出画素に決定し、前記第１の動きベクトル交差画素が有効画素範囲外領域の場合、有効画素範囲の所定の画素を前記第１の抽出画素に決定し、前記第２の動きベクトル交差画素が有効画素範囲の場合、前記第２の動きベクトル交差画素を前記第２の抽出画素に決定し、前記第２の動きベクトル交差画素が有効画素範囲外領域の場合、有効画素範囲の所定の画素を前記第２の抽出画素に決定する
   ことを特徴とする請求項１から３のいずれかに記載の補間フレーム生成装置。
5. 映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレームの位相を示す位相情報を生成し、
   前記補間フレーム内の補間画素を生成するために検出された動きベクトルと前記第１のフレームとが交差する第１の動きベクトル交差画素を生成し、前記動きベクトルと前記第２のフレームとが交差する第２の動きベクトル交差画素を生成し、前記第１の動きベクトル交差画素に基づいて第１の抽出画素を決定し、前記第２の動きベクトル交差画素に基づいて第２の抽出画素を決定し、
   前記位相情報と前記第１の動きベクトル交差画素及び前記第２の動きベクトル交差画素が有効画素範囲外領域か否か、とに基づいて補間位相を選択し、
   前記補間位相と前記第１及び第２の抽出画素とに基づいて、前記補間画素を生成する
   補間フレーム生成方法。

Images