JP2016192601A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】補間フレームのオクル−ジョン領域の動きベクトルおよび画素値を適切に決定する
【解決手段】本発明の一態様としての画像処理装置は、第１フレームと第２フレームとの間に内挿される補間フレームを生成する画像処理装置であって、第１フレームから第２フレームへの動きベクトルを補間フレームに割当て、動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第１の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第１の相違度を算出し、第１の領域よりも広い第２の領域の割当済みの動きベクトルから算出されるベクトルと候補ベクトルとから第２の相違度を算出し、第１の相違度および第２の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む補間フレームを生成する。
【選択図】 図１

Description

本発明の実施形態は画像処理装置、画像処理方法、および画像処理プログラムに関する。

動画像のフレーム間に補間フレームを内挿して、単位時間当たりのフレーム数を増大させる補間フレーム生成装置が知られている。この補間フレーム生成装置を備えた画像表示装置（液晶ディスプレイやエレクトロルミネッセンスディスプレイ等）は、動画像を滑らかに表示することができる。

従来の補間フレーム生成装置は、時間的に連続する２フレーム（以下、入力フレームと称する）間の画素ごともしくはブロックごとに画素値の相関に基づいて動きベクトルを推定する。そして、従来の補間フレーム生成装置は、この動きベクトルを用いて補間フレームを生成する。

前の時間の入力フレーム（第１の入力フレーム）から後の時間の入力フレーム（第２の入力フレーム）にかけて、フレーム内の物体が動いた場合、第２の入力フレームに新たに出現する背景領域（以下、オクル−ジョン領域と称する）がある。オクル−ジョン領域には第１の入力フレーム内に対応する領域が存在しないため、画素値の相関を用いて動きベクトルを求めることができない。そのため、オクル−ジョン領域の動きベクトルを適切に決定して、補間フレームの画素値を決定する必要がある。

特開２０１１−１８２１９３号公報 特許第４８９２１１３号

本発明の実施形態は、補間フレームのオクル−ジョン領域の動きベクトルおよび画素値を適切に決定できる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

本発明の実施形態による画像処理装置は、第１フレームと第１フレームとは異なる時刻に表示される第２フレームとの間に内挿される補間フレームを生成する画像処理装置であって、前記第１フレームから第２フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第１の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第１の相違度を算出する第１の相違度算出部と、前記第１の領域よりも広い第２の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第２の相違度を算出する第２の相違度算出部と、前記第１の相違度および前記第２の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える。

本発明の実施形態に係る画像処理装置を示すブロック図。 本発明の実施形態に係る画像処理装置の動作を示すフローチャート。 オクル−ジョン領域について説明するための図。 オクル−ジョン領域について説明するための図。 本発明の実施形態に係る画像処理装置の処理を説明するための図。 本発明の実施形態に係る画像処理装置の処理を説明するための図。 本発明の実施形態に係る画像処理装置のＨＷ構成を示す図。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の実施形態に係る画像処理装置１０を示すブロック図である。画像処理装置１０は、動き推定部１０１、候補ベクトル抽出部１０２、第１の相違度算出部１０３、第２の相違度算出部１０４、合成部１０５、出力部１０６、補間フレーム生成部１０７を有する。

動き推定部１０１は、入力フレーム１１０が入力され、補間フレームにおける動きベクトル１１１を推定する。候補ベクトル抽出部１０２は、動き推定部から出力された動きベクトル１１１が入力され、候補ベクトル１１２を算出する。第１の相違度算出部１０３は、入力フレーム１１０と候補ベクトル１１２が入力され、第１の相違度１１３を算出する。第２の相違度算出部１０４は入力フレーム１１０と動きベクトル１１１と候補ベクトル１１２が入力され、第２の相違度１１４を算出する。合成部１０５は、第１の相違度算出部１０３で算出された第１の相違度１１３と第２の相違度算出部１０４で算出された第２の相違度１１４を合成し、合成重み１１５を出力する。出力部１０６は候補ベクトル１１２と合成重み１１５が入力され、オクル−ジョン領域の動きベクトル１１６を出力する。補間フレーム生成部１０７は補間フレーム１１７を生成する。

図２は、画像処理装置１０の動作を示すフローチャートである。図１および図２を用いて、画像処理装置１０の動作について説明する。

動き推定部１０１は、時間的に連続する２フレームである第１および第２の入力フレーム１１０を取得し、補間フレームの動きベクトル１１１を生成して出力する（ステップＳ２０１）。以降、第１および第２の入力フレーム１１０はそれぞれ時刻ｔ、時刻ｔ＋１のフレームであるとし、それぞれＩ_ｔ、Ｉ_ｔ＋１と表す。

動き推定部１０１ではまず、Ｉ_ｔからＩ_ｔ＋１への動きベクトルを求める。動きベクトルの検出には、例えば、ブロックマッチング法や勾配法などを用いることができる。

補間フレームの時刻における動きベクトルは、Ｉ_ｔからＩ_ｔ＋１への動きベクトルを平行移動することで求められる。Ｉ_ｔの位置ベクトルｘにおけるＩ_ｔからＩ_ｔ＋１への動きベクトルをｕ_ｔ（ｘ）とし、補間フレームの時刻をｔ＋α（０＜α＜１）とすると、補間フレームの時刻における動きベクトルｕ_ｔ＋αは式（１）に基づいて計算できる。

補間フレームの動きベクトルが割り当てられない場合は、不定を示す値（以下、不定値と称する）を代入する。この不定値が代入された領域がオクル−ジョン領域である。

図３および図４を用いてオクル−ジョン領域について説明する。説明を簡単にするために１次元軸上を移動する物体を例にする。例えば、図３（ｂ）に示すように時刻ｔからｔ＋１の間に、紙面の上方へ移動する円形の物体があり、背景は紙面の下方へ移動しているとする。図３および図４では、例えば、補間フレームの時刻をｔ＋０．５とする。図３（ａ）は、時刻ｔ、時刻ｔ＋０．５、時刻ｔ＋１における、線Ａ−Ａ’上の物体の位置を示す。

図４は時刻ｔのフレームＩ_ｔの全ての位置ベクトルｘに対してフレームＩ_ｔ＋１への動きベクトルが求められた状態を示す。このとき、各動きベクトルを補間フレームの時刻ｔ＋０．５に平行移動して、補間フレームの時刻における動きベクトルｕ_{ｔ＋０．５}を計算すると、動きベクトルが通過しない領域がある。この領域の動きベクトルは不定値となる。この領域は、物体が動いたことによって新たに出現した背景領域で、オクル−ジョン領域と呼ばれる。

補間フレームの動きベクトル１１１が生成された後に、候補ベクトル抽出部１０２が候補ベクトルを抽出する（ステップＳ２０２）。候補ベクトル抽出部１０２には、補間フレームの動きベクトル１１１が入力される。そして、候補ベクトル抽出部１０２は、オクル−ジョン領域周辺で割り当て済みの複数の動きベクトルを抽出する。候補ベクトル抽出部１０２が抽出した複数の動きベクトルを候補ベクトル１１２と呼ぶ。

具体的には、候補ベクトル１１２は以下のように抽出される。前述のとおり、動き推定部１０１はオクル−ジョン領域に対して不定値を割り当てる。そこで、候補ベクトル抽出部１０２は、不定値が割り当てられた画素を注目画素とする。そして、候補ベクトル抽出部１０２は、例えば、注目画素を中心とする一定の大きさの矩形内で、不定値ではなく、動きベクトルが割り当てられた画素の動きベクトルを候補ベクトルとして抽出する。なお、注目画素の周辺と判断する領域は、矩形に限らず、円形や楕円形で決めても良い。注目画素からの距離が近いと判断できるならば、どのような形でも良い。

次に、第１の相違度算出部１０３が、複数の候補ベクトルのそれぞれを注目画素に割当てて、候補ベクトルを注目画素に割り当てたとき指し示される画素と、候補ベクトルが元々指し示していた画素との第１の相違度を算出する（ステップＳ２０３）。具体的には、候補ベクトル毎に、候補ベクトルの始点の位置（位置ベクトルｙ）から候補ベクトルｕ_ｔ＋α（ｙ）が指し示す画素値と、注目画素の位置（位置ベクトルｘ）から候補ベクトルｕ_ｔ＋α（ｙ）が指し示す画素値との第１の相違度１１３を算出する。第１の相違度ｄ_１は、以下の式（２）で算出することができる。なお、式（２）における絶対値は二乗に代えても良い。

図５を参照して、候補ベクトル抽出部１０２と第１の相違度算出部１０３の処理について説明する。候補ベクトル抽出部１０２が、注目画素Ｐ１の周辺の領域（図５の破線で示した領域）から割り当て済みの動きベクトルＶ１およびＶ２を選択する。そして、第１の相違度算出部１０３は、注目画素Ｐ１に候補ベクトルＶ１を割り当てて、注目画素Ｐ１から候補ベクトルＶ１が指し示す画素Ｐ３の画素値と、候補ベクトルＶ１の始点Ｙ１から候補ベクトルＶ１が指し示す画素Ｐ２の画素値との相違度を算出する。同様に、第１の相違度算出部１０３は、注目画素Ｐ１に候補ベクトルＶ２を割り当てて、注目画素Ｐ１から候補ベクトルＶ２が指し示す画素Ｐ４の画素値と、候補ベクトルＶ２の始点Ｙ２から候補ベクトルＶ２が指し示す画素Ｐ５の画素値との相違度を算出する。

次に、第２の相違度算出部１０４が、第２の相違度を算出する（ステップＳ２０４）。具体的には、第２の相違度算出部１０４は、まず補間フレームの動きベクトル１１１から主要な背景ベクトルを算出する。

通常、動画像には、複数の被写体が写っており、被写体毎に動きベクトルが異なる。第２の相違度算出部１０４では、各被写体の動きを代表する動きを表すベクトルを主要な背景ベクトルとして算出する。主要な背景ベクトルの算出のために、第２の相違度算出部１０４は、候補ベクトル抽出部１０２が割り当て済みの動きベクトルを選択するために用いた注目画素の周辺の領域よりも広い領域の割当済みの動きベクトルを用いる。

主要な背景ベクトルの算出には、例えば特許文献２（特許第４８９２１１３号公報）に記載の方法を用いることができる。特許文献２に記載の方法によると、奥行きを最も奥側とすべきブロックに対して求めたベクトルを検出する。ただし、主要な背景ベクトルの算出方法は、この方法に限らない。例えば、補間フレームの動きベクトルを２クラスにクラスタリングし、面積の大きい方のクラスタの平均ベクトルもしくはメディアンベクトルを主要背景ベクトルとして用いても良い。

そして、第２の相違度算出部１０４は、複数の候補ベクトルのそれぞれと、主要な背景ベクトルとの第２の相違度１１４を算出する。主要な背景ベクトルをｕ_Ｂとすると、第２の相違度１１４は、式（３）で算出することができる。

式（３）は、候補ベクトル候補ベクトルｕ_ｔ＋α（ｙ）と主要な背景ベクトルをｕ_Ｂとの差のノルムを算出する式である。このノルムとして、Ｌ１ノルムやＬ２ノルムを用いることができる。第２の相違度１１４は、この算出方法に限らない。全ての候補ベクトルについて、

を計算し、その中の最小値をｍとして、式（４）によって第２の相違度１１４を算出しても良い。なお、式（４）における絶対値は、二乗に代えてもよい。

次に、合成部１０５が、第１の相違度１１３および第２の相違度１１４を合成して、合成重み１１５を算出する（ステップＳ２０５）。合成重み１１５は、例えば式（５）により計算することができる。

もしくは、第１の相違度１１３および第２の相違度１１４に対して、それぞれ重みｗ_Ｉ、ｗ_Ｖを設定し、合成重み１１５を以下の式（６）により計算することができる。重みｗ_Ｉ、ｗ_Ｖは、予め設計者が設計しておく。

もしくは、ガウス関数を用いて、合成重み１１５を以下の式（７）により計算しても良い。

式（７）において、σ_Ｉ、σ_Ｖは重み付き加算における重みに相当し、設計者が予め定めるパラメータである。なお、式（７）ではガウス関数を用いたが、ガウス関数に限らず、単調減少関数であればどのような関数を用いて合成重み１１５を算出しても良い。

次に、出力部１０６がオクル−ジョン領域の動きベクトル１１６を生成して出力する（ステップＳ２０６）。オクル−ジョン領域の動きベクトル１１６は、合成重み１１５に基づいて選択する。なお、合成重み１１５は、式（５）や式（６）のように算出すればｄ_Ｉ（ｘ，ｙ）やｄ_ｖ（ｙ）に対して単調増加となり、式（７）のように算出すると、単調減少となる。そのため、合成重み１１５をどのように算出するかによって、オクル−ジョン領域の動きベクトル１１６の選択方法が異なる。

オクル−ジョン領域の動きベクトル１１６は、注目画素に対して抽出された候補ベクトルの内、例えば、式（５）や式（６）で算出した合成重みｄ（ｘ，ｙ）が最も小さくなる候補ベクトルを選択することで決定することができる。もしくは、式（７）のように算出された合成重みｄ’（ｘ，ｙ）が最も大きくなる候補ベクトルを選択することで決定しても良い。もしくは、注目画素に対して抽出された全ての候補ベクトルのうち、式（７）のように算出された合成重みｄ’（ｘ，ｙ）で重み付き加算したものをオクル−ジョン領域の動きベクトル１１６としても良い。この場合、オクル−ジョン領域の動きベクトルｕ_ｔ＋α（ｘ）は、式（８）によって算出することができる。

ここで、Ｃは候補ベクトルの始点の位置ベクトル集合を表す。また、Ｚは合成重みの総和で、式（９）によって表される。

また、式（５）や式（６）で算出した合成重みｄ（ｘ，ｙ）を用いて、重み付き加算をしても良い。例えば、注目画素に対して抽出された全ての候補ベクトルのうち、１／ｄ（ｘ，ｙ）を重みとして重み付き加算したものをオクル−ジョン領域の動きベクトル１１６としても良い。

次に、補間フレーム生成部１０７が補間フレーム１１７を生成して出力する（ステップＳ２０７）。オクル−ジョン領域以外の補間フレームの画素値Ｉ_ｔ＋α（ｘ）は、例えば、以下の式（１０）で計算することができる。

そして、オクル−ジョン領域の補間フレームの画素値画素値Ｉ_ｔ＋α（ｘ）は、例えば、以下の式（１１）で計算することができる。

以上により、画像処理装置１０は時刻ｔ＋αの補間フレーム１１７を生成することができる。

図５および図６を参照して、本実施形態に係る画像処理装置１０の効果を説明する。図５および図６は、図３（ｂ）のＡ−Ａ’線上の位置を表している。図５において注目画素Ｐ１の動きベクトルを算出する。このとき、候補ベクトルをＶ１およびＶ２とする。Ｐ２は円形物体の画素であり、Ｐ１、Ｐ３、Ｐ４、Ｐ５は背景の画素とする。

このとき、候補ベクトルＶ１の第１の相違度は、Ｐ２とＰ３の画素値の相違度であり、候補ベクトルＶ２の第１の相違度は、Ｐ４とＰ５の画素値の相違度である。背景の画素値が均一であるとすると、候補ベクトルＶ２の第１の相違度は、候補ベクトルＶ１の第１の相違度よりも小さい。第２の相違度を考慮せずに、第１の相違度だけで候補ベクトルを選択すると、第１の相違度が小さい候補ベクトルＶ２が選択される。しかしながら、背景の画像構造が複雑な場合やノイズの影響により、候補ベクトルＶ２の第１の相違度が候補ベクトルＶ１の第１の相違度よりも大きくなる場合がある。そのため、第１の相違度だけで候補ベクトルを選択すると、誤った候補ベクトルであるＶ１が選択されてしまう可能性がある。

そこで、図６に示すように第１の相違度に加えて、第２の相違度を考慮することで、ノイズ等の影響を受けづらくなり、正しい候補ベクトルであるＶ２を選択することができる。

このように、実施形態に係わる画像処理装置によれば、第１の相違度に加えて第２の相違度を考慮することで、背景の画像構造やノイズの影響に対してロバストにオクルージョン領域の動きベクトルおよび画素値を求めることができ、高品質な補間フレームが生成できる。

次に、画像処理装置１０のハードウェア構成について図７を参照して説明する。画像処理装置１０は、ＣＰＵ（Central Processing Unit）７０１、操作部７０２、表示部７０３、ＲＯＭ（Read Only Memory）７０４、ＲＡＭ（Random Access Memory）７０５、記憶部７０６を備え、各部はバス７１０により接続されている。

ＣＰＵ７０１は、ＲＡＭ７０５の所定領域を作業領域として、ＲＯＭ７０４に予め記憶された各種制御プログラムとの協働により各種処理を実行し、画像処理装置１０を構成する各部の動作を統括的に制御する。また、ＣＰＵ７０１は、ＲＯＭ７０４に予め記憶されたプログラムとの協働により、上述した動き推定部１０１，候補ベクトル抽出部１０２，第１の相違度算出部１０３，第２の相違度算出部１０４，合成部１０５，出力部１０６，補間フレーム生成部１０７の機能を実現させる。操作部７０２は、画像を電気信号に変換し、信号としてＣＰＵ７０１に出力するものである。ＲＯＭ７０４は、画像処理装置１０の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。ＲＡＭ７０５は、ＳＤＲＡＭ等の記憶手段であって、ＣＰＵ７０１の作業エリアとして機能し、バッファ等の役割を果たす。記憶部７０６は、磁気的又は光学的に記録可能な記憶媒体を有し、操作部７０２を介して取得された画像信号や、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される画像信号等のデータを記憶する。なお、これに限らず、例えば画像処理装置１０の上述の各部の機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路）で実現される形態であっても良い。また、複数のプロセッサ回路で画像処理装置１０の各部の機能を実現する形態であっても良い。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…画像処理装置、 １０１…動き推定部、 １０２…候補ベクトル抽出部、 １０３…第１の相違度算出部、 １０４…第２の相違度算出部、 １０５…合成部、 １０６…出力部、 １０７…補間フレーム生成部、 １１０…入力フレーム、 １１１…動きベクトル１１１、 １１２…候補ベクトル、 １１３…第１の相違度、 １１４…第２の相違度、 １１５…合成重み、 １１６…動きベクトル、 １１７…補間フレーム

Claims (11)

1. 第１フレームと第１フレームとは異なる時刻に表示される第２フレームとの間に内挿される補間フレームを生成する画像処理装置であって、
   前記第１フレームから第２フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
   前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第１の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第１の相違度を算出する第１の相違度算出部と、
   前記第１の領域よりも広い第２の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第２の相違度を算出する第２の相違度算出部と、
   前記第１の相違度および前記第２の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える画像処理装置。
2. 第１フレームと第１フレームとは異なる時刻に表示される第２フレームとの間に内挿される補間フレームを生成する画像処理装置であって、
   前記第１フレームから第２フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
   前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第１の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第１の相違度を算出する第１の相違度算出部と、
   背景の主要な領域の動きベクトルを表す主要背景ベクトルと前記候補ベクトルとから第２の相違度を算出する第２の相違度算出部と、
   前記第１の相違度および前記第２の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成する補間フレーム生成部を備える画像処理装置。
3. 前記第１の相違度と前記第２の相違度を合成して合成重みを算出する合成部と、
   前記合成重みで前記候補ベクトルを重み付け加算したベクトルを出力する出力部とを更に有し、
   前記補間フレーム生成部は、前記動きベクトルおよび前記出力部から出力されたベクトルに基づいて第１フレームおよび第２フレームの画素値から補間フレームを生成する請求項１または２に記載の画像処理装置。
4. 前記合成部は、前記第１の相違度から前記第１の相違度が小さいほど大きくなる第１の信頼度を計算し、前記第２の相違度から前記第２の相違度が小さいほど大きくなる第２の信頼度を計算し、前記第１の信頼度と前記第２の信頼度の積により前記合成重みを算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記合成部は，前記第１の相違度と前記第２の相違度を重み付け加算することを特徴とする請求項３に記載の画像処理装置。
6. 前記出力部は，前記合成重みが最も大きくなる候補ベクトルを選択することを特徴とする請求項３に記載の画像処理装置。
7. 前記出力部は，前記合成重みが最も小さくなる候補ベクトルを選択することを特徴とする請求項３に記載の画像処理装置。
8. 前記主要背景ベクトルは，最も奥に存在する被写体の動きベクトルであることを特徴とする請求項２に記載の画像処理装置。
9. 第１フレームと第１フレームとは異なる時刻に表示される第２フレームとの間に内挿される補間フレームの動きベクトルを生成する画像処理装置であって、
   前記第１フレームから前記第２フレームへの動きベクトルを前記補間フレームに割当てる動き推定部と、
   前記動き推定部によって動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第１の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第１の相違度を算出する第１の相違度算出部と、
   前記第１の領域よりも広い第２の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第２の相違度を算出する第２の相違度算出部と、
   前記第１の相違度および前記第２の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素の動きベクトルを出力する出力部を備える画像処理装置。
10. 第１フレームと第１フレームとは異なる時刻に表示される第２フレームとの間に内挿される補間フレームを生成する画像処理方法であって、
    前記第１フレームから第２フレームへの動きベクトルを前記補間フレームに割当てるステップと、
    前記動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第１の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第１の相違度を算出するステップと、
    前記第１の領域よりも広い第２の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第２の相違度を算出するステップと、
    前記第１の相違度および前記第２の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成するステップを備える画像処理方法。
11. 第１フレームと第１フレームとは異なる時刻に表示される第２フレームとの間に内挿される補間フレームを生成する画像処理プログラムであって、
    前記第１フレームから第２フレームへの動きベクトルを前記補間フレームに割当てるステップと、
    前記動きベクトルが割り当てられない画素を注目画素として抽出し、注目画素の周辺である第１の領域で割り当て済みの動きベクトルである候補ベクトルが指し示す画素と、この候補ベクトルを注目画素に割当てた場合に指し示す画素との第１の相違度を算出するステップと、
    前記第１の領域よりも広い第２の領域の割当済みの動きベクトルから算出されるベクトルと前記候補ベクトルとから第２の相違度を算出するステップと、
    前記第１の相違度および前記第２の相違度を合成した合成重みに基づいて前記動きベクトルが割り当てられない画素を含む前記補間フレームを生成するステップをコンピュータに実行させるための画像処理プログラム。

Images