JP2007282155A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】補間フレームのできるだけ多くの画素に動きベクトルを対応付ける。
【解決手段】順方向の動きベクトルを優先的に対応付ける場合、図４に示すように、順方向の動きベクトルを対応付けることができない補間フレームの画素（図４の領域ａ）が発生したならば、この領域ａに対しては逆方向の動きベクトルを対応付ける。この場合、補間フレームの領域ａ以外の画素は、フレームｎ−１の画素を順方向の動きベクトルに基づいて移動することによって生成し、補間フレームの領域ａの画素は、フレームｎの画素を逆方向の動きベクトルに基づいて移動することによって生成する。本発明は、フレームレート変換装置に適用することができる。
【選択図】図４

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置および画像処理方法、並びにプログラムに関する。

動画像のフレームレート変換処理などにおいては、動画像を構成する時間軸方向に前後する２枚のフレームの間に内挿するための補間フレームが生成される。この補間フレームの生成には、当該２枚のフレームに基づいて動きベクトルが検出される。

２枚のフレームに基づいて動きベクトルを検出する方法としては、勾配法（例えば、特許文献１参照）やブロックマッチング法（例えば、特許文献２参照）が知られている。

特開昭６０−１５８７８６号公報 特開平８−１８６８２０号公報

例えばブロックマッチング法では、前後する２枚のフレームｎ−１，ｎのうち、一方のフレーム（例えば、フレームｎ−１）を所定サイズのブロックに分割し、ブロック毎に他方のフレーム（例えば、フレームｎ）に設けた当該ブロックよりも広い探索範囲と比較して、図１に示すようにブロック単位で動きベクトルを検出する。そして、検出された動きベクトルを補間フレームの画素に対応付けることによって補間フレームの画素が決定される。

ところで図１から明らかなように、上述した方法では、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生することがある。このような場合、補間フレームの領域ａには最適な画素を決定することができないので、領域ａは動きベクトルを対応付けることができた画素からなる他の領域に比較して画質が劣化してしまう。

本発明はこのような状況に鑑みてなされたものであり、補間フレームのできるだけ多くの画素に動きベクトルを対応付けて、補間フレームの画質劣化を抑止できるようにするものである。

本発明の一側面である画像処理装置は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出手段と、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出手段と、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定手段とを含む。

本発明の一側面である画像処理装置は、前記決定手段によって決定された前記動きベクトルに基づき、補間画像を構成する前記画素を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて生成する生成手段をさらに含むことができる。

前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの信頼度が高い方に基づいて決定するようにすることができる。

前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記順方向の動きベクトルに基づいて決定し、前記順方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記逆方向の動きベクトルに基づいて対応する動きベクトルを決定するようにすることができる。

前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記逆方向の動きベクトルに基づいて決定し、前記逆方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記順方向の動きベクトルに基づいて対応する動きベクトルを決定するようにすることができる。

前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分に対応し、前記逆方向の動きベクトルを検出するようにすることができる。

前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分に対応し、前記順方向の動きベクトルを検出するようにすることができる。

本発明の一側面である画像処理装置は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含むことができ、前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記逆方向の動きベクトルを検出するようにすることができる。

本発明の一側面である画像処理装置は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含むことができ、前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記順方向の動きベクトルを検出するようにすることができる。

本発明の一側面である画像処理方法は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップとを含む。

本発明の一側面であるプログラムは、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成するためのプログラムであって、前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、第１の画像から第２の画像への順方向の動きベクトルが検出されるとともに、第２の画像から第１の画像への逆方向の動きベクトルが検出される。そして、補間画像を構成する画素に対応する動きベクトルが、順方向の動きベクトルまたは逆方向の動きベクトルのうちの少なくとも一方に基づいて決定される。

本発明の一側面によれば、補間フレームのできるだけ多くの画素に動きベクトルを対応付けることができる。また、本発明の一側面によれば、補間フレームの画質劣化を抑止することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

請求項１に記載の画像処理装置（例えば、図２のフレームレート変換装置１０）は、第１の画像から第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出手段（例えば、図２の順方向動きベクトル検出部１４）と、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出手段（例えば、図２の逆方向動きベクトル検出部１５）と、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定手段（例えば、図２の動きベクトル補正部１６）とを含む。

請求項２に記載の画像処理装置は、前記決定手段によって決定された前記動きベクトルに基づき、補間画像を構成する前記画素を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて生成する生成手段（例えば、図２の補間フレーム生成部１７）をさらに含む。

請求項８に記載の画像処理装置（例えば、図９のフレームレート変換装置５０）は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段（例えば、図９のエッジ検出部５１）をさらに含む。

請求項９に記載の画像処理装置（例えば、図９のフレームレート変換装置５０）は、前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段（例えば、図９のエッジ検出部５１）をさらに含む。

請求項１０に記載の画像処理方法、および請求項１１に記載のプログラムは、第１の画像から第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップ（例えば、図５のステップＳ１）と、前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップ（例えば、図５のステップＳ１）と、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップ（例えば、図５のステップＳ２およびＳ４）とを含む。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図２は本発明の一実施の形態である、入力動画像データを構成する一連のフレームのうち、時間的に前後するフレームｎ−１，ｎの間に補間フレームを内挿してフレームレートを変換するフレームレート変換装置の第１の構成例を示している。

なお、以下においては、フレームｎ−１，ｎの間にシーンチェンジが発生していないことを前提する。

このフレームレート変換装置１０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部１１、前段からの入力動画像データを１フレーム周期だけ遅延させる１フレーム遅延部１２、１フレーム周期だけ遅延された入力動画像データを１フレームずつ後段に出力する画像データ供給部１３、画像データ供給部１１から供給されるフレームｎ（ｎ番目のフレームを意味する）と画像データ供給部１３から供給されるフレームｎ−１（ｎ−１番目のフレームを意味する）に基づくブロックマッチング法によって順方向の動きベクトルを検出する順方向動きベクトル検出部１４、画像データ供給部１１から供給されるフレームｎと画像データ供給部１３から供給されるフレームｎ−１に基づくブロックマッチング法によって逆方向の動きベクトルを検出する逆方向動きベクトル検出部１５、および、順方向の動きベクトルと逆方向の動きベクトルのうちの一方を優先的に、あるいは信頼度の高い方を補間フレームの画素に対応付ける動きベクトル補正部１６から構成される。

さらに、フレームレート変換装置１０は、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部１７、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部１８、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部１９から構成される。

なお、フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。

また以下においては、図３に示すように、順方向の動きベクトルとは、時間軸上の前後するフレームｎ−１，ｎのうち、フレームｎ−１を基準画像としてブロックに分割し、フレームｎを参照画像として検出する動きベクトルを指すものと定義する。また逆方向の動きベクトルとは、フレームｎを基準画像としてブロックに分割し、フレームｎ−１を参照画像として検出する動きベクトルを指すものと定義する。

動きベクトル補正部１６は、順方向の動きベクトルを優先的に対応付ける場合、図４に示すように、順方向の動きベクトルを対応付けることができない補間フレームの画素（図４の領域ａ）が発生したならば、この領域ａに対しては逆方向の動きベクトルを対応付ける。この場合、補間フレーム生成部１７において、補間フレームの領域ａ以外の画素は、フレームｎ−１の画素を順方向の動きベクトルに基づいて移動することによって生成し、補間フレームの領域ａの画素は、フレームｎの画素を逆方向の動きベクトルに基づいて移動することによって生成する。

次に、フレームレート変換装置１０の動作について説明する。

まず、動きベクトル補正部１６が順方向の動きベクトルを優先的に対応付ける場合の動作について、図５のフローチャートを参照して説明する。

フレームレート変換装置１０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１８に供給される。

そして、画像データ供給部１１を介してフレームｎが順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給され、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給される。

ステップＳ１において、順方向動きベクトル検出部１４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出する。具体的には、一方のフレームｎ−１を所定サイズのブロックに分割し、各ブロックにそれぞれ対応して他方のフレームｎに探索範囲を設け、ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック単位で順方向の動きベクトルを検出する。

一方、逆方向動きベクトル検出部１５は、フレームｎ−１，ｎに基づくブロックマッチング法によって逆方向の動きベクトルを検出する。具体的には、一方のフレームｎを所定サイズのブロックに分割し、各ブロックにそれぞれ対応して他方のフレームｎ−１に探索範囲を設け、ブロックと探索範囲を比較し、画素の差分の総和が最小となる位置を特定してブロック単位で逆方向の動きベクトルを検出する。検出された順方向の動きベクトルと逆方向の動きベクトルは動きベクトル補正部１６に供給される。

ステップＳ２において、動きベクトル補正部１６は、補間フレームの画素に順方向の動きベクトルを対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。

ステップＳ３において、動きベクトル補正部１６は、ステップＳ２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図４における領域ａの画素）が存在するか否かを判定する。順方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、処理はステップＳ４に進められ、動きベクトル補正部１６は、当該画素に対して逆方向の動きベクトルを対応付ける。ただし、この処理で逆方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。

ステップＳ５において、動きベクトル補正部１６は、ステップＳ４の処理を経てもなお順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在するか否かを判定する。順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在すると判定された場合、処理はステップＳ６に進められ、動きベクトル補正部１６は、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。

このようにして、補間フレームの全ての画素に対して動きベクトルが対応付けられると、その情報が補間フレーム生成部１７に供給されて、処理はステップＳ７に進められる。

なお、ステップＳ３の処理で、順方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在しないと判定された場合、ステップＳ４乃至Ｓ６はスキップされて処理はステップＳ７に進められる。また、ステップＳ５の処理で、順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在しないと判定された場合にも、ステップＳ６はスキップされて処理はステップＳ７に進められる。

ステップＳ７において、補間フレーム生成部１７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部１９に出力する。

補間フレーム挿入部１９は、遅延部１８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。

以上で、動きベクトル補正部１６が順方向の動きベクトルを優先的に対応付ける場合の動作の説明を終了する。

なお、動きベクトル補正部１６が逆方向の動きベクトルを優先的に対応付ける場合には、ステップＳ２の処理で、逆方向の動きベクトルを補間フレームの画素に対応付けるようにし、この処理で逆方向の動きベクトルを対応付けることができなかった補間フレームの画素に対し、ステップＳ４の処理で順方向の動きベクトルを対応付けるようにすればよい。

以上説明したフレームレート変換装置１０による、順方向の動きベクトルまたは逆方向の動きベクトルの一方を優先させる動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。

次に、フレームレート変換装置１０の動きベクトル補正部１６が、順方向の動きベクトルまたは逆方向の動きベクトルのうち、信頼度の高い方を対応付ける場合の動作について、図６のフローチャートを参照して説明する。

フレームレート変換装置１０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、１フレーム遅延部１２、および遅延部１８に供給される。

そして、画像データ供給部１１を介してフレームｎが順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給され、１フレーム遅延部１２および画像データ供給部１３を介してフレームｎ−１が順方向動きベクトル検出部１４および逆方向動きベクトル検出部１５に供給される。

ステップＳ１１において、順方向動きベクトル検出部１４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出する。一方、逆方向動きベクトル検出部１５は、フレームｎ−１，ｎに基づくブロックマッチング法によって逆方向の動きベクトルを検出する。検出された順方向の動きベクトルと逆方向の動きベクトルはその検出時に得られる信頼度とともに動きベクトル補正部１６に供給される。

ここで、動きベクトルの信頼度には、例えばブロックマッチング法により動きベクトルを検出するときの、基準画像としたフレーム（例えばフレームｎ−１）を分割した各ブロックと、参照画像としたフレーム（例えばフレームｎ）上の探索範囲との対応する画素間の差分の総和を用いることができる。なお、当該総和がより小さいほど、信頼度がより高いことになる。

ステップＳ１２において、動きベクトル補正部１６は、順方向の動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。ステップＳ１３において、動きベクトル補正部１６は、逆方向の動きベクトルを補間フレームの画素に動きベクトルを対応付ける。ただし、この処理で逆方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。

ステップＳ１４において、動きベクトル補正部１６は、順方向の動きベクトルと逆方向の動きベクトルの両方が対応付けられている補間フレームの画素に対して、信頼度の高い方の動きベクトルを採用し、信頼度の低い方の動きベクトルを破棄して、順方向または逆方向いずれかの一方の動きベクトルを補間フレームの画素に対応付ける。

ステップＳ１５において、動きベクトル補正部１６は、ステップＳ１２乃至Ｓ１４の処理を経てもなお順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在するか否かを判定する。順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在すると判定された場合、処理はステップＳ１６に進められ、動きベクトル補正部１６は、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。

このようにして、補間フレームの全ての画素に対して動きベクトルが対応付けられると、その情報が補間フレーム生成部１７に供給されて、処理はステップＳ１７に進められる。

なお、ステップＳ１５の処理で、順方向の動きベクトルも逆方向の動きベクトルも対応付けることができなかった補間フレームの画素が存在しないと判定された場合、ステップＳ１６はスキップされて処理はステップＳ１７に進められる。

ステップＳ１７において、補間フレーム生成部１７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部１９に出力する。

補間フレーム挿入部１９は、遅延部１８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。

以上で、動きベクトル補正部１６が順方向の動きベクトルまたは逆方向の動きベクトルのうち、信頼度の高い方を対応付ける場合の動作の説明を終了する。

以上説明したフレームレート変換装置１０による、順方向の動きベクトルまたは逆方向の動きベクトルの信頼度が高い方の動きベクトルを優先させる動作によれば、補間フレームのより多くの画素により適切な動きベクトルを対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。

次に、図７は本発明の一実施の形態であるフレームレート変換装置の第２の構成例を示している。このフレームレート変換装置３０は、上述した第１の構成例であるフレームレート変換装置１０が常に順方向の動きベクトルと逆方向の動きベクトルの両方を検出することに対して、通常は順方向の動きベクトルまたは逆方向の動きベクトルの一方を検出するようにし、当該一方の動きベクトルを対応付けることができない補間フレームの画素に対してのみ、他方の動きベクトルを検出して対応付けるようにしたものである。

このフレームレート変換装置３０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部３１、前段からの入力動画像データを１フレーム周期だけ遅延させる１フレーム遅延部３２、１フレーム周期だけ遅延された入力動画像データを１フレームずつ後段に出力する画像データ供給部３３、動きベクトル補正部３６からの制御に従って画像データ供給部３１から供給されるフレームｎと画像データ供給部３３から供給されるフレームｎ−１に基づくブロックマッチング法によって順方向の動きベクトルを検出する順方向動きベクトル検出部３４、動きベクトル補正部３６からの制御に従って画像データ供給部３１から供給されるフレームｎと画像データ供給部３３から供給されるフレームｎ−１に基づくブロックマッチング法によって逆方向の動きベクトルを検出する逆方向動きベクトル検出部３５、および、順方向の動きベクトルと逆方向の動きベクトルのうちの一方を優先的に補間フレームの画素に対応付ける動きベクトル補正部３６から構成される。

さらに、フレームレート変換装置３０は、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部３７、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部３８、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部３９から構成される。

フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。

なお、フレームレート変換装置３０において、順方向動きベクトル検出部３４と逆方向動きベクトル検出部３５は平行して動作しない。すなわち、動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合、通常、順方向動きベクトル検出部３４が動作し、逆方向動きベクトル検出部３５は動作しない。そして、動きベクトル補正部３６により、順方向の動きベクトルを優先的に対応付けた結果、図４に示すように、順方向の動きベクトルを対応付けることができない補間フレームの画素（図４の領域ａ）が発生したならば、この領域ａに対応するフレームｎ上の領域ｂを含むブロックの逆方向の動きベクトルを逆方向動きベクトル検出部３５によって検出する。そして検出される逆方向の動きベクトルが補間フレームの領域ａの画素に対応付けられる。

この場合、補間フレーム生成部３７において、補間フレームの領域ａ以外の画素は、フレームｎ−１の画素を順方向の動きベクトルに基づいて移動することによって生成し、補間フレームの領域ａの画素は、フレームｎの画素を逆方向の動きベクトルに基づいて移動することによって生成する。

次に、フレームレート変換装置３０の動作について説明する。

まず、動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作について、図８のフローチャートを参照して説明する。

フレームレート変換装置３０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部３１、１フレーム遅延部３２、および遅延部３８に供給される。

そして、画像データ供給部３１を介してフレームｎが順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給され、１フレーム遅延部３２および画像データ供給部３３を介してフレームｎ−１が順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給される。

ステップＳ２１において、順方向動きベクトル検出部３４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出し、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。一方、逆方向動きベクトル検出部３５は、逆方向の動きベクトルを検出することなく待機する。

ステップＳ２２において、動きベクトル補正部３６は、補間フレームの画素に順方向の動きベクトルを対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。

ステップＳ２３において、動きベクトル補正部３６は、ステップＳ２２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図４における領域ａの画素）を検出し、その画素の対応するフレームｎ上の領域（例えば、図４における領域ｂ）を特定して、特定したフレームｎ上の領域を逆方向動きベクトル検出部３５に通知する。なお、ステップＳ２２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素が検出されない場合、逆方向動きベクトル検出部３５への通知は行われず、以降のステップＳ２４および２５の処理も省略される。

ステップＳ２４において、逆方向動きベクトル検出部３５は、動きベクトル補正部３６から通知されたフレームｎ上の領域が含まれるようにフレームｎを分割してブロックを形成し、当該領域を含むブロックについてのみ、ブロックマッチング法によって逆方向の動きベクトルを検出する。なお、当該領域を含むブロックを形成する際、当該領域が１ブロックに収まるようにブロックを形成してもよいし、当該領域が複数のブロックに跨って分割されるようにブロックを形成してもよい。そして、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。

ステップＳ２５において、動きベクトル補正部３６は、ステップＳ２２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素に、逆方向の動きベクトルを対応付ける。さらに、動きベクトル補正部３６は、逆方向の動きベクトルを用いても動きベクトルを対応付けることができなかった補間フレームの画素が存在するか否かを判定し、この時点で順方向および逆方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。

このようにして、補間フレームの全ての画素に対して動きベクトルを対応付けた後、動きベクトル補正部３６は、補間フレームの各画素に対応付けた動きベクトルを補間フレーム生成部３７に供給する。

ステップＳ２６において、補間フレーム生成部３７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部３９に出力する。

補間フレーム挿入部３９は、遅延部３８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。

以上で、フレームレート変換装置３０における動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作の説明を終了する。

なお、フレームレート変換装置３０における動きベクトル補正部３６が逆方向の動きベクトルを優先的に対応付ける場合には、ステップＳ２１の処理で、逆方向動きベクトル検出部３５が逆方向の動きベクトルを検出し、一方、順方向動きベクトル検出部３４は、順方向の動きベクトルを検出することなく待機するようにする。そして、ステップＳ２２の処理で、補間フレームの画素に逆方向の動きベクトルを対応付ける。

さらに、ステップＳ２３乃至Ｓ２５の処理で、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素を検出し、その画素の対応するフレームｎ−１上の領域を特定して、特定したフレームｎ−１上の領域を含むブロックを形成し、当該領域を含むブロックについてのみ順方向の動きベクトルを検出し、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素に、順方向の動きベクトルを対応付けるようにすればよい。

以上説明したように、フレームレート変換装置３０によれば、補間フレームのより多くの画素に動きベクトルを対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。

さらに、フレームレート変換装置３０によれば、順方向または逆方向の動きベクトルのうち、一方の動きベクトルは全てのブロックに対して検出し、他方については必要なブロックに対応してのみ検出するようにしたので、フレームレート変換装置１０に比較して動きベクトルを検出する際の演算量を削減することができる。よって、動画像データのフレームレート変換をリアルタイムで行うことが可能となる。

ところで、補間フレームの画素に動きベクトルを対応付けることができないことに起因する画質の劣化は、画像内のエッジ部分において顕著である。換言すれば、補間フレームの画素に動きベクトルを対応付けることができなくても、その画素が画像内のエッジ部分でなければ、画質の劣化はそれほど目立たない。そこで、動きベクトルを検出する際の演算量をさらに削減できるフレームレート変換装置の第３の構成例を提案する。

図９は本発明の一実施の形態であるフレームレート変換装置の第３の構成例を示している。このフレームレート変換装置５０は、順方向の動きベクトルまたは逆方向の動きベクトルの一方を検出し、当該一方の動きベクトルを対応付けることができない補間フレームの画素であって、且つ、画像内のエッジ部分の画素に対してのみ、他方の動きベクトルを検出して対応付けるようにするものである。

このフレームレート変換装置５０は、図７に示されたフレームレート変換装置３０の構成例に、エッジ検出部５１を追加したものである。

エッジ検出部５１は、順方向動きベクトル検出部３４または逆方向動きベクトル検出部３５からの制御に従い、フレームｎ−１またはフレームｎの画像内のエッジ部分を検出して、その検出結果を制御元の順方向動きベクトル検出部３４または逆方向動きベクトル検出部３５に通知する。エッジ検出部５１以外の構成要素については、フレームレート変換装置３０と共通であって同一の符号を付しているので、その説明は省略する。

次に、フレームレート変換装置５０の動作について説明する。

まず、動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作について、図１０のフローチャートを参照して説明する。

フレームレート変換装置５０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部３１、１フレーム遅延部３２、および遅延部３８に供給される。

そして、画像データ供給部３１を介してフレームｎが順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給され、１フレーム遅延部３２および画像データ供給部３３を介してフレームｎ−１が順方向動きベクトル検出部３４および逆方向動きベクトル検出部３５に供給される。

ステップＳ３１において、順方向動きベクトル検出部３４は、フレームｎ−１，ｎに基づくブロックマッチング法によって順方向の動きベクトルを検出し、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。一方、逆方向動きベクトル検出部３５は、逆方向の動きベクトルを検出することなく待機する。

ステップＳ３２において、動きベクトル補正部３６は、補間フレームの画素に順方向の動きベクトルを対応付ける。ただし、この処理で順方向の動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。

ステップＳ３３において、動きベクトル補正部３６は、ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図４における領域ａの画素）を検出し、その画素の対応するフレームｎ上の領域（例えば、図４における領域ｂ）を特定して、特定したフレームｎ上の領域を逆方向動きベクトル検出部３５に通知する。なお、ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素が検出されない場合、逆方向動きベクトル検出部３５への通知は行われず、以降のステップＳ３４および３６の処理も省略される。

ステップＳ３４において、逆方向動きベクトル検出部３５は、動きベクトル補正部３６からの通知に対応し、フレームｎの動画像データをエッジ検出部５１に供給する。エッジ検出部５１は、フレームｎの画面上のエッジ部分を検出して、検出結果を逆方向動きベクトル検出部３５に出力する。なお、エッジ検出部５１におけるエッジ部分の検出は、
ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素に対応するフレームｎ上の領域の周辺だけに限定してもよい。このようにすれば、エッジ検出に要する演算量を少なくすることができる。

ステップＳ３５において、逆方向動きベクトル検出部３５は、動きベクトル補正部３６から通知されたフレームｎ上の領域であって、且つ、エッジ部分であることが検出された領域が含まれるようにフレームｎを分割してブロックを形成し、当該ブロックについてのみ、ブロックマッチング法によって逆方向の動きベクトルを検出する。なお、当該領域を含むブロックを形成する際、当該領域が１ブロックに収まるようにブロックを形成してもよいし、当該領域が複数のブロックに跨って分割されるようにブロックを形成してもよい。そして、検出した順方向の動きベクトルを動きベクトル補正部３６に出力する。

ステップＳ３６において、動きベクトル補正部３６は、ステップＳ３２の処理で順方向の動きベクトルを対応付けることができなかった補間フレームの画素に、逆方向の動きベクトルを対応付ける。さらに、動きベクトル補正部３６は、逆方向の動きベクトルを用いても動きベクトルを対応付けることができなかった補間フレームの画素が存在するか否かを判定し、この時点で順方向および逆方向の動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、当該画素に対して近傍の画素に対応付けられている順方向あるいは逆方向の動きベクトルを平均するなどして対応付ける動きベクトルを決定する。

このようにして、補間フレームの全ての画素に対して動きベクトルを対応付けた後、動きベクトル補正部３６は、補間フレームの各画素に対応付けた動きベクトルを補間フレーム生成部３７に供給する。

ステップＳ３７において、補間フレーム生成部３７は、補間フレームの画素のうち、順方向の動きベクトルが対応付けられているものは、フレームｎ−１の対応する画素を順方向の動きベクトルに基づいて移動することによって生成し、逆方向の動きベクトルが対応付けられているものは、フレームｎの対応する画素を逆方向の動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部３９に出力する。

補間フレーム挿入部３９は、遅延部３８から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。

以上で、フレームレート変換装置５０における動きベクトル補正部３６が順方向の動きベクトルを優先的に対応付ける場合の動作の説明を終了する。

なお、フレームレート変換装置５０における動きベクトル補正部３６が逆方向の動きベクトルを優先的に対応付ける場合には、ステップＳ３１の処理で、逆方向動きベクトル検出部３５が逆方向の動きベクトルを検出し、一方、順方向動きベクトル検出部３４は、順方向の動きベクトルを検出することなく待機するようにする。そして、ステップＳ３２の処理で、補間フレームの画素に逆方向の動きベクトルを対応付ける。

さらに、ステップ３３乃至Ｓ３６の処理で、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素を検出し、その画素の対応するフレームｎ−１上の領域を特定する。また、フレームｎ−１上のエッジ部分を検出し、特定したフレームｎ−１上の領域であって、且つ、フレームｎ−１上のエッジ部分である領域を含むブロックを形成し、当該領域を含むブロックについてのみ順方向の動きベクトルを検出し、逆方向の動きベクトルを対応付けることができなかった補間フレームの画素に、順方向の動きベクトルを対応付けるようにすればよい。

以上説明したように、フレームレート変換装置５０によれば、補間フレームの画質劣化を伴うことなく、フレームレート変換装置３０よりも動きベクトルを検出する際の演算量を削減することができる。よって、動画像データのフレームレート変換をリアルタイムで行うことが可能となる。

なお、上述した説明において、動きベクトルの検出にはブロックマッチング法を用いたが、その際、分割したブロックの画素を間引くなどして演算量を削減するようにしてもよい。また、ブロックマッチング法の代わりに、勾配法などの他の手法を用いて動きベクトルを検出してもよい。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

上述した一連の処理を実行させるソフトウェアは、記録媒体に格納された状態でパーソナルコンピュータに供給され、ドライブによって読み出されて内蔵されるハードディスクドライブなどにインストールされており、このインストールされているソフトウェアは、入力されるユーザからのコマンドに対応するCPUの指令によって、ハードディスクドライブからRAMにロードされて実行される。

なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

動きベクトルを対応付ける際の従来の問題点を説明するための図である。 本発明を適用したフレームレート変換装置の第１の構成例を示すブロック図である。 順方向および逆方向の動くベクトルの定義を説明するための図である。 順方向の動きベクトルを対応付けることができない補間フレームの画素を説明するための図である。 フレームレート変換装置の第１の構成例の動作を説明するフローチャートである。 フレームレート変換装置の第１の構成例の動作を説明するフローチャートである。 本発明を適用したフレームレート変換装置の第２の構成例を示すブロック図である。 フレームレート変換装置の第２の構成例の動作を説明するフローチャートである。 本発明を適用したフレームレート変換装置の第３の構成例を示すブロック図である。 フレームレート変換装置の第３の構成例の動作を説明するフローチャートである。

符号の説明

１０ フレームレート変換装置， １４ 順方向動きベクトル検出部， １５ 逆方向動きベクトル検出部， １６ 動きベクトル補正部， １７ 補間フレーム生成部，３０ フレームレート変換装置， ３４ 順方向動きベクトル検出部， ３５ 逆方向動きベクトル検出部， ３６ 動きベクトル補正部， ３７ 補間フレーム生成部， ５０ フレームレート変換装置， ５１ エッジ検出部

Claims (11)

1. 動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、
   前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出手段と、
   前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出手段と、
   前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定手段と
   を含む画像処理装置。
2. 前記決定手段によって決定された前記動きベクトルに基づき、補間画像を構成する前記画素を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて生成する生成手段を
   さらに含む請求項１に記載の画像処理装置。
3. 前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの信頼度が高い方に基づいて決定する
   請求項１に記載の画像処理装置。
4. 前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記順方向の動きベクトルに基づいて決定し、前記順方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記逆方向の動きベクトルに基づいて対応する動きベクトルを決定する
   請求項１に記載の画像処理装置。
5. 前記決定手段は、前記補間画像を構成する画素に対応する動きベクトルを前記逆方向の動きベクトルに基づいて決定し、前記逆方向の動きベクトルに基づいて対応する動きベクトルが決定できなかった前記補間画像を構成する前記画素に対し、前記順方向の動きベクトルに基づいて対応する動きベクトルを決定する
   請求項１に記載の画像処理装置。
6. 前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分に対応し、前記逆方向の動きベクトルを検出する
   請求項１に記載の画像処理装置。
7. 前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分に対応し、前記順方向の動きベクトルを検出する
   請求項１に記載の画像処理装置。
8. 前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含み、
   前記第２の動きベクトル検出手段は、前記第１の動きベクトル検出手段によって前記順方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記逆方向の動きベクトルを検出する
   請求項１に記載の画像処理装置。
9. 前記第１の画像または前記第２の画像におけるエッジ部分を検出するエッジ検出手段をさらに含み、
   前記第１の動きベクトル検出手段は、前記第２の動きベクトル検出手段によって前記逆方向の動きベクトルが検出されなかった部分であって、かつ、前記エッジ検出手段によって検出された前記エッジ部分に対応し、前記順方向の動きベクトルを検出する
   請求項１に記載の画像処理装置。
10. 動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、
    前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、
    前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、
    前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップと
    を含む画像処理方法。
11. 動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成するためのプログラムであって、
    前記第１の画像から前記第２の画像への順方向の動きベクトルを検出する第１の動きベクトル検出ステップと、
    前記第２の画像から前記第１の画像への逆方向の動きベクトルを検出する第２の動きベクトル検出ステップと、
    前記補間画像を構成する画素に対応する動きベクトルを、前記順方向の動きベクトルまたは前記逆方向の動きベクトルのうちの少なくとも一方に基づいて決定する決定ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images