JP2009141798A - 画像補間装置 - Google Patents

Abstract

【課題】画像補間の対象となる映像中に非映像領域があった場合でも、誤補間に起因する品質劣化を防いで、安定した映像を提供する。
【解決手段】特徴量算出部１０３は、画面全体の特徴量を算出し、特徴量算出部１０２は、指定情報部１０１により指定される画面領域のみの特徴量を算出する。補間判定制御部１０４は、２つの特徴量が一致すれば補間ＯＮを出力し、一致しなければ補間ＯＦＦを出力する。画面中央補間部１１１は、動きベクトル探索部１０５からの動きベクトルを用いて、画面領域内における補間画像を生成する。画面端補間部１１２は、補間ＯＮのとき、画面端の補間処理を実行し、補間ＯＦＦのとき、画面端の補間処理を停止する。したがって、補間ＯＮのときは、画面全体を補間する補間フレームが出力され、補間ＯＦＦのときは、指定された画面領域のみを補間する補間フレームが出力される。
【選択図】図１

Description

本発明は、２つの映像フレームの間に、実在しない映像フレームを補間によって生成する画像補間技術に関する。

薄型テレビに用いられるディスプレイの１つである液晶ディスプレイ（ＬＣＤ）においては、ＣＲＴ（Cathode Ray Tube）やプラズマディスプレイのようにディスプレイに一瞬の画像を描画するインパルス表示とは異なり、次の映像フレームが来るまでの間、描画を続けるホールド表示が用いられる。

このホールド表示では、映像中の動体に対して、眼球の追従による動き補間と、位置の変わらないホールド表示との間のアンマッチによって、モーションジャダといわれる現象が発生する。また、近年始まったワンセグ放送では、フレームレートが１５ｆｐｓ程度と、現行のアナログ放送よりも低いレートになっていることから、動きの不自然さが目立つことがある。

この問題を解決するには、映像フレームの間に中間フレームを作成し、動きを補間した映像を見せることが効果的である。この動きの補間の様子を図１９に示す。時刻ｔ−１におけるフレーム１１と時刻ｔにおけるフレーム１３から画面内の動きベクトルを求め、例えば、１／２時刻後の動きを補償することで、ちょうど真ん中の時刻ｔ−１／２における補間フレーム１２が生成される。これにより、映像の画質向上を図ることができる。

ところで、放送においては、この補間対象となる映像が常に画面全体にあるとは限らない。例えば、レターボックスやサイドパネルに代表される、画サイズ調整用の非映像領域（黒帯領域／壁紙領域）が設けられる場合がこれに相当する。典型的なサイドパネルの黒帯領域を、図２０に示す。このような非映像領域における補間を適切に制御しないと、黒帯境界が振動しているように見えることで、視覚的な劣化として目立ってしまう。

また、表示デバイスに近い箇所でフレーム補間処理を行う場合、映像信号だけでなく、その他の表示情報、例えば、テキスト領域やピクト表示領域まで含めて、入力映像として処理されることが考えられる。この場合、ユーザ操作により映像部分のみが拡大されて全画面表示となることもあり、一定の画面デザインルールはあるものの、時系列で見るとこれらの領域の境界が常に継続するわけではない。

下記の特許文献１には、非映像領域における動きベクトル探索を制御する技術として、画面端における動きベクトル探索が画面外の領域を参照することを防ぐため、現在の座標情報に基づき探索方向に制限をかける方法が開示されている。

図２１は、特許文献１に開示された補間方法を示している。動きベクトル探索部２１は、画像領域情報２３により画面サイズを認識し、動きベクトルを求める。補間画像生成部２２は、その動きベクトルから補間フレームを生成する。

また、下記の特許文献２には、非映像領域における補間映像を生成する技術として、動きベクトルに基づいて決定される参照画像が非容認画像位置にある場合に、新たな画像データの生成を禁じる方法が開示されている。

図２２は、特許文献２に開示された補間ＯＮ／ＯＦＦ制御方法を示している。動きベク
トル探索部３１は、動きベクトルを求め、領域外参照確認部３３と補間画像生成部３２に出力する。領域外参照確認部３３は、画像領域情報３４により映像領域境界を認識し、動きベクトルに基づいて決定される参照画像が非容認画像位置にある場合に、補間画像生成部３２による補間処理をＯＦＦにする。
特開平６−２７６５１０号公報 特開２００５−２８７０４９号公報

しかしながら、上述した従来の画像補間方法には、次のような問題がある。
特許文献１の補間方法では、画面サイズを指定する画像領域情報をタイミングよく与えなければ、動きベクトルの探索方向を適切に制限することができない。また、画面サイズの切り替わりをどのようにして検出するのかについては、開示されていない。

特許文献２の補間方法では、映像領域境界が既知でかつ変化しないことが前提であり、それが時間的に変化すると、対応することができなくなる。
本発明の課題は、画像補間の対象となる映像中に非映像領域があった場合でも、誤補間に起因する品質劣化を防いで、安定した映像を提供することである。

第１の画像補間装置は、指定情報部、第１の算出部、第２の算出部、判定部、および制御部を備え、前後の画像フレームから補間フレームを生成する。
指定情報部は、画面領域を指定する領域情報を出力する。第１の算出部は、画面全体における第１の特徴量を算出し、第２の算出部は、指定領域における第２の特徴量を算出する。判定部は、第１の特徴量と第２の特徴量との一致不一致を判定し、制御部は、第１の特徴量と第２の特徴量とが不一致なら、指定領域外における補間フレームを生成しないように制御する。

画面全体における第１の特徴量と、指定された画面領域における第２の特徴量を比較することで、画面領域外の非映像領域における補間の可否が判定される。第１の特徴量と第２の特徴量とが不一致なら、指定領域外の補間を禁止する制御が行われる。

第２の画像補間装置は、指定情報部、第１の算出部、第２の算出部、補間判定部、第１の補間部、および第２の補間部を備え、前後の画像フレームから補間フレームを生成する。

指定情報部は、画面領域を指定する領域情報を出力する。第１の算出部は、画面全体における第１の特徴量を算出し、第２の算出部は、領域情報に基づき、指定領域における第２の特徴量を算出する。補間判定部は、第１の特徴量と第２の特徴量との一致不一致に基づいて、補間が有効か無効かを判定する。第１の補間部は、画面領域における補間フレームを生成する。第２の補間部は、補間判定部の判定結果に基づき、指定領域外における補間フレームを生成する。

画面全体における第１の特徴量と、指定された画面領域における第２の特徴量を比較することで、画面領域外の非映像領域における補間の有効／無効が判定される。第１の特徴量と第２の特徴量とが一致すれば、指定領域外の補間が行われ、第１の特徴量と第２の特徴量とが不一致なら、指定領域外の補間は行われない。

参照される映像中における非映像領域が時間的に変化する場合でも、その変化に適応し
ながら補間の可否を判定することができる。したがって、非映像領域を誤って補間することに起因する品質劣化が防止され、安定した補間映像が得られる。

また、表示デバイスの直前でフレーム補間処理を行う場合であっても、外部からタイミングを合わせて画像領域情報を変更する必要がなくなる。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
図１は、実施形態の画像補間装置の構成例を示している。この画像補間装置は、指定情報部１０１、特徴量算出部１０２、１０３、補間判定制御部１０４、動きベクトル探索部１０５、および補間画像生成部１０６を備える。

指定情報部１０１は、画面中央部の画面領域を指定する領域情報を格納し、その領域情報を特徴量算出部１０２および補間画像生成部１０６に出力する。動きベクトル探索部１０５は、２つの入力映像フレームの間で、所定サイズのブロック（矩形領域）を用いたブロックマッチングを行い、マッチング結果から動きベクトルを求める。得られた動きベクトルは、特徴量算出部１０２、１０３、および補間画像生成部１０６に出力される。特徴量算出部１０３は、画面全体を対象として画面の特徴量を算出し、特徴量算出部１０２は、与えられた領域情報に基づき、指定領域内のみの画面の特徴量を算出する。

補間判定制御部１０４は、特徴量算出部１０２および１０３が算出する２つの特徴量が一致するか否かを判定し、その判定結果に基づいて、画面領域外の画面端における補間が有効か否かを判定する。２つの特徴量が一致すれば、補間は有効と判定され、補間ＯＮの制御信号が補間画像生成部１０６に出力される。一方、２つの特徴量が一致しなければ、補間は無効と判定され、補間ＯＦＦの制御信号が補間画像生成部１０６に出力される。

補間画像生成部１０６は、画面中央補間部１１１および画面端補間部１１２を含む。画面中央補間部１１１は、動きベクトル探索部１０５からの動きベクトルを用いて、画面領域内における補間画像を生成する。画面端補間部１１２は、補間判定制御部１０４からの制御信号に基づき、動きベクトルを用いて画面端における補間画像を生成する。画面端補間部１１２は、補間ＯＮの制御信号が入力されたとき、前記動きベクトルを用いて画面端の補間処理を実行し、補間ＯＦＦの制御信号が入力されたとき、画面端の補間処理を停止する。

したがって、補間ＯＮのときは、画面全体を補間する補間フレームが出力され、補間ＯＦＦのときは、指定された画面領域のみを補間する補間フレームが出力される。
このような画像補間処理によれば、画面端の非映像領域が時間的に変化する場合でも、その変化に適応しながら補間映像を生成することができる。したがって、非映像領域を誤って補間することに起因する品質劣化が防止され、安定した補間映像が得られる。

次に、図２０に示したサイドパネルを有する画像が入力された場合の画像補間装置の動作について説明する。この場合、サイドパネルを除いた画面中央部を画面領域として指定した領域情報が、設計上既知のものとして指定情報部１０１に格納されている。

動きベクトル探索部１０５は、入力された映像フレームの画面内で動きベクトル探索が可能な領域（探索可能領域）についてのみ、動きベクトルを求めることができる。そして、画面の周辺にあるベクトル探索が不可能な領域（探索不能領域）については、隣接する領域の動きベクトルを援用した空間補償により動きベクトルを求める。

特徴量算出部１０３は、図２０の画面内の探索可能領域を対象として、画面内の連続特
性に関する特徴量を算出する。サイドパネルの場合は、平均横スクロール速度を特徴量として用いるのが適している。特徴量算出部１０２は、図２に示すように、サイドパネルを除いた部分に限定した動きベクトルを用いて、平均横スクロール速度を算出する。

補間判定制御部１０４は、２つの平均横スクロール速度を比較する。この場合、特徴量算出部１０３が求めた平均横スクロール速度には、サイドパネルの黒帯領域（すなわち、静止領域）の速度が含まれていることから、横スクロールの映像であっても、２つの平均横スクロール速度が不一致となる。この比較結果からサイドパネルを有する画像であることが検出され、補間ＯＦＦが補間画像生成部１０６に出力される。

このとき、画面中央補間部１１１は、図２の領域内における補間画像を生成するが、画面端補間部１１２は、補間処理を行わずに、入力された映像フレームのうち図３に示すサイドパネル部分の画像を出力する。

次に、図４に示すような全画面表示の画像が入力された場合の画像補間装置の動作について説明する。特徴量算出部１０３は、図４の画面全体の探索可能領域を対象として平均横スクロール速度を算出し、特徴量算出部１０２は、図２の画面領域の平均横スクロール速度を算出する。この場合、サイドパネルのような静止領域がないため、画面内の横スクロール速度は一様である。したがって、２つの平均横スクロール速度は一致し、全画面表示であることが検出されて、補間ＯＮが補間画像生成部１０６に出力される。

そこで、画面中央補間部１１１は、図２の領域内における補間画像を生成し、画面端補間部１１２は、図５に示すサイドパネル部分の補間画像を生成する。
図６は、映像フレーム６０１内における探索可能領域と特徴量算出領域の例を示している。映像フレーム６０１から斜線で示す探索不能領域６０２を除いた領域が、探索可能領域である。また、指定情報部１０１から出力される領域情報として、例えば、非映像領域となる可能性のある領域の境界６０３および６０４が用いられる。上述したサイドパネルの例では、境界６０３と境界６０４の間が画面領域として指定されることになる。

動きベクトル探索として有名な方法として、あるブロックサイズごとに類似度計算を行って動きベクトルを求めるブロックマッチング法が挙げられる。探索可能領域のメッシュは、そのブロックマッチング法における単位ブロックを表している。ここでは、探索可能領域がＮ×Ｍ個のブロックに分割され、ＢＬ（ｉ，ｊ）はｉ行ｊ列のブロックを表す。

特徴量算出部１０３は、全ブロックＢＬ（ｉ，ｊ）（ｉ＝０〜Ｍ−１，ｊ＝０〜Ｎ−１）からなる特徴量算出領域６０５を対象として、特徴量を算出する。一方、特徴量算出部１０２は、境界６０３と境界６０４の間にあるブロックＢＬ（ｉ，ｊ）（ｉ＝０〜Ｍ−１，ｊ＝１〜Ｎ−２）からなる特徴量算出領域６０６を対象として、特徴量を算出する。

図７は、特徴量の計算方法の例を示している。サイドパネルの例では、特徴量として平均横スクロール速度を用いるのが適している。平均横スクロール速度は、画面内の平均動きベクトルを計算することで求められる。

ブロックＢＬ（ｉ，ｊ）における動きベクトルをｍｖ（ｉ，ｊ）と表記すると、画面内平均動きベクトルは、縦方向におけるＭ個のｍｖ（ｉ，ｊ）の平均値ｍｖａｖｅ（ｊ）を列毎に計算し、得られた複数のｍｖａｖｅ（ｊ）の平均値を計算することで、求められる。特徴量算出部１０３は、下記の平均動きベクトルｍｖａｖｅａｌｌを計算し、特徴量算出部１０２は、下記の平均動きベクトルｍｖａｖｅｓｕｂを計算する。

補間判定制御部１０４は、ｍｖａｖｅａｌｌとｍｖａｖｅｓｕｂを比較するが、サイドパネルを有する画像では２つの平均動きベクトルが一致しない。これにより、境界６０３と境界６０４の外側の部分が非映像領域であると判定され、補間ＯＦＦが出力される。

次に、図８に示すようなレターボックスの画像が入力された場合の画像補間装置の動作について説明する。このレターボックスの例では、画面サイズ比率４：３の画面に比率１６：９の画面が収められており、上下の黒帯領域を除いた画面中央部を画面領域として指定した領域情報が、設計上既知のものとして指定情報部１０１に格納される。

特徴量算出部１０３は、図８の画面内の探索可能領域を対象として、画面内の連続特性に関する特徴量を算出する。レターボックスの場合は、平均縦スクロール速度を特徴量として用いるのが適している。特徴量算出部１０２は、図９に示すように、画面端を除いた部分に限定した動きベクトルを用いて、平均縦スクロール速度を算出する。

補間判定制御部１０４は、２つの平均縦スクロール速度を比較する。この場合、特徴量算出部１０３が求めた平均縦スクロール速度には、画面端の黒帯領域（すなわち、静止領域）の速度が含まれていることから、縦スクロールの映像であっても、２つの平均縦スクロール速度が不一致となる。この比較結果からレターボックスの画像であることが検出され、補間ＯＦＦが補間画像生成部１０６に出力される。

このとき、画面中央補間部１１１は、図９の領域内における補間画像を生成するが、画面端補間部１１２は、補間処理を行わずに、入力された映像フレームのうち図１０に示す画面端の画像を出力する。

次に、図１１に示すような全画面表示の画像が入力された場合の画像補間装置の動作について説明する。特徴量算出部１０３は、図１１の画面全体の探索可能領域を対象として平均縦スクロール速度を算出し、特徴量算出部１０２は、図９の画面領域の平均縦スクロール速度を算出する。この場合、黒帯領域のような静止領域がないため、画面内の縦スクロール速度は一様である。したがって、２つの平均縦スクロール速度は一致し、全画面表示であることが検出されて、補間ＯＮが補間画像生成部１０６に出力される。

そこで、画面中央補間部１１１は、図９の領域内における補間画像を生成し、画面端補間部１１２は、図１２に示す画面端の補間画像を生成する。
図１３は、レターボックスの場合における特徴量の計算方法の例を示している。この場合、特徴量として平均縦スクロール速度を用いるのが適している。平均縦スクロール速度も、平均横スクロール速度と同様に、画面内の平均動きベクトルを計算することで求められる。ここでは、ｉ＝０により示される上端の行とｉ＝Ｍ−１により示される下端の行が
画面端に相当し、ｉ＝１〜Ｍ−２により示されるＭ−２個の行が画面領域に相当する。

ブロックＢＬ（ｉ，ｊ）における動きベクトルをｍｖ（ｉ，ｊ）と表記すると、画面内平均動きベクトルは、横方向におけるＮ個のｍｖ（ｉ，ｊ）の平均値ｍｖａｖｅ（ｉ）を行毎に計算し、得られた複数のｍｖａｖｅ（ｉ）の平均値を計算することで、求められる。特徴量算出部１０３は、下記の平均動きベクトルｍｖａｖｅａｌｌを計算し、特徴量算出部１０２は、下記の平均動きベクトルｍｖａｖｅｓｕｂを計算する。

補間判定制御部１０４は、ｍｖａｖｅａｌｌとｍｖａｖｅｓｕｂを比較するが、レターボックスの画像では２つの平均動きベクトルが一致しない。これにより、上端部と下端部が非映像領域であると判定され、補間ＯＦＦが出力される。

以上説明した実施形態では、１種類の画面領域に対して２つの特徴量算出部を用いて補間ＯＮ／ＯＦＦの制御を行っているが、あらかじめ複数種類の画面領域が指定されている場合は、３つ以上の特徴量算出部を用いて制御を行うことが可能である。

この場合、１つの特徴量算出部が画面全体の特徴量を算出し、他の特徴量算出部が領域情報に基づいてそれぞれの画面領域の特徴量を算出する。そして、得られた画面全体の特徴量をそれぞれの画面領域の特徴量と比較することで、画面領域の種類と画面端における補間が有効か否かが判定される。

図１４は、実施形態の画像補間装置を利用したフレームレート変換装置の構成例を示している。このフレームレート変換装置は、画像補間装置１６０１、遅延器１６０２、およびスイッチ１６０３を備え、入力映像のフレームレートを向上させる。

遅延器１６０２は、連続して入力される映像フレーム１６１１および１６１２を、一定時間だけ遅延させて出力する。画像補間装置１６０１は、現時刻の映像フレーム１６１２と、遅延器１６０２から出力される前の時刻の映像フレーム１６１１から、補間フレーム１６１３を生成する。スイッチ１６０３は、遅延器１６０２から出力される映像フレームと、画像補間装置１６０１から出力される補間フレーム１６１３を交互に選択して出力する。これにより、映像フレーム１６１１、補間フレーム１６１３、および映像フレーム１６１２の順に、それぞれのフレームがフレームレート変換装置から出力される。

図１５は、図１４のフレームレート変換装置を利用した映像再生装置の構成例を示している。この映像再生装置は、映像データ記憶装置１７０１、デコード装置１７０２、フレームレート変換装置１７０３、およびディスプレイ１７０４を備える。デコード装置１７０２は、映像データ記憶装置１７０１に保存された映像データをデコードして、映像フレ
ームを出力する。フレームレート変換装置１７０３は、映像フレーム間に補間フレームを挿入し、ディスプレイ１７０４は、それらのフレームを時系列に画面上に表示する。なお、ディスプレイ１７０４として外付けのものを用いる構成も可能である。

図１６は、図１４のフレームレート変換装置を利用した映像表示装置の構成例を示している。この映像表示装置は、映像データ受信機１８０１、フレームレート変換装置１７０３、およびディスプレイ１８０２を備える。映像データ受信機１８０１は、通信ネットワークから映像フレームを受信し、フレームレート変換装置１７０３は、映像フレーム間に補間フレームを挿入し、ディスプレイ１８０２は、それらのフレームを時系列に画面上に表示する。この場合も、ディスプレイ１８０２として外付けのものを用いる構成が可能である。

ところで、画像補間装置１６０１およびフレームレート変換装置１７０３の処理をソフトウェアにより実装する場合、図１７に示すような情報処理装置（コンピュータ）が用いられる。図１７の情報処理装置は、ＣＰＵ（中央処理装置）１９０１、メモリ１９０２、入力装置１９０３、出力装置１９０４、外部記憶装置１９０５、媒体駆動装置１９０６、およびネットワーク接続装置１９０７を備え、それらはバス１９０８により互いに接続されている。

メモリ１９０２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムおよびデータを格納する。ＣＰＵ１９０１は、メモリ１９０２を利用してプログラムを実行することにより、画像補間処理およびフレームレート変換処理を行う。

この場合、入力される映像フレームは、処理対象のデータとしてメモリ１９０２に格納され、探索された動きベクトルは、処理結果のデータとしてメモリ１９０２に格納される。また、指定情報部１０１は、メモリ１９０２に対応し、特徴量算出部１０２、１０３、補間判定制御部１０４、動きベクトル探索部１０５、および補間画像生成部１０６は、メモリ１９０２に格納されたプログラムに対応する。

入力装置１９０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置１９０４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。

外部記憶装置１９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１９０５に、プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１９０２にロードして使用する。

媒体駆動装置１９０６は、可搬記録媒体１９０９を駆動し、その記録内容にアクセスする。可搬記録媒体１９０９は、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体１９０９にプログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１９０２にロードして使用する。

ネットワーク接続装置１９０７は、ＬＡＮ（local area network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置は、必要に応じて、プログラムおよびデータを外部の装置からネットワーク接続装置１９０７を介して受け取り、それらをメモリ１９０２にロードして使用する。

図１８は、図１７の情報処理装置にプログラムおよびデータを提供する方法を示している。可搬記録媒体１９０９や外部装置２００１のデータベースに格納されたプログラムおよびデータは、情報処理装置２００２のメモリ１９０２にロードされる。外部装置２００１は、そのプログラムおよびデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置２００２に送信する。ＣＰＵ１９０１は、そのデータを用いてそのプログラムを実行し、上述した処理を行う。

（付記１）前後の画像フレームから補間フレームを生成する画像補間装置であって、
画面領域を指定する領域情報を出力する指定情報部と、
画面全体における第１の特徴量を算出する第１の算出部と、
前記領域情報に基づき、前記画面領域における第２の特徴量を算出する第２の算出部と、
前記第１の特徴量と第２の特徴量との一致不一致を判定する判定部と、
前記第１の特徴量と第２の特徴量とが不一致なら、前記画面領域外における補間フレームを生成しないように制御する制御部とを有することを特徴とする画像補間装置。
（付記２）前記第１および第２の特徴量は画面内平均動きベクトルであることを特徴とする付記１記載の画像補間装置。
（付記３）前後の画像フレームから補間フレームを生成する画像補間装置であって、
画面領域を指定する領域情報を出力する指定情報部と、
画面全体における第１の特徴量を算出する第１の算出部と、
前記領域情報に基づき、前記画面領域における第２の特徴量を算出する第２の算出部と、
前記第１の特徴量と第２の特徴量との一致不一致に基づいて、補間が有効か無効かを判定する補間判定部と、
前記画面領域における補間フレームを生成する第１の補間部と、
前記補間判定部の判定結果に基づき、前記画面領域外における補間フレームを生成する第２の補間部とを有することを特徴とする画像補間装置。
（付記４）前記第２の補間部は、補間が有効なら、前記画面領域外における補間フレームを生成し、補間が無効なら、前記画面領域外における補間フレームを生成しないことを特徴とする付記３記載の画像補間装置。
（付記５）付記１に記載の画像補間装置を備えたフレームレート変換装置。
（付記６）映像データ記憶装置と付記５記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ記憶装置から出力される映像データの補間を行うことで、フレームレートを変換することを特徴とする映像再生装置。
（付記７）映像データ受信機と付記５記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ受信機が受信した映像データの補間を行うことで、フレームレートを変換することを特徴とする映像表示装置。
（付記８）前後の画像フレームから補間フレームを生成するコンピュータのためのプログラムであって、
画面全体における第１の特徴量を算出し、
領域情報により指定される画面領域における第２の特徴量を算出し、
前記第１の特徴量と第２の特徴量との一致不一致を判定し、
前記第１の特徴量と第２の特徴量とが不一致なら、前記画面領域外における補間フレームを生成しないように制御する処理を前記コンピュータに実行させることを特徴とするプログラム。
（付記９）前後の画像フレームから補間フレームを生成するコンピュータのためのプログラムであって、
画面全体における第１の特徴量を算出し、
領域情報により指定される画面領域における第２の特徴量を算出し、
前記第１の特徴量と第２の特徴量との一致不一致に基づいて、補間が有効か無効かを判定し、
前記画面領域における補間フレームを生成し、
補間が有効か無効かの判定結果に基づき、前記画面領域外における補間フレームを生成する処理を前記コンピュータに実行させることを特徴とするプログラム。

画像補間装置の構成図である。 第１の画面領域を示す図である。 第１の画面端を示す図である。 第１の全体画面を示す図である。 第２の画面端を示す図である。 探索可能領域と特徴量算出領域を示す図である。 第１の平均動きベクトルの計算方法を示す図である。 レターボックスを示す図である。 第２の画面領域を示す図である。 第３の画面端を示す図である。 第２の全体画面を示す図である。 第４の画面端を示す図である。 第２の平均動きベクトルの計算方法を示す図である。 フレームレート変換装置の構成図である。 映像再生装置の構成図である。 映像表示装置の構成図である。 情報処理装置の構成図である。 プログラムおよびデータの提供方法を示す図である。 動きの補間を示す図である。 サイドパネルを示す図である。 画像領域情報を用いた補間方法を示す図である。 補間ＯＮ／ＯＦＦ制御を示す図である。

符号の説明

１１、１３ フレーム
１２、１６１３ 補間フレーム
２１、３１、１０５ 動きベクトル探索部
２２、３２、１０６ 補間画像生成部
２３、３４ 画像領域情報
３３ 領域外参照確認部
１０１ 指定情報部
１０２、１０３ 特徴量算出部
１０４ 補間判定制御部
１１１ 画面中央補間部
１１２ 画面端補間部
６０１、１６１１、１６１２ 映像フレーム
６０２ 探索不能領域
６０３、６０４ 境界
６０５、６０６ 特徴量算出領域
１６０１ 画像補間装置
１６０２ 遅延器
１６０３ スイッチ
１７０１ 映像データ記憶装置
１７０２ デコード装置
１７０３ フレームレート変換装置
１７０４、１８０２ ディスプレイ
１８０１ 映像データ受信機
１９０１ ＣＰＵ
１９０２ メモリ
１９０３ 入力装置
１９０４ 出力装置
１９０５ 外部記憶装置
１９０６ 媒体駆動装置
１９０７ ネットワーク接続装置
１９０８ バス
２００１ 外部装置
２００２ 情報処理装置

Claims (8)

1. 前後の画像フレームから補間フレームを生成する画像補間装置であって、
   画面領域を指定する領域情報を出力する指定情報部と、
   画面全体における第１の特徴量を算出する第１の算出部と、
   前記領域情報に基づき、前記画面領域における第２の特徴量を算出する第２の算出部と、
   前記第１の特徴量と第２の特徴量との一致不一致を判定する判定部と、
   前記第１の特徴量と第２の特徴量とが不一致なら、前記画面領域外における補間フレームを生成しないように制御する制御部とを有することを特徴とする画像補間装置。
2. 前記第１および第２の特徴量は画面内平均動きベクトルであることを特徴とする請求項１記載の画像補間装置。
3. 前後の画像フレームから補間フレームを生成する画像補間装置であって、
   画面領域を指定する領域情報を出力する指定情報部と、
   画面全体における第１の特徴量を算出する第１の算出部と、
   前記領域情報に基づき、前記画面領域における第２の特徴量を算出する第２の算出部と、
   前記第１の特徴量と第２の特徴量との一致不一致に基づいて、補間が有効か無効かを判定する補間判定部と、
   前記画面領域における補間フレームを生成する第１の補間部と、
   前記補間判定部の判定結果に基づき、前記画面領域外における補間フレームを生成する第２の補間部とを有することを特徴とする画像補間装置。
4. 請求項１乃至３のいずれかに記載の画像補間装置を備えたフレームレート変換装置。
5. 映像データ記憶装置と請求項４記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ記憶装置から出力される映像データの補間を行うことで、フレームレートを変換することを特徴とする映像再生装置。
6. 映像データ受信機と請求項４記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ受信機が受信した映像データの補間を行うことで、フレームレートを変換することを特徴とする映像表示装置。
7. 前後の画像フレームから補間フレームを生成するコンピュータのためのプログラムであって、
   画面全体における第１の特徴量を算出し、
   領域情報により指定される画面領域における第２の特徴量を算出し、
   前記第１の特徴量と第２の特徴量との一致不一致を判定し、
   前記第１の特徴量と第２の特徴量とが不一致なら、前記画面領域外における補間フレームを生成しないように制御する処理を前記コンピュータに実行させることを特徴とするプログラム。
8. 前後の画像フレームから補間フレームを生成するコンピュータのためのプログラムであって、
   画面全体における第１の特徴量を算出し、
   領域情報により指定される画面領域における第２の特徴量を算出し、
   前記第１の特徴量と第２の特徴量との一致不一致に基づいて、補間が有効か無効かを判定し、
   前記画面領域における補間フレームを生成し、
   補間が有効か無効かの判定結果に基づき、前記画面領域外における補間フレームを生成する処理を前記コンピュータに実行させることを特徴とするプログラム。

Images