JP2012100186A - 補間画像生成装置 - Google Patents

Abstract

【課題】時間的に連続する画像間にさらに補間画像を生成する場合において、算出された動きベクトルが画像の動き補償範囲外となる場合でも、生成される補間画像の信頼性を向上させる。
【解決手段】第１の画像と、該第１の画像より時間的前の第２の画像と、に基づいて両画像間の動きベクトルを算出する動きベクトル算出部と、前記第１の画像と前記第２の画像との間に生成する補間画像の位相位置を移動させる調整補間位相を算出する補間位相調整部３０３と、前記調整補間位相と、前記第１の画像と、第２の画像と、前記動きベクトルと、に基づいて出力する補間画像を生成する動き補償部３０４と、を備える補間画像装置。
【選択図】図３

Description

本発明は、入力映像信号のフレームレートを変換して出力する映像信号処理、特に補間画像を生成する補間画像生成装置に関する。

映像のフレームレートは、その映像方式等により様々なものが存在する。例えば、映画等で用いられる２４Ｈｚ、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式映像で用いられる２９．９７Ｈｚ、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）方式の２５Ｈｚ、等である。また、昨今のテレビでは、これらの入力映像信号のフレームレートを２倍等して、より表示フレームレートを高速化させ、品質のよい映像を表示する技術が利用されている。

これらの技術を実現するために、入力映像信号の各画像間に、補間画像を生成、挿入することが一般的である。補間画像を生成するには、時間的に前の画像（フレーム）と時間的に後の画像との間で動きベクトルを算出し、当該動きベクトルと、時間的に前と後の画像と、から補間画像を生成する。

しかし、算出される動きベクトルの信頼性は確実とは言えない。そのため、誤った動きベクトルが算出された場合は、生成される補間画像が時間的に前後の画像と整合性が保てない場合、あるいは、補間画像の内容そのものが破綻してしまう場合、等の現象が生じる可能性がある。

特許文献１には、動きベクトルの類似度に基づいて、生成された補間画像の表示タイミングを調整することで、信頼性の低い補間画像の表示時間を通常より短くするものである。これにより、視聴者はノイズを含んだ補間画像を視覚的に捉え難くなるため、擬似的に高品位な動画像を視覚できる。

特開２００９−３３４６８号公報

しかし、特許文献１の方法では、ノイズを含んだ補間画像の表示時間を調整することで、表示映像を擬似的に高品位化しているが、生成される補間画像そのものの高品位化はおこなわれていない。

本出願の目的は、生成される補間画像の信頼性をより向上させることを目的とするものである。

本出願の補間画像生成装置は、第１の画像と、該第１の画像より時間的前の第２の画像と、に基づいて両画像間の動きベクトルを算出する動きベクトル算出部と、前記第１の画像と前記第２の画像との間に生成する補間画像の位相位置を移動させる調整補間位相を算出する補間位相調整部と、前記調整補間位相と、前記第１の画像と、第２の画像と、前記動きベクトルと、に基づいて出力する補間画像を生成する動き補償部と、を備える。

これにより、生成した第１の画像と、第２の画像の間に生成する補間画像を、動きベクトルと、その補間画像の位置（位相）を調整する調整補間位相に基づいて生成することで、従来より信頼性のある補間画像を生成することが可能となる。

また、上記において、動き補償部は、前記調整補間位相と前記動きベクトルに基づいて前記第１の画像に対する第１の動き補償範囲内に収まる第１の動きベクトルを生成し、前記調整補間位相と前記動きベクトルに基づいて前記第２の画像に対する第２の動き補償範囲内に収まる第２の動きベクトルを生成する、ベクトル計算部と、前記第１及び第２の動きベクトルと前記第１及び第２の画像とに基づいて中間補間画像を生成する、補間画像生成部と、前記中間補間画像と、前記第１の補間画像又は前記第２の補間画像の一方の選択した画像と、から出力する補間画像を生成するブレンド部と、を備えるものであってもよい。

これにより、動きベクトルがその画像の補償範囲内に治まるように補正され、その補正された動きベクトルに基づいて補間画像が生成されるため、従来より信頼性のある補間画像を生成することができる。

上記において、ブレンド部は、画像単位でなく画像を構成する画素単位で中間補間画像と、第１の補間画像又は第２の補間画像の一方の画像と、を混ぜ合わせて出力する補間画像を生成するものであってもよい。

これにより、出力される画像は第１の補間画像又は第２の補間画像それぞれの信頼性の高いほうの画素を用いて出力する補間画像が生成されるため、より信頼性の高い補間画像を生成することが可能となる。

また、ブレンド部は、ベクトル計算部において、動きベクトルが第１の補償範囲内に収まる場合、収まらない場合、あるいは、動きベクトルが第２の補償範囲内に収まる場合、収まらない場合等により、出力する補間画像の生成方法を異ならせるものであってもよい。

この場合は、動きベクトルの状況により、より好適な補間画像の生成方法が採用されるため、より信頼性の高い補間画像を生成することが可能となる。

本出願の発明により、生成される補間画像の信頼性を従来より向上させることが可能となる。

本実施の形態で説明する表示装置の機能構成図 本実施の形態で説明するパネルコントローラの機能構成図 本実施の形態で説明するフレームレート変換部の機能構成図 代表動きベクトルと原画率の関係例を示す図 原画率に基づいて調整補間位相を算出する方法の例を示す図 本実施の形態で説明する動き補償部の機能構成図 本実施の形態で説明する補間画像を生成する処理を示すフローチャート 動きベクトルが動き補償範囲内に収まっている場合の例を示す図 動きベクトルを動き補償範囲内にクリップ処理する例を示す図 第１の動きベクトル、第２の動きベクトルの一方が補正された場合の例を示す図 代表動きベクトルを補間位相調整により調整した場合の例を示す図 入力６０Ｈｚ、出力１２０Ｈｚの場合の正規補間位相を示す図 入力２４Ｈｚ、出力６９Ｈｚの場合の正規補間位相を示す図

（実施の形態１）
以下、本実施の形態の発明を図を用いて説明する。図１は本発明の一実施の形態である表示装置１００である。表示装置１００は、ＨＤＭＩ部１０１と、ＢＤ部１０２と、チューナー部と１０３、ＭＰＥＧデコーダ１０４と、アナログ入力部１０５と、アナログ／デジタル変換部（Ａ／Ｄ Ｃｏｎｖｅｒｔｅｒ）１０６と、パネルコントローラ１０７と、ＣＰＵ１０８と、ＲＡＭ１０９と、ＲＯＭ１１０と、表示パネル１１１と、を備える。

ＨＤＭＩ部１０１は、表示装置１００の外部からＨＤＭＩケーブル等で映像信号等が入力される入力インタフェースである。

ＢＤ部１０２は、Ｂｒｕ−ｒａｙディスク等により映像が記録された記録媒体から映像信号を読み出す。

チューナー部１０３は、 放送局やケーブルテレビ局から配信された放送信号を受信、復調し所望の映像信号を抽出して出力する。

アナログ入力部１０５は、表示装置１００の外部からの映像をアナログ信号として受け付けるインタフェースである。

ＭＰＥＧデコーダ１０４は、ＢＤ部１０２やＴｕｎｅｒ部１０３等から入力された符号化された映像信号を復号する。

Ａ／Ｄ Ｃｏｎｖｅｒｔｅｒ１０６は、アナログ入力部１０５から入力されたアナログの映像信号をデジタル信号に変換する。

パネルコントローラ１０７は、ＨＤＭＩ部１０１、ＭＰＥＧデコーダ１０４、Ａ／Ｄ Ｃｏｎｖｅｒｔｅｒ１０６等から入力された映像信号に、各種の処理を行う。具体的な処理内容等については、後述する。

ＣＰＵ１０８は、表示装置１００全体を制御する。ＣＰＵ１０８は、特に、パネルコントローラ１０７へ各種の制御指示を出し、好適な映像信号処理を実行させる。

ＲＡＭ１０９は、ＣＰＵ１０８がプログラム等を実行する際の各種変数の一次保持の場所等として使用される記憶領域である。

ＲＯＭ１１０は、ＣＰＵ１０８が動作するために必要なプログラム等を保持しておく記憶領域である。

表示パネル１１１は、パネルコントローラ１０７等で処理された映像信号を、利用者等に表示する。表示パネル１１１は、具体的にはプラズマ表示パネル（ＰＤＰ）や、液晶表示パネル（ＬＣＤ）等を用いることが可能である。

なお、ＨＤＭＩ部１０１、ＢＤ部１０２、チューナー部１０３、アナログ入力部１０５は、いずれかの入力を採用するものであればよく、必ずしも全ての入力信号が必要となるわけではない。

図２は、パネルコントローラ１０７内部の機能構成を示した図である。ＡＰＬ部２１０と、３ＤＣＴＣ部２１１と、ＦＲＣ部２１２と、ＰＤＰドライブ部２１３と、ＬＣＤドライブ部２１４と、を有する。

ＡＰＬ部２１０は、表示される映像のＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ）に基づいて、映像処理を行う機能部である。

３ＤＣＴＣ部２１１は、３Ｄ映像（立体映像）のＣＴＣ（Ｃｒｏｓｓ Ｔａｌｋ Ｃａｎｃｅｌ）処理等を行う。左眼用映像と右眼用映像を時間軸上で交互に表示する方式で立体映像を表示する表示装置では、ＣＴＣ処理が必要となる場合がある。

ＦＲＣ部２１２は、入力される映像のフレームレートと出力される映像のフレームレートとが異なる場合に、入力映像と出力映像との間でフレームレート変換（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔ）処理を行う。

例えばＮＴＳＣの６０Ｈｚのビデオ信号を１２０Ｈｚ駆動の表示パネル１１１に表示する場合、ＦＲＣ部２１２は、入力されたビデオ信号に対して２倍のフレームレートである１２０Ｈｚのビデオ信号を生成し、後述するＰＤＰドライブ部２１３、又は、ＬＣＤドライブ２１４により表示パネル１１１に１２０Ｈｚの映像を表示する。また、映画などの素材でブルーレイディスクから２４Ｈｚで入力されるビデオ信号を６０Ｈｚ駆動で表示パネル１１１に表示する場合、ＦＲＣ部２１２は、入力信号に対して２．５倍のフレームレートである６０Ｈｚのビデオ信号を生成し、後述するＰＤＰドライブ部２１３、又は、ＬＣＤドライブ２１４により表示パネル１１１に１２０Ｈｚの映像を表示する。なお、ＦＲＣ部２１２が行うフレームレート変換処理は、これ以外の組み合わせであってもよい。

ＰＤＰドライブ部２１３は、表示パネル１１１がＰＤＰである場合に、ＰＤＰパネルを表示するための電気信号を生成し、所望の映像を表示パネル１１１に表示する。

ＬＣＤドライブ部２１４は、表示パネル１１１がＬＣＤである場合に、ＬＣＤパネルを表示するための電気信号を生成し、所望の映像を表示パネル１１１に表示する。

ＦＲＣ部２１２は、入力される映像のフレームレートと出力する映像のフレームとが異なっている場合に、この入力／出力映像間でのフレームレート変換処理を行う。

図３に本実施の形態で示すＦＲＣ部２１２の構成を示す。ＦＲＣ部２１２は、動きベクトル探索（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）部（以下、ＭＥ部）３０１、同期生成部３０２、補間位相制御部３０３、動き補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）部（以下、ＭＣ部）３０４から構成される。また、図７にＦＲＣ部２１２で行われる処理のフローチャートを示す。

ＭＥ部３０１は、入力されたビデオ信号の各フレームにおいて、フレームを所定の大きさのブロックに分割し、ブロックごとに時間的に前のフレームからの動きを表す動きベクトルを検出する。ＭＥ部３０１では、例えば、想定される複数の動きのうち、ブロック間の画素差分絶対値和（ＳＡＤ値）が最小になる動きを動きベクトルとして検出する。

同期生成部３０２は、所定のフレームレート変換率に応じて、入力ビデオ信号の同期信号から出力ビデオ信号の同期信号を生成するとともに、フレームレート変換の際の正規補間位相を生成する。ここで、正規補間位相とは、入力ビデオ信号の隣接するフレーム間の時間間隔を１としたときに、出力フレームを時間的に均等に生成する際の相対時間間隔を表す０以上１未満の値である。

例えば、入力ビデオ信号が６０Ｈｚ、出力ビデオ信号が１２０Ｈｚ、の際の出力の正規補間位相について図１２を用いて説明する。６０Ｈｚの入力を１２０Ｈｚに変換するには、入力映像信号のフレーム（入力フレーム）が１枚変化する間に出力映像信号のフレーム（出力フレーム）は２枚変化する。そこで、入力フレームが１枚変化する時間を１とすると、出力フレームが１枚変化するための時間は０．５となる。図１２に示すとおり、出力フレームは０．５ずつ変化し、入力フレームが０、１、２、・・・の時間で変化する場合では、出力フレームは、０、０．５、１、１．５、２、２．５・・・で変化する。このときの正規補間位相は０、０．５、０、０．５、０、０．５、・・・となる。

別の例として、映画等の２４Ｈｚで入力されるビデオ信号を６０Ｈｚで出力する際の出力の正規補間位相について図１３を用いて説明する。２４Ｈｚの入力を６０Ｈｚに変換するには、入力フレームが２枚変化する間に出力フレームは５枚変化する。そこで、入力フレームが１枚変化する時間を１とすると、出力フレームが１枚変化するための時間は０．４となる。図１３に示すとおり、出力フレームは０．４ずつ変化し、入力フレームが０、１、２、・・・の時間で変化する場合に、出力フレームは、０、０．４、０．８、１．２、１．６、２．０、２．４、２．８、・・・で変化する。このときに正規補間位相は０、０．４、０．８、０．２、０．６、０、０．４、０．８、・・・となる。

補間位相調整部３０３は、ＭＥ部３０１が検出した動きベクトルと、同期生成部３０２から入力する正規補間位相と、から、後段のＭＣ部３０４が補間画像を生成する際に用いる調整補間位相を生成する。補間位相調整部３０３の具体的な処理は、後述する。

ＭＣ部３０４は、補間位相調整部３０３が決定した調整補間位相と、ＭＥ部３０１が検出した動きベクトルと、に基づいて、動き補償を用いて補間画像を生成する。入力映像信号の画像と補間画像とにより、ＭＣ部３０４は、を出力画像出力フレームレートで出力する。

図４及び図５を用いて補間位相調整部３０３の処理について説明する。補間位相調整部３０３は、補間位相を原画に近づける原画率を算出し、算出した原画率に基づいて補間位相を調整するための調整補間位相を決定する。

補間位相調整部３０３は、入力映像信号の各フレームに対して代表動きベクトルを決定する。代表動きベクトルの決定方法として、ＭＥ部３０１が検出した動きベクトルから代表動きベクトルを算出する方法がある。補間位相調整部３０３は、代表動きベクトルに基づいて０から１の範囲の値を、原画率として算出する。代表動きベクトルは、例えばフレーム内のベクトルの最大値を用いる、フレーム内のベクトルの平均値を用いる、フレーム内のベクトルの分布がピークとなる動きベクトルを用いる等、決定方法はいずれの方法であっても良い。

補間位相調整部３０３は、代表動きベクトルを決定すると、代表動きベクトルから原画率を算出する。図４は、代表動きベクトルと原画率の関係を示した図である。図４に従えば、代表動きベクトルが所定の値以下の場合は原画率＝０とし、代表動きベクトルが所定の値より大きい場合は、代表動きベクトルの大きさに対して単調増加する、あるいは、折れ線または曲線等で示される非線形な増加をする。図４は、代表動きベクトルの大きさが大きいほど、動きベクトルを算出した際に用いた時間的に後のフレームとの相関関係が大きくなり、代表動きベクトルの大きさが小さいほど、動きベクトルを算出した際に用いた時間的に前のフレームとの相関関係が大きくなる、ことを概念的に示したものである。補間位相調整部３０３は、図４に示される「代表動きベクトルの大きさ」と「原画率」との所定の関係から、原画率を計算（決定）する。ただし、図４で示す代表動きベクトルの大きさと原画率との関係はこれに限らない。

図５は、原画率に基づいて調整補間位相を補間位相調整部３０３が算出する方法の例を示した図である。図５では、正規補間位相０．４および正規補間位相０．６に補間画像を生成する際の、補間位相調整方法を示す。

補間位相調整部３０３は、正規補間位相が０．５より小さい場合、例えば０．４の場合では、前後フレームの原画像のうち時間的に前のフレームに時間が近いため、原画に近づける際は補間位相を０．４に対して小さくして０に近づけることで原画に近づける。逆に正規補間位相が０．５より大きい場合、補間位相調整部３０３は、例えば０．６の場合では、前後フレームの原画像のうち時間的に後ろのフレームに時間が近いため、原画像に近づける際は補間位相を０．６に対して大きくして１に近づけることで原画に近づける。正規補間位相が０．５の場合は前後フレームのどちらに近づけてもよい。

以上をまとめると、補間位相調整部３０３は、原画率を０から１の範囲の値を持つｘとした場合、正規補間位相ｐに対して調整補間位相ｐ‘を以下の式で算出する。
ｐ‘＝ ｐ（１−ｘ） （ｐ≦０．５のとき）
ｐ‘＝ ｐ＋（１−ｐ）ｘ (ｐ＞０．５のとき)

ＭＣ部３０４は、補間位相調整部で算出した調整補間位相に相当する補間画像を生成する。図６は、ＭＣ部３０４の構成例を示したものである。

ＭＣ部３０４は、ベクトル計算部４０１、４０２と、フィールドメモリ４０３、４０４と、補間画像生成部４０５、４０６、４０９と、ラインメモリ４０７、４０８と、ブレンド値算出部４１０と、ブレンド選択部４１１と、ブレンド部４１２とを備える。

ベクトル計算部４０１は、ＭＥ部３０１が検出した動きベクトルから、補間位相に対して時間的に後ろの入力画像へのベクトルを計算する。ベクトル計算部４０２は、ＭＥ部３０１が検出した動きベクトルから、補間位相に対して時間的に前の入力画像へのベクトルを計算する。

フィールドメモリ４０３は、時間的に後ろの入力画像を格納する。フィールドメモリ４０４は、時間的に前の入力画像を格納する。

補間画像生成部４０５は、時間的に後ろの入力画像から第１の補間画像を生成する。補間画像生成部４０６は、時間的に前の入力画像から第２の補間画像を生成する。

ラインメモリ４０７は、補間画像生成部４０５で補間画像生成に必要な画素（ライン）を、フィールドメモリ４０３から読み出して格納する。ラインメモリ４０８は、補間画像生成部４０６で補間画像生成に必要な画素を、フィールドメモリ４０４から読み出して格納する。なお、ラインメモリ４０７、４０８は記憶容量が限られている。そのため、ラインメモリ４０７、４０８に保持できるデータ量は、限られたライン分のデータ量である。

補間画像生成部４０９は、補間画像生成部４０５が生成した第１の補間画像と、補間画像生成部４０６が生成した第２の補間画像と、に基づいて第３の補間画像（中間補間画像）を生成する。

ブレンド値算出部４１０は、第３の補間画像に、第１の補間画像または第２の補間画像を画素毎にブレンドする比率を計算する。より具体的には、後述する、ブレンド部４１２における複数画像のブレンドによる画像の変化点を目立たなくするために、画像の特徴からブレンド値を適応的に算出する。

なお、本実施の形態では説明を簡単にするため、画素毎のケースを例に示すが、本発明はこれに限定されるものではない。複数の画素の集合体であるブロック毎に同様の処理を行うものであってもよい。また、この際に全てのブロックのサイズが同一、あるいは同形である場合に限定しない。例えば、画面端では、大き目のサイズを持つブロックであったり、画面中央付近では比較的小さいサイズのブロックであるものであってもよい。また、同様にブロックの形についても、画面内での位置により形がかわるものであってもよい。

ブレンド選択部４１１は、第１の補間画像と第２の補間画像とからいずれかの画像の画素をブレンドする対象として選択する。

ブレンド部４１２は、第３の補間画像にブレンド選択部で選択された第１の補間画像または第２の補間画像のいずれかの画素を適応的に混ぜあわせて出力する。

以下に、それぞれの構成部が行う処理について詳細に説明する。

ベクトル計算部４０１は、ＭＥ部３０１で検出した動きベクトル（ＶＥＣ＿Ｘ、ＶＥＣ＿Ｙ）から、調整補間位相ｐ‘に応じて、以下の式で第１の動きベクトル（ＶＥＣ＿ＮＥＷ＿Ｘ，ＶＥＣ＿ＮＥＷ＿Ｙ）を算出する。

ＶＥＣ＿ＮＥＷ＿Ｘ ＝ ＶＥＣ＿ＬＩＭＩＴ＿Ｘ （−ｐ‘×ＶＥＣ＿Ｘ＞ ＶＥＣ＿ＬＩＭＩＴ＿Ｘの場合）
ＶＥＣ＿ＮＥＷ＿Ｘ ＝ −ＶＥＣ＿ＬＩＭＩＴ＿Ｘ （−ｐ‘×ＶＥＣ＿Ｘ＜−ＶＥＣ＿ＬＩＭＩＴ＿Ｘの場合）
ＶＥＣ＿ＮＥＷ＿Ｘ ＝ −ｐ‘×ＶＥＣ＿Ｘ （上記以外の場合）

ＶＥＣ＿ＮＥＷ＿Ｙ ＝ＶＥＣ＿ＬＩＭＩＴ＿Ｙ （−ｐ‘×ＶＥＣ＿Ｙ＞ ＶＥＣ＿ＬＩＭＩＴ＿Ｙの場合）
ＶＥＣ＿ＮＥＷ＿Ｙ ＝ −ＶＥＣ＿ＬＩＭＩＴ＿Ｙ（−ｐ‘×ＶＥＣ＿Ｙ＜−ＶＥＣ＿ＬＩＭＩＴ＿Ｙの場合）
ＶＥＣ＿ＮＥＷ＿Ｙ ＝ −ｐ‘×ＶＥＣ＿Ｙ （上記以外の場合）

ＭＥ部３０１は、時間的に後の入力画像から時間的に前の入力画像への動きに基づいて動きベクトルを検出する。そのため、ベクトル計算部４１２が算出する第１の動きベクトルは、ＭＥ部３０１で検出した動きベクトルと符号が反対になる。ここで、ラインメモリ４０７は、上記の説明のとおり保持できるデータ量（ライン数）に制限があるため、格納している範囲外の画素は参照できない。そのため、ベクトル計算部４０１は、ＶＥＣ＿ＮＥＷ＿Ｘ，ＶＥＣ＿ＮＥＷ＿Ｙがラインメモリに格納している画素動き補償範囲を超えないよう、図９に示すとおり、動き補償範囲の上限にクリップ処理を行う。

なお、クリップ処理とは、信号値（ベクトル等）が予め設定した範囲（動き補償範囲等）外の値を有する場合に、信号値（ベクトル等）に予め設定した範囲（動き補償範囲等）の値を強制的に設定することを意味する。例えば、動きベクトルの値が動き補償範囲の上限を超えている場合は、動きベクトルに動き補償範囲の上限値を設定する等の処理を行うものである。

ベクトル計算部４０２は、調整補間位相ｐ‘に応じて、以下の式で第２の動きベクトル（ＶＥＣ＿ＯＬＤ＿Ｘ，ＶＥＣ＿ＯＬＤ＿Ｙ）を算出する。ただし、上記と同様に、ラインメモリ４０８に格納している範囲外の画素は参照できないためＶＥＣ＿ＯＬＤ＿Ｘ，ＶＥＣ＿ＯＬＤ＿Ｙはラインメモリに格納している画素動き補償範囲を超えないようにクリップ処理を行う。

ＶＥＣ＿ＯＬＤ＿Ｘ ＝ Ｘ＿ＬＩＭＩＴ （ｐ‘×ＶＥＣ＿Ｘ＞ Ｘ＿ＬＩＭＩＴの場合）
ＶＥＣ＿ＯＬＤ＿Ｘ ＝ −Ｘ＿ＬＩＭＩＴ （ｐ‘×ＶＥＣ＿Ｘ＜−Ｘ＿ＬＩＭＩＴの場合）
ＶＥＣ＿ＯＬＤ＿Ｘ ＝ ｐ‘×ＶＥＣ＿Ｘ （上記以外の場合）

ＶＥＣ＿ＯＬＤ＿Ｙ ＝ Ｙ＿ＬＩＭＩＴ （ｐ‘×ＶＥＣ＿Ｙ＞ Ｙ＿ＬＩＭＩＴの場合）
ＶＥＣ＿ＯＬＤ＿Ｙ ＝ −Ｙ＿ＬＩＭＩＴ （ｐ‘×ＶＥＣ＿Ｙ＜−Ｙ＿ＬＩＭＩＴの場合）
ＶＥＣ＿ＯＬＤ＿Ｙ ＝ ｐ‘×ＶＥＣ＿Ｙ （上記以外の場合）

補間画像生成部４０５は、現在の画素位置（Ｘ，Ｙ）と、第１の動きベクトル（ＶＥＣ＿ＮＥＷ＿Ｘ，ＶＥＣ＿ＮＥＷ＿Ｙ）と、から以下の式で第１のフレーム参照画素位置（Ｘ＿ＮＥＷ，Ｙ＿ＮＥＷ）を計算し、第１の補間画像を生成する。

Ｘ＿ＮＥＷ ＝ Ｘ＋ＶＥＣ＿ＮＥＷ＿Ｘ
Ｙ＿ＮＥＷ ＝ Ｙ＋ＶＥＣ＿ＮＥＷ＿Ｙ

補間画像生成部４０６は、現在の画素位置（Ｘ，Ｙ）と、第２の動きベクトル（ＶＥＣ＿ＯＬＤ＿Ｘ，ＶＥＣ＿ＯＬＤ＿Ｙ）と、から以下の式で第２のフレーム参照画素位置（Ｘ＿ＯＬＤ，Ｙ＿ＯＬＤ）を計算し、第２の補間画像を生成する。

Ｘ＿ＯＬＤ ＝ Ｘ＋ＶＥＣ＿ＯＬＤ＿Ｘ
Ｙ＿ＯＬＤ ＝ Ｙ＋ＶＥＣ＿ＯＬＤ＿Ｙ

補間画像生成部４０９は、上記第１の補間画像と、第２の補間画像と、に基づいて第３の補間画像（中間補間画像）を生成する。補間画像生成部４０９は、例えば、第１の補間画像と第２の補間画像と調整補間位相と、を混ぜあわせることで第３の補間画像（中間補間画像）を生成する。

第１の動きベクトルまたは第２の動きベクトルの一方が、動き補償範囲を超えてクリップ処理されたベクトルである場合、図１０に示す通り、補間画像生成部４０５または補間画像生成部４０６は、本来の動きと違う動きベクトルで動き補償を行う。そのため、補間画像生成部４０９は、破綻する（整合が取れない）部分を含んだ画像を生成する可能性を持つ。ブレンド部４１２は、この破綻を低減、又は、抑制することを目的として、クリップ処理が施されていない動きベクトルを用いて生成された、第１の補間画像または第２の補間画像を、補間画像生成部４０９が生成した第３の補間画像にブレンドする。

ブレンド値算出部４１０は、動きベクトルの信頼性に基づいて画素毎のブレンド値を算出する。動きベクトルの信頼性に基づくブレンド値の算出内容としては、例えば、（１）動きベクトルの大きさを用いて、動きベクトルが極端に大きい場合はブレンド値を小さくする、（２）画面端は誤った動きベクトルを検出しやすいため画面端はブレンド値を小さくする、等がある。また、他の算出内容として、（３）ＭＥ部３０１で動きベクトルを検出した際のＳＡＤ値が大きい場合はブレンド値を小さくするものもある。ブレンド値の算出内容は、特にここに記載した方法に限らない。

ブレンド選択部４１１は、第１の動きベクトルがクリップされていて、かつ第２の動きベクトルがクリップされていない場合は、第２の補間画像をブレンド用の画像として選択する。反対に、第１の動きベクトルがクリップされておらず、かつ第２の動きベクトルがクリップされている場合、ブレンド選択部４１１は、第１の補間画像をブレンド用の画像として選択する。

また、第１の動きベクトルと第２の動きベクトルの両方がクリップされている場合、または両方がクリップされていない場合は、ブレンド選択部４１１は、ブレンド用の画像を選択せず、ブレンド部４１２ではブレンド処理を行わない。

ここで、ＭＥ部３０１で検出した動きベクトルが非常に大きく、第１の動きベクトルと第２の動きベクトルの両方がクリップされる場合、ブレンド部４１２は、上記に説明した内容で画像をブレンドしても破綻を低減することが出来ない恐れがある。そこで、その場合には図１１に示すように、代表動きベクトルを用いて、補間位相調整部３０３が補間位相を原画に近づけることで、第１の動きベクトルまたは第２の動きベクトルのいずれかが動き補償範囲に収まる値にする。その上でブレンド部４１２は、動き補償範囲内に収まった動きベクトルを用いて生成した補間画像をブレンドすることで破綻を抑制する。

以上により、本実施の形態のフレームレート変換処理では、算出される動きベクトルが、時間的に後のフレーム（第１の画像）、又は、時間的に前のフレーム（第２の画像）の一方のみの動き補償範囲内に収まらない場合、動き補償範囲内に収まる方のフレームと補間画像とをブレンド（融合）することで、より信頼性の高い補間画像を生成する。これは、図９の例に示すように、出力される補間画像の正規補間位相を、時間的に近いほうのフレームへ移動させることとなる。この場合、生成される補間画像への影響度は、動きベクトルが動き補償範囲内に収まっている方のフレームの内容が大きくなる。

また、算出される動きベクトルが、時間的に後のフレーム（第１の画像）と時間的に前のフレーム（第２の画像）のいずれの動き補償範囲内にも収まらない場合、生成する補間画像の時間的な位置（位相位置）を、その補間画像の正規補間位相から、時間的に近い方へ強制的に移動させ、当該動きベクトルから算出された代表動きベクトルを、どちらか一方の動き補償範囲内に収める。その上で、生成された補間画像と代表動きベクトルが動き補償範囲内に収まったほうのフレームとをブレンド（融合）することで、より信頼性の高い補間画像を生成する。これは、図１１に示すように、出力される補間画像の時間的な位置を移動することで、代表動きベクトルを動き補償範囲内に納め、その位置で出力する補間画像を生成する。

以上より、本実施の形態で説明した発明では、時間的に前のフレームと時間的に後のフレームとの間で算出される動きベクトル又は代表動きベクトルが、動き補償範囲内に収まらない場合、生成する補間画像の時間的位置を、動きベクトルが一方のフレームの補償範囲内に収まる程度に移動させることで、生成する補間画像の信頼性をより向上させるものである。

図７は、上記で説明した処理の流れを示したフローチャートである。

（ステップＳ７０１）ＭＥ部３０１が、入力映像信号から動きベクトルを検出する。

（ステップＳ７０２）補間位相調整部３０３は、入力映像信号の各フレームに対して代表動きベクトルを決定する。

（ステップＳ７０３）補間位相調整部３０３は、補間位相を原画に近づける原画率を算出する。

（ステップＳ７０４）補間位相調整部３０３は、ステップＳ７０３で算出した原画率に基づいて補間位相を調整するための調整補間位相を決定する。

（ステップＳ７０５）ベクトル計算部４０１は、ＭＥ部３０１が検出した動きベクトルから、補間位相に対して時間的に後ろの入力画像へのベクトルを計算する。

（ステップＳ７０６）補間画像生成部４０５は、時間的に後ろの入力画像から第１の補間画像を生成する。

（ステップＳ７０７）ベクトル計算部４０２は、ＭＥ部３０１が検出した動きベクトルから、補間位相に対して時間的に前の入力画像へのベクトルを計算する。

（ステップＳ７０８）補間画像生成部４０６は、時間的に前の入力画像から第２の補間画像を生成する。

（ステップＳ７０９）補間画像生成部４０５が生成した第１の補間画像と、補間画像生成部４０６が生成した第２の補間画像と、に基づいて第３の補間画像を生成する。

（ステップＳ７１０）第１の動きベクトル及び第２の動きベクトルの大きさ等に基づいて以降の処理が異なる。第１の動きベクトルがクリップされていて、かつ第２の動きベクトルがクリップされていない場合、ステップＳ７１２へ処理を進める。

（ステップＳ７１１）ステップＳ７１０と同様に、第１の動きベクトル及び第２の動きベクトルの大きさ等に基づいて以降の処理が異なる。第１の動きベクトルがクリップされておらず、かつ第２の動きベクトルがクリップされている場合、ステップＳ７１４へ処理を進める。

（ステップＳ７１２）ブレンド値算出部４１０は、第３の補間画像にブレンドする第２の補間画像のブレンド値を算出する。

（ステップＳ７１３）ブレンド部４１２は、ブレンド値算出部４１０が算出したブレンド値で、第３の補間画像に第２の補間画像をブレンドする。

（ステップＳ７１４）ブレンド値算出部４１０は、第３の補間画像にブレンドする第１の補間画像のブレンド値を算出する。

（ステップＳ７１５）ブレンド部４１２は、ブレンド値算出部４１０が算出したブレンド値で、第３の補間画像に第１の補間画像をブレンドする。

以上により、本実施の形態に示す方法によれば、算出される動きベクトルが動き補償範囲に収まらない場合でも、出力する補間画像の時間的な位置を変更することで、より信頼性の高い補間画像を生成することが可能となる。

なお、本実施の形態では、ＦＲＣ部２１２の処理として発明の内容を説明したが、本出願の内容はこれに限定されるものではない。ＦＲＣ部２１２は、入力された映像信号に挿入する補間画像を生成し、入力された映像信号と補間画像とを出力することでフレーム変換処理を行う補間画像生成装置として実現することも可能である。また、図１で示した、ように補間画像生成装置に出力映像を表示する機能を備えた映像表示装置として、実現することも可能である。さらに、上記フレーム変換処理をＣＰＵ上で動作し、入力された映像信号をメモリに保持し、そのメモリ上で動きベクトル算出、補間画像生成等を行うプログラムとして実現することも可能である。

本出願の発明は、入力映像信号のフレームレートを変換して出力する補間画像生成を利用した映像信号を処理する装置で利用可能である。

１００ 表示装置
１０１ ＨＤＭＩ部
１０２ ＢＤ部
１０３ チューナー部
１０４ ＭＰＥＧでコーダ
１０５ アナログ入力部
１０７ パネルコントローラ
１０８ ＣＰＵ
１０９ ＲＡＭ
１１０ ＲＯＭ
１１１ 表示パネル
２１０ ＡＰＬ部
２１１ ３ＤＣＴＣ部
２１２ ＦＲＣ部
２１３ ＰＤＰドライブ部
２１４ ＬＣＤドライブ部
３０１ ＭＥ部
３０２ 同期生成部
３０３ 補間位相調整部
３０４ ＭＣ部
４０１、４０２ ベクトル計算部
４０３、４０４ フィールドメモリ
４０５、４０６、４０９ 補間画像生成部
４０７、４０８ ラインメモリ
４１０ ブレンド値算出部
４１１ ブレンド選択部
４１２ ブレンド部

Claims (7)

1. 第１の画像と、該第１の画像より時間的前の第２の画像と、に基づいて両画像間の動きベクトルを算出する動きベクトル算出部と、
   前記第１の画像と前記第２の画像との間に生成する補間画像の位相位置を移動させる調整補間位相を算出する補間位相調整部と、
   前記調整補間位相と、前記第１の画像と、第２の画像と、前記動きベクトルと、に基づいて出力する補間画像を生成する動き補償部と、
   を備える補間画像生成装置。
2. 前記動き補償部は、
   前記調整補間位相と前記動きベクトルに基づいて前記第１の画像に対する第１の動き補償範囲内に収まる第１の動きベクトルを生成し、前記調整補間位相と前記動きベクトルに基づいて前記第２の画像に対する第２の動き補償範囲内に収まる第２の動きベクトルを生成する、ベクトル計算部と、
   前記第１及び第２の動きベクトルと前記第１及び第２の画像とに基づいて中間補間画像を生成する、補間画像生成部と、
   前記中間補間画像と、前記第１の補間画像又は前記第２の補間画像の一方の選択した画像と、から出力する補間画像を生成するブレンド部と、
   を備える、請求項１に記載の補間画像生成装置。
3. 前記ブレンド部は、前記第１の補間画像又は前記第２の補間画像の一方の選択を画素単位で行い、該画素単位で該選択した補間画像と前記中間補間画像とから出力する補間画像を生成する、
   請求項２に記載の補間画像生成装置。
4. 前記ベクトル計算部において、前記動きベクトルが、前記第１の動き補償範囲内に収まるベクトルでなく、かつ、前記動きベクトルが前記第２の動き補償範囲内に収まるベクトルである場合、
   前記ブレンド部は、前記中間補間画像と前記第２の補間画像とから出力する補間画像を生成する、
   請求項２に記載の補間画像生成装置。
5. 前記ベクトル計算部において、前記動きベクトルが、前記第１の動き補償範囲内に収まるベクトルであり、かつ、前記動きベクトルが前記第２の動き補償範囲内に収まるベクトルでない場合、
   前記ブレンド部は、前記中間補間画像と前記第１の補間画像とから出力する補間画像を生成する、
   請求項２に記載の補間画像生成装置。
6. 前記ベクトル計算部において、前記動きベクトルが、前記第１の補償範囲内に収まり、かつ、前記動きベクトルが前記第２の動き補償範囲内にも収まる場合、
   前記ブレンド部は、前記中間補間画像を出力する補間画像とする、
   請求項２に記載の補間画像生成装置。
7. 前記補間位相調整部は、前記算出した動きベクトルに基づいて、前記両画像間を代表する代表動きベクトルを決定し、
   前記ベクトル計算部において、前記動きベクトルが、前記第１の補償範囲内に収まらず、かつ、前記動きベクトルが前記第２の補償範囲内にも収まらない場合、
   前記ベクトル計算部は、代表動きベクトルに基づいて前記第１の画像に対する第１の動き補償範囲内に収まる第１の動きベクトルを生成し、前記代表動きベクトルに基づいて前記第２の画像に対する第２の動き補償範囲内に収まる第２の動きベクトルを生成する、
   請求項２に記載の補間画像生成装置。

Images