JP2009194518A - 映像処理装置、及び映像処理方法 - Google Patents

Abstract

【課題】演算負荷を増大することなく表示オブジェクトの映像品質を向上させることが可能な映像処理装置を提供すること。
【解決手段】
当該映像処理装置は符号化された映像信号に含まれる映像フレーム間の動きベクトル又はその映像信号から算出される動きベクトルに基づき当該映像フレーム間に挿入される補間フレームを生成する補間フレーム生成部と映像フレームに重ねて表示されるか或いは映像フレームに替えて表示されて所定の操作信号に応じて移動する表示オブジェクトにつき、当該表示オブジェクトの移動情報が記録されたオブジェクト情報記憶部とその記録された表示オブジェクトの移動情報を映像信号に含まれる映像フレーム間の動きベクトルの形式に変換する形式変換部とを備える。補間フレーム生成部は表示オブジェクト及び形式変換部により変換された表示オブジェクトの移動情報を用いて補間フレームを生成する。
【選択図】図２

Description

本発明は、映像処理装置、及び映像処理方法に関する。

近年、映像処理技術、及び情報通信技術の急速な発展に伴い、高品質な映像のデジタル放送サービスが普及してきている。このような高画質映像のデジタル放送データは、そのデータ量が膨大であるため、それを経済的に配信するために種々の工夫が凝らされている。その中でも、高画質な映像データを高画質なままにデータ容量を圧縮する符号化技術として、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により規格化された圧縮符号化技術がよく知られている。

こうした圧縮符号化技術の中で「動き補償」と呼ばれる技術がよく利用される。この動き補償と呼ばれる技術は、主に、複数の映像フレーム間で同一又は最も近似する画素又は画素群（以下、ブロック）を抽出する工程、そのブロックが移動した方向、及び移動量を示す動きベクトルを検出する工程（所謂、動き検出）、及び映像フレーム間で差分符号化する際に動きベクトルに基づいてブロック位置の画素値を補償する工程により構成されている。この技術を適用すると、例えば、ある対象物が時間の経過につれて移動し、同一又は近似した画素値を有するブロックがフレーム間で移動するような場合に、画質を悪化させずに映像データのデータ容量を大きく低減させることが可能になる。

上記技術の応用例として、例えば、下記の特許文献１には、動きベクトルを用いて映像信号のフレームレートを変換するフレームレート変換装置、映像表示装置、及びテレビジョン放送受信装置に係る技術が記載されている。当該技術は、符号化された映像信号が入力された際に、その映像信号に含まれる動きベクトルのベクトル長を補正して補償ベクトルを生成し、その補償ベクトルを用いて補間フレームを生成するというものである。入力された映像信号から生成された映像フレームの間に、このような補間フレームが挿入されることで、映像信号の高フレームレート化が実現される。この処理により、動画像のより滑らかな表示が実現される。

特開２００３−３３３５４０号公報

ところが、映像信号に所定のオブジェクトが含まれる場合、上記の技術を適用すると、オブジェクトの表示が乱れる等の不具合が生じてしまう。このオブジェクトとは、例えば、メニュー画面に表示されるアイコンやテキスト、或いは、字幕や放送番組の進行状況を表すインジケータ等の種々の表示オブジェクトである。これらのオブジェクトは、所謂、コンピュータグラフィックスによる比較的平坦な映像（以下、ＣＧ映像）である。

こうしたＣＧ映像は、同一又は非常に似通った形状や色彩を有していることが多い。そのため、似通った複数のＣＧ映像が含まれる映像フレーム間で動き検出を実行する場合に、誤った動きベクトルが検出されることがある。誤った動きベクトルを利用して補間フレームを生成すると、当然、オブジェクトの映像を中心として映像自体が乱れてしまう。

また、入力された映像信号に含まれる動きベクトルを利用したとしても、オブジェクトが表示される位置に該当する映像フレーム間の動きベクトルが正しいとは限らず、オブジェクトを含む映像フレームに目立った乱れが発生してしまう。ＣＧ映像であるオブジェクトは、上記の通り、平坦な視覚的表現がされている場合が多いため、動きベクトルの誤りによる映像の乱れが特に目立ってしまうという問題もある。

こうした問題に対する一つの方策として、動き検出の精度を高める方法が考えられる。通常、動き検出には、ブロックマッチング法と呼ばれる技術が利用される。この技術は、映像フレームを複数のブロックに分け、時間的に連続する複数の映像フレーム間で、画素値が最も近いブロックを検出するというものである。

しかしながら、動き検出の精度を高めようとすると、映像フレーム中の広範囲について各ブロック間の画素値を比較演算する必要が生じ、その演算負荷が膨大なものになってしまう。例えば、所定のブロック位置から水平に±７画素、垂直に±３画素の範囲でブロックマッチングする場合であっても、１画素の動きベクトルを求めるために、「（２１画素分の画素値の差分演算＋２１回の絶対値演算＋２１回の累積加算演算）×水平１５方向×垂直７方向」の演算量が求められる。演算量の増大は、演算時間の増大を招き、さらに、高速で高価な演算装置に掛かるコストや消費電力の増大をも招いてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、演算負荷を増大させることなく、オブジェクトを含む映像の品質を向上させることが可能な、新規かつ改良された映像処理装置、及び映像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、符号化された映像信号に含まれる映像フレーム間の動きベクトル、又は符号化された映像信号から算出される映像フレーム間の動きベクトルに基づき、当該映像フレーム間に挿入される補間フレームを生成する補間フレーム生成部と、前記映像フレームに重ねて表示されるか、或いは、前記映像フレームに替えて表示され、所定の操作信号に応じて移動する表示オブジェクトについて、当該表示オブジェクトの移動情報が記録されたオブジェクト情報記憶部と、前記オブジェクト情報記憶部に記録された前記表示オブジェクトの移動情報を前記映像信号に含まれる映像フレーム間の動きベクトルの形式に変換する形式変換部と、を備え、前記補間フレーム生成部は、前記表示オブジェクト、及び前記形式変換部により形式変換された前記表示オブジェクトの移動情報を用いて前記補間フレームを生成することを特徴とする、映像処理装置が提供される。

前記補間フレーム生成部は、符号化された映像信号に含まれる映像フレーム間の動きベクトル、又は符号化された映像信号から算出される映像フレーム間の動きベクトルに基づき、当該映像フレーム間に挿入される補間フレームを生成する。前記オブジェクト情報記憶部には、前記映像フレームに重ねて表示されるか、或いは、前記映像フレームに替えて表示され、所定の操作信号に応じて移動する表示オブジェクトについて、当該表示オブジェクトの移動情報が記録される。前記形式変換部は、前記オブジェクト情報記憶部に記録された前記表示オブジェクトの移動情報を前記映像信号に含まれる映像フレーム間の動きベクトルの形式に変換する。そして、前記補間フレーム生成部は、前記表示オブジェクト、及び前記形式変換部により形式変換された前記表示オブジェクトの移動情報を用いて前記補間フレームを生成する。

このように、予め保持していた表示オブジェクトの移動情報に基づき、その表示オブジェクトに関しては正確な動きベクトルが生成される。そのため、表示オブジェクトを含む補間フレームに映像の乱れが発生しない。また、表示オブジェクトの動きベクトルを算出するに当たって、所謂動き検出の処理が実行されないため、演算負荷を増大させることがない。その結果、上記の映像処理装置は、演算負荷を増大させること無く、補間フレームを用いて映像信号の時間解像度を向上させることが可能になるのである。

また、前記所定の操作信号は、前記映像処理装置の内部又は外部に設けられた操作部からユーザ操作に応じて入力される前記表示オブジェクトの移動を制御するための制御信号であってもよい。このように、ユーザ操作に応じて移動する表示オブジェクトについて、予め保持しているユーザ操作に応じた移動情報を利用して表示オブジェクトの動きベクトルが生成される。上記のように、映像処理装置は、演算負荷を増大させること無く、補間フレームを用いて映像信号の時間解像度を向上させることが可能になる。

また、前記表示オブジェクトは、ＯＳＤ（オンスクリーンディスプレイ）形式の映像信号であってもよい。ＯＳＤと映像信号の動きベクトルとは、例えば、画面上の座標表現等の表現形式が異なっている。例えば、ＯＳＤではピクセル単位で座標位置が規定されているのに対し、映像信号の動きベクトルの場合はマクロブロック単位で座標位置が規定されている。そのため、上記の映像処理装置は、保持している移動情報の形式から、動きベクトルの形式に変換して利用するのである。その一例として、ＯＳＤ形式からの形式変換を想定しているのである。ＯＳＤ形式に対応することで、現在、広く利用されている放送機器等に本発明に係る技術を応用することが可能になる。

また、上記課題を解決するために、本発明の別の観点によれば、符号化された映像信号に含まれる映像フレーム間の動きベクトル、又は符号化された映像信号から算出される映像フレーム間の動きベクトルに基づき、当該映像フレーム間に挿入される補間フレームを生成することが可能であり、且つ、前記映像フレームに重ねて表示されるか、或いは、前記映像フレームに替えて表示され、所定の操作信号に応じて移動する表示オブジェクトについて、当該表示オブジェクトの移動情報を保持している映像処理装置による映像処理方法が提供される。当該映像処理方法は、前記表示オブジェクトの移動情報が前記映像フレーム間の動きベクトルの形式に変換されるステップと、前記形式変換された表示オブジェクトの移動情報に基づいて前記補間フレームが生成されるステップと、を含むことを特徴とする。

前記の形式変換ステップでは、前記映像処理装置により、前記表示オブジェクトの移動情報が前記映像フレーム間の動きベクトルの形式に変換される。また、前記の補間フレーム生成ステップでは、前記映像処理装置により、前記形式変換された表示オブジェクトの移動情報に基づいて前記補間フレームが生成される。このように、予め保持していた表示オブジェクトの移動情報に基づき、その表示オブジェクトに関しては正確な動きベクトルが生成される。そのため、補間フレームに映像の乱れが発生しない。また、表示オブジェクトの動きベクトルを算出するに当たって、所謂動き検出の処理が実行されないため、演算負荷を増大させることがない。その結果、上記の映像処理装置は、演算負荷を増大させること無く、補間フレームを用いて映像信号の時間解像度を向上させることが可能になるのである。

より詳細には、次の通りである。映像信号を動きベクトルを用いて符号化した符号化信号が入力された場合に、前記符号化信号を復号して、前記動きベクトル（復号動きベクトル）及び前記映像信号（復号映像）をフレーム毎に出力する復号部と、前記復号映像が記録される復号映像記憶部と、前記復号動きベクトル、及び前記復号映像記憶部に記録された前記復号映像信号の少なくとも一方を参照して動きベクトルを生成する動きベクトル生成部と、前記動きベクトルを補正して補間ベクトルを生成する補間ベクトル生成部と、前記復号映像記憶部に記録された前記復号映像信号の少なくとも１フレーム、及び前記補間ベクトル生成部により生成された補間ベクトルを用いて補間フレームを生成する補間フレーム生成部と、前記復号フレーム、及び前記補間フレームのいずれかをフレーム毎に選択して出力する選択部と、を有する映像処理装置が提供される。さらに、当該映像処理装置は、外部から入力された制御信号に応じてＣＧ映像を生成するＣＧ映像生成部と、前記ＣＧ映像の移動情報を前記動きベクトルの形式に変換する形式変換部と、を備える。そして、前記補間ベクトル生成部は、前記形式変換部により変換された動きベクトルに対する補間ベクトルを生成する。また、前記補間フレーム生成部は、前記補間ベクトルと前記ＣＧ映像を参照して補間フレームを生成する。その後、前記選択部は、前記補間フレーム、前記復号フレーム、及び前記ＣＧ映像のいずれかをフレーム毎に選択するか、或いは、その一部を合成して出力する。尚、前記機器状態変化信号は、ユーザのリモコン操作に応じて入力される制御信号であってもよい。尚、オブジェクトの移動は、ユーザ操作に応じて予め決まっており、映像処理装置自身が位置、距離、速度等の情報を保持していることが多い。もちろん、ユーザ操作に限らず、時限的にオブジェクトの移動が発生する場合等にも適用できる。

以上説明したように本発明によれば、演算負荷を増大させることなく、オブジェクトを含む映像の品質を向上させることが可能になる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［一般的な技術との対比］
まず、本発明に係る実施形態について説明するに先立ち、以下で説明する実施形態と一般的な技術との間の構成上の差異を明確にするため、図７を参照しながら、一般的な映像処理装置１０の機能構成、及びフレームレート変換方法について簡単に説明する。その後、映像処理装置１０の問題点を指摘し、後述する実施形態に係る技術の特徴点について述べる。図７は、一般的な映像処理装置１０の機能構成を示す説明図である。

（映像処理装置１０の機能構成）
図７に示すように、映像処理装置１０は、主に、復号部１２と、復号映像記憶部１４と、動きベクトル生成部１６と、補間ベクトル生成部１８と、補間フレーム生成部２０と、フレーム選択部２２とにより構成される。

まず、映像信号及びその関連情報をＭＰＥＧ−２規格等の符号化方式に基づいて圧縮符号化することで生成されるビットストリーム（以下、符号化信号）が復号部１２に入力される。復号部１２は、入力された符号化信号を復号して映像信号（以下、復号映像）を生成する。また、復号部１２は、符号化信号を復号して得られる関連情報として、復号映像に関する動きベクトルの情報を出力する。そして、復号部１２は、復号映像を復号映像記憶部１４に蓄積し、動きベクトルの情報を動きベクトル生成部１６に入力する。

動きベクトル生成部１６は、復号映像記憶部１４に蓄積された復号映像について、時間的に連続する２フレーム間の動きベクトルを生成する。尚、動きベクトルの生成方法として、２種類の方法が考えられる。１つの方法は、復号部１２により出力された動きベクトルの情報をそのまま利用する方法である。つまり、この方法は、放送局等（以下、符号化側）で映像信号が符号化される際に利用された動きベクトルをそのまま利用するというものである。しかしながら、符号化側で誤った動きベクトルが生成されている可能性がある。もし、正しくない動きベクトルが含まれていると、後段の処理で生成される補間フレームに画質の劣化が発生してしまうという問題がある。

もう１つの方法は、復号映像記憶部１４に蓄積された復号映像から抽出された時間的に連続する２フレームを用いて改めて動きベクトルを計算する方法である。しかしながら、この方法は、多大な演算量を必要とする動き検出の処理を実行する必要がある。既に述べたように、この動き検出の処理は、ブロックマッチング法等を用いて実行されるが、動き補償フレーム間の差分符号化処理の中でも最も演算負荷の高い処理である。近年、この演算負荷を低減させるための種々の技術が研究開発されているが、実施の態様によっては、必ずしも現実的でない場合もある。例えば、演算能力が比較的低い携帯電話や通信端末等では、この方法を採用することは難しいものと考えられる。

動きベクトル生成部１６は、上記又は他の方法により生成された動きベクトルを補間ベクトル生成部１８に入力する。補間ベクトル生成部１８は、動きベクトル生成部１６から入力された動きベクトルを利用して補間ベクトルを生成する。この補間ベクトルとは、入力された動きベクトルに対応する２フレーム間に挿入される補間フレームの画素を生成するための動きベクトルである。例えば、時間的に連続する２フレームの中間に補間フレームを生成する場合、補間ベクトルは、入力された動きベクトルのベクトル長を半分の長さにして生成される。つまり、補間ベクトル生成部１８は、２フレーム間に挿入される補間フレームの時間的な位置関係を考慮し、補間フレームの前後に位置するフレームとの時間的距離の比率に応じて、入力された動きベクトルのベクトル長を調整することで補間ベクトルを生成する。

補間ベクトル生成部１８は、生成した補間ベクトルを補間フレーム生成部２０に入力する。補間フレーム生成部２０は、まず、復号映像記憶部１４に蓄積された復号映像の中で、入力された補間ベクトルに対応し、補間フレームの直後又は直前に位置するフレームを読み出す。このとき、補間フレーム生成部２０は、補間フレームの直前及び直後のフレームを両方読み出してもよい。そして、補間フレーム生成部２０は、入力された補間ベクトル、及び読み出した復号映像のフレームを利用して補間フレームを生成する。

例えば、補間フレーム生成部２０は、補間ベクトルの一端に対応する復号映像のフレームの画素値を当該補間ベクトルの他端に対応する補間フレームの画素値に設定することで、補間フレームを生成する。また、補間フレームの前後に位置する復号映像のフレームを両方利用する場合、補間フレーム生成部２０は、両フレームに対応する補間ベクトルを用いて補間フレームの画素値をそれぞれ決定し、両画素値の平均値を補間ベクトルの画素値に設定してもよい。この処理により、補間フレームを含む映像信号がより滑らかに表示されるようになる。

補間フレーム生成部２０は、生成した補間フレームをフレーム選択部２２に入力する。フレーム選択部２２は、復号映像記憶部１４に蓄積されたフレームの間に、補間フレーム生成部２２により生成された補間フレームを挿入して出力する。その結果、挿入される補間フレームの分だけ、映像信号の時間解像度が向上するのである。

以上、一般的な映像処理装置１０の機能構成について説明した。上記のように、放送信号等の映像信号は、放送局等から映像信号と共に配信される動きベクトルを利用することで高い時間解像度にフレームレート変換することができる。確かに、放送局等で算出された動きベクトルの一部が実際の映像信号と整合していない可能性もある。しかし、通常の映像信号は、その映像自体が非常に複雑であり、一部の画素又は画素群（以下、ブロック）について動きベクトルの誤りが含まれていたとしても、視聴者が明確に認識できる程度には至らない場合が多いものと考えられる。

（映像処理装置１０の問題点）
ところが、ＯＳＤ信号等の平坦な（直流成分の多い）コンピュータグラフィック映像（以下、ＣＧ映像）が映像信号に含まれる場合、動きベクトルの誤りに起因する映像品質の劣化が顕著になる。通常、色彩が豊かで複雑な形状をした映像や頻繁に変化する映像の場合、数画素程度の細かい映像の乱れを人間の目で視認することは容易でない。例えば、１秒間に２０フレーム〜４０フレーム程度の映像が連続して画面に表示される中で、数フレーム程度の映像について、数画素の色彩が異なっていても、まさに誰も目に止めないはずである。ところが、ＣＧ映像は、通常、設定画面やメニュー画面等に用いられる映像であるため、比較的長い時間動かない範囲が大きく、また、ほとんど近似した色彩の領域が広いため、数画素程度の映像の乱れであっても容易に視認できてしまうのである。

そこで、より正確な動きベクトルを用いる必要が出てくる。ところが、上記の通り、復号映像から改めて動きベクトルを精度良く検出し直すには大きな演算コストが必要になる。特に、ＣＧ映像が含まれていると、動きベクトルの検出を誤る可能性が高まるため、非常に高い精度の動き検出精度が求められる。例えば、ブロックマッチング法等の動き検出処理では、時間的に連続する２フレームが各々細かいブロックに分けられ、２フレーム間で画素値が類似するブロックを探索する処理が実行される。当然、各フレームの全ての領域について総当たりの演算処理を実行すると演算量が莫大になるため、探索範囲を限定して検索を実行するが、精度を向上させようとする場合、より広い範囲で類似ブロックの探索をする必要が生じる。尚、ほぼ同一形状、同一色彩のＣＧ映像が含まれている場合、そもそも、正しい動きベクトルの検出が困難な場合もある。

（着想点について）
このように、ＣＧ映像を含む映像信号のフレームレート変換は非常に難しい。しかしながら、発想の転換を図ることで、上記の困難を明快に克服することができるのである。その着想は、ＣＧ映像自体が所定の操作に応じて所定の動作をすることを逆に利用すればよいという発想に起因する。つまり、ＣＧ映像の移動情報自体を既に表示装置や放送受像機等の映像処理装置側で保持しているのであるから、この情報を補間フレームの生成に利用できる形態に変換すればよいというものである。そこで、これらのアイデアを具体的に実現することが可能な一実施形態について、以下で詳細に説明する。

＜本発明の一実施形態＞
ここで、本発明の一実施形態について説明する。上記の通り、本実施形態は、設定画面等で表示されるオンスクリーンディスプレイ（以下、ＯＳＤ）やメニュー画面等で表示されるＣＧ映像等を含んだ映像信号を高画質化する技術に関する。特に、当該技術は、ユーザ操作等に応じてＣＧ映像が移動又は変化する場合に、その移動情報を利用して生成された補間フレームを利用して映像信号のフレームレート変換を実現する点に特徴がある。以下、この特徴を中心に、本実施形態に係る技術について、より詳細に説明する。

［映像処理方法の概要］
まず、図１を参照しながら、本実施形態に係る映像処理方法の概要について説明する。特に、上述したフレームレート変換について、図１を参照しながら、より具体的に説明する。図１は、本実施形態に係るフレームレート変換の原理を模式的に示した説明図である。ここで言うフレームレート変換とは、図１に示すように、複数の映像フレームＦの間に補間フレームＦｓを挿入することによって映像信号の時間解像度を高める処理である。但し、本実施形態では、ＣＧ映像に対応するブロックの補間ブロックを生成する際に用いる動きベクトルが上記の一般的な技術のものと相違している点に注意されたい。

図１には、時間軸に沿って、時刻ｔ_０、ｔ_１、ｔ_２に対応する３つのフレーム（Ｆ、Ｆｓ）が描画されている。時刻ｔ_０、ｔ_２に対応するフレーム（以下、映像フレームＦ）は、入力された映像信号により得られるフレームレート変換前のフレームである。一方、時刻ｔ_１に対応するフレーム（以下、補間フレームＦｓ）は、時刻ｔ_０、ｔ_２に対応する２つの映像フレームＦの間に挿入されるフレームであり、動きベクトルを用いて新たに生成されるフレームである。また、映像フレームＦ、及び補間フレームＦｓには、オブジェクトＯｂｊが含まれる。このオブジェクトＯｂｊは、上記のＣＧ映像の一例である。尚、図１では、時刻ｔ_０、ｔ_１、ｔ_２に対応して、オブジェクトＯｂｊをＯｂｊ（ｔ_０）、Ｏｂｊ（ｔ_１）、Ｏｂｊ（ｔ_２）と表記するが、同一のオブジェクトＯｂｊが時間と共に位置を移動したものである点に注意されたい。

（補間フレームＦｓの生成方法について）
まず、補間フレームＦｓの生成方法について具体的に説明する。補間フレームＦｓは、例えば、この補間フレームＦｓが挿入される前後（時刻ｔ_０、ｔ_２）に位置する映像フレームＦの画素値に基づいて次のように生成される。

図１の場合、補間フレームＦｓに含まれる画素Ａの画素値Ｃ（ｔ_１）は、例えば、相互に対応関係を有する２つの映像フレームＦの画素Ａ’、Ａ”（非図示）の画素値Ｃ（ｔ_０）、Ｃ（ｔ_２）により算出される。もちろん、本実施形態に係る技術は、これに限定されず、例えば、時刻ｔ_０より前に位置する映像フレームＦの画素値Ｃ（ｔ＜ｔ_０）を利用してもよいし、時刻ｔ_１より後に位置する映像フレームＦの画素値Ｃ（ｔ＞ｔ_１）を利用してもよい。さらに、補間フレームＦｓに含まれる画素Ａ（非図示）の画素値Ｃ（ｔ_１）は、３以上の映像フレームＦの画素値に基づいて算出されてもよい。

このとき、画素Ａ’と画素Ａ”との間の位置関係は、動きベクトルにより定義される。例えば、画素Ａ’及び画素Ａ”がオブジェクトＯｂｊに対応する画素である場合、両画素間の位置関係は、動きベクトルＭ_０２により定義される。このとき、動きベクトルＭ_０２は、オブジェクトＯｂｊが移動する方向、及びその移動する速さ（単位時間当たりの移動量）を表すベクトル量である。この動きベクトルＭ_０２の取得方法に本実施形態に係る技術的特徴がある。この点については後述する。

補間フレームＦｓの画素Ａの画素値Ｃ（ｔ_１）を算出する場合、まず、補間フレームＦｓの画素Ａと、映像フレームＦの画素Ａ’又は画素Ａ”とを結ぶ動きベクトルＭ_０１又はＭ_１２（非図示）を算出する必要がある。例えば、図１のように、動きベクトルＭ_０１を算出する場合、映像フレームＦと補間フレームＦｓとの間の時間差Δｔ_０１（＝｜ｔ_１−ｔ_０｜）とΔｔ_０２（＝｜ｔ_２−ｔ_０｜）との間の比率に応じて動きベクトルＭ_０２のベクトル長を縮小することで、補間フレームＦｓの画素Ａに対する動きベクトルＭ_０１が算出される。尚、オブジェクトＯｂｊに無関係の画素については、符号化信号に含まれる動きベクトルを参照して補間フレームＦｓの画素値Ｃ（ｔ_１）が算出される。

［映像処理装置１００の機能構成］
次に、図２を参照しながら、本実施形態に係る映像処理装置１００の機能構成について説明する。図２は、本実施形態に係る映像処理装置１００の機能構成を示す説明図である。

図２に示すように、映像処理装置１００は、主に、復号部１０２と、復号映像記憶部１０４と、動きベクトル生成部１０６と、補間ベクトル生成部１０８と、補間フレーム生成部１１０と、ＣＧ情報記憶部１１２と、ＣＧ映像生成部１１４と、ＣＧ動きベクトル変換部１１６と、フレーム選択部１１８とにより構成される。尚、ＣＧ情報記憶部１１２、ＣＧ映像生成部１１４、及びＣＧ動きベクトル変換部１１６は、ＣＧ情報処理ブロックＢ_ＣＧを形成する。尚、ＣＧ情報記憶部１１２は、オブジェクト情報記憶部の一例である。また、ＣＧ動きベクトル変換部１１６は、形式変換部の一例である。

（復号部１０２）
まず、映像信号及びその関連情報をＭＰＥＧ−２規格等の符号化方式に基づいて圧縮符号化することで生成されるビットストリーム（以下、符号化信号）が復号部１０２に入力される。復号部１０２は、入力された符号化信号を復号して映像信号（以下、復号映像）を生成する。また、復号部１０２は、符号化信号を復号して得られる関連情報として、復号映像に関する動きベクトルの情報を出力する。そして、復号部１０２は、復号映像を復号映像記憶部１０４に蓄積し、動きベクトルの情報を動きベクトル生成部１０６に入力する。尚、上記の符号化方式として、ＭＰＥＧ−２規格の符号化方式の他、例えば、ＩＳＯ／ＩＥＣ ＪＴＣ１により標準化されたＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣやＩＴＵ−Ｔにより勧告されたＨ．２６４等の動画像符号化方式が利用され得る。

（動きベクトル生成部１０６）
動きベクトル生成部１０６は、復号映像記憶部１０４に蓄積された復号映像について、時間的に連続する２フレーム間の動きベクトルを生成する。尚、動きベクトルの生成方法として、２種類の方法が考えられる。１つの方法は、復号部１０２により出力された動きベクトルの情報をそのまま利用する方法である。つまり、この方法は、放送局等（以下、符号化側）で映像信号が符号化される際に利用された動きベクトルをそのまま利用するというものである。しかしながら、符号化側で誤った動きベクトルが生成されている可能性がある。もし、正しくない動きベクトルが含まれていると、後段の処理で生成される補間フレームに画質の劣化が発生してしまうという問題がある。

もう１つの方法は、復号映像記憶部１０４に蓄積された復号映像から抽出された時間的に連続する２フレームを用いて改めて動きベクトルを計算する方法である。しかしながら、この方法は、多大な演算量を必要とする動き検出の処理を実行する必要がある。既に述べたように、この動き検出の処理は、ブロックマッチング法等を用いて実行されるが、動き補償フレーム間の差分符号化処理の中でも最も演算負荷の高い処理である。従って、演算能力が比較的低い携帯電話や通信端末、或いは、各種の放送機器等で、この方法を採用することが難しいという現状がある。そのため、以下の説明において、動きベクトル生成部１０６は、符号化信号に含まれる動きベクトルをそのまま出力するものとする。

但し、本実施形態は、復号映像の動きベクトルの生成方法に関し、その種類を特に限定しない。例えば、動きベクトル生成部１０６は、上記のように、復号映像記憶部１０４から取得した復号映像に基づいて改めて動き検出し、動きベクトルを生成してもよい。その後、動きベクトル生成部１０６は、上記又は他の方法により生成された動きベクトルを補間ベクトル生成部１０８に入力する。

（補間ベクトル生成部１０８）
補間ベクトル生成部１０８は、動きベクトル生成部１０６から入力された動きベクトルを利用して補間ベクトルを生成する。この補間ベクトルとは、入力された動きベクトルに対応する２フレーム間に挿入される補間フレームの画素を生成するための動きベクトルである。補間ベクトル生成部１０８は、２フレーム間に挿入される補間フレームの時間的な位置関係を考慮し、補間フレームの前後に位置するフレームとの時間的距離の比率に応じて、入力された動きベクトルのベクトル長を調整することで補間ベクトルを生成する。

例えば、時間軸上で２フレームの中間に補間フレームを挿入する場合、補間ベクトル生成部１０８は、入力された動きベクトルと同じ方向を有し、その動きベクトルの半分の長さを持つベクトルを生成する。このベクトルが補間ベクトルである。

補間ベクトル生成部１０８は、ＣＧ映像に関し、後述するＣＧ動きベクトル変換部１１６から入力された動きベクトル（以下、ＣＧ動きベクトル）に基づいて補間ベクトルを生成する。但し、この場合も、補間ベクトル生成部１０８は、ＣＧ動きベクトルのベクトル長を補間フレームの位置関係に基づいて短縮することで補間ベクトルを生成する。補間ベクトル生成部１０８は、生成した補間ベクトルを補間フレーム生成部１１０に入力する。尚、３以上のフレーム（以下、参照フレーム）を参照して補間フレームを生成する場合、補間ベクトル生成部１０８は、上記の方法を用いて各参照フレームに対応する補間ベクトルを生成し、補間フレーム生成部１１０に入力する。

（補間フレーム生成部１１０）
補間フレーム生成部１１０は、まず、復号映像記憶部１０４に蓄積された復号映像の中で、入力された補間ベクトルに対応し、補間フレームの直後又は直前に位置するフレームを読み出す。このとき、補間フレーム生成部１１０は、後述するＣＧ映像生成部１１４からＣＧ映像も取得する。尚、複数の参照フレームを利用する場合、補間フレーム生成部１１０は、参照フレームとして、補間フレームの直前及び直後のフレームを両方読み出してもよいし、補間フレームから所定数のフレーム分だけ離れて位置するフレームの情報を読み出してもよい。その後、補間フレーム生成部１１０は、補間ベクトル生成部１０８により入力された補間ベクトル、復号映像記憶部１０４から読み出した復号映像のフレーム、及びＣＧ映像生成部１１４から取得したＣＧ映像を利用して補間フレームを生成する。

例えば、補間フレーム生成部１１０は、補間ベクトルの一端に対応する復号映像のフレームの画素値を当該補間ベクトルの他端に対応する補間フレームの画素値に設定する。但し、その補間ベクトルがＣＧ映像に対応するものである場合、補間フレーム生成部１１０は、当該補間ベクトルの他端に対応する補間フレームの画素値をＣＧ映像の画素値に設定する。同様にして、補間フレーム生成部１１０は、補間フレームの全てのブロックに対する画素値の設定処理を実行することで補間フレームを生成することができる。その後、補間フレーム生成部１１０は、生成した補間フレームをフレーム選択部１１８に入力する。

尚、参照フレームとして、補間フレームの前後に位置する復号映像のフレームを共に利用する場合、補間フレーム生成部１１０は、両フレームに対応する補間ベクトルを用いて補間フレームの画素値をそれぞれ決定し、両画素値の平均値を補間ベクトルの画素値に設定してもよい。この処理により、補間フレームを含む映像信号がより滑らかに表示されるようになる。但し、補間フレーム生成部１１０は、ＣＧ映像に関する補間フレームの画素値に限り、前後両方向からの画素値の算出をせず、前又は後の参照フレームに対応する画素値を用いる構成にしてもよい。

既に述べた通り、ＣＧ映像は、その形状や色度等の情報が時間的にあまり変化しないため、両方向からの画素値の算出をしても、画質の向上にあまり寄与しないためである。ＣＧ映像に関して、この処理を簡略化することにより、処理の高速化やメモリ量の削減が図れる。この効果は、ＣＧ映像を多く含む映像信号に対して当然に有効であると同時に、３以上の多数の参照フレームを用いて補間フレームを生成する場合において格別の効果を発揮する。さらに、補間ベクトル生成部１０８において、ＣＧ映像に関する補間ベクトルを扱う必要もなくなるため、その補間ベクトルを生成する処理、転送する処理等に係る演算量を削減し、全体として処理の高速化に寄与する。

（ＣＧ情報処理ブロックＢ_ＣＧについて）
ＣＧ情報処理ブロックＢ_ＣＧは、設定画面やメニュー画面等で表示されるアイコンやテキスト、或いは、インジケータや動画像等のＣＧ映像を処理するブロックである。そのため、ＣＧ情報処理ブロックＢ_ＣＧには、主に、ＣＧ映像に関する情報が格納されたＣＧ情報記憶部１１２、ＣＧ映像を生成するＣＧ映像生成部１１４、ＣＧ映像の動き情報を動きベクトルの形式に変換するＣＧ動きベクトル変換部１１６が含まれる。

（ＣＧ情報記憶部１１２）
ＣＧ情報記憶部１１２は、ＣＧ映像に関する情報が記録された記憶手段である。ＣＧ情報記憶部１１２には、例えば、ＣＧ映像の形状、色彩、明度、或いは、点滅等の動的な表現形式、テキストの内容、表示される位置等の情報が記録されている。その他にも、ＣＧ情報記憶部１１２には、例えば、ユーザ操作に応じて入力された制御信号に関連付けて、制御信号の種類に応じたＣＧ映像の移動方向や単位時間当りの移動距離、或いは、予め設定された画面上の複数の位置間で移動する際の移動元と移動先との関係等が記録されている。具体例を挙げると、例えば、ユーザによりリモコンの「右矢印ボタン」が押下され、そのボタンに対応する制御信号が入力された際に、メニュー画面に表示された選択カーソルが右方向に移動する、といった情報が記録されているのである。

但し、その移動方向や位置、距離等が予め設定されている点が重要である。ここで、図４を参照しながら、ＣＧ情報記憶部１１２に記録される情報について、より具体的に説明する。図４は、ＣＧ映像を含む映像フレームＦの表示構成例を示す説明図である。

図４の映像フレームＦには、多数のＣＧ映像（表示オブジェクト）が表示されている。この例は、ＣＧ映像として、良く知られたＸＭＢ（Ｃｒｏｓｓ Ｍｅｄｉａ Ｂａｒ）と呼ばれるユーザインターフェースが表示されている状態を示したものである。ＸＭＢは、画面の横軸（図中のＸ軸）方向に整列配置されたアイコン群と、そのアイコン群の中から選択されたアイコンに関連して、そのアイコンを基準に縦方向（図中のＹ方向）に情報が表示される情報列とにより構成されるユーザインターフェースである。

図４の例では、表示オブジェクトＯｂｊ２（アイコン）を中心にＸ方向に複数のアイコンが整列配置されている。また、表示オブジェクトＯｂｊ２を基準にして、Ｙ方向に複数の関連情報が表示されている。その中で、例えば、表示オブジェクトＯｂｊ１（テキスト）を例に挙げると、この表示オブジェクトＯｂｊ１は、放送番組のチャンネルを表す数字と、その番組内容の概要を表す文字列とにより構成されている。他の構成として、例えば、この関連情報には、表示オブジェクトＯｂｊ３（インジケータ）のように、時間の経過と共に変化する動的なＣＧ映像も含まれる。その他にも、映像フレームＦには、表示オブジェクトＯｂｊ４（アイコン）のように、ＣＧ映像が表示されている間、時間的にほとんど変化しない映像も含まれている。

尚、図４の例では、横方向に整列配置されたアイコンの表示オブジェクトの中で、表示オブジェクトＯｂｊ２にフォーカスが当たっている。つまり、選択カーソルが表示オブジェクトＯｂｊ２にある状態が示されている。一方、縦方向に配置された番組の関連情報については、チャンネル番号２５３にフォーカスが当たっており、この番号に選択カーソルが表示されている。これらの選択カーソルは、所定のユーザ操作に応じて所定の方向、及び位置に移動することができる。また、その移動速度も予め設定されている。

図４に例示したような画面構成が実現される場合、ＣＧ情報記憶部１１２には、各表示オブジェクトに関連した種々の情報が記録されている。ＣＧ情報記憶部１１２には、例えば、表示オブジェクトＯｂｊ１に関し、そのテキストの中でチャンネルの番号と番組内容を表すテキストとの表示位置関係に関する情報等が記録されている。さらに、ＣＧ情報記憶部１１２には、表示オブジェクトＯｂｊ１が映像フレームＦの全体の中で、どの位置に配置されるかを表す位置情報、或いは、表示オブジェクトＯｂｊ２や他の表示オブジェクトに対する相対的な位置関係を示す相対位置情報等が記録されている。尚、ＣＧ情報記憶部１１２には、表示オブジェクトがフォーカスされた際に、その表示オブジェクトの形状、色彩、動的な表現形態がどのように変化するかといった情報等も記録されている。

また、移動情報に関し、ＣＧ情報記憶部１１２には、ユーザ操作が発生した場合に、そのユーザ操作に対応する制御信号に関連付けて、表示オブジェクトＯｂｊ１をどの位置に移動するかを定義した移動情報が記録されている。

図４の例では、ユーザがリモートコントローラ（以下、リモコン）の「右矢印ボタン」を押下した場合、現在フォーカスが当たっている表示オブジェクトＯｂｊ２から、右隣に配置された表示オブジェクトにフォーカスが移動する。このとき、横方向に整列配置された表示オブジェクトの位置が左方向に所定距離だけ移動される。このフォーカスの移動に伴い、縦方向に配列された表示オブジェクトの内容が、移動後にフォーカスされた表示オブジェクトに関連する情報に変更される。同様に、ユーザがリモコンの「下矢印ボタン」を押下した場合、現在フォーカスが当たっているチャンネル番号２５３の表示オブジェクトから、チャンネル番号２５４の表示オブジェクトにフォーカスが移動する。このとき、縦方向に配列された表示オブジェクトの位置が上方向に所定距離だけ移動される。

上記の所定距離とは、例えば、移動前に右隣又は上段に配置されていた表示オブジェクトと、現在フォーカスされている表示オブジェクトとの間の距離に相当する距離である。この距離は、各表示オブジェクトが配置される位置の情報に基づいて決定される。そのため、所定のユーザ操作毎に、移動対象となる表示オブジェクトが特定され、その表示オブジェクトの移動方向、及び移動先の位置が特定されることで、ユーザ操作に応じた適切なフォーカスの移動表示が実現されるのである。つまり、ＣＧ情報記憶部１１２には、ユーザ操作に応じた制御信号の種類毎に、移動対象となる表示オブジェクト、及び、その表示オブジェクトの移動方向、及び移動先の位置が定義された移動情報が記録されている。

また、ユーザ操作に依らない表示オブジェクトの移動もある。例えば、表示オブジェクトＯｂｊ３は、時間経過に伴って進行するインジケータの映像である。この場合、表示オブジェクトＯｂｊ３は、ユーザ操作に関係せず、時間と共に変化する。もちろん、表示オブジェクトＯｂｊ３自体が移動するわけではないが、インジケータ中の指標カーソルが時間と共に移動するため、この部分がＣＧ映像の移動となる。

但し、表示オブジェクトＯｂｊ３のような時間経過に伴って移動するＣＧ映像に関しては、その移動情報として、そのＣＧ映像内の移動部分に関する移動速度の情報を保持していればよい。例えば、ユーザ操作に応じて表示オブジェクトＯｂｊ３自体が移動した場合でも、その表示オブジェクトＯｂｊ３内の移動情報を用いて時間経過に整合したＣＧ映像の生成が可能になる。つまり、ＣＧ情報記憶部１１２には、ユーザ操作に関係なく移動するＣＧ映像に関する移動情報も記録されている。

尚、図４では、ＸＭＢを例に挙げて説明したが、本実施形態の適用範囲はこれに限定されない。一般的なＯＳＤの場合にも、ＣＧ情報記憶部１１２には、ＸＭＢと同様の移動情報が記録される。但し、移動情報に含まれる表示オブジェクトの位置、又はその移動方向や表現形態等に関する定義が若干異なるかもしれない。しかしながら、ユーザ操作や時間経過に伴う表示オブジェクトの移動方向、及び移動先の位置を規定した情報がＣＧ情報記憶部１１２に予め記録されているという点で実質的に同一の技術的範囲に属する。また、ＣＧ情報記憶部１１２に記録される表示オブジェクトの位置は、例えば、画面上の座標として表現されるが、こうした表現形態についても任意である。移動方向の表現形態についても、縦／横方向に限らず、フォーカスされた表示オブジェクトを中心とする角度方向を指定して表現してもよいし、任意の座標系で方向や位置を指定して表現してもよい。

（ＣＧ映像生成部１１４）
再び図２を参照する。ＣＧ映像生成部１１４は、ＣＧ情報記憶部１１２に記録された表示オブジェクトの表現形態に関する情報、及び移動情報に基づいてＣＧ映像を生成する。このとき、ＣＧ映像生成部１１４は、ユーザ操作に応じて入力された所定の制御信号に応じてＣＧ映像を生成する。この所定の制御信号とは、例えば、ユーザ操作に応じてリモコンから発信された信号（以下、この信号をユーザ操作信号又は機器状態変化信号と呼ぶ場合がある。）であり、映像処理装置１００又は当該映像処理装置１００に接続された外部装置により取得される。従って、この制御信号は、ユーザのリモコン操作に対応する。

例えば、ユーザによりリモコンの「右矢印ボタン」が押下された場合に、ＣＧ映像生成部１１４は、そのユーザ操作に対応する機器状態変化信号を受信し、メニュー画面上の選択カーソル又はフォーカスが右方向に移動するＣＧ映像を生成する。より具体的には、フォーカスの移動前後で変化する表示オブジェクトのＣＧ映像が生成される。このとき、ＣＧ映像生成部１１４は、ＣＧ情報記憶部１１２に記録された表示オブジェクトの位置情報、表現形態、移動情報等を参照してＣＧ映像を生成する。また、ＣＧ映像生成部１１４は、ＣＧ映像を補間フレーム生成部１１０、及びフレーム選択部１１８に入力する。

（ＣＧ動きベクトル変換部１１６）
ＣＧ動きベクトル変換部１１６は、ＣＧ情報記憶部１１２から表示オブジェクト等のＣＧ映像に関する移動情報を読み出し、補間ベクトル生成部１０８により利用可能な動きベクトルの表現形式に変換する。既に述べた通り、動きベクトルとは、移動するブロックの移動方向及び移動の大きさを示すベクトル量である。上記の通り、ＣＧ情報記憶部１１２には、ＣＧ映像の移動情報として、機器状態変化信号に応じたＣＧ映像の移動方向及び移動の大きさ（ＣＧ映像の移動前後の位置から算出される場合も含む。）が予め記録されている。そこで、ＣＧ動きベクトル変換部１１６は、こうした移動情報を利用し、補間ベクトル生成部１０８で処理可能な映像信号の動きベクトル（ＣＧ動きベクトル）を生成する。

尚、ＣＧ情報記憶部１１２に記録された移動情報の形式と、補間ベクトル生成部１０８が扱う動きベクトルの形式との違いとして、例えば、移動情報の形式が画面上の座標表現の違いがある。例えば、移動情報が座標表現にピクセル単位を用いている一方で、動きベクトルがマクロブロック単位を用いている場合等の違いがある。こうした場合、ＣＧ動きベクトル変換部１１６は、その座標表現の表現形式を変換して動きベクトルを生成する。もちろん、こうした形式の変換に伴って、動きベクトルの方向や大きさに関する情報の表現形式も適宜変換される。尚、本実施形態は、こうした座標表現の変換に限定されるものではなく、種々の形式変換に適用され得る。

さて、ＣＧ動きベクトル変換部１１６がＣＧ動きベクトルを生成する際に利用される移動情報は、ＣＧ映像の正確な移動を表している点が重要である。上述の通り、符号化信号に含まれる動きベクトルや、ブロックマッチング法等により映像信号から推定される動きベクトルは、必ずしも映像ブロックの移動を正確に表現したものであるとは言えない。ところが、上記のＣＧ移動ベクトルは、予め設定されたＣＧ映像の移動に関する情報を利用しているため、ＣＧ映像の移動を正確に表現したものになっている。そのため、ＣＧ映像の表示箇所に関しては、このＣＧ動きベクトルを用いて生成された補間フレームに乱れが発生しないという格別の効果が得られる。この効果は、のっぺりとしたＣＧ映像において特に顕著な視覚的作用を齎す。

さて、ＣＧ動きベクトル変換部１１６は、生成したＣＧ動きベクトルを補間ベクトル生成部１０８に入力する。また、ＣＧ動きベクトル変換部１１６は、ＣＧ情報記憶部１１２からＣＧ映像の位置情報を取得し、必要に応じて補間ベクトル生成部１０８に入力する。このように、ＣＧ動きベクトル変換部１１６により、ＣＧ映像の移動情報が通常の映像信号に対する動きベクトルの形式に変換されるため、ＣＧ情報記憶部１１２に記録された移動情報の形式がＯＳＤ信号の形式であろうと、他の形式であろうと、補間ベクトル生成部１０８の機能構成を変更することなく、各種の形式に適応することが可能になる。

このことは、本実施形態に係る技術を既存の放送機器等に搭載する際に、機器の回路構成等を大きく変更せずに済むという効果に繋がる。その結果、テスト期間を短縮できたり、製造工程を大きく変更せずに済むため、製造コストを低減させることにも繋がる。また、ＣＧ動きベクトル変換部１１６の機能がコンピュータプログラムにより実現される場合、そのプログラムをアップデートすることで、適応可能な形式を変更することも可能になる。これは、設定画面のメニュー等が製品のファームウェアアップデートに伴って変更された場合等における適応可能性の拡大に寄与するものであり、非常に有意である。

（フレーム選択部１１８）
フレーム選択部１１８は、フレームレートに合わせて、復号映像記憶部１０４に蓄積されたフレームの間に、補間フレーム生成部１１０によって生成された補間フレームを挿入して出力する。その結果、挿入される補間フレームの分だけ、映像信号の時間解像度が向上する。尚、ＣＧ映像を表示する際、フレーム選択部１１８は、ＣＧ映像を表示する位置をＣＧ情報記憶部１１２から取得する。また、ＣＧ映像の移動を示す機器状態変化信号が入力された場合、フレーム選択部１１８は、ＣＧ情報記憶部１１２に記録されたＣＧ映像の移動情報に基づいてＣＧ映像の表示位置を変更する。

但し、フレーム選択部１１８は、入力された機器状態変化信号に応じてＣＧ映像の表示／非表示を切り替える。このＣＧ映像の表示／非表示に関し、フレーム選択部１１８は、例えば、ユーザがリモコンでメニュー画面等を表示するためのボタンを押下した後、メニュー画面等を閉じる指示をユーザのリモコン操作により通知するまでＣＧ映像を出力する。一方、フレーム選択部１１８は、メニュー画面等の表示指示が通知されていない場合に、その間、復号映像記憶部１０４から復号映像を読み出して出力する。尚、復号映像がうっすらと表示されるようにＣＧ映像を透過的に表示してもよい。

上記のように、ＣＧ映像が重畳された復号映像のフレームと、ＣＧ映像を含んで形成された補間フレームとが適宜選択的に表示されることにより、ＣＧ映像が表示される際にも、ＣＧ映像に乱れが発生せず、高い時間解像度を有する映像出力が得られる。

以上、本実施形態に係る映像処理装置１００の機能構成について説明した。上記の機能構成を有することで、映像処理装置１００は、ＣＧ映像に関する正確な動きベクトルを用いて補間フレームを生成することが可能になり、ＣＧ映像に乱れのない高フレームレートの映像出力を得ることができる。また、ＣＧ映像の正確な動きベクトルを得るに際し、改めて高精度の動き検出を実行しないため、演算負荷（及び消費電力）を増大させることなく、ＣＧ映像を含む映像信号の高フレームレート化が実現される。さらに、フレームレート変換に関する既存の技術を一部流用することもできるため、その分だけ製造に掛かる種々の時間的又は経済的なコストを低減させることが可能になる。尚、本実施形態に係る映像処理装置１００の技術は、例えば、テレビジョン受像機やセットトップボックス等の放送機器、放送信号等の映像信号を受信して記録する録画装置や、光学記録媒体や磁気記録媒体等の種々の記録媒体に記録された映像を再生する映像機器等に適用可能である。

［映像処理方法の流れ］
次に、図３を参照しながら、本実施形態に係る映像処理方法の流れについて説明する。図３は、本実施形態に係る映像処理方法の流れを示す説明図である。尚、この映像処理方法に含まれる各ステップの処理は、上記の映像処理装置１００が有する各構成要素の機能により実現される。

図３に示すように、まず、映像処理装置１００は、ユーザの操作等に応じてＣＧ映像を生成する（Ｓ１０２）。この処理は、主に、ＣＧ映像生成部１１４により実現される。例えば、ユーザがリモコンのメニュー表示ボタンを押下した際に、ＣＧ情報記憶部１１２に記録されたＣＧ映像の情報に基づいて、そのメニュー画面に表示されるＣＧ映像が生成される。次いで、ＣＧ映像に対する動きベクトルが生成される（Ｓ１０４）。この処理は、主に、ＣＧ動きベクトル変換部１１６により実現される。例えば、ＣＧ映像の移動に関する機器状態変化信号を入力された場合に、ＣＧ情報記憶部１１２に記録された移動情報に基づいてＣＧ動きベクトル変換部１１６によりＣＧ動きベクトルが生成される。

次いで、補間ベクトルが生成される（Ｓ１０６）。この処理は、主に、補間ベクトル生成部１０８により実現される。例えば、補間ベクトル生成部１０８により、ＣＧ動きベクトル変換部１１６により生成された動きベクトルの長さが半分に短縮されてＣＧ映像に関する補間ベクトルが生成される。次いで、補間フレームが生成される（Ｓ１０８）。この処理は、主に、補間フレーム生成部１１０により実現される。例えば、復号映像記憶部１０４に記録された復号映像のフレームの各画素値、ＣＧ映像生成部１１４により生成されたＣＧ映像に含まれる各画素値、及び補間ベクトル生成部１０８により生成された補間ベクトルに基づき、補間フレーム生成部１１０により補間フレームが生成される。

以上、本実施形態に係る映像処理方法の流れについて説明した。上記の映像処理方法は、全体の映像信号処理の中で補間フレームを生成する部分に該当するが、この部分こそが、本実施形態に係る技術の中核を成す部分である。特に、ＣＧ映像に関する動きベクトルの生成工程において、ＣＧ映像に関する既知の移動情報を用いて動きベクトルを生成する点が特徴的である。この処理により、ＣＧ映像の移動が正しく表現された動きベクトルが生成されるため、この動きベクトルを用いて生成された補間フレームによりフレームレート変換された映像信号の映像品質を大きく向上させることができるのである。また、ＣＧ映像の動きベクトルを生成するに当り、改めて動き検出等の処理を実行していないため、演算負荷を増大させることが無く、消費電力の低減にも貢献している。

［操作部の一例］
ここで、図５を参照しながら、上記の機器状態変化信号を入力するための操作手段について簡単に説明する。図５は、本実施形態に係る機器状態変化信号を入力するための操作手段の一例（リモコン）を示す説明図である。

既に述べた通り、本実施形態に係る映像処理装置１００は、各種の放送機器や情報処理装置、或いは、記録／再生装置等に搭載可能である。これらの機器には、ユーザによる操作手段として、リモコンが付属していることが多い。もちろん、ユーザは、各機器本体に設けられた操作手段を利用する場合もある。こうした操作手段の一例として、図５にリモコン２００の具体的な構成を示した。リモコン２００は、操作部の一例である。リモコン２００には、例えば、設定画面やメニュー画面等を表示するためのメニューボタン２０２が設けられている。また、リモコン２００には、設定画面やメニュー画面中でフォーカスを移動したり、表示オブジェクトを選択したりするための操作キー２０４が設けられている。ユーザは、例えば、メニューボタン２０２を押下してメニュー画面を表示し、操作キー２０４を操作して所望の操作を行う。

ユーザによりメニューボタン２０２が押下されると、リモコン２００は、映像処理装置１００に対して、メニュー画面の表示指示を示す制御信号を送信する。また、操作キー２０４が操作されると、その操作に応じた表示オブジェクトの移動処理等の指示が映像処理装置１００に送信される。例えば、操作キー２０４の右ボタンが押下されると、その時点で選択されている表示オブジェクトのＣＧ画像を右に移動するように指示する制御信号が映像処理装置１００に送信される。こうした制御信号を受信した映像処理装置１００は、その制御信号に応じてＣＧ映像を生成したり、ＣＧ映像の補間ベクトルを生成して、上記のように補間フレームを生成する。このように、ユーザ操作をトリガーとし、その操作内容に対応する表示オブジェクトの移動情報に基づいて補間フレームが生成される。

もちろん、機器状態変化信号は、ユーザ操作に応じてリモコン２００から発信されるものばかりではない点に注意されたい。また、高フレームレート化により表示オブジェクトの移動が滑らかになるため、リモコン２００等でユーザ操作が実行された際にユーザが体感する操作レスポンスが向上するという効果が得られる点にも注意されたい。この効果は、ＣＧ映像を乱さずに高フレームレート化できる本実施形態に特有のものである。

［ハードウェア構成（映像処理装置１００）］
上記装置が有する各構成要素の機能は、例えば、図６に示すハードウェア構成により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図６は、映像処理装置１００のハードウェア構成を示す説明図である。

図６に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。

出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ−ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。

接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態に係る映像処理方法を示す説明図である。 同実施形態に係る映像処理装置の機能構成を示す説明図である。 同実施形態に係る映像処理方法の流れを示す説明図である。 同実施形態に係る映像フレームの表示構成例を示す説明図である。 同実施形態に係る映像処理装置のハードウェア構成例を示す説明図である。 同実施形態に係る操作部の一例を示す説明図である。 従来の映像処理装置の機能構成を示す説明図である。

符号の説明

１００ 映像処理装置
１０２ 復号部
１０４ 復号映像記憶部
１０６ 動きベクトル生成部
１０８ 補間ベクトル生成部
１１０ 補間フレーム生成部
１１２ ＣＧ情報記憶部
１１４ ＣＧ映像生成部
１１６ ＣＧ動きベクトル変換部
１１８ フレーム選択部
Ｆ 映像フレーム
Ｆｓ 補間フレーム

Claims (4)

1. 符号化された映像信号に含まれる映像フレーム間の動きベクトル、又は符号化された映像信号から算出される映像フレーム間の動きベクトルに基づき、当該映像フレーム間に挿入される補間フレームを生成する補間フレーム生成部と、
   前記映像フレームに重ねて表示されるか、或いは、前記映像フレームに替えて表示され、所定の操作信号に応じて移動する表示オブジェクトについて、当該表示オブジェクトの移動情報が記録されたオブジェクト情報記憶部と、
   前記オブジェクト情報記憶部に記録された前記表示オブジェクトの移動情報を前記映像信号に含まれる映像フレーム間の動きベクトルの形式に変換する形式変換部と、
   を備え、
   前記補間フレーム生成部は、前記表示オブジェクト、及び前記形式変換部により形式変換された前記表示オブジェクトの移動情報を用いて前記補間フレームを生成することを特徴とする、映像処理装置。
2. 前記所定の操作信号は、前記映像処理装置の内部又は外部に設けられた操作部からユーザ操作に応じて入力される前記表示オブジェクトの移動を制御するための制御信号であることを特徴とする、請求項１に記載の映像処理装置。
3. 前記表示オブジェクトは、ＯＳＤ（オンスクリーンディスプレイ）形式の映像信号であることを特徴とする、請求項２に記載の映像処理装置。
4. 符号化された映像信号に含まれる映像フレーム間の動きベクトル、又は符号化された映像信号から算出される映像フレーム間の動きベクトルに基づき、当該映像フレーム間に挿入される補間フレームを生成することが可能であり、且つ、前記映像フレームに重ねて表示されるか、或いは、前記映像フレームに替えて表示され、所定の操作信号に応じて移動する表示オブジェクトについて、当該表示オブジェクトの移動情報を保持している映像処理装置による映像処理方法であって、
   前記表示オブジェクトの移動情報が前記映像フレーム間の動きベクトルの形式に変換されるステップと、
   前記形式変換された表示オブジェクトの移動情報に基づいて前記補間フレームが生成されるステップと、
   を含むことを特徴とする、映像処理方法。

Images