JP2009071809A - 映像表示装置ならびに補間画像生成回路および方法 - Google Patents

Abstract

【課題】映像ソースの内容等に応じて適切なフレーム補間処理を行う。
【解決手段】映像表示装置は、放送によって配信される映像を表示する。映像表示装置は、データ抽出部と、フレーム補間処理部とを備える。データ抽出部は、放送信号から、番組または番組の映像に関する情報を示す付加データを抽出する。フレーム補間処理部は、放送信号から抽出される映像データにより示される各フレームの画像から、補間フレームの画像を生成する。また、フレーム補間処理部は、データ抽出部によって抽出された付加データの内容に基づいて、補間フレームを生成するために用いられる動きベクトルに関する処理の内容を決定する。
【選択図】図１

Description

本発明は、映像表示装置および補間画像生成回路に関し、より特定的には、放送信号から得られる各フレームの画像から補間フレームの画像を生成する映像表示装置および補間画像生成回路に関する。

従来、例えば液晶テレビの問題点である動画ボケを改善するため等の目的で、補間フレームを生成することによって映像ソースのフレームレートより高いフレームレートで映像を表示する技術がある（例えば、特許文献１参照）。補間フレームを生成する際には、生成すべき補間フレームの前後のフレームの画像からブロック単位で動きベクトルを探索し、動きベクトルを用いて補間フレームの画像を生成することが一般的である。
特開２００５−６２７５号公報

デジタル放送では、種々の内容の映像コンテンツが様々な形態で配信される。例えば、配信される映像コンテンツの内容は様々であり、スポーツ番組のように画像の動き（変化）が激しいものもあれば、画像の動きが少ないものもある。また、デジタル放送では、配信される映像ソースのフレームレートとその映像コンテンツの実際のコマ数とが異なる場合もある。具体的には、映画のコンテンツの場合、毎秒２４コマの映像を、２フレームまたは３フレームの間同じ画像を連続させることによって毎秒６０フレームの映像ソースとして配信されることがある。また、デジタル放送で配信される映像ソースには、動画のサイズが１６：９である映像ソースもあれば、サイズが４：３である動画の左右両側に固定的な画像（サイドパネル）が付された映像ソースもある。

以上のように、デジタル放送で放送される映像ソースはその内容や形態が様々であり、フレーム補間処理を行う場合には、映像ソースの内容や形態等によって、適切なフレーム補間処理の内容が異なることが考えられる。したがって、すべての映像ソースに対して同じ処理内容でフレーム補間処理を行うとすれば、一部の映像ソースに対しては適切なフレーム補間処理を行うことができず、正確な補間フレームを生成することができないおそれがあった。

それ故、本発明の目的は、映像ソースの内容等に応じて適切なフレーム補間処理を行うことが可能な映像表示装置、補間画像生成回路、または補間画像生成方法を提供することである。

上記課題を解決するために、本発明は次の構成を採用した。すなわち、第１の発明は、放送によって配信される映像を表示する映像表示装置である。映像表示装置は、データ抽出部と、フレーム補間処理部とを備える。データ抽出部は、放送信号から、番組または番組の映像に関する情報を示す付加データを抽出する。フレーム補間処理部は、放送信号から抽出される映像データにより示される各フレームの画像から、補間フレームの画像を生成する。また、フレーム補間処理部は、データ抽出部によって抽出された付加データの内容に基づいて、補間フレームを生成するために用いられる動きベクトルに関する処理の内容を決定する。

なお、上記「動きベクトルに関する処理」とは、動きベクトルを算出するために実行される処理、および、算出された動きベクトルを用いて実行される処理を含む概念であり、少なくとも以下の処理を含む。
・動きベクトルの探索を行う処理（第１の実施形態、第３の変形例、第５の変形例）
・動きベクトルを算出するために用いるフレーム（またはフレーム数）を決定する処理（第２の実施形態、第４の変形例）
・動きベクトルを算出するか否かを決定する処理（第３の実施形態）
・動きベクトルを用いて生成される画像と、各フレームの画像を補間することによって得られる画像とを混合して補間フレームを生成する処理（第１の変形例）
・算出された動きベクトルを用いて、映像の一部分が静止しているか動いているかを判断する処理（第２の変形例）
・算出された動きベクトルを用いて、映像に含まれる物体の移動を検出する処理（第６の変形例）

第２の発明においては、データ抽出部は、番組のジャンルまたは番組を特定する情報を示すデータを付加データとして抽出してもよい。このとき、フレーム補間処理部は、前記動きベクトルに関する処理の内容を付加データに基づいて決定する。

第３の発明においては、フレーム補間処理部は、補間フレームの画像を生成するために用いられる動きベクトルの探索範囲を、付加データに基づいて決定してもよい。

第４の発明においては、フレーム補間処理部は、動きベクトルを算出するために用いるフレームを付加データに基づいて決定してもよい。

第５の発明においては、フレーム補間処理部は、動きベクトルの算出処理を実行するか否かを付加データに基づいて決定してもよい。

第６の発明においては、フレーム補間処理部は、動きベクトルを用いて生成される画像と、各フレームの画像を補間することによって得られる画像との混合割合を付加データに基づいて決定してもよい。

第７の発明においては、フレーム補間処理部は、映像の一部分が静止している、または、動いていると判断するための判断基準を付加データに基づいて決定してもよい。

第８の発明においては、フレーム補間処理部は、横方向および縦方向の探索処理の処理内容を付加データに基づいて決定してもよい。

第９の発明においては、フレーム補間処理部は、動きベクトルを算出するために参照するフレームの数を付加データに基づいて決定してもよい。

第１０の発明においては、フレーム補間処理部は、映像全体のうちで他の領域に比べて高精度で探索を行う領域を付加データに基づいて決定する。

第１１の発明においては、フレーム補間処理部は、動きベクトルの探索処理において１まとまりの物体として取り扱う大きさを付加データに基づいて決定してもよい。

第１２の発明においては、データ抽出部は、表示装置に表示すべき画像の全領域のうちで動画が表示される領域を特定するための領域特定データを付加データとして抽出してもよい。このとき、フレーム補間処理部は、領域特定データにより特定される領域のみを対象として動きベクトルの算出処理を実行する。

第１３の発明においては、領域特定データは、映像データにより示される画像のアスペクト比を示すデータであってもよい。このとき、フレーム補間処理部は、アスペクト比を示すデータに基づいて、動きベクトルの算出処理の処理対象となる領域を決定する。

第１４の発明においては、領域特定データは、表示装置に表示すべき画像の全領域のうちで映像データにより示される画像を表示すべき領域を示すデータであってもよい。このとき、フレーム補間処理部は、領域特定データに基づいて、動きベクトルの算出処理の処理対象となる領域を決定する。

また、本発明は、上記データ抽出部およびフレーム補間処理部を備える補間画像生成回路の形態で提供されてもよいし、上記映像表示装置において実行される方法と同様の補間画像生成方法として提供されてもよい。

第１の発明によれば、映像表示装置は、放送信号から抽出される付加データの内容に応じて異なる内容で補間フレームの画像生成処理を実行することができる。すなわち、放送される番組のジャンルや、動画が実際に表示される領域を、付加データを用いて判断することによって、ジャンルや当該領域に応じた適切なフレーム補間処理を実行することができるので、映像ソースの内容等に応じて適切なフレーム補間処理を行うことができる。

第２の発明によれば、番組のジャンルまたは番組に応じた適切なフレーム補間処理を行うことができる。特に第３の発明によれば、ジャンルに基づいて動きベクトルの探索範囲を決定する。したがって、例えば、動きの激しいスポーツ等のジャンルの映像については探索範囲を広くし、他のジャンルについては探索範囲を狭くする等の処理を行うことができる。また、第４の発明によれば、補間フレームを生成するために用いるフレームをジャンルに基づいて決定する。したがって、例えば映画のジャンルのように、補間フレームを生成するために用いるフレームを通常とは異なるように指定する必要があるジャンルを容易に識別し、映画に適した方法でフレーム補間処理を実行することができる。また、第５の発明によれば、補間フレームの画像生成処理を実行するか否かをジャンルに基づいて決定する。したがって、例えば、アニメのジャンルのように、補間フレームを精度良く生成することが難しい場合には、フレーム補間処理を実行しないことにより、不正確な補間フレームが生成・表示されることを防止することができる。また、第６から第１１の発明によれば、番組のジャンルまたは番組に応じて、動きベクトルに関する処理を適切に実行することができる。

第１２の発明によれば、付加データとして領域特定データを抽出することによって、領域特定データにより特定される領域のみを対象としてフレーム補間処理を行う。これによって、実際に動画が表示される領域のみを対象としてフレーム補間処理を行うことができる。特に、第１３の発明によれば、アスペクト比を示すデータを用いることにより、アスペクト比を調整するために動画に付加される画像（いわゆるサイドパネル）を処理対象から外してフレーム補間処理を実行することができる。また、第１４の発明によれば、データ放送の画像が表示される領域を処理対象から外してフレーム補間処理を実行することができる。

（第１の実施形態）
以下、本発明の第１の実施形態に係る映像表示装置について説明する。図１は、第１の実施形態に係る映像表示装置の機能的な構成を示すブロック図である。図１において、映像表示装置は、フロントエンド２、トランスポートデコーダ３、映像デコーダ４、拡大縮小処理部５、番組情報解析部６、フレーム補間処理部７、および、表示部８を備えている。また、映像表示装置は、アンテナ１に接続されている。映像表示装置は、アンテナ１で受信された放送波から得られる映像を表示部８に表示するものである。以下、映像表示装置の各部の構成について説明する。

アンテナ１は、放送波（放送信号）を受信し、フロントエンド２へ出力する。フロントエンド２は、アンテナ１で受信された放送信号を復調してトランスポートストリームを生成する。なお、フロントエンド２は、チューナの機能を有していてもよい。生成されたトランスポートストリームはトランスポートデコーダ３へ出力される。トランスポートデコーダ３は、フロントエンド２に接続されており、トランスポートストリームをデコードする。これによって、映像ストリームおよび音声ストリームが抽出（生成）されるとともに、番組特定情報（ＰＳＩ：Program Specific Information）や番組配列情報（ＳＩ：Service Information）のデータが抽出（生成）される。その他、トランスポートストリームをデコードすることによって、データ放送用のデータ（データ放送ストリーム）や字幕のデータ等が抽出される。トランスポートデコーダ３によって生成された各種のデータは、各種の処理に用いられるが、以下では、本発明に関連する処理である、映像を表示部８に表示する処理について主に説明する。

映像デコーダ４は、トランスポートデコーダ３に接続されており、上記映像ストリームをデコードすることによって、映像ストリームに含まれる各フレームの画像を生成する。生成された画像のデータは拡大縮小処理部５へ出力される。拡大縮小処理部５は、映像デコーダ４から出力された画像のデータに対して拡大・縮小処理を適宜行い、処理後の画像データをフレーム補間処理部７へ出力する。なお、拡大・縮小処理の詳細は後述する第４の実施形態で述べる。

一方、番組情報解析部６は、トランスポートデコーダ３に接続されており、トランスポートデコーダ３によって抽出されたＳＩのデータを取得する。第１の実施形態では、番組情報解析部６は、取得したＳＩのデータを解析し、取得したＳＩのデータから番組のジャンル情報のデータを抽出する。つまり、第１の実施形態では、番組のジャンル情報のデータが請求項に記載の付加データに相当し、番組情報解析部６が請求項に記載のデータ抽出部に相当する。なお、番組のジャンル情報は、ＡＲＩＢ標準規格のＳＴＤ−Ｂ１０に記載されているように、ＳＩとして送られてくるＥＩＴ（Event Information Table）に含まれるコンテント記述子を参照することによって得られる。ジャンル情報は、例えば「スポーツ」や「映画」や「アニメ」のように、番組の大略的なジャンルを示すものでもよいし、より詳細なジャンル（例えば「スポーツ」のジャンルに関して、「サッカー」や「野球」や「ゴルフ」等のジャンル）を示すものでもよい。また、上記付加データは、番組に関する情報であればよく、ジャンル情報に代えて、例えば番組の内容を示す情報や出演者の情報を用いてもよい。ジャンル情報のデータは、フレーム補間処理部７の動き検出処理部１３へ出力される。

フレーム補間処理部７は、拡大縮小処理部５から出力された各フレームの画像から、補間フレームの画像を生成する処理（補間フレーム生成処理）を行う。フレーム補間処理部７は、補間フレーム生成部１１、第１フレームメモリ１２、動き検出処理部１３、および、第２フレームメモリ１４を備えている。

動き検出処理部１３は、拡大縮小処理部５から出力された各フレームの画像データを用いて、動きベクトルを算出する。動きベクトルとは、画像の動き（移動）の向きおよび大きさ（移動量）を示すベクトルである。動きベクトルは、画像全体の動きを示すベクトルであってもよいし、画像を所定画素単位（例えば１６×１６画素単位や８×８画素単位）のブロックに分割した場合に、フレーム間におけるブロックの移動を示すベクトルであってもよい。第２フレームメモリ１４は、上記画像データを記憶するためのメモリであり、動きベクトルを算出するために動き検出処理部１３によって用いられる。なお、動きベクトルの算出方法としては種々の方法があるが、本実施形態においては動きベクトルの算出方法はどのような方法であってもよい。また、詳細は後述するが、第１の実施形態においては、動き検出処理部１３は、番組情報解析部６からジャンル情報のデータを取得し、ジャンル情報の内容に応じて動きベクトルの算出処理の内容を変化させる。動き検出処理部１３によって算出された動きベクトルを示すデータは、補間フレーム生成部１１へ出力される。

補間フレーム生成部１１は、拡大縮小処理部５から出力される各フレームの画像データと、動き検出処理部１３から出力された動きベクトルを示すデータとを用いて、当該各フレームの補間フレームの画像データを生成する。そして、拡大縮小処理部５から出力された各フレームの画像データと、生成された補間フレームの画像データとを表示部８へ出力し、各画像データを表示部８に時間順に表示させる。なお、第１フレームメモリ１２は、上記各画像データを記憶するためのメモリであり、補間フレームの画像データを生成するために補間フレーム処理部１１によって用いられる。

表示部８は、液晶表示装置であり、補間フレーム生成部１１から出力される画像データにより示される画像を表示する。これによって、表示部８は、映像ソース（放送波に含まれる映像ストリーム）のフレームレートよりも高いフレームレートで動画を表示することができ、いわゆる動画ボケを改善することができる。

次に、以上のように構成される映像表示装置の動作を説明する。まず、映像表示装置の動作概要を説明する。一般的なフレーム補間処理においては、動きベクトルの探索範囲は予め決められている。つまり、動き検出処理部１３は、あるブロックに類似する部分（類似部分）を探索する際、画像全体を範囲として探索するのではなく、当該ブロックの位置を基準とした所定範囲内において当該ブロックの類似部分を探索する。これは、無駄な探索処理を省略することによってフレーム補間処理部の処理負荷を軽減することと、比較元のブロックとは実際には異なる部分が類似部分として選出される結果、誤った動きベクトルが算出されることを防止することとが理由である。

一方、放送される番組（映像コンテンツ）には様々な内容のものがあり、例えば、画像の動き（変化）が激しいものもあれば、画像の動きが少ないものもある。例えば、ジャンルがスポーツの番組のうちで、サッカーの番組は画像の動きが相対的に激しく、ゴルフの番組は画像の動きが相対的に少ないと言える。ここで、サッカーの番組のような、画像の動きが激しい番組については、動きベクトルの探索範囲をある程度広くしておく方が、正しい動きベクトルを算出することができ、フレーム補間処理を正確に行うことができる。一方、画像の動きが少ない番組では、探索範囲を相対的に狭くしておく方が、無駄な探索処理を省略することができるとともに、動きベクトルの誤検出を防止することができる。このように、適切な探索範囲の広さは、映像の内容に応じて（具体的には、画像の動きが激しいコンテンツかどうかによって）異なっている。

以上より、本実施形態では、映像表示装置は、上記ジャンル情報を用いて、表示する番組のジャンルを特定し、動きベクトルの探索範囲をジャンルに基づいて決定する。これによって、ジャンルに応じた適切な探索範囲を設定することができ、ジャンルに応じた正確なフレーム補間処理を行うことができる。

次に、図２を参照して、映像表示装置の動作の詳細を説明する。以下では、番組の種類を、ジャンルがサッカーであるもの、野球であるもの、ゴルフであるもの、およびその他のもの、という４種類に分け、種類毎に異なる探索範囲を設定する場合を例として説明する。

フロントエンド２、トランスポートデコーダ３、映像デコーダ４、および拡大縮小処理部５の動作は、上述した通りである。また、番組情報解析部６は、上述したように、トランスポートデコーダ３によって抽出されたＳＩのデータから番組のジャンル情報のデータを抽出する。以下、動き検出処理部１３の動作を中心に、フレーム補間処理部７の動作を説明する。

図２は、動き検出処理部１３における処理の流れを示すフローチャートである。なお、図２に示すステップＳ１〜Ｓ９の処理は、１フレーム時間に１回の割合で実行される。つまり、動き検出処理部１３は、１フレーム分の画像データを拡大縮小処理部５から取得する度に図２に示すステップＳ１〜Ｓ９の処理を実行する。

まずステップＳ１において、動き検出処理部１３は、番組情報解析部６から番組のジャンル情報のデータを取得する。すなわち、動き検出処理部１３は、番組情報解析部６に対してジャンル情報の取得要求を行う。番組情報解析部６は、この取得要求に応じてジャンル情報のデータを動き検出処理部１３へ出力する。なお、番組情報解析部６は、トランスポートデコーダ３によって抽出されたＳＩのデータから抽出される最新のジャンル情報のデータを記憶しておく。そして、上記取得要求があった場合には、記憶している最新のジャンル情報のデータを出力する。

続くステップＳ２において、動き検出処理部１３は、ステップＳ１で取得されたジャンル情報のデータが、「サッカー」のジャンルを示すか否かを判定する。ステップＳ２の判定結果が肯定の場合、ステップＳ３の処理が実行される。一方、ステップＳ２の判定結果が否定の場合、後述するステップＳ４の処理が実行される。

ステップＳ３において、動き検出処理部１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ１に決定する。ここで、探索距離とは、動きベクトルの探索範囲を特定する情報であり、本実施形態では、類似部分を探索すべき対象となるブロックの位置を基準に当該探索距離以内の範囲が探索範囲とされる。すなわち、ステップＳ３の処理によって、動きベクトルの探索範囲が設定されたこととなる。なお、所定値Ｌ１は、サッカーの映像に適した探索距離の値である。ステップＳ３の後、後述するステップＳ９の処理が実行される。

一方、ステップＳ４において、動き検出処理部１３は、ステップＳ１で取得されたジャンル情報のデータが、「野球」のジャンルを示すか否かを判定する。ステップＳ４の判定結果が肯定の場合、ステップＳ５の処理が実行される。一方、ステップＳ４の判定結果が否定の場合、後述するステップＳ６の処理が実行される。

ステップＳ５において、動き検出処理部１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ２に決定する。ここで、探索距離Ｌ２は、野球の映像に適した探索距離の値である。したがって、ステップＳ５の場合（ジャンルが野球である場合）には、ステップＳ３の場合（ジャンルがサッカーである場合）とは異なる探索範囲が設定される。ステップＳ５の後、後述するステップＳ９の処理が実行される。

一方、ステップＳ６において、動き検出処理部１３は、ステップＳ１で取得されたジャンル情報のデータが、「ゴルフ」のジャンルを示すか否かを判定する。ステップＳ６の判定結果が肯定の場合、ステップＳ７の処理が実行される。一方、ステップＳ６の判定結果が否定の場合、後述するステップＳ８の処理が実行される。

ステップＳ７において、動き検出処理部１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ３に決定する。ここで、探索距離Ｌ３は、ゴルフの映像に適した探索距離の値である。したがって、ステップＳ７の場合（ジャンルがゴルフである場合）には、ステップＳ３およびステップＳ５の場合（ジャンルがサッカーおよび野球である場合）とは異なる探索範囲が設定される。ステップＳ７の後、後述するステップＳ９の処理が実行される。

一方、ステップＳ８において、動き検出処理部１３は、動きベクトルの探索距離を、予め定められた所定値Ｌ４に決定する。ここで、探索距離Ｌ４は、上記サッカー、野球、およびゴルフ以外の一般的な番組の映像に用いられる、標準的な探索距離の値である。このとき、ステップＳ８の場合（ジャンルがサッカー、野球、およびゴルフ以外である場合）、ステップＳ３，Ｓ５およびＳ７の場合（ジャンルがサッカー、野球、およびゴルフである場合）とは異なる探索範囲が設定される。ステップＳ８の後、後述するステップＳ９の処理が実行される。

ステップＳ９において、動き検出処理部１３は、ステップＳ３、Ｓ５、Ｓ７またはＳ８で設定された探索範囲内で動きベクトルを算出する。これによって、番組のジャンルに応じて異なる探索範囲に従って動きベクトルが算出されることとなる。なお、動き検出処理部１３は、ステップＳ３、Ｓ５、Ｓ７またはＳ８で決定された探索範囲に従って動きベクトルを算出する他は、番組のジャンルによらず同じ処理を行ってもよい。ステップＳ９において算出された動きベクトルのデータは、補間フレーム生成部１１に出力される。以上で、動き検出処理部１３における処理の説明を終了する。

以上のように動きベクトルが算出されると、補間フレーム生成部１１は、拡大縮小処理部５から出力される各フレームの画像データと、動き検出処理部１３から出力された動きベクトルを示すデータとを用いて、当該各フレームの補間フレームの画像データを生成する。なお、連続する２つのフレーム間に挿入される補間フレームの数はいくつであってもよい。表示部８は、拡大縮小処理部５から出力された各フレームの画像データ、および、生成された補間フレームの画像データを補間フレーム生成部１１から入力し、各画像データにより示される画像を表示する。以上で、第１の実施形態における映像表示装置の動作の説明を終了する。

以上に示した第１の実施形態によれば、映像表示装置は、放送信号に含まれるＳＩのデータから番組のジャンル情報のデータを取得する（ステップＳ１）ことにより、番組のジャンルを特定する。そして、番組のジャンルが「サッカー」、「野球」、「ゴルフ」、およびその他のうちのいずれであるかに応じて、動きベクトルの探索範囲を異なる大きさに決定する（ステップＳ２〜Ｓ８）。そのため、映像表示装置は、番組のジャンルの違いに応じて適切な探索範囲で動きベクトルを算出することができる。換言すれば、第１の実施形態によれば、番組の内容が画像の動きが激しいものであるかどうかをジャンル情報から推測することによって、番組の内容が画像の動きが激しいものであるかそうでないかに応じて適切なフレーム補間処理を行うことができる。

また、上記第１の実施形態では、番組のジャンルに応じて探索範囲を変更するようにしたが、他の実施形態においては、探索範囲とともに探索の精度を変更するようにしてもよい。例えば、相対的に広い範囲を探索する場合には探索の精度を相対的に低く（例えば、１／２画素単位で探索を行う）し、相対的に狭い範囲を探索する場合には探索の精度を相対的に高く（例えば、１／４画素単位で探索を行う）してもよい。

なお、上記第１の実施形態では、番組のジャンルに応じて探索範囲を変化させる例として、サッカー、野球、およびゴルフ等のジャンルに応じて探索範囲を変化させる例を挙げたが、番組のジャンルの例は上記に限らない。例えば、ジャンルが「スポーツ」である番組については探索範囲を相対的に広くし、「スポーツ」以外のジャンルの番組については探索範囲を相対的に狭くするようにしてもよい。

また、上記第１の実施形態においては、付加データに応じて動きベクトルの探索範囲を変更したが、本発明においては、動きベクトルに関する処理の内容を付加データの内容に応じて決定すればどのようなものであってもよく、例えば以下のような変形例が考えられる。

（第１の変形例）
補間フレームを作成する場合においては、映像表示装置は、動きベクトルを用いて生成した画像と、前後のフレームの画像を単純に補間することによって得られる画像（動きベクトルを用いずに生成される画像）とを混合して補間フレームの画像を作成することがある。一方、ある映像ソースについては、動きベクトルを用いても補間フレームの画像をうまく生成できないことが考えられる。補間フレームの画像をうまく生成できない映像ソースの一例としては、野球の映像において、スコアの文字情報が動画に重ねて表示される場合のように、動きのある動画に固定的な画像が重ねられた映像ソースが考えられる。このような映像ソースについては、文字情報の領域において動きベクトルを用いても補間フレームの画像をうまく生成できないのである。したがって、上記のような映像ソースについては、動きベクトルを用いるよりも単純補間の方が好ましいと考えられる。以上より、第１の変形例においては、特定の番組について、動きベクトルを用いても補間フレームの画像をうまく生成することが難しいことが予めわかっている場合、当該特定の番組については、動きベクトルを用いて生成される画像の混合割合を低くし、単純補間による画像の混合割合を高くするようにする。これによれば、上記特定の番組においても適切な補間フレームを生成することができる。

第１の変形例においては、補間フレームに対する動きベクトルの影響度合（すなわち、上記の混合割合。）を付加データ（ここでは、番組を特定する情報）に応じて変更する。具体的には、第１の変形例においては、番組情報解析部６は、番組を特定する情報（例えば番組名の情報）を抽出し、補間フレーム生成部１１に出力する。補間フレーム生成部１１は、動きベクトルを用いて画像を生成するとともに、単純補間によって画像を生成する。そして、補間フレーム生成部１１は、番組情報解析部６から出力される番組名の情報に基づいて上記混合割合を変化させて、補間フレームの画像を生成する。補間フレームの画像は、番組名の情報が所定の番組名を示す場合には、所定の番組名以外の番組名を示す場合よりも、単純補間による画像の混合割合が高くなるように、生成される。例えば、補間フレーム生成部１１が混合割合をある範囲内で（例えば映像内容等に応じて）動的に変化させて補間フレームの画像を生成する場合には、補間フレーム生成部１１は、上記番組名の情報が上記所定の番組名を示すか否かに応じて当該範囲を変化させるようにしてもよい。

また、補間フレーム生成部１１は、所定の番組を複数設定しておいてもよい。すなわち、補間フレーム生成部１１は、所定の番組毎に上記混合割合（または混合割合を動的に変化させる場合には変化させる範囲）を対応付けた情報を記憶しておき、当該情報に従って混合割合を決定するようにしてもよい。

なお、上記第１の変形例においては、映像表示装置が番組名に応じて混合割合を変化させる場合を例として説明したが、映像表示装置は付加データに応じて混合割合を変化させることが可能である。例えば、他の実施形態においては、映像表示装置は番組のジャンルに応じて混合割合を変化させるようにしてもよい。また、例えば、後述する第３の実施形態においては、映像表示装置は、番組のジャンルがアニメか否かに応じてフレーム補間処理を実行するか否かを決定するが、他の実施形態においては、番組のジャンルがアニメである場合には、他のジャンルである場合に比べて、単純補間による画像の混合割合を高くするようにしてもよい。

（第２の変形例）
補間フレームを作成する場合においては、動きベクトルの検出結果に基づいて、映像に含まれる各部分が静止しているか動いているかを判別する処理が実行されることがある。例えば、映像ソースが、文字情報等の静止画が半透明で動画に重ねられたものである場合がある。このような場合においては、映像の各部分が静止しているかまたは動いているかの判断基準を通常の映像とは異なるように設定した方が、補間フレームを適切に生成する上で好ましいと考えられる。そこで、第２の変形例においては、上記の判別処理の判断基準、すなわち、映像の一部分が静止していると判断するか、動いていると判断するかの判断基準（閾値）を、付加データ（例えば、番組名の情報）に応じて変更する。

具体的には、第２の変形例においては、番組名の情報を抽出し、補間フレーム生成部１１に出力する。ここで、補間フレーム生成部１１は、補間フレームを生成する際に上記判別処理を実行するものとする。例えば、補間フレーム生成部１１は、映像の各部分が静止している度合を検出する第１回路と、映像の各部分が動いている度合を検出する第２回路とを含む。補間フレーム生成部１１は、これら第１および第２の回路の検出結果に基づいて、映像の各部分が静止しているか動いているかを判別し、判別結果に応じて補間フレームの生成処理の内容を変更する。このとき、補間フレーム生成部１１は、番組情報解析部６から出力される番組名の情報に基づいて第１および／または第２の回路における検出基準を変更する。この検出基準とは、例えば、映像の一部分が静止していること（または動いていること）が数値で表される場合、静止している（または動いている）と判断する閾値である。例えば、特定の番組の映像ソースが、文字情報等の静止画が半透明で動画に重ねられたものであることが予めわかっている場合には、補間フレーム生成部１１は、当該特定の番組については、他の番組よりも、静止していると判断されやすくなるように、上記検出基準を設定すればよい。

上記第２の変形例によれば、予め定められた特定の番組について、上記判断基準を適切に設定することができるので、番組に応じて適切な補間フレームを生成することができる。なお、第２の変形例においても第１の変形例と同様、付加データに応じて上記判断基準を変更するようにすればよく、番組名の情報に応じて判断基準を変更する他、番組のジャンルに応じて判断基準を変化させるようにしてもよい。

（第３の変形例）
動きベクトルを探索する処理においては、画像の横方向と縦方向とで別個に動きベクトルを探索する場合がある。ここで、映像ソースによっては、例えばサッカーの映像のように、横方向の動きが特に多く、縦方向の動きがほとんどないようなものも考えられる。このような映像ソースにおいては、縦方向に関する（動きベクトルの）探索処理を簡略化し、横方向に関する探索処理を詳細に行うことにより、正確な補間フレームを得るとともに処理を簡易化することができ、適切であると考えられる。そこで、第３の変形例においては、各方向における探索処理の内容を、付加データ（例えば、番組のジャンルの情報）に応じて変更する。

具体的には、第３の変形例においては、番組情報解析部６は、番組のジャンル情報を抽出し、動き検出処理部１３に出力する。動き検出処理部１３は、画像の横方向の探索処理と縦方向の探索処理との処理内容を番組のジャンル情報に応じて変更する。本変形例では、動き検出処理部１３は、番組のジャンル情報が所定のジャンル（例えばサッカー）を示す場合、各方向の探索処理の精度を、通常（番組のジャンル情報が所定のジャンル以外を示す場合）とは異なるように設定する。例えば、動き検出処理部１３は、番組のジャンル情報が所定のジャンルを示す場合、横方向の探索処理の精度を相対的に高くし、縦方向の探索処理の精度を相対的に低くする。あるいは、動き検出処理部１３は、番組のジャンル情報が所定のジャンルを示す場合、各方向の探索範囲を変更する（例えば、横方向の探索範囲を相対的に広くし、縦方向の探索範囲を相対的に狭くする）ようにしてもよい。

以上のように、第３の変形例によれば、画像の横方向と縦方向における探索処理の内容を番組のジャンルに応じて変更することができるので、映像ソースに応じた適切な補間フレームを生成することができる。なお、第３の変形例においては、横方向と縦方向における探索処理の内容を付加データに応じて変更するようにすればよく、第１の変形例と同様、番組名の情報に応じて当該探索処理の内容を変更するようにしてもよい。

（第４の変形例）
第４の変形例においては、映像表示装置は、動きベクトルを算出するために参照するフレームの数を、付加データに応じて変更するようにしてもよい。具体的には、番組情報解析部６は、番組のジャンル情報を抽出し、動き検出処理部１３に出力する。動き検出処理部１３は、動きベクトルを算出するために参照するフレームの数を番組のジャンル情報に応じて変更する。例えば上記第１の実施形態において、動きベクトルの探索範囲が相対的に広く設定されるジャンルについては、参照するフレーム数は小さく設定され、動きベクトルの探索範囲が相対的に狭く設定されるジャンルについては、参照するフレーム数は大きく設定される。これによれば、画像の動きが激しい番組については、（探索範囲が大きい代わりに）フレーム数を小さくすることによって、処理負荷が過大にならないようにすることができるとともに、画像の動きが少ない番組については、フレーム数を大きくすることによって、動きベクトルを精度良く算出することができる。

以上のように、第４の変形例によれば、動きベクトルを算出するために参照するフレームの数を番組のジャンルに応じて変更することで、映像ソースに応じた適切な補間フレームを生成するとともに、処理負荷が増大することを防止することができる。なお、第４の変形例においては、上記フレーム数を付加データに応じて変更するようにすればよく、第１の変形例と同様、番組名の情報に応じて当該フレーム数を変更するようにしてもよい。

（第５の変形例）
第５の変形例においては、映像表示装置は、画像全体のうちで、重点的に（高精度で）動きベクトルを探索する範囲を、付加データに応じて変更するようにしてもよい。具体的には、番組情報解析部６は、番組のジャンル情報を抽出し、動き検出処理部１３に出力する。動き検出処理部１３は、高精度で動きベクトルを算出する範囲を番組のジャンル情報に応じて変更する。例えば、ジャンル情報が特定のジャンル（例えばテニス）を示す場合、動き検出処理部１３は、画像全体のうちで所定の領域について相対的に高精度で動きベクトルを算出し、他の領域については相対的に低い精度で動きベクトルを算出する。一方、ジャンル情報が上記特定のジャンル以外を示す場合、動き検出処理部１３は、画像全体について同じ精度で動きベクトルを算出する。例えば、テニスの映像は、画像全体のうちでボールのみが激しく動いている一方、その他の部分はほとんど動きがない、という特徴がある。したがって、テニスの映像に関しては、ボールの周囲の領域について動きベクトルを高精度で算出することによって、適切な補間フレームを生成することができるとともに、他の領域については算出精度を下げることで、処理の軽減を図ることができる。

以上のように、第５の変形例によれば、高精度で動きベクトルを探索する範囲を番組のジャンルに応じて変更することで、映像ソースに応じた適切な補間フレームを生成するとともに、処理負荷が増大することを防止することができる。なお、第５の変形例においても第４の変形例と同様、高精度で動きベクトルを探索する範囲を付加データに応じて変更するようにすればよく、例えば番組名の情報に応じて変更するようにしてもよい。

（第６の変形例）
第６の変形例においては、映像表示装置は、動きベクトルの探索処理において検出される物体の大きさを、付加データに応じて変更するようにしてもよい。一般的に動きベクトルを探索する際には、所定数の画素（ブロック）を単位として行われ、ある基準数以上のブロックがまとまって移動している場合に、（当該基準数以上のブロックが１つの物体であると検出され）物体が移動していると判断される。ここで、例えばテニスの映像については、ボールが比較的小さく表示されるので、上記基準数を相対的に小さく設定することが好ましい。これに対して、例えばサッカーやバスケットボールの映像については、ボールは比較的大きく表示されるので、（上記基準数を必要以上に小さくすると、かえって物体を誤検出してしまうおそれがあることから）上記基準数を相対的に大きく設定すべきである。そこで、第６の変形例においては、物体が移動していると判断するための上記基準数の大きさを、付加データに応じて変更する。

具体的には、番組情報解析部６は、番組のジャンル情報を抽出し、動き検出処理部１３に出力する。動き検出処理部１３は、上記基準数の値を番組のジャンル情報に応じて変更する。例えば、ジャンル情報が特定のジャンル（例えばテニス）を示す場合、動き検出処理部１３は、上記基準数を相対的に小さい値（例えば４ブロック）に設定する。一方、ジャンル情報が上記特定のジャンル以外を示す場合、動き検出処理部１３は、上記基準数を相対的に大きい値（例えば９ブロック）に設定する。このように、番組のジャンルに応じて上記基準数を変更することによって、番組のジャンルに応じた適切な基準数を設定することができ、映像ソースに応じた適切な補間フレームを生成することができる。

以上のように、第６の変形例によれば、動きベクトルの探索処理において１まとまりの物体として取り扱う大きさを番組のジャンルに応じて変更することで、映像ソースに応じた適切な補間フレームを生成することができる。なお、第６の変形例においても第４の変形例と同様、上記大きさを付加データに応じて変更するようにすればよく、例えば番組名の情報に応じて変更するようにしてもよい。

（第２の実施形態）
次に、第２の実施形態に係る映像表示装置について説明する。第２の実施形態に係る映像表示装置の構成は、図１に示す構成と同じであるので、各部の詳細な説明は省略する。第２の実施形態では、映像表示装置は、番組のジャンルが映画であるか、その他のジャンルであるかに応じて異なるフレーム補間処理（より具体的には、動きベクトルの算出処理）を行う。

デジタル放送では毎秒６０フレームの映像ソースが配信されるが、映画は一般的には毎秒２４コマの映像である。そのため、映画のコンテンツをデジタル放送の番組として配信する場合には、毎秒２４コマの映像を、２フレームまたは３フレームの間同じ画像を連続させることによって毎秒６０フレームの映像ソースとして配信されることがある。図３は、毎秒２４コマの映像を毎秒６０フレームの映像ソースとして配信する場合における各フレームの画像の一例を示す図である。この場合、図３に示すように、１つの画像（図３に示す画像Ａ）を３回連続させた後で次の画像（図３に示す画像Ｂ）を２回連続させることが繰り返される。

上記のような場合、連続する２フレーム間の補間フレームを当該２フレームを用いて生成しても、当該２フレームの画像が同じ場合があるので、動画ボケを改善することができない。そのため、上記のような場合には、補間フレームを生成するために用いる対象とするフレームを適宜設定する必要がある。具体的には、図３に示す第ｎのフレームと第ｎ＋３のフレームとの間の補間フレームは、画像Ａと画像Ｂとを用いて生成する。また、図３に示す第ｎ＋３のフレームと第ｎ＋５のフレームとの間の補間フレームは、画像Ｂと画像Ｃとを用いて生成する。

以上のように、番組が映画のコンテンツである場合（毎秒２４コマの映像）には、通常の場合（毎秒６０コマの映像の場合）とは、フレーム補間処理の内容を異ならせる必要がある。そこで、第２の実施形態では、映像表示装置は、番組のジャンル情報から番組が映画のコンテンツであるかどうかを判別し、映画のコンテンツである場合と映画のコンテンツでない場合とで異なるフレーム補間処理を行う。以下、第２の実施形態における映像表示装置の動作の詳細を説明する。

フロントエンド２、トランスポートデコーダ３、映像デコーダ４、および拡大縮小処理部５の動作は、第１の実施形態と同様である。また、番組情報解析部６も第１の実施形態と同様、トランスポートデコーダ３によって抽出されたＳＩのデータから番組のジャンル情報のデータを抽出する。

図４および図５は、動き検出処理部１３における処理の流れを示すフローチャートである。なお、図４に示すステップＳ１１〜Ｓ１３の処理は、１フレーム時間に１回の割合で実行される。

まずステップＳ１１において、動き検出処理部１３は、モード判別処理を行う。モード判別処理は、フレーム補間処理のモードを通常モードとするかそれとも映画モードとするかを判別する処理である。以下、図５を参照して、モード判別処理の詳細を説明する。

図５は、図４に示すステップＳ１１（モード判別処理）の詳細を示すフローチャートである。まずステップＳ２１において、動き検出処理部１３は、番組情報解析部６から番組のジャンル情報のデータを取得する。第２の実施形態では、番組のジャンル情報のデータが、請求項に記載の「付加データ」に相当する。ステップＳ２１の処理は図２に示したステップＳ１の処理と同様である。

続くステップＳ２２において、動き検出処理部１３は、ステップＳ２１で取得されたジャンル情報のデータが、「映画」のジャンルを示すか否かを判定する。ステップＳ２２の判定結果が肯定の場合、ステップＳ２３の処理が実行される。一方、ステップＳ２２の判定結果が否定の場合、後述するステップＳ２４の処理が実行される。

ステップＳ２３において、動き検出処理部１３は、映画モードの閾値として、予め定められた所定値ｃ１を設定するとともに、通常モードの閾値として、予め定められた所定値ｃ２を設定する。ここで、映画モードの閾値とは、後述するステップＳ２９でフレーム補間処理のモードを映画モードとするか否かを判定するために用いられる値である。通常モードの閾値とは、後述するステップＳ３３でフレーム補間処理のモードを通常モードとするか否かを判定するために用いられる値である。ステップＳ２３の後、ステップＳ２５の処理が実行される。

一方、ステップＳ２４において、動き検出処理部１３は、映画モードの閾値として、予め定められた所定値ｃ３を設定するとともに、通常モードの閾値として、予め定められた所定値ｃ４を設定する。ここで、所定値ｃ３は、上記所定値ｃ１よりも大きい値である。また、所定値ｃ４は、上記所定値ｃ２と同じであってもよい。ステップＳ２４の後、ステップＳ２５の処理が実行される。

ステップＳ２５において、動き検出処理部１３は、拡大縮小処理部５から取得される各フレームの画像を比較する。具体的には、今回取得した最新のフレームの画像と、前回に取得したフレームの画像とが同じであるかどうかを比較し、結果を記憶しておく。

続くステップＳ２６において、動き検出処理部１３は、現在取得している映像が毎秒２４コマの映像の可能性があるか否かを判定する。ステップＳ２６の判定は、ステップＳ２５の比較結果を利用して行われる。すなわち、今回取得した画像と前回取得した画像とが２回連続して異なっているか否かを判定する。そして、今回取得した画像と前回取得した画像とが２回連続して異なっていれば、現在取得している映像が毎秒２４コマの映像の可能性がないと判断する。一方、今回取得した画像と前回取得した画像とが異なっている状態が２回連続していなければ、現在取得している映像が毎秒２４コマの映像の可能性があると判断する。上記ステップＳ２６の判定結果が肯定の場合、ステップＳ２７〜Ｓ３０の処理が実行される。一方、ステップＳ２６の判定結果が否定の場合、後述するステップＳ３１〜Ｓ３４の処理が実行される。なお、ステップＳ２６の判定処理は、現在取得している映像が毎秒２４コマの映像であるか否かを判定する処理ではない。つまり、ステップＳ２６の判定結果が肯定の場合であっても、必ずしも映画モードに設定されるわけではない。

ステップＳ２７〜Ｓ３０においては、映画モードに設定するか否かを決定するための処理が実行される。すなわち、ステップＳ２７において、動き検出処理部１３は、拡大縮小処理部５から取得されるフレームのシーケンスについて、ある画像が３回連続した後で次の画像が２回連続する状態が繰り返される回数に応じて第１カウント値Ｓｍを増加させる。第１カウント値Ｓｍは、上記状態が繰り返された回数を示し、１つの画像が３回連続した後で次の画像が２回連続した時点で、１だけインクリメントされる。上記第１カウント値Ｓｍの値は、フレーム補間処理部７のメモリに記憶される。

続くステップＳ２８において、動き検出処理部１３は、第２カウント値Ｓｎの値をリセットする（すなわち、“０”に設定する）。なお、第２カウント値Ｓｎは、前回のフレームと異なる画像が取得された状態が繰り返される回数を示す。上記第２カウント値Ｓｎの値は、フレーム補間処理部７のメモリに記憶される。

続くステップＳ２９において、動き検出処理部１３は、第１カウント値Ｓｍの値が映画モードの閾値（ｃ１またはｃ３）以上となったか否かを判定する。ステップＳ２９の判定結果が肯定の場合、ステップＳ３０の処理が実行される。すなわち、ステップＳ３０において、動き検出処理部１３は、フレーム補間処理のモードを映画モードに設定する。一方、ステップＳ２９の判定結果が否定の場合、ステップＳ３０の処理がスキップされ、動き検出処理部１３はモード判別処理を終了する。

一方、ステップＳ３１において、動き検出処理部１３は、第２カウンタ値Ｓｎの値を１だけインクリメントする。続くステップＳ３２において、第１カウント値Ｓｍの値をリセットする（すなわち、“０”に設定する）。続くステップＳ３３において、動き検出処理部１３は、第２カウント値Ｓｎの値が通常モードの閾値（ｃ２またはｃ４）以上となったか否かを判定する。ステップＳ３３の判定結果が肯定の場合、ステップＳ３４の処理が実行される。すなわち、ステップＳ３４において、動き検出処理部１３は、フレーム補間処理のモードを通常モードに設定する。一方、ステップＳ２９の判定結果が否定の場合、ステップＳ３０の処理がスキップされ、動き検出処理部１３はモード判別処理を終了する。

以上のように、第２の実施形態のモード判別処理においては、動き検出処理部１３は、番組のジャンルが映画であるか否かを判定し（ステップＳ２２）、映画である場合には映画モードの閾値をｃ１に設定し（ステップＳ２３）、映画でない場合には映画モードの閾値をｃ３に設定する（ステップＳ２３）。さらに、ある画像が３回連続した後で次の画像が２回連続する状態が繰り返される回数Ｓｍをカウントする（ステップＳ２７）。そして、カウント値Ｓｍが映画モードの閾値以上となった場合（ステップＳ２９でＹｅｓ）、現在受信している映像が映画であると判断し、フレーム補間処理のモードを映画モードに設定する（ステップＳ３０）。

ここで、番組のジャンルが映画でない場合には、取得している映像が毎秒２４コマの映像であると推定することはできないので、ある画像が３回連続した後で次の画像が２回連続する状態がある程度の回数連続しなければ、取得している映像が毎秒２４コマの映像であると正確に判断することができない。つまり、誤検出を防止するためには所定値ｃ３を比較的大きな値に設定しておかなければならない。そのため、通常モードから映画モードへの切替が遅くなり、切り替わりの際に映像が不自然になりやすい。これに対して、番組のジャンルが映画である場合には、取得している映像が毎秒２４コマの映像である可能性が高いと推定することができる。したがって、ある画像が３回連続した後で次の画像が２回連続する状態が少しでも生じれば、取得している映像が毎秒２４コマの映像であると判断しても誤検出は生じない。つまり、所定値ｃ１は、比較的小さな値に設定しても差し支えない。以上より、上記所定値ｃ１は、上記所定値ｃ３よりも小さい値とすることができる。すなわち、取得している映像が毎秒２４コマの映像であることを番組のジャンル情報に基づいて推定することによって、映画モードへの切替を早くすることができる。

図４の説明に戻り、ステップＳ１１の次のステップＳ１２において、動き検出処理部１３は、フレーム補間処理のモードに応じて、補間フレームを生成するために用いる対象とするフレーム（対象フレーム）を特定する。例えば、通常モードであれば、連続する２フレームを対象フレームとして特定する。また例えば、映画モードであれば、上述したように、画像が異なる２つのフレームを対象フレームとして特定する（図３参照）。なお、ステップＳ１１でモードが設定されない場合（ステップＳ２９またはＳ３３でＮｏの場合）、動き検出処理部１３は、以前に設定された最新のモードに従ってステップＳ１２の処理を行う。また、第２の実施形態では、初期状態では通常モードに設定されているものとする。

続くステップＳ１３において、動き検出処理部１３は、ステップＳ１２において特定した対象フレームを用いて動きベクトルを算出する。これによって、番組のジャンルが映画であるか否かに応じて異なる動きベクトルが算出されることとなる。なお、動き検出処理部１３は、異なる対象フレームを用いて動きベクトルを算出する他は、番組のジャンルが映画であるか否かによらず同じ処理を行ってもよい。ステップＳ１３において算出された動きベクトルのデータは、補間フレーム生成部１１に出力される。以上で、動き検出処理部１３における処理の説明を終了する。

以上のように動きベクトルが算出されると、補間フレーム生成部１１は、拡大縮小処理部５から出力される各フレームの画像データと、動き検出処理部１３から出力された動きベクトルを示すデータとを用いて、各フレームの補間フレームの画像データを生成する。なお、連続する２つのフレーム間に挿入される補間フレームの数はいくつであってもよい。また、映画モードである場合、補間フレーム生成部１１は、同じ画像が連続して表示されないように、拡大縮小処理部５から出力されるフレームの画像に代えて補間フレームの画像を生成してもよい。図３を例にとって具体的に説明すると、第ｎのフレームと第ｎ＋３のフレームとの間において、第ｎのフレームの画像と第ｎ＋３のフレームの画像を用いて複数の補間フレームを生成し、第ｎ＋１および第ｎ＋２のフレームの画像を出力せずに、生成した複数の補間フレームを表示部８に出力するようにしてもよい。

表示部８は、拡大縮小処理部５から出力された各フレームの画像データ、および、生成された補間フレームの画像データを補間フレーム生成部１１から入力し、各画像データにより示される画像を表示する。以上で、第２の実施形態における映像表示装置の動作の説明を終了する。

以上のように、第２の実施形態においては、映像表示装置は、番組のジャンル情報を用いて、番組が毎秒２４コマの映像であるか否かを判定し、判定結果に応じて異なるフレーム補間処理を行った。これによって、映像表示装置は、番組が毎秒２４コマの映像であるか否かに応じた適切なフレーム補間処理を行うことができる。さらに、番組のジャンル情報を用いることによって、番組が毎秒２４コマの映像であるか否かの判断を迅速に行うことができるので、通常モードから映画モードへの切替を迅速に行うことができる。

なお、上記第２の実施形態においては、番組のジャンル情報を用いて番組が映画のコンテンツであるか否かを判定する（ステップＳ２２）とともに、取得される映像が実際に毎秒２４コマの映像であるか否かを判定した（ステップＳ２５〜Ｓ２９）。つまり、取得される映像が実際に毎秒２４コマの映像であるか否かを判定することによって、モードの判断をより正確に行うことができる。例えば、ジャンル情報が映画であっても、放送局側で変換処理を行うことによって毎秒６０コマの映像が配信される場合もあり、第２の実施形態ではこのような場合でもモードの判断を正確に行うことができる。

また、第２の実施形態においては、ステップＳ２２の判定結果に応じて一義的にモード（すなわち、フレーム補間処理の内容）を決定するのではなく、ステップＳ２２の判定結果とステップＳ２９の判定結果とを用いてモードを決定した。このように、本発明では、番組のジャンル情報に基づいてフレーム補間処理の内容を決定すればよく、番組のジャンル情報のみに基づいて（番組のジャンル情報から一義的に）フレーム補間処理の内容を決定するものに限らない。なお、他の実施形態においては、映像表示装置は、ステップＳ２２の判定結果に応じて一義的にモードを決定するようにしてもよい。つまり、番組のジャンル情報が映画である場合には映画モードに設定し、番組のジャンルが映画以外である場合には通常モードに設定するようにしてもよい。

（第３の実施形態）
次に、第３の実施形態に係る映像表示装置について説明する。第３の実施形態に係る映像表示装置の構成は、図１に示す構成と同じであるので、各部の詳細な説明は省略する。第３の実施形態では、映像表示装置は、番組のジャンルがアニメであるか、その他のジャンルであるかに応じて、フレーム補間処理（動きベクトルの算出処理）を行うか否かを切り替える。

上述のように、デジタル放送では毎秒６０フレームの映像ソースが配信されるが、アニメは一般的には毎秒８コマの映像である。アニメのように映像の実際のコマ数がかなり低い場合には、算出される動きベクトルの信頼度が低く、フレーム補間処理によって補間フレームの画像を正確に生成することが難しい。そのため、場合によっては不正確な補間フレームが生成されるためにかえって映像が乱れるおそれがある。特にアニメの映像は、輪郭がはっきりしているという特徴があるので、フレーム補間が正確にできない場合には映像を非常に不自然に感じるおそれがある。また、毎秒８コマという動きが粗い映像がアニメーションの特徴であるとも考えられ、毎秒８コマの映像の方がアニメーションらしい映像であるとも言える。以上を考慮して、第３の実施形態では、番組のジャンルがアニメである場合には、フレーム補間処理を行わないようにする。以下、第３の実施形態における映像表示装置の動作の詳細を説明する。

フロントエンド２、トランスポートデコーダ３、映像デコーダ４、および拡大縮小処理部５の動作は、第１の実施形態と同様である。また、番組情報解析部６も第１の実施形態と同様、トランスポートデコーダ３によって抽出されたＳＩのデータから番組のジャンル情報のデータを抽出する。

図６は、動き検出処理部１３における処理の流れを示すフローチャートである。なお、図６に示すステップＳ４１〜Ｓ４４の処理は、１フレーム時間に１回の割合で実行される。まずステップＳ４１において、動き検出処理部１３は、番組情報解析部６から番組のジャンル情報のデータを取得する。ステップＳ４１の処理は図２に示したステップＳ１の処理と同様である。

続くステップＳ４２において、動き検出処理部１３は、ステップＳ４１で取得されたジャンル情報のデータが、「アニメ」のジャンルを示すか否かを判定する。ステップＳ４２の判定結果が肯定の場合、ステップＳ４３の処理が実行される。一方、ステップＳ４２の判定結果が否定の場合、後述するステップＳ４４の処理が実行される。

ステップＳ４３において、動き検出処理部１３は、動きベクトルの算出を停止する。すなわち、番組のジャンルがアニメである場合、動き検出処理部１３は、動きベクトルの算出を行わない。一方、ステップＳ４４において、動き検出処理部１３は、動きベクトルを算出する。ステップＳ４４における動きベクトルの算出方法は、どのような方法であってもよい。ステップＳ４４において算出された動きベクトルのデータは、補間フレーム生成部１１に出力される。ステップＳ４３またはＳ４４の後、動き検出処理部１３は図６に示す処理を終了する。

第３の実施形態においては、補間フレーム生成部１１は、動き検出処理部１３から動きベクトルのデータが出力された場合、補間フレームの画像データを生成する。この場合、補間フレーム生成部１１は、拡大縮小処理部５から出力された各フレームの画像データと、生成された補間フレームの画像データとを表示部８へ出力し、各画像データを表示部８に時間順に表示させる。一方、動き検出処理部１３から動きベクトルのデータが出力されない場合、補間フレーム生成部１１は補間フレームの画像データを生成しない。この場合、補間フレーム生成部１１は、拡大縮小処理部５から出力された各フレームの画像データを表示部８へ出力し、当該画像データを表示部８に時間順に表示させる。

以上のように、第３の実施形態によれば、フレーム補間処理を実行するか否かを、番組のジャンルがアニメであるか否かに基づいて決定する。これによって、フレーム補間処理を行うことが難しいアニメのジャンルの映像についてフレーム補間処理を行わず、他のジャンルの映像についてのみフレーム補間処理を行うことができる。なお、他の実施形態では、番組のジャンルがアニメである場合、フレーム補間処理を行わないことに代えて、画像全体についてのみ動きベクトルを算出してフレーム補間処理を行うようにしてもよい。

（第４の実施形態）
次に、第４の実施形態に係る映像表示装置について説明する。第４の実施形態では、番組のジャンル情報に代えて、動画領域情報およびアスペクト比情報を用いる。そして、動画領域情報およびアスペクト比情報に基づいてフレーム補間処理の内容（具体的には、動きベクトルの探索範囲）を決定する。

図７〜図９は、映像表示装置の表示部に表示される画像の一例を示す図である。デジタル放送では、動画のサイズ（アスペクト比）が１６：９である映像ソースもあれば、図７に示すように、サイズが４：３である動画の左右両側に固定的な画像（いわゆるサイドパネル）が付された映像ソースもある。図７の例においては、サイズが４：３である動画が領域６１に表示され、領域６１の左右両側の領域６２にはサイドパネルが表示される。また、デジタル放送では、図８に示すように、映像ストリームによる画像とともにデータ放送の画像を表示させることも可能である。図８の例においては、映像ストリームに含まれる画像データにより示される画像が領域６３に表示され、データ放送の内容を示す画像が領域６４に表示される。さらに、図９に示すように、図８に示す領域６３に、サイズが４：３である動画の左右両側にサイドパネルが付された画像が表示されることもある。このとき、領域６３は領域６５および６６に区分され、サイズが４：３である動画が領域６５に表示され、領域６５の左右両側の領域６６にはサイドパネルが表示される。なお、図７〜図９では、実際に動画が表示される領域（映像ストリームに含まれる画像データにより示される画像が表示される領域。）を点線で示している。

図７〜図９に示したように、実際に動画が表示される領域は、番組によってそれぞれ異なっており、画面全体のうちで当該領域がどのような位置およびサイズであるかによって、適切なフレーム補間処理は異なる。具体的には、フレーム補間処理（動きベクトルの探索処理）は、当該領域のみを対象として行えばよいので、必要な領域（すなわち、動画領域）のみについてフレーム補間処理を行うことによって処理を簡略化することができる。第４の実施形態においては、放送信号に含まれる情報（後述するアスペクト比情報および動画領域情報）から、実際に動画が表示される領域を特定し、当該領域を対象としてフレーム補間処理を行う。以下では、フレーム補間処理を行うべき対象となる、実際に動画が表示される領域を、「対象領域」と呼ぶ。

図１０は、第４の実施形態に係る映像表示装置の機能的な構成を示すブロック図である。第４の実施形態においては、映像表示装置は、フロントエンド２、トランスポートデコーダ３、映像デコーダ４、拡大縮小処理部５、フレーム補間処理部７、表示部８、データ放送処理部２１、および、アスペクト比情報解析部２２を備えている。なお、図１０において、図１と同じ構成要素には図１と同じ参照符号を付し、詳細な説明を省略する。

データ放送処理部２１は、トランスポートデコーダ３に接続されており、トランスポートデコーダ３によって抽出されたデータ放送用のデータ（データ放送ストリーム）を取得する。また、データ放送処理部２１は、データ放送の画像を表示するための処理を行う。さらに、第４の実施形態においては、データ放送処理部２１は、データ放送ストリームから動画領域情報およびスケーリング率情報のデータを抽出する。ここで、動画領域情報とは、映像ストリームにより示される動画とともにデータ放送の内容を示す画像が表示される場合に、当該動画が表示される領域を特定するための情報である。具体的には、動画領域情報は、表示部８の画面領域のうちで動画が表示される領域の位置およびサイズを示す。また、スケーリング率情報は、元の画像に対してスケーリングを行う際のスケーリング率を示す情報である。動画領域情報を示すデータは、拡大縮小処理部５および動き検出処理部１３へ出力される。スケーリング率情報を示すデータは、拡大縮小処理部５へ出力される。第４の実施形態では、上記動画領域情報を示すデータおよびスケーリング率情報を示すデータが請求項に記載の領域特定データ（付加データ）に相当し、データ放送処理部２１が請求項に記載のデータ抽出部に相当する。なお、データ放送処理部２１の動作の詳細は後述する（図１１参照）。

アスペクト比情報解析部２２は、映像デコーダ４に接続されており、映像ストリームに含まれるアスペクト比情報を映像デコーダ４から取得する。アスペクト比情報は、映像のアスペクト比を特定するための情報である。なお、デジタル放送では、図７で示したようにアスペクト比が４：３の元映像を１６：９で送出する場合や、アスペクト比が１６：９の元映像を４：３で送出する場合、映像ストリーム中の“sequence_header”および“sequence_display_extension”にパラメータを指定することがＡＲＩＢ ＴＲ−Ｂ１５に規定されている。したがって、アスペクト比情報解析部２２は、当該パラメータを抽出して解析することにより、映像のアスペクト比情報を得ることができる。アスペクト比情報解析部２２は、アスペクト比情報のデータを動き検出処理部１３へ出力する。

次に、映像表示装置の動作の詳細を説明する。フロントエンド２、トランスポートデコーダ３、および、映像デコーダ４の動作は、第１の実施形態と同様である。また、アスペクト比情報解析部２２は、上述したように、アスペクト比情報のデータを動き検出処理部１３へ出力する。

図１１は、データ放送処理部２１における処理の流れを示すフローチャートである。なお、図１１では、データ放送処理部２１が実行するデータ放送に関する処理のうち、本発明に関連する処理を主に示し、本発明に無関係な処理を省略している。図１１に示す処理は、例えば、スケーリング率情報および動画領域情報が取得されるタイミングで繰り返し行われてもよいし、所定時間間隔で繰り返し行われてもよい。

まず、ステップＳ５１において、データ放送処理部２１は、トランスポートデコーダ３で抽出されたデータ放送ストリームからスケーリング率情報を取得する。続くステップＳ５２において、データ放送処理部２１は、ステップＳ５１で取得したスケーリング率情報を拡大縮小処理部５に対して設定する。

ステップＳ５２の次のステップＳ５３において、データ放送処理部２１は、トランスポートデコーダ３で抽出されたデータ放送ストリームから上記動画領域情報を取得する。続くステップＳ５４において、データ放送処理部２１は、ステップＳ５３で取得した動画領域情報を拡大縮小処理部５に対して設定する。さらに、ステップＳ５５において、データ放送処理部２１は、ステップＳ５３で取得した動画領域情報を動き検出処理部１３へ出力する。ステップＳ５５の後、データ放送処理部２１は図１１に示す処理を終了する。

拡大縮小処理部５は、データ放送処理部２１から上記スケーリング率情報および動画領域情報を取得すると、映像デコーダ４から出力された画像のデータに対して、上記スケーリング率情報および動画領域情報に従って画像データの拡大・縮小処理を行う。そして、拡大・縮小処理後の画像データをフレーム補間処理部７へ出力する。

図１２は、動き検出処理部１３における処理の流れを示すフローチャートである。なお、図１２に示すステップＳ６１〜Ｓ６５の処理は、１フレーム時間に１回の割合で実行される。

まずステップＳ６１において、動き検出処理部１３は、データ放送処理部２１から動画領域情報のデータを取得する。すなわち、動き検出処理部１３は、データ放送処理部２１に対して動画領域情報の取得要求を行う。データ放送処理部２１は、この取得要求に応じて動画領域情報のデータを動き検出処理部１３へ出力する。なお、データ放送処理部２１は、トランスポートデコーダ３によって抽出されたデータ放送ストリームから抽出される最新の動画領域情報のデータを記憶しておく。そして、上記取得要求があった場合には、記憶している最新の動画領域情報のデータを出力する。

続くステップＳ６２において、動き検出処理部１３は、アスペクト比情報解析部２２からアスペクト比情報のデータを取得する。すなわち、動き検出処理部１３は、アスペクト比情報解析部２２に対してアスペクト比情報の取得要求を行う。アスペクト比情報解析部２２は、この取得要求に応じてアスペクト比情報のデータを動き検出処理部１３へ出力する。なお、アスペクト比情報解析部２２は、映像ストリームから抽出される最新のアスペクト比情報のデータを記憶しておく。そして、上記取得要求があった場合には、記憶している最新のアスペクト比情報のデータを出力する。

ステップＳ６３において、動き検出処理部１３は、上記対象領域、すなわち、画面領域のうちで実際に動画が表示される領域を算出する。まず、動き検出処理部１３は、データ放送の画像を表示するモードであるか否かを判定する。なお、データ放送の画像を表示するモードであるかデータ放送の画像を表示しないモードであるかは、ユーザの指示によって切り替えられる。データ放送の画像を表示するモードである場合、動き検出処理部１３は、動画領域情報を参照して、映像データにより示される画像を表示する領域（映像データ領域と呼ぶ。）を特定する。一方、データ放送の画像を表示しないモードである場合、表示すべき画像の全領域が映像データ領域となる。以上のようにして、映像データ領域が特定されると、動き検出処理部１３は次に、アスペクト比情報を参照して、画像のアスペクト比に基づいて対象領域を決定する。すなわち、アスペクト比が１６：９である場合、映像データ領域をそのまま対象領域とする。この場合、映像データ領域の全領域に実際に動画が表示されるからである。一方、アスペクト比が４：３である場合、映像データ領域のうちで、左右両側の所定領域を除いた領域を対象領域とする。この場合、映像データ領域のうちの上記所定領域は、上記サイドパネルが表示される領域であり、この領域には動画が実際には表示されないからである。

ステップＳ６４において、動き検出処理部１３は、ステップＳ６３で算出された対象領域に基づいて動きベクトルの探索範囲を設定する。具体的には、探索範囲は、対象領域の内部を範囲とするように設定される。続くステップＳ６５において、動き検出処理部１３は、ステップＳ６４で設定された探索範囲内で動きベクトルを算出する。これによって、対象領域の位置およびサイズに応じた探索範囲に従って動きベクトルが算出されることとなる。つまり、実際に動画が表示される領域のみを対象として動きベクトルが算出される。なお、動き検出処理部１３は、ステップＳ６４で設定された探索範囲に従って動きベクトルを算出する他は、対象領域によらず同じ処理を行ってもよい。ステップＳ６５において算出された動きベクトルのデータは、補間フレーム生成部１１に出力される。以上で、動き検出処理部１３における処理の説明を終了する。

以上のように動きベクトルが算出されると、補間フレーム生成部１１は、拡大縮小処理部５から出力される各フレームの画像データと、動き検出処理部１３から出力された動きベクトルを示すデータとを用いて、当該各フレームの補間フレームの画像データを生成する。このとき、補間フレーム生成部１１は、上記対象領域のみについて補間フレームを生成するようにしてもよい。表示部８は、拡大縮小処理部５から出力された各フレームの画像データ、および、生成された補間フレームの画像データを補間フレーム生成部１１から入力し、各画像データにより示される画像を表示する。以上で、第４の実施形態における映像表示装置の動作の説明を終了する。

以上のように、第４の実施形態によれば、映像表示装置は、放送信号から、動画領域情報およびアスペクト比情報を取得することにより、実際に動画が表示される領域（上記対象領域）を特定する。そして、当該領域内で動きベクトルの探索範囲を設定する。これによって、探索が不要な領域について動きベクトルの探索処理を行わないようにすることができ、実際に動画が表示される領域の位置およびサイズに応じてフレーム補間処理を効率良く実行することができる。

なお、上記第４の実施形態では、表示装置に表示すべき画像の全領域のうちで動画が表示される領域を特定するための領域特定データとして、動画領域情報およびアスペクト比情報のデータの両方を用いて対象領域を算出するようにした。ここで、他の実施形態においては、動画領域情報およびアスペクト比情報のいずれか一方のみを用いて対象領域を算出してもよい。例えば、動画領域情報のみを用いて対象領域を算出する場合、動き検出処理部１３は、動画領域情報に基づいて上記映像データ領域（ステップＳ６３参照）を特定し、当該映像データ領域を対象領域とする。また、アスペクト比情報のみを用いて対象領域を算出する場合、動き検出処理部１３は、任意の方法で映像データ領域を特定した後、映像データ領域から対象領域を上記ステップＳ６３と同様の方法で決定する。

なお、以上の第１〜第４の実施形態においては、液晶表示装置の動画ボケを改善する目的でフレーム補間処理を行う場合を説明したが、本発明は、当該目的で行われるフレーム補間処理に限らず適用可能である。例えば、本発明は、あるフレームレートの映像を他のフレームレートに変換する際に行うフレーム補間処理にも適用することが可能である。また、本発明は、液晶表示装置に限らず、例えば動画ボケが生じる他の方式の表示装置にも適用することが可能である。また、ＰＤＰ（プラズマディスプレイパネル）においては補間フレームとしてサブフレーム（サブフィールド）が生成されることがあるが、本発明は、ＰＤＰにおいてサブフレームを生成する場合にも適用することが可能である。

以上のように、本発明は、映像ソースの内容等に応じて適切なフレーム補間処理を行うこと等を目的として、放送によって配信される映像を表示する映像表示装置等として利用することが可能である。

第１の実施形態に係る映像表示装置の機能的な構成を示すブロック図 動き検出処理部１３における処理の流れを示すフローチャート 毎秒２４コマの映像を毎秒６０フレームの映像ソースとして配信する場合における各フレームの画像の一例を示す図 第２の実施形態における動き検出処理部１３における処理の流れを示すフローチャート 図４に示すステップＳ１１（モード判別処理）の詳細を示すフローチャート 第３の実施形態における動き検出処理部１３における処理の流れを示すフローチャート 映像表示装置の表示部に表示される画像の一例を示す図 映像表示装置の表示部に表示される画像の一例を示す図 映像表示装置の表示部に表示される画像の一例を示す図 第４の実施形態に係る映像表示装置の機能的な構成を示すブロック図 データ放送処理部２１における処理の流れを示すフローチャート 動き検出処理部１３における処理の流れを示すフローチャート

符号の説明

１ アンテナ
２ フロントエンド
３ トランスポートデコーダ
４ 映像デコーダ
５ 拡大縮小処理部
６ 番組情報解析部
７ フレーム補間処理部
８ 表示部
１１ 補間フレーム生成部
１２ 第１フレームメモリ
１３ 動き検出処理部
１４ 第２フレームメモリ
２１ データ放送処理部
２２ アスペクト比情報解析部

Claims (16)

1. 放送によって配信される映像を表示する映像表示装置であって、
   放送信号から、番組または番組の映像に関する情報を示す付加データを抽出するデータ抽出部と、
   前記放送信号から抽出される映像データにより示される各フレームの画像から、補間フレームの画像を生成するフレーム補間処理部とを備え、
   前記フレーム補間処理部は、前記データ抽出部によって抽出された付加データの内容に基づいて、補間フレームを生成するために用いられる動きベクトルに関する処理の内容を決定する、映像表示装置。
2. 前記データ抽出部は、番組のジャンルまたは番組を特定する情報を示すデータを前記付加データとして抽出し、
   前記フレーム補間処理部は、前記動きベクトルに関する処理の内容を前記付加データに基づいて決定する、請求項１に記載の映像表示装置。
3. 前記フレーム補間処理部は、前記補間フレームの画像を生成するために用いられる動きベクトルの探索範囲を、前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
4. 前記フレーム補間処理部は、前記動きベクトルを算出するために用いるフレームを前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
5. 前記フレーム補間処理部は、前記動きベクトルの算出処理を実行するか否かを前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
6. 前記フレーム補間処理部は、動きベクトルを用いて生成される画像と、前記各フレームの画像を補間することによって得られる画像との混合割合を前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
7. 前記フレーム補間処理部は、映像の一部分が静止している、または、動いていると判断するための判断基準を前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
8. 前記フレーム補間処理部は、横方向および縦方向の探索処理の処理内容を前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
9. 前記フレーム補間処理部は、動きベクトルを算出するために参照するフレームの数を前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
10. 前記フレーム補間処理部は、映像全体のうちで他の領域に比べて高精度で探索を行う領域を前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
11. 前記フレーム補間処理部は、動きベクトルの探索処理において１まとまりの物体として取り扱う大きさを前記付加データに基づいて決定する、請求項２に記載の映像表示装置。
12. 前記データ抽出部は、表示装置に表示すべき画像の全領域のうちで動画が表示される領域を特定するための領域特定データを前記付加データとして抽出し、
    前記フレーム補間処理部は、前記領域特定データにより特定される領域のみを対象として前記動きベクトルの算出処理を実行する、請求項１に記載の映像表示装置。
13. 前記領域特定データは、前記映像データにより示される画像のアスペクト比を示すデータであり、
    前記フレーム補間処理部は、前記アスペクト比を示すデータに基づいて、前記動きベクトルの算出処理の処理対象となる領域を決定する、請求項１２に記載の映像表示装置。
14. 前記領域特定データは、表示装置に表示すべき画像の全領域のうちで前記映像データにより示される画像を表示すべき領域を示すデータであり、
    前記フレーム補間処理部は、前記領域特定データに基づいて、前記動きベクトルの算出処理の処理対象となる領域を決定する、請求項１２に記載の映像表示装置。
15. 放送によって配信される画像から補間フレームの画像を生成する補間画像生成回路であって、
    放送信号から、番組または番組の映像に関する情報を示す付加データを抽出するデータ抽出部と、
    前記放送信号から抽出される映像データにより示される各フレームの画像から、補間フレームの画像を生成するフレーム補間処理部とを備え、
    前記フレーム補間処理部は、前記データ抽出部によって抽出された付加データの内容に基づいて、補間フレームを生成するために用いられる動きベクトルに関する処理の内容を決定する、補間画像生成回路。
16. 放送によって配信される画像から補間フレームの画像を生成する補間画像生成方法であって、
    放送信号から、番組または番組の映像に関する情報を示す付加データを抽出するデータ抽出ステップと、
    前記放送信号から抽出される映像データにより示される各フレームの画像から、補間フレームの画像を生成するフレーム補間処理ステップとを備え、
    前記フレーム補間処理ステップでは、前記データ抽出ステップにおいて抽出された付加データの内容に基づいて、補間フレームを生成するために用いられる動きベクトルに関する処理の内容を決定する、補間画像生成方法。

Images