JP2007318193A - 画像処理装置 - Google Patents

Abstract

【課題】
画像の動きや番組ジャンルなどの画像信号の情報に基づいて表示される画像のフレーム数をフレキシブルに変換する。
【解決手段】
本発明に係る画像処理装置は、所定のフレームレートを有する画像信号が入力される入力部(21)と、入力画像信号に関する情報を取得するための情報取得部(24)と、入力画像信号のフレームレートを変換して出力するフレームレート変換部(26)とを備えている。そして、上記フレームレート変換部(26)は、情報取得部(24)で取得された入力画像信号の情報（画像の動き、番組ジャンル等）に基づいて、入力画像信号のフレームレート変換を行う。
【選択図】 図２

Description

本発明は、画像信号のフレームレートを変換する構成を備えた画像処理装置に関する。

一般的に、テレビジョン受像機などの画像処理装置で表示される画像のフレームレートは６０Ｈｚであるが、これを例えば１２０Ｈｚ等にアップコンバートすると、動画がより滑らかに見える。このようなフレームレートの変換処理については、例えば特許文献１に記載のものが知られている。

特開２００５−２４１７８７（段落番号0007、図１）

上記のようなフレームレートのアップコンバートは、動きの激しいシーンにおいて動きを滑らかに見せる場合に有効であるが、例えば静止画など動きが少ないシーンにおいては効果的ではない。

上記特許文献１に記載の技術は、画像の状態、例えば動画か静止画かに関わらずフレームレートのアップコンバート処理を行っている。このため、特許文献１に記載のものは、有効でない信号処理量が大きくなるとともに、常に高周波数で表示デバイス（ＰＤＰ、ＬＣＤ等）を駆動することとなり、装置の消費電力が増加される。

本発明は、上記課題を鑑みて為されたものであって、その目的は、効率的にフレームレートを変換することが可能な技術を提供することにある。

上記目的を達成するために、本発明では、所定のフレームレートを有する入力画像信号について、当該入力画像信号に関する情報に基づいてフレームレート変換処理を行うことを特徴とするものである。

上記画像信号の情報は、例えば画像の動きであり、動きが大きいシーンについてフレームレートのアップコンバート処理を行うようにすることが好ましい。

また、上記画像信号の情報は、例えば入力画像信号に対応する番組のジャンル情報であり、受信番組が特定のジャンル（例えばスポーツ、映画）である場合にフレームレートのアップコンバート処理を行うようにしてもよい。

また、上記画像信号の情報は、例えば当該入力画像信号の信号状態に関する情報、例えば受信状態、転送レート、または伝送ビットエラー率であり、これらの少なくとも一つ低い場合にフレームレートを低くするようにしてもよい。

本発明によれば、画像の種類（シーン、動き量等）に応じてフレームレートをフレキシブルに変換することができ、効率的にフレームレート変換を行うことができる。

以下、本発明の実施形態について、図面を参照しつつ説明する。

先ず、本実施例の概念について図１を用いて説明する。図１は、本実施例によって処理された画像信号の形態を示している。本実施例では、入力画像信号は、所定のフレームレート、例えば６０Ｈｚのフレームレートを有しており、図１において、そのフレーム列は符号１１で示されている。そして本実施例は、入力画像信号のフレーム列１１のうち、物体１２の動きが大きいシーンを含む動き大範囲１３のフレームレートを、動きが無いもしくは少ない動き小範囲１４よりも大きくすることを特徴とするものである。すなわち、本実施例は、複数のフレーム列からなる画像信号のうち、動きが大きい範囲のフレームレートを局部的に高くするように、入力画像信号のフレームレートを画像の動きに応じてアップコンバートするものである。

このようにして、本実施例は、効率的にフレームレート変換を行うことによって省電力化を図るものである。ここで、動き大範囲１３のフレームレートは１２０Ｈｚであり、動き小範囲１４のフレームレートは入力画像信号のフレームレートと同じ６０Ｈｚとする。

次に、上記図１の処理を行うための本実施例に係る画像処理装置の一構成例について、図２を参照しつつ説明する。尚、図２に示される画像処理装置は、例えばＰＤＰやＬＣＤ等の表示部２８を備えたテレビジョン受像機などの画像表示装置を示している。

図２において、例えばテレビジョン信号、ＤＶＤプレーヤもしくはＨＤＤプレーヤで再生された画像信号は入力部２１に入力される。ここで、この入力画像信号は、所定のフレームレート、例えば６０Ｈｚのフレームレートを有するものとする。入力部２１に入力された画像信号は、解像度変換部２２に入力され、ここで表示部２８の水平・垂直ドット数に合致する画像フォーマットに拡大・縮小処理される。例えば入力画像信号の精細度が640×480で、表示部２８のドット数が1920×1080ならば、入力画像信号の精細度を1920×1080に成るように、当該入力画像信号を拡大処理する。上記拡大・縮小処理された画像信号は、画像信号に関する情報を取得するための情報取得部である特徴検出部２４と、フレームレート変換部（以下、ＦＲＣ（Frame Rate Converter）と呼ぶ場合もある）２６にそれぞれ入力される。

特徴検出部２４は、少なくとも２フレーム分の画像信号を記憶する画像メモリ２３と接続されており、この画像メモリ２３に記憶された内容を用いて入力画像信号の特徴、すなわち画像の動きを検出する。例えば、特徴検出部２４は、画像メモリ２３に記憶された現在のフレーム画像と１フレーム前の画像との差分を算出し、その結果から動き量を検出する。差分は、例えば次のようにして求められる。まず、現フレーム画像の各画素の輝度信号と、該各画素と空間的に同一位置にある前フレーム画像の各画素の輝度信号同士とを比較して、画素毎に輝度信号の差分を求める。続いて、この輝度信号の差分を１フレームの画素全てについて求め、その積算値を上記フレーム間の差分、すなわち動き量とする。ここでは、１フレームの全ての画素について差分を求めるようにしたが、所定画素数のブロック単位で差分を求めるようにしてもよい。例えば、１フレームを16×16画素のブロックに分割し、現フレーム画像と前フレーム画像の、空間的に同一位置にあるブロック同士の差分を求めるようにしてもよい。また、フレーム画像の中央部のみの画素またはブロックの差分を求めるようにしてもよい。そして徴検出部２４は、上記のようにして得られた動き量に対応するフレーム数を算出し、これをフレーム数指定信号２５としてＦＲＣ２６へ出力する。ここで、検出された動き量とフレーム数指定信号２５で指定される表示フレーム数（実際に表示部２８で表示される画像のフレームレート）との関係について図３を参照して説明する。

検出された動き量が第１所定値ＭＴ１よりも小さいときは、図３に示されるように表示フレーム数は最低値Fminとなる。ここで、最低値Fminとは、入力画像信号のフレームレートである６０Ｈｚと同じ値である。それは、フレームレートが６０Ｈｚ以下の場合は人間の目はチラツキ（フリッカ）を認識し易くなるためである。従って、本実施例では、表示フレーム数の最低値Fminを６０Ｈｚとしており、静止画でも６０Ｈｚで表示される。また、検出された動き量が第１所定値ＭＴ１よりも大きく第２所定値よりも小さいいときは、図３に示されるように表示フレーム数は１２０Ｈｚとなる。更に、検出された動き量が第２所定値ＭＴ２よりも大きいときは、図３に示されるように表示フレーム数は１８０Ｈｚとなる。本実施例では、１８０Ｈｚをフレームレートの最高値Fmaxとしており、これは表示部２８の駆動周波数の限界値に対応して設定される。尚、本例では３段階にフレームレートを変換する例を示したが、当然２段階としてもよい。また、図３は、動き量が大きくなるに従い段階的に表示フレーム数が大きくなるような特性を示しているが、直線的な特性としてもよい。

また、入力画像信号のフレーム毎にフレーム数指定信号２５を出力する構成では、数フレームにのみ動きが発生した場合でもフレームレート変換される可能性がある。このため、例えば第１所定値ＭＴ１を越える画像の動きが所定期間、例えば数〜１０フレーム程度連続して検出された場合に、フレーム数指定信号２５を出力するように構成することが好ましい。

図２に戻り、ＦＲＣ２６では、上記特徴検出部２４から出力されたフレーム数指定信号２５に応じて入力画像信号のフレームレートを変換して出力する。例えば、図１の動き大範囲１３の期間においてフレーム数指定信号２５が１２０を示す場合、当該期間においては、ＦＲＣ２６は、入力画像信号のフレームレートを１２０Ｈｚにアップコンバートして出力する。従って、ＦＲＣ２６からは、ある同一のコンテンツを表す画像信号について、画像の動きに応じた複数のフレームレートを持つ出力信号が出力可能である。また、ＦＲＣ２６は、少なくとも２フレーム分の画像信号を記憶する画像メモリ２９と接続されており、この画像メモリ２９に記憶された２フレーム分の画像信号から動きベクトルを算出して補間フレームを作成する。そして、この補間フレームを入力画像信号のフレーム列に挿入するフレームレート変換処理することによって、入力画像信号のフレームレートをアップコンバートする。尚、ＦＲＣ２６は、１フレーム前に用いたフレーム数指定信号２５を画像メモリ２９またはその他のメモリに格納する機能を備えるものとする。

このようにして、ＦＲＣ２６でフレームレートが変換された信号は、表示部２８の駆動回路と結合されたタイミングコントローラ２７に供給される。タイミングコントローラ２７では、前記ＦＲＣ２６からのフレームレート変換された画像信号を表示部２８に表示するためのタイミング信号を生成して表示部２８に供給する。このタイミングコントローラ２７の一構成例を図４に示す。本例では、表示部２８としては、ＬＣＤ（液晶パネル）を例としている。

図４において、タイミングコントローラ２７は、駆動周波数判定/タイミング生成部２７１と、メモリ２７２とを備えている。駆動周波数判定/タイミング生成部２７１では、ＦＲＣ２６からの、フレームレート変換された画像信号とともに出力される映像制御信号２７０により、当該出力信号を駆動するのに必要な駆動周波数を判定する。一方、メモリ２７２には、上記フレームレート変換された画像信号が一時的に格納される。その後、駆動周波数判定/タイミング生成部２７１は、各種タイミング信号２７５を生成し、かつメモリ２７２に格納された画像信号を読み出す。そして、この読み出された画像信号をデータ信号２７４として、上記タイミング信号２７５信号とともに表示部２８である液晶パネルへ出力する。ＦＲＣ２６からの出力信号を一旦メモリ２７２へ格納する理由は、前記判定された駆動周波数に応じた周波数でデータを読み出すためである。すなわち、駆動周波数判定/タイミング生成部２７１は、判定した駆動周波数のタイミングで、メモリ２７２から画像信号を読み出す機能を有している。

一方、表示部２８は、水平ラインを垂直方向に順次スキャンするためのスキャンドライバ２８１と、表示部２８の各画素に画像信号に対応するデータを供給するためのデータドライバ２８２とを備えている。スキャンドライバ２８１にはタイミング信号２７５が入力され、この信号で定められるタイミングに従って表示部２８の各水平ラインを垂直方向に順次スキャンする。データドライバ２８２にはデータ信号が入力され、これを１水平期間保持して表示部２８のスキャンされた水平ラインに供給する。データドライバ２８２のデータ信号は、１水平周期毎に更新される。このように動作することで、スキャンドライバ２８１でスキャンした表示部２８の水平ラインに、データドライバ２８２からのデータ信号に基づく画像が形成される。これを１フレーム期間にわたって繰り返すことにより、１フレームの画像が表示部２８に形成される。

尚、駆動周波数判定/タイミング生成部２７２は、駆動周波数の頻繁な変動を抑圧するため、所定時間にわたって駆動周波数の変化が続いた場合に駆動周波数を切り替えるように動作する時間積分回路を備えてもよい。

次に、フレームレート変換部２６の詳細について、図５を参照しつつ説明する。図５において、フレーム数比較部３１は、特徴検出部２４から出力された現在のフレーム数指定信号２５と、メモリＩ／Ｆ３７を介して画像メモリ２９またはその他のメモリに記憶された１フレーム前のフレーム数指定信号３９とをそれぞれ取得する。そして、現フレーム数指定信号２５と前フレーム数指定信号３９とを比較し、その結果に応じて表示フレーム数信号３１１とレート判定信号３１２とを出力する。

ここで、現フレーム数指定信号２５をＦＰ、前フレーム数指定信号３９をＦＢとする。フレーム数比較部３１は、ＦＰ＞ＦＢのとき、レート判定信号３１２として「１」を出力し、表示フレーム数信号３１１としてＦＰ（現在のフレーム指定数）を出力する。一方、ＦＰ≦ＦＢのときは、レート判定信号３１２として「０」を出力し、表示フレーム数信号３１１としてＦＢ（１フレーム前のフレーム指定数）を出力する。

動きベクトル検出部３３は、レート判定信号３１２が１の場合に、メモリＩ／Ｆ３７を介して、画像メモリ２９から現フレーム信号３０１と１フレーム前信号３０２とを取得する。そして、動きベクトル検出部３３は、この取得された現フレーム信号３０１と前フレーム信号３０２とを用いて画像の動きベクトルを検出する。この動きベクトルは、例えば前フレーム信号３０２のある画素が現フレーム信号３０１のどこに動いたかを検索することにより求められる。例えば、前フレームのある画素と空間的に同一位置にある現フレームの画素を中心に、例えば７×７画素の検索範囲を現フレームに設定する。そして、前フレームのある画素と、現フレームに設定された検索範囲内の各画素（この例では４９個の画素）とを個別に比較する。その結果、最も差分の小さい画素同士を結ぶ直線を上記ある画素の動きベクトルとする。

本実施例では、動きベクトルの検出に現フレーム３０１と前フレーム３０２の２フレームを用いる構成としているが、これに限られるものではない。例えば、３〜４フレームもしくはそれ以上のフレームを用いて動きベクトルを求める構成としてもよい。また、動きベクトル検出部３３を、特徴検出部２４内に設けてもよい。

動きベクトル検出部３３よって検出された動きベクトルは、ベクトル調整部３４に入力される。ベクトル調整部３４は、ベクトル調整用テーブルが格納されているＲＯＭ３１３と接続されている。ベクトル調整部３４では、フレーム数比較部３１からの表示フレーム数信号３１１に応じて、ＲＯＭ３１３に記憶されたテーブルの内容を参照してベクトル調整を行う。図６に、このベクトル調整の一例を示す。

図６（ａ）に示されるように、前フレーム５１の動き画素Ａが、現フレーム５２では動き画素Ｂの位置に移動したと考える。この場合、動きベクトル検出部３３にて、画素Ａと画素Ｂとの差分が最も小さいとして、これら画素同士を結ぶ直線である動きベクトル５７が検出される。ここで、例えば表示フレーム数信号３１１が１２０(Ｈｚ)の場合、フレームレートは入力画像信号の２倍に変換される。すなわち、図６（ｂ）に示されるように、１枚の補間フレーム５５が入力画像信号の各フレーム間に挿入されてフレームレートが２倍にされるため、補間フレーム５５を含むフレームの周期は入力画像信号の１／２となる。ＲＯＭ３１３には、このフレーム周期に従う調整用係数が、表示フレーム数信号３１１と対応付けられて記憶されており、例えば「１２０Ｈｚ」に対しては、「１／２」の係数が対応付けられている。

ベクトル調整部３４では、「１２０」を示す表示フレーム数信号３１１に対応する調整用係数として、「１／２」をＲＯＭ３１３から引き出す。そして、ベクトル調整部３４は、動きベクトル５７と引き出された調整用係数を乗算し、図６（ｂ）に示すように、動きベクトル５７を１／２した調整動きベクトル５８を出力する。このとき、画素Ａは、調整動きベクトル５８に従い、補間フレーム５５において補間画素Ｃに移動したものとされる。

表示フレーム数信号３１１が１８０(Ｈｚ)の場合、フレームレートは入力画像信号の３倍に変換される。すなわち、図６（ｃ）に示されるように、２枚の補間フレーム５５ａ及び５５ｂが入力画像信号の各フレーム間に挿入されてフレームレートが３倍にされるため、２枚の補間フレーム５５ａ及び５５ｂを含むフレームの周期は入力画像信号の１／３となる。ＲＯＭ３１３には、更に、「１８０Ｈｚ」に対して、「１／３」及び「２／３」の係数が対応付けられている。

ベクトル調整部３４では、「１３０」を示す表示フレーム数信号３１１に対応する調整用係数として、「１／３」及び「２／３」をＲＯＭ３１３から引き出す。そして、ベクトル調整部３４は、動きベクトル５７と引き出された調整用係数を乗算し、図６（ｃ）に示すように、動きベクトル５７を１／３した調整動きベクトル５８ａと、動きベクトル５７を２／３した調整動きベクトル５８ｂを出力する。このとき、画素Ａは、調整動きベクトル５８ａに従い、補間フレーム５５ａにおいて補間画素Ｃａに移動したものとされ、更に画素Ａは、調整動きベクトル５８ｂに従い、補間フレーム５５ｂにおいて補間画素Ｃｂに移動したものとされる。

つまり、表示フレーム数信号３１１が入力画像信号のフレームレート（６０Ｈｚ）の整数倍の場合、調整ベクトル（AMV：Adjusted Motion Vector）は、下記数１で示される。

ＡＭＶ(ｎ)＝(ｎ/Ｎ＋１)＊ＭＶ・・・（数１）
ここで、Ｎは入力画像信号の隣接する２つのフレーム間に挿入される補間フレームの補間フレーム数であり、表示フレーム数信号３１１が１２０の場合は１となり、表示フレーム数信号３１１が１８０の場合は２となる。また、ＭＶは動きベクトル検出部３３により検出される動きベクトル５７。また、ｎは、1以上の整数であり、入力画像信号の隣接する２つのフレーム間に挿入される補間フレームの番号である。例えば、図６（ｃ）の補間フレーム５５ａの調整ベクトルを求める際は、ｎ＝１が適用され、補間フレーム５５ｂの調整ベクトルを求める際は、ｎ＝２が適用される。

本実施例では、上記動きベクトルの検出及び調整ベクトルの生成は、１フレーム内の全ての画素について行うものとする。このようにして生成された調整ベクトルは、補間フレーム生成部３５に出力される。補間フレーム生成部３５では、調整ベクトルと、現フレーム信号及び前フレーム信号を用いて補間フレームを生成する。例えば、図６（ｂ）の例では、画素Ａが調整ベクトル５８に従い補間画素Ｃに移動するものとして、補間フレーム５５の補間画素Ｃの位置に、前フレームの画素Ａのデータをそのまま適用する。これを、全ての画素に対して行うことにより、補間フレームが作成される。図６（ｃ）の例も同様である。すなわち、画素Ａが調整ベクトル５８ａに従い補間画素Ｃａに移動するものとして、補間フレーム５５ａの補間画素Ｃａの位置に、前フレームの画素Ａのデータをそのまま適用する。また画素Ａが調整ベクトル５８ｂに従い補間画素Ｃｂに移動するものとして、補間フレーム５５ｂの補間画素Ｃｂの位置に、前フレームの画素Ａのデータをそのまま適用する。

次に、表示フレーム数信号３１１が入力画像信号のフレームレートの整数倍でない場合におけるベクトル調整の一例について、図７を参照しつつ説明する。図７は、表示フレーム数信号３１１が例えば７２（Ｈｚ）の場合のベクトル調整の一例を示している。ここでは、入力画像信号のフレーム７１の画素Ａが、入力画像信号のフレーム７２〜７５を図７（ａ）に示されるように移動するものとする。また、各フレーム７１〜７５間で動きベクトル検出部３３により検出された動きベクトルは、それぞれＭＶ１〜ＭＶ４とする。

フレームレートを６０Ｈｚから７２Ｈｚにする場合、入力画像信号５フレーム分の時間に、６フレーム分の情報が必要となる。このため、ベクトル調整部３４では、図７（ｂ）に示すように、動きベクトルＭＶ１を５／６倍したＡＭＶ１、ＭＶ２を５／８倍したＡＭＶ２、ＭＶ３を１／６倍したＡＭＶ３、ＭＶ４を３／８倍したＡＭＶ４を生成する。第１、６フレーム出力用としてベクトル値０のＡＭＶ０、ＡＭＶ６も出力する。

補間フレーム生成部３５では、上述した整数倍の場合と同様に、前記調整ベクトルを用いて、５フレーム分の情報から４つの補間フレーム７６〜７９を生成する。このようにして得られた調整値をＲＯＭ３１３に格納し、表示フレーム数信号３１１が入力画像信号の整数倍でない場合には、上記格納された調整値を利用してベクトル調整を行ってもよい。

補間フレーム生成部３５で生成された補間フレーム３６は、メモリＩ／Ｆ３７を介して画像メモリ２３に書き込まれる。メモリＩ／Ｆ３７は、表示フレーム数信号３１１に応じた数のフレームデータを読み出し、ＦＲＣ変換出力信号３８を出力する。表示フレーム数信号３１１が１２０の場合は、画像メモリ２３から前フレーム信号３２と図６（ｂ）の補間フレーム５５を読み出し、これらと現フレーム信号３１とを組み合わせてＦＲＣ変換出力信号３８を生成する。このとき、１枚の補間フレーム５５が前フレーム信号３２と現フレーム信号３１との間に挿入されるようにデータの配列が制御される。また、表示フレーム数信号３１１が１８０の場合は、画像メモリ２３から前フレーム信号３２と図６（ｃ）の補間フレーム５５ａ及び５５ｂを読み出し、これらと現フレーム信号３１とを組み合わせてＦＲＣ変換出力信号３８を生成する。このとき、２枚の補間フレーム５５ａ及び５５ｂが前フレーム信号３２と現フレーム信号３１との間に挿入されるようにデータの配列が制御される。

ここで、ＦＲＣ変換出力信号３８には、画像データのほかに、図４において説明した映像制御信号としての、画像データの伝送状態を制御する垂直同期信号、水平同期信号、ドットクロック信号、データイネーブル信号を含むものとする。

上記レート判定信号３１２が０の場合は、上述した動き検出処理及び補間フレームの生成処理は行われずに、ＦＲＣ変換出力信号３８として入力画像信号がそのまま用いられる。

このようにして生成されたＦＲＣ変換出力信号３８は、上述した処理によって表示部２８に表示され、動きが大きいシーンについては高いフレームレートで表示される。動きが小さいシーンについては、入力画像信号と同じフレームレートで画像が表示される。

上記の例では、動きが小さい場合の表示画像のフレームレートを入力画像信号と同じフレームレートとした。しかしながら、動きが小さい場合は、入力画像信号を、それよりも低いフレームレートに変換して画像を表示してもよい。例えば、特徴検出部２４は、動きが小さい場合はフレーム数指定信号２５として２０（Ｈｚ）を出力し、ＦＲＣ２６は、入力画像信号のフレームを１枚おきに間引く処理をしてフレームレートを１／３とする処理を行ってもよい。

上記間引きの方法の一例について図８を参照して説明する。図８（ａ）に示されるように、時間的に連続する第１〜４フレームが入力されるものとする。ここで、例えば表示フレーム数信号３１１が入力画像信号のフレームレートの１／３を示す場合、図８（ｂ）に示すように、第２フレーム８２と第３フレーム８３とが間引かれる。表示フレーム数信号３１１が入力画像信号のフレームレートの２／３を示す場合、図８（ｃ）に示すように、第２フレーム８２を間引き、第３フレームの読み出しタイミングを早める。この場合、第３フレーム８３を間引いて第２フレームの読み出しタイミングを遅らせるようにしてもよい。また、表示フレーム数信号３１１が入力画像信号のフレームレートと等しい場合は、そのままのフレームレートで出力する。

また、ＦＲＣ２６は、動きの大小に関わらず常にフレームレートを１２０Ｈｚにアップコンバートし、動きが小さい場合はそのアップコンバートされた信号から間引くようにしてもよい。

以上のように本実施例では、入力画像の特徴に応じてフレームレートを可変にし、画像動き量やシーンに適応したフレームレートで映像を視聴することが可能となる。また、動き量に応じてフレームレートを変動させるため、動きのない静止画像を表示する際にはフレームレートを下げることにより、駆動周波数を下げられ、結果的に消費電力を小さくすることが可能となる。

図９は、本発明の第２実施例かかる画像処理装置の一構成例を示すブロック図である。図９において、図２に示した第１実施例の構成要素と同一の構成要素には、同一の符号を付してその説明を省略する。

本実施例が第１の実施例と異なる点は、フレームレートの変換を番組のジャンル情報に応じて行うようにしたことにある。本実施例によれば、スポーツ、ニュース等の番組のジャンルに応じて最適なフレームレートで映像を視聴することができる。

ＢＳ／ＣＳ／地上デジタルテレビ放送では、映像／音声／データ放送以外に、ＥＩＴ（Event Information Table）と呼ばれる番組情報（例えば番組の名称、番組内容、番組放送日、番組放送開始時間、番組放送継続時間、放送チャンネル、番組ジャンルコードなど）が、テレビジョン放送信号に重畳して送出されている。ＢＳ／ＣＳ／地上デジタルテレビ放送受信装置では、この放送局から送出されるＥＩＴを利用して電子番組表機能をユーザに提供している。

本実施例は、上記ＥＩＴを利用してフレームレート変換を行うことを特徴とするものである。以下、本実施例の第１実施例と異なる部分についてその動作を説明する。図９に示される装置は、テレビジョン信号としての入力画像信号のほかに、ＥＩＴデータ９１が入力される。情報取得部としてのＥＩＴ処理部９２は、入力されたＥＩＴデータ９１を用いて入力画像信号に対応する番組のジャンルを判別する。そして、ＥＩＴ処理部９２は、その判別したジャンルに応じたフレーム数指定信号２５を生成してＦＲＣ２６に出力する。

具体的には、ＥＩＴデータ処理部９２は、図１０に示されるようなテーブルを保持しており、ＥＩＴ内のコンテント記述子で使用されている１バイトの番組ジャンルコードを用いて番組のジャンルに対応するフレーム数指定信号２５を生成する。上記テーブルは、「ニュース」等に対しては、動き量「小」が対応付けられており、「バラエティ」等に対しては、動き量「中」が対応付けられており、番組ジャンルが「スポーツ」等に対しては、動き量「大」が対応付けられている。そしてこのテーブルと、図３に示された特性を参照してフレーム数が決定される。ここで、図１０の動き量は「小」は、図３の第１所定値ＭＴ１以下の動き量、動き量は「中」は、第１所定値ＭＴ１〜第２所定値ＭＴ２の動き量、動き量は「大」は、第２所定値ＭＴ２以上の動き量とする。

例えば、受信したＥＩＴ内の番組ジャンルコードが「ニュース」である場合には、その動き量は図１０から「小」であり、この例では第１所定値ＭＴ１以下であるため、フレーム数指定信号２５として図３から６０Ｈｚを選択する。同様に、「バラエティ」の場合は、その動き量は図１０から「中」であるため、フレーム数指定信号２５として図３から１２０Ｈｚを選択する。「スポーツ」の場合は、その動き量は図１０から「大」であるため、フレーム数指定信号２５として図３から１８０Ｈｚを選択する。

このように、本実施例では、比較的動きの大きいスポーツ番組や映画の場合はフレームレートを入力画像信号のそれよりも大きくし、比較的動きの小さいニュース番組など場合はフレームレートを入力画像信号のままとすることができる。従って、本実施例によれば、画像のコンテンツに適したフレームレートで番組を視聴できる。

尚、図１１の例では、動き量を大・中・小の３段階で分類しているが、さらに細かい数値で分類してもよい。また、図１１に示されたテーブルの動き量が記述される欄に、フレーム数を直接記述してもよい。その場合は、図３に示される特性を用いる必要は無い。また、図１１のテーブルでは、番組ジャンルを１３種類に分類しているが、当然これに限るものではない。例えば、銃置き１３分類の下に、更にサブ分類を設け、このサブ分類毎に動き量やフレーム数を設定してもよい。

図１１は、本発明の第３実施例にかかる画像処理装置の一構成例を示している。本実施例では、画像処理装置として携帯端末装置を例にして説明する。また図８において、図２に示した第１実施例の構成要素と同一の構成要素に関しては、同一の符号を付してその説明を省略する。

近年、１セグ放送と呼ばれる携帯端末用のテレビジョン放送により、携帯電話などの携帯端末でデジタル放送が視聴可能になっている。本実施例は、そのような携帯端末に適用して好適なものである。すなわち本実施例は、無線による画像データ通信において、受信状態が悪く、スループットが低下した場合、または符号化誤り率（伝送ビットエラー率）が大きい場合に、画像のフレームレートを落とすことにより、コンテンツ視聴中の不快感を軽減させるものである。

本実施例について、以下、第１実施例と異なる部分についてその動作を説明する。図１１において、まずアンテナ１０１により１セグ放送などの画像信号を含む電波信号を受信する。受信した電波信号はＲＦ部１０２へ入力される。ＲＦ部１０２では、受信した電波信号をベースバンド信号に変換し、デコーダ１０４部へ出力する。デコーダ部１０４は、上記ベースバンド信号を復調して図２に示された解像度変換部２２へ出力する。

更に本実施例は、情報取得部としての信号状態取得部１０３を備えており、これにより受信した画像信号の受信状態を示すスループット（転送レート）、または伝送ビットエラー率を算出もしくは取得する。ここで、信号状態としてスループットを用いた場合の本実施例の動作について説明する。

信号状態取得部１０３は、算出したスループットと所定値とを比較し、スループットが所定値よりも小さい場合は、入力画像信号のフレームレートを低下させるためのフレーム数指定信号２５を出力する。例えば入力画像信号のフレームレートが６０Ｈｚであるならば、スループットが所定値よりも小さい場合、フレームレートを３０Ｈｚに変換するためフレーム数指定信号２５を出力する。ＦＲＣ２６は、このフレーム数指定信号２５に応じたフレームレートへ画像を変換し、タイミングコントローラ２７を介して表示部２８へ表示する。

次に、信号状態として伝送ビットエラー率を用いた場合の本実施例の動作について説明する。信号状態取得部１０３は、デコーダ部８４にて復号されて得られるデータに付加されている誤り訂正符号を用いて、受信した情報の誤り率を算出する。この誤り訂正符号としては、例えばＣＲＣ符号、リードソロモン符号が挙げられる。更に信号状態取得部１０３は、算出した伝送ビットエラー率と所定値とを比較し、伝送ビットエラー率が所定値よりも大きい場合は、入力画像信号のフレームレートを低下させるためのフレーム数指定信号２５を出力する。例えば入力画像信号のフレームレートが６０Ｈｚであるならば、伝送ビットエラー率が所定値よりも大きい場合、フレームレートを３０Ｈｚに変換するためフレーム数指定信号２５を出力する。ＦＲＣ２６は、このフレーム数指定信号２５に応じたフレームレートへ画像を変換し、タイミングコントローラ２７を介して表示部２８へ表示する。

このように、本実施例では、無線映像データ通信を行っている機器において、その信号状態（スループット、伝送ビットエラー率）に応じてフレームレートを変換している。これにより、画像信号の受信状態が悪く映像がフリーズしてしまうといったユーザへの不快感を軽減することができる。

尚、上記では、携帯端末装置を例にして本実施例を説明したが、これに限られるものではない。例えば、無線で画像信号を受信可能な機能を有する画像表示装置でも、本実施例を同様に適用可能である。また、本実施例では画像信号の伝送媒体を無線として説明を行ったが、有線でも適用可能であることは言うまでも無い。

第１実施例の動作の概念を示す図。 本発明に係る第１実施例の一構成例を示す図。 検出した動き量と表示フレーム数との関係を示す図。 タイミングコントロール２７、及び表示部２８の一例を示す図。 第１実施例のＦＲＣ２６の一具体例を示す図。 第１実施例に係るベクトル調整の一例を説明する図。 第１実施例に係るベクトル調整の他の例を説明する図。 フレームの間引き方法の一例を示す図。 本発明に係る第２実施例の一構成例を示す図。 第２実施例に用いられる番組ジャンルと動き量との対応を示すテーブルの一例を示す図。 本発明に係る第３実施例の一構成例を示す図。

符号の説明

２１…入力部、２２…解像度変換部、２３…画像メモリ、２４…特徴検出部、２５…フレーム数指定信号、２６…フレームレート変換部、２７…タイミングコントローラ、２８…表示部。３１…フレーム数比較部、３３…動きベクトル検出部、３４…ベクトル調整部、３５…補間フレーム生成部。

Claims (19)

1. 画像処理装置において、
   所定のフレームレートを有する画像信号が入力される入力部と、
   前記入力画像信号に関する情報を取得するための情報取得部と、
   前記入力画像信号のフレームレートを変換して出力するフレームレート変換部と、
   を備え、前記フレームレート変換部は、前記情報取得部で取得された前記入力画像信号の情報に基づいて、前記入力画像信号のフレームレート変換を行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記フレームレート変換部は、前記入力画像信号のフレーム信号を用いて補間フレームを生成し、該補間フレームを前記入力画像信号のフレーム列に挿入して前記入力画像信号よりも高いフレームレートを持つ出力信号を得るためのフレームレート変換処理を行うことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、前記情報取得部は、前記入力画像信号の情報として、前記入力画像信号の動きを検出する動き検出し、
   前記フレームレート変換部は、前記検出された動き量が所定値以上のときに、前記フレームレート変換処理を行うことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、前記入力画像信号のフレームレートは６０Ｈｚであり、前記出力信号のフレームレートは１２０Ｈｚであることを特徴とする画像処理装置。
5. 請求項２に記載の画像処理装置において、前記情報取得部は、前記入力画像信号の情報として、前記入力画像信号の動きを検出する動き検出し、
   前記フレームレート変換部は、前記検出された動き量が第１所定値以上のときは、前記入力画像信号のフレームレートよりも高い第１フレームレートを持つ出力信号を生成するための第１のフレームレート変換処理を行い、
   前記動き検出部で検出した動き量が前記第１所定値よりも大きい第２所定値以上のときは、前記第１フレームレートよりも高い第２フレームレートを持つ出力信号を生成するための第２のフレームレート変換処理を行うことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、前記入力画像信号のフレームレートは６０Ｈｚであり、前記第１のフレームレートは１２０Ｈｚであり、前記第２のフレームレートは１８０Ｈｚであることを特徴とする画像処理装置。
7. 請求項２記載の画像処理装置において、前記フレームレート変換部は、前記入力画像信号の複数のフレームから動きベクトルを検出し、該検出された動きベクトルを用いて前記補間フレーム生成することを特徴とする画像処理装置。
8. 請求項１記載の画像処理装置において、前記情報取得部は、前記入力画像信号の情報として、前記入力画像信号に対応する番組のジャンル情報を取得するものであり、
   前記フレームレート変換部は、該取得された番組のジャンル情報に応じて前記フレームレート変換処理を行うことを特徴とする画像処理装置。
9. 請求項１記載の画像処理装置において、前記入力画像信号が無線で伝送され、
   前記情報取得部は、前記入力画像信号の情報として、該入力画像信号の信号状態に関する情報を取得し、
   前記フレームレート変換部は、前記信号状態に関する情報に応じてフレームレート変換を行うことを特徴とする画像処理装置。
10. 請求項９記載の画像処理装置において、前記信号状態に関する情報は、前記入力映像信号のスループット、または伝送ビットエラー率の情報を含むことを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、前記信号状態に関する情報が、前記画像処理装置の外部から取得されることを特徴とする画像処理装置。
12. 請求項１に記載の画像処理装置において、更に、表示部と、前記フレームレート変換部からの出力信号が有するフレームレートに応じて、前記表示部の駆動周波数を切り替える駆動周波数切替部を備えることを特徴とする画像処理装置。
13. 画像処理装置において、
    所定のフレームレートを有する画像信号が入力される入力部と、
    前記入力画像信号の動きを検出する動き検出部と、
    前記入力画像信号のフレーム信号を用いて補間フレームを生成し、該補間フレームを前記入力画像信号のフレーム列に挿入して前記入力画像信号よりも高いフレームレートを持つ出力信号を得るためのフレームレート変換処理を行うフレームレート変換部と、
    前記フレームレート変換部からの出力信号に基づき画像の表示を行う表示部と、
    を備え、前記フレームレート変換部における前記フレームレート変換処理が、前記動き検出部で検出された画像の動きにより制御されることを特徴とする画像処理装置。
14. 請求項１３に記載の画像処理装置において、前記動き検出部で検出された動きが所定値よりも小さい場合、前記フレームレート変換部は、前記フレームレート変換処理を行わず、
    前記動き検出部で検出された動きが所定値よりも大きい場合、前記フレームレート変換部は前記フレームレート変換処理を実行することを特徴とする画像処理装置。
15. 請求項１４に記載の画像処理装置において、前記動き検出部で検出された動きが所定値よりも小さい場合、前記フレームレート変換部は、前記入力画像信号のフレームを間引く処理を行うことを特徴とする画像処理装置。
16. 画像処理装置において、
    番組のジャンル情報を取得する情報取得部と、
    前記情報取得部で取得された前記ジャンル情報に基づいて、前記番組に対応する画像信号のフレームレートを変換するフレームレート変換部と、
    前記フレームレート変換部からの出力信号に基づき画像の表示を行う表示部と、
    を備えることを特徴とする画像処理装置。
17. 請求項１６に記載の画像処理装置において、前記情報取得部で取得された前記ジャンル情報が映画またはスポーツ番組を示す場合、前記フレームレート変換部は第１のフレームレートを有する信号を出力し、
    前記情報取得部で取得された前記ジャンル情報がニュース番組を示す場合、前記フレームレート変換部は、前記第１のフレームレートよりも低い第２のフレームレートを有する信号を出力することを特徴とする画像処理装置。
18. 画像処理装置において、
    所定のフレームレートを有する画像信号が入力される入力部と、
    前記入力画像信号の信号状態に関する情報を取得する情報取得部と、
    画像処理装置において、
    前記情報取得部で取得された前記信号状態の情報に基づいて、前記入力画像信号のフレームレートを変換するフレームレート変換部と、
    前記フレームレート変換部からの出力信号に基づき画像の表示を行う表示部と、
    を備えることを特徴とする画像処理装置。
19. 請求項１８記載の画像処理装置において、前記信号状態に関する情報は、前記入力映像信号のスループット、または伝送ビットエラー率の情報を含むことを特徴とする画像処理装置。
    
    

Images