JP2008193730A - 画像表示装置及び方法、画像処理装置及び方法 - Google Patents

Abstract

【課題】 フレームレート変換（ＦＲＣ）部を備えた画像表示装置において、特にテロップ部分の画質劣化を防止する。
【解決手段】 ＦＲＣ部１００は、動きベクトル検出部１０１と内挿フレーム生成部１０２を備える。動きベクトル検出部１０１は、入力信号を１フレーム分遅延させるフレーム遅延部１、ベクトル検出に用いる初期変位ベクトルを選択して出力する初期変位ベクトル選択部２、該初期変位ベクトルを用いて動きベクトルを検出する動きベクトル演算部３、ベクトル検出結果を保存するベクトルメモリ４、ベクトルメモリ４から供給される前フレームのベクトル検出結果を用いて１つ以上のテロップの存在する領域とその移動速度を検出するテロップ情報検出部５とを備える。テロップ情報検出部５の検出結果を初期変位ベクトル選択部２及び／又は動きベクトル演算部３での処理に反映させることにより、テロップ部分のベクトル検出精度を向上させる。
【選択図】 図１

Description

本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法、画像処理装置及び方法に関し、特にテロップ部分の画質劣化を防止する画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。

動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１、非特許文献１参照）。

電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。

上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。

上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。

従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、非特許文献２参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。

そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて動き補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。

前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。

図１５は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１００と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル１０３と、ＦＲＣ部１００によりフレームレート変換された画像信号に基づいて液晶表示パネル１０３の走査電極及びデータ電極を駆動するための電極駆動部１０４と、を備えて構成される。

ＦＲＣ部１００は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。

上記構成において、動きベクトル検出部１０１は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。

図１６は、図１５に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１００は、動きベクトル検出部１０１より出力された動きベクトル情報を用いた動き補償により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。

図１７は、動きベクトル検出部１０１及び内挿フレーム生成部１０２による内挿フレーム生成処理について説明するための図である。動きベクトル検出部１０１は、図１７に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル１０５を検出する。すなわち、動きベクトル検出部１０１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル１０５を求める。次に、内挿フレーム生成部１０２は、求めた動きベクトル１０５を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル１０６を割り付ける。この内挿ベクトル１０６に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム１０７を生成する。

このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。

ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出方法としては、例えば、特許文献２に示された「テレビジョン画像の動き検出方法」や特許文献３に示された「画像動ベクトルの漸近的検出方法」などに記載のパターンマッチング法、または、特許文献４に示された「画像動き量検出方式」や特許文献５に示された「動画像の動き推定における初期偏位方式」などに記載の反復勾配法が、それぞれ提案されている。

特に、後者の反復勾配法による動きベクトル検出方式は、パターンマッチング法に比べて、小型でかつ精度良く、動きベクトルを検出することができる。すなわち、反復勾配法による動きベクトル検出方法は、デジタル化したテレビジョン信号のそれぞれのフレームを、例えば、横方向ｍ画素、縦方向ｎラインを含むｍ×ｎ画素の予め定めた所定の大きさのブロックに細分化して、それぞれのブロック毎に、その画面内での信号の勾配及び対応する画面間との信号差分値の物理的な対応などに基づいて、反復的な勾配法演算を施すことにより動き量を推定するものである。

ところで、動画像はフレーム間の相関が高く、また時間軸方向の連続性を持つ。あるフレームにおいて移動している画素あるいはブロックは、それに続くフレーム、あるいはそれより前のフレームにおいても、同様の動き量で移動している場合が多い。例えば、ボールが画面の右から左へと転がっていく様子を撮影した動画像の場合、ボールの領域は、どのフレームでも同様の動き量を持ちながら移動していく。すなわち、連続するフレーム間では、動きベクトルに連続性がある場合が多い。

このことから、前フレームでの動きベクトル検出結果を参照することで、その次のフレームでの動きベクトル検出をより容易に、あるいは、より正確に行うことが可能である。前記特許文献５においては、動き量を推定する際の初期値として、被検出ブロックに該当するブロックを含む周辺の複数のブロックにおいて既に検出されている動きベクトルの候補の中から、該被検出ブロックの動きベクトル検出用として最適なものを初期変位ベクトルとして選択し、該被検出ブロックの真の動きベクトルに近い値から勾配法演算を開始することにより、勾配法演算の演算回数を少なくして、例えば２回の勾配法演算にて真の動きベクトルを検出する方法が提案されている。

また、特許文献６に示された「動きベクトル検出回路」では、動きベクトル検出の精度を更に高めるために、少なくとも１フィールド以上又は１フレーム以上離れた画像信号の各ブロック間で動きの初期変位ベクトルを検出する方法が提案されている。さらに、ブロックマッチング法においても、前フレームでの動きベクトル検出結果を参照して探索順序を変えるなどして、効率的な動きベクトル検出を行うことが考えられる。このように、動きベクトルを検出する際に、既検出の動きベクトルを利用することによって、例えばフレームレート変換のリアルタイム処理が可能になる。

ところで、テレビ番組や映画では、字幕、所謂テロップが画像信号中に含まれることが少なくない。その中には、画面上で文字が水平や垂直方向にスクロール（移動）していくテロップも存在する。非特許文献３によれば、一般的なテレビ番組に含まれる被写体の動き速度は、主に２０ｄｅｇ／ｓｅｃ以下に分布し、中でも１０ｄｅｇ／ｓｅｃ以下の頻度が高いのに対し、テレビ番組のテロップのスクロール速度は平均１３．８ｄｅｇ／ｓｅｃ、最大３５．９ｄｅｇ／ｓｅｃで、１０〜２０ｄｅｇ／ｓｅｃのテロップ出現頻度が高いことがわかる。すなわち、スクロールするテロップはテレビ番組の中では一般的な被写体に比べてより速い速度で動く場合が多い。
特許第３２９５４３７号明細書 特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報 特開昭６２−２０６９８０号公報 特開平０６−２１７２６６号公報 石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６ 山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１） Fujine, et.al., "Real-Life In-Home Viewing Conditions for FPDs and Statistical Characteristics of Broadcast Video", Digest AM-FPD'06

通常、動画像においては、オブジェクトの動きが速いほどフレーム間の変化が大きくなり、動きベクトルを正確に推定することが困難になる。すなわち、ＦＲＣにおいては動きの速いオブジェクトほど正確に内挿画像を生成することが困難である。上述したように、テレビ番組の中で用いられるテロップは一般的な被写体に比べてより速い速度で動く場合が多いことから、テロップは正確に内挿画像を生成することが困難なオブジェクトといえる。

また、通常、カメラによって撮影された被写体は、その動きが速い場合にはカメラの光蓄積時間に起因するボケ（カメラボケ）を含む。このように元々ボケを含む画像については、ホールド型表示方式に起因する動きボケが目立ちにくい。また、ＦＲＣを行った場合に、もし動きベクトル検出に失敗して内挿画像に破綻が生じたとしても、その破綻は目立ちにくい。これに対して、テロップは後から画像合成されたものであるため、その動きが速くてもカメラボケなどは含まれない。このため、ホールド型表示方式に起因する動きボケが目立ちやすく、ＦＲＣが効果的に機能する一方、ＦＲＣの動きベクトル検出に失敗してテロップ部分の内挿画像に破綻が生じた場合、その破綻が目立ちやすい。

加えて、視聴者はテロップの内容を読み取ろうとするため、スクロールするテロップを注視して目で追いかける。このため、もしＦＲＣの動きベクトル検出に失敗して内挿画像の破綻がテロップ部分に現れた場合、視聴者にとって特に画質劣化が目立ちやすいという問題があった。

本発明は、上記課題に鑑みてなされたものであり、動き補償型のフレームレート変換（ＦＲＣ）処理に起因する、テロップ部分の画質劣化を防止することができる画像表示装置及び方法、画像処理装置及び方法を提供することを目的とする。

本願の第１の発明は、入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段と、前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出手段とを備え、前記レート変換手段が、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成部を有し、前記相関検出手段にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像表示装置において、前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出手段を備え、前記レート変換手段が、少なくとも前記テロップの領域に対しては、前記相関検出手段による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする。

本願の第２の発明は、前記テロップ情報検出手段が、画面を複数の領域に分割して、各領域に含まれる動き検出ブロックにおいて検出された動きベクトルの平均ベクトルの平均偏差を求め、これに所定の係数をかけた値を閾値とし、各領域に含まれる動き検出ブロックにおいて検出された動きベクトルの平均ベクトルと画面全体に含まれる動き検出ブロックにおいて検出された動きベクトルの平均ベクトルとの間の距離が前記閾値より大きい領域を、テロップの領域として検出することを特徴とする。

本願の第３の発明は、入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程と、前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出工程とを備え、前記レート変換工程が、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成工程を有し、前記相関検出工程にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像表示方法において、前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出工程を備え、前記レート変換工程が、少なくとも前記テロップの領域に対しては、前記相関検出工程による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする。

本願の第４の発明は、入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段と、前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出手段とを備え、前記レート変換手段が、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成部を有し、前記相関検出手段にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像処理装置において、前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出手段を備え、前記レート変換手段が、少なくとも前記テロップの領域に対しては、前記相関検出手段による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする。

本願の第５の発明は、入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程と、前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出工程とを備え、前記レート変換工程が、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成工程を有し、前記相関検出工程にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像処理方法において、前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出工程を備え、前記レート変換工程が、少なくとも前記テロップの領域に対しては、前記相関検出工程による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする。

本発明によれば、上述のような構成とすることによって、テロップ部分に対する動き補償処理をより正確に行うことが可能となり、この結果、テロップの存在する領域の画質向上を実現することができる。

以下、添付図面を参照しながら本発明の好適な画像表示装置の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。

（１）全体構成およびテロップ情報の利用方法
図１は、本発明の画像表示装置が備える動きベクトル検出部の一例を示す機能ブロック図で、図１５に示した画像表示装置のＦＲＣ部１００中に含まれる動きベクトル検出部１０１の内部構成を詳しく説明するためのものである。本実施形態の動きベクトル検出部１０１は、フレーム遅延部１、初期変位ベクトル選択部２、動きベクトル演算部３、ベクトルメモリ４、テロップ情報検出部５を有している。

本実施形態に係る動きベクトル検出部１０１は、フレーム毎に入力する入力画像信号を、予め定めた所定の大きさ、例えばｍ画素×ｎライン（ｍ，ｎは整数）からなる複数のブロックに分割して、分割した各ブロック毎に、フレーム遅延部１にて遅延させた例えば１フレーム前の入力画像信号において対応するブロックとの間における動きの方向及び大きさを表わす動きベクトルを求めるためのものであり、既に検出されて、ベクトルメモリ４に蓄積されている動きベクトルの中から選択した候補ベクトル群と、テロップ情報検出部５によって得られたテロップ情報とを併せ用いて、最適な動きベクトルを被検出ブロックにおける初期変位ベクトルとして選択する初期変位ベクトル選択部２と、該初期変位ベクトルを起点として、前記テロップ情報を用いて、例えば２回の勾配法演算により該被検出ブロックにおける真の動きベクトルを正しく求める動きベクトル演算部３とを備えている。

特に、本実施形態においては、テロップ情報検出部５を備え、これによって得られたテロップ情報を、初期変位ベクトル選択部２あるいは動きベクトル演算部３での処理に用いることに特徴がある。初期変位ベクトル選択部２においては、テロップの存在する領域とそれ以外の領域とで異なった処理を行うか、あるいは、テロップの移動速度／方向を考慮して初期変位ベクトルを選択するか、あるいは、その両方を組み合わせて処理を行う。また、動きベクトル演算部３では、テロップの存在する領域ではテロップの移動速度／方向を考慮したベクトル演算を行う。このような処理を行うことにより、特にテロップの存在する領域において、より正確な検出ベクトルが得られる。

上記テロップ情報検出部５では、入力画像信号に含まれるテロップの特徴量（テロップ情報）として、例えば画面中のどの動き検出ブロックがテロップに該当するかを示すテロップ領域情報と、テロップの移動速度／方向を示すテロップベクトル情報とが検出される。もし画面中にテロップが複数存在する場合は、そのそれぞれについて、テロップ領域情報とテロップベクトル情報とを検出するようにしても良い。このテロップ情報検出部５の詳細については後述する。

また、ここでは、動きベクトル演算部３における演算方法として反復勾配法を用いた例について説明するが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。

更に詳細に説明すると、図１に示す動きベクトル検出部１０１は、前述のように、初期変位ベクトル選択部２と、動きベクトル演算部３と、ベクトルメモリ４と、テロップ情報検出部５とを含んで構成されている。初期変位ベクトル選択部２及び動きベクトル演算部３には、それぞれ、現フレーム信号とフレーム遅延部１を介して１フレーム分遅延させた前フレーム信号とが供給されている。

初期変位ベクトル選択部２は、前フレームの動きベクトル演算で求められた既検出動きベクトルの中から被検出ブロックの動きに最もふさわしい値、例えば被検出ブロックの動きに最も近い値の動きベクトルを、勾配法演算の起点となる初期変位ベクトルとして選択する選択回路であり、前述した候補ベクトル群とテロップベクトルとの中から適切な動きベクトルを選択するものである。初期変位ベクトル選択部２では、例えば前述のように前フレーム信号をｍ画素×ｎラインのブロックに分割し、分割されたそれぞれのブロック毎に初期変位ベクトルを選択する基準として、現フレーム信号と前フレーム信号とを利用する。

初期変位ベクトル選択部２は、例えば図２に示すように、座標変換部２ａと減算部２ｂと、絶対値累積部２ｃと、選択部２ｄと、テロップベクトル追加判定部２ｅとを有している。初期変位ベクトル選択部２では、ベクトルメモリ４から順次読み出された被検出ブロックに対応するブロックの周辺８ブロックの動きベクトル、すなわち候補ベクトル群と、テロップ情報検出部５から出力された１つ以上のテロップベクトルおよびテロップ領域情報と、前フレーム信号と、現フレーム信号とが入力される。

テロップベクトル追加判定部２ｅでは、１つ以上のテロップベクトルおよびテロップ領域情報を入力し、処理中のブロックがあるテロップ領域に該当する場合に、該テロップ領域におけるテロップベクトルを座標変換部２ａに出力する。また、処理中のブロックが複数のテロップ領域に該当する場合は、該複数のテロップ領域それぞれにおけるテロップベクトル、すなわち複数のテロップベクトルを座標変換部２ａに出力する。

各候補ベクトル群の各動きベクトルおよびテロップベクトル追加判定部２ｅから出力された１つ以上のテロップベクトルが、初期変位ベクトルの候補となる。該初期変位ベクトルの候補はそれぞれの座標変換部２ａに供給されて、フレーム遅延部１から供給される前フレーム信号の対象ブロックをその動きベクトルにて変位させて、現フレームへの座標変換を行ない、該座標変換結果が、それぞれの減算部２ｂに供給される。

尚、本実施形態においては、候補ベクトル群は、被検出ブロックの周囲８ブロックで検出された前フレームの動きベクトルを、被検出ブロックの初期変位ベクトル選択用の候補ベクトル群としているが、これらの候補ベクトル群は、かかる例のみに限られるものではなく、その他の領域の既検出の動きベクトルから決定するように構成してももちろん構わない。

それぞれの減算部２ｂでは、座標変換部２ａにて座標変換した前フレーム信号と、入力された現フレーム信号との間で減算処理を施して、それぞれの画素毎の差分を算出し、それぞれの差分結果を絶対値累算部２ｃに供給する。それぞれの絶対値累算部２ｃでは、それぞれの画素の差分の絶対値を求めて、絶対値化した差分をブロックの画素数分累算し、その累積結果を、候補ベクトルの評価値として選択部２ｄにそれぞれ出力する。

上記の手順で得られる累積結果は、ＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｉｅｌｄ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれている。ＤＦＤとは、算出ベクトル（ここでは、候補ベクトル）の正確さの程度を示す指標であり、ＤＦＤの値が小さいほど、前フレームのブロックと現フレームの座標変換されたブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。

次に、各ブロック毎にそれぞれの累積結果（ＤＦＤ）を受け取った選択部２ｄは、各ブロックの累積結果（ＤＦＤ）を比較して、累積結果（ＤＦＤ）が最小となる候補ベクトル、すなわち最もふさわしいと思われる候補ベクトルを検出して、該候補ベクトルを初期変位ベクトルとして選択し、動きベクトル演算部３に供給する。この時、テロップ情報検出部５からのテロップ領域情報を用いて、被検出ブロックがテロップ領域に該当する場合は、テロップベクトルを優先して選ぶよう処理する。

より具体的には、例えば被検出ブロックがテロップ領域に該当する場合は絶対値累積部２ｃからの出力値のうち、テロップベクトルに対する累積結果（ＤＦＤ）を小さくするような重み付けを行う。例えば、テロップベクトルに対する累積結果に係数ｗ（０＜ｗ＜１）をかけることで、テロップベクトルに対する累積結果（ＤＦＤ）の値を小さくする方法を用いることができる。

なお、上記実施形態においては、テロップ情報検出部５で検出したテロップ領域情報とテロップベクトル情報との両方を、初期変位ベクトル選択部２で使用する方法について説明したが、いずれか片方の情報のみを用いる構成としても構わない。例えばテロップ領域の情報のみを用いる構成の例について、図３を用いて説明する。この構成では、テロップベクトルは入力しないため、図２におけるテロップベクトル追加判定部２ｅを除外している。本例では、選択部２ｄにおいて、絶対値累計部２ｃの出力に対し、処理中のブロックがテロップ領域以外の場合は全画面の平均ベクトルあるいは０ベクトルを優先させる重み付けを行い、処理中のブロックがテロップ領域の場合はそのような重み付けを行わない。このような処理を行うことで、テロップ領域では相対的に速いベクトルも選ばれやすくなる。すなわち動きの速いテロップに対応したベクトルが選ばれやすくなる。

また、例えばテロップベクトルの情報のみを用いる構成の例について、図４を用いて説明する。この構成では、テロップ領域情報を入力しない。このため、図２におけるテロップベクトル追加判定部２ｅも不要となり、全てのブロックに対して初期変位ベクトルの候補にテロップベクトルを加える。テロップの存在するブロックに対する初期変位ベクトル候補の中に、テロップベクトルと同じ或いは近いベクトルが存在するかどうかは、前フレームでのベクトル検出状況に依存しており、確実ではない。従って、別途テロップベクトルを候補として与えることで、より適切な初期変位ベクトルを選択する可能性を向上させることが可能である。

さらに、前述したようなテロップ領域情報、テロップベクトル情報の利用方法の１つ以上を任意に組み合わせて用いても良いことは言うまでもない。

動きベクトル演算部３では、それぞれのブロック毎に動きベクトルを検出するために、現フレーム信号と前フレーム信号とを利用し、初期変位ベクトル選択部２から供給された初期変位ベクトルを起点として、前フレーム信号からの現フレーム信号への真の動きベクトルを、勾配法演算より求める演算回路である。なお、勾配法演算による動きベクトル算出方法については、前述した各特許文献、非特許文献に詳しいので、ここではその説明を省略するが、初期変位ベクトルが、本実施形態においてどのように使われるかについて、反復勾配法を例にとって以下に説明する。

例えば、勾配法演算は、初期変位ベクトルＶ０（α，β）にて前フレーム信号を変位させた座標位置を起点にして、現フレームの動き量を推定した動き変位分Ｖ１を、次式（１），（２）に従って求める。

式１

式２

但し、式（１），（２）において、Ｖｘは動きベクトルＶ０とＶ１との差のｘ方向成分、Ｖｙは動きベクトルＶ０とＶ１との差のｙ方向成分である。ここで、Σは、ｍ画素×ｎライン、例えば８画素×８ラインのブロック領域内の全ての座標について演算して和を求めることを表している。また、Δｘは注目座標における画像輝度のｘ方向の勾配（ｘ方向の隣接画素との差分値）、Δｙは注目座標における画像輝度のｙ方向の勾配（ｙ方向の隣接画素との差分値）、ＤＦＤ（ｘ，ｙ）は前フレームの座標（ｘ，ｙ）と現フレームの座標（ｘ＋α，ｙ＋β）とにおけるフレーム間差分値を示すものであり、前述したものと同一の算出方法である。また、ｓｉｇｎ（Δｘ）、ｓｉｇｎ（Δｙ）はそれぞれ、＋１，−１，０のいずれかにて表わされる勾配の方向を示す符号である。

例えば、２回の反復勾配法の場合、図５に示すように、初期変位ベクトルをＶ０として、１回目の変位分Ｖ１及び２回目の変位分Ｖ２を求めて、それらをベクトル加算した動きベクトルＶを、次の式（３）により求める。

式３

式（３）により、図６に示すように、前フレームにて座標（ｍ１，ｎ１）のブロックに存在していた画像が、現フレームにおいて座標（ｍ１＋α０，ｎ１＋β０）の座標位置のブロックに移動した際に、その動き量が、ベクトルＶとして求められる。ここで、図６は、１フレーム前の前フレームと現フレームとの間で移動した画像の動きベクトルＶを具体的に説明するための模式図である。

このようにして、図１における動きベクトル演算部３で求められた動きベクトルＶは、ベクトルメモリ４に蓄積され、次のフレーム以降の動きベクトル算出のために用いる初期変位ベクトル選択用の候補ベクトルとして利用される。

以上のように、画面全体の動き特徴を抽出し、画面全体の動き特徴に基づいて補償した初期変位ベクトルを適用することにより、初期変位ベクトルの誤検出を防ぎ、例えば２回程度の少ない反復勾配法による演算回数で、現フレーム信号のブロック毎の真の動きベクトルを正しく算出することが可能になる。

ここで、動きベクトル演算部３にはテロップ情報検出部５からの１つ以上のテロップ領域情報が入力されており、被検出ブロックがテロップ領域に該当する場合に、特別な処理を行っても良い。例えば、テロップベクトルの方向が水平方向であった場合、ｘ値のみで反復勾配法を実施し、最終的に得られる動きベクトルを水平方向の動きに限定しても良い。あるいは、テロップベクトルの方向が垂直方向であった場合、ｙ値のみで反復勾配法を実施し、最終的に得られる動きベクトルを垂直方向の動きに限定しても良い。これは、テロップベクトルの方向に従って演算を行うことで、テロップの動きにより追従させやすくするためである。

尚、上記の説明では、動きベクトル演算部３における動きベクトルの算出方法としては、１乃至複数回の勾配法演算を用いる反復勾配法を採用しているが、これに限るものではなく、パターンマッチング法やその他の演算方法を用いても良い。

ベクトルメモリ４は、各ブロック毎に既に検出された少なくとも１フレーム分の動きベクトルを蓄積するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含む記憶部であり、その入力端子が動きベクトル演算部３の出力端子に接続されていて、例えば８画素×８ラインに分割された各ブロックの位置に応じたアドレスに、動きベクトル演算部３にて該当ブロックで検出された動きベクトルを順次更新して蓄積するように構成されている。

上述の手順により、動きベクトル検出部１０１から各ブロック毎の動きベクトル検出結果が出力される。

そして、内挿フレーム生成部１０２では、各ブロック毎の動きベクトル検出結果を用いて、内挿画像を生成する。この時、画面の全領域において動きベクトルを用いた内挿画像生成を行っても良いし、また、テロップ領域では動きベクトルを用いた内挿画像生成を行い、その他の領域では動きベクトルを用いた内挿画像生成を行わず、例えば前フレーム或いは後フレームと同じ画像を繰り返し出力するようにしても良い。

すなわち、テロップが検出されていない時は、画面全体にわたって動き補償処理を行わず、テロップが検出されている時は、テロップ領域に対してのみ動き補償処理を行い、それ以外の領域に対しては動き補償処理を行わないようにしても良い。

前述のように、通常カメラによって撮影された被写体は、その動きが速い場合にはカメラの光蓄積時間に起因するボケ（カメラボケ）を含む。元々存在するカメラボケが多ければ、ＦＲＣによって動きボケを低減したとしてもその効果はわかりにくい。これに対して、テロップは後から画像合成されたものであるため、その動きが速くてもカメラボケなどは含まれず、ＦＲＣによる動きボケ改善効果が高い。よって、テロップ領域のみで動き補償処理を行うだけでも、視覚的には大きな改善効果を得ることができ、且つ、内挿画像生成処理をテロップ領域のみに限定することで、内挿画像を生成するための処理量を削減することができる。

また、このようにテロップ領域のみに対して動き補償による内挿画像生成を行った場合、テロップ領域とそれ以外の領域との境界において動き補償処理の有無が明らかに画像に現れて目立つ場合がある。これを軽減するために、テロップ領域とそれ以外の領域との境界部分に対してはローパスフィルタをかける等のフィルタ処理を行うことにより、動き補償処理の強度を連続的に変化させて境界が目立つのを抑制することが望ましい。

ここで、動き補償内挿処理を施さないテロップ領域以外の領域に対しては、上述したとおり、動き補償内挿処理を行うのではなく、同一フレームの画像信号を高速連続出力して、すなわち、入力画像信号のフレーム間に、該フレームの画像信号を挿入することにより、フレームレート変換するようにしても良いし、或いは、前後フレームから線形補間処理により生成した画像を内挿して、すなわち、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿することにより、フレームレート変換するようにしても良い。尚、線形補間処理とは、前後フレームの画像信号から、フレーム内挿比αによる線形補間により内挿フレームを得るものである。

（２）テロップ情報検出方法の例
上述のとおり、テロップ情報検出部５では、ベクトルメモリ４に蓄積された前フレームの動きベクトル演算で求められた既検出動きベクトルを用いて、テロップ情報を検出する。このテロップ情報検出部５の具体的な実現方法の一例について、以下詳細に説明する。

テロップ検出に使える情報は、ベクトルメモリ４に蓄積された各動き検出ブロックの動きベクトルと、各動き検出ブロックのテクスチャの情報のみである。このうち、テロップの色は様々であるため、テクスチャの情報は補助的にしか使えない。このため、各動き検出ブロックの動きベクトルの情報から、テロップ領域情報とテロップベクトル情報とを検出することが必要となる。

また、映像の中には、テロップ以外にも例えば人物や自動車などの様々な動いているオブジェクトが存在する。カメラのパンによって画面全体が相対的に動いている場合もある。このため、例えば動きの速い領域がテロップ領域であるといったような単純な判定、すなわち動きベクトルの絶対量からテロップか否かを判定することは困難である。

このため、本実施形態においては、画面全体の平均ベクトルと各動き検出ブロックの動きベクトルの差分量、動きベクトルの平均偏差といった、統計的な情報を用いてテロップ領域とテロップ速度とを検出する。

図７は、画像をベクトル検出のためのブロックに分解した様子を示している。画像全体の大きさは、幅Ｗａピクセル、高さＨａピクセルである。この画像を、幅Ｗｂピクセル、高さＨｂピクセルの動き検出ブロックで分割すると、ブロック数は横ｍブロック、縦ｎブロックである。通常、画像全体のピクセル数は整数のブロック数で割り切れるようにする。すなわち、Ｗａ＝Ｗｂ×ｍ、Ｈａ＝Ｈｂ×ｎである。

例えば、ハイビジョン解像度（Ｗａ＝１９２０ピクセル、Ｈａ＝１０８０ピクセル）の画像で、ブロックの大きさが８×８ピクセルの場合、ｍ＝２４０、ｎ＝１３５となる。各動き検出ブロックをＢ（ｉ，ｊ）と呼び、各動き検出ブロックで検出された動きベクトルを（Ｖ＿ｘ（ｉ，ｊ），Ｖ＿ｙ（ｉ，ｊ））とする。

ここで、テロップは水平方向に動くものが多いため、本実施形態では、水平方向に動くテロップを検出対象とする。水平方向に動くテロップは、図８に示すように、画面上では横長の帯状の領域に位置することになる。そこで、図９に示すように、画面を横長の帯状の領域Ｌ（１）からＬ（ｎ）のｎ個に分割し、それぞれの領域がテロップを含むか否かを判定する。

帯状領域Ｌ（ｊ）は、図７における動き検出ブロックＢ（１，ｊ）からＢ（ｍ，ｊ）を含む。Ｌ（ｊ）に含まれる動き検出ブロックの動きベクトルの平均ベクトルを、（Ｖａｖｅ＿ｘ（ｊ），Ｖａｖｅ＿ｙ（ｊ））とすると、

式４

式５

である。

また、全動き検出ブロックの動きベクトルの平均ベクトル（全体平均ベクトル）を、（Ｖａｖｅ＿ｘ，Ｖａｖｅ＿ｙ）とすると、

式６

式７

である。

さてここで、図１０に示すように、画面をテロップが含まれる領域とそれ以外の領域とに分けて考える。画面の高さを１とした場合のテロップ領域の高さをｋとする。ただし、テロップ領域が画面の半分を超えることは無いと仮定する。すなわち、

式８

と仮定する。また、テロップ以外の領域の高さは１−ｋとなる。なお、テロップ以外の領域がテロップ領域によって２つ以上に分割されているときは、それぞれの高さを加えるものとする。

次に、テロップ領域に含まれる動き検出ブロックの動きベクトルの平均を（Ｖｔ＿ｘ，Ｖｔ＿ｙ）、テロップ以外の領域（本願明細書では背景領域と呼ぶ）に含まれる動き検出ブロックの動きベクトルの平均を（Ｖｂ＿ｘ，Ｖｂ＿ｙ）とすると、テロップ領域の平均ベクトル、テロップ以外の領域の平均ベクトル、および画面全体の平均ベクトルとの間には、

式９

式１０

という関係が成り立つ。

実際は、テロップ領域内の全てのブロックがテロップの移動速度と同一の動きベクトルを持つとは限らない。例えばテロップの文字が途切れている部分のブロックは、テロップの移動速度以外の動きベクトルを持つ。しかしながら、本実施形態では、テロップ領域内のブロックは全てテロップの移動速度を持つとひとまず仮定し、以下の説明を進める。この仮定については後述する。

本実施形態においては、水平方向に動くテロップを検出対象としているため、以下では各平均ベクトルについても水平方向の値、すなわちベクトルのｘ値に注目して説明を進める。

式（９）におけるテロップ領域の平均ベクトルＶｔ＿ｘ、テロップ以外の領域の平均ベクトルＶｂ＿ｘ、および全体平均ベクトルＶａｖｅ＿ｘの関係を図示すると、図１１、図１２に示すようになる。

図１１は、Ｖｂ＿ｘ＜Ｖｔ＿ｘの場合を図示したものである。Ｖａｖｅ＿ｘはＶｂ＿ｘとＶｔ＿ｘとの間に位置し、Ｖｂ＿ｘとＶａｖｅ＿ｘとの間の距離と、Ｖａｖｅ＿ｘとＶｔ＿ｘとの間の距離との比は、ｋ：１−ｋになる。この関係は、Ｖａｖｅ＿ｘ、Ｖｂ＿ｘ、Ｖｔ＿ｘの値の大きさや正負によらず成り立つ。また、式（８）の条件より、

式１１

が常に成り立つ。よって、Ｖｂ＿ｘとＶａｖｅ＿ｘとの間の距離は、常にＶａｖｅ＿ｘとＶｔ＿ｘとの間の距離より小さい。

図１２は、Ｖｔ＿ｘ＜Ｖｂ＿ｘの場合を図示したものである。Ｖａｖｅ＿ｘはＶｔ＿ｘとＶｂ＿ｘとの間に位置し、Ｖｔ＿ｘとＶａｖｅ＿ｘとの間の距離と、Ｖａｖｅ＿ｘとＶｂ＿ｘとの間の距離との比は、１−ｋ：ｋになる。この関係は、Ｖａｖｅ＿ｘ、Ｖｔ＿ｘ、Ｖｂ＿ｘの値の大きさや正負によらず成り立つ。また、式（８）の条件より式（１１）が常に成り立つ。よって、図１１の場合と同様、Ｖｔ＿ｘとＶａｖｅ＿ｘとの間の距離は、常にＶａｖｅ＿ｘとＶｂ＿ｘの間の距離より小さい。

すなわち、Ｖｂ＿ｘ＜Ｖｔ＿ｘの場合でもＶｔ＿ｘ＜Ｖｂ＿ｘの場合でも、Ｖｂ＿ｘとＶａｖｅ＿ｘとの間の距離は、常にＶａｖｅ＿ｘとＶｔ＿ｘとの間の距離より小さい。つまり、

式１２

が常に成り立つ。

そこで、ある閾値Ｔを用意し、

式１３

となるように定める。この閾値Ｔを用いて、図９における各帯状領域Ｌｊに含まれる動き検出ブロックの動きベクトルの平均ベクトルｘ値Ｖａｖｅ＿ｘ（ｊ）に関して、Ｖａｖｅ＿ｘ（ｊ）とＶａｖｅ＿ｘとの距離と閾値Ｔとを比較し、Ｔより大きければ、その帯状領域Ｌｊはテロップ領域に属する可能性の高い領域であると判定することができる。すなわち、ある帯状領域Ｌｊに関して、

式１４

が成り立つと、その帯状領域をテロップ領域と判定する。

ここで問題となるのは、閾値Ｔをどのように設定するかということである。以下でその方法について説明する。

閾値Ｔの設定条件は、式（１３）に示した通りである。この式（１３）から、閾値Ｔを決めるためには、｜Ｖｂ＿ｘ−Ｖａｖｅ＿ｘ｜と｜Ｖｔ＿ｘ−Ｖａｖｅ＿ｘ｜とに関する情報が必要であることがわかるが、Ｖｔ＿ｘとＶｂ＿ｘとを直接求めることはできない。なぜなら、どの領域がテロップ領域であるか、予めわからないからである。

ここで、｜Ｖｂ＿ｘ−Ｖａｖｅ＿ｘ｜と｜Ｖｔ＿ｘ−Ｖａｖｅ＿ｘ｜とはそれぞれ、全体平均ベクトルと背景領域の平均ベクトルとの差分、全体平均ベクトルとテロップ領域との平均ベクトルの差分であり、その値は動きベクトルのばらつき具合と関連が深い。そこで、データのばらつきの尺度の１つである平均偏差を用いて、閾値Ｔの値を決めることにする。

各帯状領域Ｌｊの平均ベクトルＶａｖｅ＿ｘ（ｊ）の平均偏差をＭとすると、Ｍは、

式１５

によって算出される。平均偏差Ｍに定数αをかけ、

式１６

と置き、以下のようにして適切な定数αを求める。

まず、Ｖｂ＿ｘ＜Ｖｔ＿ｘの場合について考える。この時、平均偏差ＭをＶｔ＿ｘ、Ｖｂ＿ｘを用いて表すと、

式１７

と表せる。式（１７）に式（９）を代入して整理すると、

式１８

が得られる。

式（１３）および式（１６）から、

式１９

である。

一方、Ｖｂ＿ｘ＜Ｖｔ＿ｘの条件および式（９）から、

式２０

式２１

が得られる。

式（１９）に式（１８）、式（２０）、式（２１）を代入して整理すると、

式２２

という条件式が得られる。

尚、詳細な記述は省くが、Ｖｔ＿ｘ＜Ｖｂ＿ｘの場合も条件式として式（２２）が得られる。

式（２２）によって、テロップ領域の高さｋを仮定することで、定数αの値を定めることができる。仮に、ｋ＝０．２とした場合、式（２２）に代入して、

式２３

という条件が得られる。定数αをこの範囲内に設定すれば、ｋ＝０．２程度のテロップ領域が存在する場合に、それを検出することができる。

また、仮にｋ＝０．４とした場合、同様に式（２２）に代入して、

式２４

という条件が得られる。すなわち、より幅の広いテロップ領域が存在する場合まで対応しようとすると、定数αの設定可能範囲は狭くなることがわかる。

以上のように、テロップ領域の高さｋの値を仮定することで、定数αの設定可能範囲を導くことができる。実際の映像を解析してテロップ領域の高さｋの傾向を求めてｋを定め、それによって求まった定数αの設定可能範囲に従って、定数αを定めればよい。

定数αを定め、また式（１５）より平均偏差Ｍを求めれば、式（１６）から閾値Ｔの値を決定することができる。ここで、平均偏差Ｍは、検出された動きベクトルから算出されることに注意が必要である。すなわち、検出された動きベクトルの状況によって、つまりは映像中のオブジェクトの動きによって、閾値Ｔの値は毎フレームごとに変わる。

閾値Ｔの値が求まれば、式（１４）に従って、各帯状領域Ｌｊの平均ベクトルのｘ値Ｖａｖｅ＿ｘ（ｊ）に対する判定処理を行い、該帯状領域がテロップ領域であるか否かを判定することができる。

さらに、各帯状領域Ｌｊに対して判定を行い、どの帯状領域がテロップ領域であるかが確定すれば、テロップ領域に含まれる動き検出ブロックの動きベクトルの平均（Ｖｔ＿ｘ，Ｖｔ＿ｙ）を算出することができる。これがすなわち、テロップベクトルである。

ここで、上述した説明の中で、テロップ領域内のブロックは全てテロップの速度を持つと仮定したことについて考察を加える。実際はテロップ領域内の全てのブロックがテロップの速度と同一の動きベクトルを持つとは限らない。テロップ領域中でテロップの文字を含まないブロックが多いほど、例えばテロップの文字が疎に存在する場合は、テロップ領域の平均ベクトルＶｔ＿ｘは、真のテロップベクトルよりも、全体平均ベクトルＶａｖｅ＿ｘに近い値となる。また同時に、テロップ以外の領域の平均ベクトルＶｂ＿ｘも、全体平均ベクトルＶａｖｅ＿ｘに近い値となる。すなわち、｜Ｖｔ＿ｘ−Ｖａｖｅ＿ｘ｜も｜Ｖｂ＿ｘ−Ｖａｖｅ＿ｘ｜も、値が小さくなる。

このことから、式（１３）あるいは式（１９）によって設定範囲が制限されている閾値Ｔの値も小さく設定する、すなわちαの値を小さく設定しなければ、テロップ領域を検出することができなくなる。しかし、閾値Ｔを小さくすると、テロップではない領域が誤検出される可能性も増加する。

一方、テロップ領域中でテロップの文字を含まないブロックが少ない場合、例えばテロップの文字が密に存在する場合は、ほぼ上記の検討どおりの動作が期待できる。

このように、実際に適用する際には、どの程度文字が疎なテロップまで検出対象とするか、どの程度の誤検出を許容するかを勘案し、定数αを決定する必要がある。

尚、上記実施形態においては、テロップを水平方向に動くものと仮定してテロップを検出したが、縦方向や斜め方向に動く場合も、同様の手法で検出することが可能である。その場合は、帯状領域の分割の仕方を、検出したい方向に合わせて設定すればよい。例えば縦方向に移動するテロップを検出したい場合は、帯状領域も縦長の領域に設定すれば良い。

次に、画面内に複数のテロップが存在する場合のテロップ情報検出方法について述べる。例えば図１３に示すように、画面を上下で２つのテロップ検出領域１、２に分割し、それぞれの領域において前述のテロップ検出方法を実行することで、テロップ領域情報Ａ、テロップベクトル情報Ｖａとテロップ領域情報Ｂ、テロップベクトル情報Ｖｂとの２つのテロップ情報を検出することができる。

あるいは、例えば図１４に示すように、水平方向のテロップ検出処理と垂直方向のテロップ検出処理を並列して実行して、水平方向のテロップ領域情報Ｃ、テロップベクトル情報Ｖｃと垂直方向のテロップ領域情報Ｄ、テロップベクトル情報Ｖｄとの２つのテロップ情報を検出するようにしてもよい。ここで、テロップ領域Ｃとテロップ領域Ｄとの共通領域は、前述のベクトル検出手段の説明における、処理中のブロックが複数のテロップ領域に該当する場合、に相当する。

本実施形態によれば、以上のような手順により、１つ以上のテロップ情報を検出することができる。検出されたテロップ情報を用いた処理は、既に上記で述べたとおりである。

なお、前述のテロップ情報検出手段は一例であり、その他の手段を用いてテロップ情報を検出する構成とした場合であっても、本発明における動きベクトル検出方法および内挿画像生成方法に適用することが可能であることは言うまでも無い。

ここで、テロップ情報検出部５への入力として、ベクトルメモリ４に蓄積された各動き検出ブロックの動きベクトルを用いていることに注意が必要である。ベクトルメモリ４に蓄積されている各動き検出ブロックの動きベクトルは、１フレーム前の動きベクトル検出結果である。すなわち、テロップ情報検出部５の処理は、１フレーム前の動きベクトル検出結果を用いて行われている。テロップは通常、複数のフレームに渡って同一の位置に存在するため、上記のように１フレーム前の動きベクトル検出結果を用いても大きな問題にはならない。

以上詳述したとおり、本実施形態に係る動きベクトル検出方法においては、テロップの特徴量としてテロップ領域とテロップベクトルとを検出し、その結果を初期変位ベクトル選択や動きベクトル演算に反映させて動き補償処理を制御することにより、テロップ領域の動きベクトル検出をより正しく行うことが可能となり、その結果、テロップ領域の画質改善を図ることができる。

ところで、入力画像信号において、シーンチェンジ等により連続するフレーム間の相関が途切れる場合がある。この場合は、ベクトルメモリ４に蓄積された１フレーム前の動きベクトル検出結果を参照すると、逆にベクトル誤検出の原因となる。このため、シーンチェンジ等により連続するフレーム間の相関が途切れた場合は、それより前のフレームにおける動きベクトル検出結果をリセットするという方法が、従来より提案されている（例えば特開２０００−３３３１３４号公報）。

しかしながら、シーンチェンジの存在する画像にスクロールするテロップが重畳されている入力画像信号の場合、前記のようなリセット処理を行うと、テロップの存在する領域の動きベクトルもリセットされ、テロップが滑らかにスクロールする内挿画像が得られなくなる。従って、テロップ領域として検出された領域については、入力画像信号にシーンチェンジが発生した場合であっても、その他の領域とは異なる動き補償処理を行い、テロップが滑らかにスクロールする内挿画像を得られるようにするのが望ましい。

より具体的には、シーンチェンジが発生した場合であっても、テロップ領域に対しては上記のような動きベクトル検出結果のリセット処理を行わず、継続してベクトル検出処理を続けることで、シーンチェンジが発生した場合もテロップが滑らかにスクロールする内挿画像を得ることが可能になるとともに、テロップ領域以外の領域に対しては、シーンチェンジが発生した場合に上記リセット処理を行い、ベクトルの誤検出を防止することが可能となり、テロップ領域とそれ以外の領域との画質の両立を図ることができる。

本発明の画像表示装置は、表示パネルとして液晶パネルを用いた液晶ディスプレイばかりでなく、有機ＥＬディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用することが可能である。また、入力画像信号としては、テレビジョン放送信号に限らず、外部メディアから再生された画像信号など種々の画像信号であってもよいことは言うまでもない。

また、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像処理プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。

本発明の一実施形態に係る画像表示装置が備えるフレームレート変換部における動きベクトル検出部の構成例を示す機能ブロック図である。 図１における初期変位ベクトル選択部の構成例を示す機能ブロック図である。 図１における初期変位ベクトル選択部の別の構成例を示す機能ブロック図である。 図１における初期変位ベクトル選択部のさらに別の構成例を示す機能ブロック図である。 ２回の反復勾配法による動きベクトルＶの算出方法を説明するためのベクトル図である。 １フレーム前の前フレームと現フレームとの間で移動した画像の動きベクトルＶを具体的に説明するための模式図である。 画像を複数のブロックに分解した様子を示す説明図である。 画面上で水平方向に移動するテロップを示す説明図である。 画面を複数の帯状領域に分割した様子を示す説明図である。 画面をテロップが含まれる領域とそれ以外の領域とに分解した様子を示す説明図である。 テロップの領域の平均ベクトル、テロップ以外の領域の平均ベクトル、画面全体の平均ベクトルとの関係を示す説明図である。 テロップの領域の平均ベクトル、テロップ以外の領域の平均ベクトル、画面全体の平均ベクトルとの関係を示す説明図である。 ２つのテロップ情報を検出する場合の一例を示す説明図である。 ２つのテロップ情報を検出する場合の別の例を示す説明図である。 従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。 図１５に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。 動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。

符号の説明

１ フレーム遅延部
２ 初期変位ベクトル選択部
２ａ 座標変換部
２ｂ 減算部
２ｃ 絶対値累計部
２ｄ 選択部
２ｅ テロップベクトル追加判定部
３ 動きベクトル演算部
４ ベクトルメモリ
５ テロップ情報検出部
１００ フレームレート変換（ＦＲＣ）部
１０１ 動きベクトル検出部
１０２ 内挿フレーム生成部
１０３ 液晶表示パネル
１０４ 電極駆動部

Claims (5)

1. 入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段と、
   前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出手段とを備え、
   前記レート変換手段は、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成部を有し、
   前記相関検出手段にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像表示装置において、
   前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出手段を備え、
   前記レート変換手段は、少なくとも前記テロップの領域に対しては、前記相関検出手段による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする画像表示装置。
2. 前記請求項１に記載の画像表示装置において、
   前記テロップ情報検出手段は、画面を複数の領域に分割して、各領域に含まれる動き検出ブロックにおいて検出された動きベクトルの平均ベクトルの平均偏差を求め、これに所定の係数をかけた値を閾値とし、各領域に含まれる動き検出ブロックにおいて検出された動きベクトルの平均ベクトルと画面全体に含まれる動き検出ブロックにおいて検出された動きベクトルの平均ベクトルとの間の距離が前記閾値より大きい領域を、テロップの領域として検出することを特徴とする画像表示装置。
3. 入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程と、
   前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出工程とを備え、
   前記レート変換工程は、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成工程を有し、
   前記相関検出工程にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像表示方法において、
   前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出工程を備え、
   前記レート変換工程は、少なくとも前記テロップの領域に対しては、前記相関検出工程による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする画像表示方法。
4. 入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段と、
   前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出手段とを備え、
   前記レート変換手段は、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成部を有し、
   前記相関検出手段にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像処理装置において、
   前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出手段を備え、
   前記レート変換手段は、少なくとも前記テロップの領域に対しては、前記相関検出手段による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする画像処理装置。
5. 入力画像信号のフレーム間あるいはフィールド間に内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換工程と、
   前記入力画像信号の連続するフレームあるいはフィールド間の相関の有無を検出する相関検出工程とを備え、
   前記レート変換工程は、前記入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して内挿画像信号を生成する内挿画像生成工程を有し、
   前記相関検出工程にて相関が無いと検出されたフレーム間あるいはフィールド間に対しては、前記入力画像信号に動き補償処理を施さずに生成した画像信号を挿入することによって、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像処理方法において、
   前記入力画像信号に含まれる、所定方向に移動するテロップの領域を検出するテロップ情報検出工程を備え、
   前記レート変換工程は、少なくとも前記テロップの領域に対しては、前記相関検出工程による検出結果にかかわらず、前記入力画像信号に動き補償処理を施して生成した内挿画像信号を、前記入力画像信号のフレーム間あるいはフィールド間に内挿することを特徴とする画像処理方法。