JP2012015753A - 映像信号補間装置、映像表示装置及び映像信号補間方法 - Google Patents

Abstract

【課題】ぼやけを低減した、好適な映像信号補間処理を行う映像信号補間装置、映像表示装置及び映像信号補間方法を提供する。
【解決手段】連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成手段と、前記動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する解析手段と、前記解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス手段と、を備える。
【選択図】図１

Description

本発明の実施形態は、映像信号補間装置、映像表示装置及び映像信号補間方法に関する。

従来、液晶ディスプレイ等においては、映像の動きを滑らかに表現するため、フレーム補間機能が用いられている。係るフレーム補間機能は、入力されたフレーム単位の映像信号から補間フレームを生成し、入力フレームの映像信号と補間フレームの映像信号とを交互に倍速で表示させるものである。

上記補間フレームの生成に関しては、時間的に連続する二枚の画像フレームに含まれた物体の動きを動きベクトルとして検出し、この検出した動きベクトルを用いることが知られている。また、従来、動きベクトルの発生頻度を表すヒストグラムを生成し、このヒストグラムから発生頻度が所定の範囲に含まれる動きベクトルを抽出することが行われている。

特開２００８−２９３０９７号公報

しかしながら、状来の技術では、時間的に連続する二枚の画像フレーム間にパンやチルトにより生じた所定方向への一様な動きが存在する場合、この一様な動きにより生成される補間フレームに画像のぼやけが発生する可能性があった。

本発明は、上記に鑑みてなされたものであって、ぼやけを低減した、好適な映像信号補間処理を行う映像信号補間装置、映像表示装置及び映像信号補間方法を提供することにある。

実施の形態の映像信号補間装置は、動きベクトル検出手段と、補間フレーム生成手段と、解析手段と、エンハンス手段とを備えている。動きベクトル検出手段は、連続する二つの画像フレームから動きベクトルを検出する。補間フレーム生成手段は、動きベクトル検出手段で検出された動きベクトルに基づいて、二つの画像フレームから補間フレームを生成する。解析手段は、動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する。エンハンス手段は、解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施す。

図１は、本実施形態に係る映像信号補間装置の構成を示すブロック図である。 図２は、本実施形態のベクトルヒストグラム生成部が生成するベクトルヒストグラムの一例を示す図である。 図３は、エンハンサが行うエンハンス処理の一例を説明するための図である。 図４は、エンハンサが行うエンハンス処理の他の例を説明するための図である。 図５は、本実施形態に係る映像信号補間処理の手順を示すフローチャートである。 図６は、本実施形態の映像信号補間装置を含むテレビジョン放送受信装置の構成を示すブロック図である。

図１は、本実施形態にかかる映像信号補間装置１０の構成を示すブロック図である。同図に示すように、映像信号補間装置１０は、フレームメモリ部１１、動きベクトル検出部１２、補間フレーム生成部１３、ベクトルヒストグラム生成部１４、ベクトルヒストグラム解析部１５及びエンハンサ１６を備えている。

フレームメモリ部１１は、外部から入力される入力画像信号を画像フレーム毎に記憶する。入力画像信号のフレームレートは、例えば６０フレーム／秒である。

動きベクトル検出部１２は、フレームメモリ部１１を介さずに入力される画像フレームである現フレームと、フレームメモリ部１１に記憶された画像フレームである前フレームとの連続する２フレームから、公知のブロックマッチング処理を用いることで動きベクトルを検出する。また、動きベクトル検出部１２は、検出した動きベクトルを補間フレーム生成部１３及びベクトルヒストグラム生成部１４に出力する。

補間フレーム生成部１３は、動きベクトル検出部１２の検出結果（動きベクトル）を用いて、現フレーム及び前フレームから補間フレームを生成し、エンハンサ１６に出力する。なお、補間フレームの生成は公知の技術を用いることが可能である。

ベクトルヒストグラム生成部１４は、動きベクトル検出部１２で検出された動きベクトルからヒストグラム（以下、ベクトルヒストグラムという）を生成し、ベクトルヒストグラム解析部１５に出力する。ここで、ベクトルヒストグラムは、画像フレームの垂直方向及び水平方向の各々について、同じ動きベクトル毎にそれぞれの発生頻度（ベクトル度数）を算出したものである。

ここで、図２は、垂直方向の動きベクトルから生成されたベクトルヒストグラムの一例を示す図である。同図において、横軸は動きベクトルの垂直方向についてのベクトル量を表しており、位置“０“（垂直ゼロベクトル）が動きのない状態に対応する。また、縦軸は、同一のベクトル量を有した動きベクトルの数（ベクトル度数）を表している。なお、図２では、垂直方向の動きベクトルについてベクトルヒストグラムを例示したが、水平方向の動きベクトルについても同様にベクトルヒストグラムが生成される。

図１に戻り、ベクトルヒストグラム解析部１５は、ベクトルヒストグラム生成部１４が生成したベクトルヒストグラムを解析することで、垂直方向及び／又は水平方向に一様な動きが生じているか否かの判定（以下、動き判定という）を行う。ここで、一様な動きとは、ベクトル度数の分布が特定のベクトル量に集中していることを意味し、入力画像信号の撮影時におけるパンやチルトにより生じるものである。

例えば、図２に示したベクトルヒストグラムの場合、ベクトルヒストグラム解析部１５は、このベクトルヒストグラムから、垂直ベクトルの位置Ｂにベクトル度数が集中していることを検出する。この場合、ベクトルヒストグラム解析部１５は、位置Ｂに対応するベクトル量の動きがフレーム内の全域にわたって一様に発生していると判定する。

なお、予め定めた閾値を用いることで、上述した動き判定の対象とするベクトル度数の下限値や、ベクトル量の範囲を特定する形態としてもよい。例えば、図２に示したベクトルヒストグラムの場合、ベクトル度数が第１閾値以上の垂直ベクトルについてのみ、動き判定の対象とする形態としてもよい。また、垂直ゼロベクトル近傍に所定の閾値範囲（第２閾値）を設定した場合、この第２閾値内に含まれるベクトル量の動きベクトルについては、動き判定の対象から除外する形態としてもよい。

また、ベクトルヒストグラム解析部１５は、上述した動き判定により水平方向、垂直方向への一様な動きを確認すると、その動きの大きさに応じた強度の後述するエンハンス処理を、その動きの方向と同じ方向から施すことを指示した制御信号を生成し、エンハンサ１６に出力する。ここで、“動きの大きさ”とは、一様な動きを確認したベクトル量の絶対値である。また、動きの大きさが増加するほど、エンハンス処理の強度を上げることが好ましい。

例えば、垂直方向への一様な動きを検出した場合、ベクトルヒストグラム解析部１５は、その動きの大きさに応じた強度のエンハンス処理をフレームの垂直方向に施すことを指示した制御信号を、エンハンサ１６に出力する。また、水平方向への一様な動きを検出した場合、ベクトルヒストグラム解析部１５は、その動きの大きさに応じた強度のエンハンス処理をフレームの水平方向に施すことを指示した制御信号を、エンハンサ１６に出力する。また、斜め方向への一様な動きを検出した場合、ベクトルヒストグラム解析部１５は、その動きの大きさに応じた強度のエンハンス処理をフレームの水平方向と垂直方向両方に施すことを示した制御信号を、エンハンサ１６に出力する。なお、垂直方向及び水平方向の何れにも一様な動きが確認できなかった場合、ベクトルヒストグラム解析部１５は、通常強度のエンハンス処理を施すことを指示した制御信号をエンハンサ１６に出力する。

エンハンサ１６は、ベクトルヒストグラム解析部１５から出力される制御信号に従い、補間フレーム生成部１３から入力された補間フレームを強調するエンハンス処理を施し、フレームメモリ部１１に格納する。

具体的に、エンハンサ１６は、ベクトルヒストグラム解析部１５から、所定の強度のエンハンス処理をフレームの水平方向に施すことを指示する制御信号を受け付けた場合、補間フレームの水平方向から指示された強度のエンハンス処理を施す。また、ベクトルヒストグラム解析部１５から、所定の強度のエンハンス処理をフレームの垂直方向に施すことを指示する制御信号を受け付けた場合、補間フレームの垂直方向から指示された強度のエンハンス処理を施す。以下、図３及び図４を参照して、エンハンサ１６のエンハンス処理について説明する。

図３は、エンハンサ１６が行うエンハンス処理の一例を説明するための図である。また、図４は、エンハンサ１６が行うエンハンス処理の他の例を説明するための図である。図３及び図４において、縦軸は信号レベルを、横軸は画素位置の座標軸を示している。また、図中Ｐ１で示す波形はエンハンス処理前のある座標におけるエッジ付近の補間フレームの輝度の信号レベルを示しており、図中Ｐ２で示す波形はエンハンス処理後のある座標におけるエッジ付近の補間フレームの輝度信号レベルを示している。

図３に示したように、エンハンサ１６では、エンハンス処理を施すことにより、補間フレームに含まれる信号レベルのエッジにシュート成分ＳＨを付加して、そのエッジを急峻にすることで、映像の鮮鋭感を向上させる。ここで、ベクトルヒストグラム解析部１５からの制御信号で指示されるエンハンス処理を施す方向（垂直方向又は水平方向）は、信号レベルのエッジの検出を行う方向に対応する。また、ベクトルヒストグラム解析部１５からの制御信号で指示される強度は、急峻化する際の立ち上げ角度に対応する。

なお、図３では、シュート成分ＳＨの付加によりエッジを急峻化するエンハンス処理の例を示したが、これに限らず、図４に示すように、エッジの付加を行わずに急峻化するトランジェントインプルーバ処理を、エンハンス処理として施す形態としてもよい。

図１に戻り、フレームメモリ部１１は、格納された画像フレーム（前フレーム）の映像信号と、補間フレームの映像信号とを交互に且つ倍速で出力することで、画像フレーム間に補間フレームを挿入した出力画像信号を出力する。なお、出力画像信号のフレームレートは、例えば１２０フレーム／秒である。

なお、上述した動きベクトル検出部１２、ベクトルヒストグラム生成部１４、ベクトルヒストグラム解析部１５、補間フレーム生成部１３及びエンハンサ１６は、各々がマイクロコントローラ等の専用チップで構成する形態としてもよいし、各部の機能を統合した１チップで構成する形態としてもよい。あるいはＣＰＵ（図示されず）と所定のプログラムとの協働により実現されるソフトウエアとして構成する形態としてもよい。

次に、図５を参照して、映像信号補間装置１０の動作について説明する。ここで、図５は、映像信号補間装置１０の各部が行う映像信号補間処理の手順を示すフローチャートである。

まず、図示しない外部装置から入力画像信号が映像信号補間装置１０に入力されると、動きベクトル検出部１２は、この入力画像信号の現フレームと、フレームメモリ部１１に格納された前フレームとから、一フレーム（画面）分の動きベクトルを検出する（ステップＳ１１）。

補間フレーム生成部１３は、動きベクトル検出部１２で検出された動きベクトルに基づき補間フレームを生成する（ステップＳ１２）。一方、ベクトルヒストグラム生成部１４は、動きベクトル検出部１２で検出された動きベクトルに基づき、垂直方向及び水平方向についてのベクトルヒストグラムをそれぞれ生成する（ステップＳ１３）。

続いて、ベクトルヒストグラム解析部１５は、ステップＳ１３で生成されたベクトルヒストグラムを解析し（ステップＳ１４）、垂直方向に一様な動きが生じているか否かを判定する（ステップＳ１５）。ここで、垂直方向に一様な動きが生じていると判定した場合（ステップＳ１５；Ｙｅｓ）、ベクトルヒストグラム解析部１５は、さらに、水平方向にも一様な動きが生じているか否かを判定する（ステップＳ１６）。

ステップＳ１６において、水平方向にも一様な動きが生じていると判定した場合、即ち斜め方向への一様な動きを検出した場合（ステップＳ１６；Ｙｅｓ）、ベクトルヒストグラム解析部１５は、その垂直方向の動きの大きさに応じた強度のエンハンス処理を垂直方向から施すとともに、水平方向の動きの大きさに応じた強度のエンハンス処理を水平方向から施すことを指示した制御信号をエンハンサ１６に出力する（ステップＳ１７）。

また、ステップＳ１６において、水平方向への一様な動きが確認できない場合（ステップＳ１６；Ｎｏ）、ベクトルヒストグラム解析部１５は、垂直方向の動きの大きさに応じた強度のエンハンス処理を垂直方向から施すことを指示した制御信号をエンハンサ１６に出力する（ステップＳ１８）。

一方、ステップＳ１５において、垂直方向への一様な動きが確認できない場合（ステップＳ１５；Ｎｏ）、ベクトルヒストグラム解析部１５は、水平方向に一様な動きが生じているか否かを判定する（ステップＳ１９）。ここで、水平方向に一様な動きが生じていると判定した場合（ステップＳ１９；Ｙｅｓ）、ベクトルヒストグラム解析部１５は、この水平方向の動きの大きさに応じた強度のエンハンス処理を水平方向から施すことを指示した制御信号をエンハンサ１６に出力する（ステップＳ２０）。

また、ステップＳ１９において、水平方向への一様な動きが確認できない場合（ステップＳ１９；Ｎｏ）、ベクトルヒストグラム解析部１５は、通常強度のエンハンス処理を施すことを指示した制御信号をエンハンサ１６に出力する（ステップＳ２１）。なお、ここで通常強度のエンハンス処理とは、エンハンサ１６が通常動作時に行う予め定められた強度のエンハンス処理であって、強度を変化させる際の基準となるものである。

続いて、エンハンサ１６は、ベクトルヒストグラム解析部１５から出力された制御信号に従い、補間フレーム生成部１３から入力された補間フレームの高周波成分にエンハンス処理を施し、フレームメモリ部１１に格納する（ステップＳ２２）。

そして、フレームメモリ部１１は、画像フレーム（前フレーム）の映像信号と、補間フレームの映像信号とを交互に且つ倍速で読み出すことで、画像フレーム間に補間フレームを挿入した出力画像信号を出力し（ステップＳ２３）、本処理を終了する。

このように、上述した構成の映像信号補間装置１０によれば、ベクトルヒストグラム解析部１５が、ベクトルヒストグラムから垂直方向／水平方向についての一様な動きを検出した場合、エンハンサ１６は、この一様な動きの大きさに応じた強度のエンハンス処理を、この一様な動きの発生方向と同じ方向から施す。これにより、パンやチルト等により発生した画像（映像）のぼやけを効率的に改善（低減）することができるため、より高品位な補間フレームの生成が可能となる。

なお、上記では、フレーム単位でエンハンス処理を施す強度及び方向を制御したが、これに限らず、フレームを構成するブロック単位又は画素単位でエンハンス処理を施す強度及び方向を制御する形態としてもよい。以下、この形態について説明する。

まず、動きベクトル検出部１２では、フレームメモリ部１１を介さずに入力される画像フレームである現フレームと、フレームメモリ部１１に記憶された画像フレームである前フレームとの連続する２フレームから、当該フレームを構成するブロック単位又は画素単位で動きベクトルを検出する。また、ベクトルヒストグラム生成部１４では、動きベクトル検出部１２が検出したブロック単位又は画素単位で動きベクトルから、フレームの垂直方向及び水平方向についてのベクトルヒストグラムをそれぞれ生成する。

続く、ベクトルヒストグラム解析部１５では、ベクトルヒストグラム生成部１４で生成されたベクトルヒストグラムを解析することで動き判定を行う。このとき、ベクトルヒストグラム解析部１５は、垂直方向及び水平方向の各々について、一様な動きと判定したベクトル度数の動きベクトルを持つブロック又は画素をエンハンス処理の単位とした制御信号をエンハンサ１６に送信する。なお、制御信号は、上記と同様、一様な動きの大きさに応じた強度のエンハンス処理をその動きの方向と同じ方向から施すことを指示するものである。

エンハンサ１６は、ベクトルヒストグラム解析部１５からの制御信号に従い、補間フレーム生成部１３で生成された補間フレームのエンハンス処理を、当該補間フレームを構成するブロック単位又は画素単位で実施する。

これにより、一様な動きを検出したブロック又は画素の単位で、その動き大きさに応じた強度のエンハンス処理を、一様な動きの発生方向と同じ方向から施すことができるため、上述した実施形態と同様の効果を奏することが可能となる。

次に、図６を参照して、上述した映像信号補間装置１０を、画像表示装置に適用した例を説明する。なお、以下では画像表示装置としてテレビジョン信号の受信と表示を行うテレビジョン受信装置に適用した例を説明するが、これに限らず、ＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc）等の大容量記憶媒体への録画や、録画されたデータの再生を行う録画・再生装置、チューナやセットトップボックス等としてもよい。

図６は、本実施形態にかかる映像信号補間装置１０を含むテレビジョン放送受信装置１００の構成を示すブロック図である。ここで、映像信号補間装置１０は、テレビジョン放送受信装置１００の信号処理部２５内に設けられている。

テレビジョン放送受信装置１００において、デジタルテレビジョン放送受信用のアンテナ２１で受信したデジタルテレビジョン放送信号は、入力端子２２を介してチューナ部２３に供給される。このチューナ部２３は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調し、信号処理部２５に出力する。

信号処理部２５は、映像信号補間装置１０を有し、チューナ部２３から入力された信号から映像信号・音声信号等を分離する。ここで、分離された映像信号は入力画像信号として映像信号補間装置１０に入力される。そして、映像信号補間装置１０の各部は、上述した映像信号補間処理を実行することで補間フレームを挿入した出力画像信号を表示器２６に出力する。これにより、出力画像信号が表示器２６に表示される。

表示器２６としては、例えば液晶ディプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部２５は、分離した音声信号に所定の信号処理を施し、アナログ化してスピーカ２７に出力することにより、音声再生を行っている。

ここで、テレビジョン放送受信装置１００では、上述した各種の受信動作を含む種々の動作が制御部２８によって統括的に制御されている。制御部２８は、ＣＰＵ等を内蔵したマイクロプロセッサであり、操作キーなどの操作部２９からの操作情報、又はリモートコントローラ４０から送信された操作情報を、受光部３０を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部２８は、メモリ３１を使用している。メモリ３１は、主として、ＣＰＵが実行する制御プログラムを格納したＲＯＭと、ＣＰＵに作業エリアを提供するためのＲＡＭと、各種設定情報及び制御情報等が格納される不揮発性メモリとを備えている。

以上、図１〜図６を用いて本実施形態を説明したが、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

例えば、上記実施形態では、画像フレームの垂直方向及び水平方向を基準に、ベクトルヒストグラムを生成し動き判定を行うこととしたが、これに限らず、他の方向を基準としてベクトルヒストグラムの生成、動き判定を行う形態としてもよい。

１０ 映像信号補間装置
１１ フレームメモリ部
１２ 動きベクトル検出部
１３ 補間フレーム生成部
１４ ベクトルヒストグラム生成部
１５ ベクトルヒストグラム解析部
１６ エンハンサ
２１ アンテナ
２２ 入力端子
２３ チューナ部
２５ 信号処理部
２６ 表示器
２７ スピーカ
２８ 制御部
２９ 操作部
３０ 受光部
３１ メモリ
４０ リモートコントローラ
１００ テレビジョン放送受信装置

Claims (8)

1. 連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成手段と、
   前記動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する解析手段と、
   前記解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス手段と、
   を備えたことを特徴とする映像信号補間装置。
2. 前記エンハンス手段は、前記解析手段が検出した一様な動きの大きさに応じた強度で、前記エンハンス処理を施すことを特徴とする請求項１に記載の映像信号補間装置。
3. 前記解析手段は、前記画像フレームを構成するブロック単位又は画素単位で所定方向への一様な動きを検出し、
   前記エンハンス手段は、前記ブロック単位又は画素単位で前記補間フレームにエンハンス処理を施すことを特徴とする請求項１又は２に記載の映像信号補間装置。
4. 前記動きベクトル検出手段で検出された動きベクトルのヒストグラムを生成するヒストグラム生成手段を更に備え、
   前記解析手段は、前記ヒストグラム生成手段で生成されたヒストグラムを解析し、所定方向への一様な動きを検出することを特徴とする請求項１〜３の何れか一項に記載の映像信号補間装置。
5. 前記ヒストグラム生成手段は、前記画像フレームの垂直方向及び水平方向の二成分について前記ヒストグラムを生成し、
   前記解析手段は、前記垂直方向及び水平方向についてのヒストグラムから、垂直方向及び／又は水平方向への一様な動きベクトルを検出することを特徴とする請求項４に記載の映像信号補間装置。
6. 映像信号の表示を行う映像表示装置であって、
   前記映像信号の連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成手段と、
   前記動きベクトル検出手段で検出された動きベクトルから、所定方向への一様な動きを検出する解析手段と、
   前記解析手段が検出した一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス手段と、
   前記エンハンス処理が施された補間フレームを前記二つの画像フレーム間に挿入した映像信号を表示する表示手段と、
   を備えたことを特徴とする映像表示装置。
7. アンテナにより受信された放送信号から所望のチャンネルの放送信号を選局して出力するチューナ手段を更に備え、
   前記動きベクトル検出手段は、前記放送信号に含まれる映像信号の連続する二つの画像フレーム毎に、前記動きベクトルを検出することを特徴とする請求項６に記載の映像表示装置。
8. 動きベクトル検出手段が、連続する二つの画像フレームから動きベクトルを検出する動きベクトル検出工程と、
   補間フレーム生成手段が、前記動きベクトル検出工程で検出された動きベクトルに基づいて、前記二つの画像フレームから補間フレームを生成する補間フレーム生成工程と、
   解析手段が、前記動きベクトル検出工程で検出された動きベクトルから、所定方向への一様な動きを検出する解析工程と、
   エンハンス手段が、前記解析工程で検出された一様な動きの方向と同じ方向から前記補間フレームにエンハンス処理を施すエンハンス工程と、
   を含む映像信号補間方法。

Images