JP2007221759A - フィールドレートコンバータ - Google Patents
フィールドレートコンバータ Download PDFInfo
- Publication number
- JP2007221759A JP2007221759A JP2006318094A JP2006318094A JP2007221759A JP 2007221759 A JP2007221759 A JP 2007221759A JP 2006318094 A JP2006318094 A JP 2006318094A JP 2006318094 A JP2006318094 A JP 2006318094A JP 2007221759 A JP2007221759 A JP 2007221759A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- motion
- field
- motion vector
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
【課題】本発明は、フィールドレートコンバータに関し、画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換する。
【解決手段】本発明は、動画の部分で動きベクトルを用いたフィールド間又はフレーム間の内挿演算処理により内挿フィールドを生成するようにして、動きの小さい場合フレーム間内挿演算処理により、内挿フィールドを生成する。
【選択図】 図1
【解決手段】本発明は、動画の部分で動きベクトルを用いたフィールド間又はフレーム間の内挿演算処理により内挿フィールドを生成するようにして、動きの小さい場合フレーム間内挿演算処理により、内挿フィールドを生成する。
【選択図】 図1
Description
本発明は、フィールドレートコンバータに関し、特にインターレース方式のビデオ信号のフィールド数の変換に適用することができる。本発明は、動画の部分で動きベクトルを用いたフィールド間又はフレーム間の内挿演算処理により内挿フィールドを生成するようにして、動きの小さい場合、フレーム間内挿演算処理により、内挿フィールドを生成することにより、画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換する。
従来、フィールドレートコンバータでは、フィールド間内挿演算処理により内挿フィールドを作成してビデオ信号のフィールド数を変換している。
すなわち図9は、フィールド間内挿演算処理の1例を示す略線図である。この図9に示すフィールド間内挿演算処理では、内挿フィールドから前後のフィールドまでの時間軸方向の距離により内挿比β、1−βを設定し、この内挿比β、1−βにより、前後のフィールドの対応する画素値を荷重加算して内挿フィールドを生成する。このフィールド間内挿演算処理は、時間軸線形内挿演算処理であり、このように単に対応する画素値を荷重加算する場合には、ジャダーが発生する欠点がある。なおここでジャダーは、連続するフィールドで動きが不連続となる現象である。
これに対して図10は、フィールド間内挿演算処理の他の例である動きベクトルを用いたフィールド間内挿演算処理を示す略線図である。この方法によれば、ジャダーの発生を防止することができる。
ここでこのフィールド間内挿演算処理では、連続するフィールド間で動きベクトルMV(α)を検出し、この動きベクトルαを内挿比β、1−βにより乗算してそれぞれ前フィールド、後フィールドから内挿フィールドまでの動きベクトルβα、(1−β)αを計算する。またこの動きベクトルβα、(1−β)αによりそれぞれ前フィールド、後フィールドを動き補正して前フィールドによる動き補正ビデオ信号、後フィールドによる動き補正ビデオ信号を生成する。
ここで動きベクトルαが本来の動きに完全に一致している場合、これら前フィールドによる動き補正ビデオ信号と後フィールドによる動き補正ビデオ信号とは、完全に一致することになり、これによりこれら何れかの採用により、又はこれらの動き補正ビデオ信号の加算平均により、内挿フィールドのビデオ信号を生成することができる。しかしながら動きベクトルαが本来の動きに完全に一致しない場合もある。これにより動きベクトルを用いたフィールド内挿演算処理では、このようにして得られる前フィールドによる動き補正ビデオ信号と後フィールドによる動き補正ビデオ信号とを、さらに内挿比β、1−βにより荷重加算して内挿フィールドを生成し、これにより画像歪みを軽減している。
このような動きベクトルを用いたフィールド内挿演算処理は、例えば特開平10−211545号公報に開示されているように、ビデオ信号の処理に種々に利用されている。
ところでインターレース方式のビデオ信号は、図11に示すように、偶数フィールドと奇数フィールドとで、重心が1/2ライン分だけ垂直方向に変化する。ここで符号A1〜A3、B1〜B3、C1〜C3、D1〜D3は、それぞれ内挿フィールド、後フィールド、前フィールド、前々フィールドの画素である。
これにより動きベクトルを用いたフィールド間内挿演算処理において、前フィールドによる動き補正ビデオ信号と後フィールドによる動き補正ビデオ信号とを内挿比を用いて加算処理する場合、この1/2ラインの重心のずれを補正することが必要になり、この重心のずれの補正の処理により、垂直方向の解像度が低下し、解像度が劣化する問題があった。
ここでこれら前フィールドによる動き補正ビデオ信号と後フィールドによる動き補正ビデオ信号は、動きベクトルαが本来の動きに完全に一致している場合、荷重加算しなくても画像歪みが発生しないことにより、この動きベクトルを用いたフィールド内挿演算処理において、解像度の低下を軽減する1つの方法として、静止画と動画とで処理を切り換える方法が考えられる。すなわち静止画を検出し、静止画では内挿演算処理を中止して前フィールド又は後フィールドを内挿フィールドに設定し、動画では、前フィールドによる動き補正ビデオ信号と後フィールドによる動き補正ビデオ信号とを荷重加算して内挿フィールドとする方法である。
しかしながらこの方法の場合でも、結局、静止画と動画とで解像度が変化することにより、解像度が劣化する問題がある。具体的に、小さい動き量により徐々に静止する画像では、静止により解像度が増大する現象が発生し、またこれとは逆に、静止画像が徐々に動いた場合、解像度が低下する。
これに対してフィールド間内挿演算処理に代えて、現フィールド及び前フレームのビデオ信号を用いたフレーム間内挿挿処理により内挿フィールドを作成してこれらの問題を解決する方法も考えられる。しかしながらこの方法の場合、フィールド間内挿演算処理に比して動き量が2倍となることにより、動きベクトルを正しく検出できない場合に、画像歪みが大きくなる問題がある。
特開平10−211545号公報
本発明は以上の点を考慮してなされたもので、画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換することができるフィールドレートコンバータを提案しようとするものである。
かかる課題を解決するため請求項1の発明は、入力ビデオ信号のフィールド数を変換して出力ビデオ信号を出力するフィールドレートコンバータにおいて、前記入力ビデオ信号から静止画部分を検出する動き検出回路と、前記入力ビデオ信号の動きベクトルを検出する動きベクトル検出回路と、前記入力ビデオ信号を1フィールドの期間だけ遅延させて前フィールドのビデオ信号を生成する1フィールド遅延回路と、前記入力ビデオ信号を1フレームの期間だけ遅延させて前フレームのビデオ信号を生成する1フレーム遅延回路と、前記入力ビデオ信号、前記前フィールドによるビデオ信号、前記前フレームによるビデオ信号より前記出力ビデオ信号を生成して出力する適応動き補正回路とを備え、前記適応動き補正回路は、前記動き検出回路の検出結果、前記動きベクトルに基づいて、前記入力ビデオ信号の静止画部分では、前記入力ビデオ信号を選択して前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、動きが大きい場合に、前記入力ビデオ信号と、前記前フィールドによるビデオ信号とによる前記動きベクトルを用いたフィールド間の内挿演算処理により前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、動きが小さい場合に、前記入力ビデオ信号と、前記前フレームによるビデオ信号とによる前記動きベクトルを用いたフレーム間内挿演算処理により前記出力ビデオ信号を出力する。
また請求項2の発明は、請求項1の構成において、前記適応動き補正回路は、前記静止画部分、前記動きが大きい部分、前記動きが小さい部分の検出をフィールド単位で実行し、1フィールドの全てで前記動きベクトルの大きさが一定値以下の場合、該フィールドを前記動きが小さい部分と判定する。
また請求項3の発明は、請求項1の構成において、前記適応動き補正回路は、前記静止画部分、前記動きが大きい部分、前記動きが小さい部分の検出を、前記動きベクトル検出回路における動きベクトル検出ブロック単位、又は前記動きベクトル検出ブロック単位より小さな単位で実行する。
また請求項4の発明は、請求項1、請求項2又は請求項3の構成において、前記適応動き補正回路は、前記動きベクトルに応じて値の変化する重み係数を生成する重み係数生成回路と、前記重み係数により前記前フィールドによるビデオ信号を動き補正した前フィールドによる動き補正ビデオ信号と前記前フレームによるビデオ信号を動き補正した前フレームによる動き補正ビデオ信号とを荷重加算する加重加算回路と、前記加重加算回路の出力信号と前記入力ビデオ信号を動き補正した現フィールドによる動き補正ビデオ信号とを内挿演算処理する加重加算回路とを備え、前記重み係数の可変により、前記フィールド間の内挿演算処理と前記フレーム間の内挿演算処理とを切り換える。
また請求項5の発明は、請求項4の構成において、前記適応動き補正回路は、フィールド単位で、前記重み係数を設定する。
また請求項6の発明は、請求項4の構成において、前記適応動き補正回路は、前記動きベクトル検出回路における動きベクトル検出ブロック単位で、前記重み係数を設定する。
また請求項7の発明は、請求項1、請求項2、請求項3、請求項4、請求項5又は請求項6の構成において、前記動きベクトル検出回路は、フィールド間とフレーム間とで動きベクトルを検出し、前記前フィールド動き補正回路、前記前フレーム動き補正回路は、前記フィールド間による動きベクトル、又は前記フレーム間による動きベクトルが一定の判定基準値より小さい場合、前記フレーム間による動きベクトルにより前記内挿演算処理を実行し、前記フィールド間による動きベクトル、又は前記フレーム間による動きベクトルが一定の判定基準値より大きい場合、前記フィールド間による動きベクトルにより前記内挿演算処理を実行する。
また請求項8の発明は、請求項1、請求項2、請求項3、請求項4、請求項5、請求項6又は請求項7の構成において、前記動きベクトル検出回路は、フィールド間で動きベクトルを検出して、該フィールド間による動きベクトルが一定の判定基準値より小さい場合、次のフィールドではフレーム間で動きベクトルを検出し、フレーム間で動きベクトルを検出して、該フレーム間による動きベクトルが一定の判定基準値より大きい場合、次のフィールドではフィールド間で動きベクトルを検出する。
また請求項9の発明は、入力ビデオ信号のフィールド数を変換して出力ビデオ信号を出力するフィールドレートコンバータにおいて、前記入力ビデオ信号から静止画部分を検出する動き検出回路と、前記入力ビデオ信号の動きベクトルを検出する動きベクトル検出回路と、前記入力ビデオ信号を1フィールドの期間だけ遅延させて前フィールドのビデオ信号を生成する1フィールド遅延回路と、前記入力ビデオ信号を1フレームの期間だけ遅延させて前フレームのビデオ信号を生成する1フレーム遅延回路と、前記入力ビデオ信号、前記前フィールドによるビデオ信号、前記前フレームによるビデオ信号より前記出力ビデオ信号を生成して出力する適応動き補正回路とを備え、前記適応動き補正回路は、前記動き検出回路の検出結果、前記動きベクトルに基づいて、前記入力ビデオ信号の静止画部分では、前記入力ビデオ信号を選択して前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、第1及び第2の条件の何れの条件も満足しない場合に、前記入力ビデオ信号と、前記前フィールドによるビデオ信号とを動き補正したフィールド間の内挿演算処理により前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、前記第1又は第2の条件を満足する場合に、前記入力ビデオ信号と、前記前フレームによるビデオ信号とを動き補正したフレーム間内挿演算処理により前記出力ビデオ信号を出力し、前記第1の条件が、前記動き補正に使用する動きベクトルの水平方向成分及び垂直方向成分の大きさがそれぞれ所定値以下の場合であって、かつ前記動き補正に使用する動きベクトルにより動き補正して得られるフィールド間差分値又はフレーム間差分値が所定値以下の場合であり、前記第2の条件が、一様な速度による動きの場合であるようにする。
また請求項10の発明は、請求項9の構成において、少なくとも前記動きベクトル検出回路で検出される隣接マクロブロックの前記動きベクトルと、該動きベクトルを平均値化した動きベクトルとから、処理に適した動きベクトルを選択して前記動き補正の処理を実行し、前記平均値化した動きベクトルを選択した場合、前記2の条件を満足する場合であるとする。
請求項1の構成により、入力ビデオ信号のフィールド数を変換して出力ビデオ信号を出力するフィールドレートコンバータにおいて、前記入力ビデオ信号から静止画部分を検出する動き検出回路と、前記入力ビデオ信号の動きベクトルを検出する動きベクトル検出回路と、前記入力ビデオ信号を1フィールドの期間だけ遅延させて前フィールドのビデオ信号を生成する1フィールド遅延回路と、前記入力ビデオ信号を1フレームの期間だけ遅延させて前フレームのビデオ信号を生成する1フレーム遅延回路と、前記入力ビデオ信号、前記前フィールドによるビデオ信号、前記前フレームによるビデオ信号より前記出力ビデオ信号を生成して出力する適応動き補正回路とを備え、前記適応動き補正回路は、前記動き検出回路の検出結果、前記動きベクトルに基づいて、前記入力ビデオ信号の静止画部分では、前記入力ビデオ信号を選択して前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、動きが大きい場合に、前記入力ビデオ信号と、前記前フィールドによるビデオ信号とによる前記動きベクトルを用いたフィールド間の内挿演算処理により前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、動きが小さい場合に、前記入力ビデオ信号と、前記前フレームによるビデオ信号とによる前記動きベクトルを用いたフレーム間内挿演算処理により前記出力ビデオ信号を出力すれば、動画の部分で動きベクトルを用いた内挿演算処理により内挿フィールドを生成するようにして、静止画部分の画質劣化、解像度の低下を防止することができる。また動画の部分では、動きが大きくなるに従ってフレーム間内挿演算処理からフィールド間内挿演算処理に処理を切り換えることにより、その分、解像度の低下を防止することができる。これらにより画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換する。
また請求項2の構成により、請求項1の構成において、前記適応動き補正回路は、前記静止画部分、前記動きが大きい部分、前記動きが小さい部分の検出をフィールド単位で実行し、1フィールドの全てで前記動きベクトルの大きさが一定値以下の場合、該フィールドを前記動きが小さい部分と判定すれば、フィールド単位で処理を実行して、処理を簡略化することができる。
また請求項3の構成により、請求項1の構成において、前記適応動き補正回路は、前記静止画部分、前記動きが大きい部分、前記動きが小さい部分の検出を、前記動きベクトル検出回路における動きベクトル検出ブロック単位、又は前記動きベクトル検出ブロック単位より小さな単位で実行すれば、その分、細かく処理を切り換えて画質を向上することが
できる。
できる。
また請求項4の構成により、請求項1、請求項2又は請求項3の構成において、前記適応動き補正回路は、前記動きベクトルに応じて値の変化する重み係数を生成する重み係数生成回路と、前記重み係数により前記前フィールドによるビデオ信号を動き補正した前フィールドによる動き補正ビデオ信号と前記前フレームによるビデオ信号を動き補正した前フレームによる動き補正ビデオ信号とを荷重加算する加重加算回路と、前記加重加算回路の出力信号と前記入力ビデオ信号を動き補正した現フィールドによる動き補正ビデオ信号とを内挿演算処理する加重加算回路とを備え、前記重み係数の可変により、前記フィールド間の内挿演算処理と前記フレーム間の内挿演算処理とを切り換えれば、滑らかに処理を切り換えて、処理の切り換えに係る画質の急激な変化を防止することができる。
また請求項5の構成により、請求項4の構成において、前記適応動き補正回路は、フィールド単位で、前記重み係数を設定すれば、フィールド単位の処理により処理を簡略化することができる。
また請求項6の構成により、請求項4の構成において、前記適応動き補正回路は、前記動きベクトル検出回路における動きベクトル検出ブロック単位で、前記重み係数を設定すれば、細かく処理を切り換えて画質を向上することができる。
また請求項7の構成により、請求項1、請求項2、請求項3、請求項4、請求項5又は請求項6の構成において、前記動きベクトル検出回路は、フィールド間とフレーム間とで動きベクトルを検出し、前記前フィールド動き補正回路、前記前フレーム動き補正回路は、前記フィールド間による動きベクトル、又は前記フレーム間による動きベクトルが一定の判定基準値より小さい場合、前記フレーム間による動きベクトルにより前記内挿演算処理を実行し、前記フィールド間による動きベクトル、又は前記フレーム間による動きベクトルが一定の判定基準値より大きい場合、前記フィールド間による動きベクトルにより前記内挿演算処理を実行すれば、動きが小さい場合に、動き補正に供する動きベクトルの精度を向上することができ、その分、画質を向上することができる。
また請求項8の構成により、請求項1、請求項2、請求項3、請求項4、請求項5、請求項6又は請求項7の構成において、前記動きベクトル検出回路は、フィールド間で動きベクトルを検出して、該フィールド間による動きベクトルが一定の判定基準値より小さい場合、次のフィールドではフレーム間で動きベクトルを検出し、フレーム間で動きベクトルを検出して、該フレーム間による動きベクトルが一定の判定基準値より大きい場合、次のフィールドではフィールド間で動きベクトルを検出すれば、動きベクトルの検出に供する構成をフィールド間とフレーム間とで兼用して構成を簡略化し、また動き補正に供する動きベクトルの精度を向上して画質を向上することができる。
また請求項9の構成により、入力ビデオ信号のフィールド数を変換して出力ビデオ信号を出力するフィールドレートコンバータにおいて、前記入力ビデオ信号から静止画部分を検出する動き検出回路と、前記入力ビデオ信号の動きベクトルを検出する動きベクトル検出回路と、前記入力ビデオ信号を1フィールドの期間だけ遅延させて前フィールドのビデオ信号を生成する1フィールド遅延回路と、前記入力ビデオ信号を1フレームの期間だけ遅延させて前フレームのビデオ信号を生成する1フレーム遅延回路と、前記入力ビデオ信号、前記前フィールドによるビデオ信号、前記前フレームによるビデオ信号より前記出力ビデオ信号を生成して出力する適応動き補正回路とを備え、前記適応動き補正回路は、前記動き検出回路の検出結果、前記動きベクトルに基づいて、前記入力ビデオ信号の静止画部分では、前記入力ビデオ信号を選択して前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、第1及び第2の条件の何れの条件も満足しない場合に、前記入力ビデオ信号と、前記前フィールドによるビデオ信号とを動き補正したフィールド間の内挿演算処理により前記出力ビデオ信号を出力し、前記入力ビデオ信号の静止画部分以外では、前記第1又は第2の条件を満足する場合に、前記入力ビデオ信号と、前記前フレームによるビデオ信号とを動き補正したフレーム間内挿演算処理により前記出力ビデオ信号を出力し、前記第1の条件が、前記動き補正に使用する動きベクトルの水平方向成分及び垂直方向成分の大きさがそれぞれ所定値以下の場合であって、かつ前記動き補正に使用する動きベクトルにより動き補正して得られるフィールド間差分値又はフレーム間差分値が所定値以下の場合であり、前記第2の条件が、一様な速度による動きの場合であるようにすれば、解像度の劣化が目立ち易い場合にのみ、フレーム間内挿演算処理により内挿フレームを生成することができ、解像度の低下を防止することができる。これにより画像歪みの発生を極力防止しつつ、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換する。
また請求項10の構成によれば、請求項9の構成において、少なくとも前記動きベクトル検出回路で検出される周辺マクロブロックの前記動きベクトルと、該動きベクトルを平均値化した動きベクトルとから、処理に適した動きベクトルを選択して前記動き補正の処理を実行し、前記平均値化した動きベクトルを選択した場合、前記2の条件を満足する場合であるとすことから、簡易かつ確実に、一様な速度による動きの場合を検出することができる。
本発明によれば、画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例の構成
図1は、本発明の実施例に係るフィールドレートコンバータの基本構成を示すブロック図である。なおこのフィールドレートコンバータ1は、輝度信号及び色差信号を同一に処理することにより、この図1及び以下の説明においては、輝度信号Yについてのみ説明し、色差信号についての重複した説明は省略する。
図1は、本発明の実施例に係るフィールドレートコンバータの基本構成を示すブロック図である。なおこのフィールドレートコンバータ1は、輝度信号及び色差信号を同一に処理することにより、この図1及び以下の説明においては、輝度信号Yについてのみ説明し、色差信号についての重複した説明は省略する。
このフィールドレートコンバータ1は、例えば1920画素、1080ライン、50フィールド(1080/50方式)によるインターレース方式によるHDTV方式のビデオ信号を、1920画素、1080ライン、59.94フィールド(1080/59.94方式)によるインターレース方式によるHDTV方式のビデオ信号にフォーマット変換する処理に、またこれとは逆に1080/59.94方式のインターレース方式によるHDTV方式のビデオ信号を1080/50方式のインターレース方式によるHDTV方式のビデオ信号にフォーマット変換する処理に適用される。
ここでこのフィールドレートコンバータ1において、動き検出回路2は、フォーマット変換対象である輝度信号Yを入力し、フレーム間で動きを検出することにより、動画部分及び静止画部分の判別信号による動き検出結果MDを出力する。なおこの動き検出は、例えば所定の動き検出範囲で、フレーム間の対応する画素間で画素値の差分絶対値和を検出し、この差分絶対値和の判定により、動きの有無を検出して実行される。またこの動き検出範囲は、後述する適応動き補正回路3における処理単位である。
遅延回路4は、輝度信号Y及び動き検出結果MDのタイミングを補正して出力する。
フィールド数変換用メモリ5は、遅延回路4から出力される輝度信号Y及び動き検出結果MDを入力して保持し、続く適応動き補正回路3、現フィールド動き補正回路6、前フィールド動き補正回路7、前フレーム動き補正回路8の処理に対応するタイミングにより保持した輝度信号Y及び動き検出結果MDをこれらの回路3、6〜8に出力する。この処理においてフィールド数変換用メモリ5は、輝度信号Yについては、順次1フィールドずつ遅延させた3系統により出力し、これにより現フィールド、前フィールド、前フレームの輝度信号Yを出力する。これによりフィールド数変換用メモリ5は、入力ビデオ信号Yを1フィールドの期間だけ遅延させて前フィールドのビデオ信号を生成する1フィールド遅延回路を構成すると共に、入力ビデオ信号Yを1フレームの期間だけ遅延させて前フレームのビデオ信号を生成する1フレーム遅延回路を構成する。
前置フィルタ9は、輝度信号Yを帯域制限して出力する。またこのとき帯域制限に供する特性を偶数フィールドと奇数フィールドとで切り換えることにより、偶数フィールドと奇数フィールドとで変化する重心の位置を補正して出力する。
1フィールド遅延回路10は、前置フィルタ9から出力される輝度信号Yを1フィールドの期間だけ遅延させて出力する。
動きベクトル検出回路11は、前置フィルタ9から出力される輝度信号Yと、遅延回路10から出力される輝度信号Yとにより、動きベクトル検出ブロック毎に動きベクトルMVを検出して出力する。なおここでこの動きベクトル検出ブロックは、例えば8×8画素の大きさに設定され、動きベクトル検出手法にあっては、種々の手法を広く適用することができる。これにより動きベクトル検出回路11は、フィールド間で動きベクトルMVを検出する。
フィールド数変換用メモリ12は、動きベクトル検出回路11で検出した動きベクトルMVを一時保持し、続く動きベクトル量判定回路13の処理に対応するタイミングにより出力する。
動きベクトル量判定回路13は、フィールド数変換用メモリ12から出力される動きベクトルMVから、現フィールド、前フィールド、前フレームを基準にした内挿フィールドの動きベクトルを計算する。すなわち図2に示すように、動きベクトル量判定回路13は、フィールド間内挿演算処理に係る内挿フィールドの内挿比γ、(1−γ)により動きベクトル検出回路11で検出したフィールド間の動きベクトルMVを内挿演算処理し、これにより前フィールドを基準にした内挿フィールドの動きベクトル(1−γ)MV、現フィールドを基準にした内挿フィールドの動きベクトル−γMVを計算する。また前フィールドを基準にした内挿フィールドの動きベクトル(1−γ)MVに、1フィールド分の動きベクトルMVを加算し、これにより前フレームを基準にした内挿フィールドの動きベクトル(2−γ)MVを計算する。
動きベクトル量判定回路13は、これら現フィールド、前フィールド、前フレームを基準にした動きベクトル−γMV、(1−γ)MV、(2−γ)MVをそれぞれ現フィールド動き補正回路6、前フィールド動き補正回路7、前フレーム動き補正回路8に出力する。なおこれによりこのフィールドレートコンバータ1は、入力ビデオ信号による輝度信号Yに対して、出力ビデオ信号による輝度信号Yの位相に応じて、出力ビデオ信号による輝度信号の各フィールドで、内挿比γ、(1−γ)が順次設定される。
また動きベクトル量判定回路13は、さらに動きベクトルMVを所定のしきい値αにより判定し、判定結果DJを適応動き補正回路3に出力する。なおこの動きベクトルMVの判定は、水平方向及び垂直方向の動きベクトルMVの大きさをそれぞれVX、VYとして、(VX2 +VY2 )1/2 の演算処理により、動きベクトルMVを絶対値化して動きベクトルの大きさを求め、この動きベクトルの大きさをしきい値αにより判定して実行した。
現フィールド動き補正回路6は、動きベクトル量判定回路13から出力される現フィールドを基準にした内挿フィールドの動きベクトル−γMVに基づいて、フィールド数変換用メモリ5から出力される現フィールドの輝度信号Yのタイミングを補正して出力し、これにより図2において矢印Aにより示すように、現フィールドのビデオ信号を動き補正した現フィールドによる動き補正ビデオ信号である輝度信号Yを生成して出力する。
前フィールド動き補正回路7は、同様に、動きベクトル量判定回路13から出力される前フィールドを基準にした内挿フィールドの動きベクトル(1−γ)MVに基づいて、フィールド数変換用メモリ5から出力される前フィールドの輝度信号Yのタイミングを補正して出力し、これにより図2において矢印Bにより示すように、前フィールドのビデオ信号を動き補正した前フィールドによる動き補正ビデオ信号である輝度信号Yを生成して出力する。
前フレーム動き補正回路8は、同様に、動きベクトル量判定回路13から出力される前フレームを基準にした内挿フィールドの動きベクトル(2−γ)MVに基づいて、フィールド数変換用メモリ5から出力される前フィールドの輝度信号Yのタイミングを補正して出力し、これにより図2において矢印Cにより示すように、前フレームのビデオ信号を動き補正した前フィールドによる動き補正ビデオ信号による輝度信号Yを生成して出力する。
適応動き補正回路3は、現フィールド動き補正回路6、前フィールド動き補正回路7、前フレーム動き補正回路8からそれぞれ輝度信号Yを入力し、またフィールド数変換用メモリ5から現フィールドの輝度信号Yを入力し、動き検出回路2による動き検出結果MD、動きベクトル量判定回路13による判定結果DJに基づいて、これらの輝度信号Yより内挿フィールドの輝度信号Yを出力する。
より具体的に、適応動き補正回路3は、動き検出回路2による動き検出結果MDにより現フィールドが静止画の場合、フィールド数変換用メモリ5から出力される現フィールドの輝度信号Yを選択して内挿フィールドの輝度信号を出力する。
これに対して動き検出回路2による動き検出結果MDにより現フィールドが動画の場合、さらに動きベクトル量判定回路13による判定結果DJにより、動きが大きい場合、現フィールド及び前フィールドによる動き補正ビデオ信号を内挿比γ、(1−γ)により荷重加算して内挿フィールドの輝度信号を出力する。これによりこの場合、動きベクトルを用いたフィールド間内挿演算処理を実行する。
また動き検出回路2による動き検出結果MDにより現フィールドが動画の場合であって、動きベクトル量判定回路13による判定結果DJにより、動きが小さい場合、現フィールド及び前フレームによる動き補正ビデオ信号を内挿比γ/2、(1−γ/2)により荷重加算して内挿フィールドの輝度信号を出力する。これによりこの場合、動きベクトルを用いたフレーム間内挿演算処理を実行する。
これにより適応動き補正回路3は、動き検出結果MDにより動きがある場合にのみ動きベクトルを用いた内挿演算処理を実行し、この内挿演算処理に係る荷重加算の対象となる動き補正ビデオ信号を、動きの大きさにより切り換えることにより、フィールド間内挿演算処理とフレーム間内挿演算処理とで処理を切り換える。
なおこの適応動き補正回路3における処理の切り換えにあっては、フィールド単位で実行してもよく、動きベクトル検出ブロック単位で実行してもよく、さらには動きベクトル検出ブロック単位より小さなブロック単位で実行してもよく、この実施例では、動きベクトル検出ブロック単位で実行する。
図3は、この適応動き補正回路3を詳細に示すブロック図である。すなわち適応動き補正回路3は、前フィールド動き補正回路7、前フレーム動き補正回路8から出力される前フィールドによる動き補正ビデオ信号である輝度信号、前フレームによる動き補正ビデオ信号である輝度信号を選択回路23に出力する。
選択回路23は、動きベクトル量判定回路13による判定結果DJに基づいて、これら輝度信号を選択的に出力する。
乗算回路24、25は、それぞれ選択回路26、27から出力される重み係数により、現フィールド動き補正回路6から出力される輝度信号、選択回路23から出力される輝度信号を乗算処理し、加算回路28は、これら乗算回路24、25から出力される乗算値を加算処理し、適応動き補正回路3は、判定結果DJにより選択回路26、27に出力する重み係数を切り換える。
これにより適応動き補正回路3は、動きが大きい場合、現フィールド及び前フィールドによる動き補正ビデオ信号を内挿比γ、(1−γ)により荷重加算し、動きが小さい場合、現フィールド及び前フレームによる動き補正ビデオ信号を内挿比γ/2、(1−γ/2)により荷重加算する。
適応動き補正回路3は、動き検出回路2から得られる動き検出結果MDにより選択回路29の接点を切り換え、現フィールドの輝度信号、加算回路28から出力される輝度信号を選択出力する。
(2)実施例の動作
以上の構成において、このフィールドレートコンバータ1において、処理対象の輝度信号Yは、前置フィルタ9、遅延回路10、動きベクトル検出回路11により、フィールド間の動きベクトルMVが検出され、この動きベクトルMVが動きベクトル量判定回路13により処理されて、現フィールドを基準にした内挿フィールドの動きベクトル−γMV、前フィールドを基準にした内挿フィールドの動きベクトル(1−γ)MV、前フレームを基準にした内挿フィールドの動きベクトル(2−γ)MVが生成される。
以上の構成において、このフィールドレートコンバータ1において、処理対象の輝度信号Yは、前置フィルタ9、遅延回路10、動きベクトル検出回路11により、フィールド間の動きベクトルMVが検出され、この動きベクトルMVが動きベクトル量判定回路13により処理されて、現フィールドを基準にした内挿フィールドの動きベクトル−γMV、前フィールドを基準にした内挿フィールドの動きベクトル(1−γ)MV、前フレームを基準にした内挿フィールドの動きベクトル(2−γ)MVが生成される。
輝度信号Yは、遅延回路4を介してフィールド数変換用メモリ5に入力され、現フィールド動き補正回路6、前フィールド動き補正回路7、前フレーム動き補正回路8によりそれぞれ現フィールドを基準にした内挿フィールドの動きベクトル−γMV、前フィールドを基準にした内挿フィールドの動きベクトル(1−γ)MV、前フレームを基準にした内挿フィールドの動きベクトル(2−γ)MVにより現フィールド、前フィールド、前フレームの輝度信号が動き補正され、これにより現フィールドを動き補正した輝度信号、前フィールドを動き補正した輝度信号、前フレームを動き補正した輝度信号が生成されて適応動き補正回路3に入力される。またこれらの輝度信号に対応するタイミングによりフィールド数変換用メモリ5から現フィールドの輝度信号が適応動き補正回路3に入力される。
これらによりこのフィールドレートコンバータ1では、適応動き補正回路3に、現フィールドによるビデオ信号、現フィールドによる動き補正ビデオ信号、前フィールドによる動き補正ビデオ信号、前フレームによる動き補正ビデオ信号による4種類のビデオ信号に係る輝度信号が入力され、ここで動き検出回路2による検出結果MDに基づいて、静止画部分では、現フィールドの輝度信号が選択されて内挿フィールドの輝度信号として出力される。
すなわち静止画部分では、現フィールドをそのまま出力しても何ら差し支えなく、また複数の動き補正したビデオ信号の荷重加算により画像歪みを除去する必要もなく、この場合に、フィールド間内挿演算処理により荷重加算したのでは、却って、解像度が低下することになる。これによりこの実施例では、静止画部分では、現フィールドをそのまま出力して画像歪みの発生、解像度の劣化を防止する。
これに対して検出結果MDにより動画部分であると判断される場合、動きベクトル量判定回路13による判定結果DJにより、動きが小さい場合には、現フィールドによる動き補正ビデオ信号と前フレームによる動き補正ビデオ信号との荷重加算により内挿フィールドの輝度信号が生成され、これにより動きベクトルを用いたフレーム間内挿演算処理により輝度信号が生成される。
すなわちフレーム間内挿演算処理では、重心の変化に起因する解像度の低下が無く、動きが小さい場合には、動きベクトルを正しく検出できなくても、発生する画像歪みは小さいものとなる。これによりこの実施例では、動画部分で動きの小さい部分では、動きベクトルを用いたフレーム間内挿演算処理を実行し、画像歪みの発生、解像度の劣化を防止する。
また検出結果MDにより動画部分であると判断される場合、動きベクトル量判定回路13による判定結果DJにより、動きが大きい場合には、現フィールドによる動き補正ビデオ信号と前フィールドによる動き補正ビデオ信号との荷重加算により内挿フィールドの輝度信号が生成される。これによりこの実施例では、解像度の劣化が目立ち難い動きの大きい部分では、動きベクトルを用いたフィールド間内挿演算処理を実行し、画像歪みの発生を防止する。
これらによりこの実施例では、静止画部分では、動き補正することなく、現フィールドをそのまま出力し、動画部分では、動きが大きくなるに従って、動きベクトルを用いたフレーム間内挿演算処理、動きベクトルを用いたフィールド間内挿演算処理により内挿フィールドを生成する。
これによりこの方法でも、結局、徐々に静止する画像、静止画像が徐々に動いた場合、解像度が変化し、これにより解像度が劣化することが予測される。しかしながらこの実施例では動きの大きさによりフレーム間内挿演算処理とフィールド間内挿演算処理とを切り換えることにより、このように徐々に静止する画像、静止画像が徐々に動いた場合における解像度の変化にあっては、従来に比して小さくすることができ、また目立たなくすることができ、その分解像度の劣化を低減することができる。
このフィールドレートコンバータ1では、このようなフィールド間内挿演算処理とフレーム間内挿演算処理との処理の切り換えが、動きベクトル検出回路11における動きベクトル検出ブロック単位により実行される。これによりこのフィールドレートコンバータ1では、各部の動きに応じて細かく処理を切り換えて内挿フィールドを生成することができ、その分、画質を向上することができる。またさらに動きベクトル検出ブロック単位より小さなブロック単位で実行するようにすれば、一段と細かく処理を切り換えて画質を向上することができる。
(3)実施例の効果
以上の構成によれば、動画の部分で動きベクトルを用いた内挿演算処理により内挿フィールドを生成するようにして、動きの大きい場合には、フィールド間内挿演算処理により、動きの小さい場合には、フレーム間内挿演算処理により、内挿フィールドを生成することにより、画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換することができる。
以上の構成によれば、動画の部分で動きベクトルを用いた内挿演算処理により内挿フィールドを生成するようにして、動きの大きい場合には、フィールド間内挿演算処理により、動きの小さい場合には、フレーム間内挿演算処理により、内挿フィールドを生成することにより、画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換することができる。
またフィールド間内挿演算処理とフレーム間内挿演算処理との処理の切り換えを動きベクトル検出ブロック単位により実行することにより、画質を向上することができる。
図4は、図3との対比により本発明の実施例2に係るフィールドレートコンバータ31を示すブロック図である。このフィールドレートコンバータ31は、動きベクトル判定回路33により、フィールド単位で、適応動き補正回路3の処理を切り換えるようにして、前フィールドのビデオ信号の動き補正と前フレームのビデオ信号の動き補正とで動き補正回路40を兼用するようにし、これにより全体構成を簡略化する。なおこの図4に示すフィールドレートコンバータ31において、実施例1について上述したフィールドレートコンバータ1と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
このためこのフィールドレートコンバータ31において、動きベクトル判定回路33は、動きベクトル検出ブロック毎に検出される動きベクトルMVによりフィールド単位で動きベクトルMVを判定して判定結果DJを出力する。なおここでこの動きベクトルの判定は、例えば実施例1で上述した動きの大きさをフィールド単位で加算してしきい値により判定する場合、各動きベクトル検出ブロックで検出される動きベクトルMVからしきい値より大きいものを集計して集計値を判定する場合等、種々の判定手法を適用することができる。この実施例では、1フィールドで検出される全ての動きベクトルの大きさが一定値以下の場合、動きが小さい部分と判定する。
動きベクトル量判定回路36は、実施例1について上述した動きベクトル量判定回路13と同様に、動きベクトル検出回路11から出力される動きベクトルMVから現フィールド、前フィールド、前フレームを基準にした動きベクトル−γMV、(1−γ)MV、(2−γ)MVを生成して出力する。
遅延回路37は、フィールド数変換用メモリ5から出力される4系統の輝度信号をそれぞれ1フィールドの期間だけ遅延させて出力する。
選択回路38は、動きベクトル量判定回路36から出力される前フィールド、前フレームを基準にした動きベクトル(1−γ)MV、(2−γ)MVを入力し、動きベクトル判定回路33による判定結果DJに応じて、動き補正回路40に選択的に出力する。
選択回路39は、動きベクトル判定回路33による判定結果に応じて、動き補正に供する前フィールド、前フィールドの輝度信号を選択的に動き補正回路40に出力する。
動き補正回路40は、選択回路38から出力される動きベクトルにより、選択回路39から出力される輝度信号を動き補正して出力する。
これら一連の処理により、このフィールドレートコンバータ31は、フィールド単位で動きベクトルの大きさを判定し、動きベクトルの大きさが大きい場合には、動き補正回路40から前フィールドによる動き補正ビデオ信号である輝度信号を出力するのに対し、動きベクトルの大きさが小さい場合には、動き補正回路40から前フレームによる動き補正ビデオ信号である輝度信号を出力する。
この実施例によれば、フィールド単位で動きベクトルの大きさを判定することにより、その分、全体の処理を簡略化して実施例1と同様の効果を得ることができる。
またこのようにフィールド単位で動きベクトルの大きさを判定するようにして、前フィールド動き補正回路と前フレーム動き補正回路とを動き補正回路により兼用したことにより、その分、全体構成を簡略化することができる。
図5は、図3との対比により本発明の実施例3に係るフィールドレートコンバータ41を示すブロック図である。このフィールドレートコンバータ41は、適応動き補正回路3に代えて、適応動き補正回路43が適用され、またこれに関連して動きベクトル量判定回路13に代えて、動きベクトル量判定・分配回路46が設けられる点を除いて、実施例1について上述したフィールドレートコンバータ1と同一に構成される。
ここでこのフィールドレートコンバータ41において、適応動き補正回路43は、前フィールド、前フレームによる動き補正ビデオ信号をそれぞれ乗算回路47及び48により乗算処理した後、加算回路49により加算処理し、これにより前フィールドによる動き補正ビデオ信号と前フレームによる動き補正ビデオ信号とを荷重加算する。適応動き補正回路43は、乗算回路24、25、加算回路28により、この加算回路49による荷重加算結果を、現フィールドによる動き補正ビデオ信号と荷重加算処理し、選択回路29より出力する。
動きベクトル量判定・分配回路46は、実施例1について上述した動きベクトル量判定回路13と同様に、動きベクトルMVより内挿演算処理用の各動きベクトル−γMV、(1−γ)MV、(2−γ)MVを生成して出力する。また動きベクトル量判定・分配回路46は、乗算回路47、48に重み付け係数を出力し、動きベクトルMVの大きさによりこの重み付け係数を設定する。これにより動きベクトル量判定・分配回路46は、図1について上述した選択回路23を、乗算回路47、48、加算回路49による荷重加算回路により構成する。
動きベクトル量判定・分配回路46は、この重み付け係数の設定を動きベクトルMVの大きさに応じて順次可変して実行し、これによりフィールド間内挿演算処理とフレーム間内挿演算処理とで滑らかに処理を切り換えて、急激な処理の切り換えによる画質の急激な変動を防止する。
ここでこの重み係数の設定は、フィールド単位でフィールド内挿演算処理とフレーム間内挿演算処理とを切り換えることを前提に、フィールド単位で実行するようにしてもよく、動きベクトル検出ブロック単位でフィールド内挿演算処理とフレーム間内挿演算処理とを切り換えることを前提に、動きベクトル検出ブロック単位で実行するようにしてもよい。フィールド単位で実行する場合には、処理を簡略化し、さらには、1画面中における局所的な解像度の変動を防止して画質を向上することができ、動きベクトル検出ブロック単位で実行する場合には、細かく処理を切り換えて画質を向上することができる。
この実施例では、荷重加算によりフィールド間内挿演算処理とフレーム間内挿演算処理と切り換えることにより、滑らかに処理を切り換えることができ、その分、処理の切り換えによる急激な画質の変化を防止して、実施例1と同様の効果を得ることができる。
またこの荷重加算に係る重き係数の設定をフィールド単位で実行することにより、処理を簡略化することができ、または動きベクトル検出ブロック単位で実行することにより、画質を向上することができる。
図6は、図3との対比により本発明の実施例4に係るフィールドレートコンバータ51を示すブロック図である。このフィールドレートコンバータ51は、動きベクトルに係る構成が異なる点を除いて、実施例1について上述したフィールドレートコンバータ1と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
この実施例において、遅延回路52は、遅延回路10から出力される輝度信号を1フィールドの期間だけ遅延させて出力する。
動きベクトル検出回路53は、前置フィルタ9から出力される輝度信号と、この遅延回路52から出力される輝度信号とにより動きベクトルMVBを検出し、これによりフレーム間で動きベクトルMVBを検出する。
フィールド数変換用メモリ54は、動きベクトル検出回路11、動きベクトル53で検出した動きベクトルMVA、MVBを一時保持し、続く動きベクトル量判定回路55の処理に対応するタイミングにより出力する。
動きベクトル量判定回路55は、動きベクトル量判定回路13と同様に、現フィールド、前フィールド、前フレームを基準にした動きベクトル−γMV、(1−γ)MV、(2−γ)MVをそれぞれ生成して現フィールド動き補正回路6、前フィールド動き補正回路7、前フレーム動き補正回路8に出力し、また判定結果DJを出力する。これらの処理において、動きベクトル量判定回路55は、フィールド間の動きベクトルMVAにより現フィールド、前フィールド、前フレームを基準にした動きベクトル−γMV、(1−γ)MV、(2−γ)MVを生成する。
またこのフィールド間の動きベクトルMVAの大きさを所定のしきい値により判定し、動きが小さい場合には、フィールド間の動きベクトルMVAに代えて、フレーム間の動きベクトルMVBにより現フィールド、前フィールド、前フレームを基準にした動きベクトル−γMV、(1−γ)MV、(2−γ)MVを生成する。なおこの動きベクトルMVBの大きさの判定にあっては、実施例1について上述したと同一に実行される。また動きの大きさの判定にあっては、フィールド間の動きベクトルMVAに代えて、フレーム間の動きベクトルMVBにより実行するようにしてもよい。これによりこの実施例では、動き補正に係る動きベクトルの精度を向上し、その分、画質を向上する。
この実施例によれば、動きが小さい場合に、動き補正に供する動きベクトルをフレーム間の動きベクトルにより生成することにより、その分、動き補正の精度を向上して画質を向上することができる。
この実施例においては、実施例4の構成において、フィールド間の動きベクトルMVAを所定のしきい値により判定し、このフィールド間の動きベクトルMVAが一定値より小さい場合に、続くフィールドでは、フレーム間で動きベクトルMVBを検出し、このフレーム間の動きベクトルMVBにより動き補正の処理を実行する。
またこのようにしてフレーム間で動きベクトルMVBの検出を開始して、動きベクトルMVBが一定値より大きくなると、次のフィールドでは、フィールド間で動きベクトルMVAを検出する。またこれらによりフィールド間とフレーム間とで動きベクトルの検出に供する構成を共用する。
この実施例によれば、動きベクトルの大きさによりフィールド間とフレーム間とで動きベクトルの検出を切り換えることにより、動きベクトルの検出に供する構成をフィールド間とフレーム間とで共用して構成を簡略化することができる。
図7は、本発明の実施例6のフィールドレートコンバータを示すブロック図である。なおこのフィールドレートコンバータ61は、輝度信号及び色差信号を同一に処理することにより、この図7及び以下の説明においては、輝度信号Yについてのみ説明し、色差信号についての重複した説明は省略する。またフィールドレートコンバータ61において、上述の実施例と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
このフィールドレートコンバータ61は、動きベクトル量判定回路に代えて、動きベクトル分配回路62、動き補正選択回路63が設けられる点を除いて、上述の実施例と同一に構成される。
ここで動きベクトル分配回路62は、図2について上述したと同様にして、後述するように評価回路69で設定された最も処理に適した動きベクトルMV1から、現フィールド、前フィールド、前フレームを基準にした内挿フィールドの動きベクトルを計算する。またこの計算結果により、現フィールド、前フィールド、前フレームを基準にした動きベクトル−γMV1、(1−γ)MV1、(2−γ)MV1をそれぞれ現フィールド動き補正回路6、前フィールド動き補正回路7、前フレーム動き補正回路8に出力する。
動き補正選択回路63は、現フィールドと前フィールドとを用いたフィールド間内挿演算処理と、現フィールドと前フレームとを用いたフレーム間内挿演算処理とを選択する判定結果DJを適応動き補正回路3に出力する。
ここで図8は、この動き補正選択回路63の構成を示すブロック図である。動き補正選択回路63は、フィールド数変換用メモリ12から出力される動きベクトルMVの水平方向成分の絶対値Vxを比較回路65に入力し、ここで所定の判定基準α1と比較する。またこの動きベクトルMVの垂直方向成分の絶対値Vyを比較回路66に入力し、ここで所定の判定基準α2と比較する。ここでα2は、ほぼ値0の小さな値である。α1は、このα2に対してα1>α2の関係に設定され、例えば値10に設定される。
この動き補正選択回路63において、平均化回路67は、処理対象のマクロブロック周辺の例えば5×5マクロブロックから検出される動きベクトルMVを平均値化し、平均値ベクトルV1を出力する。平均値ベクトルV1は、これに代えて例えば1フィールド単位で動きベクトルMVを平均値化して求めるようにしてもよい。
平滑化回路68は、例えば孤立点除去フィルタと3×3の2次元LPFとの直列回路で構成され、フィールド数変換用メモリ12から出力される動きベクトルMVを孤立点除去フィルタで処理して孤立点除去ベクトルV2を出力する。また続く2次元のLPFの出力を平滑化ベクトルV3として出力する。
評価回路69は、処理対象マクロブロックの動きベクトルMV、値0の動きベクトルV0、平均値ベクトルV1、孤立点除去ベクトルV2、平滑化ベクトルV3を入力し、これらベクトルMV、V0〜V3のうちで最も処理に適したベクトルを検出する。具体的に、評価回路69は、これら4つのベクトルMV、V0〜V3で、それぞれ前フィールドの輝度信号を動き補正し、現フィールドの輝度信号との間でフィールド間差分値の絶対値和を計算する。評価回路69は、この絶対値和が最も小さなベクトルを、最も処理に適した動
きベクトルMV1に設定する。
きベクトルMV1に設定する。
評価回路69は、この最も処理に適した動きベクトルMV1に設定したベクトルで求められたフィールド間差分値の絶対値和DFDを比較回路70に入力し、ここで所定の判定基準値β1と比較する。評価回路69は、この比較回路70による比較結果と、比較回路65、66による比較結果とから、また最も処理に適した動きベクトルMV1の選択結果から、判定結果DJを出力する。なおここでβ1は、例えば値16である。
すなわち評価回路69は、動きベクトルMVの水平方向成分の絶対値Vxが判定基準α1より小さい場合であって、この動きベクトルMVの垂直方向成分の絶対値Vyが判定基準α2より小さい場合であり、かつフィールド間差分値の絶対値和DFDが判定基準値β1より小さい場合に、フレーム間の内挿演算処理により内挿フィールドを生成するように判定結果DJを出力する。
すなわち内挿フィールドにおける解像度の劣化が視覚的に検知されるのは、動き量が小さく、また横方向のスクロールの場合のように、水平方向のみに一定速度で画像が変化している場合である。因みに、動きが縦方向の場合には、フィールド間の処理でも、フレーム間の処理でも、視覚的な差異は少ない。これにより動きベクトルMVの水平方向成分の絶対値Vxが判定基準α1より小さい場合であって、この動きベクトルMVの垂直方向成分の絶対値Vyが判定基準α2より小さい場合、小さな動き量で水平方向に変化している場合であると言え、内挿フィールドにおける解像度の劣化が視覚的に検知される可能性が高い場合であると言える。またフィールド間差分値の絶対値和DFDが判定基準値β1より小さい場合、動きベクトルMV1も正しく検出されていると言える。これによりこの場合、フレーム間の内挿演算処理により内挿フィールドを生成するように判定結果DJを出力して、解像度の劣化を防止する。
またさらに評価回路69は、平均値ベクトルV1を最も処理に適した動きベクトルMV1に設定した場合、すなわち平均値ベクトルV1によって検出されるフィールド間差分値の絶対値和の値が最も小さい場合、フレーム間の内挿演算処理により内挿フィールドを生成するように判定結果DJを出力する。すなわち平均値ベクトルV1によって検出されるフィールド間差分値の絶対値和の値が最も小さい場合、連続した一定速度による動きであると判断することができ、この場合も解像度の劣化が視覚的に検知され易い場合であると言える。これによりこの場合も、フレーム間の内挿演算処理により内挿フィールドを生成するように判定結果DJを出力して、解像度の劣化を防止する。
以上の構成によれば、動画の部分で動きベクトルを用いたフィールド間又はフレーム間の内挿演算処理により内挿フィールドを生成するようにして、小さな動きの場合、又は一様な速度による動きの場合に、フレーム間内挿演算処理により内挿フィールドを生成することにより、画像歪みの発生、解像度の劣化を防止してインターレース方式によるビデオ信号のフィールド数を変換することができる。
また少なくとも動きベクトル検出回路で検出される周辺マクロブロックの動きベクトルと、この動きベクトルを平均値化した動きベクトル等とから、動き補正に適した動きベクトルを選択するようにして、この動き補正に適した動きベクトルとして平均値化した動きベクトルを選択した場合に、一様な速度による動きの場合であるとすることにより、簡易かつ確実に、一様な速度による動きの場合を検出することができる。
なお上述の実施例7においては、フィールド間差分の絶対値和を判定基準値β1で判定する場合について述べたが、本発明はこれに限らず、フレーム間差分の絶対値和を判定基準値β1で判定するようにしてもよい。またフィールド間差分の絶対値和、フレーム間差分の絶対値和に代えて、フィールド間差分の2乗加算値、フレーム間差分の2乗加算値を適用するようにしてもよい。
また上述の実施例7においては、動画の部分において、フィールド間内挿演算処理とフレーム間内挿演算処理を単に切り換える場合について述べたが、本発明はこれに限らず、実施例3について上述したように加重加算によりフィールド間内挿演算処理とフレーム間内挿演算処理を切り換えるようにして、滑らかに処理を切り換えるようにしてもよい。なおこの場合、加重加算に使用する係数の値を、動き量の大きさ及び又はフィールド間差分値の絶対値和に応じて設定すればよい。
また上述の実施例7においては、5種類のベクトルクトMV、V0〜V3のうちで最も処理に適したベクトルを選択して動き補正に使用する場合について述べたが、本発明はこれに限らず、必要に応じてこれら以外のベクトルを選択対象に加えてもよく、これとは逆に孤立点除去ベクトル等を選択対象から除去してもよく、さらには実用上十分に解像度の低下、画像歪みを防止して内挿フィールドを作成することができる場合には、動きベクトル検出回路で検出した周辺マクロブロックの動きベクトルMVと平均値化したベクトルV1との2種類だけを選択対象に設定するようにしてもよい。
また上述の実施例においては、単にフィールド数を変換する場合について述べたが、本発明はこれに限らず、併せてライン数、画素数を変換する場合にも広く適用することができる。
本発明は、フィールドレートコンバータに関し、特にインターレース方式のビデオ信号のフィールド数の変換に適用することができる。
1、31、41、51、61……フィールドレートコンバータ、2……動き検出回路、3、43……適応動き補正回路、6……現フィールド動き補正回路、7……前フィールド動き補正回路、8……前フレーム動き補正回路、11、53……動きベクトル検出回路、13、36、55……動きベクトル量判定回路、23、26、27、29、38、39……選択回路、24、25、47、48……乗算回路、28、49……加算回路、33……動きベクトル判定回路、40……動き補正回路、46……動きベクトル量判定・分配回路、62……動きベクトル分配回路、63……動き補正選択回路
Claims (10)
- 入力ビデオ信号のフィールド数を変換して出力ビデオ信号を出力するフィールドレートコンバータにおいて、
前記入力ビデオ信号から静止画部分を検出する動き検出回路と、
前記入力ビデオ信号の動きベクトルを検出する動きベクトル検出回路と、
前記入力ビデオ信号を1フィールドの期間だけ遅延させて前フィールドのビデオ信号を生成する1フィールド遅延回路と、
前記入力ビデオ信号を1フレームの期間だけ遅延させて前フレームのビデオ信号を生成する1フレーム遅延回路と、
前記入力ビデオ信号、前記前フィールドによるビデオ信号、前記前フレームによるビデオ信号より前記出力ビデオ信号を生成して出力する適応動き補正回路とを備え、
前記適応動き補正回路は、
前記動き検出回路の検出結果、前記動きベクトルに基づいて、
前記入力ビデオ信号の静止画部分では、前記入力ビデオ信号を選択して前記出力ビデオ信号を出力し、
前記入力ビデオ信号の静止画部分以外では、動きが大きい場合に、前記入力ビデオ信号と、前記前フィールドによるビデオ信号とによる前記動きベクトルを用いたフィールド間の内挿演算処理により前記出力ビデオ信号を出力し、
前記入力ビデオ信号の静止画部分以外では、動きが小さい場合に、前記入力ビデオ信号と、前記前フレームによるビデオ信号とによる前記動きベクトルを用いたフレーム間内挿演算処理により前記出力ビデオ信号を出力する
ことを特徴とするフィールドレートコンバータ。 - 前記適応動き補正回路は、
前記静止画部分、前記動きが大きい部分、前記動きが小さい部分の検出をフィールド単位で実行し、
1フィールドの全てで前記動きベクトルの大きさが一定値以下の場合、該フィールドを前記動きが小さい部分と判定する
ことを特徴とする請求項1に記載のフィールドレートコンバータ。 - 前記適応動き補正回路は、
前記静止画部分、前記動きが大きい部分、前記動きが小さい部分の検出を、前記動きベクトル検出回路における動きベクトル検出ブロック単位、又は前記動きベクトル検出ブロック単位より小さな単位で実行する
ことを特徴とする請求項1に記載のフィールドレートコンバータ。 - 前記適応動き補正回路は、
前記動きベクトルの大きさに応じて値の変化する重み係数を生成する重み係数生成回路と、
前記重み係数により前記前フィールドによるビデオ信号を動き補正した前フィールドによる動き補正ビデオ信号と前記前フレームによるビデオ信号を動き補正した前フレームによる動き補正ビデオ信号とを荷重加算する加重加算回路と、
前記加重加算回路の出力信号と前記入力ビデオ信号を動き補正した現フィールドによる動き補正ビデオ信号とを内挿演算処理する加重加算回路とを備え、
前記重み係数の可変により、前記フィールド間の内挿演算処理と前記フレーム間の内挿演算処理とを切り換える
ことを特徴とする請求項1、請求項2又は請求項3に記載のフィールドレートコンバータ。 - 前記適応動き補正回路は、
フィールド単位で、前記重み係数を設定する
ことを特徴とする請求項4に記載のフィールドレートコンバータ。 - 前記適応動き補正回路は、
前記動きベクトル検出回路における動きベクトル検出ブロック単位で、前記重み係数を設定する
ことを特徴とする請求項4に記載のフィールドレートコンバータ。 - 前記動きベクトル検出回路は、
フィールド間とフレーム間とで動きベクトルを検出し、
前記前フィールド動き補正回路、前記前フレーム動き補正回路は、
前記フィールド間による動きベクトル、又は前記フレーム間による動きベクトルが一定の判定基準値より小さい場合、
前記フレーム間による動きベクトルにより前記内挿演算処理を実行し、
前記フィールド間による動きベクトル、又は前記フレーム間による動きベクトルが一定の判定基準値より大きい場合、
前記フィールド間による動きベクトルにより前記内挿演算処理を実行する
ことを特徴とする請求項1、請求項2、請求項3、請求項4、請求項5又は請求項6に記載のフィールドレートコンバータ。 - 前記動きベクトル検出回路は、
フィールド間で動きベクトルを検出して、該フィールド間による動きベクトルが一定の判定基準値より小さい場合、次のフィールドではフレーム間で動きベクトルを検出し、
フレーム間で動きベクトルを検出して、該フレーム間による動きベクトルが一定の判定基準値より大きい場合、次のフィールドではフィールド間で動きベクトルを検出する
ことを特徴とする請求項1、請求項2、請求項3、請求項4、請求項5、請求項6又は請求項7に記載のフィールドレートコンバータ。 - 入力ビデオ信号のフィールド数を変換して出力ビデオ信号を出力するフィールドレートコンバータにおいて、
前記入力ビデオ信号から静止画部分を検出する動き検出回路と、
前記入力ビデオ信号の動きベクトルを検出する動きベクトル検出回路と、
前記入力ビデオ信号を1フィールドの期間だけ遅延させて前フィールドのビデオ信号を生成する1フィールド遅延回路と、
前記入力ビデオ信号を1フレームの期間だけ遅延させて前フレームのビデオ信号を生成する1フレーム遅延回路と、
前記入力ビデオ信号、前記前フィールドによるビデオ信号、前記前フレームによるビデオ信号より前記出力ビデオ信号を生成して出力する適応動き補正回路とを備え、
前記適応動き補正回路は、
前記動き検出回路の検出結果、前記動きベクトルに基づいて、
前記入力ビデオ信号の静止画部分では、前記入力ビデオ信号を選択して前記出力ビデオ信号を出力し、
前記入力ビデオ信号の静止画部分以外では、第1及び第2の条件の何れの条件も満足しない場合に、前記入力ビデオ信号と、前記前フィールドによるビデオ信号とを動き補正したフィールド間の内挿演算処理により前記出力ビデオ信号を出力し、
前記入力ビデオ信号の静止画部分以外では、前記第1又は第2の条件を満足する場合に、前記入力ビデオ信号と、前記前フレームによるビデオ信号とを動き補正したフレーム間内挿演算処理により前記出力ビデオ信号を出力し、
前記第1の条件が、
前記動き補正に使用する動きベクトルの水平方向成分及び垂直方向成分の大きさがそれぞれ所定値以下の場合であって、かつ前記動き補正に使用する動きベクトルにより動き補正して得られるフィールド間差分値又はフレーム間差分値が所定値以下の場合であり、
前記第2の条件が、
一様な速度による動きの場合である
ことを特徴とするフィールドレートコンバータ。 - 少なくとも前記動きベクトル検出回路で検出される周辺マクロブロックの前記動きベクトルと、該動きベクトルを平均値化した動きベクトルとから、処理に適した動きベクトルを選択して前記動き補正の処理を実行し、
前記平均値化した動きベクトルを選択した場合、前記2の条件を満足する場合であるとする
ことを特徴とする請求項9に記載のフィールドレートコンバータ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006318094A JP2007221759A (ja) | 2006-01-17 | 2006-11-27 | フィールドレートコンバータ |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006008158 | 2006-01-17 | ||
JP2006318094A JP2007221759A (ja) | 2006-01-17 | 2006-11-27 | フィールドレートコンバータ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007221759A true JP2007221759A (ja) | 2007-08-30 |
Family
ID=38498453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006318094A Pending JP2007221759A (ja) | 2006-01-17 | 2006-11-27 | フィールドレートコンバータ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007221759A (ja) |
-
2006
- 2006-11-27 JP JP2006318094A patent/JP2007221759A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4083265B2 (ja) | 画像信号の方式変換方法および装置 | |
US6414719B1 (en) | Motion adaptive median filter for interlace to progressive scan conversion | |
KR100766085B1 (ko) | 프레임레이트 변환기능을 구비한 영상표시장치 및프레임레이트 변환방법 | |
US7548655B2 (en) | Image still area determination device | |
JP2012169992A (ja) | 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置 | |
US7688385B2 (en) | Video signal processing apparatus and method | |
JP2004328635A (ja) | 信号処理装置および信号処理方法 | |
JP4031389B2 (ja) | 画像変換装置および画像変換方法 | |
US8576337B2 (en) | Video image processing apparatus and video image processing method | |
US7868948B2 (en) | Mage signal processing apparatus, image signal processing method and program for converting an interlaced signal into a progressive signal | |
KR100967262B1 (ko) | 화상 변환 장치 및 화상 변환 방법 | |
JP4956180B2 (ja) | 順次走査変換装置及び順次走査変換方法 | |
JP4222090B2 (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
JP2005051460A (ja) | ビデオ信号処理装置及びビデオ信号の処理方法 | |
JP2004320278A (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
JP2007221759A (ja) | フィールドレートコンバータ | |
JP4910579B2 (ja) | 画像信号処理装置、画像信号処理方法、およびプログラム | |
JP4279332B2 (ja) | 順次走査変換装置及び順次走査変換方法 | |
JP3121519B2 (ja) | 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路 | |
US7804542B2 (en) | Spatio-temporal adaptive video de-interlacing for parallel processing | |
KR101513395B1 (ko) | 모션 적응적 디인터레이싱 시스템 | |
KR100624304B1 (ko) | 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 | |
JP3022977B2 (ja) | テレビジョン信号内挿方式 | |
JP5300568B2 (ja) | 映像処理装置およびその制御方法 | |
JP2008182476A (ja) | 変化予測値算出装置及びip変換処理装置 |