JP2006339929A - ライン数変換装置 - Google Patents
ライン数変換装置 Download PDFInfo
- Publication number
- JP2006339929A JP2006339929A JP2005160826A JP2005160826A JP2006339929A JP 2006339929 A JP2006339929 A JP 2006339929A JP 2005160826 A JP2005160826 A JP 2005160826A JP 2005160826 A JP2005160826 A JP 2005160826A JP 2006339929 A JP2006339929 A JP 2006339929A
- Authority
- JP
- Japan
- Prior art keywords
- value
- motion
- line interpolation
- inter
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
【課題】 本発明は、ライン数変換装置に関し、例えばHDTVアップコンバータ等に適用して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができるようにする。
【解決手段】 本発明は、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4を評価する評価値を計算し、この評価値に基づいて重み係数k1、k2を生成して動き補正フィールド間ライン内挿信号S3とフィールド内ライン内挿信号S4とを重み付け加算する。
【選択図】 図1
【解決手段】 本発明は、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4を評価する評価値を計算し、この評価値に基づいて重み係数k1、k2を生成して動き補正フィールド間ライン内挿信号S3とフィールド内ライン内挿信号S4とを重み付け加算する。
【選択図】 図1
Description
本発明は、ライン数変換装置に関し、例えばHDTV(High Definition Television)アップコンバータ等に適用することができる。本発明は、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算することにより、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができるようにする。
従来、HDTVアップコンバータ等では、ライン内挿処理により入力ビデオ信号のライン数を増大させて所望するビデオ信号を生成している。このようなライン内挿処理では、動きのある部分ではフィールド内ライン内挿処理によりライン内挿処理を実行し、静止した部分ではフィールド間ライン内挿処理によりライン内挿処理を実行し、これにより解像度の劣化を防止するように構成される。
しかしながらこの方法では、静止した部分については、解像度の劣化を防止できるものの、動きのある部分については、解像度の劣化を防止することが困難な欠点がある。このため動きベクトルを用いて動き補正した後、フィールド間ライン内挿処理をする動き補正フィールド間ライン内挿処理が提案されている(日経エレクトロニクス1999.10.4 (no.753)頁41〜47)。
なお動きベクトルを用いたビデオ信号の処理は、ビデオ信号の高能率符号化におけるフレーム間符号化処理、ビデオ信号のライン数の変換処理等に利用されており、例えば特開昭55−162683号公報、特開昭55−162684号公報等にパターンマッチング法による動きベクトルの検出手法が開示されており、また特開昭60−158786号公報等に反復勾配法による動きベクトルの検出手法が開示されている。
しかしながら動き補正フィールド間ライン内挿処理では、動きベクトルの誤検出により画像歪みが発生する問題がある。
特に、フィールド間で動きベクトルを検出する場合、インターレース方式のビデオ信号において、隣接するフィールド間でラインが相違することにより、このラインの相違を補正する重心補正処理が必要となる。しかしながらこの重心補正処理は、2次元又は3次元のフィルタ処理であり、ライン方向の画像相関が小さい画像では、静止画の場合でも、重心補正してフィールド間差分値を計算すると、値0にはならない。具体的に、クロスハッチによるインターレースのビデオ信号を重心補正処理したところ、フィールド間で画像の広がりが異なり、これによりフィールド間差分値が値0とならないことが判った。
勾配法により動きベクトルを検出する場合に、このようにフィールド間差分値が値0とならないと、静止画像であっても動きベクトルが検出されることになる。これにより正しく動き補正することが困難になり、動き補正フィールド間ライン内挿処理では、画像歪みが発生することになる。
特開昭55−162683号公報
特開昭55−162684号公報
特開昭60−158786号公報
日経エレクトロニクス1999.10.4 (no.753)頁41〜47
本発明は以上の点を考慮してなされたもので、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができるライン数変換装置を提案しようとするものである。
かかる課題を解決するため請求項1の発明は、入力ビデオ信号のライン数を増大させて出力ビデオ信号を出力するライン数変換装置に適用して、前記入力ビデオ信号の動きベクトルをマクロブロック毎に検出する動きベクトル検出回路と、前記動きベクトルにより前記入力ビデオ信号を動き補正してフィールド間でライン内挿処理することにより、動き補正フィールド間ライン内挿信号を生成するフィールド間ライン内挿回路と、前記入力ビデオ信号をフィールド内でライン内挿処理することにより、フィールド内ライン内挿信号を生成するフィールド内ライン内挿回路と、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号を評価する評価値を計算し、前記評価値に基づいて、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号の重み係数を生成する評価回路と、前記重み係数により、前記動き補正フィールド間ライン内挿信号及び前記フィールド内ライン内挿信号を重み加算して前記出力ビデオ信号を生成する加算回路とを備えるようにする。
また請求項2の発明は、請求項1の構成において、前記評価回路は、前記動きベクトルによる動き量により前記評価値を設定し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記動き量が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。
また請求項3の発明は、請求項1の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フィールド間差分絶対値を計算する動き補正フィールド間差分値計算回路と、前記入力ビデオ信号のフィールド間差分絶対値を計算するフィールド間差分値計算回路と、前記動き補正フィールド間差分絶対値と、前記フィールド間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。
また請求項4の発明は、請求項1の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算する動き補正フレーム間差分値計算回路と、前記入力ビデオ信号のフレーム間差分絶対値を計算するフレーム間差分値計算回路と、前記動き補正フレーム間差分絶対値と、前記フレーム間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。
また請求項5の発明は、請求項1、請求項2、請求項3又は請求項4の構成において、前記動きベクトル検出回路は、前記入力ビデオ信号のフレーム間で前記動きベクトルを検出する。
また請求項6の発明は、請求項1の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算して前記評価値を検出し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する。
また請求項7の発明は、請求項1の構成において、前記評価回路は、前記動きベクトルによる動き量による評価値と、動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値による評価値と、動き補正フレーム間差分絶対値による評価値とにより、前記重み係数を生成する。
請求項1の構成により、入力ビデオ信号のライン数を増大させて出力ビデオ信号を出力するライン数変換装置に適用して、前記入力ビデオ信号の動きベクトルをマクロブロック毎に検出する動きベクトル検出回路と、前記動きベクトルにより前記入力ビデオ信号を動き補正してフィールド間でライン内挿処理することにより、動き補正フィールド間ライン内挿信号を生成するフィールド間ライン内挿回路と、前記入力ビデオ信号をフィールド内でライン内挿処理することにより、フィールド内ライン内挿信号を生成するフィールド内ライン内挿回路と、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号を評価する評価値を計算し、前記評価値に基づいて、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号の重み係数を生成する評価回路と、前記重み係数により、前記動き補正フィールド間ライン内挿信号及び前記フィールド内ライン内挿信号を重み加算して前記出力ビデオ信号を生成する加算回路とを備えるようにすれば、急激な特性の変化を有効に回避して動き等に応じてフィールド内ライン内挿信号と動き補正フィールド間ライン内挿信号とを切り換えて出力することができ、これにより動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
また請求項2の構成により、請求項1の構成において、前記評価回路は、前記動きベクトルによる動き量により前記評価値を設定し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記動き量が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動きベクトルにより評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
また請求項3の構成により、請求項1の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フィールド間差分絶対値を計算する動き補正フィールド間差分値計算回路と、前記入力ビデオ信号のフィールド間差分絶対値を計算するフィールド間差分値計算回路と、前記動き補正フィールド間差分絶対値と、前記フィールド間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値により評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
また請求項4の構成により、請求項1の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算する動き補正フレーム間差分値計算回路と、前記入力ビデオ信号のフレーム間差分絶対値を計算するフレーム間差分値計算回路と、前記動き補正フレーム間差分絶対値と、前記フレーム間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動き補正フレーム間差分絶対値とフレーム間差分絶対値との差分値により評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
また請求項5の構成により、請求項1、請求項2、請求項3又は請求項4の構成において、前記動きベクトル検出回路は、前記入力ビデオ信号のフレーム間で前記動きベクトルを検出すれば、重心補正による特性の劣化を防止することができる。
また請求項6の構成により、請求項1の構成において、前記評価回路は、前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算して前記評価値を検出し、前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定すれば、動き補正フレーム間差分絶対値により評価値を検出して、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
また請求項7の構成により、請求項1の構成において、前記評価回路は、前記動きベクトルによる動き量による評価値と、動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値による評価値と、動き補正フレーム間差分絶対値による評価値とにより、前記重み係数を生成すれば、これらの評価値の切り換え、総合的な判定等により、より適切に重み係数を設定することができ、これにより一段と確実に解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
本発明によれば、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例の構成
図1は、本発明の実施例1に係るライン数変換装置を示すブロック図である。このライン数変換装置1は、例えばHDTVアップコンバータに適用されて、入力ビデオ信号S1のライン数を変換して出力ビデオ信号S2により出力する。
図1は、本発明の実施例1に係るライン数変換装置を示すブロック図である。このライン数変換装置1は、例えばHDTVアップコンバータに適用されて、入力ビデオ信号S1のライン数を変換して出力ビデオ信号S2により出力する。
すなわちこのライン数変換装置1において、動きベクトル検出回路2は、入力ビデオ信号S1のフィールド間の動きベクトルVをマクロブロック毎に検出して出力する。なおこの動きベクトルVの検出は、ブロックマッチング法、勾配法等、種々の手法を広く適用することができる。
動き補正フィールド間ライン内挿回路3は、この動きベクトルVを用いて入力ビデオ信号S1を動き補正した後、フィールド間ライン内挿処理し、これにより動き補正フィールド間ライン内挿処理による動き補正フィールド間ライン内挿信号S3を生成して出力する。
フィールド内ライン内挿回路4は、入力ビデオ信号S1をフィールド内ライン内挿処理し、これによりフィールド内ライン内挿信号S4を生成して出力する。
加算回路5は、動き補正フィールド間ライン内挿信号S3とフィールド内ライン内挿信号S4とを所定の重み係数k1、k2により重み加算して出力ビデオ信号S2を生成する。
評価回路6は、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4を評価する評価値αを計算し、この評価値αに基づいて、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4の重み係数k1、k2を設定する。評価回路6は、この評価値αを入力ビデオ信号S1の動き量より検出し、動き量が大きい場合程、動き補正フィールド間ライン内挿信号S3の重み係数k1に比して、フィールド内ライン内挿信号S4の重み係数k2が増大するように、重み係数k1、k2を生成する。これによりこのライン数変換装置1では、動き補正フィールド間ライン内挿信号S3を用いて解像度の劣化を防止しつつ、動きベクトルの誤検出による歪みを低減する。
図2は、この評価回路6の詳細構成を示すブロック図である。この評価回路6において、2乗回路7及び8は、それぞれ動きベクトルVのX方向成分値Vx及びY方向成分値Vyをそれぞれ入力して2乗値を計算する。
加算回路9は、これら2乗回路7及び8で計算される2乗値を加算し、これにより動きベクトルの長さによる動き量α(=Vx×Vx+Vy×Vy)により評価値を検出する。なおここで動き量は、各方向成分値の2乗和に代えて、この2乗和の平方根((Vx×Vx+Vy×Vy)1/2)を適用するようにしてもよい。またX方向成分値Vx及びY方向成分値Vyをそれぞれ独立に処理して各方向について重み係数を生成し、これを合成して重み係数k1、k2としてもよい。
比較回路10、11は、それぞれしきい値α1、α2により加算回路9の評価値αを判定して判定結果を出力する。なおここでα1<α2であり、この実施例では、α1=3.00、α2=6.00とした。
正規化回路12は、加算回路9の出力値αを正規化することにより、評価値αがα1〜α2の範囲で、この評価値αの値に応じて値が変化する演算結果を出力する。なおここでこの実施例では、この演算結果を3ビットにより表現した。
加算比生成回路13は、比較回路10、11の比較結果、正規化回路12の演算結果に基づいて、入力ビデオ信号S1の評価値が大きい場合程、動き補正フィールド間ライン内挿信号S3の重み係数に比して、フィールド内ライン内挿信号S4の重み係数が増大するように、重み係数k1、k2を生成する。
具体的に加算比生成回路13は、図3に示すように、評価値αが、値の大きい側のしきい値α2より大きい場合、加算回路5からフィールド内ライン内挿信号S4を選択的に出力するように、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4の重み係数k1及びk2をそれぞれ値0、値1に設定する。
また評価値αが、値の小さい側のしきい値α1より小さい場合、加算回路5から動き補正フィールド間ライン内挿信号S3を選択的に出力するように、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4の重み係数k1及びk2をそれぞれ値1、値0に設定する。
これに対して評価値αが、しきい値α1〜α2の間である場合(α1<α<α2)、正規化回路12からの出力値により、評価値αが増大するに従って、フィールド内ライン内挿信号S4の重み係数k2を増大させ、またこの重み係数k2と相補的に値が変化するように重み係数k1を設定する。
(2)実施例の動作
以上の構成において、このライン数変換装置1では、入力ビデオ信号S1の動きベクトルVが動きベクトル検出回路2で検出され、動き補正フィールド間ライン内挿回路3で、この動きベクトルVを用いて入力ビデオ信号S1の前フィールドが動き補正される。またさらにこの動き補正された前フィールドと現フィールドとの間のフィールド間ライン内挿処理により、動き補正フィールド間ライン内挿信号S3が生成される。またフィールド内ライン内挿回路4において、現フィールドのライン内挿処理により、フィールド内ライン内挿信号S4が生成される。
以上の構成において、このライン数変換装置1では、入力ビデオ信号S1の動きベクトルVが動きベクトル検出回路2で検出され、動き補正フィールド間ライン内挿回路3で、この動きベクトルVを用いて入力ビデオ信号S1の前フィールドが動き補正される。またさらにこの動き補正された前フィールドと現フィールドとの間のフィールド間ライン内挿処理により、動き補正フィールド間ライン内挿信号S3が生成される。またフィールド内ライン内挿回路4において、現フィールドのライン内挿処理により、フィールド内ライン内挿信号S4が生成される。
しかして入力ビデオ信号S1の動きが大きい場合、この入力ビデオ信号S1は解像度が低下しており、この場合、フィールド内ライン内挿信号S4を選択してライン内挿信号S2として出力しても、何ら解像度の劣化を知覚し得ない。またこのようにライン内挿信号S2を選択する場合には、動きベクトルを用いた動き補正フィールド間ライン内挿信号S3を使用しないことにより、その分、動きベクトルの誤検出による歪みの発生を低減することができる。これにより入力ビデオ信号S1の動きが大きい場合、フィールド内ライン内挿信号S4は、高く評価することができるのに対し、動き補正フィールド間ライン内挿信号S3については、評価が低くなる。
これに対して解像度の劣化が目立つのは、入力ビデオ信号S1の解像度が高い場合であり、入力ビデオ信号S1の動きが小さい場合である。これによりこの場合、動き補正フィールド間ライン内挿信号S3を高く評価することができるのに対し、フィールド内ライン内挿信号S4は、評価が低くなる。
これによりこのライン数変換装置1では、入力ビデオ信号S1の動き量を動きベクトルVにより検出して評価値αを計算し、この評価値αにより重み係数k1、k2を生成して動き補正フィールド間ライン内挿信号S3とフィールド内ライン内挿信号S4とを重み付け加算し、これにより動き補正フィールド間ライン内挿処理S3を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
具体的に、評価値αが大きい場合には、フィールド内ライン内挿信号S4を優先するようにこの重み加算の重み係数k1、k2が設定され、これにより解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
すなわちこのライン数変換装置1では、動きベクトル検出回路2で検出される動きベクトルVについて、この動きベクトルVのx方向及びy方向成分の2乗和αが計算され、これにより動きベクトルVにより入力ビデオ信号S1の評価値αが検出される。また評価値αが第1のしきい値α2より大きい場合、フィールド内ライン内挿信号S4を選択的に出力するように重み係数k1、k2が設定され、評価値αが第1のしきい値α2より小さく、かつ第2のしきい値α1より大きい場合、評価値が大きくなるに従って、加算回路5から出力するフィールド内ライン内挿信号S4が増大するように重み係数k1、k2が設定され、評価値αが第2のしきい値α1より小さい場合、動き補正フィールド間ライン内挿信号S3を選択的に出力するように重み係数k1、k2が設定される。
これにより動き補正フレーム間ライン内挿処理に使用する動きベクトルを有効に利用して、入力ビデオ信号S1の動きに応じて重み係数を可変してライン内挿信号S2を生成することができ、簡易な構成により、解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。
またこのように評価値αが第1及び第2のしきい値α2及びα1の間で、評価値αが大きくなるに従って、加算回路5から出力するフィールド内ライン内挿信号S4が増大するように重み係数k1、k2が設定されることにより、出力ビデオ信号S2における急激な特性の変化を有効に回避することができる。
(3)実施例の効果
以上の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算することにより、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。またさらに重み係数を用いた加算処理であることにより、出力ビデオ信号における急激な特性の変化を防止することができる。
以上の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算することにより、動き補正フィールド間ライン内挿処理を用いたライン内挿処理により解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができる。またさらに重み係数を用いた加算処理であることにより、出力ビデオ信号における急激な特性の変化を防止することができる。
またこの評価値を動きベクトルにより検出するようにして、この評価値が第1のしきい値より大きい場合、第2のしきい値より小さい場合、それぞれフィールド内ライン内挿信号、動き補正フィールド間ライン内挿信号を選択出力することにより、この評価値が第1のしきい値から第2のしきい値までの範囲で重み加算することにより、簡易な構成により、解像度の低下を防止しつつ、従来に比して動きベクトルの誤検出による歪みを低減することができ、またさらに出力ビデオ信号S2における急激な特性の変化を有効に回避することができる。
図4は、図1との対比により本発明の実施例2に係るライン数変換装置を示すブロック図である。このライン数変換装置21において、図1について上述したライン数変換装置1と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
このライン数変換装置21において、前置フィルタ22は、入力ビデオ信号S1の帯域を制限して動きベクトルの誤検出を防止する。またフィールド間の重心補正の処理を併せて実行する。
遅延回路(D)23、24は、この前置フィルタ22から出力されるビデオ信号を順次1フィールドづつ遅延させて出力する。
動きベクトル検出回路25は、遅延回路24から出力されるビデオ信号を基準にして、前置フィルタ22から出力されるビデオ信号の動きベクトルを検出し、これによりフレーム間で動きベクトルを検出する。またこの検出した動きベクトルを1/2にしてフィールド間による動きベクトルVに補正して出力する。
動き補正回路26は、この動きベクトル検出回路25から出力されるフィールド間による動きベクトルVを用いて、遅延回路23から出力されるビデオ信号を動き補正し、これにより動き補正した前フィールドのビデオ信号である動き補正フィールド信号S5を生成する。
差分絶対値回路27は、この動き補正フィールド信号S5と前置フィルタ22から出力されるビデオ信号との間で、差分値を計算して絶対値化する。さらにこの絶対値化した差分値を所定ブロック単位で累積加算し、これにより動き補正フィールド間差分絶対値β1を検出する。なおここでこの累積加算に供するブロックは、動きベクトル検出回路25における動きベクトル検出単位であるマクロブロックより小さいことが望ましい。
差分絶対値回路28は、遅延回路23から出力されるビデオ信号と前置フィルタ22から出力されるビデオ信号との間で、差分値を計算して絶対値化する。さらにこの絶対値化した差分値を差分絶対値回路27の処理に係るブロックと同一のブロック単位で累積加算し、これによる動き補正しない場合のフィールド間差分絶対値β2を検出する。
評価回路29は、これら差分絶対値β1、β2の差分値を計算して評価値β1−β2を検出する。すなわちこのようにして検出される評価値β1−β2は、動き補正した場合のフィールド間差分絶対値と、動き補正していない場合のフィールド間差分絶対値との減算値であることにより、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4の評価に利用することができ、評価値β1−β2が大きい場合には、動き補正した前フィールドより動き補正していない前フィールドの方が、現フィールドに類似の程度が大きいと言える。
これにより評価回路29は、図5に示すように、評価回路6におけるしきい値α1、α2に代えて、この評価値β1−β2に対応するしきい値β3、β4(β3<β4)を適用して、評価回路6と同様に評価値β1−β2を判定、正規化して重み係数k1、k2を生成する。
すなわち評価値β1−β2が第1のしきい値β4より大きい場合、動き補正することによりフィールド間差分値が増大することにより、この場合、動きベクトルVを用いた動き補正は信頼性の欠ける処理であると言える。これによりこの場合、評価回路29は、フィールド内ライン内挿信号S4を選択的に出力するように重み係数k1、k2を設定する。
また評価値β1−β2が第2のしきい値β3より小さい場合、動き補正した場合の方がフィールド間差分値が小さいことにより、この場合、動きベクトルVを用いた動き補正は信頼性の高い処理であると言える。また重心補正による影響も少ないものであると言える。これによりこの場合、評価回路29は、動き補正フィールド間ライン内挿信号S3を選択的に出力するように重み係数k1、k2を設定する。
これに対して評価値β1−β2が第1及び第2のしきい値β4及びβ3の範囲に位置する場合、評価値β1−β2の値が大きくなるに従って、加算回路5から出力するフィールド内ライン内挿信号が増大するように重み係数k1、k2を設定する。なおこの実施例では、この評価値β1−β2に対応して4ビットにより重み係数k1、k2を制御した。
この実施例の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動き補正フィールド間差分絶対値と動き補正していないフィールド間差分絶対値との差分値を評価値に適用するようにしても、実施例1と同様の効果を得ることができる。
またこのような一連の処理に供する動きベクトルの検出をフレーム間で実行することにより、重心補正に係る誤差の発生を防止して動きベクトルの検出精度を向上することができ、その分、動きベクトルの誤り検出により歪みの発生を低減することができる。
この実施例においては、図4について上述した動き補正回路26、差分絶対値回路28において、遅延回路23の出力信号に代えて、遅延回路24の出力信号を入力し、これによりこれらの差分絶対値回路27、28において、動き補正フレーム間差分絶対値、フレーム間差分絶対値を計算する。これによりこの実施例においては、動き補正フィールド間差分値と動き補正していないフィールド間差分値とに代えて、動き補正フレーム間差分絶対値と動き補正していないフレーム間差分絶対値とを用いて、これら2つの差分値の差分値を判定して入力ビデオ信号S1の動きを評価する。なおこの場合、前置フィルタ22における重心補正の処理は、省略することができる。なおこれにより動き補正回路26では、フレーム間の動きベクトルにより動き補正の処理を実行する。
この実施例の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動き補正フレーム間差分絶対値と動き補正していないフレーム間差分絶対値との差分値を評価値に適用するようにしても、実施例2と同様の効果を得ることができる。
この実施例においては、実施例2、実施例3について上述した差分絶対値回路27、28における所定ブロック単位の差分絶対値の累積加算に加算処理を中止し、画素単位で差分絶対値の差分値を計算し、これによりフィールド間差分絶対値、フレーム間差分絶対値を計算する。またこれにより加算回路5における重み係数k1、k2を画素単位で切り換える。
この実施例のように、画素単位でフィールド間差分絶対値、フレーム間差分絶対値による評価値を検出して処理するようにしても、実施例2、実施例3と同様の効果を得ることができる。
図6は、図4との対比により本発明の実施例5に係るライン数変換装置を示すブロック図である。このライン数変換装置31において、図4について上述したライン数変換装置1と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
これによりこのライン数変換装置31は、動きベクトル検出回路25によりフレーム間の動きベクトルを検出してフィールド間の動きベクトルVに補正し、この動きベクトルVによる動き補正フィールド間ライン内挿信号S3とフィールド内ライン内挿信号S4とを加算回路5で加算する。
このライン数変換装置31において、動き補正回路32は、動きベクトル検出回路25で検出されるフレーム間の動きベクトル2Vをそのまま用いて、遅延回路24から出力される1フレーム前のビデオ信号を動き補正する。
差分絶対値回路33は、この動き補正回路32から出力される動き補正によるビデオ信号と前置フィルタ22から出力されるビデオ信号との間で差分値を計算する。またさらにこの差分値を絶対値化した後、所定ブロック単位で累積加算し、これによる動き補正フレーム間差分絶対値γを検出する。なおこの場合も、このブロックは、動きベクトルの検出に係るマクロブロックより小さいことが望ましい。また実施例4と同様に、画素単位の処理により累積加算の処理を省略して動き補正フレーム間差分絶対値γを検出するようにしてもよい。
ここでこの動き補正フレーム間差分絶対値γは、動きベクトルが正しく検出されている場合には、前フレームが正しく動き補正されることにより値が小さくなる。これに対して動きベクトルを誤検出している場合には、値が大きくなり、この場合はフィールド内ライン内挿信号S4を選択して画像歪みの発生を防止することができる。これによりこの動き補正フレーム間差分絶対値γにあっても、動き補正フィールド間ライン内挿信号S3、フィールド内ライン内挿信号S4を評価することができる。
これによりこの実施例では、この動き補正フレーム間差分絶対値γを評価値に適用する。また評価回路34は、評価回路6におけるしきい値α1、α2に代えて、この評価値γに対応するしきい値γ1、γ2(γ1<γ2)を適用して、評価回路6と同様に評価値γを判定、正規化して重み係数k1、k2を生成する。
すなわち評価値γが第1のしきい値γ2より大きい場合、動き補正による動き補正フレーム間差分絶対値が大きいことにより、この場合、動きベクトルVを用いた動き補正は信頼性の欠ける処理であると言える。これによりこの場合、評価回路34は、フィールド内ライン内挿信号S4を選択的に出力するように重み係数k1、k2を設定する。
また評価値γが第2のしきい値γ1より小さい場合、動き補正による動き補正フレーム間差分絶対値が小さいことにより、この場合、動きベクトルVを用いた動き補正は信頼性の高い処理であると言える。また重心補正による影響も少ないものであると言える。これによりこの場合、評価回路34は、動き補正フィールド間ライン内挿信号S3を選択的に出力するように重み係数k1、k2を設定する。
これに対して評価値γが第1及び第2のしきい値γ2及びγ1の範囲に位置する場合、評価値γの値が大きくなるに従って、加算回路5から出力するフィールド内ライン内挿信号S4が増大するように重み係数k1、k2を設定する。なおこの実施例では、この評価値γに対応して4ビットにより重み係数k1、k2を制御した。
この実施例の構成によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動き補正フレーム間差分絶対値を評価値に適用するようにしても、実施例1と同様の効果を得ることができる。
図7は、図1、図4、図6との対比により本発明の実施例6に係るライン数変換装置を示すブロック図である。このライン数変換装置41において、図1、図4、図6について上述したライン数変換装置1、21、31と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
これによりこのライン数変換装置41は、ライン数変換装置1、21、31について上述したように、3つの評価値α、β1−β2、γをそれぞれ検出し、各評価値α、β1−β2、γ毎にそれぞれ重み係数k1α、k2α、k1β、k2β、k1γ、k2γを生成する。なおこれら評価値α、β1−β2、γの計算にあっては、画素単位で実行するようにしてもよく、ブロック単位で実行するようにしてもよい。
係数合成回路42は、これら3種類の評価値α、β1−β2、γによる重み係数k1α、k2α、k1β、k2β、k1γ、k2γを合成して合成重み係数k1、k2を生成する。具体的に、係数合成回路42は、動き補正フィールド間ライン内挿信号S3に係る重み係数k1α、k1β、k1γの何れかが値1の場合、対応する合成重み係数k1を値1に設定し、フィールド内ライン内挿信号S4に係る合成重み係数k2を値0に設定し、これにより動き補正フィールド間ライン内挿信号S3を選択的に出力するように合成重み係数k1、k2を設定する。
またこれとは逆に、動き補正フィールド間ライン内挿信号S3に係る重み係数k1α、k1β、k1γの何れかが値0の場合、対応する合成重み係数k1を値0に設定し、フィールド内ライン内挿信号S4に係る合成重み係数k2を値1に設定し、これによりフィールド内ライン内挿信号S4を選択的に出力するように合成重み係数k1、k2を設定する。
またこれら以外の場合、評価値α、γによる重み係数k1α、k2α、k1γ、k2γを正規化して合成し、合成重み係数k1、k2を設定する。
この実施例によれば、動き補正フィールド間ライン内挿信号、フィールド内ライン内挿信号を評価する評価値を計算し、この評価値に基づいて重み係数を生成して動き補正フィールド間ライン内挿信号とフィールド内ライン内挿信号とを重み付け加算する構成において、動きベクトル、動き補正フィールド間差分絶対値と動き補正していないフィールド間差分絶対値との差分値、動き補正フレーム間差分絶対値による評価値により重み係数を作成するようにしても、実施例1と同様の効果を得ることができる。またこのように複数種類の評価値により重み係数を生成することにより、確実に動きベクトルの誤検出による歪みを低減することができる。
なお上述の実施例6においては、各評価値による重み係数を合成する場合について述べたが、本発明はこれに限らず、各評価値を合成して総合の評価値を計算した後、重み係数を作成するようにしてもよい。またこれら複数の評価値を種々に切り換えて使用するようにしてもよい。
本発明は、ライン数変換装置に関し、例えばHDTVアップコンバータ等に適用することができる。
1、21、31、41……ライン数変換装置、2、25……動きベクトル検出回路、3……動き補正フィールド間ライン内挿回路、4……フィールド内ライン内挿回路、5……加算回路、6、29……評価回路、22……前置フィールド、23、24……遅延回路、26、32……動き補正回路、27、28、33……差分絶対値回路、42……係数合成回路
Claims (7)
- 入力ビデオ信号のライン数を増大させて出力ビデオ信号を出力するライン数変換装置において、
前記入力ビデオ信号の動きベクトルをマクロブロック毎に検出する動きベクトル検出回路と、
前記動きベクトルにより前記入力ビデオ信号を動き補正してフィールド間でライン内挿処理することにより、動き補正フィールド間ライン内挿信号を生成するフィールド間ライン内挿回路と、
前記入力ビデオ信号をフィールド内でライン内挿処理することにより、フィールド内ライン内挿信号を生成するフィールド内ライン内挿回路と、
前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号を評価する評価値を計算し、前記評価値に基づいて、前記動き補正フィールド間ライン内挿信号、前記フィールド内ライン内挿信号の重み係数を生成する評価回路と、
前記重み係数により、前記動き補正フィールド間ライン内挿信号及び前記フィールド内ライン内挿信号を重み加算して前記出力ビデオ信号を生成する加算回路と
を備えることを特徴とするライン数変換装置。 - 前記評価回路は、
前記動きベクトルによる動き量により前記評価値を設定し、
前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記動き量が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
ことを特徴とする請求項1に記載のライン数変換装置。 - 前記評価回路は、
前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フィールド間差分絶対値を計算する動き補正フィールド間差分値計算回路と、
前記入力ビデオ信号のフィールド間差分絶対値を計算するフィールド間差分値計算回路と、
前記動き補正フィールド間差分絶対値と、前記フィールド間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、
前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
ことを特徴とする請求項1に記載のライン数変換装置。 - 前記評価回路は、
前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算する動き補正フレーム間差分値計算回路と、
前記入力ビデオ信号のフレーム間差分絶対値を計算するフレーム間差分値計算回路と、
前記動き補正フレーム間差分絶対値と、前記フレーム間差分絶対値との差分値を計算して前記評価値を検出する差分値計算回路を有し、
前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
ことを特徴とする請求項1に記載のライン数変換装置。 - 前記動きベクトル検出回路は、
前記入力ビデオ信号のフレーム間で前記動きベクトルを検出する
ことを特徴とする請求項1、請求項2、請求項3又は請求項4に記載のライン数変換装置。 - 前記評価回路は、
前記動きベクトルにより前記入力ビデオ信号を動き補正して動き補正フレーム間差分絶対値を計算して前記評価値を検出し、
前記評価値が第1のしきい値より大きい場合、前記加算回路から前記フィールド内ライン内挿信号を選択的に出力するように、前記重み係数を設定し、
前記評価値が第1のしきい値より小さく、かつ第2のしきい値より大きい場合、前記評価値が大きくなるに従って、前記加算回路から出力する前記フィールド内ライン内挿信号が増大するように、前記重み係数を設定し、
前記評価値が第2のしきい値より小さい場合、前記加算回路から前記動き補正フィールド間ライン内挿信号を選択的に出力するように、前記重み係数を設定する
ことを特徴とする請求項1に記載のライン数変換装置。 - 前記評価回路は、
前記動きベクトルによる動き量による評価値と、
動き補正フィールド間差分絶対値とフィールド間差分絶対値との差分値による評価値と、
動き補正フレーム間差分絶対値による評価値とにより、
前記重み係数を生成する
ことを特徴とする請求項1に記載のライン数変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005160826A JP2006339929A (ja) | 2005-06-01 | 2005-06-01 | ライン数変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005160826A JP2006339929A (ja) | 2005-06-01 | 2005-06-01 | ライン数変換装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006339929A true JP2006339929A (ja) | 2006-12-14 |
Family
ID=37560091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005160826A Pending JP2006339929A (ja) | 2005-06-01 | 2005-06-01 | ライン数変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006339929A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014014034A (ja) * | 2012-07-05 | 2014-01-23 | Toshiba Corp | 視差画像生成装置及び視差画像生成方法 |
-
2005
- 2005-06-01 JP JP2005160826A patent/JP2006339929A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014014034A (ja) * | 2012-07-05 | 2014-01-23 | Toshiba Corp | 視差画像生成装置及び視差画像生成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4973031B2 (ja) | ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置 | |
US20080151106A1 (en) | Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images | |
JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
EP1742485A2 (en) | Motion estimator and estimating method | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
US8675128B2 (en) | Image processing method and system with repetitive pattern detection | |
KR20040108053A (ko) | 움직임 벡터 생성 장치 및 방법 | |
US20070133686A1 (en) | Apparatus and method for frame interpolation based on motion estimation | |
JP3960258B2 (ja) | 信号処理装置および信号処理方法 | |
KR20070094796A (ko) | 디인터레이싱 방법, 장치 및 시스템 | |
JP2009159191A (ja) | ノイズリダクション装置、ノイズリダクション方法 | |
US20110228167A1 (en) | Image processing apparatus, image processing method, and recording medium for image processing program | |
US9135676B2 (en) | Image interpolation processing apparatus and method thereof | |
JP2005051460A (ja) | ビデオ信号処理装置及びビデオ信号の処理方法 | |
US8184706B2 (en) | Moving picture coding apparatus and method with decimation of pictures | |
JP2006339929A (ja) | ライン数変換装置 | |
JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
JP2007243627A (ja) | ビデオ信号処理装置 | |
JPH08163410A (ja) | ノイズ低減回路 | |
US7804542B2 (en) | Spatio-temporal adaptive video de-interlacing for parallel processing | |
JP2009265688A (ja) | 動き検出装置 | |
KR100624304B1 (ko) | 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 | |
JP4261381B2 (ja) | 映像信号処理装置 | |
JP3022977B2 (ja) | テレビジョン信号内挿方式 | |
US20050185716A1 (en) | Device and method for preprocessing prior to coding of a sequence of images |