JP2006094261A - 映像信号処理装置 - Google Patents

Abstract

【課題】 本発明は、映像信号処理装置に関し、特に可変速再生に係る映像信号の作成に適用して、再生速度を種々に設定することができ、かつ動きの滑らかな可変速再生による映像信号を生成することができるようにする。
【解決手段】 本発明は、動きベクトルＶを用いたフィールド内挿又はフレーム内挿によりフィールド数又はフレーム数を変更した後、タイミングを補正して可変速再生に係る映像信号Ｓ５を生成する。
【選択図】 図１

Description

本発明は、映像信号処理装置に関し、特に可変速再生に係る映像信号の作成に適用することができる。本発明は、動きベクトルを用いたフィールド内挿又はフレーム内挿によりフィールド数又はフレーム数を変更した後、タイミングを補正して可変速再生に係る映像信号を生成することにより、再生速度を種々に設定することができ、かつ動きの滑らかな可変速再生による映像信号を生成する。

従来、放送現場等においては、ビデオテープレコーダを用いて可変速再生による映像信号を作成するようになされている。すなわち例えばスローモーション再生による映像信号においては、磁気テープの走行速度を低減させて同一フィールドの映像信号を繰り返し再生することにより、いわゆるコマ送りの映像信号を生成する。またこれとは逆に、スピードアップ再生による映像信号を生成する場合には、磁気テープの走行速度を高速度化し、コマ落としの映像信号を生成する。

これに対して高能率符号化処理、テレビジョン信号のフォーマット変換処理等の映像信号の処理においては、動きベクトルを用いた動き補正が適用されるようになされている。

このような動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ、ｎは整数）のマクロブロックによりブロック化し、各マクロブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。

ところでビデオテープレコーダを用いたスローモーション再生の映像信号は、コマ送りの映像信号であることにより、結局、再生速度を元の速度の１／Ｎ倍にしか設定できない。またビデオテープレコーダを用いたスピードアップ再生の映像信号にあっても、コマ落としの映像信号であることにより、再生速度を元の速度のＮ倍にしか設定できない。またこれらの映像信号は、動きもギクシャクとしたものになる。これらにより従来の手法による可変速再生の映像信号においては、再生速度をフレキシブルに設定し得ず、さらには動きが不自然な問題があった。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報

本発明は以上の点を考慮してなされたもので、再生速度を種々に設定することができ、動きの滑らかな可変速再生による映像信号を生成することができる映像信号処理装置を提案するものである。

かかる課題を解決するため請求項１の発明においては、映像信号処理装置に適用して、入力映像信号を一時記録して出力する第１の記憶手段と、前記第１の記憶手段から出力される前記入力映像信号より動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルを用いた内挿演算により、前記第１の記憶手段から出力される前記入力映像信号から内挿フィールドの映像信号又は内挿フレームの映像信号を生成する内挿手段と、再生速度の指示に従って、前記第１の記憶手段からの前記入力映像信号の出力を可変すると共に、前記内挿手段における内挿演算の内挿比を順次設定することにより、前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数を前記再生速度に応じて可変する再生速度の制御手段と、前記内挿フィールドの映像信号又は内挿フレームの映像信号を一時蓄積して出力することにより、前記内挿フィールドの映像信号又は内挿フレームの映像信号のタイミングを補正して出力する第２の記憶手段とを備えるようにする。

また請求項２の発明においては、請求項１の構成において、前記内挿手段は、ライン補間処理により１ライン単位より小さな精度により前記内挿フィールドの映像信号又は前記内挿フレームの映像信号を生成し、前記映像信号処理装置は、電子ズームに係る画サイズの指示に従って、前記内挿手段から出力される前記内挿フィールドの映像信号又は前記内挿フレームの映像信号について、内挿演算により水平方向のサンプリングのタイミングを変更して水平方向に電子ズームの処理を実行する水平電子ズーム手段と、前記電子ズームに係る画サイズの指示に従って、前記内挿手段の前記ライン補間処理に係る内挿比を可変することにより、前記内挿フィールドの映像信号又は前記内挿フレームの映像信号における垂直方向のサンプリングのタイミングを可変して、垂直方向に電子ズームの処理を前記内挿手段で実行させる電子ズームの制御手段とを有するようにする。

また請求項３の発明においては、請求項１又は請求項２の構成において、前記内挿手段における内挿演算の処理が、前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数を低減する処理であり、前記動きベクトル検出手段は、前記内挿フィールド又は内挿フレームの１つに対して、複数のフィールド間又は複数のフレーム間より動きベクトルを検出し、該検出した前記動きベクトルを第３の記憶手段に一時格納して保持し、前記第１の記憶手段から対応する前記映像信号が出力されるタイミングで保持した動きベクトルを前記内挿手段に出力する。

また請求項４の発明においては、請求項１又は請求項２の構成において、前記動きベクトル検出手段は、前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数に応じて、前記動きベクトルの検出精度を可変し、前記動きベクトルの検出精度の可変を、前記動きベクトルの検出に供する処理の段階数の切り換えにより実行する。

請求項１の構成により、映像信号処理装置に適用して、入力映像信号を一時記録して出力する第１の記憶手段と、前記第１の記憶手段から出力される前記入力映像信号より動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルを用いた内挿演算により、前記第１の記憶手段から出力される前記入力映像信号から内挿フィールドの映像信号又は内挿フレームの映像信号を生成する内挿手段と、再生速度の指示に従って、前記第１の記憶手段からの前記入力映像信号の出力を可変すると共に、前記内挿手段における内挿演算の内挿比を順次設定することにより、前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数を前記再生速度に応じて可変する再生速度の制御手段と、前記内挿フィールドの映像信号又は内挿フレームの映像信号を一時蓄積して出力することにより、前記内挿フィールドの映像信号又は内挿フレームの映像信号のタイミングを補正して出力する第２の記憶手段とを備えるようにすれば、入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数を種々の可変することができ、またこの可変により再生速度を種々に設定することができる。また動きベクトルを用いたフィールド内挿又はフレーム内挿により内挿フィールドの映像信号又は内挿フレームの映像信号が作成されることにより、動きも滑らかなものとすることができる。

また請求項２の構成によれば、請求項１の構成において、前記内挿手段は、ライン補間処理により１ライン単位より小さな精度により前記内挿フィールドの映像信号又は前記内挿フレームの映像信号を生成し、前記映像信号処理装置は、電子ズームに係る画サイズの指示に従って、前記内挿手段から出力される前記内挿フィールドの映像信号又は前記内挿フレームの映像信号について、内挿演算により水平方向のサンプリングのタイミングを変更して水平方向に電子ズームの処理を実行する水平電子ズーム手段と、前記内挿手段の前記ライン補間処理に係る内挿比を可変することにより、前記内挿フィールドの映像信号又は前記内挿フレームの映像信号における垂直方向のサンプリングのタイミングを可変して、垂直方向に電子ズームの処理を前記内挿手段で実行させる電子ズームの制御手段とを有するようにすることにより、個別に電子ズームの処理を実行する場合の画質劣化を低減して、併せて電子ズームの処理を実行することができる。

また請求項３の構成によれば、請求項１又は請求項２の構成において、前記内挿手段における内挿演算の処理が、前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数を低減する処理であり、前記動きベクトル検出手段は、前記内挿フィールド又は内挿フレームの１つに対して、複数のフィールド間又は複数のフレーム間より動きベクトルを検出し、該検出した前記動きベクトルを第３の記憶手段に一時格納して保持し、前記第１の記憶手段から対応する前記映像信号が出力されるタイミングで保持した動きベクトルを前記内挿手段に出力することにより、スピードアップ再生による映像信号を出力する場合にあって、滑らかな動きにより確実に映像信号を処理することができる。

また請求項４の構成によれば、請求項１又は請求項２の構成において、前記動きベクトル検出手段は、前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数に応じて、前記動きベクトルの検出精度を可変し、前記動きベクトルの検出精度の可変を、前記動きベクトルの検出に供する処理の段階数の切り換えにより実行することにより、動きベクトル検出処理に係る過大な負担の増大を有効に回避して、フィールド間、フレーム間に多数のフィールド、フレームを内挿することが必要な場合には、精度の高い動きベクトルを用いて内挿処理することができ、その分、簡易な構成により高画質の処理結果を得ることができる。

本発明によれば、再生速度を種々に設定することができ、また動きの滑らかな可変速再生による映像信号を生成することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例に係る映像信号処理装置を示すブロック図である。この映像信号処理装置１は、例えばライン数５２５本、フィールド周波数５９．９４〔Ｈｚ〕の入力映像信号Ｓ１を処理対象に設定して、動きベクトルを用いた内挿演算処理によりスローモーション再生による映像信号Ｓ５を出力する。

この映像信号処理装置１において、記憶部２は、入力映像信号Ｓ１を一時記録して出力する記録装置であり、この実施例では、高速ハードディスク装置が適用される。記憶部２は、再生制御回路６から出力される読み出し制御信号Ｓ１１に基づいて、保持した入力映像信号Ｓ１を続く動きベクトル検出回路３の処理に対応して順次出力する。

動きベクトル検出回路３は、記憶部２から順次出力される映像信号Ｓ２より順次動きベクトルＶを検出して出力する。なおこの動きベクトルの検出は、例えばブロックマッチング法、位相相関法等、種々の検出手法を適用することができる。

動き補正回路４は、動きベクトル検出回路３で検出される動きベクトルＶを用いた内挿演算により、内挿フィールドの映像信号Ｓ４を順次生成する。すなわち動き補正回路４は、再生制御回路６から出力される動き内挿比Ｓ１２により動きベクトルＶを内挿し、これにより記憶部２から順次読み出される映像信号Ｓ２の連続する２フィールドをそれぞれ基準にして、内挿フィールドの動きベクトルを計算する。またこの計算した内挿フィールドの動きベクトルにより、この連続する２フィールドの映像信号Ｓ２をそれぞれ動き補正した後、この動き補正した２フィールドの映像信号を例えば画素単位の直線補間により補間演算処理し、これにより動きベクトルＶを用いた内挿演算により内挿フィールドの映像信号Ｓ４を生成する。

記憶部５は、この動き補正回路４から出力される映像信号Ｓ４を蓄積して保持し、再生制御回路６から出力されるタイミング信号を基準にして、この保持した映像信号Ｓ４のタイミングを補正して出力する。なおこれにより一連の処理をリアルタイムにより実行しない場合、この記憶部５は、処理結果による映像信号Ｓ５の時間軸をリアルタイムによる時間軸に圧縮して出力する時間軸圧縮手段としても機能することになる。

これらによりこの映像信号処理装置１は、入力映像信号Ｓ１のフィールド数を変換して内挿フィールドの映像信号Ｓ４を生成した後、この映像信号Ｓ４のタイミングを補正して例えば局内同期に同期させて出力するようになされている。

コントローラ８は、操作子９の操作量を検出し、この検出結果により映像信号Ｓ５の再生速度を指示する再生速度制御信号Ｓ１０を生成して出力する。ここでこの実施例において、操作子９は、例えば所定の角度範囲で回転操作可能な回転操作子により構成される。コントローラ８は、この回転操作子の操作量に応じて１０ビットのパラレルデータにより再生速度制御信号Ｓ１０を出力する。具体的に、この映像信号処理装置１では、処理対象の入力映像信号Ｓ１の単位時間が処理結果の出力映像信号Ｓ５において何倍に拡大されているかにより再生速度を定義し、コントローラ８は、このようにして定義される再生速度のうち整数部分及び少数部分をこの１０ビットのパラレルデータのＭＳＢ側４ビット及びＬＳＢ側６ビットそれぞれ割り当てて再生速度制御信号Ｓ１０を出力する。

これによりコントローラ８は、１倍速による映像信号Ｓ５の出力を指示する場合には、値６４により再生速度制御信号Ｓ１０を出力し、１．５倍速によるスローモーション再生による映像信号Ｓ５の出力を指示する場合、値９６により再生速度制御信号Ｓ１０を出力し、最大で８倍速によりスローモーション再生を指示する再生速度制御信号Ｓ１０を出力する。

再生制御回路６は、この再生速度制御信号Ｓ１０に基づいて、読み出し制御信号Ｓ１１、動き内挿比Ｓ１２を出力する。すなわち再生制御回路６において、タイミング発生回路１２は、入力映像信号Ｓ１の処理基準である各種の基準信号を生成して出力し、内挿比演算回路１１は、再生速度制御信号Ｓ１０に基づいて、入力映像信号Ｓ１の各フィールドに対する内挿フィールドの位相を順次計算する。内挿比演算回路１１は、この位相計算結果から、内挿フィールドの生成に供する映像信号Ｓ１を動き補正回路４の処理に対応して順次出力するように、記憶部２の動作を制御する。またこの位相計算結果から、動き補正回路４の内挿演算に供する内挿比を順次計算し、動き補正回路４にこの計算した動き内挿比Ｓ１２を通知する。

すなわち図２に示すように、例えば値９６により再生速度制御信号Ｓ１０が入力された場合、映像信号Ｓ１のフィールド数を１．５倍に増大させるようにフィールド内挿処理して映像信号Ｓ５を生成することにより、この場合、映像信号Ｓ１の連続するフィールドＡ、Ｂ、Ｃを時間軸上で表現した場合に、この３つのフィールドＡ、Ｂ、Ｃに対して映像信号Ｓ５では４つのフィールドＡ、Ｂ、Ｃ、Ｄを設け、この４つのフィールドＡ、Ｂ、Ｃ、Ｄを映像信号Ｓ１に係るフィールド周波数により出力する。この場合、先頭のフィールドＡにあっては、記憶部２から出力される映像信号Ｓ２を何ら動き補正することなく動き補正回路４を介して記憶部５に記録して映像信号Ｓ５のフィールドＡとすることができる。これによりこの場合、内挿比演算回路１１は、このように記憶部２から出力される映像信号Ｓ２を何ら動き補正することなく動き補正回路４を介して記憶部５に記録するように、読み出し制御信号Ｓ１１、動き内挿比Ｓ１２を出力する。

これに対して続く映像信号Ｓ５のフィールドＢにあっては、映像信号Ｓ１のフィールドＡ及びＢによる時間軸を２：１により内分する点がこのフィールドＢのサンプリング点となる。これによりこの場合、内挿比演算回路１１は、フィールドＡに続いてフィールドＢを記憶部２から出力するように読み出し制御信号Ｓ１１を出力し、またこのフィールドＡ、Ｂから検出される動きベクトルＶを内挿比１：２により内挿するように動き内挿比Ｓ１２を出力する。

また続く映像信号Ｓ５のフィールドＣにあっては、映像信号Ｓ１のフィールドＢ及びＣによる時間軸を１：２により内分する点がこのフィールドＣのサンプリング点となる。これによりこの場合、内挿比演算回路１１は、フィールドＢに続くフィールドＣを記憶部２から出力するように読み出し制御信号Ｓ１１を出力し、またこのフィールドＢ、Ｃから検出される動きベクトルＶを内挿比２：１により内挿するように動き内挿比Ｓ１２を出力する。なおこの１．５倍による再生速度の場合、続く映像信号Ｓ５のフィールドＤにあっては、最初のフィールドＡにおける映像信号Ｓ１、Ｓ５の位相関係に戻ることになり、これにより内挿比演算回路１１は、上述した読み出し制御信号Ｓ１１、動き内挿比Ｓ１２の出力を繰り返すことになる。

（２）実施例の動作
以上の構成において、この映像信号処理装置１では、処理対象の入力映像信号Ｓ１が記憶部２に蓄積され、この蓄積した入力映像信号Ｓ１が順次出力されて動きベクトル検出回路３により動きベクトルＶが検出される。また再生制御回路６の制御により、この検出した動きベクトルＶを用いてフィールド内挿処理が実行され、これにより入力映像信号Ｓ１のフィールド数を再生制御回路６の指示によるフィールド数に変換した内挿フィールドの映像信号Ｓ４が生成され、この内挿フィールドの映像信号Ｓ４が記憶部５を介してタイミングの補正によりフィールド周波数が変換されて出力される。

これらの処理において、映像信号処理装置１では、回転操作子９の操作に応動して再生速度を指示する再生速度制御信号Ｓ１０がコントローラ８より再生制御回路６に入力され、この再生速度の指示に従って入力映像信号Ｓ１に対する内挿フィールドの位相が順次計算され、この計算結果により動き補正回路４の内挿処理に供する内挿比が順次設定されて、入力映像信号Ｓ１のフィールド数に対して内挿フィールドの映像信号Ｓ４のフィールド数が種々に設定される。

これによりこの映像信号処理装置１では、入力映像信号Ｓ１のフィールド数に対する内挿フィールドの映像信号Ｓ４のフィールド数を種々に可変して、この可変により再生速度を種々に設定することができる。また動きベクトルを用いたフィールド内挿により内挿フィールドの映像信号を作成することにより、動きも滑らかなものとすることができる。

（２）実施例の効果
以上の構成によれば、動きベクトルを用いたフィールド内挿処理により入力映像信号のフィールド数を変換した後、タイミングを補正して可変速再生に係る映像信号を生成することにより、再生速度を種々に設定することができ、かつ動きの滑らかな可変速再生による映像信号を生成することができる。

図３は、本発明の実施例２に係る映像信号処理装置を示すブロック図である。この映像信号処理装置２０において、図１について上述した映像信号処理装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

この映像信号処理装置２０は、動きベクトルを用いたフィールド内挿の処理により可変速再生に係る入力映像信号Ｓ１の内挿フィールドを生成する際に、併せて垂直方向への電子ズームの処理を実行する。

すなわち実施例１について上述した映像信号処理装置１に入力する映像信号Ｓ１、又はこの映像信号処理装置１から出力される映像信号Ｓ５について、電子ズームの処理を実行する場合、可変速再生の処理に係る内挿処理、電子ズームの処理に係るライン内挿、画素内挿の処理を実行することになる。これらの処理のうち可変速再生の処理に係る内挿処理において、例えば１／８ライン単位で動き補正する場合、ライン内挿の処理が必要となるのに対し、電子ズームの処理においても、同様のライン内挿の処理が必要となり、この場合、ライン内挿処理を２回、繰り返し、その分、画質が劣化することになる。

これによりこの実施例では、動き補正に係るライン内挿処理と電子ズームに係るライン内挿処理とをまとめて１回で実行し、これにより画質劣化を低減する。

すなわちこの実施例において、動き補正／ライン数変換処理回路２１は、再生制御回路６から出力される動き内挿比Ｓ１２、画素数／ライン数制御回路２４から出力される制御信号Ｓ２１により、動きベクトル検出回路３で検出される動きベクトルＶを用いて、記憶部２から出力される連続する２フィールドの映像信号Ｓ２を動き補正した後、例えば加算処理し、処理結果による映像信号Ｓ２１を出力する。

この処理において、動き補正／ライン数変換処理回路２１は、動きベクトル検出回路３で検出される動きベクトルＶを、再生制御回路６から出力される動き内挿比Ｓ１２により内挿演算処理し、映像信号Ｓ２の連続する２つのフィールドをそれぞれ基準にした内挿フィールドの動きベクトルを計算する。

またこの計算した動きベクトルを、画素数／ライン数制御回路２４から出力される制御信号Ｓ２１を用いて補正し、これにより電子ズームの処理による映像信号Ｓ２１の各ラインに係る動きベクトルを計算する。動き補正／ライン数変換処理回路２１は、この各ラインに係る動きベクトルにより、記憶部２から出力される連続する２フィールドの映像信号Ｓ２の対応するラインの画像データをライン補間して動き補正した後、例えば加算処理して映像信号Ｓ２１を生成する。

画素数変換回路２２は、この動き補正／ライン数変換処理回路２１から出力される映像信号Ｓ２１を入力し、画素数／ライン数制御回路２４から出力される制御信号２２に応じて、各ラインの画像データを内挿演算処理し、これにより水平方向に電子ズームの処理を実行する。映像信号処理装置２０では、このようにして処理された映像信号Ｓ２４を記憶部５を介して出力する。

これらの映像信号処理系の構成に対応して、コントローラ２３は、実施例１について上述したコントローラ８と同様に、回転操作子の操作に応動して再生速度制御信号Ｓ１０を出力する。またコントローラ２３は、同様の操作子の操作に応動して電子ズームの倍率を指示する倍率指示信号Ｓ２０を出力する。

画素数／ライン数制御回路２４は、このコントローラ２３から出力される倍率指示信号Ｓ２０により電子ズームの処理に係る制御信号Ｓ２１、Ｓ２２を生成して出力する。

これらによりこの実施例において、動き補正／ライン数変換処理回路２１は、ライン補間処理により１ライン単位より小さな精度により内挿フィールドの映像信号を生成し、画素数変換回路２２は、画素数／ライン数制御回路２４と共に、電子ズームに係る画サイズの指示に従って、内挿手段から出力される内挿フィールドの映像信号について、内挿演算により水平方向のサンプリングのタイミングを変更して水平方向に電子ズームの処理を実行する水平電子ズーム手段を構成する。また画素数／ライン数制御回路２４は、電子ズームに係る画サイズの指示に従って、内挿手段のライン補間処理に係る内挿比を可変することにより、内挿フィールドの映像信号における垂直方向のサンプリングのタイミングを可変して、垂直方向に電子ズームの処理を内挿手段で実行させる電子ズームの制御手段を構成する。

この実施例によれば、動きベクトルを用いたフィールド内挿によりフィールド数を変更した後、タイミングを補正して可変速再生に係る映像信号を生成するようにして、このフィールド内挿処理の際に併せて電子ズームに係るライン内挿の処理を実行することにより、電子ズーム、可変速再生の処理により映像信号を生成する際に、画質劣化を低減することができる。

図４は本発明の実施例３に係る映像信号処理装置を示すブロック図である。この図４の映像信号処理装置３０は、スローモーションだけでなくスピードアップについても可変速再生による映像信号Ｓ３５を出力可能に構成される。なおこの映像信号処理装置３０において、実施例１について上述した映像信号処理装置１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

ここでスローモーションの処理においては、結局、処理対象の映像信号Ｓ１の各フィールドで動きベクトルを検出してフィールド内挿することになる。これに対してスピードアップの処理においては、再生速度によってコマ落としが必要になる。

このためこの実施例において、コントローラ３１は、回転操作子の操作に応動して、スローモーションとスピードアップとについて、実施例１について上述した再生速度制御信号Ｓ１０と同一に再生速度制御信号Ｓ３０を生成して出力する。これによりスピードアップ再生の場合、再生速度制御信号Ｓ３０は、値６４より小さな値に設定される。

再生制御回路３６は、この再生速度制御信号Ｓ３０により指示される再生速度に基づいて、入力映像信号Ｓ１に対する内挿フィールドの位相を順次計算し、この位相計算結果から、内挿フィールドの生成に供するフィールドを順次出力するように記憶部２の動作を制御する。これにより再生制御回路３６は、スローモーション再生の場合には、連続するフィールドを再生速度に応じたタイミングで順次出力するように記憶部２の動作を制御する。

これに対してスピードアップ再生においては、１つの内挿フィールドに対して、複数のフィールド間より複数の動きベクトルＶを検出し、該検出した動きベクトルＶを処理して内挿演算に供する動きベクトルを検出し、これにより極端に再生速度を可変した場合等においても、動きを滑らかにする。なおこのような処理においては、連続するフィールド間で検出される動きベクトルＶを二次曲線近似等により補間演算処理することが考えられる。

またこのようにして計算した動きベクトルＶを動きベクトル記憶部３２に一時保持し、内挿フィールドに対して、前後の関係となる入力映像信号Ｓ１の２フィールドを記憶部２から読み出すと共に、この対応する入力映像信号Ｓ１が出力されるタイミングで動きベクトル記憶部３２に一時保持した動きベクトルを動き補正回路４に出力する。

以上の構成によれば、動きベクトルを用いたフィールド内挿によりフィールド数を変更した後、タイミングを補正して可変速再生に係る映像信号を生成するようにして、検出した動きベクトルを記憶手段に一時格納してタイミングを補正することにより、スピードアップ再生による映像信号を出力する場合にあって、滑らかな動きにより確実に映像信号を処理することができる。

この実施例においては、スローモーション再生において、入力映像信号Ｓ１のフィールド数に対する内挿フィールドの映像信号のフィールド数に応じて、動きベクトル検出回路における動きベクトルの検出精度を可変する。なおこの実施例に係る映像信号処理装置は、この動きベクトル検出回路に係る制御が異なる点を除いて、実施例１〜３について上述した映像信号処理装置と同一に構成される。

すなわち動きベクトル検出処理は、検出精度を高くしようとすると、その処理回路の負荷が大きくなり、回路規模が増大する。なお時分割処理により負担を軽減する方法も考えられるが、この場合、処理に時間を要することになる。具体的に８個の回路ブロックによる同時並列的な処理によりフィールド間差分値を計算して動きベクトルを検出する場合、１つの回路ブロックによりフィールド間差分値を計算する場合に比して、処理時間は、１／８となるのに対し、回路規模は８倍となる。

これに対して動きベクトルを用いたフィールド内挿においては、１つのフィールド間に生成する内挿フィールドの枚数が多い程、動きベクトルの精度が求められ、動きベクトルの精度を十分に確保できない場合、内挿フィールド間で滑らかな動きを確保できなくなる。これにより例えば１つのフィールド間に２枚の内挿フィールドを作成する場合と、１つのフィールド間に４枚の内挿フィールドを作成する場合とでは、後者で、動きベクトルの検出精度が求められる。

しかしながらこのようなフィールド内挿の処理に供する動きベクトルの検出においては、再生速度を遅くすればする程、１つの動きベクトルＶを用いて１つのフィールド間に生成する内挿フィールドの枚数が増大し、動きベクトルＶの検出に使用可能な時間が増大する。すなわち上述の例では、１つのフィールド間に２枚の内挿フィールドを作成する場合に比して、１つのフィールド間に４枚の内挿フィールドを作成する場合では、動きベクトルの検出に使用可能な時間が２倍に変化する。

これによりこの実施例では、入力映像信号Ｓ１のフィールド数に対する内挿フィールドの映像信号のフィールド数に応じて、動きベクトル検出回路にける動きベクトルの検出精度を可変する。またこのような動きベクトル検出の精度の切り換えを、例えば順次段階的に動きベクトル検出範囲を縮小して動きベクトルを検出するようにして、この処理の段階数を切り換えるにより実行する。

これによりこの実施例では、動きベクトル検出手段における動きベクトルの検出精度の可変により、動きベクトル検出処理に係る過大な負担の増大を有効に回避して、フィールド間に多数のフィールドを内挿することが必要な場合には、精度の高い動きベクトルを用いて内挿処理するようにし、その分、簡易な構成により高画質の処理結果を得るようになされている。

なお上述の実施例においては、連続する２フィールドの映像信号等から動きベクトルを検出してフィールド内挿する場合について述べたが、本発明はこれに限らず、例えば連続する４フィールドで動きベクトルを検出し、この検出した動きベクトルを用いてフィールド内挿するようにしてもよい。なおこの場合、これら４つのフィールドにより検出される複数の動きベクトルを用いた曲線近似により内挿フィールドの動きベクトルを検出することにより、動きを一段と滑らかにすることができる。

また上述の実施例においては、連続するフィールド間で動きベクトルを検出し、フィールド内挿する場合について述べたが、本発明はこれに限らず、フレーム間で動きベクトルを検出し、フレーム内挿により映像信号を生成するようにしてもよい。

また上述の実施例においては、回転操作子の操作により再生速度を可変する場合について述べたが、本発明はこれに限らず、例えばジョイスティック等による各種の操作子を広く適用することができる。なおジョイスティックの場合、センターポジションでは通常スピードで映像信号を出力するようにし、下方及び上方にずらした場合、それぞれスローモーション再生、スピードアップ再生とすることにより、簡易な操作により所望する再生速度の映像信号を確保することができる。

また上述の実施例３においては、スローモーション再生、スピードアップ再生の双方でフィールド内挿する場合について述べたが、本発明はこれに限らず、実用上十分に滑らかな動きを確保することができる場合には、単にコマ落としにより映像信号を出力するようにして、スピードアップ再生におけるフィールド内挿の処理を省略してもよい。

また上述の実施例２においては、ライン数の変換の後、画素数を変換する場合について述べたが、本発明はこれに限らず、画素数の変換の後、ライン数を変換するようにしてもよい。

また上述の実施例においては、入力映像信号と同一のフォーマットによる映像信号を出力する場合について述べたが、本発明はこれに限らず、入力映像信号と異なるフォーマットによる映像信号を出力する場合にも広く適用することができる。

本発明は、映像信号処理装置に関し、特に可変速再生に係る映像信号の作成に適用することができる。

本発明の実施例１に係る映像信号処理装置を示すブロック図である。 図１の映像信号処理装置の動作の説明に供する略線図である。 本発明の実施例２に係る映像信号処理装置を示すブロック図である。 本発明の実施例３に係る映像信号処理装置を示すブロック図である。

符号の説明

１、２０、３０……映像信号処理装置、２、５……記憶部、３……動きベクトル検出回路、４……動き補正回路、６……再生制御回路、８、２３、３１……コントローラ、１１……内挿比演算回路、１２……タイミング発生回路、２１……動き補正／ライン数変換処理回路、２２……画素数変換回路、２４……画素数／ライン数制御回路、３２……動きベクトル記憶部

Claims (4)

1. 入力映像信号を一時記録して出力する第１の記憶手段と、
   前記第１の記憶手段から出力される前記入力映像信号より動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルを用いた内挿演算により、前記第１の記憶手段から出力される前記入力映像信号から内挿フィールドの映像信号又は内挿フレームの映像信号を生成する内挿手段と、
   再生速度の指示に従って、前記第１の記憶手段からの前記入力映像信号の出力を可変すると共に、前記内挿手段における内挿演算の内挿比を順次設定することにより、前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数を前記再生速度に応じて可変する再生速度の制御手段と、
   前記内挿フィールドの映像信号又は内挿フレームの映像信号を一時蓄積して出力することにより、前記内挿フィールドの映像信号又は内挿フレームの映像信号のタイミングを補正して出力する第２の記憶手段と
   を備えることを特徴とする映像信号処理装置。
2. 前記内挿手段は、
   ライン補間処理により１ライン単位より小さな精度により前記内挿フィールドの映像信号又は前記内挿フレームの映像信号を生成し、
   前記映像信号処理装置は、
   電子ズームに係る画サイズの指示に従って、前記内挿手段から出力される前記内挿フィールドの映像信号又は前記内挿フレームの映像信号について、内挿演算により水平方向のサンプリングのタイミングを変更して水平方向に電子ズームの処理を実行する水平電子ズーム手段と、
   前記電子ズームに係る画サイズの指示に従って、前記内挿手段の前記ライン補間処理に係る内挿比を可変することにより、前記内挿フィールドの映像信号又は前記内挿フレームの映像信号における垂直方向のサンプリングのタイミングを可変して、垂直方向に電子ズームの処理を前記内挿手段で実行させる電子ズームの制御手段とを有する
   ことを特徴とする請求項１に記載の映像信号処理装置。
3. 前記内挿手段における内挿演算の処理が、
   前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数を低減する処理であり、
   前記動きベクトル検出手段は、
   前記内挿フィールド又は内挿フレームの１つに対して、複数のフィールド間又は複数のフレーム間より動きベクトルを検出し、該検出した前記動きベクトルを第３の記憶手段に一時格納して保持し、
   前記第１の記憶手段から対応する前記映像信号が出力されるタイミングで保持した動きベクトルを前記内挿手段に出力する
   ことを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
4. 前記動きベクトル検出手段は、
   前記入力映像信号のフィールド数又はフレーム数に対する前記内挿フィールドの映像信号のフィールド数又は前記内挿フレームの映像信号のフレーム数に応じて、前記動きベクトルの検出精度を可変し、
   前記動きベクトルの検出精度の可変を、前記動きベクトルの検出に供する処理の段階数の切り換えにより実行する
   ことを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
   
   

Images