JP2007519354A - 動き補償された時間補間を使用したビデオのデインタレースのための方法及び装置 - Google Patents

Abstract

インタレースされたビデオ信号を処理する方法及び装置が開示される。はじめに、インタレースされたビデオ信号がデインタレースされる。インタレースされたビデオ信号のオリジナルフレーム間の複数の時間的に補間されたフレームは、動き補償された時間的な補間を使用してつくられる。複数の時間的に補間されたフレーム及びオリジナルのフレームは、出力ビデオ信号を生成するために時間的にフィルタリングされる。

Description

本発明は、ビデオエンコーダ／デコーダに関し、より詳細には、低ビットレートのビデオ圧縮用途で使用することができる方法及び装置に関する。

数十年にわたり使用されているＴＶ規格は、いわゆるインタレースされたビデオ信号を使用している。この方法は、通常のケースにおける画質を含むことなしに、２のファクタでの伝送の要求される帯域幅の低減を可能にする。シーケンスの間の大部分の瞬間の間、（動きが余りに大きくないとき）比較的高い解像度が提供され、たとえばスポーツイベントといった大きな動きをもつ動きについて、ピクチャレート又は（５０６０Ｈｚ）は、悩ませるジャダ効果を防止するために、比較的高い。

デジタルビデオにおいて固有の大量のデータのため、フルモーション、高精細デジタルビデオ信号の伝送は重要な問題である。より詳細には、それぞれのデジタル画像フレームは、特定のシステムのディスプレイ解像度に従う画素のアレイから形成される静止画像である。結果として、高解像度のビデオ系列に含まれる未処理のデジタル情報の量は大量である。送出されるべきデータ量を低減するため、データを圧縮するために圧縮スキームが使用される。ＭＰＥＧ−２，ＭＰＥＧ−４及びＨ．２６３を含む、様々なビデオ圧縮規格又はプロセスが確立されている。同じ画素レートでビデオ信号にＭＰＥＧ−２として公知の圧縮技術を使用したビデオ圧縮を適用して、（７２０*２４０*２@３０Ｈｚ又は７２０*４８０ｉ@６０Ｈｚとしても知られる）インタレースされた信号に関して、プログレッシブ（たとえば７２０*４８０＠３０Ｈｚといったノンインタレース）信号について圧縮が更に効率的となる。

ＤＶＤ規格により、異なる解像度を有する様々なフォーマットが可能である。低い解像度のフォーマットは、ビットレートを低減し、したがってＤＶＤディスクで可能な記録時間を低減するのに非常に有効である。大部分のＤＶＤフォーマットは、フルピクチャレート（５０又は６０Ｈｚ）でインタレースされたフォーマットである。しかし、最も低い解像度のフォーマットは、ＳＩＦ又はＣＩＦ（３５２*２４０及び３５２*２８８）としても知られており、低減されたピクチャレート（５０又は６０Ｈｚの代わりに２５又は３０Ｈｚ）でプログレッシブフォーマットとしてのみ使用され、ＭＰＥＧ圧縮に必要とされる比較的低いビットレートのために、長時間の記録に非常に適している。

ジャダ効果に関して、ジャダ効果は、たとえば映画といった、セルロイドカメラで記録される画像について問題ではない。セルロイドカメラで記録される画像が何故ジェダを示さないかは、カメラのシャッターの振る舞いのためである。シャッターの長い開いた時間により、セルロイドのフォトンのインテグレーションのため、高速で動く物体のある種のスミアー（テンポラルフィルタリング）を引き起こす。しかし、スポーツのような高速な動きによりインタレースビデオカメラで記録された画像について、ジェダ効果は、完全に悩ませる。１つのＤＶＤディスクで８時間以上の記録時間を可能にするため、ＳＩＦフォーマットが使用される。しかし、このフォーマットの使用は、高速な動きの画像の記録について悩ませるジェダ効果の問題を有する。結果として、ＳＩＦフォーマットが使用されるときに高速の動画と関連されるジェダ効果を低減する方法が必要とされる。

本発明の目的は、低ビットレートのビデオ圧縮用途の使用の前にセルロイドカメラのスミアー（smearing）を電子的に評価することで他の公知の方法の問題点を克服することにある。

本発明の１実施の形態によれば、インタレースされたビデオ信号を処理するための方法及び装置が開示される。はじめに、インタレースされたビデオ信号は、デインタレースされる。インタレースされたビデオ信号のオリジナルフレーム間の複数の時間的に補間されたフレーム（temporal interpolated frames）は、動き補償された時間的な補間を使用してつくられる。複数の時間的に補間されたフレーム及びオリジナルフレームは、出力ビデオ信号を生成するために時間フィルタリングされる。

本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかにされるであろう。
本発明は、添付図面を参照して、例を通して以下に記載される。

図１は、本発明の１実施の形態に係る時間的な補間ユニット１００を例示する図である。時間的な補間ユニット１００は、図１及び図２を参照して記載される。インタレースされたビデオ入力ストリーム１０２は、デインタレーサ１０４に入力される。デインタレーサ１０４は、入力ビデオストリームをデインタレースし、デインタレースされたビデオストリームを生成する。デインタレースされたビデオストリームは、テンポラルインタポレータ１０６に供給される。テンポラルインタポレータ１０６は、通常のインタレースされたビデオ信号のそれぞれのオリジナルのフレーム間の複数の正しく時間的に時間的に補間されたフレームをつくる。テンポラルインタポレータ１０６は、受信されたフレームで動き予測を実行する。計算された動きベクトルは、２つの受信されたフレームの間の任意の位置にスケーリングすることができ、これらスケーリングされたベクトルによる動き補償が時間的な任意の（所望の）位置の動き補償されたフレームを構築するのを可能にする。テンポラルインタポレータ１０６は双方向の動き予測及び補償を使用する場合があることは、当業者により理解されるであろう。さらに、時間的な補間は、自然の動きをも使用する場合がある。実際の実現は、家電製品に適している３次元の再帰的なサーチ（３ＤＲＳ）に基づいており、たとえば米国特許第５０７２２９３，５１４８２６９及び５２１２５４８号を参照されたい。

図２に示されるように、多数の時間的に補間されたフレーム２０４は、それぞれのオリジナルフレーム２０２間で作られる。オリジナルフレーム２０２と時間的に補間されるフレーム２０４は、テンポラルフィルタ１０８によりフィルタリングされる。１つのフィルタリングされたフレーム（Ｆ）を構築するため、２ｎ＋１フレームにわたるフィルタリングは、フレームｉにおけるそれぞれ所与の画素（ｘ，ｙ）をその対応するフィルタ係数（ｉ）と乗算することで実行される。

この例示的な例では、フィルタ１０８は、それぞれのオリジナルフレーム及び時間的に補間されたフレームを係数（ｃ−５，ｃ−４，ｃ−３，ｃ−２，ｃ−１，ｃ０，ｃ１，ｃ２，ｃ３，ｃ４及びｃ５）で乗算する複数の乗算装置１１０を有する。この例示的な例では、乗算装置は、８ｍｓだけ離れて配置され、Ｃ−５とｃ−５の間の全体の距離は４０ｍｓであるが、本発明はこれに限定されない。それぞれの係数の値は、使用されるフィルタの形状に依存する。図３（ａ）〜（ｂ）は、使用することができる幾つかのフィルタ形状を例示するが、本発明はこれに限定されない。乗算器１１０からの出力値は、アキュムレータ１１２で累積される。

アキュムレータ１１２は、プログレッシブＳＩＦフォーマットを良好に使用する非常に低いビットレートに圧縮することができる「セルロイド“celluloid”」タイプの信号２０６であり、悩ませるジェダ効果が大いに回避される。図１に例示されるように、信号２０６は、更なる処理のためにＭＰＥＧプログレッシブエンコーダ１１４に供給することができる。

本発明は、たとえばフル解像度７２０*２４０*２＠３０Ｈｚインタレースを７２０*４８０＠３０Ｈｚプログレッシブに変換するための他のタイプのフォーマット、又はＤＶＤアプリケーション以外の用途に適用することができることを、当業者により理解されるであろう。本発明の異なる実施の形態は、幾つかのステップのタイミングが本発明の全体の動作に影響を及ぼすことなしに交換されるので、先に記載されたステップの正確な順序に限定されないことを理解されたい。さらに、用語「有する“comprising”」は、他のエレメント又はステップを排除するものではなく、用語“ａ”及び“ａｎ”は、複数であることを排除するものではなく、１つのプロセッサ又は他のユニットは、請求項で引用される幾つかのユニット又は回路の機能を達成する場合がある。

本発明の１実施の形態に係る時間的な補間ユニットのブロック図である。 本発明の１実施の形態に係る処理の様々なステージでのビデオストリームを例示する図である。 図３（ａ）〜（ｂ）は、本発明により採用することができる様々なフィルタ形状を例示する図である。

Claims (10)

1. ビデオ信号を処理する方法であって、
   時間的な補間を使用して前記ビデオ信号のオリジナルフレーム間の複数の時間的に補間されたフレームを作成するステップと、
   前記時間的に補間されたフレームとオリジナルフレームとを時間的にフィルタリングするステップと、
   を含むことを特徴とする方法。
2. それぞれの時間フィルタステージ出力の出力をオリジナルフレーム当たり１つのフィルタリングされた出力フレームに結合するステップを更に含む、
   請求項１記載の方法。
3. 前記入力信号は、前記時間的な補間の前にデインタレースされる、
   請求項１記載の方法。
4. 前記時間的な補間は、動き予測及び動き補償を使用する、
   請求項１記載の方法。
5. 前記時間的な補間は、計算された動きベクトルをつくる、
   請求項１記載の方法。
6. 前記計算された動きベクトルは、前記補間されたフレームの所望の時間の瞬間に従ってスケーリングされる、
   請求項４記載の方法。
7. 前記時間的な補間は、双方向の動き予測及び補償を使用する、
   請求項１記載の方法。
8. 前記時間的な補間は、自然の動きを使用する、
   請求項１記載の方法。
9. ビデオ信号を処理する装置であって、
   時間的な補間を使用して前記ビデオ信号のオリジナルフレーム間で複数の時間的に補間されたフレームをつくる時間補間ユニットと、
   前記複数の時間的に補間されたフレームとオリジナルフレームを時間フィルタリングする時間フィルタユニットと、
   出力ビデオ信号を生成するため、前記フィル他の出力を累積するアキュムレータと、
   を有することを特徴とする装置。
10. 前記ビデオ信号をデインタレースするデインタレース手段を更に有する、
    請求項９記載の装置。

Images