JP4689001B2

JP4689001B2 - Video signal processing apparatus, computer program, and video signal processing method

Info

Publication number: JP4689001B2
Application number: JP2000115291A
Authority: JP
Inventors: ウェブロバート; イアンサンダースニコラス
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1999-04-16
Filing date: 2000-04-17
Publication date: 2011-05-25
Anticipated expiration: 2020-04-17
Also published as: JP2001008210A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ信号処理、例えば、２つ以上のビデオ信号を示す圧縮データが結合される信号処理に関する。本発明の具体例は、既知のＭＰＥＧ−２標準に従って圧縮されたビデオ信号に関するが、本発明はかかる信号に限定されるものではない。
【０００２】
【従来の技術】
２つ以上のビデオ信号をミックスし、ワイプし、又は、スーパーインポーズすることは、たいてい好ましいことである。例えば、いわゆるワイプ効果は、テレビジョン番組において、２つの異なる場面間の遷移に使用され得るし、或いは、サブタイトル、又は、その番組に関係する人達の氏名のような、いわゆるロゴ、又は、他のコンピュータ生成信号が、その下の映像を損なうことなく、ビデオ映像上にスーパーインポーズされ得る。
【０００３】
アナログビデオ信号、又は、圧縮されていないビデオ信号については、上述の処理は比較的簡単である。キー信号は、各画素位置における、構成要素である２つのビデオ信号（ビデオ信号Ａ、Ｂと称することにする）の各レベルを制御するのに、使用することができ、その２つのレベルの制御された信号は合成される。各画素位置において、キー信号のレベルＫ、２つの入力画素のレベルＡ、Ｂ及び出力画素のレベルの間には、次式の関係があり得る。
出力画素値＝Ａ（１−Ｋ）＋ＢＫ
【０００４】
この処理は、各出力画素で成立する。若し、ある特別の画素位置で、信号Ａが全部信号Ｂに置き換えられるとすると、キー信号は１（さもなければ、１００％）になり、若し、２つの画素の混合比が５０：５０であるとすると、キーの値は０．５、即ち、５０％になる。
【０００５】
いずれか一方のビデオ信号、又は、両方のビデオ信号が、圧縮されたビデオストリームであるときは、状況は遙に複雑になる。ＭＰＥＧ−２のように、圧縮されたビデオストリームでは、画素は、一般に、マクロブロックとして知られているブロックとして圧縮され、このため、圧縮されたビデオ信号から直接に特別の画素の値を得ることはできない。
【０００６】
又、圧縮されたビデオ信号は、しばしば、そのビデオ信号を伝達又は蓄積するデータの量によって、全体の制限に従うことになる。ピクチャからピクチャへ、又は、ピクチャ群（ＧＯＰ）からピクチャ群（ＧＯＰ）へと変化がある限り、時間平均データレートは、しばしば、伝送又は蓄積チャンネルの容量に束縛される。ＧＯＰ対ＧＯＰの画素から画素への許容変化量は、結合される２つのビデオ信号は、瞬時データレートが全く異なる、名目上同じデータレートを持つことができることを、意味する。１つ以上の圧縮信号を含む１群のビデオ信号から、複合ビデオ信号を生成するときは、データのオバーフロー又はアンダーフローを回避する必要があることに、十分注意しなければならない。
【０００７】
この議論に直接関連する圧縮されたビデオ信号の第３番目の特徴は、そのビデオ信号が、一時的に先行又は後行するピクチャのブロックを示す動きベクトルをしばしば利用することであり、そのピクチャのブロックは、現在のピクチャのブロックに似ており、そのため現在のピクチャを符号化する必要のあるデータ量を削ることができる。
【０００８】
これらの問題に対処する１つの方法は、圧縮された入力信号の全体を圧縮解除し、混合を実行するか、又は、非圧縮システム領域における処理に類似した処理を実行し、そして、結果として得られた複合ピクチャを再圧縮することである。
【０００９】
【発明が解決しようとする課題】
ＭＰＥＧ−２システムのような圧縮システムでは、ビデオ信号の圧縮を行うと、結果として得られる映像の質が低下する傾向にある。若し、ロゴ、又は、これに類似した情報を単に付加すると、ロゴ情報が付加されたピクチャの全体の画質が低下するので、好ましくない。
【００１０】
【課題を解決するための手段】
本発明によれば、第１のビデオ情報を表す、圧縮された第１のビデオ信号を受ける第１の入力端子と、
上記第１のビデオ情報は上記圧縮された第１のビデオ信号のピクチャに関連する変換パラメータを含むと共に上記圧縮された第１のビデオ信号の圧縮に関する情報を含み、
上記圧縮された第１のビデオ信号のピクチャに関連する上記変換パラメータを保存すると同時に、上記圧縮された第１のビデオ信号の全てを復号して上記第１のビデオ情報に対応するビデオ情報を生成する、復号器と、
当該復号された第１のビデオ情報に対応するビデオ情報と結合される第２のビデオ情報を表す第２のビデオ信号を受ける第２の入力端子と、
上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報とを結合して第３のビデオ情報を生成する結合器であって、上記結合される第２のビデオ情報の上記第１のビデオ信号のピクチャ内における位置および上記第２のビデオ情報と上記復号された第１のビデオ情報に対応するビデオ情報との結合の割合を示すキー信号に従って、上記キー信号によって示されたピクチャ内の各位置において、下記式に従って上記第２のビデオ情報を上記復号された第１のビデオ情報に対応するビデオ情報と結合して上記第３のビデオ信号を生成する、
Ｃ＝ＡＫ＋（１−Ｋ）Ｂ
但し、Ｋはキー信号で示される上記結合の割合を示し、
０≦Ｋ≦１であり、
Ａは、上記第１のビデオ情報であり、
Ｂは、上記第２のビデオ情報であり、
Ｃは、上記第３のビデオ情報である、
結合器と、
上記第３のビデオ情報のピクチャの全てを符号化して、上記結合された第３のビデオ情報を表す第３のビデオ信号を生成する符号化器と
を有し、
上記符号化器は、上記第３のビデオ情報のピクチャの全てのうち、
上記第２のビデオ情報が結合されていない、上記復号された第１のビデオ情報に対応するビデオ情報のみの上記第３のビデオ情報については上記保存した変換パラメータを用い、
上記復号された第１のビデオ情報に対応するビデオ情報と上記第２のビデオ情報が結合されている上記第３のビデオ情報については、上記圧縮された第１のビデオ信号と同じ符号化方式で符号化する、
ビデオ信号処理装置が提供される。
【００１１】
また本発明によれば、上記処理を行うビデオ信号処理方法が提供される。
【００１２】
また本発明によれば、上記処理を行うプログラムが提供される。
【００１３】
動きベクトルを再計算すると画質の低下を招来するかもしれないので、保存されている動きベクトルを再使用すると、全ピクチャの質を高く維持することができる。それにより、更に、第１のビデオ信号のみから得られた映像部分のピクチャの質が高く維持される。
【００１４】
また本発明における符号化および復号化処理は、ＭＰＥＧ方式による。
【００１５】
本発明は、第１のビデオ信号から得られた結合された映像の部分のために保存された変換パラメータを再使用することによって、結合された第３のビデオ情報の再符号化による映像の品質のどんな低下も、最小にするか、又は、少なくとも減少させる。
【００１６】
本発明の具体例では、上記第１のビデオ信号は、内符号化されたピクチャ及び相互符号化されたピクチャからなり、上記符号化器は、第１のビデオ信号の内符号化されたピクチャを、結合された第３のビデオ信号の内符号化されたピクチャとして再符号化し、上記第１のビデオ信号の相互符号化されたピクチャを、結合された第３のビデオ信号の相互符号化されらピクチャとして再符号化する。
内符号化されたピクチャは、上記ピクチャに適用される符号化計画に従って符号化されたピクチャの全ビデオ情報を含む。内符号化されたピクチャは、復号されて元の全ピクチャを再生したとき、他のどんなピクチャよりの情報も必要としない。
相互符号化されたピクチャは、復号されたときに元の全ピクチャを再生する、もう１つのピクチャ、即ち、内符号化されたピクチャからの情報を必要とする。相互符号化されたピクチャは、例えば、ピクチャと、そのピクチャの予測との間の差分である。
【００１７】
ＭＰＥＧでは、Ｉフレームは、内符号化されたピクチャであり、Ｐ及びＢフレームは、相互符号化されたピクチャのバージョンである。
【００１８】
Ｉ、Ｐ及びＢピクチャを含むビデオ情報を処理する具体例では、上記符号化器は、上記第１のビデオ信号のＩ、Ｐ及びＢピクチャを、上記結合された第３のビデオ信号のそれぞれＩ、Ｐ及びＢピクチャとして、符号化するように構成されるのが、望ましい。かくして、ピクチャのタイプ（内又は相互符号化されたＩ、Ｐ又はＢ）が、映像の品質を高く保持すること及び再符号化の量を減少させることに寄与することに、変わりはない。
【００１９】
上記具体例では、上記符号化器は、上記第１のビデオ信号のみから得られた内符号化されたピクチャの上記結合された第３のビデオ情報の少なくとも１部を少なくとも符号化するための上記保存された変換パラメータの少なくとも１つを再使用し、上記第２のビデオ信号から少なくも部分的に得られた相互符号化されたピクチャの上記結合された第３のビデオ情報の少なくとも１部の少なくとも１つの変換パラメータを再符号化するのが、望ましい。
本発明の具体例では、内符号化されたピクチャ（Ｉピクチャ）が、上記第１のビデオ信号のみから得られたものの少なくとも部分のために保存された変換パラメータを使用して、再符号化されて、映像の品質が高く維持される。具体例では、上記結合された第３のビデオ信号の対応するＩピクチャの全体を符号化するとき、上記符号化器は、上記第１のビデオ信号のＩピクチャに関連する上記少なくとも１つの保存されている変換パラメータを使用する。該１つの変換パラメータは、上記量子化パラメータであることが、最も望ましい。かくして、ピクチャの品質を高く維持するのに最も重要な内符号化されたピクチャは、変換パラメータを再使用して、ピクチャの品質を高く維持する。
【００２０】
もう１つの具体例では、上記第２のビデオ信号から得られたのではない上記結合された第３のビデオ信号の上記対応するＩピクチャの部分を符号化するときに、上記符号化器は、上記第１のビデオ信号のＩピクチャに関連する上記少なくとも１つの保存されている変換パラメータを再使用し、そして、上記第２のビデオ信号から得られた上記結合された第３のビデオ信号の上記対応するＩピクチャの他の部分の上記少なくとも１つの保存されている変換パラメータを再符号化する。
該少なくとも１つの保存されている変換パラメータは、量子化パラメータであり、上記符号化器は、映像パラメータの閾値レベルに応答し、そして、上記第２のビデオ信号から得られ、その第２のビデオ信号のための上記映像パラメータは、上記閾値レベルより小さいもの及び大きいもののうちの１つである上記結合された第３のビデオ信号の上記対応するＩピクチャのこれらの他の部分のための上記保存された変換パラメータを再使用し、そして、上記第２のビデオ信号から得られ、その第２のビデオ信号のための上記映像パラメータは、上記閾値レベルより小さいもの及び大きいもののうちの１つである上記結合された第３のビデオ信号の上記対応するＩピクチャのこれらの他の部分のための上記量子化パラメータを再計算するのが、望ましい。
【００２１】
相互符号化されたピクチャ（即ち、Ｐピクチャ）は、映像の品質では、Ｉピクチャ程重要ではない。しかし、好ましい具体例では、上記第２のビデオ信号から得られたのではない上記Ｐピクチャの部分を再符号化するとき、上記符号化器は、Ｐピクチャに関連する上記保存された変換パラメータの少なくとも１つを再使用する。
上記符号化器は、上記Ｐピクチャの他の部分の上記変換パラメータの上記少なくとも１つを再計算するのが、望ましい。上記変換パラメータは、上記量子化パラメータであることが、望ましい。
【００２２】
Ｂピクチャでは、上記符号化器は、Ｂピクチャの全体の上記変換パラメータの少なくとも１つを再計算する。該変換パラメータは、上記量子化パラメータであるのが、望ましい。
【００２３】
好適な具体例では、符号化処理におけるＤＣＴ（離散コサイン変換）型は、Ｉ、Ｐ及びＢピクチャで再使用される。
【００２４】
又、本発明の具体例は、動きベクトルを再使用する。具体例では、上記変換パラメータは、相互符号化されたピクチャに関し、基準ピクチャの部分に関する動きベクトルを含み、上記符号化器は、相互符号化されたピクチャ及び基準ピクチャを含む圧縮符号化されたピクチャを生成するように構成され、該符号化器は、上記保存されている動きベクトルが得られた上記基準ピクチャの部分に関連する上記総合符号化されたピクチャの上記第１の部分のこれらのための上記保存されている動きベクトルを再使用する。
【００２５】
新たな動きベクトルは、上記第２のビデオ信号から少なくも部分的に得られた上記相互符号化されたピクチャのために生成されるのが、望ましい。新たな動きベクトルは、上記第１のビデオ信号からのみ得られる上記相互符号化されたピクチャの部分のために生成され、その第１のビデオ信号がなかったら、上記保存されているベクトルは、上記第２のビデオ信号から少なくとも部分的に得られる上記基準ピクチャの部分に関係するのが、望ましい。
【００２６】
具体例では、上記符号化器は、上記結合された第３のビデオ情報のために動きベクトルを計算し、該計算され保存された動きベクトルを、上記ベクトルに関係する上記基準ピクチャにおいて、上記第２のビデオ信号から少なくとも部分的に得られた上記第３のビデオ情報の位置を含む基準マップに対して、テストする。
【００２７】
これは、少なくとも、上記第１のビデオ信号からのみ得られる上記ピクチャの部分のためのピクチャの品質を高く維持し、基準ピクチャの部分に変わりなく関する動きベクトルを有する。
【００２８】
【発明の実施の形態】
概観
図１〜図４は、あるビデオ信号（Ａ）を他のビデオ信号（Ｂ）に結合することを実行し得るビデオ処理動作を示す。
【００２９】
図１及び図２は、スプライス動作及びディゾルブ動作をそれぞれ表す時刻表の概略図である。図１では、特定の時刻ｔにおける信号Ａから信号Ｂへの急激な変化が行われている。図２では、特定の時間に亘って、信号Ａが信号Ｂに混入されるゆるやかな変化が行われている。
【００３０】
図３及び図４は、テレビジョンピクチャ自体の概略図を示したものである。
図３は、「ロゴ」の挿入を示し、そこでは、ピクチャＡの副次的部分がピクチャＢと置換されるか、又は、混合される。
図４は、２つのピクチャがスクリーン上の挨拶部分（Complimentary Portion)を占め、２つのピクチャの境界が移動するワイプ動作を示す。
【００３１】
本説明は、図２、図３及び図４に関連して実行される必要のあるビデオ処理動作に関連して実行される必要のあるビデオ処理の形式に関するものである。言い換えれば、これらの形式は、両ピクチャＡ及びＢの部分が同時にスクリーン上にある場所の動作である。
図１の問題、即ち、あるビデオ信号のもう１つのビデオ信号へのスプライスは、本発明では取り扱わない。
【００３２】
図５〜図７は、再び概略図で、ビデオピクチャ上へのロゴの重ね合わせ、即ち、図３の詳細版を示す。
【００３３】
図５では、ビデオピクチャは、通常は、動く物１、２と、静止している物３とを含み得る元の光景を示す。図６では、テキストのロゴ６及び地図５のようなそれ以上の情報を含む付加ビデオ情報は、図５の元の映像の上に重ねられる。付加ビデオ情報の元の映像への重畳が要求され得る状況の例としては、下になっている番組をそれほど損なうことなく、特定の地域のための天候に関する警報のような差し迫った出来事の警報を放送することである。
【００３４】
図７は、図６のクローズアップ概略図で、動きのない地図５と元の映像３の部分との間の重複部分を示す。各映像がいわゆるマクロブロックに分割されるＭＰＥＧ２のように、ブロックに基礎を置く符号化システムでは、多数のマクロブロックが映像の重畳によって影響を受けることが分かる。マクロブロックは、図７に、正方形のブロック１０として示されている。
【００３５】
本説明の残りの部分は、スクリーン上に同時に存在するソースＡ及びＢからのビデオ情報の存在を処理することのできるビデオ信号処理装置を取り扱う。ビデオ信号処理装置のブロックダイアグラムは図８を参照して説明され、動作のモードを明確にする図９のフローチャートに続く。この動作の個別の特徴は、その他の図を参照して、説明される。
【００３６】
そこで、ビデオ信号処理装置の略図である図８に言及する。
【００３７】
符号化器Ｅ１は入力ビデオ信号Ａを受け、所望の出力目標ビットレートＴＢＲ及びＧＯＰフォーマットに従って、その入力ビデオ信号Ａを符号化する。２つのビデオ信号間の混合が要求されない状況では、符号化器Ｅ１によって符号化されたビデオ信号は、制御装置１００の制御の下に、切り換えスイッチＳ１を通じて、直接に出力端子に供給される。若し、入力ビデオ信号が既に所望のフォーマットに則っていれば、符号化器Ｅ１は勿論必要ない（このことを図示するために、符号化器Ｅ１に括弧を付して示しても良い）。
【００３８】
符号化器Ｅ１の出力は、符号化ビデオ信号を、圧縮されない形式、即ち、ベースバンド形式に戻すように復号する相補形復号器Ｄ１に供給される。ベースバンドビデオ信号は、混合器１１０に供給され、入力ビデオ信号Ａの各ブロック毎の元の圧縮に用いられている圧縮パラメータは、制御装置１００に供給される。
【００３９】
ビデオ信号Ａに混合されるべきビデオ信号Ｂの信号源１２０は、ビデオ信号Ｂをもう１つの符号化器Ｅ３に供給する。再び、若し、ビデオ信号Ｂが既に所望のフォーマットであれば、符号化器Ｅ３は必要でない（このことを図示するために、符号化器Ｅ３に括弧を付して示しても良い）。符号化器Ｅ３の出力は、対応するビットレート及び符号化器Ｅ１の出力のそれのＧＯＰフォーマットであって、符号化されたビデオ信号から圧縮パラメータを取得し、ビデオ信号Ｂを復号してベースバンド形式に戻して混合器１１０に供給する、もう１つの復号器Ｄ３に供給される。
【００４０】
必要であれば、符号化器−復号器の対、Ｅ１／Ｄ１又はＥ３／Ｄ３を省略しても良く、圧縮されないビデオ信号、即ち、混合器１１０の入力端子の１つに直接に供給されるようにされた「ベースバンド」のビデオ信号が、混合器１１０の他の入力端子において、復号され圧縮されたビデオ信号に加えられる。
【００４１】
又、信号源１２０は、キー信号Ｋを混合器１１０に供給する（キー信号は、勿論、外部の信号源から到来するが）。キー信号は、要求される出力映像の各画素に用いられるべきビデオ信号Ａ及びビデオ信号Ｂの相対的な結合の割合（混合比）を明確にし、それゆえに、キー信号Ｋは０（全てのビデオ信号Ａが使用される）〜１（全てのビデオ信号Ｂが使用される）の間で変化する。この変化は画素毎のベースで起こり、その画素の位置での２つのビデオ信号の間の混合比を示す、０〜１の間で変化するＫを伴う。
【００４２】
従って、混合器１１０は、一般的な慣用の方法で動作し、画素ベースでは、掛け算器１１２で、ビデオ信号Ｂの画素にキー信号Ｋを掛け、また、掛け算器１１４で、ビデオ信号Ａの画素に係数（１−Ｋ）を掛け、そして、出力混合ビデオ信号の画素を発生する加算器１１６で、上記２つの積を加算する。混合されたビデオ信号は、もう１つの符号化器Ｅ２に供給され、再び、同じ名目上のビットレート並びに符号化器Ｅ１及び符号化器Ｅ３としてのＧＯＰフォーマットに作用し、この符号化器Ｅ２は混合されたビデオ信号を符号化して、切換えスイッチＳ１を通じて、出力端子に出力するのに役立つ。
【００４３】
制御装置１００は符号化器Ｅ２の動作を制御する。基本的には、制御装置１００は、符号化器Ｅ２が、ビデオ信号Ａ及びビデオ信号Ｂのブロックの圧縮に関連する圧縮パラメータのいくつか、又は、全部を再使用するか否かを制御し、その後に、ビデオ信号Ａ及びビデオ信号Ｂが混合されるか、又は、混合されたビデオ信号Ｃのブロックを符号化するために新たな圧縮パラメータを生成する。
【００４４】
制御装置１００の動作については、後に、より大量の詳細な説明を行うことになるが、その一部を説明すると、制御装置１００は、ビデオ信号Ａの圧縮パラメータの細部、ビデオ信号Ｂの圧縮パラメータの細部及び目標出力データレート（ＴＢＲ）を受け取る。又、制御装置１００は、キー信号Ｋから取得したいくつかの情報を含む種々の情報を保存し得る記憶装置１３０にアクセスする。
【００４５】
図９は、図８の処理装置の動作を図解するフローチャートである。
【００４６】
ステップ２２０では、「ビットマップ」が、ロゴの圧縮されたフレームの位置を示すキー信号Ｋから得られる。このことについては、図１２Ａ及び図１２Ｂ、図１３Ａ及び図１３Ｂ並びに図１４Ａ〜図１４Ｄを参照して、後により詳細に説明することになる。
【００４７】
ステップ２３０では、制御装置１００は、混合（結合）されたビデオ信号Ｃの現在のフレームを符号化するのに必要な全ビット数の見積もりを確定する。これを行うために、制御装置１００は、実際には、レート制御アルゴリズムを、混合されたビデオ信号Ｃには適用しないが、その代わりに、元の個別の２つのビデオ信号Ａ及びＢの各マクロブロックを符号化するのに必要なビット数に関する履歴データの少なくとも一部から、見積もりを計算する。この処理については、後に詳述する。
【００４８】
次のステップ２４５では、Ｉ（イントラ）フレームのどのマクロブロックが完全に再符号化されるべきか並びに入力ビデオ信号の一方、又は、両方に関連するパラメータのいずれを再使用すべきかを決定するのに使用される（詳細は後述）閾値を設定する。この処理は、図１０を参照して、後述する。
【００４９】
ステップ２６０では、ビデオ信号Ａの量子化パラメータが、再符号化される１組のマクロブロックを決定する閾値と比較される。これは図１１に示されている。
【００５０】
ステップ２４５及び２６０は、ステップ２３０からステップ２７０までの破線によって示された本発明のいくつかの具体例では、使用されない。
【００５１】
ステップ２７０では、混合されたビデオ信号Ｃのマクロブロックに関連する動きベクトルが参照映像の有効な領域を指しているか否かを決定するテストが実行される。例えば、マクロブロックは、ビデオ信号Ａの完全に内側にあるものとし、しかし、それに関連する動きベクトルは、参照フレーム内のビデオ信号Ｂによって、置換された領域を指しているかもしれない。これらの周囲の状況の中で、上述の動きベクトルを使用することは、不適当である。この処理については、図１２、１３及び１４を参照して、後に詳述する。
【００５２】
一旦このテストが完了すれば、再符号化又は再使用パラメータ情報のフルセットは、制御装置１００によって、符号化器Ｅ２に送られ、その符号化器Ｅ２は、この情報のフルセットに従って、混合されたビデオ信号Ｃを符号化する。ビデオ信号Ａ及びビデオ信号Ｂ間に混合が生じた場合は、制御装置１００はスイッチＳ１を操作して、全体のフレームのために、符号化器Ｅ２の出力を選択する。
【００５３】
符号化器Ｅ２は、レート制御アルゴリズムを含んでいる。このアルゴリズムは、例えば、ＭＰＥＧシステムのいわゆる「テストモデル５」のような予測レート制御アルゴリズムでもよいし、又は、英国特許出願、ＧＢ−Ａ−２３０６８３１に述べられているように、前置符号化、又は、リハーサル型のレート制御アルゴリズムでもよい。とにかく、パラメータが再使用されるべきマクロブロックの場合及びパラメータが再使用されるべきでないマクロブロックの場合には、制御装置１００によって、レート制御アルゴリズムに適用されたパラメータは、復号器Ｄ１及び復号器Ｄ２から受け取った元の圧縮パラメータに等しく、又、新しいパラメータが取得されるレート制御アルゴリズムを示す指示フラグが用いられる。
【００５４】
挿入されたロゴの特別な状況があり、その状況では、ロゴそれ自体のピクチャの高品質を維持するために、量子化処理の厳しさの最大範囲を設定するためのロゴ素材を含むブロックに使用される量子化パラメータの限界を明確にすることが要求され得る。再び、その条件は、制御装置１００から、最初の、又は、全てのビデオＢ素材を含むことが決定されたマクロブロックに関するレート制御アルゴリズムに、信号で伝えられる。（これは、勿論、挿入されたビデオ信号は、ロゴ、又は、他の素材からなるか否かについての主観的な決定に依存し、これは、勿論、操作者、即ち、ユーザによりなされた決定である。）
【００５５】
符号化器Ｅ２のレート制御アルゴリズムは、再符号化されるこれらのマクロブロックのための圧縮パラメータを生成し、そして、符号化器Ｅ２は、受け取ったか、即ち、取得したパラメータに基づいて、混合器１１０から出力されるビデオ信号Ｃの全フレームを符号化する。
【００５６】
以下の説明では、一例として、図３にビデオ信号Ｂとして示されているロゴ情報（テキストロゴ及び地図のような）が、ビデオ信号Ａに重ねられるものと仮定する。又、図８の符号化器Ｅ３及び復号器Ｄ３は、省略されているものと仮定する。
【００５７】
ビットマップ
上述したように、キー信号Ｋは、既知の方法で、画素毎に発生せしめられる。そのキー信号は、上述したように、ロゴ情報を、元の光景のある位置に、ある割合で重ね合わせる情報を含む。ビットマップは、制御装置１００によって、キー信号から発生せしめられる。
【００５８】
ビットマップは、画素毎、ロゴ情報を含む画素位置を示す画素解像度を有しても良い。
【００５９】
あるいはまた、ビットマップは、ロゴ情報を含むマクロブロックを示すマクロブロック解像度を有しても良い。
【００６０】
かくして、ビットマップは、ロゴ情報（ロゴ領域）を含み、又、含まない（ロゴのない領域）画素、又は、マクロブロックを示す。
【００６１】
変換パラメータ
後に論述する本発明の具体例は、下記の変換(transcoding) パラメータについて言及する。
１）フレームに適用される、量子化スケールを明確にするパラメータＱと、
２）ＤＣＴ（離散コサイン変換、Discrete Cosine Transform)処理のタイプ（フィールド又はフレーム）を明確にするパラメータＤＣＴ型及び
３）動きベクトル
【００６２】
最初のビットストリームＡは、Ｉ、Ｐ及びＢフレームを有する。これらフレームは、復号器Ｄ１で復号され、そして、符号化器Ｅ２で再符号化される。最初のビットストリームＡのＩフレームがストリームＣのＩフレームとして再符号化され、ＰフレームがＰフレームとして再符号化され、ＢフレームがＢフレームとして再符号化されるように、符号化器Ｅ２は、制御装置１００によって制御される。
【００６３】
パラメータＱ及びＤＣＴ型は、混合された元の情報及び第１の手法、又は、第２の手法に応じたロゴの再符号化に適用される。
【００６４】
第１の手法
Ａ）混合されたビデオ信号ＣのＩフレームは、変更されない元の初めのビデオビットストリームＡのＩフレームから得られたパラメータＱ及びＤＣＴ型パラメータを再使用して、符号化器Ｅ２によって再符号化される。再符号化されたＩフレームは、重ね合わされたロゴ情報のために、元のビットストリームの対応するフレームより多くのデータを持つ傾向がある。
【００６５】
Ｂ及びＣ）Ｐ及びＢフレームは、符号化器Ｅ２で再符号化される。混合されたビデオ信号ＣのＰ及びＢフレームの量子化パラメータＱは、符号化器Ｅ２で再計算される。
【００６６】
Ｄ）ビットストリームＡのＤＣＴ型タイプは、符号化器Ｅ２において、再符号化され混合されたビデオ信号Ｃの全フレームの全てのマクロブロックにおいて再使用される。
【００６７】
Ｅ）各フレームの目標ビット数の見積値は、上述のステップ２３０の通りに、即ち、ビットストリームＡのフレームを符号化するの必要な履歴ビット数から、計算される。レート制御は、再符号化されたビデオ信号ＣのＧＯＰのＩ、Ｐ及びＢフレームに対するビットを、目標ビットレート（ＴＢＲ）に一致させるように配分する。
【００６８】
第２の手法
Ａ）Ｉフレーム，パラメータＱ
図１０及び図１１を参照するに、元のビットストリーム（ロゴなし）のために、マクロブロック中のＱスケールの配分が決定される。パラメータＱの閾値Ｑ_Thは経験的に決定される。
【００６９】
図１１を参照するに、各Ｉフレームの全マクロブロックからのパラメータＱ値が、Ｑ閾値計算機３５０によって与えられ、記憶装置１３０に記憶される。そして、Ｑ閾値計算機は、Ｑ値を昇順に並べ、そして、重要なマクロブロック上の各可能なＱ値の発生率を取得する。この処理の概略を示すヒストグラムを図１０に示す。
【００７０】
そして、閾値比率ｘ％は、この分布に適用され、その結果、そのＱ値までの累積発生率が、閾値比率ｘ％内にある最も高いＱ値が、閾値Ｑ_Thとして確定される。
閾値比率ｘ％は、例えば、２５％〜６０％の範囲内にあり、５０％が望ましく、３０％はもっと望ましい。
【００７１】
符号化器Ｅ２によるロゴ情報を含むビデオ信号ＣのＩフレームの再符号化は、下記の基準に従って生じる。
【００７２】
混合されたビデオ信号Ｃ（即ち、ロゴを含む）のＩフレームにおいて、元のビットストリームＡから得て保存したパラメータＱ値が、ロゴ情報を含まない映像領域（ロゴのない領域）において、再使用される。若し、ロゴ情報が、閾値Ｑ_Th以下のＱ値を有する元の映像のマクロブロック内にある場合は、元のビットストリームＡから得て保存されたＱ値は再使用される。Ｉフレーム内の全ての他のロゴ情報は、再計算される。ロゴ領域及びロゴなし領域は、ビットマップによって、明確にされる。
【００７３】
かくして、パラメータＱ値を有し、その最も高いＱ値Ｑ_Thを含む、元のビットストリームのマクロブロックは、たとえそのマクロブロックがロゴ情報を含んでいても、その元のＱ値を再使用して、符号化される。ロゴ情報を含み、元のビットストリームＡのＱ値が閾値Ｑ_Thを越えるマクロブロックは、十分に再符号化される。
【００７４】
この符号化システムは、数値的に小さいパラメータＱは、それほど粗くない量子化を必然的に伴うという傾向があることに、ここでは注意すべきである。再使用するＱ値を上限の閾値Ｑ_Thまで上げると、元々あまり粗くなく圧縮されたこれらのマクロブロック（考慮中のものの）のピクチャの品質を低下させないという効果がある。
【００７５】
一旦閾値Ｑ_Thが確定されたら、元のビットストリームＡのＱ値が、記憶装置１３０から読出され、比較器３６０で、Ｑ_Thと比較される。再符号化を行うか再使用を行うかの決定は、再符号化されたビットストリームがロゴ情報を含むマクロブロックでは、以下のように行われる。ロゴ情報を含むマクロブロックは、ビットマップによって示される。
【００７６】
Ｂ）Ｐフレームは、符号化器Ｅ２によって再符号化される。Ｐフレームでは、保存されているＱ値がロゴなし領域で再使用される。ロゴ領域では、Ｑ値は再計算される。
【００７７】
Ｃ）Ｂフレームは、符号化器Ｅ２によって再符号化される。Ｂフレームでは、Ｑ値はフレームじゅうで再計算される。
【００７８】
Ｄ）保存されているＤＣＴ型は、全フレームで再使用される。
【００７９】
Ｅ）レート制御
再符号化は、レート制御が下記のように変更されたテストモデル５（ISO-IEC/JCT1/SC29/WG11/NO44)を用いるのが望ましい。
【００８０】
Ｉフレームのロゴなし領域では、各マクロブロックＭＢのために発生せしめられたビットは、集められて再使用ビット値を形成する。Ｉフレームのロゴ領域では、この再使用ビット値は、下記のようなレート制御のための目標値を変更するフレームにおけるその点に対して、ロゴＭＢの数と共同して、使用される。
【００８１】
新たな目標値＝再使用ビット＋｛（目標ビットフレーム）＊（ここまでのロゴＭＢ）／（総ＭＢ）｝
【００８２】
これは、下記のレート制御の方程式に影響を及ぼす。
【００８３】
新しい仮想buf ＝ init 仮想buf ＋（発生されたピクチャビット）−（新しい目標値）
但し、「発生されたピクチャビット」は、フレーム内の現在の点に対して発生されたビット数であり、再使用により発生されたビット及びロゴ領域のレート制御によって発生されたビットからなる。
なお、「 init 仮想buf 」は、仮想バッファの初期値である。
【００８４】
即ち、
（発生されたピクチャビット）＝ロゴビット＋再使用ビット
である。
【００８５】
かくして、新たな目標値は、Ｉフレームのロゴ領域の目標ビット数における再使用の効果を取消し、レート制御を、あたかも全フレームが再符号化されたままのように実行する。
【００８６】
閾値Ｑ_Thを用いる意図は、「低いＱ」を有する領域では、パラメータ「Ｑ」を再使用し、「高いＱ」の領域では、「レート制御」を動作させることである。「背景」とロゴの組み合わせがある「低いＱ」の領域では、背景の高品質を維持するため、「マクロブロックＱ」を再使用する。これについては、対象物が透かして見える、例えば、地図５の部分を示す図７を参照のこと。パラメータ「Ｑ」を再使用する「ロゴマクロブロック」の数を減少させると、「レート制御」に、「Ｐ」及び「Ｂ」フレームに、より多くのビットを利用させるようにする。
【００８７】
変形態様
この第２の手法において、若し、マクロブロックのパラメータＱが基準閾値Ｑ_Thより小さかったら、保存されているパラメータＱの値は、再使用される。その閾値は、下記の内の１つになる。
【００８８】
ａ）ピクチャの動きに比例した閾値
ｂ）動きベクトルの長さに比例した閾値
ｃ）色内容に比例した閾値
【００８９】
保存されたパラメータＱの値は、映像ノイズを減少させるのに用いられる。動きベクトルが大きいか、動きが速いか、又は、いくらか色があるときは、ノイズはあまり目立たない。
【００９０】
動きベクトル処理
概観
図１２〜１５は、図９のステップ２２０及び２７０で実行される処理を示し、即ち、ピットマップを生成し、２つのビデオソースからの領域間の境界を確定し、そして、再使用されて、保存されている動きベクトルが同じビデオソースからの素材の妥当な部分を指定するかどうかを決定する保存されている動きベクトルをテストすることを示す。
【００９１】
図３を参照するに、符号化パラメータを再使用する決定がなされたとき、ビデオ信号Ａの領域のマクロブロックのために再使用されるべき保存された動きベクトルが、実際に、ビデオ信号Ａによって形成された映像の一部を示すこと、即ち、ビデオ信号Ａが、混合、ワイプ、又は、挿入処理の部分として、ビデオ信号Ｂによって置き換えられていないことを、確実にすることが重要である。これと同じことが、ビデオ信号Ｂにも適用される。
【００９２】
図１４及び図１５を参照するに、１つの境界（図１４Ｄの１マクロブロック幅の）が、新たに挿入された素材の周囲に創設される。これの利点は、ベクトルテストが、新しく挿入された素材（ソース）の回りで実行されることを、許容することである。境界が広いと、もしそうでなければ、このより粗いスケールの接近によって導入される誤りを回避するための安全の余裕を増加させるので、これの利点は、ベクトルテストが、画素のスケール（図１２及び１３のように）よりも、むしろ、マクロブロックのスケールで実行されることを、許容することである。
【００９３】
かくして、例えば、境界が領域Ａから完全に得られたのではない全マクロブロックの回りに、境界が創設されても良く、又、領域Ｂから完全に得られたのではない全マクロブロックの回りに、境界が創設されても良い。
【００９４】
このように、若し、領域Ｂからのマクロブロックに関連する保存された動きベクトルが、
ａ）領域Ａ、
ｂ）完全に領域Ｂからではないマクロブロック、又は、
ｃ）完全に領域Ｂからではないこれらのマクロブロックの回りに創設された境界、
を指すのであれば、その保存された動きベクトルは再使用されずに、その代わりに、新しい動きベクトルが、その場所から生成される。
同様に、若し、領域Ａからのマクロブロックに関連する動きベクトルが、
ａ）領域Ｂ、
ｂ）完全に領域Ａからではないマクロブロック、又は、
ｃ）完全に領域Ａからではないこれらのマクロブロックの回りに創設された境界
を指すのであれば、その動きベクトルは、再使用されずに、その代わりに、新しい動きベクトルが、その場所から生成される。
【００９５】
具体例
動きベクトルは、後述する説明で明らかにする手法Ａ、Ｂ及びＣのいずれかによって処理されても良い。これらの手法Ａ、Ｂ及びＣのいずれかには、上述した第１及び第２の手法が用いられても良い。
【００９６】
上述したように、元のビットストリームＡの動きベクトルＶ₁は、再使用されるように、符号化器Ｅ２に保存されている。新しい動きベクトルＶ₂は、ロゴ情報及び元のビデオ情報を含む混合されたビデオ情報のために計算される。動きベクトルＶ₁、Ｖ₂の組は、動きベクトルが適用するマクロブロックを示す指示と共にファイルに記憶される。下記の手法Ａ、Ｂ及びＣでは、動きベクトルはＰ及びＢのみに関連する。Ｂフレームのファイルは、前方予測及び後方予測の両方のベクトルを含む。
【００９７】
ビットマップ
上述したように、ビットマップは生成される。ビットマップは、そのフレーム内で、ロゴ情報がある場所を示すどのフレームのためにも生成される。
【００９８】
ビットマップは、Ｉフレームのために生成される。
【００９９】
各Ｂフレームは、Ｂフレームの動きベクトルが指す前方及び後方フレームのビットマップである、２つの基準ビットマップを使用する。
【０１００】
各Ｐフレームは２枚までのビットマップを有する。一方のビットマップは、そのフレーム自体のビットマップである。他方のビットマップは、基準ビットマップ、即ち、Ｐフレームの動きベクトルが指すフレームビットマップである。
【０１０１】
手法Ａ
ビットマップは、どの画素のためにも、画素がロゴ情報を含んでいるか否かを示す論理ビット「１」又は「０」を含む。
「１」＝ロゴあり、「０」＝ゴゴなし
【０１０２】
図１２Ａを参照して、混合されたビデオ情報のＰ又はＢフレームにおけるマクロブロックＭＢ（ｎ）について考える。
【０１０３】
マクロブロックＭＢ（ｎ）の保存された動きベクトルは、画素解像度で、ロゴビットマップに対してテストされる。かくして、図１２Ｂを参照するに、この図では、ｘｘｘｘによって示された１６画素×１６画素に対してテストされる。
【０１０４】
若し、領域ｘｘｘｘにおけるどんな画素も１に等しければ、その領域はロゴ情報を有する。そして、新しいベクトルＶ₂はＭＢ（ｎ）のために使用される。
【０１０５】
若し、領域ｘｘｘｘにおけるどんな画素も０に等しければ、その領域はロゴなし情報を有する。そして、保存されているベクトルＶ₁はＭＢ（ｎ）のために使用される。
【０１０６】
変形態様として、新しいベクトルＶ₂を使用する代わりに、若し、領域ｘｘｘｘにおけるどんな画素もロゴ情報を含んでいれば、保存されているベクトルＶ₁は、若し、領域ｘｘｘｘにおける少数の画素がロゴ情報を含んでいれば、使用され得る。
【０１０７】
手法Ｂ
この手法Ｂでは、Ｐ及びＢフレームのビットマップは、マクロブロックの解像度を有する。各マクロブロックにおいて、
「１」は、ロゴ情報を有するマクロブロックを示し、
「０」は、ロゴ情報を有しないマクロブロックを示す。
【０１０８】
若し、マクロブロックが１６×１６の画素を有するとすれば、ベクトルは、たった１つのマクロブロックの解像度、例えば、１６画素の解像度に対して、テストされる。
【０１０９】
図１３Ａ及び１３Ｂの状況を考察されたい。
【０１１０】
図１３Ａは、ロゴ情報を有しないＰ及びＢフレームのマクロブロックＭＢ（ｎ）を示す。その動きベクトルは、図１３Ｂに示すように、もう１つのフレームにおけるベストマッチの領域ｘｘｘを指す。領域ｘｘｘは、マクロブロック（ｎ）の隣にある。かくして、それがＭＢ（ｎ）の１６画素内にある。
【０１１１】
若し、マクロブロックＭＢ（ｎ）が、右方向に向かって、０から１５画素までの範囲の値の水平ベクトルを有するものとすれば、若し、その水平ベクトルがロゴ領域を指すのであれば、ロゴ画素を正しく選択するすることができない。
【０１１２】
図１３Ｂに対応するビットマップは、図１４Ｂに示されている。図１３Ａ及び１３に関して検討した状況に対して保護するために、基準フレームでは、１つのマクロブロックに等しい幅の境界は、図１４Ｃ及び１４Ｄに示されるようなロゴ情報を含む各マクロブロックの回りに加えられる。
この第２の手法の具体例では、境界は、常に１つのマクロブロックであり、その境界はベクトル範囲及びピクチャタイプに依存しない。
【０１１３】
境界は、ベクトル処理のために、ロゴ情報を含むようになされている。
【０１１４】
図１４ＣのマクロブロックＭＢ（ｎ）を参照するに、その動きベクトルは、ビットマップファイルのにおけるマクロブロックに対する１６画素の倍数の解像度に対してテストされる。
【０１１５】
若し、動きベクトルが指すどんなマクロブロックもロジック１（即ち、マクロブロックがロゴ情報を含んでいるか、又は、境界である）であれば、新しいベクトルはマクロブロックＭＢ（ｎ）のために使用される。
【０１１６】
若し、ベクトルがテストされた全てのマクロブロックＭＢ（ｎ）が、ロゴのない情報を含んでいれば、保存されているベクトルＶ₁は、ＭＢ（ｎ）のために使用される。
【０１１７】
Ｂフレームは、上述したように、２つの基準ビットマップを有する。Ｂフレームは、前方及び後方の両基準フレームを指す動きベクトルを伴うマクロブロックを有しても良く、そして、２つの基準ビットマップに対して、一方向の１つの動きベクトルは、ロゴなし情報と他のロゴ情報を指すようにしても良い。このような状況において、本発明の一具体例は、ロゴなし情報を含む基準フレームを選択しても良く、又、マクロブロックのために保存されているベクトルＶ₁を再使用しても良いが、他の基準フレームは無視される。
【０１１８】
手法Ｃ
図１５を参照するに、Ｂ及びＰフレームのビットマップは、ロゴ情報４を有するように、示されている。境界２２は、処理中の現在のフレーム（上述の手法Ａ及びＢにおける基準フレームとは異なる）におけるロゴ情報の周囲に設けられている。境界は、最大ベクトル範囲に依存した幅ｗを有する。幅ｗは、例えば、水平方向に６４画素及び垂直方法に３２画素である。
【０１１９】
幅ｗは、最大ベクトル範囲の２倍が望ましい。
【０１２０】
手法Ｃの変形例では、最大ベクトル範囲は、元のビデオビットストリームのＭＰＥＧパラメータから検出されるか、又は、各フレームのために測定される。
【０１２１】
境界の外側の全マクロブロックが、その境界の内側で、ロゴ情報を含んでいるマクロブロックに属する動きベクトルを持つことができないような幅ｗを、その境界が持つことが望ましい。
【０１２２】
かくして、保存された動きベクトルＶ₁は、境界の外側の全マクロブロックのために使用され、そして、新しい動きベクトルはＶ₂は、境界の内側の全マクロブロックのために計算される。
【０１２３】
上述の記述では、「フレーム」への言及は、例のみのためであると理解されるかもしれないが、一般的には、符号化はピクチャ毎であり、そのピクチャは、フレーム、フィールド、結合、又は、他のピクチャであり得た。
【０１２４】
上述したビデオ信号処理装置は、適当なソフトウェア上で動作する汎用コンピュータによって、少なくとも部分的に、実行されても良いことは、当業者によって理解されるであろう。そのようなソフトウェアや、そのようなソフトウェアが記憶された記憶媒体は、両方とも、本発明の具体例として考えられる。
【図面の簡単な説明】
【図１】ビデオスプライスの動作を図示する。
【図２】ビデオディゾルブの動作を図示する。
【図３】ビデオロゴ挿入の動作を図示する。
【図４】ビデオワイプの動作を図示する。
【図５】ビデオロゴ挿入の動作を一層細大もらさず示す。
【図６】ビデオロゴ挿入の動作を一層細大もらさず示す。
【図７】挿入されたロゴ及び背景ビデオ間の重なりを示す図６の拡大部分図である。
【図８】ビデオ信号処理装置の略図である。
【図９】図８の処理装置の動作を示すフローチャートである。
【図１０】１つのピクチャ内の量子化パラメータ値の分布を示すヒストグラムである。
【図１１】量子化パラメータ値の閾値との比較を図示する。
【図１２】ビットマップを図示する。
【図１３】ビットマップを図示する。
【図１４】ビットマップを図示する。
【図１５】もう１つのビットマップを図示する。[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to video signal processing, for example, signal processing in which compressed data representing two or more video signals are combined. While embodiments of the present invention relate to video signals compressed according to known MPEG-2 standards, the present invention is not limited to such signals.
[0002]
[Prior art]
  It is often preferable to mix, wipe or superimpose two or more video signals. For example, the so-called wipe effect is used in television programs to transition between two different scenes.And getAlternatively, so-called logos or other computer-generated signals, such as subtitles or names of people involved in the program, can be superimposed on the video image without damaging the underlying image.obtain.
[0003]
  For analog video signals or uncompressed video signals, the above process is relatively simple. The key signal is a component at each pixel positionTwoIt can be used to control each level of a video signal (referred to as video signals A, B), and the two levels of controlled signals are combined. At each pixel position, the level K of the key signal,TwoThe relationship between the input pixel levels A and B and the output pixel level ispossible.
    Output pixel value = A (1-K) + BK
[0004]
  This process is established for each output pixel. If the signal A is completely replaced by the signal B at a particular pixel position, the key signal is 1 (100% otherwise), and the mixing ratio of the two pixels is 50:50. If so, the value of the key is 0.5, that is, 50%.
[0005]
  Either oneVideo signalOr bothVideo signalHowever, the situation is much more complicated when it is a compressed video stream. In a compressed video stream, such as MPEG-2, the pixels are generally compressed as blocks known as macroblocks, so that special pixel values are obtained directly from the compressed video signal. I can't.
[0006]
  Also, compressed video signals are oftenvideoDepending on the amount of data that conveys or accumulates the signal, overall restrictions will be followed. As long as there is a change from picture to picture or from picture group (GOP) to picture group (GOP), the time average data rate is often bound by the capacity of the transmission or storage channel. The allowable change from pixel to pixel of GOP vs. GOP is the two combinedvideoThe signal means that the instantaneous data rate is quite different and can have the same nominal data rate. Care must be taken when generating composite video signals from a group of video signals containing one or more compressed signals to avoid data overflow or underflow.
[0007]
  A third feature of the compressed video signal that is directly relevant to this discussion is that the video signal often makes use of motion vectors that temporarily indicate blocks of the preceding or following picture, A block is similar to a block of the current picture, so that the amount of data that needs to be encoded can be reduced.
[0008]
  One way to address these issues is to decompress the entire compressed input signal, perform mixing, or perform processing similar to that in the uncompressed system domain, and the resulting Recompressing the resulting composite picture.
[0009]
[Problems to be solved by the invention]
  In a compression system such as the MPEG-2 system,Video signalWhen compression is performed, the quality of the resulting video tends to decrease. If a logo or similar information is simply added, the overall picture quality of the picture to which the logo information is added deteriorates, which is not preferable.
[0010]
[Means for Solving the Problems]
  According to the invention, a first input terminal for receiving a compressed first video signal representing first video information;
  The first video information isThe compressed first videoIncludes transformation parameters related to the picture of the signal and aboveCompressedCompression of the first video signalIncluding information,
  the aboveOf the compressed first video signalAbove related to picturesconversionThe compressed first video signal simultaneously with storing the parametersAll ofDecryptVideo information corresponding to the first video informationGenerating a decoder;
  Video information corresponding to the decoded first video informationA second input terminal for receiving a second video signal representative of second video information coupled to
  The second video information and the aboveVideo information corresponding to the decoded first video informationCombined withA combiner for generating third video information, comprising:the aboveCombinedSecond video information aboveFirstofvideoThe position of the signal in the pictureandThe second video information andThe ratio of the combination with the video information corresponding to the decoded first video informationAccording to the key signal shown by the above key signalEach in the pictureIn the position, the second video information according to the following formula:Video information corresponding to the decoded first video informationCombined withGenerating the third video signal;
      C = AK + (1-K) B
          However, K shows the ratio of the said coupling | bonding shown by a key signal,
                  0 ≦ K ≦ 1,
                A is the first video information,
                B is the second video information,
                C is the third video information.
  A coupler;
  the aboveThird video informationPictureallIs encoded,the aboveCombinedThird videoRepresent informationThird videoAn encoder for generating a signal;
  Have
  The encoder isThird video informationPictureallOut of
    For the third video information of only the video information corresponding to the decoded first video information that is not combined with the second video information, the stored conversion parameter is used,
    For the third video information in which the video information corresponding to the decoded first video information and the second video information are combined, the same encoding method as that for the compressed first video signal is used. Encoding,
  A video signal processing apparatus is provided.
[0011]
  The present invention also provides a video signal processing method for performing the above processing.
[0012]
  Further, according to the present invention, a program for performing the above processing is provided.
[0013]
  When recalculating the motion vectorImage quality degradationIf the stored motion vector is reused, the quality of all pictures can be kept high.Thereby,In addition, the firstvideoThe picture quality of the video part obtained only from the signal is kept high.
[0014]
  The encoding and decoding processes in the present invention are based on the MPEG system.
[0015]
  The present invention stores a portion of the combined video obtained from the first video signalconversionCombined by reusing parametersThirdVideo by re-encoding video informationqualityMinimize or at least reduce any decrease in.
[0016]
  In a specific example of the present invention, the firstvideoThe signal is composed of an inner-coded picture and a cross-coded picture, and the encoder has a first codevideoCombined inner coded picture of signalThird videoRe-encode as an inner-coded picture of the signal,videoCombined inter-coded pictures of the signalThird videoAfter the signals are inter-coded, they are re-encoded as pictures.
  The inner coded picture includes all video information of the picture coded according to the coding plan applied to the picture. An inner-coded picture does not require information from any other picture when it is decoded and the entire original picture is reproduced.
  A cross-encoded picture requires information from another picture, an inner-encoded picture, that, when decoded, reproduces the entire original picture. A cross-coded picture is, for example, the difference between a picture and the prediction of that picture.
[0017]
  In MPEG, an I frame is an intra-encoded picture, and P and B frames are versions of a cross-encoded picture.
[0018]
  In a specific example of processing video information including I, P, and B pictures, the encoder includes the combined I, P, and B pictures of the first video signal.Third videoDesirably, the signals are configured to be encoded as I, P, and B pictures, respectively. Thus, the type of picture (inner or inter-coded I, P or B)qualityWill remain high and contribute to reducing the amount of re-encoding.
[0019]
  In the specific example, the encoder includes the first code.videoAbove combined of inner coded pictures obtained from signal onlyThird videoAbove stored for encoding at least a part of the informationconversionReuse at least one of the parameters andvideoAbove combined of inter-coded pictures obtained at least partly from the signalThird videoIt is desirable to re-encode at least one transformation parameter of at least a part of the information.
  In an embodiment of the present invention,Inner signEncoded picture(I picture)But the firstvideoSaved for at least part of what was obtained from the signal onlyconversionParameter is used to re-encode the videoqualityIs kept high. In the specific example, the above combinedThird videoWhen encoding the entire corresponding I picture of the signal, the encoder is the firstvideoThe at least one stored above associated with the I picture of the signalconversionUse parameters. The oneconversionMost preferably, the parameter is the quantization parameter. Thus, the picturequalityIn-encoded pictures, which are most important to keep high, reuse the transformation parameters andqualityKeep it high.
[0020]
  In another specific example, the secondvideoCombined above not derived from signalThird videoWhen encoding the corresponding I-picture part of the signal, the encodervideoThe at least one stored above associated with the I picture of the signalconversionRe-use the parameters and the secondvideoAbove combined obtained from signalThird videoThe at least one stored other portion of the corresponding I picture of the signalconversionRe-encode the parameters.
  The at least one storedconversionThe parameter is a quantization parameter, the encoder is responsive to a threshold level of the video parameter, and the secondvideoObtained from the signal and its secondvideoThe combined video parameter for the signal is one of less than and greater than the threshold levelThird videoThe saved for these other parts of the corresponding I picture of the signalconversionRe-use the parameters and the secondvideoObtained from the signal and its secondvideoThe combined video parameter for the signal is one of less than and greater than the threshold levelThird videoIt is desirable to recalculate the quantization parameters for these other portions of the corresponding I picture of the signal.
[0021]
  Inter-coded pictures (ie, P pictures)qualityThen, it is not as important as I picture. However, in a preferred embodiment, the secondvideoWhen re-encoding a portion of the P picture that was not derived from a signal, the encoderconversionReuse at least one of the parameters.
  The encoder is configured to calculate the at least one of the transformation parameters of another part of the P picture.RecalculationIt is desirable to do. The conversion parameter is preferably the quantization parameter.
[0022]
  For B-pictures, the encoder determines at least one of the transformation parameters for the entire B-picture.RecalculationTo do. The transformation parameter is preferably the quantization parameter.
[0023]
  In a preferred embodiment,In the encoding processDCT(Discrete cosine transform)The type is reused in I, P and B pictures.
[0024]
  Also, embodiments of the present invention reuse motion vectors. In a specific example, the transform parameter relates to a cross-encoded picture and includes a motion vector relating to a portion of a reference picture, and the encoder includes a compression-encoded picture including a cross-encoded picture and a reference picture For the first part of the overall encoded picture associated with the part of the reference picture from which the stored motion vector was obtained. Re-use the stored motion vector.
[0025]
  A new motion vector is preferably generated for the inter-coded picture obtained at least partly from the second video signal. The new motion vector is the first motion vectorvideoGenerated for the part of the inter-coded picture obtained only from the signal, the firstvideoIf there is no signal, the stored vector is preferably related to the portion of the reference picture obtained at least in part from the second video signal.
[0026]
  In a specific example, the encoder is the combinedThirdCalculating a motion vector for the video information, and calculating and storing the calculated and stored motion vector in the reference picture associated with the vector;videoAbove obtained at least partly from the signalThird videoTest against a reference map containing the location of the information.
[0027]
  This is at least the firstvideoOf the picture for the part of the picture obtained only from the signalqualityIs kept high and has a motion vector related to the reference picture part.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
  Overview
  1-4 illustrate video processing operations that may be performed to combine one video signal (A) with another video signal (B).
[0029]
  1 and 2 are schematic diagrams of timetables representing the splicing operation and the dissolving operation, respectively. In FIG. 1, a sudden change from signal A to signal B at a specific time t is performed. In FIG. 2, there is a gradual change in which signal A is mixed into signal B over a specific time.
[0030]
  3 and 4 are schematic views of the television picture itself.
  FIG. 3 shows the insertion of a “logo”, where a sub-portion of picture A is replaced or mixed with picture BThe
  Figure 4 shows the greeting on the screen(Complimentary Portion)A wipe operation in which the boundary between two pictures moves is shown.
[0031]
  This description relates to the type of video processing that needs to be performed in connection with the video processing operations that need to be performed in connection with FIGS. In other words, these types are operations where both pictures A and B are on the screen at the same time.
  The problem of FIG. 1, i.e. the splicing of one video signal to another, is not addressed by the present invention.
[0032]
  FIGS. 5 to 7 are schematic again, showing the overlay of the logo on the video picture, ie a detailed version of FIG.
[0033]
  In FIG. 5, a video picture usually includes moving objects 1 and 2 and a stationary object 3.May includeShows the original scene. In FIG. 6, the additional video information including further information such as text logo 6 and map 5 isOf FIG.Overlaid on the original video.AdditionSuperimposition of video information on the original video is required.obtainAn example of a situation is broadcasting an impending event alert, such as a weather alert for a particular region, without significantly compromising the underlying program.
[0034]
  FIG. 7 is a close-up schematic diagram of FIG. 6 showing the overlap between the no-motion map 5 and the original video 3 part. Based on blocks, like MPEG2, where each video is divided into so-called macroblocksCodingIn the system, it can be seen that a large number of macroblocks are affected by the superimposition of video. The macroblock is shown as a square block 10 in FIG.
[0035]
  The remainder of this description deals with a video signal processing apparatus that can handle the presence of video information from sources A and B that are simultaneously present on the screen.Video signal processingThe block diagram of the device is described with reference to FIG. 8 and follows the flowchart of FIG. 9 which clarifies the mode of operation. Individual features of this operation will be described with reference to other figures.
[0036]
  Reference is now made to FIG. 8, which is a schematic diagram of a video signal processing apparatus.
[0037]
  The encoder E1 receives the input video signal A and encodes the input video signal A according to a desired output target bit rate TBR and GOP format. In a situation where mixing between the two video signals is not required, the video signal encoded by the encoder E1 is supplied directly to the output terminal through the changeover switch S1 under the control of the control device 100. If the input video signal already conforms to the desired format, the encoder E1 is of course not necessary (in order to illustrate this,EncoderE1 may be shown in parentheses).
[0038]
  The output of the encoder E1 isCodingvideosignalIs supplied to a complementary decoder D1 which decodes it back to the uncompressed form, ie, the baseband form. The baseband video signal is supplied to the mixer 110, and the compression parameters used for the original compression of each block of the input video signal A are supplied to the control device 100.
[0039]
  videosignalA video signal to be mixed into ABThe signal source 120 supplies the video signal B to another encoder E3. Again, if the video signal B is already in the desired format,EncoderE3 is not necessary (to illustrate this,EncoderE3 may be shown in parentheses). The output of the encoder E3 is the corresponding bit rate and the GOP format of that of the output of the encoder E1,EncodedGet compression parameters from video signal and videosignalB is fed back to another decoder D3 which decodes B back to baseband format and feeds it to the mixer 110.
[0040]
  Encoder-decoder if necessaryPair ofE1 / D1 or E3 / D3 may be omitted and an uncompressed video signal, ie, a “baseband” video that is supplied directly to one of the input terminals of the mixer 110signalIs decoded and compressed at the other input of the mixer 110.signalAdded to.
[0041]
  In addition, the signal source 120 is a mixer for the key signal K.110(The key signal, of course, comes from an external signal source). The key signal is the video to be used for each pixel of the required output video.signalA and videosignalB relativeBond ratio (mixing ratio)Therefore, the key signal K is 0 (all videosignalA is used)~1 (all videossignalB is used)ofVary between. This change occurs on a pixel-by-pixel basis,PixelTwo in positionvideoIndicates the mixing ratio between the signals,0-1With K varying between.
[0042]
  Thus, the mixer 110 operates in a common and conventional manner, and on a pixel basis, the multiplier 112signalB pixelKey signalMultiply by KAlso,Multiplier 114, videosignalA pixelcoefficientAn adder 116 that multiplies (1-K) and generates pixels of the output mixed video signal;the aboveAdd the two products. The mixed video signal is fed to another encoder E2, again with the same nominal bit rate as well asEncoderE1 andEncoderActing on the GOP format as E3, this encoder E2 serves to encode the mixed video signal and output it to the output terminal through the changeover switch S1.
[0043]
  The control device 100 controls the operation of the encoder E2. Basically, the control device 100 is such that the encoder E2 performs the video signal A andVideo signalControl whether some or all of the compression parameters associated with the compression of B blocks are reused, and then the video signals A andVideo signalB is mixed or a new compression parameter is generated to encode a block of mixed video signal C.
[0044]
  The operation of the control device 100 will be described in more detail later, but a part of it will be described in detail. And details of the target output data rate (TBR). Further, the control device 100 accesses a storage device 130 that can store various information including some information obtained from the key signal K.
[0045]
  FIG. 9 is a flowchart illustrating the operation of the processing apparatus of FIG.
[0046]
  In step 220, a “bitmap” is obtained from the key signal K indicating the position of the compressed frame of the logo. In this regard, FIG. 12A andFIG.B, FIG. 13A andFIG.B and FIG.FIG.This will be described in more detail later with reference to D.
[0047]
  In step 230, the control device 100 performs mixing.(Join)Video signalCEstimate the total number of bits required to encode the current frame. In order to do this, the controller 100 actually uses a rate control algorithm for the mixed video signal.CIs not applied, but instead an estimate is calculated from at least part of the historical data regarding the number of bits required to encode each macroblock of the original two separate video signals A and B. This process will be described in detail later.
[0048]
  In the next step 245, I(Intra)Threshold used to determine which macroblocks of a frame are to be completely re-encoded and which of the parameters associated with one or both of the input video signals are to be reused (details below) Set. This process will be described later with reference to FIG.
[0049]
  In step 260, the videosignalA quantization parameter of A is compared to a threshold that determines a set of macroblocks to be re-encoded. This is illustrated in FIG.
[0050]
  Steps 245 and 260 are not used in some embodiments of the invention indicated by the dashed lines from step 230 to step 270.
[0051]
  In step 270, the mixedvideoA test is performed to determine whether the motion vector associated with the macroblock of signal C points to a valid area of the reference video. For example, a macroblock is a videosignalBe completely inside A, but the motion vector associated with it is the video in the reference frame.signalB may point to the replaced area. In these surrounding situations, it is inappropriate to use the motion vectors described above. This process will be described in detail later with reference to FIGS.
[0052]
  Once this test is complete, a full set of re-encoding or reuse parameter information is sent by controller 100 to encoder E2, which is mixed according to this full set of information. The video signal C is encoded. videosignalA andVideo signalIf mixing occurs between B, the controller 100 operates the switch S1 to select the output of the encoder E2 for the entire frame.
[0053]
  Encoder E2 includes a rate control algorithm. This algorithm is, for example, a prediction rate control algorithm such as the so-called “test model 5” of the MPEG system.But you canOrUK patent application,Precoding or rehearsal rate control algorithm as described in GB-A-2306831May be. In any case, in the case of a macroblock whose parameters are to be reused and in the case of a macroblock whose parameters are not to be reused, the parameters applied by the controller 100 to the rate control algorithm are the decoder D1 andDecoderAn indication flag equal to the original compression parameter received from D2 and indicating the rate control algorithm from which the new parameter is obtainedIs used.
[0054]
  There is a special situation for the inserted logo, in that situation, used for blocks containing logo material to set the maximum range of strictness of the quantization process, in order to maintain the high quality of the picture of the logo itself It is required to clarify the limit of the quantization parameter to beobtain. Again, the condition is signaled from the controller 100 to the rate control algorithm for the macroblock that is determined to include the first or all video B material. (This of course depends on a subjective decision as to whether the inserted video signal consists of a logo or other material, which of course is a decision made by the operator, ie the user. .)
[0055]
  The rate control algorithm of encoder E2 generates compression parameters for these macroblocks to be re-encoded, and encoder E2 receives, ie, based on the acquired parameters,Of the video signal C output from the mixer 110.Encode all frames.
[0056]
  In the following description, as an example, FIG.signalLogo information (such as text logo and map) shown as B is videosignalAssume that it is superimposed on A. Further, it is assumed that the encoder E3 and the decoder D3 in FIG. 8 are omitted.
[0057]
  bitmap
  As described above, the key signal K is generated for each pixel by a known method. As described above, the key signal is used to display the logo information in the original scene.At a certain position, at a certain rateSuperimposeContains information.The bit map is generated from the key signal by the control device 100.
[0058]
  The bitmap may have a pixel resolution indicating a pixel position including logo information for each pixel.
[0059]
  Alternatively, the bitmap may have a macroblock resolution that indicates a macroblock that includes logo information.
[0060]
  Thus, the bitmap contains pixels or macroblocks that contain logo information (logo area) and do not contain (area without logo).
[0061]
  Conversion parameter
  The embodiments of the present invention discussed later refer to the following transcoding parameters:
  1) Parameter Q applied to the frame to clarify the quantization scale;
  2) DCT(Discrete Cosine Transform)Parameter DCT type to clarify the type of processing (field or frame) and
  3) Motion vector
[0062]
  The first bitstream A has I, P and B frames. These frames are decoded by the decoderD1And then re-encoded by the encoder E2. I frame of the first bitstream A is I of stream CflameAnd the P frame is PflameAnd the B frame is BflameThe encoder E2 is controlled by the control device 100 to be re-encoded as
[0063]
  The parameters Q and DCT type are applied to the original information mixed and the re-encoding of the logo according to the first method or the second method.
[0064]
  First method
  A) MixedvideoThe I frame of signal C was obtained from the I frame of the original original video bitstream A that was not modifiedParametersReusing Q and DCT type parameters, encoderE2Is re-encoded. Re-encoded I frames tend to have more data than the corresponding frames of the original bitstream due to the superimposed logo information.
[0065]
  B and C) P and B frames are re-encoded by the encoder E2. MixedvideosignalCThe quantization parameter Q of the P and B frames ofWith encoder E2.Recalculated.
[0066]
  D) The DCT type of bitstream A isIn the encoder E2,Re-encoded and mixedvideoReused in all macroblocks of all frames of signal C.
[0067]
  E) An estimate of the target number of bits for each frame is calculated as in step 230 above, ie, from the number of history bits required to encode the frame of bitstream A. Rate control was re-encodedOf video signal CAllocate bits for GOP I, P and B frames to match the target bit rate (TBR).
[0068]
  Second method
A) I frame,ParametersQ
  Referring to FIGS. 10 and 11, for the original bitstream (no logo), the distribution of Q scales in the macroblock is determined.ParametersQ threshold Q_ThIs determined empirically.
[0069]
  Referring to FIG. 11, from all macroblocks of each I frame,ParametersThe Q value is given by the Q threshold calculator 350 and stored in the storage device 130. The Q threshold calculator then arranges the Q values in ascending order and obtains the occurrence rate of each possible Q value on the important macroblock. A histogram showing the outline of this processing is shown in FIG.
[0070]
  Then, the threshold ratio x% is applied to this distribution, and as a result, the highest Q value whose cumulative incidence up to the Q value is within the threshold ratio x% isThresholdQ_ThAs confirmed.
  The threshold ratio x% is, for example, in the range of 25% to 60%, preferably 50%, and more preferably 30%.
[0071]
  Includes logo information from encoder E2Of video signal CRe-encoding of I frames occurs according to the following criteria:
[0072]
  MixedvideoObtained from the original bitstream A and saved in the I frame of the signal C (ie including the logo)ParametersThe Q value is reused in a video area that does not include logo information (an area without a logo). If the logo information is threshold Q_ThIf it is in a macroblock of the original video with the following Q value, the stored Q value from the original bitstream A is reused. All other logo information in the I frame is recalculated. The logo area and the non-logo area are defined by a bitmap.
[0073]
  Thus,ParametersHas a Q value and its highest Q value Q_ThA macroblock of the original bitstream that contains is encoded using the original Q value, even if the macroblock contains logo information. Including logo information, the Q value of the original bitstream A isThresholdQ_ThMacroblocks that exceed are fully re-encoded.
[0074]
  thisCodingThe system is numerically smallParametersIt should be noted here that Q tends to involve a less coarse quantization. Upper limit of Q value to be reusedThresholdQ_ThOf these macroblocks (those under consideration) that were originally not very coarse and compressedqualityDoes not decreaseThateffective.
[0075]
  OnceThresholdQ_ThIs determined, the Q value of the original bitstream A is read from the storage device 130, and the comparator 360_ThCompared with The determination of whether to re-encode or reuse is performed as follows in a macroblock in which the re-encoded bitstream includes logo information. A macroblock containing logo information is indicated by a bitmap.
[0076]
  B) P frame isEncoderRe-encoded by E2. In the P frame, the stored Q value is reused in the no logo area. In the logo area, the Q value is recalculated.
[0077]
  C) B frame isEncoderRe-encoded by E2. In the B frame, the Q value is recalculated throughout the frame.
[0078]
  D) The stored DCT type is reused in every frame.
[0079]
  E) Rate control
  For re-encoding, it is desirable to use test model 5 (ISO-IEC / JCT1 / SC29 / WG11 / NO44) in which the rate control is changed as follows.
[0080]
  In the area without logo on the I frame,Macro blockThe bits generated for the MB are collected to form a reuse bit value. In the logo area of the I frame, this reuse bit value is used in conjunction with the number of logo MBs for that point in the frame to change the target value for rate control as follows.
[0081]
  New target value = reuse bit + {(target bit frame) * (logo so far MB) / (total MB)}
[0082]
  This affects the rate control equation below.
[0083]
  New virtual buf = init virtual buf + (generated picture bits)-(new target value)
  However, “generated picture bits” is the number of bits generated for the current point in the frame, and consists of bits generated by reuse and bits generated by rate control of the logo area.
  “Init virtual buf” is an initial value of the virtual buffer.
[0084]
  That is,
  (Generated picture bit) = logo bit + reuse bit
It is.
[0085]
  Thus, the new target value cancels the effect of reuse on the target number of bits in the logo area of the I frame, and rate control is performed as if all frames were re-encoded.
[0086]
  Threshold Q_ThThe intention to use is that in regions with "low Q"Parameters“Q” is reused and “rate control” is activated in the region of “high Q”. In the “low Q” region where the “background” and logo are combined, the “macroblock Q” is reused to maintain the high quality of the background. In this regard, see FIG. 7 showing the part of the map 5, for example, where the object is visible.ParametersDecreasing the number of “logo macroblocks” that reuse “Q” causes “rate control” to use more bits in “P” and “B” frames.
[0087]
  Deformation
  In this second method, the macroblockParametersQ is the reference threshold Q_ThIf it is smaller, it is preservedParametersThe value of Q is reused. The threshold value is one of the following.
[0088]
  a)PictureThreshold proportional to movement
  b) Threshold proportional to the length of the motion vector
  c) Threshold value proportional to color content
[0089]
  SavedParametersThe value of Q is used to reduce video noise. The noise is less noticeable when the motion vector is large, the motion is fast, or there is some color.
[0090]
  Motion vector processing
  Overview
  FIGS. 12-15 illustrate the processing performed in steps 220 and 270 of FIG. 9, i.e. generating a pit map, determining the boundaries between regions from two video sources, and being reused. Test a stored motion vector that determines whether the stored motion vector specifies a valid piece of material from the same video sourceIndicate that.
[0091]
  Referring to FIG. 3, when a decision is made to reuse the encoding parameters, the videosignalThe saved motion vector to be reused for the macroblock in region A is actually a videosignalShowing part of the image formed by A, ie videosignalA is the video as part of the mix, wipe or insert processsignalIt is important to ensure that it has not been replaced by B. The same thing is the videosignalThis also applies to B.
[0092]
  Referring to FIGS. 14 and 15, a boundary (one macroblock width of FIG. 14D) is created around the newly inserted material. The advantage of this is that the vector test is the newly inserted material(Source)Is allowed to be performed around. The advantage of this is that the vector test causes the pixel scale (FIG. 12) because a wider boundary increases the safety margin to avoid errors introduced by this coarser scale approach, if not. Rather than allowing it to be performed on a macroblock scale (rather than as in 13 and 13).
[0093]
  Thus, for example, a boundary may be created around all macroblocks where the boundary is not completely derived from region A, and around all macroblocks where the boundary is not completely derived from region B. In addition, a boundary may be created.
[0094]
  Thus, the stored motion vector associated with the macroblock from region B is
  a) Region A,
  b) a macroblock not entirely from region B, or
  c) boundaries created around these macroblocks not entirely from region B,
  The saved motion vector is not reused, but instead a new motion vector is generated from that location.
  Similarly, the motion vector associated with the macroblock from region A is
  a) Region B,
  b) a macroblock not entirely from region A, or
  c) Boundaries created around these macroblocks not entirely from region A
  , The motion vector is not reused, but instead a new motion vector is generated from the location.
[0095]
  Concrete example
  The motion vector may be processed by any one of methods A, B, and C that will be clarified in the description to be described later. For any of these methods A, B, and C, the first and second methods described above may be used.
[0096]
  As described above, the motion vector V of the original bitstream A₁Are stored in the encoder E2 for reuse. New motion vector V₂Is calculated for mixed video information including logo information and original video information. Motion vector V₁, V₂Are stored in a file with an indication of the macroblock to which the motion vector applies. In the following methods A, B and C, the motion vectors are related only to P and B. B frame file is forwardpredictionAnd both vectors for backward prediction.
[0097]
  bitmap
  As described above, a bitmap is generated. A bitmap is generated for any frame in the frame that indicates where the logo information is.
[0098]
  A bitmap is generated for an I frame.
[0099]
  Each B frame uses two reference bitmaps, which are the forward and backward frame bitmaps pointed to by the motion vector of the B frame.
[0100]
  Each P frame has up to two bitmaps. One bitmap is a bitmap of the frame itself. The other bitmap is a reference bitmap, that is, a frame bitmap pointed to by the motion vector of the P frame.
[0101]
  Method A
  The bitmap includes a logical bit “1” or “0” that indicates whether the pixel contains logo information for any pixel.
  “1” = logo, “0” = no gogo
[0102]
  With reference to FIG. 12A, consider a macroblock MB (n) in a P or B frame of mixed video information.
[0103]
  Macro blockThe stored motion vector of MB (n) is tested against the logo bitmap at pixel resolution. Thus, referring to FIG. 12B, in this figure it is tested against the 16 pixels × 16 pixels indicated by xxx.
[0104]
  If any pixel in region xxx is equal to 1, that region has logo information. And the new vector V₂Is used for MB (n).
[0105]
  If any pixel in region xxx is equal to 0, the region has no logo information. And the stored vector V₁Is used for MB (n).
[0106]
  DeformationAs a new vector V₂If any pixel in region xxx contains logo information instead of using, then the stored vector V₁Can be used if a small number of pixels in region xxx contain logo information.
[0107]
  Method B
  In Method B, the bitmaps of P and B frames have macroblock resolution. In each macroblock,
  “1” indicates a macroblock having logo information;
  “0” indicates a macroblock having no logo information.
[0108]
  If the macroblock has 16 × 16 pixels, the vector is tested against the resolution of only one macroblock, for example, the resolution of 16 pixels.
[0109]
  Consider the situation of FIGS. 13A and 13B.
[0110]
  FIG. 13A shows a macroblock MB (n) of P and B frames without logo information. The motion vector points to the best match region xxx in another frame, as shown in FIG. 13B. Region xxx is next to macroblock (n). Thus, it is within 16 pixels of MB (n).
[0111]
  Young,Macro blockIf MB (n) has a horizontal vector with a value in the range of 0 to 15 pixels in the right direction, if the horizontal vector points to the logo area, Can't choose.
[0112]
  The bitmap corresponding to FIG. 13B is shown in FIG. 14B. To protect against the situation discussed with respect to FIGS. 13A and 13, in the reference frame, a boundary of equal width to one macroblock is around each macroblock containing logo information as shown in FIGS. 14C and 14D. Added.
  In a specific example of this second technique, the boundary is always one macroblock, and the boundary does not depend on the vector range and picture type.
[0113]
  The boundary is designed to include logo information for vector processing.
[0114]
  Referring to macroblock MB (n) in FIG. 14C, its motion vector is tested against a resolution of multiples of 16 pixels for the macroblock in the bitmap file.
[0115]
  If any macroblock that the motion vector points to is a logic 1 (ie, the macroblock contains logo information or is a boundary), the new vector isMacro blockUsed for MB (n).
[0116]
  All macroblocks whose vectors have been testedMB (n)If it contains information without a logo, the stored vector V₁Is used for MB (n).
[0117]
  The B frame has two reference bitmaps as described above. A B frame may have a macroblock with motion vectors that point to both the front and back reference frames, and for two reference bitmaps, one motion vector in one direction contains no logo information and You may make it point to other logo information. In such a situation, an embodiment of the present invention may select a reference frame that includes no logo information, and the vector V stored for the macroblock.₁May be reused, but other reference frames are ignored.
[0118]
  Method C
  Referring to FIG. 15, the B and P frame bitmaps are shown as having logo information 4. Boundary 22 surrounds the logo information in the current frame being processed (different from the reference frame in methods A and B above)Is provided. The boundary has a width w depending on the maximum vector range. The width w is, for example, 64 pixels in the horizontal direction and 32 pixels in the vertical method.
[0119]
  The width w is preferably twice the maximum vector range.
[0120]
  In a variation of technique C, the maximum vector range is detected from the MPEG parameters of the original video bitstream or measured for each frame.
[0121]
  It is desirable for the boundary to have a width w such that all macroblocks outside the boundary cannot have a motion vector belonging to the macroblock containing the logo information inside the boundary.
[0122]
  Thus, the stored motion vector V₁Is used for all macroblocks outside the boundary and the new motion vector is V₂Is calculated for all macroblocks inside the boundary.
[0123]
  In the above description, references to “frame” may be understood to be for example only, but in general, the encoding is per picture, and that picture is a frame, field, combined Or other pictures.
[0124]
  Mentioned aboveVideo signal processing deviceIt will be appreciated by those skilled in the art that may be executed at least in part by a general purpose computer running on suitable software. Both such software and storage media on which such software is stored are considered as specific examples of the present invention.
[Brief description of the drawings]
FIG. 1 illustrates the operation of a video splice.
FIG. 2 illustrates the operation of video dissolve.
FIG. 3 illustrates the operation of inserting a video logo.
FIG. 4 illustrates the operation of a video wipe.
FIG. 5 shows the operation of inserting a video logo without further details.
FIG. 6 shows the operation of inserting a video logo without further details.
7 is an enlarged partial view of FIG. 6 showing the overlap between the inserted logo and the background video.
FIG. 8 is a schematic diagram of a video signal processing apparatus.
FIG. 9 is a flowchart showing the operation of the processing apparatus of FIG.
FIG. 10 is a histogram showing a distribution of quantization parameter values in one picture.
FIG. 11 illustrates a comparison of quantization parameter values with threshold values.
FIG. 12 illustrates a bitmap.
FIG. 13 illustrates a bitmap.
FIG. 14 illustrates a bitmap.
FIG. 15 illustrates another bitmap.

Claims

A first input terminal for receiving a compressed first video signal representing first video information;
It said first video information includes information about the compression of the first video signal the compressed together comprise the transformation parameters associated with the picture of the first video signal the compressed,
Saving the conversion parameters associated with the pictures of the compressed first video signal, and simultaneously decoding all of the compressed first video signals to generate video information corresponding to the first video information A decoder and
A second input terminal for receiving a second video signal representing second video information to be combined with video information corresponding to the decoded first video information ;
A combiner for combining the second video information and the video information corresponding to the decoded first video information to generate third video information, the second video information being combined ; according to a key signal indicative of the ratio of binding of the video information corresponding to the first video information position and the second video information and the decoding in the picture of the first video signal, indicated by the key signal Combining the second video information with the video information corresponding to the decoded first video information according to the following formula at each position in the picture to generate the third video signal:
C = AK + (1-K) B
However, K shows the ratio of the said coupling | bonding shown by a key signal,
0 ≦ K ≦ 1,
A is the first video information,
B is the second video information,
C is the third video information.
A coupler;
By coding all the pictures of the third video information, and an encoder for generating a third video signal representing a third video information said binding,
The encoder includes all the pictures of the third video information .
For the third video information of only the video information corresponding to the decoded first video information that is not combined with the second video information, the stored conversion parameter is used,
For the third video information in which the video information corresponding to the decoded first video information and the second video information are combined, the same encoding method as that for the compressed first video signal is used. Encoding,
Video signal processing apparatus.

The encoder performs encoding processing according to the MPEG system.
The video signal processing apparatus according to claim 1.

The video signal processing apparatus according to claim 2, wherein the decoder performs a decoding process using a decoding method corresponding to an encoding process in the encoder.

The video signal processing apparatus according to claim 1.
The first video signal includes an inner-coded picture and a cross-coded picture,
The encoder re-encodes the inner encoded picture of the compressed first video signal as an inner encoded picture of the combined third video information and the compressed video. the first cross-coded picture of video signals, re-encoded as inter encoded pictures of the third video information said binding,
Video signal processing apparatus.

The video signal processing apparatus according to claim 4, wherein
The encoder to at least encode the at least a portion of the third video information the coupling of the internal coded picture obtained from only the first video signal the compressed, the stored At least part of the combined third video information of the inter-coded picture obtained at least partly from the second video signal and at least reusing one of the transformation parameters being At least one transformation parameters that recoding, video signal processing apparatus.

The video signal processing apparatus according to claim 4, wherein
The encoder is configured to encode video information including I, P and B pictures ,
The encoder encodes the I, P and B pictures of the first video signal as the respective I, P and B pictures of the third video signal of the combined third video information. Configured as
Video signal processing apparatus.

The video signal processing apparatus according to claim 6.
The encoder when encoding the whole of the corresponding I-picture of the upper Symbol third video signals, re-using at least one of the stored transformation parameters associated with the I-picture of the first video signal to that, the video signal processing apparatus.

The video signal processing apparatus according to claim 7, wherein
Said at least one transformation parameter Ru Oh quantization parameter, video signal processing apparatus.

The video signal processing apparatus according to claim 7, wherein
The encoder re-calculating at least one of the conversion parameters for the whole of the P-picture, video signal processing apparatus.

The video signal processing apparatus according to claim 9, wherein
The conversion parameters recalculated for the whole of the P picture is a quantization parameter, video signal processing apparatus.

The video signal processing apparatus according to claim 7, wherein
The encoder and re-calculate at least one of the conversion parameters for the whole of the B picture is coded, video signal processing apparatus.

The video signal processing apparatus according to claim 11.
The conversion parameters recalculated for the whole of the B picture is a quantization parameter, video signal processing apparatus.

The video signal processing apparatus according to claim 7, wherein
Parameters DCT type used in the encoder, all pictures are re-used, video signal processing apparatus.

The video signal processing apparatus according to claim 6.
The encoder is
When encoding the corresponding I-picture part of the combined third video signal that is not derived from the second video signal, the above-mentioned associated with the I-picture of the first video signal Reuse at least one saved transformation parameter,
At least one other portion of the corresponding I-picture of the decoded first of the third to the second video information on SL is bound resulting coupled to the video information corresponding to the video information of the video signal Recalculate one saved parameter,
Video signal processing apparatus.

In the video signal processing apparatus according to claim 14,
Upper Symbol encoder uses the information indicating the position of the key signal, indicating the other portion of the I-picture of the third video signal said binding, video signal processing apparatus.

The video signal processing apparatus according to claim 14, wherein
The at least one stored transformation parameter is a quantization parameter;
The encoder is
Depending on the threshold level of the video parameter ,
Upper SL obtained from the second video signal, a said stored converted parameters for other parts of the corresponding I-picture of the third video signal said bond and said image parameter is above the threshold while the is of those things and greater less than the level, then re-use the transformation parameters above saved,
Upper SL obtained from the second video signal, a quantization parameter for the other parts of the corresponding I-picture of the third video signal said bond and said image parameter is less than the threshold level Recalculate the quantization parameter, which is the other of the ones and large ones ,
Video signal processing apparatus.

The video signal processing apparatus according to claim 16, wherein
It said image parameter is the quantization parameter of the first video signal, video signal processing apparatus.

The video signal processing apparatus according to claim 16, wherein
The video parameters are active tee, video signal processing apparatus.

The video signal processing apparatus according to claim 16, wherein
The video parameter is the magnitude of the motion vector, video signal processing apparatus.

The video signal processing apparatus according to claim 16, wherein
The video parameter is the contents of a color, video signal processing apparatus.

The video signal processing apparatus according to claim 14, wherein
Converting the encoder, when re-encoding the part of the P-picture of the second not that obtained from the video signal said third video signal, which is the stored associated with the P-picture reuse parameter of the at least one, video signal processing apparatus.

The video signal processing apparatus according to claim 21, wherein
The encoder, the third of said recalculating at least one of the conversion parameters in other parts of the P picture of the video signal, video signal processing apparatus.

The video signal processing apparatus according to claim 22, wherein
Said at least one of the transformation parameters associated with the P-picture, the quantization parameter, video signal processing apparatus.

The video signal processing apparatus according to claim 14, wherein
The encoder recalculates at least one of the overall transformation parameters of the B-picture, video signal processing apparatus.

25. A video signal processing apparatus according to claim 24.
The conversion parameters recalculated to all of the B picture is a quantization parameter, video signal processing apparatus.

The video signal processing apparatus according to claim 14, wherein
Parameters DCT type used by the encoder, Ru is reused in all the pictures, video signal processing apparatus.

The video signal processing device is configured using a programmable computer,
In the computer, the computer is caused to execute the processing according to any one of claims 1 to 26.
Computer program .

Receiving a compressed first video signal including transformation parameters associated with a frame of the signal and representing first video information relating to compression;
The first video information is information relating to the compression of the first video signal the compressed together comprise the transformation parameters associated with the picture of the first video signal,
Storing the conversion parameters associated with the frame and simultaneously decoding all of the compressed first video signal to generate video information corresponding to the first video information ;
Receiving a second video signal representing second video information combined with video information corresponding to the decoded first video information ;
A combining step of combining the second video information and video information corresponding to the decoded first video information to generate third video information ,
The position of the second video information to be combined in the picture of the first video signal and the ratio of the combination of the second video information and the video information corresponding to the decoded first video information according to the key signals, at each position in the picture indicated by the key signal, the second video information first combined with the video information corresponding to video information to the third, which is the decoded according to the following formula Generate video information ,
C = AK + (1-K) B
However, K shows the ratio of the said coupling | bonding shown by a key signal,
0 ≦ K ≦ 1,
A is the first video information,
B is the second video information,
C is the third video information.
A joining step;
Encoding all of the pictures of the third video information to generate a third video signal representing the third video information, and
In the encoding step, out of all the pictures of the third video information ,
For the first of the first video information only of said third corresponding to the video information of the video information which the second video information to the video information corresponding to video information is the decoded not bound which is the decoded Using the saved conversion parameters above
Encoding the third video information in which the video information corresponding to the decoded first video information and the second video information are combined;
Video signal processing method.

A program for causing a computer to execute the following procedure,
Together comprising the transformation parameters associated with the signal frame, and represents the first video information on compression, it undergoes a first video signal compression procedure,
The first video information is information relating to the compression of the first video signal the compressed together comprise the transformation parameters associated with the picture of the first video signal,
Storing the conversion parameters associated with the frame and simultaneously decoding all of the compressed first video signal to decode video information corresponding to the first video information ;
A step of receiving a second video signal representing the second video information is combined with video information corresponding to the first video information related decrypted,
A combining procedure for combining the second video information and video information corresponding to the decoded first video information to generate third video information,
The position of the second video information to be combined in the picture of the first video signal and the ratio of the combination of the second video information and the video information corresponding to the decoded first video information according to the key signals, at each position in the picture indicated by the key signal, the second video information first combined with the video information corresponding to video information to the third, which is the decoded according to the following formula Generate a video signal ,
C = AK + (1-K) B
However, K shows the ratio of the said coupling | bonding shown by a key signal,
0 ≦ K ≦ 1,
A is the first video information,
B is the second video information,
C is the third video information.
Combining procedure ;
By coding all the pictures of the third video information, a coding procedure for generating a third video signal representing said third video information, among all the pictures of the third video information ,
For the first of the first video information only of said third corresponding to the video information of the video information which the second video information to the video information corresponding to video information is the decoded not bound which is the decoded Using the saved conversion parameters above
An encoding procedure for encoding the third video information in which the video information corresponding to the decoded first video information and the second video information are combined;
A program that causes a computer to execute.

The video signal processing apparatus according to claim 4, wherein
The transform parameter for a cross-coded picture includes a motion vector associated with a reference picture portion;
The encoder is configured to generate a compressed coded picture containing the cross-coded picture and the reference picture,
The encoder reuses a stored motion vector for the picture of the first portion of the inter-coded picture and the stored motion vector for the cross-coded picture; Is associated with a portion of the reference picture, which is obtained only from the first video signal and generates a new motion vector for the other portion of the inter-coded picture,
Video signal processing apparatus.

The video signal processing apparatus according to claim 30, wherein
The new motion vector is generated for at least partially obtained above inter-coded portions of the picture from the second video signal, video signal processing apparatus.

The video signal processing apparatus according to claim 30, wherein
The new motion vector is generated for the portion of the inter-coded picture, and the inter-coded picture is obtained from the first video signal only, and there is no first video signal. , vectors are said stored is associated with the portion of the reference picture that is at least partially derived from said second video signal, video signal processing apparatus.

The video signal processing apparatus according to claim 30, wherein
The encoder is
Calculating a motion vector for the picture of the combined third video information;
Testing the calculated and stored motion vectors against a reference map;
The reference map includes a position of information obtained at least partially from the second video signal in the reference picture with which the vector is associated;
Video signal processing apparatus.

The video signal processing apparatus according to claim 33,
The reference map includes a pixel resolution of video signal processing apparatus.

The video signal processing apparatus according to claim 33,
The reference map having a resolution of one block of pixels, video signal processing apparatus.

36. A video signal processing apparatus according to claim 35.
The above block is a macroblock,
Upper Symbol motion vector has a resolution of 1 macroblock,
Video signal processing apparatus.

36. A video signal processing apparatus according to claim 35.
If, in the reference picture, the block to which the motion vector is associated has any pixel of information obtained from the second video signal, the new vector is inter-encoded relative to the motion vector. was Ru generated for blocks of the picture, video signal processing apparatus.

The video signal processing apparatus according to claim 35 or 36,
If, in the reference picture, the block to which the motion vector relates has most of the pixels of the information obtained from the second video signal, the new vector is a cross-coding associated with the motion vector. It has been generated for the block of the picture, video signal processing apparatus.

The video signal processing apparatus according to claim 33,
Boundaries of a predetermined width is added to the periphery of the position in the reference map indicating the location of the information obtained from said second video signal, video signal processing apparatus.

40. A video signal processing apparatus according to claim 39.
The reference map has a resolution of one block of pixels,
Boundary of the upper Symbol predetermined width has a width of at least one block,
Video signal processing apparatus.

40. A video signal processing apparatus according to claim 39.
The new vector is, in the encoder, the stored vector is calculated for the entire portion of the third video information said binding associated with the location within the boundaries of the predetermined width, bi Deo signal processor.

The video signal processing apparatus according to claim 30, wherein
The encoder obtains a new motion vector obtained from at least the second video signal for the position of the inter-coded picture and for a predetermined width boundary associated with the magnitude of the vector. calculations, video signal processing apparatus.

The video signal processing device according to claim 42,
The predetermined width of the border has a width equal to a predetermined ratio to the maximum motion vector range, video signal processing apparatus.

The video signal processing device according to claim 42,
The width of the boundary is at least the maximum motion vector range, video signal processing apparatus.

The video signal processing apparatus according to claim 43,
The maximum vector range is calculated from the third video information, video signal processing apparatus.

The video signal processing apparatus according to claim 43,
The maximum vector range is determined from the parameter data associated with the first video signal the compressed video signal processing apparatus.

The video signal processing device according to claim 42,
The new motion vector is calculated for all video parts within the boundary,
Motion vectors stored above SL is used for the entire video portion of the outside of the boundary,
Video signal processing apparatus.

The video signal processing method according to claim 28, wherein
The transform parameter for a cross-coded picture includes a motion vector associated with a reference picture portion;
The video signal processing method includes a step of compression-encoding the combined third video information to generate a compression-encoded picture including a cross-encoded picture and a reference picture,
Reusing the stored motion vector for the picture of the first portion of the inter-encoded picture in the encoding step and the stored motion for the inter-encoded picture; A vector is associated with the portion of the reference picture, obtained only from the first video signal, and generates a new motion vector for the other portion of the inter-coded picture;
Video signal processing method.

A program for causing a computer to execute the following procedure,
Together comprising the transformation parameters associated with the signal frame, and represents the first video information on compression, it undergoes a first video signal compression procedure,
And at the same time save the transformation parameters associated with the frame, the procedure for decoding all the first video signal the compressed,
A step of receiving a second video signal representing the second video information is coupled to a first video information related decrypted,
Said second video information combined with the first video information the decoding, at least a portion obtained from only the first video signal, at least partially derived from said second video signal A combined procedure for generating a combined third video information picture comprising at least one other part , comprising:
According to the key signal indicating the position of the second video information to be combined in the picture of the first video signal and the ratio of the combination of the second video information and the decoded first video information, Combining the second video information with the decoded first video information according to the following formula at each position in the picture indicated by the key signal to generate the third video signal :
C = AK + (1-K) B
However, K shows the ratio of the said coupling | bonding shown by a key signal,
0 ≦ K ≦ 1,
A is the first video information,
B is the second video information,
C is the third video information.
Combining procedure ;
By coding all the pictures of the third video information, a coding procedure for generating a third video signal coupled represents the third video information the coupling, in the encoding procedure, Reusing at least one of said stored transformation parameters for at least encoding said at least one portion of said combined third video information obtained only from said first video signal, said transformation parameters Is a compressed code including a cross-coded picture and a reference picture by compressing and encoding the combined third video information, including a motion vector related to a reference picture portion, with respect to the cross-coded picture An encoding procedure for generating a coded picture ;
Is a program that causes a computer to execute
In the coding procedure,
Reusing the stored motion vector for the picture of the first portion of the inter-coded picture;
The stored motion vector for the inter-coded picture is associated with a portion of the reference picture, obtained from only the first video signal, and of other portions of the inter-coded picture. Generate a new motion vector for
Computer program .

Receiving a first video signal that is compressed and then decoded and decompressed , representing the first video information, and stored conversion parameters associated with the picture when the first video signal is compressed ; A first input device for performing processing related to compression of the first video signal;
A second input terminal for receiving a second video signal representing second video information coupled to the decompressed first video information;
Said second video information combined with the first video information which the compression is released, at least partially obtained from only the first video signal, at least, at least in part from said second video signal A combiner for generating a picture of the combined third video information consisting of at least one other part obtained in an automatic manner,
According to the key signal indicating the position of the second video information to be combined in the picture of the first video signal and the ratio of the combination of the second video information and the decoded first video information, Combining the second video information with the decoded first video information according to the following formula at each position in the picture indicated by the key signal to generate the third video signal :
C = AK + (1-K) B
However, K shows the ratio of the said coupling | bonding shown by a key signal,
0 ≦ K ≦ 1,
A is the first video information,
B is the second video information,
C is the third video information.
A coupler ;
And compression coding all the pictures of the third video information, and the encoder for generating a third video signal coupled represents the third video information said binding,
Have
The coding unit is, for at least encoding the at least part of the third video information obtained above bound only the first video signal, at least one of said stored converted parameters again use,
Video signal processing apparatus.