JP4161379B2

JP4161379B2 - Decoding device and decoding method

Info

Publication number: JP4161379B2
Application number: JP11534596A
Authority: JP
Inventors: 芳弘村上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-04-12
Filing date: 1996-04-12
Publication date: 2008-10-08
Anticipated expiration: 2016-04-12
Also published as: JPH09284771A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばフレーム間符号化を用いた圧縮符号化信号の切り替えに適用される圧縮符号化画像信号の復号装置および復号方法に関する。
【０００２】
【従来の技術】
画像信号のフレーム間相関を利用して画像信号を圧縮する符号化が知られている。一例として、２フレーム単位の圧縮符号化により符号化された信号に関して、符号化信号の切り替え（あるいは編集）方法について説明する。２フレーム単位の符号化構成として、Ｂ−Ｉの符号化構成を挙げる。Ｉは、フレーム内圧縮符号化により符号化されたフレームを表し、Ｂは、両方向動き補償予測を使用したフレーム間圧縮符号化により符号化されたフレームを表す。切り替え方法の説明に先立って図１２および図１３を参照して符号化および復号化の信号処理についてそれぞれ説明する。
【０００３】
入力画像は、その１フレーム毎にＩ、Ｂのピクチャタイプが決められる。Ｂのタイプのフレーム画像に関しては、前後のフレーム画像から双方向動き補償予測を受け、予測誤差に変換される。動き補償予測のために使用されるＩの画像として、一般的にＩの画像をフレーム内符号化した画像をローカル復号した画像を用いる。双方向動き補償予測に発生した誤差画像（Ｂ）および入力画像（Ｉ）は、ＤＣＴ（Discrete Cosine Transform)変換され、変換係数が量子化され、さらに、量子化出力がハフマン符号等の可変長符号化され、可変長符号化により圧縮符号化信号が発生する。
【０００４】
一般的に、Ｂの圧縮符号化信号の方がＩの圧縮符号化信号より動き補償の分だけ情報量が少ない。また、最終的に圧縮符号化信号を出力する場合は、Ｂ−Ｉの画像の組に対して、Ｉ−Ｂの順序で圧縮符号化信号（ストリームと称する）を発生する。それによって、復号器のハードウエァの低減、処理時間の圧縮が図れる。さらに、Ｉ−Ｂの２フレーム単位、すなわち、ＧＯＰ単位で一定のデータ量となるように、量子化が制御される。データ量の制御としては、フィードホワード制御、フィードバック制御等が使用される。この発生データ量の制御によって、ＶＴＲのような固定レートの記録を行った時に記録媒体上の２フレーム単位の長さを一定とでき、編集が容易となる。
【０００５】
次に、図１３を参照して圧縮符号化の復号化の処理について説明する。入力されるストリームは、可変長符号化の復号、逆量子化、逆ＤＣＴの処理を受け、動き補償誤差画像（Ｂ）、出力画像（Ｉ）にそれぞれ変換される。そして、前後の出力画像（Ｉ）により動き補償予測がなされ、出力画像に変換される。復号処理では、Ｉ−Ｂの順序のストリームに対して、Ｂ−Ｉの順序の復号画像が形成される。
【０００６】
上述したような圧縮符号化により発生した二つのストリームを切り替える処理について説明する。このような切り替えは、例えば磁気テープ、光ディスク等に記録されている圧縮符号化された映像素材を編集する場合に必要とされる。例えば、二つのストリームに付随した音声が無音の箇所で切り替えを行うことを可能とする切り替え信号が形成される。先ず、図１４に示すように、二つのストリームのＧＯＰ（Ｉ−Ｂ）の位相が合っており（すなわち、同期しており）、切り替え信号もＧＯＰの位相に合っている状態の処理を説明する。
【０００７】
ストリームＡとストリームＢは、ＧＯＰの位相が合って状態で入力され、ＧＯＰの位相に合った切り替え信号により切り替えられ、ストリームＡのＢ１に対してストリームＢのＩ２が接続されるように位置Ｘでスイッチングされ、そして、ストリームＢのＢ３に対してストリームＡのＩ４が接続されるように位置Ｙでスイッチングされ、Ｘ−Ｙ間にストリームＢがインサートされたストリーム（スイッチドストリームと称する）が形成される。
【０００８】
このスイッチドストリームが上述した復号化の処理によって出力画像へ変換される。この復号化の処理において、切り替え点Ｘの直後の画像Ｂ２、および切り替え点Ｙの直後の画像Ｂ４は、片側の画像Ｉ２およびＩ４を用いた片方向予測により復号される。片方向予測により形成される出力画像をＰ２およびＰ４で示す。その結果、双方向予測による復号画像と比較して画質の劣化が多少生じるが、切り替えが正しく実現され、出力画像にエラーが生じない。なお、図１４に示すタイミングチャートにおいては、回路系、伝送路等でおいて実際に生じる遅延時間は、説明の簡単のために無視されている。以下に説明するタイミングチャートに関しても同様である。
【０００９】
【発明が解決しようとする課題】
しかしながら、二つのストリームのＧＯＰの位相が合っていること、並びに切り替え信号の位相がＧＯＰの位相に合っていることが満たされない場合には、スイッチドストリームを復号した出力画像にエラーが発生する問題が生じる。図１５を参照して、二つのストリームのＧＯＰの位相は合っているが、切り替え信号の位相がＧＯＰに対して１フレームずれている場合について説明する。２フレーム単位の符号化の場合では、相対的な位相関係としては、位相が合っている場合と、位相が１フレームずれている場合とのいずれかの場合がありうる。
【００１０】
切り替え信号は、ＧＯＰの途中でストリームＡからストリームＢへ切り替える点Ｘで立ち上がり、ＧＯＰの途中でストリームＢからストリームＡへ切り替える点Ｙで立ち下がる。すなわち、図１５において、最初の切り替え点Ｘは、出力画像において、Ｂ２の画像まではストリームＡの画像を選択し、Ｉ２からストリームＢを選択することを意味している。また、後ろ側の切り替え点Ｙは、出力画像において、Ｂ４の画像まではストリームＢの画像を選択し、Ｉ４からストリームＡを選択することを意味している。
【００１１】
しかしながら、切り替え信号が１フレームのずれを持つために、ＧＯＰの途中で切り替え処理が行われる。その結果、二つのストリームは、それぞれＩ２およびＩ４で混合されるものとなる。従って、Ｉ２およびＩ４の復号画像がエラーを含むものとなり、また、片方向予測を行うとしても、これらのＩ２およびＩ４の復号画像から予測されるＢ２およびＢ４の復号画像もエラーを含んだものとなる。
【００１２】
図１６は、二つのストリームのＧＯＰの位相が合っていない場合、より具体的には、ストリームＡに対してストリームＢが１フレーム遅れている場合の処理を示す。この場合、切り替えは、二つのストリームの内のいずれかのストリームにおいて、ＧＯＰの途中で切り替え処理が行われる。例えば、ストリームＢのＧＯＰの位相に同期した点ＸおよびＹにおいて切り替え信号で切り替えても、ストリームＡにおいてはＧＯＰの途中で切り替えられてしまい、Ｂ２およびＩ４の画像がエラーになってしまう。
【００１３】
このように、二つのストリームを単純に切り替える方式は、ストリームのＧＯＰの位相が合っており、切り替え信号もこのＧＯＰの位相に合っていないと、切り替えの前後でエラーを引き起こす問題があった。言い換えると、切り替えの精度がＧＯＰより細かい単位、例えば１フレーム単位とすることができない問題があった。
【００１４】
従って、この発明の目的は、切り替えをＧＯＰより細かい精度で行うことを可能とし、また、切り替え後の画像の時間的な位相精度をより細かい精度で規定することが可能な圧縮符号化信号の復号装置および復号方法を提供することにある。
【００１５】
【課題を解決するための手段】
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに入力する入力手段と、
入力手段により入力されたスイッチドストリームを復号して復号画像を生成する復号手段と、
入力手段により入力された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、復号画像における切り替え点のタイミングと切り替え信号における切り替え点のタイミングとを合わせる
復号装置である。
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに入力する入力手段と、
入力手段により入力されたスイッチドストリームを復号して復号画像を生成する復号手段と、
入力手段により入力された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像の代わりに切り替え点の前の復号画像を繰り返すフリーズ処理を行う
復号装置である。
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに入力する入力手段と、
入力手段により入力されたスイッチドストリームを復号して復号画像を生成する復号手段と、
入力手段により入力された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせることによって位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像を捨てる間引き処理を行う
復号装置である。
【００１６】
請求項１に記載の発明によれば、二つのストリームの一方のＧＯＰの途中で切り替えがなされることによって、復号画像にエラーが発生することを防止することができる。
【００１７】
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに記録媒体に記録する記録手段と、
記録媒体から、位相情報とスイッチドストリームとを再生する再生手段と、
再生手段により再生されたスイッチドストリームを復号して復号画像を生成する復号手段と、
再生手段により再生された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせながら位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像の代わりに切り替え点の前の復号画像を繰り返すフリーズ処理を行う
復号装置である。
【００１８】
請求項３に記載の発明によれば、復号画像にエラーが発生することを防止することができ、さらに、出力画像の切り替え点が切り替え信号の意図したものとできる。
【００１９】
この発明は、第１のストリームと第２のストリームとを切り替え信号に従って切り替えて形成されたスイッチドストリームを復号する復号装置であって、
スイッチドストリームのＧＯＰ位相に対する切り替え信号の信号位相のずれを示す位相情報を、スイッチドストリームとともに記録媒体に記録する記録手段と、
記録媒体から、位相情報とスイッチドストリームとを再生する再生手段と、
再生手段により再生されたスイッチドストリームを復号して復号画像を生成する復号手段と、
再生手段により再生された位相情報を利用してＧＯＰ位相又は信号位相を画像フレーム単位で少なくとも１フレーム分遅延するように時間シフトさせながら位相のずれを補正し、復号手段におけるスイッチドストリームに基づく復号画像の生成を制御する制御手段と、
を有し、
制御手段は、入力手段により入力された位相情報を参照して、第スイッチドストリームのＧＯＰ位相と切り替え信号の位相とが合っていない場合に、復号手段により生成された復号画像に対して、第１のストリームから第２のストリームに切り替える切り替え点の後の復号画像を捨てる間引き処理を行う
復号装置である。
【００２０】
請求項５に記載の発明によれば、復号画像にエラーが発生することを防止することができ、さらに、出力画像において、一方のストリームが時間的にずれることを防止することができる。
【００２１】
【発明の実施の形態】
以下、この発明のいくつかの実施例について図面を参照して説明する。以下の説明では、ストリームＡを切り替え元のストリームとし、ストリームＢを切り替え先とする。すなわち、切り替え元のストリームＡは、既にストリームが以前から存在し、その位相の変更ができないストリームであり、また、切り替え先のストリームＢは、遅延制御にて位相の制御が可能なストリームである。また、編集処理の点からは、ストリームＡがソースＡと呼ばれ、ストリームＢがソースＢと呼ばれ、切り替え信号が編集コマンドと称される。
【００２２】
この発明の第１の実施例は、切り替え信号の位相および／またはストリームＢの位相を制御することによって、ＧＯＰの位相に合った切り替えを行うものである。上述した図１５の場合に対してこの発明の第１の実施例を適用した処理例について説明する。すなわち、ストリームＡおよびＢのＧＯＰの位相が合っており、切り替え信号の位相がこのＧＯＰの位相に対して１フレームずれている場合である。この場合では、図１に示すように、切り替え信号がＧＯＰの位相に合うように、１フレーム位相が進められる。すなわち、切り替え信号の位相がＸの点で立ち上がり、Ｙの点で立ち下がるものに変更され、最終的な切り替えを元の位置より１フレーム進められたＸ−Ｙの位置で行う。それによって、切り替え点の直後の画像を片方向予測の画像Ｐ２、Ｐ４とすることによって、切り替えられた画像にエラーが発生することが防止される。なお、以下の説明では、切り替え信号の位相を１フレーム進める時間シフトを採用しているが、１フレーム遅れるように処理しても良い。
【００２３】
上述した図１６の場合に対してこの発明の第１の実施例を適用した処理例を図２に示す。図１の例と同様に、切り替え信号の位相が１フレーム進められ、また、ストリームＢの内容もストリームＡと合うように１フレーム進められる。それによって、ストリームＡ、ストリームＢのＧＯＰの位相が互いに合った状態とされ、その状態で切り替えがなされる。従って、画像にエラーが発生することが防止できる。なお、切り替え信号の場合と同様に、ストリームの位相を１フレーム遅延することによって、二つのストリームのＧＯＰの位相を合わせるようにしても良い。
【００２４】
図１および図２に示す第１の実施例によれば、出力画像にエラーが発生することを防止できる。しかしながら、上述した処理の結果、スイッチドストリーム（出力画像）の切り替え点の位相が原切り替え信号の位相に対して１フレーム進んだものとなる。このように、出力画像の切り替え点が１フレーム早くなり、切り替え時に意図した画像内容の切り替わり点が出力画像に反映しない問題がある。さらに、図２の処理例では、ストリームＢから出力画像までの遅延時間が１フレーム早いことになり、ストリームＢの画像情報に付随するタイムコード情報あるいはオーディオ情報と画像の時間的なズレが発生する。
【００２５】
この発明の第２の実施例は、第１の実施例の処理に加えて切り替え信号の意図を出力に反映することを可能とする。そのために、復号側において、切り替え点の直後に、その前の画像を繰り返すフリーズ処理を導入する。
【００２６】
図１５の例のように、二つのストリームのＧＯＰの位相が合っているが、切り替え信号の位相とＧＯＰの位相が合っていない場合に対して、第２の実施例を適用した処理例を図３に示す。二つのストリームを切り替えるまでの処理は、第１の実施例の図１の例と同様である。出力画像の切り替え点が意図したものより１フレーム早くなる問題を解決するために、ストリームの切り替え直後の出力画像Ｐ２およびＰ４の代わりに、その直前の出力画像Ｉ１およびＩ３を繰り返すようになされる。この処理がフリーズである。その結果、切り替え信号と出力画像の時間関係が一致し、Ｉ２からＩ４の間でストリームＢを挿入するように切り替える意図を出力画像に反映させることが可能となる。
【００２７】
図１６と同様の場合に対してこの発明の第２の実施例を適用した処理例について図４を参照して説明する。ストリームＢおよび切り替え信号の位相が１フレーム進められることは、第１の実施例の図２の処理例と同様である。切り替え点ＸおよびＹの直後の１フレームは、その直前のＩ１およびＩ３の復号画像をそれぞれ繰り返す、フリーズ処理によって、最終的な出力画像における切り替え点を、原切り替え信号の意図に一致したものとできる。但し、ストリームＢの出力画像の位相が１フレーム進んでいる問題は、解決されていない。
【００２８】
この発明の第３の実施例は、第１の実施例と同様に切り替えによってエラーが発生することを防止することができ、また、ストリームＢの出力画像の位相の時間的シフト、具体例では、ストリームＢが１フレーム進む問題を解決するものである。すなわち、第３の実施例では、第１の実施例と同様に切り替え信号およびストリームＢの位相を制御し、ストリームＢの時間シフトの情報を切り替え処理以降、伝送（または記録）する。そして、復号時にこの時間シフトの情報に基づいてシフト処理することによって時間シフトを除く。それによって生じた切り替え点Ｘの直後の無信号のフレームをフリーズ処理によって埋める。さらに、切り替え点Ｙの直後の重複する画像を除く処理を行う。
【００２９】
図５は、この発明の第３の実施例を図１６に示すような場合に対して適用した処理を示す。ストリームの切り替えまでの処理は、第１の実施例（図２参照）と同様である。スイッチドストリームを伝送する場合に、ストリームＢが１フレーム進められている情報も伝送（記録）される。そして、切り替えにより発生したスイッチドストリームを復号する場合、その内のストリームＢから出力画像までの遅延時間を１フレーム遅延させる。それによって、ストリームＢの遅延時間を正規のものとする。
【００３０】
ストリームＢを復号する場合、切り替え点Ｘの直後では、Ｂ２に対応する復号画像Ｐ２が発生するが、１フレームの遅延によって、このＰ２の発生時間が１フレーム遅れる。その結果、Ｐ２の前が無信号のフレームとなる。これは、その前のＩ１をフリーズ処理することによって埋め合わせる。また、後側の切り替え点Ｙでは、１フレーム遅延のストリームＢから遅延が無いストリームＡに戻るために、画像が１フレーム（Ｉ３）だけ余ることになり、画像の繰り返しを必要としない。言い換えると、切り替え点の意図を反映させるために、Ｂ４が捨てられる。このようにして、切り替え時に意図した画像内容の切り替わり点Ｙが出力画像に反映される。また、ストリームＡおよびストリームＢからなるスイッチドストリームに関して、ストリームから出力画像までの遅延時間が一定となり、タイムコード情報、オーディオ情報と、画像の時間的関係が保たれる。
【００３１】
上述した第３の実施例では、復号側において、無信号をフリーズ処理し、また、ストリームを遅延するために、スイッチドストリームに付随した情報を伝送する必要がある。この付随情報は、ストリームのＧＯＰ毎に設けられたヘッダ内に挿入される。この付随情報は、下記のものである。
【００３２】
切り替え点の有無を示す切り替えフラグ
切り替え信号が１フレーム進められているかどうかを示す遅延フラグ：ＳＷ
Change
スイッチドストリームが１フレーム進められているかどうかを示す遅延フラグ：ＤＬＦ（Ｂ２）
【００３３】
図６は、この発明による信号処理装置の一例の構成を示す。入力信号として切り替え信号、ストリームＡ、ストリームＢが供給され、これらの入力がそれぞれ可変遅延回路１１、１２、１３にそれぞれ供給される。また、これら３個の入力信号が遅延制御回路１４に供給される。遅延制御回路１４は、３個の可変遅延回路１１、１２、１３に対する制御信号を発生し、この制御信号に応じて可変遅延回路１１、１２、１３の遅延量が設定される。２フレーム単位の符号構成の場合では、遅延量としては、遅延無しと１フレーム遅延とのいずれかである。
【００３４】
遅延制御回路１４は、後述するフローチャート（図１０）に示される遅延量の制御を行う。そのために、入力ストリームＡおよびＢの間のＧＯＰの位相関係、並びにこのＧＯＰに対する切り替え信号の位相関係を検出し、さらに、入力されるストリームあるいは切り替え信号が既に遅延フラグ（遅延無し、または１フレーム遅延）を含む場合には、この遅延フラグを検出し、遅延制御に使用する。
【００３５】
例えば前述した図２における入力ストリームＡが遅延フラグ（１フレーム遅延）を含む場合、それに従って遅延した結果は、図１４のタイミングチャートと同様の時間関係となる。ストリームＢの位相が１フレーム進む問題を回避するために、ストリームＢに対しても遅延フラグ（１フレーム遅延）が付けられる。従って、復号時には、図７に示すように、ストリームＡおよびストリームＢの両者が１フレーム遅延される。復号装置が双方向または片方向の動き補償予測（ＭＣ）、フリーズ（または間引き）処理、および１フレーム遅延処理が可能な構成とされているが、図７の例では、フリーズ処理が不要である。
【００３６】
また、入力ストリームＡおよびＢの両者が１フレーム遅延の遅延フラグを有する場合の処理を図８に示す。さらに、入力ストリームＢが１フレーム遅延の遅延フラグを有する場合の処理を図９に示す。
【００３７】
遅延制御がなされたストリームＡおよびＢがそれぞれスイッチング回路１５の入力端子１６Ａ、１６Ｂにそれぞれ供給される。また、遅延制御回路１４で発生したフラグ（切り替えフラグ、遅延フラグ）がスイッチング回路１５の入力端子１６Ｃに供給される。スイッチング回路１５は、可変遅延回路１１からの切り替え信号によって制御される。フラグは、スイッチング回路１５から出力されるスイッチドストリームのＧＯＰのヘッダに挿入される。
【００３８】
図６における遅延制御回路１４によってなされる遅延制御の処理の流れを図１０のフローチャートに示す。ストリームＡを切り替え元のストリーム（既にストリームが以前から存在し位相の変更ができない）とし、ストリームＡを切り替え先（遅延制御にて位相の制御が可能な）のストリームＢへ変更する処理を行うものとしている。ＳＷを切り替え信号とする。より具体的には、上述したタイミングチャートに示されるインサート編集のイン点（切り替え信号の立ち上がりの点Ｘ）におけるストリームＡをＡで表し、ストリームＢをＢで表す。
【００３９】
フローチャートの最初のスタートのステップは、切り替え信号ＳＷが変化したときである。この時、無条件に切り替え点があることを示す切り替えフラグをセットし、切り替え先のストリームＢの最初のＧＯＰのヘッダに切り替えフラグを多重する（ステップＳ１）。また、ストリームＡのＧＯＰの位相と原切り替え信号ＳＷの位相関係を検出する（ステップＳ２）。両者が同期していれば、切り替え信号ＳＷの位相を変更しない（ステップＳ３）。この制御を受けた切り替え信号をＳＷ１と表す。図６中の可変遅延回路１１から切り替え信号ＳＷ１が出力される。一方、ＧＯＰの位相と切り替え信号の位相が同期していない場合には、切り替え信号ＳＷの位相を１フレーム進めたものをＳＷ１とする（ステップＳ４）。
【００４０】
さらに、ストリームＡに付随している遅延フラグを分離して、ストリームＡに対して仮の遅延処理を施してストリームＡ１とする（ステップＳ５）。仮の遅延とは、データを直接遅延するのではなく、遅延したとすると、どのようなＧＯＰ位相になるのかを予想することである。ステップＳ５の後で、仮の遅延がされたストリームＡ１のＧＯＰの位相と切り替え信号ＳＷの位相が同期しているかどうかが決定される（ステップＳ６）。
【００４１】
若し、両位相が同期していれば、切り替え点は、ステップＳ１で多重した切り替えフラグと変わりがないということを示す、切り替え信号に関する遅延フラグ（ＳＷ Change＝０）を切り替え先（ストリームＢ）の最初のＧＯＰに多重する（ステップＳ７）。一方、同期していなければ、切り替え点は、切り替えフラグから１フレーム後に存在するということを示す遅延フラグ（ＳＷ Change＝１）を切り替え先のストリームＢの最初のＧＯＰに多重する（ステップＳ８）。
【００４２】
次にストリームＢに付随している遅延フラグを分離して、ストリームＢに対して遅延処理を施してストリームＢ１とする（ステップＳ９）。入力ストリームＢは、可変遅延回路１３において実際に遅延される。次に、この遅延後のストリームＢ１とストリームＡ１とが同期しているかどうかが決定される（ステップＳ１０）。ストリームＡ１は、上述したように、遅延フラグにより仮の遅延が与えられたストリームである。
【００４３】
若し、両者が同期していれば、ステップＳ１１において、最終的なストリームＢ２の遅延フラグは、ストリームＡの遅延フラグと同じものとする（ＤＬＦ（Ｂ２）＝ＤＬＦ（Ａ））。最終的なストリームとは、切り替え信号ＳＷ１により切り替えられ、スイッチング回路１５から発生するスイッチドストリームを意味する。一方、同期していなければ、ステップＳ１２において、最終的なストリームＢ２の遅延フラグは、ストリームＡの遅延フラグを反転したものとする（ＤＬＦ（Ｂ２）＝！ＤＬＦ（Ａ））。
【００４４】
さらに、付随する遅延フラグに基づいて入力ストリームＢを遅延したストリームＢ１のＧＯＰの位相と切り替え信号ＳＷ１が同期しているかどうかが決定される（ステップＳ１３）。若し、両者が同期していれば、ストリームＢ１を最終的なストリームＢ２とする。同期していないならば、ストリームＢ１の位相を１フレーム進めたものを最終的なストリームＢ２とする（ステップＳ１５）。
【００４５】
スイッチング回路１５によって、切り替えられると共に、フラグがＧＯＰのヘッダに挿入されたスイッチドストリームが伝送路１７を通じて伝送される。伝送路１７は、ケーブル等の通信路、テープ、光ディスク等の記録媒体に対する記録／再生のプロセス等を意味している。
【００４６】
伝送路１７を通過した信号が復号化器２０およびフラグ分離器２１に供給される。フラグ分離器２１により、受信（再生）されたスイッチドストリームから切り替えフラグおよび遅延フラグが分離される。分離された切り替えフラグが復号化器２０に供給される。この切り替えフラグを復号化器２０が参照し、切り替えフラグが立っているＧＯＰでは、双方向の動き補償予測から片方向の動き補償予測へ切り替えられるように、復号動作が制御される。
【００４７】
復号化器２０からの復号信号が画像フレーム単位（この例では１フレーム）での遅延を行う可変遅延回路２２に供給される。この可変遅延回路２２に対して分離された遅延フラグが供給され、遅延処理、フリーズ（間引き）処理が制御される。遅延処理は、ストリームＡ、Ｂに関して、遅延無しと１フレーム遅延とを切り替える処理である。フリーズ処理は、可変遅延回路２２が同一フレームの画像を繰り返して出力することでなされる。重複する画像の一方を間引く処理も可変遅延回路２２によってなされる。
【００４８】
可変遅延回路２２の処理について詳述すると、ストリームの遅延フラグが立っている（すなわち、ＤＬＦ（Ｂ２）＝１の）ＧＯＰは、復号化器２０の出力を可変遅延回路２２において１フレーム遅延する。ストリームの遅延フラグが立っていない（すなわち、ＤＬＦ（Ｂ２）＝０の）ＧＯＰは、復号化器２０の出力を遅延せずに出力する。
【００４９】
図１１に示すように、切り替え信号の遅延フラグが立っている（ＳＷ Change＝１の）ＧＯＰでは、ストリームＡ、Ｂの画像の切り替わり位置が切り替えられたＧＯＰの境目から１フレーム後になるように、制御される。すなわち、ストリームの遅延フラグが切り替え前後で変化しない場合、もしくは遅延無しから有りになる場合には、切り替え前の画像を時間的に後の方にフリーズし、また、ストリームの遅延フラグが切り替え前後で遅延有りから遅延無しになる場合は、切り替え後のＢの画像を捨てる。
【００５０】
図１１に示すように、切り替え信号の遅延フラグが立っていない（ＳＷ Change＝０の）ＧＯＰでは、ストリームＡ、Ｂの切り替わり位置が、切り替えられたＧＯＰの境目になるように制御される。すなわち、ストリームの遅延フラグが切り替え前後で変化しない場合は何の処理も行わず、また、ストリームの遅延フラグが切り替え前後で遅延無しから有りになる場合は、切り替え後の画像を時間的に前の方にフリーズし、さらに、ストリームの遅延フラグが切り替え前後で遅延有りから無しになる場合は、切り替え前のＩ画像を捨てる。
【００５１】
なお、図６の構成および図１０のフローチャートを参照した説明は、第３の実施例に関するものである。第１の実施例では、復号側で切り替え点の直後の動き補償予測を双方向予測から片方向予測へ切り替えるので、復号側には、スイッチドストリームと共に、切り替えフラグが伝送される。そして、上述した第３の実施例と同様に、復号器の動作が制御される。また、第２の実施例では、動き補償予測を切り替えると共に、フリーズ（または間引き）処理を行う必要があるので、切り替えフラグと切り替え信号に関する遅延フラグ（ＳＷ Change) とが復号側へ伝送される。そして、上述した第３の実施例と同様に、復号器および可変遅延回路の動作が制御される。
【００５２】
なお、上述した説明では、圧縮符号化の例として、２フレーム単位のＧＯＰの符号構成に対してこの発明を適用したものである。しかしながら、この発明は、２フィールド、３フレーム以上のＧＯＰの符号構成に対しても適用することができる。その場合では、制御の対象となる位相シフト量は、２フレーム以上のものとなり、遅延フラグのビット数も２ビット以上必要となる。
【００５３】
【発明の効果】
この発明によれば、第１の実施例の説明から理解されるように、互いにＧＯＰの位相の同期していない被切り替え信号（圧縮符号化信号）を１フレーム単位の切り替え信号を用いて切り替えても、復号画像にエラーが生じることを防止することができる。
【００５４】
また、この発明に依れば、第２の実施例の説明から理解されるように、復号画像にエラーが発生することを防止できる効果に加えて、圧縮符号化信号の切り替え時に意図した切り替え点を、復号された出力画像において反映することができる。
【００５５】
さらに、この発明に依れば、第３の実施例の説明から理解されるように、復号画像にエラーが発生することを防止できる効果に加えて、圧縮符号化信号の切り替え時に被切り替え信号の相互の時間関係を保持した出力画像を生成することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施例の処理の一例を示すタイミングチャートである。
【図２】この発明の第１の実施例の処理の他の例を示すタイミングチャートである。
【図３】この発明の第２の実施例の処理の一例を示すタイミングチャートである。
【図４】この発明の第２の実施例の処理の他の例を示すタイミングチャートである。
【図５】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図６】この発明の実施例の構成を示すブロック図である。
【図７】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図８】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図９】この発明の第３の実施例の処理例を示すタイミングチャートである。
【図１０】この発明の第３の実施例における送信（記録）側の処理を説明するためのフローチャートである。
【図１１】この発明の第３の実施例における受信（再生）側の処理を説明するためのフローチャートである。
【図１２】この発明を適用することができる圧縮符号の符号化の処理を説明するための略線図である。
【図１３】この発明を適用することができる圧縮符号の復号化の処理を説明するための略線図である。
【図１４】二つのストリームの切り替え処理の一例を説明するためのタイミングチャートである。
【図１５】二つのストリームの切り替え処理の他の例を説明するためのタイミングチャートである。
【図１６】二つのストリームの切り替え処理のさらに他の例を説明するためのタイミングチャートである。
【符号の説明】
１１、１２、１３・・・可変遅延回路、１４・・・遅延制御回路、１５・・・スイッチング回路、２０・・・復号化器、２１・・・フラグ分離器、２２・・・可変遅延回路[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a compression-coded image signal applied to, for example, switching of a compression-coded signal using interframe coding.DecryptionEquipment andDecryptionRegarding the method.
[0002]
[Prior art]
Coding for compressing an image signal using the inter-frame correlation of the image signal is known. As an example, a method for switching (or editing) an encoded signal for a signal encoded by compression encoding in units of two frames will be described. An encoding configuration of BI is given as an encoding configuration in units of two frames. I represents a frame encoded by intraframe compression encoding, and B represents a frame encoded by interframe compression encoding using bidirectional motion compensated prediction. Prior to the description of the switching method, encoding and decoding signal processing will be described with reference to FIGS.
[0003]
In the input image, picture types of I and B are determined for each frame. Regarding the type B frame image, bidirectional motion compensated prediction is received from the preceding and following frame images and converted into prediction errors. As an I image used for motion compensation prediction, an image obtained by locally decoding an image obtained by intra-frame coding of an I image is generally used. The error image (B) and input image (I) generated in the bidirectional motion compensation prediction are subjected to DCT (Discrete Cosine Transform) conversion, the transform coefficient is quantized, and the quantized output is a variable length code such as a Huffman code. And a compressed encoded signal is generated by variable length encoding.
[0004]
In general, the B compression-coded signal has less information than the I compression-coded signal by the amount of motion compensation. When a compression encoded signal is finally output, a compression encoded signal (referred to as a stream) is generated in the IB order for a set of BI images. Thereby, the hardware of the decoder can be reduced and the processing time can be reduced. Further, the quantization is controlled so that a constant data amount is obtained in units of 2 frames of IB, that is, in units of GOP. As the control of the data amount, feed forward control, feedback control or the like is used. By controlling the amount of generated data, the length of a unit of two frames on the recording medium can be made constant when recording at a fixed rate such as a VTR, thereby facilitating editing.
[0005]
Next, the decoding process of compression coding will be described with reference to FIG. The input stream is subjected to variable length coding decoding, inverse quantization, and inverse DCT processing, and converted into a motion compensation error image (B) and an output image (I), respectively. Then, motion compensation prediction is performed based on the preceding and following output images (I), and converted into output images. In the decoding process, a decoded image in the BI order is formed for the stream in the IB order.
[0006]
A process for switching between two streams generated by the compression encoding as described above will be described. Such switching is required, for example, when editing a compression-encoded video material recorded on a magnetic tape, an optical disk or the like. For example, a switching signal that enables switching at a point where sound accompanying two streams is silent is formed. First, as shown in FIG. 14, the processing in a state where the GOP (IB) phases of two streams are in phase (that is, synchronized) and the switching signal is also in phase with the GOP will be described. .
[0007]
Stream A and stream B are input with the GOP in phase and are switched by a switching signal that matches the GOP phase, so that I2 of stream B is connected to B1 of stream A at position X. Then, the stream is switched at position Y so that I4 of stream A is connected to B3 of stream B, and a stream in which stream B is inserted between XY (referred to as a switched stream) is formed. The
[0008]
This switched stream is converted into an output image by the decoding process described above. In this decoding process, the image B2 immediately after the switching point X and the image B4 immediately after the switching point Y are decoded by unidirectional prediction using the images I2 and I4 on one side. Output images formed by unidirectional prediction are denoted by P2 and P4. As a result, the image quality is slightly degraded as compared with the decoded image by bidirectional prediction, but switching is realized correctly and no error occurs in the output image. In the timing chart shown in FIG. 14, the delay time actually generated in the circuit system, transmission line, etc. is ignored for the sake of simplicity of explanation. The same applies to the timing charts described below.
[0009]
[Problems to be solved by the invention]
However, if it is not satisfied that the GOPs of the two streams are in phase and that the switching signal is in phase with the GOP, an error occurs in the output image obtained by decoding the switched stream. Occurs. With reference to FIG. 15, a case will be described in which the GOPs of the two streams are in phase but the phase of the switching signal is shifted by one frame with respect to the GOP. In the case of encoding in units of two frames, the relative phase relationship can be either a case where the phases are matched or a case where the phases are shifted by one frame.
[0010]
The switching signal rises at the point X at which the stream A is switched to the stream B in the middle of the GOP, and falls at the point Y at which the stream B is switched to the stream A in the middle of the GOP. That is, in FIG. 15, the first switching point X means that in the output image, the image of stream A is selected up to the image of B2, and the stream B is selected from I2. The switching point Y on the rear side means that in the output image, the image of the stream B is selected up to the image of B4, and the stream A is selected from I4.
[0011]
However, since the switching signal has a shift of one frame, switching processing is performed during the GOP. As a result, the two streams are mixed at I2 and I4, respectively. Therefore, the decoded images of I2 and I4 contain errors, and even if unidirectional prediction is performed, the decoded images of B2 and B4 predicted from these decoded images of I2 and I4 also contain errors. Become.
[0012]
FIG. 16 shows a process when the GOPs of the two streams are out of phase, more specifically, when the stream B is delayed by one frame with respect to the stream A. In this case, switching is performed in the middle of the GOP in any one of the two streams. For example, even if switching is performed at the points X and Y synchronized with the GOP phase of the stream B with the switching signal, the switching is performed in the middle of the GOP in the stream A, and the B2 and I4 images become errors.
[0013]
As described above, the method of simply switching between the two streams has a problem that an error occurs before and after the switching if the GOP phase of the stream matches and the switching signal does not match the phase of this GOP. In other words, there is a problem that the switching accuracy cannot be made smaller than the GOP, for example, one frame.
[0014]
  Therefore, an object of the present invention is to provide a compression-coded signal that enables switching with finer accuracy than GOP and that defines the temporal phase accuracy of the image after switching with finer accuracy.DecryptionEquipment andDecryptionIt is to provide a method.
[0015]
[Means for Solving the Problems]
  The present invention is a decoding device that decodes a switched stream formed by switching between a first stream and a second stream in accordance with a switching signal,
  Input means for inputting, together with the switched stream, phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
  Decoding means for decoding the switched stream input by the input means to generate a decoded image;
  By using the phase information input by the input means, the GOP phase or signal phase is time-shifted so as to be delayed by at least one frame in image frames, thereby correcting the phase shift and based on the switched stream in the decoding means Control means for controlling the generation of the decoded image;
  HaveAnd
  The control means matches the timing of the switching point in the decoded image with the timing of the switching point in the switching signal.
  It is a decoding device.
  The present invention is a decoding device that decodes a switched stream formed by switching between a first stream and a second stream in accordance with a switching signal,
  Input means for inputting, together with the switched stream, phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
  Decoding means for decoding the switched stream input by the input means to generate a decoded image;
  By using the phase information input by the input means, the GOP phase or signal phase is time-shifted so as to be delayed by at least one frame in image frames, thereby correcting the phase shift and based on the switched stream in the decoding means Control means for controlling the generation of the decoded image;
  HaveAnd
  The control means refers to the phase information input by the input means, and applies the first to the decoded image generated by the decoding means when the GOP phase of the switched stream does not match the phase of the switching signal. A freeze process is performed to repeat the decoded image before the switching point instead of the decoded image after the switching point for switching from the first stream to the second stream.
  It is a decoding device.
  The present invention is a decoding device that decodes a switched stream formed by switching between a first stream and a second stream in accordance with a switching signal,
  Input means for inputting, together with the switched stream, phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
  Decoding means for decoding the switched stream input by the input means to generate a decoded image;
  By using the phase information input by the input means, the GOP phase or signal phase is time-shifted so as to be delayed by at least one frame in image frames, thereby correcting the phase shift and based on the switched stream in the decoding means Control means for controlling the generation of the decoded image;
  HaveAnd
  The control means refers to the phase information input by the input means, and applies the first to the decoded image generated by the decoding means when the GOP phase of the switched stream does not match the phase of the switching signal. A thinning process for discarding the decoded image after the switching point for switching from the first stream to the second stream
  It is a decoding device.
[0016]
According to the first aspect of the present invention, it is possible to prevent an error from occurring in the decoded image by switching in the middle of one GOP of the two streams.
[0017]
  The present invention is a decoding device that decodes a switched stream formed by switching between a first stream and a second stream in accordance with a switching signal,
  Recording means for recording the phase information indicating the signal phase shift of the switching signal with respect to the GOP phase of the switched stream on the recording medium together with the switched stream;
  Reproducing means for reproducing the phase information and the switched stream from the recording medium;
  Decoding means for decoding the switched stream reproduced by the reproducing means to generate a decoded image;
  Using the phase information reproduced by the reproducing means, the GOP phase or the signal phase is time-shifted so as to be delayed by at least one frame for each image frame, and the phase shift is corrected, and decoding based on the switched stream in the decoding means Control means for controlling image generation;
  Have
  The control means refers to the phase information input by the input means, and applies the first to the decoded image generated by the decoding means when the GOP phase of the switched stream does not match the phase of the switching signal. A freeze process is performed to repeat the decoded image before the switching point instead of the decoded image after the switching point for switching from the first stream to the second stream.
  It is a decoding device.
[0018]
According to the third aspect of the present invention, it is possible to prevent an error from occurring in the decoded image, and the switching point of the output image can be the one intended by the switching signal.
[0019]
  The present invention is a decoding device that decodes a switched stream formed by switching between a first stream and a second stream in accordance with a switching signal,
  Recording means for recording the phase information indicating the signal phase shift of the switching signal with respect to the GOP phase of the switched stream on the recording medium together with the switched stream;
  Reproducing means for reproducing the phase information and the switched stream from the recording medium;
  Decoding means for decoding the switched stream reproduced by the reproducing means to generate a decoded image;
  Using the phase information reproduced by the reproducing means, the GOP phase or the signal phase is time-shifted so as to be delayed by at least one frame for each image frame, and the phase shift is corrected, and decoding based on the switched stream in the decoding means Control means for controlling image generation;
  Have
  The control means refers to the phase information input by the input means, and applies the first to the decoded image generated by the decoding means when the GOP phase of the switched stream does not match the phase of the switching signal. Performs a thinning process that discards the decoded image after the switching point for switching from the first stream to the second stream.
  It is a decoding device.
[0020]
According to the fifth aspect of the present invention, it is possible to prevent an error from occurring in the decoded image, and it is possible to prevent one stream from being shifted in time in the output image.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Several embodiments of the present invention will be described below with reference to the drawings. In the following description, stream A is the switching source stream and stream B is the switching destination. That is, the switching source stream A is a stream in which the stream has already existed and its phase cannot be changed, and the switching destination stream B is a stream whose phase can be controlled by delay control. In terms of editing processing, stream A is called source A, stream B is called source B, and the switching signal is called an edit command.
[0022]
In the first embodiment of the present invention, switching according to the phase of the GOP is performed by controlling the phase of the switching signal and / or the phase of the stream B. A processing example in which the first embodiment of the present invention is applied to the case of FIG. 15 described above will be described. That is, the GOPs of the streams A and B are in phase, and the phase of the switching signal is shifted by one frame from the phase of the GOP. In this case, as shown in FIG. 1, the phase of one frame is advanced so that the switching signal matches the phase of GOP. That is, the phase of the switching signal is changed to one that rises at the point of X and falls at the point of Y, and the final switching is performed at the XY position advanced by one frame from the original position. As a result, the images immediately after the switching point are set as the one-way predicted images P2 and P4, thereby preventing an error from occurring in the switched images. In the following description, a time shift in which the phase of the switching signal is advanced by one frame is employed, but processing may be performed so as to be delayed by one frame.
[0023]
A processing example in which the first embodiment of the present invention is applied to the case of FIG. 16 described above is shown in FIG. As in the example of FIG. 1, the phase of the switching signal is advanced by one frame, and the content of the stream B is advanced by one frame so as to match the stream A. As a result, the GOP phases of stream A and stream B are in phase with each other, and switching is performed in this state. Therefore, it is possible to prevent an error from occurring in the image. As in the case of the switching signal, the GOP phases of the two streams may be matched by delaying the phase of the streams by one frame.
[0024]
According to the first embodiment shown in FIGS. 1 and 2, it is possible to prevent an error from occurring in the output image. However, as a result of the processing described above, the phase of the switching point of the switched stream (output image) is advanced by one frame with respect to the phase of the original switching signal. Thus, there is a problem that the switching point of the output image is advanced by one frame, and the switching point of the image content intended at the time of switching is not reflected in the output image. Further, in the processing example of FIG. 2, the delay time from the stream B to the output image is one frame earlier, and time code information or audio information accompanying the image information of the stream B and the temporal deviation of the image occur. .
[0025]
The second embodiment of the present invention makes it possible to reflect the intention of the switching signal in the output in addition to the processing of the first embodiment. Therefore, on the decoding side, a freeze process for repeating the previous image is introduced immediately after the switching point.
[0026]
FIG. 15 is a diagram illustrating a processing example in which the second embodiment is applied to the case where the GOP phases of the two streams are in phase as in the example of FIG. 15 but the phase of the switching signal is not in phase with the GOP. 3 shows. The processing until the two streams are switched is the same as the example of FIG. 1 of the first embodiment. In order to solve the problem that the switching point of the output image is one frame earlier than the intended one, the output images I1 and I3 immediately before that are repeated instead of the output images P2 and P4 immediately after the stream switching. This process is freezing. As a result, the time relationship between the switching signal and the output image matches, and the intention to switch to insert the stream B between I2 and I4 can be reflected in the output image.
[0027]
A processing example in which the second embodiment of the present invention is applied to the case similar to FIG. 16 will be described with reference to FIG. The phase of the stream B and the switching signal is advanced by one frame, as in the processing example of FIG. 2 of the first embodiment. One frame immediately after the switching points X and Y repeats the decoded images of I1 and I3 immediately before it, respectively, and the switching point in the final output image can be made to match the intention of the original switching signal by freeze processing. . However, the problem that the phase of the output image of stream B is advanced by one frame has not been solved.
[0028]
As in the first embodiment, the third embodiment of the present invention can prevent an error from being generated by switching, and the time shift of the phase of the output image of the stream B, in a specific example, This solves the problem that the stream B advances by one frame. That is, in the third embodiment, similarly to the first embodiment, the switching signal and the phase of the stream B are controlled, and the time shift information of the stream B is transmitted (or recorded) after the switching processing. Then, a time shift is removed by performing a shift process based on this time shift information at the time of decoding. The no-signal frame immediately after the switching point X generated thereby is filled by freeze processing. Furthermore, the process which removes the overlapping image immediately after the switching point Y is performed.
[0029]
FIG. 5 shows processing applied to the case shown in FIG. 16 according to the third embodiment of the present invention. Processing up to stream switching is the same as in the first embodiment (see FIG. 2). When a switched stream is transmitted, information in which stream B is advanced by one frame is also transmitted (recorded). When a switched stream generated by switching is decoded, the delay time from the stream B to the output image is delayed by one frame. Thereby, the delay time of the stream B is made regular.
[0030]
When decoding the stream B, a decoded image P2 corresponding to B2 is generated immediately after the switching point X, but the generation time of this P2 is delayed by one frame due to a delay of one frame. As a result, the frame before P2 is a no-signal frame. This is compensated by freezing the previous I1. In addition, at the rear switching point Y, since the stream B returns from the one-frame delay stream B to the non-delayed stream A, the image is left by one frame (I3), and the image does not need to be repeated. In other words, B4 is discarded to reflect the intention of the switching point. In this way, the switching point Y of the image content intended at the time of switching is reflected in the output image. Further, with respect to the switched stream composed of the stream A and the stream B, the delay time from the stream to the output image is constant, and the temporal relationship between the time code information, the audio information, and the image is maintained.
[0031]
In the third embodiment described above, on the decoding side, in order to freeze a non-signal and to delay the stream, it is necessary to transmit information associated with the switched stream. This accompanying information is inserted into a header provided for each GOP of the stream. This accompanying information is as follows.
[0032]
Switching flag that indicates the presence or absence of a switching point
Delay flag indicating whether the switching signal is advanced by one frame: SW
Change
Delay flag indicating whether the switched stream is advanced by one frame: DL F (B2)
[0033]
FIG. 6 shows an example of the configuration of the signal processing apparatus according to the present invention. A switching signal, stream A, and stream B are supplied as input signals, and these inputs are supplied to variable delay circuits 11, 12, and 13, respectively. These three input signals are supplied to the delay control circuit 14. The delay control circuit 14 generates control signals for the three variable delay circuits 11, 12, and 13, and the delay amounts of the variable delay circuits 11, 12, and 13 are set according to the control signals. In the case of a code configuration in units of two frames, the delay amount is either no delay or one frame delay.
[0034]
The delay control circuit 14 controls the delay amount shown in a flowchart (FIG. 10) described later. For this purpose, the phase relationship of the GOP between the input streams A and B and the phase relationship of the switching signal with respect to this GOP are detected, and the input stream or switching signal is already a delay flag (no delay or 1 frame delay) ) Is detected, this delay flag is detected and used for delay control.
[0035]
For example, when the input stream A in FIG. 2 described above includes a delay flag (one frame delay), the result of delaying in accordance with the delay flag is the same as that in the timing chart of FIG. In order to avoid the problem that the phase of stream B advances by one frame, a delay flag (one frame delay) is also attached to stream B. Accordingly, at the time of decoding, as shown in FIG. 7, both the stream A and the stream B are delayed by one frame. Although the decoding apparatus is configured to be able to perform bidirectional or unidirectional motion compensation prediction (MC), freeze (or thinning) processing, and 1-frame delay processing, the example of FIG. 7 does not require freeze processing. .
[0036]
FIG. 8 shows processing when both the input streams A and B have a delay flag of 1 frame delay. Further, FIG. 9 shows processing when the input stream B has a delay flag of 1 frame delay.
[0037]
The streams A and B subjected to delay control are supplied to the input terminals 16A and 16B of the switching circuit 15, respectively. Further, the flag (switching flag, delay flag) generated in the delay control circuit 14 is supplied to the input terminal 16C of the switching circuit 15. The switching circuit 15 is controlled by a switching signal from the variable delay circuit 11. The flag is inserted into the header of the GOP of the switched stream output from the switching circuit 15.
[0038]
The flow of delay control processing performed by the delay control circuit 14 in FIG. 6 is shown in the flowchart of FIG. Performs processing to change stream A to the switching source stream (the stream already exists and the phase cannot be changed) and to change the stream A to the switching destination stream B (the phase can be controlled by delay control). It is said. SW is a switching signal. More specifically, the stream A at the In point (the rising point X of the switching signal) of the insert editing shown in the timing chart described above is represented by A, and the stream B is represented by B.
[0039]
The first start step in the flowchart is when the switching signal SW changes. At this time, a switching flag indicating that there is a switching point unconditionally is set, and the switching flag is multiplexed on the header of the first GOP of the switching destination stream B (step S1). Further, the phase relationship between the GOP phase of the stream A and the original switching signal SW is detected (step S2). If the two are synchronized, the phase of the switching signal SW is not changed (step S3). The switching signal subjected to this control is represented as SW1. The switching signal SW1 is output from the variable delay circuit 11 in FIG. On the other hand, when the phase of the GOP and the phase of the switching signal are not synchronized, SW1 is obtained by advancing the phase of the switching signal SW by one frame (step S4).
[0040]
Further, the delay flag attached to the stream A is separated, and a temporary delay process is performed on the stream A to obtain the stream A1 (step S5). The temporary delay is not to directly delay the data, but to predict what GOP phase is assumed if the data is delayed. After step S5, it is determined whether the phase of the GOP of the temporarily delayed stream A1 and the phase of the switching signal SW are synchronized (step S6).
[0041]
If both phases are synchronized, the switching point indicates that there is no change from the switching flag multiplexed in step S1, and the switching flag (SW Change = 0) relating to the switching signal is switched to (stream B). Are multiplexed onto the first GOP (step S7). On the other hand, if not synchronized, a delay flag (SW Change = 1) indicating that the switching point exists one frame after the switching flag is multiplexed on the first GOP of the switching destination stream B (step S8).
[0042]
Next, the delay flag attached to the stream B is separated, and the delay process is performed on the stream B to obtain the stream B1 (step S9). The input stream B is actually delayed in the variable delay circuit 13. Next, it is determined whether or not the delayed stream B1 and stream A1 are synchronized (step S10). As described above, the stream A1 is a stream to which a temporary delay is given by the delay flag.
[0043]
If both are synchronized, the delay flag of the final stream B2 is the same as the delay flag of the stream A in step S11 (DL F (B2) = DL F (A)). The final stream means a switched stream that is switched by the switching signal SW1 and is generated from the switching circuit 15. On the other hand, if not synchronized, in step S12, the final stream B2 delay flag is obtained by inverting the delay flag of stream A (DL F (B2) =! DL F (A)).
[0044]
Further, it is determined whether or not the GOP phase of the stream B1 obtained by delaying the input stream B and the switching signal SW1 are synchronized based on the accompanying delay flag (step S13). If both are synchronized, the stream B1 is set as the final stream B2. If not synchronized, the stream B1 advanced by one frame is defined as the final stream B2 (step S15).
[0045]
The switched stream with the flag inserted in the header of the GOP is transmitted through the transmission path 17 while being switched by the switching circuit 15. The transmission path 17 means a recording / reproducing process for a recording medium such as a communication path such as a cable, a tape, and an optical disk.
[0046]
The signal that has passed through the transmission path 17 is supplied to the decoder 20 and the flag separator 21. The flag separator 21 separates the switching flag and the delay flag from the received (reproduced) switched stream. The separated switching flag is supplied to the decoder 20. The decoder 20 refers to the switching flag, and the decoding operation is controlled so that the bidirectional motion compensation prediction is switched to the unidirectional motion compensation prediction in the GOP in which the switching flag is set.
[0047]
The decoded signal from the decoder 20 is supplied to a variable delay circuit 22 that performs a delay in units of image frames (one frame in this example). A separate delay flag is supplied to the variable delay circuit 22 to control delay processing and freeze (thinning-out) processing. The delay process is a process for switching between no delay and one frame delay for the streams A and B. The freeze process is performed by the variable delay circuit 22 repeatedly outputting images of the same frame. The variable delay circuit 22 also performs a process of thinning out one of the overlapping images.
[0048]
When the processing of the variable delay circuit 22 is described in detail, the delay flag of the stream is set (that is, DL The GOP (F (B2) = 1) delays the output of the decoder 20 by one frame in the variable delay circuit 22. The stream's delay flag is not set (ie DL The GOP (F (B2) = 0) outputs the output of the decoder 20 without delay.
[0049]
As shown in FIG. 11, in the GOP in which the delay flag of the switching signal is set (SW Change = 1), the switching position of the images of the streams A and B is one frame after the boundary of the switched GOP. Be controlled. That is, if the delay flag of the stream does not change before and after switching, or if there is no delay, the image before switching is frozen later in time, and the delay flag of the stream is changed before and after switching. When there is no delay from the presence of delay, the B image after switching is discarded.
[0050]
As shown in FIG. 11, in the GOP in which the delay flag of the switching signal is not raised (SW Change = 0), the switching position of the streams A and B is controlled so as to be the boundary of the switched GOP. That is, if the stream delay flag does not change before and after switching, no processing is performed, and if the stream delay flag becomes no delay before and after switching, the image after switching is temporally If the stream delay flag changes from the presence or absence of delay before and after switching, the I image before switching is discarded.
[0051]
The description with reference to the configuration of FIG. 6 and the flowchart of FIG. 10 relates to the third embodiment. In the first embodiment, since the motion compensated prediction immediately after the switching point is switched from bidirectional prediction to unidirectional prediction on the decoding side, a switching flag is transmitted to the decoding side together with the switched stream. Then, like the third embodiment described above, the operation of the decoder is controlled. In the second embodiment, since motion compensation prediction needs to be switched and freeze (or thinning) processing needs to be performed, a switching flag and a delay flag (SW Change) related to the switching signal are transmitted to the decoding side. Then, the operations of the decoder and the variable delay circuit are controlled as in the third embodiment described above.
[0052]
In the above description, the present invention is applied to a GOP code configuration in units of two frames as an example of compression encoding. However, the present invention can also be applied to a GOP code configuration of 2 fields, 3 frames or more. In this case, the amount of phase shift to be controlled is 2 frames or more, and the number of bits of the delay flag is 2 bits or more.
[0053]
【The invention's effect】
According to the present invention, as can be understood from the description of the first embodiment, switched signals (compressed encoded signals) whose GOP phases are not synchronized with each other are switched using a switching signal in units of one frame. Also, it is possible to prevent an error from occurring in the decoded image.
[0054]
Further, according to the present invention, as can be understood from the description of the second embodiment, in addition to the effect that an error can be prevented from occurring in a decoded image, the intended switching point at the time of switching the compression-coded signal. Can be reflected in the decoded output image.
[0055]
Furthermore, according to the present invention, as can be understood from the description of the third embodiment, in addition to the effect of preventing an error from occurring in the decoded image, the switching signal is switched when the compression-coded signal is switched. An output image that retains the mutual time relationship can be generated.
[Brief description of the drawings]
FIG. 1 is a timing chart showing an example of processing of a first embodiment of the present invention.
FIG. 2 is a timing chart showing another example of the process of the first embodiment of the present invention.
FIG. 3 is a timing chart showing an example of processing according to the second embodiment of the present invention.
FIG. 4 is a timing chart showing another example of processing of the second embodiment of the present invention.
FIG. 5 is a timing chart showing a processing example of the third embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 7 is a timing chart showing a processing example of the third embodiment of the present invention.
FIG. 8 is a timing chart showing a processing example of the third embodiment of the present invention.
FIG. 9 is a timing chart showing a processing example of the third embodiment of the present invention.
FIG. 10 is a flowchart for explaining processing on the transmission (recording) side in the third embodiment of the present invention;
FIG. 11 is a flowchart for explaining processing on the reception (reproduction) side in the third embodiment of the present invention;
FIG. 12 is a schematic diagram for explaining compression code encoding processing to which the present invention can be applied;
FIG. 13 is a schematic diagram for explaining compression code decoding processing to which the present invention can be applied;
FIG. 14 is a timing chart for explaining an example of processing for switching between two streams.
FIG. 15 is a timing chart for explaining another example of switching processing between two streams.
FIG. 16 is a timing chart for explaining yet another example of switching processing between two streams.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11, 12, 13 ... Variable delay circuit, 14 ... Delay control circuit, 15 ... Switching circuit, 20 ... Decoder, 21 ... Flag separator, 22 ... Variable delay circuit

Claims

A decoding device that decodes a switched stream formed by switching between a first stream and a second stream according to a switching signal,
Input means for inputting, together with the switched stream, phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
Decoding means for decoding the switched stream input by the input means to generate a decoded image;
Using the phase information input by the input means, the GOP phase or the signal phase is time-shifted so as to be delayed by at least one frame for each image frame, thereby correcting the phase shift, and the decoding means Control means for controlling the generation of the decoded image based on the switched stream in
I have a,
The control means, the decoding device to match the timing of the switching point in the timing and the switching signal of the switching point in the decoded image.

The phase information is inserted into the switched stream,
The decoding device according to claim 1, wherein the control means extracts the phase information from the switched stream.

A decoding device that decodes a switched stream formed by switching between a first stream and a second stream according to a switching signal,
Input means for inputting, together with the switched stream, phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
Decoding means for decoding the switched stream input by the input means to generate a decoded image;
Using the phase information input by the input means, the GOP phase or the signal phase is time-shifted so as to be delayed by at least one frame for each image frame, thereby correcting the phase shift, and the decoding means Control means for controlling the generation of the decoded image based on the switched stream in
I have a,
The control means refers to the phase information input by the input means, and when the GOP phase of the switched stream and the phase of the switching signal do not match, a decoded image generated by the decoding means On the other hand, a decoding device that performs freeze processing that repeats the decoded image before the switching point instead of the decoded image after the switching point at which the first stream is switched to the second stream .

The phase information is inserted into the switched stream,
The decoding device according to claim 3, wherein the control means extracts the phase information from the switched stream.

A decoding device that decodes a switched stream formed by switching between a first stream and a second stream according to a switching signal,
Input means for inputting, together with the switched stream, phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
Decoding means for decoding the switched stream input by the input means to generate a decoded image;
Using the phase information input by the input means, the GOP phase or the signal phase is time-shifted so as to be delayed by at least one frame for each image frame, thereby correcting the phase shift, and the decoding means Control means for controlling the generation of the decoded image based on the switched stream in
I have a,
The control means refers to the phase information input by the input means, and when the GOP phase of the switched stream and the phase of the switching signal do not match, a decoded image generated by the decoding means On the other hand, a decoding apparatus that performs a thinning process for discarding a decoded image after a switching point for switching from the first stream to the second stream .

The phase information is inserted into the switched stream,
The decoding device according to claim 5, wherein the control means extracts the phase information from the switched stream.

The decoding device according to claim 5, wherein the phase information includes a switching flag indicating presence / absence of the switching point and information indicating a phase shift of the switching signal.

A decoding device that decodes a switched stream formed by switching between a first stream and a second stream according to a switching signal,
Recording means for recording on the recording medium together with the switched stream phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
Reproducing means for reproducing the phase information and the switched stream from the recording medium;
Decoding means for decoding the switched stream reproduced by the reproducing means to generate a decoded image;
Using the phase information reproduced by the reproduction means, the GOP phase or the signal phase is time-shifted so as to be delayed by at least one frame for each image frame, and the phase shift is corrected. Control means for controlling generation of the decoded image based on the switched stream;
Have
The control means refers to the phase information input by the input means, and when the GOP phase of the switched stream and the phase of the switching signal do not match, a decoded image generated by the decoding means On the other hand, a decoding device that performs freeze processing that repeats the decoded image before the switching point instead of the decoded image after the switching point at which the first stream is switched to the second stream .

The phase information is inserted into the switched stream,
The decoding device according to claim 8, wherein the control means extracts the phase information from the switched stream.

A decoding device that decodes a switched stream formed by switching between a first stream and a second stream according to a switching signal,
Recording means for recording on the recording medium together with the switched stream phase information indicating a signal phase shift of the switching signal with respect to the GOP phase of the switched stream;
Reproducing means for reproducing the phase information and the switched stream from the recording medium;
Decoding means for decoding the switched stream reproduced by the reproducing means to generate a decoded image;
Using the phase information reproduced by the reproduction means, the GOP phase or the signal phase is time-shifted so as to be delayed by at least one frame for each image frame, and the phase shift is corrected. Control means for controlling generation of the decoded image based on the switched stream;
Have
The control means refers to the phase information input by the input means, and when the GOP phase of the switched stream does not match the phase of the switching signal, the control means decodes the decoding information generated by the decoding means. A decoding apparatus that performs thinning processing on an image to discard a decoded image after a switching point at which the first stream is switched to the second stream .

The phase information is inserted into the switched stream,
The decoding device according to claim 10, wherein the control means extracts the phase information from the switched stream.