民生用ディジタルVTRは、コスト面、ハードウェア規模から考えてデータ圧縮は必要不可欠なものである。そこで主に民生用ディジタルVTRを例にとってデータ圧縮を説明する。
図1は、民生用ディジタルVTRの簡単なブロック構成図である。900 は例えばテレビジョン信号のようなアナログ映像信号を入力する入力端子である。901 はアナログ映像信号をディジタル映像信号に変換するA/D変換器、902 はディジタル映像信号の情報量を圧縮して情報量を減少させるデータ圧縮部、903 は再生時に誤り訂正を行えるように誤り訂正符号を付加する誤り訂正符号化部、904 は記録するために記録に適した符号に変調する記録変調部、905 は記録信号を増幅する記録アンプ、906 は記録信号を記録し、蓄積する磁気テープである。907 は磁気テープ906 から再生された再生信号を増幅するヘッドアンプ、908 は再生信号を復調する再生復調部、909 は誤り訂正符号を使って再生復調された信号を誤り訂正する誤り訂正復号化部、910 はデータ圧縮されているデータを元の形に復元するデータ伸長部、911 はディジタル映像信号からアナログ映像信号に変換するD/A変換器、912 は出力端子である。
次に上記データ圧縮部(高能率符号化装置)902 について説明する。図2に片方向動き補償フレーム間予測による高能率符号化装置のブロック図を示す。1はディジタル映像入力端子、2はディジタル映像入力信号をブロック化するブロック化回路、3は入力ブロックと予測ブロックとの誤差信号を誤差ブロックとして出力する減算器、4は誤差ブロックの電力を算出する誤差電力算出回路、5は入力ブロックの交流電力を算出する原画電力算出回路、6は誤差電力と原画交流電力とを比較し予測モードかイントラモードかを決定する判別回路、7は決定されたモードに基づき符号化ブロックを選択出力する第一スイッチ回路、8は符号化ブロックに直交変換である離散コサイン変換(以後DCTと略す)を施すDCT回路、9はDCT係数を量子化する量子化回路、10は伝送路に適した符号化を行う第一符号化回路、11は伝送路である。
12は量子化されたDCT係数を逆量子化する逆量子化回路、13は逆量子化されたDCT係数に対して逆DCTを行う逆DCT回路、14は逆DCT回路13の出力信号である復号化ブロックに予測ブロックを加算し出力ブロックを生成する加算器、15は動き補償予測を行うために出力ブロックを蓄える画像メモリ、16は画像メモリ15に蓄えられた過去の映像から切り出した動き補償探索ブロックと現在の入力ブロックとから動き検出を行い、動き補償予測を行なうMC回路、17は動きベクトルと判別回路6によって決定されたモード信号とを合成するMIX回路、18はMIX回路17の出力を符号化する第二符号化回路、19は判別回路6でのモードに応じて予測ブロックを切り換える第二スイッチ回路である。そして、誤差電力算出回路4,原画電力算出回路5,判別回路6,逆量子化回路12,逆DCT回路13,加算器14,画像メモリ15,MC回路16,第二スイッチ回路19により、局部復号ループ20が構成されている。
次に動作について説明する。入力されたディジタル映像信号は動き補償予測を行わないイントラフィールド、動き補償予測を行う予測フィールド(インターフィールド)に係わらずブロック化回路2によってm[画素]×n[ライン](m,nは正の整数)を1つの単位とする入力ブロックに分けられ切り出される。入力ブロックは誤差ブロックを得るために減算器3において予測ブロックとの画素単位の差分が計算される。このようにして入力ブロックと誤差ブロックとが第一スイッチ回路7にそれぞれ入力される。また誤差ブロックは誤差電力算出回路4によってその誤差電力が計算される。
一方入力ブロックも原画電力算出回路5によって原画の交流電力が計算される。算出された2つの電力は判別回路6で比較され電力の小さい方のブロックが符号化対象として選択されるように第一スイッチ回路7が制御される。すなわち判別回路6は誤差電力が原画交流電力よりも小さければ予測モード信号を、逆に原画交流電力が誤差電力よりも小さければイントラモード信号を出力する。
第一スイッチ回路7は判別回路6によって決定されたモード信号に基づいて入力ブロックもしくは誤差ブロックを符号化ブロックとして出力する。但し処理画面がイントラフィールドの場合には、出力する全ての符号化ブロックが入力ブロックとなるように動作する。この切換状態を図3に示す。通常モードとは図4に示すような4フィールド完結の動き補償予測課程では、4フィールドのうちの最初の第1フィールドF1が常にイントラフィールドとなり、それに続く3つの第2,第3,第4フィールドF2,F3,F4が予測フィールドとなるモードのことである。
第一スイッチ回路7で選択された符号化ブロックはDCT回路8でDCT係数に変換され、さらに量子化回路9によってウェイティング(重み付け)処理やスレッショルド(しきい値)処理が行われ、それぞれの係数に応じた所定のビット数に量子化される。量子化されたDCT係数は第一符号化回路10で伝送路11に適した符号に変換され、伝送路11に出力される。
また量子化されたDCT係数は局部復号ループ20に入り、次の動き補償予測のための画像の再構成を行う。局部復号ループ20に入った量子化されたDCT係数は、逆量子化回路12で逆ウェイティング処理及び逆量子化が行われ、さらに逆DCT回路13でDCT係数から復号化ブロックに変換される。復号化ブロックは加算器14によって予測ブロックと画素単位で加算され画像が復元される。この予測ブロックは減算器3で用いたものと同じである。加算器14の出力は出力ブロックとして画像メモリ15の所定の位置に書き込まれる。画像メモリ15は予測方式によってその必要メモリ量が異なる。いま複数枚のフィールドメモリで構成されているとし、復元された出力ブロックを所定の位置に書き込んでいく。
画像メモリ15からMC回路16へは、過去の出力ブロックにより再構成された画面から切り出された動き検出の探索範囲であるブロックが出力される。この動き検出用の探索範囲ブロックの大きさは、i[画素]×j[ライン](i≧m,j≧n:i,jは正の整数)である。MC回路16には画像メモリ15から探索範囲のデータとブロック化回路2から入力ブロックがデータとして入力され、動きベクトルが抽出される。動きベクトルを抽出する方法は全探索ブロックマッチング法や、木探索ブロックマッチング法など様々な方法があり、公知であるのでここでの説明は省略する。
MC回路16で抽出された動きベクトルは、MIX回路17に入力され、判別回路6で決定されたモード信号と合成される。合成された信号は、第二符号化回路18で伝送路11に適した符号に変換され、対応する符号化されたブロックと共に伝送路11へ出力される。またMC回路16からは予測ブロックとして探索範囲から入力ブロックと等しい大きさ(m[画素]×n[ライン])にブロック化された信号が出力される。MC回路16から出力される予測ブロックは、過去の画像情報から生成される。
この予測ブロックは第二スイッチ回路19に入力され、現在処理している画面のフィールド、復号化ブロックのモード信号に応じてそれぞれの出力から出力される。第二スイッチ回路19の一方の出力からは減算器3に処理フィールドに応じて予測ブロックが出力される。他方の出力からはその時の復号化ブロックのモード信号と処理フィールドとに応じて予測ブロックが出力される。
このような回路ブロックで行なわれる予測方式として、例えば図4に示すようなものが考えられる。この方式では、4フィールド毎にイントラフィールドを挿入し、間の3つのフィールドを予測フィールドとする。図4において、第1フィールドF1はイントラフィールド、第2,3,4フィールドF2, F3, F4は予測フィールドである。この方式での予測は、イントラフィールドの第1フィールドF1から第2フィールドF2を予測し、同様に第1フィールドF1から第3フィールドF3を予測する。そして再構成された第2フィールドF2から第4フィールドF4を予測する。
まず始めに、第1フィールドF1をフィールド内でブロック化しDCTを施す。さらにウェイティング処理及びスレッショルド処理を施し量子化した後、符号化する。また局部復号ループ20では、量子化された第1フィールドF1の信号を復号/再構成する。この再構成された画像が次の第2フィールドF2,第3フィールドF3の動き補償予測に用いられる。次に第2フィールドF2を、第1フィールドF1を用いて動き補償予測し、得られた誤差ブロックをDCTした後、第1フィールドF1と同様に符号化する。
この時、入力ブロックの交流電力が誤差ブロックの電力よりも小さければ、誤差ブロックではなく入力ブロックをDCTし、第1フィールドF1と同様に符号化する。また第2フィールドF2は局部復号ループ20でそれぞれのブロックのモード信号に応じて復号/再構成され、第4フィールドF4の動き補償予測に用いられる。
一方、第3フィールドF3も第2フィールドF2と同様に第1フィールドF1を用いて動き補償予測し符号化される。第4フィールドF4は画像メモリ15で再構成された第2フィールドF2を用いて動き補償予測を行い、第3フィールドF3と同様に符号化する。第3フィールドF3,第4フィールドF4においても入力ブロックの交流電力の方が誤差ブロックの電力よりも小さければ誤差ブロックではなく入力ブロックをDCTし、第1フィールドF1と同様に符号化する。
例えば図1に示したような民生用ディジタルVTRでは、高画質、高音質が期待されており、そのためにはデータ圧縮、即ち高能率符号化装置の性能向上が必須である。従って、上述したような従来の予測方法では以下に述べるような難点がある。このような予測方式では、1フィールド前または1フレーム前の映像データを用いて動き補償予測を行なっているため、フィールドメモリまたはフレームメモリの量が増加しハードウェアが大きくなるという第1の問題点がある。
従来例の予測方式ではフレーム単位でシーンチェンジが生じると、シーンチェンジ後の映像の符号化の際にシーンチェンジ以前の参照画像からの動き補償予測による圧縮が困難になり、全体の符号量が増加するという第2の問題点がある。全体を時間方向に順にフィールド間動き補償予測を行なうと、シーンチェンジが生じても符号量の増加は最小に抑えることが可能であるが、シーンチェンジ等の無い動きが少ないインターレース映像の符号化の際には、全体的に符号量が増加する傾向にある。また図5のような第3フィールドF3, 第4フィールドF4を第1フィールドF1、第2フィールドF2、第3フィールドF3から適応的に切り換える予測方式では、フィールドメモリもしくはフレームメモリの量が増加しハードウェアが大きくなる欠点がある。
例えば図6にシーンチェンジがある映像Aを図4のような予測方式で処理した場合と図5のような予測方式で処理した場合の輝度信号の符号量とS/N比とを示す。映像Aはシーンチェンジがフレーム単位で生じている。またシーンチェンジがない映像Bを図4の予測方式で処理した場合と図5の予測方式で処理した場合の輝度信号の符号量とS/N比とも併せて示す。この場合シーンチェンジがある映像Aでは図5の予測方式の方が有利であり、シーンチェンジのない映像Bでは図4の予測方式の方が有利である。
更に、従来例のような予測を行って符号化する場合、動き補償予測処理過程内でシーンチェンジが生じた時にシーンチェンジ直後の映像の質が劣化するという第3の問題点がある。。これはシーンチェンジが生じたため時間的相関を多分に利用する動き補償予測をうまく行うことができず、情報量の発生が大きくなるからである。このときの発生情報量は通常のイントラフィールド並の情報量に匹敵する。そしてこの発生した情報量に対し、この情報量を持っているフィールドを予測フィールドとしているので予測フィールド並の情報量にまで圧縮されてしまう。
よってシーンチェンジ後のフィールドの画質はかなり劣化する。図7に従来の予測方法で符号化を行った場合の映像の5秒間の情報量の推移を示す。これは5秒間の平均が20[Mbps]に収まるようにしているが、Aの部分にシーンチェンジが存在し情報量が増えている。またその時のS/N比の推移を図8に示す。この時シーンチェンジ部分に大きな劣化はないが、情報量を減少させようとするとS/N比は劣化する。
またそのフィールドを次の動き補償予測に利用するのであれば画質が劣化して時間的相関が小さくなった画像の動き補償予測を行わなければならず、再び発生する情報量は増加する。そして次のリフレッシュフィールドが処理されるまでこの悪循環は継続してしまう。このようにたとえシーンチェンジ直後とはいえ映像の質が劣化してしまうことは高画質を要求されているディジタル映像記録再生装置ではそのパフォーマンスを生かしきれないことになる。例えばディジタル映像記録再生装置の1つである家庭用ディジタルVTRでは特再や編集等の機能が必要不可欠であり、その場合画質の著しい劣化が目立ってしまう。
ところで、従来のヘリキャルスキャン記録の家庭用VTRには、VHS,β,8ミリデビオなどがある。ここでは8ミリビデオを従来例として説明する。図9は8ミリビデオ規格におけるテープフォーマットを示す図であり、図10は1トラックのフォーマットを示した図である。
また図11は8ミリビデオで使用される回転ヘッド・ドラムと磁気テープとの巻き付け状態を示した図であり、図12は8ミリビデオ規格における各信号の周波数アロケーションを示す図である。NTSCとPAL方式用8ミリビデオの映像信号は、低域変換色信号記録方式で記録されており、これは家庭用VTRの基本的な記録方式である。輝度信号は4.2 〜 5.4MHzの搬送波でFM変調し、色副搬送波は約 743KHzの低周波に変換して、両者をともに周波数多重記録する。テープ上の記録フォーマットは図9に示した通りである。映像信号(輝度信号,色信号),音声信号,トラッキング信号といった、最小限必要なVTRの信号は、全て回転ビデオヘッドで周波数多重記録をする。その周波数帯域を図12に示す。
図9において、映像信号トラック部410 の磁気トラック401,402 は映像信号のトラックであり、各々1フィールドに相当する。音声信号トラック部411 の斜線を施した磁気トラック403,404 は音声信号の磁気トラックである。テープの両端には固定ヘッド用のキュー・トラック405 と音声トラック406 とがある。8ミリビデオでは、テープ端のコントロール・トラックを使わないので、このトラックを頭出し, 記録内容の番地付けなどを行うキュー・トラックに使用できる。1トラックの幅(トラック・ピッチ)は20.5μmで、β方式,VHS方式の長時間モードのピッチより若干広い(β-IIIは19.5μm、VHSの6時間モードは19.2μm)。トラック間に、クロストーク防止のためのガードバンドは設けていない。その代わり、2ヘッドによるアジマス記録を採用してクロストークを抑制している。
次に図13〜図17を用いて、従来例の具体的な回路動作を説明する。図13、図14は従来例のブロック回路図で、映像信号入力端子201 に与えられた映像信号は映像信号処理回路203 および同期信号分離回路204 に与えられる。映像信号処理回路203 の出力信号はゲート回路205 および206 を経て加算器213 および214 に加えられる。
一方、同期信号分離回路204 の出力である垂直同期信号は遅延回路207 および208 に供給される。同期信号分離回路204 とでヘッドスイッチパルス発生手段を構成するところの遅延回路207 のQ出力は第1ゲート回路205 および後述の第4ゲート回路212 にゲートパルスとして供給され、Qバー出力は第2ゲート回路206 および後述の第3ゲート回路211 にゲートパルスとして供給される。遅延回路208 の出力信号は時間軸圧縮回路209 および消去電流発生器240 に供給される。
また、音声信号入力端子202 に与えられた音声信号は、時間軸圧縮回路209,変調回路210 および記録−消去切換用の切換スイッチ241 を経て、第3ゲート回路211 および第4ゲート回路212 に供給される。また、消去電流発生器240 の出力は、切換スイッチ241 を経て、第3ゲート回線211 および第4ゲート回線212 に供給される。第3ゲート回線211 および第4ゲート回線212 の出力信号は、加算器213 および214 に供給される。加算器213 の出力信号は記録−再生切換用の切換スイッチ215 を経て回転トランス217 に与えられる。回転トランス217 の出力信号は回転軸219,回転ヘッドバー220 を経て回転磁気ヘッド221 に与えられ、磁気テープ223 に記録電流あるいは消去電流が流れる。
一方、加算器214 の出力信号も切換スイッチ215 と連動する記録−再生切換え用の切換スイッチ216 を経て回転トランス218 に与えられるようになっている。回転トランス218 の出力信号は回転軸219,回転ヘッドバー220 を経て、もう1つの回転磁気ヘッド222 に与えられ、磁気テープ223 に記録電流あるいは消去電流が流れる。磁気テープ223 は、回転磁気ヘッド221,222 を内蔵するテーブルガイドドラム226 の両側に位置するガイドポスト224 および225 に案内され、かつキャプスタンおよびピンチローラよりなる周知の磁気テープ走行装置(図示せず)によって矢印227 の方向へ定速走行される。なお、テーブルガイドドラム226 は周知のものを使用し得るので、ここでの具体的な構造説明は省略する。
再生時、回転磁気ヘッド221 によって再生された信号は、回転ヘッドバー220,回転軸219,回転トランス217 および切換スイッチ215 を経て、分離回路228 に供給される。一方、回転磁気ヘッド222 によって再生された信号は、回転ヘッドバー220,回転軸219,回転トランス218 および切換スイッチ216 を経て分離回路229 に供給される。分離回路228 の一方の出力と分離回路229 の一方の出力とが加算器230 に供給される。また、分離回路228 の他方の出力と分離回路229 の他方の出力とが加算器231 に供給される。加算器230 の出力信号は映像信号処理回路232 を経て映像信号出力端子233 に供給される。他方、加算器231 の出力信号は時間軸補正回路234 、復調回路235 および時間軸伸長回路236 を経て音声信号出力端子237 に供給される。
次に、動作について説明する。映像入力端子201 に与えられた映像信号は、映像信号処理回路203 でFM信号に変換される。なお、搬送色信号を含む場合においては、搬送色信号は約1.2 MHz以下の低域に変換される。さらに、隣接カラー信号除去のための手段として、たとえば1H(水平走査期間)毎に上記搬送色信号の位相を90°回転させても、あるいは反転させても何らさしつかえない。これは、搬送色信号のライン相関を利用したトラック間クロストーク除去の技術である。以上のようにして処理された映像信号は第1ゲート回路205 および第2ゲート回路206 に供給される。
一方、同期信号分離回路204 にも映像信号が加えられることにより、その出力端には垂直同期信号が得られる。この垂直同期信号は遅延回路207,208 に供給される。遅延回路207 は2分周機能と遅延機能とを有しており、そのQ出力端とQバー出力端からは図15(b) および(c) に示すようなヘッド切換え用のパルス信号QおよびQバーを第1ゲート回路205 および第2ゲート回路206 にそれぞれ供給する。これらのパルス信号Q、Qバーと入力映像信号の位相関係を明らかにするために図15(a) に入力映像信号の波形を示す。
第1ゲート回路205 および第2ゲート回路206 の出力端には、図16(a) および(b) に示すように、パルス信号QおよびQバーがHレベルの期間、処理された映像信号が出力される。それらの信号は加算器213,214 にて、後述する変調された圧縮音声信号あるいは消去信号が加えられて、切換スイッチ215,216 に供給される。
圧縮音声信号はテープ・ヘッド系に適した変調[特にパルスコード変調(PCM)を、あるいはFM, PM, AMなどを、または場合によっては無変調ACバイアス記録]を変調回路210 で受ける。特にPCMは、高S/N比が期待でき、また、ドロップアウト等に対しても周知の符号誤り訂正手段を用いることができるなどの点で有利である。このような変調された圧縮音声信号は、切換スイッチ241 を経てパルス信号QバーおよびQが供給されている第3ゲート回路211 および第4ゲート回路212 に与えられる。これらのゲート回路211,212 は、パルス信号QバーおよびQがHレベルの期間、圧縮音声信号を加算器213,214 に出力する。
また、消去電流発生回路240 は、垂直同期信号を遅延回路208 で遅延させて得たトリガ信号Tによって発信開始時刻が制御された或る周波数(たとえば100 KHz)の消去電流を発生し、切換スイッチ241 を経て、パルス信号QバーおよびQが供給されている第3ゲート回路211 および第4ゲート回路212 に、圧縮音声信号の記録と同様にパルス信号QバーおよびQがHレベル期間、消去電流を加算器213,214 に出力する。図17(a) および(b) に、加算器213,214 の出力信号すなわち、処理された映像信号Aと処理された音声信号Bあるいは消去信号の時間軸多重信号の波形図を示す。これらの信号が前述した経路を経て回転磁気ヘッド221,222 に供給されることにより、図9に示すようなテープ磁気パターンが得られる。
再生時には、切換スイッチ215, 216の可動接片を固定接点P側に切換える。このようにすると、回転磁気ヘッド221,222 で再生された2チャンネルの再生信号は、各々回転ヘッドバー220,回転軸219,回転トランス217 あるいは218,切換スイッチ215 あるいは216 を介して伝達され、分離回路228,229 では、入力された信号が時間軸上で映像信号と音声信号とに分離される。この分離された映像信号は加算器230 で、時間的に連続した1チャンネルの映像信号に変換されて映像信号処理回路232 に供給される。映像信号処理回路232 では、入力された信号が元の映像信号に復元されて映像信号出力端子233 に出力される。
一方、分離された音声信号も加算器231 でチャンネルの信号に変換され、時間軸補正回路234 に供給される。時間軸補正回路234 は、たとえばCCD(チャージ・カプルド・デバイス)やBBD(バケット・ブリゲート・デバイス)などの半導体メモリで構成され、ここでテープ・ヘッド系の時間軸変動(いわゆるジッターとスキュー歪)が除去される。時間軸補正回路234 の出力信号は復調回路235 で元の圧縮音声信号に復調され、さらにCCDやBBDなどの半導体メモリで構成される時間軸伸長回路236 で元の音声信号に変換されて音声出力端子237 に出力される。
以上のように8ミリビデオでは、1フィールドの映像信号及び音声信号が、テープ上の1トラックとして記録再生される。
図18は他の従来の映像情報記録再生装置の構成を示すブロック図であり、業務用または放送用に使用されているディジタル記録のD1方式、D2方式VTRを示す図である。101 はアナログ映像信号をディジタル映像信号に変換するA/D変換器、102 は誤り訂正符号を付加する誤り訂正エンコーダ、103 はディジタル信号を磁気テープの記録に適した信号に変換する変調器、104 は回転ヘッド・ドラム、105 は磁気テープ、106 は記録再生用の磁気ヘッド、107 は再生信号を復調する復調器、108 は伝送誤りを検出・訂正する誤り訂正デコーダ、109 はディジタル映像信号をアナログ映像信号に変換するD/A変換器である。
図19に両方式のテープフォーマットを示す。両方式とも、映像信号と4チャンネルの音声信号とを、同一トラックの異なる場所に記録している。ただし、D1方式においては、音声信号はトラックの中央部に、D2方式においてはトラックの端部に記録する。映像信号と音声信号とを同一トラックに記録すると、記録再生に必要となる磁気ヘッド, 増幅回路などを映像信号と音声信号とで共用化できる。さらに、後述するように誤り訂正のために必要となるパリティ符号、これを生成するための回路なども共用化できる。
図20にD1, D2方式の全体仕様、図21にテープフォーマット諸元、図22に走行系諸元を示す。これより、ガードバンドも含めた面積記録密度は、D1方式は21.5μm2 /bit 、D2 方式は16.6μm2 /bit となる。D1方式には記録トラックの間にガードバンドが設けられているが、D2方式にはこれがない。この結果、D2方式のトラック密度はD1方式より15%ほど高く、これもD2方式の長時間記録に結び付いている。
一方、ガードバンドがないと本来のトラックの信号のほかに隣のトラックの信号も合わせて再生しやすい。この再生時のトラック間クロストークに対処するため、D2方式では、アジマス記録方式を採用している。通常、記録用磁気ヘッドのヘッドギャップと再生用磁気ヘッドのヘッドギャップとは磁気トラックに対して同一の角度で取り付けられている。もし、両ヘッドギャップの間に角度を与えると、再生信号レベルは減衰特性を示す。
なお、D2方式におけるアジマス角度θは、図21に示したように約±15度である。この結果、再生時に隣接トラックからの信号が混入しても、その不要成分は減衰する。これにより、ガードバンドがなくてもクロストークの影響が少ない。ただし、アジマス角度による損失は、直流では期待できないので、記録する信号としては直流成分がないことが必要となる。このため、D2方式においては、直流成分がない変調方式を採用している。
ディジタル記録においては、映像信号をすべての時間にわたって記録する必要はない。帰線期間は映像の内容に無関係に一定の波形であり、再生後に合成できるため、D1, D2方式ともに有効な映像期間のみを記録している。また、NTSC信号の帰線期間に含まれるカラーバースト信号も再生後に合成できる。これは、D2方式の標本化位相がI, Q軸と定められており、再生された標本化クロックを用いてカラーバーストの位相(Q軸より 180+33度遅れている)を決定できるからである。
図23にD1, D2方式において実際に記録される画素範囲を示す。これらの有効画素は、いくつかのセグメントに分割される。D1方式においては50走査線分の画素、D2方式においては85走査線分の画素がセグメントを構成する。すなわち、1フィールド分の画素はD1方式では5セグメント、D2方式では3セグメントからなる。
セグメント内の映像信号は、D1方式においては4チャンネルに、D2方式においては2チャンネルに分割して記録される。この結果、1セグメントの1チャンネル当たりの画素数は、D1方式では{(720 + 360×2)/4}×50=360 × 50 = 18000,D2方式では{768 /2}×85=384 ×85=32640 となる。分配に際しては、各チャンネルが画面内にまんべんなく分散するように配慮されている。この結果、どれか特定のチャンネルの特性が劣化しても、それにより生じる符号誤りが画面内で一箇所に集中せず、目立ちにくい。したがって、訂正できなかった誤りに対しても修正の効果が大きい。
D1, D2方式ともに、外符号, 内符号と呼ばれる2種の誤り訂正符号を併用している。内符号, 外符号を生成する過程で、実際には符号の順序を入れ替える操作がなされる。これをシャフリングと呼ぶ。シャフリングは、符号誤りの影響を分散させ、訂正能力を向上させたり、訂正されなかった誤りによる画面劣化を軽減したりする。これには、外符号を生成する前の1走査線分のシャフリングと、外符号を付加した後で内符号を生成する前の1セクタ内のシャフリングからなる。以上のようにD1 , D2方式VTRでは、1フィールドの映像信号及び音声信号が、テープ上の複数のトラックにわたって記録される。
家庭用VTRでは、現行のNTSCやPALの標準テレビジョン信号の情報を余すところなく記録するために、FM輝度信号の搬送周波数を上げ、帯域およびデビエーションを拡大し、解像度およびC/Nの改善がはかられてきたが、S/N比,波形再現性などの面で業務用VTRにはまだまだ追いついていない状態である。
しかしながら機器小型化への期待は高く、更なる高性能化と同時に軽量小型化の実現も求められており、現行技術の改良だけでは難しい状態にある。一方業務用・放送用VTRの分野では急速なディジタル化が進み、機器の多機能・高性能化が実現され、放送分野ではそのほとんどがディジタルVTRにおきかえられた。しかしディジタルVTRのテープ消費量は非常に多く、長時間化、小型化を阻害している。
近年、映像が持つ情報の冗長性に着目し、記録情報を圧縮する研究が盛んになり、これをVTRにも利用することが検討されている。ディジタルが持つ高画質と高密度記録、情報圧縮によるテープ消費量の低減によって、小型軽量、高画質、長時間VTRの実現が期待できる。
図24はテレビ電話、テレビ会議などの通信の分野で用いられている高能率符号映像情報圧縮方式(CCITT H.261などによる)の通信装置である。101 はアナログ映像信号をディジタル映像信号に変換するA/D変換器、110 は映像信号を圧縮符号化する高能率符号化器、112 は発生した圧縮符号を一定のスピードで送出するのに用いるバッファメモリ、102 は誤り訂正符号を付加する誤り訂正エンコーダ、103 はディジタル信号を通信用の送信信号に変換する変調器、114 は通信路、107 は受信信号をディジタルに復調する復調器、108 は伝送誤りを検出・訂正する誤り訂正デコーダ、113 は一定のスピードで受信した圧縮符号を次段の要求に従って供給するのに用いるバッファメモリ、111 は圧縮された映像信号を元の信号に伸長する高能率復号化器、109 はディジタル映像信号をアナログ映像信号に変換するD/A変換器である。
入力された映像信号の冗長度は常に変化し、このためこの冗長度を利用して圧縮符号化した符号量も変動する。ところが通信路114 の伝送情報量は限られており、最大の性能を発揮するために、バッファメモリ113 を用いて符号量の変動を吸収し、メモリのオーバーフロー, アンダーフローを起さない範囲での情報量制御を行う。図25に、受信側のバッファオペレーションを示す。一定レートで受信したデータはバッファメモリに蓄えられ、データ量がBOに達した時点で符号のデコードを始める。第1画面の表示のためにd1のデータが消費され、第2画面のデコードを開始する時点では、蓄積データ量はB1になる。以下同様にデータの蓄積と消費が繰り返される。データ消費量は表示画面によって異なっているが、平均のデータ消費量と受信レートとは等しい。ここでは受信側について説明したが、送信側では受信側と全く逆の操作が行われている。
通信装置では以上のように制御されるため、入力映像のフィールドと通信される符号との関係は明確になっていない。しかし通信分野の応用とは異なり、VTRにはスチル再生, スロー再生, 高速再生など通常再生とは異なる特殊再生、アセンブル編集, インサート編集などVTR特有の機能が求められており、明確にフィールドとトラックとの関係が定まっていることが好ましい。実用的なVTRとするには、これらの問題を解決できる記録フォーマットを選択することが必須である。
テレビジョン信号等の動画像の圧縮には、他のフィールド(またはフレーム)に関係せず単独のフィールド(またはフレーム)で符号化が完結するイントラフィールド(またはイントラフレーム)と他のフィールドやフレームの情報を利用して予測符号化する予測フィールド(または予測フレーム)とを利用した圧縮方法があり、一般にフィールド間(またはフレーム間)予測を使用しないイントラフィールド(またはイントラフレーム)の情報量は面間予測を利用して符号化した予測フィールド(または予測フレーム)の符号量の2倍以上となる。
このためイントラフィールド(またはイントラフレーム)と予測フィールド(または予測フレーム)とに同じサイズの記録エリア(トラック数)を割り当てると、イントラフィールド(またはイントラフレーム)では充分な記録エリアが得られず、また予測フィールド(または予測フレーム)では記録エリアを無駄に使うことになるという第4の問題点がある。
第1実施の形態.
以下、図面を参照しながら本発明の第1実施の形態について説明する。図26は本発明の第1実施の形態におけるブロック図である。図26において、1はディジタル映像入力端子、2はディジタル映像入力端子1より入力される、ディジタル映像信号をブロック化するブロック化回路、30はブロック化回路2から出力されるブロックとイントラフィールドとの動き補償予測を行ない、入力ブロックと予測ブロックとの誤差信号を出力する動き補償予測回路、31はブロック化回路2から出力される入力信号と動き補償予測回路30からの予測誤差信号との絶対値和の小さい方を選択する判定器、32は決定されたモードに基づきブロック化回路2と判定器31とから出力される符号化ブロックを選択出力する第1スイッチ、33は第1スイッチ32から出力される符号化ブロックに対して直交変換を施す直交変換回路、34は直交変換回路33の出力を量子化する量子化回路、11は伝送路である。
35はイントラフィールドの場合のみ量子化回路34から出力される量子化結果を選択し出力する第2スイッチ、36は第2スイッチ35の出力を逆量子化する逆量子化回路、37は逆量子化回路36の出力を逆直交変換する逆直交変換回路、38は逆直交変換回路37より出力されるイントラフィールドの再生画像を1フィールド分蓄え、予測フィールドに対する探索範囲の参照画像を動き補償予測回路30に出力する画像メモリである。
このような回路ブロックで行なわれる予測方式として、例えば図27に示すようなものが考えられる。この方式では、4フィールド毎にイントラフィールドを挿入し、間の3つのフィールドを予測フィールドとする。図27において第1フィールドF1はイントラフィールド、第2, 3, 4フィールドF2, F3, F4は予測フィールドである。この方式では、第1フィールドF1から第2, 3, 4フィールドF2, F3, F4を予測する。まず、イントラフィールドである第1フィールドF1をフィールド内でブロック化し直交変換を施し、量子化した後、符号化する。
また局部復号ループでは、量子化された第1フィールドF1の信号を復号/再構成する。この再構成された画像が次の第2フィールドF2, 第3フィールドF3, 第4フィールドF4の動き補償予測に用いられる。次に第2フィールドF2を、第1フィールドF1を用いて動き補償予測し、得られた誤差ブロックを直交変換した後、第1フィールドF1と同様に符号化する。この時、入力ブロックの絶対値和が誤差ブロックの絶対値和よりも小さければ、誤差ブロックではなく入力ブロックを直交変換し、第1フィールドF1と同様に符号化する。
一方、第3フィールドF3, 第4フィールドF4も、第2フィールドF2と同様に第1フィールドF1を用いて動き補償予測し符号化される。第3フィールドF3, 第4フィールドF4においても入力ブロックの交流電力の方が誤差ブロックの電力よりもその絶対値和が小さければ誤差ブロックではなく入力ブロックを直交変換し、第1フィールドF1と同様に符号化する。
次に動作について説明する。ディジタル映像入力端子1により入力された映像信号はイントラフィールド, 予測フィールドに係わらずブロック化回路2によって例えば8画素×8ラインを1つの単位とするブロック化が行なわれる。また動き補償予測回路30では、予測フィールドの場合ブロック化回路2より出力される入力ブロックに対して、画像メモリ38に蓄えられているイントラフィールドの再生画像データを参照画像として動き補償予測を行う。
動き補償予測回路30では動き検出の探索範囲ブロックを例えば16画素×16ラインの大きさで行い、動きベクトルを求める。さらに動き検出によって得られた動きベクトルに従い、参照画像と入力画像との誤差信号を求め、動きベクトルとともに判定器31に出力する。判定器31ではブロック化回路2から出力される入力ブロックと動き補償予測回路30から出力される誤差ブロックとのそれぞれの各ブロックの各成分の絶対値和を求める。入力ブロックをI(i,j)(i,j=1〜8)、その絶対値和をIs、誤差ブロックをP(i,j)(i,j=1〜8)、その絶対値和をPsとすると、Is,Psは以下の式で表される。
ここで、Ps<Isの場合は誤差ブロックの方が入力信号ブロックより情報量が少ないと判断し、誤差ブロックを動きベクトルと共に第1スイッチ32に出力する。一方Ps≧Isの場合は入力信号ブロックの方が誤差信号ブロックより情報量が少ないと判断し、入力ブロックとそのブロックが強制イントラブロックであることを示す強制イントラ信号とを動きベクトルの代わりに第1スイッチ32に出力する。
第1スイッチ32では、イントラモードの場合はブロック化回路2の出力を選択し、予測モードの場合は判定器31の出力を選択し直交変換回路33に出力する。直交変換回路33では入力される8×8の各ブロックに対して、例えば2次元のDCTを施す。量子化回路34では、直交変換回路33より出力される直交変換係数を可変長符号化し量子化する。また量子化回路34では予測モードの場合は、直交変換係数に加えて、動きベクトルまたは強制イントラ信号を量子化し、直交変換係数に加えて伝送路11に出力する。
一方第2スイッチ35では動き補償予測の参照データとするために、イントラフィールドの場合のみ量子化回路34によって量子化された直交変換係数を逆量子化回路36に出力する。逆量子化回路36では量子化回路34によって可変長符号化されたデータを逆量子化し可変長復号を行ない、逆直交変換回路37に出力する。逆直交変換回路37では、例えば2次元の逆DCTを施してイントラフィールドのブロックを復元する。逆直交変換回路37によって復元されたイントラフィールドの各ブロックは、画像メモリ38に蓄えられる。画像メモリ38では動き補償予測の場合の参照用データとして、イントラフィールドの復元画像1フィールド分を蓄える、さらに動き補償予測回路30に対して動きベクトルの検出範囲の参照画像を出力する。
なお上記実施の形態では、直交変換のブロックサイズを8画素×8ラインの大きさにしているが、必ずしも8画素×8ラインである必要はなくn画素×mラインのブロックサイズで行ってもよい。また同様に動きベクトルの検出範囲も16画素×16ラインである必要はなく、k画素×sライン(k≧n,s≧m)で行なってもよい。また4フィールド毎に予測符号化が完結しているが必ずしも4フィールドである必要はなく任意のフィールド毎に予測符号化が完結するようにしてもよい。
また任意のフィールド毎に予測符号化が完結しているが、必ずしもフィールド毎である必要はなく任意のフレーム毎に予測符号化が完結するようにしてもよい。また上記実施の形態では、判定器31でブロック化回路2の出力と動き補償予測回路30の出力との絶対値和の小さい方を第1スイッチ32に出力していたが、動き補償判定を行わずに動き補償予測回路30の出力のみを第1スイッチ32に出力してもよい。
第2実施の形態.
上記第1実施の形態では、判定器31でブロック化回路2の出力と動き補償予測回路30の出力との絶対値和の小さい方を第1スイッチ回路32に出力していたが、判定器31の判定結果が予測モードよりも強制イントラモードの方が多くなるようなフィールドでは、シーンチェンジが生じたと判断し、このフィールド全体をイントラモードとして、符号化してもよい。この様にして構成した例が第2実施の形態である。
図28は第2実施の形態の構成を示すブロック図である。図において40はブロック化回路2から出力される入力ブロックと動き補償予測回路30からの予測誤差ブロックとの絶対値和の小さい方を選択し、さらにブロック化回路2からの入力ブロックが選択される方が多いようなフィールドは、イントラフィールドであると判定する判定器、41はブロック化回路2から出力される入力ブロックをイントラフィールドのデータとして蓄える第1フィールドメモリ、42は判定器40から出力される予測フィールドのブロックを蓄える第2フィールドメモリ、43はイントラモード及び判定器40において予測モードより強制イントラモードの方が多いと判別された場合に第1フィールドメモリ41の出力を選択し直交変換回路33に出力し、それ以外の場合は第2フィールドメモリ42の出力を選択する第1スイッチである。
次に動作について説明する。ディジタル映像入力端子1から動き補償予測回路30までの動作は第1実施の形態と同じであるため省略する。判定器40は、第1実施の形態と同様にブロック化回路2から出力される入力ブロックと動き補償予測回路30から出力される誤差ブロックとのそれぞれのブロックの各成分の絶対値和の小さい方を選択して出力する。ここで、動き補償予測回路30の出力が選択された場合、判定器40は動きベクトルと共に誤差信号のブロックを出力する。
またブロック化回路2の出力が選択された場合は、強制イントラブロックであることを示す信号と共に出力される。また判定器40では強制イントラブロックが1フィールド内である値n個以上になった場合はシーンチェンジが生じたと判断し、現在のフィールドをすべてイントラモードで符号化するような制御信号を出力する。
判定器40の出力は予測モードのデータとして第2フィールドメモリ42に蓄えられ、1フィールド分のデータが蓄えられた後、第1スイッチ43に出力される。一方ブロック化回路2の出力は第1フィールドメモリ41にイントラモードのデータとして蓄えられ、1フィールド分のデータが蓄えられた後、第1スイッチ43に出力される。第1スイッチ43ではイントラモード及び判定器40において強制的にイントラモードにすると判断された場合は、第1フィールドメモリ41の出力を選択し、それ以外の場合は第2フィールドメモリ42の出力を選択して、直交変換回路33に出力する。以下直交変換回路33から画像メモリ38までの動作は第1実施の形態と同じであるため省略する。但し、判定器40でシーンチェンジが生じたと判断された場合は画像メモリ38の内容も更新する必要があるので、第2スイッチ35においてもイントラモードの場合と同様に量子化回路34の出力を逆量子化回路36に出力する。
ここで、あるサンプル画像に対して図27, 図4,図29の3種類の予測符号化を用いて、符号化、復号化を行った例について説明する。図29に示す予測符号化方式はフレーム内でそれぞれフィールド間予測を行い、第3フィールドF3は第1フィールドF1から予測する方式である。ここで、図27による符号化方式を方式1、図4を方式2、図29を方式3としてシーンチェンジが存在するサンプル画像5秒分に対してシミュレーションを行った結果を図30に示す。
同様にシーンチェンジが存在しない画像5秒分に対してシミュレーションを行った結果を図31に示す。サンプル画像としては4:2:2コンポーネント信号(Y:720 × 240,Cb,Cr:360 × 240,60Field/sec )を用いている。図30, 図31の結果よりシーンチェンジを含む映像の場合はS/N比から見て方式3が有効である。
しかし、シーンチェンジを含まない映像の場合には方式1〜3では、あまり差が見られないことが分かる。この結果シーンチェンジが生じた場合は、強制的にイントラフィールドにすることにより、従来の予測符号化装置よりもハードウェアサイズが小さな高能率符号化装置を実現できる。
なお上記第2実施の形態では、nフィールド毎にイントラモードを作り、それに続くn−1フィールドをイントラフィールドから予測符号化し、シーンチェンジが生じた場合、強制的にイントラフィールドを作り、残りのフィールドを強制イントラフィールドより予測しているが、必ずしもnフィールド毎にイントラフィールドがある必要はなく、強制イントラフィールドが発生した場合は強制イントラフィールドを起点にして続くn−1フィールドを予測符号化してもよい。また上記実施の形態ではフィールド単位で予測符号化を行っているが必ずしもフィールド単位で予測符号化を行う必要はなく、フレーム単位で予測符号化を行ってもよい。
以上詳述したように、第1,第2実施の形態の高能率符号化装置では、nフィールド毎にイントラフィールドを作り、その他のフィールドについては、このイントラフィールドを参照画像として動き補償予測を行っているので、動きベクトルを求めるための演算回路等のハードウェアサイズを小さくすることができる。
第3実施の形態.
図32は第3実施の形態の高能率符号化装置の構成を示すブロック図である。図32において、1〜14、16〜20は図2における従来装置と同じものである。50はイントラモードのブロックの個数をカウントするモードカウンタ、51は所定のブロック数とモードカウンタからのイントラモードのブロックの個数とを比較し、次のフィールドの参照画像を決定する方向切換回路、52は動き補償予測を行うために出力ブロックを蓄え、次のフィールドの参照画像を探索範囲として出力する画像メモリである。
次に動作について説明する。入力されたディジタル映像入力信号はイントラフィールド,予測フィールドに係わらずブロック化回路2によってm[画素]×n[ライン]を1つの単位とする入力ブロックに分けられ切り出される。入力ブロックは誤差ブロックを得るために減算器3において予測ブロックとの画素単位の差分が計算される。このようにして入力ブロックと誤差ブロックとが第一スイッチ回路7にそれぞれ入力される。また誤差ブロックはその電力を算出するため誤差電力算出回路4に入力され誤差電力が計算される。
そして入力ブロックもその交流電力を算出するために原画電力算出回路5に入力され原画電力が計算される。誤差電力算出回路4と原画電力算出回路5との出力は判別回路6に入力され2つの電力のうち小さい方を選択し、それをモード信号として第一スイッチ回路7に入力される。この時誤差電力が原画交流電力よりも小さければ予測モードとして第一スイッチ回路7で誤差ブロックを符号化ブロックとして出力するように予測モード信号を出力する。また原画電力の方が誤差電力よりも小さければイントラモードとして第一スイッチ回路7で入力ブロックを符号化ブロックとして出力するようにイントラモード信号を出力する。
また判別回路6からのモード信号はモードカウンタ50に入力される。入力されるモード信号は予測フィールドのブロック毎に生成されるのでモードカウンタ50では1フィールド分のブロックの個数のうちイントラモードまたは予測モードを選択したブロックの個数をカウントする。そしてイントラモードまたは予測モードを選択したブロックの個数を方向切換回路51に出力する。方向切換回路51では所定のブロックの個数(1フィールド分のブロック数未満)とモードカウンタ50から入力されたイントラモードを選択したブロックの個数とを比較し、画像メモリ52に参照画像切換信号を出力する。
方向切換回路51において所定のブロックの個数がイントラモード(または予測モード)を選択したブロックの個数より大きければ(小さければ)、参照画像を切り換えないように参照画像切換信号が画像メモリ52に出力される。また、方向切換回路51において所定のブロックの個数がイントラモード(または予測モード)を選択したブロックの個数より小さければ(大きければ)、参照画像を切り換えるように参照画像切換信号が画像メモリ52に出力される。
第一スイッチ回路7は判別回路6によって決定されたモード信号に基づいて入力ブロックもしくは誤差ブロックを符号化ブロックとして出力する。この時入力ブロックがイントラフィールドである場合は第一スイッチ回路7は必ず入力ブロックを符号化ブロックとして出力する。符号化ブロックはDCT回路8に入力されDCT係数に変換される。DCT係数は量子化回路9によってウェイティング処理やスレッショルド処理を行いそれぞれに応じて所定のビット数に量子化される。それぞれ所定のビット数に量子化されたDCT係数は第一符号化回路10で伝送路11に適した符号に変換され、伝送路11に出力される。
また量子化回路9によってウェイティング処理やスレッショルド処理及び量子化されたDCT係数は局部復号ループ20に入り、逆量子化回路12によって逆ウェイティング処理及び逆量子化される。局部復号ループ20で逆ウェイティング処理及び逆量子化されたDCT係数は逆DCT回路13によって復号化ブロックに変換される。次に復号化ブロックは加算器14によって予測ブロックと画素単位で加算される。この予測ブロックは減算器3で用いたものである。
この加算器14で加算された結果を出力ブロックとして画像メモリ52の所定の位置に書き込む。画像メモリ52は方向切換回路51からの参照画像切換信号によって参照画像を切り換えて動き検出の探索範囲をMC回路16に出力する。この動き検出の探索範囲ブロックは例えばその大きさがi[画素]×j[ライン](i≧m, j≧n)である。MC回路16には画像メモリ52から出力された動き検出の探索範囲ブロックとブロック化回路2から出力された入力ブロックとがそれぞれ入力される。MC回路16では入力されたそれぞれのブロックから動き検出を行い、その入力ブロックの動きベクトルを抽出する。
そしてMC回路16で動き検出により抽出された動きベクトルはMIX回路17に入力される。MIX回路17はMC回路16から入力された動きベクトルと判別回路6で決定されたモード信号とを合成する。このようにしてMIX回路17で合成された動きベクトルとモード信号とは第二符号化回路18で伝送路11に適した符号に変換され、対応する符号化されたブロックと共に伝送路11に出力される。
また、MC回路16から出力される予測ブロックはMC回路16にて動き検出の探索範囲から入力ブロックと等しい大きさm[画素]×n[ライン]でブロック化されて出力される。この予測ブロックは第二スイッチ回路19に入力され、現在処理されている入力ブロックのフィールド, 復号化ブロックのモード信号に応じてそれぞれの出力から出力される。第二スイッチ回路19の一方の出力からは減算器3に処理フィールドに応じて予測ブロックが出力される。他方の出力からはその時の復号化ブロックのモード信号と処理フィールドとに応じて予測ブロックが出力される。
本発明では通常の映像の場合に図4のような予測方式を用いている場合にフレーム単位でシーンチェンジが生じるとシーンチェンジ直後の映像の符号化に際しイントラモードを選択するブロックが増加し、その後の参照画像を図29のように切り換えることが可能である。
第3実施の形態について図33, 図34, 図35のフローチャートを使用してその動作をまとめてみる。図33は第3実施の形態の全体の動作を示すフローチャート、図34, 図35は図33におけるステップS103のイントラフィールド処理, S104の予測フィールド処理の内容をそれぞれ示すフローチャートである。
まず動き補償処理単位内のフィールドを示すフィールド番号fn を0にセットする(ステップS101)。このフィールド番号fn は図4で説明すると、動き補償処理単位内の先頭のイントラフィールドF1をフィールド番号fn =0とし、予測フィールドF2をフィールド番号fn =1、次の予測フィールドF3のフィールド番号fn =2、動き補償処理単位内の最後の予測フィールドF4をフィールド番号fn =3とするものであり、今動き補償処理が開始された直後であるから始めの処理フィールドは必ず動き補償処理単位内の先頭フィールドであってイントラフィールドであるので、ステップS101ではフィールド番号fn =0にセットされる。またシーンチェンジの有無を判別するフラグとなる参照画像切換フラグRfn は後の予測フィールド処理時にセットされるが、ここでは初期化のためRfn =0としておく。
次に、フィールド番号fn =0かどうか、即ち動き補償予測処理単位内の先頭フィールドでイントラフィールドであるかどうかを判定する(ステップS102)。この時fn =0であればこのフィールドはイントラフィールドとして処理される(ステップS103)。一方、fn ≠0であればそのフィールドは予測フィールドとして処理される。これらの各処理は後に詳述する。各々のフィールドが処理された後、フィールド番号fn が次のフィールドを指し示すようにインクリメントされる(ステップS105)。なおこのようなフィールド番号は実際のハードウェアではマイコン等の信号で制御することが可能である。
続いて次のフィールドを指し示すフィールド番号fn が動き補償処理単位内のフィールドを指し示すような数値であるかどうかが判定され(ステップS106)、動き補償処理単位内のフィールドを指し示さないような数字例えば図4の例では動き補償処理単位が4フィールドで完結していて、イントラフィールドのフィールド番号fn を0と設定しているのでfn =4というような数字であれば一連の動き補償予測単位が終了した事になり、fn <4であれば次のフィールドはまだ動き補償処理単位内であると判断し、処理がくり返される。
一連の動き補償予測処理単位が終了した場合は、これで所望の全てのフィールドの処理が終了したかどうかが判定される(ステップS107)。これは例えばこの高能率符号化装置の終了スイッチが作動したかどうか等で判定される。そして次のフィールドを処理するのであれば次の動き補償予測処理単位の符号化のため、変数を初期化し、処理がくり返される。また高能率符号化装置の作動が終了ならば、符号化は終了する。
次に、イントラフィールド処理について図34のフローチャートで説明する。図33のステップS102にてイントラフィールドとして処理されると決定したフィールドは、まず、その処理フィールド内で所定の大きさm[画素]×n[ライン]にブロック化される(ステップS201)。次に、そのブロック化された大きさで例えばDCTのような直交変換が施される(ステップS202)。直交変換されたデータは各々のシーケンスに設定された所定のビット数に量子化される(ステップS203)。
DCTのような直交変換の場合普通直流や交流の中でも低次のシーケンスにはビット数を多く割り当て、交流の中でも高次のシーケンスにはビット数の割り当てを少なくするような量子化が行われる。量子化されたデータは伝送に適した符号に変換されて(ステップS204)、符号化されたデータが伝送される(ステップS205)。また処理ブロック数を数えるなどして1フィールドの処理が終了したかどうかを判定する(ステップS206)。1フィールド内の処理が終了していなければ再び次のブロックの処理が行われる。そして1フィールド内のブロックの処理が全て終了であればイントラフィールドの処理は終了する。
次に、予測フィールド処理について図35のフローチャートで説明する。図33のステップS102にて予測フィールドとして処理されると決定したフィールドは、そのフィールドの前のフィールド処理時の参照画像切換フラグRfn-1 =0かどうか、すなわち現在処理しようとしているフィールドの前のフィールドの処理時にシーンチェンジを検出したかどうかを判定する(ステップS301)。Rfn-1 =0であれば今までと同様の位置にある参照画像から動き補償予測を行い(ステップS302)、Rfn-1 =1であればフィールド番号fn-1 を処理したときにシーンチェンジを検出しており、フィールド番号fn の動き補償予測には参照画像を切り換えて今までの位置ではなく異なった位置にあるフィールドの画像を参照画像として動き補償予測を行う(ステップS303)。
次に、例えば処理を行う1フィールド内でイントラモードを選択したブロックの個数を数える変数COUNTを0にセットする(ステップS304)。この変数COUNTについては後で詳しく述べる。そして入力された画像はその処理フィールド内で所定の大きさm[画素]×n[ライン]にブロック化される(ステップS305)。m×nの大きさに分割されたブロックについて動き補償予測処理が施される(ステップS306)。この時ステップS302, S303のいずれかで設定した参照画像を用い、過去の画像の所定の領域と今分割したブロックとの画素単位の差分が誤差ブロックとして誤差電力算出回路4に入力され、その誤差電力P1が算出される(ステップS307)。即ち、設定された参照画像を用いることで動き補償予測により発生する情報量が少なくなる。また、今分割したブロックが原画電力算出回路5に入力され、原画交流電力P2が算出される(ステップS308)。
各々算出された電力P1,P2はその大きさが比較される(ステップS309)。もし誤差電力P1が原画交流電力P2よりも小さければ、誤差ブロック(動き補償予測されたブロックの差分値)を選択する(ステップS310)。一方、誤差電力P1が原画交流電力P2より大きければ、入力ブロック(ブロック化されたままの原画)を選択し(ステップS311)、符号化ブロックとして入力ブロックが選択された回数、即ちイントラモードとして処理されるブロックが1フィールド内に幾つあるのかを数える(ステップS312)。この時のカウンタになる変数がステップS304で0にセットされたCOUNTである。フィールド単位での処理が始まる時に必ず0にセットされ、1フィールドの処理中にイントラモードを選択したブロックの個数を数えていく。
各々選択されたブロックは、直交変換を施され(ステップS313)、各々のシーケンスに設定された所定のビット数に量子化される(ステップS314)。例えばDCTのような直交変換の場合普通直流や交流の中でも低次のシーケンスにはビット数を多く割り当て、交流の中でも高次のシーケンスにはビット数の割り当てを少なくするような量子化が行われる。量子化されたデータは伝送に適した符号に変換され(ステップS315)、符号化されたデータは伝送される(ステップS316)。処理ブロック数を数えるなどして1フィールドの処理が終了したかどうかを判定する(ステップS317)。1フィールド内の処理が終了していなければ再び次のブロックの処理が行われる。
そして1フィールド内のブロックの処理が全て終了であればその1フィールドの処理内で符号化ブロックとして処理した入力ブロックの個数、すなわちイントラモードを選択したブロックの個数と予め設定してある閾値THとを比較する(ステップS318)。このTHは1フィールド内のブロックの個数以下の所定の数である。例えば1フィールド内の全ブロック数が2700個であり、THはその2700以下でTH=1000というように設定される。符号化ブロックとして入力ブロックを選択した回数COUNTが設定された閾値THよりも小さければ、今処理を行ったフィールド(フィールド番号fn )とそのフィールドを動き補償予測するために使用した参照画像との間にはシーンチェンジがなく次のフィールド(フィールド番号fn+1)の動き補償用の参照画像は通常通りの位置にある参照画像を使用するように参照画像切換フラグRfn =0にセットされる(ステップS319)。
符号化ブロックとして入力ブロックを選択した回数COUNTが設定された閾値THよりも大きければ、今処理を行ったフィールド(フィールド番号fn )とそのフィールドを動き補償予測するために使用した参照画像との間にはシーンチェンジが存在し次のフィールド(フィールド番号fn+1)の動き補償用の参照画像は通常通りの位置にある参照画像ではなく、今までとは異なった位置にあるフィールド、例えば今までは参照画像になるべき位置にはなかった、今処理し終えたフィールドを参照画像とするというように切り換える。そのために参照画像切換フラグRfn =1にセットされる(ステップS320) 。このように参照画像切換フラグRfn がセットされて、予測フィールド処理は終了する。
図36に第3実施の形態によって予測符号化を行ったときの5秒間の情報量の推移を、図37に5秒間のS/Nの推移を示す。B点にシーンチェンジが存在するが、情報量の増加が図7のA点の場合よりも抑えられている。また目立ったS/N比の劣化もない。
第4,第5実施の形態.
第3実施の形態において誤差ブロックと入力ブロックとから符号化ブロックを選択する方法としてそれぞれの電力を算出し、比較し、イントラモードを選択するブロックの個数を数えた。
第4実施の形態は誤差ブロックと入力ブロックとから符号化ブロックを選択する方法としてそれぞれのブロック内でのエントロピーを算出し、第3実施の形態と同様に判別回路6で誤差ブロックのエントロピーと入力ブロックのエントロピーとを比較し、符号化ブロックとして誤差ブロックを選択するのか入力ブロックを選択するのかを決定するものである。
第5実施の形態は誤差ブロックと入力ブロックとから符号化ブロックを選択する方法としてそれぞれのブロック内で画素の絶対値を加算し、入力ブロックと誤差ブロックとのそれぞれの絶対値和のr乗を算出し、第3実施の形態と同様に判別回路6で誤差ブロックの絶対値和のr乗と入力ブロックの絶対値和のr乗とを比較し、符号化ブロックとして誤差ブロックを選択するのか入力ブロックを選択するのかを決定するものである。
第6実施の形態.
第3実施の形態において判別回路6にてそれぞれ入力ブロックと誤差ブロックとの電力を比較したが、第6実施の形態は入力ブロックの電力と誤差ブロックの電力とを比較する際に入力ブロックの電力もしくは誤差ブロックの電力の少なくとも一方にオフセットを与えた後に、両者をを比較するものである。例えば入力ブロックの電力に正のオフセットを与え誤差ブロックの電力と比較する。このようにすると入力ブロックの電力と誤差ブロックの電力とに大差がない場合、差分電力を選択するブロックが増加し過度のイントラモードの発生を防ぐことが可能である。
第6実施の形態における予測フィールド処理を表すフローチャートを図38に示す。図38において、図35と同ステップ番号を付した部分は同一部分を示す。まず、ステップS301からステップS308までは第3実施の形態と同様である。誤差ブロックより算出された誤差電力P1と、入力ブロック(原画ブロック)より算出された原画交流電力P2にαという所定のオフセットを加えたものとが比較される(ステップS330)。このようにすることでP1<P2+αの成立が第3実施の形態よりも難しくなり、イントラモードを選択するブロックの個数が少なくなる。そして過剰なイントラモードの発生が抑えられ、発生情報量も安定に保つことができる。その後のステップS310からステップS320までの動作は第3実施の形態と同様である。
第7,第8実施の形態.
第7実施の形態は、第4実施の形態のように入力ブロックのエントロピーと誤差ブロックのエントロピーとを比較する際に、入力ブロックのエントロピーもしくは誤差ブロックのエントロピーの少なくとも一方にオフセットを与え、両者を比較するものである。例えば入力ブロックのエントロピーに正のオフセットを与え誤差ブロックのエントロピーと比較する。このようにすると入力ブロックのエントロピーと誤差ブロックのエントロピーとに大差がない場合、誤差ブロックを選択するブロックが増加し過度のイントラモードの発生を防ぐことが可能である。
第8実施の形態は、第5実施の形態のように入力ブロックの絶対値和と誤差ブロックの絶対値和とを比較する際に、入力ブロックの絶対値和のr乗もしくは誤差ブロックの絶対値和のr乗の少なくとも一方にオフセットを与え、両者を比較するものである。例えば入力ブロックの絶対値和のr乗に正のオフセットを与え誤差ブロックの絶対値和のr乗と比較する。このようにすると入力ブロックの絶対値和のr乗と誤差ブロックの絶対値和のr乗とに与えたオフセット以上の差がない場合、誤差ブロックを選択するブロックが増加し過度のイントラモードの発生を防ぐことが可能である。
第9実施の形態.
第3実施の形態においてモードカウンタ50で1フィールド分のブロックの個数のうちイントラモードを選択したブロックの個数をすべて数えたが、第9実施の形態は、1フィールド分のブロックをカウントするのではなく、1フィールド期間中の所定のブロック数のモード信号が決定された時点で全ブロック数あるいはモード信号が決定されたブロック数に対するイントラモードを選択したブロックの個数の割合を方向切換回路51に出力し、方向切換回路51ではその割合から参照画像切換信号を出力する。このようにすることで1フィールド分の全てのブロックが符号化されなくても次のフィールドの参照画像を決定することが可能である。
図39は第9実施の形態の予測フィールド処理を示すフローチャートである。図39において、図35と同ステップ番号を付した部分は同一部分を示す。まず、ステップS301からステップS303までは第3実施の形態と同様である。次のフィールドの動き補償予測処理のための参照画像を設定した後(ステップS302, S303) 、例えば1フィールド処理するときにそのフィールド内で発生したイントラモードの回数、すなわち符号化ブロックとして入力ブロックを選択したブロックの個数を数える変数COUNTとその1フィールド内の処理において現在までに処理しているブロックの個数を数える変数Bとを0にセットする(ステップS340)。
その後、ステップS305からステップS316までは第3実施の形態と同様である。符号化した後、変数Bを1つずつインクリメントすることで現在までの処理ブロックの個数を数える(ステップS341)。Bは0から1フィールド内のブロックの個数の最大値まで変化する。次のフィールドの動き補償予測処理のための参照画像を切り換えるかどうかを判定するための参照画像切換判定処理が施される(ステップS342)。次のステップS317は第3実施の形態と同様である。
図40は図39のステップS342の参照画像切換判定処理の内容を示すフローチャートであり、図40を参照してその処理を説明する。参照画像切換フラグRfn が0かどうかを判別し(ステップS351)、フラグRfn が0でなければ処理は終了する。フラグRfn が0であれば、符号化ブロックとして入力ブロックを選択した回数COUNT及び1フィールド内の現在までの処理ブロックの個数を数える変数Bの比率と閾値THとを比較する(ステップS352)。その比率が閾値THより小さい場合には処理を終了し、その比率が閾値THより大きい場合にはそのフラグRfn が1にセットされ(ステップS353)、処理は終了する。
第10実施の形態.
次に、その構成を示す図41を参照して第10実施の形態について説明する。図42において、1, 3〜6, 8〜16, 18, 20は図2示す従来装置と同様である。60は入力される映像を蓄積する画像メモリ、61は映像のシーンチェンジを検出し、その旨の信号を出力するSC検出回路、62は原画から切り出された入力ブロックと動き補償予測による予測ブロックから生成される誤差ブロックとを切り換える第一スイッチ回路、63は動きベクトルと判別回路6からのブロックのモード信号とSC検出回路51からのSC検出信号とを合成するMIX回路、64は予測ブロックを切り換える第二スイッチ回路である。
次に動作について説明する。動き補償予測はたとえば図4に示すような形で行うものとし4フィールドで完結するものとする。入力端子1から入力されたディジタル映像信号は、画像メモリ60に蓄積される。画像メモリ60は少なくとも2フィールド分のメモリから構成されており、一方にフィールドの映像信号を蓄積しながら他方からシーンチェンジ検出用あるいは処理用の映像データを所定の大きさにブロッキングして出力する。
すなわち画像メモリ60からまずSC検出回路61にディジタル映像信号が送られ、例えば映像の特徴を設定したパラメータより求め、シーンチェンジの有無を検出する。その後画像メモリ60のもう一方の出力からディジタル映像信号が例えばn[画素]×m[ライン](m, nは正の整数)の大きさでブロッキングされ出力される。このm[画素]×n[ライン]の大きさは2次元の直交変換を行うブロックサイズであり、動き補償予測による予測ブロックのブロックサイズである。
画像メモリ60から出力された原画をブロッキングしただけの入力ブロックと減算器3によって動き補償予測された予測ブロックとの差分である誤差ブロックとが第一スイッチ回路62に入力される。また入力ブロックと誤差ブロックとはそれぞれのブロックの電力を求めるため原画電力算出回路5と誤差電力算出回路4とに入力される。原画電力算出回路5では入力ブロックの交流電力が、そして誤差電力算出回路4では誤差ブロックの電力が算出される。それぞれ算出された入力ブロックの交流電力と誤差ブロックの電力とは判別回路6に入力される。判別回路6では誤差ブロックの電力の方が入力ブロックの電力より小さい場合には予測モード信号を、また入力ブロックの電力の方が誤差ブロックの電力よりも小さい場合にはイントラモード信号を、それぞれモード信号として第一スイッチ回路62, MIX回路63及び第二スイッチ回路64に出力する。
入力ブロックと誤差ブロックとが入力された第一スイッチ回路62は符号化ブロックとしてどちらか一方のブロックを出力する。そのため第一スイッチ回路62はSC検出回路61からのシーンチェンジ検出信号と判別回路6からのモード信号とを受けてスイッチのモードを決定し、入力ブロック, 誤差ブロックのいずれか一方を符号化ブロックとして出力する。この時の切換状態を図42に示す。今動き補償予測の処理過程が図4に示すように4フィールド完結であるから、通常モードはイントラフィールドが第1フィールドであり、その後予測フィールドが第2フィールドから第4フィールドまで3フィールド続き、またイントラフィールドが第1フィールド・・・というように続いていくモードのことである。
図42におけるSC検出有無は、SC検出回路61からのシーンチェンジ検出信号がシーンチェンジを検出していれば有、シーンチェンジを検出していなければ無を信号とする。判別モードは判別回路6からの出力で先に説明を付したモード信号のことである。なお図中のXはSC検出有無に関係なく、判別モードに関係なくということである。この図42に示すように第一スイッチ回路62は選択ブロックを決定し、その選択ブロックを符号化ブロックとして出力する。
第一スイッチ回路62で選択され出力された符号化ブロックはDCT回路8で2次元直交変換される。そして直交変換されたデータは量子化回路9でウェイティング処理(重み付け処理)やスレッショルド処理(しきい値処理)等が行われ、それぞれのシーケンスで所定のビット数に量子化される。量子化回路9で量子化されたデータは第一符号化回路10で伝送路11に適した符号に変換され、伝送路11へ出力される。また量子化回路9で量子化されたデータは動き補償予測を行うために局部復号ループ20にも入力される。局部複合ループ20に入力されたデータは、まず逆量子化回路12で逆量子化され、逆ウェイティング処理等を施された後、逆DCT回路13で逆直交変換を施される。逆DCT回路13出力である復号化ブロックは加算器14において予測ブロックと画素単位で加算され再生画像となる。この時用いた予測ブロックは減算器3で用いたものと同一のものである。加算器14で再生画像となったブロックは画像メモリ15の所定の位置に書き込まれる。
画像メモリ15は予測方式によってその必要メモリ量が異なる。いま複数枚のフィールドメモリで構成されているとし、局部復号ループ20で復元された出力ブロックを所定の位置に蓄積していく。この時蓄積される画像が動き補償予測の探索範囲のデータとして使用される。画像メモリ15からMC回路16へは、過去の出力ブロックから再構成され、その再構成された画面から切り出された動き検出の探索範囲であるブロックが出力される。この動き検出用の探索範囲ブロックの大きさは、i[画素]×j[ライン](i≧m, j≧n:i、jは正の整数)である。MC回路16には画像メモリ15から動き補償予測の探索範囲のデータと画像メモリ60からの入力ブロックとが参照データとして入力され、動きベクトルが抽出される。
MC回路16で抽出された動きベクトルは、MIX回路63に入力され、判別回路6で決定されたモード信号およびSC検出回路からのSC検出信号と合成される。合成された信号は、第二符号化回路18で伝送路11に適した符号に変換され、対応する符号化されたブロックと共に伝送路11へ出力される。またMC回路16からは予測ブロックとして探索範囲から入力ブロックと等しい大きさ(m[画素]×n[ライン])にブロック化された信号が出力される。MC回路16から出力される予測ブロックは、過去の画像情報から生成されている。この予測ブロックは第二スイッチ回路64に入力され、現在処理しているフィールド, 復号化ブロックのモード信号, SC検出回路51からのSC検出信号に応じて出力される。第二スイッチ回路54の一方の出力からは減算器3に処理フィールド, SC検出信号に応じて予測ブロックが出力される。他方の出力からはその時の復号化ブロックのモード信号とSC検出信号と処理フィールドとに応じて予測ブロックが出力される。
この動き補償予測処理を図43に示す。図43では第2フィールドF2と第3フィールドF3との間にシーンチェンジがあるものとしている。第1フィールドF1から第2フィールドF2はシーンチェンジがないので第2フィールドF2は第1フィールドF1から予測される。第2, 第3フィールドF2, F3間のシーンチェンジが検出されて、第3フィールドF3は第1フィールドF1と同様イントラフィールドとなる。そして第4フィールドF4は第3フィールドF3から予測される。
なおそのシーンチェンジより過去の映像から予測を行うことはない。そして第4フィールドF4の動き補償予測処理が終了すればまた次のフィールドをイントラフィールドとして動き補償予測処理を行っていく。よって動き補償予測処理がスタートしてからは必ず4フィールド毎にイントラフィールドが現れ、シーンチェンジが生じた場合にはその動き補償処理課程の間にもイントラフィールドが存在することになる。
第10実施の形態について図44, 図45のフローチャートを使用してその動作をまとめてみる。図44は第10実施の形態の全体の動作を示すフローチャート、図45は図44におけるステップS406の予測フィールド処理の内容を示すフローチャートである。
まず、動き補償処理単位内のフィールドを示すフィールド番号を0にセットする(ステップS401)。このフィールド番号の設定は第3実施の形態と同じであり、今動き補償処理が開始された直後であるから始めの処理フィールドは必ず動き補償処理単位内の先頭フィールドであってイントラフィールドであるのでステップS401ではフィールド番号fn =0にセットされる。またシーンチェンジの有無を判別するためのフラグとなるシーンチェンジ検出フラグCfn は、ステップS401では初期化のため0としておく。
次に、入力されてくる画像と過去の画像との性質を例えばあるパラメータで比較し、シーンチェンジの有無を検出する(ステップS402)。例えば過去の画像のいくつかの所定の領域の画素の値の分散と現処理画像の所定の領域の画素の値の分散とを比較することでシーンチェンジを検出する。シーンチェンジを検出するとシーンチェンジ検出フラグCfn =1にセットし、シーンチェンジを検出しなければシーンチェンジ検出フラグCfn =0にセットする。
次に、フィールド番号fn =0かどうか、即ち動き補償予測処理単位内の先頭フィールドでイントラフィールドであるかどうかを判定する(ステップS403)。この時fn =0であればこのフィールドはイントラフィールドとして処理され(ステップS405)、fn ≠0であれば次のステップS404へ処理が進む。シーンチェンジ検出フラグCfn =0かどうか、即ちその処理フィールドとそのフィールドを動き補償予測で符号化するために必要な参照画像との間にシーンチェンジが存在するかどうかを判定する(ステップS404)。
Cfn =0であればシーンチェンジは存在せず、その現在処理使用としているフィールドは予測フィールドとして処理され(ステップS406)、Cfn =1であればシーンチェンジが存在するので新たに現在処理しようとしているフィールドはイントラフィールドとして処理される(ステップS405)。従って動き補償予測処理単位内であってfn =0でなくてもシーンチェンジが検出され、Cfn =1であればそのフィールドの処理はイントラフィールドとして処理される。
各々のフィールドが処理された後、フィールド番号fn が次のフィールドを指し示すようにフィールド番号がインクリメントされる(ステップS407)。なおこのようなフィールド番号は実際のハードウェアではマイコン等の信号で制御することが可能である。
続いて次のフィールドを指し示すフィールド番号が動き補償処理単位内のフィールドを指し示すような数値であるかどうかが判定される(ステップS408)。動き補償処理単位内のフィールドを指し示さないような数字例えば図4の例では、動き補償予測の処理単位が4フィールドで完結であり、イントラフィールドのフィールド番号fn が0に設定してあるのでfn =4というような数字であれば一連の動き補償予測単位が終了した事になり、fn <4であれば次のフィールドはまだ動き補償処理単位内であると判断し、次のフィールド処理のためシーンチェンジの検出から再び行われる。
一連の動き補償予測処理単位が終了した場合は、これで所望の全てのフィールドの処理が終了したかどうかが判定され(ステップS409)。これは例えばこの高能率符号化装置の終了スイッチが作動したかどうか等で判定される。そして次のフィールドを処理するのであれば次の動き補償予測処理単位の符号化のため、変数を初期化し、シーンチェンジ検出から再び行われる。また高能率符号化装置の作動が終了ならば、符号化は終了する。
次に、第10実施の形態における予測フィールド処理(図44のステップS406) について図45のフローチャートで説明する。図44のステップS404にて予測フィールドとして処理されると決定したフィールドは、そのフィールド内でその処理フィールド内で所定の大きさm[画素]×n[ライン]にブロック化される(ステップS451)。m×nの大きさに分割されたブロックが動き補償予測され(ステップS452)、過去の画像の所定の領域と今分割したブロックとの画素単位の差分である誤差ブロックからその誤差電力P1を算出する(ステップS453)。またブロック化されたままのブロックの状態での原画交流電力P2を算出する(ステップS454)。
各々算出された電力P1, P2はその大きさが比較される(ステップS455)。誤差電力P1が原画交流電力P2よりも小さければ、誤差ブロック(動き補償予測されたブロックの差分値)を選択し(ステップS456)、一方、誤差電力P1が原画交流電力P2より大きければ、入力ブロック(ブロック化されたままの原画)を選択する(ステップS457)。各々選択されたブロックは直交変換を施された後(ステップS458)、各々のシーケンスに設定された所定のビット数に量子化される(ステップS459)。
例えばDCTのような直交変換の場合普通直流や交流の中でも低次のシーケンスにはビット数を多く割り当て、交流の中でも高次のシーケンスにはビット数の割当を少なくするような量子化が行われる。量子化されたデータは伝送に適した符号に変換され(ステップS460)、符号化データは伝送される(ステップS461)。また処理ブロック数を数えるなどして1フィールドの処理が終了したかどうかを判定する(ステップS462)。1フィールド内の処理が終了していなければ再びブロックの処理が行われる。そして1フィールド内のブロックの処理が全て終了であれば予測フィールドの処理を終了する。
第10実施の形態では、図43に示すように動き補償予測過程でシーンチェンジが生じたときにそのシーンチェンジ直後のフィールドをイントラフィールドとすることでシーンチェンジ直後の画像の主観的評価を向上させることができる。
第11実施の形態.
第10実施の形態において図43に示すようにたとえ動き補償予測処理過程でシーンチェンジが生じ、その直後のフィールドをイントラフィールドにしても動き補償処理過程の時間的拘束長は4フィールドで固定である。すなわち動き補償予測処理がスタートしてからは必ず4フィールド毎にイントラフィールドが現れ、シーンチェンジが生じた場合にはその動き補償処理課程の間にもイントラフィールドが存在することになる。これは予測フィールドをイントラフィールドに置き換えた構成である。
第11実施の形態では図46に示すようにシーンチェンジが生じ、その直後のフィールドをイントラフィールドとするとそのイントラフィールドは新たな動き補償処理過程の先頭フィールドとするものである。すなわち動き補償処理過程の時間的拘束長が可変であるということである。通常は例えば図46に示すように動き補償処理過程の時間的拘束長を4フィールドとしておき、その動き補償処理過程でシーンチェンジが生じたときはそのシーンチェンジの直後のフィールドを新たなイントラフィールドとしてそのフィールドを先頭に4フィールド単位の動き補償予測処理を行う。またその動き補償処理過程内でシーンチェンジが生じれば同様にそのシーンチェンジの直後のフィールドをイントラフィールドとしてそのフィールドを先頭に4フィールド単位の動き補償予測処理を行う。
図47は第11実施の形態の全体のフローチャートを示したものである。図47において、図44と同ステップ番号を付した部分は同一部分を示す。まず、ステップS401からステップS406までは第10実施の形態と同様である。ステップS405, S406におけるイントラフィールド処理, 予測フィールド処理は第10実施の形態と同様である。ステップS405にてイントラフィールドとして処理されたフィールドに対し、その処理されたフィールドを先頭フィールドとする動き補償予測処理単位に切り換えるためフィールド番号fn =0とする(ステップS490)。
例えば図46に示すように第10実施の形態によるとたとえイントラフィールドとして処理をされていてもフィールド番号fn は0→1→2→3→0→・・・からと順番に変化したが、第11実施の形態の場合は動き補償処理単位内の先頭フィールドでもないのにイントラフィールドとしてそのフィールドが処理された場合、強引にそのフィールドのフィールド番号fn =0にセットし、そのフィールドを新たな動き補償処理単位内の先頭フィールドとする。このことによって動き補償処理単位の時間的拘束長が可変になり、シーンチェンジがその時設定している動き補償処理単位の時間的拘束長に比べ、時間的に短い頻度で出現すればその動き補償処理単位の時間的拘束長は短いものの連続となる。なお、次のステップS407からステップS409までは第10実施の形態と同様である。
第11実施の形態のようにすることでシーンチェンジ直後の画像をイントラフィールドとして主観的評価を向上させることができる。またシーンチェンジの起こる頻度が動き補償処理単位の時間的拘束長よりも長くその絶対数が少なければ、イントラフィールドのフィールド数が第3実施の形態の場合より少なくなり情報量を削減することができる。
第12実施の形態.
第10実施の形態,第11実施の形態ではシーンチェンジを検出したフィールド(またはフレーム)をイントラフィールド(またはイントラフレーム)として処理を行ったが、イントラフィールド(またはイントラフレーム)とはせずにそのフィールド(またはフレーム)の参照画像を次の動き補償予測処理単位に属しているイントラフィールド(またはイントラフレーム)にしてもかまわない。
第12実施の形態について図48で説明する。図48(a) に図4に示した方式で通常の場合の動き補償予測処理を行っている様子を示す。この場合、イントラフィールドはフィールドF10 とフィールドF14 である。このフィールドF10 とフィールドF14 とを動き補償予測処理単位の先頭フィールドとして動き補償予測が行われる。そして、図49(b) に示すように、今シーンチェンジがフィールドF11 とフィールドF12 との間で生じ、フィールドF12 でシーンチェンジが検出されるとフィールドF12 からそのフィールドF12 を含む動き補償予測処理単位の最後のフィールド、この場合フィールドF13 までを次の動き補償予測処理単位に結合し、フィールドF12 、フィールドF13 は次の動き補償予測処理単位に属しているイントラフィールドを参照画像として動き補償予測を行う。この時結合された次の動き補償予測処理単位においては通常の動き補償予測処理と上記で付加されたフィールドの動き補償予測処理を行う。
第13実施の形態.
第12実施の形態では動き補償予測の処理単位が通常の場合より長くなることがあった。第13実施の形態ではシーンチェンジを検出したフィールド(またはフレーム)から通常の動き補償予測処理単位の長さであるPフィールド(またはPフレーム)分を動き補償予測処理する。
第13実施の形態について図49で説明する。図49(a) に図4に示した方式で通常の場合の動き補償予測処理を行っている様子を示す。この場合イントラフィールドはフィールドF10 とフィールドF14 とである。このフィールドF10 とフィールドF14 とを動き補償予測処理単位の先頭フィールドとして動き補償予測が行われる。図49(b) に示すように、今シーンチェンジがフィールドF11 とフィールドF12 との間で生じ、フィールドF12 でシーンチェンジが検出されるとシーンチェンジが検出されたフィールドF12 から4フィールド(動き補償予測処理単位が4フィールドのため)を動き補償予測の処理単位とし、通常であれば次の動き補償予測処理単位の先頭フィールドでイントラフィールドであったフィールドF14 をその時の動き補償処理単位内のイントラフィールドとし、動き補償予測処理を行う。そしてフィールドF12 から4フィールド分、すなわちフィールドF15 までの動き補償予測処理が終了するとフィールドF16 からは元の通常の動き補償予測処理を行う。
第14実施の形態.
第3実施の形態〜第13実施の形態ではシーンチェンジについての切換を述べたが、ブロックの強制的なイントラモードの発生の数に応じて参照画像を切り換えているので、強制的なイントラモードが数多く出現するような映像、すなわち1フィールド前までは存在しなかった物体または1フィールド前までは存在していた物体が、突然フィールドに現れるかまたは突然フィールドから消滅するような場合にも同様な方法で参照画像を切り換える事が可能である。
第15実施の形態.
第3実施の形態〜第13実施の形態までは例えば図4のような動き補償予測処理を行っている場合から図29のような動き補償予測処理に切り換えたが、例えば図50のように切り換える前はどのような動き補償予測処理を行っていてもよく、シーンチェンジ等を検出後例えば図29のような切り換える前より発生情報量の減少する動き補償予測処理に切り換える。
第16実施の形態.
第3実施の形態〜第15実施の形態は4フィールド単位の動き補償予測処理について述べたが、4フィールド単位でなくてもよく、動き補償予測処理を行い得る任意のフールド数でも行うことが可能である。
第3〜第16実施の形態では、前記のようなハードウェアの追加によりメモリ量をあまり増加させずに例えば図50に示すようにシーンチェンジが動き補償予測の処理単位内に生じた場合でも初めに設定されている参照画像からシーンチェンジ等の影響をできるだけ受けないように参照画像を切り換え、シーンチェンジ直後の映像を動き補償予測の参照画像とし、そのシーンチェンジを検出以後その検出したシーンチェンジ以前のフィールドを動き補償予測の参照画像としないことによって、シーンチェンジによる符号量の増加を最小に抑えてかつ映像の質を劣化させることなく伝送することが可能である。
普通シーンチェンジをはさんで動き補償予測を行うと予測画像の情報量が増加する。そこで、その情報量と同等の情報量でイントラ画像としてそのフィールドを処理すると画像の主観的評価が向上する。シーンチェンジを検出することでそのシーンチェンジ直後の画像をイントラ画像としてフィールド内符号化、フレーム内符号化を行うことでシーンチェンジ直後の画像の主観的評価を向上させることができる。またシーンチェンジが生じたときにその直後の画像をイントラ画像として扱い、そのイントラ画像を先頭の画像として動き補償予測を行うことで発生するイントラ画像の数を少なくすることができ、発生情報量を削減することができる。
第17実施の形態.
図51は本発明による映像情報記録装置及び映像情報再生装置の構成を示すブロック図である。図51において、101 〜111 は図18または図24における従来装置と同じものである。
記録動作について説明する。A/D変換器101 に入力された映像信号は、ディジタル映像信号に変換され、高能率符号化器110 へ出力される。高能率符号化器110 では、映像情報の自己相関や人間の視覚特性、データ発生頻度の偏りなどを利用した冗長度の削減を行い、情報の圧縮(詳細は後述する)を行う。高能率符号化器110 の出力は誤り訂正エンコーダ102 に入力され、記録再生における伝送路誤りを訂正するための誤り訂正符号が付加される。
高密度の記録を行うため、また圧縮された情報は少しの誤りでも影響が広範囲におよぶため、誤り訂正能力が高く、しかも付加する情報の少ない符号が選ばれている。誤り訂正符号が付加されたデータは、変調器103 で磁気ヘッド106 と磁気テープ105 とに適した記録信号に変調される。アジマス記録のためのDC成分および低域成分の抑圧や、磁気ヘッド106 のトレースを助けるトラッキング信号の付加なども変調器103 で行われる。変調器103 で変調された記録信号は磁気ヘッド106 を通して磁気テープ105 に記録される。なお、磁気ヘッド106 は回転ヘッド・ドラム104 に搭載されており、ドラム104 が回転することにより磁気ヘッド106 も回転し、磁気テープ105 には、いわゆるヘリキャル・スキャンで記録される。
次に再生動作について説明する。ヘリキャル・スキャンで磁気テープ105 に記録された信号は、回転ヘッド・ドラム104 に搭載された磁気ヘッド106 にてピックアップされ復調器107 で復調される。復調された信号は、誤り訂正デコーダ108 で誤りの検出および誤り訂正が行われる。誤り訂正済みのデータは高能率復号化器111 で伸長され圧縮符号から元のディジタル映像信号になる。復元されたディジタル映像信号はD/A変換器109 でアナログの映像信号に変換されて出力される。
図52、図53に第17実施の形態におけるテープフォーマットの一例を示す。4フィールドの映像情報({720 + 360×2}×480 ×4/2 =11.06Mビット)は約1.3Mビットに圧縮符号化され、音声信号、誤り訂正符号などと共に10本のトラックに分割して記録される。この場合アジマス方式のガードバンドレス記録で、面積記録密度は約 2.5μm2 /bit となる。
図54は、図51における高能率符号化器110 の内部構成を示すブロック図である。図54において、301 は入力原信号と予測信号との差分を出力する減算器、302 は入力原信号と減算器301 の出力とを選択する第一スイッチ、303 はDCTの直交変換を行うDCT回路、304 は符号化するデータを量子化する量子化器、305 は頻度が高いデータに短い符号を割当て統計的なデータの冗長度を除く可変長符号化器である。
また306 〜311 は、予測信号を求めるローカル復号器を構成しており、306 は量子化データを元にもどす逆量子化器、307 は逆DCTを施す逆DCT回路、308 は予測信号と差分信号とを加算し元の信号を復元する加算器、309 はローカル復号した映像データを蓄えておく画像メモリ、310 は入力原信号の動きを検出し次の予測データを出力する動き補償予測回路、311 は加算器308 に入力するデータを切換える第二スイッチである。
次に高能率符号化器110 の動作を説明する。記録単位ブロックの最初のフィールドは、面間予測を用いないイントラフィールドとして符号化する。第一スイッチ302 は上側が選択されており、入力されたディジタル映像信号は、DCT回路303 で直交変換される。変換されたデータは量子化器304 で量子化され、可変長符号化器305 でハフマン符号などの可変長符号に符号化され出力される。また同時に量子化されたデータは逆量子化器306 で逆量子化され、逆DCT回路307 に入力される。逆DCT回路307 では直交変換されたデータが元の画像データに逆変換され、加算器308 へ出力される。イントラフィールドでは、第二スイッチ311 も上側が選択されており、従って加算器308 の一方の入力が零になるので、逆DCT回路307 の出力はそのまま画像メモリ309 に入り記憶される。
次のフィールドの符号化には、面間予測を用いる。面間予測では第一, 二スイッチ302,311 は下側が選択されている。入力されたディジタル映像信号は、減算器301 と動き補償予測回路310 とに入る。動き補償予測回路310 では、記憶された画像と入力された画像とを比較し、入力画像の動きベクトルと予測符号化に用いる予測画像とを出力する。減算器301 では、入力画像と予測画像との差分を計算し、予測誤差信号としてDCT回路303 へ出力する。予測誤差信号は生の画像信号と比較して、その予測精度が高いほど、情報量が減少している。例えば、全くの静止画ならばその誤差信号は零になる。
DCT回路303 へ入力されたデータは最初のフィールドと同じように、DCT回路303,量子化器304 でそれぞれ直交変換, 量子化が行われ、更に可変長符号化器305 で可変長符号に変換され出力される。一方、量子化されたデータは逆量子化器306 を通して逆DCT回路307 へ送られ、逆量子化と逆直交変換とを受けた後、加算器308 に入る。加算器308 の他方の入力には、予測誤差を求めたとき用いた予測画像が入力されており、加算器308 の出力としては入力画像と同じものが得られる。加算器308 の出力は画像メモリ309 に記憶される。以下同様にnフィールドまで符号化される。
図55には、フレーム毎のデータ発生量の変化の一例を示す。この例では8フレーム毎に面間予測を用いないイントラフレームが挿入され情報量が多くなっていることが分かる。また、図56には、各フィールドの記録情報とトラックへの書き込み関係の一例を示す。この例では、4フィールドのデータを10本のトラックに記録している。フィールド1つのデータ量は、トラックの記録容量の整数倍でなくてよい。
第18実施の形態.
第17実施の形態では、4フィールドのデータを10本のトラックに記録していたが、毎回10本のトラックに記録する必要はなく、記録する情報量に応じて8本または6本のトラックに記録してもよい。
以上のように、第17, 第18実施の形態では、複数のフィールドまたはフレームの信号をまとめて1つの記録単位として所定の数のトラックに記録するため、所定の数のトラックを再生すれば、記録したフィールドが全て再現できるので、VTRに要求される特殊再生や編集に対応することができる。また、記録する情報量に応じて、記録するトラックの数を選択するので、無駄なトラックが発生せず、長時間の記録再生をすることができる。また、記録する情報を、各トラックの記録容量に合わせる必要が無いので、各トラック毎に発生する無駄がなく、効率の良い記録をすることができる。更に、各記録単位の中には必ず面間予測を用いないイントラ画像があるので、スピードサーチなどの特殊再生時に、容易に復元画像が得られる。また、面間予測を使用した予測画像より、記録する情報量を低減することができる。
2 ブロック化回路、4 誤差電力算出回路、5 原画電力算出回路、6 判別回路、7 第一スイッチ回路、16 MC回路、19 第二スイッチ回路、30 動き補償予測回路、31 判定器、32 第1スイッチ、33 直交変換回路、34 量子化回路、35 第2スイッチ、36 逆量子化回路、37 逆直交変換回路、40 判定器、50 モードカウンタ、51 方向切換回路、52 画像メモリ、60 画像メモリ、61 SC検出回路、62 第一スイッチ回路、64 第二スイッチ回路、103 変調器、107 復調器、110 高能率符号化器、111 高能率復号化器。