JP2005328512A - ディジタル映像信号再生装置および再生方法 - Google Patents
ディジタル映像信号再生装置および再生方法 Download PDFInfo
- Publication number
- JP2005328512A JP2005328512A JP2005107713A JP2005107713A JP2005328512A JP 2005328512 A JP2005328512 A JP 2005328512A JP 2005107713 A JP2005107713 A JP 2005107713A JP 2005107713 A JP2005107713 A JP 2005107713A JP 2005328512 A JP2005328512 A JP 2005328512A
- Authority
- JP
- Japan
- Prior art keywords
- data
- picture
- video signal
- encoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【目的】 光ディスクなどのメディアから再生するディジタル信号再生装置において、見易い特殊再生画像を得る。
【構成】 動き補償予測と直交変換とに基づいて符号化された映像情報を記録媒体上より再生するディジタル映像信号再生装置において、記録媒体から映像情報を抽出する映像情報抽出手段と、通常再生モード、または奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、または奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示する逆再生モードから選択されるいずれか1つに再生モードを切り替えるモード切り替え手段と、モード切り替え手段からの出力に基づいて、映像情報抽出手段から出力される映像情報を復号して再生する映像情報復号再生手段とを有する。
【選択図】 図28
【構成】 動き補償予測と直交変換とに基づいて符号化された映像情報を記録媒体上より再生するディジタル映像信号再生装置において、記録媒体から映像情報を抽出する映像情報抽出手段と、通常再生モード、または奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、または奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示する逆再生モードから選択されるいずれか1つに再生モードを切り替えるモード切り替え手段と、モード切り替え手段からの出力に基づいて、映像情報抽出手段から出力される映像情報を復号して再生する映像情報復号再生手段とを有する。
【選択図】 図28
Description
この発明はディジタル映像信号の記録または再生を行うディジタル映像信号記録装置および再生装置に関わり、特に動き補償予測と直交変換とに基づいて符号化したディジタル映像信号を記録再生するディジタル映像信号記録装置および再生装置に関するものである。
従来のディジタル映像信号記録再生装置には例えば特開平6−98314号公報、特開平6−78289号公報等に示されたものがあり、その一例を図29に示す。図において、75はカメラ、VTR等の映像信号ジェネレータ、76はマイク、VTR等のオーディオ信号ジェネレータ、62は映像信号符号器、63はオーディオ信号符号化器、77はシステムレイヤビットストリーム生成器、78は誤り訂正符号化器、79はディジタル変調器、80は光ディスク、56は再生アンプ、86は検波器、81はディジタル復調器、58は誤り訂正器、59はシステムストリーム処理器、82は映像信号復号器、83はオーディオ信号復号器、84はモニタ、85はスピーカである。
現在、光ディスクとして一般的なものは120mm径のものであり、通常、この光ディスクは600Mバイト強のデータの記録が可能である。ごく最近では、この光ディスクに対して1.2Mbps程度のデータレートで74分の映像信号および音声信号の記録が可能な製品がでてきており、記録時は映像信号ジェネレータ75から映像信号を映像信号符号化手段62に入力して映像信号の符号化を行い、オーディオ信号ジェネレータ76からは、オーディオ信号をオーディオ信号符号化手段63に入力して音声信号の符号化を行う。これら二つの符号化された信号にヘッダ等を多重化する処理をシステムレイヤビットストリーム生成器77によって行い、さらに誤り訂正符号付加器78によって誤り訂正符号を付加したのち、ディジタル変調器79によってディジタル変調されて、記録のためのビットストリームが生成される。このビットストリームを記録手段(図示しない)によってマザーディスクが作成され、このマザーディスクの内容をディスク80に複製して市販映像ソフトディスクが作成される。
ユーザの再生機においては、映像ソフトディスクから、光ヘッドによって得られた信号を再生アンプ56によって増幅し検波器86に再生信号を入力する。この再生信号は、検波器86によって検波した後、ディジタル復調器81においてディジタル復調し、誤り訂正器58によって誤り訂正を施す。この後、誤り訂正された信号より映像信号領域を抽出し、この抽出データを映像信号復号化器82によって復号化処理し、オーディオ信号復号化器によってオーディオ信号の復号化処理した結果と合わせてモニタ84及びスピーカ85に出力する。
この映像信号の符号化手法として代表的なものは、国際標準符号化方式であるMPEG(Moving Picture Experts Group)方式と称するMPEG1およびMPEG2がある。以下MPEG2を例にとって符号化手法の具体例を説明する。MPEGについては「MPEG技術」(トリケップス社 米満 潤 監修)などに紹介されている。
図30にMPEG2の符号化方式を説明するための従来のディジタル信号記録・再生装置における映像信号符号化部のブロック図、図32に復号化方式の説明するための従来のディジタル信号記録・再生装置における映像信号復号化部のブロック図を示す。また、図31はMPEG2の符号化方式による動画のグループ化の説明をするための従来のディジタル信号記録・再生装置における映像信号符号化の動画像処理の概念を示す図であり、図においてIBBPBBP……の、IはIピクチャ、BはBピクチャ、PはPピクチャをそれぞれ示している(以下、特に断わりの無い限り、図面中のIはIピクチャ、BはBピクチャ、PはPピクチャをそれぞれ示す。)。たとえば、図31の(ア)では、Iから次のIの出現前までの動画をある一定の枚数でグループ化している。このグループを構成するピクチャの枚数は通常15枚である例が多いが、特に制限はされていない。
このグループを構成する画像群を、独立再生が可能な画像単位あるいはnフレームからなる一かたまりの画像あるいは連続する複数枚の画像の一かたまりあるいはグループオブピクチャ(Group of Picture。以下、画像群またはGOPと称す)という。このGOPは、完全に1枚だけで復号化可能なフレーム内符号化画面(以下Iピクチャと称す)が少なくとも1枚あり、その他にIピクチャを基に、その時間系列の片方向予測によって動き補償予測をして符号化するフレーム間予測符号化画面(以下Pピクチャと称す)と、IピクチャとPピクチャを基に、その時間系列の両方向予測によって符号化する双方向予測符号化画面(以下Bピクチャと称す)とで構成される。(なお図31中矢印は予測関係を表す)
すなわち、BピクチャはIおよびPピクチャが揃ってからしか符号化復号化できず、GOPの中の初めてのPピクチャはその1つ前のIピクチャが揃って符号化復号化が可能となる。GOPの中の2枚目以降のPピクチャはその1つ前のPピクチャが揃って符号化復号化が可能となる。従ってIピクチャがなければP、Bピクチャの両方とも符号化復号化はできない。
図30において87は画像並び換え器、88は走査変換器、89はエンコーダバッファ、90はモード判定器、2は動きベクトル検出器、6は減算器、8はDCT演算器であり、フィールドメモリおよびフレームメモリとDCT演算部を有している。10は量子化器、14は逆量子化器、16は逆DCT演算器(IDCTと表記)、18は加算器、20は画像メモリ、22はレート制御器、26は可変長符号化器である。
図32において33は可変長復号器(VLDと表記)、34は逆DCT、37は画像メモリ、38は加算器、39は逆走査変換器である。なお、今後動きベクトル検出器2とモード判定器90は2つあわせて動きベクトル検出部と表現する。
次に図30〜図32に基づき、従来の光ディスク等を利用したディジタル映像信号記録・再生信号の動作について説明する。図30において画像並び換え器87によって、図31に示す順で符号化するための画像の並び換えを行い、ラスタスキャンからブロックスキャンに走査変換器88によって変換する。以後この画像の並べ変え処理およびラスタスキャンからブロックスキャンへの変換処理を総称して前処理と称し、画像並び換え器87および走査変換器88を総称して前処理器と称する(図30中、PRと表記した部分)。入力された画像データは符号化される順序でブロックスキャンされて、Iピクチャであれば減算器6はスルーされるし、PピクチャおよびBピクチャであれば参照画像と減算器6によって引き算される。
このとき画像の動きベクトル検出器2によって(このベクトル検出器2への入力は原画像としては画像並び換えのあとの画像でも、ブロックスキャンした後の画像でも良いが後者の方が回路規模は小さくなる、また参照画像も画像メモリ20から入力されていなければならないが図中の参照矢印は省略する)動いた方向と量を求め画像メモリ20からその分を考慮した領域の信号が読み出される。このときモード判定器90は両方向予測を使うのか、片方向予測を使うのかを判定する。
動きベクトルを考慮した参照画面との減算が減算器6でおこなわれ電力の小さな画像になり符号化効率が上がるような仕組みになっている。減算器6の出力はDCT演算器8によって、フィールド単位またはフレーム単位でまとめられ離散コサイン変換(DCT)され周波数成分のデータに変換される。このデータは周波数毎に重みの異なる量子化器10に入力され、可変長符号化器26によって低周波成分高周波成分にわたって2次元的にジグザグスキャンされ、ランレングス符号化およびハフマン符号化を施される。
このランレングス符号化およびハフマン符号化を施されたデータは、目標符号量に対して合致させるようにレート制御器22を用いて量子化テーブルをスケーリングするように制御され、可変長符号化を施される。この可変長符号化されたデータは、通常、エンコーダバッファを介して出力される。量子化されたデータは逆量子化器14によって元に戻され、逆DCT演算器16によって元の画像空間データにもどされ先ほどの減算器6によって参照されたデータと加算器18によって加算を行うことでデコードしたときと同じデータが得られる。
図32は復号化装置についての概略的なブロック構成を示しており、可変長復号化器33によって動きベクトルや符号化モードやピクチャモードなどのヘッダ情報を含めて画像データを復号し、この復号データを量子化後、逆DCT演算器36によって逆DCT演算を施し(なお、図32中、逆DCT演算器36前段にある逆量子化器を省略している。)、動きベクトルを考慮して画像メモリ37から画像データを参照して、その参照した画像データを加算器38によって逆DCT後のデータと加算することで動き補償予測のデコードを行う。このデータを逆走査変換器39によってラスタースキャンに変換してインターレース画像を得、出力する。
また、1994年テレビジョン学会年次大会における杉山他の発表で「可変転送レートディスクシステムとその符号量制御方法」に紹介された可変転送レートディスクシステムによれば、さらなる高画質なディジタル映像信号の符号化方式の提案がなされている。これは、GOPの符号化レートを1プログラム(例えば一番組)で固定化してその中の各GOPについては絵柄の難しさに応じたレートに設定して符号化していく手法が提案されている。図33は、この方式による従来のディジタル信号記録・再生装置における映像信号符号化部のブロック図を示す。図33において91は動き補償予測器、92は符号量メモリ、93はGOPレート設定器、94は符号量割当器、95は減算器、96は符号量カウンタ、97はスイッチである。図33のGOPレート設定器は量子化値の設定を絵柄の複雑さで変化させるようにしている。つまりスイッチ97が仮符号化側に接続されている間に可変長符号化器26の出力が符号量カウンタ96に入力されて、この符号量カウンタ96において符号量が計数され符号量メモリ92に蓄えられる。
GOPレート設定器93は、この符号量メモリ92に蓄えられた符号量の値から、1プログラム全てにおける仮符号量を求め、各GOPの最適符号化レートを算出設定する。このときの符号割当を符号量割当器94によって算出し本符号化の準備が整う。スイッチ97が本符号化の方に接続されると符号量割当器94から出力される符号量割当量と符号量カウンタ96の値とを比較して、実符号量に基づき量子化器を制御するように動作する。このようにすることでプログラムの中でゆっくり変化する符号化の難易度を吸収するように容易な絵柄には少しの符号量、複雑な絵柄には多くの符号量が割り当てられる。この結果この方式によって3Mbpsのレートで記録したものについて、それまでの方式を用いて6Mbpsのレートで符号化したものとほぼ同等の画質を得たと報告されている。
上記のような光ディスクを用いたディジタル映像信号記録・再生装置におけるスキップサーチの可能性について考えた場合、GOPの先頭が高速にアクセスできても例えば早送りにするためにIピクチャとPピクチャを再生したいと考えた場合、PピクチャはGOP内の適当な位置に書かれているのでビットストリーム上のデータを探しながら光ヘッドを動作させる必要が生じる。しかし、これはアクチュエータ等のサーボの時定数などからこのような制御が間に合わない。ある特定GOPの先頭を見つけるには1GOPあたり通常15フレームの画像が含まれており、NTSC走査方式で0.5秒の裕度があるため検索可能性はあるものの、例えばスキップサーチ時にIピクチャ、Pピクチャを読みだそうとしてもフレームレートで3分の1の画像を読み出すためのビットストリームは2分の1以上の読みだしを必要とするためヘッド移動時間を200ミリ秒とすると通常の2.5倍以上の読みだし速度が要求される。これはアクチュエータの応答限界を越えており、順当な再生方法によっては、実質的にスキップサーチが不可能である。
特開平6−98314号公報
特開平6−78289号公報
従来のディジタル信号記録・再生装置では、このように符号化されているので、ビデオテープレコーダのようにスキップサーチ(早送りでみること)などをしようとすると、Bピクチャのように1枚の画像データからは完全な元の画像の復元ができないデータなどを再生した場合、まともな再生画像を得られず、特にスキップサーチなどではフレーム単位での出力処理に関わるジャーキネス(動きの不自然さ)などが発生したり、再生画質の良い可変レートコーディングを行うと、GOPの先頭アドレスの位置が変化するため、GOPの先頭そのものをアクセスするのに困難さが増し、GOPの単位が揃わずディスク領域に空白ができるなどの問題点がある。
本発明は以上のような問題点に鑑みて成されたものであり、動き補償予測と直交変換を用いて符号化したディジタル映像信号を記録再生するディジタル映像信号記録・再生装置におけるスキップサーチを可能にすると共に、可変レートコーディングを採用する前提のもとで、GOPへのアクセス性の向上と、記憶媒体上における空き領域の有効利用とを実現できるディジタル映像信号記録・再生装置を得ることを目的とする。
請求項1に係る本発明は、動き補償予測と直交変換とに基づいて符号化された映像情報を記録媒体上より再生するディジタル映像信号再生装置において、前記記録媒体から映像情報を抽出する映像情報抽出手段と、通常再生モード、または奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、または奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示する逆再生モードから選択されるいずれか1つに再生モードを切り替えるモード切り替え手段と、前記モード切り替え手段からの出力に基づいて、前記映像情報抽出手段から出力される映像情報を復号して再生する映像情報復号再生手段とを有することを特徴とするディジタル映像信号再生装置である。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するディジタル映像信号記録装置において、上記動き補償予測と直交変換を用いて符号化したディジタル映像信号のうちの少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号を所定の条件に従って符号化する第一の符号化手段と、上記映像信号のうち上記第一の符号化手段を用いた符号化による残差成分に対しての符号化を行う第二の符号化手段と、上記第一および第二の符号化手段から出力されるおのおのの出力データを、画像群データ毎に、各画像群データにおける所定の位置に配列するためのデータ配列手段とを有するものである。
また、第一の符号化手段が少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号に対し、所定の間隔で間引かれた映像情報を符号化する構成としたものである。
また、第一の符号化手段が直交変換された低周波領域のみを符号化する構成としたものである。
また、第一の符号化手段が量子化レベルで粗く量子化して符号化する構成としたものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するディジタル映像信号記録装置において、上記動き補償予測と直交変換を用いて符号化したディジタル映像信号のうちの少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号を所定のビットごとに区切ったデータ列より低周波領域分のデータを抽出する低周波領域抽出手段とを有するものである。
また、動き補償予測と直交変換とを用いて符号化され、かつ低周波領域のデータと高周波領域のデータとが領域分けされたデータよりなるディジタル映像信号を記録媒体上から再生するディジタル映像信号再生装置において、上記低周波領域のデータと上記高周波領域のデータとを所定の順序に並び換えるデータ並び換え手段と、該並び換えられたデータを復号するモードまたは選択的に上記低周波領域のデータを復号するモードの何れか一方のモードを選択するモード切り替え手段とを有するものである。
さらに低周波領域のデータのみ復号化するモードで復号化する場合は、復号化可能なデータのみを復号し、所定のビット数境界付近の復号化不能なデータは廃棄し、得られた高周波領域のデータについては固定値に置き換え逆直交変換を施すデータ操作手段を有するものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するディジタル映像信号記録装置において、上記動き補償予測と直交変換を用いて符号化したディジタル映像信号のうちの少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号の各ブロックの符号化データに対し低周波領域のデータとしての所定のビット数に達するとブロック終端符号を付し、上記所定のビット数を越える上記符号化データを高周波領域データとして符号化を行う符号化手段を有するものである。
また、動き補償予測と直交変換とに基づいて符号化された低周波領域のデータと、高周波領域のデータがブロック終端符号によって仕切られてなる符号化データを記録媒体上から読み出すディジタル映像信号再生装置において、低周波領域のデータと高周波領域のデータとブロック終端符号のそれぞれに基づいて、データを再構成するデータ再構成手段と、再構成したデータを復号するモードまたは選択的に低周波領域のデータのみを復号化するモードの何れか一方のモードを選択するモード切り替え手段と、該モード切り替え手段の出力に基づいて再構成された符号化データを復号化する復号化手段と、高周波領域については固定値に置き換え逆直交変換を施すデータ操作手段とを有するものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するディジタル映像信号記録装置において、上記動き補償予測と直交変換を用いて符号化したディジタル映像信号のうちの少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号に対して画素間引きを行った低解像度成分のデータを符号化する符号化手段と、該符号化手段の出力データを補間し画素間引きを行う前の画像との差分成分を符号化する差分成分符号化手段を有し、上記符号化手段の出力と上記差分成分符号化手段の出力とを所定の領域にわけてデータを構成し、オーディオ信号やヘッダなどを付加し誤り訂正符号を付す情報付加手段とを有するものである。
また、動き補償予測と直交変換とに基づいて符号化され、かつ画素間引きされた低解像度分のデータと、画素間引き前の画像と画素間引きされた後に補間された画像との差分成分に対応するデータとを有するディジタル映像信号を記録媒体より読み出すディジタル映像信号再生装置において、上記低解像度成分のデータと上記差分成分のデータとを合成して復号化する復号手段を有するものである。
さらに低解像度成分のデータと差分成分のデータとを合成して復号化するモードと低解像度成分のみ復号化するモードとを切り替えるモード切り替え手段を有するものである。
また、さらに低解像度画像の復号化時は復号化後補間した映像を生成する補間映像生成手段を有するものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するに際し、上記動き補償予測と直交変換とに基づく符号化および復号化した際の画像劣化の程度を判定する絵柄判定手段と、該絵柄判定手段からの判定出力に基づいてデータレートを適応的に変化させてエンコードする適応型エンコーダと、オーディオ信号、ヘッダ情報および誤り訂正符号を付加する情報付加手段とを有するディジタル映像信号記録装置において、適応的に変化させるデータレートに離散的な値を設定するためのデータレート設定手段を有するものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するに際し、上記動き補償予測と直交変換とに基づく符号化および復号化した際の画像劣化の程度を判定する絵柄判定手段と、該絵柄判定手段からの判定出力に基づいてデータレートを適応的に変化させてエンコードする適応型エンコーダと、オーディオ信号、ヘッダ情報および誤り訂正符号を付加する情報付加手段とを有するディジタル映像信号記録装置において、データレート情報をヘッダに多重するか、または記録媒体上の所定の領域に書き込む構成としたものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するに際し、上記動き補償予測と直交変換とに基づく符号化および復号化した際の画像劣化の程度を判定する絵柄判定手段と、オーディオ信号、ヘッダ情報および誤り訂正符号を付加する情報付加手段とを有するディジタル映像信号記録装置において、少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号に対し、所定の間隔で間引かれた映像信号を符号化する第一の符号化手段と、上記映像信号のうち上記第一の符号化手段を用いた符号化による残差成分に対しての符号化を行う第二の符号化手段とを有して、上記絵柄判定手段からの判定出力に基づいて上記第一および第二の符号化手段のうち少なくともいずれか一方の符号化手段におけるデータレートを適応的に変化させて符号化する構成としたものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するに際し、上記動き補償予測と直交変換とに基づく符号化および復号化した際の画像劣化の程度を判定する絵柄判定手段と、オーディオ信号、ヘッダ情報および誤り訂正符号を付加する情報付加手段とを有するディジタル映像信号記録装置において、少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号に対し、直交変換された低周波領域のみを符号化する第一の符号化手段と、上記映像信号のうち上記第一の符号化手段を用いた符号化による残差成分に対しての符号化を行う第二の符号化手段とを有して、上記絵柄判定手段からの判定出力に基づいて上記第一および第二の符号化手段のうち少なくともいずれか一方の符号化手段におけるデータレートを適応的に変化させて符号化する構成としたものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するに際し、上記動き補償予測と直交変換とに基づく符号化および復号化した際の画像劣化の程度を判定する絵柄判定手段と、オーディオ信号、ヘッダ情報および誤り訂正符号を付加する情報付加手段とを有するディジタル映像信号記録装置において、少なくともフレーム内符号化画像を含む符号化画像よりなる映像信号に対し、量子化レベルで粗く量子化して符号化する第一の符号化手段と、上記映像信号のうち上記第一の符号化手段を用いた符号化による残差成分に対しての符号化を行う第二の符号化手段とを有して、上記絵柄判定手段からの判定出力に基づいて上記第一および第二の符号化手段のうち少なくともいずれか一方の符号化手段におけるデータレートを適応的に変化させて符号化する構成としたものである。
また、動き補償予測と直交変換とに基づいて符号化された符号化データのデータレートが絵柄に応じて適応的に可変であるデータを読み出すディジタル映像信号再生装置において、通常再生モードと特殊再生モードとの再生モードの切り替えを行うモード切り替え手段と、データレート情報を抽出するデータレート情報抽出手段と、上記特殊再生モード時に上記データレート情報抽出手段から出力されるデータレート情報に基づいて特殊再生用のデータが存在する記録媒体上の位置を算出する位置情報算出手段とを有するものである。
また、さらに位置情報算出手段からの出力と特殊再生速度に応じて記録媒体上の位置にヘッド位置を制御するヘッド位置制御手段を有するものである。
また、動き補償予測と直交変換とを用いて符号化したディジタル映像信号を記録媒体上に記録するディジタル映像信号記録装置において、上記動き補償予測と直交変換とに基づいて符号化したディジタル映像信号によって形成される1画像群に割り当てられた領域に対応して符号量の制御を行い、エンコードするエンコード手段と、該エンコード手段からの出力と所定の符号量を比較する符号量比較手段と、該符号量比較手段からの出力に基づいて、余分のデータを空白領域を有する画像群の空白領域に埋め込むデータ補充手段とを有するものである。
また、動き補償予測と直交変換とに基づいて符号化され、この符号化データをもとに形成された画像群の空白領域に他の画像群のデータが埋め込まれたディジタル映像信号データを記録媒体から読み出すディジタル映像信号再生装置において、埋め込まれた映像信号符号化データをもとの画像群に再構成するデータ再構成手段と、該データ再構成手段からの再構成されたデータを復号化するデータ復号手段とを有するものである。
また、動き補償予測と直交変換とに基づいて符号化が行なわれ、かつ各画像群データの所定の位置に第1および第2の符号化データの配列がなされたデータから、所定の条件に従って上記第1および第2の符号化データに対応する第1および第2の復号データを生成するディジタル映像信号再生装置において、上記第1および第2のデータを復号して再生画像を得る第1の復号手段と、上記第1のデータを復号してフレーム内符号化画像の低周波領域または間引かれた画素数または粗い量子化に相当する再生画像を得る第2の復号手段と、上記第1のデータを復号して少なくともフレーム内符号化画像、フレーム間予測符号化画像の低周波領域または間引かれた画素数または粗い量子化に相当する再生画像を得る第3の復号手段のうち、少なくともいずれか一つの復号手段を有し、特殊再生の際に上記いずれの復号手段を用いるかを特殊再生速度に基づいて切り替えるためのモード切り替え手段を有するものである。
また、動き補償予測と直交変換とに基づいて符号化された映像情報を記録媒体上より再生するディジタル映像信号再生装置において、再生符号中から映像信号に対応するデータを抽出する映像データ抽出手段と、該映像データ抽出手段から出力される映像データを復号して再生する映像データ復号再生手段と、映像データの再生の際に通常の再生モード、または奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、または奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示をするモードとを切り替えるモード切り替え手段とを有するものである。
また、動き補償予測と直交変換とに基づいて符号化が行なわれ、かつ各画像群データの所定の位置に第1および第2の符号化データの配列がなされており、かつ符号化されたデータレートが絵柄に応じて適応的に可変であるデータから所定の条件に従って上記第1および第2の符号化データに対応する第1および第2の復号データを生成するディジタル映像信号再生装置において、上記第1および第2のデータを復号して再生画像を得る第1の復号手段と、上記第1のデータを復号してフレーム内符号化画像の低周波領域または間引かれた画素数または粗い量子化に相当する再生画像を得る第2の復号手段と、上記第1のデータを復号して少なくともフレーム内符号化画像、フレーム間予測符号化画像の低周波領域または間引かれた画素数または粗い量子化に相当する再生画像を得る第3の復号手段のうち、少なくともいずれか一つの復号手段を有し、特殊再生の際に上記いずれの復号手段を用いるかを特殊再生速度に基づいて切り替えるためのモード切り替え手段を有するものである。
請求項1記載の本発明によれば、逆再生時はフィールド表示までを逆に動くように表示し、早送りのようなフレーム飛ばしの再生時には偶数フィールドは奇数フィールドと同じ映像信号を出力するようにすることで飛ばすフィールドの数を一定にすることにより見易い特殊再生画像を得ることができるという効果がある。
また、上記ディジタル映像信号記録装置によれば、特殊再生時最低限アクセスすべき符号量が少なくなるような符号化が可能で、特殊再生時最低限アクセスすべきデータのディスク上の配置が効率的に行えるという効果がある。
また、上記ディジタル映像信号記録装置によれば、第一の符号化手段によって、空間的に間引かれた映像データを符号化し、第一の符号化手段のデータのみをアクセスすれば、復号しても十分にシーン理解できるように符号化できるという効果がある。
また、上記ディジタル映像信号記録装置によれば、第一の符号化手段によって、ブロック毎に部分的な周波数領域の映像データを符号化し、第一の符号化手段のデータのみをアクセスすれば、復号しても十分にシーン理解できるように符号化できるという効果がある。
また、上記ディジタル映像信号記録装置によれば、第一の符号化手段によって、粗く量子化することにより、解像度を落とすことなく符号化でき、、第一の符号化手段のデータのみをアクセスすれば、復号しても十分にシーン理解できるように符号化できる効果がある。
また、上記ディジタル映像信号記録装置によれば、データ抽出手段によって、映像信号の低周波領域を区切れるようになり、しかも符号量が固定の長さ以下に制限することが容易であり、しかも低周波領域のデータを復号すれば、画像の大雑把な内容は理解できるように符号化できるという効果がある。
また、上記ディジタル映像信号再生装置によれば、通常再生時データ並び換え手段によって、2つに区切られた符号化データをつなぎ合わせて完全な復号画像が得られ、特殊再生時は、2つに区切られた符号化データのうち、低周波領域のデータのみを復号することによって画像の大雑把な内容が把握できる程度の画像が得られるという効果があり、装置の動作状況に応じて復号することができるという効果がある。
また、上記ディジタル映像信号再生装置によれば、特殊再生時、データ操作手段によって、2つに区切られた符号化データのうち低周波領域を復号する場合、復号化可能なデータのみを復号化し、復号化できなかったビットは廃棄することによって、異常データを復号することを回避することができ、さらにブロックの残りの高周波領域については固定値に置き換えて復号するようによってデータ化けなく復号画像を得ることができるという効果がある。
また、上記ディジタル映像信号記録装置によれば、ブロックの低周波領域と高周波領域ともにEOBで見かけ上ブロックを終了したように符号化するため、低周波領域のデータのみを復号する場合、データの廃棄などの余計な回路を要することなく復号できるような符号化データを得ることができる。
また、上記ディジタル映像信号再生装置によれば、通常再生時データ再構成手段によって、それぞれEOBで区切られた符号化データから完全な復号画像を得られ、特殊再生時は、符号化データのうち、低周波領域のデータのみを復号することによってシーン理解できるほどの大雑把な画像を得ることができるという効果がある。また、上記2つモードは装置の動作状況に応じて動作できるという効果がある。また、データ操作手段が、符号化データのうち低周波領域を復号する場合、ブロックの残りの高周波領域については固定値に置き換えて復号するためデータ化けなく復号できる。
また、上記ディジタル映像信号記録装置によれば、低解像度符号化手段によって、空間的に間引かれた映像データを符号化し、この符号化手段のデータのみをアクセスすれば、復号しても十分にシーン理解できるように符号化できる効果がある。差分成分符号化手段が、低解像度符号化手段の中の復号データを補間して、低解像度変換を行う前の画像と比較することで差分成分を得て低解像度符号化手段で得られていない高解像度分の映像データを符号化することによって低解像度以外の映像情報を符号化することができる。
また、上記ディジタル映像信号再生装置によれば、通常再生時、映像信号復号手段によって、低解像度分の符号化データと、低解像度に間引く前のデータと低解像度分のデータとの差分成分の高解像度成分の符号化データを合成することで、完全な解像度の画像を復号化できるという効果がある。
また、上記ディジタル映像信号再生装置によれば、モード切り替え手段によって、通常再生時、2つに区切られた低解像度符号化データと低解像度に間引く前のデータと低解像度分のデータとの差分成分の高解像度成分の符号化データとを合成して完全な解像度の画像を復号化でき、特殊再生時は、低解像度符号化データのみを復号化することで大雑把な画像を復号化することができるという効果がある。また、装置の動作状態によって上記のように復号化手段を切り替えられるという効果がある。
また、上記ディジタル映像信号再生装置によれば、映像生成手段が、特殊再生時、低解像度符号化データのみを復号化する場合には、低解像度成分の映像データを補間し元の画像サイズに戻すことができるという効果がある。
また、上記ディジタル映像信号記録装置によれば、データレート設定手段が、可変レートの映像信号符号化手段においてレートをごく限られた値しか設定されないため、GOPのデータレート情報(GOPの符号量に相当)を少ないビット数で表現できるようになるという効果がある。
また、上記ディジタル映像信号記録装置によれば、可変レートで符号化した場合のデータレート設定情報を記録媒体上に映像データとは別に記録されるため、データレート情報をまとめて読みとることができるようになり、所定のGOPのディスク上に占める位置がすぐに算出できるような情報を記録できるという効果がある。
また、上記ディジタル映像信号記録装置によれば、可変レートによって高画質な符号化を実現でき、なおかつ可変レートによって、非常にレートが増えたGOPにおいても、空間的に間引かれた映像データを符号化する符号化手段によって、再生時の最低限アクセスする領域を減らすように符号化することができるという効果がある。
また、上記ディジタル映像信号記録装置によれば、可変レートによって高画質な符号化を実現でき、なおかつ可変レートによって、非常にレートが増えたGOPにおいても、符号化手段が、ブロック毎に部分的な周波数領域の映像データを符号化する符号化手段によって、再生時の最低限アクセスする領域を減らすように符号化することができるという効果がある。
また、上記ディジタル映像信号記録装置によれば、可変レートによって高画質な符号化を実現でき、なおかつ可変レートによって、非常にレートが増えたGOPにおいても、符号化手段が、粗く量子化することにより、完全な解像度のデータを符号化し、再生時の最低限アクセスする領域を減らすように符号化することができるという効果がある。
また、上記ディジタル映像信号再生装置によれば、データレート情報抽出手段によって、各GOPのデータレート情報を抽出することができるようになり、ディスク位置情報算出手段によって、得られたデータレート情報から、アクセスしたいGOPのあるディスク上の位置情報を算出することによって高画質な可変レートの特殊再生や検索を容易にできるようにするという効果がある。
また、上記ディジタル映像信号再生装置によれば、特殊再生速度に応じてアクセス目標となるGOPのあるディスク上の位置情報を算出し、光ヘッド位置変換手段によって、特殊再生速度に応じた目標GOPの位置に光ヘッド位置を制御することができ高画質な可変レートの多様な速度の特殊再生が可能になるという効果がある。
また、上記ディジタル映像信号記録装置によれば、可変レートで符号化して記録した場合もヘッドがアクセスし易い位置にGOPすることで、アクセス時間が短くなるため、特殊再生において読み出しデータ量を増やすように符号化して記録することができるようになる。また、そのときのディスク上の余白部などの無駄部分を可能な限り埋めることができ、その分画質の向上に使用するか、あるいは記録時間の長時間化に寄与するという効果がある。
また、上記ディジタル映像信号再生装置によれば、空白領域に他のGOPのデータが埋め込まれた符号化データを元のGOPの符号化データを再構成できるためデータ化けなく復号化でき、なおかつ特殊再生において読み出しデータ量が増え、なおかつ高画質な再生画を得ることができるという効果がある。
また、上記ディジタル映像信号再生装置によれば、特殊再生のスピードに応じて、Iピクチャのみを復号化して表示するモードとI,Pピクチャを表示するモードを切り替えるため、比較的遅い特殊再生(例えば2倍速など)では、I、Pピクチャの特殊再生を実現でき、Iピクチャのみの特殊再生に比べてフレーム飛びの少ないきめ細かな特殊再生が実現でき、また、速い特殊再生時にはIピクチャの特殊再生をするなどのように再生速度に応じた、優れたマンマシンインターフェイスのディジタル映像信号再生装置を得ることができる。
また、上記ディジタル信号再生装置によれば、逆再生時はフィールド表示までを逆に動くように表示し、早送りのようなフレーム飛ばしの再生時には偶数フィールドは奇数フィールドと同じ映像信号を出力するようにすることで飛ばすフィールドの数を一定にすることにより見易い特殊再生画像を得ることができるという効果がある。
また、上記ディジタル映像信号再生装置によれば、データレート情報抽出手段によって、各GOPのデータレート情報を抽出することができるようになり、ディスク位置情報算出手段によって、得られたデータレート情報から、アクセスしたいGOPのあるディスク上の位置情報を算出することによって高画質な可変レートの特殊再生や検索を容易にできるようになり、なおかつ特殊再生時は、特殊再生のスピードに応じて、Iピクチャのみを復号化して表示するモードとI,Pピクチャを表示するモードを切り替えるため、比較的遅い特殊再生(例えば2倍速など)では、I、Pピクチャの特殊再生を実現でき、Iピクチャのみの特殊再生に比べてフレーム飛びの少ないきめ細かな特殊再生が実現でき、また、速い特殊再生時にはIピクチャの特殊再生をするなどのように再生速度に応じた、優れたマンマシンインターフェイスのディジタル映像信号再生装置を得ることができる。
上記ディジタル映像信号記録装置によれば、第一の符号化手段が、すべての映像信号を符号化するのに比較して、動画像のうち基本的な部分を符号化することによって最低限アクセスする領域を減らすように作用する。第二の符号化手段が第一の符号化手段で符号化されていない映像情報を符号化し、二つの符号化手段のデータですべての映像情報を符号化するように作用する。また、データ配列手段は、2つの符号化手段により得られたデータをヘッドのアクセスに都合がよいよう並び換えるよう作用する。
上記ディジタル映像信号記録装置によれば、第一の符号化手段が、空間的に間引かれた映像データを符号化し、最低限アクセスする領域を減らすよう作用する。
上記ディジタル映像信号記録装置によれば、第一の符号化手段が、周波数的に部分的な映像データを符号化し、最低限アクセスする領域を減らすよう作用する。
上記ディジタル映像信号記録装置によれば、第一の符号化手段が、粗く量子化することにより、映像に対して影響の深い上位ビットのデータを符号化し、最低限アクセスする領域を減らすよう作用する。
上記ディジタル映像信号記録装置によれば、データ抽出手段が、ブロック毎に所定のビット毎に区切ることによって映像信号の低周波領域を区切るよう作用する。
上記ディジタル映像信号再生装置によれば、通常再生時データ並び換え手段が、2つに区切られた符号化データをつなぎ合わせて完全な復号画像を得るように作用し、特殊再生時は、2つに区切られた符号化データのうち、低周波領域のデータのみを復号するように作用し、装置の動作状況に応じて復号するよう作用する。
上記ディジタル映像信号再生装置によれば、特殊再生時、データ操作手段が、2つに区切られた符号化データのうち低周波領域を復号する場合、復号化可能なデータのみを復号化し、復号化できなかったビットは廃棄しさらにブロックの残りの高周波領域については固定値に置き換えて復号するように作用する。
上記ディジタル映像信号記録装置によれば、ブロックの低周波領域と高周波領域ともにブロック終端符号(EOB)で見かけ上ブロックを終了したように符号化するよう作用する。
上記ディジタル映像信号再生装置によれば、通常再生時データ再構成手段が、それぞれブロック終端符号(EOB)で区切られた符号化データから完全な復号画像を得るように作用し、特殊再生時は、符号化データのうち、低周波領域のデータのみを復号するように作用し、装置の動作状況に応じて復号するよう作用する。また、データ操作手段が、符号化データのうち低周波領域を復号する場合、ブロックの残りの高周波領域については固定値に置き換えて復号するように作用する。ブロックの低周波領域と高周波領域ともにEOBで見かけ上ブロックを終了したように符号化するよう作用する。
上記ディジタル映像信号記録装置によれば、低解像度符号化手段が、空間的に間引かれた映像データを符号化し、差分成分符号化手段が、低解像度符号化手段の中の復号データを補間して、低解像度変換を行う前の画像と比較することで差分成分を得て低解像度符号化手段で得られていない高解像度分の映像データを符号化するように作用する。
上記ディジタル映像信号再生装置によれば、通常再生時、映像信号復号手段が、低解像度分の符号化データと、低解像度に間引く前のデータと低解像度分のデータとの差分成分の高解像度成分の符号化データを合成して復号化するよう作用する。
上記ディジタル映像信号再生装置によれば、モード切り替え手段が、通常再生時、2つに区切られた低解像度符号化データと低解像度に間引く前のデータと低解像度分のデータとの差分成分の高解像度成分の符号化データとを合成して復号化し、特殊再生時は、低解像度符号化データのみを復号化するように復号化手段を切り替えるよう作用する。
上記ディジタル映像信号再生装置によれば、映像生成手段が、特殊再生時、低解像度符号化データのみを復号化する場合、低解像度成分の映像データを補間し元の画像サイズに戻すよう作用する。
上記ディジタル映像信号記録装置によれば、データレート設定手段が、可変レートの映像信号符号化手段においてレートをごく限られた値しか許さないよう作用する。
上記ディジタル映像信号記録装置によれば、可変レートで符号化した場合のデータレート設定情報を記録媒体上に映像データとは別に記録されるように作用する。
上記ディジタル映像信号記録装置によれば、可変レートによって高画質なエンコードを実現するよう作用し、なおかつ可変レートによって、非常にレートが増えたGOPにおいても、符号化手段が、空間的に間引かれた映像データを符号化し、最低限アクセスする領域を減らすよう作用する。
上記ディジタル映像信号記録装置によれば、可変レートによって高画質なエンコードを実現するよう作用し、なおかつ可変レートによって、非常にレートが増えたGOPにおいても、符号化手段が、周波数的に部分的な映像データを符号化し、最低限アクセスする領域を減らすよう作用する。
上記ディジタル映像信号記録装置によれば、可変レートによって高画質なエンコードを実現するよう作用し、なおかつ可変レートによって、非常にレートが増えたGOPにおいても、符号化手段が、粗く量子化することにより、映像に対して影響の深い上位ビットのデータを符号化し、最低限アクセスする領域を減らすよう作用する。
上記ディジタル映像信号再生装置によれば、データレート情報抽出手段が、各GOPのデータレート情報を抽出してデータレートの異なるGOPを再生する場合、通常再生時には2つに分けられた符号化データの両方を合成して復号化し、特殊再生時にはアクセス目標とされたGOPの記録媒体上の位置を算出し最低限アクセスするデータを再生して次の目標GOPにアクセスする。この際に、位置情報算出手段は得られたデータレート情報から、アクセスしたいGOPのある記録媒体上の位置情報を算出するよう作用する。
上記ディジタル映像信号再生装置によれば、特殊再生速度に応じてアクセス目標となるGOPのある記録媒体上の位置情報を算出し、光ヘッド位置変換手段が、その位置に光ヘッド位置を制御するよう作用する。
上記ディジタル映像信号記録装置によれば、可変レートで符号化して記録した場合もヘッドがアクセスし易い位置にGOPを配しなおかつ余白部などの無駄部分を可能な限り埋めるように作用する。
上記ディジタル映像信号再生装置によれば、空白領域に他のGOPのデータが埋め込まれた符号化データを元のGOPの符号化データを再構成するよう作用する。
上記ディジタル映像信号再生装置によれば、特殊再生のスピードに応じて、Iピクチャのみを復号化して表示するモードとI、Pピクチャを表示するモードを切り替えるように作用する。
上記ディジタル信号再生装置によれば、特殊再生時にモードに応じてフィールド構成を最適化するように作用する。
上記ディジタル映像信号再生装置によれば、データレート情報抽出手段が、各GOPのデータレート情報を抽出してデータレートの異なるGOPを再生する場合、通常再生時には2つに分けられた符号化データの両方を合成して復号化し、特殊再生時にはアクセス目標とされたGOPの記録媒体上の位置を算出し最低限アクセスするデータを再生して次の目標GOPにアクセスする。この際に、位置情報算出手段は得られたデータレート情報から、アクセスしたいGOPのある記録媒体上の位置情報を算出するよう作用する。また、特殊再生のスピードに応じて、Iピクチャのみを復号化して表示するモードとI、Pピクチャを表示するモードを切り替えるように作用する。
実施例1.
以下、本発明の実施例について図を参照しながら説明を行う。図1はディジタル映像記録・再生装置におけるディジタル映像信号符号化処理部を示すブロック図であり、図において1、4は前処理器(PR)、2、5は動きベクトル検出器(ME)、3は解像度変換器、6、7は減算器、8、9はDCT演算器、10、11は量子化器(Q)、12、13は可変長符号化器(VLC)、14、15は逆量子化器(IQ)、16、17は逆DCT演算器(IDCT)、18、19は加算器、20、21は画像メモリ、22、23はレート制御器、24は解像度逆変換器、25はデータ配列手段としてのデータ再構成器である。また図1には一例としての第一の符号化手段及び第二の符号化手段を示す。特に減算器6は、ここでは第一の符号化手段と第二の符号化手段による両符号化過程における差分成分を出力する。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
以下、本発明の実施例について図を参照しながら説明を行う。図1はディジタル映像記録・再生装置におけるディジタル映像信号符号化処理部を示すブロック図であり、図において1、4は前処理器(PR)、2、5は動きベクトル検出器(ME)、3は解像度変換器、6、7は減算器、8、9はDCT演算器、10、11は量子化器(Q)、12、13は可変長符号化器(VLC)、14、15は逆量子化器(IQ)、16、17は逆DCT演算器(IDCT)、18、19は加算器、20、21は画像メモリ、22、23はレート制御器、24は解像度逆変換器、25はデータ配列手段としてのデータ再構成器である。また図1には一例としての第一の符号化手段及び第二の符号化手段を示す。特に減算器6は、ここでは第一の符号化手段と第二の符号化手段による両符号化過程における差分成分を出力する。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。解像度変換器3にはインターレースのラスタースキャンの順にビデオデータが入力される。入力されたビデオデータは解像度変換器3によって高周波数領域の折り返しノイズを防ぐためにフィルタリングされ間引かれる。(図2は上記解像度変換の概念を画像上で表現した説明図である。) 例えば水平704画素、垂直480画素のデータを例にとると、フィルタリングされたあと水平、垂直にそれぞれ1/2倍の水平352画素、垂直240画素の画像に間引かれて低解像度の画面データに変換される。
この低解像度の画面データは前処理器4に入力されることによってラスタースキャンからブロックスキャンに変換される。(なお、ここにいうブロックスキャンとはDCTのブロックの順にデータを送るという意味である。)Iピクチャはフレーム内符号化を行うためフレームメモリの出力を使用したフレーム間の演算を行わずに符号化する。
Iピクチャの場合は減算器7の入力である画像メモリ21はなにも出力していないためビデオ信号は減算器7をスルーする。このデータはDCT演算器9で周波数成分に直交変換され、この直交変換されたデータは低周波数領域からのジグザグにスキャンされるような順序で量子化器11に入力され量子化される。さらに、量子化された画像データは可変長符号器13を経てエントロピー符号化されデータ再構成器25に出力される。
一方、量子化器11によって量子化された画像データは逆量子化器15で逆量子化を施し、逆DCT器17で周波数成分データから空間成分のデータに逆変換される。Iピクチャはフレーム内符号化をされるフレームメモリの出力を使用したフレーム間の演算を行わずに復号化する。従って、Iピクチャの場合は加算器19の画像メモリ21からの入力はないので、データはスルーされる。加算器19の出力は画像メモリ21に蓄えられるデータとして使用される。画像メモリには少なくともIピクチャ、またはIピクチャおよびPピクチャのデータを蓄えておく必要がある。なぜなら通常MPEG1、MPEG2においてはBピクチャの復号のためにIピクチャとPピクチャについては参照データとして必要だからである。
また、画像メモリ20は、復号されたデータ加算器18の出力と、解像度逆変換器24により画素を補間して画素数が元に戻った結果とを入力としてある重み付けで平均化した画像復号データを蓄える。以下この重み付けに関しては簡単のため解像度逆変換器24の出力を1、加算器18の出力を0の重みを使用した場合について記す。
また、入力されたビデオデータは前処理器1によってバッファリングされてラスタスキャンからブロックスキャンへの走査変換を行い、上述の低解像度処理を受けた信号を蓄えている画像メモリ20からのデータと減算器6によって引き算される(これを解像度残差成分と呼ぶ)。解像度残差成分はDCT演算器8によって周波数領域に直交変換され、低周波数領域からのスキャンに変換されて量子化器10によって適当な量子化をされる。このデータは可変長符号器12を経てエントロピー符号化されデータ再構成器25に出力される。
一方、量子化器10で量子化されたデータは逆量子化器14で逆量子化を施し、逆DCT器16で空間領域のデータに逆変換される。加算器18では画像メモリ20からの入力は低解像度処理したものの逆変換データと逆DCT演算器16との加算を行うことで解像度的に低解像度のデータと、低解像度データ以外のデータの一例として、その残差成分のデータとによる2階層になったデータの復号結果を得、画像メモリ20に蓄えられる。この階層は解像度変換を行う回数で決められ、2度解像度変換を行って3つの階層にすることも可能であり、同様なアプローチで任意の階層のデータを作成することができる。
通常MPEGなどの符号化については、IピクチャとPピクチャとからの双方向予測を行ってBピクチャを符号化するために、IピクチャとPピクチャについては復号データとして復号されて蓄えられている。このようにして、IピクチャとPピクチャとを符号化し、次にBピクチャの処理を行う。
上述のようなIピクチャ、Pピクチャ、Bピクチャの符号化処理は、低解像度成分と解像度残差成分の双方について行われる。このようにすれば低解像度成分R(以下R成分と称す)と解像度残差成分Sが交互に並んだシーケンスが構成できる。これらのデータをデータ再構成器25によって、GOPの先頭部分等のような、光ヘッドのアクセスに都合の良いような箇所へGOPを固めて配置するように動作し、例えば図3のシーケンスaの様な並びにする。このように並び換えておき、L成分の占める領域である前半を読み出せば低解像度成分は再生可能である。解像度残差成分は、非解像度残差成分よりデータ量が少なく効率的な階層化が行なえる。すなわちここでは所定の条件に従って符号化する第一の符号化手段と映像情報のうち上記第一の符号化手段によって符号化された以外の映像情報の一例として上記第一の符号化手段を用いた符号化による残差成分に対しての符号化を行う第二の符号化手段を設けて効率的な階層化を行うものである。
なお、図3はデータ構成結果の一例を示す図であり、図3中、シーケンスaは本実施例の符号化処理によって生成されたシーケンス、シーケンスbは第2の実施例の符号化処理によって生成されるシーケンス、シーケンスcは第3の実施例の符号化処理によって生成されるシーケンスである。なお、シーケンスb中、Lは低周波成分、Hは高周波成分、シーケンスc中、Cは粗い量子化をして符号化した成分、Aは粗量子化残差成分をそれぞれ表わしている。また、図8のシーケンスaに示すように、Iピクチャ、Pピクチャにのみ上記操作を行って、その成分のみGOPの先頭に固めて配置するような配置にしても良い。
このように、低解像度成分のみをGOPの先頭に固めて配置する等のようにすれば、L成分が全体に占める割合が大きく減り、媒体からの読みだし速度に余裕が生まれスキップサーチなどが容易に実現できるようになる。また、図8のシーケンスaのように、Iピクチャ、PピクチャのR成分のみをGOPの先頭に固めて配置する等のように配置すれば、Iピクチャ、Pピクチャの低解像度データのみを復号するように動作する。なお、上述までの実施例では、間引き比が水平1/2倍、垂直1/2倍の場合について説明したが、この比率はこれ以外でもよく、任意の比率のものについて適用しても良いことは言うまでもない。
また、符号化方式についてもMPEG1、MPEG2、JPEG等があるが、解像度の階層で必ずしも共通の符号化手法を用いる必要はない。なぜなら、解像度を下げて符号化する場合、インタレースについて言及のないMPEG1方式でも十分、符号化への対応が可能である。また、静止画対応のJPEG方式でも1フレームごとの積み重ねが動画であるから、GOPのある特定の位置を占めてなお正常に復号することが可能である。また、この説明は2つの解像度の階層で説明したがもっと多くの階層でも良いことは言うまでもない。なお低解像度成分のデータを図1中の第一の符号化手段により符号化し、この第一の符号化手段からの出力について補間を行い、画素間引きを行う前の画像との差分成分を減算器6により得て、この差分成分についての符号化を行う差分成分符号化手段を備えて差分成分についての符号化を行ってもよい。
なお、画像メモリから読み出すフレームは通常図のように予測参照フレームからもってくるのが普通であるが、低解像度のフレームがあるのでうまく時間軸を合わせて(メモリのアドレスを定めて)メモリに蓄え読み出す必要がある。なお情報付加手段を備えて、残差成分のデータにオーディオ信号やヘッダ等の付加情報および誤り訂正符号を付加してもよいことは言うまでもない。
実施例2.
本発明の他の実施例についての説明を図4に基づいて行う。なお本実施例では、DCTブロックの低周波領域と高周波領域との階層を分け、低周波領域のみをGOPの先頭に配置するようにしている。図4はディジタル映像信号符号化処理部のブロック図であり、図4において26、27はそれぞれ第一の可変長符号化器(VLC1)と第二の可変長符号化器(VLC2)である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
本発明の他の実施例についての説明を図4に基づいて行う。なお本実施例では、DCTブロックの低周波領域と高周波領域との階層を分け、低周波領域のみをGOPの先頭に配置するようにしている。図4はディジタル映像信号符号化処理部のブロック図であり、図4において26、27はそれぞれ第一の可変長符号化器(VLC1)と第二の可変長符号化器(VLC2)である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。このインターレースのビデオデータは例えば有効画面サイズが水平704画素、垂直480画素のデータである。Iピクチャはフレーム内符号化をされるフレームメモリの出力を使用したフレーム間の演算を行わずに復号化するため、ビデオデータはスルーで出力される。このビデオデータはDCT演算器8で周波数成分に直交変換され、低周波数領域からのブロックスキャンに変換されて量子化器10によって適当な量子化をされる。
DCTブロック内部のDCT係数のデータ配置について図5に示す。図5中左上ほど低周波成分、右下ほど高周波成分のDCT係数のデータが配置されている。このDCTブロックに配置されているDCT係数のデータのうち、ある特定の位置のDCT係数のデータまでの低周波領域のDCT係数のデータ(例えば図5の斜線部)は低周波領域抽出手段としての第一の可変長符号器26を経てエントロピー符号化されデータ再構成器25に出力される。また、第二の可変長符号化器27は、上記特定位置のDCT係数のデータ以降のDCT係数のデータに対して可変長符号化を施す。つまり、このように周波数の領域でデータをパーティショニングして符号化を施すのである。
動きベクトルまたはDC成分の符号化に関しては第一の可変長符号化器26のみでよく、第二の可変長符号化器27は必要ない。なぜなら、通常再生時は第一の可変長符号化器26の出力データと第二の可変長符号化器27の出力データを合成して復号すれば良いからである。
なお、符号化領域の決定をDCT係数の固定位置で行ったが、それ以外の方法でも良く、例えばイベント数の固定数で決めても良い。すなわち、可変長符号であるハフマン符号を与える単位がイベントであり、この単位を3つなどのように、予め設定したイベント数で符号化領域を設定しても良い。データ再構成器25の出力ビットストリームの例は図3のシーケンスbのようにすれば前半の低周波領域だけ読み出せば低周波領域の画像が再生できる。図8には処理シーケンスの例を示す図であるが、図8のシーケンスbのような配置に変速的に行っても良い。
一方、量子化器10によって量子化されたデータは逆量子化器14で逆量子化を施し、逆DCT器16で空間領域のデータに逆変換される。Iピクチャはフレーム内符号化をされるフレームメモリの出力を使用したフレーム間の演算を行わずに復号化する。従って、Iピクチャの場合は加算器19の画像メモリ20からの入力はないので、データはスルーされる。加算器19の出力は画像メモリ20に蓄えられるデータとして使用される。
画像メモリには少なくともIピクチャやPピクチャは蓄えておく必要がある。なぜなら通常MPEG1でも2でもBピクチャの復号のためにIピクチャとPピクチャについては参照データとして必要だからである。
このように構成すればL成分が全体に占める割合が大きく減り、ヘッドの媒体からの読みだし速度に余裕が生まれスキップサーチなどが実現できるようになる。また、後述のようにIピクチャ、Pピクチャのみ固めて配置すればIピクチャ、Pピクチャの低周波成分のデータのみを容易に復号するように動作することが可能となる。周波数領域で高い領域のデータはすべての領域のデータよりデータ量が少ないため、低周波領域のデータを抽出して全領域のデータの前に納めるよりもデータの効率的構成が可能になる。
減算器6をスルーして符号化することによって、Iピクチャがコーディングを終了すると、次に時間的に1つ前のGOPの最後のPピクチャとの両方向予測でBピクチャのコーディングを行う。前処理器1の出力と参照フレームのメモリからのデータ(図面上の矢印省略)とを比較して動きベクトルの検出と予測モード、フレーム構造などを判定し、その判定結果に基づいて、前処理器1の出力と参照フレームのメモリとからのデータが最も良く適合した参照フレームのメモリのデータを、画像メモリ20から前方向分と後方向分のデータとして読み出し、その読み出されたデータとBピクチャの前処理器1の出力結果とを減算器6により減算する(この結果をPピクチャ、Bピクチャとも時間残差成分と呼ぶ)。この時間残差成分に対してDCT演算を施し、その結果を量子化して、さらに可変長符号化する。
実施例3.
本発明の他の実施例について図6に基づいて説明する。本実施例では、DCT係数の粗量子化成分と、粗量子化成分以外のデータの一例として粗量子化残差成分の階層に分けて粗量子化成分をGOPの先頭に配置するようにしている。図6はディジタル映像信号符号化処理部を示すブロック図であり、図6において28は減算器、29は加算器である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
本発明の他の実施例について図6に基づいて説明する。本実施例では、DCT係数の粗量子化成分と、粗量子化成分以外のデータの一例として粗量子化残差成分の階層に分けて粗量子化成分をGOPの先頭に配置するようにしている。図6はディジタル映像信号符号化処理部を示すブロック図であり、図6において28は減算器、29は加算器である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。このインターレースの入力画像データは例えば有効画面サイズが水平704画素、垂直480画素のデータである。Iピクチャはフレーム内符号化をされるフレームメモリの出力を使用したフレーム間の演算を行わずに復号化する。従ってIピクチャの場合は減算器6の入力である画像メモリ20はなにも出力していないためビデオ信号は減算器6をスルーする。このデータはDCT演算器8で周波数成分に直交変換され、低周波数領域からのブロックスキャンに変換されて量子化器10によって、符号化データ量を半分以下にするような、適当な粗いめの量子化をされる。この量子化されたデータは可変長符号器22を経てエントロピー符号化されデータ再構成器25に出力される。
一方、量子化器10で量子化されたデータは逆量子化器14で逆量子化を施し(その結果を粗量子化結果と呼ぶ)、この逆量子化されたデータは別の符号化処理部(図6中、点線枠部分)に送られる一方、逆DCT演算器16で空間領域のデータに逆変換される。別の符号化処理部では(ここでは、Iピクチャの符号化について述べているので画像メモリ21からの出力はないが、通常であればこの符号処理部での復号結果を画像メモリ21に蓄えてあるのでそのデータを元に動きベクトル検出器2によって動きベクトル検出や予測モードを決定し、さらにDCTブロックモード決定がなされ、決定されたモードに見合った位置のデータが参照され減算器7の引算入力側にはいることになる。)
減算器7の出力をDCTして、粗逆量子化結果と減算器28によって残差を求める(これを粗量子化残差と呼ぶ)。粗量子化残差を量子化器11によって細かく量子化(符号量制御を考慮した、ほぼ通常の符号化と同程度の細かい量子化)し、可変長符号化する一方、逆量子化され逆DCTされ復号されて画像メモリ21に蓄えられる。この符号化結果と粗量子化の符号化結果はデータ再構成器25によって必要データのアロケーションが定められるとともに、ヘッダなどが付加される。
この出力データの一例として図3のシーケンスcの様にすれば、GOPの前半部を読み出すだけで、粗い量子化をした画像の復号結果を得ることができる。また粗量子化残差のデータは細かい量子化のデータすべてに比べて少ないため、粗量子化データを抽出して細かい量子化データの前に納めるよりもデータの効率的な構成が可能となる。
また別の一例としては図8のシーケンスcの配置のような変速的な処理を行っても良い。このように構成すればC成分(粗い量子化を行って符号化した成分)が全体に占める割合が大きく減り、媒体からの読みだし速度に余裕が生まれスキップサーチなどが実現できるようになる。また、後述のようにIピクチャ、Pピクチャのみ固めて配置すればIピクチャ、Pピクチャの粗い量子化を施したデータのみを復号するように動作する。
減算器6をスルーして符号化することによって、Iピクチャがコーディングを終了すると、次に時間的に1つ前のGOPの最後のPピクチャとの両方向予測でBピクチャのコーディングを行う。前処理器1の出力と参照フレームのメモリからのデータ(図面上の矢印省略)とを比較して動きベクトルの検出と予測モード、フレーム構造などを判定し、その判定結果に基づいて、前処理器1の出力と参照フレームのメモリとからのデータが最も良く適合した参照フレームのメモリのデータを、画像メモリ20から前方向分と後方向分のデータとして読み出し、その読み出されたデータとBピクチャの前処理器1の出力結果とを減算器6により減算する(この結果をPピクチャ、Bピクチャとも時間残差成分と呼ぶ)。画像メモリ21から前方向分と後方向分のデータを読みそのデータと前処理器1の出力を減算器7により減算して直交変換エントロピー符号化する。なお、Pピクチャに対しても同様のプロセスを用いて符号化する。
図7は符号化データの統計量の例を示す図であるが、GOPの中のフレーム数:N=15、Iピクチャ、Pピクチャの周期:M=3のときの符号量のばらつきを示している。この図からIピクチャ、Pピクチャは全体の5割程度であることがわかるのでこの部分だけを、あるいはIピクチャだけでも上述の実施例のように、階層を解像度、周波数、量子化によって分割すれば、さらに再生すべき符号量が減少するので光ヘッドの移動時間の短縮化を図ることができ、スキップサーチなどの機能を容易に実現できる。
そのときの処理シーケンスを図8に示す。図8は原画像のIピクチャ、Pピクチャ、Bピクチャの並びを符号化して、その内のIピクチャおよびPピクチャのみに対して、上述の実施例1、2、3の処理を行い、Bピクチャについては階層を分けずに符号化する。実施例1の処理にに従ってIピクチャ、Pピクチャを処理したシーケンスをシーケンスb、実施例3の処理に従ってIピクチャ、Pピクチャを処理したシーケンスをシーケンスcとする。
各シーケンスとも各々低解像度成分(R)、低周波成分(L)、粗量子化成分(C)のIピクチャ、Pピクチャ成分をそれぞれのデータ再構成器25によって、GOPの先頭に固めて配置するようにデータを構成する。シーケンスaについては、Iピクチャ、Pピクチャの低解像度成分のみ(図8シーケンスa中、データ再構成後のコアエリア部分)でIピクチャ、Pピクチャの低解像度画像が復号できるので、スキップサーチ時に容易に対応可能となる。当然コアエリア以外のデータは図示の通りに並んでいる必要性はなく、図3のエンコード時のフレーム番号順に並んでいても良いことは言うまでもない。
また、シーケンスbについては、Iピクチャ、Pピクチャの低周波成分のみ(図8シーケンスb中、データ再構成後のコアエリア部分)でIピクチャ、Pピクチャの低周波画像ができるため、スキップサーチ時に容易に対応可能である。また、シーケンスcについてはIピクチャ、Pピクチャの粗量子化成分のみ(図8シーケンスc中、データ再構成後のコアエリア部分)でIピクチャ、Pピクチャの粗量子化画像が復号できるのでスキップサーチ時に容易に対応可能である。
例えば図1に示す構成においては、Bピクチャについては、前処理器4を含む符号化ループを使用せず、前処理器1を含む符号化ループのみで符号化するように動作すれば良いし、図4に示す構成においては、第一の可変長符号化器(VLC1)26において全周波数成分を符号化すれば良い。また、図6に示す構成においては、量子化器10において細かな量子化を行って符号化すれば良い。
なお、低周波側のデータなど基本的なデータはGOPの先頭に集められるのが最も理想的であるが、誤り訂正符号を構成する単位の先頭に重なるように、少々ずらしても良いことは言うまでもない。なお、このように誤り訂正の単位に合わせて基本的なデータの配置を行うことは、他の実施例においても、同様に実施可能である。
実施例4.
本発明による他の実施例について図9、図10に基づき説明する。図9はDCTブロックの並び及び1ブロックのビットストリームにおける周波数成分の配置概略の一例を示す図であり、図9において、アは全体のDCTブロックの並びについて、マクロブロックヘッダと、輝度信号のDCTブロックY1〜Y4、色差信号(B−Y)のDCTブロックU1および色差信号(R−Y)のDCTブロックV1により1つのマクロブロックを形成していることを表現している。またイは低域成分のDCTブロックの並びについて、マクロブロックヘッダと、輝度信号のDCTブロックY1L〜Y4L、色差信号(B−Y)のDCTブロックU1Lおよび色差信号(R−Y)のDCTブロックV1Lにより1つの低域成分のマクロブロックを形成していることを表現している。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
本発明による他の実施例について図9、図10に基づき説明する。図9はDCTブロックの並び及び1ブロックのビットストリームにおける周波数成分の配置概略の一例を示す図であり、図9において、アは全体のDCTブロックの並びについて、マクロブロックヘッダと、輝度信号のDCTブロックY1〜Y4、色差信号(B−Y)のDCTブロックU1および色差信号(R−Y)のDCTブロックV1により1つのマクロブロックを形成していることを表現している。またイは低域成分のDCTブロックの並びについて、マクロブロックヘッダと、輝度信号のDCTブロックY1L〜Y4L、色差信号(B−Y)のDCTブロックU1Lおよび色差信号(R−Y)のDCTブロックV1Lにより1つの低域成分のマクロブロックを形成していることを表現している。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
またウは高域成分のDCTブロックの並びについて、輝度信号のDCTブロックY1H〜Y4H、色差信号(B−Y)のDCTブロックU1Hおよび色差信号(R−Y)のDCTブロックV1Hにより1つの高域成分のマクロブロックを形成していることを表現している。エは1ブロックのビットストリームの周波数成分データの配置についての概念を表している。図10はディジタル映像信号復号化処理部のブロック図とその動作概念を示す説明図であり、図10において30はモード切り替え手段としてのモード切替器、31はデータ並び換え手段としてのデータ並び換え器、32はデコーダブル判定器、33は可変長復号器(VLD)、34はスイッチであり、デコーダブル判定器32、スイッチ34とによりデータ操作手段を構成する。35は逆量子化器、36は逆DCT演算器、37は画像メモリ、38は加算器、39は逆走査変換器である。
次に動作について説明する。図9のデータは例えば縦方向に8ビット(1バイト)に組み立てた符号列であり、各マクロブロックにはマクロブロックヘッダと称す、そのマクロブロックについての情報が記されている。この情報とは、例えばインクリメントアドレス、量子化スケールコード、動きベクトル、マーカービット、マクロブロックパターン(Coded Block Pattern)等の情報である。
このマクロブロックヘッダの後に、各DCTブロックの符号化されたデータが続いている。このデータの埋め方はビットストリームからまずバイト構成をして各バイトを順に並べるようになっているが、各DCTブロックは符号長が可変であるため、ブロックの境界、あるいはヘッダとデータとの境界がバイト単位で完結しておらず、バイト単位の途中に境界が存在する場合が多い。ところで、各ブロックのデータは可変長ながらもマクロブロックヘッダ側に近い方ほど低周波数領域のデータになっている。
このデータをイベント(1可変長符号を与える単位であり、通常、DC成分の場合はDC成分で1イベントを構成し、AC成分はランレングス符号化するため非ゼロのDCT係数とラン長の組み合わせで1イベントを構成する。なおブロックの最後にはEOB(ブロック終端、エンド オブ ブロック)と称するコードで1イベントを完結する。)に無関係にある固定長符号量を最大値として、図9のイ、ウに示すように低周波成分(L)と高周波成分(H)とに分けて、符号化データを構成している。
次に図10の動作について説明する。まずマイコンなどからスキップサーチ中であるとか、通常の連続再生中である等のモード信号がモード切りかえ器30に入力される。一方、ディスクなどからの再生信号は増幅器で増幅されPLLなどから出力される位相同期のかかったクロックにより信号再生を行った後の出力データから、弁別操作を行ってディジタル復調をし、誤り訂正処理を行った後に、映像信号のデータとオーディオ信号のデータとから成るシステムのレイヤからオーディオ信号を分離し、ビデオのビットストリームを抽出してデータ並び換え器31に入力する。
モード切替器30の出力(制御信号)はデータ並び換え器31およびデコーダブル判定器32に供給される。データ並び換え器31は、制御信号を得て図9のL成分とH成分とから分割前のデータをつなぎ直すか、またはL成分のみで可変長復号器(VLD)33に出力する。可変長復号器(VLD)33はデコーダブル判定器32とともにL成分領域のイベントの切れ目を抽出し、その切れ目までをデコードしてスイッチ34に出力する。このスイッチ34は通常再生時は0を挿入しないように接続される。デコーダブル判定器32の出力によって制御されたスイッチ34はデコードが済んだ低周波成分からDCTブロックへの入力を行い、一方、DCTブロックの高周波側には0が挿入されるように全体のDCTブロックを構成する。
復号の際は、上述のように構成されたDCTブロックのデータが、逆DCTされて、Iピクチャの場合は加算器38の出力はスルーされるように、Pピクチャの場合はレファレンスのIピクチャまたはPピクチャの内の動きベクトル分だけ補正されて加算されるように、Bピクチャの場合はレファレンスとなったIピクチャ、Pピクチャの両ピクチャから動きベクトル分補正されて加算されるように、それぞれのピクチャの場合に応じて、画像メモリ37の読みだしを制御し、加算器38によって加算される。
また、このときのDCTモードおよび予測モード動きベクトルは、ヘッダの符号を復号化して得られる情報に基づいて制御される。上述のようなプロセスに従って、動き補償予測されたデータが復号され画像メモリ37に蓄えられ、画像をGOPのもとの構成順に復元する。逆走査変換器39はバッファリングおよびブロックスキャンからラスタースキャンへの変換を画像の出力順に行う。
なお、この実施例はマクロブロックのスキップや所定の固定長データより短い場合も固定長化するように表現しているが、固定長のデータ以下でもEOBを逐次検出することによって、確実にL成分を取り出すことができるため、次のブロックにL成分データを接続しても何等問題の無いことは言うまでもない。また、所定のデータ長を越える場合、そのイベントの区切りまでもL成分データとしてEOBを付けるようにしてもよいことは言うまでもない。また、以上の実施例の説明の中で特に図示はしていないがオーディオ信号、ヘッダ等の付加情報および誤り訂正符号を付加する情報付加手段をさらに設け、高周波領域分のデータに付加しても良いことは言うまでもない。
実施例5.
次に本発明の別の実施例について図11、図12を参照しながら説明する。図11はディジタル映像信号符号化処理部のブロック図とその動作概念を示す説明図であり、図11において40はレート制御器、41はEOB検索器である。ここでは、符号化手段として第一の可変長符号化器26および第二の可変長符号化器27を備える。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に本発明の別の実施例について図11、図12を参照しながら説明する。図11はディジタル映像信号符号化処理部のブロック図とその動作概念を示す説明図であり、図11において40はレート制御器、41はEOB検索器である。ここでは、符号化手段として第一の可変長符号化器26および第二の可変長符号化器27を備える。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。インターレースの入力画像データは前処理器1によりバッファリングされラスタースキャンをブロックスキャンに変換する。Iピクチャはフレーム内符号化をされるフレームメモリの出力を使用したフレーム間の演算を行わずに復号化する。従ってIピクチャの場合は減算器6の入力である画像メモリ20はなにも出力していないためビデオ信号は減算器6をスルーする。
このデータはDCT演算器8で周波数成分に直交変換され、低周波数領域からのブロックスキャンに変換されて量子化器10によって適当な量子化をされる。この量子化されたデータのうちある特定の位置のDCT係数のデータまでの低周波領域のデータは、第一の可変長符号器(VLC1)26を経てエントロピー符号化されデータ再構成器25に出力される。
また、第二の可変長符号化器(VLC2)27は、上記特定位置のデータ以降のDCT係数を可変長符号化する。動きベクトルやDC成分の符号化に関しては最小限、可変長符号化器26のみを用いればよい。このときL成分の切れ目が符号上の制約無くレートで変わっていくためには、1つのブロックであるにも係わらずL成分とH成分の両方にEOBが付くようにする必要がある。このようにL成分とH成分の区切り部分に仮にEOB符号を配置することによりL成分の切れ目をレートによって変化させることができる。
一方、量子化器10で量子化されたデータは逆量子化器14で逆量子化を施し、逆DCT器16で空間成分のデータに逆変換される。
Iピクチャはフレーム内符号化をされるフレームメモリの出力を使用したフレーム間の演算を行わずに復号化する。従って、Iピクチャの場合は加算器18の画像メモリ20からの入力はないので、データはスルーされる。加算器18の出力は画像メモリ20に蓄えられるデータとして使用される。画像メモリには少なくともIピクチャ、またはIピクチャおよびPピクチャのデータを蓄えておく必要がある。なぜなら通常MPEG1、MPEG2においてはBピクチャの復号のためにIピクチャとPピクチャについては参照データとして必要だからである。
Iピクチャのコーディングが終了すると、次に前GOPの最後のPピクチャとの両方向予測でBピクチャのコーディングを行う。前処理器1の出力と参照フレームのメモリからのデータ(図面上の矢印省略)とを比較して動きベクトルの検出と予測モード、フレーム構造などを判定し、その判定結果い基づいて、前処理器1の出力と参照フレームのメモリとからのデータが最も良く適合した参照フレームのメモリのデータを、画像メモリ20から前方向分と後方向分のデータとともに読み出し、そのデータとBピクチャの前処理器1の出力結果とを減算器6により減算する(この結果をPピクチャ、Bピクチャとも時間残差成分と呼ぶ)。この時間残差成分をDCTし、量子化して、可変長符号化する。
低周波領域と高周波領域にわける場合、絵柄に含まれる周波数成分でレートが一定とならない。従ってまた、低周波領域のデータレートも一定とはならないためにヘッドのアクチュエータ制御の可能範囲を完全に補償することができない。ここでレート制御器40は、低周波成分の領域をレートに応じて可変とし、目標のレートに対して低周波数領域の大きさを図11に示すように可変となるように制御する。
つまり第一の可変長符号化器(VLC1)26の出力を監視しながらその量がアプリケーションで設定された目標レートより大きければ低周波数領域のデータの占有面積を小さくし、第一の可変長符号化器(VLC1)26の符号量が小さければ低周波数領域の面積を大きくする。このように符号量を監視しながら第一の可変長符号化器(VLC1)26、第二の可変長符号化器(VLC2)27に対して低周波領域の占有面積の設定を適宜変更する。
それ以外にも、例えばあらかじめ仮符号化してみて、どの領域の符号が多いか少ないかの結果から、低周波領域の占有面積の設定の基準を決定し、目標レートの設定を行なっても良い。
図12にはディジタル映像信号復号化処理部のブロック図であり、上述のように符号化された符号化データを復号化するための復号化処理のブロック図を示している。次に図12に基づいて説明する。マイコンなどからスキップサーチ中であるとか、通常の連続再生中である等のモード信号がモード切替器30に入力される。一方ディスクなどからの再生信号は増幅器で増幅されPLLのかかったクロックにより再生信号を弁別してディジタル復調をし、誤り訂正処理を行ってシステムのレイヤからオーディオ信号を分離し、ビデオのビットストリームを抽出してデータ並び換え器31に入力する。モード切り替え手段としてのモード切替器30の出力はデータ並び換え器31やデコーダブル判定器32に供給される。データ並び換え器31は、この制御信号を得て図9のL成分とH成分とから分割前のデータをつなぎ直すように動作するか、またはH成分とつなぐことをせずにL成分のみで復号化手段である可変長復号器(VLD)33に出力する。
本発明はイベントの途中でL成分が切れていることは理論的にはないが、スキップサーチなどの信号品質のあまりよくない信号を復号することを考えて念のために可変長復号化器(VLD)33とデコーダブル判定器32とによりL成分領域のイベントの切れ目を確認しその切れ目までをデコードしスイッチ34に出力する。このスイッチ34は通常再生時のように信号品質の良い再生データの場合は、常にONするように動作する。ここではデコーダブル判定器32およびスイッチ34にてデータ操作手段を構成している。
スイッチ34はデコード成功した低周波成分よりそのブロックの高周波側は0が挿入されるようにデコーダブル判定器32の出力によって制御されてDCTブロックを構成しそのデータを、逆DCT(IQ)してIピクチャの場合は加算器38の出力はスルーされて、Pピクチャの場合はレファレンスのIピクチャの内の動きベクトル分だけ補正されて加算され、Bピクチャの場合Iピクチャ、Pピクチャから動きベクトル分補正されて加算されるように画像メモリ37の読みだしは制御され加算器38によって加算される。また、このときのDCTモードとか予測モード動きベクトルはヘッダの符号を復号化して制御される。このようにして動き補償予測されたデータは復号され画像メモリ37に蓄えられ、画像をGOPのもとの構成順にする。逆走査変換器39ではバッファリングし画像の出力順でかつブロックスキャンからラスタースキャンに変換する。
また、上述までの説明では、DCT係数の領域の大小をコントロールする例について説明したが、イベント数のコントロールを行うようにしても良い。この場合は、L成分の所定のイベント数に達せずにEOBが付される場合があるが、EOB検索器41がEOBの出現を監視しているため、確実にL成分をとらえることができる。ここでは特に、データ並べ換え器31およびEOB検索器41により低周波領域のデータ、高周波領域のデータ、EOBのそれぞれに基づきデータを再構成する。すなわちデータ並べ換え器31およびEOB検索器41がデータ再構成手段を構成している。
当然DCT後のエネルギーが小さいために、符号化されていないノンコーデッドブロックについてはL成分とH成分は同様の扱いが望ましいことは言うまでもない。H成分についてはL成分を除いたデータをランレングス符号化するのが理想的であるが、L成分を0とおいてH成分の符号化をしてもよい。通常のMPEGの可変長符号化器(VLC)と同じ構成で対応できるため、この方が回路的には簡単にできる。
実施例6.
本発明の他の実施例について図13に基づいて説明する。図13はディジタル映像信号復号化処理部を示すブロック図であり、図においては42はマルチプレクサ、43はスイッチ、44は第一の可変長復号器(VLD1)、45は第二の可変長復号器(VLD2)、46は第一の逆量子化器(IQ1)、47は第二の逆量子化器(IQ2)、48、49は加算器、50、51は画像メモリ、52は解像度逆変換器である。なお、図13には復号手段としての低解像度復号部についても表示してある。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
本発明の他の実施例について図13に基づいて説明する。図13はディジタル映像信号復号化処理部を示すブロック図であり、図においては42はマルチプレクサ、43はスイッチ、44は第一の可変長復号器(VLD1)、45は第二の可変長復号器(VLD2)、46は第一の逆量子化器(IQ1)、47は第二の逆量子化器(IQ2)、48、49は加算器、50、51は画像メモリ、52は解像度逆変換器である。なお、図13には復号手段としての低解像度復号部についても表示してある。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。図13は、図6について述べたような符号化データを光ディスクなどに記録した場合のディスクからの再生信号のビデオデータの処理ブロックに相当すると考えてよい。マイコンなどからスキップサーチ中であるとか、通常の連続再生中である等のモード信号がモード切り替え手段としてのモード切替器30に入力される。一方ディスクなどからの再生信号は増幅器で増幅されPLLのかかったクロックにより再生信号を弁別してディジタル復調をし、誤り訂正処理を行ってシステムのレイヤからオーディオ信号を分離し、ビデオのビットストリームを抽出しする。
この抽出されたビデオのビットストリームを、マルチプレクサ42に入力する。マルチプレクサ42は低解像度成分のデータを第二の可変長復号器45にデータを送り、それ以外のデータをスイッチ43を経由して第一の可変長復号器44に送る。
スイッチ43はモード切替器30によってコントロールされており、モードとしてはスキップサーチなどで低解像度成分の再生画像出力しか要求していないにも係わらず、解像度残差成分が中途半端に再生されてきた場合などに余分なデータの送出を停止するように動作する。また、通常再生時はこのスイッチ33は接続されたままになるように動作する。
第二の可変長復号器45はハフマン符号およびランレングス符号を復号し、第二の逆量子化器47によって逆量子化され、逆DCT器36によって周波数成分から空間成分に変換される。
その変換されたデータから、Iピクチャの場合、加算器49はスルーされて画像メモリに蓄えられる。Pピクチャの場合、1枚目のPピクチャについては画像メモリに蓄えられたIピクチャから、2枚目のPピクチャ以降は画像メモリに蓄えられた(直前の)Pピクチャを参照し、動きベクトル分位置補正されて読み出され、加算器49によって動き補償予測を施される。Bピクチャの場合、Iピクチャ、Pピクチャに基づいて同様の動作をする。
なお、図中動きベクトルや逆量子化のための量子化パラメータや予測モードなどは可変長復号器から出力されており、図12に示すものと同様である。図13点線ブロックにて示すループは低解像度成分の復号を行う構成ブロックであるが、その復号結果は補間映像生成手段としての解像度逆変換器52によって画素の補間をして解像度残差成分として復号結果を補足するため、画像メモリ50に入力される。
通常の再生時は解像度残差成分の復号は、(これを時分割で行っている場合はその分割処理に応じて)低解像度成分の復号結果と組み合わせて逆走査変換器39によって画像として出力される。スイッチ43を経由し、第一の可変長復号器44により周波数成分への復号ができ、逆量子化器46によって逆量子化され逆DCT器36によって空間領域の解像度残差成分データに復号される。
画像メモリ50は低解像度成分の画素補間データを参照して、さらにPピクチャはIピクチャ、BピクチャはIピクチャ、Pピクチャを参照して動きベクトル分位置補正を受けて画像メモリ50から読み出されて加算器48によって動き補償予測が復号される。
また、スキップサーチなどの場合は、スイッチ43によって中途半端に解像度残差成分が再生されるのを防ぐため、解像度残差成分の出力を停止することによって、逆DCT器36の出力に余計なデータが出力されるのを防ぐ。従って低解像度成分の画素補間をしたデータのみが画像メモリ50を経由して(画像メモリ50の入力部にスイッチを設けても同じ動作になる)、逆走査変換39をへて画像出力とされる。
実施例7.
次に本発明の他の実施例について図14、図15に基づいて説明する。図14はGOPアドレス生成およびディスク制御部を示すブロック図であり、特にシーケンスヘッダなどにそのレート情報を記録している場合の処理ブロックを示している。図14において53はレジスタ、54はGOPアドレス演算器、55はヘッド位置変換手段およびディスク回転制御変換手段としての光ヘッド・ディスク回転制御変換器である。また、図15は再生処理を含めたGOPアドレス生成およびディスク制御部を示すブロック図であり、特にディスク上の数カ所の位置に上記レート情報が固められて記録されているディスクからGOPの再生を行なうための構成を示している。図15において56は再生アンプ、57はディジタル復調器、58は誤り訂正器(ECC)、59はシステムレイヤ処理器、60はレート情報メモリであり、システムレイヤ処理器59およびレート情報メモリ60によってデータレート情報抽出手段を構成する。61はGOP数カウンタであり、GOPアドレス演算器54およびGOP数カウンタ61によって位置情報算出手段を構成する。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に本発明の他の実施例について図14、図15に基づいて説明する。図14はGOPアドレス生成およびディスク制御部を示すブロック図であり、特にシーケンスヘッダなどにそのレート情報を記録している場合の処理ブロックを示している。図14において53はレジスタ、54はGOPアドレス演算器、55はヘッド位置変換手段およびディスク回転制御変換手段としての光ヘッド・ディスク回転制御変換器である。また、図15は再生処理を含めたGOPアドレス生成およびディスク制御部を示すブロック図であり、特にディスク上の数カ所の位置に上記レート情報が固められて記録されているディスクからGOPの再生を行なうための構成を示している。図15において56は再生アンプ、57はディジタル復調器、58は誤り訂正器(ECC)、59はシステムレイヤ処理器、60はレート情報メモリであり、システムレイヤ処理器59およびレート情報メモリ60によってデータレート情報抽出手段を構成する。61はGOP数カウンタであり、GOPアドレス演算器54およびGOP数カウンタ61によって位置情報算出手段を構成する。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。従来例で説明したように1GOPあたりのレートを可変にすることによって1プログラムの全体的なレートの最適化が図れるので画質がかなり良くなる。しかし、このため1GOPの先頭がデータの中身をみないとGOPの先頭かどうかもわからず、なおかつ、途中までみたソフトを見終わったところから鑑賞したいというような場合、ディスク上のデータを細かく検索しながらその位置を探すしかない。
そこでこのような場合、本発明では、まず可変レートのレート制御を例えば1GOPあたり1Mビット、1.5Mビット、2Mビット、2.5Mビット、3Mビット等の離散的なレート目標にしておき、すべてのGOPにおける各々のレート情報をディスク上に記録しておく。 特にディスクなどの記録媒体上における所定の領域としてTOC(Table Of Contentsの略:ディスクの一番初めの部分に記録領域を割り当てられており、タイトル、記録時間等の情報が記録されている。)や準TOC等に各々のGOPについてのレート情報を記録すれば最も効率がよい。
また、ビデオビットストリームのシーケンスヘッダなどにGOPについてのレート情報を組み込んでも良い。例えば2時間のソフトは14.4k個のGOPで構成されており、このときレート情報は、上記の場合、5種類のレートについて区別できれば良いから、3ビットで表現できる。従って5.4kバイト(14.4k個×3ビット÷8ビット/バイト)の情報でディスク上の全てのGOPのレートについて記録が可能である。
この各GOPのレート情報を、例えば図15に示すレート情報メモリ60に記憶しておき、その値に相当する情報長を積算することで、所望のGOPへの高速アクセスが可能となる。
図14に基づいて以下説明する。可変長復号器33によってハフマン符号やランレングス符号が復号化されると共にヘッダの解読が行うことで、動きベクトルやピクチャの種類などが判別される。
一方シーケンスヘッダなども復号化され、そのレート情報がGOP先頭アドレス演算器54に入力される。また、現在アクセスしているGOPのアドレス情報をレジスタ53に蓄え、次のアクセス先のGOP先頭アドレスを計算し、レジスタ53に蓄えるとともに、次のアクセス先のGOPの先頭まで光ヘッド、ディスク回転制御変換器55を用いて、アドレスから光ヘッドの位置を求める。次に、現在アクセスしているGOPとアクセス先のGOPの先頭アドレスとの差から、次のアクセスに対する制御信号を算出する。この制御信号に基づいて光ヘッドアクチュエータの位置制御およびディスク回転制御を行う。
再生処理について図15を参照しながら説明する。TOC領域またはそれに準ずる領域から直接的または間接的(レート情報記載アドレスを指定した後、このアドレス部分にアクセスして、レート情報を読み出す)に読むように光ヘッド及び光ディスクの回転を制御し、光ヘッドからの再生信号を再生アンプ56によって増幅し、ディジタル復調器57によってこの信号を検波し、ディジタル信号に弁別し、ディジタル復調を施す。
ディジタル復調を施されディジタルデータになった再生信号は、誤り訂正器58に入力され、再生信号に含まれている誤りを訂正する。この誤り訂正を行なった後のデータはシステムレイヤ処理器59によってオーディオビットストリーム、ビデオビットストリームおよびそれ以外のデータ、に分離・処理する。
例えばこの信号はどのデータ種別(AV(映像及び音声)データ、テキストデータ、プログラムなどのバイナリデータ等)にあてはまるかを判断してストリーム経路の切り分けをしている。その中で上述のようなレート情報をレート情報メモリ60に記憶する。
これに対し、何番目のGOPの処理をしたいかという情報をGOP数カウンタ61を用いて生成し、GOP先頭アドレス演算器54によって算出したアドレスへに基づいて光ヘッドアクチュエータおよびディスクの回転速度を制御する。
なお、以上の説明ではGOPカウンタはシステムレイヤ処理器59より信号を受けた例をとっているが、マイコンなどユーザI/Fをとる部分が処理を代用したり、また再生中からスキップサーチなどに移った場合などはビデオビットストリームを処理する可変長復号器などからのアドレスデータを入力する方が効率がよいこともある。
実施例8.
次に、本発明の他の実施例について図16、図17、図18に基づいて、以下、動作について説明する。図16はディジタル信号再生部の周波数による分割、量子化による分割を行った場合の信号処理ブロックを示す図であり、特にディスク上の数カ所にレート情報が固められて記録されている場合の再生処理に用いる構成についてのブロック図である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に、本発明の他の実施例について図16、図17、図18に基づいて、以下、動作について説明する。図16はディジタル信号再生部の周波数による分割、量子化による分割を行った場合の信号処理ブロックを示す図であり、特にディスク上の数カ所にレート情報が固められて記録されている場合の再生処理に用いる構成についてのブロック図である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
ディスク再生当初にTOC領域またはそれに準ずる領域から直接的または間接的(レート情報記載アドレスを指定)に読むように光ヘッド及び光ディスクの回転を制御し、光ヘッドからの再生信号を再生アンプ56によって増幅し、ディジタル復調器57によってこの信号を検波し、ディジタル信号に弁別し、ディジタル復調を施す。これによってディジタルデータになった再生信号は誤り訂正器58に入力され、再生信号に含まれている誤りを訂正する。誤りの無くなったデータはシステムレイヤ処理器59によってオーディオビットストリームやビデオビットストリームに分離しまたそれ以外のデータも処理する。
例えばこの信号はAVデータであるとかテキストデータであるとか、プログラムなどのバイナリデータであるとかを判断してストリーム経路の切り分けをしている。その中で上述のようなレート情報をレート情報メモリ60に記憶する。これに対し、何GOPの処理をしたいかという情報をGOP数カウンタで生成し、GOP先頭アドレス演算器54によって算出し光ヘッドアクチュエータやディスクの回転速度を制御する。
このようにして、スキップ再生時にもアクセスしたいGOPのアドレスを求めディスク上をスキップし、所望のGOPにアクセスできたら次のアドレスを同様の算出するとともに例えば実施例5に述べた構成を用いて得られた低周波数領域のデータを再生し画面化するものである。
マイコンなどからスキップサーチ中であるとか、通常の連続再生中である等のモード信号がモード切替器30に入力される。上述のようにビデオのビットストリームを抽出してデータ並び換え器31に入力する。モード切替器30の出力はデータ並び換え器31やデコーダブル判定器32に供給される。データ並び換え器31は、この制御信号を得て図9のL成分とH成分とから分割前のデータをつなぎ直すように動作するか、またはH成分とつなぐことをせずにL成分のみで可変長復号器(VLD)33に出力する。
本実施例ではイベントの途中でL成分が切れていることは理論的にはないが、スキップサーチなどの信号品質のあまりよく無い信号を復号することを考えて念のためにVLDとデコーダブル判定器32とによりL成分領域のイベントの切れ目を確認しその切れ目までをデコードしスイッチ34に出力する。
スイッチ34はデコード成功した低周波成分よりそのブロックの高周波側は0が挿入されるようにデコーダブル判定器32の出力によって制御されてDCTブロックを構成しそのデータを、逆DCTしてIピクチャの場合は加算器38の出力はスルーされて、Pピクチャの場合はレファレンスのIピクチャの内の動きベクトル分だけ補正されて加算され、Bピクチャの場合Iピクチャ、Pピクチャから動きベクトル分補正されて加算されるように画像メモリ37の読みだしは制御され加算器38によって加算される。
また、このときのDCTモードとか予測モード動きベクトルはヘッダの符号を復号化して制御される。このようにして動き補償予測されたデータは復号され画像メモリ37に蓄えられ、画像をGOPのもとの構成順にする。逆走査変換器39ではバッファリングし画像の出力順でかつブロックスキャンからラスタースキャンに変換する。また、スイッチ34は通常再生時には、0を挿入するようには接続されず、再生データのみ再生動作を行うよう制御する。
また、このように低周波数領域・高周波数領域で分割して符号化される場合、低周波側を重視した量子化テーブルと高周波側を重視した量子化テーブルあるいはまったく均等に1つの量子化テーブルに対して周波数領域に関係なく細かい量子化テーブルが用意されている場合も容易に考えられるが、このような場合は、図6のローカルデコーダのごとく可変長復号化器および逆量子化器を2つずつもてば実現できる。その際データ並び換え器31はマルチプレクサでなければならない。
次に図17に基づき動作について説明する。図17はディジタル信号再生部のビット長による分割を行った場合の信号処理ブロックを示す図であり、特にディスク上の数カ所に固められて上記レート情報が記録されている場合の再生処理についての実施例を説明するためのブロック図である。記録媒体上の所定の領域である例えばディスク再生当初にTOC領域またはそれに準ずる領域から直接的または間接的(レート情報記載アドレスを指定)に読むように光ヘッド及び光ディスクの回転を制御し、光ヘッドからの再生信号を再生アンプ56によって増幅し、ディジタル復調器57によってこの信号を検波し、ディジタル信号に弁別し、ディジタル復調を施す。
これによってディジタルデータになった再生信号は誤り訂正器58に入力され、再生信号に含まれている誤りを訂正する。誤りの無くなったデータはシステムレイヤ処理器59によってオーディオビットストリームやビデオビットストリームに分離しまたそれ以外のデータも処理する。
例えばこの信号は映像オーディオデータであるとかテキストデータであるとか、プログラムなどのバイナリデータであるとかを判断してストリーム経路の切り分けをしている。その中で上述のようなレート情報をレート情報メモリ60に記憶する。これに対し、何GOPの処理をしたいかという情報をGOP数カウンタで生成し、GOP先頭アドレス演算器54によって算出し光ヘッドアクチュエータやディスクの回転速度を制御する。
このようにして、スキップ再生時にもアクセスしたいGOPのアドレスを求めディスク上をスキップし、所望のGOPにアクセスできたら次のアドレスを同様の算出するとともに例えば実施例4に述べた構成を用いて得られた低周波数領域のデータを再生し画面化するものである。
マイコンなどからスキップサーチ中であるとか、通常の連続再生中である等のモード信号がモード切替器30に入力される。また、ビデオのビットストリームを抽出してデータ並び換え器31に入力する。モード切替器30の出力はデータ並び換え器31やデコーダブル判定器32に供給される。データ並び換え器31は、この制御信号を得て図9のL成分とH成分とから分割前のデータをつなぎ直すように動作するか、またはH成分とつなぐことをせずにL成分のみで可変長復号器(VLD)33に出力する。
VLD33はデコーダブル判定器32とともにL成分領域のイベントの切れ目を抽出しその切れ目までをデコードしスイッチ34に出力する。スイッチ34はデコードに成功した低周波成分よりそのブロックの高周波側は0が挿入されるようにデコーダブル判定器32の出力によって制御されてDCTブロックを構成しそのデータを、逆DCTしてIピクチャの場合は加算器38の出力はスルーされて、Pピクチャの場合はレファレンスのIピクチャの内の動きベクトル分だけ補正されて加算され、Bピクチャの場合Iピクチャ、Pピクチャから動きベクトル分補正されて加算されるように画像メモリ37の読みだしは制御され加算器38によって加算される。
また、このときのDCTモードとか予測モード動きベクトルはヘッダの符号を復号化して制御される。このようにして動き補償予測されたデータは復号され画像メモリ37に蓄えられ、画像をGOPのもとの構成順にする。逆走査変換器39ではバッファリングし画像の出力順でかつブロックスキャンからラスタースキャンに変換する。またスイッチ34は通常再生時には0を挿入するように接続されず、再生データのみを再生するように接続動作する。
次に図18の動作について説明する。図18はディジタル信号再生部の解像度による分割を行った場合の信号処理ブロックを示す図であり、特にディスク上の数カ所に固められて上記レート情報が記録されている場合の再生処理についての実施例を説明するためのブロック図である。ディスク再生当初にTOC領域またはそれに準ずる領域から直接的または間接的(レート情報記載アドレスを指定)に読むように光ヘッド及び光ディスクの回転を制御し、光ヘッドからの再生信号を再生アンプ56によって増幅し、ディジタル復調器57によってこの信号を検波し、ディジタル信号に弁別し、ディジタル復調を施す。
これによってディジタルデータになった再生信号は誤り訂正器58に入力され、再生信号に含まれている誤りを訂正する。誤りの無くなったデータはシステムレイヤ処理器59によってオーディオビットストリームやビデオビットストリームに分離しまたそれ以外のデータも処理する。例えばこの信号はAVデータであるとかテキストデータであるとか、プログラムなどのバイナリデータであるとかを判断してストリーム経路の切り分けをしている。その中で上述のようなレート情報をレート情報メモリ60に記憶する。
これに対し、何GOPの処理をしたいかという情報をGOP数カウンタで生成し、GOP先頭アドレス演算器54によって算出し光ヘッドアクチュエータやディスクの回転速度を制御する。このようにして、スキップ再生時にもアクセスしたいGOPのアドレスを求めディスク上をスキップし、所望のGOPにアクセスできたら次のアドレスを同様の算出するとともに例えば実施例4に述べた構成を用いて得られた低周波数領域のデータを再生し画面化するものである。
マイコンなどからスキップサーチ中であるとか、通常の連続再生中である等のモード信号がモード切替器30に入力される。ビデオのビットストリームを抽出してマルチプレクサ42に入力する。マルチプレクサ42は低解像度成分のデータは第二の可変長復号器45にデータを送り、そうでないデータはスイッチ43を経由して第一の可変長復号器44にデータを送る。スイッチ43はモード切替器30のよってコントロールされており、モードとしてはスキップサーチなどで低解像度成分の再生画像出力しか要求していないにも係わらず、解像度残差成分が中途半端に再生されてきた場合などにOFFするように動作する。また、通常再生のように信号伝送品質の良い再生を行う場合はスイッチ43はONされる。
第二の可変長復号器45はハフマン符号およびランレングス符号を復号し、第二の逆量子化器47によって逆量子化され、逆DCT器36によって周波数領域から空間領域に変換される。そのデータはIピクチャであれば加算器49はスルーされて画像メモリに蓄えられ、Pピクチャであれば、画像メモリからPピクチャを参照し、動きベクトル分位置補正されて読み出され加算器49によって動き補償予測を復号する。BピクチャであればIピクチャ、Pピクチャについて同様の動作をする。
なお、図中動きベクトルや逆量子化のための量子化パラメータや予測モードなどは可変長復号器から出力されているが、その情報の流れは図12と同様であるため省略した。図の下側のループは低解像度成分の復号であるが、その復号結果は解像度逆変換器52によって画素の補間を行い、解像度残差成分として復号結果を補足するため、画像メモリ50に入力される。
実施例9.
次に本発明の別の実施例について図19、図20および図21を参照して説明する。図19は符号化処理のためのブロック図であり、図20は復号化処理のためのブロック図である。図19および図20において、62はエンコード手段としての映像信号符号化器、63はオーディオ信号符号化器、64、67はメモリ、65、68はメモリコントローラであり、メモリ64およびメモリコントローラ65によってデータ補充手段を構成する。また映像信号符号化器62およびメモリコントローラ65により符号量比較手段を構成する。66はシステムレイヤビットストリーム生成器、69は可変長復号器、70は可変長復号器以降の復号信号処理部であり、可変長復号器69と復号信号処理部70はデータ復号手段として機能し、図20のデータ並べ換え器31はデータ再構成手段として機能する。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に本発明の別の実施例について図19、図20および図21を参照して説明する。図19は符号化処理のためのブロック図であり、図20は復号化処理のためのブロック図である。図19および図20において、62はエンコード手段としての映像信号符号化器、63はオーディオ信号符号化器、64、67はメモリ、65、68はメモリコントローラであり、メモリ64およびメモリコントローラ65によってデータ補充手段を構成する。また映像信号符号化器62およびメモリコントローラ65により符号量比較手段を構成する。66はシステムレイヤビットストリーム生成器、69は可変長復号器、70は可変長復号器以降の復号信号処理部であり、可変長復号器69と復号信号処理部70はデータ復号手段として機能し、図20のデータ並べ換え器31はデータ再構成手段として機能する。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
まず、図19に示す構成の動作について説明する。映像信号符号化器62とシステムレイヤビットストリーム生成器66の間にメモリ64を配置して、符号化された映像信号の各GOP間においてデータの埋め込み操作を行ったうえで、システムレイヤビットストリーム生成器66に各GOPを入力し、一方オーディオ信号はオーディオ信号符号化器63によって符号化された後システムレイヤビットストリーム生成器66に映像信号とともに入力され、ヘッダ等を付加する等の操作を施される。
ここで、メモリ64におけるデータの埋め込み操作について以下に記述する。メモリコントローラ65はそのメモリ64の制御回路として機能し、符号化された映像信号データを各GOP間で空白なく埋めなおすよう制御を行う。以下、図21を参照しながら信号処理について説明する。図21はディジタル信号記録・再生装置の処理の概念を示す説明図であり、例えば、nGOPが光ヘッドのアクセス位置や誤り制御の制御単位に対して余剰データが発生した際に、(n+1)GOPが光ヘッドのアクセス位置または誤り制御の制御単位に対して中途半端な終わり方をしてデータ領域の空白を生じた場合、図21のアに示すように、(n+1)GOPのあとの空白部分にオーバーしたnGOPのデータを埋め、同様にnGOPを埋め込んだ為にほんの少しだけ入らなくなった(n+1)GOPの残りデータと(n+2)GOPのデータを(n+3)GOPの空白部分に埋め込む(埋め込む方向が紙面左から右)などのように制御する。
また、別の制御方法としては上述のように余ったデータを後送りするのではなく、図21のイに示すように、(n+2)GOPが光ヘッドのアクセス位置や誤り制御の制御単位に対して少しオーバーして(n+3)GOPが光ヘッドのアクセス位置や誤り制御の制御単位に対して中途半端な終わり方をした場合、(n+2)GOPのあとの空白部分にオーバーした(n+3)GOPのデータを埋め、同様に(n+3)GOPを埋め込んだ為にほんの少しだけ入らなくなった(n+2)GOPの残りデータを、(n+1)GOPのデータの入りきらなくなったデータをnGOPの空白部分に埋め込む(埋め込む方向が紙面右から左)などのように制御する。
次に図20に示す構成の動作について説明する。メモリ67はメモリコントローラ68によって上述の図21のアおよびイについて述べたようなルールで並び換えされたデータを元に戻すようにコントロールされる。例えば、図21のアのようなデータを復元する場合は、(n+1)GOPの後に続いたnGOPの部分を紙面左側のnGOPのデータの後につなげ、その後に(n+1)GOPのデータをつなげ、(n+2)GOPのデータの後に続いている(n+1)GOPのデータを、その後につなげる等のように、元のGOPデータの状態に戻すように動作する。
なお、この並び換えルールは、例えばTOC領域に続いてまとまった領域にフラグ情報として記録しておくなど、予め媒体のフォーマッティングルールとして定められておく必要があり、もし定められていない場合は、媒体上のどこかに明記されていなければならない。
実施例10.
次に本発明の他の実施例について図22、図23および図24を参照して説明する。図22はディジタル信号再生部の周波数による分割または量子化による分割を行った場合の信号処理ブロックを表わす図であり、図23はディジタル信号再生部のビット長による分割または量子化による分割を行った場合の信号処理ブロックを表わす図である。図24はディジタル信号再生部の解像度による分割または量子化による分割を行った場合の信号処理ブロックを表わす図であり、図24において、71はIP選択指示器、72はデコーダブル判定器、73はスイッチである。なお図24には第1の復号手段、第2、第3の復号手段としての一例として該当部分につき表現してある。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に本発明の他の実施例について図22、図23および図24を参照して説明する。図22はディジタル信号再生部の周波数による分割または量子化による分割を行った場合の信号処理ブロックを表わす図であり、図23はディジタル信号再生部のビット長による分割または量子化による分割を行った場合の信号処理ブロックを表わす図である。図24はディジタル信号再生部の解像度による分割または量子化による分割を行った場合の信号処理ブロックを表わす図であり、図24において、71はIP選択指示器、72はデコーダブル判定器、73はスイッチである。なお図24には第1の復号手段、第2、第3の復号手段としての一例として該当部分につき表現してある。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。図22および図23において、まず、ディスク再生当初にTOC領域またはそれに準ずる領域から直接的または間接的(レート情報記載アドレスを指定)に読むように光ヘッド及び光ディスクの回転を制御し、光ヘッドからの再生信号を再生アンプ56によって増幅し、ディジタル復調器57によってこの信号を検波し、ディジタル信号に弁別し、ディジタル復調を施す。これによってディジタルデータになった再生信号は誤り訂正器58に入力され、再生信号に含まれている誤りを訂正する。誤りの無くなったデータはシステムレイヤ処理器59によってオーディオビットストリームやビデオビットストリームに分離しまたそれ以外のデータも処理する。図22、図23および図24は特殊再生速度に基づいて復号手段を切り替えるためのモード切り替え手段としてのモード切替器30からIP選択指示器71に制御信号を出力する。この制御信号と、スキップサーチ速度とによってIピクチャのみの表示とするか、IピクチャとPピクチャの表示とするか切り替えるように制御される。
スキップサーチ速度が100倍等という速さの場合にはIピクチャPピクチャの両方を画面出力していたらGOPをかなり間引いて出力しなければならず、再生された画面の動きに対する不自然さがでてくる。この場合不自然さを解消するためにはIピクチャのみの再生モードに切り替える必要があり、デコータブル判定器32(図24では72)に指示してBピクチャはもちろんのことPピクチャの復号を止める(図24ではスイッチ73がこの役目をしている)とともに画像メモリ37(図24では50及び51)をIピクチャのみを表示するようにコントロールする。
通常5倍速程度まではIピクチャとPピクチャの画面表示が良いが15倍程度以上になるとIピクチャのみの画面表示の方が良い。なぜなら、15倍速でIピクチャとPピクチャを全て表示すると、毎フレーム画面更新をしたとしても次に再生できるGOPは5GOP先のために動きの連続性が極端に劣化する。また、GOPの中のフレーム数:N=15、Iピクチャ、Pピクチャの周期:M=3のとき、例えば7倍速再生などの時はPピクチャの復号は全て行うが、画面出力するのはIピクチャと2枚目のPピクチャ(GOPの中では3枚目と9枚目)というように出力すればもっときめの細かなスキップサーチができる。
以上のように記録媒体上から読み出された各GOPデータの所定の位置に周波数領域を分割して記録が行われた場合、解像度により分割して記録が行われた場合、量子化レベルによって分割して記録が行われた場合などの所定の条件に基づいてデータ状態が分割されて記録が行われ、集約的にデータの配置がなされたデータから、再生データの内の基本的なデータを第1のデータ、基本的な第1のデータを除くデータを第2のデータを再生するときに、これら第1、第2のすべてのデータについて復号を行う場合、第1のデータを復号して(少なくとも)Iピクチャの低周波領域または間引かれた画素数に相当する再生画像を得る場合、第1のデータを復号して少なくともIピクチャ、Pピクチャの低周波領域または間引かれた画素数に相当する再生画像を得る場合の内、いづれか一つの再生画像を得るための復号手段を有し、特殊再生の際にどの復号手段を用いるかを特殊再生速度に基づいて切り換えてもよい。
なお、正方向への再生時と逆方向への再生時とでIピクチャ、Pピクチャの表示の仕方の設定を変えても良いことはいうまでもない。Pピクチャの復号は時間の正の方向に対してしかできないため、逆方向の再生は、復号しようとするPピクチャの以前に存在する画面を蓄えておく必要があり、その分のメモリを余分に使用する必要がある。従って、このメモリを余分に使用しなくても容易にするためには、例えば正方向スキップサーチのときはIピクチャおよびPピクチャを再生し、逆方向スキップサーチはすべてIピクチャしか再生しない等の様にして再生すればよい。
実施例11.
本発明の他の実施例について図25、図26、図27および図28に基づいて説明する。図25はディジタル信号再生部の周波数による分割または量子化による分割を行った場合の信号処理ブロックを表わす図であり、図26はディジタル信号再生部のビット長による分割を行った場合の信号処理ブロックを表わす図である。また図27はスキップサーチ時の処理の概念を示す説明図である。図25、図26、図27において74はフィールド表示コントローラである。なおシステムレイヤ処理器59は映像データ抽出手段として機能する。さらに図25、図26には映像データ復号再生手段の一例として該当部分を表示してある。30はモード切り替え手段としてのモード切り替え器である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
本発明の他の実施例について図25、図26、図27および図28に基づいて説明する。図25はディジタル信号再生部の周波数による分割または量子化による分割を行った場合の信号処理ブロックを表わす図であり、図26はディジタル信号再生部のビット長による分割を行った場合の信号処理ブロックを表わす図である。また図27はスキップサーチ時の処理の概念を示す説明図である。図25、図26、図27において74はフィールド表示コントローラである。なおシステムレイヤ処理器59は映像データ抽出手段として機能する。さらに図25、図26には映像データ復号再生手段の一例として該当部分を表示してある。30はモード切り替え手段としてのモード切り替え器である。なお、図中の同一または相当部分には同一符号を付して説明を省略する。
次に動作について説明する。図25および図26において、まず、ディスク再生当初にTOC領域またはそれに準ずる領域から直接的または間接的(レート情報記載アドレスを指定)に読むように光ヘッド及び光ディスクの回転を制御し、光ヘッドからの再生信号を再生アンプ56によって増幅し、ディジタル復調器57によってこの信号を検波し、ディジタル信号に弁別し、ディジタル復調を施す。これによってディジタルデータになった再生信号は誤り訂正器58に入力され、再生信号に含まれている誤りを訂正する。誤りの無くなったデータはシステムレイヤ処理器59によってオーディオビットストリームやビデオビットストリームに分離し、またそれ以外のデータも処理される。
スキップサーチ時は例えばIピクチャとPピクチャを連続して画面出力すると、図27の矢印のような画面出力順となる。この際、Iピクチャの偶数フィールドからPピクチャの奇数フィールドの間はスキップサーチ時は連続しているのにエンコードデータでは4フィールドの間隔が空いている。つまりこの間はIピクチャの奇数フィールド偶数フィールド間に比して5倍の再生速度となる。従って、1フィールド毎に再生速度が1倍と5倍の間を行き来する不自然な動き方の画像となる。
これをIピクチャの偶数フィールドは奇数フィールドと同じ画面で置き換えるか、またはインターレースを考慮して上下走査線の平均を埋めて画面を作成して出力し、次のPピクチャでも同様の画面構成をするように図25、図26における画像メモリ37をフィールド表示コントローラ74を用いてコントロールする。このようにすれば再生する画像の各フィールドが記録する際に符号化したフィールドの間隔であるフィールド間のスキップ量はほぼ均等に得られるため、ジャーキネス(不自然な動き方)は目立たなくなる。
また、図28は逆再生時の処理の概念を示す説明図であり、特に逆再生のフィールド順序について示したものである。以下、逆再生のフィールド順序について図28をもとに説明する。逆再生を行う場合、通常奇数フィールドと偶数フィールドをペアとするフレーム単位で逆再生となる。具体的には、奇数フィールドから偶数フィールドに移る場合は映像上の時間と同じ方向で再生を行い(図28ア中、ウの経過をたどる再生動作)、偶数フィールドから奇数フィールドに移るときは映像上の時間と逆の方向に2フィールド分の逆送りを行うことになってしまう(図28ア中、エの経過をたどるスキップ動作)。
ところで、上記のような再生経路をとると、3倍速の逆送りとなってしまい、動きの順序が素直に感じられない視感上劣悪な動きをする再生画になってしまう。これを図28のイに示すようにフィールド単位で1画面づつ奇偶奇偶……の順序で逆方向に表示するように図25、図26におけるフィールド表示コントローラ74によって画像メモリ37をコントロールすると、フィールド間のスキップ量がほぼ均等に得られるため、ジャーキネスは目立たなくなる。ただし、このときの同期信号については(フィールド同期信号を逆にするのではなく)正常な奇偶フィールドの関係を保っておく必要がある。
なお、このようにフィールド毎に独立した表示方法をとるため画像メモリは加算器38の出力をそのままとるのではなく、画像メモリから独立に取り出すようにした。なお、このような動作を行うために、別にバッファを設けて順序替えを行っても良いし、アドレスコントロールが独立で設定可能なスリーポートのメモリを用いても良い。さらに動作速度の非常に速いメモリで多重化して読みだしても以上の様な動作を実現できる。また、逆走査変換器39は少なく1フィールドプラス1スライスのメモリをもっているため、このようなバッファリング機能を逆走査変換器39にもたせても良いのは言うまでもない。
また、特殊再生のうちスロー再生については同じフレームが何度か続いて出力されることでジャーキネスが目立ってしまうので再生時間が等間隔になるようにフレームを再構成して出力する。例えば1/3倍速のスロー再生の場合には、例えば復号されたIフレームが3回出力された後、復号されたBフレームが3回出力されるのではなくて、最初の1フレームはIフレームの奇数フィールドから1フレームを構成(偶数フィールド側は上下ラインの平均をとるなどすれば良い。)する。
このようにすれば、インタレースされた画像においてラインずれによる画面垂直方向への画像シフトがなく、安定した画像になる。)し、次の1フレームはもとのIフレームを出力し、次の1フレームはIフレームの偶数フィールドから1フレームを構成(奇数フィールド側は上下ラインの平均をとるなどすれば良い)し、次の1フレームはBフレームの奇数フィールドから1フレームを構成(偶数フィールド側は上下ラインの平均をとるなどすれば良い)し、次の1フレームはもとのBフレームを出力し、次の1フレームはBフレームの偶数フィールドから1フレームを構成(奇数フィールド側は上下ラインの平均をとるなどすれば良い)するようにすれば時間的に等間隔のスローが行える。
3 解像度変換器、 4 前処理器、 5 動きベクトル検出器、 7 減算器、 9 DCT演算器、 11 量子化器、 13 可変長符号化器、 15 逆量子化器、 17 逆DCT演算器、 18 加算器、 19 加算器、 20 画像メモリ、 21 画像メモリ、 23 レート制御器、 24 解像度逆変換器、 25 データ再構成器、 26 第一の可変長符号化器、 27 第二の可変長符号化器、 28 減算器、 29 加算器、 30 モード切替器、 31 データ並び換え器、 32 デコーダブル判定器、 33 可変長復号器、 34 スイッチ、 35 逆量子化器、 36 逆DCT演算器、 37 画像メモリ、 38 加算器、 39 逆走査変換器、 40 レート制御器、 41 EOB検索器、 42 マルチプレクサ、 43 スイッチ、 44 第一の可変長復号器、 45 第二の可変長復号器、 46 第一の逆量子化器、 47 第二の逆量子化器、 48 加算器、 49 加算器、 50 画像メモリ、 51 画像メモリ、 52 解像度逆変換器、 53 レジスタ、 54 GOPアドレス演算、 55 光ヘッド・ディスク回転制御変換器、 56 再生アンプ、 57 ディジタル復調器、 58 誤り訂正器、 59 システムレイヤ処理器、 60 レート情報メモリ、 61 GOP数カウンタ、 62 映像信号符号化器、 63 オーディオ信号符号化器、 64 メモリ、 65 メモリコントローラ、 66 システムレイヤビットストリーム生成器、 67 メモリ、 68 メモリコントローラ、 69 可変長復号化器、 70 復号化信号処理部、 71 IP選択指示器、 72 デコーダブル判定器、 73 スイッチ、 74 フィールド表示コントローラ。
Claims (4)
- 動き補償予測と直交変換とに基づいて符号化された映像情報を記録媒体上より再生するディジタル映像信号再生装置において、
前記記録媒体から映像情報を抽出する映像情報抽出手段と、
通常再生モード、または奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、または奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示する逆再生モードから選択されるいずれか1つに再生モードを切り替えるモード切り替え手段と、
前記モード切り替え手段からの出力に基づいて、前記映像情報抽出手段から出力される映像情報を復号して再生する映像情報復号再生手段とを有することを特徴とするディジタル映像信号再生装置。 - 前記奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、又は、前記奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示する逆再生モードにおいては、
各フィールド間のスキップ量が均等となるように再生表示されることを特徴とする請求項1記載のディジタル映像信号再生装置。 - 動き補償予測と直交変換とに基づいて符号化された映像情報を記録媒体上より再生するディジタル映像信号再生方法において、
前記記録媒体から映像情報を抽出し、
通常再生モード、または奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、または奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示する逆再生モードから選択されるいずれか1つに再生モードを切り替え、
前記切り換えられた再生モードに基づいて、前記抽出された映像情報を復号して再生することを特徴とするディジタル映像信号再生方法。 - 前記奇数フィールドもしくは偶数フィールドのいずれか一方のフィールドを再生表示するモード、又は、前記奇数フィールドもしくは偶数フィールドのフィールド構成を逆にして再生表示する逆再生モードにおいては、
各フィールド間のスキップ量が均等となるように再生表示されることを特徴とする請求項3記載のディジタル映像信号再生方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005107713A JP2005328512A (ja) | 2005-04-04 | 2005-04-04 | ディジタル映像信号再生装置および再生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005107713A JP2005328512A (ja) | 2005-04-04 | 2005-04-04 | ディジタル映像信号再生装置および再生方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002303970A Division JP3685780B2 (ja) | 2002-10-18 | 2002-10-18 | ディジタル映像信号記録装置および記録方法並びに再生装置および再生方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005328512A true JP2005328512A (ja) | 2005-11-24 |
Family
ID=35474461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005107713A Pending JP2005328512A (ja) | 2005-04-04 | 2005-04-04 | ディジタル映像信号再生装置および再生方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005328512A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009088665A (ja) * | 2007-09-27 | 2009-04-23 | Hitachi Ltd | 映像再生装置及び映像再生方法 |
-
2005
- 2005-04-04 JP JP2005107713A patent/JP2005328512A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009088665A (ja) * | 2007-09-27 | 2009-04-23 | Hitachi Ltd | 映像再生装置及び映像再生方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6134382A (en) | Digital video signal record and playback device and method for giving priority to a center of an I frame | |
EP0869681B1 (en) | Encoder and decoder | |
KR100289855B1 (ko) | 복호화 방법 및 장치 | |
JPH10507886A (ja) | プリレコード形ディジタル・ビデオを記録するためのhdtvトリック再生・ストリームの生成 | |
EP1553779A1 (en) | Data reduction of video streams by selection of frames and partial deletion of transform coefficients | |
JP2000508503A (ja) | Mpeg―2互換性のビデオ圧縮機能を有するデジタルカムコーダ装置 | |
KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
KR101210015B1 (ko) | 디지털 비디오 인코딩을 위한 가변 정확도 화상간 타이밍 지정 방법 및 장치 | |
JP3172643B2 (ja) | ディジタル記録再生装置 | |
KR100860661B1 (ko) | 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기 | |
JP2000236522A (ja) | 画像情報処理装置および方法、並びに提供媒体 | |
JP3501521B2 (ja) | ディジタル映像信号再生装置および再生方法 | |
JP3685780B2 (ja) | ディジタル映像信号記録装置および記録方法並びに再生装置および再生方法 | |
CN100375541C (zh) | 运动图像专家组编码信号的特技播放再现 | |
JP2005328512A (ja) | ディジタル映像信号再生装置および再生方法 | |
JP4200541B2 (ja) | データ変換装置及び方法、信号記録再生装置、並びに再生装置及び方法 | |
GB2293516A (en) | Digital video signal recording arrangement with enhanced skip search playback | |
JP2005518728A (ja) | 画像処理方法及び装置 | |
KR100225326B1 (ko) | 디지탈영상신호기록재생장치 및 그 기록재생방법 | |
JP2006187037A (ja) | 画像再生方法 | |
JP4974583B2 (ja) | 画像符号化装置及び符号化方法 | |
GB2324925A (en) | Adaptively-coded digital video signal recording arrangement | |
JP3531594B2 (ja) | ビデオ信号復号化方法及び装置 | |
JP2005237020A (ja) | ディジタル映像処理装置及びディジタル映像処理方法 | |
JP2000134575A (ja) | 特殊再生画像変換方法及び特殊再生画像変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060523 |