JP2002094384A - 長時間用画像・音声圧縮装置及びその方法 - Google Patents
長時間用画像・音声圧縮装置及びその方法Info
- Publication number
- JP2002094384A JP2002094384A JP2000277413A JP2000277413A JP2002094384A JP 2002094384 A JP2002094384 A JP 2002094384A JP 2000277413 A JP2000277413 A JP 2000277413A JP 2000277413 A JP2000277413 A JP 2000277413A JP 2002094384 A JP2002094384 A JP 2002094384A
- Authority
- JP
- Japan
- Prior art keywords
- code
- audio
- time
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000006835 compression Effects 0.000 claims abstract description 119
- 238000007906 compression Methods 0.000 claims abstract description 119
- 230000007774 longterm Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 description 32
- 238000001094 photothermal spectroscopy Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Discrete Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
ステム符号の内容を調べることなしに容易に画像符号や
音声符号を分割可能な長時間用画像・音声圧縮装置を提
供する。 【解決手段】 アプリケーション1はキャプチャまたは
ファイルから原画像と原音声とを受取ってインタフェー
ス制御部2に渡し、インタフェース制御部2が生成した
システム符号をシステム符号ファイルに書込む。インタ
フェース制御部2は圧縮・符号化部3のビデオ圧縮制御
部4とオーディオ圧縮制御部5とシステム符号化制御部
6とを制御し、生成された符号をビデオバッファ7とオ
ーディオバッファ8とシステムバッファ9とにそれぞれ
格納してアプリケーション1に符号を渡す。
Description
圧縮装置及びその方法に関し、特に画像や音声を圧縮符
号化するための圧縮符号化方法に関する。
CD−ROMやハードディスク等の記録媒体に記録する
場合、そのデータ量は巨大なものとなるため、通常、画
像や音声の圧縮符号化を行ってから記録している。この
種の画像や音声の圧縮符号化や記録に対する制御はアプ
ケーションプログラムを実行することによって実現され
ている。
符号化方式があり、特に、画像の空間周波数が低周波に
集中する性質を利用して圧縮を行うDCT(Discr
ete Cosine Transform:離散コサ
イン変換)をベースとした符号化方式が比較的多く使用
されている。これはJPEG(Joint Photo
graphic Expert Group)や、MP
EG(MovingPictures Expert
Group)1またはMPEG2等の国際標準の符号化
方式として採用されている。
ついて説明する。まず、画像圧縮処理を行うビデオ圧縮
制御部の構成を図2に示す。図2において、ビデオ圧縮
制御部4は画像をMPEGで圧縮可能な色信号の形式
[YUV形式:輝度信号(Y)と色差信号(Cb,C
r)とに分離した形式]に変換するYUV変換部41
と、前/後フレームと現フレームとの画像の動きをブロ
ック(MPEGでは16画素×16画素)の領域毎に検
索する動き検索部42と、ブロックの画像を空間周波数
に変換するDCT部43と、量子化を行う量子化部44
と、量子化から元に戻す逆量子化を行う逆量子化部47
と、周波数変換から元に戻す逆DCT部46と、ブロッ
ク単位で画像の動きを補償して新たな参照フレームを生
成する動き補償部45と、可変長符号化を行う可変長符
号化部48とから構成されている。
は、図2に示すように、キャプチャ又はファイルからの
原画像をYUV変換部41でYUVデータに変換し、各
ピクチャ種別に応じた圧縮を行う。Iピクチャ[int
ra−coded picture(フレーム内符号化
フレーム)]の場合には、YUVデータをブロックに分
割して各ブロック毎にDCT部43によって空間周波数
に変換し、量子化部44によって量子化してから、可変
長符号化部48によって可変長符号化して圧縮符号を出
力する。また、量子化したブロックを逆量子化部47で
逆量子化し、逆DCT部46で逆周波数変換してから参
照フレームを作成する。
ded picture(フレーム間符号化フレー
ム)]の場合には、YUVデータをブロックに分割して
各ブロック毎に動き検索部42で参照フレームとして格
納されている前フレームのブロックの中で相関が最も高
いブロックを求め、相関が最も高い前フレームのブロッ
クとの差分をDCT部43によって空間周波数に変換
し、量子化部44によって量子化してから可変長符号化
部48によって可変長符号化して圧縮符号を出力する。
また、量子化したブロックを逆量子化部47で逆量子化
し、逆DCT部46で逆周波数変換してから動き補償部
45で動き補償したブロックと加算して参照フレームを
作成する。
ly predictive−coded pictu
re(フレーム内挿符号化フレーム)]の場合には、Y
UVデータをブロックに分割して各ブロック毎に動き検
索部42で参照フレームとして格納されている前/後フ
レームのブロックの中で相関が最も高いブロックを求
め、相関が最も高い前/後フレームのブロックとの差分
をDCT部43によって空間周波数に変換し、量子化部
44によって量子化してから可変長符号化部48によっ
て可変長符号化して圧縮符号を出力する。Bピクチャの
場合には参照フレームを作成する必要がない。
部の構成を図3に示す。図3において、オーディオ圧縮
制御部5は原音から1AAU(Audio Acces
sUnit)分の原音データを切出す原音切出し部51
と、1AAU単位で周波数帯域写像処理を行う32の周
波数帯域写像部52と、線形量子化及び符号化を行う量
子符号化部53と、符号化されたデータに付加情報を加
えて1AAU分の圧縮データを作成するフレーム形成部
54と、心理聴覚処理を行う心理聴覚部55とから構成
されている。
理は、図3に示すように、原音を原音切出し部51で1
AAU分(MPEGオーディオレイヤ2の場合には11
52サンプル)切出し、AAU単位で圧縮する。32の
周波数帯域写像部52は入力信号をサブバンド分析フィ
ルタで32帯域のサブバンド信号に分解し、各サブバン
ド信号に対してスケール・ファクタを計算してダイナミ
ックレンジを揃える。
変換し、その結果を使って心理聴覚のマスキングを計算
して各サブバンドに対するビット割当てを計算する。量
子化符号化部53は決定したビット割当てにしたがって
量子化及び符号化を行う。フレーム形成手段部54は量
子化及び符号化を行ったサブバンド信号にヘッダや補助
情報を追加し、ビットストリームに整形して圧縮符号と
して出力する。
るシステム符号化を行うシステム符号化制御部の構造を
図4に示す。図4において、システム符号化制御部6は
ビデオ符号をパック化するビデオパック生成部61と、
オーディオ符号をパック化するオーディオパック生成部
62と、パケットヘッダに挿入するタイムスタンプを生
成するタイムスタンプ生成部63と、ビットレートを調
整するためにデコーダでは読み飛ばされるパディングパ
ックを生成するパディングパック生成部64とから構成
されている。
号化は、図4に示すように、ビデオ符号とオーディオ符
号とを受取ると、ビデオパック生成部61とオーディオ
パック生成部62とを制御してシステム符号として出力
する。ビデオパック生成部61はビデオ符号からパケッ
ト分のデータを切出し、パケットヘッダ及びパックヘッ
ダを付加する。また、オーディオパック生成部62はオ
ーディオ符号からパケット分のデータを切出して、パケ
ットヘッダ及びパックヘッダを付加する。
タにフレームの先頭が含まれていれば、タイムスタンプ
生成部63で生成したPTS(Presentatio
nTime Stamp)やDTS(Decoding
Time Stamp)を挿入する。オーディオの場
合にはパケットのデータにAAUの先頭が含まれていれ
ば、タイムスタンプ生成部63で生成したPTSを挿入
する。また、パディングパック生成部64はシステムビ
ットレートが平均するようにパディングパックを挿入す
る。
としては、特開2000−125257号公報に記載さ
れた方法がある。この方法では圧縮した画像・音声符号
をディスク状の記録媒体に書込んでいる。また、特開平
10−79671号公報に記載された方法では記録動作
中に圧縮率を変化させて長時間の圧縮を可能としてい
る。
音声とを圧縮することでデータ量を減らすことができる
が、圧縮率が大きくても長時間圧縮を続けると、そのデ
ータ量が巨大なものとなる。このため、生成可能なファ
イルサイズに上限があるシステムでは圧縮した符号をフ
ァイルに出力する時にその上限を越えて圧縮を続けるこ
とができないという問題がある。
を再生装置で再生する場合でも、1本の巨大なファイル
をコピーする必要があるので、手間がかかるという問題
がある。
のファイルに分割して出力するしかないが、単純に分割
した場合には途中のファイルが図5〜図7に示すような
MPEG符号ではなくなるので、標準の再生装置では再
生することができなくなるという問題がある。
消し、アプリケーションが画像符号や音声符号やシステ
ム符号の内容を調べることなしに容易に画像符号や音声
符号を分割することができる長時間用画像・音声圧縮装
置及びその方法を提供することにある。
ファイルが単独で標準の再生装置で再生することができ
る長時間用画像・音声圧縮装置及びその方法を提供する
ことにある。
ションが分割された各ファイルを1本にまとめること
で、標準の再生装置で再生することができる長時間用画
像・音声圧縮装置及びその方法を提供することにある。
像・音声圧縮装置は、生成可能なファイルサイズに上限
のあるシステム上で長時間の記録を行い、かつアプリケ
ーションプログラムの実行によって画像や音声の圧縮符
号化や記録に対する制御を行う長時間用画像・音声圧縮
装置であって、前記アプリケーションプログラムから指
定された符号量とフレーム数と時間とのうちのいずれか
の単位でMPEG(Moving Pictures
Expert Group)符号を分割する分割手段を
備えている。
装置は、上記の構成において、前記分割手段が、前記画
像を符号化したビデオ符号と前記音声を符号化したオー
ディオ符号とを多重化するシステム符号のパックから始
まるように前記MPEG符号を分割するよう構成されて
いる。
装置は、上記の構成において、前記分割手段が、前記ビ
デオ符号の再生時刻を示すタイムスタンプと前記オーデ
ィオ符号の再生時刻を示すタイムスタンプとができるだ
け近い値で始まるように前記MPEG符号を分割するよ
う構成されている。
は、生成可能なファイルサイズに上限のあるシステム上
で長時間の記録を行い、かつアプリケーションプログラ
ムの実行によって画像や音声の圧縮符号化や記録に対す
る制御を行う長時間用画像・音声圧縮方法であって、前
記アプリケーションプログラムから指定された符号量と
フレーム数と時間とのうちのいずれかの単位でMPEG
(Moving Pictures Expert G
roup)符号を分割するステップを備えている。
方法は、上記のステップにおいて、前記MPEG符号を
分割するステップが、前記画像を符号化したビデオ符号
と前記音声を符号化したオーディオ符号とを多重化する
システム符号のパックから始まるように前記MPEG符
号を分割するようにしている。
方法は、上記のステップにおいて、前記MPEG符号を
分割するステップが、前記ビデオ符号の再生時刻を示す
タイムスタンプと前記オーディオ符号の再生時刻を示す
タイムスタンプとができるだけ近い値で始まるように前
記MPEG符号を分割するようにしている。
生成可能なファイルサイズに上限のあるシステム上で長
時間の記録を行う際に、画像や音声の圧縮符号化や記録
に対する制御を行うためのアプリケーションプログラム
(以下、アプリケーションとする)が圧縮の詳細な制御
を行うことなしに、圧縮符号を符号量単位やフレーム単
位や時間単位で分割された複数のファイルに出力するこ
とを可能とし、さらに分割された各ファイルが単独で標
準の再生装置において再生可能なようにする構成を実現
することを特徴とする。
置では、アプリケーションがインタフェース制御部に符
号量単位またはフレーム単位、あるいは時間単位の分割
単位を渡し、インタフェース制御部に圧縮動作を制御さ
せている。アプリケーションはキャプチャまたはファイ
ルからの原画像・原音声をインタフェース制御部に渡
し、生成された符号をファイルに出力する。インタフェ
ース制御部が分割単位にまで符号を生成したことをアプ
リケーションに知らせることで、アプリケーションは生
成された符号を別のファイルに出力する。
声の圧縮や多重化の制御を集約してアプリケーションが
直接圧縮や多重化処理に関与しなくてもよいように構成
することで、アプリケーションが画像符号や音声符号や
システム符号の内容を調べることなしに、容易に画像・
音声符号を分割するシステムが構築可能となる。
がシステム符号のパックヘッダから始り、そのビデオ符
号がシーケンスヘッダから始まり、先頭のBピクチャが
先頭のGOP(Group Of Picture)内
のIピクチャ及びPピクチャのみでデコードできる構成
となっており、各ファイルのオーディオ符号はAAU
(Audio Access Unit)ヘッダから始
まり、各ファイルのビデオ符号とオーディオ符号とのタ
イムスタンプができるだけ近い値で始まるように分割さ
れるので、各ファイルは完全に独立したMPEG符号と
なる。よって、分割された各ファイルは単独で標準の再
生装置で再生することが可能となる。
し、単独で再生可能であると同時に、再生時刻を示すタ
イムスタンプが連続しているので、各ファイルを連続し
て読込んでデコーダに渡すだけで再生可能となるため、
アプリケーションが分割された各ファイルを1本にまと
めることで、標準の再生装置で再生可能となる。
図面を参照して説明する。図1は本発明の一実施例によ
る長時間用画像・音声圧縮装置の構成を示すブロック図
である。図1において、本発明の一実施例による長時間
用画像・音声圧縮装置はユーザが操作するソフトウェア
プログラムであるアプリケーションプログラム(以下、
アプリケーションとする)1と、アプリケーション1か
らの要求にしたがって圧縮動作を制御するインタフェー
ス制御部2と、ビデオ圧縮/符号化及びオーディオ圧縮
/符号化を行う圧縮・符号化部3とから構成されてい
る。
ビデオ圧縮制御部4と、オーディオ圧縮を制御するオー
ディオ圧縮制御部5と、システム符号化を制御するシス
テム符号化制御部6と、ビデオ符号を一時的に格納する
ビデオバッファ7と、オーディオ符号を一時的に格納す
るオーディオバッファ8と、システム符号を一時的に格
納するシステムバッファ9とから構成されている。
またはファイルから原画像と原音声とを受取ってインタ
フェース制御部2に渡し、インタフェース制御部2が生
成したシステム符号をシステム符号ファイル(図示せ
ず)に書込む。
3のビデオ圧縮制御部4とオーディオ圧縮制御部5とシ
ステム符号化制御部6とを制御し、生成された符号をビ
デオバッファ7とオーディオバッファ8とシステムバッ
ファ9とにそれぞれ格納してアプリケーション1に符号
を渡す。
位まで出力したことを通知すると、アプリケーション1
はシステム符号ファイルに書込んだ後で現在のファイル
をクローズして次の新しいファイルをオープンする。
割すべきかどうかを判断しているので、アプリケーショ
ン1は符号の内容を調べなくてもファイルを分割するこ
とができる。また、図1ではアプリケーション1が原画
像と原音声との受取り及び生成された符号のファイル書
込みを行っているが、インタフェース制御部2がこれら
処理を行ってもよい。
示すブロック図である。図2において、ビデオ圧縮制御
部4は画像をMPEGで圧縮可能な色信号の形式[YU
V形式:輝度信号(Y)と色差信号(Cb,Cr)とに
分離した形式]に変換するYUV変換部41と、前/後
フレームと現フレームとの画像の動きをブロック(MP
EGでは16画素×16画素)の領域毎に検索する動き
検索部42と、ブロックの画像を空間周波数に変換する
DCT部43と、量子化を行う量子化部44と、量子化
から元に戻す逆量子化を行う逆量子化部47と、周波数
変換から元に戻す逆DCT部46と、ブロック単位で画
像の動きを補償して新たな参照フレームを生成する動き
補償部45と、可変長符号化を行う可変長符号化部48
とから構成されている。
は、図2に示すように、キャプチャ又はファイルからの
原画像をYUV変換部41でYUVデータに変換し、各
ピクチャ種別に応じた圧縮を行う。Iピクチャ[int
ra−coded picture(フレーム内符号化
フレーム)]の場合には、YUVデータをブロックに分
割して各ブロック毎にDCT部43によって空間周波数
に変換し、量子化部44によって量子化してから、可変
長符号化部48によって可変長符号化して圧縮符号を出
力する。また、量子化したブロックを逆量子化部47で
逆量子化し、逆DCT部46で逆周波数変換してから参
照フレームを作成する。
ded picture(フレーム間符号化フレー
ム)]の場合には、YUVデータをブロックに分割して
各ブロック毎に動き検索部42で参照フレームとして格
納されている前フレームのブロックの中で相関が最も高
いブロックを求め、相関が最も高い前フレームのブロッ
クとの差分をDCT部43によって空間周波数に変換
し、量子化部44によって量子化してから可変長符号化
部48によって可変長符号化して圧縮符号を出力する。
また、量子化したブロックを逆量子化部47で逆量子化
し、逆DCT部46で逆周波数変換してから動き補償部
45で動き補償したブロックと加算して参照フレームを
作成する。
ly predictive−coded pictu
re(フレーム内挿符号化フレーム)]の場合には、Y
UVデータをブロックに分割して各ブロック毎に動き検
索部42で参照フレームとして格納されている前/後フ
レームのブロックの中で相関が最も高いブロックを求
め、相関が最も高い前/後フレームのブロックとの差分
をDCT部43によって空間周波数に変換し、量子化部
44によって量子化してから可変長符号化部48によっ
て可変長符号化して圧縮符号を出力する。Bピクチャの
場合には参照フレームを作成する必要がない。
成を示すブロック図である。図3において、オーディオ
圧縮制御部5は原音から1AAU(Audio Acc
ess Unit)分の原音データを切出す原音切出し
部51と、1AAU単位で周波数帯域写像処理を行う3
2の周波数帯域写像部52と、線形量子化及び符号化を
行う量子符号化部53と、符号化されたデータに付加情
報を加えて1AAU分の圧縮データを作成するフレーム
形成部54と、心理聴覚処理を行う心理聴覚部55とか
ら構成されている。
理は、図3に示すように、原音を原音切出し部51で1
AAU分(MPEGオーディオレイヤ2の場合には11
52サンプル)切出し、AAU単位で圧縮する。32の
周波数帯域写像部52は入力信号をサブバンド分析フィ
ルタで32帯域のサブバンド信号に分解し、各サブバン
ド信号に対してスケール・ファクタを計算してダイナミ
ックレンジを揃える。
変換し、その結果を使って心理聴覚のマスキングを計算
して各サブバンドに対するビット割当てを計算する。量
子化符号化部53は決定したビット割当てにしたがって
量子化及び符号化を行う。フレーム形成手段部54は量
子化及び符号化を行ったサブバンド信号にヘッダや補助
情報を追加し、ビットストリームに整形して圧縮符号と
して出力する。
成を示すブロック図である。図4において、システム符
号化制御部6はビデオ符号をパック化するビデオパック
生成部61と、オーディオ符号をパック化するオーディ
オパック生成部62と、パケットヘッダに挿入するタイ
ムスタンプを生成するタイムスタンプ生成部63と、ビ
ットレートを調整するためにデコーダでは読み飛ばされ
るパディングパックを生成するパディングパック生成部
64とから構成されている。
号化は、図4に示すように、ビデオ符号とオーディオ符
号とを受取ると、ビデオパック生成部61とオーディオ
パック生成部62とを制御してシステム符号として出力
する。ビデオパック生成部61はビデオ符号からパケッ
ト分のデータを切出し、パケットヘッダ及びパックヘッ
ダを付加する。また、オーディオパック生成部62はオ
ーディオ符号からパケット分のデータを切出して、パケ
ットヘッダ及びパックヘッダを付加する。
タにフレームの先頭が含まれていれば、タイムスタンプ
生成部63で生成したPTS(Presentatio
nTime Stamp)やDTS(Decoding
Time Stamp)を挿入する。オーディオの場
合にはパケットのデータにAAUの先頭が含まれていれ
ば、タイムスタンプ生成部63で生成したPTSを挿入
する。また、パディングパック生成部64はシステムビ
ットレートが平均するようにパディングパックを挿入す
る。
ーマットの構成を示す図であり、図6はMPEGオーデ
ィオに準拠した符号フォーマットの構成図を示す図であ
り、図7はMPEGシステムに準拠したビデオ符号・オ
ーディオ符号の多重化フォーマットの構成を示す図であ
る。これら図5〜図7を参照してMPEG(Movin
g Picture Experts Group)圧
縮方式の場合について説明する。
ンス(VSC)から構成されており、ビデオシーケンス
エンドコード(VSE)で終了する[図5(a)参
照]。ビデオ・シーケンスはビデオシーケンスヘッダ
(VSH)と、1個以上のGOP(Group Of
Picture)とから構成されている[図5(b)参
照]。
ャ、Bピクチャ、Pピクチャ)から構成され[図5
(c)参照]、1つのピクチャが1枚の画像を示してい
る。ピクチャの先頭にはピクチャ種別等の情報を含んだ
ピクチャヘッダが置かれる。ピクチャにはフレーム内符
号のみから構成されるIピクチャと、前方向のみのフレ
ーム間符号から構成されるPピクチャと、前後の双方向
のフレーム間符号から構成されるBピクチャとの3種類
がある。ピクチャは任意の領域に分割された複数のスラ
イスから構成されている[図5(d)参照]。
の順序で並んだ複数のマクロブロックから構成されてい
る[図5(e)参照]。マクロブロックは大別してフレ
ーム内符号であるイントラブロックと前方向や双方向の
フレーム間符号であるインタブロックとの2種類があ
る。Iピクチャはイントラブロックのみで構成される
が、PピクチャやBピクチャはインタブロックのみでな
くイントラブロックも含む場合がある。
ックを更に8×8ドットのブロックに分割した輝度成分
(Y1,Y2,Y3,Y4)と、輝度成分に一致する領
域の8×8ドットのブロックの色差成分(Cb,Cr)
との6個のブロックから構成されている[図5(f)参
照]。8×8ドットのブロックが符号化の最小単位とな
る[図5(g)参照]。
ケンスから構成されており、オーディオシーケンスは1
個以上のAAU(Audio Accesee Uni
t:オーディオ復号単位)から構成されている[図6
(a)参照]。1個のAAUは同期ワード、ビットレー
ト、サンプリング周波数等の情報を含んだAAUヘッダ
と、圧縮されたオーディオ符号とから構成されている
[図6(b)参照]。1個のAAUが符号化の最小単位
となる。
号は1個のシステムストリームから構成されており、シ
ステムストリームは複数のパックから構成されている。
パックはパックヘッダと1個以上のパケットから構成さ
れている。パケットにはビデオ・パケットとオーディオ
パケットとがある。
ッダとビデオ符号とから構成されている。このビデオ・
パケット内のビデオ符号のみを取出して連続すると、一
連のビデオシーケンスが構成される。ビデオ・パケット
のパケットヘッダはパケット開始コード、パケット長
(このパケット長の直後に続くパケットデータの全バイ
ト数)を示すコード、再生出力の時刻を示すPTS(P
resentationTime Stamp)、復号
の時刻を示すDTS(Decoding Time S
tamp)等から構成されている。
Bピクチャよりも前に符号化されるので、復号する順番
と再生する順番とが異なることがある。このため、時刻
を示すコードも再生時と復号時との2種類が用意されて
おり、復号の時刻と再生の時刻とが異なる場合にはPT
SとDTSとの両方が出力される。復号の時刻と再生の
時刻とが同じ場合はPTSのみが出力される。
ッダとオーディオ符号とから構成されている。オーディ
オパケット内のオーディオ符号のみを取出して連続する
と、一連のオーディオシーケンスが構成される。オーデ
ィオ・パケットのパケットヘッダはパケット開始コー
ド、パケット長を示すコード、再生出力の時刻を示すP
TS等から構成されている。オーディオ符号では復号の
順番と再生の順番とが同じなので、PTSのみが出力さ
れる。ビデオ・パケットのPTSとオーディオ・パケッ
トのPTSとが一致している場合には、その符号が同時
に再生されることになる。
作を示すフローチャートであり、図9及び図10は図1
のインタフェース制御部2の処理動作を示すフローチャ
ートである。図11〜図13は図1及び図2に示すビデ
オ圧縮制御部4の処理動作を示すフローチャートであ
り、図14及び図15は図1及び図3に示すシステム符
号化制御部6の処理動作を示すフローチャートであり、
図16〜図19は本発明の一実施例におけるパック生成
処理を示すフローチャートである。
実施例による長時間用画像・音声圧縮装置の処理動作に
ついて説明する。以下、キャプチャまたはファイルから
入力される画像と音声とをMPEG圧縮し、複数のファ
イルに出力する場合の圧縮動作について説明する。
部2に符号量単位またはフレーム単位、あるいは時間単
位の分割単位を通知し(図8ステップS1)、キャプチ
ャまたはファイルから原画像を1フレーム受取ってイン
タフェース制御部2に渡し(図8ステップS2)、キャ
プチャまたはファイルから原音を1フレームの時間分受
取ってインタフェース制御部2に渡す(図8ステップS
3)。
部2からシステム符号と分割単位まで符号を出力したか
どうかの通知とを受取ると(図8ステップS4)、シス
テム符号を現在のファイルに出力する(図8ステップS
5)。
たかどうかを判断し(図8ステップS6)、分割単位ま
で出力してないと判断すると、ステップS8へ進む。ア
プリケーション1は分割単位まで出力したと判断する
と、現在のファイルをクローズして新しいファイルをオ
ープンする(図8ステップS7)。アプリケーション1
は原画像と原音とが終了したかどうかを判断し(図8ス
テップS8)、終了していなければステップS1へ戻
り、終了していれば処理を終了する。
ン1から符号量単位またはフレーム単位、あるいは時間
単位の分割単位を受取ると(図9ステップS11)、ア
プリケーション1から指定された分割単位まで1GOP
分の空きがあるかどうかを判断する(図9ステップS1
2)。インタフェース制御部2は空きがあると判断する
と、ステップS15へ進む。インタフェース制御部2は
空きがないと判断すると、ビデオ圧縮制御部4に通知し
て分割単位の最終フレームをIピクチャまたはPピクチ
ャに変えて(図9ステップS13)、システム符号化制
御部6に通知して分割単位の最終データがパック内にち
ょうど収まるようにパック化する(図9ステップS1
4)。
ン1から1フレームの原画像を受取るとビデオ圧縮制御
部4で圧縮し(図9ステップS15)、ビデオ符号をビ
デオバッファ7に格納する(図9ステップS16)。イ
ンタフェース制御部2はアプリケーション1から1フレ
ームの時間分の原音を受取るとオーディオ圧縮制御部5
で圧縮し(図9ステップS17)、オーディオ符号をオ
ーディオバッファ8に格納する(図9ステップS1
8)。インタフェース制御部2はビデオ符号とオーディ
オ符号とをシステム符号化制御部6で多重化し(図10
ステップS19)、システム符号をシステムバッファ9
に格納する(図10ステップS20)。
した符号量、フレーム数、時間をカウントし(図10ス
テップS21)、システム符号と分割単位まで符号を出
力したかどうかの通知とをアプリケーション1に渡す
(図10ステップS22)。インタフェース制御部2は
原画像と原音とが終了したかどうかを判断し(図10ス
テップS23)、終了していなければステップS12へ
戻り、終了していれば処理を終了する。
ケーション1がインタフェース制御部2に分割単位を指
定しているが、以下の計算例のようにインタフェース制
御部2が分割単位を計算してアプリケーション1に伝え
てもよい。
[システム符号のビットレート(bps)]をSa、S
equence Frame[1シーケンス(シーケン
スヘッダから次のシーケンスヘッダまで)に含まれるフ
レーム数]をSb、FrameRate[ビデオ符号の
フレームレート]をf、Max File Size
[ファイルサイズの上限(バイト数)]をm、Sequ
ence Size[1シーケンスのサイズ(バイト
数)]をSc、Sequence Count[1ファ
イルに含まれるシーケンス数の上限]をSd、Sepa
rate Size[System符号の分割単位(バ
イト数)]をSeとし、1シーケンス分のシステム符号
単位で分割単位を計算すると、 Sc=(Sa/8)×(Sb/f) Sd=m/Sc (小数点以下は切り捨て) Se=Sd×Sc×α となる。ここで、αは1以上の値(装置毎に異なる値)
である。
(Sa)=1228800、Sequence Fra
me(Sb)=30、Frame Rate(f)=3
0、Max File Size(m)=214748
3648(80000000H)バイト、α=1.05
の場合は、以下に示すように、2254855680バ
イトが分割単位となる。
部2から受取った原画像をYUV変換部41でYUV変
換し(図11ステップS31)、分割単位の最終フレー
ムかどうかを判断する(図11ステップS32)。ビデ
オ圧縮制御部4は最終フレームでないと判断すると、ス
テップS34へ進む。ビデオ圧縮制御部4は最終フレー
ムであると判断すると、ピクチャ種別をIピクチャまた
はPピクチャに変える(図11ステップS33)。
って各ピクチャ毎の処理を行う(図11ステップS3
4)。ビデオ圧縮制御部4はIピクチャと判断すると、
DCT部43でYUVデータを周波数変換し(図11ス
テップS35)、DCTデータを量子化部44で量子化
し(図11ステップS36)、量子化データを可変長符
号化部48で可変長符号化する(図11ステップS3
7)。
子化部47で逆量子化し(図11ステップS38)、逆
量子化データを逆DCT部46で逆周波数変換して参照
フレームを作成し(図11ステップS39)、ステップ
S51へ進む。
ると、動き検索部42で画像のマクロブロックの動きを
検索して前フレームとの差分を計算し(図12ステップ
S40)、DCT部43で周波数変換し(図12ステッ
プS41)、DCTデータを量子化部44で量子化し
(図12ステップS42)、量子化データを可変長符号
化部48で可変長符号化する(図12ステップS4
3)。
子化部47で逆量子化し(図12ステップS44)、逆
量子化データを逆DCT部46で逆周波数変換し(図1
2ステップS45)、動き補償部45で前フレームのマ
クロブロックに差分値を加算して参照フレームを作成し
(図12ステップS46)、ステップS51へ進む。
ると、動き検索部42で画像のマクロブロックの動きを
検索して前・後フレームとの差分を計算し(図13ステ
ップS47)、DCT部43で周波数変換し(図13ス
テップS48)、DCTデータを量子化部44で量子化
し(図13ステップS49)、量子化データを可変長符
号化部48で可変長符号化する(図13ステップS5
0)。その後に、ビデオ圧縮制御部4はビデオ符号をイ
ンタフェース制御部2に渡し(図13ステップS5
1)、処理を終了する。
オのDTSが出力済みのオーディオのPTSよりも小さ
いかどうかを判断し(図14ステップS61)、小さい
と判断すると、ビデオパック生成部62で1フレーム分
のビデオ符号をパック出力して(図14ステップS6
2)、オーディオパック生成部61で1フレームの時間
分のオーディオ符号をパック出力する(図14ステップ
S63)。
断すると、オーディオパック生成部61で1フレームの
時間分のオーディオ符号をパック出力し(図14ステッ
プS69)、ビデオパック生成部62で1フレーム分の
ビデオ符号をパック出力する(図14ステップS7
0)。
パケットかどうかを判断し(図14ステップS64)、
最終パケットでないと判断すると、処理を終了する。シ
ステム符号化制御部6は最終パケットであると判断する
と、出力済みのビデオのタイムスタンプと出力済みのオ
ーディオのタイムスタンプとの差を計算する(図14ス
テップS65)。
の差が1フレームの時間以上であるかどうかを判断し
(図15ステップS66)、1フレームの時間以上でな
いと判断すると、ステップS72へ進む。システム符号
化制御部6は1フレームの時間以上であると判断する
と、出力済みのビデオのDTSが出力済みのオーディオ
のPTSよりも小さいかどうかを判断する(図15ステ
ップS67)。
ると、タイムスタンプの差にできるだけ近い値の時間分
のビデオデータをビデオパック生成部62でパック出力
する(図15ステップS68)。システム符号化制御部
6は小さくないと判断すると、タイムスタンプの差にで
きるだけ近い値の時間分のオーディオデータをオーディ
オパック生成部61でパック出力する(図15ステップ
S71)。
割単位よりも少ないかどうかを判断し(図15ステップ
S72)、少なくないと判断すると、処理を終了する。
システム符号化制御部6は少ないと判断すると、出力サ
イズを分割単位に揃えるためにパディングパック生成部
64で分割単位に足らない分のパディングを出力する
(図15ステップS73)。
オのDTSを使用しているが、最終付近の複数のビデオ
のPTSから最大となるPTSを使用してもよい。
を呼び出して指定されたオーディオ符号を1パック出力
し(図16ステップS81)、指定された分を全て出力
したかどうかを判断し(図16ステップS82)、全て
出力していなければステップS81へ戻り、全て出力し
ていればタイムスタンプ生成部63で出力済みのPTS
を計算して記憶する(図16ステップS83)。
び出して指定されたビデオ符号を1パック出力し(図1
7ステップS91)、指定された分を全て出力したかど
うかを判断し(図17ステップS92)、全て出力して
いなければステップS91へ戻り、全て出力していれば
タイムスタンプ生成部63で出力済みのPTSを計算し
て記憶する(図17ステップS93)。
を呼び出して指定されたパディングを1パック出力し
(図18ステップS101)、指定された分を全て出力
したかどうかを判断し(図18ステップS98)、全て
出力していなければステップS101へ戻り、全て出力
していれば処理を終了する。
にパックヘッダを出力し(図19ステップS111)、
残りデータサイズが予定サイズよりも小さいかどうかを
判断する(図19ステップS112)。この予定サイズ
は予め決めているパケット内に格納するデータサイズで
あり、通常は2048バイトや2324バイト単位の値
からパックヘッダとパケットヘッダの長さを引いた値と
なるが、任意の値でよい。また、常に固定のサイズとし
てもよいし、その都度サイズを変えてもよい。
ると、残りデータサイズがパケット内のデータサイズと
なるようにパケット長を計算する(図19ステップS1
13)。システム符号化制御部6は小さくないと判断す
ると、予定サイズがパケット内のデータサイズとなるよ
うにパケット長を計算する(図19ステップS12
0)。
開始コードとパケット長とを出力し(図19ステップS
114)、タイムスタンプを付けるかどうかを判断する
(図19ステップS115)。タイムスタンプはパケッ
ト内がビデオの場合にシーケンスヘッダ、GOPヘッ
ダ、ピクチャヘッダの先頭部分が含まれていれば、ビデ
オ符号に付加され、オーディオの場合にAAUヘッダの
先頭部分が含まれていれば、オーディオ符号に付加され
る。
を付けないと判断すると、ステップS119へ進む。シ
ステム符号化制御部6はタイムスタンプを付けると判断
すると、タイムスタンプ生成部63でPTSを計算して
出力する(図19ステップS116)。
り、DTSとPTSとの値が異なるかどうかを判断し
(図19ステップS117)、ビデオ符号でないか、あ
るいはDTSとPTSとの値が異ならないと判断する
と、ステップS119へ進む。システム符号化制御部6
はビデオ符号であり、DTSとPTSとの値が異なると
判断すると、タイムスタンプ生成部63でDTSを計算
して出力する(図19ステップS118)。その後に、
システム符号化制御部6はパケット内のデータサイズ分
のデータを出力する(図19ステップS119)。
号を分割する時の符号例を示す図であり、図21は本発
明の一実施例によるビデオ符号とオーディオ符号とが多
重化されたシステム符号を分割する時の符号例示す図で
ある。これら図20及び図21を参照して本発明の一実
施例において生成された符号について説明する。
の符号例を示しており、分かりやすくするために表示順
序で示しているが、実際の符号化順序ではBピクチャが
IピクチャやPピクチャの後に置かれる。
B,P,B,B,…,Iの構成となる。このような構成
では最後のいくつかのBピクチャは2つのGOPにまた
がって参照するので、GOP単位で分割することができ
ない。そこで、分割単位の最終GOP内の最後の全ての
BピクチャはそのGOP内のピクチャのみで参照するこ
とができるようにする。
はフレーム数、あるいは時間に相当する最終フレームが
Bピクチャなので、Pピクチャに変えている。こうする
ことで、最終部分のBピクチャはその前後のPピクチャ
を参照するので、次のファイルのピクチャを参照する必
要がなくなる。また、分割した後はシーケンスヘッダと
GOPヘッダとを付けてIピクチャから始めるので、前
のファイルのピクチャから参照される必要がない。この
ように、分割した2つのビデオ符号は完全に独立してい
るので、各ビデオ符号は単独で標準の再生装置で再生す
ることができるようになる。
Pピクチャに変えているが、Iピクチャに変えてもよ
く、さらにまた、最終フレームがPピクチャの場合には
Iピクチャに変えてもよい。
号の先頭GOP及び最終GOP以外のGOPのフレーム
構成を示していないが、分割された各符号の先頭のIピ
クチャが前の符号のピクチャから参照されなければ、ど
のようなフレーム構成でもよい。GOPがI,B,B,
P,B,B,P,…,PのようにPピクチャで終わるフ
レーム構成やIピクチャのみのフレーム構成でもよい。
符号とが多重化されたシステム符号を分割する時の符号
例を示しており、ビデオのフレームレートが29.97
fps、オーディオのサンプリング周波数が44.1K
Hzで1AAU分のサンプル数が1152で、分割サイ
ズが2147483648バイトとしている。
刻のビデオ符号とオーディオ符号とを1つにまとめる必
要がある。再生時刻を示すタイムスタンプは90000
Hzのクロックを元にした値であり、ビデオの場合に
は、 ピクチャ数×90000/フレームレート という式で計算される。
sの場合には、 90000/29.97=3003 となり、1フレーム毎にタイムスタンプは3003加算
される。
U分のサンプル数) という式で計算される。
Hzで、1AAU分のサンプル数が1152の場合に
は、 90000/(44100/1152)=2351 となり、1AAU毎にタイムスタンプは2351加算さ
れる。
割単位の符号量またはフレーム数、あるいは時間に相当
する最終VideoパックのDTSが32400528
7であり、その後に出力されるAudioパックのPT
Sが323959628であるので、AudioとVi
deoとの再生時刻の差は、 (324005287−323959628)/900
00=45659/90000 =0.507(秒) という値となる。
イルでAudioがVideoよりも早く再生が終了す
ることになるので、できるだけ同じ時間分のAudio
パックを出力する。Audio符号はAAU単位でデコ
ードされるので、 45659/2351=19.42 という値を四捨五入した値(切り捨てや切り上げでも良
い)のAAU数分(19個分)のAudio符号をパッ
ク出力する。
2番目のファイルのAudioのPTSは、 323959628+2351×19=3239596
28+44669 =324004297 という値から始まることになる。
のDTSは、 324005287+3003=324008290 という値から始まることになる。
とVideoとの再生時刻の差は、 (324008290−324004297)/900
00=3993/90000 =0.044秒 という値となり、実質上は同じ時刻とみなすことができ
る。
のDTSとできるだけ同じ時間分のオーディオ符号のパ
ックを出力するので、再生時刻を合わせるために、次の
ファイルのビデオ符号やオーディオ符号をデコードする
必要がなくなる。
て、ほぼ同じ再生時刻のシーケンスヘッダ付きのビデオ
符号とAAUヘッダ付きのオーディオ符号とから始める
ので、再生時刻を合わせるために、前のファイルのビデ
オ符号やオーディオ符号をデコードする必要がない。2
つのシステム符号は完全に独立しているので、各システ
ム符号は単独で標準の再生装置で再生することができる
ようになる。さらに、各システム符号のタイムスタンプ
は連続しているので、各システム符号を順番に連結する
だけで、1本の巨大なMPEG符号とみなすことができ
る。
に合わせてAudioをパック出力しているが、これと
は逆に、Audioの再生時刻に合わせてVideoを
パック出力してもよい。また、図21に示す例ではビデ
オのDTSを使用しているが、最終付近の複数のビデオ
のPTSから最大となるPTSを使用してもよい。
udioパックの内容を示していないが、Videoと
Audioとがほとんど同じ再生時刻から始まるように
なっていれば、どのような構成でもよい。パックサイズ
は任意の値でよいし、1パック1パケットでも、1パッ
ク複数パケットでもよい。
ズを揃えるために、分割単位の符号量に足らない分のパ
ディングパックを出力している。Audioパックを出
力した後の出力サイズが2147481618バイトで
あり、分割サイズが2147483648バイトなの
で、パディングパックの合計サイズは、 2147483648−2147481618=203
0(バイト) という値となる。
パディングパックを出力するので、アプリケーション1
は符号の内容を調べなくても単純に出力された符号サイ
ズから分割単位が分かる。尚、分割単位を符号量にしな
い場合にはパディングパックを出力しなくてもよい。
たファイルを1つにまとめて再生する場合の動作を説明
するための図である。図22において、アプリケーショ
ン1は各ファイルを順番に読込んでデコーダ11に渡
し、デコーダ11は渡された符号を順番にデコードして
同じPTSのビデオをモニタ12に表示し、同じPTS
のオーディオをスピーカ13に出力する。
号は完全に独立しているが、再生時刻を示すPTSは連
続しているので、各ファイルを連結するだけで1つの巨
大なMPEGファイルとして再生することができる。
の圧縮や多重化の制御を集約し、アプリケーション1が
直接圧縮や多重化処理に関与しなくてもよいように構成
することによって、アプリケーション1が画像符号や音
声符号やシステム符号の内容を調べることなしに、容易
に画像・音声符号を分割するシステムを構築することが
できる。
クヘッダから始り、そのビデオ符号がシーケンスヘッダ
から始まり、先頭のBピクチャが先頭のGOP内のIピ
クチャ及びPピクチャのみでデコードすることができる
構成とし、オーディオ符号がAAUヘッダから始まり、
ビデオ符号とオーディオ符号とのタイムスタンプができ
るだけ近い値で始まるように分割することによって、各
ファイルが完全に独立したMPEG符号となるため、分
割された各ファイルを単独で標準の再生装置で再生する
ことができる。
させ、単独で再生可能であると同時に、再生時刻を示す
タイムスタンプを連続させることによって、各ファイル
を連続して読込んでデコーダに渡すだけで再生すること
ができるので、アプリケーション1が分割された各ファ
イルを1本にまとめることで、標準の再生装置で再生す
ることができる。
像・音声圧縮装置によれば、生成可能なファイルサイズ
に上限のあるシステム上で長時間の記録を行い、かつア
プリケーションプログラムの実行によって画像や音声の
圧縮符号化や記録に対する制御を行う長時間用画像・音
声圧縮装置において、アプリケーションプログラムから
指定された符号量とフレーム数と時間とのうちのいずれ
かの単位でMPEG符号を分割することによって、アプ
リケーションが画像符号や音声符号やシステム符号の内
容を調べることなしに容易に画像符号や音声符号を分割
することができるという効果がある。
縮装置によれば、MPEG符号を分割する際に、画像を
符号化したビデオ符号と音声を符号化したオーディオ符
号とを多重化するシステム符号のパックから始まるよう
にすることによって、分割された各ファイルが単独で標
準の再生装置で再生することができるという効果があ
る。
圧縮装置によれば、MPEG符号を分割する際に、ビデ
オ符号の再生時刻を示すタイムスタンプとオーディオ符
号の再生時刻を示すタイムスタンプとができるだけ近い
値で始まるようにすることによって、アプリケーション
が分割された各ファイルを1本にまとめることで、標準
の再生装置で再生することができるという効果がある。
縮装置の構成を示すブロック図である。
図である。
ック図である。
ック図である。
構成を示す図である。
トの構成図を示す図である。
ディオ符号の多重化フォーマットの構成を示す図であ
る。
ーチャートである。
フローチャートである。
すフローチャートである。
動作を示すフローチャートである。
動作を示すフローチャートである。
動作を示すフローチャートである。
処理動作を示すフローチャートである。
処理動作を示すフローチャートである。
示すフローチャートである。
示すフローチャートである。
示すフローチャートである。
示すフローチャートである。
る時の符号例を示す図である。
ィオ符号とが多重化されたシステム符号を分割する時の
符号例示す図である。
を1つにまとめて再生する場合の動作を説明するための
図である。
Claims (12)
- 【請求項1】 生成可能なファイルサイズに上限のある
システム上で長時間の記録を行い、かつアプリケーショ
ンプログラムの実行によって画像や音声の圧縮符号化や
記録に対する制御を行う長時間用画像・音声圧縮装置で
あって、前記アプリケーションプログラムから指定され
た符号量とフレーム数と時間とのうちのいずれかの単位
でMPEG(Moving Pictures Exp
ertGroup)符号を分割する分割手段を有するこ
とを特徴とする長時間用画像・音声圧縮装置。 - 【請求項2】 前記分割手段は、前記画像を符号化した
ビデオ符号と前記音声を符号化したオーディオ符号とを
多重化するシステム符号のパックから始まるように前記
MPEG符号を分割するよう構成したことを特徴とする
請求項1記載の長時間用画像・音声圧縮装置。 - 【請求項3】 前記分割手段は、前記ビデオ符号がシー
ケンスヘッダから始まるように前記MPEG符号を分割
するよう構成したことを特徴とする請求項2記載の長時
間用画像・音声圧縮装置。 - 【請求項4】 前記分割手段は、前記オーディオ符号が
少なくとも同期ワードとビットレートとサンプリング周
波数とからなる情報を含むAAU(Audio Acc
ess Unit)ヘッダから始まるように前記MPE
G符号を分割するよう構成したことを特徴とする請求項
2または請求項3記載の長時間用画像・音声圧縮装置。 - 【請求項5】 前記分割手段は、前記ビデオ符号の再生
時刻を示すタイムスタンプと前記オーディオ符号の再生
時刻を示すタイムスタンプとができるだけ近い値で始ま
るように前記MPEG符号を分割するよう構成したこと
を特徴とする請求項2から請求項4のいずれか記載の長
時間用画像・音声圧縮装置。 - 【請求項6】 前記分割手段は、前記MPEG符号にお
いて、前後の双方向のフレーム間符号から構成されるB
ピクチャが2つのファイルにまたがって参照しなくても
良い構成となるように前記MPEG符号を分割するよう
構成したことを特徴とする請求項1から請求項5のいず
れか記載の長時間用画像・音声圧縮装置。 - 【請求項7】 生成可能なファイルサイズに上限のある
システム上で長時間の記録を行い、かつアプリケーショ
ンプログラムの実行によって画像や音声の圧縮符号化や
記録に対する制御を行う長時間用画像・音声圧縮方法で
あって、前記アプリケーションプログラムから指定され
た符号量とフレーム数と時間とのうちのいずれかの単位
でMPEG(Moving Pictures Exp
ertGroup)符号を分割するステップを有するこ
とを特徴とする長時間用画像・音声圧縮方法。 - 【請求項8】 前記MPEG符号を分割するステップ
は、前記画像を符号化したビデオ符号と前記音声を符号
化したオーディオ符号とを多重化するシステム符号のパ
ックから始まるように前記MPEG符号を分割するよう
にしたことを特徴とする請求項7記載の長時間用画像・
音声圧縮方法。 - 【請求項9】 前記MPEG符号を分割するステップ
は、前記ビデオ符号がシーケンスヘッダから始まるよう
に前記MPEG符号を分割するようにしたことを特徴と
する請求項8記載の長時間用画像・音声圧縮方法。 - 【請求項10】 前記MPEG符号を分割するステップ
は、前記オーディオ符号が少なくとも同期ワードとビッ
トレートとサンプリング周波数とからなる情報を含むA
AU(Audio Access Unit)ヘッダか
ら始まるように前記MPEG符号を分割するようにした
ことを特徴とする請求項8または請求項9記載の長時間
用画像・音声圧縮方法。 - 【請求項11】 前記MPEG符号を分割するステップ
は、前記ビデオ符号の再生時刻を示すタイムスタンプと
前記オーディオ符号の再生時刻を示すタイムスタンプと
ができるだけ近い値で始まるように前記MPEG符号を
分割するようにしたことを特徴とする請求項8から請求
項10のいずれか記載の長時間用画像・音声圧縮方法。 - 【請求項12】 前記MPEG符号を分割するステップ
は、前記MPEG符号において、前後の双方向のフレー
ム間符号から構成されるBピクチャが2つのファイルに
またがって参照しなくても良い構成となるように前記M
PEG符号を分割するようにしたことを特徴とする請求
項7から請求項11のいずれか記載の長時間用画像・音
声圧縮方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000277413A JP3578069B2 (ja) | 2000-09-13 | 2000-09-13 | 長時間用画像・音声圧縮装置及びその方法 |
US09/950,789 US7061982B2 (en) | 2000-09-13 | 2001-09-13 | Long-hour video/audio compression device and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000277413A JP3578069B2 (ja) | 2000-09-13 | 2000-09-13 | 長時間用画像・音声圧縮装置及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002094384A true JP2002094384A (ja) | 2002-03-29 |
JP3578069B2 JP3578069B2 (ja) | 2004-10-20 |
Family
ID=18762744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000277413A Expired - Fee Related JP3578069B2 (ja) | 2000-09-13 | 2000-09-13 | 長時間用画像・音声圧縮装置及びその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7061982B2 (ja) |
JP (1) | JP3578069B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292640A (ja) * | 2004-04-02 | 2005-10-20 | Casio Comput Co Ltd | 音声符号化装置、方法及びプログラム、並びに音声復号装置、方法及びプログラム |
CN112423121A (zh) * | 2020-08-11 | 2021-02-26 | 上海幻电信息科技有限公司 | 视频测试文件生成方法、装置及播放器测试方法、装置 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040215873A1 (en) * | 2002-12-13 | 2004-10-28 | Chiyoko Matsumi | Recording and reproducing system, recording apparatus, reproducing apparatus, record medium, recording and reproducing method, recording method, reproducing method, program and record medium |
US7644170B2 (en) * | 2003-08-11 | 2010-01-05 | Teamon Systems, Inc. | Communications system providing extensible protocol translation features and related methods |
JPWO2006064689A1 (ja) * | 2004-12-16 | 2008-06-12 | 松下電器産業株式会社 | 無線通信システム |
WO2006115606A2 (en) | 2005-04-26 | 2006-11-02 | Thomson Licensing | Synchronized stream packing |
AU2006304414B2 (en) * | 2005-10-17 | 2011-01-20 | Cfph, Llc | Products and processes for managing life instruments |
US8130841B2 (en) * | 2005-12-29 | 2012-03-06 | Harris Corporation | Method and apparatus for compression of a video signal |
EP2036204B1 (en) * | 2006-06-29 | 2012-08-15 | LG Electronics Inc. | Method and apparatus for an audio signal processing |
JP4851976B2 (ja) * | 2007-03-28 | 2012-01-11 | 富士フイルム株式会社 | 動画圧縮装置およびその動作制御方法 |
US10694227B2 (en) * | 2017-01-13 | 2020-06-23 | Panasonic Intellectual Property Management Co., Ltd. | Video transmission system and video transmission method |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU668762B2 (en) * | 1992-10-07 | 1996-05-16 | Nec Personal Computers, Ltd | Synchronous compression and reconstruction system |
JPH07264144A (ja) * | 1994-03-16 | 1995-10-13 | Toshiba Corp | 信号圧縮符号化装置および圧縮信号復号装置 |
US5671226A (en) * | 1995-02-09 | 1997-09-23 | Mitsubishi Denki Kabushiki Kaisha | Multimedia information processing system |
US6236805B1 (en) * | 1995-04-13 | 2001-05-22 | Siemens Aktiengesellschaft | Method and apparatus for storing, searching and playing back audiovisual information and data files |
JP3232243B2 (ja) | 1996-06-07 | 2001-11-26 | 株式会社エヌ・ティ・ティ・データ | マルチメディアデータ伝送方法およびシステム |
JPH1079671A (ja) | 1996-09-04 | 1998-03-24 | Nippon Columbia Co Ltd | 圧縮データ記憶装置 |
JPH11176083A (ja) | 1997-12-12 | 1999-07-02 | Hitachi Ltd | 画像音声記録再生装置 |
JP3407287B2 (ja) * | 1997-12-22 | 2003-05-19 | 日本電気株式会社 | 符号化復号システム |
JP2000125257A (ja) | 1998-10-16 | 2000-04-28 | Toshiba Video Products Japan Kk | 長時間記録再生装置 |
JP2000287169A (ja) * | 1999-03-30 | 2000-10-13 | Pioneer Electronic Corp | 映像音声多重記録装置 |
JP3976979B2 (ja) | 2000-02-21 | 2007-09-19 | シャープ株式会社 | 画像編集装置 |
JP2002077919A (ja) | 2000-08-25 | 2002-03-15 | Toshiba Corp | 動画像監視装置 |
-
2000
- 2000-09-13 JP JP2000277413A patent/JP3578069B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-13 US US09/950,789 patent/US7061982B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292640A (ja) * | 2004-04-02 | 2005-10-20 | Casio Comput Co Ltd | 音声符号化装置、方法及びプログラム、並びに音声復号装置、方法及びプログラム |
JP4547965B2 (ja) * | 2004-04-02 | 2010-09-22 | カシオ計算機株式会社 | 音声符号化装置、方法及びプログラム |
CN112423121A (zh) * | 2020-08-11 | 2021-02-26 | 上海幻电信息科技有限公司 | 视频测试文件生成方法、装置及播放器测试方法、装置 |
Also Published As
Publication number | Publication date |
---|---|
US7061982B2 (en) | 2006-06-13 |
JP3578069B2 (ja) | 2004-10-20 |
US20020044609A1 (en) | 2002-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7403567B2 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
JP2003046949A (ja) | データ多重化方法、データ記録媒体、データ記録装置及びデータ記録プログラム | |
US6754274B2 (en) | Video data recording method and apparatus for high-speed reproduction | |
JP2002094384A (ja) | 長時間用画像・音声圧縮装置及びその方法 | |
US6947660B2 (en) | Motion picture recording/reproduction apparatus | |
US20020037161A1 (en) | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method | |
JP4704972B2 (ja) | ストリーム編集方法及びストリーム編集装置 | |
JP2894958B2 (ja) | 画像復号化方式および装置 | |
JP3748234B2 (ja) | Mpegデータ記録方法 | |
JP3671842B2 (ja) | 符号圧縮化/データ変換装置及び符号圧縮化/データ変換方法 | |
JP2003052040A (ja) | Mpegデータ再生装置 | |
JP3166572B2 (ja) | 動画像音声圧縮装置 | |
JPH08186822A (ja) | 画像復号装置 | |
JP3748243B2 (ja) | Mpegデータ記録装置 | |
JP3748241B2 (ja) | Mpegデータ記録方法 | |
JP3748240B2 (ja) | Mpegデータ記録方法 | |
JP3748242B2 (ja) | Mpegデータ記録方法 | |
JP3748245B2 (ja) | Mpegデータ記録装置 | |
JP3748244B2 (ja) | Mpegデータ記録装置 | |
JP2007325304A (ja) | Mpegデータ記録再生方法 | |
JP2008005520A (ja) | Mpegデータ記録再生装置 | |
JP2002315003A (ja) | 画像符号化装置 | |
JP2003235011A (ja) | プログラムストリーム生成装置およびこれを用いた記録再生装置 | |
JP2003333526A (ja) | 間欠動画像信号の符号化方法、記録装置及び再生装置並びに記録再生装置 | |
JP2008005521A (ja) | Mpegデータ記録再生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040223 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040430 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040430 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040430 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |