JP2006295568A - 動画像復号装置及びピクチャ境界判定方法 - Google Patents
動画像復号装置及びピクチャ境界判定方法 Download PDFInfo
- Publication number
- JP2006295568A JP2006295568A JP2005113824A JP2005113824A JP2006295568A JP 2006295568 A JP2006295568 A JP 2006295568A JP 2005113824 A JP2005113824 A JP 2005113824A JP 2005113824 A JP2005113824 A JP 2005113824A JP 2006295568 A JP2006295568 A JP 2006295568A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- slice
- pictures
- frame
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
Abstract
【解決手段】トランスポートストリームを時系列的に受信して、トランスポートストリームに含まれる動画像を復号する動画像復号装置において、前記動画像のピクチャのスライスピクチャ境界を判定する判定手段と(104)、前記判定手段の判定結果に基づいて、ピクチャを復号する復号手段(111)とを具備し、前記判定手段は、スライスピクチャのframe_numの増加分が1のときに、当該スライスピクチャと直前のスライスピクチャとが異なるピクチャであると判定する。
【選択図】図1
Description
"Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)、" in Joint Video Team of ISO/IEC MPEG and ITU-T VCEG、 May 2003 "ARIB TR-B14、 地上デジタルテレビジョン放送運用規定技術資料、" 電波産業会、 2004 "ARIB TR-B13、 地上デジタル音声放送運用規定技術資料、" 電波産業会、 2004 ISO/IEC 13818-1 Y.-K. Wang、 M.M. Hannuksela、 V. Varsa、 A. Hourunranta、 and M. Gabbouj、 "The error concealment feature in the H.26L test model、" Proc. ICIP、 vol. 2、 pp. 729-732、 Sept. 2002. V. Varsa、 M.M. Hannuksela、 and Y.-K. Wang、 "Non-normative error concealment algorithms、" ITU-T VCEG-N62、 Sept. 2001. 森 弘史、川勝 裕和、鈴木 正和、"H.264における誤り環境下の再生画像に関する一検討、"信学技報、IE 2004-18、May.2004.
図1は、本発明の一実施形態に係るトランスポートストリームを受信し、このトランスポートストリーム(TS)で送られた画像データ及び音声データを再生する装置を示すブロック図である。図2(A)〜(C)は、図1に示す装置で受信されるこのトランスポートストリームの構造を示し、図3(A)〜(G)は、図2に示されるトランスポートストリームから取り出されたTSパケットで構成されるパケッタライズド・エレメンタリ・ストリーム(PES)の構造を示す。また、図4(A)〜(E)は、図2(A)に示すTSパケット、図3に示すPESパケット及びH.264/AVCで規定されるバイトストリームの関係を示している。
図5(a)は、正常ストリームにおけるピクチャ境界の検出例を示す図である。なお、図5において、Sliceはスライスを、AUはAUデリミタ(AU Delimiter)を表している。H.264におけるAUは、同一のframe_numを持つ1つ以上のスライスピクチャにより構成されるため、frame_numの変化点からピクチャ境界を検出することが出来る。またAUデリミタの存在からもピクチャ境界を検出することが出来る。すなわち、スライスピクチャとAUとの境界がピクチャ境界として検出される。しかし、図5(b)に示すように、3つのスライスピクチャ1の2番目のスライスピクチャ1に誤りが混入し、frame_numが5と検出され、かつ、スライスピクチャ1とスライスピクチャ2との間のAUが欠損した場合を例にとると、AUの欠損に対しては、frame_numがその前後で異なるので、ピクチャ境界であると判定される。しかし、frame_numが1のスライスピクチャがframe_numが5のスライスピクチャと認識される誤りが混入すると、frame_num=5のスライスピクチャ前後でframe_numが不連続となるので、スライスピクチャがスライスピクチャ1、スライスピクチャ5及びスライスピクチャ1の3つのスライスピクチャとして誤認識される。このように、H.264のピクチャ境界処理は、4バイトのユニークコードにより境界を示すMPEG−4と異なり、数ビットのシンタックスにより境界を検出するため、ビット誤りに対する影響を受けやすく、復号ピクチャ数が増加する傾向がある。
H.264では、Slice Headerに含まれるシンタックスが7種類の条件の何れかを満たすと、ピクチャ境界と判定するようになっている。また、地上波デジタル放送では、Baseline Profileが採用されているため、以下の3条件を確認すれば良い。
(1) frame_numの値が異なる。
(2) nal_ref_idc=0と値が異なる。
(3) idr_pic_idの値が異なる。
ここで条件(2)は非参照ピクチャと参照ピクチャ間における境界判定条件であり、条件(3)は連続するIDR間における境界判定条件であるため、通常のストリームでは条件(1)により境界を検出することが出来る。
まず、gaps_in_frame_num_value_allowed_flagが0(すなわち、frame_numの増加量が0、または1)であるかどうかをチェックする(ステップS1)。地上波デジタル放送ではframe_numがIDRを起点に0から増分1でインクリメントされている。従って、gaps_in_frame_num_value_allowed_flagが0であれば(ステップS1のYes)、増加量が正常であるので、特別な処理を行うことなく、処理を終了する(ステップS2)。
スライスにおけるnal_ref_idcは、復号ピクチャを参照するか否かを表し、nal_ref_idcが0であるスライスにより構成されるピクチャは、参照ピクチャとして使用されない。一方、nal_ref_idcが0以外スライスにより構成されるピクチャのみを参照ピクチャとして使用される。
図7におけるフレームF1、F2、F3、F4では、フレームF1、F3、F4はnal_ref_idcが1であるため参照ピクチャを表しており、フレームF2はnal_ref_idcが0であるため参照ピクチャを表している。
フレームF3を復号する際、フレームF2は非参照ピクチャとして復号されているため、予測対象フレームから除外されており、フレームF1以前に復号したフレームを用いて動き補償が行われる。
このような非参照ピクチャにおけるピクチャ境界判定では、同一frame_numを保持するフレームF2、F3の境界をnal_ref_idcが0から1へ変化することから検出する。
一方、同一frame_numを保持するフレームにおいてnal_ref_idcが1から0に変化することは禁止されている。
上記のように、連続するframe_numの増加量が0、または1以外ならば当該スライスピクチャをエラーとして扱う。またエラーが多発した場合に対応するため、AUデリミタが存在すれば、frame_numの増加量によらずピクチャ境界と判定する。これより図5(d)の様に、frame_numへのエラー混入やAUデリミタ抜けが発生しても、期待値通りにピクチャ境界を検出することができる。なお、上記の処理を実行するのに、ピクチャ境界判定部104は、直前のスライスピクチャのヘッダデータを記憶するための小容量の記憶部、例えば、RAM等を備えていることが好ましい。
また対象とするトランスポートストリームは、MPEG−2 systemsだけでなく、RTPなどH.264を含む多重化ストリームが対象となる。
103…分離部
104…ピクチャ境界判定部
110…受信部
111…ビデオデコーダ部
114…オーディオデコーダ部
121…MPU
122…メモリ部
123…ROM
131…キー入力部
Claims (4)
- ストリームデータを時系列的に受信して、ストリームデータに含まれる動画像を復号する動画像復号装置において、
前記動画像のピクチャのスライスピクチャ境界を判定する判定手段と、
前記判定手段の判定結果に基づいて、ピクチャを復号する復号手段とを具備し、
前記判定手段は、スライスピクチャのframe_numの増加分が1のときに、当該スライスピクチャと直前のスライスピクチャとが異なるピクチャであると判定することを特徴とする動画像復号装置。 - 請求項1に記載の動画像復号装置において、前記判定手段は、デリミタを検出した場合に、当該位置をピクチャ境界と判定することを特徴とする動画像復号装置。
- 請求項1に記載の動画像復号装置において、前記判定手段は、デリミタを検出しない場合において、nal_ref_idcが前後のピクチャで異なる場合に、当該前後のピクチャが異なるピクチャであると判定することを特徴とする動画像復号装置。
- ストリームデータを時系列的に受信して、ストリームデータに含まれる動画像を復号する動画像復号装置に適用されるピクチャ境界判定方法において、
frame_numの増加量が適正かどうか判定して、増加量が不適当な場合に、デリミタによるピクチャ境界の判定を行うステップと、
デリミタが検出されない場合にframe_numの増加量が1のときに当該スライスピクチャと直前のスライスピクチャとが異なるピクチャであると判定するステップと、
ピクチャの前後がフレーム間符号化されたピクチャとフレーム内符号化されたピクチャである場合に、nal_ref_idcが異なれば、当該前後のピクチャが異なるピクチャであると判定するステップとを具備することを特徴とするピクチャ境界判定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005113824A JP4261508B2 (ja) | 2005-04-11 | 2005-04-11 | 動画像復号装置 |
US11/393,548 US7924928B2 (en) | 2005-04-11 | 2006-03-30 | Moving picture decoding apparatus and picture boundary deciding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005113824A JP4261508B2 (ja) | 2005-04-11 | 2005-04-11 | 動画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006295568A true JP2006295568A (ja) | 2006-10-26 |
JP4261508B2 JP4261508B2 (ja) | 2009-04-30 |
Family
ID=37083141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005113824A Expired - Fee Related JP4261508B2 (ja) | 2005-04-11 | 2005-04-11 | 動画像復号装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7924928B2 (ja) |
JP (1) | JP4261508B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009528715A (ja) * | 2006-02-27 | 2009-08-06 | トムソン ライセンシング | Svcデコーダにおけるパケットロス検出および仮想パケット生成のための方法および装置 |
JP2010516100A (ja) * | 2007-01-04 | 2010-05-13 | トムソン ライセンシング | 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置 |
JP2010516102A (ja) * | 2007-01-04 | 2010-05-13 | トムソン ライセンシング | マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置 |
CN114009030A (zh) * | 2020-02-24 | 2022-02-01 | 腾讯美国有限责任公司 | 用于发信号通知和识别存取单元边界的技术 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7876750B2 (en) * | 2006-04-04 | 2011-01-25 | Samsung Electronics Co., Ltd. | Digital broadcasting system and data processing method thereof |
US20080085124A1 (en) * | 2006-10-10 | 2008-04-10 | Lsi Logic Corporation | Clock generation with minimum number of crystals in a multimedia system |
KR100827152B1 (ko) * | 2006-10-20 | 2008-05-02 | 삼성전자주식회사 | Nal 유닛 에러 검출을 위한 효율적인 h.264 복호 방법및 장치 |
US8411734B2 (en) * | 2007-02-06 | 2013-04-02 | Microsoft Corporation | Scalable multi-thread video decoding |
US9648325B2 (en) * | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
US8265144B2 (en) | 2007-06-30 | 2012-09-11 | Microsoft Corporation | Innovations in video decoder implementations |
KR20090004061A (ko) * | 2007-07-06 | 2009-01-12 | 엘지전자 주식회사 | 방송 수신이 가능한 텔레매틱스 단말기 및 방송 신호 처리방법 |
US8885729B2 (en) | 2010-12-13 | 2014-11-11 | Microsoft Corporation | Low-latency video decoding |
US9706214B2 (en) | 2010-12-24 | 2017-07-11 | Microsoft Technology Licensing, Llc | Image and video decoding implementations |
US9148666B2 (en) | 2011-02-09 | 2015-09-29 | Lg Electronics Inc. | Method for storing motion information and method for inducing temporal motion vector predictor using same |
KR101803970B1 (ko) * | 2011-03-16 | 2017-12-28 | 삼성전자주식회사 | 컨텐트를 구성하는 장치 및 방법 |
ES2958967T3 (es) | 2011-06-30 | 2024-02-16 | Microsoft Technology Licensing Llc | Reducción de latencia en codificación y descodificación de vídeo |
US8731067B2 (en) | 2011-08-31 | 2014-05-20 | Microsoft Corporation | Memory management for video decoding |
US9819949B2 (en) | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
US9516147B2 (en) | 2014-10-30 | 2016-12-06 | Microsoft Technology Licensing, Llc | Single pass/single copy network abstraction layer unit parser |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5623308A (en) * | 1995-07-07 | 1997-04-22 | Lucent Technologies Inc. | Multiple resolution, multi-stream video system using a single standard coder |
JP2002204450A (ja) * | 2000-12-28 | 2002-07-19 | Sony Corp | データ処理装置および方法 |
-
2005
- 2005-04-11 JP JP2005113824A patent/JP4261508B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-30 US US11/393,548 patent/US7924928B2/en not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009528715A (ja) * | 2006-02-27 | 2009-08-06 | トムソン ライセンシング | Svcデコーダにおけるパケットロス検出および仮想パケット生成のための方法および装置 |
JP2010516100A (ja) * | 2007-01-04 | 2010-05-13 | トムソン ライセンシング | 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置 |
JP2010516102A (ja) * | 2007-01-04 | 2010-05-13 | トムソン ライセンシング | マルチビュー符号化ビデオにおいてビデオ・エラー補正を行う方法および装置 |
US9282327B2 (en) | 2007-01-04 | 2016-03-08 | Thomson Licensing Llc | Method and apparatus for video error concealment in multi-view coded video using high level syntax |
CN114009030A (zh) * | 2020-02-24 | 2022-02-01 | 腾讯美国有限责任公司 | 用于发信号通知和识别存取单元边界的技术 |
JP2022529355A (ja) * | 2020-02-24 | 2022-06-21 | テンセント・アメリカ・エルエルシー | アクセスユニット境界を識別するための方法、デバイスおよびコンピュータプログラム |
US11792432B2 (en) | 2020-02-24 | 2023-10-17 | Tencent America LLC | Techniques for signaling and identifying access unit boundaries |
Also Published As
Publication number | Publication date |
---|---|
US20060227872A1 (en) | 2006-10-12 |
JP4261508B2 (ja) | 2009-04-30 |
US7924928B2 (en) | 2011-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4261508B2 (ja) | 動画像復号装置 | |
KR100768058B1 (ko) | 부호화 스트림 재생 장치 | |
JP5007322B2 (ja) | ビデオ符号化方法 | |
JP3437291B2 (ja) | 再生装置および再生方法 | |
US6993081B1 (en) | Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream | |
JP4503294B2 (ja) | ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム | |
JP5357255B2 (ja) | スケーラブルビデオ符号化(svc)復号化におけるエンハンスメントレイヤパケットの消失によるエラー隠蔽方法 | |
US7487423B2 (en) | Decoding method, medium, and apparatus | |
EP3158752B1 (en) | Dependent random access point pictures | |
US20020054641A1 (en) | Video coding | |
JP2005229587A (ja) | 多重化方式変換装置 | |
JP2005151570A (ja) | ビデオストリーム中の有効エントリポイントの指示 | |
US9392279B2 (en) | Method and system for generating an instantaneous decoding refresh (IDR) picture slice in an H.264/AVC compliant video data stream | |
US20200059688A1 (en) | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium having decoding program stored therein | |
JP3987541B2 (ja) | パケットストリーム受信装置 | |
JP4731343B2 (ja) | 復号装置 | |
US20050089102A1 (en) | Video processing | |
US10757473B2 (en) | Digital media splicing system and method | |
JP4252017B2 (ja) | 符号化ストリーム中継装置、その方法及びプログラム | |
US20070098356A1 (en) | Data processor | |
JP2011044771A (ja) | 動画像復号装置および動画像復号方法 | |
EP2456223B1 (en) | System for providing access to information needed for performing trick mode operations on a video elementary stream | |
JP2006295567A (ja) | パケットストリーム受信装置 | |
JP5201200B2 (ja) | 復号装置 | |
JP2008283253A (ja) | 画像伝送システム、画像符号化装置、画像復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |