JP2007081534A - 復号再生装置 - Google Patents

復号再生装置 Download PDF

Info

Publication number
JP2007081534A
JP2007081534A JP2005263742A JP2005263742A JP2007081534A JP 2007081534 A JP2007081534 A JP 2007081534A JP 2005263742 A JP2005263742 A JP 2005263742A JP 2005263742 A JP2005263742 A JP 2005263742A JP 2007081534 A JP2007081534 A JP 2007081534A
Authority
JP
Japan
Prior art keywords
output
decoding
stream data
data
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005263742A
Other languages
English (en)
Inventor
Yusuke Yamanaka
祐介 山中
Akio Noda
晃生 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005263742A priority Critical patent/JP2007081534A/ja
Priority to US11/499,649 priority patent/US20070058934A1/en
Priority to CNA200610151534XA priority patent/CN1933583A/zh
Publication of JP2007081534A publication Critical patent/JP2007081534A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer

Abstract

【課題】同期制御を簡略化し、処理量を低減する。
【解決手段】同期制御に係る周期を予め設定する周期設定装置１３と、蓄積されたストリームデータから同期再生用の再生時刻情報を前記周期で検出する再生時刻検出手段(6)と、検出した再生時刻情報とシステム時刻情報とを比較し、再生時刻とシステム時刻の差が０より大きくかつ予め設定された正の値より小さい場合に出力の待機を指示し、再生時刻とシステム時刻の差が予め設定された負の値の範囲内である場合に出力データの破棄を指示する同期制御装置７と、出力データの破棄または出力の待機を制御する出力データ破棄・出力待機装置４，１１とを備える。
【選択図】 図１

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）システムによる多重化ストリームデータを分離し、各ストリームデータを復号再生する復号再生装置に関する。
従来の復号再生装置のＭＰＥＧシステムにおける同期制御は、多重分離された各ストリームデータに付加されている再生時刻情報（ＰＴＳ：Presentation Time Stamp）をシステム時刻（ＳＴＣ：System Time Clock）と比較して行っていた。ＳＴＣがＰＴＳの時刻に到達した時点でストリームデータを復号化した出力データが再生される。このＰＴＳとＳＴＣの比較は、各ストリームデータの１フレーム毎に行われていた。
また、精度の高い同期制御を行うため、タイマー割り込み機能を用いて、ＳＴＣがＰＴＳの時刻に到達するまでＰＴＳとＳＴＣの比較を高い頻度で繰り返す復号再生装置も提案されている（例えば、特許文献１参照）。
特開２００４−１０４７３３号公報（第６頁−第１１頁、図１）
しかしながら、上記従来の復号再生装置では、同期制御に係る複雑な処理を各ストリームデータの１フレーム毎に行うため、処理量が増大し、携帯端末などの処理量を抑制する必要のある装置には不向きであるという課題があった。
本発明は、同期制御を簡略化し、処理量を低減することができる復号再生装置を提供することを目的とする。
本発明は、基準時刻情報と同期再生用の再生時刻情報が付加され、フレーム単位で構成された複数のストリームデータを多重化してなる多重化ストリームデータを復号再生する復号再生装置において、前記多重化ストリームデータを複数のストリームデータに分離する分離手段と、前記分離手段で分離した複数のストリームデータを蓄積する蓄積手段と、前記蓄積手段に蓄積したストリームデータをフレーム単位で復号する復号手段と、前記復号手段で復号された出力データをフレーム単位で出力する出力手段と、同期制御に係る周期を予め設定する周期設定手段と、前記蓄積手段に蓄積されたストリームデータから同期再生用の再生時刻情報を前記周期で検出する再生時刻検出手段と、前記基準時刻情報に基づくシステム時刻を計測するシステム時刻計測手段と、前記再生時刻情報と前記システム時刻計測手段で計測されたシステム時刻情報とを比較し、再生時刻とシステム時刻の差が０より大きくかつ予め設定された正の値より小さい場合に出力の待機を指示し、再生時刻とシステム時刻の差が予め設定された負の値の範囲内である場合に出力データの破棄を指示する同期制御手段と、前記同期制御手段からの指示に基づいて、出力データの破棄または出力の待機を制御する出力制御手段と、を備える。この構成によれば、分離された各ストリームデータの再生の同期制御を、フレーム単位ではなく、予め設定した所定の周期に間引くことにより、同期制御を簡略化し、処理量を低減することができる。
本発明において、前記周期設定手段は、前記周期を、前記蓄積手段に１フレーム分のストリームデータが蓄積されるまでの時間として設定する。この構成によれば、フレーム単位で再生時刻情報を検出することによって、フレーム単位の粒度で再生の同期制御が行える。
本発明において、前記周期設定手段は、前記周期を、前記蓄積手段に所定データサイズのストリームデータが蓄積されるまでの時間として設定する。この構成によれば、データサイズ単位で再生時刻情報を検出することによって、所定データサイズの粒度で再生の同期制御が行える。
本発明において、前記周期設定手段は、前記周期を、タイマーに設定されるタイマー周期として設定する。この構成によれば、タイマー周期で再生時刻情報を検出することによって、所定周期の粒度で再生の同期制御が行える。
本発明において、前記出力制御手段は、出力データの破棄をフレーム単位で行い、出力の待機をタイマー周期によって行う。この構成によれば、同期制御を簡略化でき、またタイマーを用いることにより処理を単純化することができる。
本発明によれば、分離された各ストリームデータの再生の同期制御を、フレーム単位ではなく、予め設定した所定の周期に間引くことにより、同期制御を簡略化し、処理量を低減することができる。
図１は、本発明の実施の形態における復号再生装置の概略構成を示す図である。以下の実施の形態では、オーディオストリームデータ及びビデオストリームデータがＭＰＥＧシステムにより多重化された多重化ストリームデータを分離し、復号再生する場合について説明する。尚、本発明の復号再生装置は、ストリームデータの種類や数が変更されても同様の同期制御が可能である。
復号再生装置は、多重分離装置１、ビデオストリームバッファ２、ビデオ復号化装置３、出力データ破棄・出力待機装置４、ビデオ出力装置５、ＰＴＳ検出装置６、同期制御装置７、システムタイマー８、オーディオストリームバッファ９、オーディオ復号化装置１０、出力データ破棄・出力待機装置１１、オーディオ出力装置１２及び周期設定装置１３を備える。
多重分離装置１は、多重化されたオーディオストリームデータ及びビデオストリームデータの分離を行う分離手段として機能する。ビデオストリームバッファ２は、多重分離装置１で分離されたビデオストリームデータを随時蓄積する蓄積手段として機能する。ビデオ復号化装置３は、ビデオストリームバッファ２に蓄積されたビデオストリームデータをフレーム単位で読み出し、復号する復号手段として機能する。出力データ破棄・出力待機装置４は、後述する同期制御装置７の指示する命令に従って、例えば、破棄の場合はビデオ復号化装置３で復号された出力データを１フレーム破棄し、待機の場合は指定された時間だけタイマーで出力を待機する出力制御手段として機能する。ビデオ出力装置５は、ビデオ復号化装置３で復号された出力データをフレーム単位で出力する出力手段として機能する。
ＰＴＳ検出装置６は、ビデオストリームバッファ２とオーディオストリームバッファ９に蓄積されたストリームデータを解析し、所定の周期でオーディオとビデオのＰＴＳを検出する再生時刻検出手段として機能する。検出したＰＴＳは同期制御装置７へ伝送される。尚、本発明の復号再生装置では、後述する周期設定装置により、所定のタイマー周期や、データサイズ単位（即ち、ビデオストリームバッファ２やオーディオストリームバッファ９に所定データ量のストリームデータが蓄積されるまでの時間）、またフレーム単位でもＰＴＳの検出を行うことが可能である。
同期制御装置７は、ＰＴＳ検出装置６で検出されたＰＴＳと後述するシステムタイマー８より伝送されたＳＴＣとを比較し、比較結果に基づいて、出力データ破棄・出力待機装置４及び１１に、出力データの破棄または出力の待機を命令する同期制御手段として機能する。
システムタイマー８は、多重化ストリームデータに付加されているＰＣＲ（Program lock Reference）情報に基づいて設定されるカウンタタイマーからＳＴＣ情報を取得して、同期制御装置７へ伝送するシステム時刻計測手段として機能する。オーディオストリームバッファ９は、多重分離装置１で分離されたオーディオストリームデータを随時蓄積する蓄積手段として機能する。オーディオ復号化装置１０は、オーディオストリームバッファ９に蓄積されたオーディオストリームデータをフレーム単位で読み出し、復号する復号手段として機能する。出力データ破棄・出力待機装置１１は、同期制御装置７の指示する命令に従って、例えば、破棄の場合はオーディオ復号化装置１０で復号された出力データを１フレーム破棄し、待機の場合は指定された時間だけタイマーで出力を待機する出力制御手段として機能する。オーディオ出力装置１２は、オーディオ復号化装置１０で復号された出力データをフレーム単位で出力する出力手段として機能する。周期設定装置１３は、ＰＴＳ検出装置６がＰＴＳを検出する頻度である周期を予め設定する周期設定手段として機能する。本実施の形態では、ＰＴＳが検出された時点でＰＴＳとＳＴＣとの比較や出力データの破棄または待機指示が実行されるので、この周期は、実質的に同期制御の周期とすることができる。また、ＰＴＳ検出装置６と同期制御装置７は周期設定装置１３の設定により、それぞれ独立した周期で動作が可能である。
図２は、本発明の実施の形態における復号再生装置の、同期制御装置の動作手順を示すフローチャートである。同期制御装置７は、周期設定装置１３で予め設定された周期だけ待機する。例えば、周期がタイマーに設定されたタイマー時間である場合、所定のタイマー時間だけ待機する（ステップＳ１）。復号再生装置内のタイマー（図示省略）により待機時間を計測し、設定された時間が経過すれば待機状態が解除される。
待機状態解除後、同期制御装置７は、ＰＴＳ検出装置６で検出したＰＴＳとＳＴＣの比較を行い（ステップＳ３）、０＜ＰＴＳ−ＳＴＣ＜Ｔｔ１（但し、Ｔｔ１は予め設定された正の値）である場合には待機時間と待機を指示し（ステップＳ５）、−Ｔｔ２＜ＰＴＳ−ＳＴＣ＜−α（但し、−Ｔｔ２、−αは予め設定された負の値）である場合には１フレーム分のストリームデータの破棄を指示する（ステップＳ４）。一方、このどちらにも当てはまらない場合は指示を行わない。
以上の処理を、分離されたストリームデータそれぞれに対して実施する（ステップＳ２）。例えば、本実施の形態ではオーディオとビデオに対して合計２回行うことになる。
尚、上記の通り、ＰＴＳとＳＴＣの比較及びストリームデータの破棄または出力待機の指示は、タイマー周期以外にもデータサイズ単位やフレーム単位で行わせることが可能である。
図３は、本発明の実施の形態における復号再生装置の、出力データ破棄・出力待機装置の動作手順を示すフローチャートである。出力データ破棄・出力待機装置４、１１は、同期制御装置７から出力データの破棄の指示があるか否かを判定し（ステップＳ１０）、破棄の指示がある場合には出力データを１フレーム破棄して処理を終了する（ステップＳ１１）。
一方、破棄の指示がない場合、出力データ破棄・出力待機装置４、１１は、同期制御装置７から出力の待機の指示があるか否かを判定し（ステップＳ１２）、待機の指示がある場合には指定された時間だけ出力を待機する（ステップＳ１３）。復号再生装置内のタイマー（図示省略）により待機時間を計測し、設定された時間が経過すれば待機状態が解除され、１フレームの出力をビデオ、オーディオそれぞれの出力装置に指示する（ステップＳ１４）。また、出力データの破棄及び出力の待機の指示がない場合にも、１フレームの出力がビデオ、オーディオそれぞれの出力装置に指示される。
本発明の復号再生装置は、フレーム単位で復号されたストリームデータの再生の同期制御を予め設定した所定の周期で行うことにより、同期制御に係る処理量を低減できるという効果を有し、特に、携帯電話やポータブルプレイヤーなど、データ処理量を抑制する必要のある端末装置の動画再生において有用である。
本発明の実施の形態における復号再生装置の概略構成を示す図である。 本発明の実施の形態における復号再生装置の、同期制御装置の動作手順を示すフローチャートである。 本発明の実施の形態における復号再生装置の、出力データ破棄・出力待機装置の動作手順を示すフローチャートである。
符号の説明
１ 多重分離装置
２ ビデオストリームバッファ
３ ビデオ復号化装置
４ 出力データ破棄・出力待機装置
５ ビデオ出力装置
６ ＰＴＳ検出装置
７ 同期制御装置
８ システムタイマー
９ オーディオストリームバッファ
１０ オーディオ復号化装置
１１ 出力データ破棄・出力待機装置
１２ オーディオ出力装置
１３ 周期設定装置

Claims (5)

  1. 基準時刻情報と同期再生用の再生時刻情報が付加され、フレーム単位で構成された複数のストリームデータを多重化してなる多重化ストリームデータを復号再生する復号再生装置において、
    前記多重化ストリームデータを複数のストリームデータに分離する分離手段と、
    前記分離手段で分離した複数のストリームデータを蓄積する蓄積手段と、
    前記蓄積手段に蓄積したストリームデータをフレーム単位で復号する復号手段と、
    前記復号手段で復号された出力データをフレーム単位で出力する出力手段と、
    同期制御に係る周期を予め設定する周期設定手段と、
    前記蓄積手段に蓄積されたストリームデータから同期再生用の再生時刻情報を前記周期で検出する再生時刻検出手段と、
    前記基準時刻情報に基づくシステム時刻を計測するシステム時刻計測手段と、
    前記再生時刻情報と前記システム時刻計測手段で計測されたシステム時刻情報とを比較し、再生時刻とシステム時刻の差が０より大きくかつ予め設定された正の値より小さい場合に出力の待機を指示し、再生時刻とシステム時刻の差が予め設定された負の値の範囲内である場合に出力データの破棄を指示する同期制御手段と、
    前記同期制御手段からの指示に基づいて、出力データの破棄または出力の待機を制御する出力制御手段と、を備える復号再生装置。
  2. 前記周期設定手段は、前記周期を、前記蓄積手段に１フレーム分のストリームデータが蓄積されるまでの時間として設定する請求項１記載の復号再生装置。
  3. 前記周期設定手段は、前記周期を、前記蓄積手段に所定データサイズのストリームデータが蓄積されるまでの時間として設定する請求項１記載の復号再生装置。
  4. 前記周期設定手段は、前記周期を、タイマーに設定されるタイマー周期として設定する請求項１記載の復号再生装置。
  5. 前記出力制御手段は、出力データの破棄をフレーム単位で行い、出力の待機をタイマー周期によって行う請求項１から４のいずれか一項記載の復号再生装置。
JP2005263742A 2005-09-12 2005-09-12 復号再生装置 Withdrawn JP2007081534A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005263742A JP2007081534A (ja) 2005-09-12 2005-09-12 復号再生装置
US11/499,649 US20070058934A1 (en) 2005-09-12 2006-08-07 Decoding/reproducing apparatus
CNA200610151534XA CN1933583A (zh) 2005-09-12 2006-09-11 解码/再现装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005263742A JP2007081534A (ja) 2005-09-12 2005-09-12 復号再生装置

Publications (1)

Publication Number Publication Date
JP2007081534A true JP2007081534A (ja) 2007-03-29

Family

ID=37855201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005263742A Withdrawn JP2007081534A (ja) 2005-09-12 2005-09-12 復号再生装置

Country Status (3)

Country Link
US (1) US20070058934A1 (ja)
JP (1) JP2007081534A (ja)
CN (1) CN1933583A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274623A (ja) * 2006-03-31 2007-10-18 Toshiba Corp 放送受信装置及び放送受信方法
CN105657452B (zh) * 2016-01-22 2017-05-10 天津瑞发科半导体技术有限公司 Usb数据和视频数据的混合传输系统及方法
KR20180068069A (ko) * 2016-12-13 2018-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3213387B2 (ja) * 1992-06-29 2001-10-02 キヤノン株式会社 画像符号化方法及び画像復号化方法
US5920842A (en) * 1994-10-12 1999-07-06 Pixel Instruments Signal synchronization
KR0138459B1 (ko) * 1994-12-30 1998-06-01 배순훈 비디오 컴팩트 디스크 플레이어에서의 선택화면 재생제어 방법
JP3692164B2 (ja) * 1995-06-20 2005-09-07 ユナイテッド・モジュール・コーポレーション Ｍｐｅｇデコーダ
JP3589372B2 (ja) * 1996-06-07 2004-11-17 ソニー株式会社 データ多重化方法
JP3833571B2 (ja) * 2002-05-28 2006-10-11 富士通株式会社 データ復号器およびデータ復号化方法

Also Published As

Publication number Publication date
CN1933583A (zh) 2007-03-21
US20070058934A1 (en) 2007-03-15

Similar Documents

Publication Publication Date Title
JPH09205618A (ja) 動画像音声伸張再生装置および動画像音声同期制御器
JP4762052B2 (ja) ストリームデータ処理装置及びストリームデータ処理方法
JP5059301B2 (ja) 同期再生装置および同期再生方法
JPH06333341A (ja) 多重化データ分離装置および方法
US20060203853A1 (en) Apparatus and methods for video synchronization by parsing time stamps from buffered packets
US7218841B2 (en) Method and apparatus for synchronously reproducing audio and video data
JP2007081534A (ja) 復号再生装置
JP2001204032A (ja) Ｍｐｅｇ復号装置
JP2012105236A (ja) 同期制御装置、同期制御方法
JP2010068232A (ja) 映像記録再生装置
JP2006319552A (ja) マルチメディア再生装置
JP2009212696A (ja) データ処理装置、データ処理方法、およびプログラム
JP5409535B2 (ja) 映像音声変換装置および映像音声変換方法
JP5310189B2 (ja) ビデオエンコーダ装置及び該ビデオエンコーダ装置に用いられる符号化データ出力方法
JP2001231035A (ja) 復号同期制御装置、復号装置、及び復号同期制御方法
JP4690965B2 (ja) データ記録再生装置
JP2003348543A (ja) データ復号器およびデータ復号化方法
JP3184175B2 (ja) 復号化装置
WO2009090865A1 (ja) 動画像データ復号再生装置及び動画像データ復号装置
JP5168105B2 (ja) 音声再生装置、及び音声再生方法
KR100499519B1 (ko) 오디오 립 싱크 제어방법
JP2008102974A (ja) 同期再生装置の同期再生方法及び同期再生装置システム
JP4390666B2 (ja) 圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置
KR100835909B1 (ko) 디지털 영상 신호 처리 장치 및 이 장치의 동작 방법
JP2003324691A (ja) 多重化データ分離装置および方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090106