JP2001346147A - 映像・音声再生装置及び映像・音声再生方法 - Google Patents

映像・音声再生装置及び映像・音声再生方法

Info

Publication number
JP2001346147A
JP2001346147A JP2000163646A JP2000163646A JP2001346147A JP 2001346147 A JP2001346147 A JP 2001346147A JP 2000163646 A JP2000163646 A JP 2000163646A JP 2000163646 A JP2000163646 A JP 2000163646A JP 2001346147 A JP2001346147 A JP 2001346147A
Authority
JP
Japan
Prior art keywords
video
audio
output
decoder
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000163646A
Other languages
English (en)
Other versions
JP4035277B2 (ja
Inventor
Mitsuhiko Ota
光彦 太田
Tadami Kono
忠美 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2000163646A priority Critical patent/JP4035277B2/ja
Priority to US09/810,497 priority patent/US7027714B2/en
Priority to EP01302712.3A priority patent/EP1161095B1/en
Publication of JP2001346147A publication Critical patent/JP2001346147A/ja
Application granted granted Critical
Publication of JP4035277B2 publication Critical patent/JP4035277B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440209—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for formatting on an optical medium, e.g. DVD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】本発明は、映像及び音声の再生において一時停
止後に再生再開する場合に、音声情報を正しいタイミン
グで再生再開する方式を提供することを目的とする。 【解決手段】映像・音声再生装置は、第１の時間単位で
符号化された映像データを受け取り復号化して出力する
映像デコーダと、第１の時間単位とは異なる第２の時間
単位で符号化された音声データを受け取り復号化して出
力する音声デコーダと、映像デコーダの映像出力と音声
デコーダの音声出力とを一時停止するときに、映像出力
が停止してから音声出力が停止するまでの期間だけ、映
像出力が再開してから音声出力が再開するまでの時間を
遅らせる同期制御部を含む。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般に映像及び音
声の再生方法及び装置に関し、詳しくは映像及び音声の
再生において一時停止やスロー再生等の特殊再生を行う
映像及び音声の再生方法及び装置に関する。
【０００２】
【従来の技術】ＤＶＤ（Digital Versatile Disc）等に
おいては、映像及び音声のデータは、ＭＰＥＧあるいは
関連する方式（Dolby DigitalやDTS等）で圧縮符号化さ
れた後に分割されてパケットとされ、同期のための時刻
情報（ＰＴＳ：Presentation Time Stamp）が付与され
る。各パケットには共通の時刻情報（ＳＣＲ：System C
lock Reference）がさらに付与されて、多重化された符
号データとして記録される。
【０００３】図１は、データ符号化及び多重化の様子を
示す図面である。
【０００４】映像は、表示の単位である１フレームある
いは１フィールドで符号化され、音声も１フレーム単位
で符号化される。ここで音声の１フレームは映像の１フ
レームとは一般に長さが異なる。ＰＴＳは、基本的に符
号化の単位ごとに付与されるが、１パケット中に複数の
音声のフレームが存在する場合には、ＰＴＳは先頭のフ
レームにのみ付与されることになる。即ち、図１に示さ
れる例においては、音声データフレーム１、３、５には
ＰＴＳが付加されるが、音声データフレーム２、４、６
にはＰＴＳが付加されないことになる。これらのデータ
は、時刻情報が欠落したデータとなる。
【０００５】データを再生する場合には、多重化された
映像／音声符号を分離して復号化すると同時に、ＳＣＲ
から基準時間即ちシステムタイムクロックを生成する。
このシステムタイムクロックを基準として、複合化され
た映像データ及び音声データを、各々のデータに付与さ
れたＰＴＳが示す時間に出力する。
【０００６】通常、映像はＴＶセット等の表示装置に表
示されるために、装置の同期タイミングによって出力可
能な時刻が制限される。従って例えば、システムタイム
クロックを装置の同期タイミングに合わせてカウントし
て、このカウントがＰＴＳの示す時間となった時刻で、
ピクチャの表示を行なう。音声データは、映像フレーム
とは異なったフレーム期間を有するので、映像データと
同一のタイミングで再生されるのではなく、音声データ
用のＰＴＳにより時刻を決定して再生を行なう。ＰＴＳ
の付与されていない音声データフレームに関しては、そ
の前のフレームに続けてギャップなく出力すれば、その
まま映像と同期した状態で再生することか出来る。
【０００７】
【発明が解決しようとする課題】再生中に、一時停止や
スロー再生などの特殊再生を行なうことがある。一時停
止の場合には、映像に関しては停止時に対応するピクチ
ャを繰り返し表示し、音声に関しては再生を停止するこ
とになる。スロー再生は、短時間の一時停止と再生とを
繰り返すことで実現される。
【０００８】図２は、一時停止と再生再開の様子を示す
図である。
【０００９】図２は、２枚目のビデオピクチャ表示中
に、ユーザが停止指示を出した場合を示す。ユーザの停
止指示に応じて、現在のビデオピクチャ２を表示し終え
ると、再びビデオピクチャ２を再生する。停止状態が続
く限りは、このビデオピクチャ２を繰り返し再生するこ
とになる。また音声フレームに関しては、ユーザが停止
指示を出した時点で、３番目の音声フレームである音声
フレーム３が再生中である。従って、音声フレーム３の
再生を終了した時点で、音声データの再生を中断する。
【００１０】その後、ユーザの一時停止指示が終了する
と、一時停止動作として表示中のビデオピクチャ２の表
示が終了するまで待って、次のビデオピクチャ３を再生
する。また音声データに関しては、図２（ａ）に示され
るように、再生が開始されたビデオピクチャ３の途中か
ら、映像データと同期を取って再開されるのが理想であ
る。このためには、音声データフレーム４にＰＴＳが付
加されていれば、そのＰＴＳが示す時刻に音声データフ
レーム４の再生を開始すればよい。
【００１１】しかし音声データフレーム４にＰＴＳが付
加されていない場合には、音声データフレーム４の再生
を開始すべき時刻が不明である。このような場合には、
図２（ｅ）に示されるように、ＰＴＳが付与されていな
い音声データフレーム４を破棄して、それ以降でＰＴＳ
のある音声データフレーム５を、そのＰＴＳが示す時刻
に再生開始すればよい。但しこの場合には、音声データ
フレーム４に対応する音声が消失して、音無しの再生と
なってしまう。
【００１２】別の方法としては、図２（ｆ）に示される
ように、ＰＴＳが付与されていない音声データフレーム
４を、映像の表示再開と同時に再生開始して、それ以降
でＰＴＳのある音声データフレーム５が来た時に、その
ＰＴＳに応じて音声再生のタイミングを調整すればよ
い。但しこの場合には、音声データフレーム４と音声デ
ータフレーム５との間でノイズが発生してしまう等の問
題がある。
【００１３】従って、映像及び音声の再生において一時
停止後に再生再開する場合に、音声情報を正しいタイミ
ングで再生再開する方式が必要である。
【００１４】また上記とは別の問題として、映画等をＴ
Ｖセットで表示する場合に、特殊再生に関連した問題が
ある。映画は１秒間２４コマの画像から構成されてお
り、ＴＶは例えばＮＴＳＣ方式では１秒間３０フレーム
から構成されている。なお各フレームは、２つのフィー
ルドから構成される。映画の映像をＴＶで表示する際に
は、映画の２４コマをＴＶの１秒間の６０フィールドに
割り当てるために、２つのフィールドを割り当てるコマ
と、３つのフィールドを割り当てるコマとを混在させ
て、６０フィールドを２４コマに対応させる。
【００１５】このようにして構成された映像情報を特殊
再生する場合、特にスロー再生する場合には、２フィー
ルドを割り当てたフレーム（コマ）と３フィールドを割
り当てたフレーム（コマ）とが混在するために、問題が
生じる。スロー再生は、短時間の一時停止と再生とを繰
り返すことで実現されるが、一時停止時に、実際には３
フィールドを割り当てたフレームで停止しているにも関
わらず、単純に２フィールドを１フレームとして繰り返
し表示するような構成としておくと、時間がずれてくる
結果となる。
【００１６】図３は、２フィールドのフレームと３フィ
ールドのフレームとが混在する場合のスロー再生の様子
を示す図である。
【００１７】図３に示されるように、映像信号は、２つ
のフィールド１Ｔ及び１Ｂよりなる第１のフレームと、
３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレ
ームと、２つのフィールド３Ｂ及び３Ｔよりなる第３の
フレームと、３つのフィールド４Ｂ、４Ｔ、４Ｂよりな
る第４のフレームと、２つのフィールド５Ｔ及び５Ｂよ
りなる第５のフレームを含む。
【００１８】従来の方法で再生する場合には、２つのフ
ィールド１Ｔ及び１Ｂよりなる第１のフレームを表示し
た後、一時停止と同様にして２つのフィールド１Ｔ及び
１Ｂを繰り返す。次に、３つのフィールド２Ｔ、２Ｂ、
２Ｔよりなる第２のフレームを表示した後に、この３つ
のフィールド２Ｔ、２Ｂ、２Ｔのうちの最初の２つのフ
ィールド２Ｔ及び２Ｂを繰り返す。次に、２つのフィー
ルド３Ｂ及び３Ｔよりなる第３のフレームを表示した
後、一時停止と同様にして２つのフィールド３Ｂ及び３
Ｔを繰り返す。この時点で、スロー再生時の経過時間
は、第１フレーム乃至第３フレームを通常再生で表示す
る際にかかる時間Ｔに対して、その２倍の時間２Ｔにま
で至らずに、時間ＴＳで止まっている。これは当然なが
ら、３つのフィールド２Ｔ、２Ｂ、２Ｔよりなる第２の
フレームを一時停止して繰り返す際に、単純に１フレー
ムを２フィールドとして扱って、２つのフィールド２Ｔ
及び２Ｂを繰り返しただけだからである。
【００１９】即ち、この場合にユーザは２倍のスロー再
生のつもりでも、実際にスロー再生時に経過する時間は
２倍の２Ｔではなく、ＴＳであって２倍のスロー再生を
実現していないことになる。
【００２０】このように従来においては、２フィールド
のフレームと３フィールドのフレームとが混在する場合
であっても、一時停止時には単純に１フレームを２フィ
ールドとして扱って繰り返し表示していたために、実際
の再生時間が本来あるべき再生時間とは異なってしま
う。
【００２１】従って、映像及び音声の再生において一時
停止する場合に、２フィールドのフレームと３フィール
ドのフレームとを区別して、フレーム数に応じた停止動
作を実現する方式が必要である。
【００２２】従って、本発明の目的は、映像及び音声の
再生において一時停止後に再生再開する場合に、音声情
報を正しいタイミングで再生再開する方式を提供するこ
とである。
【００２３】また本発明の別の目的は、映像及び音声の
再生において一時停止する場合に、２フィールドのフレ
ームと３フィールドのフレームとを区別して、フレーム
数に応じた停止動作を実現する方式を提供することであ
る。
【００２４】
【課題を解決するための手段】請求項１の発明では、映
像・音声再生装置は、第１の時間単位で符号化された映
像データを受け取り復号化して出力する映像デコーダ
と、該第１の時間単位とは異なる第２の時間単位で符号
化された音声データを受け取り復号化して出力する音声
デコーダと、該映像デコーダの映像出力と該音声デコー
ダの音声出力とを一時停止するときに、該映像出力が停
止してから該音声出力が停止するまでの期間だけ、該映
像出力が再開してから該音声出力が再開するまでの時間
を遅らせる同期制御部を含む。
【００２５】請求項２の発明では、請求項１記載の映像
・音声再生装置において、該第２の時間単位で符号化さ
れた音声データは、時刻情報が付与される符号化データ
と時刻情報が付与されない符号化データとが混在する。
【００２６】請求項３の発明では、請求項２記載の映像
・音声再生装置において、該音声デコーダは、該第２の
時間単位毎に出力する該音声データの区切りを示す区切
り情報を該同期制御部に供給する。
【００２７】請求項４の発明では、請求項３記載の映像
・音声再生装置において、該同期制御部は、該映像デコ
ーダへ映像出力停止を指示してから該音声出力が停止す
るまでの第１の期間を計時すると共に、該映像デコーダ
へ映像出力再開を指示すると該第１の期間に等しい第２
の期間を計時するカウンタと、該映像デコーダへの映像
出力停止の指示と同時に該音声デコーダに音声出力停止
を指示すると共に、該カウンタが該第２の期間を計時し
終えると該音声デコーダへ音声出力再開を指示する手段
を含む。
【００２８】請求項５の発明では、請求項４記載の映像
・音声再生装置において、該カウンタは、該区切り情報
によって該音声出力が停止するタイミングを検知する。
【００２９】請求項６の発明では、請求項１記載の映像
・音声再生装置において、該映像データの１フレームあ
たり何フィールドが含まれているかに応じて、該映像デ
コーダの映像出力停止期間を調整する。
【００３０】請求項７の発明では、請求項１記載の映像
・音声再生装置において、該映像デコーダの映像出力停
止期間に繰り返し表示するフィールド数を通常再生時の
フィールド数と同一とする。
【００３１】上記発明においては、映像デコーダの出力
停止から音声デコーダの出力停止タイミングまでの時間
を計時しておき、映像デコーダへの出力再開タイミング
からこの計時した時間間隔と同一の時間間隔だけ経過し
た後に、音声デコーダを出力再開する。具体的には、映
像デコーダ及び音声デコーダへの再生停止を指示してか
ら音声区切り情報が得られるまでの時間を計時してお
き、映像デコーダへの再開指示（停止解除）タイミング
からこの計時した時間間隔と同一の時間間隔だけ経過し
た後に、音声デコーダへの停止指示を解除する。このよ
うに、再生停止時には、映像出力停止から実際の音声出
力停止までの時間を計測しておき、再生再開時には、映
像出力再開からこの計測した時間と同一の時間間隔だけ
経過した後に音声出力を再開することで、時刻情報の付
与されていない音声データに対しても映像出力と音声出
力との同期を維持することが可能となる。
【００３２】また映像デコーダの映像出力停止期間に繰
り返し表示するフィールド数を通常再生時のフィールド
数と同一とすることで、スロー再生時の経過時間を通常
再生時の経過時間の整数倍に設定することが可能にな
る。
【００３３】
【発明の実施の形態】以下に、本発明の実施例を、添付
の図面を用いて詳細に説明する。
【００３４】図４は、本発明による音声・映像デコーダ
の構成を示すブロック図である。
【００３５】図４の音声・映像デコーダ１０は、同期制
御部１１、音声デコーダ１２、映像デコーダ１３、ＳＴ
Ｃカウンタ１４を含む。
【００３６】音声デコーダ１２は、多重符号ストリーム
から分離された音声ストリームを受け取り、複合化して
音声出力として出力する。音声デコーダ１２は更に、音
声ストリームから抽出したＰＴＳ（時刻情報）と共に、
音声フレームの各々の区切りを示す音声区切り信号を、
同期制御部１１に供給する。
【００３７】映像デコーダ１３は、多重符号ストリーム
から分離された映像ストリームを受け取り、複合化して
映像出力として出力する。映像デコーダ１３は更に、映
像ストリームから抽出したＰＴＳ（時刻情報）と共に、
表示する映像の有効期間を示す表示期間情報を、同期制
御部１１に供給する。
【００３８】ＳＴＣカウンタ１４は、時間クロック信号
を受け取り、これを基にしてシステムタイムクロックＳ
ＴＣをカウントする。システムタイムクロックＳＴＣの
カウントは、同期制御部１１からのＳＴＣカウント有効
／無効指示によってカウント／停止が制御される。
【００３９】同期制御部１１は、時間クロック、システ
ムタイムクロックＳＴＣ、ＴＶ同期信号を受け取り、音
声デコーダ１２による音声出力及び映像デコーダ１３に
よる映像出力の同期制御を行なう。同期制御部１１は更
に、映像・音声再生の一時停止を指示する停止指示信号
を受け取り、これに基づいて音声デコーダ１２及び映像
デコーダ１３を制御して、映像・音声再生を一時停止さ
せる。
【００４０】具体的には、ユーザ等からの要求により停
止指示信号が発生すると、同期制御部１１は、音声デコ
ーダ１２及び映像デコーダ１３に供給する出力停止／許
可信号を同時に停止指示状態にして、音声デコーダ１２
及び映像デコーダ１３に再生の一時停止を命令する。同
期制御部１１は、映像デコーダ１３からの表示期間情報
とＴＶ同期信号とから映像が停止したことを検出する
と、ＳＴＣカウンタ１４に対してＳＴＣカウント無効を
指示して、システムタイムクロックＳＴＣのカウントを
停止させる。
【００４１】音声デコーダ１２においては、通常、音声
フレーム単位で音声を出力している。従って、出力停止
／許可信号が停止指示状態になった後、実際に音声出力
が停止されるのは、現在再生中の音声フレームが終了し
た時点である。従って、この実際に音声出力が停止され
るタイミングは、停止指示後の最初の音声区切り信号の
タイミングに一致する。
【００４２】本発明の同期制御部１１においては、音声
デコーダ１２への出力停止／許可信号を停止指示状態に
した後、即ち映像の再生を停止した後、実際の音声出力
停止タイミングを示す最初の音声区切り信号までの時間
を計測する。具体的には、例えば出力停止／許可信号の
立ち上りから区切り信号までの時間クロックをカウント
することで、この時間間隔を計測することが出来る。
【００４３】ユーザ等からの再開要求により停止指示信
号が終了すると、同期制御部１１は、音声デコーダ１
２、映像デコーダ１３、及びＳＴＣカウンタ１４への停
止指示を解除する。映像はビデオ表示タイミングで表示
が可能となるので、映像デコーダ１３に対しては、TV同
期信号のタイミングに応じて、出力停止／許可信号の停
止指示状態を解除する。ＳＴＣカウンタ１４に対して
は、映像デコーダ１３からの表示期間情報とＴＶ同期信
号とに基づいたタイミングで、カウント有効指示を供給
してカウント停止を解除する。
【００４４】本発明においては、音声再生を再開するタ
イミング、即ち同期制御部１１から音声デコーダ１２に
供給する停止指示を解除するタイミングが、従来の関連
する技術と異なる。従来においては、ＰＴＳの付加され
た音声フレームが来るまで音声再生を待つか、或いは取
り敢えず音声再生を再開してＰＴＳの付加された音声フ
レームが来た時点でタイミング調整をしていた。本発明
においては、上述のように映像デコーダ及び音声デコー
ダへの再生停止を指示する信号から最初の音声区切り信
号までの時間を計測しておき、映像デコーダへの再開指
示（停止解除）タイミングからこの計測した時間間隔と
同一の時間間隔だけ経過した後に、音声デコーダ１２へ
の停止指示を解除する。
【００４５】このように、再生停止時には、映像出力停
止から実際の音声出力停止までの時間を計測しておき、
再生再開時には、映像出力再開からこの計測した時間と
同一の時間間隔だけ経過した後に音声出力を再開するこ
とで、映像出力と音声出力との同期を維持することが可
能となる。
【００４６】図５は、同期制御部１１において映像出力
停止から実際の音声出力停止までの時間を計測する回路
の構成を示す回路図である。
【００４７】図５の回路は、アップダウンカウンタ２１
と、立ち上り立ち下がり検出器２２、セット・リセット
・フリップフロップ２３、非０検出器２４、及び論理和
回路２５を含む。
【００４８】図６は、図４及び図５の構成の動作を示す
タイミング図である。
【００４９】図６（ｃ）に示されるようにユーザ等から
一時停止指示があると、図６（ｂ）に示されるTV同期信
号のタイミングで、図６（ｄ）に示されるように同期制
御部１１から映像デコーダ１３に対して映像停止指示信
号が供給される。なおこの映像停止指示信号が供給され
ることは、図４において、同期制御部１１から映像デコ
ーダ１３への出力停止／許可信号が、停止指示状態にな
ることに相当する。なお映像停止指示と同時に、図６
（ｆ）に示されるように、同期制御部１１から音声デコ
ーダ１２に音声停止指示信号が供給される。
【００５０】このとき、図５の立ち上り立ち下がり検出
器２２は、映像停止指示信号の立ち上がりエッジを検出
して、フリップフロップ２３をセットする。これによっ
てアップダウンカウンタ２１のカウントイネーブル入力
がイネーブルにされる。またこのとき、ＨＩＧＨである
映像停止指示信号がアップダウンカウンタ２１のアップ
／ダウン入力に供給されて、アップダウンカウンタ２１
はカウントアップをする状態にある。従って、映像停止
指示信号の立ち上がりエッジに応答して、アップダウン
カウンタ２１が、時間クロックのカウントアップを開始
する。このカウントアップの様子は、図６（ｈ）に右上
がりのスロープとして示されている。
【００５１】次に図６（ｅ）に示されるように音声デコ
ーダ１２から区切り信号が同期制御部１１に供給される
と、この区切り信号は、図５のフリップフロップ２３の
リセット入力に供給される。これによってフリップフロ
ップ２３がリセットされ、アップダウンカウンタ２１の
カウントイネーブル入力がディスエーブルされて、アッ
プダウンカウンタ２１のカウントアップが停止する。こ
れによって、映像停止指示から実際の音声出力停止まで
の時間が、時間クロックのカウントとして、アップダウ
ンカウンタ２１に保持される。
【００５２】その後、図６（ｃ）に示されるようにユー
ザ等からの一時停止指示が解除されると、図６（ｂ）に
示されるTV同期信号のタイミングで、図６（ｄ）に示さ
れるように映像停止指示信号が終了する。
【００５３】このとき、図５の立ち上り立ち下がり検出
器２２は、映像停止指示信号の立ち下がりエッジを検出
して、フリップフロップ２３をセットする。これによっ
てアップダウンカウンタ２１のカウントイネーブル入力
がイネーブルにされる。またこのとき、ＬＯＷである映
像停止指示信号がアップダウンカウンタ２１のアップ／
ダウン入力に供給されて、アップダウンカウンタ２１は
カウントダウンをする状態にある。従って、映像停止指
示信号の立ち下がりエッジに応答して、アップダウンカ
ウンタ２１が、時間クロックによるカウントダウンを開
始する。アップダウンカウンタ２１は、カウントがゼロ
になると動作を終了する。このカウントダウンの様子
は、図６（ｈ）に右下がりのスロープとして示されてい
る。
【００５４】アップダウンカウンタ２１のカウントがゼ
ロになると、非０検出器２４から論理和回路２５への出
力がＨＩＧＨからＬＯＷに変化する。論理和回路２５
は、非０検出器２４の出力と映像停止指示信号との論理
和（ＯＲ）をとることで、図６（ｆ）に示されるよう
な、音声停止信号を生成する。なお論理和回路２５によ
るＯＲ演算は、タイミングに多少のずれが存在しても意
図された動作を確実に実行するために設けられるもので
あり、原理的には非０検出器２４の出力がＨＩＧＨかＬ
ＯＷか（アップダウンカウンタ２１の出力が非ゼロかゼ
ロか）に応じて、音声停止指示信号を供給すればよい。
【００５５】図６（ｆ）に示されるような音声停止信号
を、同期制御部１１から音声デコーダ１２に供給するこ
とで、実際に音声出力が停止される期間は、図６（ｇ）
に示されるような期間となる。図６（ｇ）に示される音
声出力停止期間は、図６（ｄ）に示される映像停止指示
信号の期間、即ち映像出力停止期間と同一の長さであ
る。従って、音声出力が再開されるときには、映像出力
と同期が取れた状態で再生されることになる。
【００５６】図７は、同期制御部１１において映像停止
指示信号を生成する回路の構成を示す回路図である。図
７（ａ）及び（ｂ）は各々、映像停止指示信号を生成す
る回路の部分図であり、（ａ）及び（ｂ）で映像停止指
示信号を生成する回路の全体を示す。
【００５７】図７（ａ）に示す回路部分は、セレクタ３
１、ＡＮＤ回路３２、ダウンカウンタ３３、及びゼロ検
出回路３４を含む。また図７（ｂ）に示す回路部分は、
ＡＮＤ回路３５乃至３７、インバータ３８、ＯＲ回路３
９、及びフリップフロップ４０を含む。
【００５８】図８は、図７の回路の動作を説明するタイ
ミング図である。以下に、図８を用いて図７の回路の動
作を説明する。
【００５９】図７（ａ）のセレクタ３１は、映像ストリ
ームをデコードして得られるフィールド数情報を、映像
デコーダ１３から受け取る。このフィールド数情報は、
現在表示するフレームが２フィールドから構成されるか
或いは３フィールドから構成されるかを示す情報であ
る。セレクタ３１は、フィールド数情報が２フィールド
を指示するときには１を選択し、フィールド数情報が３
フィールドを指示するときには２を選択する。選択され
た値は、ダウンカウンタ３３にロードされる。
【００６０】図８の（ａ）乃至（ｆ）が、フィールド数
情報が２フィールドを指示して、ダウンカウンタ３３が
１をダウンロードする場合を示し、（ｇ）乃至（ｌ）
が、フィールド数情報が３フィールドを指示して、ダウ
ンカウンタ３３が２をダウンロードする場合を示す。各
々の場合で、図８（ａ）及び（ｇ）がフィールド数情報
を示し、図８（ｃ）及び（ｉ）がカウンタのカウント値
を示す。
【００６１】ダウンカウンタ３３にロードされた値は、
システムクロック信号によりダウンカウントされる。ダ
ウンカウンタ３３の出力はゼロ検出回路３４に供給さ
れ、カウントがゼロになると、ゼロ検出回路３４の出力
である有効情報が、図８（ｄ）或いは（ｊ）に示される
ようにＨＩＧＨになる。
【００６２】この有効情報と表示タイミング信号（図８
（ｂ）及び（ｈ））とが、ＡＮＤ回路３２に供給され、
ＡＮＤ回路３２の出力はダウンカウンタ３３のロード指
示入力に供給される。従って、カウントがゼロになる度
に、新しい値がダウンカウンタ３３にロードされる。
【００６３】またゼロ検出回路３４の出力である有効情
報は、図７（ｂ）の回路に供給されて、ユーザ等の指示
によるユーザ停止指示信号と合成されて、図８（ｆ）及
び（ｌ）に示すような、映像停止指示信号が得られる。
【００６４】図７及び図８に示されるように、本発明に
おいては、フィールド数情報が指示するフィールド数に
応じて選択した値をダウンカウントして、このカウント
値がゼロになるタイミングを検出することで、１フレー
ムあたりのフィールド数に応じた時間間隔を計時するこ
とが出来る。この時間間隔に基づいて映像停止指示信号
を生成するので、映像の一時停止動作時に、フィールド
数情報が指示する２或いは３のフィールド数に対応した
数だけフィールドを繰り返し表示することが可能にな
る。
【００６５】図９は、２フィールドのフレームと３フィ
ールドのフレームとが混在する場合の本発明によるスロ
ー再生の様子を示す図である。
【００６６】図９のスロー再生動作は、図７の回路で図
８の映像停止指示信号を生成して、短期間の一時停止と
再生とを繰り返すことでスロー再生を実行した場合を示
す。図９に示されるように、映像信号は、２つのフィー
ルド１Ｔ及び１Ｂよりなる第１のフレームと、３つのフ
ィールド２Ｔ、２Ｂ、２Ｔよりなる第２のフレームと、
２つのフィールド３Ｂ及び３Ｔよりなる第３のフレーム
と、３つのフィールド４Ｂ、４Ｔ、４Ｂよりなる第４の
フレームと、２つのフィールド５Ｔ及び５Ｂよりなる第
５のフレームを含む。
【００６７】本発明に従ってスロー再生する場合には、
２つのフィールド１Ｔ及び１Ｂよりなる第１のフレーム
を表示した後、一時停止して２つのフィールド１Ｔ及び
１Ｂを繰り返す。次に、３つのフィールド２Ｔ、２Ｂ、
２Ｔよりなる第２のフレームを表示した後に、一時停止
して３つのフィールド２Ｔ、２Ｂ、２Ｔを繰り返す。次
に、２つのフィールド３Ｂ及び３Ｔよりなる第３のフレ
ームを表示した後、一時停止して２つのフィールド３Ｂ
及び３Ｔを繰り返す。この時点で、スロー再生時の経過
時間は、第１フレーム乃至第３フレームを通常再生で表
示する際にかかる時間Ｔに対して、丁度その２倍の時間
２Ｔだけ経過したことになる。
【００６８】即ち、２倍のスロー再生を意図した場合
に、実際にスロー再生時に経過する時間は正確に２倍と
なる。同様に、３倍のスロー再生を意図した場合には、
実際にスロー再生時に経過する時間は正確に３倍とな
る。
【００６９】なお上記説明された同期制御部１１、音声
デコーダ１２、及び映像デコーダ１３は、回路として構
成されてもよいし、ＤＳＰ（Digital Signal Processo
r）等でソフトウェア的に構成されてもよい。
【００７０】以上、本発明を実施例に基づいて説明した
が、本発明は上記実施例に限定されるものではなく、特
許請求の範囲に記載の範囲内で様々な変形が可能であ
る。
【００７１】
【発明の効果】上記発明においては、映像デコーダ及び
音声デコーダへの再生停止を指示してから音声区切り情
報が得られるまでの時間を計時しておき、映像デコーダ
への再開指示（停止解除）タイミングからこの計時した
時間間隔と同一の時間間隔だけ経過した後に、音声デコ
ーダへの停止指示を解除する。このように、再生停止時
には、映像出力停止から実際の音声出力停止までの時間
を計測しておき、再生再開時には、映像出力再開からこ
の計測した時間と同一の時間間隔だけ経過した後に音声
出力を再開することで、時刻情報の付与されていない音
声データに対しても映像出力と音声出力との同期を維持
することが可能となる。
【００７２】また映像デコーダの映像出力停止期間に繰
り返し表示するフィールド数を通常再生時のフィールド
数と同一とすることで、スロー再生時の経過時間を通常
再生時の経過時間の整数倍に設定することが可能にな
る。
【図面の簡単な説明】
【図１】データ符号化及び多重化の様子を示す図面であ
る。
【図２】従来の一時停止と再生再開の様子を示す図であ
る。
【図３】２フィールドのフレームと３フィールドのフレ
ームとが混在する場合の従来のスロー再生の様子を示す
図である。
【図４】本発明による音声・映像デコーダの構成を示す
ブロック図である。
【図５】同期制御部において映像出力停止から実際の音
声出力停止までの時間を計測する回路の構成を示す回路
図である。
【図６】図４及び図５の構成の動作を示すタイミング図
である。
【図７】同期制御部において映像停止指示信号を生成す
る回路の構成を示す回路図である。
【図８】図７の回路の動作を説明するタイミング図であ
る。
【図９】２フィールドのフレームと３フィールドのフレ
ームとが混在する場合の本発明のスロー再生の様子を示
す図である。
【符号の説明】
１０ 音声・映像デコーダ １１ 同期制御部 １２ 音声デコーダ １３ 映像デコーダ １４ ＳＴＣカウンタ
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C052 AA02 AC02 CC11 DD06 GB06 GB07 GC07 5C053 FA24 GA07 GB04 GB11 GB37 HA23 HA27 5D044 BC03 CC04 FG09 FG23 5D045 DA20

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】第１の時間単位で符号化された映像データ
    を受け取り復号化して出力する映像デコーダと、 該第１の時間単位とは異なる第２の時間単位で符号化さ
    れた音声データを受け取り復号化して出力する音声デコ
    ーダと、 該映像デコーダの映像出力と該音声デコーダの音声出力
    とを一時停止するときに、該映像出力が停止してから該
    音声出力が停止するまでの期間だけ、該映像出力が再開
    してから該音声出力が再開するまでの時間を遅らせる同
    期制御部を含むことを特徴とする映像・音声再生装置。
  2. 【請求項２】該第２の時間単位で符号化された音声デー
    タは、時刻情報が付与される符号化データと時刻情報が
    付与されない符号化データとが混在することを特徴とす
    る請求項１記載の映像・音声再生装置。
  3. 【請求項３】該音声デコーダは、該第２の時間単位毎に
    出力する該音声データの区切りを示す区切り情報を該同
    期制御部に供給することを特徴とする請求項２記載の映
    像・音声再生装置。
  4. 【請求項４】該同期制御部は、 該映像デコーダへ映像出力停止を指示してから該音声出
    力が停止するまでの第１の期間を計時すると共に、該映
    像デコーダへ映像出力再開の指示に基づいて該第１の期
    間に等しい第２の期間を計時するカウンタと、 該映像デコーダへの映像出力停止の指示に基づいて該音
    声デコーダに音声出力停止を指示すると共に、該カウン
    タが該第２の期間を計時し終えると該音声デコーダへ音
    声出力再開を指示する手段を含むことを特徴とする請求
    項３記載の映像・音声再生装置。
  5. 【請求項５】該カウンタは、該区切り情報によって該音
    声出力が停止するタイミングを検知することを特徴とす
    る請求項４記載の映像・音声再生装置。
  6. 【請求項６】該映像データの１フレームあたり何フィー
    ルドが含まれているかに応じて、該映像デコーダの映像
    出力停止期間を調整することを特徴とする請求項１記載
    の映像・音声再生装置。
  7. 【請求項７】該映像デコーダの映像出力停止期間に繰り
    返し表示するフィールド数を通常再生時のフィールド数
    と同一とすることを特徴とする請求項１記載の映像・音
    声再生装置。
  8. 【請求項８】第１の時間単位で符号化された映像データ
    を受け取り復号化して出力し、 該第１の時間単位とは異なる第２の時間単位で符号化さ
    れた音声データを受け取り復号化して出力し、 該映像出力と該音声出力とを一時停止するときに、該映
    像出力が停止してから該音声出力が停止するまでの期間
    だけ、該映像出力が再開してから該音声出力が再開する
    までの時間を遅らせる各段階を含むことを特徴とする映
    像・音声再生方法。
  9. 【請求項９】該第２の時間単位で符号化された音声デー
    タは、時刻情報が付与される符号化データと時刻情報が
    付与されない符号化データとが混在することを特徴とす
    る請求項１記載の映像・音声再生方法。
JP2000163646A 2000-05-31 2000-05-31 映像・音声再生装置及び映像・音声再生方法 Expired - Lifetime JP4035277B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000163646A JP4035277B2 (ja) 2000-05-31 2000-05-31 映像・音声再生装置及び映像・音声再生方法
US09/810,497 US7027714B2 (en) 2000-05-31 2001-03-19 Apparatus for reproduction of video and audio with suspension function
EP01302712.3A EP1161095B1 (en) 2000-05-31 2001-03-23 Apparatus for reproduction of video and audio with suspension function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000163646A JP4035277B2 (ja) 2000-05-31 2000-05-31 映像・音声再生装置及び映像・音声再生方法

Publications (2)

Publication Number Publication Date
JP2001346147A true JP2001346147A (ja) 2001-12-14
JP4035277B2 JP4035277B2 (ja) 2008-01-16

Family

ID=18667375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000163646A Expired - Lifetime JP4035277B2 (ja) 2000-05-31 2000-05-31 映像・音声再生装置及び映像・音声再生方法

Country Status (3)

Country Link
US (1) US7027714B2 (ja)
EP (1) EP1161095B1 (ja)
JP (1) JP4035277B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004112391A1 (ja) * 2003-06-12 2004-12-23 Sony Corporation 映像データと音声データの記録装置
JP2006319956A (ja) * 2005-04-13 2006-11-24 Matsushita Electric Ind Co Ltd Ｍｐｅｇ符号化ストリーム復号装置
JP2011048369A (ja) * 2009-08-25 2011-03-10 Zarlink Semiconductor Inc オーディオデータストリーム中のクリック音の除去

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
JP3833571B2 (ja) * 2002-05-28 2006-10-11 富士通株式会社 データ復号器およびデータ復号化方法
TW200531023A (en) * 2004-03-12 2005-09-16 Ali Corp Method for rapid video synchronization adjustment
CN101889441A (zh) * 2007-11-16 2010-11-17 松下电器产业株式会社 便携式终端和用于视频输出的方法
JP2009180972A (ja) * 2008-01-31 2009-08-13 Panasonic Corp オーディオレジューム再生装置及びオーディオレジューム再生方法
US8966062B1 (en) * 2012-01-31 2015-02-24 Intuit Inc. Method and system for synchronizing user access to information presented in two or more media formats

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953485A (en) * 1992-02-07 1999-09-14 Abecassis; Max Method and system for maintaining audio during video control
JP3255308B2 (ja) 1992-12-18 2002-02-12 ソニー株式会社 データ再生装置
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
JPH08107543A (ja) * 1994-10-07 1996-04-23 Sony Corp 文字表示制御装置
US5818634A (en) * 1996-08-05 1998-10-06 Motorola, Inc. Dual mode optical Magnifier system
JP3491533B2 (ja) 1998-07-24 2004-01-26 ヤマハ株式会社 ディジタルオーディオデータの再生方法及び装置
US6654539B1 (en) * 1998-10-26 2003-11-25 Sony Corporation Trick playback of digital video data

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004112391A1 (ja) * 2003-06-12 2004-12-23 Sony Corporation 映像データと音声データの記録装置
US7738772B2 (en) 2003-06-12 2010-06-15 Sony Corporation Apparatus and method for synchronizing video data and audio data having different predetermined frame lengths
EP1633138A4 (en) * 2003-06-12 2010-11-10 Sony Corp DEVICE FOR RECORDING VIDEO DATA AND AUDIO DATA
KR101006593B1 (ko) * 2003-06-12 2011-01-07 소니 주식회사 영상 데이터와 음성 데이터의 기록 장치
JP2006319956A (ja) * 2005-04-13 2006-11-24 Matsushita Electric Ind Co Ltd Ｍｐｅｇ符号化ストリーム復号装置
JP4613860B2 (ja) * 2005-04-13 2011-01-19 パナソニック株式会社 Ｍｐｅｇ符号化ストリーム復号装置
JP2011048369A (ja) * 2009-08-25 2011-03-10 Zarlink Semiconductor Inc オーディオデータストリーム中のクリック音の除去

Also Published As

Publication number Publication date
EP1161095A2 (en) 2001-12-05
EP1161095B1 (en) 2019-03-06
US7027714B2 (en) 2006-04-11
US20010048808A1 (en) 2001-12-06
JP4035277B2 (ja) 2008-01-16
EP1161095A3 (en) 2002-07-31

Similar Documents

Publication Publication Date Title
KR100661895B1 (ko) 영상 데이터 처리 장치 및 처리 방법
JP3427416B2 (ja) 多重化データ分離装置および方法
US8886010B2 (en) Apparatus and method for decoding data for providing browsable slide show, and data storage medium therefor
KR100939711B1 (ko) 텍스트 기반의 서브타이틀 재생장치 및 방법
JP2004297577A (ja) 画像再生装置
JPH10208453A (ja) クロックへ同期しているオーディオ・ビジュアルストリームの異なるクロックへ同期しているビデオディスプレイとの同期
JP2001346147A (ja) 映像・音声再生装置及び映像・音声再生方法
WO2000060872A1 (fr) Procede et dispositif de decodage continu de flux video comprenant des sequences de donnees ayant des frequences de trame differentes
KR100565869B1 (ko) 동기지연제어장치및방법
US20020082845A1 (en) Method and apparatus for synchronously reproducing audio and video data
JP2000057691A (ja) システムターゲットデコーダのオーディオバッファ
JP3833571B2 (ja) データ復号器およびデータ復号化方法
JPH06343065A (ja) デコーディングシステム、デマルチプレクス方法および信号処理方法
JPH09247670A (ja) 情報多重化装置
JP2002354419A (ja) 記録再生装置および方法、記録媒体、並びにプログラム
JP3542976B2 (ja) 圧縮符号化データ再生方法および装置
JP2007081534A (ja) 復号再生装置
JP2000244913A (ja) Ｍｐｅｇデコーダ、ｍｐｅｇシステムデコーダ及びｍｐｅｇビデオデコーダ
JP4373654B2 (ja) マルチメディア復号再生装置とその同期制御方法
JP2001186529A (ja) Ｍｐｅｇデコード回路並列駆動システム
JP2003284003A (ja) デジタル映像信号再生装置
JP2004228627A (ja) データ処理装置、データ再生装置、データ処理方法及びデータ再生方法
JP2009171202A (ja) 動画像データ復号再生装置
JPH10271457A (ja) 符号化データ再生方法及び再生装置
JP2021034085A (ja) 映像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4035277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

EXPY Cancellation because of completion of term