JP2005229331A - Ｈ．２６４コーデックｉｃ、ｄｖｄ再生装置、ｈ．２６４コーデック方法 - Google Patents

Ｈ．２６４コーデックｉｃ、ｄｖｄ再生装置、ｈ．２６４コーデック方法 Download PDF

Info

Publication number
JP2005229331A
JP2005229331A JP2004035965A JP2004035965A JP2005229331A JP 2005229331 A JP2005229331 A JP 2005229331A JP 2004035965 A JP2004035965 A JP 2004035965A JP 2004035965 A JP2004035965 A JP 2004035965A JP 2005229331 A JP2005229331 A JP 2005229331A
Authority
JP
Japan
Prior art keywords
value
input
time clock
system time
synchronization signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004035965A
Other languages
English (en)
Other versions
JP4095559B2 (ja
Inventor
Takeo Niifuna
剛夫 新舟
Masaki Nakagawa
正樹 中河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004035965A priority Critical patent/JP4095559B2/ja
Priority to US10/898,991 priority patent/US7466902B2/en
Publication of JP2005229331A publication Critical patent/JP2005229331A/ja
Application granted granted Critical
Publication of JP4095559B2 publication Critical patent/JP4095559B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2579—HD-DVDs [high definition DVDs]; AODs [advanced optical discs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Abstract

【課題】Ｈ．２６４に準拠する圧縮／伸張処理を行うＨ．２６４コーデックＩＣ、そのようなＩＣを用いるＤＶＤ再生装置、およびＨ．２６４コーデック方法において、より高精細なデータを扱う場合でも主映像、副映像、音声の各デコードデータの出力タイミングを意図するように制御すること。
【解決手段】垂直同期信号に同期するタイミングで得られたＳＴＣの値を外部から入力する第１のインターフェースと、外部から垂直同期信号を入力する第２のインターフェースと、入力された垂直同期信号に同期したタイミングで、入力データストリームに含まれるＰＴＳの値を入力されたＳＴＣの値と比較する比較回路と、比較回路における比較の結果、ＳＴＣの値がＰＴＳの値以上であるときにデコード結果を更新して出力するデコード回路とを具備する。
【選択図】図１

Description

本発明は、ＩＴＵ（International Telecommunication Union）によって定めらた主映像データ圧縮／伸張の規格であるＨ．２６４に準拠する圧縮／伸張処理を行うＨ．２６４コーデックＩＣ（integrated circuit）、そのようなＩＣを用いるＤＶＤ（digital versatile disc）再生装置、およびＨ．２６４コーデック方法に係り、特に、より高精細なデータを扱うＨ．２６４コーデックＩＣ、そのようなＩＣを用いるＤＶＤ再生装置、およびＨ．２６４コーデック方法に関する。
次世代のＤＶＤであるＨＤ（high definition）−ＤＶＤの規格は現在策定中である。次世代ＤＶＤにおける主映像データのコーデック（圧縮／伸張）には、Ｈ．２６４が採用される可能性が高いと考えられている。なお、以下では圧縮をエンコード（符号化）、伸張をデコード（復号）とも表現する。
特開２０００−３４１２５８号公報（特許文献１）には、データのコーデックのうち圧縮過程において、映像と多チャンネルの音声との同期を確立する技術について開示がある。このようなエンコードにより復号側では正しいタイミングで映像と音声の再生ができる。また、特開平１１−１９６０７７号公報（特許文献２）には、データのデコード過程でその出力のフレーム同期をとる技術の開示がある。
特開２０００−３４１２５８号公報 特開平１１−１９６０７７号公報
次世代のＤＶＤに記録された主映像、副映像、音声の各データをデコードするコーデックＩＣは、その回路規模がより大きくなるので当初はそれぞれ個別にＩＣ化されたものが使われる可能性が高い。その場合、各デコーダの出力タイミングは、パケット化された各データのヘッダに書かれたプレゼンテーションタイムスタンプ（ＰＴＳ）に依存する。その前提として各デコーダにはシステムタイムクロック（ＳＴＣ）の値が供給される。
しかしながら、供給されたＳＴＣの値が各デコーダで反映されるまでの時間に差が生じれば、必然的に、主映像、副映像、音声の各デコードデータのタイミングがずれてしまうことになる。ちなみに、上記特許文献１、２にはこのような課題についての言及はない。
本発明は、このような事情を考慮してなされたもので、Ｈ．２６４に準拠する圧縮／伸張処理を行うＨ．２６４コーデックＩＣ、そのようなＩＣを用いるＤＶＤ再生装置、およびＨ．２６４コーデック方法において、より高精細なデータを扱う場合でも主映像、副映像、音声の各デコードデータの出力タイミングを意図するように制御できるＨ．２６４コーデックＩＣ、そのようなＩＣを用いるＤＶＤ再生装置、およびＨ．２６４コーデック方法を提供することを目的とする。
上記の課題を解決するため、本発明に係るＨ．２６４コーデックＩＣは、垂直同期信号に同期するタイミングで得られたシステムタイムクロック（ＳＴＣ）の値を外部から入力する第１のインターフェースと、外部から垂直同期信号を入力する第２のインターフェースと、前記入力された垂直同期信号に同期したタイミングで、入力データストリームに含まれるプレゼンテーションタイムスタンプ（ＰＴＳ）の値を前記入力されたシステムタイムクロック（ＳＴＣ）の値と比較する比較回路と、前記比較回路における比較の結果、前記システムタイムクロック（ＳＴＣ）の値が前記プレゼンテーションタイムスタンプ（ＰＴＳ）の値以上であるときにデコード結果を更新して出力するデコード回路とを具備することを特徴とする。
すなわち、比較回路を設け、比較回路において、垂直同期信号に同期したタイミングで、入力データストリームに含まれるＰＴＳの値を入力されたＳＴＣの値と比較する。そして、デコード回路ではＳＴＣの値がＰＴＳの値以上であるときにデコード結果を更新して出力する。これによれば、デコード結果の更新・出力が必ず垂直同期信号に同期する。よって、その更新・出力のタイミングを特定のタイミングに制御できる。これにより、高精細なデータを扱う場合でも、例えば主映像、副映像、音声の各デコードデータの出力タイミングを意図するように制御できる。なお、ＳＴＣの値がＰＴＳの値未満のときにデコード結果を更新して出力しないのは、まだその出力すべきタイミングに至っていないからである。
また、本発明に係るＤＶＤ再生装置は、システムタイムクロックの値を垂直同期信号に同期するタイミングで出力するシステムタイムクロック値出力回路を含む第１のＩＣと、垂直同期信号を出力する垂直同期信号出力回路を含む第２のＩＣと、前記出力されたシステムタイムクロック値を入力する第１のインターフェース、前記出力された垂直同期信号を入力する第２のインターフェース、前記入力された垂直同期信号に同期したタイミングで、入力された主映像データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較する比較回路、および前記比較回路における比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を更新して出力するデコード回路を有するＨ．２６４コーデックＩＣと、前記出力されたシステムタイムクロック値を入力する第１のインターフェース、前記出力された垂直同期信号を入力する第２のインターフェース、前記入力された垂直同期信号に同期したタイミングで、入力された副映像データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較する比較回路、および前記比較回路における比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を更新して出力するデコード回路を有する副映像デコーダＩＣと、前記出力されたシステムタイムクロック値を入力する第１のインターフェース、前記出力された垂直同期信号を入力する第２のインターフェース、前記入力された垂直同期信号に同期したタイミングで、入力された音声データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較する比較回路、および前記比較回路における比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を出力するデコード回路を有する音声デコーダＩＣとを具備することを特徴とする。
このＤＶＤ再生装置は、上記のＨ．２６４コーデックＩＣとこれと同様の構成を有する各デコーダとを利用し、さらにＳＴＣの値を垂直同期信号に同期するタイミングで出力するシステムタイムクロック値出力回路を含む第１のＩＣと、垂直同期信号を出力する垂直同期信号出力回路を含む第２のＩＣとを加え、主映像、副映像、音声の再生を可能としたものである。ここで、各Ｈ．２６４コーデックＩＣ、デコーダの出力タイミングは上記のように所望に制御される。これにより、高精細なデータを扱う場合でも、主映像、副映像、音声の各デコードデータのタイミングを意図するように制御できる。
また、本発明に係るＨ．２６４コーデック方法は、垂直同期信号に同期するタイミングで得られたシステムタイムクロックの値を外部から入力し、外部から垂直同期信号を入力し、前記入力された垂直同期信号に同期したタイミングで、入力データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較し、前記比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を更新して出力することを特徴とする。
すなわち、垂直同期信号に同期したタイミングで、入力データストリームに含まれるＰＴＳの値を入力されたＳＴＣの値と比較する。そして、ＳＴＣの値がＰＴＳの値以上であるときにデコード結果を更新して出力する。これによれば、デコード結果の更新・出力が必ず垂直同期信号に同期する。よって、その更新・出力のタイミングを特定のタイミングに制御できる。これにより、高精細なデータを扱う場合でも、例えば主映像、副映像、音声の各デコードデータのタイミングを意図するように制御できる。
本発明によれば、より高精細なデータを扱う場合でも主映像、副映像、音声の各デコードデータのタイミングを意図するように制御できるＨ．２６４コーデックＩＣ、そのようなＩＣを用いるＤＶＤ再生装置、およびＨ．２６４コーデック方法を提供することができる。
本発明たるＨ．２６４コーデックＩＣにおける実施態様として、前記第１のインターフェースは、シリアル転送で送られる前記システムタイムクロックの値を外部から入力するインターフェースであるとすることができる。シリアル転送であると接続線が少数（システムタイムクロックの値の伝送に１本）で済み、ＩＣとしての構成（例えばピン数）が簡単になる。
また、本発明たるＤＶＤ再生装置における実施態様として、前記第１のＩＣが、入力されたデータストリームを主映像データストリームと副映像データストリームと音声データストリームとにデマルチプレクスする機能と、該デマルチプレクサにより得られた主映像データストリーム、副映像データストリーム、音声データストリームに各含まれるプレゼンテーションタイムスタンプ／デコードタイムスタンプの値を書き換える機能とをさらに有し、前記デマルチプレクサにより得られた前記主映像データストリーム、前記副映像データストリーム、前記音声データストリームが前記Ｈ．２６４コーデックＩＣ、前記副映像デコーダＩＣ、前記音声デコーダＩＣにそれぞれ供給されるようにしてもよい。プレゼンテーションタイムスタンプ（ＰＴＳ）／デコードタイムスタンプ（ＤＴＳ）の書き換えにより、例えば、再生位置を変えて再生状態を継続するような場合に適切に対応できる。
ここで、前記第１のＩＣにおけるプレゼンテーションタイムスタンプ／デコードタイムスタンプの値を書き換える前記機能が、システムタイムクロック不連続の前時点における、ＶＯＢユニットビデオデータの再生終了時刻（ＶＯＢＵ＿Ｅ＿ＰＴＭ）と、前記システムタイムクロック不連続の後時点における、ＶＯＢユニットビデオデータの再生開始時刻（ＶＯＢＵ＿Ｓ＿ＰＴＭ）との差の値（ＳＴＣのギャップに相当する値）を書き換え前の前記プレゼンテーションタイムスタンプ／デコードタイムスタンプの値に加えて書き換える機能である、とすることができる。システムタイムクロック不連続の前時点におけるＶＯＢユニットビデオデータの再生終了時刻（ＶＯＢＵ＿Ｅ＿ＰＴＭ）とシステムタイムクロック不連続の後時点における、ＶＯＢユニットビデオデータの再生開始時刻（ＶＯＢＵ＿Ｓ＿ＰＴＭ）との差の値が再生位置の違いを示しており、これをもとの（書換え前の）プレゼンテーションタイムスタンプ／デコードタイムスタンプの値に加えれば、ＳＴＣの値に応じた再生状態が継続する。
以上を踏まえ、以下では本発明の実施形態を図面を参照しながら説明する。図１は、本発明の一実施形態に係るＨ．２６４コーデックＩＣの構成を示すブロック図（図１（ａ））および本発明の一実施形態に係る副映像デコーダＩＣまたは音声デコーダＩＣの構成を示すブロック図（図１（ｂ））である。同図（ａ）に示すように、このＨ．２６４コーデックＩＣ１０は、主映像デコーダ１１、ＰＴＳ抽出回路１２、インターフェース１３、１４、比較回路１５を有する。また、ＩＣ１０に付随してバッファメモリ２０が用いられる。ＩＣ１０に供給される信号は映像情報を含む信号として説明する。
また、同図（ｂ）に示すように、この副映像デコーダＩＣ１０Ａ、音声デコーダＩＣ１０Ｂは、それぞれ、副映像デコーダ１１Ａまたは音声デコーダ１１Ｂのほかに、ＰＴＳ抽出回路１２、インターフェース１３、１４、比較回路１５を有する。ＩＣ１０Ａ、ＩＣ１０Ｂにも付随してバッファメモリ２０が用いられる。なお、ＩＣ１０、ＩＣ１０Ａ、ＩＣ１０Ｂは、これ以外の構成も含み得る（例えばコーデックＩＣなのでエンコーダなど）が、直接この実施形態としての特徴に関係しないので図示を省略する。ＩＣ１０Ａに供給される信号は副映像情報を含む信号であり、ＩＣ１０Ｂに供給される信号は音声情報を含む信号として説明する。ただし、ＩＣ１０Ａ、ＩＣ１０Ｂの内部構成は、ＩＣ１０とほぼ同様であり、以下では図１（ａ）の説明により図１（ｂ）の説明に代えるものとする。
デコーダ１１は、映像情報を含むＰＥＳ（packetized elementary stream）ストリーム（入力１）を入力してこれをもとの容量のデータにデコード（伸張、復号）する回路である。デコード後のデータはこのＩＣ１０から出力される（出力１）。このデコードはＩＴＵが勧告する規格Ｈ．２６４に基づいて行われる。デコーダ１１の規模は、例えば素子数で数百万エレメント程度にはなる。ＰＥＳストリームは、パケット化されたデータのストリームであり、そのヘッダにはＰＴＳが含まれている。また、ＰＴＳに加えてＤＴＳ（デコードタイムスタンプ）が含まれる場合もある。
ＰＴＳ抽出回路１２は、デコーダ１１に供給されたＰＥＳストリームの各ヘッダからＰＴＳを抽出するものである。抽出されたＰＴＳは比較回路１５に供給される。インターフェース１３は、垂直同期信号に同期したＳＴＣの値（入力２）を入力するインターフェース（例えばラッチ）である。垂直同期信号に同期したＳＴＣの値が例えばシリアルデータで供給される場合、またはパラレルデータで供給される場合に応じて、インターフェースとしての構成を選択することができる。入力されたＳＴＣの値は比較回路１５のもう一方の入力として供給される。
インターフェース１４は、垂直同期信号（入力３）を入力するインターフェース（例えばラッチ）である。入力された垂直同期信号は比較回路１５に供給される。比較回路１５では、この供給された垂直同期信号に同期するタイミングで比較を行う。比較の対象は、上記の「抽出されたＰＴＳ」と「垂直同期信号に同期したＳＴＣの値」とである。比較の結果はデコーダ１１にもたらされる。デコーダ１１では、「垂直同期信号に同期したＳＴＣの値」が「抽出されたＰＴＳ」の値以上であるときに、デコード結果を更新して出力する。
なお、バッファメモリ２０は、デコーダ１１がデコードすべきＰＥＳストリームを必要に応じて一時記憶保持しておくものである。このＨ．２６４コーデックＩＣ１０に内蔵するように構成することも可能である。
図１に示す構成のＨ．２６４コーデックＩＣ１０によれば、デコーダ１１のデコード結果の更新は、常に比較回路１５での比較のタイミングに従って、すなわちインターフェース１４に入力された垂直同期信号（入力３）に同期したタイミングで行われる。したがって、インターフェース１４に入力される垂直同期信号で制御されたデコード出力を得ることができる。換言すると、外からの指令によりデコード出力タイミングを任意に制御したことになる。
なお、「垂直同期信号に同期したＳＴＣの値」が「抽出されたＰＴＳ」の値未満のときにデコーダ１１に対してデコード出力の更新を求めないのは、その時点ではまだ、その抽出されたＰＴＳを含むＰＥＳストリームのデータをデコード出力すべきタイミングに至っていないからである。これは、ＳＴＣがシステムとしての時計に相当していて刻々とカウントアップされていくこと、およびＰＴＳが表示のタイミングを指示するタイムスタンプであることを考慮すれば自明ではある。
実際にこのＨ．２６４コーデックＩＣ１０を例えばＤＶＤ再生装置に使用する場合には、垂直同期信号に同期したＳＴＣを出力する回路、および垂直同期信号を出力する回路が必要である。これらは、既存の技術を利用して構成することが可能である。
図２は、図１に示した実施形態であるＨ．２６４コーデックＩＣの動作をさらに説明する図である。図２の（ａ）は、インターフェース１３に入力される「垂直同期信号に同期したＳＴＣの値」（入力２）を示している。この（ａ）に示されるように「垂直同期信号に同期したＳＴＣの値」は、垂直同期信号に同期する周期ごとに増加する値を呈する。垂直同期信号との位相関係はまちまちと考え得る。図２の（ｂ）は、インターフェース１４に入力される垂直同期信号（入力３）である。図２の（ｃ）は、比較回路１５における比較のタイミングを示しており、例えばこの図の場合では、垂直同期信号（入力３）のフロントエッジのタイミングとされている。このタイミングは、すでに説明したように、デコーダ１１の出力更新タイミングにほぼ等しいことになる。
図３は、図１、図２を用いて説明した実施形態の、特に、垂直同期信号に同期したＳＴＣの値を入力するインターフェース１３の例についてさらに説明する図である。この例では、図３（ａ）に示すように、垂直同期信号に同期したＳＴＣの値を１ビットのシリアルデータで受けるように構成され、インターフェース１３には、さらに「クロック」、「データイネーブル」、「ライト」の各信号が供給される。
これらの各信号を時系列的に示すと図３（ｂ）のようになっており、すなわち、シリアルデータである「垂直同期信号に同期したＳＴＣの値」は、「データイネーブル」がハイ、「ライト」がハイのときの「クロック」の例えば各立ち上がり（矢印で示す）でのハイ／ローの並びとして受け取られる。このようなシリアルデータによる受け取りにすると「垂直同期信号に同期したＳＴＣの値」を受け取るのに、接続線が１本で済む。さらに、同様な構成を応用すれば、シリアルデータにアドレスとこれに対応する何らかのデータ（「垂直同期信号に同期したＳＴＣの値」の場合を含む）とを含ませ、かつ、「アドレス／データ」の信号を設け、「ライト」を「ライト／リード」の信号にするなどして、種々のデータを受け取るまたは送り出すインターフェースとすることができる。このコーデックＩＣをさらに多機能化する場合などの指令信号入出力に有用である。
次に、本発明の一実施形態に係るＤＶＤ再生装置について図４を参照して説明する。図４は、本発明の一実施形態に係るＤＶＤ再生装置の構成を示すブロック図である。このＤＶＤ再生装置は、上記説明のＨ．２６４コーデックＩＣ１０に加えてほぼこれと同様の内部構成を有する副映像デコーダＩＣ１０Ａ、音声デコーダＩＣ１０Ｂを用いて構成されるものである。なお、これらのＩＣ１０、１０Ａ、１０Ｂに付随してそれぞれバッファメモリ（図１におけるバッファメモリ２０）が設けられるべきであるが図示省略している。
Ｈ．２６４コーデックＩＣ１０は、上記のように垂直同期信号を外部からの指令として用いデコード出力タイミングが制御可能にされているものである。このＨ．２６４コーデックＩＣ１０を主映像デコード用として用いる。Ｈ．２６４コーデックＩＣ１０に必要な「垂直同期信号に同期したＳＴＣの値」はＳＴＣ値出力回路４１から供給を受ける。また、同じく必要な垂直同期信号は垂直同期信号出力回路４２から供給を受ける。ＳＴＣ値出力回路４１、垂直同期信号出力回路４２は、それぞれ個別のＩＣとされていてもよい。これらの回路の機能は既存の技術で実現可能である。
このＤＶＤ再生装置では、さらに副映像デコード用としてＩＣ１０Ａを、音声デコード用としてＩＣ１０Ｂをそれぞれ用いる。これらのＩＣ１０Ａ、１０Ｂにも、ＳＴＣ値出力回路４１、垂直同期信号出力回路４２から同じ「垂直同期信号に同期したＳＴＣの値」と垂直同期信号とが供給される。これにより、垂直同期信号による映像と音声のデコード出力時点での同期を意図する。
すなわち、副映像デコーダＩＣ１０Ａは、副映像情報に関するデコードを担当しその内部構成は図１に示したようにＨ．２６４コーデックＩＣ１０のそれと基本的に同じである。音声デコーダＩＣ１０Ｂは、音声情報に関するデコードを担当し、その内部構成は図１に示したようにＨ．２６４コーデックＩＣ１０のそれと基本的に同じであるが、デコーダとしての機能を多少変える。具体的にはそのデコーダでは、「垂直同期信号に同期したＳＴＣの値」が「抽出されたＰＴＳ」の値以上であるときにデコード結果を出力するようにする。「垂直同期信号に同期したＳＴＣの値」が「抽出されたＰＴＳ」の値未満のときにはデコーダに対してデコード出力を求めない。その時点ではまだ、その抽出されたＰＴＳを含むストリームのデータをデコード出力すべきタイミングに至っていないからである。デコード出力を求めないことによる結果は、例えば音声出力のミューティングである。
このような構成のＤＶＤ再生装置によれば、デコーダが、主映像用、副映像用、音声用と３つに分かれているものの、各映像と音声の同期を正確にとることができる。また、デコーダＩＣが３つに分かれているので、それぞれの集積規模としてそれほど大きくはない。高精細な映像データのＤＶＤ再生装置をいち早く実現する有力な構成である。
なお、図４では、データストリームを、主映像データストリームたるＰＥＳストリーム、副映像データストリームたるＰＥＳストリーム、および音声データストリームたるＰＥＳストリームの３つにデマルチプレクスする構成が図示省略されている。これについては、その一例を別の実施形態に係るＤＶＤ再生装置に含めて次に述べる。
次に、本発明の別の実施形態に係るＤＶＤ再生装置を図５を参照して説明する。図５は、本発明の別の実施形態に係るＤＶＤ再生装置の構成（（ａ）と（ｂ）の２例）を示すブロック図である。図５において、図４に示した構成要素と同一のものには同一符号を付しその説明を省略する。この実施形態では、データストリームを、主映像データストリーム、副映像データストリーム、および音声データストリームの３つにデマルチプレクスする主映像／副映像／音声各ストリーム分割ＩＣ５０を設け、かつこのＩＣ５０にＳＴＣ値出力回路５１を内蔵させ、さらに再生位置がジャンプしたとき、つまり再生時にＳＴＣ値が連続でないとき再生状態が円滑に継続するように、ＰＴＳを書き換える機能をも内蔵させたものである。ＳＴＣ値出力回路５１は、図４におけるＳＴＣ値出力回路４１と同機能である。
主映像／副映像／音声各ストリーム分割ＩＣ５０のデマルチプレクサ５９は、入力されるデータストリームを主映像データストリーム、副映像データストリーム、および音声データストリームの３つにデマルチプレクスするものである。デマルチプレクスされた各データストリームはそれぞれＰＥＳパケットであり、パケットのヘッダにＰＴＳが含まれる。ＰＴＳ書換え回路５２、５３、５４は、それぞれ、デマルチプレクサ５９の出力側に設けられ、再生位置がジャンプしたときＰＴＳを書き換えて出力する。書換え値計算回路５５は、主映像／副映像／音声各ストリーム分割ＩＣ５０に内蔵して設けられ、ＶＯＢ（video object）ユニットに含まれている、ＶＯＢユニットの再生を制御するナビゲーションデータであるＰＣＩ（presentation control information）中のＰＴＭ（presentation time）をもとに書き換えるべきＰＴＳの値を計算する。
なお、図５（ａ）ではデータストリームとは別の入力としてＰＣＩが入力されているが、もともとＰＣＩもＶＯＢユニットに含まれているものなので、図５（ｂ）に示すように主映像／副映像／音声各ストリーム分割ＩＣ５０中のデマルチプレクサ５９にてＰＣＩあるいはＰＣＩを含むナビパックを分離してもよい。
一般に、再生位置がジャンプしたときには、得られているＳＴＣがジャンプする前の状態に基づくものであるならば、ＰＴＳのみがジャンプしてしまうので再生状態が継続しない。これを解消するには、ひとつの方法としてジャンプする後の状態に基づくＳＴＣを得るようにすればよい。これには一定の処理が必要である。例えば、ＳＴＣ値の計算には、ＶＯＢユニットの再生を制御するナビゲーションデータであるＰＣＩ中のＰＴＭを利用する。すなわち、システムタイムクロック不連続の前時点における、ＶＯＢユニットビデオデータの再生終了時刻（ＶＯＢＵ＿Ｅ＿ＰＴＭ）と、前記システムタイムクロック不連続の後時点における、ＶＯＢユニットビデオデータの再生開始時刻（ＶＯＢＵ＿Ｓ＿ＰＴＭ）との差の値（ＳＴＣのギャップに相当する値）を書き換え前のＳＴＣの値から減算して書き換え後のＳＴＣ値とする。
ここで減算すべき値は、
ＳＴＣ Ｇａｐ ＝ ＶＯＢＵ（ｎ）＿Ｅ＿ＰＴＭ −
ＶＯＢＵ（ｎ＋１）＿Ｓ＿ＰＴＭ
であり、概念的には図６（ａ）に示すような値になる。図６（ａ）の横軸は時間、縦軸はＰＴＳである。しかしながら、供給されたＳＴＣの値が各デコーダで反映されるまでの時間に差が生じれば、必然的に、主映像、副映像、音声の各デコードデータのタイミングがずれてしまうことになる。これに代えてこの実施形態では、再生位置がジャンプしたときに各ＰＥＳストリームのＰＴＳを書き換えるようにしている。
書き換える後のＰＴＳ値の計算には、ＶＯＢユニットの再生を制御するナビゲーションデータであるＰＣＩ中のＰＴＭを利用する。すなわち、システムタイムクロック不連続の前時点における、ＶＯＢＵ＿Ｅ＿ＰＴＭと、前記システムタイムクロック不連続の後時点における、ＶＯＢＵ＿Ｓ＿ＰＴＭとの差の値（ＳＴＣのギャップに相当する値）を書き換え前のＰＴＳの値に加算して書き換え後のＰＴＳ値とする。加算すべき値は、
ＳＴＣ Ｇａｐ ＝ ＶＯＢＵ（ｎ）＿Ｅ＿ＰＴＭ −
ＶＯＢＵ（ｎ＋１）＿Ｓ＿ＰＴＭ
であり、概念的に図６（ｂ）に示すような値になる。図６（ｂ）は、図５に示した実施形態の動作を説明しており、特にもとのＰＴＳ値に加算すべき値を示す図である。図６（ｂ）の横軸は時間、縦軸はＰＴＳである。
このような値が加えられた新たなＰＴＳであれば、再生位置のジャンプ量に対応したＰＴＳになっており再生状態が円滑に継続する。同様にＤＴＳについて書き換えるようにしてもよい。また、主映像／副映像／音声各ストリーム分割ＩＣ５０は、ひとつのＩＣでななく機能分割的に構成された複数のＩＣであってもよい。
本発明の一実施形態に係るＨ．２６４コーデックＩＣの構成を示すブロック図（図１（ａ））および本発明の一実施形態に係る副映像デコーダＩＣまたは音声デコーダＩＣの構成を示すブロック図（図１（ｂ））。 図１に示した実施形態の動作の説明図。 図１中に示したインターフェース１３の一例およびその動作を説明する図。 本発明の一実施形態に係るＤＶＤ再生装置の構成を示すブロック図。 本発明の別の実施形態に係るＤＶＤ再生装置の構成（（ａ）と（ｂ）の２例）を示すブロック図。 従来の方法によるＳＴＣ、ＰＴＳの値の変化を説明しかつ図５に示した実施形態の動作を説明する図。
符号の説明
１０…Ｈ．２６４コーデックＩＣ、１０Ａ…副映像デコーダＩＣ、１０Ｂ…音声デコーダＩＣ、１１…主映像デコーダ、１１Ａ…副映像デコーダ、１１Ｂ…音声デコーダ、１２…ＰＴＳ抽出回路、１３…インターフェース、１４…インターフェース、１５…比較回路、２０…バッファメモリ、４１…ＳＴＣ値出力回路、４２…垂直同期信号出力回路、５０…主映像／副映像／音声各ストリーム分割ＩＣ、５１…ＳＴＣ値出力回路、５２，５３，５４…ＰＴＳ書換え回路、５５…書換え値計算回路、５９…デマルチプレクサ。

Claims (6)

  1. 垂直同期信号に同期するタイミングで得られたシステムタイムクロックの値を外部から入力する第１のインターフェースと、
    外部から垂直同期信号を入力する第２のインターフェースと、
    前記入力された垂直同期信号に同期したタイミングで、入力データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較する比較回路と、
    前記比較回路における比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を更新して出力するデコード回路と
    を具備することを特徴とするＨ．２６４コーデックＩＣ。
  2. 前記第１のインターフェースが、シリアル転送で送られる前記システムタイムクロックの値を外部から入力するインターフェースであることを特徴とする請求項１記載のＨ．２６４コーデックＩＣ。
  3. システムタイムクロックの値を垂直同期信号に同期するタイミングで出力するシステムタイムクロック値出力回路を含む第１のＩＣと、
    垂直同期信号を出力する垂直同期信号出力回路を含む第２のＩＣと、
    前記出力されたシステムタイムクロック値を入力する第１のインターフェース、前記出力された垂直同期信号を入力する第２のインターフェース、前記入力された垂直同期信号に同期したタイミングで、入力された主映像データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較する比較回路、および前記比較回路における比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を更新して出力するデコード回路を有するＨ．２６４コーデックＩＣと、
    前記出力されたシステムタイムクロック値を入力する第１のインターフェース、前記出力された垂直同期信号を入力する第２のインターフェース、前記入力された垂直同期信号に同期したタイミングで、入力された副映像データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較する比較回路、および前記比較回路における比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を更新して出力するデコード回路を有する副映像デコーダＩＣと、
    前記出力されたシステムタイムクロック値を入力する第１のインターフェース、前記出力された垂直同期信号を入力する第２のインターフェース、前記入力された垂直同期信号に同期したタイミングで、入力された音声データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較する比較回路、および前記比較回路における比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を出力するデコード回路を有する音声デコーダＩＣと
    を具備することを特徴とするＤＶＤ再生装置。
  4. 前記第１のＩＣが、
    入力されたデータストリームを主映像データストリームと副映像データストリームと音声データストリームとにデマルチプレクスする機能と、
    該デマルチプレクサにより得られた主映像データストリーム、副映像データストリーム、音声データストリームに各含まれるプレゼンテーションタイムスタンプ／デコードタイムスタンプの値を書き換える機能とをさらに有し、
    前記デマルチプレクサにより得られた前記主映像データストリーム、前記副映像データストリーム、前記音声データストリームが前記Ｈ．２６４コーデックＩＣ、前記副映像デコーダＩＣ、前記音声デコーダＩＣにそれぞれ供給されること
    を特徴とする請求項３記載のＤＶＤ再生装置。
  5. 前記第１のＩＣにおけるプレゼンテーションタイムスタンプ／デコードタイムスタンプの値を書き換える前記機能が、システムタイムクロック不連続の前時点におけるＶＯＢユニットビデオデータの再生終了時刻と、前記システムタイムクロック不連続の後時点におけるＶＯＢユニットビデオデータの再生開始時刻との差の値を書き換え前の前記プレゼンテーションタイムスタンプ／デコードタイムスタンプの値に加えて書き換える機能であることを特徴とする請求項４記載のＤＶＤ再生装置。
  6. 垂直同期信号に同期するタイミングで得られたシステムタイムクロックの値を外部から入力し、
    外部から垂直同期信号を入力し、
    前記入力された垂直同期信号に同期したタイミングで、入力データストリームに含まれるプレゼンテーションタイムスタンプの値を前記入力されたシステムタイムクロックの値と比較し、
    前記比較の結果、前記システムタイムクロックの値が前記プレゼンテーションタイムスタンプの値以上であるときにデコード結果を更新して出力する
    ことを特徴とするＨ．２６４コーデック方法。
JP2004035965A 2004-02-13 2004-02-13 Ｈ．２６４コーデックｉｃ、ｄｖｄ再生装置、ｈ．２６４コーデック方法 Expired - Lifetime JP4095559B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004035965A JP4095559B2 (ja) 2004-02-13 2004-02-13 Ｈ．２６４コーデックｉｃ、ｄｖｄ再生装置、ｈ．２６４コーデック方法
US10/898,991 US7466902B2 (en) 2004-02-13 2004-07-27 H. 264 codec IC, DVD playback apparatus, H. 264 codec method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004035965A JP4095559B2 (ja) 2004-02-13 2004-02-13 Ｈ．２６４コーデックｉｃ、ｄｖｄ再生装置、ｈ．２６４コーデック方法

Publications (2)

Publication Number Publication Date
JP2005229331A true JP2005229331A (ja) 2005-08-25
JP4095559B2 JP4095559B2 (ja) 2008-06-04

Family

ID=34836231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004035965A Expired - Lifetime JP4095559B2 (ja) 2004-02-13 2004-02-13 Ｈ．２６４コーデックｉｃ、ｄｖｄ再生装置、ｈ．２６４コーデック方法

Country Status (2)

Country Link
US (1) US7466902B2 (ja)
JP (1) JP4095559B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411734B2 (en) 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
JP2009027257A (ja) * 2007-07-17 2009-02-05 Hitachi Ltd ビデオカメラ装置
JP5094478B2 (ja) * 2008-03-06 2012-12-12 株式会社日立製作所 受信装置
JP4438878B2 (ja) * 2008-03-17 2010-03-24 ソニー株式会社 受信装置、クロック同期方法およびコンピュータプログラム
JP5183279B2 (ja) * 2008-04-03 2013-04-17 ルネサスエレクトロニクス株式会社 情報処理装置、命令コードの暗号化方法および暗号化命令コードの復号化方法
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311115B2 (en) * 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US8351768B2 (en) * 2009-07-23 2013-01-08 Microsoft Corporation Media processing comparison system and techniques
US9094564B2 (en) 2010-05-07 2015-07-28 Microsoft Technology Licensing, Llc Clock synchronization for shared media playback
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
CN105721880B (zh) 2011-06-30 2019-04-05 微软技术许可有限责任公司 用于降低视频编码和解码中的延迟的方法和系统
CN102256128B (zh) * 2011-07-12 2013-07-24 浙江宇视科技有限公司 同步解码方法及其装置
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
CN111031194B (zh) * 2019-12-12 2022-05-17 北京东土科技股份有限公司 一种多路解码器同步控制方法、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114446A (ja) * 1997-06-12 1999-01-06 Sony Corp 情報信号デコード方法及び装置
JP3736092B2 (ja) 1997-12-26 2006-01-18 ソニー株式会社 フレーム同期方法及び復号装置
JP2000341258A (ja) 1999-05-28 2000-12-08 Sony Corp 通信装置および方法、並びに媒体
JP2002354419A (ja) * 2001-05-25 2002-12-06 Sony Corp 記録再生装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US7466902B2 (en) 2008-12-16
JP4095559B2 (ja) 2008-06-04
US20050180511A1 (en) 2005-08-18

Similar Documents

Publication Publication Date Title
JP4095559B2 (ja) Ｈ．２６４コーデックｉｃ、ｄｖｄ再生装置、ｈ．２６４コーデック方法
JP4991129B2 (ja) 映像音声再生装置および映像音声再生方法
RU2470386C2 (ru) Информационный запоминающий носитель для использования с устройством воспроизведения/записи и устройство для воспроизведения данных аудио/видео (av) и данных текстовых субтитров
KR100661895B1 (ko) 영상 데이터 처리 장치 및 처리 방법
JP4375313B2 (ja) 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体
US20050175321A1 (en) Recording method, recording apparatus, recording medium, reproduction method, reproduction apparatus and image pickup apparatus
JP2006340102A (ja) 同期再生装置および同期再生方法
JP3438223B2 (ja) 多重化装置および多重化方法、並びに伝送装置および伝送方法
EP1914753A2 (en) Playback method, playback program and playback apparatus
JP2005123789A (ja) Ａｖ同期システム
JPH10262208A (ja) 同期ずれ制御装置及び方法
US8238446B2 (en) Method and apparatus for reproducing digital broadcasting
KR100975175B1 (ko) 정보 처리 장치 및 방법, 및 기록 매체
JP2010252151A (ja) 再生装置、及び同期再生方法
KR20000068121A (ko) 정보 신호 디코딩 방법 및 장치
JP2872104B2 (ja) タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法
US8428422B2 (en) Moving picture multiplexing apparatus, audio and video recording apparatus and moving picture multiplexing method
US6556626B1 (en) MPEG decoder, MPEG system decoder and MPEG video decoder
US20060257108A1 (en) Multimedia reproduction apparatus
JP2003348543A (ja) データ復号器およびデータ復号化方法
JPWO2006075457A1 (ja) 記録装置
JP2006352587A (ja) 情報処理装置
JP2007174256A (ja) 映像音声記録装置
WO2017033764A1 (ja) 記録装置、および記録方法、並びにプログラム
JP2009218934A (ja) 映像再生装置及び映像再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5