JP2007531192A - 記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置 - Google Patents

記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置 Download PDF

Info

Publication number
JP2007531192A
JP2007531192A JP2007504873A JP2007504873A JP2007531192A JP 2007531192 A JP2007531192 A JP 2007531192A JP 2007504873 A JP2007504873 A JP 2007504873A JP 2007504873 A JP2007504873 A JP 2007504873A JP 2007531192 A JP2007531192 A JP 2007531192A
Authority
JP
Japan
Prior art keywords
dialog
style
palette
segment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007504873A
Other languages
English (en)
Other versions
JP2007531192A5 (ja
JP4599396B2 (ja
Inventor
カン ス ソ
ビュン ジン キム
ジェ ヨン ヨ
Original Assignee
エルジー エレクトロニクス インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34989929&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2007531192(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by エルジー エレクトロニクス インコーポレーテッド filed Critical エルジー エレクトロニクス インコーポレーテッド
Publication of JP2007531192A publication Critical patent/JP2007531192A/ja
Publication of JP2007531192A5 publication Critical patent/JP2007531192A5/ja
Application granted granted Critical
Publication of JP4599396B2 publication Critical patent/JP4599396B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B7/00Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
    • G11B7/007Arrangement of the information on the record carrier, e.g. form of tracks, actual track shape, e.g. wobbled, or cross-section, e.g. v-shaped; Sequential information structures, e.g. sectoring or header formats within a track
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

最初に、バッファは、記録媒体に記録されたテキストサブタイトルストリームをプレロードする。プレロードされたテキストサブタイトルストリームは、ダイアログスタイルセグメントと複数のダイアログプレゼンテーションセグメントを含む。ダイアログスタイルセグメントは、領域スタイルセットとパレット情報を定義する。各ダイアログプレゼンテーションセグメントは、少なくとも1以上のダイアログテキストの領域を含む。各ダイアログテキスト領域は、ダイアログスタイルセグメントに定義された領域スタイルセットのうちの選択されたいずれかとリンクされる。テキストサブタイトルデコーダは、各ダイアログプレゼンテーションセグメントに含まれるパレット更新フラグを読み出し、パレット更新フラグの指示に従って、各ダイアログプレゼンテーションセグメントを提示する。パレット更新フラグは、各ダイアログプレゼンテーションセグメントを提示する際に、ダイアログスタイルセグメントに定義されたパレット情報を用いるか、新しいパレット情報を用いるかを示す。

Description

本発明は、記録媒体に関し、より詳細には、記録媒体に記録されているテキストサブタイトルストリームを再生する方法及びその装置に関する。本発明は、様々な応用分野に適用可能であるが、特に、記録媒体にテキストサブタイトルストリームを記録したり、記録されたテキストサブタイトルストリームを効率よく再生するのに好適である。
光ディスクは、大容量のデータを記録可能な光記録媒体として広く用いられている。光ディスクの中でも、近年、新しい高密度の光記録媒体(HD−DVD)、例えばブルーレイディスク(BD)が開発され、高画質のビデオデータと高音質のオーディオデータを書き込み、記憶することができる。近年、次世代技術として知られているブルーレイディスク(BD)の世界標準の技術仕様は、既存のDVDより遥かに多くのデータを記憶可能な次世代の光記録ソリューションとして、他の多くのデジタル機器と共に確立されている。
従って、ブルーレイディスク(BD)標準を適用した光記録再生装置も開発されている。しかながら、まだブルーレイディスク(BD)標準が完備されていないので、完全な光記録再生装置を開発するのに難点がある。特に、ブルーレイディスク(BD)内からデータを効率よく再生するためには、メインAVデータのみならず、メインAVデータと関連する補助データとして、サブタイトル情報などのユーザの便宜のための各種のデータを提供するだけではなく、光ディスク内に記録されたメインデータとサブタイトルデータを再生するための管理情報を体系化し、提供する必要がある。
しかしながら、現在、ブルーレイディスク(BD)標準においては、補助データ、特にサブタイトルストリームファイルを生成するのに適した方法が完備されておらず、本格的なブルーレイディスク(BD)方式の光記録再生装置を開発するのに多くの制約がある。このような制約は、サブタイトルなどの補助データをユーザに提供する上で問題となる。
そこで、本発明は、関連技術の限界及び欠点による1以上の問題点を実質的に防止する記録媒体上に記録されているテキストサブタイトルストリームを再生するためのテキストサブタイトルストリームの記録再生方法およびその装置に関する。
本発明の目的は、本発明に従って記録媒体内にテキストサブタイトルストリームファイルを記録するに当たり、パレット情報セットを生成する方法を提供することにある。
本発明の他の目的は、上述したテキストサブタイトルストリームを効率よく再生可能なテキストサブタイトルストリームの再生方法及びその装置を提供することにある。
本発明のさらなる利点、目的及び特徴は、後続する詳細な説明に部分的に提示され、その部分は、この分野における通常の技術を有する者であれば、本発明の実施の形態から明らかになる。本発明の目的及び他の利点は、後述する詳細な説明及び請求の範囲はもとより、添付図面に具体的に開示された構造により具現可能である。
本発明の目的にかかり、目的及び利点を達成するために、テキストサブタイトルストリームを再生するための記録媒体は、少なくとも1以上のテキストサブタイトルストリームを記憶するためのデータ領域を含み、各テキストサブタイトルストリームは、領域スタイルグループを定義するダイアログスタイルセグメントと複数のダイアログプレゼンテーションセグメントを含み、各ダイアログプレゼンテーションセグメントは、少なくとも1以上のダイアログテキスト領域を含み、各ダイアログテキスト領域は、領域スタイルグループから選択されたいずれかにリンクされ、ダイアログスタイルセグメントはパレット情報をさらに定義し、各ダイアログプレゼンテーションセグメントはパレット更新フラグをさらに含み、パレット更新フラグは、ダイアログスタイルセグメント内に定義されているパレット情報を用いるか、あるいは、各ダイアログプレゼンテーションセグメントを再生するための新たなパレット情報を用いるかを示すことを特徴とする。
本発明の他の観点によれば、記録媒体内に記録されているテキストサブタイトルストリームを再生するための方法は、テキストサブタイトルストリーム内に含まれているダイアログスタイルセグメントを読み出すことであって、ダイアログスタイルセグメントは、領域スタイルグループとパレット情報を定義すること、テキストサブタイトルストリーム内に含まれている複数のダイアログプレゼンテーションセグメントのうちいずれかを読み出すことであって、各ダイアログプレゼンテーションセグメントは、少なくとも1以上のダイアログテキスト領域を含み、各ダイアログテキスト領域は、領域スタイルグループから選択されたいずれかにリンクされること、各ダイアログスタイルセグメント内に定義されているパレット更新フラグを読み出すことであって、パレット更新フラグは、ダイアログスタイルセグメント内に定義されているパレット情報を用いるか、あるいは、各ダイアログプレゼンテーションセグメントを再生するための新たなパレット情報を用いるかを示すこと、および、パレット更新フラグの指示に従って各ダイアログプレゼンテーションセグメントを再生することを備えたことを特徴とする。
本発明のさらに他の観点によれば、記録媒体内に記録されているテキストサブタイトルストリームを再生するための装置は、テキストサブタイトルストリームをプレロードするバッファであって、プレロードされたテキストサブタイトルストリームは、ダイアログスタイルセグメントと複数のダイアログプレゼンテーションセグメントを含み、ダイアログスタイルセグメントは、領域スタイルグループとパレット情報を定義し、各ダイアログプレゼンテーションセグメントは、少なくとも1以上のダイアログテキスト領域を含み、各ダイアログテキスト領域は、領域スタイルグループから選択されたいずれかにリンクされるバッファと、各ダイアログプレゼンテーションセグメントに含まれているパレット更新フラグ読み出すテキストサブタイトルデコーダであって、パレット更新フラグは、ダイアログプレゼンテーションセグメント内に定義されているパレット情報を用いるか、あるいは、新たなパレット情報を用いるかを示し、パレット更新フラグの指示に従って各ダイアログプレゼンテーションセグメントを再生するテキストサブタイトルデコーダとを備えたことを特徴とする。
本発明の上述した通常の説明と後述する説明は例示的なものに過ぎず、本発明の後続する説明を提供するためのものであるということが分かる。
添付図面は、本発明のさらなる理解を提供するために含まれ、本発明の原理を説明するために提供された説明と共に本願出願の一部及び本発明の実施例を構成して結合される。
以下、本発明の好適な実施の形態が詳細に後述され、これら実施形態は、添付図面に示される。できる限り、同じ参照符号は同一または類似する部分を言及するために図面の全体に亘って使用される。併せて、本発明に用いられる用語は、できる限り、現在汎用されている通常の用語であるが、特定の場合は、出願人が任意に選定した用語も使用されており、この場合は、該当する発明の説明の欄にその詳細な意味を記述している。従って、単純な用語の名称ではなく、用語が有する意味として本発明を把握しなければない。
これと関連し、本発明において、「記録媒体」とは、データが記録可能なあらゆる媒体を意味し、例えば、光ディスク、磁気テープなどの記録方式によらずに全ての媒体を包括している。以下、本発明は、説明の便宜のために、記録媒体として光ディスク、特に、「ブルーレイディスク(BD)」を例として説明する。しかしながら、本発明の技術思想は、他の記録媒体にも同様に適用可能であることは言うまでもない。
さらに、本発明の詳細な説明において、「メインデータ」とは、ディスクの製作者により光ディスク内に記録されたタイトル(例えば、「ムービータイトル」)内に属するオーディオ/ビデオデータを意味する。通常、MPEG2フォーマットとして記録され、これを「AVストリーム」または「メインAVストリーム」と言う。また、「補助データ」とは、「メインデータ」の再生時に求められる全ての他のデータを意味し、例えば、テキストサブタイトルストリーム、インタラクティブグラフィックストリーム、プレゼンテーショングラフィックストリーム、補助オーディオストリーム(例えば、ブラウザブルスライドショーのために)などが含まれる。補助データは、MPEG2フォーマットとして記録されるか、あるいは、他のフォーマットとして記録される。補助データは、メインAVストリームに多重化され、あるいは、光ディスク内に独立したデータファイルとして存在する。
さらに、「サブタイトル」は、再生されるビデオ(または画像)に対応する字幕情報を意味し、これは、既定の言語により表わされる。例えば、ユーザが、ディスプレイ画面上のイメージを視聴しながら、様々な言語で表される複数のサブタイトルのうちいずれか1つを選択すると、選択されたサブタイトルに該当する字幕情報が、ディスプレイ画面上の所定の場所に表示される。もし、表示される字幕情報が文字データならば、選択されたサブタイトルを「テキストサブタイトル」と命名する。なお、本発明において、「パレット情報」とは、カラー情報及び透明度情報を意味し、これは、テキストサブタイトルデータが画面上に再生されるときにユーザに与えられる。本発明によれば、MPEG2フォーマットによる複数のテキストサブタイトルストリームは、光ディスク内に記録可能であり、独立した複数のストリームファイルとして存在することができる。各「テキストサブタイトルストリームファイル」は、光ディスク内に生成されて記録される。本発明の目的は、記録されたテキストサブタイトルストリームファイルを再生するための再生方法及びその装置を提供することにある。
図1に、本発明にかかるブルーレイディスク(以下、「BD」と称する。)内に記録されたデータファイルの構造を示す。図1によれば、1つのルートディレクトリ下に少なくとも1以上のBDディレクトリ(BDMV)が含まれる。各BDディレクトリ(BDMV)は、少なくとも1以上のユーザとのインタラクティブのために用いられるインデックスファイル(index.bdm)とオブジェクトファイル(MovieObject.bdmv)とを含む。例えば、インデックスファイルは、選択可能な複数のメニューおよびムービータイトルを有するインデックステーブルを示すデータを含むことができる。また、各BDディレクトリ(BDMV)は、再生されるAVデータ及びAVデータの再生に必要な各種のデータを含む4つのディレクトリをさらに含む。
各BDディレクトリ(BDMV)に含まれるファイルディレクトリは、ストリームディレクトリ(STREAM)、クリップインフォディレクトリ(CLIPINF)、プレイリストディレクトリ(PLAYLIST)、及び補助データディレクトリ(AUXDATA)がある。ストリームディレクトリ(STREAM)は、特定のデータフォーマットを有するオーディオ及びビデオ(AV)ストリームファイルを含む。例えば、AVストリームは、MPEG2方式の伝送パケットであり、図1に示すように、「*.m2ts」と命名される。ストリームディレクトリは、1以上のテキストサブタイトルストリームファイルを含むことができる。各テキストサブタイトルストリームファイルは、特定の言語により表現されたテキストサブタイトルのためのテキストデータと、テキストデータのための再生制御情報とを含む。また、テキストサブタイトルストリームファイルは、ストリームディレクトリ内に独立したストリームファイルとして存在し、図1に示すように、「*.m2ts」または「*.txtst」と命名される。ストリームディレクトリに含まれるAVストリームファイルとテキストサブタイトルストリームファイルとは、「クリップストリームファイル」と命名される。
クリップインフォディレクトリ(CLIPINF)は、ストリームディレクトリにそれぞれ含まれるストリームファイル(AVまたはテキストサブタイトル)と対応するクリップインフォファイルを含む。各クリップインフォファイルは、対応するストリームファイルの属性情報及び再生タイミング情報を含む。例えば、クリップインフォファイルは、マッピング情報を含み、マッピング情報は、クリップタイプに基づいて、プレゼンテーションタイムスタンプ(PTS:Presentation Time Stamp)とソースパケットナンバー(SPN:Source Packet Number)を一対一に対応させ、エントリポイントマップ(EPM:Entry Point Map)によりマッピングされる。マッピング情報を用いて、ストリームファイルの特定の位置が、後述するPlayItemまたはSubPlayItemにより提供されるタイミング情報(In−Time、Out−Time)から決められる。標準においては、互いに対応するストリームファイルとクリップインフォファイルの対を、「クリップ」と称する。例えば、クリップインフォディレクトリ(CLIPINF)に含まれるファイル「01000.clpi」は、ストリームディレクトリ(STREAM)に含まれるファイル「01000.m2ts」の属性情報及びタイミング情報を含み、これにより、「01000.clpi」と「01000.m2ts」は1つのクリップを構成する。
さらに図1を参照すると、プレイリストディレクトリ(PLAYLIST)は、1以上のプレイリストファイル*.mplsにより構成され、それぞれのプレイリストファイル*.mplsは、少なくとも1以上のメインAVクリップおよびメインAVクリップが再生される時間を指定する少なくとも1以上のプレイアイテムを含むことができる。より具体的には、プレイアイテムは、プレイアイテム内において「Clip_Information_File_Name」により指定されるメインAVクリップの再生開始時刻および再生終了時刻を表す、In−TimeおよびOut−Timeを示す情報を含む。このため、プレイリストファイルは、少なくとも1以上のメインAVクリップのための基本的な再生制御情報を含む。さらに、プレイリストファイルは、サブプレイアイテムを含み、このサブプレイアイテムは、テキストサブタイトルストリームファイルのための基本的な再生制御情報を表す。1以上のテキストサブタイトルストリームファイルを再生するためのサブプレイアイテムがプレイリストファイル内に含まれると、サブプレイアイテムは、プレイアイテムと同期される。一方、サブプレイアイテムを用いてブラウザブルスライドショーを再生すると、プレイアイテムと同期されなくても構わない。本発明による場合、サブプレイアイテムの主な機能は、1以上のテキストサブタイトルストリームファイルを再生制御することである。
最後に、補助データディレクトリ(AUXDATA)は、補助データストリームファイルを含む。例えば、「フォントファイル」(例えば、「aaaaa.font」または「aaaaa.otf」)、「ポップアップメニューファイル」(図示せず)、およびクリックサウンドを提供する「サウンドファイル」sound.bdmvなどである。上述したテキストサブタイトルストリームファイルを、ストリームディレクトリに代えて補助データディレクトリ内に含めてもよい。
図2は、本発明にかかる光ディスク内のデータ記憶領域を示す図である。図2を参照すると、光ディスクは、ディスクボリュームの最内周を占めるファイルシステム情報領域と、ディスクボリュームの最外周を占めるストリーム領域と、ファイルシステム情報領域とストリーム領域との間を占めるデータベース領域とを含む。ファイルシステム情報領域内には、図1に示すように、全体のデータファイルを管理するためのシステム情報が記憶される。また、メインデータ及び補助データ(例えば、AVストリーム及び1以上のテキストサブタイトルストリーム)は、ストリーム領域内に記憶される。メインデータは、オーディオデータ、ビデオデータ及びグラフィックデータを含む。補助データ(例えば、テキストサブタイトル)は、メインデータとマルチプレックシングされることなく、ストリーム領域内に独立して記憶される。図1に示すように、通常のファイル、プレイリストファイル及びクリップインフォファイルは、ディスクボリューム内のデータベース領域内に記憶される。上述したように、通常のファイルは、インデックスファイル及びオブジェクトファイルを含み、プレイリストファイル及びクリップインフォファイルは、ストリーム領域内に記憶されたAVストリーム及びテキストサブタイトルストリームを再生するために必要な情報を含む。データベース領域及び/またはストリーム領域内に記憶された情報を使用して、ユーザは、特定の再生モードが選択可能であり、選択された再生モードにおいてメインAV及びテキストサブタイトルストリームを再生する。
以下、本発明のテキストサブタイトルストリームファイルの構造の詳細について説明する。先ず、テキストサブタイトルを再生するための制御情報を新たに定義する。新たに定義された制御情報を含むテキストサブタイトルストリームファイルを構成する方法と、記録されたストリームファイルを再生するテキストサブタイトルスの再生方法及び再生装置について説明する。図3は、本発明によりディスプレイ画面上に提供されるテキストサブタイトル及びメインイメージを示す図である。特に、メインAVストリームと対応するテキストサブタイトルストリームが同期されて再生される場合、メインイメージとテキストサブタイトルとは、ディスプレイ画面上に同時に提供される。
図4は、本発明によるメインAVクリップとテキストサブタイトルクリップの再生を示す図である。図4によれば、プレイリストファイルは、少なくとも1以上のAVクリップを再生制御するための少なくとも1以上のプレイアイテムと、複数のテキストサブタイトルクリップを再生制御するための1つのサブプレイアイテムとを含む。図4に示すように、テキストサブタイトルクリップ1とテキストサブタイトルクリップ2の一つは、英語と韓国語のサブタイトルであり、メインAVクリップと同期して、メインイメージと対応するテキストサブタイトルとが、所望のプレゼンテーションタイムに画面に表示される。画面上にテキストサブタイトルをディスプレイするためには、図5A〜図5Cに示すように、ディスプレイ制御情報(例えば、位置及びサイズ情報)と再生時間情報が必要になる。
図5Aは、本発明にかかるディスプレイ画面上のダイアログを示す図である。「ダイアログ」とは、所与のプレゼンテーションタイムの間に表示されるあらゆるテキストサブタイトルデータを表す。通常、ダイアログの再生時間は、「PTS(Presentation Time Stamp)」で表わされる。例えば、図5Aに示すようなダイアログの再生は、PTS(k)から始まってPTS(k+1)で終わる。このため、図5Aに示すダイアログは、PTS(k)とPTS(k+1)との間にディスプレイ画面に表示される全てのテキストサブタイトルデータを表す。1つのテキストサブタイトル内において、1つのダイアログは、最大100個の文字コードを含む。
また、図5Bは、本発明によるダイアログの領域を示す図である。「領域」とは、所与のプレゼンテーションタイム内にディスプレイ画面に表示されるテキストサブタイトルデータ(ダイアログ)を分割した一部を表す。すなわち、1つのダイアログは、少なくとも1以上の領域を含み、各領域は、少なくとも1以上のサブタイトルテキストラインを含むことができる。領域を表す全体のテキストサブタイトルデータは、各領域別に割り当てられた領域スタイル(グローバルスタイル)によりディスプレイ画面上に表示される。1つのダイアログ内に含まれる領域の最大数は、サブタイトルデータの好適な復号化レートに基づいて決められる。何故ならば、あまりにも多くの領域は、通常、低い復号化レートをもたらすからである。例えば、好適な高効率の復号化レートを達成するためには、1つのダイアログ内に含まれる領域の最大数を2つに制限しなければならない。このため、テキストサブタイトルストリームを再生する場合、一つのダイアログ内の最大領域の数は、デコードに対する負担を考慮すると2つに制限される。本発明の他の実施の形態によれば、領域の最大数n(n>2)が、一つのダイアログ内に存在するようにしてもよい。
図5Cは、本発明にかかるダイアログ内の領域のためのスタイル情報を示す図である。「スタイル情報」は、ダイアログ内に含まれる少なくとも一部の領域を表示するために求められる属性を定義した情報である。スタイル情報のいくつかの例として、位置、領域サイズ、背景色、整列方法、テキストフロー及びその他がある。スタイル情報は、領域スタイル情報(または、グローバルスタイル情報)とインラインスタイル情報(または、ローカルスタイル情報)とに大別できる。
領域スタイル情報は、ダイアログ内の1つの全体領域に適用される領域スタイル(または、グローバルスタイル)を定義する。例えば、領域スタイル情報は、領域位置、領域サイズ、フォントカラー、背景色、テキストフロー、テキスト配置、ライン間隔、フォント名、フォントスタイル、及びフォントサイズのうち少なくとも1以上の情報を含むことができる。図5Cに示すように、例えば、2つの相異なる領域スタイルが、それぞれ領域1及び領域2に適用される。位置1、サイズ1及び青色のスタイル情報が、領域1に適用され、位置2、サイズ2及び赤色の他のスタイル情報が、領域2に適用される。
一方、ローカルスタイル情報は、1つの領域内に含まれる特定のテキストストリングの一部に適用されるインラインスタイル(または、ローカルスタイル)を定義する。例えば、インラインスタイル情報は、フォントタイプ、フォントスタイル及びフォントカラーのうち少なくともいずれかの情報を含むことができる。テキストストリングの特定の一部は、1つの領域内の全体のテキストラインとなるか、または、テキストラインの特定の一部となる。図5Cによれば、特定のインラインスタイルは、領域1に含まれるテキストの一部「mountain」に適用される。すなわち、テキストストリングの特定の一部のフォントタイプ、フォントスタイル及びフォントカラーのうち少なくともいずれかは、領域1に含まれるテキストストリングの一部と異なる。
上述したように、テキストデータは、特定のインラインスタイルが存在するか否かに応じて記録され、「テキストストリング」と称される。図6は、本発明にかかるテキストサブタイトルストリームファイル(例えば、図1の「10001.mts))を示す。テキストサブタイトルストリームファイルは、複数の伝送パケット(TP)を含むMPEG2伝送ストリームを形成し、全ての伝送パケット(TP)は同じパケット識別情報(例えば、「PID=0x18xx」)を有する。ディスクプレーヤが特定のテキストサブタイトルストリームを含む多くの入力ストリームを受信すると、そのPIDを使用して、テキストサブタイトルストリームに含まれている全ての伝送パケットを取り出す。図6によれば、それぞれの伝送パケットのサブセットは、パケット基本ストリーム(PES:packet elementary stream)を形成する。図6に示すように、PESパケットのうち1つは、領域スタイルグループを定義するダイアログスタイルセグメント(DSS:dialog style segment)に該当する。また、2番目のPESパケット以降の全ての残りのPESパケットは、ダイアログプレゼンテーションセグメント(DPS:dialog presentation segment)に該当する。
上述した図6のテキストサブタイトルストリームの構造によれば、上記の図5A〜図5Cにおいて定義した各ダイアログ情報は、ダイアログプレゼンテーションセグメント(DPS)を表す。ダイアログ情報内に含まれるスタイル情報は、ダイアログスタイルセグメント(DSS)において定義された複数の領域スタイル情報セットのうちいずれか1つをリンクする情報(これを「region_style_id」と呼ぶ。)と、インラインスタイル情報とを表す。従って、本発明においては、ダイアログプレゼンテーションセグメント(DPS)に適用される領域スタイルセットとパレット情報とは、ダイアログスタイルセグメント(DSS)内に記録され、以下、具体的に説明する。
図7Aは、本発明のテキストサブタイトルストリーム内に記録されるダイアログスタイルセグメント(DSS)と、ダイアログプレゼンテーションセグメント(DPS)の構造を示す。テキストサブタイトルストリームの詳細なシンタックスは、図8を参照して後述する。すなわち、ダイアログスタイルセグメント(DSS)は、領域スタイルセットを最大60まで含み、それぞれを領域スタイルID(region_style_id)により示している。様々な領域スタイル情報を含む領域スタイルセットと、ユーザによる変更が可能なスタイルセットとは、各々の領域スタイルIDに記録される。領域スタイル情報の詳細な内容を図9Bに示し、ユーザによる変更が可能なスタイル情報の詳細な内容を図9Cに示す。
また、ダイアログスタイルセグメント(DSS)は、該当するテキストサブタイトルストリーム内において共通的に適用されるパレット情報を含み、パレット情報は、各パレットエントリID(palette_entry_ID)ごとに、色情報(Y、Cr、Cb値)及び透明度情報(T値)を含む。スタイル情報のうち特定の色情報を表示するために、該当するパレットエントリIDを指定することにより、所望のカラーを画面に表示することが可能になる。一方、ダイアログプレゼンテーションセグメント(DPS)は、テキストデータ、及びテキストデータのプレゼンテーション時間を示すタイミング情報(PTSセット)を含む。また、ダイアログプレゼンテーションセグメント(DPS)は、各領域のスタイル情報、及び上述したダイアログスタイル内に含まれる特定の領域スタイル情報のうちいずれか1つをリンクする情報を含む。
さらに、ダイアログプレゼンテーションセグメント(DPS)は、上述したダイアログスタイルセグメント(DSS)において定義されたパレット情報を共通的に適用する。しかしながら、個々のパレット情報を、ダイアログプレゼンテーションセグメント(DPS)に対して、新たに定義し、定義する必要がある。このように、パレット情報の変更(または更新)を示す情報を「palette_update_flag」と称する。すなわち、「palette_update_flag=0b」のとき、ダイアログスタイルセグメント(DSS)において定義された共通パレット情報を、変更(または更新)無しに適用する。「palette_update_flag=1b」のとき、該当するダイアログスタイルセグメント(DSS)に適用される新たなパレット情報(すなわち、「palette()」)を定義して用いる。
この時点で、新たに定義されるパレット情報は、該当するダイアログプレゼンテーションセグメント(DPS)に必要なパレット情報のみを更新することにより記録される。該当するダイアログプレゼンテーション時間が終了すると、DSSから与えられる共通パレット情報を、以降のDPSに適用する。具体的には、「palette_update_flag=0b」のとき、DSSから与えられる共通パレット情報を適用する。「palette_update_flag=1b」のとき、該当するダイアログプレゼンテーションセグメント(DPS)内に新たに定義されたパレット情報を適用する。
このため、例えば、図7Aによれば、DPS#1、#2、#6において、それぞれのテキストデータ#1、#2、#3に適用される領域スタイルは、ダイアログプレゼンテーションセグメント(DPS)内の「region_style_id=k」、「region_style_id=n」及び「region_style_id=m」のそれぞれを適用する。そして、「palette_update_flag=0b」であるため、DSSから与えられる共通パレット情報を適用する。これに対し、DPS#3、#4、#5において、それぞれのテキストデータ#2に適用される領域スタイルは、ダイアログプレゼンテーションセグメント(DPS)内の「region_style_id=n」をリンクして適用する。そして、「palette_update_flag=1b」であるため、DSSに与えられる共通パレット情報に代えて、該当するDPS内において新たに定義されたパレット情報「palette()」を適用する。一方、領域スタイルID(region_style_id)によりリンクされるスタイル情報は、該当する領域内の全てのテキストデータに等しく適用される(すなわち、グローバルスタイル情報)。しかしながら、テキストデータ内の特定のテキストストリングに対するスタイル情報を変更したい場合は、テキストストリングにのみ適用されるローカルスタイル情報としてインラインスタイル情報を定義して用いる。
図7Bは、図7Aに示したDPS#1〜#6のパレット情報の活用を示す。特に、フェードイン/アウトを示すフェード効果を実現する方法を示す。具体的には、図7Bによれば、DPS#1、DPS#2において、「palette_update_flag=0b」を適用して、DSSから提供される共通のパレット情報を用いる。しかしながら、DPS#2をフェードアウトにより処理する場合、「palette_update_flag=1b」をDPS#3、#4、#5の各々に適用して、色と透明度を指定するパレット情報を少しずつ変更(または更新)することにより、フェードアウト効果を実現する。このため、DPS#3、#4、#5に示したように、パレット情報のみを新たに定義して変更(または更新)するだけで、上述したスタイル情報とテキストデータは、DPS#2に用いた変更なしに再定義することを、「palette only Display update」と称する。
従って、DPS#1、#2、#6のように、「palette_update_flag=0b」のとき、DSS内に定義されている共通のパレット情報を使用するDPSを、第1のダイアログプレゼンテーションセグメント(DPS)と命名することができる。そして、DPS#3、#4、#5のように、「palette_update_flag=1b」のとき、該当するDPS内の特定のパレット情報を有し、特定のパレット情報を適用するDPSを、第2のダイアログプレゼンテーションセグメント(DPS)と命名することができる。このため、テキストサブタイトルストリームは、ダイアログスタイルセグメント(DSS)、第1のダイアログプレゼンテーションセグメント(DPS)及び第2のダイアログプレゼンテーションセグメント(DPS)を備えることが分かる。さらに、各DPSの表示時間を考慮すると、第1のDPSにおいて「palette_update_flag=0b」のとき、少なくとも1秒の表示時間を、正常な再生時間(例えば、PTS2>=PTS1+1秒)として確保することが好ましい。第2のDPSにおいて「palette_update_flag=1b」のとき、パレット情報の変更(または更新)のみを示すとき、表示時間の少なくとも2つのビデオフレームを確保することが好ましい(例えば、PTS4>=PTS3+Duration of 2 video frames)。また、図7Bは、フェードアウト効果の例として示しているが、フェードイン効果の場合も同じ概念により適用可能である。
上述したダイアログスタイルセグメント(DSS)及びダイアログプレゼンテーションセグメント(DPS)のシンタックスの構造を、以下、図8〜図10Bを参照して詳述する。より詳細には、詳細なシンタックスの構造を示すことにより、上述した本発明にかかるスタイル情報及びパレット情報を明確に示す。図8は、本発明にかかるテキストサブタイトルストリーム「Text_subtitle_stream()」のシンタックスを示している。図8によれば、「Text_subtitle_stream()」は、「dialog_style_segment()」シンタックスと、「dialog_presentation_segment()」シンタックスとを含む。より詳細には、「dialog_style_segment()」シンタックスは、スタイル情報セットを定義する1つのダイアログスタイルセグメント(DSS)に相当し、「dialog_presentation_segment()」シンタックスは、実際のダイアログ情報が記録される複数のダイアログプレゼンテーションセグメント(DPS)に相当する。
図9A〜図9Dは、ダイアログスタイルセグメント(DSS)を表す「dialog_style_segment()」の具体的な構造を示す。すなわち、図9Aは、「dialog_style_segment()」の全体の構成を示す。ここで、ダイアログに適用される様々なスタイル情報のセットを定義する「dialog_styleset()」が定義される。図9Bは、「dialog_style_segment()」内に定義される、本発明にかかる「dialog_styleset()」を示す。領域スタイル「region_style()」の他に、「dialog_style_set()」は、「player_style_flag」、「user_changeable_styleset()」及び「palette()」を含む。「player_style_flag」は、再生装置(プレーヤ)によるスタイル情報の変更を許容するか否かを示す。「user_changeable_styleset()」は、再生装置(プレーヤ)によるスタイル情報の変更範囲を定義する。「palette()」は、色情報を指定する。
領域スタイル情報(region_styles())は、上述したように、領域別に定義されるグローバルスタイル情報を表す。「region_style_id」を各領域に割り当て、特定の「region_style_id」に該当するスタイル情報セットを定義する。このため、該当するダイアログに適用される「region_style_id」を記録しておくことにより、ダイアログプレゼンテーションセグメント(DPS)内において、ダイアログを再生するとき、「dialog_styleset()」内の同じ「region_style_id」により定義されたスタイル情報セット値を適用して、ダイアログを再生する。従って、「region_style_id」ごとに与えられるスタイル情報セットに含まれる個別のスタイル情報を、説明する。
先ず、画面の該当領域の位置及びサイズを定義する情報として、「region_horizontal_position」、「region_vertical_position」、「region_width」及び「region_height」が与えられる。また、該当領域の背景色を決める「region_bg_color_entry_id」情報が与えられる。より具体的には、「region_bg_color_entry_id」情報は、図9Dに基づいて後述するパレット情報内の特定のpalette_entry_idを指定する情報である。決める「region_bg_color_entry_id」は、色情報(Y、Cr、Cb値)と透明度(T値)とを用い、これらは、該当領域の背景色について、該当するpalette_entry_idに適用される。
さらに、該当する領域内テキストの開始位置を定義する情報として、「text_horizontal_position」及び「text_vertical_position」が与えられる。さらに、テキストの書き込み方向(左→右、右→左、上→下)を定義する「text_flow」と、テキストの整列方向(左側、中央、右側)を定義する「text_alignment」が与えられる。より具体的には、複数の領域が特定のダイアログ内に存在する場合、該当するダイアログに含まれる各領域の「text_flow」は、同じ「text_flow」値を有するように定義され、ユーザが乱れた画像を視聴するのを防ぐ。
さらに、領域内の各ラインの間隔を指定する「line_space」が、スタイル情報セットに含まれる個別のスタイル情報として、与えられる。また、「font_type」、「font_style」、「font_size」及び「font_color_entry_id」が、実際のフォント情報として、与えられる。より具体的には、「font_color_entry_id」は、図9Dに示された後述するパレット情報内の特定のpalette_entry_idを指定する情報である。「font_color_entry_id」情報は、該当するpalette_entry_idに割り当てられた色情報(Y、Cr、Cb値)を、該当するフォントの色値として用いる。
一方、「dialog_styleset()」内に記録される「player_style_flag」は、製作者が再生装置(プレーヤ)に提供されるスタイル情報に適用するか否かを示す。例えば、「player_style_flag=1b」の場合、
ディスクに記録された「dialog_styleset()」に定義されたスタイル情報と同様に、再生装置(プレーヤ)は、装置自体に提供されるスタイル情報を適用することにより、テキストサブタイトルを再生することを許容される。これに対し、「player_style_flag=0b」の場合、ディスクに記録された「dialog_styleset()」に定義されたスタイル情報の使用のみが、許容される。
図9Cは、「dialog_styleset()」内に定義される、本発明にかかる「user_changeable_styleset()」を示す。「user_changeable_styleset()」は、ユーザにより変更可能なスタイル情報の種類及び変更可能な範囲をあらかじめ定義し、「user_changeable_styleset()」を、テキストサブタイトルデータのスタイル情報を簡単に変更するために用いる。しかしながら、図9Bで説明した全てのスタイル情報をユーザが変更可能にすると、むしろユーザに混同をもたらす恐れがある。このため、本発明においては、「font_size」、「region_horizontal_position」及び「region_vertical_position」のみを変更可能とする。従って、「font_size」に従って変更されるテキスト位置及びライン間隔の変更は、「user_changeable_styleset()」で定義される。より具体的には、「user_changeable_styleset()」は、「region_style_id」別に定義される。例えば、特定の「region_style_id=k」内に最大25の「user_style_id」を、「user_changeable_styleset()」内に定義することができる。
さらに、それぞれの「user_style_id」は、「region_horizontal_position_direction」及び「region_vertical_position_direction」情報を含み、それぞれ変更可能な「region_horizontal_position」及び「region_vertical_position」の変更された位置の方向を指定する。それぞれの「user_style_id」は、各方向に単一の位置の移動をピクセル単位で指定する「region_horizontal_position_delta」及び「region_vertical_position_delta」情報を含む。より具体的には、例えば、「region_horizontal_position_direction=0」のとき、領域の位置は、右方向に移動する。「region_horizontal_position_direction=1」のとき、領域の位置は、左方向に移動する。また、「region_vertical_position_direction=0」のとき、領域の位置は、下方向に移動する。「region_vertical_position_direction=1」のとき、領域の位置は、上方向に移動する。
さらに、それぞれの「user_style_id」は、変更可能な「font_size」の各々の変更方向を指定する「font_size_inc_dec」情報と、各方向に単一の位置の移動をピクセル単位で指定する「font_size_delta」情報を含む。より具体的には、例えば、「font_size_inc_dec=0」は、「font_size」の増加する方向を表し、「font_size_inc_dec=1」は、「font_size」の減少する方向を表す。「font_size」の増減に応じて変更される「テキスト位置」及び「ライン間隔」の増減は、「font_size」、「region_horizontal_position」及び「region_vertical_position」の変更と同じ方式により定義される。
従って、本発明にかかる「user_changeable_styleset()」の特徴は、下記の通りである。同じ数の「user_control_style()」が、ダイアログスタイルセグメント(DSS)内に含まれる全ての「region_style()」において定義される。従って、全てのダイアログプレゼンテーションセグメント(DPS)に適用可能な「user_control_style()」の数は、同じである。さらに、各「user_control_style()」は、相異なる「user_style_id」により識別され、ユーザが「random user_style_id」を選択すると、「user_control_style()」と同じだけ全ての「region_style()」に適用される。さらに、変更可能な全てのスタイルの組み合わせが、一つの「user_control_style()」において定義される。より具体的には、「region_position」及び「font_size」は、別々に定義されることなく、同時に定義される。最後に、各方向*_direction及び増減*_inc_decの指示が、位置変更単位*_deltaとは別に、独立して記録される。より具体的には、単に位置変更単位*_deltaのみを定義することにより、実際に変更されたスタイル情報の最終値は、「region_style()」内に定義されている値に位置変更単位*_deltaを加算することにより得られる。
図9Dは、「dialog_styleset()」内に定義される、本発明にかかるパレット情報「palette()」を示す。「palette()」は、ダイアログ内に記録されているテキストサブタイトルデータの色変更情報を提供する。ここで、「palette()」は、複数のpalette_entryを含み、それぞれのpalette_entryは、palette_entry_idにより示される。それぞれのpalette_entryは、固有の明るさ値(Y_value)及び固有の色値(Cr_value、Cb_value)、及びテキストデータの透明度を指定する固有の「T_value」を提供する。
従って、明るさ値Y_valueは、「16〜235」の範囲であり、色値Cr_value、Cb_valueは、「16〜240」の範囲であり、透明度を指定する「T_value」は、「0〜255」の範囲である。より具体的には、「T_value=0」は完全透明であることを表し、「T_value=255」は完全に不透明であることを表す。また、「T_value=0」を、デフォルト値として指定し、「T_value=0」は完全透明を表すことができる。従って、ディスク製作者は、ダイアログスタイルセグメント(DSS)内にそれぞれのpalette_entry_idのパレット情報を記録する。ここで、パレット情報をテキストサブタイトルストリームの全体に使用する。従って、特定のpalette_entry_idを指定して、上述したスタイル情報に使用することができる。
図10A及び図10Bは、本発明にかかるダイアログプレゼンテーションセグメント(DPS)を表す「dialog_presentation_segment()」の詳細な構成を示す。図10Aは、「dialog_presentation_segment()」の全体構造を示し、「dialog_start_PTS」と「dialog_end_PTS」とを定義する。「dialog_start_PTS」と「dialog_end_PTS」とは、該当するダイアログのプレゼンテーション時間を指定する。「dialog_presentation_segment()」は、該当するダイアログ内においてパレット情報の変更を示す「palette_update_flag」を含む。上述したように、「palette_update_flag=1b」の場合、図9Dに示したように、DSS内に共通的に用いられるパレット情報に代えて、該当するDPSにのみ適用される新たなパレット情報「palette()」を別に定義する。従って、ディスク製作者は、「palette_update_flag」を用いて、各種の応用が可能である。特に、フェードイン/アウト効果のために、変更されたパレット情報のみを有するDPSを、連続して提供することにより(例えば、図7Bに示したDPS#3〜#5)、ユーザにテキストサブタイトルのフェードインまたはフェードアウトを視覚的に与えることができる。
次に、領域情報を定義する「dialog_region()」を、「dialog_presentation_segment()」内に記録する。本発明において、最大2つの領域が、一つのダイアログ内に設けられるため、それぞれの領域に「dialog_region()」情報を提供する。「dialog_region()」は、「region_style_id」情報と「continuous_present_flag」情報とを含む。「region_style_id」情報は、図9Bに示した領域スタイルのうちいずれかを指定し、「continuous_present_flag」情報は、以前のダイアログ領域との連続の再生を提供するか否かを識別する。さらに、テキストデータと「region_subtitle()」情報が、「dialog_region()」内に含まれる。テキストデータは、実際に該当する領域に含まれ、「region_subtitle()」情報は、ローカルスタイル情報を定義する。
図10Bは、「dialog_region()」内に定義される「region_subtitle()」情報を示す。「region_subtitle()」は、テキストストリングとテキストストリングに適用されるインラインスタイル情報とのグループで形成される。より具体的には、「dialog_presentation_segment()」において、「palette_update_flag=1b」である場合、「region_style_id」及び「region_subtitle()」は、以前のダイアログスタイルセグメント(DPS)と同じでなければならない。この場合、「continuous_present_flag」は、「1b」に設定される必要がある。より具体的には、「region_subtitle()」内の「type=0x01」は、テキストストリングを表す。従って、文字コード(char_data_byte)を、「text_string()」内に記録する。
また、「region_subtitle()」内のタイプが「type=0x01」と等しくない場合は、「region_subtitle()」は、インラインスタイル情報を表す。例えば、「type=0x02」は、フォントセットの変更を表し、関連するクリップインフォにより指定されたフォントID値を、特定のフィールド(すなわち、「inline_style_value()」)に記録する。「type=0x03」は、フォントスタイルの変更を表し、該当するフォントスタイル値を、特定のフィールド(すなわち、「inline_style_value()」)に記録する。また、「type=0x04」は、フォントサイズの変更を表し、該当するフォント値を、特定のフィールド(すなわち、「inline_style_value()」に記録する。さらに、「type=0x05」は、フォントカラーの変更を表し、関連するパレットを、特定のフィールド(すなわち、「inline_style_value()」)に記録する。「type=0x0A」は、改行を表す。
より具体的には、上述した「type=0x05」は、フォントカラーの変更を表す。この場合、変更された「palette_entry_id」を、「inline_style_value()」に記録することにより、各テキストストリングに適用されたフォントカラーを変更することが可能である。例えば、図5Cに示したように、領域#1に含まれるテキスト部分「mountain」を、一つの「text_string」として記述するが(例えば、text_string=「mountain」)、テキスト部分は、ローカルスタイル情報として「inline_styletype=0x05(フォントカラーの変更)」に設定される。「inline_style_value()=palette_entry_id(k)」とすることにより、該当する「text_string=mountain」のフォントカラーを、図9Dに示した「palette_entry_id(k)」において定義された色情報(Y、Cr、Cb値)及び透明度(T値)を有するように再生することが可能になる。
以下、上述したように光ディスク内に記録されているテキストサブタイトルストリームを再生する方法及び装置を、図11A及び図11Bに基づいて詳述する。図11Aは、本発明にかかる光ディスクの再生装置を示し、より具体的には、独立して含まれるテキストサブタイトルデコード手段40の例を示す。より具体的には、装置は、入力ストリームから、ビデオストリーム、オーディオストリーム、グラフィックストリーム及びテキストサブタイトルストリームを、パケットIDに基づいて分離するPIDフィルタ5と、ビデオストリームを再生するビデオデコード手段20と、オーディオストリームを再生するオーディオデコード手段10と、グラフィックストリームを再生するグラフィックデコード手段30と、テキストサブタイトルストリームを再生するテキストサブタイトルデコード手段40とを備える。
テキストサブタイトルは、光ディスクから取り出されるか、または図11Aに示すように付加された外部ソースから取り出される。これを考慮して、装置は、入力データソースを選択するスイッチ6を含む。このため、MPEGフォーマットのテキストサブタイトルを光ディスクから取り出す場合、スイッチ6は、PIDフィルタ5に接続されたデータラインAを選択する。これに対し、付加それた外部ソースから入力する場合は、スイッチ6は、外部ソースに接続されたデータラインBを選択する。
ビデオデコード手段20、オーディオデコード手段10、グラフィックデコード手段30は、デコードされる既定のサイズのデータストリームを記憶するトランスポートバッファ21、11、31をそれぞれ含む。また、ビデオプレーン23とグラフィックプレーン33が、ビデオデコード手段20及びグラフィックデコード手段30に含まれ、デコードされた信号をディスプレイ可能な画像に変換する。グラフィックデコード手段30は、表示される画像の色レベル及び透明レベルを制御するカラールックアップテーブル(CLUT)34を備える。
テキストサブタイトルデコード手段40が、1または複数のテキストサブタイトルデータをスイッチ6から入力すると、これら全てのストリームを、サブタイトルプレロードバッファ(SPB)41に一旦プレロードする。一つの言語のテキストサブタイトルストリームファイルの通常のサイズを約0.5Mbと想定したとき、プレロードバッファ41のサイズは、テキストサブタイトルストリームファイルの総数に基づいて決定される。例えば、ユーザが2つの言語を支援するサブタイトルストリームファイルから選択するとき、テキストサブタイトルのシームレスな再生を行うために、サブタイトルプレロードバッファ41のサイズは、少なくとも1Mb以上にすべきである。すなわち、サブタイトルプレロードバッファ41のサイズは、必要なテキストサブタイトルストリームファイルを一度にプレロードするのに十分な大きさが必要である。
テキストサブタイトルストリームの全てをバッファ41にプレロードして用いる。何故ならば、上述したように、全体のテキストサブタイトルストリームが小容量にて記録可能であるためである。このため、テキストサブタイトルストリームを別のファイルとして記録することにより、容易にテキストサブタイトルデータのみを読み出して用いることが可能になる。さらに、全体のテキストサブタイトルデータがバッファ41にプレロードされるので、バッファを一層容易に制御することができる。特定の光記録再生装置においては、バッファアンダーフローが生じないことを保証下で、テキストサブタイトルストリームをプレロードすることなく、メインAVデータと組み合わせてリアルタイムに再生することができる。以下、本発明に従ってテキストサブタイトルストリームがプレロードされる場合を例にとって説明する。
テキストサブタイトルデコード手段40は、サブタイトルプレロードバッファ41に記録された少なくとも1以上のテキストサブタイトルストリームをデコードするテキストサブタイトルデコーダ42と、デコードされたサブタイトルストリームを表示可能な画像に変換するグラフィックプレーン43と、変換された画像の色情報(Y、Cr、Cb値)及び透明度(T値)を制御するためのカラー−ルックアップテーブル44(CLUT)と、を備える。
図11Aに示す装置に含まれる画像合成手段50は、ビデオデコード手段20、グラフィックデコード手段30及びテキストサブタイトルデコード手段40の出力信号を合成する。合成された画像は、ディスプレイ画面内に表示される。ビデオデコード手段20内のビデオプレーン23から出力されるビデオ画像を、ディスプレイ画面上の背景として表示し、グラフィックデコード手段30及び/又はテキストサブタイトルデコード手段40から出力される画像を、表示されたビデオ画像上に重ねる。例えば、グラフィックデコード手段30の出力画像がインターアクティブグラフィック画像であれば、最初に、テキストサブタイトルデコード手段40から出力されるテキストサブタイトル画像を、第1の加算手段52によりビデオ画像上に重ねる。次に、インターアクティブグラフィック画像を、第2の加算手段53によりサブタイトルが重ねられた画像にさらに重ねる。図11Aに示す装置は、入力トランスポートストリーム(例えば、MPEGトランスポートストリーム)をデコードするシステムデコーダ4と、この装置の全ての構成要素を制御するマイクロプロセッサ3をさらに備える。
以下、本発明によるテキストサブタイトルの再生方法について詳述する。光ディスクが光ディスクプレーヤ内にセットされると、図11Aに示すように、最初に、ディスクに記録されているデータ再生のために必要な情報が、ディスクから読み出され、メモリ(図示せず)内に記憶される。プレイリストと関連する特定のタイトルが、ユーザにより選択されると、最初に、プレイリストファイルにより指定された少なくとも1つの完全なテキストサブタイトルストリームを、サブタイトルプレロードバッファ41にプレロードし、サブタイトルストリームファイルと関連するフォントファイルを、フォントプレロードバッファ410内にプレロードする。
例えば、図4に示すプレイリストと関連付けられたタイトルがユーザにより選択された場合、テキストサブタイトルクリップ1(韓国語)及びテキストサブタイトルクリップ2(英語)のためのテキストサブタイトルファイルが、最初に、サブタイトルプレロードバッファ41にプレロードされる。また、テキストサブタイトルファイルと関連するフォントファイルをフォントプレロードバッファ410にプレロードする。フォントファイルを、テキストサブタイトルクリップのクリップ情報ファイルにおいて指定することができる。以降、プレイリストの再生が始まる。プレイリストの再生中、メインAVクリップ1及び2のAVスチリームは、それぞれオーディオデコード手段10及びビデオデコード手段20によりデコードされる。また、プレロードされたテキストサブタイトルストリームから選択されたテキストサブタイトルストリームは、テキストサブタイトルデコーダ42によりデコードされる。そして、デコードされたテキストサブタイトル画像は、デコードされたビデオ画像に重ねられ、全体の画像は、ディスプレイ画面上に表示される。
上述したような動作が完了し、プレイアイテムにより制御されるメインビデオデータが画面上に表示されると、関連するテキストサブタイトルは、画像合成手段50(図11Aに示す)により重ね合わせられる。重ねられたテキストサブタイトルが与えられると、テキストサブタイトルストリームのデコードを始める。一方、テキストサブタイトルのデコードを行うためには、第1のパケットストリーム(PES)を構成するダイアログスタイルセグメント(DSS)内の領域スタイル情報とパレット情報とを読み出し、DPSの再生時に使用するために記憶する。より具体的には、パレット情報を読み出すと、同時にパレット情報をCLUT44に与え、画面上にテキストサブタイトルを表示する時に、ユーザの所望の色及び透明度を与える。
図11Bは、図11Aに示すテキストサブタイトルデコーダ42の詳細を示す。テキストサブタイトルデコーダ42によるデコードプロセスは、パーシング、レンダーリング、コンポジションのステップを含む。パーシングステップにおいて、サブタイトルプレロードバッファ41(SPB)内に記憶されているテキストサブタイトルストリームを、ダイアログプレゼンテーションセグメント(DPS)に含まれる情報に基づいて、コンポジション情報、レンダーリング情報及びダイアログテキスト情報に分離する。ダイアログは、プレゼンテーションタイムスタンプ(PTS)により定義された所定の時間間隔の間表示される全てのテキストサブタイトルを表す。従って、コンポジション情報は、画面上に表示されるテキストサブタイトルの表示時間及び表示位置に関する情報と、パレット情報の更新(palette_update_flag=1b)により新たに定義されたパレット情報に対応する。レンダーリング情報は、実際に各ダイアログの各領域のテキストを示す情報に対応する。レンダーリング情報は、「領域の幅及び高さ」、「背景色」、「テキストフロー」、「テキスト整列」、「フォント ID/スタイル/サイズ」を含む。さらに、ダイアログテキスト情報は、DPS内に記録されているテキストストリング及び実際にテキストデータに適用されるインラインスタイル情報に対応する。
図11Bに戻り、テキストサブタイトルデコーダ42に含まれているテキストサブタイトルプロセッサ421は、サブタイトルプレロードバッファ41に記憶されているテキストサブタイトルストリームファイルをコンポジション情報、レンダーリング情報及びダイアログテキストデータに分離する。分離されたコンポジション情報及びレンダーリング情報は、ダイアログコンポジションバッファ425(DCB)に記憶され、分離されたダイアログテキストデータは、ダイアログバッファ422(DB)に記憶される。より具体的には、パレット更新情報(palette_update_flag=1b)は、パーシングステップにおいて分離されたコンポジション情報に含まれている。「palette_update_flag=0b」のとき、ダイアログスタイルセグメント(DSS)からCLUT44に最初に与えられる共通パレット情報を、パレット情報の更新無しに使い続ける。これに対して、「palette_update_flag=1b」のとき、DSS内の共通のパレット情報を無視し、新たなパレット情報を該当するDPS内に定義し、CLUT44に更新して、使用する。しかしながら、該当するDPSの再生が完了すると、パレット更新は消去され、最初にCLUT44から与えられるDSS内の共通パレット情報を、再び用いる。このとき、CLUT44の更新は、次のDPSの再生の前に更新が完了する必要がある。
レンダーリングステップにおいて、分離されたダイアログテキストデータを、レンダーリング情報を用いてビットマップデータに変換する。レンダーリング情報は、ダイアログテキストデータをレンダーリングするために必要なスタイル情報を表す。テキストレンダーラー423は、ダイアログバッファ422に記憶されているダイアログテキストデータをダイアログプレゼンテーションコントローラ426の制御の下でビットマップデータに変換する。レンダーリングを行うためには、テキストレンダーラー423は、フォントプレロードバッファ410からダイアログテキストデータに関連付けられたフォントデータを受信し、ダイアログプレゼンテーションコントローラ426からレンダーリング情報及びインラインスタイル情報を受信し、ダイアログテキストの各テキストストリングに適したレンダーリング情報及びインラインスタイル情報を用いて、ダイアログテキストデータをビットマップデータに変換する。変換されたビットマップデータは、ビットマップオブジェクトとしてビットマップオブジェクトバッファ424(BOB)に記憶される。従って、BOBバッファ424に記憶される「オブジェクト」は、ビットマップオブジェクトに変換された、各ダイアログ内の各領域のテキストデータに相当する。このため、各領域について最大2つのオブジェクトが、分離されBOBバッファ424に記憶される。
最後に、コンポジションステップにおいて、レンダーリングされたテキストデータを、コンポジション情報に従ってグラフィックプレーン(GP)に加える。コンポジション情報は、ディスプレイ画面内にテキストサブタイトルを表示する時間を示す情報を表す。最終的に、ビットマップオブジェクトバッファ424に記憶されているビットマップオブジェクトは、ダイアログプレゼンテーションコントローラ426により与えられるコンポジション情報に基づいて、グラフィックプレーン43に伝送(または追加)される。カラールックアップテーブル44は、コンポジション情報に含まれるパレット情報を用いて、グラフィックプレーン43の出力の色及び透明度を調整する。
従って、「palette_update_flag=1b」となるDPSにおいて、レンダーリングステップを省略し、BOBバッファ424に記憶されている以前のDPSに関連するビットマップオブジェクトを保持して、使用する。「palette_update_flag=1b」となるDPS内に定義されているパレット情報を用いて、CLUTのみを変更するために、グラフィックプレーン(GP)に保持されている以前のDPSのビットマップオブジェクトに対する色情報(Y、Cr、Cb値)及び透明度情報(T値)のみを更新する。上述したように、これを「palette_only display update」と称する。「palette_only display update」を用いて、DPSのフェードイン/アウト効果を実現することができる。
当業者にとっては、特許請求の範囲に開示された本発明の技術的な思想とその技術範囲内において各種の実施例を改良、変更、代替または付加などできることは言うまでもない。よって、本発明は、請求の範囲及びそれと等しい範囲内における本発明の改良及び変更事項を含むということは言うまでもない。
本発明にかかる光ディスクに記録されたデータファイルの構造を示す図である。 本発明にかかる光ディスク内のデータ記憶領域を示す図である。 本発明によりディスプレイ画面上に提供されたテキストサブタイトル及びメイン画像を示す図である。 本発明によりテキストサブタイトルストリームの再生を制御する方式を示す図である。 本発明によりテキストサブタイトルストリームを再生するための再生制御情報の応用を示す図である。 本発明によりテキストサブタイトルストリームを再生するための再生制御情報の応用を示す図である。 本発明にかかるテキストサブタイトルストリームファイルの構造を示す図である。 本発明にかかるテキストサブタイトルストリームファイルの構造に対するパレット情報セットの応用を示す図である。 本発明にかかるテキストサブタイトルストリームファイルの構造に対するパレット情報セットの応用を示す図である。 本発明にかかるテキストサブタイトルストリームファイルのシンタックスを示す図である。 本発明にかかるテキストサブタイトルストリームファイルの他のシンタックスの例を示す図である。 本発明にかかるテキストサブタイトルストリームファイルの他のシンタックスの例を示す図である。 本発明にかかるテキストサブタイトルストリームファイルの他のシンタックスの例を示す図である。 本発明にかかるテキストサブタイトルストリームファイルの他のシンタックスの例を示す図である。 本発明にかかるテキストサブタイトルストリームファイルのさらに他のシンタックスの例を示す図である。 本発明の第1の実施の形態にかかるテキストサブタイトルストリームファイル内の領域サブタイトルのシンタックスを示す図である。 本発明にかかるテキストサブタイトルストリームファイルの再生を含む光記録再生装置を示す図である。 本発明にかかるテキストサブタイトルストリームファイルの再生を含む光記録再生装置を示す図である。

Claims (20)

  1. テキストサブタイトルストリームを再生するための記録媒体において、
    少なくとも1以上のテキストサブタイトルストリームを記憶するためのデータ領域であって、各テキストサブタイトルストリームは、領域スタイルグループを定義するダイアログスタイルセグメントと複数のダイアログプレゼンテーションセグメントとを含み、各ダイアログプレゼンテーションセグメントは、少なくとも1以上のダイアログテキスト領域を含み、各ダイアログテキスト領域は、前記領域スタイルグループから選択されたいずれか1つとリンクされるデータ領域を備え、
    前記ダイアログスタイルセグメントは、パレット情報をさらに定義し、前記各ダイアログプレゼンテーションセグメントは、前記ダイアログスタイルセグメントに定義された前記パレット情報を用いるか、または前記各ダイアログプレゼンテーションセグメントを再生するための新たなパレット情報を用いるかを指示するパレット更新フラグをさらに含むことを特徴とする記録媒体。
  2. 前記パレット更新フラグが、前記新たなパレット情報の使用を指示すると、前記新たなパレット情報は、前記各ダイアログプレゼンテーションセグメント内に定義されることを特徴とする請求項1に記載の記録媒体。
  3. 前記ダイアログスタイルセグメント内に定義された前記パレット情報は、パレットエントリのための色及び透明度値を含むことを特徴とする請求項1に記載の記録媒体。
  4. 前記色値は、Y、Cr及びCbの値のうち少なくとも1以上を含むことを特徴とする請求項3に記載の記録媒体。
  5. 前記ダイアログスタイルセグメント内に定義された前記パレット情報は、前記パレットエントリを識別するためのパレットエントリIDをさらに含むことを特徴とする請求項3に記載の記録媒体。
  6. 前記パレット更新フラグが、前記新たなパレット情報の使用を指示すると、前記少なくとも1以上のダイアログテキスト領域と各ダイアログテキスト領域にリンクされた前記選択された領域スタイルとは、直前のダイアログプレゼンテーションから一定に保持することを特徴とする請求項1に記載の記録媒体。
  7. 前記パレット更新フラグが「1b」に設定されると、前記新たなパレット情報の使用を指示することを特徴とする請求項1に記載の記録媒体。
  8. 前記パレット更新フラグが、前記新たなパレット情報の使用を指示すると、前記各ダイアログプレゼンテーションセグメントの再生時間は、少なくとも2つのビデオフレームを再生するために必要な時間以上であることを特徴とする請求項1に記載の記録媒体。
  9. テキストサブタイトルストリームを再生するための記録媒体において、
    少なくとも1以上のテキストサブタイトルストリームを記憶するためのデータ領域であって、各テキストサブタイトルストリームは、領域スタイルグループおよびパレット情報を定義するダイアログスタイルセグメントと、前記ダイアログスタイルセグメントに定義された前記パレット情報を用いる少なくとも1以上の第1のダイアログプレゼンテーションセグメントと、新たなパレット情報を用いる少なくとも1以上の第2のダイアログプレゼンテーションセグメントとを含むデータ領域を備え、
    前記第1及び第2のダイアログプレゼンテーションセグメントの各々は、前記領域スタイルグループから選択されたいずれか1つとリンクされる少なくとも1以上のダイアログテキスト領域を含むことを特徴とする記録媒体。
  10. 前記第1及び第2のダイアログプレゼンテーションセグメントは、パレット更新フラグ値により互いに区別されることを特徴とする請求項9に記載の記録媒体。
  11. 前記第2のダイアログプレゼンテーションセグメントのパレット更新フラグは、「1b」に設定され、新たなスタイルセグメントの使用を指示することを特徴とする請求項10に記載の記録媒体。
  12. 前記第1のダイアログプレゼンテーションセグメントの再生時間は、1秒以上であることを特徴とする請求項9に記載の記録媒体。
  13. 前記第2のダイアログプレゼンテーションセグメントの再生時間は、少なくとも2つのビデオフレームを再生するために必要な時間以上であることを特徴とする請求項9に記載の記録媒体。
  14. 前記新たなパレット情報は、前記第2のダイアログプレゼンテーションセグメント内に定義されることを特徴とする請求項9に記載の記録媒体。
  15. テキストサブタイトルストリームを再生するための記録媒体において、
    少なくとも1以上のテキストサブタイトルストリームを記憶するためのデータ領域であって、各テキストサブタイトルストリームは、領域スタイルグループおよびパレット情報を定義するダイアログスタイルセグメントと、前記ダイアログスタイルセグメントに定義された前記パレット情報を用いる第1のダイアログプレゼンテーションセグメントと、パレット情報の変更のみにより前記第1のダイアログプレゼンテーションセグメントの表示のフェードイン/アウトのための少なくとも1以上の第2のダイアログプレゼンテーションセグメントとを含むデータ領域を備え、
    前記第1及び第2のダイアログプレゼンテーションセグメントの各々は、前記領域スタイルグループから選択されたいずれか1つとリンクされる少なくとも1以上のダイアログテキスト領域を含むことを特徴とする記録媒体。
  16. 前記変更されたパレット情報は、前記第2のダイアログプレゼンテーションセグメント内に定義されることを特徴とする請求項15に記載の記録媒体。
  17. 記録媒体に記録されているテキストサブタイトルストリームを再生する方法において、
    前記テキストサブタイトルストリームに含まれ、領域スタイルグループおよびパレット情報を定義するダイアログスタイルセグメントを読み出すステップと、
    前記テキストサブタイトルストリームに含まれた複数のダイアログプレゼンテーションセグメントのうちいずれかを読み出すステップであって、各ダイアログプレゼンテーションセグメントは、少なくとも1以上のダイアログテキスト領域を含み、各ダイアログテキスト領域は、前記領域スタイルグループから選択つれたいずれか1つとリンクされているステップと、
    各ダイアログプレゼンテーションセグメントに含まれたパレット更新フラグを読み出すステップであって、前記パレット更新フラグは、前記ダイアログスタイルセグメントに定義された前記パレット情報を用いるか、または前記各ダイアログプレゼンテーションセグメントを再生するための新たなパレット情報を用いるかを指示するステップと、
    前記パレット更新フラグの指示に従って各ダイアログプレゼンテーションセグメントを再生するステップと
    を備えたことを特徴とするテキストサブタイトルストリームを再生する方法。
  18. 前記パレット更新フラグが「1b」に設定されると、前記新たなパレット情報の使用を指示し、前記新たなパレット情報は、各ダイアログプレゼンテーションセグメントに含まれることを特徴とする請求項17に記載のテキストサブタイトルストリームを再生する方法。
  19. 前記テキストサブタイトルストリームをバッファにプレロードするステップをさらに備えたことを特徴とする請求項17に記載のテキストサブタイトルストリームを再生する方法。
  20. 記録媒体に記録されているテキストサブタイトルストリームを再生する装置において、
    前記テキストサブタイトルストリームをプレロードするバッファであって、前記プレロードされたテキストサブタイトルストリームは、ダイアログスタイルセグメントおよび複数のダイアログプレゼンテーションセグメントを含み、前記ダイアログスタイルセグメントは、領域スタイルグループおよびパレット情報を定義し、各ダイアログプレゼンテーションセグメントは、少なくとも1以上のダイアログテキスト領域を含み、各ダイアログテキスト領域は、前記領域スタイルグループから選択されたいずれか1つとリンクされているバッファと、
    各ダイアログプレゼンテーションセグメントに含まれたパレット更新フラグを読み出すテキストサブタイトルデコーダであって、前記パレット更新フラグは、前記ダイアログスタイルセグメントに定義された前記パレット情報を用いるか、または前記各ダイアログプレゼンテーションセグメントを再生するための新たなパレット情報を用いるかを指示し、前記パレット更新フラグの指示に従って各ダイアログプレゼンテーションセグメントを再生するテキストサブタイトルデコーダと
    を備えたことを特徴とするテキストサブタイトルストリームを再生する装置。
JP2007504873A 2004-03-26 2005-03-03 記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置 Expired - Fee Related JP4599396B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040020890 2004-03-26
PCT/KR2005/000579 WO2005091722A2 (en) 2004-03-26 2005-03-03 Recording medium and method and apparatus for reproducing text subtitle stream recorded on the recording medium

Publications (3)

Publication Number Publication Date
JP2007531192A true JP2007531192A (ja) 2007-11-01
JP2007531192A5 JP2007531192A5 (ja) 2007-12-13
JP4599396B2 JP4599396B2 (ja) 2010-12-15

Family

ID=34989929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007504873A Expired - Fee Related JP4599396B2 (ja) 2004-03-26 2005-03-03 記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置

Country Status (12)

Country Link
US (3) US7756398B2 (ja)
EP (1) EP1730730B1 (ja)
JP (1) JP4599396B2 (ja)
KR (1) KR101067778B1 (ja)
CN (6) CN101197172B (ja)
AT (1) ATE450041T1 (ja)
BR (1) BRPI0509270A (ja)
DE (1) DE602005017878D1 (ja)
ES (2) ES2336223T3 (ja)
IN (1) IN266747B (ja)
RU (1) RU2376659C2 (ja)
WO (1) WO2005091722A2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7529467B2 (en) * 2004-02-28 2009-05-05 Samsung Electronics Co., Ltd. Storage medium recording text-based subtitle stream, reproducing apparatus and reproducing method for reproducing text-based subtitle stream recorded on the storage medium
KR100727921B1 (ko) * 2004-02-28 2007-06-13 삼성전자주식회사 텍스트 기반의 서브타이틀 스트림을 기록한 저장 매체,재생 장치 및 그 재생 방법
DE602005023285D1 (de) 2004-03-26 2010-10-14 Lg Electronics Inc Speichermedium,verfahren, und gerät zum wiedergeben von untertiteldatenströmen
US7756398B2 (en) * 2004-03-26 2010-07-13 Lg Electronics, Inc. Recording medium and method and apparatus for reproducing text subtitle stream for updating palette information
EP1873775A4 (en) * 2005-04-07 2009-10-14 Panasonic Corp RECORDING MEDIUM, PLAYING DEVICE, RECORDING METHOD AND PLAYBACK PROCESS
KR101070748B1 (ko) * 2005-05-19 2011-10-10 엘지전자 주식회사 휴대형 재생장치의 파일정보 제공방법
CN101238518B (zh) * 2005-08-09 2013-03-20 松下电器产业株式会社 记录方法、重放设备及方法
TWM304101U (en) * 2006-06-14 2007-01-01 Wei-Jing Yang DVD player capable of showing multi-national captions
US20090089677A1 (en) * 2007-10-02 2009-04-02 Chan Weng Chong Peekay Systems and methods for enhanced textual presentation in video content presentation on portable devices
CN101494075B (zh) * 2008-01-25 2012-05-23 中国电子科技集团公司第三研究所 一种显示菜单相关信息的方法
WO2009101819A1 (ja) * 2008-02-14 2009-08-20 Panasonic Corporation 再生装置、集積回路、再生方法、プログラム、コンピュータ読取可能な記録媒体
US20100091188A1 (en) * 2008-07-11 2010-04-15 Stmicroelectronics Pvt. Ltd. Synchronization of secondary decoded media streams with a primary media stream
CN101764955B (zh) * 2008-11-28 2013-05-01 新奥特(北京)视频技术有限公司 一种快速录入字幕的方法
US9160960B2 (en) 2010-12-02 2015-10-13 Microsoft Technology Licensing, Llc Video preview based browsing user interface
US9872040B2 (en) * 2014-01-02 2018-01-16 Qualcomm Incorporated Color index coding for palette-based video coding
CN111131818B (zh) * 2014-10-01 2023-05-26 株式会社Kt 对视频信号进行解码的方法和对视频信号进行编码的方法
CN113660536A (zh) * 2021-09-28 2021-11-16 北京七维视觉科技有限公司 一种字幕显示方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137103A (ja) * 1991-11-15 1993-06-01 Hitachi Ltd プレゼンテーシヨン装置
JPH08241068A (ja) * 1995-03-03 1996-09-17 Matsushita Electric Ind Co Ltd 情報記録媒体およびビットマップデータ復号化装置とビットマップデータ復号化方法
JPH1118108A (ja) * 1997-06-25 1999-01-22 Sony Corp 映像信号処理装置及び映像信号処理方法
JPH11252459A (ja) * 1998-02-26 1999-09-17 Toshiba Corp 画像合成装置
WO2005002220A1 (ja) * 2003-06-30 2005-01-06 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、記録方法、プログラム、再生方法
WO2005083708A1 (en) * 2004-02-28 2005-09-09 Samsung Electronic Co., Ltd. Storage medium recording text-based subtitle stream, apparatus and method reproducing thereof
JP2007525904A (ja) * 2004-02-28 2007-09-06 サムスン エレクトロニクス カンパニー リミテッド テキスト基盤のサブタイトルストリームを記録した記録媒体、再生装置及びその再生方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519686A (ja) * 1991-07-17 1993-01-29 Pioneer Electron Corp ナビゲーシヨン装置
US5258747A (en) * 1991-09-30 1993-11-02 Hitachi, Ltd. Color image displaying system and method thereof
RU2129758C1 (ru) 1993-08-20 1999-04-27 Томсон Консьюмер Электроникс, Инк. Система для передачи субтитров по требованию в сжатом цифровом видеосигнале
US5684542A (en) 1993-12-21 1997-11-04 Sony Corporation Video subtitle processing system
JPH07203396A (ja) * 1993-12-28 1995-08-04 Sony Corp 字幕データ復号化装置
JP3644455B2 (ja) 1994-09-29 2005-04-27 ソニー株式会社 番組情報放送方式、番組情報表示方法および受信装置
BR9506773A (pt) 1994-12-14 1997-09-30 Philips Eletronics N V Processo de transmitir e de receber dados codificados transmissor receptor sinal de imagem e suporte de armazenamento
US5721720A (en) 1994-12-28 1998-02-24 Kabushiki Kaisha Toshiba Optical recording medium recording pixel data as a compressed unit data block
KR0136025B1 (ko) * 1994-12-30 1998-05-15 배순훈 캡션기능을 갖춘 비디오 디스크와 그 재생장치(video compact disc with caption data recorded thereon and system for handling the same)
CA2168327C (en) 1995-01-30 2000-04-11 Shinichi Kikuchi A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium.
US5945982A (en) 1995-05-30 1999-08-31 Minolta Co., Ltd. Data administration apparatus that can search for desired image data using maps
JPH09102940A (ja) 1995-08-02 1997-04-15 Sony Corp 動画像信号の符号化方法、符号化装置、復号化装置、記録媒体及び伝送方法
JP3326670B2 (ja) 1995-08-02 2002-09-24 ソニー株式会社 データ符号化/復号化方法および装置、および符号化データ記録媒体
JP3348339B2 (ja) * 1995-08-02 2002-11-20 ソニー株式会社 データ記録方法及び装置、データ再生方法及び装置
EP0765082A3 (en) 1995-09-25 1999-04-07 Sony Corporation Subtitle signal encoding/decoding
TW385431B (en) * 1995-09-29 2000-03-21 Matsushita Electric Ind Co Ltd A method and an apparatus for encoding a bitstream with plural possible searching reproduction paths information useful in multimedia optical disk
KR100203264B1 (ko) 1996-06-29 1999-06-15 윤종용 디지탈비디오디스크 시스템의 부영상 복호방법 및그장치
WO2000028518A2 (en) * 1998-11-09 2000-05-18 Broadcom Corporation Graphics display system
JP3783467B2 (ja) 1999-03-31 2006-06-07 ブラザー工業株式会社 情報作成装置及び方法、情報作成プログラムが記録された情報記録媒体、情報出力装置並びに情報記録装置
JP3805929B2 (ja) 1999-07-05 2006-08-09 パイオニア株式会社 情報記録装置及び情報記録方法
JP3695277B2 (ja) 2000-03-30 2005-09-14 ヤマハ株式会社 表示制御装置
DE10041574A1 (de) 2000-08-24 2002-03-07 Merck Patent Gmbh Chromenonderivate
US7050109B2 (en) * 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
US20020133521A1 (en) 2001-03-15 2002-09-19 Campbell Gregory A. System and method for text delivery
US20030227565A1 (en) * 2001-06-01 2003-12-11 Hamilton Thomas Herman Auxiliary information processing system with a bitmapped on-screen display using limited computing resources
US7376338B2 (en) * 2001-06-11 2008-05-20 Samsung Electronics Co., Ltd. Information storage medium containing multi-language markup document information, apparatus for and method of reproducing the same
KR100457512B1 (ko) 2001-11-29 2004-11-17 삼성전자주식회사 광 기록 매체, 광 기록 매체 재생 장치 및 방법
KR20030061953A (ko) * 2002-01-14 2003-07-23 엘지전자 주식회사 광기록 매체의 재생시 자막 가림 방법
KR20030065332A (ko) * 2002-01-31 2003-08-06 톰슨 라이센싱 소시에떼 아노님 비디오 시스템에서 보조 정보를 처리하기 위한 방법
KR100456024B1 (ko) 2002-02-28 2004-11-08 한국전자통신연구원 디브이디 플레이어의 자막정보 재생 장치 및 방법
KR100521914B1 (ko) 2002-04-24 2005-10-13 엘지전자 주식회사 재생리스트 요약정보 관리방법
CN101067954B (zh) 2002-06-28 2010-06-23 Lg电子株式会社 具有用于管理记录在其上面的多个重放路径视频数据的再现的数据结构的记录介质以及记录和再现方法及装置
EP1394690A1 (en) 2002-08-29 2004-03-03 Sun Microsystems, Inc. Behaviour of anchored frames
KR100607949B1 (ko) 2002-09-11 2006-08-03 삼성전자주식회사 계층화된 정보 구조를 이용한 멀티미디어 데이터 기록장치, 재생 장치 및 그 정보저장매체
KR20040024113A (ko) * 2002-09-13 2004-03-20 엘지전자 주식회사 디지털 다기능 디스크 장치에서의 재생 제어방법
WO2004032111A1 (en) 2002-10-04 2004-04-15 Matsushita Electric Industrial Co. Ltd. Visual contents in karaoke applications
US20040071453A1 (en) * 2002-10-08 2004-04-15 Valderas Harold M. Method and system for producing interactive DVD video slides
US20040081434A1 (en) * 2002-10-15 2004-04-29 Samsung Electronics Co., Ltd. Information storage medium containing subtitle data for multiple languages using text data and downloadable fonts and apparatus therefor
AU2003279350B2 (en) 2002-11-15 2008-08-07 Interdigital Ce Patent Holdings Method and apparatus for composition of subtitles
CN100466713C (zh) * 2002-11-28 2009-03-04 索尼株式会社 再现装置和再现方法
KR100940022B1 (ko) 2003-03-17 2010-02-04 엘지전자 주식회사 오디오 데이터의 텍스트 변환 및 디스플레이 방법
KR20050001850A (ko) 2003-06-26 2005-01-07 엘지전자 주식회사 국가 코드를 이용한 데이터 선별 재생방법
PT1940166E (pt) 2003-07-03 2011-02-07 Panasonic Corp Meio de gravação, instrumento de reprodução, método de gravação, circuito integrado, programa, e método de reprodução
DE602004022884D1 (de) * 2003-07-11 2009-10-08 Panasonic Corp Aufzeichnungsmedium, Aufzeichnungsverfahren, Wiedergabevorrichtung und -verfahren sowie computerlesbares Programm
KR100739682B1 (ko) * 2003-10-04 2007-07-13 삼성전자주식회사 텍스트 기반의 서브 타이틀 정보를 기록한 정보저장매체,그 처리장치 및 방법
KR100619053B1 (ko) 2003-11-10 2006-08-31 삼성전자주식회사 서브 타이틀을 기록한 정보저장매체 및 그 처리장치
US7519274B2 (en) 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
WO2005076601A1 (en) 2004-02-10 2005-08-18 Lg Electronic Inc. Text subtitle decoder and method for decoding text subtitle streams
EP1714281A2 (en) * 2004-02-10 2006-10-25 LG Electronic Inc. Recording medium and method and apparatus for decoding text subtitle streams
ES2338019T3 (es) 2004-03-18 2010-05-03 Lg Electronics Inc. Medio de grabacion y metodo y aparato para reproducir un flujo o corriente de subtitulos de texto grabados en el medio de grabacion.
US7756398B2 (en) * 2004-03-26 2010-07-13 Lg Electronics, Inc. Recording medium and method and apparatus for reproducing text subtitle stream for updating palette information
DE602005023285D1 (de) 2004-03-26 2010-10-14 Lg Electronics Inc Speichermedium,verfahren, und gerät zum wiedergeben von untertiteldatenströmen
JP5137103B2 (ja) 2007-03-16 2013-02-06 独立行政法人情報通信研究機構 電波イメージング方法及び装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137103A (ja) * 1991-11-15 1993-06-01 Hitachi Ltd プレゼンテーシヨン装置
JPH08241068A (ja) * 1995-03-03 1996-09-17 Matsushita Electric Ind Co Ltd 情報記録媒体およびビットマップデータ復号化装置とビットマップデータ復号化方法
JPH1118108A (ja) * 1997-06-25 1999-01-22 Sony Corp 映像信号処理装置及び映像信号処理方法
JPH11252459A (ja) * 1998-02-26 1999-09-17 Toshiba Corp 画像合成装置
WO2005002220A1 (ja) * 2003-06-30 2005-01-06 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、記録方法、プログラム、再生方法
WO2005083708A1 (en) * 2004-02-28 2005-09-09 Samsung Electronic Co., Ltd. Storage medium recording text-based subtitle stream, apparatus and method reproducing thereof
JP2007525904A (ja) * 2004-02-28 2007-09-06 サムスン エレクトロニクス カンパニー リミテッド テキスト基盤のサブタイトルストリームを記録した記録媒体、再生装置及びその再生方法

Also Published As

Publication number Publication date
CN1934624A (zh) 2007-03-21
CN101127922A (zh) 2008-02-20
CN101197172A (zh) 2008-06-11
EP1730730A2 (en) 2006-12-13
CN101241744B (zh) 2012-09-12
KR101067778B1 (ko) 2011-09-28
US20050213944A1 (en) 2005-09-29
CN101114499B (zh) 2011-08-03
US8380044B2 (en) 2013-02-19
US8374486B2 (en) 2013-02-12
ATE450041T1 (de) 2009-12-15
WO2005091722A3 (en) 2005-11-17
CN101127922B (zh) 2012-06-13
RU2006137720A (ru) 2008-05-10
BRPI0509270A (pt) 2007-09-04
IN266747B (ja) 2015-05-29
JP4599396B2 (ja) 2010-12-15
WO2005091722A2 (en) 2005-10-06
CN1934638A (zh) 2007-03-21
CN101114499A (zh) 2008-01-30
EP1730730B1 (en) 2009-11-25
ES2336223T3 (es) 2010-04-09
ES2350940T3 (es) 2011-01-28
CN101241744A (zh) 2008-08-13
US20070140659A1 (en) 2007-06-21
KR20070007845A (ko) 2007-01-16
CN101197172B (zh) 2011-04-13
DE602005017878D1 (de) 2010-01-07
CN1934638B (zh) 2011-12-28
CN1934624B (zh) 2011-10-05
US20070201831A1 (en) 2007-08-30
US7756398B2 (en) 2010-07-13
RU2376659C2 (ru) 2009-12-20

Similar Documents

Publication Publication Date Title
JP4599396B2 (ja) 記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置
JP4673885B2 (ja) 記録媒体及びテキストサブタイトルストリームの再生方法及びその装置
JP4724710B2 (ja) テキストサブタイトルデータを再生管理するためのデータ構造を有する記録媒体及びこれと関連する方法及び装置
JP2007522596A (ja) 記録媒体及びテキスト・サブタイトル・ストリームのデコード方法と装置
JP2007522595A (ja) 記録媒体及びテキスト・サブタイトル・ストリームのデコード方法と装置
KR20050078907A (ko) 고밀도 광디스크의 서브타이틀 재생방법과 기록재생장치
KR101102398B1 (ko) 기록매체 및 기록매체상에 기록된 텍스트 서브타이틀스트림 재생 방법과 장치
JP2007518205A (ja) テキスト・サブタイトル・ストリームの再生・記録のための記録媒体、方法及び装置
KR20070052643A (ko) 데이터 재생방법 및 재생장치
JP4603579B2 (ja) 記録媒体及び記録媒体に記録されたテキストサブタイトルストリームの再生方法及びその装置
US20050198053A1 (en) Recording medium having a data structure for managing text subtitles and recording and reproducing methods and apparatuses
KR20070028329A (ko) 텍스트 서브타이틀 재생 방법 및 텍스트 서브타이틀 디코딩시스템
RU2367036C2 (ru) Носитель записи, имеющий структуру данных для управления текстовыми субтитрами, и способы и устройства для записи и воспроизведения
KR20050087350A (ko) 고밀도 광디스크의 텍스트 서브타이틀을 포함한 파일구성방법과 텍스트 서브타이틀 재생방법
KR20050094265A (ko) 고밀도 광디스크 및 고밀도 광디스크의 텍스트 서브타이틀재생 방법과 재생 장치
KR20070032289A (ko) 기록매체 및 텍스트 서브타이틀 스트림 디코딩 방법과 장치
KR20050094566A (ko) 고밀도 광디스크의 텍스트 서브타이틀 스트림 파일구성방법 및 재생방법과 재생장치
KR20050091228A (ko) 고밀도 광디스크의 텍스트 서브타이틀 재생방법과 재생장치
KR20060136441A (ko) 기록매체, 기록매체의 텍스트 서브타이틀 스트림 기록 및재생 방법과 장치
KR20050092836A (ko) 고밀도 광디스크의 텍스트 서브타이틀 재생방법과재생장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100910

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees