JP2005117515A - 再生装置 - Google Patents

再生装置 Download PDF

Info

Publication number
JP2005117515A
JP2005117515A JP2003351510A JP2003351510A JP2005117515A JP 2005117515 A JP2005117515 A JP 2005117515A JP 2003351510 A JP2003351510 A JP 2003351510A JP 2003351510 A JP2003351510 A JP 2003351510A JP 2005117515 A JP2005117515 A JP 2005117515A
Authority
JP
Japan
Prior art keywords
data
packet
switching
video
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003351510A
Other languages
English (en)
Other versions
JP4613000B2 (ja
Inventor
Naozumi Sugimura
直純 杉村
Takuya Imaide
宅哉 今出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003351510A priority Critical patent/JP4613000B2/ja
Priority to US10/960,059 priority patent/US7835626B2/en
Publication of JP2005117515A publication Critical patent/JP2005117515A/ja
Priority to US12/058,888 priority patent/US8254754B2/en
Priority to US12/058,879 priority patent/US8238716B2/en
Priority to US12/183,773 priority patent/US8238717B2/en
Priority to US12/183,782 priority patent/US8249420B2/en
Application granted granted Critical
Publication of JP4613000B2 publication Critical patent/JP4613000B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • H04N5/067Arrangements or circuits at the transmitter end
    • H04N5/073Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/877Regeneration of colour television signals by assembling picture element blocks in an intermediate memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】
記録媒体に予め記録されているデータと、ネットワークを介してダウンロードしたデータを同期して再生する際に、複数のダウンロードデータを同時に使用することが考慮されておらず、記録媒体からの再生データとの同期再生が困難だったという課題を解決すること。
【解決手段】
入力端子105から入力されたストリームを一時記憶するバッファメモリ106と、バッファメモリ106から出力されたパケットをパケット識別番号にしたがって分別するデマルチプレクサ107と、入力端子101から入力されたストリームを一時記憶するバッファメモリ103a〜dと、デマルチプレクサ107から出力されたパケットとバッファメモリ103a〜dから出力されたパケットのどちらかを切り替えスイッチ104a〜dより選択して出力するパケット切り替え器100をデータ再生に用いる。
【選択図】 図1

Description

本発明は、光ディスクなどの記録媒体上からデータを読み出し、映像や音声を再生する再生技術に関するものであり、特に、記録媒体から再生したデータと、ネットワークを介してダウンロードしたデータを同時に再生することの出来る再生技術に関するものである。
DVDに代表される記録媒体により、映画などの映像コンテンツを容易に配布・販売することが可能となった。ユーザーは、これらの記録媒体を再生装置を用いて好きなときに再生することが可能である。
映像コンテンツには、映像および音声データのほかに、字幕データなどの付加データが記録されており、これらの付加データも必要に応じて映像と同時に再生・表示が行われる。
また、多言語の字幕データが付加されて送信される音声データを受信し、ユーザが選択した言語の字幕を画面上に表示させることができる技術が知られている(例えば、特許文献1参照)。
特開平7−30814号公報
ところで、字幕データなどの付加データを、ネットワークを介してダウンロードすることが考えられている。例えば、別の言語に対応した字幕データをダウンロードして使用すれば、予めディスク上に記録されていない言語にも対応することが出来る。これを利用すれば、複数の言語に対応した字幕データを予め記録しておく必要がないので、ディスク作成の費用や期間を低減することができる。
また、ディスク上に記録できる容量には限界があるので、ユーザーが必要な言語の字幕や音声のみを後からダウンロードするようにすれば、ディスクに不必要なデータを記録する必要が無く、ディスク上の領域を有効に使用することが出来る。
ディスク上に記録されているデータと、ネットワークを介してダウンロードしたデータとを同期して出力する際には、音声デコーダ、字幕デコーダなど各デコーダに入力されるデータを切り替える必要がある。すなわち、音声として、ディスク上に記録されているデータを使用するのか、ダウンロードしたデータを使用するのかを選択する必要がある。
本発明の目的は、映像、音声や字幕が2系統から入力される場合に、映像、音声、字幕を任意の組合せで再生を行うことができる再生技術を提供することにある。
上記のような課題を解決するため、本発明は、記録媒体から第1の映像データ、第1の音声データ及び第1の字幕データを含む第1のストリームデータを読み出す再生手段と、ネットワークを介してダウンロードした第2の映像データ、第2の音声データ、第2の字幕データを含む第2のストリームデータを記憶するダウンロードデータ記憶手段と、前記第1の映像データから前記第2の映像データへの切り替え、前記第1の音声データから前記第2の音声データへの切り替え及び前記第1の字幕データから前記第2の字幕データへの切り替えのうち少なくとも1つの切り替えを行う切り替え手段とを有し、前記切り替え手段によって切り替えられたデータと切り替えられていないデータとを同期させて出力する再生装置とする。
第2のストリームデータは、ダウンロードしたデータでなく、第2の記録媒体から再生したデータであってもいいし、第1のストリームデータが記録されている記録されている記録媒体と同じ記録媒体に記録されているデータを時分割再生したデータであっても良い。
本発明によれば、映像、音声や字幕が2系統から入力される場合に、映像、音声、字幕を任意の組合せで再生を行うことができる
以下、本発明を適用した実施例について説明する。
図1に、本発明を適用した第1の実施例であるパケット切り替え器100のブロック図を示す。
パケット切り替え器100は、ダウンロードストリームデータ入力端子101、制御信号入力端子102、バッファメモリ103a〜d、切り替えスイッチ104、再生ストリームデータ入力端子105、バッファメモリ106、デマルチプレクサ107、パケット出力端子108を有している。
なお、ここで、103aはダウンロードしたストリームデータのうち音声パケットをバッファリングするバッファメモリであり、104aは音声パケットを切り替える切り替えスイッチ、108aは音声パケットを出力する音声パケット出力端子である。また、103b、104b、108bは、映像パケットの出力系統である。同様に、103c、104c、108cは、字幕パケットの出力系統である。103d、104d、108dは、グラフィックスパケットの出力系統である。
図2に、本発明を適用した各実施例である再生装置のブロック図を示す。以下、この再生装置が、図1に示したパケット切り替え器100を備えているものとして説明する。また、このブロック図は各種データの流れを示すブロック図である。再生装置を構成する各部は、システム制御部205により制御されるものである。
図2中、100はパケット切り替え器、201はネットワーク入出力端子、202はネットワーク制御部、203はデータ記憶部、204は光ディスク再生装置、205はシステム制御部、206は音声デコーダ、207は音声出力端子、208は映像デコーダ、209は字幕デコーダ、210はグラフィクスデコーダ、211は映像合成部、212は映像出力端子である。
図3に、ストリームデータの構造を示す。
本実施例のストリームデータは、4バイトのヘッダーデータが付加された188バイトのMPEGパケットが複数個あるものである。ここで、4バイトのヘッダーデータには、30ビットのタイムスタンプ(時間データ)が含まれている。
MPEGパケットは、常時詰めて転送されるわけではなく、データ量の少ない時には、パケット間隔が広がり、データ量の多いときには、パケット間隔が狭くなる。ストリームファイルの記録時には、入力された各々のMPEGパケットの記録時刻を、タイムスタンプとして各パケットに付加して記録しておく。再生時には、このタイムスタンプを利用して、各パケットの出力タイミングを調整することにより、パケットの転送間隔を再現する。
一方、MPEGパケットには、先頭部に13ビットのPID(Packet IDentifier)と呼ばれるパケットの識別情報が含まれている。このPIDは、パケット種類毎に異なる番号が付加されており、このPIDを判別することにより、各パケットがどの種類のデータを有しているのかが容易に判別できる。
光ディスク上に記録されているデータも、ネットワークを介してダウンロードするデータも、図3に示したストリームデータの形式をしている。
まず、ダウンロードデータを使用せず、光ディスクに記録されているデータを再生する場合の動作を説明する。
光ディスク再生装置204には、予め映像、音声、字幕などのコンテンツ(映画など)の再生に必要なデータが記録された光ディスクがセットされる。
ユーザーは、リモコンの再生ボタン(図示せず)などにより、再生開始指令を入力する。再生開始指令がリモコン受信部(図示せず)を介してシステム制御部205に入力されると、システム制御部205は、光ディスクからのデータ再生動作を開始すべく、光ディスク再生装置204を制御する。
具体的には、まず、光ディスク上に記録されているファイル管理データの読み出しを行う。ファイル管理データには、光ディスク上に記録されている全てのファイルのファイル名(ファイル識別子)、各ファイルの記録開始セクター位置、各ファイルのデータ長、各ファイルに関する付加データなどのデータが書かれている。これらデータを使用することにより、システム制御部205は、光ディスク上に記録されているデータをファイルとして扱うことができる。
ファイル管理データが取得された後、コンテンツ再生に必要なファイルを順次読み出す。これには、ファイルの再生順序を示すプレイリストファイル、メニュー画面を表示するためのメニューデータファイル、実際のストリームの記録されたストリームファイルなどがある。
システム制御部205は、メニューデータファイルを使用してメニュー画面を表示手段(図示せず)に表示させ、ユーザーが所望のコンテンツのストリームファイルを選択できるようにする。
ストリームの再生では、光ディスク再生装置204により、光ディスクからストリームファイルが読み出され、ストリームデータとして、パケット切り替え部の入力端子105を介して、バッファメモリ106に入力される。
ここで、光ディスクから再生されるストリームデータは、図3に示したパケット形式で記録されており、各パケットには、時間データとして30ビットのタイムスタンプが付加されている。
バッファメモリ106に入力されたストリームデータは、各パケットに付加されているタイムスタンプの時刻に応じて、バッファメモリ106から出力され、デマルチプレクサ107に入力される。この時、タイムスタンプは除去され、188バイトのMPEGパケットとして、デマルチプレクサ107に入力される。
デマルチプレクサ107では、入力された各パケットが、PIDに応じて、映像パケット、音声パケット、字幕パケット、グラフィックスパケットに分別され、出力される。
図3に示したように、各MPEGパケットには、先頭に13ビットのPID(パケット識別番号)が含まれており、パケットの分別は、これを用いて行われる。なお、各PIDとデータとの対応は、予め決められているものとする。
デマルチプレクサ107により分別された各信号は、切り替えスイッチ104a〜dを介して、出力端子108a〜dに出力される。ここで、切り替えスイッチ104a〜dは、光ディスク上のデータを使用する場合には、デマルチプレクサ107の出力を選択するように制御される。
デマルチプレクサ107で音声パケットとして分別されたパケットは、出力端子106aに出力され、音声デコーダ206に入力される。音声デコーダ206は、音声パケットをデコードし、音声信号として音声出力端子207から出力する。
映像パケットは、出力端子108bを介して映像デコーダ208に入力される。同様に、字幕パケットは出力端子108cを介して字幕デコーダ209に、グラフィクスパケットは出力端子108dを介してグラフィクスデコーダ210に入力される。
映像デコーダ208によりデコードされた映像データと、字幕デコーダ209によりデコードされた字幕データ、グラフィクスデコーダ210によりデコードされたグラフィクスデータは、映像合成部211により合成(スーパーインポーズ)され、映像出力端子212から出力される。出力された映像信号は、外部のテレビ画面等に表示される。
以上のようにして、光ディスク上に記録されている各データが再生され、音声信号および映像信号として出力される。
次に、ストリームデータをダウンロードして光ディスク上のストリームデータと同期再生する際の動作について説明する。
まず、ユーザーが所望する字幕データや音声データが光ディスク上に記録されていない場合には、ユーザーは、ネットワーク制御部202を介して字幕データや音声データをダウンロードする。ユーザーは、リモコン(図示せず)によりダウンロードを指示し、ダウンロード開始指令をシステム制御部205に送る。
システム制御部205は、ダウンロード開始指令を受信すると、光ディスク再生装置204に装着されている光ディスク上に記録されているダウンロードデータを使用して、ネットワークに接続し、ダウンロードを試みる。ここで、ダウンロードデータには、接続先のサーバーのURL(Unified Resource Locator)が含まれており、このURLを元にして、ネットワーク上のサーバーに接続する。
ネットワーク上のサーバーには、ダウンロード可能なデータのリストが提供されており、このリストのグラフィックスデータは、ネットワーク入出力端子201、ネットワーク制御部202、システム制御部205、グラフィックスデコーダ210、映像合成部211及び映像出力端子212を介して外部のテレビ画面等に表示される。ユーザーは、この表示された画面を見ることでダウンロードしたいデータをリストから選択できる。
ユーザーにより選択されたデータは、サーバーからネットワークを介してストリームデータとして再生装置に送信される。ネットワーク制御部202は、受信したストリームデータをデータ記憶部203に記憶する。
ダウンロードを行うストリームデータは、音声データ、字幕データ、グラフィクスデータ、映像データの各データを含むストリームデータであり、ユーザーの選択により、それぞれ個別にダウンロード可能である。もちろん、一つのデータのみダウンロードしてもよいし、複数をダウンロードしておいてもよい。ダウンロードしたストリームデータは、データ記憶部203に記憶しておく。
ここで、データ記憶部203は、ハードディスクドライブのような記憶媒体でもよいし、RAMやフラッシュメモリーのような半導体記憶装置でも良い。
また、ダウンロードしたストリームデータは、光ディスク上に記録されているデータと同様のストリームデータであり、タイムスタンプを含むMPEGパケットとして符号化されている。
ストリームデータのダウンロード完了後、光ディスク上のデータと、ダウンロードしたストリームデータを同期して再生を行う。
まず、ユーザーがリモコンの再生開始ボタン(図示せず)を押し、光ディスクの再生開始指令を入力する。システム制御部205は、ユーザーからの再生開始指令を受信し、再生動作を開始する。この時、データ記憶部203に、ダウンロードしたストリームデータが記録されているので、システム制御部205は、グラッフィクスデコーダ210、映像合成部211、映像出力端子212を介して外部のテレビ等の画面に、ユーザーに対して同期再生の要否を確認する画面を表示する。ここで、ユーザーが同期再生を選択すると、光ディスク上のストリームデータの再生に同期して、システム制御部205は、データ記憶部203に記憶されているダウンロードしたストリームデータの再生を行う。
また、光ディスク上から、所定のストリームデータの再生が行われる。再生されたストリームデータは、パケット切り替え部100の入力端子105を介して、バッファメモリ106に入力される。バッファメモリ106に入力されたストリームデータは、タイムスタンプに応じたタイミングで、デマルチプレクサ107に入力され、PIDに応じて音声パケット、映像パケット、字幕パケット、グラッフィクスパケットに分別され、それぞれ切り替えスイッチ104a〜dに入力される。
一方、データ記憶部203に記憶されているストリームデータのうち、同期再生が指定されたストリームデータは、データ記憶部203から読み出され、パケット切り替え部の入力端子101を介してバッファメモリ103a〜dに入力される。ここで、バッファメモリ103a〜dのうちどのバッファメモリに書き込みを行うかは、システム制御部205が入力端子102を介して、指示を行なう。システム制御部205は、前述のデータ記憶部203からのデータ読み出し制御と、バッファメモリ103a〜dへの書き込み制御を同時に行う。
以下、説明を容易にするために、ダウンロードした字幕と音声を光ディスク上の映像と同期再生するという条件で、説明を行う。
同期再生を行うストリームデータは、データ記憶部203からPIDに基づいて種別ごとにパケット単位で読み出され、バッファメモリ103に書き込まれる。ここでは、字幕パケットがバッファメモリ103cへ書き込まれ、音声パケットがバッファメモリ103aに書き込まれる。これら動作は、バッファメモリ103a、cがあふれないよう、時分割してデータ記憶部203から読み出し、バッファメモリ103a、cに書き込む。なお、ここでいう時分割とは、音声パケットをバッファメモリ103aに書き込む動作と字幕パケットをバッファメモリ103cに書き込む動作とを繰り返すことである。データ記憶部203からの読み出しとバッファメモリ103a、cへの書き込みは、システム制御部205により行われる。
音声データ用のバッファメモリ103aは、書き込まれた音声パケットの各パケットのタイムスタンプに応じて、音声パケットの出力タイミングを調整する役割を持つ。音声パケットは、所定タイミングでバッファメモリ103aから切り替えスイッチ104aに入力される。この時、音声パケットは、タイムスタンプを含む4バイトのヘッダーが除去される。
同様に、字幕データ用のバッファメモリ103cは、字幕パケットの各パケットの出力タイミングを調整する役割を持ち、字幕パケットを切り替えスイッチ104cに入力する。
一方、光ディスク上から再生されたストリームデータは、入力端子105を介してバッファメモリ106に入力される。バッファメモリ106は、各パケットに付加されているタイムスタンプに応じて、所定タイミングで各パケットを出力する。
ここで、光ディスク上から再生されたストリームデータには、映像パケット、音声パケット、字幕パケット、グラフィクスパケットが多重化されている。
バッファメモリ106から出力されたストリームデータは、タイムスタンプにしたがい、所定タイミングでデマルチプレクサ107に入力される。デマルチプレクサ107は、入力されたストリームデータの多重化を解き、データパケットの種別毎に分別して各切り替えスイッチ104a〜dに入力する。
バッファメモリ103a〜dとバッファメモリ106は、ダウンロードしたデータと光ディスク上のデータを同期して再生するための出力タイミングの調整を行う役割を果たしている。
切り替えスイッチ104a〜dは、ダウンロードしたストリームパケットの再生を行う場合には、バッファメモリ103a〜dからの出力が選択されるように切り替えを行う。また光ディスク上のストリームデータを再生する場合には、デマルチプレクサ107の出力が選択されるように切り替えを行う。
ダウンロードした字幕、音声と、光ディスク上の映像、グラフィクスとを同期させて再生する場合には、字幕パケットの切り替えスイッチ104cと音声パケットの切り替えスイッチ104aをそれぞれバッファメモリ103c、a側に切り替え、映像パケットの切り替えスイッチ104bとグラフィクスパケットの切り替えスイッチ104dをデマルチプレクサ107側に切り替える。ここで、切り替えスイッチ104a〜dの切り替えは、システム制御部205により行う。
音声デコーダ206には、切り替えスイッチ104aによりバッファメモリ103aの出力が選択されて入力される。すなわち、データ記憶部203に記憶されているダウンロードした音声パケットが入力され、デコードされて、音声データとして音声出力端子に出力される。
映像デコーダには、切り替えスイッチ104bによりデマルチプレクサ107の出力が選択されて入力される。すなわち、光ディスク上から再生した映像パケットが入力され、デコードされて、映像データとして映像合成部211に入力される。
字幕デコーダ209には、切り替えスイッチ104cによりバッファメモリ103cの出力が選択されて入力される。すなわち、データ記憶部203に記憶されているダウンロードした字幕パケットが入力され、デコードされて、字幕データとして映像合成部211に入力される。
グラフィックスデコーダ210には、切り替えスイッチによりデマルチプレクサ107の出力が選択されて入力される。すなわち、光ディスク上から再生したグラフィックスパケットが入力され、デコードされて、グラフィックスデータとして映像合成部211に入力される。
映像合成部211では、デコードされた映像データ、字幕映像データ、グラフィックス映像データが入力され、重ね合わせの処理(スーパーインポーズ)が行われて、映像信号として出力される。出力された映像信号は、映像信号出力端子から出力され、外部のテレビ等の画面に表示される。
以上のようにして、光ディスク上から再生されたストリームデータと、ダウンロードしたストリームデータとが同期して再生することができる。
なお、上記実施例では、コンテンツの記録媒体として光ディスクを例に挙げて説明しているが、これは限定されるものではなく、例えば磁気記録媒体や半導体記録媒体などを用いることが出来る。
また、図2に示した再生装置では、光ディスク再生装置204とデータ記憶部203を別々のブロックとして記載しているが、これを兼用することも出来る。例えば、光ディスク上に記録領域を設け、この記録領域をデータ記憶部203として使用することも出来る。読み出し時には、光ディスク上に予め記録されているストリームデータと、ネットワークを介してダウンロードしたストリームデータを時分割で読み出し、パケット切り替え器100に入力すればよい。
また、ネットワークを利用してダウンロードしたストリームデータと光ディスク上から再生したストリームデータとの同期再生を例に挙げて説明したが、図2の再生装置は、ネットワーク入出力端子201、ネットワーク制御部202及びデータ記憶部203を別の光ディスク装置に置き換え、互いに再生したストリームデータを同期再生する構成としても良い。
ところで、図1に示したパケット切り替え部100では、各データ毎に個別のバッファメモリを準備し、これらを用いて各パケットのバッファリングと出力タイミングの調整を行っていた。しかしながら、複数のバッファメモリを設けることは、回路規模が大きくなると言う欠点がある。そこで、回路規模を削減するために、単一のメモリを使用して、複数のバッファメモリを設けたのと同等の動作を行うことが出来るパケット切り替え部のブロック図を図4に示した。
図4中、401はRAM(Ramdom Access Memory)、402はRAM読み出し制御部である。
図4に示したパケット切り替え部では、複数のバッファメモリを設ける代わりに、RAM401とRAM読み出し制御部402を設けている。
ストリームファイルデータの書き込み時には、RAM401上にストリームデータの書き込みを行う。ここで、ストリームデータの書き込みアドレスは、システム制御部205により制御される。複数のストリームデータをRAM401上に書き込む場合には、RAM401を分割して使用すればよい。
RAM401上に書き込まれたストリームデータは、RAM読み出し制御部402により読み出しが行われる。
RAM読み出し制御部402は、RAM401上の各領域のパケットをパケットに付加されているタイムスタンプの時刻に応じて読み出し、切り替えスイッチ104a〜dに供給する。この時、タイムスタンプの含まれるヘッダー部分は読み出しを行わず、188バイトのMPEGパケットのみを切り替えスイッチ104a〜dに出力する。
切り替えスイッチ104a〜dでは、図1に示したパケット切り替え部100を使用した場合と同様に、データ記憶部203から再生したストリームデータと、光ディスク上から再生したストリームデータとが選択して出力される。
以上のように、複数のバッファメモリを設ける代わりに、一つのRAMを用いても第1の実施例と同様な効果を得ることが出来、さらに回路規模も削減できる。
図2の再生装置において、パケット切り替え器100を、図5に示したパケット切り替え器100に置き換えることもできる。このパケット切り替え器100では、入力端子101から入力されるダウンロードしたストリームデータの処理系と、入力端子105に入力されるディスク上からのストリームデータの処理系の双方に、それぞれバッファメモリ102、106とデマルチプレクサ501、107を設け、デマルチプレクサ501、107の出力を必要に応じて切り替えスイッチ104a、104cで切り替えるような構成となる。本実施例では、ダウンロードするストリームデータは、字幕データと音声データなので、この2つの出力が選択できるような構成としている。
もちろん、デマルチプレクサ501を映像データとグラッフィクスデータも選択できる構成とし、映像データとグラフィックスデータに関するデマルチプレクサ501、107の出力を切り替える切り替えスイッチを設ければ、図1および図4に示したパケット切り替え器と同等の機能を持たせることができる。
第1の実施例のパケット切り替え器の構造を示すブロック図 再生装置の構造を示すブロック図 ストリームとパケットの構造を示す図 第2の実施例のパケット切り替え器の構造を示すブロック図 第3の実施例のパケット切り替え器の構造を示すブロック図
符号の説明
100 パケット切り替え器
103 バッファメモリ
104 切り替えスイッチ
106 バッファメモリ
107 デマルチプレクサ
202 ネットワーク制御部
203 データ記憶部
204 光ディスク再生装置
205 システム制御部
206 音声デコーダ
208 映像デコーダ
209 字幕デコーダ
210 グラフィックデコーダ
211 映像合成部

Claims (6)

  1. 記録媒体からデータを再生する再生装置であって、
    記録媒体から第1の映像データ、第1の音声データ及び第1の字幕データを含む第1のストリームデータを読み出す再生手段と、
    ネットワークを介してダウンロードした第2の映像データ、第2の音声データ、第2の字幕データを少なくとも1つを含む第2のストリームデータを記憶するダウンロードデータ記憶手段と、
    前記第1の映像データから前記第2の映像データへの切り替え、前記第1の音声データから前記第2の音声データへの切り替え及び前記第1の字幕データから前記第2の字幕データへの切り替えのうち少なくとも1つの切り替えを行う切り替え手段とを有し、
    前記切り替え手段によって切り替えられたデータと切り替えられていないデータとを同期させて出力することを特徴とする再生装置。
  2. 記録媒体からデータを再生する再生装置であって、
    第1の記録媒体から第1の映像データ、第1の音声データ及び第1の字幕データを含む第1のストリームデータを読み出す第1の再生手段と、
    第2の記録媒体から第2の映像データ、第2の音声データ、第2の字幕データを含む第2のストリームデータを記憶する第2の再生手段と、
    前記第1の映像データから前記第2の映像データへの切り替え、前記第1の音声データから前記第2の音声データへの切り替え及び前記第1の字幕データから前記第2の字幕データへの切り替えのうち少なくとも1つの切り替えを行う切り替え手段とを有し、
    前記切り替え手段によって切り替えられたデータと切り替えられていないデータとを同期させて出力することを特徴とする再生装置。
  3. 記録媒体からデータを再生する再生装置であって、
    少なくとも第1の映像データ、第1の音声データ及び第1の字幕データを含む第1のストリームデータと第2の記録媒体から第2の映像データ、第2の音声データ、第2の字幕データを含む第2のストリームデータ2つのストリームデータが記録された記録媒体から前記少なくとも2つのストリームデータを時分割で再生する再生手段と、
    前記第1の映像データから前記第2の映像データへの切り替え、前記第1の音声データから前記第2の音声データへの切り替え及び前記第1の字幕データから前記第2の字幕データへの切り替えのうち少なくとも1つの切り替えを行う切り替え手段とを有し、
    前記切り替え手段によって切り替えられたデータと切り替えられていないデータとを同期させて出力することを特徴とする再生装置。
  4. 前記第1及び第2のストリームデータは、映像、音声及び字幕の種類を示すパケット識別情報を含む複数のパケットで構成されるデータであり、
    前記切り替え手段は、
    前記第1のストリームデータを記憶する第1のメモリと、
    前記第1のメモリから出力されたパケットをパケット識別情報に従って分別するパケット分別手段と、
    前記第2のストリームデータの音声パケットを記憶する第2のメモリと、
    前記第2のストリームデータの映像パケットを記憶する第3のメモリと、
    前記第2のストリームデータの字幕パケットを記憶する第4のメモリと、
    前記パケット分別手段から出力されたパケットと前記第2、第3及び第4のメモリから出力されたパケットのどちらかを選択する選択手段とを備えていることを特徴とする請求項1〜3のいずれか1項記載の再生装置。
  5. 前記第1及び第2のストリームデータは、映像、音声及び字幕の種類を示すパケット識別情報を含む複数のパケットで構成されるデータであり、
    前記切り替え手段は、
    前記第1のストリームデータを記憶する第1のメモリと、
    前記第1のメモリから出力されたパケットをパケット識別情報に従って分別するパケット分別手段と、
    第2のストリームデータを記憶する第2のメモリと、
    前記第2のメモリに記憶されたストリームデータをパケットの種類別に読み出す制御を行う読み出し制御手段と、
    前記パケット分別手段から出力されたパケットと前記読み出し制御手段で読み出されたパケットのどちらかを選択する選択手段とを備えていることを特徴とする請求項1〜3のいずれか1項記載の再生装置。
  6. 前記第1及び第2のストリームデータは、映像、音声及び字幕の種類を示すパケット識別情報を含む複数のパケットで構成されるデータであり、
    前記切り替え手段は、
    前記第1のストリームデータを記憶する第1のメモリと、
    前記第1のメモリから出力されたパケットをパケット識別情報に従って分別する第1のパケット分別手段と、
    第2のストリームデータを記憶する第2のメモリと、
    前記第1のメモリから出力されたパケットをパケット識別情報に従って分別する第1のパケット分別手段と、
    前記第1のパケット分別手段から出力されたパケットと前記第2のパケット分別手段から出力されたパケットのどちらかを選択する選択手段とを備えていることを特徴とする請求項1〜3のいずれか1項記載の再生装置。
JP2003351510A 2003-10-10 2003-10-10 再生装置 Expired - Lifetime JP4613000B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003351510A JP4613000B2 (ja) 2003-10-10 2003-10-10 再生装置
US10/960,059 US7835626B2 (en) 2003-10-10 2004-10-08 Reproducing device
US12/058,888 US8254754B2 (en) 2003-10-10 2008-03-31 Reproducing device
US12/058,879 US8238716B2 (en) 2003-10-10 2008-03-31 Reproducing device
US12/183,773 US8238717B2 (en) 2003-10-10 2008-07-31 Reproducing device
US12/183,782 US8249420B2 (en) 2003-10-10 2008-07-31 Reproducing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003351510A JP4613000B2 (ja) 2003-10-10 2003-10-10 再生装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008200341A Division JP4670913B2 (ja) 2008-08-04 2008-08-04 再生装置

Publications (2)

Publication Number Publication Date
JP2005117515A true JP2005117515A (ja) 2005-04-28
JP4613000B2 JP4613000B2 (ja) 2011-01-12

Family

ID=34542728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003351510A Expired - Lifetime JP4613000B2 (ja) 2003-10-10 2003-10-10 再生装置

Country Status (2)

Country Link
US (5) US7835626B2 (ja)
JP (1) JP4613000B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338858A (ja) * 2005-06-03 2006-12-14 Hewlett-Packard Development Co Lp 外部機器の資源を使用する装置を有するシステム
JP2007060524A (ja) * 2005-08-26 2007-03-08 Mitsubishi Electric Corp 複数メディアの同期再生システム及び同期再生方法
JP2008034076A (ja) * 2006-06-30 2008-02-14 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
WO2011040414A1 (ja) * 2009-09-30 2011-04-07 シャープ株式会社 情報記録媒体、情報記録媒体を用いた再生方法及び記録方法、情報記録再生装置、並びに、3次元化ユニット及び情報記録装置
JP2012015958A (ja) * 2010-07-05 2012-01-19 I-O Data Device Inc コンテンツ再生システム
US9131203B2 (en) 2009-09-30 2015-09-08 Sharp Kabushiki Kaisha Information recording medium, reproduction method and recording method using information recording medium, information recording/reproduction device, and 3D conversion unit and information recording device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4251298B2 (ja) * 2005-07-15 2009-04-08 ソニー株式会社 再生装置および再生方法、プログラム、プログラム格納媒体、データ、記録媒体、記録装置、および、記録媒体の製造方法
KR20070052650A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 기록매체 재생방법 및 재생장치, 기록매체와 기록매체기록방법 및 기록장치
US20070282472A1 (en) * 2006-06-01 2007-12-06 International Business Machines Corporation System and method for customizing soundtracks
KR101125286B1 (ko) * 2007-03-27 2012-03-21 삼성전자주식회사 부가 데이터 업데이트 방법 및 재생 장치
KR20140029991A (ko) * 2012-08-31 2014-03-11 삼성전자주식회사 프로그래시브 플레이리스트 재생 장치 및 재생 방법, 기록 장치 및 기록 방법, 이를 위한 정보저장매체
CN109922230A (zh) * 2017-12-12 2019-06-21 阿里巴巴集团控股有限公司 动态内容的同步播放方法、播放控制方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103317A (en) * 1988-04-25 1992-04-07 Pioneer Electronic Corporation Apparatus for playing recording medium having a selective special reproduction playback mode
US5187589A (en) * 1988-07-28 1993-02-16 Pioneer Electronic Corporation Multiprogram video tape recording and reproducing device
WO1992022983A2 (en) * 1991-06-11 1992-12-23 Browne H Lee Large capacity, random access, multi-source recorder player
JP2565097B2 (ja) 1993-07-09 1996-12-18 日本電気株式会社 字幕スーパー伝送システム
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6047027A (en) * 1996-02-07 2000-04-04 Matsushita Electric Industrial Co., Ltd. Packetized data stream decoder using timing information extraction and insertion
CN1118065C (zh) * 1997-12-15 2003-08-13 松下电器产业株式会社 光盘的记录和复制设备及方法
WO2000049803A1 (fr) * 1999-02-18 2000-08-24 Kabushiki Kaisha Toshiba Support d'enregistrement pour flux de donnees, procede d'enregistrement et procede de reproduction associes
JP2002247526A (ja) 2001-02-19 2002-08-30 Toshiba Corp 内外ストリームデータの同期再生装置とストリームデータ配信装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338858A (ja) * 2005-06-03 2006-12-14 Hewlett-Packard Development Co Lp 外部機器の資源を使用する装置を有するシステム
US9063941B2 (en) 2005-06-03 2015-06-23 Hewlett-Packard Development Company, L.P. System having an apparatus that uses a resource on an external device
US10102213B2 (en) 2005-06-03 2018-10-16 Hewlett-Packard Development Company, L.P. System having an apparatus that uses a resource on an external device
JP2007060524A (ja) * 2005-08-26 2007-03-08 Mitsubishi Electric Corp 複数メディアの同期再生システム及び同期再生方法
JP2008034076A (ja) * 2006-06-30 2008-02-14 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8504607B2 (en) 2006-06-30 2013-08-06 Sony Corporation Information processing device, information processing method, recording medium, and program
WO2011040414A1 (ja) * 2009-09-30 2011-04-07 シャープ株式会社 情報記録媒体、情報記録媒体を用いた再生方法及び記録方法、情報記録再生装置、並びに、3次元化ユニット及び情報記録装置
US9131203B2 (en) 2009-09-30 2015-09-08 Sharp Kabushiki Kaisha Information recording medium, reproduction method and recording method using information recording medium, information recording/reproduction device, and 3D conversion unit and information recording device
JP2012015958A (ja) * 2010-07-05 2012-01-19 I-O Data Device Inc コンテンツ再生システム

Also Published As

Publication number Publication date
US8238717B2 (en) 2012-08-07
US8254754B2 (en) 2012-08-28
US8249420B2 (en) 2012-08-21
JP4613000B2 (ja) 2011-01-12
US20090041427A1 (en) 2009-02-12
US8238716B2 (en) 2012-08-07
US20080187288A1 (en) 2008-08-07
US20080187287A1 (en) 2008-08-07
US20090041425A1 (en) 2009-02-12
US7835626B2 (en) 2010-11-16
US20050105892A1 (en) 2005-05-19

Similar Documents

Publication Publication Date Title
US8238717B2 (en) Reproducing device
JP2004355802A (ja) マルチストリームが記録された情報貯蔵媒体、その記録装置、その記録方法、その再生装置、及びその再生方法
JPH0951533A (ja) データ符号化装置および方法、データ復号化装置および方法並びに記録媒体
US20060271983A1 (en) Data processing device and data processing method
US20100278517A1 (en) Video decoding device
JP2005117660A (ja) 多重化されていないストリームを含むavデータを記録した情報保存媒体、その再生方法及び装置
JP4423551B2 (ja) 放送記録再生装置および放送記録再生処理プログラム
JP3491401B2 (ja) データ符号化装置および方法、並びに、データ復号化装置および方法
US8548301B2 (en) Record carrier carrying a video signal and at least one additional information signal
JP3403870B2 (ja) メニューストリーム作成装置
JP4670913B2 (ja) 再生装置
JP3177470B2 (ja) 再生装置
JP2006049988A (ja) デジタルデータ記録再生装置
JP2003078872A (ja) オーディオ/ビデオ記録装置及びオーディオ/ビデオ多重化方法
JP4520483B2 (ja) 記録再生方法及び記録再生装置
JPH11177934A (ja) 再生方法及び再生装置及び記録再生方法及び記録再生装置
KR100828343B1 (ko) 방송 프로그램을 기록하는 방법, 장치 및 정보 저장매체
KR100987767B1 (ko) 정지 영상이 기록된 정보 저장 매체, 그 재생 장치 및 방법
JP2005303791A (ja) 字幕付き映像再生装置
JP4712922B2 (ja) Dvdオーディオ再生装置
JP4800824B2 (ja) 記録媒体
JP4742326B2 (ja) 放送記録再生装置および放送記録再生処理プログラム
JP4813905B2 (ja) 再生装置及び方法、記録媒体、データ構造、並びに記録装置及び方法
JP2001136490A (ja) ディスク状記録媒体記録再生装置及びそれに用いる記録再生方式
JP2002135691A (ja) 再生装置、再生方法、及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050915

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081201

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081219

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101018

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4613000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term