JP2008079114A - 同期再生システム - Google Patents

同期再生システム Download PDF

Info

Publication number
JP2008079114A
JP2008079114A JP2006257457A JP2006257457A JP2008079114A JP 2008079114 A JP2008079114 A JP 2008079114A JP 2006257457 A JP2006257457 A JP 2006257457A JP 2006257457 A JP2006257457 A JP 2006257457A JP 2008079114 A JP2008079114 A JP 2008079114A
Authority
JP
Japan
Prior art keywords
data
audio
synchronization
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006257457A
Other languages
English (en)
Other versions
JP4362734B2 (ja
Inventor
Hiroyuki Hashimoto
浩幸 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006257457A priority Critical patent/JP4362734B2/ja
Priority to US11/898,860 priority patent/US8509605B2/en
Publication of JP2008079114A publication Critical patent/JP2008079114A/ja
Application granted granted Critical
Publication of JP4362734B2 publication Critical patent/JP4362734B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • G03B31/06—Associated working of cameras or projectors with sound-recording or sound-reproducing means in which sound track is associated with successively-shown still pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】伝送帯域を圧迫することなく、各再生装置が、より簡易に同期をとることが可能な同期再生システムを提供すること。
【解決手段】アンプ２００が、マルチメディアデータを、インターネット４１０を介して受信する受信部２１０と、マルチメディアデータから音声データを分離する分離部２２０と、当該音声データに基づき、同期用データを生成する同期用データ生成部２５０と、当該同期用データを、セットトップボックス１００へ向け赤外通信路４２０を介して送信する同期用データ送信部２６０とを含み、セットトップボックス１００が、マルチメディアデータを、インターネット４１０を介して受信する受信部１１０と、マルチメディアデータから画像データを分離する分離部１２０と、同期用データを、赤外通信路４２０を介して受信する同期用データ受信部１５０と、同期用データに基づき、再生対象の画像データを決定するマッチング部１６０とを含んで構成される。
【選択図】図１

Description

本発明は、画像データと音声データを含むマルチメディアデータを、画像再生装置と音声再生装置が同期して再生する同期再生システムに関する。
従来、再生装置は、画像データと音声データを含むストリームをネットワーク経由で送受信することによって音声を含む動画を再生している。例えば、ＲＦＣ１８８９で規定されているＲＴＰ（Real-time Transport Protocol）等によってこのような同期再生技術が実現されている。
しかし、例えば、画像を投写するプロジェクタと接続されたセットトップボックスと、音声を出力するスピーカーと接続されたアンプのように、画像再生装置と音声再生装置が分離している場合、ＲＴＰでは同期をとることができない。
そこで、各再生装置は、ＲＴＣＰ（RTP Control Protocol）、ＮＴＰ（Network Time Protocol）を用い、基準クロックに基づき、再生時刻を調整しながら同期をとることが提案されている。
しかし、ＲＴＣＰは、伝送帯域幅の５％程度がコマンド送受信のために必要になり、コンテンツを伝送するための帯域が狭くなってしまう。
また、ストリームに独自の同期信号を付加することも提案されているが、この場合も伝送帯域をより圧迫することになる上、ストリームに同期信号を付加するための処理が必要になり、装置構成が複雑化してしまう欠点がある。
また、例えば、特開２００６−１４８６７９号公報では、データ処理装置が、データストリームを受信し、当該データストリームを複製し、データストリームに含まれる映像データの時刻情報と音声データの時刻情報を用いて映像と音声を同期させて再生することが記載されている。
特開２００６−１４８６７９号公報
しかし、特開２００６−１４８６７９号公報の手法では、データストリームを複製するための処理、複製したデータストリームを記憶するための記憶領域が必要になる。
本発明の目的は、画像再生装置と音声再生装置が分離している場合に、ストリームの伝送帯域を圧迫することなく、各再生装置が、より簡易に同期をとることが可能な同期再生システムを提供することである。
上記課題を解決するため、本発明に係る同期再生システムは、
画像データおよび音声データを含むマルチメディアデータに基づき、画像を再生する少なくとも１台の画像再生装置と、前記マルチメディアデータに基づき、音声を再生する音声再生装置とを含む同期再生システムにおいて、
前記音声再生装置は、
前記マルチメディアデータを、情報提供装置から第１の伝送路を介して受信する受信部と、
前記マルチメディアデータから前記音声データを分離する分離部と、
当該音声データに基づき、同期用データを生成する同期用データ生成部と、
当該同期用データを、前記画像再生装置へ向け前記第１の伝送路とは異なる第２の伝送路を介して送信する同期用データ送信部と、
を含み、
前記画像再生装置は、
前記マルチメディアデータを、前記情報提供装置から前記第１の伝送路を介して受信する受信部と、
前記マルチメディアデータから画像データおよび音声データを分離する分離部と、
当該画像データおよび当該音声データを記憶する記憶部と、
前記同期用データを、前記第２の伝送路を介して受信する同期用データ受信部と、
前記同期用データに基づき、前記記憶部に記憶された前記音声データから対応する音声データを決定するとともに、前記記憶部に記憶された画像データのうち、決定した音声データに対応する再生対象の画像データを決定するマッチング部と、
を含むことを特徴とする。
本発明によれば、同期再生システムは、ストリーム（マルチメディアデータ）が伝送される第１の伝送路とは異なる第２の伝送路を用いて同期用データを伝送することにより、第１の伝送路の伝送帯域を圧迫することなく、画像再生装置と音声再生装置が分離した状態で画像と音声を同期させることができる。
また、本発明によれば、同期再生システムは、元のストリームに独自の同期用データを付加したり、ストリームを複製したりすることなく、同期をとることができるため、各再生装置が、より簡易に同期をとることができる。
さらに、本発明によれば、同期再生システムは、音声データに基づく同期用データに基づいて対応する音声データを決定するとともに、決定した音声データに対応する再生対象の画像データを決定することにより、音声データと画像データが共通の同期情報を有していない場合であっても同期させやすく、より柔軟に同期をとることができる。
また、本発明に係る同期再生システムは、
画像データおよび音声データを含むマルチメディアデータに基づき、画像を再生する少なくとも１台の画像再生装置と、前記マルチメディアデータに基づき、音声を再生する音声再生装置とを含む同期再生システムにおいて、
前記音声再生装置は、
前記マルチメディアデータを、情報提供装置から第１の伝送路を介して受信する受信部と、
前記マルチメディアデータから前記音声データを分離する分離部と、
当該音声データに基づき、同期用データを生成する同期用データ生成部と、
当該同期用データを、前記画像再生装置へ向け前記第１の伝送路とは異なる第２の伝送路を介して送信する同期用データ送信部と、
を含み、
前記画像再生装置は、
前記マルチメディアデータを、前記情報提供装置から前記第１の伝送路を介して受信する受信部と、
前記マルチメディアデータから画像データを分離する分離部と、
当該画像データを記憶する記憶部と、
前記同期用データを、前記第２の伝送路を介して受信する同期用データ受信部と、
前記同期用データに基づき、再生対象の画像データを決定するマッチング部と、
を含むことを特徴とする。
本発明によれば、同期再生システムは、ストリーム（マルチメディアデータ）が伝送される第１の伝送路とは異なる第２の伝送路を用いて同期用データを伝送することにより、第１の伝送路の伝送帯域を圧迫することなく、画像再生装置と音声再生装置が分離した状態で画像と音声を同期させることができる。
また、本発明によれば、同期再生システムは、元のストリームに独自の同期用データを付加したり、ストリームを複製したりすることなく、同期をとることができるため、各再生装置が、より簡易に同期をとることができる。
さらに、本発明によれば、同期再生システムは、画像再生装置側で音声データを記憶することなく、同期をとることができるため、同期のために必要になる記憶容量をより抑制することができる。
また、前記同期再生システムにおいて、
前記同期用データは、音声データの再生予定時刻を示すパターンデータを含み、
前記マッチング部は、当該パターンデータに基づき、前記再生対象の画像データを決定してもよい。
これによれば、同期再生システムは、時刻を基準にして同期をとることができる。
また、前記同期再生システムにおいて、
前記同期用データは、音声データの一部を示すパターンデータを含み、
前記マッチング部は、前記パターンデータに基づき、前記記憶部に記憶された前記音声データから対応する音声データを決定してもよい。
これによれば、同期再生システムは、音声データの一部を用いて同期をとることができる。これにより、同期再生システムは、音声データに時刻情報が含まれない場合であっても同期をとることができ、より多種類の音声データに対応することができる。
また、前記同期再生システムにおいて、
前記マルチメディアデータは、前記情報提供装置によって複数のパケットに分割されて送信され、
前記同期用データは、パケット識別情報を示すパターンデータを含み、
前記マッチング部は、当該パケット識別情報に基づき、前記再生対象の画像データを決定してもよい。
これによれば、同期再生システムは、パケット識別データを用いて同期をとるできるため、音声データの一部を用いて同期をとる場合と比べ、第２の伝送路における伝送帯域の占有量をより低減できる。
また、前記同期再生システムにおいて、
前記同期用データ生成部は、前記音声データの種別を判定するとともに、当該種別に基づき、当該種別を示す種別データおよび前記パターンデータを含む前記同期用データを生成してもよい。
これによれば、同期再生システムは、音声データの種別に適した同期用データを用いて同期をとることができる。
また、前記同期再生システムにおいて、
前記マッチング部は、前記種別データに基づき、マッチング手法を決定してもよい。
これによれば、同期再生システムは、音声データの種別に適した同期用データを用いて同期をとることができる。より具体的には、マッチング部は、例えば、音声データに再生予定時刻が含まれる場合は当該再生予定時刻を検索キーとしてマッチングし、音声データにパケット識別情報が含まれる場合は当該パケット識別情報を検索キーとしてマッチングし、音声データに再生予定時刻もパケット識別情報も含まれない場合は当該音声データの一部のデータ列を検索キーとしてマッチングすることができる。
以下、本発明を同期再生システムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
（第１の実施例）
図１は、第１の実施例における同期再生システムの機能ブロック図である。
本実施例における同期再生システムは、画像再生装置の一種であるセットトップボックス１００と、音声再生装置の一種であるアンプ２００とを含んで構成されている。
ユーザーは、セットトップボックス１００から情報提供装置３００に所望のマルチメディアデータ（例えば、映画、ドラマ等）の配信を要求する。
情報提供装置３００は、当該要求に応じてインターネット４１０を介して画像データおよび音声データを含むマルチメディアデータを、セットトップボックス１００とアンプ２００にマルチキャスト送信する。ここで、マルチメディアデータは、例えば、ストリームの一種であるＭＰＥＧ２−ＴＳ（Moving Picture Experts Group 2 Transport Stream）であり、１８８バイトの複数のパケットに分割されて送信される。
以下、ＭＰＥＧ２−ＴＳを用いてビデオオンデマンド方式で、セットトップボックス１００とアンプ２００が画像（映像）と音声を同期して再生する場合を例に採り説明する。
アンプ２００は、パケットを、情報提供装置３００から第１の伝送路であるインターネット４１０を介して受信する受信部２１０と、当該パケットから音声データを分離する分離部２２０と、当該音声データを音声データのフォーマットにデコードする音声１次デコード部２３０と、デコードされた音声データを出力するデジタル音声出力部２４０と、デジタル音声出力部２４０からの音声データに基づき、同期用データを生成する同期用データ生成部２５０と、当該同期用データを、セットトップボックス１００へ向け第２の伝送路である赤外通信路４２０を介して送信する同期用データ送信部２６０とを含んで構成されている。
また、アンプ２００は、音声１次デコード部２３０によってデコードされた音声データ（例えば、ＡＣ３データ等）を、さらにデジタルデータ（単なるビット列）にデコードする音声２次デコード部２７０と、当該デジタルデータをアナログ信号に変換するデジタルアナログ変換部２７２と、当該アナログ信号を増幅する増幅部２７４と、増幅された信号をスピーカー２９０に出力する出力部２８０とを含んで構成されている。
また、セットトップボックス１００は、パケットを、情報提供装置３００からインターネット４１０を介して受信する受信部１１０と、当該パケットから画像データおよび音声データを分離する分離部１２０と、当該画像データおよび当該音声データを各データのフォーマットにデコードする画像音声１次デコード部１３０と、デコードされたデータを画像データ群１４２および音声データ群１４４として記憶する記憶部１４０とを含んで構成されている。
また、セットトップボックス１００は、アンプ２００からの同期用データを、赤外通信路４２０を介して受信する同期用データ受信部１５０と、当該同期用データに基づき、音声データ群１４４から対応する音声データを決定するとともに、画像データ群１４２のうち、決定した音声データに対応する再生対象の画像データを決定するマッチング部１６０と、決定された画像データをデジタルデータ（単なるビット列）にデコードする画像２次デコード部１７０と、当該デジタルデータをプロジェクタ１９０に出力する出力部１８０とを含んで構成されている。
なお、これらの各部の機能を実装するためのハードウェアとしては、例えば、以下のものを採用してもよい。例えば、デジタル音声出力部２４０としては、光デジタル音声信号を出力するデジタル音声出力インターフェース等、同期用データ生成部２５０、マッチング部１６０としては、ＣＰＵ等、同期用データ送信部２６０、同期用データ受信部１５０としては、赤外通信インターフェース等を採用してもよい。なお、これら以外の各部は、セットトップボックス１００やアンプ２００に備わっているハードウェアをそのまま使用可能である。また、受信部１１０および受信部２１０の機能は、各再生装置の外部のモデム等を共通で使用することによって実装してもよい。また、デジタル音声出力部２４０を省略し、音声１次デコード部２３０から同期用データ生成部２５０に１次デコード後音声データを出力してもよい。
次に、これらの各部を用いた処理の流れについて説明する。まず、アンプ２００における処理の流れについて説明する。
図２は、第１の実施例におけるアンプ２００における処理の流れを示すフローチャートである。また、図３は、第１の実施例におけるアンプにおけるデータの変化を示す模式図であり、図３（Ａ）は、マルチメディアデータを示す模式図であり、図３（Ｂ）は、パケットデータを示す模式図であり、図３（Ｃ）は、分離後の音声データを示す模式図であり、図３（Ｄ）は、同期用データと１次デコード後の音声データを示す模式図である。
情報提供装置３００は、図３（Ａ）に示すマルチメディアデータを複数のパケットに分割して図３（Ｂ）に示すＭＰＥＧ２−ＴＳ（ストリーム）としてセットトップボックス１００およびアンプ２００に配信する。
受信部２１０は、インターネット４１０を介して情報提供装置３００からの複数のパケットを先頭のパケットから順次受信する（ステップＳ１）。なお、各パケットは、ヘッダ部（Ｈ）とデータ部（画像データ（Ｖ１等）、音声データ（Ａ１等）等）で構成されている。また、ヘッダ部には、パケットの種別を識別するためのＰＩＤ（Packet Identifier）、パケット番号を示すカウンタ等が含まれる。また、データ部は、基本的には画像データまたは音声データであるが、制御データ等であってもよい。
分離部２２０は、複数のパケットを組み立てて元の音声データを分離する（ステップＳ２）。これにより、図３（Ｃ）に示す音声データが生成される。なお、ＭＰＥＧ２−ＴＳでは、この分離はＤＥＭＵＸ（De-multiplex）と呼ばれ、分離された音声データは音声エレメンタリストリームと呼ばれる。
音声１次デコード部２３０は、音声データを１次デコードする（ステップＳ３）。これにより、図３（Ｄ）に示す１次デコード後音声データが生成される。なお、本実施例では、音声データのフォーマットとしてＡＣ３（Audio Code number 3）を用いている。
デジタル音声出力部２４０は、デコード後の音声データをデジタル出力し、同期用データ生成部２５０は、当該音声データに基づき、図３（Ｄ）に示す同期用データを生成する（ステップＳ４）。具体的には、同期用データ生成部２５０は、ＡＣ３のヘッダから音声データの種別を判定し、ＡＣ３のtimecod1とtimecod2から再生予定時刻を判定し、同期用データ送信部２６０での通信に適したヘッダ、音声データの種別を示す種別データ、当該音声データの再生予定時刻を示す再生予定時刻データを含む同期用データを生成する。
同期用データ送信部２６０は、当該同期用データを、赤外通信路４２０に適した形式に変調し、赤外通信路４２０を介してセットトップボックス１００へ向け送信する（ステップＳ５）。
なお、音声２次デコード部２７０は、１次デコードされた音声データをデジタル値に変換し、デジタルアナログ変換部２７２は、当該デジタル値をアナログ信号に変換し、増幅部２７４は、当該アナログ信号を増幅し、出力部２８０は、当該アナログ信号をスピーカー２９０に出力し、スピーカー２９０は、当該アナログ信号に基づく音声を出力する。この処理の流れは一般的なＭＰＥＧ２における音声の再生と同様である。
次に、セットトップボックス１００における処理について説明する。
図４は、第１の実施例におけるセットトップボックス１００における処理の流れを示すフローチャートである。また、図５は、第１の実施例におけるセットトップボックスにおけるデータの変化を示す模式図であり、図５（Ａ）は、マルチメディアデータを示す模式図であり、図５（Ｂ）は、パケットデータを示す模式図であり、図５（Ｃ）は、分離後の画像データおよび音声データを示す模式図であり、図５（Ｄ）は、１次デコード後の画像データおよび音声データを示す模式図であり、図５（Ｅ）は、同期用データを示す模式図である。
情報提供装置３００は、図５（Ａ）に示すマルチメディアデータを複数のパケットに分割して図５（Ｂ）に示すＭＰＥＧ２−ＴＳ（ストリーム）としてセットトップボックス１００およびアンプ２００に配信する。
受信部１１０は、インターネット４１０を介して情報提供装置３００からの複数のパケットを順次受信する（ステップＳ１１）。
分離部１２０は、複数のパケットを組み立てて元の画像データおよび音声データを分離する（ステップＳ１２）。これにより、図５（Ｃ）に示す画像データおよび音声データが生成される。
画像音声１次デコード部１３０は、画像データおよび音声データを１次デコードする（ステップＳ１３）。これにより、図５（Ｄ）に示す１次デコード後画像データおよび１次デコード後音声データが生成される。なお、本実施例では、画像データのフォーマットとしてＨＤ（High Definition）解像度のＭＰＥＧ−２Ｖｉｄｅｏを、音声データのフォーマットとしてＡＣ３を用いている。
そして、画像音声１次デコード部１３０は、１次デコード後の各データを画像データ群１４２、音声データ群１４４の一部として記憶部１４０に記憶する（ステップＳ１４）。
また、同期用データ受信部１５０は、アンプ２００からの図５（Ｅ）に示す同期用データを、赤外通信路４２０を介して受信する（ステップＳ１５）。なお、同期用データ受信部１５０は、同期用データが変調されている場合（例えば、デジタル値が赤外光に変わっている場合等）は復調（例えば、赤外光をデジタル値に戻す等）して受信する。
マッチング部１６０は、同期用データに含まれる種別データに基づき、対象の音声データがＡＣ３であることを判定し、同期用データに含まれる再生予定時刻データを参照し、当該再生予定時刻と適合する音声データを音声データ群１４４から検索して決定する（ステップＳ１６）。
そして、マッチング部１６０は、決定した音声データに対応する再生対象の画像データを画像データ群１４２から検索して決定する（ステップＳ１７）。具体的には、例えば、画像データに再生予定時刻が含まれる場合は当該再生予定時刻が音声データの再生予定時刻と一致する画像データが再生対象の画像データとして決定される。また、例えば、画像データにパケットの連続番号（パケット識別情報）が含まれる場合は当該連続番号が、音声データの連続番号に最も近い画像データが再生対象の画像データとして決定される。
そして、マッチング部１６０は、現在時刻（例えば、画像２次デコード部１７０での再生時刻、セットトップボックス１００でのシステムタイマーの時刻等）と再生対象の画像データの再生予定時刻に基づき、再生タイミングを調整（例えば、画像２次デコード部１７０に再生すべき画像データを指示、画像データの補間、間引き等）し、画像２次デコード部１７０は、ＨＤ解像度のＭＰＥＧ−２Ｖｉｄｅｏフォーマットの画像データをデジタル値にデコードし、出力部１８０は、当該デジタル値をプロジェクタ１９０に出力し、プロジェクタ１９０は、当該デジタル値に基づいて画像を投写することにより、画像データを再生する（ステップＳ１８）。なお、画像と音声の同期手法自体は、一般的な手法であり、マッチング部１６０は、画像に対する音声の遅延が０〜３０ミリ秒程度に収まるように画像の再生タイミングを調整する。
以上のように、本実施例によれば、同期再生システムは、ストリームが伝送されるインターネット４１０とは異なる伝送路である赤外通信路４２０を用いて同期用データを伝送することにより、インターネット４１０の伝送帯域を圧迫することなく、画像再生装置と音声再生装置が分離した状態で画像と音声を同期させることができる。
また、同期用データには、音声データは含まれないため、同期再生システムは、セットトップボックス１００やアンプ２００が有している赤外通信等の比較的低速な伝送路を用いることができ、新たなハードウェアを追加することなく、かつ、省電力で同期をとることができる。
また、本実施例によれば、同期再生システムは、元のストリームに独自の同期用データを付加したり、ストリームを複製したりすることなく、同期をとることができるため、各再生装置が、より簡易に同期をとることができる。
さらに、本実施例によれば、同期再生システムは、音声データに基づく同期用データに基づいて対応する音声データを決定するとともに、決定した音声データに対応する再生対象の画像データを決定することにより、音声データと画像データが共通の同期情報（例えば、再生予定時刻情報等）を有していない場合であっても同期させやすく、より柔軟に同期をとることができる。
具体的には、例えば、音声データには再生予定時刻情報、パケット識別情報が含まれ、画像データには再生予定時刻情報が含まれず、パケット識別情報のみが含まれる場合、マッチング部１６０は、同期用データに含まれる再生予定時刻情報から再生対象の画像データを直接決定することはできないが、当該再生予定時刻情報と一致する音声データを決定し、当該音声データのパケット識別情報から再生対象の画像データを決定することができる。
（第２の実施例）
第１の実施例では、画像再生装置が音声データも記憶し、同期用データと当該音声データを用いて同期をとっているが、画像再生装置は、音声データを記憶せず、同期用データと画像データを用いて同期をとってもよい。次に、この同期方式の処理手順について説明する。
図６は、第２の実施例における画像再生装置における処理の流れを示すフローチャートである。
本実施例では、画像データおよび音声データには共通の再生予定時刻情報が含まれるものとする。なお、再生予定時刻情報としては、例えば、ＰＴＳ（Presentation Time Stamp）等が該当する。
受信部１１０は、インターネット４１０を介して情報提供装置３００からの複数のパケットを順次受信する（ステップＳ１１）。
分離部１２０は、複数のパケットを組み立てて元の画像データを分離する（ステップＳ２２）。
画像音声１次デコード部１３０は、画像データを１次デコードする（ステップＳ２３）。なお、本実施例では、画像音声１次デコード部１３０は、画像データのデコード機能のみを有していればよい。
そして、画像音声１次デコード部１３０は、１次デコード後の画像データを画像データ群１４２として記憶部１４０に記憶する（ステップＳ２４）。なお、本実施例では、記憶部１４０に音声データ群１４４は記憶されない。
また、同期用データ受信部１５０は、アンプ２００からの同期用データを、赤外通信路４２０を介して受信する（ステップＳ２５）。なお、本実施例では、同期用データは、種別データを有していなくてもよく、再生予定時刻データを有していればよい。
マッチング部１６０は、同期用データに含まれる再生予定時刻データを参照し、当該再生予定時刻と適合する画像データを画像データ群１４２から検索して決定する（ステップＳ２６）。
そして、マッチング部１６０等は、現在時刻と再生対象の画像データの再生予定時刻に基づき、再生タイミングを調整して画像データを再生する（ステップＳ１８）。
以上のように、第２の実施例によれば、同期再生システムは、第１の実施例と同様の作用効果を奏することができる。
さらに、本実施例によれば、同期再生システムは、画像再生装置側で音声データを記憶することなく、同期をとることができるため、同期のために必要になる記憶容量をより抑制することができる。
（その他の実施例）
なお、本発明の適用は、上述した実施例に限定されず、種々の変形が可能である。
例えば、上述した実施例では、同期用データのパターンデータとして、再生予定時刻を示すパターンデータを採用したが、音声データに再生予定時刻が含まれない場合は音声データのパケット識別情報を示すパターンデータを用いてもよく、音声データに再生予定時刻もパケット識別情報も含まれない場合は音声データの一部（例えば、音声データの先頭から数バイトのデータ等）を示すパターンデータを用いてもよい。
これによれば、同期再生システムは、音声データに再生予定時刻情報が含まれない場合であっても、同期をとることができるため、より種々のパターンの音声データに対応することができる。
例えば、上述した実施例では、音声データのフォーマットはＡＣ３であったが、例えば、ＬＰＣＭ（Linear Pulse Code Modulation）、ＤＴＳ（Digital Theater Systems）、ＭＰＥＧ１レイヤー２等であってもよい。
また、画像再生装置は、セットトップボックス１００とプロジェクタ１９０の組み合わせには限定されず、例えば、ＴＶ、モニター、ＰＣ（Personal Computer）等の画像出力が可能な種々のであってもよい。
また、１台の音声再生装置と、複数台の画像再生装置を同期させる場合にも本発明は有効である。具体的には、例えば、展示会場において、複数のモニターを並べて１つの大きな画像を表示しながらスピーカーから音声を出力する同期再生システム等にも本発明は有効である。
また、音声再生装置は、アンプ２００とスピーカーの組み合わせには限定されず、セットトップボックス、ＴＶ等の音声出力が可能な種々の装置を採用可能である。
また、第１の伝送路は、インターネット４１０には限定されず、例えば、家庭内ネットワーク等であってもよい。
また、情報提供装置３００の送信方式は、マルチキャスト方式には限定されず、例えば、ユニキャスト方式等であってもよい。
また、上述した実施例では、マルチメディアデータは複数のパケットに分割されて各再生装置に配信されたが、例えば、第１の伝送路が高速大容量の伝送路である場合、マルチメディアデータは単一のストリームとしてフレームごとに各再生装置に配信されてもよい。
また、第２の伝送路は、赤外通信路４２０には限定されず、例えば、レーザー通信路等の種々の無線伝送路、ＩＥＥＥ１３９４ケーブル、ＵＳＢケーブル等を用いた種々の有線伝送路であってもよい。
また、上述した実施例では、各再生装置は、１次デコード、２次デコードを行っているが、デコードの手法は任意であり、２回デコードを行うことは必須ではない。
また、上述した実施例では、ストリームとして、ＭＰＥＧ２−ＴＳを用いているが、その他のＭＰＥＧ等のストリームを用いてもよい。
第１の実施例における同期再生システムの機能ブロック図である。 第１の実施例におけるアンプにおける処理の流れを示すフローチャートである。 第１の実施例におけるアンプにおけるデータの変化を示す模式図であり、図３（Ａ）は、マルチメディアデータを示す模式図であり、図３（Ｂ）は、パケットデータを示す模式図であり、図３（Ｃ）は、分離後の音声データを示す模式図であり、図３（Ｄ）は、同期用データと１次デコード後の音声データを示す模式図である。 第１の実施例におけるセットトップボックスにおける処理の流れを示すフローチャートである。 第１の実施例におけるセットトップボックスにおけるデータの変化を示す模式図であり、図５（Ａ）は、マルチメディアデータを示す模式図であり、図５（Ｂ）は、パケットデータを示す模式図であり、図５（Ｃ）は、分離後の画像データおよび音声データを示す模式図であり、図５（Ｄ）は、１次デコード後の画像データおよび音声データを示す模式図であり、図５（Ｅ）は、同期用データを示す模式図である。 第２の実施例における画像再生装置における処理の流れを示すフローチャートである。
符号の説明
１００ セットトップボックス（画像再生装置）、１１０、２１０ 受信部、１２０、２２０ 分離部、１５０ 同期用データ受信部、１６０ マッチング部、２００ アンプ（音声再生装置）、２５０ 同期用データ生成部、２６０ 同期用データ送信部、３００ 情報提供装置、４１０ インターネット（第１の伝送路）、４２０ 赤外通信路（第２の伝送路）

Claims (7)

  1. 画像データおよび音声データを含むマルチメディアデータに基づき、画像を再生する少なくとも１台の画像再生装置と、前記マルチメディアデータに基づき、音声を再生する音声再生装置とを含む同期再生システムにおいて、
    前記音声再生装置は、
    前記マルチメディアデータを、情報提供装置から第１の伝送路を介して受信する受信部と、
    前記マルチメディアデータから前記音声データを分離する分離部と、
    当該音声データに基づき、同期用データを生成する同期用データ生成部と、
    当該同期用データを、前記画像再生装置へ向け前記第１の伝送路とは異なる第２の伝送路を介して送信する同期用データ送信部と、
    を含み、
    前記画像再生装置は、
    前記マルチメディアデータを、前記情報提供装置から前記第１の伝送路を介して受信する受信部と、
    前記マルチメディアデータから画像データおよび音声データを分離する分離部と、
    当該画像データおよび当該音声データを記憶する記憶部と、
    前記同期用データを、前記第２の伝送路を介して受信する同期用データ受信部と、
    前記同期用データに基づき、前記記憶部に記憶された前記音声データから対応する音声データを決定するとともに、前記記憶部に記憶された画像データのうち、決定した音声データに対応する再生対象の画像データを決定するマッチング部と、
    を含むことを特徴とする同期再生システム。
  2. 画像データおよび音声データを含むマルチメディアデータに基づき、画像を再生する少なくとも１台の画像再生装置と、前記マルチメディアデータに基づき、音声を再生する音声再生装置とを含む同期再生システムにおいて、
    前記音声再生装置は、
    前記マルチメディアデータを、情報提供装置から第１の伝送路を介して受信する受信部と、
    前記マルチメディアデータから前記音声データを分離する分離部と、
    当該音声データに基づき、同期用データを生成する同期用データ生成部と、
    当該同期用データを、前記画像再生装置へ向け前記第１の伝送路とは異なる第２の伝送路を介して送信する同期用データ送信部と、
    を含み、
    前記画像再生装置は、
    前記マルチメディアデータを、前記情報提供装置から前記第１の伝送路を介して受信する受信部と、
    前記マルチメディアデータから画像データを分離する分離部と、
    当該画像データを記憶する記憶部と、
    前記同期用データを、前記第２の伝送路を介して受信する同期用データ受信部と、
    前記同期用データに基づき、再生対象の画像データを決定するマッチング部と、
    を含むことを特徴とする同期再生システム。
  3. 請求項１、２のいずれかに記載の同期再生システムにおいて、
    前記同期用データは、音声データの再生予定時刻を示すパターンデータを含み、
    前記マッチング部は、当該パターンデータに基づき、前記再生対象の画像データを決定することを特徴とする同期再生システム。
  4. 請求項１に記載の同期再生システムにおいて、
    前記同期用データは、音声データの一部を示すパターンデータを含み、
    前記マッチング部は、前記パターンデータに基づき、前記記憶部に記憶された前記音声データから対応する音声データを決定することを特徴とする同期再生システム。
  5. 請求項１、２のいずれかに記載の同期再生システムにおいて、
    前記マルチメディアデータは、前記情報提供装置によって複数のパケットに分割されて送信され、
    前記同期用データは、パケット識別情報を示すパターンデータを含み、
    前記マッチング部は、当該パケット識別情報に基づき、前記再生対象の画像データを決定することを特徴とする同期再生システム。
  6. 請求項３〜５のいずれかに記載の同期再生システムにおいて、
    前記同期用データ生成部は、前記音声データの種別を判定するとともに、当該種別に基づき、当該種別を示す種別データおよび前記パターンデータを含む前記同期用データを生成することを特徴とする同期再生システム。
  7. 請求項６に記載の同期再生システムにおいて、
    前記マッチング部は、前記種別データに基づき、マッチング手法を決定することを特徴とする同期再生システム。
JP2006257457A 2006-09-22 2006-09-22 同期再生システム Expired - Fee Related JP4362734B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006257457A JP4362734B2 (ja) 2006-09-22 2006-09-22 同期再生システム
US11/898,860 US8509605B2 (en) 2006-09-22 2007-09-17 Synchronized reproduction system and synchronized reproduction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006257457A JP4362734B2 (ja) 2006-09-22 2006-09-22 同期再生システム

Publications (2)

Publication Number Publication Date
JP2008079114A true JP2008079114A (ja) 2008-04-03
JP4362734B2 JP4362734B2 (ja) 2009-11-11

Family

ID=39225062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006257457A Expired - Fee Related JP4362734B2 (ja) 2006-09-22 2006-09-22 同期再生システム

Country Status (2)

Country Link
US (1) US8509605B2 (ja)
JP (1) JP4362734B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004520A (ja) * 2008-05-23 2010-01-07 Yamaha Corp Ａｖシステム
JP2011045086A (ja) * 2009-08-24 2011-03-03 Samsung Electronics Co Ltd 再生同期化方法及びこれを適用したデバイス｛Ｍｅｔｈｏｄｆｏｒｐｌａｙｓｙｎｃｈｒｏｎｉｚａｔｉｏｎａｎｄｄｅｖｉｃｅｕｓｉｎｇｔｈｅｓａｍｅ｝
JP2013078048A (ja) * 2011-09-30 2013-04-25 Toshiba Corp 情報再生装置及び情報再生方法
JP2013081155A (ja) * 2012-07-26 2013-05-02 Toshiba Corp 情報再生装置及び情報再生方法
JP2014519769A (ja) * 2011-06-10 2014-08-14 コニンクリジケ ケーピーエヌ エヌブィー 複数モジュールから同期されたユーザー体験を提供する方法及びシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366972B2 (en) * 2005-04-29 2008-04-29 Microsoft Corporation Dynamically mediating multimedia content and devices
JP5094478B2 (ja) * 2008-03-06 2012-12-12 株式会社日立製作所 受信装置
US9226011B2 (en) * 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
CN108353228B (zh) * 2015-11-19 2021-04-16 香港科技大学 一种信号分离的方法、系统和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104681B2 (ja) * 1998-06-10 2000-10-30 日本電気株式会社 オーディオ・ビデオ同期再生方法および装置
JP2006148679A (ja) * 2004-11-22 2006-06-08 Matsushita Electric Ind Co Ltd データ処理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010004520A (ja) * 2008-05-23 2010-01-07 Yamaha Corp Ａｖシステム
JP2011045086A (ja) * 2009-08-24 2011-03-03 Samsung Electronics Co Ltd 再生同期化方法及びこれを適用したデバイス｛Ｍｅｔｈｏｄｆｏｒｐｌａｙｓｙｎｃｈｒｏｎｉｚａｔｉｏｎａｎｄｄｅｖｉｃｅｕｓｉｎｇｔｈｅｓａｍｅ｝
JP2014519769A (ja) * 2011-06-10 2014-08-14 コニンクリジケ ケーピーエヌ エヌブィー 複数モジュールから同期されたユーザー体験を提供する方法及びシステム
JP2013078048A (ja) * 2011-09-30 2013-04-25 Toshiba Corp 情報再生装置及び情報再生方法
US8464305B2 (en) 2011-09-30 2013-06-11 Kabushiki Kaisha Toshiba Content reproduction apparatus and content reproduction method
JP2013081155A (ja) * 2012-07-26 2013-05-02 Toshiba Corp 情報再生装置及び情報再生方法

Also Published As

Publication number Publication date
US20080075428A1 (en) 2008-03-27
JP4362734B2 (ja) 2009-11-11
US8509605B2 (en) 2013-08-13

Similar Documents

Publication Publication Date Title
JP4362734B2 (ja) 同期再生システム
JP4668515B2 (ja) マルチメディアコンテンツに同期化されたメタデータ伝送装置及び方法
JP6737922B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP6184408B2 (ja) 受信装置及びその受信方法
JP4983923B2 (ja) デコーダ装置、およびデコード方法
WO2005043783A1 (ja) 携帯端末向け伝送方法及び装置
JP2005278152A (ja) 映像音声再生装置及び映像音声再生方法
JP2007053668A (ja) 動画配信システムおよび動画配信サーバー
JPWO2012067219A1 (ja) コンテンツデータ生成装置、コンテンツデータ生成方法、コンピュータプログラムおよび記録媒体
WO2004077825A1 (ja) データ処理装置および方法
JP2009272945A (ja) 同期再生装置
JP5841715B2 (ja) 映像音声出力装置、および映像音声出力システム、およびマスタ装置
JP2005123789A (ja) Ａｖ同期システム
US20040042459A1 (en) Method and system for co-relating transport packets on different channels using a packet prioritization scheme
US8238446B2 (en) Method and apparatus for reproducing digital broadcasting
JP2013532432A (ja) 単一の復号器でチャンネル変更を可能にする受信機および該受信機での方法
JP7275212B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP4534168B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2006148679A (ja) データ処理装置
US20100166382A1 (en) Video and audio reproduction system, distribution device, and synchronization adjustment method
JP2000188752A (ja) 多重分離制御装置
JP3944845B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2008131341A (ja) 映像音声再生システムと映像再生装置
US20110110641A1 (en) Method for real-sense broadcasting service using device cooperation, production apparatus and play apparatus for real-sense broadcasting content thereof
JP2008153955A (ja) 映像記録再生装置、その特殊再生方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090804

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4362734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees