JP2019115071A - 受信方法、及び、受信装置 - Google Patents

受信方法、及び、受信装置 Download PDF

Info

Publication number
JP2019115071A
JP2019115071A JP2019062613A JP2019062613A JP2019115071A JP 2019115071 A JP2019115071 A JP 2019115071A JP 2019062613 A JP2019062613 A JP 2019062613A JP 2019062613 A JP2019062613 A JP 2019062613A JP 2019115071 A JP2019115071 A JP 2019115071A
Authority
JP
Japan
Prior art keywords
content
communication
broadcast
buffer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019062613A
Other languages
English (en)
Other versions
JP6982021B2 (ja
Inventor
賀敬 井口
Yoshitaka Iguchi
賀敬 井口
遠間 正真
Tadamasa Toma
正真 遠間
西 孝啓
Takahiro Nishi
孝啓 西
加藤 久也
Hisaya Kato
久也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2019115071A publication Critical patent/JP2019115071A/ja
Priority to JP2021187672A priority Critical patent/JP7410107B2/ja
Application granted granted Critical
Publication of JP6982021B2 publication Critical patent/JP6982021B2/ja
Priority to JP2023215682A priority patent/JP2024023782A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13Arrangements for device control affected by the broadcast information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18Arrangements for synchronising broadcast or distribution via plural systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる受信方法を提供する。【解決手段】受信方法は、放送通信連携サービスにおける受信方法であって、放送によって送信される放送コンテンツを受信し、通信によって送信される通信コンテンツを、受信される放送コンテンツに同期させて再生するための情報であって、通信コンテンツの取得に関連する情報である取得情報を、放送を通じて受信し(S203)、受信された取得情報に基づいて通信コンテンツを取得する(S205)。【選択図】図19

Description

本発明は、放送及び通信のそれぞれを通じて得られる映像、音声、及び字幕などのコンテンツを同期再生させるための受信方法等に関する。
近年、放送と通信とを連携させた様々なサービスが提案されている。
このようなサービスを享受する装置として、例えば、次のような受信装置が提案されている(例えば、特許文献1、2、3参照)。
受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信し、放送コンテンツと通信コンテンツとを同期させて提示する。
特開2013−9332号公報 特開2013−9359号公報 特開2013−9341号公報
放送コンテンツは、通常、所定の時刻に放送局から送信される。このため、放送コンテンツと通信コンテンツとを同期させて提示(再生)する場合、受信装置は、放送コンテンツの受信に応じて通信コンテンツを取得して再生する。
しかしながら、受信装置においては、通信コンテンツ用のバッファの容量などの通信コンテンツの取得に対する制限がある。このため、受信装置の通信コンテンツの取得方法については検討の余地がある。
本発明は、放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる受信方法等を提供する。
本発明の一態様に係る受信方法は、放送通信連携サービスにおける受信方法であって、放送によって送信される放送コンテンツを受信し、通信によって送信される通信コンテンツを、受信される前記放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報である取得情報を、放送を通じて受信し、受信された前記取得情報に基づいて前記通信コンテンツを取得する。
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の一態様に係る受信方法によれば、放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる。
図1は、本発明の実施の形態1に係る受信装置1の構成を示すブロック図である。 図2は、図1のバッファ13及びバッファ22の一構成例を示すブロック図である。 図3は、図1の受信装置1におけるコンテンツ提示の状態遷移の一例を示す図である。 図4は、図1の受信装置1における放送コンテンツと通信コンテンツとの同期提示方法の一例を説明するための信号イメージを示す図である。 図5は、図1の受信装置1による放送コンテンツと通信コンテンツとの同期提示方法の処理動作の一例を示すフローチャートである。 図6は、同期提示方法の他の例を説明するための信号イメージを示す図である。 図7は、同期提示方法の更に他の例を説明するための信号イメージを示す図である。 図8は、同期提示方法の処理動作の他の例を示すフローチャートである。 図9は、実施の形態1の一の変形例に係る受信装置1Aの構成を示すブロック図である。 図10は、実施の形態1の他の変形例に係る受信装置1Bの構成を示すブロック図である。 図11は、設定メニュー画面の一例を示す図である。 図12は、同期提示方法設定画面の一例を示す図である。 図13は、同期提示マニュアル設定画面の一例を示す図である。 図14は、本発明の実施の形態2に係る受信装置100の構成を示すブロック図である。 図15は、図14の制御管理部141の一構成例を示すブロック図である。 図16は、図14の受信装置100の放送通信受信開始後の遅延バッファ及びデジッタバッファの初期動作の一例を示すフローチャートである。 図17は、図14の制御方法決定部174による制御方法決定動作の一例を示すフローチャートである。 図18は、実施の形態2の一の変形例に係る受信装置100Aの構成を示すブロック図である。 図19は、実施の形態3に係る受信装置の通信コンテンツの取得動作の一例を示すフローチャートである。 図20は、通信コンテンツの取得を含む同期再生動作の一例を示すフローチャートである。 図21は、プログラムの途中で放送通信連携サービスが開始される動作の一例を示すフローチャートである。 図22は、通信コンテンツの場ファリング動作の一例を示すフローチャートである。 図23は、通信コンテンツが任意の時間に取得可能かどうかの判定の一例を示すフローチャートである。 図24は、放送コンテンツの遅延提示が認められない場合の動作の一例を示すフローチャートである。 図25は、送信装置の構成を示すブロック図である。 図26は、送信装置の動作の一例を示すフローチャートである。
(発明の基礎となった知見1)
特許文献1に記載の受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信する。そして、受信装置は、受信した放送コンテンツを一時的に第1同期用バッファに格納し、受信した通信コンテンツを一時的に第2同期用バッファに格納する。受信装置は、命令実行部により指定された時間に応じて、第1同期用バッファ及び第2同期用バッファのいずれか一方から出力されるコンテンツの出力時間を制御し、放送コンテンツ及び通信コンテンツのいずれか一方の提示を遅延させる。これにより、受信時刻が異なる放送コンテンツと通信コンテンツとを同期して提示することを可能としている。
また、特許文献2に記載の受信装置は、放送コンテンツの提示を遅延させることによって放送コンテンツと通信コンテンツとの提示を同期させる。この受信装置において、外部からの操作又は外部からの制御信号を契機に通信コンテンツを取得し、通信コンテンツの取得完了後に放送コンテンツを通常提示しているときの提示時刻よりも遅延させて提示する遅延提示を開始する。これにより、通信コンテンツの取得中も、放送コンテンツを通常提示することを可能としている。
上述した特許文献1及び特許文献2に記載された従来の受信装置では、放送コンテンツを再生し、通信コンテンツを再生していない状態から、放送コンテンツと通信コンテンツとの両方を再生する状態に切り替える際に、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間に応じて、放送コンテンツの提示を遅延させる必要がある。これにより、視聴者に提示される放送コンテンツは、一時的に途切れることになる。これは、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間が大きい程、視聴者に大きな影響を与えることになる。
また、通信コンテンツの受信時刻に対して放送コンテンツの受信時刻が遅延している場合も同様の課題が発生する。すなわち、通信コンテンツを再生し、放送コンテンツを再生していない状態から、通信コンテンツと放送コンテンツとの両方を再生する状態に切り替える際に、通信コンテンツの受信時刻に対する放送コンテンツの受信時刻の遅延時間に応じて、通信コンテンツの提示を遅延させる必要がある。これにより、視聴者に提示される通信コンテンツは、一時的に途切れることになる。これは、通信コンテンツの受信時刻に対する放送コンテンツの受信時刻の遅延時間が大きい程、視聴者に大きな影響を与えることになる。
しかしながら、これまでのところ、この課題に対する技術的な解決策が検討されていない。
そこで、発明者らは、この課題に対する技術的な解決策を検討した。
この検討の結果、発明者らは、例えば、放送コンテンツの提示を遅延させる前後又は通信コンテンツの提示を遅延させる前後で放送と通信との同期に関する通知を視聴者に行うことにより、視聴者に与える影響の軽減が図られるとの知見を得た。
以下、この知見に基づいて得た解決策に基づく実施の形態等について説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る放送通信連携受信装置である受信装置1の構成を示すブロック図である。
受信装置1は、デジタル放送受信部11、分離部12、バッファ13、復号部14、通信送受信部21、バッファ22、復号部23、コンテンツ生成部31、通信送受信部41、操作入力部42、及び制御部51を備える。
但し、受信装置1は、例えば、テレビ受信機、ポータブルテレビ、レコーダ、セットトップボックス、スマートフォン、タブレット等のデバイスである。
デジタル放送受信部11は、外部の放送アンテナ3によって受信されたデジタル放送信号を入力とする。そして、デジタル放送受信部11は、デジタル放送信号から所望のチャネルを選局し、選局した所望のチャネルのデジタル放送信号に対して復調処理及び誤り訂正処理等を行い、トランスポートストリームを生成して分離部12へ出力する。なお、受信装置1が放送アンテナ3を内部に備えるようにしてもよい。
但し、デジタル放送とは、例えば、地上デジタル放送、BS(Broadcasting Satellite)デジタル放送、CS(Communications Satellite)デジタル放送、ケーブルテレビ、光ファイバ等のIP(Internet
Protocol)網を用いた放送などである。
分離部12は、デジタル放送受信部11によって生成されたトランスポートストリームを、映像データ、音声データ及びデータ放送等に分離する。また、分離部12はトランスポートストリームに含まれる各種制御情報を取得する。
トランスポートストリームに含まれる制御情報には、例えば、システム情報であるPSI(Program Specific Information)、SI(Service Information)、同期情報であるPCR(Program Clock
Reference)、アプリケーションに関する情報であるアプリケーションデータテーブル(Application Information Table:AIT)がある。AITには、例えば、アプリケーションを特定するアプリケーションID、アプリケーションの起動及び終了等のライフサイクルを制御可能な制御コード、アプリケーションのロケーション情報が記述されている。
また、分離部12から出力される映像データや音声データ等は、PES(Packetized Elementary Stream)パケットとして構成されている。各PESパケットに含まれるPESヘッダには、同期用の提示時刻情報として、PTS(Presentation Time Stamp)及びDTS(Decoding Time Stamp)が格納されている。なお、PTS及びDTSのいずれか一方、または両方がPESヘッダに含まれていない場合もある。
分離された映像データや音声データ等は分離部12からバッファ13へ出力され、PCRやAIT等は分離部12から制御部51へ出力される。
バッファ13は、分離部12から出力される映像データや音声データ等を格納する。そして、バッファ13は、制御部51から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをPESパケット単位で復号部14及び通信送受信部41の一方又は両方に出力する。なお、バッファ13については更に図2を用いて後述する。
復号部14は、バッファ13から出力された映像や音声等のコンポーネント毎のPESパケットをエレメンタリーストリーム(ES)に変換し、PESパケットのPESヘッダからPTS及びDTSを抽出する。また、復号部14は、抽出したPTS及びDTSを制御部51へ出力する。そして、復号部14はコンポーネント毎のエレメンタリーストリームを復号し、コンテンツ生成部31へ出力する。但し、映像コンテンツの復号前のピクチャフレームの順番と復号後のピクチャフレームの順番が異なる場合は、復号部14は内部に備えるバッファを用いて順番の入れ替えを行った後、コンテンツ生成部31へ出力する。
通信送受信部21は、通信ネットワーク経由で、放送事業者に関連する事業者または他の事業者が提供するコンテンツサーバからアプリケーション及びAVコンテンツを取得する。また、通信送受信部21は、通信ネットワーク経由で、AIT等の制御情報を取得する場合もある。通信事業者から提供されるAVコンテンツには、ファイルデータ、映像データ、及び音声データ等がある。通信送受信部21は、取得したアプリケーション及び制御情報を制御部51へ出力する。通信送受信部21は、取得したAVコンテンツをバッファ22へ出力する。
通信送受信部21及び後述する通信送受信部41は、例えば、無線LAN(Local
Area Network)、Bluetooth(登録商標)、イーサネット(登録商標)、USB(Universal Serial Bus)、PLC(Power Line Communication)、及びHDMI(登録商標)(High−Definition Multimedia Interface)等の通信規格に準拠した通信方法を用いて通信を行う。但し、通信送受信部21と通信送受信部41とは同一の構成であってもよいし、別の構成であってもよい。
バッファ22は、通信送受信部21から出力されるAVコンテンツのコンテンツデータを格納する。そして、バッファ22は、制御部51から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをPESパケット単位で復号部23及び通信送受信部41の一方又は両方に出力する。なお、バッファ22については更に図2を用いて後述する。
復号部23は、バッファ22から出力された映像や音声等のコンポーネント毎のPESパケットをエレメンタリーストリーム(ES)に変換し、PESパケットのPESヘッダからPTS及びDTSを抽出する。また、復号部23は、抽出したPTS及びDTSを制御部51へ出力する。そして、復号部23はコンポーネント毎のエレメンタリーストリームを復号し、コンテンツ生成部31へ出力する。但し、映像コンテンツの復号前のピクチャフレームの順番と復号後のピクチャフレームの順番が異なる場合は、復号部23は内部に備えるバッファを用いて順番の入れ替えを行った後、コンテンツ生成部31へ出力する。
コンテンツ生成部31は、復号部14から出力された各コンポーネント(映像、音声、字幕等)のコンテンツデータと、復号部23から出力された各コンポーネント(映像、音声及び字幕等)のコンテンツデータとを用い、制御部51の指示に従ってサービスの提示コンテンツを生成する。コンテンツ生成部31で生成された提示コンテンツは外部の提示部5へ出力され、提示部5にて提示される。なお、受信装置1が提示部5を内部に備えるようにしてもよい。
通信送受信部41は、提示部5とは異なるコンテンツ提示装置、及び視聴者が操作する入力インターフェースとの間で通信を実行する。コンテンツ提示装置には、例えば、テレビ受信機、ポータブルテレビ、スマートフォン、及びタブレット等がある。通信送受信部41は、バッファ13、22から出力されたPESパケットをコンテンツ提示装置に送信する。また、通信送受信部41は、制御部51から受け付けたデータをコンテンツ提示装置に送信する。入力インターフェースには、例えば、リモコン、タブレット端末、スマートフォン、パーソナルコンピュータのキーボード、マウス、カメラ、及びマイク等がある。また、通信送受信部41は、入力インターフェースから受け付けた入力内容を操作入力部42又は制御部51に出力する。なお、コンテンツ提示装置と入力インターフェースは同一の装置であってもよいし、異なる装置であってもよい。
操作入力部42は、外部の入力インターフェース、又は、内蔵された入力インターフェースから、視聴者による入力インターフェースを用いた操作に応じた制御信号を取得し、取得した制御信号に対応する制御情報を制御部51に伝える。入力インターフェースには、例えば、リモコン、タブレット端末、スマートフォン、パーソナルコンピュータのキーボード、マウス、カメラ、及びマイク等がある。視聴者による入力インターフェースを用いた操作とは、例えば、物理的または画面上に仮想的に配置されたボタンの押下、ジェスチャ、音声による操作、及びそれらの組み合わせ等である。また、入力インターフェースからの制御信号は、通信送受信部41を介して操作入力部42に入力されてもよいし、通信送受信部41を介して制御部51に直接入力されてもよい。入力インターフェースからの制御信号が通信送受信部41を介して制御部51に直接入力される場合は、受信装置1は操作入力部42を備えていなくてもよい。
制御部51は、分離部12から出力されたPCRを用いて基準クロック信号を生成する。この生成された基準クロック信号は、バッファ13、22の出力タイミングの制御などに利用される。
制御部51は、復号部14から出力されるPTSを用いて、放送で送られてきた各コンテンツ(映像コンテンツ、音声コンテンツ等)間の出力タイミングを合わせるための制御情報を生成し、バッファ13内の後述するPESバッファ71へ出力する。また、制御部51は、復号部23から出力されるPTSを用いて、通信で送られてきた各コンテンツ(映像コンテンツ、音声コンテンツ等)間の出力タイミングを合わせるための制御情報を生成し、バッファ22内の後述するPESバッファ71へ出力する。
さらに、制御部51は、復号部14から出力されるPTSと復号部23から出力されるPTSとを用いて放送コンテンツと通信コンテンツとの間の遅延時間を算出する。そして、算出した遅延時間を基に放送コンテンツと通信コンテンツとの出力タイミングを合わせるための制御情報を生成し、バッファ13内の後述する同期用バッファ72及びバッファ22内の後述する同期用バッファ72へ出力する。また、制御部51は、視聴者に対する放送コンテンツと通信コンテンツとの同期に係る報知(同期提示報知)の指示をコンテンツ生成部31に行う。
なお、同期提示報知は、例えば、放送コンテンツの後述する通常提示から後述する遅延提示に切り替わる際の不連続映像の提示の発生の視聴者に対する報知や映像の重複提示の発生の視聴者に対する報知等である。この同期提示報知に関しては具体例を含め後述する。
以下、バッファ13及びバッファ22の一構成例について図2を用いて説明する。なお、バッファ13とバッファ22とは同じ構成のものを利用することができるのでまとめて説明する。
図2は、図1のバッファ13及びバッファ22の一構成例を示すブロック図である。
バッファ13、22は、PESバッファ71、及び同期用バッファ72を備える。
PESバッファ71は、映像コンテンツや音声コンテンツ等のコンテンツ間の出力タイミングを揃えるためのバッファである。PESバッファ71は、映像コンテンツや音声コンテンツ等の各コンテンツをPESパケットに変換し、制御部51によって制御情報にて指示された出力タイミングでPES単位のコンテンツデータを出力する。
同期用バッファ72は、放送コンテンツと通信コンテンツ間の出力タイミングを揃えるためのバッファである。同期用バッファ72は、制御部51によって制御情報にて指示されたタイミングでPES単位のコンテンツデータを出力する。
但し、PESバッファ71及び同期用バッファ72は任意の遅延時間及び任意の出力タイミングでPES単位のコンテンツデータを出力することが可能であり、遅延時間及び出力タイミングは全て制御部51の指示に従う。
以下に、放送コンテンツと通信コンテンツとの出力タイミングを合わせて放送コンテンツと通信コンテンツとを提示する同期提示方法について説明する。
放送通信連携サービスには、HTML5などのアプリケーションにより放送と通信の連携を制御する方法と、アプリケーションを介在せずに放送と通信の連携を制御する方法がある。なお、以下ではアプリケーションにより放送通信連携サービスを提供する場合を例に説明するが、アプリケーションは、HTML5アプリケーションでもよいし、受信機のレジデントアプリケーションでもよい。また、レジデントアプリケーションや受信機の機能の一部をAPIとして提供し、HTML5など他のアプリケーションで制御してもよい。
放送通信連携サービスには、アプリケーションがAVコンテンツに連動した従属型サービス、及びアプリケーションがAVコンテンツに連動しない独立型サービスがある。また、通信コンテンツには様々なものがある。
以下の説明では、放送コンテンツに連動する従属型サービスにおいて、放送コンテンツに連動する通信コンテンツを提示するユースケースを考える。また、通信コンテンツは、パケットを時間的に先行して取得することのできないリアルタイムなライブ映像のマルチキャスト配信であるとする。
放送コンテンツと通信コンテンツとの同期提示方法の具体例を説明するために用いる、受信装置1におけるコンテンツ提示の状態遷移の一例を図3に示す。
図3の状態遷移図では、受信装置1は、電源OFF状態(放送OFF/通信OFFの状態)から開始する。そして、放送コンテンツ提示をONにすることにより、受信装置1は、放送OFF/通信OFFの状態から、放送コンテンツのみを提示している状態(放送ON/通信OFFの状態)に遷移する。さらに、受信装置1は、放送ON/通信OFFの状態から、通信コンテンツ提示をONにすることにより、放送コンテンツ及び通信コンテンツの両方を提示している状態(放送ON/通信ONの状態)に遷移する。
以下では、「放送ON/通信OFFの状態」を「状態A」と定義し、「放送ON/通信ONの状態」を「状態B」と定義する。また、「状態A」から「状態B」へ遷移することが決定してから遷移が完了するまでの期間を「遷移期間」と定義する。
放送通信連携サービスを提供するためには、アプリケーションが起動していることが前提となる。よって放送通信連携サービスを提供する際にアプリケーションが起動していない場合には、アプリケーションの起動が必要となる。また放送サービスのみを提供するためには、必ずしもアプリケーションが起動している必要はない。
例えば、状態Aから状態Bへ遷移する場合において、状態Aでアプリケーションが起動していない場合、アプリケーションの起動が必要となる。このとき、アプリケーションは、放送信号の中に含まれるAITに基づいて起動する。
アプリケーションの起動タイミングとして、放送コンテンツ又は通信コンテンツに格納されているAITを基に視聴者が明示的に指定する場合、及び、AITのアプリケーションの起動情報を基にコンテンツに連動してダイナミックに自動起動する場合等がある。また、アプリケーションの終了タイミングとして、放送コンテンツ又は通信コンテンツに格納されているAITを基に視聴者が明示的に指定する場合、及び、AITのアプリケーションの終了情報を基にコンテンツに連動してダイナミックに自動終了する場合等がある。
放送コンテンツを提示中に通信コンテンツをONにする方法として、放送コンテンツ中に格納されているAITを基に視聴者が明示的に指定する方法、及び放送コンテンツに格納されているAITに基づき自動起動する方法等がある。
一般に、通信コンテンツの受信は、放送コンテンツの受信と比較して遅延が大きいため、ライブ映像を放送及び通信で送信する場合、受信側において放送コンテンツに対して通信コンテンツが遅延して受信される。
放送コンテンツを提示中に、通信コンテンツの提示を開始し、放送コンテンツと通信コンテンツとを同期させて提示するためには、放送コンテンツを遅延して提示する必要がある。
図3に示すコンテンツ提示の状態遷移における放送コンテンツと通信コンテンツとの同期提示方法の一例について図4及び図5を用いて説明する。
図4は、図3に示すコンテンツ提示の状態遷移における放送コンテンツと通信コンテンツとの同期提示方法の一例を説明するための信号イメージを示す図である。
図4(a)は、遅延なしの放送コンテンツの時間信号を表す。この信号を用いて放送提示を行う場合を「通常提示」と定義する。
図4(b)は、遅延させた放送コンテンツの時間信号を表す。この信号を用いて放送提示を行う場合を「遅延提示」と定義する。なお、図中の「D」は放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間である。
図4(c)は、通信コンテンツの時間信号を表す。
図4(d)は、実際に提示する放送コンテンツの時間信号を表す。
図4(e)は、実際に提示する通信コンテンツの時間信号を表す。
受信装置1は、時刻T1までの期間、及び通信コンテンツの取得を開始した時刻T1から通信コンテンツの提示の準備が完了する時刻T2までの期間、つまり、状態Aから状態Bへの遷移が完了するまでは、放送コンテンツを通常提示する。
そして、受信装置1は、通信コンテンツの提示の準備が完了した時刻T2以降の期間、つまり、状態Aから状態Bへの遷移が完了した後、放送コンテンツを遅延提示するとともに通信コンテンツを提示する。
このように、状態Aから状態Bへの遷移が完了したタイミングで、放送コンテンツの提示が通常提示から遅延提示に切り替わる。このため、状態Aから状態Bへの遷移が完了したタイミングにおいて、放送コンテンツの提示は不連続な映像等の提示になる。また、遅延提示を開始してからしばらくの期間、放送コンテンツの提示は通常提示にて一回提示された映像等と同じ映像等の重複提示になる。不連続な映像等の提示又は映像等の重複提示は視聴者の視聴に違和感を与え、時には不快感を与える可能性もある。
そのため、受信装置1は、放送コンテンツの重複提示期間に、視聴者に対する放送コンテンツと通信コンテンツとの同期に係る報知(同期提示報知)を行う(例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージを提示部5に提示する)。
このような同期提示報知を行うことにより、視聴者は、不連続な映像等の提示や映像等の重複提示の理由を把握することが可能になり、視聴者の視聴に与える違和感や不快感を緩和することが可能になる。
図5は、図3に示すコンテンツ提示の状態遷移における受信装置1による放送コンテンツと通信コンテンツとの同期提示方法の処理動作の一例を示すフローチャートである。但し、図5のフローチャートの開始時点では、受信装置1は電源OFF状態(放送OFF/通信OFFの状態)にある。
受信装置1は、放送コンテンツ提示をONにすることにより、電源OFF状態(放送OFF/通信OFFの状態)から放送ON/通信OFFの状態(状態A)に遷移する(ステップS11)。受信装置1は、放送コンテンツの取得を開始して放送コンテンツの通常提示を開始する(ステップS12)。
次に、受信装置1は、アプリケーションの取得を契機に通信コンテンツの取得を開始する(ステップS13)。
受信装置1は、通信コンテンツの提示の準備が完了したか否かを判定する(ステップS14)。通信コンテンツの提示の準備が完了したと判定されるまで(S14:No)、ステップS14の処理が行われる。そして、通信コンテンツの提示の準備が完了したと判定された場合(S14:Yes)、ステップS15の処理が行われる。なお、通信コンテンツの取得の準備が完了したか否かの判定は、例えば、所定量の通信コンテンツのコンテンツデータがバッファ22に蓄積された場合に、通信コンテンツの取得の準備が完了したと判定する。
受信装置1は、制御部51において、復号後の放送コンテンツのPTSと通信コンテンツのPTSとを比較し、放送コンテンツに対する通信コンテンツの遅延時間を算出する(ステップS15)。
制御部51は、ステップS15において算出した遅延時間を基に放送コンテンツと通信コンテンツとの出力タイミングを合わせるための制御情報を生成し、バッファ13内の同期用バッファ72及びバッファ22内の同期用バッファ72へ出力する。バッファ13内の同期用バッファ72は制御情報に従ってステップS15で算出された遅延時間に基づいてバッファ出力を遅延させ、バッファ22内の同期用バッファ72は制御情報に従ってバッファ出力を行う。これにより、受信装置1は、放送コンテンツの提示を通常提示から遅延提示に切り換えて遅延提示を開始し、同時に、通信コンテンツの提示を開始する。さらに、制御部51は、同期提示報知用のメッセージ(例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージ)の提示をコンテンツ生成部31に指示し、コンテンツ生成部31はこの指示に基づいて提示部5に同期提示報知用のメッセージの提示を開始する(ステップS16)。
制御部51は、ステップS15で算出した遅延時間に基づいて放送コンテンツの重複提示が終了したか否かを判定する(ステップS17)。放送コンテンツの重複提示が終了したと判定されるまで(S17:No)、ステップS17の処理が行われる。そして、放送コンテンツの重複提示が終了したと判定された場合(S17:Yes)、制御部51は、同期提示報知用のメッセージの提示の終了をコンテンツ生成部31に指示し、コンテンツ生成部31はこの指示に基づいて同期報知用のメッセージの提示部5への提示を終了する(ステップS18)。
(実施の形態1の補足)
以下、実施の形態1の補足について記載する。
(1)実施の形態1において説明した放送コンテンツと通信コンテンツとの同期提示方法は一例であり、これに限定されるものではない。
例えば、図6に示す同期提示方法であってもよい。但し、図6(a)〜(e)の時間信号は夫々図4(a)〜(e)の時間信号と同じ種類のものである。
図4の同期提示方法では、状態の遷移期間に、つまり、通信コンテンツの取得を開始してから通信コンテンツの提示の準備が完了するまでの期間に、放送コンテンツを通常提示する。
これに対して、図6の同期提示方法では、状態の遷移期間、つまり、通信コンテンツの取得を開始してから通信コンテンツの提示の準備が完了するまでの期間に、放送コンテンツの提示を中断して提示部5の画面をブラックアウトさせる。これとともに、受信装置1は、視聴者に対する同期提示報知のために例えば放送コンテンツと通信コンテンツとの同期をとるための待機中であることを示すメッセージを提示部5に提示する。
また、バッファのクロックタイミングの制御方法又は提示タイミングを変えることで様々な同期提示方法が可能であり、例えば図7に示す同期提示方法がある。但し、図7(a)〜(e)の時間信号は夫々図4(a)〜(e)の時間信号と同じ種類のものである。
図7の同期提示方法では、受信装置1は、通信コンテンツの取得を契機に、放送コンテンツのスロー再生を開始し、通信コンテンツの提示の準備の完了と放送コンテンツの再生時間とを比較しながら、放送コンテンツの遅延提示と通信コンテンツの提示を行う状態に遷移する。これとともに、受信装置1は、視聴者に対する同期提示報知用に例えば放送コンテンツと通信コンテンツとの同期をとるための放送コンテンツのスロー再生中であることを示すメッセージを提示部5に提示する。なお、スロー再生はバッファの出力の時間間隔を広げることによって実現することができる。放送コンテンツはスロー再生により少しずつ遅延調整を行い、遅延調整が完了し、放送コンテンツの提示時刻と通信コンテンツの提示時刻が一致した時刻に、放送コンテンツと通信コンテンツとを同期させて提示する。この場合は通信の提示準備完了時刻と同期提示タイミングは一致しない。
再生のタイミングやクロック制御は制御部51が制御する。また、制御部51は同期提
示方法に応じて、適切な提示や提示タイミングをコンテンツ生成部31に出力する。
図7の同期提示方法では、放送コンテンツと通信コンテンツとを同期させて提示する際に、これらの提示をよりスムーズにすることができる。
(2)実施の形態1の同期提示方法では、通信コンテンツの準備の完了を契機として放送コンテンツの提示を通常提示から遅延提示に切り換えている。しかしながら、これに限定されるものではなく、例えば放送コンテンツを予め遅延提示させておくようにしてもよく、この一例を図8のフローチャートを用いて説明する。但し、図8のフローチャートの開始時点では、受信装置1は電源OFF状態(放送OFF/通信OFFの状態)にある。
受信装置1は、放送コンテンツ提示をONにすることにより、電源OFF状態(放送OFF/通信OFFの状態)から放送ON/通信OFFの状態に遷移する(ステップS51)。受信装置1は、放送コンテンツの取得を開始して放送コンテンツの通常提示を開始する(ステップS52)。
受信装置1は、放送コンテンツの通常提示中に、第一のアプリケーションとして、放送コンテンツを遅延提示させるアプリケーション(以下、「遅延提示アプリケーション」と言う。)を起動する(ステップS53)。放送の遅延提示タイミングとして、例えば、視聴者が指定したタイミング、及び放送事業者やその他の事業者が通信または放送のAITで指定したタイミング、或いはAITに基づいて取得したアプリケーションで指定したタイミング等を挙げることができる。
遅延提示アプリケーションを起動した後、受信装置1は、制御部51において、通信コンテンツを取得し、復号後の放送コンテンツのPTSと通信コンテンツのPTSとを比較し、放送コンテンツに対する通信コンテンツの遅延時間を算出する(ステップS54)。
制御部51はステップS54において算出した遅延時間を基にバッファ13内の同期用バッファ72の出力遅延を制御し、これにより、受信装置1は、放送コンテンツの提示を通常提示から遅延提示に切り換えて遅延提示を開始する。さらに、制御部51は、同期提示報知用のメッセージ(例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージ)の提示をコンテンツ生成部31に指示し、コンテンツ生成部31はこの指示に基づいて提示部5に同期提示報知用のメッセージの提示を開始する(ステップS55)。
制御部51は、ステップS54で算出した遅延時間に基づいて放送コンテンツの重複提示が終了したか否かを判定する(ステップS56)。放送コンテンツの重複提示が終了したと判定されるまで(S56:No)、ステップS56の処理が行われる。そして、放送コンテンツの重複提示が終了したと判定された場合(S56:Yes)、制御部51は、同期提示報知用のメッセージの提示の終了をコンテンツ生成部31に指示し、コンテンツ生成部31はこの指示に基づいて同期提示報知用のメッセージの提示部5への提示を終了する(ステップS57)。
放送ON/通信OFFの状態かつ放送コンテンツの遅延提示中に、受信装置1は、第二のアプリケーションを起動し、これにより通信コンテンツの取得を開始する(ステップS58)。
受信装置1は、通信コンテンツの提示の準備が完了したか否かを判定する(ステップS59)。通信コンテンツの提示の準備が完了したと判定されるまで(S59:No)、ステップS59の処理が行われる。そして、通信コンテンツの提示の準備が完了したと判定された場合(S59:Yes)、受信装置1は、通信コンテンツの提示を開始する(ステップS60)。
遅延提示の可能性のあるプログラムの場合、放送受信の開始時、選局時、又はCM(コマーシャル)のタイミング等、視聴者の違和感が小さいタイミングで放送コンテンツを予め遅延提示させておくことにより、放送コンテンツと通信コンテンツとのスムーズな同期提示が可能になる。
なお、例えば、放送コンテンツの遅延提示を開示させるタイミング(例えば放送受信の開始時や選局時)によっては同期提示報知用のメッセージを提示しないようにしてもよい。
(3)実施の形態1で説明した同期提示方法における視聴者に対する放送コンテンツと通信コンテンツとの同期提示に係る報知(同期提示報知)の内容及び期間は一例であり、これに限定されるものではない。
以下に、同期提示報知について、実施の形態1で記載した内容を含めて説明する。
同期提示報知の内容として、例えば、放送コンテンツと通信コンテンツとの同期提示に係るメッセージの提示、及び不連続映像のアニメーションの提示などがある。
具体的には、例えば下記のように提示する。
・設定されている同期提示方法を視聴者に示すメッセージ又はアイコン等を表示する。
・不連続な映像表示が発生すること、または、不連続な映像表示が発生したことを視聴者に示すメッセージ又はアイコン等を表示する。
・映像が重複提示されていることを視聴者に示すメッセージ又はアイコン等を表示する。
・不連続な表示を解消するために、映像の間にアニメーションの機能を入れる。
なお、メッセージ又はアイコン等の表示の他に、テロップ表示や音声出力などがある。また、外部のデバイスを用いて提示しても良い。
同期提示報知のタイミング又は期間として、例えば、放送コンテンツの重複提示が行われている期間、通信コンテンツの取得を開始してから放送コンテンツの重複提示が終了するまでの期間、アプリケーションの起動タイミング、通信コンテンツの準備が完了したタイミングなど、受信装置1のイベントに応じたタイミングや期間などがある。また、視聴者のインターフェース操作によるタイミングなどもある。なお、視聴者が同期提示報知を許可する間のみ同期提示報知を行うようにしてもよい。
制御部51が、例えば、アプリケーションで指定された同期提示方法、又は、予め定められたルール、又は、受信装置の設定等に従って、同期提示報知の内容やタイミング又は期間を決定し、コンテンツ生成部31に指示する。コンテンツ生成部31は、制御部51の指示に従って決定されたタイミング又は期間において決定された内容の同期提示報知を実行する。なお、受信装置の設定は視聴者が行うことができてもよいし、行うことができなくてもよい。
また、放送や通信に同期提示報知の内容やタイミング又は期間を指示する制御信号を埋め込むなど、放送事業者又は放送事業者に関連する事業者又は他の事業者が同期提示報知の内容やタイミング又は期間をコンテンツに応じて指示できるようなものであってもよい。
(4)実施の形態1では、通信コンテンツの取得タイミングはアプリケーションの取得タイミングと同じであるとして説明したが、これに限定されるものではなく、別のタイミングであってもよい。なお、通信コンテンツの取得のタイミングは、例えばアプリケーションの指示に従う。
(5)実施の形態1では、受信装置1の状態遷移が図3に一例を示す状態遷移であるとして説明したが、これに限定されるものではなく、例えば次のようなものであってもよい。
受信装置1は、放送コンテンツの通常提示、且つ、コンテンツに連動しない独立通信アプリケーションの起動中の状態(放送ON/通信独立アプリON/連動アプリOFFの状態)から、放送に連動するアプリケーションが起動した状態(放送ON/通信独立アプリON/連動アプリONの状態)への、状態遷移においても、放送コンテンツを遅延させる必要がある。この場合においても、実施の形態1及び実施の形態1の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
(6)実施の形態1や実施の形態1の補足の(2)では、放送コンテンツと通信コンテンツの遅延時間を算出するために、復号後に出力されるPTSを用いて計算している。しかしながら、これに限定されるものではなく、DTSを用いて計算してもよいし、PTSとDTSの2つの情報を用いて計算してもよい。また、復号前のPTSやDTSを用いて計算してもよい。また、PCRや、PCRに基づいて生成されたクロック(STC)、PTS,DTSを用いて計算してもよい。基準クロックがNTPである場合は、NTPを用いて計算してもよいし、放送コンテンツと通信コンテンツが異なる基準クロックを用いている場合には、それぞれの基準クロックの対応関係を示すタイムライン補助情報を用いて計算してもよい。
また、バッファの制御タイミングは、PTSやDTSの算出する場所やバッファの位置を勘案して算出する。PTSやDTSの算出する場所やバッファの位置が異なる例として次のような構成を用いることができる。
実施の形態1は、復号部14においてPTSやDTSを抽出したが、PESパケットからESへの変換、及びPTS,DTSの抽出は、復号部14でなく、バッファ13におけるPESバッファ71において処理してもよい。この場合、バッファ13においてPESバッファ71と同期用バッファ72の位置は逆であることが望ましい。PESバッファ71は、抽出したPTS及びDTSを制御部51へ出力する。PESバッファ71は、制御部51から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータを復号部14及び通信送受信部41の一方又は両方に出力する。同様に、PESパケットからESへの変換、及びPTS,DTSの抽出は、復号部23でなく、バッファ22におけるPESバッファ71において処理してもよい。この場合、バッファ22においてPESバッファ71と同期用バッファ72の位置は逆であることが望ましい。PESバッファ71は、抽出したPTS及びDTSを制御部51へ出力する。PESバッファ71は、制御部51から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータを復号部23及び通信送受信部41の一方又は両方に出力する。なお、以上の構成は、後述する実施の形態2で説明する構成と同等であり、図2におけるPESバッファ71は、図14及び図18における分離バッファ114に相当する。
(7)実施の形態1では、制御部51から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをPESパケット単位で通信送受信部41に出力し、通信送受信部41は、コンテンツデータ及び、制御部51から受け付けたデータをコンテンツ提示装置に送信すると説明したが、より具体的には、通信送受信部41では、映像や音声等のコンポーネント毎のアクセスユニットやPESパケット、及び制御部51から入力された制御情報やクロック情報を、特定の多重化方式を用いて再多重した後に、連携端末に送信する。多重化方式には、MP4,MPEG2−TS、MPEG−DASH、MMTなどがある。
(8)実施の形態1では、放送コンテンツに対して通信コンテンツが一定の時間で遅延しているとしたが、通信コンテンツに対して放送コンテンツが遅延している場合も考えられる。この場合は、放送コンテンツの提示が通常提示の1パターンとなり、通信コンテンツの提示が通常提示と遅延提示の2パターンとなる。なお、この点を除いて、実施の形態1及び実施の形態1の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
実施の形態1では、放送コンテンツに対して通信コンテンツが一定の時間で遅延しているとしたが、例えば、通信伝送路における伝送ジッタの影響により、放送コンテンツに対する通信コンテンツの遅延時間が一定でない場合、バッファを適切に制御して、放送コンテンツと通信コンテンツとの同期提示を行う。
(9)実施の形態1では、放送ON/通信OFFの状態から放送ON/通信ONの状態への遷移に関して説明したが、放送ON/通信ONの状態から放送ON/通信OFFの状態への遷移もある。
この放送ON/通信ONの状態から放送ON/通信OFFの状態への遷移において、放送コンテンツの提示を遅延提示から通常提示に切り換えるような場合には、放送コンテンツの不連続な提示の発生や放送コンテンツの提示の一部の欠落の発生が起こる。
このため、受信装置1は、放送コンテンツの不連続な提示の発生や放送コンテンツの提示の一部の欠落の発生等を内容とする同期提示報知を視聴者に対して行うようにしてもよい。
なお、制御部51が同期提示報知の内容やタイミング又は期間を決定し、コンテンツ生成部31に指示する。そして、コンテンツ生成部31は指示されたタイミング又は期間で指示された内容の報知を実行する。
(10)実施の形態1では、図1を用いて放送コンテンツと通信コンテンツとを同期して提示する場合について説明したが、これに限定されるものではなく、例えば、次のようなものであってもよい。
1つのコンテンツを2つの異なる伝送経路で送信する場合、受信装置の構成を例えば2つの伝送経路から受信するコンテンツを同期して1つの復号部で復号する図9に示す構成とすることができる。但し、図9において、図1の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
図9に示す受信装置1Aにおいて、復号部14Aは、バッファ13及びバッファ22の出力を入力とし、夫々からの入力データを復号して、コンテンツ生成部31Aに出力する。コンテンツ生成部31Aは、復号部14Aの出力を入力とし、入力データを用いて制御部51の指示に従ってサービスの提示コンテンツを生成する。
放送を用いて主映像を送信し、通信を用いて拡張情報を送信する場合、受信装置の構成を例えば主映像を一の復号部で復号し、主映像と拡張映像とを他の復号部で復号する図10に示す構成とすることができる。但し、図10において、図1の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
図10に示す受信装置1Bにおいて、復号部14Bは、バッファ13の出力を入力とし、入力データを復号して、コンテンツ生成部31Bに出力する。コンテンツ生成部31Bは、復号部14Bの出力を入力とし、入力データを用いて制御部51の指示に従って非拡張映像等の提示コンテンツを生成して提示部5に出力する。
復号部23Bは、バッファ13及びバッファ22の出力を入力とし、入力データを復号して、コンテンツ生成部32Bに出力する。コンテンツ生成部32Bは、復号部14Bの出力と復号部23Bの出力とを入力とし、夫々からの入力データを用いて制御部51の指示に従って拡張映像等の提示コンテンツを生成して提示部5Bに出力する。
図9及び図10の何れの場合においても、実施の形態1及び実施の形態1の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
(11)放送と通信との間で受信に時間差が生じていたとしても、コンテンツによっては放送と通信との間で同期をとる必要性のないことがあり、放送と通信との間で同期制御を行わないという選択肢もある。この場合、制御部51は放送と通信との間で同期制御を行うか、行わないかを決定するようにしてもよい。
同期の必要性は、受信装置が決めても良いし、コンテンツ毎に遅延許容度を規定し、放送事業者または放送事業者に関連する事業者又は他の事業者が、放送または通信を用いて受信装置に伝えてもよい。遅延許容度はAITなどで送る方法や、AITで特定できるアプリケーション内で送る方法、放送信号の制御情報(SI)等がある。
(12)実施の形態1において図1及び図2を用いて説明した受信装置1におけるバッファ構成は一例であり、実施の形態1と同等の機能を持つバッファであれば、この構成に限定されない。
例えば、バッファはメモリサイズをもっとも小さくできる位置に配置するのが望ましい。また、実施の形態1では、PESバッファ、同期用バッファ、リオーダーバッファなど機能毎にバッファを備えるようにしているが、これに限定されるものではなく、一つのバッファに複数の機能を備えるようにしてもよい。また、バッファがそれぞれの機能に対して割り当てるメモリ割り当ては動的であってもよいし、メモリを共有で複数の機能を実現してもよい。
なお、図9及び図10を用いて説明した受信装置1A,1Bについても同様のことが言える。
(13)実施の形態1では、放送と通信の同期制御に関して説明したが、連携するシステムは、放送と通信との連携に限らず、放送と放送との連携でもよいし、通信と通信との連携でも良いし、3つ以上の伝送経路に基づく信号の連携でも良い。
(14)実施の形態1では、MPEG2−TSシステムで規定されたパケット構成を用いて説明したが、多重化方式は特に限定されるものではない。多重化方式として、例えば、MP4や、ストリーミングに広く用いられているRTP、MMT等がある。
(15)放送通信連携サービスでは、受信装置と、例えば、スマートフォン、タブレットなどの通信端末であるコンテンツ提示装置とが連携するサービスも提案されている。
この場合、受信装置1で提示されるコンテンツとコンテンツ提示装置で提示されるコンテンツとの同期制御が必要である。
このようなサービスの一例として、受信装置で放送コンテンツを提示し、コンテンツ提示装置で通信コンテンツを提示するものが挙げられる。
しかしながら、受信装置とコンテンツ提示装置とが連携するサービスは、これに限定されるものではない。例えば、(A)通信コンテンツが受信装置で提示され、放送コンテンツがコンテンツ提示装置で提示されるサービス、(B)放送コンテンツと通信コンテンツの一部とが受信装置で提示され、通信コンテンツの一部がコンテンツ提示装置で提示されるサービス、(C)放送コンテンツの一部が受信装置で提示され、放送コンテンツの一部と通信コンテンツとがコンテンツ提示装置で提示されるサービス、(D)通信コンテンツの一部が受信装置で提示され、通信コンテンツの一部と放送コンテンツとがコンテンツ提示装置で提示されるサービス、(E)放送コンテンツの一部と通信コンテンツとが受信装置で提示され、放送コンテンツがコンテンツ提示装置で提示されるサービス、及び(F)放送コンテンツの一部と通信コンテンツの一部とが受信装置で提示され、放送コンテンツの一部と通信コンテンツの一部とがコンテンツ提示装置で提示されるサービス、などがある。
受信装置とコンテンツ提示装置との間で、放送と通信との同期制御を実現するためには、同期に関するAIT等の制御情報と、PTS又はDTS又は放送と通信との間の遅延時間と、同期提示方法や同期提示報知とを、必要に応じて相手に通知する必要がある。
受信装置で放送を受信し、連携端末であるタブレット端末で通信を受信し、互いに同期させる場合、連携端末のPTSを受信装置に通知する必要がある。
また、受信装置で受信した放送コンテンツや通信コンテンツを連携端末に送信する場合、受信装置で同期制御を行った後のデータを送信することにより、連携端末のハードウェアやソフトウェアの負担を軽減することができる。このとき、受信装置は、受信装置とコンテンツ提示装置との間の通信で発生する遅延時間を算出し、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間と、受信装置とコンテンツ提示装置との間の通信で発生する遅延時間の両方を考慮してバッファ13内のPESバッファ71及びバッファ22内のPESバッファ71からのPESパケットの出力タイミングを制御してもよい。
いずれの場合においても、制御部51は、同期提示方法や同期提示報知の内容及びタイミング又は期間を決定し、コンテンツ生成部へ指示すると同時に、決定した内容を通信送受信部41を介して連携端末へ通知する。
(16)アプリケーションの種類やコンテンツによって、通信と放送とを同期させて提示するユースケースや同期提示方法は数多く存在する。
制御部51は、複数の同期提示方法を提供できる機能、及び同期提示方法に応じた同期提示に係る提示方法を制御できる機能を有し、アプリケーションやコンテンツに応じて選択可能な複数の同期提示方法を視聴者に提示する。
視聴者は、選択可能な複数の同期提示方法の中から、入力インターフェースを用いた操作によって選択する。そして、選択内容が制御部51に入力されて設定される。なお、設定に関する一連の動作は、制御部51、操作入力部42、コンテンツ生成部31、提示部5が連動して行う。
図11に設定メニューの一例を示す。
図11の例では、放送通信連携のメニューとして、アニメーション設定と、同期提示方法設定とができるようになっている。
アニメーション設定では、例えば同期提示の画面遷移において、2つの不連続な映像を連結する際のアニメーションの設定ができる。
同期提示方法設定では、同期提示方法に関する設定ができる。図12に同期提示方法の設定画面の一例を示す。同期提示方法設定では、例えば、受信機おまかせモード、放送局おまかせモード、マニュアルモード、OFF(同期提示を行わない)の他、視聴者に提示可能な同期提示方法(Type1、Type2)の中から視聴者が選択できるようになっている。
視聴者が放送局おまかせモードを選択した場合、制御部51は、AITに同期提示方法が設定されている場合のみ、AITに記述されている同期提示方法を実行する。
視聴者が受信機おまかせモードを選択した場合、制御部51は、視聴者に提示可能な同期提示方法又はAITに記述されている同期提示方法の中から選択し、選択した同期提示方法を実行する。なお、同期提示方法の選択は動的に行われても良い。
なお、同期提示方法はAITで指定する以外に、AITで特定できるアプリケーション内で指定方法、放送信号の制御情報(SI等)を用いて指定する方法がある。
視聴者がマニュアルモードを選択した場合、図13に一例を示すマニュアル設定画面が立ち上がる。図13のマニュアル設定画面の例では、視聴者が−10秒〜+10秒のうちの−MAX秒〜+MAX秒までの間で遅延時間を設定できるようになっている。遅延時間のMAX値は、コンテンツのデータの大きさ、バッファの大きさなどから制御部51が決定する。また、PTSから算出された同期遅延時間を推奨値として表示する。また、視聴者は図中の黒く塗られた黒矢印の位置を移動させることによって遅延時間の設定を変更することができる。また、視聴者は推奨値ボタンを押すことによって遅延時間を制御部51が決定した推奨値に戻すことができる。また、視聴者はリセットボタンを押すことによって遅延時間を0にすることができる(遅延のない通常提示に切り替えることができる)。
視聴者が遅延時間の設定を変更する操作を行うと、遅延時間を示す制御信号が制御部51に出力される。制御部51は制御信号に基づいてバッファを制御して遅延を調整する。
(17)本実施の形態で説明した制御部51の機能は、ソフトウェアとして実装しても良いし、アプリケーションとして実装しても良い。また、機能の一部をAPI(Application Programming Interface)としてパッケージすることもできる。
(発明の基礎となった知見2)
特許文献3に記載の受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信する。そして、受信装置は、放送コンテンツのPTSと通信コンテンツのPTSとの差に基づいて、放送コンテンツの提示を遅延させる。
ところで、インターネットのような通信網では、伝送経路においてジッタが発生するため、受信側でジッタを補償する必要がある。このため、通信用の受信装置にはジッタを補償するためのデジッタバッファが必要になる。一方、放送用の受信装置にはデジッタバッファは必要でない。放送と通信とを連携させる放送通信連携受信装置としての受信装置は、通信用にデジッタバッファを備え、さらに、放送用にデジッタバッファのバッファ遅延に相当したバッファ遅延を実現するための遅延バッファを備え、通信と放送との再生時間を合わせる必要がある。
特許文献3に記載された受信装置は、上述したように、放送コンテンツのPTSと通信コンテンツのPTSとの差に基づいて放送コンテンツと通信コンテンツとを同期させる。同期に大容量のバッファを用いれば、アンダーフローやオーバーフローすることなしに、ジッタを補償することが可能になる。
しかしながら、バッファ容量を大きくすれば、End−to−End遅延が大きくなるという課題がある。これまでの放送受信システムでは、End−to−End遅延を極小化することが要求されており、受信装置に余剰メモリが十分にあったとしても、全てのメモリをジッタ補償に使用することは現実的ではなく、必要最小限のメモリを使用することが望ましい。また、受信装置の同期再生及び復号時のバッファ管理を保証するためのシステムデコーダモデルが規定されている場合、所定サイズのバッファを用いて受信装置の動作を保証する必要がある。
放送通信連携受信装置としての受信装置において、所定サイズのバッファを用いてデジッタバッファを制御する場合、アンダーフロー及びオーバーフローが発生する可能性が高く、アンダーフロー対策として例えば通信コンテンツの更なるバッファリングが必要となる。特許文献3に記載された受信装置を用いた場合、放送用の遅延バッファの遅延時間がデジッタバッファの制御に引きずられ、放送用の遅延バッファにオーバーフロー又はアンダーフローが発生したり、コンテンツの視聴に影響を与え、放送受信機の動作の保証が困難になる。
そこで、発明者らは、この課題に対する技術的な解決策を検討し、この検討の結果、発明者らが得た解決策に基づく実施の形態等を以下において説明する。
(実施の形態2)
図14は、本発明の実施の形態2に係る放送通信連携受信装置である受信装置100の構成を示すブロック図である。
受信装置100は、デジタル放送受信部111、分離部112、遅延バッファ113、分離バッファ114、復号部115、通信送受信部121、分離部122、デジッタバッファ123、分離バッファ124、復号部125、コンテンツ生成部131、制御管理部141、及び制御部151を備える。
デジタル放送受信部111は、外部の放送アンテナ3によって受信されたデジタル放送信号を入力とする。そして、デジタル放送受信部111は、デジタル放送信号から所望のチャネルを選局し、選局した所望のチャネルのデジタル放送信号に対して復調処理及び誤り訂正処理等を行い、トランスポートストリームを生成して分離部112へ出力する。
分離部112は、デジタル放送受信部111によって生成されたトランスポートストリームを、映像データ、音声データ及び字幕データ等に分離して遅延バッファ113に出力する。また、分離部112はトランスポートストリームに含まれる各種制御情報を取得し、PCRを制御部151に出力し、コンテンツの種類や制御に係る情報を含む制御情報を制御管理部141へ出力する。
遅延バッファ113は、デジッタバッファ123のバッファ遅延に相当したバッファ遅延を実現するためのバッファである。遅延バッファ113は、制御部151から指示された入出力タイミングに従って分離部112から出力される映像データや音声データ等のコンポーネント毎のコンテンツデータの遅延を調整して分離バッファ114へ出力する。
分離バッファ114は、遅延バッファ113から出力される映像データや音声データ等を格納し、PESパケットのPESヘッダから取得したDTSなどのタイムスタンプ情報に基づいて、映像や音声等のコンポーネント毎のエレメンタリーストリーム(ES)をそれらの出力タイミングを揃えてアクセスユニット単位で復号部115に出力する。また、分離バッファ114はPESヘッダから取得したDTSなどのタイムスタンプ情報を制御部151に出力する。なお、分離バッファ114、124は、MPEG2システムにおけるElementary Stream Bufferと同様の機能を備えるものである。
復号部115は、分離バッファ114から出力された映像や音声等のコンポーネント毎のアクセスユニットを復号し、コンテンツ生成部131へ出力する。
通信送受信部121は、通信ネットワーク経由で、放送事業者に関連する事業者または他の事業者が提供するコンテンツサーバからAVコンテンツを取得し、取得したAVコンテンツを分離部122へ出力する。通信事業者から提供されるAVコンテンツには、ファイルデータ、映像データ、及び音声データ等がある。
分離部122は、通信送受信部121から入力されたAVコンテンツを、映像データ及び音声データ等に分離して、デジッタバッファ123に出力する。また、分離部122はAVコンテンツに含まれるコンテンツの種類や制御に係る情報を含む制御情報を制御管理部141へ出力する。
デジッタバッファ123は、伝送経路によるジッタを吸収するためのバッファである。デジッタバッファ123は、制御部151から指示された入出力タイミングで分離部122から出力される映像データや音声データ等のコンポーネント毎のコンテンツデータの遅延を調整して分離バッファ124へ出力する。
分離バッファ124は、デジッタバッファ123から出力される映像データや音声データ等を格納し、PESパケットのPESヘッダから取得したDTSなどのタイムスタンプ情報に基づいて、映像や音声等のコンポーネント毎のエレメンタリーストリームをそれらの出力タイミングを揃えてアクセスユニット単位で復号部115に出力する。また、分離バッファ124はPESヘッダから取得したDTSなどのタイムスタンプ情報を制御部151に出力する。
復号部125は、分離バッファ124から出力された映像や音声等のコンポーネント毎のアクセスユニットを復号し、コンテンツ生成部131へ出力する。
コンテンツ生成部131は、復号部115から出力された各コンポーネント(映像、音声、字幕等)のコンテンツデータと、復号部125から出力された各コンポーネント(映像、音声及び字幕等)のコンテンツデータとを用いて提示コンテンツを生成する。コンテンツ生成部131で生成された提示コンテンツは外部の提示部5へ出力され、提示部5にて提示される。
制御管理部141は、制御情報に含まれるコンテンツの種類や制御に係る情報と、遅延バッファ113の状態及びデジッタバッファ123の状態とに基づいて、遅延バッファ113及びデジッタバッファ123の制御方法を決定し、決定した制御方法を制御部151に指示する。なお、制御管理部141については更に図15を用いて後述する。
制御部151は、分離部112から出力されたPCRを用いて基準クロック信号を生成する。この生成された基準クロック信号は、各バッファの出力タイミングの制御などに利用される。
制御部151は、分離バッファ114から出力されるDTSなどのタイムスタンプ情報、分離バッファ124から出力されるDTSなどのタイムスタンプ情報、制御管理部141によって決定された制御方法に基づいて遅延バッファ113及びデジッタバッファ123の遅延を制御する。
以下、制御管理部141の一構成例について図15を用いて説明する。
図15は、図14の制御管理部141の一構成例を示すブロック図である。
制御管理部141は、制御情報抽出部171、バッファ管理部172、監視部173、及び制御方法決定部174を備える。
制御情報抽出部171は、入力される制御情報からコンテンツの種類や制御に係る情報を抽出し、抽出したコンテンツの種類や制御に係る情報を制御方法決定部174に出力する。但し、コンテンツの種類や制御に係る情報として、例えばコンテンツ同期に必要な精度に係る情報、放送コンテンツの許容できるEnd−to−End遅延時間に係る情報などがある。なお、コンテンツの種類や制御に係る情報などの制御情報は例えば送信側で多重して送信される。制御情報は、例えば多重化方式としてMPEG2−TS方式を用いる場合は、記述子、テーブルなどで構成されるPSIやSI、セクション等である。
バッファ管理部172は、遅延バッファ113及びデジッタバッファ123の夫々について、バッファサイズ、バッファ占有量、及び遅延時間(バッファに入力されてから出力されるまでの時間)を管理し、これらを基に使用可能な余剰バッファのサイズを算出する。
なお、例えば、バッファ管理部172は、入力クロック及び出力クロックを常に監視し、デジッタバッファ123及び遅延バッファ113夫々での遅延時間、及び、バッファ占有量を算出することができる。
また、バッファ管理部172は、デジッタバッファ123及び遅延バッファ113夫々でのバッファ占有量を、平均ビットレートにバッファでの遅延時間を乗算することによって算出することができる。
なお、バッファ管理部172は、遅延バッファ113及びデジッタバッファ123の他に共有管理しているバッファメモリがあれば、その中で使用可能なメモリを含めて動的にバッファサイズを決定してもよい。
監視部173は、デジッタバッファ123においてアンダーフローの発生の可能性及びオーバーフローの発生の可能性を常時監視し、監視結果を制御方法決定部174に通知する。
ここで、実施の形態2において監視部173が行う監視処理の一例について記載する。
監視部173は、デジッタバッファ123のバッファ占有量を監視する。
そして、監視部173は、デジッタバッファ123のバッファ占有量が所定の第1閾値未満の場合にアンダーフローの発生の可能性があるとしてアンダーフローフラグをONにする。一方、監視部173は、デジッタバッファ123のバッファ占有量が所定の第1閾値以上の場合にアンダーフローの発生の可能性がないとしてアンダーフローフラグをOFFにする。
また、監視部173は、デジッタバッファ123のバッファ占有量が所定の第2閾値を超える場合にオーバーフローの発生の可能性があるとしてオーバーフローフラグをONにする。一方、監視部173は、デジッタバッファ123のバッファ占有量が所定の第2閾値以下の場合にオーバーフローの発生の可能性がないとしてオーバーフローフラグをOFFにする。
監視部173は上記の動作を常時行う。
制御方法決定部174は、アンダーフローの発生の可能性又はオーバーフローの発生の可能性がある場合、余剰バッファサイズ、End−to−End遅延、コンテンツの種類や制御に係る情報などに基づいて、遅延バッファ113及びデジッタバッファ123の制御方法を決定し、決定した制御方法を制御部151に通知する。なお、制御方法決定部174の動作については更に図17を用いて後述する。
図16は図14の受信装置100の放送通信受信開始後の遅延バッファ113及びデジッタバッファ123の初期動作の一例を示すフローチャートである。但し、図16のフローチャートでは、遅延バッファ113及びデジッタバッファ123においてアンダーフロー及びオーバーフローは発生しないとする。なお、図16では、通信に関する処理を図の左側に、放送に関する処理を図の右側に記す。
受信装置100は、放送の受信を開始し(ステップS101)、通信の受信を開始する(ステップS102)。
通信の受信開始後、デジッタバッファ123は制御部151の制御を受けて通信データのバッファリングを開始する(ステップS103)。制御部151はデジッタバッファ123のバッファリングの開始に合わせて遅延バッファ113のバッファリングの開始を制御し、遅延バッファ113は制御部151による制御を受けて放送データのバッファリングを開始する(ステップS104)。
制御部151は、デジッタバッファ123のバッファリング量が初期バッファリング量に達したか否か、つまり、デジッタバッファ123の初期バッファリングが完了したか否かを判定する(ステップS105)。デジッタバッファ123の初期バッファリングが完了したと判定されるまで(S105:No)、デジッタバッファ123及び遅延バッファ113の初期バッファリングが行われ、ステップS105の処理が行われる。
デジッタバッファ123の初期バッファリングが完了したと判定された場合(S105:Yes)、制御部151はデジッタバッファ123及び遅延バッファ113のデータの遅延出力の開始を制御する。デジッタバッファ123は制御部151による制御を受けて通信データの遅延出力を開始し(ステップS106)、遅延バッファ103は制御部151による制御を受けて放送データの遅延出力を開始する(ステップS107)。
以上のように、デジッタバッファ123の動作に応じて、遅延バッファ113を動作させ、初期動作が完了する。
但し、デジッタバッファ123の初期バッファリング量は、例えば、補償したいジッタの想定時間と平均ビットレートを乗算した値である。
遅延出力を開始させる前の通常の放送データの出力は、デジッタバッファ123の初期バッファリングの完了を待って出力開始してもよいし、デジッタバッファ123の初期バッファリングの完了を待たずに出力開始してもよい。
デジッタバッファ123の出力開始時、放送データと通信データとのタイムスタンプ情報から算出された時間差を基に、放送データに対して時間を合わせた通信データを出力する。
なお、図16では、放送を遅延させるために遅延バッファ113のサイズは十分な大きさを持つとして説明したが、放送データの遅延出力開始前に遅延バッファ113がオーバーフローしそうな場合は、その時点で適切に処理する必要がある。
図17は、図14の制御方法決定部174による制御方法決定動作の一例を示すフローチャートである。但し、図17のフローチャートの開始時点では、デジッタバッファ123と遅延バッファ113との同期がとれている定常状態にあるとする。
制御方法決定部174は、監視部173によるデジッタバッファ123の監視の結果に基づくアンダーフローフラグがONかOFFのどちらであるかを判定する(ステップS151)。アンダーフローフラグがOFFの場合、つまり、デジッタバッファ123においてアンダーフローの発生の可能性がない場合(S151:OFF)、制御方法決定部174は、監視部173によるデジッタバッファ123の監視の結果に基づくオーバーフローフラグがONかOFFのどちらであるかを判定する(ステップS152)。
オーバーフローフラグがOFFの場合、つまり、デジッタバッファ123においてオーバーフローの発生の可能性がない場合(S152:OFF)、ステップS151の処理に戻る。
オーバーフローフラグがONの場合、つまり、デジッタバッファ123においてオーバーフローの発生の可能性がある場合(S152:ON)、制御方法決定部174は制御方法としてオーバーフローに対する処理(例えば、デジッタバッファ123の出力をスキップする処理)に決定して制御部151に対して指示する。制御部151はこの指示を受けてデジッタバッファ123に対してオーバーフローに対する処理を実行する(ステップS153)。
アンダーフローフラグがONの場合、つまり、デジッタバッファ123においてアンダーフローの発生の可能性がある場合(S151:ON)、制御方法決定部174は、デジッタバッファ123に余裕があるか否かを判定する(ステップS154)。ステップS154の判定は、例えば、バッファ管理部172において算出されるデジッタバッファ123の余剰バッファサイズが所定値以上ある場合にデジッタバッファ123に余裕があると判定される。
デジッタバッファ123に余裕がないと判定された場合(S154:No)、ステップS162の処理に進む。
一方、デジッタバッファ123に余裕があると判定された場合(S154:Yes)、制御方法決定部174は、遅延バッファ113に余裕があるか否かを判定する(ステップS155)。ステップS155の判定は、例えば、バッファ管理部172において算出される遅延バッファ113の余剰バッファサイズが所定値以上ある場合に遅延バッファ113に余裕があると判定される。
遅延バッファ113に余裕がないと判定された場合(S155:No)、ステップS162の処理に進む。
遅延バッファ113に余裕があると判定された場合(S155:Yes)、制御方法決定部174は、制御部151にデジッタバッファ123の追加バッファリングを指示し、制御部151はこの指示を受けてデジッタバッファ123の出力を停止させるとともに追加バッファリングをさせる制御を行う。デジッタバッファ123は制御部151による制御を受けて出力を停止し、追加バッファリングを行う(ステップS156)。
制御方法決定部174は、デジッタバッファ123の追加バッファリングが完了したか否かを判定する(ステップS157)。追加バッファリング完了したかどうかは、例えば、監視部173によるデジッタバッファ123の監視の結果に基づき、デジッタバッファの占有量が十分であり、デジッタバッファが再びアンダーフローする可能性が少ないと判定した時点で、追加バッファリングが完了したと判定する。
デジッタバッファ123の追加バッファリングが完了していないと判定された場合には(S157:No)、ステップS154の処理に戻る。
デジッタバッファ123の追加バッファリングが完了したと判定された場合には(S157:Yes)、制御方法決定部174は放送を遅延させる必要があるか否かを判定する(ステップS158)。ステップS158の判定は、例えば、コンテンツ同期に必要な精度に係る情報が同期の必要なしの場合に放送を遅延させる必要がないと判定する。
放送を遅延させる必要がないと判定された場合(S158:No)、制御方法決定部174は、制御方法として遅延バッファ113の遅延制御を行わない制御方法に決定し、決定した制御方法を制御部151に通知する。制御部151はこの通知を受けて遅延バッファ113の遅延制御を行わず、遅延バッファ113は放送データを遅延させることなく出力する(ステップS159)。
放送を遅延させる必要があると判定された場合(S158:Yes)、制御方法決定部174は、放送コンテンツの許容できるEnd−to−End遅延時間に係る情報を利用して、実際のEnd−to−End遅延時間が許容範囲内であるか否かを判定する(ステップS160)。放送コンテンツの許容できるEnd−to−End遅延時間に係る情報は、例えば、送信側でコンテンツの許容できるEnd−to−End遅延時間を指定し、制御信号として放送を用いて送信し、受信装置は放送信号を受信し、制御信号から放送コンテンツの許容できるEnd−to−End遅延時間に係る情報を取得することができる。
End−to−End遅延時間が許容範囲内でないと判定された場合(S160:No)、ステップS162の処理に進む。
End−to−End遅延時間が許容範囲内であると判定された場合(S160:Yes)、制御方法決定部174は、制御方法として遅延バッファ113の遅延制御を行う制御方法に決定し、決定した制御方法を制御部151に通知する。制御部151はこの通知を受けて遅延バッファ113の遅延制御を行い、遅延バッファ113は放送データの遅延出力動作を行う(ステップS161)。なお、遅延制御における遅延バッファ113での遅延量は、デジッタバッファ123の入出力カウンタと遅延バッファ113の入出力カウンタを利用することにより、算出可能である。
ステップS162において、制御方法決定部174は放送と通信との同期は不可能と判定する。そして、制御方法決定部174は放送の受信動作のみ保証するように、デジッタバッファ123と遅延バッファ113を独立に制御する制御方法に決定し、決定した制御方法を制御部151に通知する。制御部151はこの通知を受けてデジッタバッファ123と遅延バッファ113とを独立に制御する(ステップS162)。
(実施の形態2の補足)
以下、実施の形態2の補足について記載する。
(1)実施の形態2において、放送と通信との間で伝送経路による遅延差がある場合、受信装置の構成を図18に示す構成とすることができる。但し、図18において、図14の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
図18の受信装置100Aは、図14の受信装置100に対して、遅延バッファ113と分離バッファ114との間に同期バッファ191を追加し、デジッタバッファ123と分離バッファ124との間に同期バッファ196を追加した構成になっている。
制御部151は、分離バッファ114からのDTSなどのタイムスタンプ情報と、分離バッファ124からのDTSなどのタイムスタンプ情報とを用いて、放送データと通信データとの間で同期がとられるように、同期バッファ191及び同期バッファ196の出力タイミングを制御する。
(2)デジッタバッファ123がアンダーフローの発生の可能性又はオーバーフローの発生の可能性がある場合でも、必ずしも遅延バッファ113を制御する必要はない。
(3)実施の形態2で説明した制御方法の決定の仕組みは、様々なアンダーフローの回避方法やオーバーフローの回避方法が用いられる場合に、利用され得る。
(4)実施の形態2において、予めバッファの動作を保証するためのバッファサイズが規定されている場合、規定されているバッファサイズを用いて余剰バッファサイズを算出してもよい。
規定されたバッファサイズでデジッタバッファ123及び遅延バッファ113の制御が不可能である場合、通信に関する受信動作を保証しなくてもよい。
規定されたバッファサイズで制御が不可能である場合、その旨を示すメッセージを例えば提示部5に提示するようにしてもよい。
規定されたバッファサイズで制御が不可能である場合は、その旨を示す情報を通信手段を用いて送信側にフィードバックするようにしてもよい。
実際のジッタ時間や放送と通信の遅延時間等の伝送路に係る情報を通信手段を用いて送信側にフィードバックするようにしてもよい。
(5)放送と通信との同期を保証できない場合、受信装置の放送に関する動作を優先させた制御を行うことが好ましい。
放送と通信との同期が保証できない場合、デジッタバッファ123を監視しながら、デジッタバッファ123及び遅延バッファ113を適切に制御することにより、受信装置の放送に関する動作を保証する。
(6)デジッタバッファ123の制御の結果として、通信コンテンツをより遅延の少ないデータ、ジッタの少ないデータに変更するという選択肢も可能である。この場合は、通信送受信部121からその旨をコンテンツサーバに通知し、ジッタの少ないデータを取得する。これにより、安定したサービスを視聴者に提供することが可能になる。
通信コンテンツの取得の変更に伴って、放送コンテンツの取得方法を変更する必要が生じることも想定される。この場合、制御管理部141は放送コンテンツの取得方法の変更を行う。
(7)送信側において、伝送路の品質を示す制御情報をシグナリングメッセージとして多重して送信し、受信装置は送信された品質に基づいて制御方法を決定或いは限定するようにしてもよい。例えば、伝送路の品質を示す制御信号として、通信伝送路で想定される最大遅延時間が送信側からシグナリングされている場合、受信装置は、受信装置のバッファサイズと比較することで、通信コンテンツを受信するかどうか、或いは、放送コンテンツと通信コンテンツとを同期再生するかどうかを判定してもよい。
送信側において、推奨する制御方法を示す制御情報をシグナリングメッセージとして多重して送信し、受信装置は送信された推奨する制御方法に基づいて動作するようにしてもよい。
送信側において、送信側が動作を保証することが可能なジッタ時間、並びに、デジッタバッファ123及び遅延バッファ113のバッファサイズの情報をシグナリングメッセージとして多重して送信するようにしてもよい。
(8)コンテンツ同期に必要な精度とは、例えば、一方のコンテンツに対して他方のコンテンツが、(A)同期必要なし、(B)10秒以内の同期精度が必要、(C)1秒以内の同期精度が必要、(D)フレーム単位での同期精度が必要、等である。
受信装置100は、コンテンツ同期に必要な精度を満たすように、同期やジッタに係る制御方法を自由に決定することができる。このため、受信装置の仕様や能力に合わせた制御方法を選択することも可能になる。例えば、フレームレベルの同期が必要であれば、デジッタバッファ123に合せて高精度の遅延バッファ113の制御を行う。また、同期の必要がなければ、デジッタバッファ123の制御に合せた遅延バッファ113の制御を行わないという選択も可能になる。最低限必要な同期精度を通知するのではなく、推奨する同期精度を送信してもよい。
受信装置がコンテンツの内容に応じて同期の精度を判定し、制御方法を決定することも可能である。例えば、コンテンツが映像と字幕の場合は、字幕を視聴するために問題がないレベルであれば、同期の精度を落として制御してもよい。
(9)送信側が、一方のコンテンツが単独で復号可能か、単独で復号不可能かの制御情報を送信するようにしてもよい。例えば、放送が単独で復号不可能であれば、放送と通信とを同期させることが必須となる。一方、放送が単独で復号可能であれば、同期不可能な場合、放送コンテンツのみ表示するという選択肢も可能である。
(10)送信側で、許容できるジッタやデジッタバッファ量を規定し、制御信号として送信するようにしてもよい。
コンテンツ制作者が同期の精度を例えば「強制する」又は「強制しない」と決めて、送信側でこの情報を送信するようにしてもよい。
(11)制御情報は復号開始前に取得可能であることが好ましい。
復号開始前に取得可能な情報として、例えば多重化方式としてMMT(MPEG Media Transport)を用いる場合、CI(Composition Information)に記述してもよいし、MPT(MMT Packege Table)の中に、Assetのリストとともに記述してもよい。また、MPEG2−TSの場合、PMT(Program Map Table)のような制御情報でもよいし、MPEG−DASH(Dynamic Adaptive Streaming over HTTP)を用いる場合には、MPD(Media Presentation Description)に記述してもよいし、他の多重化システムの場合でも、受信装置において復号開始前に取得可能なプログラム情報であれば良い。
制御情報は、放送又は通信のどちらか一方又は両方から送信し、制御管理部141は復号開始前に制御情報を取得、解析し、デジッタバッファ123及び遅延バッファ113の制御方法を決定する。
(12)ジッタや放送と通信との同期を補償するためのバッファサイズを予め規定し、更に、規定されたバッファサイズ内で動作補償するための制約条件を規定し、規定に基づいてアンダーフローやオーバーフロー対策など、バッファの動作を決定してもよい。
デジッタバッファ、遅延バッファ、同期バッファの合計サイズを規定しておき、合計サイズの中で動作を補償する規定であってもよい。
(13)図14及び図18に構成を示した受信装置100、100Aの構成を、図9を用いて説明した1つの復号部で復号するように変形してもよく、図10を用いて説明した例えば2つのコンテンツ生成部を備えるように変形してもよい。
(14)実施の形態2及び実施の形態2の補足で説明した機能をハードウェアで実現するようにしてもよく、ソフトウェアで実現するようにしてもよい。また、一部をハードウェアで実現し、一部をソフトウェアで実現するようにしてもよい。
(15)ジッタや放送と通信との同期が完了したコンテンツを復号する前に、タブレット等の連携装置に送信するようにしてもよい。
(16)実施の形態2及び実施の形態2の補足で説明した機能の一部を、受信装置としてだけでなく、中継局の機能の一部として実現してもよい。
(17)デジッタバッファ123及び遅延バッファ113の制御結果(例えば、「放送と通信との間での同期が不可能」などのエラーメッセージ)を、視聴者に対して提示するようにしてもよいし、レポートとして記録するようにしてもよい。
(18)実施の形態2において図14を用いて説明した受信装置100におけるバッファ構成は一例であり、実施の形態2と同等の機能を持つバッファであれば、この構成に限定されない。
例えば、バッファはメモリサイズをもっとも小さくできる位置に配置するのが望ましい。また、実施の形態2では、遅延バッファ113、分離バッファ114、デジッタバッファ123、分離バッファ124など機能毎にバッファを備えるようにしているが、これに限定されるものではなく、一つのバッファに複数の機能を備えるようにしてもよい。また、バッファがそれぞれの機能に対して割り当てるメモリ割り当ては動的であってもよいし、メモリを共有で複数の機能を実現してもよい。
なお、図18を用いて説明した受信装置100Aについても同様のことが言える。
(19)実施の形態2では、多重化方式としてMPEG2−TSを例に挙げて説明したが、多重化方式は特に限定されるものではない。多重化方式として、例えば、MP4や、ストリーミングに広く用いられているRTP、MMT等がある。
(その他)
実施の形態1及び実施の形態1の補足で説明した内容を適宜組み合わせてもよい。
実施の形態2及び実施の形態2の補足で説明した内容を適宜組み合わせてもよい。
実施の形態1及び実施の形態1の補足で説明した内容と実施の形態2及び実施の形態2の補足で説明した内容とを適宜組み合わせてもよい。
実施の形態1及び実施の形態1の補足で説明した内容を実施の形態2及び実施の形態2の補足で説明した内容に適用してもよく、実施の形態2及び実施の形態2の補足で説明した内容を実施の形態1及び実施の形態1の補足で説明した内容に適用してもよい。
≪まとめ≫
実施の形態や変形例に係る受信装置及び受信方法とその効果についてまとめる。
(1)第1の受信装置は、ジッタを補償する必要がない第1伝送経路にて受信した第1信号を蓄積して出力する第1バッファと、ジッタを補償する必要がある第2伝送経路にて受信した第2信号を蓄積して出力する第2バッファと、前記第2バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第1バッファの余剰バッファサイズ及び前記第2バッファの余剰バッファサイズに基づいて前記第1バッファ及び前記第2バッファの制御方法を決定する制御管理部と、前記制御管理部により決定された前記第1バッファ及び前記第2バッファの制御方法に基づいて前記第1バッファ及び前記第2バッファを制御する制御部と、を備える。
第1の受信方法は、ジッタを補償する必要がない第1伝送経路にて受信した第1信号を蓄積して出力する第1バッファと、ジッタを補償する必要がある第2伝送経路にて受信した第2信号を蓄積して出力する第2バッファと、を備える受信装置において行われる受信方法であって、前記第2バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第1バッファの余剰バッファサイズ及び前記第2バッファの余剰バッファサイズに基づいて前記第1バッファ及び前記第2バッファの制御方法を決定し、決定された前記第1バッファ及び前記第2バッファの制御方法に基づいて前記第1バッファ及び前記第2バッファを制御する。
これらによれば、ジッタを補償する必要がない第1信号とジッタを補償する必要がある第2信号とのサービスの品質向上を図ることができる。
(2)第2の受信装置は、第1の受信装置において、前記制御管理部は、更に、前記第1信号と前記第2信号との同期に必要な精度に係る制御情報に基づいて、前記制御方法の決定を行う。
(3)第3の受信装置は、第1の受信装置において、前記制御管理部は、更に、前記第1信号の許容可能なEnd−to−End遅延時間に係る情報に基づいて、前記制御方法の決定を行う。
(4)第4の受信装置は、第1伝送経路から受信した第1信号を蓄積して出力する第1バッファと、第2伝送経路から受信した第2信号を蓄積して出力する第2バッファと、前記第1信号に含まれる時刻情報と前記第2信号に含まれる時刻情報とに基づいて、前記第1信号と前記第2信号との同期に係る前記第1バッファ及び前記第2バッファの同期制御を行う制御部と、前記制御部による前記同期制御に応じて、同期に係る報知を行う報知部と、を備える。
第2の受信方法は、第1伝送経路から受信した第1信号を蓄積して出力する第1バッファと、第2伝送経路から受信した第2信号を蓄積して出力する第2バッファと、を備える受信装置において行われる受信方法であって、前記第1信号に含まれる時刻情報と前記第2信号に含まれる時刻情報とに基づいて、前記第1信号と前記第2信号との同期に係る前記第1バッファ及び前記第2バッファの同期制御を行い、前記同期制御に応じて、同期に係る報知を行う。
これらによれば、第1信号と第2信号との同期をとる際に視聴者に与える違和感や不快感の軽減を図ることが可能になる。
(5)第5の受信装置は、前記制御部は、視聴者による入力内容に基づいて前記同期制御を行う。
これによれば、第1信号と第2信号との同期を視聴者の希望に沿ったものにすることができる。
(実施の形態3)
これまで説明した実施の形態では、マルチキャストストリーミングされた通信コンテンツの取得のように、受信装置が通信コンテンツの選択をしない場合を例に説明した。実施の形態3では、受信装置が選択した通信コンテンツを放送コンテンツに同期提示する例について説明する。
なお、以下の実施の形態3で、単に「受信装置」と記載される場合、この「受信装置」には、図1、図9、図10、及び図14で説明したいずれの受信装置が採用されてもよい。「制御部」など、受信装置が有する構成要素の記載についても同様である。
[概要]
以下、実施の形態3に係る受信装置及びサーバが行う動作の概要について説明する。なお、サーバは、送信装置の一例であり、以下の実施の形態3において、通信サーバ及び放送サーバの両方において実現可能な機能に関して「サーバ」と記載されている場合は、通信サーバであってもよいし放送サーバであってもよい。
・サーバは、通信プロトコルがマルチキャストかどうか、コンテンツがライブであるかどうかの情報を制御情報に含めて送信する。受信装置は、当該制御情報や取得するコンテンツが通信サーバにあるかどうかに基づいて、任意の時間の通信コンテンツを取得できるかどうかを判定する。
・受信装置は、任意の時間の通信コンテンツが取得可能な場合には、取得する通信コンテンツの時間や取得タイミングを決定し、サーバから取得する。
・受信装置は、任意の時間の通信コンテンツが取得可能な場合には、通信コンテンツをプリバッファする。また、サーバは、プリバッファリングするタイミングなどを制御情報やイベントとして通知し、受信装置は、通知した時間においてプリバッファリングを開始する。
・受信装置は、バッファの状態、コンテンツの種類、伝送路の状態などから、放送コンテンツと通信コンテンツが同期再生可能かどうかを判定する。受信装置は、同期再生が不可能になる可能性がある場合には、バッファの制御を行う、または、通信コンテンツの取得に基づく判定を行い、当該判定に基づく制御を行う。
・サーバは、放送コンテンツと通信コンテンツの同期に必要な精度や、許容できるコンテンツ提示の時間差を制御情報としてシグナリングする。受信装置は、制御情報を基づいて、提示方法やバッファを制御する。
・サーバは、放送コンテンツと通信コンテンツの同期に必要な精度や、許容できるコンテンツ提示の時間差を制御情報としてシグナリングし、制御情報に基づいて取得すべき通信コンテンツを通信サーバに指示する。
[詳細]
以下、実施の形態3に係る受信装置及びサーバが行う動作の詳細について説明する。
例えば、MPEG−DASHのようなプログレッシブダウンロード方式において、通信環境に応じて異なる品質のコンテンツが選択される場合が考えられる。また、セグメント化されたデータから所望の時間のデータを選択して取得する場合や、ストリーミングサービスにおいてRTSPなどのプロトコルを用いて取得する通信コンテンツを選択する場合等が考えられる。
MPEG−DASHの例では、1つの映像コンテンツに対して、画像サイズと符号化速度が異なる複数の映像データがサーバに用意されており、映像データはセグメント単位に分割されている。また、MPDには、サーバに格納された映像データに関する情報が記述されている。
そこで、受信装置は、サーバからMPDを取得および解析し、受信装置の能力や通信用の伝送路の状態を考慮して、取得するデータを決定し、サーバに要求する。そして、受信装置は、サーバからHTTPプロトコルを用いて、決定した所望の映像データを取得する。
ところで、実施の形態3における放送通信連携サービスにおいては、受信装置は、放送サービス(放送コンテンツ)に応じて適切な方法で通信コンテンツを取得し、同期再生することが望ましい。そこで、実施の形態3では、受信装置は、通信コンテンツの取得に係る制御情報を取得するとともに、放送通信連携に係る制御情報を取得し、放送サービスに応じた通信コンテンツを取得する。
放送通信連携サービスを提供するために、送信側は、通信コンテンツの伝送方式、通信コンテンツのサービスに係る情報、通信コンテンツの取得に係る時刻情報が含まれているかどうかを示す情報、通信コンテンツの取得に係る時刻情報もしくはタイミング情報、または、通信コンテンツのロケーション情報などを、放送通信連携に係る制御情報に含めることができる。以下、各情報について説明する。
通信コンテンツの伝送方式は、例えば、MPEG−DASH方式、MMT方式、RTP方式などである。放送通信連携に係る制御情報に通信コンテンツの伝送方式が含まれる場合、受信装置は、放送通信連携に係る制御情報から通信コンテンツの伝送方式を取得し、伝送方式にあった受信方法で通信コンテンツを取得する。
通信コンテンツのサービスに係る情報は、例えば、VOD、ストリーミング、またはライブを示す情報等である。
通信コンテンツの取得に係る時刻情報が含まれているかどうかを示す情報は、例えば、通信コンテンツの取得開始に係る時刻情報やタイミング情報が制御情報に記述されていることを示す情報である。タイミング情報としては、例えばイベントメッセージのようなタイミング情報がある。
受信装置は、通信コンテンツの取得に係る時刻情報が制御情報に含まれている場合には、時刻情報を取得し、通信コンテンツの取得を制御したり、取得する通信コンテンツを選択したりする。また、イベントメッセージが送信されていることを示す情報が制御情報に含まれている場合、受信装置は、イベントメッセージを監視し、イベントに応じて通信コンテンツの取得を制御する。
通信コンテンツの取得に係る時刻情報は、通信コンテンツを放送コンテンツに同期させて再生するために必要な、通信コンテンツの取得タイミングを受信装置に対して指定するための情報である。
なお、受信装置は、通信コンテンツの取得に係る時刻情報に基づいてコンテンツを取得しなくてもよい。時刻情報に基づいてコンテンツを取得するかどうかの判断は、放送局が指定できるように制御信号を送信してもよいし、受信装置が自身で判断してもよい。また、このような判断は、視聴者によって行われてもよい。
通信コンテンツの取得に係る時刻情報又はタイミング情報は、具体的には、下記のような情報である。
・通信コンテンツの取得開始に係る時刻情報、又はタイミング情報(放送コンテンツに同期させるために、通信コンテンツを取得開始すべき時刻又はタイミングを示す情報)
・通信コンテンツの取得完了に係る時刻情報、又はタイミング情報(放送コンテンツに同期させるために、通信コンテンツを取得完了すべき時刻又はタイミングを示す情報)
・通信コンテンツの再生に係る時刻情報、又はタイミング情報(放送コンテンツに同期させるために、通信コンテンツを再生すべき時刻又はタイミングを示す情報)
・通信コンテンツの取得が可能となる時刻を示す時刻情報、又はタイミング情報
なお、これらの時刻情報は、NTPのような絶対時刻であってもよいし、放送信号の基準時刻(PCRやNTPなど)に対する相対時刻であってもよい。また、通信コンテンツの取得に係る時刻情報として、イベントメッセージのようなタイミング情報を送信してもよい。
通信コンテンツのロケーション情報は、例えば、通信コンテンツの保存場所を示す情報である。
なお、制御情報には、上記の情報以外に以下のような情報が含まれてもよい。
例えば、放送のみのプログラム(番組)から放送通信連携のプログラムへと切り替わることを示す情報や、放送通信連携のプログラムが始まる時刻を示す時刻情報が含まれてもよい。放送通信連携のプログラムとは、例えば、放送と通信とを同期再生するプログラムであるが、放送と通信とを同期再生しないプログラムであってもよい。
また、放送のみのプログラムから放送通信連携のプログラムへ切り替わる場合、切り替わる前にあらかじめ放送通信連携のプログラムが始まることや、放送通信連携のプログラムが始まる時刻情報を受信側へ通知し、次のプログラムのプログラム情報を事前に送信して通信コンテンツの事前バッファリングを指示することができる。これにより、受信装置は放送番組開始より前の時刻からプログラム情報を事前取得し、通信コンテンツの取得を開始し、プリバッファリングできるため、スムーズな放送通信連携のプログラムの同期再生が可能となる。
また、プログラムを構成する伝送路の組み合わせなどの状態が変わる場合に、事前に状態が変わることを示す情報や、状態が変わる時刻を示す情報が制御情報に含まれてもよい。これらの情報の送信には、EITが使用されてもよいし、これらの情報は、PMTのcurrent next indicatorを’0’にセットすることにより、次のプログラムの情報に記述されて、プログラム情報として送信されてもよい。
また、これらの情報は、AITに記述されて送信されてもよい。例えば、ハイブリッドキャスト仕様において、次のプログラムのPMT情報の記述子に、AIT(アプリケーション制御情報)が含まれていることを示す記述子ait identifier info()が記述されている場合が想定される。このような場合、次のプログラムのAITは、現在のプログラムの放送中に事前に送信されてもよい。具体的には、事前に送信されているかどうかを示すフラグが記述子に格納されてもよいし、現在のプログラムに係るAITであるか次のプログラム情報に係るAITであるかを識別できる情報がAIT内部に記述されてもよい。
また、制御情報には、通信サーバが通信コンテンツを提供可能な状態にあることを示す情報が含まれてもよい。このような情報は、言い換えれば、通信コンテンツの取得が可能な状態であることを示す情報(取得情報)である。また、制御情報には、通信コンテンツが提供可能となる時刻情報が含まれてもよい。このような時刻情報は、言い換えれば、タイミングを通知することによって当該タイミング以降において前記通信コンテンツの取得が可能となることを示す情報(取得情報)である。また、制御情報は、複数の通信コンテンツの取得情報を示してもよいし、通信サーバが提供可能な通信コンテンツのリストを示してもよい。
放送通信連携に係る制御情報は、記述子として放送の伝送方式に基づくプログラム情報に記述されてもよいし、通信の伝送方式に基づくプログラム情報に記述されてもよい。また、放送通信連携に係る制御情報は、その他の形式のプログラム情報に記述されてもよい。放送通信連携に係る制御情報は、これらのプログラム情報のうちいずれか一つに記述されてもよいし、複数のプログラム情報に記述されてもよい。
ここで、プログラム情報について補足する。
プログラム情報は、例えば、MPEG2−TSを用いている場合は、PMTに記述されるが、MMT方式を用いている場合はMPTに記述されてもよいし、MPEG−DASHではMPDに記述されてもよい。また、プログラム情報は、ハイブリッドキャストなどで用いられるアプリケーション制御情報(Application Information Table)に記述され、セクションとして伝送されたり、データカルーセル伝送されてもよい。
プログラム情報は、放送と通信など、複数の伝送路のうち少なくとも1つ以上の伝送路を用いて伝送される。例えば、通信の伝送方式に基づいたプログラム情報が放送を用いて伝送される場合もある。
なお、プログラム情報には放送通信連携に係る制御情報が含まれていることを示す情報がプログラム情報に記述されてもよいし、プログラム情報には、放送通信連携に係る制御情報が含まれているロケーション情報を示す情報が含まれてもよい。
以下、放送通信連携に係る制御情報が、記述子としてプログラム情報に記述される場合の具体例について説明する。
放送コンテンツがMPEG2−TS方式を用いて伝送され、通信コンテンツがMPEG−DASHを用いて伝送される場合、制御情報に対応する記述子は、放送によって伝送されるPMTに記述されてもよいし、通信によって伝送されるMPDに記述されてもよい。また、制御情報に対応する記述子は、PMTとMPD両方に記述されてもよく、MPDが放送によって伝送されてもよいし、PMTが通信によって伝送されてもよい。
[コンテンツ取得動作例]
次に、実施の形態3に係る受信装置の通信コンテンツの取得動作についてフローチャートを用いて説明する。図19は、実施の形態3に係る受信装置の通信コンテンツの取得動作の一例を示すフローチャートである。なお、図19のフローチャートは、通信コンテンツを任意の時刻に取得可能な状態(通信コンテンツの送信準備ができている状態)であることを前提とするものである。
まず、制御部(受信装置)は、通信コンテンツの伝送方式、及び、通信コンテンツのサービスの情報などに基づいて、通信コンテンツの取得方法を決定する(ステップS201)。
次に、制御部は、ステップS201において決定された通信コンテンツの取得方法に基づき、エントリーとなるプログラム情報を起点として、放送に係る制御情報、通信に係る制御情報、及び放送通信連携に係る制御情報などを取得する(ステップS202)。
次に、制御部は、以下に示す通信コンテンツの取得のための情報を取得する(ステップS203)。
・制御部は、通信に係る制御情報から、サーバに用意されているコンテンツの情報を取得する。例えば、MPEG−DASHのMPDであれば、コンテンツの情報は、映像データの画像サイズ、映像データの符号化速度、及び、映像データの時刻情報などである。
・制御部は、通信送受信部21から、通信伝送路の品質の情報を取得する。
・制御部は、コンテンツを再生するために必要な受信装置の能力を取得する。
なお、受信装置において通信コンテンツのみを再生する場合には、制御部は、上記の通信コンテンツの取得のための情報を基に通信コンテンツを決定することができる。しかしながら、放送通信連携サービスにおいて放送コンテンツと通信コンテンツとを同期再生するためには、制御部は、さらに放送コンテンツの再生に係る情報を取得し(ステップS204)、放送コンテンツの同期再生に適した通信コンテンツを決定する。
放送コンテンツの再生に係る情報は、例えば、PTSやDTSなどの放送コンテンツの提示時刻や復号時刻、受信装置における遅延バッファやデジッタバッファ等のバッファの状態(バッファサイズやバッファ使用量、オーバーフロー、アンダーフロー等)、End−to−End遅延量などである。
なお、上記ステップS203においては、受信装置は、上述の通信コンテンツの取得に係る時刻情報又はタイミング情報(通信コンテンツの取得に関連するタイミングを示す情報)を取得してもよい。また、上記ステップS203においては、受信装置は、通信コンテンツの取得が可能な状態であることを示す情報(サーバにおいて通信コンテンツの準備ができていることを示す情報)を取得してもよい。これらの情報(通信コンテンツの取得に関連する情報、つまり、取得情報)は、実施の形態3では、放送を通じて受信されるが、通信によって受信されてもよい。
このような取得情報により、受信装置は、放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる。また、受信装置が取得情報に応じて通信コンテンツを取得することにより、メインコンテンツである放送の提示にスキップや停止などの不連続が生じる可能性を低減し、安定した放送視聴を担保することができる。
次に、制御部は、ステップS203及びステップS204で取得した情報に基づいて、放送コンテンツと同期再生するために適した通信コンテンツを選択し、選択した通信コンテンツをサーバから取得する(ステップS205)。
そして、制御部は、取得した通信コンテンツに応じて、適切にバッファを制御することにより放送コンテンツと通信コンテンツとを同期再生する(ステップS206)。なお、放送コンテンツは、例えば、ステップS206において受信される。ここでのバッファの制御方法は、実施の形態1及び2で説明したため説明が省略される。
以下、上記ステップS205の処理の詳細について補足する。ステップS205においては、制御部は、具体的には、放送コンテンツのタイムスタンプを取得し、放送コンテンツと同期再生可能な時刻の通信コンテンツを選択する。そして、制御部は、選択した通信コンテンツをサーバに要求して取得する。
また、放送コンテンツと通信コンテンツとの同期再生中に、バッファの状態を監視し、バッファのオーバーフローやアンダーフロー等により、同期再生を継続できないと判断される場合が考えられる。このような場合、制御部は、通信コンテンツの取得の制御を行うことで同期再生を継続することも可能である。ここで、通信コンテンツの取得の制御とは、コンテンツの取得をコントロール(一時停止、早送り、巻き戻しなど)することである。
また、制御部は、異なる再生時間のコンテンツをサーバから取得することにより、同期再生を継続することもできる。異なる再生時間のコンテンツを取得するとは、例えば、通信コンテンツの取得をスキップして、再生時間のより遅い通信コンテンツを取得したり、通信コンテンツの取得を巻き戻して、再生時間のより早い通信コンテンツを取得することである。このような制御は、伝送路のジッタや遅延などが変化する場合に有効である。
[定常状態における動作例]
次に、デジッタバッファと遅延バッファとの同期がとれている定常状態における通信コンテンツの取得を含む同期再生動作について図20を用いて説明する。図20は、通信コンテンツの取得を含む同期再生動作の一例を示すフローチャートである。
実施の形態2で説明した図17のステップS162においては、放送コンテンツと通信コンテンツとの同期再生が困難と判断された場合、放送の受信動作のみを保証するように制御する。これに対し、図20のフローチャートでは、放送コンテンツと通信コンテンツとの同期再生が困難と判断された場合であっても、同期再生が可能な通信コンテンツの取得をさらに試みるところが相違点である。
定常状態では、制御部(または制御管理部)は、受信装置におけるバッファ(遅延バッファ、デジッタバッファ、及び同期バッファなど)を監視する。そして、バッファの状態に基づいて放送コンテンツと通信コンテンツとの同期再生が困難であるか否かを判断する(ステップS251)。
オーバーフローやアンダーフローなどにより、バッファの制御では放送通信の同期再生が困難と判断される場合(S251:Yes)、制御部は、図19に示される通信コンテンツの取得の動作フローに基づいて、取得する通信コンテンツを選択する(ステップS252)。
続いて、制御部は、放送コンテンツと、選択した通信コンテンツとを同期再生することが可能であるか否かを判断する(ステップS253)。放送コンテンツと、選択した通信コンテンツとの同期再生が可能であると判断されれば(S253:Yes)、制御部は、選択された通信コンテンツを取得し(ステップS254)、定常状態に戻ってステップS251以降の処理がサイド行われる。
一方、ステップS253において、同期再生が不可能であると判断されれば(S253:No)、放送の受信動作のみを保証するバッファ制御を行う(ステップS255)。
[プリバッファリングに関する動作例1]
放送通信連携サービスにおいて、放送コンテンツと通信コンテンツとの高精度な同期再生を行うためには、通信コンテンツをあらかじめ取得して放送コンテンツと同期再生するとよい。これにより、放送コンテンツを遅らせるなどすることなくスムーズな同期再生が可能である。
以下では、プログラムの途中で放送通信連携サービスが開始される例について説明する。図21は、プログラムの途中で放送通信連携サービスが開始される動作の一例を示すフローチャートである。
まず、制御部は、放送番組(放送局)を選局し、選択した番組のサービスIDに対応するプログラム情報を受信し、解析する(ステップS300)。プログラム情報は、例えばMPEG2−TS方式であればPMTなどである。
次に、制御部は、プログラム情報を解析し、選択した番組が放送通信連携サービスに係るものであるかを判断する(ステップS301)。プログラム情報に放送通信連携サービスであることが記述されていなければ(S301:No)、制御部は、放送コンテンツのみを受信し(ステップS307)、放送コンテンツを再生する(ステップS308)。
プログラム情報に放送通信連携サービスであることが記述されている場合(S301:Yes)、制御部は、通信コンテンツの取得開始時間に関する記述子に、開始時間の情報(通信コンテンツの取得に関連する情報)があるかどうかを判断する(ステップS302)。開始時間の情報がある場合(S302:Yes)制御部は、その時間を取得する。なお、制御部は、このとき通信コンテンツのロケーション情報も取得する。そして、制御部は、取得された情報に基づいて(必要であれば)通信コンテンツの取得開始時間を算出し、算出された時間に通信コンテンツの取得を開始する(ステップS303)。
例えば、通信コンテンツの取得開始時間が、放送局のPCR基準の時刻情報で示されている場合、制御部は、受信装置で再生したPCR時刻と、開始時間の情報が示すPCR時刻とが一致したときに通信コンテンツの取得を開始する。
また、例えば、通信コンテンツの取得開始時間が、放送番組の開始T秒前、のように記述されている場合、制御部は、放送番組の開始時間からT秒前を算出し、その時間に通信コンテンツの取得を開始する。
なお、ステップS303においては、通信コンテンツが取得可能かどうかを判定するステップが設けられてもよい。通信コンテンツが取得可能かどうかは、受信装置からサーバへの問い合わせによって判定されてもよいし、プログラム情報の記述子やサーバからのイベントメッセージの送信により判定されてもよい。また、通信コンテンツが取得可能かどうかは、通信コンテンツの取得が可能である時間情報などが送信されることにより判定されてもよい。
ステップS302において、通信コンテンツの取得開始時間の情報がない場合(S302:No)、制御部は、ユーザーインターフェース入力などの視聴者からの入力をトリガに通信コンテンツの取得を開始する(ステップS306)。なお、この場合、制御部は、あらかじめ定められた時間にコンテンツの取得を開始してもよいし、通信コンテンツの取得の時間を計算して取得を開始してもよい。
なお、ステップS303やステップS306において事前に取得された通信コンテンツは、メモリ(バッファ)等にバッファリングされ、放送コンテンツの受信や同期再生時刻の到来を待って出力される。
ステップS303に続いて、制御部は、放送コンテンツを受信し(ステップS304)、放送コンテンツと通信コンテンツとの同期再生を行う(ステップS305)。
なお、ステップS302において、通信コンテンツの取得開始時間の情報があると判断された場合であっても、受信装置の再生能力、バッファ性能などから通信コンテンツを事前取得するかどうかを判定する判定ステップが設けられてもよい。
なお、図21の例で説明した制御情報(ここでは、コンテンツの取得開始時間の情報)を含む記述子は、同一のプログラム情報に記述されていてもよいし、別のプログラム情報に記述されていてもよい。放送や通信の複数の伝送路のうち、少なくとも1つ以上の伝送路で伝送してもよい。異なる伝送路で伝送されている場合、プログラム情報のロケーションがわかる情報をエントリーとなるプログラム情報に記述する。
また、図21の例では、制御情報は記述子として説明されたが、制御情報は、イベントメッセージとして送信されてもよい。
なお、図21の例では、放送番組の途中で放送通信連携サービスが開始されたが、次の放送番組の初めから放送通信連携サービスが開始される場合、次の放送番組の開始前に通信コンテンツを取得する必要がある。この場合、前の番組を提供中に、次の番組のプログラム情報が送信される。
受信装置は、次の番組のプログラム情報を受信した場合、次の番組の通信コンテンツの事前取得が可能であるかどうかを判断し、通信コンテンツを事前取得する。このとき、前のプログラム情報に、次のプログラム情報の提供を始めたことを示す情報や、ロケーション情報が含まれることにより、受信装置が通信コンテンツの存在を認識し、プログラム情報の取得を開始してもよい。
[プリバッファリングに関する動作例2]
通信コンテンツのバッファリング動作に関して、IPTVフォーラムやARIBで規格化されているハイブリッドキャスト仕様を例に説明する。図22は、通信コンテンツの場ファリング動作の一例を示すフローチャートである。なお、図22の例では、通信コンテンツの取得開始時間の情報は、AITの制御コードを用いてイベントとして通知される。
まず、制御部は、放送番組(放送局)を選局し、選択した番組のPMTを受信し、解析する(ステップS351)。次に、制御部は、PMTにAITが伝送されていることを示す記述子ait_identifier_info()があるかどうかを判断する(ステップS352)。記述子がない場合、つまり、AITが伝送されていない場合は(S352:No)、制御部は、放送コンテンツのみを受信し(ステップS353)、受信した放送コンテンツを再生する(ステップS354)。
記述子がある場合(S352:Yes)、制御部は、AITの取得及び監視を開始する(ステップS355)。制御部は、具体的には、AITを解析し、AITに含まれるアプリケーションのロケーション情報や通信コンテンツの取得開始時刻情報、ロケーション情報を取得する。
続いて、制御部は、AITのアプリケーション制御コードを監視し(ステップS356)、アプリケーション事前取得フラグ(ハイブリッドキャスト仕様におけるPREFECHコマンド)の監視、つまり、アプリケーション事前取得フラグの有無の判断(ステップS357)を行う。
アプリケーション事前取得フラグがある場合(S357:Yes)、制御部は、アプリケーションを事前取得し(ステップS360)、ステップS356の処理に戻る。アプリケーション事前取得フラグがない場合(S357:No)、制御部は、通信コンテンツ事前取得フラグ(ハイブリッドキャスト仕様におけるPREBUFFERコマンド)の監視、つまり、通信コンテンツ事前取得フラグの有無の判断(ステップS358)を行う。なお、ステップS355において、通信コンテンツの取得開始時刻の情報がない場合は、ステップS358の通信コンテンツ事前取得フラグの監視は行われなくてもよい。
通信コンテンツ事前取得フラグがある場合(S358:Yes)、制御部は、サーバから通信コンテンツを事前取得してバッファリングし、ステップS356の処理に戻る。通信コンテンツ事前取得フラグがない場合(S358:No)、制御部は、アプリケーション実行フラグ(ハイブリッドキャスト仕様におけるAUTOSTARTコマンド)の監視、つまりアプリケーション実行フラグの有無の判断(ステップS359)を行う。
ステップS359においてアプリケーション実行フラグが立つまで(S359:No)、ステップS356〜358、S360、及びS361の処理が繰り返される。アプリケーション実行フラグが立った場合(S359:Yes)、制御部は、AITに記述されたロケーション情報によって特定される場所からアプリケーションを取得する(ステップS362)。このとき、ステップS360においてアプリケーションが事前取得されていれば、ここでの処理はスキップされる。
続いて、制御部は、アプリケーションを実行し(ステップS363)、通信コンテンツのロケーション情報によって特定される場所から通信コンテンツを取得する(ステップS364)。このとき、ステップS361において事前に通信コンテンツが取得されていれば、ここでの処理はスキップされる。
最後に、制御部は、放送コンテンツを受信し(ステップS365)、放送コンテンツと通信コンテンツとを同期再生する(ステップS366)。
なお、図22の動作例で説明されたアプリケーションや通信コンテンツに係る動作は、1つのアプリケーションとして実現されてもよいし、複数のアプリケーションに分けて実現されてもよい。例えば、通信コンテンツの取得は、1つのアプリケーションの一部として実行されてもよいし、通信コンテンツの取得動作をするアプリケーションと通信コンテンツの再生動作をするアプリケーションとが別々に設けられ、それぞれが実行されてもよい。この場合、通信コンテンツの取得動作をするアプリケーションが先に起動され、別のタイミングで通信コンテンツを再生するアプリケーションが起動される。
また、通信コンテンツのロケーション情報は、AITに記述されてもよいし、アプリケーション内部で取得されてもよい。
また、通信コンテンツのロケーション情報は、通信伝送路からプログラム情報のみを取得するためのアプリケーションを実行することにより取得されてもよい。
また、通信コンテンツが取得できる状態であるかを示す情報、及び、通信コンテンツが再生できる状態であるかを示す情報がAPIなどで取得されてもよい。
また、通信コンテンツの取得開始時間の情報は、AITの制御コードに限らず、制御情報に記載されてもよいし、他の制御情報の有無で判別できてもよい。
[実施の形態3の変形例]
なお、上記実施の形態3で説明した機能(動作)は、ソフトウェアで実装されてもよいし、ハードウェアで実装されてもよい。また、機能の一部がAPIとして実装され、アプリケーションから機能の制御ができる構成であってもよい。また、機能によって得られる情報、機能の状態を示す情報を取得できるAPIが実装され、アプリケーションから情報が取得できる構成であってもよい。
ここで、機能の状態とは、例えばバッファ(遅延バッファ、デジッタバッファ)の専有量、End−to−End遅延時間、アプリケーションの状態、通信コンテンツの取得状態などである。
なお、再生されている番組がオンエアのものでなく、録画された番組であると判定された場合、受信装置は、アプリケーションや通信コンテンツが有効であるかのどうかの情報を、サーバから取得してもよい。アプリケーションや通信コンテンツが有効でなければ、受信装置は、アプリケーションの取得・実行や通信コンテンツの取得を禁止してもよい。
また、このような場合、録画再生用のアプリケーション制御情報、録画再生用の通信コンテンツの事前取得情報などが別途サーバに用意され、録画再生の場合は、オンエア用の情報は使用されず、録画再生用の情報がサーバから取得されてもよい。
また、上記実施の形態3では、主として通信コンテンツの取得開始時間に基づいてコンテンツの取得を行う例について説明された。しかしながら、通信コンテンツの取得完了時刻が指定され、受信装置が通信の伝送にかかる時間や伝送遅延を考慮して通信コンテンツの取得開始時間を決定してもよい。また、タブレットなどの連携端末を通じてアプリケーションの制御や通信コンテンツの取得が行われる場合は、連携端末間の伝送遅延を考慮して通信コンテンツの取得にかかる時間が決定されてもよい。
(実施の形態3の補足)
[補足1:通信コンテンツの取得]
図19及び図20で説明した通信コンテンツの取得に関してさらに詳細を説明する。
放送通信連携サービスにおいて、遅延制御、同期制御、及び通信コンテンツの取得制御の各制御方法を決定するための判断に必要な情報としては、送信側からシグナリングされる制御情報や、受信装置の状態、伝送路の状態が挙げられる。受信装置は、これらの情報を必要に応じて取得することができる。また、受信装置は、下記の情報及び状態を監視することにより、情報及び状態の変化を検出することもできる。
情報や状態の取得に係るフローは図19のステップS201〜ステップS204に相当する。制御情報や受信装置の状態、伝送路の状態には、例えば以下に示すものがある。
(1)放送通信連携に係る制御情報としては、以下の情報が例示される(例えば、MPEG−2TS方式におけるPMTやMMT方式におけるMPTなどのメタファイルに格納される)。
・放送通信連携プログラムかどうかを示す情報
・放送通信連携プログラムの種類を示す情報
・スケーラブル符号化されたコンテンツであり、基本レイヤデータと拡張レイヤデータの一方が放送、他方が通信で送信されることを示す情報
・降雨減衰対策(降雨減衰により放送の伝送路が悪化した場合、代わりに通信コンテンツに切り替える)が適用されたプログラムであることを示す情報
・その他、マルチビュー、マルチ音声、 ターゲット広告であることを示す情報
・放送プログラム単独で復号可能かどうかを示す情報
・放送コンテンツと通信コンテンツとの復号及び提示に求められる同期の精度を示す情報。この情報は、例えば、フレームレベルの高精度な同期が必要であること、または、非同期でも提示可能であることなどを示す。
・放送コンテンツと通信コンテンツと同期対象であるかどうかを示す情報
・タイムラインが同期しているかを示す情報
・ライブ映像か、非ライブ映像かを示す情報
・放送コンテンツが通信コンテンツに対して遅延している、または、通信コンテンツが放送コンテンツに対して遅延していることを示す情報。なお、この情報は、個別の受信装置の遅延ではなく、放送局の回線設計に基づいて想定される遅延量を示す情報であってもよい
・放送番組の提示において許容できるEnd−to−End遅延を示す情報
・制御情報が変化することを事前に通知する情報
(2)通信手段に係る情報としては、以下の情報が例示される。なお、通信手段に係る情報は、例えば、MPEG−DASHにおけるMPDや、IPTVF VOD仕様におけるメタファイルなどに格納される。
・通信プロトコル(例えば、httpやrtspなど)を示す情報
・ユニキャスト(TCP)、マルチキャスト(UDP)、またはユニキャスト(UDP)であることを示す情報
(3)通信コンテンツに係る情報としては、以下の情報が例示される。なお、通信コンテンツに係る情報は、例えば、MPEG−DASHにおけるMPDや、IPTVF VOD仕様におけるメタファイルなどに格納される。
・通信コンテンツの属性を示す情報
・コンテンツの有効期限
・コンテンツの視聴制限(CAS)
・コンテンツの種類(解像度、伝送レート)
・任意の時間の通信コンテンツが事前取得可能か
(4)放送伝送路の状態、通信伝送路の状態、及び遅延の状態としては、以下のパラメータが例示される。なお、これらのパラメータは、受信装置が取得する。
・通信路の状態
・ジッタ、QoS、RTT
・End−to−End遅延
・伝送レート(帯域)
放送と通信との遅延差(放送先行?通信先行?)
(5)バッファの状態としては、以下のパラメータが例示される。これらのパラメータは、受信装置が取得する。
・バッファ容量
・バッファ占有量
・バッファ遅延量
(6)受信装置の仕様または受信装置の能力としては、以下のパラメータが例示される。これらのパラメータは、受信装置が取得する。
・スペック
・デコーダ数
・対応ブラウザ
・バージョン情報等
(7)遅延制御、同期制御、及びコンテンツの取得制御方法に係る情報としては、「制御指示をするかどうかを示す情報」が例示される。この情報は、例えば、MPEG−2TS方式におけるPMTやMMT方式におけるMPTなどのメタファイルに格納される。
制御指示をするかどうかを示す情報においては、例えば、放送局が制御方法を指示する、受信装置が制御方法を決定する、ユーザー設定によりユーザーが制御方法を決定することなどが指定される。
放送局が制御方法を指示する場合、放送局は、例えば、放送コンテンツと通信コンテンツとを同期提示するかどうか、通信コンテンツをプリバッファリングするかどうかを指示する。プリバッファリングを指示する場合は、放送局は、時間情報、タイミング情報をシグナリングする。
ユーザー設定によりユーザーが制御方法を決定する場合、ユーザー設定には、放送局の指示に従う設定、受信装置におまかせの設定、ユーザーのマニュアル設定などが含まれる。
[補足2:通信コンテンツが任意の時間に取得可能かどうかの判定]
これまで、通信コンテンツが任意の時間に取得可能な場合、及び、不可能な場合のそれぞれについて説明した。ここで、受信装置は、通信コンテンツが任意の時間に取得可能かどうかを判定し、判定結果に基づいて制御内容を決定してもよい。
通信コンテンツが任意の時間に取得可能かどうかは、例えば、送信側からシグナリングされる制御情報によって判定できる。
1.通信方式依存
放送通信連携サービスにおける通信方式がユニキャストかマルチキャストかに基づく判定が可能である。例えば、マルチキャストの場合は通信コンテンツが任意の時間に取得不可能であると判定される。
2.コンテンツ依存
放送通信連携コンテンツのうち通信コンテンツが任意の時間に取得可能かどうかをシグナリングし、シグナリングされた情報に基づく判定が可能である。シグナリングされる情報に基づいて、例えば、下記のように判定される。
2−1.通信コンテンツを任意の時間に取得不可能
2−2.通信コンテンツはすべてサーバに準備されており、任意の時間に取得可能
2−3.通信コンテンツを任意の時間に取得できるかどうかが不明(例えば、ライブ映像の場合など)。
上記1、2−1、及び2−2の場合は、送信側でシグナリングされた制御情報を受信装置が解析することで判定が可能なため、基本的には、サーバに問い合わせをすることなく、制御内容を決定することができる。なお、これらの場合であっても、制御情報の解析による判定が不可能な場合は、サーバに問い合わせることにより制御内容が決定される。図23は、通信コンテンツが任意の時間に取得可能かどうかの判定の一例を示すフローチャートである。
図23に示されるように、受信装置は、まず、サーバから送信される制御情報を解析し、通信コンテンツが任意の時間に取得可能かどうかの判定を行う(ステップS401)。制御情報の解析による判定が可能であった場合(S402:Yes)、判定結果に基づいて制御内容が決定される(ステップS404)。制御情報の解析による判定が不可能であった場合(S402:No)、サーバへの問い合わせに基づく判定が行われ(ステップS403)、判定結果に基づいて制御内容が決定される(ステップS404)。
通信コンテンツの任意の時間の取得が不可能であると判定された場合には、例えば、実施の形態1及び実施の形態2で説明した方法を用いて、受信装置のバッファ制御を行い、放送コンテンツと通信コンテンツとの遅延や同期提示を制御する。
通信コンテンツの任意の時間の取得が可能であると判定された場合には、例えば、実施の形態3で説明した方法を用いて、受信装置のバッファの制御や通信コンテンツの取得の制御を行うことにより、放送コンテンツと通信コンテンツとの遅延制御を行う、または、放送コンテンツと通信コンテンツとを同期提示する。
上記2−3と判定される場合は、具体的には、サーバにおいて放送コンテンツがライブ映像であるかどうかをシグナリングし、ライブ映像であると判定された場合である。
ここで、放送コンテンツがライブ映像の場合は、通信コンテンツがサーバに準備されていない可能性が高いが、サーバに準備されている場合もある。このため、実際に取得可能かどうかは、受信装置がサーバに問い合わせることによって判定される。
なお、サーバは、放送が遅延されたライブ映像かどうかをシグナリングしてもよい。放送が遅延されていないライブ映像の場合は、通信コンテンツがサーバに準備されていない可能性が高く、放送が遅延されている場合は、通信コンテンツがサーバに準備されている可能性があるからである。この場合、サーバは、放送をどの程度遅延させたかの情報をシグナリングしてもよい。
なお、受信装置において実際に通信コンテンツの取得にかかる時間は、個々の通信回線の帯域や、受信装置の能力、CPU使用量、バッファ量などに依存する。したがって、上記2−3の場合においては、送信側(サーバ)は、送信側が想定する環境において、通信コンテンツが任意の時間において取得可能かどうかをシグナリングし、受信側における通信コンテンツの取得を保証してもよい。
ここで、送信側が想定する環境とは、例えば、規格で定めた最低限のバッファサイズ、通信回線の帯域、CPU能力に基づいて定められる環境である。
以上、通信コンテンツの任意の時間における取得の可否の判定について説明した。しかしながら、放送コンテンツに対して任意の時間で通信コンテンツが取得可能かどうかが判定されてもよい。例えば、ライブ映像の場合は、放送コンテンツより、所定の時間だけ後の時間の通信コンテンツの取得が可能かどうか、のように取得可能な期間が限定されてもよい。
[補足3:放送コンテンツの遅延提示が認められない場合の動作]
以下、通信コンテンツを任意の時間に取得可能な場合、及び、通信コンテンツを任意の時間に取得できる可能性がある場合であって、放送コンテンツの遅延提示が認められない(禁止される)場合の動作について説明する。
放送通信連携サービスの提供中に、主要コンテンツである放送コンテンツを遅延提示することは視聴者とって違和感があり、安定した放送サービスとならない。そこで、放送通信連携サービスにおいて放送コンテンツを遅延提示させてはいけないという条件の下における制御について説明する。
なお、上述のように、通信コンテンツの任意の時間における取得可否は、制御情報に基づいて判定される場合と、実際にサーバに問い合わせを行うことによって判定される場合とがあるものとする。また、以下の説明では、放送コンテンツに同期させる対象となる通信コンテンツは、時間の経過とともに変化する(通信コンテンツが時刻ごとに複数存在する)ものとする。
図24は、放送コンテンツの遅延提示が認められない場合の動作の一例を示すフローチャートである。
まず、受信装置は、通信コンテンツと放送コンテンツとの遅延時間を取得する(ステップS451)。放送コンテンツと通信コンテンツの遅延時間(遅延差)は、上述のように受信装置において取得可能である。そして、受信装置は、通信コンテンツが放送コンテンツに対して遅延しているかどうかを判定する(ステップS452)。
通信コンテンツが放送コンテンツに対して遅延している場合(S452:Yes)、放送コンテンツを遅延できないため、受信装置は、後の時間の通信コンテンツを取得する(ステップS453)。つまり、受信装置は、通信コンテンツのフレームをスキップする。
ここで、受信装置は、所望の時間の通信コンテンツを取得可能かどうかを判定する(ステップS457)。所望の時間の通信コンテンツを取得できる場合(S457:Yes)、つまり、後の時間の通信コンテンツであっても、所望の時間の通信コンテンツである場合、受信装置は、後の時間の通信コンテンツを取得し、放送コンテンツと取得した通信コンテンツとを同期提示する(ステップS459)。
所望の時間の通信コンテンツを取得できない場合は(S457:No)、同期提示は不可能である。そこで、受信装置は、放送コンテンツと通信コンテンツとの復号及び提示の精度が許容できるかどうかを判定し、許容できない場合は、放送コンテンツのみを提示する(ステップS458)。
復号及び提示の精度が許容できる場合、放送コンテンツの復号及び提示と通信コンテンツの復号及び提示とを独立に制御する(ステップS458)。例えば、通信コンテンツが放送コンテンツに付与される字幕である場合、精度の高い同期は必要ないと考えられるため、放送コンテンツと通信コンテンツとを同期させずに提示しても許容される場合がある。
なお、復号及び提示の精度が許容できる場合とは、具体的には、通信コンテンツの再生タイミングと放送コンテンツの再生タイミングとの時間差が所定の許容範囲内であることを意味する。また、復号及び提示の精度が許容できない場合とは、通信コンテンツの再生タイミングと放送コンテンツの再生タイミングとの時間差が所定の許容範囲外であることを意味する。
一方で、放送コンテンツが通信コンテンツに対して遅延している場合(S452:No)、受信装置は、通信コンテンツの遅延バッファの容量に余裕があるか(残容量が所定値未満であるか)を判定する(ステップS454)。
バッファの容量に余裕がない場合(S454:No)、受信装置は、現在取得している通信コンテンツよりも前の時間の通信コンテンツを取得する(ステップS455)。そして、所望の時間の通信コンテンツを取得できる場合(S457:Yes)、受信装置は、所望の時間の通信コンテンツを取得し、放送コンテンツと取得した通信コンテンツとを同期提示する(ステップS459)。なお、この場合、通常は所望の通信コンテンツを取得可能である。所望の時間の通信コンテンツを取得できない場合は、同期提示は不可能であるため、受信装置は、放送コンテンツのみを提示する、または、放送コンテンツの復号及び提示と通信コンテンツの復号及び提示とを独立に制御する(ステップS458)。
バッファの容量に余裕がある場合(S454:Yes)、通信コンテンツをバッファリングして遅延させ(ステップS456)、放送コンテンツに提示時刻を合わせることにより、放送コンテンツと通信コンテンツとを同期提示する(ステップS459)。
なお、放送コンテンツと通信コンテンツの遅延時間差の極性が反転する場合あるいは反転する可能性があるには、状態の変化を検出し、検出結果に基づいて、1−1、1−2の制御をする。
なお、上記図24のフローチャートにおいては、ステップS454及びステップS456は省略されてもよい。つまり、バッファの容量に余裕がある場合であっても、前の時間の通信コンテンツが取得されてもよい。この場合、放送コンテンツが通信コンテンツに対して遅延している場合(S452:No)、受信装置は、現在取得している通信コンテンツよりも前の時間の通信コンテンツを取得する(ステップS455)。
次に、ステップS453及びステップS455等において行われる、受信装置のサーバへの通信コンテンツの取得要求について説明する。
受信装置は、サーバから通信コンテンツを取得する場合には、通信コンテンツを取得するタイミングや、取得する通信コンテンツの時間(たとえば、PTSなど)を指定して、通信コンテンツの取得要求を行う。
サーバは、指定された時間の通信コンテンツがあれば、その通信コンテンツを受信装置へ送信する。また、サーバは、受信装置に指定された時間の通信コンテンツがない場合は、通信コンテンツがないことを受信装置へ通知する。
ここで、受信装置に指定された時間の通信コンテンツがない場合、サーバは、指定された時間の通信コンテンツの代わりに、最新の時間の通信コンテンツを受信装置に送信してもよい。また、サーバは、指示された通信コンテンツにもっとも近い時間(前の時間或いは後ろの時間)の通信コンテンツを受信装置に送信してもよい。また上記のような通知と、代替の通信コンテンツの送信とが組み合わされてもよい。
なお、サーバは、受信装置に指定された時間の通信コンテンツがない場合は、受信装置の指示に基づいて、通信コンテンツを受信装置に送信してもよい。
ところで、受信装置が通信コンテンツの取得要求において、要求する通信コンテンツを関数で指定する場合は、引数として、要求する通信コンテンツの時間、及びコンテンツがない場合の動作指示が格納される。
ここで、動作指示は、必ずしも取得要求に含まれる必要はなく、受信装置が同期提示が不可能と判定された場合の動作の決定(ステップS458)の後、決定された動作に基づいて、通信コンテンツがない場合の動作指示をしてもよい。
具体的には、例えば、放送コンテンツと通信コンテンツの復号及び提示の精度が許容できる場合には、受信装置は、代わりの時間の通信コンテンツを取得を要求する指示を行い、放送コンテンツと通信コンテンツとを独立に復号及び提示する。また、例えば、放送コンテンツと通信コンテンツとの復号及び提示の精度が許容できない場合には、受信装置は、通信コンテンツを送信しなくてもよい旨の指示を行い、放送コンテンツのみを提示する。
また、受信装置が指定した時間の通信コンテンツがない場合、または、当該時間にランダムアクセスポイントがない場合は、受信装置は、指定した時間の通信コンテンツにもっとも近い(前の時間または後の時間の)通信コンテンツの取得を要求してもよい。
次に、ステップS458及びステップS459等において行われる、放送コンテンツ及び通信コンテンツの提示制御について説明する。
(1)通信コンテンツの提示準備が整うまで
通信コンテンツの提示準備が整うまでの時間においては、放送コンテンツの復号及び提示と通信コンテンツの復号や提示とに精度が求められる場合には、受信装置は、放送コンテンツのみを提示する。放送コンテンツの復号及び提示と通信コンテンツの復号及び提示とに精度が求められない場合には、受信装置は、放送コンテンツと通信コンテンツとを独立に復号及び提示する。
(2)通信コンテンツの提示準備が整った後
上記(1)において放送コンテンツのみが提示されていた場合(通信コンテンツの提示を停止していた場合)、受信装置は、放送コンテンツと通信コンテンツの同期提示を開始する。
一方、上記(1)において、放送コンテンツと通信コンテンツとが独立に復号及び提示されていた場合、放送コンテンツが遅延している場合は、通信コンテンツをスキップして放送コンテンツと通信コンテンツとを同期提示する。通信コンテンツが遅延している場合であって、上記(1)において通信コンテンツを提示していた場合には、受信装置は、上記(1)において提示されていた通信コンテンツをさかのぼって(または、引き続き)提示する。
なお、コンテンツの提示において、状態を示すメッセージ(例えば放送コンテンツと通信コンテンツとを同期提示中なのか、放送コンテンツが単独で提示されているのかを示すメッセージ)をユーザーに提示してもよい。
なお、通信コンテンツが放送コンテンツより先に取得可能である場合において、サーバは、放送コンテンツより先に通信コンテンツを提示してもよいかどうかをシグナリングしてもよい。通信コンテンツを先に提示してもよい場合には、受信装置は、通信コンテンツの提示準備の完了直後に通信コンテンツを提示する。通信コンテンツを先に提示してはいけない場合には、受信装置は、放送コンテンツの提示準備が完了するまで通信コンテンツをバッファリングし、放送コンテンツの提示準備完了後に、放送コンテンツと通信コンテンツとを同期提示する。
[補足4:送信側による遅延時間の設定方法]
放送コンテンツを遅延させる場合、送信局(送信装置)による放送コンテンツの遅延量の設定方法について説明する。放送コンテンツは、送信局から複数の受信装置に対して送信されるが、受信装置の能力や、通信帯域は、装置ごとに異なる。このため、全受信端末が放送コンテンツを遅延して受信できることを保証することは難しい。
そこで、遅延量を受信装置に応じて変更するために、送信局は、複数の遅延モードを切り替え可能な構成であってもよい。ここで、送信局においては、例えば、想定される通信の伝送速度が異なる遅延モードが複数設けられる。
具体的には、送信局においては、光回線など伝送速度が高速であることを想定した第1モードと、CATVやADSLなど伝送速度が中速であることを想定した第2モードとが設けられる。
なお、遅延量は、例えば、下記の式に基づいて決定される。
遅延量=規格で定めた最低限のバッファサイズ/各モードにおいて想定される伝送速度
送信局は、放送信号に上記のような遅延量や遅延モードをシグナリングしてもよい。このシグナリングにおいては、遅延量及び遅延モードは、MPEG−2 TSにおけるPMTやMMT方式におけるMPTなどに格納される。これにより、受信装置は、シグナリングされた遅延量や遅延モードに基づいて、受信装置を制御することができる。
なお、シグナリングされた遅延量と実際の遅延量とに基づいて、実際の遅延量が想定より大きいと判断される場合、受信装置は、当該受信装置のリソース(CPU速度や通信の伝送速度)の通信に対する割り当てを増やしてもよい。
また、例えば、シグナリングされた遅延量に受信装置が対応できない場合は、放送コンテンツのみを優先して提示する。
また、野球、サッカーなど同一内容のコンテンツを、放送通信連携コンテンツと、通常の放送のみのコンテンツの両方を用いて、サイマル伝送を行う場合が考えられる。このような場合、送信局は、遅延送信する放送通信連携コンテンツに対して、放送のみのコンテンツを合わせて遅延送信してもよいし、遅延送信せずにそのまま送信してもよい。
また、送信局は、サイマル放送において、それぞれのコンテンツを遅延送信したかどうかを示す情報、あるいは、遅延差があるかどうか、それぞれの遅延差の情報をシグナリングしてもよい。
[補足5:送信装置の構成]
ここで、送信局(放送局)で用いられる送信装置(具体的には、サーバ)について補足する。図25は、送信装置の構成を示すブロック図である。図26は、送信装置の動作の一例を示すフローチャートである。なお、図26は、図19のフローチャートに対応した送信装置の動作のフローチャートである。
図25に示されるように、送信装置300は、符号化部301と、多重化部302と、送信部303とを備える。なお、送信装置300の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。
送信部303は、上述した図19のステップS203に対応して、受信装置に通信コンテンツの取得のための情報を送信する(ステップS501)。ここで、通信コンテンツの取得のための情報の一例は、上述の取得情報である。つまり、送信部303は、通信によって送信される通信コンテンツを、放送によって送信される放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報を、放送を通じて送信する。
具体的には、多重化部302は、符号化部301から出力される符号化された取得情報のパケット化を行い、送信部303は、多重化部302によってパケット化された取得情報を、放送を通じて送信する。
次に、送信部303は、上述した図19のステップS206に対応して、受信装置に放送コンテンツを送信する(ステップS502)。
具体的には、多重化部302は、符号化部301から出力される符号化された放送コンテンツのパケット化を行い、送信部303は、多重化部302によってパケット化された放送コンテンツを、放送を通じて送信する。
このように、取得情報が送信されることにより、受信装置は、放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる。また、受信装置が取得情報に応じて通信コンテンツを取得することにより、メインコンテンツである放送の提示にスキップや停止などの不連続が生じる可能性を低減し、安定した放送視聴を担保することができる。
(実施の形態3のまとめ)
本発明の一態様に係る受信方法は、放送通信連携サービスにおける受信方法であって、放送によって送信される放送コンテンツを受信し、通信によって送信される通信コンテンツを、受信される前記放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報である取得情報を、放送を通じて受信し、受信された前記取得情報に基づいて前記通信コンテンツを取得する。
このような受信方法は、図19のフローチャート等に示される。このような受信方法によれば、放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる。また、取得情報に応じて通信コンテンツを取得することにより、メインコンテンツである放送の提示にスキップや停止などの不連続が生じる可能性を低減し、安定した放送視聴を担保することができる。
なお、放送コンテンツと通信コンテンツとは、典型的には1つのコンテンツ(1つの提示部に提示されるコンテンツ)を構成する。例えば、放送コンテンツが映像である場合、放送コンテンツが示す映像に対応して表示される字幕が通信コンテンツである。また、スケーラブル符号化においては、例えば、60fpsの映像を構成する各フレームが放送コンテンツであり、放送コンテンツに加えられることにより120fpsの映像を構成するための各フレームが通信コンテンツである。また、放送コンテンツがメインの映像であり、通信コンテンツが広告(CM)であるような場合もある。
つまり、上記の「同期」とは、放送コンテンツと通信コンテンツとによって構成される1つのコンテンツを再生するために、放送コンテンツの再生タイミングと通信コンテンツの再生タイミングとの時間差を所定の時間差(所定の範囲内の時間差)に合わせることである。
また、前記取得情報は、前記通信コンテンツの取得に関連するタイミングを示す情報であってもよい。
このように、通信コンテンツの取得に関連するタイミングが送信側(サーバ)から指定されることで、放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる受信方法が実現される。
また、前記取得情報は、前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生するために、前記通信コンテンツの取得を開始すべきタイミングを示す情報であってもよい。
また、前記取得情報は、前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生するために、前記通信コンテンツの取得を完了すべきタイミングを示す情報であってもよい。
また、前記取得情報は、前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生するために、前記通信コンテンツの再生を開始すべきタイミングを示す情報であってもよい。
また、前記取得情報は、タイミングを通知することによって当該タイミング以降において前記通信コンテンツの取得が可能となることを示す情報であってもよい。
このように、通信コンテンツの取得に関連するタイミングの態様としては、様々な態様が考えられる。
また、さらに、受信された前記取得情報に基づいて前記通信コンテンツの取得を開始するタイミングを算出し、算出されたタイミングにおいて前記通信コンテンツの取得を開始してもよい。
このような受信方法は、図21のフローチャートのステップS303等に示される。つまり、コンテンツの取得開始時間が直接指定されない場合は、受信側においてコンテンツの取得開始時間が算出されてもよい。なお、取得開始時間をより高い精度で算出するために、受信装置の能力や通信用の伝送路の状態、伝送遅延など、上記実施の形態3で説明した情報がさらに用いられてもよい。
また、前記取得情報は、前記通信コンテンツの取得が可能な状態であることを示す情報であってもよい。
また、さらに、取得された前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生してもよい。
また、前記通信コンテンツの取得に失敗した場合、前記放送コンテンツ及び前記通信コンテンツのうち前記放送コンテンツのみを再生してもよい。
このような受信方法は、図20のステップS255、図21のステップS308、及び図24のステップS458等に示される。このように、同期が取れない場合に放送コンテンツのみが再生されることで、視聴者に違和感を与えにくい放送通信連携サービスが実現される。
また、取得された前記通信コンテンツを受信された前記放送コンテンツに同期させて再生することができない場合、(1)前記通信コンテンツの再生タイミングと前記放送コンテンツの再生タイミングとの時間差が所定の許容範囲内のときは、前記通信コンテンツ及び前記放送コンテンツを再生し、(2)前記時間差が前記所定の許容範囲外のときは、前記放送コンテンツ及び前記通信コンテンツのうち前記放送コンテンツのみを再生してもよい。
このような受信方法は、図24のステップS458等に示される。このように、許容される範囲内で、放送コンテンツと通信コンテンツとが同期されずに再生されてもよい。
また、本発明の一態様に係る送信方法は、放送通信連携サービスにおける送信方法であって、通信によって送信される通信コンテンツを、放送によって送信される放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報である取得情報を、放送を通じて送信する。
このような送信方法は、図26に示されるフローチャート等に示される。このような送信方法によれば、受信側において放送コンテンツの受信に応じて通信コンテンツを適切に取得することができ、受信側においてメインコンテンツである放送の提示にスキップや停止などの不連続が生じる可能性を低減し、安定した放送視聴を担保することができる。
また、本発明の一態様に係る受信装置は、放送通信連携サービスに用いられる受信装置であって、放送によって送信される放送コンテンツを受信し、かつ、通信によって送信される通信コンテンツを、受信される前記放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報である取得情報を、放送を通じて受信する放送受信部と、受信した前記取得情報に基づいて前記通信コンテンツを取得する通信部とを備える。
ここで、放送受信部は、図1、図9、図10、及び図14等に示されるデジタル放送受信部に相当し、通信部は、図1、図9、図10、及び図14等に示される通信送受信部に相当する。
また、本発明の一態様に係る送信装置は、放送通信連携サービスに用いられる送信装置であって、通信によって送信される通信コンテンツを、放送によって送信される放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報である取得情報を、放送を通じて送信する送信部を備える。
ここで、送信部は、図25に示される送信部に相当する。
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
(その他の実施の形態)
以上、実施の形態1〜3について説明したが、本発明は、上記実施の形態に限定されるものではない。
例えば、実施の形態3においては、放送コンテンツは放送によって送信され、通信コンテンツは、通信によって送信されるが、その他の情報(例えば、制御情報)は、可能であれば放送及び通信のどちらで送信されてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、各構成要素は、回路でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
例えば、上記各実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
以上、一つまたは複数の態様に係る受信装置(受信方法)及び送信装置(送信方法)について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明の受信方法は、放送コンテンツの受信に応じて通信コンテンツを適切に取得することができる受信方法として、放送通信連携サービスに利用することができる。
1、1A、1B、100、100A 受信装置
3 放送アンテナ
5、5B 提示部
11、111 デジタル放送受信部
12、112、122 分離部
13、22 バッファ
14、14A、14B 復号部
21、41、121 通信送受信部
23、23B、115、125 復号部
31、31A、31B、32B、131 コンテンツ生成部
42 操作入力部
51、151 制御部
71 PESバッファ
72 同期用バッファ
103、113 遅延バッファ
114、124 分離バッファ
123 デジッタバッファ
141 制御管理部
171 制御情報抽出部
172 バッファ管理部
173 監視部
174 制御方法決定部
191、196 同期バッファ
300 送信装置
301 符号化部
302 多重化部
303 送信部

Claims (12)

  1. 放送通信連携サービスにおける受信方法であって、
    放送によって送信される放送コンテンツを受信し、
    前記放送コンテンツを第1バッファに格納し、
    通信によって送信される通信コンテンツを、受信される前記放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報である取得情報を、前記放送を通じて受信し、
    受信された前記取得情報に基づいて前記通信コンテンツを取得し、
    前記通信コンテンツを第2バッファに格納し、
    前記第1バッファまたは前記第2バッファの状態に基づき、前記通信コンテンツの取得を制御する
    受信方法。
  2. 前記取得情報は、前記通信コンテンツの取得に関連するタイミングを示す情報である
    請求項1に記載の受信方法。
  3. 前記取得情報は、前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生するために、前記通信コンテンツの取得を開始すべきタイミングを示す情報である
    請求項2に記載の受信方法。
  4. 前記取得情報は、前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生するために、前記通信コンテンツの取得を完了すべきタイミングを示す情報である
    請求項2に記載の受信方法。
  5. 前記取得情報は、前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生するために、前記通信コンテンツの再生を開始すべきタイミングを示す情報である
    請求項2に記載の受信方法。
  6. 前記取得情報は、タイミングを通知することによって当該タイミング以降において前記通信コンテンツの取得が可能となることを示す情報である
    請求項2に記載の受信方法。
  7. さらに、
    受信された前記取得情報に基づいて前記通信コンテンツの取得を開始するタイミングを算出し、
    算出されたタイミングにおいて前記通信コンテンツの取得を開始する
    請求項4〜6のいずれか1項に記載の受信方法。
  8. 前記取得情報は、前記通信コンテンツの取得が可能な状態であることを示す情報である
    請求項1に記載の受信方法。
  9. さらに、取得された前記通信コンテンツを、受信される前記放送コンテンツに同期させて再生する
    請求項1〜8のいずれか1項に記載の受信方法。
  10. 前記通信コンテンツの取得に失敗した場合、前記放送コンテンツ及び前記通信コンテンツのうち前記放送コンテンツのみを再生する
    請求項1〜9のいずれか1項に記載の受信方法。
  11. 取得された前記通信コンテンツを受信された前記放送コンテンツに同期させて再生することができない場合、(1)前記通信コンテンツの再生タイミングと前記放送コンテンツの再生タイミングとの時間差が所定の許容範囲内のときは、前記通信コンテンツ及び前記放送コンテンツを再生し、(2)前記時間差が前記所定の許容範囲外のときは、前記放送コンテンツ及び前記通信コンテンツのうち前記放送コンテンツのみを再生する
    請求項1〜10のいずれか1項に記載の受信方法。
  12. 放送通信連携サービスに用いられる受信装置であって、
    放送によって送信される放送コンテンツを受信し、かつ、通信によって送信される通信コンテンツを、受信される前記放送コンテンツに同期させて再生するための情報であって、前記通信コンテンツの取得に関連する情報である取得情報を、前記放送を通じて受信する放送受信部と、
    前記放送コンテンツを格納する第1バッファ部と、
    前記通信コンテンツを格納する第2バッファ部と、
    受信した前記取得情報に基づいて前記通信コンテンツを取得する通信部と、
    前記第1バッファまたは前記第2バッファの状態に基づき、前記通信コンテンツの取得を制御する制御部とを備える
    受信装置。
JP2019062613A 2013-08-30 2019-03-28 受信方法、及び、受信装置 Active JP6982021B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021187672A JP7410107B2 (ja) 2013-08-30 2021-11-18 受信方法、及び、受信装置
JP2023215682A JP2024023782A (ja) 2013-08-30 2023-12-21 受信方法、及び、送信方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361871968P 2013-08-30 2013-08-30
US61/871,968 2013-08-30
US201361901497P 2013-11-08 2013-11-08
US61/901,497 2013-11-08
JP2014162861A JP6505996B2 (ja) 2013-08-30 2014-08-08 受信方法、及び、受信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014162861A Division JP6505996B2 (ja) 2013-08-30 2014-08-08 受信方法、及び、受信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021187672A Division JP7410107B2 (ja) 2013-08-30 2021-11-18 受信方法、及び、受信装置

Publications (2)

Publication Number Publication Date
JP2019115071A true JP2019115071A (ja) 2019-07-11
JP6982021B2 JP6982021B2 (ja) 2021-12-17

Family

ID=52700389

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2014162861A Active JP6505996B2 (ja) 2013-08-30 2014-08-08 受信方法、及び、受信装置
JP2019062613A Active JP6982021B2 (ja) 2013-08-30 2019-03-28 受信方法、及び、受信装置
JP2021187672A Active JP7410107B2 (ja) 2013-08-30 2021-11-18 受信方法、及び、受信装置
JP2023215682A Pending JP2024023782A (ja) 2013-08-30 2023-12-21 受信方法、及び、送信方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014162861A Active JP6505996B2 (ja) 2013-08-30 2014-08-08 受信方法、及び、受信装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021187672A Active JP7410107B2 (ja) 2013-08-30 2021-11-18 受信方法、及び、受信装置
JP2023215682A Pending JP2024023782A (ja) 2013-08-30 2023-12-21 受信方法、及び、送信方法

Country Status (5)

Country Link
US (4) US10277931B2 (ja)
EP (2) EP3041252A4 (ja)
JP (4) JP6505996B2 (ja)
CN (2) CN110278474B (ja)
WO (1) WO2015029402A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013124A1 (ja) * 2021-08-06 2023-02-09 ソニーグループ株式会社 再送出装置、再送出方法、受信装置、及び受信方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127641B1 (ko) * 2014-06-20 2020-06-30 삼성전자주식회사 응용 계층 순방향 오류 정정 방식을 사용하여 제공되는 방송 서비스의 수신을 제어하는 방법 및 장치
BR112017014634A2 (ja) * 2015-01-13 2018-03-20 Sony Corporation A sending set, a transmission method, a receiving set, and a receiving method
JP6487243B2 (ja) * 2015-03-23 2019-03-20 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6523003B2 (ja) * 2015-03-24 2019-05-29 マクセル株式会社 放送受信装置及びコンテンツ出力方法
CA3004650C (en) * 2015-02-06 2022-04-12 Shanghai Jiao Tong University Dynamic time window and buffer mechanism in heterogeneous network transmission
KR102126257B1 (ko) * 2015-02-13 2020-06-24 에스케이텔레콤 주식회사 멀티뷰 스트리밍 서비스 지원 방법 및 이를 지원하는 장치
JP6426034B2 (ja) * 2015-03-19 2018-11-21 アルパイン株式会社 放送受信装置およびシームレスリンク状態表示方法
JP2016178595A (ja) * 2015-03-23 2016-10-06 シャープ株式会社 受信装置、受信方法、及びプログラム
JP2016208166A (ja) * 2015-04-20 2016-12-08 知紘 松野 信号処理装置
JP6478402B2 (ja) * 2015-05-15 2019-03-06 日本放送協会 情報処理装置、受信機、及びプログラム
JP6596363B2 (ja) * 2016-03-08 2019-10-23 日本放送協会 時刻マッピング情報生成装置、同期再生システム、時刻マッピング情報生成方法及び時刻マッピング情報生成プログラム
WO2018180572A1 (ja) * 2017-03-31 2018-10-04 ソニー株式会社 情報処理装置、受信装置、及び情報処理方法
US20210084346A1 (en) * 2018-01-12 2021-03-18 Sony Corporation Transmission device, transmission method, reception device and reception method
US20200112753A1 (en) * 2018-10-03 2020-04-09 Qualcomm Incorporated Service description for streaming media data
JP6641043B2 (ja) * 2019-02-21 2020-02-05 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6641052B2 (ja) * 2019-04-25 2020-02-05 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6953602B2 (ja) * 2019-12-26 2021-10-27 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6799129B2 (ja) * 2019-12-26 2020-12-09 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP6802347B2 (ja) * 2019-12-26 2020-12-16 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP2020145682A (ja) * 2020-04-15 2020-09-10 松野 桂子 信号処理装置
US20210400338A1 (en) * 2020-06-19 2021-12-23 Apple Inc. Systems and methods of video jitter estimation
JP7230170B2 (ja) * 2020-11-19 2023-02-28 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP7003209B2 (ja) * 2020-11-19 2022-01-20 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP7196258B2 (ja) * 2020-11-26 2022-12-26 マクセル株式会社 放送受信装置及びコンテンツ出力方法
JP7440679B2 (ja) 2021-12-28 2024-02-28 マクセル株式会社 放送受信装置及びコンテンツ出力方法
CN115842919B (zh) * 2023-02-21 2023-05-09 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068172A (ja) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd 放送/通信結合サービス情報の送受信方法及び装置
JP2008092161A (ja) * 2006-09-29 2008-04-17 Saxa Inc 通信端末、マルチメディア再生制御方法、およびプログラム
WO2012096372A1 (ja) * 2011-01-14 2012-07-19 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
WO2013099101A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、アプリケーション情報テーブル供給装置およびアプリケーション情報テーブル供給方法
JP2013162205A (ja) * 2012-02-02 2013-08-19 Nippon Hoso Kyokai <Nhk> 信号処理装置及びプログラム

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623483A (en) * 1995-05-11 1997-04-22 Lucent Technologies Inc. Synchronization system for networked multimedia streams
US7222155B1 (en) * 1999-06-15 2007-05-22 Wink Communications, Inc. Synchronous updating of dynamic interactive applications
US20020135518A1 (en) * 2001-02-02 2002-09-26 Matthew Rabinowitz Time-gated delay lock loop tracking of digital television signals
US20030177504A1 (en) * 2002-03-18 2003-09-18 Paulo Daniel Leonard System and method for synchronizing interaction of a communication network with a broadcasting network
KR20050003364A (ko) * 2002-04-12 2005-01-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 방송-수신기들로의 프로그램들의 다운로딩
US20050138674A1 (en) * 2003-12-17 2005-06-23 Quadrock Communications, Inc System and method for integration and synchronization of interactive content with television content
KR100694060B1 (ko) * 2004-10-12 2007-03-12 삼성전자주식회사 오디오 비디오 동기화 장치 및 그 방법
CN101080933A (zh) * 2004-12-15 2007-11-28 皇家飞利浦电子股份有限公司 使音频与延迟的视频同步
CA2594982A1 (en) * 2005-02-10 2006-08-17 Matsushita Electric Industrial Co., Ltd. Broadcast recording apparatus
JP4691216B2 (ja) 2005-02-28 2011-06-01 株式会社日立国際電気 デジタル放送受信機
KR20060105890A (ko) * 2005-03-31 2006-10-12 삼성전자주식회사 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법
ES2600495T3 (es) * 2007-01-08 2017-02-09 Sk Telecom. Co., Ltd. Sistema y procedimiento para sincronizar contenido de difusión con información adicional
US9191605B1 (en) * 2007-03-26 2015-11-17 Qurio Holdings, Inc. Remote monitoring of media content that is associated with rights management restrictions
US20080301746A1 (en) * 2007-05-30 2008-12-04 Wiser Philip R Programming content reconstruction in a content delivery system
US20080301750A1 (en) * 2007-04-13 2008-12-04 Robert Denton Silfvast Networked antenna and transport system unit
US20110007835A1 (en) * 2007-07-02 2011-01-13 Samsung Electronics Co., Ltd. Digital broadcasting transmitter, receiver and methods for processing stream thereof
US8144612B2 (en) * 2009-04-15 2012-03-27 Ibiquity Digital Corporation Systems and methods for transmitting media content via digital radio broadcast transmission for synchronized rendering by a receiver
EP2320650B1 (en) * 2009-10-20 2014-06-04 Lg Electronics Inc. Method of processing application in digital broadcast receiver connected with interactive network and the digital broadcast receiver
US8424037B2 (en) * 2010-06-29 2013-04-16 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content in response to selection of a presented object
KR20120010433A (ko) * 2010-07-26 2012-02-03 엘지전자 주식회사 영상표시기기의 동작 방법
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9078031B2 (en) * 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
BR112013008587B1 (pt) * 2010-10-15 2021-09-21 Interdigital Ce Patent Holdings Método para processar dados de multimídia em um dispositivo de recepção, e dispositivo de recepção
EP2648407A4 (en) * 2010-12-02 2014-07-30 Korea Electronics Telecomm METHOD AND DEVICE FOR TRANSMITTING STEREOSCOPIC VIDEO CONTENT
KR20120080985A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 영상 표시 방법 및 이를 적용한 방송 수신 장치
US9137585B2 (en) * 2011-01-13 2015-09-15 BlackArrow, INC Method and apparatus for inserting advertisements in content
JP5793871B2 (ja) * 2011-01-25 2015-10-14 ソニー株式会社 受信装置、受信方法、供給装置、供給方法、プログラム、および放送システム
EP2498494A1 (en) * 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
JP2013009332A (ja) 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機
JP6076248B2 (ja) * 2011-05-20 2017-02-08 日本放送協会 放送通信連携システム、アプリケーション管理サーバー、および、アプリケーション管理サーバーにおけるアプリケーション管理方法
JP5997500B2 (ja) 2011-05-20 2016-09-28 日本放送協会 放送通信連携受信装置
JP2013009341A (ja) 2011-05-20 2013-01-10 Nippon Hoso Kyokai <Nhk> 受信機
US8923342B2 (en) * 2011-07-12 2014-12-30 Electronics And Telecommunications Research Institute Method of providing timing information for synchronizing MMT packet stream in MMT hybrid delivery service and method of synchronizing MMT packet stream in MMT hybrid delivery service
KR101828342B1 (ko) * 2011-08-10 2018-02-12 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법 및 서버
KR101654439B1 (ko) * 2011-09-23 2016-09-12 엘지전자 주식회사 방송 서비스 수신 방법 및 그 수신 장치
JP5957204B2 (ja) * 2011-11-01 2016-07-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5857636B2 (ja) * 2011-11-02 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP4236303A3 (en) * 2011-12-02 2023-10-11 Sony Group Corporation Information processing apparatus, information processing method, and program to activate an application
WO2013114749A1 (ja) 2012-01-31 2013-08-08 シャープ株式会社 提示制御装置、提示制御方法、提示システム、提示制御プログラム、記録媒体およびメタデータ
EP2648418A1 (en) * 2012-04-05 2013-10-09 Thomson Licensing Synchronization of multimedia streams
CN105165018B (zh) * 2013-06-27 2018-10-12 Lg电子株式会社 基于地面广播网络和网际协议网络的连接在混合广播系统中发送和接收广播服务的方法和装置
EP3206391A4 (en) * 2014-10-12 2018-03-21 LG Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
JP6641731B2 (ja) * 2015-06-05 2020-02-05 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
WO2017043863A1 (ko) * 2015-09-07 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
WO2017061796A1 (ko) * 2015-10-06 2017-04-13 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068172A (ja) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd 放送/通信結合サービス情報の送受信方法及び装置
JP2008092161A (ja) * 2006-09-29 2008-04-17 Saxa Inc 通信端末、マルチメディア再生制御方法、およびプログラム
WO2012096372A1 (ja) * 2011-01-14 2012-07-19 シャープ株式会社 コンテンツ再生装置、コンテンツ再生方法、配信システム、コンテンツ再生プログラム、記録媒体、およびデータ構造
WO2012099359A2 (ko) * 2011-01-19 2012-07-26 삼성전자 주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
WO2013099101A1 (ja) * 2011-12-27 2013-07-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、アプリケーション情報テーブル供給装置およびアプリケーション情報テーブル供給方法
JP2013162205A (ja) * 2012-02-02 2013-08-19 Nippon Hoso Kyokai <Nhk> 信号処理装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023013124A1 (ja) * 2021-08-06 2023-02-09 ソニーグループ株式会社 再送出装置、再送出方法、受信装置、及び受信方法

Also Published As

Publication number Publication date
JP6505996B2 (ja) 2019-04-24
CN110278474B (zh) 2021-10-08
US20220167033A1 (en) 2022-05-26
CN105453580A (zh) 2016-03-30
CN105453580B (zh) 2019-08-16
JP7410107B2 (ja) 2024-01-09
CN110278474A (zh) 2019-09-24
US20190215547A1 (en) 2019-07-11
US20210120291A1 (en) 2021-04-22
JP2015050768A (ja) 2015-03-16
US10911805B2 (en) 2021-02-02
JP2022010382A (ja) 2022-01-14
EP3041252A1 (en) 2016-07-06
US10277931B2 (en) 2019-04-30
US20160173919A1 (en) 2016-06-16
WO2015029402A1 (ja) 2015-03-05
EP3041252A4 (en) 2016-08-24
JP2024023782A (ja) 2024-02-21
JP6982021B2 (ja) 2021-12-17
EP3684066A1 (en) 2020-07-22
US11284142B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
JP6982021B2 (ja) 受信方法、及び、受信装置
US11711580B2 (en) Transmission method, reception method, transmission device, and reception device
US11765414B2 (en) Transmitting method, receiving method, transmitting apparatus, and receiving apparatus
US11849166B2 (en) Transmitting method, receiving method, transmitting device, and receiving device
US20130346566A1 (en) Apparatus and method of transmitting and receiving associated broadcasting contents based on heterogeneous network
US20140237536A1 (en) Method of displaying contents, method of synchronizing contents, and method and device for displaying broadcast contents
KR20130018208A (ko) 송신 장치, 수신 장치 및 그 송수신 방법
JPWO2016084591A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20230379519A1 (en) Transmitting method, receiving method, transmitting apparatus, and receiving apparatus
WO2014162748A1 (ja) 受信装置、及び受信方法
KR20130115975A (ko) 하이브리드 서비스를 제공하기 위한 송신 시스템과 수신 장치 및 그 서비스 제공 방법들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200414

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211118

R150 Certificate of patent or registration of utility model

Ref document number: 6982021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150