JP2022183550A - 受信装置、クライアント端末装置、およびプログラム - Google Patents
受信装置、クライアント端末装置、およびプログラム Download PDFInfo
- Publication number
- JP2022183550A JP2022183550A JP2021090918A JP2021090918A JP2022183550A JP 2022183550 A JP2022183550 A JP 2022183550A JP 2021090918 A JP2021090918 A JP 2021090918A JP 2021090918 A JP2021090918 A JP 2021090918A JP 2022183550 A JP2022183550 A JP 2022183550A
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- client terminal
- event
- information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 121
- 238000004891 communication Methods 0.000 claims abstract description 46
- 238000007405 data analysis Methods 0.000 claims description 55
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 description 122
- 230000006870 function Effects 0.000 description 106
- 230000004044 response Effects 0.000 description 42
- 238000009826 distribution Methods 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 230000004913 activation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】受信装置からクライアント端末装置に対して放送リソースに基づくウェブリソースを提供するシステムにおいて、映像や音声に付随する付随情報(イベント情報等)をクライアント端末装置側で利用することを可能にする。【解決手段】受信装置において、トランスコード部は、受信された放送信号から抽出された映像リソースまたは音声リソースの少なくともいずれかのデータを、ウェブプラットフォームで利用可能な形式のデータにトランスコードして、ウェブリソースとして出力する。イベント処理部は、放送信号から抽出されたリソースに基づく、映像あるいは音声の少なくともいずれかに付随する付随情報を含むイベント情報を生成する。ウェブリソース提供部は、トランスコード部が出力するウェブリソースと、イベント処理部が生成したイベント情報とを、通信を介して、連携先のクライアント端末装置に対して送信する。【選択図】図2
Description
本発明は、受信装置、クライアント端末装置、およびプログラムに関する。
従来技術において、テレビ受信機は、放送波に含まれる様々なリソース(映像、音声、字幕など)を活用する。このような放送に含まれるリソースの活用は、基本的に放送チューナーを有するテレビ受信機等に限られていたものである。
これに対して、放送波に含まれるリソースをウェブプラットフォームで利活用できるようにするための技術の普及が進みつつある。このような技術では、テレビ受信機以外の端末装置(例えば、ウェブクライアント端末)でも放送に含まれるリソースの活用が可能となる。例えば、日本国外の規格であるATSC 3.0規格(ATSCは、「Advanced Television Systems Committee」の略)に準拠したテレビ受信機などは、配信サーバーの役割を担うことができる。即ち、そのようなテレビ受信機は、受信した放送映像などを別の端末装置に対して配信することができる。
一方、日本の放送規格(ISDB-Tなど)では、様々な電機メーカーが提供する録画機などによってリモート視聴のサービスが提供されている。非特許文献1には、リモート視聴について記載されている。
標準化された技術としては、テレビ受信機と視聴端末とが連携するための仕組みである、ハイブリッドキャストの端末連携機能が存在する。この機能は、「ハイブリッドキャストコネクト」あるいは「ハイコネ」と呼ばれる。ハイブリッドキャストの端末連携機能の技術標準では、発見・接続・データ送受信プロトコルなどが提供されている。非特許文献2には、ハイブリッドキャストの端末連携機能の規定が含まれる。
「デジタル放送のリモート視聴について」,一般社団法人放送サービス高度化推進協会,[online],[2021年4月10日ダウンロード],インターネット<URL:https://www.apab.or.jp/remote-viewing/pdf/remote-viewing.pdf>
「IPTVフォーラム標準規格,運用規定」,一般社団法人IPTVフォーラム, IPTVFJ-STD0010 2.3版・IPTVFJ-STD0011 2.6版・IPTVFJ-STD0013 2.9版,[2020年10月2日],インターネット<URL:https://www.iptvforum.jp/download/input.html>
しかしながら、従来技術には、解決すべき課題が存在する。
非特許文献1に記載されているリモート視聴のしくみでは、テレビ受信機と視聴端末(およびその端末上で動作するアプリケーションプログラム)の組合せが、メーカーごとに固定されている。その理由としては、テレビ受信機と視聴端末との間での発見・接続プロトコルや、コンテンツ保護のための技術として、メーカーごとの独自技術が用いられていることが考えられる。つまり、テレビ受信機と視聴端末との間の相互接続性が向上しないという問題がある。このような事情により、ユーザーの利便性が向上せず、技術の普及が阻害されているという問題がある。
非特許文献2に記載されているハイブリッドキャストの端末連携機能のしくみでは、視聴端末において、放送波のリソースを取得して動画再生を行ったり字幕を表示したりすることができないという問題がある。
つまり、標準的な技術でテレビ受信機と視聴端末との間の相互接続性を高めるためには、ハイブリッドキャストの端末連携機能の標準技術を拡張して、放送波に含まれる様々なリソースを視聴端末で活用できるようにすることが望まれる。
この状況において本発明が解決すべき課題は、次の通りである。放送信号は、映像や音声のほかに、イベントの情報や、字幕の情報や、番組情報などの様々な情報を含む。また、映像や音声を解析することにより、メタデータの情報を得ることもできる。放送のコンテンツを視聴端末で利用可能とする場合に、映像や音声だけでなく、放送信号に含まれるイベントの情報、あるいはその他の情報も、ウェブリソースとして視聴端末で利用可能にすることが望まれる。なお、放送信号におけるイベントの情報は、例えばEM(event message、イベントメッセージ)の形で伝送されるものである。
つまり、放送波に含まれる、映像や音声以外の情報(典型的には、イベント)や、映像や音声を解析することによって得られるメタデータの情報を、ウェブの標準的なインターフェースで活用できるようにすることが望まれる。これらの、映像や音声以外の情報や、映像や音声を解析することによって得られるメタデータの情報を、まとめて「付随情報」と呼ぶことにする。つまり、テレビ受信装置(受信端末装置)が受信した放送に関する付随情報を、標準的なウェブインターフェースに則った形式で視聴端末(クライアント端末装置)が活用できるようにすることが望まれる。
本発明は、上記の課題認識に基づいて行なわれたものであり、受信装置(テレビ受信機)からクライアント端末装置(視聴端末)に対して放送リソースに基づくウェブリソースを提供するシステムにおいて、付随情報(イベント情報等)をクライアント端末装置側で利用することを可能にする受信装置、クライアント端末装置、およびプログラムを提供しようとするものである。
[1]上記の課題を解決するため、本発明の一態様による受信装置は、放送信号を受信する受信部と、前記放送信号から抽出されたリソースに基づくイベント情報を生成するイベント処理部と、前記イベント処理部が生成した前記イベント情報を、通信を介して、連携先のクライアント端末装置に対して送信するウェブリソース提供部と、を備える。
[2]また、本発明の一態様は、上記の受信装置において、受信された前記放送信号から抽出された映像リソースまたは音声リソースの少なくともいずれかのデータを、ウェブプラットフォームで利用可能な形式のデータにトランスコードして、ウェブリソースとして出力するトランスコード部、をさらに備え、前記イベント処理部は、前記映像リソースまたは前記音声リソースの少なくともいずれかに付随する付随情報を含む前記イベント情報を生成し、前記ウェブリソース提供部は、前記イベント処理部が生成した前記イベント情報を、前記トランスコード部が出力する前記ウェブリソースとともに、前記クライアント端末装置に対して送信する、ものである。
[3]また、本発明の一態様は、上記の受信装置において、前記付随情報は、前記放送信号から抽出されたイベントメッセージと、字幕と、文字スーパーと、アプリケーション情報テーブル(AIT)と、サービス情報(SI)と、データ放送コンテンツと、のいずれか、または、前記放送信号から抽出された前記映像リソースまたは前記音声リソースの少なくともいずれかを解析して得られたメタデータ、を含む、ものである。
[4]また、本発明の一態様は、上記の受信装置において、前記ウェブリソース提供部は、ハイブリッドキャストコネクト(ハイブリッドキャストの端末連携機能)における前記連携先のクライアント端末装置との間での端末連携通信の機能を用いて、前記イベント情報を、前記連携先のクライアント端末装置に対して送信する、ものである。
[5]また、本発明の一態様は、上記の受信装置において、前記付随情報は、前記放送信号から抽出されたイベントメッセージのデータを含み、前記ウェブリソース提供部は、同一内容の前記イベントメッセージのデータを含む前記イベント情報を複数回重複して前記クライアント端末装置に対して送信することを抑止する制御を行う、ものである。
[6]また、本発明の一態様は、上記の受信装置において、前記ウェブリソース提供部は、前記クライアント端末装置における前記ウェブリソースの再生位置の情報を前記クライアント端末装置から受け取り、受け取った前記再生位置の情報に基づくタイミングで、前記ウェブリソースにおける特定の再生位置に関連付けられた前記イベント情報を、前記クライアント端末装置に対して送信する、ものである。
[7]また、本発明の一態様は、上記の受信装置において、前記ウェブリソース提供部は、複数の前記クライアント端末装置をそれぞれ識別するとともに、それぞれの前記クライアント端末装置から受け取った前記再生位置の情報に基づくタイミングで、前記ウェブリソースにおける特定の再生位置に関連付けられた前記イベント情報を、複数の前記クライアント端末装置のそれぞれに対して送信する、ものである。
[8]また、本発明の一態様は、上記の受信装置において、前記イベント処理部は、前記イベント情報をメディアタイムドイベント(MTE)として生成して、生成した前記メディアタイムドイベントを前記トランスコード部が出力した前記ウェブリソースに挿入し、前記ウェブリソース提供部は、前記メディアタイムドイベントが挿入された前記ウェブリソースを、前記クライアント端末装置に対して送信する、ものである。
[9]また、本発明の一態様は、上記の受信装置において、前記イベント処理部が生成する前記メディアタイムドイベントは、前記放送信号から抽出された字幕と、文字スーパーと、アプリケーション情報テーブル(AIT)と、サービス情報(SI)と、データ放送コンテンツと、のいずれか、を前記付随情報として含むものである。
[10]また、本発明の一態様は、上記の受信装置において、抽出された前記音声リソースを解析した結果である音声解析結果と、抽出された前記字幕と、をマッチングすることによって得られる再生位置に前記字幕を関連付けるデータ解析部、をさらに備え、前記イベント処理部は、前記再生位置に関連付けられた前記字幕を含む前記メディアタイムドイベントを、前記ウェブリソースに挿入する、ものである。
[11]また、本発明の一態様は、上記の受信装置において、抽出された前記映像リソースを解析した結果である映像解析結果と、前記放送信号から抽出された番組情報または外部のウェブサーバー装置から情報と、を関連付けることによって得られたメタデータを生成するデータ解析部、をさらに備え、前記イベント処理部は、前記データ解析部が生成した前記メタデータを含む前記メディアタイムドイベントを、前記ウェブリソースに挿入する、ものである。
[12]また、本発明の一態様によるクライアント端末装置は、上の[1]に記載の受信装置から前記イベント情報を受信する受信端末連携制御部、を備えるものである。
[13]また、本発明の一態様によるクライアント端末装置は、上の[2]に記載の受信装置から前記ウェブリソースを受信して利用するウェブアプリケーションを稼働させるアプリケーションエンジンと、ハイブリッドキャストコネクト(ハイブリッドキャストの端末連携機能)により、前記ウェブリソースを利用するために必要な処理を、前記受信装置との連携動作として実行する受信端末連携制御部と、を備え、前記受信装置が受信した放送信号から抽出されたリソースに基づく、映像あるいは音声の少なくともいずれかに付随する付随情報を含むイベント情報を、前記受信装置から受信する、ものである。
[14]また、本発明の一態様は、上記のクライアント端末装置において、前記受信端末連携制御部が、前記受信装置との間での端末連携通信によって、前記イベント情報を受信する、というものである。
[15]また、本発明の一態様は、上記のクライアント端末装置において、受信した前記イベント情報が持つ識別情報に基づいて、前記イベント情報が処理済みであるか否かを判定し、既に処理済みである前記イベント情報についての処理を抑止する制御を行う、ものである。
[16]また、本発明の一態様は、上記のクライアント端末装置において、前記ウェブアプリケーションが受信する前記ウェブリソースに含まれるメディアタイムドイベント(MTE)として、前記イベント情報を受信する、ものである。
[17]また、本発明の一態様は、放送信号を受信する受信部、を備えるコンピューターを、上の[1]から[11]までのいずれか一項に記載の受信装置、として機能させるためのプログラムである。
[18]また、本発明の一態様は、コンピューターを、上の[12]から[16]までのいずれか一項に記載のクライアント端末装置、として機能させるためのプログラムである。
本発明によれば、受信装置が受信した放送リソースに含まれる映像リソースまたは音声リソースに付随する付随情報を、イベント情報としてクライアント端末装置に配信することが可能となる。
次に、本発明の一実施形態について、図面を参照しながら説明する。
本実施形態では、受信端末装置2は、放送波のリソースをウェブのプラットフォームで利活用できるようにするための機能を持つ。また、クライアント端末装置3は、受信端末装置2によって提供されるウェブのリソースを活用するための機能を持つ。受信端末装置2とクライアント端末装置3とのそれぞれは、ハイブリッドキャストコネクト(ハイコネ、ハイブリッドキャストの端末連携機能)の拡張機能によって上記機能を実現する。なお、ハイブリッドキャストは、放送と通信を融合する標準化された技術である。
本実施形態において、放送信号から抽出された映像のリソースと音声のリソースとは、標準的なウェブのプラットフォームで用いられるネット配信動画のコンテンツとして、受信端末装置2からクライアント端末装置3に配信される。また、映像や音声以外のデータ(付随情報。イベントの情報を含む。また、映像や音声を解析して得られるメタ情報を含む。)については、2通りの方法のうちの少なくともいずれかの方法で、受信端末装置2からクライアント端末装置3に配信することが可能である。
その第1の方法は、ハイブリッドキャストの端末連携機能における双方向の端末連携通信を用いる方法である。この方法については、図4のステップS115においても説明する。この方法を用いる場合には、ハイブリッドキャストの端末連携機能の技術で連携している受信端末装置2とクライアント端末装置3との間で、任意の側から他方へ、「sendtext」の機能を用いて、テキストデータを送信することができる。なお、テキストデータ以外のデータを、適切にコーディングすることにより、テキストデータとして送信することができるのは、言うまでもない。
また第2の方法は、メディアタイムドイベント(Media Timed Event、MTE)を用いる方法である。メディアタイムドイベントは、映像等のメディアのデータに時刻に関連付けられたイベントの情報を挿入するための、標準化された方法である。このMTEを用いる場合には、受信端末装置2側からクライアント端末装置3側に向けて、情報を送信することができる。つまり、MTEは、ネット配信動画として配信される動画コンテンツに挿入される。MTEは、ネット配信動画内の所定の位置(再生位置。動画の先頭からの相対時刻。)に関連付けられるため、動画と同期をとるためのデータを格納するのに向いている。
なお、MTEについては、文献「Requirements for Media Timed Events, W3C Interest Group Note, 25 June 2020」(https://www.w3.org/TR/media-timed-events/)にも記載されている。
図1は、本実施形態によるシステムの構成を示すブロック図である。図示するように、システム1は、受信端末装置2と、クライアント端末装置3と、アンテナ4と、ルーター8とを含んで構成される。受信端末装置2は、「受信装置」とも呼ばれる。システム1においては、受信端末装置2とクライアント端末装置3とが、ハイブリッドキャストの端末連携機能によって連携動作する。これにより、クライアント端末装置3は、受信端末装置2から提供される放送のリソースに基づくコンテンツを、提示することができる。なお、この図では、受信端末装置2、クライアント端末装置3、ルーター8をそれぞれ1台ずつ示しているが、システム1が含むこれらそれぞれの装置の台数は任意である。例えば複数の受信端末装置2あるいはクライアント端末装置3が1つのローカルネットワークに接続されてシステム1を構成していてもよい。システム1を構成するそれぞれの装置の機能については、次に説明する。
受信端末装置2は、アンテナ4を介して放送信号(高周波、RF)を受信する。受信端末装置2は、デジタル方式の放送信号を復調および復号し、放送信号に含まれる映像や音声や字幕等のリソースを抽出する。つまり、受信端末装置2は、いわゆるテレビ受像機である。受信端末装置2は、ローカルエリアネットワークを介して、インターネットプロトコル(IP)により、クライアント端末装置3との間で通信を行う。つまり、受信端末装置2は、ルーター8経由で、クライアント端末装置3と通信を行うことができる。受信端末装置2は、無線または有線の通信によりルーター8にアクセスすることができる。受信端末装置2上では、アプリケーションプログラム(以下、「アプリ」と呼ぶ場合がある)を稼働させることができる。受信端末装置2は、ハイブリッドキャストの端末連携機能を用いて、クライアント端末装置3と連携動作する。なお、受信端末装置2の詳細な機能構成については、後で別の図を参照しながら説明する。
クライアント端末装置3は、受信端末装置2と連携する端末装置である。クライアント端末装置3は、具体的には、PC(パーソナルコンピューター)や、タブレット端末や、スマートフォンや、スマートスピーカー等の装置であってよい。クライアント端末装置3は、アプリを稼働させることができる。クライアント端末装置3上では、受信端末装置2と連携動作するためのアプリが稼働する。クライアント端末装置3は、ハイブリッドキャストの端末連携機能を用いて、受信端末装置2と連携動作する。クライアント端末装置3は、受信端末装置2に対して、ウェブリソースを視聴するための各種の要求(リクエスト)を送信する。クライアント端末装置3は、リクエストした結果に応じて、ウェブリソースを利用することができる。即ち、クライアント端末装置3は、ウェブリソースをユーザー(視聴者)に提示する。なお、クライアント端末装置3自体は、放送信号を直接受信するためのチューナーの機能を持つ必要がない。
アンテナ4は、上記の放送信号を受信するためのものである。アンテナ4は、空中波として捉えた放送信号を、電気信号として受信端末装置2に供給する。
ルーター8は、上記のローカルエリアネットワークを構成する機器のひとつである。ルーター8は、ローカルエリアネットワークに接続されている送信元の装置から送信されるIPパケットを、宛先の装置側に向けて転送する。図示する構成においては、ルーター8がIPパケットを転送することにより、受信端末装置2とクライアント端末装置3とが相互に通信を行うことが可能となる。
図2は、受信端末装置2の機能構成を示す機能ブロック図である。受信端末装置2は、放送波(放送信号)が含む映像や音声や字幕やイベント情報などといったリソース、あるいはその他のリソースを、ウェブのプラットフォームで活用可能とするための機能を持つ。具体的には、図示するように、受信端末装置2は、チューナー部201と、デスクランブラー202と、デマルチプレクサー203と、データ放送処理部211と、映像デコーダー部212と、音声デコーダー部213と、字幕デコーダー部214と、データ放送エンジン221と、通信部231と、ストリーミング受信部232と、デマルチプレクサー233と、映像デコーダー部242と、音声デコーダー部243と、字幕デコーダー部244と、アプリケーション制御部251と、アプリケーションエンジン252と、アプリケーションロンチャー253と、トランスコード部261と、ウェブリソース提供部262と、クライアント端末連携制御部263と、映像出力部271と、音声出力部272と、データ解析部281と、イベント処理部282と、を含んで構成される。
受信端末装置2の各機能部は、例えば、電子回路を用いて構成される。また、受信端末装置2が持つ少なくとも一部の機能を、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ(SSD)といった不揮発性の記憶手段を用いるようにしてもよい。受信端末装置2が持つ各部の機能は、次に説明する通りである。
なお、図2においては省略している機能部間のやりとりもある。それらについては、本実施形態の中で別途説明する。
チューナー部201は、放送信号を受信し、受信した放送信号のチューニング(選局)を行い、選局された放送信号をデスクランブラー202に渡す。なお、受信される放送信号は、ISDB-T(地上デジタル放送)やISDB-S(衛星デジタル放送)などの放送信号である。なお、チューナー部201は、「受信部」とも呼ばれる。
デスクランブラー202(descrambler)は、受信された放送信号をデスクランブルして出力する。デスクランブラー202は、デスクランブルした結果の信号を、デマルチプレクサー203に渡す。
デマルチプレクサー203(demultiplexer)は、多重送信された放送信号から、個々のリソースの信号を取り出して出力する。具体的には、デマルチプレクサー203は、デスクランブラー202から出力された信号から、データ放送の信号や、映像の信号や、音声の信号や、字幕の信号や、必要に応じてその他の信号を、それぞれ抽出して出力する。
データ放送処理部211は、デマルチプレクサー203が抽出したデータ放送の信号を処理する。データ放送の信号は、例えばBML(Broadcast Markup Language)で記述されたコンテンツである。
映像デコーダー部212は、デマルチプレクサー203が抽出した映像のリソースを受け取り、映像としてデコード(復号)する。映像デコーダー部212は、デコード結果である映像を、映像出力部271およびトランスコード部261に渡す。
音声デコーダー部213は、デマルチプレクサー203が抽出した音声のリソースを受け取り、音声としてデコードする。音声デコーダー部213は、デコード結果である音声を、音声出力部272およびトランスコード部261に渡す。
字幕デコーダー部214は、デマルチプレクサー203が抽出した字幕のリソースを受け取り、デコードする。字幕デコーダー部214は、デコード結果である字幕のデータを、映像出力部271に渡す。さらに、字幕デコーダー部214は、その字幕のデータを、トランスコード部261にも渡してよい。
データ放送エンジン221は、データ放送処理部211から出力されたコンテンツについての処理を行う。データ放送エンジン221は、その処理結果を、映像として、映像出力部271に渡す。
通信部231は、外部の装置との通信を行う。通信部231は、例えば、インターネットプロトコル(IP)を用いて、外部と通信する。通信部231の機能により、受信端末装置2は、クライアント端末装置3等との間で相互に通信を行うことが可能となる。なお、通信部231は、後述する外部(例えば宅外)のサーバー装置(ウェブ編成情報管理サーバー装置91等)とも通信を行うことができる。
ストリーミング受信部232は、通信(インターネット等)を介してストリーミング配信されるコンテンツの信号を受信する。ストリーミング受信部232は、受信した信号をデマルチプレクサー233に渡す。
デマルチプレクサー233は、ストリーミング受信部232が受信したコンテンツの信号から、各リソースのデータをそれぞれ抽出する。抽出されるデータは、映像や、音声や、字幕等のデータである。デマルチプレクサー233は、映像のデータを映像デコーダー部242に渡し、音声のデータを音声デコーダー部243に渡し、字幕のデータを字幕デコーダー部244に渡す。デマルチプレクサー233が、映像や音声や字幕以外の種類のリソースを抽出してもよい。
映像デコーダー部242は、デマルチプレクサー233から渡される映像のデータをデコードし、デコード後の映像を出力する。
音声デコーダー部243は、デマルチプレクサー233から渡される音声のデータをデコードし、デコード後の音声を出力する。
字幕デコーダー部244は、デマルチプレクサー233から渡される字幕のデータをデコードし、デコード後の字幕(テキスト)を出力する。
アプリケーション制御部251は、受信端末装置2上で稼働するアプリケーションプログラムを制御する。具体的には、アプリケーション制御部251は、特定のアプリケーションプログラムを起動させたり、停止させたり、その他の管理を行ったりする。アプリケーション制御部251は、ハイブリッドキャストの技術(規定)に基づく制御を行う。
アプリケーションエンジン252は、受信端末装置2上で稼働するアプリケーションプログラムを稼働させる環境である。アプリケーションプログラムは、例えば、HTML5で記述されるコンテンツである。HTML5で記述されるコンテンツは、画面等に提示するためのページの定義や、実行可能なコードを含む。
アプリケーションロンチャー253は、特定のアプリケーションプログラムをアプリケーションエンジン252上で起動させるための機能を有するものである。
トランスコード部261は、デコードされた映像や音声のデータを受け取り、通信を介して配信するためのフォーマット(ネット動画配信フォーマット)に変換(トランスコード)する。変換先のネット動画配信フォーマットは、例えば、MPEG-DASH(DASHは、「Dynamic Adaptive Streaming over HTTP」の略)やHLS(HTTP Live Streaming)である。つまり、トランスコード部261は、受信された放送信号から抽出されたリソース(映像リソースまたは音声リソースの少なくともいずれか)のデータを、ウェブプラットフォームで利用可能な形式のデータにトランスコードして、ウェブリソースとして出力する。トランスコード部261が出力するデータは、ウェブリソース提供部262に渡され、さらにクライアント端末装置3側に提供され得るものである。なお、トランスコード部261がコンテンツをトランスコードする際のパラメーターは、アプリケーション制御部251やクライアント端末連携制御部263によって制御・設定され得るものである。
ウェブリソース提供部262は、トランスコード部261から出力されるネット動画配信形式のコンテンツを受け取り、外部装置(クライアント端末装置3等)への配信の管理を行う。ウェブリソース提供部262は、トランスコード部261が出力した動画コンテンツを、少なくとも所定期間、蓄積しておくこともできる。ウェブリソース提供部262は、動画コンテンツを、通信部231経由で、クライアント端末装置3等に提供することができる。つまり、ウェブリソース提供部262は、外部に存在するクライアント端末装置3からの視聴要求に応じて、トランスコード部261が出力する前記ウェブリソースを、通信を介して、クライアント端末装置3に対して送信する。
また、ウェブリソース提供部262は、ウェブクライアント(クライアント端末装置3等)が動画コンテンツを利用するためのエンドポイント情報を生成する。エンドポイント情報は、ウェブクライアント側から見た、動画配信コンテンツのアクセス先を表す情報である。ウェブリソース提供部262が生成したエンドポイント情報は、クライアント端末連携制御部263を介して、クライアント端末装置3側に渡され得る情報である。このエンドポイント情報によって、クライアント端末装置3は、動画コンテンツを取得するためのアクセス先を知る。
本実施形態のウェブリソース提供部262は、受信端末装置2が受信する放送信号に含まれるイベントメッセージ(EM)の情報を受け取り、管理する。ウェブリソース提供部262は、クライアント端末連携制御部263と疎通し、上記のイベントメッセージに関連付くイベント情報を、通信を介して、クライアント端末装置3に提供する。なお、イベント情報は、イベント処理部282が生成したデータである。ウェブリソース提供部262がイベント情報をクライアント端末装置3に配信する具体的な方法は、次の通りである。第1に、ウェブリソース提供部262は、ハイブリッドキャストの端末連携機能における、連携先のクライアント端末装置3との間での端末連携通信の機能を用いて、イベント情報を、連携先のクライアント端末装置3に対して送信してよい。第2に、ウェブリソース提供部262は、後述のイベント処理部282から提供されるメディアタイムドイベント(MTE)を、クライアント端末装置3に向けて伝送する。なお、イベント処理部282は、MTEを、クライアント端末装置3に対して配信される映像や音声のコンテンツ(ウェブリソース)に挿入する。
クライアント端末連携制御部263は、受信端末装置2とクライアント端末装置3との間の連携を制御する。具体的には、クライアント端末連携制御部263は、ハイブリッドキャストの端末連携機能によって、受信端末装置2とクライアント端末装置3との間の連携を制御する。ハイブリッドキャストの端末連携機能自体は既存の技術であるが、クライアント端末連携制御部263は、本実施形態に特有の機能として、ハイブリッドキャストの端末連携機能を拡張した機能を実現するものである。
具体的には、クライアント端末連携制御部263は、ハイブリッドキャストの端末連携機能(拡張機能を含む)によりクライアント端末装置3との連携動作を制御するとともに、ウェブリソースを利用するために必要な情報をクライアント端末装置に送信する。クライアント端末連携制御部263は、少なくとも、ウェブリソースを利用するためのロケーション(エンドポイント等)の情報をクライアント端末装置3に送信する。つまり、クライアント端末連携制御部263は、ウェブリソース提供部262と疎通し、端末間の連携のための処理の結果を、クライアント端末装置3に伝達する。その際、クライアント端末連携制御部263は、ハイブリッドキャストの端末連携機能のAPIを介してクライアント端末装置3に対する情報伝達を行ったり、ウェブソケット(WebSocket)プロトコルによって情報伝達を行ったりする。
クライアント端末連携制御部263は、拡張したハイブリッドキャストの端末連携機能において、次のような処理を行う。即ち、クライアント端末連携制御部263は、前述のエンドポイント情報を、クライアント端末装置3に対して提供する。また、クライアント端末連携制御部263は、放送リソースからトランスコードされたウェブリソースを利用するためのAPI(アプリケーションプログラムインターフェース)を、クライアント端末装置3に対して提供する。また、クライアント端末連携制御部263は、クライアント端末装置3側から渡されるトランスコード部261を制御するための情報を取得し、その制御情報(トランスコード処理用のパラメーター等)を、アプリケーション制御部251経由で、トランスコード部261に渡す。つまり、クライアント端末連携制御部263は、クライアント端末装置3からの情報に基づいて、トランスコード部261を制御する。なお、受信端末装置2とクライアント端末装置3との間の連携については、後でさらに詳細に説明する。
映像出力部271は、映像デコーダー部212や、字幕デコーダー部214や、映像デコーダー部242や、字幕デコーダー部244や、データ放送エンジン221等から渡される映像を統合して、統合された映像を出力する。つまり、映像出力部271は、その映像をユーザー(視聴者)に対して提示する。具体的には、映像出力部271は、ディスプレイ装置等に対して、提示するための映像の信号を出力する。なお、本実施形態において、受信端末装置2が、映像出力部271を持たない構成としてもよい。その場合にも、受信端末装置2は、映像(字幕に相当する情報を含む)をウェブリソースとしてクライアント端末装置3に提供することができる。
音声出力部272は、音声デコーダー部213や音声デコーダー部243から渡される音声を、外部に出力する。具体的には、音声出力部272は、スピーカーやイヤフォン等に対して、音声の信号を出力する。なお、本実施形態において、受信端末装置2が、音声出力部272を持たない構成としてもよい。その場合にも、受信端末装置2は、音声をウェブリソースとしてクライアント端末装置3に提供することができる。
データ解析部281は、データを解析し、映像データや音声データに関連付けられるメタデータを管理する。具体的には、データ解析部281は、受信端末装置2が受信して抽出した映像データを解析し、映像に含まれる人物あるいは物体の情報や、映像と同期する文字スーパー(テキスト)などを、メタデータとして管理する。また、データ解析部281は、受信端末装置2が受信して抽出した音声データを解析し、音声データに含まれる発話内容などの情報(話者や、発話テキスト等)をメタデータとして管理する。データ解析部281は、映像データや音声データに関連して管理しているメタデータを、クライアント端末装置3に提供することができる。具体的には、データ解析部281は、ウェブリソース提供部262と連携して、上記のメタデータをクライアント端末装置3に提供する。
データ解析部281は、例えば、放送信号から抽出した字幕データと、放送信号から抽出した音声データの解析結果(例えば、音声認識処理等を含む解析の結果)とを照合し、こうどんな字幕処理結果を生成することもできる。
また、データ解析部281は、上記のメタデータを、受信端末装置2が受信した番組情報(EPG-APIなどの情報)と照合(マッチング)させる機能を有する。EPGは、「Electronic Programming Guide」(電子番組表)の略である。
なお、データ解析部281が使用する映像解析や音声解析の技術自体は、既存技術である。
イベント処理部282は、受信した放送信号に含まれていたイベント情報に関する処理を行う。
イベント処理部282は、ネット動画配信向けのイベント用メタデータとして、メディアタイムドイベント(MTE、MediaTimedEvents)のデータを生成する機能を有する。MTEのデータは、MPDもしくはEMSGである。MPDは、「Media Presentation Description」の略である。EMSGは、インバンド(in-band)形式のメッセージを格納するための形式である。イベント処理部282は、トランスコード部261が出力したネット動画(映像や音声)に、MTEを挿入する。イベント処理部282は、ウェブリソース提供部262と連携する。つまり、ウェブリソース提供部262がクライアント端末装置3に対してウェブリソースを提供する際に、イベント処理部282が、提供されるネット動画にMTEを挿入する。
イベント処理部282は、MTEを用いてイベントを送信する代わりに、イベントの情報を表すテキストデータを、ハイブリッドキャストの端末連携機能における双方向の端末連携通信を用いて、クライアント端末装置3側に送信することもできる。
つまり、イベント処理部282は、放送信号から抽出されたリソースに基づく、映像あるいは音声の少なくともいずれかに付随する付随情報を含むイベント情報を生成する。ここで、付随情報は、放送信号から抽出されたイベントメッセージと、字幕と、文字スーパーと、アプリケーション情報テーブル(AIT)と、サービス情報(SI)と、データ放送コンテンツと、のいずれか、である。あるいは、付随情報は、放送信号から抽出された映像リソースまたは音声リソースの少なくともいずれかを解析して得られたメタデータである。
上記のような機能構成により、受信端末装置2は、放送信号として受信した映像や音声や字幕等のリソースを、クライアント端末装置3が持つウェブブラウザー(ウェブプラットフォーム)で提示(利用)できるようにする。即ち、受信端末装置2を用いることにより、放送リソースをウェブプラットフォームで利用できるようになる。
なお、受信端末装置2が、オプションとして、次のような機能を持つようにしてもよい。受信端末装置2は、クライアント端末装置3に対してはウェブサーバーとして機能するが、そのウェブサーバー内に、トランスコード部261が生成した動画データ(mp4など)を蓄積できるようにしても良い。これにより、例えばクライアント端末装置3からの要求に基づいて、巻き戻し視聴(特定の再生位置までジャンプ)を可能にしたり、ビデオオンデマンド(VOD)による視聴を可能にしたりすることができる。また、受信端末装置2が、動画再生プレーヤーの機能や、動画再生可能なHTMLコンテンツを持つようにしてもよい。これにより、クライアント端末装置3が動画再生プレーヤーの機能を持たない場合にも、動画の再生をすることが可能となる。また、受信端末装置2が、動画配信の際に、チャンク転送エンコーディング(chunked-transfer-encoding)を用いることができるようにしてもよい。これにより、CMAF(Common Media Application Format)での超低遅延配信を実現することも可能となる。
図3は、クライアント端末装置3の内部の概略機能構成を示すブロック図である。図示するように、クライアント端末装置3は、通信部331と、アプリケーションエンジン352と、アプリケーションロンチャー353と、受信端末連携制御部363とを含んで構成される。クライアント端末装置3は、電子回路を用いて実現可能である。クライアント端末装置3が持つ機能の少なくとも一部を、コンピューターとプログラムとで実現してもよい。各部の機能は、次の通りである。
なお、クライアント端末装置3を構成する機能は、必ずしもすべて同一のハードウェア上に実現される必要はない。複数の装置(ハードウェア)上に分散する形(疎結合)でクライアント端末装置3を実現してもよい。
通信部331は、外部の装置との通信を行う。通信部331は、例えば、インターネットプロトコル(IP)を用いて、外部と通信する。通信部331の機能により、クライアント端末装置3は、受信端末装置2等との間で相互に通信を行うことが可能となる。
アプリケーションエンジン352は、アプリケーションプログラムを実行させるものである。図示するように、例えばウェブアプリケーションは、アプリケーションエンジン352上で実行されるプログラムの一つである。具体的には、アプリケーションエンジン352は、受信端末装置2からウェブリソースを受信して利用するウェブアプリケーションを稼働させる。
上記のウェブアプリケーションは、ウェブコンテンツを表示する機能を有するものである。ウェブコンテンツは、HTML(ハイパーテキストマークアップ言語)で記述されたコンテンツや、MPEG-DASH動画再生プレーヤーなどを含むものである。
アプリケーションロンチャー353は、アプリケーションエンジン352上で特定のアプリケーションプログラムを起動させるものである。アプリケーションロンチャー353は、例えばユーザーの操作等に基づいて、上記のウェブアプリケーションを起動させる。
受信端末連携制御部363は、受信端末装置2との間で、ハイブリッドキャストの端末連携機能による連携動作を行う。具体的には、受信端末連携制御部363は、受信端末装置2が提供するウェブリソースを利用するための情報を、ハイブリッドキャストの端末連携機能のAPIを介して取得する。ハイブリッドキャストの端末連携機能は標準化された技術であるため、受信端末装置2とクライアント端末装置3との間では、装置のメーカー等に依存しない形で、相互に連携することが可能となる。
つまり、受信端末連携制御部363は、ハイブリッドキャストの端末連携機能により、ウェブリソースを利用するために必要な処理を、受信端末装置2との連携動作として実行する。具体的には、受信端末連携制御部363は、少なくとも、ウェブリソースを利用するためのロケーション(エンドポイント等)の情報を受信端末装置2から受信する。
図4および図5は、本実施形態において拡張されたハイブリッドキャストの端末連携機能を用いた、受信端末装置2とクライアント端末装置3との間での、リクエストおよびレスポンスのシーケンスの例を示す概略図である。
図示するステップS101からS115まで、およびステップS121からS132までの処理のうち、ステップS101からS115までが、従来のハイブリッドキャストの端末連携機能においても存在するAPI(リクエストおよびレスポンス等)によるものである。ただし、従来のリクエストあるいはレスポンスの少なくとも一部が本実施形態のために拡張される場合もある。つまり、以下に説明するステップS101からS115までの処理のすべてが従来技術に属するものであるというわけではない。また、ステップS121からS132までの処理が、特に本実施形態に特有の拡張されたハイブリッドキャストの端末連携機能のAPI(リクエストおよびレスポンス)によるものである。
また、受信端末装置2とクライアント端末装置3とが、これらのステップS101からS115まで、およびステップS121からS132までのすべての手順を順次実行するとは限らない。なお、図示する通り、ステップS115の処理以外は、リクエストとレスポンスの対としてまとまった処理である。ステップS115の処理は、双方向通信であり、その中の具体的な手順は、適用する処理内容およびデータ内容に依存する。
以下では、図4および図5のそれぞれについて順に説明する。
図4のステップS101において、クライアント端末装置3は、受信端末装置2に対して、機器発見のリクエストを送信する。上記のリクエストに対して、ステップS102において、受信端末装置2は、クライアント端末装置3に対して、機器発見のレスポンスを送信する。
ステップS103において、クライアント端末装置3は、受信端末装置2に対して、認証のリクエストを送信する。上記のリクエストに対して、ステップS104において、受信端末装置2は、クライアント端末装置3に対して、認証のレスポンスを送信する。
ステップS105において、クライアント端末装置3は、受信端末装置2に対して、利用可能メディア取得のリクエストを送信する。上記のリクエストに対して、ステップS106において、受信端末装置2は、クライアント端末装置3に対して、利用可能メディア取得のレスポンスを送信する。
ステップS107において、クライアント端末装置3は、受信端末装置2に対して、編成サービス一覧取得のリクエストを送信する。上記のリクエストに対して、ステップS108において、受信端末装置2は、クライアント端末装置3に対して、編成サービス一覧取得のレスポンスを送信する。
ステップS109において、クライアント端末装置3は、受信端末装置2に対して、選局・HCアプリ起動要求のリクエストを送信する。上記のリクエストに対して、ステップS110において、受信端末装置2は、クライアント端末装置3に対して、選局・HCアプリ起動要求のレスポンスを送信する。なお、「HC」は、ハイブリッドキャストの略である。
ステップS111において、クライアント端末装置3は、受信端末装置2に対して、起動可否状態取得のリクエストを送信する。上記のリクエストに対して、ステップS112において、受信端末装置2は、クライアント端末装置3に対して、起動可否状態取得のレスポンスを送信する。
ステップS113において、クライアント端末装置3は、受信端末装置2に対して、受信機状態取得のリクエストを送信する。上記のリクエストに対して、ステップS114において、受信端末装置2は、クライアント端末装置3に対して、受信機状態取得のレスポンスを送信する。なお、ここで「受信機」とは、受信端末装置2を指すものである。
ステップS115において、クライアント端末装置3および受信端末装置2は、双方向に通信を行う。これにより、クライアント端末装置3と受信端末装置2とが連携動作することが可能となる。つまり、クライアント端末装置3と受信端末装置2とは、端末連携通信を行う。
図5に移り、ステップS121において、クライアント端末装置3は、受信端末装置2に対して、ウェブリソース機器発見のリクエストを送信する。上記のリクエストに対して、ステップS122において、受信端末装置2は、クライアント端末装置3に対して、ウェブリソース機器発見のレスポンスを送信する。この「ウェブリソース機器発見」のリクエストおよびレスポンスは、従来のハイブリッドキャストの端末連携機能の技術では存在しない手順である。
ステップS123において、クライアント端末装置3は、受信端末装置2に対して、ウェブリソース利用可否取得のリクエストを送信する。上記のリクエストに対して、ステップS124において、受信端末装置2は、クライアント端末装置3に対して、ウェブリソース利用可否取得のレスポンスを送信する。この「ウェブリソース利用可否取得」のリクエストおよびレスポンスは、従来のハイブリッドキャストの端末連携機能の技術では存在しない手順である。
ステップS125において、クライアント端末装置3は、受信端末装置2に対して、ウェブサービス一覧取得のリクエストを送信する。上記のリクエストに対して、ステップS126において、受信端末装置2は、クライアント端末装置3に対して、ウェブサービス一覧取得のレスポンスを送信する。この「ウェブサービス一覧取得」のリクエストおよびレスポンスは、従来のハイブリッドキャストの端末連携機能の技術では存在しない手順である。
ステップS127において、クライアント端末装置3は、受信端末装置2に対して、ウェブサービス起動要求のリクエストを送信する。上記のリクエストに対して、ステップS128において、受信端末装置2は、クライアント端末装置3に対して、ウェブサービス起動要求のレスポンスを送信する。この「ウェブサービス起動要求」のリクエストおよびレスポンスは、従来のハイブリッドキャストの端末連携機能の技術では存在しない手順である。
ステップS129において、クライアント端末装置3は、受信端末装置2に対して、ウェブサービス起動可否状態取得のリクエストを送信する。上記のリクエストに対して、ステップS130において、受信端末装置2は、クライアント端末装置3に対して、ウェブサービス起動可否状態取得のレスポンスを送信する。この「ウェブサービス起動可否状態取得」のリクエストおよびレスポンスは、従来のハイブリッドキャストの端末連携機能の技術では存在しない手順である。
ステップS131において、クライアント端末装置3は、受信端末装置2に対して、ウェブサービス状態取得のリクエストを送信する。上記のリクエストに対して、ステップS132において、受信端末装置2は、クライアント端末装置3に対して、ウェブサービス状態取得のレスポンスを送信する。この「ウェブサービス状態取得」のリクエストおよびレスポンスは、従来のハイブリッドキャストの端末連携機能の技術では存在しない手順である。
次に、付随情報(イベントの情報等)を受信端末装置2からクライアント端末装置3に配信する処理の、様々なバリエーション(変形例)について、それぞれ説明する。以下で説明するバリエーションは、(1)から(19)までの19種類の手法である。
(1)イベント情報(EM)のクライアント端末装置3への伝送(その1)
次に、受信端末装置2からクライアント端末装置3へのイベント情報の詳細について説明する。受信端末装置2からクライアント端末装置3へは、ハイブリッドキャストの端末連携機能の「sendtext」(テキストの送信)の機能を用いて、イベントの情報を伝送する。このsendtextの処理は、図4におけるステップS115の端末連携通信(双方向通信)において行われるものである。
次に、受信端末装置2からクライアント端末装置3へのイベント情報の詳細について説明する。受信端末装置2からクライアント端末装置3へは、ハイブリッドキャストの端末連携機能の「sendtext」(テキストの送信)の機能を用いて、イベントの情報を伝送する。このsendtextの処理は、図4におけるステップS115の端末連携通信(双方向通信)において行われるものである。
その手順としては、次の通りである。即ち、クライアント端末装置3は、予め受信端末装置2におけるサーバー機能(クライアント端末連携制御部263)との間で、ハイブリッドキャストの端末連携機能によるペアリングを完了している。つまり、図4で説明した機器発見や認証などの手順は、既に完了している。これにより、ハイブリッドキャストの端末連携機能が有するAPI群に含まれるwebsocketによる、受信端末装置2とクライアント端末装置3との間の疎通が可能となっている。
その前提で、受信端末装置2のチューナー部201が受信した放送信号にはイベントメッセージが含まれる。デマルチプレクサー203が分離・抽出したイベントメッセージは、イベント処理部282等を経由して、ウェブリソース提供部262に渡され、管理される。ウェブリソース提供部262は、クライアント端末連携制御部263が持つハイブリッドキャストの端末連携機能を用いて、イベントメッセージを、クライアント端末装置3に配信する。この際には、前述のsendtextの機能が用いられる。
図6は、ハイブリッドキャストの端末連携機能におけるsendtextの機能を用いて受信端末装置2からクライアント端末装置3に対して送信されるイベントメッセージのデータの例を示す概略図である。図示するように、このデータは、例えばJSON形式で記述される。JSONは、「JavaScript Object Notation」の略である。図示するデータは、ブロック構造を有する。このデータの第2行目から第16行目までは、「message」というラベルが付いたブロックである。このmessageは、次の2つの要素を持つ。
第1の要素は、「devid」というラベルを持ち、メッセージの送信先の端末のIDのデータを持つ。この「dev」はdeviceの略である。実際には、このメッセージを送信する時点までに、受信端末装置2とクライアント端末装置3との間のペアリングは完了している。つまり、クライアント端末連携制御部263が把握している適切な端末IDが、この「devid」のデータとして設定される。
また、第2の要素は、「sendTextToCompanionDevice」(連携端末へのテキストの送信)というラベルを持つデータである。この「sendTextToCompanionDevice」という要素のさらに下位には、「text」というラベルで示されるブロックが存在する。この「text」は、次の7個の要素を含むものである。第1の要素(第6行目)は、「$type」というラベルを持ち、その値は文字列「event_message」である。つまり、伝送されるデータの種別がイベントメッセージであることを表す。第2の要素(第7行目)は、「$name」というラベルを持ち、その値は文字列「event_message」である。つまり、伝送されるデータの名称がイベントメッセージであることを表す。第3の要素(第8行目)は、「status」というラベルを持ち、その値は数値0である。このデータは、状態を表すものである。第4の要素(第9行目)は、「private_data」というラベルを持ち、その値は、本例では、ヌルストリング(空文字列)である。このデータは、イベントメッセージの内容本体を表すものである。第5の要素(第10行目)は、「message_id」というラベルを持ち、その値は147という数値である。このデータは、伝送される個々のメッセージを識別するためのものである。第6の要素(第11行目)は、「message_version」というラベルを持ち、その値は1という数値である。このデータは、メッセージのバージョンを表す。第7の要素(第12行目)は、「message_group_id」というラベルを持ち、その値は31という数値である。このデータは、メッセージをハンドリングするための、メッセージのグループの識別情報である。例えば上記のprivate_dataが同一であるメッセージが複数回送信される場合に、message_group_idが同一であるか否かで、それら複数回の送信が、同一のメッセージであるか別のメッセージであるかを区別することができる。
なお、予めID(上記の第1の要素($type)、第2の要素($name)、あるいは第5の要素(message_id)など)にメッセージの意味を付与しておくようにしてもよい。一例として、「type=emergency」のときには、クライアント端末装置3側ではメッセージの意味を「praivate_data=emergency」として処理する。これにより、Praivate_dataが空である場合や、何らかの理由でメッセージが欠落した場合にも、イベントの意味を取りこぼさないようにすることができる。
以上説明したように、本手法では、イベントメッセージを、ハイブリッドキャストの端末連携機能におけるsendtextの機能を用いて、受信端末装置2からクライアント端末装置3に配信する。これにより、クライアント端末装置3において、イベントメッセージを利用することが可能となる。
なお、イベントメッセージを受信端末装置2からクライアント端末装置3に伝送する頻度が高いと、イベントメッセージを受信端末装置2やクライアント端末装置3にかかる処理負荷が大きくなりすぎる場合があり得ると考えられる。そこで、次に説明する方法を用いるようにしても良い。
(2)イベント情報(EM)のクライアント端末装置3への伝送(その2)
本手法の基本的な手順等は、前記の「(1)イベント情報(EM)のクライアント端末装置3への伝送-その1」に基づく。ただし、受信端末装置2やクライアント端末装置3の処理負荷を軽減するために、本手法では、受信端末装置2は、重複するイベントメッセージの送信を抑制するための複数のオプション機能を持つ。以下では、第1オプションおよび第2オプションを説明する。システム1の動作として、第1オプションまたは第2オプションのどちらか一方のみを行ってもよいし、第1オプションと第2オプションの両方を行ってもよい。
本手法の基本的な手順等は、前記の「(1)イベント情報(EM)のクライアント端末装置3への伝送-その1」に基づく。ただし、受信端末装置2やクライアント端末装置3の処理負荷を軽減するために、本手法では、受信端末装置2は、重複するイベントメッセージの送信を抑制するための複数のオプション機能を持つ。以下では、第1オプションおよび第2オプションを説明する。システム1の動作として、第1オプションまたは第2オプションのどちらか一方のみを行ってもよいし、第1オプションと第2オプションの両方を行ってもよい。
第1オプションとして、受信端末装置2は、ペアリングしているクライアント端末装置3が存在する時のみに、イベントメッセージを配信するための処理を行う。つまりペアリングしている相手(クライアント端末装置3)がない場合には、イベント処理部282や、ウェブリソース提供部262や、クライアント端末連携制御部263や、受信端末装置2内の他の各部は、イベントメッセージを配信するための処理を行わない。これにより、受信端末装置2側の処理負荷を軽減することが可能である。
第2オプションとして、受信端末装置2は、イベントメッセージを管理することにより、同一のイベントメッセージを同一のクライアント端末装置3に複数回送信してしまわないように、抑制する。具体的な制御の手順としては、次の通りである。即ち、ウェブリソース提供部262は、クライアント端末装置3ごとに、配信したイベントメッセージに関する情報を管理する。具体的には、ウェブリソース提供部262は、特定のイベントメッセージを特定のクライアント端末装置3に配信済みであるか否かを表す真偽値や、その配信回数を表す数値といった情報を、メッセージを識別する情報に関連付けて記憶し、管理する。
そして、ウェブリソース提供部262は、放送信号内に含まれていたイベントメッセージがあったときに、上記の管理している情報に基づいて、そのイベントメッセージを個々のクライアント端末装置3に送信すべきであるか否かを判断する。判断の結果、送信すべきであれば、ウェブリソース提供部262は、そのメッセージを対象のクライアント端末装置3に送信する。送信すべきでない場合には、ウェブリソース提供部262は、そのメッセージを対象のクライアント端末装置3には送信しない。その判断のための手法の例は、次の通りである。即ち、ウェブリソース提供部262は、イベントメッセージを識別する情報(前記の、図6に示した、メッセージID(message_id)やメッセージグループID(message_group_id))に基づいて、特定のメッセージを送出すべきか否かを判断する。
一例として、送信対象となり得るイベントメッセージのメッセージID(message_id)のパラメーター値が前回配信済みのものと異なる場合には、ウェブリソース提供部262は、そのイベントメッセージを、クライアント端末装置3に送信する。メッセージID(message_id)のパラメーター値が前回配信済みのものと同一である場合には、ウェブリソース提供部262は、そのイベントメッセージを、クライアント端末装置3に送信しないようにする。なお、ウェブリソース提供部262は、メッセージID(message_id)の代わりにメッセージグループID(message_group_id)を用いて、同様の判定および配信要否の制御を行うようにしてもよい。
つまり、本手法においては、付随情報は、放送信号から抽出されたイベントメッセージのデータを含む。また、ウェブリソース提供部262は、同一内容の前記イベントメッセージのデータを含むイベント情報を複数回重複して前記クライアント端末装置に対して送信することを抑止する制御を行う。
なお、所定の条件に合致する場合に、ウェブリソース提供部262は、記憶していた上記の管理情報をクリア(初期化)して、再度初期状態からイベントメッセージの送信用日の管理を行うようにしてもよい。
以上説明したように、本手法によれば、受信端末装置2からクライアント端末装置3に対してイベントメッセージを送信する際の、受信端末装置2およびクライアント端末装置3の両方における処理負荷を軽減することが可能となる。
なお、ここまでに記載した手法においては、解決されていない課題が存在する。即ち、上記の各手法では、クライアント端末装置3側での動画再生状況に応じたイベントメッセージの配信を行うことはできない。つまり、例えば、クライアント端末装置3側から受信端末装置2側に対してネット配信動画のデータの再読み込みを要求した場合などに、クライアント端末装置3は、再読み込み後の動画再生の状況に合ったイベントメッセージを受信することができないという問題がある。そこで、次に説明する方法を用いるようにしても良い。
(3)イベント情報(EM)のクライアント端末装置3への伝送(その3、コンテンツに関連付くイベントの制御)
本手法では、前記の課題を解決するために、クライアント端末装置3側での生成制御の状況に基づいて、受信端末装置2側(サーバーサイド)からのイベントメッセージの配信を行う。つまり、本手法では、イベント配信のタイミングを制御する。なお、一例として、スポーツ中継動画の配信における特定イベントに関連する演出の場合を説明する。つまり、本手法では、次のようなオプション機能を可能とする。
本手法では、前記の課題を解決するために、クライアント端末装置3側での生成制御の状況に基づいて、受信端末装置2側(サーバーサイド)からのイベントメッセージの配信を行う。つまり、本手法では、イベント配信のタイミングを制御する。なお、一例として、スポーツ中継動画の配信における特定イベントに関連する演出の場合を説明する。つまり、本手法では、次のようなオプション機能を可能とする。
本手法では、受信端末装置2は、クライアント端末装置3側での動画の再生制御の状況に応じて、イベントメッセージの配信を行う。そのために、受信端末装置2は、ネット配信動画のコンテンツごとに、再生位置と発生するイベントメッセージとの関連を管理する。一例として、サッカー中継におけるゴールの瞬間に視聴端末(クライアント端末装置3)側で所定の演出を行う場合を考える。ゴールの瞬間の演出とは、例えば、LEDライトや効果音等の視覚あるいは聴覚の効果を、クライアント端末装置3側で発生させることである。この場合には、受信端末装置2は、ネット配信動画の再生位置(例えば動画の先頭からの相対時刻(hh時mm分ss秒.nnn等、ただし「nnn」は秒の小数点以下の部分))と特定のイベントメッセージとを、相互に関連付けて管理する。
なお、ネット配信動画に関連付かないイベント(例えば、緊急地震速報等)については、受信端末装置2は、上記の再生位置との関連付けによる管理を行わない。
手順1: クライアント端末装置3は、再生中のネット配信動画(受信端末装置2から提供されたウェブリソース)の再生開始や再生停止(一時停止や、一時停止からのリジューム等を含む)の情報を、前述のsendtextの機能を用いて、受信端末装置2に送信する。ここで、クライアント端末装置3は、ハイブリッドキャストの端末連携機能(図4のステップS115で示した端末連携通信(双方向))を用いて、上記の送信を行う。
なお、上記の手順1においてクライアント端末装置3から受信端末装置2に送信される情報(「動画再生制御情報」と呼ぶ)は、例えば次のようなものである。即ち、動画再生制御情報は、再生開始されたタイミングや、再生停止(一時停止を含む)されたタイミングの情報を含んでよい。また、動画再生情報は、再生開始(再開を含む)されたときの、その動画の再生位置(前記の相対時刻)の情報を含む。また、動画再生情報は、クライアント端末装置3において再生位置が変更された場合(巻き戻しや早送り等)の、新たな再生位置の情報をさらに含んでもよい。
手順2: 受信端末装置2側では、クライアント端末連携制御部263が、クライアント端末装置3から受信した動画再生制御情報(再生開始や、再生停止や、再生位置等の情報)を、ウェブリソース提供部262に伝達する。これにより、ウェブリソース提供部262は、クライアント端末装置3において、ネット配信動画を再生中であるか停止中であるかという情報や、再生位置の情報を把握する。
手順3: そして、ウェブリソース提供部262は、受け取った動画再生制御情報に応じて、クライアント端末装置3側へのイベントメッセージの配信を制御する。つまり、クライアント端末装置3での動画の配信中(再生位置が進行中)に、前記のイベントに関連付けられた再生位置が到来すると、そのタイミングで、ウェブリソース提供部262は、関連付けられたイベントメッセージを、クライアント端末装置3に配信する。
なお、クライアント端末装置3側におけるネット配信動画の再生が停止されたときや再開されたときには、ウェブリソース提供部262は、イベントメッセージを管理するための情報を適宜初期化(クリア)してもよい。また、前記の通り、ウェブリソース提供部262は、クライアント端末装置3側でのそのときの再生位置に基づいて、イベントメッセージを配信する。したがって、例えば、クライアント端末装置3側で巻き戻しの操作(再生位置を過去に遡らせる操作)が行われたなどの場合にも、ウェブリソース提供部262は、適切なタイミングでイベントメッセージを繰り返し送信することもできる。
なお、前述の通り、使い捨てのイベント(例えば、緊急地震速報等)は、配信されるネット動画の再生位置に関連付けられない。このため、ウェブリソース提供部262は、そのような使い捨てのイベントについては、1回だけクライアント端末装置3に配信すれば充分である。即ち、使い捨てのイベントの再送は行われずに済む。
つまり、本手法では、ウェブリソース提供部262は、配信先のクライアント端末装置3におけるウェブリソースの再生位置の情報をクライアント端末装置3から受け取る。また、ウェブリソース提供部262は、受け取った再生位置の情報に基づくタイミングで、そのウェブリソースにおける特定の再生位置に関連付けられたイベント情報を、そのクライアント端末装置3に対して送信する。
上記の通り、本手法によれば、配信されるネット動画等の内容に関連付けられたイベントの、通知のタイミングを制御することが可能となる。また、クライアント端末装置3側で再生位置の変更(巻き戻しや早送り等、いずれもそれが可能な場合)が行われたときにも、適切にイベントメッセージを配信することが可能となる。即ち、イベント送信のタイミングがずれたり、送信されるべきイベントメッセージが送信されないといった事態を避けたり、(早送り等でスキップされたために)送信されるべきではないイベントメッセージが送信されてしまったりといった事態を避けたり、できる。
(4)イベント情報(EM)のクライアント端末装置3への伝送(その4、コンテンツに関連付くイベントの、複数のクライアント端末装置3それぞれにおける制御)
本手法は、上記の、クライアント端末装置3側での再生制御に基づくイベント配信の、さらなる変形例である。本手法では、受信端末装置2は、複数のクライアント端末装置3のそれぞれについて、個別に動画再生制御情報を管理する。
本手法は、上記の、クライアント端末装置3側での再生制御に基づくイベント配信の、さらなる変形例である。本手法では、受信端末装置2は、複数のクライアント端末装置3のそれぞれについて、個別に動画再生制御情報を管理する。
そのために、クライアント端末装置3側からの機器発見および認証等(図4を参照)のリクエストに基づいてペアリングが成立する都度、クライアント端末連携制御部263はウェブリソース提供部262に対して、そのクライアント端末装置3の端末IDを渡す。これにより、受信端末装置2のウェブリソース提供部262は、任意の時点において、ペアリング済みのクライアント端末装置3の端末IDのセットを保持することができる。
そして、ウェブリソース提供部262は、上記の端末IDごと(即ち、ペアリング相手であるクライアント端末装置3ごと)に個別に動画再生制御情報を管理する。そして、ウェブリソース提供部262は、この端末IDごとに個別の動画再生制御情報に基づいて、イベントメッセージを、個々のクライアント端末装置3に対して送信することができる。また、ウェブリソース提供部262は、端末IDごとに個別に、どのイベントメッセージ(メッセージIDやメッセージグループIDで識別される)を送信済みであるかを管理し、その管理状況に基づいてイベントメッセージを送信することができる。
つまり、本手法では、ウェブリソース提供部262は、複数の前記クライアント端末装置3をそれぞれ識別する。ウェブリソース提供部262は、それぞれのクライアント端末装置3から受け取った再生位置の情報に基づくタイミングで、ウェブリソースにおける特定の再生位置に関連付けられたイベント情報を、複数のクライアント端末装置3のそれぞれに対して送信する。
つまり、本手法を用いる受信端末装置2は、複数のクライアント端末装置3に対してそれぞれウェブリソースとしての動画を配信している場合にも、各々のクライアント端末装置3に固有の状況(再生位置等)に応じて、イベントメッセージを配信することが可能となる。
(5)イベント情報(EM)のクライアント端末装置3への伝送(その5、クライアント端末装置3側でのメッセージ重複のハンドリング)
本手法では、既に説明した手法とは異なった方法で、重複メッセージが何度も配信されないようにするための制御を行う。具体的には、前述の「(2)イベント情報(EM)のクライアント端末装置3への伝送-その2」の手法では、受信端末装置2側(サーバー側)で、重複メッセージを1回だけ配信するための制御を行った。本手法では、その制御を受信端末装置2側では行わず、同様の制御をクライアント端末装置3側で行うようにする。
本手法では、既に説明した手法とは異なった方法で、重複メッセージが何度も配信されないようにするための制御を行う。具体的には、前述の「(2)イベント情報(EM)のクライアント端末装置3への伝送-その2」の手法では、受信端末装置2側(サーバー側)で、重複メッセージを1回だけ配信するための制御を行った。本手法では、その制御を受信端末装置2側では行わず、同様の制御をクライアント端末装置3側で行うようにする。
本手法におけるクライアント端末装置3による処理は、次の通りである。即ち、クライアント端末装置3は、端末間連携通信により、受信端末装置2からイベントメッセージを受信する。クライアント端末装置3が受信するイベントメッセージは、図6を参照しながら説明したように、メッセージIDとメッセージグループIDとを持っている。クライアント端末装置3は、受信したイベントメッセージのメッセージIDおよびメッセージグループIDを記録し、管理する。クライアント端末装置3は、管理されている情報に基づいてイベントメッセージの重複を管理する。つまり、メッセージIDおよびメッセージグループIDのいずれか一方または両方(識別情報と呼ぶ)を用いて、イベントメッセージを識別する。クライアント端末装置3は、受信したイベントメッセージの識別情報が、それまでに受信済みのイベントメッセージの識別情報と一致するか否かを確認する。受信したイベントメッセージの識別情報が既に受信済みのイベントメッセージの識別情報と一致しない場合には、クライアント端末装置3は、そのイベントメッセージの内容に応じた処理(例えば、イベント内容(サッカーにおけるゴール等)に応じた演出の処理)を実行する。受信したイベントメッセージの識別情報が受信済み(処理済み)の識別情報と一致する場合には、クライアント端末装置3は、今回はそのイベントメッセージについて何も処理をしない。言い換えれば、クライアント端末装置3は、そのイベントメッセージを読み飛ばす。
以上説明したように、本手法では、クライアント端末装置3は、受信したイベント情報が持つ識別情報に基づいて、そのイベント情報が処理済みであるか否かを判定し、既に処理済みであるイベント情報についての処理を抑止する制御を行う。このような、クライアント端末装置3側での識別情報に基づいた制御によって、同一のイベントを複数回処理しないようにすることができる。
なお、ここまでで説明した(1)から(5)までの手法では、受信端末装置2が、映像あるいは音声を受信してクライアント端末装置3に対して提供するか否かに関わらず、イベント情報をクライアント端末装置3に配信することができる。即ち、映像や音声の有無に関わらず、受信端末装置2は、放送信号に含まれるイベントメッセージを受信し、そのイベントメッセージをクライアント端末装置3に配信できる。
(6)MTEによるイベント情報の伝送
本手法では、MTEによりイベント情報を受信端末装置2からクライアント端末装置3に配信する。
本手法では、MTEによりイベント情報を受信端末装置2からクライアント端末装置3に配信する。
具体的には、次の通りである。受信端末装置2が受信した放送信号から抽出された映像や音声のデータを、トランスコード部261は、ネット動画配信用のフォーマットに変換する。ネット動画配信用のフォーマットは、例えばMPEG-DASH等である。トランスコード部261は、生成したネット動画配信用のフォーマットのデータを、イベント処理部282を経由して、ウェブリソース提供部262に渡す。
一方で、受信端末装置2がイベントメッセージを受信すると、イベント処理部282はそのイベントメッセージを取得する。イベント処理部282は、イベントメッセージの情報をMTEのデータに変換するとともに、トランスコード部261から渡される上記のネット動画用のコンテンツのデータに上記MTEを挿入する。このように、MTEが挿入されたネット動画配信用のコンテンツのデータは、ウェブリソース提供部262で管理される。ウェブリソース提供部262は、クライアント端末装置3からの要求に応じて、MTEが挿入されているネット動画配信用のコンテンツのデータを、クライアント端末装置3に配信する。
図7は、イベント処理部282がネット配信用の動画コンテンツに挿入するMTEの例を示す概略図である。図示するように、MTEは、例えばJSON形式で記述される。同図に示す第1行目から第15行目までは、1つのMTEである。このMTEは、「scheme_id_url」(第2行目、スキームID URL、識別子)、「value」(第3行目、値)、「event_id」(第4行目、イベントID)、「presentation_delta」(第5行目、プレゼンテーションデルタ)、「time_scale」(第6行目、タイムスケール)、「presentation_delta」(第7行目、プレゼンテーションデルタ)、「event_duration」(第8行目、イベント持続期間)のそれぞれのデータを持つ。また、このMTEは、第9行目から第14行目までに記述されるメッセージデータ(message_data)を持つ。このメッセージデータは、コンポーネントタグ("component_tag"、値は"0x40")と、メッセージグループID("message_group_id"、値は0)と、メッセージID("message_id"、値は170)と、メッセージバージョン("message_version"、値は1)と、プライベートデータ("private_data"、値は"event msg"という文字列)とを含むものである。このメッセージデータが、イベントの内容を表す情報である。
本手法では、受信端末装置2は、イベントの情報を、ネット配信動画に挿入されたMTEとしてクライアント端末装置3に配信する。つまり、イベントの情報は、動画内の特定の再生位置に挿入される。
具体的には、本手法では、イベント処理部282は、イベント情報を、メディアタイムドイベント(MTE)として生成する。イベント処理部282は、生成したメディアタイムドイベントを、トランスコード部261が出力したウェブリソースに挿入する。ウェブリソース提供部262は、メディアタイムドイベントが挿入されたウェブリソースを、クライアント端末装置3に対して送信する。これにより、クライアント端末装置3は、イベントのタイミングを、配信されるネット動画内の再生位置と関連付けて把握することができる。即ち、クライアント端末装置3は、ネット配信動画内の所定の位置と同期する形でそのイベントについての処理を、容易に行うことができる。
(7)字幕データをイベント情報として配信
図2を参照しながら説明した通り、受信端末装置2が放送信号として受信するリソースの一つは、字幕のリソースである。デジタル字幕データについては、ARIB標準でも規定されている。本手法では、受信端末装置2は、字幕のデータを含むイベント情報を、クライアント端末装置3に配信する。
図2を参照しながら説明した通り、受信端末装置2が放送信号として受信するリソースの一つは、字幕のリソースである。デジタル字幕データについては、ARIB標準でも規定されている。本手法では、受信端末装置2は、字幕のデータを含むイベント情報を、クライアント端末装置3に配信する。
具体的な処理は、次の通りである。受信端末装置2の字幕デコーダー部214は、放送信号から抽出された字幕リソースをデコードする。字幕デコーダー部214は、デコード処理の結果である字幕データを、イベント処理部282に渡す。イベント処理部282は、その字幕データを含むMTEのデータを生成し、そのMTEをネット配信動画のコンテンツに挿入する。MTEをネット配信動画に挿入する処理については、前の「(6)MTEによるイベント情報の伝送」においても説明した通りである。イベント処理部282は、MTEを挿入したネット配信動画のデータを、ウェブリソース提供部262に渡す。ウェブリソース提供部262は、そのネット配信動画を管理するとともに、クライアント端末装置3に配信する。
これにより、クライアント端末装置3は、字幕データを含むMTEが挿入されたネット配信動画コンテンツを、受信端末装置2から受信することができる。つまり、クライアント端末装置3は、ネット配信動画に挿入されたMTEから、字幕データを取り出して利用することができる。
図8は、字幕データをイベントとして挿入したMTEの例を示す概略図である。MTEは、例えばJSON形式で記述される。同図に示す第1行目から第15行目までは、1つのMTEである。図7の場合と同様に、このMTEは、「scheme_id_url」、「value」、「event_id、「presentation_delta」、「time_scale」、「presentation_delta」、「event_duration」のそれぞれのデータを持つ。また、このMTEは、第9行目から第14行目までに記述されるメッセージデータ(message_data)を持つ。
このメッセージデータは、第10行目のコンテンツ識別情報("content")、第11行目のテキスト("text")、第12行目の開始日時("startTime")、第13行目の終了日時("endTime")のそれぞれのデータを含む。コンテンツ識別情報は、字幕テキストが挿入される対象となるコンテンツを識別する情報である。コンテンツ識別情報は、例えば、サービスを識別する情報であってよい。コンテンツ識別情報は、一例として、32736という数値である。テキストは、放送信号から抽出された字幕のテキストである。テキストは、一例として、「分かった。僕に任せて。」というものである。開始日時は、当該字幕テキストの提示開始の日時のデータである。図示する例では、開始日時は、日本時間の2020年08月07日12時58分37秒である。終了日時は、当該字幕テキストの提示終了の日時のデータである。図示する例では、終了日時は、日本時間の2020年08月07日12時58分42秒である。
つまり、本手法において字幕情報を挿入したメッセージデータは、コンテンツを識別する情報と、字幕のテキストと、その字幕の提示タイミング(開始および終了の日時)の情報を含む。
つまり、本手法では、イベント処理部282が生成するメディアタイムドイベントは、放送信号から抽出された字幕を、付随情報として含むものである。
なお、字幕テキストをMTEに格納する形で受信端末装置2からクライアント端末装置3に配信する代わりに、ハイブリッドキャストの端末連携機能におけるsendtextの機能を用いて受信端末装置2が字幕テキストのデータをクライアント端末装置3に配信するようにしてもよい。
本手法により、放送信号に含まれていた字幕テキストのデータを、受信端末装置2は、イベント情報として、クライアント端末装置3に送信することができる。
(8)字幕データをイベント情報として配信する際のオプション(その1)
上で説明した手法では字幕データをイベント情報として、受信端末装置2からクライアント端末装置3に配信した。本手法では、そのオプションとして、受信端末装置2が受信した放送信号から抽出された、字幕データ以外の放送リソースを、イベント情報として挿入してクライアント端末装置3に配信する。本手法でイベント情報に含められる放送リソースは、例えば、文字スーパー、SI(サービス情報)、AIT(ハイブリッドキャストのアプリケーション情報テーブル)、BML(BMLで記述されたデータ放送コンテンツ)等である。
上で説明した手法では字幕データをイベント情報として、受信端末装置2からクライアント端末装置3に配信した。本手法では、そのオプションとして、受信端末装置2が受信した放送信号から抽出された、字幕データ以外の放送リソースを、イベント情報として挿入してクライアント端末装置3に配信する。本手法でイベント情報に含められる放送リソースは、例えば、文字スーパー、SI(サービス情報)、AIT(ハイブリッドキャストのアプリケーション情報テーブル)、BML(BMLで記述されたデータ放送コンテンツ)等である。
つまり、本手法では、イベント処理部282が生成するメディアタイムドイベントは、放送信号から抽出された文字スーパーと、アプリケーション情報テーブル(AIT)と、サービス情報(SI)と、データ放送コンテンツと、のいずれか、を前記付随情報として含むものである。
なお、本手法において、受信端末装置2は、上記のイベント情報を、MTEとしてクライアント端末装置3に配信してもよいし、ハイブリッドキャストの端末連携機能におけるsendtextの機能を用いてクライアント端末装置3に配信してもよい。
(9)字幕データをイベント情報として配信する際のオプション(その2)
本手法は、字幕データをイベント情報として受信端末装置2からクライアント端末装置3に配信する手法の、さらなるオプションである。本手法では、MTE内のメッセージデータ(message_data)の領域(図8の、第9行目から第14行目まで)に、URLを含めるようにする。具体的には、例えば、図8に示すデータにおける「message_data」で示されるブロック内に、URLを記述するための要素(例えば「url」等のラベルを使用)を設けるようにする。
本手法は、字幕データをイベント情報として受信端末装置2からクライアント端末装置3に配信する手法の、さらなるオプションである。本手法では、MTE内のメッセージデータ(message_data)の領域(図8の、第9行目から第14行目まで)に、URLを含めるようにする。具体的には、例えば、図8に示すデータにおける「message_data」で示されるブロック内に、URLを記述するための要素(例えば「url」等のラベルを使用)を設けるようにする。
上記のURLは、例えば、外部のサーバー装置内の場所や、受信端末装置2自身内の場所を示すものであってよい。上記のURLが、字幕テキストが格納された場所を指し示すものであってもよいし、他の任意のデータが格納された場所を示すものであってもよい。
本手法を用いると、例えばMTEのデータのサイズに上限がある場合であっても、その上限を超えるサイズのデータにアクセスするための情報を、MTEによって受信端末装置2からクライアント端末装置3に伝えることが可能となる。言い換えれば、MTEのサイズの上限を超えるデータを、本手法によって補完することが可能となる。
(10)MTEを配信する受信端末装置2側での処理オプション(その1)
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2がイベントの重複を回避する。
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2がイベントの重複を回避する。
具体的には、受信端末装置2のイベント処理部282は、放送信号に含まれる受信するイベントメッセージを適切に識別する。イベント処理部282は、イベント識別情報やイベントの内容等に基づいて、受信したイベントメッセージが、処理済み(配信済み)のイベントメッセージと同一のイベントを表すものであるか否かを判定する。未処理のイベントメッセージである場合には、イベント処理部282は、通常通りにそのイベントメッセージに対応するMTEを生成し、ネット配信動画のコンテンツに挿入する。処理済みのイベントメッセージである場合には、イベント処理部282は、そのイベントメッセージに基づくMTEの生成および挿入を抑止する。
本手法により、同一の内容のイベントは、一度だけ、受信端末装置2からクライアント端末装置3に配信される。つまり、同一のイベントが重複してクライアント端末装置3に配信されることを避けることができる。
(11)MTEを配信する受信端末装置2側での処理オプション(その2)
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2が1つのイベントを繰り返して1つのクライアント端末装置3に配信することを可能とする。
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2が1つのイベントを繰り返して1つのクライアント端末装置3に配信することを可能とする。
具体的には、受信端末装置2のイベント処理部282は、放送信号に含まれる受信するイベントメッセージの内容に応じたランク付けを行う。このランク付けは、例えば、イベントの重要度を表すものである。イベント処理部282は、イベントメッセージに基づいてMTEを作成し、ネット配信動画に挿入する。ただし、イベント処理部282は、所定のランクのイベントメッセージについては、そのイベントを表すMTEを、複数回繰り返してネット配信動画に挿入するようにする。これにより、受信端末装置2は、所定のランク付けがされたイベントに関しては、その内容を表すMTEを複数回繰り返してクライアント端末装置3に配信することとなる。
本手法によれば、例えば通信ネットワークの輻輳やその他の通信エラーなどが生じる際にも、そのイベントをクライアント端末装置3に伝達することのできる確実性が高まる。つまり、一例として緊急地震速報などの重要なイベントを、より確実にクライアント端末装置3に伝えることが可能となる。
(12)MTEを配信する受信端末装置2側での処理オプション(その3)
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2のウェブリソース提供部262が、MTEのパース機能を持つ。これにより、ウェブリソース提供部262は、イベント処理部282が挿入したMTEの情報を管理する必要がない。
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2のウェブリソース提供部262が、MTEのパース機能を持つ。これにより、ウェブリソース提供部262は、イベント処理部282が挿入したMTEの情報を管理する必要がない。
(13)MTEを配信する受信端末装置2側での処理オプション(その4)
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2のイベント処理部282は、特定のクライアント端末装置3のみに対してMTEを配信する。
本手法は、イベント情報をMTEとして配信する受信端末装置2側での処理オプションの1つである。本手法では、受信端末装置2のイベント処理部282は、特定のクライアント端末装置3のみに対してMTEを配信する。
具体的には、受信端末装置2のイベント処理部282は、イベントを配信する先のクライアント端末装置3を識別する情報(端末ID、コンパニオンID)を、"scheme_id_url"の値としてMTEに設定する。これにより、ウェブリソース提供部262は、上記の"scheme_id_url"で指定されるクライアント端末装置3のみに対して、MTEを配信することとなる。本手法により、MTEを配信する先を、特定のクライアント端末装置3のみに絞ることが可能となる。なお、識別する情報を、図7の第9行目“message_data”の箇所に記載してもよい。
なお、上記の"scheme_id_url"は、図7に示したMTEの第2行目や図8に示したMTEの第2行目の要素である。
(14)MTEの配信を受けるクライアント端末装置3側での処理オプション
本手法は、MTEとしてのイベント情報の配信を受けるクライアント端末装置3側での処理オプションの1つである。本手法では、クライアント端末装置3側の処理として、イベントの重複を回避する。
本手法は、MTEとしてのイベント情報の配信を受けるクライアント端末装置3側での処理オプションの1つである。本手法では、クライアント端末装置3側の処理として、イベントの重複を回避する。
具体的には、クライアント端末装置3の受信端末連携制御部363は、受信したMTEをハンドリングする。受信端末連携制御部363は、受信したMTEに含まれる内容(識別情報やイベント内容を表す情報等)に基づいて、受信したイベントが、前に受信済み(処理済み)のイベントと同一のものであるか否かを判定する。
未処理のイベントである場合には、受信端末連携制御部363は、通常通りにそのイベントに応じた処理(例えば、ネット配信の動画コンテンツの内容に合った、LEDライト等の演出等)を実行するよう、クライアント端末装置3を制御する。
処理済みのイベントである場合には、受信端末連携制御部363は、ここで受信したMTEに基づく演出等の処理を行わない。即ち、クライアント端末装置3は、そのMTEを読み飛ばす。
本手法により、同一の内容のイベントがMTEとして複数回配信されても、配信を受けるクライアント端末装置3は、一度だけ、そのイベントに対応する処理を行うようにすることができる。即ち、イベントの重複を避けることができる。
(15)MTEに関する処理オプション
本手法は、MTEのハンドリングについての処理オプションの1つである。本手法では、複数の"scheme_id_url"を使い分けて、MTEの振り分けなどのハンドリングを行う。
本手法は、MTEのハンドリングについての処理オプションの1つである。本手法では、複数の"scheme_id_url"を使い分けて、MTEの振り分けなどのハンドリングを行う。
具体的には、受信端末装置2のイベント処理部282は、放送信号から抽出されたイベントの情報に基づいてMTEを生成する際に、MTEの種別に応じて異なる"scheme_id_url"の値を、MTE内に設定する。
図9は、種別(用途等)に応じて使い分けられる"scheme_id_url"(識別子)の一覧の例である。図示する例では、識別子は、まず複数のカテゴリーの分類に対応する。ここでのカテゴリーの例は、EM(イベントメッセージ)、字幕、文字スーパー、汎用といったものである。これらのうち、「EM」は、さらに複数の用途に分けられる。即ち、「EM」は、人名に関わる緊急の情報、演出、パーソナライズコンテンツなどといった用途を含む。また、「字幕」のカテゴリーは、字幕情報という用途に対応する。「文字スーパー」のカテゴリーは、ニュース、選挙情報という用途に対応する。「汎用」のカテゴリーは、汎用という用途に対応する。そして、ここに挙げたそれぞれの用途が、個別の識別子を有する。
即ち、用途「人命にかかわる緊急の情報」の識別子は「urn:scte:scte35:2013:emg」である。用途「演出」の識別子は「urn:scte:scte35:2013:pro」である。用途「パーソナライズコンテンツ」の識別子は「urn:scte:scte35:2013:personal」である。用途「字幕情報」の識別子は「urn:scte:scte35:2013:text」である。用途「ニュース、選挙情報」の識別子は「urn:scte:scte35:2013:news」である。用途「汎用」の識別子は「urn:scte:scte35:2013:general」である。なお、ここで図示したカテゴリー、用途、および識別子("scheme_id_url")の対応関係は、あくまでも例に過ぎない。代わりに、カテゴリー、用途、および識別子の他の組合せを用いてもよい。
つまり、本手法では、受信端末装置2側において、MTEの用途に応じた識別子("scheme_id_url")をMTE内に設定する。受信端末装置2は、そのMTEをクライアント端末装置3に配信する。配信先のクライアント端末装置3は、1台の装置であってもよいし、複数台の装置であってもよい。このMTEを受信したクライアント端末装置3内の受信端末連携制御部363は、MTE内に設定された識別子を参照することによって、MTEを複数の機能部に振り分けたり、特定の識別子を有するMTEのみを処理対象としたり、MTEの優先度付けを行って処理順序を制御したりする。
以上説明したように、本手法では、受信端末装置2は、MTEごとに異なる識別子を付与することができる。識別子は、例えば、用途を表す。ただし、識別子を、用途以外のものに対応する情報として用いてもよい。MTEの配信を受けたクライアント端末装置3は、識別子に基づいて、MTEを振り分けたり、MTEの処理優先順を制御したりすることができる。つまり、本手法を用いるシステム1は、MTEに関して多様なハンドリングを行うことが可能となる。
(16)解析によるメタデータの取得と、メタデータのクライアント端末装置3への配信
本手法では、受信端末装置2は、放送信号として受信した映像や音声のコンテンツを解析して、その解析結果をメタデータとして管理するとともに、そのメタデータをクライアント端末装置3に配信する。
本手法では、受信端末装置2は、放送信号として受信した映像や音声のコンテンツを解析して、その解析結果をメタデータとして管理するとともに、そのメタデータをクライアント端末装置3に配信する。
具体的には、受信端末装置2のデータ解析部281は、放送信号から抽出された映像や音声を解析する。データ解析部281が映像や音声を解析するために用いる技術自体は、既存の技術である。データ解析部281は、その解析結果のデータを、放送された映像や音声に関するメタデータとして管理する。なお、データ解析部281は、メタデータを、必要に応じて、映像や音声の再生位置(例えば、コンテンツの先頭をゼロとする相対時刻)に関連付けて管理する。
データ解析部281は、例えば、映像を解析して、(顔認識等の技術を用いて)映像に登場する人物を特定(出演者名、役者名、役名等を特定)し、人物を特定した情報をメタデータとして管理する。また、データ解析部281は、映像を解析して、(物体を認識する技術等を用いて)映像内に含まれる物体を特定し、物体を特定した情報をメタデータとして管理する。また、データ解析部281は、文字スーパーのリソースを解析して、(文字認識等の技術を用いて)文字スーパーの画像(映像)内に含まれる文字の情報(語等)を、メタデータとして管理する。また、データ解析部281は、音声を解析して、音声認識等の技術を用いて発話内容(セリフなど)のテキストをメタデータとして管理したり、音響特徴に基づく話者特定の技術を用いて話者を特定した結果をメタデータとして管理したりする。
データ解析部281は、管理するメタデータの一部または全部を、ウェブリソース提供部262に渡す。ウェブリソース提供部262は、ハイブリッドキャストの端末連携機能における双方向の端末連携通信の機能を用いて、データ解析部281から受け取ったメタデータを、クライアント端末装置3に配信することができる。ここで用いる端末連携通信の機能は、図4のステップS115で示した機能である。受信端末装置2は、ハイブリッドキャストの端末連携機能におけるsendtextの機能を用いて、上記の端末連携通信により、メタデータをクライアント端末装置3に送ることができる。つまり、本手法によると、受信端末装置2が受信した放送の映像や音声に関するメタデータを、受信端末装置2からクライアント端末装置3に伝送することができる。
なお、本手法において、データ解析部281が管理するメタデータのすべてを必ずしもクライアント端末装置3に配信する必要はない。データ解析部281やウェブリソース提供部262などが適宜選択したメタデータを、クライアント端末装置3に配信するようにしてもよい。
また、本手法において、受信端末装置2は、必ずしも、映像や音声のリソースをクライアント端末装置3に配信しなくてもよい。また、クライアント端末装置3は、必ずしも、映像や音声をデコードして再生する機能を持っていなくてもよい。このような場合にも、本手法を用いることにより、映像や音声に関するメタデータを、受信端末装置2からクライアント端末装置3に配信することができる。言い換えれば、映像や音声を再生する機能を持たないクライアント端末装置3に対しても、映像や音声に関するメタデータを、受信端末装置2から配信することができる。
(17)MTEによる、メタデータのクライアント端末装置3への配信
上で説明した手法では、データ解析部281が生成したメタデータを、ハイブリッドキャストの端末連携機能における連携端末通信(sendtext)の機能を用いてクライアント端末装置3に配信した。代わりに、本手法では、MTEのデータにメタデータを格納して、受信端末装置2からクライアント端末装置3に配信する。
上で説明した手法では、データ解析部281が生成したメタデータを、ハイブリッドキャストの端末連携機能における連携端末通信(sendtext)の機能を用いてクライアント端末装置3に配信した。代わりに、本手法では、MTEのデータにメタデータを格納して、受信端末装置2からクライアント端末装置3に配信する。
具体的には、次の通りである。データ解析部281は、既に説明した方法により、映像や音声等のリソースに関連するメタデータを生成し、管理する。データ解析部281は、管理するメタデータのうちの必要なデータを、イベント処理部282に渡す。イベント処理部282は、データ解析部281から渡されたメタデータを用いてMTEを作成することができる。イベント処理部282は、トランスコード部261から渡される映像等(ネット配信動画)に、ここで作成したMTEを挿入する。イベント処理部282は、MTEを挿入したネット配信動画を、ウェブリソース提供部262に渡す。ウェブリソース提供部262は、クライアント端末装置3からの要求等に応じて、MTEが挿入されているネット配信動画を、クライアント端末装置3に配信する。このようにして、クライアント端末装置3は、MTE内に格納されているメタデータを取得することができる。
本手法では、メタデータがMTEに埋め込まれている。したがって、ネット配信動画の特定の再生位置とメタデータとの間の同期をとりやすい。
(18)メタデータ(解析結果)の精度の向上(その1)
本手法は、上の(16)および(17)の手法として説明したデータ解析の処理のうちの、字幕の精度を向上させるものである。
本手法は、上の(16)および(17)の手法として説明したデータ解析の処理のうちの、字幕の精度を向上させるものである。
具体的には、受信端末装置2のデータ解析部281は、放送信号から抽出された字幕のデータ(ARIB字幕)を取得する。また、データ解析部281は、前述の通り、放送信号から抽出された音声を解析(音声認識処理)して、音声認識結果のテキストを取得する。なお、データ解析部281は、音声認識結果のテキストを、元の音声の再生位置(コンテンツ内の相対時刻)と関連付けて管理するようにする。上記のARIB字幕データのテキストと音声認識結果のテキストとは、完全一致はしないかもしれないが、相関関係を有する。したがって、データ解析部281は、ARIB字幕データのテキストと音声認識結果のテキストとの間のマッチング(アラインメント)を行うことができる。これにより、データ解析部281は、字幕データに、対応する音声認識結果に関連付けられた時刻(再生位置)の情報を付与することができる。
この情報を利用して、データ解析部281は、ARIB字幕データに基づくウェブプラットフォーム用のTTMLファイルを生成する。なお、TTMLは、「Timed Text Markup Language」(時刻が付与されたテキストのマークアップ言語)の略である。データ解析部281が生成するTTMLファイルは、ARIB字幕データに基づくテキストを含むものである。また、そのTTMLファイルは、そのテキストの断片ごとに付与された時刻(コンテンツ内の相対時刻。再生位置。)の情報を含むものである。なお、TTMLファイルのデータの形式自体は、標準化されている。
つまり、本手法では、データ解析部281は、放送信号から抽出された音声リソースを解析した結果である音声解析結果と、放送信号から抽出された字幕と、をマッチングする。データ解析部281は、マッチングによって得られる再生位置に前記字幕を関連付ける。そして、イベント処理部282は、再生位置に関連付けられた字幕を含むメディアタイムドイベントを、ウェブリソースに挿入する。
本手法では、上記の通り、字幕テキストの時刻精度が向上している。また、そのように精度の向上した字幕テキストのデータを、時刻情報と関連付けて、受信端末装置2からクライアント端末装置3に配信することが可能となる。クライアント端末装置3側では、再生する映像と、字幕テキストの提示のタイミングとを同期させることも可能となる。
(19)メタデータ(解析結果)の精度の向上(その2)
本手法は、上の(16)および(17)の手法として説明したデータ解析の処理のうちの、映像解析の結果の精度をさらに向上させるものである。
本手法は、上の(16)および(17)の手法として説明したデータ解析の処理のうちの、映像解析の結果の精度をさらに向上させるものである。
具体的には、受信端末装置2のデータ解析部281は、前述の通り、放送信号から抽出された映像を解析して、人物を特定する情報を求めたり、物体を特定する情報を求めたり、文字スーパーに含まれる文字を認識(特定)したりする。データ解析部281は、これらの映像等の解析結果を、メタデータとして記憶し、管理する。データ解析部281は、本手法では、一方で、受信した放送信号から抽出された番組情報(EPG-APIなどのデータ)などから、当該放送番組の概略や、出演者名や、ロケ地などの情報を取得する。データ解析部281は、さらに外部のウェブサーバー装置などから、一般に公開されている当該放送番組に関連する情報を取得してもよい。
データ解析部281は、映像解析の結果として取得したメタデータが含む各データ項目に、番組情報(EPG)から取得した情報を、キーワードマッチングや概念マッチングの方法等を用いて関連付ける。さらに、データ解析部281は、映像解析の結果として取得したメタデータが含む各データ項目に、外部のウェブサーバー装置などから取得した情報を、キーワードマッチングや概念マッチングの方法等を用いて関連付ける。このように、データ解析部281は、映像解析に基づいて生成したメタデータの、情報を充実させる。言い換えれば、データ解析部281は、メタデータを高度化する。
受信端末装置2は、データ解析部281が高度化したメタデータを、既に述べた方法でイベント情報の中に含めて、クライアント端末装置3側に配信することができる。この場合、受信端末装置2は、イベント情報を、ハイブリッドキャストの端末連携機能における端末連携通信(図4のステップS115)でクライアント端末装置3側に送信してもよいし、MTEとしてクライアント端末装置3側に送信してもよい。このようにして、クライアント端末装置3は、高度化されたメタデータを取得することができる。
つまり、本手法では、データ解析部281は、放送信号から抽出された映像リソースを解析した結果である映像解析結果と、放送信号から抽出された番組情報または外部のウェブサーバー装置から情報と、を関連付ける。データ解析部281は、ここで関連付けて得られたメタデータ(上記の高度化されたメタデータ)を生成する。イベント処理部282は、データ解析部281が生成したメタデータ(高度化されたメタデータ)を含むメディアタイムドイベントを、ウェブリソースに挿入する。
図10は、本実施形態におけるシステム1を構成する各装置(受信端末装置2、クライアント端末装置3、およびその他の必要なサーバー装置等)の内部構成の例を示すブロック図である。各装置は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置901と、RAM902と、入出力ポート903と、入出力デバイス904や905等と、バス906と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置901は、RAM902等から読み込んだプログラムに含まれる命令を実行する。中央処理装置901は、各命令にしたがって、RAM902にデータを書き込んだり、RAM902からデータを読み出したり、算術演算や論理演算を行ったりする。RAM902は、データやプログラムを記憶する。RAM902に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、RAMは、「ランダムアクセスメモリー」の略である。入出力ポート903は、中央処理装置901が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス904や905は、入出力デバイスである。入出力デバイス904や905は、入出力ポート903を介して中央処理装置901との間でデータをやりとりする。バス906は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置901は、バス906を介してRAM902のデータを読んだり書いたりする。また、例えば、中央処理装置901は、バス906を介して入出力ポートにアクセスする。
なお、各装置の少なくとも一部の機能をコンピューターで実現する場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行する。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM、DVD-ROM、USBメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の(non-transitory)コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上説明したように、本実施形態では、クライアント端末装置3は、受信端末装置2と連携する。クライアント端末装置3は、受信端末装置2が受信した放送信号から抽出されたリソースに基づく、映像あるいは音声の少なくともいずれかに付随する付随情報を含むイベント情報を、受信端末装置2から受信する。
なお、クライアント端末装置3において、上で説明したように、受信端末連携制御部363が、受信端末装置2との間での端末連携通信によって、前記イベント情報を受信するものであってよい。また、クライアント端末装置3では、上で説明したように、アプリケーションエンジン352において稼働するウェブアプリケーションがウェブリソースを受信する。クライアント端末装置3は、受信するウェブリソースに含まれるメディアタイムドイベント(MTE)として、イベント情報を受信するものであってもよい。
[変形例]
上で説明した実施形態では、受信端末装置2は、トランスコード部261を備えていた。このトランスコード部261は、映像あるいは音声の少なくともいずれかをトランスコードし、ウェブリソースとして提供していた。そして、受信端末装置2は、この映像や音声のウェブリソースを、クライアント端末装置3に送信していた。受信端末装置2が放送信号に基づくイベント情報をクライアント端末装置3に送信するためには、必ずしも受信端末装置2はトランスコード部261を備える必要はない。例えば、ハイブリッドキャストの端末連携機能におけるsendtextの機能でEM(イベントメッセージ)を受信端末装置2からクライアント端末装置3に送信する場合に、映像あるいは音声のウェブリソースは必要ではない。つまり、受信端末装置2が、映像や音声をトランスコードするためのトランスコード部261を備えない形態も可能である。
上で説明した実施形態では、受信端末装置2は、トランスコード部261を備えていた。このトランスコード部261は、映像あるいは音声の少なくともいずれかをトランスコードし、ウェブリソースとして提供していた。そして、受信端末装置2は、この映像や音声のウェブリソースを、クライアント端末装置3に送信していた。受信端末装置2が放送信号に基づくイベント情報をクライアント端末装置3に送信するためには、必ずしも受信端末装置2はトランスコード部261を備える必要はない。例えば、ハイブリッドキャストの端末連携機能におけるsendtextの機能でEM(イベントメッセージ)を受信端末装置2からクライアント端末装置3に送信する場合に、映像あるいは音声のウェブリソースは必要ではない。つまり、受信端末装置2が、映像や音声をトランスコードするためのトランスコード部261を備えない形態も可能である。
以上、この発明の実施形態(変形例を含む)について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明は、例えば、映像等のコンテンツを提供する産業、およびそのための機器類を製造あるいは販売等する産業等に利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
1 システム
2 受信端末装置(受信装置)
3 クライアント端末装置
4 アンテナ
8 ルーター
201 チューナー部(受信部)
202 デスクランブラー
203 デマルチプレクサー
211 データ放送処理部
212 映像デコーダー部
213 音声デコーダー部
214 字幕デコーダー部
221 データ放送エンジン
231 通信部
232 ストリーミング受信部
233 デマルチプレクサー
242 映像デコーダー部
243 音声デコーダー部
244 字幕デコーダー部
251 アプリケーション制御部
252 アプリケーションエンジン
253 アプリケーションロンチャー
261 トランスコード部
262 ウェブリソース提供部
263 クライアント端末連携制御部
271 映像出力部
272 音声出力部
281 データ解析部
282 イベント処理部
331 通信部
352 アプリケーションエンジン
353 アプリケーションロンチャー
363 受信端末連携制御部
901 中央処理装置
902 RAM
903 入出力ポート
904,905 入出力デバイス
906 バス
2 受信端末装置(受信装置)
3 クライアント端末装置
4 アンテナ
8 ルーター
201 チューナー部(受信部)
202 デスクランブラー
203 デマルチプレクサー
211 データ放送処理部
212 映像デコーダー部
213 音声デコーダー部
214 字幕デコーダー部
221 データ放送エンジン
231 通信部
232 ストリーミング受信部
233 デマルチプレクサー
242 映像デコーダー部
243 音声デコーダー部
244 字幕デコーダー部
251 アプリケーション制御部
252 アプリケーションエンジン
253 アプリケーションロンチャー
261 トランスコード部
262 ウェブリソース提供部
263 クライアント端末連携制御部
271 映像出力部
272 音声出力部
281 データ解析部
282 イベント処理部
331 通信部
352 アプリケーションエンジン
353 アプリケーションロンチャー
363 受信端末連携制御部
901 中央処理装置
902 RAM
903 入出力ポート
904,905 入出力デバイス
906 バス
Claims (18)
- 放送信号を受信する受信部と、
前記放送信号から抽出されたリソースに基づくイベント情報を生成するイベント処理部と、
前記イベント処理部が生成した前記イベント情報を、通信を介して、連携先のクライアント端末装置に対して送信するウェブリソース提供部と、
を備える受信装置。 - 受信された前記放送信号から抽出された映像リソースまたは音声リソースの少なくともいずれかのデータを、ウェブプラットフォームで利用可能な形式のデータにトランスコードして、ウェブリソースとして出力するトランスコード部、
をさらに備え、
前記イベント処理部は、前記映像リソースまたは前記音声リソースの少なくともいずれかに付随する付随情報を含む前記イベント情報を生成し、
前記ウェブリソース提供部は、前記イベント処理部が生成した前記イベント情報を、前記トランスコード部が出力する前記ウェブリソースとともに、前記クライアント端末装置に対して送信する、
請求項1に記載の受信装置。 - 前記付随情報は、
前記放送信号から抽出されたイベントメッセージと、字幕と、文字スーパーと、アプリケーション情報テーブル(AIT)と、サービス情報(SI)と、データ放送コンテンツと、のいずれか、
または、
前記放送信号から抽出された前記映像リソースまたは前記音声リソースの少なくともいずれかを解析して得られたメタデータ、
を含む、
請求項2に記載の受信装置。 - 前記ウェブリソース提供部は、ハイブリッドキャストの端末連携機能における前記連携先のクライアント端末装置との間での端末連携通信の機能を用いて、前記イベント情報を、前記連携先のクライアント端末装置に対して送信する、
請求項1から3までのいずれか一項に記載の受信装置。 - 前記付随情報は、前記放送信号から抽出されたイベントメッセージのデータを含み、
前記ウェブリソース提供部は、同一内容の前記イベントメッセージのデータを含む前記イベント情報を複数回重複して前記クライアント端末装置に対して送信することを抑止する制御を行う、
請求項2に記載の請求項4に記載の受信装置。 - 前記ウェブリソース提供部は、前記クライアント端末装置における前記ウェブリソースの再生位置の情報を前記クライアント端末装置から受け取り、受け取った前記再生位置の情報に基づくタイミングで、前記ウェブリソースにおける特定の再生位置に関連付けられた前記イベント情報を、前記クライアント端末装置に対して送信する、
請求項2に記載の、請求項4または5に記載の受信装置。 - 前記ウェブリソース提供部は、複数の前記クライアント端末装置をそれぞれ識別するとともに、それぞれの前記クライアント端末装置から受け取った前記再生位置の情報に基づくタイミングで、前記ウェブリソースにおける特定の再生位置に関連付けられた前記イベント情報を、複数の前記クライアント端末装置のそれぞれに対して送信する、
請求項6に記載の受信装置。 - 前記イベント処理部は、前記イベント情報をメディアタイムドイベント(MTE)として生成して、生成した前記メディアタイムドイベントを前記トランスコード部が出力した前記ウェブリソースに挿入し、
前記ウェブリソース提供部は、前記メディアタイムドイベントが挿入された前記ウェブリソースを、前記クライアント端末装置に対して送信する、
請求項2に記載の受信装置。 - 前記イベント処理部が生成する前記メディアタイムドイベントは、前記放送信号から抽出された字幕と、文字スーパーと、アプリケーション情報テーブル(AIT)と、サービス情報(SI)と、データ放送コンテンツと、のいずれか、を前記付随情報として含むものである、
請求項8に記載の受信装置。 - 抽出された前記音声リソースを解析した結果である音声解析結果と、抽出された前記字幕と、をマッチングすることによって得られる再生位置に前記字幕を関連付けるデータ解析部、
をさらに備え、
前記イベント処理部は、前記再生位置に関連付けられた前記字幕を含む前記メディアタイムドイベントを、前記ウェブリソースに挿入する、
請求項9に記載の受信装置。 - 抽出された前記映像リソースを解析した結果である映像解析結果と、前記放送信号から抽出された番組情報または外部のウェブサーバー装置から情報と、を関連付けることによって得られたメタデータを生成するデータ解析部、
をさらに備え、
前記イベント処理部は、前記データ解析部が生成した前記メタデータを含む前記メディアタイムドイベントを、前記ウェブリソースに挿入する、
請求項9に記載の受信装置。 - 請求項1に記載の受信装置から前記イベント情報を受信する受信端末連携制御部、
を備えるクライアント端末装置。 - 請求項2に記載の受信装置から前記ウェブリソースを受信して利用するウェブアプリケーションを稼働させるアプリケーションエンジンと、
ハイブリッドキャストの端末連携機能により、前記ウェブリソースを利用するために必要な処理を、前記受信装置との連携動作として実行する受信端末連携制御部と、
を備え、
前記受信装置が受信した放送信号から抽出されたリソースに基づく、映像あるいは音声の少なくともいずれかに付随する付随情報を含むイベント情報を、前記受信装置から受信する、
クライアント端末装置。 - 前記受信端末連携制御部が、前記受信装置との間での端末連携通信によって、前記イベント情報を受信する、
請求項13に記載のクライアント端末装置。 - 受信した前記イベント情報が持つ識別情報に基づいて、前記イベント情報が処理済みであるか否かを判定し、既に処理済みである前記イベント情報についての処理を抑止する制御を行う、
請求項14に記載のクライアント端末装置。 - 前記ウェブアプリケーションが受信する前記ウェブリソースに含まれるメディアタイムドイベント(MTE)として、前記イベント情報を受信する、
請求項13に記載のクライアント端末装置。 - 放送信号を受信する受信部、を備えるコンピューターを、
請求項1から11までのいずれか一項に記載の受信装置、
として機能させるためのプログラム。 - コンピューターを、
請求項12から16までのいずれか一項に記載のクライアント端末装置、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021090918A JP2022183550A (ja) | 2021-05-31 | 2021-05-31 | 受信装置、クライアント端末装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021090918A JP2022183550A (ja) | 2021-05-31 | 2021-05-31 | 受信装置、クライアント端末装置、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022183550A true JP2022183550A (ja) | 2022-12-13 |
Family
ID=84437732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021090918A Pending JP2022183550A (ja) | 2021-05-31 | 2021-05-31 | 受信装置、クライアント端末装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022183550A (ja) |
-
2021
- 2021-05-31 JP JP2021090918A patent/JP2022183550A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10491965B2 (en) | Method, computer program, and reception apparatus for delivery of supplemental content | |
KR102015150B1 (ko) | 단말 장치, 서버 장치, 정보 처리 방법, 프로그램, 및 연동 애플리케이션 공급 시스템 | |
US9883248B2 (en) | Reception apparatus, reception method, transmission apparatus, and transmission method | |
US9451337B2 (en) | Media synchronization within home network using set-top box as gateway | |
US9936231B2 (en) | Trigger compaction | |
CN104584574B (zh) | 处理交互服务的设备和方法 | |
US10715571B2 (en) | Self-adaptive streaming medium processing method and apparatus | |
US20190230419A1 (en) | Receiving device and data processing method | |
KR102499231B1 (ko) | 수신 장치, 송신 장치 및 데이터 처리 방법 | |
US10469919B2 (en) | Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method | |
US11930248B2 (en) | Information processing apparatus, information processing method, transmission apparatus, and transmission method | |
US9489421B2 (en) | Transmission apparatus, information processing method, program, reception apparatus, and application-coordinated system | |
JP2012244339A (ja) | 端末連携システム、受信機及び情報処理端末 | |
JP5773746B2 (ja) | 端末連携システム | |
US20140380356A1 (en) | Device and method for processing bi-directional service related to broadcast program | |
RU2630432C2 (ru) | Приемное устройство, способ обработки информации, программа, передающее устройство и система взаимодействия передающих программ | |
JP2022183550A (ja) | 受信装置、クライアント端末装置、およびプログラム | |
US10244282B2 (en) | Methods for synchronizing and generating a stream, and corresponding computer programs, storage media, and playback, execution and generation devices | |
KR20170026329A (ko) | 시청각 콘텐츠 스트림을 mpeg2 사설 섹션내에 캡슐화하는 방법, mpeg2 전송 스트림 내에 멀티플렉스되어질 mpeg2 사설 섹션내에 시청각 콘텐츠를 캡슐화하는 장치, 디지털 tv용의 양방향 어플리케이션, 사용자 장치, 시청각 콘텐츠 또는 데이터의 전송을 위한 방법 및 데이터 네트워크를 위한 통신 프로토콜 | |
JP2022183813A (ja) | 受信装置、クライアント端末装置、およびプログラム | |
JP2019092227A (ja) | 映像受信装置、映像受信方法、映像送信装置および映像送信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240419 |