JP2014220572A - コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム - Google Patents

コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム Download PDF

Info

Publication number
JP2014220572A
JP2014220572A JP2013096588A JP2013096588A JP2014220572A JP 2014220572 A JP2014220572 A JP 2014220572A JP 2013096588 A JP2013096588 A JP 2013096588A JP 2013096588 A JP2013096588 A JP 2013096588A JP 2014220572 A JP2014220572 A JP 2014220572A
Authority
JP
Japan
Prior art keywords
content
script
distribution
receiving terminal
sign language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013096588A
Other languages
English (en)
Inventor
浩之 金子
Hiroyuki Kaneko
浩之 金子
井上 誠喜
Seiki Inoue
誠喜 井上
道家 守
Mamoru Doke
守 道家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2013096588A priority Critical patent/JP2014220572A/ja
Publication of JP2014220572A publication Critical patent/JP2014220572A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】あるコンテンツに関連する他のコンテンツの適切な同期配信を実現する。
【解決手段】コンテンツ配信システムにおいて、配信装置は、第1のコンテンツが配信されたことを示す配信情報を取得する配信情報取得手段と、前記配信情報に含まれる前記第1のコンテンツの進行状況に対応させて、第2のコンテンツを受信端末で生成させるためのスクリプトを配信するスクリプト配信手段とを有し、受信端末は、第1のコンテンツと、スクリプトとを取得するスクリプト取得手段と、スクリプトから前記第2のコンテンツを生成するコンテンツ生成手段と、第2のコンテンツを第1のコンテンツの再生による進行状況に合わせて再生する再生手段とを有することにより、上記課題を解決する。
【選択図】図1

Description

本発明は、コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラムに係り、特に、あるコンテンツに関連する他のコンテンツの適切な同期配信を実現するためのコンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラムに関する。
近年では、主たるコンテンツに対する理解を促進させたり、付加価値を向上させるために、主たるコンテンツに関連する複数のコンテンツをユーザに提供するサービスが行われている。例えば、放送局から放送波により配信されたテレビ番組(コンテンツ)の内容に対応させて、インターネット等の通信ネットワークを介して、そのテレビ番組の内容に対応した手話映像(他のコンテンツ)を配信するシステムが検討されている。
なお、従来では、手話映像として、例えば予め手話CG(Computer Graphics)をサーバ側で描画し、その動画をストリーミング配信するCGストリーミング技術がある(例えば、非特許文献1参照)。
また、従来では、インターネット等を介して、スクリプトを配信して映像を提示する技術として、スクリプトストリーミング技術がある(例えば、非特許文献2参照)。非特許文献2では、HTTP(HyperText Transfer Protocol)通信によってリクエストがあった際にスクリプト配信を行っている。
浜口斉周,馬場秋継,金子浩之,井上誠喜、"CGストリーミングを用いた番組連動手話映像配信・合成システム"、2012年映像情報メディア学会年次大会、16−5、2012. 金子浩之,浜口斉周,道家守,井上誠喜、"スクリプトストリーミングによるTVMLコンテンツ配信・視聴システム"、2009年映像情報メディア学会年次大会、13−4、2009.
しかしながら、上述したように動画をストリーミング配信するCGストリーミング技術では、サーバ側においてCGを生成する分だけ、映像ストリームのエンコード処理やデコード処理、バッファリング処理等による遅延が生じる。
また、従来のスクリプト型のストリーミング技術では、HTTP通信によってスクリプト配信を行うため、受信端末側から配信用のサーバに対して頻繁にリクエストをしなければならず、スクリプトを配信する際に不要なリクエストが増大したり、レスポンスとして実際にスクリプトが配信されるまでの遅延が生じる。上述したような遅延の影響により、従来では、複数のコンテンツを同期配信することができなかった。
本発明は、上述した問題点に鑑みなされたものであり、あるコンテンツに関連する他のコンテンツの適切な同期配信を実現することを目的とする。
上記課題を解決するために、本発明は、以下の特徴を有する課題を解決するための手段を採用している。
本発明の一態様におけるコンテンツ配信システムは、第1のコンテンツに関連する第2のコンテンツを配信する配信装置と、前記第1のコンテンツと前記第2のコンテンツとを受信する受信端末とを有するコンテンツ配信システムにおいて、前記配信装置は、前記第1のコンテンツが配信されたことを示す配信情報を取得する配信情報取得手段と、前記配信情報取得手段により得られる前記配信情報に含まれる前記第1のコンテンツの進行状況に対応させて、前記第2のコンテンツを前記受信端末で生成させるためのスクリプトを配信するスクリプト配信手段とを有し、前記受信端末は、前記第1のコンテンツと、前記スクリプトとを取得するスクリプト取得手段と、前記取得手段により得られる前記スクリプトから前記第2のコンテンツを生成するコンテンツ生成手段と、前記生成手段により生成された前記第2のコンテンツを前記第1のコンテンツの再生による進行状況に合わせて再生する再生手段とを有する。
また、本発明の一態様における配信装置は、配信された第1のコンテンツに関連する第2のコンテンツを受信端末に配信する配信装置において、前記第1のコンテンツが配信されたことを示す配信情報を取得する配信情報取得手段と、前記配信情報取得手段により得られる前記配信情報に含まれる前記第1のコンテンツの進行状況に対応させて、前記第2のコンテンツを前記受信端末で生成させるためのスクリプトを配信するスクリプト配信手段とを有する。
また、本発明の一態様における受信端末は、第1のコンテンツに関連する第2のコンテンツを再生する受信端末において、前記第1のコンテンツの進行情報に対応させて、前記第2のコンテンツを生成するためのスクリプトを取得するスクリプト取得手段と、前記取得手段により得られる前記スクリプトから前記第2のコンテンツを生成するコンテンツ生成手段と、前記生成手段により生成された前記第2のコンテンツを前記第1のコンテンツの再生による進行状況に合わせて再生する再生手段とを有する。
また、本発明の一態様における配信プログラムは、コンピュータを、上述した配信装置が有する各手段として機能させるための配信プログラムである。また、本発明の一態様における受信プログラムは、コンピュータを、上述した受信端末が有する各手段として機能させるための受信プログラムである。
本発明によれば、あるコンテンツに関連する他のコンテンツの適切な同期配信を実現することができる。
コンテンツ配信システムの概要例を示す図である。 コンテンツ配信システムにおける各種データの流れについて説明するための図である。 手話データ配信サーバの機能構成例を示す図である。 受信端末の機能構成例を示す図である。 第1実施例におけるコンテンツ配信処理の一例を示すシーケンス図である。 番組進行表の一例を示す図である。 初期スクリプトの一例を示す図である。 番組進行用スクリプトの一例を示す図である。 第2実施例におけるコンテンツ配信処理の一例を示すシーケンス図である。 第3実施例におけるコンテンツ配信処理の一例を示すシーケンス図である。
<本発明について>
本発明では、例えばコンテンツ配信側が、例えば第1のコンテンツ(例えば、放送中のテレビ番組等)に対して、関連する第2のコンテンツ(例えば、手話CG映像等)を、通信ネットワークにより受信端末側に配信し、受信端末側で第1のコンテンツに同期させた第2のコンテンツを提示させる。
なお、従来のCGストリーミング技術では、受信端末上にCG描画生成機能を持たないため、テレビ番組に付与する手話CGを受信端末上で生成することができなかった。更に、手話CGをサーバ側で描画するため、視聴者毎に手話を表現するCGモデルを切り替えたり、視聴者が手話を見やすいようにCGカメラを動かすことができなかった。
そこで、本実施形態では、手話CGを放送番組に同期して受信端末側で描画生成するために、配信サーバ(配信装置)側が、番組の進行に応じて手話の文章を表すスクリプト言語や関連データをインターネット等の通信ネットワークを介して受信端末側に配信する。更に、本実施形態では、Webブラウザとサーバ間で双方向通信を行う規格であるWebSocket等を用いた配信機能を有することで、最初にコネクションを確立した後でも、コネクションを使用し続けることができ、コンテンツの提供時間に対するコネクションの確立に要する時間を削減して適切な同期配信を実現する。
以下に、上述したような特徴を有する本発明におけるコンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下の説明では、第1のコンテンツの一例として放送番組を用い、第2のコンテンツの一例としてその放送番組に対応する手話映像を用いるが、これに限定されるものではない。
なお、本実施形態における手話映像コンテンツの一例として、例えばTVML(TV program Making Language)スクリプトを読み込み、手話CGのモーションデータ等を使用して制作されるCG番組等を用いることができるが、これに限定されるものではない。
ここで、TVMLとは、言語体系にカメラや照明等のテレビ番組制作の概念やノウハウを含んだスクリプト言語であり、映像や音声等を、素材データと台本(演出内容等)とに分けて記述することができる。制作側で台本を記述することで、パソコン等で動作するソフトウェア等がこれをスクリプト(TVMLスクリプト)として読み取り、台本に記述された素材データを取得して、例えばCGモデル(キャラクタ)にセリフや身体動作、表情等を与えることができる。
<コンテンツ配信システムの概要例>
図1は、コンテンツ配信システムの概要例を示す図である。図1に示すコンテンツ配信システム10は、放送局11と、配信装置の一例としての手話データ配信サーバ12と、1又は複数の受信端末13(図1の例では、受信端末13−1,13−2)とを有する。放送局11と、手話データ配信サーバ12と、受信端末13とは、例えば、インターネット等に代表される通信ネットワーク14によりデータの送受信が可能な状態で接続されている。
放送局11は、デジタル放送等の番組を制作し、その番組を放送波によって受信端末13に配信する。また、放送局11は、制作した番組に付与する手話CGの生成に必要なデータ(手話データ)を生成し、生成した手話データを含む手話CG再生トリガ(配信情報)等を、通信ネットワーク14を介して手話データ配信サーバ12に送信する。なお、手話CGの生成に必要なデータ(手話データ)とは、例えば番組の進行情報や、手話CGにおけるスタジオセットやCGモデル等を示したスクリプト情報等があるが、これに限定されるものではない。
手話データ配信サーバ12は、放送局12から手話CG再生トリガを取得すると、放送局11から配信された番組が受信端末13で再生されるタイミングに合わせて、放送局11から指示された内容に対応するスクリプトを受信端末13に配信する。なお、配信タイミングやスクリプトのどの部分を配信するかについては、例えば上述した進行情報を参照し、進行情報に指示された内容に対応させて配信することができる。
また、手話データ配信サーバ12は、例えばTVMLスクリプトから手話CG映像を生成するために必要なCGモデルの情報や手話を表現する身体動作等を記録した動作データ等を受信端末13に配信する。
なお、本実施形態における手話データ配信サーバ12は、例えば図1に示すように1以上の情報処理装置を有するクラウドコンピューティングを用いたクラウドサービス12'により実現されていてもよい。
受信端末13は、放送局11から放送波で配信された番組を受信して画面に表示する。また、受信端末13は、手話CG生成アプリケーション等のプログラム機能を有し、手話データ配信サーバ12から受信したスクリプトやCGモデルデータ、動作データ等に基づいて、番組の再生状況に対応する手話CGをリアルタイムに再生する。
なお、本実施形態における受信端末13の利用の態様としては、例えば図1の受信端末13−1に示すように、デジタル放送番組等を表示するテレビ装置等の受信端末13−1aで番組を視聴しながら、セカンドスクリーンである携帯情報端末等の受信端末13−1bで手話CGを提示するケースがある。また、他の態様としては、放送番組と手話CGとを1台のテレビ装置等の受信端末13−2aの同一スクリーン上に提示するケースがあるが、これらの態様に限定されるものではない。
なお、上述した受信端末13−1bにおける携帯情報端末の例としては、例えばタブレット端末やスマートフォン、携帯電話等があるが、これに限定されるものではなく、例えばPC(Personal Computer)等のような情報端末でもよい。
なお、受信端末13は、手話CGの生成に必要なデータを入力することで、番組の音声や字幕等に基づいて手話CGをリアルタイムに生成して再生する機能を有していてもよく、例えば予め手話データ配信サーバ12が手話CG編集用のソフトウェア等を用いて生成された手話CG映像を受信し、その内容を画面に表示してもよい。
ここで、コンテンツ配信システム10のシステム構成については、図1の例に限定されるものではなく、例えば放送局11内に手話データ配信サーバ12の構成を有していてもよい。
<コンテンツ配信システム10における各種データの流れ>
次に、コンテンツ配信システム10における各種データの流れについて図を用いて説明する。図2は、コンテンツ配信システムにおける各種データの流れについて説明するための図である。なお、図2において、手話データ配信サーバ12は、手話CGの生成に必要なスクリプト(例えば、TVMLスクリプト)を配信するスクリプト配信サーバ12−1と、手話を行うCGモデルのデータや手話CGによる動作データを管理したり、その管理された各種情報を配信する手話データサーバ12−2とを有するが、スクリプト配信サーバ12−1と、手話データサーバ12−2とは、同一の情報処理装置で構成されていてもよく、別の装置で構成されていてもよい。
図2の例において、受信端末13−1aは、一般的なデジタル放送対応テレビであり、例えばMPEG−2ベースの地上デジタル放送を受信する。ここで、図2の例では、手話CGを受信端末13−1b上で生成するために、WebGLという標準規格をベースとしたTVMLプレイヤーを用いる。WebGLベースのTVMLプレイヤーは、Webブラウザ上で起動することができるWebアプリケーションである。
図2に示す受信端末13−1bは、携帯情報端末であり、WebGLベースのTVMLプレイヤーを用いて手話CGを生成する。例えば、受信端末13−1bは、WebGLベースのTVMLプレイヤーを起動し、Webブラウザを用いてスクリプト配信サーバ12−1とWebSocket通信の接続状態を確立する。
放送番組の配信開始と同時に、放送局11が上述した手話CG再生トリガを送信することで、スクリプト配信サーバ12−1に対して番組開始を通知し、番組に付与する手話CGの生成に必要なTVMLスクリプトを指定する。なお、手話CG再生トリガは、例えばREST(Representational State Transfer)インタフェースを介してスクリプト配信サーバ12−1へ送信されるが、これに限定されるものではない。
次に、スクリプト配信サーバ12−1は、番組に付与する手話CGの生成に必要なTVMLスクリプトの配信を開始し、番組開始からの進行状況(経過時刻)に対応させて、TVMLスクリプトの一部分を段階的に順次配信する。なお、手話CGを表示するスタジオセットや照明、カメラの配置情報等の初期設定については、それらの情報を記述した初期スクリプトを受信端末13−1bに最初に配信しておく。
そして、受信端末13−1bのWebGLベースのTVMLプレイヤーが、スクリプト配信サーバ12−1からプッシュ(PUSH)配信されるTVMLスクリプトを受信し、受信したTVMLスクリプトに基づいて、手話を行うCGモデルと、手話内容に対応する動作データとをダウンロードして、手話CG映像を生成する。
ここで、番組に付与する手話の動作データは、例えば日本語テキスト1文毎に1つの動作データファイルとなるように手話CG編集ソフトウェア等を用いて、予め翻訳したものを用いることができるが、これに限定されるものではない。
したがって、ユーザは、テレビ装置13−1aで放送されている番組に対応する手話映像を、番組が再生された受信端末13−1aと連携の取れた受信端末13−1bから取得することができ、同期した複数のコンテンツを視聴することができる。
これにより、本実施形態では、インターネットに接続した受信端末13で放送番組を視聴する際に、手話CGを受信端末13上で生成することが可能となる。このため、視聴ユーザは、CGカメラ等を操作して、手話CGを見やすい視点で見ることができる。また、本実施形態では、WebSocketプロトコルを用いたPUSH型のスクリプト配信を用いることで効率的でリアルタイム性の高いPUSH型配信が可能となる。更に、本実施形態では、CGストリーミング技術よりも遅延時間が発生しないため、放送番組に適切に同期させた手話CGを再生することができる。
<手話データ配信サーバ12の機能構成例>
次に、上述した手話データ配信サーバ12の機能構成例について、図を用いて説明する。図3は、手話データ配信サーバの機能構成例を示す図である。なお、図3の例では、スクリプト配信サーバ12−1とにおける機能と、手話データサーバ12−2とにおける機能とが一体化された構成例について説明するが、構成例についてはこれに限定されるものではない。
図3に示す手話データ配信サーバ12は、入力手段21と、出力手段22と、記憶手段23と、手話データ取得手段(配信情報取得手段)24と、スクリプト生成手段25と、スクリプト配信手段26と、要求取得手段27と、動作データ配信手段(データ配信手段)28と、通信手段29と、制御手段30とを有するよう構成されている。
入力手段21は、手話データ配信サーバ12を管理する管理者等からの指示により、本実施形態におけるコンテンツ配信を行うための手話データ取得指示、スクリプト生成指示、スクリプト配信指示、要求取得指示、動作データ配信指示、通信指示等の各入力を受け付ける。なお、入力手段21は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等である。
出力手段22は、入力手段21から入力された指示内容や設定内容等を画面等に表示したり、指示内容や設定内容等に基づいて実行された実行結果等を出力する。出力手段22は、例えばディスプレイ等による画面表示デバイスやスピーカ等による音声出力デバイス等である。
記憶手段23は、本実施形態におけるコンテンツ配信に必要な各種情報を記憶する。例えば、記憶手段23は、手話CGに所定の動作をさせるための複数の動作データ、1又は複数のCGモデル、初期スクリプト、番組進行用スクリプト等を記憶する。また、記憶手段23は、放送局11から得られる手話データや受信端末13から得られる要求データ等を記憶する。更に、記憶手段23は、放送局11や1又は複数の受信端末13と選択的に接続してデータの送受信を行うために、各装置を識別するアドレス情報等を記憶する。
また、記憶手段23は、例えば通信手段29を介して、上述した各種データを通信ネットワーク14等に接続された外部装置等から取得することもできる。記憶手段23に記憶された各種データは、必要に応じて読み出しや書き込みが行われる。
手話データ取得手段24は、放送局11等から受信端末13−1aに配信された放送番組(第1のコンテンツ)に対応する手話CG(第2のコンテンツ)を生成するための手話データを含む手話CG再生トリガ(同期配信データ)を取得する。取得した情報は、記憶手段23に記憶される。
なお、放送局11から取得される手話CG再生トリガ(REST)に含まれる手話データには、例えば番組の進行情報とスクリプトとの関係を示す番組進行表(programchart_id)と、手話CGに対する初期スクリプト情報(script_init_id)と、番組進行用スクリプト情報(program_script_id)と、サーバ側からPUSH配信するか否かを示す情報(true/false)とを含む。
したがって、手話データとしては、例えば「http://**.jp/Set?programchart_id=1&script_init_id=1&program_script_id=1&push=true」がある。上記の例では、番組進行表ID=1、初期スクリプトID=1、及び番組進行用スクリプトID=1の情報を使用すると共に、サーバ側からのPUSH配信を行うことを示している。
スクリプト生成手段25は、手話データ取得手段24により得られる初期スクリプト情報や番組進行用スクリプト情報に対応するスクリプトを記憶手段23から取得する。なお、スクリプト生成手段25は、上述したIDによる指定がなされていない場合、又は指定されたIDに対応するスクリプトが記憶手段23にない場合に、予め設定された条件に基づいてスクリプトを生成してもよい。この場合、スクリプト生成手段25は、例えば予め設定されたスタジオセットやCGモデルを用いた初期スクリプトを生成してもよく、また手話データに基本的なセリフや動作内容等のパラメータ情報が含まれている場合には、そのパラメータ情報に基づいて対応する番組進行用のスクリプトを生成してもよい。
スクリプト配信手段26は、上述した手話データで指定されたIDに対応するスクリプトや、スクリプト生成手段25により生成されたスクリプトを受信端末13に配信する。例えば、スクリプト配信手段26は、手話CGに対する初期スクリプトを配信したり、手話データに含まれる番組進行表の時刻情報等に対応させて、手話CGを生成するための一部分のスクリプトを段階的に配信する。なお、スクリプトの配信は、上述した手話データに含まれるPUSH配信するか否かを示す情報に基づいて、受信端末13からの要求を受けずにPUSH配信してもよく、受信端末からの要求を待って配信してもよい。
要求取得手段27は、受信端末13から手話CGに対するCGモデルやその動作データの要求を取得し、取得した要求に対応するCGモデルや動作データを記憶手段23等に記憶されたデータから取得する。
動作データ配信手段28は、要求取得手段27により得られたCGモデルデータや動作データを要求のあった受信端末13に送信する。また、動作データ配信手段28は、取得要求のあった受信端末13が指定した1又は複数の他の受信端末13に送信してもよい。これにより、例えば管理者等が使用する受信端末13からの指示を受けて、一般の視聴者が使用する受信端末13にスクリプトを送信することができる。
通信手段29は、通信ネットワーク14を介して放送局11や受信端末13、又は他の外部装置とデータの送受信を行うための通信インタフェースである。通信手段29による通信は、有線でも無線でもよく、これらの組み合わせでもよい。また、通信手段29は、受信端末13と例えばWebSocket等の所定の規格による通信を確立することができる。
制御手段30は、本実施形態における手話データ配信サーバ12の各機能構成全体の制御を行う。具体的には、制御手段30は、例えば手話データ取得手段24による手話データの取得、スクリプト生成手段25によるスクリプトの生成、スクリプト配信手段26によるスクリプトの配信、要求取得手段27による要求取得、動作データ配信手段28によるCGモデルや動作データの配信等の各種制御を行う。なお、制御手段30が行う制御は、これに限定されるものではなく、例えばコンテンツ配信処理の開始や終了を制御したり、エラー制御等を行うことができる。
<受信端末13の機能構成例>
次に、受信端末13の機能構成例について図を用いて説明する。図4は、受信端末の機能構成例を示す図である。なお、図4の例は、放送局11からの放送番組を受信して再生する受信端末における機能と、放送番組に対応する手話CG映像を再生する受信端末における機能とが一体化された構成例について説明するが、構成例についてはこれに限定されるものではない。
図4における受信端末13は、入力手段41と、出力手段42と、記憶手段43と、番組データ取得手段44と、スクリプト取得手段45と、手話映像生成手段(コンテンツ生成手段)46と、再生手段47と、通信手段48と、制御手段49とを有するよう構成されている。
入力手段41は、受信端末13を使用するユーザ等からの指示により、本実施形態におけるコンテンツ配信を行うための番組データ取得指示、スクリプト取得指示、手話映像生成指示、再生指示、通信指示等の各入力を受け付ける。例えば、入力手段41は、手話映像生成指示に関連して手話を表現するCGモデルの変更指示やCGカメラの視点変更指示の入力を受け付ける。なお、入力手段41は、例えば操作ボタンやタッチパネル形式の入力デバイスや、マイク等の音声入力デバイス等である。
出力手段42は、入力手段41から入力された指示内容や設定内容等を画面等に表示したり、指示内容や設定内容等に基づいて実行された実行結果等を出力する。出力手段42は、例えばディスプレイ等による画面表示デバイスやスピーカ等による音声出力デバイス等である。なお、出力手段42は、上述したタッチパネル等でもよい。
記憶手段43は、放送局11や手話データ配信サーバ12から配信された1又は複数のコンテンツやスクリプトを受信して画面等に出力するために必要な各種情報を記憶する。例えば、記憶手段43は、放送局11から放送波で配信された放送番組や手話データ配信サーバ12から取得されるスクリプト(初期スクリプト、番組進行用スクリプト)、CGモデルデータ、動作データ、手話映像生成手段46により生成された手話映像等があるが、これに限定されるものではない。
記憶手段43は、放送局11や手話データ配信サーバ12と選択的に接続するために、各装置を識別するアドレス情報等を記憶する。また、記憶手段43は、例えば通信手段48を介して、上述した各種データを通信ネットワーク14等に接続された外部装置等から取得することもできる。記憶手段43に記憶されている各種データは、必要に応じて読み出しや書き込みが行われる。
番組データ取得手段44は、放送局11から放送波により配信された番組を取得する。なお、番組データ取得手段44は、通信ネットワーク14を介して外部装置から番組を取得してもよい。
スクリプト取得手段45は、手話データ配信サーバ12から番組に対応する手話データを再生するためのスクリプト(例えば、TVMLスクリプト)を取得する。なお、取得するTVMLスクリプトには、上述した初期スクリプトや番組進行用スクリプトであるが、これに限定されるものではない。
手話映像生成手段46は、スクリプト取得手段45により得られるスクリプトを用いて番組映像の進行状況に対応する手話CG映像を生成する。このとき、手話映像生成手段46は、手話を行うCGモデルや、手話に対応する動作データの問い合わせを手話データ配信サーバ12に行い、その結果を取得して手話映像を生成してもよく、予めCGモデルや動作データに関する情報が記憶手段43に記憶されている場合には、その情報を読み出して手話CG映像を生成してもよい。
再生手段47は、番組データ取得手段44により取得した番組映像や手話映像生成手段46により生成された手話映像を再生する。なお、再生手段47は、番組映像と手話映像とを合成して再生してもよく、別々の枠(ウインドウ)で表示してもよい。また、再生手段47は、予め指定された放送番組又は手話CG映像の何れかを再生してもよい。再生された各種映像は、出力手段42等により画面に表示されたり、音声出力される。
通信手段48は、放送波を受信したり、通信ネットワーク14を介して手話データ配信サーバ12又は他の外部装置とデータの送受信を行うための通信インタフェースである。
更に、通信手段48は、赤外線やWi−Fi(登録商標)等を利用した近距離通信等により他の受信端末13間でデータの送受信を行うこともできる。これにより、例えば受信した複数のコンテンツのそれぞれを複数の受信端末13を用いて再生する場合に、通信手段48を用いた近距離通信等により受信端末間で再生のタイミングを調整することで、複数のコンテンツ再生に対する同期を取ることができる。
なお、通信手段48による通信は、有線でも無線でもよく、これらの組み合わせでもよい。また、通信手段48は、手話データ配信サーバ12と例えばWebSocket等の所定の規格による通信を確立することができる。
制御手段49は、本実施形態における受信端末13の各機能構成全体の制御を行う。具体的には、制御手段49は、例えば、番組データ取得手段44による番組データの取得や、スクリプト取得手段45によるスクリプトの取得、手話映像生成手段46による手話映像の生成、再生手段47による番組映像や手話CG映像の再生等の各種制御を行う。なお、制御手段49が行う制御は、これに限定されるものではなく、例えば受信端末13における各処理の開始や終了を制御したり、エラー制御したり、他の受信端末とのコンテンツ再生に関する同期制御等を行うことができる。
<手話CG映像の生成について>
次に、上述した手話映像生成手段46における手話CG映像の生成例について具体的に説明する。本実施形態における手話CG生成には、上述したようにTVMLを用いている。記述されたTVMLスクリプトは、TVMLプレイヤーと呼ばれるソフトウェアによって順次解釈され、リアルタイムCGによる映像コンテンツが再生される。上述した再生手段47は、上述したTVMLプレイヤーとしての機能を有する。
ここで、日本語の手話では、手や指の動き(手指動作)に加えて、顔の表情や口形、首の振り等(非手指動作)の重要である。そのため、本実施形態では、例えば約7000語の手話語彙を表す手指動作と、約60種類の非手指動作とを光学反射式モーションキャプチャによって取得して動作データとして記憶する。
更に、本実施形態では、多関節の骨格(ボーン)構造と、ボーンに従って変形する皮膚(スキン)形状とを有するスキンメッシュCGモデルを用いて、手話の動作データを生成し、その情報を用いてCGモデルの動作をTVMLプレイヤーで再生する。
例えば、手話映像生成手段46は、手話の動作データに含まれる手指動作を表す回転量と、表情を表す移動量の2つのパラメータを同時に再生することで、スキン形状を滑らかに変形するCGアニメーションを生成することができる。また、手話映像生成手段46は、複数の動作データを手話の語順に従って合成することで、複雑な表現の手話CG生成が可能となる。なお、上述した動作データは、例えば既存の手話CG編集ソフトウェア等を用いて生成することができるが、これに限定されるものではない。また、動作データは、例えば手話動作やおじぎ、移動等のその他の身体動作、セリフに対応する動き等の所定の動作内容毎に作成され、例えばbvh(BioVision Hierarchy)ファイル等の所定のファイル形式で記憶手段等に記憶される。
<本実施形態で使用するTVMLプレイヤーについて>
従来のTVMLプレイヤーは、受信端末13毎にインストールを要するDirectXベースのソフトウェアであり、例えばWindows(登録商標)以外のOS(Operating System)では動作せず、本実施形態のような、いわゆる番組連動型の手話CGサービスに適していない。
そこで、本実施形態では、Web標準の3DグラフィックスAPI(Application Program Interface)であるWebGLをベースとしたTVMLプレイヤーを用いる。WebGLは、HTML(HyperText Markup Language)5のCanvas要素において、3次元CGを描画するためのグラフィックスAPIである。
JavaScript(登録商標)等で作成されたWebアプリケーションが、例えばWebGLを介してOpenGL ES2.0のAPIを制御することで、HTML5のCanvas要素で指定した領域に3次元CGを描画することができる。
WebGLをサポートするWebブラウザを用いることで、簡易な3次元CGであればWebGLを用いたWebアプリケーションを含むWebページを閲覧するだけで、CG描画が可能となる。なお、WebGLには、手話CGの生成に必要な機能が標準で用意されていない。そこで、本実施形態では、WebGLベースのTVMLプレイヤーを用いて、TVMLスクリプトを解釈する機能と、手話の動作データの再生機能と、スキンメッシュの制御機能とを実装する。これにより、手話映像生成手段46は、上述したCGモデルのボーンに対する皮膚形状の関連性による重み(スキンウェイト)等を考慮して、滑らかにスキン形状を変形させるスキンメッシュ制御を実現することができる。
また、本実施形態では、WebGLベースのTVMLプレイヤーを、コンテンツ配信システム10の一例である番組連動型の手話CGサービスに適用するため、ネットワーク経由でTVMLスクリプトにより外部制御する。
例えば、本実施形態では、TVMLスクリプトの配信による手話CGのリアルタイム生成を実現するために、リアルタイム性の高いPUSH型のスクリプト配信を行う。また、本実施形態では、Webブラウザとサーバ間で双方向通信を行う規格であるWebSocket等を用いる。
本実施形態では、WebSocketを用いた配信機能を有することで、最初にコネクションを確立した後でも、コネクションを使用し続けることができ、効率的でリアルタイム性の高いPUSH型配信を行うことができる。なお、本実施形態では、WebSocketによる通信に限定されるものではなく、例えばComet等を利用してもよい。
<第1実施例におけるコンテンツ配信処理>
次に、上述したコンテンツ配信システム10におけるコンテンツ配信処理の一例についてシーケンスを用いて説明する。図5は、第1実施例におけるコンテンツ配信処理の一例を示すシーケンス図である。なお、図5の例では、放送局11と、手話データ配信サーバ12と、受信端末13とを用いた例について説明する。手話データ配信サーバ12は、スクリプト配信サーバ12−1と、手話データサーバ12−2とを有する。また、受信端末13は、上述したテレビ装置に対応する受信端末13−1a、携帯情報端末に対応する受信端末13−1b等を有するが、これに限定されるものではない。
図5の例において、放送局11は、受信端末13−1aに対して手話が付与された放送番組の配信を開始すると共に、スクリプト配信サーバ12−1に対して、手話CGを再生させるための再生トリガを送信する(S01)。再生トリガは、例えば上述したRESTインタフェースを介してスクリプト配信サーバ12−1へ送信される。
受信端末13−1aは、放送局11から送信された放送番組を受信する(S02)。また、スクリプト配信サーバ12−1は、放送局11から送信された再生トリガを受信する(S03)。
次に、受信端末13−1aは、受信端末13−1bと接続し、Webブラウザの起動制御や確認等を行う(S04)。受信端末13−1bは、受信端末13−1aからのブラウザ起動制御によりWebブラウザを起動して待機する(S05)。
次に、受信端末13−1aは、番組を配信した放送波に含まれているSI(Service Information)等を読み込み、SIから放送番組(第1のコンテンツ)に対応する手話CG映像(第2のコンテンツ)がある旨の情報を取得して、受信端末13−1bにTVMLプレイヤーの起動制御を行う(S06)。なお、上述した第2のコンテンツの存在を示す情報は、SI以上の情報から取得してもよい。受信端末13−1bは、受信端末13−1bからの起動制御によりWebGLベースのTVMLプレイヤーを起動する(S07)。
次に、受信端末13−1bは、スクリプト配信サーバ12−1とWebSocket接続を行う(S08)。スクリプト配信サーバ12−1は、受信端末13−1bとの接続が確立すると(S09)、手話CG用の初期スクリプトを受信端末13−1bに送信する(S11)。
受信端末13−1bは、スクリプト配信サーバ12−1からのスクリプトに基づいてTVMLの解釈を行い(S12)、手話を行うCGモデルを取得する(S13)。なお、S13の処理では、例えば受信端末13−1bが、CGモデルの取得要求を手話データサーバ12−2に送信し、手話データサーバ12−2から送信された要求に対応するCGモデルデータを受信することで(S13)、CGモデルを取得することができる。
次に、受信端末13−1bは、受信端末13−1aに対して初期CGを描画(再生)し、その旨を受信端末13−1aに通知する(S14)。また、スクリプト配信サーバ12−1は、再生トリガに含まれる番組進行表の読み込みを行い(S15)、番組進行表のスケジュールに対応させて、再生トリガに含まれる番組進行用スクリプトデータから選択された一部分のスクリプトを段階的に受信端末13−1bに送信する(S16)。
受信端末13−1bは、スクリプト配信サーバ12−1から受信した番組進行用のスクリプトをTVMLで解釈し(S17)、更に手話映像を生成するために動作データを取得する(S18)。なお、S18の処理では、受信端末13−1bが、手話データサーバ12−2に対して手話に対応する動作データの取得要求を行い、手話データサーバ12−2から送信された動作データを受信することで(S19)、CGモデルの動作データを取得する。
次に、受信端末13−1bは、生成した手話CGを描画(再生)し、その旨を受信端末13−1aに通知する(S20)。これにより、受信端末13−1aは、受信端末13−1bの手話CG映像に同期させて、放送番組を表示する(S21)。
なお、上述したS16〜S21の処理は、スクリプト配信サーバ12−1から番組進行表に基づき番組の進行状況に対応して部分的なTVMLスクリプトが継続して送信されるため、受信端末13−1bは、繰り返しTVMLを解釈し、動作データを取得して手話CG描画及び通知を行う。
また、第1実施例では、番組の提供(再生)後、放送局11は、次の放送番組(次放送番組)の送信を開始する(S22)。このとき、次放送番組は、手話映像の同時配信を行わない番組であるとする。
受信端末13−1aは、次の放送番組を受信し(S23)、放送波のSIを読み込み、手話CGが付加される番組ではないため、受信端末13−1bに対してTVMLプレイヤーの停止制御を行う(S24)。受信端末13−1bは、WebGLベースのTVMLプレイヤーを停止(終了)する(S25)。なお、S25の処理において、受信端末13−1bは、Webブラウザを停止(終了)してもよく、スクリプト配信サーバ12−1に対して接続を切断する処理を行ってもよい。なお、スクリプト配信サーバ12−1に対して接続を切断しない場合には、またその次の放送番組で手話CG映像が付加される場合に、接続されたままのコネクションを用いてスクリプト配信サーバ12−1と通信することができる。
<番組進行表の一例>
ここで、上述した番組進行表の一例について、図を用いて説明する。図6は、番組進行表の一例を示す図である。図6の例では、説明の便宜のため左側に行番号を付している。番組進行表は、手話CG再生トリガ(手話データ)に含まれる情報である。
図6の例において、番組進行表は、番組開始からの経過時刻と番組進行に対応するTVMLスクリプトの行数(スクリプトファイル先頭からの行数)とが記載されている。
スクリプト配信サーバ12−1は、例えば再生トリガで設定された番組進行表に基づいて、番組開始からの時間の経過に対応する行数のスクリプトを受信端末13−1bに配信する。例えば、図6の例において、(02)行目では、番組の開始直後(00:00:00:00)に、予め設定された複数行からなるスクリプトデータに対して4行目までのスクリプトを受信端末13−1bに送信することが示されている。また、(03)行目に示すように、番組の開始から3秒後(00:00:03:00)に、7行目までのスクリプトを送信することが示されている。
なお、送信される部分的なスクリプトは、例えばCGモデルに対する1又は複数の動作単位やセリフ単位毎に送信されることが好ましいが、これに限定されるものではない。このように、スクリプト配信サーバ12−1は、番組の進行に合わせて対応するスクリプトを受信端末13−1bに送信することができる。
なお、番組進行表のデータ構成については、これに限定されるものではなく、例えば番組の進行(時刻情報)に対応する手話動作データを有し、設定した時間の経過後に手話CGの動作データを送信するようにしてもよい。
上述した番組進行表を有することで、放送番組(第1のコンテンツ)と手話映像(第2のコンテンツ)との同期をとることができる。
<TVMLスクリプトの一例>
次に、本実施形態におけるTVMLスクリプトの一例について、図を用いて説明する。図7は、初期スクリプトの一例を示す図である。また、図8は、番組進行用スクリプトの一例を示す図である。なお、図7、図8の例では、説明の便宜のため左側に行番号を付している。なお、図7、図8に示すスクリプトは、放送局11から得られる手話データで指定されたスクリプトである。また、図7、図8に示すスクリプトは、手話データ配信サーバ12で生成してもよい。
本実施形態では、番組に付与する手話CGの生成に必要なTVMLスクリプトとして、2種類のスクリプトを有する。図7に示す初期スクリプトは、例えば受信端末13−1bとスクリプト配信サーバ12−1とが接続されたと同時に送信される。また、図8に示す番組進行用スクリプトは、番組進行表に従ってスクリプト配信サーバ12−1から受信端末13−1bに段階的に送信される。
スクリプト配信サーバ12−1は、放送番組に付与する手話CGの生成に必要なTVMLスクリプトの配信を開始する。この場合、図6に示すような番組進行表の通りに番組開始からの経過時刻に従って、TVMLスクリプトを自動的に順次配信する。番組進行表による送信タイミングについては、放送局11から送信される再生トリガを基準にしてもよいが、これに限定されるものではなく、例えば番組進行表に番組開始日時等を含めておき、その時間を基準に進行状況に応じて一部分のスクリプトを送信してもよい。
なお、初期スクリプトについては、一度に全スクリプトが送信される。図7の例では、(02)行目にCGモデルの背景色(r,g,b)が設定され、(05)〜(12)行目に手話を行うCGモデルがいる仮想空間(例えば、スタジオ)の照明(Light)に関する情報がTVMLスクリプトで設定されている。また、図7の例では、(15)〜(20)行目にCGモデル(Character)に関する情報がTVMLスクリプトで設定されている。更に、図7の例では、(23)〜(26)行目にカメラパラメータ(Camera)に関する情報がTVMLスクリプトで設定されている。なお、初期スクリプトとして設定される内容は、図7の例に限定されるものではなく、他の情報を有していてもよい。
図7に示す初期スクリプトを受信端末13−1bに送信することで、受信端末13−1bにおいて、手話CG映像の基礎となるスタジオデータやCGモデル等が設定される。
また、図8の例では、番組進行表に対応して送信される番組進行用スクリプトを示しており、(01)行目にCGモデルの背景色(r,g,b)が設定され、(02)行目に、CGモデル(キャラクタ)の映像中の位置情報がTVMLスクリプトで設定されている。
また、図8の例では、(03)〜(05)行目、(07)〜(09)行目、(11)〜(13)行目、(15)〜(17)行目、(19)〜(21)行目にCGモデルに対する所定の動作内容(例えば、手話動作やおじぎ、移動等のその他の身体動作、セリフに対応する動き等)が、TVMLスクリプトで設定されている。
例えば、上述した第1実施例では、(03)〜(05)行目、(07)〜(09)行目、(11)〜(13)行目、(15)〜(17)行目、(19)〜(21)行目の各情報が、番組進行表の番組の進行(時刻)に対応して受信端末13−1bに送信される。
これにより、受信端末13−1bのWebGLベースのTVMLプレイヤーが、手話データ配信サーバ12からプッシュ配信されるTVMLスクリプトに基づいて、必要なCGモデルと動作データをダウンロードし、そのデータを用いて手話CGを生成し、受信端末13−1aが再生する放送番組と同期させて再生することができる。
<第2実施例におけるコンテンツ配信処理>
次に、第2実施例におけるコンテンツ配信処理についてシーケンス図を用いて説明する。図9は、第2実施例におけるコンテンツ配信処理の一例を示すシーケンス図である。第2実施例は、第1実施例と比較すると、手話データサーバ12−2が放送局11からの再生トリガを受信して、番組進行表を読み込み、対応するCGモデルや動作データをPUSH(プッシュ)配信する例を示している。なお、図9の例では、上述した第1実施例と同様に、放送局11と、手話データ配信サーバ12と、受信端末13とを用いた例について説明する。
図9の例において、放送局11は、受信端末13−1aに対して手話が付与された番組の送信を開始すると共に、スクリプト配信サーバ12−1及び手話データサーバ12−2に対して、手話CG再生トリガ(手話データ)を送信する(S31)。再生トリガは、例えば上述したRESTインタフェースを介してスクリプト配信サーバ12−1及び手話データサーバ12−2へ送信される。
受信端末13−1aは、放送局11から送信された放送番組を受信する(S432)。また、スクリプト配信サーバ12−1及び手話データサーバ12−2は、それぞれ放送局11から送信された再生トリガを受信する(S33、S34)。
次に、受信端末13−1aは、受信端末13−1bと接続し、ブラウザ起動制御及び確認を行う(S35)。受信端末13−1bは、受信端末13−1aからのブラウザ起動制御によりWebブラウザを起動して待機する(S36)。
次に、受信端末13−1aは、放送波に含まれているSIを読み込み、受信端末13−1bのTVMLプレイヤーの起動制御を行う(S37)。受信端末13−1bは、WebGLベースのTVMLプレイヤー起動を行う(S38)。
次に、受信端末13−1bは、スクリプト配信サーバ12−1及び手話データサーバ12−2に対してWebSocket接続を行う(S39)。スクリプト配信サーバ12−1及び手話データサーバ12−2は、受信端末13−1bとの接続を確立する(S40、S41)。また、スクリプト配信サーバ12−1は、手話CG用の初期スクリプトを受信端末13−1bに送信する(S42)。
受信端末13−1bは、スクリプト配信サーバ12−1からのスクリプトに基づいてTVMLの解釈を行う(S43)。ここで、手話データサーバ12−2は、再生トリガに含まれる手話データからCGモデルに関する情報を取得し、取得したCGモデルデータを接続が確立している受信端末13−1bに送信(PUSH配信)する(S41)。これにより、受信端末13−1bは、手話データサーバ12−2に要求(リクエスト)をしなくても手話CG映像に用いられるCGモデルデータを取得することができる(S45)。
次に、受信端末13−1bは、受信端末13−1aに対して初期CGを描画(再生)し、その旨を受信端末13−1aに通知する(S46)。また、手話データサーバ12−2は、再生トリガに含まれる番組進行表の読み込みを行い(S47)、番組進行表に対応した動作データを接続が確立している受信端末13−1bに送信(PUSH配信)する(S48)。
受信端末13−1bは、手話データサーバ12−2から受信した動作データを取得し(S49)、生成した手話CG描画(再生)し、その旨を受信端末13−1aに通知する(S50)。これにより、受信端末13−1aは、受信端末13−1bの手話CG映像の再生に同期させて、番組を表示する(S51)。
なお、上述したS48〜S51の処理は、スクリプト配信サーバ12−1から番組進行表に基づき番組の進行状況に対応して部分的なTVMLスクリプトが継続して送信されるため、受信端末13−1bは、繰り返しTVMLを解釈し、動作データを取得して手話CG描画及び通知を行う。
また、第2実施例では、番組の提供(再生)後、放送局11は、次の放送番組(次放送番組)の送信を開始する(S52)。このとき、次放送番組は、手話映像の同時配信を行わない番組であるとする。
受信端末13−1aは、次の放送番組を受信し(S53)、放送波のSIを読み込み、手話CGが付加される番組ではないため、受信端末13−1bに対してTVMLプレイヤーの停止制御を行う(S54)。受信端末13−1bは、WebGLベースのTVMLプレイヤーを停止(終了)する(S55)。なお、S55の処理において、受信端末13−1bは、Webブラウザを停止(終了)してもよく、スクリプト配信サーバ12−1及び手話データサーバ12−2に対して接続を切断する処理を行ってもよい。なお、スクリプト配信サーバ12−1及び手話データサーバ12−2に対して接続を切断しない場合には、またその次の放送番組で手話CG映像が付加される場合に、接続されたままのコネクションを用いてスクリプト配信サーバ12−1及び手話データサーバ12−2と通信することができる。
上述したように、第2実施例におけるコンテンツ配信処理では、手話データサーバ12−2からPUSH配信することで、より迅速に手話CGを生成するためのデータ(例えば、CGモデルデータ、動作データ等)を取得することができる。したがって、再生時間の遅延のない複数のコンテンツを連動して提供することができる。
<第3実施例におけるコンテンツ配信処理>
次に、第3実施例におけるコンテンツ配信処理についてシーケンス図を用いて説明する。図10は、第3実施例におけるコンテンツ配信処理の一例を示すシーケンス図である。第3実施例では、緊急用の割り込み制御が発生した場合のコンテンツ配信処理の一例を示している。
なお、図10の例では、第1実施例及び第2実施例と同様に、放送局11と、手話データ配信サーバ12と、受信端末13とを用いた例について説明する。また、図10の例において、S61〜S75の処理は、上述した第1実施例におけるS01〜S15の処理と同様の処理であるため、ここでの具体的な説明は省略する。
第3実施例において、スクリプト配信サーバ12−1が番組進行表の読み込みを行った後(S75)、放送局11は、スクリプト配信サーバ12−1に対して緊急情報を送信し、緊急情報再生トリガを送信したとする(S76)。
受信端末13−1aは、放送局11からの緊急情報を受信する(S77)。また、スクリプト配信サーバ12−1は、緊急割り込みがあったか否かを判断し(S78)、緊急割り込みがあった場合(S78において、YES)、緊急情報スクリプトを受信端末13−1bに送信し(S79)、S78の処理に戻る。なお、緊急情報スクリプトは、予めスクリプト配信サーバ12−1が記憶手段等に記憶しておいてもよく、スクリプト配信サーバ12−1のスクリプト生成手段で生成してもよい。
また、スクリプト配信サーバ12−1は、緊急割り込みがなかった場合(S78において、NO)、次に番組進行表の未送信スクリプトがあるか否かを判断し(S80)、未送信スクリプトがある場合(S80において、YES)、番組進行用スクリプトを受信端末13−1bに送信する(S81)。
受信端末13−1bは、スクリプト配信サーバ12−1から受信した緊急情報スクリプトや番組進行用のスクリプトをTVMLで解釈し(S82)、手話CG映像を生成するためのCGモデルの動作データを取得する(S83)。なお、S83の処理では、受信端末13−1bが手話データサーバ12−2に対して手話に対応する動作データの取得要求を行い、手話データサーバ12−2から送信された動作データを受信することで(S84)、動作データを取得する。
次に、受信端末13−1bは、生成した手話CGを描画(再生)し、その旨を受信端末13−1aに通知する(S85)。これにより、受信端末13−1aは、受信端末13−1bの手話映像の再生に同期させて、番組を表示する(S86)。これにより、緊急情報による割り込みがあった場合でも番組の途中で緊急情報の番組に切り替えたり、再生中の番組にテロップ等で挿入することができる。
なお、第3実施例でも上述した第1実施例と同様に、スクリプト配信サーバ12−1から番組進行表に基づき番組の進行状況に対応して部分的なTVMLスクリプトが継続して送信されるため、受信端末13−1bは、繰り返しTVMLを解釈し、動作データを取得して手話CG描画及び通知を行う。
また、第3実施例における番組の提供(再生)後のS87〜S90の処理においては、上述した第1実施例のS22〜S25と同様の処理を行うため、ここでの具体的な説明は省略する。
上述したように、第3実施例におけるコンテンツ配信処理では、番組再生中に放送局11から地震や災害等、警報等に関する緊急情報が配信された場合に、一次的に番組進行用のスクリプトから緊急情報用のスクリプトを配信することができる。したがって、第3実施例では、例えば番組再生中に緊急信号を割り込ませることができ、割り込み終了後は、また続きの番組進行用のスクリプトを続きから配信することができる。
なお、上述した第1〜第3実施例は、複数の実施例の一部又は全部を組み合わせて実施することができる。また、上述した実施例では手話CGを用いたが、これに限定されるものではなく、手話の実写映像を用いてもよい。また、スクリプトは、TVMLスクリプト以外のスクリプトを用いてもよい。
<実行プログラム>
ここで、上述したコンテンツ配信システム10における手話データ配信サーバ12、受信端末13は、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)等の揮発性の記憶装置、ROM(Read Only Memory)等の不揮発性の記憶装置、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
したがって、手話データ配信サーバ12、受信端末13が有する上述した各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記録媒体に格納して頒布することもできる。
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム(配信プログラム、受信プログラム)を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、コンテンツ配信処理を実現することができる。なお、本実施形態における実行プログラムによる処理については、例えば上述した各処理を実現することができる。
上述したように本発明によれば、あるコンテンツに関連する他のコンテンツの適切な同期配信を実現することができる。また、関連する複数のコンテンツを適切に連動させて提供することができる。具体的には、本実施形態では、インターネットに接続した受信端末で放送番組を視聴する際に、手話CGを受信端末上で生成することが可能となる。このため、視聴ユーザは、例えばCGカメラ等を操作して手話CGを見やすい視点で見ることができるようになる。本発明では、WebSocketプロトコルを用いたPUSH型のスクリプト配信を応用することで効率的でリアルタイム性の高いPUSH型配信が可能となる。CGストリーミング技術よりも遅延時間が発生しないため、放送番組に同期して手話CGを生成することが可能となる。
なお、上述した本実施形態では、第1のコンテンツを放送番組とし、第2のコンテンツを放送番組に関連する手話CG映像として説明したが、これに限定されるものではなく、第1のコンテンツを手話CG映像、第2のコンテンツを放送番組としてもよく、また字幕やテロップ等の文字コンテンツを第1又は第2のコンテンツとしてもよく、第3のコンテンツとしてもよい。
したがって、本実施形態により、複数のコンテンツを同期させて連動した情報の提供を実現することができる。更に、本実施形態によれば、複数の受信端末を用いて、それぞれが異なる関連したコンテンツを同期させて再生することができる。
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
10 コンテンツ配信システム
11 放送局
12 手話データ配信サーバ(配信装置)
13 受信端末
14 通信ネットワーク
21,41 入力手段
22,42 出力手段
23,43 記憶手段
24 手話データ取得手段(配信情報取得手段)
25 スクリプト生成手段
26 スクリプト配信手段
27 要求取得手段
28 動作データ配信手段(データ配信手段)
29,48 通信手段
30,49 制御手段
44 番組データ取得手段
45 スクリプト取得手段
46 手話映像生成手段(コンテンツ生成手段)
47 再生手段

Claims (9)

  1. 第1のコンテンツに関連する第2のコンテンツを配信する配信装置と、前記第1のコンテンツと前記第2のコンテンツとを受信する受信端末とを有するコンテンツ配信システムにおいて、
    前記配信装置は、
    前記第1のコンテンツが配信されたことを示す配信情報を取得する配信情報取得手段と、前記配信情報取得手段により得られる前記配信情報に含まれる前記第1のコンテンツの進行状況に対応させて、前記第2のコンテンツを前記受信端末で生成させるためのスクリプトを配信するスクリプト配信手段とを有し、
    前記受信端末は、
    前記第1のコンテンツと、前記スクリプトとを取得するスクリプト取得手段と、前記取得手段により得られる前記スクリプトから前記第2のコンテンツを生成するコンテンツ生成手段と、前記生成手段により生成された前記第2のコンテンツを前記第1のコンテンツの再生による進行状況に合わせて再生する再生手段とを有することを特徴とするコンテンツ配信システム。
  2. 配信された第1のコンテンツに関連する第2のコンテンツを受信端末に配信する配信装置において、
    前記第1のコンテンツが配信されたことを示す配信情報を取得する配信情報取得手段と、
    前記配信情報取得手段により得られる前記配信情報に含まれる前記第1のコンテンツの進行状況に対応させて、前記第2のコンテンツを前記受信端末で生成させるためのスクリプトを配信するスクリプト配信手段とを有することを特徴とする配信装置。
  3. 前記スクリプト配信手段は、
    前記第1のコンテンツの進行情報に対応させて、前記第2のコンテンツを前記受信端末で再生させるために設定されたスクリプトの一部分を段階的に配信することを特徴とする請求項2に記載の配信装置。
  4. 前記受信端末から前記第2のコンテンツに含まれるCGモデル、又は該CGモデルによる手話の動作データの取得要求を受け付ける要求取得手段と、
    前記要求取得手段により得られる要求に対応したデータを前記受信端末に配信するデータ配信手段とを有することを特徴とする請求項2又は3に記載の配信装置。
  5. 第1のコンテンツに関連する第2のコンテンツを再生する受信端末において、
    前記第1のコンテンツの進行情報に対応させて、前記第2のコンテンツを生成するためのスクリプトを取得するスクリプト取得手段と、
    前記取得手段により得られる前記スクリプトから前記第2のコンテンツを生成するコンテンツ生成手段と、
    前記生成手段により生成された前記第2のコンテンツを前記第1のコンテンツの再生による進行状況に合わせて再生する再生手段とを有することを特徴とする受信端末。
  6. 前記コンテンツ生成手段は、
    前記第1のコンテンツの再生内容に対応する手話映像を第2のコンテンツとして生成することを特徴とする請求項5に記載の受信端末。
  7. 前記スクリプトを配信する配信装置とWebSocketによる通信を確立する通信手段とを有することを特徴とする請求項5又は6に記載の受信端末。
  8. コンピュータを、請求項2乃至4の何れか1項に記載の配信装置が有する各手段として機能させるための配信プログラム。
  9. コンピュータを、請求項5乃至7の何れか1項に記載の受信端末が有する各手段として機能させるための受信プログラム。
JP2013096588A 2013-05-01 2013-05-01 コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム Pending JP2014220572A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013096588A JP2014220572A (ja) 2013-05-01 2013-05-01 コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013096588A JP2014220572A (ja) 2013-05-01 2013-05-01 コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム

Publications (1)

Publication Number Publication Date
JP2014220572A true JP2014220572A (ja) 2014-11-20

Family

ID=51938689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013096588A Pending JP2014220572A (ja) 2013-05-01 2013-05-01 コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム

Country Status (1)

Country Link
JP (1) JP2014220572A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046184A (ja) * 2015-08-26 2017-03-02 日本放送協会 配信装置、情報提示装置、及び情報提示プログラム
JP2018182591A (ja) * 2017-04-17 2018-11-15 日本放送協会 情報処理システム、コンテンツ配信サーバ、端末及びプログラム
JP2019134298A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134299A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019536339A (ja) * 2016-10-25 2019-12-12 株式会社ソニー・インタラクティブエンタテインメント ビデオコンテンツの同期の方法および装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066159A (ja) * 2011-08-26 2013-04-11 Nippon Hoso Kyokai <Nhk> 受信機

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066159A (ja) * 2011-08-26 2013-04-11 Nippon Hoso Kyokai <Nhk> 受信機

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017046184A (ja) * 2015-08-26 2017-03-02 日本放送協会 配信装置、情報提示装置、及び情報提示プログラム
JP2019536339A (ja) * 2016-10-25 2019-12-12 株式会社ソニー・インタラクティブエンタテインメント ビデオコンテンツの同期の方法および装置
JP7048595B2 (ja) 2016-10-25 2022-04-05 株式会社ソニー・インタラクティブエンタテインメント ビデオコンテンツの同期の方法および装置
US11330150B2 (en) 2016-10-25 2022-05-10 Sony Interactive Entertainment Inc. Video content synchronisation method and apparatus
JP2018182591A (ja) * 2017-04-17 2018-11-15 日本放送協会 情報処理システム、コンテンツ配信サーバ、端末及びプログラム
JP2019134298A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP2019134299A (ja) * 2018-01-31 2019-08-08 東芝映像ソリューション株式会社 受信機
JP7123567B2 (ja) 2018-01-31 2022-08-23 Tvs Regza株式会社 受信機
JP7123566B2 (ja) 2018-01-31 2022-08-23 Tvs Regza株式会社 受信機

Similar Documents

Publication Publication Date Title
US8789121B2 (en) System architecture and method for composing and directing participant experiences
US11917221B2 (en) Encoding device and method, reproduction device and method, and program
CN107770626A (zh) 视频素材的处理方法、视频合成方法、装置及存储介质
CN110381266A (zh) 一种视频生成方法、装置以及终端
JP2014220572A (ja) コンテンツ配信システム、配信装置、受信端末、配信プログラム、及び受信プログラム
JP6280215B2 (ja) ビデオ会議端末、セカンダリストリームデータアクセス方法およびコンピュータ記憶媒体
US20230102054A1 (en) Method, an apparatus and a computer program product for video encoding and video decoding
JP2015130164A (ja) ネットワークを通してメディアを伝送するシステム及び方法
James et al. Establishing connectivity between the existing networked music notation packages Quintet. net, Decibel ScorePlayer and MaxScore
US20150371661A1 (en) Conveying Audio Messages to Mobile Display Devices
WO2019118890A1 (en) Method and system for cloud video stitching
JP2020517195A (ja) ユーザが製作したコンテンツの第三者コンテンツストリーム中へのリアルタイム取り込み
WO2021049048A1 (ja) 映像提供システムおよびプログラム
JP6373560B2 (ja) 出力データ提供サーバ、情報処理装置、情報処理システム、出力データ提供方法、および情報処理方法
JP2020127211A (ja) 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
JP5111422B2 (ja) コンテンツ制作システム及びコンテンツ制作プログラム
JP5777233B1 (ja) 動画生成装置及び動画生成方法
WO2018074454A1 (ja) 動画再生管理方法、システムおよびプログラム
JP7314387B1 (ja) コンテンツ生成装置、コンテンツ生成方法、およびプログラム
KR20200005966A (ko) 중계 서버, 컨텐츠 생성 장치 및 이들을 포함하는 컨텐츠 생성 시스템
TWI792649B (zh) 視頻產生方法以及線上學習方法
JP7228174B1 (ja) アプリケーションプログラム及び端末
JP5111405B2 (ja) コンテンツ制作システム及びコンテンツ制作プログラム
JP7062328B1 (ja) コンテンツ配信サーバ
JP2016024760A (ja) 表示制御装置、表示端末、及び表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170926