JP2014212460A - 映像出力装置、字幕サーバ装置、映像出力方法、及びプログラム - Google Patents

Abstract

【課題】異なる複数の言語の字幕を同時に出力することが可能な映像出力装置を提供する。【解決手段】映像情報を映像サーバ装置３から受信する映像受信部１０１と、異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報を、字幕サーバ装置４から受信する字幕受信部１０２と、字幕受信部１０２が受信した異なる言語の字幕を示す２以上の字幕情報を、映像受信部１０１が受信した映像情報と合成して出力する出力部１１３とを備えた。【選択図】図１

Description

本発明は、字幕と映像とを合成して出力する映像出力装置や、合成に用いられる字幕を提供する字幕サーバ装置等に関するものである。

従来技術として、入力映像信号に文字データを合成し、表示装置に対して出力する文字表示処理装置であって、前記表示装置の表示方式に基づき、文字サイズを選択する文字サイズ選択手段と、前記文字データを、前記選択された文字サイズの文字映像信号に変換する文字データ展開手段と、前記入力映像信号に前記文字映像信号を合成する映像合成手段とを備えた、文字表示処理装置が知られていた（例えば、特許文献１参照）。

特開２００１−６９４１８号公報（第１頁、第１図等）

しかしながら、従来の映像出力装置においては、映像に対して、一度に一の言語の字幕しか出力することができないという課題があった。このため、例えば、一の言語の字幕が示す表現が、他の言語でどのように表現されるかを容易に確認することができなかった。また、例えば、異なる言語圏の複数のユーザが同時に内容を把握することが可能な字幕付きの映像を出力することができなかった。

本発明の映像出力装置は、異なる言語の字幕を示す２以上の字幕情報を、映像情報と合成して出力する映像出力装置である。

かかる構成により、異なる複数の言語の字幕を同時に出力することができる。

本発明の映像出力装置は、前記映像出力装置において、映像情報を映像サーバ装置から受信する映像受信部と、異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報を、１または２以上の字幕サーバ装置から受信する字幕受信部と、字幕受信部が受信した異なる言語の字幕を示す２以上の字幕情報を、映像受信部が受信した映像情報と合成して出力する出力部とを備えた映像出力装置である。

かかる構成により、１または２以上の字幕サーバ装置から受信した異なる複数の言語の字幕情報を、映像情報と合成して同時に出力することができる。

また、本発明の映像出力装置は、前記映像出力装置において、字幕受信部は、更に、映像情報の出力に対する字幕情報が出力されるタイミングを示す字幕タイミング情報を、字幕サーバ装置から受信し、出力部は、字幕受信部が受信した異なる言語の字幕を示す２以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、映像受信部が受信した映像情報と合成して出力する映像出力装置である。

かかる構成により、映像情報と、字幕を示す文字列の情報とを、タイミングを適切に合わせて出力することができる。

また、本発明の映像出力装置は、前記映像出力装置において、出力部は、映像情報の出力に応じて、映像情報の出力箇所を示す情報を取得し、出力箇所を示す情報に対応する字幕タイミング情報と対応付けられた字幕情報を出力する映像出力装置である。

かかる構成により、映像情報の出力箇所に対応した字幕情報を出力することができる。

また、本発明の映像出力装置は、前記映像出力装置において、映像受信部は、複数のフレーム画像を有する映像情報であって、各フレーム画像を出力するタイミングを示す映像タイミング情報が、各フレーム画像と対応付けられている映像情報を受信し、字幕タイミング情報は、１以上の映像タイミング情報を指定する情報であり、出力部は、一のフレーム画像を出力する際に、フレーム画像と対応付けられた映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力する映像出力装置である。

かかる構成により、フレーム画像に対応付けられた映像タイミング情報に対応する字幕情報を出力することができ、字幕情報と映像情報とをより確実にタイミングを合わせて出力することができる。例えば、映像情報が、途中から出力された場合においても、出力されるフレーム画像に合わせた字幕情報を出力することができる。

また、本発明の映像出力装置は、前記映像出力装置において、映像受信部が受信した映像情報が一時的に格納される映像格納部と、映像受信部が受信した字幕情報が一時的に格納される字幕格納部とを更に備え、映像受信部は、受信した映像情報を、映像格納部に蓄積し、字幕受信部は、受信した字幕情報を、字幕格納部に蓄積し、出力部は、映像格納部に格納された映像情報と、字幕格納部に格納された字幕情報とを読み出して出力する映像出力装置である。

かかる構成により、次以降に出力される映像情報と字幕情報とを予め格納しておくことができるため、例えば、通信状況等によって、映像情報や字幕情報の送信の遅延等が起こっても、映像情報や字幕情報の出力に遅れが生じないようにすることができる。

また、本発明の映像出力装置は、前記映像出力装置において、出力部による映像情報及び字幕情報の少なくとも一方の出力状況を示す情報を取得する出力状況取得部と、出力状況取得部が取得した出力状況を示す情報に応じて、字幕サーバ装置に、字幕情報の送信を要求する情報である字幕要求情報を送信する要求送信部とを更に備え、字幕サーバ装置は、字幕要求情報に応じて字幕情報を送信する映像出力装置である。

かかる構成により、映像情報や字幕情報の出力状況に応じて、字幕情報を取得することができ、不必要な量の字幕情報を取得しないようにして、字幕情報を取得する量を最適化することができる。

また、本発明の映像出力装置は、前記映像出力装置において、出力状況取得部は、映像格納部における映像情報の格納状況、及び字幕格納部における字幕情報の格納状況の少なくとも一方を示す情報を、出力状況を示す情報として取得する映像出力装置である。

かかる構成により、映像情報や字幕情報の格納状況に応じて、字幕情報を取得することができ、不必要な量の字幕情報を格納しないようにして、出力のために格納する字幕情報の量を最適化することができる。

また、本発明の映像出力装置は、前記映像出力装置において、映像格納部に格納される映像情報の格納量の最大値と、字幕格納部に格納される字幕情報の格納量の最大値とが互いに異なる映像出力装置である。

かかる構成により、例えば、データ容量が小さいために送受信に要する時間の短い字幕情報の格納量を減らして、格納部の容量を節約することができる。

また、本発明の映像出力装置は、前記映像出力装置において、映像格納部に格納される映像情報の格納量の最大値と、字幕格納部に格納される字幕情報の格納量の最大値とを、それぞれ、自装置の処理能力に応じた値に設定する格納量設定部を更に備えた映像出力装置である。

かかる構成により、処理能力に応じて、映像格納部と字幕格納部の格納量の最大値を最適化することができる。

また、本発明の映像出力装置は、前記映像出力装置において、映像受信部が受信した映像情報の種類に応じて、字幕タイミング情報と対応付けられた字幕情報及び字幕タイミング情報と対応付けられていない字幕情報のいずれか一方の送信を指定する情報を、字幕サーバ装置に送信する指定送信部を更に備え、字幕受信部は、送信を指定する情報に応じて字幕サーバ装置が送信する字幕情報であって、字幕タイミング情報と対応付けられていない字幕情報を更に受信し、出力部は、字幕受信部が受信した字幕情報が字幕タイミング情報と対応付けられていない場合は、字幕情報を映像受信部が受信した映像情報と合成して出力する映像出力装置である。

かかる構成により、映像情報の種類に応じて、字幕タイミング情報を用いた字幕情報の出力を行うか否かを制御できる。

また、本発明の映像出力装置は、前記映像出力装置において、映像情報及び字幕情報の受信に関する制御に用いられる制御情報の送信を要求する情報である制御要求情報を、制御サーバ装置に送信する制御要求情報送信部と、制御サーバ装置から制御要求情報に応じて送信される制御情報を受信する制御情報受信部とを更に備え、制御情報を用いて、映像情報と字幕情報との受信を行う映像出力装置である。

かかる構成により、映像出力装置が予め映像情報と字幕情報との受信を制御するための情報を有していなくても、制御情報を用いて、映像情報と字幕情報との受信を制御することが可能となる。

また、本発明の映像出力装置は、前記映像出力装置において、異なる２以上の言語に対応する手話の映像をそれぞれ示す情報である２以上の手話映像情報を、手話映像サーバ装置から受信する手話映像受信部を更に備え、出力部は、更に、手話映像受信部が受信した異なる言語の２以上の手話映像情報を、映像受信部が受信した映像情報と合成して出力する映像出力装置である。

かかる構成により、異なる複数の言語の手話映像を同時に出力することができる。

また、本発明の映像出力装置は、前記映像出力装置において、映像出力装置に字幕情報を送信する字幕サーバ装置であって、異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報が格納されている字幕サーバ側格納部と、字幕サーバ側格納部に格納されている異なる言語の２以上の字幕情報を読み出して映像出力装置に送信する字幕サーバ側送信部とを備えた字幕サーバ装置である。

かかる構成により、映像情報と、タイミングを適切に合わせて出力することが可能な字幕を示す文字列の情報を提供することができる。

本発明による映像出力装置等によれば、異なる複数の言語の字幕を同時に出力することができる。

本発明の実施の形態における映像システムのブロック図 同映像システムの映像出力装置の動作の一例を説明するフローチャート 同映像システムの字幕サーバ装置の動作の一例を説明するフローチャート 同映像システムの映像システムの概念図 同映像システムの制御サーバ装置の制御情報管理表の一例を示す図 同映像システムの映像サーバ装置の映像情報管理表の一例を示す図 同映像システムの映像サーバ装置の映像情報の一例を示す模式図 同映像システムの字幕サーバ装置の字幕群情報管理表の一例を示す図 同映像システムの字幕サーバ装置の字幕群情報の一例を示す図 同映像システムの手話映像サーバ装置の手話映像管理表を示す図 同映像システムの手話映像サーバ装置の手話映像情報の第一の例を示す模式図（図１１（ａ））及び第二の例を示す模式図（図１１（ｂ）） 同映像システムの映像出力装置の格納量管理表を示す図 同映像システムの映像出力装置が受信した制御情報の一例を示す図 同映像システムの映像出力装置の最初の字幕組情報が蓄積された状態の字幕組管理表を示す図（図１４（ａ））、及びその後に複数の字幕組情報が追記された状態の字幕組管理表を示す図（図１４（ｂ）） 同映像システムの映像出力装置の映像情報の表示例を示す図 同映像システムの映像出力装置の映像情報の表示例を示す図 同映像システムの映像出力装置を実現するコンピュータの一例を示す模式図 同映像出力装置を実現するコンピュータの内部構成の一例を示す図

以下、映像出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態）
図１は、本実施の形態における映像システム１０００のブロック図である。

映像システム１０００は、１または２以上の映像出力装置１、１または２以上の制御サーバ装置２、１または２以上の映像サーバ装置３、１または２以上の字幕サーバ装置４、及び１または２以上の手話映像サーバ装置５を備える。なお、ここでは説明の便宜上、映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５をそれぞれ一つずつ備えている場合を例に挙げて説明する。映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５は、有線または無線のネットワークや通信回線等を介してデータの送受信が可能となるよう接続されている。

映像出力装置１は、映像受信部１０１、字幕受信部１０２、映像格納部１０３、字幕格納部１０４、手話映像受信部１０５、格納量設定部１０６、出力状況取得部１０７、要求送信部１０８、指定送信部１０９、映像要求情報送信部１１０、制御要求情報送信部１１１、制御情報受信部１１２、出力部１１３を備える。

制御サーバ装置２は、制御情報格納部２０１、制御サーバ側受信部２０２、制御サーバ側送信部２０３を備える。

映像サーバ装置３は、映像サーバ側格納部３０１、映像サーバ側受信部３０２、映像サーバ側送信部３０３を備える。

字幕サーバ装置４は、字幕サーバ側格納部４０１、字幕サーバ側受信部４０２、字幕サーバ側送信部４０３を備える。

手話映像サーバ装置５は、手話映像サーバ側格納部５０１、手話映像サーバ側受信部５０２、手話映像サーバ側送信部５０３を備える。

映像出力装置１は、映像を出力するための装置である。映像出力装置１は、例えば、ユーザが映像の出力に利用する端末装置である。映像出力装置１は、例えば、コンピュータや、携帯電話、いわゆるスマートフォンやタブレット型端末等の多機能携帯端末等で実現される。

映像受信部１０１は、１または２以上の映像サーバ装置３から１または２以上の映像情報を受信する。映像情報は、動画像の情報である。映像受信部１０１が受信する映像情報は、映像サーバ装置３からパケット等に分割されてストリーミング配信される映像情報でもよいし、プログレッシブダウンロード形式や、ダウンロード形式で提供される映像情報でも良い。映像情報のフォーマットや、ファイル形式、圧縮方式、アスペクト比、画素数、色深度等は問わない。映像情報は、更に、音声情報を有していても良い。また、ストリーミング時に利用されるプロトコル等は問わない。音声情報は、映像情報と同期していても良いし、同期していなくても良い。

映像受信部１０１は、例えば、複数のフレーム画像を有する映像情報を受信する。ここでのフレーム画像を有する映像情報とは、結果的に出力の対象となる複数のフレーム画像を取得することが可能な映像情報と考えても良い。例えば、フレーム画像を有する映像情報は、複数のフィールド画像を有する映像情報であっても良い。

映像受信部１０１は、例えば、複数のフレーム画像を有する映像情報であって、各フレーム画像を出力するタイミングを示す映像タイミング情報が、各フレーム画像と対応付けられている映像情報を受信する。映像タイミング情報が、各フレーム画像と対応付けられているということは、例えば、各フレーム画像に映像タイミング情報が付与されていることである。映像タイミング情報が付与されているということは、例えば、映像タイミング情報が各フレーム画像に埋め込まれていることであっても良いし、各フレーム画像のヘッダ情報や、フッタ情報や、プロパティ等に、映像タイミング情報が埋め込まれていることであっても良い。あるいは、フレーム画像に対応付けられたフレームの識別情報と、映像タイミング情報とが対応付けて、図示しない記憶媒体等に格納されていることであっても良い。また、映像タイミング情報が、各フレーム画像と対応付けられているということは、連続した複数のフレーム画像群に対して、各フレーム画像に割り当てられる映像タイミング情報の範囲や、複数の映像タイミング情報が格納されていても良い。

映像タイミング情報とは、各フレーム画像の出力されるタイミングを判断するため、あるいは決定するために用いられる情報である。映像タイミング情報は、例えば、各フレーム画像の出力順番を示す連番である。また、映像タイミング情報は、例えば、各フレーム画像に付与された、各フレーム画像の出力時刻を示す情報であり、具体的には、タイムコードである。タイムコードは、例えば、時、分、秒と、フレームとの組合せで表される。タイムコードは、タイムスタンプとも呼ばれる。タイムコードのフォーマット等は問わない。各フレーム画像に付与されるタイムコードは、例えば、ＳＭＰＴＥタイムコードである。なお、ここでの時刻とは、世界の標準時刻等の、絶対的な時刻であっても良いし、映像情報の出力が開始された時刻を起点等とした相対的な時刻であっても良い。

映像情報は、映像情報を識別する情報と対応付けられていても良い。映像情報を識別する情報を、ここでは映像識別情報と称す。映像情報を識別する情報は、例えば、映像情報のタイトルや、映像情報に割り当てられたコード等である。

また、映像情報は、映像情報の種類を示す情報を有していても良い。映像情報の種類とは、例えば、映像情報が作成されたタイミングにより分類された種類であってもよい。作成されたタイミングにより分類された種類を示す情報は、例えば、映像情報の種類を示す情報とは、ライブ（生）の映像情報であるか否かを示す情報である。また、映像情報で表示される内容により分類された種類であっても良い。例えば、映像情報の種類を示す情報は、ストーリー性のある内容の映像であるか、ストーリー性のない内容の映像であるかを示す情報であってもよい。映像情報の種類を示す情報は、例えば文字列の情報である。

映像受信部１０１は、例えば、受信した映像情報を、映像格納部１０３に蓄積する。例えば、映像受信部１０１は、映像サーバ装置３から、映像情報が分割して送信される場合、映像受信部１０１は、受信した映像情報を順次映像格納部１０３に蓄積する。また、映像情報がストリーミング配信される場合等においては、受信したパケット等の情報を用いて構成したフレーム画像を、映像格納部１０３に順次蓄積しても良い。また、映像受信部１０１は、映像情報を蓄積する際に、映像情報の復号化等を行っても良い。

映像受信部１０１は、後述する制御情報を用いて映像情報を受信しても良い。制御情報を用いて受信するということは、例えば、制御情報を用いて特定された映像サーバ装置３から送信される映像情報を受信することも含む概念である。

映像受信部１０１は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。映像受信部１０１は、通信デバイスを含むと考えても、含まないと考えても良い。

字幕受信部１０２は、異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報を、１または２以上の字幕サーバ装置４から受信する。字幕情報は、字幕を示す文字列の情報である。文字列の情報は、テキストデータと考えても良い。ここでの文字列は、１文字以上の文字で構成される。ただし、ここでの文字列の情報は、文字列を示す静止画像の情報であっても良い。ここでの言語は、通常、自然言語である。異なる２以上の言語とは、例えば、異なる種類の言語である。但し、同じ種類の言語の異なる方言も異なる言語と考えても良い。異なる言語とは、言語体系が異なる言語と考えても良い。言語は、例えば、日本語、英語、フランス語、中国語、韓国語等である。異なる２以上の言語の組合せは問わない。字幕情報が対応付けられている映像情報が一の言語の音声を示す音声情報を有している場合、異なる２以上の言語のうちの一の言語は、映像情報が有する音声情報が示す一の言語と同じ言語としても良い。

字幕受信部１０２は、更に、受信する字幕情報の言語を示す情報である言語識別情報を受信しても良い。言語識別情報は、例えば、言語を識別可能な情報である。言語識別情報は、例えば、言語名（例えば、日本語や、英語、仏語等）や、言語が公用語である国や地域を示す情報（例えば、日本、米国、韓国等）や、言語を指定するコード（例えば、ｊａ、ｅｎ等）等である。また、言語識別情報は、自国語や外国語、第二外国語等の、言語のグループを分ける名称等であっても良いし、第一言語、第二言語、主言語、副言語等のように、言語を区別するためのものであっても良い。字幕受信部１０２は、言語識別情報を有する字幕情報を受信しても良いし、各字幕情報と対応付けられた言語識別情報を更に受信しても良い。例えば、字幕受信部１０２は、異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報と、各字幕情報の言語を示す言語識別情報とを受信しても良い。

字幕受信部１０２は、例えば、映像受信部１０１が受信した映像情報に対応付けられた字幕情報を受信する。映像情報に対応付けられた字幕情報を受信するということは、例えば、映像受信部１０１が受信した映像情報と同じ映像識別情報が対応付けられている字幕情報や字幕組情報を受信することである。字幕組情報とは、例えば、異なる２以上の言語の字幕をそれぞれ示す２以上の字幕情報と、各字幕情報をそれぞれ映像情報と合成して出力するタイミングを示す字幕タイミング情報とを有する情報である。一の字幕情報とこの字幕情報を出力するタイミングを示す字幕タイミング情報とは互いに対応付けられていると考えても良い。字幕組情報は、更に、上述したような字幕組情報を構成する各字幕情報の言語を示す言語識別情報を有していても良い。なお、字幕受信部１０２は、一の映像情報に対応付けられた全ての字幕情報をまとめて受信しても良い。

字幕受信部１０２は、例えば、映像情報の出力に対する各字幕情報が出力されるタイミングを示す情報である字幕タイミング情報を、更に、字幕サーバ装置４から受信してもよい。ここでの映像情報は、例えば、映像受信部１０１が受信した映像情報である。ここでの映像情報は、字幕情報が合成して出力される映像情報と考えても良い。例えば、字幕受信部１０２は、異なる２以上の言語の字幕の情報である２以上の字幕情報と、映像情報の出力に対する各字幕情報が出力されるタイミングを示す情報である字幕タイミング情報とを、字幕サーバ装置４から受信する。あるいは、字幕受信部１０２は、異なる２以上の言語の字幕の情報である２以上の字幕情報と、各字幕情報の言語を示す言語識別情報と、映像情報の出力に対する各字幕情報が出力されるタイミングを示す情報である字幕タイミング情報とを、字幕サーバ装置４から受信してもよい。

字幕受信部１０２が受信する異なる２以上の言語の字幕情報と、この字幕情報について字幕受信部１０２が受信する字幕タイミング情報とは１対１で対応付けられていても良く、多対１で対応付けられていても良い。例えば、異なる２以上の言語の字幕情報にそれぞれ対応する字幕タイミング情報を、一の字幕タイミング情報としても良い。例えば、字幕受信部１０２は、第一の言語の字幕情報と第一の字幕タイミング情報との組と、第一の言語とは異なる第二の言語の字幕情報と第一の字幕タイミング情報との組とを受信しても良いし、この２つの組を受信する代わりに、第一の言語の字幕情報と第二の言語の字幕情報と第一の字幕タイミング情報との組を受信しても良い。このいずれの場合においても、第一の言語の字幕情報の出力タイミングと、第二の言語の字幕情報の出力タイミングとを、第一の字幕タイミング情報が示すタイミングと指定したこととなる。なお、字幕受信部１０２が受信した、異なる２以上の言語の２以上の字幕情報と、この２以上の字幕情報に対応する一の字幕タイミング情報との組を、上述した字幕組情報と考えても良い。

同じタイミングを示す字幕タイミング情報と対応付けられた異なる言語の２以上の字幕情報は、例えば、同じ内容の字幕を、異なる言語で表した字幕を示す文字列の情報を有している。この場合、一の字幕情報が示す文字列を他の言語に自動翻訳した文字列を他の字幕情報として用いても良い。

映像情報の出力に対する字幕情報が出力されるタイミングとは、例えば、映像情報の一部（例えば、最初のフレーム画像）が出力されるタイミング（例えば時刻等）を基準とした字幕情報が出力されるタイミングや、映像情報の各フレーム画像が出力されるタイミングを示す情報（例えば、タイムコードやフレーム画像の出力順番等）を用いて指定されるタイミングである。映像情報の出力に対する字幕情報が出力されるタイミングは、字幕情報が合成される映像情報の１以上の部分、例えば１以上のフレーム画像が出力されるタイミングに対する相対的なタイミングと考えてても良い。

字幕タイミング情報は、字幕情報の出力を開始するタイミングを指定する情報であっても良いし、字幕情報を出力する期間を指定する情報であっても良い。期間を指定する情報は、例えば、字幕情報の出力を開始するタイミングを指定する情報と、出力を終了するタイミングを指定する情報との組合せや、出力を開始するタイミングを指定する情報と、出力の継続期間とを指定する情報との組合せ等である。字幕情報の出力を開始するタイミングを示す字幕タイミング情報は、例えば、字幕情報に対応する映像情報の、所定のフレーム画像（通常は、最初のフレーム画像）を出力開始してからの経過時間や、所定のフレーム画像の出力を開始してから出力した総フレーム画像数や、次に出力するフレーム画像の出力順番を示す情報である。出力の継続期間を指定する情報とは、例えば、出力の継続時間や、出力されるフレーム数を指定する情報である。字幕情報の出力を開始するタイミングや、字幕情報の出力を行う期間は、例えば、時刻を示す情報を用いて指定される。例えば、期間は、開始時刻と終了時刻とをそれぞれ示す情報で指定される。ここでの時刻は、上述したような絶対的な時刻であっても相対的な時刻であってもよい。ここでの時刻を示す情報としては、例えば、上述したようなタイムコードが用いられる。

また、字幕タイミング情報は、１以上の映像タイミング情報を指定する情報であってもよい。例えば、字幕タイミング情報は、映像情報の１または２以上のフレーム画像に対応付けられた１または２以上のタイムコードを指定する情報であっても良い。例えば、字幕タイミング情報は、一のタイムコードや、タイムコードの範囲を示す情報（例えば、起点となるタイムコードと終点となるタイムコードとの組合せ）であっても良い。

字幕受信部１０２は、例えば、受信した字幕情報を、字幕タイミング情報と対応付けて字幕格納部１０４に蓄積する。字幕受信部１０２は、字幕情報と字幕タイミング情報との組、例えば、字幕組情報を字幕格納部１０４に蓄積するようにしても良い。例えば、異なる２以上の言語の２以上の字幕情報と、各字幕情報にそれぞれ対応付けられた２以上の字幕タイミング情報とを受信した場合、字幕受信部１０２は、２以上の字幕情報のそれぞれと、各字幕情報にそれぞれ対応する字幕タイミング情報とを個別に対応付けて蓄積する。また、例えば、異なる２以上の言語の２以上の字幕情報と、一の字幕タイミング情報とを受信した場合、字幕受信部１０２は、２以上の字幕情報と、一の字幕タイミング情報とを対応付けて蓄積しても良い。また、字幕受信部１０２は、更に、字幕情報と、字幕情報の言語の識別情報とを対応付けて蓄積しても良い。

なお、字幕受信部１０２は、字幕サーバ装置４が送信する、字幕タイミング情報と対応付けられていない字幕情報を更に受信してもよい。この字幕情報は、例えば、後述するような指定送信部１０９が送信する字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報に応じて、字幕サーバ装置４が送信する字幕情報であっても良い。

字幕受信部１０２は、例えば、後述する制御情報を用いて字幕情報や字幕タイミング情報等を受信しても良い。制御情報を用いて受信するということは、例えば、制御情報を用いて特定された字幕サーバ装置４から送信される字幕情報や字幕タイミング情報等を受信することも含む概念である。

字幕受信部１０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。字幕受信部１０２は、通信デバイスを含むと考えても、含まないと考えても良い。

映像格納部１０３には、映像受信部１０１が受信した映像情報が一時的に格納される。例えば、映像格納部１０３には、例えば、映像情報の１または２以上のフレーム画像が格納される。映像格納部１０３は、映像格納部１０３に格納されたフレーム画像は、通常、蓄積順や、フレーム画像に対応付けられた映像タイミング情報が示す順番に読み出されて、読み出されたフレーム画像は、削除される。例えば、映像格納部１０３は、フレームメモリやＶＲＡＭ等と考えても良い。映像格納部１０３は、映像受信部１０１が受信した映像情報を一時的にバッファリングするためのいわゆるバッファやキャッシュと考えても良い。なお、映像受信部１０１が、プログレッシブダウンロード形式や、ダウンロード形式で提供される映像情報を受信した場合、この映像情報は、一旦、映像格納部１０３や図示しない記憶媒体等に蓄積された後、蓄積された映像情報から読み出された１または２以上のフレーム画像が、映像格納部１０３に蓄積されるようにしても良い。

映像格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。かかることは以下の格納部においても同様である。

字幕格納部１０４には、字幕受信部１０２が受信した異なる２以上の言語の２以上の字幕情報が一時的に格納される。字幕格納部１０４は、字幕受信部１０２が受信した字幕情報を一時的にバッファリングするためのいわゆるバッファと考えても良い。字幕格納部１０４には、更に、字幕情報に対応する字幕タイミング情報が、字幕情報と対応付けられて蓄積されても良い。例えば、字幕格納部１０４には、異なる２以上の言語の２以上の字幕情報が、各字幕情報にそれぞれ対応付けられた２以上の字幕タイミング情報とそれぞれ個別に対応付けられて格納されても良い。また、例えば、異なる２以上の言語の２以上の字幕情報と、この２以上の字幕情報に対応する一の字幕タイミング情報とが対応付けられて、字幕格納部１０４に格納されても良い。また、更に、字幕情報の言語を示す言語識別情報が各字幕情報と対応付けられて格納されても良い。字幕格納部１０４には、例えば、字幕受信部１０２が受信した１または２以上の字幕組情報が格納されても良い。

なお、字幕格納部１０４の字幕情報の格納量の最大値と、映像格納部１０３の映像情報の格納量の最大値とは、異なっていることが好ましく、映像情報の格納量の最大値が、字幕情報の格納量の最大値よりも大きい値に設定することがより好ましい。通常、文字列で構成される字幕情報の方が、画像の情報で構成される映像情報よりも、同じ期間に出力されるデータ量が小さいため、字幕情報を字幕サーバ装置４から取得するために要する時間は、同じ時間分の映像情報を取得するために要する時間よりも短く、字幕情報の取得に要する時間は短くて済む。このため、映像情報とは異なり、大量の字幕情報を映像出力装置１に、予めバッファリングしておかなくても、通信状況の変化等による字幕情報の出力の遅れは発生しにくいため、字幕格納部１０４の格納量の最大値を映像情報よりも小さくしても、字幕情報の出力についての影響は少ない。また、字幕格納部１０４の格納量を小さくすることで、映像出力装置１の記憶媒体の使用量を削減することが可能となる。また、言語毎に、字幕格納部１０３に格納される字幕情報の格納量の最大値は、字幕情報の言語毎に設定されていても良い。例えば、言語毎に、同じ意味の文や単語を表す場合に必要なデータ容量が異なる。特に、一バイトの文字列の情報（テキスト）で表される言語の字幕情報と、二バイトの文字列の情報で表される言語の字幕情報とでは、同じ意味の文や単語を表す場合に必要なデータ容量が大きく異なる。このため、言語毎に、格納される字幕情報のデータ容量の最大値を異なる値に設定することで、映像出力装置１の記憶媒体の使用量を削減して、最適化することができる。

なお、字幕格納部１０４及び映像格納部１０３は、一の記憶媒体にそれぞれ割り当てられた格納領域であっても良い。

手話映像受信部１０５は、手話映像サーバ装置５から異なる２以上の言語に対応する手話の映像をそれぞれ示す２以上の手話映像情報を受信する。手話の言語とは、手話の方式等と考えても良い。例えば、手話の方式が異なる場合、手話の言語が異なると考えても良い。手話映像受信部１０５は、例えば、受信する手話映像情報のそれぞれの言語を示す情報である手話言語識別情報を更に受信しても良い。手話言語識別情報は、上述した言語識別情報と同様の、言語を識別可能な情報である。手話言語識別情報として、上述した言語識別情報を用いても良い。また、手話言語識別情報は、手話の形式や方式、スタイル、システム等を指定する情報であってもよい。手話映像受信部１０５は、例えば、異なる２以上の言語に対応する２以上の手話映像情報と、各手話映像情報のそれぞれに対応付けられた手話言語識別情報とを受信する。

手話映像受信部１０５は、映像受信部１０１が受信した映像情報に対応付けられた手話映像情報を受信する。一の映像情報に対応付けられた手話映像情報とは、例えば、一の映像情報の映像識別情報と対応付けられた手話映像情報である。

手話映像受信部１０５は、複数のフレーム画像を有する情報であって、各フレーム画像を出力するタイミングを示す手話タイミング情報が、各フレーム画像と対応付けられている手話映像情報を受信する。手話映像情報は、映像に示されている内容が手話であることを除けば、上述した映像情報と同様の情報であるため、ここでは詳細な説明は省略する。また、ここでの手話タイミング情報や、フレーム画像と手話タイミング情報との対応付け等については、上述した映像情報や、映像情報と映像タイミング情報との対応付けと同様であるので、詳細な説明は省略する。

手話映像受信部１０５は、例えば、受信した手話映像を図示しない手話映像格納部に蓄積する。なお、手話映像受信部１０５は、受信した２以上の異なる言語に対応する２以上の手話映像情報を、それぞれ手話言語識別情報と対応付けて格納しても良い。この手話映像格納部は、例えば、上述した映像格納部１０３と同様の格納部である。

手話映像受信部１０５は、例えば、映像受信部１０１と同様に、後述する制御情報を用いて手話映像情報等を受信しても良い。

手話映像受信部１０５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。手話映像受信部１０５は、通信デバイスを含むと考えても、含まないと考えても良い。

格納量設定部１０６は、映像格納部１０３に格納される映像情報の格納量の最大値と、字幕格納部１０４に格納される字幕情報の格納量の最大値とを、それぞれ、自装置の処理能力に応じた値に設定する。ここでの映像情報の格納量は、例えば、映像格納部１０３に格納され得る映像情報の総出力時間やフレーム数、データ容量（例えば、ビット数等）で表される。例えば、映像情報の格納量の最大値を、３０秒に設定するということは、映像格納部１０３に、最大で３０秒間分の映像情報（例えば、３０秒間分のフレーム画像）が格納可能であることを意味する。なお、格納量設定部１０６は、字幕情報の格納量の最大値として、異なる複数の言語に対応する字幕情報のそれぞれについて字幕情報の格納量の最大値を設定するようにしても良いし、全てを合わせた字幕情報について最大値を設定するようにしても良い。かかることは以下においても同様である。

また、ここでの字幕情報の格納量は、例えば、字幕格納部１０４に格納される字幕情報の出力開始時刻の属する期間や、格納される字幕情報の出力時間（出力期間）、字幕情報または字幕組情報の数、または、字幕情報のデータ容量や総文字数で表される。例えば、字幕情報の格納量の最大値を１０秒に設定するということは、字幕格納部１０４に、出力される時間の合計時間が、１０秒以内の範囲となる１または２以上の字幕情報が格納可能であることを意味する。

格納量設定部１０６は、例えば、自装置の処理能力に応じて上記の格納量の最大値を示す値を取得し、取得した値で、図示しない記憶媒体等に最大値を設定する値として蓄積する。また、図示しない記憶媒体に格納されている上記の格納量の最大値を設定する値を、自装置の処理能力に応じて取得した値で更新しても良い。

自装置の処理能力とは、映像出力装置１の処理能力を決定する１以上の要素、例えば、ＭＰＵ及び／またはＧＰＵの処理能力を示す値（例えば、動作クロック数や、コア数等）や、キャッシュやＲＡＭ等のメモリのサイズ、通信速度、表示解像度等の１以上の組合せで決定される。自装置の処理能力を決定する要素を示す情報は、例えばコンピュータシステムのプロファイルを取得するソフトウェア等として公知であるので、ここでは説明は省略する。

格納量設定部１０６は、通常、自装置の処理能力が高い場合（例えば、処理が速い、容量が大きい等の場合）の映像情報の格納量の最大値が、処理能力の低い場合の最大値以上となるように、映像情報の格納量の最大値を決定する。かかることは、字幕情報の格納量の最大値についても同様である。

格納量設定部１０６は、例えば、自装置の処理能力に関する値、例えば上記のような１または２以上の要素の値を取得する。そして、この値を用いて、格納量の最大値を決定する。

格納量設定部１０６は、例えば、映像情報の格納量の最大値を、ＭＰＵ及び／またはＧＰＵの動作クロック数の値が増加するに従って、線形的に増加、あるいは段階的に増加する値に設定する。例えば、格納量設定部１０６は、クロック数を引数とした非減少関数の値を、映像情報の格納量に設定する。

また、格納量設定部１０６は、例えば、映像情報の格納量の最大値を、メモリの容量の値が増加するに従って、線形的に増加、あるいは段階的に増加する値に設定する。例えば、格納量設定部１０６は、映像情報の格納量の最大値を、メモリの容量の値を引数とする非減少関数の値に設定する。

また、格納量設定部１０６は、例えば、映像情報の格納量の最大値を、表示解像度の値が増加するに従って、線形的に増加、あるいは段階的に増加する値に設定する。例えば、格納量設定部１０６は、映像情報の格納量の最大値を、表示解像度を引数とする非減少関数の値に設定してもよい。

また、格納量設定部１０６は、これらの組合せにより映像情報の格納量の最大値を決定しても良い。かかることは、字幕情報の格納量の最大値についても同様である。

また、格納量設定部１０６は、自装置の処理能力に関する１以上の要素の値を取得し、図示しない記憶媒体等に予め格納されている、上述した１以上の要素の値の範囲と、映像情報の格納量の最大値と、字幕情報の格納量の最大値とを対応付けた情報から、上記の要素の値を含む値の範囲と対応付けられた映像情報の格納量の最大値と、字幕情報の格納量の最大値とをそれぞれ取得しても良い。

なお、格納量設定部１０６は、上記以外のどのような処理により、映像情報の格納量の最大値を設定しても良い。

出力状況取得部１０７は、出力部１１３による映像情報及び字幕情報の少なくとも一方の出力状況を示す情報を取得する。映像情報の出力状況とは、映像情報が予め指定されたタイミングで出力されているか否か（フレーム画像の出力が停止していないか否か等）、あるいは、映像情報が出力可能な状況であるか否か（例えば、映像格納部１０３に出力可能な映像情報が格納されているか）を示す情報である。予め指定されたタイミングとは、例えば、各フレーム画像に対応付けられた映像タイミング情報が示すタイミングや、映像情報の各フレーム画像の再生レート等を示す情報が示すタイミング等である。字幕情報の出力状況についても同様である。なお、異なる複数の言語に対応する字幕情報のうちの、一または一部の言語に対応する字幕情報の出力状況を、字幕情報の出力状況として用いても良い。かかることは以下においても同様である。

出力状況取得部１０７は、例えば、映像格納部１０３における映像情報の格納状況、及び字幕格納部１０４における字幕情報の格納状況の少なくとも一方を示す情報を、出力状況を示す情報として取得する。ここでの映像情報の格納状況とは、例えば、未出力の映像情報の格納状況である。かかることは、字幕情報の格納状況についても同様である。映像情報の格納状況は、例えば、映像情報の各フレーム画像が、予め指定されたタイミングで出力できる状況にあるか否かを示す情報となることから、実質的に映像情報の出力状況を示す情報と考えられる。例えば、出力状況取得部１０７は、予め指定された映像情報の格納量の最大値または格納量設定部１０６が設定した映像情報の格納量の最大値のうちの、予め指定された比率以上の映像情報が、映像格納部１０３に格納されているか否かを示す情報を取得する。予め指定された比率は、通常、０から１００％までの間の比率である。あるいは、最大値に対する映像情報が格納されている比率を示す値を取得する。あるいは、予め指定された閾値以上の映像情報が格納されているか否かを判断しても良い。あるいは、格納量設定部１０６が設定した映像情報の格納量の最大値に応じて取得された閾値以上の映像情報が格納されているか否かを判断しても良い。この閾値は、映像情報の格納量の値を引数として、予め指定された関数を用いて算出されても良いし、映像情報の格納量の最大値の範囲と対応付けられて図示しない記憶媒体等に予め格納されている閾値から取得しても良い。字幕情報の格納状況に関しても同様である。なお、字幕情報の予め指定されたタイミングは、例えば、字幕情報に対応付けられた字幕タイミング情報が示すタイミングである。

なお、出力状況を示す情報は、例えば、映像情報及び字幕情報の少なくとも一方が出力されているか否かを示す情報であってもよい。例えば、映像情報や字幕情報の出力が一時停止されているか否かや、スロー再生されているか否か等の情報であっても良い。また、映像受信部１０１や字幕受信部１０２の通信速度の情報であっても良い。

要求送信部１０８は、字幕サーバ装置４に、字幕要求情報を送信する。字幕要求情報は、字幕情報の送信を要求する情報である。字幕要求情報は、字幕情報に対応する映像情報識別情報を有していても良い。要求送信部１０８は、例えば、後述する映像要求情報送信部１１０が送信する映像要求情報が有する映像識別情報と同じ映像識別情報を有する要求情報を送信する。字幕要求情報は、送信を要求する字幕情報の１または２以上の言語を指定する情報を有していても良い。例えば、この１または２以上の言語は、例えば、ユーザ等により図示しない受付部等を介して指定された言語や、予め設定されている言語である。この言語を指定する情報として、上述した言語識別情報を用いても良い。

字幕要求情報は、例えば、出力順番が、字幕受信部１０２が直前に受信した字幕情報の次以降である１または２以上の字幕情報の送信を要求する情報である。字幕要求情報は、送信を要求する字幕情報の量を指定する情報を有していても良い。ここでの量は、送信を要求する字幕情報が対応付けられた字幕タイミング情報の期間や、字幕情報または字幕組情報の数や、字幕情報のデータ容量や総文字数等で表される量である。

要求送信部１０８は、例えば、出力状況取得部１０７が取得した出力状況を示す情報に応じて、字幕サーバ装置４に、字幕要求情報を送信する。要求送信部１０８は、例えば、字幕格納部１０４に字幕情報があふれないように、あるいは、字幕格納部１０４の字幕情報が空にならないように、出力状況を示す情報に応じて字幕要求情報を送信する。例えば、要求送信部１０８は、出力状況を示す情報に応じたタイミングで字幕要求情報を送信する。例えば、要求送信部１０８は、出力状況取得部１０７が取得した出力状況を示す情報として、映像情報（または、字幕情報）の格納されている量を取得した場合に、この格納されている量の増加に応じて、字幕要求情報を送信する間隔を、線形的に増加、あるいは段階的に増加させるようにする。要求送信部１０８は、出力状況取得部１０７が、出力状況を示す情報として、映像情報（または、字幕情報）の格納量の最大値のうちの予め指定された比率以上の映像情報（または、字幕情報）が格納されているか否かを示す情報を取得する場合において、予め指定された比率以上の映像情報（または、字幕情報）が格納されていることを示す情報を取得した場合は、要求送信部１０８は、例えば、予め指定された比率未満の場合よりも、遅いタイミング毎に、即ち、長い間隔で字幕情報の送信を要求する情報を送信する。あるいは、出力状況取得部１０７が、最大値に対する映像情報（または、字幕情報）が格納されている比率を示す値を取得する場合、要求送信部１０８は、この比率を示す値を引数とした非増加関数により算出したタイミング毎に字幕情報の送信を要求する情報を送信しても良い。非増加関数は、例えば、線形的に減少する関数や、段階的に減少する関数等である。あるいは、要求送信部１０８は、この比率を示す情報の値の属する値域に対して予め設定された、比率が高くなる毎に非増加となるタイミング毎に、字幕情報の送信を要求する情報を送信しても良い。なお、要求情報は、映像情報の出力状況と字幕情報の出力状況の組合せに応じて字幕要求情報を送信しても良い。

また、出力状況を示す情報に応じて字幕要求情報を送信するということは、出力状況を示す情報に応じた量の字幕情報の送信を要求する情報を送信することであってもよい。例えば、要求送信部１０８は、上記において、要求情報を送信するタイミングを遅くする代わりに、字幕情報の送信量を減らすような要求を送信すればよい。

なお、ここでの出力状況を示す情報に応じて、字幕要求情報を送信するということは、出力状況に応じて、字幕要求情報を送信しないことも含む概念である。また、出力状況に応じて、字幕情報の送信を停止（一時停止も含む）を指示する字幕要求情報を送信しても良い。

なお、要求送信部１０８は、映像識別情報を字幕要求情報として送信しても良い。また、映像識別情報の代わりに、映像識別情報が示す映像情報に対応する字幕情報の群を識別する識別情報を用いるようにしてもよい。かかることは、以下においても同様である。このような字幕情報の群を識別する識別情報である字幕群識別情報は、例えば、後述する制御情報から取得可能である。

要求送信部１０８は、例えば、後述する制御情報が示す字幕サーバ装置４に字幕要求情報を送信する。

要求送信部１０８は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。要求送信部１０８は、通信デバイスを含むと考えても、含まないと考えても良い。

指定送信部１０９は、映像受信部１０１が受信した映像情報の種類に応じて、字幕タイミング情報と対応付けられた字幕情報及び字幕タイミング情報と対応付けられていない字幕情報のいずれか一方の送信を指定する情報（以下、字幕指定情報と称す）を、字幕サーバ装置４に送信する。映像情報の種類は、映像受信部１０１が受信した映像情報の種類を示す情報から判断しても良い。また、後述する制御情報受信部１１２が受信した制御情報が有する映像情報の種類を示す情報から取得しても良い。字幕指定情報は、映像識別情報を有していても良い。

指定送信部１０９は、映像情報の種類を示す情報が、予め指定された種類を示す情報であるか否かを判断し、予め指定された情報であるか否かに応じて、異なる字幕指定情報を送信する。指定送信部１０９は、例えば、映像情報受信部が受信した映像情報の種類を示す情報が、ライブ（生）の映像情報であることを示す情報である場合に、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を送信し、ライブの映像情報でないことを示す情報である場合（例えば、録画された映像情報であることを示す情報である場合）には、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を送信する。

指定送信部１０９は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。指定送信部１０９は、通信デバイスを含むと考えても、含まないと考えても良い。

映像要求情報送信部１１０は、映像要求情報を映像サーバ装置３に送信する。映像要求情報は、映像情報の送信を要求する情報である。映像要求情報は、例えば、送信を要求する映像情報の映像識別情報を有する。映像識別情報は、例えば、映像情報のファイル名や、タイトル、映像情報に割り当てられたコード等である。また、映像要求情報は、映像情報を構成するフレーム画像を指定する情報を有していても良い。例えば、映像要求情報は、映像受信部１０１が直前に受信したフレーム画像の次以降の出力順番の１以上のフレーム画像を指定する情報を有していてもよい。また、映像要求情報は、送信する映像情報の量を指定する情報等を有していても良い。

映像要求情報送信部１１０は、例えば、後述する制御情報が示す映像サーバ装置３に映像要求情報を送信する。

映像要求情報送信部１１０は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。映像要求情報送信部１１０は、通信デバイスを含むと考えても、含まないと考えても良い。

制御要求情報送信部１１１は、制御要求情報を、制御サーバ装置２に送信する。制御要求情報は、制御情報の送信を要求する情報である。制御情報は、映像情報及び字幕情報の受信に関する制御に用いられる情報である。制御要求情報は、例えば、映像識別情報を有している。この映像識別情報は、例えば、上述した映像要求情報が有する映像識別情報と同じ映像情報を示す映像識別情報である。これにより、例えば、ユーザが視聴しようとする映像情報に対応する制御情報の送信を要求することができる。なお、映像識別情報を制御要求情報として用いてもよい。例えば、制御要求情報送信部１１１は、図示しない受付部等を介してユーザから受け付けた、ユーザが視聴しようとする映像情報を示す映像識別情報を有する制御要求情報を送信する。

制御情報は、例えば、映像情報及び字幕情報を送信する映像サーバ装置３及び字幕サーバ装置４を指定する情報を有する。映像サーバ装置３及び字幕サーバ装置４を指定する情報は、例えば、映像サーバ装置３及び字幕サーバ装置４のＵＲＬやＩＰアドレス等のアドレス情報である。制御情報は、更に、手話映像情報を送信する手話映像サーバ装置５を指定する情報を有していても良い。制御情報は、更に、映像情報や字幕情報が格納されているディレクトリを指定する情報や、映像識別情報や字幕情報の群の識別情報等を有していても良い。手話映像サーバ装置５を指定する情報は、手話映像サーバ装置５のＵＲＬやＩＰアドレス等のアドレス情報である。制御情報は、更に、映像情報の種類を示す情報を有していても良い。また、映像情報や、字幕情報や、手話映像情報を出力する際の配置場所を示す配置情報等を有していてもよい。更に、制御情報は、字幕サーバ装置４や手話映像サーバ装置５が送信する字幕情報や手話映像情報の言語をそれぞれ指定するために用いられる、２以上の言語を指定する２以上の言語識別情報や２以上の手話言語識別情報を有していてもよい。例えば、映像情報と、字幕情報と、手話映像情報とを、一の画面に合成して表示する際の、それぞれの配置を示す配置情報を有していても良い。配置情報は、例えば、１または２以上の座標や、サイズ等の情報で構成される。

制御情報のデータ形式等は問わない。例えば、制御情報は、ＸＨＴＭＬやＸＭＬで記述されたデータである。

制御要求情報送信部１１１は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。制御要求情報送信部１１１は、通信デバイスを含むと考えても、含まないと考えても良い。

制御情報受信部１１２は、上述した制御要求情報送信部１１１が送信した制御要求情報に応じて、制御サーバ装置２から送信される制御情報を受信する。制御情報受信部１１２は、受信した制御情報を、図示しない記憶媒体等に蓄積する。

制御情報受信部１１２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。制御情報受信部１１２は、通信デバイスを含むと考えても、含まないと考えても良い。

出力部１１３は、映像受信部１０１が受信した映像情報を出力する。映像情報が更に音声情報を含む場合、この音声情報を更に出力しても良い。ここでの出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。音声を出力するスピーカー等の出力デバイスを更に備えていても良い。

出力部１１３は、例えば、映像情報を構成するフレーム画像を、フレーム画像に対応付けられた出力順番に従って、予め指定されたフレームレート等で出力する。また、出力部１１３は、例えば、映像情報を構成する各フレーム画像を、各フレーム画像に対応付けられた映像タイミング情報が示すタイミングで出力してもよい。例えば、出力部１１３は、例えば、映像情報を構成する各フレーム画像を、各フレーム画像に対応付けられたタイムコードが示すタイミングで出力する。

出力部１１３は、字幕受信部１０２が受信した異なる言語の字幕を示す２以上の字幕情報を、映像受信部１０１が受信した映像情報と合成して出力する。例えば、出力部１１３は、字幕受信部１０２が受信した異なる言語の字幕を示す２以上の字幕情報を同時に、映像受信部１０１が受信した一の映像情報と合成して出力する。出力部１１３は、例えば、字幕受信部１０２が受信した異なる言語の字幕を示す２以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、映像受信部１０１が受信した映像情報と合成して出力する。例えば、出力部１１３は、字幕受信部１０２が受信した異なる言語の字幕を示す２以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報が示すタイミングで、映像受信部１０１が受信した映像情報と合成して出力する。例えば、出力部１１３は、映像情報の出力に応じて、映像情報の出力箇所を示す情報を取得し、出力箇所を示す情報に対応する字幕タイミング情報と対応付けられた字幕情報を出力する。ここでの出力箇所とは、例えば、時間軸上の箇所である。ここでの出力箇所とは、例えば、映像情報の出力開始時点からの経過時間やフレーム数で表した現在の出力箇所である。ここでの出力箇所とは、出力されるタイミングと考えてもよい。出力部１１３は、例えば、映像情報の出力開始からの経過時間の計測を開始して、次に出力する映像情報（具体的には、次に出力するフレーム画像）が出力される経過時間を取得し、この経過時間と一致する時間を示す文字タイミング情報と対応付けられた字幕情報を、字幕受信部１０２が受信した字幕情報から取得する。そして、出力部１１３は、取得した字幕情報と映像情報とを合成して出力する。また、例えば、出力部１１３は、映像情報の出力開始から出力したフレーム数のカウントを開始して、次に出力する画像フレームのフレーム数をカウント結果から取得し、この画像フレームと一致するフレーム数を示す文字タイミング情報と対応付けられた字幕情報を、字幕受信部１０２が受信した字幕情報から取得する。そして、出力部１１３は、取得した字幕情報と映像情報とを合成して出力するようにしてもよい。なお、出力部１１３は、適宜、フレーム数を、時刻を示す情報に変換したり時刻を示す情報をフレーム数に変換しても良い。

また、出力部１１３は、例えば、映像情報の一のフレーム画像を出力する際に、出力するフレーム画像と対応付けられた映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力するようにしてもよい。例えば、出力部１１３は、映像受信部１０１が受信した映像情報の一のフレーム画像を出力する際に、このフレーム画像に対応付けられた映像タイミング情報を取得し、この映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力する。例えば、出力部１１３は、映像受信部１０１が、映像受信部１０１が受信した映像情報の一のフレーム画像を出力する際に、このフレーム画像に対応付けられた映像タイミング情報であるタイムコードを取得し、この映像タイミング情報であるタイムコードと一致するタイムコードと対応付けられた字幕情報を出力する。映像タイミング情報であるタイムコードと一致するタイムコードと対応付けられた字幕情報とは、例えば、映像タイミング情報であるタイムコードが示す時刻を示す字幕タイミング情報、または映像タイミング情報であるタイムコードが示す時刻を含む期間を示す字幕タイミング情報と対応付けられた字幕情報である。

出力部１１３は、例えば、映像格納部１０３に格納されている映像情報と、字幕格納部１０４に格納されている字幕情報とを読み出し、合成して出力する。例えば、出力部１１３は、映像格納部１０３に格納されている映像情報を、フレーム画像ごとに読み出して出力する。例えば、出力部１１３は、映像格納部１０３に格納されている映像情報のフレーム画像を、蓄積された順番に、あるいは予めタイムコード等で指定されたタイミング（例えば、時刻）に読み出して出力する。読み出したフレーム画像は、例えば、映像格納部１０３から削除する。また、出力部１１３は、字幕情報を、字幕情報に対応付けられた字幕タイミング情報が示すタイミング（例えば、時刻）に読み出して出力する。

出力部１１３は、更に、手話映像受信部１０５が受信した異なる言語の２以上の手話映像情報を、映像受信部１０１が受信した映像情報と合成して出力してもよい。例えば、出力部１１３は、手話映像受信部１０５が受信した異なる言語の２以上の手話映像情報を同時に、映像受信部１０１が受信した映像情報と合成して出力してもよい。

出力部１１３は、例えば、手話映像受信部１０５が受信した異なる２以上の手話映像情報の各フレーム画像を、この各フレーム画像に対応する手話タイミング情報が示すタイミングで、映像受信部１０１が受信した映像情報と合成して出力する。例えば、出力部１１３は、映像受信部１０１が、映像受信部１０１が受信した映像情報の一のフレーム画像を出力する際に、このフレーム画像に対応付けられた映像タイミング情報であるタイムコードを取得し、このタイムコードと一致する手話タイミング情報であるタイムコードと対応付けられた手話映像情報のフレーム画像を、手話映像受信部１０５が受信した２以上の異なる言語の手話映像情報からそれぞれ取得し、取得した２以上の手話映像情報を映像情報と合成して出力する。

また、出力部１１３は、字幕受信部１０２が受信した異なる２以上の言語の２以上の字幕情報が字幕タイミング情報と対応付けられていない字幕情報である場合には、２以上の言語の字幕情報を映像受信部１０１が受信した映像情報と合成して出力する。つまり、字幕タイミング情報を用いずに、字幕情報を映像情報と合成して出力する。例えば、出力部１１３は、字幕情報を、映像情報に対する出力タイミングを考慮せずに、映像情報と合成して出力する。例えば、出力部１１３は、上述したような字幕タイミング情報を用いた字幕情報の出力されるタイミングを映像情報が出力されるタイミングと合わせる処理を行わずに字幕情報を出力する。例えば、出力部１１３は、字幕受信部１０２が受信した異なる２以上の言語の２以上の字幕情報を、受信した直後に映像情報と合成して出力してもよい。あるいは、受信した異なる２以上の言語の２以上の字幕情報を、それぞれ字幕格納部１０４に蓄積し、字幕格納部１０４に蓄積されている映像情報を、予め指定されたタイミングやトリガー等に応じて蓄積順に読み出して、例えば、読み出した時点で出力される映像情報（例えば、フレーム画像）と合成して出力しても良い。

映像情報に対する、字幕情報及び手話映像情報の少なくとも一方の合成は、例えば、どのように行われても良い。例えば、映像情報の一部の領域に重ねて字幕情報及び手話映像情報の少なくとも一方を表示しても良い。重ねる際には、字幕情報及び手話映像情報の可読性や視認性を損ねないようにすることが好ましい。例えば、字幕情報と手話映像情報をそのまま重ねて出力しても良いし、乗算モード等の予め指定された合成モードで合成を行って重ねて出力しても良い。あるいは、映像情報と、字幕情報と、手話映像情報とを、それぞれが重ならないように異なる領域に出力しても良い。通常、手話映像情報は、映像情報よりも小さいサイズの領域に配置して出力される。このことは、手話映像情報の元のサイズ（例えば、画素数）自体が、映像情報のサイズ（画素数）よりも小さいことであっても良いし、手話映像情報が映像情報よりも小さいサイズの領域に出力されるよう、出力部１１３が、手話映像情報が配置される領域のサイズを、映像情報が配置される領域のサイズに対して相対的に縮小することであっても良い。

映像情報と、言語が異なる２以上の字幕情報とを出力する際のそれぞれの配置や合成モード等はどのように決定しても良い。また、２以上の手話映像情報を更に出力する際の配置や合成モード等はどのように決定しても良い。例えば、映像情報と、字幕情報と、手話映像情報とがそれぞれ配置される配置領域や合成モード等が、予めデフォルト等で指定されていても良い。また、上述した制御情報受信部１１２が受信した制御情報に含まれている配置を示す情報を用いて、映像情報と、字幕情報と、手話映像情報との配置を設定しても良い。

なお、出力部１１３は、図示しない受付部等を介して受け付けるユーザの指示等に応じて、複数の字幕情報のうちの１または２以上の出力を行わないようにしても良い。例えば、ユーザが指定する言語識別情報と対応付けられた１または２以上の字幕情報を出力しないようにしても良い。

また、出力部１１３は、図示しない受付部等を介して受け付けるユーザの指示等に応じて、複数の手話映像情報のうちの１または２以上の出力を行わないようにしても良い。例えば、ユーザが指定する手話言語識別情報と対応付けられた１または２以上の手話映像情報を出力しないようにしても良い。

なお、字幕情報の出力されている期間は、どのように決定されても良い。例えば、字幕情報に対応付けられた字幕タイミング情報が、字幕が表示される期間を指定する情報である場合には、出力部１１３は、例えば、この期間の開始から終了まで、字幕情報を表示する。また、字幕タイミング情報に、字幕情報の出力の開始のタイミングを指定する情報だけが含まれている場合、予め指定された経過時間だけ字幕情報を、映像情報と合成して出力しても良いし、あるいは、次の出力順番の字幕情報が出力されるタイミングまで、字幕情報を出力しても良い。

出力部１１３は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部１１３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

なお、映像出力装置１は、図示しない手話映像要求情報送信部を有していても良い。手話映像要求情報送信部は、手話映像要求情報を手話映像サーバ装置５に送信する。手話映像要求情報は、手話映像情報の送信を要求する情報である。手話映像要求情報は、手話映像情報が対応する映像情報の映像識別情報を有していても良い。手話映像要求情報は、異なる２以上の言語の手話の映像を示す手話映像情報を要求するための、２以上の異なる言語の手話をそれぞれ示す２以上の手話言語識別情報を有していても良い。この手話言語識別情報は、図示しない受付部等を介してユーザから受け付けたものであっても良いし、上述した制御情報に含まれるものであっても良い。手話映像要求情報送信部は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。手話映像要求情報送信部は、通信デバイスを含むと考えても、含まないと考えても良い。

制御サーバ装置２は、映像出力装置１に制御情報を送信するサーバ装置である。制御サーバ装置２は、例えば、コンピュータ等で実現可能である。

制御情報格納部２０１には、１または２以上の制御情報が格納される。制御情報は、映像識別情報と対応付けられて制御情報格納部２０１に格納されていても良い。一の映像識別情報と対応付けられた制御情報は、例えば、この映像識別情報が示す映像情報に関する情報を有している。一の映像識別情報と対応付けられた制御情報は、例えば、この映像識別情報が示す映像情報を送信する映像サーバ装置３、及びこの映像情報に対応する字幕情報を送信する字幕サーバ装置４を指定する情報を有する。この制御情報は、更に、この映像情報に対応する手話映像情報を送信する手話映像サーバ装置５を指定する情報を有していても良い。また、この制御情報は、更に、一の映像識別情報が示す映像情報や字幕情報が格納されているディレクトリを指定する情報や、一の映像識別情報が示す映像情報の種類を示す情報や、一の映像識別情報が示す映像情報やこれに対応する字幕情報や手話映像情報を出力する際の配置場所を示す配置情報等を有していてもよい。また、制御情報は、映像情報と合成して出力する２以上の字幕情報のそれぞれに対応する言語を指定する２以上の言語識別情報を有していても良い。また、制御情報は、出力する手話映像情報の２以上の言語を指定する２以上の言語識別情報を有していても良い。

制御サーバ側受信部２０２は、映像出力装置１の制御要求情報送信部１１１から送信される制御要求情報を受信する。制御サーバ側受信部２０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。制御サーバ側受信部２０２は、通信デバイスを含むと考えても、含まないと考えても良い。

制御サーバ側送信部２０３は、制御情報格納部２０１に格納されている一の制御情報を読み出して、映像出力装置１に送信する。例えば、制御サーバ側送信部２０３は、制御サーバ側受信部２０２が受信した制御要求情報に対応した制御情報を読み出して、送信する。制御サーバ側送信部２０３は、例えば、制御要求情報が有する映像識別情報と一致する映像情報と対応付けて制御情報格納部２０１に格納されている制御情報を読み出して、制御要求情報の送信元となる映像出力装置１に送信する。制御サーバ側送信部２０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。制御サーバ側送信部２０３は、通信デバイスを含むと考えても、含まないと考えても良い。

映像サーバ装置３は、映像出力装置１に映像情報を送信するサーバ装置である。映像サーバ装置３は、例えば、コンピュータ等で実現可能である。

映像サーバ側格納部３０１には、１または２以上の映像情報が格納される。例えば、映像サーバ側格納部３０１には、１または２以上の映像情報が、映像識別情報と対応付けて格納される。映像情報は、映像情報の種類を示す情報と対応付けて格納されていても良い。

映像サーバ側受信部３０２は、映像出力装置１の映像要求情報送信部１１０から送信される映像要求情報を受信する。映像サーバ側受信部３０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。映像サーバ側受信部３０２は、通信デバイスを含むと考えても、含まないと考えても良い。

映像サーバ側送信部３０３は、映像サーバ側格納部３０１に格納されている映像情報を読み出して、映像要求情報の送信元となる映像出力装置１に送信する。映像サーバ側送信部３０３は、例えば、映像要求情報に含まれる映像識別情報と一致する映像識別情報と対応付けられている映像情報を、映像サーバ側格納部３０１から読み出して送信する。また、映像サーバ側送信部３０３は、映像情報に対応付けて格納されている映像情報の種類を示す情報を、更に映像サーバ側格納部３０１から読み出して、映像出力装置１に送信してもよい。映像サーバ側送信部３０３は、いわゆるストリーミング配信等のように、一の映像情報をパケット等に分割して一定または不定のタイミング等で送信しても良いし、一の映像情報を複数に分割して送信しても良いし、一の映像情報を一度に送信しても良い。映像サーバ側送信部３０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。映像サーバ側送信部３０３は、通信デバイスを含むと考えても、含まないと考えても良い。

字幕サーバ装置４は、字幕要求情報に応じて字幕情報を送信するサーバ装置である。字幕サーバ装置４は、例えば、コンピュータ等で実現可能である。

字幕サーバ側格納部４０１には、異なる２以上の言語の字幕を示す２以上の字幕情報と、これらの各字幕情報を出力するタイミングを示す字幕タイミング情報とが対応付けて格納されている。各字幕情報は、更に、映像識別情報と対応付けられて字幕サーバ側格納部４０１に格納されていても良い。また、各言語の字幕を示す字幕情報は、各言語に対応する言語識別情報と対応付けられて字幕サーバ側格納部４０１に格納されていても良い。なお、字幕サーバ側格納部４０１には、字幕タイミング情報と対応付けられていない異なる２以上の言語の字幕を示す２以上の字幕情報が格納されていても良い。

字幕サーバ側受信部４０２は、映像出力装置１から送信される字幕要求情報を受信する。例えば、字幕サーバ側受信部４０２は、映像識別情報を有する字幕要求情報を受信する。

また、字幕サーバ側受信部４０２は、映像出力装置１から送信される字幕指定情報を受信する。

字幕サーバ側受信部４０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。字幕サーバ側受信部４０２は、通信デバイスを含むと考えても、含まないと考えても良い。

字幕サーバ側送信部４０３は、字幕サーバ側格納部４０１に格納されている異なる２以上の言語の字幕を示す字幕情報から、異なる２以上の言語の２以上の字幕情報を読み出して映像出力装置１に送信する。字幕サーバ側送信部４０３は、例えば、字幕要求情報が有する映像識別情報と対応付けられた異なる２以上の言語の２以上の字幕情報を、字幕サーバ側格納部４０１から読み出して送信する。また、字幕サーバ側送信部４０３は、字幕要求情報が有する２以上の言語識別情報にそれぞれ対応付けられた２以上の字幕情報を、字幕サーバ側格納部４０１から読み出して送信しても良い。字幕サーバ側送信部４０３は、一の字幕要求情報の受信に応じて、一の映像情報に対応する全ての字幕情報を映像出力装置１に送信しても良いし、一の字幕要求情報を受信するごとに、一の映像情報に対応する予め指定された量の字幕情報、例えば、一の映像情報に対応する異なる２以上の言語の２以上の字幕情報を、出力順等に従って送信しても良い。また、一の字幕要求情報に応じて送信する字幕情報の量は、字幕要求情報が有する字幕情報の送信量を指定する情報や、送信量の増減を指定する情報に応じて決定される量としてもよい。

また、字幕サーバ側送信部４０３は、字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を受け付けた場合、字幕タイミング情報と対応付けられた字幕情報を送信する。例えば、字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を受け付けた場合、字幕サーバ側送信部４０３は、この字幕指定情報が有する映像識別情報に対応付けられた字幕情報に対して、字幕タイミング情報と対応付けられた字幕情報を送信することを設定するための情報、例えば、いわゆるフラグ等の情報を付与する。この情報は、例えば、図示しない記憶媒体等に蓄積される。そして、この情報が付与された字幕情報を送信する際には、字幕タイミング情報と対応付けられた字幕情報を送信するようにしてもよい。

また、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する情報を受け付けた場合、字幕サーバ側送信部４０３は、字幕タイミング情報と対応付けられていない２以上の異なる言語の２以上の字幕情報を送信する。例えば、字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を受け付けた場合、字幕サーバ側送信部４０３は、この字幕指定情報が有する映像識別情報に対応付けられた字幕情報に対して、字幕タイミング情報と対応付けられていない字幕情報を送信することを設定するための情報、例えば、いわゆるフラグ等の情報を付与する。そして、この情報が付与された字幕情報を送信する際には、字幕タイミング情報と対応付けられていない字幕情報を送信する。字幕タイミング情報と対応付けられていない字幕情報を送信するということは、例えば、字幕情報が、字幕タイミング情報と対応付けられているか否かに関わらず、字幕情報は送信するが、字幕タイミング情報は送信しないことであっても良いし、同じ映像識別情報と対応付けられた字幕情報として、字幕タイミング情報と対応付けられた字幕情報と、字幕タイミング情報と対応付けられていない字幕情報があった場合に、字幕タイミング情報と対応付けられていない字幕情報を送信することであってもよい。

字幕サーバ側送信部４０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。字幕サーバ側送信部４０３は、通信デバイスを含むと考えても、含まないと考えても良い。

手話映像サーバ装置５は、手話映像情報を送信するサーバ装置である。手話映像サーバ装置５は、例えば、コンピュータ等で実現可能である。

手話映像サーバ側格納部５０１には、異なる２以上の言語の手話を示す２以上の手話映像情報が格納される。例えば、手話映像サーバ側格納部５０１には、異なる２以上の言語の手話を示す２以上の手話映像情報が、映像識別情報と対応付けて格納される。また、各言語の手話を示す手話映像情報は、手話映像の言語を示す手話言語識別情報と対応付けられて、手話映像サーバ側格納部５０１に格納されていてもよい。

手話映像サーバ側受信部５０２は、映像出力装置１の図示しない手話映像要求情報送信部から送信される手話映像要求情報を受信する。手話映像サーバ側受信部５０２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。手話映像サーバ側受信部５０２は、通信デバイスを含むと考えても、含まないと考えても良い。

手話映像サーバ側送信部５０３は、手話映像サーバ側格納部５０１に格納されている手話映像情報から、異なる２以上の言語の手話を示す２以上の手話映像情報を読み出して、手話映像要求情報の送信元となる映像出力装置１に送信する。映像サーバ側送信部３０３は、例えば、手話映像要求情報に含まれる映像識別情報と一致する映像識別情報と対応付けられている異なる２以上の言語手話映像情報を、手話映像サーバ側格納部５０１から読み出して送信する。また、手話映像サーバ側送信部５０３は、手話映像要求情報が有する２以上の手話言語識別情報にそれぞれ対応付けられた２以上の手話映像情報を読み出して送信してもよい。手話映像サーバ側送信部５０３は、いわゆるストリーミング配信等のように、一の手話映像情報をパケット等に分割して一定または不定のタイミング等で送信しても良いし、一の手話映像情報を複数に分割して送信しても良いし、一の手話映像情報を一度に送信しても良い。手話映像サーバ側送信部５０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。手話映像サーバ側送信部５０３は、通信デバイスを含むと考えても、含まないと考えても良い。

次に、映像システム１０００の映像出力装置１の動作の一例について図２のフローチャートを用いて説明する。ここでは、映像受信部１０１が、映像情報として、フレーム画像が映像タイミング情報と対応付けられた受信し、この映像タイミング情報を利用して字幕情報の出力を適宜行う場合を例に挙げて説明する。また、手話映像情報を構成する各フレーム画像にも、映像タイミング情報と同様の情報（ここでは、手話映像タイミング情報と称す）が対応付けられているものとする。

（ステップＳ１０１）映像出力装置１は、図示しない受付部等を介して、一の映像情報を出力する指示を受け付けたか否かを判断する。受け付けた場合、ステップＳ１０２に進み、受け付けていない場合、ステップＳ１０１に戻る。

（ステップＳ１０２）格納量設定部１０６は、自装置の処理能力に関する値を取得し、取得した値に応じて映像格納部１０３と字幕格納部１０４の格納量の最大値をそれぞれ設定する。

（ステップＳ１０３）制御要求情報送信部１１１は、制御サーバ装置２に制御要求情報を送信する。

（ステップＳ１０４）制御情報受信部１１２は、制御情報を受信したか否かを判断する。受信した場合、ステップＳ１０４に進み、受信していない場合、ステップＳ１０４に戻る。

（ステップＳ１０５）映像要求情報送信部１１０は、制御情報が示す映像サーバ装置３に映像要求情報を送信する。

（ステップＳ１０６）指定送信部１０９は、制御情報が示す映像情報の種類に応じた字幕指定情報を字幕サーバ装置４に送信する。

（ステップＳ１０７）要求送信部１０８は、字幕要求情報を制御情報が示す字幕サーバ装置４に送信する。

（ステップＳ１０８）図示しない手話映像要求情報送信部は、手話映像要求情報を、制御情報が示す手話映像サーバ装置５に送信する。

（ステップＳ１０９）映像受信部１０１は、映像サーバ装置３から映像情報を受信したか否かを判断する。例えば、出力順にパケット単位等で分割されて送信される映像情報を構成する一以上のフレーム画像を受信したか否かを判断する。受信した場合、ステップＳ１１０に進み、受信していない場合、ステップＳ１１１に進む。

（ステップＳ１１０）映像受信部１０１は、ステップＳ１０９で受信した映像情報を、映像格納部１０３に蓄積する。なお、映像受信部１０１は、例えば、ステップＳ１０９で受信した映像情報の一以上のパケットを図示しない記憶媒体等に一時記憶しておくようにし、一時記憶された一以上のパケットに対して復号化等を行うことにより、映像情報の一以上のフレーム画像を取得して、映像格納部１０３に蓄積してもよい。そして、ステップＳ１１１に進む。

（ステップＳ１１１）字幕受信部１０２は、字幕サーバ装置４から、２以上の異なる言語の字幕を示す２以上の字幕情報を受信したか否かを判断する。字幕サーバ装置４から、言語が異なる字幕情報と、字幕タイミング情報との２以上の組が送信された場合、この組を受信したか否かを判断しても良い。受信した場合、ステップＳ１１２に進み、受信していない場合、ステップＳ１１３に進む。字幕情報と、この字幕情報と対応付けられた字幕タイミング情報との２以上の組は、例えば、上述した字幕組情報であってもよい。字幕受信部１０２は、言語識別情報と対応付けられた字幕情報を受信しても良い。

（ステップＳ１１２）字幕受信部１０２は、受信した異なる言語の２以上の字幕情報を字幕格納部１０４に蓄積する。また、異なる言語の２以上の字幕情報と、各字幕情報と対応付けられた字幕タイミング情報との２以上の組を受信した場合、字幕受信部１０２は、この組を、字幕格納部１０４に蓄積しても良い。更に、字幕受信部１０２は、受信した言語識別情報を、字幕情報と対応付けて蓄積しても良い。そして、ステップＳ１１３に進む。

（ステップＳ１１３）手話映像受信部１０５は、手話映像サーバ装置５から、２以上の異なる言語の手話を示す２以上の手話映像情報を受信したか否かを判断する。例えば、パケット単位等で分割されて送信される異なる言語の２以上の手話映像情報を受信したか否かを判断する。受信した場合、ステップＳ１１４に進み、受信していない場合、ステップＳ１１５に進む。なお、手話映像受信部１０５は、手話言語識別情報と対応付けられた手話映像情報を受信しても良い。

（ステップＳ１１４）手話映像受信部１０５は、受信した手話映像情報を、図示しない手話映像格納部に一時記憶する。更に、字幕受信部１０２は、受信した手話言語識別情報を、手話情報と対応付けて蓄積しても良い。この処理は、ステップＳ１１０と同様の処理としても良い。そして、ステップＳ１１５に進む。

（ステップＳ１１５）出力部１１３は、映像情報を出力するタイミングであるか否かを判断する。例えば、映像格納部１０３に格納されている映像情報を構成するフレーム画像に対応付けられた映像タイミング情報のうちの、最も早い出力タイミングを示す映像タイミング情報が示すタイミングであるか否かを判断する。そして、このタイミングである場合、映像情報を出力するタイミング、ここでは、このタイミング情報と対応付けられたフレーム画像を出力するタイミングであると判断する。また、このタイミングでなければ、映像情報を出力するタイミングでないと判断する。なお、一番最初のフレーム画像を出力する際には、単に、一番最初のフレーム画像が映像格納部１０３に格納されているか否かを判断するようにしてもよい。あるいは、映像格納部１０３に１フレーム画像分以上の予め指定された量の映像情報が蓄積されている場合に、出力するタイミングであると判断しても良い。出力するタイミングである場合、ステップＳ１１６に進み、タイミングでない場合、ステップＳ１２４に進む。

（ステップＳ１１６）出力部１１３は、映像格納部１０３から出力する映像情報を取得する。ここでは、例えば、映像格納部１０３から、最も早い出力時機を示す映像タイミング情報と対応付けられたフレーム画像を読み出す。なお、読み出したフレーム画像は、映像格納部１０３から削除する。ここでの削除は、削除されたことを示すフラグ等の情報を付与することであっても良い。かかることは以下においても同様である。

（ステップＳ１１７）出力部１１３は、字幕格納部１０４に格納されている字幕情報が、字幕タイミング情報と対応付けられているか否かを判断する。対応付けられている場合、ステップＳ１１８に進み、対応付けられていない場合、ステップＳ１２７に進む。

（ステップＳ１１８）出力部１１３は、出力する映像情報、ここでは、例えば、ステップＳ１１６で読み出したフレーム画像に対応付けられている映像タイミング情報を取得する。映像タイミング情報は、例えば、フレーム画像に付与されているタイムコードである。

（ステップＳ１１９）出力部１１３は、ステップＳ１１７で取得した映像タイミング情報を指定する字幕タイミング情報を、字幕格納部１０４に格納されている２以上の異なる言語の字幕を示す２以上の字幕情報に対応付けられた字幕タイミング情報の中から検出する処理を行う。例えば、出力部１１３は、字幕格納部１０４に格納されている字幕タイミング情報のうちの、最も早い時機（あるいは期間）を示す字幕タイミング情報が、ステップＳ１１７で取得した映像タイミング情報が指定する時機と一致する時機を含むか否かを判断する。そして、含むと判断された場合に、その字幕タイミング情報をステップＳ１１７で取得した映像タイミング情報を指定する字幕タイミング情報として検出する。含まれない場合、検出できなかったと判断する。なお、２以上の字幕情報として、例えば、予め指定された２以上の言語識別情報とそれぞれ対応付けられた字幕情報を取得するようにしても良い。

（ステップＳ１２０）出力部１１３は、ステップＳ１１９において、ステップＳ１１７で取得した映像タイミング情報を指定する字幕タイミング情報が検出できたか否かを判断する。検出できた場合、ステップＳ１２１に進み、検出できなかった場合、ステップＳ１２２に進む。

（ステップＳ１２１）出力部１１３は、ステップＳ１１９で検出した字幕タイミング情報と対応付けて格納されている２以上の異なる言語に対応付けられた２以上の字幕情報を、字幕格納部１０４から取得する。なお、取得した字幕情報及び字幕タイミング情報は、字幕格納部１０４から削除する。

（ステップＳ１２２）出力部１１３は、図示しない手話映像格納部から２以上の異なる言語に対応付けられた２以上の手話映像情報を取得する。例えば、出力部１１３は、ステップＳ１１６と同様に、手話映像情報のフレーム画像を取得する。出力部１１３は、例えば、取得した手話映像情報を図示しない手話映像格納部から削除する。なお、２以上の手話映像情報として、例えば、予め指定された２以上の手話言語識別情報とそれぞれ対応付けられた手話映像情報を取得するようにしても良い。

（ステップＳ１２３）出力部１１３は、ステップＳ１１６で取得した異なる言語に対応付けられた２以上の映像情報と、ステップＳ１２１（または、後述するステップＳ１２７）で取得した字幕情報と、ステップＳ１２２で取得した異なる言語に対応付けられた２以上の手話映像情報とを合成して出力する。なお、ステップＳ１２１で取得した各字幕情報が対応付けられている字幕タイミング情報が、字幕情報の出力される期間を示す情報である場合、出力部１１３は、例えば、この期間の間は、ステップＳ１２１で取得した字幕情報を、ステップＳ１１６で取得した映像情報を合成して出力する。また、ステップＳ１２１で取得した字幕情報が対応付けられている字幕タイミング情報が、字幕情報の出力開始時期を示す情報である場合、またはステップＳ１２７で取得した字幕情報である場合においては、出力部１１３は、例えば、予め指定された時間だけ、取得した字幕情報を、ステップＳ１１６で取得した映像情報を合成して出力するようにする。なお、ステップＳ１２１（または、後述するステップＳ１２７）で字幕情報が取得されなかった場合、出力部１１３は、字幕情報は出力しない。

（ステップＳ１２４）出力状況取得部１０７は、映像格納部１０３における映像情報の格納状況を示す情報、及び字幕格納部１０４における字幕情報の格納状況を示す情報の少なくとも一方を取得する。例えば、映像格納部１０３に格納されている映像情報の量が、映像格納部１０３に設定された映像情報の格納量の最大値の予め指定された比率以上（例えば、９０％以上）であるか否かを判断し、その判断結果を映像情報の格納状況を示す情報として取得する。

（ステップＳ１２５）要求送信部１０８は、ステップＳ１２４で取得した格納状況を示す値に応じて設定される字幕要求情報を送信するタイミングになったか否かを判断する。例えば、要求送信部１０８は、ステップＳ１２４で取得した格納状況を示す情報が、予め指定された比率以上の映像情報が格納されていることを示す判断結果であった場合には、字幕要求情報を送信するタイミングを第一の間隔、例えば、３０秒間隔に設定し、予め指定された比率以上の映像情報が格納されていないことを示す判断結果であった場合、タイミングを第二の間隔、例えば、１０秒間隔に設定する。そして、直前に字幕要求情報を送信してからの経過時間がこの設定した間隔となった場合に、字幕要求情報を送信するタイミングであると判断する。タイミングである場合、ステップＳ１２６に進み、タイミングでない場合、ステップＳ１０９に進む。

（ステップＳ１２６）要求送信部１０８は、字幕要求情報を字幕サーバ装置４に送信する。そして、ステップＳ１０９に戻る。

（ステップＳ１２７）出力部１１３は、字幕格納部１０４に格納されている２以上の異なる言語に対応付けられた字幕情報から、２以上の字幕情報を取得する。例えば、２以上の異なる言語と対応付けられた字幕情報の中から、言語毎に、一の字幕情報を取得する。例えば、出力部１１３は、言語毎に、蓄積されたタイミングが最も早い字幕情報を読み出す。ここでの言語毎とは、予め指定された２以上の言語識別情報が示す言語毎と考えても良い。読み出した字幕情報は、字幕格納部１０４から削除する。そして、ステップＳ１２２に進む。

なお、図２に示したフローチャートにおいては、ステップＳ１２４と、ステップＳ１２５等の間に、予め指定されたタイミングになった場合に映像要求情報送信部１１０が映像要求情報を映像サーバ装置３に送信する処理を有していても良い。同様に、予め指定されたタイミングになった場合に、図示しない手話映像要求情報送信部が、手話要求情報等を手話映像サーバ装置５に送信する処理を有していても良い。

また、出力部１１３が、映像情報のフレーム画像を出力する毎に、出力した映像情報のフレーム画像の数をカウントすることで、出力済のフレーム数を取得するようにし、この出力済のフレーム数から取得した次に出力する映像情報のフレーム画像の出力順番を示す値を、ステップＳ１１８において取得する映像タイミング情報の代わりに取得するようにしてもよい。

なお、ここでは字幕タイミング情報を用いて字幕情報を出力する場合を例に挙げて説明したが、字幕タイミング情報を用いずに字幕情報を出力するようにしても良い。

なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、映像システム１０００の字幕サーバ装置４の動作の一例について図３のフローチャートを用いて説明する。

（ステップＳ２０１）字幕サーバ側受信部４０２は、字幕指定情報を受け付けたか否かを判断する。受け付けた場合、ステップＳ２０２に進み、受け付けていない場合、ステップＳ２０３に進む。

（ステップＳ２０２）字幕サーバ受信部４０２は、ステップＳ２０１で受け付けた字幕指定情報に応じて、字幕タイミング情報と対応付けられた字幕情報を送信するか、字幕タイミング情報と対応付けられていない字幕情報を送信するかを設定する情報を更新する。この設定の情報を、以下、字幕タイミング設定情報と称す。字幕タイミング設定情報は、例えば、図示しない記憶媒体等に格納されているものとする。なお、字幕タイミング設定の情報は、更新されるまでは、例えば、デフォルトで指定された値であるとする。また、字幕タイミング設定情報が、既に格納されている字幕タイミング設定情報と同じ場合は、この字幕タイミング設定情報を蓄積しないようにしても良く、この場合も、字幕タイミング設定情報を、最新の情報に更新したと考えても良い。字幕タイミング設定情報は、例えば、字幕指定情報を送信した映像出力装置１の識別情報（例えば、ＩＰアドレスや、装置名等）と対応付けられて格納される。

（ステップＳ２０３）字幕サーバ受信部４０２は、字幕タイミング情報を受信したか否かを判断する。受信した場合、ステップＳ２０４に進み、受信していない場合、ステップＳ２０１に戻る。

（ステップＳ２０４）字幕サーバ側送信部４０３は、字幕タイミング設定情報が示す設定が、字幕タイミング情報と対応付けられた字幕情報を送信することを示す設定であるか否かを判断する。設定である場合、ステップＳ２０５に進み、設定でない場合、ステップＳ２０６に進む。

（ステップＳ２０５）字幕サーバ側送信部４０３は、字幕要求情報により特定される字幕情報であって、２以上の異なる言語の字幕を示す２以上の字幕情報と、各字幕情報と対応付けられた字幕タイミング情報とを字幕サーバ側格納部４０１から取得する。ここで各言語について字幕サーバ側格納部４０１から取得する字幕情報は、出力順番が早い未出力の、字幕情報である。また、各字幕情報に対応付けられた言語識別情報を更に取得しても良い。字幕サーバ側送信部４０３は、例えば、字幕要求情報が有する映像識別情報と対応付けられた字幕情報を、字幕要求情報により特定される字幕情報として取得する。また、例えば、字幕サーバ側送信部４０３は、映像出力装置１が送信する字幕要求情報が、映像出力装置１が送信する映像要求情報が有する映像識別情報に対応する字幕群識別情報を有する場合、この字幕群識別情報に対応する字幕情報を、字幕要求情報により特定される字幕情報として取得してもよい。この字幕群識別情報は、例えば、制御情報受信部１１２が受信した制御情報から、要求送信部１０８等が取得する。また、字幕サーバ側送信部４０３は、例えば、字幕要求情報が指定するディレクトリ等に格納されている字幕情報を、字幕要求情報により特定される字幕情報として取得する。このディレクトリ等の情報は、例えば、制御情報から要求送信部１０８等が取得する。また、字幕要求情報が２以上の言語識別情報を有する場合、各言語識別情報と対応付けられた字幕情報、即ち各言語識別情報が示す言語の字幕を示す字幕情報を取得するようにしても良い。

字幕サーバ側送信部４０３は、例えば、２以上の字幕情報の送信回数や字幕組情報の送信回数等をカウントして、そのカウント値から、次に送信される字幕情報や字幕組情報の順番を判断しても良い。例えば、カウント値に１を加算した値を示す順番の字幕情報や字幕組情報を、送信対象の字幕情報や、送信対象の字幕情報が含まれる字幕組情報と判断しても良い。ただし、どのように、送信済であるか否かを判断しても良い。例えば、送信した字幕情報に対して、送信済であることを示すフラグ等の情報を付与することで、この情報の有無により判断可能である。また、例えば、送信済の字幕情報の識別情報である字幕識別情報を、図示しない管理表等に登録するようにしてもよい。そして、ステップＳ２０７に進む。

（ステップＳ２０６）字幕サーバ側送信部４０３は、字幕要求情報により特定される字幕情報であって、２以上の異なる言語の字幕を示す２以上の字幕情報を字幕サーバ側格納部４０１から取得する。ここで各言語について字幕サーバ側格納部４０１から取得する字幕情報は、出力順番が早い未出力の、字幕情報である。また、各字幕情報に対応付けられた言語識別情報を更に取得しても良い。そして、ステップＳ２０７に進む。

（ステップＳ２０７）字幕サーバ側送信部４０３は、ステップＳ２０５で取得した字幕情報と字幕タイミング情報との２以上の組、またはステップＳ２０６で取得した２以上の字幕情報を、字幕要求情報の送信元となる映像出力装置１に送信する。また、各字幕情報に対応付けられた言語識別情報を更に取得している場合、この言語識別情報も、字幕情報と対応付けて送信するようにしても良い。

（ステップＳ２０８）字幕サーバ側送信部４０３は、ステップＳ２０７により異なる言語の２以上の字幕情報を送信した回数をカウントする。例えば、異なる言語の２以上の字幕情報の送信回数を示すカウンターの値を１インクリメントする。これにより、次に送信する異なる言語の２以上の字幕情報の順番をカウント値から取得することができ、異なる言語の字幕情報を、それぞれ蓄積順に送信することが可能となる。なお、ステップＳ２０７により送信する２以上の字幕情報等の情報を一の字幕組情報と考えて、この字幕組情報の送信回数をカウントするようにしても良い。そして、ステップＳ２０１に戻る。

なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以下、制御サーバ装置２の動作の一例について簡単に説明する。制御サーバ側受信部２０２は、制御要求情報を受け付けたか否かの判断を繰り返し、制御要求情報を受け付けた場合、制御サーバ側送信部２０３は、この制御要求情報に対応する制御情報を、制御情報格納部２０１から読み出す。制御要求情報に対応する制御情報とは、例えば、制御要求情報が有する映像識別情報と対応付けられて制御情報格納部２０１に格納されている制御情報である。制御要求情報に含まれる映像識別情報は、例えば、映像出力装置１が出力する指示を受け付けた映像情報の映像識別情報である。そして、制御サーバ側送信部２０３は、読み出した制御情報を制御要求情報の送信元となる映像出力装置１に送信する。そして、上記の、制御要求情報を受け付けたか否かを判断する処理に戻る。

以下、映像サーバ装置３の動作の一例について簡単に説明する。映像サーバ側受信部３０２は、映像要求情報を受け付けたか否かの判断を繰り返し、映像要求情報を受け付けた場合、映像要求情報が指定する映像情報を映像サーバ側格納部３０１から読み出す。映像要求情報が指定する映像情報は、例えば、映像要求情報が有する映像識別情報と対応付けて映像サーバ側格納部３０１に格納されている映像情報や、映像要求情報が指定するディレクトリ等に格納されている映像情報である。このディレクトリ等の情報は、例えば、制御情報から映像要求情報送信部１１０等が取得する。そして、読み出した映像情報を、映像要求情報の送信元の映像出力装置１に送信する。そして、上記の、映像要求情報を受け付けたか否かを判断する処理に戻る。なお、映像サーバ側送信部３０３は、映像要求情報を受ける毎に、映像情報のうちの、未送信の一部を、出力順に沿って送信するようにしても良い。

以下、手話映像サーバ装置５の動作の一例について簡単に説明する。手話映像サーバ側受信部５０２は、手話映像要求情報を受け付けたか否かの判断を繰り返し、手話映像要求情報を受け付けた場合、手話映像要求情報が指定する２以上の異なる言語の手話の映像を示す２以上の手話映像情報を手話映像サーバ側格納部５０１から読み出す。手話映像要求情報が指定する手話映像情報は、例えば、手話映像要求情報が有する映像識別情報と対応付けて手話映像サーバ側格納部５０１に格納されている手話映像情報や、手話映像要求情報が指定するディレクトリ等に格納されている手話映像情報である。このディレクトリ等の情報は、例えば、制御情報から図示しない手話映像要求情報送信部等が取得する。また、手話要求情報が２以上の手話言語識別情報を有する場合、各手話言語識別情報と対応付けられた手話映像情報、即ち各言語識別情報が示す言語の手話を示す手話映像情報を取得するようにしても良い。そして、読み出した手話映像情報を、手話映像要求情報の送信元の映像出力装置１に送信する。なお、読み出した手話映像情報に対応付けられた手話言語識別情報を、手話映像情報と対応付けて映像出力装置１に送信するようにしても良い。そして、上記の、手話映像要求情報を受け付けたか否かを判断する処理に戻る。なお、手話映像サーバ側送信部５０３は、手話映像要求情報を受ける毎に、手話映像情報のうちの、未送信の一部を、出力順に沿って送信するようにしても良い。

以下、本実施の形態における映像システム１０００の具体的な動作について説明する。なお、ここでは、字幕サーバ装置４には、一の映像装置に対応する字幕情報として、日本語の字幕を示す字幕情報と、英語の字幕を示す字幕情報とが格納されているものとする。また、手話映像サーバ装置５には、一の映像装置に対応する手話映像情報として、日本語の字幕を示す字幕情報と、英語の字幕を示す字幕情報とが格納されているものとする。そして、映像出力装置１の出力部１１３が、英語と日本語の両方の字幕情報と、英語と日本語の両方の手話映像とを出力するよう予めデフォルトで設定されている場合を例に挙げて説明する。

映像システム１０００の概念図は図４である。ここでは、説明を簡単にするために、映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５をそれぞれ一つずつ備えている場合を例に挙げて説明するが、本発明の映像システム１０００においては、映像出力装置１、制御サーバ装置２、映像サーバ装置３、字幕サーバ装置４、及び手話映像サーバ装置５は、それぞれ１または２以上であればよい。

図５は、制御サーバ装置２の制御情報格納部２０１に格納されている制御情報を管理する制御情報管理表である。制御情報管理表は、「制御情報」と「映像ＩＤ」という属性を有している。「制御情報」は、制御情報のファイル名であるとする。「映像ＩＤ」は、制御情報が対応する映像情報の識別情報であるとする。

図６は、映像サーバ装置３の映像サーバ側格納部３０１に格納されている映像情報を管理する映像情報管理表の一例を示す図である。映像情報管理表は、「映像ＩＤ」と「映像情報」という属性を有している。「映像ＩＤ」は、図５の「映像ＩＤ」に対応している。「映像情報」は、映像ＩＤにより識別される映像情報である。

図７は、図６に示した映像情報管理表で管理されている映像情報の一例を示す模式図であり、ここでは、映像ＩＤ「ｍ１００１」と対応付けられた映像情報を示している。映像情報は、複数のフレーム画像７１−７３を有しており、各フレーム画像には、映像タイミング情報として、タイムコード７１ａ−７３ａが対応付けられている。タイムコード７１ａ−７３ａは、ここでは、「時：分：秒：フレーム」を表しているものとする。映像情報の最初のフレーム画像の表示時刻が、ここでは、タイムコードの「０：００：００．０１」に設定される。なお、ここでの映像情報は、説明のための模式図であり、フレーム画像とタイムコード等とが格納されている映像情報の実際のデータ構造等を示すものではない。

図８は、字幕サーバ装置４の字幕サーバ側格納部４０１に格納されている字幕群情報を管理する字幕群情報管理表である。字幕群情報とは、一の映像情報に対応する字幕情報の群を有する情報であり、ここでは、一の映像情報に対応付けられた（具体的には、一の映像ＩＤと対応付けられた）１または２以上の字幕情報と、各字幕情報と対応付けられた字幕タイミング情報とを有する情報であるとする。ここでは、一例として、一の映像情報に対応付けられた字幕群情報は、一のファイルを構成しているものとする。字幕群情報管理表は、「映像ＩＤ」と、「字幕群情報」という属性を有している。「映像ＩＤ」は、図５および図７の「映像ＩＤ」に対応している。「字幕群情報」は、字幕群情報のファイル名を示している。ただし、ここでは拡張子等は省略している。

図９は、図８の字幕群情報管理表で管理されている字幕群情報の一例を示す図である。ここでは、ファイル名が「ｃ１００１」である字幕群情報を示している。ここでは、字幕群情報は、ＸＨＴＭＬ形式で記述された情報であるとする。図９に示した字幕群情報において、「ｐ」タグで囲まれた要素が、一の字幕情報を示す。「ｐ」タグ内の「ｂｅｇｉｎ」属性の属性値は、字幕情報に対応する字幕タイミング情報であり、字幕情報の開始時刻を示す情報である。また、「ｅｎｄ」属性の属性値は、字幕情報に対応する字幕タイミング情報であり、字幕情報の終了時刻を示す情報である。また、「ｐ」タグ内の「ｌａｎｇ」属性の属性値は、字幕情報に対応する言語識別情報であり、値「ｊｐ」は、日本語を示し、値「ｅｎ」は英語を示す。また、字幕群情報において、一の＜ｄｉｖ＞タグで囲まれた要素として含まれる字幕情報と字幕タイミング情報と言語識別情報との複数の組が、ここでは、一度の字幕要求情報に応じて、字幕サーバ装置４から映像出力装置１に送信される一の字幕組情報であるとする。この字幕群情報内においては、字幕情報は、出力時刻が早いものから順に、上から下に向かって配置されているものとする。

図１０は、手話映像サーバ装置５に格納されている手話映像情報を管理する手話映像管理表である。映像情報管理表は、「映像ＩＤ」と「手話ＩＤ」と「手話言語」と「手話映像」という属性を有している。「映像ＩＤ」は、図５の「手話ＩＤ」に対応している。「手話ＩＤ」は、手話映像情報の識別情報である。「手話言語」は手話言語識別情報であり、値「ｊｐ」は日本語を示し、値「ｅｎ」は英語を示す。「手話映像」は、手話ＩＤにより識別される手話映像情報である。

図１１は、図１０に示した手話映像情報管理表で管理されている手話映像情報のうちの、手話ＩＤ「ｈ１００１」と対応付けられた手話映像情報の一例を示す模式図（図１１（ａ））、手話ＩＤ「ｈ２００１」と対応付けられた手話映像情報の一例を示す模式図（図１１（ｂ）である。手話ＩＤ「ｈ１００１」と対応付けられた手話映像情報は、複数のフレーム画像８１−８３を有しており、各フレーム画像には、手話映像情報のフレーム画像が出力されるタイミングを示す情報である手話映像タイミング情報として、映像タイミング情報と同様の、タイムコード８１ａ−８３ａが対応付けられている。また、手話ＩＤ「ｈ２００１」と対応付けられた手話映像情報は、複数のフレーム画像９１−９３を有しており、各フレーム画像には、手話映像情報のフレーム画像が出力されるタイミングを示す情報である手話映像タイミング情報として、映像タイミング情報と同様の、タイムコード９１ａ−９３ａが対応付けられている。なお、ここでの手話映像情報は、説明のための模式図であり、フレーム画像とタイムコード等とが格納されている手話映像情報の実際のデータ構造等を示すものではない。

まず、映像出力装置１を操作するユーザが、図示しないＷＥＢサイトに接続して、映像情報のリスト（図示せず）を示すＷＥＢページの情報を取得し、出力部１１３と接続された図示しないモニタにこのＷＥＢページを表示させたとする（図示せず）。この映像情報のリストの各項目には、各項目の映像情報の識別情報である映像ＩＤが対応付けられているものとする。そして、ユーザが視聴したい一の映像情報を選択する操作（例えば、映像情報のアイコンをクリックする操作）等を行ったとする。

映像を設定する操作が行われると、格納量設定部１０６は、映像格納部１０３の格納量の最大値と、字幕格納部１０４の格納量の最大値とを設定する。ここでは、映像格納部１０３及び字幕格納部１０４として、映像出力装置１の記憶媒体であるメモリ（図示せず）が用いられるものとする。まず、格納量設定部１０６は、自装置である映像出力装置１の、映像格納部１０３及び字幕格納部１０４として利用される記憶媒体であるメモリの空き領域を検出し、その空き領域のデータ容量を取得する。例えば、取得した空き領域のデータ容量が１１ＧＢであったとする。

図１２は、映像出力装置１のメモリの空き領域の容量と、映像格納部１０３に格納される映像情報の格納量の最大値と、字幕格納部１０４に格納される字幕情報の格納量の最大値との関係を示す格納量管理表である。格納量管理表は、「空き容量」と、「映像最大値」と、「字幕最大値」という属性を有している。「空き容量」は、メモリの空き領域の容量の範囲を示し、単位はバイトである。「映像最大値」は、映像格納部１０３に格納される映像情報の格納量の最大値を示し、単位は秒であるとする。つまり、「映像最大値」が示す秒数分の映像情報が、映像格納部１０３に格納される映像情報の最大値である。「字幕最大値」は、字幕格納部１０４に格納される字幕情報の格納量の最大値を示し、単位は秒であるとする。つまり、出力される期間の合計が、「字幕最大値」が示す秒数分以下となる１または２以上の字幕情報が、字幕格納部１０４に格納可能であることを示す。

格納量設定部１０６は、図１２に示した格納量管理表の各レコード（行）から、「空き容量」が示す範囲が、上記で取得した空き領域のデータ容量の値１４ＧＢを含む範囲であるレコードを検出し、検出したレコードの「映像最大値」と「字幕最大値」との属性値を取得する。ここでは、１１ＧＢは、上から３行目のレコードの「６ＧＢ以上１２ＧＢ未満」の範囲に属するため、格納量設定部１０６は、このレコードの「映像最大値」の属性値である３０秒と、「字幕最大値」の属性値である１０秒とを取得する。そして、映像格納部１０３の格納量の最大値を３０秒に、また、字幕格納部１０４の格納量の最大値を１０秒に設定する。例えば、このような設定を示す情報を、図示しない記憶媒体等に蓄積する。

ここで設定される映像最大値は、映像情報の出力時間を示す。つまり、映像最大値が示す時間分の映像情報（例えば、フレーム画像）が、映像格納部１０３に格納可能である。また、ここで設定される字幕最大値は、字幕情報の出力開始時刻の属する範囲の最大値を示す。つまり、字幕格納部１０４には、出力の開始される時刻が、現在映像情報や字幕情報が出力されている時刻よりも、１０秒以内の範囲となる１または２以上の字幕情報が格納可能であることを意味する。

なお、図１２に示した格納量管理表の各行においては、「字幕最大値」の大きさは、「映像最大値」の大きさよりも小さい値に設定されている。このため、字幕格納部１０４の格納量の最大値や、映像格納部１０３の格納量の最大値よりも小さい値に設定される。

また、ここでは、格納量管理表を用いて映像格納部１０３と字幕格納部１０４の格納量の最大値を設定したが、空き領域のデータ容量の値を引数とした予め指定された関数等を用いてこれらの最大値を算出しても良い。

次に、制御要求情報送信部１１１は、上記で選択された映像情報の映像ＩＤである「ｍ１００１」を取得し、上記のＷＥＢページにおいて指定されている制御サーバ装置２に、この映像ＩＤを有する制御要求情報を送信する。

制御サーバ装置２の制御サーバ側受信部２０２は、映像出力装置１から送信される制御要求情報を受信する。

制御サーバ側送信部２０３は、制御サーバ側受信部２０２が受信した制御要求情報に含まれる映像ＩＤ「ｍ１００１」を取得し、図５に示した制御情報管理表から、「映像ＩＤ」が、「ｍ１００１」と一致するレコード（行）を検索し、検出したレコードの「制御情報」の属性値である「ｃｔｒｌ００１」を取得する。そして、制御情報格納部２０１から、ファイル名が「ｃｔｒｌ００１」である制御情報を読み出す。読み出した制御情報を、制御要求情報の送信元となる映像出力装置１に送信する。

映像出力装置１の制御情報受信部１１２は、制御サーバ装置２から制御情報「ｃｔｒｌ００１」を受信する。

図１３は、制御情報受信部１１２が受信した制御情報「ｃｔｒｌ００１」の一例を示す図である。ここでは、制御情報「ｃｔｒｌ００１」を示している。制御情報は、ここでは、ＸＨＴＭＬ形式で記述されているものとする。ここでは、「ｉｄ」属性の属性値が「ｖｉｄｅｏｓｅｒｖｅｒ」である「ｐ」タグの要素、（即ち＜ｐ ｉｄ＝"ｖｉｄｅｏｓｅｒｖｅｒ"＞と＜／ｐ＞とで囲まれた情報）が、映像ＩＤが「ｍ１００１」である映像情報の取得先となる映像サーバ装置３のアドレス情報（ここではＵＲＬ）であるとする。また、「ｉｄ」属性の属性値が「ｃａｐｔｉｏｎｓｅｒｖｅｒ」である「ｐ」タグの要素が、映像ＩＤが「ｍ１００１」である映像情報に対応する字幕情報の取得先となる字幕サーバ装置４のアドレス情報（ここではＵＲＬ）であるとする。また、「ｉｄ」属性の属性値が「ｓｉｇｎ＿ｌａｎｇｕａｇｅｓｅｒｖｅｒ」である「ｐ」タグの要素が、映像ＩＤが「ｍ１００１」である映像情報に対応する手話映像情報の取得先となる手話映像サーバ装置５のアドレス情報（ここではＵＲＬ）であるとする。さらに、「ｉｄ」属性の属性値が「ｖｉｄｅｏｔｙｐｅ」である「ｐ」タグの要素が、映像ＩＤが「ｍ１００１」である映像情報の種類を示す情報であり、要素「ｒｅｃｏｒｄｅｄ ｖｉｄｅｏ」は、ライブ（生）でない映像情報であることを示す。

制御情報受信部１１２が制御情報を受信すると、指定送信部１０９は、図１３に示した制御情報から、映像情報の種類を示す情報である「ｒｅｃｏｒｄｅｄ ｖｉｄｅｏ」を取得する。そして、この映像情報の種類を示す情報が、ライブ（生）である映像情報を示す「ｌｉｖｅ ｖｉｄｅｏ」という情報と一致するか否かを判断する。ここでは一致しないため、指定送信部１０９は、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報の送信を決定する。そして、要求送信部１０８は、図１３に示した制御情報から、字幕サーバ装置４のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｃａｐｔｉｏｎ００２．ｃｏｍ／」を取得し、このアドレス情報が示す字幕サーバ装置４に、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を送信する。

また、映像要求情報送信部１１０は、図１３に示した受信した制御情報から、映像サーバ装置３のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｖｉｄｅｏ００１．ｃｏｍ／」を取得する。そして、このアドレス情報が示す映像サーバ装置３に、映像ＩＤ「ｍ１００１」を含む映像要求情報を送信する。つまり、映像ＩＤが「ｍ１００１」である映像情報の送信を要求する情報を送信する。

また、要求送信部１０８は、図１３に示した制御情報から、字幕サーバ装置４のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｃａｐｔｉｏｎ００２．ｃｏｍ／」を取得し、このアドレス情報が示す字幕サーバ装置４に、映像ＩＤ「ｍ１００１」を含む字幕要求情報を送信する。

また、図示しない手話映像要求情報送信部は、図１３に示した受信した制御情報から、手話映像サーバ装置５のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｗｗｗ．ｈａｎｄｓｉｇｎ００３．ｃｏｍ／」を取得し、このアドレス情報が示す手話映像サーバ装置５に、映像ＩＤ「ｍ１００１」を含む手話映像要求情報を送信する。

映像サーバ装置３の映像サーバ側受信部３０２は、映像出力装置１から送信される映像ＩＤ「ｍ１００１」を含む映像要求情報を受信する。映像サーバ側送信部３０３は、図６に示した映像情報管理表を参照して、映像ＩＤ「ｍ１００１」に対応付けられた映像情報を映像サーバ側格納部３０１において検出し、この映像情報を構成するフレーム画像と、フレーム画像に対応付けられたタイムコードとを、タイムコードの早い順に順次パケットに分割して、映像出力装置１に送信する。

映像出力装置１の映像受信部１０１は、映像サーバ装置３からパケットに分割されて送信される映像情報を受信し、受信した１または２以上のパケットを用いてタイムコードと対応付けられたフレーム画像を構成して、順次、映像格納部１０３に蓄積する。例えば、映像格納部１０３には、図７のフレーム画像７１とタイムコード７１ａとの組や、フレーム画像７２とタイムコード７２ａとの組等が、タイムコードの早い順に順次格納される。

字幕サーバ装置４の字幕サーバ側受信部４０２は、映像出力装置１から送信される字幕指定情報を受信する。そして字幕指定情報に応じて字幕タイミング設定情報を設定する。ここでは、字幕サーバ側受信部４０２は、字幕タイミング情報と対応付けられた字幕情報の送信を指定する字幕指定情報を映像出力装置１から受信する。このため、字幕サーバ側受信部４０２は、この字幕指定情報に応じて、字幕タイミング情報と対応付けられた字幕情報を送信する設定となるよう、映像タイミング設定情報を更新する。

また、字幕サーバ装置４の字幕サーバ側受信部４０２は、映像出力装置１から送信される映像ＩＤ「ｍ１００１」を含む字幕要求情報を受信する。映像サーバ側送信部３０３は、図８に示した字幕群管理情報を参照して、映像ＩＤ「ｍ１００１」に対応付けられた字幕群情報を字幕サーバ側格納部４０１において検出する。ここでは、ファイル名が、「ｃ１００１」である字幕群情報を検出する。ここでは、上述したように、字幕タイミング設定情報が、字幕タイミング情報と対応付けられた字幕情報を送信する設定となっているため、字幕サーバ側送信部４０３は、図９に示す字幕群情報「ｃ１００１」から、一の「ｄｉｖ」タグで囲まれた要素として含まれる字幕情報と、この字幕情報に対応付けられた字幕タイミング情報との組を、出力順に従って読み出す。例えば、字幕サーバ側送信部４０３は、図９に示すファイル名が「ｃ１００１」である字幕群情報から、まず、一番上の「ｄｉｖ」タグで囲まれた要素内の、一番上の「ｐ」タグで囲まれた要素である「日本の達人シリーズ」という文字列を、字幕情報として読み出す。また、一番上の「ｐ」タグ内の「ｌａｎｇ」属性の属性値「ｊｐ」を言語識別情報として読み出す。また、一番上の「ｐ」タグ内の「ｂｅｇｉｎ」属性の属性値「０：０：２０．０１」と、「ｅｎｄ」属性の属性値「０：０：２４．０１」とを、字幕タイミング情報として取得する。また、一番上の「ｄｉｖ」タグで囲まれた要素内の、上から二番目の「ｐ」タグで囲まれた要素である「Ｔｈｅ ｓｅｒｉｅｓ ｏｆ Ｍａｓｔｅｒｓ ｉｎ Ｊａｐａｎ」という文字列を、字幕情報として読み出す。また、一番上の「ｐ」タグ内の「ｌａｎｇ」属性の属性値「ｅｎ」を言語識別情報として読み出す。また、一番上の「ｐ」タグ内の「ｂｅｇｉｎ」属性の属性値「０：０：２０．０１」と、「ｅｎｄ」属性の属性値「０：０：２４．０１」とを、字幕タイミング情報として取得する。そして、字幕サーバ側送信部４０３は、一番上の「ｐ」タグで囲まれた要素から取得した字幕情報と、言語識別情報と、字幕タイミング情報との組と、二番目の「ｐ」タグで囲まれた要素から取得した字幕情報と、言語識別情報と、字幕タイミング情報との組とで構成される字幕組情報を、映像出力装置１に送信する。

なお、字幕サーバ側送信部４０３は、２以上の字幕情報の送信後に、２以上の字幕情報を送信した回数をカウントする。そして、このカウント値を用いて、次に送信する字幕情報を検出する。例えば、次回字幕情報を送信する際には、字幕サーバ側送信部４０３は、字幕群情報「ｃ１００１」内の「ｄｉｖ」タグのうちの、上から数えた順番が、このカウント値に１を加えた値の順番である「ｄｉｖ」タグ内の字幕情報等を読み出して送信する。
ここでは、字幕サーバ側送信部４０３は、字幕情報等を送信するために一の「ｄｉｖ」タグ内から字幕情報を読み出すごとに、字幕情報を読み出した「ｄｉｖ」タグの個数を累積してカウントし、次回、字幕情報を送信する際には、カウント値に１を加えた順番の「ｄｉｖ」タグ内の字幕情報等を読み出すようにする。例えば、字幕サーバ側受信部４０２が、映像ＩＤ「ｍ１００１」に対応付けら字幕要求情報を更に受信した場合、字幕サーバ側送信部４０３は、直前のカウント値である「１」に「１」を加えた値である「２」を取得し、図９に示した字幕群情報の上から二番目の「ｄｉｖ」タグ内の、異なる言語の字幕情報と、言語識別情報と、字幕タイミング情報とで構成される２以上の組をそれぞれ取得して、この２以上の組を、一の字幕組情報として映像出力装置１に送信する。

映像出力装置１の字幕受信部１０２は、字幕サーバ装置４から送信される一の字幕組情報を受信し、字幕格納部１０４に蓄積する。

図１４は、字幕格納部１０４に格納されている字幕組情報を管理する字幕組管理表を示す図であり、図１４（ａ）は、最初の字幕組情報が蓄積された状態を示し、図１４（ｂ）は、その後に他の字幕組情報が追記された状態を示す。字幕組管理表は、「字幕情報」、「字幕言語」、「開始時刻」、及び「終了時刻」という属性を有している。「字幕情報」は、字幕情報であり、ここではテキスト情報である。「字幕言語」は、字幕情報の言語識別情報である。「開始時刻」は、字幕の出力されるタイミングを示す字幕タイミング情報であり、タイムコードで示されている。また、「開始時刻」は、字幕の出力を終了するタイミングを示す字幕タイミング情報であり、タイムコードで示されている。図１４の各レコード（行）が、一の字幕情報と、言語識別情報と、字幕タイミング情報との組を示している。

手話映像サーバ装置５の手話映像サーバ側受信部５０２は、映像出力装置１から送信される映像ＩＤ「ｍ１００１」を含む手話映像要求情報を受信する。手話映像サーバ側送信部５０３は、図１０に示した手話映像管理情報を参照して、映像ＩＤ「ｍ１００１」に対応付けられた手話映像情報を手話映像サーバ側格納部５０１において検出する。ここでは、「手話ＩＤ」が、「ｈ１００１」である手話映像情報と、「ｈ２００１」である手話映像情報とを検出する。そして、手話映像サーバ側送信部５０３は、検出した「手話ＩＤ」が、「ｈ１００１」である手話映像情報を構成するフレーム画像と、このフレーム画像に対応付けられたタイムコードとの組、及び「手話ＩＤ」が、「ｈ２００１」である手話映像情報を構成するフレーム画像と、このフレーム画像に対応付けられたタイムコードとの組を、それぞれタイムコードの早い順に順次パケットに分割して、映像出力装置１に送信する。また、手話映像サーバ側送信部５０３は、「手話ＩＤ」が、「ｈ１００１」である手話映像情報に対して、「字幕言語」の値「ｊｐ」を対応付けて送信し、「手話ＩＤ」が、「ｈ２００１」である手話映像情報に対して、「字幕言語」の値「ｅｎ」を対応付けて送信する。字幕言語情報を対応付けて送信することは、例えば、字幕言語情報を付与して送信することである。なお、手話映像情報を構成するフレーム画像は、手話フレーム画像と呼んでもよい。

映像出力装置１の手話映像受信部１０５は、手話映像サーバ装置５からパケットに分割されて送信される「手話ＩＤ」が、「ｈ１００１」である手話映像情報と、「手話ＩＤ」が、「ｈ２００１」である手話映像情報とをそれぞれ受信し、受信したそれぞれのパケットを用いてタイムコードと対応付けられた「手話ＩＤ」が、「ｈ１００１」である手話映像情報のフレーム画像と、「手話ＩＤ」が、「ｈ２００１」である手話映像情報のフレーム画像とをそれぞれ構成して、順次、図示しない手話映像格納部に蓄積する。なお、「手話ＩＤ」が、「ｈ１００１」である手話映像情報のフレーム画像は、このフレーム画像を構成するために用いたパケットに対応付けられていた手話言語情報「ｊｐ」を対応付けて蓄積する。また、「手話ＩＤ」が、「ｈ２００１」である手話映像情報のフレーム画像は、このフレーム画像を構成するために用いたパケットに対応付けられていた手話言語情報「ｅｎ」を対応付けて蓄積する。例えば、手話映像格納部には、図１１（ａ）のフレーム画像８１とタイムコード８１ａとの組や、フレーム画像８２とタイムコード８２ａとの組等が手話言語識別情報「ｊｐ」と対応付けられて順次格納される。

次に、出力部１１３は、映像情報を出力するタイミングであるか否かを判断する。ここではまだ、フレーム画像が出力されていないため、出力部１１３は、映像格納部１０３に、予め指定された格納量以上の映像情報が格納されているか否かを判断する。予め指定された格納量が２秒であったとすると、出力部１１３は、２秒以上の映像情報が映像格納部１０３に格納されているか否かを判断する。ここでは、映像格納部１０３に、２秒以上の映像情報、即ちフレーム画像が格納されていなかったとすると、出力部１１３は、映像情報を出力するタイミングでないと判断する。このため、映像情報を出力する処理を行わない。

次に、出力状況取得部１０７は、以下に示すように、出力状況を示す情報を取得する処理を行う。出力状況取得部１０７は、映像格納部１０３に格納されている映像情報の格納量及び映像情報の字幕格納部１０４に格納されている字幕情報の格納量の少なくとも一方の値を取得する。ここでは、字幕格納部１０４に格納されている字幕情報の格納量を取得するものとする。字幕情報の格納量として、ここでは、字幕格納部１０４に格納されている字幕情報が出力される時間の合計を用いるものとする。例えば、図１４（ａ）の字幕組管理表の各レコード（行）の「終了時刻」から「開始時刻」の値を減算した値の合計を算出する。ここでは、字幕情報が一つしか格納されていないため、字幕情報の格納量は、４秒となる。そして、取得した格納量が、字幕格納部１０４に設定された閾値以上であるか否かを判断する。閾値は、ここでは、字幕格納部１０４の格納量の最大値の７０％の値であるとする。つまり、閾値は７秒となる。なお、この比率は、字幕情報の量や、映像情報の種類等に応じて手動や自動で変更しても良い。このため、出力状況取得部１０７は、字幕情報の格納量が閾値を超えないと判断し、格納状況を示す情報として、字幕情報の格納量が閾値を超えないことを示す情報を取得する。

出力状況取得部１０７が、格納状況を示す情報として、字幕情報の格納量が閾値を超えないことを示す情報を取得したため、要求送信部１０８は、予めデフォルトで指定されている字幕要求情報を送信するタイミングを示す情報、ここでは、送信間隔を示す情報を取得し、前回、字幕要求情報を送信した時刻からの経過時刻が、このタイミングを示す情報が示す送信間隔以上であるか否かを判断する。例えば、要求送信部１０８は、字幕要求情報を送信する毎に、送信からの経過時間を図示しない時計等で計測するようにして、経過時間を取得する。デフォルトで指定されている字幕要求情報を送信するタイミングを示す情報は、例えば、２秒であったとする。経過時間が２秒を経過している場合、次の字幕情報の送信を要求する字幕要求情報を送信するタイミングであると判断して、字幕要求情報を送信し、経過していない場合は、字幕要求情報の送信は行わない。ここでは、経過していないため、字幕要求情報を送信しないとする。

更に、映像受信部１０１が映像情報を受信する処理を繰り返し行い、また、手話映像受信部１０５が手話映像情報を受信する処理を繰り返し行う。

また、出力状況取得部１０７は、出力状況を示す情報を取得する処理を繰り返し行う。

また、要求送信部１０８が字幕要求情報を送信するタイミングであるか否かを判断し、タイミングであると判断した場合、字幕要求情報を送信する。

また、字幕受信部１０２は、字幕要求情報に応じて送信される字幕組情報を受信する処理を行う。

そして、映像格納部１０３に格納されている映像情報の格納量が２秒以上となった時点で、出力部１１３は、映像情報を出力するタイミングであると判断し、映像情報を、映像情報に対応付けられたタイムコードが示すタイミングで出力する。具体的には、映像情報の出力開始時刻を「０：００：００．０１」に設定した図示しない時計等が示す現在の時刻と一致するタイムコードと対応付けられたフレーム画像が格納されているか否かを判断し、一致するタイムコードと対応付けられたフレーム画像がある場合、映像情報を出力するタイミングであると判断して、このフレーム画像を出力する処理を行う。

出力部１１３が映像情報のフレーム画像を出力する処理について以下に詳細に説明する。

出力部１１３は、現在の時刻と一致するタイムコードと対応付けられたフレーム画像を、映像格納部１０３から読み出す。読み出したフレーム画像は、映像格納部１０３から削除する。

また、出力部１１３は、出力するフレーム画像と対応付けられたタイムコードと同じタイムコードと対応付けられた手話映像情報のフレーム画像を、図示しない手話映像格納部から読み出す。例えば、出力部１１３は、出力する映像情報のフレーム画像のタイムコードが、「０：００：００．０１」である場合、このタイムコードと一致するタイムコードと対応付けられた手話映像情報のフレーム画像を読み出す。ここでは、手話言語識別情報「ｊｐ」と対応付けられた手話映像情報のフレーム画像と、手話言語識別情報「ｅｎ」と対応付けられた手話映像情報のフレーム画像とがそれぞれ映像格納部１０３に格納されているため、それぞれの手話言語識別情報と対応付けられて格納されているフレーム画像から、タイムコード「０：００：００．０１」と対応付けられたフレーム画像をそれぞれ読み出す。読み出したフレーム画像は、図示しない手話映像格納部から削除する。

また、出力部１１３は、出力する映像情報のフレーム画像に対応付けられたタイムコードを含む期間を示す文字タイミング情報と対応付けられた字幕情報を、図１４（ａ）に示した字幕組管理表を用いて検出して字幕格納部１０４から読み出す処理を行う。例えば、図１４（ａ）に示した字幕組管理表を構成する各レコード（行）の「開始時刻」の値と「終了時刻」との値の間に、出力する映像情報のフレーム画像に対応付けられたタイムコードが示す時刻が含まれるか否かを順次判断し、含まれる場合には、このレコードの「字幕情報」の値を読み出す。含まれるレコードが検出できなかった場合、出力する字幕情報がないと判断する。ここでは例えば、出力する映像情報のフレーム画像に対応するタイムコード「０：００：００．０１」がであり、このタイムコードを含む期間を示す字幕タイミング情報と対応付けられた字幕情報がなかったため、字幕情報を読み出さなかったとする。

そして、出力部１１３は、上記で取得した映像情報のフレーム画像に対して、手話言語識別情報「ｊｐ」と対応付けられた手話映像情報のフレーム画像と、手話言語識別情報「ｅｎ」と対応付けられた手話映像情報のフレーム画像とを合成したフレーム画像を構成し、出力する。なお、ここでは、例えば、デフォルト等により、手話言語識別情報「ｊｐ」と対応付けられた手話映像情報のフレーム画像と、手話言語識別情報「ｅｎ」と対応付けられた手話映像情報のフレーム画像とが配置される領域の位置、例えば座標や座標群等が、それぞれ予め指定されているものとする。具体的には、手話言語識別情報「ｊｐ」と対応付けられた手話映像情報の配置される領域は、例えば、映像情報内の右下の予め指定された小領域内に指定されており、手話言語識別情報「ｅｎ」と対応付けられた手話映像情報の配置される領域は、例えば、映像情報内の左下の予め指定された小領域内に指定されているものとする。この設定の情報は、例えば、図示しない記憶媒体等に予め蓄積されているものとする。なお、この設定を指定する情報は、上述した制御情報から取得するようにしても良い。ここでの出力は、例えば、出力部１１３と接続されたモニタ１１３ａによる表示であるとする。

図１５は、出力部１１３が出力する映像情報の表示例を示す図である。ここでは、字幕情報が取得されていないため、映像情報１５１の一のフレーム画像上の右下の領域に手話言語識別情報「ｊｐ」と対応付けられた手話映像情報１５２の一のフレーム画像が表示されている。また、左下の領域に手話言語識別情報「ｅｎ」と対応付けられた手話映像情報１５３の一のフレーム画像が表示されている。

同様にして、出力部１１３は、現在時刻の変化に応じて、映像情報と手話映像情報等とを合成した新たなフレーム画像を出力する。具体的には、新たなフレーム画像で、直前に出力されていたフレーム画像を更新する。

ここで、現在の時刻が「０：００：２０．０１」になったとし、現在の時刻「０：００：２０．０１」に対応するタイムコードと対応付けられた映像情報のフレーム画像を出力部１１３が、字幕格納部１０４において検出したとする。出力部１１３は、上記と同様に、現在の時刻に対応するタイムコードと対応付けられた映像情報のフレーム画像と、このタイムコードと対応付けられているとともに、手話言語識別情報「ｊｐ」と「ｅｎ」とにそれぞれ対応付けられた手話映像情報のフレーム画像とを読み出す。

また、出力部１１３は、このタイムコード「０：００：２０．０１」を含む期間を示す文字タイミング情報と対応付けられた字幕情報を、図１４（ａ）に示した字幕組管理表を用いて検出して字幕格納部１０４から読み出す処理を行う。ここでは、図１４（ａ）に示した字幕組管理表の一番目のレコード及び二番目のレコードの「開始時刻」の値「０：００：２０．０１」と、「終了時刻」の値「０：００：２４．０１」との間に、出力する映像情報のフレーム画像に対応付けられたタイムコード「０：００：２０．０１」の値が含まれると判断する。このため、出力部１１３は、一番目のレコードの「字幕情報」の値「日本の達人シリーズ」と「字幕言語」の値「ｊｐ」との組、及び二番目のレコードの「字幕情報」の値「Ｔｈｅ ｓｅｒｉｅｓ ｏｆ Ｍａｓｔｅｒｓ ｉｎ Ｊａｐａｎ」と「字幕言語」の値「ｅｎ」との組を読み出す。

そして、出力部１１３は、上記で取得した映像情報のフレーム画像及び手話映像画像と、字幕格納部１０４から読み出した字幕情報である「日本の達人シリーズ」と「Ｔｈｅ ｓｅｒｉｅｓ ｏｆ Ｍａｓｔｅｒｓ ｉｎ Ｊａｐａｎ」とを合成してモニタ１１３ａに出力する。なお、ここでは、例えば、デフォルト等により、言語識別情報「ｊｐ」と対応付けられた字幕情報と、言語識別情報「ｅｎ」と対応付けられた字幕情報とがそれぞれ配置される位置、例えば座標や座標群等が、それぞれ予め指定されているものとする。具体的には、言語識別情報「ｊｐ」と対応付けられた字幕情報の配置される領域は、映像情報のフレーム画像内の中央下部に設定されており、言語識別情報「ｅｎ」と対応付けられた字幕情報の配置される領域は、その下側に設定されているものとする。この設定の情報は、例えば、図示しない記憶媒体等に予め蓄積されているものとする。なお、この設定を指定する情報は、上述した制御情報から取得するようにしても良い。

図１６は、出力部１１３が出力する映像情報の表示例を示す図である。

なお、ここで出力された各字幕情報は、各字幕情報と対応付けられた字幕タイミング情報に応じて、映像情報のフレーム画像や手話映像情報のフレーム画像が変化しても、現在の時刻が「０：００：２４．０１」になるまで、映像情報のフレーム画像等と合成されて、繰り返し出力される。また、この字幕情報は、現在の時刻が「終了時刻」である「０：００：２４．０１」と一致した時点で、字幕格納部１０４から削除される。

ここで、字幕格納部１０４に新たな字幕組情報が蓄積されたことにより、図１４（ａ）に示した状態の字幕管理表が、図１４（ｂ）に示した状態に更新されたとする。そして、出力状況取得部１０７が、上記と同様に、出力状況を取得する情報を取得する処理を行ったとする。

具体的には、まず、出力状況取得部１０７は、字幕格納部１０４に格納されている字幕情報の格納量を取得するために、図１４（ｂ）の字幕組管理表の「字幕言語」が「ｊｐ」である各レコード（行）の「終了時刻」から「開始時刻」の値を減算した値の合計を算出する。ここでは、字幕情報が２つ格納されているため、字幕情報の格納量は、４秒＋５秒＝９秒となる。そして、取得した格納量が、字幕格納部１０４に設定された閾値以上であるか否かを判断する。閾値は、上述したように７秒であるため、出力状況取得部１０７は、字幕情報の格納量が閾値を超えた判断し、格納状況を示す情報として、字幕情報の格納量が閾値を超えたことを示す情報を取得する。なお、ここでは「字幕言語」が「ｊｐ」であるレコードを用いたが、この具体例においては、一の言語の字幕情報の格納量が分かれば良いため、「字幕言語」が「ｅｎ」であるレコードを用いるようにしてもよい。どの言語を字幕情報の格納量を算出するかを指定する情報等は、図示しない記憶媒体等に予め格納しておくようにすればよい。

このように、出力状況取得部１０７が、格納状況を示す情報として、字幕情報の格納量が閾値を超えたことを示す情報を取得したため、要求送信部１０８は、新たに字幕要求情報を送信するタイミングを示す情報、ここでは、送信間隔を示す情報を取得する。ここでは、字幕情報の格納量の最大値の５０％の時間を新たなタイミングを示す情報として取得する。この比率は、字幕情報の量や、映像情報の種類等に応じて手動や自動で変更しても良い。ここでは、格納量の最大値が１０秒であるため、５秒を新たなタイミングを示す情報、即ち送信間隔を示す情報として取得する。

そして、出力部１１３は、前回、字幕要求情報を送信した時刻からの経過時刻が、この新たなタイミングを示す情報が示す送信間隔である５秒以上であるか否かを判断して、送信間隔以上であれば、字幕要求情報を送信し、送信間隔未満であれば、字幕要求情報を送信しないようにする。

これにより、字幕格納部１０４に、十分な出力期間分の字幕情報が格納されている場合には、字幕要求情報を送信するタイミングを遅らせることで、字幕情報の出力に遅延が発生しない範囲で、字幕情報の格納量や、字幕情報の送受信量を低減させることができる。

なお、出力状況に応じて変更される字幕要求情報の送信タイミングは、字幕情報の格納量が増加した場合に、間隔が線形的に増加、あるいは段階的に増加するもの、であることが好ましい。

ここで、仮に、図１３に示した制御情報受信部１１２が受信した制御情報に含まれる映像情報の種類を示す情報が、上述した「ｒｅｃｏｒｄｅｄ ｖｉｄｅｏ」ではなく、ライブ（生）である映像情報を示す「ｌｉｖｅ ｖｉｄｅｏ」という情報と一致するものであったとする。この場合、指定送信部１０９は、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報の送信を決定する。そして、要求送信部１０８は、図１３に示した制御情報から、字幕サーバ装置４のアドレス情報である「ｈｔｔｐ：／／ｗｗｗ．ｃａｐｔｉｏｎ００２．ｃｏｍ／」を取得し、このアドレス情報が示す字幕サーバ装置４に、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を送信する。

字幕サーバ側受信部４０２が、字幕タイミング情報と対応付けられていない字幕情報の送信を指定する字幕指定情報を映像出力装置１から受信すると、字幕サーバ側受信部４０２は、この字幕指定情報に応じて、字幕タイミング情報と対応付けられていない字幕情報を送信する設定となるよう、映像タイミング設定情報を更新する。

この場合、字幕サーバ装置４の字幕サーバ側受信部４０２が、映像出力装置１から映像ＩＤ「ｍ１００１」を含む字幕要求情報を受信すると、上記と同様に、映像サーバ側送信部３０３は、図８に示した字幕群管理情報を参照して、映像ＩＤ「ｍ１００１」に対応付けられた字幕群情報を字幕サーバ側格納部４０１において検出する。ただし、ここでは、上述したように、字幕タイミング設定情報が、字幕タイミング情報と対応付けられていない字幕情報を送信する設定となっている。このため、字幕サーバ側送信部４０３は、検出した字幕群情報から、異なる言語の字幕情報（ここでは、言語識別情報「ｊｐ」と、「ｅｎ」とにそれぞれ対応付けられた字幕情報）を予め指定された数だけ出力順に従って読み出すが、それぞれに対応付けられた字幕タイミング情報は読み出さない。そして、映像サーバ側送信部３０３は、読み出した異なる言語の２以上の字幕情報をそれぞれ言語識別情報と対応付けて映像出力装置１に送信する。

また、字幕受信部１０２が受信する異なる言語の２以上の字幕情報は、字幕タイミング情報と対応付けられていないため、字幕受信部１０２は、受信した各字幕情報と言語識別情報とを対応付けて、字幕タイミング情報と対応付けずに字幕格納部１０４に蓄積する。そして、蓄積された字幕情報は、予め指定されたタイミング（例えば、２秒間隔）で蓄積順に順次読み出されて、フレーム画像と合成されて出力される。なお、この場合の字幕情報の出力が継続される期間は、例えば、予め指定された時間となる。つまり、予め指定された時間が経過するまでは、映像情報の各フレーム画像と合成して出力され、時間が経過した時点で、字幕情報は、字幕格納部１０４から削除される。なお、字幕情報を読み出す予め指定されたタイミングが、時間間隔である場合、この時間間隔は、通常、字幕情報の出力が継続される時間以上の長さに設定される。なお、字幕受信部１０２は、受信した字幕情報を字幕格納部１０４に蓄積せずに、蓄積直後に映像情報と合成して出力するようにしても良い。

このようにすることで、ライブ（生）の映像情報のように、字幕情報を出力するタイミングを、映像情報が出力されるタイミングに合わせることが困難な場合等には、できるだけ、映像情報に対して遅延がないように、字幕情報を出力させることができる。また、字幕サーバ装置４においては、字幕の作成されたタイミング等を示す字幕タイミング情報を字幕情報と対応付けて字幕サーバ側格納部４０１等に蓄積しておくことで、後に映像情報を、録画した映像情報として提供する際に、字幕情報の出力タイミングを、字幕タイミング情報を利用して映像情報の出力タイミングに合わせることができる。

また、図示しない受付部等が、出力する字幕情報の言語を指定する指示を受け付けた場合に、出力部１１３がこの指定された言語を出力するようにしても良い。出力する字幕情報の言語を指定する指示に応じて指定された言語を出力しないということは、ここでは、出力しない言語を指定する指示を受け付けて、指定された言語を出力しないことも含む概念である。例えば、図示しない受付部等が、一以上の言語識別情報と対応付けられた字幕情報の出力を行わないようにする指示、即ち出力をオフする指示を受け付けた場合、この指示が示す言語識別情報と対応付けられた字幕情報を、出力部１１３が出力しないようにしても良い。このような出力をオフする指示は、例えば、出力しない言語を示す言語識別情報を有する指示である。また、出力が行われていない字幕情報の出力を行う指示、即ち出力をオンする指示を受け付けた場合、この指示が示す言語識別情報と対応付けられた字幕情報を、出力部１１３が出力するようにしても良い。このような出力をオンする指示は、例えば、出力する言語を示す言語識別情報を有する指示である。また、このような出力する字幕情報の言語を指定する指示は、映像情報が有している主音声の言語と、ユーザが指定するその他の言語の字幕情報との出力を指定する指示や、主音声の言語だけを指定する情報等である。この場合、予め映像情報に主音声の言語の識別情報等を対応付けておくようにし、出力部１１３は、この主音声の言語の識別情報に対応する言語識別情報と対応付けられた字幕情報を、主音声の言語の字幕情報として出力するようにすればよい。

なお、かかることは、異なる言語の手話言語識別情報と対応付けられた手話映像情報の出力をオン、オフすることについても同様である。なお、一の言語に対応する手話映像情報の出力をオフ、あるいはオンする指示は、この一の言語を示す手話言語識別情報を有する指示である。

また、図示しない受付部等が、出力する字幕情報の２以上の言語を指定する指示を受け付けた場合、あるいは、制御情報に出力する字幕情報の２以上の言語を指定する情報が含まれている場合に、要求送信部１０８が、この２以上の言語をそれぞれ示す識別情報を含む字幕要求情報を字幕サーバ装置４に送信し、字幕サーバ側送信部４０３は、この言語を示す識別情報に対応する言語識別情報とそれぞれ対応付けられた２以上の字幕情報を、映像出力装置１に送信するようにしてもよい。

なお、かかることは、手話映像情報に関しても同様である。なお、手話映像情報の場合、図示しない手話要求送信部等が、この指定された言語を有する手話要求情報を手話映像サーバ装置５に送信し、手話映像サーバ側送信部５０３が、この言語を示す識別情報に対応する手話言語四季別譲歩宇土対応付けられた２以上の手話言語情報を、映像出力装置１に送信するようにすれば良い。

また、出力部１１３が出力する２以上の字幕情報の言語と、２以上の手話映像情報の言語とは、一致していても良いし、異なっていても良い。例えば、２以上の字幕情報の言語と、２以上の手話映像情報の言語とが異なる言語となるように、上述したような言語を指定する指示等を用いて、ユーザ等が選択できるようにしても良い。また、例えば、一の映像識別情報と対応付けられて字幕サーバ側格納部４０１に格納されている異なる言語と対応付けられた２以上の字幕情報と、同じ映像識別情報と対応付けられて手話映像サーバ側格納部５０１に格納されている異なる言語と対応付けられた２以上の手話映像情報との全て、あるいは一部が、それぞれ、異なる言語と対応付けられていても良い。

なお、字幕受信部１０２は、異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報を、それぞれ異なる字幕サーバ装置４から受信しても良い。例えば、異なる字幕サーバ装置４から受信するようにすることで、複数のユーザが、それぞれ、異なる字幕サーバ装置４に対して異なる言語の字幕情報を登録することが可能となり、異なる複数の字幕情報を作成する作業等を複数のユーザに分散させることができる。かかることは、手話情報においても同様である。

以上、本実施の形態によれば、２以上の異なる言語の字幕を示す２以上の字幕情報を、映像情報と合成して出力することができる。これにより、例えば、語学学習等を行う際に、習得したい第一の言語の音声を含む映像情報と、この第一の言語の音声を示す字幕情報と、この字幕情報をユーザの母国語の言語に翻訳した字幕情報とを同時に表示させることで、第一言語の音声に対応する字幕や、訳をユーザが調べる手間が不要となり、学習の効率化を図ることができる。また、例えば、母国語が異なる複数のユーザが同時に一の映像情報を視聴することが可能となる。

また、２以上の異なる言語の手話映像を示す２以上の手話映像情報を、映像情報と合成して出力することができ、例えば、母国語が異なる複数のユーザが同時に１の映像情報を視聴することが可能となる。

なお、上記実施の形態において、映像出力装置１に、制御サーバ装置２の構成を組み込むようにしても良い。この場合、例えば、制御要求情報送信部１１１と制御サーバ側受信部２０２、及び制御情報受信部１１２と制御サーバ側送信部２０３とは、それぞれ、信号線やバス等を適宜用いて直接接続するようにすればよい。

また、上記実施の形態においては、字幕格納部１０４に格納されている各字幕情報を、出力直後に削除する例について説明したが、字幕情報を、出力終了後も、例えば、予め指定されたタイミングとなるまで、字幕格納部１０４に蓄積しておくようにしても良い。そして、出力部１１３の出力内容を巻き戻す操作を、図示しない受付部等が受け付けた場合、出力部１１３がこの巻き戻す操作により指定される過去の出力時刻に対応する字幕情報を、字幕情報に対応付けられた字幕タイミング情報を用いて、字幕格納部１０４から読み出して出力するようにしても良い。例えば、出力部１１３は、巻き戻し操作により指定される過去の出力時刻と一致する時刻を示す字幕タイミング情報、または、この過去の出力時刻を含む期間を指定する字幕タイミング情報と対応付けられた字幕情報を字幕格納部１０４から読み出して出力する。出力内容を巻き戻す操作は、映像情報を巻き戻す操作であっても良いし、字幕情報を巻き戻す操作であっても良い。出力を巻き戻す操作が、映像情報を巻き戻す操作である場合、操作により指定される映像情報も読み出して、字幕情報を合成して出力するようにしても良い。出力終了後の字幕情報は、出力終了時から予め指定された一定の時間が経過するまで、字幕格納部１０４に蓄積しておいても良いし、出力終了時から、字幕格納部１０４の格納量の最大値に応じて設定される時間が経過するまで、字幕格納部１０４に蓄積しておいても良い。また、予め指定されたトリガーが発生するまで（例えば、次の字幕要求情報が送信されるまで）、蓄積しておいても良い。ここでの巻き戻しは、逆再生等も含む概念と考えても良い。

なお、字幕情報を出力終了後も字幕格納部１０４に蓄積しておく場合において、出力を巻き戻す操作を受け付けた場合、出力部１１３は、字幕情報だけを出力するようにしても良い。例えば、映像情報がストリーミング形式のデータである場合、著作権保護の観点等から、出力後のフレーム画像等を削除することが多く、出力を巻き戻す場合には、映像情報については、再度、映像情報を映像サーバ装置３から取得する必要があり、出力されるまでに時間がかかるが、字幕情報を字幕格納部１０４に蓄積しておくことで、字幕情報だけを巻き戻して出力する場合は、字幕格納部１０４に格納されている過去の字幕情報を読み出せば良いため、短時間で字幕情報を出力することができる。このため、ユーザが直前に出力された字幕を見落とした場合においても、瞬時に字幕だけを巻き戻して出力することが可能となる。

なお、本実施の形態においては、映像情報を映像サーバ装置３から受信し、字幕情報を１または２以上の字幕サーバ装置４から受信する例について説明した。しかしながら、本発明においては、映像出力装置１は、どのように、映像情報と異なる言語の２以上の字幕情報を取得するようにしても良い。例えば、映像出力装置１が有する図示しない取得部等が、映像情報または２以上の字幕情報の少なくとも一つを、図示しない記憶媒体等から読み出すことで取得するようにしても良い。この図示しない記憶媒体は、例えば、光ディスク等の、着脱可能な記憶媒体等であっても良い。

なお、上記実施の形態において、各処理（あるいは各機能）は、単一の装置（あるいはシステム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

また、上記実施の形態において、一の装置に存在する２以上の通信手段（例えば、映像受信部、手話映像受信部等）は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記実施の形態では、映像出力装置がスタンドアロンである場合について説明したが、映像出力装置は、スタンドアロンの装置であってもよく、サーバ・クライアントシステムにおけるサーバ装置であってもよい。後者の場合には、出力部や受付部は、通信回線を介して入力を受け付けたり、画面を出力したりすることになる。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部（例えば、ハードディスクやメモリ等の記録媒体）にアクセスしながらプログラムを実行してもよい。

なお、上記実施の形態における映像出力装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、異なる言語の字幕を示す２以上の字幕情報を、映像情報と合成して出力させるためのプログラムである。

また、このプログラムは、コンピュータを、映像情報を映像サーバ装置から受信する映像受信部と、異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報を、字幕サーバ装置から受信する字幕受信部と、字幕受信部が受信した異なる言語の字幕を示す２以上の字幕情報を、映像受信部が受信した映像情報と合成して出力する出力部として機能させるためのプログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１７は、上記プログラムを実行して、上記実施の形態による映像出力装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図１７において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図１８は、コンピュータシステム９００の内部構成を示す図である。図１８において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による映像出力装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による映像出力装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる映像出力装置等は、映像情報に字幕情報を出力する装置等として適しており、特に、異なる言語の字幕情報を出力する装置等として有用である。

１ 映像出力装置
２ 制御サーバ装置
３ 映像サーバ装置
４ 字幕サーバ装置
５ 手話映像サーバ装置
１０１ 映像受信部
１０２ 字幕受信部
１０３ 映像格納部
１０４ 字幕格納部
１０５ 手話映像受信部
１０６ 格納量設定部
１０７ 出力状況取得部
１０８ 要求送信部
１０９ 指定送信部
１１０ 映像要求情報送信部
１１１ 制御要求情報送信部
１１２ 制御情報受信部
１１３ 出力部
２０１ 制御情報格納部
２０２ 制御サーバ側受信部
２０３ 制御サーバ側送信部
３０１ 映像サーバ側格納部
３０２ 映像サーバ側受信部
３０３ 映像サーバ側送信部
４０１ 字幕サーバ側格納部
４０２ 字幕サーバ側受信部
４０３ 字幕サーバ側送信部
５０１ 手話映像サーバ側格納部
５０２ 手話映像サーバ側受信部
５０３ 手話映像サーバ側送信部
１０００ 映像システム

Claims (16)

1. 異なる言語の字幕を示す２以上の字幕情報を、映像情報と合成して出力する映像出力装置。
2. 映像情報を映像サーバ装置から受信する映像受信部と、
   異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報を、１または２以上の字幕サーバ装置から受信する字幕受信部と、
   前記字幕受信部が受信した異なる言語の字幕を示す２以上の字幕情報を、前記映像受信部が受信した映像情報と合成して出力する出力部とを備えた請求項１記載の映像出力装置。
3. 前記字幕受信部は、更に、前記映像情報の出力に対する前記字幕情報が出力されるタイミングを示す字幕タイミング情報を、前記字幕サーバ装置から受信し、
   前記出力部は、前記字幕受信部が受信した異なる言語の字幕を示す２以上の字幕情報を、各字幕情報と対応付けられた字幕タイミング情報を用いて、前記映像受信部が受信した映像情報と合成して出力する請求項２記載の映像出力装置。
4. 前記出力部は、前記映像情報の出力に応じて、映像情報の出力箇所を示す情報を取得し、当該出力箇所を示す情報に対応する字幕タイミング情報と対応付けられた字幕情報を出力する請求項３記載の映像出力装置。
5. 前記映像受信部は、複数のフレーム画像を有する映像情報であって、各フレーム画像を出力するタイミングを示す映像タイミング情報が、各フレーム画像と対応付けられている映像情報を受信し、
   前記字幕タイミング情報は、１以上の映像タイミング情報を指定する情報であり、
   前記出力部は、一のフレーム画像を出力する際に、当該フレーム画像と対応付けられた映像タイミング情報を指定する字幕タイミング情報と対応付けられた字幕情報を出力する請求項３記載の映像出力装置。
6. 前記映像受信部が受信した映像情報が一時的に格納される映像格納部と、
   前記映像受信部が受信した字幕情報が一時的に格納される字幕格納部とを更に備え、
   前記映像受信部は、受信した映像情報を、前記映像格納部に蓄積し、
   前記字幕受信部は、受信した字幕情報を、前記字幕格納部に蓄積し、
   前記出力部は、前記映像格納部に格納された映像情報と、前記字幕格納部に格納された字幕情報とを読み出して出力する請求項３から請求項５いずれか一項記載の映像出力装置。
7. 前記出力部による映像情報及び字幕情報の少なくとも一方の出力状況を示す情報を取得する出力状況取得部と、
   前記出力状況取得部が取得した出力状況を示す情報に応じて、前記字幕サーバ装置に、字幕情報の送信を要求する情報である字幕要求情報を送信する要求送信部とを更に備え、
   前記字幕サーバ装置は、前記字幕要求情報に応じて字幕情報を送信する請求項６記載の映像出力装置。
8. 前記出力状況取得部は、前記映像格納部における映像情報の格納状況、及び前記字幕格納部における字幕情報の格納状況の少なくとも一方を示す情報を、前記出力状況を示す情報として取得する請求項７記載の映像出力装置。
9. 前記映像格納部に格納される映像情報の格納量の最大値と、前記字幕格納部に格納される字幕情報の格納量の最大値とが互いに異なる請求項６から請求項８いずれか記載の映像出力装置。
10. 前記映像格納部に格納される映像情報の格納量の最大値と、前記字幕格納部に格納される字幕情報の格納量の最大値とを、それぞれ、自装置の処理能力に応じた値に設定する格納量設定部を更に備えた請求項６から請求項９記載の映像出力装置。
11. 前記映像受信部が受信した映像情報の種類に応じて、字幕タイミング情報と対応付けられた字幕情報及び字幕タイミング情報と対応付けられていない字幕情報のいずれか一方の送信を指定する情報を、前記字幕サーバ装置に送信する指定送信部を更に備え、
    前記字幕受信部は、前記送信を指定する情報に応じて前記字幕サーバ装置が送信する字幕情報であって、字幕タイミング情報と対応付けられていない字幕情報を更に受信し、
    前記出力部は、前記字幕受信部が受信した字幕情報が字幕タイミング情報と対応付けられていない場合は、字幕情報を前記映像受信部が受信した映像情報と合成して出力する請求項３から請求項１０いずれか一項記載の映像出力装置。
12. 映像情報及び字幕情報の受信に関する制御に用いられる制御情報の送信を要求する情報である制御要求情報を、制御サーバ装置に送信する制御要求情報送信部と、
    制御サーバ装置から制御要求情報に応じて送信される制御情報を受信する制御情報受信部とを更に備え、
    前記制御情報を用いて、映像情報と字幕情報との受信を行う請求項２から請求項１１いずれか一項記載の映像出力装置。
13. 異なる２以上の言語に対応する手話の映像をそれぞれ示す情報である２以上の手話映像情報を、手話映像サーバ装置から受信する手話映像受信部を更に備え、
    前記出力部は、更に、前記手話映像受信部が受信した異なる言語の２以上の手話映像情報を、前記映像受信部が受信した映像情報と合成して出力する請求項２から請求項１２いずれか一項記載の映像出力装置。
14. 請求項２から請求項１３のいずれか一項記載の映像出力装置に字幕情報を送信する字幕サーバ装置であって、
    異なる２以上の言語の字幕をそれぞれ示す文字列の情報である２以上の字幕情報が格納されている字幕サーバ側格納部と、
    前記字幕サーバ側格納部に格納されている異なる言語の２以上の字幕情報を読み出して前記映像出力装置に送信する字幕サーバ側送信部とを備えた字幕サーバ装置。
15. 異なる言語の字幕を示す２以上の字幕情報を、映像情報と合成して出力する映像出力方法。
16. コンピュータに、
    異なる言語の字幕を示す２以上の字幕情報を、映像情報と合成して出力させるためのプログラム。

Images