JP2019075754A - 合成装置、合成方法、およびプログラム - Google Patents

Abstract

【課題】主情報と補助情報とを適切に合成できる合成装置を提供する。【解決手段】配信される映像を含む主情報を受信する配信受信装置２から、主情報を取得する主情報取得部１０１と、主情報に対応する補助情報を送信する補助情報サーバ装置３から、取得した主情報に対応する補助情報を取得する補助情報取得部１０２と、取得する主情報と、取得する一以上の補助情報とを合成するための制御情報を送信する制御サーバ装置４から、主情報取得部１０１が取得する主情報に対応した制御情報を取得する制御情報取得部１０３と、制御情報取得部１０３が取得した制御情報に応じて主情報取得部１０１が取得する主情報と、補助情報取得部１０２が取得する一以上の補助情報とを合成して出力する出力部１０４とを備えた。【選択図】図１

Description

本発明は、映像を含む主情報と補助情報とを合成して出力する合成装置等に関するものである。

従来技術として、入力映像信号に文字データを合成し、表示装置に対して出力する文字表示処理装置であって、前記表示装置の表示方式に基づき、文字サイズを選択する文字サイズ選択手段と、前記文字データを、前記選択された文字サイズの文字映像信号に変換する文字データ展開手段と、前記入力映像信号に前記文字映像信号を合成する映像合成手段とを備えた、文字表示処理装置が知られていた（例えば、特許文献１参照）。

特開２００１−６９４１８号公報（第１頁、第１図等）

しかしながら、従来の技術においては、映像を含む主情報と、字幕情報や手話情報等の補助情報とを適切に合成することができない、という課題があった。

例えば、従来は、主情報が入力される入力端子をユーザがリモコン等で適切に指定しなければならなかった。このため、適切な入力端子を指定しなければ、適切な主情報を取得することができず、主情報と補助情報とを適切に合成して出力することができない、という問題があった。

また、例えば、従来においては、主情報に関係なく字幕情報や手話情報の表示サイズや表示位置等が決められていたため、字幕情報や手話情報等の表示が重要な主情報を出力する場合であっても、主情報が有する映像に対する字幕情報や手話情報の表示サイズが変化せず、字幕情報や手話情報等の補助情報が見にくい場合がある、という問題があった。

また、主情報の映像全体を表示することが好ましい主情報を出力する場合であっても、主情報の映像に字幕情報や手話情報が重なり具合を調整して表示することができず、主情報を見やすく表示できない、という問題があった。

本発明は、上記のような課題を解消するためになされたものであり、映像を含む主情報と、補助情報とを適切に合成する合成装置等を提供することを目的とする。

本発明の合成装置は、配信される映像を含む主情報を受信する配信受信装置から、主情報を取得する主情報取得部と、主情報に対応する補助情報を送信する一以上の補助情報サーバ装置から、主情報取得部が取得した主情報に対応する補助情報を取得する補助情報取得部と、主情報取得部が取得する主情報と、補助情報取得部が取得する一以上の補助情報とを合成するための制御情報を送信する制御サーバ装置から、主情報取得部が取得する主情報に対応した制御情報を取得する制御情報取得部と、制御情報取得部が取得した制御情報に応じて、主情報取得部が取得する主情報と補助情報取得部が取得する一以上の補助情報とを合成して出力する出力部とを備えた合成装置である。

かかる構成により、映像を含む主情報に対応した制御情報に応じて、主情報と補助情報とを合成することにより、主情報と補助情報とを適切に合成することができる。

また、本発明の合成装置は、前記合成装置において、補助情報は、字幕情報、手話情報、音声解説情報のうちの一種類以上である合成装置である。

かかる構成により、主情報と、字幕情報、手話情報、音声解説情報のうちの一種類以上とを適切に合成することができる。

また、本発明の合成装置は、前記合成装置において、制御情報取得部が取得する制御情報は、主情報が入力される入力端子の識別子である入力識別子を有しており、主情報取得部は、制御情報取得部が取得した制御情報が有する入力識別子が示す入力端子から入力される主情報を取得する合成装置である。

かかる構成により、制御情報により、主情報が入力される入力端子を指定することができ、主情報と補助情報とを適切に合成することができる。例えば、主情報が入力される入力端子を制御情報によって切替えることができる。

また、本発明の合成装置は、前記合成装置において、主情報取得部は、配信受信装置の出力端子とケーブルにより接続されている合成装置である。

かかる構成により、配信受信装置の出力端子からケーブルにより入力される映像を含む主情報と、補助情報とを合成することができ、配信受信装置とは異なる独立した装置で、映像を含む主情報と、補助情報とを適切に合成することができる。

また、本発明の合成装置は、前記合成装置において、制御情報取得部が主情報に応じて取得する二以上の異なる制御情報は、主情報が有する映像の表示サイズが異なる制御情報を含んでいる合成装置である。

かかる構成により、主情報に応じて主情報が有する映像の表示サイズが異なるよう、主情報と補助情報とを合成することができ、主情報と補助情報とをより適切に合成することができる。

また、本発明の合成装置は、前記合成装置において、補助情報取得部は、補助情報として字幕情報を取得し、取得した字幕情報を用いて簡易字幕情報を取得し、出力部は、補助情報取得部が取得した簡易字幕情報を合成して出力する合成装置である。

かかる構成により、字幕情報を適切に合成することができ、主情報と補助情報である字幕情報とを適切に合成することができる。

本発明による合成装置等によれば、映像を含む主情報と、補助情報とを適切に合成することができる。

本発明の実施の形態における配信受信システムの構成を示すブロック図 同配信受信システムの合成装置動作について説明するフローチャート 同配信受信システムの制御情報管理表を示す図 同配信受信システムの制御情報を示す図（図４（ａ）、図４（ｂ）） 同配信受信システムの表示例を示す図 同配信受信システムの表示例を示す図（図６（ａ）、図６（ｂ）） 同配信受信システムの制御情報管理表を示す図 本発明の実施の形態におけるコンピュータシステムの外観の一例を示す図 同コンピュータシステムの構成の一例を示す図

以下、合成装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態）
図１は、本実施の形態における配信受信システムの構成を示すブロック図である。

配信受信システム１０００は、合成装置１、配信受信装置２、一以上の補助情報サーバ装置３、制御サーバ装置４、およびテレビ５を備えている。なお、ここでは、説明の便宜上、補助情報サーバ装置３が一つである場合を例に挙げて示しているが、補助情報サーバ装置３は、複数であっても良い。また、合成装置１、配信受信装置２、およびテレビ５の組を二以上有していても良い。合成装置１と一以上の補助情報サーバ装置３と制御サーバ装置４とは、無線や有線のネットワークや通信回線等を介して通信可能に接続されている。

合成装置１は、主情報取得部１０１、補助情報取得部１０２、制御情報取得部１０３、および出力部１０４を備えている。

配信受信装置２は、配信受信部２０１および主情報出力部２０２を備えている。

補助情報サーバ装置３は、補助要求受信部３０１、補助情報格納部３０２、および補助情報送信部３０３を備えている。

制御サーバ装置４は、制御要求受信部４０１、制御情報格納部４０２、および制御情報送信部４０３を備えている。

主情報取得部１０１は、配信される主情報を配信受信装置２から取得する。主情報は、映像を含む情報である。主情報は、例えば、テレビ用に配信される主情報である。ここでの配信は、放送により行なわれても良く、マルチキャスト通信で行なわれてもよく、ユニキャスト通信で行なわれても良い。主情報は、例えば、テレビで表示されるテレビ番組等の番組やコンテンツの情報であり、映像は、この番組やコンテンツの映像とある。映像は、例えば、テレビ表示用の映像である。ここでの映像は、通常、動画像である。ここでの映像は映像情報と考えてもよい。主情報は映像のみで構成されていてもよく、映像に加えて音声等の情報を有していても良い。また、主情報は、例えば、映像に加えて、主情報の配信元に関連した情報（以下、配信元関連情報と称す）や、主情報に関連した情報（以下、主情報関連情報と称す）等を有していてもよい。配信元関連情報は、例えば、主情報を配信（例えば、放送）しているチャンネルを示す情報（例えば、チャンネル番号等のチェンネルの識別子）や、主情報を配信（例えば、放送）しているテレビ局を示す情報（例えば、テレビ局名等のテレビ局の識別子）等の情報である。主情報関連情報は、例えば、主情報が配信される伝送媒体等に関する情報ではなく、主情報自身に関する情報である。主情報関連情報は、例えば、主情報の識別子や種類等を示す情報である。主情報の識別子は、例えば、番組名やコンテンツ名等の主情報である番組やコンテンツ等の識別子であっても良い。コンテンツは、例えば、映像や、映像と音声や文字を組み合わせたものである。また、主情報の種類を示す情報は、例えば、ニュース、音楽、ドラマ、スポーツ等の、番組やコンテンツの種類を示す情報や、これらに対応する識別子等である。主情報の種類を示す情報は、例えば、主情報のジャンルを示す情報と考えてもよい。なお、ここでの種類とは、どのような種類であっても良く、例えば、合成装置１の提供者等が独自に設定した種類等であっても良い。例えば、ここでの種類は、映像小、映像大、手話不要、文字列不要、手話拡大等の種類であっても良い。主情報の種類を示す情報は、例えば、主情報の種類やジャンルを示すいわゆるタグであってもよい。なお、配信受信装置２が受信する主情報は、例えば、配信元等が、予め決められた配信スケジュールに従って配信する主情報であっても良く、いわゆるオンデマンドで、配信受信装置２等からの要求に応じて配信される主情報であってもよい。

主情報取得部１０１による主情報の取得は、例えば、主情報の入力の受付や主情報の受信等である。主情報取得部１０１は、例えば、配信受信装置２の出力端子（図示せず）と一以上のケーブル１０１１により接続されており、このケーブル１０１１を介して配信受信装置２から主情報を取得する。例えば、主情報取得部１０１は、配信受信装置２が出力端子から出力する主情報をケーブル１０１１を介して受け付ける。ケーブル１０１１は、どのようなケーブルであっても良く、例えば、いわゆるＨＤＭＩ（登録商標）端子と接続されるＨＤＭＩケーブルであっても良く、ＲＣＡ端子と接続されるＲＣＡケーブルであっても良く、Ｄ端子と接続されるＤ端子ケーブルであってもよく、ＤＶＩケーブル等であってもよい。ただし、主情報取得部１０１は、配信受信装置２から出力される主情報を取得可能であれば、どのように、配信受信装置２と接続されていても良く、例えば、無線通信により接続されていてもよい。また、無線ネットワークや有線ネットワーク等を介して接続されていても良い。

主情報取得部１０１は、配信受信装置２が受信した主情報の全てを取得しても良く、受信した主情報のうちの映像を含む一部だけを取得してもよい。

補助情報取得部１０２が取得した主情報は、例えば、図示しないバッファ等のメモリや、ハードディスク等の記憶媒体に少なくとも一時的に蓄積され、適宜、出力部１０４に読み出される。

主情報取得部１０１は、通常、ＭＰＵやメモリ等から実現され得る。主情報取得部１０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。例えば、主情報取得部１０１は、主情報の入力を受け付けるインターフェース回路等を有していても良い。なお、主情報所得部１０１は、例えば、受信手段等の通信手段を有していても良い。

補助情報取得部１０２は、一または二以上の補助情報サーバ装置３から、主情報取得部１０１が取得した主情報に対応する補助情報を取得する。補助情報サーバ装置３は、主情報に対応する補助情報を送信するサーバ装置である。補助情報は、主情報を補助するための情報である。補助情報は、例えば、主情報の理解を補助するための情報と考えてもよい。補助情報は、例えば、視覚または聴覚が不自由なユーザによる主情報の理解を補助するための情報であってもよい。補助情報とは、字幕情報、手話情報、音声解説情報のうちの一種類以上である。字幕情報は、例えば、字幕として用いられる文字列を有する情報である。字幕情報は、字幕を表示するタイミングを示す情報、例えば、字幕を表示する時刻やタイムスタンプの情報等を有していても良い。手話情報は、例えば、手話の映像情報である。手話情報は、手話の映像を表示させるための手腕の画像や映像と対応付けられた情報を有していても良い。音声解説情報は、表示される映像情報を解説するための音声情報である。字幕情報や、手話情報や、音声解説情報については、公知技術であるため、ここでは詳細な説明は省略する。

主情報に対応する補助情報とは、例えば、主情報が有する映像に対応する音声を表す字幕情報や手話情報である。音声を表す字幕情報や手話情報は、例えば、音声を字幕化した字幕情報や、音声を手話で表した手話情報であっても良く、音声で表される内容を示す字幕情報や手話情報であってもよい。主情報が有する映像に対応する音声は、例えば、主情報が有する音声であり、通常は主情報が有する映像と同期して出力される音声である。ただし、図示しない他のサーバ装置から送信される主情報が有する映像に対応づけられた音声であっても良い。また、主情報に対応する補助情報は、例えば、主情報が有する映像に表示される文字列を表す手話情報であってもよい。また、主情報に対応する補助情報は、例えば、主情報が有する映像を解説する音声解説情報であってもよい。主情報に対応する補助情報は、例えば、主情報が有する映像のうちの、現在表示されている部分に対応する補助情報である。例えば、主情報が有する映像のうちの、現在表示されている部分に対応する音声を表す字幕情報や手話情報であり、映像の経時的な変化に伴って変化する字幕情報や手話情報である。ただし、主情報に対応する補助情報は、上記以外の主情報に対応付けられた補助情報であってもよい。

一以上の補助情報サーバ装置３は、二以上の異なる言語の字幕情報を送信してもよい。例えば、一の補助情報サーバ装置３が、二以上の異なる言語の字幕情報を送信してもよい。二つの補助情報サーバ装置３が、それぞれ異なる言語の字幕情報を送信してもよい。

補助情報取得部１０２は、例えば、主情報に対応する補助情報の送信を要求する情報（以下、補助情報送信要求と称す）を、一または二以上の補助情報サーバ装置３に送信する。そして、この補助情報送信要求に応じて、一または二以上の補助情報サーバ装置３から送信される一または二以上の補助情報を受信する。補助情報取得部１０２による補助情報の取得は、例えば、補助情報の受信や、補助情報送信要求の送信と、この補助情報送信要求に応じた補助情報の受信との組合せと考えてもよい。

補助情報取得部１０２が、補助情報送信要求を送信するタイミングやトリガー、回数等は問わない。例えば、合成装置１の主情報取得部１０１が主情報の取得を開始する際に、補助情報取得部１０２が補助情報送信要求を送信するようにしても良い。また、補助情報取得部１０２は、補助情報送信要求を予め決められた一定のタイミングや不定のタイミング毎に繰り返し行なうようにしても良い。また、上述したような主情報取得部１０１が取得した主情報が有する配信元関連情報が変更されたか否かの判断を補助情報取得部１０２が繰り返し行い、変更された場合に、補助情報送信要求を送信してもよい。

補助情報取得部１０２が送信する補助情報送信要求は、例えば、主情報取得部１０１が取得した主情報が有する配信元関連情報および主情報関連情報の少なくとも一方を有している情報である。補助情報送信要求は、例えば、補助情報を送信を要求する命令等を有していても良く、有していなくても良い。また、補助情報送信要求は、後述する出力部１０４が出力している主情報のうちの、現在出力している部分を示す情報（例えば、現在出力している主情報の映像のフレームに対応するタイムコードやチャプター識別子等）を有していても良い。例えば、補助情報取得部１０２は、配信元関連情報および主情報関連情報の少なくとも一方を、主情報取得部１０１が主情報から取得して、この取得した情報を有する補助情報送信要求を取得して、送信する。また、補助情報取得部１０２は、更に、現在出力している部分を示す情報を主情報から取得して、この情報を更に有する補助情報送信要求を取得してもよい。なお、補助情報送信要求の一部、例えば、補助情報の送信を要求する命令等は、図示しない格納部等に予め格納されていても良い。

なお、補助情報取得部１０２は、主情報取得部１０１が取得した主情報が有する配信元関連情報または主情報関連情報に対応付けられた補助情報サーバ装置３に補助情報送信要求を送信してもよい。

例えば、補助情報取得部１０２は、補助情報送信要求を一以上の補助情報サーバ装置３に送信し、この補助情報送信要求に応じて補助情報サーバ装置３が送信する一以上の補助情報を受信する。補助情報送信要求は、例えば、この情報を送信する合成装置の識別子（例えば、合成装置１の識別子やＩＰアドレス等）を有する情報である。

補助情報サーバ装置３からの補助情報の送信がどのように行なわれるかは問わない。補助情報サーバ装置３による補助情報の送信は、例えば、ストリーミングやプログレッシブダウンロードにより行なわれる。この場合のストリーミングは、ライブストリーミングであっても良く、非ライブストリーミングであっても良い。

補助情報取得部１０２が、どのように、補助情報サーバ装置３から、主情報に対応する補助情報を取得するかは問わない。例えば、配信受信装置２が主情報を受信可能なチャンネルや、配信受信装置２が受信可能な主情報の配信元（例えば、放送元）が複数である場合、補助情報取得部１０２は、主情報取得部１０１が取得した主情報が有する配信元関連情報を有する補助情報送信要求を一以上の補助情報サーバ装置３に送信し、補助情報サーバ装置３が、補助情報送信要求に含まれる配信元関連情報が示す配信元において現在の時刻に配信（例えば、放送）している主情報に対応した一または二以上の補助情報を送信するようにし、補助情報取得部１０２がこの一または二以上の補助情報を受信して取得するようにしてもよい。

また、例えば、配信受信装置２が主情報を受信可能なチャンネルや、配信受信装置２が受信可能な主情報の配信元（例えば、放送元）が一つだけである場合、補助情報サーバ装置３が、補助情報取得部１０２から出力される補助情報送信要求に応じて、この一つのチャンネルから現在の時刻に配信（例えば、放送）されている主情報に対応した補助情報を送信するようにし、補助情報取得部１０２がこの補助情報を取得するようにしてもよい。この場合の補助情報送信要求は、例えば、上記のような配信元関連情報等を有していなくて良い。

また、例えば、主情報取得部１０１が取得した主情報が有する主情報関連情報である主情報の識別子を有する補助情報送信要求を、補助情報取得部１０２が一以上の補助情報サーバ装置３に送信し、補助情報サーバ装置３が、この補助情報送信要求が有する識別子に対応する一または二以上の補助情報を送信するようにし、補助情報取得部１０２がこの一または二以上の補助情報を受信して取得するようにしてもよい。この場合、例えば、主情報取得部１０１が取得した主情報が有する主情報の識別子が変わる毎に、補助情報送信要求を送信することが好ましい。

なお、例えば、主情報取得部１０１が取得した主情報が有する配信元関連情報や、主情報の識別子等の変更の有無を、主情報取得部１０１が判断し、変更がある場合に、補助情報取得部１０２が、これらの情報を有する補助情報要求情報を送信するようにすればよい。

補助情報取得部１０２が、一以上の補助情報を取得する補助情報サーバ装置３をどのように決定するかは問わない。例えば、補助情報取得部１０２は、予め決められた一以上の補助情報サーバ装置３のそれぞれから、予め決められた一以上の補助情報を取得する。また、後述する制御情報が示す一以上の補助情報サーバ装置３から、この制御情報が示す一以上の種類の補助情報をそれぞれ取得しても良い。また、補助情報取得部１０２は、予め決められた一以上の種類の補助情報を、予め決められた複数の補助情報サーバ装置３のうちの任意の一以上の補助情報サーバ装置３や、十分な通信レートが確保できる一以上の補助情報サーバ装置３から、取得しても良い。

補助情報取得部１０２は、例えば、補助情報として字幕情報を取得し、取得した字幕情報を用いて簡易字幕情報を取得するようにしてもよい。簡易字幕情報は、例えば、補助情報サーバ装置３から受信した字幕情報の一部で構成される字幕情報である。簡易字幕情報は、例えば、補助情報サーバ装置３から受信した字幕情報の一部を削除した字幕情報と考えてもよい。字幕情報の一部とは、例えば、字幕情報に含まれる文字列の一部である。

補助情報取得部１０２が、どのように、補助情報サーバ装置３から受信した字幕情報から、簡易字幕情報を取得するようにしても良い。例えば、補助情報取得部１０２は、字幕情報の文字列に対して、形態素解析を行って、予め指定された属性を有する１または２以上の形態素（例えば、自立語や名詞句等の特定の品詞の形態素）だけを取得することにより簡易字幕情報を取得しても良い。また、助詞等の特定の品詞の形態素だけを削除することで簡易字幕情報を取得しても良い。あるいは、字幕情報の文字列に対してパターンマッチング等を行って、文字列の一部を取得しても良い。例えば、字幕情報の文字列に対して予め指定された１以上の手がかり句を検索し、検出された手がかり句に対して、予め指定された位置関係にある文字列だけを取得しても良い。また、形態素解析と、手がかり句とを組み合わせて字幕情報に含まれる文字列の一部を取得しても良く、例えば、字幕情報の文字列に対して予め指定された１以上の手がかり句を検索し、検出された手がかり句に対して所定の位置関係にある形態素や、所定の位置関係にある予め指定された属性を有する形態素を取得するようにしても良い。また、補助情報取得部１０２は、字幕情報に含まれる文字列の、所定の位置に配置された文字列（例えば、先頭の予め指定された文字数の文字列）を取得しても良い。また、補助情報取得部１０２は、一の字幕情報から重複する文字列を取得した場合、ユニーク処理を行うことにより、重複する文字列から一つの文字列のみを取得するようにしても良い。

補助情報取得部１０２が取得した補助情報は、例えば、図示しないバッファ等のメモリや、ハードディスク等の記憶媒体に少なくとも一時的に蓄積され、適宜、出力部１０４に読み出される。

補助情報取得部１０２は、例えば、送信手段や受信手段等の通信手段や、ＭＰＵやメモリ等から実現され得る。例えば、補助情報取得部１０２は、例えば、補助情報を受信するための受信手段である補助情報受信手段（図示せず）を有していても良い。更に、補助情報送信要求を送信するための送信手段である補助情報要求送信手段（図示せず）を有していても良い。補助情報取得部１０２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

制御情報取得部１０３は、主情報取得部１０１が取得する主情報に対応した制御情報を制御サーバ装置４から取得する。制御サーバ装置４は制御情報を送信するサーバ装置である。制御情報は、主情報取得部１０１が取得する主情報と、一以上の補助情報取得部１０２が取得する一以上の補助情報とを合成するための情報である。制御情報は、後述する出力部１０４が、主情報と一以上の補助情報とを合成するために用いる情報である。

制御情報は、例えば、少なくとも主情報が有する映像の表示に関する制御を行なうための情報である。制御情報は、例えば、主情報が入力される入力端子の識別子（以下、入力識別子と称す）を有する情報である。入力識別子は、主情報が入力される入力端子を指定する情報と考えてもよい。入力識別子は、主情報が入力される入力端子を指定することによって、画面内に表示する主情報を指定する情報と考えてもよい。ここでの入力端子は、合成装置１が有する入力端子である。ここでの入力端子は、例えば、ＨＤＭＩ端子や、ＡＶ（ＲＣＡ）端子、Ｄ１〜Ｄ５端子等、ＤＶＩ端子等である。制御情報は、例えば、主情報が有する映像の表示サイズを指定する表示サイズ情報を有する情報である。また、制御情報は、更に、主情報を表示する画面内における、主情報の表示位置を指定する情報を有していても良い。表示位置は、例えば、画面内の座標を用いて指定される。また、制御情報は、主情報を自動再生するか否かを指定する情報を有していても良い。例えば、主情報がオンデマンドで表示される情報等である場合、この情報により、主情報が自動再生するか否かの制御が行なわれる。また、制御情報は、主情報の映像等のデータタイプ等の情報を有していてもよい。例えば、データタイプの情報に応じて、主情報の再生処理が行なわれる。

制御情報は、更に、補助情報取得部１０２が取得する一以上の補助情報のそれぞれの表示に関する情報を有していても良い。例えば、制御情報は、補助情報である文字情報についての、表示位置の情報、フォントの種類の情報、フォントサイズの情報、主情報と重なる場合の透過度の情報等のうちの一以上を有していても良い。また、制御情報は、補助情報である手話情報についての、表示位置の情報、表示サイズの情報、自動再生するか否かを示す情報、等を有していても良い。

また、制御情報は、画面の背景色や背景パターン等の情報を有していても良い。また、主情報が有する映像の枠を表示するための情報や、主情報が有する音声等を制御するための情報等を有していても良い。

なお、一以上の補助情報の表示に関する情報を、制御情報に含めずに、合成装置１内の予めデフォルトの情報として図示しない格納部に予め格納しておくようにして、一以上の補助情報についてはこのデフォルトの情報に従って後述する出力部１０４により主情報等と合成させて出力されるようにしても良い。

制御情報取得部１０３が取得した制御情報は、例えば、図示しない格納部に蓄積される。制御情報取得部１０３が新たな制御情報を取得した場合、新たに取得した制御情報で、格納部に格納されている制御情報が更新される。

制御情報取得部１０３は、制御サーバ装置４から、主情報取得部１０１が取得する主情報に対応した制御情報を取得する。制御情報取得部１０３は、例えば、予め決められた制御サーバ装置４から制御情報を取得する。制御情報取得部１０３は、例えば、主情報が有する配信元関連情報に対応した制御サーバ装置４から制御情報を取得するようにしても良い。

制御情報取得部１０３は、例えば、制御情報の送信を要求する情報（以下、制御情報送信要求と称す）を制御サーバ装置４に送信し、制御サーバ装置４がこの制御情報送信要求に応じて送信する制御情報を受信する。制御情報送信要求は、例えば、この情報を送信する合成装置の識別子（例えば、合成装置１の識別子やＩＰアドレス等）を有する情報である。制御情報取得部１０３による制御情報の取得は、例えば、制御情報の受信や、制御情報送信要求の送信と、この制御情報送信要求に応じた制御情報の受信との組合せと考えてもよい。

制御情報取得部１０３が、どのように、制御サーバ装置４から、主情報に応じた補助情報を取得するかは問わない。

例えば、配信受信装置２が主情報を受信可能なチャンネルや、配信受信装置２が受信可能な主情報の配信元（例えば、放送元）が複数である場合、制御情報取得部１０３は、主情報取得部１０１が取得した主情報が有する配信元関連情報を有する制御情報送信要求を一以上の制御サーバ装置４に送信し、制御サーバ装置４が、制御情報送信要求に含まれる配信元関連情報が示すチャンネルや配信元において現在の時刻に配信（例えば、放送）している主情報に対応した制御情報を送信するようにし、制御情報取得部１０３がこの制御情報を受信して取得するようにしてもよい。これにより、例えば、番組表等の放送スケジュールに沿って現在配信されている主情報に対応した制御情報を取得することが可能となる。

また、例えば、配信受信装置２が主情報を受信するチャンネルや、配信受信装置２が受信する主情報の配信元（例えば、放送元）が一つだけである場合、制御サーバ装置４が、制御情報取得部１０３から出力される制御情報送信要求に応じて、この一つのチャンネルから現在の時刻に配信（例えば、放送）されている主情報に対応した制御情報を送信するようにし、制御情報取得部１０３がこの補助情報を取得するようにしてもよい。この場合の制御情報送信要求は、上記のような配信元関連情報を有していなくて良い。

また、例えば、配信受信装置２が主情報を受信可能なチャンネルや、配信受信装置２が受信可能な主情報の配信元（例えば、放送元）が複数である場合、制御情報取得部１０３は、主情報取得部１０１が取得した主情報が有する配信元関連情報を有する制御情報送信要求を一以上の制御サーバ装置４に送信し、制御サーバ装置４が、制御情報送信要求に含まれる配信元関連情報が示すチャンネルや配信元に応じた制御情報を送信するようにし、制御情報取得部１０３がこの制御情報を受信して取得するようにしてもよい。これにより、例えば、制御サーバ装置４が、チャンネル音楽専門チャンネルや、ニュース専門チャンネル、スポーツ専門チャンネル等のチャンネルに合せた制御情報を送信し、制御情報取得部１０３が、このようなチャンネルにあわせた制御情報を取得することができる。

なお、上記の場合、例えば、主情報取得部１０１が取得した主情報が有する配信元関連情報の変更の有無を、主情報取得部１０１が判断し、変更がある場合に、制御情報取得部１０３が、これらの情報を有する制御情報要求情報を送信するようにすればよい。

また、例えば、主情報取得部１０１が取得した主情報が有する主情報関連情報である主情報の識別子を有する制御情報送信要求を、制御情報取得部１０３が制御サーバ装置４に送信し、制御サーバ装置４が、この制御情報送信要求が有する主情報関連情報である識別子に対応する制御情報を送信するようにし、制御情報取得部１０３がこの制御情報を受信して取得するようにしてもよい。これにより、制御情報取得部１０３は、例えば、オンデマンド配信される主情報に対応した制御情報を取得することができる。この場合、例えば、主情報取得部１０１が取得した主情報が有する主情報の識別子が変わる毎に、制御情報送信要求を送信することが好ましい。

また、例えば、主情報取得部１０１が取得した主情報が有する主情報の種類を示す情報を主情報関連情報として有する制御情報送信要求を、制御情報取得部１０３が制御サーバ装置４に送信し、制御サーバ装置４が、この制御情報送信要求が有する主情報関連情報が示す主情報の種類に対応する制御情報を送信するようにし、制御情報取得部１０３がこの制御情報を受信して取得するようにしてもよい。これにより、制御情報取得部１０３は、例えば、配信される主情報の種類に応じた制御情報を取得することができる。この場合、例えば、主情報取得部１０１が取得した主情報が有する主情報の種類を示す情報が変わる毎に、制御情報送信要求を送信することが好ましい。

また、例えば、制御情報取得部１０３が、主情報取得部１０１が取得した主情報が有する映像から、画像分析により主情報の種類を示す情報を取得し、この種類を示す情報（例えば、種類名等）を有する制御情報送信要求を、制御情報取得部１０３が制御サーバ装置４に送信し、制御サーバ装置４が、この制御情報送信要求が有する主情報の種類に対応する制御情報を送信するようにし、制御情報取得部１０３がこの制御情報を受信して取得するようにしてもよい。これにより、主情報に種類等を示す情報が含まれていなくても、制御情報取得部１０３は、例えば、配信される主情報の種類等に応じた制御情報を取得することができる。この場合、例えば、主情報取得部１０１が取得した主情報から取得する主情報の種類を示す情報が変わる毎に、制御情報送信要求を送信することが好ましい。なお、画像分析により、コンテンツの内容を認識する処理については公知技術であるため、ここでは詳細な説明は省略する。例えば、このような画像分析の例については以下の情報を参照されたい「"Google Cloud Platform"、［online］、［平成２９年９月１３日検索］、インターネット<URL：https://cloud.google.com/vision/?hl=ja>」。

また、例えば、制御情報取得部１０３が、主情報取得部１０１が取得した主情報が有する音声について音声分析を行なって、音声に言葉が含まれるか否か、あるいは、音楽が含まれるか否か等を判断してこの音声分析結果を示す情報を取得し、取得した情報（例えば、言語の有無等）を有する制御情報送信要求を、制御情報取得部１０３が制御サーバ装置４に送信し、制御サーバ装置４が、この制御情報送信要求が有する主情報の音声分析結果に対応する制御情報を送信するようにし、制御情報取得部１０３がこの制御情報を受信して取得するようにしてもよい。これにより、主情報に種類等を示す情報が含まれていなくても、制御情報取得部１０３は、例えば、配信される主情報の種類等に応じた制御情報を取得することができる。この場合、例えば、主情報取得部１０１が取得した主情報から取得する音声分析結果を示す情報が変わる毎に、制御情報送信要求を送信することが好ましい。なお、音声から、言語を検出したり、音声に含まれる音楽を検出したりする処理は公知技術であるため、ここでは詳細な説明は省略する。

制御情報取得部１０３は、例えば、主情報取得部１０１が取得した主情報が有する情報等を用いて、上記のような制御情報送信要求を取得し、取得した制御情報送信要求を送信んする。制御情報送信要求は、例えば、制御情報を送信を要求する命令等を有していても良く、有していなくても良い。制御情報送信要求の一部、例えば、制御情報の送信を要求する命令等は、図示しない格納部等に予め格納されていても良い。

制御情報取得部１０３が制御情報を取得するタイミングは問わない。例えば、制御情報取得部１０３は、制御サーバ装置４が制御情報を送信した場合に、送信された制御情報を受信する。また、制御情報取得部１０３は、予め決められた一定または不定のタイミング毎に、制御情報送信要求を制御サーバ装置４に送信し、この制御情報送信要求に応じて制御サーバ装置４が送信する制御情報を受信してもよい。

なお、制御情報取得部１０３が主情報に応じて取得する二以上の異なる制御情報は、主情報が有する映像の表示サイズが異なる制御情報を含んでいることが好ましい。このことは、例えば、制御情報取得部１０３が取得可能な複数の制御情報の中に、少なくとも主情報が有する映像の表示サイズが異なる制御情報が二以上含まれることと考えてもよい。

制御情報取得部１０３は、例えば、送信手段や受信手段等の通信手段や、ＭＰＵやメモリ等から実現され得る。例えば、制御情報取得部１０３は、制御情報を受信するための受信手段である制御情報受信手段（図示せず）を有していても良く、更に、制御情報送信要求を送信するための送信手段である制御情報要求送信手段（図示せず）を有していても良い。制御情報取得部１０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部１０４は、制御情報取得部１０３が取得した制御情報に応じて主情報取得部１０１が取得する主情報と、一または二以上の補助情報取得部１０２が取得する一または二以上の補助情報とを合成して出力する。例えば、出力部１０４は、制御情報取得部１０３が取得した制御情報に応じて主情報取得部１０１が取得する主情報が有する映像と、一または二以上の補助情報取得部１０２が取得する一または二以上の補助情報とを合成してモニタ（図示せず）の表示領域全面に表示するための画像を生成し、生成した画像をモニタに表示する。出力部１０４は、例えば、主情報と補助情報とを合成した情報を、配信受信装置２等の主情報の出力元に出力しても良い。そして、この合成した情報の入力を受け付けた配信受信装置２等が、合成した情報を表示デバイス（図示せず）等を用いて表示するようにしてもよい。なお、主情報と補助情報とを制御情報に応じて合成するということは、少なくとも主情報が制御情報に応じて合成することであればよく、一または二以上の補助情報を、制御情報に応じて合成するか、デフォルト等の設定に応じて合成するかは問わない。例えば、制御情報に、主情報の表示を制御するための情報しか含まれておらず、補助情報の表示を制御するための情報が含まれていない場合、出力部１０４は、主情報は、制御情報に応じて合成し、補助情報はデフォルトの設定等に応じて合成するようにしてもよく、このような場合も、主情報と補助情報とを制御情報に応じて合成することと考えてもよい。

主情報を合成するということは、例えば、少なくとも主情報が有する映像等の表示要素を合成することである。制御情報に応じて主情報を合成する、ということは、例えば、表示領域内の制御情報が示す位置に主情報を配置することであってもよく、制御情報が示すサイズで主情報を配置することであってもよく、制御情報が示す透過度や合成モードにより主情報を合成することであっても良く、制御情報が示す入力端子から入力される主情報を合成することであっても良く、これらの二以上の組合せであっても良い。かかることは、一または二以上の補助情報の、制御情報に応じた合成や、デフォルトの設定に応じた合成についても同様である。なお、補助情報を合成して出力する、ということは補助情報を用いて取得した情報を合成して出力することも含む概念である。例えば、テキストである補助情報から、デフォルトの設定が示す特定のフォントのテキストを取得して合成し、出力することも、補助情報を合成して出力することと考えてもよい。

なお、出力部１０４は、主情報が有する音声を、例えば、合成した映像とともに出力しても良く、主情報が有する音声と補助情報が有する音声とを合成して、合成した映像ととともに出力しても良い。

出力部１０４は、補助情報取得部１０２が取得した簡易字幕情報を合成して出力してもよく、このような簡易字幕情報の合成は、字幕情報を合成して出力することの一態様であると考えてもよい。

ここでの出力は、モニタへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。本実施の形態においては、一例として、出力部１０４が、合成装置１の外部に設けられたテレビ５により、主情報と補助情報と合成した画像を表示する場合について説明する。ただし、他の出力デバイスで出力しても良い。この場合の出力部１０４とテレビ５との接続は、主情報取得部１０１と配信受信装置２との接続と同様に、どのように接続されるかは問わない。例えば、出力部１０４とテレビ５とが、ケーブル１０１１と同様のケーブル１０１２により接続される。

出力部１０４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１０４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

配信受信装置２は、配信される主情報を受信する装置である。配信受信装置２が受信する主情報が、どのように配信される主情報であるかは問わない。配信受信装置２が受信する主情報は、地上波や、放送衛星や通信衛星等により配信（例えば、放送）される主情報であっても良く、ケーブルテレビ等のようなケーブルを用いて配信される主情報であってもよく、インターネット等のネットワークを介して配信される主情報であっても良い。配信受信装置２が受信する主情報は、例えば、予め決められた配信スケジュール（例えば、番組表）等に従って配信（例えば、放送）される主情報であってもよく、いわゆるオンデマンドで、配信受信装置２等からの要求に応じて配信される主情報であってもよい。配信受信装置２は、例えば、テレビ等のチューナであってもよく、いわゆるセットトップボックス等であっても良い。

配信受信部２０１は、配信される主情報を受信する。配信受信部２０１は、例えば、配信元から配信される主情報を受信する。配信受信部２０１は、無線または有線の通信手段や放送を受信する手段等により実現される。

なお、合成装置１は、主情報を配信するチャンネル等を指定する情報や、主情報の配信元を指定する情報等を指定する情報を、ユーザ等から図示しない入力デバイス等を介して受け付ける受付部（図示せず）とを有するようにし、配信受信部２０１が、この情報により指定されたチャンネルや配信元から配信される主情報を受信するようにしてもよい。ただし、特定の一の配信元やチャンネルから配信される主情報のみを受信する場合、受付部等は省略してもよい。

また、配信受信部２０１がオンデマンドで配信される主情報を受信する場合、合成装置１は、配信を要求する主情報を指定する情報を、ユーザ等から図示しない入力デバイス等を介して受け付ける受付部（図示せず）と、受け付けた主情報を指定する情報を、予め決められた配信元等に送信する送信部（図示せず）等を有していても良い。

主情報出力部２０２は、配信受信部２０１が受信した主情報を、合成装置１の主情報取得部１０１に対して出力する。主情報出力部２０２は、例えば、配信受信部２０１が受信した主情報を、一般のテレビ等で視聴可能な信号等の、予め決められた信号に変換して出力しても良く、配信受信部２０１が受信した主情報のうちの映像を含む一部を出力しても良い。例えば、主情報出力部２０２は、配信受信部２０１が受信した主情報を用いて、映像や音声の情報を取得し、取得した映像や音声の情報を出力する。この場合も主情報を出力することと考えてもよい。主情報出力部２０２は、ケーブル１０１１（例えば、ＨＤＭＩケーブル等）を介して主情報を出力する。ただし、無線通信や有線通信により主情報をを出力しても良い。主情報出力部２０２は、例えば、無線または有線の通信手段等により実現される。

補助情報サーバ装置３は、合成装置１の主情報取得部１０１が取得した主情報に対応する一または二以上の補助情報を合成装置１の補助情報取得部１０２に送信するサーバ装置である。

補助要求受信部３０１は、合成装置１の補助情報取得部１０２が送信する補助情報送信要求を受信する。例えば、補助要求受信部３０１は、配信元関連情報、および主情報関連情報である主情報の識別子等のうちの一以上を有する補助情報送信要求を受信する。補助情報送信要求は、更に、主情報の現在出力している部分を示す情報を有していても良い。補助要求受信部３０１は、無線または有線の通信手段や放送を受信する手段等により実現される。

補助情報格納部３０２には、補助情報が格納される。例えば、補助情報格納部３０２には、補助情報を入力する手段等を介して入力された補助情報が蓄積される。

例えば、補助情報サーバ装置３が、一以上のチャンネルや一以上の配信元等から配信スケジュール等に合わせて配信（例えば放送）されている主情報に対応する補助情報を送信するものである場合、補助情報格納部３０２には、一以上のチャンネルや一以上の配信元等から配信スケジュール等に合わせて配信（例えば放送）されている主情報に対応する補助情報（例えば、配信される主情報に同期した補助情報）が、補助情報を入力する手段等を介して蓄積される。補助情報格納部３０２には、例えば、主情報の現在配信されている部分に対応する補助情報が、例えば、リアルタイムに蓄積されても良い。また、例えば、補助情報格納部３０２に蓄積された主情報に対応する補助情報のうちの、予め指定された時間が経過した補助情報等は削除してもよい。例えば、主情報の配信に合わせて送信される補助情報がリアルタイムに蓄積される補助情報格納部３０２は、補助情報のバッファ等と考えてもよい。

また、このような場合等においては、補助情報格納部３０２には、例えば、複数のチャンネルや複数の配信元においてそれぞれ配信される主情報に対応する補助情報が、それぞれに対応する配信元関連情報（例えば、チャンネル番号や放送局名等）と対応付けて格納されても良い。また、補助情報格納部３０２には、例えば、複数のチャンネルや複数の配信元においてそれぞれ配信される主情報に対応する補助情報が、それぞれに対応する配信元関連情報と、配信時刻とに対応付けて格納されていても良い。

また、例えば、補助情報サーバ装置３が、いわゆるオンデマンドで配信される主情報に対応する補助情報を送信するものである場合、補助情報格納部３０２には、オンデマンドで配信される一以上の主情報に対応する補助情報が、主情報関連情報である主情報の識別子（例えば、主情報のタイトル名や、主情報に割り当てられたコード等）と対応付けて蓄積される。

補助情報格納部３０２は、不揮発性の記録媒体でも、揮発性の記録媒体でも良い。かかることは他の格納部についても同様である。

補助情報送信部３０３は、補助要求受信部３０１が受信する補助情報送信要求に応じて、補助情報格納部３０２に格納されている一または二以上の補助情報を読み出して、補助情報送信要求を送信した合成装置１に読み出した補助情報を送信する。

例えば、補助情報格納部３０２に格納されている補助情報が、一のチャンネルや配信元から配信スケジュール等に沿って配信される主情報に対応する一または二以上の補助情報である場合、補助情報送信部３０３は、例えば、補助情報格納部３０２から、上記の一のチャンネルや配信元から現在配信されている主情報に対応する補助情報を順次読み出して合成装置１に送信する。例えば、補助情報格納部３０２に、主情報の現在配信されている部分に対応した補助情報がリアルタイムに蓄積される場合、補助情報送信部３０３は、このリアルタイムに蓄積された補助情報を補助情報格納部３０２から順次読み出して合成装置１に送信してもよい。また、例えば、補助情報格納部３０２に、予め決められた一定または不定の期間に配信される主情報に対応した補助情報が格納されている場合、この補助情報から、現在の時刻に配信される主情報に対応した補助情報を、補助情報に対応付けられたタイムコード等を利用して順次読み出し、読み出した補助情報を送信しても良い。

また、補助情報格納部３０２に格納されている補助情報が、複数のチャンネルや配信元から配信スケジュール等に沿って配信される主情報に対応する一または二以上の補助情報である場合、補助情報送信部３０３は、例えば、補助情報格納部３０２から、補助情報送信要求が有する配信元関連情報と対応付けられた補助情報であって、現在配信されている主情報に対応する補助情報を上記と同様に順次読み出して合成装置１に送信する。

また、補助情報格納部３０２に格納されている補助情報が、オンデマンドで配信される主情報の識別子と対応付けられた一または二以上の補助情報である場合、補助情報送信部３０３は、補助情報格納部３０２から、補助情報送信要求が有する主情報の識別子と対応付けられた補助情報、あるいはこの補助情報のうちの、対応する補助情報送信要求が有する主情報の現在出力している部分を示す情報が示す部分に対応する補助情報を、上記と同様に順次読み出して合成装置１に送信する。主情報の現在出力している部分を示す情報は、例えば、上述したような現在出力している主情報の映像のフレームに対応するタイムコードである。補助情報送信部３０３は、無線または有線の通信手段や放送を送信する手段等により実現される。なお、補助情報送信部３０３は、ＭＰＵやメモリ等を有していても良い。

なお、補助情報サーバ装置３が上記以外の構成を有するようにして、合成装置１の主情報取得部１０１が取得した主情報に対応する一または二以上の補助情報を合成装置１の補助情報取得部１０２に送信するようにしてもよい。

制御サーバ装置４は、合成装置１の主情報取得部１０１が取得した主情報に対応する一または二以上の制御情報を合成装置１の制御情報取得部１０３に送信するサーバ装置である。

制御要求受信部４０１は、合成装置１の制御情報取得部１０３が送信する制御情報送信要求を受信する。例えば、制御要求受信部４０１は、配信元関連情報および主情報関連情報等のうちの一以上を有する制御情報送信要求を受信する。制御情報送信要求は、更に、主情報の現在出力している部分を示す情報を有していても良い。制御要求受信部４０１は、無線または有線の通信手段や放送を受信する手段等により実現される。

制御情報格納部４０２には、二以上の制御情報が格納されている。制御情報格納部４０２に格納されている二以上の制御情報は、例えば、異なる二以上の制御情報を含んでいる。ただし、制御情報格納部４０２に格納されている二以上の制御情報は、例えば、同じ制御情報を二以上有していても良い。制御情報格納部４０２に格納されている制御情報は、例えば、対応する主情報を合成して出力する際に適したものとなるように設定された制御情報である。

二以上の制御情報は、例えば、配信元関連情報とそれぞれ対応付けられて制御情報格納部４０２に格納されている。二以上の制御情報は、更に、一以上の期間を示す情報と対応付けて格納されていても良い。期間は、例えば、時間帯と考えてもよい。ここでの期間は、例えば、主情報の配信スケジュールに示されている異なる主情報（例えば、異なる番組）が配信される期間に対応する期間である。期間を示す情報は、例えば、開始時刻と終了時刻や、開始時刻と期間の長さを示す情報である。例えば、特定のチャンネルを示す情報と特定の期間を示す情報とに対応付けられた制御情報は、特定のチャンネルの特定の時間帯に配信（例えば、放送）されている番組に対応する制御情報である。

二以上の制御情報は、主情報関連情報と対応づけられて制御情報格納部４０２に格納されているようにしてもよい。例えば、二以上の制御情報は、主情報関連情報である主情報の種類を示す情報と対応付けられていても良い。また、二以上の制御情報は、主情報関連情報である主情報の識別子と対応付けて格納されていても良い。この場合、制御情報は、更に、主情報が有する映像内の複数の期間を示す情報と対応付けて格納されていても良い。例えば、主情報の識別子と、主情報が有する映像内の期間を示す情報とに対応付けられた制御情報は、主情報の識別子が示す主情報の、期間を示す情報が示す期間に表示される部分に対応付けられた制御情報である。

なお、制御情報格納部４０２に格納されている二以上の制御情報には、主情報が有する映像の表示サイズが異なる二以上の制御情報が含まれていることが好ましい。

制御情報送信部４０３は、制御要求受信部４０１が受信する制御情報送信要求に応じて、制御情報格納部４０２に格納されている制御情報を読み出して、制御情報送信要求を送信した合成装置１に読み出した制御情報を送信する。制御情報送信部４０３は、例えば、制御要求受信部４０１が制御情報送信要求を受信した場合に、制御情報を読み出して、制御情報を送信する。ただし、制御情報送信部４０３が制御情報を読み出して、制御情報を送信するタイミング等は問わない。

制御情報送信部４０３は、例えば、制御要求受信部４０１が受け付けた制御情報送信要求が有する配信元関連情報を読み出し、この配信元関連情報と対応付けられた制御情報を、検索等により制御情報格納部４０２から読み出し、読み出した制御情報を、制御情報送信要求を送信した合成装置１に送信する。配信元関連情報と対応付けられた制御情報とは、例えば、配信元関連情報と一致する配信元関連情報が対応付けられた制御情報である。ここでの一致は通常は完全一致であるが、部分一致であっても良い。

例えば、制御情報送信部４０３は、制御要求受信部４０１が受け付けた制御情報送信要求が有する配信元関連情報を読み出し、この配信元関連情報と対応付けられた制御情報であって、現在の時刻を含む期間と対応付けられた制御情報を、検索等により制御情報格納部４０２から読み出し、読み出した制御情報を、制御情報送信要求を送信した合成装置１に送信してもよい。現在の時刻は、例えば、図示しない時計等から取得する。

例えば、制御情報送信部４０３は、制御要求受信部４０１が受け付けた制御情報送信要求が有する主情報の識別子を読み出し、この識別子と対応付けられた制御情報を、検索等により制御情報格納部４０２から読み出し、読み出した制御情報を、制御情報送信要求を送信した合成装置１に送信してもよい。

例えば、制御情報送信部４０３は、制御要求受信部４０１が受け付けた制御情報送信要求が有する主情報の識別子とこの主情報の現在出力している部分を示す情報とを読み出し、この識別子と対応付けられた制御情報であって、現在の出力している部分を示す情報が示す部分を含む期間と対応付けられた制御情報を、検索等により制御情報格納部４０２から読み出し、読み出した制御情報を、制御情報送信要求を送信した合成装置１に送信してもよい。現在の時刻は、例えば、図示しない時計等から取得する。

例えば、制御情報送信部４０３は、制御要求受信部４０１が受け付けた制御情報送信要求が有する主情報の種類を示す情報を読み出し、この種類を示す情報と対応付けられた制御情報を、検索等により制御情報格納部４０２から読み出し、読み出した制御情報を、制御情報送信要求を送信した合成装置１に送信してもよい。

また、制御情報送信部４０３は、制御要求受信部４０１が受け付けた制御情報送信要求が有する主情報の識別子である主情報のタイトル名を示す情報を読み出し、タイトル名を示す情報であるテキストから、主情報の種類を示す情報を取得し、この種類を示す情報と対応付けられた制御情報を、検索等により制御情報格納部４０２から読み出し、読み出した制御情報を、制御情報送信要求を送信した合成装置１に送信してもよい。制御情報送信部４０３は、例えば、タイトル名を示す情報であるテキストに対して予め決められた複数の文字列が含まれるか否かを検索等を行なって判断し、一の予め決められた文字列が含まれる場合に、その文字列に対応した種類の情報を取得する。例えば、タイトル名に、「ミュージック」という文字列が含まれるか否かを判断し、含まれる場合、この「ミュージック」に予め対応付けられた「音楽」という種類の情報を取得する。また、タイトル名に、「野球」という文字列が含まれるか否かを判断し、含まれる場合、この「野球」に予め対応付けられた「スポーツ」という種類の情報を取得する。ただし、タイトル名から種類を示す情報を取得する処理をどのように行なうかは問わない。例えば、パターンマッチング等で行なっても良く、機械学習等を利用して行なっても良い。なお、主情報の識別子と、主情報の種類を示す情報との複数の組を予め制御サーバ装置４の図示しない格納部等に蓄積しておくようにし、制御情報送信部４０３が、この複数の組から、制御情報送信要求が有する主情報の識別子に対応する主情報の種類を示す情報を取得し、この種類を示す情報に対応する制御情報を取得して送信するようにしても良い。

なお、このようなタイトル名から、対応する主情報の種類の情報を取得する処理を、制御情報取得部１０３が行なうようにし、制御情報取得部１０３が、取得した種類の情報を有する制御情報取得要求を送信するようにしてもよい。

制御情報送信部４０３は、例えば、無線または有線の通信手段や放送を送信手段等により実現される。なお、制御情報送信部４０３は、ＭＰＵやメモリ等を有していても良い。

次に、本実施の形態の合成装置１の動作の一例について、図２のフローチャートを用いて説明する。

（ステップＳ１０１）主情報取得部１０１は、配信受信装置２から主情報を取得する。例えば、主情報取得部１０１は、配信受信装置２が出力する主情報を、ケーブル１０１１を介して受信する。なお、配信受信装置２がストリーミング配信等により連続的に配信された主情報を受信し、配信受信装置２が受信した主情報を連続的に出力する場合、ここでの受信は、受信の開始と考えてもよい。

（ステップＳ１０２）補助情報取得部１０２は、補助情報送信要求を一または二以上の補助情報サーバ装置３に送信する。例えば、ステップＳ１０１で受信した主情報が有する配信元関連情報や、主情報関連情報である主情報の識別子等を有する補助情報送信要求を送信する。

（ステップＳ１０３）補助情報取得部１０２は、ステップＳ１０２で送信した補助情報送信要求に応じて、一または二以上の補助情報サーバ装置３から送信される補助情報を受信する。なお、配信受信装置２がストリーミング配信等により連続的に配信された主情報を受信し、配信受信装置２が受信した主情報を連続的に出力する場合、ここでの補助情報の受信は、補助情報サーバ装置３から連続的に送信される補助情報の受信の開始と考えてもよい。

（ステップＳ１０４）制御情報取得部１０３は、制御情報送信要求を制御サーバ装置４に送信する。例えば、ステップＳ１０１で受信した主情報が有する配信元関連情報や、主情報関連情報を有する制御情報送信要求を送信する。

（ステップＳ１０５）制御情報取得部１０３は、ステップＳ１０４で送信した制御情報送信要求に応じて制御サーバ装置４から送信される制御情報を受信する。

（ステップＳ１０６）出力部１０４は、ステップＳ１０５で受信した制御情報に応じてステップＳ１０１で取得した主情報と、ステップＳ１０３で受信した一または二以上の補助情報とを合成して出力する。例えば、合成した主情報と補助情報とをテレビ５に表示する。なお、上述したように、主情報および補助情報が連続的に取得される場合、出力部１０４は、連続的に受信した主情報と補助情報とを連続的に合成して出力してもよい。

（ステップＳ１０７）主情報取得部１０１は、取得した主情報が有する配信元関連情報や、主情報関連情報が変更されたか否かを判断し、変更された場合、ステップＳ１０２に戻り、変更されていない場合、ステップＳ１０７に戻る。

なお、例えば、主情報が配信元関連情報と、主情報関連情報とを有する場合であって、制御情報取得部１０３が、配信元関連情報を有する制御情報送信要求を制御サーバ装置４に送信して、送信した配信元関連情報から現在の時刻に配信されている主情報に対応する制御情報を受信する場合においては、制御情報取得部１０３は、主情報が有する主情報関連情報が変化する毎に、配信元関連情報を有する制御情報送信要求を制御サーバ装置４に送信することが好ましい。

また、制御情報取得部１０３が、配信元関連情報を有する制御情報送信要求を制御サーバ装置４に送信して、送信した配信元関連情報から現在の時刻に配信されている主情報に対応する制御情報を受信する場合においては、制御情報取得部１０３は、予め決められた一定または不定のタイミング毎に、主情報が有する配信元関連情報を有する制御情報送信要求を制御サーバ装置４に送信するようにしてもよい。これにより、現在の時刻を含む期間に、一のチャンネルや配信元から配信される主情報に対応した制御情報を取得することができる。
なお、図２のフローチャートにおいて、ステップＳ１０４およびステップＳ１０５を行なう順番を、ステップＳ１０２およびステップＳ１０３を行なう順番と入れ換えるようにしても良い。

なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、配信受信装置２の動作の一例について説明する。配信受信部２０１は、配信される主情報を受信し、主情報出力部２０２は、受信した主情報を合成装置１に送信する。なお、配信受信部２０１は、図示しない受付部等が主情報を受信する配信元関連情報を受け付けたか否かを判断し、受け付けた場合に、このチャンネルや配信元から主情報を受信するようにしてもよい。また、配信受信部２０１は、主情報の識別子等を受け付けたか否かを判断し、受け付けた場合に、この識別子が示す主情報を配信する指示を、図示しない送信部等から予め決められた配信元やチャンネル等に送信し、この識別子が示す主情報を予め決められた配信元やチャンネル等から受信しても良い。なお、配信受信装置２において、電源オフや処理終了の割り込みにより処理は終了する。

次に、補助情報サーバ装置３の動作の一例について説明する。補助要求受信部３０１は、合成装置１から補助情報送信要求を受信する。補助情報送信部３０３は、補助要求受信部３０１が受信した補助情報送信要求に応じて補助情報を補助情報格納部３０２から取得し、取得した補助情報を合成装置１に送信する。例えば、補助情報送信部３０３は、補助要求受信部３０１が受信した補助情報送信要求が有する配信元関連情報が示す配信元関連情報情報と対応付けられた補助情報、あるいは補助要求受信部３０１が受信した補助情報送信要求が有する配信元関連情報と対応付けられた補助情報であって、図示しない時計等から取得した現在の時刻と対応付けられた補助情報を補助情報格納部３０２から取得し、取得した補助情報を合成装置１に送信してもよい。また、補助情報送信部３０３は、例えば、補助要求受信部３０１が受信した補助情報送信要求が有する主情報の識別子と一致する主情報の識別子と対応付けられた補助情報を補助情報格納部３０２から取得し、取得した補助情報を合成装置１に送信する。

次に、制御サーバ装置４の動作に一例について説明する。制御要求受信部４０１は、合成装置１から制御情報送信要求を受信する。制御情報格納部４０３は、制御要求受信部４０１が受信した制御情報送信要求に応じて制御情報格納部４０２から制御情報を取得し、取得した制御情報を合成装置１に送信する。例えば、制御情報送信部４０３は、制御要求受信部４０１が受信した制御情報送信要求が有する配信元関連情報と対応付けられた制御情報、あるいは制御要求受信部４０１が受信した制御情報送信要求が有する配信元関連情報と対応付けられた制御情報であって、図示しない時計等から取得した現在の時刻を含む期間と対応付けられた制御情報を制御情報格納部４０２から取得し、取得した制御情報を合成装置１に送信する。また、制御情報格納部４０３は、例えば、制御要求受信部４０１が受信した制御情報送信要求が有する主情報関連情報と一致する主情報関連情報と対応付けられた制御情報を制御情報格納部４０２から取得し、取得した制御情報を合成装置１に送信してもよい。

（具体例１）
以下、本実施の形態における合成装置１の具体的な動作について説明する。ここでは、配信受信装置２がいわゆるテレビ放送を受信するセットトップボックスであるとする。また、補助情報サーバ装置３が一つであり、この補助情報サーバ装置３が、補助情報として、手話情報と、字幕情報とを出力可能なものである場合の例について説明する。

まず、ユーザが２に対して、リモートコントローラ等を利用して、所望のチャンネルから放送される主情報を受信する操作を行なったとすると、配信受信装置２の配信受信部２０１は、所望のチャンネルから放送される主情報を連続的に受信する。そして、主情報出力部２０２は、配信受信装置２が受信した主情報を出力する。所望のチャンネルは、ここでは、１チャンネルであるとする。所望のチャンネルから放送される主情報は、動画像である映像と、音声と、主情報が放送されるチャンネルを示す情報であるチャンネル番号「１」と、主情報関連情報である主情報の識別子を有しているものとする。この主情報は、いわゆるスポーツ番組であり、主情報の識別子は、「スポーツダイジェスト」であったとする。この主情報は、この１チャンネルから放送される主情報は、例えば、予め決められたスケジュールで放送されるテレビ番組であるとする。

合成装置１の主情報取得部１０１は、配信受信装置２から順次出力される主情報を、ＨＤＭＩケーブルであるケーブル１０１１を介して図示しないＨＤＭＩ端子から取得する。ここでの取得は、例えば、主情報の受付である。

補助情報取得部１０２は、主情報取得部１０１が受け付けた主情報からチャンネルを示す情報であるチャンネル番号「１」を取得し、このチャンネル番号「１」を有する補助情報送信要求を、補助情報サーバ装置３に送信する。

補助情報サーバ装置３は、ここでは、配信受信装置２が受信可能な複数のチャンネルのそれぞれから現在配信されている主情報に対応した補助情報である字幕情報と手話情報との組を、図示しない字幕情報を生成して出力する装置、および手話の映像を撮影して手話情報を取得し出力する装置から、チャンネル毎にリアルタイムで受け付ける受付部（図示せず）を備えており、この受付部が、受け付けた字幕情報と手話情報とを、対応する主情報のチャンネル番号と対応付けて、補助情報格納部３０２に順次蓄積しているものとする。字幕情報は、例えば、テキストを有する情報であるとする。手話情報は、動画像であるとする。ここでの補助情報格納部３０２は、例えば、リアルタイムで蓄積される字幕情報と手話情報とが一時的に格納されるリングバッファ等のバッファである。

補助要求受信部３０１は、合成装置１から送信される補助情報送信要求を受信する。

補助情報送信部３０３は、補助要求受信部３０１が受信した補助情報送信要求が有するチャンネル番号「１」を取得し、取得したチャンネル番号「１」と一致するチャンネル番号と対応付けられた字幕情報と手話情報とを検索し、検出された字幕情報および手話情報であって、リアルタイムに蓄積される字幕情報および手話情報を順次読み出し、合成装置１に送信する。

補助情報取得部１０２は、補助情報サーバ装置３から送信される補助情報である字幕情報および手話情報を順次受信する。

制御情報取得部１０３は、主情報取得部１０１が受け付けた主情報からチャンネルを示す情報であるチャンネル番号「１」を取得し、このチャンネル番号「１」を有する制御情報送信要求を、制御サーバ装置４に送信する。

図３は、制御情報格納部４０２に格納されている制御情報を管理する制御情報管理表である。制御情報管理表は、「チャンネル」、「開始時刻」、「放送時間（分）」、「制御情報」という属性を有している。「チャンネル」は、制御情報に対応付けられたチャンネル番号である。「開始時刻」は、制御情報に対応付けられた期間の開始時刻である。「放送時間（分）」は、制御情報に対応付けられた期間の長さである。「開始時刻」が示す時刻から始まる「放送時間（分）」が示す長さの期間が、制御情報に対応付けられた期間である。「制御情報」は、制御情報であり、ここでは制御情報のファイル名を示しているものとする。

制御サーバ装置４の制御要求受信部４０１は、合成装置１から、チャンネル番号「１」を有する制御情報送信要求を受信する。

制御情報送信部４０３は、制御要求受信部４０１が受信した制御情報送信要求が有するチャンネル番号「１」を取得する。また、制御情報送信部４０３は、図示しない時計等から現在の時刻を取得する。現在の時刻は、「６時５０分」であったとする。そして、制御情報送信部４０３は、図３に示した制御情報管理表から、「チャンネル」の属性値が「１」であり、「開始時刻」と「放送時間（分）」との属性値の組合せが示す期間内に、上記で取得した現在の時刻「６時５０分」を含まれるレコード（行）を検出し、検出したレコードの「制御情報」の属性値が示すファイル名の制御情報を、制御情報格納部４０２から読み出す。ここでは、ファイル名が「Ｃ１０１」である制御情報（以下、制御情報「Ｃ１０１」と称す）を読み出したとする。そして、読み出した制御情報「Ｃ１０１」を合成装置１に送信する。

制御情報取得部１０３は、制御サーバ装置４から制御情報「Ｃ１０１」を受信して取得する。

出力部１０４は、制御情報取得部１０３が受信して取得した制御情報「Ｃ１０１」に応じて、主情報取得部１０１が取得する主情報、ここでは主情報が有する映像と、補助情報取得部１０２が取得する補助情報である字幕情報と手話情報とを合成する。

図４は、制御情報格納部４０２に格納されている制御情報「Ｃ１０１」を示す図（図４（ａ））、および制御情報「Ｃ１０２」を示す図（図４（ｂ））である。

図４（ａ）に示すように、制御情報は、表示対象となるオブジェクトの属性を示す情報として、「ｉｄ」と、「ｔｙｐｅ」と、「ｄａｔａ」と、「ｓｔｒｅａｍｐｌａｙ」という属性を有している。表示対象のオブジェクトを特定する属性であり、「ｖｉｄｅｏ」は、映像情報であることを示している。「ｔｙｐｅ」は、出力する主情報のモノメディアのタイプを示す属性であり、「ｉｍａｇｅ／ｊｐｅｇ」、「ｉｍａｇｅ／Ｘ−ａｒｉｂ−ｐｎｇ」、「ｉｍａｇｅ／Ｘ−ａｒｉｂ−ｍｉｎｇ」、「ａｕｄｉｏ／Ｘ−ａｒｉｂ−ｍｐｅｇ２−ａａｃ」、「ａｕｄｉｏ／Ｘ−ａｒｉｂ−ａｉｆｆ」、「ａｐｐｌｉｃａｔｉｏｎ／Ｘ−ａｒｉｂ−ｃｏｎｔｅｎｔＰｌａｙＣｏｎｔｒｏｌ」、「ａｐｐｌｉｃａｔｉｏｎ／Ｘ−ａｒｉｂ−ｍｐｅｇ２−ｔｔｓ」、「ｖｉｄｅｏ／Ｘ−ａｒｉｂ−ｍｐｅｇ２」等が用いられる。「ｄａｔａ」は、出力対象となる情報のソースを示す属性であり、ここでは、出力対象となる情報の入力端子を示す属性である。この「ｄａｔａ」属性の属性値が、出力対象となる主情報の入力端子の識別子（入力識別子）である。「ｈｄｍｉ：／／１」は、ＨＤＭＩ１端子を示す入力識別子である。この入力識別子は、例えば、ＨＤＭＩ１端子から入力される映像が、表示対象の映像であることを示している。なお、「ｄａｔａ」の他の属性値としては、入力端子として、ＨＤＭＩ２端子を指定する「ｈｄｍｉ：／／２」、Ｄ５端子を指定する「ｄ５：／／１」、ＡＶ端子（ＲＣＡ端子）を指定する「ＡＶ：／／１」、ＶＧＡ端子を指定する「ｖｇａ：／／１」等が用いられる。例えば、この「ｄａｔａ」属性により、制御情報によって主情報が入力される入力端子を指定することが可能となる。例えば、制御情報が更新されることによって「ｄａｔａ」属性が変更され主情報の入力端子が切替わることで、第一の入力端子（図示せず）から入力されている主情報と同じ内容を有する主情報であって、補助情報との合成に適した主情報を出力する第二の配信受信装置（図示せず）から、主情報の入力を受け付けることが可能となり、主情報に対して補助情報を適切に合成して出力することが可能となる。「ｓｔｒｅａｍｐｌａｙ」は、受信した主情報を自動再生するか否かを示す属性であり、属性値「ｐｌａｙ」は自動再生を示し、「ｓｔｏｐ」は自動再生しないことを示す。

また、制御情報は、表示対象となるオブジェクトの表示態様を示す情報として、「ｓｔｙｌｅ」という属性を有している。この属性の「ｔｏｐ：」、「ｌｅｆｔ：」は、表示画面内におけるオブジェクトの配置される座標（ここでは、「ｔｏｐ：」がオブジェクトの左上隅のｙ座標、「ｌｅｆｔ：」が左上隅のｘ座標）を示し、「ｗｉｄｔｈ：」、「ｈｅｉｇｈｔ：」は、オブジェクトの表示サイズである幅と高さとを示している。

制御情報「Ｃ１０１」および「Ｃ１０２」には、ＨＤＭＩ端子から入力される主情報の映像の配置やサイズ等を制御する情報が含まれている。補助情報である字幕情報や、手話情報は、予め用意されている図示しないデフォルトの情報に応じて配置やサイズ等が制御される。このデフォルトの情報は、制御情報と同様の情報であっても良い。

出力部１０４は、図４（ａ）に示した制御情報取得部１０３が取得した制御情報「Ｃ１０２」から、「ｓｔｙｌｅ」の属性値を取得する。そして、この属性値が示す位置、すなわち左上隅のｙ座標が０、ｘ座標が０となる位置に、この属性値が示すサイズ、すなわち、幅９６０ｐｘ、高さ５４０ｐｘとなるように、「ｄａｔａ」の属性値が示すソースから入力される映像、すなわち、ＨＤＭＩ端子から入力される主情報の映像を配置する。また、デフォルトの設定に応じて、補助情報取得部１０２が取得する補助情報である字幕情報と手話情報とを同様に配置する。ここでは、合成装置１が出力用に合成する映像のサイズが幅９６０ｐｘ、高さ５４０ｐｘであるとすると、主情報が有する映像は、表示画面の全面に表示されることとなる。字幕情報の表示位置は、ここでは、画面の左下であり、手話情報の表示位置は、画面の右下であるとする。ここでは、字幕情報および手話情報は、主情報の映像と重なるため、字幕情報および手話情報が主情報の映像の前面に配置される。字幕情報および手話情報の透過度は非透過に設定されているものとする。そして、出力部１０４は、上記で合成した映像と、主情報が有する音声とを出力するための情報を、ケーブル１０１２を介してテレビ５に出力する。

テレビ５は、受信した映像と音声を出力するための情報を用いて、映像と音声を出力する。

図５は、テレビ５による出力部１０４が制御情報に応じて合成した映像の表示例を示す図である。

ここで、この具体例においては、主情報取得部１０１は、主情報に含まれる主情報の識別子、例えば番組名等が変更されたか否かの判断を繰り返す。そして、主情報取得部１０１が、この識別子の変更を検出した場合、制御情報取得部１０３が、上記と同様にチャンネル番号「１」を有する制御情報送信要求を制御サーバ装置４に送信して、新たな制御情報を取得する。

例えば、図５のような映像の表示を開始した後、時間が経過して時刻が「７：００」となり、主情報取得部１０１が取得する主情報が、直前までに受信していた主情報とは異なるニュース番組の主情報となり、主情報に含まれる主情報の識別子が、「ニュースセブン」に切り替わったとすると、主情報取得部１０１は、主情報の識別子の変更を検出する。

主情報取得部１０１が主情報の識別子の変更を検出したため、制御情報取得部１０３は、上記と同様に、チャンネル番号「１」を有する制御情報送信要求を制御サーバ装置４に送信する。

制御サーバ装置４は、上記と同様の処理を行なって、チャンネル番号「１」に対応する制御情報であって、現在の時刻「７：００」を含む期間に対応付けられた制御情報「Ｃ１０２」を取得して合成装置１に送信する。

制御情報取得部１０３が、制御情報「Ｃ１０２」を受信すると、出力部１０４は、制御情報「Ｃ１０２」に応じて、主情報と字幕情報と手話情報とを合成する。図４（ｂ）に示すように、制御情報「Ｃ１０２」では、主情報の映像の表示サイズが、幅４８０ｐｘ、高さ２７０ｐｘとなっており、高さおよび幅が、それぞれ制御情報「Ｃ１０１」による映像の表示サイズの半分となっている。

そして、出力部１０４は、制御情報「Ｃ１０２」に応じて主情報と字幕情報と手話情報とを合成した映像と、主情報が有する音声とを出力するための情報とを、ケーブル１０１２を介してテレビ５に出力し、テレビ５は、受信した映像と音声を出力するための情報を用いて、映像と音声を出力する。

図６（ａ）は、テレビ５による出力部１０４が制御情報に応じて合成した映像の表示例を示す図である。

これにより、主情報が配信のスケジュール等に応じて切り替わった場合、例えば、異なる番組が始まった場合に、この番組に応じた制御情報を取得することができ、切り替わった番組に対応した制御情報に応じて主情報と補助情報とを合成して出力することができる。

なお、補助情報取得部１０２が、受信した補助情報である字幕情報から、例えば、形態素解析等を行なって名詞句を取出すことで簡易字幕情報を取得し、出力部１０４が、図６（ｂ）に示すように、補助情報取得部１０２が取得した簡易字幕情報を、字幕情報の代わりに合成して出力するようにしてもよい。

なお、主情報取得部１０１は、主情報に含まれるチャンネル番号が変更されたか否かの判断も繰り返し行い、主情報取得部１０１が、このチャンネル番号の変更を検出した場合、補助情報取得部１０２が変更されたチャンネル番号を有する補助情報送信要求を補助情報サーバ装置３に送信して、上記と同様に、変更されたチャンネルで配信されている主情報に対応する字幕情報と手話情報とを取得する。同様に、制御情報取得部１０３が、変更されたチャンネル番号を有する制御情報送信要求を制御サーバ装置４に送信して、上記と同様に、変更されたチャンネルで配信されている主情報に対応する制御情報を取得する。これにより、チャンネルや配信元が切り替わった場合に、切り替わったチャンネルで配信されている番組に応じた制御情報を取得することができる。

この具体例においては、主情報取得部１０１が受信する主情報に対応した制御情報、例えば主情報に応じて異なる制御情報、を制御情報取得部１０３が取得し、この制御情報に応じて主情報と補助情報とを合成した映像を出力部１０４が出力するようにしているため、主情報に適するように合成した映像を出力することができる。

例えば、主情報がスポーツ番組である場合、字幕や手話があまり強調されなくても、主情報の映像から番組を楽しむことが可能であるとともに、主情報の映像が大きい方がスポーツの迫力が感じられると考えられることから、図５に示すように、主情報の映像を全画面表示し、字幕情報や手話情報をこの主情報の映像に重ねて合成することで、スポーツ番組に適した映像の出力が可能となる。

また、主情報がニュース番組である場合、字幕や手話で伝達される部分が重要であり、主情報の映像は、字幕や手話で伝達される情報の補助的なものであることが考えられるとともに、主情報の映像で示される図等が、手話や、字幕で隠れた場合に、ニュース内容が十分に理解できない場合もあることから、図６に示すように主情報の映像を画面の一部の字幕や手話とできるだけ重ならない位置に表示することで、字幕や手話が見やすく、なおかつ、主情報の映像が手話等で隠れないようにして、効率良く情報伝達を行なうことが可能となる。

なお、この具体例においては、主情報の表示態様だけを制御情報に応じて制御するようにしたが、字幕情報や手話情報の表示態様（例えば、位置、サイズ、フォント、色等）も制御情報に応じて制御できるようにしても良い。例えば、主情報が風景や美術品を鑑賞する番組である場合、字幕や手話の重要性が低いと考えられることから、字幕情報や手話情報を非表示としたり、デフォルトよりも小さく表示するようにしてもよい。

（具体例２）
上記具体例においては、制御情報取得部１０３が、主情報が有するチャンネル番号を有する制御情報送信要求を送信する例について説明したが、以下、主情報取得部１０１が取得する主情報が、チャンネルを示す情報に加えて、主情報の種類を示す情報を有しており、制御情報取得部１０３が、この主情報の種類を示す情報を有する制御情報送信要求を送信する例について説明する。

主情報取得部１０１が主情報を取得する処理や、補助情報取得部１０２が主情報を有するチャンネルを示す情報に応じた補助情報を取得する処理等については、上記具体例１と同様であるため、ここでは説明は省略する。

制御情報取得部１０３は、主情報取得部１０１が取得した主情報が有する主情報の種類を示す情報を取得する。例えば、ここで取得した種類を示す情報は、「ニュース」であったとする。そして、制御情報取得部１０３は、この種類を示す情報「ニュース」を有する制御情報送信要求を制御サーバ装置４に送信する。

図７は、この具体例の制御情報格納部４０２に格納されている制御情報を管理する制御情報管理表である。制御情報管理表は、「種類」と、「制御情報」という属性を有している。「種類」は、主情報の種類を示す情報に対応する種類を示す情報であり、ここでは、種類を示す文字列であるとする。「制御情報」については、図３と同様である。

制御要求受信部４０１が、制御サーバ装置４から制御情報送信要求を受信すると、制御情報送信部４０３は、図７に示す制御情報管理表から、「種類」の属性値が、制御要求受信部４０１が受信した制御情報送信要求が有する主情報の種類を示す情報である「ニュース」と一致するレコード（行）を検出し、検出したレコードの「制御情報」の属性値であるファイル名を有する制御情報を取得して合成装置１に送信する。

制御情報取得部１０３が、制御サーバ装置４から送信されるこの制御情報を受信し、出力部１０４は、この制御情報に応じて主情報と字幕情報と手話情報とを合成し出力する。その後の処理については、上記具体例１と同様である。例えば、主情報の種類を示す情報が変更されると、制御情報取得部１０３が、この種類を示す情報を含む制御情報送信要求を制御サーバ装置４に送信して、この種類に対応した制御情報を制御サーバ装置４から取得し、出力部１０４がこの制御情報に応じて主情報と補助情報とを合成して出力することで、変更された種類に応じて主情報と補助情報とが合成される。

この具体例においては、主情報に、主情報の種類を示す情報が含まれていれば、主情報に対して個別に制御情報を対応付けなくても、主情報の種類に応じた適切な制御情報を取得することができ、主情報と補助情報とを適切に合成することが可能となる。

以上、本実施の形態によれば、映像を含む主情報に対応する制御情報を取得し、この制御情報に応じて、主情報と補助情報、特に、主情報の映像と補助情報とを合成するようにしたことにより、主情報と補助情報とを適切に合成することができる。

また、本実施の形態によれば、主情報の映像のサイズや位置等の表示態様を、制御情報に応じて変更することにより、主情報を、この主情報自身に応じてより適切に出力することが可能となる。例えば、主情報の映像と、補助情報である文字情報や手話情報との配置関係や、サイズの関係、重なり方等を、主情報に適したものとなるよう制御することができる。

特に、テレビ用に放送される番組においては、通常、番組の映像は、テレビの全画面に表示されるよう設定されているため、放送の受信側において、番組の映像の大きさ等を変更することができず、番組の映像に重ねて表示される字幕情報の文字サイズ等を変更する程度の変更しかできなかったが、本実施の形態においては、主情報であるテレビの番組に応じて、テレビの画面内における番組の映像のサイズや位置等を変更することができるため、番組に応じて、番組の映像のサイズや位置等を変更して、番組の映像と、補助情報との位置関係や大きさの関係、重なり方等を制御して、主情報であるテレビの番組と補助情報とを適切に合成して出力することが可能となる。

また、本実施の形態においては、制御サーバ装置４から送信される制御情報に応じて主情報と補助情報とが合成されることとなるため、例えば、補助情報を提供する提供者等が、制御サーバ装置４から、補助情報サーバ装置３から提供する補助情報に応じた制御情報を合成装置１に送信することで、補助情報を提供する提供者等が外部から主情報と補助情報との合成をコントロールすることができ、合成装置１のユーザが特別な操作等を行なわなくても、視聴される主情報に適したものとなるよう主情報と補助情報とを合成させることが可能となる。

なお、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段（例えば、補助情報取得部１０２および制御情報取得部１０３等が有する通信手段（図示せず））は、物理的に一の媒体で実現されても良いことは言うまでもない。例えば、補助情報取得部１０２および制御情報取得部がそれぞれ有する送信手段（図示せず）を、一の送信手段で実現しても良い。また、例えば、補助情報取得部１０２および制御情報取得部がそれぞれ有する受信手段（図示せず）を、一の受信手段で実現しても良い。

なお、上記実施の形態の合成装置１を、配信受信装置２と一体化しても良く、合成装置１を、テレビ５と一体化してもよい。また、配信受信装置２と、テレビ５とを一体化しても良い。例えば、テレビ５が配信受信装置２を有するようにし、テレビ５が受信した主情報を合成装置１に送信するようにし、合成装置１が合成した主情報と補助情報とをテレビ５に出力するようにし、テレビ５が、合成した主情報と補助情報とを出力（例えば、表示）するようにしてもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、格納部（例えば、ハードディスクやメモリ等の記録媒体）にアクセスしながらプログラムを実行してもよい。

なお、上記各実施の形態における合成装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、配信される映像を含む主情報を受信する配信受信装置から、主情報を取得する主情報取得部と、主情報に対応する補助情報を送信する一以上の補助情報サーバ装置から、主情報取得部が取得した主情報に対応する補助情報を取得する補助情報取得部と、主情報取得部が取得する主情報と、補助情報取得部が取得する一以上の補助情報とを合成するための制御情報を送信する制御サーバ装置から、主情報取得部が取得する主情報に対応した制御情報を取得する制御情報取得部と、制御情報取得部が取得した制御情報に応じて主情報取得部が取得する主情報と、補助情報取得部が取得する一以上の補助情報とを合成して出力する出力部と、して機能させるためのプログラムである。

なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には含まれない。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図８は、上記プログラムを実行して、上記実施の形態による合成装置を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図８において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図９は、コンピュータシステム９００の内部構成を示す図である。図９において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による合成装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による合成装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる合成装置等は、映像を含む主情報と補助情報とを合成して出力する装置等として適しており、特に、主情報と、主情報とは異なるサーバ装置等から送信される補助情報とを合成して出力する装置等として有用である。

１ 合成装置
２ 配信受信装置
３ 補助情報サーバ装置
４ 制御サーバ装置
５ テレビ
１０１ 主情報取得部
１０２ 補助情報取得部
１０３ 制御情報取得部
１０４ 出力部
２０１ 配信受信部
２０２ 主情報出力部
３０１ 補助要求受信部
３０２ 補助情報格納部
３０３ 補助情報送信部
４０１ 制御要求受信部
４０２ 制御情報格納部
４０３ 制御情報送信部
１０００ 配信受信システム
１０１１、１０１２ ケーブル

Claims (8)

1. 配信される映像を含む主情報を受信する配信受信装置から、主情報を取得する主情報取得部と、
   主情報に対応する補助情報を送信する一以上の補助情報サーバ装置から、前記主情報取得部が取得した主情報に対応する補助情報を取得する補助情報取得部と、
   前記主情報取得部が取得する主情報と、前記補助情報取得部が取得する一以上の補助情報とを合成するための制御情報を送信する制御サーバ装置から、前記主情報取得部が取得する主情報に対応した制御情報を取得する制御情報取得部と、
   前記制御情報取得部が取得した制御情報に応じて、前記主情報取得部が取得する主情報と前記補助情報取得部が取得する一以上の補助情報とを合成して出力する出力部とを備えた合成装置。
2. 前記補助情報は、字幕情報、手話情報、音声解説情報のうちの一種類以上である請求項１記載の合成装置。
3. 前記制御情報取得部が取得する制御情報は、主情報が入力される入力端子の識別子である入力識別子を有しており、
   前記主情報取得部は、前記制御情報取得部が取得した制御情報が有する入力識別子が示す入力端子から入力される主情報を取得する請求項１または請求項２記載の合成装置。
4. 前記主情報取得部は、前記配信受信装置の出力端子とケーブルにより接続されている請求項１から請求項３いずれか一項記載の合成装置。
5. 前記制御情報取得部が主情報に応じて取得する二以上の異なる制御情報は、主情報が有する映像の表示サイズが異なる制御情報を含んでいる請求項１から請求項４いずれか一項記載の合成装置。
6. 前記補助情報取得部は、補助情報として字幕情報を取得し、取得した字幕情報を用いて簡易字幕情報を取得し、
   前記出力部は、前記補助情報取得部が取得した簡易字幕情報を合成して出力する請求項１から請求項５いずれか一項記載の合成装置。
7. 主情報取得部と、補助情報取得部と、制御情報取得部と、出力部とを用いて行なわれる合成方法であって、
   前記主情報取得部が、配信される映像を含む主情報を受信する配信受信装置から、主情報を取得する主情報取得ステップと、
   前記補助情報取得部が、主情報に対応する補助情報を送信する一以上の補助情報サーバ装置から、前記主情報取得ステップで取得した主情報に対応する補助情報を取得する補助情報取得ステップと、
   前記制御情報取得部が、前記主情報取得ステップで取得する主情報と、前記補助情報取得ステップで取得する一以上の補助情報とを合成するための制御情報を送信する制御サーバ装置から、前記主情報取得ステップで取得する主情報に対応した制御情報を取得する制御情報取得ステップと、
   前記出力部が、前記制御情報取得ステップで取得した制御情報に応じて、前記主情報取得ステップで取得する主情報と前記補助情報取得ステップで取得する一以上の補助情報とを合成して出力する出力ステップとを備えた合成方法。
8. コンピュータを、
   配信される映像を含む主情報を受信する配信受信装置から、主情報を取得する主情報取得部と、
   主情報に対応する補助情報を送信する一以上の補助情報サーバ装置から、前記主情報取得部が取得した主情報に対応する補助情報を取得する補助情報取得部と、
   前記主情報取得部が取得する主情報と、前記補助情報取得部が取得する一以上の補助情報とを合成するための制御情報を送信する制御サーバ装置から、前記主情報取得部が取得する主情報に対応した制御情報を取得する制御情報取得部と、
   前記制御情報取得部が取得した制御情報に応じて、前記主情報取得部が取得する主情報と前記補助情報取得部が取得する一以上の補助情報とを合成して出力する出力部と、して機能させるためのプログラム。

Images