JP6386886B2 - Program output device, server, information processing method, and program - Google Patents
Program output device, server, information processing method, and program Download PDFInfo
- Publication number
- JP6386886B2 JP6386886B2 JP2014231437A JP2014231437A JP6386886B2 JP 6386886 B2 JP6386886 B2 JP 6386886B2 JP 2014231437 A JP2014231437 A JP 2014231437A JP 2014231437 A JP2014231437 A JP 2014231437A JP 6386886 B2 JP6386886 B2 JP 6386886B2
- Authority
- JP
- Japan
- Prior art keywords
- auxiliary information
- program
- information
- auxiliary
- transmission instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、番組の受信に応じて当該番組に対応する補助情報をサーバなどから取得し、当該補助情報を当該番組とともに出力させることができる番組出力装置等に関するものである。 The present invention relates to a program output device or the like that can acquire auxiliary information corresponding to a program from a server or the like in response to reception of the program and output the auxiliary information together with the program.
従来、聴覚障害者や聴覚能力が低下している高齢者のために、受信装置で番組情報とともに障害の程度に応じた補助情報を出力させることができる送受信システムが提案されている（特許文献１の段落［０００８］、図１，図２参照）。補助情報は、聴覚障害者の視聴を補助するための字幕や手話映像などの情報である。この送受信システムは、送信装置から番組に補助情報を付加して受信装置に送信し、当該受信装置で番組の映像と音声とともに障害の程度に応じた補助情報を出力させるシステムである。 Conventionally, for a hearing impaired person or an elderly person whose hearing ability has deteriorated, a transmission / reception system has been proposed that can output auxiliary information corresponding to the degree of disability along with program information in a receiving device (Patent Document 1). Paragraph [0008], FIG. 1 and FIG. 2). The auxiliary information is information such as subtitles and sign language images for assisting the hearing impaired. This transmission / reception system is a system in which auxiliary information is added to a program from a transmission device and transmitted to a reception device, and the reception device outputs auxiliary information corresponding to the degree of failure together with video and audio of the program.
また、ＣＳ放送においては、映像に字幕と手話映像をオーバーレイさせた番組の放送が実施され、聴覚障害者などから高く評価されている。 In CS broadcasting, a program in which subtitles and sign language video are overlaid on video is broadcast, and is highly evaluated by persons with hearing impairments.
従来の受信装置は、送信装置から補助情報が付加されている番組が送信される場合は、番組の映像および音声とともに補助情報を出力させることができるが、送信装置から番組だけが送信され、当該番組に対応する補助情報が送信装置とは異なるサーバなどの他の装置から提供される場合は、送信装置から番組を受信し、サーバから補助情報を取得しても当該番組の映像および音声とともに補助情報を出力させることはできない。 The conventional receiving apparatus can output auxiliary information together with video and audio of a program when a program to which auxiliary information is added is transmitted from the transmitting apparatus, but only the program is transmitted from the transmitting apparatus, When the auxiliary information corresponding to the program is provided from another device such as a server different from the transmission device, even if the program is received from the transmission device and the auxiliary information is acquired from the server, the auxiliary information is supported along with the video and audio of the program. Information cannot be output.
本第一の発明の番組出力装置は、サーバと番組出力装置とを具備する番組システムを構成する番組出力装置であって、サーバは、番組を識別する番組識別情報に対応付いている１以上の補助情報を格納している補助情報格納部と、番組出力装置から番組識別情報を有する補助情報送信指示を受信する補助情報送信指示受信部と、補助情報送信指示が有する番組識別情報に対応する補助情報を補助情報格納部から取得する補助情報処理部と、補助情報処理部が取得した補助情報を番組出力装置に送信する補助情報送信部とを具備し、番組出力装置は、番組と当該番組の番組識別情報とを受信する番組受信部と、番組識別情報を有する補助情報送信指示を、サーバに送信する補助情報送信指示送信部と、補助情報送信指示の送信に応じて、当該補助情報送信指示が有する番組識別情報に対応する補助情報をサーバから受信する補助情報取得部と、番組受信部が受信した番組と補助情報取得部が受信した補助情報とを出力する出力部とを具備する番組システムを構成する番組出力装置である。 The program output device according to the first aspect of the present invention is a program output device constituting a program system comprising a server and a program output device, wherein the server is associated with one or more program identification information for identifying a program. An auxiliary information storage unit storing auxiliary information, an auxiliary information transmission instruction receiving unit receiving an auxiliary information transmission instruction having program identification information from the program output device, and an auxiliary corresponding to the program identification information included in the auxiliary information transmission instruction An auxiliary information processing unit that acquires information from the auxiliary information storage unit; and an auxiliary information transmission unit that transmits auxiliary information acquired by the auxiliary information processing unit to the program output device. A program receiving unit that receives the program identification information, an auxiliary information transmission instruction that includes the program identification information, and an auxiliary information transmission instruction transmission unit that transmits the auxiliary information transmission instruction to the server. An auxiliary information acquisition unit that receives auxiliary information corresponding to the program identification information included in the information transmission instruction from the server, and an output unit that outputs the program received by the program reception unit and the auxiliary information received by the auxiliary information acquisition unit It is the program output device which comprises the program system to do.
かかる構成により、番組出力装置は、番組に対応付けられた補助情報を取得し、受信している番組に対して補助情報を付加して出力させることができる。また、放送局から送信される番組に対して番組出力装置側で補助情報を番組に対応付けて出力させることができる番組システムを構築することができる。 With this configuration, the program output apparatus can acquire auxiliary information associated with a program, add the auxiliary information to the received program, and output the auxiliary information. In addition, it is possible to construct a program system that can output auxiliary information in association with a program on the program output device side for a program transmitted from a broadcasting station.
また、本第二の発明の番組出力装置は、第一の発明に対して、番組受信部は、番組と番組識別情報と当該番組の属性値とを受信し、出力部は、属性値に応じて、補助情報の出力態様が異なるように補助情報を出力する番組出力装置である。番組の属性値とは、例えば、補助情報の有無や番組のジャンルなどの属性情報である。 Further, in the program output device of the second invention, in contrast to the first invention, the program receiving unit receives a program, program identification information, and an attribute value of the program, and the output unit responds to the attribute value. Thus, the program output device outputs the auxiliary information so that the output mode of the auxiliary information is different. The program attribute value is attribute information such as presence / absence of auxiliary information and a program genre, for example.
かかる構成により、番組出力装置は、サーバから取得した補助情報を番組とともに出力する際、番組の属性値に基づいて、補助情報を異なる態様で出力させることができる。例えば、補助情報が手話映像の場合、手話映像の表示位置を番組の主要な映像を覆わない位置にすることにより、番組と手話映像の両方を見易くすることができる。 With this configuration, the program output device can output the auxiliary information in a different manner based on the attribute value of the program when outputting the auxiliary information acquired from the server together with the program. For example, when the auxiliary information is a sign language video, the display position of the sign language video is set to a position that does not cover the main video of the program, thereby making it easy to see both the program and the sign language video.
また、本第三の発明の番組出力装置は、第一または第二の発明に対して、補助情報送信指示は、番組識別情報と当該番組識別情報で識別される番組内の箇所を示す箇所情報とを有し、補助情報格納部の補助情報は、番組識別情報と箇所情報とに対応付いており、補助情報処理部は、補助情報送信指示が有する番組識別情報と箇所情報とに対応する補助情報を取得する番組出力装置である。番組内の箇所とは、例えば、番組内の時間的な出力箇所である。 In the program output device according to the third aspect of the invention, the auxiliary information transmission instruction is program identification information and location information indicating a location in the program identified by the program identification information. The auxiliary information in the auxiliary information storage unit is associated with the program identification information and the location information, and the auxiliary information processing unit is associated with the program identification information and the location information included in the auxiliary information transmission instruction. It is a program output device that acquires information. The location in the program is, for example, a temporal output location in the program.
かかる構成により、番組に対して１以上の補助情報がそれぞれ当該番組内の特定の出力箇所に対応付けられている場合、番組出力装置は、受信している番組に対して、サーバから取得した１以上の補助情報を当該番組内の指定された出力箇所に同期して出力させることができる。 With this configuration, when one or more auxiliary information for a program is associated with a specific output location in the program, the program output device acquires 1 from the server for the received program. The above auxiliary information can be output in synchronization with a designated output location in the program.
また、本第四の発明の番組出力装置は、第一または第二の発明に対して、補助情報送信部は、補助情報処理部が取得した補助情報と、当該補助情報を識別する補助情報識別子とを番組出力装置に送信し、補助情報送信指示送信部は、番組受信部が受信した番組識別情報と補助情報識別子とを有する補助情報送信指示をサーバに送信し、補助情報処理部は、補助情報送信指示が有する番組識別情報に対応する補助情報であって、補助情報識別子で識別される補助情報の次の補助情報を取得する番組出力装置である。なお、補助情報Ａの次の補助情報Ｂとは、例えば、補助情報Ｂが補助情報Ａに対して時間的に次の順番となる関係の補助情報であることを意味している。 In the program output device according to the fourth aspect of the present invention, in contrast to the first or second aspect of the invention, the auxiliary information transmitting unit includes auxiliary information acquired by the auxiliary information processing unit and an auxiliary information identifier for identifying the auxiliary information. To the program output device, the auxiliary information transmission instruction transmission unit transmits an auxiliary information transmission instruction having the program identification information and the auxiliary information identifier received by the program receiving unit to the server, and the auxiliary information processing unit This is a program output device that acquires auxiliary information that corresponds to the program identification information included in the information transmission instruction and that is next to the auxiliary information identified by the auxiliary information identifier. The auxiliary information B next to the auxiliary information A means, for example, that the auxiliary information B is auxiliary information having a relationship that is temporally next to the auxiliary information A.
かかる構成により、番組に対応付けられている１以上の補助情報に補助情報識別子が付与されている場合、番組出力装置は、サーバから最初に補助情報を取得すると、取得した補助情報の補助情報識別子と番組識別情報とをサーバに送信することによって、番組に対応付けられた２番目以降の補助情報を補助情報識別子の順番で取得することができる。 With this configuration, when an auxiliary information identifier is assigned to one or more auxiliary information associated with a program, the program output device acquires auxiliary information for the first time from the server. And the program identification information are transmitted to the server, the second and subsequent auxiliary information associated with the program can be acquired in the order of the auxiliary information identifier.
また、本第五の発明の番組出力装置は、第一から第四のいずれか１つの発明に対して、番組システムは、２以上のサーバを有し、２以上の各サーバは、異なる種類の補助情報を格納しており、補助情報送信指示送信部は、２以上のサーバに補助情報送信指示を送信し、補助情報取得部は、２以上のサーバから異なる種類の補助情報を受信し、出力部は、番組受信部が受信した番組と補助情報取得部が受信した２種類以上の補助情報とを出力する番組出力装置である。 Further, in the program output device of the fifth invention, the program system has two or more servers, and each of the two or more servers is of a different kind relative to any one of the first to fourth inventions. Auxiliary information is stored, an auxiliary information transmission instruction transmission unit transmits auxiliary information transmission instructions to two or more servers, and an auxiliary information acquisition unit receives and outputs different types of auxiliary information from two or more servers The unit is a program output device that outputs a program received by the program receiving unit and two or more types of auxiliary information received by the auxiliary information acquiring unit.
かかる構成により、番組出力装置は、番組と当該番組の番組識別情報を受信し、その番組識別情報を有する補助情報送信指示を２以上のサーバに送信することにより、当該番組に対応付けられた複数種類の補助情報を取得することができる。従って、番組出力装置で受信した番組に対して、例えば、字幕と手話映像などの複数種類の補助情報を付加して出力させることができる。 With such a configuration, the program output device receives a program and program identification information of the program, and transmits auxiliary information transmission instructions having the program identification information to two or more servers, so that a plurality of programs associated with the program are transmitted. Kinds of auxiliary information can be acquired. Therefore, for example, a plurality of types of auxiliary information such as subtitles and sign language images can be added to the program received by the program output device and output.
また、本第六の発明の番組出力装置は、第一から第五のいずれか１つの発明に対して、補助情報は、番組に対応する字幕、手話映像、絵文字、補助音声のうちの１種類以上の情報である番組出力装置である。 In the program output device of the sixth invention, the auxiliary information is one type of subtitles, sign language images, pictograms, and auxiliary sounds corresponding to the program, as opposed to any one of the first to fifth inventions. This is a program output device that is the above information.
かかる構成により、番組出力装置で、受信している番組とともに、当該番組に対応付けられた字幕、手話映像、絵文字、補助音声等の１種類以上の補助情報を出力させることができる。視聴者は、番組とともに１種類以上の補助情報（例えば、字幕と手話映像）を視聴することにより、番組の視聴が容易になる。 With this configuration, the program output device can output one or more types of auxiliary information such as subtitles, sign language video, pictographs, auxiliary audio, and the like associated with the program, together with the received program. The viewer can view the program easily by viewing one or more types of auxiliary information (for example, subtitles and sign language video) together with the program.
また、本第七の発明の番組出力装置は、番組と当該番組の番組識別情報とを受信する番組受信部と、番組識別情報を有する補助情報送信指示を、番組識別情報に対応付けて１以上の補助情報を備えるサーバに送信する補助情報送信指示送信部と、補助情報送信指示の送信に応じて、当該補助情報送信指示が有する番組識別情報に対応する補助情報をサーバから受信する補助情報取得部と、番組受信部が受信した番組と補助情報取得部が受信した補助情報とを出力する出力部と、を具備する番組出力装置である。 The program output device according to the seventh aspect of the invention relates to a program receiving unit that receives a program and the program identification information of the program, and one or more auxiliary information transmission instructions having program identification information associated with the program identification information. Auxiliary information transmission instruction transmission unit that transmits to the server including the auxiliary information, and auxiliary information acquisition that receives, from the server, auxiliary information corresponding to the program identification information included in the auxiliary information transmission instruction according to the transmission of the auxiliary information transmission instruction And an output unit that outputs the program received by the program receiving unit and the auxiliary information received by the auxiliary information acquiring unit.
かかる構成により、番組出力装置は、番組に対応付けられた補助情報を取得し、受信している番組に対して当該補助情報を付加して出力させることができる。また、放送局から送信される番組に対して番組出力装置側で補助情報を番組に対応付けて出力させることができる番組システムを構築することができる。 With this configuration, the program output device can acquire auxiliary information associated with a program, and output the auxiliary information added to the received program. In addition, it is possible to construct a program system that can output auxiliary information in association with a program on the program output device side for a program transmitted from a broadcasting station.
本発明によれば、番組出力装置で受信している番組に対応付けられた補助情報を、サーバなどの装置から取得し、当該番組とともに出力させることができる。 According to the present invention, auxiliary information associated with a program received by a program output device can be acquired from a device such as a server and output together with the program.
以下、本発明による番組出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。また、所定の情報が格納される格納部において、当該格納部に情報が記憶される過程は問わないものとする。例えば、記録媒体を介して情報が格納部で記憶されてもよい。さらに、入力デバイスを介して入力された情報が格納部で記憶されてもよい。 Embodiments of a program output device according to the present invention will be described below with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again. In the storage unit in which the predetermined information is stored, the process in which the information is stored in the storage unit does not matter. For example, information may be stored in the storage unit via a recording medium. Further, information input via the input device may be stored in the storage unit.
また、本実施の形態において説明する各種の情報の形式、内容などは、あくまで例示であり、形式、内容は問わない。 Further, the format and content of various information described in the present embodiment are merely examples, and the format and content are not limited.
（実施の形態１）
本実施の形態１において、番組識別情報と１または２以上の補助情報とを対応付けて管理するサーバと、番組を受信するとともにサーバから補助情報を取得し、当該番組に対応付けて当該補助情報を出力する番組出力装置とを具備する番組システムについて説明する。
(Embodiment 1)
In the first embodiment, a server that manages program identification information and one or more auxiliary information in association with each other, receives a program, acquires auxiliary information from the server, and associates the program with the program. A program system including a program output device that outputs a program will be described.
なお、番組識別情報は、テレビジョン放送やＩＰ（Internet Protocol）放送などによって放送される番組（コンテンツ）を識別するための当該番組に固有の情報である。また、補助情報は、番組とともに出力されて視聴者の当該番組の視聴を補助するための文字、図形または映像による情報である。補助情報は、例えば、字幕、手話映像、絵文字、補助音声等であるが、番組の視聴を補助し得るものであれば、これらの種類に限定されるものではない。 The program identification information is information unique to the program for identifying a program (content) broadcast by television broadcasting, IP (Internet Protocol) broadcasting, or the like. Further, the auxiliary information is information using characters, figures, or images that are output together with the program and assist the viewer in viewing the program. The auxiliary information is, for example, subtitles, sign language video, pictograms, auxiliary audio, and the like, but is not limited to these types as long as it can assist viewing of the program.
図１は、本実施の形態における番組システム１のブロック図である。図２は、番組システム１を構成する番組出力装置２のブロック図である。図３は、番組システム１を構成するサーバ３のブロック図である。
FIG. 1 is a block diagram of a
番組システム１は、１または２以上の番組出力装置２と、１または２以上のサーバ３を備える。番組出力装置２とサーバ３は、例えば、インターネット回線網４に接続されている。なお、図１では、作図の便宜上、番組システム１の番組出力装置２とサーバ３をそれぞれ１台としている。
The
番組出力装置２は、図示省略の放送局から放送される番組を受信するとともに、サーバ３から番組に対応付けられた１以上の補助情報を取得する。番組出力装置２は、テレビジョン放送やＩＰ放送などによって放送される番組を受信可能であるとともに、サーバ３から補助情報を取得可能な装置である。番組出力装置２は、例えば、デジタルテレビ受信機や、パソコンや、ハードディスクレコーダーや、プルーレイディスク・レコーダーなどである。
The
番組出力装置２は、図２に示すように、番組受信部２０１、補助情報送信指示送信部２０２、補助情報取得部２０３および出力部２０４を備える。
As shown in FIG. 2, the
番組受信部２０１は、放送局から放送される番組と当該番組の番組識別情報とを受信する。番組識別情報は、通常、番組毎に付与される番組識別子（番組ＩＤ）であるが、番組を識別できるものであれば、他の識別情報であっても良い。例えば、番組名や、Ｇコードなどの番組に設定されたコード番号を番組識別情報に利用してもよい。
The
番組受信部２０１は、番組配信サーバから有線や無線の通信手段で番組と番組識別情報を受信しても良いし、地上波放送局から無線で番組と番組識別情報を受信しても良い。番組受信部２０１が受信した番組識別情報は図示省略の番組情報格納部に一時的に記憶される。
The
番組がデジタル放送される場合、番組識別情報は、デジタル化される映像または音声に埋め込まれていても良いし、デジタル化された映像および音声に多重化されるデータに含まれていても良い。例えば、データに含まれる番組関連情報に番組識別情報を含めても良い。なお、番組識別情報が番組の映像、音声またはデータに埋め込まれている場合は、番組受信部２０１は、放送波を受信することによって番組と番組識別情報とを受信する。
When a program is digitally broadcast, the program identification information may be embedded in digitized video or audio, or may be included in data multiplexed in the digitized video and audio. For example, program identification information may be included in the program related information included in the data. When the program identification information is embedded in the video, audio or data of the program, the
番組識別情報は、番組の伝送信号にリンク付けされていてもよい。要するに、番組受信部２０１が放送波を受信し、その放送波を復調することによって番組の映像、音声およびデータと、当該番組の番組識別情報とが得られる構造であれば、番組の放送波における番組と番組識別情報のデータ構造は問わない。
The program identification information may be linked to the transmission signal of the program. In short, if the
番組受信部２０１は、通常、番組出力装置２の電源がＯＮになっている間、設定されている受信チャネルの番組を受信している。通常、視聴者がリモコンを操作して受信チャネルの番号を設定すると、そのチャネル番号は図示省略のチャネル番号格納部に格納される。番組受信部２０１は、チャネル番号格納部に格納されているチャネル番号で放送されている番組を受信する。
The
チャネル番号格納部には、視聴者がリモコンを操作して受信チャネルを設定する毎に、設定されたチャネル番号が格納される。従って、チャネル番号格納部には、視聴者が設定した最新のチャネル番号が格納されている。 The channel number storage unit stores the set channel number every time the viewer operates the remote controller to set the reception channel. Therefore, the channel number storage unit stores the latest channel number set by the viewer.
補助情報送信指示送信部２０２は、番組受信部２０１が受信した番組識別情報を有する補助情報送信指示をサーバ３に送信する。補助情報送信指示は、サーバ３に対して番組識別情報に対応付けられた１または２以上の補助情報を番組出力装置２に送信することの指示である。
The auxiliary information transmission
番組識別情報に対応付けられた補助情報が２以上ある場合、補助情報送信指示には、サーバ３から２以上の補助情報を一括して送信させる補助情報送信指示と、サーバ３から２以上の補助情報情報を順番に送信させる補助情報送信指示とが含まれる。サーバ３から２以上の補助情報を順番に送信させる場合、補助情報送信指示部２０２は、番組識別情報と補助情報の順番を決定する情報とを指定した補助情報送信指示をサーバ３に逐次送信しても良く、番組識別情報だけを指定した補助情報送信指示をサーバ３に送信しても良い。
When there are two or more auxiliary information associated with the program identification information, the auxiliary information transmission instruction includes an auxiliary information transmission instruction for transmitting two or more auxiliary information from the
補助情報には、後述するように、補助情報を識別するための補助情報識別子が付与されている。また、補助情報には、番組内の出力箇所を示す箇所情報を有する場合がある。番組内の出力箇所とは、番組の出力時間における補助情報の時間的な出力位置である。補助情報の順番を決定する情報として、上記の補助情報識別子または番組内の出力箇所を用いることができる。 As will be described later, an auxiliary information identifier for identifying auxiliary information is assigned to the auxiliary information. The auxiliary information may include location information indicating an output location in the program. The output location in the program is a temporal output position of auxiliary information in the program output time. As information for determining the order of the auxiliary information, the auxiliary information identifier or the output location in the program can be used.
サーバ３から２以上の補助情報を順番に送信させる場合、補助情報送信指示部２０２は、番組識別情報と補助情報識別子とを指定した補助情報送信指示若しくは番組識別情報と箇所情報とを指定した補助情報送信指示をサーバ３に送信して、各補助情報送信指示に対応する補助情報をサーバ３から送信させる。
When two or more pieces of auxiliary information are transmitted from the
サーバ３に２以上の補助情報の順次送信を指示する場合、補助情報送信指示送信部２０２は、最初の補助情報送信指示では、番組識別情報だけを有する補助情報送信指示をサーバ３に送信する。補助情報送信指示部２０２は、番組受信部２が番組の受信を開始した時に最初の補助情報送信指示を送信するが、その時には必要な補助情報の補助情報識別子や番組内の出力箇所が分からないので、番組識別情報だけを有する補助情報送信指示をサーバ３に送信し、サーバ３から当該番組識別情報と番組の受信開始時とに対応する補助情報を送信させるためである。
When the
補助情報送信指示送信部２０２は、２回目以降の補助情報送信指示では、番組受信部２０１が受信した番組識別情報と、取得した最新の補助情報に含まれる補助情報識別子若しくは箇所情報とを有する補助情報送信指示をサーバ３に送信する。
In the second and subsequent auxiliary information transmission instructions, the auxiliary information transmission
補助情報取得部２０３は、補助情報送信指示送信部２０２による補助情報送信指示の送信に応じて、補助情報送信指示に対応する補助情報をサーバ３から受信する。補助情報送信指示送信部２０２が番組識別情報だけを有する補助情報送信指示を送信した場合、サーバ３は当該番組識別情報に対応付けられている１または２以上の補助情報を番組出力装置２に送信するので、補助情報取得部２０３は、サーバ３から送信される１または２以上の補助情報を受信する。
The auxiliary
また、補助情報送信指示送信部２０２が番組識別情報と補助情報識別子とを有する補助情報送信指示を送信した場合、サーバ３は、当該番組識別情報と当該補助情報識別子の次の補助情報識別子とに対応付けられた補助情報を番組出力装置２に送信するので、補助情報取得部２０３は、サーバ３から送信される１または２以上の補助情報を受信する。
When the auxiliary information transmission
また、補助情報送信指示送信部２０２が番組識別情報と箇所情報とを有する補助情報送信指示を送信した場合、サーバ３は、当該番組識別情報と当該箇所情報に含まれる番組内の出力箇所の次の出力箇所とに対応付けられた補助情報を番組出力装置２に送信するので、補助情報取得部２０３は、サーバ３から送信される１または２以上の補助情報を受信する。
Further, when the auxiliary information transmission
補助情報取得部２０３は、受信（取得）した補助情報を図示省略の補助情報格納部に少なくとも一時的に格納する。補助情報格納部は、例えば、バッファメモリで構成される。
The auxiliary
出力部２０４は、番組受信部２０１が受信した番組と補助情報取得部２０３が受信した補助情報を出力する。番組と補助情報の出力は、例えば、スピーカーへの出力（発音）、ディスプレイへの出力（画像表示）、プロジェクタを用いた投影、プリンタでの印字、他の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
The
なお、他の装置とは、例えば、イヤホン、ヘッドホン、携帯電話、スマートフォンなどのように、画像または音声を出力することができる装置である。また、送信、蓄積、処理結果の引渡しについては、出力対象が最終的に視聴者に提示されるものとする。 Note that the other device is a device that can output an image or sound, such as an earphone, a headphone, a mobile phone, and a smartphone. In addition, regarding transmission, accumulation, and delivery of processing results, the output target is finally presented to the viewer.
従って、出力部２０４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても良く、含まないと考えても良い。出力部２０４は、出力デバイスのドライバーソフト、または、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
Therefore, the
出力部２０４は、通常、番組受信部２０１が受信した番組の映像を番組出力装置２に設けられたディスプレイによって表示し、番組受信部２０１が受信した番組の音声を番組出力装置２に設けられたスピーカーによって発音する。
The
また、出力部２０４は、補助情報取得２０３が取得した１または２以上の補助情報を出力する。出力部２０４は、補助情報が箇所情報を有しない場合は、補助情報取得２０３が当該補助情報を受信すると、直ちにその補助情報を出力し、補助情報が箇所情報を有している場合は、現在時刻がその箇所情報に含まれる番組内の出力箇所に対応する時刻になったときに補助情報を出力する。
The
出力部２０４は、通常、補助情報取得部２０３が受信した補助情報を番組出力装置２の出力デバイス（通常、ディスプレイとスピーカー）で出力するが、番組出力装置２とは異なる装置の出力デバイスで出力してもよい。番組出力装置２とは異なる装置は、例えば、携帯電話、スマートフォン、タブレットなどの携帯端末である。また、補助情報の出力態様は、予め決められていても良く、番組の属性値に応じて異ならせるようにしてもよい。
The
異なる出力態様には、番組と補助情報の両方を番組出力装置２の出力デバイスで出力する態様と、番組を番組出力装置２の出力デバイスで出力し、補助情報を番組出力装置２とは異なる装置の出力デバイスで出力する態様とが含まれる。
In the different output modes, both the program and the auxiliary information are output by the output device of the
また、異なる出力態様には、番組と補助情報の両方を番組出力装置２のディスプレイに表示する場合に、番組の映像に補助情報の映像を重畳して表示する態様、番組の映像と補助情報の映像を分離して表示する態様、番組の映像に補助情報の映像を重畳する位置や大きさを異ならせる態様などが含まれる。
Further, the different output modes include a mode in which both the program and the auxiliary information are displayed on the display of the
また、異なる出力態様には、番組と補助情報の両方を番組出力装置２のスピーカーから発音する場合に、番組の音声と補助情報の音声の音量を異ならせる態様や、番組の音声と補助情報の音声の発音位置を異ならせる態様などが含まれる。
Also, different output modes include a mode in which the volume of the program audio and the auxiliary information audio are different when both the program and the auxiliary information are pronounced from the speaker of the
番組の属性値に応じて出力態様を異ならせるとは、例えば、番組の属性値によって、番組の映像と補助情報の映像の表示態様を異ならせたり、番組の音声と補助情報の音声の発音態様を異ならせたりすることである。番組と補助情報の出力態様を制御するための番組の属性値には、例えば、補助情報の有無を示す情報、補助情報の出力先を指定する情報、番組のジャンルを示す情報などが含まれる。 Differentiating the output mode according to the attribute value of the program means, for example, changing the display mode of the video of the program and the video of the auxiliary information depending on the attribute value of the program, or the sounding mode of the audio of the program and the auxiliary information Is to make them different. The attribute values of the program for controlling the output mode of the program and auxiliary information include, for example, information indicating the presence / absence of auxiliary information, information specifying the output destination of auxiliary information, information indicating the genre of the program, and the like.
番組のジャンルによって補助情報の出力態様を異ならせる制御を行うのは、例えば、番組の映像に字幕の映像を重畳して番組出力装置２のディスプレイに表示する場合や、ディスプレイの番組を表示する領域内に小領域を設け、その小領域に手話映像を表示する場合、番組の内容によって字幕や手話映像の表示位置が番組の主要な部分の視聴を妨げる恐れがあるからである。
The control of changing the output mode of the auxiliary information depending on the genre of the program is performed, for example, when the subtitle video is superimposed on the video of the program and displayed on the display of the
なお、補助情報の出力態様を制御し得る情報であれば、番組の属性値は、上記のものに限定されるものではない。 Note that the attribute value of the program is not limited to the above as long as it is information that can control the output mode of the auxiliary information.
番組受信部２０１および補助情報送信指示送信部２０２は、通常、無線または有線の通信手段または放送送受信手段で実現される。また、補助情報取得部２０３は、通常、ＭＰＵやメモリ等で実現され得る。補助情報取得部２０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
The
サーバ３は、番組出力装置２に提供する補助情報を管理する。また、サーバ３は、番組出力装置２から番組識別情報を受信すると、当該番組識別情報に対応する補助情報を番組出力装置２に送信する。補助情報には、上述したように、字幕、手話映像、絵文字、補助音声等が含まれる。
The
字幕は、番組の映像に合わせて表示させる会話、解説、擬音語などを文字や記号で表記したものである。字幕は、通常、無地の背景に文字や記号を表記した静止画で構成され、通常、番組の映像の対応付けられたシーンに重畳して出力される。 Subtitles are text, symbols, etc. that describe conversations, explanations, onomatopoeia, etc. that are displayed according to the video of the program. Subtitles are usually composed of still images in which characters and symbols are written on a plain background, and are usually output by being superimposed on a scene associated with a program video.
手話映像は、会話、解説、擬音語などを手話で表現している映像（動画）である。手話映像は、例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の映像であっても良く、手話通訳者が行う手話通訳の動作を撮影した映像でも良い。また、手話映像は、番組の映像に対応付けられたテキスト情報を用いて自動的に生成した手話映像であっても良い。番組の映像に対応付けられたテキスト情報は、例えば、番組の映像に対応付けられた字幕や、番組の映像に対応付けられた音声を音声認識によって取得したテキスト情報などである。 A sign language video is a video (video) that expresses conversation, commentary, onomatopoeia, etc. in sign language. The sign language video may be, for example, a CG (Computer Graphics) video, or may be a video in which a sign language interpreter performs a sign language interpreter. The sign language video may be a sign language video automatically generated using text information associated with the video of the program. The text information associated with the program video is, for example, subtitles associated with the program video or text information obtained by voice recognition of the audio associated with the program video.
絵文字は、会話や解説の内容を絵柄や記号によって象徴的に表現したものである。絵文字には、例えば、人間の喜怒哀楽の感情を表現した泣き顔や笑い顔などの絵柄や非常事態発生時の緊急度を表現した図柄などが含まれる。絵文字は、例えば、予め作成された絵柄や記号の画像データ（ビットマップデータ）でも良く、絵文字をコードに登録したコードデータでも良い。 The pictogram is a symbolic representation of the content of conversation or commentary with a pattern or symbol. The pictograph includes, for example, a pattern such as a crying face or a laughing face that expresses emotions of human emotion, and a pattern that expresses the degree of urgency when an emergency occurs. For example, the pictograph may be image data (bitmap data) of a picture or a symbol created in advance, or may be code data in which a pictograph is registered in a code.
補助音声は、番組の映像に表示若しくは付加される解説などを音声で解説した情報である。補助音声は、例えば、人が解説文を読み上げた音声であっても良く、解説文を音声合成により変換した合成音や音声合成される文字列などであっても良い。 Auxiliary audio is information that explains, for example, a comment displayed or added to a program video. The auxiliary voice may be, for example, a voice in which a person reads a commentary sentence, or may be a synthesized sound obtained by converting a commentary sentence by voice synthesis or a character string to be voice-synthesized.
１つの番組には、通常、１または２以上の補助情報が対応付けられる。例えば、映像に登場する話者の会話に対応付けて字幕を出力させる場合、通常、１つの番組に対応付けられる字幕の補助情報は、番組内の複数のシーンに対応付けられた複数の字幕によって構成される。映像の一部のシーンにだけ解説の字幕が出力される場合は、１つの番組に対応付けられる字幕の補助情報は、番組内の該当シーンに対応付けられた１個の字幕によって構成される場合もある。 One program is usually associated with one or more auxiliary information. For example, when subtitles are output in association with a conversation of a speaker appearing in a video, the subtitle auxiliary information associated with one program is usually based on a plurality of subtitles associated with a plurality of scenes in the program. Composed. When commentary subtitles are output only for some scenes of video, subtitle auxiliary information associated with one program is composed of one subtitle associated with the corresponding scene in the program There is also.
絵文字の場合も同様で、１つの番組に対応付けられる絵文字の補助情報は、番組内の複数のシーンに対応付けられた複数の絵文字によって構成される場合と、番組内の一部のシーンに対応付けられた１個の絵文字によって構成される場合とが考えられる。 The same applies to pictograms. The supplementary information for pictograms associated with one program corresponds to a case where the pictograms are composed of a plurality of pictograms associated with a plurality of scenes in the program and a part of the scenes in the program. It is conceivable that it is composed of a single pictograph attached.
また、ニュース解説のような番組に対して手話映像による解説を付加する場合は、通常、１つの番組に対応付けられる手話映像の補助情報は１本の手話映像で構成されるが、番組の一部に解説や説明の必要なシーンがある場合は、１つの番組に対応付けられる手話映像の補助情報は、番組内の該当シーンに対応付けられた１個の手話映像によって構成される場合もある。補助音声の場合も同様で、１つの番組に対して当該番組全体に対応付けられる１本の補助音声で構成される場合と、当該番組の一部のシーンに対応付けられた１または２以上の補助音声で構成される場合とが考えられる。 Also, when sign language video commentary is added to a program such as a news commentary, the sign language video auxiliary information associated with one program is usually composed of one sign language video. If there is a scene that requires explanation or explanation in the part, the auxiliary information of the sign language video associated with one program may be composed of one sign language video associated with the corresponding scene in the program. . The same applies to the case of auxiliary sound. The case where one program is composed of one auxiliary sound associated with the entire program, and one or two or more associated with some scenes of the program. It may be configured with auxiliary audio.
１つの番組に２以上の補助情報が対応付けられる場合、各補助情報が番組内の出力箇所によって対応付けられる場合がある。番組内の出力箇所（番組内における補助情報の時間的な出力位置）は、番組開始からの経過時間や、番組の映像を構成するフレームの識別子（フレームＩＤ）や、番組開始時からのオフセットなどで定義することができる。なお、補助情報の時間的な出力位置は、番組内の時間的な位置を定義できるパラメータであれば、経過時間、フレームＩＤ、オフセットなどのパラメータに限定されるものではない。 When two or more auxiliary information is associated with one program, each auxiliary information may be associated with an output location in the program. The output location in the program (time output position of the auxiliary information in the program) is the elapsed time from the start of the program, the identifier of the frame (frame ID) constituting the video of the program, the offset from the start of the program, etc. Can be defined in The temporal output position of the auxiliary information is not limited to parameters such as elapsed time, frame ID, and offset as long as the parameter can define the temporal position in the program.
サーバ３は、複数種類の補助情報（例えば、字幕、手話映像、絵文字および補助音声等の情報）を管理・提供する構成でも良く、１種類の補助情報（例えば、字幕の補助情報）を管理・提供する構成でも良い。サーバ３が１種類の補助情報を管理・提供する構成の場合、番組システム１に種類の異なる補助情報を管理・提供する複数のサーバ３を設けても良い。例えば、番組システム１に、字幕用サーバ３Ａ、手話映像用サーバ３Ｂ、絵文字用サーバ３Ｃ、補助音声用サーバ３Ｄを設け、番組出力装置２の要求に応じて各サーバ３Ａ，３Ｂ，３Ｃ，３Ｄから字幕、手話映像、絵文字、補助音声の各補助情報を提供するようにしてもよい。
The
サーバ３は、補助情報格納部３０１、補助情報送信指示受信部３０２、補助情報処理部３０３、補助情報送信部３０４を備える。
The
補助情報格納部３０１は、番組識別情報に対応付いている１または２以上の補助情報を格納している。補助情報格納部３０１に格納される補助情報は、上述した字幕、手話映像、絵文字、補助音声などの補助情報である。補助情報格納部３０１に格納されている１または２以上の補助情報には、補助情報識別子が付与されている。
The auxiliary
１つの番組識別情報に対して同一種類の補助情報が複数個対応付けられている場合、その複数個の補助情報は、当該番組識別情報の番組内の出力箇所を示す箇所情報に対応付けられて補助情報格納部３０１に格納されている場合がある。補助情報の箇所情報は、番組の出力開始時からの補助情報の時間的な出力位置を示す情報であれば、任意のものを採用することができる。
When a plurality of the same type of auxiliary information is associated with one program identification information, the plurality of auxiliary information is associated with location information indicating an output location in the program of the program identification information. It may be stored in the auxiliary
例えば、図４（a）,（ｂ）に示すように、１つの番組に対して、ｎ個のシーンＳ(k)（ｋは、シーンを識別する番号。ｋ＝１，２，…ｎ）に対してｎ個の補助情報Ｊ(h)（ｈは、シーンに対応付けられた補助情報を識別する番号。ｈ＝１，２，…ｎ）をそれぞれ出力させるように、複数の補助情報が対応付けられている場合、番組内のｉ番目の補助情報Ｊ(i)の出力箇所は、例えば、ｉ番目のシーンＳ(i)の出現時刻ｔ(i)によって定義することができる。 For example, as shown in FIGS. 4A and 4B, for one program, n scenes S (k) (k is a number for identifying a scene. K = 1, 2,... N). , N pieces of auxiliary information are output so that n pieces of auxiliary information J (h) (h is a number identifying auxiliary information associated with a scene. H = 1, 2,... N) are output. In the case of association, the output location of the i-th auxiliary information J (i) in the program can be defined by the appearance time t (i) of the i-th scene S (i), for example.
出現時刻ｔ(i)を示す情報としては、番組の出力開始時刻ｔｓを基準に計時した番組内における相対的な出力時刻の情報でもよく、図４（ｃ）に示すように、番組がある放送日の時刻Ｔｓに放送が開始される場合、放送時間帯における補助情報の出力時刻Ｔ(i)（絶対的な出力時刻）の情報でもよい。また、番組の映像を構成するフレームのうち、出現時刻ｔ(i)に対応するフレーム番号もしくはフレームＩＤを補助情報の出力箇所の情報としてもよい。また、シーンＳ(i)の出現時刻ｔ(i)に対応するオフセットを補助情報の出力箇所の情報としてもよい。 The information indicating the appearance time t (i), may be information relative output time in the program which is timed relative to the output start time t s of the program, as shown in FIG. 4 (c), there is a program When the broadcast is started at the time T s on the broadcast day, information on the output time T (i) (absolute output time) of the auxiliary information in the broadcast time zone may be used. Moreover, it is good also considering the frame number or frame ID corresponding to appearance time t (i) among the frames which comprise the image | video of a program as the information of the output location of auxiliary information. Further, an offset corresponding to the appearance time t (i) of the scene S (i) may be used as information on the output location of the auxiliary information.
なお、ｎ個の補助情報Ｊ(h)が連続して出力される構成の場合は、先頭の補助情報Ｊ(1)に対してだけ番組内の出力箇所を示す箇所情報を設定し、２番目以降の補助情報Ｊ(2)，Ｊ(3)，…Ｊ(n)には箇所情報として出力順を示す情報を設定してもよい。また、この出力順を示す情報に補助情報識別子を用いても良い。 If n pieces of auxiliary information J (h) are output continuously, location information indicating the output location in the program is set only for the first auxiliary information J (1). In the following auxiliary information J (2), J (3),... J (n), information indicating the output order may be set as location information. Further, an auxiliary information identifier may be used as information indicating the output order.
補助情報格納部３０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。補助情報格納部３０１に補助情報が記憶される過程は問わない。例えば、記録媒体を介して補助情報が補助情報格納部３０１で記憶されてもよい。また、通信回線等を介して送信された補助情報が補助情報格納部３０１で記憶されてもよい。あるいは、入力デバイスを介して入力された補助情報が補助情報格納部３０１で記憶されてもよい。
The auxiliary
補助情報送信指示受信部３０２は、番組出力装置２から番組識別情報を有する補助情報送信指示、番組識別情報と補助情報識別子とを有する補助情報送信指示、若しくは番組識別情報と箇所情報とを有する補助情報送信指示を受信する。
The auxiliary information transmission
補助情報処理部３０３は、補助情報送信指示受信部３０２が番組識別情報を有する補助情報送信指示を受信した場合、補助情報送信指示が有する番組識別情報に対応付けられた補助情報を補助情報格納部３０１から取得する。
When the auxiliary information transmission
補助情報処理部３０３は、補助情報格納部３０１に番組識別情報に対応付けられた補助情報が複数個格納されている場合、番組識別情報に対応する複数個の補助情報を順番に取得しても良く、一括して取得しても良い。また、補助情報処理部３０３は、番組識別情報に対応付けられた補助情報の一部分のみを取得するようにしても良い。
If the auxiliary
また、補助情報処理部３０３は、補助情報送信指示受信部３０２が番組識別情報と補助情報識別子とを有する補助情報送信指示を受信した場合、補助情報送信指示が有する番組識別情報と補助情報識別子とに対応付けられた補助情報の次の補助情報を補助情報格納部３０１から取得する。次の補助情報は、補助情報識別子で識別され、順番が次となる補助情報である。通常は、補助情報送信指示が有する補助情報識別子の次の順番の補助情報識別子である。
Further, when the auxiliary information transmission
また、補助情報処理部３０３は、補助情報送信指示受信部３０２が番組識別情報と箇所情報とを有する補助情報送信指示を受信した場合、補助情報送信指示が有する番組識別情報と箇所情報とに対応付けられた補助情報の次の補助情報を補助情報格納部３０１から取得する。次の補助情報は、箇所情報に含まれる番組内の出力箇所に対して次の出力箇所の箇所情報を有する補助情報である。
Further, when the auxiliary information transmission
補助情報送信部３０４は、補助情報処理部３０３が取得した補助情報を番組出力装置２に送信する。
The auxiliary
補助情報送信指示受信部３０２および補助情報送信部３０４は、通常、無線または有線の通信手段または放送送受信手段で実現される。また、補助情報処理部３０３は、通常、ＭＰＵやメモリ等から実現され得る。補助情報処理部３０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
The auxiliary information transmission
次に、番組システム１の動作について、図５〜図７のフローチャートを用いて説明する。本発明に係る番組システム１は、番組出力装置２がサーバ３と相互に通信して、番組出力装置２が受信している番組に対応付けられた補助情報を取得し、その補助情報を受信している番組に対応付けて出力する動作に特徴があるので、番組出力装置２およびサーバ３の各装置の動作について説明する。
Next, the operation of the
まず、番組出力装置２の出力制御の動作について説明する。
First, the output control operation of the
以下の説明では、番組識別情報が番組に含まれており、番組の受信によって番組識別情報も受信される場合について説明する。また、番組出力装置２が受信する番組に対してサーバ３から複数個の補助情報が提供される場合について説明する。また、補助情報の出力態様は、予め設定されており、番組の属性値に応じて変化させない場合について説明する。
In the following description, a case where program identification information is included in a program and the program identification information is also received upon reception of the program will be described. A case where a plurality of auxiliary information is provided from the
なお、番組に対応付けて複数個の補助情報を出力する態様には、番組の出力に合わせて複数個の補助情報を順番に出力させる態様（連続的に出力させる態様）と、番組内の出力箇所が出現する毎に、当該出力箇所に対応する補助情報を出力させる態様（離散的に出力させる態様）とが考えられる。前者の出力態様には、例えば、複数個のチャプターで構成された手話映像の各チャプターを番組の内容に同期させて出力させる場合が考えられ、後者の出力態様には、例えば、字幕の映像を番組内の対応付けられたシーンが出現するのに同期させて出力させる場合が考えられる。 In addition, in a mode of outputting a plurality of auxiliary information in association with a program, a mode in which a plurality of auxiliary information is output in order in accordance with the output of the program (a mode in which continuous output is performed), and an output in the program A mode in which auxiliary information corresponding to the output location is output every time a location appears (a mode of discrete output) is considered. In the former output mode, for example, it is conceivable that each chapter of sign language video composed of a plurality of chapters is output in synchronization with the content of the program. In the latter output mode, for example, subtitle video is output. It is conceivable that the scene is output in synchronization with the appearance of the associated scene in the program.
図５は、番組出力装置２が複数個の補助情報をサーバ３から順番に取得し、各補助情報を順次出力させる場合（補助情報を連続的に出力させる態様の場合）の出力制御の処理手順を示すフローチャートである。以下、図５のフローチャートについて説明する。
FIG. 5 shows a processing procedure of output control when the
（ステップＳ５０１）番組受信部２０１は、電源がＯＮになったか否かを判断する。電源がＯＮになると（Ｓ５０１：Ｙ）、ステップＳ５０２に進み、電源がＯＦＦ状態であれば（Ｓ５０１：Ｎ）、ステップＳ５０１に戻る。
(Step S501) The
（ステップＳ５０２）番組受信部２０１は、チャネル番号格納部に格納されているチャネル番号で送信される番組を受信する。出力部２０４は、番組受信部２０１が受信し、フレーム単位で復調した番組の映像をディスプレイに表示し、番組の音声をスピーカーから出力する。
(Step S502) The
（ステップＳ５０３）番組受信部２０１は、受信した番組に含まれる番組識別情報を復調し、番組識別情報格納部に格納する。
(Step S503) The
（ステップＳ５０４）補助情報送信指示送信部２０２は、番組受信部２０１が受信した番組識別情報を含む補助情報送信指示をサーバ３に送信する。具体的には、補助情報送信指示送信部２０２は、番組識別情報格納部から番組識別情報を読み出し、補助情報送信指示のコマンドとともにサーバ３に送信する。
(Step S <b> 504) The auxiliary information transmission
（ステップＳ５０５）補助情報取得部２０３は、補助情報送信指示送信部２０２による補助情報送信指示に応じてサーバ３から補助情報が送信されると、その補助情報を番組受信部２０１が現在受信している番組に対する補助情報として取得し、バッファメモリに保存する。
(Step S505) When the auxiliary information is transmitted from the
なお、補助情報送信指示送信部２０２が補助情報送信指示をサーバ３に送信したとき、サーバ３は、補助情報送信指示に含まれる番組識別情報と現在時刻（補助情報送信指示の受信時刻に相当）とに対応する補助情報を番組出力装置２に送信する。従って、補助情報取得部２０３は、番組受信部２０１が受信を開始した時刻に放送されている番組に対応する補助情報を取得する。
When the auxiliary information transmission
（ステップＳ５０６）出力部２０４は、補助情報取得部２０６が取得した補助情報を出力する。
(Step S506) The
（ステップＳ５０７）番組受信部２０１は、電源がＯＦＦになったか否かを判断する。電源がＯＦＦになっていないときは（Ｓ５０７：Ｎ）、ステップＳ５０２に戻って次の補助情報の取得と出力の処理を行い、電源がＯＦＦになったときは（Ｓ５０７：Ｙ）、補助情報の出力制御を終了する。
(Step S507) The
なお、図５のフローチャートにおいて、処理終了の割り込みがあれば、処理は終了する。 In the flowchart of FIG. 5, if there is a process end interrupt, the process ends.
次に、図６は、番組出力装置２が複数個の補助情報をサーバ３から順番に取得して一旦、バッファメモリに保存し、各補助情報を番組内の指定された出力箇所で順次出力させる場合（補助情報を離散的に出力させる態様の場合）の出力制御の処理手順を示すフローチャートである。
Next, FIG. 6 shows that the
図６のフローチャートは、ステップＳ５０３とステップＳ５０４の間にステップＳ５０３−１を追加し、ステップＳ５０５とステップＳ５０６の間にステップＳ５０５−１を追加したものである。ステップＳ５０３−１は、複数個の補助情報を全て取得しているか否かを判断する処理であり、ステップＳ５０５−１は、番組の出力時刻が取得した複数個の補助情報のいずれかの出力箇所に該当しているか否かを判断する処理である。以下、図６のフローチャートについて説明する。 In the flowchart of FIG. 6, step S503-1 is added between step S503 and step S504, and step S505-1 is added between step S505 and step S506. Step S503-1 is a process of determining whether or not all of the plurality of auxiliary information has been acquired. Step S505-1 is the output location of any of the plurality of auxiliary information acquired by the program output time. This is a process for determining whether or not the above is true. Hereinafter, the flowchart of FIG. 6 will be described.
（ステップＳ５０１）番組受信部２０１は、電源がＯＮになったか否かを判断する。電源がＯＮになると（Ｓ５０１：Ｙ）、ステップＳ５０２に進み、電源がＯＦＦ状態であれば（Ｓ５０１：Ｎ）、ステップＳ５０１に戻る。
(Step S501) The
（ステップＳ５０２）番組受信部２０１は、チャネル番号格納部に格納されているチャネル番号で送信される番組を受信する。出力部２０４は、番組受信部２０１が受信し、フレーム単位で復調した番組の映像をディスプレイに表示し、番組の音声をスピーカーから出力する。
(Step S502) The
（ステップＳ５０３）番組受信部２０１は、受信した番組に含まれる番組識別情報を復調し、番組識別情報格納部に格納する。
(Step S503) The
（ステップＳ５０３−１）補助情報送信指示送信部２０２は、出力部２０４が出力している番組に対して当該番組に対応付けて出力させる複数個の補助情報をサーバ３から全て取得しているか否かを判別する。補助情報送信指示送信部２０２は、複数個の補助情報を全て取得していなければ（Ｓ５０３−１：Ｎ）、ステップＳ５０４に進み、複数個の補助情報を全て取得していれば（Ｓ５０３−１：Ｙ）、ステップＳ５０５−１に進む。
(Step S503-1) The auxiliary information transmission
（ステップＳ５０４）補助情報送信指示送信部２０２は、番組受信部２０１が取得した番組識別情報を含む補助情報送信指示をサーバ３に送信する。具体的には、補助情報送信指示送信部２０２は、番組識別情報格納部から番組識別情報を読み出し、補助情報送信指示のコマンドとともにサーバ３に送信する。補助情報送信指示送信部２０２は、サーバ３から未だ補助情報を受信していない場合（補助情報送信指示を最初に送信する場合）は、番組識別情報をサーバ３に送信するが、既に補助情報を受信している場合（２回目以降の補助情報送信指示を送信する場合）は、受信している最新の補助情報に含まれる補助情報識別子を番組識別情報とともにサーバ３に送信する。
(Step S <b> 504) The auxiliary information transmission
（ステップＳ５０５）補助情報取得部２０３は、補助情報送信指示送信部２０２による補助情報送信指示に応じてサーバ３から補助情報が送信されると、その補助情報を番組受信部２０１が現在受信している番組に対する補助情報として取得し、バッファメモリに保存する。
(Step S505) When the auxiliary information is transmitted from the
なお、補助情報送信指示送信部２０２が最初に補助情報送信指示をサーバ３に送信したときは、サーバ３は、補助情報送信指示に含まれる番組識別情報と現在時刻（補助情報送信指示の受信時刻に相当）とに対応する補助情報識別子を有する補助情報を番組出力装置２に送信する。従って、補助情報取得部２０３は、番組受信部２０１が番組の受信を開始した時刻に対応する補助情報を取得する。この補助情報は、出力部２０４が番組の出力を開始して最初に出現する補助情報の出力箇所に対応する補助情報である。
When the auxiliary information transmission
一方、補助情報送信指示送信部２０２が２回目以降の補助情報送信指示をサーバ３に出力したときは、サーバ３は、補助情報送信指示に含まれる番組識別情報と、補助情報送信指示に含まれる補助情報識別子に対して次の順番となる補助情報識別子とを有する補助情報送信指示を番組出力装置２に送信する。従って、補助情報取得部２０３は、既に取得している最新の補助情報に対して次の順番の補助情報を取得する。
On the other hand, when the auxiliary information transmission
（ステップＳ５０５−１）出力部２０４は、バッファメモリに保存されている１または２以上の補助情報に含まれる出力箇所（番組内の相対的な出力時刻）が出力部２０４で出力されている番組の出力箇所に該当しているか否かを判断する。この判断は、例えば、出力部２０４が出力している番組の映像のフレーム番号もしくはフレームＩＤから当該番組の放映開始からの経過時刻を算出し、その経過時刻に該当する出力箇所を有する補助情報がバッファメモに保存されているか否かによって判断することができる。出力部２０４は、いずれかの補助情報に含まれる出力箇所が現在出力されている番組の出力個所に該当していれば（Ｓ５０５−１：Ｙ）、ステップＳ５０６に進み、いずれの補助情報も現在出力されている番組の出力個所に該当していなければ（Ｓ５０５−１：Ｎ）、ステップＳ５０７に進む。
(Step S505-1) The
（ステップＳ５０６）出力部２０４は、現在出力されている番組の出力箇所を有する補助情報をバッファメモリから読み出し、その補助情報を出力する。
(Step S506) The
（ステップＳ５０７）番組受信部２０１は、電源がＯＦＦになったか否かを判断する。電源がＯＦＦになっていないときは（Ｓ５０７：Ｎ）、ステップＳ５０２に戻って次の補助情報の取得と出力の処理を行い、電源がＯＦＦになったときは（Ｓ５０７：Ｙ）、補助情報の出力制御を終了する。
(Step S507) The
図６のフローチャートにおいて、処理終了の割り込みがあれば、処理は終了する。また、ステップＳ５０４の処理で、補助情報送信指示送信部２０２が２回目以降の補助情報送信指示を送信する場合、補助情報識別子に代えて受信している最新の補助情報に含まれる箇所情報を番組識別情報とともにサーバ３に送信するようにしてもよい。
In the flowchart of FIG. 6, if there is a process end interrupt, the process ends. In addition, when the auxiliary information transmission
次に、サーバ３の補助情報の送信制御の動作について、図７のフローチャートを用いて説明する。
Next, the auxiliary information transmission control operation of the
（ステップＳ７０１）補助情報送信指示受信部３０２は、番組出力装置２から補助情報送信指示があるか否かを監視しており（ステップＳ７０１のループ処理）、補助情報送信指示受信部３０２が番組出力装置２から補助情報送信指示を受信すると（ステップＳ７０１：Ｙ）、ステップＳ７０２に進む。
(Step S701) The auxiliary information transmission
（ステップＳ７０２）補助情報処理部３０３は、補助情報送信指示受信部３０２が受信した補助情報送信指示に補助情報識別子が含まれているか否かを判別する。補助情報処理部３０３は、補助情報送信指示受信部３０２が受信した補助情報送信指示に補助情報識別子が含まれていなければ（Ｓ７０２：Ｎ）、ステップＳ７０３に進み、補助情報識別子が含まれていれば（Ｓ７０２：Ｙ）、ステップＳ７０５に進む。
(Step S702) The auxiliary
（ステップＳ７０３）補助情報処理部３０３は、現在時刻（補助情報送信指示受信部３０２が補助情報送信指示を受信した時刻に相当）の情報を、例えば、サーバ３に内蔵された時計から取得する。
(Step S703) The auxiliary
（ステップＳ７０４）補助情報処理部３０３は、補助情報格納部３０１に格納された補助情報のうち、補助情報送信指示受信部３０２が受信した補助情報送信指示に含まれる番組識別情報と、補助情報処理部３０３が取得した現在時刻とに対応する補助情報を決定する。
(Step S <b> 704) The auxiliary
（ステップＳ７０５）補助情報処理部３０３は、補助情報格納部３０１に格納された補助情報のうち、補助情報送信指示受信部３０２が受信した補助情報送信指示に含まれる番組識別情報と、補助情報送信指示に含まれる補助情報識別子に対して次の順番となる補助情報識別子とに対応する補助情報を決定する。
(Step S705) Of the auxiliary information stored in the auxiliary
（ステップＳ７０６）補助情報処理部３０３は、決定した補助情報（補助情報識別子、番組識別情報、箇所情報および補助内容を含む情報）を補助情報格納部３０１から読み出して番組出力装置２に送信すべき補助情報を取得する。
(Step S706) The auxiliary
（ステップＳ７０７）補助情報送信部３０４は、補助情報処理部３０３が取得した補助情報を番組出力装置２に送信し、ステップＳ７０１に戻る。
(Step S707) The auxiliary
図７のフローチャートにおいて、ステップＳ７０１で受信した補助情報送信指示に現在時刻が含まれている場合は、ステップＳ７０３の処理をせず、ステップＳ７０４で、補助情報処理部３０３は、補助情報格納部３０１に格納された補助情報のうち、補助情報送信指示受信部３０２が受信した補助情報送信指示に含まれる番組識別情報と現在時刻とに対応する補助情報を決定するようにしてもよい。
In the flowchart of FIG. 7, when the current time is included in the auxiliary information transmission instruction received in step S701, the process of step S703 is not performed, and in step S704, the auxiliary
また、番組出力装置２から補助情報識別子に代えて箇所情報を有する補助情報送信指示が送信される場合は、補助情報処理部３０３は、ステップＳ７０２の処理で箇所情報が含まれているか否かの判別をし、ステップＳ７０５の処理で補助情報送信指示受信部３０２が受信した補助情報送信指示に含まれる番組識別情報と、補助情報送信指示に含まれる箇所情報に対して次の順番となる箇所情報とに対応する補助情報を決定する。
When an auxiliary information transmission instruction having location information instead of the auxiliary information identifier is transmitted from the
また、番組出力装置２から番組識別情報だけを有する補助情報送信指示が送信される場合は、補助情報処理部３０３と補助情報送信部３０４は、ステップＳ７０２〜Ｓ７０５の処理に代えて、番組識別情報と現在時刻とに対応する補助情報とそれに続く順番の補助情報とを順番に補助情報格納部３０１から読み出して番組出力装置２に送信するようにすればよい。
When an auxiliary information transmission instruction having only program identification information is transmitted from the
また、図７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 In the flowchart of FIG. 7, the process ends when the power is turned off or the process is terminated.
（具体例）
次に、番組出力装置２における番組と補助情報の出力動作の具体例について説明する。
(Concrete example)
Next, a specific example of a program and auxiliary information output operation in the
以下の説明では、番組出力装置２は、放送局から番組放送制御情報に基づいてデジタル放送される番組を受信するものとし、その番組には当該番組の番組識別情報が含まれているものとする。番組は、デジタル符号化された映像、音声および各種のデータをそれぞれ、例えば、トランスポートストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）と呼ばれる伝送信号形式に変換した後、更にそれらのトランスポートストリームを多重化して１つのトランスポートストリームとしたデータ構造を有しているものとする。各種のデータのトランスポートストリームには、例えば、番組名、放送日時、放送時間、番組の概要などの番組に関連した情報（番組関連情報）が含まれており、本具体例では、番組関連情報のトランスポートストリームに番組識別情報が含まれているものとする。
In the following description, it is assumed that the
また、サーバ３の補助情報格納部３０１には、例えば、図８に示すリスト形式で同一種類の字幕情報が１以上格納されているものとし、本具体例では、サーバ３から字幕の補助情報が番組出力装置２に提供されるものとする。
Further, in the auxiliary
図８において、「字幕ＩＤ」の欄は、補助情報識別子を示す欄であり、「番組ＩＤ」は、字幕が対応付けられている番組の番組識別情報（番組識別子）を示す欄である。また、「出力箇所」の欄は、対応付けられた番組内での字幕の出力箇所を示す欄であり、「字幕内容」の欄は、出力される字幕の内容を示す欄である。 In FIG. 8, the column “Subtitle ID” is a column indicating an auxiliary information identifier, and “Program ID” is a column indicating program identification information (program identifier) of a program associated with a subtitle. The “output location” column is a column indicating the output location of subtitles in the associated program, and the “subtitle content” column is a column indicating the content of the subtitles to be output.
図８の例では、「出力箇所」の情報として番組内における相対的な出力時刻（図４の出力時刻ｔ(i)に相当する時刻）の情報が記載されている。また、「字幕内容」は、短文の場合は、１つの文章であるが、長文の場合は、１つの文章を複数個に分割した文である。例えば、「今日の天気は晴れです。」の文章や、「今日の天気は、午前中は晴れますが、」、「午後になると雨になるでしょう。」などの分割された文である。 In the example of FIG. 8, information on the relative output time in the program (time corresponding to the output time t (i) in FIG. 4) is described as “output location” information. The “subtitle content” is one sentence in the case of a short sentence, but is a sentence obtained by dividing one sentence into a plurality of sentences in the case of a long sentence. For example, a sentence such as “Today's weather is sunny.” Or “Today's weather is sunny in the morning.” Or “It will rain in the afternoon.”
以下の説明では、番組出力装置２が番組名「ＡＡＡ」の番組を放送開始後に受信する場合の例を、図９に示すタイムチャートを用いて説明する。なお、番組のデータのトランスポートストリームには、番組ＩＤ（ｘｘ１１）、番組名（ＡＡＡ）、放送日（Ｙ年Ｍ月Ｄ日）、放送時間（放送開始時刻Ｔ１、放送終了時刻Ｔ２）、番組の概要（ｘｘｘ・・・・。）、放送のチャネル番号（Ｘ１）などの当該番組に関連した番組関連情報が含まれているものとする。
In the following description, an example in which the
図９は、番組名「ＡＡＡ」の番組を放送している時間帯（放送開始時刻Ｔ１から放送終了時刻Ｔ２の時間帯）の時刻Ｔａ（Ｔ１＜Ｔａ＜Ｔ２）で番組出力装置２が番組名「ＡＡＡ」の番組の受信を開始したときの、番組出力装置２での番組の受信、番組ＩＤの取得、字幕の取得および番組と字幕の出力の各処理のタイムチャートの一例を示す図である。
FIG. 9 shows that the
図９において、「番組の放送」は、ストリーミング形式で番組名「ＡＡＡ」の番組が送信されている状態を示している。「番組の受信」は、番組出力装置２が番組名「ＡＡＡ」の番組の受信を時刻Ｔａから開始している状態を示している。「番組の放送」の欄に記載のシーンＳ(2)，Ｓ(3)は、字幕を表示させるシーンを示している。時刻ｔ(2)，ｔ(3)は、それぞれシーンＳ(2)，Ｓ(3)の出現時刻を示している。
In FIG. 9, “program broadcast” indicates a state in which a program with the program name “AAA” is transmitted in a streaming format. "Reception of the program" indicates a state in which the
また、「番組ＩＤの取得」は、番組出力装置２が、受信している番組名「ＡＡＡ」の番組の番組ＩＤ「ｘｘ１１」を取得する処理を示している。「字幕の取得」は、番組ＩＤ「ｘｘ１１」に対応付けられた字幕ＩＤ「ＰＮ０２」，「ＰＮ０３」，「ＰＮ０４」，…「ＰＮ５０」（図８参照）を取得する処理を示している。「番組と字幕の出力」は、番組出力装置２の出力部２０４が番組の映像及び音声と字幕とを出力する処理を示している。
“Acquisition of program ID” indicates processing in which the
まず、番組名「ＡＡＡ」の番組が放送されている放送時間帯（Ｔ１からＴ２の時間帯）内の時刻Ｔａで視聴者が番組出力装置２の電源をＯＮにすると、番組受信部２０１はチャネル番号格納部に格納されているチャネル番号で放送されている番組の受信を開始し、番組出力装置２の電源がＯＦＦになるまで、番組の受信を行う。
First, when the program name broadcast time zone in which the program is being broadcast 'AAA' viewer at time T a in the (time period T1 from T2) to turn ON the power of the
例えば、チャネル番号格納部にチャネル番号「Ｘ２」が格納されていると、番組受信部２０１は、チャネル番号「Ｘ２」で「Ｔ１」から「Ｔ２」の放送時間帯に放送されている番組の受信を開始する。例えば、「Ｔ１」から「Ｔ２」の放送時間帯に、チャネル番号「Ｘ１」で番組名「ＡＡＡ」の番組が放送され、チャネル番号「Ｘ２」で番組名「ＢＢＢ」の番組が放送されているとすると、番組出力装置２は、番組名「ＢＢＢ」の番組の受信を開始する。
For example, when the channel number “X2” is stored in the channel number storage unit, the
一方、視聴者がリモコンを操作してチャネル番号「Ｘ１」を入力すると、チャネル番号格納部のチャネル番号が「Ｘ２」から「Ｘ１」に変更され、番組受信部２０１は、チャネル番号「Ｘ１」で「Ｔ１」から「Ｔ２」の放送時間帯に放送されている番組名「ＡＡＡ」の番組の受信を開始する。
On the other hand, when the viewer inputs the channel number “X1” by operating the remote controller, the channel number in the channel number storage unit is changed from “X2” to “X1”, and the
本具体例では、チャネル番号格納部にチャネル番号「Ｘ１」が格納されているものとし、番組受信部２０１は、時刻Ｔａで番組名「ＡＡＡ」の番組の受信を開始するものとする。
In this specific example, it is assumed that the channel number storage unit the channel number "X1" is stored, the
番組受信部２０１は、時刻Ｔａで番組名「ＡＡＡ」の番組の受信を開始すると、受信した番組を復調して得られる映像と音声を順次、番組格納部に一時的に格納する。一方、出力部２０４は、番組格納部に格納された番組の映像と音声を格納順に読み出して映像をディスプレイに表示し、音声をスピーカーから出力する。また、番組受信部２０１は、受信した番組を復調して得られる番組ＩＤ「ｘｘ１１」を順次、番組識別情報格納部に一時的に格納する（図９の「番組の受信」と「番組ＩＤの取得」参照）。
番組受信部２０１が番組名「ＡＡＡ」の番組の番組ＩＤ「ｘｘ１１」を取得すると、補助情報送信指示送信部２０２は、その番組ＩＤ「ｘｘ１１」に対応付けられた字幕をサーバ３から取得しているか否かを判断する。番組の受信開始時は、サーバ３から字幕の情報を受信していないので、補助情報送信指示送信部２０２は、番組識別情報格納部に格納されている番組ＩＤ「ｘｘ１１」を読み出し、その番組ＩＤ「ｘｘ１１」とともに補助情報送信指示をサーバ３に送信する。
When the
そして、その補助情報送信指示に対して、サーバ３から字幕の情報（字幕ＩＤ＝ＰＮ０２、番組ＩＤ＝ｘｘ１１、出力箇所＝ｔ(2)、字幕内容＝「ｂｂｂ・・・・、」の情報）が送信されると、補助情報取得部２０３がその字幕の情報を受信し（字幕の情報の取得）、バッファメモリに格納する。
Then, in response to the auxiliary information transmission instruction, information on the subtitles from the server 3 (subtitle ID = PN02, program ID = xx11, output location = t (2), subtitle content = “bbb... Information”) Is transmitted, the auxiliary
なお、サーバ３では、補助情報送信指示受信部３０２が補助情報送信指示を受信すると、補助情報処理部３０３が現在時刻（Ｔａ＋Δｔ）を取得し、その現在時刻（Ｔａ＋Δｔ）と補助情報送信指示に含まれる番組ＩＤ「ｘｘ１１」とを用いて補助情報格納部３０１を検索し、現在時刻（Ｔａ＋Δｔ）と番組ＩＤ「ｘｘ１１」とに対応する字幕の情報を読み出す。現在時刻（Ｔａ＋Δｔ）と番組ＩＤ「ｘｘ１１」とに対応する字幕の情報は、番組ＩＤ「ｘｘ１１」を有し、かつ、現在時刻（Ｔａ＋Δｔ）に最も近い当該現在時刻（Ｔａ＋Δｔ）よりも遅い出力箇所を有する字幕の情報である。図９の例では、現在時刻（Ｔａ＋Δｔ）に最も近い当該現在時刻（Ｔａ＋Δｔ）よりも遅い出力箇所を有する字幕は、出力箇所ｔ(2)であるから、補助情報処理部３０３は、番組ＩＤ「ｘｘ１１」と出力箇所ｔ(2)とを有する字幕の情報（字幕ＩＤ＝ＰＮ０２、番組ＩＤ＝ｘｘ１１、出力箇所＝ｔ(2)、字幕内容＝「ｂｂｂ・・・・、」の情報）を補助情報格納部３０１から読み出す。そして、補助情報送信部３０４がその字幕の情報を番組出力装置２に送信する。
In the
補助情報送信指示部２０２は、補助情報取得部２０３が字幕ＩＤ「ＰＮ０２」を有する字幕の情報を受信すると、次の字幕の情報の取得処理を行う。２回目以降の字幕の情報の取得処理では、サーバ３から字幕の情報を受信しているので、補助情報送信指示部２０２は、番組識別情報格納部から格納されている番組ＩＤ「ｘｘ１１」を読み出し、その番組ＩＤ「ｘｘ１１」と、直前に受信した字幕の情報に含まれる字幕ＩＤ「ＰＮ０２」とともに補助情報送信指示をサーバ３に送信する。
When the auxiliary
なお、番組受信部２０１が番組を受信している期間では周期的に当該番組を復調して得られる番組ＩＤによって番組識別情報格納部に格納された番組ＩＤが更新される。従って、番組識別情報格納部には、番組受信部２０１が現在受信している番組の番ＩＤ（図９の例では、番組ＩＤ「ｘｘ１１」）が格納されている。
Note that during the period in which the
そして、その補助情報送信指示に対して、サーバ３から次の字幕の情報（字幕ＩＤ＝ＰＮ０３、番組ＩＤ＝ｘｘ１１、出力箇所＝ｔ(3)、字幕内容＝「ｃｃｃ・・・・。」の情報）が送信されると、補助情報取得部２０３がその字幕の情報を受信し、バッファメモリに格納する。
In response to the auxiliary information transmission instruction, the next subtitle information (subtitle ID = PN03, program ID = xx11, output location = t (3), subtitle content = “ccc... When the information is transmitted, the auxiliary
なお、サーバ３では、補助情報送信指示受信部３０２が補助情報送信指示を受信すると、その補助情報送信指示に含まれる字幕ＩＤ「ＰＮ０２」の次の字幕ＩＤ「ＰＮ０３」とその補助情報送信指示に含まれる番組ＩＤ「ｘｘ１１」とを用いて補助情報格納部３０１を検索し、字幕ＩＤ「ＰＮ０３」と番組ＩＤ「ｘｘ１１」とに対応する字幕の情報（字幕ＩＤ＝ＰＮ０３、番組ＩＤ＝ｘｘ１１、出力箇所＝ｔ(3)、字幕内容＝「ｃｃｃ・・・・。」の情報）を補助情報格納部３０１から読み出す。そして、補助情報送信部３０４がその字幕の情報を番組出力装置２に送信する。
In the
以下、補助情報送信指示部２０２と補助情報取得部２０３は、字幕の情報を受信する毎に、番組識別情報に格納された番組ＩＤと直前に取得した字幕の情報に含まれる字幕ＩＤとを有する補助情報送信指示をサーバ３に送信し、サーバ３から番組ＩＤ「ｘｘ１１」を有する、字幕ＩＤ「ＰＮ０３」、「ＰＮ０４」、…「ＰＮ５０」の字幕の情報を順番に取得し、バッファメモリに格納する。
Hereinafter, every time subtitle information is received, the auxiliary information
出力部２０４は、時刻Ｔａから番組受信部２０１が受信する番組の映像と音声の出力を開始すると、バッファメモリに格納される１以上の字幕の情報の中で現在時刻が出力箇所に一致する字幕の情報が存在するか否かを監視する。
The
出力部２０４は、例えば、現在出力している映像のフレーム番号もしくはフレームＩＤに基づいて、番組の放映開始からの経過時刻を求め、その経過時刻が字幕ＩＤ「ＰＮ０２」の字幕の出力箇所ｔ(2)に一致する時刻になると、バッファメモリから字幕ＩＤ「ＰＮ０２」の字幕内容「ｂｂｂ・・・・、」を読み出して予め設定された出力態様で出力する。
For example, the
出力部２０４は、例えば、スーパーインポーズなどの出力技術を用いて、図１１に示すように、番組のシーンＳ(2)の映像が出力されているディスプレイに当該映像に重畳して出力する。出力部２０４は、番組のシーンＳ(2)の映像の出力が終了すると、字幕ＩＤ「ＰＮ０２」の字幕内容「ｂｂｂ・・・・、」の出力処理を終了する。
The
出力部２０４は、その後も同様の処理を行い、番組の放映開始からの経過時刻がｔ(3)、…ｔ(50)になる毎に、バッファメモリから字幕ＩＤ「ＰＮ０３」、…「ＰＮ５０」の字幕内容「ｃｃｃ・・・・、」、…「ｄｄｄ・・・・。」を順次、読み出して、図１１に示す出力態様で各字幕内容を出力する。
The
上記の具体例では、２回目以降の補助情報送信指示に補助情報識別子を付加して送信しているが、補助情報識別子に代えて直前に取得した補助情報の箇所情報を付加して送信しても良い。 In the above specific example, the auxiliary information identifier is added to the second and subsequent auxiliary information transmission instructions and transmitted, but the auxiliary information portion information acquired immediately before is added and transmitted instead of the auxiliary information identifier. Also good.
また、上記の具体例では、番組ＩＤ「ｘｘ１１」に対応する字幕ＩＤ「ＰＮ０２」，「ＰＮ０３」，…「ＰＮ５０」の字幕の情報をサーバ３から字幕ＩＤの順番で逐次取得しているが、これらの字幕の情報を最初に取得するときに一括してサーバ３から取得するようにしてもよい。すなわち、サーバ３で、補助情報送信指示受信部３０２が番組ＩＤ「ｘｘ１１」を有する補助情報送信支持を受信すると、補助情報処理部３０３が補助情報格納部３０１を検索して番組ＩＤ「ｘｘ１１」を有する全ての字幕の情報（字幕ＩＤ「ＰＮ０１」、「ＰＮ０２」、…「ＰＮ５０」を有する字幕の情報）を読み出し、これらの字幕の情報を番組出力装置２に送信するようにしても良い。
In the above specific example, the caption information of the caption IDs “PN02”, “PN03”,... “PN50” corresponding to the program ID “xx11” is sequentially acquired from the
また、上記の具体例では、字幕ＩＤ「ＰＮ０２」、「ＰＮ０３」、…「ＰＮ５０」の字幕の情報を番組内の各字幕の出力時刻ｔ(2)、ｔ(3)、…ｔ(50)よりも前に予め取得しておき、番組の放映シーンが出力時刻ｔ(2)、ｔ(3)、…ｔ(50)になったときに、字幕ＩＤ「ＰＮ０２」、「ＰＮ０３」、…「ＰＮ５０」の字幕内容を出力させる構成だったが、番組の放映シーンが出力時刻ｔ(2)、ｔ(3)、…ｔ(50)になる毎に、補助情報送信指示部２０２が番組ＩＤを有する補助情報送信指示をサーバ３に送信して当該番組ＩＤと当該出力時刻とに対応する字幕の情報をサーバ３から取得し、その字幕の情報に含まれる字幕内容を出力部２０４が直ちに出力させるようにしてもよい。
In the above specific example, the subtitle information of the subtitle IDs “PN02”, “PN03”,... “PN50” is output from the output times t (2), t (3),. Is obtained in advance, and the subtitle IDs “PN02”, “PN03”,... When the broadcast scene of the program reaches the output time t (2), t (3),. The subtitle content of “PN50” is output, but the auxiliary information
また、上記の具体例は、字幕ＩＤ「ＰＮ０１」、「ＰＮ０２」、…「ＰＮ５０」の字幕内容を番組内の指定された出力箇所で離散的に出力させる場合であったが、複数個の字幕内容を番組に同期させて連続して出力させる場合は、字幕の情報の取得と出力の処理を図１０に示すように行うと良い。 In the above specific example, the subtitle contents of the subtitle IDs “PN01”, “PN02”,... “PN50” are discretely output at designated output locations in the program. When the contents are continuously output in synchronism with the program, it is preferable to perform acquisition and output processing of subtitle information as shown in FIG.
図１０の例では、番組受信部２０１が番組の受信を開始すると、補助情報送信指示部２０２と補助情報取得部２０３は、番組ＩＤ「ｘｘ１１」を有する補助情報送信指示、または番組ＩＤ「ｘｘ１１」と字幕ＩＤ若しくは番組ＩＤ「ｘｘ１１」と字幕ＩＤを有する補助情報送信指示をサーバ３に送信して当該サーバ３から受信時刻Ｔａから出力すべき字幕ＩＤ「ＰＮ０２」、「ＰＮ０３」、…「ＰＮ５０」を有する字幕の情報を順番に取得する。一方、出力部２０４は、補助情報取得部２０３が字幕ＩＤ「ＰＮ０２」、「ＰＮ０３」、…「ＰＮ５０」を有する字幕の情報を取得する毎に、各字幕の情報に含まれる字幕内容を、例えば、図１１の出力態様で直ちに出力させる。これより、字幕ＩＤ「ＰＮ０２」、「ＰＮ０３」、…「ＰＮ５０」を有する一連の字幕を番組名「ＡＡＡ」の番組に同期させて出力させることができる。
In the example of FIG. 10, when the
なお、図１０において、時刻Ｔｂは、番組名「ＡＡＡ」の番組が終了し、番組名「ＢＢＢ」の番組が開始された時刻である。番組受信部２０１が受信する番組は、時刻Ｔｂで番組名「ＢＢＢ」の番組に切り替わるので、その番組を復調して得られる番組ＩＤは、番組名「ＡＡＡ」の番組ＩＤ「ｘｘ１１」から番組名「ＢＢＢ」の番組ＩＤ「ｘｘ１２」に切り替わることになる。
In FIG. 10, the time Tb is the time when the program with the program name “AAA” ends and the program with the program name “BBB” starts. Program
従って、時刻Ｔｂ以降では、補助情報送信指示部２０２と補助情報取得部２０３は、番組ＩＤ「ｘｘ１２」を有する補助情報送信指示、または番組ＩＤ「ｘｘ１２」と字幕ＩＤ若しくは番組ＩＤ「ｘｘ１２」と出力箇所を有する補助情報送信指示をサーバ３に送信して当該サーバ３から字幕ＩＤ「ＰＮ５１」、「ＰＮ５２」、…の字幕の情報（図８参照）を順次、取得し、出力することになる。
Therefore, the time T b after the auxiliary information
また、上記の具体例では、字幕を例に説明したが、手話映像や絵文字や補助音声等の補助情報についても同様の出力制御を行うことによって、番組のシーンに対応付けて（同期させて）１以上の補助情報を出力させることができる。 In the above specific example, subtitles have been described as an example, but auxiliary information such as sign language images, pictograms, and auxiliary sounds is also associated with (synchronized with) a program scene by performing similar output control. One or more auxiliary information can be output.
なお、手話映像の場合は、出力部２０４は、図１２に示すように、ディスプレイの画面の一部を手話映像用に分割し、その分割した部分に手話映像を出力する。また、絵文字の場合は、番組の映像と重畳して絵文字を出力するようにしてもよく、番組の映像と分離して絵文字を出力するようにしてもよい。上記の具体例では、同一の画面内に番組と補助情報を出力するようにしているが、図１３に示すように、番組出力装置２のディスプレイに番組を出力し、携帯端末などの他の装置の出力デバイスに補助情報を出力するようにしてもよい。
In the case of a sign language video, the
また、上記の具体例では、例えば、手話映像のディスプレイにおける表示位置を予め決められた位置（図１２の例では、画面の左下隅の位置）に固定しているが、番組受信部２０１が、番組と当該番組に対応付けられた補助情報の出力制御に関連する属性値とを受信し、その属性値に基づいて、番組に対応付けて出力させる補助情報の出力態様を変化させるようにしてもよい。 In the above specific example, for example, the display position of the sign language video display is fixed at a predetermined position (in the example of FIG. 12, the position of the lower left corner of the screen). An attribute value related to the output control of auxiliary information associated with the program and the program is received, and the output mode of auxiliary information to be output in association with the program is changed based on the attribute value. Good.
補助情報の出力制御に関連する属性値は、上述したように、例えば、補助情報の有無、番組のジャンル、補助情報の出力先などの補助情報の出力の制御に利用し得る情報である。 As described above, the attribute value related to the auxiliary information output control is information that can be used for controlling the output of auxiliary information such as the presence / absence of auxiliary information, the genre of the program, and the output destination of the auxiliary information.
補助情報の有無の情報は、番組にサーバから提供される補助情報があるか否かを示す情報である。この情報によって、番組出力装置２では、サーバ３にアクセスして補助情報を取得し、その補助情報を番組に対応付けて出力するか否かの制御を行うことができる。
The information on the presence / absence of auxiliary information is information indicating whether there is auxiliary information provided from the server in the program. With this information, the
また、番組のジャンルの情報は、ニュース、ドラマ、スポーツなどの番組の種別を示す情報である。例えば、番組の映像とともに手話映像を表示する場合は、番組映像は、番組の映像の主要な部分を隠さないように表示する必要がある。例えば、ニュース番組の画面構成は、通常、アナウンサーがニュースを読み上げる画面構成となるから、手話映像は、アナウンサーやニュースに関する字幕、図形などを可級的に覆わない位置に表示させることが好ましい。また、スポーツ番組やドラマの画面構成は、通常、ドラマやスポーツの進行状況が画面全体に放映される画面構成となるから、手話映像は、ドラマやスポーツの映像が表示される画面とは異なる画面に表示させることが好ましい。 The program genre information is information indicating the type of program such as news, drama, and sports. For example, when a sign language image is displayed together with a program image, the program image needs to be displayed so as not to hide the main part of the program image. For example, since the screen structure of a news program is usually a screen structure in which an announcer reads news, it is preferable to display a sign language image at a position that does not cover subtitles, graphics and the like related to the announcer and news. In addition, since the screen structure of sports programs and dramas is usually a screen structure in which the progress of dramas and sports is broadcast on the entire screen, sign language images are different from the screens on which dramas and sports images are displayed. Is preferably displayed.
このように、番組のジャンルによって、字幕や手話映像などの補助情報を番組の映像とともに出力する場合の適切な出力態様が異なる。同様に補助音声などの補助情報を番組の音声とともに出力する場合でも、番組のジャンルによって適切な出力態様が異なる。このため、属性値に番組のジャンルの情報を設けることにより、番組出力装置２で、サーバ３から取得した補助情報を番組に対応付けて出力する際、番組のジャンルに応じた適切な出力態様で出力させる制御を行うことができる。
As described above, an appropriate output mode when auxiliary information such as subtitles and sign language video is output together with the video of the program differs depending on the genre of the program. Similarly, even when auxiliary information such as auxiliary audio is output together with the audio of the program, an appropriate output mode varies depending on the genre of the program. For this reason, by providing information on the genre of the program in the attribute value, when the
補助情報の出力先の情報は、例えば、補助情報を番組出力装置２の出力デバイスで出力させるか、番組出力装置２以外の携帯端末などの装置の出力デバイスで出力させるかを指定する情報である。この場合は、補助情報を出力させる装置を視聴者が設定できるようにするとよい。
The output information of the auxiliary information is, for example, information that specifies whether the auxiliary information is output by the output device of the
属性値に補助情報の出力先の情報を設けることにより、番組出力装置２では、出力先が番組出力装置２に設定されている場合は、番組出力装置２の出力デバイスで補助情報を番組とともに出力させ、出力先が番組出力装置２以外の装置（例えば、視聴者の携帯端末）に設定されている場合は、番組を番組出力装置２の出力デバイスで出力させ、補助情報を番組出力装置２以外の装置の出力デバイスで出力させる制御を行うことができる。
By providing information on the output destination of auxiliary information in the attribute value, the
例えば、番組のジャンルによって補助情報の出力態様を異ならせる制御を行う場合の具体例としては、以下のように構成するとよい。 For example, as a specific example in the case of performing control for changing the output mode of the auxiliary information depending on the genre of the program, the following configuration may be used.
番組出力装置２に、図１４に示す補助情報の表示位置を示す表示設定情報を予め設定し、所定の格納部に格納しておく。表示設定情報は、手話映像の画面の左上の位置を示す位置情報と、手話映像の画面の幅及び高さを示す大きさ情報とを含んでいる。例えば、「ニュース」番組には、位置情報（ｘ１，ｙ１）、大きさ情報（Ｗ１，Ｈ１）を含む表示設定情報が対応付けられている。従って、ニュースの番組映像の場合には、手話映像の画面の左上が（ｘ１，ｙ１）の座標値となり、その手話映像の画面の幅がＷ１となり、高さがＨ１となるように手話映像が表示される。なお、この表示位置は、手話映像がニュース映像の主要な画像（例えば、アナウンサーや報道内容を補助するための字幕や画像など）を手話映像が可級的に覆わない位置である。
Display setting information indicating the display position of the auxiliary information shown in FIG. 14 is set in advance in the
番組受信部２０１が番組を受信すると、その番組を復調して番組のジャンルの属性値を取得する。出力部２０４は、取得した番組のジャンルの属性値を用いて図１４に示す表示設定情報のデータから当該属性値に対応する表示設定情報を取得する。例えば、番組のジャンルが「ニュース」の場合、位置情報（ｘ１，ｙ１）および大きさ情報（Ｗ１，Ｈ１）の情報を取得する。
When the
そして、出力部２０４は、番組出力装置２のディスプレイの画面に（ｘ１，ｙ１）の位置が左上の端点となり、幅がＷ１，高さがＨ１となる手話映像用の表示領域を設け、補助情報取得部２０６が取得した手話映像をその表示領域に表示する。出力部２０４は、ニュース番組の映像をディスプレイの画面全体に表示するので、手話映像は、例えば、図１５に示すように、画面左側のアナウンサーＰと右上側の報道内容を補助するための画像Ｇとに干渉しない位置（画像Ｇの下側の位置）に表示されることになる。
Then, the
上記の具体例は、ニュース番組の例であるが、スポーツ番組やドラマの場合もスポーツやドラマの映像の視聴を補助情報が可級的に邪魔しないように、補助情報の出力態様を制御することができる。 The above specific example is an example of a news program, but also in the case of a sports program or a drama, the output mode of auxiliary information is controlled so that the auxiliary information does not disturb the viewing of sports or drama video. Can do.
上記の具体例では、番組出力装置２が番組の受信を開始すると、当該番組に対応付けられた補助情報をサーバ３から取得するようにしているが、番組出力装置２の電源がＯＮになって番組の受信を開始すると、番組出力装置２が受信しているチャネル番号で受信可能な全ての番組に対応付けられた全ての補助情報を取得するようにしてもよい。或いはまた、全てのチャネルで放送される受信可能な番組に対応付けられた全ての補助情報を取得するようにしてもよい。このようにした場合、受信している番組が終了した後に続いて同一チャネルまたは他のチャネルの番組を受信する際に当該番組に対応付けられた補助情報を取得する処理が不要になる利点がある。
In the above specific example, when the
また、上記の具体例では、番組出力装置２がサーバ３から字幕情報だけを取得して、受信している番組に対応付けて出力する例を説明したが、番組出力装置２が受信している番組に字幕だけでなく、手話映像、絵文字、補助音声などの他の種類の補助情報が用意されている場合、それらの補助情報の取得処理も番組の受信開示時に行い、番組とともに字幕や手話映像などの複数の種類の補助情報を出力させるようにしてもよい。
Further, in the above specific example, the
この場合、１台のサーバ３が複数種類の補助情報を管理し、番組出力装置２は、受信している番組に対応付けられた複数種類の補助情報をサーバ３から取得するようにしてもよい。また、複数種類の補助情報を種類毎に異なるサーバで管理し、番組出力装置２は、受信している番組に対応付けられた複数種類の補助情報を各種類に対応した複数のサーバから取得するようにしてもよい。
In this case, one
例えば、補助情報を管理するサーバ３として、字幕を管理・提供するサーバ３Ａと、手話映像を管理・提供するサーバ３Ｂとが設けられている場合、番組出力装置２は、番組の受信を開始すると、当該番組の番組識別情報を取得した後、サーバ３Ａとサーバ３Ｂにアクセスして当該番組に対応付けられた字幕と手話映像を取得し、番組に対応付けて字幕と手話映像を出力するようにすればよい。なお、番組出力装置２がサーバ３Ａとサーバ３Ｂにアクセスする順番は問わない。
For example, when a server 3A that manages / provides subtitles and a server 3B that manages / provides sign language video are provided as the
以上、本実施の形態１によれば、受信した番組に含まれる番組識別情報を用いてサーバから当該番組識別情報に対応付けられている補助情報を取得し、受信している番組に対応付けて当該補助情報を出力させることができる。すなわち、番組を提供する番組提供者（放送局）と、補助情報を提供する補助情報提供者とによって、番組出力装置側で当該番組に補助情報を付加して視聴することができる番組システムを構築することができる。 As described above, according to the first embodiment, auxiliary information associated with the program identification information is acquired from the server using the program identification information included in the received program, and associated with the received program. The auxiliary information can be output. That is, a program system is constructed in which a program provider (broadcasting station) that provides a program and an auxiliary information provider that provides auxiliary information can add the auxiliary information to the program and view it on the program output side. can do.
従って、補助情報を視聴覚障害者や視聴覚能力が低下した高齢者等の視聴を補助する内容とすることによって、視聴覚障碍者等に対して番組の視聴を補助することができる。また、補助情報を番組の内容に関連した情報とすることによって、健常者にも番組の視聴を補助することができる。 Therefore, by making the auxiliary information content that assists viewing of a visually impaired person or an elderly person who has decreased ability of viewing and hearing, the viewing of the program can be assisted to a visually impaired person or the like. In addition, by setting the auxiliary information as information related to the contents of the program, it is possible to assist a healthy person in viewing the program.
また、本実施の形態１によれば、番組の属性値に応じて補助情報を異なる出力態様で出力させることができるで、視聴者は、例えば、番組のジャンルに応じて番組と補助情報の両方を好適に視聴することができる。 Further, according to the first embodiment, the auxiliary information can be output in different output modes according to the attribute value of the program. For example, the viewer can use both the program and the auxiliary information according to the genre of the program. Can be suitably viewed.
さらに、本実施の形態１の番組出力装置２、サーバ３における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。
Furthermore, the processing in the
本実施の形態１における番組出力装置２を実現するソフトウェアは、以下のようなプログラムである。
The software that realizes the
すなわち、番組識別情報に対応付いている１以上の補助情報を備えるサーバに通信可能に接続された番組出力装置を制御するコンピュータに実行させるプログラムであって、コンピュータを、番組と当該番組の番組識別情報を受信する受信部と、番組識別情報を有する補助情報送信指示を、サーバに送信する補助情報送信指示送信部と、補助情報送信指示の送信に応じて、当該補助情報送信指示が有する番組識別情報に対応する補助情報をサーバから受信する補助情報取得部と、受信部が受信した番組と補助情報取得部が受信した補助情報とを出力する出力部と、して機能させるためのプログラムである。 That is, a program for causing a computer that controls a program output device communicably connected to a server having at least one auxiliary information associated with program identification information to execute the computer, and identifying the program and the program identification of the program A receiving unit for receiving information, an auxiliary information transmission instruction having program identification information, an auxiliary information transmission instruction transmitting unit for transmitting to the server, and a program identification included in the auxiliary information transmission instruction in response to the transmission of the auxiliary information transmission instruction A program for functioning as an auxiliary information acquisition unit that receives auxiliary information corresponding to information from a server, and an output unit that outputs a program received by the reception unit and auxiliary information received by the auxiliary information acquisition unit .
また、本実施の形態１におけるサーバ３を実現するソフトウェアは、以下のようなプログラムである。
Moreover, the software which implement | achieves the
すなわち、記録媒体に、番組識別情報に対応付いている１以上の補助情報を格納しており、コンピュータを、番組出力装置から番組識別情報を有する補助情報送信指示を受信する補助情報送信指示受信部と、補助情報送信指示が有する番組識別情報に対応する補助情報を補助情報格納部から取得する補助情報処理部と、補助情報処理部が取得した補助情報を番組出力装置に送信する補助情報送信部と、して機能させるためのプログラムである。 That is, one or more auxiliary information associated with the program identification information is stored in the recording medium, and the computer receives an auxiliary information transmission instruction receiving unit that receives an auxiliary information transmission instruction having the program identification information from the program output device. An auxiliary information processing unit that acquires auxiliary information corresponding to the program identification information included in the auxiliary information transmission instruction from the auxiliary information storage unit, and an auxiliary information transmission unit that transmits the auxiliary information acquired by the auxiliary information processing unit to the program output device It is a program to make it function.
サーバ３を実現するための上記プログラムにおいて、補助情報送信指示は、番組識別情報と当該番組識別情報で識別される番組内の補助情報の出力箇所を示す箇所情報とを有し、記録媒体に格納された補助情報は、箇所情報と対応付いており、補助情報処理部は、補助情報送信指示が有する番組識別情報と箇所情報とに対応する補助情報を記録媒体から取得するとよい。
In the above program for realizing the
また、サーバ３を実現するための上記プログラムにおいて、補助情報送信部は、補助情報処理部が取得した補助情報と、当該補助情報を識別する補助情報識別子とを番組出力装置に送信し、補助情報受信部は、番組出力装置から番組識別情報と補助情報識別子とを有する補助情報送信指示を受信し、補助情報処理部は、補助情報送信指示が有する番組識別情報に対応する補助情報であって、補助情報識別子で識別される補助情報の次の補助情報を取得するとよい。
In the above program for realizing the
図１６は、上記プログラムを実行して、実施の形態１による番組出力装置２、サーバ３を実現するコンピュータの外観の一例を示す模式図である。実施の形態１は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
FIG. 16 is a schematic diagram illustrating an example of an external appearance of a computer that executes the program and realizes the
図１６において、コンピュータシステム９００は、ＣＤ−ＲＯＭドライブ９０５を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。
In FIG. 16, the
図１７は、コンピュータシステム９００の内部構成を示す図である。図１７において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮやＷＡＮ等への接続を提供する図示しないネットワークカードを含んでいてもよい。
FIG. 17 is a diagram showing an internal configuration of the
コンピュータシステム９００に、実施の形態１による番組出力装置２、サーバ３の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１に記憶されて、ＣＤ−ＲＯＭドライブ９０５に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１、またはネットワークから直接、ロードされてもよい。また、ＣＤ−ＲＯＭ９２１に代えて他の記録媒体（例えば、ＤＶＤ等）を介して、プログラムがコンピュータシステム９００に読み込まれてもよい。
A program that causes the
プログラムは、コンピュータ９０１に、実施の形態１による番組出力装置２、サーバ３の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
The program does not necessarily include an operating system (OS) or a third-party program that causes the
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。 In the above program, in a transmission step for transmitting information, a reception step for receiving information, etc., processing performed by hardware, for example, processing performed by a modem or an interface card in the transmission step (only performed by hardware). Not included) is not included.
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
また、上記実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。 In the above embodiment, it is needless to say that two or more communication means existing in one apparatus may be physically realized by one medium.
また、上記実施の形態１において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 In the first embodiment, each process (each function) may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.
以上のように、本発明に係る番組出力装置等は、番組出力装置で補助情報を取得し、受信している番組に対応付けて出力させることができるという優れた効果を有する。従って、視聴者に対して番組の視聴を補助することができる番組出力装置等として有用である。 As described above, the program output device and the like according to the present invention has an excellent effect that auxiliary information can be acquired by the program output device and output in association with the received program. Therefore, it is useful as a program output device or the like that can assist the viewer in viewing the program.
特に、補助情報を視聴覚障害者等の視聴を補助する内容とすることによって、視聴覚障害者等に対して番組の視聴を補助することができる番組出力装置等として有用である。 In particular, it is useful as a program output device or the like that can assist the viewing-and-hearing handicapped person or the like to view the program by making the auxiliary information content that assists the viewing and hearing handicapped or the like.
１ 番組システム
２ 番組出力装置
２０１ 番組受信部
２０２ 補助情報送信指示送信部
２０３ 補助情報取得部
２０４ 出力部
３ サーバ
３０１ 補助情報格納部
３０２ 補助情報送信指示受信部
３０３ 補助情報処理部
３０４ 補助情報送信部
４ インターネット回線網
９００ コンピュータシステム
９０１ コンピュータ
９０２ キーボード
９０３ マウス
９０４ モニタ
９１４ ハードディスク
９１５ バス
DESCRIPTION OF
Claims (11)
前記サーバは、
番組を識別する番組識別情報と当該番組識別情報で識別される番組内の箇所を示す箇所情報とに対応付いている１以上の補助情報を格納している補助情報格納部と、
前記番組出力装置から番組識別情報と箇所情報とを有する補助情報送信指示を受信する補助情報送信指示受信部と、
前記補助情報送信指示が有する番組識別情報と箇所情報とに対応する補助情報を前記補助情報格納部から取得する補助情報処理部と、
前記補助情報処理部が取得した補助情報を前記番組出力装置に送信する補助情報送信部とを具備し、
前記番組出力装置は、
番組と当該番組の番組識別情報とを受信する番組受信部と、
前記番組識別情報を有する補助情報送信指示を、前記サーバに送信する補助情報送信指示送信部と、
前記補助情報送信指示の送信に応じて、当該補助情報送信指示が有する番組識別情報に対応する補助情報を前記サーバから受信する補助情報取得部と、
前記番組受信部が受信した番組と前記補助情報取得部が受信した補助情報とを出力する出力部とを具備する番組システムを構成する番組出力装置。 A program output device constituting a program system comprising a server and a program output device,
The server
An auxiliary information storage unit that stores one or more auxiliary information associated with program identification information for identifying a program and location information indicating a location in the program identified by the program identification information ;
An auxiliary information transmission instruction receiving unit for receiving an auxiliary information transmission instruction having program identification information and location information from the program output device;
An auxiliary information processing unit that acquires auxiliary information corresponding to program identification information and location information included in the auxiliary information transmission instruction from the auxiliary information storage unit;
An auxiliary information transmitting unit for transmitting auxiliary information acquired by the auxiliary information processing unit to the program output device;
The program output device includes:
A program receiver that receives the program and program identification information of the program;
An auxiliary information transmission instruction transmitting unit that transmits the auxiliary information transmission instruction having the program identification information to the server;
An auxiliary information acquisition unit that receives, from the server, auxiliary information corresponding to program identification information included in the auxiliary information transmission instruction in response to transmission of the auxiliary information transmission instruction;
The program output apparatus which comprises the program system which comprises the output part which outputs the program which the said program receiving part received, and the auxiliary information which the said auxiliary information acquisition part received.
前記サーバは、
番組を識別する番組識別情報に対応付いている１以上の補助情報を格納している補助情報格納部と、
前記番組出力装置から番組識別情報と補助情報識別子とを有する補助情報送信指示を受信する補助情報送信指示受信部と、
前記補助情報送信指示が有する番組識別情報に対応する補助情報であって、前記補助情報識別子で識別される補助情報の次の補助情報を前記補助情報格納部から取得する補助情報処理部と、
前記補助情報処理部が取得した補助情報と、当該補助情報を識別する補助情報識別子とを前記番組出力装置に送信する補助情報送信部とを具備し、
前記番組出力装置は、
番組と当該番組の番組識別情報とを受信する番組受信部と、
前記番組識別情報と前記補助情報識別子とを有する補助情報送信指示を、前記サーバに送信する補助情報送信指示送信部と、
前記補助情報送信指示の送信に応じて、当該補助情報送信指示が有する番組識別情報に対応する補助情報を前記サーバから受信する補助情報取得部と、
前記番組受信部が受信した番組と前記補助情報取得部が受信した補助情報とを出力する出力部とを具備する番組システムを構成する番組出力装置。 A program output device constituting a program system comprising a server and a program output device,
The server
An auxiliary information storage unit storing one or more auxiliary information associated with program identification information for identifying a program;
An auxiliary information transmission instruction receiving unit for receiving an auxiliary information transmission instruction having program identification information and an auxiliary information identifier from the program output device ;
An auxiliary information processing unit that acquires auxiliary information next to the auxiliary information identified by the auxiliary information identifier, which is auxiliary information corresponding to program identification information included in the auxiliary information transmission instruction;
An auxiliary information transmitting unit that transmits auxiliary information acquired by the auxiliary information processing unit and an auxiliary information identifier for identifying the auxiliary information to the program output device;
The program output device includes:
A program receiver that receives the program and program identification information of the program;
An auxiliary information transmission instruction transmission unit that transmits an auxiliary information transmission instruction having the program identification information and the auxiliary information identifier to the server;
An auxiliary information acquisition unit that receives, from the server, auxiliary information corresponding to program identification information included in the auxiliary information transmission instruction in response to transmission of the auxiliary information transmission instruction;
The program output apparatus which comprises the program system which comprises the output part which outputs the program which the said program receiving part received, and the auxiliary information which the said auxiliary information acquisition part received.
番組と番組識別情報と当該番組の属性値とを受信し、
前記出力部は、
前記属性値に応じて、前記補助情報の出力態様が異なるように前記補助情報を出力する請求項１または請求項２記載の番組出力装置。 The program receiving unit
Receiving the program, the program identification information and the attribute value of the program,
The output unit is
Wherein in accordance with an attribute value, the output mode of the auxiliary information to output the auxiliary information differently according to claim 1 or claim 2 program output device according.
２以上のサーバを有し、
２以上の各サーバは、異なる種類の補助情報を格納しており、
前記補助情報送信指示送信部は、
２以上のサーバに前記補助情報送信指示を送信し、
前記補助情報取得部は、
２以上のサーバから異なる種類の補助情報を受信し、
前記出力部は、
前記番組受信部が受信した番組と前記補助情報取得部が受信した２種類以上の補助情報とを出力する請求項１から請求項３いずれか一項に記載の番組出力装置。 The program system includes:
Have two or more servers,
Each of the two or more servers stores different types of auxiliary information,
The auxiliary information transmission instruction transmission unit,
Transmitting the auxiliary information transmission instruction to two or more servers;
The auxiliary information acquisition unit
Receive different types of auxiliary information from two or more servers,
The output unit is
Program output device as claimed in any one claims 1 to 3, the program and the auxiliary information acquiring unit, wherein the program reception unit receives and outputs the two or more types of auxiliary information received.
前記番組に対応する字幕、手話映像、絵文字、補助音声のうちの１以上の情報である請求項１から請求項４いずれか一項に記載の番組出力装置。 The auxiliary information is
The program output device according to any one of claims 1 to 4 , wherein the program output device is one or more pieces of information of subtitles, sign language images, pictographs, and auxiliary sounds corresponding to the programs.
番組を受信し、出力する番組出力装置から番組識別情報と箇所情報とを有する補助情報送信指示を受信する補助情報送信指示受信部と、An auxiliary information transmission instruction receiving unit that receives an auxiliary information transmission instruction having program identification information and location information from a program output device that receives and outputs a program;
前記補助情報送信指示が有する番組識別情報と箇所情報とに対応する補助情報を前記補助情報格納部から取得する補助情報処理部と、An auxiliary information processing unit that acquires auxiliary information corresponding to program identification information and location information included in the auxiliary information transmission instruction from the auxiliary information storage unit;
前記補助情報処理部が取得した補助情報を前記番組出力装置に送信する補助情報送信部とを具備するサーバ。A server comprising: an auxiliary information transmitting unit that transmits auxiliary information acquired by the auxiliary information processing unit to the program output device.
番組出力装置から番組識別情報と補助情報識別子とを有する補助情報送信指示を受信する補助情報送信指示受信部と、
前記補助情報送信指示が有する番組識別情報に対応する補助情報であって、前記補助情報識別子で識別される補助情報の次の補助情報を前記補助情報格納部から取得する補助情報処理部と、
前記補助情報処理部が取得した補助情報と、当該補助情報を識別する補助情報識別子とを前記番組出力装置に送信する補助情報送信部と、を具備するサーバ。 An auxiliary information storage unit storing one or more auxiliary information associated with program identification information for identifying a program;
An auxiliary information transmission instruction receiving unit for receiving an auxiliary information transmission instruction having program identification information and an auxiliary information identifier from the program output device;
An auxiliary information processing unit that acquires auxiliary information next to the auxiliary information identified by the auxiliary information identifier, which is auxiliary information corresponding to program identification information included in the auxiliary information transmission instruction;
A server comprising: an auxiliary information transmitting unit configured to transmit auxiliary information acquired by the auxiliary information processing unit and an auxiliary information identifier for identifying the auxiliary information to the program output device.
前記補助情報送信指示受信部が、番組を受信し、出力する番組出力装置から番組識別情報と箇所情報とを有する補助情報送信指示を受信する補助情報送信指示受信ステップと、The auxiliary information transmission instruction receiving unit receives an auxiliary information transmission instruction having program identification information and location information from a program output device that receives and outputs a program; and
前記補助情報処理部が、前記補助情報送信指示が有する番組識別情報と箇所情報とに対応する補助情報を前記補助情報格納部から取得する補助情報処理ステップと、An auxiliary information processing step in which the auxiliary information processing unit acquires auxiliary information corresponding to program identification information and location information included in the auxiliary information transmission instruction from the auxiliary information storage unit;
前記補助情報送信部が、前記補助情報処理ステップで取得された補助情報を前記番組出力装置に送信する補助情報送信ステップとを具備する情報処理方法。An information processing method comprising: an auxiliary information transmitting step in which the auxiliary information transmitting unit transmits auxiliary information acquired in the auxiliary information processing step to the program output device.
前記補助情報送信指示受信部が、番組出力装置から番組識別情報と補助情報識別子とを有する補助情報送信指示を受信する補助情報送信指示受信ステップと、The auxiliary information transmission instruction receiving unit receiving an auxiliary information transmission instruction having program identification information and an auxiliary information identifier from the program output device;
前記補助情報処理部が、前記補助情報送信指示が有する番組識別情報に対応する補助情報であって、前記補助情報識別子で識別される補助情報の次の補助情報を前記補助情報格納部から取得する補助情報処理ステップと、The auxiliary information processing unit acquires auxiliary information next to auxiliary information identified by the auxiliary information identifier, which is auxiliary information corresponding to program identification information included in the auxiliary information transmission instruction, from the auxiliary information storage unit. An auxiliary information processing step;
前記補助情報送信部が、前記補助情報処理ステップで取得された補助情報と、当該補助情報を識別する補助情報識別子とを前記番組出力装置に送信する補助情報送信ステップとを具備する情報処理方法。An information processing method comprising: an auxiliary information transmitting step in which the auxiliary information transmitting unit transmits auxiliary information acquired in the auxiliary information processing step and an auxiliary information identifier for identifying the auxiliary information to the program output device.
番組を受信し、出力する番組出力装置から番組識別情報と箇所情報とを有する補助情報送信指示を受信する補助情報送信指示受信部と、An auxiliary information transmission instruction receiving unit that receives an auxiliary information transmission instruction having program identification information and location information from a program output device that receives and outputs a program;
前記補助情報送信指示が有する番組識別情報と箇所情報とに対応する補助情報を前記補助情報格納部から取得する補助情報処理部と、An auxiliary information processing unit that acquires auxiliary information corresponding to program identification information and location information included in the auxiliary information transmission instruction from the auxiliary information storage unit;
前記補助情報処理部が取得した補助情報を前記番組出力装置に送信する補助情報送信部として機能させるためのプログラム。The program for functioning as an auxiliary information transmission part which transmits the auxiliary information which the said auxiliary information processing part acquired to the said program output device.
番組出力装置から番組識別情報と補助情報識別子とを有する補助情報送信指示を受信する補助情報送信指示受信部と、An auxiliary information transmission instruction receiving unit for receiving an auxiliary information transmission instruction having program identification information and an auxiliary information identifier from the program output device;
前記補助情報送信指示が有する番組識別情報に対応する補助情報であって、前記補助情報識別子で識別される補助情報の次の補助情報を前記補助情報格納部から取得する補助情報処理部と、An auxiliary information processing unit that acquires auxiliary information next to the auxiliary information identified by the auxiliary information identifier, which is auxiliary information corresponding to program identification information included in the auxiliary information transmission instruction;
前記補助情報処理部が取得した補助情報と、当該補助情報を識別する補助情報識別子とを前記番組出力装置に送信する補助情報送信部として機能させるためのプログラム。The program for functioning as an auxiliary information transmission part which transmits the auxiliary information which the said auxiliary information processing part acquired, and the auxiliary information identifier which identifies the said auxiliary information to the said program output device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014231437A JP6386886B2 (en) | 2014-11-14 | 2014-11-14 | Program output device, server, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014231437A JP6386886B2 (en) | 2014-11-14 | 2014-11-14 | Program output device, server, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016096451A JP2016096451A (en) | 2016-05-26 |
| JP6386886B2 true JP6386886B2 (en) | 2018-09-05 |
Family
ID=56072011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014231437A Expired - Fee Related JP6386886B2 (en) | 2014-11-14 | 2014-11-14 | Program output device, server, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6386886B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5346797B2 (en) * | 2009-12-25 | 2013-11-20 | 株式会社アステム | Sign language video synthesizing device, sign language video synthesizing method, sign language display position setting device, sign language display position setting method, and program |
| JP2012015958A (en) * | 2010-07-05 | 2012-01-19 | I-O Data Device Inc | Content reproduction system |
| US20150113558A1 (en) * | 2012-03-14 | 2015-04-23 | Panasonic Corporation | Receiver apparatus, broadcast/communication-cooperation system, and broadcast/communication-cooperation method |
| JP6131053B2 (en) * | 2013-01-21 | 2017-05-17 | Kddi株式会社 | Information playback terminal |
-
2014
- 2014-11-14 JP JP2014231437A patent/JP6386886B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016096451A (en) | 2016-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160066055A1 (en) | Method and system for automatically adding subtitles to streaming media content | |
| KR102156467B1 (en) | Method and apparatus for synchronizing playbacks at two electronic devices | |
| EP2665290A1 (en) | Simultaneous display of a reference video and the corresponding video capturing the viewer/sportsperson in front of said video display | |
| WO2021205742A1 (en) | Information processing device, information processing method, and computer program | |
| JP6379362B2 (en) | Video receiving apparatus, parameter setting method, and additional information display system | |
| KR101789221B1 (en) | Device and method for providing moving picture, and computer program for executing the method | |
| JP2010157906A (en) | Video display device | |
| JP6043767B2 (en) | Program output device, auxiliary information management server, program and auxiliary information output method, and program | |
| JP2005124169A (en) | Video image contents forming apparatus with balloon title, transmitting apparatus, reproducing apparatus, provisioning system, and data structure and record medium used therein | |
| WO2013031658A1 (en) | Display device, reception device, display method, television receiver, display system, program and recording medium | |
| JP6386933B2 (en) | Program output device, program and auxiliary information output method, and program | |
| JP6386886B2 (en) | Program output device, server, information processing method, and program | |
| JP6212719B2 (en) | Video receiving apparatus, information display method, and video receiving system | |
| WO2014148190A1 (en) | Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium | |
| JP2009218741A (en) | Content display, content display method, program and recording medium | |
| JP2015018079A (en) | Subtitle voice generation apparatus | |
| JP2008294722A (en) | Motion picture reproducing apparatus and motion picture reproducing method | |
| JP2009260685A (en) | Broadcast receiver | |
| JP2006279294A (en) | Content reproduction system, content reproduction method, and computer program | |
| JP2008053991A (en) | Digital broadcast receiver | |
| JP6612028B2 (en) | Program system, information processing method, and program | |
| JP2015222865A (en) | Mobile terminal, associative data presentation method and program | |
| JP2019169928A (en) | Subtitle generation device and subtitle generation program | |
| JP2017055410A (en) | Program output device, program management server, auxiliary information management server, output method for program and auxiliary information, and program | |
| JP2013176105A (en) | Display device, reception device, display method, television receiver, display system, program and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180810 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6386886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |