JP2010034800A - 手話通訳システム、放送装置、手話通訳装置、放送受信装置、放送方法、放送受信方法、及びプログラム - Google Patents

Abstract

【課題】ネットワーク上で手話通訳を行うと共に、放送番組と手話映像を一の放送受信装置で受信することができる手話通訳システムを提供する。
【解決手段】手話通訳システムは、放送装置１と手話通訳装置２と放送受信装置３を備える。放送装置１は、放送番組情報を放送すると共に、手話通訳装置２から受信した、放送番組情報に対応する手話映像情報をも放送する。手話通訳装置２は、放送された放送番組情報を受信して出力すると共に、その放送番組情報に対応する手話映像情報を受け付けて放送装置１に送信する。放送受信装置３は、放送された放送番組情報と手話映像情報を受信して出力する。また、放送装置１は、放送番組情報と手話映像情報を同期させるための遅延時間情報も送信する。放送受信装置３は、その遅延時間情報を用いて両情報の出力タイミングを同期させる。
【選択図】図１

Description

本発明は、放送番組情報を放送すると共に、その放送番組情報に対応する手話の映像を示す手話映像情報をも放送する手話通訳システム等に関する。

従来、放送局において手話映像の挿入された放送番組を放送することがあった。しかし、そのような番組は限定されており、聴覚障害者が任意の放送番組について手話映像を得ることはできなかった。全ての放送番組について手話映像を挿入するとなると、手話通訳者が放送局等に出向いていく必要があり、手話通訳者の負担が大きくなるという問題もあった。そのため、ネットワーク上で手話通訳を行うことによって、放送番組に関する手話映像を提供するシステムが開発されている（例えば、特許文献１参照）。
特開２００２−１６９９８８号公報

しかしながら、上記特許文献１記載の手話通訳システムにおいては、例えば、聴覚障害者が放送番組と、その放送番組に対応した手話映像とを見る場合に、放送番組を受信する装置（例えば、テレビ受像器など）と、手話映像を受信するネットワークに接続された装置（例えば、パソコンなど）とを用意しなければならず、聴覚障害者に煩雑な作業を課すことになっていた。特に、他人の家で放送番組を見る場合や、屋外で放送番組を見る場合には、そのような環境を設定することが非常に困難であることが多かった。

また、放送番組を受信する装置と、手話映像を受信する装置とを横に並べて設置したとしても、両装置の映像を一目で見ることは非常に困難であり、放送番組の映像を見ている場合には手話映像を見ることができず、手話映像を見ている場合には放送番組の映像を見ることができないようになることが多かった。

本発明は、上記問題点を解決するためになされたものであり、ネットワーク上で手話通訳を行うことができると共に、放送番組と、その放送番組に対応する手話映像とを一の放送受信装置で受信することができるようにする手話通訳システム等を提供することを目的とする。

上記目的を達成するため、本発明による手話通訳システムは、放送装置と、手話通訳装置とを備えた手話通訳システムであって、前記放送装置は、前記手話通訳装置から送信された、手話の映像を示す情報である手話映像情報を受信する手話映像情報受信部と、放送する番組を示す情報である放送番組情報が記憶される放送番組情報記憶部と、前記放送番組情報記憶部が記憶している放送番組情報を放送すると共に、前記手話映像情報受信部が受信した手話映像情報をも放送する放送部と、を備え、前記手話通訳装置は、前記放送装置が放送した放送番組情報を受信する放送番組情報受信部と、前記放送番組情報受信部が受信した放送番組情報の映像音声を出力する映像音声出力部と、前記映像音声出力部が出力した映像音声に対応する手話の映像を示す情報である手話映像情報を受け付ける手話映像情報受付部と、前記手話映像情報受付部が受け付けた手話映像情報を前記放送装置に送信する手話映像情報送信部と、を備えたものである。

このような構成により、ネットワーク上で手話通訳を行うことができると共に、一の放送受信装置で、放送番組情報と手話映像情報とを受信することができるようになる。したがって、聴覚障害者は、放送番組情報を受信する装置と、手話映像情報を受信する装置との２台の装置を用意することなく、１台の装置で両情報の映像を見ることができるようになる。また、例えば、放送番組情報と手話映像情報とがそれぞれ１個のチャネルで放送される場合には、２個のチャネルの放送を同時受信可能であり、かつその２個のチャネルの映像を同時に出力可能な汎用の放送受信装置を用いることによって、放送番組情報と手話映像情報との両方を同時に見ることができる。

また、本発明による手話通訳システムでは、前記放送装置は、前記放送部が放送した放送番組情報に対して手話映像情報が遅延している時間を示す情報である遅延時間情報が記憶される遅延時間情報記憶部をさらに備え、前記放送部は、前記遅延時間情報をも放送してもよい。

このような構成により、遅延時間情報も放送されるため、放送番組情報や手話映像情報を受信する放送受信装置では、その遅延時間情報を用いて放送番組情報と手話映像情報とを同期させて出力することが可能となり、放送番組情報と手話映像情報を見る聴覚障害者の利便性を向上させることができる。

また、本発明による手話通訳システムでは、前記放送部は、前記手話映像情報に前記遅延時間情報を含めて放送してもよい。
このような構成により、遅延時間情報がどの手話映像情報に対応するものであるのかが容易に分かるようになる。

また、本発明による手話通訳システムでは、前記放送装置は、前記遅延時間情報を取得して前記遅延時間情報記憶部に蓄積する遅延時間情報取得部をさらに備えてもよい。
このような構成により、遅延時間情報を自動的に取得することができるようになる。また、例えば、定期的に遅延時間情報の取得を行うことなどによって、時間的に変化する遅延時間にも対応することができるようになりうる。

また、本発明による手話通訳システムでは、前記遅延時間情報取得部は、前記放送装置と前記手話通訳装置との間の情報の通信時間を測定し、当該通信時間と、あらかじめ保持している手話通訳時のずれ時間とを加算した時間を示す遅延時間情報を取得してもよい。
このような構成により、変化することが大きいと考えられる通信時間を測定することができ、時々の状況に応じた、より正確な遅延時間情報を取得することができうる。

また、本発明による手話通訳システムでは、前記放送部は、タイムコードを含む放送番組情報を放送し、前記手話映像情報送信部は、前記放送番組情報受信部が受信した放送番組情報に含まれる最新のタイムコードを含む手話映像情報を送信し、前記遅延時間情報取得部は、あるタイムコードを含む放送番組情報を前記放送部が放送した時点から、当該タイムコードを含む手話映像情報を前記手話映像情報受信部が受信した時点までの時間である通信時間を取得し、当該通信時間と、あらかじめ保持している手話通訳時のずれ時間とを加算した時間を示す遅延時間情報を取得してもよい。
このような構成により、タイムコードを用いて遅延時間情報を取得することができる。

また、本発明による手話通訳システムでは、前記遅延時間情報取得部は、前記放送部が放送した放送番組情報に含まれる音声の開始時点から、前記手話映像情報受信部が受信した手話映像情報の示す映像の手話の開始時点までの時間を示す遅延時間情報を取得してもよい。
このような構成により、手話通訳者が手話通訳を行う際に発生するタイムラグをも考慮した、より正確な遅延時間情報を取得することができうる。

また、本発明による手話通訳システムでは、放送受信装置をさらに備え、前記放送受信装置は、前記放送装置が放送した放送番組情報、手話映像情報及び遅延時間情報を受信する放送受信部と、前記放送受信部が受信した手話映像情報の映像と、前記放送受信部が受信した遅延時間情報の示す遅延時間だけ遅延させた前記放送番組情報の映像とを出力する出力部と、を備えてもよい。
このような構成により、放送受信装置において、遅延時間情報を用いて同期された放送番組情報と、手話映像情報とを出力することができるようになる。

本発明による手話通訳システム等によれば、ネットワーク上で手話通訳を行うことができると共に、放送番組と、その放送番組に対応する手話映像とを一の放送受信装置で受信することができるようにすることができる。

以下、本発明による手話通訳システムについて、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による手話通訳システムについて、図面を参照しながら説明する。本実施の形態による手話通訳システムは、ネットワーク上で手話通訳を行うことができると共に、放送装置から放送番組情報と、その放送番組情報に対応する手話の映像である手話映像情報とを放送するものである。

図１は、本実施の形態による手話通訳システムの構成を示すブロック図である。本実施の形態による手話通訳システムは、放送装置１と、手話通訳装置２と、放送受信装置３とを備える。手話通訳装置２及び放送受信装置３は、放送装置１が放送した情報を受信することができる。また、手話通訳装置２と放送装置１とは、有線または無線の通信回線５００で接続されているものとする。通信回線５００は、例えば、インターネットやイントラネット、公衆電話回線網等である。なお、図１では、手話通訳装置２、放送受信装置３が１個ずつ存在する場合について示しているが、手話通訳システムは、２以上の手話通訳装置２を備えていてもよく、また、２以上の放送受信装置３を備えていてもよいことは言うまでもない。例えば、２以上の手話通訳装置２を用いることによって、二人以上の手話通訳者によって交代で手話通訳を行うようにしてもよい。

図２は、本実施の形態による放送装置１の構成を示すブロック図である。図２において、本実施の形態による放送装置１は、放送番組情報記憶部１１と、放送部１２と、手話映像情報受信部１３と、遅延時間情報取得部１４と、遅延時間情報記憶部１５とを備える。

放送番組情報記憶部１１では、放送番組情報が記憶される。放送番組情報は、放送装置１が放送する番組を示す情報である。その放送番組情報は、例えば、ドラマの放送番組情報や、ニュースの放送番組情報、ドキュメンタリーの放送番組情報、スポーツの放送番組情報等であってもよく、そのジャンルは問わない。また、放送番組情報のデータ形式も問わない。例えば、放送番組情報は、アナログのデータであってもよく、デジタルのデータであってもよい。後者の場合に、放送番組情報の形式は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であってもよく、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）であってもよく、あるいは、その他の形式であってもよい。また、その放送番組情報が圧縮されている場合に、その圧縮形式も問わない。

放送番組情報記憶部１１に放送番組情報が記憶される過程は問わない。例えば、記録媒体を介して放送番組情報が放送番組情報記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された放送番組情報が放送番組情報記憶部１１で記憶されるようになってもよく、あるいは、カメラ等から入力された放送番組情報が放送番組情報記憶部１１で記憶されるようになってもよい。放送番組情報記憶部１１での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。放送番組情報記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

放送部１２は、放送番組情報記憶部１１が記憶している放送番組情報を放送する。この放送は、いわゆるテレビの放送と同様のものである。また、放送部１２は、後述する手話映像情報受信部１３が受信した手話映像情報をも放送する。手話映像情報については、後述する。また、放送部１２は、後述する遅延時間情報記憶部１５で記憶されている遅延時間情報をも放送してもよい。遅延時間情報については後述する。遅延時間情報をも放送する場合に、放送部１２は、手話映像情報に遅延時間情報を含めて放送してもよい。手話映像情報に遅延時間情報を含めるとは、手話映像情報と遅延時間情報とを一つのチャネルで送信することを意味している。したがって、例えば、手話映像情報のユーザ定義領域に遅延時間情報を含めることであってもよく、クローズドキャプションと同様に垂直帰線区間内に遅延時間情報を多重することであってもよい。また、放送部１２は、ＢＭＬ（Ｂｒｏａｄｃａｓｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）を用いて遅延時間情報を放送してもよい。放送部１２による放送は、例えば、地上波での放送であってもよく、衛星放送であってもよく、あるいは、ケーブルを介した有線放送であってもよい。また、放送部１２は、放送する放送番組情報のスケジュールを示す情報に応じて、適宜、放送番組情報を読み出して放送してもよい。

放送部１２は、放送を行うための有線または無線の放送デバイスを含んでもよく、あるいは含まなくてもよい。また、放送部１２は、ハードウェアによって実現されてもよく、あるいは放送デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

手話映像情報受信部１３は、後述する手話通訳装置２から送信された手話映像情報を、通信回線５００を介して受信する。この手話映像情報は、手話の映像を示す情報であり、後述するように、放送部１２が放送した放送番組情報に対応する手話の映像を示す情報である。手話映像情報の詳細については後述する。

なお、手話映像情報受信部１３は、受信を行うための有線または無線の受信デバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、手話映像情報受信部１３は、ハードウェアによって実現されてもよく、あるいは受信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

遅延時間情報取得部１４は、遅延時間情報を取得する。また、遅延時間情報取得部１４は、取得した遅延時間情報を遅延時間情報記憶部１５に蓄積する。遅延時間情報は、放送部１２が放送した放送番組情報に対して手話映像情報が遅延している時間を示す情報である。その詳細、及び遅延時間情報取得部１４が遅延時間情報を取得する方法については後述する。遅延時間情報を取得するとは、例えば、遅延時間情報を記録媒体に蓄積することであってもよい。その蓄積先の記録媒体は遅延時間情報記憶部１５であってもよい。また、遅延時間情報取得部１４は、例えば、手話通訳装置２ごとに遅延時間情報の取得を行ってもよく、放送番組情報ごとに遅延時間情報の取得を行ってもよく、所定の時間ごとに遅延時間情報の取得を行ってもよく、あるいは、その他のタイミングで遅延時間情報の取得を行ってもよい。

遅延時間情報記憶部１５では、遅延時間情報取得部１４が蓄積した遅延時間情報が記憶される。遅延時間情報記憶部１５での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。遅延時間情報記憶部１５は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

なお、放送番組情報記憶部１１と遅延時間情報記憶部１５とは、同一の記録媒体によって実現されてもよく、あるいは、別々の記録媒体によって実現されてもよい。前者の場合には、放送番組情報を記憶している領域が放送番組情報記憶部１１となり、遅延時間情報を記憶している領域が遅延時間情報記憶部１５となる。

図３は、本実施の形態による手話通訳装置２の構成を示すブロック図である。図３において、本実施の形態による手話通訳装置２は、放送番組情報受信部２１と、映像音声出力部２２と、手話映像情報受付部２３と、手話映像情報送信部２４とを備える。

放送番組情報受信部２１は、放送装置１が放送した放送番組情報を受信する。なお、放送番組情報受信部２１は、受信を行うための有線または無線の受信デバイスを含んでもよく、あるいは含まなくてもよい。また、放送番組情報受信部２１は、ハードウェアによって実現されてもよく、あるいは受信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

映像音声出力部２２は、放送番組情報受信部２１が受信した放送番組情報の映像音声を出力する。ここで、この出力は、例えば、放送番組情報の映像の表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示と、放送番組情報の音声のスピーカへの音声出力であってもよい。または、この出力は、例えば、映像音声の所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。ただし、これらの場合であっても、最終的には、映像が表示され、音声が音声出力されるものとする。なお、映像音声出力部２２は、出力を行うデバイス（例えば、表示デバイスやスピーカなど）を含んでもよく、あるいは含まなくてもよい。また、映像音声出力部２２は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

ここで、映像音声出力部２２が出力した映像音声は、手話通訳者によって視聴されることになる。そして、その手話通訳者は、その放送番組情報の手話通訳を行う。すなわち、その手話通訳者は、放送番組情報の映像音声に対応した手話を行い、その手話がカメラで撮影されるようにする。

手話映像情報受付部２３は、映像音声出力部２２が出力した映像音声に対応する手話の映像を示す情報である手話映像情報を受け付ける。この手話映像情報は、手話通訳者によって放送番組情報が手話通訳された手話の映像を示す情報である。また、放送番組情報と同様に、手話映像情報のデータ形式も問わない。例えば、手話映像情報は、アナログのデータであってもよく、デジタルのデータであってもよい。また、その手話映像情報が圧縮されている場合に、その圧縮形式も問わない。

手話映像情報受付部２３は、例えば、カメラから入力された手話映像情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された手話映像情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された手話映像情報を受け付けてもよい。なお、手話映像情報受付部２３は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、手話映像情報受付部２３は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

手話映像情報送信部２４は、手話映像情報受付部２３が受け付けた手話映像情報を放送装置１に通信回線５００を介して送信する。なお、手話映像情報送信部２４は、放送装置１に直接送信してもよく、あるいは、他のサーバ等を介して間接的に送信してもよい。また、手話映像情報送信部２４は、送信を行うための送信デバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、手話映像情報送信部２４は、ハードウェアによって実現されてもよく、あるいは送信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

図４は、本実施の形態による放送受信装置３の構成を示すブロック図である。図４において、本実施の形態による放送受信装置３は、放送受信部３１と、放送番組情報蓄積部３２と、放送番組情報記憶部３３と、出力部３４とを備える。なお、放送受信装置３は、例えば、テレビ受像器等に接続されるＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）であってもよく、そうでなくてもよい。

放送受信部３１は、放送装置１が放送した放送番組情報、手話映像情報及び遅延時間情報を受信する。放送受信部３１が受信する放送番組情報と、手話映像情報とは、前述のように、一般に別チャネルで送信されたものである。また、放送受信部３１が受信する遅延時間情報は、前述のように、手話映像情報に含まれているものであってもよく、あるいは、そうでなくてもよい。前者の場合には、放送受信部３１が手話映像情報を受信したことによって、遅延時間情報をも受信したことになる。また、放送受信装置３において、例えば、「手話ＯＮ」の設定がなされている場合には、放送受信部３１は、放送番組情報のチャネルを受信する際に、その放送番組情報に対応する手話映像情報のチャネルをも自動的に受信するようにしてもよい。放送番組情報のチャネルに対応する手話映像情報のチャネルは、ルールによって定められていてもよく（例えば、放送番組情報のチャネルに１を加算したチャネルが、その放送番組情報に対応する手話映像情報のチャネルであるなどのルールであってもよい）、あるいは、放送番組情報のチャネルと、手話映像情報のチャネルとを対応付ける情報が設定されていてもよい。

なお、放送受信部３１は、受信を行うための有線または無線の受信デバイスを含んでもよく、あるいは含まなくてもよい。また、放送受信部３１は、ハードウェアによって実現されてもよく、あるいは受信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

放送番組情報蓄積部３２は、放送受信部３１が受信した放送番組情報を放送番組情報記憶部３３に蓄積する。この放送番組情報の蓄積は、放送番組情報を、遅延時間情報の示す遅延時間だけ遅延させるためになされるものである。すなわち、放送番組情報は、放送受信装置３において、一時的にバッファリングされることになる。

放送番組情報記憶部３３では、放送番組情報が記憶される。この放送番組情報は、前述のように、放送番組情報蓄積部３２によって蓄積されるものである。なお、放送番組情報記憶部３３での記憶は、一般的にＲＡＭ等における一時的な記憶（バッファリング）であるが、長期的な記憶であってもよい。放送番組情報記憶部３３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。放送番組情報記憶部３３を用いた放送番組情報の記憶は、例えば、リングバッファを用いたバッファリングであってもよい。

出力部３４は、放送受信部３１が受信した手話映像情報の映像と、放送受信部３１が受信した遅延時間情報の示す遅延時間だけ遅延させた放送番組情報の映像とを出力する。出力部３４は、例えば、放送受信部３１が受信した手話映像情報をそのまま出力すると共に、放送受信部３１が受信した放送番組情報であって、放送番組情報記憶部３３に蓄積された放送番組情報を、遅延時間情報の示す遅延時間だけ遅延させて出力する。このようにして放送番組情報の出力を遅延させることによって、放送番組情報と手話映像情報とのタイムラグを吸収し、放送番組情報と手話映像情報とを同期させることができるようになる。なお、出力部３４は、放送受信部３１が受信した手話映像情報についても遅延させて出力してもよい。その場合には、その遅延と同じ時間だけ、放送受信部３１が受信した放送番組情報であって、放送番組情報記憶部３３に蓄積された放送番組情報をもさらに遅延させて出力してもよい。このように、放送番組情報が、手話映像情報に対して遅延時間情報の示す遅延時間だけ相対的に遅延されて出力されるのであれば、その遅延の方法は問わない。

また、手話映像情報についても遅延させる場合には、放送受信装置３は、手話映像情報を蓄積する図示しない手話映像情報蓄積部と、手話映像情報が蓄積される図示しない手話映像情報記憶部とをさらに備えてもよい。また、放送受信装置３は、放送受信部３１が受信した遅延時間情報を蓄積する図示しない遅延時間情報蓄積部と、遅延時間情報が蓄積される図示しない遅延時間情報記憶部とをさらに備え、出力部３４は、その遅延時間情報記憶部で記憶されている遅延時間情報を用いて放送番組情報と手話映像情報との同期を行ってもよい。

ここで、この出力は、例えば、放送番組情報の映像と手話映像情報の映像との表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示と、放送番組情報の音声のスピーカへの音声出力であってもよい。または、この出力は、例えば、映像音声の所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。ただし、これらの場合であっても、最終的には、映像が表示され、音声が音声出力されるものとする。なお、出力部３４は、出力を行うデバイス（例えば、表示デバイスやスピーカなど）を含んでもよく、あるいは含まなくてもよい。また、出力部３４は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。また、出力部３４の出力を聴覚障害者のみが見るなどの場合には、音声出力はなされなくてもよい。

また、放送番組情報と手話映像情報とが表示される場合に、一画面内において両者が横や縦、斜めなどに並べられて出力されてもよく、一方の画面内の一部に他方の画面が表示される形態で出力されてもよく、放送番組情報と手話映像情報とが表示される形態は問わない。

また、放送装置１、手話通訳装置２、放送受信装置３において、適宜、情報がデジタル化されても、アナログ化されてもよいことは言うまでもない。したがって、放送装置１、手話通訳装置２、放送受信装置３において、適宜必要な箇所に、情報をアナログ化するＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）や、情報をデジタル化するＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）が存在してもよい。

ここで、放送装置１の遅延時間情報取得部１４による遅延時間情報の取得について説明する。遅延時間情報の示す遅延時間は、通信に関する遅延時間（以下、「通信遅延時間」と呼ぶこともある）と、手話通訳時に放送番組情報の内容と手話の動作とがずれる時間であるずれ時間（以下、「手話遅延時間」と呼ぶこともある）とを加算した時間となる。通信遅延時間は、例えば、手話通訳装置２から放送装置１に手話映像情報が送信される際にかかる時間であってもよく、あるいは、放送装置１から手話通訳装置２に放送番組情報が放送される際にかかる時間と、手話通訳装置２から放送装置１に手話映像情報が送信される際にかかる時間とを加算した時間であってもよい。なお、手話遅延時間は、手話通訳者に依存することはあったとしても、だいたい一定の時間であると考えられる。一方、通信遅延時間は、通信回線５００の混雑の程度や、手話通訳装置２のネットワーク上の位置等に応じてある程度変化することもあると考えられる。したがって、遅延時間情報取得部１４は、通信遅延時間を測定し、その測定した通信遅延時間と、あらかじめ保持している手話遅延時間とを加算した時間を示す遅延時間情報を取得してもよい。また、遅延時間情報取得部１４は、通信遅延時間と、手話遅延時間とを加算した時間である遅延時間そのものを取得するようにしてもよい。この場合には、手話遅延時間をも考慮した遅延時間情報を取得することができる。以下、それらの各場合について、さらに詳細に説明する。

［通信時間を測定する場合］
遅延時間情報取得部１４は、放送装置１と手話通訳装置２との間の情報の通信時間である通信遅延時間を測定し、その通信遅延時間と、あらかじめ保持している手話通訳時のずれ時間である通訳遅延時間とを加算した時間を示す遅延時間情報を取得してもよい。あらかじめ保持している通訳遅延時間は、例えば、遅延時間情報取得部１４が図示しない記録媒体において保持していてもよく、あるいは、他の構成要素や他の装置において保持していてもよい。後者の場合には、遅延時間情報取得部１４は、その手話遅延時間を他の構成要素や他の装置から受け取って、遅延時間情報の取得に用いるものとする。

この場合に、遅延時間情報取得部１４が通信遅延時間を取得する方法としては、例えば、ｐｉｎｇ（ピング）を用いてもよい。すなわち、遅延時間情報取得部１４は、ｐｉｎｇのパケットの送信先を手話通訳装置２として送信し、往復の通信時間を測定することができる。したがって、そのｐｉｎｇで測定した往復の通信時間を半分にすることによって、通信遅延時間を取得することができる。なお、一般にｐｉｎｇの処理では、複数回のパケットの送信が行われるため、その複数回の往復の通信時間の平均を計算して、その平均値の半分を通信遅延時間としてもよい。また、プロトコルの都合上、はじめの１回目のパケットの送信時の往復の通信時間が他の場合に比べて遅くなる場合があるため、２回目以降のパケットを用いて測定された往復の通信時間を用いて通信遅延時間を算出するようにしてもよい。

なお、ここでは、通信時間を測定する場合としてｐｉｎｇを用いる場合について説明したが、これは一例であって、他の方法を用いて通信時間を測定してもよいことは言うまでもない。

［タイムコードを用いる場合］
この場合には、放送装置１の放送部１２によって、タイムコードを含む放送番組情報が放送されているものとする。また、手話通訳装置２の手話映像情報送信部２４は、放送番組情報受信部２１が受信した放送番組情報に含まれる最新のタイムコードを含む手話映像情報を放送装置１に送信するものとする。そして、放送装置１の遅延時間情報取得部１４は、あるタイムコードを含む放送番組情報を放送部１２が放送した時点から、そのタイムコードを含む手話映像情報受信部１３を手話映像情報受信部が受信した時点までの時間である通信遅延時間を取得し、その通信遅延時間と、あらかじめ保持している通訳遅延時間とを加算した時間を示す遅延時間情報を取得してもよい。あらかじめ保持している通訳遅延時間については、前述のように、例えば、図示しない記録媒体で保持されていてもよい。このようにすることで、放送装置１から手話通訳装置２に放送番組情報が放送される際にかかる時間と、手話通訳装置２から放送装置１に手話映像情報が送信される際にかかる時間とを加算した時間を測定することができるようになる。

例えば、一のタイムコードである「００（時）：００（分）：１２（秒）：０１（フレーム）」の付与された放送番組情報のフレームが放送部１２から放送された時点の時刻がＡであったとする。遅延時間情報取得部１４は、そのタイムコードと、そのタイムコードのフレームが放送された時刻とを対応付ける情報を一時的に記憶するものとする。また、そのフレームが放送番組情報受信部２１で受信されると、そのタイムコード「００：００：１２：０１」は手話映像情報送信部２４に渡され、手話映像情報送信部２４は、そのタイムコードを受け取った直後に送信する手話映像情報のフレームに、そのタイムコードを付与する。その手話映像情報のフレームは手話映像情報受信部１３で受信され、その手話映像情報のフレームに含まれるタイムコードは遅延時間情報取得部１４に渡される。遅延時間情報取得部１４は、タイムコード「００：００：１２：０１」を受け取ると、その受け取った時点の時刻Ｂと、そのタイムコードに対応付けて保持している時刻Ａとの間の時間を計算する。その計算した時間が、通信遅延時間となる。

［音声の開始時点と手話の開始時点とを用いる場合］
遅延時間情報取得部１４は、放送部１２が放送した放送番組情報に含まれる音声の開始時点から、手話映像情報受信部１３が受信した手話映像情報の示す映像の手話の開始時点までの時間を示す遅延時間情報を取得してもよい。この場合には、通信遅延時間と、手話遅延時間とを加算した時間である遅延時間そのものを取得することができる。

例えば、遅延時間情報取得部１４は、一の放送番組情報が開始された際に、その放送番組情報に含まれる音声の開始時点の時刻を取得する。この音声の開始時点とは、手話通訳者が手話通訳を行う対象となる発話に対応した音声（例えば、アナウンサーやナレーター、俳優等の発話など）である。したがって、音楽や効果音などのように手話通訳の対象とならない音の開始時点ではない。なお、非発話音と、発話音声とを区別する方法は、例えば、特開２００７−２６４５６７号公報などにおいて知られており、その詳細な説明を省略する。また、放送番組情報に含まれる音について音声認識処理を行い、辞書情報に含まれる有意な単語列に音声認識された場合には、発話音声であると判断し、そうでない場合には非発話音であると判断してもよい。また、遅延時間情報取得部１４は、その一の放送番組情報に対応する手話映像情報が手話映像情報受信部１３で受信されると、その手話映像情報の示す映像において手話が開始される時点の時刻を取得する。手話が開始される時点は、例えば、隣接するフレーム間での差異を検出し、その差異がしきい値以上であるとなった時点としてもよい。その差異の検出を、人物の領域に限定することができればより好適である。人物の領域を特定する方法としては、肌色検出の方法や、パターンマッチングによって人物の輪郭や顔の位置を検出する方法などを用いることができる。人物の少なくとも一部が特定された場合には、例えば、人物の少なくとも一部の特定された領域と、輪郭抽出の技術等を用いて、人物全体の領域を特定してもよい。遅延時間情報取得部１４は、放送番組に含まれる音声の開始時点の時刻と、手話映像情報における手話の開始時点の時刻とを取得すると、両時刻間の時間間隔を計算する。その計算した時間間隔を示す情報がそのまま遅延時間情報となる。

なお、遅延時間情報取得部１４が遅延時間情報を取得するいくつかの方法について簡単に説明したが、遅延時間情報を取得する方法はこれらに限定されるものではなく、別の方法を用いて遅延時間情報を取得してもよいことは言うまでもない。例えば、手話通訳装置２がｐｉｎｇ等を用いて手話通訳装置２と放送装置１との間の通信遅延時間を測定し、その通信遅延時間、あるいは、その通信遅延時間に手話遅延時間を加算した遅延時間情報そのものを放送装置１に送信し、遅延時間情報取得部１４は、その通信遅延時間、あるいは、遅延時間情報そのものを受信してもよい。前者の場合には、あらかじめ保持している通訳遅延時間を加算することによって遅延時間情報を得ることができる。

また、この遅延時間情報の取得は、繰り返して実行されてもよく、あるいは、１回だけ実行されてもよい。前者の場合には、繰り返し取得された遅延時間情報の最新の値が放送部１２によって放送されるようにしてもよい。後者の場合には、その１回で取得された遅延時間情報が放送受信装置３で繰り返して用いられることになる。なお、後者の場合に、その１回で取得された遅延時間情報が放送部１２によって繰り返し放送されてもよく、あるいは、１回だけ放送されてもよい。

次に、本実施の形態による手話通訳システムを構成する各装置の動作について、図５〜図７のフローチャートを用いて説明する。図５は、本実施の形態による放送装置１の動作を示すフローチャートである。このフローチャートにおいて、放送部１２は、遅延時間情報を手話映像情報に含めて送信するものとする。また、手話映像情報を送信する際に、遅延時間情報を取得するものとする。

（ステップＳ１０１）放送部１２は、放送番組情報を放送するかどうか判断する。そして、放送する場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０４に進む。

（ステップＳ１０２）放送部１２は、送信する放送番組情報のフレームを放送番組情報記憶部１１から読み出す。このフレームは、例えば、一のフレームであってもよく、連続する複数のフレームであってもよい。

（ステップＳ１０３）放送部１２は、読み出した一または複数のフレームを放送する。そして、ステップＳ１０１に戻る。

（ステップＳ１０４）手話映像情報受信部１３は、手話映像情報を受信したかどうか判断する。そして、受信した場合には、ステップＳ１０５に進み、そうでない場合には、ステップＳ１０１に戻る。なお、手話映像情報受信部１３は、手話映像情報を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。

（ステップＳ１０５）放送部１２は、遅延時間情報記憶部１５で遅延時間情報が記憶されているかどうか判断する。そして、記憶されている場合には、ステップＳ１０８に進み、記憶されていない場合には、遅延時間情報取得部１４に遅延時間情報を取得する旨の指示を渡してステップＳ１０６に進む。

（ステップＳ１０６）遅延時間情報取得部１４は、遅延時間情報を取得する。遅延時間情報取得部１４は、例えば、ｐｉｎｇ等を用いて手話通訳装置２から放送装置１までの通信時間を測定することによって、遅延時間情報を取得してもよい。

（ステップＳ１０７）遅延時間情報取得部１４は、取得した遅延時間情報を遅延時間情報記憶部１５に蓄積する。

（ステップＳ１０８）放送部１２は、遅延時間情報記憶部１５で記憶されている遅延時間情報を読み出す。

（ステップＳ１０９）放送部１２は、読み出した遅延時間情報を、手話映像情報受信部１３が受信した手話映像情報に含める。

（ステップＳ１１０）放送部１２は、遅延時間情報の含められた手話映像情報を放送する。そして、ステップＳ１０１に戻る。

なお、図５のフローチャートにおいて、ステップＳ１０１からＳ１０３までの処理と、ステップＳ１０４からＳ１１０までの処理は、並列して実行されるようにしてもよい。その場合には、放送番組情報の放送と、手話映像情報の放送とを並行して実行することができるようになる。例えば、それらの処理が別スレッドや別プロセスとして処理されてもよい。

また、図５のフローチャートにおいて、遅延時間情報記憶部１５において遅延時間情報が記憶されていない場合に遅延時間情報を取得する場合について説明したが、ステップＳ１０４からの処理が実行される前に、あらかじめ遅延時間情報を取得するようにしてもよい。また、前述の「音声の開始時点と手話の開始時点とを用いる場合」には、はじめの手話映像情報が受信された時点においてもまだ遅延時間情報を取得することができないことがあるが、その場合には、遅延時間情報が不明である旨の情報を手話映像情報に含めて送信してもよく、あるいは、デフォルトの遅延時間情報を手話映像情報に含めて送信してもよい。

また、図５のフローチャートでは、遅延時間情報が一度取得されると、それ以降は遅延時間情報の取得が行われないことになるが、定期的に遅延時間情報を取得して、最新の遅延時間情報が遅延時間情報記憶部１５で記憶されるようにしてもよい。そして、放送部１２は、最新の遅延時間情報を含む手話映像情報を送信してもよい。
また、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図６は、本実施の形態による手話通訳装置２の動作を示すフローチャートである。
（ステップＳ２０１）放送番組情報受信部２１は、放送番組情報を受信したかどうか判断する。そして、受信した場合には、ステップＳ２０２に進み、そうでない場合には、ステップＳ２０３に進む。なお、放送番組情報受信部２１は、放送番組情報を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。

（ステップＳ２０２）映像音声出力部２２は、放送番組情報受信部２１が受信した放送番組情報の映像音声を出力する。そして、ステップＳ２０１に戻る。なお、出力された放送番組情報の映像音声を視聴した手話通訳者によって、手話通訳が行われるものとする。

（ステップＳ２０３）手話映像情報受付部２３は、手話通訳者によって手話通訳された映像、すなわち、手話通訳者の映像を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ２０４に進み、そうでない場合には、ステップＳ２０１に戻る。なお、手話映像情報受付部２３は、手話映像情報を一フレームごとに受け付けてもよく、あるいは、連続する複数のフレームごとに受け付けてもよい。

（ステップＳ２０４）手話映像情報送信部２４は、手話映像情報受付部２３が受け付けた手話映像情報を放送装置１に送信する。そして、ステップＳ２０１に戻る。なお、手話映像情報送信部２４は、放送装置１のアドレスをあらかじめ図示しない記録媒体において保持していてもよく、手話映像情報の送信時に、放送装置１のアドレスを他の構成要素等から受け取ってもよく、あるいは、放送番組情報に放送装置１のアドレスが含まれており、そのアドレスを取得してもよい。

なお、図６のフローチャートにおいて、ステップＳ２０１からＳ２０２までの処理と、ステップＳ２０３からＳ２０４までの処理は、並列して実行されるようにしてもよい。その場合には、放送番組情報の受信と、手話映像情報の送信とを並行して実行することができるようになる。例えば、それらの処理が別スレッドや別プロセスとして処理されてもよい。

また、前述のように、タイムコードを用いて遅延時間情報を取得する場合には、放送番組情報に含まれるタイムコードの取得や、そのタイムコードを含む手話映像情報の送信等を行うようにしてもよい。
また、図６のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図７は、本実施の形態による放送受信装置３の動作を示すフローチャートである。
（ステップＳ３０１）放送受信部３１は、放送番組情報を受信したかどうか判断する。そして、受信した場合には、ステップＳ３０１に進み、そうでない場合には、ステップＳ３０３に進む。なお、放送受信部３１は、放送番組情報を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。

（ステップＳ３０２）放送番組情報蓄積部３２は、放送受信部３１の受信した放送番組情報を放送番組情報記憶部３３に蓄積する。そして、ステップＳ３０１に戻る。

（ステップＳ３０３）放送受信部３１は、手話映像情報を受信したかどうか判断する。そして、手話映像情報を受信した場合には、ステップＳ３０４に進み、そうでない場合には、ステップＳ３０１に戻る。なお、放送受信部３１は、手話映像情報を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。また、放送受信部３１は、放送番組情報と、手話映像情報とを、例えば、放送チャネルの違いによって判別することができうる。

（ステップＳ３０４）出力部３４は、放送受信部３１が受信した手話映像情報に含まれる遅延時間情報を取得する。

（ステップＳ３０５）出力部３４は、取得した遅延時間情報だけ前に受信された放送番組情報を放送番組情報記憶部３３から読み出す。なお、放送番組情報と手話映像情報とのフレームレートが同じである場合には、出力部３４は、放送受信部３１がステップＳ３０３で受信した手話映像情報のフレーム数と等しいフレーム数の放送番組情報を読み出すものとする。

（ステップＳ３０６）出力部３４は、ステップＳ３０３で受信した手話映像情報と、ステップＳ３０５で読み出した放送番組情報とを出力する。そして、ステップＳ３０１に戻る。

なお、図７のフローチャートにおいて、ステップＳ３０１からＳ３０２までの処理と、ステップＳ３０３からＳ３０６までの処理は、並列して実行されるようにしてもよい。その場合には、放送番組情報の受信と、手話映像情報及び放送番組情報の出力とを並行して実行することができるようになる。例えば、それらの処理が別スレッドや別プロセスとして処理されてもよい。

また、図７のフローチャートのステップＳ３０４，Ｓ３０５において、手話映像情報に含まれる遅延時間情報が変わらない限り、１回目に遅延時間情報を用いた適切な放送番組情報の読み出しが行われた後は、放送番組情報記憶部３３で記憶されている放送番組情報であって、まだ出力されていない放送番組情報の最も古いものを読み出せばよいことになる。したがって、遅延時間情報が頻繁に変更されることのない手話通訳システムにおいては、ステップＳ３０４の処理、及びそのステップＳ３０４で取得した遅延時間情報を用いたステップＳ３０５での放送番組情報の取得の処理を１回だけ実行し、その後は、放送番組情報記憶部３３で記憶されている放送番組情報であって、まだ出力されていない放送番組情報の最も古いものを読み出す処理をステップＳ３０５で行うようにしてもよい。その場合にも、所定の期間ごとに、遅延時間情報を取得するステップＳ３０４の処理と、その取得した遅延時間情報を用いて放送番組情報を取得するステップＳ３０５の処理とを行うようにしてもよい。

また、遅延時間情報が変化する手話通訳システムにおいて、遅延時間情報がいきなり短くなった場合には、出力されない放送番組情報のフレームが生じる可能性もある。そのように、遅延時間情報がいきなり短くなった場合であっても、出力されない放送番組情報のフレームが生じないように、放送番組情報だけ早送りすることによって、放送番組情報と遅延時間情報とが同期するようにすると共に、放送番組情報のフレーム落ちが発生しないようにしてもよい。逆に、遅延時間情報が長くなった場合には、出力すべき放送番組情報のフレームが存在しない可能性もある。そのような場合には、放送番組情報のフレームをゆっくりと出力することにより、あるいは、同じフレームを連続して出力することによって、時間稼ぎを行うようにしてもよい。
また、図７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態による手話通訳システムの動作について、具体例を用いて説明する。この具体例では、タイムコードを用いて遅延時間情報を取得する場合について説明する。また、手話遅延時間は、あらかじめ３秒に設定されているものとする。

まず、放送部１２が天気予報の放送番組情報を放送する際に、その放送番組情報の１個目のフレームを読み出し（ステップＳ１０１，Ｓ１０２）、そのフレームにタイムコード「００（時）：００（分）：００（秒）：０１（フレーム）」を付与して放送したとする（ステップＳ１０３）。

ここで、遅延時間情報取得部１４は、天気予報の放送番組情報の１個目のフレームの放送が行われる際に、その時点の時刻「１０（時）：００（分）：００．００（秒）」と、そのフレームに対応するタイムコード「００：００：００：０１」とを対応付けて図示しない記録媒体で一時的に記憶する。

なお、この後も、各フレームについて、フレームの読み出し、そのフレームへのタイムコードの付与、そのフレームの放送が順次、行われることになる（ステップＳ１０１〜Ｓ１０３）。また、フレームの放送時点の時刻と、そのフレームのタイムコードとが図８で示されるように、順次、対応付けられて記憶されていく。

次に、手話通訳装置２において、あらかじめ手話通訳者が放送装置１から送信される天気予報の放送番組情報を受信できるようにチャンネルの設定等を行っていたとする。すると、放送番組情報受信部２１は、放送装置１から送信された天気予報の放送番組情報のフレームを受信し、そのフレームに含まれるタイムコードを手話映像情報送信部２４に渡すと共に、そのフレームを映像音声出力部２２に渡す（ステップＳ２０１）。そして、映像音声出力部２２によって、天気予報の放送番組情報の映像と音声とが出力される（ステップＳ２０２）。例えば、図９で示される映像がディスプレイに表示されることになる。なお、この放送番組情報の受信と、映像音声の出力も、順次、繰り返して行われることになる（ステップＳ２０１，Ｓ２０２）。

また、手話通訳者は、カメラで撮影された自らの映像である手話映像情報が放送装置１に送信されるように設定等を行っていたとする。すると、カメラからの手話映像情報が手話映像情報受付部２３で受け付けられる（ステップＳ２０３）。その後、手話映像情報送信部２４は、手話映像情報受付部２３の受け付けた手話映像情報のフレームに、放送番組情報受信部２１から受け取っている最新のタイムコード「００：００：００：０１」を付与して放送装置１に送信する（ステップＳ２０４）。なお、この手話映像情報の受け付けと、手話映像情報の送信も、順次、繰り返して行われることになる（ステップＳ２０３，Ｓ２０４）。また、手話通訳者は、映像音声出力部２２が出力した天気予報の映像と音声とを視聴し、その音声に対応する手話通訳を行うため、その手話の映像が順次、放送装置１に送信されることになる。例えば、図１０で示される手話通訳者の映像である手話映像情報が放送装置１に送信されることになる。

手話通訳装置２から送信された手話映像情報のフレームは、手話映像情報受信部１３で受信され、そのフレームが放送部１２に渡されると共に、そのフレームに付与されているタイムコード「００：００：００：０１」が遅延時間情報取得部１４に渡される（ステップＳ１０４）。この時点では、遅延時間情報記憶部１５で遅延時間情報が記憶されていないので、放送部１２は、遅延時間情報取得部１４に遅延時間情報を取得する旨の指示を渡す（ステップＳ１０５）。すると、遅延時間情報取得部１４は、図８で示される時刻とタイムコードとを対応付ける情報を参照し、手話映像情報受信部１３から受け取ったタイムコード「００：００：００：０１」に対応する時刻「１０：００：００．００」と、その時点の時刻「１０：００：０１：００」とを取得する。そして、両時刻の差「１．００秒」を計算する。この時間が通信遅延時間である。そして、あらかじめ保持している通訳遅延時間「３秒」と、その通信遅延時間「１秒」とを加算することにより、遅延時間情報「４秒」を計算する（ステップＳ１０６）。そして、遅延時間情報取得部１４は、その遅延時間情報「４秒」を遅延時間情報記憶部１５に蓄積する（ステップＳ１０７）。

その後、放送部１２は、遅延時間情報記憶部１５から遅延時間情報「４秒」を読み出し（ステップＳ１０８）、手話映像情報受信部１３が受信した手話映像情報のフレームにその遅延時間情報「４秒」を付加して放送する（ステップＳ１０９，Ｓ１１０）。なお、放送部１２は、放送番組情報のフレームを放送する場合と同様に、タイムコードを付与して手話映像情報のフレームを放送するものとする。そのタイムコードは、放送番組情報のタイムコードと同じタイムコードを用いるものとする。したがって、放送装置１から同時に放送された放送番組情報のフレームと、手話映像情報のフレームとに対して、同じタイムコードが付与されていることになる。また、この手話映像情報の受信と、遅延時間情報の付加された手話映像情報の放送も、順次、繰り返して行われることになる（ステップＳ１０４，Ｓ１０５，Ｓ１０８〜Ｓ１１０）。

放送受信装置３のユーザは、放送装置１から送信される天気予報の放送番組情報を受信できるようにチャンネルの設定等を行っていたとする。すると、放送装置１から放送された放送番組情報の各フレームは、放送受信部３１で受信され（ステップＳ３０１）、順次、放送番組情報記憶部３３に蓄積されていく（ステップＳ３０２）。

また、放送装置１から放送された手話映像情報も放送受信部３１で受信される（ステップＳ３０３）。出力部３４は、その手話映像情報のフレームから遅延時間情報「４秒」を取得する（ステップＳ３０４）。そして、その受信された手話映像情報のフレームに付与されているタイムコードから４秒だけ前のタイムコードの付与されている放送番組情報のフレームを放送番組情報記憶部３３から読み出すことにより、出力部３４は、４秒前の放送番組情報のフレームを読み出すことができる（ステップＳ３０５）。その後、出力部３４は、その放送番組情報のフレームと、手話映像情報のフレームとを出力する（ステップＳ３０６）。

図１１は、手話映像情報と放送番組情報との同期について説明するための図である。図１１において、上側は受信された放送番組情報の各フレームを示しており、下側は受信された手話映像情報の各フレームを示している。各フレームの下側に表示されているのが、各フレームに付与されているタイムコードである。例えば、手話映像情報のフレームＢＦＮが放送受信部３１で受信されると、出力部３４は、そのフレームＢＦＮのタイムコード「００：００：１０：０１」よりも４秒だけ前のタイムコード「００：００：０６：０１」の付与されている放送番組情報のフレームＡＦ１を放送番組情報記憶部３３から読み出し、両者を出力することになる。

なお、出力部３４の出力するフレームは、例えば、図１２で示されるように、放送番組情報のフレーム内に、手話映像情報のフレームを表示するものであってもよく、あるいは、図１３で示されるように、放送番組情報のフレームと、手話映像情報のフレームとを横に並べて表示するものであってもよい。

また、この具体例において、手話遅延時間が一定である場合について説明したが、手話遅延時間は、手話通訳者ごとに定められていてもよい。例えば、遅延時間情報取得部１４は、図１４で示される、手話通訳者識別情報と手話遅延時間とを対応付ける情報にアクセス可能であるとする。また、手話通訳装置２から送信される手話映像情報には、その手話映像情報に関する手話通訳を行った手話通訳者を識別する情報である手話通訳者識別情報が含まれているものとする。そして、遅延時間情報取得部１４は、その手話映像情報に含まれている手話通訳者識別情報に対応する手話遅延時間を、図１４で示される情報を用いて取得し、その手話遅延時間を用いて遅延時間情報を計算してもよい。なお、図１４で示される情報は、遅延時間情報取得部１４が有する図示しない記録媒体で記憶されていてもよく、その他の構成要素等が有する記録媒体で記憶されていてもよい。また、手話通訳装置２から送信される手話通訳者識別情報は、手話映像情報に含まれていてもよく、あるいは、手話映像情報とは別途、送信されてもよい。また、手話通訳装置２から送信される手話映像情報に手話通訳者識別情報が含まれる場合には、例えば、手話通訳装置２が、手話通訳者識別情報が記憶される手話通訳者識別情報記憶部を有しており、手話映像情報送信部２４が、その手話通訳者識別情報記憶部で記憶されている手話通訳者識別情報を読み出して手話映像情報に含めて送信するようにしてもよい。

また、この具体例において、通信回線５００や、手話通訳装置２が不調であることにより、放送装置１が手話映像情報を受信することができない場合には、それらの原因を示す情報を手話映像情報として放送するようにしてもよい。例えば、「設備の不調のため、手話映像情報を放送することができておりません。ご迷惑をおかけいたしますが、ご了解のほど、よろしくお願いいたします。」といった文書を手話映像情報として放送するようにしてもよい。このようにすることで、放送受信装置３のユーザは、手話映像情報を見ることができない原因が、放送装置１側に存在し、放送受信装置３の不調が原因ではないことを知ることができる。

以上のように、本実施の形態による手話通訳システムによれば、放送番組情報を放送することができると共に、手話通訳装置２において、すなわち、ネットワーク上において手話通訳を行うことができ、その手話通訳された映像である手話映像情報をも放送することができる。したがって、聴覚障害者は、例えば、テレビ受像器等の放送番組を受信する装置を用意するのみで、放送番組情報と手話映像情報との両方を見ることができる。その結果、放送番組情報を受信する装置と、手話映像情報を受信する装置とが別々である場合に比べて、両情報を一目で容易に把握することができるようになるメリットがある。

また、遅延時間情報を用いて放送番組情報と手話映像情報とを同期させて出力することにより、放送受信装置３から出力される放送番組情報と手話映像情報とが時間的に対応したものとなり、聴覚障害者が放送番組をより正確に理解することができるようになり、聴覚障害者の利便性を向上させることができる。

さらに、放送装置１の遅延時間情報取得部１４によって遅延時間情報を取得することによって、その時々の状況に応じた遅延時間情報を用いることができ、放送番組情報と手話映像情報とをより正確に同期させることができるようになる。例えば、通信回線５００の混雑度が時間帯によって変化するような場合に、放送番組情報ごとに遅延時間情報を取得することによって、昼間の遅延時間情報と、夜間の遅延時間情報とを変えることができ、より厳密な同期が可能となる。

さらにまた、放送番組情報と手話映像情報とを別チャネルで放送することにより、手話映像情報の必要な人だけ、放送番組情報と共に、その手話映像情報をも出力するようにし、手話映像情報の必要ない人は、放送番組情報のみを出力するようにすることができる。したがって、手話映像情報の必要ない人に対しても、手話映像情報を見せるようなことがないようにすることができ、ユーザに応じて、必要十分な映像を出力することができるようになる。

なお、本実施の形態では、放送装置１において、遅延時間情報取得部１４が遅延時間情報を取得して遅延時間情報記憶部１５に蓄積する場合について説明したが、そうでなくてもよい。あらかじめ、遅延時間情報が遅延時間情報記憶部１５に記憶されていてもよい。その場合には、放送装置１は、遅延時間情報取得部１４を備えていなくてもよい。また、その場合には、遅延時間情報記憶部１５に遅延時間情報が記憶される過程は問わない。例えば、記録媒体を介して遅延時間情報が遅延時間情報記憶部１５で記憶されるようになってもよく、通信回線等を介して送信された遅延時間情報が遅延時間情報記憶部１５で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された遅延時間情報が遅延時間情報記憶部１５で記憶されるようになってもよい。

また、本実施の形態では、放送装置１の放送部１２が遅延時間情報記憶部１５で記憶されている遅延時間情報をも放送する場合について説明したが、そうでなくてもよい。放送部１２は、遅延時間情報を放送しなくてもよい。その場合には、放送装置１は、遅延時間情報記憶部１５や、遅延時間情報取得部１４を備えていなくてもよい。また、放送受信装置３の出力部３４においても、遅延時間情報を用いて放送番組情報と手話映像情報とを同期させる処理を行わなくてもよい。放送番組情報と手話映像情報とを同期させないで出力したとしても、数秒程度のタイムラグであると考えられるため、手話映像情報によって、放送番組情報の内容をある程度理解することが可能であると考えられる。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、手話通訳システムに含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態における放送装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、放送装置と、手話通訳装置とを備えた手話通訳システムを構成する放送装置として機能させるためのプログラムであって、前記手話通訳装置から送信された、手話の映像を示す情報である手話映像情報を受信する手話映像情報受信部と、放送する番組を示す情報である放送番組情報が記憶される放送番組情報記憶部が記憶している放送番組情報を放送すると共に、前記手話映像情報受信部が受信した手話映像情報をも放送する放送部として機能させ、前記手話映像情報受信部が受信する手話映像情報は、前記放送部が放送した放送番組情報に対応するものである、プログラムである。

また、上記実施の形態における手話通訳装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、放送装置と、手話通訳装置とを備えた手話通訳システムを構成する放送装置として機能させるためのプログラムであって、前記放送装置が放送した放送番組情報を受信する放送番組情報受信部と、前記放送番組情報受信部が受信した放送番組情報の映像音声を出力する映像音声出力部と、前記映像音声出力部が出力した映像音声に対応する手話の映像を示す情報である手話映像情報を受け付ける手話映像情報受付部と、前記手話映像情報受付部が受け付けた手話映像情報を前記放送装置に送信する手話映像情報送信部として機能させるためのプログラムである。

また、上記実施の形態における放送受信装置３を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、放送装置が放送した放送番組情報を受信すると共に、前記放送装置が放送した、前記放送番組情報に対応する手話映像情報と、前記放送装置が放送した放送番組情報に対して手話映像情報が遅延している時間を示す情報である遅延時間情報を受信する放送受信部と、前記放送受信部が受信した手話映像情報の映像と、前記放送受信部が受信した遅延時間情報の示す遅延時間だけ遅延させた、前記放送受信部が受信した放送番組情報の映像とを出力する出力部として機能させるためのプログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を送信する送信部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１５は、上記プログラムを実行して、上記実施の形態による放送装置１，手話通訳装置２，放送受信装置３を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図１５において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図１６は、コンピュータシステム９００の内部構成を示す図である。図１６において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードや、情報の放送を行うデバイス、放送の受信を行うデバイス等を含んでいてもよい。

コンピュータシステム９００に、上記実施の形態による放送装置１，手話通訳装置２，放送受信装置３の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態による放送装置１，手話通訳装置２，放送受信装置３の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による手話通訳システム等によれば、放送番組と、その放送番組に対応する手話映像とを一の放送受信装置で受信できるようにすることができ、放送番組や手話映像を送受信する手話通訳システム等として有用である。

本発明の実施の形態１による手話通訳システムの構成を示すブロック図 同実施の形態による放送装置の構成を示すブロック図 同実施の形態による手話通訳装置の構成を示すブロック図 同実施の形態による放送受信装置の構成を示すブロック図 同実施の形態による放送装置の動作を示すフローチャート 同実施の形態による手話通訳装置の動作を示すフローチャート 同実施の形態による放送受信装置の動作を示すフローチャート 同実施の形態における遅延時間情報を取得するために用いられる情報の一例を示す図 同実施の形態における放送番組情報の画面の一例を示す図 同実施の形態における手話映像情報の画面の一例を示す図 同実施の形態における放送番組情報と手話映像情報との同期について説明するための図 同実施の形態における放送番組情報と手話映像情報との画面の一例を示す図 同実施の形態における放送番組情報と手話映像情報との画面の一例を示す図 同実施の形態における遅延時間情報を取得するために用いられる情報の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ 放送装置
２ 手話通訳装置
３ 放送受信装置
１１、３３ 放送番組情報記憶部
１２ 放送部
１３ 手話映像情報受信部
１４ 遅延時間情報取得部
１５ 遅延時間情報記憶部
２１ 放送番組情報受信部
２２ 映像音声出力部
２３ 手話映像情報受付部
２４ 手話映像情報送信部
３１ 放送受信部
３２ 放送番組情報蓄積部
３４ 出力部

Claims (15)

1. 放送装置と、手話通訳装置とを備えた手話通訳システムであって、
   前記放送装置は、
   前記手話通訳装置から送信された、手話の映像を示す情報である手話映像情報を受信する手話映像情報受信部と、
   放送する番組を示す情報である放送番組情報が記憶される放送番組情報記憶部と、
   前記放送番組情報記憶部が記憶している放送番組情報を放送すると共に、前記手話映像情報受信部が受信した手話映像情報をも放送する放送部と、を備え、
   前記手話通訳装置は、
   前記放送装置が放送した放送番組情報を受信する放送番組情報受信部と、
   前記放送番組情報受信部が受信した放送番組情報の映像音声を出力する映像音声出力部と、
   前記映像音声出力部が出力した映像音声に対応する手話の映像を示す情報である手話映像情報を受け付ける手話映像情報受付部と、
   前記手話映像情報受付部が受け付けた手話映像情報を前記放送装置に送信する手話映像情報送信部と、を備えた、手話通訳システム。
2. 前記放送装置は、
   前記放送部が放送した放送番組情報に対して手話映像情報が遅延している時間を示す情報である遅延時間情報が記憶される遅延時間情報記憶部をさらに備え、
   前記放送部は、前記遅延時間情報をも放送する、請求項１記載の手話通訳システム。
3. 前記放送部は、前記手話映像情報に前記遅延時間情報を含めて放送する、請求項２記載の手話通訳システム。
4. 前記放送装置は、
   前記遅延時間情報を取得して前記遅延時間情報記憶部に蓄積する遅延時間情報取得部をさらに備えた、請求項２または請求項３記載の手話通訳システム。
5. 前記遅延時間情報取得部は、前記放送装置と前記手話通訳装置との間の情報の通信時間を測定し、当該通信時間と、あらかじめ保持している手話通訳時のずれ時間とを加算した時間を示す遅延時間情報を取得する、請求項４記載の手話通訳システム。
6. 前記放送部は、タイムコードを含む放送番組情報を放送し、
   前記手話映像情報送信部は、前記放送番組情報受信部が受信した放送番組情報に含まれる最新のタイムコードを含む手話映像情報を送信し、
   前記遅延時間情報取得部は、あるタイムコードを含む放送番組情報を前記放送部が放送した時点から、当該タイムコードを含む手話映像情報を前記手話映像情報受信部が受信した時点までの時間である通信時間を取得し、当該通信時間と、あらかじめ保持している手話通訳時のずれ時間とを加算した時間を示す遅延時間情報を取得する、請求項４記載の手話通訳システム。
7. 前記遅延時間情報取得部は、前記放送部が放送した放送番組情報に含まれる音声の開始時点から、前記手話映像情報受信部が受信した手話映像情報の示す映像の手話の開始時点までの時間を示す遅延時間情報を取得する、請求項４記載の手話通訳システム。
8. 放送受信装置をさらに備え、
   前記放送受信装置は、
   前記放送装置が放送した放送番組情報、手話映像情報及び遅延時間情報を受信する放送受信部と、
   前記放送受信部が受信した手話映像情報の映像と、前記放送受信部が受信した遅延時間情報の示す遅延時間だけ遅延させた前記放送番組情報の映像とを出力する出力部と、を備えた、請求項２から請求項７のいずれか記載の手話通訳システム。
9. 請求項１から請求項８のいずれか記載の手話通訳システムを構成する手話通訳装置。
10. 放送装置と、手話通訳装置とを備えた手話通訳システムを構成する放送装置であって、
    前記手話通訳装置から送信された、手話の映像を示す情報である手話映像情報を受信する手話映像情報受信部と、
    放送する番組を示す情報である放送番組情報を記憶している放送番組情報記憶部と、
    前記放送番組情報記憶部が記憶している放送番組情報を放送すると共に、前記手話映像情報受信部が受信した手話映像情報をも放送する放送部と、を備え、
    前記手話映像情報受信部が受信する手話映像情報は、前記放送部が放送した放送番組情報に対応するものである、放送装置。
11. 放送装置が放送した放送番組情報を受信すると共に、前記放送装置が放送した、前記放送番組情報に対応する手話の映像を示す情報である手話映像情報と、前記放送装置が放送した、放送番組情報に対して手話映像情報が遅延している時間を示す情報である遅延時間情報とを受信する放送受信部と、
    前記放送受信部が受信した手話映像情報の映像と、前記放送受信部が受信した遅延時間情報の示す遅延時間だけ遅延させた、前記放送受信部が受信した放送番組情報の映像とを出力する出力部と、を備えた放送受信装置。
12. 放送装置と、手話通訳装置とを備えた手話通訳システムを構成する放送装置において用いられる放送方法であって、
    放送する番組を示す情報である放送番組情報が記憶される放送番組情報記憶部が記憶している放送番組情報を放送する放送番組情報放送ステップと、
    前記手話通訳装置から送信された、前記放送番組情報放送ステップで放送した放送番組情報に対応する手話の映像を示す情報である手話映像情報を受信する手話映像情報受信ステップと、
    前記手話映像情報受信ステップで受信した手話映像情報を放送する手話映像情報放送ステップと、を備えた放送方法。
13. 放送装置が放送した放送番組情報を受信する放送番組情報受信ステップと、
    前記放送装置が放送した、前記放送番組情報に対応する手話の映像を示す情報である手話映像情報と、前記放送装置が放送した、放送番組情報に対して手話映像情報が遅延している時間を示す情報である遅延時間情報とを受信する手話映像情報受信ステップと、
    前記手話映像情報受信ステップで受信した手話映像情報の映像と、前記手話映像情報受信ステップで受信した遅延時間情報の示す遅延時間だけ遅延させた、前記放送番組情報受信ステップで受信した放送番組情報の映像とを出力する出力ステップと、を備えた放送受信方法。
14. コンピュータを、
    放送装置と、手話通訳装置とを備えた手話通訳システムを構成する放送装置として機能させるためのプログラムであって、
    前記手話通訳装置から送信された、手話の映像を示す情報である手話映像情報を受信する手話映像情報受信部と、
    放送する番組を示す情報である放送番組情報が記憶される放送番組情報記憶部が記憶している放送番組情報を放送すると共に、前記手話映像情報受信部が受信した手話映像情報をも放送する放送部として機能させ、
    前記手話映像情報受信部が受信する手話映像情報は、前記放送部が放送した放送番組情報に対応するものである、プログラム。
15. コンピュータを、
    放送装置が放送した放送番組情報を受信すると共に、前記放送装置が放送した、前記放送番組情報に対応する手話映像情報と、前記放送装置が放送した放送番組情報に対して手話映像情報が遅延している時間を示す情報である遅延時間情報を受信する放送受信部と、
    前記放送受信部が受信した手話映像情報の映像と、前記放送受信部が受信した遅延時間情報の示す遅延時間だけ遅延させた、前記放送受信部が受信した放送番組情報の映像とを出力する出力部として機能させるためのプログラム。

Images