JP2010032733A - 手話映像生成システム、サーバ、端末装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】、サーバと端末装置で適切な負荷分散をすることができる手話映像生成システムを提供する。
【解決手段】サーバ１は、番組の字幕情報から自立語である用語を抽出し、その用語の並びである用語列に関する変更を行って送信する。端末装置２は、用語列を受信すると、用語と、その用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報を用いて、受信した用語列に含まれる各用語対応する手話動作情報を読み出し、その手話動作情報を用いて手話映像情報を生成して出力する。
【選択図】図１

Description

本発明は、字幕情報に対応する手話映像情報を生成して出力する手話映像生成システム等に関する。

従来、手話の映像を自動的に生成する装置が開発されている（例えば、特許文献１〜４参照）。
特開平１１−１８４３７０号公報 特開２０００−１４９０４２号公報 特開２００３−２９６７５３号公報 特開２００７−１３３６０９号公報

番組の字幕等から手話映像の生成が行われるのは、聴覚障害者向けの映像を放送する放送局や、聴覚障害者の有するテレビ受像器や、そのテレビ受像器に接続されたセット・トップ・ボックス等であることが多いと考えられる。そのような場合に、放送局において手話映像を生成して放送すると、その放送するデータの容量が大きくなってしまうという問題がある。一方、聴覚障害者の有するテレビ受像器等で手話映像を生成すると、そのテレビ受像器等に高い負荷を課すことになってしまう。

本発明は、上記課題を解決するためになされたものであり、サーバと端末装置とにおいて、適切な負荷分散をすることができる手話映像生成システム等を提供することを目的とする。

上記目的を達成するため、本発明による手話映像生成システムは、サーバと、端末装置とを備えた手話映像生成システムであって、前記サーバは、番組の字幕を示す情報である字幕情報を受け付ける字幕情報受付部と、前記字幕情報受付部が受け付けた字幕情報から自立語である用語を抽出する用語抽出部と、前記用語抽出部が抽出した用語の並びである用語列に関する変更を行う用語列変更部と、前記用語列変更部が変更した用語列を送信する送信部と、を備え、前記端末装置は、前記用語列を受信する受信部と、用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部と、前記受信部が受信した用語列に含まれる各用語に、前記手話用語対応情報で対応付けられる手話動作情報を用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、前記手話映像情報生成部が生成した手話映像情報を出力する出力部と、を備えた、ものである。

このような構成により、サーバと端末装置とにおいて、適切な負荷分散をすることができる。すなわち、手話映像情報を生成するための前処理をサーバにおいて行っているため、端末装置において字幕情報から手話映像情報を生成する場合に比べて、端末装置の負荷を減少させることができうる。また、サーバは、手話映像情報を送信するのではなく、用語列を送信するため、サーバが送信するデータ容量を小さくすることができるメリットもある。

また、本発明による手話映像生成システムでは、前記用語列変更部は、変換の対象となる用語である変換対象用語と、変換後の用語である変換後用語とを対応付ける情報である用語対応情報が記憶される用語対応情報記憶手段と、前記用語列に前記変換対象用語が含まれる場合に、当該変換対象用語に対応する変換後用語に当該変換対象用語を変換する用語変換手段と、を備えてもよい。

このような構成により、例えば、サーバが送信する用語を、端末装置での手話映像情報の生成で用いられる用語に変換することができる。その結果、端末装置では、例えば、手話用語対応情報において、用語の類義語を多く含める必要がなくなり、手話用語対応情報の容量を削減することができる。また、手話用語対応情報の容量が小さくなれば、用語列に対応する手話動作情報を読み出す処理負荷も軽減されることになる。

また、本発明による手話映像生成システムでは、前記用語列変更部は、用語の順序を示す情報である用語順序情報が記憶される用語順序情報記憶手段と、前記用語順序情報が示す用語の順序となるように、前記用語列の用語の順序を並び替える用語並び替え手段と、を備えてもよい。
このような構成により、端末装置で適切な手話映像情報が生成されるように、用語の並び替えを行うことができる。その結果、手話映像情報の品質を高めることができうる。

また、本発明による手話映像生成システムでは、前記用語列変更部は、前記用語列において用語が欠落していることを検出する検出手段と、前記検出手段が用語の欠落を検出した場合に、当該用語列に用語を補足する用語補足手段と、を備えてもよい。
このような構成により、欠落している用語を補足することができ、結果として、手話映像情報の品質を高めることができうる。

また、本発明による手話映像生成システムでは、前記用語列変更部は、前記用語列の属性を取得する属性取得手段と、前記属性取得手段が取得した属性を示す情報である属性情報を前記用語列に付加する属性情報付加手段と、を備え、前記手話動作情報は、属性情報の示す属性ごとの情報を少なくとも有しており、前記手話映像情報生成部は、前記用語列に含まれる属性情報に応じた手話動作情報を用いて手話映像情報を生成してもよい。

このような構成により、用語列に属性情報を含めることができ、端末装置では、その属性情報に応じた手話映像情報を生成することができる。したがって、手話映像を、実際の手話通訳者が手話通訳した場合の映像により近づけることができうる。

また、本発明による手話映像生成システムでは、前記端末装置は、前記受信部が受信した用語列に対応する番組に関連する情報である番組関連情報を受け付ける番組関連情報受付部をさらに備え、前記手話映像情報生成部は、前記番組関連情報受付部が受け付けた番組関連情報をも用いて、手話映像情報を生成してもよい。
このような構成により、番組関連情報を手話映像情報の生成の処理に役立てることができうる。

また、本発明による手話映像生成システムでは、前記手話用語対応情報は、用語と、手話動作情報と、番組関連情報とを対応付ける情報であり、前記手話映像情報生成部は、前記番組関連情報受付部が受け付けた番組関連情報に対応する手話動作情報を用いて手話映像情報を生成してもよい。
このような構成により、番組関連情報に対応する手話動作情報を用いて手話映像情報を生成することができ、番組により調和した手話映像情報を生成することができうる。

また、本発明による手話映像生成システムでは、前記端末装置は、前記手話用語対応情報記憶部よりも高速にアクセス可能なキャッシュ記憶部をさらに備え、前記手話映像情報生成部は、前記番組関連情報受付部が受け付けた番組関連情報を用いて、手話動作情報を前記キャッシュ記憶部にあらかじめ記憶しておき、当該キャッシュ記憶部で記憶されている手話動作情報をも用いて手話映像情報を生成してもよい。
このような構成により、手話映像情報を生成するスピードを向上させることができうる。

また、本発明による手話映像生成システムでは、前記サーバは、番組の音声情報を受け付ける音声情報受付部と、前記音声情報受付部が受け付けた音声情報に音声認識処理を行うことによって字幕情報を取得する音声認識部と、をさらに備え、前記字幕情報受付部は、前記音声認識部が音声認識処理を行った結果である字幕情報を受け付けてもよい。
このような構成により、例えば、番組情報に字幕情報が含まれていない場合であっても、番組情報に含まれる音声情報から用語列を生成することができる。

また、本発明による手話映像生成システムでは、前記サーバは、番組の情報である番組情報が記憶される番組情報記憶部をさらに備え、前記送信部は、前記用語列と共に、当該用語列に対応する番組情報を前記番組情報記憶部から読み出して送信し、前記受信部は、前記用語列と共に、前記送信部が送信した番組情報をも受信し、前記出力部は、手話映像情報と共に、前記受信部が受信した番組情報をも出力してもよい。
このような構成により、用語列と共に、その用語列に対応する番組情報をも送信することができる。

本発明による手話映像生成システム等によれば、サーバにおいて用語の抽出と変更を行い、端末装置において、その用語を用いた手話映像の生成を行うことによって、適切な負荷分散をすることができる。

以下、本発明による手話映像生成システムについて、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１による手話映像生成システムについて、図面を参照しながら説明する。本実施の形態による手話映像生成システムは、サーバと端末装置とにおいて、字幕情報から手話映像を生成する処理を分散処理するものである。

図１は、本実施の形態による手話映像生成システムの構成を示すブロック図である。本実施の形態による手話映像生成システムは、サーバ１と、端末装置２とを備える。なお、図１では、サーバ１から端末装置２に情報が放送される場合について示しているが、そうでなくてもよい。例えば、サーバ１から端末装置２に、有線または無線の通信回線を介して情報が送信されてもよい。その通信回線は、例えば、インターネットやイントラネット、公衆電話回線網等であってもよい。また、図１では、端末装置２が１個存在する場合について示しているが、端末装置２は、２個以上存在してもよい。

図２は、本実施の形態によるサーバ１の構成を示すブロック図である。図２において、本実施の形態によるサーバ１は、番組情報記憶部１１と、字幕情報受付部１２と、用語抽出部１３と、用語列変更部１４と、送信部１５とを備える。

番組情報記憶部１１では、番組の情報である番組情報が記憶される。番組情報は、映像音声の情報である。番組情報は、例えば、ニュースやドラマ、映画、スポーツ、ドキュメンタリー等の番組の情報であってもよい。また、番組情報のデータ形式も問わない。例えば、番組情報は、アナログのデータであってもよく、デジタルのデータであってもよい。後者の場合に、番組情報の形式は、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であってもよく、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）であってもよく、あるいは、その他の形式であってもよい。また、その番組情報が圧縮されている場合に、その圧縮形式も問わない。

番組情報記憶部１１に番組情報が記憶される過程は問わない。例えば、記録媒体を介して番組情報が番組情報記憶部１１で記憶されるようになってもよく、通信回線等を介して送信された番組情報が番組情報記憶部１１で記憶されるようになってもよく、あるいは、カメラ等を介して入力された番組情報が番組情報記憶部１１で記憶されるようになってもよい。番組情報記憶部１１での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。番組情報記憶部１１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

字幕情報受付部１２は、番組の字幕を示す情報である字幕情報を受け付ける。字幕情報は、例えば、番組の情報である番組情報に含まれる発話に対応するテキストの情報であってもよく、さらに番組における状況を説明するテキスト（例えば、「窓ガラスの割れる音がした」等）や、音に対応した擬声語のテキスト（例えば、「ガシャーン」「バキューン」等）であってもよい。なお、字幕情報は、画面に表示される単位ごとに区別可能となっていることが好適である。例えば、その単位ごとに区切り記号などが入っていてもよく、あるいは、画面に表示される単位ごとに番組情報に重畳されていてもよい。

字幕情報受付部１２は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された字幕情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された字幕情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された字幕情報を受け付けてもよい。本実施の形態では、字幕情報受付部１２は、番組情報記憶部１１から字幕情報を読み出すものとする。したがって、番組情報記憶部１１で記憶されている番組情報には、あらかじめ字幕情報が含まれているものとする。番組情報に字幕情報が含まれているとは、例えば、番組情報のユーザ定義領域に字幕情報が含まれていることであってもよく、番組情報の垂直帰線区間内に字幕情報を多重化することであってもよい。なお、字幕情報受付部１２は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、字幕情報受付部１２は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

用語抽出部１３は、字幕情報受付部１２が受け付けた字幕情報から自立語である用語を抽出する。用語抽出部１３は、例えば、字幕情報のテキストに対して形態素解析を行い、その形態素解析結果を用いて自立語である用語を抽出してもよい。自立語とは、動詞、形容詞、形容動詞、名詞、連体詞、副詞、接続詞、感動詞である。自立語は、助詞、助動詞以外の単語であると考えることもできる。なお、形態素解析のシステムとして、例えば、奈良先端科学技術大学院大学で開発された「ＣｈａＳｅｎ（茶筌）」（ｈｔｔｐ：／／ｃｈａｓｅｎ．ｎａｉｓｔ．ｊｐ）等が知られている。用語を抽出するとは、結果として、抽出された用語と抽出されなかった用語とを区別できればよいことであり、例えば、抽出対象となる用語を記録媒体に蓄積することであってもよく、あるいは、抽出対象となる用語にフラグ等のマークを付与することであってもよい。

用語列変更部１４は、用語抽出部１３が抽出した用語の並びである用語列に関する変更を行う。ここで、用語列変更部１４による用語列の種々の変更方法について説明する。用語列変更部１４は、（１）用語列に含まれる用語を変換してもよく、（２）用語列に含まれる用語の順序を並び替えてもよく、（３）用語列に用語を補足してもよく、（４）用語列の属性を示す情報を用語列に付加してもよく、その他の用語列に関する変更を行ってもよい。

（１）用語列に含まれる用語を変換する場合
用語列変更部１４は、図３で示されるように、用語対応情報記憶手段３１と、用語変換手段３２とを備える。

用語対応情報記憶手段３１では、用語対応情報が記憶される。用語対応情報は、変換対象用語と、変換後用語とを対応付ける情報である。変換対象用語とは、変換の対象となる用語である。変換後用語とは、変換後の用語である。ここで、「変換対象用語と、変換後用語とを対応付ける」とは、変換対象用語と変換後用語の一方から、他方の用語を取得できればよいという意味である。したがって、用語対応情報は、変換対象用語と変換後用語とを組として含む情報を有してもよく、変換対象用語と変換後用語とをリンク付ける情報であってもよい。後者の場合には、用語対応情報は、例えば、変換対象用語と変換後用語の格納されている位置を示すポインタやアドレスとを対応付ける情報であってもよい。本実施の形態では、前者の場合について説明する。また、変換対象用語と変換後用語とは、直接対応付けられていなくてもよい。例えば、変換対象用語に、第３の情報が対応しており、その第３の情報に変換後用語が対応していてもよい。他の２以上の情報が対応付けられている場合にも同様であるとする。

用語対応情報記憶手段３１に用語対応情報が記憶される過程は問わない。例えば、記録媒体を介して用語対応情報が用語対応情報記憶手段３１で記憶されるようになってもよく、通信回線等を介して送信された用語対応情報が用語対応情報記憶手段３１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された用語対応情報が用語対応情報記憶手段３１で記憶されるようになってもよい。用語対応情報記憶手段３１での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。用語対応情報記憶手段３１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

用語変換手段３２は、用語抽出部１３が抽出した用語の並びである用語列を受け取り、その用語列に変換対象用語が含まれる場合に、その変換対象用語を、用語対応情報でその変換対象用語と対応付けられている変換後用語に変換して送信部１５に渡す。したがって、用語列に変換対象用語が含まれない場合には、用語変換手段３２による用語の変換は行われないことになる。

用語変換手段３２による用語の変換は、例えば、後述する手話映像情報の生成の際に用いられる手話用語対応情報で手話動作情報と対応付けられている用語となるように行われるものであってもよい。具体的には、手話用語対応情報で、用語「おおきに」に対応する手話動作情報がないのに対して、用語「ありがとう」に対応する手話動作情報が存在する場合に、用語変換手段３２は、変換対象用語「おおきに」を、変換後用語「ありがとう」に変換してもよい。このように、用語対応情報は、例えば、手話用語対応情報で手話動作情報と対応付けられていない変換対象用語と、手話用語対応情報で手話動作情報と対応付けられている変換後用語とを対応付ける情報であってもよい。

このように、用語列変更部１４は、用語対応情報記憶手段３１と用語変換手段３２とを用いて、手話用語対応情報で手話動作情報と対応付けられていない用語である変換対象用語を、手話用語対応情報で手話動作情報と対応付けられている用語である変換後用語に変換してもよい。変換対象用語と、変換後用語の関係は、例えば、方言の用語と、標準語の用語の関係であってもよく、終止形でない活用形の用語と、終止形の用語の関係であってもよく、その他の関係であってもよい。この用語の変換を行うことによって、後述する端末装置２が有する手話用語対応情報のデータ容量をより小さいものにすることが可能となりうる。

（２）用語列に含まれる用語の順序を並び替える場合
用語列変更部１４は、図４で示されるように、用語順序情報記憶手段３３と、用語並び替え手段３４とを備える。

用語順序情報記憶手段３３では、用語順序情報が記憶される。用語順序情報は、用語の順序を示す情報である。用語順序情報は、後述する手話映像情報の生成の際に、より適切な手話映像情報を生成することができるための用語の順序を示すものである。用語の順序は、例えば、用語の品詞の順序であってもよく、用語の主語・述語、あるいは主語・述語・目的語の順序であってもよく、その他の用語の属性に関する順序であってもよい。用語順序情報は、例えば、次に示すように、用語の属性を並べることによって、用語の順序を示すものであってもよい

用語順序情報：｛名詞｝｛動詞｝
用語順序情報：｛主語｝｛目的語｝｛述語｝

上の例の場合、用語順序情報は、例えば、用語が名詞、動詞の順で並ぶことを示しており、下の例の場合、用語順序情報は、例えば、用語が主語、目的語、述語の順で並ぶことを示している。

用語順序情報記憶手段３３に用語順序情報が記憶される過程は問わない。例えば、記録媒体を介して用語順序情報が用語順序情報記憶手段３３で記憶されるようになってもよく、通信回線等を介して送信された用語順序情報が用語順序情報記憶手段３３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された用語順序情報が用語順序情報記憶手段３３で記憶されるようになってもよい。用語順序情報記憶手段３３での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。用語順序情報記憶手段３３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

用語並び替え手段３４は、用語抽出部１３が抽出した用語の並びである用語列を受け取り、用語順序情報記憶手段３３で記憶されている用語順序情報が示す用語の順序となるように、その用語列の用語の順序を並び替えて送信部１５に渡す。したがって、用語列に含まれる用語の順序が用語順序情報の示す用語の順序である場合、すなわち、用語の順序を並び替える必要がない場合には、用語並び替え手段３４による用語の並び替えは行われないことになる。

用語並び替え手段３４による用語の並び替えは、例えば、後述する手話映像情報の生成の際に、より適切な手話映像情報を生成することができるように並び替えるものである。例えば、口語では語順が乱れてしまうこともありうる。具体的には、「私は買うわ！その花。」などである。この場合には、用語抽出部１３によって、用語列「私」「買う」「その花」が抽出されうるが、その用語列を用語並び替え手段３４は、「私」「その花」「買う」に並び替えてもよい。その場合に、用語順序情報記憶手段３３で記憶されている用語順序情報は、例えば、｛主語｝｛目的語｝｛述語｝であってもよい。

ここで、用語並び替え手段３４が用語列に含まれる用語の属性（例えば、品詞や主語・述語等）を判断する方法について簡単に説明する。用語並び替え手段３４は、例えば、用語抽出部１３から受け取った用語列を用いて、各用語の品詞や主語・述語等を判断してもよい。ただし、用語列には助詞や助動詞等が含まれないため、品詞や主語・述語等の判断が難しくなる場合もありうる。したがって、用語並び替え手段３４は、用語列に対応する字幕情報を参照し、その字幕情報を用いて各用語の品詞や主語・述語等を判断してもよい。この場合には、字幕情報もあらかじめ図示しない記録媒体において記憶されているものとする。また、その字幕情報は、その字幕情報から抽出された用語列と対応を取ることができるようになっているものとする。または、用語列の各用語に、その用語の属性、例えば、品詞や主語・述語・目的語等が付加されていてもよい。そして、用語並び替え手段３４は、その用語列の各用語に付加されている用語の属性を用いて、用語の並び替えを行ってもよい。この場合には、用語抽出部１３やその他の構成要素が、字幕情報に含まれる各用語の属性を取得する処理を行ってもよい。

なお、字幕情報を用いて、各用語の品詞や主語・述語・目的語等を判断する方法について簡単に説明する。用語の品詞については、前述のように、形態素解析を行うことによって知ることができる。主語、述語、目的語については、例えば、主語や述語、目的語等を自動判別するシステムを用いてもよく、あるいは、手がかり句を用いて、主語や述語、目的語等を判断してもよい。例えば、用語の後端に手がかり句「は」や「が」が付いている場合には、その用語が主語であると判断してもよい。具体的には、「私が今日…」や、「山田さんは昨日…」の場合には、「私」や「山田さん」が主語であると判断してもよい。また、用語の後端に「を」や「に」「へ」が付いている場合には、その用語が目的語であると判断してもよい。具体的には、「…花を買います。」や、「…東京に行きます。」の場合には、「花」や「東京」が目的語であると判断してもよい。また、動詞である用語を述語であると判断してもよい。なお、用語の品詞や主語・述語・目的語等を判断する方法は、これらに限定されるものではなく、結果として、用語の品詞等を判断することができるのであれば、その他の方法であってもよい。

（３）用語列に用語を補足する場合
用語列変更部１４は、図５で示されるように、検出手段３５と、用語補足手段３６とを備える。

検出手段３５は、用語列において用語が欠落していることを検出する。例えば、検出手段３５は、用語抽出部１３が抽出した用語の並びである用語列において、特定の属性の用語が欠落している場合に、用語の欠落を検出してもよい。その特定の属性は、主語であってもよく、その他の属性であってもよい。したがって、検出手段３５は、例えば、用語列に主語が含まれない場合に、主語が欠落していることを検出してもよい。用語列に主語が含まれないことは、例えば、用語列そのものを用いて検出してもよく、用語列に対応する字幕情報を用いて検出してもよい。例えば、「（２）用語列に含まれる用語の順序を並び替える場合」で説明したように、用語列や、用語列に対応する字幕情報について、各用語や各形態素等が主語や述語、目的語等であるかどうかを判断し、その後に、検出手段３５は、その用語列や字幕情報に主語が含まれているかどうか判断することによって、主語の欠落を検出してもよい。主語が含まれている場合には、主語の欠落が検出されず、主語が含まれていない場合には、主語の欠落が検出されることになる。

用語補足手段３６は、検出手段３５が用語の欠落を検出した場合に、その用語の欠落の検出された用語列に用語を補足する。補足する用語は、欠落している用語である。例えば、検出手段３５が主語の欠落を検出した場合には、用語補足手段３６は、主語を補足することになる。主語を補足する場合に、例えば、用語補足手段３６は、主語の欠落が検出された用語列よりも前の用語列に含まれる主語を、主語の欠落が検出された用語列の主語として補足してもよい。具体的には、ある用語列に主語が欠落している場合に、用語補足手段３６は、その用語列よりも前の主語の存在する用語列であって、主語の欠落している用語列に最も近い用語列から主語を取得してもよい。用語列に主語が存在するかどうかの判断は、例えば、前述のように、用語列や、その用語列に対応する字幕情報において、各用語や各形態素等に主語（例えば、手がかり句「は」や「が」が後端に付いている用語など）が含まれているかどうか判断することによって行ってもよい。そして、用語補足手段３６は、その主語が存在する用語列から主語の用語を取得し、用語の欠落が検出された用語列に補足する。用語を補足する位置は、例えば、用語列の先頭であってもよい。

（４）用語列の属性を示す情報を用語列に付加する場合
用語列変更部１４は、図６で示されるように、属性取得手段３７と、属性情報付加手段３８とを備える。

属性取得手段３７は、用語抽出部１３が抽出した用語の並びである用語列を受け取り、その用語列の属性を取得する。用語列の属性とは、用語列に対応する感情や評判等であってもよい。属性取得手段３７は、例えば、意味理解エンジンや評判解析エンジンなどを用いることによって、用語列の感情や評判等の属性を取得することができる。感情とは、例えば、「楽しい」「悲しい」「普通」などであってもよい。また、評判とは、例えば、「ポジティブ」「ネガティブ」「普通」などであってもよい。意味理解エンジンや評判解析エンジン等は、すでに公知であり、その詳細な説明を省略する。

属性情報付加手段３８は、属性取得手段３７が取得した属性を示す情報である属性情報を、用語抽出部１３が抽出した用語の並びである用語列に付加して送信部１５に渡す。なお、属性情報付加手段３８は、属性情報を、他の用語などと区別可能なように用語列に付加することが好適である。例えば、用語列が「私」「その花」「買う」であり、意味理解エンジンでの解析の結果、「楽しい」との属性が取得された場合には、その用語列に属性情報「楽しい」を付加することによって、用語列を、「私」「その花」「買う」：「楽しい」としてもよい。この場合には、コロン「：」よりもあとの情報が属性情報となる。

なお、ここでは、（１）〜（４）の用語列の変更方法について説明したが、それ以外の用語列の変更を行ってもよいことは言うまでもない。

送信部１５は、用語列変更部１４が変更を行った用語列を送信する。また、送信部１５は、用語列と共に、その用語列に対応する番組情報を番組情報記憶部１１から読み出して送信してもよい。用語列に対応する番組情報とは、その用語列に対応する字幕情報に対応する番組情報のことである。本実施の形態では、送信部１５が、用語列と共に、番組情報をも送信する場合について説明する。送信部１５は、用語列と番組情報とを送信する場合に、番組情報のユーザ定義領域や垂直帰線区間内に用語列を含めて送信してもよい。なお、番組情報に字幕情報が含まれる場合に、送信部１５は、その字幕情報も送信してもよく、あるいは、送信しなくてもよい。

なお、送信部１５は、用語列等を端末装置２に直接送信してもよく、あるいは、サーバ等を介して間接的に送信してもよい。また、送信部１５は、送信を行うための送信デバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、送信部１５による用語列等の送信は、放送であってもよい。この放送は、例えば、地上波での放送であってもよく、衛星放送であってもよく、あるいは、ケーブルを介した有線放送であってもよい。本実施の形態では、送信部１５が、用語列を含む番組情報を放送する場合について説明する。また、送信部１５は、ハードウェアによって実現されてもよく、あるいは送信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

図７は、本実施の形態による端末装置２の構成を示すブロック図である。図７において、本実施の形態による端末装置２は、受信部２１と、番組関連情報受付部２２と、手話用語対応情報記憶部２３と、キャッシュ記憶部２４と、手話映像情報生成部２５と、出力部２６とを備える。なお、端末装置２は、例えば、テレビ受像器等に接続されるＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）であってもよく、そうでなくてもよい。

受信部２１は、サーバ１から送信された用語列を受信する。サーバ１から用語列と共に番組情報も送信される場合には、受信部２１は、用語列と共に、サーバ１から送信された番組情報をも受信してもよい。

なお、受信部２１は、受信を行うための有線または無線の受信デバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、受信部２１は、放送を受信するものであってもよい。また、受信部２１は、ハードウェアによって実現されてもよく、あるいは受信デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。また、受信部２１が受信した用語列や番組情報は、図示しない記録媒体において一時的に記憶されてもよい。

番組関連情報受付部２２は、受信部２１が受信した用語列に対応する番組に関連する情報である番組関連情報を受け付ける。番組関連情報は、例えば、番組のジャンルを示す情報を含んでいてもよく、番組の内容に関する用語を示す情報を含んでいてもよく、その他の情報を含んでいてもよい。番組の内容に関する用語とは、例えば、番組のトピックや、役名であってもよく、番組名であってもよく、番組についての説明であってもよい。番組関連情報は、例えば、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：電子番組ガイド）の情報そのものであってもよく、その情報の一部であってもよい。このＥＰＧの情報は、例えば、ＳＩ情報（公式番組情報）と呼ばれることもある。

番組関連情報受付部２２は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネルなど）から入力された番組関連情報を受け付けてもよく、有線もしくは無線の通信回線を介して番組関連情報を取得してもよく、放送された番組関連情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された番組関連情報を受け付けてもよい。なお、番組関連情報は、例えば、サーバ１によって送信されてもよい。また、番組関連情報受付部２２は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、番組関連情報受付部２２は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。また、番組関連情報受付部２２が受け付けた番組関連情報は、図示しない記録媒体において一時的に記憶されてもよい。

手話用語対応情報記憶部２３では、手話用語対応情報が記憶される。手話用語対応情報は、用語と、その用語に対応した手話動作情報とを対応付ける情報である。手話動作情報は、手話の動作に関する情報である。手話の動作に関する情報とは、例えば、手話の映像そのものであってもよく、手話の映像を生成するために用いられる情報（例えば、手や顔の画像の情報、手や顔の軌跡等を示す情報などであって、手話映像情報の一部とはならない情報）であってもよく、あるいは、それらの組合せであってもよい。手話動作情報が手話の映像そのものである場合に、手話動作情報は、例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の映像であってもよく、アニメーションの映像であってもよく、実写の映像であってもよい。また、手話動作情報が手話の映像そのものである場合には、後述する手話映像情報生成部２５によって生成される手話映像情報の一部を手話動作情報そのものが構成することになる。一方、手話動作情報が手話の映像を生成するために用いられる情報であって、手話の映像そのものではない場合には、その手話動作情報を用いてＣＧ等の手話映像情報が生成されることになる。

なお、前述したように、用語列変更部１４によって属性情報が用語列に付加される場合には、手話動作情報は、属性情報の示す属性ごとの情報を少なくとも有していてもよい。すなわち、手話動作情報の全体が属性ごとの情報であってもよく、あるいは、手話動作情報の一部が属性ごとの情報であってもよい。例えば、属性情報が「楽しい」「悲しい」「普通」のいずれかである場合には、手話動作情報は、属性情報「楽しい」に対応する手話動作情報と、属性情報「悲しい」に対応する手話動作情報と、属性情報「普通」に対応する手話動作情報とを有していてもよい。例えば、顔の表情に関する手話動作情報のみが、それらの属性情報「楽しい」「悲しい」「普通」ごとに設定されていてもよく、あるいは、そうでなくてもよい。

また、番組関連情報受付部２２が受け付けた番組関連情報をも用いた手話映像情報の生成を行う場合には、手話用語対応情報は、用語と、手話動作情報と、番組関連情報とを対応付ける情報であってもよい。この場合には、後述する手話映像情報生成部２５は、番組関連情報受付部２２が受け付けた番組関連情報に対応する手話動作情報を用いることによって、その番組により適した手話映像情報を生成することができるようになりうる。例えば、番組関連情報が番組のジャンルを示す情報である場合に、番組関連情報「ニュース」「ドキュメンタリー」に対応する手話動作情報と、番組関連情報「ドラマ」「バラエティー」に対応する手話動作情報とを別のものとしてもよい。前者の場合には、まじめな雰囲気の手話動作情報として、後者の場合には、興趣をそそる楽しい雰囲気の手話動作情報（例えば、少し誇張したような手話の動作などであってもよい）としてもよい。

手話用語対応情報記憶部２３に手話用語対応情報が記憶される過程は問わない。例えば、記録媒体を介して手話用語対応情報が手話用語対応情報記憶部２３で記憶されるようになってもよく、通信回線等を介して送信された手話用語対応情報が手話用語対応情報記憶部２３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された手話用語対応情報が手話用語対応情報記憶部２３で記憶されるようになってもよい。手話用語対応情報記憶部２３での記憶は、ＲＡＭ等における一時的な記憶でもよく、あるいは、長期的な記憶でもよい。手話用語対応情報記憶部２３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスクなど）によって実現されうる。

キャッシュ記憶部２４は、手話用語対応情報記憶部２３よりも高速にアクセス可能なものである。手話用語対応情報記憶部２３が、例えば、ハードディスクである場合には、キャッシュ記憶部２４は、例えば、メモリであってもよい。また、手話用語対応情報記憶部２３が、例えば、メインメモリである場合には、キャッシュ記憶部２４は、例えば、キャッシュメモリであってもよい。後述する手話映像情報生成部２５は、このキャッシュ記憶部２４に手話動作情報をあらかじめ記憶させ、その記憶させた手話動作情報を用いて手話映像情報の生成を行うようにしてもよい。このようにすることで、より高速に手話映像情報の生成を行うことができうるようになる。

キャッシュ記憶部２４での記憶は、基本的に一時的な記憶であるが、そうでなくてもよい。また、キャッシュ記憶部２４は、所定の記録媒体（例えば、半導体メモリなど）によって実現されうる。

手話映像情報生成部２５は、受信部２１が受信した用語列に含まれる各用語に、手話用語対応情報で対応付けられる手話動作情報を用いて、その用語列に対応する手話の映像を示す情報である手話映像情報を生成する。手話動作情報が、例えば、手話の映像そのものである場合には、手話映像情報生成部２５は、その手話の映像を読み出すことによって手話映像情報を生成してもよい。また、手話動作情報が、例えば、手話の映像を生成するために用いられる情報であって、手話の映像そのものではない場合には、手話映像情報生成部２５は、その手話動作情報等を用いてＣＧ等の手話映像情報を生成することになる。なお、手話映像情報を生成する方法については、前述の特許文献１〜４等に記載されており、すでに公知であるため、その詳細な説明を省略する。

なお、前述したように、用語列変更部１４によって属性情報が用語列に付加される場合には、手話映像情報生成部２５は、用語列に含まれる属性情報に応じた手話動作情報を用いて手話映像情報を生成してもよい。具体的には、前述のように、手話動作情報も、属性ごとの情報を少なくとも有しており、手話映像情報生成部２５は、用語列に付加された属性情報に対応する手話動作情報を用いて、手話映像情報を生成するようにしてもよい。

また、手話映像情報生成部２５は、番組関連情報受付部２２が受け付けた番組関連情報をも用いて、手話映像情報を生成してもよい。例えば、手話用語対応情報において、用語と、手話動作情報と、番組関連情報とが対応付けられている場合に、手話映像情報生成部２５は、番組関連情報受付部２２が受け付けた番組関連情報（この番組関連情報は、受信部２１が受信した用語列に対応する番組の番組関連情報である）に対応する手話動作情報を用いて手話映像情報を生成してもよい。

また、手話映像情報生成部２５は、番組関連情報受付部２２が受け付けた番組関連情報を用いて、手話動作情報をキャッシュ記憶部２４にあらかじめ記憶しておき、そのキャッシュ記憶部２４で記憶されている手話動作情報をも用いて手話映像情報を生成してもよい。例えば、番組関連情報が番組の内容に関する用語を示す情報である場合に、手話映像情報生成部２５は、番組関連情報の示す用語に対応する手話動作情報をキャッシュ記憶部２４に記憶しておいてもよい。その番組関連情報の示す用語は、用語列に頻繁に出現すると考えられるため、その用語に対応する手話動作情報をキャッシュ記憶部２４で記憶しておくことにより、その手話動作情報に高速にアクセスすることが可能となり、その結果として、手話映像情報をより速く生成することが可能となりうるからである。また、例えば、番組関連情報が番組のジャンルを示す情報である場合に、手話映像情報生成部２５は、番組関連情報の示す番組のジャンルに対応する手話動作情報をキャッシュ記憶部２４に記憶しておいてもよい。なお、キャッシュ記憶部２４に手話動作情報を記憶しておく場合に、手話動作情報と共に、その手話動作情報に対応する用語等も一緒にキャッシュ記憶部２４で記憶しておくようにしてもよく、そうでなくてもよい。

出力部２６は、手話映像情報生成部２５が生成した手話映像情報を出力する。また、出力部２６は、その手話映像情報と共に、受信部２１が受信した番組情報をも出力する。手話映像情報と、番組情報とが出力されることによって、その出力された情報を見る者は、番組と共に、その番組に対応する手話の映像も見ることができる。なお、番組情報と手話映像情報とが表示される場合に、一画面内において両者が横や縦、斜めなどに並べられて出力されてもよく、一方の画面内の一部に他方の画面が表示される形態で出力されてもよく、番組情報と手話映像情報とが表示される形態は問わない。

ここで、ここで、この出力は、例えば、手話映像情報の映像と番組情報の映像の表示デバイス（例えば、ＣＲＴや液晶ディスプレイなど）への表示と、番組情報の音声のスピーカへの音声出力であってもよい。または、この出力は、例えば、映像音声の所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。ただし、これらの場合であっても、最終的には、映像が表示され、音声が音声出力されるものとする。なお、端末装置２が出力した映像を聴覚障害者のみが見る場合には、音声出力がなされなくてもよい。また、出力部２６は、出力を行うデバイス（例えば、表示デバイスやプリンタなど）を含んでもよく、あるいは含まなくてもよい。また、出力部２６は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

なお、サーバ１、端末装置２において、適宜、情報がデジタル化されても、アナログ化されてもよいことは言うまでもない。したがって、サーバ１、端末装置２において、適宜必要な箇所に、情報をアナログ化するＤＡＣ（Ｄｉｇｉｔａｌ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）や、情報をデジタル化するＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）が存在してもよい。

次に、本実施の形態による手話映像生成システムの動作について、フローチャートを用いて説明する。
図８は、本実施の形態によるサーバ１の動作を示すフローチャートである。なお、このフローチャートでは、字幕情報受付部１２が番組情報記憶部１１から字幕情報を読み出すことによって受け付ける場合について説明する。また、その字幕情報から用語列を生成して、図示しない記録媒体において一時的に記憶しておき、その一時的に記憶している用語列を番組情報と一緒に送信する場合について説明する。

（ステップＳ１０１）字幕情報受付部１２は、用語列を生成する処理を行うかどうか判断する。そして、用語列を生成する処理を行う場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０７に進む。字幕情報受付部１２は、例えば、用語列を生成する旨の指示をサーバ１が受け付けた場合に、用語列を生成すると判断してもよく、番組情報記憶部１１に、字幕情報を有する番組情報が新たに蓄積されたタイミングで、用語列を生成すると判断してもよく、あるいは、その他のタイミングで用語列を生成すると判断してもよい。また、ここでは、字幕情報受付部１２が、このステップの判断を行うと説明したが、その他の構成要素がこの判断を行ってもよいことは言うまでもない。

（ステップＳ１０２）字幕情報受付部１２は、番組情報記憶部１１で記憶されている番組情報に含まれる字幕情報を読み出す。なお、１回で読み出す字幕情報は、字幕の一つのまとまりとなる単位である。その単位は、例えば、番組情報の画面に１回に表示される字幕の分量であってもよく、一文であってもよく、あるいは、その他の単位であってもよい。

（ステップＳ１０３）用語抽出部１３は、字幕情報受付部１２が読み出した字幕情報から、自立語である用語を抽出する。

（ステップＳ１０４）用語列変更部１４は、用語抽出部１３が抽出した用語列に関する変更を適宜行う。なお、この処理の詳細については後述する。

（ステップＳ１０５）用語列変更部１４は、図示しない記録媒体で、変更後の用語列を一時的に記憶する。

（ステップＳ１０６）字幕情報受付部１２は、ある番組情報に含まれる全ての字幕情報について用語列を生成する処理を行ったかどうか判断する。そして、全ての字幕情報について用語列を生成する処理を行った場合、すなわち、全ての用語列の生成の処理が終わった場合には、ステップＳ１０１に戻り、そうでない場合には、ステップＳ１０２に戻る。

（ステップＳ１０７）送信部１５は、番組情報を送信するかどうか判断する。そして、送信する場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０１に戻る。送信部１５は、例えば、番組情報を送信する旨の指示をサーバ１が受け付けた場合に番組情報を送信すると判断してもよく、番組情報の送信に関するスケジュール表を有しており、そのスケジュール表によってある番組情報を送信する時間となった場合に、番組情報を送信すると判断してもよく、あるいは、その他のタイミングで番組情報を送信すると判断してもよい。

（ステップＳ１０８）送信部１５は、番組情報記憶部１１から、番組情報を読み出す。なお、このステップで読み出す番組情報は、例えば、番組情報の一のフレームであってもよく、連続する複数のフレームであってもよい。また、番組情報に含まれる字幕情報を読み出してもよく、あるいは、読み出さなくてもよい。

（ステップＳ１０９）送信部１５は、図示しない記録媒体で一時的に記憶されている用語列を読み出す。この用語列は、ステップＳ１０８で読み出した番組情報のフレームに対応する用語列である。番組情報のフレームに対応する用語列とは、その番組情報のフレームに対応する字幕情報から生成された用語列の意味である。

（ステップＳ１１０）送信部１５は、ステップＳ１０９で読み出した用語列を、ステップＳ１０８で読み出した番組情報のフレームに含めて送信する。

（ステップＳ１１１）送信部１５は、ステップＳ１０７で送信すると判断した番組情報の全てを送信したかどうか判断する。そして、まだ送信していないフレームが残っている場合には、ステップＳ１０８に戻り、そうでない場合には、ステップＳ１０１に戻る。

なお、ステップＳ１０８で読み出された番組情報のフレームに対応する用語列がない場合には、ステップＳ１０９において用語列の読み出しを行わなくてもよく、また、ステップＳ１１０において番組情報のみを送信してもよい。

また、ステップＳ１０９，Ｓ１１０において用語列を番組情報に含めて送信する際に、用語列を、その用語列に対応する字幕が表示される番組情報の全てのフレームに含めて送信してもよく、あるいは、その用語列に対応する字幕が表示される番組情報のはじめのフレームにのみ含めて送信してもよく、用語列を番組情報に含める方法は問わない。

また、図８フローチャートにおいて、ステップＳ１０１〜Ｓ１０６の処理と、ステップＳ１０７〜Ｓ１１１の処理は、並列して実行されるようにしてもよい。その場合には、用語列の生成と、番組情報の送信とを並列して実行できるようになる。例えば、それらの処理は別スレッドや別プロセスとして処理されてもよい。

また、図８のフローチャートでは、まず用語列を生成してから、その用語列を含む番組情報を送信する場合について説明したが、用語列の生成と、番組情報の送信とを同時の行ってもよい。すなわち、ある用語列を生成して、その用語列を含む番組情報を送信し、その後に次の用語列を生成して、その用語列を含む番組情報を送信する処理を繰り返して実行するようにしてもよい。
また、図８のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図９は、図８のフローチャートにおける用語列の変更の処理（ステップＳ１０４）の詳細を示すフローチャートである。なお、図９のフローチャートは、用語列変更部１４が、図３で示されるものである場合に対応している。

（ステップＳ２０１）用語列変更部１４の用語変換手段３２は、カウンタｉを１に設定する。

（ステップＳ２０２）用語変換手段３２は、用語列のｉ番目の用語が、用語対応情報記憶手段３１で記憶されているいずれかの変換対象用語と一致するかどうか判断する。そして、一致する場合には、ステップＳ２０３に進み、そうでない場合には、ステップＳ２０４に進む。

（ステップＳ２０３）用語変換手段３２は、ｉ番目の用語を、その用語に対応する変換後用語に置き換える。

（ステップＳ２０４）用語変換手段３２は、カウンタｉを１だけインクリメントする。

（ステップＳ２０５）用語変換手段３２は、用語列にｉ番目の用語が存在するかどうか判断する。そして、存在する場合には、ステップＳ２０２に戻り、そうでない場合には、図８のフローチャートに戻る。

図１０は、図８のフローチャートにおける用語列の変更の処理（ステップＳ１０４）の詳細を示すフローチャートである。なお、図１０のフローチャートは、用語列変更部１４が、図４で示されるものである場合に対応している。

（ステップＳ３０１）用語列変更部１４の用語並び替え手段３４は、用語列に含まれる用語の順序が、用語順序情報記憶手段３３で記憶されている用語順序情報の示す用語の順序と一致しているかどうか判断する。そして、一致している場合には、用語の並び替えが必要ないため、図８のフローチャートに戻り、一致していない場合には、用語の並び替えが必要であるため、ステップＳ３０２に進む。例えば、用語順序情報が｛名詞｝｛動詞｝であり、用語列に含まれる用語の順序が、「名詞、動詞、名詞」の順である場合には、その用語列における用語の順序は、用語順序情報の示す用語の順序と一致していないと判断される。

（ステップＳ３０２）用語並び替え手段３４は、用語列に含まれる用語の順序を並び替える。例えば、ステップＳ３０１において、用語の順序が用語順序情報の示すものと一致していないと判断した箇所について、隣接する用語を入れ替えるなどの並び替えを行ってもよい。そして、並び替えた用語列が、適切な用語の順序となっているかどうか判断するため、ステップＳ３０１に戻る。例えば、上述の例の場合には、用語列に含まれる用語のうち、最後の２個の「動詞、名詞」の順が異なっているため、用語並び替え手段３４は、その２個の用語を入れ替えて、「名詞、名詞、動詞」の順となるように用語を並び替えてもよい。なお、複数の同じ品詞の用語が並んでいても、その品詞の一つの用語であるとして、用語順序情報を用いた判断を行ってもよい。その場合には、並び替え後の「名詞、名詞、動詞」の順番は、用語順序情報と合うことになる。

図１１は、図８のフローチャートにおける用語列の変更の処理（ステップＳ１０４）の詳細を示すフローチャートである。なお、図１１のフローチャートは、用語列変更部１４が、図５で示されるものである場合に対応している。

（ステップＳ４０１）用語列変更部１４の検出手段３５は、用語列において用語が欠落しているかどうか判断する。そして、欠落している場合には、ステップＳ４０２に進み、そうでない場合には、図８のフローチャートに戻る。

（ステップＳ４０２）用語補足手段３６は、補足すべき用語を取得する。例えば、補足すべき用語が主語である場合には、用語補足手段３６は、前述のように、変更の対象となっている用語列よりも前の用語列に含まれる主語を補足すべき用語として取得してもよい。

（ステップＳ４０３）用語補足手段３６は、ステップＳ４０２で取得した用語を、用語列に補足する。例えば、補足する用語が主語である場合には、用語補足手段３６は、補足する用語を用語列の先頭に追加してもよい。そして、図８のフローチャートに戻る。

図１２は、図８のフローチャートにおける用語列の変更の処理（ステップＳ１０４）の詳細を示すフローチャートである。なお、図１２のフローチャートは、用語列変更部１４が、図６で示されるものである場合に対応している。

（ステップＳ５０１）用語列変更部１４の属性取得手段３７は、用語列を解析する。その解析は、例えば、意味理解エンジンによる解析や、評判解析エンジンによる解析などであってもよい。

（ステップＳ５０２）属性取得手段３７は、解析結果を基にして属性情報を取得する。この属性情報は、例えば、「楽しい」「悲しい」「普通」などの感情を示すものであってもよく、あるいは、「ポジティブ」「ネガティブ」「普通」などの評判を示すものであってもよい。

（ステップＳ５０３）属性情報付加手段３８は、属性取得手段３７の取得した属性情報を用語列に付加する。そして、図８のフローチャートに戻る。

図１３は、本実施の形態による端末装置２の動作を示すフローチャートである。このフローチャートにおいて、番組関連情報には、番組のジャンルを示す情報と、番組の内容に関する用語を示す情報とが含まれるものとする。

（ステップＳ６０１）番組関連情報受付部２２は、番組関連情報を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ６０２に進み、そうでない場合には、ステップＳ６０３に進む。

（ステップＳ６０２）番組関連情報受付部２２は、受け付けた番組関連情報を図示しない記録媒体において一時的に記憶する。そして、ステップＳ６０１に戻る。

（ステップＳ６０３）受信部２１は、番組情報の受信を開始するかどうか判断する。そして、開始する場合には、ステップＳ６０４に進み、そうでない場合には、ステップＳ６０１に戻る。受信部２１は、例えば、端末装置２が番組を受信する旨の指示を受け付けた場合に、番組情報の受信を開始すると判断してもよく、端末装置２が受信しているチャネルの番組が終了して、新たな番組が始まる際に、番組情報の受信を開始すると判断してもよく、その他のタイミングで番組情報の受信を開始すると判断してもよい。

（ステップＳ６０４）手話映像情報生成部２５は、受信を開始する番組に対応する番組関連情報に含まれる番組の内容に関する用語を示す情報に対応する手話動作情報を手話用語対応情報記憶部２３から読み出す。そして、手話映像情報生成部２５は、その手話動作情報と、その手話動作情報に対応する用語とを対応付けてキャッシュ記憶部２４に蓄積する。なお、番組関連情報に含まれる番組の内容に関する用語に対応する手話動作情報が複数存在する場合には、番組関連情報に含まれる番組のジャンルに対応する手話動作情報を選択してキャッシュ記憶部２４に蓄積してもよい。なお、キャッシュ記憶部２４の容量が大きい場合には、手話映像情報生成部２５は、番組関連情報に含まれる番組のジャンルを示す情報に対応する手話動作情報を手話用語対応情報記憶部２３から読み出して、キャッシュ記憶部２４に蓄積してもよい。

（ステップＳ６０５）受信部２１は、番組情報を受信したかどうか判断する。そして、番組情報を受信した場合には、ステップＳ６０６に進み、そうでない場合には、ステップＳ６１１に進む。なお、受信部２１は、番組情報を一フレームごとに受信してもよく、あるいは、連続する複数のフレームごとに受信してもよい。

（ステップＳ６０６）出力部２６は、受信部２１が受信した番組情報に対応する手話映像情報がすでに生成されているかどうか判断する。そして、すでに生成されている場合には、ステップＳ６１０に進み、そうでない場合には、ステップＳ６０７に進む。

（ステップＳ６０７）手話映像情報生成部２５は、番組情報に含まれる用語列を取得する。

（ステップＳ６０８）手話映像情報生成部２５は、その取得した用語列に対応する手話動作情報をキャッシュ記憶部２４、及び手話用語対応情報記憶部２３から読み出し、その手話動作情報を用いて手話映像情報を生成する。

（ステップＳ６０９）手話映像情報生成部２５は、その生成した手話映像情報を図示しない記録媒体において一時的に記憶する。

（ステップＳ６１０）出力部２６は、受信部２１が受信した番組情報に対応する手話映像情報を図示しない記録媒体から読み出し、その手話映像情報と、番組情報とを出力する。なお、出力部２６は、受信部２１が受信した番組情報と同じフレーム数だけの手話映像情報を古い方から順番に読み出して出力してもよい。

（ステップＳ６１１）受信部２１は、番組情報の受信を終了するかどうか判断する。そして、終了する場合にはステップＳ６０１に戻り、そうでない場合には、ステップＳ６０５に戻る。受信部２１は、例えば、端末装置２が番組の受信を終了する旨の指示を受け付けた場合に、番組情報の受信を終了すると判断してもよく、端末装置２が受信しているチャネルの番組が終了した場合に、番組情報の受信を終了すると判断してもよい。

なお、図１３のフローチャートにおいて、新たな用語列が取得された場合に、その用語列に対応する手話映像情報を続けて生成する場合について説明したが（ステップＳ６０７〜Ｓ６０９）、用語列からの手話映像情報の生成と、番組情報の受信や番組情報、手話映像情報の出力とを並列して行ってもよい。

また、図１３のフローチャートにおいて、ステップＳ６０６で手話映像情報がないと判断された場合であっても、ステップＳ６０５で受信した番組情報に対応する用語列がない場合、すなわち、その番組情報に対応する字幕情報がない場合には、用語列の取得や手話映像情報の生成を行わないで、その番組情報を出力する処理のみを行えばよい。

また、図１３のフローチャートにおいて、ステップＳ６０１，Ｓ６０２の処理と、ステップＳ６０３〜Ｓ６１１の処理は、並列して実行されるようにしてもよい。その場合には、番組関連情報の受け付けと、番組情報及び手話映像情報の出力とを並列して実行できるようになる。例えば、それらの処理は別スレッドや別プロセスとして処理されてもよい。
また、図１３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態による手話映像生成システムの動作について、具体例を用いて説明する。この具体例では、用語列の変更として、属性情報が付加される場合について説明する。したがって、用語列変更部１４は、図６で示されるものであるとする。また、サーバ１は、番組情報を放送する放送局であるとする。

まず、サーバ１において、番組ＩＤ「Ｐ００１」で識別される番組情報が番組情報記憶部１１に蓄積されたとする。すると、そのタイミングで、字幕情報受付部１２は、用語列を生成すると判断し（ステップＳ１０１）、その番組ＩＤ「Ｐ００１」で識別される番組情報に付加されている１番目の字幕情報「私は花を買いました」を読み出して、用語抽出部１３に渡す（ステップＳ１０２）。用語抽出部１３は、その受け取った字幕情報「私は花を買いました」を形態素解析して、その形態素解析の結果を用いて自立語である用語の並び「私」「花」「買い」を抽出し、用語列変更部１４に渡す（ステップＳ１０３）。

用語列変更部１４は、その用語列に関する変更の処理を行う（ステップＳ１０４）。具体的には、用語列変更部１４の属性取得手段３７は、受け取った用語列を解析し（ステップＳ５０１）、その用語列に対応する属性情報「普通」を取得して属性情報付加手段３８に渡す（ステップＳ５０２）。属性情報付加手段３８は、用語列「私」「花」「買い」に対して、属性情報「普通」を付加する（ステップＳ５０３）。その結果、用語列は次のようになる。なお、コロンに続く情報が属性情報である。

「私」「花」「買い」：普通

用語列変更部１４は、その変更後の用語列を、図示しない記録媒体において一時的に記憶する。図１４の１番目のレコードは、そのようにして記憶された用語列の一例を示す図である。図１４において、番組ＩＤと、タイムコード（始期）と、タイムコード（終期）と、用語列とが対応付けられている。番組ＩＤは、用語列を生成する基となった字幕情報を含んでいた番組情報を識別する番組ＩＤである。また、タイムコード（始期）は、用語列を生成する基となった字幕情報が番組情報において初めて出てくる時点の番組情報のタイムコードである。また、タイムコード（終期）は、用語列を生成する基となった字幕情報が番組情報において最後に出てくる時点の番組情報のタイムコードである。したがって、字幕情報「私は花を買いました」は、タイムコード「００（時）：００（分）：００（秒）：０１（フレーム）」から、タイムコード「００：００：０５：０２」まで存在することになる。

この後も、番組ＩＤ「Ｐ００１」で識別される番組情報の字幕情報から用語列を生成する処理が継続して行われ、図１４で示されるように、その用語列が蓄積されていくことになる（ステップＳ１０２〜Ｓ１０６）。

次に、送信部１５は、放送する番組のスケジュールを示すスケジュール表（図示せず）を参照し、番組ＩＤ「Ｐ００１」で識別される番組情報を放送するタイミングであると判断したとする（ステップＳ１０７）。すると、送信部１５は、番組情報記憶部１１から番組ＩＤ「Ｐ００１」で識別される番組情報のフレームを読み出す（ステップＳ１０８）。また、送信部１５は、図１４で示されるテーブルを参照し、その読み出したフレームのタイムコードが、タイムコード（始期）から、タイムコード（終期）までに含まれるレコードが存在するかどうか判断する。そして、存在する場合には、そのレコードに含まれる用語列を読み出す（ステップＳ１０９）。その後、送信部１５は、読み出した用語列を含む番組情報を放送する（ステップＳ１１０）。なお、送信部１５は、その番組情報を全て送信してしまうまで、番組情報を送信する処理を繰り返し実行する（ステップＳ１０８〜Ｓ１１１）。

次に、端末装置２の動作の具体例について説明する。まず、番組関連情報を受け付ける処理について説明する。番組関連情報受付部２２は、毎日、午前２時にインターネットの所定のサーバに対して、番組関連情報の送信要求を送信し、その送信に応じてそのサーバから送信されてきた番組関連情報を受信する（ステップＳ６０１）。そして、番組関連情報受付部２２は、受信した番組関連情報を図示しない記録媒体に蓄積する（ステップＳ６０２）。図１５は、そのようにして蓄積された番組関連情報の一例を示す図である。図１５において、一のレコードが一の番組に対応しており、各レコードでは、そのレコードに対応する番組を識別する番組ＩＤと、そのレコードに対応する番組のジャンルと、そのレコードに対応する番組の内容に関する用語とが対応付けられている。番組の内容に関する用語は、その番組に出てくる用語である。例えば、図１５の１番目のレコードでは、その番組で「花」や「奈緒」「大輔」などの用語が出てくることが示されている。

端末装置２のユーザが番組ＩＤ「Ｐ００１」で識別される番組情報を受信するように端末装置２の設定を行ったとする。すると、番組ＩＤ「Ｐ００１」の送信が開始されるタイミングで、受信部２１は、番組情報の受信を開始すると判断し（ステップＳ６０３）、手話映像情報生成部２５に番組ＩＤ「Ｐ００１」で識別される番組情報の受信を開始する旨を渡す。すると、手話映像情報生成部２５は、図１５で示される番組関連情報を参照し、その番組ＩＤ「Ｐ００１」に対応する番組のジャンル「ドラマ」と、番組の内容に関する用語「花」「奈緒」「大輔」等を読み出す。そして、それらの用語に対応付けられている手話用語対応情報のうち、番組のジャンル「ドラマ」に対応する手話用語対応情報を手話用語対応情報記憶部２３から読み出して、キャッシュ記憶部２４に蓄積する（ステップＳ６０４）。手話用語対応情報記憶部２３では、図１６で示される手話用語対応情報が記憶されていたとする。図１６において、用語と、番組のジャンルと、属性情報と、手話動作情報とが対応付けられている。手話映像情報生成部２５は、例えば、用語「花」に対応する手話用語対応情報をキャッシュする場合には、図１６で示される用語「花」と、番組のジャンル「ドラマ」に対応する属性情報や手話動作情報を読み出して、キャッシュ記憶部２４に蓄積することになる。

その後、端末装置２の受信部２１は、番組ＩＤ「Ｐ００１」で識別される番組情報を受信し、その番組情報を手話映像情報生成部２５と出力部２６に渡す（ステップＳ６０５）。手話映像情報生成部２５は、手話映像情報がすでに生成されて記憶されているかどうか判断する（ステップＳ６０６）。この場合には、手話映像情報はまだ記憶されていなかったとする。すると、手話映像情報は、受け取った番組情報に含まれる用語列『「私」「花」「買い」：普通』を取得する（ステップＳ６０７）。また、手話映像情報生成部２５は、図１５の情報を参照し、番組ＩＤ「Ｐ００１」で識別される番組のジャンル「ドラマ」を取得する。そして、手話映像情報生成部２５は、取得した用語列と、属性情報「普通」と、番組のジャンル「ドラマ」とを用いて、キャッシュ記憶部２４及び手話用語対応情報記憶部２３を検索し、手話動作情報「Ｄ００３」等を読み出して、手話映像情報を生成し（ステップＳ６０８）、図示しない記録媒体に一時的に記憶する（ステップＳ６０９）。なお、手話映像情報を一時的に記憶する際に、番組ＩＤ「Ｐ００１」と、用語列『「私」「花」「買い」：普通』とに対応付けて記憶してもよい。このようにすることで、その手話映像情報がどの番組のどの用語列に対応したものであるのかが分かるようになる。

出力部２６は、受信部２１から受け取った番組情報のフレーム数と同じだけの手話映像情報のフレームを図示しない記録媒体から読み出して、受信部２１から受け取った番組情報に含めて出力する（ステップＳ６１０）。例えば、その番組情報と手話映像情報とは、図１７で示されるようになる。なお、番組ＩＤ「Ｐ００１」で識別される番組情報等の出力は、その番組が終了するまで継続されることになる（ステップＳ６０５〜Ｓ６１１）。

なお、この具体例では、図１７で示されるように、番組情報の画像内に手話映像情報が含まれるようにして出力される場合について説明したが、そうでなくてもよい。例えば、図１８で示されるように、番組情報と手話映像情報とが同じ大きさで横に並べられて表示されてもよい。

また、この具体例では、用語列を、その用語列に対応する字幕情報の重畳されていたフレームに含めて送信する場合について説明したが、そうでなくてもよい。例えば、用語列から手話映像情報を生成するために必要な時間が大きい場合、すなわち、リアルタイムで手話映像情報を生成して表示することが困難な場合には、あらかじめ、用語列のみを先に送信しておき、端末装置２では、その用語列に応じた手話映像情報をあらかじめ生成しておき、その生成しておいた手話映像情報と、番組情報とを同期させて出力するようにしてもよい。その場合には、用語列と共に、手話映像情報と番組情報とを同期させるために用いられる情報も、サーバ１から端末装置２に送信されることが好適である。手話映像情報と番組情報とを同期させるために用いられる情報は、例えば、用語列に対応する字幕情報が表示されるフレームを特定することができる情報であってもよい。

以上のように、本実施の形態による手話映像生成システムによれば、サーバ１において字幕情報から用語を抽出したり、用語列に関する変更を行ったりした後に、その用語列を端末装置２に送信することによって、端末装置２に送信する情報量が少なくなると共に、端末装置２での処理量が軽減される。その結果、端末装置２において手話映像情報を生成するために必要な時間を減少させることができる。このようにして、サーバ１と端末装置２とにおいて適切な負荷分散を行うことができうる。

なお、本実施の形態では、番組情報記憶部１１で記憶されている番組情報に字幕情報が含まれる場合について説明したが、そうでなくてもよい。例えば、番組情報記憶部１１で記憶されている番組情報には、字幕情報が含まれておらず、番組情報の音声情報に対して音声認識処理を行うことによって字幕情報を取得してもよい。図１９は、その場合のサーバ１の構成を示すブロック図である。図１９において、サーバ１は、番組情報記憶部１１と、字幕情報受付部１２と、用語抽出部１３と、用語列変更部１４と、送信部１５と、音声情報受付部１６と、音声認識部１７とを備える。音声情報受付部１６、及び音声認識部１７以外の構成及び動作は、前述の説明と同様であり、その説明を省略する。音声情報受付部１６は、番組の音声情報を受け付ける。音声認識部１７は、音声情報受付部１６が受け付けた音声情報に音声認識処理を行うことによって、字幕情報を取得する。音声認識処理はすでに公知であり、その詳細な説明を省略する。なお、図１９では、音声情報受付部１６が音声情報を番組情報記憶部１１から読み出す場合について示しているが、そうでなくてもよい。例えば、音声情報受付部１６は、外部から入力された音声情報を受け付けてもよい。なお、音声情報受付部１６は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、音声情報受付部１６は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

また、本実施の形態では、サーバ１が用語列を番組情報に含めて送信する場合について説明したが、そうでなくてもよい。用語列と番組情報とを別々に送信してもよい。また、番組情報を送信しないで、用語列のみを送信するようにしてもよい。その場合には、サーバ１は、番組情報記憶部１１を備えていなくてもよい。サーバ１が番組情報記憶部１１を備えていない場合には、字幕情報受付部１２は、例えば、外部から入力された字幕情報を受け付けてもよい。また、端末装置２は、サーバ１から番組情報を受信しない場合には、他のサーバ等から番組情報を受信してもよく、あるいは、番組情報を受信しないで手話映像情報のみを出力してもよい。

また、本実施の形態では、端末装置２がキャッシュ記憶部２４を備える場合について説明したが、そうでなくてもよい。端末装置２は、キャッシュ記憶部２４を用いないで手話映像情報の生成を行ってもよい。

また、本実施の形態では、端末装置２が番組関連情報を用いて手話映像情報の生成を行う場合について説明したが、そうでなくてもよい。番組関連情報を用いないで手話映像情報の生成を行ってもよい。その場合には、端末装置２は、番組関連情報受付部２２を備えていなくてもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いるしきい値や数式、アドレス等の情報等は、上記説明で明記していない場合であっても、図示しない記録媒体において、一時的に、あるいは長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、あるいは、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、あるいは、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いるしきい値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していない場合であっても、ユーザが適宜、それらの情報を変更できるようにしてもよく、あるいは、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、手話映像生成システムに含まれる各装置の２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、あるいは、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。なお、上記実施の形態におけるサーバ１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、番組の字幕を示す情報である字幕情報を受け付ける字幕情報受付部と、前記字幕情報受付部が受け付けた字幕情報から自立語である用語を抽出する用語抽出部と、前記用語抽出部が抽出した用語の並びである用語列に関する変更を行う用語列変更部と、前記用語列変更部が変更した用語列を送信する送信部として機能させるためのプログラムである。

また、上記実施の形態における端末装置２を実現するソフトウェアは、以下のようなプログラムであってもよい。つまり、このプログラムは、コンピュータを、番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信部と、前記受信部が受信した用語列に含まれる各用語に、用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部で記憶している前記手話用語対応情報で対応付けられる手話動作情報を用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、前記手話映像情報生成部が生成した手話映像情報を出力する出力部として機能させ、前記用語列は、当該用語列の属性を示す情報である属性情報が付加されており、前記手話動作情報は、属性情報の示す属性ごとの情報を少なくとも有しており、前記手話映像情報生成部は、前記用語列に含まれる属性情報に応じた手話動作情報を用いて手話映像情報を生成する、プログラムである。

また、上記実施の形態における端末装置２を実現するソフトウェアは、以下のようなプログラムであってもよい。つまり、このプログラムは、コンピュータを、番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信部と、前記受信部が受信した用語列に対応する番組に関連する情報である番組関連情報を受け付ける番組関連情報受付部と、前記受信部が受信した用語列に含まれる各用語に、用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部で記憶されている前記手話用語対応情報で対応付けられる手話動作情報と、前記番組関連情報受付部が受け付けた番組関連情報とを用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、前記手話映像情報生成部が生成した手話映像情報を出力する出力部として機能させるためのプログラムである。

なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を受信する受信部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図２０は、上記プログラムを実行して、上記実施の形態によるサーバ１や端末装置２を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。

図２０において、コンピュータシステム９００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ９０５、ＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）ドライブ９０６を含むコンピュータ９０１と、キーボード９０２と、マウス９０３と、モニタ９０４とを備える。

図２１は、コンピュータシステム９００の内部構成を示す図である。図２１において、コンピュータ９０１は、ＣＤ−ＲＯＭドライブ９０５、ＦＤドライブ９０６に加えて、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ９１２と、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク９１４と、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１５とを備える。なお、コンピュータ９０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム９００に、上記実施の形態によるサーバ１や端末装置２の機能を実行させるプログラムは、ＣＤ−ＲＯＭ９２１、またはＦＤ９２２に記憶されて、ＣＤ−ＲＯＭドライブ９０５、またはＦＤドライブ９０６に挿入され、ハードディスク９１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ９０１に送信され、ハードディスク９１４に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ９２１やＦＤ９２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ９０１に、上記実施の形態によるサーバ１や端末装置２の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明による手話映像生成システム等によれば、サーバと端末装置とにおいて適切な負荷分散を行うことができるという効果が得られ、手話映像を生成するシステム等として有用である。

本発明の実施の形態１による手話映像生成システムの構成を示すブロック図 同実施の形態によるサーバの構成を示すブロック図 同実施の形態による用語列変更部の構成を示すブロック図 同実施の形態による用語列変更部の構成を示すブロック図 同実施の形態による用語列変更部の構成を示すブロック図 同実施の形態による用語列変更部の構成を示すブロック図 同実施の形態による端末装置の構成を示すブロック図 同実施の形態によるサーバの動作を示すフローチャート 同実施の形態によるサーバの動作を示すフローチャート 同実施の形態によるサーバの動作を示すフローチャート 同実施の形態によるサーバの動作を示すフローチャート 同実施の形態によるサーバの動作を示すフローチャート 同実施の形態による端末装置の動作を示すフローチャート 同実施の形態における用語列等の一例を示す図 同実施の形態における番組関連情報の一例を示す図 同実施の形態における手話用語対応情報の一例を示す図 同実施の形態における出力された番組情報等の一例を示す図 同実施の形態における出力された番組情報等の一例を示す図 他の実施の形態によるサーバの構成を示すブロック図 上記実施の形態におけるコンピュータシステムの外観一例を示す模式図 上記施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ サーバ
２ 端末装置
１１ 番組情報記憶部
１２ 字幕情報受付部
１３ 用語抽出部
１４ 用語列変更部
１５ 送信部
１６ 音声情報受付部
１７ 音声認識部
２１ 受信部
２２ 番組関連情報受付部
２３ 手話用語対応情報記憶部
２４ キャッシュ記憶部
２５ 手話映像情報生成部
２６ 出力部
３１ 用語対応情報記憶手段
３２ 用語変換手段
３３ 用語順序情報記憶手段
３４ 用語並び替え手段
３５ 検出手段
３６ 用語補足手段
３７ 属性取得手段
３８ 属性情報付加手段

Claims (22)

1. サーバと、端末装置とを備えた手話映像生成システムであって、
   前記サーバは、
   番組の字幕を示す情報である字幕情報を受け付ける字幕情報受付部と、
   前記字幕情報受付部が受け付けた字幕情報から自立語である用語を抽出する用語抽出部と、
   前記用語抽出部が抽出した用語の並びである用語列に関する変更を行う用語列変更部と、
   前記用語列変更部が変更した用語列を送信する送信部と、を備え、
   前記端末装置は、
   前記用語列を受信する受信部と、
   用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部と、
   前記受信部が受信した用語列に含まれる各用語に、前記手話用語対応情報で対応付けられる手話動作情報を用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、
   前記手話映像情報生成部が生成した手話映像情報を出力する出力部と、を備えた、手話映像生成システム。
2. 前記用語列変更部は、
   変換の対象となる用語である変換対象用語と、変換後の用語である変換後用語とを対応付ける情報である用語対応情報が記憶される用語対応情報記憶手段と、
   前記用語列に前記変換対象用語が含まれる場合に、当該変換対象用語に対応する変換後用語に当該変換対象用語を変換する用語変換手段と、を備えた、請求項１記載の手話映像生成システム。
3. 前記用語列変更部は、
   用語の順序を示す情報である用語順序情報が記憶される用語順序情報記憶手段と、
   前記用語順序情報が示す用語の順序となるように、前記用語列の用語の順序を並び替える用語並び替え手段と、を備えた、請求項１記載の手話映像生成システム。
4. 前記用語列変更部は、
   前記用語列において用語が欠落していることを検出する検出手段と、
   前記検出手段が用語の欠落を検出した場合に、当該用語列に用語を補足する用語補足手段と、を備えた、請求項１記載の手話映像生成システム。
5. 前記用語列変更部は、
   前記用語列の属性を取得する属性取得手段と、
   前記属性取得手段が取得した属性を示す情報である属性情報を前記用語列に付加する属性情報付加手段と、を備え、
   前記手話動作情報は、属性情報の示す属性ごとの情報を少なくとも有しており、
   前記手話映像情報生成部は、前記用語列に含まれる属性情報に応じた手話動作情報を用いて手話映像情報を生成する、請求項１記載の手話映像生成システム。
6. 前記端末装置は、
   前記受信部が受信した用語列に対応する番組に関連する情報である番組関連情報を受け付ける番組関連情報受付部をさらに備え、
   前記手話映像情報生成部は、前記番組関連情報受付部が受け付けた番組関連情報をも用いて、手話映像情報を生成する、請求項１から請求項５のいずれか記載の手話映像生成システム。
7. 前記手話用語対応情報は、用語と、手話動作情報と、番組関連情報とを対応付ける情報であり、
   前記手話映像情報生成部は、前記番組関連情報受付部が受け付けた番組関連情報に対応する手話動作情報を用いて手話映像情報を生成する、請求項６記載の手話映像生成システム。
8. 前記端末装置は、
   前記手話用語対応情報記憶部よりも高速にアクセス可能なキャッシュ記憶部をさらに備え、
   前記手話映像情報生成部は、前記番組関連情報受付部が受け付けた番組関連情報を用いて、手話動作情報を前記キャッシュ記憶部にあらかじめ記憶しておき、当該キャッシュ記憶部で記憶されている手話動作情報をも用いて手話映像情報を生成する、請求項６記載の手話映像生成システム。
9. 前記番組関連情報は、番組のジャンルを示す情報である、請求項６から請求項８のいずれか記載の手話映像生成システム。
10. 前記番組関連情報は、番組の内容に関する用語を示す情報であり、
    前記手話映像情報生成部は、前記番組関連情報の示す用語に対応する手話動作情報を前記キャッシュ記憶部に記憶しておく、請求項８記載の手話映像生成システム。
11. 前記サーバは、
    番組の音声情報を受け付ける音声情報受付部と、
    前記音声情報受付部が受け付けた音声情報に音声認識処理を行うことによって字幕情報を取得する音声認識部と、をさらに備え、
    前記字幕情報受付部は、前記音声認識部が音声認識処理を行った結果である字幕情報を受け付ける、請求項１から請求項１０のいずれか記載の手話映像生成システム。
12. 前記サーバは、
    番組の情報である番組情報が記憶される番組情報記憶部をさらに備え、
    前記送信部は、前記用語列と共に、当該用語列に対応する番組情報を前記番組情報記憶部から読み出して送信し、
    前記受信部は、前記用語列と共に、前記送信部が送信した番組情報をも受信し、
    前記出力部は、手話映像情報と共に、前記受信部が受信した番組情報をも出力する、請求項１から請求項１１のいずれか記載の手話映像生成システム。
13. 前記送信部は、情報を放送するものである、請求項１から請求項１２のいずれか記載の手話映像生成システム。
14. 番組の字幕を示す情報である字幕情報を受け付ける字幕情報受付部と、
    前記字幕情報受付部が受け付けた字幕情報から自立語である用語を抽出する用語抽出部と、
    前記用語抽出部が抽出した用語の並びである用語列に関する変更を行う用語列変更部と、
    前記用語列変更部が変更した用語列を送信する送信部と、を備えたサーバ。
15. 番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信部と、
    用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部と、
    前記受信部が受信した用語列に含まれる各用語に、前記手話用語対応情報で対応付けられる手話動作情報を用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、
    前記手話映像情報生成部が生成した手話映像情報を出力する出力部と、を備え、
    前記用語列は、当該用語列の属性を示す情報である属性情報が付加されており、
    前記手話動作情報は、属性情報の示す属性ごとの情報を少なくとも有しており、
    前記手話映像情報生成部は、前記用語列に含まれる属性情報に応じた手話動作情報を用いて手話映像情報を生成する、端末装置。
16. 番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信部と、
    用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部と、
    前記受信部が受信した用語列に対応する番組に関連する情報である番組関連情報を受け付ける番組関連情報受付部と、
    前記受信部が受信した用語列に含まれる各用語に前記手話用語対応情報で対応付けられる手話動作情報と、前記番組関連情報受付部が受け付けた番組関連情報とを用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、
    前記手話映像情報生成部が生成した手話映像情報を出力する出力部と、を備えた端末装置。
17. 番組の字幕を示す情報である字幕情報を受け付ける字幕情報受付ステップと、
    前記字幕情報受付ステップ受け付けた字幕情報から自立語である用語を抽出する用語抽出ステップと、
    前記用語抽出ステップで抽出した用語の並びである用語列に関する変更を行う用語列変更ステップと、
    前記用語列変更ステップで変更した用語列を送信する送信ステップと、を備えた情報処理方法。
18. 番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信ステップと、
    前記受信ステップで受信した用語列に含まれる各用語に、用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部で記憶されている前記手話用語対応情報で対応付けられる手話動作情報を用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成ステップと、
    前記手話映像情報生成ステップで生成した手話映像情報を出力する出力ステップと、を備え、
    前記用語列は、当該用語列の属性を示す情報である属性情報が付加されており、
    前記手話動作情報は、属性情報の示す属性ごとの情報を少なくとも有しており、
    前記手話映像情報生成ステップでは、前記用語列に含まれる属性情報に応じた手話動作情報を用いて手話映像情報を生成する、情報処理方法。
19. 番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信ステップと、
    前記受信ステップで受信した用語列に対応する番組に関連する情報である番組関連情報を受け付ける番組関連情報受付ステップと、
    前記受信ステップで受信した用語列に含まれる各用語に、用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部で記憶されている前記手話用語対応情報で対応付けられる手話動作情報と、前記番組関連情報受付ステップで受け付けた番組関連情報とを用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成ステップと、
    前記手話映像情報生成ステップで生成した手話映像情報を出力する出力ステップと、を備えた情報処理方法。
20. コンピュータを、
    番組の字幕を示す情報である字幕情報を受け付ける字幕情報受付部と、
    前記字幕情報受付部が受け付けた字幕情報から自立語である用語を抽出する用語抽出部と、
    前記用語抽出部が抽出した用語の並びである用語列に関する変更を行う用語列変更部と、
    前記用語列変更部が変更した用語列を送信する送信部として機能させるためのプログラム。
21. コンピュータを、
    番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信部と、
    前記受信部が受信した用語列に含まれる各用語に、用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部で記憶している前記手話用語対応情報で対応付けられる手話動作情報を用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、
    前記手話映像情報生成部が生成した手話映像情報を出力する出力部として機能させ、
    前記用語列は、当該用語列の属性を示す情報である属性情報が付加されており、
    前記手話動作情報は、属性情報の示す属性ごとの情報を少なくとも有しており、
    前記手話映像情報生成部は、前記用語列に含まれる属性情報に応じた手話動作情報を用いて手話映像情報を生成する、プログラム。
22. コンピュータを、
    番組の字幕を示す情報である字幕情報から抽出された自立語である用語の並びである用語列を受信する受信部と、
    前記受信部が受信した用語列に対応する番組に関連する情報である番組関連情報を受け付ける番組関連情報受付部と、
    前記受信部が受信した用語列に含まれる各用語に、用語と、当該用語に対応した手話の動作に関する情報である手話動作情報とを対応付ける情報である手話用語対応情報が記憶される手話用語対応情報記憶部で記憶されている前記手話用語対応情報で対応付けられる手話動作情報と、前記番組関連情報受付部が受け付けた番組関連情報とを用いて、当該用語列に対応する手話の映像を示す情報である手話映像情報を生成する手話映像情報生成部と、
    前記手話映像情報生成部が生成した手話映像情報を出力する出力部として機能させるためのプログラム。

Images