JP2006098810A - 通訳装置、通訳システム、通訳方法、その通訳方法をコンピュータに実行させることができるプログラム、及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 手話通訳において誤訳のような表現上の差異が生じることを前提としつつも、ろう者に対してその表現上の差異を正す機会を担保する通訳方法等を提供する。
【解決手段】 通訳方法では、ろう者のようなユーザが表現した手話の内容が通訳者により通訳されて音声によって表現され、音声認識部によりその音声によって表現された内容を自動音声認識し、認識された内容をユーザが視認できるように文字によって表示し（ステップＳ２）、表示された内容と表現した手話の内容との間に表現上の差異が生じていることをユーザが認識した結果(ステップＳ３)、ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を通訳者に報知する（ステップＳ４）。
【選択図】 図４

Description

本発明は、通訳装置、通訳システム、通訳方法、その通訳方法をコンピュータに実行させることができるプログラム、及びそのプログラムを記録した記録媒体に関し、特に手話についての通訳装置等に関する。

近年、ろう者或いはろうあ者のような聴覚障害者と健聴者との間を通訳するサービスが提供されてきている。その通訳を介するコミュニケーションの際には、ろう者等が手話を用いて表現された内容を通訳者が見て、内容を理解した通訳者が健聴者に対して音声によりその内容を伝え、また健聴者が音声により表現した内容を通訳者が聞いて、内容を理解した通訳者がろう者等に対して手話を用いてその内容が伝えられる。

このようなサービスでは、例えば通訳者をセンターに配置するためにテレビ電話が利用されて行われる（非特許文献１、非特許文献２、非特許文献３参照）。

日本経済新聞 ２００４年３月３０日（火曜日） 日刊 毎日新聞 ２００４年３月３０日（火曜日） 日刊 西日本新聞 ２００４年３月３０日（火曜日） 日刊

しかしながら、テレビ等の普及により音声による言語が標準化されてきたため健聴者同士が音声によりコミュニケーションをとることは比較的容易化している一方、ろう者等と通訳者との間では、方言、年齢、育った環境、性格などの違いがそれぞれの手話による表現内容にも反映してしまい、コミュニケーションがとりづらい場合が生じている。特に、初対面同士では、コミュニケーションがとりづらいことが頻繁に生じる可能性が大きい。

その原因には、以下のことが挙げられる。通訳者が健聴者に対してろう者等が手話で表現した内容を音声で伝える場合に誤訳のような表現上の差異を生じさせても、ろう者等は音声による認識が困難なためその差異を把握できない。また、通訳者がろう者等に対して健聴者が音声で表現した内容を手話で伝える場合に誤訳のような表現上の差異を生じさせても、ろう者等はこの場合もその差異を把握できない。

そして、上記誤訳のような表現上の差異が生じてしまい、ろう者等と健聴者間の会話に一旦齟齬が生まれると、その修復は健聴者同士のコミュニケーションの場合とは異なり極めて困難であるという問題がある。このような問題により、場合によってはろう者等は表現上の差異を正すことを諦めてしまうという場合も起こっている。

ゆえに、本発明は、上記誤訳のような表現上の差異が生じることを前提としつつも、ろう者等に対してその表現上の差異を正す機会を担保する通訳装置、通訳システム、通訳方法、その通訳方法をコンピュータに実行させることができるプログラム、及びそのプログラムを記録した記録媒体を提供することを目的とする。

請求項１に係る発明は、通訳装置であって、ユーザが表現した手話の内容が通訳者により通訳されて音声によって表現され、その音声によって表現された内容を自動音声認識する音声認識手段と、前記音声認識手段により認識された内容を前記ユーザが視認できるように文字によって表示する表示手段と、前記表示手段により表示された内容と前記表現した手話の内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知する報知手段と、を備える。

請求項２に係る発明は、請求項１において、前記報知手段が前記ユーザに対しては表現上の差異が生じている旨を視認可能な状態で報知できることを特徴とする。

請求項３に係る発明は、請求項１又は２において、前記報知手段が前記通訳者によって通訳されて音声によって表現された内容を聞く者に対しも表現上の差異が生じている旨を報知することを特徴とする。

請求項４に係る発明は、請求項１において、前記ユーザが表現する手話の内容を録画可能であり、前記音声認識手段が自動音声認識する内容も記録可能であり、前記ユーザが所定の入力操作を行うことに応答して、前記ユーザが表現した内容の時点まで遡って録画すると共に、対応する自動音声認識された内容も記録することを特徴とする。

請求項５に係る発明は、通訳装置であって、音声により表現された内容が通訳者により通訳されて手話によって表現されると共に音声により復唱され、その復唱された内容を自動音声認識する音声認識手段と、前記音声認識手段により認識された内容を手話により会話するユーザが視認できるように文字によって表示する表示手段と、前記表示手段により表示された内容と前記通訳されて手話によって表現された内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知する報知手段と、を備える。

請求項６に係る発明は、請求項５において、前記報知手段が前記ユーザに対しては表現上の差異が生じている旨を視認可能な状態で報知できることを特徴とする。

請求項７に係る発明は、請求項５において、前記通訳者が通訳して手話によって表現される内容を録画可能であり、前記音声認識手段が自動音声認識する内容も記録可能であり、前記ユーザが所定の入力操作を行うことに応答して、前記通訳者が通訳して手話によって表現した内容の時点まで遡って録画すると共に、対応する自動音声認識された内容も記録することを特徴とする。

請求項８に係る発明は、請求項１又は５の通訳装置における音声認識手段及び報知手段を有する通訳者用情報端末と、前記通訳者用情報端末と情報通信ネットワークを介して接続し且つ請求項１又は５の通訳装置における表示手段を有するユーザ用情報端末と、を備える通訳システムである。

請求項９に係る発明は、請求項８において、複数の通訳者のそれぞれの属性を示す属性情報を記録するサーバを備え、前記サーバが前記ユーザ用情報端末の位置情報及び前記各通訳者の属性情報に基づいて決定される通訳者リストであって各通訳者を示す画像付きのリストを作成し、前記ユーザ用情報端末が前記情報通信ネットワークを介して前記サーバが作成したリストを取得して表示可能であることを特徴とする通訳システムである。

請求項１０に係る発明は、通訳方法であって、ユーザが表現した手話の内容が通訳者により通訳されて音声によって表現され、音声認識手段がその音声によって表現された内容を自動音声認識するステップと、表示手段が前記音声認識手段により認識された内容を前記ユーザが視認できるように文字によって表示するステップと、前記表示手段により表示された内容と前記表現した手話の内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、報知手段により前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知するステップと、を含む。

請求項１１に係る発明は、通訳方法であって、音声により表現された内容が通訳者により通訳されて手話によって表現されると共に音声により復唱され、音声認識手段がその復唱された内容を自動音声認識するステップと、表示手段が前記音声認識手段により認識された内容を手話により会話するユーザが視認できるように文字によって表示するステップと、前記表示手段により表示された内容と前記通訳されて手話によって表現された内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、報知手段により前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知するステップと、を含む。

請求項１２に係る発明は、請求項１０又は１１記載の通訳方法をコンピュータに実行させることが可能なプログラムである。

請求項１３に係る発明は、請求項１２記載のプログラムをコンピュータが実行することが可能にて記録した記録媒体である。

この発明によれば、ユーザが表現した手話の内容が通訳者により通訳されて音声によって表現され、音声認識手段がその音声によって表現された内容を自動音声認識し、表示手段が音声認識手段により認識された内容をユーザが視認できるように文字によって表示し、表示手段により表示された内容とユーザが表現した手話の内容との間に表現上の差異が生じていることをユーザが認識した結果、報知手段によりユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を通訳者に報知する。また、音声により表現された内容が通訳者により通訳されて手話によって表現されると共に音声により復唱され、音声認識手段がその復唱された内容を自動音声認識し、表示手段が音声認識手段により認識された内容を手話により会話するユーザが視認できるように文字によって表示し、表示手段により表示された内容と通訳されて手話によって表現された内容との間に表現上の差異が生じていることをユーザが認識した結果、報知手段によりユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を通訳者に報知する。したがって、ユーザとしてのろう者等に対してその表現上の差異を正す機会を担保することが可能となる。

この発明によれば、ユーザが表現する手話の内容を録画可能であり、音声認識手段が自動音声認識する内容も記録可能であり、ユーザが所定の入力操作を行うことに応答して、ユーザが表現した内容の時点まで遡って録画すると共に、対応する自動音声認識された内容も記録する。また、通訳者が通訳して手話によって表現される内容を録画可能であり、音声認識手段が自動音声認識する内容も記録可能であり、ユーザが所定の入力操作を行うことに応答して、通訳者が通訳して手話によって表現した内容の時点まで遡って録画すると共に、対応する自動音声認識された内容も記録する。したがって、記録内容から表現上の差異を生じた事例分析をすることも可能となる。

図１は、本発明の実施の形態に係る通訳システムの概略を示した図である。

通訳システム１は、手話通訳センター３と、手話通訳センター５と、在宅手話通訳者３９が使用する通訳者用情報端末７と、ろう者用情報端末４３と(以下、説明の便宜上、聴覚障害者としての「ろう者」、「ろうあ者」のうちの「ろう者」を例にとる。)、ろう者用情報端末４９と、ろう者用情報端末５５と、ろう者用情報端末６１とを備える。手話通訳センター３内には、手話通訳者１９が使用する通訳者用情報端末２１と、手話通訳者２３が使用する通訳者用情報端末２５と、サーバー２７とが設けられている。手話通訳センター５内には、手話通訳者２９が使用する通訳者用情報端末３１と、手話通訳者３３が使用する通訳者用情報端末３５と、サーバー３７とが設けられている。これらは、情報通信ネットワーク９を介して接続し、音声データと画像データ（動画データを含む）を互いに通信できる。

ろう者用情報端末４３はろう者４１に対して応対する対応者４５が居る例えば店舗１１に設置される。ろう者用情報端末４９はろう者４７に対して応対する対応者５１が居る例えば空港１３に設置される。ろう者用情報端末５５はろう者５３に対して応対する対応者５７が居る例えば病院１５に設置される。ろう者用情報端末６１はろう者５９に対して応対する対応者６３が居る例えば地方自治体関連施設１７に設置される。

図２は、図１の通訳者用情報端末２１の構成を説明するための図である。

通訳者用情報端末２１は、マイク２１ａ、スピーカ２１ｂ、音声認識部２１ｃ、報知部２１ｄ、記録部２１ｅ、及び表示部２１ｆを備え、カメラ２２に接続する。通訳者用情報端末２５、通訳者用情報端末３１、通訳者用情報端末３５、通訳者用情報端末７も、同様な構成をしている。

図３は、図１のろう者用情報端末４３の構成を説明するための図である。

ろう者用情報端末４３は、マイク４３ａ、スピーカ４３ｂ、報知部４３ｃ、記録部４３ｄ、操作部４３ｅ、及び表示部４３ｆを備え、カメラ４４に接続する。表示部４３ｆには、文字表示領域４３ｇが形成されている。ろう者用情報端末４９、ろう者用情報端末５５、ろう者用情報端末６１も、同様な構成をしている。

以下、図２及び図３に示した各構成の動作について、ろう者４１と対応者４５との間の会話を手話通訳者１９が通訳する場合を例にして説明する。

マイク２１ａは手話通訳者１９の音声を集音する。マイク４３ａはろう者４１に応対する対応者４５の音声を集音する。スピーカ２１ｂは、マイク４３ａが集音した対応者４５の音声を発する。スピーカ４３ｂは、マイク２１ａが集音した手話通訳者１９の音声を発する。これにより、対応者４５と手話通訳者１９との間の音声による会話が可能になっている。

音声認識部２１ｃは手話通訳者１９が発した音声を自動音声認識し、表示部４３の文字表示領域４３ｇには手話通訳者１９が音声にて発した内容が認識結果として文字にて表示される。報知部２１ｄは手話通訳者１９が手話通訳の際に誤訳のような表現上の差異を生じさせてしまった場合にその旨を手話通訳者１９に報知するものであり、報知部４３ｃは上記旨をろう者４１或いは対応者４５に報知するものであり、その報知はろう者が上記表現上の差異を認識してボタンのような操作部４３ｅを使った入力操作を行うことに応答して行われる。

なお、報知部２１ｄが手話通訳者１９に報知する手法は音、ランプの点滅、点灯、消灯などの手法、可能であれば振動を使った手法でもよいが、報知部４３ｃがろう者４１に報知する手法はランプの点滅等の視覚により認識可能な手法が好ましい。また、報知部４３ｃが必ずしもろう者４１及び対応者４５に対して共通の報知部としての役割を果たす必要はなく、例えば報知部４３ｃはろう者４１用とし別の報知手段を対応者４５用に設けてもよい。さらに、報知部４３ｃは対応者４５用として音により報知するようにしておき、ろう者４１用には、手話通訳者１９との共用という形で報知部２１ｄをランプという形態とし、或いは報知部２１ｄとは異なる別のランプという形態とし、そのランプがカメラ２２により撮像されて表示部４３ｆに映し出されて、点滅等により報知する手法でもよい。

カメラ２２は手話通訳者１９の姿を撮像するものであり、カメラ４４はろう者４１の姿を撮像するものであり、カメラ２２により撮像された手話通訳者１９の姿が表示部４３ｆに映し出され、カメラ４４により撮像されたろう者４１の姿が表示部２１ｆに映し出され、これらにより手話通訳者１９とろう者４１とは手話による会話が可能になっている。

記憶部２１ｅと記憶部４３ｄの動作は後述する。

図４は、ろう者４１と対応者４５との間の会話を手話通訳者１９が通訳する場合を例にした通訳処理において、手話通訳者１９が誤訳のような表現上の差異を生じさせたときの処理も含めたフロー図である。

まず、ろう者４１が対応者４５に対して話しかける処理を説明する。

ろう者４１がろう者用情報端末４３を利用して手話により手話通訳者１９に問いかける（ステップＳ１）。手話通訳者１９は、通訳者用情報端末２１を利用してろう者４１が問いかけた手話内容を理解して、言語表現によってその内容を通訳して音声により対応者４５に伝える。その際、手話通訳者１９が発した音声内容が音声認識部２１ｃによる自動音声認識により認識されて、その内容が図３の文字表示領域４３ｇに文字表示によりろう者４１に示される（ステップＳ２）。

ろう者４１は、文字表示された内容と手話により表現した内容とを比較し、その内容が一致するか否かをチェック可能であり（ステップＳ３）、手話通訳者１９が誤訳のような表現上の差異を生じてしまい、対応者４５に伝えるべき内容が適切でないと判断すれば、操作部４３ｅを使った入力操作により報知部２１ｄを動作させて手話通訳者１９にその旨を伝えることが可能であり、報知部４３ｃを動作させて対応者４５にその旨を伝えることが可能である（ステップＳ４）。

次に、対応者４５がろう者４１に対して話かける処理について説明する。

対応者４５は、ろう者４１から問いかけられた内容を理解して、返答を音声により手話通訳者１９に伝える（ステップＳＴ１）。手話通訳者１９は、その内容を通訳して手話表現によってろう者４１に伝える。その際、手話通訳者１９は対応者４５から聞いた内容を復唱し、復唱された内容は音声認識部２１ｃにより自動音声認識される。手話内容は表示部４３ｆに表示され、自動音声認識された内容は文字表示領域４３ｇに文字表示される（ステップＳＴ２）。

ろう者４１は、表示された手話内容と文字表示された内容との間に表現上の差異があるときには、操作部４３ｅを使った入力操作により報知部２１ｄを動作させて手話通訳者１９にその旨を伝えることが可能であり、報知部４３ｃを動作させて対応者４５にその旨を伝えることが可能である（ステップＳＴ４）。

このようなろう者４１による指摘により、誤訳のような表現上の差違を正す機会がろう者４１に担保されることになり、ろう者４１が対応者４５との間のコミュニケーションを適切に図ることができるばかりか、手話通訳者１９との間のコミュニケーションを円滑に図ることも可能になる。

図５は、図４に示したフロー図の処理に加え、図２の記録部２１ｅ及び図３の記録部４３ｄが動作する処理も示したフロー図である。以下、図４と異なる処理を主に説明する。

ろう者４１が操作部４３ｅを使った入力操作を行うと（ステップＳ３）、ステップＳ１における時点まで遡って記録部２１ｅ及び記録部４３ｄにより記録が開始され、ステップＳ１におけるろう者４１の手話内容の画像が録画され、ステップＳ２における文字表示領域４３ｇに示された文字表示内容が記録され、さらにろう者４１が正しい通訳がなされたと判断して操作部４３ｅを使った他の入力操作が行われるまでの表示部２１ｆに映し出された画像及び表示部４３ｆに映し出された画像が録画される（ステップＳ５）。ここで、文字表示領域４３ｇに示される文字表示内容は、文字表示領域４３ｇに映し出される画像として録画されてもよく、音声認識部２１ｃが認識した音声認識データとして記録されてもよい。

同様に、ろう者４１が操作部４３ｅを使った入力操作を行うと（ステップＳＴ３）、ステップＳＴ２における時点まで遡って記録部２１ｅ及び記録部４３ｄにより記録が開始され、ステップＳＴ２における手話通訳者１９の手話内容の画像が録画され、文字表示領域４３ｇに示された文字表示内容が記録され、さらにろう者４１が表現上の差違が抑えられて適切な表現となったと判断して操作部４３ｅを使った他の入力操作が行われるまでの表示部２１ｆに映し出された画像及び表示部４３ｆに映し出された画像が録画される（ステップＳＴ５）。ここで、文字表示領域４３ｇに示される文字表示内容は、文字表示領域４３ｇに映し出される画像として録画されてもよく、音声認識部２１ｃが認識した音声認識データとして記録されてもよい。

なお、ステップＳ５において、上記と異なり、ステップＳ１におけるろう者４１の手話内容の画像が録画され、ステップＳ２における文字表示領域４３ｇに示された文字表示内容が記録される時点で記録（録画）を終えてもよい。同様に、ステップＳＴ５においては、上記と異なり、ステップＳＴ２における手話通訳者１９の手話内容の画像が録画され、文字表示領域４３ｇに示された文字表示内容が記録される時点で記録（録画）を終了してもよい。

また、図２及び図３に示した例では、記録部２１ｅ及び記録部４３ｄを設けたが、情報通信ネットワーク９を介して接続しているのでいずれか一方でもよい。さらに、遡って記録する記録部は通訳者用情報端末２１及びろう者用情報端末４３には設けず、サーバー２７のようにデータ管理側に設けてもよい。

このような記録（録画）が行われることにより、事案が蓄えられれば蓄えられるほど手話と音声言語との間の表現上の差違を事例分析できるため、手話の地域性を把握でき、或いはろう者若しくは手話通訳者の個人的な手話の特徴を把握でき、その結果を利用して手話通訳者の能力向上のための訓練を行うこともでき、また後述するろう者と手話通訳者との間のマッチングの向上を図ることができ、さらに好ましい通訳システムの構築を目指すことができる。

図６は、ろう者と手話通訳者とのマッチング処理及びろう者による手話通訳の評価処理を含む手話通訳の全体処理を示した図である。

図１のサーバー２７、サーバー３７は、複数の手話通訳者１９、２３、２９、３３、３９のそれぞれの属性を示す属性情報とスケジュール情報を管理し、ろう者４１、４７、５３、５９のそれぞれからの通訳サービスの予約を受け付けて管理する。ここで、図６では属性情報６５には、氏名、年齢、顔などを写した写真、活動地域、使用手話の種類、手話通訳履歴、ろう者による評価結果データが含まれる。なお、手話通訳履歴は、本サービスにおいていずれのろう者に対してサービスを担当したかについての履歴のほか、本サービス以外のボランティア等での過去の実績についての履歴も含まれる。

図６に戻って、ステップＴ１では、例えばろう者用情報端末４３から通訳サービスを受けるための手話通訳者についての問い合わせが例えばサーバー２７に対して行われる。サーバー２７は手話通訳者のリストを作成するリスト作成部を有しており、各手話通訳者の写真を含むリストがろう者用情報端末４３の表示部４３ｆに表示される。ろう者４１は、リストから写真などをもとにして手話通訳者を任意に選択し（ステップＴ３）、希望する手話通訳者を決定する（ステップＴ４）。

そして、決定された手話通訳者との間での手話通訳が開始され（ステップＴ５）、前述した処理により手話通訳サービスが実行されて、その後手話通訳が終了すると（ステップＴ６）、ろう者による通訳の評価が行われてそのデータ入力により（ステップＴ７）、サーバー２７等はろう者評価についての属性情報をデータ更新する。

このようなろう者と手話通訳者とのマッチング処理及びろう者による手話通訳の評価処理が行われることにより、通訳サービスをろう者にとってより適切なものとできる。

なお、上記ではろう者が手話通訳者を決定可能としたが、初めてこのサービスを受けるろう者にとっては手話通訳者を決定することが困難な場合があるため、例えば選択動作が一定時間行われない場合には提示されたリストにおける第一候補の手話通訳者と自動的に回線が接続してろう者が手話できるようにしてもよい。

また、リストに掲載される手話通訳者は、アクセスしてきたろう者用情報端末の所在地についての位置情報に基づいて決定されてもよい。この場合は、手話における地域性が考慮されたリスト内容となり、地域性に伴う前述した表現上の差違が生じてしまう可能性を抑えることができる。

さらに、リストに掲載される手話通訳者については、事前に各手話通訳者が通訳サービスに従事できる時間帯をサーバー２７等に登録しておき、そのスケジュールに合致することも考慮されることが好ましい（図７参照）。

さらに、リストに掲載される手話通訳者については、初めてサービスを利用したろう者に対してＩＤ番号（携帯電話番号など）を付与しておき、そのＩＤ番号をろう者が入力することにより、過去にサービスを受けた手話通訳者が優先的にリストアップされるようにしてもよい。

図７は、サーバー２７にろう者がサービスを受けるための予約を行うこと及びサーバー２７に手話通訳者がサービスに従事できる時間帯を登録することをさらに説明するための図である。

ろう者は、携帯電話６７或いは自宅のパーソナルコンピュータなどから予約のための電子メールをサーバー２７に送ることにより、或いはサーバー２７のホームページにアクセスすることにより予約の受付が可能になっている。手話通訳者も、携帯電話６７、手話通訳用情報端末２１或いは自宅のパーソナルコンピュータなどからサービスに従事できる時間帯の登録のための電子メールをサーバー２７に送ることにより、或いはサーバー２７のホームページにアクセスすることによりスケジュールの登録が可能になっている。

図８はろう者用情報端末にカメラが２台接続する場合を示す図であり、図９はこの場合において通訳者用情報端末の表示部の状態を示す図である。

図２及び図３とは異なり、ろう者用情報端末４３にはカメラ４４ａとカメラ４４ｂとが接続され、通訳者用情報端末の表示部２１ｆにはカメラ４４ａの映像とカメラ４４ｂの映像が映し出される。このように２カメラにすることにより、例えばろう者がカタログ、資料などを使って手話を行う場合であっても、例えばカメラ４４ａによりろう者の姿を撮像して映し出しつつ、カメラ４４ｂによりカタログ等を映し出すことができる。

図１０は、図３のカメラ４４或いは図８のカメラ４４ａ及びカメラ４４ｂを遠隔操作するための構成を示すブロック図である。

手話通訳者１９は、通訳用情報端末２１に内蔵された或いは外部接続するろう者カメラ制御装置６７を用いてろう者用情報端末４３に内蔵された或いは外部接続するパン制御部６９、チルト制御部７１、ズーム制御部７３に制御信号を送り、ろう者用情報端末４３に接続するカメラ４４（或いはカメラ４４ａ、４４ｂ）の向き、ズーム等を遠隔操作可能である。このような遠隔操作により、ろう者がカメラ位置などを考慮していない場合であっても、手話に最適な状況へのセッティングが可能となる。

なお、上記の実施の形態では、ろう者用情報端末には手話通訳者側の映像のみを表示させ、通訳者用情報端末にはろう者側の映像のみを表示させることとしたが、これに限らない。例えば、ろう者用情報端末と通訳者用情報端末とのそれぞれに、手話通訳者側の映像及びろう者側の映像の両方が表示されてもよい。さらに、ろう者用情報端末に１台のカメラを追加接続し、手話通訳者側の映像として手話通訳者に関する映像に加えて対応者に関する映像を表示してもよい。

また、上記実施の形態では、ろう者用情報端末と通訳者用情報端末を情報通信ネットワークで接続したが、ろう者、手話通訳者及び対応者のいずれもが互いに遠方に居るなどの理由から対応者用情報端末も情報通信ネットワークに接続したシステム構成であってもよい。

さらに、上記実施の形態では、手話通訳者の数に限りがあることから手話通訳者を手話通訳センターに配置してろう者と手話通訳者とが互いに遠方に居ることを想定したシステム構成としたが、ろう者、手話通訳者及び対応者が例えば同じ店舗内にて１台の情報端末を通訳装置として利用した形態であってもよい。その場合には、図２に示した構成と図３に示した構成のうち、音声認識部及び表示部における文字表示領域以外の構成は必要に応じて共通化等により簡素化されればよい。

本発明の実施の形態に係る通訳システムの概略を示した図である。 図１の通訳者用情報端末２１の構成を説明するための図である。 図１のろう者用情報端末４３の構成を説明するための図である。 ろう者４１と対応者４５との間の会話を手話通訳者１９が通訳する場合を例にした通訳処理において、手話通訳者１９が誤訳のような表現上の差異を生じさせたときの処理も含めたフロー図である。 図４に示したフロー図の処理に加え、図２の記録部２１ｅ及び図３の記録部４３ｄが動作する処理も示したフロー図である。 ろう者と手話通訳者とのマッチング処理及びろう者による手話通訳の評価処理を含む手話通訳の全体処理を示した図である。 サーバー２７にろう者がサービスを受けるための予約を行うこと及びサーバー２７に手話通訳者がサービスに従事できる時間帯を登録することをさらに説明するための図である。 ろう者用情報端末にカメラが２台接続する場合を示す図である。 図８の場合において通訳者用情報端末の表示部の状態を示す図である。 図３のカメラ４４或いは図８のカメラ４４ａ及びカメラ４４ｂを遠隔操作するための構成を示すブロック図である。

符号の説明

１ 通訳システム
７、２１、２５、３１、３５ 通訳者用情報端末
２１ｃ 音声認識部
２１ｄ、４３ｃ 報知部
２７、３７ サーバー
４３、４９、５５、６１ ろう者用情報端末
４３ｅ 操作部
４３ｇ 文字表示領域

Claims (13)

1. 通訳装置であって、
   ユーザが表現した手話の内容が通訳者により通訳されて音声によって表現され、その音声によって表現された内容を自動音声認識する音声認識手段と、
   前記音声認識手段により認識された内容を前記ユーザが視認できるように文字によって表示する表示手段と、
   前記表示手段により表示された内容と前記表現した手話の内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知する報知手段と、
   を備えた通訳装置。
2. 前記報知手段は、前記ユーザに対しては表現上の差異が生じている旨を視認可能な状態で報知できることを特徴とする、請求項１記載の通訳装置。
3. 前記報知手段は、前記通訳者によって通訳されて音声によって表現された内容を聞く者に対しも表現上の差異が生じている旨を報知することを特徴とする、請求項１又は２記載の通訳装置。
4. 前記ユーザが表現する手話の内容を録画可能であり、
   前記音声認識手段が自動音声認識する内容も記録可能であり、
   前記ユーザが所定の入力操作を行うことに応答して、前記ユーザが表現した内容の時点まで遡って録画すると共に、対応する自動音声認識された内容も記録することを特徴とする、請求項１記載の通訳装置。
5. 通訳装置であって、
   音声により表現された内容が通訳者により通訳されて手話によって表現されると共に音声により復唱され、その復唱された内容を自動音声認識する音声認識手段と、
   前記音声認識手段により認識された内容を手話により会話するユーザが視認できるように文字によって表示する表示手段と、
   前記表示手段により表示された内容と前記通訳されて手話によって表現された内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知する報知手段と、
   を備えた通訳装置。
6. 前記報知手段は、前記ユーザに対しては表現上の差異が生じている旨を視認可能な状態で報知できることを特徴とする、請求項５記載の通訳装置。
7. 前記通訳者が通訳して手話によって表現される内容を録画可能であり、
   前記音声認識手段が自動音声認識する内容も記録可能であり、
   前記ユーザが所定の入力操作を行うことに応答して、前記通訳者が通訳して手話によって表現した内容の時点まで遡って録画すると共に、対応する自動音声認識された内容も記録することを特徴とする、請求項５記載の通訳装置。
8. 請求項１又は５の通訳装置における音声認識手段及び報知手段を有する通訳者用情報端末と、
   前記通訳者用情報端末と情報通信ネットワークを介して接続し且つ請求項１又は５の通訳装置における表示手段を有するユーザ用情報端末と、
   を備えた通訳システム。
9. 複数の通訳者のそれぞれの属性を示す属性情報を記録するサーバを備え、
   前記サーバは、前記ユーザ用情報端末の位置情報及び前記各通訳者の属性情報に基づいて決定される通訳者リストであって各通訳者を示す画像付きのリストを作成し、
   前記ユーザ用情報端末は、前記情報通信ネットワークを介して前記サーバが作成したリストを取得して表示可能であることを特徴とする、請求項８記載の通訳システム。
10. 通訳方法であって、
    ユーザが表現した手話の内容が通訳者により通訳されて音声によって表現され、音声認識手段がその音声によって表現された内容を自動音声認識するステップと、
    表示手段が前記音声認識手段により認識された内容を前記ユーザが視認できるように文字によって表示するステップと、
    前記表示手段により表示された内容と前記表現した手話の内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、報知手段により前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知するステップとを含む、通訳方法。
11. 通訳方法であって、
    音声により表現された内容が通訳者により通訳されて手話によって表現されると共に音声により復唱され、音声認識手段がその復唱された内容を自動音声認識するステップと、
    表示手段が前記音声認識手段により認識された内容を手話により会話するユーザが視認できるように文字によって表示するステップと、
    前記表示手段により表示された内容と前記通訳されて手話によって表現された内容との間に表現上の差異が生じていることを前記ユーザが認識した結果、報知手段により前記ユーザが所定の入力操作を行うことにより表現上の差異が生じている旨を前記通訳者に報知するステップとを含む、通訳方法。
12. 請求項１０又は１１記載の通訳方法をコンピュータに実行させることが可能なプログラム。
13. 請求項１２記載のプログラムをコンピュータが実行することが可能にて記録した記録媒体。
    
    
    
    
    
    
    
    
    
    

Images