JP2000308198A - 補聴器 - Google Patents

Abstract

(57)【要約】 【課題】 喉頭摘出や舌口腔底切除や構音障害等による
音声言語障害を有する人達が本来自身がもつ、或いは自
在に変換させて自然な音声で発声することを可能とする
とともに、外部からの音声を使用者に出力して聴覚を補
う。 【解決手段】 音声言語障害を有した使用者から発せら
れた音声及び／又は外部からの音声を検出して音声信号
を生成し、音声認識を信号処理部２２で行い、音声言語
障害を有した使用者から発せられた音声を予めサンプリ
ングすることで記憶した音声データ用い、認識結果に基
づいて音声データを組み合わせ、出力する音声を示す音
声情報を音声情報生成部２３で生成する。これにより、
補聴器１では、音声情報生成部２３で生成した音声情報
を外部に出力するとともに、外部からの音声を使用者に
出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マイクロホン等に
より検出した音声を聴力障害者が理解しやすい形式に加
工変換して提示する補聴器、音声言語障害を持つ者より
発せられた音声や音声言語障害を是正するために用いる
補助的装置や手段（例として喉頭摘出後の代用発声法
（speech production substitutes））により発せられ
た音声を加工変換して出力する補聴器に関する。

【０００２】

【従来の技術】補聴器には、気導方式と、骨導方式とが
従来から使用されている。補聴器の種類としては、箱形
補聴器、耳かけ補聴器、ＣＲＯＳ（Contra-lateral Rou
ting of Signal）補聴器、耳穴形補聴器がある。また、
従来の処理方式として分けると、アナログ補聴器とディ
ジタル補聴器とがある。また、補聴器には、小寺の報告
によると集団で使用する大型のもの（卓上訓練用補聴
器、集団訓練用補聴器）、個人的に使用する小型のもの
がある（小寺一興、補聴器の選択と評価 図説耳鼻咽喉
科new approach メジカルビュ−,39,1996参照）。

【０００３】このディジタル補聴器は、マイクロホンで
検出した音声を先ずＡ／Ｄ（analog／digital）変換処
理することでディジタルデータを生成する。そして、こ
のディジタル補聴器は、例えばフーリエ変換処理を施す
ことにより入力されたディジタルデータを周波数スペク
トルに分解することで解析を行い、各周波数帯域毎に音
声の感覚的な大きさに基づいた増幅度の算出を行う。そ
して、このディジタル補聴器は、各周波数帯域毎に増幅
されたディジタルデータをディジタルフィルターに通過
させてＤ／Ａ変換処理を行って再び音声を使用者の耳に
出力するように構成されている。これにより、ディジタ
ル補聴器は、話し手の音声を雑音の少ない状態で使用者
に聞かせていた。

【０００４】また、従来において、例えば喉頭摘出によ
り音声障害をもつ人は、通常の声帯振動による発声機構
を失い、音声生成が困難になる。

【０００５】現在まで、喉頭摘出後の代用発声法とし
て、音源としての振動体の性質から大別するとゴム膜
（笛式人工喉頭）やブザー（電気人工喉頭（経皮型、埋
込み型））等の人工材料を用いる方法と、下咽頭や食道
粘膜を使用する方法（食道発声、気管食道瘻発声、ボイ
スプロステーシス（voice prostheses）使用の気管食道
瘻発声）がある。また、その他の代用発声法としては、
口唇を動かしたときに生じる筋電図を利用したものや聴
力障害による発声障害者のために種々の音声処理技術を
利用した発声発話訓練装置、パラトグラフ（palatograp
h）によるものや口腔内の振動子によるものが報告され
ている。

【０００６】

【発明が解決しようとする課題】しかし、上述したディ
ジタル補聴器では、各周波数帯域毎にディジタルデータ
を増幅させる処理を行っているだけなので、マイクロホ
ンにより周囲の音を無作為に収音し、雑音をそのまま再
生してしまい使用者の不快感が残り、アナログ補聴器と
比べても、種々の聴力検査において大幅な改善はなかっ
た。また、従来のディジタル補聴器では、難聴者の身体
状態、利用状態及び使用目的に応じて検出した音声に対
する処理を適応させることはなされていなかった。

【０００７】そこで、本発明の目的は、使用者の身体状
態、利用状態及び使用目的に応じて音声認識の結果を提
示するとともに、ノイズが少ない状態で認識結果を提示
することができる補聴器を提供することにある。

【０００８】また、上記代用発声法に共通してみられる
のは、喉頭摘出前の本人自身の本来の正常な状態での声
帯振動によるものではないので、生成する音声の音質が
良くなく、本来正常であった本人が発していた声とはか
け離れているという問題点が挙げられる。

【０００９】そこで、本発明は、上述したような実情に
鑑みて提案されたものであり、喉頭摘出や舌口腔底切除
や構音障害等による音声言語障害を有する人達が本来自
身がもつ、或いは自在に変換させて自然な音声で発声す
ることを可能とするとともに、外部からの音声を使用者
に出力して自然な会話を行わせることができる補聴器を
提供することを目的とする。

【００１０】

【課題を解決するための手段】上述の課題を解決する本
発明に係る補聴器は、音声言語障害を有した使用者から
発せられた音声及び／又は外部からの音声を検出して音
声信号を生成する音響電気変換手段と、上記音響電気変
換手段からの音声信号に基づいて音声認識をする処理を
行う音声認識手段と、音声言語障害を有した使用者から
発せられた音声を予めサンプリングすることで生成した
音声データを記憶する記憶手段と、上記音声認識手段か
らの認識結果に基づいて上記記憶手段に記憶された音声
データを組み合わせ、出力する音声を示す音声情報を生
成する音声情報生成手段と、上記音声情報生成手段で生
成された音声情報を音声に変換して外部に出力する使用
者音声出力手段と、上記音声認識手段で認識された認識
結果を上記外部からの音声として使用者に出力する外部
音声出力手段とを備えることを特徴とするものである。

【００１１】このような補聴器は、外部からの音声を使
用者に出力するとともに、障害を有して発せられた音声
を発声した使用者に出力する。

【００１２】本発明に係る補聴器は、外部からの音声を
検出して音声信号を生成する音響電気変換手段と、上記
音響電気変換手段からの音声信号を用いて音声認識処理
を行う認識手段と、使用者の身体状態、利用状態及び使
用目的に応じて、上記認識手段からの認識結果の内容を
変更するように加工変換する変換手段と、上記認識手段
による認識結果及び／又は認識結果を上記変換手段によ
り加工変換した認識結果を出力させる制御信号を生成す
る出力制御手段と、上記出力制御手段で生成された制御
信号に基づいて上記認識手段による認識結果及び／又は
上記変換手段により加工変換された認識結果を出力して
認識結果を使用者に提示する出力手段とを備えることを
特徴とするものである。

【００１３】このような補聴器は、変換手段で認識結果
の内容を変更することで出力結果を変更して使用者に変
換手段で変更された音声等を提示する。このような補聴
器によれば、使用者の身体状態、利用状態及び使用目的
に応じて自在に変換方式を変更して認識結果を提示す
る。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１５】本発明は、例えば図１及び図２に示すよう
に構成された補聴器１に適用される。この補聴器１は、
図１に示すように、ヘッドマウントディスプレイ （hea
d-mounted display: HMD）２と、音声認識、音声情報の
生成等を行うコンピュータ部３との間を光ファイバーケ
ーブル４で接続してなる携帯型のものである。また、コ
ンピュータ部３は、例えば使用者の腰部に装着されるよ
うな支持部５に付属して配設されており、当該支持部５
に付属したバッテリ６から電力が供給されることで駆動
するとともに、ＨＭＤ２を駆動させる。

【００１６】ＨＭＤ２は、使用者の目前に配置されるデ
ィスプレイ部７と、使用者からの音声を検出する使用者
用マイクロホン８と、使用者に音声を出力する音声出力
部９と、使用者の頭部に上述の各部を配置させるように
支持する支持部５と、外部からの音声等を検出する外部
用マイクロホン１１とを備える。

【００１７】ディスプレイ部７は、使用者の目前に配さ
れることで例えば使用者用マイクロホン８及び／又は後
述の外部用マイクロホン１１で検出した音声の意味内容
等を表示する。なお、このディスプレイ部７は、コンピ
ュータ部３からの命令に応じて、上述の音声の意味内容
のみならず、他の情報を表示しても良い。

【００１８】使用者用マイクロホン８は、使用者の口元
付近に配設され、使用者が発した音声を検出する。そし
て、この使用者用マイクロホン８は、使用者からの音声
を電気信号に変換してコンピュータ部３に出力する。

【００１９】外部用マイクロホン１１は、丸板状に形成
された音声出力部９の側面に設けられる。この外部用マ
イクロホン１１は、外部からの音声を検出して電気信号
に変換してコンピュータ部３に出力する。

【００２０】この使用者用マイクロホン８及び外部用マ
イクロホン１１は、配設する位置を問わず、使用者の操
作に応じて、種々のマイク（骨導マイク、気導音と骨導
音を拾い上げるマイクをもつ超小型送受話一体ユニット
のマイク（日本電信電話株式会社製）、無指向性マイ
ク、単一指向性（超指向性等）マイク、双指向性マイ
ク、ダイナミックマイク、コンデンサーマイク（エレク
トレットマイク）、ズームマイク、ステレオマイク、Ｍ
Ｓステレオマイク、ワイヤレスマイク）、セラミックマ
イク、マグネティックマイク、マイクロフォンアレイを
用いても良い。また、イヤホンとしては、マグネティッ
クイヤホンが使用可能である。これらのマイクの収音技
術として、また、伝送技術としてエコーキャンセラ等を
用いても良い。また、これらのマイクロホン８，１１
は、従来より採用されている利得調整器と音声調整器と
出力制御装置（maximam output power control式、auto
matic recruitment control コンプレッション式等）を
適用したものが使用可能である。

【００２１】更に、使用者用マイクロホン８及び外部用
マイクロホン１１は、図１に示すように、別個に設ける
一例のみならず、一体に構成されたものであっても良
い。

【００２２】支持部５は、例えば形状記憶合金等の弾性
材料等からなり、使用者の頭部に固定可能とすること
で、上述のディスプレイ部７，使用者用マイクロホン
８，音声出力部９を所定の位置に配設可能とする。な
お、この図１に示した支持部５は、使用者の額から後頭
部に亘って支持部材を配設することでディスプレイ部７
等を所定位置に配設するものの一例について説明した
が、所謂ヘッドホン型の支持部であっても良いことは勿
論であり、音声出力部９を両耳について設けても良い。

【００２３】コンピュータ部３は、例えば使用者の腰部
に装着される支持部５に付属されてなる。このコンピュ
ータ部３は、図２に示すように、例えばマイクロホン
８，１１で検出して生成した電気信号が入力される。こ
のコンピュータ部３は、電気信号を処理するためのプロ
グラムを格納した記録媒体、この記録媒体に格納された
プログラムに従って音声認識、音声情報の生成処理を行
うＣＰＵ（Central Processing Unit）等を備えてな
る。なお、このコンピュータ部３は、腰部のみならず、
頭部のＨＭＤ２と一体化しても良い。

【００２４】コンピュータ部３は、使用者用マイクロホ
ン８及び／又は外部用マイクロホン１１で検出した音声
から生成した電気信号に基づいて、記録媒体に格納され
たプログラムを起動することで、ＣＰＵにより音声認識
処理を行うことで、認識結果を得る。これにより、コン
ピュータ部３は、ＣＰＵにより、使用者用マイクロホン
８及び／又は外部用マイクロホン１１で検出した音声の
内容を得る。

【００２５】つぎに、本発明を適用した補聴器１の電気
的な構成について図２を用いて説明する。この補聴器１
は、音声を検出して音声信号を生成する上述のマイクロ
ホン８，１１に相当するマイクロホン２１と、マイクロ
ホン２１で生成された音声信号が入力され音声認識処理
を行う上述のコンピュータ部３に含まれる信号処理部２
２、信号処理部２２からの認識結果に基づいて音声情報
を生成する上述のコンピュータ部３に含まれる音声情報
生成部２３と、音声データが記憶され信号処理部２２及
び音声情報生成部２３にその内容が読み込まれる上述の
コンピュータ部３に含まれる記憶部２４と、音声情報生
成部２３からの音声情報を用いて音声を出力する上述の
音声出力部９に相当するスピーカ部２５と、音声情報生
成部２３からの音声情報を用いて当該音声情報が示す内
容を表示する上述のディスプレイ部７に相当する表示部
２６とを備える。

【００２６】上記マイクロホン２１は、例えば喉頭摘出
後の代用発声法を用いて発せられた使用者からの音声又
は外部からの音声を検出して、当該音声に基づく音声信
号を生成する。そして、このマイクロホン２１は、生成
した音声信号を信号処理部２２に出力する。

【００２７】また、このマイクロホン２１は、使用者の
口元付近に配設され、使用者が発した音声を検出する。
また、このマイクロホン２１は、外部からの音声を検出
して音声信号を生成する。なお、以下の説明において
は、使用者の音声を検出するマイクロホンを上述と同様
に使用者用マイクロホン８と呼び、外部からの音声を検
出するマイクロホンを上述と同様に外部用マイクロホン
１１と呼び、双方を総称するときには単にマイクロホン
２１と呼ぶ。

【００２８】上記代用発声法としては、例えば人工喉頭
（電気式、笛式）、食道発声及び種々の音声再建術を実
現するための機構である。

【００２９】上記信号処理部２２は、マイクロホン２１
からの音声信号を用いて音声認識処理を行う。この信号
処理部２２は、例えば内部に備えられたメモリに格納し
た音声認識処理を行うためのプログラムに従った処理を
行うことにより音声認識処理を実行する。具体的には、
この信号処理部２２は、使用者の音声をサンプリングし
て生成し記憶部２４に格納された音声データを参照し、
マイクロホン２１からの音声信号を言語として認識する
処理を行う。この結果、この信号処理部２２は、マイク
ロホン２１からの音声信号に応じて認識結果を生成す
る。

【００３０】この信号処理部２２は、例えば認識対象音
声による分類と対象話者による分類の音声認識処理があ
り、認識対象音声による分類の音声認識処理では単語音
声認識（isolated word recognition）と連続音声認識
（continuous speech recognition）がある。また、音
声情報生成部２３は、連続単語音声認識には連続単語音
声認識（continuous word recognition）と文音声認識
（sentence speech recognition）、会話音声認識（con
versational speech recognition）、音声理解（speech
understanding）がある。また対象話者による分類では
不特定話者型（speaker independent）、特定話者型（s
peaker dependent）、話者適応型（speakeradaptive）
等がある。この信号処理部２２が行う音声認識手法とし
ては、ダイナミックプログラミング（Dynamic Programm
ing）マッチングによるもの、音声の特徴によるもの、
隠れマルコフモデル（ＨＭＭ）によるものがある。

【００３１】また、信号処理部２２は、入力した音声を
用いて話者認識を行う。このとき、信号処理部２２は、
使用者の話者からの音声の特徴を抽出する処理や音声の
周波数特性を用いて話者認識結果を生成して音声情報生
成部２３に出力する。また、信号処理部２２は、話者に
よる変動が小さな特徴量を用いる方法、マルチテンプレ
ート法、統計的手法を用いて不特定話者認識を行う。ま
た、話者適応には、個人差の正規化法、話者間の音声デ
ータの対応関係によるもの、モデルパラメータの更新に
よるもの、話者選択によるものがある。この信号処理部
２２では、以上の音声認識を使用者の身体状態、利用状
態及び使用目的に応じて行う。

【００３２】ここで、使用者の身体状態とは使用者の難
聴や言語障害の程度等を意味し、利用状態とは使用者が
補聴器１を使用する環境（室内、野外、騒音下）等を意
味し、使用目的とは使用者が補聴器１を利用するときの
目的、すなわち認識の向上させることや、使用者が理解
しやすいようにすること等であって、例えば普段話す人
と対話することや、不特定多数の人と対話することや、
音楽（オペラ、演歌）を観覧することや、講演を聴くこ
とや、言語障害者と対話することである。

【００３３】また、この信号処理部２２は、マイクロホ
ン２１に入力した音声を記憶し、学習する機能を有す
る。具体的には、信号処理部２２は、マイクロホン２１
で検出した音声の波形データを保持しておき、後の音声
認識処理に用いる。これにより、信号処理部２２は、更
に音声認識を向上させる。更に、この信号処理部２２
は、学習機能を備えることで出力する結果を正確にする
ことができる。

【００３４】上記記憶部２４には、上記信号処理部２２
が入力された音声を認識するときに、入力された音声を
検出することで生成した音声波形と比較される音声モデ
ルを示すデータが格納されている。また、記憶部２４に
は、例えば喉頭摘出前に発声した声帯振動による発声機
構を持つ使用者の音声や、出力することを希望する音声
を予めサンプリングして得たデータが音声データとして
格納されている。

【００３５】音声情報生成部２３は、信号処理部２２か
らの認識結果及び記憶部２４に格納された使用者の音声
を示す音声データを用いて、音声情報を生成する。この
とき音声情報生成部２３は、認識結果に応じて、記憶部
２４に格納された音声データを組み合わせるとともに、
認識結果を加工変換して音声情報を生成する。このと
き、音声情報生成部２３は、内蔵したＣＰＵ、音声情報
生成プログラムを用いて音声情報を生成する。

【００３６】また、この音声情報生成部２３は、認識結
果を用いて音声から音声分析し、当該音声分析した音声
の内容に応じて、音声データを再構成するという処理を
行うことで、音声を示す音声情報を生成する。そして、
音声情報生成部２３は、生成した音声情報をスピーカ部
２５及び表示部２６に出力する。

【００３７】更に、音声情報生成部２３は、信号処理部
２２からの認識結果を、使用者の身体状態、利用状態及
び使用目的に応じて加工、変換、合成等をして音声情報
を生成する処理を行う。更に、この音声情報生成部２３
は、マイクロホン２１で検出された音声を使用者に提示
するための処理を認識結果及び／又は加工等をして得た
認識結果について行う。

【００３８】更にまた、音声情報生成部２３は、認識結
果から生成した音声情報を修飾して新たな音声情報を生
成しても良い。このとき、音声情報生成部２３は、使用
者の身体状態、利用状態及び使用目的に基づいて、更に
使用者が理解し易い言葉を付け加えることで、使用者の
音声の認識を更に向上させる。

【００３９】更にまた、この音声情報生成部２３は、音
声情報を表示部２６に出力するときに音声の意味内容を
画像として表示部２６に出力する。音声情報生成部２３
は、例えば使用者又は使用者の話者及び外部からの音声
が入力されて信号処理部２２からの認識結果として物体
を示す認識結果が入力されたときには、当該物体を示す
画像データを表示部２６に出力して表示させる処理を行
う。

【００４０】更にまた、この音声情報生成部２３は、信
号処理部２２からの認識結果に応じて、以前にスピーカ
部２５又は表示部２６に出力した音声情報を再度出力す
る。音声情報生成部２３は、音声情報を出力した後に、
使用者又は使用者に対する話者がもう一度聞き直したい
ことに応じて発した音声を示す認識結果が入力されたと
判定したときには、スピーカ部２５又は表示部２６に出
力した音声情報を再度出力する処理を行う。また、音声
情報生成部２３は、例えば使用者の話者からの音声の特
徴を抽出する処理や音声の周波数特性を用いた話者認識
結果に基づいて、以前にスピーカ部２５又は表示部２６
に出力した音声情報を再度出力しても良い。更に、音声
情報生成部２３は、人工知能の機能を用いて音声対話を
行うことで、スピーカ部２５又は表示部２６に出力した
音声情報を再度出力しても良い。

【００４１】更にまた、音声情報生成部２３は、再度出
力する処理を行うか否かを操作入力部２８からの操作入
力命令に応じて切り換えても良い。すなわち、使用者が
再度出力する処理を行うか否かの切換を操作入力部２８
を操作することで決定し、操作入力部２８をスイッチと
して用いる。

【００４２】また、この音声情報生成部２３は、再度音
声情報を出力するとき、以前に出力した音声情報を再度
出力するか、以前に出力した音声情報とは異なる音声情
報を出力するかを、信号処理部２２を介して入力される
操作入力部２８からの操作入力信号に応じて選択する。

【００４３】表示部２６は、上記音声情報生成部２３で
生成した音声情報が示す音声、カメラ機構２９で撮像し
た画像等を表示する。

【００４４】操作入力部２８は、スイッチ、キーボー
ド、マウス等でも良く、使用者に操作されることで、操
作入力信号を生成する。

【００４５】このような補聴器１は、マイクロホン２１
で検出した音声について信号処理部２２で音声認識処理
をして、認識結果に基づいて音声情報生成部２３でプロ
グラムを起動することで使用者に応じた処理を行うこと
ができる。これにより、補聴器１は、スピーカ部２５に
マイクロホン２１からの音声を出力するとともに、表示
部２６に表示するので、音声に対する使用者の認識を向
上させることができる。視覚聴覚同時に矛盾する音韻情
報を提示した場合にいずれの情報とも異なった音韻に異
聴が生ずるというMuGurk効果（MuGurk H and MacDonald
J: Hearing lips and seeing voice,Nature 264,746-
8,1976参照）や、乳児がすでに聴覚からの音声情報と視
覚からの口形の情報との対応関係を獲得しているとの報
告（KuhlPK et al. Human processing of auditory-vis
ual information in speech perception. ICSLP'94 S1
1.4,Yokohama,1994）や視覚が音源方向の知覚に影響を
与える（腹話術効果）、及び人間は無意識のうちに音源
かどうかを学習し、区別するなどの報告は人間のコミュ
ニケーションが本来マルチモーダルなものであるとする
仮説を支持するものである（Saitou H and Mori T:視覚
認知と聴覚認知Ohmsha,119-20,1999参照）。以上のこと
は、視覚が聴覚に影響を及ぼしていることを意味し、表
示部２６に認識結果等を表示することで音声情報を補足
し、音声に対する使用者の認識を向上させる。この補聴
器１では、音声のみならず、表示部２６に表示する画像
を通じて話者に音声の意味内容を伝達し、対話すること
ができる。

【００４６】更に、この補聴器１によれば、使用者用マ
イクロホン８及び／又は外部用マイクロホン１１で検出
した音声を認識した結果に応じて表示部２６に表示する
音声の意味内容及びスピーカ部２５から出力する音声の
内容を変更させることができるので、更に音声に対する
使用者の認識を向上させることができる。従って、この
補聴器１によれば、音声情報生成部２３により音声認識
処理を変更するプログラムを実行することにより、身体
状態（難聴の程度等）、利用状態及び使用目的に応じて
認識処理を変更することで、使用者が理解しやすい音声
の意味的な情報を表示することで更に認識を向上させる
ことができる。

【００４７】スピーカ部２５は、上記音声情報生成部２
３で生成した音声を出力する。このスピーカ部２５とし
ては、例えば使用者から話し手に対して音声を出力する
ものであっても良く、更には、使用者が発した音声を使
用者の耳に対して発声するように音声を出力するもので
あっても良い。また、使用者の耳に対して発声するよう
に音声を出力するスピーカ部２５は、スピーカユニット
の変換方式としてダイナミック型や静電型（コンデンサ
型、エレクトロスタティック型）によるものでも良く、
形状としてはヘッドフォン（オープンエア型、クローズ
ド型、カナルタイプ等のイン・ザ・イヤー型等）による
ものでも良い。また、スピーカ部２５は、従来の補聴
器、拡声器、集音器のスピーカによるものでも良く、使
用者から話者に対して音声を出力するスピーカ部２５は
従来から用いられているスピーカ装置でよい。

【００４８】また、スピーカ部２５は、音声情報に基づ
いて出力する音声と逆位相の音を出力するようにしても
良い。これにより、スピーカ部２５から出力する音声に
含まれる雑音成分を除去し、使用者及び／又は使用者に
対する話者に雑音の少ない音声を出力する。

【００４９】また、この補聴器１は、外部の通信ネット
ワークと接続された通信回路２７を備えている。この通
信回路２７は、電話、携帯電話、インターネットや無
線、衛星通信等の通信ネットワークを介して例えば音声
言語障害を有する者から発せられた音声が入力される。
この通信回路２７は、外部からの音声や音声を示すデー
タを信号処理部２２に入力する。また、この通信回路２
７は、音声情報生成部２３で生成した音声情報を外部の
ネットワークに出力する。

【００５０】また、この通信回路２７は、信号処理部２
２、音声情報生成部２３を介して文字放送、文字ラジオ
を表示部２６で表示させても良い。このとき、通信回路
２７は、文字放送等を受信するためのチューナ機能を備
え、使用者の所望のデータを受信する。

【００５１】このように構成された補聴器１は、例えば
喉頭摘出後に電気式人工喉頭を使って発声された音声が
マイクロホン２１に入力された場合であっても、信号処
理部２２で音声認識し、記憶部２４に格納された喉頭摘
出前にサンプリングした音声を示す音声データを用いて
音声情報生成部２３で出力する音声を示す音声情報を生
成するので、スピーカ部２５から喉頭摘出前の使用者の
音声に近似した音声を出力することができる。

【００５２】なお、上述した本発明を適用した補聴器１
の説明においては、マイクロホン２１で検出される喉頭
摘出した人の音声である一例について説明したが、聴力
障害による言語障害の一つである構音障害（articulati
on disorders）を持つ者からの音声を検出したときであ
っても良い。このとき、補聴器１は、言語障害の音声を
音声データとして記憶部２４に記憶しておき、当該発声
者が発声したことに応じて記憶部２４に格納された発声
者の音声を示す音声データを参照して信号処理部２２で
音声認識処理を行い、音声情報生成部２３で認識結果に
応じて音声データを組み合わせることで音声情報を生成
する処理を行うことにより、スピーカ部２５から音声言
語障害のない音声を出力するとともに、表示部２６によ
り音声情報に基づいた音声内容を表示することができ
る。

【００５３】したがってこの補聴器１によれば、例えば
喉頭摘出者が代用発声法により発生した音声を表示部２
６に表示することで不自然な音声を訂正させることがで
きる。

【００５４】更に、補聴器１は、例えば聴力障害による
構音障害を持つ者は発声のためのフィードバックが得ら
れず、「きょうは（今日は）」という音声が「きょんわ
あ」となってしまうのを上述した処理を行うことにより
正常な「きょうは（今日は）」という音声に訂正してス
ピーカ部２５から出力することができる。

【００５５】更に、この補聴器１は、表示部２６を備え
ているので、発声者の音声をスピーカ部２５から正常な
音声にして出力するとともに、発声者の音声内容を表示
することにより音声障害者や難聴者の言語訓練学習にと
って好適なシステムを提供することができる。

【００５６】つぎに、上述の音声情報生成部２３が信号
処理部２２からの認識結果を加工、変換して音声情報を
生成する処理、音声データを組み合わせる処理で適用す
ることができる種々の例について述べる。なお、変換処
理等の種々の例は、以下に述べる例に限定するものでは
ない。

【００５７】音声情報生成部２３は、信号処理部２２か
らの認識結果を変換するとき、人工知能技術を用いて認
識結果を加工変換して音声情報を生成しても良い。音声
情報生成部２３は、例えば音声対話システムを用いる。
ここで、特に聴力の低下した老人は相手話者の言ったこ
とを再度聞き直すことがあるが、このシステムを用いて
認識結果を加工変換することにより、補聴器１と使用者
とが対話して以前に記憶した相手話者の言ったことの情
報を得て、使用者の音声認識を向上させることができ、
聞き直す手間を省略することができる。

【００５８】このようなシステムは、マルチモーダル対
話システムである表情つき音声対話システムを用いるこ
とで実現可能である。このマルチモーダル対話システム
では、ポインティングデバイスとタブレットを利用する
入力技術である直接操作・ペンジェスチャ技術、テキス
ト入力技術、音声認識等の音声入出力技術、人間の視
覚、聴覚、触覚、力覚を利用した仮想現実感技術、ノン
バーバルモダリティ技術の技術要素をモダリティとし組
み合わせて用いる。このとき、音声情報生成部２３は、
言語情報を補足する手段、対話の文脈情報（或いはその
補足手段）、使用者の認知的負担或いは心理的抵抗感を
軽減する手段として各モダリティを用いる。なお、ノン
バーバルインターフェースとして身振り（gesture）イ
ンターフェースを用いてもよい。その場合ジェスチャー
インターフェースの計測として装着型センサによる身振
り計測には身振りトラッキングが必要であり手袋型デバ
イス、磁気や光学的位置計測を用い、身振りの非接触計
測にはマーカを立体解析したりする映像や３Ｄ再構成に
よるものを用いてもよい。

【００５９】なお、このマルチモーダル対話システムの
詳細は文献「Nagao K and TakeuchiA,Speech dialogue
with facial displays: Multimodal human-computer co
nversation.Proc.32nd Ann Meeting of the Associatio
n for Computational Linguistics,102-9,Morgan Kaufm
ann Publishers,1994及びTakeuchi A and Nagao K,Comm
unicative facial displays as a new conversational
modality.Proc ACM/IFIP Conf on Human Factors in Co
mputing Systems（INTERCHI'93）,187-93, ACM Press,1
993」に記載されている。

【００６０】このような人工知能機能を用いた音声対話
システムとしては、マイクホン２１で検出した音声を、
信号処理部２２でＡ／Ｄ変換、音響分析、ベクトル量子
化の後、音声認識モジュールによって、上位スコアをも
つ単語レベルの最良仮説を生成するシステムが使用可能
である。ここで、音声情報生成部２３は、隠れマルコフ
モデル（ＨＭＭ）に基づく音韻モデルを用いて、ベクト
ル量子コードから音素を推定し、単語列を生成する。音
声情報生成部２３は、生成した単語列を、構文・意味解
析モジュールにより意味表現に変換する。このとき、音
声情報生成部２３は、単一化文法を用いて構文解析を行
い、次にフレーム型知識ベースと事例ベース（例文を解
析して得られた文パターン）を用いて曖昧さの解消を行
う。発話の意味内容の決定後、プラン認識モジュールに
より使用者の意図を認識する。これは対話の進行に従い
動的に修正・拡張されていく使用者の信念モデルと対話
のゴールに関するプランに基づいている。意図を認識す
る課程で、主題の管理や、代名詞の照応解消、省略の補
完などを行う。そして使用者の意図に基づいて協調的な
応答を生成するモジュールが起動する。このモジュール
はあらかじめ用意されたテンプレートの発話パターンに
領域知識により得られた応答に関する情報を埋め込むこ
とにより発話を生成する。この応答は音声合成モジュー
ルにより音声となる。なお、この信号処理部２２及び音
声情報生成部２３が行う処理としては、例えば文献（Na
gao N,A preferential constraint satisfaction techn
ique for natural language analysis. Proc 10th Euro
pean Conf on Artificial Intelligence ,523-7,John W
iley&Sons,1992）、（Tanaka H,Natural language proc
essing and its applications,330-５,1999,電子情報通
信学会編 コロナ社）、（Nagao K, Abduction and dyn
amic preference in plan-based dialogue understandi
ng.Proc 13th Int joint Conf on Artificial Intellig
ence,1186-92,Morgan Kaufmann Publishers,1993）に記
載された処理を行うことでも実現可能である。

【００６１】また、音声情報生成部２３は、人工知能機
能を用いて行う処理として、システムの擬人化を行い、
音声認識、構文・意味解析、プラン認識より表情パラメ
ータ調節、表情アニメーションを表示部２６を用いて行
うことにより、視覚的手段を用いて音声対話に対して使
用者の認知的負担、心理的抵抗感を軽減する。なお、こ
の音声情報生成部２３が行う処理としては、FACS（Faci
al Action Coding System；Ekman P and Friesen WV, F
acial Action Coding System.Consulting Psychologist
s Press Palo Alto,Calif,1978）に記載された処理を行
うことができる。

【００６２】更にまた、音声情報生成部２３は、音声対
話コンピュータシステム（参照Nakano M et al,柔軟な
話者交代を行う音声対話システムDUG-1,言語処理学会第
５回年次大会論文集,161-4,1999）としては話し言葉を
理解する逐次理解方式（Incremental Utterance Unders
tanding：Nakano M, Understanding unsegmented useru
tterances in real-time spoken dialogue systems.Pro
c of the 37th Ann meeting of the association for c
omputational linguistics,200-7）と内容の逐次変更が
可能な逐次生成方式（Incremental Utterance Producti
on：Dohsaka Kand Shimazu A,A computational model o
f incremental utterance productionin task-oriented
dialogues. Proc of the 16th Int Conf on Computati
onal Linguistics, 304-9, 1996. 及びDohsaka K and S
himazu A,System architecturefor spoken utterance p
roduction in collaborative dialogue. Working Notes
of IJCAI 1997 Workshop on Collaboration, Cooperat
ion and Conflict in Dialogue Systems, 1997及び Doh
saka K et al,複数の対話ドメインにおける協調的対話
原則の分析、電子情報通信学会技術研究報告NLC-97-58,
25-32,1998）による音声と画像を用いる人工知能システ
ムである。ここで、音声情報生成部２３は、理解と応答
のプロセスが平行動作する。また、音声情報生成部２３
は、ISTARプロトコール（参照Hirasawa J,Implementati
on of coordinative nodding behavior on spoken dial
ogue systems, ICSLP-98,2347-50,1998）を用いて音声
認識と同時に単語候補を言語処理部に逐次的に送る。

【００６３】すなわち、音声対話システムDUG-1で用い
ている技術を用いることにより、補聴器１では、例えば
所定のデータ量（文節）ごとに使用者及び／又外部から
の音声を音声認識するとともに、音声情報を生成する処
理を行う。音声情報生成部２３では、使用者及び／又は
外部からの音声に応じて、音声認識処理、音声情報認識
処理を随時中止、開始することができ、効率的な処理を
行うことができる。更に、この補聴器１では、使用者の
音声に応じて、音声認識処理、音声情報生成処理を制御
することができるので、柔軟に話者の交替を実現するこ
とができる。すなわち、音声情報を生成している最中に
使用者及び／又は外部からの音声を検出することで処理
を変更し、使用者に提示する音声情報の内容を変更等の
処理を行うことができる。

【００６４】更にまた、音声情報生成部２３は、キーワ
ードスポティングを用いて使用者の自由な発話を理解す
る処理を行っても良い（Takabayashi Y,音声自由対話シ
ステム TOSBURG II −使用者中心のマルチモーダルイ
ンターフェースの実現に向けて−.信学論 vol J77-D-II
No.8 1417-28,1994）。

【００６５】この音声情報生成部２３は、例えばアクセ
ント等の処理を行うように変換処理を行って音声情報を
出力しても良い。このとき、音声情報生成部２３は、必
要に応じて、特定の発音についてはアクセントの強弱を
変化させるように音声情報を変換して出力するようにす
る。

【００６６】音声情報生成部２３は、音声データを合成
するとき、どのような内容の音声でも合成するときには
規則による音声合成、滑らかな音声を合成するために可
変長単位を用いた音声合成、自然な音声を合成するため
の韻律制御、また音声の個人性付与のために音質変換を
行って音声情報を生成しても良い。これは、例えば書籍
「"自動翻訳電話" ATR国際電気通信基礎技術研究所編 p
p.177-209, 1994オーム社」に記載されている技術を適
用することにより実現可能である。

【００６７】また、ボコーダ（vocoder）処理を用いて
も高品質の音声を合成することが可能である。例えば音
声分析変換合成法STRAIGHT（speech transformation an
d representation based on adaptive interpolation o
f weighted spectrogram）等を施すことで実現可能であ
る（文献「Maeda N et al,Voice Conversion with STRA
IGHT. TECHNICAL REPORT OF IEICE, EA98-9,31-6, 199
8」参照）。

【００６８】更に、この音声情報生成部２３は、文字情
報から音声を作り出す音声合成（text to speech synth
esis）技術を用いることにより話の内容に関する情報
（音韻性情報）や音の高さや大きさに関する情報（韻律
情報）を聴力障害者の難聴の特性に合わせてその人の最
も聞き易い音の高さに調整することも可能であり、他に
話速変換技術（voice speed converting）、周波数圧縮
（frequency compress）処理などの音声特徴量の変換処
理を行う。また出力する音声の帯域を調整する帯域拡張
（frequency band expansion）処理や、音声強調（spee
ch enhancement）処理等を音声情報に施す。帯域拡張処
理、音声強調処理としては、例えば「AbeM, "Speech Mo
dification Methods for Fundamental Frequency, Dura
tion andSpeaker Individuality," TECHNICAL REPORT O
F IEICE, SP93-137,69-75, 1994」にて示されている技
術を用いることで実現可能である。なお、上述したよう
に、信号処理部２２及び音声情報生成部２３で音声認識
処理をして認識結果を加工変換する場合のみならず、上
記処理のみを行ってスピーカ部２５に出力しても良い。
また、この補聴器１では、認識結果及び／又は上記処理
のみを行った結果を同時に又は時間差を付けて出力して
も良い。また、この補聴器１では、認識結果及び／又は
上記処理のみを行った結果をスピーカ部２５又は表示部
２６の右チャンネルと左チャンネルとで異なる内容を出
力しても良い。

【００６９】更にまた、上記音声情報生成部２３は、認
識結果を用いて音声から言語を理解し、当該理解した言
語を用いて音声データから音声情報を構成するという処
理を行うのみならず、他の処理を認識結果に基づいて理
解した言語を必要に応じて加工変換する処理を行っても
良い。すなわち、この音声情報生成部２３は、音声情報
を構成するとともに、音声情報としてスピーカ部２５に
出力するときの速度を変化させる話速変換処理を行って
も良い。すなわち、この話速変換処理は、使用者の状態
に応じて適当な話速を選択することによりなされる。

【００７０】更にまた、この音声情報生成部２３は、認
識結果に応じて、例えば日本語の音声情報を英語の音声
情報に変換して出力するような翻訳処理を行って出力し
ても良く、通信機能と合わせて自動翻訳電話にも応用可
能である。更には音声情報生成部２３は自動要約（auto
matic abstracting）を行い、「United States of Amer
ica」を「USA」と要約するように変換して音声情報を出
力しても良い。

【００７１】音声情報生成部２３が行う他の自動要約処
理としては、例えば文章内から要約に役立ちそうな手が
かり表現を拾い出し、それらをもとに読解可能な文表現
を生成する生成派の処理（文献「McKeown K and Radev
DR,Generating Summaries ofMultiple News Articles.
In Proc of 14th Ann Int ACM SIGIR Conf on Res and
Development in Information Retrieval,68-73, 1995
及び Hovy E,Automated Discourse Generation using D
iscourse Structure Relations, Artificial Intellige
nce, 63, 341-85, 1993」参照）、要約を「切り抜き」
と考えて処理し客観的評価が可能となるように問題を設
定しようという立場の抽出派の処理（文献「Kupiec J e
t al,A Trainable Document Summarizer, In Proc of 1
4th AnnInt ACM SIGIR Conf on Res and Development i
n Information Retrieval, 68-73, 1995」、及び「Miik
e S, et al, A Full-text Retrieval System with a Dy
namic Abstruct Generation Function.Proc of 17th An
n Int ACM SIGIR Conference on Res and Development
in Information Retrieval,152-9, 1994」及び「Edmund
son HP,New Method in Automatic Abstracting. J of t
he ACM, 16,264-85, 1969」参照）がある。更に、この
音声情報生成部２３は、例えば文献「Nakazawa M, et a
l.Text summary generation system from spontaneous
speech,日本音響学会講演論文集 1-6-1,1-2, 1998」に
記載されている手法（Partial Matching MethodとIncre
mental Reference Interval-Free連続DPを用いて重要キ
ーワードの抽出を行い、Incremental Path Methodを用
いて単語認識を行う）を用いることが可能である。

【００７２】更にまた、この音声情報生成部２３は、認
識結果に応じて、特定の音素、母音及び子音、アクセン
ト等において、消去したり、音声を出力することに代え
てブザー音、あくび音、せき音、単調な音などを音声情
報とともに出力するように制御しても良い。このとき、
音声情報生成部２３は、例えば文献「Warren RM andPer
ceptual Restoration of Missing Speech Sounds, Scie
nce vol.167 ,392, 1970」や文献「Warren RM,Obusek C
J, "Speech perception and phonemic restoration,”
Perception and psychophysics vol.9 ,358, 1971」に
記載されている手法を実現した処理を音声情報について
行う。

【００７３】更にまた、音声情報生成部２３は、認識結
果を用いてホーン調となるように音質を変換させて音声
情報を出力しても良い。上記ホーン調とは、集音管を使
ったもので、約２０００Ｈｚ以下の帯域の音声を増幅さ
せて、利得を約１５ｄＢ程度とすることである。すなわ
ち、このホーン調とは、管共鳴を用いた重低音を再生す
る技術により出力される音質である。この音声情報生成
部２３は、例えばUS PATENT 4628528により公知となさ
れいているアコースティックウェーブ・ガイド（acoust
ic wave guide）技術を用いて出力される音質に近似し
た音に変換して音声情報を出力する。ここで、音声情報
生成部２３は、例えば低音のみを通過させるフィルター
処理を行って音声情報を出力する処理を行っても良く、
例えばSUVAG（Systeme Universel Verbo-tonal d'Audit
ion-Guberina）機器を用いることにより、所定の周波数
帯域の音声のみを通過させる種々のフィルタ処理を行っ
て音声情報を出力する処理を行っても良い。

【００７４】更にまた、この音声情報生成部２３は、例
えばマイクロホン２１に音楽が入力されたと判断したと
きには、音声情報を変換して表示部２６に音符や色を表
示するように処理を行っても良い。また、この音声情報
生成部２３は、音声のリズムなどが分かるために変換し
た音声のリズムを信号が点滅するように音声情報を変換
して表示部２６に表示しても良い。

【００７５】更にまた、この音声情報生成部２３は、例
えば警報等の発信音がマイクロホン２１に入力されたと
判断したときには、音声情報を変換することで表示部２
６に警報等がマイクロホン２１で検出された旨の表示を
行ったり、スピーカ部２５に警報の内容を知らせるよう
な内容を出力しても良く、例えば救急車や非常ベルのサ
イレンを聞いたら表示するだけでなく大音量で「救急車
ですよ」や「火事ですよ」とスピーカ部２５から出力す
るとともに、表示部２６に救急車や火事を示す画像を表
示することで難聴者に非常事態を伝えることができ、最
悪の事態を避けることができる。

【００７６】更にまた、音声情報生成部２３は、過去に
行った変換合成処理について記憶する機能を備えていて
も良い。これにより、音声情報生成部２３は、過去に行
った変換合成処理の改良を自動的に行う学習処理を行う
ことができ、変換合成処理の処理効率を向上させること
ができる。

【００７７】更にまた、この信号処理部２２及び音声情
報生成部２３は、話し手の音声のみについての認識結果
を生成して音声情報を生成し、スピーカ部２５及び/又
はディスプレイ部７に提示することで使用者に知らせる
一例のみならず、例えば特定の雑音に対してのみ音声認
識を行っても良い。要するに、信号処理部２２及び音声
情報生成部２３は、入力した音について音声認識処理を
行って、認識結果を使用者の身体状態、利用状態及び使
用目的に応じて変換することで使用者が理解し易い表現
で音声情報を生成して出力する処理を行う。

【００７８】更にまた、上述した本発明を適用した補聴
器１の説明おいては、記憶部２４に予めサンプリングし
て格納した音声データを音声情報生成部２３により組み
合わせることにより音声情報を生成して出力するものの
一例について説明したが、上記音声情報生成部２３は、
記憶部２４に記憶された音声データを組み合わせて音声
情報を生成するときに格納された音声データに変換処理
を施す音声データ変換部を備えていても良い。このよう
な音声データ変換部を備えた補聴器１は、例えばスピー
カ部２５から出力する音声の音質を変化させることがで
きる。

【００７９】更にまた、上述した本発明を適用した補聴
器１の説明おいては、例えば喉頭摘出前の使用者の音声
を予めサンプリングすることにより得た音声データを記
憶部２４に格納するものの一例について説明したが、記
憶部２４には、一つの音声データのみならず複数の音声
データを予めサンプリングして格納しても良い。すなわ
ち記憶部２４には、例えば喉頭摘出前に発せられた音声
を予めサンプリングした音声データ、及び前記喉頭摘出
前に発せられた音声に近似した音声データを格納しても
良く、更には全く異なる音質の音声データを格納しても
良く、更にまた、喉頭摘出前の音声データを生成し易い
音声データを格納しても良い。このように複数の音声デ
ータが記憶部２４に格納されているとき、音声情報生成
部２３は、各音声データの関係を例えば関係式等を用い
て関連づけを行って選択的に音声データを用いて音声情
報を生成しても良い。

【００８０】また、上述の補聴器１は、サンプリングし
て記憶部２４に格納した音声データを合成することで音
声情報を生成して出力する一例について説明したが、記
憶部２４に記憶されている音声データを合成することで
生成した音声情報に、音声情報生成部２３によりボコー
ダ処理を施すことにより、サンプリングして記憶されて
いる音声データが示す音声とは異なる音質の音声に変換
して出力しても良い。このとき、音声情報生成部２３
は、ボコーダ処理を用いた例としてSTRAIGHTを施す。

【００８１】更にまた、信号処理部２２は、話者認識
（speaker recognition）処理を入力される音声につい
て行って各話者に対応した認識結果を生成しても良い。
そして、この信号処理部２２では、各話者に関する情報
を認識結果とともにスピーカ部２５や表示部２６に出力
することで使用者に提示しても良い。

【００８２】補聴器１で話者認識を行うときには、ベク
トル量子化（文献Soong FK and Rosenberg AE,On the u
se of instantaneous and transition spectral inform
ation in speaker recognition.Proc of ICASSP’86,87
7-80,1986）によるものでも良い。このベクトル量子化
を利用した話者認識では、準備段階の処理として登録話
者用の学習用音声データからスペクトルの特徴を表すパ
ラメータを抽出して、これらをクラスタリングすること
によりコードブックを作成する。ベクトル量子化による
方法は話者の特徴が作成された符号帳に反映されている
と考える手法である。認識時には入力された音声と全て
の登録話者のコードブックを用いてベクトル量子化を行
い、入力音声全体に対して量子化ひずみ（スペクトルの
誤差）を計算する。この結果を用いて話者の識別や照合
の判定を行う。

【００８３】また、補聴器１で話者認識を行うときに
は、ＨＭＭ (文献Zheng YC and YuanBZ,Text-dependent
speaker identification using circular hidden Mark
ov models.Proc of ICASSP’88,580-2,1988）よる方法
であっても良い。この方法では、準備段階の処理として
登録話者の学習用音声データからＨＭＭを作成する。Ｈ
ＭＭを用いる方法では話者の特徴は状態間の遷移確率と
シンボルの出力確率に反映されると考える。話者認識の
段階では入力音声を用いて全ての登録話者のＨＭＭによ
る尤度を計算して判定を行う。ＨＭＭの構造としてleft
~to~rightモデルに対してエルゴティックなHMMを用いて
もよい。

【００８４】更にまた、補聴器１では、ATR-MATRIX sys
tem（ＡＴＲ音声翻訳通信研究所製：参照 Takezawa T
et al, ATR-MATRIX: A spontaneous speech translatio
n system between English and Japanese. ATR J2,29-3
3,June1999）で用いられている音声認識（ATRSPREC）、
音声合成（CHATR）、言語翻訳（TDMT）を行うことで、
マイクロホン２１で入力した音声を翻訳して出力するこ
とができる。

【００８５】上記音声認識（ATRSPREC）では、大語彙連
続音声認識を行い、音声認識ツールを用いて音声認識に
必要な音響モデルと言語モデルの構築、及び信号処理か
ら探索までの工程を処理する。この音声認識では、行っ
た処理をツール群として完結し、ツール同士の組み合わ
せることができる。また、この音声認識を行うとき、不
特定話者の音声認識を行っても良い。

【００８６】上記音声合成（CHATR）では、あらかじめ
データベース化された多量の音声単位から、出力したい
文に最も適した単位を選択してつなぎあわせ、音声を合
成する。このため、滑らかな音声が出力することができ
る。この音声合成では、話し手の声に最も近い音声デー
タを用いて話し手の声に似た声で合成することができ
る。また、この音声合成を行うときには、音声情報生成
部２３は、入力された音声から話し手が男性か女性かを
判断し、それに応じた声で音声合成を行っても良い。

【００８７】上記言語翻訳（TDMT）では、文の構造を判
断する処理、対話用例を用いた対話特有のくだけた表現
などの多様な表現を扱って言語翻訳を行う。また、この
言語翻訳では、マイクロホン２１が一部聞き取れなかっ
た部分があっても、翻訳できる部分はなるべく翻訳する
部分翻訳処理を行い、一文全体を正確に翻訳できない場
合でも、話し手が伝えたい内容をかなりの程度相手に伝
える。

【００８８】また、上記音声認識、音声合成、言語翻訳
を行うときには、通信回路２７を介して携帯電話等の通
信機器と接続して双方向の対話可能である。

【００８９】上記音声認識、音声合成、言語翻訳を行う
補聴器１では、例えば日英双方向の音声翻訳システムの
利用、ほぼリアルタイムの認識、翻訳、合成、話し始め
の指示をシステムに与える必要がなく、全二重の対話が
可能自然な発話に対する、質の高い認識、翻訳、合成
「あのー」、「えーと」といった言葉や、多少くだけた
表現があっても認識が可能 となる。

【００９０】更にまた、音声情報生成部２３は、上記音
声認識（ATRSPREC）において、信号処理部２２からの認
識結果に基づいて文の構造を判断するだけでなく、対話
用例を用いることにより、対話特有のくだけた表現など
の多様な表現に対応した音声情報を生成する。また、音
声情報生成部２３は、マイクロホン２１で会話中の一部
が聞き取れなかった部分があっても、音声情報を生成す
ることができる部分はなるべく音声情報を生成する。こ
れにより、音声情報生成部２３は、一文全体の音声情報
を正確に生成できない場合でも、話し手が伝えたい内容
をかなりの程度相手に伝える。このとき、音声情報生成
部２３は、翻訳処理（部分翻訳機能）を行って音声情報
を生成しても良い。

【００９１】また、音声情報生成部２３は、上記音声合
成（CHATR）において、予めデータベース化して記憶さ
れた多量の音声単位の音声データから、出力したい文に
最も適した単位を選択してつなぎあわせ、音声を合成し
て音声情報を生成する。これにより、音声情報生成部２
３は、滑らかな音声を出力するための音声情報を生成す
る。また、音声情報生成部２３は、話し手の声に最も近
い音声データを用いて話し手の声に似た声で合成処理を
行っても良く、入力された音声から話し手が男性か女性
かを判断し、それに応じた声で音声合成を行って音声情
報を生成しても良い。

【００９２】更にまた、音声情報生成部２３は、マイク
ロホン２１からの音声から、特定の音源の音のみを抽出
してスピーカ部２５及び／又は表示部２６に出力しても
良い。これにより、補聴器１は、複数の音源から到来す
る音の混合の中から、特定の音源の音のみを抽出して聞
くことができるカクテルパーティ現象を人工的に作るこ
とができる。

【００９３】更にまた、音声情報生成部２３は、音韻的
に近い例を用いて誤りを含んだ認識結果を訂正する手法
を用いて聞き間違いを修正して音声情報を生成しても良
い（文献Ishikawa K, Sumida E: A computer recoverin
g its own misheard-Guessing the original sentence
form a recognition result based on familiar expres
sions- ATR J 37,10-11,1999）。このとき、音声情報
生成部２３は、使用者の身体状態、利用状態及び使用目
的応じて処理を行って、使用者にとってわかりやすい形
態に加工変換する。

【００９４】なお、上述した補聴器１の説明において
は、マイクロホン２１で検出した音声について音声認識
処理、音声生成処理を行う一例について説明したが、使
用者等により操作される操作入力部２８を備え当該操作
入力部２８に入力されたデータを音声及び／又は画像と
するように信号処理部２２により変換しても良い。ま
た、この操作入力部２８は、例えば使用者の指に装着さ
れ、指の動きを検出することでデータを生成して信号処
理部２２に出力するものであっても良い。

【００９５】また、この補聴器１は、例えば使用者が液
晶画面等をペンにより接触させることで文字及び/又は
画像を描き、その軌跡を取り込むことによる画像に基づ
いて文字及び/又は画像データを生成する文字及び/又は
画像データ生成機構を備えていても良い。補聴器１は、
生成した文字及び/又は画像データを信号処理部２２及
び音声情報生成部２３により認識・変換等の処理を行っ
て出力する。

【００９６】更に、上述の補聴器１は、マイクロホン２
１等からの音声を用いて信号処理部２２により音声認識
処理を行う一例に限らず、例えば使用者及び/又は使用
者以外の人が装着する鼻音センサ、呼気流センサ、頸部
振動センサからの検出信号及びマイクロホン２１等から
の信号を用いて音声認識処理を行っても良い。このよう
に、補聴器１は、マイクロホン２１のみならず上記各セ
ンサを用いることにより、信号処理部２２による認識率
を更に向上させることができる。

【００９７】更に、この補聴器１は、例えば自動焦点機
能やズーム機能を搭載したデジタルカメラにより動画像
や静止画像等を撮像するカメラ機構２９を図２に示すよ
うに備え、表示部２６に表示するものであっても良い。
このカメラ機構２９は例えば図１のディスプレイ部７と
一体に搭載されても良い。また、上記カメラ機構２９と
しては、デジタルカメラを用いても良い。

【００９８】また、この補聴器１に備えられたカメラ機
構２９は、撮像した画像を使用者の視力や乱視等の状態
に合わせて歪ませたり拡大させたりする画像変換処理を
施して表示部２６に表示する眼鏡機能を備えていても良
い。

【００９９】このような補聴器１は、例えばカメラ機構
２９からＣＰＵ等からなる信号処理回路を経由して表示
部２６に撮像した画像を表示する。この補聴器１は、こ
のようなカメラ機構２９により例えば話者を撮像した画
像を使用者に提示することで、使用者の認識を向上させ
る。また、この補聴器１は、撮像した画像を通信回路２
７を介して外部のネットワークに出力しても良く、更に
は外部のネットワークからカメラ機構２９で撮像した画
像を入力して通信回路２７及び信号処理回路等を介して
表示部２６に表示しても良い。

【０１００】更に、この補聴器１では、話者を撮像した
画像を用いて信号処理部２２で顔面認識処理、物体認識
処理を行って音声情報生成部２３を介して表示部２６に
表示しても良い。これにより、補聴器１では、撮像対象
者の口唇、顔の表情、全体の雰囲気等を使用者に提示し
て、使用者の音声認識を向上させる。

【０１０１】撮像機能を用いた顔の認識において顔の個
人性特徴を抽出して個人認識をおこなうものとして、以
下の方法があるがこれらに限られるものではない。

【０１０２】濃淡画像のマッチングにより識別するため
の特徴表現の一つとしてパターンをモザイク化し、各ブ
ロック内の画素の平均濃度をブロックの代表値とするこ
とで濃淡画像を低次元ベクトルに情報圧縮して表現する
方法でＭ特徴といわれている方法である。また、ＫＩ特
徴という濃淡顔画像の特徴表現で、Karhunen-Loeve（Ｋ
Ｌ）展開を顔画像の標本集合に適応して求められる直交
基底画像を固有顔とよび、任意の顔画像をこの固有顔を
用いて展開した係数から構成される低次元の特徴ベクト
ルで記述する方法である。更に、顔画像集合のＫＬ展開
による次元圧縮に基づくＫＩ特徴によるもの照合パター
ンをまずフーリエスペクトルに変換しＫＩ特徴の場合と
同様に標本集合をＫＬ展開することで次元圧縮を行って
得られる低次元の特徴スペクトルであるＫＦ特徴による
識別を行う方法がある。以上の方法によるものが顔画像
認識に用いることが可能であり、それらを用いて顔の認
識を行うことは対話者が誰であるかという個人識別情報
をコンピュータに与えることになり、使用者にとって対
話者に対する情報が得られ、音声情報に対する認識が増
す。なお、このような処理は、文献「小杉 信：“ニュ
ーラルネットを用いた顔画像の識別と特徴抽出”，情処
学ＣＶ研報，73-2（1991-07）」、文献「Turk MA and P
entland AP,Face recognition using eigenface.Proc C
VPR,586-91（1991-06）」、文献「Akamatsu S et al,Ro
bust face intification by patternmatching Based on
KL expansion of the Fourier Spectrum 信学論 vol J
76-D-II No.7,1363-73,1993」、文献「Edwards GJ et a
l,Learning to identify andtrack faces in image seg
uences,Proc of FG '98,260-5,1998」に記載されてい
る。

【０１０３】この補聴器１では、物体認識を行うときに
は、物体を示すパターンをモザイク化しておき、実際に
撮像した画像とマッチングを取ることにより物体の識別
を行う。そして、この補聴器１では、マッチングがとれ
た物体の動きベクトルを検出することで、物体の追尾を
行う。これにより、物体から発せられる音声から生成さ
れる音声情報に対する認識が増す。この物体認識処理
は、ＳｏｎｙＣＳＬから提案されているUbiquitous Tal
ker（文献Nagao K and Rekimoto J,Ubiquitous Talker:
Spoken language interaction with real world object
s. Proc 14th IJCAI-95,1284-90,Morgan Kaufmann Publ
ishers,1995）で用いられてる技術を採用することがで
きる。

【０１０４】更に、この補聴器１は、静止画撮像用デジ
タルカメラのようにシャッターを押すことで静止画を撮
像しても良い。更に、カメラ機構２９は、動画像を生成
して信号処理部２２に出力しても良い。このカメラ機構
２９により動画像を撮像するときの信号方式としては、
例えばＭＰＥＧ（Moving Picture Experts Group）方式
などを用いる。更にまた、この補聴器１に備えられるカ
メラ機構２９は、３次元画像を撮像することで、話者や
話者の口唇を撮像して表示部２６に表示させることで更
に使用者の認識を向上させることができる。

【０１０５】このような補聴器１は、使用者自身の発し
た音声や相手の発した音声等及び／又はその場の情景を
撮像した画像を記録し再生することで、言語学習におけ
る復習することができ言語学習に役立てることができ
る。

【０１０６】また、この補聴器１によれば、画像を拡大
処理等して表示部２６に表示することで相手を確認し全
体の雰囲気をつかめ音声聴取の正確さが向上し、更に読
唇（lip reading）を行うことが可能となり認識を上昇
させる。

【０１０７】更にまた、この補聴器１は、例えばスイッ
チ機構が設けられており、マイクロホン２１で検出した
音声をスピーカ部２５により出力するか、カメラ機構２
９により撮像した画等像を表示部２６により出力する
か、又は音声及び画像の双方を出力するかを使用者によ
り制御可能としても良い。このときスイッチ機構は、使
用者に操作されることで、音声情報生成部２３から出力
を制御する。

【０１０８】また例として、スイッチ機構は、使用者及
び／又は使用者以外の音声を検出して、例えば「音声」
という音声を検出したときにはマイクロホン２１で検出
した音声をスピーカ部２５により出力するように切り換
え、例えば「画像」という音声を検出したときにはカメ
ラ機構２９により撮像した画等像を表示部２６により出
力するように切り換え、「音声、画像」という音声を検
出したときには音声及び画像の双方を出力するするよう
に切り換えても良く、以上のような音声認識を用いたス
イッチ制御機構を備えていても良い。また、ジェスチャ
ーインターフェースを用いることで、ジェスチャー認識
によるスイッチ制御システムとしても良い。

【０１０９】更にまた、このスイッチ機構は、カメラ機
構２９のズーム状態等のパラメータを切り換えることで
カメラ機構２９で画像を撮像するときの状態を切り換え
る機能を備えていても良い。

【０１１０】つぎに、この補聴器１において、音声情報
生成部２３により作成した音声情報を出力する機構の種
々の例について説明する。なお、本発明は、以下に説明
する出力する機構に限られることはないことは勿論であ
る。

【０１１１】すなわち、この補聴器１において、音声情
報を出力する機構としてはスピーカ部２５や表示部２６
に限らず、例えば骨導や皮膚刺激を利用したものであっ
ても良い。この音声情報を出力する機構は、例えば小さ
な磁石を鼓膜等に装着し、磁石を振動させるものや、骨
を通して信号を蝸牛に伝達するものであっても良い。

【０１１２】このような補聴器１は、例えば圧挺板を備
え、音声情報生成部２３により変換することにより得た
信号を前記圧挺板に出力するようにしたものや、皮膚刺
激を用いたタクタイルエイド（Tactile Aid）等の触覚
による補償技術を利用したものであっても良く、これら
の骨振動や皮膚刺激等を用いた技術を利用することで、
音声情報生成部２３からの信号を使用者に伝達すること
ができる。皮膚刺激を利用した補聴器１においては、音
声情報生成部２３からの音声情報が入力されるタクタイ
ルエイド用振動子アレイが備えられており、タクタイル
エイドと当該振動子アレイを介してスピーカ部２５から
出力する音声を出力しても良い。

【０１１３】また、上述した補聴器１の説明において
は、音声情報を音声として出力するときの処理の一例に
ついて説明したが、これに限らず、例えば人工中耳によ
り使用者に認識結果を提示するものであっても良い。す
なわち、この補聴器１は、音声情報を電気信号としてコ
イル、振動子を介して使用者に提示しても良い。

【０１１４】更には、この補聴器１は、人工内耳機構を
備え、人工内耳により使用者に認識結果を提示するもの
であっても良い。すなわち、この補聴器１は、例えば埋
め込み電極、スピーチプロセッサ等からなる人工内耳シ
ステムに音声情報を電気信号として供給して使用者に提
示しても良い。

【０１１５】更には、この補聴器１は、脳幹インプラン
ト（Auditory Brainstem Implant）機構を備え、聴性脳
幹インプラントにより使用者に音声情報を提示するもの
であっても良い。すなわち、この補聴器１は、例えば埋
め込み電極、スピーチプロセッサ等からなる脳幹インプ
ラントシステムに音声情報を電気信号として供給して使
用者に提示しても良い。

【０１１６】更にまた、この補聴器１は、使用者の身体
状態、利用状態及び使用目的に応じて、例えば超音波帯
域の音声が認識可能な難聴者に対しては認識結果及び加
工変換した認識結果を音声情報として超音波帯域の音声
に変調・加工変換して出力しても良い。更にまた、この
補聴器１は、超音波出力機構（bone condaction ultras
ound）を用いて超音波周波数帯域の信号を生成し、超音
波振動子等を介して使用者に出力しても良い。

【０１１７】更にまた、この補聴器１は、ヘッドホンの
接触子を耳珠に当て、骨伝導をおこしさらに耳珠、外耳
道内壁の振動が気導音となるシステムである骨伝導ユニ
ットを備え、当該骨伝導ユニットを使用して音声情報を
使用者に提示しても良い。この骨導ユニットとしては、
聴覚障害者用ヘッドホンシステムであるライブホン（日
本電信電話株式会社製）が使用可能である。

【０１１８】更にまた、この補聴器１は、スピーカ部２
５、表示部２６等の複数の出力手段を備える一例につい
て説明したが、これらの出力手段を組み合わせて用いて
も良く、更には各出力手段を単独で出力しても良い。ま
た、この補聴器１では、マイクロホン２１に入力した音
声の音圧レベルを変化させる従来の補聴器の機能を用い
て音声を出力するとともに、上述した他の出力手段で認
識結果を提示しても良い。

【０１１９】更にまた、この補聴器１は、スピーカ部２
５及び／又は表示部２６から出力する出力結果を同時に
或いは時間差を持たせて出力してするように音声情報生
成部部２３で制御するスイッチ機構を備えていても良
く、複数回に亘って出力結果を出力するか一回に限って
出力結果を出力するかを制御するスイッチ機構を備えて
いても良い。

【０１２０】また、この補聴器１の説明においては、図
２に示したような一例について説明したが、入力された
音声について上述した種々の加工変換処理を行って表示
部２６に表示させる第１の処理を行うＣＰＵと、入力さ
れた音声について上述した種々の加工変換処理を行って
スピーカ部２５に出力結果を出力するための第２の処理
を行うＣＰＵと、カメラ機構２９で撮像した画像を表示
するための第３の処理を行うＣＰＵとを備えたものであ
っても良い。

【０１２１】このような補聴器１は、各処理を行うＣＰ
Ｕを独立に動作させて第１の処理又は第２の処理を行わ
せて出力させても良く、更には各処理を行うＣＰＵを同
時に動作させて第１の処理、第２の処理、及び第３の処
理を行わせて出力させても良く、更には、第１及び第２
の処理、第１及び第３の処理又は第２及び第３の処理を
行うＣＰＵを同時に動作させて出力させても良い。

【０１２２】更にまた、補聴器１は、使用者の身体状
態、利用状態及び使用目的に応じて上述した種々の出力
機構からの出力結果を同時に或いは時間差を持たせて出
力してするように音声情報生成部２３で制御しても良
い。

【０１２３】更に、この補聴器１は、複数のＣＰＵを有
し、上述した複数のＣＰＵで行う第１〜第３処理のう
ち、少なくとも１の処理をひとつのＣＰＵで行うととも
に、残りの処理を他のＣＰＵで行っても良い。

【０１２４】例えば、この補聴器１において、ひとつの
ＣＰＵが入力された音声を文字データとして加工変換を
行って表示部２６に出力する処理（text to speech syn
thesis）を行うとともに、又はひとつのＣＰＵが入力さ
れた音声に対して文字データとして加工変換を行って他
のＣＰＵが入力された同じ音声に対してSTRAIGHT処理を
行ったりしてスピーカ部２５に出力する処理を行い、他
のＣＰＵが入力された音声に対してボコーダ処理のう
ち、例えば音声分析合成法STRAIGHTを用いた処理を行っ
てスピーカ部２５に出力する処理を行っても良い。すな
わちこの補聴器１は、スピーカ部２５に出力する信号
と、表示部２６に出力信号とで異なる処理を異なるＣＰ
Ｕにより行うものであっても良い。

【０１２５】更に、この補聴器１においては、上述した
種々の加工変換処理を行って上述の種々の出力機構に出
力する処理を行うＣＰＵを有するとともに、加工変換処
理を施さないでマイクロホン２１に入力された音声を出
力しても良い。

【０１２６】更に、この補聴器１においては、上述した
種々の加工変換処理の一を行うためのＣＰＵと、他の加
工変換処理を行うＣＰＵとを別個に備えていても良い。

【０１２７】更に、この補聴器１においては、上述のよ
うに認識結果や加工変換した認識結果や撮像した画像等
について音声情報生成部２３で変換する処理を行うとと
もに、従来の電気喉頭等を用いた代用発声法と同様に音
声を検出して得た電気信号を増幅させて音質調整、利得
調整や圧縮調整等を行いスピーカ部２５に出力するもの
であっても良い。

【０１２８】なお、この補聴器１において、信号処理部
２２及び音声情報生成部２３で行う処理を、例えばフー
リエ変換、ボコーダ処理（STRAIGHT等）の処理を組み合
わせて適用することで、上述した処理を行っても良い。

【０１２９】また、本発明を適用した補聴器１では、個
人的に使用する小型のタイプの補聴器について説明した
が、集団で用いる大型のもの（卓上訓練用補聴器や集団
訓練用補聴器）にも用いてもよい。

【０１３０】視覚ディスプレイとしてＨＭＤ、Head-cou
pled display（頭部結合型表示装置）があげられる。以
下に例を示す。双眼式ＨＭＤ（左右眼毎に視差画像を提
示し立体視を可能とするものや左右眼双方に同じ画像を
提示し見かけ上の大画面を与えるもの）、単眼式、シー
スルー型ＨＭＤ、視覚補助や視覚強調機能のついたディ
スプレイ、眼鏡型の双眼望遠鏡に自動焦点機能付でVisu
al filterを用いたもの、接眼部にコンタクトレンズを
使用するシステム、網膜投影型（Virtual Retinal Disp
lay、Retinal projection display、網膜投影型の中間
型）、視線入力機能付きＨＭＤ（製品名HAQ-200（島津
製作所））や頭部以外（首、肩、顔面、眼、腕、手な
ど）にマウントするディスプレイ、立体ディスプレイ
（投影式オブジェクト指向型ディスプレイ（例 head-m
ounted projector：Iinami M et al.,Head-mounted pro
jector（II）-implementation Proc 4th Ann Conf Of
Virtual Reality Society of Japan 59-62,1999）、リ
ンク式の立体ディスプレイ、大画面のディスプレイ（sp
atial immnersive display）（例omnimax、 CAVE（Cruz
-Neira C et al. Surrounded-screen projection-based
virtual reality: Thedesign and implementation of
the CAVE, Proc of SIGGRAPH'93,135-42,1993参照）、
ＣＡＶＥ型立体映像表示装置であるＣＡＢＩＮ（Hirose
M et al. 電子情報通信学会論文誌Vol J81-D-II No.5.
888-96,1998）、ＣＡＶＥ等の投影ディスプレイとＨＭ
Ｄの両方の特徴をもつ小型超広視野ディスプレイ（Endo
T et al.Ultra wide field of view compact display.
Proc 4th Ann Conf of Virtual Reality Society of J
apan,55-58,1999）、アーチスクリーン）が使用可能で
ある。

【０１３１】特に大画面のディスプレイのものは大型補
聴器として用いるときに使用してもよい。また、上述し
た補聴器１では、音の再現方法としてバイノーラル方式
（３次元音響システムはHead-Related Transfer Functi
onを用いた空間音源定位システムを用いる：例 Convol
votron & Acoustetron II（Crystal River Engineerin
g）,ダイナミック型ドライバユニットとエレクトレット
マイクロフォンを使用した補聴器TE-H50（Sony））を使
用してもよく、実際と近い音場をつくったり、トランス
オーラル方式（トラッキング機能付きのトランスオーラ
ル方式が３次元映像再現におけるＣＡＶＥに対応する）
を用いたりするものは主に大型の補聴器システムの場合
に用いるのが好ましい。

【０１３２】更にまた、上述のＨＭＤ２は、頭頂部に３
次元位置検出センサーを備えていても良い。このような
ＨＭＤ２を備えた補聴器１では、使用者の頭の動きに合
わせてディスプレイ表示を変化させることが可能とな
る。

【０１３３】強調現実感（Augmented reality（Ａ
Ｒ））を利用した補聴器１では、使用者の動作に関する
センサを備え、センサで検出した情報、マイクロホン２
１で検出し音声情報生成部２３で生成した音声情報とを
用いることで、ＡＲ空間を生成する。音声情報生成部２
３は、種々のセンサシステムとＶＲ形成システムを統合
するシステムとディスプレイシステムによりなるバーチ
ャルリアリティ（Virtualrealtiy（ＶＲ））システムと
を協調的に用いることにより、実空間にＶＲ空間を適切
に重畳することで、現実感を強調するＡＲの空間をつく
ることが可能となる。これにより補聴器１では視覚ディ
スプレイを用いるときに、顔面部にある画像からの情報
を、情報が来るたびに大幅に視線をはずすことなく、た
だ画像が目の前にあるだけでなく、画像情報が、いかに
もそこにあるように自然に受けいれるようになり自然な
状態で視覚からの情報を受け取ることが可能となる。以
上を実行するには以下のシステムがある。

【０１３４】このような補聴器１は、図３に示すよう
に、ＡＲ空間を形成するためには、仮想環境映像生成の
ための３Ｄグラフィックアクセラレータを音声情報生成
部２３の内部に搭載することでコンピュータグラフィッ
クスの立体視が可能な構成とし、更に無線通信システム
を搭載する。この補聴器１に使用者の位置と姿勢の情報
を取得するため、センサ３１として頭部に小型ジャイロ
センサ（例 データテックGU-3011）を、使用者の腰に
加速度センサ（例 データテックGU-3012）を接続す
る。以上のセンサ３１からの情報を音声情報生成部２３
で処理を行った後、使用者の右目、左目に対応するスキ
ャンコンバータ３２ａ、３２ｂで処理をして表示部２６
に映像が行くというシステム（Ban Y et al, Manual-le
ss operation with wearable augmented reality syste
m.Proc 3th Ann Conf of Virtual Reality society of
Japan,313-4,1998参照）を用いることで可能となる。

【０１３５】また、この補聴器１では、センサ３１に加
えて状況認識システム（例Ubiquitous Talker（Sony CS
L））とＶＲシステムを形成する他のシステムである以
下の種々のセンサシステムとＶＲ形成システムを統合す
るシステムとディスプレイシステム、及び、この補聴器
１とを協調的に用いることにより、ＡＲ空間を強化する
ことも可能であり、マルチモダリティを用いて音声情報
を補足可能となる。

【０１３６】このようなＶＲ等の空間を形成するには、
先ず、使用者がセンサ３１に本人から情報を送り、その
情報がＶＲ形成システムを統合するシステムに送られ、
ディスプレイシステムから使用者に情報が送られること
で実現する。

【０１３７】上記センサ３１（情報入力システム）とし
て以下のデバイスがある。

【０１３８】特に人体の動きの取り込みや、空間に作用
するデバイスとして光学式３次元位置センサ（ExpertVi
sion HiRES ＆ Face Tracker（MotionAnalysis））、磁
気式３次元位置センサ（InsideTrack（Polhemus）,3SPA
CE system（POLHEMUS）, Bird（Ascension Tech.））、
機械式３Ｄディジタイザ（MicroScribe 3D Extra（Imme
rsion））、磁気式３Ｄディジタイザ（Model 350 （Pol
hemus））、音波式３Ｄディジタイザ（Sonic Digitizer
（Science Accessories））、光学式３Ｄスキャナー（3
D Laser Scanner（アステックス））、生体センサ（体
内の電気で測る）サイバーフィンガー（ＮＴＴヒューマ
ンインタフェース研究所）、手袋型デバイス（DetaGlov
e（VPL Res），Super Glove（日商エレクトロニクス）C
yber Glove（Virtual Tech））、フォースフィードバッ
ク（Haptic Master（日商エレクトロニクス）、PHANToM
（SensAble Devices））、３Ｄマウス（Space Controll
er（Logitech））、視線センサ（眼球運動分析装置（AT
R視聴覚機構研究所製））、体全体の動きの計測に関す
るシステム（DateSuit（VPL Res））、モーションキャ
プチャーシステム（HiRES（Motion Analysis））、加速
度センサ（三次元半導体加速度センサ（NEC製））、視
線入力機能付きＨＭＤがある。

【０１３９】また、ＡＲを実現するためには、表示部２
６のみならず、触覚を利用した触覚ディスプレイ、触圧
ディスプレイ、力覚ディスプレイがある。触覚ディスプ
レイにより音声を触覚により伝え、聴覚だけでなく触覚
をも加えることで音声の認識をあげことが可能となる。
この触覚ディスプレイとしては、例えば振動子アレイ
（オプタコンや触覚マウス、タクチュアルボコーダ
等）、触知ピンアレイ（ペーパーレスブレイル等）など
が使用可能である。他にwater jet、air jet.PHANToM
（SensAble Devices）、Haptic Master（日商エレクト
ロニクス）などがある。具体的には、補聴器１は、ＶＲ
な空間でＶＲキーボードを表示し、信号処理部２２及び
音声情報生成部２３での処理をＶＲキーボードまたはＶ
Ｒスイッチにより制御する。これにより、わざわざキー
ボードを用意したり、スイッチまで手を伸ばしたりする
ことが無くなり、使用者の操作を楽にし、耳に装着する
のみの補聴器と近い装用感を得ることができる。

【０１４０】前庭感覚ディスプレイとしては、ウオッシ
ュアウトとウオッシュバックにより狭い動作範囲の装置
でも多様な加速度表現ができるシステム（モーションベ
ット）が使用可能である。

【０１４１】ＶＲシステムを統合するシステムとして
は、以下のものがあり、それら限定されることはない
が、Ｃ、Ｃ＋＋のライブラリとして供給され、表示とそ
のデータベース、デバイス入力、干渉計算、イベント管
理などをサポートし、アプリケーションの部分は使用者
がライブラリを使用してプログラミングするものや、ユ
ーザプログラミングを必要とせずデータベースやイベン
ト設定をアプリケーションツールで行い、そのままＶＲ
シュミレーションを実行するシステムなどを使用しても
よい。またこの補聴器１に関する個々のシステム間を通
信にてつなげてもよい。また、状況を高い臨場感を保っ
て伝送するのに広帯域の通信路を使用しても良い。ま
た、補聴器１では、３Ｄコンピュータグラフィックスの
分野で用いられている以下の技術を用いてもよい。現実
に起こり得ることを忠実に画像として提示し、非現実的
な空間を作り、実際には不可能なことも画像として提示
することがコンセプトとなる。３Ｄコンピュータグラフ
ィックスでは、以下のモデリング技術、レンダリング技
術、アニメーション技術により可能となる。複雑で精密
なモデルを作るモデリング技術としては、ワイヤーフレ
ームモデリング、サーフェスモデリング、ソリッドモデ
リング、べジエ曲線、Ｂ−スプライン曲線、ＮＵＲＢＳ
曲線、ブール演算（ブーリアン演算）、自由形状変形、
自由形状モデリング、パーティクル、スイープ、フィレ
ット、ロフティング、メタボール等がある。また、質感
や陰影をつけリアルな物体を追求するためにレンダリン
グ技術としては、シェーディング、テクスチュアマッピ
ング、レンダリングアルゴリズム、モーションブラー、
アンチエリアシング、デプスキューイングがある。ま
た、作成したモデルを動かし、現実の世界をシミュレー
ションするためのアニメーション技術としては、キーフ
レーム法、インバースキネマティクス、モーフィング、
シュリンクラップアニメーション、αチャンネルがあ
る。また、サウンドレンダリングとして「文献Takala
T,Computer Graphics （Proc SIGGRAPH 1992）Vol26,No
2,211-20」に記載されている技術を用いても良い。

【０１４２】このようなＶＲシステムを統合するシステ
ムとしては、例えばDivision Incのシステム（VRランタ
イムソフトウェア[dVS]、ＶＲ空間構築ソフトウェア[dV
ISE]、ＶＲ開発用ライブラリ[VC Toolkit]、SENSE８社
のWorldToolKitと、WorldUp、Superscape社のＶＲＴ、
ソリッドレイ社のRealMaster、モデルなしのＶＲの生成
として、文献「Hirose M et al. A study of image edi
ting technology for synthetic sensation. Proc ICA
T'94,63-70,1994」に記載されている方法等を使用して
も良い。

【０１４３】また、本実施の形態では、ＨＭＤ２と、コ
ンピュータ部３との間を光ファイバーケーブル４で接続
してなる携帯型の補聴器１について説明したが、ＨＭＤ
２とコンピュータ部３との間をワイヤレスとし、ＨＭＤ
２とコンピュータ部３との間を無線や赤外線を用いた信
号伝送方式等により情報の送受信を行っても良い。更
に、この補聴器１においては、ＨＭＤ２とコンピュータ
部３との間をワイヤレスとする場合のみならず、図２に
示した各部が行う機能毎に分割して複数の装置とし、各
装置間をワイヤレスとしても良く、少なくともコンピュ
ータ部３を使用者に装着させずにＨＭＤ２と情報の送受
信を行っても良い。更にまた、この補聴器１において
は、使用者の身体状態、利用状態、使用目的に応じて、
図２に示した各部が行う機能毎に分割して複数の装置と
し、各装置間をワイヤレスとしても良い。これにより、
補聴器１は、使用者が装着する装置の重量、体積を軽減
し、使用者の身体の自由度を向上させ、使用者の認識を
更に向上させることができる。

【０１４４】また、補聴器１では、通信回路２７を介し
て信号処理部２２及び音声情報生成部２３で行う処理の
制御及びバージョンアップ、修理等をしても良い。これ
により、補聴器１では、通信回路２７を通じて視覚ディ
スプレイ、聴覚ディスプレイ等を通じて修理、制御、調
整等を受けることができる。

【０１４５】また、本発明を適用した補聴器１によれ
ば、合成した音声を表示することで使用者に提示するこ
とができるので、例えば事務（ウェアブルコンピュータ
として）、通信（自動翻訳電話への応用など）、産業医
学領域（メンタルヘルスなど）、医療現場（聴力検査へ
の利用）、外国語学習、言語訓練、娯楽（テレビゲー
ム）、個人用のホームシアター、コンサートや試合等の
観戦、番組製作（アニメーション、実写映像、ニュー
ス、音楽制作）、水中（ダイビングでの水中における会
話など）、諜報活動や軍事、騒音下などの悪条件での作
業業務（建築現場工場など）、スポーツ（自動車やヨッ
ト等のレースや、山や海等の冒険時、選手の試合時や練
習時での選手同士や選手とコーチ間の意志疎通や情報変
換）、や宇宙空間での作業、運輸（宇宙船や飛行機のパ
イロット）、カーナビゲーションシステム、ＶＲとＡＲ
とを用いた種々のシミュレーション作業（遠隔手術（マ
イクロサージュリー）など）等、教育、トレーニング、
内科治療、傷病治療、政治、旅行、買い物、マーケティ
ング、広告、宗教、デザインの分野、アミューズメント
パーク等におけるFish-tank VR display、裸眼立体視シ
ステム、テレイグジスタンス視覚システムなどを用いた
ＶＲやＡＲや、テレエグシスタンスやアールキューブを
利用したもの、電話やインターネットでの応対業務にも
適用可能であり、音声言語障害者のみならず、重病患
者、重度身体障害者のコミュニケーション、介護学校等
の広い分野で使用可能である。

【０１４６】

【発明の効果】以上詳細に説明したように、本発明に係
る補聴器は、音声言語障害者を検出して得た認識結果に
基づいて予め記憶した音声データを組み合わせて音声情
報を音声に変換して外部に出力するとともに、外部から
の音声を使用者に出力することができるので、喉頭摘出
や舌口腔底切除や構音障害等による音声言語障害を有す
る人達が本来自身がもつ、或いは自在に変換させて自然
な音声で発声することを可能とするとともに、外部から
の音声を使用者に出力することで使用者の聴覚を補うこ
とができる。

【０１４７】本発明に係る補聴器は、使用者の身体状
態、利用状態及び使用目的に応じて、上記認識手段から
の認識結果の内容を変更するように加工変換する変換手
段を備えているので、使用者の身体状態、利用状態及び
使用目的に応じて音声認識の結果を提示するとともに、
ノイズが少ない状態で認識結果を提示することができ
る。

【図面の簡単な説明】

【図１】本発明を適用した補聴器の外観の一例を示すブ
ロック図である。

【図２】本発明を適用した補聴器の構成を示すブロック
図である。

【図３】本発明を適用した補聴器でＡＲ空間を作るため
の構成について示すブロック図である。

【符号の説明】

１ 音声生成装置、２ ヘッドマウントディスプレイ、
３ コンピュータ部、７ ディスプレイ部、８ 使用者
用マイクロホン、１１ 外部用マイクロホン、２１ マ
イクロホン、２３ 音声情報生成部、２４ 記憶部、２
５ スピーカ部、２６ 表示部

Claims (24)

【特許請求の範囲】
1. 【請求項１】 音声言語障害を有した使用者から発せら
   れた音声及び／又は外部からの音声を検出して音声信号
   を生成する音響電気変換手段と、 上記音響電気変換手段からの音声信号に基づいて音声認
   識をする処理を行う音声認識手段と、 音声言語障害を有した使用者から発せられた音声を予め
   サンプリングすることで生成した音声データを記憶する
   記憶手段と、 上記音声認識手段からの認識結果に基づいて上記記憶手
   段に記憶された音声データを組み合わせ、出力する音声
   を示す音声情報を生成する音声情報生成手段と、 上記音声情報生成手段で生成された音声情報を音声に変
   換して外部に出力する使用者音声出力手段と、 上記音声認識手段で認識された認識結果を上記外部から
   の音声として使用者に出力する外部音声出力手段とを備
   えることを特徴とする補聴器。
2. 【請求項２】 上記音声認識手段からの認識結果を用い
   て使用者音声出力手段から出力した音声の内容を表示す
   る表示手段を備えることを特徴とする請求項１記載の補
   聴器。
3. 【請求項３】 通信回線を通じて音声及び/又は音声デ
   ータを入力して上記音響電気変換手段及び/又は上記音
   声認識手段に入力するとともに上記使用者音声出力手段
   からの認識結果を通信回線に出力する上記通信手段を備
   えることを特徴とする請求項１記載の補聴器。
4. 【請求項４】 上記音響電気変換手段は、音声言語障害
   を有して発せられた音声として、音声言語障害を是正す
   るために用いられる補助的手段や装置を用いて発せられ
   た音声を検出して音声信号を生成することを特徴とする
   請求項１記載の補聴器。
5. 【請求項５】 上記音響電気変換手段は、音声言語障害
   を有して発せられた音声として、音声言語障害を是正す
   るために用いられる、喉頭摘出後になされる代用発声法
   を用いて発せられた音声を検出して音声信号を生成する
   ことを特徴とする請求項４記載の補聴器。
6. 【請求項６】 上記音響電気変換手段は、音声言語障害
   を有して発せられた音声として、音声言語障害を是正す
   るために用いられる、喉頭摘出後になされる代用発声法
   を用いない音声言語障害者から発せられた音声を検出し
   て音声信号を生成することを特徴とする請求項４記載の
   補聴器。
7. 【請求項７】 画像を撮像する撮像手段を備え、 上記撮像手段は、撮像した画像を少なくとも表示手段に
   出力することを特徴とする請求項２記載の補聴器。
8. 【請求項８】 上記撮像手段は、使用者の視力に基づい
   て、撮像した画像について画像変換処理を施して表示手
   段に出力することを特徴とする請求項７記載の補聴器。
9. 【請求項９】 上記撮像手段で撮像した画像のパターン
   を認識して使用者の話者の顔面認識をして顔面認識結果
   を上記表示手段に出力する処理及び／又は音声で提示す
   る処理をする画像解析手段を備えることを特徴とする請
   求項７記載の補聴器。
10. 【請求項１０】 少なくとも上記撮像手段は、使用者に
    対して着脱自在となされていることを特徴とする請求項
    ７記載の補聴器。
11. 【請求項１１】 通信回線を通じて画像を入力するとと
    もに上記音声情報生成手段からの認識結果を通信回線に
    出力する上記通信手段を備えることを特徴とする請求項
    １記載の補聴器。
12. 【請求項１２】 少なくとも上記音声出力手段は、使用
    者に対して着脱自在となされていることを特徴とする請
    求項１記載の補聴器。
13. 【請求項１３】 音響電気変換手段、音声認識手段、記
    憶手段、音声情報生成手段及び音声出力手段を分割して
    複数の装置とし、各装置間をワイヤレスとして少なくと
    も音声情報の送受信を行うことを特徴とする請求項１記
    載の補聴器。
14. 【請求項１４】 上記使用者音声出力手段及び／又は上
    記外部音声出力手段からの出力を制御する出力制御手段
    を備え、 上記出力制御手段は、上記音声認識手段からの認識結果
    に基づいて、音声情報及び／又は認識結果を再度出力す
    るように使用者音声出力手段及び／又は外部音声出力手
    段を制御することを特徴とする請求項１記載の補聴器。
15. 【請求項１５】 外部からの音声を検出して音声信号を
    生成する音響電気変換手段と、上記音響電気変換手段か
    らの音声信号を用いて音声認識処理を行う認識手段と、 使用者の身体状態、利用状態及び使用目的に応じて、上
    記認識手段からの認識結果の内容を変更するように加工
    変換する変換手段と、 上記認識手段による認識結果及び／又は認識結果を上記
    変換手段により加工変換した認識結果を出力させる制御
    信号を生成する出力制御手段と、 上記出力制御手段で生成された制御信号に基づいて上記
    認識手段による認識結果及び／又は上記変換手段により
    加工変換された認識結果を出力して認識結果を使用者に
    提示する出力手段とを備えることを特徴とする補聴器。
16. 【請求項１６】 上記出力制御手段は、上記認識手段か
    らの認識結果に基づいて、上記認識手段による認識結果
    及び／又は認識結果を上記変換手段により加工変換した
    認識結果を、再度出力手段から出力するように制御する
    ことを特徴とする請求項１５記載の補聴器。
17. 【請求項１７】 上記出力手段は人工内耳機構からな
    り、 上記出力制御手段は、認識結果及び／又は加工変換され
    た認識結果を電気信号として出力するように制御信号を
    生成することを特徴とする請求項１５記載の補聴器。
18. 【請求項１８】 上記出力手段は圧挺板からなり、 上記出力制御手段は、上記圧挺板に認識結果及び／又は
    加工変換された認識結果を振動として出力するように制
    御信号を生成することを特徴とする請求項１５記載の補
    聴器。
19. 【請求項１９】 上記出力手段は人工中耳機構からな
    り、 上記出力制御手段は、認識結果及び／又は加工変換され
    た認識結果を電気信号として出力するように制御信号を
    生成することを特徴とする請求項１５記載の補聴器。
20. 【請求項２０】 上記出力手段は、超音波出力機構（bo
    ne condaction ultrasound）からなり、 上記出力制御手段は、上記超音波出力機構に認識結果及
    び／又は加工変換された認識結果を電気信号として出力
    するように制御信号を生成することを特徴とする請求項
    １５記載の補聴器。
21. 【請求項２１】 上記出力手段は、タクタイルエイド用
    振動子アレイからなり、 上記出力制御手段は、上記振動子アレイに認識結果及び
    ／又は加工変換された認識結果を電気信号として出力す
    るように制御信号を生成することを特徴とする請求項１
    ５記載の補聴器。
22. 【請求項２２】 上記出力手段は、聴性脳幹インプラン
    ト機構からなり、 上記出力制御手段は、上記聴性脳幹インプラント機構に
    認識結果及び／又は加工変換された認識結果を電気信号
    として出力するように制御信号を生成することを特徴と
    する請求項１５記載の補聴器。
23. 【請求項２３】 少なくとも上記出力手段は、使用者に
    対して着脱自在となされていることを特徴とする請求項
    １５記載の補聴器。
24. 【請求項２４】 上記音響電気変換手段、認識手段、変
    換手段、出力制御手段、出力手段を分割して複数の装置
    とし、各装置間をワイヤレスとして少なくとも音声情報
    の送受信を行うことを特徴とする請求項１５記載の補聴
    器。