JP2019053191A - 発声補助システム及び発声補助方法 - Google Patents

Abstract

【課題】手術等で声帯を抽出した者など、発声自体が困難な者についても、適正な音声認識をする。【解決手段】 着用者の両耳に掛けられる一対の支持体２１によって保持されて、着用者５の口唇５１の周辺を覆うマスク本体２０を用い、マスク本体２０の内側に配置されて、マスク本体２０で覆われた口唇５１の周辺の気流を検出し、検出センサー３による検出結果に基づいて、気流のパターンを解析し、解析したパターンに対応する音声を認識し、認識された音声に対応する音声信号を出力する。【選択図】 図２

Description

本発明は、着用者の両耳に掛けられることによって保持されて着用者の口唇の周辺を覆うマスク本体を用いるシステムに関する。

従来、例えば声帯摘出者や身体障害者等のように、発声ができない者、或いは不明瞭な発声をする者が利用する音声出力補助装置があり、この音声出力補助装置は、発声すべき音声に対応する標準音声パターンを多数記憶しておき、着用者の口から発声する音声パターンと予め記憶される多数の標準音声パターンとを比較照合して、非健常者が発声する音声を認識することが行われている（例えば、特許文献１参照）。

特開平７−１３５８２号公報

しかしながら、従来の音声認識装置は、着用者の口から発声する音声パターンから音声認識を行っており、例えば手術等で声帯を抽出した者など、発声自体が困難な者については全く認識できないという問題がある。

そこで、本発明は、上記のような問題を解決するものであり、例えば手術等で声帯を抽出した者など、発声自体が困難な者についても、適正に音声認識を行い発声補助ができる発声補助システム及び発声補助方法を提供することを目的とする。

上記課題を解決するために、本発明は、着用者の両耳に掛けられる一対の支持体によって保持されて、着用者の口唇の周辺を覆うマスク本体と、マスク本体の内側に配置され、マスク本体を着用した状態において、マスク本体で覆われた口唇の周辺の気流を検出する検出部と、検出部による検出結果に基づいて、気流のパターンを解析する気流解析部と、気流解析部が解析したパターンに対応する音声を認識する認識部と、認識部が認識した音声に対応する音声信号を出力する出力部とを備えることを特徴とする。

本発明は、着用者の両耳に掛けられる一対の支持体によって保持されて、着用者の口唇の周辺を覆うマスク本体を用いる発声補助方法であって、マスク本体の内側に配置され、マスク本体を着用した状態において、マスク本体で覆われた口唇の周辺の気流を、検出部が検出する検出ステップと、検出部による検出結果に基づいて、気流のパターンを気流解析部が解析する気流解析ステップと、気流解析部が解析したパターンに対応する音声を認識部が認識する認識ステップと、認識部が認識した音声に対応する音声信号を出力部が出力する出力ステップとを含むことを特徴とする。

上記発明において、検出部は、マスク本体の内側に多数配置された光センサーを含むことが好ましい。また、上記発明において、検出部は、発光部と、発光部からの光を受光する受光器と、受光器を覆うカバー部と、発光部からの入射光が受光器に到達可能となるように、カバー部に形成された開口部と、開口部において、揺動可能に入射光の経路上に配置された光遮断部とを備えることが好ましい。さらに、上記発明において、マスク本体は、通気性を有する素材で形成したり、マスク内外で通気させる通気口を有することが好ましい。

なお、上述した本発明に係る発声補助システムや発声補助方法は、所定の言語で記述された本発明のプログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明の発声補助プログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルＰＣその他の情報処理端末、パーソナルコンピュータ等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する発声補助システムを構築して、本発明に係る発声補助方法を実施することができる。

また、本発明の発声補助プログラムは、例えば、通信回線を通じて配布することが可能であり、また、コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。この記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステム及び方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。

以上述べたように、これらの発明によれば、着用者の両耳に掛けられるマスクで、着用者の口唇の周辺を覆い、口唇の周辺の気流を検出して音声の認識を行うため、手術等で声帯を抽出した者など、発声自体が困難な者についても、適正な音声認識をすることができ、適切な発声補助が行える。

実施形態に係る発声補助システムの全体構成を示す概念図である。 実施形態に係る気流検出装置の構成を示す説明図である。 実施形態に係る気流検出装置の構成を示す斜視図である。 実施形態に係るセンサーを示す斜視図である。 実施形態に係るセンサーの内部空間を示す斜視図である。 実施形態に係るスマートフォンの機能を示すブロック図である。 実施形態に係るスマートフォンのＣＰＵに構築された補助システムを示すブロック図である。

（発声補助システムの全体構成）
以下に添付図面を参照して、本発明に係る発声補助システムの実施形態を詳細に説明する。図１は、本実施形態に係る発声補助システム１の全体構成を示す概念図である。
図１に示すように、本実施形態に係る発声補助システム１は、着用者５に装着される気流検出装置２と、気流検出装置２による検出結果に応じて音声を出力するスマートフォン４とから概略構成される。また、本実施形態に係る発声補助システム１において、スマートフォン４は、ネットワーク６を通じてサーバー７にアクセスが可能となっており、信号変換等に必要なデータを適宜サーバー７からダウンロード等ができるようになっている。また、サーバー７は、過去の気流パターンや音声認識結果を蓄積し、蓄積されたデータを解析したり、蓄積されたデータに基づいて学習したりすることによって、音声認識の精度を向上させるようにしている。

（各装置の構成）
次いで、各装置の構成について説明する。図２及び図３は、本実施形態に係る気流検出装置の内部構成を示す説明図及び斜視図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

（１）気流検出装置２の構成
気流検出装置２は、図２及び図３に示すように、マスク本体２０の裏面に多数の検出センサー３が配置されて構成されている。マスク本体２０は、着用者５の両耳に掛けられる一対の紐体で構成された支持体２１によって保持されて、着用者５の口唇５１及び鼻孔５２の周辺を覆う部材であり、このマスク本体２０は、通気性を有する素材で形成されている。なお、このマスク本体としては、本実施形態では、通気性を有する素材で形成するが、例えば、通気性のない素材であっても、通気を行うための通気口を設ける形式にすることもできる。また、本実施形態では、支持体２１として着用者５の両耳に掛けられる紐体としたが、着用者５の顔面から後頭部に掛けて巻き付けられるベルトやハーネスなどの形式とすることもできる。

検出センサー３は、マスク本体２０の内側に多数配置され、マスク本体２０を着用した状態において、マスク本体２０で覆われた口唇５１及び鼻孔５２の周辺の気流を検出する検出部である。本実施形態において、この検出センサー３は、マスク本体２０の内側に多数配置された光センサーであり、具体的には、図４及び図５に示すように、発光ダイオード３１と、受光器３４と、受光器３４を覆うカバー部３３とを備えている。

検出センサー３は、マスク本体２０の表面に多数設けられており、それぞれ基台３５上にカバー部３３及び固定部３６が固着された構成となっている。基台３５は板状の部材であり、その上面にカバー部３３と固定部３６とが固着され、固定部３６は、カバー部３３の一端に組み付けられている。

発光ダイオード３１は、光を照射する発光部であり、一定の強度及び波長で発光する。なお、検出センサー３は、多数設けられており、それぞれの検出センサー３に取付けられる発光ダイオードは、それぞれ固有の波長や色で発光させることができ、隣接する発光ダイオードの光を誤認識しないようにしてもよい。また、この発光ダイオード３１は、固定部３６上に固着された環状のリング部材３１ｂに嵌合され、発光部分をカバー部３３の開口部３３ｂに臨ませるようにして固定されている。この発光ダイオード３１には、電極３１ａを介して電気が供給され、この電極３１ａは制御部３７に接続され、発光ダイオード３１の発光が制御される。

受光器３４は、発光ダイオード３１からの光を受けて、受けた光の強さや波長、色、受光継続時間などを電気信号に変換して出力する光センサーである。この受光器３４としては、例えばＣＤＳセルなど、受光する照度に応じて抵抗値や電圧が変化される素子等で構成することができる。また、この受光器３４は、その受光面３４ａが、開口部３３ｂを介して、発光ダイオード３１の発光部に対向配置するように、空間３３ｃ内に設置されている。また、受光器３４には電極３４ｂが接続され、この電極３４ｂを介して電気が供給されるとともに検出信号が出力される。この電極３４ｂは制御部３７に接続されて、受光器３４の駆動が制御される。

カバー部３３は、受光器３４を覆う内部中空の直方体形状をなすカバー部材であり、内部に受光器３４を収納する空間３３ｃが形成されている。このカバー部３３には、発光ダイオード３１からの入射光が受光器３４に到達可能となるように形成された開口部３３ｂが形成されており、開口部３３ｂには揺動可能に入射光の経路上に配置された光遮断部材３２が取付けられている。

この光遮断部材３２は、周囲の気流によって揺らいだり、撓ったりする程度の可撓性及び弾力性を有しており、気流による圧力によって変形したり、揺らいだりするとともに、圧力が解消されることによってその弾力で元の形状に戻ったりして、開口部３３ｂからカバー部３３内に入射される発光ダイオード３１からの光を変化させる。例えば、強い気流が発生したときには大きく揺らぎ、気流が弱いときには小さく揺らぐなどして、周囲の気流の大きさを受光の変化により検出し、周囲の風圧が解消されたときには、その弾性力により元の形状に戻り入射される光を遮断する。

制御部３７は、各発光ダイオード３１及び各受光器３４と接続され、各発光ダイオード３１の発光を制御するとともに、サンプリング周期に従って各受光器３４からの検出信号を取得して、スマートフォン４に送出するＩＣチップである。

（２）スマートフォンの構成
スマートフォン４は、図６及び図７に示すように、ネットワーク６に接続可能な通信インターフェース４１を備えた情報処理端末装置であり、ＣＰＵ４４等の演算処理装置を備え、このＣＰＵ４４でアプリケーションソフトを実行することによって種々の機能を提供する。この情報処理端末としては、スマートフォンの他、例えば、パーソナルコンピュータ等の汎用コンピューターや機能を特化させた専用装置、モバイルコンピューター、携帯電話機、ウェアラブル端末装置等が含まれる。本実施形態において、スマートフォン４は、ＣＰＵ４４において各種プログラムを実行することにより、ＣＰＵ上に仮想的に各種モジュールを構築する。本実施形態では、このＣＰＵ４４により本発明の発声補助プログラムを実行することによって汎用コンピューターであるスマートフォン４を発声補助システムとして機能させる。

詳述すると、スマートフォン４は、演算処理を行うＣＰＵ４４と、データを記憶するメモリ４５と、通信回線やインターネットを介して外部との通信を行う通信インターフェース４１と、出力インターフェース４３と、入力インターフェース４２とを有している。なお、本実施形態では、これらの各モジュールはＣＰＵバスを介して接続されており、相互にデータの受渡しが可能となっている。

ＣＰＵ４４は、各部を制御する際に必要な種々の演算処理を行う装置であり、各種プログラムを実行することにより、ＣＰＵ４４上に仮想的に各種モジュールを構築する。本実施形態では、このＣＰＵ４４で発声補助プログラムを実行することによって、この汎用的なスマートフォン４を、発声補助システム用の端末として機能させる。

通信インターフェース４１は、無線通信により無線基地局と通信を行うモジュールであり、ＬＴＥ回線、３Ｇ・４Ｇ回線や、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワーク、その他の公知の装置・通信方式を用いることができる。また、この通信インターフェース４１は、ＵＳＢケーブルの有線通信や、ＢＬＥ（Bluetooth Low Energy）等の低電力の近距離通信が可能となっており、検出センサー３の制御部３７との間で有線又は無線により通信し、制御部３７が収集した気流データを受信する機能も果たす。

メモリ４５は、データを記録媒体に蓄積するとともに、これら蓄積されたデータを各デバイスの要求に応じて読み出す装置であり、例えば、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリカード等により構成することができる。

また、ＣＰＵバスには、ＧＰＳや無線基地局６１の識別子・座標などから自機の現在位置を測定する位置情報取得手段や、現在時刻を計時する時計手段などが接続されている。これらの位置情報取得手段及び時計手段による測定結果は、相互に紐付けられてログデータとして、メモリ４５に蓄積されるとともに、ＣＰＵ４４上で実行されるＯＳやアプリケーションの要求に応じて受渡される。

出力インターフェース４３は、ディスプレイやスピーカー等の出力デバイスから映像や音声を出力するために映像信号や音声信号を送出するモジュールであり、ＣＰＵ４４で実行されるアプリケーションソフトに関する映像や音声を出力することができる。本実施形態では、発声補助システムによって認識され解析された音声を出力する出力手段としての役割も果たす。

一方、入力インターフェース４２は、タッチパネル４２３や物理的な操作ボタン等の操作デバイスから操作信号を受信するモジュールであり、受信された操作信号はＣＰＵ４４に伝えられ、ＯＳや各アプリケーションに対する操作を行うことができる。なお、本実施形態では、入力インターフェース４２及び出力インターフェース４３に接続されたタッチパネル４２３では、入力デバイスであるタッチパネルが、表示デバイスであるディスプレイに重畳されて構成されており、操作画面の表示データをディスプレイに表示させ、それに応じたタッチ操作やゼスチャー操作がなされることによってユーザー操作信号を取得するＧＵＩが提供される。

そして、ＣＰＵ４４上では、スマートフォン用に提供されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が起動・実行されており、このＯＳによってスマートフォン４の基本的な機能が制御されている。また、このＯＳ上では種々のアプリケーションが実行可能になっており、各種アプリケーションを実行することにより、様々な機能が実行される。

本実施形態では、ＣＰＵ４４上でアプリケーションプログラムを実行することにより、種々の機能モジュールがＣＰＵ上に仮想的に構築される。本実施形態では、発声補助処理に係るモジュールとして、気流データ取得部４４ａと、気流解析部４４ｂと、音声認識部４４ｃと、出力情報生成部４４ｄとを備えている。

気流データ取得部４４ａは、通信インターフェース４１を通じて制御部３７で収集された各検出センサー３，３からの気流データを受信して取得するモジュールである。この気流データ取得部４４ａで取得された気流データは、気流解析部４４ｂに入力される。気流解析部４４ｂは、検出センサー３による検出結果に基づいて、気流パターンを解析するモジュールである。音声認識部は、気流解析部４４ｂが解析した気流パターンに対応する音声を認識するモジュールである。さらに、出力情報生成部４４ｄは、音声認識部４４ｃが認識した音声に対応する音声信号を出力する出力モジュールである。

詳述すると、気流解析部４４ｂは、気流を検出したセンサーの位置や、検出した強度、タイミングなどを所定の周期でサンプリングし、各センサー値の時経的変化を解析することにより、気流パターンを生成する。

音声認識部４４ｃは、気流解析部４４ｂが解析した気流パターンから音の種類、強弱、及び高低を判定する。この気流パターンに含まれるパラメーターのうち音の強弱は、予め所定の基準レベルが設定され、気流パターンに含まれる各センサーの値のうち、風速の各速度成分がいずれの方向にどの程度偏っているかを表すものが含まれる。

また、音声認識部４４ｃは、気流パターンに含まれるパラメーターのうち各センサーが検出した風速の偏りを抽出し、風速の各速度成分の分布状態から発声音を決定し、その発声音に対応する文字コード，例えば「ア」とか「イ」とかのコードを選定し、選定されたコードは時系列的に出力され、出力情報生成部４４ｄに入力される。

メモリ４５は、気流パターンとそれに対応する音声符号とが記憶されており、出力情報生成部４４ｄは、音声認識部４４ｃで気流パターンに基づいて音声認識された発声音である文字コード（音声符号）を取り出し、それに対応する標準音声パターンを出力する。メモリ４５には、気流パターンと、気流パターンに対応する音声符号とが対応付けられて記憶されている。

（発声補助システムの動作）
以上説明した発声補助システムを動作させることによって、本発明の発声補助方法を実施することができる。
先ず、着用者５は、両耳に掛けられる一対の支持体２１によってマスク本体２０を保持することにより、着用者５の口唇５１及び鼻孔５２の周辺を覆うように、装着し、声が十分にでないまでも発声するときと同様の息づかいをする。マスク本体２０の内側には検出センサー３が多数配置されており、マスク本体２０を着用した状態で、マスク本体２０で覆われた口唇５１及び鼻孔５２の周辺の空間２５内おける気流を検出する。

このとき、検出センサー３では、周囲の気流によって、光遮断部材３２が変形したり、揺らいだりすることによって、開口部３３ｂからカバー部３３内に入射される発光ダイオード３１からの光が変化される。この光の変化は、カバー部３３内の受光器３４によって検出され、検出された信号は制御部３７へ送出される。制御部３７では、所定のサンプリング周期に従って各受光器３４からの検出信号を取得して、気流データとしてスマートフォン４に送出する。

この制御部３７から送出された気流データは、通信インターフェース４１を通じて気流データ取得部４４ａで取得され、この気流データ取得部４４ａで取得された気流データは、気流解析部４４ｂに入力されて解析され、音声認識部４４ｃが、気流解析部４４ｂが解析した気流パターンに対応する音声を認識する。そして、音声認識部４４ｃが認識した音声に対応する音声信号が、出力情報生成部４４ｄにより出力される。

（作用・効果）
以上説明した実施形態によれば、着用者の両耳に掛けられるマスクで、着用者の口唇の周辺を覆い、口唇の周辺の気流を検出して音声の認識を行うため、手術等で声帯を抽出した者など、発声自体が困難な者についても、適正な音声認識をすることができ、適切な発声補助が行える。

なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

１…発声補助システム
２…気流検出装置
３，３…検出センサー
４…スマートフォン
５…着用者
６…ネットワーク
７…サーバー
２０…マスク本体
２１…支持体
２５…空間
３１…発光ダイオード
３１ａ…電極
３１ｂ…リング部材
３２…光遮断部材
３３…カバー部
３３ｂ…開口部
３３ｃ…空間
３４…受光器
３４ａ…受光面
３４ｂ…電極
３５…基台
３５ａ…電極
３６…固定部
３７…制御部
４１…通信インターフェース
４２…入力インターフェース
４３…出力インターフェース
４４…ＣＰＵ
４４ａ…気流データ取得部
４４ｂ…気流解析部
４４ｃ…音声認識部
４４ｄ…出力情報生成部
４５…メモリ
５１…口唇
５２…鼻孔
６１…無線基地局
４２３…タッチパネル

Claims (7)

1. 着用者の両耳に掛けられる一対の支持体によって保持されて、前記着用者の口唇の周辺を覆うマスク本体と、
   前記マスク本体の内側に配置され、前記マスク本体を着用した状態において、前記マスク本体で覆われた口唇の周辺の気流を検出する検出部と、
   前記検出部による検出結果に基づいて、前記気流のパターンを解析する気流解析部と、
   前記気流解析部が解析した前記パターンに対応する音声を認識する認識部と、
   前記認識部が認識した音声に対応する音声信号を出力する出力部と
   を備えることを特徴とする発声補助システム。
2. 前記検出部は、前記マスク本体の内側に多数配置された光センサーを含むことを特徴とする請求項１に記載の発声補助システム。
3. 前記検出部は、
   発光部と、
   前記発光部からの光を受光する受光器と、
   前記受光器を覆うカバー部と、
   前記発光部からの入射光が前記受光器に到達可能となるように、前記カバー部に形成された開口部と、
   前記開口部において、揺動可能に前記入射光の経路上に配置された光遮断部と
   を備えることを特徴とする請求項１又は２に記載の発声補助システム。
4. 前記マスク本体は、通気性を有する素材で形成されていることを特徴とする請求項１に記載の発声補助システム。
5. 前記マスク本体は、マスク内外で通気させる通気口を有することを特徴とする請求項１に記載の発声補助システム。
6. 請求項１乃至４に記載のシステムにおいて、情報処理端末を、
   前記検出部による検出結果に基づいて、前記気流のパターンを解析する気流解析部と、
   前記気流解析部が解析した前記パターンに対応する音声を認識する認識部と、
   前記認識部が認識した音声に対応する音声信号を出力する出力部と
   して機能させることを特徴とする発声補助プログラム。
7. 着用者の両耳に掛けられる一対の支持体によって保持されて、前記着用者の口唇の周辺を覆うマスク本体を用いる発声補助方法であって、
   前記マスク本体の内側に配置され、前記マスク本体を着用した状態において、前記マスク本体で覆われた口唇の周辺の気流を、検出部が検出する検出ステップと、
   前記検出部による検出結果に基づいて、前記気流のパターンを気流解析部が解析する気流解析ステップと、
   前記気流解析部が解析した前記パターンに対応する音声を認識部が認識する認識ステップと、
   前記認識部が認識した音声に対応する音声信号を出力部が出力する出力ステップと
   を含むことを特徴とする発声補助方法。