JP2003316387A - 学習装置、移動通信端末、情報認識システム、及び、学習方法 - Google Patents

学習装置、移動通信端末、情報認識システム、及び、学習方法

Info

Publication number
JP2003316387A
JP2003316387A JP2003037064A JP2003037064A JP2003316387A JP 2003316387 A JP2003316387 A JP 2003316387A JP 2003037064 A JP2003037064 A JP 2003037064A JP 2003037064 A JP2003037064 A JP 2003037064A JP 2003316387 A JP2003316387 A JP 2003316387A
Authority
JP
Japan
Prior art keywords
information
utterance
learning
mobile communication
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003037064A
Other languages
English (en)
Inventor
Hiroyuki Manabe
宏幸 真鍋
Akira Hiraiwa
明 平岩
Toshiaki Sugimura
利明 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2003037064A priority Critical patent/JP2003316387A/ja
Priority to US10/367,886 priority patent/US7216078B2/en
Priority to DE60315907T priority patent/DE60315907T2/de
Priority to EP03003781A priority patent/EP1336947B1/en
Priority to CNB031037941A priority patent/CN100426818C/zh
Publication of JP2003316387A publication Critical patent/JP2003316387A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Abstract

(57)【要約】 【課題】 移動通信端末において調音器官情報に基づく
発話内容認識をすることを可能とする、学習装置、移動
通信端末、情報認識システム及び学習方法を提供する。 【解決手段】 ユーザの筋電情報をデータセンタ２８に
送信し、筋電情報に基づく発話内容認識を行うのに必要
な認識パラメータを生成するための計算負荷の高い学習
を、移動通信端末２７でなくデータセンタ２８において
行う。これにより、固定型のコンピュータ等に比べて処
理速度やメモリ等の制限の大きい移動通信端末２７にお
いて学習を行う場合に比して、短時間で効率のよい学習
が可能とされる。また、データセンタ２８で取得された
認識パラメータを移動通信端末２７に送信するので、こ
れ以降、移動通信端末２７において、学習装置等との情
報の送受信をすることなく移動通信端末のみで、ユーザ
に適合された認識パラメータにより発話内容認識が好適
に実施できる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ユーザが発話動作
する際の調音器官の動きに関する情報に基づいて発話の
内容の認識をする移動通信端末、発話の内容の認識に係
る認識パラメータを生成する学習装置、これらを含む情
報認識システム、この情報認識システムで行われる学習
方法、に関する。
【０００２】
【従来の技術】従来より、音響情報によらず、発話動作
を行う者の口周辺の筋電情報や口唇の映像等、調音器官
の動きに関する情報に基づいて発話の内容の認識をする
情報認識方法が知られている。これによれば、発話者が
音響を発することなく口や舌等の動きから発話の内容の
認識が可能であり、例えば、特開平７−１８１８８８号
公報に開示されているように、病気や事故等により発声
ができない無咽頭者の口等の動きから発話の内容を認識
して発声を代行する装置等に応用されている。
【０００３】そして、このような調音器官の動きに関す
る情報に基づく発話の内容の認識を行う場合には、話者
毎の様々な発話の特徴に対応すべく、当該調音器官の動
きに関する情報等を話者毎に適応的に学習し、話者毎に
固有の認識パラメータを生成し、この話者毎の認識パラ
メータに基づいて発話の内容を認識をすることが重要と
され、これにより発話の内容の認識精度が向上される。
【０００４】
【発明が解決しようとする課題】このような情報認識方
法は、音響情報を必要としないので、周囲の雑音等に影
響されず、また、口や舌等を動かす無声の発話動作をす
るだけでよいので、屋外等の周囲の雑音の大きい場所
や、オフィスや図書館等の静けさの要求される場所にお
ける発話の内容の認識手段としても利用でき、例えば携
帯電話に代表される移動通信端末への適用が考えられ
る。
【０００５】しかし、調音器官の動きに関する情報に基
づく発話の内容の認識に関する学習には多くのメモリや
計算能力を必要とし、処理能力やメモリ等に制限がある
携帯電話等の移動通信端末でこのような学習等を実行さ
せることは難しく、移動通信端末において調音器官の動
きに関する情報に基づく発話の内容の認識を行うことは
困難であった。
【０００６】本発明は、上記課題に鑑みてなされたもの
であり、移動通信端末において調音器官の動きに関する
情報に基づく発話の内容の認識をすることを可能とす
る、学習装置、移動通信端末、情報認識システム及び学
習方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明に係る学習装置
は、ネットワークを介して互いに通信可能な移動通信端
末と共に、当該移動通信端末のユーザが発話動作する際
の調音器官の動きに関する情報に基づいて発話の内容を
認識する情報認識システムを構成する学習装置であっ
て、上記移動通信端末から送信される上記調音器官の動
きに関する情報を受信する調音器官情報受信手段と、上
記ユーザの発話動作に対応する教師データを取得する教
師データ取得手段と、上記調音器官の動きに関する情報
と、上記教師データと、に基づいて、上記発話動作につ
いての発話の内容の認識に関する学習を行って認識パラ
メータを生成する学習手段と、上記認識パラメータを上
記移動通信端末に送信する認識パラメータ送信手段と、
を備えることを特徴とする。
【０００８】本発明に係る移動通信端末は、ネットワー
クを介して互いに通信可能な学習装置と共に、ユーザが
発話動作をする際の上記ユーザの調音器官の動きに関す
る情報に基づいて発話の内容を認識する情報認識システ
ムを構成する移動通信端末であって、上記ユーザが発話
動作する際の上記ユーザの調音器官の動きに関する情報
を取得する調音器官情報取得手段と、上記調音器官の動
きに関する情報を上記学習装置に送信する調音器官情報
送信手段と、上記学習装置から送信される上記発話の内
容の認識に関する認識パラメータを受信する認識パラメ
ータ受信手段と、上記調音器官の動きに関する情報と、
上記認識パラメータと、に基づいて、上記発話動作につ
いての発話の内容の認識を行う情報認識手段と、を備え
ることを特徴とする。
【０００９】本発明に係る情報認識システムは、移動通
信端末と、上記移動通信端末とネットワークを介して通
信可能な学習装置と、を含んで構成され、上記移動通信
端末のユーザが発話動作をする際の上記ユーザの調音器
官の動きに関する情報に基づいて発話の内容を認識する
情報認識システムであって、上記移動通信端末は、ユー
ザが発話動作する際の上記ユーザの調音器官の動きに関
する情報を取得する調音器官情報取得手段と、上記調音
器官の動きに関する情報を上記学習装置に送信する調音
器官情報送信手段と、上記学習装置から送信される、上
記発話の内容の認識に関する認識パラメータを受信する
認識パラメータ受信手段と、上記調音器官の動きに関す
る情報と、上記認識パラメータと、に基づいて、上記発
話動作についての発話の内容の認識を行う情報認識手段
と、を備え、上記学習装置は、上記移動通信端末から送
信される上記調音器官の動きに関する情報を受信する調
音器官情報受信手段と、上記ユーザの発話動作に対応す
る教師データを取得する教師データ取得手段と、上記調
音器官の動きに関する情報と、上記教師データと、に基
づいて上記発話動作についての発話の内容の認識に関す
る学習を行って認識パラメータを生成する学習手段と、
上記認識パラメータを上記移動通信端末に送信する認識
パラメータ送信手段と、を備えることを特徴とする。
【００１０】本発明に係る一の学習方法は、移動通信端
末と、上記移動通信端末とネットワークを介して通信可
能な学習装置と、を含んで構成され、上記移動通信端末
のユーザが発話動作をする際の上記ユーザの調音器官の
動きに関する情報に基づいて発話の内容を認識する情報
認識システムにおける学習方法であって、上記移動通信
端末が、上記ユーザが発話動作する際の上記ユーザの調
音器官の動きに関する情報を取得する調音器官情報取得
工程と、上記移動通信端末が、上記調音器官の動きに関
する情報を上記学習装置に送信する調音器官情報送信工
程と、上記学習装置が、上記移動通信端末から送信され
る上記調音器官の動きに関する情報を受信する調音器官
情報受信工程と、上記学習装置が、上記ユーザの発話動
作に対応する教師データを取得する教師データ取得工程
と、上記学習装置が、上記調音器官の動きに関する情報
と、上記教師データと、に基づいて上記発話動作につい
ての発話の内容の認識に関する学習を行って認識パラメ
ータを生成する学習工程と、上記学習装置が、上記認識
パラメータを上記移動通信端末に送信する認識パラメー
タ送信工程と、上記移動通信端末が、上記学習装置から
送信される認識パラメータを受信する認識パラメータ受
信工程と、を含むことを特徴とする。
【００１１】本発明に係る他の学習方法は、移動通信端
末のユーザが発話動作する際の調音器官の動きに関する
情報に基づいて発話の内容を認識する情報認識システム
を構成する学習装置における学習方法であって、移動通
信端末から送信される上記調音器官の動きに関する情報
を受信する調音器官情報受信工程と、上記ユーザの発話
動作に対応する教師データを取得する教師データ取得工
程と、上記調音器官の動きに関する情報と、上記教師デ
ータと、に基づいて、上記発話動作についての発話の内
容の認識に関する学習を行って認識パラメータを生成す
る学習工程と、上記認識パラメータを上記移動通信端末
に送信する認識パラメータ送信工程と、を含むことを特
徴とする。
【００１２】本発明の学習装置、移動通信端末、情報認
識システム及び学習方法によれば、ユーザの調音器官の
動きに関する情報が学習装置に送信され、ユーザの調音
器官の動きに関する情報に基づいて発話の内容の認識を
行うのに必要な認識パラメータを生成するための計算負
荷の高い学習が、移動通信端末でなく学習装置によって
行われる。これによって、固定型のコンピュータ等に比
べて、処理速度やメモリ等の制限の大きい移動通信端末
において学習を行う場合に比して、短時間で効率のよい
学習が可能とされる。また、このような学習によりユー
ザに適合された認識パラメータは移動通信端末に送信さ
れ、これ以降、学習装置等との情報の送受信をすること
なく、移動通信端末のみで認識率の高い発話の内容の認
識が好適に実施できる。
【００１３】ここで、上記学習装置において、上記学習
手段により生成された認識パラメータを上記ユーザ毎に
格納する認識パラメータデータベースを備え、上記学習
手段は、上記学習によって認識パラメータを生成する際
に、当該ユーザに対して過去に生成された認識パラメー
タを参照することが好ましい。
【００１４】また、上記情報認識システムにおいて、上
記学習装置は、上記学習手段により生成された認識パラ
メータを上記ユーザ毎に格納する認識パラメータデータ
ベースを備え、上記学習手段は、上記学習によって認識
パラメータを生成する際に、当該ユーザに対して過去に
生成した認識パラメータを参照することが好ましい。
【００１５】また、上記一の学習方法において、上記学
習装置が、上記学習工程により生成された認識パラメー
タを上記ユーザ毎に認識パラメータデータベースに格納
する認識パラメータ格納工程を含み、上記学習工程は、
上記学習によって認識パラメータを生成する際に、当該
ユーザに対して過去に生成した認識パラメータを参照す
ることが好ましい。
【００１６】また、上記他の学習方法において、上記学
習工程により生成された認識パラメータを上記ユーザ毎
に格納する認識パラメータ格納工程をさらに含み、上記
学習工程において、上記学習によって認識パラメータを
生成する際に、当該ユーザに対して過去に生成した認識
パラメータを参照することが好ましい。
【００１７】これらの学習装置、情報認識システム及び
学習方法によれば、学習装置における学習において、認
識率を高めるべく各ユーザ毎の過去の学習時に得られた
認識パラメータに改良を加える場合に、当該過去の認識
パラメータを各々の移動通信端末から学習装置に送信す
る必要がなくされ、認識パラメータの逐次的な改良が容
易に可能とされる。
【００１８】また、上記学習装置において、上記教師デ
ータ取得手段は、上記ユーザが発話すべき発話パターン
を発生して教師データとする発話パターン生成手段を備
え、上記認識パラメータ送信手段は、さらに当該発話パ
ターンを上記移動通信端末に対して送信することが好ま
しい。
【００１９】また、上記移動通信端末において、上記認
識パラメータ受信手段は、さらに上記学習装置から送信
される発話パターンを受信し、上記発話パターンを上記
ユーザに対して提示する発話パターン提示手段を備える
ことが好ましい。
【００２０】また、上記情報認識システムにおいて、上
記教師データ取得手段は、上記ユーザが発話すべき発話
パターンを発生して教師データとする発話パターン生成
手段を備え、上記学習装置の認識パラメータ送信手段
は、さらに上記発話パターンを上記移動通信端末に送信
し、上記移動通信端末の認識パラメータ受信手段は、さ
らに上記学習装置から送信される発話パターンを受信
し、上記移動通信端末は、上記発話パターンを上記ユー
ザに対して提示する発話パターン提示手段を備えること
が好ましい。
【００２１】また、上記一の学習方法において、上記教
師データ取得工程は、上記ユーザが発話すべき発話パタ
ーンを発生して教師データとする発話パターン生成工程
を含み、上記認識パラメータ送信工程は、さらに上記発
話パターンを上記移動通信端末に送信し、上記認識パラ
メータ受信工程は、さらに上記学習装置から送信される
発話パターンを受信し、上記移動通信端末が、上記発話
パターンを上記ユーザに対して提示する発話パターン提
示工程を含むことが好ましい。
【００２２】また、上記他の学習方法において、上記教
師データ取得工程は、上記ユーザが発話すべき発話パタ
ーンを発生して教師データとする発話パターン生成工程
と、上記発話パターンを上記移動通信端末に対して送信
する発話パターン送信工程と、を含むことが好ましい。
【００２３】これらの学習装置、移動通信端末、情報認
識システム及び学習方法によれば、学習に適した発話パ
ターンが学習装置側で生成され移動通信端末に送られ
て、移動通信端末においてユーザがこの発話パターンに
基づく発話をすることが可能とされると共に、学習装置
側において、生成された発話パターンを教師データとし
て学習が行われて、発話の内容の認識に関する学習が効
率的に行われる。また、学習に適した発話パターンの生
成を学習装置側で行うので、このような発話パターンの
生成をしても、移動通信端末の計算やメモリ等の負荷が
増加されない。
【００２４】また、上記学習装置において、上記ユーザ
に関する個人情報が当該ユーザに対応づけて格納された
個人情報データベースを備え、上記発話パターン生成手
段は、上記ユーザに関する個人情報に基づいて上記発話
パターンを生成することが好ましい。
【００２５】また、上記情報認識システムにおいて、上
記学習装置は、上記ユーザに関する個人情報が当該ユー
ザに対応づけて格納された個人情報データベースを備
え、上記発話パターン生成手段は、上記ユーザに関する
個人情報に基づいて上記発話パターンを生成することが
好ましい。
【００２６】また、上記一の学習方法において、上記学
習装置が、上記ユーザに関する個人情報を当該ユーザに
対応づけて個人情報データベースに格納する個人情報格
納工程を含み、上記発話パターン生成工程は、上記ユー
ザに関する個人情報に基づいて上記発話パターンを生成
することが好ましい。
【００２７】また、上記他の学習方法において、上記ユ
ーザに関する個人情報を当該ユーザに対応づけて格納す
る個人情報格納工程をさらに含み、上記発話パターン生
成工程は、上記ユーザに関する個人情報に基づいて上記
発話パターンを生成することが好ましい。
【００２８】これらの学習装置、情報認識システム及び
学習方法によれば、各ユーザの個人情報、例えば、年
齢、性別、方言等に基づいて、各ユーザに適した発話パ
ターンを生成することが可能とされ、ユーザに適した認
識パラメータの生成がより効率よく行われ、移動通信端
末における認識率が容易に高くされる。
【００２９】さらに上記学習装置において、上記調音器
官情報受信手段は、さらに上記移動通信端末から送信さ
れる上記発話動作の際の音響に関する情報を受信し、上
記教師データ取得手段は、上記音響に関する情報に基づ
く音声認識を行って上記発話動作に対応する教師データ
を得る音響情報認識手段を備えることが好ましい。
【００３０】また、上記移動通信端末において、上記情
報認識システムは、上記発話動作がなされる際に発生す
る音響に関する情報を取得する音響取得手段を備え、上
記調音器官情報送信手段は、さらに上記音響に関する情
報を上記学習装置に送信することが好ましい。
【００３１】また、上記情報認識システムにおいて、上
記移動通信端末は、上記発話動作がなされる際に発生す
る音響に関する情報を取得する音響取得手段を備え、上
記移動通信端末の調音器官情報送信手段は、さらに上記
音響に関する情報を学習装置に送信し、上記学習装置の
調音器官情報受信手段は、さらに上記移動通信端末から
送信される上記音響に関する情報を受信し、上記教師デ
ータ取得手段は、上記音響に関する情報に基づく音声認
識を行って上記発話動作に対応する教師データを得る音
響情報認識手段を備えることが好ましい。
【００３２】また、上記一の学習方法において、上記移
動通信端末が、上記発話動作がなされる際に発生する音
響に関する情報を取得する音響取得工程を含み、上記調
音器官情報送信工程は、さらに上記音響に関する情報を
学習装置に送信し、上記調音器官情報受信工程は、さら
に上記移動通信端末から送信される上記音響に関する情
報を受信し、上記教師データ取得工程は、上記音響に関
する情報に基づく音声認識を行って上記発話動作に対応
する教師データを得る音響情報認識工程を含むことが好
ましい。
【００３３】また、上記他の学習方法において、上記調
音器官情報受信工程では、さらに上記移動通信端末から
送信される上記発話動作の際の音響に関する情報を受信
し、上記教師データ取得工程において、上記音響に関す
る情報に基づく音声認識を行って上記発話動作に対応す
る教師データを得ることが好ましい。
【００３４】これらの学習装置、移動通信端末、情報認
識システム及び学習方法によれば、ユーザが発話動作す
る際に発生する音響情報が学習装置に送信され、学習装
置においてこの音響情報に基づいて教師データが得られ
るので、ユーザに特定の発話パターンの発話をさせる等
の負担をかけることなく、通常の会話をさせながら発話
の内容の認識に関する認識パラメータを得ることができ
る。
【００３５】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明に係る情報認識システム（音声認識システム）の
好適な実施形態について詳細に説明する。
【００３６】図１は、本実施形態に係る情報認識システ
ムの構成を示すブロック図である。本実施形態の情報認
識システム１００は、所定の認識パラメータに基づいて
発話内容の認識を行う移動通信端末２７と、移動通信端
末２７を使用するユーザに適合する認識パラメータを学
習によって生成するサーバコンピュータとしてのデータ
センタ２８と、備え、これらは有線又は無線のネットワ
ーク１９を介して互いに接続されている。
【００３７】移動通信端末２７は、筋電信号検出手段１
１及び筋電信号処理手段１２により構成される筋電情報
取得手段（調音器官情報取得手段）３０と、音響信号検
出手段１３及び音響信号処理手段１４により構成される
音響情報取得手段３１と、データセンタ２８と情報の送
受信を行う音響・筋電情報送信手段（調音器官情報送信
手段）１５及び発話パターン・認識パラメータ受信手段
（認識パラメータ受信手段）１６と、発話内容の認識を
行う筋電情報認識手段（情報認識手段）１７と、認識結
果を提示する認識結果提示手段１８と、ユーザに発話パ
ターンを提示する発話パターン提示手段１０と、を備え
て構成され、また、携帯電話として他の移動通信端末等
と通信する機能（図示しない）も有している。
【００３８】音響信号検出手段１３はユーザが発話動作
する際に発生する音響信号を検出し、音響信号処理手段
１４は、音響信号検出手段１３によって検出された音響
信号のスペクトル分析やケプストラム分析等を行って音
響情報を取得する。
【００３９】筋電信号検出手段１１はユーザが発話動作
する際の口周りの筋肉（調音器官）の筋電信号を検出
し、筋電信号処理手段１２は取得された筋電信号を増幅
すると共に時間窓で切り出してパワーの計算やスペクト
ル分析等を行い、筋電情報を取得する。
【００４０】ここで、ユーザは、唇、顎、歯、舌、鼻
腔、軟口蓋等の調音器官を動作させることによって発話
動作を行う。これらの調音器官においては、主として口
周りの筋肉が動くことよって調音動作がなされるので、
ユーザの口周りの筋肉の筋電信号を取得することにより
調音器官の動きに関する情報を好適に取得できる。
【００４１】ここで、例えば、折り畳み式の移動通信端
末に適用する場合は、図２に示すように、筋電信号検出
手段１１として、ユーザの顔の皮膚が接触する面に板状
の電極４２，４３，４４を設置することができ、また、
図３に示すように、皮膚が接触する部位に針状の電極４
５，４６，４７，４８，４９，５０を設置することがで
きる。なお、精度よく筋電情報から発話内容の認識をす
るためには、筋電を複数チャネル分検出することが好ま
しい。
【００４２】音響・筋電情報送信手段１５は、図１に示
すように、筋電信号処理手段１２からの筋電情報及び音
響信号処理手段１４からの音響情報を、ネットワーク１
９を介してデータセンタ２８に送信する。
【００４３】発話パターン・認識パラメータ受信手段１
６は、データセンタ２８から送信される、筋電情報から
の発話内容の認識に必要な認識パラメータやユーザが発
話すべき発話パターンに関する情報を、ネットワーク１
９を介して受信し、発話パターン提示手段１０は、受信
した発話パターンをディスプレイやスピーカ等によって
ユーザに提示する。
【００４４】筋電情報認識手段１７は、発話パターン・
認識パラメータ受信手段１６が受信した認識パラメータ
と、筋電信号処理手段１２からの筋電情報とに基づい
て、ユーザが発話動作した発話内容の認識（音声認識）
を行い、認識結果提示手段１８は認識結果をユーザ等に
対してディスプレイやスピーカ等によってユーザに、あ
るいは、通信網を介して他の移動通信端末等に送信す
る。
【００４５】ここで、筋電情報認識手段１７の発話内容
認識アルゴリズムとしては、種々の方法が採用でき、例
えば、ＩＥＥＥ生体医用工学会誌（Noboru Sugie et a
l., Aspeech employing a speech synthesizer vowel d
iscrimination from perioral muscles activities and
vowel production, IEEE transactions on Biomedical
Engineering, Vol. 32, No. 7, 1985, pp485-490）に
記載されているように、筋電信号をバンドパスフィルタ
を通過させ、閾値の交差回数をカウントして５母音（a,
i, u, e, o）を弁別するアルゴリズムを採用してもよ
いし、特開平７−１８１８８８号公報に記載されている
ように、口の周囲の筋肉の筋電情報をニューラルネット
ワークで処理し、ユーザの母音だけでなく子音も含めて
検出するアルゴリズムでもよく、また、隠れマルコフモ
デル（Hidden Marcov model）等のアルゴリズムを用い
ても構わない。
【００４６】一方、データセンタ２８は、ネットワーク
１９を介して移動通信端末２７と情報の送受信を行う音
響・筋電情報受信手段（調音器官情報受信手段）２４及
び発話パターン・認識パラメータ送信手段（認識パラメ
ータ送信手段）２２と、教師データ取得手段３３を構成
する音響情報認識手段２５及び発話パターン発生手段２
０と、認識パラメータを生成する筋電情報学習手段（学
習手段）２６と、種々の情報を格納する個人情報データ
ベース２１及び認識パラメータデータベース２３と、を
備えている。
【００４７】音響・筋電情報受信手段２４は、移動通信
端末２７から送信される筋電情報及び音響情報をネット
ワーク１９を介して受信する。
【００４８】個人情報データベース２１には、移動通信
端末２７を使うユーザ毎に、性別、年齢、使用する方言
等の個人情報が各ユーザに対応づけて格納されている。
【００４９】発話パターン発生手段２０は、個人情報デ
ータベース２１に格納された個人情報に基づき、各ユー
ザ毎の学習に適した発話パターンを発生し、教師データ
とすると共に、この発話パターンを発話パターン・認識
パラメータ送信手段２２に送信する。具体的には、例え
ば、当該ユーザの性別や、年齢、方言等に基づいて、当
該ユーザが最も用いそうな単語、文等や、当該ユーザの
発話を特徴づける語尾等のパターン等を出力する。な
お、過去に当該ユーザに関して学習が行われている場合
には、さらに、認識パラメータデータベース２３（詳細
は後述）に格納された当該ユーザの学習回数や、認識率
データ等に基づいて、当該ユーザのさらなる認識率の向
上に適した発話パターン、例えば、認識率の悪かった単
語等の発話パターン、を生成する。
【００５０】音響情報認識手段２５は、音響・筋電情報
受信手段２４が受信した音響情報に基づいて音声認識を
行って音声情報を取得し、ユーザの発話動作に対応する
教師データを取得する。ここで、音響情報認識手段２５
における、音声認識方法は特に限定されず、例えば、ス
ペクトル包絡等に基づく隠れマルコフモデルや、ＤＰマ
ッチング法等が利用できる。
【００５１】筋電情報学習手段２６は、音響・筋電情報
受信手段２４で受信された筋電情報を取得すると共に、
この筋電情報に対応する教師データとして、音響情報認
識手段２５で取得された音声情報や発話パターン発生手
段２０で発生した発話パターンを取得し、筋電情報によ
る発話内容の認識に関する学習を行い、発話内容の認識
のための認識パラメータを生成する。
【００５２】ここで、具体的には、移動通信端末２７の
筋電情報認識手段１７で用いられる発話内容の認識アル
ゴリズムに対応する学習を行えばよく、例えば、筋電情
報認識手段１７で、ニューラルネットワークを用いる場
合には、そのニューラルネットワークに対してバックプ
ロパゲーション法を適用すればよい。
【００５３】認識パラメータデータベース２３には、筋
電情報学習手段２６における学習よって生成された認識
パラメータや、学習回数等の学習状況や、当該認識パラ
メータによる認識率等や、音響情報認識手段２５によっ
て認識された音声情報等が各ユーザ毎に格納される。ま
た、認識パラメータデータベース２３は、個人情報デー
タベース２１と接続されていて、各ユーザ毎の学習回数
等のデータを互いに参照可能となっている。
【００５４】発話パターン・認識パラメータ送信手段２
２は、認識パラメータデータベース２３に格納されたユ
ーザ毎の認識パラメータ等と、発話パターン発生手段２
０によって生成された発話パターンとを、ユーザの移動
通信端末２７に対してネットワーク１９を介して送信す
る。また、必要に応じて、認識パラメータデータベース
２３や個人情報データベース２１の内容も移動通信端末
２７に対して送信可能となっている。
【００５５】次に、このような移動通信端末２７及びデ
ータセンタ２８を備える情報認識システム１００の動作
について説明すると共に、併せて、本実施形態に係る情
報認識システム１００における学習方法について説明す
る。
【００５６】まず、図４及び図５を参照して、第一の手
順として、移動通信端末２７を有するユーザが、無声又
は有声による発話動作を行って学習を行う場合の手順に
ついて説明する。なお、図５は、図４において、データ
センタ２８が行う工程を抜きだしたものである。
【００５７】ユーザが、移動通信端末２７において、第
一の手順による認識パラメータの学習を始める所定のボ
タン操作等を行うと、移動通信端末２７は、データセン
タ２８に対して第一の手順による認識パラメータの学習
が開始されることを通告する（ステップ１０１）。
【００５８】次に、学習開始の通告を受けたデータセン
タ２８は、個人情報データベース２１に格納されている
当該ユーザに関する情報等に基づいて、発話内容の認識
に適した発話パターンを発生し、この発話パターンを移
動通信端末２７に送信する（ステップ１０２）。ここ
で、当該ユーザに関する情報が個人情報データベース２
１に登録されていない場合には、万人に適していると考
えられる発話パターンを生成する。また、過去に当該ユ
ーザに関して学習が行われている際には、さらに、認識
パラメータデータベース２３に格納された当該ユーザの
学習回数や、認識率データ等に基づいて、当該ユーザの
さらなる認識率の向上に適した発話データを生成する。
【００５９】移動通信端末２７は、データセンタ２８か
らの発話パターンを受信し、発話パターンをユーザに提
示する（Ｓ１０３）。そして、ユーザは、提示された発
話パターンに従って、有声又は無声により発話動作を行
う。
【００６０】すると、移動通信端末２７は、ユーザの発
話動作の際の筋電信号を検出し、この筋電信号に対して
所定の処理を行って筋電情報とし、筋電情報をデータセ
ンタ２８に対して送信する（ステップ１０４）。
【００６１】データセンタ２８は、この筋電情報を受信
し、筋電情報学習手段２６によって、この筋電情報と、
この筋電情報に対応する教師データとしての発話パター
ンとに基づいて発話内容の認識に関する学習を行い、認
識パラメータを生成する（ステップ１０５）。なお、当
該ユーザが過去に学習を行っている場合は、認識パラメ
ータデータベース２３から当該ユーザの過去の認識パラ
メータを読み出し、この認識パラメータを改良する形
で、新たな認識パラメータの生成を行う。
【００６２】そして、ステップ１０６において、学習が
収束等しなかったり発話内容の認識を行うのに十分な認
識パラメータが生成しなかった場合は、ステップ１０２
に戻って、新たな発話パターンの生成と、これに基づく
学習を行う。
【００６３】一方、十分な認識パラメータが生成した場
合には、ステップ１０７に進み、取得された認識パラメ
ータを、当該ユーザの学習回数や当該認識パラメータの
認識率等のデータと共に認識パラメータデータベース２
３に格納すると共に、認識パラメータを移動通信端末２
７に送信する。
【００６４】そして、移動通信端末２７はこの認識パラ
メータを受信する（ステップ１０８）。そして、これ以
降、移動通信端末２７は、このユーザに適合された認識
パラメータとユーザの筋電情報とに基づいて、筋電情報
認識手段１７によって、ローカルに発話内容の認識を高
い認識率で行うことができ、認識された音声情報（言語
情報）は、画面や、スピーカ等によって出力され、ま
た、ネットワーク１９を介して、他の移動通信端末等に
送信される。
【００６５】このように、本実施形態によれば、ユーザ
の発話動作の際の筋電情報がデータセンタ２８に送信さ
れ、筋電情報に基づく発話内容の認識を行うのに必要な
認識パラメータを生成するための計算負荷の高い学習
が、移動通信端末２７でなくデータセンタ２８によって
行われる。これによって、固定型のコンピュータ等に比
べて、処理速度やメモリ等の制限の大きい移動通信端末
２７において発話内容の認識のための学習を行う場合に
比して、短時間で効率のよい学習が可能とされている。
また、このようにして取得されたユーザに適合する認識
パラメータは移動通信端末２７に送信され、これ以降、
移動通信端末２７において、データセンタ２８等と情報
の送受信をすることなく、移動通信端末２７のみで当該
認識パラメータを用いて高い認識率での発話内容の認識
が可能になっている。
【００６６】また、データセンタ２８には、ユーザ毎に
認識パラメータが格納され、データセンタ２８における
学習において各ユーザ毎の過去の学習時に得られた認識
パラメータに改良を加える場合に、当該ユーザの過去の
認識パラメータを各々の移動通信端末２７からデータセ
ンタ２８に送信する必要がなく、認識パラメータの逐次
的な改良が容易とされ、移動通信端末２７における認識
率を容易に高められる。
【００６７】また、学習に適した発話パターンがデータ
センタ２８側で生成され、移動通信端末２７に送られて
ユーザに対して提示されるので、移動通信端末２７にお
いてユーザがこの学習に適した発話パターンに基づく発
話をすることが可能とされると共に、データセンタ２８
側において、当該発話に係る筋電情報と、教師データと
しての発話パターンとに基づいて学習が行われ、より効
率的な学習が可能とされて、移動通信端末２７における
発話内容の認識の認識率をさらに容易に高めることがで
きる。また、各ユーザの学習に適した発話パターンの生
成がデータセンタ２８側で行なわれるので、このような
発話パターンの発生を行っても、移動通信端末２７の計
算やメモリ等の負荷が増加しない。
【００６８】また、データセンタ２８には、ユーザ毎の
個人情報が格納されており、発話パターンを発生する際
に各ユーザの個人情報、例えば、年齢、性別、方言等に
基づいて、各ユーザに適した発話パターンが生成され、
学習がより効率よく行われる。また、個人情報データが
データセンタ２８に格納されているので、学習時に個人
情報を参照する際に移動通信端末２７からデータセンタ
２８に個人情報を送信する必要がない。
【００６９】次に、第二の手順として、ユーザの有声の
任意の発話動作に基づいて学習を行う手順について図６
及び図７を参照して説明する。なお、図７は、図６にお
いて、データセンタ２８が行う工程を抜きだしたもので
ある。
【００７０】まず、ユーザが、移動通信端末２７におい
て、第二の手順による認識パラメータの学習を始める所
定のボタン操作等を行うと、移動通信端末２７は、デー
タセンタ２８に対して第二の手順による認識パラメータ
の学習が開始されることを通告する（ステップ２０
１）。そして、ユーザは、移動通信端末２７を用いて、
他の移動通信端末等に対して通常の、すなわち、発話パ
ターンの制約を受けない自由な音声通話を行う。
【００７１】この際、移動通信端末２７は、第一の手順
と同様にユーザの音声通話の際の筋電信号を取得して筋
電情報としてデータセンタ２８に対して送信すると共
に、ユーザの音声通話の際の音響信号を検出し、この音
響信号に所定の処理を施して音響情報とした後、この音
響情報をデータセンタ２８に送信する（ステップ２０
２）。
【００７２】データセンタ２８は、移動通信端末２７か
らの筋電情報及び音響情報を受信し、音響情報に基づく
音声認識を行い、ユーザが音声通話した音声情報（言語
情報）を取得する（ステップ２０３）。
【００７３】さらに、データセンタ２８は、筋電情報
と、当該筋電情報に対応する教師データとしての音声情
報とに基づいて、筋電情報からの発話の内容の認識に関
する学習を行い、認識パラメータを生成する（ステップ
２０４）。なお、当該ユーザが過去に学習を行っている
場合は、第一の手順と同様に、認識パラメータデータベ
ース２３から当該ユーザの過去の認識パラメータを読み
出し、この認識パラメータを改良する形で、新たな認識
パラメータの生成を行う。
【００７４】移動通信端末２７における音声通話が終了
すると、データセンタ２８は、生成した認識パラメータ
や音声情報等を認識パラメータデータベース２３に格納
すると共に認識パラメータを移動通信端末２７に送信し
（ステップ１０７）、移動通信端末２７は、認識パラメ
ータを受信する（ステップ１０８）。
【００７５】そして、これ以降、移動通信端末２７は、
ユーザに適合された認識パラメータとユーザの筋電情報
とに基づいて、上述と同様にローカルに発話内容の認識
を行うことができる。
【００７６】本実施形態においては、ユーザの発話動作
に関する音響情報がデータセンタ２８に送信され、デー
タセンタ２８においてこの音響情報に基づいて教師デー
タを得るので、ユーザに特定の発話パターンの発話をさ
せる等の負担をかけることなく、通常の会話をさせなが
ら移動通信端末２７側の発話内容の認識に関する認識パ
ラメータを得ることができる。
【００７７】なお、移動通信端末２７には、あらかじ
め、学習を行わなくても移動通信端末２７において筋電
信号によるローカルな発話内容の認識を可能とすべく、
万人向けの一般的な認識パラメータが格納されている。
しかしながら、図８に示すように、上述の第一の手順に
よる学習や第二の手順による学習を任意の順序で繰り返
すことにより、移動通信端末２７の認識パラメータは、
当該移動通信端末２７を利用するユーザ毎に最適化さ
れ、各ユーザの移動通信端末２７においては、この最適
化された認識パラメータを用いることにより、移動通信
端末２７における発話内容の認識を高い認識率で行うこ
とができる。
【００７８】なお、本発明は、上記実施形態に限定され
るものではなく、種々の変形態様をとることが可能であ
る。
【００７９】例えば、上記第一の手順において、データ
センタ２８の筋電情報学習手段２６は、発話パターン発
生手段２０によって発生される発話パターンを教師デー
タとして学習をしているが、ユーザが有声で発話パター
ンを発生する際は、音響情報認識手段２５によって認識
される音声情報を教師データとしてもよく、また、発話
パターン及び音声情報の両方を教師データとしてもよ
い。
【００８０】また、上記情報認識システム１００は、移
動通信端末２７においてユーザの筋電情報に基づく発話
内容の認識を行うものであるが、これに限られず、例え
ば、移動通信端末２７においてユーザの口や舌の動きの
画像等を取得し画像処理して発話内容の認識を行うもの
でもよく、要は、移動通信端末２７において調音器官の
動きに関する情報に基づいて発話内容の認識を行うもの
であればよく、データセンタ２８における学習はこの移
動通信端末２７における発話内容の認識方法に対応する
学習を行えばよい。
【００８１】また、上記情報認識システム１００は、教
師データ取得手段３３として、音響情報認識手段及び発
話パターン発生手段２０を備えているが、例えば、学習
の精度をそれほど要求しない場合等には、何れか一方を
備えていればよい。
【００８２】
【発明の効果】上述したように、本発明に係る学習装
置、移動通信端末、情報認識システム、学習方法によれ
ば、調音器官の動きに関する情報が学習装置に送信さ
れ、調音器官の動きに関する情報に基づいて発話内容の
認識を行うのに必要な認識パラメータを生成するための
計算負荷の高い学習が、移動通信端末でなく学習装置に
よって行われる。これによって、固定型のコンピュータ
等に比べて処理速度やメモリ等の制限の大きい移動通信
端末において学習を行う場合に比して、短時間で効率の
よい学習が可能とされる。また、学習装置において取得
され当該ユーザに適合された認識パラメータが移動通信
端末に送信され、これ以降、移動通信端末において、学
習装置等との情報の送受信をすることなく移動通信端末
のみで、この認識パラメータを用いて発話内容の認識を
高認識率で実施することが可能とされる。
【００８３】これにより、屋外や電車内等で用いられる
携帯電話等の移動通信端末において、特に、無声の発話
からの発話内容の認識を、調音器官の動きに関する情報
に基づいて好適に行うことができる。
【図面の簡単な説明】
【図１】本実施形態に係る情報認識システムを示すブロ
ック図である。
【図２】図１中の移動通信端末の筋電信号検出手段の一
例を示す模式図である。
【図３】図１中の移動通信端末の筋電信号検出手段の他
の例を示す模式図である。
【図４】第一の手順による学習方法を示すフロー図であ
る。
【図５】図４の学習方法において、データセンタ側で行
われる工程を抜きだしたフロー図である。
【図６】第二の手順による学習方法を示すフロー図であ
る。
【図７】図７は、図６の学習方法において、データセン
タ側で行われる工程を抜きだしたフロー図である。
【図８】認識パラメータが学習によって改良される手順
を示すフロー図である。
【符号の説明】
１５…音響・筋電情報送信手段（調音器官情報送信手
段）、１６…発話パターン・認識パラメータ受信手段
（認識パラメータ受信手段）、１７…筋電情報認識手段
（情報認識手段）、１９…ネットワーク、２０…発話パ
ターン発生手段、２１…個人情報データベース、２２…
発話パターン・認識パラメータ送信手段（認識パラメー
タ送信手段）、２３…認識パラメータデータベース、２
４…音響・筋電情報受信手段（調音器官情報受信手
段）、２５…音響情報認識手段、２６…筋電情報学習手
段（学習手段）、２７…移動通信端末、２８…データセ
ンタ（学習装置）、３０…筋電情報取得手段（調音器官
情報取得手段）、３１…音響情報取得手段、３３…教師
データ取得手段、１００…情報認識システム。
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 3/00 ５３９ (72)発明者 杉村 利明 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 Ｆターム(参考） 5D015 FF00 GG03 KK02 5K067 BB04 DD54 EE23 FF23 FF25 HH23

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 ネットワークを介して互いに通信可能な
    移動通信端末と共に、当該移動通信端末のユーザが発話
    動作する際の調音器官の動きに関する情報に基づいて発
    話の内容を認識する情報認識システムを構成する学習装
    置であって、 前記移動通信端末から送信される前記調音器官の動きに
    関する情報を受信する調音器官情報受信手段と、 前記ユーザの発話動作に対応する教師データを取得する
    教師データ取得手段と、 前記調音器官の動きに関する情報と、前記教師データ
    と、に基づいて、前記発話動作についての発話の内容の
    認識に関する学習を行って認識パラメータを生成する学
    習手段と、 前記認識パラメータを前記移動通信端末に送信する認識
    パラメータ送信手段と、 を備えることを特徴とする、学習装置。
  2. 【請求項２】 前記学習手段により生成された認識パラ
    メータを前記ユーザ毎に格納する認識パラメータデータ
    ベースを備え、 前記学習手段は、前記学習によって認識パラメータを生
    成する際に、当該ユーザに対して過去に生成された認識
    パラメータを参照することを特徴とする、請求項１に記
    載の学習装置。
  3. 【請求項３】 前記教師データ取得手段は、前記ユーザ
    が発話すべき発話パターンを発生して教師データとする
    発話パターン生成手段を備え、 前記認識パラメータ送信手段は、さらに当該発話パター
    ンを前記移動通信端末に対して送信することを特徴とす
    る、請求項１又は２に記載の学習装置。
  4. 【請求項４】 前記ユーザに関する個人情報が当該ユー
    ザに対応づけて格納された個人情報データベースを備
    え、 前記発話パターン生成手段は、前記ユーザに関する個人
    情報に基づいて前記発話パターンを生成することを特徴
    とする、請求項３に記載の学習装置。
  5. 【請求項５】 前記調音器官情報受信手段は、さらに前
    記移動通信端末から送信される前記発話動作の際の音響
    に関する情報を受信し、 前記教師データ取得手段は、前記音響に関する情報に基
    づく音声認識を行って前記発話動作に対応する教師デー
    タを得る音響情報認識手段を備えることを特徴とする、
    請求項１〜４の何れか一項に記載の学習装置。
  6. 【請求項６】 ネットワークを介して互いに通信可能な
    学習装置と共に、ユーザが発話動作をする際の前記ユー
    ザの調音器官の動きに関する情報に基づいて発話の内容
    を認識する情報認識システムを構成する移動通信端末で
    あって、 前記ユーザが発話動作する際の前記ユーザの調音器官の
    動きに関する情報を取得する調音器官情報取得手段と、 前記調音器官の動きに関する情報を前記学習装置に送信
    する調音器官情報送信手段と、 前記学習装置から送信される前記発話の内容の認識に関
    する認識パラメータを受信する認識パラメータ受信手段
    と、 前記調音器官の動きに関する情報と、前記認識パラメー
    タと、に基づいて、前記発話動作についての発話の内容
    の認識を行う情報認識手段と、 を備えることを特徴とする、移動通信端末。
  7. 【請求項７】 前記認識パラメータ受信手段は、さらに
    前記学習装置から送信される発話パターンを受信し、 前記発話パターンを前記ユーザに対して提示する発話パ
    ターン提示手段を備えることを特徴とする、請求項６に
    記載の移動通信端末。
  8. 【請求項８】 前記発話動作がなされる際に発生する音
    響に関する情報を取得する音響取得手段を備え、 前記調音器官情報送信手段は、さらに前記音響に関する
    情報を前記学習装置に送信することを特徴とする、請求
    項６又は７に記載の移動通信端末。
  9. 【請求項９】 移動通信端末と、前記移動通信端末とネ
    ットワークを介して通信可能な学習装置と、を含んで構
    成され、前記移動通信端末のユーザが発話動作をする際
    の前記ユーザの調音器官の動きに関する情報に基づいて
    発話の内容を認識する情報認識システムであって、 前記移動通信端末は、ユーザが発話動作する際の前記ユ
    ーザの調音器官の動きに関する情報を取得する調音器官
    情報取得手段と、 前記調音器官の動きに関する情報を前記学習装置に送信
    する調音器官情報送信手段と、 前記学習装置から送信される、前記発話の内容の認識に
    関する認識パラメータを受信する認識パラメータ受信手
    段と、 前記調音器官の動きに関する情報と、前記認識パラメー
    タと、に基づいて、前記発話動作についての発話の内容
    の認識を行う情報認識手段と、を備え、 前記学習装置は、前記移動通信端末から送信される前記
    調音器官の動きに関する情報を受信する調音器官情報受
    信手段と、 前記ユーザの発話動作に対応する教師データを取得する
    教師データ取得手段と、 前記調音器官の動きに関する情報と、前記教師データ
    と、に基づいて前記発話動作についての発話の内容の認
    識に関する学習を行って認識パラメータを生成する学習
    手段と、 前記認識パラメータを前記移動通信端末に送信する認識
    パラメータ送信手段と、を備えることを特徴とする、情
    報認識システム。
  10. 【請求項１０】 移動通信端末と、前記移動通信端末と
    ネットワークを介して通信可能な学習装置と、を含んで
    構成され、前記移動通信端末のユーザが発話動作をする
    際の前記ユーザの調音器官の動きに関する情報に基づい
    て前記発話の内容を認識する情報認識システムにおける
    学習方法であって、 前記移動通信端末が、前記ユーザが発話動作する際の前
    記ユーザの調音器官の動きに関する情報を取得する調音
    器官情報取得工程と、 前記移動通信端末が、前記調音器官の動きに関する情報
    を前記学習装置に送信する調音器官情報送信工程と、 前記学習装置が、前記移動通信端末から送信される前記
    調音器官の動きに関する情報を受信する調音器官情報受
    信工程と、 前記学習装置が、前記ユーザの発話動作に対応する教師
    データを取得する教師データ取得工程と、 前記学習装置が、前記調音器官の動きに関する情報と、
    前記教師データと、に基づいて前記発話動作についての
    発話の内容の認識に関する学習を行って認識パラメータ
    を生成する学習工程と、 前記学習装置が、前記認識パラメータを前記移動通信端
    末に送信する認識パラメータ送信工程と、 前記移動通信端末が、前記学習装置から送信される認識
    パラメータを受信する認識パラメータ受信工程と、 を含むことを特徴とする、学習方法。
  11. 【請求項１１】 移動通信端末のユーザが発話動作する
    際の調音器官の動きに関する情報に基づいて発話の内容
    を認識する情報認識システムを構成する学習装置におけ
    る学習方法であって、 移動通信端末から送信される前記調音器官の動きに関す
    る情報を受信する調音器官情報受信工程と、 前記ユーザの発話動作に対応する教師データを取得する
    教師データ取得工程と、 前記調音器官の動きに関する情報と、前記教師データ
    と、に基づいて、前記発話動作についての発話の内容の
    認識に関する学習を行って認識パラメータを生成する学
    習工程と、 前記認識パラメータを前記移動通信端末に送信する認識
    パラメータ送信工程と、 を含むことを特徴とする、学習方法。
  12. 【請求項１２】 前記学習工程により生成された認識パ
    ラメータを前記ユーザ毎に格納する認識パラメータ格納
    工程をさらに含み、 前記学習工程において、前記学習によって認識パラメー
    タを生成する際に、当該ユーザに対して過去に生成した
    認識パラメータを参照することを特徴とする、請求項１
    １に記載の学習方法。
  13. 【請求項１３】 前記教師データ取得工程は、 前記ユーザが発話すべき発話パターンを発生して教師デ
    ータとする発話パターン生成工程と、 前記発話パターンを前記移動通信端末に対して送信する
    発話パターン送信工程と、 を含むことを特徴とする、請求項１１又は１２に記載の
    学習方法。
  14. 【請求項１４】 前記ユーザに関する個人情報を当該ユ
    ーザに対応づけて格納する個人情報格納工程をさらに含
    み、 前記発話パターン生成工程は、前記ユーザに関する個人
    情報に基づいて前記発話パターンを生成することを特徴
    とする、請求項１３に記載の学習方法。
  15. 【請求項１５】 前記調音器官情報受信工程において、
    さらに移動通信端末から送信される前記発話動作の際の
    音響に関する情報を受信し、 前記教師データ取得工程において、前記音響に関する情
    報に基づく音声認識を行って前記発話動作に対応する教
    師データを得ることを特徴とする、請求項１１〜１４の
    何れか一項に記載の学習方法。
JP2003037064A 2002-02-19 2003-02-14 学習装置、移動通信端末、情報認識システム、及び、学習方法 Pending JP2003316387A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2003037064A JP2003316387A (ja) 2002-02-19 2003-02-14 学習装置、移動通信端末、情報認識システム、及び、学習方法
US10/367,886 US7216078B2 (en) 2002-02-19 2003-02-19 Learning device, mobile communication terminal, information recognition system, and learning method
DE60315907T DE60315907T2 (de) 2002-02-19 2003-02-19 Lernverfahren und -vorrichtung, mobiles Kommunikationsterminal und Informations-Erkennungssystem, basierend auf der Analyse von Bewegungen der Sprachorgane eines sprechenden Benutzers
EP03003781A EP1336947B1 (en) 2002-02-19 2003-02-19 Learning method and device, mobile communication terminal and information recognition system based on the analysis of user articulation movements during speech
CNB031037941A CN100426818C (zh) 2002-02-19 2003-02-19 数据中心、移动通信终端、信息识别系统以及学习方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2002-42072 2002-02-19
JP2002042072 2002-02-19
JP2003037064A JP2003316387A (ja) 2002-02-19 2003-02-14 学習装置、移動通信端末、情報認識システム、及び、学習方法

Publications (1)

Publication Number Publication Date
JP2003316387A true JP2003316387A (ja) 2003-11-07

Family

ID=27624635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003037064A Pending JP2003316387A (ja) 2002-02-19 2003-02-14 学習装置、移動通信端末、情報認識システム、及び、学習方法

Country Status (5)

Country Link
US (1) US7216078B2 (ja)
EP (1) EP1336947B1 (ja)
JP (1) JP2003316387A (ja)
CN (1) CN100426818C (ja)
DE (1) DE60315907T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014054384A1 (ja) 2012-10-04 2014-04-10 日本電気株式会社 ユーザ指示認識システム、ユーザ指示認識方法、情報処理装置、携帯端末およびその制御方法と制御プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004016658A (ja) 2002-06-19 2004-01-22 Ntt Docomo Inc 生体信号測定可能な携帯型端末および測定方法
CN100464327C (zh) * 2005-03-28 2009-02-25 新诺亚舟科技（深圳）有限公司 一种手持终端设备所播放的多媒体文件的生成方法
US8214208B2 (en) * 2006-09-28 2012-07-03 Reqall, Inc. Method and system for sharing portable voice profiles
US20100178956A1 (en) * 2009-01-14 2010-07-15 Safadi Rami B Method and apparatus for mobile voice recognition training
CN102063903B (zh) * 2010-09-25 2012-07-04 中国科学院深圳先进技术研究院 言语交互训练系统及方法
KR102246893B1 (ko) * 2013-12-11 2021-04-30 삼성전자주식회사 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4096645A (en) * 1976-11-08 1978-06-27 Thomas Herbert Mandl Phonetic teaching device
US5313522A (en) * 1991-08-23 1994-05-17 Slager Robert P Apparatus for generating from an audio signal a moving visual lip image from which a speech content of the signal can be comprehended by a lipreader
US5586215A (en) * 1992-05-26 1996-12-17 Ricoh Corporation Neural network acoustic and visual speech recognition system
JP3455921B2 (ja) 1993-12-24 2003-10-14 日本電信電話株式会社 発声代行装置
US6471420B1 (en) * 1994-05-13 2002-10-29 Matsushita Electric Industrial Co., Ltd. Voice selection apparatus voice response apparatus, and game apparatus using word tables from which selected words are output as voice selections
US6006175A (en) * 1996-02-06 1999-12-21 The Regents Of The University Of California Methods and apparatus for non-acoustic speech characterization and recognition
FR2761800A1 (fr) * 1997-04-02 1998-10-09 Scanera Sc Dispositif de transmission de voix et telephone le mettant en oeuvre
US6185529B1 (en) * 1998-09-14 2001-02-06 International Business Machines Corporation Speech recognition aided by lateral profile image
US6463413B1 (en) * 1999-04-20 2002-10-08 Matsushita Electrical Industrial Co., Ltd. Speech recognition training for small hardware devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014054384A1 (ja) 2012-10-04 2014-04-10 日本電気株式会社 ユーザ指示認識システム、ユーザ指示認識方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
US9766695B2 (en) 2012-10-04 2017-09-19 Nec Coproration User instruction recognition system and methods

Also Published As

Publication number Publication date
CN100426818C (zh) 2008-10-15
EP1336947B1 (en) 2007-08-29
US20030182112A1 (en) 2003-09-25
CN1442992A (zh) 2003-09-17
EP1336947A3 (en) 2005-02-23
DE60315907T2 (de) 2008-05-15
DE60315907D1 (de) 2007-10-11
US7216078B2 (en) 2007-05-08
EP1336947A2 (en) 2003-08-20

Similar Documents

Publication Publication Date Title
Tran et al. Improvement to a NAM-captured whisper-to-speech system
US20020111794A1 (en) Method for processing information
US11915705B2 (en) Facial movements wake up wearable
JP2003255993A (ja) 音声認識システム、音声認識方法、音声認識プログラム、音声合成システム、音声合成方法、音声合成プログラム
JP2008309856A (ja) 音声認識装置及び会議システム
US20180350362A1 (en) Information processing apparatus
JP2023539888A (ja) 声変換および音声認識モデルを使用した合成データ拡大
KR102444012B1 (ko) 말 장애 평가 장치, 방법 및 프로그램
EP1341159B1 (en) Speech information recognition device and speech information recognition method based on myoelectrical signal analysis
CN112786052A (zh) 语音识别方法、电子设备和存储装置
Fu et al. SVoice: enabling voice communication in silence via acoustic sensing on commodity devices
JP2003316387A (ja) 学習装置、移動通信端末、情報認識システム、及び、学習方法
US20230252971A1 (en) System and method for speech processing
US20230148275A1 (en) Speech synthesis device and speech synthesis method
US20230146945A1 (en) Method of forming augmented corpus related to articulation disorder, corpus augmenting system, speech recognition platform, and assisting device
WO2023012546A1 (en) Deciphering of detected silent speech
CN115705841A (zh) 使用加速度计感测骨传导的语音识别
EP1271469A1 (en) Method for generating personality patterns and for synthesizing speech
JP4381404B2 (ja) 音声合成システム、音声合成方法、音声合成プログラム
JP6712028B1 (ja) 認知機能判定装置、認知機能判定システム及びコンピュータプログラム
Lin et al. Nonverbal acoustic communication in human-computer interaction
US20220383850A1 (en) System and method for posthumous dynamic speech synthesis using neural networks and deep learning
KR20090081046A (ko) 인터넷을 이용한 언어 학습 시스템 및 방법
Miyazaki et al. Connectionist temporal classification-based sound event encoder for converting sound events into onomatopoeic representations
Kinkiri Detection of the uniqueness of a human voice: towards machine learning for improved data efficiency

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081216