JP2006259164A - 音声認識システム、音声認識方法、及びコンピュータプログラム - Google Patents

音声認識システム、音声認識方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2006259164A
JP2006259164A JP2005075924A JP2005075924A JP2006259164A JP 2006259164 A JP2006259164 A JP 2006259164A JP 2005075924 A JP2005075924 A JP 2005075924A JP 2005075924 A JP2005075924 A JP 2005075924A JP 2006259164 A JP2006259164 A JP 2006259164A
Authority
JP
Japan
Prior art keywords
voice
result
speech
speech recognition
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005075924A
Other languages
English (en)
Other versions
JP4346571B2 (ja
Inventor
Naoji Matsuo
直司 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005075924A priority Critical patent/JP4346571B2/ja
Priority to US11/165,120 priority patent/US8010359B2/en
Publication of JP2006259164A publication Critical patent/JP2006259164A/ja
Application granted granted Critical
Publication of JP4346571B2 publication Critical patent/JP4346571B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/028Voice signal separating using properties of sound source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 複数の話者が重畳して音声を入力した場合であっても、話者ごとに音声認識することができ、単一のアプリケーションを共同で実行することができる音声認識システム、音声認識方法、及びコンピュータプログラムを提供する。
【解決手段】 複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行する音声認識システムにおいて、必要な場合には受付けた音声を話者ごとに分離等行い、話者ごとに受付けた音声を音声認識し、音声認識した結果を、アプリケーションの実行に必要なデータ項目について照合する照合し、アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結し、重複している複数の音声認識の結果のうちいずれかを選択する。
【選択図】 図5

Description

本発明は、複数の発話者の音声に基づいて単一のアプリケーションを実行することができる音声認識システム、音声認識方法、及びコンピュータプログラムに関する。
近年、音声認識システム(ASR:Auto Speech Recognition)を用いた様々なアプリケーションが急速に普及している。例えばカーナビゲーションシステムに音声認識システムを適用することにより、運転中の安全を確保しつつ、確実に目的地まで到達することができる等、様々な効果を奏する。
一方、利用者の音声に対して自動的に応答することから、複数の利用者による音声が同時的に入力された場合、誤認識する割合が高くなり、アプリケーションを利用者の意図に沿って実行することが困難になる。この場合、受付けた音声に基づいて音声の入力された方向、音声の特徴量等に基づいて話者を特定し、特定した話者により発せられた音声のみを音声認識することにより、受付けた音声を誤認識することなく音声認識アプリケーションを実行することができる。
例えば、特許文献1では、発話者が誰であるかを分析して特定し、特定した発話者ごとに最適な認識パラメータを準備し、発話者に応じて逐次最適化するような構成としてある音声認識装置が開示されており、複数の発話者が交互に音声を入力した場合であっても、複数の発話社の音声を混同して認識することなく、アプリケーションを実行することが可能となる。
また、特許文献2では、マイクロホンアレイで複数の話者の音声を受付け、受付けた音声を話者ごとの音声データとして分離した後、分離した音声データについて音声認識を行う車載音声認識システムが開示されている。これにより、例えば運転席、助手席等にそれぞれ話者が搭乗している場合に、マイクロホンアレイの指向特性範囲を容易に変化させながら音声データを収集し、話者ごとに音声認識を行うことができることから、誤認識の発生率を大幅に低減することが可能となる。
特開2001−005482号公報 特開2003−114699号公報
しかし、特許文献1に開示してある音声認識装置は、マイクロホンアレイにより発話者の方向を特定することにより、特定の発話者の音声に基づいてアプリケーションを実行することができるが、特定した発話者からの音声のみにより実行することができ、他の発話者の音声に基づいて実行することができない。したがって、複数の発話者により共同で1つのアプリケーションを実行することができないという問題点があった。
また、特許文献2に開示してある車載音声認識システムは、複数話者が同時に発声した場合であっても、話者ごとにアプリケーションを実行することができるが、話者ごとに独立してアプリケーションを実行するだけであり、共通のアプリケーションを複数の話者で実行することができないという問題点があった。
本発明は斯かる事情に鑑みてなされたものであり、複数の話者が重畳して音声を入力した場合であっても、話者ごとに音声認識することができ、単一のアプリケーションを共同で実行することができる音声認識システム、音声認識方法、及びコンピュータプログラムを提供することを目的とする。
上記目的を達成するために第1発明に係る音声認識システムは、複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行する音声認識システムにおいて、話者ごとに受付けた音声を音声認識する音声認識手段と、音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合する照合手段と、照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結する連結手段と、重複している複数の音声認識の結果のうちいずれかを選択する選択手段とを備えることを特徴とする。
また、第2発明に係る音声認識システムは、第1発明において、前記音声認識手段は、音声パターンとの照合度合を示す評価値を算出し、算出した評価値が最大である文字列を認識結果として出力するようにしてあり、前記選択手段は、重複している複数の音声認識の結果のうち前記評価値が最大である音声認識の結果を選択するようにしてあることを特徴とする。
また、第3発明に係る音声認識システムは、第1又は第2発明において、前記音声認識手段は、音声認識対象となる音声が発せられた時点及び認識結果を出力するようにしてあり、前記選択手段は、音声が発せられた時点が後の音声認識結果を優先して選択するようにしてあることを特徴とする。
また、第4発明に係る音声認識システムは、第1乃至第3発明のいずれか1つにおいて、話者ごとに音声認識の結果を選択する優先度を示す優先順位を記憶しておき、又は発声の順番に応じて優先順位を特定し、前記選択手段は、優先順位の高い話者が発した音声の音声認識結果を優先して選択するようにしてあることを特徴とする。
また、第5発明に係る音声認識システムは、第1乃至第4発明のいずれか1つにおいて、受付けた音声を話者ごとに分離する音声分離手段を備えることを特徴とする。
また、第6発明に係る音声認識方法は、複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行する音声認識方法において、音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合し、照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結し、重複している複数の音声認識の結果のうちいずれかを選択することを特徴とする。
また、第7発明に係る音声認識方法は、第6発明において、受付けた音声を話者ごとに分離することを特徴とする。
また、第8発明に係るコンピュータプログラムは、複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、話者ごとに受付けた音声を音声認識する音声認識手段、音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合する照合手段、照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結する連結手段、及び重複している複数の音声認識の結果のうちいずれかを選択する選択手段として機能させることを特徴とする。
また、第9発明に係るコンピュータプログラムは、第8発明において、前記音声認識手段は、音声パターンとの照合度合を示す評価値を算出し、算出した評価値が最大である文字列を認識結果として出力するようにしてあり、前記選択手段は、重複している複数の音声認識の結果のうち前記評価値が最大である音声認識の結果を選択するようにしてあることを特徴とする。
また、第10発明に係るコンピュータプログラムは、第8又は第9発明において、前記コンピュータを、受付けた音声を話者ごとに分離する音声分離手段として機能させることを特徴とする。
第1発明、第6発明、及び第8発明では、複数の話者により発せられた音声を受け付け、話者ごとに受付けた音声を音声認識する。話者ごとに音声認識した結果を、アプリケーションの実行に必要なデータ項目について照合し、照合した結果、アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果は連結して1つのデータとし、重複している複数の音声認識の結果は、いずれか1つを選択することにより1つのデータとして構成する。これにより、単一のアプリケーションを、複数の話者により入力された音声の音声認識結果を連結又はいずれかを選択して構成した1つのデータに基づいて実行することができ、複数の話者が共同で1つのアプリケーションを実行することが可能となる。
第2発明、及び第9発明では、音声パターンとの照合度合を示す評価値が最大である文字列を認識結果として出力し、重複している複数の音声認識の結果のうち評価値が最大である音声認識の結果を選択する。これにより、複数の話者により入力された音声の音声認識の結果が、同一のデータ項目として重複している場合、話者ごとの音声認識の評価値が最大である音声認識の結果を選択してアプリケーションを実行する。これにより、複数の話者による音声認識の結果のうち、評価値が最大である音声認識の結果を選択することで、誤認識の可能性が最も低い音声認識の結果に基づいてアプリケーションを実行することができ、複数の話者による音声が同時的に入力された場合であっても、誤認識することなくアプリケーションを実行することが可能となる。
第3発明では、音声認識対象となる音声が発せられた時点が最近である音声認識の結果を優先して選択する。これにより、複数の話者が同一の内容の音声を入力した場合、言い直し等により最も正確に音声を入力することができるのは、最後の音声入力者であることから、最後に発せられた音声を優先的に選択することにより、誤認識することなくアプリケーションを実行することが可能となる。
第4発明では、話者ごとに音声認識の結果を選択する優先度を示す優先順位を記憶しておき、又は発声の順番に応じて優先順位を特定し、優先順位の高い話者が発した音声の音声認識結果を優先して選択する。これにより、複数の話者が同一の内容の音声を入力した場合、優先順位の高い話者の音声を優先的に選択することにより、誤認識することなくアプリケーションを実行することが可能となる。
第5発明、第7発明、及び第10発明では、受付けた音声を話者ごとに分離することにより、複数の話者の音声を略同時的に受付けた場合であっても、話者ごとに分離した音声を音声認識することができ、単一のアプリケーションを、複数の話者により入力された音声の音声認識結果を連結又はいずれかを選択して構成した1つのデータに基づいて実行することができ、複数の話者が共同で1つのアプリケーションを実行することが可能となる。
第1発明、第6発明及び第8発明によれば、単一のアプリケーションを、複数の話者により入力された音声の音声認識結果を連結又はいずれかを選択して構成した1つのデータに基づいて実行することができ、複数の話者が共同で1つのアプリケーションを実行することが可能となる。
第2発明、及び第9発明によれば、複数の話者により入力された音声の音声認識の結果が、同一のデータ項目として重複している場合、話者ごとの音声認識の評価値が最大である音声認識の結果を選択してアプリケーションを実行する。これにより、複数の話者による音声認識の結果のうち、評価値が最大である音声認識の結果を選択することで、誤認識の可能性が最も低い音声認識の結果に基づいてアプリケーションを実行することができ、複数の話者による音声が同時的に入力された場合であっても、誤認識することなくアプリケーションを実行することが可能となる。
第3発明によれば、複数の話者が同一の内容の音声を入力した場合、言い直し等により最も正確に音声を入力することができるのは、最後の音声入力者であることから、最後に発せられた音声を優先的に選択することにより、誤認識することなくアプリケーションを実行することが可能となる。
第4発明によれば、複数の話者が同一の内容の音声を入力した場合、優先順位の高い話者の音声を優先的に選択することにより、誤認識することなくアプリケーションを実行することが可能となる。
第5発明、第7発明、及び第10発明によれば、複数の話者の音声を略同時的に受付けた場合であっても、話者ごとに分離した音声を音声認識することができ、単一のアプリケーションを、複数の話者により入力された音声の音声認識結果を連結又はいずれかを選択して構成した1つのデータに基づいて実行することができ、複数の話者が共同で1つのアプリケーションを実行することが可能となる。
以下、本発明の実施の形態に係る音声認識システムについて図面に基づいて具体的に説明する。図1は、本発明の実施の形態に係る音声認識システムの構成を示すブロック図である。図1に示すように、本実施の形態に係る音声認識システムは、複数のマイクロホンで構成されている音声入力装置20から複数の話者の音声を受け付け、受け付けた音声を認識する音声認識装置10を備えている。なお、音声入力装置20は、複数のマイクロホンに限定されるものではなく、例えば複数の電話回線等、複数の音声を入力することができる形態であれば何でも良い。
音声認識装置10は、少なくとも、CPU(中央演算装置)11、記録手段12、RAM13、外部の通信手段と接続する通信インタフェース14、及びDVD、CD等の可搬型記録媒体16を用いる補助記録手段15で構成される。
CPU11は、内部バス17を介して音声認識装置10の上述したようなハードウェア各部と接続されており、上述したハードウェア各部を制御するとともに、記録手段12に記録されている処理プログラム、例えば複数の利用者の音声を受け付け、必要な場合に用いる話者ごとに分離するプログラム、話者ごとに音声を認識するプログラム、音声を認識した結果に基づいてアプリケーションへ出力するデータを生成するプログラム等に従って、種々のソフトウェア的機能を実行する。
記録手段12は、内蔵される固定型記録装置(ハードディスク)、ROM等で構成され、通信インタフェース14を介した外部のコンピュータ、又はDVD、CD−ROM等の可搬型記録媒体16から取得した、音声認識装置10として機能させるために必要な処理プログラムを記録している。記録手段12は、処理プログラムだけではなく、音声を認識した結果に基づいて生成されたデータを用いて実行されるアプリケーションも記録している。
RAM13は、DRAM等で構成され、ソフトウェアの実行時に発生する一時的なデータを記録する。通信インタフェース14は内部バス17に接続されており、外部のネットワーク網と通信することができるよう接続することにより、処理に必要なデータを送受信することができる。
音声入力装置20は、複数のマイクロホンに21、21、・・・より構成されており、例えば少なくとも2個のマイクロホン21、21でマイクロホンアレイを構成している。音声入力装置20は、複数の話者の音声を受け付け、音声データに変換してCPU11へ送出する機能を備えている。
補助記録手段15は、CD、DVD等の可搬型記録媒体16を用い、記録手段12へ、CPU11が処理するプログラム、データ等をダウンロードする。また、CPU11が処理したデータをバックアップすべく書き込むことも可能である。
なお、本実施の形態では、音声認識装置10と音声入力装置20とが一体となっている場合について説明するが、特にこれに限定されるものではなく、音声入力装置20が、複数の音声認識装置10、10、・・・とネットワーク網等を介して接続されている形態であっても良い。また、複数のマイクロホン21、21、・・・が同じ場所に存在する必要はなく、離れた場所に配置して有る複数のマイクロホン21、21、・・・がネットワーク網等を介して接続されている形態であっても良い。
本発明の実施の形態に係る音声認識システムの音声認識装置10は、複数の話者による音声の入力待ち状態となる。もちろん、話者による音声の入力を促すために、記録手段12に記憶されているアプリケーションに沿って、CPU11の指令により音声入出力部20から音声出力を行っても良い。この場合、例えば「出発地と目的地とを、何々から何々までという形式で入力してください」等、次に話者による音声入力を期待する質問を音声出力する。
マイクロホンアレイ等の音声入力装置20を介して、複数の話者の音声を受け付けた場合、音声認識装置10のCPU11は、受付けた音声の指向性を検出し、方向の異なる音声を異なる話者の音声として分離する。CPU11は、分離した音声について、話者ごとの波形データ、又は音声を音響分析した結果である特徴量を示すデータとして記録手段12及びRAM13に記録し、RAM13に記録された話者ごとの音声データについて音声認識を行う。音声認識処理に用いる音声認識エンジンは特に限定されるものではなく、一般に用いられる音声認識エンジンであれば何でも良い。また、音声認識用文法として、話者ごとの音声認識用文法を用いることにより、音声認識精度は大きく向上する。
なお、記録手段12としては、内蔵されているハードディスクに限定されるものではなく、通信インタフェース14を介して接続されている他のコンピュータに内蔵されているハードディスク等、大容量のデータを記録することができる記録媒体であれば何でもよい。
記録手段12に記録されているアプリケーションは音声認識アプリケーションのロードモジュールであり、データの入力は音声入力装置20を介して音声で行われる。したがって、CPU11は、話者により音声が入力された場合、音声認識結果によってアプリケーションで指定されている入力されるべきデータのデータ項目が全て満たされているか否かを判断する。
音声の入力が単一である場合、CPU11はデータ項目が全て充足されているか否かを判断し、充足されていると判断した場合にのみアプリケーションを実行すれば足りる。しかし、複数の話者による音声を任意に受付けることができる場合、データ項目によっては複数の話者の音声が重複している項目が存在する。また、1人の話者の音声ではデータ項目の全てを充足しておらず、他の話者の音声を組み合わせて初めて全てのデータ項目を充足し、アプリケーションを実行することができる場合も生じる。
まず、CPU11が複数の話者による音声を受付け、1人の話者の音声ではデータ項目の全てを充足しておらず、他の話者の音声を組み合わせて初めて全てのデータ項目を充足し、アプリケーションを実行することができる場合の動作について説明する。図2は、複数の音声の音声認識結果を連結する処理の一例を模式的に示す図である。
図2の例は、アプリケーションが、「○○」から「××」まで「△△」を通って到達する道順を教示するカーナビゲーションシステム用のプログラムであり、話者の音声を音声認識することにより、出発地「○○」、到着地「××」、及び経由地「△△」を受付けたことを確認した時点で、当該条件を具備した道順を示すものとする。
例えば運転者Aが「大久保駅から大阪駅まで」と音声を発した場合、CPU11は、複数のマイクロホン21、21、・・・で構成する音声入力装置20(マイクロホンアレイ)を通じて該音声を受付ける。CPU11は、受付けた音声から目的とする音声信号を抽出し、話者の方向を推定する。CPU11は、音声信号及び推定した話者方向に基づいて話者を特定し、特定した話者に対応する音声認識用文法に基づいて音声認識処理を行い、音声認識結果として出発地「大久保駅」、到着地「大阪駅」を出力する。なお、入力された音声が出発地及び到着地を含むことは、助詞「から」、「まで」を音声認識結果として検出することにより判断すれば足りる。もちろん、斯かる方法に限定されるものではない。
これにより、出発地「大久保駅」、到着地「大阪駅」については音声認識結果により充足することができる。しかし、経由地「△△」については受付けたことを認識することができず、アプリケーションを実行することができない。
そこで、例えば助手席の同乗者Bが「三宮を通って」と音声を発する。この場合、CPU11は、複数のマイクロホンで構成する音声入力装置20(マイクロホンアレイ)を通じて該音声を受付ける。CPU11は、受付けた音声から目的とする音声信号を抽出し、話者の方向を推定する。CPU11は、音声信号及び推定した話者方向に基づいて話者を特定し、特定した話者に対応する音声認識用文法に基づいて音声認識処理を行い、音声認識結果として経由地「三宮」を出力する。なお、入力された音声が経由地を含むことは、助詞「通って」を音声認識結果として検出することにより判断すれば足りる。もちろん、斯かる方法に限定されるものではない。
これにより、経由地「三宮」については音声認識結果により充足することができる。しかし、出発地「○○」、到着地「××」については受付けたことを認識することができず、アプリケーションを実行することができない。
CPU11は、運転者Aの音声に基づいて出力された音声認識結果である出発地「大久保駅」、到着地「大阪駅」、及び助手席の同乗者Bに基づいて出力された音声認識結果である経由地「三宮」を連結して、単一のアプリケーションに対する単一の入力とする。これにより、単一の話者では実行することができないアプリケーションを、複数の話者の音声の音声認識結果を連結することにより実行することができるようになる。
次に、CPU11が、複数の話者による音声を受付け、受付けた複数の話者の音声が重複しているデータ項目が存在している場合の動作について説明する。図3は、複数の音声の音声認識結果を選択する処理の一例を模式的に示す図である。
図3の例は、アプリケーションが、「○○」から「××」まで「△△」を通って到達する道順を教示するカーナビゲーションシステム用のプログラムであり、話者の音声を音声認識することにより、出発地「○○」、到着地「××」、及び経由地「△△」を受付けたことを確認した時点で、当該条件を具備した道順を示すものとする。
例えば運転者Aが「大久保駅から大阪駅まで三宮を通って」と音声を発した場合、CPU11は、複数のマイクロホン21、21、・・・で構成する音声入力装置20(マイクロホンアレイ)を通じて該音声を受付ける。CPU11は、受付けた音声から目的とする音声信号を抽出し、話者の方向を推定する。CPU11は、音声信号及び推定した話者方向に基づいて話者を特定し、話者ごとに音声を分離し、特定した話者に対応する音声認識用文法に基づいて音声認識処理を行い、音声認識結果として出発地「大久保駅」、到着地「大阪駅」、経由地「三宮」を出力する。なお、入力された音声が出発地、到着地、及び経由地を含むことは、助詞「から」、「まで」、「通って」を音声認識結果として検出することにより判断すれば足りる。もちろん、斯かる方法に限定されるものではない。
分離した音声には、話者ごとの音声の開始時間及び終了時間を含む音声ラベルを付加して音声の優先順位をつけても良いし、話者ラベルを付加して話者の優先順位付けを行い、音声認識結果の優先付けを行っても良い。また、本実施の形態のように音声入力装置20としてマイクロホンアレイを用いる場合、話者方向を特定することにより音声を分離しているが、別個のマイクロホンから入力された場合、音声を話者ごとに分離する必要はない。
これにより、出発地「大久保駅」、到着地「大阪駅」、経由地「三宮」について音声認識結果により充足することができ、アプリケーションを実行することが可能となる。しかし、アプリケーションを実行する前に、例えば助手席の同乗者Bが「西明石を通って新大阪まで」と音声を発した場合、CPU11は、斯かる音声も複数のマイクロホン21、21、・・・で構成する音声入力装置20(マイクロホンアレイ)を通じて受付ける。CPU11は、受付けた音声から目的とする音声信号を抽出し、話者の方向を推定する。CPU11は、音声信号及び推定した話者方向に基づいて話者を特定し、特定した話者に対応する音声認識用文法に基づいて音声認識処理を行い、音声認識結果として到着地「新大阪駅」、経由地「西明石」を出力する。なお、入力された音声が到着地、経由地を含むことは、助詞「まで」、「通って」を音声認識結果として検出することにより判断すれば足りる。もちろん、斯かる方法に限定されるものではない。
これにより、到着地及び経由地については音声認識結果が複数存在することになり、CPU11は、いずれか1つを選択する処理を行う。例えばCPU11は、データ項目ごとに、音声認識結果として出力されている文字列について、それぞれの音声認識評価値を抽出し、評価値の高い音声認識結果を選択する。
図4は、データ項目「到着地」、「経由地」ごとに音声認識結果の評価値の一例を示す図である。図4(a)はデータ項目「到着地」に関する評価値を、図4(b)はデータ項目「経由地」に関する評価値を、それぞれ示している。
図4の例では、データ項目「到着地」については、音声認識結果「新大阪駅」の方が評価値が高く、データ項目「経由地」については、音声認識結果「西明石」の方が評価値が高い。したがって、CPU11は、到着地「新大阪駅」、経由地「西明石」を選択する。
音声認識結果の選択方法は、音声認識結果の評価値に基づく方法に限定されるものではなく、音声認識対象となる音声が発せられた時点が最も遅い音声に対する音声認識結果を選択する方法であっても良い。すなわち、同一のデータ項目について複数の話者が何度も入力する場合、最後に入力された音声の方が正しい内容である可能性が高いからである。
また、CPU11は、受付けた音声から目的とする音声信号を抽出し、話者の方向を推定することにより話者を特定することができる。したがって、話者ごとに音声認識結果を選択する優先順位に関する情報を、優先順位情報121として事前に記録手段12に記録しておき、重複した音声認識結果のうち、話者の優先順位が最も高い話者の音声に係る音声認識結果を選択する方法であっても良い。また、最初に発声した話者の優先順位を高める等、発声の順序に応じて優先順位を定めても良い。
図5は、本発明の実施の形態に係る音声認識システムの音声認識装置10のCPU11の処理手順を示すフローチャートである。音声認識装置10のCPU11は、音声入力装置20から音声を受付け(ステップS501)、受付けた音声の指向性を検出し(ステップS502)、方向の異なる音声を異なる話者の音声として分離する(ステップS503)。CPU11は、分離した音声について、話者ごとの波形データ、音声を音響分析した結果である特徴量を示すデータ等の音声データに変換し、分離した話者ごとに音声認識を行う(ステップS504)。音声認識処理に用いる音声認識エンジンは特に限定されるものではなく、一般に用いられる音声認識エンジンであれば何でも良い。また、音声認識用文法として、話者ごとの音声認識用文法を用いることにより、音声認識精度は大きく向上する。
CPU11は、一の話者の音声認識結果に基づいてアプリケーションの実行に必要なデータ項目を充填し、該データ項目に空きデータ項目が有るか否かを判断する(ステップS505)。CPU11が、空きデータ項目が有ると判断した場合(ステップS505:YES)、CPU11は、他の話者の音声認識結果と連結することができるか否かを判断する(ステップS506)。具体的には、空きデータ項目を充足することができる音声認識結果が、他の話者の音声認識結果に存在するか否かを判断する。
CPU11が、他の話者の音声認識結果と連結することができないと判断した場合(ステップS506:NO)、アプリケーションの実行に必要なデータ項目を充足することができないものと判断し、処理を終了する。CPU11が、他の話者の音声認識結果と連結することができると判断した場合(ステップS506:YES)、CPU11は、音声認識結果を連結し(ステップS507)、ステップS505へ戻る。
CPU11が、空きデータ項目が無いと判断した場合(ステップS505:NO)、CPU11は、重複するデータ項目が有るか否かを判断する(ステップS508)。CPU11が、重複するデータ項目が有ると判断した場合(ステップS508:YES)、重複するデータ項目について、いずれか1つの音声認識結果を選択し(ステップS509)、すべてのデータ項目につき充足され、重複したデータ項目が無い状態でアプリケーションを実行する(ステップS510)。
以上のように本実施の形態によれば、複数の話者により発せられた音声を受け付け、話者ごとに音声認識した結果を、アプリケーションの実行に必要なデータ項目について照合し、照合した結果、アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結し、重複している複数の音声認識の結果は、いずれか1つを選択することにより、単一のアプリケーションを実行することができ、複数の話者が共同で1つのアプリケーションを実行することが可能となる。
以上の実施の形態に関し、さらに以下の付記を開示する。
(付記1)
複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行する音声認識システムにおいて、
話者ごとに受付けた音声を音声認識する音声認識手段と、
音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合する照合手段と、
照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結する連結手段と、
重複している複数の音声認識の結果のうちいずれかを選択する選択手段と
を備えることを特徴とする音声認識システム。
(付記2)
前記音声認識手段は、音声パターンとの照合度合を示す評価値を算出し、算出した評価値が最大である文字列を認識結果として出力するようにしてあり、
前記選択手段は、重複している複数の音声認識の結果のうち前記評価値が最大である音声認識の結果を選択するようにしてあることを特徴とする付記1記載の音声認識システム。
(付記3)
前記音声認識手段は、音声認識対象となる音声が発せられた時点及び認識結果を出力するようにしてあり、
前記選択手段は、音声が発せられた時点が後の音声認識結果を優先して選択するようにしてあることを特徴とする付記1又は2記載の音声認識システム。
(付記4)
話者ごとに音声認識の結果を選択する優先度を示す優先順位を記憶しておき、又は発声の順番に応じて優先順位を特定し、
前記選択手段は、優先順位の高い話者が発した音声の音声認識結果を優先して選択するようにしてあることを特徴とする付記1乃至3のいずれか一つに記載の音声認識システム。
(付記5)
受付けた音声を話者ごとに分離する音声分離手段を備えることを特徴とする付記1乃至4のいずれか一つに記載の音声認識システム。
(付記6)
複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行する音声認識方法において、
音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合し、
照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結し、
重複している複数の音声認識の結果のうちいずれかを選択することを特徴とする音声認識方法。
(付記7)
音声パターンとの照合度合を示す評価値を算出し、
算出した評価値が最大である文字列を認識結果として出力し、
重複している複数の音声認識の結果のうち前記評価値が最大である音声認識の結果を選択することを特徴とする付記6記載の音声認識方法。
(付記8)
音声認識対象となる音声が発せられた時点及び認識結果を出力し、
音声が発せられた時点が後の音声認識結果を優先して選択することを特徴とする付記6又は7記載の音声認識方法。
(付記9)
話者ごとに音声認識の結果を選択する優先度を示す優先順位を記憶し、又は発声の順番に応じて優先順位を特定し、
優先順位の高い話者が発した音声の音声認識結果を優先して選択することを特徴とする付記6乃至8のいずれか一つに記載の音声認識方法。
(付記10)
受付けた音声を話者ごとに分離することを特徴とする付記6乃至9のいずれか一つに記載の音声認識方法。
(付記11)
複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
話者ごとに受付けた音声を音声認識する音声認識手段、
音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合する照合手段、
照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結する連結手段、及び
重複している複数の音声認識の結果のうちいずれかを選択する選択手段
として機能させることを特徴とするコンピュータプログラム。
(付記12)
前記音声認識手段は、音声パターンとの照合度合を示す評価値を算出し、算出した評価値が最大である文字列を認識結果として出力するようにしてあり、
前記選択手段は、重複している複数の音声認識の結果のうち前記評価値が最大である音声認識の結果を選択するようにしてあることを特徴とする付記11記載のコンピュータプログラム。
(付記13)
前記音声認識手段は、音声認識対象となる音声が発せられた時点及び認識結果を出力するようにしてあり、
前記選択手段は、音声が発せられた時点が後の音声認識結果を優先して選択するようにしてあることを特徴とする付記11又は12記載のコンピュータプログラム。
(付記14)
話者ごとに音声認識の結果を選択する優先度を示す優先順位を記憶しておき、又は発声の順番に応じて優先順位を特定し、
前記選択手段は、優先順位の高い話者が発した音声の音声認識結果を優先して選択するようにしてあることを特徴とする付記11乃至13のいずれか一つに記載のコンピュータプログラム。
(付記15)
前記コンピュータを、
受付けた音声を話者ごとに分離する音声分離手段
として機能させることを特徴とする付記11乃至14のいずれか一つに記載のコンピュータプログラム。
本発明の実施の形態に係る音声認識システムの構成を示すブロック図である。 複数の音声の音声認識結果を連結する処理の一例を模式的に示す図である。 複数の音声の音声認識結果を選択する処理の一例を模式的に示す図である。 データ項目「到着地」、「経由地」ごとに音声認識結果の評価値の一例を示す図である。 本発明の実施の形態に係る音声認識システムの音声認識装置のCPUの処理手順を示すフローチャートである。
符号の説明
10 音声認識装置
11 CPU
12 記録手段
13 RAM
14 通信インタフェース
15 補助記録手段
16 可搬型記録媒体
20 音声入力装置
121 優先順位情報

Claims (10)

  1. 複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行する音声認識システムにおいて、
    話者ごとに受付けた音声を音声認識する音声認識手段と、
    音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合する照合手段と、
    照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結する連結手段と、
    重複している複数の音声認識の結果のうちいずれかを選択する選択手段と
    を備えることを特徴とする音声認識システム。
  2. 前記音声認識手段は、音声パターンとの照合度合を示す評価値を算出し、算出した評価値が最大である文字列を認識結果として出力するようにしてあり、
    前記選択手段は、重複している複数の音声認識の結果のうち前記評価値が最大である音声認識の結果を選択するようにしてあることを特徴とする請求項1記載の音声認識システム。
  3. 前記音声認識手段は、音声認識対象となる音声が発せられた時点及び認識結果を出力するようにしてあり、
    前記選択手段は、音声が発せられた時点が後の音声認識結果を優先して選択するようにしてあることを特徴とする請求項1又は2記載の音声認識システム。
  4. 話者ごとに音声認識の結果を選択する優先度を示す優先順位を記憶しておき、又は発声の順番に応じて優先順位を特定し、
    前記選択手段は、優先順位の高い話者が発した音声の音声認識結果を優先して選択するようにしてあることを特徴とする請求項1乃至3のいずれか一項に記載の音声認識システム。
  5. 受付けた音声を話者ごとに分離する音声分離手段を備えることを特徴とする請求項1乃至4のいずれか一項に記載の音声認識システム。
  6. 複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行する音声認識方法において、
    音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合し、
    照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結し、
    重複している複数の音声認識の結果のうちいずれかを選択することを特徴とする音声認識方法。
  7. 受付けた音声を話者ごとに分離することを特徴とする請求項6記載の音声認識方法。
  8. 複数の話者に係る音声を受け付け、受付けた音声の認識結果に基づいて所定のアプリケーションを実行するコンピュータで実行することが可能なコンピュータプログラムにおいて、
    前記コンピュータを、
    話者ごとに受付けた音声を音声認識する音声認識手段、
    音声認識した結果を、前記アプリケーションの実行に必要なデータ項目について照合する照合手段、
    照合した結果、前記アプリケーションの実行に必要なデータ項目として重複していない複数の音声認識した結果を連結する連結手段、及び
    重複している複数の音声認識の結果のうちいずれかを選択する選択手段
    として機能させることを特徴とするコンピュータプログラム。
  9. 前記音声認識手段は、音声パターンとの照合度合を示す評価値を算出し、算出した評価値が最大である文字列を認識結果として出力するようにしてあり、
    前記選択手段は、重複している複数の音声認識の結果のうち前記評価値が最大である音声認識の結果を選択するようにしてあることを特徴とする請求項8記載のコンピュータプログラム。
  10. 前記コンピュータを、
    受付けた音声を話者ごとに分離する音声分離手段
    として機能させることを特徴とする請求項8又は9記載のコンピュータプログラム。

JP2005075924A 2005-03-16 2005-03-16 音声認識システム、音声認識方法、及びコンピュータプログラム Expired - Fee Related JP4346571B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005075924A JP4346571B2 (ja) 2005-03-16 2005-03-16 音声認識システム、音声認識方法、及びコンピュータプログラム
US11/165,120 US8010359B2 (en) 2005-03-16 2005-06-24 Speech recognition system, speech recognition method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005075924A JP4346571B2 (ja) 2005-03-16 2005-03-16 音声認識システム、音声認識方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2006259164A true JP2006259164A (ja) 2006-09-28
JP4346571B2 JP4346571B2 (ja) 2009-10-21

Family

ID=37011488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005075924A Expired - Fee Related JP4346571B2 (ja) 2005-03-16 2005-03-16 音声認識システム、音声認識方法、及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US8010359B2 (ja)
JP (1) JP4346571B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086132A (ja) * 2007-09-28 2009-04-23 Pioneer Electronic Corp 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識装置を備えた電子機器、音声認識方法、音声認識プログラム、および記録媒体
JP2020505643A (ja) * 2017-02-15 2020-02-20 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 音声認識方法、電子機器、及びコンピュータ記憶媒体
JP2020198630A (ja) * 2016-12-30 2020-12-10 グーグル エルエルシー 音声起動されたコンピュータネットワーク環境におけるシーケンス依存データメッセージ統合
WO2021002649A1 (ko) * 2019-07-03 2021-01-07 주식회사 마인즈랩 개별 화자 별 음성 생성 방법 및 컴퓨터 프로그램

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192427A1 (en) * 2006-02-16 2007-08-16 Viktors Berstis Ease of use feature for audio communications within chat conferences
US8953756B2 (en) 2006-07-10 2015-02-10 International Business Machines Corporation Checking for permission to record VoIP messages
US8214219B2 (en) * 2006-09-15 2012-07-03 Volkswagen Of America, Inc. Speech communications system for a vehicle and method of operating a speech communications system for a vehicle
US8503622B2 (en) * 2006-09-15 2013-08-06 International Business Machines Corporation Selectively retrieving VoIP messages
US20080107045A1 (en) * 2006-11-02 2008-05-08 Viktors Berstis Queuing voip messages
US8144896B2 (en) * 2008-02-22 2012-03-27 Microsoft Corporation Speech separation with microphone arrays
US20100312469A1 (en) * 2009-06-05 2010-12-09 Telenav, Inc. Navigation system with speech processing mechanism and method of operation thereof
US9881616B2 (en) * 2012-06-06 2018-01-30 Qualcomm Incorporated Method and systems having improved speech recognition
JP5571269B2 (ja) * 2012-07-20 2014-08-13 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
US9286030B2 (en) 2013-10-18 2016-03-15 GM Global Technology Operations LLC Methods and apparatus for processing multiple audio streams at a vehicle onboard computer system
CN106796786B (zh) * 2014-09-30 2021-03-02 三菱电机株式会社 语音识别系统
US10009514B2 (en) 2016-08-10 2018-06-26 Ricoh Company, Ltd. Mechanism to perform force-X color management mapping
US10057462B2 (en) 2016-12-19 2018-08-21 Ricoh Company, Ltd. Mechanism to perform force black color transformation
US10638018B2 (en) 2017-09-07 2020-04-28 Ricoh Company, Ltd. Mechanism to perform force color parameter transformations
KR101972545B1 (ko) * 2018-02-12 2019-04-26 주식회사 럭스로보 음성 명령을 통한 위치 기반 음성 인식 시스템
KR20190133100A (ko) * 2018-05-22 2019-12-02 삼성전자주식회사 어플리케이션을 이용하여 음성 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
US11960668B1 (en) 2022-11-10 2024-04-16 Honeywell International Inc. Cursor management methods and systems for recovery from incomplete interactions
US11954325B1 (en) 2023-04-05 2024-04-09 Honeywell International Inc. Methods and systems for assigning text entry components to cursors

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06186996A (ja) 1992-12-18 1994-07-08 Sony Corp 電子機器
JP3810551B2 (ja) 1997-03-18 2006-08-16 株式会社エヌ・ティ・ティ・データ 音声認識システム、コールセンタシステム、音声認識方法及び記録媒体
JP3302923B2 (ja) 1998-03-27 2002-07-15 日本電気株式会社 音声入力装置
WO2000045375A1 (en) * 1999-01-27 2000-08-03 Kent Ridge Digital Labs Method and apparatus for voice annotation and retrieval of multimedia data
JP3357629B2 (ja) 1999-04-26 2002-12-16 旭化成株式会社 設備制御システム
JP3437492B2 (ja) 1999-06-21 2003-08-18 松下電器産業株式会社 音声認識方法及び装置
US6629075B1 (en) * 2000-06-09 2003-09-30 Speechworks International, Inc. Load-adjusted speech recogintion
GB2375698A (en) * 2001-02-07 2002-11-20 Canon Kk Audio signal processing apparatus
JP2003114699A (ja) 2001-10-03 2003-04-18 Auto Network Gijutsu Kenkyusho:Kk 車載音声認識システム
US7640006B2 (en) * 2001-10-03 2009-12-29 Accenture Global Services Gmbh Directory assistance with multi-modal messaging
US7016842B2 (en) * 2002-03-26 2006-03-21 Sbc Technology Resources, Inc. Method and system for evaluating automatic speech recognition telephone services
JP3899290B2 (ja) * 2002-06-10 2007-03-28 富士通株式会社 発信者特定方法、プログラム、装置及び記録媒体
US7180997B2 (en) * 2002-09-06 2007-02-20 Cisco Technology, Inc. Method and system for improving the intelligibility of a moderator during a multiparty communication session
US6714631B1 (en) * 2002-10-31 2004-03-30 Sbc Properties, L.P. Method and system for an automated departure strategy
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
JP3878147B2 (ja) 2003-05-01 2007-02-07 日本電信電話株式会社 端末装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086132A (ja) * 2007-09-28 2009-04-23 Pioneer Electronic Corp 音声認識装置、音声認識装置を備えたナビゲーション装置、音声認識装置を備えた電子機器、音声認識方法、音声認識プログラム、および記録媒体
JP2020198630A (ja) * 2016-12-30 2020-12-10 グーグル エルエルシー 音声起動されたコンピュータネットワーク環境におけるシーケンス依存データメッセージ統合
JP2020505643A (ja) * 2017-02-15 2020-02-20 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 音声認識方法、電子機器、及びコンピュータ記憶媒体
WO2021002649A1 (ko) * 2019-07-03 2021-01-07 주식회사 마인즈랩 개별 화자 별 음성 생성 방법 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
JP4346571B2 (ja) 2009-10-21
US20060212291A1 (en) 2006-09-21
US8010359B2 (en) 2011-08-30

Similar Documents

Publication Publication Date Title
JP4346571B2 (ja) 音声認識システム、音声認識方法、及びコンピュータプログラム
JP5533854B2 (ja) 音声認識処理システム、および音声認識処理方法
EP1170726A1 (en) Speech recognition correction for devices having limited or no display
JP4667085B2 (ja) 音声対話システム、コンピュータプログラム、対話制御装置及び音声対話方法
JP5613335B2 (ja) 音声認識システム、認識辞書登録システム及び音響モデル識別子系列生成装置
JP2009169139A (ja) 音声認識装置
JP4867622B2 (ja) 音声認識装置、および音声認識方法
EP1494208A1 (en) Method for controlling a speech dialog system and speech dialog system
US20210183362A1 (en) Information processing device, information processing method, and computer-readable storage medium
JP6459330B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP2020086571A (ja) 車載装置及び音声認識方法
JP2008033198A (ja) 音声対話システム、音声対話方法、音声入力装置、プログラム
JP5342629B2 (ja) 男女声識別方法、男女声識別装置及びプログラム
JP2011170087A (ja) 音声認識装置
JP5074759B2 (ja) 対話制御装置、対話制御方法及び対話制御プログラム
JPH04318900A (ja) 多方向同時収音式音声認識方法
JP2004226698A (ja) 音声認識装置
JP5519126B2 (ja) 音声認識装置及び音声認識方法
JP4507996B2 (ja) 運転者負荷推定装置
EP2107554A1 (en) Multilingual codebooks for speech recognition
KR102279319B1 (ko) 음성분석장치 및 음성분석장치의 동작 방법
JP6920730B2 (ja) 対話装置および対話プログラム
WO2019030810A1 (ja) 音声認識装置および音声認識方法
JP7000257B2 (ja) 音声認識システム
JP2008309865A (ja) 音声認識装置および音声認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090401

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090714

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees