JP2002311991A - 音声認識方法 - Google Patents

音声認識方法

Info

Publication number
JP2002311991A
JP2002311991A JP2001120777A JP2001120777A JP2002311991A JP 2002311991 A JP2002311991 A JP 2002311991A JP 2001120777 A JP2001120777 A JP 2001120777A JP 2001120777 A JP2001120777 A JP 2001120777A JP 2002311991 A JP2002311991 A JP 2002311991A
Authority
JP
Japan
Prior art keywords
probability
word
input
voice
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001120777A
Other languages
English (en)
Other versions
JP4565768B2 (ja
JP2002311991A5 (ja
Inventor
Shuichi Matsumoto
修一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2001120777A priority Critical patent/JP4565768B2/ja
Publication of JP2002311991A publication Critical patent/JP2002311991A/ja
Publication of JP2002311991A5 publication Critical patent/JP2002311991A5/ja
Application granted granted Critical
Publication of JP4565768B2 publication Critical patent/JP4565768B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 音声入力におけるユーザの入力ステップ数
(キー操作回数)を減小し、かつ、正しいコマンドを入力
できるようにする。 【解決手段】 各候補単語が音声入力された単語である
確率を算出し、確率が最大の候補単語を音声入力単語で
あると認識する音声認識方法において、(1) 前記最大確
率と設定確率を比較し、(2) 最大確率が設定確率より大
きいとき、前記認識された単語に応じたコマンドを実行
し、(3) 該コマンドの取消しが指示されなければ、前記
設定確率を減小し、(4) 該コマンドの取消しが指示され
れば、コマンドの実行を取り消すと共に前記設定確率を
増大する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は音声認識方法に係わ
り、特に、各候補単語が音声入力された単語である確率
を算出し、確率が最大の候補単語を音声入力単語である
と認識する音声認識方法に関する。
【0002】
【従来の技術】カーナビゲーションシステムの入力手段
としてリモコンや音声認識装置が使われており、これら
により、ユーザーは目的地の設定、周辺施設の検索な
ど、ナビゲーション操作の大半を実現することができ
る。特に、音声入力はリモコンのように画面を見る必要
がなく、しかも、キー操作が不要であり、有効な手段で
ある。音声認識方式には、尤もらしい候補単語のうち音
声入力された単語である確率が最大となる候補単語を認
識結果とする方法(確率モデルによる音声認識方法)があ
る。しかし、音声認識率は、音声入力時における車室内
のノイズやオーディオ音の有無、話者の違い、前後に接
続する音素の違い(調和結合)などにより大きく影響を受
け、100%の認識率を達成することができず、誤認識が発
生している。
【0003】
【発明が解決しようとする課題】従来の確率モデルによ
る音声認識方法では、ユーザーが音声入力をした際、誤
認識しても候補単語群の中でも最も確率の高い単語をカ
ーナビゲーションシステムに入力する。カーナビゲーシ
ョンシステムは、この誤った認識単語をユーザーからの
コマンドとして受け取り、該認識単語を画面表示あるい
は音声ガイドでユーザに通知するが、正誤の確認をせず
該コマンドを実行する。そのため、ナビゲーションシス
テムは誤った動作をしてしまい、一つ前の元の状態に戻
す作業や再入力する必要が頻繁に生じ、使い勝手が悪い
問題がある。一方、音声入力のたびに毎回音声ガイドに
より認識単語が正しいか否かの確認をする方法もある。
かかる方法によれば、誤ってコマンドを実行することは
ないが、ユーザーの入力ステップ数(スイッチあるいは
キー操作回数)が増えてしまい、操作性が悪い問題があ
る。以上から本発明の目的は、ユーザーの入力ステップ
数を減小でき、しかも、正しいコマンドを指示できるよ
うにすることである。
【0004】
【課題を解決するための手段】本発明は、各候補単語が
音声入力された単語である確率を算出し、確率が最大の
候補単語を音声入力単語であると認識する音声認識方法
であり、(1) 前記最大確率と設定確率を比較し、(2) 最
大確率が設定確率より大きいとき、前記認識された単語
に応じたコマンドの実行を指示し、(3) 実行されたコマ
ンドの取消しが指示されなければ前記設定確率を減小
し、(4) 該実行されたコマンドの取消しが指示されれば
前記設定確率を増大する。更に、(5) 最大確率が設定確
率より小さいとき、認識単語を表示し、あるいは音声出
力し、(6) 認識結果の誤りが入力されれば前記設定確率
を増大し、(7) 認識結果の正しさが入力されれば認識単
語に応じたコマンドの実行を指示すると共に、前記設定
確率を減小する。以上のようにすれば、ユーザーの入力
ステップ数(キーまたはスイッチ操作回数)を減小でき、
しかも、正しいコマンドをナビゲーションシステムに指
示することができる。
【0005】
【発明の実施の形態】(A)システム構成 図1は本発明の音声認識システムよりナビゲーションシ
ステムに音声でコマンドを入力する場合のシステム構成
図である。音声認識システム10において、マイクロホ
ン11は話者音声を検出し、音響分析部12はマイクロ
ホンより入力された音声波形データの分析、変換を行な
って、たとえば短時間スペクトル等の時系列データ(ベ
クトル系列)を発生する。音声辞書データベース13
は、単語IDに対応させて単語文字列及び該単語のスペ
クトル時系列データ(音声パターン)を保持する。音響
モデル記憶部14は、各候補単語が音声入力された単語
である確率を算出するための音響モデルを記憶するもの
であり、たとえばHMM(Hidden Markov Model)法に基づい
て各単語や音素を標準的な確率状態遷移機械(マルコフ
モデル)で表現する。音声認識エンジン15は、(1) パ
ターンマッチングにより入力音声と類似する複数の候補
単語を検索すると共に、(2) 各候補単語が音声入力され
た単語である確率を算出し、最大確率の候補音声を音声
入力単語であると認識し、(3) 該認識された単語と最大
確率とを音声ガイド制御部16に入力する。音声ガイド
制御部16は後述する認識単語のナビゲーションシステ
ムへの出力及び設定確率αの変更制御を行なう。
【0006】ナビゲーションシステム20において、プ
ロセッサ(CPU)21は、入力機器(たとえばリモコ
ン)22あるいは音声認識システム10からの指示にし
たがって所定のナビゲーション制御を行ない、車輌周辺
の地図、誘導経路、交差点拡大図等を表示部23に表示
したり、交差点までの距離や交差点での進行方向をスピ
ーカ24より出力する。又、プロセッサ21は音声認識
システム10から最大確率の高い単語が入力されて該単
語に応じたコマンドを実行した場合において、戻しボタ
ンが操作された時、コマンド実行前の状態に戻すと共に
該戻しボタンが操作されたことを音声認識システム10
に通知する。又、プロセッサ21はナビゲーションシス
テム10から最大確率の低い単語が入力されたとき、入
力された単語の正誤を問うために該単語の表示あるいは
音声出力を行ない、正誤入力に応じた処理を実行する。
正誤入力、戻し入力は入力機器に設けたボタンを使用し
ても良いし、表示部23に正誤入力メニュー、戻しメニ
ューを表示し、メニュー選択することにより行なっても
よい。
【0007】(B)確率モデルによる音声認識方法 図2は確率モデルによる音声認識方法の概略説明図であ
り、一般に音声認識システムは、図2に示すように、音
響分析部12とそれに続く音声認識エンジン15から成
り、音声検出部(マイクロホン)11と音響分析部12
を一つの音響チャネルとしてモデル化している。話者は
入力すべき単語wから、その話者の発話習慣に従って音
声波形sを生成して出力し、音声検出部11は該話者音
声を検出して音響分析部12に入力し、音響分析部12
は音声波形データの分析・変換を行って、たとえば短時
間スペクトルなどの時系列データ(ベクトル系列)を取得
して音声認識エンジン15に入力する。音声認識エンジ
ン15は入力されたスペクトル時系列データから複数の
候補単語yを決定し、候補単語のうち確率が最大となる
候補単語を入力単語として推定し、推定値wを出力す
る。wはベイズ則(Bayes theorem)によって、次式を
満たすように推定される。
【0008】 P(w|y)=max[P(y|w)P(w)/P(y)] (1) 上式において、P(y|w)は候補単語yが入力単語wであ
る確率(条件つき確率)、P(w)は単語wが発声される事
前確率である。上式において、P(y)はwに無関係であ
るので無視することができ、条件つき確率P(y|w)は音
響モデルより得られ、事前確率 P(w)は言語モデルによ
り得られる。すなわち、音声認識エンジン15は、(1)
パターンマッチングにより入力音声と類似する複数の候
補単語yを検索すると共に、(2) 各候補単語yが入力単
語wである確率P(y|w)を算出し、最大確率の候補単語
yを入力単語であると推定して推定値wを出力する。
【0009】(1)式の条件つき確率P(y|W)を求めるため
の音響モデルとして隠れマルコフモデル(Hidden Markov
Model:HMM)があり、HMM法では、各単語を標準的な確率
状態遷移機械(マルコフモデル)で表現する。音声認識に
用いられるHMMは、left-to-right型で一つの初期状態と
一つの最終状態がある構造が多く、図3は最もよく用い
られるベイキス(Bakis)モデルとよばれる型の例であ
る。図3の状態遷移のアークに付けられた数値aijは、
状態qiから状態qjへの状態遷移確率を表し、状態数を
SとするとS×Sの行列で表現できる。通常、音声パタ
ーンには、時間的な非可逆性の性質があるから、i>j
ならaij=0であり、又、状態qiから全状態qj(j=1,
2,..)に移る状態遷移確率aij(j=1,2,..)の和は1.0であ
る。bij(k)は状態qiから状態qjへの遷移で種々のス
ペクトルパターンがそれぞれ観測(出力)される出現確率
で、{bij(k)}は出現確率行列とよばれ、出現確率行
列を構成する行列要素の和は1.0となる。
【0010】図3における数値例は、以後の説明のため
に特に簡略化したものであり、出力シンボル(音素)を
{a,b}の二つに限り、図の[ ]内にa,bそれぞれの出
現確率を示している。この例では、遷移確率行列は、
【数1】 となり、初期状態確率π1=1、πi=0 (i>1),F={q4}で
ある。y=y1,y2,・・・,yrを候補単語yの出力シンボルの
観測系列、具体的にはスペクトルの時系列パターンとす
る。このとき、各HMMモデルによって候補単語yが音声
入力された単語である確率P(y|M)(MはHMMによって表現
される入力単語)を求め、最大確率を与える候補単語を
選んで、これを認識結果とする。
【0011】図3の例ついて、候補単語yのシンボル系
列"abb"が出力される確率を求める。状態遷移系列は
時間を横に状態を縦に並べた図4の平面で左上隅から右
下隅に至る経路に対応し、次の7通りである。 q1→q1→q2→q4 1=0.008640 q1→q1→q3→q4 2=0.006912 q1→q2→q2→q4 3=0.029400 q1→q2→q3→q4 4=0.012600 q1→q2→q4→q4 5=0.075600 q1→q3→q3→q4 6=0.001728 q1→q3→q4→q4 7=0.038880 それぞれの確率P1〜P7は上に示す通りとなるので、y
=“abb”が入力単語である確率は次式 P(abb|M)=P1+P2+P3+P4+P5+P6+P7=0.17376 となる。同様に、候補単語y′のシンボル系列"aab"
が出力される確率を求めると図5に示すように P(aab|M)=0.11598 となる。2つの候補y,y′のうち、確率が大きな候補
単語yを入力単語であると認識する。
【0012】(C)本発明の音声認識処理 図6は本発明の音声認識処理フローであり、点線内はナ
ビゲーションシステムが実行する処理である。ユーザが
音声入力すると(ステップ101)、マイクロホン11
はユーザが発した音声を検出して音響分析部12に入力
し、音響分析部12は入力された音声波形データの分
析、変換を行なってスペクトル時系列データ(音声パタ
ーン)を音声認識エンジン15に入力する。音声認識エ
ンジン15は音声辞書データベース13を参照して入力
された音声パターンと類似する音声パターンを有する複
数の候補を検索する(ステップ102)。ついで、音声
認識エンジン15は隠れマルコフモデル(HMM)14を用
いて各候補単語が入力単語である確率を演算し、最大確
率の候補単語を入力単語であると認識し、該単語と最大
確率を音声ガイド制御部16に入力する(ステップ10
3)。音声ガイド制御部16は最大確率と設定確率αの
大小を比較し(ステップ104)、最大確率≧αであれ
ば、認識単語をナビゲーションシステム20に入力する
と共に該単語に応じたコマンドを実行するよう指示す
る。これによりナビゲーションシステムは入力された単
語に応じたコマンドを実行する(ステップ105)。
【0013】ユーザはナビゲーションシステムが音声指
示した通りの制御を行なえば戻しボタンの操作をせず、
一方、音声指示と異なる制御を行なえば戻しボタン操作
を行なう。したがって、プロセッサ21は、コマンド実
行後所定時間内に戻しボタン操作があるかチェックし
(ステップ106)、戻しボタン操作があれば、コマン
ド実行前の状態に戻すと共に(ステップ107)、戻し
ボタン操作があったことを音声ガイド制御部16に通知
する。又、プロセッサ21はステップ106において戻
しボタン操作がなければその旨を音声ガイド制御部16
に通知する。音声ガイド制御部16は戻しボタン操作が
なければ、設定確率αを所定値Δα減小し(ステップ1
08)、次の音声入力を待つ。このように、設定確率α
を小さくすれば、ステップ104において最大確率が設
定確率αより大きくなるケースが多くなり、音声入力だ
けでコマンドを実行することができるようになる。一
方、音声ガイド制御部16は戻しボタン操作があったこ
とが通知されれば、設定確率を所定値Δα増加し(ステ
ップ109)、次の音声入力を待つ。このようにすれ
ば、該設定確率αがステップ108で小さくなり過ぎて
も、適正な値になるように補正することができる。
【0014】ステップ104において、最大確率が設定
確率αより小さければ、音声ガイド制御部16は認識単
語をナビゲーションシステム20に入力すると共に該単
語を表示あるいは音声出力するよう指示する。これによ
りナビゲーションシステムのプロセッサ21は入力され
た単語を表示部23に表示し、あるいは音声出力し、認
識単語の正誤入力を待つ(ステップ110)。正誤入力
があれば、認識単語が誤りであったのか、正しかったの
かチェックし(ステップ111)、認識単語の誤りが入
力されれば、プロセッサ21は音声ガイド制御部16に
認識単語の誤りを通知する。これにより、音声ガイド制
御部16は設定確率αを所定値Δα増加し(ステップ1
09)、次の音声入力を待つ。このようにすれば、設定
確率が小さすぎる傾向にある場合でも該設定確率αを増
加して適正値に補正できる。
【0015】一方、認識単語が正しければ、プロセッサ
21は該認識単語に応じたコマンドを実行すると共に、
音声ガイド制御部16に認識単語が正しいことを通知す
る(ステップ112)。これにより、音声ガイド制御部
16は設定確率αを所定値Δα減小し(ステップ10
8)、次の音声入力を待つ。このようにすれば、以後ス
テップ104において「YES」となってステップ105
でコマンドを実行する機会が多くなり、音声入力だけで
コマンドを実行することができるようになる。以上で
は、音声認識結果に基づいてナビゲーションシステムを
制御する場合について説明したが、本発明の音声認識方
法は任意の装置を音声入力制御する場合に適用できる。
【0016】
【発明の効果】以上本発明によれば、各候補単語が音声
入力された単語である確率を算出し、確率が最大の候補
単語を音声入力単語であると認識する音声認識方法にお
いて、最大確率が設定確率より大きいとき、前記認識さ
れた単語に応じたコマンドの実行を指示し、実行された
コマンドの取消しが指示されなければ前記設定確率を減
小し、該実行されたコマンドの取消しが指示されれば前
記設定確率を増大するようにしたから、ユーザーの入力
ステップ数(キーまたはスイッチ操作回数)を減小でき、
しかも、音声入力単語を正しく認識して認識単語に応じ
たコマンドを指示することができる。また、本発明によ
れば、最大確率が設定確率より小さいとき、認識単語を
表示し、あるいは音声出力し、認識結果の誤りが入力さ
れれば前記設定確率を増大し、認識結果の正しさが入力
されれば認識単語に応じたコマンドの実行を指示すると
共に、前記設定確率を減小するようにしたから、ますま
すユーザーの入力ステップ数を減小でき、しかも、音声
入力単語を正しく認識して認識単語に応じたコマンドを
指示することができる。
【図面の簡単な説明】
【図1】本発明の音声認識システムよりナビゲーション
システムに音声でコマンドを入力する場合のシステム構
成図である。
【図2】確率モデルによる音声認識方法の概略説明図で
ある。
【図3】音声認識に用いられるHMMにおけるベイキス(Ba
kis)モデルの例である。
【図4】候補単語y=“abb”の確率算出説明図であ
る。
【図5】候補単語y′=“aab”の確率算出説明図で
ある。
【図6】本発明の音声認識処理フローである。
【符号の説明】
10・・音声認識システム 11・・マイクロホン 12・・音響分析部 13・・音声辞書データベース 14・・音響モデル記憶部 15・・音声認識エンジン 16・・音声ガイド制御部 20・・ナビゲーションシステム 21・・プロセッサ(CPU)

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 各候補単語が音声入力された単語である
    確率を算出し、確率が最大の候補単語を音声入力単語で
    あると認識する音声認識方法において、 前記最大確率と設定確率を比較し、 最大確率が設定確率より大きいとき、前記認識された単
    語に応じたコマンドの実行を指示し、 実行されたコマンドの取消しが指示されなければ前記設
    定確率を減小し、 該実行されたコマンドの取消しが指示されれば前記設定
    確率を増大する、 ことを特徴とする音声認識方法。
  2. 【請求項2】 最大確率が設定確率より小さいとき、認
    識単語を表示し、あるいは音声出力し、 認識結果の誤りが入力されれば前記設定確率を増大し、 認識結果の正しさが入力されれば認識単語に応じたコマ
    ンドの実行を指示すると共に、前記設定確率を減小す
    る、 ことを特徴とする請求項1記載の音声認識方法。
JP2001120777A 2001-04-19 2001-04-19 音声認識装置 Expired - Fee Related JP4565768B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001120777A JP4565768B2 (ja) 2001-04-19 2001-04-19 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001120777A JP4565768B2 (ja) 2001-04-19 2001-04-19 音声認識装置

Publications (3)

Publication Number Publication Date
JP2002311991A true JP2002311991A (ja) 2002-10-25
JP2002311991A5 JP2002311991A5 (ja) 2007-06-21
JP4565768B2 JP4565768B2 (ja) 2010-10-20

Family

ID=18970763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001120777A Expired - Fee Related JP4565768B2 (ja) 2001-04-19 2001-04-19 音声認識装置

Country Status (1)

Country Link
JP (1) JP4565768B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017075965A1 (zh) * 2015-11-02 2017-05-11 乐视控股(北京)有限公司 语音信息处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5945499A (ja) * 1982-09-09 1984-03-14 株式会社日立製作所 音声認識方式
JPS6232500A (ja) * 1985-08-06 1987-02-12 日本電気株式会社 リジエクト機能付き音声認識装置
JPH0432900A (ja) * 1990-05-29 1992-02-04 Ricoh Co Ltd 音声認識装置
JPH04152397A (ja) * 1990-10-16 1992-05-26 Sanyo Electric Co Ltd 音声認識装置
JPH11249688A (ja) * 1998-03-05 1999-09-17 Mitsubishi Electric Corp 音声認識装置およびその方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5945499A (ja) * 1982-09-09 1984-03-14 株式会社日立製作所 音声認識方式
JPS6232500A (ja) * 1985-08-06 1987-02-12 日本電気株式会社 リジエクト機能付き音声認識装置
JPH0432900A (ja) * 1990-05-29 1992-02-04 Ricoh Co Ltd 音声認識装置
JPH04152397A (ja) * 1990-10-16 1992-05-26 Sanyo Electric Co Ltd 音声認識装置
JPH11249688A (ja) * 1998-03-05 1999-09-17 Mitsubishi Electric Corp 音声認識装置およびその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017075965A1 (zh) * 2015-11-02 2017-05-11 乐视控股(北京)有限公司 语音信息处理方法及装置

Also Published As

Publication number Publication date
JP4565768B2 (ja) 2010-10-20

Similar Documents

Publication Publication Date Title
JP5089955B2 (ja) 音声対話装置
US20140372120A1 (en) System and Method for Recognizing Speech
JP3724461B2 (ja) 音声制御装置
JP4709663B2 (ja) ユーザ適応型の音声認識方法及び音声認識装置
JP4859982B2 (ja) 音声認識装置
KR101598948B1 (ko) 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법
US20080052073A1 (en) Voice Recognition Device and Method, and Program
JPH10133684A (ja) 音声認識中に代替ワードを選択する方法及びシステム
US20010032075A1 (en) Speech recognition method, apparatus and storage medium
EP1575031A2 (en) Voice recognition apparatus
JP4634156B2 (ja) 音声対話方法および音声対話装置
JP2006208486A (ja) 音声入力装置
CN106537489B (zh) 用于识别包括单词序列的语音的方法和系统
WO2000010160A1 (fr) Dispositif et procede de reconnaissance vocale, dispositif de navigation, telephone portable et processeur d'informations
JP4604377B2 (ja) 音声認識装置
JP2002358097A (ja) 音声認識装置
JP4661239B2 (ja) 音声対話装置及び音声対話方法
JP4565768B2 (ja) 音声認識装置
JP2018116206A (ja) 音声認識装置、音声認識方法及び音声認識システム
JP4212947B2 (ja) 音声認識システムおよび音声認識の訂正・学習方法
KR101875440B1 (ko) 차량 및 그 제어방법
JP2004046106A (ja) 音声認識装置及び音声認識プログラム
KR20170089670A (ko) 차량 및 그 제어방법
JP4635743B2 (ja) 音声対話装置及び音声理解結果生成方法
JP2009251019A (ja) 音声認識装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100803

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140813

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees