JP2005012833A - 音声応答サービス装置 - Google Patents

音声応答サービス装置 Download PDF

Info

Publication number
JP2005012833A
JP2005012833A JP2004236095A JP2004236095A JP2005012833A JP 2005012833 A JP2005012833 A JP 2005012833A JP 2004236095 A JP2004236095 A JP 2004236095A JP 2004236095 A JP2004236095 A JP 2004236095A JP 2005012833 A JP2005012833 A JP 2005012833A
Authority
JP
Japan
Prior art keywords
user
voice
unit
attribute
voice response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004236095A
Other languages
English (en)
Other versions
JP3936351B2 (ja
Inventor
Atsuko Sato
敦子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004236095A priority Critical patent/JP3936351B2/ja
Publication of JP2005012833A publication Critical patent/JP2005012833A/ja
Application granted granted Critical
Publication of JP3936351B2 publication Critical patent/JP3936351B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】テレフォンサービスの利用者の性別や年齢区分などの属性や相手の操作環境に合わせて、音質を変更することにより快適性の高いサービスを提供することにある。
【解決手段】音声応答により利用者との対話形式で処理を行う音声応答サービス装置において、前記利用者の属性を記憶する属性記憶部と、前記属性記憶部に記憶された利用者の属性情報に基づいて、利用者に応答する音声の音質を変更する利用者音質変更部とを備える音声応答サービス装置である。
【選択図】 図10

Description

本発明は音声応答サービス装置に関する。本発明は、特に、履歴情報の再生を迅速に行い、テレフォンサービスの利用者の性別や年齢区分などの属性や相手の操作環境に合わせて、音質を変更する音声応答サービス装置に関する。
コンピュータにより自動応答する音声応答サービス装置として、テレホンサービスが知られている。
このテレホンサービスは、予め設定された音質(速度、音量、性別あるいはバックグランドミュージックBGM)により音声を流す。この種の音声応答サービス装置は、テレホンサービスが提供される時に、例えば、特定の年齢層に合わせた標準的な音質に設定する。
このような音声サービス装置は、例えば、特開昭59ー181767号公報または特開平3ー160868号公報に記載される。これらの公報に記載された音声応答サービス装置は、音声サービス装置内の音声認識装置を使用することにより、預金残高照会などのサービスを提供する。
また、特開昭61ー235940号公報の装置は、電話機での音声出力レベルを常に一定値になるように出力レベルを補正する。これにより、利用者は音声情報を容易に聴取することができる。
しかし、特開昭61ー235940号公報の装置において、出力レベルを補正するために利用者側から音量、性別の指定が必要であった。すなわち、手動により補正が行われるため、作業が大変であった。
また、残りの公報の装置は利用者に合わせた音質によりサービスを提供していなかった。この種の音声応答サービス装置では、通話をする相手にしたがって声を大きくしたり、ゆっくり話すなどによって相手が理解しやすいように微調整を行う必要があった。このため、利用者の年齢、性別により自動的に音質を変更する音声応答サービス装置が要求されていた。
また、前記音声応答サービス装置は、テレホンサービスを利用することにより商品の通信販売を行うことができる。この音声応答サービス装置は、通常では、利用者情報や利用者からの商品入力情報を履歴情報として収集する。
前記音声応答サービス装置において、利用者の発注した商品、数量、金額などの発注トラブルなどによって利用者から問い合わせがあった場合に、過去の履歴情報を追うことにより利用者の操作を確認する作業が必要であった。
さらに、前記音声応答サービス装置は、障害などが発生したとき、履歴情報に基づき人手によって利用者の操作を再生させていた。
しかしながら、以上に説明した音声応答サービス装置では、たとえば発注トラブルが生
じた場合に、人手によって履歴情報を再生しなければならなかった。このため、多くの時間がかかるだけでなく、人件費も大きくなっていた。また、誤操作箇所を自動的に追跡する必要もあった。
さらに、この種の音声応答サービス装置では、手動によって発注トラブルの原因および音声応答サービスをスムースに行なうためのテストを行っていたので、開発時・保守時のテスト工数がかなりかかっていた。
そこで、本発明の目的は、テレフォンサービスの利用者の性別や年齢区分などの属性や相手の操作環境に合わせて、音質を変更することにより快適性の高いサービスを提供することにある。
また、本発明は、履歴情報から過去のサービスを再生し、容易にそのサービスの内容を確認することにある。さらに、本発明の目的は、開発時・保守時のテスト工数や人件費を削減することにある。
本発明の音声応答サービス装置は、前記課題を解決するため、以下の手段を採用した。
即ち、本発明は、音声応答により利用者との対話形式で処理を行う音声応答サービス装置において、前記利用者の属性を記憶する属性記憶部と、前記属性記憶部に記憶された利用者の属性情報に基づいて、利用者に応答する音声の音質を変更する利用者音質変更部とを備えるものである。
また、本発明は、以下の付加的構成要素を付加しても成立する。すなわち、前記利用者音質変更部により変更される音声の音質は、音量レベルであってもよい。
また、本発明は、前記利用者音質変更部により変更される音声の音質は、男性音と女性音との少なくとも一方であってもよい。
また、本発明は、前記属性記憶部は、利用者の性別により男性音または女性音を格納した性別ルールテーブルと、利用者の年齢に合った音量レベルを格納した音量テーブルとを備えてもよい。また、本発明は、利用者の入力動作の状態に応じて音量と音速度とを設定する状態ルールテーブルを備えてもよい。
また、本発明は、前記利用者音質変更部は、前記状態ルールテーブルを参照して音声属性を設定する音声属性設定部を備えてもよく、前記音声属性設定部によって設定された利用者の音声属性に合った音声情報を合成する音声合成処理部を備えてもよい。
また、本発明は、前記利用者音質変更部は、前記性別ルールテーブルと前記音量テーブルとを参照して音声属性を設定する音声属性設定部を備えてもよく、前記音声属性設定部によって設定された利用者の音声属性に合った音声情報を合成する音声合成処理部を備えてもよい。
また、属性記憶部は利用者の属性を記憶し、利用者音質変更部は属性記憶部に記憶された利用者の属性情報に基づいて利用者が応答する音声の音質を変更する。したがって、利用者に合わせた音質によりサービスを提供できる。
また、変更する音声の音質は、音量レベルであり、聞き易い音量レベルが自動的に設定される。また、変更する音声の音質は、男性音または女性音であり、利用者が男性音また
は女性音のいずれかの音質を選択して、聞き易い方の音でサービスを受けることができる。
また、性別ルールテーブルにより利用者の性別により男性音または女性音が設定され、音量テーブルにより利用者の年齢にあった音量レベルが設定される。その結果、利用者の好みに合わせた音量が設定できる。
また、状態ルールテーブルは利用者の入力動作の状態に応じて音量と音速度とを設定するので、利用者の操作負担を軽減できる。また、前記音声属性設定部は、前記状態ルールテーブルを参照して音声属性を設定する。その結果、利用者に合わせた音声属性が設定できる。
また、音声合成処理部は前記音声属性設定部によって設定された利用者の音声属性に合った音声情報を合成する。すなわち、利用者の操作状態に合わせて、音量、速度を変更することにより、ユーザの属性や熟練度に対応する快適性の高いサービスを提供できる。
また、性別ルールテーブルと音量テーブルとを用いることにより利用者の属性に合わせて、音量、速度を変更することにより、ユーザの属性や熟練度に対応する快適性の高いサービスを提供できる。
本発明によれば、属性記憶部は利用者の属性を記憶し、利用者音質変更部は属性記憶部に記憶された利用者の属性情報に基づいて利用者が応答する音声の音質を変更する。したがって、利用者に合わせた音質によりサービスを提供できる。
また、変更する音声の音質は、音量レベルであり、聞き易い音量レベルが自動的に設定される。また、変更する音声の音質は、男性音または女性音であり、利用者が男性音または女性音のいずれかの音質を選択して、聞き易い方の音でサービスを受けることができる。
また、性別ルールテーブルにより利用者の性別により男性音または女性音が設定され、音量テーブルにより利用者の年齢にあった音量レベルが設定される。その結果、利用者の好みに合わせた音量が設定できる。
また、状態ルールテーブルは利用者の入力動作の状態に応じて音量と音速度とを設定するので、利用者の操作負担を軽減できる。また、前記音声属性設定部は、前記状態ルールテーブルを参照して音声属性を設定する。その結果、利用者に合わせた音声属性が設定できる。
また、音声合成処理部は前記音声属性設定部によって設定された利用者の音声属性に合った音声情報を合成する。すなわち、利用者の操作状態に合わせて、音量、速度を変更することにより、ユーザの属性や熟練度に対応する快適性の高いサービスを提供できる。
また、性別ルールテーブルと音量テーブルとを用いることにより利用者の属性に合わせて、音量、速度を変更することにより、ユーザの属性や熟練度に対応する快適性の高いサービスを提供できる。
以下、本発明の音声応答サービス装置の実施の形態を図面を参照して詳細に説明する。<実施の形態1>
図1は本発明の音声応答サービス装置を含む音声応答サービスシステムの実施の形態1を示すブロック図である。
実施の形態1のシステムは、利用者とコンピュータとの対話処理を履歴情報格納部から自動再生して商品の受注業務、予約業務、資料請求業務および銀行振込業務などの時間外業務に適用することにより、人件費を削減する。
図1において、音声応答サービスシステムは、音声応答サービス装置として動作するコンピュータCと、このコンピュータCに接続され利用者が利用する電話機側Uから構成される。音声応答サービスシステムは、テレホンサービス業務に用いられる。
前記音声応答サービスシステムは、たとえば、家庭、オフイスなどの電話機側UによりコンピュータCにプッシュボタン信号を出力し、コンピュータCと電話機側Uとの間で対話処理を行うことにより前記各種の業務を行う。
前記コンピュータCは点線で囲まれる音声応答サービス部10と、履歴情報抽出部12、疑似回線制御部19、スピーカ33を備える。前記音声応答サービス部10は、通常時にテレフォンサービスを行うときに動作する。前記音声応答サービス部10は、ナレーションストーリ出力部15、履歴情報格納部11、切換部20、回線制御部14、サービス実行部17、音声合成処理部18を備える。
図5はサービス内容を記述した図である。ここでは、サービス内容は例えば、商品の受注業務である。このサービス内容はナレーションストーリと呼ばれる。前記ナレーションストーリ出力部15はナレーションストーリを出力する。
図2は履歴情報格納部11に格納される履歴情報を示す図である。図5のナレーションストーリの通りに音声応答サービスが行われたとき、図2に記録される履歴情報の一例が示される。履歴情報格納部11は、時間とともにサービス内容を記録する。
すなわち、履歴情報格納部11は、時間Aに利用者が商品受注システムに適用した電話回線の接続から電話回線の切断までに提供するサービスの開始からサービスの終了までのサービスの内容の時間的推移を表すログ情報(履歴情報)を格納する。履歴情報格納部11は、電話回線の接続時間、切断時間、コンピュータがナレーションを読み始めた時間、利用者がプッシュボタンを入力した時間などの時間情報を記録する。
図3と図4は利用者側(U)とコンピュータ側(C)との動作シーケンスを示す図である。図3は図5のナレーションストーリ通りにサービスが実行されるシーケンスを示す図である。図4はサービスの実行途中で障害が発生した例を示す図である。
前記履歴情報抽出部12は、前記履歴情報格納部11に接続され、サービスの再生を行うときに動作する。前記履歴情報抽出部12は、履歴情報格納部11に格納された履歴情報の中から、利用者が入力したプッシュホンデータを抽出する。履歴情報抽出部12には切換部20が接続される。
切換部20は接点からなるもので、回線制御部14をサービス実行部17に接続するとき、すなわち、通常のサービスが提供されるとき、利用者が入力するプッシュボタン信号を電話機30からサービス実行部17に読み込み動作する。
切換部20は、履歴情報抽出部12をサービス実行部17に接続するとき、すなわち、過去のサービスを再生するとき、利用者が入力したプッシュホンデータを履歴情報格納部
11から履歴情報抽出部12を介してサービス実行部17に送る。サービス実行部17は履歴情報抽出部12からの過去のサービスを実施する。音声合成処理部18はサービス実行部17からの過去に行ったサービスを音声で再生する。
前記音声合成処理部18は、図6に示される音声合成方式の中で、たとえば文字列より音声を合成する規則合成方式によって発音を表す文字列より音声を合成する。音声応答サービスシステムで使用する音声合成方式には図6に示されるように、波形符号化方式、分析合成化方式、規則合成方式などがある。
規則合成方式は、図7および図8において説明される。規則合成方式は、かな漢字混じりの文字列を文章解析し、その解析された文字列からなる信号波形を合成することにより、音声に変換する方式である。この規則合成方式は、他の方式に比べて情報量が少なくて済むので、出力語数を無限にすることができ、音声応答サービスシステムに好適な方式である。
波形符号化方式とは、読み上げたい単語をあらかじめ録音しておき、言葉同士をつなげることにより、合成する方式である。分析合成化方式とは、音声の生成モデルに基づいて音声信号を符号化する音声合成方式であり、これらの方式でも音声を合成することが可能である。
テレフォンサービスでは、音声合成方式による発音のほかに、蓄積音の再生による音声も使用している。蓄積音声は、一般的に規則合成音よりも品質が良いが、内容の変更には録音作業が必要であるため、運用性が悪くなる。この蓄積音声は、不変的な内容の読み上げに使用するのに良い。
一方、規則合成音は、一過性の文章、不定型文章、一部可変文書などの不定型の音声を再生する際に好適である。図7は音声合成方式を採用した音声合成処理部の具体的な構成例を示す図である。図7において、前記音声合成処理部18は、言語処理部31、音響処理部32とから構成される。言語処理部31には、文章解析部34、単語辞書35、読み・韻律記号付与部36が設けられている。
文章解析部34は入力した文章を解析単位に分割し、分割された文章を単語辞書35に記憶された単語と照合することにより単語分割を行い、単語毎の読み、アクセント型、文法情報を設定する。読み・韻律記号付与部36は文章解析部34から得られた情報に基づき読みや韻律記号を付加する。韻律記号は例えばポーズ、文節のアクセント、イントネーションなどである。
この言語処理部31では、読み・韻律記号付与部36が読みや韻律記号を付与すると、音響処理部32は抑揚を付加して波形合成などにより音響を出力する。音響処理部32は、抑揚生成部37、波形合成部38および音素データベースである音素片部39から構成されている。抑揚生成部37は前記読み、韻律記号に基づき音素毎の時間長と、声の高さを表す抑揚パターンを生成する。波形合成部38は音素片部39に格納された音素片データを読み出し、前記音素時間長、抑揚パターンに従って音素片データをなめらかに接続して音声波形を合成する。
この音響処理部32は、波形合成部38から波形合成された音声をスピーカ33に出力し、スピーカ33はたとえば「コレワ、オンセーゴーセーデス」を出力する。
図8は図7に示す音声合成方式によって音声合成を行う具体的例を示す図である。たとえば、図8に示す「これは、音声合成です」という文章を例として、音声合成を説明する
。先ず、文章解析部34は前記文章を入力し単語分割を行う。文章解析部34は文章を「これ/は/、音声/合成/で/す。」のように単語毎に分割する。
次に、文章解析部34は文節の設定を行う。文章解析部34は「これは/、音声合成です。」のように文節を設定する。読み・韻律記号付与部36は、文章解析部34の結果に基づき、読みを付与し、ポーズ、文節のアクセント、イントネーションを表す韻律符号を付与する。読みは「コレ/ワ/、オ,ンセー/ゴーセー/デス/。」となる。韻律符号は
、「コレワ、オンセーゴ,ーセーデス。」となる。
次に、音響処理部32において、抑揚生成部37は音の高さを示す抑揚パターンを生成し、波形合成部38は音素片部39から音素片データを読み出し音素時間長情報と抑揚パターン情報に従って音素片データを接続して音声波形を合成する。
以上の処理を行うことにより、音声データが音響処理部32から出力される。
(通常サービス時の動作説明)
次に、このように構成された音声応答サービスシステムの実施の形態1の通常サービス時における動作を説明する。
まず、切換部20が回線制御部14をサービス実行部17に接続する。ナレーションストーリ出力部15が、ナレーションストーリをナレーショーンストーリ解析部16に出力すると、ナレーショーンストーリ解析部16は前記ナレーションストーリを解析する。
サービス実行部17は、解析されたナレーションストーリにしたがって、音声合成処理部18への音声出力指示、履歴情報書き込み部27への指示、回線制御部14へのプッシュボタン読み込み指示、読み込んだ結果での処理の分岐、データベースアクセス部22へのアクセス指示などを行う。利用者が入力するプッシュボタン信号は電話機30からサービス実行部17に読み込まれる。
音声の出力については、ナレーションストーリにしたがって、蓄積音ファイル26、テキストファイル25等を用いてサービスを実行する。データベース23は、利用者に関する情報が書き込まれている利用者データベース、商品情報が書き込まれている商品データベースあるいは受注情報が書き込まれている受注データベースからなる。
データベースアクセス部22は、データベース23の書き込み読み出し処理を行う。テキストファイル25は予めテキスト情報を格納し、蓄積音声ファイル26は蓄積音声情報を格納する。履歴情報書き込み部27は、サービス実行部17で指示されたサービス内容を履歴情報格納部11に書き込む。音声合成処理部18は、既に図6から図8において説明された音声合成方式によって音声を合成する。
なお、切換部50により音声合成処理部18からの音声データ出力は、回線制御部14を介して電話機30に出力することもできる。このとき、電話回線に接続せずに音声応答サービスの内容をモデル化し、それらのモデルを解析することができる。
また、音声合成処理部18からの音声データは、疑似回線制御部19を制御してスピーカ33を鳴動させることもできる。作業者はサービス内容を音声データとして聞くことができる。
<ナレーションストーリ出力部>
次に、ナレーションストーリ出力部15を、図5に示す手順番号1から手順番号23までの手順にしたがって詳細に説明する。
このナレーションストーリ出力部15では、ナレーションの内容が手順番号1から手順番号23までの手順にしたがって決められている。すなわち、手順番号1では、サービスの概要に蓄積音声ファイル「open.pcm」が指定されているので、図1の蓄積音ファイル26から「open.pcm」を読み出し、「open.pcm」が音声応答サービス部10より読み上げられる。
手順番号2では、ナレーションストーリ出力部15の利用者番号の入力ナレーションである、たとえば「利用者番号を入力してください」が音声応答サービス部10より読み上げられる。
手順番号3では、利用者側で利用者番号を電話機30のプッシュボタンより入力すると、そのプッシュボタンの内容が読み込まれ、利用者番号が音声応答サービス部10に入力される。
手順番号4では、音声応答サービス部10は利用者の照会があると、データベース23の利用者データベースをアクセスさせる。手順番号5では、手順番号4でのデータベース23を照会した結果を、ナレーションストーリ出力部15の利用者番号および利用者番号の確認である「××番、〇〇様ですね?」というナレーションとして、音声応答サービス部10より読み上げる。
手順番号6では、利用者からの確認結果に基づいて音声応答サービス部10は処理を分岐する。この手順番号6では、たとえば「1」を利用者が電話機30のプッシュボタンで選択したとき、処理は手順番号7の処理に進む。また、たとえば「9」を利用者が電話機30のプッシュボタンで選択したとき、手順番号2の処理を再び実行する。
手順番号7では、ナレーションストーリ出力部15の商品番号の入力案内ナレーションである「商品番号を入力してください」というナレーションを音声応答サービス部10より読み上げる。
手順番号8では、たとえばプッシュボタンにより商品番号を音声応答サービス部10に入力すると、音声応答サービス部10は前記商品番号を読み込む。手順番号9では、音声応答サービス部10は商品の照会があると、データベース23の商品データベースをアクセスさせる。
手順番号10では、手順番号9でのデータベースを照会した結果を、ナレーションストーリ出力部15の商品番号確認ナレーションである「××番、〇〇様ですね?」というナレーションとして、音声応答サービス部10より読み上げる。
手順番号11では、利用者からの確認結果に基づいて音声応答サービス部10は処理を分岐する。この手順番号11では、たとえば「1」を利用者が電話機30のプッシュボタンで選択したとき、処理は手順番号12の処理に進む。
またたとえば「9」を利用者が電話機30のプッシュボタンで選択したとき、手順番号7の処理を再び実行する。手順番号12では、ナレーションストーリ出力部15の個数入力ナレーションである、「個数を入力してください」というナレーションを音声応答サービス部10より読み上げる。
手順番号13では、たとえばプッシュボタンにより個数を音声応答サービス部10に入力すると、音声応答サービス部10は個数を読み込む。手順番号14では、ナレーションストーリ出力部15で入力完了確認ナレーションである、「以上でよろしいですか」とい
うナレーションを音声応答サービス部10より読み上げる。
手順番号15では、利用者からの確認結果に基づいて音声応答サービス部10は処理を分岐する。この手順番号15では、たとえば「1」を利用者が電話機30のプッシュボタンで選択したとき、処理は手順番号16の処理に進む。
またたとえば「9」を利用者が電話機30のプッシュボタンで選択したとき、手順番号7の処理を再び実行する。手順番号16では、ナレーションストーリ出力部15の入力確認ナレーションである「以上でよろしいですか」を音声応答サービス部10から読み上げる。
手順番号17では、利用者からの確認結果に基づいて音声応答サービス部10は処理を分岐する。たとえば、「1」を利用者が電話機30のプッシュボタンで選択したとき、処理は手順番号18の処理に進む。
またたとえば「9」を利用者が電話機30のプッシュボタンで選択したとき、手順番号7の処理を行う。手順番号18では、ナレーションストーリ出力部15で発注内容繰り返しナレーションにテキストファイル「order.txt」が指定されているので、テキストファ
イル25から読み出したナレーションを音声応答サービス部10より読み上げる。
手順番号19では、ナレーションストーリ出力部15の発注確認ナレーションである「以上でよろしいですか」というナレーションを音声応答サービス部10より読み上げる。
このとき、手順番号20では、利用者からの確認結果に基づいて音声応答サービス部10は処理を分岐する。この手順番号20では、たとえば「1」を利用者が電話機30のプッシュボタンで選択したとき、手順番号21の処理を行う。
またたとえば「9」を利用者が電話機30のプッシュボタンで選択したとき、手順番号23の処理を実行する。手順番号21では、ナレーションストーリ出力部15の発注番号ナレーションである「発注番号は〇〇番ですね?」というナレーションを音声応答サービス部10より読み上げる。
手順番号22では、発注処理を行う。受注した内容をデータベース23の発注データベースに書き込む。手順番号23では、ナレーションストーリ出力部15のサービスの終了ナレーションに、蓄積音声である「close.pcm」が指定されているので、蓄積音ファイル
26から読み出し音声応答サービス部10より読み上げられる。
以上に説明した図5の音声応答サービス装置によれば、利用者側Uの電話機30とコンピュータCの音声応答サービス部10との処理を対話形式で確実に行うことができる。
(図3のシーケンスの説明)
以上に説明した図1のナレーションストーリ出力部15を用いて図3の処理を説明する。
たとえば、利用者U側では、利用者番号「651123」が入力103として電話機30のプッシュボタンにより入力されると、コンピュータC側に利用者番号「651123」が送信される。コンピュータC側に送信された利用者番号「651123」である送信情報はコンピュータC側の回線制御部14によって確認された後に、ナレーションストーリ出力部15からナレーションストーリ104が出力される。そして、利用者番号・利用者名の確認案内104が利用者U側の電話機30に送信される。
一方、コンピュータC側では、図3に示すように利用者U側から送られた利用者番号・利用者名の確認okを回線制御部14が確認した後に、コンピュータC側から利用者U側の電話機30に商品番号の入力案内指示を出力するためにナレーションストリー出力部15からナレーションストーリ106が出力される。
ナレーションストーリ出力部15は、ナレーションストーリをナレーションストーリ解析部16に出力し、ナレーションストーリ解析部16はナレーションストーリを解析する。
サービス実行部17は、ナレーションストーリ解析部16で解析されたナレーションストーリにしたがってデータベース23あるいはファイル25、26を用いてサービスを実行する。
(発注時の処理)
また、利用者U側の電話機30は、コンピュータC側のナレーションストーリ出力部15から送られた商品番号入力指示の案内106にしたがって、利用者が商品番号「321」を電話機30のプッシュボタンより入力する。この商品番号「321」は、特定の商品を表すコード情報である。
利用者UがコンピュータC側に対して商品番号「321」が電話機30より入力107として入力したときには、コンピュータC側の回線制御部14はその商品番号「321」を確認し、さらに、商品番号「321」をデータベース23の商品データベースにあることを確認する。そして、商品番号「321」の確認指示案内がコンピュータC側から利用者U側の電話機30に送信108として送信される。
利用者U側の電話機30は、商品番号「321」の確認指示案内をコンピュータC側から受信したとき、自己が発注した商品が、商品番号「321」で表された商品に相違ないことを示す確認情報「1」が、電話機30のプッシュボタンより入力される。
次に、商品の個数入力案内110がコンピュータC側から利用者U側の電話機30に送信される。個数入力案内110を受けた利用者U側の電話機30は、発注すべき商品の個数、たとえば「3」を電話機30のプッシュボタンより入力111として入力する。
利用者U側からコンピュータC側に発注すべき商品の個数情報が送信されたときには、コンピュータC側はデータベース23の商品データベースに商品の在庫があることを確認して、その商品の個数確認情報112がコンピュータC側から利用者U側の電話機30に送信される。
このとき、利用者U側の電話機30は、個数確認済み情報「1」を電話機30のプッシュボタンより入力114として入力する。コンピュータC側から入力終了確認案内114が利用者U側の電話機30に送信されると、入力完了の意志、たとえば「1」なら終了指示が電話機30のプッシュボタンより入力115として入力され、その終了指示が利用者U側からコンピュータC側に送信される。
以上の応答指示がコンピュータC側と利用者U側の電話機30間で行われると、発注の意志を確認するため、ナレーションストーリ出力部15の注文内容の確認案内116、発注確認案内117がコンピュータC側から利用者U側の電話機30に送信される。
これらの案内に対して利用者U側の電話機30において、発注処理「1」を利用者が電話機30のプッシュボタンより入力118として入力する。発注処理情報「1」が利用者U側の電話機30からコンピュータC側に送信されたことをコンピュータC側が確認した
ときには、発注番号案内119、サービス終了案内120はコンピュータC側から利用者U側に送信される。そして、コンピュータC側は利用者U側の電話機30の電話回線から切断121として切断される。
以上により、実施の形態1では、利用者U側とコンピュータC側との間の対話形式によって、たとえば商品発注業務を行うとき、履歴情報書き込み部27が図2に示すログ情報を図1に示した履歴情報格納部11の特定の書き込み領域に書き込むことができる。また、履歴情報抽出部12は、その書き込まれたログ情報を適宜読み出す。これにより、発注情報に誤りがある場合などに発注業務を円滑に行うことができる。
(コンピュータ側のトラブル時の処理)
次に、コンピュータC側にトラブルが発生したときの処理を説明する。図4のシーケンス図は発注トラブル時における処理を示す図である。図3と同じサービスの概要説明101から利用者の確認指示105までの処理は、詳しい説明を省略する。
また図4の説明においては、図1から図3までの符号を参照して説明する。実施の形態1では、利用者が確認OK105の「1」を電話機30のプッシュボタンから入力した後に、コンピュータC側のソフトウェアやデータベース23、テキストファイル25、蓄積音声ファイル26などに障害が発生したとする。
この場合には、障害発生130がコンピュータC側にあったことを利用者に知らせるために、コンピュータCは障害発生信号を利用者の電話機30に送信すると、電話回線が切断121として切断される。
このように、サービス中に障害が発生した場合に、再現試験、あるいは障害修正後における確認テストが行われる。この場合には、図1の履歴情報格納部11に格納された履歴情報が再生される。これにより、コンピュータC側に障害原因があることを利用者に認識させることができる。また、自動的にテスティングが行えるので、テスト時間が短縮される。
(音声応答サービスの再現)
次に、音声応答サービスの再現を説明する。前述したように、通常のサービスが提供されるときには、利用者Uが電話機30のプッシュボタンから入力した信号が回線制御部14により認識され、そのプッシュボタン信号はサービス実行部17に読み込まれる。
一方、音声応答サービスを再生する場合には、切換部20によりサービス実行部17が履歴情報抽出部12に接続される。履歴情報抽出部12は履歴情報格納部11から利用者が過去に利用したサービスを抽出(特定)し、履歴情報格納部11に記録されたプッシュボタンから入力された数値をプッシュボタンの読み込み値として、サービス実行部17に送る。
音声合成処理部18はサービス実行部17を介して履歴情報抽出部12により抽出された履歴情報、すなわち、過去の音声応答サービスを再生する。このようにして実施の形態1では、疑似的に音声応答サービスを実行することにより、音声応答サービスを再生することができる。
このときの動作を図1、図2および図5の説明を参照して説明する。例として、1994年9月6日にサービスを利用した利用者番号651123のサービスの内容を再生する。
このときには、音声合成処理部18によって再生された音声が回線制御部14により、利用者Uの電話機30に送られる。利用者が過去のサービスの内容を聞くことができる。
履歴情報抽出部12は、履歴情報格納部11により格納された図2の履歴情報の中から、再生したい利用者の履歴情報を特定する。履歴情報の特定方法については、図10を用いて(利用者履歴の特定をするための動作)の欄にて詳細に説明する。ここでは、図2に示される履歴情報の中、例えば、履歴情報Aが特定される。
また、切換部20は、サービス実行部17に履歴情報抽出部12を接続し、履歴情報抽出部12を起動させることにより、図5のサービスストーリにしたがって再生が開始される。
ナレーションストーリ出力部15の動作については先に<ナレーションストーリ出力部>にて詳細に説明してあるので、ここでは説明を省略する。図5の手順番号1および手順番号2では、通常の通りに音声応答サービス部10からサービスの概要説明、利用者番号の入力が読み上げられる。
手順番号3の利用者番号の入力では、サービス実行部17は履歴情報抽出部12にプッシュボタンの読み込み指示を行う。履歴情報抽出部12は図2に示した履歴情報の利用者番号「651123」103を読み込み、音声合成処理部18は「ロク ゴ イチ イチ 二
サン」を合成することにより音声データを得る。音声データは回線制御部14により利
用者Uの電話機30に送られ、利用者に利用者番号が伝えられる。
手順番号5は、通常の通りの動作となる。手順番号6では、利用者からの結果に基づいて処理が分岐されるため、サービス実行部17は履歴情報抽出部12にプッシュボタンの読み込み指示を行う。履歴情報抽出部12は利用者確認「1」105を読み込み、音声合成処理部18は「イチ」を合成することにより音声データを得る。音声データは回線制御部14により、利用者Uの電話機30に送られ、利用者に確認結果が伝えられ、処理は手順番号7へ分岐される。
以降の処理の説明を省略するが、回線切断121までのサービスを行うことにより、過去のサービスを再現することができる。なお、切換部50により音声合成処理部18が疑似回線制御部19に接続された場合には、音声合成処理部18からの音声データは疑似回線制御部19を介してスピーカ33に出力してもよい。
また、この例では、音声合成処理部18はプッシュボタンの番号を音声に変換してその番号を利用者に伝えた。例えば、必要に応じてプッシュボタンの番号を音声合成処理部18に送らないことにより、その番号を利用者に伝えないようにすることも可能である。
(利用者履歴を特定するための動作)
次に、利用者履歴を特定するための動作を詳細に説明する。図9は履歴ファイルから利用者の再生したい記録を特定するための処理を示すフローチャートである。利用者履歴を特定するための動作は、履歴情報抽出部12の履歴情報の抽出処理によって行われる。
先ず、履歴情報格納部11内の利用年月日の履歴ファイルをオープンする(ST40)。ここでは、図2の履歴ファイルを例示して説明する。この履歴ファイルの終了まで以下の処理を行う。
先ず、履歴ファイルから1行を読み込む(ST42)。たとえば、ST42において読み込んだ行に、「回線切断」が記録されている場合には、再生開始位置の可能性がある。このため、行番号1を履歴情報格納部11に記録する(ST43,ST44)。
ST42において読み込んだ行に、「回線切断」が記録されている場合(ST45)で
、利用者履歴が見つかっている場合には(ST46)、行番号1を再生開始位置と断定する(ST47)。
ST42において読み込んだ行に、「利用者番号入力ナレーション」が記録されている場合(ST48)には、次の行からのプッシュボタン入力数値を利用者番号とする(ST49)。
ここで、再生したい利用者番号とST49の利用者番号が一致するとき(ST50)には、該当する利用者履歴が見つかったと判断する(ST51)。上記処理を履歴ファイルの終了するまで行ったあと、利用月日の履歴ファイルをクローズする。これにより、利用者履歴の特定を行うことができる。
このように、実施の形態1では、利用者U側とコンピュータC側での対話形式で、たとえば商品発注業務を行うとき、図2に示すログ情報を履歴情報格納部11の特定の書き込み領域に書き込みできる。その書き込まれたログ情報を適宜読み出すことにより、発注情報に誤りがある場合などに発注業務を円滑に行うことができる。
また、テレホンサービスなどの音声応答サービスにおける利用者U側とコンピュータC側とのやり取りをログ情報として再生しそのログ情報を利用者に聞かせることにより、利用者のプッシュボタン入力時におけるプッシュボタンの押し間違えなどによる誤操作箇所を追跡できる。
例えば、履歴情報格納部11に電話回線の接続、切断の時間、利用者の利用者情報を読み始めた時間および利用者がプッシュボタンから入力を行った時間などの時系列的な情報などが書き込める。このため、利用者の入力ミスなどがある場合に前記情報を再生することにより、誤操作箇所を利用者が容易に認識できる。
さらに、自動ティスティングが行われることによりテスト工数を低減できる。
<実施の形態2>
図10は本発明の音声応答サービス装置を含む音声応答サービスシステムの実施の形態2を示すブロック図である。人間によってサービスが行われる場合には、相手の様子に従い、声を大きくしたり、ゆっくり話したりする。すなわち、相手が理解し易いように音量が調整される。
実施の形態2では、コンピュータが相手の年齢、性別、聞き易さ聞き難さなどの発音状態などの情報により自動的に音質を変更し、動的に利用者に合わせた音質によってサービスを実施する。
ここでは、図10に示される構成において、実施の形態1の図1に示される構成とは異なる構成のみを説明する。その他の構成については同一の符号を付し、ここでは詳しい説明を省略する。
図10において、サービス実行部17には、属性テーブル40と、状態ルールテーブル41とが接続される。これらのテーブルは図示しないデータベースに設けられる。属性テーブル40は利用者の性別および利用者の年齢区分に応じた音量レベルを設定する。状態ルールデータデース41は利用者の入力動作の状態に応じて音量または話す速度を設定する。
図11は図10に示す実施の形態2の主要部を示す構成ブロック図である。図11において、属性テーブル40は、利用者の性別により男性音または女性音が格納された性別ル
ールテーブル40aと、利用者の年齢により音量レベルが変化した音量テーブル40bとから構成される。
性別ルールテーブル40aにおいて、利用者が男性である場合、声の柔らかさを出すために音声合成された女性音が選択される。利用者が女性である場合には、声のめりはりを出すために音声合成された男性音が選択される。
音量テーブル40bには、利用者の年齢区分にあった音量レベルがおおまかに設定できる。たとえば、利用者の年齢が0〜59才では音量レベルが4に設定され、利用者の年齢が60〜69才では音量レベルが5に設定される。利用者の年齢が70〜79才では音量レベルが6に設定され、利用者の年齢が80〜89才では音量レベルが7に設定される。
すなわち、たとえば音量レベル1から順に音量レベルを高くし、数値が大きい方が音量が大きくなるように設定される。利用者の性別、年齢区分などにしたがっておおまかな音量が設定される。
性別ルールテーブル40a及び音量テーブル40bはおおまかな利用者にあった音量レベルを設定する。状態ルールテーブル41は、音量または声の速度を利用者に合わせて調整する。
性別ルールテーブル40a、音量テーブル40b及び状態ルールテーブル41はサービス実行部17dに接続される。サービス実行部17dには音声属性設定イベント発生部42、音声合成処理部18が接続される。
例えば、音量が小さく速度が遅いことを表す指示が、プッシュボタンから音声属性設定イベント発生部42に送信された場合には、音声属性設定イベント発生部42は利用者の音声属性を設定するためのイベントを発生する。
前記サービス実行部17dは、属性テーブル40のルールをチェックするルールチェック処理部17a、このルールチェック処理部17aの処理出力にしたがって音声属性を設定する音声属性設定部17b、この音声属性設定部17bの音声属性出力にしたがってナレーション文をナレーションストーリ出力部15より出力するナレーション文出力部17cとから成る。
状態ルールテーブル41は、音量を1レベルだけ上げるとともに、声の速度を1レベルだけ下げるように設定することができる。音声合成処理部18は、音声属性設定部17bの出力とナレーション文出力部17cの出力から音声合成処理を行う。
(実施の形態2の動作)
次に、実施の形態2の動作を説明する。たとえば利用者の属性がデータベースに存在する場合に、利用者番号などから利用者属性を得たり、任意の利用者が自分の属性を電話機30のプッシュボタンより入力すると、音声属性設定イベント発生部15は、音声属性の設定イベントを発生する。
ルールチェック処理部17aは、音声属性設定イベント発生部15からの出力によって性別ルールテーブル40a、音量テーブル40bを参照して、参照したテーブル情報を音声属性設定部17bに出力する。音声属性設定部17bは利用者の音声の属性を設定する。
たとえば、男性、61才がこの音声応答サービスを利用する場合には、性別ルールテーブル40a、音量テーブル40bが参照され、音声性別を柔らかにするため、女性音が設
定され、音量レベルが5に設定される。
また、音声属設定イベント発生部15において、利用者の入力操作が発生した場合には、ルールチェック処理部17aは状態ルールテーブル41を参照する。状態ルールテーブル41のテーブル情報から音声属性設定部17bは音声属性を設定する。
例えば、利用者が入力誤りをしたときには、音声速度を1レベルだけ遅くし、音量を1レベルだけ大きくする。すなわち、ナレーションが速く、しかも音量が小さく、音声を聞き取ることができないと考えられる。この場合には、ゆっくりしかも大きく話すように音質を変更する。
一方、利用者に適した音声の属性設定コマンドが、音声属性設定部17bから出力され、ナレーション文出力部17cからナレーションが出力されると、音声合成処理部18は利用者に適した音質に合成する。
このように、実施の形態2では、利用者の年齢区分、性別、聞き易さ聞き難さなどの発音状態などの情報により自動的に音質を変更することにより、どのような利用者に対しても聞き易い音質で音声応答サービスが行える。
これにより、聞き間違いなどによる誤操作をなくして利用者サービスの向上を図ることができる。また、実施の形態2を商品の受注業務、予約業務、資料請求業務に適用した場合でも、利用者の音声による誤認識が少なくなり、これらの業務をスムースに行うことができる。
本発明の音声応答サービス装置を含む音声応答サービスシステムの実施の形態1を示すブロック図である。 本発明の実施の形態1の履歴情報を示す図である。 実施の形態1のナレーションストーリ通りにサービスが実行されるシーケンスを示す図である。 実施の形態1のサービスの実行途中で障害が発生した例を示す図である。 実施の形態1のサービス内容を記述した図である。 実施の形態1の音声合成方式を例示した図である。 音声合成方式を採用した音声合成処理部の具体的な構成例を示す図である。 図7に示す音声合成方式によって音声合成を行う具体的例を示す図である。 履歴ファイルから利用者の再生したい記録を特定するための処理を示すフローチャートである。 本発明の音声応答サービス装置を含む音声応答サービスシステムの実施の形態2を示すブロック図である。 図10に示す実施の形態2の主要部を示す構成ブロック図である。
符号の説明
10 音声応答サービス部
11 履歴情報格納部
12 履歴情報抽出部
14 回線制御部
15 ナレーションストーリ出力部
16 ナレーションストーリ解析部
17 サービス実行部
17a ルールチェック処理部
17b 音声属性設定部
17c ナレーション文出力部
18 音声合成処理部
19 疑似回線制御部
20 切換部
22 データベースアクセス部
23 データベース
25 テキストファイル
26 蓄積音声ファイル
27 履歴情報書き込み部
30 電話機
31 言語処理部
32 音響処理部
33 スピーカ
34 文章解析部
35 単語辞書
36 読み・韻律記号付与部
37 抑揚生成部
38 波形合成部
39 音素片部
40 属性テーブル
41 状態ルールテーブル
42 音声属性設定イベント発生部

Claims (9)

  1. 音声応答により利用者との対話形式で処理を行う音声応答サービス装置において、
    前記利用者の属性を記憶する属性記憶部と、
    前記属性記憶部に記憶された利用者の属性情報に基づいて、利用者に応答する音声の音質を変更する利用者音質変更部と、
    を備えることを特徴とする音声応答サービス装置。
  2. 前記利用者音質変更部により変更される音声の音質は、音量レベルであることを特徴とする請求項1記載の音声応答サービス装置。
  3. 前記利用者音質変更部により変更される音声の音質は、男性音と女性音との少なくとも一方であることを特徴とする請求項1記載の音声応答サービス装置。
  4. 前記属性記憶部は、利用者の性別により男性音または女性音を記憶した性別ルールテーブルと、
    利用者の年齢に合った音量レベルを記憶した音量テーブルとを備えることを特徴とする請求項1に記載の音声応答サービス装置。
  5. 利用者の入力動作の状態に応じて音量と音速度とを設定する状態ルールテーブルを備えることを特徴とする請求項1に記載の音声応答サービス装置。
  6. 前記利用者音質変更部は、前記状態ルールテーブルを参照して音声属性を設定する音声属性設定部を備えることを特徴とする請求項5に記載の音声応答サービス装置。
  7. 前記音声属性設定部によって設定された利用者の音声属性に合った音声情報を合成する音声合成処理部を備えることを特徴とする請求項6に記載の音声応答サービス装置。
  8. 前記利用者音質変更部は、前記性別ルールテーブルと前記音量テーブルとを参照して音声属性を設定する音声属性設定部を備えることを特徴とする請求項4に記載の音声応答サービス装置。
  9. 前記音声属性設定部によって設定された利用者の音声属性に合った音声情報を合成する音声合成処理部を備えることを特徴とする請求項8に記載の音声応答サービス装置。
JP2004236095A 1995-01-11 2004-08-13 音声応答サービス装置 Expired - Fee Related JP3936351B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004236095A JP3936351B2 (ja) 1995-01-11 2004-08-13 音声応答サービス装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP261495 1995-01-11
JP2004236095A JP3936351B2 (ja) 1995-01-11 2004-08-13 音声応答サービス装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP32204495A Division JP3760420B2 (ja) 1995-01-11 1995-12-11 音声応答サービス装置

Publications (2)

Publication Number Publication Date
JP2005012833A true JP2005012833A (ja) 2005-01-13
JP3936351B2 JP3936351B2 (ja) 2007-06-27

Family

ID=34106013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004236095A Expired - Fee Related JP3936351B2 (ja) 1995-01-11 2004-08-13 音声応答サービス装置

Country Status (1)

Country Link
JP (1) JP3936351B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234953A (ja) * 2005-02-22 2006-09-07 Toyota Motor Corp 音声対話システム
JP2009124324A (ja) * 2007-11-13 2009-06-04 Sharp Corp 音響機器及び音響機器の制御方法
US8306358B2 (en) 2006-09-04 2012-11-06 Sony Corporation Image processing apparatus, image processing method, and imaging apparatus for slicing an image
JP2014095753A (ja) * 2012-11-07 2014-05-22 Hitachi Systems Ltd 音声自動認識・音声変換システム
WO2015030340A1 (ko) * 2013-08-28 2015-03-05 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
JP2016212564A (ja) * 2015-05-01 2016-12-15 日本電信電話株式会社 ソーシャルタッチ制御装置
JP6276878B1 (ja) * 2017-02-11 2018-02-07 株式会社グリーン・シップ 音声通話制御システム、音声通話制御方法、及び音声通話処理設定プログラム
US10216729B2 (en) 2013-08-28 2019-02-26 Electronics And Telecommunications Research Institute Terminal device and hands-free device for hands-free automatic interpretation service, and hands-free automatic interpretation service method
JP2020136993A (ja) * 2019-02-22 2020-08-31 Necプラットフォームズ株式会社 設定装置、設定方法及び設定プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006234953A (ja) * 2005-02-22 2006-09-07 Toyota Motor Corp 音声対話システム
JP4586566B2 (ja) * 2005-02-22 2010-11-24 トヨタ自動車株式会社 音声対話システム
US8306358B2 (en) 2006-09-04 2012-11-06 Sony Corporation Image processing apparatus, image processing method, and imaging apparatus for slicing an image
JP2009124324A (ja) * 2007-11-13 2009-06-04 Sharp Corp 音響機器及び音響機器の制御方法
JP2014095753A (ja) * 2012-11-07 2014-05-22 Hitachi Systems Ltd 音声自動認識・音声変換システム
WO2015030340A1 (ko) * 2013-08-28 2015-03-05 한국전자통신연구원 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법
US10216729B2 (en) 2013-08-28 2019-02-26 Electronics And Telecommunications Research Institute Terminal device and hands-free device for hands-free automatic interpretation service, and hands-free automatic interpretation service method
JP2016212564A (ja) * 2015-05-01 2016-12-15 日本電信電話株式会社 ソーシャルタッチ制御装置
JP6276878B1 (ja) * 2017-02-11 2018-02-07 株式会社グリーン・シップ 音声通話制御システム、音声通話制御方法、及び音声通話処理設定プログラム
JP2018129779A (ja) * 2017-02-11 2018-08-16 株式会社グリーン・シップ 音声通話制御システム、音声通話制御方法、及び音声通話処理設定プログラム
JP2020136993A (ja) * 2019-02-22 2020-08-31 Necプラットフォームズ株式会社 設定装置、設定方法及び設定プログラム

Also Published As

Publication number Publication date
JP3936351B2 (ja) 2007-06-27

Similar Documents

Publication Publication Date Title
US6052441A (en) Voice response service apparatus
US10088976B2 (en) Systems and methods for multiple voice document narration
US8364488B2 (en) Voice models for document narration
US8370151B2 (en) Systems and methods for multiple voice document narration
US9478219B2 (en) Audio synchronization for document narration with user-selected playback
JP4558308B2 (ja) 音声認識システム、データ処理装置、そのデータ処理方法及びプログラム
US6148285A (en) Allophonic text-to-speech generator
Gibbon et al. Spoken language system and corpus design
JP3936351B2 (ja) 音声応答サービス装置
JP3760420B2 (ja) 音声応答サービス装置
JP2005509906A (ja) 所定ウィンドウにてテキストを編集する装置
JP4409279B2 (ja) 音声合成装置及び音声合成プログラム
KR100383061B1 (ko) 디지털 오디오와 그의 캡션 데이터를 이용한 학습방법
JP7288530B1 (ja) システムおよびプログラム
KR102274275B1 (ko) 음성파일이 연동된 텍스트 링크 생성 어플리케이션 및 방법
WO2010083354A1 (en) Systems and methods for multiple voice document narration
JP2003140677A (ja) 読み上げシステム
CN114242036A (zh) 角色配音方法、装置、存储介质及电子设备
JP2020071250A (ja) 外国語学習支援システムおよび外国語学習支援方法ならびにプログラム
Gibbon et al. Consumer off-the-shelf (COTS) speech technology product and service evaluation
JPH02120894A (ja) 音声合成装置
KR20030058708A (ko) 텍스트/음성 변환을 이용한 음성 녹음 시스템
JP2003122387A (ja) 読み上げシステム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070322

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees