JP2007219149A - 応答生成装置、方法及びプログラム - Google Patents

応答生成装置、方法及びプログラム Download PDF

Info

Publication number
JP2007219149A
JP2007219149A JP2006039608A JP2006039608A JP2007219149A JP 2007219149 A JP2007219149 A JP 2007219149A JP 2006039608 A JP2006039608 A JP 2006039608A JP 2006039608 A JP2006039608 A JP 2006039608A JP 2007219149 A JP2007219149 A JP 2007219149A
Authority
JP
Japan
Prior art keywords
utterance
response
concept
user
abundance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006039608A
Other languages
English (en)
Other versions
JP4826275B2 (ja
Inventor
Ryoko Tokuhisa
良子 徳久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2006039608A priority Critical patent/JP4826275B2/ja
Publication of JP2007219149A publication Critical patent/JP2007219149A/ja
Application granted granted Critical
Publication of JP4826275B2 publication Critical patent/JP4826275B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】コストをかけることなくユーザと円滑に対話を行う。
【解決手段】応答生成装置は、複数の発話候補を生成する応答生成部14と、複数の発話候補から1つの応答発話を選択する応答選択部15と、概念毎に「話題の豊富さ」及び「感情」を定義する概念データベース16と、を備えている。応答選択部15は、概念データベース16を参照して、発話候補に含まれる概念の「話題の豊富さ」及び「感情」を用いて、発話候補の優先度を決定し、最も優先度の高い発話候補を応答発話する。
【選択図】図1

Description

本発明は、応答生成装置、方法及びプログラムに係り、ユーザと円滑に対話を行うための応答生成装置、方法及びプログラムに関する。
従来、自然な流れで、かつユーザが飽きないようにユーザと対話する対話システムが提案されている。このため、対話システムは、1つの話題を長々と話したり、逆に話題を次々と変えたりし過ぎないようにする必要がある。
そこで、ユーザに楽しく自然な会話を提供するロボットが開示されている(特許文献1参照。)。このロボットは、ユーザの趣向に関するデータ(プロファイルデータ)を記憶するプロファイルメモリ121を備えている。ロボット1は、サーバ101から提供される話題となる情報のうち、プロファイルメモリ121に記憶されているプロファイルデータをフィルタとする。そして、ロボット1は、フィルタ112Bによりフィルタリングした結果、残った情報のみを話題メモリ76に記憶し、ユーザと会話している時に話題メモリ76に記憶されている情報を用いて話題を選択する。これにより、会話が楽しくなるような話題を選択することができる。
また、エンターテイメント性を向上させ得る対話制御システムが開示されている(特許文献2参照。)。対話制御システムは、ネットワークを介して接続されたロボット及び情報処理装置を有している。ロボットとユーザとの間で言葉遊び(なぞなぞ)による対話をする際、ロボットは、ユーザの発話内容のうち言葉遊びに関する履歴データを生成して情報処理装置に送信する。当該情報処理装置は、記憶手段から当該履歴データに基づいてユーザに最適な内容データを選択的に読み出して元のロボットに提供する。
特開2001−188787号公報 特開2003−255991号公報
特許文献1の技術は、ユーザの趣向に関するデータであるプロファイルデータに基づいて話題を選択するものであり、大まかな話題を選択するのには有効である。しかし、同じ話題の中で複数の発話候補がある場合には、有効な発話候補を選択できない問題がある。
例えば、「俳優C」がプロファイルされており、発話候補として「俳優Cさんが昼食を食べたよ。」、「俳優Cさんが出演する映画が公開されるよ。」、「俳優Cさんと女優Aさんが結婚したよ。」などが考えられる場合、どの発話候補がより適切な発話かを選択することができない。
また、特許文献2の技術は、例えば発話内容である各々のなぞなぞに対して難易度や出題された回数を付与している。これを応答選択に応用しようとした場合、あらゆる発話に対して個別に難易度のような指標を記述するのは記述量の点で現実的でない。例えば上述の例を用いると、「俳優Cさんが昼食を食べたよ。」、「俳優Cさんが出演する映画が公開されるよ。」、「俳優Cさんと女優Aさんが結婚したよ。」などの各々に指標を記述しようとすると、膨大な記述量になってしまい、現実的でない。
本発明は、上述した課題を解決するために提案されたものであり、コストをかけることなく、ユーザとの対話を円滑に行うことができる応答生成装置、方法及びプログラムを提供することを目的とする。
上述した課題を解決するため、本発明の応答生成装置は、発話を入力する入力手段と、前記入力手段に入力された発話に対する複数の応答を生成する応答生成手段と、概念毎に、話題の豊富さと感情の明るさの度合いとを記憶する概念記憶手段と、前記応答生成手段で生成された複数の応答のそれぞれ含まれる概念に対応する話題の豊富さ、感情の明るさの度合いを前記概念記憶手段から読み出し、読み出した話題の豊富さと感情の明るさの度合いとに基づいて、複数の応答毎に優先度を決定し、最も優先度が高い応答を選択する応答選択手段と、前記応答選択手段により選択された応答を出力する応答出力手段と、を備えている。
入力手段は、発話内容を入力できればよく、音声であるか否かを問わない。応答生成手段は、入力手段に入力された発話に対する複数の応答を生成する。概念記憶手段は、概念毎に、話題の豊富さと感情の明るさの度合いとを記憶する。ここで、概念とは、ある事物の概括的な意味内容を示し、名詞、動詞等の品詞は特に限定されるものではない。話題の豊富さとは、その概念から導かれる話題の多さを示す指標をいう。
応答選択手段は、生成された複数の応答のそれぞれ含まれる概念に対応する話題の豊富さ、感情の明るさの度合いを概念記憶手段から読み出す。そして、応答選択手段は、読み出した話題の豊富さと感情の明るさの度合いとに基づいて、複数の応答毎に優先度を決定し、最も優先度が高い応答を選択する。選択された応答は、応答出力手段を介して出力される。
したがって、上記発明は、入力された発話に対する複数の応答を生成し、複数の応答のそれぞれ含まれる概念に対応する話題の豊富さ、感情の明るさの度合いに基づいて、複数の応答毎に優先度を決定し、最も優先度が高い応答を選択して出力することにより、ユーザの発話を展開したり、システムがユーザの発話に興味を示したり、感情を表明したり、ユーザの感情に同調したり、ユーザの発話内容がネガティブな場合にフォローしたりするような応答をすることができる。なお、本発明は、応答生成方法及びプログラムにも適用可能である。
本発明は、コストをかけることなく、ユーザとの対話を円滑に行うことができる。
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る応答生成装置の構成を示すブロック図である。
第1の実施形態に係る応答生成装置は、ユーザ発話から音声信号を生成するマイクロホン11と、マイクロホン11から出力された音声信号を認識する認識部12と、ユーザ発話を解析する解析部13と、解析結果に基づいて発話候補を生成する応答生成部14と、複数の発話候補から1つの応答発話を選択する応答選択部15と、概念データベース16と、応答発話を音声出力するスピーカ21と、応答発話を画像出力するディスプレイ22と、を備えている。
図2は、解析部13の構成を示すブロック図である。解析部13は、ユーザ発話の意図を解析するユーザ発話意図解析器31、発話−発話意図対応表を記憶する発話−発話意図対応表データベース32と、を備えている。
図3は、発話−発話意図対応表の構成を示す図である。発話−発話意図対応表は、ユーザ発話とその意図との関係を定義する。例えば、「おはよう」、「こんにちは」などのユーザ発話は、「挨拶」を意図している。「『(名詞)』って何?」、「『(名詞)』とは何?」などのユーザ発話は、「情報要求」を意図している。「えっ?」、「何て言ったの?」などのユーザ発話は、「問い返し」を意図している。
図4は、応答生成部14の構成を示すブロック図である。以下、ユーザ発話に対する本装置の発話を「システム発話」という。応答生成部14は、システム発話意図選択器41と、発話意図対応表データベース42と、関連情報検索エンジン43と、関連情報データベース44と、応答生成器45と、発話データベース46と、を備えている。
図5は、発話意図対応表データベース42に記憶されている発話意図対応表の構成を示す図である。発話意図対応表は、ユーザ発話に対するシステム発話の意図を定義する。例えば、ユーザ発話意図が「挨拶」であるときは、システム発話意図は「ユーザ発話の復唱」となる。また、ユーザ発話意図が「情報伝達」であるときは、システム発話意図は「情報伝達」、「相槌」、「評価・感想」のいずれかとなる。
図6は、関連情報データベース44の構成を示す図である。関連情報データベースは、お互いに関連する用語である関連語をグループ分けしたものである。例えば、「山」の関連語は、「草原」、「牧場」などがある。「パーティー」の関連語は、「ごちそう」、「ドレス」、「楽しい」などがある。
応答生成器45は、システム発話意図に基づいて、発話データベース46に記憶された情報を用いて1つ以上の発話候補を生成する。ここで、発話データベース46には、関連語から発話候補を生成するための様々な情報や、相槌発話の情報も記憶されている。
例えば、システム発話意図が「情報伝達」の場合は、応答生成器45は、関連語を用いて発話候補を生成する。また、例えばシステム発話意図が「相槌」の場合は、応答生成器45は、図7に示す複数の相槌発話から1つをランダムに選択し、選択したものを発話候補として出力する。
図8は、概念データベース16の構成を示す図である。関連情報データベースは、概念(単語)毎に、「話題の豊富さ」、「感情」を定義する。「話題の豊富さ」とは、例えば検索エンジンでヒット件数が多い状況のように、その概念から導かれる話題の多さを示す指標をいう。本実施形態では、「話題の豊富さ」は、「大」、「中」、「小」の3段階で表している。「感情」とは、感情の正負の度合いを表したものであり、本実施形態では、例えば「ポジティブ(positive)」、「ネガティブ(negative)」、「ニュートラル(neutral)」の3つに区別している。
以上のように構成された応答生成装置は、第1の応答生成ルーチンを実行することにより、ユーザとの間で例えば次のような対話例1を実現することができる。
(対話例1)
ユーザ発話1 :こんにちは。
システム発話2:こんにちは。
ユーザ発話3 :昨日、Aちゃんの家に行ってきたよ。
システム発話4:それでそれで?
ユーザ発話5 :すごくごちそうだったよ。
システム発話6:パーティーだったの?
ユーザ発話7 :うん、誕生日会だったんだ。
システム発話8:へー、すごい。
図9は、ユーザ発話に対する応答を生成する第1の応答生成ルーチンを示すフローチャートである。
ステップS1では、応答生成装置の各部が初期化され、ステップS2に進む。ステップS2では、マイクロホン11はユーザ発話に応じた音声信号を生成し、認識部12は音声信号を認識して、ステップS3に進む。
ステップS3では、解析部13のユーザ発話意図解析器31は、発話−発話意図対応表データベース32を参照して、認識部12で認識されたユーザ発話に基づいて発話意図を推定して、ステップS4に進む。ユーザ発話意図解析器31は、例えば、ユーザ発話1に対しては「挨拶」、ユーザ発話3に対しては「情報伝達」を推定する。
ステップS4では、応答生成部14のシステム発話意図選択器41は、発話意図対応表データベース42を参照して、ステップS3で推定されたユーザ発話意図に対応するシステム発話意図を推定して、ステップS5に進む。例えば、システム発話意図選択器41は、「挨拶」に対しては「ユーザ発話の復唱」を推定し、「情報伝達」に対しては「情報伝達」、「相槌」、「評価・感想」のいずれか1つをランダムに推定する。
ステップS5では、ユーザ発話意図解析器31は、ステップS4で推定したシステム発話意図が「情報伝達」であるか否かを判定する。そして、肯定判定のときはそのシステム発話意図を関連情報検索エンジン43に供給し、否定判定のときはそのシステム発話意図を応答生成器45に供給して、ステップS6に進む。
ステップS6では、関連情報検索エンジン43は、関連情報データベース44を参照して、ユーザ発話に含まれる単語に関連する関連語を検索して抽出する。例えばユーザ発話5の場合、「ごちそう」の関連語として、パーティー、ドレス、楽しいが検索される。そして、応答生成器45は、発話データベース46を参照し、前記単語及び関連語をそれぞれ用いて発話候補を生成して、ステップS7に進む。発話候補としては、例えば「パーティーだったの?」、「ドレスを着たの?」、「ごちそうだったの?」、「楽しかった?」が生成される。ここで、「パーティーだったの?」や「ドレスを着たの?」というシステム発話は、直前の「すごくごちそうだったよ。」というユーザ発話を展開する役割を持つ応答である。また、「ごちそうだったの?」というシステム発話は、直前のユーザ発話に対する興味を示す役割を持つ応答である。さらに、「楽しかった?」というシステム発話は、直前のユーザの感情に同調するための応答である。
ステップS7では、応答選択部15は、ステップS6で生成された発話候補の各々について優先度を決定する。応答選択部15は具体的には次の優先度決定ルーチンを実行する。
図10は、優先度決定ルーチンを示すフローチャートである。ステップS21では、応答選択部15は、優先度を初期化して、ステップS22に進む。
ステップS22では、応答選択部15は、概念データベース16を検索して、応答生成部14で生成された発話候補に含まれる概念(単語)について、「話題の豊富さ」及び「感情」を抽出して、ステップS23に進む。
ステップS23では、応答選択部15は、「話題の豊富さ」に基づいて、発話候補に含まれる概念の優先度を決定する。具体的には、「話題の豊富さ」が「大」、「中」、「小」のいずれかであるかを判定し、「大」のときは優先度+3、「中」のときは優先度+2、「小」のときは優先度+1に決定して、ステップS24に進む。
ステップS24では、応答選択部15は、「感情」に基づいて、発話候補に含まれる概念の優先度を決定する。具体的には、「感情」が「ポジティブ」、「ネガティブ」、「ニュートラル」のいずれかであるかを判定し、「ポジティブ」のときは優先度+3、「ネガティブ」のときは優先度−3、「ニュートラル」のときは優先度+0に決定して、ステップS25に進む。
ステップS25では、応答選択部15は、発話候補毎に、「話題の豊富さ」及び「感情」に基づく優先度を加算し、最も優先度の高い発話候補を選択する。「パーティーだったの?」の優先度は6(話題の豊富さ3、感情3)、「ドレスを着たの?」の優先度は2(話題の豊富さ2、感情0)、「楽しかった?」の優先度は4(話題の豊富さ1、感情3)となる。よって、最も優先度が高い「パーティーだったの?」が選択される。そして、本ルーチンを終了すると、図9のステップS8に進む。
ステップS8では、応答選択部15は、同じ優先度の発話候補が複数存在するか否かを判定し、肯定判定のときはステップS9に進み、否定判定のときはステップS12に進む。
ステップS9では、応答選択部15は、同じ優先度の発話候補のいずれか1つをランダムに選択し、選択したものを応答発話として、ステップS12に進む。
一方、ステップS10では、応答生成部14の応答生成器45は、発話候補を生成して、ステップS11に進む。ここでは、例えばシステム発話意図が「ユーザ発話の復唱」であるときは、入力されたユーザ発話と同じ発話が生成される。また、システム発話意図が「相槌」であるときは、図7に示す複数の相槌発話からランダムに選択された1つが発話候補として出力される。システム発話意図が「評価・感想」であるときは、ユーザ発話の評価・感想に関する発話候補が生成される。例えば、入力されたユーザの発話を認識し、認識されたユーザの発話が意味する感情を推定し、推定した感情と同一の感情を表す応答用の発話を生成すればよい。これにより、ユーザの感情に同調した評価・感想をすることができる。また、別の応用例として、ユーザの感情がネガティブである場合に、ポジティブな内容の発話を生成することにより、ユーザ発話をフォローすることも考えられる。対話例2中のシステム発話4は、ネガティブなユーザ発話(ユーザ発話3)に対するフォローの役割を持つ発話である。
(対話例2)
ユーザ発話1 :昨日、Aちゃんの家に行ってきたよ。
システム発話2:それでそれで?
ユーザ発話3 :すごくごちそうだったけど、知らない人が多くてつまらなかった。
システム発話4:でも、ごちそうがあるとそれだけで楽しめるよね?
ユーザ発話5 :まあね。
また、システム発話意図が「要求情報伝達」であるときは、ほしい情報を要求するような発話候補が生成される。システム発話意図が「問い返し」であるときは、1つ前のシステム発話が生成される。
ステップS11では、応答選択部15は、複数の発話候補があるときはランダムに1つを選択し、選択したものを応答発話として、ステップS12に進む。
ステップS12では、応答選択部15は、ステップS7、S9、S11のいずれかで選択された応答発話をシステム発話として、スピーカ21及びディスプレイ22に供給して、ステップS13に進む。これにより、例えばユーザ発話5に対しては、システム発話6「パーティーだったの?」が音声出力され、更に画像出力される。
ステップS14では、ユーザ発話の入力があるか否かを判定し、肯定判定のときはステップS2に戻り、否定判定のときは本ルーチンを終了する。
以上のように、第1の実施形態に係る応答生成装置は、複数の発話候補にそれぞれ含まれる単語に対応する「話題の豊富さ」、「感情」に基づいて、各発話候補について優先度を決定し、優先度の高いものをシステム発話として出力する。このことより、応答発話装置は、ユーザの発話を展開したり、システムがユーザの発話に興味を示したり、感情を表明したり、ユーザの感情に同調したり、ユーザの発話内容がネガティブな場合にフォローしてりするような応答をすることができる。したがって、ユーザ発話に対して、話題が豊富で、かつ楽しい対話が可能となるような概念を深掘りしながら応答するので、ユーザとの間で楽しい会話を長く続けることができる。
[第2の実施形態]
つぎに、本発明の第2の実施形態について説明する。なお、第1の実施形態と同じ部位については同じ符号を付し、その詳細な説明は省略する。
図11は、第2の実施形態に係る応答生成装置の構成を示すブロック図である。第2の実施形態では、図1に示す解析部13の代わりに解析部13A、応答生成部14の代わりに応答生成部14Aが用いられている。解析部13Aは、認識部12で認識されたユーザ発話から述語と格要素とを抽出する。応答生成部14Aは、解析部13Aで抽出された述語及び格要素に基づいて1つ以上の発話候補を生成する。
図12は、解析部13Aの構成を示すブロック図である。解析部13Aは、ユーザ発話の形態素解析を行う形態素解析器51と、各文節の係り受け(修飾関係)を解析する係り受け解析器52と、述語と格要素を抽出する格解析器53と、抽出された述語に必須の格を補完する必須格補完エンジン54と、述語と必須格(格要素)との関係を定義する格辞書55と、述語同士の関係を解析する述語関係解析器56と、述語同士の関係を定義する述語関係データベース57と、を備えている。
ここで、日本語における格は、ガ格、ヲ格、ニ格、カラ格、ト格、デ格、ヘ格、マデ格、ヨリ格の9種類がある(「基礎日本語文法―改訂版―」くろしお出版、p74−80)。格要素は、格の直前にくる名詞句であり、「述語」を修飾する文節に含まれる。「述語」は、発話の中に表現される動きや状態を表す単語であり、品詞が動詞、形容詞、サ変名詞で始まる文節をいう。
図13は、格辞書55の構成を示す図である。格辞書55は、述語と必須格との関係、すなわち、述語とそれに共起する格との関係を示している。格辞書55は、例えば「作る」は「人ガ」、「物ヲ」、「人ニ」と共起し、「器用だ」は「人ガ」と共起することを定義している。ここで、「人」は人に関する名詞、「物」は物に関する名詞を示している。
図14は、述語関係データベース57の構成を示す図である。述語関係データベース57は、述語1と述語2の関係を表している。例えば、「器用だ」は、「作る」の「理由」となる。「向かう」は、「行く」と「同格」である。「調べる」は、「知る」の「手段」となる。逆に、「知る」は、「調べる」の「結果」となる。
以上のように構成された応答生成装置は、第2の応答生成ルーチンを実行することにより、ユーザとの間で例えば次のような対話例3を実現することができる。
(対話例3)
ユーザ発話1:お父さんはすごく器用で、リビングのサイドボードとかを全部作ったの。
システム発話2:サイドボードを作ったの?
ユーザ発話3 :そうなの。リビングにホームシアターシステムを作ったりもして。
システム発話4:お父さんが作ったの?
ユーザ発話5 :そう。
システム発話6:それでそれで?
図15は、ユーザ発話に対する応答を生成する第2の応答生成ルーチンを示すフローチャートである。ここでは、第1の応答生成ルーチンと同一の処理には同一の符号が付されている。最初に、ユーザ発話1「お父さんはすごく器用で、リビングのサイドボードとかを全部作ったの。」が入力された場合を例に挙げて説明する。また、第1の応答生成ルーチンと同様に、ステップS1、S2の処理が実行された後、ステップS31に進む。
ステップS31では、解析部13Aは、認識部12で認識されたユーザ発話を解析する。このとき、図12に示す解析部13Aを構成する各部は、次の処理を行う。
最初に、形態素解析器51は、形態素解析を行い、ユーザ発話から品詞などの形態素情報を出力する。形態素解析器51は、例えば図16に示すように、「お父さん(名詞)」、「は(助詞)」、「すごく(形容詞)」、・・・、「作っ(動詞)」、「た(助動詞)」、「の(助詞)」を出力する。
係り受け解析器52は、形態素解析器51の解析結果を用いて、次のように各文節の係り受け(修飾関係)を解析する。例えば図17に示すように、「お父さんは」及び「すごく」は、「器用で」に係っている。「リビングの」は「サイドボードとかを」に係っている。「器用で」、「サイドボードとかを」、「全部」は、それぞれ「作ったの」に係っている。
格解析器53は、係り受け解析器52の解析結果の中から述語と格要素を抽出する。具体的には、格解析器53は、係り受け解析器52の解析結果の中から、図18に示すように、述語である「器用だ」とそれを修飾する「お父さんガ」とを抽出する。格解析器53は、更に、もう1つの述語である「作る」とそれを修飾する「サイドボードヲ」とを抽出する。
必須格補完エンジン54は、格解析器53の解析結果と格辞書55とを照合して、本来述語が共起する格である必須格を補完して出力する。例えば、「作る」は、図13の格辞書55によると「人ガ(ガ格)」、「物ヲ(ヲ格)」、「人ニ(ニ格)」と共起する関係にある。一方、図18に示す解析結果では、「作る」は、既に「サイドボードヲ(ヲ格)」と修飾関係があるが、その他のガ格、ニ格と修飾関係がない。
そこで、必須格補完エンジン54は、「作る」に共起するその他の格(ガ格、ニ格)を補完する。しかし、図18に示す解析結果ではガ格(お父さんガ)は存在するが、ニ格は存在していない。よって、本実施形態では、必須格補完エンジン54は、図19に示すように、「作る」に対してニ格は補完せず、ガ格(お父さんガ)のみを補完する。
なお、「器用だ」は、図13の格辞書55によると「人ガ(ガ格)」、と共起する関係にあるが、図18に示す解析結果では「お父さんガ(ガ格)」と既に修飾関係にある。よって、必須格補完エンジン54は、「器用だ」に対しては補完する必要はない。
述語関係解析器56は、述語関係データベース57を参照して、必須格補完エンジン54の補完結果に含まれる述語同士の関係を求める。ここでは、述語関係解析器56は、図20に示すように、「器用だ(現在)」と「作る(過去)」の間には「理由」の関係があることを求める。以上の処理が終わると、図15のステップS32に進む。
ステップS32では、応答生成部14は、解析部13の解析結果を用いて、ユーザ発話中に述部または格要素が存在するか否かを判定し、肯定判定のときはステップS33に進み、否定判定のとき(述部又は格要素が1つもないとき)はステップS10に進む。
ステップS33では、図11に示す応答生成部14Aは、図21に示すように、a)発話された格要素を確認すること(格要素の確認)、b)省略された格要素を質問すること(省略格要素の質問)、c)述語が行われた理由、時、場所を質問すること(述語の質問)、d)述語同士の関係を確認すること(述語同士の関係確認)、の4種類の発話候補を生成して、ステップS34に進む。
発話候補としては、ユーザ発話1に対して、a)の場合、例えば「お父さんが器用なの?」、「お父さんが作ったの?」、「サイドボードを作ったの?」が生成される。b)の場合、例えば「誰に作ったの?」が生成される。c)の場合、例えば「どうして器用なの?」、「いつ器用なの?」、「いつ作ったの?」、「どこで作ったの?」が生成される。d)の場合、「器用だから作ったの?」が生成される。ここで、「どうして器用なの?」「いつ作ったの?」「どこで作ったの?」はユーザ発話を展開する発話、「お父さんが器用なの?」、「誰に作ったの?」「いつ器用なの?」「器用だから作ったの?」はユーザ発話に興味を示す発話、「お父さんが作ったの?」や「サイドボードを使ったの?」は驚きの感情を表明する発話である。
ステップS34では、応答生成部14は、発話候補が複数存在するかを判定し、肯定判定のときは上述したステップS7に進み、否定判定のときはステップS12に進む。なお、発話候補が1つの場合、後述のステップにおいてその発話候補が応答発話として用いられる。
ステップS7では、応答選択部15は、第1の実施形態と同様にして、ステップS6で生成された発話候補の各々について優先度を決定する。この結果、図22に示すように、「お父さんが器用なの?」に対しては優先度6(話題の豊富さ3、感情3)、「お父さんが作ったの?」に対しては優先度11(話題の豊富さ5、感情6)、「サイドボードを作ったの?」に対しては優先度12(話題の豊富さ6、感情6)等が決定される。そして、最も優先度が高い「サイドボードを作ったの?」が選択される。なお、同じ値の優先度が複数存在する場合は、1つの発話候補がランダムに選択される(ステップS8、ステップS9)。
以上のように、第2の実施形態に係る応答生成装置は、第1の実施形態と同様に、複数の発話候補にそれぞれ含まれる単語に対応する「話題の豊富さ」、「感情」に基づいて、各発話候補について優先度を決定する。これにより、応答発話装置は、ユーザの発話を展開したり、システムがユーザの発話に興味を示したり、感情を表明したり、ユーザの感情に同調したり、ユーザの発話内容がネガティブな場合にフォローしてりするような応答をすることができる。したがって、ユーザ発話に対して、話題が豊富で、かつ楽しい対話が可能となるような応答をすることができる。
さらに、上記応答生成装置は、ユーザ発話から述語及び格要素を抽出し、抽出した述語又は格要素を確認する応答を生成するので、予め対話プランを用意することなく応答することができる。また、応答生成装置は、ユーザ発話がある限り、そのユーザ発話を深掘りする応答を生成するので、円滑に対話をすることができる。さらに、応答生成装置は、ユーザ発話に含まれる述語又は格要素から応答を生成することにより、応答生成の過程で特定のトピックに関するプランや知識が不要となり、あらゆるトピックについて応答することができる。
[第3の実施形態]
つぎに、本発明の第3の実施形態について説明する。なお、上述した実施形態と同一の部位には同一の符号を付し、主に第1の実施形態と異なる部分について説明する。
図23は、第3の実施形態に係る応答生成装置の構成を示すブロック図である。上記応答生成装置は、図1に示す構成に概念制御部17を加えたものである。なお、本実施形態では、図23に示す構成を例に挙げて説明するが、図12に示す構成に概念制御部17を加えてもよいのは勿論である。
概念制御部17は、応答選択部15が発話候補に含まれる概念に基づいて優先度を決定する前に、当該概念に対応する概念データベース16の中の「話題の豊富さ」を更新する。
具体的には、概念制御部17は、文脈情報を記憶する文脈情報データベース61と、ユーザ情報を記憶するユーザ情報データベース62と、概念データベース16に記憶されている内容を決定する概念データベース内容決定部63と、を有している。
文脈情報データベース61は、過去のユーザ発話とシステム発話に含まれる概念(単語)をN個記憶する。よって、対話が継続され、文脈情報データベース61に記憶されている概念の数がN個を超えると、古い概念から順に消去される。このため、文脈情報データベース61には、最新のN個の概念のみが記憶されている。
ユーザ情報データベース62は、図24に示すように、ユーザ情報として、ユーザの好みなどを反映したユーザ個別の概念データベース16の初期値を記憶している。よって、ユーザ情報データベース62は、ユーザとの対話の中で一度だけ参照される。
図25は、概念データベース更新ルーチンを示すフローチャートである。概念データベース内容決定部63は、本ルーチンを実行することにより、ユーザとの対話の内容が偏らないように概念データベース16を逐次更新する。
ステップS41では、概念データベース内容決定部63は、対話開始後にユーザ情報データベース62を参照したか否かを判定し、肯定判定のときはステップS45に進み、否定判定のときはステップS42に進む。
ステップS42では、概念データベース内容決定部63は、ユーザ情報データベース62を参照して、ステップS43に進む。
ステップS43では、概念データベース内容決定部63は、当該概念(発話候補に含まれる概念)がユーザ情報データベース62に存在するか否かを判定し、肯定判定のときはステップS44に進み、否定判定のときはステップS45に進む。
ステップS44では、概念データベース内容決定部63は、ユーザ情報データベース62から、当該概念に対応する「話題の豊富さ」と「感情」を読み出し、この「話題の豊富さ」と「感情」を概念データベース16に書き込むことによって概念データベース16を初期化し、ステップS45に進む。
ステップS45では、概念データベース内容決定部63は、当該概念が文脈情報データベース61に存在するか否かを判定し、肯定判定のときはステップS46に進み、否定判定のときはステップS47に進む。
ステップS46では、概念データベース内容決定部63は、概念データベース16に対して、当該概念の「話題の豊富さ」を1ランク下げる更新処理を行う。したがって、最近のユーザ発話及びシステム発話に含まれる概念の「話題の豊富さ」は1つ下げられる。そして、上述したステップS7の優先度決定処理が行われる。
応答選択部15は、最新のデータに更新された概念データベース16を用いて、発話候補毎に優先度を決定する。よって、発話候補に含まれる概念が最近のユーザ発話及びシステム発話に含まれる概念と同じ場合は、応答選択部15は、その発話候補に対して低い優先度を決定する。このため、その発話候補は応答発話として選択されず、他の発話候補が選択されるようになる。
以上のように、第3の実施形態に係る応答生成装置は、発話候補に含まれる概念が最近のユーザ発話及びシステム発話に含まれる概念と同じ場合、その概念に対応する「話題の豊富さ」のランクを下げるように概念データベース16を更新する。よって、応答生成装置は、概念データベース16を用いてその発話候補について低い優先度を決定するので、最近用いられた概念と異なる概念を含んだ発話候補を応答発話として出力するようになる。このため、応答生成装置は、ユーザ発話に対して応答する毎に、異なる概念の応答発話を出力できるので、ユーザとの対話内容が偏ることなく、円滑に進めることができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。
例えば応答発話を提示する手段として、スピーカ21やディスプレイ22を使用したが、その他、応答内容を表現できるロボット装置を使用してもよい。また、各実施形態に係る応答生成装置は、スピーカ21、ディスプレイ22の一方のみを備えていてもよい。
さらに、応答生成装置は、上述した構成に限定されるものではなく、マイクロホン11及び認識部12に代わりにキーボードを用いたものであってもよい。すなわち、ユーザ発話を入力する入力部は、特に限定されるものではない。
本発明の第1の実施形態に係る応答生成装置の構成を示すブロック図である。 解析部の構成を示すブロック図である。 発話−発話意図対応表の構成を示す図である。 応答生成部の構成を示すブロック図である。 発話意図対応表データベースに記憶されている発話意図対応表の構成を示す図である。 関連情報データベースの構成を示す図である。 相槌発話を示す図である。 概念データベースの構成を示す図である。 ユーザ発話に対する応答を生成する第1の応答生成ルーチンを示すフローチャートである。 優先度決定ルーチンを示すフローチャートである。 本発明の第2の実施形態に係る応答生成装置の構成を示すブロック図である。 解析部の構成を示すブロック図である。 格辞書の構成を示す図である。 述語関係データベースの構成を示す図である。 ユーザ発話に対する応答を生成する第1の応答生成ルーチンを示すフローチャートである。 形態素解析器から出力される形態素情報を示す図である。 文節の係り受けの関係を示す図である。 格解析器によって抽出された述語とそれに対応する格要素とを示す図である。 「作る」に対して必須格であるガ格の格要素が補完された状態を示す図である。 述語同士の関係を示す図である。 発話候補の種類を示す図である。 各発話候補の優先度を示す図である。 本発明の第3の実施形態に係る応答生成装置の構成を示すブロック図である。 ユーザ情報データベースの構成を示す図である。 概念データベース更新ルーチンを示すフローチャートである。
符号の説明
11 マイクロホン
12 認識部
13、13A 解析部
14、14A 応答生成部
15 応答選択部
16 概念データベース
17 概念制御部17
21 スピーカ
22 ディスプレイ
31 ユーザ発話意図解析器
32 発話−発話意図対応表データベース

Claims (5)

  1. 発話を入力する入力手段と、
    前記入力手段に入力された発話に対する複数の応答を生成する応答生成手段と、
    概念毎に、話題の豊富さと感情の正負の度合いとを記憶する概念記憶手段と、
    前記応答生成手段で生成された複数の応答のそれぞれ含まれる概念に対応する話題の豊富さ、感情の正負の度合いを前記概念記憶手段から読み出し、読み出した話題の豊富さと感情の正負の度合いとに基づいて、複数の応答毎に優先度を決定し、最も優先度が高い応答を選択する応答選択手段と、
    前記応答選択手段により選択された応答を出力する応答出力手段と、
    を備えた応答生成装置。
  2. 前記応答生成手段は、前記入力手段に入力された発話から概念を抽出し、抽出した概念に関連する関連語を生成し、前記抽出した概念又は前記関連語を用いて複数の応答を生成する
    請求項1に記載の応答生成装置。
  3. 過去の対話の文脈に含まれる概念を記憶する文脈記憶手段と、
    優先度の決定の対象となる応答に含まれる概念が前記文脈記憶手段に記憶されているときに、前記概念記憶手段に記憶されている前記概念に対応する話題の豊富さの度合いを下げるように制御する概念制御手段と、
    を更に備えた請求項1または請求項2に記載の応答生成装置。
  4. 発話を入力し、
    前記入力された発話に対する複数の応答を生成し、
    概念毎に、話題の豊富さと感情の正負の度合いとを記憶する概念記憶手段から、前記生成された複数の応答のそれぞれ含まれる概念に対応する話題の豊富さ、感情の正負の度合いを読み出し、
    読み出した話題の豊富さと感情の正負の度合いとに基づいて、複数の応答毎に優先度を決定し、
    最も優先度が高い応答を選択し、
    前記選択された応答を出力する
    応答生成方法。
  5. コンピュータに、
    発話を入力させ、
    前記入力された発話に対する複数の応答を生成させ、
    概念毎に、話題の豊富さと感情の正負の度合いとを記憶する概念記憶手段から、前記生成された複数の応答のそれぞれ含まれる概念に対応する話題の豊富さ、感情の正負の度合いを読み出させ、
    読み出した話題の豊富さと感情の正負の度合いとに基づいて、複数の応答毎に優先度を決定させ、
    最も優先度が高い応答を選択させ、
    前記選択された応答を出力させ
    応答生成プログラム。
JP2006039608A 2006-02-16 2006-02-16 応答生成装置、方法及びプログラム Expired - Fee Related JP4826275B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006039608A JP4826275B2 (ja) 2006-02-16 2006-02-16 応答生成装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006039608A JP4826275B2 (ja) 2006-02-16 2006-02-16 応答生成装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007219149A true JP2007219149A (ja) 2007-08-30
JP4826275B2 JP4826275B2 (ja) 2011-11-30

Family

ID=38496531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006039608A Expired - Fee Related JP4826275B2 (ja) 2006-02-16 2006-02-16 応答生成装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4826275B2 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152119A (ja) * 2008-12-25 2010-07-08 Toyota Central R&D Labs Inc 応答生成装置及びプログラム
JP2010157081A (ja) * 2008-12-26 2010-07-15 Toyota Central R&D Labs Inc 応答生成装置及びプログラム
JP2010224152A (ja) * 2009-03-23 2010-10-07 Toyota Central R&D Labs Inc 音声対話装置及びプログラム
JP2010224153A (ja) * 2009-03-23 2010-10-07 Toyota Central R&D Labs Inc 音声対話装置及びプログラム
JP2011130386A (ja) * 2009-12-21 2011-06-30 Fujifilm Corp 画像表示装置、画像表示方法、携帯端末
JP2013072887A (ja) * 2011-09-26 2013-04-22 Toshiba Corp 対話装置
JP2014508968A (ja) * 2011-02-24 2014-04-10 ポハン工科大学校産学協力団 対話管理方法及びこれを実行する装置
JP2014222402A (ja) * 2013-05-13 2014-11-27 日本電信電話株式会社 発話候補生成装置、発話候補生成方法、及び発話候補生成プログラム
JP2015045833A (ja) * 2013-07-31 2015-03-12 日本電信電話株式会社 発話文生成装置とその方法とプログラム
WO2015098306A1 (ja) * 2013-12-27 2015-07-02 シャープ株式会社 応答制御装置、制御プログラム
JP2016085747A (ja) * 2015-11-24 2016-05-19 株式会社東芝 対話装置
WO2016104193A1 (ja) * 2014-12-26 2016-06-30 シャープ株式会社 対応決定装置、音声対話システム、対応決定装置の制御方法、および音声対話装置
JP2016212499A (ja) * 2015-04-30 2016-12-15 Kddi株式会社 対話パターン自動生成装置、方法およびプログラム
JP2016218566A (ja) * 2015-05-15 2016-12-22 日本電信電話株式会社 発話選択装置、方法、及びプログラム
JP2017517028A (ja) * 2014-04-17 2017-06-22 ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe ロボットとの対話を取り扱う方法とシステム
JP2017156854A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
WO2020066019A1 (ja) * 2018-09-28 2020-04-02 富士通株式会社 対話装置、対話方法及び対話プログラム
CN111192577A (zh) * 2018-10-25 2020-05-22 丰田自动车株式会社 交流装置及交流装置的控制程序
JP2020102117A (ja) * 2018-12-25 2020-07-02 株式会社DataVision 発話生成装置、発話生成方法、及びコンピュータプログラム
US10902849B2 (en) 2017-03-29 2021-01-26 Fujitsu Limited Non-transitory computer-readable storage medium, information processing apparatus, and utterance control method
JP7032681B1 (ja) 2020-12-10 2022-03-09 富士通クライアントコンピューティング株式会社 情報処理装置及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7299538B1 (ja) 2022-02-24 2023-06-28 富士通クライアントコンピューティング株式会社 情報処理装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108376A (ja) * 2001-10-01 2003-04-11 Denso Corp 応答メッセージ生成装置、及び端末装置
JP2003255990A (ja) * 2002-03-06 2003-09-10 Sony Corp 対話処理装置及び方法並びにロボット装置
JP2003330487A (ja) * 2002-05-09 2003-11-19 Nec Corp 対話エージェント

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108376A (ja) * 2001-10-01 2003-04-11 Denso Corp 応答メッセージ生成装置、及び端末装置
JP2003255990A (ja) * 2002-03-06 2003-09-10 Sony Corp 対話処理装置及び方法並びにロボット装置
JP2003330487A (ja) * 2002-05-09 2003-11-19 Nec Corp 対話エージェント

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152119A (ja) * 2008-12-25 2010-07-08 Toyota Central R&D Labs Inc 応答生成装置及びプログラム
JP2010157081A (ja) * 2008-12-26 2010-07-15 Toyota Central R&D Labs Inc 応答生成装置及びプログラム
JP2010224152A (ja) * 2009-03-23 2010-10-07 Toyota Central R&D Labs Inc 音声対話装置及びプログラム
JP2010224153A (ja) * 2009-03-23 2010-10-07 Toyota Central R&D Labs Inc 音声対話装置及びプログラム
JP2011130386A (ja) * 2009-12-21 2011-06-30 Fujifilm Corp 画像表示装置、画像表示方法、携帯端末
JP2014508968A (ja) * 2011-02-24 2014-04-10 ポハン工科大学校産学協力団 対話管理方法及びこれを実行する装置
JP2013072887A (ja) * 2011-09-26 2013-04-22 Toshiba Corp 対話装置
JP2014222402A (ja) * 2013-05-13 2014-11-27 日本電信電話株式会社 発話候補生成装置、発話候補生成方法、及び発話候補生成プログラム
JP2015045833A (ja) * 2013-07-31 2015-03-12 日本電信電話株式会社 発話文生成装置とその方法とプログラム
JP2018195331A (ja) * 2013-07-31 2018-12-06 日本電信電話株式会社 発話文生成装置とその方法とプログラム
WO2015098306A1 (ja) * 2013-12-27 2015-07-02 シャープ株式会社 応答制御装置、制御プログラム
US10008196B2 (en) 2014-04-17 2018-06-26 Softbank Robotics Europe Methods and systems of handling a dialog with a robot
JP2017517028A (ja) * 2014-04-17 2017-06-22 ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe ロボットとの対話を取り扱う方法とシステム
JPWO2016104193A1 (ja) * 2014-12-26 2017-05-25 シャープ株式会社 対応決定装置、音声対話システム、対応決定装置の制御方法、および音声対話装置
WO2016104193A1 (ja) * 2014-12-26 2016-06-30 シャープ株式会社 対応決定装置、音声対話システム、対応決定装置の制御方法、および音声対話装置
JP2016212499A (ja) * 2015-04-30 2016-12-15 Kddi株式会社 対話パターン自動生成装置、方法およびプログラム
JP2016218566A (ja) * 2015-05-15 2016-12-22 日本電信電話株式会社 発話選択装置、方法、及びプログラム
JP2016085747A (ja) * 2015-11-24 2016-05-19 株式会社東芝 対話装置
JP2017156854A (ja) * 2016-02-29 2017-09-07 Kddi株式会社 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
US10902849B2 (en) 2017-03-29 2021-01-26 Fujitsu Limited Non-transitory computer-readable storage medium, information processing apparatus, and utterance control method
WO2020066019A1 (ja) * 2018-09-28 2020-04-02 富士通株式会社 対話装置、対話方法及び対話プログラム
JPWO2020066019A1 (ja) * 2018-09-28 2021-08-30 富士通株式会社 対話装置、対話方法及び対話プログラム
JP7044167B2 (ja) 2018-09-28 2022-03-30 富士通株式会社 対話装置、対話方法及び対話プログラム
CN111192577A (zh) * 2018-10-25 2020-05-22 丰田自动车株式会社 交流装置及交流装置的控制程序
CN111192577B (zh) * 2018-10-25 2023-10-13 丰田自动车株式会社 交流装置及交流装置的控制程序
JP2020102117A (ja) * 2018-12-25 2020-07-02 株式会社DataVision 発話生成装置、発話生成方法、及びコンピュータプログラム
JP2021193608A (ja) * 2018-12-25 2021-12-23 株式会社DataVision 発話生成装置、発話生成方法、及びコンピュータプログラム
JP7308550B2 (ja) 2018-12-25 2023-07-14 株式会社DataVision 発話生成装置、発話生成方法、及びコンピュータプログラム
JP7032681B1 (ja) 2020-12-10 2022-03-09 富士通クライアントコンピューティング株式会社 情報処理装置及びプログラム
JP2022092529A (ja) * 2020-12-10 2022-06-22 富士通クライアントコンピューティング株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
JP4826275B2 (ja) 2011-11-30

Similar Documents

Publication Publication Date Title
JP4826275B2 (ja) 応答生成装置、方法及びプログラム
US20200395008A1 (en) Personality-Based Conversational Agents and Pragmatic Model, and Related Interfaces and Commercial Models
JP4186992B2 (ja) 応答生成装置、方法及びプログラム
US10878817B2 (en) Systems and methods for generating comedy
Harris Voice interaction design: crafting the new conversational speech systems
JP4849663B2 (ja) 会話制御装置
US8935163B2 (en) Automatic conversation system and conversation scenario editing device
JP5166661B2 (ja) 計画に基づくダイアログを実行する方法および装置
Curry et al. Alana v2: Entertaining and informative open-domain social dialogue using ontologies and entity linking
WO2019165331A1 (en) Systems and methods for generating jokes
JP2006178063A (ja) 対話処理装置
JP4729902B2 (ja) 音声対話システム
JP2007183421A (ja) 音声合成装置
Ferreira Language production
Kim et al. Designers characterize naturalness in voice user interfaces: their goals, practices, and challenges
WO2003085550A1 (en) Conversation control system and conversation control method
JP3996125B2 (ja) 文章生成装置及び生成方法
Määttä Authenticity, boundaries, and hybridity: Translating “migrant and minority literature” from Swedish into Finnish
JP2005284209A (ja) 音声認識方式
Akman et al. Strawson on intended meaning and context
Bajwa Divine Story-Telling as Self-Presentation: An Analysis of Sūrat al-Kahf
Bowden et al. I Probe, Therefore I Am: Designing a Virtual Journalist with Human Emotions
Kimura et al. Spoken dialogue processing method using inductive learning with genetic algorithm
JP2005108054A (ja) 自然言語処理システム
Kruger Shakespeare in Afrikaans: A corpus-based study of inuoiuement in different registers of drama translation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees