JP7160076B2 - Dialogue control device, dialogue control method and program - Google Patents

Dialogue control device, dialogue control method and program Download PDF

Info

Publication number
JP7160076B2
JP7160076B2 JP2020178607A JP2020178607A JP7160076B2 JP 7160076 B2 JP7160076 B2 JP 7160076B2 JP 2020178607 A JP2020178607 A JP 2020178607A JP 2020178607 A JP2020178607 A JP 2020178607A JP 7160076 B2 JP7160076 B2 JP 7160076B2
Authority
JP
Japan
Prior art keywords
topic
dialogue
utterance
response
partner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020178607A
Other languages
Japanese (ja)
Other versions
JP2021009416A (en
Inventor
哲司 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2020178607A priority Critical patent/JP7160076B2/en
Publication of JP2021009416A publication Critical patent/JP2021009416A/en
Application granted granted Critical
Publication of JP7160076B2 publication Critical patent/JP7160076B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Description

本発明は、対話制御装置、対話制御方法及びプログラムに関する。 The present invention relates to a dialog control device, dialog control method and program.

近時、人間と機械との間でインタラクティブな対話を実現する技術が浸透してきている。人間と機械がコミュニケーションを伴った対話をするためには、人工知能(AI:Artificial Intelligence)の技術、音声認識技術が必要であるが、単に文脈を分析して応答するだけでは、コミュニケーションをはかることはできない。人間の感情を推定する技術等が必要である。 In recent years, technology that realizes interactive dialogue between humans and machines has become pervasive. Artificial intelligence (AI) technology and speech recognition technology are necessary for humans and machines to interact with each other. can't. Techniques for estimating human emotions are required.

例えば、特許文献1には、自然な話題遷移を行う技術が開示されている。具体的には、特許文献1には、話題が語り尽くされたかどうかを示す指標となる各項目(いつ、どこで、誰が、どうしたかなど)が話されたか否かに応じて、話題を遷移する技術が開示されている。 For example, Patent Literature 1 discloses a technique for performing natural topic transitions. Specifically, in Patent Document 1, each item (when, where, who, what, etc.), which is an index indicating whether the topic has been talked about, is changed according to whether or not the topic is spoken. Techniques are disclosed.

特開2001-188785号公報Japanese Patent Application Laid-Open No. 2001-188785

ところで、対話制御装置は対話相手と対話中、対話相手が発した内容に応答できない場合、唐突に話題を変えたり、意味不明な受け答えをすることがある。話しの脈絡から逸脱した別の話しへ急に転換されると対話相手は違和感を覚えるという問題がある。 By the way, during a dialogue with a dialogue partner, if the dialogue control device cannot respond to the content uttered by the dialogue partner, it may suddenly change the topic or give an incomprehensible answer. There is a problem that the conversation partner feels uncomfortable when suddenly switched to another story that deviates from the context of the conversation.

この点、上記特許文献1は、単に対話の進捗状況(話題が語り尽くされたかどうか)に応じて話題を遷移させるだけで、上記問題を解決するための具体的な解決手段を開示していない。
そこで、本発明は、上記問題を解決するためになされたものであり、対話相手が違和感を覚えることなく話題を遷移する対話制御装置等を提供することを目的とする。
In this respect, Patent Document 1 merely changes the topic according to the progress of the dialogue (whether or not the topic has been discussed), and does not disclose a specific solution for solving the above problem. .
SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a dialogue control device or the like that allows the dialogue partner to change topics without feeling uncomfortable.

上記目的を達成するため、本発明の対話制御装置は、
対話相手からの発話に所定のキーワードが含まれるかかに基づいて、前記発話に対して応答可能か否かを判定する判定手段と、
前記判定手段により前記発話に前記所定のキーワードが含まれることで応答可能と判定した場合、前記所定のキーワードを用いた応答文を作成する一方、前記判定手段により前記所定のキーワードが含まれないことで応答可能でないと判定した場合であって不知の単語が前記対話相手からの発話に含まれる場合は、前記不知の単語に関連するキーワードを用いて、次話題に転換するための話題転換用の応答文を作成する作成手段と、
前記作成手段が作成した応答文を発話する発話手段と、
を備えたことを特徴とする。
In order to achieve the above object, the dialogue control device of the present invention includes:
determination means for determining whether or not the utterance from the conversation partner includes a predetermined keyword, and whether or not it is possible to respond to the utterance;
When it is determined by the determining means that a response is possible because the predetermined keyword is included in the utterance, a response sentence using the predetermined keyword is created, while the determining means does not include the predetermined keyword. and if an unknown word is included in the utterance from the conversation partner, a topic change for changing to the next topic using a keyword related to the unknown word a creation means for creating a response sentence of
an utterance means for uttering the response sentence created by the creation means;
characterized by comprising

本発明によれば、対話相手が違和感を覚えることなく話題を遷移することができる。 ADVANTAGE OF THE INVENTION According to this invention, a dialogue partner can change a topic, without feeling a sense of incongruity.

実施形態に係る対話制御装置の構成を示すブロック図である。1 is a block diagram showing the configuration of a dialogue control device according to an embodiment; FIG. キーワードテーブルの一例を示す図である。It is a figure which shows an example of a keyword table. 応答文テンプレートの一例を示す図である。It is a figure which shows an example of a response sentence template. 前置用テンプレートの一例を示す図である。FIG. 10 is a diagram showing an example of a prefix template; 話題転換用テンプレートの一例を示す図である。It is a figure which shows an example of the template for topic change. 対話相手が応答に要する時間の目安の一例を示す図である。FIG. 10 is a diagram showing an example of an estimate of the time required for a dialogue partner to respond; 継続意思確認用のテンプレートの一例を示す図である。It is a figure which shows an example of the template for continuation intention confirmation. 対話制御処理のフローチャートの一例を示す図である。FIG. 10 is a diagram showing an example of a flowchart of dialogue control processing;

以下、図1を参照しながら、本発明の実施形態に係る対話制御装置の概要について説明する。この対話制御装置10は、対話相手との物理インターフェイスとして、対話相手の音声を収音するマイク40、対話相手に音声出力するスピーカ41、対話相手を撮影するカメラ42を備えている。
対話制御装置10は、マイク40の音声とカメラ42の画像とから感情推定を行って、推定した感情に応じた話題による対話を、スピーカ41を通して行う。
An outline of a dialogue control device according to an embodiment of the present invention will be described below with reference to FIG. This dialogue control device 10 includes, as a physical interface with the dialogue partner, a microphone 40 for picking up the dialogue partner's voice, a speaker 41 for outputting sound to the dialogue partner, and a camera 42 for photographing the dialogue partner.
The dialogue control device 10 estimates emotion from the voice of the microphone 40 and the image of the camera 42 , and carries out a dialogue through the speaker 41 on the topic corresponding to the estimated emotion.

なお、対話エンジンである対話制御装置10をロボットに適用してもよい。この対話制御装置10は、人との対話を必要とする、およそ全ての場面に適用可能な人工知能であって、適用範囲はカーナビ、スマホの対話型アプリ、デジタルの2次元キャラクタなど幅広い。また、以下の説明において、「対話」、「会話」、「コミュニケーション」の各用語は、自然言語でインタラクティブに情報のやりとりをするという意味で全て同義であるものとする。 Note that the dialogue control device 10, which is a dialogue engine, may be applied to the robot. This dialogue control device 10 is an artificial intelligence that can be applied to almost all situations that require dialogue with people, and has a wide range of applications such as car navigation systems, smartphone interactive applications, and digital two-dimensional characters. Also, in the following description, the terms "dialogue", "conversation", and "communication" are all synonymous in the sense of interactively exchanging information in natural language.

対話制御装置10は、対話相手との物理インターフェイス(マイク40、スピーカ41、カメラ42)に加えて、制御部20と記憶部30とを備える。 The dialogue control device 10 includes a control unit 20 and a storage unit 30 in addition to a physical interface (a microphone 40, a speaker 41, and a camera 42) with a dialogue partner.

制御部20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などで構成される。制御部20は、ROMに記憶されたプログラム(例えば、後述する対話制御処理に係るプログラム)を実行することにより、各部(判定部221、作成部222、発話部223、時間判定部224、内容判定部225、意思確認部226)の機能を実現する。 The control unit 20 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The control unit 20 executes a program stored in the ROM (for example, a program related to dialogue control processing, which will be described later), so that each unit (the determination unit 221, the creation unit 222, the utterance unit 223, the time determination unit 224, the content determination It implements the functions of the unit 225 and the intention confirmation unit 226).

記憶部30は、ハードディスクやフラッシュメモリなどの不揮発性メモリであって、データベース(対話用DB(Data Base)32)とキーワードテーブル31とを記憶する。これらについては後述する。 The storage unit 30 is a non-volatile memory such as a hard disk or flash memory, and stores a database (interaction DB (Data Base) 32) and a keyword table 31. FIG. These will be described later.

さて、次に、制御部20の機能について説明する。
制御部20は、機能として、判定部221、作成部222、発話部223、時間判定部224、内容判定部225、意思確認部226を備える。
Next, functions of the control unit 20 will be described.
The control unit 20 includes a determination unit 221, a creation unit 222, an utterance unit 223, a time determination unit 224, a content determination unit 225, and an intention confirmation unit 226 as functions.

判定部221は、対話相手からの発話に対して応答可能か否か判定する。具体的には、判定部221は、対話相手からの発話をテキスト化して複数の単語(名詞、形容詞、動詞、助詞など)に形態素解析後、その複数の単語中にキーワードがあるか否かにより、応答可能か否か判定する。キーワードの有無は、図2のキーワードテーブル31を用いて行う。 The determination unit 221 determines whether or not it is possible to respond to an utterance from the conversation partner. Specifically, the determination unit 221 converts the utterances from the dialogue partner into text, performs morphological analysis on a plurality of words (nouns, adjectives, verbs, particles, etc.), and determines whether or not there is a keyword in the plurality of words. , determines whether or not it is possible to respond. The presence or absence of a keyword is determined using the keyword table 31 of FIG.

このキーワードテーブル31は、単語辞書などに基づいて作成され、話題毎に名詞ワードと形容詞ワードを対応付けたものである。名詞ワードは話題に関連する名詞を、形容詞ワードは話題に関連する形容詞を、それぞれ示す。 This keyword table 31 is created based on a word dictionary or the like, and associates noun words and adjective words for each topic. A noun word indicates a topic-related noun, and an adjective word indicates a topic-related adjective.

図2に示すキーワードはごく一部であって、実際は各話題につき対話に必要な数万キーワードを用意しておく。また、キーワード毎に上下関係(野菜であれば、上位概念たる野菜が下位概念たるキャベツ、タマネギを含むなど)と、類似関係(うどんとラーメンは麺類で類似するなど)と、を対応付けておく。また、判定部221は、対話相手から不知の単語が発話された場合、その単語を新たなキーワードとして追加して学習していくとよい。 The keywords shown in FIG. 2 are only a small part, and in practice, tens of thousands of keywords necessary for dialogue are prepared for each topic. Also, each keyword is associated with a hierarchical relationship (for example, vegetables, which are superordinate concepts, include cabbage and onions, which are subordinate concepts), and similar relationships (such as udon and ramen being similar in terms of noodles). . Further, when an unknown word is uttered by the dialogue partner, the determination unit 221 may add the word as a new keyword and learn it.

判定部221は、音声認識によりテキスト化された対話相手の音声を形態素解析した結果、単語(名詞・形容詞)がキーワード(名詞ワード・形容詞ワード)と合致する場合、すなわち対話相手からの発話中にキーワードが含まれる場合、応答可能と判定する。一方、対話相手からの発話中にキーワードが含まれない場合、応答可能でないと判定する。 As a result of morphological analysis of the conversational partner's speech converted into text by speech recognition, the determination unit 221 determines if a word (noun/adjective) matches a keyword (noun word/adjective word), that is, during an utterance from the conversational partner. If the keyword is included, it is determined that the response is possible. On the other hand, when the keyword is not included in the utterance of the dialogue partner, it is determined that the response is not possible.

なお、応答可能なケースを増やすために、制御部20は、話題を特定して最初に対話相手に発話するとよい。例えば、話題「食べ物」であれば「食べ物について話しましょう。」や話題「動物」であれば「動物について話しましょう。」といった具合に、なるべくキーワードを拾えるように予め話題を特定して対話を開始するとよい。この実施形態では、話題毎にキーワードを対応付けているので、話題を特定しないと対話制御装置10の応答可能性が下がるからである。 In order to increase the number of cases that can be responded to, the control unit 20 may specify a topic and speak to the conversation partner first. For example, if the topic is "food," then "Let's talk about food." If the topic is "animals," "Let's talk about animals." should be started. This is because, in this embodiment, since a keyword is associated with each topic, the response possibility of the dialogue control device 10 decreases if the topic is not specified.

さて、図1に戻って、作成部222は、対話相手に応答するための応答文を作成する。応答文としては、1)判定部221が応答可能と判定した場合、すなわちキーワードが含まれると判定した場合の応答文と、2)判定部221が応答可能でないと判定した場合、すなわちキーワードが含まれないと判定した場合の応答文と、がある。 Returning to FIG. 1, the creation unit 222 creates a response sentence for responding to the dialogue partner. The response sentences are: 1) when the determination unit 221 determines that a response is possible, that is, when the keyword is included, and 2) when the determination unit 221 determines that the response is not possible, that is, the keyword is included. There is a response sentence when it is determined that it cannot be done.

作成部222は、応答可能な1)の場合、応答用DB321が記憶する応答文テンプレートに基づいて応答文を作成する。この応答用DB321は、話題毎に複数の異なる応答文テンプレートを記憶したデータベースである。応答文テンプレートは、例えばXML(Extensible Markup Language)などのマークアップ言語で記述することができる。具体的には、AIML(Artificial Intelligence Markup Language)で記述しておき、作成部222は、対話相手の発話中にキーワード(名詞ワード・形容詞ワード)が含まれる場合は、そのキーワードを用いた応答用のテンプレートを作成する。 In the case of 1) where a response is possible, the creation unit 222 creates a response sentence based on the response sentence template stored in the response DB 321 . This response DB 321 is a database that stores a plurality of different response sentence templates for each topic. The response sentence template can be written in a markup language such as XML (Extensible Markup Language). Specifically, it is described in AIML (Artificial Intelligence Markup Language). create a template for

図3に話題「天気」の応答文テンプレートのバリエーションの一例を示す。応答文テンプレートは、対話相手の発話中にキーワードテーブル31が含むキーワードがあれば、そのキーワード(名詞ワード・形容詞ワード)をあてはめて応答する形式となっている。なお、類似ワードとはキーワードテーブル31において類似関係にあるキーワード(季節である春夏秋冬など)をいう。カテゴリの種別(共感、自己開示、情報提供、質問)は一例であって、これ以上の種別を設けてもよい。 FIG. 3 shows an example of variations of the response sentence template for the topic "weather". If there is a keyword included in the keyword table 31 in the dialogue partner's utterance, the response sentence template is of a format in which the keyword (noun word/adjective word) is applied to respond. A similar word means a keyword having a similar relationship in the keyword table 31 (such as four seasons, such as spring, summer, autumn and winter). The types of categories (empathy, self-disclosure, information provision, question) are only examples, and more types may be provided.

例えば、話題「天気」について対話相手の発話中に「夏」というキーワードがあった場合、作成部222は、共感用の応答文テンプレートとして「夏は暑いですよね。同感です。」や自己開示用の応答文テンプレートとして「私は、夏よりも冬の方が好きです。」、質問文テンプレートとして「どうして夏が好きなんですか?」といった具合に応答することになる。これらテンプレートのうち、何れのカテゴリを選ぶかはランダムで選択するか、あるいは対話履歴からの文脈や優先順位に応じて選択すればよい。また、選択に際して、一度選択済みの応答文テンプレートは、対話中で再度選択しないようにする。 For example, if there is a keyword "summer" in the dialogue partner's utterance about the topic "weather", the creating unit 222 creates a response sentence template for empathy such as "It's hot in summer. I agree." As a response sentence template, "I like winter better than summer.", and as a question sentence template, "Why do you like summer?" Among these templates, which category is selected may be selected at random, or may be selected according to context or priority from the interaction history. Also, when selecting, a response sentence template that has already been selected should not be selected again during dialogue.

ここで、情報提供とは、インターネットでの検索結果に係る情報を提供する際のテンプレートである。この情報提供に係る情報(降水確率や最高気温など)は、作成部222が対話相手からの検索要求をトリガとして又は対話中の適宜なタイミングで能動的に取得する。そして、作成部222は、取得した情報を情報提供用の応答テンプレートに当てはめて発話する。なお、場所の固有名詞は、対話相手からの発話中に場所の名称が含まれていれば、それを当てはめればよい。 Here, information provision is a template for providing information related to search results on the Internet. The information (probability of precipitation, maximum temperature, etc.) related to this provision of information is actively acquired by the creating unit 222 triggered by a search request from the conversation partner or at an appropriate timing during the conversation. Then, the creation unit 222 applies the acquired information to the response template for providing information and speaks. As for the proper noun of the place, if the name of the place is included in the utterance of the conversation partner, it may be applied.

なお、1つの応答文テンプレートは、汎用性を高める観点から複数のキーワードで共通して用いるようにしているが、これに限らない。特定のキーワードに対応する独自の応答文を対応付けてもよい。例えば、話題「動物」の名詞ワード「ライオン」に、「タテガミがあるのは雄のライオンだけなんですよね。」や「ライオンって百獣の王なんですよね。」といった具合にライオン独自の応答文テンプレートを複数対応付けておき、ランダムに選択して発話してもよい。 Note that one response sentence template is commonly used for a plurality of keywords from the viewpoint of improving versatility, but it is not limited to this. A unique response sentence corresponding to a specific keyword may be associated. For example, to the noun word ``lion'' in the topic ``animals,'' ``only male lions have a mane,'' or ``lions are the king of beasts, aren't they?'' A plurality of templates may be associated with each other and randomly selected and uttered.

このように、作成部222は、応答可能である上記1)の場合、キーワードを用いた応答文テンプレートを使用して、一問一答ではない、少なくとも数ターンの対話を話題毎に行う。一方、作成部222は、応答可能でない上記2)の場合、次の話題につなげるための応答文と、次の話題に転換するための話題転換用の応答文と、を作成する。具体的には、作成部222は、前置用DB322が記憶する前置用テンプレートと、話題転換用DB323が記憶する話題転換用テンプレートと、を用いて応答文を作成する。図4に前置用テンプレートのバリエーションの一例を、図5に話題転換用テンプレートのバリエーションの一例を、それぞれ示す。 In this way, in the case of 1) above, in which a response is possible, the creating unit 222 uses a response sentence template using a keyword to conduct at least several turns of dialogue for each topic, instead of just a question-and-answer session. On the other hand, in the case of the above 2) in which a response is not possible, the creation unit 222 creates a response sentence for connecting to the next topic and a response sentence for changing the topic to switch to the next topic. Specifically, the creation unit 222 creates a response sentence using the introduction template stored in the introduction DB 322 and the topic change template stored in the topic change DB 323 . FIG. 4 shows an example of a variation of the introductory template, and FIG. 5 shows an example of a variation of the topic change template.

図4に示すように、次の話題につなげるための前置用テンプレートには、不知と詫びを表明するテンプレートがある。この次の話題につなげるための応答文、すなわち前置用テンプレートは、話題転換を対話相手に示唆する文である。その文の一例として、この実施形態では、不知と詫びを表明するテンプレートを用いる。また、不知を表明する前に詫びを入れるようにする。例えば、話題「天気」について、対話相手から名詞「エルニーニョ現象」が発話され、キーワードとしてその名詞ワードを含まない場合、「すみません。エルニーニョ現象については詳しくありません。」や「ごめんなさい。エルニーニョ現象については聞いたことがありません。」といった具合になる。 As shown in FIG. 4, there is a template expressing ignorance and apology as a preface template for connecting to the next topic. A response sentence for connecting to the next topic, ie, a template for introduction, is a sentence suggesting a conversation partner to change the topic. As an example of the sentence, this embodiment uses a template expressing ignorance and apology. Also, try to apologize before expressing ignorance. For example, regarding the topic “weather”, if the conversation partner utters the noun “El Niño phenomenon” and does not include that noun word as a keyword, “Excuse me, I am not familiar with the El Niño phenomenon.” I've never seen it before."

一方、作成部222は、次の話題につなげるための応答文に続いて、図5を参照して、話題転換用の応答文を作成する。ここでいう話題転換用の応答文とは、話題転換前に発話される次の話題につなげるための応答文に続く、その次の話題に転換するための応答文である。ここで話題転換とは、キーワードテーブル31中の話題を変更することの他、対話中の話題の中で別話題に変更することも含む。すなわち、対話中の話題が「天気」だとすると、「天気」から別話題(例えば、「動物」)に変更することの他、「天気」の中で別話題(例えば、今日の天気の話題から季節の話題)に変更することも含む。 On the other hand, the creation unit 222 creates a response sentence for topic change with reference to FIG. 5 following the response sentence for connecting to the next topic. Here, the response sentence for changing the topic is a response sentence for switching to the next topic following the response sentence for connecting to the next topic uttered before the topic change. Here, changing the topic includes not only changing the topic in the keyword table 31 but also changing the topic during the dialogue to another topic. In other words, if the topic during the dialogue is "weather", in addition to changing from "weather" to another topic (for example, "animals"), another topic within "weather" (for example, from today's weather topic to seasonal topic).

ここで、図5に、話題転換用テンプレートのバリエーションを示す。話題転換の際に用いる名詞ワードは、不知の単語に関連するものがよい。例えば、話題「天気」について、対話相手から名詞「花粉」が発話され、キーワードとしてその名詞ワードを含まない場合、不知の単語「花粉」に関連する名詞ワードを選択して話題を転換するとよい。不知の単語「花粉」は名詞ワード「花」を含むので、作成部222は、名詞ワードとして「花」を選択して、「ところで、花について興味がありますか。」などと話題転換を行う。 Here, FIG. 5 shows variations of the topic conversion template. The noun word used when changing the topic should be related to an unknown word. For example, regarding the topic "weather", if the conversation partner utters the noun "pollen" and the noun word is not included as a keyword, it is preferable to select a noun word related to the unknown word "pollen" to change the topic. Since the unknown word "pollen" includes the noun word "flower", the creating unit 222 selects "flower" as the noun word and changes the topic by saying, "By the way, are you interested in flowers?"

これに限らず、「花」について現在ホットな話題をインターネットにアクセスして検索して、「花」についてホットな話題の名詞ワードを選択してもよい。例えば、「花」について検索した結果、桜の開花について多数ヒットすれば、作成部222は、名詞ワードとして「桜」と「満開」を選択して、「それはさておき、今日は桜が満開らしいですよ。」などと話題転換を行う。
このように、対話相手からの発話中に不知の単語があっても、その単語に関連する名詞ワードを選択して話題を転換するようにする。しかし、上記「エルニーニョ現象」のように、不知の単語と関連する名詞ワードの選択が困難な場合は、関連性を考慮せずに名詞ワード(例えば、同一話題「天気」の中でまだ発話されていないキーワード、あるいは全くの別話題「動物」など)を選択して、話題転換用の応答文を作成すればよい。
Without being limited to this, it is also possible to access the Internet to search for currently hot topics about "flowers" and select noun words of hot topics about "flowers." For example, as a result of searching for "flower", if there are many hits about "cherry blossoms in bloom", the creation unit 222 selects "cherry blossom" and "full bloom" as noun words and says, "Aside from that, the cherry blossoms are in full bloom today. and so on, changing the topic.
In this way, even if there is an unknown word in the utterance of the conversation partner, a noun word related to that word is selected to change the topic. However, when it is difficult to select noun words related to unknown words, as in the case of the ``El Niño phenomenon'' above, noun words (for example, words that are still uttered in the same topic ``weather'') should be selected without considering the relevance. or a completely different topic such as "animals") and create a response sentence for changing the topic.

以上、作成部222は、応答可能な上記1)の場合、対話相手の音声に含まれるキーワード(名詞ワード・形容詞ワード)を用いた応答文を応答文テンプレートに基づいて作成する。一方、作成部222は、応答不能な上記2)の場合、次の話題につなげるための応答文(詫びと不知とからなる応答文)と話題転換用の応答文とを前置用テンプレート及び話題転換用テンプレートに基づいて作成する。 As described above, in the case of 1) above, in which a response is possible, the creation unit 222 creates a response sentence using keywords (noun words/adjective words) contained in the voice of the dialogue partner based on the response sentence template. On the other hand, in the case of the above 2) where it is impossible to respond, the creation unit 222 prepares a response sentence (response sentence consisting of apology and ignorance) for connecting to the next topic and a response sentence for changing the topic. Create based on a conversion template.

さて、図1に戻って、発話部223は、作成部222が作成した応答文をスピーカ41により発話する。具体的には、発話部223は、応答可能な上記1)の場合、キーワードに関連付けされた応答文を発話する。一方、発話部223は、応答不能な上記2)の場合、次の話題につなげるための応答文と話題転換用の応答文を順に発話する。 Now, returning to FIG. 1 , the utterance unit 223 utters the response sentence created by the creation unit 222 through the speaker 41 . Specifically, the utterance unit 223 utters a response sentence associated with the keyword in the case of 1) above in which a response is possible. On the other hand, the utterance unit 223 utters, in order, a response sentence for connecting to the next topic and a response sentence for topic change in the case of 2) above, in which the response is impossible.

次に、時間判定部224は、発話部223による発話に対して対話相手から所定時間内に応答があったか否か判定する。所定時間は対話相手からの応答が遅いか否かを測る尺度となる時間であって、例えば、5秒である。 Next, the time determination unit 224 determines whether or not there is a response from the dialogue partner to the utterance by the utterance unit 223 within a predetermined time. The predetermined time is a measure of whether or not the response from the conversation partner is slow, and is, for example, 5 seconds.

内容判定部225は、発話部223による発話内容が応答に時間を要する内容か否か判定する。この判定は、図6の対話相手が応答に要する時間の目安に基づいて行う。すなわち、図6のテーブルでは、図3の応答文テンプレートのカテゴリ(共感、自己開示、情報提供、質問)に応じて、対話相手が応答に要する時間の長短が対応付けられる。一般的に、質問は、対話相手が考える必要があるので応答時間が長くなる。また、話題転換のカテゴリについては、対話相手が転換後の話題について興味があるか否か(話したいか否か)は、Yes又はNoで応答できるクローズド・クエスチョンであるから応答時間の目安は短く設定される。 The content determination unit 225 determines whether or not the content of the utterance by the utterance unit 223 requires time for response. This determination is made based on the estimated time required for the dialogue partner to respond as shown in FIG. That is, in the table of FIG. 6, the length of time required for the dialogue partner to respond is associated with the category of the response sentence template of FIG. 3 (empathy, self-disclosure, information provision, question). In general, questions increase response time because they require the interlocutor to think. Regarding the topic change category, whether or not the dialogue partner is interested in the changed topic (whether or not they want to talk) is a closed question that can be answered with Yes or No, so the standard response time is short. set.

次に、意思確認部226は、時間判定部224と内容判定部225との判定結果に応じて、対話相手に対話継続意思を確認する。対話継続意思を確認する場合は、時間判定部224が所定時間内に応答がないと判定し、かつ、内容判定部225が発話内容が応答に時間を要さない内容と判定した場合である。例えば、対話制御装置10の発話内容が応答に時間がかからない自己開示であるにもかかわらず、対話相手の応答時間が5秒以上かかった場合などである。 Next, the intention confirming unit 226 confirms the conversation partner's intention to continue the dialogue according to the determination results of the time determining unit 224 and the content determining unit 225 . When confirming the intention to continue the dialogue, the time determination unit 224 determines that there is no response within a predetermined time, and the content determination unit 225 determines that the content of the utterance does not require time for a response. For example, even though the content of the utterance of the dialogue control device 10 is self-disclosure, which does not take much time to respond, the response time of the dialogue partner is 5 seconds or more.

意思確認部226は、対話継続意思を確認する場合、確認用DB324が記憶する図7の継続意思確認用のテンプレートを参照して、応答文作成後、スピーカ41を介して発話する。
一方、対話継続意思を確認しない場合は、a)時間判定部224が所定時間内に応答があると判定した場合、又は、b)時間判定部224が所定時間内に応答がないと判定すると同時に内容判定部225が発話内容が応答に時間を要する内容と判定した場合、の何れか一方である。
When confirming the intention to continue the dialogue, the intention confirmation unit 226 refers to the template for confirming the intention to continue dialogue shown in FIG.
On the other hand, when the intention to continue the dialogue is not confirmed, a) when the time determination unit 224 determines that there is a response within the predetermined time, or b) at the same time when the time determination unit 224 determines that there is no response within the predetermined time. Either when the content determination unit 225 determines that the content of the utterance requires time for response.

以上、複数のテンプレートを参照しながら、対話制御装置10の制御部20の機能について説明した。以下では、これら各機能による対話制御処理について、図8のフローチャートを参照しながら説明する。この対話制御処理は、対話制御装置10の対話機能がオンされた状態で、カメラ42が対話相手を捉えたことをトリガに開始される。 The functions of the control unit 20 of the interaction control device 10 have been described above with reference to a plurality of templates. The interaction control processing by each of these functions will be described below with reference to the flowchart of FIG. This dialogue control process is triggered when the dialogue partner is captured by the camera 42 while the dialogue function of the dialogue control device 10 is turned on.

まず、制御部20は、話題を選択して発話する(ステップS10)。このステップにおいて、応答可能性を高めるためにキーワードテーブル(この実施形態では一例であるキーワードテーブル31)の各話題の何れかに対話のトピックを絞る。例えば、制御部20は、ランダムに選択した話題「食べ物」について、「食べ物について話しましょう。」と発話する。 First, the control unit 20 selects a topic and speaks (step S10). In this step, the topic of dialogue is narrowed down to one of the topics in the keyword table (keyword table 31, which is an example in this embodiment) in order to increase the possibility of response. For example, the control unit 20 utters "Let's talk about food" for the randomly selected topic "food".

次に、判定部221は、対話相手からの発話を音声認識して(ステップS11)、対話相手の発話に対して応答可能か否か判定する(ステップS12)。ここでは、判定部221は、テキスト化した音声を形態素解析して、キーワードテーブル31が含むキーワード(名詞ワード・形容詞ワード)があるか否か判定する。 Next, the determination unit 221 recognizes the speech from the conversation partner (step S11), and determines whether or not it is possible to respond to the conversation partner's speech (step S12). Here, the determination unit 221 morphologically analyzes the text-converted speech and determines whether or not there is a keyword (noun word/adjective word) included in the keyword table 31 .

なお、音声認識した結果、対話相手から「その話題については興味がない。」「この話題については話したくない。」などと明らかに選択した話題について話す意思がなければ、制御部20は、ステップS10に戻って再度話題を選択する、あるいは話題を選択せずに対話相手が何か発話するまで待機すればよい。 As a result of speech recognition, if the conversation partner clearly has no intention to talk about the selected topic, such as "I'm not interested in that topic" or "I don't want to talk about this topic", the control unit 20 proceeds to step It is possible to return to S10 and select a topic again, or wait until the conversation partner speaks something without selecting a topic.

さて、ここで、対話相手の発話に対して応答可能な場合(ステップS12;Yes)、すなわち発話中にキーワードが含まれている場合、作成部222は、キーワードに関連付けされた応答文を作成する(ステップS13)。例えば、話題「食べ物」について、対話相手から名詞ワード「ラーメン」が発話された場合、作成部222は、共感用の応答文テンプレートで「ラーメンおいしいですよね。私も好きです。」、自己開示用の応答文テンプレートで「ラーメンよりうどんの方が好きです。」、質問用の応答文テンプレートで「何味のラーメンが好きですか。」といった具合に応答文を作成する。何れの応答文を作成するかは、対話履歴や優先順位、文脈に応じて作成すればよい。 Now, if it is possible to respond to the dialogue partner's utterance (step S12; Yes), that is, if the keyword is included in the utterance, the creation unit 222 creates a response sentence associated with the keyword. (Step S13). For example, when the conversation partner utters the noun word "ramen" on the topic "food", the creation unit 222 creates a response sentence template for empathy, "ramen is delicious, isn't it? I like it too." For the response sentence template for the question, "I prefer udon to ramen." Which response sentence should be created can be determined according to the dialogue history, priority, and context.

一方、対話相手の発話に対して応答可能でない場合(ステップS12;No)、すなわち発話中にキーワードが含まれていない場合、作成部222は、次の話題につなげるための応答文を作成し(ステップS14)、続いて話題転換用の応答文を作成する(ステップS15)。例えば、話題「食べ物」について、不知の単語「アボガド」が発話された場合、作成部222は、前置用テンプレートと話題転換用のテンプレートにより、例えば、「ごめんなさい。アボガドについては詳しくありません。」「ところで、動物について興味ありますか。」と応答文を作成する。なお、不知の単語「アボガド」については関連する名詞ワードの選択が困難なので関連性を考慮せずに次の話題である別の話題「動物」に話題転換している。 On the other hand, if it is not possible to respond to the dialogue partner's utterance (step S12; No), that is, if the keyword is not included in the utterance, the creation unit 222 creates a response sentence to lead to the next topic ( Step S14), and then create a response sentence for topic change (step S15). For example, when an unknown word "avocado" is uttered for the topic "food", the creation unit 222 uses the introductory template and the topic change template to generate, for example, "I'm sorry. I'm not familiar with avocado." By the way, are you interested in animals?" As for the unknown word "avocado", it is difficult to select a related noun word, so the topic is changed to the next topic "animal" without considering the relevance.

ステップS13又はステップS15の後、発話部223は、作成した応答文を発話する(ステップS16)。続いて、時間判定部224は、対話相手から所定時間内に応答があったか否か判定する(ステップS17)。ここで、対話相手から所定時間内に応答があれば(ステップS17;Yes)、ステップS11に戻って対話相手からの発話を音声認識して対話を続ける。 After step S13 or step S15, the utterance unit 223 utters the created response sentence (step S16). Subsequently, the time determination unit 224 determines whether or not there is a response from the dialogue partner within a predetermined time (step S17). Here, if there is a response from the conversation partner within a predetermined period of time (step S17; Yes), the process returns to step S11 to continue the conversation by recognizing the speech from the conversation partner.

ここでの対話相手からの発話は、単なる相づちやYes・Noの回答である可能性がある。例えば、「ラーメンおいしいですよね。私も好きです」に対して「へーそうなんだ。」や「動物について興味ありますか。」に対して「興味あるよ。」といった類いの回答である。この場合、キーワードの有無判定ができないので、対話制御装置10は適宜ポーズを入れて対話相手にさらなる発話を促すか、あるいは質問等を行って対話相手からの発話を促すようにするとよい。 The utterances from the interlocutor here may be mere back-and-forth or Yes/No answers. For example, "Ramen is delicious, isn't it? I also like it." In this case, since it is not possible to determine the presence or absence of a keyword, the dialogue control device 10 may appropriately insert a pause to prompt the dialogue partner to speak further, or ask a question to prompt the dialogue partner to speak.

一方、対話相手から所定時間内に応答がなければ(ステップS17;No)、内容判定部225は、ステップS16の発話が応答に時間のかかる内容か否か判定する(ステップS18)。ここでは、内容判定部225は、図6のテーブルを参照して、発話内容が応答に時間がかかるか否か判定する。すなわち、上記例では、質問である「何味のラーメンが好きですか。」以外の共感・自己開示・話題転換の発話に対する応答は時間がかからないと判定する。 On the other hand, if there is no response from the dialogue partner within the predetermined time (step S17; No), the content determination unit 225 determines whether or not the utterance in step S16 takes a long time to respond (step S18). Here, the content determination unit 225 refers to the table in FIG. 6 and determines whether or not the content of the utterance takes time to respond. That is, in the above example, it is determined that responses to utterances of sympathy, self-disclosure, and topic changes other than the question "What flavor of ramen do you like?" do not take much time.

ここで、ステップS16の発話が応答に時間のかかる内容であれば(ステップS18;Yes)、ステップS11に戻る。対話制御装置10から「何味のラーメンが好きですか。」との質問に対して、所定時間経過後(例えば、5秒経過後)に対話相手から応答があったような場合である。
一方、ステップS16の発話が応答に時間のかかる内容でなければ(ステップS18;No)、意思確認部226は、対話継続意思を確認する(ステップS19)。例えば、共感用の応答文テンプレート「ラーメンおいしいですよね。私も好きです。」や話題転換用の応答文テンプレート「ところで、動物について興味ありますか。」で応答した後、所定時間経過内に応答がなかった場合である。例えば、対話相手が沈黙した場合や対話相手から所定時間経過後に「動物は興味ないな。」などと応答があった場合である。
Here, if the speech in step S16 takes a long time to respond (step S18; Yes), the process returns to step S11. This is the case where the dialogue partner responds to the question "What flavor of ramen do you like?"
On the other hand, if the utterance in step S16 does not take a long time to respond (step S18; No), the intention confirmation unit 226 confirms the dialogue continuation intention (step S19). For example, after responding with a response sentence template for sympathy "Ramen is delicious, isn't it? I like it too." This is the case when there was no For example, when the conversation partner is silent, or when a response such as "I'm not interested in animals" is received from the conversation partner after a predetermined time has elapsed.

このような場合、意思確認部226は、図7の継続意思確認用のテンプレートに基づいて、例えば、「会話を続けたいですか。」と発話し、対話を継続するか否か判定する(ステップS20)。対話相手から「会話を続けたくない。」など会話を継続しない意思表示があれば、対話を継続しないと判定して(ステップS20;No)、処理を終了する。一方、対話相手から「会話を続けたい。」など会話を継続する意思表示があれば、対話を継続すると判定して(ステップS20;Yes)、ステップS15に戻って、作成部222は、次の話題に転換するための話題転換用の応答文を作成する。ここでは、既出の話題(上記例だと、「食べ物」と「動物」)以外の話題で話題転換を図るようにする。これにより、ステップS16において、発話部223は、意思確認部226が対話継続意思を確認した結果、対話相手が対話を継続する意思を示した場合、次の話題に転換するための話題転換用の応答文を発話する。 In such a case, the intention confirmation unit 226 utters, for example, "Do you want to continue the conversation?" S20). If the conversation partner indicates an intention not to continue the conversation, such as "I do not want to continue the conversation", it is determined that the conversation will not be continued (step S20; No), and the process ends. On the other hand, if there is an indication of intention to continue the conversation, such as "I want to continue the conversation" from the conversation partner, it is determined to continue the conversation (step S20; Yes), returning to step S15, the creation unit 222 performs the following: Create a response sentence for changing the topic to change the topic. Here, the topic is changed to a topic other than the topics already mentioned ("food" and "animals" in the above example). Accordingly, in step S16, when the intention confirming unit 226 confirms the dialogue continuation intention, the utterance unit 223, when the dialogue partner indicates the intention to continue the dialogue, generates a topic change topic for changing to the next topic. Say the response sentence.

以上が対話制御装置10による対話制御処理である。以下では、この対話制御処理による具体例1を参照しつつ説明する。なお、対話は、図1の対話制御装置10と対話相手との間で行われることを想定し、対話は時系列に沿って(1)(2)などと符号を付す。 The dialog control processing by the dialog control device 10 has been described above. In the following, a description will be given with reference to specific example 1 of this dialogue control process. It is assumed that the dialogue takes place between the dialogue control device 10 of FIG. 1 and the dialogue partner, and the dialogues are denoted by (1), (2), etc. in chronological order.

(具体例1)
(1)対話制御装置10:「天気について話しをしましょう。」
(2)対話相手:「いいよ。今日って涼しい?」
(3)対話制御装置10:「今日の最高気温は、○○℃です。」
(4)対話相手:「今日も涼しいね。」
(5)対話制御装置10:「最近、涼しいですよね。」
(Specific example 1)
(1) Dialogue control device 10: "Let's talk about the weather."
(2) Conversation partner: "Okay. Is it cool today?"
(3) Dialogue control device 10: "Today's maximum temperature is ○○°C."
(4) Conversation partner: "It's cool today, isn't it?"
(5) Dialogue control device 10: "It's been cool lately, isn't it?"

(6)対話相手:「そうだね。今日って花粉が多いかな?」
(7)対話制御装置10:「すみません。花粉については詳しくありません。」
(8)対話制御装置10:「それはさておき、今日は桜が満開らしいですよ。」
(9)対話相手:「そうなんだ、花見に行きたいな。」
(10)対話制御装置10:「ごめんなさい。花見については聞いたことがありません。」
(6) Conversation partner: "Yes. Is there a lot of pollen today?"
(7) Dialogue control device 10: "I'm sorry. I don't know much about pollen."
(8) Dialogue control device 10: "Aside from that, it seems that the cherry blossoms are in full bloom today."
(9) Conversation partner: "Yes, I want to go see cherry blossoms."
(10) Dialogue control device 10: "I'm sorry. I've never heard of Hanami."

(11)対話制御装置10:「ところで、花について興味ありますか。」
(12)対話相手:「あまり興味ないな・・・」
(13)対話制御装置10:「会話を続けたいですか?」
(14)対話相手:「うん。」
(15)対話制御装置10:「ところで、・・・」
(11) Dialogue controller 10: "By the way, are you interested in flowers?"
(12) Conversation partner: "I'm not very interested..."
(13) Dialogue controller 10: "Would you like to continue the conversation?"
(14) Dialogue partner: "Yes."
(15) Dialogue control device 10: "By the way..."

(15)以降も対話は続く。この具体例1では、(1)において話題「天気」を選択して発話し、(3)において対話相手からの質問をトリガに検索した結果(最高気温)を情報提供し、(5)において対話相手からの形容詞ワード「涼しい」を用いて共感を示す。ここまでは、対話相手からの発話に対して応答可能な例である(ステップS11乃至13、16及び17のループ)。 (15) The dialogue continues after that. In this specific example 1, in (1) the topic "weather" is selected and uttered, in (3) the search result (maximum temperature) triggered by a question from the dialogue partner is provided, and in (5) the dialogue is performed. Show empathy by using the adjective word "cool" from the other party. Up to this point, it is an example in which it is possible to respond to an utterance from a dialogue partner (loop of steps S11 to 13, 16 and 17).

(7)において対話相手からの発話された名詞ワード「花粉」はキーワードに含まれないので、次の話題につなげるための応答文で詫びと不知を表明する。続いて、(8)において不知の単語「花粉」に関連する話題「花」であって、かつ、現在ホットな話題である桜満開を用いて話題転換を行う(ステップS14乃至ステップS16)。 In (7), since the noun word "pollen" uttered by the dialogue partner is not included in the keyword, the response sentence to lead to the next topic expresses apology and ignorance. Subsequently, in (8), the topic is changed using the topic "flower" related to the unknown word "pollen" and the currently hot topic "cherry blossoms in full bloom" (steps S14 to S16).

続いて、(10)において対話相手から発話された名詞ワード「花見」はキーワードに含まれないので、次の話題につなげるための応答文で詫びと不知を表明する。続いて、(11)において不知の単語「花見」に関連する話題「花」について話題転換を行う。ここまでは、対話相手からの発話に対して応答可能でない場合である(ステップS11、12、14乃至17のループ)。 Subsequently, since the noun word "hanami" uttered by the conversational partner in (10) is not included in the keywords, the speaker expresses apology and ignorance in a response sentence to lead to the next topic. Subsequently, in (11), the subject is changed to the topic "flower" related to the unknown word "hanami". Up to this point, it is the case where it is not possible to respond to the speech from the dialogue partner (loop of steps S11, 12, 14 to 17).

続いて、(11)における「花」の話題転換に対して、(12)で対話相手からの発話「あまり興味ないな・・・」が所定時間経過後の応答であったとする(ステップS17及びステップS18で何れもNo)。このため、(13)において対話相手に対話継続意思を確認し(ステップS19)、(14)で対話相手が継続意思を示したので、対話制御装置10は、話題「天気」「花」以外の話題で話題転換を行って対話を続ける。 Subsequently, in response to the topic change of "flower" in (11), it is assumed that the utterance "I'm not very interested..." from the dialogue partner in (12) is a response after a predetermined time has elapsed (steps S17 and No in step S18). Therefore, in (13), the dialogue partner confirms the dialogue continuation intention (step S19), and since the dialogue partner indicates the dialogue continuation intention in (14), the dialogue control device 10 Continue the dialogue by switching topics.

以上、この対話制御装置10によれば、各機能(判定部221、作成部222、発話部223)を備えたことにより、対話相手からの発話に応答可能でない場合、次の話題につなげるための応答文を発話する。このため、唐突に話題を変えたり、意味不明な受け答えをすることがない。したがって、対話相手からすると話しの脈絡から逸脱した別の話しへ急に転換されることがないので、対話相手が違和感を覚えずに話題を遷移することができるという効果を奏する。 As described above, according to the dialogue control device 10, by providing each function (the determination unit 221, the creation unit 222, and the utterance unit 223), when it is not possible to respond to the utterance from the dialogue partner, it is possible to connect to the next topic. Say the response sentence. For this reason, there is no sudden change of topic or an incomprehensible answer. Therefore, the dialogue partner is not abruptly switched to another conversation that deviates from the context of the conversation, so that the dialogue partner can change the topic without feeling uncomfortable.

また、作成部222は、次の話題につなげるための応答文として、話題転換を対話相手に示唆する文を作成する。この実施形態では、一例として、不知又は詫びを表明する応答文を作成する。詫びを入れることで対話相手の心情を害さないようにしつつ不知を表明することで対話相手が話題変更を推測できる。このため、前置きとして話題転換前にワンクッション入れることで、対話制御装置10にとって都合がいい話題に変更することができる。 In addition, the creating unit 222 creates a sentence suggesting a change of topic to the dialogue partner as a response sentence for connecting to the next topic. In this embodiment, as an example, a response sentence expressing ignorance or apology is created. By expressing ignorance while avoiding hurting the feelings of the dialogue partner by apologizing, the dialogue partner can guess the topic change. Therefore, by inserting one cushion as an introduction before changing the topic, it is possible to change the topic to a convenient one for the dialogue control device 10 .

また、作成部222は、判定部221が応答可能と判定した場合、すなわち対話相手の発話中にキーワードが含まれていると判定した場合、キーワードに関連付けされた応答文を作成する。このため、キーワードが含まれている場合、対話相手は対話制御装置10との会話を数ターン楽しむことができる。 Further, when the determination unit 221 determines that a response is possible, that is, when it determines that the keyword is included in the dialogue partner's speech, the creation unit 222 creates a response sentence associated with the keyword. Therefore, when a keyword is included, the dialogue partner can enjoy several turns of conversation with the dialogue control device 10 .

また、作成部222は、判定部221が応答可能でないと判定した場合、対話相手からの発話中に含まれる単語(特に、不知の単語)に関連する話題に転換するための話題転換用の応答文を作成する。このため、対話相手からすると自然な流れで関連する別話題に変更されるので、対話相手に違和感を感じさせることなく話題転換をすることができる。また、別話題の変更に際して、その話題の中でも現在旬な話題に関連するキーワード(上述の例だと「桜」と「満開」)を選択して話題転換するようにしている。このため、対話相手が気になる最新の話題に切り替えることができるので、対話相手が飽きずに会話を楽しむことができる。 Further, when the determination unit 221 determines that the response is not possible, the creation unit 222 creates a topic change response for switching to a topic related to a word (especially an unknown word) included in the utterance of the conversation partner. create a sentence. For this reason, the topic is changed to another related topic in a natural flow from the point of view of the conversation partner, so that the topic can be changed without making the conversation partner feel uncomfortable. Also, when changing to another topic, keywords related to current seasonal topics (“cherry blossom” and “full bloom” in the above example) are selected from among the topics to change the topic. Therefore, the conversation partner can switch to the latest topic of interest, so that the conversation partner can enjoy the conversation without getting bored.

また、対話制御装置10は、各機能(時間判定部224、内容判定部225、意思確認部226)を備えたことにより、時間判定部224と内容判定部225の判定結果に応じて、対話相手に対話継続意思を確認するようにしている。すなわち、意思確認部226は、対話制御装置10の発話内容が応答に時間を要さない内容であるにも関わらず、対話相手の応答が遅い(所定時間内に応答がない)場合に、対話継続意思を確認する。 In addition, the dialogue control device 10 is provided with each function (a time determination unit 224, a content determination unit 225, and an intention confirmation unit 226). to confirm their intention to continue dialogue. In other words, the intention confirming unit 226 determines whether the dialogue partner is slow to respond (no response within a predetermined time) even though the utterance content of the dialogue control device 10 does not require much time to respond. Confirm intention to continue.

ここで、対話相手の応答が遅い場合として、対話相手が応答内容を考えなければならない場合がある。すなわち、対話制御装置10が対話相手にYes又はNoで回答できないような質問(オープン・クエスチョン)をするような場合、対話相手はいったん考えてから応答する必要がある。この場合、対話相手の応答が遅いからといって即座に対話継続意思を確認すると対話相手の心情を害する。本発明によれば、対話相手の応答が遅い場合でも対話制御装置10の発話内容が応答に時間を要するか否かに応じて対話継続意思の確認を行う。このため、単に応答が遅いと即座に対話継続意思を確認する場合よりも精度よく、かつ対話相手の心情を害さずに確認を行うことができる。 Here, as a case where the response of the dialogue partner is slow, there is a case where the dialogue partner has to consider the content of the response. In other words, when the dialogue control device 10 asks a dialogue partner a question that cannot be answered with Yes or No (an open question), the dialogue partner needs to think once before responding. In this case, immediately confirming the dialogue continuation intention just because the dialogue partner's response is slow hurts the dialogue partner's feelings. According to the present invention, even if the response of the dialogue partner is slow, the intention to continue the dialogue is confirmed according to whether or not the utterance content of the dialogue control device 10 requires time for the response. For this reason, it is possible to confirm the intention to continue the dialogue with higher accuracy and without offending the feelings of the dialogue partner than in the case of immediately confirming the intention to continue the dialogue if the response is delayed.

以上で実施形態の説明を終了するが、上記実施形態は一例であり、対話制御装置10の構成や対話制御処理の内容などが上記実施形態で説明したものに限られないことはもちろんである。 This completes the description of the embodiment, but the above embodiment is an example, and the configuration of the dialogue control device 10 and the contents of the dialogue control processing are not limited to those described in the above embodiment.

上述した実施形態においては、対話制御装置10の応答可能性を高める観点から、制御部20は最初に話題を特定した上で対話を開始するようにしたが、これに限られない。例えば、話題を選択して発話するステップS10をスキップして、対話相手からの発話を音声認識してもよい。この場合、対話相手が話題に関連しない発話をして応答可能性が下がったとしても、前置きした上で話題転換するので対話相手が違和感を覚えることなく、対話を継続することができる。 In the above-described embodiment, from the viewpoint of increasing the responsiveness of the dialogue control device 10, the control unit 20 first identifies the topic and then starts the dialogue, but the present invention is not limited to this. For example, step S10 of selecting a topic and speaking may be skipped, and speech recognition may be performed on the conversation partner's speech. In this case, even if the conversational partner makes an utterance unrelated to the topic and the response possibility is lowered, the conversational partner can continue the dialogue without feeling uncomfortable because the topic is changed after the introduction.

上述した実施形態においては、キーワードテーブル31は話題毎に名詞ワード・形容詞ワードを対応付けるようにしたが、これに限られない。例えば、話題毎に動詞ワード(数学であれば動詞「解く」など)を対応付けておき、この動詞を用いた応答文テンプレートを用意しておいてもよい。また、話題毎のキーワードに限らず、日常的に行うシナリオ毎にキーワードを対応付けて対話制御装置10の対話のバリエーションを増やしてもよい。例えば、シナリオ「あいさつ」に、キーワード「おはよう。」「こんにちは。」「こんばんは。」を対応付けておき、それらに関連付けられた応答文テンプレート(「おはよう」に対して「おはようございます。」など)を用意しておくとよい。 In the above-described embodiment, the keyword table 31 associates noun words and adjective words with each topic, but is not limited to this. For example, each topic may be associated with a verb word (such as the verb "to solve" in mathematics), and a response sentence template using this verb may be prepared. Further, the variation of the dialogue of the dialogue control device 10 may be increased by associating the keyword with not only the keyword for each topic but also for each scenario performed on a daily basis. For example, a scenario "greeting" is associated with keywords "good morning." "hello." "good evening." should be prepared.

また、上述した実施形態においては、図6に示すようにカテゴリに応じて対話相手が応答に要する時間の長短を設定したが、これに限られない。図6は一例であって、さらに細かく長短を設定してもよい。例えば、カテゴリ「質問」についてオープン・クエスチョンであれば「長」、クローズド・クエスチョンであれば「短」、を対応付けてもよい。また、共感や自己開示の内容によっては、時間を長く設定してもよい。要は、時間の長短の設定は、対話制御装置10の発話内容で定まる設計事項である。 Further, in the above-described embodiment, as shown in FIG. 6, the length of time required for the dialogue partner to respond is set according to the category, but the present invention is not limited to this. FIG. 6 is an example, and the length may be set more finely. For example, the category "question" may be associated with "long" for open questions and "short" for closed questions. Also, depending on the content of sympathy and self-disclosure, the time may be set longer. In short, setting of length of time is a design matter determined by the contents of speech of the dialogue control device 10 .

また、「対話」は音声を使用して互いに応答する例を説明したが、キーボードとディスプレイを使用して文字による対話を行うようにしても良い。例えば、対話制御装置10をPCなどに組み込んで、ユーザ(対話相手)とPC(対話制御装置10)の間で上述したような具体例1の会話を文字によるチャット感覚で楽しむようにしてもよい。この場合、音声の韻律による感情推定ができないが、カメラ42を利用した対話相手の表情、対話文章の内容(感情の良し悪しを示す単語による感情推定)、あるいはキーボードタッチの速度や力強さなどから感情推定を行うことが可能である。 Also, although the example of "dialogue" in which voices are used to respond to each other has been described, it is also possible to use a keyboard and a display to perform a textual dialogue. For example, the dialogue control device 10 may be incorporated into a PC or the like so that the conversation of the specific example 1 described above can be enjoyed between the user (dialogue partner) and the PC (dialogue control device 10) as if it were a text chat. In this case, emotions cannot be estimated based on the prosody of the voice. It is possible to perform emotion estimation from

また、この発明の対話制御装置10の各機能は、通常のPC等のコンピュータによっても実施することができる。具体的には、上記実施形態では、対話制御装置10が行う対話制御処理のプログラムが、制御部20のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びMO(Magneto-Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。さらに、この発明の対話制御装置10をロボットに搭載すれば、コミュニケーション機能を備えたロボットを実現できる。 Each function of the dialogue control device 10 of the present invention can also be implemented by a computer such as a normal PC. Specifically, in the above-described embodiment, the program for the dialogue control processing performed by the dialogue control device 10 is pre-stored in the ROM of the control unit 20 . However, the program is distributed by storing it in a computer-readable recording medium such as a flexible disk, CD-ROM (Compact Disc Read Only Memory), DVD (Digital Versatile Disc), MO (Magneto-Optical Disc), etc. may be installed in the computer to configure a computer capable of realizing each of the functions described above. Furthermore, by installing the interaction control device 10 of the present invention in a robot, a robot having a communication function can be realized.

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to such specific embodiments, and the present invention includes the invention described in the claims and their equivalents. be The invention described in the original claims of the present application is appended below.

(付記1)
対話相手からの発話に対して応答可能か否か判定する判定手段と、
前記判定手段が応答可能でないと判定した場合、次の話題につなげるための応答文を発話する発話手段と、
を備えたことを特徴とする対話制御装置。
(Appendix 1)
Determination means for determining whether or not it is possible to respond to an utterance from a dialogue partner;
an utterance means for uttering a response sentence for connecting to the next topic when the determination means determines that the response is not possible;
A dialog control device comprising:

(付記2)
前記判定手段が応答可能でないと判定した場合、前記次の話題につなげるための応答文を作成する作成手段をさらに備え、
前記発話手段は、前記作成手段が作成した前記応答文を発話する、
ことを特徴とする付記1に記載の対話制御装置。
(Appendix 2)
Further comprising a creation means for creating a response sentence for connecting to the next topic when the determination means determines that the response is not possible,
the utterance means utters the response sentence created by the creation means;
The dialogue control device according to appendix 1, characterized by:

(付記3)
前記作成手段は、前記次の話題につなげるための応答文として、話題転換を前記対話相手に示唆する文を作成する、
ことを特徴とする付記2に記載の対話制御装置。
(Appendix 3)
The creation means creates a sentence suggesting a topic change to the dialogue partner as a response sentence for connecting to the next topic.
The interaction control device according to appendix 2, characterized by:

(付記4)
前記話題転換を対話相手に示唆する文は、不知又は詫びを表明する文である、
ことを特徴とする付記3に記載の対話制御装置。
(Appendix 4)
The sentence suggesting the change of topic to the dialogue partner is a sentence expressing ignorance or apology,
The interaction control device according to appendix 3, characterized by:

(付記5)
前記判定手段は、前記対話相手からの発話中にキーワードが含まれる場合に応答可能と判定し、該キーワードが含まれない場合に応答可能でないと判定し、
前記作成手段は、前記判定手段が応答可能と判定した場合、前記キーワードに関連付けされた応答文を作成する、
ことを特徴とする付記2乃至4の何れか一つに記載の対話制御装置。
(Appendix 5)
The determination means determines that a response is possible when a keyword is included in the speech from the dialogue partner, and determines that a response is not possible when the keyword is not included,
The creation means creates a response sentence associated with the keyword when the determination means determines that a response is possible.
5. The dialogue control device according to any one of appendices 2 to 4, characterized by:

(付記6)
前記作成手段は、前記判定手段が応答可能でないと判定した場合、前記次の話題につなげるための応答文に加えて、該次の話題に転換するための話題転換用の応答文を作成し、
前記発話手段は、前記次の話題につなげるため応答文の発話に続けて、前記話題転換用の応答文を発話する、
ことを特徴とする付記2乃至5の何れか一つに記載の対話制御装置。
(Appendix 6)
When the determination means determines that the response is not possible, the creation means creates a response sentence for switching to the next topic in addition to the response sentence for connecting to the next topic,
The utterance means utters the response sentence for changing the topic following the utterance of the response sentence for connecting to the next topic.
6. The dialogue control device according to any one of Appendices 2 to 5, characterized by:

(付記7)
前記話題転換用の応答文により転換する前記次の話題は、前記対話相手からの発話中に含まれる単語に関連する話題である、
ことを特徴とする付記6に記載の対話制御装置。
(Appendix 7)
The next topic to be changed by the topic change response sentence is a topic related to the words included in the utterance from the conversation partner.
The interaction control device according to appendix 6, characterized by:

(付記8)
前記対話制御装置は、さらに、
前記発話手段による発話に対して前記対話相手から所定時間内に応答があったか否か判定する時間判定手段と、
前記発話手段による発話内容が応答に時間を要する内容か否か判定する内容判定手段と、
前記時間判定手段と前記内容判定手段との判定結果に応じて、前記対話相手に対話継続意思を確認する意思確認手段と、
を備えたことを特徴とする付記1乃至7の何れか一つに記載の対話制御装置。
(Appendix 8)
The interaction control device further comprises:
time determination means for determining whether or not the dialogue partner has responded to the utterance by the utterance means within a predetermined time;
content determination means for determining whether or not the content of the utterance by the utterance means requires time for response;
intention confirmation means for confirming the dialogue continuation intention with the dialogue partner according to the judgment results of the time judgment means and the content judgment means;
8. A dialogue control device according to any one of appendices 1 to 7, characterized by comprising:

(付記9)
前記意思確認手段は、前記時間判定手段が前記所定時間内に応答がないと判定し、かつ、前記内容判定手段が前記発話内容が応答に時間を要さない内容と判定した場合、前記対話継続意思を確認する、
ことを特徴とする付記8に記載の対話制御装置。
(Appendix 9)
The intention confirmation means continues the dialogue when the time determination means determines that there is no response within the predetermined time and the content determination means determines that the content of the utterance does not require time for a response. confirm your intentions
The dialogue control device according to appendix 8, characterized by:

(付記10)
前記発話手段は、前記意思確認手段が前記対話継続意思を確認した結果、前記対話相手が対話を継続する意思を示した場合、前記次の話題に転換するための話題転換用の応答文を発話する、
ことを特徴とする付記8又は9に記載の対話制御装置。
(Appendix 10)
When the intention confirming means confirms the intention to continue the dialogue and the dialogue partner indicates the intention to continue the dialogue, the utterance means utters a topic change response sentence for changing to the next topic. do,
A dialogue control device according to appendix 8 or 9, characterized in that:

(付記11)
前記意思確認手段は、前記時間判定手段が前記所定時間内に応答があると判定した場合、又は、前記時間判定手段が前記所定時間内に応答がないと判定すると同時に前記内容判定手段が前記発話内容が応答に時間を要する内容と判定した場合、前記対話継続意思を確認せず、
前記判定手段は、前記意思確認手段が前記対話継続意思を確認しない場合、前記対話相手からの応答に対して応答可能か否か判定する、
ことを特徴とする付記8乃至10の何れか一つに記載の対話制御装置。
(Appendix 11)
The intention confirmation means is configured such that when the time determination means determines that there is a response within the predetermined time, or at the same time that the time determination means determines that there is no response within the predetermined time, the content determination means confirms the utterance. If it is determined that the content requires time to respond, it does not confirm the intention to continue the dialogue,
If the intention confirmation means does not confirm the intention to continue the dialogue, the determination means determines whether or not it is possible to respond to a response from the dialogue partner.
11. The dialogue control device according to any one of appendices 8 to 10, characterized in that:

(付記12)
対話相手からの発話に対して応答可能か否か判定する判定ステップと、
前記判定ステップにおいて応答可能でないと判定した場合、次の話題につなげるための応答文を発話する発話ステップと、
を備えたことを特徴とする対話制御方法。
(Appendix 12)
a determination step of determining whether or not it is possible to respond to an utterance from the conversation partner;
an utterance step of uttering a response sentence for connecting to the next topic when it is determined that the response is not possible in the determination step;
A dialogue control method characterized by comprising:

(付記13)
コンピュータを、
対話相手からの発話に対して応答可能か否か判定する判定手段、
前記判定手段が応答可能でないと判定した場合、次の話題につなげるための応答文を発話する発話手段、
として機能させるためのプログラム。
(Appendix 13)
the computer,
Determination means for determining whether or not it is possible to respond to an utterance from the conversation partner;
utterance means for uttering a response sentence for connecting to the next topic when the determination means determines that the response is not possible;
A program to function as

10…対話制御装置、20…制御部、221…判定部、222…作成部、223…発話部、224…時間判定部、225…内容判定部、226…意思確認部、30…記憶部、31…キーワードテーブル、32…対話用DB、321…応答用DB、322…前置用DB、323…話題転換用DB、324…確認用DB、40…マイク、41…スピーカ、42…カメラ DESCRIPTION OF SYMBOLS 10... Dialogue control apparatus 20... Control part 221... Determination part 222... Creation part 223... Speech part 224... Time determination part 225... Contents determination part 226... Intention confirmation part 30... Storage part 31 Keyword table 32 Dialogue DB 321 Response DB 322 Introduction DB 323 Topic change DB 324 Confirmation DB 40 Microphone 41 Speaker 42 Camera

Claims (5)

対話相手からの発話に所定のキーワードが含まれるか否かに基づいて、前記発話に対して応答可能か否かを判定する判定手段と、
前記判定手段により前記発話に前記所定のキーワードが含まれることで応答可能と判定した場合、前記所定のキーワードを用いた応答文を作成する一方、前記判定手段により前記所定のキーワードが含まれないことで応答可能でないと判定した場合であって前記対話相手からの発話に不知の単語が含まれる場合は、前記不知の単語に関連するキーワードを用いて、次に話題に転換するための話題転換用の応答文を作成する作成手段と、
前記作成手段が作成した応答文を発話する発話手段と、
を備えたことを特徴とする対話制御装置。
determination means for determining whether or not the utterance from the conversation partner includes a predetermined keyword, and whether or not it is possible to respond to the utterance;
When it is determined by the determining means that a response is possible because the predetermined keyword is included in the utterance, a response sentence using the predetermined keyword is created, while the determining means does not include the predetermined keyword. If it is determined that it is not possible to respond with and if the utterance from the dialogue partner contains an unknown word, a keyword related to the unknown word is used to change the topic to the next topic. a creation means for creating a response sentence of
an utterance means for uttering the response sentence created by the creation means;
A dialog control device comprising:
前記判定手段により前記所定のキーワードが含まれないことで応答可能でないと判定した場合であって前記対話相手からの発話に不知の単語が含まれる場合は、前記作成手段は前記不知の単語に関連するキーワードと、話題転換用のテンプレートとを用いて、前記話題転換用の応答文を作成することを特徴とする請求項1に記載の対話制御装置。 When it is determined by the determining means that a response is not possible because the predetermined keyword is not included, and when an unknown word is included in the utterance from the dialogue partner, the creating means relates to the unknown word. 2. The dialog control device according to claim 1, wherein the response sentence for changing the topic is created using a keyword for changing the topic and a template for changing the topic. 前記判定手段により前記所定のキーワードが含まれないことで応答可能でないと判定した場合であって前記対話相手からの発話に不知の単語が含まれる場合、前記作成手段は更に前置用データベースを用いて、次の話題につなげるための応答文を作成することを特徴とする請求項1又は2に記載の対話制御装置。 When the determining means determines that the response is not possible because the predetermined keyword is not included and the utterance from the dialogue partner includes an unknown word, the creating means further uses a prefix database. 3. The dialog control device according to claim 1, wherein a response sentence for connecting to the next topic is created by using the command. 対話制御装置が行う対話制御方法であって、
対話相手からの発話に所定のキーワードが含まれるか否かに基づいて、前記発話に対して応答可能か否かを判定する判定ステップと、
前記判定ステップにて前記発話に前記所定のキーワードが含まれることで応答可能と判定した場合、前記所定のキーワードを用いた応答文を作成する一方、前記判定ステップにて前記所定のキーワードが含まれないことで応答可能でないと判定した場合であって前記対話相手からの発話に不知の単語が含まれる場合は、前記不知の単語に関連するキーワードを用いて、次に話題に転換するための話題転換用の応答文を作成する作成ステップと、
前記作成ステップにて作成された応答文を発話する発話ステップと、
を含むことを特徴とする対話制御方法。
A dialog control method performed by a dialog control device,
a determination step of determining whether or not it is possible to respond to the utterance based on whether or not the utterance from the dialogue partner includes a predetermined keyword;
If it is determined in the determination step that the utterance includes the predetermined keyword and the response is possible, a response sentence using the predetermined keyword is created, while the determination step includes the predetermined keyword. If it is determined that it is not possible to respond because there is no response, and if an unknown word is included in the utterance from the dialogue partner, a keyword related to the unknown word is used to change the topic to the next topic. a creation step of creating a response sentence for conversion;
an utterance step of uttering the response sentence created in the creation step;
A dialog control method, comprising:
対話制御装置のコンピュータを、
対話相手からの発話に所定のキーワードが含まれるか否かに基づいて、前記発話に対して応答可能か否かを判定する判定手段、
前記判定手段により前記発話に前記所定のキーワードが含まれることで応答可能と判定した場合、前記所定のキーワードを用いた応答文を作成する一方、前記判定手段により前記所定のキーワードが含まれないことで応答可能でないと判定した場合であって前記対話相手からの発話に不知の単語が含まれる場合は、前記不知の単語に関連するキーワードを用いて、次に話題に転換するための話題転換用の応答文を作成する作成手段、
前記作成手段によって作成した応答文を発話する発話手段、
として機能させることを特徴とするプログラム。
the computer of the dialogue controller,
Determination means for determining whether or not it is possible to respond to the utterance based on whether or not the utterance from the conversation partner includes a predetermined keyword;
When it is determined by the determining means that a response is possible because the predetermined keyword is included in the utterance, a response sentence using the predetermined keyword is created, while the determining means does not include the predetermined keyword. If it is determined that it is not possible to respond with and if the utterance from the dialogue partner contains an unknown word, a keyword related to the unknown word is used to change the topic to the next topic. creation means for creating a response sentence for
utterance means for uttering the response sentence created by the creation means;
A program characterized by functioning as
JP2020178607A 2020-10-26 2020-10-26 Dialogue control device, dialogue control method and program Active JP7160076B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020178607A JP7160076B2 (en) 2020-10-26 2020-10-26 Dialogue control device, dialogue control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020178607A JP7160076B2 (en) 2020-10-26 2020-10-26 Dialogue control device, dialogue control method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019221795A Division JP6787472B2 (en) 2019-12-09 2019-12-09 Dialogue control device, dialogue control method and program

Publications (2)

Publication Number Publication Date
JP2021009416A JP2021009416A (en) 2021-01-28
JP7160076B2 true JP7160076B2 (en) 2022-10-25

Family

ID=74200025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020178607A Active JP7160076B2 (en) 2020-10-26 2020-10-26 Dialogue control device, dialogue control method and program

Country Status (1)

Country Link
JP (1) JP7160076B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169590A (en) 2000-12-01 2002-06-14 Namco Ltd System and method for simulated conversation and information storage medium
JP2004109323A (en) 2002-09-17 2004-04-08 Denso Corp Voice interaction apparatus and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169590A (en) 2000-12-01 2002-06-14 Namco Ltd System and method for simulated conversation and information storage medium
JP2004109323A (en) 2002-09-17 2004-04-08 Denso Corp Voice interaction apparatus and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
南秀和 他,"機械応答とソーシャルメディアの併用による雑談ロボットの応答性と継続性の向上",電子情報通信学会技術研究報告,2014年11月27日,Vol.114, No.351,pp.7-12

Also Published As

Publication number Publication date
JP2021009416A (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP2017049471A (en) Dialogue control apparatus, dialogue control method, and program
JP6601069B2 (en) Dialog control apparatus, dialog control method, and program
Levitan et al. Implementing Acoustic-Prosodic Entrainment in a Conversational Avatar.
US11151997B2 (en) Dialog system, dialog method, dialog apparatus and program
JP3945356B2 (en) Spoken dialogue apparatus and program
US8566098B2 (en) System and method for improving synthesized speech interactions of a spoken dialog system
Kitaoka et al. Response timing detection using prosodic and linguistic information for human-friendly spoken dialog systems
US20100049513A1 (en) Automatic conversation system and conversation scenario editing device
JP6970413B2 (en) Dialogue methods, dialogue systems, dialogue devices, and programs
WO2017200072A1 (en) Dialog method, dialog system, dialog device, and program
JP2000187435A (en) Information processing device, portable apparatus, electronic pet device, recording medium with information processing procedure recorded thereon, and information processing method
JP4729902B2 (en) Spoken dialogue system
JP6699010B2 (en) Dialogue method, dialogue system, dialogue device, and program
JPWO2018163647A1 (en) Dialogue method, dialogue system, dialogue device, and program
JP6682104B2 (en) Dialogue method, dialogue system, dialogue device, and program
WO2018230345A1 (en) Dialogue robot, dialogue system, and dialogue program
JP6551793B2 (en) Dialogue method, dialogue system, dialogue apparatus, and program
van Waterschoot et al. BLISS: An agent for collecting spoken dialogue data about health and well-being
JP6787472B2 (en) Dialogue control device, dialogue control method and program
CN111556999A (en) Method, computer device and computer readable storage medium for providing natural language dialogue by providing substantive answers in real time
CN111557001A (en) Method, computer device and computer readable storage medium for providing natural language dialog by providing instant responsive language response
JP7160076B2 (en) Dialogue control device, dialogue control method and program
CN112836098B (en) Multi-role-based conversation assistance method and device
JP2004191407A (en) Conversation system and conversation processing program
WO2021064947A1 (en) Interaction method, interaction system, interaction device, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7160076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150