JP2017162268A - Dialog system and control program - Google Patents

Dialog system and control program Download PDF

Info

Publication number
JP2017162268A
JP2017162268A JP2016047006A JP2016047006A JP2017162268A JP 2017162268 A JP2017162268 A JP 2017162268A JP 2016047006 A JP2016047006 A JP 2016047006A JP 2016047006 A JP2016047006 A JP 2016047006A JP 2017162268 A JP2017162268 A JP 2017162268A
Authority
JP
Japan
Prior art keywords
person
robot
touch display
script
dialog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016047006A
Other languages
Japanese (ja)
Inventor
浩平 小川
Kohei Ogawa
浩平 小川
美紀 渡辺
Miki Watanabe
美紀 渡辺
石黒 浩
Hiroshi Ishiguro
浩 石黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Priority to JP2016047006A priority Critical patent/JP2017162268A/en
Publication of JP2017162268A publication Critical patent/JP2017162268A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

CONSTITUTION: A dialog system 10 is configured so that, according to a script which is preset to a dialog database 14, a robot R produces a speech, and one or two or more choices by which a person H responds to the speech production of the robot are displayed on a touch display 12 according to the script. When the person H selects the choice by a touch, a content of the selected response is uttered from a speaker provided in relation to the touch display 12. The choices displayed on the touch display 12 are set according to a phase of a dialog, such as collection of information, construction of relationship, persuasion for decision making, decision making, and idle talk having no purpose.EFFECT: Speech production is performed according to a script, and a person selects a response item, so that the person can continue natural dialog with a robot while feeling actual sensation that the person represented his/her intention.SELECTED DRAWING: Figure 1

Description

この発明は、対話システムおよび制御プログラムに関し、特にたとえば、ロボットのようなエージェントまたは人と、少なくとも1人の人とがタッチディスプレイを通して対話する、新規な対話システムおよび制御プログラムに関する。   The present invention relates to an interactive system and a control program, and more particularly to a novel interactive system and control program in which an agent or person such as a robot interacts with at least one person through a touch display.

近年の音声認識の技術の発展により、たとえば特許文献1のような対話システムが提案されている。特許文献1のシステムは、人とロボットとの対話システムにおいて、両者の同調を図ることで、持続的で自然なインタラクションを実現しようとするものである。   With the recent development of speech recognition technology, for example, a dialogue system as disclosed in Patent Document 1 has been proposed. The system of Patent Document 1 is intended to realize continuous and natural interaction in a dialogue system between a human and a robot by trying to synchronize the two.

特開2012‐181697号公報[G06F 3/16…]JP 2012-181697 A [G06F 3/16 ...]

特許文献1の技術においても、音声認識に基づく処理には限界があり、人と同等の対話感を与えること、および特定の内容を対話を通じて適切に伝達することは容易ではない。   Even in the technique of Patent Document 1, there is a limit to processing based on voice recognition, and it is not easy to give a feeling of dialogue equivalent to that of a person and to appropriately transmit specific contents through dialogue.

それゆえに、この発明の主たる目的は、新規な、対話システムおよび制御プログラムを提供することである。   Therefore, the main object of the present invention is to provide a novel interactive system and control program.

この発明の他の目的は、人に対話に参加している感覚を持続させることができる、対話システムおよび制御プログラムを提供することである。   Another object of the present invention is to provide a dialog system and a control program capable of sustaining a sense of participating in a dialog to a person.

この発明の他の目的は、質問に対して適切な内容を伝達することができる、対話システムおよび制御プログラムを提供することである。   Another object of the present invention is to provide an interactive system and a control program capable of transmitting appropriate contents to a question.

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。   The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate the corresponding relationship with the embodiments described in order to help understanding of the present invention, and do not limit the present invention.

第1の発明は、スクリプトを予め設定しているダイアログデータベース、ダイアログデータベースのスクリプトに従って発話する発話エージェント、発話エージェントによる発話に対して人が返答すべき1つまたは2以上の選択肢をスクリプトに従って表示する表示手段、およびディスプレイに表示された選択肢を人が選択したとき、その選択肢の内容をスクリプトに従って発話する発話手段を備える、対話システムである。   The first invention displays a dialog database in which a script is set in advance, an utterance agent that utters according to the script of the dialog database, and one or more options that a person should respond to the utterance by the utterance agent according to the script. When a person selects an option displayed on a display, a dialog system includes an utterance unit that utters the contents of the option according to a script.

第1の発明では、対話システム(10:実施例において相当する部分を例示する参照符号。以下同様。)は、スクリプトを予め設定しているダイアログデータベース(14)を備える。たとえばロボット(R)のような発話エージェントは、たとえば対話制御マネージャ(16)のような制御手段によって、ダイアログデータベースのスクリプトに従って、たとえば人(H)に対して発話する。この発話に対して人は返答するのであるが、表示手段(16、24)は、ダイアログデータベースのスクリプトに従って、ディスプレイ(12、122)に、人が返答すべき1つまたは2以上の選択肢を表示させる。この選択肢の表示を見て、人がそのうちのどれか1つを選択すると、発話手段(24、26)が、の選択肢の内容をスクリプトに従って発話する。   In the first invention, the dialogue system (10: reference numerals exemplifying corresponding parts in the embodiment; the same applies hereinafter) includes a dialog database (14) in which scripts are preset. For example, an utterance agent such as a robot (R) utters a person (H), for example, according to a script of a dialog database by a control means such as a dialogue control manager (16). The person responds to this utterance, but the display means (16, 24) displays one or more options to be answered by the person on the display (12, 122) according to the script of the dialog database. Let When the person selects one of the options by looking at the display of the options, the utterance means (24, 26) utters the contents of the options according to the script.

第1の発明によれば、発話エージェントの発話と人の返答はすべてスクリプトに従っているため、対話の破綻はない。そのうえ、人は自分で選択肢を選択し、その内容が音声で発話されるので、スクリプトに従っているとはいえ、人は自分の意思を反映した選択肢(返答)であると認識させることができる。   According to the first aspect, since the utterance of the utterance agent and the response of the person all follow the script, there is no failure of the dialogue. In addition, since a person selects an option by himself and the content is spoken by voice, the person can recognize that the option (response) reflects his intention even though the script is followed.

第2の発明は、第1の発明に従属し、表示手段に表示される選択肢は、似通った意味を持つ2以上の選択肢を含む、対話システムである。   The second invention is an interactive system according to the first invention, wherein the options displayed on the display means include two or more options having similar meanings.

第2の発明では、人の最終的な意思決定の対話フェーズでは、たとえば対話エージェントが商品の購入を人に持ちかけた場合、意思決定の最終段階において、たとえば
「気に入ったので買います」、「うん、そうします」というような、すべて同意を示す返答のみを提示することで、意思決定の誘導を行うことができる。
In the second invention, in the dialogue phase of a person's final decision-making, for example, when a dialogue agent asks a person to purchase a product, in the final stage of the decision-making, for example, “I buy because I like”, “Yeah” It is possible to guide decision making by presenting only a reply indicating consent.

第2の発明によれば、人の意思決定を誘導することができる。   According to the second invention, it is possible to induce human decision making.

第3の発明は、第1または第2の発明に従属し、表示手段に表示される選択肢は、1つである、対話システムである。   A third invention is an interactive system according to the first or second invention, wherein the number of options displayed on the display means is one.

第3の発明では、最終的に意思決定してもらいたい方向に人を誘導するために返答の選択肢を1つに限定することで、強制的に対話システムが想定する方向に人を誘導する。   In the third invention, by limiting the number of response options to one in order to guide the person in the direction in which he / she wants to finally make a decision, the person is forcibly guided in the direction assumed by the dialogue system.

第3の発明によれば、選択肢を1つに限定することで、強制的に人の返答を誘導し、人のその後の意思決定を、対話システムが想定する方向に誘導することができる。   According to the third invention, by limiting the number of options to one, it is possible to forcibly induce a person's response and guide the person's subsequent decision making in the direction assumed by the dialogue system.

第4の発明は、ダイアログデータベースに予め設定されているスクリプトに従って対話する対話システムのコンピュータによって実行される制御プログラムであって、コンピュータを、ダイアログデータベースのスクリプトに従って発話する発話エージェント、発話エージェントによる発話に対して人が返答すべき1つまたは2以上の選択肢をスクリプトに従って表示する表示手段、およびディスプレイに表示された選択肢を人が選択したとき、その選択肢の内容をスクリプトに従って発話する発話手段として機能させる、制御プログラムである。   According to a fourth aspect of the present invention, there is provided a control program executed by a computer of an interactive system that performs dialogue according to a script preset in a dialog database, and the utterance agent that utters the computer according to the script of the dialog database. A display means for displaying one or more choices to be answered by a person according to the script, and a function that serves as an utterance means for uttering the contents of the choice according to the script when the person selects an option displayed on the display. Is a control program.

第4の発明によっても、第1の発明と同様の効果が期待できる。   According to the fourth invention, the same effect as that of the first invention can be expected.

この発明によれば、発話エージェントの発話と人の返答はすべてスクリプトに従っているため、対話の破綻がなく、しかも自分の意思を反映した返答を行ったと人に認識させることができる。   According to the present invention, since the utterance of the utterance agent and the reply of the person all follow the script, it is possible to make the person recognize that there is no failure of the dialogue and the reply reflecting his / her intention is made.

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features, and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図1はこの発明の一実施例の対話システムの概要を示す概略図である。FIG. 1 is a schematic diagram showing an outline of an interactive system according to an embodiment of the present invention. 図2は図1実施例における対話制御マネージャの構成の一例を示すブロック図である。FIG. 2 is a block diagram showing an example of the configuration of the dialog control manager in the FIG. 1 embodiment. 図3は図1実施例におけるロボットの一例を示す概略図である。FIG. 3 is a schematic view showing an example of the robot in the embodiment of FIG. 図4は図3のロボットを制御するロボットコントローラの構成の一例を示すブロック図である。FIG. 4 is a block diagram showing an example of the configuration of a robot controller that controls the robot of FIG. 図5は図1実施例におけるタッチディスプレイI/Fの構成の一例を示すブロック図である。FIG. 5 is a block diagram showing an example of the configuration of the touch display I / F in the FIG. 1 embodiment. 図6は図1に示す対話制御マネージャの動作の一例を示すフロー図である。FIG. 6 is a flowchart showing an example of the operation of the dialog control manager shown in FIG. 図7は図1に示すロボットコントローラの動作の一例を示すフロー図である。FIG. 7 is a flowchart showing an example of the operation of the robot controller shown in FIG. 図8は図1に示すタッチディスプレイI/Fの動作の一例を示すフロー図である。FIG. 8 is a flowchart showing an example of the operation of the touch display I / F shown in FIG. 図9は図1実施例においてタッチディスプレイに表示される選択肢(返答項目)を例示する図解図である。FIG. 9 is an illustrative view illustrating options (response items) displayed on the touch display in the embodiment of FIG. 1. 図10はこの発明の他の実施例の対話システムの概要を示す概略図である。FIG. 10 is a schematic diagram showing an outline of a dialog system according to another embodiment of the present invention.

図1を参照して、この実施例の対話システム10の対話場所には、対話エージェントとしてのロボットRと、1人の人Hが存在する。ただし、ロボットRの数や人Hの数は2以上であってもよい。そして、この実施例の対話システム10では、ロボットRと人Hとがタッチディスプレイ(タッチディスプレイ)12を通じて対話する。   Referring to FIG. 1, a robot R as a dialogue agent and one person H exist at a dialogue place of the dialogue system 10 of this embodiment. However, the number of robots R and the number of people H may be two or more. In the interactive system 10 of this embodiment, the robot R and the person H interact through a touch display (touch display) 12.

簡単に言えば、ダイアログデータベース14に予め設定または準備したダイアログまたはスクリプト(台本)に従って対話制御マネージャ16がロボットRに、人Hに対する質問など発話させるとともに、タッチディスプレイ12に人Hが返答の際に選択できる1つまたは2以上の返答項目を表示する。   In short, the dialog control manager 16 causes the robot R to speak a question about the person H according to a dialog or script (script) preset or prepared in the dialog database 14, and when the person H answers the touch display 12. Displays one or more response items that can be selected.

人Hは返答項目の1つをタッチディスプレイ12上で選択する。応じて、タッチディスプレイ12がその選択した返答項目に応じた発話を、人Hの返答として発話する。実施例の対話システム10は、このような対話を繰り返す、新規な対話システムである。   The person H selects one of the response items on the touch display 12. In response, the touch display 12 utters the utterance corresponding to the selected response item as the response of the person H. The dialogue system 10 of the embodiment is a novel dialogue system that repeats such a dialogue.

人が発話するとき、その発話に応じる形で相手の発話が生成されなければ、対話を続けていくこと自体が困難になりやすいため、音声認識および自然言語処理の能力が完璧でないロボットは、人間の発話に対して適切な発話をし続けることは容易ではなく、対話は破綻しやすい。   When a person speaks, if the other person's utterance is not generated in response to the utterance, it is difficult to continue the conversation itself, so a robot whose speech recognition and natural language processing capabilities are not perfect is human. It is not easy to continue to speak appropriately for the utterances, and the dialogue is likely to break down.

そこで、この実施例では、ロボットが発話する際に、必ずしも人に発話で返答させる形にするのではなく、タッチディスプレイ12だけで返答させる。こうすることによって、ロボットの能力不足による対話の破綻を回避することができる。しかも、タッチディスプレイ12にロボットRの発話人H対する返答としてふさわしい返答項目を表示し、それを人Hに選択させることによって、人Hに対話に参加している感覚を持続させ、さらにはロボットRからの質問に対して適切な返答を返すことでできる。   Therefore, in this embodiment, when the robot speaks, it is not always necessary to make the person respond by speaking, but only by the touch display 12. By doing so, it is possible to avoid the failure of the dialogue due to insufficient robot capabilities. In addition, a response item suitable as a response to the utterer H of the robot R is displayed on the touch display 12, and by causing the person H to select it, the sensation that the person H is participating in the dialogue is maintained. You can do this by returning an appropriate response to the question from.

この実施例のような対話システム10は、たとえば、情報収集サービス、情報提供サービス、広告サービス、販売サービスなどのシステムとして利用可能である。   The dialogue system 10 as in this embodiment can be used as a system such as an information collection service, an information provision service, an advertisement service, and a sales service.

対話システム10は、上述のようにロボットRに人Hに対して発話させたり、タッチディスプレイ12上に人Hの返答のための返答項目を表示したりするための、ダイアログ(Dialog:対話)データベース14を備える。ここで、「ダイアログ」は、対話中に行うべき発話や非言語動作の指令の系列を意味し、ダイアログデータベース14は、ダイアログの集合(たとえば、バナナの何が好きという対話やロボット介護の何が大切かという対話など、各トピックの対話のための指令の系列が含まれる)である。そして、「スクリプト」は、その指令の系列を表す文字列のことであり、スクリプトデータは、その指令を表す文字列である。したがって、スクリプトデータの系列がスクリプトになる。スクリプトは、この実施例では、State Chart XML (SCXML: w3c.org)により記述され、すべてダイアログデータベース14に保管されている。   The dialog system 10 is a dialog (Dialog) database for causing the robot R to speak to the person H and displaying response items for the reply of the person H on the touch display 12 as described above. 14. Here, “dialog” means a sequence of utterances and non-verbal motion commands to be performed during a dialogue, and the dialogue database 14 is a collection of dialogues (for example, what a banana likes and what a robot care provides. It includes a series of commands for dialogue on each topic, such as dialogue about importance. “Script” is a character string representing a series of commands, and script data is a character string representing the commands. Therefore, the script data series is a script. In this embodiment, the script is described by State Chart XML (SCXML: w3c.org), and is all stored in the dialog database 14.

一例として、『T=XX、RH SPEAKER=R L=HUMAN TEXT=……、NONVERVAL=……』というスクリプトにおいて、「T=XX」は、当該スクリプトが実行されるべき時間(または時刻)XXであり、「RH SPEAKER=R L=HUMAN」は、ロボットRから人Hに向かって発話することを意味し、「TEXT=……」が発話すべきテキスト文を示す。「NONVERVAL=……」は、たとえばロボットRの動作、人Hを見る、頷く、首を横に振る、首をかしげるなどの、非言語動作を示す。   As an example, in the script “T = XX, RH SPEAKER = RL = HUMAN TEXT = ……, NONVERVAL = ……”, “T = XX” is the time (or time) XX at which the script should be executed. “RH SPEAKER = RL = HUMAN” means that the robot R speaks to the person H, and “TEXT = ……” indicates a text sentence to be spoken. “NONVERVAL =...” Indicates a non-linguistic operation such as the operation of the robot R, watching the person H, whispering, shaking his / her head, or curling his / her neck.

このようなスクリプトは、対話制御マネージャ16によって、ダイアログキュー18からロボットRを制御するためのロボットコントローラ20に送信される。   Such a script is transmitted from the dialog queue 18 to the robot controller 20 for controlling the robot R by the dialog control manager 16.

図2に示す対話制御マネージャ16は、CPU16aを含み、CPU16aには、内部バス16bを介して通信装置16cが接続される。通信装置16cは、たとえばネットワークインタフェース(NIC)などを含み、CPU16aはこの通信装置16cを介してロボットコントローラ20、タッチディスプレイI/F24などと通信でき、それらの間でデータの授受を行うことができる。   The dialogue control manager 16 shown in FIG. 2 includes a CPU 16a, and a communication device 16c is connected to the CPU 16a via an internal bus 16b. The communication device 16c includes, for example, a network interface (NIC). The CPU 16a can communicate with the robot controller 20, the touch display I / F 24, and the like via the communication device 16c, and can exchange data between them. .

CPU16aにはさらに、内部バス16bを介して、メモリ16dおよび入力装置16eが接続される。メモリ16dはROMやRAMを含む。メモリI/F16fを通してダイアログデータベース14から、スクリプト(ダイアログ)を読み込み、それをメモリ16dに一時的に記憶する。   Further, a memory 16d and an input device 16e are connected to the CPU 16a via an internal bus 16b. The memory 16d includes a ROM and a RAM. A script (dialog) is read from the dialog database 14 through the memory I / F 16f and temporarily stored in the memory 16d.

また、対話制御マネージャ16に必要なプログラム(OSやセンサ信号取得プログラムなど)は、メモリ16dに記憶される。対話制御マネージャ16はメモリ16dに記憶されたプログラムに従って動作する。   Further, programs (such as OS and sensor signal acquisition program) necessary for the dialogue control manager 16 are stored in the memory 16d. The dialog control manager 16 operates according to a program stored in the memory 16d.

ダイアログキュー18もたとえばメモリ16dの中の一領域であるが、このダイアログキュー18には、次ダイアログ候補プール22にロードされているスクリプトデータを、次にロボットRが実行できるように,待ち行列の形でロードすることができる。   The dialog queue 18 is also an area in the memory 16d, for example. In this dialog queue 18, the queue data is loaded in the next dialog candidate pool 22 so that the robot R can next execute the script data. Can be loaded in the form.

図3を参照して、この図3は実施例のロボットRの外観を示し、ロボットRは台30上に、台30に対して、前後左右に回転できるように、設けられる。つまり、胴体32には2自由度が設定されている。   Referring to FIG. 3, FIG. 3 shows an appearance of the robot R according to the embodiment, and the robot R is provided on the base 30 so as to be able to rotate back and forth and right and left with respect to the base 30. In other words, the body 32 has two degrees of freedom.

胴体32の人の肩に相当する左右位置からは、それぞれに、肩関節(図示せず)によって、右腕34Rおよび左腕34Lが、前後左右に回転可能に設けられる。つまり、右腕34Rおよび左腕34Lには、それぞれ、2自由度が設定されている。   From the left and right positions corresponding to the shoulders of the body 32 of the human body, the right arm 34R and the left arm 34L are provided so as to be rotatable forward and backward and left and right by shoulder joints (not shown). That is, two degrees of freedom are set for each of the right arm 34R and the left arm 34L.

胴体32の上端中央部には首36が設けられ、さらにその上には頭部38が設けられる。首36すなわち頭部38は、胴体32に対して、ロール角(左右の傾げ)、ピッチ各(前後の傾げ)、ヨー(左右の回転)で3自由度が設定されている。   A neck 36 is provided at the center of the upper end of the body 32, and a head 38 is provided thereon. The neck 36, that is, the head 38, has three degrees of freedom with respect to the body 32 in terms of a roll angle (left-right tilt), pitches (front-back tilt), and yaw (left-right rotation).

頭部38の前面すなわち人間の顔に相当する面には、右目40Rおよび左目40Lが設けられ、右目40Rおよび左目40Lには眼球42Rおよび42Lが設けられる。右目40Rおよび左目40Lは、まぶたを閉じたり開いたりでき、眼球42Rおよび42Lはそれぞれ上下左右に回転可能である。つまり、右目40Rおよび左目40Lすなわちまぶたには1自由度が、眼球42Rおよび42Lには2自由度が設定されている。   A right eye 40R and a left eye 40L are provided on the front surface of the head 38, that is, a surface corresponding to a human face, and eyeballs 42R and 42L are provided on the right eye 40R and the left eye 40L. The right eye 40R and the left eye 40L can close and open the eyelids, and the eyeballs 42R and 42L can rotate up, down, left and right, respectively. That is, one degree of freedom is set for the right eye 40R and the left eye 40L, that is, the eyelid, and two degrees of freedom are set for the eyeballs 42R and 42L.

顔にはさらに、口44が設けられていて、口44は、閉じたり開いたりできる。つまり、口44には1自由度が設定されている。   The face is further provided with a mouth 44, which can be closed or opened. That is, one degree of freedom is set for the mouth 44.

胴体32の、人間の胸の位置には、対話システム10において人Hに聞かせるための発話を行うスピーカ46および環境特に人Hの発話音声を聞き取るマイク48が設けられる。   At the position of the chest of the human body 32, a speaker 46 that makes a speech for the person H to hear in the dialogue system 10 and a microphone 48 that listens to the environment, particularly the voice of the person H, are provided.

なお、頭部38の顔の額に相当する部分には動画または静止画を撮影できるカメラ50が内蔵される。このカメラ50は、対面する人Hを撮影でき、このカメラ50からのカメラ信号(映像信号)は、環境カメラ16(図1)と同様に、センサマネージャ18のセンサI/Fを介してCPU22aに、入力されてもよい。   A camera 50 capable of shooting a moving image or a still image is built in a portion corresponding to the forehead of the head 38. The camera 50 can photograph the person H who is facing, and the camera signal (video signal) from the camera 50 is sent to the CPU 22a via the sensor I / F of the sensor manager 18 in the same manner as the environmental camera 16 (FIG. 1). , May be entered.

図4はロボットRの動作(発話や非言語動作など)を制御するロボットコントローラ20を示すブロック図である。この図4を参照して、ロボットコントローラ20は、CPU20aを含み、CPU20aには、内部バス20bを介して通信装置20cが接続される。通信装置20cは、たとえばネットワークインタフェースなどを含み、CPU20aはこの通信装置20cを介して対話制御マネージャ16、さらには外部のコンピュータや他のロボット(ともに図示せず)などと通信でき、それらの間でデータの授受を行うことができる。   FIG. 4 is a block diagram showing the robot controller 20 that controls the operation of the robot R (such as speech and non-language operation). Referring to FIG. 4, the robot controller 20 includes a CPU 20a, and a communication device 20c is connected to the CPU 20a via an internal bus 20b. The communication device 20c includes, for example, a network interface, etc., and the CPU 20a can communicate with the dialog control manager 16 and further with an external computer or another robot (both not shown) via the communication device 20c. Data can be exchanged.

CPU20aにはさらに、内部バス20bを介して、メモリ20dが接続される。メモリ20dはROMやRAMを含む。対話制御マネージャ16から送られる制御データやスクリプトデータがメモリ20dに一時的に記憶される。   A memory 20d is further connected to the CPU 20a via an internal bus 20b. The memory 20d includes a ROM and a RAM. Control data and script data sent from the dialogue control manager 16 are temporarily stored in the memory 20d.

また、ロボット制御に必要なプログラム(OSやセンサ信号取得プログラムなど)は、メモリ20dに記憶される。ロボットコントローラ20はメモリ20dに記憶されたプログラムに従ってロボットRの動作を制御する。   In addition, programs (such as an OS and a sensor signal acquisition program) necessary for robot control are stored in the memory 20d. The robot controller 20 controls the operation of the robot R according to the program stored in the memory 20d.

つまり、ロボットコントローラ20のCPU20aにはさらに、たとえばDSPで構成された出力ボード20eが接続され、この出力ボード20eは、ロボットRの上述の各部(図3)に設けられたアクチュエータの動作を制御する。ただし、ロボットRの各部の具体的な動作は、実施例には関係しないので、ここでは詳しい説明は省略する
なお、図3に示すロボットRのスピーカ46がロボットコントローラ20の出力ボード20eに接続される。したがって、CPU20aは、対話制御マネージャ16から与えられ、必要に応じてメモリ20dに記憶されたスクリプトデータに従って、スピーカ46から発声(発話)させる。
In other words, the CPU 20a of the robot controller 20 is further connected to an output board 20e made of, for example, a DSP, and this output board 20e controls the operation of the actuators provided in the above-described units (FIG. 3) of the robot R. . However, since the specific operation of each part of the robot R is not related to the embodiment, detailed description is omitted here. Note that the speaker 46 of the robot R shown in FIG. 3 is connected to the output board 20e of the robot controller 20. The Therefore, the CPU 20a utters (speaks) from the speaker 46 according to the script data given from the dialogue control manager 16 and stored in the memory 20d as necessary.

さらに、図3に示すロボットRのマイク48やカメラ50が入力ボード20fを経て、CPU20aに入力される。CPU20aは、その入力データを、対話制御マネージャ16に送る。対話制御マネージャ16は、マイク48から取り込んだ音声データをメモリ16d(図2)に記憶し、必要に応じて、音声認識処理を実行する。対話制御マネージャ16はまた、カメラ50からのカメラ信号を処理して、対話場所の状況をセンシングする。   Further, the microphone 48 and the camera 50 of the robot R shown in FIG. 3 are input to the CPU 20a via the input board 20f. The CPU 20a sends the input data to the dialogue control manager 16. The dialogue control manager 16 stores the voice data captured from the microphone 48 in the memory 16d (FIG. 2), and executes voice recognition processing as necessary. The dialogue control manager 16 also processes the camera signal from the camera 50 to sense the situation of the dialogue place.

また、図1実施例の対話システム10に用いられるロボットRは図3を参照して上で説明したロボットに限定されるものではなく、少なくともスクリプトに従って発話できる機能があればよい。   Further, the robot R used in the dialogue system 10 of FIG. 1 embodiment is not limited to the robot described above with reference to FIG.

図5はタッチディスプレイ14の表示や発話を制御するタッチディスプレイI/F24を示すブロック図である。タッチディスプレイI/F24は、CPU24aを含み、CPU24aには、内部バス24bを介して通信装置24cが接続される。通信装置24cは、たとえばネットワークインタフェースなどを含み、CPU24aはこの通信装置24cを介して対話制御マネージャ16などと通信でき、それらの間でデータの授受を行うことができる。   FIG. 5 is a block diagram showing a touch display I / F 24 that controls display and speech of the touch display 14. The touch display I / F 24 includes a CPU 24a, and a communication device 24c is connected to the CPU 24a via an internal bus 24b. The communication device 24c includes, for example, a network interface. The CPU 24a can communicate with the dialogue control manager 16 and the like via the communication device 24c, and can exchange data between them.

CPU24aにはさらに、内部バス24bを介して、メモリ24dが接続される。メモリ24dはROMやRAMを含む。対話制御マネージャ16から送られる制御データやスクリプトデータがメモリ24dに一時的に記憶される。   Further, a memory 24d is connected to the CPU 24a via an internal bus 24b. The memory 24d includes a ROM and a RAM. Control data and script data sent from the dialogue control manager 16 are temporarily stored in the memory 24d.

また、タッチディスプレイ12の制御に必要なプログラム(OSやセンサ信号取得プログラムなど)は、メモリ24dに記憶される。タッチディスプレイI/F24はメモリ24dに記憶されたプログラムに従ってタッチディスプレイ12の動作を制御する。   A program (such as an OS or a sensor signal acquisition program) necessary for controlling the touch display 12 is stored in the memory 24d. The touch display I / F 24 controls the operation of the touch display 12 according to a program stored in the memory 24d.

つまり、タッチディスプレイI/F24のCPU24aにはさらに、たとえばDSPで構成された出力ボード24eが接続され、この出力ボード24eは、タッチディスプレイ12に設けられているスピーカ26から音声を出力させるとともに、タッチディスプレイ12に表示データを出力する。   In other words, the CPU 24a of the touch display I / F 24 is further connected with an output board 24e configured by, for example, a DSP. The output board 24e outputs sound from the speaker 26 provided on the touch display 12 and touches the touch display I / F 24. Display data is output to the display 12.

ただし、スピーカ26はタッチディスプレイ12に設けられてもいいが、タッチディスプレイ12とは別にそれの近傍に設けられていてもよい。   However, although the speaker 26 may be provided in the touch display 12, it may be provided in the vicinity of it separately from the touch display 12.

タッチディスプレイI/F24のCPU24aにはさらに、入力ボード24fが接続され、この入力ボード24fは、タッチディスプレイ12に設けられている座標検出回路28からの座標データ(タッチ座標データ)を取得してCPU24aに入力する。CPU24aは、その入力座標データを、対話制御マネージャ16に送る。対話制御マネージャ16は、その座標データを受けて、そのとき人Hがタッチディスプレイ12上のどの返答項目にタッチしたかを知ることができる。   Further, an input board 24f is connected to the CPU 24a of the touch display I / F 24. The input board 24f acquires coordinate data (touch coordinate data) from the coordinate detection circuit 28 provided in the touch display 12, and the CPU 24a. To enter. The CPU 24a sends the input coordinate data to the dialogue control manager 16. The dialog control manager 16 receives the coordinate data and can know which response item on the touch display 12 the person H touched at that time.

図1の対話システム10では、対話場所のロボットRは、先に説明したスクリプトに従って対話を進行するが、ロボットRの発話およびタッチディスプレイ12による発話を統括的に制御するのが、対話制御マネージャ16である。   In the dialogue system 10 of FIG. 1, the robot R at the dialogue place proceeds with the dialogue according to the script described above. The dialogue control manager 16 controls the utterance of the robot R and the utterance by the touch display 12 in an integrated manner. It is.

図6に示すフロー図は、その対話制御マネージャ16のCPU16a(図2)の動作を示す。この図6の動作は、たとえばフレームレート程度の速度で繰り返し実行される。   The flowchart shown in FIG. 6 shows the operation of the CPU 16a (FIG. 2) of the dialog control manager 16. The operation of FIG. 6 is repeatedly executed at a speed of about the frame rate, for example.

最初のステップS1でCPU16aは、ダイアログデータベース14(図1)から上述したようなスクリプトデータを読み込むなど、初期化を実行する。   In the first step S1, the CPU 16a performs initialization such as reading the script data as described above from the dialog database 14 (FIG. 1).

続くステップS3においてCPU16aは、たとえばロボットコントローラ20から取り込んだカメラ信号やマイク信号などのセンサデータを更新する。   In subsequent step S3, the CPU 16a updates sensor data such as a camera signal and a microphone signal captured from the robot controller 20, for example.

次のステップS5では、ステップS3で更新したセンサデータに基づいて、対話制御マネージャ16のCPU16aは、対話場所に人Hがいるかどうか判断する。このステップS5で“NO”なら、ステップS3に戻って待機する。   In the next step S5, based on the sensor data updated in step S3, the CPU 16a of the dialogue control manager 16 determines whether or not there is a person H at the dialogue place. If “NO” in the step S5, the process returns to the step S3 and waits.

ステップS5で“YES”を判断したとき、CPU16aは、次のステップS7において、次候補プール22から次候補のスクリプトデータを読み込む。そして、ステップS9で、次候補スクリプトがあるかどうか判断する。   When “YES” is determined in the step S5, the CPU 16a reads the script data of the next candidate from the next candidate pool 22 in the next step S7. In step S9, it is determined whether there is a next candidate script.

次候補スクリプトがあれば、ステップS11においてCPU16aは、そのスクリプトはロボットRの制御用のスクリプトであるかどうか判断する。このステップS11で“YES”ならステップS13において、ロボットコントローラ20がロボットRの制御動作を実行する。ステップS11で“NO”ならステップS15でさらに、次候補スクリプトはタッチディスプレイ12のためのものかどうか判断する。ステップS15で“YES”ならステップS17において、タッチディスプレイI/F24がタッチディスプレイ12の制御動作を実行する。   If there is a next candidate script, in step S11, the CPU 16a determines whether the script is a script for controlling the robot R. If “YES” in the step S11, the robot controller 20 executes a control operation of the robot R in a step S13. If “NO” in the step S11, it is further determined whether or not the next candidate script is for the touch display 12 in a step S15. If “YES” in the step S15, the touch display I / F 24 executes a control operation of the touch display 12 in a step S17.

つまり、次候補プール22に登録されている情報から、ロボットRを制御するかタッチディスプレイ12に表示するかを、対話の制御ルールに従って対話制御マネージャ16が決定し、ロボットコントローラ20もしくはタッチディスプレイI/F24に制御信号を伝達する。たとえば、ロボットRを制御すべきときは、ステップS11で、発話する内容に最適な制御信号および再生音声の情報をロボットコントローラ20に伝達する。タッチディスプレイ12を制御すべき場合は、タッチディスプレイ12に表示して人Hに選択させるための返答項目の情報を伝達する。   That is, from the information registered in the next candidate pool 22, the dialog control manager 16 determines whether to control the robot R or display on the touch display 12 according to the control rules of the dialog, and the robot controller 20 or the touch display I / A control signal is transmitted to F24. For example, when the robot R is to be controlled, in step S11, a control signal and reproduction voice information that are optimum for the content to be uttered are transmitted to the robot controller 20. When the touch display 12 is to be controlled, information on response items to be displayed on the touch display 12 and to be selected by the person H is transmitted.

図7を参照して、ロボットコントローラ20は、ステップS31で初期化を実行する。ロボットコントローラ20によって制御するロボットRの動作は、アイドル動作と制御信号に従った動作の2種類である。アイドル動作の実行とは、明示的な制御信号が対話制御マネージャ16から送信されていない場合でも、止まることなく、瞬き、呼吸、近くの人の方を見る、などの基本的な動作をさせることを指す。その際、ロボットコントローラ20の動作フローとは独立に、ロボットRのマイク48やカメラ50などのセンサを用いて人Hの存在の有無や人の位置などの情報を取得することで、より社会的にふさわしい動作を実現する(ステップS33)。   Referring to FIG. 7, the robot controller 20 performs initialization in step S31. The robot R controlled by the robot controller 20 has two types of operations: an idle operation and an operation according to a control signal. Execution of an idle operation means that even if an explicit control signal is not transmitted from the dialogue control manager 16, a basic operation such as blinking, breathing, looking at a nearby person is performed without stopping. Point to. At that time, independent of the operation flow of the robot controller 20, by acquiring information such as the presence / absence of the person H and the position of the person using sensors such as the microphone 48 and the camera 50 of the robot R, it is more social. An operation suitable for the operation is realized (step S33).

次に、アイドル動作が実行されているなかで、対話制御マネージャ16からの制御信号を受信した場合、ステップS35で“YES”を判断し、ステップS37において、ロボットコントローラ20のCPU20aは、その制御信号に従った動作をロボットRに実行させる。具体的には、指示された台詞(テキスト文)の発話とそれに従う動作を実行する。   Next, when the control signal is received from the dialogue control manager 16 while the idle operation is being executed, “YES” is determined in step S35, and in step S37, the CPU 20a of the robot controller 20 determines the control signal. The robot R is caused to execute the operation according to the above. Specifically, the utterance of the instructed dialogue (text sentence) and the operation according to the utterance are executed.

なお、ステップS37の動作が終了したとき、ロボットコントローラ20のCPU20aがロボットRの動作が終了したロボット終了フラグ(図示せず)を対話制御マネージャ16に送って、図6の対話制御マネージャ16による制御に遷移する。それによって、対話制御マネージャ16はタッチディスプレイ12での表示タスクに移行する。つまり、対話制御マネージャ16は、ロボットコントローラ20からのロボット終了フラグを待って、タッチディスプレイ12の制御に移行する。   When the operation of step S37 ends, the CPU 20a of the robot controller 20 sends a robot end flag (not shown) indicating the end of the operation of the robot R to the dialog control manager 16, and the control by the dialog control manager 16 of FIG. Transition to. Thereby, the dialogue control manager 16 shifts to a display task on the touch display 12. That is, the dialogue control manager 16 waits for the robot end flag from the robot controller 20 and shifts to control of the touch display 12.

図8を参照して、タッチディスプレイ12の動作は図1および図5で示したタッチディスプレイI/F24によって制御する。タッチディスプレイI/F24のCPU24aは、ステップS41で初期化を実行する。そして、ステップS43で対話制御マネージャ16から制御信号を受け取ったかどうか判断し、ステップS43で“YES”を判断したとき、ステップS45でその送信された制御信号に従って、その状態において表示すべき1または2以上の選択肢(返答項目)を表示する。ただし、実施例では人HからロボットRへ質問するための選択肢も存在するが、このような選択肢も便宜上「返答項目」と呼ぶことがある。   Referring to FIG. 8, the operation of touch display 12 is controlled by touch display I / F 24 shown in FIGS. The CPU 24a of the touch display I / F 24 performs initialization in step S41. Then, it is determined whether or not a control signal has been received from the dialog control manager 16 in step S43. When “YES” is determined in step S43, 1 or 2 to be displayed in that state in accordance with the transmitted control signal in step S45. The above options (response items) are displayed. However, in the embodiment, there are options for asking a question from the person H to the robot R, but such an option may also be referred to as a “response item” for convenience.

その後、ステップS47でユーザが表示されたいずれかの返答項目にタッチしたと判定できた場合、ステップS49において、その選択された返答項目の音声による読み上げを行う。   Thereafter, when it is determined in step S47 that the user has touched any displayed response item, in step S49, the selected response item is read out by voice.

この実施例のようにタッチディスプレイ12の画面に表示された複数個の選択肢(返答項目)の中から自分の意思で1つを選択すると、与えられたのはシステムが設定した有限個の選択肢であるにも拘わらず、選択した返答が自分の意見であるように人Hに感じさせることができる。また、タッチディスプレイ12に表示されたものの中から人Hに選択してもらうことで、ロボットRは音声認識を使わずに対話することができる。   When one is selected by one's own intention from among a plurality of options (response items) displayed on the screen of the touch display 12 as in this embodiment, a limited number of options set by the system are given. Despite being there, it is possible to make the person H feel that the selected response is his / her opinion. In addition, the robot R can interact without using voice recognition by having the person H select from the items displayed on the touch display 12.

また、人Hが選択した選択肢(返答項目)をタッチディスプレイ12またはそれぞれの近傍に設けたスピーカ26から読み上げる(発話する)ようにすれば、人Hはあたかもその返答を自分が発話したように感じ、自然な対話感が損なわれない。   If the option (response item) selected by the person H is read (speaks) from the touch display 12 or the speaker 26 provided in the vicinity thereof, the person H feels as if he / she spoke the response. , The natural feeling of dialogue is not impaired.

ここで、人Hがどの返答項目を選択したか(タッチしたか)は、先に説明したように、タッチディスプレイ12に関連して設けられた座標検出回路28(図5)が検出したタッチ位置をCPU24aが判定することによって判断される。そして、この判断結果(選択した返答項目)は、それ以降の対話の進捗のために、対話制御マネージャ16に返される。   Here, as described above, which response item the person H has selected (touched) is the touch position detected by the coordinate detection circuit 28 (FIG. 5) provided in association with the touch display 12. Is determined by the CPU 24a. Then, this determination result (selected response item) is returned to the dialog control manager 16 for the progress of the subsequent dialog.

その後、読み上げられた音声の終了を判定した(ステップS51)後、図6にリターンして、対話制御マネージャ16の制御に遷移する。   Thereafter, after determining the end of the read-out voice (step S51), the process returns to FIG.

ここで、ステップS49の動作が終了したとき、タッチディスプレイI/F24のCPU24aがタッチディスプレイ12での動作が終了したタッチディスプレイ終了フラグ(図示せず)を対話制御マネージャ16に送って、図6の対話制御マネージャ16によるロボットRの制御に遷移する。   Here, when the operation of step S49 is finished, the CPU 24a of the touch display I / F 24 sends a touch display end flag (not shown) that the operation on the touch display 12 is finished to the dialog control manager 16, and FIG. Transition to control of the robot R by the dialogue control manager 16 is made.

このように、タッチディスプレイ12による人Hの選択した返答の発話音声の終了を待って、ロボットRが次の発話を開始することにより、あたかもロボットRがタッチディスプレイ12すなわち人Hからの音声を理解した上で、次の発話をしたように感じさせることができる。   In this way, the robot R starts the next utterance after the utterance voice of the response selected by the person H on the touch display 12 is finished, so that the robot R understands the voice from the touch display 12, that is, the person H. After that, you can feel as if the next utterance.

ここで、対話制御マネージャ16が、タッチディスプレイI/F24すなわちタッチディスプレイ12に送信する動作指令の決定プロセスについて説明する。   Here, a process for determining an operation command transmitted from the dialog control manager 16 to the touch display I / F 24, that is, the touch display 12 will be described.

まず、一連の対話を、「情報の収集」、「関係性の構築」、「意思決定に向けた説得」、「意思決定」、「目的のない雑談」の5つのフェーズに分類する。ただし、以下において「相手」とは、人Hから見たロボットRのことを指す。   First, a series of dialogues are classified into five phases: “information collection”, “relationship building”, “persuasion for decision making”, “decision making”, and “unintentional chat”. However, in the following, the “partner” refers to the robot R viewed from the person H.

「情報の収集」とは日常会話を通じて、人Hの考えや好みなどの情報を収集することが目的である。具体的には、「今日はどこから来ましたか?」や「名前はなんというのですか?」といった質問が考えられる。ここで収集された情報は、その後の「意思決定に向けた説得」などで利用することができる。   The “information collection” is intended to collect information such as the thoughts and preferences of the person H through daily conversation. Specifically, questions such as "Where did you come from today" or "What is your name?" The information collected here can be used in subsequent “persuades for decision making”.

情報を収集する場合、人Hの情報を正確に取得する必要があるため、意味の異なる4つの質問をタッチディスプレイに表示する。その際、人H自身に当てはまる事柄が、その選択肢の1つには必ず合致するよう文言(ダイアログまたはスクリプト)を設計する。たとえば「どこから来ましたか」という質問に対しては、図9(A)に示すように、「大阪です」、「兵庫です」、「京都です」および「日本のどこかだよ」という選択肢(返答項目)をタッチディスプレイ12に表示する。   When collecting information, since it is necessary to accurately acquire information about the person H, four questions having different meanings are displayed on the touch display. At that time, the wording (dialog or script) is designed so that a matter that applies to the person H always matches one of the options. For example, for the question “Where did you come from?” As shown in Figure 9 (A), the options are “Is Osaka,” “Hyogo,” “Kyoto,” and “Somewhere in Japan.” Response item) is displayed on the touch display 12.

ただし、返答項目(選択肢)は4つ以上でもよいが、実施例では4つとした。その理由は、選択肢が5つ以上になると、表示されている選択肢(の内容)を理解するために時間がかかってしまい、対話感が阻害されると考えるからである。   However, the number of response items (options) may be four or more, but is four in the embodiment. The reason is that if there are five or more options, it takes time to understand the displayed options (contents), and the feeling of dialogue is hindered.

次に、「関係の構築」とは、人Hと相手(ロボットR)との関係をより深めることが目的である。お互いの関係性を深めるためには、様々な方法があるが、その中でも効果的な方法はお互いに好意をもっていることを確かめあうことである。しかし、感情とは曖昧なものであるため、「情報の収集」で用いた4つの選択肢では人Hの感情に合致した候補を提示することが困難である。そこで、「関係の構築」フェーズではタッチディスプレイ12が、適切なタイミングで、対話システム10すなわちダイアログデータベース14に予め用意している文言(テキスト文)を自動的に読み上げる。具体的には、「(ロボットR)なんだかとってもうれしそうに見えます。」という問いかけに対して「(人H)はい、とても楽しいです」といった返答を自動的に読み上げる。これにより、現在自分がうれしいという感情の認定が行われる。また、逆に「(人H)私と話していて楽しいでしょう?」という質問を自動的に読み上げ、それに対して「(ロボットR)はい、楽しいです」とロボットRにも自動的に返答させることで、お互いに好意を持っている状況を構築することができる。感情とは定義が曖昧であり、人も自分自身でどのような感情であるか明確に理解することが難しい事柄である。そのため、たとえ自動的に読み上げられたとしても、それを自分の本来持っている感情であると認定されやすいと考えられる。   Next, “building a relationship” is intended to deepen the relationship between the person H and the opponent (robot R). There are various ways to deepen the relationship with each other, but the most effective method is to make sure that each other has a good will. However, since the emotion is ambiguous, it is difficult to present a candidate that matches the emotion of the person H with the four options used in “collecting information”. Accordingly, in the “relationship building” phase, the touch display 12 automatically reads out a word (text sentence) prepared in advance in the dialog system 10, that is, the dialog database 14 at an appropriate timing. Specifically, in response to the question “(Robot R) looks very happy”, the response “(Human H) Yes, it ’s very fun” is automatically read out. In this way, recognition of feelings that I am happy now is performed. Conversely, the question “(Human H) is it fun to talk to me?” Is automatically read out, and “(Robot R) Yes, it is fun” is automatically answered to Robot R. By doing so, it is possible to build a situation in which each other is friendly. Emotion is an ambiguous definition, and it is difficult for people to understand clearly what emotions they have. Therefore, even if it is automatically read out, it is considered that it is easy to be recognized as the emotion that I have.

次に「意思決定に向けた説得」とは、最終的に意思決定してもらいたい方向に人Hを誘導するための、ある問いかけに対しての同意を得ることを指す。具体的には、後の意思決定に影響を与える相手からの質問に対する返答の選択肢を1つに限定することで、強制的にシステム側が想定する方向に人Hを誘導する。人Hに対して、ある意思決定をしてもらうためには、それに必要な一定の根拠が必要である。たとえば、ロボットRと人Hの対話の目的が商品の購入である場合、突然買って下さいと言っても、購入するという意思決定にはつながりにくい。一方、事前におすすめする商品の色と人Hの好みが一致していることがお互いの間で会話を通じて明らかにされていた場合、その会話が購入にいたる根拠になる。   Next, “persuasion toward decision making” refers to obtaining consent for a question to guide the person H in a direction in which he / she wants to finally make a decision. Specifically, the person H is forcibly guided in the direction assumed by the system side by limiting the number of options for replying to a question from a partner that affects subsequent decision making. In order for a person H to make a decision, a certain basis is necessary. For example, if the purpose of the dialogue between the robot R and the person H is to purchase a product, even if it is said that it should be suddenly purchased, it is difficult to make a decision to purchase. On the other hand, when it is revealed through conversation between each other that the color of the recommended product matches the preference of the person H, the conversation becomes the basis for the purchase.

たとえば、「(ロボットR)このカラーはお客さんにぴったりですね。お客さんもお好きですよね?」という質問に対して「(人H)はい、好きです」と返答している場合、その会話はその後の意思決定に影響を与えることが予想される。このような後の意思決定に影響を与える質問の場合、図9(B)に示すように、選択肢を1つに限定することで、強制的に人Hの返答を誘導する。これにより、その後に意思決定を、システムが想定する方向に誘導することができる。   For example, if you answered “(Robot R) This color is perfect for your customers. Do you like your customers?” Is expected to influence subsequent decisions. In the case of such a question that affects the subsequent decision making, as shown in FIG. 9B, the answer of the person H is forcibly induced by limiting the number of options to one. This makes it possible to guide decision making in the direction assumed by the system thereafter.

次に、「意思決定」とは、人Hの最終的な意思決定の表明のことを指す。具体的には、人Hに最終的な意思決定を促す際に、ロボットRからの提案について同意する意味をもつが、表現の異なる複数の選択肢を提示することにより、返答が誘導されているにも関わらず自分で意思決定を行ったと感じされることができる。   Next, “decision” refers to the final decision-making statement of the person H. Specifically, when urging the person H to make a final decision, it has the meaning of agreeing on the proposal from the robot R, but the response is guided by presenting multiple options with different expressions. Nevertheless, you can feel that you have made your own decisions.

たとえば、「(ロボットR)お客さん、この商品購入しますか?」に対して、図9(C)に示すように、「気に入ったので買います」「うん、そうします」といった双方ともに同意を示す返答のみを提示することで、意思決定の誘導を行うことができる。ここで、同義の返答を複数表示する理由は、複数の中から1つを選択するという決定を人Hに促すことで、その選択に対する責任が生じるためである。最終的な意思決定を行うことは、これまでの「意思決定に向けた説得」や「関係を深める」フェーズでの選択よりも、より重い責任が生じ、熟慮が必要とされる行為である。そのため「自動的に読み上げる」や「選択肢を1つだけ提示する」といった方法では、人Hが自身で意思決定した感覚を与えることが困難である。よって、「意思決定」フェーズでは、同義の表現の異なる複数個の選択肢の中から選択させるという方法を採用した。   For example, “(Robot R) customer, do you want to buy this product?” As shown in Fig. 9 (C), both parties agree, “I want to buy because I like it”, “Yeah, I will” It is possible to guide decision making by presenting only the response indicating. Here, the reason why a plurality of synonymous responses are displayed is that by prompting the person H to decide to select one of the plurality of responses, responsibility for the selection is generated. Making a final decision is an action that requires more responsibilities and requires more consideration than the previous choices in the “persuade to decision” and “deepen relationships” phases. Therefore, methods such as “automatically read out” or “present only one option” make it difficult for the person H to give a sense of decision making. Therefore, in the “decision-making” phase, a method of selecting from a plurality of options having different synonymous expressions was adopted.

なお、ロボットRと人Hの自然な会話に必要な条件として、会話のターンテイキング(turn taking:話者交替)が挙げられる。つまり、相手の発話に対して適切なタイミングで発話する必要がある。そのためにはタッチディスプレイ12において人Hが返答するタイミングを適切に人Hに伝える必要がある。実施例では、人Hからの返答が必要とされないときはタッチディスプレイ12になにも表示しないこととし、返答が必要とされるときだけタッチディスプレイ12に選択肢を表示するようにした。その際、ビープ音を鳴らすなどして、表示された選択肢に人Hの注意を向けさせる。   Note that, as a condition necessary for a natural conversation between the robot R and the person H, there is a turn taking of the conversation. In other words, it is necessary to speak at an appropriate timing with respect to the other party's speech. For this purpose, it is necessary to appropriately inform the person H of the timing at which the person H responds on the touch display 12. In the embodiment, nothing is displayed on the touch display 12 when a response from the person H is not required, and options are displayed on the touch display 12 only when a response is required. At that time, a beep sound is generated to cause the person H to pay attention to the displayed option.

また、たとえば、ロボットRの視線の向き、つまりアイコンタクトなどの非言語的な情報を与えることでさらに効果的にターンテイキングのタイミングを人Hに通知することができる。   Further, for example, by giving non-verbal information such as the direction of the line of sight of the robot R, that is, eye contact, the turn taking timing can be notified to the person H more effectively.

さらに、タッチディスプレイ12に表示した選択肢の内容を人Hが理解しなければならないため、返答に時間がかかる場合がある。しかし、対話の内容によっては「即座に返答する」、「あえて言いよどむ」といった社会的に正しいタイミングでの発話が 期待される場合がある。   Furthermore, since the person H must understand the contents of the options displayed on the touch display 12, it may take time to reply. However, depending on the content of the dialogue, there are cases where utterances are expected at socially correct timings such as “reply immediately” or “dare to say”.

そういう場合は、タッチディスプレイ12に選択肢を表示せず、予め決められた内容を、適切なタイミングで自動的に読み上げる。これにより、より効果的に自然な会話を実現することができる。この場合の問題としては、自動的に読み上げられることで、自らの選択ではないという感覚を人Hに与えてしまう可能性があるが、会話のほとんどは自分で選択しているため、必要なときだけ自動的に返答しても、自分の意思が阻害されたとは思わないであろう。   In such a case, the option is not displayed on the touch display 12, and the predetermined content is automatically read out at an appropriate timing. Thereby, natural conversation can be realized more effectively. As a problem in this case, there is a possibility of giving a feeling to the person H that it is not one's choice by being automatically read out, but since most of the conversation is chosen by oneself, when necessary If you just answer automatically, you won't think your intention has been hampered.

上述の実施例は、物理的なエージェントであるロボットRを用いた対話システムであるが、この発明は、そのような物理的なエージェントだけでなく、たとえばディスプレイの画面上に表示されるアバタないしキャラクタのようなエージェントと人Hとの対話システムも適用されてもよい。この場合、図1のロボットコントローラ20は、そのようなアバタやキャラクタを表示するためのディスプレイI/F(図示せず)に代えられる。   The above-described embodiment is an interactive system using the robot R which is a physical agent. However, the present invention is not limited to such a physical agent, but for example, an avatar or character displayed on a display screen. A dialogue system between the agent and the person H as described above may also be applied. In this case, the robot controller 20 in FIG. 1 is replaced with a display I / F (not shown) for displaying such avatars and characters.

さらには、人Hの相手は、エージェントである必要はなく、相手も人であってよい。その場合の実施例が図10に示される。   Furthermore, the person H does not need to be an agent, and the person may also be a person. An embodiment in that case is shown in FIG.

この実施例では、人H1が図1実施例のロボットRに相当し、人H2が図1実施例の人Hに相当すると理解されたい。つまり、人H1がロボットRに代わるので、対話制御マネージャ16は、人H1のためのタッチディスプレイ121またはその近傍に設けたスピーカ(図示せず:図5のスピーカ26に相当する。)から、図1実施例のロボットRの発話文を発話させる。このような人H1のタッチディスプレイ121からの発話に対して、人H2は、図1実施例の人Hと同様に、自己のタッチディスプレイ122に表示された選択肢(返答項目)を、タッチして選択する。すると、その選択した項目を、タッチディスプレイ122またはその近傍に設けたスピーカ(図示せず:図5のスピーカ26に相当する。)から、発話する。   In this embodiment, it should be understood that the person H1 corresponds to the robot R of FIG. 1 embodiment, and the person H2 corresponds to the person H of FIG. 1 embodiment. That is, since the person H1 takes the place of the robot R, the dialogue control manager 16 uses the touch display 121 for the person H1 or a speaker (not shown: corresponding to the speaker 26 in FIG. 5) provided in the vicinity thereof. The utterance sentence of the robot R of one embodiment is uttered. In response to such an utterance from the touch display 121 of the person H1, the person H2 touches an option (response item) displayed on his / her touch display 122 in the same manner as the person H in the embodiment of FIG. select. Then, the selected item is uttered from the touch display 122 or a speaker (not shown: corresponding to the speaker 26 in FIG. 5) provided in the vicinity thereof.

この図10の実施例によれば、人どうしの対話において、言葉を発することが難しい人、たとえば、心理的に言葉を発することに躊躇を覚える人、発話を行うことが困難な障害を持つ人でも、対話をすることができる。また、対話システムが人の代わりにすべての発話文を読み上げることで、あたかもその発話は人の意図に沿ったものであるように感じさせることができる。   According to the embodiment of FIG. 10, in a dialogue between people, a person who has difficulty in speaking, for example, a person who is hesitant to speak words psychologically, or a person who has difficulty in speaking But you can talk. In addition, when the dialogue system reads out all the utterances on behalf of the person, it can feel as if the utterance is in line with the intention of the person.

図10実施例では、上述とは逆に、人H2が図1実施例のロボットRに相当し、人H1が図1実施例の人Hに相当するものとしてもよい。   In the embodiment in FIG. 10, contrary to the above, the person H2 may correspond to the robot R in the embodiment in FIG. 1, and the person H1 may correspond to the person H in the embodiment in FIG.

たとえば図1の実施例におけるロボットRは、それ自身のスピーカ46からスクリプトに従った発話文を発話し、図10の実施例におけるタッチディスプレイ121または122に関連して設けられているスピーカからスクリプトに従った発話文を発話するので、これらのロボットRやタッチディスプレイ121(122)を用いて発話させる対話制御マネージャ16、ロボットコントローラ20、タッチディスプレイI/F24等は、発話エージェントということができる。   For example, the robot R in the embodiment of FIG. 1 utters an utterance sentence according to the script from its own speaker 46, and from the speaker provided in association with the touch display 121 or 122 in the embodiment of FIG. Since the uttered sentence is uttered, the dialog control manager 16, the robot controller 20, the touch display I / F 24, etc., which are uttered using the robot R or the touch display 121 (122), can be referred to as utterance agents.

なお、上述の実施例では、人Hまたは人H2もしくは人H1の返答項目(選択肢)をタッチディスプレイで表示し、タッチによって選択させたが、タッチディスプレイに限ることなく、表示のために他のディスプレイを用い、選択のために他のポインティングデバイスを用いることができる。   In the above-described embodiment, the response item (option) of the person H or the person H2 or the person H1 is displayed on the touch display and is selected by the touch. However, the display is not limited to the touch display, and other displays are used for display. And other pointing devices can be used for selection.

さらに、図1において、対話制御マネージャ16、ロボットコントローラ20、タッチディスプレイI/F24はそれぞれ別々のものとして図示したが、これらは1つのコンピュータで実現するようにしてもよい。   Further, in FIG. 1, the dialogue control manager 16, the robot controller 20, and the touch display I / F 24 are illustrated as being separate from each other, but these may be realized by one computer.

10 …対話システム
R …ロボットR
H、H1、H2 …人
12、121、122 …タッチディスプレイ
14 …ダイアログデータベース
16 …対話制御マネージャ
18 …ダイアログキュー
20 …ロボットコントローラ
22 …次候補プール
24 …タッチディスプレイI/F
26、46 …スピーカ
28 …座標検出回路
10 ... Dialog system R ... Robot R
H, H1, H2 ... person 12, 121, 122 ... touch display 14 ... dialog database 16 ... dialog control manager 18 ... dialog queue 20 ... robot controller 22 ... next candidate pool 24 ... touch display I / F
26, 46 ... speaker 28 ... coordinate detection circuit

Claims (4)

スクリプトを予め設定しているダイアログデータベース、
前記ダイアログデータベースのスクリプトに従って発話する発話エージェント、
前記発話エージェントによる発話に対して人が返答すべき1つまたは2以上の選択肢をスクリプトに従って表示する表示手段、および
前記表示手段に表示された選択肢を人が選択したとき、その選択肢の内容をスクリプトに従って発話する発話手段を備える、対話システム。
Dialog database with preset scripts,
An utterance agent that utters according to the dialog database script;
Display means for displaying one or more options to be answered by the person in response to the utterance by the utterance agent according to the script, and when the person selects the option displayed on the display means, the content of the option is scripted A dialogue system comprising utterance means for uttering according to the above.
前記表示手段に表示される選択肢は、似通った意味を持つ2以上の選択肢を含む、請求項1記載の対話システム。   The dialog system according to claim 1, wherein the options displayed on the display means include two or more options having similar meanings. 前記表示手段に表示される選択肢は、1つである、請求項1または2記載の対話システム。   The interactive system according to claim 1, wherein the number of options displayed on the display unit is one. ダイアログデータベースに予め設定されているスクリプトに従って対話する対話システムのコンピュータによって実行される制御プログラムであって、前記コンピュータを
前記ダイアログデータベースのスクリプトに従って発話する発話エージェント、
前記発話エージェントによる発話に対して人が返答すべき1つまたは2以上の選択肢をスクリプトに従って表示する表示手段、および
前記ディスプレイに表示された選択肢を人が選択したとき、その選択肢の内容をスクリプトに従って発話する発話手段として機能させる、制御プログラム。
A control program that is executed by a computer of an interactive system that interacts according to a script that is preset in a dialog database, the utterance agent that utters the computer according to the script of the dialog database,
Display means for displaying one or more options to be answered by the person in response to the utterance by the utterance agent according to the script, and when the person selects the option displayed on the display, the content of the option is determined according to the script. A control program that functions as a means of speaking.
JP2016047006A 2016-03-10 2016-03-10 Dialog system and control program Pending JP2017162268A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016047006A JP2017162268A (en) 2016-03-10 2016-03-10 Dialog system and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016047006A JP2017162268A (en) 2016-03-10 2016-03-10 Dialog system and control program

Publications (1)

Publication Number Publication Date
JP2017162268A true JP2017162268A (en) 2017-09-14

Family

ID=59856936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016047006A Pending JP2017162268A (en) 2016-03-10 2016-03-10 Dialog system and control program

Country Status (1)

Country Link
JP (1) JP2017162268A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021003273A (en) * 2019-06-26 2021-01-14 三菱電機株式会社 Sound input-output device
CN112488239A (en) * 2020-12-02 2021-03-12 罗科仕管理顾问有限公司 Method and apparatus for artificial intelligence based computer-aided uniform system
WO2021153101A1 (en) * 2020-01-27 2021-08-05 ソニーグループ株式会社 Information processing device, information processing method, and information processing program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04266781A (en) * 1990-11-14 1992-09-22 Robert M Best Video game method
JP2002117186A (en) * 2000-10-10 2002-04-19 Soft Service:Kk Questionnaire managing device and questionnaire method
JP2004054883A (en) * 2001-11-13 2004-02-19 Equos Research Co Ltd Onboard agent system and interactive operation control system
JP2010067152A (en) * 2008-09-12 2010-03-25 Fuji Xerox Co Ltd Information processor and information processing program
JP2012181697A (en) * 2011-03-01 2012-09-20 Nec Corp Dialog system, interaction control method, and program
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04266781A (en) * 1990-11-14 1992-09-22 Robert M Best Video game method
JP2002117186A (en) * 2000-10-10 2002-04-19 Soft Service:Kk Questionnaire managing device and questionnaire method
JP2004054883A (en) * 2001-11-13 2004-02-19 Equos Research Co Ltd Onboard agent system and interactive operation control system
JP2010067152A (en) * 2008-09-12 2010-03-25 Fuji Xerox Co Ltd Information processor and information processing program
JP2012181697A (en) * 2011-03-01 2012-09-20 Nec Corp Dialog system, interaction control method, and program
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"YESorはいとは(イェスオワハイとは)[単語記事]", ニコニコ大百科[ONLINE], JPN6019047742, ISSN: 0004346748 *
"アンゼロット(あんぜろっと)とは", ピクシブ百科事典[ONLINE], JPN6019047740, ISSN: 0004346747 *
"選択肢は『はい』か『イエス』とは(センタクシハハイカイエスとは)[単語記事]", ニコニコ大百科, JPN6019047744, ISSN: 0004346749 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021003273A (en) * 2019-06-26 2021-01-14 三菱電機株式会社 Sound input-output device
JP7336892B2 (en) 2019-06-26 2023-09-01 三菱電機株式会社 sound input/output device
WO2021153101A1 (en) * 2020-01-27 2021-08-05 ソニーグループ株式会社 Information processing device, information processing method, and information processing program
CN112488239A (en) * 2020-12-02 2021-03-12 罗科仕管理顾问有限公司 Method and apparatus for artificial intelligence based computer-aided uniform system
CN112488239B (en) * 2020-12-02 2022-01-07 罗科仕管理顾问有限公司 Method and apparatus for artificial intelligence based computer-aided uniform system

Similar Documents

Publication Publication Date Title
US20220254343A1 (en) System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
US11468894B2 (en) System and method for personalizing dialogue based on user's appearances
US20220020360A1 (en) System and method for dialogue management
JP6818280B2 (en) Dialogue system, dialogue method, dialogue device, and program
US20190206402A1 (en) System and Method for Artificial Intelligence Driven Automated Companion
US11003860B2 (en) System and method for learning preferences in dialogue personalization
JP6583765B2 (en) Agent dialogue system and program
JP6719741B2 (en) Dialogue method, dialogue device, and program
WO2016080553A1 (en) Learning robot, learning robot system, and learning robot program
JP7517390B2 (en) COMMUNICATION SUPPORT PROGRAM, COMMUNICATION SUPPORT METHOD, COMMUNICATION SUPPORT SYSTEM, TERMINAL DEVICE, AND NON-VERBAL EXPRESSION PROGRAM
WO2017200074A1 (en) Dialog method, dialog system, dialog device, and program
JP6992957B2 (en) Agent dialogue system
JP6970413B2 (en) Dialogue methods, dialogue systems, dialogue devices, and programs
WO2017200078A1 (en) Dialog method, dialog system, dialog device, and program
WO2018163646A1 (en) Dialogue method, dialogue system, dialogue device, and program
JP6551793B2 (en) Dialogue method, dialogue system, dialogue apparatus, and program
JP2017162268A (en) Dialog system and control program
Ehret et al. Who's next? Integrating Non-Verbal Turn-Taking Cues for Embodied Conversational Agents
JP2004185437A (en) Program, server, client and method for body information reflecting chatting
WO2020027073A1 (en) Information processing device and information processing method
JP6647636B2 (en) Dialogue method, dialogue system, dialogue device, and program
Minato et al. A study of interactive robot architecture through the practical implementation of conversational android
JP2018174425A (en) Conference system and control program
JP2022054326A (en) Interactive program, device, and method for expressing sense of listening of character in accordance with user's emotion
JP7432960B2 (en) Dialogue systems and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915