JP6115941B2 - Dialog program, server and method for reflecting user operation in dialog scenario - Google Patents

Dialog program, server and method for reflecting user operation in dialog scenario Download PDF

Info

Publication number
JP6115941B2
JP6115941B2 JP2013068523A JP2013068523A JP6115941B2 JP 6115941 B2 JP6115941 B2 JP 6115941B2 JP 2013068523 A JP2013068523 A JP 2013068523A JP 2013068523 A JP2013068523 A JP 2013068523A JP 6115941 B2 JP6115941 B2 JP 6115941B2
Authority
JP
Japan
Prior art keywords
dialog
scenario
dialogue
user
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013068523A
Other languages
Japanese (ja)
Other versions
JP2014191272A (en
Inventor
▲シン▼ 徐
▲シン▼ 徐
加藤　恒夫
恒夫 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013068523A priority Critical patent/JP6115941B2/en
Publication of JP2014191272A publication Critical patent/JP2014191272A/en
Application granted granted Critical
Publication of JP6115941B2 publication Critical patent/JP6115941B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、対話シナリオを用いてユーザと対話する対話システムの技術に関する。   The present invention relates to a technology of a dialogue system that interacts with a user using a dialogue scenario.

人間に対して自然な対話を実現した対話システムが、スマートフォンやタブレット端末で普及しつつある。特に、コンピュータグラフィックスのキャラクタが、音声で会話する対話エージェントとして機能する技術がある（例えば特許文献１参照）。近年、ユーザから見て、対話エージェントに対する抵抗感も無くなってきており、自然な会話を楽しむことができる。端末は、ユーザとエージェントとの間の会話を通じて、ユーザに特別な意識を持たせることなく、ユーザの状況、趣味趣向、又は感情のようなユーザ情報を取得することができる。これらユーザ情報は、ユーザプロファイルとして、様々なアプリケーションによって利用することができる。   A dialogue system that realizes natural dialogue with humans is becoming popular on smartphones and tablet terminals. In particular, there is a technique in which a computer graphics character functions as an interactive agent that communicates by voice (see, for example, Patent Document 1). In recent years, there has been no sense of resistance to dialogue agents from the viewpoint of users, and natural conversation can be enjoyed. The terminal can acquire user information such as the user's situation, hobbies, and feelings without giving the user special awareness through the conversation between the user and the agent. Such user information can be used as a user profile by various applications.

ユーザは、対話システムを搭載したスマートフォンに対して、質問を語りかけることができる。スマートフォンは、ユーザの声を認識し、意味解析によってその質問の意図を理解し、回答すると共に、最適なサービス機能（例えばメール、スケジューラ、アラーム等）を自動的に起動することもできる（例えば非特許文献１参照）。その回答文は、エージェントから音声合成された声で発せられるものであってもよいし、ディスプレイに表示されるものであってもよい。このように、対話シナリオの中で、新規なサービス機能を起動するために、ランチャ機能が用いられる。ランチャ機能は、エージェントを用いる対話システムを大幅に修正することなく、対話の新規機能として簡易に追加することができる。   A user can speak a question to a smartphone equipped with an interactive system. The smartphone recognizes the voice of the user, understands the intention of the question through semantic analysis, answers it, and can automatically activate an optimal service function (for example, mail, scheduler, alarm, etc.) Patent Document 1). The answer sentence may be uttered by a voice synthesized by an agent or may be displayed on a display. Thus, the launcher function is used to activate a new service function in the dialogue scenario. The launcher function can be easily added as a new dialog function without significantly modifying the dialog system using the agent.

図１は、従来技術における対話システムの機能構成図である。   FIG. 1 is a functional configuration diagram of a dialogue system in the prior art.

図１（ａ）によれば、例えばスマートフォンのような単体装置に搭載されたコンピュータを機能させるプログラム（アプリケーション）であって、対話シナリオ進行部と、対話インタラクション部と、キャラクタ表示制御部とを一体的に含んでいる（例えば特許文献１参照）。対話シナリオ進行部は、多数の対話ノードのツリーを予め記憶しており、ユーザからの返答に応じて辿ることによって、ユーザとの間の対話を進めていく。対話インタラクション部は、対話ノードの文をスピーカから音声合成によって発声する。また、マイクによってユーザからの声を取得し、音声認識及び意味解析を実行し、その回答文を対話シナリオ進行部へ出力する。キャラクタ表示制御部は、キャラクタエージェントをディスプレイに表示し、対話ノードに基づく会話によってそのエージェントの動きを制御する。   According to FIG. 1 (a), for example, a program (application) for causing a computer mounted on a single device such as a smartphone to function, and a dialogue scenario progression unit, a dialogue interaction unit, and a character display control unit are integrated. (For example, refer to Patent Document 1). The dialogue scenario progression unit stores a tree of a large number of dialogue nodes in advance, and advances the dialogue with the user by tracing according to the response from the user. The dialog interaction unit utters the text of the dialog node from the speaker by voice synthesis. In addition, the voice from the user is acquired by the microphone, voice recognition and semantic analysis are executed, and the answer sentence is output to the dialogue scenario progression unit. The character display control unit displays the character agent on the display and controls the movement of the agent by conversation based on the dialogue node.

図１（ｂ）によれば、対話サーバと端末とがネットワークを介して接続されたシステムである。対話サーバは、対話シナリオ進行部と対話インタラクション部とを有し、端末は、対話クライアント部とキャラクタ表示制御部とを有する。端末の対話クライアント部は、対話サーバの対話インタラクション部に対して、端末側のスピーカ及びマイクのようなデバイスのインタフェースとして機能する。   According to FIG. 1B, the dialogue server and the terminal are connected via a network. The dialogue server has a dialogue scenario progression unit and a dialogue interaction unit, and the terminal has a dialogue client unit and a character display control unit. The dialog client unit of the terminal functions as an interface of a device such as a speaker and a microphone on the terminal side with respect to the dialog interaction unit of the dialog server.

特開２００６−３２３８７５号公報JP 2006-323875 A

ＮＴＴドコモ、「しゃべってコンシェル」、[online]、［平成２５年２月２４日検索］、インターネット＜URL:http://www.nttdocomo.co.jp/service/information/shabette_concier/＞NTT DoCoMo, “Talking Concierge”, [online], [Search February 24, 2013], Internet <URL: http://www.nttdocomo.co.jp/service/information/shabette_concier/>

特許文献１に記載された技術によれば、図１（ａ）のように全ての機能モジュールが一体的なアプリケーションとして構成されている。そのために、例えばアラーム機能のような既存の設定機能を、対話シナリオに追加することが難しい。   According to the technique described in Patent Document 1, all functional modules are configured as an integrated application as shown in FIG. Therefore, it is difficult to add an existing setting function such as an alarm function to the interactive scenario.

また、非特許文献１に記載された技術によれば、ランチャ機能によって対話シナリオとサービス機能の起動とを関連付けている。しかしながら、ランチャ機能によって起動したサービス機能と、対話シナリオとの間で、統一感のある対話を実現することは難しい。即ち、対話シナリオ自体は、起動されたサービス機能に関して、ユーザとの間で何ら対話することはない。   Further, according to the technique described in Non-Patent Document 1, the dialog scenario and the activation of the service function are associated by the launcher function. However, it is difficult to realize a unified dialogue between the service function activated by the launcher function and the dialogue scenario. That is, the dialogue scenario itself does not have any dialogue with the user regarding the activated service function.

具体的には、対話の中で、ランチャ機能によって例えば既存のアラーム設定機能（アプリケーション）が起動されたとしても、その後、ユーザは、従来通り、アラーム設定アプリケーションに対してしか操作することができない。そのアラーム設定に関する操作が不明となり、エージェントの対話入力に切り替えても、対話シナリオは、アラーム設定に対する操作過程を認識していない。結果的に、ユーザは、アラーム設定機能に対して手動（例えばタッチパネルを用いて）入力操作をするか、エージェントに対して音声入力するか、のいずれか一方の操作しかすることができない。   Specifically, even if, for example, an existing alarm setting function (application) is activated by the launcher function in the dialog, the user can only operate on the alarm setting application as usual. Even if the operation related to the alarm setting becomes unknown and the operation is switched to the agent's dialogue input, the dialogue scenario does not recognize the operation process for the alarm setting. As a result, the user can perform either one of manual input operation (for example, using a touch panel) for the alarm setting function or voice input to the agent.

本発明は、対話シナリオの進行の中で、既存のアプリケーションに対するユーザの操作を、ユーザの回答として認識することができる対話プログラム、装置、サーバ及び方法を提供することを目的とする。   An object of the present invention is to provide an interactive program, apparatus, server, and method capable of recognizing a user's operation on an existing application as a user's answer during the progress of an interactive scenario.

本発明によれば、ユーザと対話的にシナリオを進行するようにコンピュータを機能させる対話プログラムであって、
ユーザへ明示すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を発行する対話コマンド要求発行手段と、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受け付ける対話コマンド応答受付手段と
してコンピュータを機能させ、
対話シナリオ進行手段は、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容、に基づいて対話的にシナリオを進行する
ようにコンピュータを機能させることを特徴とする。 According to the present invention, there is provided an interactive program for causing a computer to function to advance a scenario interactively with a user,
A plurality of dialog nodes associated with a statement to be clearly indicated to a user, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using a dialogue scenario storage means;
A dialog command request issuing means for issuing a dialog command request when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Causing the computer to function as an interactive command response accepting means for accepting an interactive command response representing the contents of the user operation from the application instructed by the interactive command request;
Interactive scenario progress means, answer sentence by a user, or, characterized in that causes a computer to function as interactively proceed scenarios based user operation contents of interactive command response, the.

本発明の対話プログラムにおける他の実施形態によれば、
対話コマンド要求発行手段は、対話シナリオ進行手段によって、実行された対話ノードに対応付けられた文を含む対話コマンド要求を発行し、
対話コマンド応答受付手段は、ユーザによって回答された文を含む対話コマンド応答を受け付ける
ようにコンピュータを更に機能させることも好ましい。 According to another embodiment of the dialogue program of the present invention,
The dialog command request issuing means issues a dialog command request including a sentence associated with the executed dialog node by the dialog scenario advancing means,
It is preferable that the interactive command response accepting unit further causes the computer to function so as to accept an interactive command response including a sentence answered by the user.

本発明によれば、ユーザ操作に基づく端末と通信し、該端末を通じてユーザと対話的にシナリオを進行する装置であって、
端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を端末へ送信する対話コマンド要求発行手段と、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と、
キャラクタエージェントをディスプレイに表示すると共に、対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を対話シナリオ進行手段へ通知するエージェント手段と、
対話コマンド要求発行手段から発行された対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を対話コマンド応答受付手段へ通知するアプリケーション制御手段と
を有し、
対話シナリオ進行手段は、端末から受信した、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容に基づいて、対話的にシナリオを進行する
ことを特徴とする。 According to the present invention, an apparatus for communicating with a terminal based on a user operation and interactively progressing a scenario with the user through the terminal,
A plurality of dialog nodes associated with a sentence to be transmitted to a terminal, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using a dialogue scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
An interactive command response receiving means for receiving an interactive command response representing the user operation content from the application instructed to execute the interactive command;
Agent means for displaying a character agent on a display, clearly indicating a sentence associated with a dialog node in progress by the dialog scenario progress means, and notifying the dialog scenario progress means of a sentence acquired from a user;
Application control means for instructing the application in response to the interactive command request issued from the interactive command request issuing means and notifying the interactive command response accepting means of a corresponding command response representing the user operation content;
Interactive scenario progress means, it received from the terminal, and respond sentence by the user, or based on a user operation content interactive command response, characterized by progressive interactively scenario.

本発明によれば、ユーザ操作に基づく端末と通信し、該端末を通じてユーザと対話的にシナリオを進行する対話サーバであって、
端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を端末へ送信する対話コマンド要求発行手段と、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と
を有し、
対話シナリオ進行手段は、端末から受信した、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容に基づいて、対話的にシナリオを進行する
ことを特徴とする。 According to the present invention, there is provided a dialogue server that communicates with a terminal based on a user operation and interactively proceeds with a scenario through the terminal.
A plurality of dialog nodes associated with a sentence to be transmitted to a terminal, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using a dialogue scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
A dialogue command response receiving means for receiving a dialogue command response representing the contents of the user operation from the application instructed by the dialogue command request;
Interactive scenario progress means, it received from the terminal, and respond sentence by the user, or based on a user operation content interactive command response, characterized by progressive interactively scenario.

本発明によれば、ユーザ操作に基づく端末と、該端末を通じてユーザと対話的にシナリオを進行する対話サーバとを有するシステムにおける対話方法であって、
対話サーバは、端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積部を有し、
対話サーバは、
対話シナリオ蓄積部を用いて、対話ノードを遷移しながらシナリオを進行する中で、
対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を端末へ送信する第１のステップと、
対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する第２のステップと、
端末から受信した、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容に基づいて、対話的にシナリオを進行する第３のステップと
を有することを特徴とする。 According to the present invention, there is provided a dialogue method in a system having a terminal based on a user operation and a dialogue server that interactively proceeds with a scenario through the terminal.
The dialog server stores a plurality of dialog nodes associated with sentences to be transmitted to the terminal, and a dialog scenario storage in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes Part
The conversation server
While proceeding with a scenario while transitioning dialogue nodes using the dialogue scenario storage unit,
A first step of transmitting the dialogue command request to the terminal when the dialogue node associated with the dialogue command request is executed;
A second step of receiving a dialog command response representing the user operation content from the application instructed to request the dialog command;
Received from the terminal, and respond sentence by the user, or based on a user operation content interactive command response, and having a third step of proceeding interactively scenario.

本発明の対話プログラム、装置、サーバ及び方法によれば、対話シナリオの進行の中で、既存のアプリケーションに対するユーザの操作を、ユーザの回答として認識することができる。   According to the interactive program, apparatus, server, and method of the present invention, a user's operation on an existing application can be recognized as a user's answer during the progress of the interactive scenario.

従来技術における対話システムの機能構成図である。It is a functional block diagram of the dialogue system in a prior art. 本発明の装置における機能構成図である。It is a functional block diagram in the apparatus of this invention. 本発明のシステムにおける機能構成図である。It is a functional block diagram in the system of this invention. 本発明における音声対話とユーザ操作とが連携して進行する対話シナリオを表す説明図である。It is explanatory drawing showing the dialogue scenario which the voice dialogue and user operation in this invention advance in cooperation. 図４のＳ１における端末の表示画面である。It is a display screen of the terminal in S1 of FIG. 図４のＳ２における端末の表示画面である。It is a display screen of the terminal in S2 of FIG. 図４のＳ３における端末の表示画面である。It is a display screen of the terminal in S3 of FIG. 図４のＳ４における端末の表示画面である。It is a display screen of the terminal in S4 of FIG.

以下、本発明の実施の形態について、図面を用いて詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図２は、本発明の装置における機能構成図である。
図３は、本発明のシステムにおける機能構成図である。 FIG. 2 is a functional configuration diagram of the apparatus of the present invention.
FIG. 3 is a functional configuration diagram in the system of the present invention.

図２及び図３によれば、スマートフォンのような装置は、ハードウェアとして、ユーザに対する「音声出力」用のスピーカと、ユーザからの「音声入力」用のマイクと、ユーザに対する文やキャラクタの「ユーザ表示」用のディスプレイとを有する。特に、ディスプレイがタッチパネルディスプレイでである場合、ユーザの指先による「ユーザ操作」用としても機能する。タッチパネルディスプレイによるユーザ操作としては、予め表示されたボタンに対する指の接触押下や、ソフトウェアキーに対する操作であってもよい。勿論、ユーザ操作用として、物理的なキーボードやテンキーを備えたものであってもよい。尚、スマートフォンの場合、加速度センサのようなセンサを搭載したものも多い。   According to FIGS. 2 and 3, a device such as a smartphone, as hardware, a “voice output” speaker for a user, a “voice input” microphone from the user, and a sentence or character “ And a display for “user display”. In particular, when the display is a touch panel display, it also functions for “user operation” by the user's fingertip. The user operation using the touch panel display may be a finger press on a previously displayed button or an operation on a software key. Of course, for a user operation, a physical keyboard or a numeric keypad may be provided. Many smartphones are equipped with sensors such as acceleration sensors.

また、図２及び図３によれば、ソフトウェア的に、対話プログラムと、ユーザプログラムと、既存のアプリケーションとを有する。ここで、図２によれば、これら機能モジュールが、スマートフォンのような単体装置に搭載されたコンピュータで一体的に機能させるプログラムを実行することによって実現されている。また、図３によれば、対話プログラムは、サーバに搭載されたコンピュータで実行され、ユーザプログラム及びアプリケーションは、端末に搭載されたコンピュータで実行されている。サーバと端末とがネットワークを介して接続されたシステムによって、図２と同様の対話システムを実現している。   Further, according to FIG. 2 and FIG. 3, it has an interactive program, a user program, and an existing application in terms of software. Here, according to FIG. 2, these functional modules are realized by executing a program that causes the computer to function integrally with a single device such as a smartphone. Further, according to FIG. 3, the interactive program is executed by a computer mounted on the server, and the user program and the application are executed by a computer mounted on the terminal. A dialog system similar to that shown in FIG. 2 is realized by a system in which a server and a terminal are connected via a network.

対話プログラムは、ユーザと対話的にシナリオを進行するものであって、バックグランド（例えばサーバ側）で実行される。一方で、ユーザプログラムは、ユーザとのインタフェースになるものであって、フロントグランド（例えば端末側）で実行される。ユーザプログラムは、キャラクタのエージェントの表示を制御すると共に、マイクやスピーカによってユーザとの間の会話のインタフェースとなる。また、ユーザプログラムは、対話プログラムから受信した対話コマンド要求に含まれる文（質問文）を音声信号に変換し、その音声信号をスピーカへ出力する。また、マイクによって取得された音声信号を文（回答文）に変換し、その文を対話コマンド応答に含めて、対話プログラムへ送信する。   The interactive program advances the scenario interactively with the user, and is executed in the background (for example, the server side). On the other hand, the user program serves as an interface with the user and is executed on the front ground (for example, the terminal side). The user program controls the display of the agent of the character, and serves as a conversation interface with the user through a microphone and a speaker. Further, the user program converts a sentence (question sentence) included in the dialogue command request received from the dialogue program into an audio signal, and outputs the audio signal to the speaker. The voice signal acquired by the microphone is converted into a sentence (answer sentence), and the sentence is included in the dialogue command response and transmitted to the dialogue program.

＜対話プログラム＞
対話プログラムは、ユーザと対話的にシナリオを進行するようにコンピュータを機能させる。対話プログラムは、対話シナリオ蓄積部１０と、対話シナリオ進行部１１と、対話コマンド要求発行部１２と、対話コマンド応答受付部１３とを有する。 <Dialogue program>
The interactive program causes the computer to function to advance the scenario interactively with the user. The dialogue program includes a dialogue scenario storage unit 10, a dialogue scenario progression unit 11, a dialogue command request issue unit 12, and a dialogue command response reception unit 13.

［対話シナリオ蓄積部１０］
対話シナリオ蓄積部１０は、ユーザへ明示すべき文を対応付けた複数の対話ノードを蓄積する。そして、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている。対話シナリオとは、質問文を含む対話ノードを、ユーザからの回答文に応じてツリー状に構成したものである。また、対話シナリオとは、例えば、ユーザの入力に対する応答パターンを記述するＦＳＴ(Finite State Transducer)ファイルを扱うスクリプトファイルであってもよい。 [Dialogue scenario storage unit 10]
The dialogue scenario accumulation unit 10 accumulates a plurality of dialogue nodes associated with sentences to be clearly shown to the user. Some dialog nodes are associated with a dialog command request for instructing an application requiring a user operation. The dialogue scenario is a dialogue node including a question sentence configured in a tree shape according to an answer sentence from a user. In addition, the dialogue scenario may be a script file that handles, for example, an FST (Finite State Transducer) file describing a response pattern to a user input.

本発明によれば、対話ノードに含まれる対話コマンド要求には、アプリケーションを起動するコマンドだけでなく、例えばアラーム設定用のアプリケーションについて以下のようなコマンドも含まれる。
アラーム時間の設定：ALARM_SETTIME_START
リピートの設定 ：ALARM_SETREPEAT_START
アラーム音の設定 ：ALARM_SETREPEAT_START
また、対話ノードには、キャラクタのエージェントの表示を制御するコマンドも含まれる。 According to the present invention, the dialog command request included in the dialog node includes not only a command for starting an application but also the following command for an alarm setting application, for example.
Alarm time setting: ALARM_SETTIME_START
Repeat setting: ALARM_SETREPEAT_START
Alarm sound setting: ALARM_SETREPEAT_START
The dialogue node also includes a command for controlling the display of the character agent.

［対話シナリオ進行部１１］
対話シナリオ進行部１１は、対話シナリオ蓄積部１０を用いて、対話ノードを遷移しながらシナリオを進行する。ここで、対話シナリオ進行部１１は、ユーザによって回答された文、又は、対話コマンド応答のユーザ操作内容、に基づいて対話シナリオを進行する。 [Dialogue scenario progression unit 11]
The dialogue scenario progression unit 11 uses the dialogue scenario storage unit 10 to advance the scenario while changing dialogue nodes. Here, the dialogue scenario progression unit 11 advances the dialogue scenario based on the sentence answered by the user or the user operation content of the dialogue command response.

［対話コマンド要求発行部１２］
対話コマンド要求発行部１２は、対話シナリオ進行部１１によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を発行する。対話コマンド要求は、対話ノードに対応付けられた以下のコマンドを含む。
・ユーザ操作を要するアプリケーションへ指示するコマンド
・ユーザに対する文（例えば質問文）を含むコマンド [Interactive Command Request Issuing Unit 12]
The dialogue command request issuing unit 12 issues the dialogue command request when the dialogue scenario progressing unit 11 executes the dialogue node associated with the dialogue command request. The interactive command request includes the following commands associated with the interactive node.
-Commands for instructing applications that require user operations-Commands that include sentences for users (for example, questions)

［対話コマンド応答受付部１３］
対話コマンド応答受付部１３は、対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受け付ける。前述と同様に、対話コマンド応答は、対話ノードに対応付けられた以下のコマンドを含む。
・アプリケーションに対するユーザ操作の内容を含むコマンド
・ユーザからの文（例えば回答文）を含むコマンド
対話コマンド応答受付部１３におけるユーザ操作内容は、ユーザによって現に操作された操作情報に限られず、センサによって取得された周辺状態情報であってもよい。 [Interactive Command Response Accepting Unit 13]
The dialogue command response accepting unit 13 accepts a dialogue command response representing the user operation content from the application instructed to request the dialogue command. As before, the interaction command response includes the following commands associated with the interaction node.
-Commands including the contents of user operations on the application-Commands including sentences from the user (for example, answer sentences) The user operation contents in the interactive command response receiving unit 13 are not limited to the operation information actually operated by the user, but are acquired by sensors. Peripheral state information may be provided.

本発明の対話プログラムは、ユーザプログラムに対して全て、「対話コマンド」として要求し且つ応答を受け付ける。これによって、対話プログラムは、ユーザプログラムに対して、音声やタッチパネルディスプレイによってユーザと会話する「文」だけでなく、アプリケーションに対する「ユーザ操作」も含めて、「対話コマンドのみの記述フォーマットで統一する」ことができる。例えばユーザプログラムが、例えば音声会話にしか対応していない場合、ユーザ操作に基づく対話コマンド要求は無視され、文に基づく対話コマンド要求のみが進行する。このように、対話プログラム自体は、ユーザプログラムに搭載された機能を認識することなく、対話コマンドのみで、対話シナリオを進行させることができる。   The dialog program of the present invention requests and accepts a response as a “dialog command” for all user programs. As a result, the dialogue program “unify in a description format with only dialogue commands” including “user operations” for applications as well as “sentences” for conversation with the user by voice or touch panel display. be able to. For example, when the user program supports only a voice conversation, for example, an interactive command request based on a user operation is ignored, and only an interactive command request based on a sentence proceeds. In this way, the dialogue program itself can advance the dialogue scenario with only the dialogue command without recognizing the function installed in the user program.

＜ユーザプログラム＞
ユーザプログラムは、ユーザとのインタフェースになるものであって、キャラクタのエージェントの表示を制御すると共に、マイクやスピーカによってユーザとの間の会話のインタフェースとなる。 <User program>
The user program serves as an interface with the user, controls the display of the character agent, and serves as an interface for conversation with the user through a microphone or speaker.

［エージェント部２１］
エージェント部２１は、キャラクタエージェントをディスプレイに表示すると共に、進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を対話プログラム（対話シナリオ進行部１１）へ通知する。ユーザへ明示すべく文（質問文）は、キャラクタの動きや吹き出しによって表示されてもよいし、音声によってスピーカから発せられるものであってもよい。また、ユーザからの文（回答文）は、タッチパネルによるテキスト入力であってもいし、ユーザの声をマイクで取得するものであってもよい。 [Agent part 21]
The agent unit 21 displays the character agent on the display, clearly indicates the sentence associated with the ongoing dialogue node, and notifies the dialogue program (dialog scenario progression unit 11) of the sentence acquired from the user. A sentence (question sentence) to be clearly indicated to the user may be displayed by a character's movement or a speech balloon, or may be emitted from a speaker by voice. Moreover, the sentence (answer sentence) from a user may be a text input by a touch panel, and may acquire a user's voice with a microphone.

［アプリケーション制御部２２］
アプリケーション制御部２２は、対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を、対話プログラム（対話コマンド応答受付部）へ通知する。アプリケーション制御部２２は、アプリケーションとのやりとりだけでなく、ＧＰＳ(Global Positioning System)センサ、加速度センサ、バッテリー残量計測などのセンサを制御することもできる。 [Application control unit 22]
The application control unit 22 instructs the application in response to the interactive command request, and notifies the interactive command (interactive command response accepting unit) of a corresponding command response representing the user operation content. The application control unit 22 can control not only interaction with the application but also sensors such as a GPS (Global Positioning System) sensor, an acceleration sensor, and a battery remaining amount measurement.

ここで、エージェント部２１におけるキャラクタと、アプリケーション制御部２２におけるサービス機能アプリケーションとは、ディスプレイの画面を分割して表示される。ここで、ユーザ操作に応じて、キャラクタのみの画面にして、サービス機能アプリケーションの機能を一時的に隠すこともできる。同様に、サービス機能アプリケーションのみの画面にして、エージェントの機能を一時的に隠すこともできる。   Here, the character in the agent unit 21 and the service function application in the application control unit 22 are displayed by dividing the display screen. Here, the function of the service function application can be temporarily hidden by using a character-only screen in response to a user operation. Similarly, the agent function can be temporarily hidden by using only the service function application screen.

図４は、本発明における音声対話とユーザ操作とが連携して進行する対話シナリオを表す説明図である。   FIG. 4 is an explanatory diagram showing a dialogue scenario in which voice dialogue and user operation in the present invention proceed in cooperation.

図４によれば、アラーム設定の対話ノードの進行が表されている。アラーム設定には、以下のような３つの対話ノードが構成されている。
（ａ）時間設定 ：質問文「何時に設定しますか？」
（ｂ）リピート設定：質問文「リピートしますか？」
（ｃ）音設定 ：質問文「アラーム音は何にしますか？」
これら全ての対話ノードが実行された後、アラーム設定の終了となる。 FIG. 4 shows the progress of the dialog node for alarm setting. In the alarm setting, the following three interactive nodes are configured.
(A) Time setting: Question “What time do you set?”
(B) Repeat setting: Question “Do you want to repeat?”
(C) Sound setting: Question “What is the alarm sound?”
After all these dialog nodes are executed, the alarm setting is completed.

図４によれば、以下のようにシナリオが進行している。
（Ｓ１） システム ：声「何のご用でしょうか？」
ユーザ ：声「アラーム時間を設定したい」
−−−［アラーム設定］−−−
（Ｓ２） システム ：声「何時に設定しますか？」
ユーザ ：声「１２時」
（システム）※誤って「２２時」と認識して表示する
（Ｓ３） システム ：声「リピートしますか？」
（Ｓ３１）（ユーザ）：※操作によって「１２時」に設定する
（Ｓ３２）（ユーザ）：※操作によって「毎日」に設定する
（Ｓ４） システム ：声「アラーム音は何にしますか？」
ユーザ ：声「今までと同じ」 According to FIG. 4, the scenario proceeds as follows.
(S1) System: Voice “What do you use?”
User: Voice “I want to set the alarm time”
−−− [Alarm setting] −−−
(S2) System: Voice “What time do you set?”
User: Voice “12:00”
(System) * "22:00" is recognized and displayed by mistake (S3) System: Voice "Do you want to repeat?"
(S31) (User): * Set to "12:00" by operation (S32) (User): * Set to "Daily" by operation (S4) System: Voice "What is the alarm sound?"
User: Voice “Same as before”

図５は、図４のＳ１における端末の表示画面である。   FIG. 5 is a display screen of the terminal in S1 of FIG.

対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、質問文「何のご用でしょうか？」を出力する。対話コマンド要求発行部１２は、その質問文を含む対話コマンド要求を、エージェント部２１へ送信する。エージェント部２１は、その質問文をスピーカから発声する。
（Ｓ１） システム：声「何のご用でしょうか？」
ユーザ ：声「アラーム時間を設定したい」 The dialogue scenario advancing unit 11 outputs a question sentence “What are you using?” To the dialogue command request issuing unit 12. The interactive command request issuing unit 12 transmits an interactive command request including the question sentence to the agent unit 21. The agent unit 21 utters the question sentence from the speaker.
(S1) System: Voice “What do you use?”
User: Voice “I want to set the alarm time”

これに対し、ユーザが、声で「アラーム時間を設定したい」と発声したとする。この声は、マイクによって取得され、エージェント部２１へ出力される。エージェント部２１は、その音声情報を、音声認識及び意味解析によって文（回答文）に変換する。ここで、エージェント部２１は、アラーム設定アプリケーションの起動と理解し、コマンド［UNDERSTAND_EVENT_START -> |setalarmtime|］を含む対話コマンド応答を、対話コマンド応答受付部１３へ送信する。   On the other hand, it is assumed that the user utters “I want to set an alarm time” by voice. This voice is acquired by the microphone and output to the agent unit 21. The agent unit 21 converts the voice information into a sentence (answer sentence) by voice recognition and semantic analysis. Here, the agent unit 21 understands that the alarm setting application is activated, and transmits an interactive command response including the command [UNDERSTAND_EVENT_START-> | setalarmtime |] to the interactive command response accepting unit 13.

図６は、図４のＳ２における端末の表示画面である。   FIG. 6 is a display screen of the terminal in S2 of FIG.

次に、対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、アラーム設定アプリケーションの起動を表すコマンド［ALARM_SETTIME_START］を出力する。対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、アプリケーション制御部２２へ送信する。これによって、アプリケーション制御部２２は、アラーム設定アプリケーションを起動する。   Next, the dialogue scenario progression unit 11 outputs a command [ALARM_SETTIME_START] indicating activation of the alarm setting application to the dialogue command request issuing unit 12. The interactive command request issuing unit 12 transmits an interactive command request including the command to the application control unit 22. As a result, the application control unit 22 activates the alarm setting application.

図６によれば、ディスプレイの上半分にはアラーム設定アプリケーションが表示され、下半分にはエージェントが表示されている。尚、ユーザ操作に応じて、アラーム設定アプリケーションのみ、又は、エージェントのみの表示への切り替えることもできる。   According to FIG. 6, the alarm setting application is displayed on the upper half of the display, and the agent is displayed on the lower half. It should be noted that the display can be switched to only the alarm setting application or only the agent according to the user operation.

対話シナリオ進行部１１は、対話状態遷移を更新し、次の対話ノードには、設定時間を尋ねる文（質問文）に基づくコマンドが含まれているとする。対話シナリオ進行部１１は、そのコマンドを対話コマンド要求発行部１２へ出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２へ送信する。ユーザプログラム２は、その対話コマンド要求のコマンドに対応する質問文「何時に設定しますか？」を、音声合成によって音声信号に変換する。そして、エージェント部２１が、その質問文をスピーカから発声する。
（Ｓ２） システム：声「何時に設定しますか？」
ユーザ ：声「１２時」 It is assumed that the dialogue scenario progression unit 11 updates the dialogue state transition, and the next dialogue node includes a command based on a sentence (question sentence) asking for the set time. The dialogue scenario advancing unit 11 outputs the command to the dialogue command request issuing unit 12, and the dialogue command request issuing unit 12 transmits a dialogue command request including the command to the user program 2. The user program 2 converts the question sentence “when do you set?” Corresponding to the command of the interactive command request into a speech signal by speech synthesis. And the agent part 21 utters the question sentence from a speaker.
(S2) System: Voice “What time do you set?”
User: Voice “12:00”

これに対し、ユーザが、声で「１２時」と発声したとする。この声は、マイクによって取得され、エージェント部２１へ出力される。ここで、エージェント部２１は、その音声情報を、音声認識及び意味解析によって、誤って「２２時」と認識したとする。
（システム）※誤って「２２時」と認識して表示する
そして、エージェント部２１は、コマンド［ALARM_SETTIME_START->|22:00|］を、対話プログラム１の対話コマンド応答受付部１３へ送信する。対話コマンド応答受付部１３は、対話シナリオ進行部１１へ、コマンド［ALARM_SETTIME_START->|22:00|］を出力する。対話シナリオ進行部１１は、ユーザがアラームを「２２時」に設定したと判断する。 On the other hand, it is assumed that the user utters “12:00” by voice. This voice is acquired by the microphone and output to the agent unit 21. Here, it is assumed that the agent unit 21 erroneously recognizes the voice information as “22:00” by voice recognition and semantic analysis.
(System) * “22:00” is erroneously recognized and displayed. Then, the agent unit 21 transmits the command [ALARM_SETTIME_START-> | 22: 00 |] to the interactive command response accepting unit 13 of the interactive program 1. The dialogue command response acceptance unit 13 outputs the command [ALARM_SETTIME_START-> | 22: 00 |] to the dialogue scenario progression unit 11. The dialogue scenario progression unit 11 determines that the user has set the alarm to “22:00”.

これに対し、対話プログラム１の対話シナリオ進行部１１は、コマンド［ALARM_SETTIME_START->|22:00|］を対話コマンド要求発行部１２へ出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２のアプリケーション制御部２２へ送信する。これによって、アプリケーション制御部２２は、アプリケーションに対して「２２時」を設定する。この設定は、ディスプレイに表示されたアプリケーションにも明示される。   On the other hand, the dialogue scenario progression unit 11 of the dialogue program 1 outputs the command [ALARM_SETTIME_START-> | 22: 00 |] to the dialogue command request issuing unit 12, and the dialogue command request issuing unit 12 includes the dialogue including the command. A command request is transmitted to the application control unit 22 of the user program 2. Thereby, the application control unit 22 sets “22:00” for the application. This setting is also specified in the application displayed on the display.

図７は、図４のＳ３における端末の表示画面である。   FIG. 7 is a display screen of the terminal in S3 of FIG.

対話シナリオ進行部１１は、対話状態遷移を更新し、次の対話ノードには、アラームの繰り返しを尋ねる文（質問文）に基づくコマンドが含まれているとする。対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、質問文「リピートしますか？」に基づくコマンドを出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２のエージェント部２１へ送信する。エージェント部２１は、その対話コマンド要求のコマンドに対応する質問文を、音声合成によってスピーカから発声する。
（Ｓ３） システム ：声「リピートしますか？」 It is assumed that the dialogue scenario progression unit 11 updates the dialogue state transition, and the next dialogue node includes a command based on a sentence (question sentence) asking for repetition of the alarm. The dialogue scenario progression unit 11 outputs a command based on the question sentence “Do you want to repeat?” To the dialogue command request issuing unit 12, and the dialogue command request issuing unit 12 sends the dialogue command request including the command to the user program. 2 to the agent unit 21. The agent unit 21 utters a question sentence corresponding to the command of the interactive command request from the speaker by voice synthesis.
(S3) System: Voice “Do you want to repeat?”

しかしながら、ユーザは、ディスプレイに表示されたアラーム設定「２２時」を見て、音声認識で誤ったことを知る。そこで、ユーザは、タッチパネルディスプレイに対する「ユーザ操作」によって、「１２時」に変更したとする。
（Ｓ３１）（ユーザ）：※操作によって「１２時」に設定する
この操作を検知したアプリケーション制御部２２は、対話コマンド応答受付部１３へ、コマンド［ALARM_SETTIME_START->|12:00|］を含む対話コマンド応答を送信する。対話コマンド応答受付部１３は、そのコマンドを対話シナリオ進行部１１へ出力する。対話シナリオ進行部１１は、ユーザがアラームを「１２時」に設定したと判断し、次の対話ノードへ進行する。 However, the user sees the alarm setting “22:00” displayed on the display and knows that the voice recognition is incorrect. Therefore, it is assumed that the user has changed to “12:00” by “user operation” on the touch panel display.
(S31) (User): * Set to “12 o'clock by operation” The application control unit 22 that has detected this operation sends a dialog including the command [ALARM_SETTIME_START-> | 12: 00 |] to the dialog command response reception unit 13. Send command response. The dialogue command response acceptance unit 13 outputs the command to the dialogue scenario progression unit 11. The dialogue scenario progression unit 11 determines that the user has set the alarm at “12:00” and proceeds to the next dialogue node.

このように、本発明によれば、音声認識に失敗した場合であっても、アプリケーションい対するユーザ操作（例えばタッチ操作）に切り替えたとしても、対話シナリオを進行させることができる。   As described above, according to the present invention, even when voice recognition fails, even when switching to a user operation (for example, a touch operation) for an application, the conversation scenario can be advanced.

更に、ユーザは、タッチパネルディスプレイに対する「ユーザ操作」によって、「毎日」に変更したとする。
（Ｓ３２）（ユーザ）：※操作によって「毎日」に設定する
この操作を検知したアプリケーション制御部２２は、対話プログラム１の対話コマンド応答受付部１３へ、コマンド［ALARM_SETREPEAT_START | everyday］を送信する。対話コマンド応答受付部１３は、そのコマンドを対話シナリオ進行部１１へ出力する。対話シナリオ進行部１１は、ユーザがアラームの繰り返しを「毎日」に設定したと判断し、次の対話ノードへ進行する。 Furthermore, it is assumed that the user changes to “every day” by “user operation” on the touch panel display.
(S32) (User): * Set to “daily” by operation The application control unit 22 that has detected this operation transmits a command [ALARM_SETREPEAT_START | everyday] to the interactive command response accepting unit 13 of the interactive program 1. The dialogue command response acceptance unit 13 outputs the command to the dialogue scenario progression unit 11. The dialogue scenario progression unit 11 determines that the user has set the repetition of the alarm to “every day”, and proceeds to the next dialogue node.

図８は、図４のＳ４における端末の表示画面である。   FIG. 8 is a display screen of the terminal in S4 of FIG.

対話シナリオ進行部１１は、対話状態遷移を更新し、次の対話ノードには、アラーム音を尋ねる文（質問文）に基づくコマンドが含まれているとする。対話シナリオ進行部１１は、対話コマンド要求発行部１２へ、質問文「アラーム音は何にしますか？」に基づくコマンドを出力し、対話コマンド要求発行部１２は、そのコマンドを含む対話コマンド要求を、ユーザプログラム２のエージェント部２１へ送信する。エージェント部２１は、その対話コマンド要求のコマンドに対応する質問文を、音声合成によってスピーカから発声する。
（Ｓ４） システム：声「アラーム音は何にしますか？」
ユーザ： 声「今までと同じ」 It is assumed that the dialogue scenario progression unit 11 updates the dialogue state transition, and the next dialogue node includes a command based on a sentence (question sentence) asking for an alarm sound. The dialogue scenario advancing unit 11 outputs a command based on the question sentence “What is the alarm sound?” To the dialogue command request issuing unit 12, and the dialogue command request issuing unit 12 issues a dialogue command request including the command. , To the agent unit 21 of the user program 2. The agent unit 21 utters a question sentence corresponding to the command of the interactive command request from the speaker by voice synthesis.
(S4) System: Voice “What will the alarm sound be?”
User: Voice “Same as before”

これに対し、ユーザが、声で「今までと同じ」と発声したとする。この声は、マイクによって取得され、エージェント部２１へ出力される。エージェント部２１は、音声認識及び意味解析によって回答文を認識し、その回答文に基づくコマンド［UNDERSTAND_ALARM_MUSIC | crruntsetting］を含む対話コマンド応答を、対話コマンド応答受付部１３へ送信する。ここで、対話コマンド応答受付部１３は、対話コマンド応答に含まれるコマンドを、対話シナリオ進行部１１へ通知する。対話シナリオ進行部１１は、ユーザがアラーム音を「今までと同じ」に設定したと判断し、次の対話ノードへ進行する。   On the other hand, it is assumed that the user utters “same as before” by voice. This voice is acquired by the microphone and output to the agent unit 21. The agent unit 21 recognizes an answer sentence by voice recognition and semantic analysis, and transmits an interactive command response including a command [UNDERSTAND_ALARM_MUSIC | crruntsetting] based on the answer sentence to the interactive command response accepting unit 13. Here, the dialogue command response accepting unit 13 notifies the dialogue scenario progression unit 11 of the command included in the dialogue command response. The dialogue scenario progression unit 11 determines that the user has set the alarm sound to “same as before”, and proceeds to the next dialogue node.

以上、詳細に説明したように、本発明の対話プログラム、装置、サーバ及び方法によれば、対話シナリオの進行の中で、既存のアプリケーションに対するユーザの操作を、ユーザの回答として認識することができる。即ち、アプリケーションに対するユーザの操作であっても、音声対話のシナリオを進行させることができる。   As described above in detail, according to the interactive program, apparatus, server, and method of the present invention, the user's operation on the existing application can be recognized as the user's answer during the progress of the interactive scenario. . That is, even a user operation on an application can proceed with a voice conversation scenario.

尚、本発明は、ユーザ操作に基づく端末のディスプレイに「キャラクタエージェント」を表示し、ユーザとエージェントとが音声による対話を進める、音声対話システムに適する。勿論、本発明は、音声対話に限定されるものではなく、テキスト対話であってもよい。   The present invention is suitable for a voice dialogue system in which a “character agent” is displayed on a display of a terminal based on a user operation, and a dialogue between the user and the agent advances by voice. Of course, the present invention is not limited to a voice dialogue, but may be a text dialogue.

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   Various changes, modifications, and omissions of the above-described various embodiments of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.

１ 対話プログラム
１０ 対話シナリオ蓄積部
１１ 対話シナリオ進行部
１２ 対話コマンド要求発行部
１３ 対話コマンド応答受付部
２ ユーザプログラム
２１ エージェント部
２２ アプリケーション制御部 DESCRIPTION OF SYMBOLS 1 Dialog program 10 Dialog scenario storage part 11 Dialog scenario progress part 12 Dialog command request issue part 13 Dialog command response reception part 2 User program 21 Agent part 22 Application control part

Claims (5)

ユーザと対話的にシナリオを進行するようにコンピュータを機能させる対話プログラムであって、
ユーザへ明示すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
前記対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
前記対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を発行する対話コマンド要求発行手段と、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受け付ける対話コマンド応答受付手段と
してコンピュータを機能させ、
前記対話シナリオ進行手段は、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容、に基づいて対話的にシナリオを進行する
ようにコンピュータを機能させることを特徴とする対話プログラム。 An interactive program that causes a computer to function to proceed with a scenario interactively with a user,
A plurality of dialog nodes associated with a statement to be clearly indicated to a user, and a dialog scenario storing unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using the dialog scenario storage means;
A dialog command request issuing means for issuing a dialog command request when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Causing the computer to function as an interactive command response accepting unit for accepting an interactive command response representing the user operation content from the application instructed by the interactive command request;
The dialogue scenario advancing means for causing a computer to function so as to advance a scenario interactively based on a sentence answered by a user or a user operation content of the dialogue command response. 前記対話コマンド要求発行手段は、前記対話シナリオ進行手段によって、実行された対話ノードに対応付けられた文を含む対話コマンド要求を発行し、
前記対話コマンド応答受付手段は、ユーザによって回答された文を含む対話コマンド応答を受け付ける
ようにコンピュータを更に機能させることを特徴とする請求項１に記載の対話プログラム。 The dialog command request issuing means issues a dialog command request including a sentence associated with the dialog node executed by the dialog scenario advancing means,
The interactive program according to claim 1, wherein the interactive command response accepting unit further causes the computer to accept an interactive command response including a sentence answered by the user. ユーザ操作に基づく端末と通信し、該端末を通じてユーザと対話的にシナリオを進行する装置であって、
前記端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
前記対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
前記対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を前記端末へ送信する対話コマンド要求発行手段と、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と、
キャラクタエージェントをディスプレイに表示すると共に、前記対話シナリオ進行手段によって進行中の対話ノードに対応付けられた文を明示し、ユーザから取得した文を前記対話シナリオ進行手段へ通知するエージェント手段と、
前記対話コマンド要求発行手段から発行された前記対話コマンド要求に応じたアプリケーションへ指示し、ユーザ操作内容を表す対応コマンド応答を前記対話コマンド応答受付手段へ通知するアプリケーション制御手段と
を有し、
前記対話シナリオ進行手段は、前記端末から受信した、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容に基づいて、対話的にシナリオを進行する
ことを特徴とする装置。 A device that communicates with a terminal based on a user operation and interactively proceeds with a scenario through the terminal,
A plurality of dialog nodes associated with a sentence to be transmitted to the terminal, and a dialog scenario storage unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using the dialog scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Dialog command response accepting means for receiving a dialog command response representing the user operation content from the application instructed by the dialog command request;
Agent means for displaying a character agent on a display, clearly indicating a sentence associated with a dialog node in progress by the dialog scenario progress means, and notifying the dialog scenario progress means of a sentence acquired from a user;
Application control means for instructing the application in response to the interactive command request issued from the interactive command request issuing means and notifying the interactive command response accepting means of a corresponding command response representing the user operation content;
The conversation scenario progresses unit was received from the terminal, sentences are answered by the user, or based on a user operation contents of said interactive command response, and wherein the traveling scenarios interactively. ユーザ操作に基づく端末と通信し、該端末を通じてユーザと対話的にシナリオを進行する対話サーバであって、
前記端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積手段と、
前記対話シナリオ蓄積手段を用いて、対話ノードを遷移しながらシナリオを進行する対話シナリオ進行手段と、
前記対話シナリオ進行手段によって、対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を前記端末へ送信する対話コマンド要求発行手段と、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する対話コマンド応答受付手段と
を有し、
前記対話シナリオ進行手段は、前記端末から受信した、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容に基づいて、対話的にシナリオを進行する
ことを特徴とする対話サーバ。 A dialog server that communicates with a terminal based on a user operation and interactively proceeds with a scenario through the terminal.
A plurality of dialog nodes associated with a sentence to be transmitted to the terminal, and a dialog scenario storage unit in which a dialog command request instructing an application requiring a user operation is associated with some dialog nodes;
Dialog scenario advancing means for advancing a scenario while transitioning dialog nodes using the dialog scenario storage means;
A dialog command request issuing means for transmitting the dialog command request to the terminal when the dialog node associated with the dialog command request is executed by the dialog scenario advancing means;
Dialog command response accepting means for receiving a dialog command response representing the user operation content from the application instructed to perform the dialog command request;
Interaction server the conversation scenario progresses means, received from the terminal, the reply sentences by the user, or based on the user operation contents of said interactive command response, characterized by progressive interactively scenario. ユーザ操作に基づく端末と、該端末を通じてユーザと対話的にシナリオを進行する対話サーバとを有するシステムにおける対話方法であって、
前記対話サーバは、前記端末へ送信すべき文を対応付けた複数の対話ノードを蓄積し、一部の対話ノードには、ユーザ操作を要するアプリケーションへ指示する対話コマンド要求が対応付けられている対話シナリオ蓄積部を有し、
前記対話サーバは、
前記対話シナリオ蓄積部を用いて、対話ノードを遷移しながらシナリオを進行する中で、
対話コマンド要求が対応付けられた対話ノードが実行された際、当該対話コマンド要求を前記端末へ送信する第１のステップと、
前記対話コマンド要求を指示された当該アプリケーションから、ユーザ操作内容を表す対話コマンド応答を受信する第２のステップと、
前記端末から受信した、ユーザによって回答された文、又は、前記対話コマンド応答のユーザ操作内容に基づいて、対話的にシナリオを進行する第３のステップと
を有することを特徴とする対話方法。 A dialogue method in a system having a terminal based on a user operation and a dialogue server that interactively progresses a scenario with the user through the terminal,
The dialogue server stores a plurality of dialogue nodes associated with sentences to be transmitted to the terminal, and some dialogue nodes are associated with dialogue command requests for instructing an application that requires user operation. Has a scenario storage unit,
The dialogue server
While proceeding with a scenario while transitioning dialog nodes using the dialog scenario storage unit,
A first step of transmitting the dialogue command request to the terminal when the dialogue node associated with the dialogue command request is executed;
A second step of receiving an interactive command response representing the contents of the user operation from the application instructed by the interactive command request;
Received from the terminal, sentences are answered by the user, or based on a user operation contents of said interactive command response, interactive method characterized by having a third step of traveling the scenario interactively.
JP2013068523A 2013-03-28 2013-03-28 Dialog program, server and method for reflecting user operation in dialog scenario Active JP6115941B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013068523A JP6115941B2 (en) 2013-03-28 2013-03-28 Dialog program, server and method for reflecting user operation in dialog scenario

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013068523A JP6115941B2 (en) 2013-03-28 2013-03-28 Dialog program, server and method for reflecting user operation in dialog scenario

Publications (2)

Publication Number Publication Date
JP2014191272A JP2014191272A (en) 2014-10-06
JP6115941B2 true JP6115941B2 (en) 2017-04-19

Family

ID=51837540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013068523A Active JP6115941B2 (en) 2013-03-28 2013-03-28 Dialog program, server and method for reflecting user operation in dialog scenario

Country Status (1)

Country Link
JP (1) JP6115941B2 (en)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP2016508007A (en) 2013-02-07 2016-03-10 アップル インコーポレイテッド Voice trigger for digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
KR101777392B1 (en) 2016-07-04 2017-09-11 주식회사 케이티 Central server and method for processing of voice of user
KR101889278B1 (en) * 2017-01-16 2018-08-21 주식회사 케이티 Public device and method for providing service in response to voice command, and public device for providing moving character in response to voice command
US10726836B2 (en) 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
US11204787B2 (en) * 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR101889279B1 (en) 2017-01-16 2018-08-21 주식회사 케이티 System and method for provining sercive in response to voice command
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. Low-latency intelligent automated assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US11017037B2 (en) * 2017-07-03 2021-05-25 Google Llc Obtaining responsive information from multiple corpora
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (en) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729918B2 (en) * 1995-07-19 2005-12-21 株式会社東芝 Multimodal dialogue apparatus and dialogue method
JP2001056694A (en) * 1999-08-19 2001-02-27 Denso Corp Interactive user interface device
JP3674453B2 (en) * 2000-04-14 2005-07-20 株式会社デンソー Interactive user interface device
JP3423296B2 (en) * 2001-06-18 2003-07-07 沖電気工業株式会社 Voice dialogue interface device
JP4174233B2 (en) * 2002-04-24 2008-10-29 株式会社日立製作所 Spoken dialogue system and spoken dialogue method
JP2006099424A (en) * 2004-09-29 2006-04-13 Hitachi Ltd Voice information service system and terminal
JP4680691B2 (en) * 2005-06-15 2011-05-11 富士通株式会社 Dialog system
US9135913B2 (en) * 2006-05-26 2015-09-15 Nec Corporation Voice input system, interactive-type robot, voice input method, and voice input program
US9082408B2 (en) * 2011-06-13 2015-07-14 Mmodal Ip Llc Speech recognition using loosely coupled components

Also Published As

Publication number Publication date
JP2014191272A (en) 2014-10-06

Similar Documents

Publication Publication Date Title
JP6115941B2 (en) Dialog program, server and method for reflecting user operation in dialog scenario
KR101237622B1 (en) Methods and apparatus for implementing distributed multi-modal applications
KR102490776B1 (en) Headless task completion within digital personal assistants
KR102100389B1 (en) Personalized entity pronunciation learning
US9613623B2 (en) User interface method and device comprising repeated output of an audible signal and a visual display and vibration for user notification
US11749276B2 (en) Voice assistant-enabled web application or web page
CN107004411B (en) Voice application architecture
EP2973543B1 (en) Providing content on multiple devices
US9842584B1 (en) Providing content on multiple devices
US9218052B2 (en) Framework for voice controlling applications
US9087520B1 (en) Altering audio based on non-speech commands
WO2018125717A1 (en) Audio message extraction
US20150039316A1 (en) Systems and methods for managing dialog context in speech systems
KR20100109943A (en) Methods and apparatus for implementing distributed multi-modal applications
JP2012237997A (en) Speech recognition system and method based on word-level conversion candidate generation
JP2014106523A (en) Voice input corresponding device and voice input corresponding program
JP2011059676A (en) Method and system for activating multiple functions based on utterance input
AU2019201441B2 (en) Electronic device for processing user voice input
WO2019176670A1 (en) Information processing device, information processing method, and program
CN103428339A (en) Method for controlling mobile phone to be operated through voice input
CN111816168A (en) Model training method, voice playing method, device and storage medium
KR102063389B1 (en) Character display device based the artificial intelligent and the display method thereof
KR102092058B1 (en) Method and apparatus for providing interface
US9613311B2 (en) Receiving voice/speech, replacing elements including characters, and determining additional elements by pronouncing a first element
CN112823047A (en) System and apparatus for controlling web applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170315

R150 Certificate of patent or registration of utility model

Ref document number: 6115941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150