JP2021015460A - Question/answer display server, question/answer display method and question/answer display program - Google Patents
Question/answer display server, question/answer display method and question/answer display program Download PDFInfo
- Publication number
- JP2021015460A JP2021015460A JP2019129857A JP2019129857A JP2021015460A JP 2021015460 A JP2021015460 A JP 2021015460A JP 2019129857 A JP2019129857 A JP 2019129857A JP 2019129857 A JP2019129857 A JP 2019129857A JP 2021015460 A JP2021015460 A JP 2021015460A
- Authority
- JP
- Japan
- Prior art keywords
- question
- answer
- pattern
- patterns
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本開示は、質問回答データベースから、対話形式及びＦＡＱ形式により、ユーザからの質問に対する回答を行い、また、ユーザからの質問パターンを教師データの候補として学習を行う質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムに関する。 This disclosure is a question-and-answer display server and a question-and-answer display method that answers questions from users in an interactive format and FAQ format from a question-and-answer database, and learns from the question patterns from users as candidates for teacher data. And about the question answer display program.
近年、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術が注目を浴びている。ユーザサポートの場面において、従来は、人手で電話対応を行い、または、メールでユーザからの問合せに対する回答を行っていたが、ＡＩが活用される場面が増えている。例えば、ＡＩの活用場面では、対話システムを用いて、ユーザからの質問に回答するシステムが開発されている。 In recent years, AI (Artificial Intelligence) technology has been attracting attention. In the field of user support, conventionally, the telephone is manually handled or the inquiry from the user is answered by e-mail, but the situation where AI is used is increasing. For example, in the usage scene of AI, a system for answering questions from users has been developed by using a dialogue system.
例えば、特許文献１では、予め複数の質問・回答パターンを知識データベースとして登録し、ユーザからの質問に対して対話システムを用いて応答を行うための構成が提案されている。 For example, Patent Document 1 proposes a configuration for registering a plurality of question / answer patterns in advance as a knowledge database and responding to a question from a user by using an interactive system.
一方で、企業がユーザに対して商品やサービスの情報を伝えるために、Ｗｅｂページを用いてＦＡＱ（Ｆｒｅｑｕｅｎｔｌｙ Ａｓｋｅｄ Ｑｕｅｓｔｉｏｎｓ）のコーナーを設けることが多く、これによりユーザに対して情報を提供することも数多く行われている。そして、単にＦＡＱを一覧として提示するだけでなく、ユーザが求める回答を探しやすいように検索機能を有するものも多い。 On the other hand, in order for companies to convey information on products and services to users, FAQ (Freshly Asked Questions) corners are often provided using Web pages, which can also provide information to users. Many are done. In addition to simply presenting FAQs as a list, many have a search function so that users can easily find the answer they want.
例えば、特許文献２では、ユーザが求めるＦＡＱの検索効率を上げるため、質問の意図に合致しそうな候補を抽出することが行われている。 For example, in Patent Document 2, in order to improve the search efficiency of FAQ required by the user, candidates that are likely to match the intent of the question are extracted.
特許文献１及び特許文献２は、それぞれ、対話形式のインタフェース及びＦＡＱのインタフェースを用いてユーザが求める回答を提示するものであるが、その双方を用いるものではない。 Patent Document 1 and Patent Document 2 present the answers requested by the user by using an interactive interface and an FAQ interface, respectively, but do not use both of them.
また、ＡＩによる対話システムを提供するには、予め大量の質問・回答パターンを用意する必要があるため、効率よく教師データを集めることも重要な課題である。 Further, in order to provide a dialogue system by AI, it is necessary to prepare a large amount of question / answer patterns in advance, so it is also an important issue to efficiently collect teacher data.
そこで、本開示では、予め、回答パターンとそれに対応する質問パターンを含む質問回答データベースを用いて、対話形式のインタフェースにより、ユーザの質問に回答するとともに、同じ質問回答データベースを用いて、ユーザに対してＦＡＱページを提供することを目的とする。 Therefore, in the present disclosure, a question / answer database including an answer pattern and a corresponding question pattern is used in advance to answer the user's question through an interactive interface, and the same question / answer database is used for the user. The purpose is to provide a FAQ page.
本開示の一態様における質問回答表示サーバは、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部と、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得部と、取得した質問文と記憶部に記憶している質問パターンとの類似度を算出する類似度算出部と、算出された類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部と、管理者端末に質問回答データベースの設定画面を提供して質問回答データベースの設定を行う設定部と、設定および質問回答データベースに基づいて、記憶している回答パターン及び質問パターンのうち設定されたパターンを用いたＦＡＱページを生成して提供するＦＡＱ提供部と、を備える。 The question-and-answer display server in one aspect of the present disclosure provides a storage unit that stores a question-and-answer database including an answer pattern and a corresponding question pattern, and an interactive interface to the user terminal, and asks a question input by the user terminal. A question sentence acquisition unit that acquires a sentence, a similarity calculation unit that calculates the similarity between the acquired question sentence and the question pattern stored in the storage unit, and a corresponding answer pattern based on the calculated similarity. Is stored based on the answer pattern display unit that displays the question and answer database on the user terminal, the setting unit that provides the setting screen of the question and answer database to the administrator terminal and sets the question and answer database, and the setting and the question and answer database. It includes a FAQ providing unit that generates and provides a FAQ page using a set pattern among the answer pattern and the question pattern.
本開示の一態様における質問回答表示方法は、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶部に記憶している質問パターンとの類似度を算出する類似度算出ステップと、算出された類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、管理者端末に質問回答データベースの設定画面を提供して質問回答データベースの設定を行う設定ステップと、設定および質問回答データベースに基づいて、記憶している回答パターン及び質問パターンのうち設定されたパターンを用いたＦＡＱページを生成して提供するＦＡＱ提供ステップと、を備える。 The question-and-answer display method in one aspect of the present disclosure provides a storage step for storing a question-and-answer database including an answer pattern and a corresponding question pattern, and an interactive interface to the user terminal, and asks a question input by the user terminal. A question sentence acquisition step for acquiring a sentence, a similarity calculation step for calculating the similarity between the acquired question sentence and a question pattern stored in the storage unit, and a corresponding answer pattern based on the calculated similarity. Is stored based on the answer pattern display step for displaying the question and answer database on the user terminal, the setting step for providing the question and answer database setting screen to the administrator terminal and setting the question and answer database, and the setting and the question and answer database. It includes a FAQ providing step of generating and providing a FAQ page using a set pattern among the answer pattern and the question pattern.
本開示の一態様における質問回答表示プログラムは、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶部に記憶している質問パターンとの類似度を算出する類似度算出ステップと、算出された類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、管理者端末に質問回答データベースの設定画面を提供して質問回答データベースの設定を行う設定ステップと、設定および質問回答データベースに基づいて、記憶している回答パターン及び質問パターンのうち設定されたパターンを用いたＦＡＱページを生成して提供するＦＡＱ提供ステップとをコンピュータに実行させるためのプログラムである。 The question-and-answer display program in one aspect of the present disclosure provides a storage step for storing a question-and-answer database containing an answer pattern and a corresponding question pattern, and an interactive interface to the user terminal, and asks a question input by the user terminal. A question sentence acquisition step for acquiring a sentence, a similarity calculation step for calculating the similarity between the acquired question sentence and a question pattern stored in the storage unit, and a corresponding answer pattern based on the calculated similarity. Is stored based on the answer pattern display step for displaying the question and answer database on the user terminal, the setting step for providing the question and answer database setting screen to the administrator terminal and setting the question and answer database, and the setting and the question and answer database. It is a program for causing a computer to execute a FAQ providing step of generating and providing an FAQ page using a set pattern among an answer pattern and a question pattern.
本開示によれば、一つの質問回答データベースを用意することで、対話形式のインタフェースによるユーザの意図する回答の提供と、ＦＡＱページによる回答の提供という二通りのインタフェースにより回答を提供することが可能となる。 According to the present disclosure, by preparing one question / answer database, it is possible to provide answers through two interfaces: providing the answer intended by the user through an interactive interface and providing the answer through the FAQ page. It becomes.
以下、本開示の実施形態に係る質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムについて図面を参照しながら説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。また、実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。 Hereinafter, the question / answer display server, the question / answer display method, and the question / answer display program according to the embodiment of the present disclosure will be described with reference to the drawings. It should be noted that the embodiments described below do not unreasonably limit the contents of the present disclosure described in the claims. Moreover, not all of the configurations described in the embodiments are essential configuration requirements of the present disclosure. Further, in all the drawings for explaining the embodiments, the common components are designated by the same reference numerals, and the repeated description will be omitted.
（第１実施形態）
図１は、本開示にかかる質問回答表示システム１の全体構成を示す図である。以下、これを参照して、本開示にかかる質問回答表示システム１の構成について説明する。
(First Embodiment)
FIG. 1 is a diagram showing an overall configuration of a question / answer display system 1 according to the present disclosure. Hereinafter, the configuration of the question / answer display system 1 according to the present disclosure will be described with reference to this.
＜構成＞
質問回答表示サーバ１００は、記憶部１０１と、質問文取得部１０２と、類似度算出部１０３と、回答パターン表示部１０４と、設定部１０５と、ＦＡＱ提供部１０６とを有する。質問回答表示サーバ１００は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ及び管理者端末２０１−１〜２０１−Ｍと接続されている。質問回答表示サーバ１００は、コンピュータにプログラムを実装することにより実現する。なお、質問回答表示サーバ１００を構成する各部は、複数のコンピュータに分散して実現されていても構わない。また、記憶部１０１は質問回答表示サーバ外に存在しても構わない。
<Composition>
The question / answer display server 100 includes a storage unit 101, a question sentence acquisition unit 102, a similarity calculation unit 103, an answer pattern display unit 104, a setting unit 105, and an FAQ providing unit 106. The question-and-answer display server 100 is connected to the user terminals 200-1 to 200-N and the administrator terminals 201-1 to 201-M via the network NW. The question-and-answer display server 100 is realized by implementing a program on a computer. It should be noted that each part constituting the question / answer display server 100 may be distributed to a plurality of computers. Further, the storage unit 101 may exist outside the question / answer display server.
ユーザ端末２００−１〜２００−Ｎは、質問文の入力を受付けて質問回答表示サーバ１００に対して発信し、当該質問文に対して質問回答表示サーバ１００が生成した回答パターンを受信して表示し、及び／又はＦＡＱを表示する端末である。ユーザ端末２００−１〜２００−Ｎは、例えば、ユーザサポートにおいて、不明な点の問合せを行おうとする一般ユーザが扱う端末が想定される。 The user terminals 200-1 to 200-N receive the input of the question text and send it to the question / answer display server 100, and receive and display the answer pattern generated by the question / answer display server 100 for the question text. And / or a terminal that displays FAQ. The user terminals 200-1 to 200-N are assumed to be terminals handled by general users who intend to make inquiries about unclear points in user support, for example.
管理者端末２０１−１〜２０１−Ｍは、記憶部１０１の質問文とそれに対応する回答パターンを含むデータベースにアクセスして管理する端末である。管理者端末２０１−１〜２０１−Ｍは、例えば、ユーザサポートにおいて、問合せ対応を行うサポート管理者側が扱う端末が想定される。 The administrator terminals 201-1 to 201-M are terminals that access and manage a database including a question sentence of the storage unit 101 and a corresponding answer pattern. The administrator terminals 201-1 to 201-M are assumed to be terminals handled by the support administrator who handles inquiries in user support, for example.
記憶部１０１は、質問パターン及び回答パターンを含む質問回答データベースを記憶する。質問回答データベースは例えば、ある１つのテーマに対して、１つのタイトルと１つの回答パターンが存在し、それに対して想定される１又は複数の質問パターンが記憶される。さらに、ＦＡＱタグが用意され、タグの設定により、ＦＡＱページに表示するための質問−回答パターンか否かを管理する。 The storage unit 101 stores a question / answer database including a question pattern and an answer pattern. In the question-and-answer database, for example, one title and one answer pattern exist for one theme, and one or a plurality of expected question patterns are stored for the one title and one answer pattern. Furthermore, a FAQ tag is prepared, and by setting the tag, it is managed whether or not it is a question-answer pattern to be displayed on the FAQ page.
記憶部１０１で記憶する質問回答データベースは、さらにカテゴリを記憶してもよい。カテゴリは、ＦＡＱページのページ構造の生成に使われる。また、管理者が質問回答データベースの編集を行う際に、管理者の設定画面でのページ構造の生成に使用してもよい。なお、ページ構造は、カテゴリによるグループ化のみでなく、順番や階層を用いてもよい。 The question-and-answer database stored in the storage unit 101 may further store categories. Categories are used to generate the page structure of FAQ pages. Further, when the administrator edits the question / answer database, it may be used to generate a page structure on the administrator's setting screen. The page structure may use not only grouping by category but also order and hierarchy.
質問回答表示サーバ１００は、記憶部１０１の質問回答データベースを用いて、ユーザがユーザ端末２００−１〜２００−Ｎにより入力した質問文に対して、対応する回答パターンを表示し、チャットなどの対話形式でやり取りを進めていくことが可能なインタフェースを提供する。 The question-and-answer display server 100 uses the question-and-answer database of the storage unit 101 to display the corresponding answer patterns for the question sentences input by the user through the user terminals 200-1 to 200-N, and has a dialogue such as chat. It provides an interface that allows communication to proceed in a format.
質問文取得部１０２は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ又は／及び管理者端末２０１−１〜２０１−Ｍから質問文を取得する。質問文は、自然文の形式で取得することが可能である。自然文の形式で質問を可能とすることにより、ユーザは人に問合せているのと同じような感覚で簡単に問合せを行うことが可能となる。 The question text acquisition unit 102 acquires the question text from the user terminals 200-1 to 200-N and / and the administrator terminals 201-1 to 201-M via the network NW. Question sentences can be obtained in the form of natural sentences. By enabling questions in the form of natural sentences, users can easily make inquiries as if they were inquiring to a person.
類似度算出部１０３は、質問文取得部１０２で取得した質問文に対して、記憶部１０１に登録されている質問パターン又は／及び質問パターン群と比較し、質問パターン又は／及び質問パターン群との類似度を算出する。類似度の算出に際しては、例えば、自然言語処理により計算することが可能である。具体的には、質問パターン群と質問文のキーワードをそれぞれ抽出しておき、キーワードの一致度をキーワード毎の重みなども用いて類似度とすることが考えられる。他にも、質問パターン群と質問文をそれぞれベクトル化し、コサイン類似度を用いて類似度を算出することも可能である。このように、類似度を用いて質問文がどの質問パターン群に類似するか算出することで、記憶部に記憶されている質問パターンと同一でなくとも、回答パターンを選択することが可能となる。 The similarity calculation unit 103 compares the question sentence acquired by the question sentence acquisition unit 102 with the question pattern and / and the question pattern group registered in the storage unit 101, and compares the question pattern with the question pattern and / and the question pattern group. Calculate the similarity of. When calculating the degree of similarity, for example, it can be calculated by natural language processing. Specifically, it is conceivable to extract the keywords of the question pattern group and the question sentence, and to set the degree of matching of the keywords as the degree of similarity by using the weight of each keyword. In addition, it is also possible to vectorize the question pattern group and the question sentence, respectively, and calculate the similarity using the cosine similarity. In this way, by calculating which question pattern group the question sentence resembles using the similarity, it is possible to select an answer pattern even if it is not the same as the question pattern stored in the storage unit. ..
類似度算出部１０３で用いる質問文と質問パターン群との類似度の算出に際しては、ユーザ及び／又は管理者が入力した質問文を教師データの候補として機械学習をさせることにより、類似度算出のためのパラメータを更新してもよい。このような機械学習を行うことにより、ユーザの意図にあった回答パターンを提示する精度を向上させることが可能となる。 When calculating the similarity between the question sentence used in the similarity calculation unit 103 and the question pattern group, the similarity is calculated by machine learning using the question sentence input by the user and / or the administrator as a candidate for teacher data. You may update the parameters for. By performing such machine learning, it is possible to improve the accuracy of presenting the answer pattern that suits the user's intention.
回答パターン表示部１０４は、類似度算出部１０３において算出された類似度に基づいて、質問文との間の類似度の高い質問パターンに対応する回答パターンをユーザ端末２００−１〜２００−Ｎに表示する。 The answer pattern display unit 104 sets the answer pattern corresponding to the question pattern having a high degree of similarity with the question sentence to the user terminals 200-1 to 200-N based on the similarity calculated by the similarity calculation unit 103. indicate.
また、回答パターンとともに、確信度を合せて表示してもよいし、表示しなくともよい。確信度とは、対話サーバにおいて、質問文が記憶部１０１に記憶された質問パターンと同じことを意味しているという自信の程度を示す尺度であり、類似度算出部１０３で算出された類似度を用いてもよい。確信度は、類似度をそのまま用いず、他の方法により（例えば、類似度をコサイン類似度により算出した場合に、確信度をキーワードの一致度で算出するなど）質問文と質問パターンとの一致の程度を評価した上で、算出することも可能である。確信度を表示する場合には、数値で表示してもよいし、その程度をアイコン等で表現して表示してもよい。 In addition, the degree of certainty may or may not be displayed together with the answer pattern. The degree of certainty is a measure of the degree of confidence that the question sentence means the same as the question pattern stored in the storage unit 101 in the dialogue server, and the degree of similarity calculated by the similarity calculation unit 103. May be used. The degree of certainty does not use the degree of similarity as it is, but uses another method (for example, when the degree of similarity is calculated by the degree of cosine similarity, the degree of certainty is calculated by the degree of matching of keywords). It is also possible to calculate after evaluating the degree of. When the degree of certainty is displayed, it may be displayed as a numerical value, or the degree may be expressed by an icon or the like and displayed.
なお、確信度に対して、ある一定の閾値を設定した上で、閾値以上の回答パターンを全て、または上位ｎ件を表示させることも可能である。このように、一定の確信度があることを前提として、複数件の回答パターンを表示させることで、ユーザが求める回答パターンを表示することができる可能性を高めることが可能となる。 It is also possible to set a certain threshold value for the degree of certainty, and then display all the response patterns above the threshold value or the top n cases. In this way, by displaying a plurality of response patterns on the premise that there is a certain degree of certainty, it is possible to increase the possibility that the response pattern desired by the user can be displayed.
また、確信度の上位１つのみを回答パターンとして表示することも可能である。さらに、設定した閾値以上の回答パターンがない場合には、回答パターンの表示を行わない又は「質問を変更してください」など、別の質問を促すような表示を行うことも可能である。これにより、ユーザは、意図した質問に対する回答とは異なる回答パターンが表示されることを避け、不要な混乱を招かずに済むことが可能となる。 It is also possible to display only the top one with the highest degree of certainty as an answer pattern. Furthermore, if there is no answer pattern that exceeds the set threshold value, it is possible not to display the answer pattern or to display a message that prompts another question, such as "Please change the question". As a result, the user can avoid displaying an answer pattern different from the answer to the intended question and avoid unnecessary confusion.
設定部１０５は、管理者端末２０１−１〜２０１−Ｍからの操作を受付け、質問回答データベースの設定を行う。例えば、設定部１０５は、管理者端末２０１−１〜２０１−Ｍから、質問回答データベースに新たなテーマの回答パターンを作成し、又は、既に存在するテーマに対して質問パターンを追加し、又は、ＦＡＱページを生成するかどうかを決定するタグの設定を行う操作を受付け、質問回答データベースに反映する。 The setting unit 105 accepts operations from the administrator terminals 201-1 to 201-M and sets the question-and-answer database. For example, the setting unit 105 creates an answer pattern for a new theme in the question-and-answer database from the administrator terminals 201-1 to 201-M, or adds a question pattern to an existing theme, or Accepts the operation of setting the tag that determines whether to generate the FAQ page, and reflects it in the question and answer database.
ＦＡＱ提供部１０６は、質問回答データベースに基づいて、タイトルと回答パターンにより質問−回答を示すＦＡＱページを生成する。これにより、質問回答データベースから自動的にＦＡＱページを生成し、サポートページに掲載することが可能となる。なお、ＦＡＱページの生成に際しては、タイトルと回答パターンにより質問−回答を生成するのみならず、任意に抽出した質問パターンと回答パターンにより質問−回答を生成してもよい。 The FAQ providing unit 106 generates a FAQ page showing a question-answer by a title and an answer pattern based on the question-and-answer database. This makes it possible to automatically generate an FAQ page from the question and answer database and post it on the support page. When generating the FAQ page, not only the question-answer may be generated from the title and the answer pattern, but also the question-answer may be generated from the question pattern and the answer pattern arbitrarily extracted.
＜質問回答データベース及び具体的態様＞
図２は、記憶部１０１が記憶する質問回答データベースの具体例を示す。質問回答データベースは例えば、質問パターン−回答パターンのタイトル、質問パターン、回答パターン、ＦＡＱページを生成するか否かのＦＡＱタグから成る。タイトルは、例えば、その内容を端的に示すものであり、回答パターンを端的に示す内容となる。ＦＡＱタグは、例えば、ＯＮのときにはＦＡＱページに表示し、ＯＦＦのときにはＦＡＱページに表示しない。また、１つの回答パターンに対する質問パターンは１つである必要はない。例えば、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ）サイトで購入を行う場合に、ユーザが住所を変更する方法を知りたい場合には、「住所を変更したい。」「住所を間違えて入力しました。」などの様々な聞き方が考えられることから、質問パターンを複数登録しておくことが有益である。さらに、ＦＡＱページを生成する際のカテゴリを記憶してもよい。これは、ＦＡＱページを生成したときに、「よくある質問」、「手続に関する質問」など、そのタイトルが属するカテゴリを記憶しておくことで、ＦＡＱページをグループ化ないし階層化して生成することが可能となる。
<Question and answer database and specific aspects>
FIG. 2 shows a specific example of the question / answer database stored in the storage unit 101. The question-and-answer database consists, for example, a question pattern-answer pattern title, a question pattern, an answer pattern, and a FAQ tag as to whether or not to generate an FAQ page. The title, for example, simply indicates the content, and is a content that simply indicates the answer pattern. For example, the FAQ tag is displayed on the FAQ page when it is ON, and is not displayed on the FAQ page when it is OFF. Also, there does not have to be one question pattern for one answer pattern. For example, when making a purchase on an EC (Electronic Commerce) site and wanting to know how to change the address, various things such as "I want to change the address" and "I entered the wrong address". It is useful to register multiple question patterns because you can listen to them. Further, the category when generating the FAQ page may be stored. This is because when the FAQ page is generated, the FAQ page can be grouped or hierarchized by memorizing the category to which the title belongs, such as "Frequently Asked Questions" and "Questions about Procedures". It will be possible.
ユーザから質問回答表示サーバに対して問合せが行われる場合には、ユーザはユーザ端末２００−１〜２００−Ｎを操作し、質問文取得部１０２は、ユーザから入力された質問文を取得する。 When the user makes an inquiry to the question / answer display server, the user operates the user terminals 200-1 to 200-N, and the question text acquisition unit 102 acquires the question text input by the user.
図３は、質問文取得部１０２がユーザ端末２００−１〜２００−Ｎ又は／及び管理者端末２０１−１〜２０１−Ｍに対して質問文を取得する際のユーザインタフェースの一例を示す。質問文取得部１０２では、キーボードやタッチパネルなどから入力することにより、質問文を取得する。また、音声認識エンジンを介して音声により入力する構成とすることも可能である。 FIG. 3 shows an example of a user interface when the question text acquisition unit 102 acquires a question text from the user terminals 200-1 to 200-N and / and the administrator terminals 201-1 to 201-M. The question sentence acquisition unit 102 acquires a question sentence by inputting from a keyboard, a touch panel, or the like. It is also possible to have a configuration in which voice input is performed via a voice recognition engine.
類似度算出部１０３は、質問文と記憶部１０１に記憶された質問パターンとの類似度を算出する。例えば、「住所情報を変更したい」という質問文を取得し、記憶部１０１に「住所を変更したい」、「配送先を変更したい」、「パスワードを忘れた」という質問パターンが登録されていたとする。類似度算出部１０３は、質問文と各質問パターンとの類似度を算出し、この場合、それぞれ、０．９２、０．７０、０．２１などのように算出される。 The similarity calculation unit 103 calculates the similarity between the question sentence and the question pattern stored in the storage unit 101. For example, suppose that the question sentence "I want to change the address information" is acquired, and the question patterns "I want to change the address", "I want to change the delivery address", and "I forgot the password" are registered in the storage unit 101. .. The similarity calculation unit 103 calculates the similarity between the question sentence and each question pattern, and in this case, it is calculated as 0.92, 0.70, 0.21, etc., respectively.
回答パターン表示部１０４は、質問文、質問パターン及び類似度を用いて、確信度を算出する。ここでは、例えば、「住所を変更したい」に対して９８％、「配送先を変更したい」に対して７８％、「パスワードを忘れた」に対して２０％と計算される。また、閾値を６０％としている場合には、「住所を変更したい」及び「配送先を変更したい」の確信度が閾値を超えるため、これに対する回答パターンである「住所変更はこちらのリンク（ＵＲＬ）からお願いします。」「配送先の変更はこちらのリンク（ＵＲＬ）からお願いします。」といった表示を確信度の情報とともに、ユーザ端末２００−１〜２００−Ｎに対して表示する。 The answer pattern display unit 104 calculates the degree of certainty using the question sentence, the question pattern, and the degree of similarity. Here, for example, 98% is calculated for "I want to change the address", 78% for "I want to change the delivery address", and 20% for "I forgot my password". In addition, when the threshold is set to 60%, the certainty of "I want to change the address" and "I want to change the delivery address" exceeds the threshold, so the answer pattern for this is "Address change is this link (URL). ). ”“ Please change the delivery address from this link (URL). ”Is displayed on the user terminals 200-1 to 200-N together with the confidence level information.
なお、回答パターンの表示を、上位１つのみとする場合には、上記確信度が閾値を超えたもののうち、最も確信度が高い「住所変更はこちらのリンク（ＵＲＬ）からお願いします。」のみを表示する。 If you want to display only the top one answer pattern, the highest degree of certainty among those whose certainty exceeds the threshold is "Please change your address from this link (URL)." Show only.
図４は、回答パターン表示部１０４がユーザ端末２００−１〜２００−Ｎに対して表示させるインタフェースの一例を示す。なお、この例では、右側にユーザが入力した質問文を示し、左側に対話サーバが選択した回答パターンを示す。 FIG. 4 shows an example of an interface displayed by the response pattern display unit 104 on the user terminals 200-1 to 200-N. In this example, the question text entered by the user is shown on the right side, and the answer pattern selected by the dialogue server is shown on the left side.
設定部１０５は、管理者端末２０１−１〜２０１−Ｍからの操作を受付け、質問回答データベースの設定を行う。例えば、設定部１０５は、管理者端末２０１−１〜２０１−Ｍから、質問回答データベースに新たなテーマの回答パターンの作成を受付け、記憶部１０１の質問回答データベースを更新する。また、既に存在するテーマに対して質問パターンを追加することも可能である。さらに、ＦＡＱページを生成するかどうかを決定するタグの設定を行い、及び／又は、カテゴリ設定などの操作を受付け、質問回答データベースに反映する。 The setting unit 105 accepts operations from the administrator terminals 201-1 to 201-M and sets the question-and-answer database. For example, the setting unit 105 accepts the creation of the answer pattern of a new theme in the question / answer database from the administrator terminals 201-1 to 201-M, and updates the question / answer database of the storage unit 101. It is also possible to add question patterns to existing themes. Furthermore, the tag that determines whether to generate the FAQ page is set, and / or the operation such as the category setting is accepted and reflected in the question / answer database.
図５は、設定部１０５が管理者端末２０１−１〜２０１−Ｍに対して表示させるインタフェースの一例を示す。管理者端末２０１−１〜２０１−Ｍにより、あるタイトルの質問回答パターンが選択されると、その上部にタイトル、その下に回答パターンが表示される。そして、編集ボタンを選択することで、タイトル又は回答パターンを編集することが可能である。さらに、右上のメニューを選択することで具体的な内容が表示され、質問パターンの追加・変更、ＦＡＱタグの編集、カテゴリの変更などを行うことができる。 FIG. 5 shows an example of an interface displayed by the setting unit 105 on the administrator terminals 201-1 to 201-M. When a question / answer pattern of a certain title is selected by the administrator terminals 201-1 to 201-M, the title is displayed above the question and answer pattern, and the answer pattern is displayed below the title. Then, by selecting the edit button, it is possible to edit the title or the answer pattern. Furthermore, by selecting the menu on the upper right, specific contents are displayed, and you can add / change question patterns, edit FAQ tags, change categories, and so on.
ＦＡＱ提供部１０６は、質問回答データベースに基づいて、タイトルと回答パターンにより質問−回答を示すＦＡＱページを生成する。このとき、カテゴリが設定されている場合には、カテゴリ毎にＦＡＱページを生成する。また、ＦＡＱタグがＯＦＦである場合には、ＦＡＱページに当該質問回答が表示されない。例えば、対話形式のサポートページでは、ユーザが「ありがとう」と入力した際には、「お役に立てて幸いです。」と回答したり、「こんにちは」と入力した際には、「こんにちは」と回答することがある。これらは、ＦＡＱページでは意味をもたない質問−回答パターンであることから、タグで設定することにより、ＦＡＱページに表示しない。 The FAQ providing unit 106 generates a FAQ page showing a question-answer by a title and an answer pattern based on the question-and-answer database. At this time, if categories are set, FAQ pages are generated for each category. If the FAQ tag is OFF, the question and answer will not be displayed on the FAQ page. For example, in an interactive format support page, when the user has entered a "thank you" is, "I am happy to assist you." And or answers, when you type "Hello" is answered "Hello" Sometimes. Since these are question-answer patterns that have no meaning on the FAQ page, they are not displayed on the FAQ page by setting them with tags.
図６は、ＦＡＱ提供部１０６が生成するＦＡＱページの一例を示す。ＦＡＱ提供部１０６は、質問回答データベースにおいて、タイトルに該当する部分を質問（Ｑｕｅｓｔｉｏｎ）として、回答パターンに該当する部分を回答（Ａｎｓｗｅｒ）としてＦＡＱページを生成する。また、カテゴリが設定されている場合には、それを併せて表示する。なお、ＦＡＱタグがＯＦＦに設定されているタイトルはＦＡＱページに表示しない。 FIG. 6 shows an example of the FAQ page generated by the FAQ providing unit 106. The FAQ providing unit 106 generates a FAQ page in the question-and-answer database, with the part corresponding to the title as a question (Question) and the part corresponding to the answer pattern as an answer (Answer). If a category is set, it is also displayed. Titles for which the FAQ tag is set to OFF are not displayed on the FAQ page.
＜処理の流れ＞
図７は、本開示における質問回答表示サーバのユーザが使用する際の処理の流れを示す。
<Processing flow>
FIG. 7 shows a flow of processing when the user of the question / answer display server in the present disclosure uses it.
質問文取得部１０２は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎから質問文を取得する。質問文は、自然文の形式で取得することが可能である（ステップＳ１）。 The question text acquisition unit 102 acquires the question text from the user terminals 200-1 to 200-N via the network NW. The question text can be obtained in the form of a natural text (step S1).
類似度算出部１０３は、質問文取得部１０２で取得した質問文に対して、記憶部１０１に登録されている質問パターン又は／及び質問パターン群と比較し、質問パターン又は／及び質問パターン群との類似度を算出する。類似度の算出に際しては、例えば、自然言語処理により計算することが可能である（ステップＳ２）。 The similarity calculation unit 103 compares the question sentence acquired by the question sentence acquisition unit 102 with the question pattern and / and the question pattern group registered in the storage unit 101, and compares the question pattern with the question pattern and / and the question pattern group. Calculate the similarity of. When calculating the similarity, for example, it can be calculated by natural language processing (step S2).
回答パターン表示部１０４は、類似度算出部１０３において算出された類似度に基づいて、質問文との間の類似度の高い質問パターンに対する回答パターンをユーザ端末２００−１〜２００−Ｎに表示する（ステップＳ３）。 The answer pattern display unit 104 displays the answer pattern for the question pattern having a high degree of similarity with the question sentence on the user terminals 200-1 to 200-N based on the similarity calculated by the similarity calculation unit 103. (Step S3).
図８は、本開示における質問回答表示サーバの質問回答データベースの設定時の処理を示す。 FIG. 8 shows the processing at the time of setting the question / answer database of the question / answer display server in the present disclosure.
設定部１０５は、管理者端末２０１−１〜２０１−Ｍからの操作を受付け、質問回答データベースに新たなテーマの回答パターンを作成し、又は、既に存在するテーマに対して質問パターンを追加し、又は、ＦＡＱページを生成するかどうかを決定するタグの設定をし、又は、カテゴリの設定をすることで質問回答データベースの設定を行う（ステップＳ４）。 The setting unit 105 accepts operations from the administrator terminals 201-1 to 201-M, creates an answer pattern for a new theme in the question / answer database, or adds a question pattern to an existing theme. Alternatively, the question-and-answer database is set by setting the tag that determines whether to generate the FAQ page or by setting the category (step S4).
図９は、本開示における質問回答表示サーバのＦＡＱ提供時の処理を示す。 FIG. 9 shows the processing at the time of providing the FAQ of the question / answer display server in the present disclosure.
ＦＡＱ提供部１０６は、質問回答データベースに基づいて、タイトルと回答パターンにより質問−回答を示すＦＡＱページを生成する（ステップＳ５）。 The FAQ providing unit 106 generates a FAQ page showing a question-answer based on a title and an answer pattern based on the question-and-answer database (step S5).
＜効果＞
本開示により、一つの質問回答データベースを用意することで、対話形式のインタフェースによるユーザの意図する回答の提供と、ＦＡＱページによる回答の提供という二通りのインタフェースにより回答を提供することが可能となり、ユーザサポートシステムの提供に際して効率化することが可能となる。
<Effect>
With this disclosure, by preparing one question and answer database, it is possible to provide answers through two interfaces: providing the answer intended by the user through an interactive interface and providing the answer via the FAQ page. It is possible to improve efficiency when providing a user support system.
（第２実施形態）
図１０は、本開示にかかる質問回答表示システム２の全体構成を示す図である。以下、これを参照して、本開示にかかる質問回答表示システム２の構成について説明する。第２実施形態における質問回答表示システム２は、ＦＡＱページにおいてユーザが求めるＦＡＱを検索するための検索クエリを取得し、さらに質問文と検索クエリを類似度算出部１０３のパラメータを学習ための教師データの候補として用いる点が異なる。なお、以下の説明において、第１実施形態に係る質問回答表示システム１と共通する構成要素については同一の符号を付す。
(Second Embodiment)
FIG. 10 is a diagram showing an overall configuration of the question / answer display system 2 according to the present disclosure. Hereinafter, the configuration of the question / answer display system 2 according to the present disclosure will be described with reference to this. The question-and-answer display system 2 in the second embodiment acquires a search query for searching the FAQ requested by the user on the FAQ page, and further obtains the question text and the search query as teacher data for learning the parameters of the similarity calculation unit 103. The difference is that it is used as a candidate for. In the following description, the same reference numerals are given to the components common to the question / answer display system 1 according to the first embodiment.
＜構成＞
質問回答表示サーバ３００は、記憶部１０１と、質問文取得部１０２と、類似度算出部１０３と、回答パターン表示部１０４と、設定部１０５と、ＦＡＱ提供部１０６と、検索クエリ取得部３０７と、トレーニング部３０８とを有する。質問回答表示サーバ３００は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ及び管理者端末２０１−１〜２０１−Ｍと接続されている。質問回答表示サーバ３００は、コンピュータにプログラムを実装することにより実現する。なお、質問回答表示サーバ３００を構成する各部は、複数のコンピュータに分散して実現されていても構わない。また、記憶部１０１は質問回答表示サーバ外に存在しても構わない。
<Composition>
The question-and-answer display server 300 includes a storage unit 101, a question sentence acquisition unit 102, a similarity calculation unit 103, an answer pattern display unit 104, a setting unit 105, an FAQ providing unit 106, and a search query acquisition unit 307. , With a training unit 308. The question-and-answer display server 300 is connected to the user terminals 200-1 to 200-N and the administrator terminals 201-1 to 201-M via the network NW. The question-and-answer display server 300 is realized by implementing a program on a computer. It should be noted that each part constituting the question / answer display server 300 may be distributed to a plurality of computers. Further, the storage unit 101 may exist outside the question / answer display server.
検索クエリ取得部３０７は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ又は／及び管理者端末２０１−１〜２０１−ＭからＦＡＱを検索するための検索クエリを取得する。すなわち、表示させたいＦＡＱを検索クエリにより検索するフォームをＦＡＱページに設置することにより、ユーザが入力する検索クエリを取得する。 The search query acquisition unit 307 acquires a search query for searching the FAQ from the user terminals 200-1 to 200-N and / and the administrator terminals 201-1 to 201-M via the network NW. That is, by installing a form for searching the FAQ to be displayed by the search query on the FAQ page, the search query input by the user is acquired.
ＦＡＱページでは、ユーザが入力した検索クエリを用いて、対応するタイトル及び回答パターンのＦＡＱページをユーザに対して提供する。なお、複数のタイトル及び回答パターンが一つのＦＡＱページ中に含まれているときは、ＦＡＱページ中の検索クエリに対応するタイトル及び回答パターンの箇所を表示してユーザに対して提供する。このとき、検索クエリによりＦＡＱページを検索するに際しては、タイトル及び／又は回答パターン及び／又は質問パターンに入力された検索クエリが存在するか否かにより検索してもよい。 In the FAQ page, the FAQ page of the corresponding title and answer pattern is provided to the user by using the search query input by the user. When a plurality of titles and answer patterns are included in one FAQ page, the titles and answer patterns corresponding to the search query in the FAQ page are displayed and provided to the user. At this time, when searching the FAQ page by the search query, the search may be performed depending on whether or not the search query input in the title and / or the answer pattern and / or the question pattern exists.
また、ＦＡＱぺージでは、類似度算出部１０３で行われるように、取得した検索クエリと記憶部１０１に登録されている質問パターン又は／及び質問パターン群とを比較し、類似度を算出した上で、類似度の高い質問パターンに対する回答パターンのＦＡＱページを提供してもよい。 Further, on the FAQ page, the acquired search query is compared with the question pattern and / or the question pattern group registered in the storage unit 101 to calculate the similarity, as is performed by the similarity calculation unit 103. Then, the FAQ page of the answer pattern for the question pattern having a high degree of similarity may be provided.
トレーニング部３０８は、質問文取得部１０２で取得した質問文及び／又は検索クエリ取得部３０７で取得した検索クエリを、類似度算出部１０３において用いられる質問文又は検索クエリと質問パターンとの類似度を算出するための教師データの候補として、機械学習によりパラメータを更新する。なお、教師データの候補として用いるとは、候補の一部を教師データとして用いてもよいし、候補の全てを教師データとして用いてもよい。 The training unit 308 uses the question sentence acquired by the question sentence acquisition unit 102 and / or the search query acquired by the search query acquisition unit 307 to have the similarity between the question sentence or search query used in the similarity calculation unit 103 and the question pattern. The parameters are updated by machine learning as candidates for teacher data for calculating. In addition, when using as a candidate for teacher data, a part of the candidate may be used as teacher data, or all of the candidates may be used as teacher data.
トレーニング部３０８は、質問文取得部１０２で取得した質問文及び検索クエリ取得部３０７で取得した検索クエリの双方を教師データの候補として用いることで、ユーザの質問に対応する回答が提供できるよう効率よく学習を行うことが可能となる。 The training unit 308 uses both the question sentence acquired by the question sentence acquisition unit 102 and the search query acquired by the search query acquisition unit 307 as candidates for teacher data, so that the answer corresponding to the user's question can be provided efficiently. It becomes possible to study well.
＜トレーニングの態様＞
トレーニング部３０８は、管理者端末２０１−１〜２０１−Ｍに対して、新しい質問パターンの学習を行うためのインタフェースを提供する。ユーザ端末２００−１〜２００−Ｎ又は管理者端末２０１−１〜２０１−Ｍから質問文又は検索クエリが入力されると、質問文取得部１０２は質問文を取得し、又は検索クエリ取得部３０７は検索クエリを取得する。そして、類似度算出部１０３は質問パターンとの類似度を算出し、トレーニング部３０８は、管理者端末２０１−１〜２０１−Ｍに対して、質問文と類似度が高い質問パターンに対応する回答パターンを表示する。このように、管理者端末において、新たな質問パターンの学習を行うに際し、基本的なインタフェースはユーザ端末に提供されるものと同じである。
<Training mode>
The training unit 308 provides the administrator terminals 201-1 to 201-M with an interface for learning a new question pattern. When a question text or a search query is input from the user terminals 200-1 to 200-N or the administrator terminals 201-1 to 201-M, the question text acquisition unit 102 acquires the question text or the search query acquisition unit 307. Gets a search query. Then, the similarity calculation unit 103 calculates the similarity with the question pattern, and the training unit 308 responds to the administrator terminals 201-1 to 201-M in response to the question pattern having a high degree of similarity to the question sentence. Display the pattern. As described above, when learning a new question pattern in the administrator terminal, the basic interface is the same as that provided in the user terminal.
トレーニング部３０８は、例えば、ユーザ端末２００−１〜２００−Ｎが操作され、質問文「住所情報を変更したい」が入力された際には、質問文と類似度が高い質問パターン（質問パターン群）に対応する回答パターンである「住所変更はこちらのリンク（ＵＲＬ）からお願いします（確信度９８％）。」を管理者端末２０１−１〜２０１−Ｍに対して表示する。 For example, when the user terminals 200-1 to 200-N are operated and the question sentence "I want to change the address information" is input, the training unit 308 has a question pattern (question pattern group) having a high degree of similarity to the question sentence. ), Which is the answer pattern, "Please change your address from this link (URL) (confirmation 98%)." Is displayed on the administrator terminals 201-1 to 201-M.
図１１は、トレーニング部３０８が管理者端末２０１−１〜２０１−Ｍに対して表示させるインタフェースの一例を示す。ユーザ又は管理者が質問文又は検索クエリを入力すると、管理者端末２０１−１〜２０１−Ｍには、入力された質問文又は検索クエリと類似度が高い質問パターンに対応する回答パターンを表示する。 FIG. 11 shows an example of an interface displayed by the training unit 308 on the administrator terminals 201-1 to 201-M. When the user or the administrator inputs a question text or a search query, the administrator terminals 201-1 to 201-M display an answer pattern corresponding to the question pattern having a high degree of similarity to the entered question text or the search query. ..
トレーニング部３０８では、確信度が閾値を超えるか否かに拘わらず、最も類似度が高い質問パターンに対応する回答パターンを表示させる。その際に確信度も表示させる方がよい。これにより、管理者は、効率的にトレーニング操作を行うことが可能となる。 The training unit 308 displays the answer pattern corresponding to the question pattern having the highest degree of similarity regardless of whether the certainty level exceeds the threshold value. At that time, it is better to display the degree of certainty. As a result, the manager can efficiently perform the training operation.
トレーニング部３０８が表示させるインタフェースには、さらに「登録」や「一覧」といった表示を備えることが可能である。質問文又は検索クエリに対する回答パターンが正しい場合には、「登録」といった質問文又は検索クエリに対する回答パターンを承認する入力を行うことによって、回答パターンに新たな質問パターンとして関連付けて質問文又は検索クエリが記憶部１０１に記憶される。これにより、対話サーバ１００では、簡単な操作により、新たに質問パターン・回答パターンの学習を行うことが可能となり、記憶部１０１に記憶させることが可能となる。 The interface displayed by the training unit 308 can be further provided with displays such as "registration" and "list". If the answer pattern for the question text or search query is correct, the question text or search query is associated with the answer pattern as a new question pattern by inputting to approve the answer pattern for the question text or search query such as "Register". Is stored in the storage unit 101. As a result, the dialogue server 100 can newly learn the question pattern and the answer pattern by a simple operation, and can be stored in the storage unit 101.
また、トレーニング部３０８に表示された回答パターンが正しくない場合には、その他の回答パターンを表示させる「一覧」を選択することで、その他の回答パターンを表示、選択することが可能となる。このとき、確信度の高い順に回答パターンを表示させることで、ユーザが正しい回答パターンを選択する手間を削減することが可能となる。 If the answer pattern displayed on the training unit 308 is not correct, the other answer pattern can be displayed and selected by selecting the "list" for displaying the other answer pattern. At this time, by displaying the answer patterns in descending order of certainty, it is possible to reduce the time and effort for the user to select the correct answer pattern.
図１２に、「一覧」を選択したときの回答パターンの表示の具体例を示す。管理者が、「一覧」を選択した際には、質問回答表示システム２が記憶する回答パターンを確信度の高い順に表示する。図４の例で言えば、確信度の最も高い「住所変更はこちら（ＵＲＬ）からお願いします。」が表示され、以下、確信度の高い順に回答パターンが表示され、管理者は適切な回答パターンを選択することが可能である。なお、一画面に表示できないときは、画面をスクロールさせて続く回答パターンを表示させることが可能である。 FIG. 12 shows a specific example of displaying the answer pattern when "list" is selected. When the administrator selects "list", the answer patterns stored in the question-and-answer display system 2 are displayed in descending order of certainty. In the example of Fig. 4, "Please change your address from here (URL)" with the highest degree of certainty is displayed, and the answer patterns are displayed in descending order of certainty, and the administrator gives an appropriate answer. It is possible to select a pattern. If it cannot be displayed on one screen, it is possible to scroll the screen to display the following answer pattern.
さらに、既に登録された回答パターンに質問文に対する適当な回答パターンが存在しない場合には、「入力」を選択し、新たな回答パターンを入力することで、新規に質問パターン・回答パターンの学習を行うことが可能となる。 Furthermore, if the already registered answer pattern does not have an appropriate answer pattern for the question sentence, select "Input" and enter a new answer pattern to learn a new question pattern / answer pattern. It becomes possible to do.
トレーニング部３０８が表示させるインタフェースは、さらに「保留」といった表示を備えることが可能である。管理者が質問文又は検索クエリについて、「保留」を選択した場合には、質問文に対する回答パターンの登録をすぐに行わず、保留された質問文の一覧に記憶させておく。そして、後に「保留中」など保留された質問文又は検索クエリの一覧を呼び出す操作を行い、回答パターンの登録を行うことが可能である。これにより、今すぐに学習すべき、または学習が可能な項目を迅速に学習させることが可能となる。 The interface displayed by the training unit 308 can further include a display such as "hold". When the administrator selects "hold" for the question text or the search query, the answer pattern for the question text is not registered immediately, but is stored in the list of the held question text. Then, it is possible to register the answer pattern by performing an operation of calling a list of pending question sentences or search queries such as "pending" later. This makes it possible to quickly learn items that should be learned immediately or that can be learned.
図１３に、「保留中」が選択された際に、回答パターンの登録が行われていない質問文又は検索クエリの一覧を表示した一例を示す。 FIG. 13 shows an example in which a list of question sentences or search queries for which the answer pattern is not registered is displayed when "pending" is selected.
質問文又は検索クエリに対する回答パターンの登録をすぐに行わず「保留」することで、管理者は整理してから改めて回答パターンの登録を行うことが可能となる。また、ユーザから入力された質問文は、管理者不在でも行われることから、自動的に保留中の一覧に記憶させておくことにより、管理者は、ユーザがどのような質問文を入力したのか後に確認し、新たな質問パターン・回答パターンの学習を行うことが可能となる。 By "holding" the answer pattern for the question text or the search query without immediately registering it, the administrator can register the answer pattern again after organizing it. In addition, since the question text entered by the user is performed even in the absence of the administrator, by automatically storing it in the pending list, the administrator can know what kind of question text the user has entered. It will be possible to check later and learn new question patterns and answer patterns.
＜処理の流れ＞
図１４は、本開示における質問回答表示サーバ３００のトレーニングの際の処理の流れを示す。
<Processing flow>
FIG. 14 shows a processing flow during training of the question / answer display server 300 in the present disclosure.
トレーニング部３０８は、管理者端末２０１−１〜２０１−Ｍに対して、新しい質問パターンの学習を行うためのインタフェースを提供する。質問文取得部１０２は、ネットワークＮＷを介して、管理者端末２０１−１〜２０１−Ｍ又はユーザ端末２００−１〜２００−Ｎから質問文又は検索クエリを取得する。質問文は、自然文の形式で取得することが可能である（ステップＳ６）。 The training unit 308 provides the administrator terminals 201-1 to 201-M with an interface for learning a new question pattern. The question text acquisition unit 102 acquires a question text or a search query from the administrator terminals 201-1 to 201-M or the user terminals 200-1 to 200-N via the network NW. The question sentence can be obtained in the form of a natural sentence (step S6).
類似度算出部１０３は、質問文取得部１０２で取得した質問文又は検索クエリ取得部３０７で取得した検索クエリに対して、記憶部１０１に登録されている質問パターン又は／及び質問パターン群と比較し、質問パターン又は／及び質問パターン群との類似度を算出する。類似度の算出に際しては、例えば、自然言語処理により計算することが可能である（ステップＳ７）。 The similarity calculation unit 103 compares the question sentence acquired by the question sentence acquisition unit 102 or the search query acquired by the search query acquisition unit 307 with the question pattern and / or the question pattern group registered in the storage unit 101. Then, the degree of similarity with the question pattern and / and the question pattern group is calculated. When calculating the similarity, for example, it can be calculated by natural language processing (step S7).
トレーニング部３０８は、管理者端末２０１−１〜２０１−Ｍに対して、質問文又は検索クエリと類似度が高い質問パターン（群）に対応する回答パターンを表示する（ステップＳ８）。 The training unit 308 displays the answer pattern corresponding to the question pattern (group) having a high degree of similarity to the question sentence or the search query to the administrator terminals 201-1 to 201-M (step S8).
トレーニング部３０８は、質問文又は検索クエリと最も類似度が高い質問パターン（群）に対応する回答パターンを承認して、新たな質問パターン・回答パターンとして学習することが可能である。また、回答パターンを一覧表示させ、既登録の回答パターンから質問文に対応する回答パターンを選択することも可能であるし、回答パターンを新規に入力して登録することも可能である。さらに、学習を保留し、後に質問文又は検索クエリに対して回答パターンを登録することも可能である。 The training unit 308 can approve the answer pattern corresponding to the question pattern (group) having the highest similarity to the question sentence or the search query, and learn as a new question pattern / answer pattern. It is also possible to display a list of answer patterns and select an answer pattern corresponding to the question sentence from the already registered answer patterns, or to newly input and register an answer pattern. Furthermore, it is also possible to suspend learning and later register an answer pattern for a question sentence or a search query.
＜効果＞
本開示により、ＦＡＱページにおいて入力された検索クエリを対話形式によるサポートシステムにおける教師データの候補として用いることにより、様々な種類の質問パターンを収集し、学習効率を上げることが可能となる。
<Effect>
According to the present disclosure, by using the search query entered on the FAQ page as a candidate for teacher data in the interactive support system, it is possible to collect various types of question patterns and improve learning efficiency.
さらに、ＦＡＱページの検索のために、質問回答データベースにおける質問パターンとの類似度を用いて検索結果を算出し、すなわち、回答パターンを選択することにより、対話形式によるサポートシステムでの質問文をＦＡＱページ検索のための教師データの候補として役立たせることも可能となる。 Furthermore, in order to search the FAQ page, the search result is calculated using the similarity with the question pattern in the question / answer database, that is, by selecting the answer pattern, the question text in the interactive support system is FAQed. It can also be used as a candidate for teacher data for page search.
上記のように、対話形式によりユーザから入力された質問文と、ＦＡＱページにおいてユーザから入力された検索クエリを質問回答データベースに記憶し、類似度算出のためのパラメータを学習させることで、質問文及び検索クエリが相互に学習データとして用いられることとなり、効率的な機械学習が可能となる。 As described above, the question text entered by the user interactively and the search query entered by the user on the FAQ page are stored in the question and answer database, and the parameters for calculating the similarity are learned. And the search query will be used as learning data for each other, and efficient machine learning will be possible.
＜プログラム＞
図１５は、コンピュータ８０１の構成を示す概略ブロック図である。コンピュータ８０１は、ＣＰＵ８０２、主記憶装置８０３、補助記憶装置８０４、インタフェース８０５を備える。
<Program>
FIG. 15 is a schematic block diagram showing the configuration of the computer 801. The computer 801 includes a CPU 802, a main storage device 803, an auxiliary storage device 804, and an interface 805.
ここで、質問回答表示サーバ１００又は３００を構成する各機能を実現するためのプログラムの詳細について説明する。 Here, the details of the program for realizing each function constituting the question / answer display server 100 or 300 will be described.
質問回答表示サーバ１００は又は３００、コンピュータ８０１に実装される。そして、質問回答表示システム１の各構成要素の動作は、プログラムの形式で補助記憶装置８０４に記憶されている。ＣＰＵ８０２は、プログラムを補助記憶装置８０４から読み出して主記憶装置８０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ８０２は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置８０３に確保する。 The question-and-answer display server 100 or 300 is mounted on the computer 801. Then, the operation of each component of the question-and-answer display system 1 is stored in the auxiliary storage device 804 in the form of a program. The CPU 802 reads the program from the auxiliary storage device 804, expands it to the main storage device 803, and executes the above processing according to the program. Further, the CPU 802 secures a storage area corresponding to the above-mentioned storage unit in the main storage device 803 according to the program.
当該プログラムは、具体的には、コンピュータ８０１において、回答パターンとそれに対応する質問パターンとを記憶するステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得するステップと、取得した質問文と記憶部に記憶している質問パターンとの類似度を算出するステップと、算出された類似度に基づいて、対応する回答パターンをユーザ端末に表示させるステップとをコンピュータに実行させるためのプログラムである。 Specifically, the program provides a step of storing an answer pattern and a corresponding question pattern in the computer 801 and an interactive interface to the user terminal, and acquires a question sentence input by the user terminal. A computer performs a step of calculating the similarity between the acquired question sentence and the question pattern stored in the storage unit, and a step of displaying the corresponding answer pattern on the user terminal based on the calculated similarity. It is a program to be executed by.
なお、補助記憶装置８０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース８０５を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ８０１に配信される場合、配信を受けたコンピュータ８０１が当該プログラムを主記憶装置８０３に展開し、上記処理を実行してもよい。 The auxiliary storage device 804 is an example of a tangible medium that is not temporary. Other examples of non-temporary tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disc Read-Only Memory), and DVD-ROMs (Digital Versailles Disc Read-Only) connected via interface 805. Memory), semiconductor memory, and the like. When this program is distributed to the computer 801 via the network, the distributed computer 801 may expand the program to the main storage device 803 and execute the above processing.
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置８０４に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may be for realizing a part of the above-mentioned functions. Further, the program may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with another program already stored in the auxiliary storage device 804.
以上、本開示の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれるものとする。 Although the embodiments of the present disclosure have been described above, various modifications and combinations required due to design reasons and other factors are described in the invention described in the claims and the specific embodiments of the invention. It shall be included in the scope of the invention corresponding to the example.
１，２…質問回答表示システム、１００，３００…質問回答表示サーバ、１０１…記憶部、１０２…質問文取得部、１０３…類似度算出部、１０４…回答パターン表示部、１０５…設定部、１０６…ＦＡＱ提供部、３０７…検索クエリ取得部、３０８…トレーニング部、２００−１〜２００−Ｎ…ユーザ端末、２０１−１〜２０１−Ｍ…管理者端末、８０１…コンピュータ、８０２…ＣＰＵ、８０３…主記憶装置、８０４…補助記憶装置、８０５…インタフェース、ＮＷ…ネットワーク
1, 2, ... Question and answer display system, 100, 300 ... Question and answer display server, 101 ... Storage unit, 102 ... Question text acquisition unit, 103 ... Similarity calculation unit, 104 ... Answer pattern display unit, 105 ... Setting unit, 106 ... FAQ providing unit, 307 ... Search query acquisition unit, 308 ... Training department, 200-1 to 200-N ... User terminal, 201-1 to 201-M ... Administrator terminal, 801 ... Computer, 802 ... CPU, 803 ... Main memory, 804 ... Auxiliary storage, 805 ... Interface, NW ... Network
Claims (7)
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部と、
ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得部と、
前記取得した質問文と前記記憶部に記憶している前記質問パターンとの類似度を算出する類似度算出部と、
前記算出された類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部と、
管理者端末に前記質問回答データベースの設定画面を提供して前記質問回答データベースの設定を行う設定部と、
前記設定および前記質問回答データベースに基づいて、記憶している回答パターン及び質問パターンのうち設定されたパターンを用いたＦＡＱページを生成して提供するＦＡＱ提供部と、を備える質問回答表示サーバ。 It is a server that answers questions based on the registered answer patterns and the question patterns for them.
A storage unit that stores a question-and-answer database containing answer patterns and corresponding question patterns,
A question text acquisition unit that provides an interactive interface to the user terminal and acquires the question text input by the user terminal,
A similarity calculation unit that calculates the similarity between the acquired question text and the question pattern stored in the storage unit, and
An answer pattern display unit that displays the corresponding answer pattern on the user terminal based on the calculated similarity, and
A setting unit that provides the question / answer database setting screen to the administrator terminal and sets the question / answer database,
A question / answer display server including a FAQ providing unit that generates and provides a FAQ page using a set pattern among the stored answer patterns and question patterns based on the settings and the question / answer database.
前記類似度算出部は、前記取得した検索クエリと前記記憶部に記憶している前記質問パターンとの類似度を算出し、
前記ＦＡＱ提供部は、前記類似度算出部により算出された類似度に基づいて、対応するＦＡＱページ又はＦＡＱページの該当箇所をユーザ端末に表示させる請求項１又は請求項２のいずれかに記載の質問回答表示サーバ。 It provides an interface that allows the user terminal to input a search query for FAQ search, and further has a search query acquisition unit that acquires the search query input by the user terminal.
The similarity calculation unit calculates the similarity between the acquired search query and the question pattern stored in the storage unit.
The FAQ according to claim 1 or 2, wherein the FAQ providing unit displays the corresponding part of the corresponding FAQ page or FAQ page on the user terminal based on the similarity calculated by the similarity calculation unit. Question answer display server.
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、
ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、
前記取得した質問文と前記記憶ステップに記憶している前記質問パターンとの類似度を算出する類似度算出ステップと、
前記算出された類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、
管理者端末に前記質問回答データベースの設定画面を提供して前記質問回答データベースの設定を行う設定ステップと、
前記設定および前記質問回答データベースに基づいて、記憶している回答パターン及び質問パターンのうち設定されたパターンを用いたＦＡＱページを生成して提供するＦＡＱ提供部と、をコンピュータに実行させる質問回答表示方法。 It is a method of answering questions based on the registered question patterns and the answer patterns to them.
A memory step that stores a question-and-answer database containing answer patterns and their corresponding question patterns,
A question text acquisition step that provides an interactive interface to the user terminal and acquires the question text input by the user terminal,
A similarity calculation step for calculating the similarity between the acquired question sentence and the question pattern stored in the storage step, and a similarity calculation step.
An answer pattern display step for displaying the corresponding answer pattern on the user terminal based on the calculated similarity, and
The setting step of providing the question-and-answer database setting screen to the administrator terminal and setting the question-and-answer database, and
A question / answer display that causes a computer to execute an FAQ page that generates and provides a FAQ page using the set pattern among the stored answer patterns and question patterns based on the settings and the question / answer database. Method.
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、
ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、
前記取得した質問文と前記記憶ステップに記憶している前記質問パターンとの類似度を算出する類似度算出ステップと、
前記算出された類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、
管理者端末に前記質問回答データベースの設定画面を提供して前記質問回答データベースの設定を行う設定ステップと、
前記設定および前記質問回答データベースに基づいて、記憶している回答パターン及び質問パターンのうち設定されたパターンを用いたＦＡＱページを生成して提供するＦＡＱ提供部と、をコンピュータに実行させる質問回答表示プログラム。
It is a program that answers questions based on the registered question patterns and the answer patterns to them.
A memory step that stores a question-and-answer database containing answer patterns and their corresponding question patterns,
A question text acquisition step that provides an interactive interface to the user terminal and acquires the question text input by the user terminal,
A similarity calculation step for calculating the similarity between the acquired question sentence and the question pattern stored in the storage step, and a similarity calculation step.
An answer pattern display step for displaying the corresponding answer pattern on the user terminal based on the calculated similarity, and
The setting step of providing the question-and-answer database setting screen to the administrator terminal and setting the question-and-answer database, and
A question / answer display that causes a computer to execute an FAQ page that generates and provides a FAQ page using the set pattern among the stored answer patterns and question patterns based on the settings and the question / answer database. program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019129857A JP6797382B1 (en) | 2019-07-12 | 2019-07-12 | Question answer display server, question answer display method and question answer display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019129857A JP6797382B1 (en) | 2019-07-12 | 2019-07-12 | Question answer display server, question answer display method and question answer display program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020102933A Division JP2021015599A (en) | 2020-06-15 | 2020-06-15 | Question/answer display server, question/answer display method and question/answer display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6797382B1 JP6797382B1 (en) | 2020-12-09 |
| JP2021015460A true JP2021015460A (en) | 2021-02-12 |
Family
ID=73646792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019129857A Active JP6797382B1 (en) | 2019-07-12 | 2019-07-12 | Question answer display server, question answer display method and question answer display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6797382B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7266261B1 (en) | 2022-08-25 | 2023-04-28 | カラクリ株式会社 | Program, method and system |
| JP7370115B1 (en) | 2023-04-26 | 2023-10-27 | 堺財経電算合同会社 | Answering device and answering method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003228585A (en) * | 2002-02-05 | 2003-08-15 | Just Syst Corp | Method of controlling file, and file controller capable of using the method |
| JP2004288043A (en) * | 2003-03-24 | 2004-10-14 | Toshiba Corp | Web server system |
| JP6442807B1 (en) * | 2018-06-15 | 2018-12-26 | カラクリ株式会社 | Dialog server, dialog method and dialog program |
| US20180373782A1 (en) * | 2017-06-27 | 2018-12-27 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for recommending answer to question based on artificial intelligence |
| JP2019057102A (en) * | 2017-09-20 | 2019-04-11 | 株式会社Ｔｋｃ | Display control program |
-
2019
- 2019-07-12 JP JP2019129857A patent/JP6797382B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003228585A (en) * | 2002-02-05 | 2003-08-15 | Just Syst Corp | Method of controlling file, and file controller capable of using the method |
| JP2004288043A (en) * | 2003-03-24 | 2004-10-14 | Toshiba Corp | Web server system |
| US20180373782A1 (en) * | 2017-06-27 | 2018-12-27 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for recommending answer to question based on artificial intelligence |
| JP2019057102A (en) * | 2017-09-20 | 2019-04-11 | 株式会社Ｔｋｃ | Display control program |
| JP6442807B1 (en) * | 2018-06-15 | 2018-12-26 | カラクリ株式会社 | Dialog server, dialog method and dialog program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7266261B1 (en) | 2022-08-25 | 2023-04-28 | カラクリ株式会社 | Program, method and system |
| JP2024031110A (en) * | 2022-08-25 | 2024-03-07 | カラクリ株式会社 | Programs, methods and systems |
| JP7370115B1 (en) | 2023-04-26 | 2023-10-27 | 堺財経電算合同会社 | Answering device and answering method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6797382B1 (en) | 2020-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887597B2 (en) | Voice application platform | |
| US10943589B2 (en) | Voice application platform | |
| US10636425B2 (en) | Voice application platform | |
| JP6218057B1 (en) | Automatic response server device, terminal device, response system, response method, and program | |
| US20180210883A1 (en) | System for converting natural language questions into sql-semantic queries based on a dimensional model | |
| US20190369958A1 (en) | Method and system for providing interface controls based on voice commands | |
| US20060235691A1 (en) | Intent-based information processing and updates in association with a service agent | |
| US11437029B2 (en) | Voice application platform | |
| JP6442807B1 (en) | Dialog server, dialog method and dialog program | |
| JP2019207648A (en) | Interactive business assistance system | |
| JP6797382B1 (en) | Question answer display server, question answer display method and question answer display program | |
| CN111553138B (en) | Auxiliary writing method and device for standardizing content structure document | |
| US11769013B2 (en) | Machine learning based tenant-specific chatbots for performing actions in a multi-tenant system | |
| CN116681561A (en) | Policy matching method and device, electronic equipment and storage medium | |
| US20170308618A1 (en) | Alert Driven Interactive Interface to a Website Mining System | |
| JP2021015599A (en) | Question/answer display server, question/answer display method and question/answer display program | |
| US20200395004A1 (en) | Computer System, Model Generation Method, and Computer Readable Recording Medium | |
| JP2014016916A (en) | Social graph expanding method, program and system | |
| CN112470216A (en) | Voice application platform | |
| US11816770B2 (en) | System for ontological graph creation via a user interface | |
| CN113408736B (en) | Processing method and device of voice semantic model | |
| JP2006023968A (en) | Unique expression extracting method and device and program to be used for the same | |
| JP2021108033A (en) | Question-answer display server, question-answer display method, and question-answer display program | |
| EP2778957A1 (en) | Method and system for automatically displaying information based on task context | |
| JP2020077083A (en) | Response support system and response support method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190712 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190712 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190815 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200526 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200615 |
|
| C876 | Explanation why request for accelerated appeal examination is justified |
Free format text: JAPANESE INTERMEDIATE CODE: C876 Effective date: 20200615 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200630 |
|
| C305 | Report on accelerated appeal examination |
Free format text: JAPANESE INTERMEDIATE CODE: C305 Effective date: 20200630 |
|
| C30 | Protocol of an oral hearing |
Free format text: JAPANESE INTERMEDIATE CODE: C30 Effective date: 20200720 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200730 |
|
| C28A | Non-patent document cited |
Free format text: JAPANESE INTERMEDIATE CODE: C2838 Effective date: 20200730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200917 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200930 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201029 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201110 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6797382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |