JP2021117659A

JP2021117659A - Identifying device, identifying method, program, and data structure

Info

Publication number: JP2021117659A
Application number: JP2020009934A
Authority: JP
Inventors: 江美橋本; Emi Hashimoto; 雅隆平方; Masataka Hirakata; 晃彦森榮; Akihiko Morie
Original assignee: Toppan Printing Co Ltd
Current assignee: Toppan Inc
Priority date: 2020-01-24
Filing date: 2020-01-24
Publication date: 2021-08-10
Anticipated expiration: 2040-01-24
Also published as: JP7472506B2

Abstract

To provide an identifying device capable of identifying a printed matter intended by a user or a description in the printed manner, without given burden to the user, and even when no such a printed matter is at hands of the user.SOLUTION: An identifying device comprises: an obtainment section for obtaining input information corresponding to a question; an interactive control section for extracting search information to search a subject point; a search section for, based on the search information, searching for a printed matter information table; an identifying section for, based on the search result, identifying the subject point; and an output section for outputting information indicating the identified subject point, which is an answer to the question. The interactive control section generates information indicating an additional question to identify the subject point if the result of search by the search section satisfies prescribed conditions. And the output section outputs the information indicating the additional question generated by the interactive control section as output information to be indicated by voice.SELECTED DRAWING: Figure 4

Description

本発明は、特定装置、特定方法、プログラム、及びデータ構造に関する。 The present invention relates to specific devices, specific methods, programs, and data structures.

電子出版物の利用が増加している一方で、雑誌やカタログなどの印刷物は、見やすいなどの利点から根強く利用されている。しかし、雑誌やカタログなどは、その見やすさの反面、検索性が低いなど、電子出版物と比較して利便性が劣るという性質がある。 While the use of electronic publications is increasing, printed matter such as magazines and catalogs are being used persistently because of their advantages such as easy viewing. However, while magazines and catalogs are easy to read, they have the property of being inferior in convenience to electronic publications, such as low searchability.

この対策として、印刷物に記載された内容や、ページ、もしくは印刷物それ自体の情報を、電子的サービスと紐付けて利便性を向上させる方法が考えられる。ここでの電子的サービスとは、印刷物に記載された内容等の電子的な情報（電子データともいう）を利用したサービスであって、例えば、雑誌等に掲載された記事の電子データを取得するサービスや、カタログなどを撮像した画像を用いて製品を注文し易くするシステムなどである（例えば、特許文献１、及び特許文献２参照）。 As a countermeasure for this, a method of improving convenience by associating the contents described in the printed matter, the page, or the information of the printed matter itself with the electronic service can be considered. The electronic service here is a service that uses electronic information (also referred to as electronic data) such as the contents described in printed matter, and for example, acquires electronic data of an article published in a magazine or the like. It is a system that makes it easy to order a product by using an image obtained by capturing a service or a catalog (see, for example, Patent Document 1 and Patent Document 2).

このような電子的サービスにおいて、サービス提供側のシステムは、提供する電子的サービスの元となる、ユーザが意図する記事（例えば、印刷物に記載された商品番号やページ番号等）を特定する必要がある。例えば、特許文献１では、印刷物に記載された記事にチェックボックスが配置されており、ユーザが電子化を所望する記事にチェックマークを付ける。システムは、ユーザによってチェックマークが付されたページが撮像された画像から、ユーザが所望する記事を特定する記述が開示されている。特許文献２では、印刷物が撮像された画像から抽出した特徴を用いて、ユーザが意図する記事の候補を示す技術が開示されている。 In such an electronic service, the system on the service providing side needs to specify the article intended by the user (for example, the product number or page number written on the printed matter) that is the source of the electronic service to be provided. be. For example, in Patent Document 1, a check box is arranged in an article described in a printed matter, and a check mark is added to an article that the user desires to be digitized. The system discloses a description that identifies an article desired by the user from an image of a page marked by the user. Patent Document 2 discloses a technique for indicating a candidate for an article intended by a user by using a feature extracted from an image captured by a printed matter.

特開２００８−１３１３３３号公報Japanese Unexamined Patent Publication No. 2008-131333 特開２０１８−１５２０７５号公報Japanese Unexamined Patent Publication No. 2018-152075

しかしながら、上述した手法では、ユーザが印刷物に記載された記事等の画像を撮影する必要があり、手間がかかるという問題があった。また、印刷物に記載された記事等の画像を撮影するためには、手元に印刷物が存在している必要がある。このため、例えば、当該印刷物をユーザが過去に閲覧した印刷物に記載された記事の記憶をもとに、ユーザが意図する記載を特定するような状況で利用することができない。つまり、サービスを提供できる状況が限定されるという問題があった。 However, in the above-mentioned method, there is a problem that the user needs to take an image of an article or the like described in a printed matter, which is troublesome. In addition, in order to take an image of an article or the like described in a printed matter, it is necessary that the printed matter is present at hand. Therefore, for example, the printed matter cannot be used in a situation where the description intended by the user is specified based on the memory of the article described in the printed matter that the user has browsed in the past. That is, there is a problem that the situation in which the service can be provided is limited.

本発明は、このような状況に鑑みてなされたもので、ユーザに手間をかけさせることなく、また、印刷物がユーザの手元にない場合であっても、ユーザが意図する印刷物や印刷物の記載内容を特定することができる特定装置、特定方法、プログラム、及びデータ構造を提供する。 The present invention has been made in view of such a situation, without causing the user to take time and effort, and even when the printed matter is not in the user's hand, the printed matter intended by the user or the description content of the printed matter. Provide a specific device, a specific method, a program, and a data structure capable of identifying.

本発明の特定装置は、ユーザにより発話された、印刷物に記載された記載内容に関する質問において質問対象となる対象箇所を特定する特定装置であって、前記質問に対応する入力情報を取得する取得部と、前記取得部によって取得された前記入力情報に基づいて、前記対象箇所を検索するための検索情報を抽出する対話制御部と、前記対話制御部によって抽出された前記検索情報に基づいて、前記記載内容ごとに当該記載内容の属性情報が対応付けられた印刷物情報テーブルを検索する検索部と、前記検索部によって検索された検索結果に基づいて、前記対象箇所を特定する特定部と、前記特定部によって特定された前記対象箇所を示す情報を、前記質問の回答を音声で示すための出力情報として出力する出力部と、を備え、前記対話制御部は、前記検索部によって検索された検索結果が、所定条件を充足する場合、前記対象箇所を特定するための追加質問を示す情報を生成し、前記出力部は、前記対話制御部によって生成された前記追加質問を示す情報を音声で示すための出力情報として出力する、ことを特徴とする。 The specific device of the present invention is a specific device that specifies a target location to be asked in a question about the description content described in a printed matter, which is spoken by a user, and is an acquisition unit that acquires input information corresponding to the question. And the dialogue control unit that extracts the search information for searching the target location based on the input information acquired by the acquisition unit, and the search information extracted by the dialogue control unit. A search unit that searches a printed matter information table to which the attribute information of the description content is associated with each description content, a specific unit that specifies the target location based on the search result searched by the search unit, and the identification unit. The dialogue control unit includes a search result searched by the search unit, including an output unit that outputs information indicating the target location specified by the unit as output information for indicating the answer to the question by voice. However, when the predetermined condition is satisfied, the output unit generates information indicating the additional question for specifying the target location, and the output unit audibly indicates the information indicating the additional question generated by the dialogue control unit. It is characterized in that it is output as output information of.

本発明の特定方法は、ユーザにより発話された、印刷物に記載された記載内容に関する質問において質問対象となる対象箇所を特定する特定装置において、前記質問に対応する入力情報を取得する取得部と、前記取得部によって取得された前記入力情報に基づいて、前記対象箇所を検索するための検索情報を抽出する対話制御部と、前記対話制御部によって抽出された前記検索情報に基づいて、前記記載内容ごとに当該記載内容の属性情報が対応付けられた印刷物情報テーブルを検索する検索部と、前記検索部によって検索された検索結果に基づいて、前記対象箇所を特定する特定部と、前記特定部によって特定された前記対象箇所を示す情報を、前記質問の回答を音声で示すための出力情報として出力する出力部と、を備える特定装置の特定方法であって、前記対話制御部が、前記検索部によって検索された検索結果が、所定条件を充足する場合、前記対象箇所を特定するための追加質問を示す情報を生成し、前記出力部が、前記対話制御部によって生成された前記追加質問を示す情報を音声で示すための出力情報として出力する、ことを特徴とする。 The identification method of the present invention includes an acquisition unit that acquires input information corresponding to the question in a specific device that identifies a target location to be asked in a question regarding the description content described in a printed matter, which is spoken by a user. Based on the input information acquired by the acquisition unit, the dialogue control unit that extracts the search information for searching the target location, and the description content based on the search information extracted by the dialogue control unit. A search unit that searches a printed matter information table to which the attribute information of the description content is associated with each, a specific unit that specifies the target location based on the search result searched by the search unit, and the specific unit. It is a method of specifying a specific device including an output unit that outputs information indicating the specified target location as output information for indicating an answer to the question by voice, and the dialogue control unit is the search unit. When the search result searched by the above satisfies a predetermined condition, information indicating an additional question for identifying the target location is generated, and the output unit indicates the additional question generated by the dialogue control unit. The feature is that the information is output as output information for showing the information by voice.

本発明のプログラムは、ユーザにより発話された、印刷物に記載された記載内容に関する質問において質問対象となる対象箇所を特定する特定装置において、前記質問に対応する入力情報を取得する取得部と、前記取得部によって取得された前記入力情報に基づいて、前記対象箇所を検索するための検索情報を抽出する対話制御部と、前記対話制御部によって抽出された前記検索情報に基づいて、前記記載内容ごとに当該記載内容の属性情報が対応付けられた印刷物情報テーブルを検索する検索部と、前記検索部によって検索された検索結果に基づいて、前記対象箇所を特定する特定部と、前記特定部によって特定された前記対象箇所を示す情報を、前記質問の回答を音声で示すための出力情報として出力する出力部と、を備える特定装置のコンピュータを、前記検索部によって検索された検索結果が、所定条件を充足する場合、前記対象箇所を特定するための追加質問を示す情報を生成する生成手段、前記対話制御部によって生成された前記追加質問を示す情報を音声で示すための出力情報として出力する出力手段、として機能させるためのプログラムである。 The program of the present invention includes an acquisition unit that acquires input information corresponding to the question in a specific device that specifies a target location to be asked in a question about the description content described in the printed matter, which is spoken by the user, and the above-mentioned Based on the input information acquired by the acquisition unit, the dialogue control unit that extracts the search information for searching the target location, and the dialogue control unit that extracts the search information by the dialogue control unit, for each of the description contents. A search unit that searches a printed matter information table to which the attribute information of the description content is associated with, a specific unit that specifies the target location based on the search result searched by the search unit, and a specific unit that identifies the target location. A search result searched by the search unit for a computer of a specific device including an output unit for outputting the information indicating the target location as output information for indicating the answer to the question by voice is a predetermined condition. Is satisfied, a generation means for generating information indicating an additional question for specifying the target location, an output for outputting information indicating the additional question generated by the dialogue control unit as output information for indicating by voice. It is a program to function as a means.

本発明のプログラムは、ユーザにより発話された、印刷物に記載された記載内容に関する質問において質問対象となる対象箇所を特定する特定装置と接続される端末装置であって、前記質問に相当する音声を取得し、前記特定装置からの前記質問の回答を音声にて出力する入出力部と、前記入出力部によって取得された音声に対応する入力情報を前記特定装置に送信し、前記特定装置から前記質問の回答を示す出力情報を受信する通信部と、を備える端末装置のコンピュータを、前記特定装置から前記対象箇所を特定するための追加質問を示す出力情報を受信する受信手段、前記追加質問を音声にて出力する出力手段、前記追加質問に対する前記ユーザの回答に相当する音声を取得する取得手段、前記取得手段によって取得された音声に対応する入力情報を前記特定装置に送信する送信手段、として機能させるためのプログラムである。 The program of the present invention is a terminal device connected to a specific device that identifies a target location to be asked in a question about the description content described in a printed matter, which is uttered by a user, and sounds a voice corresponding to the question. An input / output unit that acquires and outputs the answer to the question from the specific device by voice and input information corresponding to the voice acquired by the input / output unit are transmitted to the specific device, and the specific device transmits the input information corresponding to the voice. A computer of a terminal device including a communication unit for receiving output information indicating an answer to a question, a receiving means for receiving output information indicating an additional question for specifying the target location from the specific device, and the additional question. As an output means for outputting by voice, an acquisition means for acquiring voice corresponding to the answer of the user to the additional question, and a transmission means for transmitting input information corresponding to the voice acquired by the acquisition means to the specific device. It is a program to make it work.

本発明のデータ構造は、ユーザにより発話された、印刷物に記載された記載内容に関する質問において質問対象となる対象箇所を特定する特定装置であって、前記質問に対応する入力情報に基づいて、前記対象箇所を検索するための検索情報を抽出する前記対話制御部を備える特定装置に用いられる、印刷物情報テーブルのデータ構造であって、前記記載内容ごとに当該記載内容の属性情報が対応付けられた情報を含み、前記対話制御部に、前記印刷物情報テーブルを用いた検索結果が、所定条件を充足する場合、前記対象箇所を特定するための追加質問を示す情報を生成させる、データ構造である。 The data structure of the present invention is a specific device that identifies a target location to be asked in a question regarding the description content described in a printed matter, which is spoken by a user, and is described above based on the input information corresponding to the question. It is a data structure of a printed matter information table used in a specific device provided with the dialogue control unit for extracting search information for searching a target location, and attribute information of the description content is associated with each description content. It is a data structure that includes information and causes the dialogue control unit to generate information indicating an additional question for identifying the target location when the search result using the printed matter information table satisfies a predetermined condition.

本発明によれば、ユーザに手間をかけさせることなく、また、印刷物がユーザの手元にない場合であっても、ユーザが意図する印刷物や印刷物の記載内容を特定することができる。 According to the present invention, it is possible to specify the printed matter intended by the user and the description contents of the printed matter even when the printed matter is not in the hands of the user without causing trouble to the user.

実施形態に係る特定システム１の構成の例を示すブロック図である。It is a block diagram which shows the example of the structure of the specific system 1 which concerns on embodiment. 実施形態に係る印刷物ＤＢ２３に記憶される印刷物情報テーブル２３０の構成の例を示す図である。It is a figure which shows the example of the structure of the printed matter information table 230 stored in the printed matter DB 23 which concerns on embodiment. 実施形態に係る対話シナリオＤＢ３３に記憶される対話シナリオ情報テーブル３３０の構成の例を示す図である。It is a figure which shows the example of the structure of the dialogue scenario information table 330 stored in the dialogue scenario DB 33 which concerns on embodiment. 実施形態に係る制御部４２の構成の例を示すブロック図である。It is a block diagram which shows the example of the structure of the control part 42 which concerns on embodiment. 実施形態に係る特定システム１が行う処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process performed by the specific system 1 which concerns on embodiment. 実施形態に係る特定システム１による端末装置１０の表示例を示す図である。It is a figure which shows the display example of the terminal apparatus 10 by the specific system 1 which concerns on embodiment.

以下、実施形態のサーバ装置、及び特定システムを、図面を参照しながら説明する。 Hereinafter, the server device and the specific system of the embodiment will be described with reference to the drawings.

図１は、実施形態に係る特定システム１の構成の例を示すブロック図である。特定システム１は、例えば、端末装置１０と、印刷物ＤＢサーバ２０と、対話シナリオＤＢサーバ３０と、サーバ装置４０とを備える。端末装置１０とサーバ装置４０とは、インターネット等の通信ネットワークＮＷを介して相互に通信可能に接続される。サーバ装置４０は、印刷物ＤＢサーバ２０、及び対話シナリオＤＢサーバ３０と相互に情報の送受信が可能に接続される。サーバ装置４０は、「特定装置」の一例である。 FIG. 1 is a block diagram showing an example of the configuration of the specific system 1 according to the embodiment. The specific system 1 includes, for example, a terminal device 10, a printed matter DB server 20, a dialogue scenario DB server 30, and a server device 40. The terminal device 10 and the server device 40 are connected to each other so as to be able to communicate with each other via a communication network NW such as the Internet. The server device 40 is connected to the printed matter DB server 20 and the dialogue scenario DB server 30 so as to be able to send and receive information to each other. The server device 40 is an example of a “specific device”.

本実施形態において、ユーザは、印刷物の記載内容に関する質問（以下、単に質問ともいう）を、端末装置１０に対して行う。ここで、印刷物は、文字や画像、図表等が印刷されている物体であり、例えば、本（教科書、図鑑、小説、美術誌など）、雑誌（週刊誌、月刊誌など）、パンフレット、カタログ、資料（文献など）、包装体（包装紙、パッケージなど）の紙、プラスチック、布、板などである。印刷物の記載内容には、印刷物に印刷された文字や画像、図表が含まれる。また、ここでの質問は、印刷物に記載された内容に関する質問であり、例えば、以前読んだ記事や画像を、再度読み返したくなったり、詳細に知りたいが思い出せなかったりしたときに行う質問である。例えば、質問は、ユーザが意図する記事や画像が掲載されているページ番号、当該ページにおいて掲載されている位置、或いは記事に記載されている文言、画像に付された説明文（以下、キャプションともいう）等を確認するものである。 In the present embodiment, the user asks a question regarding the description content of the printed matter (hereinafter, also simply referred to as a question) to the terminal device 10. Here, the printed matter is an object on which characters, images, charts, etc. are printed, for example, books (textbooks, pictorial books, novels, art magazines, etc.), magazines (weekly magazines, monthly magazines, etc.), pamphlets, catalogs, etc. Materials (literatures, etc.), paper, plastic, cloth, boards, etc. for packaging (wrapping paper, packaging, etc.). The description content of the printed matter includes characters, images, and charts printed on the printed matter. In addition, the question here is a question about the content described in the printed matter, for example, a question to be asked when you want to read the article or image you read before again, or when you want to know the details but cannot remember. .. For example, the question is the page number where the article or image intended by the user is posted, the position where it is posted on the page, the wording described in the article, the explanation attached to the image (hereinafter, also referred to as caption). To confirm) etc.

また、本実施形態において、質問は、口頭で行われる。例えば、ユーザは、「あの雑誌にあった青色の化粧品は何ページ？」などと、質問を端末装置１０に向かって発話する。これにより、画像を撮像したり、文字を入力したりして質問を行う場合と比較して、ユーザの手間を軽減させることが可能である。また、画像を撮像しないので、印刷物がユーザの手元にない場合であっても、特定システム１を利用することが可能である。 Also, in this embodiment, the question is asked verbally. For example, the user utters a question to the terminal device 10, such as "How many pages of blue cosmetics were in that magazine?" As a result, it is possible to reduce the time and effort of the user as compared with the case of asking a question by taking an image or inputting characters. Further, since the image is not captured, the specific system 1 can be used even when the printed matter is not in the user's hand.

しかしながら、質問が口頭で行われる場合、詳細な説明が省略されてしまうことが考えられる。例えば、「あの雑誌にあった青色の化粧品は何ページ？」という質問がなされた場合、「あの雑誌」が何れの印刷物に該当するか不明である。また、一般に「化粧品」の種類は多い。このため、ユーザが意図している化粧品が、化粧水なのか、乳液なのか、化粧ブラシなのか、この質問だけでは特定することが困難である。 However, if the question is asked verbally, the detailed explanation may be omitted. For example, when the question "How many pages of blue cosmetics were in that magazine?" Is asked, it is unclear which printed matter "that magazine" corresponds to. In general, there are many types of "cosmetics". Therefore, it is difficult to identify whether the cosmetic product intended by the user is a lotion, a milky lotion, or a makeup brush only by this question.

この対策として、本実施形態では、対話形式にて、ユーザが意図する記載内容を特定する。例えば、「あの雑誌にあった青色の化粧品は何ページ？」というユーザからの質問に対して「質問対象の印刷物が特定できる情報を教えてください」などというシステム側からの質問を、端末装置１０から音声にて出力する。これにより、ユーザからの最初の質問だけでは特定できない事項について、確認を行うことが可能となる。したがって、質問の詳細な説明が省略されていた場合であっても、ユーザが意図する印刷物や印刷物の記載内容を特定することが可能である。 As a countermeasure, in the present embodiment, the description content intended by the user is specified in an interactive manner. For example, in response to a question from the user, "How many pages of blue cosmetics were in that magazine?", The terminal device 10 asks a question from the system side, such as "Please tell me the information that can identify the printed matter to be asked." Output by voice from. This makes it possible to confirm matters that cannot be identified only by the first question from the user. Therefore, even if the detailed explanation of the question is omitted, it is possible to specify the printed matter intended by the user or the description content of the printed matter.

端末装置１０は、例えばスマートフォンなどの携帯端末である。端末装置１０は、例えば、通信部１１と、制御部１２と、入出力部１３とを備える。通信部１１は、サーバ装置４０と通信ネットワークＮＷを介した通信を行う。制御部１２は、端末装置１０を統括的に制御する。入出力部１３は、マイク及びスピーカなど音声の入出力を行う機能部である。入出力部１３に、キーボードやタッチパネルが含まれていてもよい。 The terminal device 10 is a mobile terminal such as a smartphone. The terminal device 10 includes, for example, a communication unit 11, a control unit 12, and an input / output unit 13. The communication unit 11 communicates with the server device 40 via the communication network NW. The control unit 12 comprehensively controls the terminal device 10. The input / output unit 13 is a functional unit that inputs / outputs audio, such as a microphone and a speaker. The input / output unit 13 may include a keyboard and a touch panel.

端末装置１０には、印刷物の記載内容に関する質問を受け付けるアプリケーション（以下、アプリという）がインストールされている。アプリが行う処理は、制御部１２が、端末装置１０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。端末装置１０は、ユーザの操作などによってアプリが起動されると、入出力部１３のマイクを集音可能な状態にして、ユーザからの質問を受け付ける。この場合、端末装置１０の表示部（不図示）に、「質問をお話しください」など、アプリが質問を受け付け可能である旨を知らせるメッセージが表示されたり、入出力部１３から質問を促すアラーム音が出力されたりするようにしてもよい。 An application (hereinafter referred to as an application) for receiving a question regarding the description content of the printed matter is installed in the terminal device 10. The processing performed by the application is realized by the control unit 12 causing the CPU (Central Processing Unit) provided as hardware in the terminal device 10 to execute the program. When the application is started by the user's operation or the like, the terminal device 10 sets the microphone of the input / output unit 13 into a state in which sound can be collected, and receives a question from the user. In this case, a message such as "Please tell me a question" is displayed on the display unit (not shown) of the terminal device 10, or an alarm sound prompting the question from the input / output unit 13. May be output.

端末装置１０は、ユーザがマイクに向けて発話した質問を、入出力部１３を介して取得する。端末装置１０は、ユーザによって音声で入力された質問の情報（入力情報）を、サーバ装置４０に送信する。 The terminal device 10 acquires a question spoken by the user into the microphone via the input / output unit 13. The terminal device 10 transmits the question information (input information) input by the user by voice to the server device 40.

或いは、端末装置１０が音声認識機能を有する場合、端末装置１０は、入力された音声を、制御部１２の音声認識機能によって音声認識し、文字情報に変換するようにしてもよい。例えば、端末装置１０は、変換した文字情報を表示部に表示する。ユーザは、表示された文字を目視により確認し、口頭でした質問が正しく表示されていればその旨の情報を、端末装置１０の入出力部１３を介して入力する。ここでの入力は、キーボードやタッチパネルを操作することによって実施されてもよいし、「オッケー」などと口頭で発話することによる音声入力によって実施されてもよい。一方、ユーザは、口頭でした質問が正しく表示されていない場合、質問し直すなど、端末装置１０に質問が正しく認識されるように対応する。端末装置１０は、ユーザの質問が正しく受け付けられた旨の情報が入力された場合、質問の内容を示す文字情報をサーバ装置４０に送信する。この場合、質問の内容を示す文字情報は、ユーザによって音声で入力された質問の情報が文字に変換された情報であり、「入力情報」の一例である。 Alternatively, when the terminal device 10 has a voice recognition function, the terminal device 10 may perform voice recognition of the input voice by the voice recognition function of the control unit 12 and convert it into character information. For example, the terminal device 10 displays the converted character information on the display unit. The user visually confirms the displayed characters, and if the verbal question is correctly displayed, the user inputs information to that effect via the input / output unit 13 of the terminal device 10. The input here may be performed by operating the keyboard or the touch panel, or may be performed by voice input by verbally speaking "OK" or the like. On the other hand, when the verbal question is not displayed correctly, the user responds by asking the question again so that the terminal device 10 correctly recognizes the question. When the information indicating that the user's question has been correctly received is input, the terminal device 10 transmits the character information indicating the content of the question to the server device 40. In this case, the character information indicating the content of the question is information in which the information of the question input by the user by voice is converted into characters, and is an example of "input information".

端末装置１０は、ユーザの質問に対する回答、又は、ユーザの質問に対するシステム側からの追加質問を示す情報を、サーバ装置４０から受信する。端末装置１０は、ユーザの質問に対する回答又は追加質問（以下、回答等という）を音声データの状態で受信し、受信した情報を入出力部１３のスピーカから出力する。 The terminal device 10 receives from the server device 40 information indicating an answer to the user's question or an additional question from the system side to the user's question. The terminal device 10 receives an answer to the user's question or an additional question (hereinafter referred to as an answer or the like) in the state of voice data, and outputs the received information from the speaker of the input / output unit 13.

或いは、端末装置１０が音声変換機能を有する場合には、端末装置１０は、ユーザの質問に対する回答を文字データの状態で受信するようにしてもよい。この場合、端末装置１０は、制御部１２の音声変換機能によって文字を音声に変換し、変換した文字を表示部に表示する。 Alternatively, when the terminal device 10 has a voice conversion function, the terminal device 10 may receive the answer to the user's question in the state of character data. In this case, the terminal device 10 converts characters into voice by the voice conversion function of the control unit 12, and displays the converted characters on the display unit.

ユーザの質問に対し、システム側から追加質問があった場合、端末装置１０は、追加質問に対するユーザからの回答を、入出力部１３のマイクを介して取得する。端末装置１０は、取得したユーザからの回答を示す情報（入力情報）を、サーバ装置４０に送信する。端末装置１０が当該情報をサーバ装置４０に送信する方法は、端末装置１０がユーザからの質問をサーバ装置４０に送信する方法と同様であるため、その説明を省略する。 When there is an additional question from the system side in response to the user's question, the terminal device 10 acquires the answer from the user to the additional question through the microphone of the input / output unit 13. The terminal device 10 transmits information (input information) indicating the acquired response from the user to the server device 40. Since the method in which the terminal device 10 transmits the information to the server device 40 is the same as the method in which the terminal device 10 transmits a question from the user to the server device 40, the description thereof will be omitted.

印刷物ＤＢサーバ２０は、印刷物の記載内容に関するＤＢ（データベース）を有するサーバ装置である。印刷物ＤＢサーバ２０は、例えば、通信部２１と、制御部２２と、印刷物ＤＢ２３とを備える。通信部２１は、サーバ装置４０と通信を行う。制御部２２は、印刷物ＤＢサーバ２０を統括的に制御する。制御部２２は印刷物ＤＢサーバ２０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。制御部２２は、サーバ装置４０からの印刷物ＤＢ２３に関する問合わせ（クエリ）に応答する。印刷物ＤＢ２３に関する問合わせとは、データの検索、及びデータの取得である。ここでのデータは、印刷物ＤＢ２３に記憶される印刷物情報テーブル２３０における印刷物の記載内容である。 The printed matter DB server 20 is a server device having a DB (database) relating to the description contents of the printed matter. The printed matter DB server 20 includes, for example, a communication unit 21, a control unit 22, and a printed matter DB 23. The communication unit 21 communicates with the server device 40. The control unit 22 comprehensively controls the printed matter DB server 20. The control unit 22 is realized by causing a CPU provided as hardware in the printed matter DB server 20 to execute a program. The control unit 22 responds to an inquiry (query) regarding the printed matter DB 23 from the server device 40. The inquiry regarding the printed matter DB 23 is a data search and a data acquisition. The data here is the description content of the printed matter in the printed matter information table 230 stored in the printed matter DB 23.

制御部２２は、サーバ装置４０からの、データの検索の問い合わせに応答する。制御部２２は、通信部２１を介してサーバ装置４０から、検索に用いる文字列の情報（検索情報）を取得する。制御部２２は、取得した文字列に基づいて、印刷物情報テーブル２３０を参照し、当該文字列と一致する、又は類似する文字列が属性情報に含まれる記載内容を抽出する。制御部２２は、抽出した記載内容を示す情報を、検索結果として、通信部２１を介してサーバ装置４０に通知する。記載内容を示す情報は、記載内容そのものの情報であってもよいし、記載内容を識別する識別情報のみであってもよいし、抽出した記載内容の個数などを示す情報が含まれていてもよい。 The control unit 22 responds to a data search inquiry from the server device 40. The control unit 22 acquires character string information (search information) used for the search from the server device 40 via the communication unit 21. The control unit 22 refers to the printed matter information table 230 based on the acquired character string, and extracts the description content in which the character string matching or similar to the character string is included in the attribute information. The control unit 22 notifies the server device 40 of the information indicating the extracted description contents as a search result via the communication unit 21. The information indicating the description content may be the information of the description content itself, only the identification information for identifying the description content, or the information indicating the number of the extracted description contents and the like. good.

制御部２２は、サーバ装置４０からの、データ取得の問い合わせに応答する。制御部２２は、通信部２１を介してサーバ装置４０から、取得する対象のデータの識別情報を取得する。制御部２２は、取得した識別情報に基づいて、印刷物情報テーブル２３０を参照し、当該識別情報に対応する記載内容を抽出する。制御部２２は、抽出した記載内容を、通信部２１を介してサーバ装置４０に通知する。 The control unit 22 responds to an inquiry for data acquisition from the server device 40. The control unit 22 acquires the identification information of the data to be acquired from the server device 40 via the communication unit 21. Based on the acquired identification information, the control unit 22 refers to the printed matter information table 230 and extracts the description contents corresponding to the identification information. The control unit 22 notifies the server device 40 of the extracted description contents via the communication unit 21.

印刷物ＤＢ２３は、印刷物情報テーブル２３０を記憶する。印刷物ＤＢ２３は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。 The printed matter DB 23 stores the printed matter information table 230. The printed matter DB 23 is a storage medium, for example, an HDD (Hard Disk Drive), a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), a RAM (Random Access read / write Memory), a ROM (Read Only Memory), or a storage thereof. It consists of any combination of media.

印刷物情報テーブル２３０は、印刷物の記載内容ごとに、当該記載内容における属性情報が対応付けられたテーブルである。すなわち、印刷物情報テーブル２３０は、記載内容と当該記載内容における属性情報が対応付けられた情報を含む「データ構造」を有する。 The printed matter information table 230 is a table in which attribute information in the described contents is associated with each description content of the printed matter. That is, the printed matter information table 230 has a "data structure" including information in which the description content and the attribute information in the description content are associated with each other.

属性情報は、印刷物の記載内容における性質や特徴を示す情報である。例えば、文字の属性情報は、記載されている文字の文字コードを示す情報、及び文字のフォントやフォントサイズ、色など表示のスタイルを示す情報などである。なお、属性情報は、個々の文字に対して付されてもよいし、文字列や文章に対して付されてもよい。文字列の属性情報は、上述した文字の属性情報に加えて、文字列を構成する文字の数などの情報が含まれる。文章の属性情報には、上述した文字の属性情報に加えて、文章における頻出語句、段落数などの情報が含まれる。文章にタイトルや筆者の名前、日付などが含まれる場合、それらの情報が属性情報に含まれていてもよい。また、文章が説明文なのか、物語なのか、詩なのか、会話文なのか等の、文章の種別が属性情報に含まれていてもよい。 The attribute information is information indicating the properties and characteristics of the described contents of the printed matter. For example, the character attribute information includes information indicating the character code of the described character, information indicating the display style such as the font, font size, and color of the character. The attribute information may be attached to each character, or may be attached to a character string or a sentence. The character string attribute information includes information such as the number of characters constituting the character string in addition to the above-mentioned character attribute information. In addition to the above-mentioned character attribute information, the sentence attribute information includes information such as frequently used words and phrases in the sentence and the number of paragraphs. If the text includes the title, the author's name, the date, etc., such information may be included in the attribute information. Further, the attribute information may include the type of sentence such as whether the sentence is an explanatory sentence, a story, a poem, or a conversational sentence.

画像の属性情報は、画像のサイズ、画像の固有表現などである。画像の固有表現は、画像に対応付けられている固有表現であって、例えば、画像に表現されている物体の種類、数などの情報である。画像の固有表現は、例えば、物体認識などの画像処理によって抽出することが可能である。画像にキャプションが付されている場合には、キャプションに記載された事項を、画像の属性情報として含めてもよい。例えば、ある製品の画像の下に、製品名、値段、ブラント名等が記載されたキャプションが付されている場合、これらの製品名等が、属性情報となり得る。 The attribute information of the image is the size of the image, the unique representation of the image, and the like. The named entity of an image is a named entity associated with the image, and is, for example, information such as the type and number of objects represented in the image. The named entity of the image can be extracted by image processing such as object recognition, for example. If the image has a caption, the items described in the caption may be included as the attribute information of the image. For example, when a caption describing a product name, price, blunt name, etc. is attached below an image of a certain product, these product names, etc. can be attribute information.

図表の属性情報は、図表のサイズ、図表の固有表現などである。図表の固有表現は、例えば、図表に示されている罫線や、罫線で区切られた領域に示された文字列などを抽出する画像処理によって抽出することが可能である。図表にキャプションが付されている場合には、画像と同様に、キャプションに記載された事項を、属性情報として含めてもよい。 The attribute information of the chart includes the size of the chart, the named entity of the chart, and the like. The named entity of the chart can be extracted, for example, by image processing for extracting the ruled lines shown in the chart, the character strings shown in the area delimited by the ruled lines, and the like. When the chart has a caption, the items described in the caption may be included as the attribute information as in the image.

属性情報には、記載内容の顕著性（目立ち度合）が含まれていてよい。顕著性とは、記載事項が視覚的な注意を向けられやすさの度合いであり、記載内容を含むページを視認した人が、記載内容に注目する度合いである。顕著性は、例えば、一般的なレイアウト知識に基づいて、ルールベースで決定される。例えば、メインタイトルと、サブタイトルとがあるレイアウトの場合には、メインタイトルが、サブタイトルと比較して大きい顕著性を示す値とする。顕著性は、例えば、所定の範囲（例えば、０〜１）における、実数値で表現され、数値が大きい程顕著性が大きく、より注目度されることを示す。 The attribute information may include the prominence (degree of conspicuity) of the described content. The prominence is the degree to which the items to be described are easily attracted to the visual attention, and the degree to which a person who visually recognizes the page including the contents of the description pays attention to the contents of the description. Severity is determined on a rule basis, for example, based on general layout knowledge. For example, in the case of a layout in which a main title and a subtitle are present, the value of the main title is set to a value that shows greater prominence as compared with the subtitle. The saliency is expressed as a real value in a predetermined range (for example, 0 to 1), and the larger the value, the greater the saliency and the more attention is paid.

或いは、目立ち度合は、サリエンシーマップ（顕著性マップ）に基づいて決定されてもよい。顕著性マップは、記載内容における視覚的な特徴に基づいて決定される。視覚的な特徴とは、ページ全体に対して記載内容が視覚的に人目を引くかどうかの観点からみた特徴であって、例えば、色、明度などのコントラスト等により決定される。例えば、ページ全体を見た時に、周囲よりも大きい文字が記載されている箇所や、周囲と色が異なる箇所は、人目をひきやすく、目立ち度合が大きい。顕著性マップは、例えば、画像処理によって、ページ全体のコントラスト分布を抽出することによって決定される。 Alternatively, the degree of conspicuity may be determined based on the salency map (saliency map). The saliency map is determined based on the visual features of the description. The visual feature is a feature from the viewpoint of whether or not the description content is visually eye-catching with respect to the entire page, and is determined by, for example, contrast such as color and brightness. For example, when looking at the entire page, places where characters larger than the surroundings are written or places where the color is different from the surroundings are easily noticeable and have a high degree of conspicuity. The saliency map is determined, for example, by extracting the contrast distribution of the entire page by image processing.

図２は、実施形態に係る印刷物ＤＢ２３に記憶される印刷物情報テーブル２３０の構成の例を示す図である。印刷物情報テーブル２３０は、印刷物の記載内容ごとに作成される。印刷物情報テーブル２３０は、例えば、共通項目、文字、図表、画像などの項目を備える。共通項目とは、記載内容が文字である場合にも、図表や画像である場合にも、共通する属性情報が示される。共通項目は、例えば、書誌的事項、掲載ページ、区分、記載位置、顕著性などの項目を備える。書誌的事項には、印刷物の書誌的な事項が示され、例えば、書名、著者名、ページ数、大きさ、ＩＳＢＮ（International Standard Book Number）などの項目を備える。書誌的事項には、記載内容が掲載された印刷物についての、上述したような書誌的な事項が示される。ページ数には、印刷物において、記載内容が掲載されているページ数が示される。区分には、記載内容が、文字であるか、図表であるか、画像であるかの区分が示される。記載位置には、ページ内における記載内容が掲載されている位置が示される。顕著性には、ページ内における記載内容の顕著性（目立ち度合）が示される。 FIG. 2 is a diagram showing an example of the configuration of the printed matter information table 230 stored in the printed matter DB 23 according to the embodiment. The printed matter information table 230 is created for each description content of the printed matter. The printed matter information table 230 includes, for example, items such as common items, characters, charts, and images. The common item indicates common attribute information regardless of whether the description content is a character or a chart or an image. Common items include, for example, bibliographic items, publication pages, categories, description positions, prominence, and the like. The bibliographic item indicates a bibliographic item of a printed matter, and includes items such as a book title, an author name, a number of pages, a size, and an ISBN (International Standard Book Number). The bibliographical matters indicate the bibliographical matters as described above for the printed matter in which the description contents are posted. The number of pages indicates the number of pages in which the description is posted in the printed matter. The classification indicates whether the description content is a character, a chart, or an image. The description position indicates the position on the page where the description content is posted. The saliency indicates the saliency (degree of conspicuity) of the description on the page.

文字には、記載内容が文字である場合の属性情報が示される。この文字には、文字列や文章が含まれてもよい。文字は、テキスト情報と、スタイル情報などの項目を備える。テキスト情報は、記載内容（文字）における、フォントや色などを除いたテキストの情報が示される。スタイル情報には、記載内容（文字）における、印刷物に印刷された態様、すなわち表示上の仕様が示される。スタイル情報は、例えば、区分、サイズ、色、フォント、書式などの項目を備える。区分は、記載内容（文字）がタイトルであるか、本文であるか等の区分を示す情報である。サイズ、色、フォント、書式などは、記載内容（文字）の文字が表示されているフォントサイズ、色、字体、書式などを示している。 The character indicates the attribute information when the description content is a character. This character may include a character string or a sentence. Characters include items such as text information and style information. The text information indicates text information in the description content (characters) excluding fonts and colors. The style information indicates the mode printed on the printed matter, that is, the display specifications in the description content (characters). The style information includes items such as division, size, color, font, and format. The classification is information indicating the classification such as whether the description content (character) is the title or the text. The size, color, font, format, etc. indicate the font size, color, font, format, etc. in which the characters of the description content (characters) are displayed.

図表、画像には、記載内容が図表や画像である場合の属性情報が示される。この図表や画像には、図表や画像に付されるキャプションが含まれてもよい。図表、画像は、固有表現と、キャプション情報などの項目を備える。固有表現には、記載内容（図表、画像）における、画像に表現されている物体の種類、数などの情報が示される。キャプション情報には、図表や画像に付されたキャプションが示される。キャプション情報には、キャプションとして記載された文字列や文章そのものが示されていてもよいし、頻出語句や値段、商品名などを抽出した結果が示されていてもよい。 The charts and images show attribute information when the description is a chart or an image. The chart or image may include captions attached to the chart or image. Charts and images include items such as named entity and caption information. The named entity indicates information such as the type and number of objects represented in the image in the description contents (charts, images). The caption information shows the caption attached to the chart or image. The caption information may indicate the character string or the sentence itself described as the caption, or may indicate the result of extracting the frequently-used words, prices, product names, and the like.

属性情報は、上記の各項目に限定されることはない。属性情報は、少なくとも記載内容における性質や特徴を示すものであればよく、上記の各項目に関連するものが含まれてよい。特に、属性情報は、記載内容について、特に人の記憶に残ると思われる事項、人が確認したがる事項であることが望ましい。ユーザからの質問には、ユーザの記憶に残っている事項や、ユーザが確認したい事項が含まれることが想定されるためである。 The attribute information is not limited to each of the above items. The attribute information may include at least information related to each of the above items as long as it indicates the properties and characteristics of the described contents. In particular, it is desirable that the attribute information is a matter that is considered to be memorable to a person or a matter that a person wants to confirm. This is because it is assumed that the question from the user includes items that are memorized by the user and items that the user wants to confirm.

印刷物情報テーブル２３０における上記の各項目は、任意の手法で記憶（登録）されてよい。例えば、印刷物ごと、或いは項目ごとに人手により登録されたものであってもよいし、機械的な手法により登録されたものであってもよい。機械的な手法とは、例えば、組版情報を利用した手法や、ＯＣＲ（Optical Character Reader）の認識結果を利用した手法が考えられる。 Each of the above items in the printed matter information table 230 may be stored (registered) by any method. For example, it may be manually registered for each printed matter or each item, or it may be registered by a mechanical method. As the mechanical method, for example, a method using typesetting information and a method using the recognition result of OCR (Optical Character Reader) can be considered.

キャプション情報を、組版情報から推定してもよいし、機械学習の手法を用いて推定してもよい。機械学習の手法を用いる場合、例えば、事前に、学習用の印刷物におけるページごとの電子データ（スキャンデータ等）と、キャプションの位置とが対応づけられた学習用のデータセットを学習した学習済みモデルを作成する。そして、作成した学習モデルに、印刷物のページを入力することにより、キャプションとして記載された箇所を推定する。 The caption information may be estimated from the typesetting information, or may be estimated using a machine learning method. When using a machine learning method, for example, a trained model in which a learning data set in which electronic data (scan data, etc.) for each page in a printed matter for learning and a caption position are associated with each other is learned in advance. To create. Then, by inputting the page of the printed matter into the created learning model, the part described as the caption is estimated.

図１に戻り、対話シナリオＤＢサーバ３０は、対話内容に関するＤＢを有するサーバ装置である。ここでの対話内容は、ユーザとシステム側とでやり取りされる質問と回答、或いは、ユーザの質問に対するシステム側からの追加質問と、その追加質問の回答などの内容を示す。対話シナリオＤＢサーバ３０は、例えば、通信部３１と、制御部３２と、対話シナリオＤＢ３３とを備える。 Returning to FIG. 1, the dialogue scenario DB server 30 is a server device having a DB related to dialogue contents. The content of the dialogue here indicates the contents of the question and answer exchanged between the user and the system side, the additional question from the system side to the user's question, and the answer to the additional question. The dialogue scenario DB server 30 includes, for example, a communication unit 31, a control unit 32, and a dialogue scenario DB 33.

通信部３１は、サーバ装置４０と通信を行う。制御部３２は対話シナリオＤＢサーバ３０を統括的に制御する。制御部３２は、対話シナリオＤＢサーバ３０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。制御部３２は、サーバ装置４０からの対話シナリオＤＢ３３に関する問合わせ（クエリ）に応答する。対話シナリオＤＢ３３に関する問合わせとは、データの検索、及びデータの取得である。ここでのデータは、対話シナリオＤＢ３３に記憶される対話シナリオ情報テーブル３３０における対話内容である。制御部３２は、サーバ装置４０からの問い合わせに応答する方法は、制御部２２がサーバ装置４０からの問い合わせに応答する方法と同様であるため、その説明を省略する。 The communication unit 31 communicates with the server device 40. The control unit 32 comprehensively controls the dialogue scenario DB server 30. The control unit 32 is realized by causing a CPU provided as hardware in the dialogue scenario DB server 30 to execute a program. The control unit 32 responds to an inquiry (query) regarding the dialogue scenario DB 33 from the server device 40. The inquiry regarding the dialogue scenario DB 33 is a data search and a data acquisition. The data here is the dialogue content in the dialogue scenario information table 330 stored in the dialogue scenario DB 33. Since the method of responding to the inquiry from the server device 40 by the control unit 32 is the same as the method of responding to the inquiry from the server device 40 by the control unit 22, the description thereof will be omitted.

対話シナリオＤＢ３３は、対話シナリオ情報テーブル３３０を記憶する。対話シナリオＤＢ３３は、記憶媒体、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、またはこれらの記憶媒体の任意の組み合わせによって構成される。対話シナリオ情報テーブル３３０は、シナリオごとに、追加質問の典型が対応付けられたテーブルである。シナリオは、例えば、質問と、検索情報と、検索結果の組合せごとに設定される。例えば、質問が「青い色の化粧品が掲載されているページ」である場合を考える。この質問から抽出された検索情報が「青い色、化粧品」であり、検索結果が、「該当する記載内容が複数」かつ、「該当する記載内容を含む印刷物も複数」であったとする。この場合、ユーザが意図する記載内容を特定するためには、まず印刷物を特定する必要がある。このため、追加質問の典型として「印刷物を特定するための追加質問」が対応づけられる。 The dialogue scenario DB 33 stores the dialogue scenario information table 330. The dialogue scenario DB 33 is composed of storage media such as HDD, flash memory, EEPROM, RAM, ROM, or any combination of these storage media. The dialogue scenario information table 330 is a table to which typical additional questions are associated with each scenario. The scenario is set for each combination of a question, search information, and a search result, for example. For example, suppose the question is "a page with blue cosmetics". It is assumed that the search information extracted from this question is "blue color, cosmetics", and the search result is "multiple applicable description contents" and "multiple printed matter including the corresponding description content". In this case, in order to specify the description content intended by the user, it is first necessary to specify the printed matter. Therefore, as a typical example of the additional question, "an additional question for identifying the printed matter" is associated.

或いは、同じ質問に対して、検索結果が、「該当する記載内容が複数」かつ、「該当する記載内容を含む印刷物が１つ」であったとする。この場合、ユーザが意図する記載内容を特定するためには、ページを特定する必要がある。このため、追加質問の典型は「ページを特定するための追加質問」が対応づけられる。 Alternatively, it is assumed that the search result is "plurality of applicable description contents" and "one printed matter containing the corresponding description contents" for the same question. In this case, it is necessary to specify the page in order to specify the description content intended by the user. For this reason, a typical example of an additional question is associated with an "additional question for identifying a page".

図３は、実施形態に係る対話シナリオＤＢ３３に記憶される対話シナリオ情報テーブル３３０の構成の例を示す図である。対話シナリオ情報テーブル３３０は、例えば、シナリオＩＤ、該当する記載内容の数、内訳、追加質問の点検などの項目を備える。シナリオＩＤは、対話シナリオを一意に識別する識別情報である。該当する記載内容の数は、検索の結果、該当する記載内容の数である。内訳は、該当する記載内容の内訳であって、例えば、印刷物フラグ、及びページフラグなどの項目を備える。印刷物フラグには、該当する記載内容が同一の印刷物にのみ掲載されているものなのか、複数の印刷物に掲載されているものなのかの二値が示されている。ページフラグには、該当する記載内容が同一のページにのみ掲載されているものなのか、複数のページに掲載されているものなのかの二値が示されている。 FIG. 3 is a diagram showing an example of the configuration of the dialogue scenario information table 330 stored in the dialogue scenario DB 33 according to the embodiment. The dialogue scenario information table 330 includes items such as a scenario ID, the number of applicable contents, a breakdown, and an inspection of additional questions. The scenario ID is identification information that uniquely identifies the dialogue scenario. The number of applicable description contents is the number of applicable description contents as a result of the search. The breakdown is a breakdown of the corresponding description contents, and includes items such as a printed matter flag and a page flag. The printed matter flag indicates a binary value of whether the corresponding description is published only in the same printed matter or in a plurality of printed matter. The page flag shows a binary value of whether the corresponding description is posted only on the same page or on multiple pages.

図１に戻り、サーバ装置４０は、例えば、通信部４１と、制御部４２と、記憶部４３とを備える。通信部４１は、端末装置１０と通信ネットワークＮＷを介して通知する。通信部４１は、印刷物ＤＢサーバ２０、及び対話シナリオＤＢサーバ３０と通信する。制御部４２は、サーバ装置４０を統括的に制御する。制御部４２は、サーバ装置４０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。記憶部４３は、記憶媒体、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、またはこれらの記憶媒体の任意の組み合わせによって構成される。記憶部４３は、制御部４２が行う各種の処理に応じて実行されるプログラム、各種の処理で用いられるパラメータなどを記憶する。 Returning to FIG. 1, the server device 40 includes, for example, a communication unit 41, a control unit 42, and a storage unit 43. The communication unit 41 notifies the terminal device 10 via the communication network NW. The communication unit 41 communicates with the printed matter DB server 20 and the dialogue scenario DB server 30. The control unit 42 comprehensively controls the server device 40. The control unit 42 is realized by causing a CPU provided as hardware in the server device 40 to execute a program. The storage unit 43 is composed of a storage medium, for example, an HDD, a flash memory, an EEPROM, a RAM, a ROM, or any combination of these storage media. The storage unit 43 stores a program executed in response to various processes performed by the control unit 42, parameters used in various processes, and the like.

図４は、実施形態に係る制御部４２の構成の例を示すブロック図である。制御部４２は、例えば、取得部４２０と、対話制御部４２１と、検索部４２２と、判定部４２３と、特定部４２４と、出力部４２５とを備える。取得部４２０は、端末装置１０からの入力情報を、通信部４１を介して取得する。 FIG. 4 is a block diagram showing an example of the configuration of the control unit 42 according to the embodiment. The control unit 42 includes, for example, an acquisition unit 420, a dialogue control unit 421, a search unit 422, a determination unit 423, a specific unit 424, and an output unit 425. The acquisition unit 420 acquires the input information from the terminal device 10 via the communication unit 41.

対話制御部４２１は、入力情報に基づいて、対象箇所を検索するための検索情報を抽出する。対象箇所は、ユーザからの質問において質問の対象となっている、記載内容が掲載されている印刷物における、当該記載内容の掲載箇所である。入力情報が音声情報である場合、対話制御部４２１は、入力情報に音声認識処理を行うことによって、入力情報を文字情報に変換する。入力情報が文字情報である場合、対話制御部４２１は、当該音声認識処理を省略する。 The dialogue control unit 421 extracts the search information for searching the target location based on the input information. The target location is the location where the description content is posted in the printed matter on which the description content is posted, which is the subject of the question in the question from the user. When the input information is voice information, the dialogue control unit 421 converts the input information into character information by performing voice recognition processing on the input information. When the input information is character information, the dialogue control unit 421 omits the voice recognition process.

対話制御部４２１は、変換した文字情報から、検索の文字列となり得るキーワードを抽出する。対話制御部４２１は、例えば、文字情報に示される質問文を形態素解析して名詞などの単語を抽出し、抽出した単語をキーワードとする。或いは、対話制御部４２１は、文字情報に示される質問文から抽出した、固有名詞や、場所、方向、日付などの特徴をキーワードとしてもよい。この場合、対話制御部４２１は、固有名詞等を自然言語解析（例えば、固有表現抽出）の手法を用いて抽出する。対話制御部４２１は、抽出したキーワードを示す情報を検索情報とする。 The dialogue control unit 421 extracts a keyword that can be a search character string from the converted character information. The dialogue control unit 421 extracts a word such as a noun by morphological analysis of a question sentence shown in character information, and uses the extracted word as a keyword. Alternatively, the dialogue control unit 421 may use features such as a proper noun, a place, a direction, and a date extracted from the interrogative sentence shown in the character information as keywords. In this case, the dialogue control unit 421 extracts proper nouns and the like by using a method of natural language analysis (for example, named entity extraction). The dialogue control unit 421 uses the information indicating the extracted keyword as the search information.

対話制御部４２１は、後述する判定部４２３により追加質問を行うと判定された場合、追加質問の質問文を作成する。対話制御部４２１が、追加質問の質問文を生成する方法については、後で詳しく説明する。 The dialogue control unit 421 creates a question sentence for the additional question when it is determined by the determination unit 423, which will be described later, to ask an additional question. The method by which the dialogue control unit 421 generates the interrogative text of the additional question will be described in detail later.

対話制御部４２１は、後述する特定部４２４により、ユーザからの質問の回答とする記載内容が特定された場合、回答文を作成する。回答文は回答を伝える会話文であり、例えば、特定した記載箇所が掲載されている箇所を示す文言である。対話制御部４２１は、特定部４２４によって特定された記載内容、及び質問文などを用いて回答文を作成する。対話制御部４２１は、例えば、「青い色の化粧品が掲載されているページはどこ？」との質問に対する回答文として、「青い色の化粧品は、雑誌ＭＭ春号の１３９ページの左上に掲載されています」などの文を作成する。 The dialogue control unit 421 creates an answer sentence when the description content to be the answer to the question from the user is specified by the specific unit 424 described later. The answer sentence is a conversational sentence that conveys the answer, and is, for example, a word that indicates a place where the specified description part is posted. The dialogue control unit 421 creates an answer sentence using the description content specified by the specific unit 424, a question sentence, and the like. The dialogue control unit 421 responded to the question, "Where is the page where the blue-colored cosmetics are published?", "The blue-colored cosmetics are published in the upper left of page 139 of the magazine MM Spring issue. Create a sentence such as "I am."

検索部４２２は、検索情報に基づいて、印刷物情報テーブル２３０を検索する。検索部４２２は、検索情報を、通信部４１を介して印刷物ＤＢサーバ２０に送信し、印刷物ＤＢサーバ２０の制御部２２にデータ（記載内容）検索を指示する。検索部４２２は、印刷物ＤＢサーバ２０による検索結果を、通信部４１を介して取得する。 The search unit 422 searches the printed matter information table 230 based on the search information. The search unit 422 transmits the search information to the printed matter DB server 20 via the communication unit 41, and instructs the control unit 22 of the printed matter DB server 20 to search the data (described content). The search unit 422 acquires the search result by the printed matter DB server 20 via the communication unit 41.

判定部４２３は、検索部４２２によって検索された検索結果に基づいて、ユーザからの質問に対し、システム側から追加の質問（追加質問）を行うか否かを判定する。判定部４２３は、例えば、検索部４２２によって検索された検索結果が、複数の記載内容が該当するものである場合、記載内容を１つに絞り込む（特定する）ために、追加質問を行うと判定する。 The determination unit 423 determines whether or not to ask an additional question (additional question) from the system side in response to the question from the user based on the search result searched by the search unit 422. The determination unit 423 determines that, for example, when the search result searched by the search unit 422 corresponds to a plurality of description contents, an additional question is asked in order to narrow down (specify) the description contents to one. do.

特定部４２４は、検索部４２２によって検索された検索結果に基づいて、ユーザからの質問に対する回答となる、記載内容を特定する。特定部４２４は、例えば、検索部４２２によって検索された検索結果が、１つの記載内容が該当するものである場合、その記載内容が、ユーザの質問に対する回答であると判定する。 The identification unit 424 specifies the description content that is the answer to the question from the user based on the search result searched by the search unit 422. For example, when the search result searched by the search unit 422 corresponds to one description content, the specific unit 424 determines that the description content is an answer to the user's question.

出力部４２５は、対話制御部４２１によって生成された回答文、及び追加質問の質問文を示す出力情報を、通信部４１を介して端末装置１０に出力する。出力情報は、端末装置１０に通知される、ユーザからの質問に対する応答（回答又は追加質問）を音声にて行うための情報である。例えば、端末装置１０が音声情報を受信して、音声を出力する仕様である場合、出力情報は応答する文言（回答文、又は追加質問の質問文）を音声に変換した情報である。一方、端末装置１０が、文字情報を受信し、受信した文字情報を音声に変換し、変換した音声を出力する仕様である場合、出力情報は応答する文言（回答文、又は追加質問の質問文）の文字情報である。 The output unit 425 outputs the answer sentence generated by the dialogue control unit 421 and the output information indicating the question sentence of the additional question to the terminal device 10 via the communication unit 41. The output information is information for giving a voice response (answer or additional question) to a question from the user, which is notified to the terminal device 10. For example, when the terminal device 10 is designed to receive voice information and output voice, the output information is information obtained by converting the response text (answer text or question text of an additional question) into voice. On the other hand, when the terminal device 10 has a specification of receiving character information, converting the received character information into voice, and outputting the converted voice, the output information is a response wording (answer sentence or question sentence of an additional question). ) Character information.

ここで、対話制御部４２１が、追加質問を示す出力情報を生成する方法について、説明する。ここでは、追加質問の典型が、「印刷物を特定するための追加質問」、「ページを特定するための追加質問」、「ページ内の掲載箇所を特定するための追加質問」、の３つの質問である場合を例に説明する。しかしながら、追加質問の典型は任意であってよく、何れの典型であっても以下で説明する方法を適用することが可能である。 Here, a method in which the dialogue control unit 421 generates output information indicating an additional question will be described. Here, three typical additional questions are "additional question to identify the printed matter", "additional question to identify the page", and "additional question to identify the place to be posted on the page". This case will be described as an example. However, the typical of the additional question may be arbitrary, and the method described below can be applied to any of the typical.

対話制御部４２１は、検索部４２２によって検索された記載内容を、追加質問の典型に応じて分類する。具体的に、対話制御部４２１は、記載内容の属性情報に基づいて、同一の印刷物に掲載されている記載内容ごとに分類する。対話制御部４２１は、例えば、検索された記載内容が８つあった場合、印刷物Ａに掲載されているものが２つ、印刷物Ｂに掲載されているものが５つ、印刷物Ｃに掲載されているものが１つなどというように、同一の印刷物に掲載された記載内容ごとに分類する。 The dialogue control unit 421 classifies the description content searched by the search unit 422 according to the typical example of the additional question. Specifically, the dialogue control unit 421 classifies each description content published in the same printed matter based on the attribute information of the description content. In the dialogue control unit 421, for example, when there are eight searched contents, two are posted on the printed matter A, five are posted on the printed matter B, and five are posted on the printed matter C. Classify according to the description content posted on the same printed matter, such as one item.

対話制御部４２１は、例えば、検索された記載内容が８つあり、８つ全ての記載内容が同一の印刷物に掲載されているものである場合、記載内容の属性情報に基づいて、同一のページに掲載されている記載内容ごとに分類する。対話制御部４２１は、例えば、検索された記載内容が８つあり、全て印刷物Ａに掲載されており、Ｄページに掲載されているものが２つ、Ｅページに掲載されているものが５つ、Ｆページに掲載されているものが１つなどというように、同一のページに掲載された記載内容ごとに分類する。 For example, when the dialogue control unit 421 has eight searched description contents and all eight description contents are published in the same printed matter, the same page is based on the attribute information of the description contents. Classify according to the contents of the description in. The dialogue control unit 421 has, for example, eight searched contents, all of which are posted on the printed matter A, two of which are posted on the D page, and five of which are posted on the E page. , One item is posted on the F page, and so on.

対話制御部４２１は、検索部４２２によって検索された記載内容を分類した結果を、対話シナリオＤＢサーバ３０送信し、対話シナリオＤＢサーバ３０の制御部３２にデータ（追加質問の典型）検索を指示する。対話制御部４２１は、対話シナリオＤＢサーバ３０による検索結果を、通信部４１を介して取得する。 The dialogue control unit 421 transmits the result of classifying the description contents searched by the search unit 422 to the dialogue scenario DB server 30, and instructs the control unit 32 of the dialogue scenario DB server 30 to search for data (typical of additional questions). .. The dialogue control unit 421 acquires the search result by the dialogue scenario DB server 30 via the communication unit 41.

対話制御部４２１は、取得した追加質問の典型と、検索結果、ユーザからの質問文などを用いて、追加質問の質問文を作成する。例えば、追加質問の典型が「印刷物を特定する追加質問」であり、検索結果が該当記載箇所８であり、ユーザからの質問文が「青い色の化粧品が掲載されているページはどこ？」である場合を考える。この場合、対話制御部４２１は、例えば、「青い色の化粧品が掲載されているページがある印刷物が複数あります。印刷物を特定できる情報を教えてください」、或いは、「青い色の化粧品が掲載されている印刷物の情報を教えてください」などの文を作成する。 The dialogue control unit 421 creates a question text of the additional question by using the typical acquired additional question, the search result, the question text from the user, and the like. For example, a typical example of an additional question is "an additional question that identifies a printed matter", the search result is the relevant entry 8, and the question from the user is "Where is the page where the blue cosmetics are posted?" Consider a case. In this case, the dialogue control unit 421 may say, for example, "There are multiple printed matter with pages containing blue-colored cosmetics. Please tell me the information that can identify the printed matter." Or "Blue-colored cosmetics are posted. Please tell me the information of the printed matter that you are using. "

図５は、実施形態に係る特定システム１が行う処理の流れを示すシーケンス図である。まず、ユーザはアプリを起動させ、記載内容に関する質問を発話する。これに伴い、端末装置１０は、音声を取得する（ステップＳ１０）。端末装置１０は、取得した音声情報に基づいた入力情報（音声情報そのもの、又は、音声を文字に変換した文字情報）を、サーバ装置４０に送信する。 FIG. 5 is a sequence diagram showing a flow of processing performed by the specific system 1 according to the embodiment. First, the user launches the app and asks a question about what is written. Along with this, the terminal device 10 acquires voice (step S10). The terminal device 10 transmits input information (voice information itself or character information obtained by converting voice into characters) based on the acquired voice information to the server device 40.

サーバ装置４０は、入力情報を受信し、受信した入力情報に基づき、検索情報を抽出し（ステップＳ１１）、抽出した情報を印刷物ＤＢサーバ２０に通知する（ステップＳ１２）。これにより、サーバ装置４０は、印刷物ＤＢサーバ２０に、印刷物ＤＢ２３を検索させる。サーバ装置４０は、印刷物ＤＢサーバ２０から検索結果を取得する。 The server device 40 receives the input information, extracts the search information based on the received input information (step S11), and notifies the printed matter DB server 20 of the extracted information (step S12). As a result, the server device 40 causes the printed matter DB server 20 to search the printed matter DB 23. The server device 40 acquires the search result from the printed matter DB server 20.

サーバ装置４０は、検索結果を取得し、追加質問を行うか否かを判定する（ステップＳ１３）。サーバ装置４０は、検索した結果、該当する記載内容が複数ある場合、追加質問を行うと判定する。一方、サーバ装置４０は、検索した結果、該当する記載内容が１つであった場合、追加質問をしないと判定する。 The server device 40 acquires the search result and determines whether or not to ask an additional question (step S13). As a result of the search, the server device 40 determines that an additional question is asked when there are a plurality of applicable description contents. On the other hand, the server device 40 determines that the additional question is not asked when the corresponding description content is one as a result of the search.

サーバ装置４０は、追加質問をすると判定した場合、ステップＳ１００に示す各処理（ステップＳ１４〜Ｓ１７）を行う。一方、サーバ装置４０は、追加質問をしないと判定した場合、ステップＳ１８〜Ｓ２０に示す各処理を行う。 When the server device 40 determines that an additional question is to be asked, the server device 40 performs each process (steps S14 to S17) shown in step S100. On the other hand, when it is determined that the server device 40 does not ask an additional question, each process shown in steps S18 to S20 is performed.

サーバ装置４０は、追加質問をすると判定した場合、検索結果を分類する（ステップＳ１４）。サーバ装置４０は、検索の結果、該当した複数の記載内容が、同一の印刷物に掲載されているか否か、同一のページに掲載されているか否かを判定することにより検索結果を分類する。サーバ装置４０は、分類結果を対話シナリオＤＢサーバ３０に通知し、対話シナリオＤＢサーバ３０から、分類結果に応じた追加質問文の典型を取得する。 When the server device 40 determines that an additional question is to be asked, the server device 40 classifies the search results (step S14). As a result of the search, the server device 40 classifies the search results by determining whether or not the corresponding plurality of described contents are posted on the same printed matter or on the same page. The server device 40 notifies the dialogue scenario DB server 30 of the classification result, and acquires a typical additional question sentence according to the classification result from the dialogue scenario DB server 30.

サーバ装置４０は、追加質問の質問文を作成する（ステップＳ１５）。サーバ装置４０は、例えば、対話シナリオＤＢサーバ３０から取得した質問文の典型、ステップ１４で行った分類の結果、及びステップＳ１１で受信した入力情報が示す質問文などを用いて、追加質問の質問文を作成する。サーバ装置４０は、作成した質問文に対応する出力情報（質問文の文字情報、又は、質問文を音声に変換した音声情報）を、端末装置１０に送信する（ステップＳ１６）。 The server device 40 creates a question text of the additional question (step S15). The server device 40 asks an additional question by using, for example, a typical question sentence acquired from the dialogue scenario DB server 30, the result of the classification performed in step 14, and the question sentence indicated by the input information received in step S11. Create a statement. The server device 40 transmits output information (text information of the question text or voice information obtained by converting the question text into voice) corresponding to the created question text to the terminal device 10 (step S16).

端末装置１０は、出力情報を受信し、受信した出力情報に基づいて、追加質問の質問文を音声で出力させる（ステップＳ１７）。端末装置１０は、出力情報として質問文の文字情報を受信した場合、文字情報を音声に変換して出力する。一方、端末装置１０は、出力情報として質問文の音声情報を受信した場合、音声情報をそのまま出力する。端末装置１０から出力された追加質問の質問文を聞いたユーザは、追加質問に対する回答を発話する。端末装置１０は、ステップＳ１０に戻る。 The terminal device 10 receives the output information and outputs the question text of the additional question by voice based on the received output information (step S17). When the terminal device 10 receives the character information of the question sentence as the output information, the terminal device 10 converts the character information into voice and outputs the character information. On the other hand, when the terminal device 10 receives the voice information of the question sentence as the output information, the terminal device 10 outputs the voice information as it is. The user who hears the question text of the additional question output from the terminal device 10 utters the answer to the additional question. The terminal device 10 returns to step S10.

一方、ステップＳ１３にて追加質問をしないと判定した場合、サーバ装置４０は、回答文を生成する（ステップＳ１８）。サーバ装置４０は、例えば、ステップＳ１２で取得した検索の結果、及びステップＳ１１で受信した入力情報が示す質問文などを用いて、回答文を作成する。サーバ装置４０は、作成した回答に対応する出力情報（回答文の文字情報、又は、回答文を音声に変換した音声情報）を、端末装置１０に送信する（ステップＳ１９）。 On the other hand, if it is determined in step S13 that the additional question is not asked, the server device 40 generates an answer sentence (step S18). The server device 40 creates an answer sentence by using, for example, the search result acquired in step S12 and the question sentence indicated by the input information received in step S11. The server device 40 transmits the output information (character information of the answer sentence or voice information obtained by converting the answer sentence into voice) corresponding to the created answer to the terminal device 10 (step S19).

端末装置１０は、出力情報を受信し、受信した出力情報に基づいて、回答文を音声で出力させる（ステップＳ２０）。端末装置１０は、出力情報として回答文の文字情報を受信した場合、文字情報を音声に変換して出力する。一方、端末装置１０は、出力情報として回答文の音声情報を受信した場合、音声情報をそのまま出力する。 The terminal device 10 receives the output information and outputs the answer sentence by voice based on the received output information (step S20). When the terminal device 10 receives the character information of the answer sentence as the output information, the terminal device 10 converts the character information into voice and outputs the character information. On the other hand, when the terminal device 10 receives the voice information of the answer sentence as the output information, the terminal device 10 outputs the voice information as it is.

図６は、実施形態に係る特定システム１による端末装置１０の表示例を示す図である。図６の例では、端末装置１０の表示例と共に、ユーザＵが、印刷物Ｂの特定のページ（吹き出しに記載された、青い化粧品が掲載されたページ）を思い出している様子が模式的に示されている。 FIG. 6 is a diagram showing a display example of the terminal device 10 by the specific system 1 according to the embodiment. In the example of FIG. 6, it is schematically shown that the user U remembers a specific page of the printed matter B (the page on which the blue cosmetics are posted, which is described in the balloon) together with the display example of the terminal device 10. ing.

ユーザＵは、青い化粧品が掲載されたページの詳細を確認したいと思い、アプリを起動させて、端末装置１０のマイクに向かって「青い色の化粧品って何ページに掲載されていますか」と質問を行う。この発話が文字に変換され、端末装置１０の表示画面に表示される。サーバ装置４０は、質問に基づく検索を行った結果、記載内容を特定するために追加質問を行う。追加質問は、まずは印刷物Ｂを特定しようとするもので、「対象の印刷物が特定できる情報を教えてください。」との質問である。この質問は、端末装置１０のスピーカから音声出力されるとともに、端末装置１０の表示画面に表示される。ユーザは、追加質問を聞いて、口頭で回答する。 User U wants to check the details of the page where the blue cosmetics are posted, so he starts the application and asks the microphone of the terminal device 10 "How many pages are the blue cosmetics posted?" Ask a question. This utterance is converted into characters and displayed on the display screen of the terminal device 10. As a result of performing a search based on the question, the server device 40 asks an additional question in order to specify the description content. The additional question is to first identify the printed matter B, and is a question "Please tell me the information that can identify the target printed matter." This question is output as voice from the speaker of the terminal device 10 and displayed on the display screen of the terminal device 10. The user listens to additional questions and answers verbally.

ユーザから追加質問に対する回答として「○○カタログ化粧品特集」との発話があり、その回答に基づいて、サーバ装置４０は、再度の検索を行い、ページを特定するための二つ目の追加質問を行う。二つ目の追加質問は、「（印刷物を）特定できました。「○○カタログムック春号化粧品大特集」ですね。対象（青い化粧品）の周囲に掲載されている情報を教えてください」というものである。このように、印刷物の名称が、正確なものでない場合であっても、印刷物Ｂを特定するようにしてよい。例えば、印刷物ＤＢサーバ２０は、検索に用いた文字列と類似する名称の印刷物であって、対象が掲載された対象物が印刷物情報テーブル２３０に登録されていた場合、その印刷物情報テーブル２３０を検索結果として抽出する。サーバ装置４０は、検索結果に基づいて、類似する名称の印刷物に対象が掲載され、その他の印刷物に対象が掲載されていない場合には、その類似する名称の印刷物を、ユーザが意図する対象が掲載された印刷物と特定する。 As an answer to the additional question from the user, there is an utterance "○○ Catalog Cosmetics Special Feature", and based on the answer, the server device 40 searches again and asks a second additional question to identify the page. conduct. The second additional question is, "I was able to identify (printed matter)." ○○ Catalog Mook Spring Issue Cosmetics Special Feature ". Please tell me the information posted around the subject (blue cosmetics). " In this way, even if the name of the printed matter is not accurate, the printed matter B may be specified. For example, the printed matter DB server 20 searches the printed matter information table 230 when the printed matter having a name similar to the character string used for the search is registered in the printed matter information table 230. Extract as a result. In the server device 40, based on the search result, when the target is posted on the printed matter having a similar name and the target is not posted on the other printed matter, the target intended by the user is the printed matter having the similar name. Identify the printed matter as it was posted.

ユーザから二つ目の追加質問に対する回答として「右側にカレンダーが掲載されていた」との発話があり、その回答に基づいて、サーバ装置４０は、再度の検索を行い、対象が掲載され、尚且つ、ページの中心部分にカレンダーが掲載されている記載内容を検索した結果、１つの記載内容のみが該当した場合にページを特定する。サーバ装置４０は、特定した記載内容に基づいて、回答を行う。ここでの回答は、「１３９ページです」というものである。 As an answer to the second additional question from the user, there was an utterance that "the calendar was posted on the right side", and based on the answer, the server device 40 searched again, the target was posted, and moreover. One, as a result of searching the description contents in which the calendar is posted in the center part of the page, the page is specified when only one description content is applicable. The server device 40 gives an answer based on the specified description. The answer here is "page 139".

以上説明したように、実施形態に係るサーバ装置４０は、取得部４２０と、対話制御部４２１と、特定部４２４と、出力部４２５とを備える。取得部４２０は、ユーザからの質問に対応する入力情報を取得する。対話制御部４２１は、取得部４２０によって取得された入力情報に基づいて、対象箇所を検索するための検索情報を抽出する。対象箇所は、印刷物に記載された記載内容に関する質問の対象となる箇所である。検索部４２２は、対話制御部４２１によって抽出された検索情報に基づいて、印刷物情報テーブル２３０を検索する。印刷物情報テーブル２３０は、記載内容ごとに当該記載内容の属性情報が対応付けられたテーブルである。特定部４２４は、検索部４２２によって検索された検索結果に基づいて、対象箇所を特定する。出力部４２５は、特定部４２４によって特定された対象箇所を示す情報を、ユーザからの質問の回答を示す出力情報として出力する。対話制御部４２１は、検索部４２２によって検索された検索結果が、所定条件を充足する場合、対象箇所を特定するための追加質問を示す情報を生成する。出力部４２５は、対話制御部４２１によって生成された追加質問を示す情報を、ユーザからの質問に対する質問を示す出力情報として出力する。 As described above, the server device 40 according to the embodiment includes an acquisition unit 420, a dialogue control unit 421, a specific unit 424, and an output unit 425. The acquisition unit 420 acquires the input information corresponding to the question from the user. The dialogue control unit 421 extracts the search information for searching the target location based on the input information acquired by the acquisition unit 420. The target location is the subject of a question regarding the content of the printed matter. The search unit 422 searches the printed matter information table 230 based on the search information extracted by the dialogue control unit 421. The printed matter information table 230 is a table in which the attribute information of the description content is associated with each description content. The identification unit 424 identifies the target location based on the search result searched by the search unit 422. The output unit 425 outputs information indicating the target location specified by the specific unit 424 as output information indicating the answer to the question from the user. When the search result searched by the search unit 422 satisfies the predetermined condition, the dialogue control unit 421 generates information indicating an additional question for identifying the target location. The output unit 425 outputs the information indicating the additional question generated by the dialogue control unit 421 as the output information indicating the question for the question from the user.

これにより、実施形態に係るサーバ装置４０は、ユーザが意図する記載内容が特定できない場合に追加質問を行うことができ、対話形式にて、記載内容が特定し、ユーザからの質問に回答することが可能である。また、サーバ装置４０は、ユーザが口頭で話した質問に対して、追加質問や回答を、音声で出力することができる。このため、ユーザに手間をかけさせることなく、また、印刷物がユーザの手元にない場合であっても、ユーザが意図する印刷物や印刷物の記載内容を特定することができる。 As a result, the server device 40 according to the embodiment can ask an additional question when the description content intended by the user cannot be specified, and the description content is specified interactively and the question from the user is answered. Is possible. In addition, the server device 40 can output additional questions and answers by voice in response to the questions spoken by the user. Therefore, it is possible to specify the printed matter intended by the user and the description content of the printed matter without causing the user to take time and effort, and even when the printed matter is not in the user's hand.

上述した実施形態における端末装置１０、及び特定システム１の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 The terminal device 10 and the specific system 1 in the above-described embodiment may be realized by a computer in whole or in part. In that case, the program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, a "computer-readable recording medium" is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client in that case. Further, the above program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized by using a programmable logic device such as FPGA.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs and the like within a range that does not deviate from the gist of the present invention.

１…特定システム
１０…端末装置
１２…制御部
２０…印刷物ＤＢサーバ
２３…印刷物ＤＢ
２３０…印刷物情報テーブル
４０…サーバ装置（特定装置）
４２…制御部
４２０…取得部
４２１…対話制御部
４２２…検索部
４２３…判定部
４２４…特定部
４２５…出力部 1 ... Specific system 10 ... Terminal device 12 ... Control unit 20 ... Printed matter DB server 23 ... Printed matter DB
230 ... Printed matter information table 40 ... Server device (specific device)
42 ... Control unit 420 ... Acquisition unit 421 ... Dialogue control unit 422 ... Search unit 423 ... Judgment unit 424 ... Specific unit 425 ... Output unit

Claims

It is a specific device that identifies the target part to be asked in the question about the content described in the printed matter, which is uttered by the user.
An acquisition unit that acquires input information corresponding to the question, and
A dialogue control unit that extracts search information for searching the target location based on the input information acquired by the acquisition unit.
Based on the search information extracted by the dialogue control unit, a search unit that searches a printed matter information table to which the attribute information of the description content is associated with each description content, and a search unit.
Based on the search results searched by the search unit, the specific unit that identifies the target location and the specific unit
An output unit that outputs information indicating the target location specified by the specific unit as output information for indicating the answer to the question by voice, and an output unit.
With
When the search result searched by the search unit satisfies a predetermined condition, the dialogue control unit generates information indicating an additional question for identifying the target location.
The output unit outputs information indicating the additional question generated by the dialogue control unit as output information for indicating by voice.
A specific device characterized by that.

When there are a plurality of search results searched by the search unit, the dialogue control unit generates information indicating the additional question.
The specific device according to claim 1.

The dialogue control unit generates information indicating the additional question that identifies the printed matter when the search result searched by the search unit is published in each of a plurality of printed matter.
The specific device according to claim 2.

The dialogue control unit identifies a page when the search result searched by the search unit is published in one printed matter and is posted on each of a plurality of pages. Generate information to indicate additional questions,
The specific device according to claim 2 or 3.

The acquisition unit acquires the voice information of the question uttered by the user as input information, and obtains the voice information.
The output unit outputs voice information obtained by converting a question sentence indicating the additional question generated by the dialogue control unit or a response sentence indicating the target location specified by the specific unit into voice as output information. ,
The specific device according to any one of claims 1 to 4.

In a specific device that identifies the target part to be asked in a question about the content described in printed matter, which is uttered by the user.
An acquisition unit that acquires input information corresponding to the question, and
A dialogue control unit that extracts search information for searching the target location based on the input information acquired by the acquisition unit.
Based on the search information extracted by the dialogue control unit, a search unit that searches a printed matter information table to which the attribute information of the description content is associated with each description content, and a search unit.
Based on the search results searched by the search unit, the specific unit that identifies the target location and the specific unit
An output unit that outputs information indicating the target location specified by the specific unit as output information for indicating the answer to the question by voice, and an output unit.
It is a method of specifying a specific device provided with
When the search result searched by the search unit satisfies a predetermined condition, the dialogue control unit generates information indicating an additional question for identifying the target location.
The output unit outputs information indicating the additional question generated by the dialogue control unit as output information for indicating by voice.
A specific method characterized by that.

In a specific device that identifies the target part to be asked in a question about the content described in printed matter, which is uttered by the user.
An acquisition unit that acquires input information corresponding to the question, and
A dialogue control unit that extracts search information for searching the target location based on the input information acquired by the acquisition unit.
Based on the search information extracted by the dialogue control unit, a search unit that searches a printed matter information table to which the attribute information of the description content is associated with each description content, and a search unit.
Based on the search results searched by the search unit, the specific unit that identifies the target location and the specific unit
An output unit that outputs information indicating the target location specified by the specific unit as output information for indicating the answer to the question by voice, and an output unit.
A computer with a specific device equipped with
A generation means for generating information indicating an additional question for identifying the target location when the search result searched by the search unit satisfies a predetermined condition.
An output means for outputting information indicating the additional question generated by the dialogue control unit as output information for indicating the additional question by voice.
A program to function as.

It is a specific device that identifies a target location to be asked in a question about the content described in a printed matter uttered by a user, and is for searching the target location based on the input information corresponding to the question. A data structure of a printed matter information table used in a specific device provided with a dialogue control unit for extracting search information.
Includes information associated with the attribute information of the description content for each description content.
When the search result using the printed matter information table satisfies a predetermined condition, the dialogue control unit is made to generate information indicating an additional question for identifying the target location.
data structure.

It is a terminal device connected to a specific device that identifies the target location to be asked in a question about the content described in printed matter, which is uttered by the user.
An input / output unit that acquires voice corresponding to the question and outputs the answer to the question from the specific device by voice.
A computer of a terminal device including a communication unit that transmits input information corresponding to voice acquired by the input / output unit to the specific device and receives output information indicating an answer to the question from the specific device.
A receiving means for receiving output information indicating an additional question for identifying the target location from the specific device,
An output means that outputs the additional question by voice,
An acquisition means for acquiring a voice corresponding to the user's answer to the additional question,
A transmission means that transmits input information corresponding to the voice acquired by the acquisition means to the specific device.
A program to function as.