JP2017182646A - Information processing device, program and information processing method - Google Patents

Information processing device, program and information processing method Download PDF

Info

Publication number
JP2017182646A
JP2017182646A JP2016072112A JP2016072112A JP2017182646A JP 2017182646 A JP2017182646 A JP 2017182646A JP 2016072112 A JP2016072112 A JP 2016072112A JP 2016072112 A JP2016072112 A JP 2016072112A JP 2017182646 A JP2017182646 A JP 2017182646A
Authority
JP
Japan
Prior art keywords
information
question
control unit
question information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016072112A
Other languages
Japanese (ja)
Inventor
錬 松山
Ren Matsuyama
錬 松山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2016072112A priority Critical patent/JP2017182646A/en
Publication of JP2017182646A publication Critical patent/JP2017182646A/en
Priority to JP2020120877A priority patent/JP6911983B2/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an information processing device or the like capable of giving an opportunity for knowledge learning by a question format about an object specified from image data.SOLUTION: An information processing device 1 includes: an acquisition unit for acquiring image data including an object; a specification unit for referring to a storage unit storing object data obtained by associating a plurality of objects with names of the objects or retrieving data on a network on the basis of the image data to specify the object from the image data acquired by the acquisition unit; a generation unit for generating question information about the object specified by the specification unit with reference to the storage unit storing question data for generating question information about the object; and an output unit for outputting the question information generated by the generation unit.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。   The present invention relates to an information processing apparatus, a program, and an information processing method.

情報通信技術を用いて、ユーザに学習機会を提供する技術がある。例えば特許文献１では、スマートグラスを用いた外国語学習システム等が開示されている。特許文献１によれば、スマートグラスで認識した対象物に対応する外国語単語を検索し、スマートグラスにおいて当該外国語単語のテキスト表示及び音声出力を行う。   There are technologies that provide learning opportunities to users using information and communication technologies. For example, Patent Document 1 discloses a foreign language learning system using a smart glass. According to Patent Document 1, a foreign language word corresponding to an object recognized by a smart glass is searched, and text display and voice output of the foreign language word are performed in the smart glass.

特開２０１５−４１１０１号公報JP2015-41101A

しかしながら、特許文献１では対象物の外国語単語を単調にテキスト表示及び音声出力するに止まり、ユーザの学習意欲が減退する虞がある。   However, in Patent Document 1, there is a possibility that the foreign language word of the target object is monotonously displayed in text and output in voice, and the user's willingness to learn may be reduced.

本発明は斯かる事情によりなされたものであって、その目的とするところは、画像データから特定された対象物に関して、質問形式で知識学習の機会を与えることができる情報処理装置等を提供することにある。   The present invention has been made under such circumstances, and an object of the present invention is to provide an information processing apparatus and the like that can give a knowledge learning opportunity in a question format with respect to an object specified from image data. There is.

本発明に係る情報処理装置は、対象物を含む画像データを取得する取得部と、複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した記憶部を参照し、又は前記画像データに基づきネットワーク上のデータを検索して、前記取得部が取得した画像データから前記対象物を特定する特定部と、前記対象物に関する質問情報を生成するための質問データを記憶した前記記憶部を参照し、前記特定部が特定した前記対象物に関する前記質問情報を生成する生成部と、該生成部が生成した前記質問情報を出力する出力部とを備えることを特徴とする。   An information processing apparatus according to the present invention refers to an acquisition unit that acquires image data including an object and a storage unit that stores object data in which a plurality of objects and names of the objects are associated with each other, or The memory storing the identification data for searching the data on the network based on the image data, identifying the object from the image data acquired by the acquisition unit, and generating the question information about the object A generation unit that generates the question information about the object specified by the specifying unit, and an output unit that outputs the question information generated by the generation unit.

本発明に係る情報処理装置は、前記対象物に付随する付随情報を、前記記憶部に記憶されているデータから、又はネットワーク上のデータから検索する検索部を備え、前記生成部は、前記付随情報に基づいて前記質問情報を生成することを特徴とする。   The information processing apparatus according to the present invention includes a search unit that searches accompanying data associated with the object from data stored in the storage unit or data on a network, and the generation unit includes the accompanying unit. The question information is generated based on the information.

本発明に係る情報処理装置は、前記記憶部は、前記生成部が生成した前記質問情報を前記対象物と対応付けて記憶することを特徴とする。   The information processing apparatus according to the present invention is characterized in that the storage unit stores the question information generated by the generation unit in association with the object.

本発明に係る情報処理装置は、前記出力部は、前記対象物に関連する関連情報、又は該関連情報のリンク先を示すリンク情報を出力することを特徴とする。   The information processing apparatus according to the present invention is characterized in that the output unit outputs related information related to the object or link information indicating a link destination of the related information.

本発明に係る情報処理装置は、前記質問データは、前記質問情報のテンプレートを含み、前記生成部は、前記特定部による前記対象物の特定結果に応じて、前記テンプレートに基づき前記質問情報を生成することを特徴とする。   In the information processing apparatus according to the present invention, the question data includes a template of the question information, and the generation unit generates the question information based on the template according to a result of specifying the object by the specifying unit. It is characterized by doing.

本発明に係る情報処理装置は、前記テンプレートは、ユーザの学習対象である学習言語に応じたテンプレートであり、前記生成部は、前記テンプレートに基づき、前記学習言語用の前記質問情報を生成することを特徴とする。   In the information processing apparatus according to the present invention, the template is a template corresponding to a learning language that is a learning target of a user, and the generation unit generates the question information for the learning language based on the template. It is characterized by.

本発明に係るプログラムは、対象物を含む画像データを取得し、複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した記憶部を参照し、又は前記画像データに基づきネットワーク上のデータを検索して、取得した画像データから前記対象物を特定し、前記対象物に関する質問情報を生成するための質問データを記憶した前記記憶部を参照し、特定した前記対象物に関する前記質問情報を生成し、生成した前記質問情報を出力する処理をコンピュータに実行させることを特徴とする。   The program according to the present invention acquires image data including an object, refers to a storage unit that stores object data in which a plurality of objects and names of the objects are associated, or a network based on the image data Search the above data, specify the object from the acquired image data, refer to the storage unit storing the question data for generating question information about the object, and A process for generating question information and outputting the generated question information is executed by a computer.

本発明に係る情報処理方法は、対象物を含む画像データを取得し、複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した記憶部を参照し、又は前記画像データに基づきネットワーク上のデータを検索して、取得した画像データから前記対象物を特定し、前記対象物に関する質問情報を生成するための質問データを記憶した前記記憶部を参照し、特定した前記対象物に関する前記質問情報を生成し、生成した前記質問情報を出力する処理をコンピュータに実行させることを特徴とする。   An information processing method according to the present invention acquires image data including an object, refers to a storage unit that stores object data in which a plurality of objects and names of the objects are associated, or the image data The data on the network is searched, the object is identified from the acquired image data, and the identified object is stored with reference to the storage unit storing question data for generating question information about the object. Generating the question information on the computer, and causing the computer to execute a process of outputting the generated question information.

本発明によれば、画像データから特定された対象物に関して、質問形式で知識学習の機会を与えることができる。   ADVANTAGE OF THE INVENTION According to this invention, the opportunity of knowledge learning can be given in the question format regarding the target object specified from image data.

情報処理システムの構成例を示すブロック図である。It is a block diagram which shows the structural example of an information processing system. 特定テーブルのレコードレイアウトの一例を示す説明図である。It is explanatory drawing which shows an example of the record layout of a specific table. 生成テーブルのレコードレイアウトの一例を示す説明図である。It is explanatory drawing which shows an example of the record layout of a production | generation table. ユーザＤＢのレコードレイアウトの一例を示す説明図である。It is explanatory drawing which shows an example of the record layout of user DB. 辞典ＤＢのレコードレイアウトの一例を示す説明図である。It is explanatory drawing which shows an example of the record layout of dictionary DB. 質問ＤＢのレコードレイアウトの一例を示す説明図である。It is explanatory drawing which shows an example of the record layout of question DB. 質問情報の生成処理の概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the production | generation process of question information. 解答画面の一例を示す説明図である。It is explanatory drawing which shows an example of an answer screen. 質問情報の他例を示す説明図である。It is explanatory drawing which shows the other example of question information. 質問情報の他例を示す説明図である。It is explanatory drawing which shows the other example of question information. サーバが実行する処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence which a server performs. 実施の形態２に係る情報処理システムの構成例を示すブロック図である。3 is a block diagram illustrating a configuration example of an information processing system according to Embodiment 2. FIG. 実施の形態２に係る第２生成テーブルのレコードレイアウトの一例を示す説明図である。10 is an explanatory diagram illustrating an example of a record layout of a second generation table according to Embodiment 2. FIG. 実施の形態２に係る英和辞典ＤＢのレコードレイアウトの一例を示す説明図である。It is explanatory drawing which shows an example of the record layout of English-Japanese dictionary DB which concerns on Embodiment 2. FIG. 実施の形態２に係る質問情報の生成処理の概要を説明するための説明図である。12 is an explanatory diagram for explaining an overview of a process for generating question information according to Embodiment 2. FIG. 実施の形態２に係る解答画面の一例を示す説明図である。10 is an explanatory diagram illustrating an example of an answer screen according to Embodiment 2. FIG. 実施の形態２に係るサーバが実行する処理手順の一例を示す説明図である。10 is an explanatory diagram illustrating an example of a processing procedure executed by a server according to Embodiment 2. FIG. 実施の形態３に係る解答画面の一例を示す説明図である。12 is an explanatory diagram illustrating an example of an answer screen according to Embodiment 3. FIG. 実施の形態３に係る質問情報の出力処理の概要を説明するための説明図である。10 is an explanatory diagram for explaining an overview of a process for outputting question information according to Embodiment 3. FIG. 実施の形態３に係るサーバが実行する処理手順の一例を示す説明図である。10 is an explanatory diagram illustrating an example of a processing procedure executed by a server according to Embodiment 3. FIG. 上述した形態のサーバの動作を示す機能ブロック図である。It is a functional block diagram which shows operation | movement of the server of the form mentioned above.

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、情報処理システムの構成例を示すブロック図である。情報処理システムは、ネットワークＮを介して相互に通信接続された情報処理装置１、情報処理端末２、２、２…を含む。ネットワークＮはインターネット、ＬＡＮ（Local Area Network）等である。 Hereinafter, the present invention will be described in detail with reference to the drawings illustrating embodiments thereof.
(Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration example of an information processing system. The information processing system includes an information processing apparatus 1 and information processing terminals 2, 2, 2,... The network N is the Internet, a LAN (Local Area Network) or the like.

情報処理装置１は、種々の情報を記憶すると共に、ネットワークＮを介して情報の送受信を行う情報処理装置である。情報処理装置１は、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態において情報処理装置１はサーバコンピュータであるものとし、サーバ１と読み替える。サーバ１は、情報処理端末２から取得した画像データに含まれる対象物を特定し、当該対象物に関する質問情報を生成して情報処理端末２に出力する処理を実行する。   The information processing apparatus 1 is an information processing apparatus that stores various types of information and transmits and receives information via the network N. The information processing apparatus 1 is, for example, a server computer or a personal computer. In the present embodiment, the information processing apparatus 1 is assumed to be a server computer and is read as the server 1. The server 1 specifies a target object included in the image data acquired from the information processing terminal 2, generates question information related to the target object, and executes a process of outputting to the information processing terminal 2.

情報処理端末２は、各ユーザが所持している端末装置であり、例えばスマートフォン、タブレット端末、ウェアラブル端末（スマートグラスなど）、パーソナルコンピュータ等である。本実施の形態で情報処理端末２はスマートフォンであるものとし、以下では簡潔のため端末２と読み替える。端末２は対象物を含む画像データをサーバ１に送信すると共に、当該対象物に関する質問情報を出力し、ユーザによる解答を受け付ける処理を実行する。   The information processing terminal 2 is a terminal device possessed by each user, and is, for example, a smartphone, a tablet terminal, a wearable terminal (such as smart glass), or a personal computer. In the present embodiment, the information processing terminal 2 is assumed to be a smartphone, and will be read as the terminal 2 below for the sake of brevity. The terminal 2 transmits image data including the target object to the server 1, outputs question information regarding the target object, and executes a process of accepting an answer by the user.

サーバ１は、制御部１１、記憶部１２、通信部１３、大容量記憶装置１４を含む。
制御部１１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing Unit）等の演算処理装置を含む。制御部１１は、記憶部１２に記憶されたプログラムＰを読み出して実行することにより、サーバ１に係る種々の情報処理又は制御処理等を行う。 The server 1 includes a control unit 11, a storage unit 12, a communication unit 13, and a mass storage device 14.
The control unit 11 includes an arithmetic processing device such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit). The control unit 11 reads out and executes the program P stored in the storage unit 12 to perform various information processing or control processing related to the server 1.

記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含む。記憶部１２は、制御部１１が本実施の形態に係る処理を実行するために必要なプログラムＰ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。   The storage unit 12 includes memory elements such as a RAM (Random Access Memory) and a ROM (Read Only Memory). The storage unit 12 stores a program P or data necessary for the control unit 11 to execute the processing according to the present embodiment. The storage unit 12 temporarily stores data and the like necessary for the control unit 11 to execute arithmetic processing.

通信部１３は通信に関する処理を行うための処理回路等を含み、ネットワークＮを介して端末２等と情報の送受信を行う。   The communication unit 13 includes a processing circuit for performing processing related to communication, and transmits and receives information to and from the terminal 2 and the like via the network N.

大容量記憶装置１４は、例えばハードディスク等を含む大容量の記憶装置である。大容量記憶装置１４は、特定テーブル１４１、生成テーブル１４２、ユーザＤＢ１４３、辞典ＤＢ１４４、質問ＤＢ１４５等を記憶している。特定テーブル１４１は、画像データに含まれる対象物を特定するためのテーブルであり、複数の対象物と、該対象物の名称とを対応付けた対象物データを記憶している。生成テーブル１４２は、質問情報を生成するためのテーブルであり、質問情報を生成するためのテンプレートを含む質問データを記憶している。ユーザＤＢ１４３は、端末２の所有者である各ユーザの情報を記憶している。辞典ＤＢ１４４は、所定の語の意味、用法、内容等に係る情報を記憶している。質問ＤＢ１４５は、制御部１１が過去に生成した質問情報を履歴として記憶している。
なお、本実施の形態において記憶部１２及び大容量記憶装置１４は一体の記憶装置として構成されていてもよい。また、大容量記憶装置１４は複数の記憶装置により構成されていてもよい。また、大容量記憶装置１４はサーバ１に接続された外部記憶装置であってもよい。 The large-capacity storage device 14 is a large-capacity storage device including, for example, a hard disk. The large-capacity storage device 14 stores a specific table 141, a generation table 142, a user DB 143, a dictionary DB 144, a question DB 145, and the like. The identification table 141 is a table for identifying an object included in the image data, and stores object data in which a plurality of objects and names of the objects are associated with each other. The generation table 142 is a table for generating question information, and stores question data including a template for generating question information. The user DB 143 stores information on each user who is the owner of the terminal 2. The dictionary DB 144 stores information related to the meaning, usage, contents, and the like of a predetermined word. The question DB 145 stores question information generated in the past by the control unit 11 as a history.
In the present embodiment, the storage unit 12 and the mass storage device 14 may be configured as an integrated storage device. Further, the mass storage device 14 may be constituted by a plurality of storage devices. The mass storage device 14 may be an external storage device connected to the server 1.

なお、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、サーバ１に係る情報を表示する表示部、可搬型記憶媒体に記憶された情報を読み取る読取部等を含んでもよい。   In the present embodiment, the server 1 is not limited to the above configuration. For example, an input unit that receives an operation input, a display unit that displays information related to the server 1, a reading unit that reads information stored in a portable storage medium, and the like May be included.

端末２は、制御部２１、記憶部２２、通信部２３、表示部２４、入力部２５、音声出力部２６、音声入力部２７、撮像部２８を含む。
制御部２１はＣＰＵ又はＭＰＵ等の演算処理装置を含み、記憶部２２に記憶されたプログラムを読み出して実行することにより、端末２に係る種々の情報処理又は制御処理等を行う。
記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。
通信部２３はアンテナ及び通信処理回路等を含み、ネットワークＮを介してサーバ１等と情報の送受信を行う。 The terminal 2 includes a control unit 21, a storage unit 22, a communication unit 23, a display unit 24, an input unit 25, an audio output unit 26, an audio input unit 27, and an imaging unit 28.
The control unit 21 includes an arithmetic processing unit such as a CPU or MPU, and performs various information processing or control processing related to the terminal 2 by reading and executing a program stored in the storage unit 22.
The storage unit 22 includes memory elements such as a RAM and a ROM, and stores programs or data necessary for the control unit 21 to execute processing. The storage unit 22 temporarily stores data and the like necessary for the control unit 21 to execute arithmetic processing.
The communication unit 23 includes an antenna, a communication processing circuit, and the like, and transmits and receives information to and from the server 1 and the like via the network N.

表示部２４は液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の画面を有し、制御部２１から与えられた画像を表示する。
入力部２５は表示部２４に設けられたタッチパネル又は押下式のボタン等であり、ユーザによる操作入力を受け付ける。入力部２５は、ユーザによりなされた操作内容を制御部２１に通知する。
音声出力部２６は音声の出力を行うスピーカ等である。また、音声入力部２７は音声の入力を行うマイク等であり、ユーザの声等を集音する。
撮像部２８は、例えばＣＣＤ（Charge Coupled Device）カメラ等を含む、画像の撮像を行う。撮像された画像は、図示しない画像処理回路で処理された後、記憶部２２に記憶される。 The display unit 24 has a screen such as a liquid crystal display or an organic EL (Electro Luminescence) display, and displays an image given from the control unit 21.
The input unit 25 is a touch panel or a push button provided on the display unit 24 and receives an operation input by the user. The input unit 25 notifies the control unit 21 of the operation content performed by the user.
The audio output unit 26 is a speaker or the like that outputs audio. The voice input unit 27 is a microphone or the like for inputting voice, and collects a user's voice and the like.
The imaging unit 28 captures an image including, for example, a CCD (Charge Coupled Device) camera. The captured image is processed by an image processing circuit (not shown) and then stored in the storage unit 22.

図２は、特定テーブル１４１のレコードレイアウトの一例を示す説明図である。特定テーブル１４１は、分類列、対象物列、パターン列を記憶している。分類列は、画像データに含まれる対象物の分類を記憶している。対象物列は、分類と対応付けて、対象物の名称を記憶している。パターン列は、対象物と対応付けて、画像データから対象物を認識するためのパターンマッチング処理に使用する認識パターンのデータを記憶している。例えばパターン列は、画像に含まれる対象物の形状、模様、色彩等の特徴量に係るパターンのデータを記憶している。制御部１１は予め訓練データから対象物の特徴量を抽出する機械学習を行い、物体認識に係るモデルを構築する。制御部１１は、当該モデルに係る認識パターンのデータを特定テーブル１４１に記憶しておく。   FIG. 2 is an explanatory diagram showing an example of the record layout of the specific table 141. The specific table 141 stores a classification column, an object column, and a pattern column. The classification column stores the classification of the object included in the image data. The object column stores the name of the object in association with the classification. The pattern sequence stores recognition pattern data used in pattern matching processing for recognizing an object from image data in association with the object. For example, the pattern sequence stores pattern data relating to feature quantities such as the shape, pattern, and color of the object included in the image. The control unit 11 performs machine learning for extracting feature amounts of the target object from the training data in advance, and constructs a model related to object recognition. The control unit 11 stores recognition pattern data related to the model in the specific table 141.

図３は、生成テーブル１４２のレコードレイアウトの一例を示す説明図である。生成テーブル１４２は、分類列、キーワード列、数量列、形式列、構文列を含む。分類列は、画像データに含まれる対象物の分類を記憶している。キーワード列は、分類と対応付けて、付随情報からテキストを抽出する場合に必要なキーワードを記憶している。数量列は、分類と対応付けて、画像データに含まれる対象物の数量を記憶している。形式列は、分類及び数量と対応付けて、対象物に関する質問情報の出題形式を記憶している。構文列は、出題形式と対応付けて、出題形式の具体的な構文内容、すなわち構文のテンプレートを記憶している。   FIG. 3 is an explanatory diagram illustrating an example of the record layout of the generation table 142. The generation table 142 includes a classification column, a keyword column, a quantity column, a format column, and a syntax column. The classification column stores the classification of the object included in the image data. The keyword string stores keywords necessary for extracting text from the accompanying information in association with the classification. The quantity column stores the quantity of the object included in the image data in association with the classification. The format column stores the question information format of the question information related to the object in association with the classification and the quantity. The syntax string stores specific syntax contents of the question format, that is, a syntax template, in association with the question format.

図４は、ユーザＤＢ１４３のレコードレイアウトの一例を示す説明図である。ユーザＤＢ１４３は、ＩＤ列、氏名列、年齢列、性別列、スコア列を含む。ＩＤ列は、端末２のユーザを識別するためのＩＤを記憶している。氏名列、年齢列、及び性別列は、ＩＤと対応付けて、ユーザの氏名、年齢、及び性別を記憶している。スコア列は、ＩＤと対応付けて、後述する質問情報に対する解答の正解数を記憶している。なお、スコア列に記憶する記憶内容は、例えば解答の正解率であってもよい。   FIG. 4 is an explanatory diagram showing an example of a record layout of the user DB 143. As shown in FIG. The user DB 143 includes an ID column, a name column, an age column, a gender column, and a score column. The ID column stores an ID for identifying the user of the terminal 2. The name column, age column, and gender column store the name, age, and gender of the user in association with the ID. The score column stores the number of correct answers to question information described later in association with the ID. The stored content stored in the score string may be, for example, the correct answer rate.

図５は、辞典ＤＢ１４４のレコードレイアウトの一例を示す説明図である。辞典ＤＢ１４４は、単語列、分類列、説明列を含む。単語列は、所定の単語を記憶している。なお、単語列に記憶される単語は固有名詞だけでなく、代名詞等であってもよい。分類列は、単語と対応付けて、単語が示す対象物の分類を記憶している。説明列は、単語と対応付けて、単語が示す対象物に関する説明を記憶している。   FIG. 5 is an explanatory diagram showing an example of the record layout of the dictionary DB 144. The dictionary DB 144 includes a word string, a classification string, and an explanation string. The word string stores a predetermined word. The word stored in the word string may be not only a proper noun but also a pronoun. The classification column stores the classification of the object indicated by the word in association with the word. The explanation column stores the explanation about the object indicated by the word in association with the word.

図６は、質問ＤＢ１４５のレコードレイアウトの一例を示す説明図である。質問ＤＢ１４５は、単語列、分類列、質問ＩＤ列、質問文列、質問画像列、解答列、評価列、リンク列、ユーザ列、ユーザ解答列、正解率列を含む。単語列は、対象物を示す単語を記憶している。分類列は、単語と対応付けて、単語が示す対象物の分類を記憶している。質問ＩＤ列は、単語と対応付けて、各質問情報を識別するためのＩＤを記憶している。質問文列は、質問ＩＤと対応付けて、当該単語の付随情報から生成された質問情報に係る質問文を記憶している。質問画像列は、質問ＩＤと対応付けて、質問情報に係る画像を記憶している。解答列は、質問ＩＤと対応付けて、質問情報に係る解答内容を記憶している。なお、質問文、質問画像、解答等の質問情報は、一の単語に対して複数記憶してもよい。   FIG. 6 is an explanatory diagram showing an example of the record layout of the question DB 145. The question DB 145 includes a word string, a classification string, a question ID string, a question sentence string, a question image string, an answer string, an evaluation string, a link string, a user string, a user answer string, and a correct answer rate string. The word string stores a word indicating the object. The classification column stores the classification of the object indicated by the word in association with the word. The question ID string stores an ID for identifying each piece of question information in association with a word. The question sentence string stores a question sentence related to the question information generated from the accompanying information of the word in association with the question ID. The question image sequence stores an image related to the question information in association with the question ID. The answer string stores the answer contents related to the question information in association with the question ID. Note that a plurality of pieces of question information such as question sentences, question images, and answers may be stored for one word.

評価列は、質問ＩＤと対応付けて、質問情報に対するユーザからの評価数を記憶している。リンク列は、単語と対応付けて、単語が示す対象物に関連する関連情報の所在を示すリンク情報を記憶している。ユーザ列は、質問ＩＤと対応付けて、質問情報を出力済みの端末２に係るユーザのＩＤを記憶している。ユーザ解答列は、質問ＩＤ及びユーザＩＤと対応付けて、ユーザによる解答内容を記憶している。正解率列は、質問ＩＤと対応付けて、当該質問情報について解答を行ったユーザ全体の正解率を記憶している。サーバ１は、ユーザ解答列に記憶されている解答と解答列に記憶されている解答とに基づいて正誤を判断し、質問情報に解答したユーザ全体での正解率を正解率列に記憶する。   The evaluation column stores the number of evaluations from the user for the question information in association with the question ID. The link string stores link information indicating the location of related information related to the object indicated by the word in association with the word. The user column stores the ID of the user related to the terminal 2 whose question information has already been output in association with the question ID. The user answer string stores the answer contents by the user in association with the question ID and the user ID. The correct answer rate column stores the correct answer rate of the entire user who answered the question information in association with the question ID. The server 1 judges correctness based on the answer stored in the user answer string and the answer stored in the answer string, and stores the correct answer rate for the entire user who answered the question information in the correct answer rate string.

図７は、質問情報の生成処理の概要を示す説明図である。以下では情報処理システムが実行する処理の概要について説明する。なお、以下では説明の便宜のため、サーバ１の処理主体は制御部１１とし、端末２の処理主体は制御部２１とする。
サーバ１の制御部１１は、端末２から画像データを取得する。画像データは例えば撮像部２８で撮像された画像であるが、これに限るものではなく、記憶部２２に保存されている画像であってもよい。また、画像は静止画に限られず、動画であってもよい。図７では、端末２から取得する画像データに対象物「リンゴ」が含まれている。対象物は、画像データに含まれる物体であり、質問対象となる物である。 FIG. 7 is an explanatory diagram showing an outline of the question information generation process. Below, the outline | summary of the process which an information processing system performs is demonstrated. Hereinafter, for convenience of explanation, the processing entity of the server 1 is the control unit 11, and the processing entity of the terminal 2 is the control unit 21.
The control unit 11 of the server 1 acquires image data from the terminal 2. The image data is, for example, an image captured by the imaging unit 28, but is not limited to this, and may be an image stored in the storage unit 22. The image is not limited to a still image, and may be a moving image. In FIG. 7, the object “apple” is included in the image data acquired from the terminal 2. The object is an object included in the image data and is an object to be questioned.

制御部１１は、取得した画像データに含まれる対象物を特定する。例えば図７において、制御部１１は特定テーブル１４１を参照し、パターンマッチングにより破線部分の対象物が「リンゴ」であることを認識する。上述の通り、制御部１１は予め訓練データから対象物の特徴量を抽出する機械学習を行い、複数の対象物の物体認識に係る認識パターンを、対象物の名称と対応付けて特定テーブル１４１に記憶しておく。制御部１１は、当該機械学習処理により特定テーブル１４１に格納された対象物のデータに基づき、特定した破線部分の対象物が「リンゴ」であることを認識する。なお、画像が動画である場合、例えば制御部１１は動画中の各フレームに含まれる物体を認識し、最初に認識された物体を対象物と認識する。
また、画像データから対象物を特定した場合、制御部１１は特定テーブル１４１を参照し、併せて対象物の分類を特定する。 The control part 11 specifies the target object contained in the acquired image data. For example, in FIG. 7, the control unit 11 refers to the specific table 141 and recognizes that the object of the broken line portion is “apple” by pattern matching. As described above, the control unit 11 performs machine learning to extract the feature amount of the target object from the training data in advance, and associates the recognition pattern related to the object recognition of the plurality of target objects with the name of the target object in the specific table 141. Remember. The control unit 11 recognizes that the object of the identified broken line portion is “apple” based on the data of the object stored in the identification table 141 by the machine learning process. When the image is a moving image, for example, the control unit 11 recognizes an object included in each frame in the moving image, and recognizes the first recognized object as an object.
When the object is specified from the image data, the control unit 11 refers to the specifying table 141 and specifies the classification of the object.

制御部１１は、認識した対象物に付随する付随情報を、辞典ＤＢ１４４に記憶されているデータから、及びネットワークＮ上にあるデータから検索する。付随情報は、対象物に付随する間接的な情報であり、例えば対象物に関する定義、説明、特徴、教養、雑学、学術的知識等を含む情報である。なお、付随情報はテキストデータに限定されず、例えば画像データを含んでもよい。制御部１１は、認識した対象物の名称（単語）に基づき、付随情報の検索を行う。例えば制御部１１は辞典ＤＢ１４４を参照し、対象物を示す単語と対応付けて記憶されている説明を読み出す。また、制御部１１は汎用の検索エンジンを利用し、ネットワークＮを介して付随情報を検索する。制御部１１は、検索上位のＷｅｂページから付随情報を抽出する。
なお、上記の構成は一例であって、例えば制御部１１は辞典ＤＢ１４４のみから付随情報を検索するようにしてもよい。また、例えば制御部１１はネットワークＮのみから付随情報を検索するようにしてもよい。 The control unit 11 searches for incidental information associated with the recognized object from data stored in the dictionary DB 144 and from data on the network N. The accompanying information is indirect information accompanying the object, for example, information including definition, explanation, characteristics, culture, trivia, academic knowledge, etc. regarding the object. The accompanying information is not limited to text data, and may include, for example, image data. The control unit 11 searches for accompanying information based on the recognized name (word) of the object. For example, the control unit 11 reads the explanation stored in association with the word indicating the object with reference to the dictionary DB 144. In addition, the control unit 11 searches for accompanying information via the network N using a general-purpose search engine. The control unit 11 extracts the accompanying information from the search upper Web page.
In addition, said structure is an example, Comprising: For example, the control part 11 may be made to search incidental information only from dictionary DB144. Further, for example, the control unit 11 may retrieve the accompanying information only from the network N.

なお、上記で制御部１１は、画像認識処理により対象物の名称（単語）を特定し、付随情報を検索する処理を行ったが、本実施の形態はこれに限るものではない。例えば制御部１１は、端末２から取得した画像データに基づき、画像ベースの検索処理を行ってもよい。この場合、制御部１１は画像認識処理を行わず、汎用の検索エンジンにおける画像を使用した検索機能を利用して、画像データそのものに基づきネットワーク上のデータから対象物に関する情報の検索する処理を行う。すなわち制御部１１は、検索エンジンに画像データに基づく検索処理を依頼し、画像データに対する検索エンジンからの出力、すなわち対象物の名称等を含む検索結果を取得する。制御部１１は当該検索エンジンからの出力に基づき、対象物の名称等を特定する。また、制御部１１は検索結果に含まれるＷｅｂページのＵＲＬ等を参照して、検索上位のＷｅｂページから付随情報を抽出する。上記のように、画像認識処理は必須ではなく、画像データから対象物の特定、付随情報の検索等が可能であればよい。   In addition, although the control part 11 specified the name (word) of the target object by the image recognition process above, and performed the process which searches incidental information, this Embodiment is not restricted to this. For example, the control unit 11 may perform an image-based search process based on the image data acquired from the terminal 2. In this case, the control unit 11 does not perform the image recognition process, but performs a process of searching for information about the object from the data on the network based on the image data itself, using a search function using an image in a general-purpose search engine. . That is, the control unit 11 requests the search engine to perform a search process based on the image data, and obtains an output from the search engine for the image data, that is, a search result including the name of the target object. The control unit 11 specifies the name of the object based on the output from the search engine. Further, the control unit 11 refers to the URL of the Web page included in the search result, and extracts accompanying information from the Web page at the top of the search. As described above, the image recognition process is not essential, as long as it is possible to specify an object from the image data and search for accompanying information.

制御部１１は、検索した付随情報に基づいて、対象物に関する質問情報を生成する。具体的に制御部１１は、検索した付随情報から、質問情報を生成するためのテキストを抽出する。例えば制御部１１は生成テーブル１４２を参照し、対象物の分類に応じて定められたキーワードに基づいてテキストを抽出する。対象物の分類は、種々の物体を所定基準でグループ化する分類であり、例えば特定テーブル１４１に、対象物と対応付けて規定されている。特定テーブル１４１は、例えば対象物「リンゴ」に対して分類「果物」を規定している（図２参照）。制御部１１は当該分類に応じて、生成テーブル１４２を参照し、当該分類に属する対象物のキーワードを判別する。そして制御部１１は、付随情報に係るテキストデータから、分類「果物」に係るキーワード「科」「属」「産」「製」を含むテキスト箇所を抽出する。なお、抽出するテキスト箇所は一箇所（一文）に限定されず、複数箇所であってもよい。また、検索された付随情報（テキストデータ等）が複数である場合、制御部１１は複数のテキストデータから抽出を行ってもよい。   The control unit 11 generates question information regarding the object based on the retrieved accompanying information. Specifically, the control unit 11 extracts text for generating question information from the retrieved accompanying information. For example, the control unit 11 refers to the generation table 142 and extracts text based on keywords determined according to the classification of the object. The classification of an object is a classification in which various objects are grouped according to a predetermined standard, and is defined in association with the object in the specific table 141, for example. The identification table 141 defines, for example, a classification “fruit” for the object “apple” (see FIG. 2). The control unit 11 refers to the generation table 142 in accordance with the classification, and determines a keyword of an object belonging to the classification. Then, the control unit 11 extracts a text portion including the keywords “family”, “genus”, “product”, and “product” related to the classification “fruit” from the text data related to the accompanying information. In addition, the text location to extract is not limited to one location (one sentence), and may be a plurality of locations. In addition, when there are a plurality of pieces of accompanying information (text data or the like) searched for, the control unit 11 may perform extraction from the plurality of text data.

制御部１１は、質問情報を生成するための質問データを記憶した生成テーブル１４２を参照し、抽出したテキストより質問情報を生成する。具体的に制御部１１は、生成テーブル１４２を参照し、画像データに含まれる対象物の分類、数量等に応じて出題形式を決定し、生成テーブル１４２に規定されている構文のテンプレートに従って質問情報を生成する。例えば図７の例では、制御部１１は抽出したテキスト「バラ科リンゴ属の落葉高木樹」より、対象物「リンゴ」の分類「果物」に応じて、口述形式の質問「この果物は何科でしょうか？」と、解答「バラ科」とを含む質問情報を生成する。なお、生成される質問情報のデータ形式は特に限定されず、画像、音声、テキスト等の種々のデータ形式であってもよい。
制御部１１は、生成した質問情報を、対象物と対応付けて質問ＤＢ１４５に記憶する。 The control unit 11 refers to the generation table 142 that stores the question data for generating the question information, and generates the question information from the extracted text. Specifically, the control unit 11 refers to the generation table 142, determines the question format according to the classification, quantity, and the like of the object included in the image data, and determines the question information according to the syntax template defined in the generation table 142. Is generated. For example, in the example of FIG. 7, the control unit 11 uses the extracted text “deciduous tree of the genus Rosaceae” in accordance with the classification “fruit” of the object “apple” according to the question “What is this fruit? And question information including the answer “Rosaceae”. The data format of the generated question information is not particularly limited, and may be various data formats such as images, sounds, and texts.
The control unit 11 stores the generated question information in the question DB 145 in association with the object.

制御部１１は、生成した質問情報を端末２に出力する。具体的に制御部１１は、生成した質問情報に係る画像及び音声データを端末２に送信する。なお、制御部１１は併せて対象物に関連する関連情報のリンク先を示すリンク情報を端末２に送信する。リンク情報については後述する。質問情報を受信した場合、端末２の制御部２１は、表示部２４及び音声出力部２６により質問「この果物は何科でしょうか？」を出力する。制御部２１は、例えば音声入力部２７を介してユーザによる解答を受け付け、解答内容をサーバ１に送信する。サーバ１の制御部１１は、当該情報を受信することで、端末２を介してユーザによる解答を受け付ける。制御部１１は、受け付けた解答を質問ＤＢ１４５に記憶する。制御部１１は、質問情報に係る解答「バラ科」と比較し、ユーザによる解答が正解であるか否かを判定する。正解であると判定した場合、制御部１１はユーザの正解数に係るスコアを加算してユーザＤＢ１４３に記憶する。また、制御部１１は、質問ＤＢ１４５に記憶されている他のユーザの解答も参照して、当該質問情報に係るユーザ全体の正解率を算出し、質問ＤＢ１４５に記憶する。
なお、上記ではサーバ１が解答の正誤を判定したが、端末２において解答の正誤を判定し、判定結果をサーバ１に送信する形態でもよい。 The control unit 11 outputs the generated question information to the terminal 2. Specifically, the control unit 11 transmits the image and audio data related to the generated question information to the terminal 2. In addition, the control part 11 transmits the link information which shows the link destination of the relevant information relevant to a target object to the terminal 2 collectively. The link information will be described later. When the question information is received, the control unit 21 of the terminal 2 outputs the question “What kind of fruit is this?” Through the display unit 24 and the voice output unit 26. For example, the control unit 21 receives an answer by the user via the voice input unit 27 and transmits the answer content to the server 1. The control part 11 of the server 1 receives the information by the user via the terminal 2 by receiving the information. The control unit 11 stores the accepted answer in the question DB 145. The control unit 11 determines whether or not the answer by the user is correct by comparing with the answer “Rosaceae” related to the question information. When it determines with it being a correct answer, the control part 11 adds the score which concerns on a user's correct answer number, and memorize | stores it in user DB143. The control unit 11 also refers to the answers of other users stored in the question DB 145, calculates the correct answer rate of the entire user related to the question information, and stores it in the question DB 145.
In the above description, the server 1 determines whether the answer is correct. However, the terminal 2 may determine whether the answer is correct and transmit the determination result to the server 1.

図８は、解答画面の一例を示す説明図である。図８Ａはユーザの解答が正解であった場合の解答画面を、図８Ｂはユーザの解答が不正解であった場合の解答画面を示す。解答を受け付けた制御部１１は、上記の判定結果に応じて図８に示す解答画面を端末２に出力する。解答画面は、正解であるか否かの判定結果、解説文等のほかに、評価オブジェクト７１、リンクオブジェクト７２を含む。   FIG. 8 is an explanatory diagram illustrating an example of an answer screen. FIG. 8A shows an answer screen when the user's answer is correct, and FIG. 8B shows an answer screen when the user's answer is incorrect. The control unit 11 that has received the answer outputs an answer screen shown in FIG. 8 to the terminal 2 in accordance with the determination result. The answer screen includes an evaluation object 71 and a link object 72 in addition to the determination result of whether or not the answer is correct, an explanation sentence, and the like.

評価オブジェクト７１は、質問情報に対するユーザの評価を受け付けるためのオブジェクトである。ユーザは当該質問情報を高評価する場合、評価オブジェクト７１への操作入力を行う。なお、例えば端末２の制御部２１は高評価以外に低評価を受け付けるオブジェクトも併せて表示してもよい。評価オブジェクト７１への操作入力を受け付けた場合、制御部２１は評価された旨の情報をサーバ１に送信する。当該情報を受信した場合、サーバ１の制御部１１は質問情報に対応する評価数を加算して質問ＤＢ１４５に記憶する。以上より、制御部１１は端末２を介して質問情報に対するユーザの評価を受け付ける。   The evaluation object 71 is an object for receiving a user's evaluation on the question information. When the user highly evaluates the question information, the user inputs an operation to the evaluation object 71. For example, the control unit 21 of the terminal 2 may also display an object that accepts a low evaluation in addition to a high evaluation. When an operation input to the evaluation object 71 is received, the control unit 21 transmits information indicating that the evaluation has been evaluated to the server 1. When the information is received, the control unit 11 of the server 1 adds the evaluation number corresponding to the question information and stores it in the question DB 145. As described above, the control unit 11 receives the user's evaluation on the question information via the terminal 2.

リンクオブジェクト７２は、対象物に関連する関連サイトへと遷移するためのオブジェクトである。リンクオブジェクト７２への操作入力を受け付けた場合、端末２の制御部２１は、サーバ１から質問情報と共に受信したリンク情報を参照して関連サイトへと遷移する。関連サイトは、例えばサーバ１が質問情報生成に際して検索した付随情報の引用元である。なお、関連サイト等のリンク先は付随情報の引用元に限られず、例えば対象物「リンゴ」を販売するショッピングサイト、対象物に関する記事を掲載したニュースサイト、ＳＮＳ（Social Networking Service）に係るＷｅｂサイト等を含めてもよい。つまりリンク情報は、付随情報に係るリンク先だけでなく、その他の関連情報を含むリンク先を示すものであってもよい。   The link object 72 is an object for transitioning to a related site related to the object. When the operation input to the link object 72 is received, the control unit 21 of the terminal 2 refers to the link information received together with the question information from the server 1 and transitions to a related site. The related site is a citation source of accompanying information searched by the server 1 when generating the question information, for example. Link destinations of related sites and the like are not limited to the citation source of the accompanying information. For example, a shopping site that sells the object “apple”, a news site that posts articles about the object, and a website that is related to SNS (Social Networking Service) Etc. may be included. That is, the link information may indicate not only a link destination related to the accompanying information but also a link destination including other related information.

また、サーバ１の制御部１１は端末２にリンク情報を出力するのではなく、関連情報を直接的に出力することとしてもよい。例えば制御部１１は、大容量記憶装置１４に予め記憶されている情報を参照して、端末２に対象物のバナー広告等の広告情報を出力する。例えば制御部１１は、所定企業又は商品に係る広告情報を予め記憶しておき、質問情報に係る対象物の分類に応じて端末２に出力する広告情報を選択し、端末２に送信する。   Moreover, the control part 11 of the server 1 is good also as not outputting link information to the terminal 2, but outputting related information directly. For example, the control unit 11 refers to information stored in advance in the large-capacity storage device 14 and outputs advertisement information such as a banner advertisement of the target object to the terminal 2. For example, the control unit 11 stores in advance advertisement information related to a predetermined company or product, selects advertisement information to be output to the terminal 2 according to the classification of the object related to the question information, and transmits the advertisement information to the terminal 2.

なお、上記においてサーバ１は、一の画像データから対象物に関して質問情報を複数生成し、複数題の質問情報を端末２に出力してもよい。   Note that, in the above, the server 1 may generate a plurality of pieces of question information regarding the object from one image data, and output the question information of multiple subjects to the terminal 2.

上述のごとく、端末２から対象物を含む画像データを取得した場合、制御部１１は当該対象物に関する質問情報を端末２に出力する。この場合、制御部１１は新規に質問情報を生成するのではなく、質問ＤＢ１４５に蓄積された生成済みの質問情報を端末２に出力してもよい。例えば制御部１１は、生成した質問情報を質問ＤＢ１４５に記憶しておく。端末２から画像データを取得した場合、制御部１１は対象物を特定し、当該対象物に関する質問情報を質問ＤＢ１４５から読み出す。制御部１１は、読み出した質問情報を端末２に出力する。なお、質問情報をすでにユーザの端末２に出力済みである場合、制御部１１は新規に質問情報を生成する、質問ＤＢ１４５に記憶された別の質問情報を読み出す等して、出力済みでない質問情報を端末２に出力する。   As described above, when the image data including the object is acquired from the terminal 2, the control unit 11 outputs the question information regarding the object to the terminal 2. In this case, the control unit 11 may output the generated question information accumulated in the question DB 145 to the terminal 2 instead of newly generating question information. For example, the control unit 11 stores the generated question information in the question DB 145. When image data is acquired from the terminal 2, the control unit 11 identifies an object and reads out question information regarding the object from the question DB 145. The control unit 11 outputs the read question information to the terminal 2. When the question information has already been output to the user's terminal 2, the control unit 11 newly generates the question information, reads other question information stored in the question DB 145, etc., and has not been output. Is output to the terminal 2.

生成済みの質問情報を端末２に出力する場合、制御部１１は、ユーザによる評価が高い質問情報を優先的に出力してもよい。例えば制御部１１は、質問情報を読み出す場合に、併せて当該質問情報に対応付けられた評価数を参照する。制御部１１は当該評価数に基づき、読み出す質問情報を選択する。これにより、他のユーザからの評価が高い質問情報が端末２に出力される。   When outputting the generated question information to the terminal 2, the control unit 11 may preferentially output the question information that is highly evaluated by the user. For example, when reading the question information, the control unit 11 refers to the evaluation number associated with the question information. The control unit 11 selects the question information to be read based on the evaluation number. Thereby, the question information with high evaluation from other users is output to the terminal 2.

図９は、質問情報の他例を示す説明図である。画像データに含まれる対象物は一つに限られず、図９に示すように、複数含まれる場合もある。対象物を複数特定した場合、制御部１１は、例えば選択問題形式の質問情報を生成する。具体的には、制御部１１は画像データに含まれる各対象物を特定し、当該複数の対象物から、質問情報を生成する対象物を選択する。例えば制御部１１はランダムに対象物を選択する。制御部１１は、選択した対象物について、生成テーブル１４２に規定されている構文のテンプレートに基づき、選択問題を生成する。例えば図９に示すように、制御部１１は対象物「リンゴ」に関するテキストと共に画像データを出力し、テキスト内容が示す対象物を画像中の物体から選択すべき旨の選択問題を端末２に出力する。制御部１１は、タッチ入力に係る操作内容を端末２から受信することで、解答の入力を受け付け、正誤を判定する。   FIG. 9 is an explanatory diagram showing another example of the question information. The number of objects included in the image data is not limited to one, and there may be a plurality of objects as shown in FIG. When a plurality of objects are specified, the control unit 11 generates question information in a selection question format, for example. Specifically, the control unit 11 specifies each object included in the image data, and selects an object for generating question information from the plurality of objects. For example, the control part 11 selects a target object at random. The control unit 11 generates a selection problem for the selected object based on a syntax template defined in the generation table 142. For example, as shown in FIG. 9, the control unit 11 outputs image data together with text relating to the object “apple”, and outputs to the terminal 2 a selection problem indicating that the object indicated by the text content should be selected from the objects in the image. To do. The control part 11 receives the input of an answer by receiving the operation content which concerns on a touch input from the terminal 2, and determines correctness.

図１０は、質問情報の他例を示す説明図である。図１０において画像データに含まれる対象物は図７と同様に一つであるが、図１０の場合、制御部１１は択一問題形式の質問情報を生成する。例えば制御部１１は、生成テーブル１４２を参照し、対象物の分類、数量等に応じて質問情報の形式を決定する。生成テーブルにおいて複数の出題形式が規定されている場合、例えば制御部１１はランダムに出題形式を決定する。   FIG. 10 is an explanatory diagram illustrating another example of the question information. In FIG. 10, the number of objects included in the image data is one as in FIG. 7, but in the case of FIG. 10, the control unit 11 generates alternative question format question information. For example, the control unit 11 refers to the generation table 142 and determines the format of the question information according to the classification, quantity, etc. of the object. When a plurality of question formats are defined in the generation table, for example, the control unit 11 randomly determines the question format.

上述のごとく、制御部１１が生成する質問情報の形式は特に限定されない。例えば図７の例において制御部１１は、付随情報に係るテキストデータ「バラ科リンゴ属の落葉高木樹」に対して形態素解析を行い、キーワードに応じて「バラ」部分を空欄とする穴埋め形式の質問情報を生成してもよい。また、制御部１１は上記の形式以外にも、正誤、並び替え、組み合わせ、複数選択、なぞなぞ等の形式で質問情報を生成してもよい。また、上記で制御部１１は、図３で例示した生成テーブル１４２に従って質問情報を生成したが、本実施の形態はこれに限るものではない。例えば制御部１１は、対象物の分類、数量以外にも、対象物の品種等の詳細な種類、画像データにおける対象物の画素、位置、大きさ、範囲等に係る特定結果なども含めて出題形式を決定してもよい。さらに制御部１１は、対象物の属性だけでなく、ユーザの個人情報、すなわちユーザの年齢、性別等に基づいて出題形式を決定してもよい。上記のように、質問情報の生成処理については種々の処理内容が考えられる。   As described above, the format of the question information generated by the control unit 11 is not particularly limited. For example, in the example of FIG. 7, the control unit 11 performs a morphological analysis on the text data “Rosaceae apple deciduous tree” related to the accompanying information, and fills in the “filled” form with the “rose” part blank according to the keyword. Question information may be generated. Moreover, the control part 11 may produce | generate question information in formats other than said format, such as correct / wrong, rearrangement, a combination, multiple selection, a riddle. Moreover, although the control part 11 produced | generated question information according to the production | generation table 142 illustrated in FIG. 3 above, this Embodiment is not restricted to this. For example, in addition to the classification and quantity of the target object, the control unit 11 includes a detailed result such as the type of the target object, a specific result related to the pixel, position, size, range, and the like of the target object in the image data. The format may be determined. Further, the control unit 11 may determine the question format based on not only the attribute of the object but also the personal information of the user, that is, the age, sex, etc. of the user. As described above, various processing contents can be considered for the question information generation processing.

図１１は、サーバ１が実行する処理手順の一例を示すフローチャートである。図１１に基づいて、サーバ１が実行する処理内容について説明する。
サーバ１の制御部１１は、対象物を含む画像データを端末２から取得する（ステップＳ１１）。画像データは例えば端末２の撮像部２８で撮像された画像のデータであるが、これに限定されるものではない。制御部１１は、複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した特定テーブル１４１を参照し、端末２から取得した画像データに含まれる対象物を特定する（ステップＳ１２）。例えば制御部１１は物体認識について、所定の訓練データに基づき機械学習を行って物体認識に係るモデルを構築し、対象物の認識パターンのデータを、対象物の名称と対応付けて特定テーブル１４１に記憶しておく。制御部１１は当該特定テーブル１４１を参照し、機械学習により構築された物体認識のモデルに基づいて対象物を認識することで、対象物を特定する。なお、上述のごとく、制御部１１は画像データそのものに基づき、ネットワークＮ上のデータから対象物の名称等の情報を検索することで、対象物を特定してもよい。制御部１１は、特定した対象物に関して質問情報を生成済みであるか否かを判定する（ステップＳ１３）。具体的に制御部１１は、質問ＤＢ１４５を参照し、特定した対象物と対応付けて質問情報が記憶されているか否かを判定する。 FIG. 11 is a flowchart illustrating an example of a processing procedure executed by the server 1. Based on FIG. 11, the processing content which the server 1 performs is demonstrated.
The control unit 11 of the server 1 acquires image data including the object from the terminal 2 (step S11). The image data is, for example, image data captured by the imaging unit 28 of the terminal 2, but is not limited to this. The control unit 11 refers to the identification table 141 that stores object data in which a plurality of objects and names of the objects are associated with each other, and identifies an object included in the image data acquired from the terminal 2 (Step S12). ). For example, for the object recognition, the control unit 11 performs machine learning based on predetermined training data to construct a model related to object recognition, and associates the recognition pattern data of the target object with the name of the target object in the specific table 141. Remember. The control unit 11 refers to the identification table 141 and identifies the object by recognizing the object based on the object recognition model constructed by machine learning. As described above, the control unit 11 may specify the object by searching for information such as the name of the object from the data on the network N based on the image data itself. The control unit 11 determines whether or not the question information has been generated for the identified object (step S13). Specifically, the control unit 11 refers to the question DB 145 and determines whether the question information is stored in association with the identified object.

質問情報を生成済みでないと判定した場合（Ｓ１３：ＮＯ）、制御部１１は、特定した対象物に付随する付随情報を、辞典ＤＢ１４４に記憶されているデータから、及びネットワークＮ上のデータから検索する（ステップＳ１４）。例えば制御部１１は、特定した対象物の名称（単語）に基づいて、辞典ＤＢ１４４のデータから付随情報を検索する。または、制御部１１は汎用の検索エンジンを用いて、ネットワークＮから付随情報を検索する。なお、画像データから特定した対象物が複数である場合、制御部１１は各対象物について付随情報を検索してもよいし、複数の対象物から一の対象物を選択して付随情報を検索してもよい。また、制御部１１は対象物を示す単語に基づいて付随情報を検索するのではなく、端末２から取得した画像データを使用して付随情報の検索を行ってもよい。   When it is determined that the question information has not been generated (S13: NO), the control unit 11 searches the data stored in the dictionary DB 144 and the data on the network N for the accompanying information associated with the identified object. (Step S14). For example, the control unit 11 retrieves accompanying information from the data in the dictionary DB 144 based on the specified name (word) of the target object. Alternatively, the control unit 11 searches for incidental information from the network N using a general-purpose search engine. In addition, when there are a plurality of objects identified from the image data, the control unit 11 may retrieve the accompanying information for each object, or select one object from the plurality of objects and retrieve the accompanying information. May be. Further, the control unit 11 may search for the accompanying information by using the image data acquired from the terminal 2 instead of searching the accompanying information based on the word indicating the object.

制御部１１は、検索した付随情報から、質問情報を生成するためのテキストを抽出する（ステップＳ１５）。例えば制御部１１は生成テーブル１４２を参照し、対象物の分類に応じてキーワードを特定する。なお、例えば対象物の分類は、特定テーブル１４１に予め規定されている。制御部１１は、当該キーワードを含むテキスト箇所を、付随情報に係るテキストデータから抽出する。   The control unit 11 extracts text for generating question information from the retrieved accompanying information (step S15). For example, the control unit 11 refers to the generation table 142 and specifies a keyword according to the classification of the object. For example, the classification of the object is defined in advance in the specific table 141. The control unit 11 extracts the text portion including the keyword from the text data related to the accompanying information.

制御部１１は、対象物に関する質問情報を生成するための質問データを記憶した生成テーブル１４２を参照し、付随情報から抽出したテキストより質問情報を生成する（ステップＳ１６）。例えば制御部１１は生成テーブル１４２を参照し、画像データから特定した対象物の分類、数量等の特定結果に応じて出題形式を決定する。出題形式は、例えば口述、選択、択一、正誤、穴埋め、並び替え、組み合わせ、複数選択、なぞなぞ形式等であるが、これらに限定されるものではない。制御部１１は、付随情報から抽出したテキスト内容に基づいて、決定した出題形式の質問及び解答を含む質問情報を、生成テーブル１４２に規定されている構文のテンプレートに従って生成する。制御部１１は、生成した質問情報を対象物と対応付けて質問ＤＢ１４５に記憶し（ステップＳ１７）、処理をステップＳ２０に移行する。   The control unit 11 refers to the generation table 142 that stores the question data for generating the question information about the object, and generates the question information from the text extracted from the accompanying information (step S16). For example, the control unit 11 refers to the generation table 142 and determines the question format according to the identification result such as the classification and quantity of the object identified from the image data. The question format is, for example, dictation, selection, alternative, correct / incorrect, hole filling, rearrangement, combination, multiple selection, riddle format, etc., but is not limited thereto. Based on the text content extracted from the accompanying information, the control unit 11 generates the question information including the question and answer in the determined question format according to the syntax template defined in the generation table 142. The control part 11 matches the produced | generated question information with a target object, memorize | stores it in question DB145 (step S17), and transfers a process to step S20.

質問情報を生成済みであると判定した場合（Ｓ１３：ＹＥＳ）、制御部１１は、生成済みの質問情報を端末２に出力済みであるか否かを判定する（ステップＳ１８）。例えば制御部１１は質問ＤＢ１４５を参照し、ユーザ列に記憶されているＩＤに基づいて、ステップＳ１１の画像データの取得元である端末２に質問情報を出力済みであるか否かを判定する。対象物に関して複数の質問情報を生成済みである場合、全ての質問情報を出力済みであるか否かを判定する。出力済みであると判定した場合（Ｓ１８：ＹＥＳ）、制御部１１は処理をステップＳ１４に移行する。出力済みでないと判定した場合（Ｓ１８：ＮＯ）、制御部１１は質問ＤＢ１４５を参照し、対象物に関する質問情報を読み出す（ステップＳ１９）。なお、複数の質問情報が質問ＤＢ１４５に記憶されている場合、一の質問情報を読み出す。また、例えば制御部１１は、質問ＤＢ１４５に記憶されているユーザの評価数に応じて出力する質問情報を読み出すようにしてもよい。制御部１１は、生成又は読み出した質問情報を端末２に出力する（ステップＳ２０）。当該出力の態様は、端末２の表示部２４による画像表示でもよく、音声出力部２６による音声出力でもよく、又は画像表示と音声出力とを組み合わせてもよい。   If it is determined that the question information has been generated (S13: YES), the control unit 11 determines whether the generated question information has been output to the terminal 2 (step S18). For example, the control unit 11 refers to the question DB 145 and determines whether or not the question information has been output to the terminal 2 that is the acquisition source of the image data in step S11 based on the ID stored in the user column. When a plurality of pieces of question information have been generated for the object, it is determined whether or not all pieces of question information have been output. When it determines with having been output (S18: YES), the control part 11 transfers a process to step S14. When it determines with having not been output (S18: NO), the control part 11 reads the question information regarding a target object with reference to question DB145 (step S19). In addition, when several question information is memorize | stored in question DB145, one question information is read. For example, the control unit 11 may read out the question information to be output according to the number of user evaluations stored in the question DB 145. The control unit 11 outputs the generated or read question information to the terminal 2 (Step S20). The output mode may be an image display by the display unit 24 of the terminal 2, an audio output by the audio output unit 26, or a combination of image display and audio output.

制御部１１は、端末２を介して質問情報に対する解答の入力を受け付ける（ステップＳ２１）。具体的には、端末２の制御部２１は入力部２５による操作入力、音声入力部２７による音声入力等を受け付ける。サーバ１の制御部１１は、当該入力内容を端末２から受信することで解答の入力を受け付ける。制御部１１は、受け付けた解答を質問ＤＢ１４５に記憶する。   The control part 11 receives the input of the answer with respect to question information via the terminal 2 (step S21). Specifically, the control unit 21 of the terminal 2 accepts an operation input by the input unit 25, a voice input by the voice input unit 27, and the like. The control unit 11 of the server 1 receives an input of an answer by receiving the input content from the terminal 2. The control unit 11 stores the accepted answer in the question DB 145.

制御部１１は、解答が正解であるか否かを判定する（ステップＳ２２）。例えば制御部１１は質問ＤＢ１４５を参照し、解答列に記憶されている解答とユーザによる解答とが一致するか否かを判定する。正解であると判定した場合（Ｓ２２：ＹＥＳ）、制御部１１は解答したユーザのスコアを加算してユーザＤＢ１４３に記憶する（ステップＳ２３）。   The control unit 11 determines whether or not the answer is correct (step S22). For example, the control unit 11 refers to the question DB 145 and determines whether or not the answer stored in the answer string matches the answer by the user. When it determines with it being a correct answer (S22: YES), the control part 11 adds the score of the user who answered, and memorize | stores it in user DB143 (step S23).

不正解であると判定した場合（Ｓ２２：ＮＯ）、又はステップＳ２３の処理を行った後、制御部１１は端末２に、リンク情報を含めて解答を出力する（ステップＳ２４）。具体的に制御部１１は、図８Ａ又はＢで示した解答画面を端末２に出力する。解答画面は、ユーザによる評価を受け付けるための評価オブジェクト７１、関連情報のリンク先を示すリンク情報を含む。なお、制御部１１は解答画面において関連情報を直接的に出力してもよい。制御部１１は、ステップＳ２０で出力した質問情報に対する評価情報の入力を受け付ける（ステップＳ２５）。例えば制御部１１は、端末２を介して評価アイコンへの操作入力を受け付ける。制御部１１は、一連の処理を終了する。   When it is determined that the answer is incorrect (S22: NO), or after performing the process of step S23, the control unit 11 outputs an answer including the link information to the terminal 2 (step S24). Specifically, the control unit 11 outputs the answer screen shown in FIG. 8A or B to the terminal 2. The answer screen includes an evaluation object 71 for receiving an evaluation by the user and link information indicating a link destination of related information. Note that the control unit 11 may directly output the related information on the answer screen. The control unit 11 receives input of evaluation information for the question information output in step S20 (step S25). For example, the control unit 11 receives an operation input to the evaluation icon via the terminal 2. The control unit 11 ends the series of processes.

なお、例えばサーバ１は、ユーザのスコアに応じて特典を与えるようにしてもよい。例えばサーバ１は、ユーザのスコアが一定数に達した場合、クーポン、キャラクター画像等を配信する。   For example, the server 1 may give a privilege according to the user's score. For example, the server 1 delivers a coupon, a character image, etc., when a user's score reaches a fixed number.

また、上記ではサーバ１が画像認識、情報検索、質問情報生成等の処理を実行したが、本実施の形態はこれに限るものではない。例えば端末２がこれらの処理を実行することとしてもよい。すなわち、本実施の形態に係る情報処理システムを一体の情報処理装置として構成してもよい。   In the above description, the server 1 executes processes such as image recognition, information retrieval, and question information generation. However, the present embodiment is not limited to this. For example, the terminal 2 may execute these processes. That is, the information processing system according to the present embodiment may be configured as an integrated information processing apparatus.

また、上記でサーバ１は特定テーブル１４１に対象物の分類を規定し、画像認識で対象物を特定すると共に当該対象物の分類まで特定することとしたが、本実施の形態はこれに限るものではない。例えばサーバ１は、ネットワークＮから対象物に関するテキストデータを検索した場合、生成テーブル１４２を参照してテキストに含まれる分類名を判別することにより、対象物の分類を特定することとしてもよい。具体的に制御部１１は、例えば対象物「リンゴ」に関するテキストデータをネットワークＮから検索した場合、当該テキストに含まれる「果物」の語を判別することで、対象物「リンゴ」が「果物」であると判断する。つまりサーバ１は、画像データから対象物を特定する段階で対象物の分類まで特定できずともよい。   In the above description, the server 1 defines the classification of the object in the identification table 141, identifies the object by image recognition and identifies the classification of the object, but the present embodiment is not limited to this. is not. For example, when searching for text data related to an object from the network N, the server 1 may identify the classification of the object by referring to the generation table 142 and determining the classification name included in the text. Specifically, for example, when the text data related to the object “apple” is retrieved from the network N, the control unit 11 determines the word “fruit” included in the text, so that the object “apple” is “fruit”. It is judged that. That is, the server 1 may not be able to identify the classification of the object at the stage of identifying the object from the image data.

また、上記では説明の便宜のため、一の画像につき一題の質問情報を生成することとしたが、一の画像につき複数題の質問情報を生成し、出力してもよいことは勿論である。   In the above description, for the convenience of explanation, one question information is generated for one image. However, it is a matter of course that multiple question information may be generated and output for one image. .

以上より、本実施の形態１によれば、画像データから特定された対象物に関する知識を質問形式で出力することで、エンターテイメント性のある学習機会を与えることができる。   As mentioned above, according to this Embodiment 1, the learning opportunity with entertainment property can be given by outputting the knowledge regarding the target object specified from image data in a question format.

また、本実施の形態１によれば、対象物の直接的な情報だけでなく、対象物に付随する間接的な付随情報により広範な知識を学習することができる。   Further, according to the first embodiment, it is possible to learn a wide range of knowledge not only by direct information of an object but also by indirect incidental information accompanying the object.

また、本実施の形態１によれば、生成した質問情報をデータベース上に蓄積することでサーバ１の処理負担を軽減することができる。また、データベース上に各質問情報に解答したユーザのＩＤ、各ユーザの解答、全体の正解率等を併せて蓄積することで、ユーザの嗜好、知識等について統計的な分析を行うこともできる。   Further, according to the first embodiment, it is possible to reduce the processing load on the server 1 by accumulating the generated question information on the database. Further, the user's preference, knowledge, etc. can be statistically analyzed by accumulating the ID of the user who answered each question information, the answer of each user, the overall correct answer rate, etc. on the database.

また、本実施の形態１によれば、出題形式で情報を提供するだけでなく、その他の関連情報を積極的に提供することができる。   Further, according to the first embodiment, not only information can be provided in the question format, but other related information can be actively provided.

（実施の形態２）
本実施の形態では、ユーザが学習する学習言語用の質問情報を生成する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。 (Embodiment 2)
In this embodiment, a mode of generating question information for a learning language that a user learns will be described. In addition, about the content which overlaps with Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.

図１２は、実施の形態２に係る情報処理システムの構成例を示すブロック図である。本実施の形態に係る大容量記憶装置１４は、生成テーブル１４２及び辞典ＤＢ１４４に代えて、第２生成テーブル１４６及び英和辞典ＤＢ１４７を記憶している。第２生成テーブル１４６は、ユーザの学習対象である学習言語に応じて質問情報のテンプレートを定めたテーブルである。英和辞典ＤＢ１４７は、学習言語（本実施の形態では英語）における語の意味、用法、内容等に係る情報を記憶している。   FIG. 12 is a block diagram illustrating a configuration example of the information processing system according to the second embodiment. The mass storage device 14 according to the present embodiment stores a second generation table 146 and an English-Japanese dictionary DB 147 instead of the generation table 142 and the dictionary DB 144. The second generation table 146 is a table in which a template for question information is determined according to a learning language that is a learning target of the user. The English-Japanese dictionary DB 147 stores information related to the meaning, usage, contents, and the like of words in the learning language (in this embodiment, English).

図１３は、実施の形態２に係る第２生成テーブル１４６のレコードレイアウトの一例を示す説明図である。第２生成テーブル１４６は、複数の分岐列、構文列を含む。分岐列は、テンプレートを選択するための条件分岐を記憶している。具体的に条件分岐は、画像データに含まれる対象物の数量、種類、形状、位置、大きさ、範囲等の特徴量に係る条件を規定している。構文列は、分類及び条件分岐と対応付けて、質問文のテンプレートである構文を記憶している。   FIG. 13 is an explanatory diagram showing an example of a record layout of the second generation table 146 according to the second embodiment. The second generation table 146 includes a plurality of branch strings and syntax strings. The branch column stores a conditional branch for selecting a template. Specifically, the conditional branch defines a condition relating to a feature amount such as the quantity, type, shape, position, size, range, etc. of the object included in the image data. The syntax column stores the syntax that is the template of the question sentence in association with the classification and the conditional branch.

図１４は、実施の形態２に係る英和辞典ＤＢ１４７のレコードレイアウトの一例を示す説明図である。英和辞典ＤＢ１４７は、和単語列、英単語列、発音列、説明列を含む。和単語列は、対象物を示す日本語（和単語）を記憶している。英単語列は、日本語と対応付けて、日本語に相当する英単語を記憶している。発音列は、英単語と対応付けて、英単語の発音データを記憶している。説明列は、英単語と対応付けて、当該英単語に関する説明を記憶している。
なお、英和辞典ＤＢ１４７は上記以外に、英単語の用法、慣用句、例文等を記憶していてもよい。 FIG. 14 is an explanatory diagram showing an example of a record layout of the English-Japanese dictionary DB 147 according to the second embodiment. The English-Japanese dictionary DB 147 includes a Japanese word string, an English word string, a pronunciation string, and an explanation string. The Japanese word string stores Japanese (Japanese word) indicating the object. The English word sequence stores English words corresponding to Japanese in association with Japanese. The pronunciation sequence stores pronunciation data of English words in association with English words. The explanation column stores an explanation about the English word in association with the English word.
In addition to the above, the English-Japanese dictionary DB 147 may store English word usage, idioms, example sentences, and the like.

図１５は、実施の形態２に係る質問情報の生成処理の概要を説明するための説明図である。以下では本実施の形態に係る情報処理システムが実行する処理の概要について説明する。
サーバ１の制御部１１は、画像データから対象物を特定し、英和辞典ＤＢ１４７及びネットワーク上のデータから付随情報を検索する。付随情報は例えば、実施の形態１でも述べた対象物に関する定義、説明、特徴、教養、雑学、学術的知識等のほかに、ユーザの学習対象である学習言語に応じた情報を含む。具体的に付随情報は、当該対象物を示す英単語の綴り、発音、用法、慣用句、例文等を含む。制御部１１は、学習言語に応じて検索した付随情報に基づき、質問情報を生成する。 FIG. 15 is an explanatory diagram for explaining an overview of the question information generation process according to the second embodiment. Below, the outline | summary of the process which the information processing system which concerns on this Embodiment performs is demonstrated.
The control unit 11 of the server 1 identifies an object from the image data, and searches for accompanying information from the English-Japanese dictionary DB 147 and data on the network. The accompanying information includes, for example, information corresponding to the learning language that is the learning target of the user in addition to the definition, description, characteristics, culture, trivia, academic knowledge, and the like regarding the target object described in the first embodiment. Specifically, the accompanying information includes spelling, pronunciation, usage, idiom, example sentence, etc. of an English word indicating the target object. The control part 11 produces | generates question information based on the accompanying information searched according to the learning language.

例えば制御部１１は、画像データから特定された対象物の特定結果に応じて、構成テーブル１４５に定められた構文のテンプレートに基づき、質問情報を生成する。具体的に制御部１１は、画像データにおける対象物の数量、種類、形状、位置、大きさ、範囲等の特徴量を判別する。そして制御部１１は、判別した対象物に係る特徴量に基づき、第２生成テーブル１４６に定められた条件分岐に従って構文のテンプレートを選択する。例えば図１５の例では、画像データに含まれる対象物（リンゴ、オレンジ、バナナ）の数量は３個である。従って、制御部１１は第１条件分岐において対象物が複数であると判定する。また、画像データに含まれる各対象物は同種類ではない。従って、制御部１１は第２条件分岐において対象物が異種類であると判定する。以下同様にして、制御部１１は各条件分岐につき判定を行う。最終的に制御部１１は、各分岐に従って構文のテンプレートを選択する。なお、構成テーブル１２２に定める条件分岐は複数ではなく、一つであってもよい。また、例えば制御部１１は、ユーザの個人情報、例えばユーザの年齢の高低、学習言語の習熟度等に応じてテンプレートを選択することとしてもよい。制御部１１は、選択したテンプレート、及び検索した対象物「リンゴ」の付随情報に基づき、学習言語（英語）用の質問情報を生成する。制御部１１は、生成した質問情報を端末２に出力する。   For example, the control unit 11 generates question information based on a syntax template defined in the configuration table 145 in accordance with the identification result of the object identified from the image data. Specifically, the control unit 11 determines feature quantities such as the quantity, type, shape, position, size, and range of the object in the image data. Then, the control unit 11 selects a syntax template in accordance with the conditional branch defined in the second generation table 146 based on the feature amount related to the determined object. For example, in the example of FIG. 15, the number of objects (apple, orange, banana) included in the image data is three. Therefore, the control unit 11 determines that there are a plurality of objects in the first conditional branch. Further, the objects included in the image data are not the same type. Therefore, the control unit 11 determines that the object is of a different type in the second conditional branch. Similarly, the control unit 11 determines each conditional branch. Finally, the control unit 11 selects a syntax template according to each branch. Note that the number of conditional branches defined in the configuration table 122 may be one instead of a plurality. For example, the control unit 11 may select a template according to the user's personal information, for example, the age of the user, the proficiency level of the learning language, and the like. The control unit 11 generates question information for the learning language (English) based on the selected template and the accompanying information of the searched object “apple”. The control unit 11 outputs the generated question information to the terminal 2.

制御部１１は、出力した質問情報について解答を受け付ける。例えば制御部１１は、端末２の音声入力部２７を介して、ユーザの発声による音声入力を受け付ける。この場合に、例えば制御部１１は解答自体の正誤のほかに、ユーザの発音の正誤を判定してもよい。これにより、ユーザは単に質問に答えるだけでなく、発音のチェックも同時に行うことができる。   The control unit 11 receives an answer for the output question information. For example, the control unit 11 receives a voice input by a user's utterance via the voice input unit 27 of the terminal 2. In this case, for example, the control unit 11 may determine the correctness of the user's pronunciation in addition to the correctness of the answer itself. Thus, the user can not only answer the question but also check the pronunciation at the same time.

図１６は、実施の形態２に係る解答画面の一例を示す説明図である。解答を受け付けた場合、制御部１１は図１６に示す解答画面を端末２に出力する。解答画面は、例えば評価オブジェクト７１、リンクオブジェクト７２等のほかに、解説文２０１を含む。解説文２０１は、質問情報に係る正解のほかに、例えば英和辞典ＤＢ１４７又はネットワークＮから検索した付随情報を含む。制御部１１は上記以外にも、その他の関連情報を出力してもよい。   FIG. 16 is an explanatory diagram illustrating an example of an answer screen according to the second embodiment. When the answer is accepted, the control unit 11 outputs the answer screen shown in FIG. The answer screen includes an explanatory text 201 in addition to the evaluation object 71 and the link object 72, for example. The explanation sentence 201 includes accompanying information retrieved from, for example, the English-Japanese dictionary DB 147 or the network N in addition to the correct answer related to the question information. In addition to the above, the control unit 11 may output other related information.

図１７は、実施の形態２に係るサーバ１が実行する処理手順の一例を示す説明図である。図１７に基づき、本実施の形態に係るサーバ１が実行する処理内容について説明する。
サーバ１の制御部１１は、画像データから特定した対象物に関して質問情報を生成済みでないと判定した場合（Ｓ１３：ＮＯ）、以下の処理を実行する。制御部１１は、ユーザの学習対象である学習言語に応じて、英和辞典ＤＢ１４７に記憶されているデータから、及びネットワークＮ上のデータから付随情報を検索する（ステップＳ２０１）。例えば制御部１１は、特定した対象物を示す日本語に基づいて、当該日本語に相当する英単語の綴り、発音、意味、用法、慣用句、例文等の情報を検索する。制御部１１は、検索した付随情報から、質問情報を生成するためのデータを抽出する（ステップＳ２０２）。例えば制御部１１は、当該英単語の綴り、発音等のデータを抽出する。 FIG. 17 is an explanatory diagram illustrating an example of a processing procedure executed by the server 1 according to the second embodiment. Based on FIG. 17, the processing content which the server 1 which concerns on this Embodiment performs is demonstrated.
When it is determined that the question information has not been generated for the object identified from the image data (S13: NO), the control unit 11 of the server 1 executes the following process. The control unit 11 searches for incidental information from the data stored in the English-Japanese dictionary DB 147 and the data on the network N according to the learning language that is the learning target of the user (step S201). For example, the control unit 11 searches information such as spelling, pronunciation, meaning, usage, idiomatic phrase, and example sentence of an English word corresponding to the Japanese based on the Japanese indicating the identified object. The control unit 11 extracts data for generating question information from the retrieved accompanying information (step S202). For example, the control unit 11 extracts data such as spelling and pronunciation of the English word.

制御部１１は、対象物の特定結果に応じて、質問情報の構文に係るテンプレートを選択する（ステップＳ２０３）。具体的に制御部１１は、第２生成テーブル１４６を参照し、画像データから特定された対象物の特定結果、詳しくは画像データに含まれる対象物の数量、種類、形状、位置、大きさ、範囲等の特徴量に応じて、第２生成テーブル１４６に定められた条件分岐に従い構文のテンプレートを選択する。制御部１１は、選択したテンプレート、及びステップＳ２０２で抽出したデータに基づき、ユーザが学習する学習言語用の質問情報を生成する（ステップＳ２０４）。制御部１１は、生成した質問情報を対象物と対応付けて質問ＤＢ１４５に記憶する（ステップＳ２０５）。   The control unit 11 selects a template related to the syntax of the question information according to the identification result of the object (step S203). Specifically, the control unit 11 refers to the second generation table 146, specifies the result of specifying the object specified from the image data, specifically, the quantity, type, shape, position, size, and the like of the object included in the image data. A syntax template is selected according to a conditional branch defined in the second generation table 146 in accordance with a feature quantity such as a range. Based on the selected template and the data extracted in step S202, the control unit 11 generates question information for a learning language that the user learns (step S204). The control part 11 matches the produced | generated question information with a target object, and memorize | stores it in question DB145 (step S205).

制御部１１は、生成した質問情報を端末２に出力する（ステップＳ２０６）。制御部１１は、端末２を介して質問情報に対する解答の入力を受け付ける（ステップＳ２０７）。例えば制御部１１は、端末２を介してユーザによる操作入力を受け付ける。なお、端末２の音声入力部２７を介して音声入力を受け付けてもよい。   The control unit 11 outputs the generated question information to the terminal 2 (step S206). The control unit 11 receives an input of an answer to the question information via the terminal 2 (Step S207). For example, the control unit 11 receives an operation input by the user via the terminal 2. Note that voice input may be received via the voice input unit 27 of the terminal 2.

制御部１１は、解答が正解であるか否かを判定する（ステップＳ２０８）。この場合、制御部１１はユーザによる解答自体の正誤のほかに、ユーザによる発音の正誤を含めて判定を行ってもよい。正解であると判定した場合（Ｓ２０８：ＹＥＳ）、制御部１１は解答したユーザのスコアを加算してユーザＤＢ１４３に記憶する（ステップＳ２０９）。   The control unit 11 determines whether or not the answer is correct (step S208). In this case, the control unit 11 may make a determination including the correctness of the pronunciation by the user in addition to the correctness of the answer itself by the user. When it determines with it being a correct answer (S208: YES), the control part 11 adds the score of the user who answered, and memorize | stores it in user DB143 (step S209).

不正解であると判定した場合（Ｓ２０８：ＮＯ）、又はステップＳ２０９の処理を行った後、制御部１１は端末２に解答を出力する（ステップＳ２１０）。例えば制御部１１は解答画面において、解答の正解等のほかに、ステップＳ２０１で検索した付随情報等を出力する。制御部１１は、処理をステップＳ２５に移行する。   If it is determined that the answer is incorrect (S208: NO), or after performing the process of step S209, the control unit 11 outputs the answer to the terminal 2 (step S210). For example, on the answer screen, the control unit 11 outputs accompanying information retrieved in step S201 in addition to the correct answer of the answer. The control part 11 transfers a process to step S25.

なお、上記でユーザの使用言語が日本語であり、学習言語が英語であるものとして説明したが、使用言語及び学習言語はこれらに限定されず、その他の自然言語であってもよい。   In the above description, the user language is Japanese and the learning language is English. However, the language and learning language are not limited to these, and may be other natural languages.

また、上記でサーバ１は、画像データから特定した対象物に付随する付随情報の検索処理を行ったが、本実施の形態はこれに限るものではない。例えばサーバ１は、学習言語に応じて物体認識を行い、検索処理を実行せず、そのまま質問情報を生成することとしてもよい。例えば図１５の例では、サーバ１は画像データから対象物「ａｐｐｌｅ」を認識し、当該認識結果から構文のテンプレートを選択して質問情報を生成する。すなわちサーバ１は、ユーザの学習言語に応じて質問情報を生成することができればよい。   Moreover, although the server 1 performed the search process of the accompanying information accompanying the target object specified from the image data as described above, the present embodiment is not limited to this. For example, the server 1 may perform object recognition according to the learning language and generate the question information as it is without executing the search process. For example, in the example of FIG. 15, the server 1 recognizes the object “apple” from the image data, selects a syntax template from the recognition result, and generates question information. That is, the server 1 only needs to be able to generate question information according to the user's learning language.

以上より、本実施の形態２によれば、例えば外国語学習においても質問情報を自動生成し、エンターテイメント性のある学習機会を与えることができる。   As described above, according to the second embodiment, question information can be automatically generated even in foreign language learning, for example, and an entertainment-like learning opportunity can be given.

（実施の形態３）
本実施の形態では、端末２に出力した質問情報と類似する質問情報をさらに出力する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。 (Embodiment 3)
In the present embodiment, a mode in which question information similar to the question information output to the terminal 2 is further output will be described. In addition, about the content which overlaps with Embodiment 1, the same code | symbol is attached | subjected and description is abbreviate | omitted.

図１８は、実施の形態３に係る解答画面の一例を示す説明図である。本実施の形態に係る解答画面は、評価オブジェクト７１等のほかに、出力要求オブジェクト３０１を含む。出力要求オブジェクト３０１は、端末２に出力された質問情報と類似する類似質問情報の出力をサーバ１に要求するためのオブジェクトである。出力要求オブジェクト３０１への操作入力を受け付けた場合、端末２の制御部２１は、類似質問情報を出力すべき旨の要求信号をサーバ１に送信する。   FIG. 18 is an explanatory diagram illustrating an example of an answer screen according to the third embodiment. The answer screen according to the present embodiment includes an output request object 301 in addition to the evaluation object 71 and the like. The output request object 301 is an object for requesting the server 1 to output similar question information similar to the question information output to the terminal 2. When an operation input to the output request object 301 is received, the control unit 21 of the terminal 2 transmits a request signal indicating that similar question information should be output to the server 1.

図１９は、実施の形態３に係る質問情報の出力処理の概要を説明するための説明図である。上記のように、サーバ１は端末２から類似質問情報の出力要求を受け付ける。出力要求を受け付けた場合、サーバ１の制御部１１は、端末２に出力した質問情報に係る対象物を判別する。そして制御部１１は、当該対象物と類似する対象物を特定する。   FIG. 19 is an explanatory diagram for explaining the outline of the question information output process according to the third embodiment. As described above, the server 1 receives an output request for similar question information from the terminal 2. When the output request is received, the control unit 11 of the server 1 determines an object related to the question information output to the terminal 2. And the control part 11 specifies the target object similar to the said target object.

例えば制御部１１は、対象物の分類に基づいて類似性を判断する。図１９の例の場合、端末２に出力した質問情報に係る対象物「リンゴ」の分類は「果物」である。この場合、制御部１１は対象物「リンゴ」と分類「果物」が同一の対象物を特定する。なお、特定する対象物の分類は同一でなくともよく、対象物同士が類似していればよい（例えば「果物」に対して「野菜」など）。また、対象物の類似性に係る判断基準は分類に限られるものではなく、例えば対象物の品種等の詳細な種類、名称の類否、画像データにおける対象物の形状、模様、色彩等の類否を基準としてもよい。類似する対象物が複数ある場合、例えば制御部１１は一の対象物をランダムに特定する。図１９の場合、制御部１１は類似する対象物「イチゴ」を特定する。   For example, the control unit 11 determines similarity based on the classification of the object. In the case of the example in FIG. 19, the classification of the object “apple” related to the question information output to the terminal 2 is “fruit”. In this case, the control unit 11 specifies an object having the same classification as “fruit” as the object “apple”. It should be noted that the classifications of the objects to be specified do not have to be the same, and the objects only have to be similar (for example, “vegetable” versus “fruit”). In addition, criteria for determining similarity of objects are not limited to classification. For example, detailed types such as product types, similarities of names, shapes of objects in image data, patterns, colors, etc. No may be used as a reference. When there are a plurality of similar objects, for example, the control unit 11 specifies one object at random. In the case of FIG. 19, the control unit 11 specifies a similar object “strawberry”.

制御部１１は質問ＤＢ１４５を参照し、出力済みの質問情報と類似する類似質問情報を読み出す。例えば制御部１１は、出力済みの質問情報に係る対象物「リンゴ」と類似する対象物「イチゴ」に関して、生成済みの質問情報を読み出す。制御部１１は、読み出した類似質問情報を端末２に出力する。   The control unit 11 refers to the question DB 145 and reads similar question information similar to the already output question information. For example, the control unit 11 reads the generated question information regarding the target object “strawberry” similar to the target object “apple” related to the output question information. The control unit 11 outputs the read similar question information to the terminal 2.

図２０は、実施の形態３に係るサーバ１が実行する処理手順の一例を示す説明図である。図２０に基づき、本実施の形態に係るサーバ１が実行する処理内容について説明する。
質問情報に対する評価情報の入力を受け付けた後で（ステップＳ２５）、サーバ１の制御部１１は以下の処理を実行する。制御部１１は、ステップＳ２０で出力した質問情報と類似する類似質問情報を出力するか否かを判定する（ステップＳ３０１）。例えば制御部１１は、出力要求オブジェクト３０１への操作入力に基づく類似質問情報の出力要求を受け付けたか否かを判定する。類似質問情報を出力しないと判定した場合（Ｓ３０１：ＮＯ）、制御部１１は一連の処理を終了する。 FIG. 20 is an explanatory diagram illustrating an example of a processing procedure executed by the server 1 according to the third embodiment. Based on FIG. 20, the processing content which the server 1 which concerns on this Embodiment performs is demonstrated.
After receiving the input of the evaluation information for the question information (step S25), the control unit 11 of the server 1 executes the following processing. The control unit 11 determines whether to output similar question information similar to the question information output in step S20 (step S301). For example, the control unit 11 determines whether an output request for similar question information based on an operation input to the output request object 301 has been received. When it determines with not outputting similar question information (S301: NO), the control part 11 complete | finishes a series of processes.

類似質問情報を出力すると判定した場合（Ｓ３０１：ＹＥＳ）、制御部１１は、ステップＳ２０で出力した質問情報に係る対象物と類似する対象物を特定する（ステップＳ３０２）。例えば制御部１１は質問ＤＢ１４５を参照し、出力済みの質問情報に係る対象物と分類が同一又は類似する他の対象物を特定する。すなわち制御部１１は、端末２から取得した画像データに含まれていた対象物と類似する対象物を特定する。   When it determines with outputting similar question information (S301: YES), the control part 11 specifies the target object similar to the target object concerning the question information output by step S20 (step S302). For example, the control unit 11 refers to the question DB 145 and specifies another target object having the same or similar classification as the target object related to the already output question information. That is, the control unit 11 specifies an object similar to the object included in the image data acquired from the terminal 2.

制御部１１は、質問ＤＢ１４５を参照し、ステップＳ３０２で特定した対象物に関する生成済みの類似質問情報を読み出す（ステップＳ３０３）。具体的に制御部１１は、ステップＳ３０２で特定した対象物を示す単語と対応付けて記憶されている質問情報を読み出す。   The control unit 11 refers to the question DB 145 and reads generated similar question information related to the object identified in step S302 (step S303). Specifically, the control unit 11 reads out the question information stored in association with the word indicating the target specified in step S302.

制御部１１は、読み出した類似質問情報を端末２に出力済みであるか否かを判定する（ステップＳ３０４）。例えば制御部１１は、質問ＤＢ１４５を参照し、当該類似質問情報と対応付けて端末２に係るユーザのＩＤが記憶されているか否かを判定する。出力済みであると判定した場合（Ｓ３０４：ＹＥＳ）、制御部１１は処理をステップＳ３０３に戻す。出力済みでないと判定した場合（Ｓ３０４：ＮＯ）、制御部１１は処理をステップＳ２０に戻す。これにより制御部１１は、類似質問情報を端末２に出力する。   The control unit 11 determines whether or not the read similar question information has been output to the terminal 2 (step S304). For example, the control unit 11 refers to the question DB 145 and determines whether or not the ID of the user related to the terminal 2 is stored in association with the similar question information. When it determines with having been output (S304: YES), the control part 11 returns a process to step S303. When it determines with having not been output (S304: NO), the control part 11 returns a process to step S20. As a result, the control unit 11 outputs similar question information to the terminal 2.

以上より、本実施の形態３によれば、端末２で撮像等された画像データに基づく質問情報だけでなく、これと類似する類似質問情報も出力可能となり、ユーザにさらなる知識学習の機会を与えることができる。   As described above, according to the third embodiment, not only question information based on image data captured by the terminal 2 but also similar question information similar thereto can be output, which gives the user an opportunity for further knowledge learning. be able to.

（実施の形態４）
図２１は、上述した形態のサーバ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、サーバ１は以下のように動作する。取得部２１１は、対象物を含む画像データを取得する。特定部２１２は、複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した記憶部を参照し、又は前記画像データに基づきネットワーク上のデータを検索して、前記取得部２１１が取得した画像データから前記対象物を特定する。生成部２１３は、前記対象物に関する質問情報を生成するための質問データを記憶した前記記憶部を参照し、前記特定部２１２が特定した前記対象物に関する前記質問情報を生成する。出力部２１４は、該生成部２１３が生成した前記質問情報を出力する。 (Embodiment 4)
FIG. 21 is a functional block diagram showing the operation of the server 1 in the above-described form. When the control unit 11 executes the program P, the server 1 operates as follows. The acquisition unit 211 acquires image data including an object. The specifying unit 212 refers to a storage unit that stores object data in which a plurality of objects and names of the objects are associated, or searches data on the network based on the image data, and acquires the acquiring unit 211. The object is specified from the image data acquired by. The generation unit 213 refers to the storage unit that stores question data for generating question information about the object, and generates the question information about the object specified by the specifying unit 212. The output unit 214 outputs the question information generated by the generation unit 213.

本実施の形態４は以上の如きであり、その他は実施の形態１から３と同様であるので、その詳細な説明を省略する。   The fourth embodiment is as described above, and the others are the same as those in the first to third embodiments, and thus detailed description thereof is omitted.

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time is to be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

１ サーバ
１１ 制御部
１２ 記憶部
Ｐ プログラム
１３ 通信部
１４ 大容量記憶装置
１４１ 特定テーブル
１４２ 生成テーブル
１４３ ユーザＤＢ
１４４ 辞典ＤＢ
１４５ 質問ＤＢ
１４６ 第２生成テーブル
１４７ 英和辞典ＤＢ
２ 端末
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 音声出力部
２７ 音声入力部
２８ 撮像部
７１ 評価オブジェクト
７２ リンクオブジェクト
２０１ 解説文
３０１ 出力要求オブジェクト 1 Server 11 Control Unit 12 Storage Unit P Program 13 Communication Unit 14 Mass Storage Device 141 Specific Table 142 Generation Table 143 User DB
144 Dictionary DB
145 Question DB
146 Second generation table 147 English-Japanese dictionary DB
2 Terminal 21 Control unit 22 Storage unit 23 Communication unit 24 Display unit 25 Input unit 26 Audio output unit 27 Audio input unit 28 Imaging unit 71 Evaluation object 72 Link object 201 Explanation sentence 301 Output request object

Claims (8)

対象物を含む画像データを取得する取得部と、
複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した記憶部を参照し、又は前記画像データに基づきネットワーク上のデータを検索して、前記取得部が取得した画像データから前記対象物を特定する特定部と、
前記対象物に関する質問情報を生成するための質問データを記憶した前記記憶部を参照し、前記特定部が特定した前記対象物に関する前記質問情報を生成する生成部と、
該生成部が生成した前記質問情報を出力する出力部と
を備えることを特徴とする情報処理装置。 An acquisition unit for acquiring image data including the object;
From the image data acquired by the acquisition unit by referring to a storage unit that stores a plurality of objects and object data in which the names of the objects are associated, or by searching data on a network based on the image data A specifying unit for specifying the object;
A generating unit that generates the question information about the object specified by the specifying unit, with reference to the storage unit that stores the question data for generating the question information about the object;
An information processing apparatus comprising: an output unit that outputs the question information generated by the generation unit. 前記対象物に付随する付随情報を、前記記憶部に記憶されているデータから、又はネットワーク上のデータから検索する検索部を備え、
前記生成部は、前記付随情報に基づいて前記質問情報を生成する
ことを特徴とする請求項１に記載の情報処理装置。 A search unit for searching for accompanying information accompanying the object from data stored in the storage unit or from data on a network;
The information processing apparatus according to claim 1, wherein the generation unit generates the question information based on the accompanying information. 前記記憶部は、前記生成部が生成した前記質問情報を前記対象物と対応付けて記憶する
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the storage unit stores the question information generated by the generation unit in association with the object. 前記出力部は、前記対象物に関連する関連情報、又は該関連情報のリンク先を示すリンク情報を出力する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 3, wherein the output unit outputs related information related to the object or link information indicating a link destination of the related information. apparatus. 前記質問データは、前記質問情報のテンプレートを含み、
前記生成部は、前記特定部による前記対象物の特定結果に応じて、前記テンプレートに基づき前記質問情報を生成する
ことを特徴とする請求項１〜請求項４のいずれか１項に記載の情報処理装置。 The question data includes a template of the question information,
5. The information according to claim 1, wherein the generation unit generates the question information based on the template according to a specification result of the object by the specification unit. Processing equipment. 前記テンプレートは、ユーザの学習対象である学習言語に応じたテンプレートであり、
前記生成部は、前記テンプレートに基づき、前記学習言語用の前記質問情報を生成する
ことを特徴とする請求項５に記載の情報処理装置。 The template is a template according to a learning language that is a learning target of a user,
The information processing apparatus according to claim 5, wherein the generation unit generates the question information for the learning language based on the template. 対象物を含む画像データを取得し、
複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した記憶部を参照し、又は前記画像データに基づきネットワーク上のデータを検索して、取得した画像データから前記対象物を特定し、
前記対象物に関する質問情報を生成するための質問データを記憶した前記記憶部を参照し、特定した前記対象物に関する前記質問情報を生成し、
生成した前記質問情報を出力する
処理をコンピュータに実行させることを特徴とするプログラム。 Obtain image data including the object,
Refer to a storage unit that stores object data in which a plurality of objects and names of the objects are associated, or search data on a network based on the image data, and extract the object from the acquired image data. Identify,
Referring to the storage unit storing question data for generating question information about the object, generating the question information about the specified object,
A program for causing a computer to execute a process of outputting the generated question information. 対象物を含む画像データを取得し、
複数の対象物及び該対象物の名称を対応付けた対象物データを記憶した記憶部を参照し、又は前記画像データに基づきネットワーク上のデータを検索して、取得した画像データから前記対象物を特定し、
前記対象物に関する質問情報を生成するための質問データを記憶した前記記憶部を参照し、特定した前記対象物に関する前記質問情報を生成し、
生成した前記質問情報を出力する
処理をコンピュータに実行させることを特徴とする情報処理方法。 Obtain image data including the object,
Refer to a storage unit that stores object data in which a plurality of objects and names of the objects are associated, or search data on a network based on the image data, and extract the object from the acquired image data. Identify,
Referring to the storage unit storing question data for generating question information about the object, generating the question information about the specified object,
An information processing method, characterized by causing a computer to execute a process of outputting the generated question information.
JP2016072112A 2016-03-31 2016-03-31 Information processing device, program and information processing method Pending JP2017182646A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016072112A JP2017182646A (en) 2016-03-31 2016-03-31 Information processing device, program and information processing method
JP2020120877A JP6911983B2 (en) 2016-03-31 2020-07-14 Information processing equipment, programs and information processing methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016072112A JP2017182646A (en) 2016-03-31 2016-03-31 Information processing device, program and information processing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020120877A Division JP6911983B2 (en) 2016-03-31 2020-07-14 Information processing equipment, programs and information processing methods

Publications (1)

Publication Number Publication Date
JP2017182646A true JP2017182646A (en) 2017-10-05

Family

ID=60007335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016072112A Pending JP2017182646A (en) 2016-03-31 2016-03-31 Information processing device, program and information processing method

Country Status (1)

Country Link
JP (1) JP2017182646A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100532A1 (en) * 2018-11-14 2020-05-22 ソニー株式会社 Information processing device, information processing method, and information processing program
JP2020140369A (en) * 2019-02-27 2020-09-03 株式会社日立製作所 Document generation support system, document generation support method, and computer program
WO2022085128A1 (en) * 2020-10-21 2022-04-28 日本電信電話株式会社 Name presentation device, name presentation method, and program
JPWO2022092079A1 (en) * 2020-10-27 2022-05-05

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268526A (en) * 2001-03-09 2002-09-20 Casio Comput Co Ltd Learning supporting method, learning supporting and managing device and program
JP2003241637A (en) * 2002-02-08 2003-08-29 Eigyotatsu Kofun Yugenkoshi Foreign language training system and foreign language training method
US20070124595A1 (en) * 2005-11-25 2007-05-31 Carter Marc S Method, System and Computer Program Product for Access Control
JP2008259619A (en) * 2007-04-11 2008-10-30 Nikon Corp Entertainment program using image, and camera
KR20090015504A (en) * 2007-08-09 2009-02-12 에스케이 텔레콤주식회사 Method, server and system for providing learning service by using moving picture
JP2010026087A (en) * 2008-07-16 2010-02-04 Sharp Corp Information processing apparatus, information processing method, program, and computer readable recording medium recorded with program
JP2010066753A (en) * 2008-08-11 2010-03-25 Sharp Corp Device and method for setting question
JP2011253425A (en) * 2010-06-03 2011-12-15 Tomy Co Ltd Image display program and image display device
US20120021390A1 (en) * 2009-01-31 2012-01-26 Enda Patrick Dodd Method and system for developing language and speech
WO2013065221A1 (en) * 2011-11-04 2013-05-10 パナソニック株式会社 Transmission terminal, reception terminal, and method for sending information
WO2014057704A1 (en) * 2012-10-12 2014-04-17 Kaneko Kazuo Product information provision system, product information provision device, and product information output device
US20140248040A1 (en) * 2012-10-04 2014-09-04 Sony Corporation Method and system for assisting language learning
WO2014207902A1 (en) * 2013-06-28 2014-12-31 楽天株式会社 Information processing device, information processing method, and information processing program
JP2015041101A (en) * 2013-08-20 2015-03-02 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Foreign language learning system using smart spectacles and its method

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268526A (en) * 2001-03-09 2002-09-20 Casio Comput Co Ltd Learning supporting method, learning supporting and managing device and program
JP2003241637A (en) * 2002-02-08 2003-08-29 Eigyotatsu Kofun Yugenkoshi Foreign language training system and foreign language training method
US20070124595A1 (en) * 2005-11-25 2007-05-31 Carter Marc S Method, System and Computer Program Product for Access Control
JP2008259619A (en) * 2007-04-11 2008-10-30 Nikon Corp Entertainment program using image, and camera
KR20090015504A (en) * 2007-08-09 2009-02-12 에스케이 텔레콤주식회사 Method, server and system for providing learning service by using moving picture
JP2010026087A (en) * 2008-07-16 2010-02-04 Sharp Corp Information processing apparatus, information processing method, program, and computer readable recording medium recorded with program
JP2010066753A (en) * 2008-08-11 2010-03-25 Sharp Corp Device and method for setting question
US20120021390A1 (en) * 2009-01-31 2012-01-26 Enda Patrick Dodd Method and system for developing language and speech
JP2012516463A (en) * 2009-01-31 2012-07-19 ドッド、エンダ、パトリック Computer execution method
JP2011253425A (en) * 2010-06-03 2011-12-15 Tomy Co Ltd Image display program and image display device
WO2013065221A1 (en) * 2011-11-04 2013-05-10 パナソニック株式会社 Transmission terminal, reception terminal, and method for sending information
US20140248040A1 (en) * 2012-10-04 2014-09-04 Sony Corporation Method and system for assisting language learning
WO2014057704A1 (en) * 2012-10-12 2014-04-17 Kaneko Kazuo Product information provision system, product information provision device, and product information output device
WO2014207902A1 (en) * 2013-06-28 2014-12-31 楽天株式会社 Information processing device, information processing method, and information processing program
JP2015041101A (en) * 2013-08-20 2015-03-02 韓國電子通信研究院Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Foreign language learning system using smart spectacles and its method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐野 雅規: "蓄積されたニュース番組からの映像クイズ生成手法の検討", 情報処理学会研究報告, vol. 第2006巻,第93号, JPN6019045834, 9 September 2006 (2006-09-09), JP, pages 89 - 96, ISSN: 0004160895 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100532A1 (en) * 2018-11-14 2020-05-22 ソニー株式会社 Information processing device, information processing method, and information processing program
JP2020140369A (en) * 2019-02-27 2020-09-03 株式会社日立製作所 Document generation support system, document generation support method, and computer program
JP7261038B2 (en) 2019-02-27 2023-04-19 株式会社日立製作所 Document creation support system, document creation support method and computer program
WO2022085128A1 (en) * 2020-10-21 2022-04-28 日本電信電話株式会社 Name presentation device, name presentation method, and program
JPWO2022092079A1 (en) * 2020-10-27 2022-05-05

Similar Documents

Publication Publication Date Title
CN108287858B (en) Semantic extraction method and device for natural language
US8874590B2 (en) Apparatus and method for supporting keyword input
CN106649778B (en) Interaction method and device based on deep question answering
CN107679070B (en) Intelligent reading recommendation method and device and electronic equipment
CN108399157B (en) Dynamic extraction method of entity and attribute relationship, server and readable storage medium
JP2017182646A (en) Information processing device, program and information processing method
US20220405484A1 (en) Methods for Reinforcement Document Transformer for Multimodal Conversations and Devices Thereof
KR20160029587A (en) Method and apparatus of Smart Text Reader for converting Web page through TTS
CN111046272A (en) Intelligent question-answering system based on medical knowledge map
KR101333485B1 (en) Method for constructing named entities using online encyclopedia and apparatus for performing the same
US9875298B2 (en) Automatic generation of a search query
CN112487159B (en) Search method, search device, and computer-readable storage medium
JP6846666B2 (en) Translation sentence generation method, translation sentence generation device and translation sentence generation program
CN113641837A (en) Display method and related equipment thereof
JP2019185478A (en) Classification program, classification method, and information processing device
JP6942759B2 (en) Information processing equipment, programs and information processing methods
JP4057962B2 (en) Question answering apparatus, question answering method and program
JP6911983B2 (en) Information processing equipment, programs and information processing methods
US20090144280A1 (en) Electronic multilingual business information database system
CN109284364B (en) Interactive vocabulary updating method and device for voice microphone-connecting interaction
CN113836399A (en) Theme recommendation method and device, computing equipment and storage medium
US10642920B2 (en) System, method, and program for search
US11935425B2 (en) Electronic device, pronunciation learning method, server apparatus, pronunciation learning processing system, and storage medium
Thanadechteemapat et al. Thai word segmentation for visualization of thai web sites
JP7160971B2 (en) content controller

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200428