JP2021166051A

JP2021166051A - Information processing system, information processing method, and program

Info

Publication number: JP2021166051A
Application number: JP2021080767A
Authority: JP
Inventors: 莉乃豊田; Rino Toyoda
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-02-27
Filing date: 2021-05-12
Publication date: 2021-10-14
Anticipated expiration: 2037-02-27
Also published as: JP7127965B2; JP7163989B2; JP2018142056A

Abstract

To provide an information processing system that reduces a communication load in operation of outputting information related to an object contained in a photographed image in a selected language.SOLUTION: An information processing system of a present invention includes: attribute acquisition means that acquires, based on location information, article data corresponding to a specific store, including an attribute of an article in a plurality of languages; image acquisition means that acquires a first image including an object; attribute identification means that identifies an object and an attribute contained in the first image in a certain language; language acceptance means that accepts another language for displaying the attribute; attribute extraction means that extracts, based on the article data, the attribute of another language that corresponds to the identified attribute of a certain language; and attribute output means that outputs the extracted attribute.SELECTED DRAWING: Figure 1

Description

本発明は、情報の処理に関し、特に、複数の言語に関する情報を処理する情報処理装置などに関する。 The present invention relates to information processing, and more particularly to an information processing device that processes information related to a plurality of languages.

近年、日本を訪れる外国人の観光客の数が増加している。外国人の観光客に対応するために、多言語に対応するシステムが望まれている。そこで、多言語に対応するシステムが、提案されている（例えば、特許文献１及び２を参照）。 In recent years, the number of foreign tourists visiting Japan has been increasing. In order to accommodate foreign tourists, a system that supports multiple languages is desired. Therefore, a system corresponding to multiple languages has been proposed (see, for example, Patent Documents 1 and 2).

特許文献１は、多言語の対応したＰｏｉｎｔＯｆＳｙｓｔｅｍ（ＰＯＳ）を開示している。 Patent Document 1 discloses a multilingual corresponding Point Of System (POS).

特許文献２は、紙を用いた日本語の冊子カタログと、データベースに作成された各国言語の仮想カタログとを用いるシステムを開示している。 Patent Document 2 discloses a system that uses a Japanese booklet catalog using paper and a virtual catalog of each country's language created in a database.

また、商品を判別などの操作において、利用者にとって、文字を用いるより、画像を用いた方が、操作などが容易な場合が多い。例えば、商品を撮影する動作は、商品の文字を打ち込む操作に比べ、容易である。そこで、画像を判定する技術が広く用いられている（例えば、特許文献３及び４を参照）。 In addition, in operations such as discriminating products, it is often easier for users to use images than to use characters. For example, the operation of shooting a product is easier than the operation of typing the characters of the product. Therefore, a technique for determining an image is widely used (see, for example, Patent Documents 3 and 4).

特許文献３は、画像の輪郭から商品名などの情報を提供するシステムを開示している。 Patent Document 3 discloses a system that provides information such as a product name from the outline of an image.

特許文献４は、マーカー画像を基にクエリ画像を認識する技術を開示している。 Patent Document 4 discloses a technique for recognizing a query image based on a marker image.

特開２００２−２７９０４２号公報JP-A-2002-279042 特開２００２−３４２２６０号公報JP-A-2002-342260 特開２０１４−２２５２７５号公報Japanese Unexamined Patent Publication No. 2014-225275 特開２０１４−１４２７９７号公報Japanese Unexamined Patent Publication No. 2014-142977

上記のとおり、特許文献１及び２は、対象物に関する情報を、選択した言語を用いて出力することを開示している。 As described above, Patent Documents 1 and 2 disclose that information about an object is output using a language of choice.

しかし、特許文献１及び２に記載の技術は、ユーザ端末が常にネットワークに接続されていること、つまりオンラインであることを前提としている。 However, the techniques described in Patent Documents 1 and 2 presuppose that the user terminal is always connected to the network, that is, online.

しかし、携帯端末などの情報処理装置は、一般的にバッテリー駆動のため、電源容量に制限がある。一方、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）又は携帯電話通信網などを用いた通信は、一般的に、電力の消費が大きい。つまり、通信網などへの常時接続は、携帯端末などの情報処理装置において、通信における消費電力などの負荷が大きくなる。このように、特許文献１及び２の記載の技術は、オンラインを前提としているため、情報処理装置における通信の負荷が大きいという問題点があった。 However, since information processing devices such as mobile terminals are generally battery-powered, their power capacity is limited. On the other hand, communication using a wireless LAN (Local Area Network) or a mobile phone communication network generally consumes a large amount of power. That is, the constant connection to the communication network or the like increases the load such as power consumption in the communication in the information processing device such as the mobile terminal. As described above, since the techniques described in Patent Documents 1 and 2 are premised on being online, there is a problem that the communication load on the information processing apparatus is large.

特許文献３に記載の技術は、画像に含まれる対象物を判定するが、判定において常時接続を前提としている。そのため、特許文献３に記載の技術は、上記問題点を解決できない。 The technique described in Patent Document 3 determines an object included in an image, but the determination is premised on constant connection. Therefore, the technique described in Patent Document 3 cannot solve the above problem.

また、特許文献４に記載の技術は、画像の認識の技術のため、上記通信に関連する問題点を解決できない。 Further, since the technique described in Patent Document 4 is an image recognition technique, the problem related to the above communication cannot be solved.

本発明の目的は、上記問題点を解決し、撮影した画像に含まれる対象物に関する情報を、選択した言語で出力する動作において、通信の負荷の低減を実現する情報処理装置などを提供することにある。 An object of the present invention is to provide an information processing device that solves the above problems and realizes a reduction in communication load in an operation of outputting information about an object included in a captured image in a selected language. It is in.

本発明の一形態における情報処理システムは、位置情報に基づき、複数の言語における物品の属性を含む特定店舗に対応した物品データを取得する属性取得手段と、対象物を含む第１の画像を取得する画像取得手段と、ある言語における、第１の画像に含まれる対象物及び属性を識別する属性識別手段と、属性を表示するための他の言語を受け付ける言語受付手段と、物品データに基づき、識別されたある言語の属性に対応する、他の言語の属性を抽出する属性抽出手段と、抽出された属性を出力する属性出力手段と含む。 The information processing system according to one embodiment of the present invention acquires an attribute acquisition means for acquiring article data corresponding to a specific store including attributes of articles in a plurality of languages based on position information, and a first image including an object. Based on the image acquisition means, the attribute identification means for identifying the object and the attribute included in the first image in a certain language, the language reception means for accepting another language for displaying the attribute, and the article data. It includes an attribute extraction means for extracting the attributes of another language corresponding to the identified attributes of one language, and an attribute output means for outputting the extracted attributes.

本発明の一形態における情報処理方法は、位置情報に基づき、複数の言語における物品の属性を含む特定店舗に対応した物品データを取得し、対象物を含む第１の画像を取得し、ある言語における、第１の画像に含まれる対象物及び属性を識別し、属性を表示するための他の言語を受け付け、物品データに基づき、識別されたある言語の属性に対応する、他の言語の属性を抽出し、抽出された属性を出力する。 The information processing method in one embodiment of the present invention acquires article data corresponding to a specific store including the attributes of articles in a plurality of languages based on position information, acquires a first image including an object, and obtains a certain language. In, other language attributes for identifying objects and attributes contained in the first image, accepting other languages for displaying attributes, and corresponding to the identified attributes of one language based on article data. Is extracted and the extracted attributes are output.

本発明の一形態におけるプログラムは、位置情報に基づき、複数の言語における物品の属性を含む特定店舗に対応した物品データを取得する処理と、対象物を含む第１の画像を取得する処理と、ある言語における、第１の画像に含まれる対象物及び属性を識別する処理と、属性を表示するための他の言語を受け付ける処理と、物品データに基づき、識別されたある言語の属性に対応する、他の言語の属性を抽出する処理と、抽出された属性を出力する処理とをコンピュータに実行させる。 The program according to one embodiment of the present invention includes a process of acquiring article data corresponding to a specific store including attributes of articles in a plurality of languages based on position information, a process of acquiring a first image including an object, and a process of acquiring a first image including an object. Corresponds to the process of identifying an object and an attribute included in the first image in a certain language, the process of accepting another language for displaying the attribute, and the attribute of the identified language based on the article data. , Let the computer execute the process of extracting the attributes of other languages and the process of outputting the extracted attributes.

本発明に基づけば、撮影した画像に含まれる対象物に関する情報を、選択した言語で出力する動作において、通信の負荷の低減を実現するとの効果を奏することができる。 Based on the present invention, it is possible to achieve the effect of reducing the communication load in the operation of outputting the information about the object included in the captured image in the selected language.

図１は、本発明における第１の実施形態に係る情報処理装置を含む情報処理システムの構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of the configuration of an information processing system including the information processing device according to the first embodiment of the present invention. 図２は、第１の実施形態に係る物品データの一例を示す図である。FIG. 2 is a diagram showing an example of article data according to the first embodiment. 図３は、第１の実施形態に係る表示の一例を示す図である。FIG. 3 is a diagram showing an example of a display according to the first embodiment. 図４は、第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。FIG. 4 is a flowchart showing an example of the operation of the information processing apparatus according to the first embodiment. 図５は、第１の実施形態に係る情報処理装置の概要の一例を示すブロック図である。FIG. 5 is a block diagram showing an example of an outline of the information processing apparatus according to the first embodiment. 図６は、第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。FIG. 6 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the first embodiment.

次に、図面を参照して、本発明における実施形態について説明する。 Next, an embodiment of the present invention will be described with reference to the drawings.

なお、各図面は、本発明の実施形態を説明するためのものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。 It should be noted that each drawing is for explaining an embodiment of the present invention. However, the present invention is not limited to the description of each drawing. Further, similar configurations of the drawings may be given the same number, and the repeated description thereof may be omitted. Further, in the drawings used in the following description, the description of the configuration of the portion not related to the description of the present invention may be omitted and not shown.

＜第１の実施形態＞
以下、図面を参照して、本発明における第１の実施形態について説明する。 <First Embodiment>
Hereinafter, the first embodiment of the present invention will be described with reference to the drawings.

［構成の説明］
まず、第１の実施形態に係る情報処理装置１００の構成について、図面を参照して説明する。 [Description of configuration]
First, the configuration of the information processing apparatus 100 according to the first embodiment will be described with reference to the drawings.

図１は、第１の実施形態に係る情報処理装置１００を含む情報処理システム１０の構成の一例を示すブロック図である。情報処理システム１０は、情報処理装置１００と、保存装置２００と、通信路３００とを含む。 FIG. 1 is a block diagram showing an example of the configuration of an information processing system 10 including the information processing device 100 according to the first embodiment. The information processing system 10 includes an information processing device 100, a storage device 200, and a communication path 300.

通信路３００は、情報処理装置１００と保存装置２００との通信を中継する。通信路３００における通信手法は、任意である。例えば、通信路３００は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）又は携帯電話通信網のようなネットワークでもよい。あるいは、通信路３００は、専用線のような、固定的な通信回線でもよい。そのため、通信路３００の詳細な説明を省略する。なお、通信路３００は、無線に限らず、有線でもよい。 The communication path 300 relays communication between the information processing device 100 and the storage device 200. The communication method in the communication path 300 is arbitrary. For example, the communication path 300 may be a network such as a wireless LAN (Local Area Network) or a mobile phone communication network. Alternatively, the communication path 300 may be a fixed communication line such as a dedicated line. Therefore, a detailed description of the communication path 300 will be omitted. The communication path 300 is not limited to wireless, but may be wired.

保存装置２００は、後ほど説明する情報処理装置１００が用いるデータ（以下、「物品データ５００」と呼ぶ）を保存する。 The storage device 200 stores data (hereinafter, referred to as “article data 500”) used by the information processing device 100, which will be described later.

保存装置２００は、通信部２１０と、データ保存部２２０とを含む。 The storage device 200 includes a communication unit 210 and a data storage unit 220.

データ保存部２２０は、物品データ５００を保存する。物品データ５００については、後ほど詳細に説明する。データ保存部２２０における保存手法は、任意である。例えば、データ保存部２２０は、ハードディスク装置を用いたデータベースである。 The data storage unit 220 stores the article data 500. The article data 500 will be described in detail later. The storage method in the data storage unit 220 is arbitrary. For example, the data storage unit 220 is a database using a hard disk device.

通信部２１０は、情報処理装置１００から、物品データ５００の送信の依頼を受信する。そして、通信部２１０は、依頼に対応した物品データ５００を情報処理装置１００に送信する。通信部２１０の通信手法は、通信路３００に合わせて選択される。例えば、通信路３００が無線ＬＡＮの場合、通信部２１０は、無線ＬＡＮに対応した回路又はカードを含む通信装置である。 The communication unit 210 receives a request for transmission of the article data 500 from the information processing device 100. Then, the communication unit 210 transmits the article data 500 corresponding to the request to the information processing device 100. The communication method of the communication unit 210 is selected according to the communication path 300. For example, when the communication path 300 is a wireless LAN, the communication unit 210 is a communication device including a circuit or a card corresponding to the wireless LAN.

情報処理装置１００は、以下で説明するように、画像に含まれる対象物に関連する情報として、ある言語（以下、「第１の言語」とも呼ぶ）における情報に対応して、他の言語（以下、「第２の言語」とも呼ぶ）における情報を出力する。例えば、情報処理装置１００は、画像に含まれる対象物に関連する第１の言語における属性（以下、「第１の属性」と呼ぶ）を、選択された第２の言語における属性（以下、「第２の属性」と呼ぶ）を用いて表示する。属性については、後ほど説明する。 As described below, the information processing apparatus 100 corresponds to information in a certain language (hereinafter, also referred to as "first language") as information related to an object included in an image, and corresponds to another language (hereinafter, also referred to as "first language"). Hereinafter, it is also referred to as "second language") to output information. For example, the information processing apparatus 100 sets an attribute in the first language (hereinafter, referred to as “first attribute”) related to the object included in the image to an attribute in the selected second language (hereinafter, “1st attribute”). It is displayed using "second attribute"). The attributes will be described later.

情報処理装置１００に構成について、詳細に説明する。 The configuration of the information processing device 100 will be described in detail.

情報処理装置１００は、画像取得部１１０と、属性識別部１２０と、取得指示受付部１３０と、属性取得部１４０と、言語受付部１５０と、属性抽出部１６０と、属性出力部１７０とを含む。 The information processing device 100 includes an image acquisition unit 110, an attribute identification unit 120, an acquisition instruction reception unit 130, an attribute acquisition unit 140, a language reception unit 150, an attribute extraction unit 160, and an attribute output unit 170. ..

画像取得部１１０は、処理の対象となる対象物及び属性を含む画像（第１の画像）を取得する。画像取得部１１０は、例えば、カメラである。あるいは、画像取得部１１０は、図示しない他の装置（例えば、撮像装置）から画像を取得してもよい。 The image acquisition unit 110 acquires an image (first image) including an object and an attribute to be processed. The image acquisition unit 110 is, for example, a camera. Alternatively, the image acquisition unit 110 may acquire an image from another device (for example, an image pickup device) (not shown).

属性識別部１２０は、画像に含まれる属性を識別する。属性識別部１２０における属性の識別手法は、任意である。例えば、属性識別部１２０は、一般的な画像認識技術を用いてもよく、特許文献３に記載の技術を用いてもよい。また、属性識別部１２０における属性の識別結果の内容は、任意である。例えば、属性識別部１２０は、画像における属性（例えば、文字データ）を含む範囲を識別してもよい。あるいは、属性識別部１２０は、画像から文字データとしての属性を識別してもよい。 The attribute identification unit 120 identifies the attributes included in the image. The attribute identification method in the attribute identification unit 120 is arbitrary. For example, the attribute identification unit 120 may use a general image recognition technique, or may use the technique described in Patent Document 3. Further, the content of the attribute identification result in the attribute identification unit 120 is arbitrary. For example, the attribute identification unit 120 may identify a range including an attribute (for example, character data) in the image. Alternatively, the attribute identification unit 120 may identify the attribute as character data from the image.

さらに、属性識別部１２０は、画像に含まれる対象物を識別してもよい。属性識別部１２０における対象物の識別手法は、任意である。例えば、属性識別部１２０は、一般的な画像認識技術を用いてもよく、特許文献３に記載の技術を用いてもよい。また、属性識別部１２０における対象物の識別結果の内容は、任意である。例えば、属性識別部１２０は、画像における対象物を含む範囲を識別してもよい。あるいは、属性識別部１２０は、画像認識及び所定のデータを基に対象物の名称を識別してもよい。 Further, the attribute identification unit 120 may identify an object included in the image. The method for identifying the object in the attribute identification unit 120 is arbitrary. For example, the attribute identification unit 120 may use a general image recognition technique, or may use the technique described in Patent Document 3. Further, the content of the identification result of the object in the attribute identification unit 120 is arbitrary. For example, the attribute identification unit 120 may identify a range including an object in the image. Alternatively, the attribute identification unit 120 may identify the name of the object based on image recognition and predetermined data.

取得指示受付部１３０は、「物品データ５００を保存装置２００から取得する指示」を受け付ける。以下、「物品データ５００を保存装置２００から取得する指示」を単に「取得指示」と呼ぶ。 The acquisition instruction receiving unit 130 receives the "instruction to acquire the article data 500 from the storage device 200". Hereinafter, the "instruction to acquire the article data 500 from the storage device 200" is simply referred to as an "acquisition instruction".

例えば、取得指示受付部１３０は、次のように動作する。ここで、取得指示受付部１３０は、表示機能と入力機能とを含むタッチパネルとする。まず、取得指示受付部１３０は、問い合わせ内容（例えば、「通信を利用してデータを取得しますか」）と、要否の入力（例えば、「Ｙｅｓボタン」及び「Ｎｏボタン」）とを表示する。そして、取得指示受付部１３０は、取得の「要」の入力（例えば、「Ｙｅｓボタン」の入力）を検出した場合に、取得指示を受けたと判定する。ただし、取得指示受付部１３０は、タッチパネルに限定されない。また、取得指示受付部１３０の動作は、上記に限定されない。 For example, the acquisition instruction receiving unit 130 operates as follows. Here, the acquisition instruction receiving unit 130 is a touch panel including a display function and an input function. First, the acquisition instruction reception unit 130 displays the inquiry content (for example, "Do you want to acquire data using communication?") And the input of necessity (for example, "Yes button" and "No button"). do. Then, when the acquisition instruction receiving unit 130 detects the input of the acquisition "necessary" (for example, the input of the "Yes button"), it determines that the acquisition instruction has been received. However, the acquisition instruction receiving unit 130 is not limited to the touch panel. Further, the operation of the acquisition instruction receiving unit 130 is not limited to the above.

属性取得部１４０は、上記の取得指示を基に、保存装置２００から物品データ５００を取得する。 The attribute acquisition unit 140 acquires the article data 500 from the storage device 200 based on the above acquisition instruction.

属性取得部１４０は、物品データ５００を取得するときに、保存装置２００との通信を確立する。つまり、情報処理装置１００は、取得指示を基に通信を確立し、必要なデータを取得する。 The attribute acquisition unit 140 establishes communication with the storage device 200 when acquiring the article data 500. That is, the information processing device 100 establishes communication based on the acquisition instruction and acquires necessary data.

属性取得部１４０は、物品データ５００を取得後、通信を切断する。属性取得部１４０における通信の切断手法は、任意である。例えば、属性取得部１４０は、物品データ５００を取得後、所定の時間を経過した場合に、通信を切断してもよい。あるいは、属性取得部１４０は、物品データ５００を取得後、直ちに通信を切断してもよい。あるいは、属性取得部１４０は、利用者の指示を基に、通信を切断してもよい。 The attribute acquisition unit 140 disconnects the communication after acquiring the article data 500. The method of disconnecting the communication in the attribute acquisition unit 140 is arbitrary. For example, the attribute acquisition unit 140 may disconnect the communication when a predetermined time has elapsed after acquiring the article data 500. Alternatively, the attribute acquisition unit 140 may disconnect the communication immediately after acquiring the article data 500. Alternatively, the attribute acquisition unit 140 may disconnect the communication based on the instruction of the user.

さらに、属性取得部１４０は、取得した物品データ５００を保存してもよい。そのため、属性取得部１４０は、物品データ５００を記憶する属性記憶部１４１を含んでもよい。属性記憶部１４１は、例えば、ハードディスク装置又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）である。あるいは、属性記憶部１４１は、不揮発性のメモリ（例えば、フラッシュＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ））でもよい。 Further, the attribute acquisition unit 140 may store the acquired article data 500. Therefore, the attribute acquisition unit 140 may include the attribute storage unit 141 that stores the article data 500. The attribute storage unit 141 is, for example, a hard disk device or an SSD (Solid State Drive). Alternatively, the attribute storage unit 141 may be a non-volatile memory (for example, a flash ROM (Read Only Memory)).

ただし、属性記憶部１４１は、属性取得部１４０に含まれる必要はない。例えば、属性記憶部１４１は、属性取得部１４０の外部の構成でもよい。 However, the attribute storage unit 141 does not have to be included in the attribute acquisition unit 140. For example, the attribute storage unit 141 may have an external configuration of the attribute acquisition unit 140.

図２は、第１の実施形態に係る物品データ５００の一例を示す図である。 FIG. 2 is a diagram showing an example of article data 500 according to the first embodiment.

図２に示されている物品データ５００は、識別子と、画像と、複数の言語に対応した属性とを含む。 The article data 500 shown in FIG. 2 includes an identifier, an image, and attributes corresponding to a plurality of languages.

「識別子」とは、物品を一意に区別するための情報である。 The "identifier" is information for uniquely distinguishing an article.

「画像」とは、物品の画像（第２の画像）である。属性識別部１２０及び／又は属性抽出部１６０は、必要に応じて、物品の画像を用いて動作する。なお、物品データ５００は、複数の画像を含んでもよい。 The "image" is an image of an article (second image). The attribute identification unit 120 and / or the attribute extraction unit 160 operates using an image of the article, if necessary. The article data 500 may include a plurality of images.

「属性」とは、各物品に関連する情報である。より詳細には、属性とは、物品に関連する特徴、性質、状態、量、又は時間に関連する情報である。例えば、属性は、物品の名称、材料、価格、又は日付である。ただし、属性は、上記に限定されない。さらに、属性は、複数の言語それぞれに対応した単語、熟語、節、文、又は、文章である。このように、本実施形態に係る物品データ５００は、複数の言語それぞれに対応した属性を含む。属性は、文字データに限定されない。例えば、属性は、音声データを含んでもよい。 "Attribute" is information related to each article. More specifically, an attribute is information related to a feature, property, condition, quantity, or time associated with an article. For example, the attribute is the name, material, price, or date of the article. However, the attributes are not limited to the above. Further, the attribute is a word, compound word, clause, sentence, or sentence corresponding to each of a plurality of languages. As described above, the article data 500 according to the present embodiment includes attributes corresponding to each of the plurality of languages. Attributes are not limited to character data. For example, the attribute may include audio data.

図２に示す物品データ５００は、言語の例として、第１国（日本）の言語（日本語）、第２国（アメリカ）の言語（英語）、及び、第３国（中国）の言語（中国語）などを含む。ただし、情報処理装置１００が用いる物品データ５００は、属性に用いられる言語、言語の数、及び、言語の保存の順番などを制限されない。 The article data 500 shown in FIG. 2 shows, as examples of languages, the language of the first country (Japan) (Japanese), the language of the second country (US) (English), and the language of the third country (China) ( Chinese) etc. are included. However, the article data 500 used by the information processing apparatus 100 is not limited in the language used for the attributes, the number of languages, the order in which the languages are stored, and the like.

なお、情報処理装置１００は、用いられる国及び言語を限定されない。例えば、情報処理装置１００は、図２における第１国（日本）ないし第３国（中国）などのいずれの国で用いられてもよい。 The information processing device 100 is not limited to the country and language used. For example, the information processing apparatus 100 may be used in any country such as the first country (Japan) or the third country (China) in FIG.

ただし、以下の説明では、説明の便宜のため、図２における第１国が、情報処理装置１００が用いられている国であるとする。つまり、以下の説明では、画像取得部１１０が取得した画像に含まれる対象物の属性は、図２の第１国（日本）の言語（日本語）とする。つまり、以下の説明において、第１の言語（ある言語）は、日本語であるとして説明する。 However, in the following description, for convenience of explanation, it is assumed that the first country in FIG. 2 is the country in which the information processing device 100 is used. That is, in the following description, the attribute of the object included in the image acquired by the image acquisition unit 110 is the language (Japanese) of the first country (Japan) in FIG. That is, in the following description, the first language (a certain language) will be described as Japanese.

なお、属性取得部１４０は、全ての物品データ５００ではなく、一部の物品データ５００を取得してもよい。 The attribute acquisition unit 140 may acquire some article data 500 instead of all article data 500.

例えば、属性識別部１２０が対象物を識別している場合、属性取得部１４０は、全ての物品データ５００ではなく、対象物に関連する物品データ５００を取得してもよい。例えば、属性識別部１２０が対象物をサンドイッチと識別している場合、属性取得部１４０は、物品データ５００の中から、サンドイッチのデータを取得してもよい。 For example, when the attribute identification unit 120 identifies the object, the attribute acquisition unit 140 may acquire the article data 500 related to the object instead of all the article data 500. For example, when the attribute identification unit 120 identifies the object as a sandwich, the attribute acquisition unit 140 may acquire the sandwich data from the article data 500.

ただし、対象物に関連する物品データ５００は、対象物の物品データ５００に限られない。例えば、属性取得部１４０は、対象物を含む種類に対応した物品データ５００を取得して。「種類」とは、対象物を含む物品などの上位概念である。例えば、属性識別部１２０が対象物を「サンドイッチ」を識別し、対象物の種類が「調理パン」の場合、属性取得部１４０は、調理パンに関連する物品データ５００を取得してもよい。 However, the article data 500 related to the object is not limited to the article data 500 of the object. For example, the attribute acquisition unit 140 acquires the article data 500 corresponding to the type including the object. "Type" is a superordinate concept such as an article including an object. For example, when the attribute identification unit 120 identifies the object as a “sandwich” and the type of the object is “cooking bread”, the attribute acquisition unit 140 may acquire the article data 500 related to the cooking bread.

あるいは、情報処理装置１００は、位置情報又は所定の条件を基に、取得する物品データ５００を選択してもよい。例えば、情報処理装置１００は、位置情報を基に、近隣の店舗の商品に関する物品データ５００を取得してもよい。あるいは、情報処理装置１００は、所定の条件として、店舗の関する条件を用いてもよい。例えば、情報処理装置１００は、所定の店舗又は所定の系列の店舗に関連する物品データ５００を取得してもよい。この場合、情報処理装置１００は、所定の条件（例えば、店舗名）に関連する情報（例えば、「ＡＡ店の商品の情報を表示します」）を表示してもよい。このように、情報処理装置１００は、所定の商品又は店舗に対応した物品データ５００を用いてもよい。 Alternatively, the information processing device 100 may select the article data 500 to be acquired based on the position information or predetermined conditions. For example, the information processing device 100 may acquire article data 500 related to products of a nearby store based on the location information. Alternatively, the information processing apparatus 100 may use the conditions relating to the store as predetermined conditions. For example, the information processing device 100 may acquire article data 500 related to a predetermined store or a predetermined series of stores. In this case, the information processing apparatus 100 may display information related to a predetermined condition (for example, a store name) (for example, "displays product information of an AA store"). As described above, the information processing apparatus 100 may use the article data 500 corresponding to a predetermined product or store.

なお、位置を検出する場合、情報処理装置１００は、ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ（ＧＰＳ）のような位置検出部（図示せず）を含めばよい。 When detecting the position, the information processing apparatus 100 may include a position detecting unit (not shown) such as a Global Positioning System (GPS).

このように、属性取得部１４０が物品データ５００の一部を取得する場合、情報処理装置１００は、全ての物品データ５００を取得する場合に比べ、取得するデータ量を削減できる。そのため、情報処理装置１００は、さらに通信の負荷を低減できる。 In this way, when the attribute acquisition unit 140 acquires a part of the article data 500, the information processing apparatus 100 can reduce the amount of data to be acquired as compared with the case of acquiring all the article data 500. Therefore, the information processing device 100 can further reduce the communication load.

言語受付部１５０は、属性抽出部１６０が抽出する対象物の属性の言語（第２の言語）を受け付ける。 The language reception unit 150 receives the language (second language) of the attribute of the object extracted by the attribute extraction unit 160.

例えば、言語受付部１５０は、利用者が選択した言語を受け付ける。この場合、言語受付部１５０は、例えば、次のように動作する。ここで、言語受付部１５０は、タッチパネルとする。まず、言語受付部１５０は、属性を表示するための言語として、複数の言語を表示する。そして、言語受付部１５０は、表示している言語において、利用者などの接触を検出した位置に表示している言語を、選択された言語として受け付ける。ただし、言語受付部１５０は、タッチパネルに限定されない。また、言語受付部１５０の動作は、上記に限定されない。 For example, the language reception unit 150 accepts a language selected by the user. In this case, the language reception unit 150 operates as follows, for example. Here, the language reception unit 150 is a touch panel. First, the language reception unit 150 displays a plurality of languages as languages for displaying attributes. Then, the language reception unit 150 accepts the language displayed at the position where the contact of the user or the like is detected in the displayed language as the selected language. However, the language reception unit 150 is not limited to the touch panel. Further, the operation of the language reception unit 150 is not limited to the above.

なお、属性取得部１４０が物品データ５００を取得済みの場合、言語受付部１５０は、取得済みの物品データ５００に含まれる属性の言語を用いてもよい。例えば、言語受付部１５０は、取得済み物品データ５００に含まれる属性の言語を抽出する。そして、言語受付部１５０は、抽出した言語の中から言語を選択するように、選択用の言語を表示する。そして、言語受付部１５０は、表示した言語の中から選択された言語を取得する。 When the attribute acquisition unit 140 has acquired the article data 500, the language reception unit 150 may use the language of the attribute included in the acquired article data 500. For example, the language reception unit 150 extracts the language of the attribute included in the acquired article data 500. Then, the language reception unit 150 displays the language for selection as if selecting a language from the extracted languages. Then, the language reception unit 150 acquires a language selected from the displayed languages.

属性抽出部１６０は、属性取得部１４０が取得した物品データ５００において、属性識別部１２０が識別したある言語（第１の言語）の属性（第１の属性）を検索する。そして、属性抽出部１６０は、検索した属性（第１の属性）に対応する、言語受付部１５０が受け付けた他の言語（第２の言語）に対応した属性（第２の属性）を抽出する。 The attribute extraction unit 160 searches for the attribute (first attribute) of a certain language (first language) identified by the attribute identification unit 120 in the article data 500 acquired by the attribute acquisition unit 140. Then, the attribute extraction unit 160 extracts the attribute (second attribute) corresponding to the other language (second language) accepted by the language reception unit 150, which corresponds to the searched attribute (first attribute). ..

ただし、属性抽出部１６０は、属性取得部１４０が取得した物品データ５００において、属性識別部１２０が識別した対象物を検索してもよい。この場合、例えば、属性抽出部１６０は、次のように動作する。属性抽出部１６０は、物品データ５００において対象物に関連する属性を抽出する。そして、属性抽出部１６０は、抽出した属性において、属性識別部１２０が識別した対象物に関連する属性（第１の属性）を検索する。そして、属性抽出部１６０は、検索した属性（第１の属性）に対応する、言語受付部１５０が受け付けた言語に対応した属性（第２の属性）を抽出する。 However, the attribute extraction unit 160 may search for the object identified by the attribute identification unit 120 in the article data 500 acquired by the attribute acquisition unit 140. In this case, for example, the attribute extraction unit 160 operates as follows. The attribute extraction unit 160 extracts attributes related to the object in the article data 500. Then, the attribute extraction unit 160 searches for the attribute (first attribute) related to the object identified by the attribute identification unit 120 in the extracted attributes. Then, the attribute extraction unit 160 extracts the attribute (second attribute) corresponding to the language accepted by the language reception unit 150, which corresponds to the searched attribute (first attribute).

対象物に対応して各国の属性の用語が異なる場合がある。例えば、日本語の「原材料」に相当する英語は、食品では「ｓｔｕｆｆ」であり、機械では「ｍａｔｅｒｉａｌ」となる場合がある。属性抽出部１６０は、上記のような対象物に関連する動作を含むと、対象物に対応して各国の属性の用語が異なる場合にも適切な動作を実現できる。 The terminology of the attributes of each country may differ depending on the object. For example, English, which corresponds to "raw material" in Japanese, may be "stuff" in foods and "material" in machines. The attribute extraction unit 160 can realize an appropriate operation even when the term of the attribute of each country is different according to the object, including the operation related to the object as described above.

ただし、属性の併記を利用するなどして、各言語における全ての属性が一意に決定される場合、属性抽出部１６０は、対象物の検索を省略できる。このように、属性識別部１２０は、対象物を識別しなくてもよい。 However, when all the attributes in each language are uniquely determined by using the combined description of the attributes, the attribute extraction unit 160 can omit the search for the object. In this way, the attribute identification unit 120 does not have to identify the object.

図２を参照して、属性抽出部１６０の動作を詳細に説明する。以下の説明は、第１国（日本）での動作とする。さらに、言語受付部１５０は、選択された言語として、第２国（アメリカ）の言語（英語）を受け付けているとする。そして、属性識別部１２０は、対象物の画像の範囲として、図２の識別子００００１の画像（サンドイッチの画像）に対応する画像の範囲を識別したとする。さらに、属性識別部１２０は、その属性として「パン粉（日本語）」と識別したとする。この場合、属性抽出部１６０は、第１の属性として、物品データ５００における識別子００００１の「パン粉（日本語）」を検索する。そして、属性抽出部１６０は、第２の属性として、「パン粉（日本語）」に対応する、「Ｂｒｅａｄｃｒｕｍｂ（英語）」を抽出する。 The operation of the attribute extraction unit 160 will be described in detail with reference to FIG. The following explanation is based on the operation in the first country (Japan). Further, it is assumed that the language reception unit 150 accepts a language (English) of a second country (US) as the selected language. Then, it is assumed that the attribute identification unit 120 identifies the range of the image corresponding to the image (sandwich image) of the identifier 00001 in FIG. 2 as the range of the image of the object. Further, it is assumed that the attribute identification unit 120 identifies "bread crumbs (Japanese)" as its attribute. In this case, the attribute extraction unit 160 searches for the "bread crumbs (Japanese)" of the identifier 000001 in the article data 500 as the first attribute. Then, the attribute extraction unit 160 extracts "Bread crumbs (English)" corresponding to "bread crumbs (Japanese)" as the second attribute.

なお、属性抽出部１６０は、属性の抽出の順番を制限されない。属性抽出部１６０は、まず、属性取得部１４０が取得した物品データ５００において、情報処理装置１００が用いられている国の属性と、言語受付部１５０が受け付けた言語の属性とを抽出してもよい。そして、属性抽出部１６０は、抽出した属性の中から、属性識別部１２０が識別した属性（第１の属性）に対応した属性（第２の属性）を抽出してもよい。 The attribute extraction unit 160 does not limit the order of attribute extraction. First, the attribute extraction unit 160 may extract the attribute of the country in which the information processing device 100 is used and the attribute of the language accepted by the language reception unit 150 in the article data 500 acquired by the attribute acquisition unit 140. good. Then, the attribute extraction unit 160 may extract an attribute (second attribute) corresponding to the attribute (first attribute) identified by the attribute identification unit 120 from the extracted attributes.

なお、取得済みの物品データ５００の中に対象物に関連する属性がない場合、情報処理装置１００は、以下の動作の実行せずに、動作を終了する。 If there is no attribute related to the object in the acquired article data 500, the information processing apparatus 100 ends the operation without executing the following operation.

ただし、情報処理装置１００の動作は、上記の動作に限定されない。例えば、情報処理装置１００は、属性がない場合、図示しない表示器に「属性がないこと」及び／又は「画像の再取得」を表示して、利用者などに画像の再取得を依頼してもよい。 However, the operation of the information processing device 100 is not limited to the above operation. For example, when the information processing apparatus 100 has no attributes, it displays "no attributes" and / or "re-acquisition of an image" on a display (not shown) and requests a user or the like to re-acquire the image. May be good.

属性出力部１７０は、属性抽出部１６０が抽出した属性（第２の属性）を出力する。例えば、属性出力部１７０は、画像取得部１１０が取得した画像における属性（第１の属性）に関連付けて、属性抽出部１６０が抽出した属性（第２の属性）を表示してもよい。 The attribute output unit 170 outputs the attribute (second attribute) extracted by the attribute extraction unit 160. For example, the attribute output unit 170 may display the attribute (second attribute) extracted by the attribute extraction unit 160 in association with the attribute (first attribute) in the image acquired by the image acquisition unit 110.

図３は、属性出力部１７０における表示の一例を示す図である。図３は、日本語（第１国の言語）の属性(第１の属性)の表示に重ねて、英語（第２国の言語）の属性（第２の属性）を表示した例である。図３において、英語（第２国の言語）における属性は、破線に囲まれている。例えば、図３の上部右側には、日本語の属性「食パン（日本語）」に対応した英語の属性「Ｂｒｅａｄ（英語）」が表示されている。なお、図３の属性の表示位置などは、一例である。情報処理装置１００において、属性の表示位置及び方法などは、任意である。さらに、情報処理装置１００は、利用者の指示を基に、属性の表示位置を変更してもよい。 FIG. 3 is a diagram showing an example of display in the attribute output unit 170. FIG. 3 is an example in which the attribute (second attribute) of English (language of the second country) is displayed on top of the display of the attribute (first attribute) of Japanese (language of the first country). In FIG. 3, the attributes in English (the language of the second country) are surrounded by broken lines. For example, the English attribute "Bread (English)" corresponding to the Japanese attribute "Bread (Japanese)" is displayed on the upper right side of FIG. The display position of the attribute in FIG. 3 is an example. In the information processing apparatus 100, the display position and method of the attributes are arbitrary. Further, the information processing apparatus 100 may change the display position of the attribute based on the instruction of the user.

あるいは、属性出力部１７０は、図示しない外部の装置に属性を出力してもよい。この場合、属性出力部１７０は、通信路３００を介した通信手段（例えば、ＬＡＮカード）を含んでもよい。 Alternatively, the attribute output unit 170 may output the attribute to an external device (not shown). In this case, the attribute output unit 170 may include a communication means (for example, a LAN card) via the communication path 300.

［動作の説明］
次に、図面を参照して、第１の実施形態に係る情報処理装置１００の動作について説明する。 [Explanation of operation]
Next, the operation of the information processing apparatus 100 according to the first embodiment will be described with reference to the drawings.

図４は、情報処理装置１００の動作の一例を示すフローチャートである。 FIG. 4 is a flowchart showing an example of the operation of the information processing device 100.

取得指示受付部１３０が、利用者などから物品データ５００の取得指示を受け付けると、属性取得部１４０は、その取得指示を基に、保存装置２００との通信の接続を確立する（ステップＳ４０１）。 When the acquisition instruction receiving unit 130 receives the acquisition instruction of the article data 500 from the user or the like, the attribute acquisition unit 140 establishes a communication connection with the storage device 200 based on the acquisition instruction (step S401).

通信が確立すると、属性取得部１４０は、保存装置２００から物品データ５００を取得する（ステップＳ４０２）。属性取得部１４０は、物品データ５００を取得後、通信を切断する。 When the communication is established, the attribute acquisition unit 140 acquires the article data 500 from the storage device 200 (step S402). The attribute acquisition unit 140 disconnects the communication after acquiring the article data 500.

属性取得部１４０は、取得した物品データ５００を属性記憶部１４１に保存する（ステップＳ４０３）。 The attribute acquisition unit 140 stores the acquired article data 500 in the attribute storage unit 141 (step S403).

画像取得部１１０は、利用者などを操作に基づいて、対象物を含む画像を取得する（ステップＳ４０４）。なお、画像は、対象物の画像（例えば、全体像、又は、外形など）及び対象物の属性を含む。 The image acquisition unit 110 acquires an image including an object based on the operation of the user or the like (step S404). The image includes an image of the object (for example, an overall image or an outer shape) and attributes of the object.

属性識別部１２０は、画像に含まれる属性を識別する（ステップＳ４０５）。例えば、属性識別部１２０は、画像において、属性を含む画像領域を識別する。ただし、属性識別部１２０の動作は、上記の動作に限定されない。例えば、属性識別部１２０は、画像に含まれる属性の文字データを識別してもよい。 The attribute identification unit 120 identifies the attributes included in the image (step S405). For example, the attribute identification unit 120 identifies an image area including an attribute in an image. However, the operation of the attribute identification unit 120 is not limited to the above operation. For example, the attribute identification unit 120 may identify the character data of the attribute included in the image.

属性識別部１２０は、画像に含まれる対象物を識別してもよい。 The attribute identification unit 120 may identify an object included in the image.

なお、ここまでの説明では、取得指示受付部１３０の動作の後に、画像取得部１１０が動作するとして説明した。しかし、取得指示受付部１３０と画像取得部１１０との動作の順番は、上記に限られない。まず、画像取得部１１０及び属性識別部１２０が動作してもよい。それから、取得指示受付部１３０及び属性取得部１４０が動作してもよい。 In the description so far, it has been described that the image acquisition unit 110 operates after the operation of the acquisition instruction reception unit 130. However, the order of operations of the acquisition instruction receiving unit 130 and the image acquisition unit 110 is not limited to the above. First, the image acquisition unit 110 and the attribute identification unit 120 may operate. Then, the acquisition instruction receiving unit 130 and the attribute acquisition unit 140 may operate.

例えば、情報処理装置１００は、画像を取得してから、物品データ５００を取得してもよい。この場合、例えば、属性識別部１２０が、属性又は対象物を識別し、識別後に取得指示受付部１３０に、取得指示を送信してもよい。このように、属性取得部１４０は、取得指示受付部１３０における取得指示の受付の代わりとして、属性識別部１２０における識別の完了を用いてもよい。この場合、情報処理装置１００は、取得指示受付部１３０における取得指示の受付を省略してもよい。さらに、この場合、情報処理装置１００は、取得指示受付部１３０を含まなくてもよい。 For example, the information processing device 100 may acquire the article data 500 after acquiring the image. In this case, for example, the attribute identification unit 120 may identify the attribute or the object, and after the identification, transmit the acquisition instruction to the acquisition instruction reception unit 130. As described above, the attribute acquisition unit 140 may use the completion of the identification in the attribute identification unit 120 instead of the reception of the acquisition instruction in the acquisition instruction reception unit 130. In this case, the information processing apparatus 100 may omit the reception of the acquisition instruction in the acquisition instruction reception unit 130. Further, in this case, the information processing apparatus 100 does not have to include the acquisition instruction receiving unit 130.

あるいは、情報処理装置１００は、画像取得部１１０及び属性識別部１２０の動作と、取得指示受付部１３０及び属性取得部１４０の動作とを、一部又は全部において、並列に実行してもよい。 Alternatively, the information processing apparatus 100 may execute the operations of the image acquisition unit 110 and the attribute identification unit 120 and the operations of the acquisition instruction reception unit 130 and the attribute acquisition unit 140 in part or all in parallel.

属性抽出部１６０は、属性取得部１４０が取得した物品データ５００において、属性識別部１２０が識別した属性（第１の属性）があるか否かを判定する（ステップＳ４０６）。 The attribute extraction unit 160 determines whether or not there is an attribute (first attribute) identified by the attribute identification unit 120 in the article data 500 acquired by the attribute acquisition unit 140 (step S406).

ただし、画像取得部１１０が取得する画像において、属性を識別できない場合がある。そこで、属性がない場合（ステップＳ４０６でＮｏ）、情報処理装置１００は、利用者などに画像の再取得を促してもよい。図４は、点線を用いて、この場合の動作を示している。この場合、情報処理装置１００は、図示しない表示器に、画像を再取得するメッセージ（例えば、「再度、画像に撮影してください」）を表示してもよい。 However, the attributes may not be identified in the image acquired by the image acquisition unit 110. Therefore, when there is no attribute (No in step S406), the information processing apparatus 100 may prompt the user or the like to reacquire the image. FIG. 4 uses a dotted line to show the operation in this case. In this case, the information processing apparatus 100 may display a message for reacquiring an image (for example, "Please take an image again") on a display (not shown).

なお、属性識別部１２０が対象物の識別する場合、属性抽出部１６０は、属性の判定の前に、物品データ５００に対象物があるか否かを判定してもよい。 When the attribute identification unit 120 identifies the object, the attribute extraction unit 160 may determine whether or not there is an object in the article data 500 before determining the attribute.

具体的には、属性抽出部１６０は、物品データ５００において、対象物を検索する。 Specifically, the attribute extraction unit 160 searches for an object in the article data 500.

例えば、属性識別部１２０が対象物として画像領域を識別する場合、属性抽出部１６０は、物品データ５００に含まれる画像において、識別された画像領域に含まれる画像と一致する画像を検索する。ただし、画像取得部１１０が取得する画像は、誤差を含む場合がある。あるいは、画像取得部１１０が取得する画像は、物品データ５００に含まれる画像と、対象物に対する撮影角度及び距離が異なる場合がある。そのため、属性抽出部１６０は、一致の判定として、完全な一致ではなく、ある程度の差異を含む場合においても一致と判定することが望ましい。 For example, when the attribute identification unit 120 identifies an image area as an object, the attribute extraction unit 160 searches the image included in the article data 500 for an image that matches the image included in the identified image area. However, the image acquired by the image acquisition unit 110 may include an error. Alternatively, the image acquired by the image acquisition unit 110 may have a different shooting angle and distance from the image included in the article data 500 with respect to the object. Therefore, it is desirable that the attribute extraction unit 160 determines the match as a match even when the match is not a perfect match and includes some differences.

あるいは、属性識別部１２０が対象物の名称を識別する場合、属性抽出部１６０は、物品データ５００に含まれる名称（例えば、「調理パン」又は「サンドイッチ」）において、対象物の名称と一致する名称を検索する。 Alternatively, when the attribute identification unit 120 identifies the name of the object, the attribute extraction unit 160 matches the name of the object in the name included in the article data 500 (for example, “cooking bread” or “sandwich”). Search for a name.

対象物がない場合、情報処理装置１００は、処理を終了する。なお、この際、情報処理装置１００は、対象物がないことを表示してもよい。例えば、情報処理装置１００は、図示しない表示器に「画像に関連するデータが見つかりません」と表示する。 If there is no object, the information processing apparatus 100 ends the process. At this time, the information processing device 100 may indicate that there is no object. For example, the information processing device 100 displays "Data related to the image cannot be found" on a display (not shown).

ただし、取得した画像と物品データ５００における画像とにおいて撮影角度及び／又は対象物との距離などが異なる場合、取得した画像を用いた一致判定が難しい場合がある。そこで、対象物がない場合、情報処理装置１００は、属性がない場合と同様に、利用者などに画像の再取得を促してもよい。 However, if the captured image and the image in the article data 500 differ in the shooting angle and / or the distance to the object, it may be difficult to determine the match using the acquired image. Therefore, when there is no object, the information processing apparatus 100 may urge the user or the like to reacquire the image as in the case where there is no attribute.

対象物がある場合、情報処理装置１００は、ステップＳ４０６を実行する。つまり、情報処理装置１００は、属性があるか否かを判定する（ステップＳ４０６）。 If there is an object, the information processing apparatus 100 executes step S406. That is, the information processing apparatus 100 determines whether or not there is an attribute (step S406).

属性がある場合（ステップＳ４０６でＹｅｓ）、言語受付部１５０は、属性の表示に用いる言語を取得する（ステップＳ４０７）。例えば、言語受付部１５０は、図示しない表示機器に、利用者が選択できる言語の一覧を表示し、利用者が選択した言語を取得する。この際、言語受付部１５０は、取得した対象物の画像又は名称を表示してもよい。 When there is an attribute (Yes in step S406), the language reception unit 150 acquires the language used for displaying the attribute (step S407). For example, the language reception unit 150 displays a list of languages that can be selected by the user on a display device (not shown), and acquires the language selected by the user. At this time, the language reception unit 150 may display the image or name of the acquired object.

属性抽出部１６０は、物品データ５００から選択された言語における属性を抽出する（ステップＳ４０８）。 The attribute extraction unit 160 extracts the attribute in the language selected from the article data 500 (step S408).

そして、属性出力部１７０は、抽出された属性を出力する（ステップＳ４０９）。例えば、属性出力部１７０は、取得した画像における対象物の画像及び対象物の属性と、抽出した属性とを表示機器（図示せず）に表示する。 Then, the attribute output unit 170 outputs the extracted attribute (step S409). For example, the attribute output unit 170 displays the image of the object in the acquired image, the attribute of the object, and the extracted attribute on a display device (not shown).

なお、ここまでの説明では、言語受付部１５０は、属性識別部１２０などの動作の後に、動作している。しかし、言語受付部１５０の動作は、上記に限定されない。例えば、言語受付部１５０は、予め、言語を受け付けて、保存してもよい。 In the description so far, the language reception unit 150 operates after the operation of the attribute identification unit 120 and the like. However, the operation of the language reception unit 150 is not limited to the above. For example, the language reception unit 150 may receive and save the language in advance.

上記の動作の結果、情報処理装置１００は、取得した画像に含まれる対象物に対応して、利用者などが選択した言語の属性を出力できる。 As a result of the above operation, the information processing apparatus 100 can output the attributes of the language selected by the user or the like corresponding to the object included in the acquired image.

［効果の説明］
次に、第１の実施形態に係る情報処理装置１００の効果について説明する。 [Explanation of effect]
Next, the effect of the information processing apparatus 100 according to the first embodiment will be described.

情報処理装置１００は、撮影した画像に含まれる対象物に関する情報（例えば、属性）を、選択した言語を用いて出力する動作において、通信の負荷を低減するとの効果を奏することができる。 The information processing device 100 can exert an effect of reducing the communication load in an operation of outputting information (for example, an attribute) about an object included in a captured image using a selected language.

その理由は、次のとおりである。 The reason is as follows.

属性取得部１４０が、複数の言語における物品の属性を含む物品データ５００を取得する。画像取得部１１０が、対象物に関連する属性を含む第１の画像を取得する。属性識別部１２０が、ある言語における、第１の画像に含まれる属性を識別する。言語受付部１５０が、属性を表示するための他の言語を受け付ける。属性抽出部１６０が、物品データ５００において、識別されたある言語における属性に関連する、他の言語における属性を抽出する。属性出力部１７０が、抽出された属性を出力する。 The attribute acquisition unit 140 acquires article data 500 including attributes of articles in a plurality of languages. The image acquisition unit 110 acquires a first image including an attribute related to the object. The attribute identification unit 120 identifies the attributes included in the first image in a certain language. The language reception unit 150 accepts another language for displaying the attribute. The attribute extraction unit 160 extracts the attribute in another language related to the identified attribute in one language in the article data 500. The attribute output unit 170 outputs the extracted attributes.

このように、属性抽出部１６０は、画像取得部１１０が取得した画像において、属性識別部１２０が識別した画像に含まれる対象物に関する属性を、言語受付部１５０が受け付けた選択された言語を用いて、物品データ５００から抽出する。そして、属性出力部１７０が、抽出した属性を出力する。 As described above, the attribute extraction unit 160 uses the selected language received by the language reception unit 150 for the attributes related to the object included in the image identified by the attribute identification unit 120 in the image acquired by the image acquisition unit 110. Then, it is extracted from the article data 500. Then, the attribute output unit 170 outputs the extracted attribute.

ただし、属性取得部１４０は、上記動作に用いる物品データ５００を、所定の指示、又は処理に対応して通信を確立して取得する。そのため、情報処理装置１００は、常時の接続を必要としない。そのため、情報処理装置１００は、通信の負荷を低減するとの効果を奏することができる。 However, the attribute acquisition unit 140 acquires the article data 500 used for the above operation by establishing communication in response to a predetermined instruction or process. Therefore, the information processing device 100 does not require a constant connection. Therefore, the information processing device 100 can exert the effect of reducing the communication load.

属性取得部１４０が物品データ５００を取得するタイミングは、任意である。例えば、属性取得部１４０は、取得指示受付部１３０が受け付けた取得指示を基に、物品データ５００を取得してもよい。このように、属性取得部１４０は、属性の識別とは非同期に、物品データ５００を取得してもよい。 The timing at which the attribute acquisition unit 140 acquires the article data 500 is arbitrary. For example, the attribute acquisition unit 140 may acquire the article data 500 based on the acquisition instruction received by the acquisition instruction reception unit 130. In this way, the attribute acquisition unit 140 may acquire the article data 500 asynchronously with the attribute identification.

あるいは、属性取得部１４０は、属性識別部１２０における属性又は対象物の識別に対応した取得指示を基に、物品データ５００を取得してもよい。このように、属性取得部１４０は、属性の識別と同期して、物品データ５００を取得してもよい。 Alternatively, the attribute acquisition unit 140 may acquire the article data 500 based on the acquisition instruction corresponding to the identification of the attribute or the object in the attribute identification unit 120. In this way, the attribute acquisition unit 140 may acquire the article data 500 in synchronization with the identification of the attribute.

さらに、属性取得部１４０は、取得した物品データ５００を、属性記憶部１４１に保存してもよい。 Further, the attribute acquisition unit 140 may store the acquired article data 500 in the attribute storage unit 141.

情報処理装置１００は、予め、物品データ５００を取得して保存しておくと、属性の表示をオフラインで動作できるとの効果を奏することができる。 If the information processing device 100 acquires and saves the article data 500 in advance, it can have the effect that the display of the attributes can be operated offline.

さらに、情報処理装置１００は、画像を用いて属性（及び対象物）を識別する。 Further, the information processing apparatus 100 identifies an attribute (and an object) using an image.

そのため、例えば、情報処理装置１００は、外国人などのように対象物の名称を読むことができない利用者に対しても、対象物に関する属性を出力することができる。 Therefore, for example, the information processing device 100 can output attributes related to an object even to a user who cannot read the name of the object, such as a foreigner.

なお、属性は、対象物の名称を含んでもよい。そこで、情報処理装置１００は、対象物の名称を表示してもよい。この場合、情報処理装置１００は、画像から対象物の名称を出力できるため、外国人などのように対象物の名称を読むことができない利用者に対して、対象物の名称を出力できる。 The attribute may include the name of the object. Therefore, the information processing device 100 may display the name of the object. In this case, since the information processing device 100 can output the name of the object from the image, the name of the object can be output to a user who cannot read the name of the object, such as a foreigner.

また、情報処理装置１００の属性取得部１４０は、対象物又は対象物の種類に関連する物品データ５００を取得することができる。この場合、情報処理装置１００は、全ての物品データ５００を取得する場合に比べ、取得するデータ量を削減できる。そのため、情報処理装置１００は、さらに通信の負荷を低減できるとの効果を奏する。 In addition, the attribute acquisition unit 140 of the information processing device 100 can acquire the object or the article data 500 related to the type of the object. In this case, the information processing apparatus 100 can reduce the amount of data to be acquired as compared with the case of acquiring all the article data 500. Therefore, the information processing device 100 has the effect of further reducing the communication load.

［実施形態の概要］
図面を参照して、第１の実施形態の概要について説明する。 [Outline of Embodiment]
The outline of the first embodiment will be described with reference to the drawings.

図５は、第１の実施形態の概要である情報処理装置１０１の構成の一例を示すブロック図である。 FIG. 5 is a block diagram showing an example of the configuration of the information processing apparatus 101, which is an outline of the first embodiment.

情報処理装置１０１は、画像取得部１１０と、属性識別部１２０と、属性取得部１４０と、言語受付部１５０と、属性抽出部１６０と、属性出力部１７０とを含む。 The information processing device 101 includes an image acquisition unit 110, an attribute identification unit 120, an attribute acquisition unit 140, a language reception unit 150, an attribute extraction unit 160, and an attribute output unit 170.

情報処理装置１０１は、図示しない通信路３００に相当する構成を介して、図示しない保存装置２００に相当する装置と接続され、図１に示されている情報処理装置１００と同様に動作する。 The information processing device 101 is connected to a device corresponding to a storage device 200 (not shown) via a configuration corresponding to a communication path 300 (not shown), and operates in the same manner as the information processing device 100 shown in FIG.

情報処理装置１０１の各構成は、次のように動作する。 Each configuration of the information processing device 101 operates as follows.

上記構成を基に、情報処理装置１０１は、図１に示されている情報処理装置１００と同様の効果を得ることができる。 Based on the above configuration, the information processing device 101 can obtain the same effect as the information processing device 100 shown in FIG.

その理由は、上記のとおり、情報処理装置１０１の各構成が、情報処理装置１００の各構成と同様に動作するためである。 The reason is that, as described above, each configuration of the information processing device 101 operates in the same manner as each configuration of the information processing device 100.

なお、図４の情報処理装置１０１は、本発明の実施形態における最小構成である。 The information processing device 101 of FIG. 4 is the minimum configuration in the embodiment of the present invention.

［ハードウェア構成］
次に、図面を参照して、情報処理装置１００及び情報処理装置１０１のハードウェア構成について、情報処理装置１００を用いて説明する。 [Hardware configuration]
Next, with reference to the drawings, the hardware configurations of the information processing device 100 and the information processing device 101 will be described using the information processing device 100.

例えば、情報処理装置１００の各構成部は、ハードウェア回路で構成されてもよい。 For example, each component of the information processing device 100 may be composed of a hardware circuit.

また、情報処理装置１００において、各構成部は、ネットワークを介して接続した複数の装置を用いて、構成されてもよい。 Further, in the information processing device 100, each component may be configured by using a plurality of devices connected via a network.

また、情報処理装置１００において、複数の構成部は、１つのハードウェアで構成されてもよい。 Further, in the information processing apparatus 100, a plurality of components may be configured by one piece of hardware.

また、情報処理装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、ＲＯＭと、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。情報処理装置１００は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。 Further, the information processing device 100 may be realized as a computer device including a CPU (Central Processing Unit), a ROM, and a RAM (Random Access Memory). The information processing device 100 may be realized as a computer device including a network interface circuit (NIC) in addition to the above configuration.

図６は、情報処理装置１００のハードウェア構成の一例である情報処理装置６００の構成を示すブロック図である。 FIG. 6 is a block diagram showing a configuration of an information processing device 600, which is an example of a hardware configuration of the information processing device 100.

情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、入力機器６６０と、表示機器６７０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。各構成は、バス６５０を介して接続されている。 The information processing device 600 includes a CPU 610, a ROM 620, a RAM 630, an internal storage device 640, an input device 660, a display device 670, and a NIC 680 to form a computer device. Each configuration is connected via bus 650.

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、入力機器６６０と、表示機器６７０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１に示されている情報処理装置１００としての各機能を実現する。各機能とは、画像取得部１１０と、属性識別部１２０と、言語受付部１５０と、取得指示受付部１３０と、属性取得部１４０と、属性抽出部１６０と、属性出力部１７０としての機能である。 The CPU 610 reads the program from the ROM 620. Then, the CPU 610 controls the RAM 630, the internal storage device 640, the input device 660, the display device 670, and the NIC 680 based on the read program. Then, the computer including the CPU 610 controls these configurations and realizes each function as the information processing apparatus 100 shown in FIG. Each function is a function as an image acquisition unit 110, an attribute identification unit 120, a language reception unit 150, an acquisition instruction reception unit 130, an attribute acquisition unit 140, an attribute extraction unit 160, and an attribute output unit 170. be.

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶媒体として使用してもよい。 The CPU 610 may use the RAM 630 or the internal storage device 640 as a temporary storage medium for the program when realizing each function.

また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。 Further, the CPU 610 may read the program included in the storage medium 700 that stores the program so that it can be read by a computer by using a storage medium reading device (not shown). Alternatively, the CPU 610 may receive a program from an external device (not shown) via the NIC 680, store the program in the RAM 630, and operate based on the saved program.

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ−ＲＯＭ）又はフラッシュＲＯＭである。 The ROM 620 stores a program executed by the CPU 610 and fixed data. The ROM 620 is, for example, a P-ROM (Programmable-ROM) or a flash ROM.

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Ｄｙｎａｍｉｃ−ＲＡＭ）である。 The RAM 630 temporarily stores programs and data executed by the CPU 610. The RAM 630 is, for example, a D-RAM (Dynamic-RAM).

内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。内部記憶装置６４０は、属性記憶部１４１として動作してもよい。内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）又はディスクアレイ装置である。 The internal storage device 640 stores data and programs stored in the information processing device 600 for a long period of time. The internal storage device 640 may operate as the attribute storage unit 141. The internal storage device 640 may operate as a temporary storage device of the CPU 610. The internal storage device 640 is, for example, a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive) or a disk array device.

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）の記憶媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記憶媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。 Here, the ROM 620 and the internal storage device 640 are non-volatile storage media. On the other hand, the RAM 630 is a volatile storage medium. Then, the CPU 610 can operate based on the program stored in the ROM 620, the internal storage device 640, or the RAM 630. That is, the CPU 610 can operate using a non-volatile storage medium or a volatile storage medium.

入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、取得指示受付部１３０、画像取得部１１０、及び／又は、言語受付部１５０として動作してもよい。入力機器６６０は、例えば、キーボード、マウス、又は、カメラである。 The input device 660 is a device that receives an input instruction from the operator of the information processing device 600. The input device 660 may operate as an acquisition instruction reception unit 130, an image acquisition unit 110, and / or a language reception unit 150. The input device 660 is, for example, a keyboard, a mouse, or a camera.

表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、属性出力部１７０として動作してもよい。表示機器６７０は、例えば、液晶ディスプレイである。 The display device 670 is a device that displays information to the operator of the information processing device 600. The display device 670 may operate as the attribute output unit 170. The display device 670 is, for example, a liquid crystal display.

なお、入力機器６６０及び表示機器６７０は、一つの装置で構成されてもよい。例えば、入力機器６６０と表示機器６７０は、入力機能と表示機能とを含むタッチパネルでもよい。 The input device 660 and the display device 670 may be composed of one device. For example, the input device 660 and the display device 670 may be a touch panel including an input function and a display function.

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、属性取得部１４０として動作してもよい。ＮＩＣ６８０は、例えば、無線ＬＡＮカード又は携帯電話網への無線通信アダプタである。さらに、ＮＩＣ６８０は、無線に限らず、有線を用いてもよい。 The NIC680 relays the exchange of data with an external device (not shown) via a network. The NIC 680 may operate as the attribute acquisition unit 140. NIC680 is, for example, a wireless LAN card or a wireless communication adapter to a mobile phone network. Further, the NIC680 is not limited to wireless, and may be wired.

このように構成された情報処理装置６００は、情報処理装置１００と同様の効果を得ることができる。 The information processing device 600 configured in this way can obtain the same effect as the information processing device 100.

その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて情報処理装置１００と同様の機能を実現できるためである。 The reason is that the CPU 610 of the information processing apparatus 600 can realize the same functions as the information processing apparatus 100 based on the program.

なお、保存装置２００が、図６に示されているコンピュータを用いて構成されてもよい。 The storage device 200 may be configured using the computer shown in FIG.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the invention of the present application has been described above with reference to the embodiment, the invention of the present application is not limited to the above embodiment. Various modifications that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the configuration and details of the present invention.

本発明は、外国人の観光客が多い施設、例えば、ホテル又はレストランなどの宿泊施設において利用可能である。あるいは、本発明は、飲食店、サービス業、コンビニ、スーパー、又は、デパートなどの販売店において利用可能である。 The present invention can be used in facilities with many foreign tourists, for example, accommodation facilities such as hotels or restaurants. Alternatively, the present invention can be used in a restaurant, a service industry, a convenience store, a supermarket, or a store such as a department store.

１０情報処理システム
１００情報処理装置
１０１情報処理装置
１１０画像取得部
１２０属性識別部
１３０取得指示受付部
１４０属性取得部
１４１属性記憶部
１５０言語受付部
１６０属性抽出部
１７０属性出力部
２００保存装置
２１０通信部
２２０データ保存部
３００通信路
５００物品データ
６００情報処理装置
６１０ＣＰＵ
６２０ＲＯＭ
６３０ＲＡＭ
６４０内部記憶装置
６５０バス
６６０入力機器
６７０表示機器
６８０ＮＩＣ
７００記憶媒体 10 Information processing system 100 Information processing device 101 Information processing device 110 Image acquisition unit 120 Attribute identification unit 130 Acquisition instruction reception unit 140 Attribute acquisition unit 141 Attribute storage unit 150 Language reception unit 160 Attribute extraction unit 170 Attribute output unit 200 Storage device 210 Communication Unit 220 Data storage unit 300 Communication path 500 Article data 600 Information processing device 610 CPU
620 ROM
630 RAM
640 Internal storage device 650 Bus 660 Input device 670 Display device 680 NIC
700 storage medium

Claims

Attribute acquisition means for acquiring article data corresponding to a specific store, including the attributes of articles in multiple languages, based on location information.
An image acquisition means for acquiring a first image including an object,
In a certain language, an attribute identification means for identifying the object and the attribute included in the first image, and
A language reception means that accepts other languages for displaying the attributes, and
An attribute extraction means for extracting the attribute of the other language corresponding to the attribute of the identified language based on the article data.
An information processing system including an attribute output means for outputting the extracted attributes.

The attribute acquisition means
The information processing system according to claim 1, wherein the acquired article data is stored.

The attribute identification means
Identify the object and
The attribute extraction means
The information processing system according to claim 1 or 2, wherein the attribute related to the identified object is extracted.

The article data includes a second image of the article.
The attribute identification means
The information processing system according to claim 3, wherein the object is identified by using the second image.

Further including an acquisition instruction receiving means for receiving an acquisition instruction for acquiring the article data,
The information processing system according to any one of claims 1 to 4, wherein the attribute acquisition means acquires the article data based on the acquisition instruction.

The attribute identification means
The information processing system according to any one of claims 1 to 4, wherein after identifying the attribute, the attribute acquisition means is instructed to acquire the article data.

The attribute output means
The information processing system according to any one of claims 1 to 6, which outputs the attribute included in the first image and the extracted attribute in association with each other.

Information processing device
Based on location information, acquire article data corresponding to a specific store, including the attributes of articles in multiple languages,
Get the first image containing the object,
Identifying the object and the attribute contained in the first image in a language
Accepting other languages to display the attributes,
Based on the article data, the attribute of the other language corresponding to the attribute of the identified language is extracted.
An information processing method that outputs the extracted attributes.

Based on location information, the process of acquiring article data corresponding to a specific store, including the attributes of articles in multiple languages, and
The process of acquiring the first image including the object,
A process of identifying the object and the attribute included in the first image in a certain language.
Processing that accepts other languages for displaying the attributes,
A process of extracting the attribute of the other language corresponding to the attribute of the identified language based on the article data.
A program that causes a computer to execute a process that outputs the extracted attributes.