JP2017033157A - Commodity information provision system, commodity information provision method, terminal, application program, and management server - Google Patents
Commodity information provision system, commodity information provision method, terminal, application program, and management server Download PDFInfo
- Publication number
- JP2017033157A JP2017033157A JP2015150704A JP2015150704A JP2017033157A JP 2017033157 A JP2017033157 A JP 2017033157A JP 2015150704 A JP2015150704 A JP 2015150704A JP 2015150704 A JP2015150704 A JP 2015150704A JP 2017033157 A JP2017033157 A JP 2017033157A
- Authority
- JP
- Japan
- Prior art keywords
- product
- information
- image
- terminal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、商品情報提供システム、商品情報提供方法、端末、アプリケーションプログラム及び管理サーバに関する。 The present invention relates to a product information providing system, a product information providing method, a terminal, an application program, and a management server.
従来、端末のカメラで撮影した画像を解析して、撮影された商品又はパッケージに付与された文字列又はバーコードを抽出し、これを用いて商品データベースを検索し、当該商品を特定し、その情報を端末に提供してオンライン販売サイトでの商品購入を促すシステムが提案されている(特許文献1参照)。 Conventionally, an image captured by a terminal camera is analyzed, a character string or barcode attached to the captured product or package is extracted, and a product database is searched using this to identify the product, There has been proposed a system that provides information to a terminal and promotes purchase of a product on an online sales site (see Patent Document 1).
また、撮影した画像についての特徴を示す特徴情報を抽出し、これと同一又は類似した特徴情報の商品画像データをデータベースから取得することが知られている(特許文献2参照)。 In addition, it is known that feature information indicating features of a photographed image is extracted, and product image data having the same or similar feature information is acquired from a database (see Patent Document 2).
ウェブサービスとして、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する商品比較サイトが知られている。しかし、一つのウェブサービスが取り扱うことができる商品の種類には限りがある。このため、例えば、商品カテゴリごとに複数のウェブサービスが存在している。 As a web service, a product comparison site that provides product information obtained from a plurality of sales sites for the same product is known. However, the types of products that a single web service can handle are limited. For this reason, for example, a plurality of web services exist for each product category.
ユーザは、商品を調べるときに、最も適切と考える商品比較サイトを選び、インターネットブラウザ又は当該サイトの専用アプリを用いて商品を検索し、商品情報を取得する必要がある。しかし商品比較サイトの選択が不適切な場合には商品を検索しても見つからないことがある。その場合には、他の商品比較サイトで再度検索を試みるために、改めてインターネットブラウザでアクセスしたり、他の専用アプリを起動したりする必要があるので、極めて煩雑である。 When examining a product, the user needs to select a product comparison site considered most appropriate, search for the product using an Internet browser or a dedicated application on the site, and acquire product information. However, if the product comparison site is inappropriately selected, it may not be found by searching for the product. In that case, in order to try the search again on another product comparison site, it is necessary to access again with an Internet browser or start another dedicated application, which is extremely complicated.
本発明は、ユーザが最適な商品比較サイトの検討を行うことなく商品情報を取得することが可能な商品情報提供システム、商品情報提供方法、端末、アプリケーションプログラム及び管理サーバを提供することを目的とする。 An object of the present invention is to provide a product information providing system, a product information providing method, a terminal, an application program, and a management server that allow a user to acquire product information without examining an optimal product comparison site. To do.
本発明の商品情報提供システムは、管理サーバと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバと、で構成された商品情報提供システムにおいて、前記管理サーバは、商品に関連する商品検索キーと、前記商品比較サイトサーバのうち一つ及び前記商品を示す識別情報と、が対応付けて登録されている第1のデータベースと、前記第1のデータベースに登録された前記商品検索キー及び検索条件情報を用いて、前記検索条件情報に対応する前記識別情報を取得して端末に送信する照合部と、を具備することを特徴とする。 The product information providing system of the present invention is a product information providing system configured by a management server and a plurality of product comparison site servers that provide product information obtained from a plurality of sales sites for the same product in an integrated manner. The management server includes a first database in which product search keys related to products, identification information indicating one of the product comparison site servers and the products are registered in association with each other, and the first And a collation unit that acquires the identification information corresponding to the search condition information and transmits it to the terminal using the product search key and search condition information registered in the database.
この構成により、複数の商品比較サイトサーバのうち、商品の情報を取り扱っている一つの商品比較サイトサーバが選択されるので、端末のユーザは、最適な商品比較サイトの選択を行うことなく、必要な商品情報を取得することができる。 With this configuration, one product comparison site server that handles product information is selected from among a plurality of product comparison site servers, so the user of the terminal is required without selecting the optimal product comparison site. Product information can be acquired.
本発明の商品情報提供システムにおいて、前記商品検索キーが、商品を含む商品画像に関する画像関連情報、商品に関連するテキスト、商品識別コード、音情報及びWebページ関連情報のいずれかを含むことが好ましい。 In the product information providing system of the present invention, it is preferable that the product search key includes any of image related information related to a product image including the product, text related to the product, product identification code, sound information, and Web page related information. .
本発明の商品情報提供システムにおいて、前記第1のデータベースは、ユニークに付与されたレコード識別情報に、前記商品検索キー及び前記識別情報の少なくとも一組が対応付けて登録されていることが好ましい。 In the product information providing system of the present invention, it is preferable that in the first database, at least one set of the product search key and the identification information is registered in association with uniquely assigned record identification information.
本発明の商品情報提供システムにおいて、前記管理サーバが、前記端末のユーザに関するユーザ情報と、前記照合部が取得した前記識別情報とを、第2のデータベースに対応付けて登録するデータベース制御部をさらに具備することが好ましい。 In the product information providing system of the present invention, the management server further includes a database control unit that registers user information related to the user of the terminal and the identification information acquired by the verification unit in association with a second database. It is preferable to comprise.
本発明の商品情報提供システムにおいて、前記データベース制御部は、前記商品比較サイトから送信された前記識別情報に基づいて、前記第2のデータベースに購入履歴を登録することが好ましい。 In the product information providing system of the present invention, it is preferable that the database control unit registers a purchase history in the second database based on the identification information transmitted from the product comparison site.
本発明の商品情報提供システムにおいて、前記データベース制御部は、前記端末から受信した前記識別情報に基づいて前記第2のデータベースに前記端末におけるクリッピング履歴を登録することが好ましい。 In the product information providing system of the present invention, it is preferable that the database control unit registers a clipping history in the terminal in the second database based on the identification information received from the terminal.
本発明の商品情報提供システムにおいて、前記商品検索キーが前記商品画像であり、前記照合部は、前記第1のデータベースに登録された前記商品画像の画像関連情報及び画像データから抽出された画像関連情報を用いて、前記画像データに対応する前記識別情報を取得して端末に送信することが好ましい。 In the product information providing system according to the present invention, the product search key is the product image, and the collation unit extracts image related information extracted from image related information and image data of the product image registered in the first database. It is preferable that the identification information corresponding to the image data is acquired using information and transmitted to the terminal.
本発明の商品情報提供システムにおいて、前記管理サーバは、前記画像データから抽出された前記画像関連情報と前記商品画像の前記画像関連情報との一致率を算出する画像解析部をさらに具備し、前記データベース制御部は、前記第2のデータベースに前記一致率を登録することが好ましい。 In the product information providing system of the present invention, the management server further includes an image analysis unit that calculates a matching rate between the image related information extracted from the image data and the image related information of the product image, The database control unit preferably registers the coincidence rate in the second database.
本発明の商品情報提供システムにおいて、前記第1のデータベースには、前記商品画像に対応付けて音情報がさらに登録され、前記照合部は、前記音情報及び音データをさらに用いて、前記画像データ及び前記音データに対応する前記識別情報を取得することが好ましい。 In the product information providing system of the present invention, sound information is further registered in the first database in association with the product image, and the collation unit further uses the sound information and sound data to generate the image data. It is preferable to acquire the identification information corresponding to the sound data.
本発明の商品情報提供システムにおいて、前記商品画像は、広告メディアに使用されているものであることが好ましい。 In the product information providing system of the present invention, it is preferable that the product image is used for advertising media.
本発明の商品情報提供方法は、管理サーバが、商品に関する商品検索キーを受信する工程と、前記管理サーバが、前記商品検索キーを用いて、前記商品検索キーと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバの一つ及び商品を示す識別情報と、が対応付けて登録されている第1のデータベースを検索し、前記商品検索キーに対応する前記識別情報を取得して端末に送信する工程と、を具備することを特徴とする。 In the product information providing method of the present invention, the management server receives a product search key related to a product, and the management server uses the product search key to sell a plurality of items for the same product. Searching a first database in which product information obtained from a site is provided in a unified manner, and one of a plurality of product comparison site servers and identification information indicating a product are registered in association with each other, and the product search key Obtaining the identification information corresponding to the information and transmitting it to the terminal.
本発明の端末は、上記記載の商品情報提供システムで用いられることを特徴とする。 The terminal of the present invention is used in the product information providing system described above.
本発明のアプリケーションプログラムは、上記記載の商品情報提供システムで用いられる端末上で実行されることを特徴とする。 The application program of the present invention is executed on a terminal used in the product information providing system described above.
本発明の管理サーバは、商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第1のデータベースと、前記第1のデータベースを用いて、端末から受信した検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を端末に送信する照合部と、を具備することを特徴とする。 The management server of the present invention includes a product search key related to a product, a first database in which identification information indicating one of the product and a plurality of product comparison sites is associated and registered, Using the first database, identifying the product search key based on the search condition information received from the terminal, and including a verification unit that transmits the identification information corresponding to the product search key to the terminal. Features.
本発明によれば、ユーザが、最適な商品比較サイトの選択を行うことなく商品情報を取得することが可能な商品情報提供システム、商品情報提供方法、端末、アプリケーションプログラム及び管理サーバを提供することができる。 According to the present invention, it is possible to provide a product information providing system, a product information providing method, a terminal, an application program, and a management server that enable a user to acquire product information without selecting an optimal product comparison site. Can do.
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
<概要>
図1は、本実施の形態に係る商品情報提供システムのネットワーク構成を示す概略図である。商品情報提供システム1では、複数の端末100、管理サーバ2、商品比較サイトサーバ3、4及び販売サイトサーバ5〜10がインターネット50を介して相互に通信可能に接続されている。インターネット50は、LAN、移動体通信網、Wi−Fiなどを含んでいる。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
<Overview>
FIG. 1 is a schematic diagram showing a network configuration of a product information providing system according to the present embodiment. In the product
ここでは、説明を簡略にするために、2つの商品比較サイトサーバ3、4及び6つの販売サイトサーバ5〜10を図示しているが、実際にはもっと多くの商品比較サイトサーバ及び購入サイトが存在する。
Here, in order to simplify the description, two product
<端末>
図2は、本実施の形態に係る商品情報提供システムにおける端末を示すブロック図である。図2に示すように、端末100は、中央制御部101、ネットワークインターフェイス(I/F)102、GPS受信部103、カメラ部104、ディスプレイ部105、UIデバイス106、メモリ107、ストレージデバイス108、電源供給部109、時計部110及びマイク部111を備えている。
<Terminal>
FIG. 2 is a block diagram showing a terminal in the product information providing system according to the present embodiment. As shown in FIG. 2, the
中央制御部101は、端末100の各部を制御するものである。具体的には、中央制御部101は、CPU(Central Processing Unit)等を備え、メモリ107を用いてオペレーティングシステム(OS)や各種処理プログラムに従って各種の制御動作を行う。
The
ネットワークインターフェイス102は、インターネット50を含むネットワークを介してデータ通信等を遂行する。
The
GPS受信部103は、人工衛星からGPS信号を受信して地理的位置(例えば、座標)を中央制御部101に出力する。
The
カメラ部104は、静止画や動画像を撮影するためのレンズ及び光学素子を含む。
The
ディスプレイ部105は、中央制御部101で生成された各種情報を表示する。
The
UI(ユーザインターフェイス)デバイス106は、ユーザによる操作を受け付けるものであり、ボタン、キー、タッチパネル等が含まれる。UIデバイス106は、これらの操作に応じて所定の操作信号を中央制御部101に出力する。なお、マイク部111(後述)から入力された音声信号を中央制御部101に出力し、操作命令を認識させて操作してもよい。
A UI (user interface)
メモリ107は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部101等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部101等のワーキングメモリとして機能する。
The
ストレージデバイス108は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、中央制御部101の動作に必要な各種プログラムやデータを記憶している。
The
電源供給部109は、端末100に必要な電力を供給するために、バッテリ又は外部電源ソースと連結される。
The
時計部110は、時計機能を有し、日時の情報を中央制御部101に出力する。
The
マイク部111は、音を電気信号に変換して中央制御部101に出力する。
The
以上説明した端末100において、目的に応じてアプリケーションプログラムやデータを適宜用意することで、以降で説明するような各種機能を実現することができる。 In the terminal 100 described above, various functions as described below can be realized by appropriately preparing application programs and data according to the purpose.
本実施の形態においては、端末100は、スマートフォンやタブレットを想定しているが、特に限定されるものではなく、カメラ及び通信機能を備えたスマートウオッチやスマートグラスのような各種ウエラブル端末であってもよいことは言うまでもない。また、通信機能を備えたデジタルカメラも包含される。ただし、端末100は、ウエラブル端末に限定されるものではなく、例えば、パーソナルコンピュータのような、インターネット50に接続されるすべてのデバイスが包含される。パーソナルコンピュータを用いる場合、カメラ部104又は画面取込部1002(後述)のような画像入力手段(後述)を備えている必要がある。
In the present embodiment, the terminal 100 is assumed to be a smartphone or a tablet, but is not particularly limited, and may be various wearable terminals such as a smart watch or a smart glass having a camera and a communication function. Needless to say. A digital camera having a communication function is also included. However, the terminal 100 is not limited to a wearable terminal, and includes all devices connected to the
本実施の形態においては、商品情報提供システム1は、いわゆるマルチデバイスに対応している。すなわち、ユーザが端末100を複数所有し、それぞれに買い物カメラアプリ(後述)をインストールし、一つのユーザIDを用いてシステムにログインすることで、商品情報提供システム1によるサービスを利用することができ、複数の端末100によるクリッピング履歴(後述)や購入履歴(後述)を、一つのユーザIDに紐付けてユーザ情報DB(後述)に登録することが可能である。
In the present embodiment, the product
<サーバ>
上述のように、本実施の形態に係る商品情報提供システム1には、管理サーバ2、商品比較サイトサーバ3、4及び販売サイトサーバ5〜10が含まれる。図3は、本実施の形態に係る商品情報提供システムにおけるサーバを示すブロック図である。
<Server>
As described above, the product
図3に示すように、サーバ200は、中央制御部201、ネットワークインターフェイス202、ストレージデバイス203、メモリ204及び電源供給部205を備えている。
As illustrated in FIG. 3, the
中央制御部201は、サーバ200の各部を制御するものである。具体的には、中央制御部201は、CPU等を備え、メモリ204を用いてOSや各種処理プログラムに従って各種の制御動作を行う。
The
ネットワークインターフェイス202は、インターネット50を含むネットワークを介してデータ通信等を遂行する。
The
ストレージデバイス203は、例えば、不揮発性メモリ等により構成され、中央制御部201の動作に必要な各種プログラムやデータを記憶している。
The
メモリ204は、例えば、DRAM等により構成され、中央制御部201等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部201等のワーキングメモリとして機能する。
The
電源供給部205は、サーバ200に必要な電力を供給するために外部電源ソースと連結される。
The
以上説明したサーバ200において、目的に応じてプログラムやデータを適宜用意することで、管理サーバ2、商品比較サイトサーバ3、4及び販売サイトサーバ5〜10を実現することができる。
In the
以下、本実施の形態に係る商品情報提供システム1を構成する端末100及び各サーバの機能について説明する。
Hereinafter, functions of the terminal 100 and each server constituting the product
図4は、本実施の形態に係る商品情報提供システムの機能を示す概略図である。 FIG. 4 is a schematic diagram showing functions of the product information providing system according to the present embodiment.
<アプリケーションプログラム>
以下、端末100上で実行されるアプリケーションプログラム(以下、買い物カメラアプリと呼ぶ)の機能について説明する。図4に示すように、買い物カメラアプリ1001は、画面取込部1002、特徴点データ抽出部1003、端末情報取得部1004、特徴点データ送信部1005、問い合わせ処理部1006、商品情報受信部1007、商品情報表示部1008、クリッピング処理部1009、商品購入処理部1010及びモニタリング部1011を備えている。
<Application program>
Hereinafter, functions of an application program (hereinafter referred to as a shopping camera application) executed on the terminal 100 will be described. As illustrated in FIG. 4, the
画面取込部1002は、ディスプレイ部105に表示された画面の全体又は一部を取得し、画像データを出力する。カメラ部104及び画面取込部1002は、買い物カメラアプリ1101に画像データを入力する画像入力手段として機能する。画像入力手段としては、商品を含む画像データが取得できれば特に限定されず、例えば、2Dスキャナ等を用いることもできる。
The
本実施の形態において、画像入力手段により入力される画像には、静止画及び動画(映像)が含まれる。 In the present embodiment, the image input by the image input means includes a still image and a moving image (video).
特徴点データ抽出部1003は、カメラ部104又は画面取込部1002から入力された画像データから特徴点データを抽出し、特徴点データ送信部1005に出力する。
The feature point
端末情報取得部1004は、カメラ部104で行われた撮影の日時及び地理的位置を、時計部110及びGPS受信部103から取得し、特徴点データ送信部1005に出力する。ここで、日時及び地理的位置を、端末情報と呼ぶ。端末情報は、撮影の日時又は地理的位置の他、ネットワーク情報、デバイス情報などが挙げられる。
The terminal
ここで、ネットワーク情報に関しては、例えば、端末100が携帯電話端末である場合、ネットワークインターフェイス102から、携帯電話業者(キャリア)の名称や携帯電話回線の種類(3G、LTE等)などの情報を、端末情報取得部1004が取得することができる。また、デバイス情報に関しては、端末100の中央制御部101が実行するOSから、OSの名称又はバージョン、或いは、中央制御部101としてのCPUの種類などの情報を、端末情報取得部1004が取得することができる。
Here, regarding the network information, for example, when the terminal 100 is a mobile phone terminal, information such as the name of the mobile phone carrier (carrier) and the type of mobile phone line (3G, LTE, etc.) is obtained from the
本実施の形態では、端末情報取得部1004が独立して存在しているが、後述の特徴点データ送信部1005が、端末情報取得部1004を兼ねていてもよい。すなわち、端末情報取得部1004に相当する機能を、例えば、カメラ部104の制御用アプリケーションプログラムのような他のアプリケーションプログラムが果たしたり、OSが果たしたり、してもよく、これらが取得した端末情報は特徴点データ送信部1005に渡されるように構成されていてもよい。
In the present embodiment, the terminal
また、端末情報は、EXIF情報のような画像データに添付されるメタデータ群であってもよく、端末情報取得部1104は、メタデータ群を画像データから抽出し、それを特徴点データ送信部1005に渡してもよい。ここで、EXIF情報は、撮影時に画像データと共に記録されるメタデータであり、撮影日時、撮影機器のメーカー名(製造・販売元)、撮影機器のモデル名(カメラ付き携帯電話・スマートフォンの機種名など)、画像全体の解像度、水平・垂直方向の単位あたり解像度、撮影方向、シャッタースピード、絞り(F値)、ISO感度、測光モード、フラッシュの有無、露光補正ステップ値、焦点距離、色空間(カラースペース)、GPS情報、サムネイル画像などを含んでいる。
The terminal information may be a metadata group attached to image data such as EXIF information, and the terminal
特徴点データ送信部1005は、ネットワークインターフェイス102により、特徴点データを、端末情報と共に管理サーバ2に送信する。
The feature point
問い合わせ処理部1006は、管理サーバ2から送信されたサイトID(後述)及び商品ID(後述)を受信する。そして、サイトIDを用いて商品比較サイトサーバ3、4のうちの一つを特定し、それに対応した検索APIを選択する。引数に商品IDを追加した商品検索APIを用いて、商品比較サイトサーバ3、4のいずれか一つに送信する。
The
商品情報受信部1007は、商品比較サイトサーバ3、4から送信された商品情報を受信し、商品情報表示部1008に出力する。商品情報表示部1008は、受信した商品情報をディスプレイ部105に表示する。このように、商品情報受信部1007及び商品情報表示部1008によって、商品情報の取得から表示までを行う商品情報取得・表示部が構成されている。
The product
クリッピング処理部1009は、UIデバイス106等を介して商品情報に対して行われたユーザの操作に応じて、当該商品情報に対応する、少なくとも商品IDをストレージデバイス108に記憶する。このような処理を商品情報のクリッピングと呼ぶ。ストレージデバイス108に記憶された商品IDを用いて商品情報を商品比較サイトサーバ3、4から再び受信して表示したり、さらに商品の購入を行ったり、することができる。
The
商品購入処理部1010は、商品情報に含まれるURLを用いて、販売サイトサーバ5〜10のうちのいずれか一つに接続し、商品の購入を行う。商品購入処理部1010は、買い物カメラアプリ1001の機能の一つであってもよいし、端末100が搭載する汎用のインターネットブラウザであってもよい。
The product
モニタリング部1011は、商品情報表示部1008、クリッピング処理部1009及び商品購入処理部1010での処理状況を監視している。モニタリング処理部1011は、クリッピング処理部1009で商品情報のクリッピングが行われた場合、ユーザID及び商品IDを管理サーバ2のDB制御部1101に送信する。また、モニタリング処理部1011は、商品購入処理部1010で商品の購入が行われた場合、ユーザID及び商品IDを管理サーバ2のDB制御部1101に送信する。
The
特徴点データ抽出部1003で行われる画像からの特徴点データの抽出の概要について説明する。特徴点データ抽出部1003は、カメラ部104から入力された画像データ内の検索部分を抽出する。例えば、特開2013−142961号公報に記載されている画像中の特徴点を検出する特徴点検出方法を用いることができるが、これに限定されることはない。また、特徴点データに代えて、特徴点の座標、特徴ベクトル、特徴量、その他の画像の特徴を示すデータを用いても良い。ここで、特徴ベクトルの抽出には、例えば、特徴ベクトルの集合の抽出アルゴリズムであるSIFT(Scale−Invariant Feature Transform)若しくはSURF(Speeded Up Robust Features)、又は、バイナリ特徴ベクトル抽出アルゴリズムであるFAST(Features from Accelerated Segment Test)若しくはFREAK(Fast Retina Keypoint)を用いることができる。
An outline of feature point data extraction from an image performed by the feature point
<管理サーバ>
管理サーバ2は、図4に示すように、DB制御部1101、ユーザ情報DB1102、画像認識部1103及びソース情報DB1104を備えている。
<Management server>
As shown in FIG. 4, the
DB制御部1101は、受信部として機能し、買い物カメラアプリ1001の特徴点データ送信部1005から特徴点データ及び端末情報を受信する。これを検索リクエストと呼ぶ。また、DB制御部1101は、特徴点データを画像認識部1103に渡すと共に、同じく受信した端末情報をユーザ情報DB1102に登録する。
The
ユーザ情報DB1102は、ユーザ毎にユニークに付与されたユーザIDに、買い物カメラアプリ1001からの検索リクエスト(REQ)毎に、リクエストID、端末情報、商品ID、一致率(後述)、クリッピング履歴(後述)及び購入履歴(後述)を対応付けて記憶するように構成されている。
The
ソース情報DB1104には、レコード識別情報としての、商品を含む画像(以下、商品画像という)の出所(ソース)毎にユニークに付与されたソースIDに、商品画像の画像データ、当該商品画像の特徴点データ、当該商品に関する商品情報を取り扱っている商品比較サイトサーバ3、4のうち一つを特定するためのサイトID、及び、商品比較サイトサーバ3、4において当該商品に対してユニークに付与されている商品IDと、が対応付けて登録されている。
In the
ここでは、サイトIDと、商品IDとが、別々になっているが、例えば、「サイトID_商品ID」や「サイトID/商品ID」のように、二つを一つにまとめたものであってよい。また、例えば、商品比較サイトの商品情報を表示するホームページを示すURLに商品IDを組み合わせたもの(例えば、http//:hikaku.com/123456)であってもよい。本実施の形態では、これらのような商品比較サイトのうち一つ及び商品を示す識別情報を用いることができる。以下の説明では、サイトIDと商品IDとを一つにまとめ、「サイトID_商品ID」の形式とした場合について説明し、単に商品IDと呼ぶ。 Here, although the site ID and the product ID are different, for example, “site ID_product ID” and “site ID / product ID” are combined into two. It's okay. Further, for example, it may be a combination of a product ID and a URL indicating a home page displaying product information on a product comparison site (for example, http: //: hikaku.com/123456). In the present embodiment, identification information indicating one of the product comparison sites and the product can be used. In the following description, a case where the site ID and the product ID are combined into a single form of “site ID_product ID” will be described and simply referred to as a product ID.
商品画像は、例えば、雑誌、チラシ、パンフレット、ポスター、テレビCM、広告動画、Web広告などの各種広告メディアを出所として使用されている商品の画像であってもよい。広告メディア以外にも、個人が撮影した商品の画像であってもよい。これらを包括して「平面媒体の商品画像」と呼ぶ。 The product image may be, for example, an image of a product that is used as a source of various advertising media such as magazines, flyers, brochures, posters, TV commercials, advertisement videos, and Web advertisements. In addition to the advertising media, it may be an image of a product taken by an individual. These are collectively referred to as a “planar medium product image”.
また、商品画像は、広告メディアを出所とするものに限定されず、例えば、商品の実物を撮影したものであってもよい。商品の実物を、カメラで撮影したものでも、2Dスキャナや3Dスキャナでスキャンしたものでもよい。 Further, the product image is not limited to the one that originates from the advertising media, and may be, for example, a photograph of the actual product. The actual product may be taken with a camera or scanned with a 2D scanner or a 3D scanner.
図5は、本実施の形態に係るユーザ情報DBの構成を示す説明図である。図5に示すように、ユーザ情報DB1102は、一つのユーザIDに対し、複数の検索リクエストが登録できるように構成されている。また、一つの検索リクエストに対し、商品ID、端末情報、商品ID、一致率、クリッピング履歴及び購入履歴が登録できるように構成されている。商品IDの項には、少なくとも一つの商品IDを登録することができる。クリッピング履歴の項には、クリッピングを行った日時と、クリッピングされた商品の商品IDとの組み合わせ(例えば、yymmdd,hikaku1_0001)を一つのクリッピング履歴とし、少なくとも一つのクリッピング履歴を登録することができる。同様に、購入履歴の項には、購入を行った日時と、購入された商品の商品IDとの組み合わせを一つの購入履歴とし、少なくとも一つの購入履歴を登録することができる。
FIG. 5 is an explanatory diagram showing the configuration of the user information DB according to the present embodiment. As shown in FIG. 5, the
図6は、本実施の形態に係るソース情報DBの構成を示す説明図である。ソース情報DB1104は、レコード識別情報としての一つのソースIDに対し、一つの商品画像の画像データ及び一つの当該商品画像の特徴点データが対応付けて登録できるように構成されている。また、一つのソースIDに対し、少なくとも一つの商品IDが登録できるように構成されている。これにより、商品画像に複数の異なる商品が含まれる場合に、一つのソースIDに対して複数の商品IDが登録されることができる。なお、レコード識別情報は、ソースIDに限定されず、ソース情報DB1104において一つのレコードに対してユニークに付与されていれば足りる。
FIG. 6 is an explanatory diagram showing the configuration of the source information DB according to the present embodiment. The
図6に示すソース情報DB1104は、ソースIDに対して画像データ及び特徴点データを対応付けて登録している。しかし、ソース情報DB1104を、ソースIDに対して画像データを対応付けて登録した、データベースAと、ソースIDに対応して特徴点データを対応付けて登録したデータベースBとの、二つに分散して配置し、相互にデータのやり取りが可能にしても良い。さらに、図4に示す管理サーバ2からデータベースB及び画像認識部1103を切り離して配置しても良い。この場合、ユーザ情報DBに登録されたユーザ情報のような個人情報を、画像認識部1103から切り離せるので、個人情報保護の観点で有利である。
The
上述のように、本実施の形態に係る商品情報提供システム1においては、ソース情報DB1104に登録される商品画像として様々な画像を用いることにより、雑誌などの平面媒体からも、リアルな商品(商品の実物)からも、Webサイト(デジタル空間)からも、すぐに商品を認識して商品情報を提供することを実現可能である。これにより、店舗やネットで買い場を作って待っている流通形態ではなく、毎日の暮らしの中に買い場を創造することができるようになる。すなわち、暮らしの中で出会う全ての接点が店頭になり、瞬時にクリッピング(後述)や商品購入(後述)という消費者行動を引き起こすことができる。
As described above, in the product
ソース情報DB1104には、さらに商品画像に対して音情報が登録されていてもよい。ここで、音情報とは、例えば、商品画像に含まれる商品のCMで用いられているナレーションや音楽、商品が発する音、音商標、又は、これらの内容を文字に起こした文字情報などであるが、特に限定されるものではない。
In the
画像認識部1103は、画像の照合及び解析を行う。すなわち、ソース情報DB1104に登録された商品画像の特徴点データ、及び、買い物カメラアプリ1001でカメラ部1104から入力され、送信された特徴点データを用いて、端末100のカメラ部104から入力された画像データに対応する商品IDを取得する。より具体的には、まず、画像の照合として、画像認識部1103は、ソース情報DB1104を用いて、ソース情報DB1104に登録された商品画像の特徴点データと、端末100のカメラ部104から入力された画像データの特徴点データとを比較し、画像データと特徴点データが一致又は近似する商品画像を特定し、当該商品画像に対応する商品IDを取得する。取得した商品IDを、買い物カメラアプリ1001の問い合わせ処理部1006に送信する。
The
また、画像認識部1103は、画像の解析として、例えば、端末100のカメラ部104から入力された画像データの特徴点データと、ソース情報DB1104に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像の特徴点データとの一致率を算出する。
In addition, as an image analysis, for example, the
画像認識部1103で決定された商品ID及び算出された一致率は、DB制御部1101に渡される。DB制御部1101は、商品ID及び一致率を、ユーザ情報DB1102に登録する。
The product ID determined by the
さらに、DB制御部1101は、買い物カメラアプリ1001のモニタリング部1011から送信されたユーザID及び商品IDに基づいてユーザ情報DB1102にクリッピング履歴を登録する。
Furthermore, the
また、DB制御部1101は、買い物カメラアプリ1001の商品購入処理部1010が販売サイトサーバ5〜10との間で行った商品購入を契機にして、買い物カメラアプリ1001のモニタリング部1011から送信されたユーザID及び商品IDに基づいて、ユーザ情報DB1102に購入履歴を登録する。
In addition, the
<商品比較サイトサーバ>
商品比較サイトサーバ3、4は、同一の商品について複数の販売サイトサーバ5〜10から得た商品情報を一元的に提供する機能を有する。
<Product comparison site server>
The product
また、商品比較サイトサーバ3、4は、それぞれ異なる商品カテゴリの商品を取り扱っている。本実施の形態では、商品カテゴリとして、例えば、商品比較サイトサーバ3は家電を、商品サイト4は化粧品をそれぞれ取り扱っている。
The product
より詳細には、商品比較サイトサーバ3、4は、各商品について、価格比較、レビュー、口コミ及び画像・動画などの商品情報を持っている。このうち、価格比較としては、当該商品を取り扱っている販売サイトサーバが多数登録され、販売サイトサーバ5〜10毎に、商品価格、送料、販売サイトサーバへのリンクなどが一覧できるようになっている。
More specifically, the product
<販売サイトサーバ>
販売サイトサーバ5〜10は、それぞれ、商品の販売を行っており、購入商品の決定及び決済をオンラインで行うことができる。本実施の形態では、販売サイトサーバ5〜7が家電を取り扱い、商品比較サイトサーバ3に登録されている。一方、販売サイトサーバ8〜10が化粧品を取り扱い、商品比較サイトサーバ4に登録されている。
<Sales site server>
Each of the
<処理の流れ>
以下、本実施の形態に係る商品情報提供システム1における処理の流れについて説明する。図7は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。なお、以下の説明では、商品比較サイトサーバ3及び販売サイトサーバ5を例に挙げて説明しているが、他の商品比較サイトサーバ4及び販売サイトサーバ6〜10であっても同様であることは言うまでもない。
<Process flow>
Hereinafter, the flow of processing in the product
買い物カメラアプリ1001では、まず、カメラ部104を起動する(S1)と、撮影が行われるのを待機する(S2)。撮影が行われたならば(S2でYes)、特徴点データ抽出部1003が、撮影された画像データから特徴点データを抽出する(S3)。次に、端末情報取得部1004が、端末情報として、GPS受信部103及び時計部110から撮影が行われた日時及び地理的位置(座標)を取得する(S4)。そして、特徴点データ送信部1005が、ユーザID、特徴点データ及び端末情報を管理サーバ2に送信する(S5)。
In the
図8は、本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。 FIG. 8 is a flowchart for explaining processing in the management server in the product information providing system according to the present embodiment.
管理サーバ2では、DB制御部1101が、買い物カメラアプリ1001から、ユーザID、特徴点データ及び端末情報を受信する(S11)。
In the
次に、DB制御部1101は、特徴点データを画像認識部1103に渡す(S12)。次いで、ユーザID及び端末情報を、ユーザ情報DB1102に登録する(S13)。
Next, the
その後、DB制御部1101は、画像認識部1103から解析・照合の結果、すなわち、商品ID及び一致率を受信したか否かチェックする(S14)。受信したならば(S14でYes)、DB制御部1101は、商品ID及び一致率をリクエストIDと対応付けてユーザ情報DB1102に登録する(S15)。
Thereafter, the
図9は、本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。 FIG. 9 is a flowchart for explaining processing in the management server in the product information providing system according to the present embodiment.
図9に示すように、画像認識部1103は、買い物カメラアプリ1001から特徴点データを受け取ると(S21)、ソース情報DB1104を検索し、特徴点データが相互に一致又は近似する商品画像を特定し、当該商品画像に対する商品IDを取得する(S22)。また、画像認識部1103は、買い物カメラアプリ1001から受け取った特徴点データと商品画像の特徴点データとの一致率を算出する(S23)。その後、画像認識部1103は、取得したサイトID及び商品IDを、買い物カメラアプリ1001の問い合わせ処理部1006に送信し(S24)、次いで、商品ID及び一致率をDB制御部1101に渡す(S25)。
As shown in FIG. 9, when the
図10は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。 FIG. 10 is a flowchart for explaining processing in the shopping camera application in the product information providing system according to the present embodiment.
図10に示すように、買い物カメラアプリ1001において、問い合わせ処理部1006は、商品IDを受信する(S31)。次に、商品IDが示す商品比較サイトサーバ3又は商品比較サイトサーバ4に対応する商品検索APIを読み出し(S32)、引数に商品IDを追加した上で商品検索APIを用いて、商品比較サイトサーバ3又は商品比較サイトサーバ4のうち商品IDが示す一つに商品情報を要求する(S33)。商品情報受信部1007は、商品情報のURLを受信したか否かチェックし(S34)、受信したならば(S34でYes)、商品情報のURLを用いて商品情報を受信し(S35)、商品情報表示部1008に渡す。商品情報表示部1008は、商品情報をディスプレイ部105に表示する(S36)。
As shown in FIG. 10, in the
図11は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。図11に示すように、買い物カメラアプリ1001では、モニタリング部1011は、商品購入処理部1010で商品が購入されたか否かチェックする(S41)。
FIG. 11 is a flowchart for explaining processing in the shopping camera application in the product information providing system according to the present embodiment. As shown in FIG. 11, in the
商品が購入されないならば(S41でNo)、モニタリング部1011は、クリッピング処理部1009で、商品情報がクリッピングされたか否かチェックする(S42)。クリッピングが行われたならば(S42でYes)、モニタリング部1011は、クリッピングされた商品の商品IDを管理サーバ2のDB制御部1101に送信する(S43)。DB制御部1101は、受け取った商品IDに基づいてユーザ情報DB1102にクリッピング履歴を登録する。
If the product is not purchased (No in S41), the
一方、クリッピングが行われないならば(S42でNo)、モニタリング部1011は、商品情報の表示が終了したか否かチェックする(S44)。商品情報の表示が終了していないならば(S44でNo)、S41に戻る。一方、モニタリング部1011は、商品情報の表示が終了したならば(S44でYes)、処理を終了する。
On the other hand, if clipping is not performed (No in S42), the
商品購入処理部1010により、例えば、販売サイトサーバ5との間で商品の購入が行われると、販売サイトサーバ5は、商品比較サイトサーバ3に対して、商品比較サイトサーバ3が提供した商品情報に基づいて商品の購入が行われたことを通知するため、商品IDを送信する。商品比較サイトサーバ3は、管理サーバ2に購入が行われた商品IDを買い物カメラアプリ1001に送信する。買い物カメラアプリ1001では、商品が購入されたならば(S41でYes)、商品比較サイトサーバ3からの商品IDの受信を待機し(S45)、商品IDを受信したならば(S45でYes)、管理サーバ2のDB制御部1101に送信する(S43)。管理サーバ2では、DB制御部1101が、買い物カメラアプリ1001から送信された商品IDに基づいて、ユーザ情報DB1102に購入履歴を登録する。
For example, when a product is purchased with the
以下、本実施の形態に係る商品情報提供システム1における情報のやり取りについて、図面を参照して説明する。なお、以下の説明では、商品比較サイトサーバ3及び販売サイトサーバ5を例に挙げて説明しているが、他の商品比較サイトサーバ4及び販売サイトサーバ6〜10であっても同様であることは言うまでもない。
Hereinafter, the exchange of information in the product
図12は、本実施の形態に係る商品情報提供システムにおける情報のやり取りを示すブロック図である。図12に示すように、まず、画像の取得を行う(S101)。画像の取得には、カメラ部104による実際の商品そのものの撮影、雑誌などの平面媒体に使用されている商品の画像の撮影が含まれる。ここで、撮影には、静止画の撮影及び動画の撮影が含まれる。
FIG. 12 is a block diagram showing information exchange in the product information providing system according to the present embodiment. As shown in FIG. 12, first, an image is acquired (S101). Acquisition of an image includes photographing an actual product itself by the
また、画像の取得には、図4に示す画面取込部1002によりディスプレイ部104に表示された画面の少なくとも一部を取り込む(キャプチャ又はスクリーンショット)ことが含まれる。例えば、インターネットブラウザが表示したWebサイトの画面を、例えば、買い物カメラアプリ1101や、インターネットブラウザのような他のアプリケーションプログラム又はOSが取り込むことができる。
Acquisition of an image includes capturing at least a part of a screen displayed on the display unit 104 (capture or screen shot) by the
さらに、画像の取得と共に、画像データに関連する音データの記録を行うこともできる。この場合、音データの記録は、マイク部111により音を検出し、電気信号に変換し、中央制御部111に出力する。中央制御部111は、入力された電気信号を音データに変換し、特徴点データ送信部1005に渡す。特徴点データ送信部1005は、特徴点データと共に、音データをDB制御部1001に送信する。
Furthermore, sound data related to the image data can be recorded together with the image acquisition. In this case, the sound data is recorded by detecting the sound by the
次に、買い物カメラアプリ1001において、画像の取得(S101)が行われると、特徴点データ及び端末情報がDB制御部1101に送信される。
Next, when the
特徴点データ及び端末100の宛先情報(例えば、端末100のプロダクトID、IPアドレス、ユーザID、買い物カメラアプリ1001のプロダクトIDなど)が、DB制御部1101から画像認識部1003に送信され、画像解析(S102)及び画像照合(S103)に用いられる。
The feature point data and the destination information of the terminal 100 (for example, the product ID, IP address, user ID, product ID of the
また、DB制御部1101では、買い物カメラアプリ1001から受信した端末情報がユーザ情報DB1102に登録される(S104)。
In the
さらに、DB制御部1101では、ソース情報DB1104への商品画像の特徴点データ、商品IDの登録(S105)が行われる。
Further, the
画像認識部1103において、ソース情報DB1104を用いた画像照合(S103)が行われ、その結果、取得された商品IDが、宛先情報を用いて端末100へ送信される。
The
また、画像認識部1103において、画像解析(S102)が行われ、その結果、すなわち、本実施の形態では一致率が、DB制御部1101に送信され、ユーザ情報DB1102への登録(S104)が行われる。
Further, the
上述のように、画像の取得(S101)と共に、画像データに関連する音データの記録を行う場合、ソース情報DB1104に商品画像に対応付けて音情報がさらに登録され、音情報、及び、音データをさらに用いて、画像データ及び音データに対応する商品IDを取得する。より具体的には、ソース情報DB1104に商品画像に対応付けて音情報をさらに登録しておき、画像認識部1103が、端末100から送信された音データと、ソース情報DB1104に登録された音情報とを照合し、一致又は近似する音情報を特定し、特徴点データに音情報を組み合わせて、画像データに対応する商品IDを得ることもできる。また、画像認識部1103が、ソース情報DB1104には商品の商品名がさらに登録されていれば、音データから音声を認識してテキストを取得し、画像認識部1103が特徴点データにテキストを組み合わせて商品IDを得ることもできる。
As described above, when sound data related to image data is recorded together with image acquisition (S101), sound information is further registered in the
このように、音データを利用する場合、例えば、端末100において、テレビCMをカメラ部104で撮影すると共に、テレビCMの音を、マイク111を介して記録し、端末100が特徴点データ及び音データを管理サーバ2に送信する。一方、管理サーバ2では、ソース情報DB1104に、テレビCMで用いられている商品画像と共に、同じくテレビCMで用いられているナレーションや音楽の音情報が登録されている。そして、画像認識部1104では、画像照合(S103)の際に、端末100から送信された音データと、ソース情報DB1104に登録された音情報とを照合することで、端末100で撮影した商品をより高い精度で特定することができるようになる。
In this way, when using sound data, for example, in the terminal 100, the TV CM is shot by the
買い物カメラアプリ1001は、画像認識部1103から商品IDを受信すると、商品情報の問い合わせ(S106)を行う。すなわち、買い物カメラアプリ1001は、サイトIDを用いて商品比較サイトサーバ3を特定し、さらに商品IDを商品比較サイトサーバ3に送信し、対応する商品の商品情報のURLの送信を要求する。
Upon receiving the product ID from the
これに対し、商品比較サイトサーバ3では、買い物カメラアプリ1001から受信した商品IDに基づいて、商品情報DBの照合(S107)を行い、商品情報を提示するホームページのURL(商品情報URL)を、買い物カメラアプリ1001に返信する。
On the other hand, in the product
買い物カメラアプリ1001では、商品情報URLを用いて、商品情報の取得及び表示(S108)を行う。すなわち、買い物カメラアプリ1001から、商品比較サイトサーバ3に対して、商品情報URLを用いた商品情報のリクエストが送信される。これに対応して、商品比較サイトサーバ3において、商品情報URLに対応する商品情報の提供(S109)が行われ、商品情報がレスポンスとして買い物カメラアプリ1001に送信される。買い物カメラアプリ1001では、受信した商品情報を表示する(S108)。
The
ここで、管理サーバ2の画像認識部1103から受信した商品IDが複数であって場合、商品情報の取得を、受信した商品IDの分だけ繰り返し、複数の商品情報を一緒に入手して同時に表示することができる。したがって、例えば、買い物カメラアプリ1001である雑誌の1ページを撮影したときに複数の商品が写っている場合、管理サーバ2の画像認識部1103での照会により、当該雑誌の該当ページをソースとする商品画像が特定され、商品画像に対応付けられた複数の商品IDが買い物カメラアプリ1001に送信されるので、買い物カメラアプリ1001では、当該雑誌の該当ページに含まれる複数の商品の商品情報を、例えば、リストやタイル状に同時に表示することができる。同様に、本実施の形態に係る商品情報提供システム1によれば、例えば、テレビCMのような動画で一つのシーンに複数の商品が含まれている場合や、複数の現実の商品が一つの展示ブースに陳列されている場合にも、買い物カメラアプリ1001は、複数の商品の商品情報を一緒に入手して同時に表示することができる。
Here, when there are a plurality of product IDs received from the
さらに、買い物カメラアプリ1001は、クリッピング(S110)が行われると、ユーザID、及び、クリッピングが行われた商品の商品IDをDB制御部1101に送信し、DB制御部1101では、ユーザ情報DB1102へのクリッピング履歴の登録(S104)が行われる。商品IDと共に、クリッピング日時、クリッピング位置情報、ユーザ記入メモが、DB制御部1101に送信され、登録されるようにしてもよい。ここで、クリッピング日時及びクリッピング位置情報とは、モニタリング部1011が、クリッピング(S110)が行われた日時を時計部110から、地理的位置をGPS受信部103からそれぞれ取得したものである。ユーザ記入メモとは、クリッピング(S110)の際に、買い物カメラアプリ1001を介してユーザが入力した文字情報である。
Further, when clipping (S110) is performed, the
また、買い物カメラアプリ1001で、商品購入(S111)が行われると、販売サイトサーバ5において、商品販売(S112)が行われる。より詳細には、買い物カメラアプリ1001が、商品情報として、販売サイトサーバ5に対応する販売サイトページを受信、表示し、販売サイトページに埋め込まれたリンクから、販売サイトサーバ5に遷移する。そして、買い物カメラアプリ1001上で、ユーザは、販売サイトサーバ5と商品の購入手続を行い、商品を購入する。商品販売(S112)が行われると、販売サイトサーバ5は、販売された商品の商品IDを商品比較サイトサーバ3に送信する。商品比較サイトサーバ3は、当該商品IDを買い物カメラアプリ1001に送信する。買い物カメラアプリ1001は、ユーザID及び当該商品IDをDB制御部1101に送信し、DB制御部1101では、ユーザ情報DB1102への購入履歴の登録(S104)が行われる。
When the
以下、本実施の形態に係る商品情報提供システム1における端末100、管理サーバ2、商品比較サイトサーバ3及び販売サイトサーバ5の間での処理の流れを、シーケンス図を用いて説明する。なお、以下の説明では、商品比較サイトサーバ3及び販売サイトサーバ5を例に挙げて説明しているが、他の商品比較サイトサーバ4及び販売サイトサーバ6〜10であっても同様であることは言うまでもない。
Hereinafter, the flow of processing among the terminal 100, the
図13は、本実施の形態に係る商品情報システムにおける端末及び管理サーバの間での処理の流れを示すシーケンス図である。図13に示すように、まず、端末100において、カメラ部104により画像の撮影が行われる(S201)と、特徴点データの抽出(S202)及び端末情報の取得(S203)が行われる。
FIG. 13 is a sequence diagram showing a flow of processing between the terminal and the management server in the product information system according to the present embodiment. As shown in FIG. 13, first, in the terminal 100, when the
次いで、端末100から管理サーバ2のDB制御部1101に特徴点データが送信される(S204)と、DB制御部1101から画像認識部1103に特徴点データ及び宛先情報が送信される(S205)。
Next, when the feature point data is transmitted from the terminal 100 to the
また、端末100からDB制御部1101に端末情報が送信される(S206)と、DB制御部1101がユーザ情報DB1102に端末情報を登録する(S207)。
When terminal information is transmitted from the terminal 100 to the DB control unit 1101 (S206), the
画像認識部1103では、端末100から受信した特徴点データを用いてソース情報DB1104を照合して商品IDを取得する(S208)。次いで、画像認識部1103は、宛先情報を用いて商品IDを端末100に送信する(S209)。
The
また、画像認識部1103は、画像解析を行い(S210)、解析結果をDB制御部1101に送信する(S211)。DB制御部1101は、解析結果をユーザ情報DB1102に登録する(S212)。
The
図14は、本実施の形態に係る商品情報システムにおける端末及び商品比較サイトサーバの間での処理の流れを示すシーケンス図である。図14に示すように、端末100は、画像認識部1103からサイトID及び商品IDを受信する(S301)と、サイトIDを用いて商品比較サイトサーバ3を特定して商品IDを送信する(S302)。
FIG. 14 is a sequence diagram showing a flow of processing between the terminal and the product comparison site server in the product information system according to the present embodiment. As illustrated in FIG. 14, when the terminal 100 receives the site ID and the product ID from the image recognition unit 1103 (S301), the terminal 100 specifies the product
商品比較サイトサーバ3は、端末100から受信した商品IDに基づいて、商品情報DBの照合を行う(S303)。その結果、商品IDに対応する商品情報を提示するホームページのURL(商品情報URL)を取得する。次いで、商品比較サイトサーバ3は、取得した商品情報URLを端末100に送信する(S304)。
The product
次に、端末100は、商品比較サイトサーバ3に対して、商品情報URLを用いた商品情報のリクエストを送信する(S305)。これに対応して、商品比較サイトサーバ3は、商品情報URLに対応する商品情報を端末100に返信する(S306)。端末100は、受信した商品情報をディスプレイ部105に表示する(S307)。
Next, the terminal 100 transmits a request for product information using the product information URL to the product comparison site server 3 (S305). In response to this, the product
さらに、端末100においてクリッピング(S308)が行われると、端末100は、ユーザID、及び、クリッピングが行われた商品の商品IDを管理サーバ2へ送信する(S309)。管理サーバ2では、DB制御部1101が、受信した商品IDに基づいてユーザ情報DB1102にクリッピング履歴を登録する。
Furthermore, when clipping (S308) is performed in the terminal 100, the terminal 100 transmits the user ID and the product ID of the product for which clipping has been performed to the management server 2 (S309). In the
また、端末100と販売サイトサーバ5との間で商品購入が行われる(S310)と、販売サイトサーバ5は、販売された商品の商品IDを商品比較サイトサーバ3に送信する(S311)。次いで、商品比較サイトサーバ3は、当該商品IDを、端末100に送信する(S312)。端末100は、ユーザID及び当該商品IDを管理サーバ2のDB制御部1101に送信する(S313)。DB制御部1101では、ユーザ情報DB1102へ購入履歴が登録される。
Further, when a product is purchased between the terminal 100 and the sales site server 5 (S310), the
なお、以上説明した処理の順番は一例に過ぎず、当業者であれば適宜変更可能であることは容易に理解されるであろう。また、以上の説明において、端末100とある記載を、買い物カメラアプリ1001と読み替えることにより、買い物カメラアプリ1001の処理についても容易に理解することができるであろう。
It should be noted that the order of the processing described above is merely an example, and those skilled in the art will easily understand that the order can be changed as appropriate. Further, in the above description, the description of the terminal 100 can be read as the
以上説明したように、本実施の形態に係る商品情報提供システム1によれば、管理サーバ2は、特徴点データを用いて商品画像を特定し、それに対応する、識別情報としてのサイトID及び商品IDを取得し、端末100に送信する。端末100は、受信したサイトIDに基づいて複数の商品比較サイト3、4のうち一つを選択し、商品IDを用いて商品情報の取得を要求することができる。これにより、複数の商品比較サイトサーバ3、4のうち、画像データに含まれている商品の情報を取り扱っている一つの商品比較サイトサーバが選択されるので、端末100のユーザは、商品比較サイトの選択を行うことなく、必要な商品情報を取得することができる。つまり、端末100のユーザは、商品を調べたいときに、当該商品について調べるのに最も適切と思われる商品比較サイトを選び、インターネットブラウザを用いて当該商品比較サイトにアクセスしたり、当該商品比較サイトの専用アプリを用いて商品を検索したり、する必要がない。この結果、迅速かつ簡便に商品比較サイトから必要な情報を取得することができる。
As described above, according to the product
また、本実施の形態に係る商品情報提供システム1によれば、ソース情報DB1104は、図6に示すように、商品画像に対して、商品画像のソース(出所)にユニークに割り当てられたソースIDを付与し、さらに、一つのソースIDに対して商品画像に含まれる、少なくとも1つの商品の商品IDが対応付けて登録されるように構成されているので、一つの商品IDは複数の商品画像と対応付けることが可能であるため、ユーザは、複数のソースから同一の商品の商品情報を取得することができる。例えば、同一の商品が、平面媒体、実際の商品又はデジタル空間のような種々の媒体を介して、又は、様々なプロモーションや消費者間のコミュニケーション(口コミなど)を通じて、広く知られた場合に、それぞれの媒体で用いられた商品画像を利用して、当該商品の商品情報を商品比較サイトサーバ3、4から取得することができる。
Further, according to the product
管理サーバ2において、特にソース情報DB1104に登録されている商品画像が広告メディアに使用されているものである場合には、ユーザ情報DB1102に蓄積されたユーザID、端末情報、商品IDなどを利用することにより、広告効果を評価することができる。
In the
また、端末100では、情報表示処理部1008による商品情報の表示が終了するまで、モニタリング部1011が、商品購入やクリッピングが行われたかどうかをモニタし、画像の撮影から商品情報の表示に至る一連の処理の結果として、商品が購入されたり、商品情報のクリッピングが行われたり、といったユーザ行動を把握し、ユーザ情報DB1102に登録することができる。
In the terminal 100, the
また、上述の一致率を用いることにより、一致率が閾値よりも高い場合は、カメラ部104で撮影された画像が、ソース情報DB1104に登録された商品画像と同一であると判断し、ユーザが広告メディアで使用された画像を撮影したと推察する。一方、一致率が閾値よりも低い場合は、カメラ部104で撮影された画像が、実際の商品を撮影したものであると推察する。このように、一致率に基づいて、特徴点データを用いた商品画像の検索、商品の購入や商品情報のクリッピングが、広告メディアによる効果なのか、口コミや商品展示などの広告メディア以外の情報に基づく効果なのか評価することが可能になる。
Further, by using the above-described matching rate, when the matching rate is higher than the threshold value, it is determined that the image captured by the
なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能であり、本発明の効果を発揮する範囲内で適宜変更することが可能である。 In addition, this invention is not limited to the said embodiment, It can change variously and can implement suitably in the range which exhibits the effect of this invention.
上記実施の形態では、端末100で撮影した画像データの特徴点データを用いて、管理サーバ2が商品画像を特定し、対応付けられた商品IDを取得しているが、これに限定されるものではない。商品画像のような画像関連情報に替えて、例えば、商品に関するテキスト、商品識別バーコード(例えば、JANコード)、音データ、商品が掲載されたWebページのURLやタイトルなどのWebページ関連情報を、商品検索キーとして用いることができる。つまり、ソース情報DB1102において、商品に関する商品検索キーと商品IDとを対応付けて登録しておき、端末100から、例えば、特徴点データのような画像関連情報、テキスト、商品識別バーコード、音情報又はWebページ関連情報のような検索条件情報を受信し、検索条件情報に対応する商品IDを取得し、端末100に送信することができる。
In the above embodiment, the
より具体的には、例えば、端末100において、端末100のキーボード(図せず)でテキストの入力を受け付け、管理サーバ2にネットワークインターフェイス102を介して送信する。管理サーバ2では、リソース情報DB1104において、テキストと商品IDとが対応付けて登録されており、端末100から受信したテキストを用いて商品IDを取得する。テキストの入力は、例えば、カメラ部104で撮影した画像データからOCR機能によりテキストを認識しても良い。また、マイク部111により入力された音声データからテキストを音声認識しても良い。OCR機能及び音声認識機能は、プログラムを中央制御部101で実行することにより実現される。
More specifically, for example, in the terminal 100, text input is received with a keyboard (not shown) of the terminal 100 and transmitted to the
また、端末100が、カメラ部104で商品バーコードを含む画像データを取得し、画像データからバーコードリーダ機能により商品識別用バーコードを読み取り、読み取ったバーコード情報を、ネットワークインターフェイス102を介して管理サーバ2に送信する。管理サーバ2では、リソース情報DB1104において、バーコード情報と商品IDとが対応付けて登録されており、端末100から受信したバーコードを用いて商品IDを取得する。なお、バーコードリーダ機能は、プログラムを中央制御部101で実行することにより実現される。
Further, the terminal 100 acquires image data including a product barcode with the
また、端末100が、マイク部111により入力された音データを録音機能により記録し、ネットワークインターフェイス102を介して管理サーバ2に送信する。管理サーバ2では、リソース情報DB1104において、音情報と商品IDとが対応付けて登録されており、端末100から受信した音データを用いて商品IDを取得する。なお、録音機能は、プログラムを中央制御部101で実行することにより実現することができる。
In addition, the terminal 100 records the sound data input from the
また、端末100において、中央制御部101が実行する汎用のインターネットブラウザにより閲覧中のWebページのURL、タイトルなどのWeb関連情報を取得し、ネットワークインターフェイス102を介して管理サーバ2に送信する。管理サーバ2では、リソース情報DB1104において、Web関連情報と商品IDとが対応付けて登録されており、端末から受信したWeb関連情報を用いて商品IDを取得する。
In the terminal 100, Web-related information such as the URL and title of the Web page being browsed is acquired by a general-purpose Internet browser executed by the
上述のように、商品検索キーと、検索条件情報とは、互いに同じタイプのものを用いる。例えば、商品検索キーが画像に関するものであれば、検索条件情報も画像に関するものであり、商品検索キーが音に関するものであれば、検索条件情報も音に関するものである。 As described above, the product search key and the search condition information are of the same type. For example, if the product search key relates to an image, the search condition information also relates to an image, and if the product search key relates to a sound, the search condition information also relates to a sound.
上述のように、商品検索キーは、例えば、テキスト、商品識別コードを除く画像(静止画及び動画)、及び、音情報等のような音響情報を含む視聴覚情報を用いることができる。これにより、商品識別コードのような商品情報の取得のために特別に用意された商品検索キーだけでなく、平面媒体、実際の商品又はデジタル空間のような種々の媒体、又は、様々なプロモーションや消費者間のコミュニケーション(口コミなど)の中で登場する商品検索キーを用いて商品情報を取得することができる。 As described above, the product search key can use audiovisual information including sound information such as text, images (still images and moving images) excluding the product identification code, and sound information. As a result, not only a product search key specially prepared for acquiring product information such as a product identification code, but also various media such as flat media, actual products or digital space, or various promotions and Product information can be acquired using a product search key that appears in communication (such as word-of-mouth) between consumers.
以上説明した種々の商品検索キーは、単独で用いても、少なくともいずれか二つを組み合わせ用いても良い。リソース情報DB1104は、使用する商品検索キーの種類や数に応じて、当業者が適宜設計できることは言うまでもない。
The various product search keys described above may be used alone or in combination of at least any two. It goes without saying that the
上記実施の形態では、複数の商品比較サイトサーバ3、4のうち一つ及び商品を示す識別情報として、サイトID及び商品IDを用いて、端末100では、問い合わせ処理部1006が、複数の商品比較サイトサーバ3、4のそれぞれについて商品検索APIを記憶しており、そのうち一つを選択して、商品情報の問い合わせに利用している。しかしながら、上述のように識別情報が、商品比較サイトの商品情報を表示するホームページを示すURLに商品IDを組み合わせたもの(例えば、http//:hikaku.com/123456)である場合、端末100が商品検索APIなどを記憶している必要はなく、当該URLを用いて、商品比較サイトサーバ3、4から商品情報を取得することができる。この場合、図8に示すS32〜S34は不要になり、図4に示す問い合わせ処理部1006も不要となり、商品情報受信部1007が商品比較サイトサーバ3、4からURLに対応する商品情報を受信することができる。
In the above embodiment, the
上記実施の形態では、画像から特徴点を抽出し、商品画像の照合に用いているが、特に限定されない。すなわち、本発明では、様々な画像関連情報を用いて商品画像の照合に用いることができる。画像関連情報としては、例えば、商品の画像そのもの(商品の全体及び一部を含む)、商品の輪郭、サイズ、色、或いは、商品の画像の特徴点、特徴点の座標、特徴ベクトル、特徴量、その他の画像の特徴を示すデータのように商品それ自体に関連するものや、画像中に含まれる文字列、バーコード、QRコード(登録商標)のように商品、パッケージ又はタグに付与されている商品に付帯される情報に関連するものが利用できる。本発明では、画像関連情報としては、少なくとも商品それ自体に関連する情報、特に少なくとも特徴点又は特徴量を含んでいることが好ましい。 In the above embodiment, feature points are extracted from images and used for collation of product images, but there is no particular limitation. In other words, in the present invention, various image related information can be used for matching product images. Examples of the image-related information include the product image itself (including all and part of the product), the product outline, size, color, or the feature point of the product image, the coordinates of the feature point, the feature vector, and the feature amount. , Other data related to the product itself such as data indicating the characteristics of the image, or attached to the product, package or tag such as a character string, bar code, QR code (registered trademark) included in the image You can use information related to the information that comes with your product. In the present invention, it is preferable that the image-related information includes at least information related to the product itself, particularly at least a feature point or feature amount.
また、本発明では、上述のように、画像には静止画及び動画(映像)が含まれ、画像認識部1103において、静止画どうしを直接比較することや動画どうしを直接比較することも可能である。画像どうしを直接比較して照合を行う技術は広く知られており、当業者であれば、本発明に容易に適用できるであろう。
In the present invention, as described above, still images and moving images (videos) are included in the image, and the
また、上記実施の形態では、管理サーバ2が、画像認識部1103を備えているが、画像認識部1103が他のサーバにあってもよい。この場合、特徴点データは、管理サーバ2から他のサーバにネットワークを介して送信される。このように、管理サーバ2の機能は単一のサーバで実現される必要は必ずしもない。
Moreover, in the said embodiment, although the
また、上記実施の形態では、ユーザ情報DB1102に、端末100のユーザに関するユーザ情報として、ユーザID、端末情報、商品ID(識別情報)、クリッピング履歴及び購入履歴を登録しているが、特に限定されるものではなく、これらのうち少なくともユーザIDを含んでいればよい。また、これら以外に、位置情報、メモ、日時、操作ログ、認識対象の内容などを登録することができる。ここで、位置情報とは、買い物カメラアプリ1101が、定期的に又は所定の操作(起動、終了等)が行われたときにGPS受信部103から取得した地理的位置である。また、メモとは、買い物カメラアプリ1101を介してユーザが入力したテキスト情報である。また、日時とは、買い物カメラアプリ1101が所定の操作(起動、終了等)を行ったときに時計部110から取得した日時の情報である。
In the above embodiment, the user ID, terminal information, product ID (identification information), clipping history, and purchase history are registered in the
また、上記実施の形態では、特徴点データのみを用いて商品画像を照合していたが、買い物カメラアプリ1001において、画像データからテキストをOCRで認識し、テキストを管理サーバ2に送信し、管理サーバ2において、ソース情報DB1104には、商品の商品名がさらに登録されており、特徴点データにテキストを組み合わせて商品IDを得ることもできる。
Further, in the above embodiment, the product image is collated using only the feature point data. However, the
また、買い物カメラアプリ1001において、画像データからバーコードから商品コードを認識し、商品コードを管理サーバ2に送信し、管理サーバ2において、ソース情報DB1104には、商品に付与された商品コードがさらに登録されており、特徴点データに商品コードを組み合わせて商品IDを得ることもできる。
Further, the
また、上記実施の形態では、端末100のカメラ部104から入力された画像データの特徴点データと、ソース情報DB1104に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像の特徴点データとの一致率を算出しているが、一致率はこれに限定されず、端末100のカメラ部104から入力された画像データと、ソース情報DB1104に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像との間のスコア又は類似度を一致率として算出しても良い。
In the above embodiment, the feature point data of the image data input from the
また、端末100がパーソナルコンピュータの場合、上述のような専用のアプリケーションである買い物カメラアプリ1101をインストールしても良いが、汎用のインターネットブラウザに専用のプラグインを追加し、買い物カメラアプリ1101と同様の機能を実現しても良い。
Further, when the terminal 100 is a personal computer, the
また、端末100において、カメラ部105は必須ではなく、画面取込部1002のような他の画像入力手段を備えていれば足りる。
Further, in the terminal 100, the
本発明は、商品や広告メディアから購入サイトでの商品購入を促進することができるので、電子商取引システムなどに好適に利用できる。 Since the present invention can promote the purchase of merchandise at a purchase site from merchandise or advertising media, it can be suitably used for an electronic commerce system or the like.
1 商品情報提供システム
2 管理サーバ
3、4 商品比較サイトサーバ
5〜10 販売サイトサーバ
100 端末
1001 買い物カメラアプリ
1101 DB制御部
1102 ユーザ情報DB
1103 画像認識部
1104 ソース情報DB
DESCRIPTION OF
1103
Claims (14)
前記管理サーバは、
商品に関連する商品検索キーと、前記商品比較サイトサーバのうち一つ及び前記商品を示す識別情報と、が対応付けて登録されている第1のデータベースと、
前記第1のデータベースに登録された前記商品検索キー及び検索条件情報を用いて、前記検索条件情報に対応する前記識別情報を取得して端末に送信する照合部と、を具備することを特徴とする商品情報提供システム。 In a product information providing system composed of a management server and a plurality of product comparison site servers that provide product information obtained from a plurality of sales sites for the same product in an integrated manner,
The management server
A first database in which a product search key related to a product, identification information indicating one of the product comparison site servers and the product are registered in association with each other;
A verification unit that acquires the identification information corresponding to the search condition information and transmits the identification information to the terminal using the product search key and search condition information registered in the first database. Product information provision system.
前記管理サーバが、前記商品検索キーを用いて、前記商品検索キーと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバの一つ及び商品を示す識別情報と、が対応付けて登録されている第1のデータベースを検索し、前記商品検索キーに対応する前記識別情報を取得して端末に送信する工程と、
を具備することを特徴とする商品情報提供方法。 A process in which the management server receives a product search key related to the product;
One of a plurality of product comparison site servers and a product that provides the product search key and product information obtained from a plurality of sales sites for the same product using the product search key. A first database that is registered in association with each other, and obtaining the identification information corresponding to the product search key and transmitting it to the terminal;
A method for providing product information, comprising:
前記第1のデータベースを用いて、端末から受信した検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を端末に送信する照合部と、を具備することを特徴とする管理サーバ。 A first database in which product search keys related to products and identification information indicating one of the products and a plurality of product comparison sites are associated and registered;
A verification unit that identifies the product search key based on search condition information received from the terminal using the first database, and transmits the identification information corresponding to the product search key to the terminal. Management server characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015150704A JP6609434B2 (en) | 2015-07-30 | 2015-07-30 | Product information providing system, product information providing method, and management server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015150704A JP6609434B2 (en) | 2015-07-30 | 2015-07-30 | Product information providing system, product information providing method, and management server |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017033157A true JP2017033157A (en) | 2017-02-09 |
JP6609434B2 JP6609434B2 (en) | 2019-11-20 |
Family
ID=57986146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015150704A Active JP6609434B2 (en) | 2015-07-30 | 2015-07-30 | Product information providing system, product information providing method, and management server |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6609434B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635144A (en) * | 2018-12-12 | 2019-04-16 | 广州蓝深科技有限公司 | A kind of e-commerce picture search purchase system |
CN110532413A (en) * | 2019-07-22 | 2019-12-03 | 平安科技(深圳)有限公司 | Information retrieval method, device based on picture match, computer equipment |
JP2020021215A (en) * | 2018-07-31 | 2020-02-06 | 株式会社彩いろり | Liquor information management system and management method |
CN111429225A (en) * | 2020-03-27 | 2020-07-17 | 上海二三四五网络科技有限公司 | Control method and control device for commodity search in shopping guide application program |
JP2022121319A (en) * | 2021-02-08 | 2022-08-19 | ソフトバンク株式会社 | Information processing device, program, and information processing method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003016086A (en) * | 2001-07-02 | 2003-01-17 | Sony Corp | System for information processing, server, terminal device and method for providing of advertising service |
JP2007520802A (en) * | 2003-12-31 | 2007-07-26 | アマゾン・テクノロジーズ、インコーポレイテッド | System and method for obtaining information related to commercial items using a portable imaging device |
WO2010016281A1 (en) * | 2008-08-08 | 2010-02-11 | 株式会社ニコン | Search support system, search support method, and search support program |
US20100217684A1 (en) * | 2009-02-24 | 2010-08-26 | Ryan Melcher | System and method to create listings using image and voice recognition |
JP2012208854A (en) * | 2011-03-30 | 2012-10-25 | Nippon Telegraph & Telephone East Corp | Action history management system and action history management method |
US20130110585A1 (en) * | 2011-11-02 | 2013-05-02 | Invisiblehand Software Ltd. | Data Processing |
JP2013097765A (en) * | 2011-11-07 | 2013-05-20 | Zenrin Datacom Co Ltd | Price comparison support system, price comparison support server and program for price comparison support |
-
2015
- 2015-07-30 JP JP2015150704A patent/JP6609434B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003016086A (en) * | 2001-07-02 | 2003-01-17 | Sony Corp | System for information processing, server, terminal device and method for providing of advertising service |
JP2007520802A (en) * | 2003-12-31 | 2007-07-26 | アマゾン・テクノロジーズ、インコーポレイテッド | System and method for obtaining information related to commercial items using a portable imaging device |
WO2010016281A1 (en) * | 2008-08-08 | 2010-02-11 | 株式会社ニコン | Search support system, search support method, and search support program |
US20100217684A1 (en) * | 2009-02-24 | 2010-08-26 | Ryan Melcher | System and method to create listings using image and voice recognition |
JP2012208854A (en) * | 2011-03-30 | 2012-10-25 | Nippon Telegraph & Telephone East Corp | Action history management system and action history management method |
US20130110585A1 (en) * | 2011-11-02 | 2013-05-02 | Invisiblehand Software Ltd. | Data Processing |
JP2013097765A (en) * | 2011-11-07 | 2013-05-20 | Zenrin Datacom Co Ltd | Price comparison support system, price comparison support server and program for price comparison support |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020021215A (en) * | 2018-07-31 | 2020-02-06 | 株式会社彩いろり | Liquor information management system and management method |
WO2020026763A1 (en) * | 2018-07-31 | 2020-02-06 | 株式会社彩いろり | Alcohol information management system and management method |
CN109635144A (en) * | 2018-12-12 | 2019-04-16 | 广州蓝深科技有限公司 | A kind of e-commerce picture search purchase system |
CN110532413A (en) * | 2019-07-22 | 2019-12-03 | 平安科技(深圳)有限公司 | Information retrieval method, device based on picture match, computer equipment |
CN110532413B (en) * | 2019-07-22 | 2023-08-08 | 平安科技(深圳)有限公司 | Information retrieval method and device based on picture matching and computer equipment |
CN111429225A (en) * | 2020-03-27 | 2020-07-17 | 上海二三四五网络科技有限公司 | Control method and control device for commodity search in shopping guide application program |
JP2022121319A (en) * | 2021-02-08 | 2022-08-19 | ソフトバンク株式会社 | Information processing device, program, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP6609434B2 (en) | 2019-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6522081B2 (en) | Electronic commerce system, electronic commerce method, and electronic commerce program | |
US8833652B2 (en) | Product information system and method using a tag and mobile device | |
CN103369049B (en) | Mobile terminal and server exchange method and system thereof | |
JP6609434B2 (en) | Product information providing system, product information providing method, and management server | |
US8494589B2 (en) | Service discovery via mobile imaging systems and methods | |
JP5395920B2 (en) | Search device, search method, search program, and computer-readable recording medium storing the program | |
US20140247997A1 (en) | Information processing system, information processing method, and computer program product | |
US20140358712A1 (en) | Shopping guide system, shopping guide management device and method | |
CN104504155B (en) | A kind of data capture method and system based on picture search | |
JPWO2012096013A1 (en) | Object display server, object display method, object display program, and computer-readable recording medium storing the program | |
JP6773344B2 (en) | Gift system | |
TWI648641B (en) | Wisdom TV data processing method, smart TV and smart TV system | |
JP2014215929A (en) | Commodity information server, user terminal, commodity information providing method, and program for commodity information server | |
JP6185216B1 (en) | Information providing system, information providing apparatus, information providing method, and program | |
US9928532B2 (en) | Image based search engine | |
KR20120132179A (en) | Method and apparatus for transmitting intention using photographing image | |
US20080071553A1 (en) | Generation of Commercial Presentations | |
JP5851560B2 (en) | Information processing system | |
US20150348100A1 (en) | Search engine server that searches data based on criteria included in an electronic record received from a computing device | |
US20120158546A1 (en) | System and method for identifying digital articles of commerce with a portable mobile device and linking the article to a social networking site | |
KR20140087082A (en) | Mobile Communication Terminal, System and Method for Trading Goods Using Image Analying Thereof | |
KR20130129877A (en) | Payment system using 2 dimensional barcode code and method thereof | |
KR102249997B1 (en) | Terminal and service providing device, product information providing system comprising the same, control method thereof and computer readable medium having computer program recorded therefor | |
KR20140044169A (en) | Bisiness model of treasure finding game using qr codes | |
KR20170055013A (en) | System and method for providing price comparison service code-based |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180727 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180727 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6609434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |