JP2017194848A - 画像認識サービスシステム - Google Patents

Abstract

【課題】カメラを利用してユーザが撮影した撮影画像と撮影画像の撮影場所に基づくコンテンツをユーザに配信できるシステムを提供する。【解決手段】画像認識サービスシステム１は，携帯端末２と画像認識装置３を含み，携帯端末２は，カメラ部２３を用いてユーザ５が撮影画像を撮影すると，ユーザ識別子および撮影場所の位置データを付加した撮影画像を含むコンテンツ要求を画像認識装置３に送信し，画像認識装置３は，コンテンツ要求に含まれる撮影画像と一致する商品画像データを商品ＤＢ３２から検索し，商品画像データに対応する商品とコンテンツ要求に含まれる位置データに少なくとも関連するコンテンツを携帯端末２へ送信する。【選択図】図１

Description

本発明は，画像認識を利用して，ユーザにコンテンツを配信する技術に関する。

ユーザの嗜好に合わせたコンテンツをユーザに提供する様々なシステムが以前より提案されている。従来の上記のシステムでは，ユーザが入力したキーワードに適合するコンテンツをユーザに提供するのが一般的であるが，上記の手法だと，ユーザがコンピュータにキーワードを入力する手間がかかるため，画像認識を利用して，ユーザが撮影した商品に係るコンテンツをユーザに提供する画像認識サービスが提案されている。

ユーザが撮影した商品に係るコンテンツをユーザに提供する画像認識サービスに係る発明として， 特許文献１では，カメラを利用してユーザが撮影した画像の特徴量を用いて，ユーザが撮影した商品を認識し，撮影対象となった商品に関連するコンテンツを提供するＵＲＬ（Uniform Resource Locator）をディスプレイに表示する機能を備えた携帯端末が開示されている。なお，特許文献１に記載の非特許文献１で公開されているシステムでは，携帯端末が，カメラを利用してユーザが撮影した画像の特徴量をサーバに送信し，サーバが，ユーザが撮影した商品を認識して，ユーザが撮影した商品に関連するコンテンツを携帯端末に配信するように構成されている。

特開２０１４−１６４５９４号公報

画像認識サービスを利用して，商品を販売している店舗にユーザを誘導することを考えると，従来の画像認識サービスは，ユーザが撮影した商品の画像に基づきコンテンツが一意に決定されるため，商品を販売しているＥＣサイトへの誘導に適しているが，ユーザがいる場所に応じてコンテンツを変更できないため，実店舗への誘導に適していない。

そこで，本発明は，カメラを利用してユーザが撮影した撮影画像と撮影画像の撮影場所に基づくコンテンツをユーザに配信できるシステムを提供する。

上述した課題を解決する第１の発明は，携帯端末と，ネットワークを介して前記携帯端末と接続する画像認識装置とから少なくとも構成された画像認識サービスシステムである。本発明の課題を解決するために，第１の発明に係る前記携帯端末は，撮影画像を撮影するカメラ部と，位置データを計測する位置計測部と，ユーザの操作により前記カメラ部を作動させ，撮影時に前記位置計測部が計測した位置データを付加した撮影画像を含むコンテンツ要求を前記画像認識装置へ送信する処理を行うコンテンツ要求部と，前記画像認識装置から受信したコンテンツを表示する処理を行うコンテンツ表示部を備える。また，本発明の課題を解決するために，第１の発明に係る前記画像認識装置は，画像認識で用いる商品画像データを商品毎に記憶した商品ＤＢと，商品および位置データを関連付けてコンテンツを記憶したコンテンツＤＢと，前記携帯端末から前記コンテンツ要求を受信すると，前記コンテンツ要求に含まれる撮影画像の特徴量を用いて，撮影画像と一致する前記商品画像データを前記商品ＤＢから検索する処理を行う画像認識部と，前記画像認識部が検索した前記商品画像データに対応する商品に関連付けられ，かつ，撮影画像に付加された位置データに関連付けられているコンテンツを前記コンテンツＤＢから検索し，前記コンテンツＤＢから検索したコンテンツを，前記コンテンツ要求を送信した前記携帯端末へ送信するコンテンツ検索部を備える。

上述した課題を解決する第２の発明は，第１の発明に記載した画像認識サービスシステムにおいて，前記携帯端末の前記カメラ部は，撮影時の位置データを撮影画像のＥｘｉｆ情報に含ませ，前記携帯端末の前記コンテンツ要求は，撮影時の位置データを含むＥｘｉｆ情報が付加された撮影画像を前記コンテンツ要求に含ませることを特徴とする。第２の発明によれば，コンテンツ要求に含まれる位置データは必ず撮影場所の位置データになる

上述した課題を解決する第３の発明は，第１の発明または第２の発明に記載した画像認識サービスシステムにおいて，前記画像認識装置は，ユーザの嗜好データを記憶するＤＢを備え，前記コンテンツＤＢは，商品，位置データおよび嗜好データを関連付けてコンテンツを記憶し，前記コンテンツ検索部は，前記画像認識部が検索した前記商品画像データに対応する商品に関連付けられ，かつ，撮影画像に付加された位置データに関連付けられているコンテンツの中から，ユーザの嗜好データに関連付けられているコンテンツを検索することを特徴とする。第３の発明によれば，ユーザの嗜好に応じてカスタマイズしたコンテンツをユーザに配信できる。

上述した本発明によれば，ユーザに配信されるコンテンツは，ユーザが撮影した撮影画像に対応する商品と撮影場所の位置データに少なくとも関連するコンテンツになるため，ユーザが撮影した撮影画像が同じであっても，ユーザに配信するコンテンツを撮影場所に応じて変更できる。

本実施形態に係る画像認識サービスシステムの構成を説明する図。 本実施形態に係る画像認識サービスシステムのブロック図。 本実施形態に係る画像認識サービスシステムの動作を説明する図。

ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の技術的範囲を束縛するものでなく，理解を助けるために記述するものである。

図１は，本実施形態に係る画像認識サービスシステム１の構成を説明する図である。図１で図示した画像認識サービスシステム１は，ユーザ５が所持する携帯端末２と，ネットワーク４を介して携帯端末２と接続する画像認識装置３を含み，ユーザ５が画像認識装置３に送信した画像である撮影画像および撮影画像の撮影場所に少なくとも基づくコンテンツを携帯端末２に配信できるように構成されている。

図２は，本実施形態に係る画像認識サービスシステム１のブロック図である。まず，本実施形態に係る画像認識サービスシステム１を構成する携帯端末２が備える機能について説明する。ユーザ５が所持する携帯端末２は，ネットワーク通信機能を備えた携帯型のコンピュータ機器を意味し，具体的には，スマートフォンやタブレットコンピュータである。

図２で図示したように，本実施形態に係る携帯端末２は，携帯端末２のハードウェアを利用して実現される機能として，タッチパネル部２２，カメラ部２３，位置計測部２４およびメモリ部２５を備える。また，本実施形態に係る携帯端末２は，携帯端末２にインストールされたコンピュータプログラムにより実現される機能として，コンテンツ要求部２０，コンテンツ表示部２１および嗜好選択部２６を備える。

携帯端末２のタッチパネル部２２は，表示デバイスとして機能する液晶ディスプレイと，操作デバイスとして機能するタッチデバイスと，これらを制御するソフトウェアにより実現され，指で操作できるように構成されたデバイスである。

携帯端末２のカメラ部２３は，一般的なスマートフォンに備えられたカメラ機能に該当する機能で，レンズおよび撮像素子（例えば，ＣＭＯＳ）と，これらを制御するソフトウェアにより実現され，撮像素子から得られた電気信号を画像処理した撮影画像をメモリ部２５に記録するデバイスである。

携帯端末２の位置計測部２４について説明する。携帯端末２の位置計測部２４は，携帯端末２の位置データを計測する機能である。携帯端末２の位置データを計測する手法として，ＧＰＳ（Global Positioning System）を利用する手法もあるが，移動体通信網を利用して位置データを検出する手法を用いるのが好適である。

携帯端末２のメモリ部２５は，データを記憶するための機能で，具体的には，ＲＡＭ（Random Access Memory）やＮＶＭ（Non-Volatile Memory）である。

携帯端末２のコンテンツ要求部２０は，コンテンツの配信を画像認識装置３に要求するための機能で，ユーザ識別子，および，撮影時に位置計測部２４が計測した位置データを付加した撮影画像を含むコンテンツ要求を画像認識装置３に送信する処理を実行する。

携帯端末２のコンテンツ要求部２０は，カメラ部２３を用いてユーザ５が撮影した撮影画像を取得するために，カメラ部２３を作動させるボタンオブジェクトをタッチパネル部２２に表示し，このボタンオブジェクトを用いて作動したカメラ部２３がメモリ部２５に記憶した画像を撮影画像として取得する。一般的なスマートフォンが有するカメラ機能には，撮影時の位置データを画像データのメタデータとしてＥｘｉｆ情報に含ませることができるため，カメラ部２３が，撮影時の位置データを位置計測部２４から取得して撮影画像のＥｘｉｆ情報に含ませ，コンテンツ要求は，撮影時の位置データを含むＥｘｉｆ情報が付加された撮影画像をコンテンツ要求に含ませるようにすることが好適である。このように構成することで，コンテンツ要求に含まれる位置データは必ず撮影場所の位置データになる。

コンテンツ要求に含ませるユーザ識別子は携帯端末２に予め登録される。画像認識サービスシステム１のみで用いるユーザ識別子の場合，画像認識装置３側で生成したユーザ識別子が携帯端末２に登録されるが，スマートフォンを携帯端末２に利用する場合，スマートフォンの電話番号をユーザ識別子に利用できる。

携帯端末２のコンテンツ表示部２１は，画像認識装置３が送信したコンテンツをタッチパネル部２２に表示する機能である。コンテンツの表示に用いるコンピュータプログラムとしては，携帯端末２として用いる装置（例えば，スマートフォン）に予め実装されている様々なアプリケーションを利用できる。例えば，画像認識装置３が送信するコンテンツがウェブページの場合，携帯端末２のコンテンツ表示部２１としてブラウザを用いることができる。また，画像認識装置３が送信するコンテンツが画像（例えば，クーポン）の場合，画像ビューアを用いることができる。

携帯端末２の嗜好選択部２６は，ユーザ５が選択した嗜好データを画像認識装置３のユーザＤＢ３３に登録する機能である。ユーザ５が選択した嗜好データを画像認識装置３のユーザＤＢ３３に登録する際，携帯端末２の嗜好選択部２６は，嗜好データをユーザ５に選択させる画面をタッチパネル部２２に表示した後，携帯端末２に登録されているユーザ識別子と，ユーザ５が選択した嗜好データを含む嗜好データ登録要求を画像認識装置３に送信する処理を行う。

次に，本実施形態に係る画像認識サービスシステム１を構成する画像認識装置３が備える機能について説明する。画像認識装置３は，ネットワーク通信機能を備えた汎用のサーバ機器を利用して実現される装置である。

図２で図示したように，本実施形態に係る画像認識装置３は，データベース（以下，「ＤＢ」と記す。）として，商品ＤＢ３２，ユーザＤＢ３３およびコンテンツＤＢ３４を備える。また，本実施形態に係る画像認識装置３は，画像認識装置３に実装されたコンピュータプログラムで実現される機能として，画像認識部３０，コンテンツ検索部３１および嗜好登録部３５を備える。

画像認識装置３が備える商品ＤＢ３２は，画像認識装置３が取り扱う商品毎に商品画像データを記憶したＤＢで，商品の識別に用いる商品識別子に関連付けて，商品識別子に対応する商品の商品画像データが記憶されている。なお，商品画像データは商品の画像そのものではなく，商品の画像から得られた特徴量を商品画像データとすると，商品画像データを検索する処理を高速化できる。また，画像認識装置３が取り扱う商品を，駅に貼られているポスターで広告されている商品，駅に置かれている小冊子や雑誌に掲載されている商品にすると，ユーザ５は，これらを利用して出先でコンテンツを要求できる。

画像認識装置３が備えるユーザＤＢ３３は，画像認識サービスシステム１を利用するユーザ５に係るデータを記憶したＤＢで，本実施形態では，ユーザ５の識別に用いるユーザ識別子に関連づけて，ユーザ５の嗜好を示す嗜好データが記憶されている。

画像認識装置３が備えるコンテンツＤＢ３４は，商品ＤＢ３２に商品画像データが登録されている商品に係るコンテンツを記憶したＤＢで，コンテンツの識別に用いるコンテンツ識別子に関連付けて，コンテンツの本体，コンテンツに関連する商品の商品識別子，および，コンテンツを配信するときの位置データが記憶されている。

コンテンツＤＢ３４に記憶するコンテンツのタイプは任意である。例えば，本実施形態に係る画像認識サービスシステム１を利用して，現実にある店舗にユーザ５を誘導することを考えると，コンテンツに関連する商品を販売している店舗の地図画像，この店舗で販売している商品を紹介する画像やＵＲＬなどがコンテンツとしてコンテンツＤＢ３４に記憶される。

画像認識装置３が備える画像認識部３０は，コンテンツ要求に含まれる撮影画像と一致する商品画像データを商品ＤＢ３２から検索する機能である。携帯端末２からコンテンツ要求を受信すると，画像認識装置３の画像認識部３０は，撮影画像の特徴量を算出した後，撮影画像の特徴量を利用して撮影画像と一致する商品画像データを商品ＤＢ３２から検索する処理を行うことで，撮影画像に撮影された商品の商品識別子を特定する。画像認識装置３が備える画像認識部３０が算出する画像の特徴量は任意に選択可能である。古くは，画像の輪郭を特徴量として用いていたが，近年では，画像の特徴量として，ＳＩＦＴ（Scale-Invariant Feature Transform）またはＳＵＲＦ（Speeded Up Robust Features）を用いるのが主流になっている。画像の特徴量として，ＳＩＦＴを用いる場合，商品ＤＢ３２に記憶された商品画像データごとに，撮影画像から得られたＳＩＦＴ特徴点と商品画像データから得られたＳＩＦＴ特徴点を対応付けする処理が行われ，例えば，撮影画像から得られたＳＩＦＴ特徴点と対応付けできたＳＩＦＴ特徴点が最も多い商品画像データが，撮影画像と一致する商品画像データとして検索される。

画像認識装置３が備えるコンテンツ検索部３１は，コンテンツ要求に対応するコンテンツをコンテンツＤＢ３４から検索し，検索したコンテンツを携帯端末２へ送信する機能である。本実施形態では，画像認識装置３のコンテンツ検索部３１がコンテンツＤＢ３４から検索するコンテンツは，コンテンツ要求に含まれる撮影画像と一致する商品画像データの商品識別子，および，コンテンツ要求に含まれる位置データに少なくとも関連付けられたコンテンツになる。更に，コンテンツ要求に含まれるユーザ識別子で示される嗜好データに関連付けられているコンテンツに絞り込む検索する処理を行うと，携帯端末２に送信するコンテンツをユーザ５に応じてカスタマイズできる。なお，位置データ（緯度経度）の精度が高すぎると，位置データに関連付けられたコンテンツが検索されないケースが増えるため，位置データに関連付けられたコンテンツを検索する際，位置データを所定桁数に丸めるとよい。

例えば，本実施形態に係る画像認識サービスシステム１を，実店舗への誘導に利用する場合，コンテンツ要求に含まれる撮影画像と一致する商品画像データの商品識別子に関連するコンテンツを，コンテンツ要求に含まれる撮影画像に対応する商品を販売している店舗に関連するコンテンツにすることよい。このようにすることで，ユーザ５に配信されるコンテンツは，ユーザ５の近くにある店舗に関連するコンテンツになる。更に，ユーザ５の嗜好に応じてコンテンツに絞り込むことで，ユーザ５の近くにある店舗で取り扱っている商品の中から，ユーザ５の嗜好に適合する商品を紹介するコンテンツをユーザ５に配信できる。

画像認識装置３が備える嗜好登録部３５は，ユーザ５の嗜好データをユーザＤＢ３３に登録する機能である。ユーザ識別子と嗜好データを含む嗜好データ登録要求が携帯端末２から送信されると，画像認識装置３の嗜好登録部３５は，嗜好データ登録要求に含まれるユーザ識別子に関連付けた状態で，嗜好データ登録要求に含まれる嗜好データをユーザＤＢ３３に登録する。

ここから，本実施形態に係る画像認識サービスシステム１の動作について説明する。図３は，本実施形態に係る画像認識サービスシステム１の動作を説明する図である。

本実施形態に係る画像認識サービスシステム１で最初に実行される処理は，携帯端末２が，ユーザ５が撮影した撮影画像を取得する処理（Ｓ１）である。この処理において，携帯端末２のコンテンツ要求部２０は，ユーザ５の操作によりカメラ部２３を起動させた後，撮影時の位置データが付加された撮影画像をメモリ部２５から取得する。

次に実行される処理は，携帯端末２が，ユーザ識別子，および，撮影時の位置データが付加された撮影画像を含むコンテンツ要求を画像認識装置３へ送信する処理（Ｓ２）である。この処理において，携帯端末２のコンテンツ要求部２０は，ネットワーク４を経由させて，画像認識装置３へコンテンツ要求を送信する。

次に実行される処理は，画像認識装置３が，コンテンツ要求に含まれる撮影画像を画像認識し，撮影画像と一致する商品画像データを検索する処理（Ｓ３）である。この処理において，画像認識装置３が備える画像認識部３０は，コンテンツ要求を携帯端末２から受信すると，コンテンツ要求に含まれる撮影画像の特徴量を算出した後，撮影画像の特徴量を利用して撮影画像と一致する商品画像データを商品ＤＢ３２から検索する。

次に実行される処理は，画像認識装置３が，撮影画像に対応する商品に関連するコンテンツをコンテンツＤＢ３４から検索する処理（Ｓ４）である。この処理において，画像認識装置３のコンテンツ検索部３１は，画像認識部３０が検索した商品画像データの商品識別子を関連付けているコンテンツ識別子をコンテンツＤＢ３４から検索する。

次に実行される処理は，画像認識装置３が，上記の検索結果の中から，コンテンツ要求に含まれる位置データに関連付けられているコンテンツを検索する処理（Ｓ５）である。画像認識装置３の撮影時の位置データを含むＥｘｉｆ情報が付加された撮影画像の場合，この処理において，画像認識装置３のコンテンツ検索部３１は，撮影画像のＥｘｉｆ情報から位置データを取得することになる。

次に実行される処理は，画像認識装置３が，上記の検索結果の中から，ユーザ５の嗜好データに関連付けられているコンテンツをコンテンツＤＢ３４から検索する処理（Ｓ６）である。この処理において，画像認識装置３のコンテンツ検索部３１は，コンテンツ要求に含まれるユーザ識別子に関連付けられている嗜好データをユーザＤＢ３３から取得した後，上記の検索結果（撮影画像に対応する商品に関連し，かつ，位置データに関連したコンテンツの集合になる）の中から，上記の嗜好データを関連付けているコンテンツ識別子を検索する。

次に実行される処理は，画像認識装置３が，コンテンツを携帯端末２に送信する処理（Ｓ７）である。この処理において，画像認識装置３が携帯端末２に送信するコンテンツは，最終的に検索できたコンテンツ識別子に関連付けられているコンテンツで，このコンテンツは，コンテンツ要求に含まれる撮影画像に対応する商品に対応し，かつ，コンテンツ要求を送信したユーザの場所に対応するコンテンツの中から，ユーザ５の嗜好に合わせてカスタマイズされたコンテンツになる。

次に実行される処理は，携帯端末２が，画像認識装置３から受信したコンテンツを表示する処理（Ｓ８）である。この処理において，携帯端末２のコンテンツ表示部２１は，画像認識装置３から受信したコンテンツのタイプに対応するアプリケーション（例えば，ブラウザ）を起動して，画像認識装置３から受信したコンテンツをタッチパネル部２２に表示する。

これまで説明したように，本実施形態に係る画像認識サービスシステム１によれば，ユーザ５に配信されるコンテンツは，ユーザ５が撮影した撮影画像に対応する商品と撮影場所の位置データに少なくとも関連するコンテンツになるため，コンテンツ要求に含まれる撮影画像が同一であっても，ユーザ５に配信されるコンテンツは撮影場所に応じて変わることになる。

１ 画像認識サービスシステム
２ 携帯端末
２０ コンテンツ要求部
２１ コンテンツ表示部
２２ タッチパネル部
２３ カメラ部
２４ 位置計測部
２５ メモリ部
３ 画像認識装置
３０ 画像認識部
３１ コンテンツ検索部
３２ 商品ＤＢ
３３ ユーザＤＢ
３４ コンテンツＤＢ

Claims (3)

1. 携帯端末と，ネットワークを介して前記携帯端末と接続する画像認識装置とから少なくとも構成され，
   前記携帯端末は，撮影画像を撮影するカメラ部と，位置データを計測する位置計測部と，ユーザの操作により前記カメラ部を作動させ，撮影時に前記位置計測部が計測した位置データを付加した撮影画像を含むコンテンツ要求を前記画像認識装置へ送信する処理を行うコンテンツ要求部と，前記画像認識装置から受信したコンテンツを表示する処理を行うコンテンツ表示部を備え，
   前記画像認識装置は，
   画像認識で用いる商品画像データを商品毎に記憶した商品ＤＢと，商品および位置データを関連付けてコンテンツを記憶したコンテンツＤＢと，前記携帯端末から前記コンテンツ要求を受信すると，前記コンテンツ要求に含まれる撮影画像の特徴量を用いて，撮影画像と一致する前記商品画像データを前記商品ＤＢから検索する処理を行う画像認識部と，前記画像認識部が検索した前記商品画像データに対応する商品に関連付けられ，かつ，撮影画像に付加された位置データに関連付けられているコンテンツを前記コンテンツＤＢから検索し，前記コンテンツＤＢから検索したコンテンツを，前記コンテンツ要求を送信した前記携帯端末へ送信するコンテンツ検索部を備えた，
   ことを特徴とする画像認識サービスシステム。
2. 前記携帯端末の前記カメラ部は，撮影時の位置データを撮影画像のＥｘｉｆ情報に含ませ，前記携帯端末の前記コンテンツ要求は，撮影時の位置データを含むＥｘｉｆ情報が付加された撮影画像を前記コンテンツ要求に含ませる，
   ことを特徴とする，請求項１に記載した画像認識サービスシステム。
3. 前記画像認識装置は，ユーザの嗜好データを記憶するＤＢを備え，前記コンテンツＤＢは，商品，位置データおよび嗜好データを関連付けてコンテンツを記憶し，前記コンテンツ検索部は，前記画像認識部が検索した前記商品画像データに対応する商品に関連付けられ，かつ，撮影画像に付加された位置データに関連付けられているコンテンツの中から，ユーザの嗜好データに関連付けられているコンテンツを検索する，
   ことを特徴とする，請求項１または請求項２に記載した画像認識サービスシステム。
   

Images