JP2010198199A - 情報提供システム及び情報提供方法 - Google Patents
情報提供システム及び情報提供方法 Download PDFInfo
- Publication number
- JP2010198199A JP2010198199A JP2009040989A JP2009040989A JP2010198199A JP 2010198199 A JP2010198199 A JP 2010198199A JP 2009040989 A JP2009040989 A JP 2009040989A JP 2009040989 A JP2009040989 A JP 2009040989A JP 2010198199 A JP2010198199 A JP 2010198199A
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- product
- feature amount
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000002776 aggregation Effects 0.000 claims description 21
- 238000004220 aggregation Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 30
- 238000010276 construction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000003936 working memory Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】利用者に娯楽性の高い商品情報を提供する情報提供システム、及び情報提供方法を提供する。
【解決手段】ユーザー情報データベース44には、商品情報が予め関連付けられた複数の特徴量に基づくグループ情報が記憶される。顔画像抽出部36は、サーバー11に入力された利用者の画像から顔画像を抽出する。特徴量算出部37は、顔画像抽出部36で抽出された顔画像の特徴量を算出する。特徴量照合部38は、利用者の特徴量と、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合して利用者の特徴量に対応する商品情報を特定する。特徴量照合部38で特定した商品情報を利用者に提供する。
【選択図】図2
【解決手段】ユーザー情報データベース44には、商品情報が予め関連付けられた複数の特徴量に基づくグループ情報が記憶される。顔画像抽出部36は、サーバー11に入力された利用者の画像から顔画像を抽出する。特徴量算出部37は、顔画像抽出部36で抽出された顔画像の特徴量を算出する。特徴量照合部38は、利用者の特徴量と、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合して利用者の特徴量に対応する商品情報を特定する。特徴量照合部38で特定した商品情報を利用者に提供する。
【選択図】図2
Description
本発明は、入力された画像に写っている人物と顔の類似度が高い人物のデータを検索し、検索にヒットしたデータを表示する情報提供システム及び情報提供方法に関する。
近年、静止画や動画などから人間の顔を抽出する顔画像抽出処理、さらにこの顔画像抽出処理を発展させた技術として、抽出した顔画像から特徴量を算出し、この特徴量に基づいて顔の類似度を判定する類似度判定処理などが注目されている。これらの顔画像抽出処理や類似度判定処理は顔認証システムなどのセキュリティ、ビジネス、またはエンターテイメント(娯楽)分野での利用が増えてきている。例えば特許文献1記載の顧客情報収集システムでは、店舗内部に複数のカメラを設置し、このカメラで撮影された画像から抽出した顔画像と、過去に来店して既に記憶されている顔画像とを照合して、過去の顔画像と一致すれば過去にも来店した客、一致しなければ新規の顧客かなどの行動履歴を把握することができる。
また、特許文献2では、遊技機で遊技を行う客の顔画像をカメラで撮影し、このカメラで撮影した遊技客個々の顔情報を識別し、この顔情報を遊技機の機種別に分類して収集し、さらにこの収集データに基づいて、遊技機の機種別に算出された特定の客層による機種別嗜好情報を遊技客情報として分析している。
しかしながら、上記特許文献記載の方法では、いずれも販売側の利点を考慮して活用されるものであり、顧客側には具体的な利点が見当たらない。さらに、最近では、インターネットの普及に伴い、アマゾンドットコム(amazon.com,登録商標)、セブンドリームドットコム(7dream.com,登録商標)などの通販サイトや、自社製品の通信販売を目的としたフジフイルムモール(Fujifilm Mall)などのEC(電子商取引)サイトが人気となっており、これらは、商品検索の利便性や、効率の高さは考慮されているが、商品情報の提供方法としては、売上げ、人気の高い商品、新商品などを並べる形態が中心であり、従来の店頭での商品配列と変わるものではなく、利用者としては面白みに欠けていた。
また、このようなサイトは、使用料・広告料収入により成り立っているのが通常であり、収益を増やすために、エンターテイメント性(娯楽性)を高めて多くの者に利用されることが望まれる。
本発明は、上記事情を考慮してなされたものであり、顔画像抽出処理をECサイトなどで活用して、利用者に娯楽性の高い商品情報を提供する情報提供システム、及び情報提供方法を提供することを目的とする。
上記目的を達成するために、利用者の画像を取得する画像取得手段と、前記画像取得手段により取得した画像から利用者の顔画像を抽出する顔画像抽出手段と、前記顔画像取得手段で抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出手段と、商品情報が予め関連付けられた複数の特徴量に基づくグループ情報が記憶されたデータベースと、前記特徴量算出手段で算出された利用者の特徴量と、前記データベースに記憶された前記グループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合手段と、前記特徴量照合手段で特定された前記商品情報を前記利用者に提供する情報提供手段とからなることを特徴とする。
前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、関連付けされた特徴量が所定範囲内にある前記ユーザー情報を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることが好ましい。
前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、前記ユーザー情報に関連付けされた特徴量に基づいて顔画像の類似度が高い登録者同士を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることが好ましい。
前記画像取得手段は、前記登録者として前記利用者の画像を取得し、前記顔画像抽出手段は、前記登録者として前記利用者の顔画像を抽出し、前記特徴量算出手段は、前記登録者として前記利用者の顔画像から特徴量を算出するものであり、前記特徴量算出手段で算出された前記登録者の特徴量を前記登録者のユーザー情報に関連付けて前記データベースに記憶することが好ましい。また、前記ユーザー情報、及び情報提供指示の入力を行う入力手段と、前記画像取得手段と、前記画像取得手段で取得した画像を前記データベースへ送信する通信手段とを備えた端末と、前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段、前記グループ情報作成手段、前記購入履歴作成手段、及び前記商品集計手段を備えたサーバと、前記端末及び前記サーバを接続するネットワークとを備えたことが好ましい。
前記画像取得手段は、店舗に設置され、顧客である利用者を撮影するカメラであり、前記店舗で売買される商品情報、前記ユーザー情報及び情報提供指示を入力する入力手段、及び前記カメラと通信して撮影画像を受け取る通信手段とを備えた端末と、前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段を備えたサーバとを備えたことが好ましい。
本発明の情報提供方法は、利用者の画像を取得する画像取得ステップと、前記画像取得ステップで取得した画像から利用者の顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップで抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出ステップと、前記特徴量算出ステップで算出した利用者の特徴量と、データベースに記憶され、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合ステップと、前記特徴量照合ステップにより特定された前記商品情報を利用者に提供する情報提供ステップとからなることを特徴とする。
登録者を撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量を前記登録者のユーザー情報に関連付けて記憶する特徴量記憶ステップと、前記特徴量が所定範囲内にある登録者を同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、前記登録者が購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各登録者の前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなることが好ましい。
新規ユーザーを撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量をユーザー情報に関連付けて記憶する特徴量記憶ステップと、前記特徴量が所定範囲内にあるユーザーを同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、前記ユーザーが購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各ユーザーの前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなることが好ましい。
本発明の情報提供システム及び情報提供方法によれば、利用者の画像から顔画像を抽出し、顔画像から利用者の特徴量を算出して、この利用者の特徴量と、データベースに記憶され、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合し、利用者の特徴量に対応する商品情報を特定して利用者に提供するので、利用者に娯楽性の高い商品情報を提供することができる。
[第1実施形態]
図1において、本発明の情報提供方法及びデータベース構築方法を適用した商品情報システムは、商品情報プログラムがインストールされたサーバー11、ユーザー端末12、及びこれらを接続するネットワークとしてのインターネット13から構成される。サーバー11は、商品情報プログラムを実行することで、インターネット13を介してユーザー端末12へEC(電子商取引)サイトを提供することができる。ユーザー端末12は、例えば周知のパーソナルコンピュータやワークステーションであり、各種操作画面などを表示するモニタ15と、操作信号を出力するマウス16及びキーボード17からなる操作部18(入力手段)と、ウェブカメラ19とを備えている。なお、ウェブカメラ19は、モニタ15上に正面のユーザーを撮像するようにセットされている。
図1において、本発明の情報提供方法及びデータベース構築方法を適用した商品情報システムは、商品情報プログラムがインストールされたサーバー11、ユーザー端末12、及びこれらを接続するネットワークとしてのインターネット13から構成される。サーバー11は、商品情報プログラムを実行することで、インターネット13を介してユーザー端末12へEC(電子商取引)サイトを提供することができる。ユーザー端末12は、例えば周知のパーソナルコンピュータやワークステーションであり、各種操作画面などを表示するモニタ15と、操作信号を出力するマウス16及びキーボード17からなる操作部18(入力手段)と、ウェブカメラ19とを備えている。なお、ウェブカメラ19は、モニタ15上に正面のユーザーを撮像するようにセットされている。
図2に示すように、ユーザー端末12を構成するCPU21は、データバス22を介して接続された操作部18から入力される操作信号などに従ってユーザー端末12全体を統括的に制御する。CPU21には、操作部18の他に、データバス22を介して、RAM23、ハードディスクドライブ(HDD)24、通信インターフェース(通信I/F)25、及びモニタ15が接続されている。
RAM23は、CPU21が処理を実行するための作業用メモリである。HDD24には、ユーザー端末12を動作させるための各種プログラムやデータが記憶されている。CPU21は、HDD24からプログラムを読み出してRAM23に展開し、読み出したプログラムを逐次処理する。
通信I/F25は、例えばモデムやルータであり、インターネット13に適合した通信プロトコルの制御を行い、インターネット13を経由したデータの遣り取りをする。また、通信I/F25は、ウェブカメラ19を含む外部機器や、記憶媒体などとのデータ入出力を行う。
図3に示すように、サーバー11を構成するCPU31は、インターネット13を経由してユーザー端末12から入力される操作信号に従ってサーバー11全体を統括的に制御する。CPU31には、データバス32を介して、RAM33、ハードディスクドライブ(HDD)34、通信インターフェース(通信I/F)35、顔画像抽出部36、特徴量算出部37、特徴量照合部38、グループ情報作成部39、購入履歴作成部41、及び商品集計部42が接続されている。
RAM33は、CPU31が処理を実行するための作業用メモリである。HDD34には、サーバー11を動作させるための各種プログラムやデータが記憶されている。また、HDD34には、商品情報提供プログラム43が記憶されている。CPU31は、HDD34からプログラムを読み出してRAM33に展開し、読み出したプログラムを逐次処理する。
HDD34には、ユーザー情報DB(データベース)44及び商品情報DB45が備えられている。ユーザー情報DB44には、複数のユーザー情報が格納されている。それぞれのユーザー情報には、ユーザーの顔画像から抽出された特徴量が関連付けて記憶されている。商品情報DB45には、商品情報提供システム10で提供する商品に関する詳細な情報が記憶されている。
通信I/F35は、例えばモデムやルータであり、インターネット13に適合した通信プロトコルの制御を行い、インターネット13を経由したデータの遣り取りをする。通信I/F35は、画像が入力される入力部として機能し、また、特徴量照合部38で特定された商品情報をユーザー端末12に出力する出力部として機能する。通信I/F35を介して入力されたデータは、RAM33に一時的に記憶される。
図4に示すように、顔画像抽出部36は、ユーザー端末12のウェブカメラ19で撮影された画像がサーバー11に入力されると、その画像から顔画像を抽出する。顔画像の抽出には、特開平05−158164号公報で開示されている測光値から作成した色相値と彩度値とのヒストグラムを用いた方法や、特開平07−306483号公報で開示されている肌色検出を用いた方法などを利用する。詳しい説明は、特開平05−158164号公報や、特開平07−306483号公報などを参照されたい。なお、顔画像の抽出には、パターンマッチングを用いた技術を利用してもよい。
特徴量算出部37は、顔画像抽出部36で抽出された顔画像の特徴量を算出する。特徴量算出部37が算出する顔の特徴量としては、例えば、顔の輪郭線の位置、顔の輪郭形状、並びに顔を構成する目、口および鼻等の顔パーツの位置などを算出する。特徴量の算出には、特開平05−020442号公報や、カリフォルニア大学サンタバーバラ校HP(http://www.cs.ucsb.edu/~mturk/Papers/mturk-CVPR91.pdf)で開示されている画像の濃淡分布を表現した特徴ベクトルを算出する方法などを利用する。詳しい説明は、特開平05−020442号公報や、カリフォルニア大学サンタバーバラ校HPなどを参照されたい。
特徴量照合部38は、ユーザー端末12から入力された新規のユーザー情報に関連付けられた特徴量と、既に登録済みのユーザー情報に関連付けられた特徴量に基づくグループ情報とを照合し、新規のユーザー情報の特徴量と一致する特徴量が関連付けられた登録済みのユーザー情報を特定する。本実施形態では、新規のユーザー情報に関連付けされた特徴量と照合するグループ情報として、後述するグループ情報作成部39によって特徴量を所定範囲ごとにグループ分けしたグループ情報を用いる。
グループ情報作成部39は、新規のユーザー情報及び登録済みのユーザー情報に対して、関連付けられた特徴量が所定範囲内にあるユーザー同士を同じグループとするグループ情報を作成して、各ユーザー情報が属するグループ情報をユーザー情報に関連付けて記憶する。このグループ情報作成で作成するグループ情報では、例えば、以下の表1に示す所定範囲内にある特徴量が関連付けされたユーザー情報同士が同じグループA〜Eとして設定されている。
購入履歴作成部41は、ユーザー情報の登録後、ユーザーが商品情報提供システム10を利用して商品を購入した購入履歴を作成し、この商品購入履歴をユーザー情報に関連付けて記憶する。商品集計部42は、グループ情報及び商品購入履歴に基づき、ユーザー情報が属するグループごとに各ユーザー情報に関連付けられた商品購入履歴にある商品を読み出して集計し、この集計された商品の集計結果を商品情報としてユーザー情報に関連付けて記憶させる。
図5に示すように、ユーザー情報DB44には、各ユーザー情報が記憶されている。これらの各ユーザー情報には、例えば、名前、生年月日、性別、住所、商品購入履歴などの項目に対応した情報が記憶されるとともに、顔画像から抽出された特徴量が関連付けて記憶されている。また、商品情報DB45には商品情報提供システム10で情報提供し、販売する商品に関する商品情報がそれぞれ記憶されている。なお、図5では、後述する
次に、上記構成を有する商品情報システム2の処理手順について、ユーザー情報を登録するユーザー登録処理と、情報提供処理と、データベース構築処理とを行う場合とに分けて、図6〜図8のフローチャートを参照して説明する。まず、図6において、ビューアーソフトが起動され、サーバー11へのアクセス認証が行われた後、ユーザー情報の登録を行うモードが選択されると、図9(A)に示す登録ウィンドウ50がモニタ15に表示される。登録ウィンドウ50には、入力バー51〜54、画像表示領域55、画像取り込みボタン56、登録ボタン57が形成されている。
ユーザー(利用者)は、各入力バー51〜54に名前、生年月日、性別、住所など自身に関する情報を入力する。そして、画像取り込みボタン56を選択すると、CPU31に撮影指示が入力される。撮影指示が入力されたCPU31は、ウェブカメラ19を制御し、撮影を実行させる。ウェブカメラ19は上述したようにモニタ15上に設置されているため、ユーザー端末12前にいるユーザーの画像を撮影することができる。ウェブカメラ19で撮影された画像は、登録ウィンドウ50内の画像表示領域55に表示される。なお、画像表示領域55に画像が表示された後、再度撮影したい場合は、画像取り込みボタン56を選択すると、表示された画像が破棄され、新たにウェブカメラ19で撮影された画像が画像表示領域55に表示される。各入力バー51〜54に情報が入力され、画像表示領域55に画像が表示された状態(図9(B)に示す状態)となり、ユーザーがそれを確認して内容が良ければ、操作部18によって登録ボタン57を選択する。登録ボタン57が選択されると、ユーザー情報とともに、ウェブカメラ19で撮影した最新の画像が通信I/F24を介してサーバー11に出力される。
サーバー11では、通信I/F34でユーザー情報、およびユーザーを撮影した画像が受信される。これらの情報のうち、ユーザー情報はCPU30に入力されるとともにRAM33に記憶される。また、画像データは、顔画像抽出部36に入力される。顔画像抽出部36では、上述したようにユーザーを撮影した画像が入力されると、その画像から顔画像を抽出する。この顔画像抽出部36で抽出された顔画像は、RAM33に記憶される。
顔画像抽出部36で抽出された顔画像は、RAM33から特徴量算出部37に読み出される。特徴量算出部37では、顔画像抽出部36で抽出された顔画像の特徴量が算出される(図4参照)。算出された特徴量はRAM33に記憶される。
CPU31は、以上のようにして記憶された新規のユーザー情報及び特徴量をRAM33から読み出して、ユーザー情報に特徴量を関連付けてユーザー情報DB44に記憶させる。これによりユーザー登録処理が完了する。
ユーザー登録処理が完了すると、商品情報提供システム10では続いて情報提供処理が実行される。情報提供処理では、図7のフローチャートに示すように、先ずユーザー情報DB44に記憶された新規のユーザー情報及びこれに関連付けられた特徴量が、特徴量照合部38に読み出される。特徴量照合部38では、特徴量算出部37で算出された新規のユーザー情報に関連付けされた特徴量と、ユーザー情報DB44に予め記憶されている特徴量に基づくグループ情報とを照合して商品情報を特定する。
特徴量照合部38では、新規のユーザー情報に関連付けされた特徴量と、グループ情報とを照合して、新規のユーザー情報に関連付けされた特徴量が当てはまるグループ情報を特定し、さらにそのグループ情報に基づき、同じグループに属する特徴量に関連付けされた商品情報が特定される。本実施形態では、特徴量はユーザー情報に関連付けられており、さらに各ユーザー情報には、後述する商品購入履歴及び商品集計結果が商品情報として関連付けられている。よって、特徴量に関連付けされた商品情報が特定された場合、これらの商品購入履歴及び商品集計結果がデータベース43から読み出される。特徴量照合部38で特定された商品情報は通信I/F35を介してユーザー端末12に出力される。ユーザー端末12に表示される画面が上述した登録画面から図10に示す情報提供ウィンドウ60に切り替わり、特徴量照合部38で特定された商品情報61が表示される。この情報提供ウィンドウ60では、ユーザーの顔画像から抽出された特徴量に関連付けされた商品情報61を、ユーザーの顔に似た人が購入した商品情報として表示している。
そして、ユーザーは情報提供ウィンドウ60に形成された購入ボタン62を選択することで商品情報61に表示された商品を購入する購入画面(図示せず)に進み、この購入画面で購入手続きを行うことで通信販売などの形態で商品を購入することができる。このようにして商品を購入した場合、購入手続きの遣り取りの中でユーザー端末12からサーバー11へユーザー情報及び購入済みの商品情報が出力される。サーバー11では、ユーザー情報及び購入済みの商品情報を受信すると、購入履歴作成部41へユーザー情報及び購入済みの商品情報が入力される。購入履歴作成部41では、入力されたユーザー情報に基づき、データベース43から以前に作成した商品購入履歴があればそれを読み出し、無ければ新規に商品購入履歴を作成する。また、以前に作成した商品購入履歴がある場合、今回の商品情報を追加して内容を更新した商品購入履歴を作成する。そして、購入履歴作成部41で作成された商品購入履歴は、対応するユーザー情報に関連付けられてユーザー情報DB44に記憶される。商品購入履歴は、例えば図11に示すように商品情報と、ユーザーが購入した順番に商品A,B,C・・・と作成されている。
以上のようにしてユーザーの顔画像から抽出された特徴量から特定された商品情報をユーザーに提供することができるため、ユーザーに対して娯楽性の高い商品情報の提供を行うことができる。
一方、ユーザー登録処理が完了した後、上述した情報提供処理が行われるとともに、以下で説明するデータベース構築処理も並列して行われる。データベース構築処理では、図8のフローチャートに示すように、ユーザー登録処理完了後、グループ情報作成部39に新規のユーザー情報及びユーザー情報に関連付けられた特徴量が読み出される。グループ情報作成部39では、新規のユーザー情報、及び既に登録済みのユーザー情報に対して、関連付けられた特徴量が所定範囲内にあるユーザー情報同士を同じグループとするグループ情報を作成して、各ユーザー情報が属するグループ情報を作成する(表1参照)。作成されたグループ情報はRAM33に記憶される。
グループ情報作成部39で作成されたグループ情報は、RAM33から商品集計部42に読み出される。商品集計部42では、このグループ情報から、同じグループに属するユーザー情報に関連付けられた商品購入履歴を読み出し、図12に示すように、グループ情報及び商品購入履歴に基づき、同じグループに属するユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成する。作成された商品集計結果はRAM33に記憶される。RAM33からグループ情報及び商品集計結果を読み出したCPU31は、ユーザー情報にグループ情報及び商品集計結果を関連付けてユーザー情報DB44に記憶させる。
上述したように、ユーザー登録処理後、商品情報提供システム10では、商品の購入が合った場合、随時商品購入履歴の更新が行われる。よって、データベース構築処理でも最初の商品集計結果作成後、商品購入履歴に更新がある度に、グループ情報作成部39によるグループ情報の作成、商品集計部42による商品の集計が行われ、更新された商品集計結果がユーザー情報に関連付けて記憶される。
以上説明したように、特徴量が所定範囲内にあるユーザー情報同士を同じグループとするグループ情報及び商品購入履歴に基づいて、ユーザー(利用者)に商品情報を提供しているので、特徴量が近似するユーザー(登録者)、すなわち、顔が類似すると思われる人物に関する商品情報が、商品購入の度に随時更新されながら提供されているので、ユーザー(利用者)にとって娯楽性の高い情報提供を行うことができる。
[第2実施形態]
上記第1実施形態の情報提供システムでは、新規のユーザー情報に関連付けられた特徴量と照合するグループ情報、及び特徴量に基づいてグループ情報作成部で作成するグループ情報として、所定範囲内にある特徴量が関連付けされたユーザー情報同士が同じグループとして設定されているが、本発明はこれに限定されるものではない。
[第2実施形態]
上記第1実施形態の情報提供システムでは、新規のユーザー情報に関連付けられた特徴量と照合するグループ情報、及び特徴量に基づいてグループ情報作成部で作成するグループ情報として、所定範囲内にある特徴量が関連付けされたユーザー情報同士が同じグループとして設定されているが、本発明はこれに限定されるものではない。
第2実施形態の情報提供システムでは、図13に示すように、特徴量算出部71は、顔画像抽出部36で抽出された顔画像から複数項目(例えば、顔の輪郭線位置に関する項目、顔の輪郭形状に関する項目、顔パーツの位置に関する項目など)の特徴量を算出してユーザー情報に関連付けする。また、図14に示すように、グループ情報作成部72では、これらの複数項目の特徴量に基づいて類似度の高いグループ、すなわち、ユーザー情報に関連付けられた複数項目の特徴量が近似(特徴量の差分の合計が所定範囲内)する者同士が同じグループとして設定されている。なお、図14では、「山田太郎」のユーザー情報73と「鈴木花子」のユーザー情報74とに関連付けられた特徴量の差分を全ての項目で合計した値が最も小さいため同じグループAにあることを示している。また、これらの特徴量算出部71及びグループ情報作成部72以外の構成は上記実施形態と同様である。なお、類似度の高いグループを設定する方法はこれに限るものではなく、例えば、関連付けられた特徴量の差分が全ての項目で近似(差分が所定範囲内)する者同士を同じグループとしてもよい。
次に、上記構成を有する商品情報システムの処理手順について、ユーザー登録処理及びデータベース構築処理を行う場合について、図15及び図16に示すフローチャートを参照して説明する。なお、情報提供処理については上記第1実施形態と同様であるため詳しい説明を省略する。また、各処理内で上記実施形態と同様のプロセスを行う場合も説明を省略する。本実施形態のユーザー登録処理では、先ず、上記第1実施形態と同様のプロセスで登録ウィンドウ50を開いて入力操作を行い、ユーザー情報とともに、ウェブカメラ19で撮影した最新の画像がユーザー端末12から出力される。これらの情報のうち、画像データは、顔画像抽出部36に入力される。顔画像抽出部36では、ユーザーを撮影した画像が入力されると、その画像から顔画像を抽出する。この顔画像抽出部36で抽出された顔画像は、RAM33に記憶される。顔画像抽出部36で抽出された顔画像は、RAM33から特徴量算出部71に読み出される。特徴量算出部37では、顔画像抽出部36で抽出された顔画像から複数項目の特徴量が算出される。算出された特徴量はRAM33に記憶される。
CPU31は、以上のようにして記憶された新規のユーザー情報及び特徴量をRAM33から読み出して、ユーザー情報に複数項目の特徴量を関連付けてユーザー情報DB44に記憶させる。これによりユーザー登録処理が完了する。
ユーザー登録処理が完了した後、グループ情報作成部72に新規のユーザー情報及びユーザー情報に関連付けられた特徴量が読み出される。グループ情報作成部72では、新規のユーザー情報、及び既に登録済みのユーザー情報に対して、複数項目の特徴量が近似する者同士を同じグループとするグループ情報を作成して、各ユーザー情報が属するグループ情報を作成する。作成されたグループ情報はRAM33に記憶される。
グループ情報作成部72で作成されたグループ情報は、RAM33から商品集計部42に読み出される。商品集計部42では、グループ情報及び商品購入履歴に基づき、同じグループに属するユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成する。CPU31は、ユーザー情報にグループ情報及び商品集計結果を関連付けてユーザー情報DB44に記憶させる。上記第1実施形態と同様に、最初の商品集計結果作成後、商品購入履歴に更新がある度にグループ情報作成部72によるグループ情報作成、及び商品集計部42による商品の集計が行われ、更新された商品集計結果がユーザー情報に関連付けて記憶される。
以上で説明したように、複数項目の特徴量が近似する者同士を同じグループとするグループ情報を作成して、このグループ情報に関連する商品情報を提供しているので、上記第1実施形態よりもさらにユーザー自身に似た人物の商品情報が得られ、娯楽性の高い情報を提供することができる。
なお、上記各実施形態では、サーバー11及びユーザー端末12及びこれを接続するインターネット13からなる情報提供システムに適用される例を説明したが、これに限定されるものではない。例えば、入力用の端末と、この端末が直接接続されたサーバーと、端末またはサーバーに接続されたカメラ(画像取得手段)からなるシステムに適用し、これらを店舗などに設置してもよい。この場合、カメラは、店舗内の顧客を撮影可能とし、端末は、店舗内の顧客が入力可能とすることが好ましい。また、入力用の端末を省略して、一台のサーバーに上記各実施形態で説明したサーバー11及びユーザー端末12の機能のうち、ウェブカメラを除く全ての機能を持たせるようにしてもよい。
なお、上記各実施形態においては、ユーザー登録処理完了後、情報提供処理と、データベース構築処理とを並列して行い、ユーザー情報データベースを随時更新した内容を情報提供処理に反映させる構成となっているが、本発明はこれに限るものではなく、ユーザー登録処理及び情報提供処理を行うときは、ユーザー情報データベースは更新せず、ユーザー登録処理で登録された内容と予め記憶された内容のみで情報提供処理を行うようにしてもよい。この場合、上記各実施形態のように、ユーザー情報に、特徴量、商品情報及びグループ情報を関連付けさせる構成ではなく、所定の特徴量に商品情報及びグループ情報を関連付けさせたデータを予めデータベースに記憶させておけばよい。
なお、上記各実施形態においては、情報提供処理の際、新規のユーザー情報に関連付けされた特徴量から特定された商品情報をユーザーに提供しているが、この際、商品情報だけではなく、特徴量照合部による照合で、新規のユーザー情報に関連付けされた特徴量が当てはまるグループ情報を特定し、さらにそのグループ情報に基づき、同じグループに属する特徴量に関連付けされたユーザー情報及び商品情報を読み出すようにする。これにより特徴量が同じグループのユーザー情報、例えば年齢や性別などを提供することで、ユーザーに提供する情報量が増加する。
また、上記各実施形態で示した情報提供システムは一例にすぎず、本発明の趣旨を逸脱しなければ、如何様な態様にも適宜変更することができる。
10 商品情報提供システム
11 サーバー
12 ユーザー端末
19 ウェブカメラ
35 通信インターフェース(通信I/F)
36 顔画像抽出部
37 特徴量算出部
38 特徴量照合部
39 グループ情報作成部
41 購入履歴作成部
42 商品集計部
43 ユーザー情報データベース
11 サーバー
12 ユーザー端末
19 ウェブカメラ
35 通信インターフェース(通信I/F)
36 顔画像抽出部
37 特徴量算出部
38 特徴量照合部
39 グループ情報作成部
41 購入履歴作成部
42 商品集計部
43 ユーザー情報データベース
Claims (9)
- 利用者の画像を取得する画像取得手段と、
前記画像取得手段により取得した画像から利用者の顔画像を抽出する顔画像抽出手段と、
前記顔画像取得手段で抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出手段と、
商品情報が予め関連付けられた複数の特徴量に基づくグループ情報が記憶されたデータベースと、
前記特徴量算出手段で算出された利用者の特徴量と、前記データベースに記憶された前記グループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合手段と、
前記特徴量照合手段で特定された前記商品情報を前記利用者に提供する情報提供手段とからなることを特徴とする情報提供システム。 - 前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、
関連付けされた特徴量が所定範囲内にある前記ユーザー情報を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、
前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、
前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることを特徴とする請求項1記載の情報提供システム。 - 前記データベースは、登録者の顔画像から算出された特徴量を関連付けされた前記登録者のユーザー情報が記憶されており、
前記ユーザー情報に関連付けされた特徴量に基づいて顔画像の類似度が高い登録者同士を同じグループとするグループ情報を作成して前記ユーザー情報に関連付けるグループ情報作成手段と、
前記登録者に関連する商品購入履歴を前記ユーザー情報に関連付けて前記データベースに記憶する購入履歴作成手段と、
前記グループ情報及び前記商品購入履歴に基づき、同じグループに属する前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計した商品集計結果を作成し、この商品集計結果を商品情報として前記グループに属する各登録者の前記ユーザー情報に関連付ける商品集計手段とからなることを特徴とする請求項1記載の情報提供システム。 - 前記画像取得手段は、前記登録者として前記利用者の画像を取得し、前記顔画像抽出手段は、前記登録者として前記利用者の顔画像を抽出し、前記特徴量算出手段は、前記登録者として前記利用者の顔画像から特徴量を算出するものであり、
前記特徴量算出手段で算出された前記登録者の特徴量を前記登録者のユーザー情報に関連付けて前記データベースに記憶することを特徴とする請求項2又は3記載の情報提供システム。 - 前記ユーザー情報、及び情報提供指示の入力を行う入力手段と、前記画像取得手段と、前記画像取得手段で取得した画像を前記データベースへ送信する通信手段とを備えた端末と、
前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段、前記グループ情報作成手段、前記購入履歴作成手段、及び前記商品集計手段を備えたサーバと、
前記端末及び前記サーバを接続するネットワークとを備えたことを特徴とする請求項1ないし4いずれか記載の情報提供システム。 - 前記画像取得手段は、店舗に設置され、顧客である利用者を撮影するカメラであり、前記店舗で売買される商品情報、前記ユーザー情報及び情報提供指示を入力する入力手段、及び前記カメラと通信して撮影画像を受け取る通信手段とを備えた端末と、
前記データベース、前記顔画像抽出手段、前記特徴量算出手段、前記特徴量照合手段、前記情報提供手段を備えたサーバとを備えたことを特徴とする請求項1ないし4いずれか記載の情報提供システム。 - 利用者の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像から利用者の顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップで抽出した前記顔画像から利用者の顔に関する特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップで算出した利用者の特徴量と、データベースに記憶され、商品情報が予め関連付けられた特徴量に基づくグループ情報とを照合し、利用者の特徴量に対応する前記商品情報を特定する特徴量照合ステップと、
前記特徴量照合ステップにより特定された前記商品情報を利用者に提供する情報提供ステップとからなることを特徴とする情報提供方法。 - 登録者を撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量を前記登録者のユーザー情報に関連付けて記憶する特徴量記憶ステップと、
前記特徴量が所定範囲内にある登録者を同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、
前記登録者が購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、
前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、
前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各登録者の前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなる請求項7記載の情報提供方法。 - 新規ユーザーを撮像した画像から顔画像を抽出し、前記顔画像から算出された特徴量をユーザー情報に関連付けて記憶する特徴量記憶ステップと、
前記特徴量が所定範囲内にあるユーザーを同じグループとするグループ情報を前記ユーザー情報に関連付けて記憶するグループ分けステップと、
前記ユーザーが購入した商品に関する商品購入履歴を前記ユーザー情報に関連付けて記憶する購入履歴記憶ステップと、
前記グループごとに、前記ユーザー情報に関連付けられた商品購入履歴にある商品を集計する商品集計ステップと、
前記商品集計ステップによる商品の集計結果を商品情報として前記グループに含まれる各ユーザーの前記ユーザー情報に関連付けて記憶する商品情報記憶ステップとからなる請求項7記載の情報提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009040989A JP2010198199A (ja) | 2009-02-24 | 2009-02-24 | 情報提供システム及び情報提供方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009040989A JP2010198199A (ja) | 2009-02-24 | 2009-02-24 | 情報提供システム及び情報提供方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010198199A true JP2010198199A (ja) | 2010-09-09 |
Family
ID=42822881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009040989A Pending JP2010198199A (ja) | 2009-02-24 | 2009-02-24 | 情報提供システム及び情報提供方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010198199A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014175003A (ja) * | 2013-03-12 | 2014-09-22 | Hon Hai Precision Industry Co Ltd | 検索最適化システム及びその方法 |
JP2018160001A (ja) * | 2017-03-22 | 2018-10-11 | 日本電気株式会社 | 情報提供システム、管理サーバ、情報提供方法およびプログラム |
JP2019091366A (ja) * | 2017-11-17 | 2019-06-13 | ヤフー株式会社 | 広告配信システム、広告配信方法、およびプログラム |
US11023713B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
-
2009
- 2009-02-24 JP JP2009040989A patent/JP2010198199A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014175003A (ja) * | 2013-03-12 | 2014-09-22 | Hon Hai Precision Industry Co Ltd | 検索最適化システム及びその方法 |
US11023713B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
US11023714B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
US11023712B2 (en) | 2017-01-05 | 2021-06-01 | Nec Corporation | Suspiciousness degree estimation model generation device |
JP2018160001A (ja) * | 2017-03-22 | 2018-10-11 | 日本電気株式会社 | 情報提供システム、管理サーバ、情報提供方法およびプログラム |
JP2019091366A (ja) * | 2017-11-17 | 2019-06-13 | ヤフー株式会社 | 広告配信システム、広告配信方法、およびプログラム |
JP6995578B2 (ja) | 2017-11-17 | 2022-01-14 | ヤフー株式会社 | 広告配信システム、広告配信方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5344547B2 (ja) | 人の属性情報を取得するpos端末装置、posシステム、属性情報取得方法、及び属性情報取得プログラム | |
JP5311239B2 (ja) | 売上データ処理装置及びプログラム | |
JP2011253344A (ja) | 購買行動分析装置、購買行動分析方法、およびプログラム | |
JP4717934B2 (ja) | 関係分析方法、関係分析プログラム、および、関係分析装置 | |
CN109165992A (zh) | 一种智能导购方法、装置、系统及计算机存储介质 | |
CN106055710A (zh) | 基于视频的商品推荐方法及装置 | |
WO2014004864A1 (en) | Determining how interested a particular person is in an image | |
CN108197519A (zh) | 基于二维码扫描触发人脸图像采集的方法和装置 | |
CN110033293A (zh) | 获取用户信息的方法、装置及系统 | |
JP2016057940A (ja) | 画像処理装置及び画像処理プログラム | |
CN109074498A (zh) | 用于pos区域的访问者跟踪方法和系统 | |
CN111797756A (zh) | 基于人工智能的视频分析方法、设备及介质 | |
CN108389053B (zh) | 支付方法、装置、电子设备及可读存储介质 | |
JP2010198199A (ja) | 情報提供システム及び情報提供方法 | |
Shadrach et al. | Smart virtual trial room for apparel industry | |
JP2013200895A (ja) | データ処理装置及びプログラム | |
CN111447260A (zh) | 信息推送、信息发布方法及装置 | |
JP4966637B2 (ja) | 電子商取引システム及び電子商取引方法 | |
JP6813039B2 (ja) | 画像処理装置及び画像処理プログラム | |
Tyagi et al. | Unconstrained face recognition quality: A review | |
US11659273B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
JP7426544B1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
JP4332399B2 (ja) | 情報提供方法及び情報提供プログラム | |
JP4729474B2 (ja) | 印刷広告作成支援システム | |
JP2019185349A (ja) | 検索装置、検索方法及びプログラム |