JP2008203916A - 画像処理装置、プログラム及び画像処理方法 - Google Patents

Abstract

【課題】マーケティングに直結する購買情報を取得することのできる技術を提供すること。
【解決手段】撮像装置１５０で撮像された画像から人物の所有する物品画像を情報抽出部１２２で抽出し、対応付け部１２３が、抽出した物品画像の特徴量を算出し、算出した特徴量と、特徴量情報記憶領域１１１に記憶されているモデル物品の特徴量と、を比較して類似するモデル物品を特定して、特定したモデル物品に対応する属性情報を属性情報記憶領域１１２から抽出して、顧客情報記憶領域１１３に記憶する。
【選択図】図１

Description

本発明は、人物を撮像した撮像画像から顧客情報を生成する画像処理の技術に関する。

マーケティングを行うために、従来から様々な方法で顧客情報の収集が行われている。

例えば、特許文献１に記載されている技術は、顧客の身長データや顧客の撮像データといった客層データを取得して、取得した客層データから顧客の年令や性別といった種別を判定し、判定した種別に応じた案内データ（ＰＯＰ内容、商品説明内容）を顧客に提示するようにしている。

特開平１１−３２８２６６号公報

特許文献１に記載の技術では、顧客の身長データと顔の撮像データから客層分析を行うようにされているが、顧客の年令や性別だけでは、その顧客の嗜好、購買意欲、購買力等のマーケティングに直結する購買情報を取得することはできない。

そこで、本発明では、マーケティングに直結する購買情報を取得することのできる技術を提供することを目的とする。

以上の課題を解決するため、本発明では、顧客の所有する物品から当該顧客の嗜好、購買意欲又は購買力等の購買情報を取得する。

例えば、本発明は、人物を撮像した撮像画像から顧客情報を生成する画像処理装置であって、モデル物品と、当該モデル物品の所有者の属性に関する属性情報と、を対応させて記憶する記憶部と、制御部と、を備え、前記制御部は、前記撮像画像から前記人物の所持する物品の物品画像を抽出する処理と、前記物品画像に類似するモデル物品を特定する処理と、特定したモデル物品に対応する属性情報を顧客情報として前記記憶部に記憶する処理と、を行うこと、を特徴とする。

以上のように、本発明によれば、マーケティングに直結する情報を取得することができる。

図１は、本発明の一実施形態である画像処理装置１００の概略図である。

図示するように画像処理装置１００は、記憶部１１０と、制御部１２０と、ＩＦ部１３０と、を備えており、ＩＦ部１３０を介して、センサ１６０の検知信号の入力と、撮像装置１５０で撮像された画像の入力と、を受け付ける。

記憶部１１０は、特徴量記憶領域１１１と、属性情報記憶領域１１２と、顧客情報記憶領域１１３と、を備える。

特徴量記憶領域１１１には、モデルとなる物品を識別する情報と、当該物品の特徴量を特定する情報と、が記憶される。

本実施形態においては、例えば、図２（特徴量テーブル１１１ａの概略図）に示されるような特徴量テーブル１１１ａが記憶される。

図示するように、特徴量テーブル１１１ａは、画像欄１１１ｂと、ＩＤ欄１１１ｃと、色欄１１１ｄと、形状欄１１１ｅと、色ヒストグラム欄１１１ｆと、Ｒ欄１１１ｇと、Ｇ欄１１１ｈと、Ｂ欄１１１ｉと、を備えている。

画像欄１１１ｂには、物品の画像データが格納される。

ＩＤ欄１１１ｃには、画像欄１１１ｂに格納される画像データで特定されるモデル物品を識別するための識別情報（ＩＤ番号）が格納される。

色欄１１１ｄには、画像欄１１１ｂに格納される画像データで特定されるモデル物品の色を特定する情報が格納される。

形状欄１１１ｅには、画像欄１１１ｂに格納される画像データで特定されるモデル物品の形状を特定する情報が格納される。

ここで、本実施形態においては、モデル物品の形状を特定する情報として、モデル物品の輪郭形状における特徴量ｃ（ｋ）の代表値ｃ（０）、ｃ（１）、ｃ（２）が格納される。なお、輪郭形状における特徴量ｃ（ｋ）の算出方法については後述する。

色ヒストグラム欄１１１ｆには、画像欄１１１ｂに格納される画像データで特定されるモデル物品のＲＧＢ値に対応する色ヒストグラムが格納される。ここでは、赤色部分、青色部分及び緑色部分の各色部分空間における最大頻度の色ヒストグラムが格納される。

Ｒ欄１１１ｇには、画像欄１１１ｂに格納される画像データの物品において、色空間に含まれる画素値を予め赤色、緑色又は青色の三分して、赤色に分類される画素値の内、最も出現頻度の高い画素値を格納する。

Ｇ欄１１１ｈには、画像欄１１１ｂに格納される画像データの物品において、色空間に含まれる画素値を予め赤色、緑色又は青色の三分して、緑色に分類される画素値の内、最も出現頻度の高い画素値を格納する。

Ｂ欄１１１ｉには、画像欄１１１ｂに格納される画像データの物品において、色空間に含まれる画素値を予め赤色、緑色又は青色の三分して、青色に分類される画素値の内、最も出現頻度の高い画素値を格納する。

なお、特徴量テーブル１１１ａは、本実施形態で判定の対象とする物品毎（例えば、服、靴、鞄等）に生成されて記憶されているものとする。

図１に戻り、属性情報記憶領域１１２には、モデルとなる物品を識別する情報と、当該物品の所有者の属性を特定する情報と、が記憶される。

本実施形態においては、例えば、図３（属性テーブル１１２ａの概略図）に示されているような属性テーブル１１２ａが記憶される。

図示するように、属性テーブル１１２ａは、ＩＤ欄１１２ｂと、属性欄１１２ｃと、を備えている。

ＩＤ欄１１２ｂには、モデルとなる物品を識別する識別情報（ＩＤ番号）が格納される。なお、本欄１１２ｂに格納する識別情報（ＩＤ番号）と、特徴量テーブル１１１ａのＩＤ欄１１１ｃに格納する識別情報（ＩＤ番号）と、は同じモデル物品において共通のものを使用することで、当該識別情報（ＩＤ番号）をキーとして両テーブルを検索することが可能にされている。

属性欄１１２ｃには、ＩＤ欄１１２ｂで特定されるモデル物品の所有者の属性を特定する情報が格納される。

ここで、本実施形態においては、属性欄１１２ｃに、性別欄１１２ｄと、年令層欄１１２ｅと、購買意欲欄１１２ｆと、購買傾向欄１１２ｇと、が設けられており、これらの属性を特定する。

性別欄１１２ｄには、男性欄１１２ｈと、女性欄１１２ｉと、が設けられており、ＩＤ欄１１２ｂで特定されるモデル物品の所有者が男性又は女性である確率（％）が、それぞれの欄に格納される。

年令層欄１１２ｅには、１０代欄１１２ｊと、２０代欄１１２ｋと、３０代欄１１２ｌと、４０代欄１１２ｍと、５０代欄１１２ｎと、６０代欄１１２ｏと、が設けられており、ＩＤ欄１１２ｂで特定されるモデル物品の所有者が属する年齢層の確率（％）が、それぞれの欄に格納される。

購買意欲欄１１２ｆには、〜１万欄１１２ｐと、〜５万欄１１２ｑと、以上欄１１２ｒと、が設けられており、ＩＤ欄１１２ｂで特定されるモデル物品の所有者の購買意欲が、０円以上１万円未満の確率（％）が〜１万欄１１２ｐに格納され、１万円以上５万円未満の確率（％）が〜５万欄１１２ｑに格納され、５万円以上の確率が以上欄１１２ｒに格納される。

購買傾向欄１１２ｇには、派手欄１１２ｓと、渋め欄１１２ｔと、が設けられており、ＩＤ欄１１２ｂで特定されるモデル物品の所有者が、派手なものを嗜好する確率が派手欄１１２ｓに格納され、渋めのものを嗜好する確率が渋め欄１１２ｔに格納される。

なお、属性欄１１２ｃに格納する情報については、各物品の販売時に調べた購入者情報やアンケートに代表されるマーケティング情報から求めるか、あるいは、システム設計者やオペレータの主観的な評価により設定する。

図１に戻り、顧客情報記憶領域１１３には、後述する対応付け部１２３で、撮像装置１５０で撮像された顧客の画像データから抽出された物品の特徴量に類似するモデル物品を特徴量テーブル１１１ａから特定し、特定したモデル物品の所有者の属性を属性テーブル１１２ａから抽出して、抽出した属性を各々のエントリに格納することで集計した情報が記憶される。

本実施形態においては、例えば、図４（顧客テーブル１１３ａの概略図）に示されるような顧客テーブル１１３ａが記憶される。

図示するように、顧客テーブル１１３ａには、時刻欄１１３ｂと、人物ＩＤ欄１１３ｃと、特徴量欄１１３ｄと、属性欄１１３ｅと、が設けられている。

時刻欄１１３ｂには、画像データを取得した日時を特定する情報が格納される。

人物ＩＤ欄１１３ｃには、撮像装置１５０で撮像した人物を識別する情報が格納される。

特徴量欄１１３ｄには、特徴量テーブル１１１ａで特定されたモデル物品の名称を特定する情報が格納される。

属性欄１１３ｅには、属性テーブル１１２ａから抽出した属性を特定する情報が格納される。

図１に戻り、制御部１２０は、撮像制御部１２１と、情報抽出部１２２と、対応付け部１２３と、を備える。

撮像制御部１２１は、後述する撮像装置１５０での撮像処理を制御する。

例えば、図５（単眼カメラ１５１と遮蔽センサ１６１ａ、１６１ｂの配置図）に示されているように、店舗の入り口に、発光素子と受光素子からなる遮蔽センサ１６１ａ、１６１ｂと、単眼カメラ１５１と、を設定する。

そして、遮蔽センサ１６１ａ、１６１ｂの間を人物が通過することにより、遮蔽センサ１６１ａ、１６１ｂ間の光が遮蔽されると、遮蔽センサ１６１ａ、１６１ｂは、検知信号を画像処理装置１００に出力する。撮像制御部１２１は、ＩＦ部１３０を介して、このような検知信号を受信することにより、単眼カメラ１５１に撮像命令を送出し、当該撮像命令に応じて単眼カメラ１５１は撮像を行う。

このような場合には、遮蔽センサ１６１ａ、１６１ｂの検知領域と、単眼カメラ１５１の撮像領域と、が重なるように設置することで、遮蔽センサ１６１ａ、１６１ｂの反応があり次第、撮像制御部１２１は単眼カメラ１５１に撮像命令を送出する。

あるいは、図６（単眼カメラ１５１と遮蔽センサ１６１ａ、１６１ｂの配置図）に示すように、遮蔽センサ１６１ａ、１６１ｂの検知領域と、単眼カメラ１５１の撮像領域と、が離れて設置されている場合には、顧客の標準的な歩行速度から逆算して単眼カメラ１５１の撮像領域内に入る分の時間遅れを考慮して撮像命令を送出する。

なお、カメラは必ずしも１台である必要はなく、顧客の所持品や装身具がよく映るような位置に複数設置してもよい。また、単眼カメラ１５１の代わりに、ステレオカメラやＴＯＦ（Time Of Flight）計測カメラに代表される距離画像取得装置を用いて人物を撮像してもよい。

情報抽出部１２２は、撮像装置１５０で撮像された画像データから、人物領域の分離を行い、分離された人物が所持する物品の物品画像を切出す。

人物領域の分離は、例えば、背景差分法やＲＲＦ（Radial Reach Filter）を用いて人物領域を検出して分離する。

例えば、固定式のカメラの場合には、予め人物の映りこんでいない背景画像を獲得しておき，この背景画像と比較することにより人物領域を抽出することができる。あるいは、ＲＲＦ（「Ｒａｄｉａｌ Ｒｅａｃｈ Ｆｉｌｔｅｒ（ＲＲＦ）によるロバストな物体検出」、佐藤雄隆、金子俊一、丹羽義典、山本和彦、電子情報通信学会論文誌Ｄ、Ｖｏｌ．Ｊ８６−Ｄ２、Ｎｏ．５，ｐｐ．６１６−６２４参照）を用いることでも人物領域を検出することができる。

また、稼動型カメラの場合には、カメラが向く方向の環境の画像を背景として獲得しておくことで、前述した背景差分法を適用することができ、あるいは、オプティカルフローを算出し、そのセグメンテーションを行うことにより、人物領域を環境と異なる移動領域として検出することができる。

そして、情報抽出部１２２は、上述のように抽出された人物領域から、当該人物の所持する物品画像を切り出す。例えば、物品画像の切出しは、テンプレートマッチング法や、肌色領域の抽出により実現できる。

まず、例えば、服装の切出し処理に関して説明する。

服装の切出しは、人物領域を抽出後、領域の相対的な比率を基準に切出すことができる。前述のようにして抽出された人物領域に関して、頭部、上半身、下半身の各領域を、例えば、人物領域の上部から１：３：３の割合に分割する。そして、上半身、下半身の各領域の画像を服装画像として扱う。

次に、人物領域からバッグを切出す処理について説明する。

まず、上述のようにして抽出された人物領域に対して肌色領域抽出を行うことで、顔部および手部を検出する。

そして、連続した時系列の画像において、バッグなどの所持品の移動は、手部の移動と同期している。このため、連続した複数の画像間で、まず手部の移動を追跡し、その移動ベクトルを計算する。

また、同じ画像間で、人物領域内部を適当に分割した局所的な部位（この時点では判別されていないが所持品・上腕・下腕・大腿部等に相当する各部位）の移動ベクトルを、それぞれオプティカルフロー法などを用いて計算する。手部の移動ベクトルとほぼ等しい移動ベクトルを持つ局所的な部位を所持品（バック）の領域として判定する。

また、人物領域から靴を切出す処理について説明する。

上述のようにして配置される撮像装置１５０において、人物の歩行方向に対して交差する方向（人物の歩行方向に対して垂直であることが望ましいが、このような歩行方向に対して、６０°〜１２０°の範囲）から撮像した映像から、靴領域を切出す。

靴領域は、人物領域の抽出と同様、予め靴が映りこんでいない映像を背景画像として撮像しておき、靴がカメラ視野内に入った状態の画像との差分をとることで、靴と人物の脚部を抽出することができる。一般に人間が通常歩行時には、各脚の接地時間が０．３秒程度と言われており、この接地中は、靴は動かず、脚部のみが靴部を中心に回転運動を行う。従って、背景との差分があり、かつ、連続したフレームにおいて一定時間動かない領域を切出すことで、靴領域とその輪郭線を判定できる。

対応付け部１２３は、情報抽出部１２２で抽出された物品の画像データから特徴量を算出し、算出した特徴量と類似する特徴量を有するモデル物品を特徴量テーブル１１１ａより特定し、特定したモデル物品の所有者の属性を属性テーブル１１２ａから抽出して、顧客テーブル１１３ａに格納する。

ここで、本実施形態においては、対応付け部１２３は、類似する特徴量を有するモデル物品を特定する際に、例えば、物品の輪郭形状、色ヒストグラム、テクスチャ特徴量（「Ｔｅｘｔｕｒａｌ ｆｅａｔｕｒｅ ｆｏｒ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、Ｈａｒａｌｉｃｋ．Ｒ．Ｍ．、Ｋ．Ｓｈａｎｍｕｇａｍ、Ｉ．Ｄｉｎｓｔｅｉｎ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｓｙｓｔｅｍｓ、Ｍａｎ、Ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ、ＳＭＣ−３（６）、ｐｐ．６１０−６２１参照）などの画像特徴量を利用し、類似性の評価には、例えば、ＮＮ（ニューラルネットワーク）、ＳＶＭ（サポートベクタマシン）、ＳＯＭ（自己組織化マップ）を利用して分類することができる。

通常、フリーフロー環境下では、カメラと撮像対象との相対関係が変化するため、撮像対象が画像上で見かけ上大きく変形し、画像上で類似性を評価することが困難である。しかし、図５に示すように、通路や出入口の側方にカメラを設置することにより、靴や鞄のような所持品や服装をほぼ同一方向から撮像することが可能である。このようにほぼ同一方向から撮像された画像に対し、見かけの変動に対して安定した特徴量を算出することで、類似性の評価が可能になる。この見かけの変動に対して安定した特徴量として、ここでは、輪郭形状、色ヒストグラム、テクスチャ特徴量を用いる。

輪郭形状の特徴量に関して図７（輪郭形状の特徴量の算出を説明するための概略図）を用いて説明する。

まず、前述した人物抽出と同様に対象領域を抽出しておく。図７に示すように、物品の領域境界部を適当な１点（図７では、矢示部）を基準点（始点）とする。平面上の連続曲線Ｃを、Ｃ上の基準点からの長さｓをパラメタとして、（１）式のように表現する。

ここで、Ｓは、連続曲線Ｃの全長である。

この曲線Ｃの細かい角度変化をノイズとして除外し、大局的な角度変化のみを取り出すために、曲線Ｃの角度情報にローパスフィルタを適用する。

そして、連続曲線Ｃを複素平面上に離散化して、折れ線に近似する。この折れ線は（２）式のように表現できる。

次に、離散化した各点近傍での折れ線の角度を、偏角関数ａ（ｊ）及び全曲率関数θ（ｊ）として（３）式及び（４）式のように記述する。

これを用いて，輪郭形状の特徴量ｃ（ｋ）を（５）式のように定義する。

この特徴量ｃ（ｋ）は、低次の項が輪郭の低周波成分を、高次の項が輪郭の高周波成分を表している。

このため、ｃ（０）、ｃ（１）、・・・、ｃ（ｍ−１）のｍ個の項を適宜選択することにより、対象の解像度を概形から詳細形状まで変化させることができる。

なお、ａ（ｊ）及びθ（ｊ）は、輪郭形状の局所的な曲率を表しており、ｃ（ｋ）はそれに対する変化率がどのように変わっているかを特徴付ける量（輪郭特徴量）になっている。

例えば、ｃ（０）＝一定の値、ｃ（ｎ）＝０（ｎ≧１）のとき、輪郭形状は円になっており、輪郭上に高周波の曲率の変化がない形状を表している。

一方、例えば、ｃ（０）＝一定の値、ｃ（ｍ）＝一定の値、ｃ（ｎ）＝０（ｎ≠０、ｍ）のとき、円を変形した形状となる。

従って、このｃ（ｋ）のｋがどの値のときにｃ（ｋ）がどのような値を取るかを比較することで、形状比較を行うことができる。

ここで、本実施形態においては、輪郭形状の特徴量ｃ（ｋ）のうち、例えばｃ（０）、ｃ（１）、ｃ（２）を用いることで、形状に関してノイズを除去し見かけの変形に対して安定した類似性の評価ができる。

例えば、図７において、輪郭線上の任意の一点（今回は矢示点）から右回りに輪郭線追跡を行う。

例えば、座標軸を右向き、下向きに正とおくと、輪郭線は次のように表記される。

Ｓ＝２９
ｘ（ｓ）＝{１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１３，１２，１１，１０，９，８，７，６，５，４，３，２，１，０，０，０}
ｙ（ｓ）＝｛１，１，１，１，０，０，１，１，２，２，２，２，２，３，４，４，５，５，５，５，５，５，５，５，５，５，４，３，２｝
これに対し、（２）〜（５）述の式を当てはめると、
ｃ（０）＝０．１１３５１６、ｃ（１）＝−０．７９１４６２、ｃ（２）＝０．７９７０６５、ｃ（３）＝０．７９７０６５、・・・などが計算される。この数値は輪郭線の概形の成分を表したものであり、他の画像に対して計算されたｃ（ｋ）の値が上記の値と近ければ類似した形状を持つと判断できる。

ここで、モデル物品となる靴の画像に対して、ｃ’（ｋ）が次のように計算されているとする。

ｃ’（０）＝０．１１３５３５、ｃ’（１）＝−０．７９１４５８、ｃ’（２）＝０．７９７０３３、ｃ’（３）＝０．１２６００１、・・・。

この場合、例えば、ｃ（ｋ）とｃ’（ｋ）の差分値に対して予め閾値を定めておくことにより、ｃ（０）とｃ’（０）とは類似、ｃ（１）とｃ’（１）とは類似、ｃ（２）とｃ’（２）とは類似、ｃ（３）とｃ’（３）とは非類似、と判断でき、このような判断では、概形状は似ているがシルエットの細かい凹凸が異なるということが分かる。

この点、どこまでのｍを比較評価に使用するかは実験的に決めるが、画像の大きさが２００×１５０[pixel]の場合、例えばｍ＝３０程度を使えばよい。

次に、色ヒストグラムの特徴量に関して、図８（色空間と部分空間を説明するための概略図）を用いて説明する。

まず、予め色空間を適切な部分空間に分割することで、赤色部分、青色部分、緑色部分に分割しておく。この色空間の分割は、図８に示すように、ＨＳＶ表色系における色空間の黒色と白色を表す対角線を通る直線１７０を、各部分空間１７１、１７２、１７３が境界として共有するように分割する。これにより、撮像時に照明の明度変化が生じても、入力画像中の同一部分のピクセルが、同じ部分空間に属するようになるため、照明環境の変動に対して安定した類似性の評価ができる。なお、ここでは、部分空間１７１が青色領域で、部分空間１７２が緑色領域で、部分空間１７３が赤色領域となる。

次に、上述した人物抽出を行い、上述のように物品部分の領域を抽出する。そして、物品部分の領域内部の各画素が前述の色空間において、どの部分空間に属するかの判定をし、その頻度をカウントしてヒストグラムを計算し、各頻度値を対象領域全体の面積で割ることで正規化する。

これにより、撮像時の対象とカメラとの距離により生じる、見かけ上の大きさの変化に対して安定した類似性の評価ができる。

また、色に関しては、物品部分の領域内部の画像領域に含まれる色成分は、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各要素の値で表すことができる。黒色だと（Ｒ，Ｇ，Ｂ）＝（０，０，０）、白色だと（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）となる。例えば、ある茶色の画素値は（Ｒ，Ｇ，Ｂ）＝（２００，１０，１５）と表され、図８における色部分空間１７３に含まれる。

例えば、茶色の革靴の場合、靴領域に対応する画像領域中の各画素に対し、そのＲＧＢ値に対応する色部分空間を計算し、色ヒストグラムを計算すると、色部分空間１７３に対応する区間の頻度が大きくなり、色部分空間１７１、色部分空間１７２に対応する区間の頻度が小さくなる。

このことから、色ヒストグラムにおける色空間１７３の頻度が大きく、画像領域は赤系統であることが分かる。また、より細かい分類を行うために、代表色として最も頻度の高いＲＧＢ値を記録しておく。

テクスチャ特徴量に関しては、例えば統計的テクスチャ特徴量を計算することで得ることができる。この特徴量は、対象の大きさと向きによらない不偏な特徴量である。具体的な計算方法は「Ｔｅｘｔｕｒａｌ ｆｅａｔｕｒｅ ｆｏｒ ｉｍａｇｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」、Ｈａｒａｌｉｃｋ．Ｒ．Ｍ．、Ｋ．Ｓｈａｎｍｕｇａｍ、Ｉ．Ｄｉｎｓｔｅｉｎ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ Ｏｎ Ｓｙｓｔｅｍｓ、Ｍａｎ、Ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ、ＳＭＣ−３（６）、ｐｐ．６１０−６２１に詳しく記載されている。

そして、対応付け部１２３は、撮像装置１５０からの入力画像より抽出された物品の特徴量を算出し、算出した特徴量に類似するモデル物品を特徴量テーブル１１１ａから特定する。

類似性の評価には、例えば、ＮＮ（ニューラルネットワーク）、ＳＶＭ（サポートベクタマシン）、ＳＯＭ（自己組織化マップ）を利用し、予め属性データベースＳ１０４中に含まれる画像を物品毎に分類しておくことで、撮像装置１５０からの入力画像より抽出された物品がどの分類に属するかを判定し、特徴量テーブル１１１ａを検索することができる。

例えば、形状の特徴量に関して、ｃ（０）、ｃ（１）、・・・、ｃ（ｔ−１）のｔ個の値と、特徴量テーブル１１１ａの形状欄１１１ｅに格納されているそれぞれ値と、の差を算出し、算出した差分値が全て閾値以下であれば同種類（類似）とみなす。形状において同種類（類似）と判断されるモデル物品が特徴量テーブル１１１ａに複数格納されていれば、色ヒストグラムに関しての絞込みを行う。

色ヒストグラムに関しては、特徴量テーブル１１１ａの色ヒストグラム欄１１１ｆに格納されている色部分空間の最大頻度が同じ種類であるかどうかを調べ、対象の色味の系統が同種類かどうかを判定する。ここでも、各値の差分値が特定の閾値以下である場合には同種類（類似）と判断することとなる。

色ヒストグラムを用いた判定においても同種類（類似）のモデル物品が複数あれば、色の最頻値に関しての絞込みを行う。色の最頻値に関して、特徴量テーブル１１１ａ中で入力画像にもっとも類似したデータを探索する。このときの誤差は（６）式のように、各画素値（最頻値）の差分値を二乗して各々加算することで計算できる。

ここで、Ｒ、Ｇ、Ｂは入力画像の最頻の代表色における画素値、Ｒ’、Ｇ’、Ｂ’は特徴量テーブル１１１ａのＲ欄１１１ｇ、Ｇ欄１１１ｈ及びＢ欄１１１ｉの値である。上記の誤差が最小となるデータがもっとも類似しているデータである。

以上の手順で、入力画像に最も類似したモデル物品の識別情報をＩＤ欄１１１ｃから特定する。

そして、対応付け部１２３は、特定したモデル物品の識別情報に対応する属性情報を属性テーブル１１２ａから抽出して、顧客情報を生成し、顧客情報記憶領域１１３の顧客テーブル１１３ａに新たなエントリを生成して、生成した顧客情報を格納する。

ここで、顧客テーブル１１３ａの時刻欄１１３ｂには、撮像装置１５０から撮像した日時が撮像した画像とともに送られてくる場合には、送られてきた日時を、このような日時が送られてこない場合には、画像処理装置１００が撮像装置１５０より撮像画像を受信した日時、を格納する。

人物ＩＤ欄１１３ｃには、撮像装置１５０において抽出した人物毎に識別情報を割り振り、当該人物の所持物品には同じ識別情報を格納する。

特徴量欄１１３ｄには、特徴量を特定する際に使用された特徴量テーブル１１１ａで特定されるモデル物品の名称が格納される。

このようにして計算された属性は、１人の人物に対して、複数の物品画像の要素があり、それぞれ異なった属性が算出される可能性がある。その場合、属性値に適切な重み係数を掛け合わせ、線形結合することにより最終的な属性を計算しても良い。

例えば、服装画像からの性別推定結果ｅ_{ｍａｘ、ｃｌｏｔｈ}の信頼性ｗ_{ｃｌｏｔｈ}が、靴画像からの性別推定結果ｅ_{ｍａｘ、ｓｈｏｕｅ}の信頼性ｗ_{ｓｈｏｕｅ}よりも１．５倍高いことが予備実験から判っている場合、最終的な性別に関する属性値ｅ_ｍａｘを（７）式のように算出する。この重み係数は、物品と属性の組合せによって個別に設定できるものとする。

また、このような算出を行わずに、予め店舗に来店する顧客の傾向が判っている場合には、ベイズ推定の枠組みで顧客の性別および年齢層、購買意欲の強さ、購買商品傾向などの属性を、顧客毎に計算することができる。

さらに、このような算出を行わずに、複数の属性値をそのまま顧客テーブル１１３ａに格納してもよい。

以上に記載した画像処理装置１００は、例えば、図９（コンピュータ１８０の概略図）に示すような、ＣＰＵ１８１と、メモリ１８２と、ＨＤＤ等の外部記憶装置１８３と、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の可搬性を有する記憶媒体１８４から情報を読み出す読取装置１８５と、キーボードやマウスなどの入力装置１８６と、ディスプレイなどの出力装置１８７と、通信ネットワークに接続するためのＮＩＣ（Network Interface Card）等の通信装置１８８と、を備えた一般的なコンピュータ１８０で実現できる。

例えば、記憶部１１０は、外部記憶装置１８３により実現可能であり、制御部１２０は、外部記憶装置１８３に記憶されている所定のプログラムをメモリ１８２にロードしてＣＰＵ１８１で実行することで実現可能であり、ＩＦ部１３０は、通信装置１８８で実現可能である。

この所定のプログラムは、読取装置１８５を介して記憶媒体１８４から、あるいは、通信装置１８８を介してネットワークから、外部記憶装置１８３にダウンロードされ、それから、メモリ１８２上にロードされてＣＰＵ１８１により実行されるようにしてもよい。また、読取装置１８５を介して記憶媒体１８４から、あるいは、通信装置１８８を介してネットワークから、メモリ１８２上に直接ロードされ、ＣＰＵ１８１により実行されるようにしてもよい。

以上のように構成される画像処理装置１００での処理について、図１０に示すフローチャートを用いて説明する。

まず、画像処理装置１００の画像制御部１２１は、ＩＦ部１３０を介して、センサ１６０の検知信号に応じて撮像指令を撮像装置１５０に送出して、撮像装置１５０から画像を取得する（Ｓ１０）。なお、撮像装置１５０での撮像は、常時撮像し続けても構わないが、人物の入店とタイミングを合わせて撮像することにより、人物の映っていない画像を処理する計算コストを省き、その後の画像処理の安定性を高めることができる。

次に、画像処理装置１００の情報抽出部１２２は、取得した画像から人物領域の分離を行う（Ｓ１１）。人物領域の分離は、例えば、背景差分法やＲＲＦを用いて人物領域の検出を行うことができる。

そして、画像処理装置１００の情報抽出部１２２は、分離した人物領域から物品画像を切り出す（Ｓ１２）。物品の切り出しは、テンプレートマッチング法や、肌色領域抽出法等を使用することにより実現できる。

そして、画像処理装置１００の対応付け部１２３は、切り出した物品画像から特徴量を算出する（Ｓ１３）。

次に、画像処理装置１００の対応付け部１２３は、特徴量を算出した物品の特徴量テーブル１１１ａから類似する特徴量を有するモデル物品のＩＤを特定して、当該ＩＤに対応する属性情報を属性テーブル１１２ａから抽出する（Ｓ１４）。なお、類似性を計測するための特徴として、例えば、輪郭形状、色ヒストグラム、テクスチャ特徴量等の画像特徴量を利用し、類似性の評価には、例えば、ＮＮ（ニューラルネットワーク），ＳＶＭ（サポートベクタマシン），ＳＯＭ（自己組織化マップ）を利用することができる。

そして、画像処理装置１００の対応付け部１２３は、顧客テーブル１１３ａに新たなエントリを生成して、抽出した属性情報を登録する（Ｓ１５）。

以上のような顧客情報を蓄積することで、例えば、店舗の入場者の所有する物品の画像データから、当該入場者の嗜好性、購買意欲、購買力等の情報を取得することができるため、これらの情報をマーケティングに利用することができる。特に、人の所有物にはその人の嗜好性や購買力が直接現れるので、有益なマーケティング情報とすることができる。

以上に記載した実施形態においては、人物の所有する物品のみから属性情報を取得したが、このような態様に限定されず、例えば、モデルとなる人の顔の特徴量を特定する情報を特徴量情報記憶領域１１１に記憶しておき、当該モデルとなる人の属性情報を属性情報記憶領域１１２に記憶しておくことで、上述と同様の方法で、人の顔画像からも属性情報を取得することができる。

また、以上に記載した特徴量テーブル１１１には、物品の形状と色彩から特定される特徴量が格納されているが、このような態様に限定されず、例えば、物品の模様や大きさ等から定まる特徴量を格納することも可能である。

さらに、属性情報記憶領域１１２には、人の属性として、性別、年齢層、購買意欲、購買傾向が特定されているが、このような態様に限定されず、他の属性を特定してもよい。

また、以上に記載した実施形態においては、特徴量テーブル１１１ａと属性テーブル１１２ａを別々のテーブルに格納したが、これらを一つのテーブルにまとめることも可能である。また、特徴量テーブル１１１ａには、モデル物品の特徴量が既に算出されているが、このような態様に限定されずに、特徴量テーブル１１１ａに画像データとＩＤのみを格納しておき、格納された画像データから特徴量をその都度算出することも可能である。

また、図１１（画像処理システム２００の概略図）に示されている画像処理システム２００のように、画像処理装置１００で特定した属性情報をネットワーク１９０を介して接続されている蓄積サーバ１９１に蓄積するようにすることもできる。このような場合、蓄積サーバ１９１に顧客情報記憶領域１１３と同様の記憶領域を設けておけばよい。

このように、蓄積サーバ１９１に属性情報を送信するようにすることで、例えば、画像処理装置１００及び撮像装置１５０を複数の箇所に設置することで、複数の箇所におけるマーケティング情報を同時に取得することができるようになる。このような場合には、画像を取得した撮像装置１５０を識別する情報を画像処理装置１００から蓄積サーバ１９１に送信することで、蓄積された属性情報がいずれの箇所で取得されたものかを特定することができるようにしておくことが望ましい。

さらに、以上に記載した実施形態において、店舗内の商品配置に関する商品配置情報を記憶部１１０に記憶しておき、制御部１２０において人物の購買意図を推定して、当該購買意図を記憶部１１０に記憶するようにしてもよい。

例えば、店舗の複数の箇所に撮像装置１５０を設置しておき、制御部１２０において、撮像装置１５０で撮像されている人物の動きを追跡し、滞留や往復等の動作が観測された場合に、滞留や往復等の動作が行われた位置に配置されている商品への購買意図が高いと推定する。

このようにして、購買意欲が高いと思われる商品を、顧客情報記憶領域１１３の顧客テーブル１１３ａの人物ＩＤに対応させて記憶することで、店舗内商品棚の利用効率などのマーケティング分析を行うことができるようになる。

以上に記載した実施形態においては、物品として、靴を例にして説明しているが、このような態様に限定されず、例えば、鞄、バック、リュック、傘、帽子、指輪、ネックレス、ブローチ、上着、シャツ、ズボン、スカート又はネクタイから属性情報を取得することができるようにしてもよい。

また、属性情報については、体型、嗜好、関心又は社会的地位等を含めることも可能である。

画像処理装置の概略図。 特徴量テーブルの概略図。 属性テーブルの概略図。 顧客テーブルの概略図。 単眼カメラと遮蔽センサの配置図。 単眼カメラと遮蔽センサの配置図。 輪郭形状の特徴量の算出を説明するための概略図。 色空間と部分空間を説明するための概略図。 コンピュータの概略図。 画像処理装置での処理を示すフローチャート。 画像処理システムの概略図。

符号の説明

１００ 画像処理装置
１１０ 記憶部
１１１ 特徴量情報記憶領域
１１２ 属性情報記憶領域
１１３ 顧客情報記憶領域
１２０ 制御部
１２１ 撮像制御部
１２２ 情報抽出部
１２３ 対応付け部
１５０ 撮像装置

Claims (17)

1. 人物を撮像した撮像画像から顧客情報を生成する画像処理装置であって、
   モデル物品と、当該モデル物品の所有者の属性に関する属性情報と、を対応させて記憶する記憶部と、制御部と、を備え、
   前記制御部は、
   前記撮像画像から前記人物の所持する物品の物品画像を抽出する処理と、
   前記物品画像に類似するモデル物品を特定する処理と、
   特定したモデル物品に対応する属性情報を顧客情報として前記記憶部に記憶する処理と、
   を行うこと、
   を特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記制御部は、
   前記物品画像から得られる特徴量と、前記モデル物品の特徴量と、が予め定められた閾値以内である場合には、類似と判断すること、
   を特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記特徴量は、物品の輪郭形状の特徴量、色ヒストグラムの特徴量及びテクスチャ特徴量の少なくともいずれか一つであること、
   を特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記制御部は、
   前記物品画像における物品の輪郭形状を近似した曲線と、前記も出る物品の輪郭形状を近似した曲線と、を比較して、前記輪郭形状の特徴量が類似か否かを判断すること
   を特徴とする画像処理装置。
5. 請求項３に記載の画像処理装置であって、
   前記制御部は、
   前記物品画像において最も出現頻度の高い色のヒストグラムと、モデル物品において最も出現頻度の高い色のヒストグラムと、を比較して、色ヒストグラムの特徴量が類似か否かを判断すること、
   を特徴とする画像処理装置。
6. 請求項３に記載の画像処理装置であって、
   前記制御部は、
   前記物品画像において最も出現頻度の高い色の画素値と、モデル物品において最も出現頻度の高い色の画素値と、を比較して、色ヒストグラムの特徴量が類似か否かを判断すること、
   を特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記物品は、靴、鞄、バック、リュック、傘、帽子、指輪、ネックレス、ブローチ、上着、シャツ、ズボン、スカート及びネクタイの少なくともいずれか一つを含むこと、
   を特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記属性情報は、
   性別、年令、体型、嗜好、購買意欲、購買傾向、関心及び社会的地位の少なくともいずれか一つを含むこと、
   を特徴とする画像処理装置。
9. コンピュータを、
   人物を撮像した撮像画像から顧客情報を生成する画像処理装置として機能させるプログラムであって、
   前記コンピュータを、
   モデル物品と、当該モデル物品の所有者の属性に関する属性情報と、を対応させて記憶する記憶手段、
   制御手段、として機能させ、
   前記制御手段は、
   前記撮像画像から前記人物の所持する物品の物品画像を抽出する処理と、
   前記物品画像に類似するモデル物品を特定する処理と、
   特定したモデル物品に対応する属性情報を顧客情報として前記記憶部に記憶する処理と、
   を行うこと、
   を特徴とするプログラム。
10. 請求項９に記載のプログラムであって、
    前記制御手段は、
    前記物品画像から得られる特徴量と、前記モデル物品の特徴量と、が予め定められた閾値以内である場合には、類似と判断すること、
    を特徴とするプログラム。
11. 請求項１０に記載のプログラムであって、
    前記特徴量は、物品の輪郭形状の特徴量、色ヒストグラムの特徴量及びテクスチャ特徴量の少なくともいずれか一つであること、
    を特徴とするプログラム。
12. 請求項１１に記載のプログラムであって、
    前記制御手段は、
    前記物品画像における物品の輪郭形状を近似した曲線と、前記も出る物品の輪郭形状を近似した曲線と、を比較して、前記輪郭形状の特徴量が類似か否かを判断すること
    を特徴とするプログラム。
13. 請求項１１に記載のプログラムであって、
    前記制御手段は、
    前記物品画像において最も出現頻度の高い色のヒストグラムと、モデル物品において最も出現頻度の高い色のヒストグラムと、を比較して、色ヒストグラムの特徴量が類似か否かを判断すること、
    を特徴とするプログラム。
14. 請求項１１に記載のプログラムであって、
    前記制御手段は、
    前記物品画像において最も出現頻度の高い色の画素値と、モデル物品において最も出現頻度の高い色の画素値と、を比較して、色ヒストグラムの特徴量が類似か否かを判断すること、
    を特徴とする画像処理装置。
15. 請求項９に記載のプログラムであって、
    前記物品は、靴、鞄、バック、リュック、傘、帽子、指輪、ネックレス、ブローチ、上着、シャツ、ズボン、スカート及びネクタイの少なくともいずれか一つを含むこと、
    を特徴とするプログラム。
16. 請求項９に記載のプログラムであって、
    前記属性情報は、
    性別、年令、体型、嗜好、購買意欲、購買傾向、関心及び社会的地位の少なくともいずれか一つを含むこと、
    を特徴とするプログラム。
17. 人物を撮像した撮像画像から顧客情報を生成する画像処理装置であって、
    モデル物品と、当該モデル物品の所有者の属性に関する属性情報と、を対応させて記憶する記憶部と、制御部と、を備える画像処理装置において人物を撮像した撮像画像から顧客情報を生成する画像処理方法であって、
    前記制御部が、前記撮像画像から前記人物の所持する物品の物品画像を抽出する過程と、
    前記制御部が、前記物品画像に類似するモデル物品を特定する過程と、
    前記制御部が、特定したモデル物品に対応する属性情報を顧客情報として前記記憶部に記憶する過程と、
    を備えること、
    を特徴とする画像処理方法。

Images