JP2018165849A - カメラによる属性収集システム - Google Patents

Abstract

【課題】 肖像権やプライバシーを保護しながら、対象人物の性別、年齢等の属性を収集保存すると共に、その人物の挙動をも保存することが可能な収集システムを得る。【解決手段】 特定の領域内又は特定の領域内外を撮影する撮影手段と、撮影された画像から顔の特徴点を検出して被撮影人物の顔を検出する人物特定手段と、人物特定手段で特定された被撮影人物の特徴点から性別、年齢を始めとする属性情報を推定してこれを記録手段に保存する属性取得手段と、人物特定手段で特定された被撮影人物の経時経過に伴う特定の領域内の位置情報を記録手段に保存する動線保存手段と、人物特定手段で特定された被撮影人物の属性情報の他の紐付けデータを取得してこれを記録手段に保存する紐付けデータ保存手段とを備え、紐付けデータが被撮影人物の衣服情報である。【選択図】 図１

Description

本発明は、例えば店舗のショーウィンドウを眺める通行人、店舗への来店客、エレベータへの搭乗者等の人物の属性を収集するシステムに関する。特に、店舗やエレベータの内外等に設置された既存のカメラの撮影映像をも利用することができ、尚且つ、肖像権やプライバシーを保護しながらも、その人物の属性を収集するシステム、また、その人物に応じた駆動を制御するシステム、更には、その人物の興味のあるものの分析に利用することが可能な属性を収集するシステムに関するものである。

従来より、コンビニエンスストア等の店舗においては、来店客の状況を把握するためのＰＯＳシステムが多く導入されている。導入初期は、レジスタにおける商品のバーコードの入力情報と単純な売り上げ情報によって、商品を管理するものであったが、その後のＰＯＳレジでは、レジスタ前に立った顧客の顔画像を記録したりするものも提案されている。

特に、顧客の売場への立寄りを検出する立寄り検出機器からの立寄り情報と、顧客の購買情報を管理するＰＯＳ端末からの購買情報とを基に売場に立寄っても商品購入を行わなかった販売機会損失を測定することによって、消費者に煩わしさを与えることなく、消費者の真の購買意図を偽情報に惑わされることなく販売機会損失やそれを基にした商品の潜在的な需要を推定することができる装置が提案されている（例えば、特許文献１参照）。

特開２００１−３３１８７５号公報

しかしながら、前述のＰＯＳ端末を始めとして多くのＰＯＳ端末では、購買者の肖像権やプライバシーを無視したものであった。近年、顔画像を含む個人情報の取扱いが厳しくなり、結局は、購買者の外観から店員の判断で入力するＰＯＳ端末が未だに主流となっている。

本発明は、来店や搭乗した人物の肖像権やプライバシーを保護しながら、その人物の性別、年齢等の属性を収集保存すると共に、その人物の挙動をも保存することが可能な収集システムを得ることができる。また、その人物に応じた駆動を制御するシステムを得ることができる。更には、収集されたデータに基づいて種々の駆動を制御することが可能な収集システムを得ることを目的とする。

請求項１に記載された発明に係るカメラによる属性収集システムは、
特定の領域内又は特定の領域内外を撮影する撮影手段と、
撮影された画像から顔の特徴点を検出して被撮影人物の顔を検出する人物特定手段と、
前記人物特定手段で特定された被撮影人物の特徴点から性別、年齢を始めとする属性情報を推定してこれを記録手段に保存する属性取得手段と、
前記人物特定手段で特定された被撮影人物の経時経過に伴う特定の領域内の位置情報（動線データ）を前記記録手段に保存する動線保存手段と、
前記人物特定手段で特定された被撮影人物の属性情報の他の紐付けデータを取得してこれを前記記録手段に保存する紐付けデータ保存手段とを備え、
前記紐付けデータが、被撮影人物の衣服情報であることを特徴とするものである。

請求項２に記載された発明に係るカメラによる属性収集システムは、請求項１に記載の紐付けデータとしての被撮影人物の衣服情報が、被撮影人物の衣服画像のヒストグラム情報であることを特徴とするものである。

請求項３に記載された発明に係るカメラによる属性収集システムは、請求項１又は２に記載の被撮影人物の属性情報に基づいて、前記特定の領域内の駆動の動作を制御する駆動制御手段を更に備えたことを特徴とするものである。

請求項４に記載された発明に係るカメラによる属性収集システムは、請求項１又は２に記載の被撮影人物の顔の方向、伏仰角度、及び目線の方向を計測して目線位置を推定し、所定時間留まった目線位置データを他の紐付けデータとして前記記録手段に保存する目線位置取得手段を更に備えたことを特徴とするものである。

請求項５に記載された発明に係るカメラによる属性収集システムは、請求項４に記載のシステムにおいて、複数の撮影手段による撮影画面から被撮影人物の目線位置を推定することを特徴とするものである。
ものである。

本発明は、個人を特定する画像を保存することがないため、来店や搭乗した人物の肖像権やプライバシーを保護しながら、その人物の性別、年齢等の属性を収集保存すると共に、その人物の挙動をも保存することが可能な収集システムを得ることができるという効果がある。また、その人物に応じた駆動を制御するシステムを得ることができるという効果がある。更には、収集されたデータに基づいて種々の駆動を制御することが可能な収集システムを得ることができるという効果がある。

本発明の属性収集システムの一実施例の撮影状況を説明する説明図であり、ａ図は正面図、ｂ図は平面図、ｃ図はシステム構成図である。 図１の本発明の属性収集システムの一実施例の店外カメラを用いる場合のフローチャートである。 図１の本発明の属性収集システムの一実施例の店内カメラを用いる場合のフローチャートである。 本発明の属性収集システムの更に別の実施例のショッピングモール内の店外カメラを用いた顔角度計算を行う場合のフローチャートである。 本発明の属性収集システムの別の実施例のショッピングモール内の店内カメラを用いる場合のフローチャートである。 本発明の属性収集システムの更に別の実施例のショッピングモール内の店内カメラを用いた店外へ出た場合のフローチャートである。 本発明の属性収集システムの更に別の実施例のレジ前人物の顔角度計算を行う場合のフローチャートである。 本発明の属性収集システムの更に別の実施例のレジ前人物のフローチャートである。

本発明においては、特定の領域内又は特定の領域内外を撮影する撮影手段と、撮影された画像から顔の特徴点を検出して被撮影人物の顔を検出する人物特定手段と、前記人物特定手段で特定された被撮影人物の特徴点から性別、年齢を始めとする属性情報を推定してこれを記録手段に保存する属性取得手段と、前記人物特定手段で特定された被撮影人物の経時経過に伴う特定の領域内の位置情報（動線データ）を前記記録手段に保存する動線保存手段と、前記人物特定手段で特定された被撮影人物の属性情報の他の紐付けデータを取得してこれを前記記録手段に保存する紐付けデータ保存手段とを備え、前記紐付けデータが、被撮影人物の衣服情報であることを特徴とするものである。

これにより、個人を特定する画像を保存することがないため、特定の領域に入る人物の肖像権やプライバシーを保護しながら、その人物の性別、年齢等の属性を収集保存すると共に、その人物の挙動をも保存することが可能な収集システムを得ることができる。即ち、本発明では、顔の特徴点を検出して、被撮影人物の属性情報を取得するだけでなく、この被撮影人物の衣服情報を紐付けデータとすることで、特定された被撮影人物の経時経過に伴う位置情報を確実に保存することができる。

尚、本発明の領域としては、中規模小売店舗、大規模小売店舗の大型商業施設、更には、エレベータが挙げられる。

本発明の撮影手段としては、特定の領域内又は特定の領域内外を撮影するものであればよい。具体的には、領域内又は特定の領域内外に新たに設置したカメラでもよく、領域内又は内外に設置された既存のカメラの画像を用いてもよい。また、単独のカメラのみでなく、領域内外に設置した複数のカメラを用いてデッドスペースを補完する方が、動線保存手段で保存する被撮影人物の経時経過に伴う位置情報が確実に保存される。また、新たなカメラとしては、領域の略中心位置に設置した全方位カメラを用いることにより、領域が店舗では、店舗内に配置された商品の配置も確認され、被撮影人物の目線データをも検証する場合には、有効に利用することが可能となる。

本発明の人物特定手段としては、撮影された画像から顔の特徴点を検出して被撮影人物の顔を検出するものであればよい。具体的には、撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々上方に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を顔として特定するものであればよい。

本発明の属性取得手段としては、前述の人物特定手段で検出された人の顔からその被撮影人物の性別、年齢を始めとする属性情報を推定してこれを記録手段に保存するものであればよい。例えば、公知の予め男女別に幅広い年齢層の個人顔特徴情報を作成し、これらの情報との類似度を求めることで、年齢・性別の判別を行う機能を用いたり、公知の男女の顔の加齢化モデルを用いることで可能となる。尚、保存されるデータとしては画像データではなく、この属性取得手段で得られた属性情報であるため、肖像権やプライバシーが保護されることとなる。尚、この属性取得手段としては、属性情報のみだけではなく、プライバシーを侵害しない範囲での顔特徴量情報や頭髪色を含めた頭髪スタイル等も加えてもよい。また、この顔特徴量情報や頭髪色を含めた頭髪スタイル等についても後述する紐付けデータの一つとしてもよい。

本発明の動線保存手段としては、人物特定手段で特定された被撮影人物の経時経過に伴う特定の領域内の位置情報（動線データ）を前記記録手段に保存するものであればよい。即ち、特定された被撮影人物について領域内における位置を経時的に保存するものであればよい。また、特定された被撮影人物が複数特定された場合には、個々の特定された被撮影人物について、領域内における位置を経時的に保存する。

本発明の紐付けデータ取得手段としては、人物特定手段で特定された被撮影人物の属性情報の他の紐付けデータを取得してこれを前記記録手段に保存するものであればよい。例えば、個々の被撮影人物については、特定される毎に任意の番号を付与し、属性情報を関連づける。以降、この任意の番号に更に紐付けデータを付与させて記録手段に保存することにより、他の特定された被撮影人物と明確に区別することが可能となる。

本発明における紐付けデータとしては、被撮影人物の衣服情報である。衣服情報としては、単純に衣服の画像を紐付けデータとすることが可能である。しかしながら、プライバシーを侵害する可能性があるため、衣服の特徴的な色調、ロゴ、模様を採用することも可能である。しかしながら、色調については他の被撮影人物と重複することもあり、ロゴ、模様については、前面と背面との相違もある。尚、紐付けデータとしては、前述の通り、プライバシーを侵害しない範囲で顔特徴量情報も加えてもよい。また、プライバシーを侵害しないのであれば、頭髪色を含めた頭髪スタイル等も紐付けデータとして選択してもよい。

より好ましくは、衣服情報の類似度算出は、１つ又は複数の手法を組み合わせることにより、認識率をより向上させることができる。例えば、それらの手法としては大きく分けて色情報と模様情報とを取得するものに分けられる。衣服の色情報を取得することにより、類似度を算出して、認識率を向上させればよい。具体的な衣服の色情報を取得する手法としては、例えばＨＳＶ表色系の画素値ヒストグラム特徴量とＬａｂ表色系モザイク画像特徴量とを用いることが挙げられる。

具体的なＨＳＶ表色系の画素値ヒストグラムの取得方法と類似度算出方法は、まずカメラから取得した衣服領域カラー画像を１００×１００ピクセルサイズに統一する。そしてその画像をＲＧＢ表色系からＨＳＶ表色系に変換する。そして色相（Ｈ）画素値から、区間数１０ヒストグラムを、彩度（Ｓ）画素値から区間数３２のヒストグラムを、明度（Ｖ）画素値から区間数２のヒストグラムを作成する。その次に、各区間の数値をＨヒストグラム、Ｓヒストグラム、Ｖヒストグラムの順に繋げればよい。尚、具体的なヒストグラムの類似度はバタチャリヤ(BHATTACHARYYA)距離の値とした。

また、具体的なＬａｂ表色系モザイク画像の取得方法と類似度算出方法は、まずカメラから取得した衣服領域画像をＲＧＢ表色系からＬａｂ表色系に変換する。そしてその画像を横９ピクセル縦１４ピクセルに縮小する。モザイク画像の類似度算出は、２つのモザイク画像の各ピクセルのＬａｂ値の差の２乗の和の値を全ピクセル分繰り返し足した値とすればよい。

次に衣服の模様情報を取得することにより、類似度を算出して、認識率を向上させればよい。具体的な衣服の模様情報を取得する手法としては、例えばＬＢＰ(Local Binary Pattern)特徴量とＨＯＧ(Histograms of Oriented Gradients)特徴量とを用いることが挙げられる。

具体的なＬＢＰ特徴量の取得方法と類似度算出方法は、まずカメラから取得した衣服領域グレー画像を１００×１００ピクセルサイズに統一する。そしてその画像の各ピクセル（中心ピクセル）値と周囲のピクセル値を比較し、中心ピクセル値の方が大きいならば１小さいならば０とし、それを繋げて２進数８桁の数字を得る。続いてその２進数の数を１０進数に変換しその値を中心ピクセル値に代入する。その操作を衣服画像の全ピクセルに対して繰り返しＬＢＰ画像を得る。次に、ＬＢＰ画像を縦横２５ピクセルの各小領域に分け、各領域の輝度値ヒストグラムを作成する。その際の区間数は５９とする。出来た各ヒストグラムを横につなげていきＬＢＰ特徴量を得ればよい。尚、具体的なＬＢＰ特徴量の類似度はユークリッド距離とした。

また、具体的なＨＯＧ特徴量の取得方法と類似度算出方法は、まずカメラから取得した衣服領域グレー画像を１００×１００ピクセルサイズに統一する。そしてその画像の各ピクセルごとに輝度の勾配方向とその勾配強度を求める。そして画像を任意のピクセルの複数の正方形領域に分割し、各領域内で任意の角度範囲ごとのヒストグラムを作成する。また、そのヒストグラムの縦軸は対応する勾配方向の勾配強度の和とする。そして、そのヒストグラムを横につなげていきＨＯＧ特徴量を得ればよい。

尚、衣服情報の類似度算出については、前述の４つの手法以外にも、認識率を向上させるのであれば、他の手法を用いても、また、他の手法単独又は前述の４つの手法を組み合わせることにより、認識率をより向上させることができる。

そのため、好ましくは、紐付けデータとしての被撮影人物の衣服情報は、被撮影人物の衣服画像のヒストグラム情報である。即ち、具体的な手順としては、画像中の被撮影人物の衣服領域を推定し、この衣服領域の画像のヒストグラムを作成し、このヒストグラムの比較によって該当する属性情報を有する被撮影人物の紐付けデータとして付与させることにより、肖像権やプライバシーを保護しつつ、他の特定された被撮影人物と明確に区別することが可能となる。

先ず、衣服領域の推定は、属性情報と衣服情報を紐づけするため、属性情報を推定する属性予測精度が高い被撮影人物の正面を向いたときのみのデータ取得を行う。また、顔画像から属性予測できるカメラ−人距離ではおそらく被撮影人物の上半身しか映らないため上半身から衣服情報を得ることになる。衣服領域決定の方法は、まず顔の横幅を基準長さとし、鼻頭から任意の長さ下方に四角形領域を作り、そこを衣服領域とする。

次に衣服領域のヒストグラムの作成は、グレーの画像又はカラーの画像から、より好ましくは、明るさに影響されない色相のヒストグラムを作成する。例えば、衣服領域内の各色相の値(0-360)から区間幅１０、色相１０、彩度３２、明度２の組合せのヒストグラムを作成する。そのデータを入店側カメラで属性予測するたびに一時記録手段としてのメモリに保存していき、出店側カメラで照合する。

更に、ヒストグラムの比較としては、例えば、OpenCV（Open Source Computer Vision Library）にあらかじめ用意されているCorrelation法、Chi-Square法、Intersection法、Bhattacharyya distance法のどれか１つの方法を用いればよい。どの方法を用いるかは、精度や処理速度をもとに決定すればよい。具体的には、速さを求める場合にはIntersection法、正確さを求める場合にはBhattacharyya distance法かChi-square法がよい。

本発明の属性情報としては、主として性別と年齢とが挙げられる。その他の属性情報としては、顔の高さ位置から身長の概算を加味することができる。また、衣服情報を加味して、顔や体型からやせ形の人物か、太った人物か等の属性情報も推定させることができる。更には、杖をついた人物か、車椅子で移動している人物かも推定させることも可能である。

好ましくは、このような被撮影人物の属性情報に基づいて、前記特定の領域内の駆動機構の動作を制御する駆動制御手段を更に備えることができる。この駆動制御手段としては、例えば、老人や子供が乗り降りする場合には、エレベータの扉の開放時間を若干長くするように制御したり、杖をついた人物や車椅子で移動している人物が乗り降りする場合には、更に長い開放時間とすることを制御したりすることが可能となる。

また、本発明においては、より好ましくは、被撮影人物の目線データを別の紐付けデータとする。これにより、領域が店舗である場合に、被撮影人物の目線が留まった先の商品については、この被撮影人物が興味のある商品である可能性が高い。即ち、好ましくは、被撮影人物の顔の方向、伏仰角度、及び目線の方向を計測して目線位置を推定し、所定時間留まった目線位置データを他の紐付けデータとして前記記録手段に保存する目線位置取得手段を更に備える。

このため、目線が留まった先の商品と、目線が留まった時間とを紐付けデータとすることにより、後日、保存された多数の属性情報を統計処理して属性に応じた興味のある商品を選択することが可能となり、有益な製品情報として取り扱うことが可能となる。

例えば、予め領域の店舗内の商品を全方向カメラや複数のカメラで撮影し、領域中に商品を配置した商品配置図を準備しておく。実時間で店舗内の被撮影人物の顔を認識しつつ、その顔の方向及び伏仰角度及び目線の方向を計測して目線位置を推定する。その際の目線位置の商品が被撮影人物が興味を示した商品として他の紐付けデータとして記録手段に保存されればよい。

本発明では、好ましくは、複数の撮影手段による撮影画面から被撮影人物の目線位置を推定する。複数の撮影手段によって、３次元的な位置関係を認識することができ、更にそれ以上の撮影手段によって正確な位置関係を補完することが可能となるからである。

本発明における目線位置の推定としては、先ず、被撮影人物の顔の方向、伏仰角度から被撮影人物が大まかにどこを見ているかを推定する。即ち、顔特徴点座標を取得する。そして顔特徴点座標とそれに対応するあらかじめ作成した3D座標からカメラの回転ベクトルと並進ベクトルを求める。それを顔の３次元回転角度に変換し、顔がどこを向いているかを推定する。そして、検出できた顔の３次元角度を一定時間ごとに記録すればよい。更には、特徴点である目の瞳をも判別させることにより、実際の目線位置を推定することも可能となる。

また、他の目線位置の推定としては、上部からの顔の向きを計測することからも可能である。即ち、上から店内等室内を撮影し、そこに写った人がどの方向を向いているかを推定することからも可能である。先ず、一定時間ごとに撮影画像を背景画像とする。そして、撮影画像と背景画像との差分をとり、変化のあった領域を人候補領域とする。その人候補領域が被撮影人物かどうかを予め撮影しておいた被撮影人物画像と比較して判別する。そして、その被撮影人物が向いている向きを肌色が多い方向やつま先の向いている向きで推定すること可能となる。

このような目線位置の推定によって、好ましくは、被撮影人物がどの方向に向いている頻度が高いかをヒートマップとして出力することにより、個々の被撮影人物の目線位置のマップを紐付けデータとして保存することも可能となる。

図１は本発明の属性収集システムの一実施例の撮影状況を説明する説明図であり、ａ図は正面図、ｂ図は平面図、ｃ図はシステム構成図である。図１のａ図及びｂ図に示す通り、本実施例では、領域としての店舗１０内の四隅に４つの撮影手段２０としてのカメラ２０ａが天井位置に配置されている。店舗１０の外には、出入り口１１近傍の天井位置と、ショウウィンドウ１２近傍の天井位置にカメラ２０ｂが配置されている。尚、店舗１０内の四隅のカメラ２０ａは９０度の撮影視野角を備え、店舗外のカメラ２０ｂは１８０度の撮影視野角を備えたものが好ましい。

図では店舗１０内には撮影人物として二人の客１３ａ、ｂが、店舗１０外には一人の客１３ｃがいる状態を示している。店舗１０内のカメラ２０ａの各々は二人の客１３ａ、ｂを被撮影人物として認識し、店舗１０外のカメラ２０ｂはウィンドウショッピングをしている客ｃを被撮影人物として認識している。

具体的には、撮影手段２０としての個々のカメラ２０ａ、２０ｂは、一定時間毎の撮影画像を背景画像とし、現実の撮影画像と背景画像との差分をとり、変化のあった領域を人候補領域とする。この人候補領域の画像について、ｃ図に示す通り、人物特定手段２１によって被撮影人物の顔を検出する。具体的には、撮影手段２０で撮影された画像において、動きのある領域を特定し、その特定された区画内に、顔と推定される顔輪郭、その顔輪郭内に配置される両目、その両目の情報の各々に配置される眉、両目の間の下方に配置される鼻、及び、その鼻の下方に配置される口と推察される部分の全て又は一部が人として配置可能な領域内に配置された領域を被撮影人物の顔として検出する。

この人物特定手段２１で検出された被撮影人物の顔の特徴点等から、属性取得手段２２によって性別、年齢等の属性情報を推定して記録手段２３に保存する。人物特定手段２１で特定された被撮影人物については動線保存手段２４によって経時経過に伴う特定の領域内の人物位置情報（動線データ）を記録手段２３に保存される。人物特定手段２１で特定された被撮影人物については、更に紐付けデータ保存手段２５によって他の紐付けデータを取得してこれを記録手段２３に保存される。

また、人物特定手段２１で特定された被撮影人物の顔の特徴点から、目線位置取得手段２６によって、被撮影人物の顔の方向、伏仰角度、及び目線の方向を計測して目線位置を推定し、所定時間留まった目線位置データを他の紐付けデータとして記録手段２３に保存される。図１のｂ図の店舗１０外でショウウィンドウ１２越しに店舗内を見ている客１３ｃの顔の方向、伏仰角度、及び目線の方向を人物特定手段２１及び記録手段２３から得た上で推定して目線位置１５を判断している。

尚、図１のｃ図では、破線で囲ったように、特定領域がエレベータであり、駆動機構として扉等の駆動機構を備えものである場合には、記録手段２３に保存された属性情報や紐付けデータについては、駆動制御手段２７によって扉等の駆動機構の駆動源２８の駆動を制御させることを可能とすることを例示している。例えば、老人や子供が乗り降りする場合には、エレベータの扉の開放時間を若干長くするように制御したり、杖をついた人物や車椅子で移動している人物が乗り降りする場合には、更に長い開放時間とすることを制御することが可能となる。また、図１のａ図、ｂ図のような店舗１０では来店客の身長に合わせて棚の高さを変更する等の工夫を行うようにしてもよい。

図２は図１の本発明の属性収集システムの一実施例の店外カメラを用いる場合のフローチャートである。図３は図１の本発明の属性収集システムの一実施例の店内カメラを用いる場合のフローチャートである。図２に示す通り、店外カメラ２０ｂの撮影手段２０の画像から人物特定手段２１によって顔が検出された場合には対象同定が行われる。即ち、初めて画面に入ってきた人物かを検証し、初めてであれば、属性取得手段２２で性別及び年代を属性予測する。

対象同定は紐付けデータとしての衣服情報を加味することで認識率を向上させる。より好ましくは、色情報又は模様情報を取得することで認識率を向上させる。例えば色情報を取得するのには、例えばＨＳＶ表色系の画素値ヒストグラム特徴量とＬａｂ表色系モザイク画像特徴量とを用い、例えば模様情報を取得するものには、例えばＬＢＰ(Local Binary Pattern)特徴量とＨＯＧ(Histograms of Oriented Gradients)特徴量とを用いることで認識率を向上させる。

更に、紐付けデータ保存手段２５で、まず顔の横幅を基準長さとし、鼻頭から任意の長さを下方に胸当たりからへそ当たりまでの四角形領域を作ってそこを衣服領域とし、この衣服領域のヒストグラムを作成する。より具体的には、衣服領域内の各色相の値(0-360)から区間幅１０、bin数が色相１０、彩度３２、明度２の組合せのヒストグラムを作成し、記録手段２３に保存する。保存に際しては、新しいＩＤと属性情報と衣服情報とを紐付けて保存する。尚、ヒストグラムについては、その画像の大きさを細かくしていけば認識正解率が向上し、画像もグレーの画像よりもカラーの画像において、色相のヒストグラムを採用することにより、認識正解率が向上する。

動線保存手段２４は特定された被撮影人物の経時経過に伴う特定の領域内の位置情報をトラッキングする。この際には、得られた属性情報及び衣服情報等の紐付けデータをもとにすることにより、同定率が向上する。動線のトラッキングでは、被撮影人物が店舗の境界（図では出入り口１１）を超えたか（入店）を検証段階へ移行する。

また、前述の対象同定で初めて画面に入ってきた人物かを検証し、初めてではない場合にも被撮影人物が店舗の境界（図では出入り口１１）を超えたかを検証段階へ移行し、超えた場合には、記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、入店時刻を含めて記録し、店舗内に入ってきた人物として図３に示すフローチャートへ移行する。
尚、境界を越えない場合には、他店境界を越えた際に、記録手段２３に入店しなかった人物として、記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、記録時刻を含めて記録し、該当ＩＤの衣服情報を一時記録手段としてのメモリから削除する。

図３に示す通り、店舗内に入店した被撮影人物の顔を検出し、初めて画面に入ってきた人物かを検証し、初めて画面に入った人物であれば、衣服情報から図２で保存された人物のＩＤを特定し、属性情報及び衣服情報等の紐付けデータをもとに特定された被撮影人物の経時経過に伴う特定の領域内の位置情報をトラッキングする。トラッキングの過程で該当人物が店舗の境界（図では出入り口１１）を超えた場合には、記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、記録時刻を含めて記録し、該当ＩＤの衣服情報を一時記録手段としてのメモリから削除する。

図４は本発明の属性収集システムの別の実施例のショッピングモール内の店外カメラを用いる場合のフローチャートである。図５は本発明の属性収集システムの別の実施例のショッピングモール内の店内カメラを用いる場合のフローチャートである。図６は本発明の属性収集システムの更に別の実施例のショッピングモール内の店内カメラを用いた店外へ出た場合のフローチャートである。図４、図５及び図６では、図２及び図３の例に対して、目線位置取得手段２６による目線位置を記録するフローチャートを示している。

即ち、図４に示す通り、対象同定で初めて画面に入ってきた人物かを検証し、初めてではない場合と、属性情報及び衣服情報等の紐付けデータをもとにトラッキングを開始した人物（即ち、図１の客１３ｃ）に対して、顔角度を算出し、カメラ−人距離と顔角度から、当該人物が見ている店婦内の位置を予測し、結果を記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、記録時刻を含めて記録する。この際、複数のカメラを用いることで顔角度だけでも見ている位置を推定することが可能である。

その後、該当する人物が店舗に入ったかを検証段階へ移行し、超えた場合には、記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、入店時刻を含めて記録し、店舗内に入ってきた人物として図５に示すフローチャートへ移行する。尚、境界を越えない場合には、他店境界を越えた際に、記録手段２３に入店しなかった人物として、記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、記録時刻を含めて記録し、該当ＩＤの衣服情報を一時記録手段としてのメモリから削除する。

図５に示す通り、店舗内に入店した被撮影人物の顔を検出し、カメラ−人距離が予め定められた閾値以内かを判断し、閾値以内であれば、対象同定で初めて画面に入ってきた人物かを検証し、初めて画面に入った人物であれば、属性取得手段２２で性別及び年代を属性予測する。更に、紐付けデータ保存手段２５で、前述と同様に、衣服領域内のヒストグラムを作成し、記録手段２３に保存する。保存に際しては、新しいＩＤと属性情報と衣服情報と入店時間とを紐付けて保存する。

カメラ−人距離が予め定められた閾値以外の場合、対象同定で初めて画面に入ってきた人物でない場合、又は、新しいＩＤと属性情報と衣服情報と入店時間とを紐付けデータを記録手段２３に保存した後の場合には、顔角度算出を行う。具体的な顔角度算出は、前述と同様に、当該人物が見ている店婦内の位置を予測し、結果を記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、記録時刻を含めて記録する。

図６に示す通り、出入り口１１近傍の店内カメラでは、出入り口１１近傍の被撮影人物の顔を検出し、対象同定において、衣服情報から当該人物のＩＤを特定し、当該人物をトラッキングする。当該人物が店外へでた場合には、記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、記録時刻を含めて記録する。

図７は本発明の属性収集システムの更に別の実施例のレジ前人物の顔角度計算を行う場合のフローチャートである。図８は本発明の属性収集システムの更に別の実施例のレジ前人物のフローチャートである。図７ではレジ前の行列を想定して、行列に並んでいる人物がどこを見ているのかを想定している。

レジ前で並んでいる被撮影人物の顔を検出し、対象同定において、初めて画面に入ってきた人物かを検証し、初めてであれば、属性取得手段２２で性別及び年代を属性予測する。更に、紐付けデータ保存手段２５で前述と同様に、衣服領域内のヒストグラムを作成し、記録手段２３に保存する。保存に際しては、新しいＩＤと属性情報と衣服情報と入店時間とを紐付けて保存する。

対象同定で初めて画面に入ってきた人物でない場合、又は、新しいＩＤと属性情報と衣服情報と入店時間とを紐付けデータを記録手段２３に保存した後の場合には、顔角度算出を行う。具体的な顔角度算出は、前述と同様に、当該人物が見ている店舗内の位置を予測し、結果を記録手段２３に該当人物の属性情報と衣服情報とを紐付けされたＩＤを、記録時刻を含めて記録し、該当ＩＤの衣服情報を一時記録手段としてのメモリから削除する。

図８ではレジ前や券売機前に設置させた撮影手段で撮影された人物の属性情報の紐付けデータとしての個々のレジ又は券売機の販売データを紐付けする事例を示したものである。図８に示す通り、レジ前又は券売機前の被撮影人物の顔を検出し、先ずレジ前（券売機前）の人物か否かを顔の大きさで判断する。レジ前の人物であると判断された場合には、対象同定において、前述と同様に、初めて画面に入ってきた人物かを検証し、初めてであれば、属性取得手段２２で性別及び年代を属性予測する。更に、当該人物が購入した商品の情報が、紐付けデータとして、その属性情報と共に記録手段２３に購入時間と共に記録される。

１０ …店舗、
１１ …出入り口、
１２ …ショウウィンドウ、
１３ａ…客、
１３ｂ…客、
１３ｃ…客、
１５ …目線位置、
２０ …撮影手段、
２０ａ…カメラ、
２０ｂ…カメラ、
２１ …人物特定手段、
２２ …属性取得手段、
２３ …記録手段、
２４ …動線保存手段、
２５ …紐付けデータ保存手段、
２６ …目線位置取得手段、
２７ …駆動制御手段、
２８ …駆動源、

Claims (5)

1. 特定の領域内又は特定の領域内外を撮影する撮影手段と、
   撮影された画像から顔の特徴点を検出して被撮影人物の顔を検出する人物特定手段と、
   前記人物特定手段で特定された被撮影人物の特徴点から性別、年齢を始めとする属性情報を推定してこれを記録手段に保存する属性取得手段と、
   前記人物特定手段で特定された被撮影人物の経時経過に伴う特定の領域内の位置情報（動線データ）を前記記録手段に保存する動線保存手段と、
   前記人物特定手段で特定された被撮影人物の属性情報の他の紐付けデータを取得してこれを前記記録手段に保存する紐付けデータ保存手段とを備え、
   前記紐付けデータが、被撮影人物の衣服情報であることを特徴とするカメラによる属性収集システム。
2. 前記紐付けデータとしての被撮影人物の衣服情報が、被撮影人物の衣服画像のヒストグラム情報であることを特徴とする請求項１に記載のカメラによる属性収集システム。
3. 前記被撮影人物の属性情報に基づいて、前記特定の領域内の駆動機構の動作を制御する駆動制御手段を更に備えたことを特徴とする請求項１又は２に記載のカメラによる属性収集システム。
4. 前記被撮影人物の顔の方向、伏仰角度、及び目線の方向を計測して目線位置を推定し、所定時間留まった目線位置データを他の紐付けデータとして前記記録手段に保存する目線位置取得手段を更に備えたことを特徴とする請求項１又は２に記載のカメラによる属性収集システム。
5. 複数の撮影手段による撮影画面から被撮影人物の目線位置を推定することを特徴とする請求項４に記載のカメラによる属性収集システム。

Images