JP2010009444A - 商品関心度計測装置 - Google Patents

Abstract

【課題】一つの画像内の複数の商品についての関心度を計測することができ、また、来客個々について高精度の情報を収集できるようにして、複数の商品について来客個々の挙動データを同時並行して能率的効率的に収集し、その集計結果に対する信頼性を高くするとともに、個々の商品に対するそれぞれの全来客の関心度合いを定量的に把握できるようにする。
【解決手段】商品関心度計測装置は、画像処理装置を備える。画像処理装置は、撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに当該仮想重心点を経時的に追跡する人認識手段と、複数の関心計測領域内での仮想重心点の瞬間移動速度をそれぞれ計測する移動速度計測手段と、関心計測領域内での関心移動速度以下の仮想重心点の移動時間を計測しこれを滞在時間として人別に記憶装置に登録する滞在時間計測手段とを備える。
【選択図】図２

Description

本発明は、展示商品、たとえばマネキンやショーケースなどに展示された商品に対する買い物客の関心度合いを推し量り、これを小計する装置、すなわち、商品関心度計測装置に関するものであり、複数の商品が展示されている状態での展示された個々の商品に対する買い物客の関心度合いを、一つの商品関心度計測装置で同時並行してそれぞれ計測することができるものである。

従来、展示棚やショーケースに展示された商品に対する買い物客の関心の有無、その程度を計って、その結果を営業に生かすことが必要であり、展示棚やショーケース近辺での買い物客の挙動を、直接、間接に目視で観察し、関心度の高さを観察者が判断しているのが実情である。この観察者による判断では、客観性に乏しく、評価結果、あるいは集計データの内容の画一化が困難であり、したがって、複数の商品展示箇所での関心度合いのデータを共通にすることが困難であり、また、同データを共有することが困難である。

関心度合いについての評価が客観化されれば、複数の商品展示箇所での関心度合いのデータを共通化することができ、またデータを共有することができるので、その利用価値が高く、利用性が高くなる。したがって、商品に対する買い物客の関心度を客観的に観察し、評価結果が客観化されることが求められる。
以上のことから、展示された商品が来客全体にどの程度注目されたかを推し量るための客観的なデータを収集する商品関心度計測装置が種々に工夫されており、商品周辺を常時カメラで観察し、当該カメラ画像を処理して来客の挙動を分析し、この挙動から当該商品に関心を示したと推測される来客を認識し、これを計測する等して商品に対する来客の関心度（あるいは注目度）を計測するものがある。
来客全体から商品が受ける関心度を推し量るのに、当該商品近辺での通行者の分布密度、移動速度、停止時間、通過位置、顔の向き等で如何にして関心度を推し量るか、また、商品近辺での来客の挙動をどのように捉え、どのように評価するか等に関する発明が下記の特許文献に記載されている。
特許第３８００２５７号公報 特許第３４０６５８７号公報 特許第３３９０４２６号公報 特開２００６−８５３６６号公報 特表２００５−５０１３４８号公報

従来技術は、商品などに対する買い物客全体の関心の有無、その関心度合いをおおざっぱに把握するための情報収集にすぎないので、高信頼度で合理的、客観的に計測できる計測装置の実現が求められる。
また、個々の買い物客（来客）の特定商品に対する関心度合いの定量的な計測データ、およびその分布を的確に把握することが、個々の商品に対する買い物客の関心度合いを詳細に分析する上で有効である。
さらに、従来の商品関心度計測装置は来客の挙動を継続して常時光学的に捉え、これを分析するものであるが、一つの画像内に複数の商品がある場合は個々の商品に対する買い物客全体の関心度を計測することは困難であり、即ち、従来の機器では一つの画像内に複数の商品を含むように撮像範囲を大きくすると、画像の歪みや解像度等の関係で個々の商品に対して買い物客を人別にその挙動を詳しく把握することが難しく、そのため、一つの商品関心度計測装置による計測対象はほとんど１商品に限られる。したがって、各展示品についての商品関心度はそれぞれの商品関心度計測装置で計測する必要があるので、複数の商品についてそれぞれに対する商品関心度を計測する場合は、多くの商品関心度計測装置を要し、極めて非能率的、非効率的である。

そこで、一つの商品関心度計測装置の画像で複数の商品展示を撮影し、その一つの撮像画像内の複数の展示品についての関心度を別々に計測することができることが強く要請されている。
また、個々の展示品が来客全体からどの程度の関心ないしは注目されたかを、例えば関心を示した来客者の総数、あるいは、どの程度の来客がどの程度の時間立ち止まって注目したかの延べ時間などで推し量るのではなく、つまり、全来客が展示品に対して示した挙動から当該展示品が、例えば一日の全来客からどの程度の関心が示されたかを計測データから推し量るのではなくて、来客個々が展示品に対して直接的に示す挙動に関連するデータを高精度に簡便に多量に収集できれば、このデータをデータ加工処理装置で種々に加工処理して、展示品の種類、展示状況、周りの環境、来客の種類、季節などに適した種々の観点から分析し、種々の基準で収集、評価することができ、これによって、利用価値の高い最も有効な商品関心度情報を得ることができる。
したがって、個々の来客（買い物客と同じ）が個々の商品に対して示した挙動についての高精度のデータを簡便に多量に収集し、これをデータ加工処理装置に適時に出力できる商品関心度計測装置の実現が強く求められる。

以上の要請に的確に応えることがこの発明の目的であり、一つの画像内の複数の商品についての関心度を計測することができ、また、来客個々について高精度の情報を収集できるようにして、複数の商品について来客個々の挙動データを同時並行して能率的効率的に収集し、その集計結果に対する信頼性を高くするとともに、個々の商品に対するそれぞれの全来客の関心度合いを定量的に把握できるようにすることがこの発明の課題である。

上記課題を解決するためのこの発明の手段は、複数の商品の近傍を一つのカメラで上方から常時撮影している撮像装置の撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置について、次の（イ）〜（チ）によるものである。
（イ）上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、
（ロ）上記商品の至近距離の範囲内として設定された複数の関心計測領域内での当該仮想重心点の滞在時間をそれぞれ計測する画像処理装置を備えており、
（ハ）上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段と、
（ニ）上記複数の関心計測領域内で人別に上記仮想重心点の瞬間移動速度をそれぞれ計測する移動速度計測手段と、
（ホ）上記関心計測領域内での関心移動速度以下の上記仮想重心点の移動時間を計測し、これを滞在時間として来客別（人別）に記憶装置に登録する滞在時間計測手段と、
（へ）上記関心移動速度が、来客である人が展示品に接近してこれを注視するときの移動速度であり、
（ト）上記記憶装置に登録された来客別（人別）の滞在時間を読み出し、これを加工するデータ加工処理装置と、
（チ）上記データ加工処理装置からの関心度情報を出力する出力装置とを備えていること。

なお、上記の関心計測領域は、商品（展示品）に接近してこれを注視していると客観的に見なせる領域であり、衣料品などの小形物品（小物）の場合は、例えば５０センチメートルの領域、工作機械等の大形物品（大物）の場合、例えば１乃至２メートル程度の領域である。
また、上記の「滞在時間」は、関心移動速度、すなわち、来客が展示品に接近してこれを注視するときの移動速度による移動時間であり、関心移動速度の判別基準は、衣類、食料品などの小物の場合は例えば０．５ｋｍ／ｈ以下、工作機械などの大物の場合は例えば１ｋｍ／ｈ以下の微速移動である。

一つのカメラによる撮像範囲内に複数の商品が展示されていて、これらの商品に対する関心計測領域が設定されており、各関心計測領域について来客の存在が認識され、その瞬間移動速度が計測され、移動軌跡が追跡され、滞在時間が計測される。
上記画像処理装置は、上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像の位置を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段を含む画像処理装置であるので、各関心計測領域についての上記処理が可能である。そしてこの場合、隣の商品が互いに離れている必要はない。したがって、一つのカメラの撮像範囲内に複数の商品を配置し、複数の商品それぞれについての関心度を並行して同時に計測することができる。
なお、上記処理は関心計測領域が３個以上の多数でも可能であり、他方一つでも可能である。
したがって、１画像内に一つの商品を配置し、これに本願発明を適用して実施することも可能である。
上記仮想重心点の上記関心計測領域内での瞬間移動速度を上記移動速度計測手段で計測し、上記移動速度が関心移動速度以下のときのその移動時間を計測し、これを個々の来客別の滞在時間として登録し、当該滞在時間を基礎データとして各来客の関心度合いを評価し、データを集計し加工して客観的で具体的な関心度情報を作成する。

上記判別基準として上記瞬間移動速度と比較する速度基準を多段階に設けてこの多段階の速度基準で関心度のレベルを多段階に評価するようにすることもできる。例えば、人が展示品（商品）に対して比較的熱心に注目しているときの瞬間移動速度（例えば、０．５ｋｍ／ｈ）以下を第１レベル、非常に熱心に注目しているときの瞬間移動速度以下（例えば、０．３ｋｍ／ｈ以下で、ほとんど停止状態の移動速度以下）を第２レベルに設定して、各レベルで注目した来客についてその関心度（関心の高さの度合い）を評価することができる。また、滞在時間に対する時間基準を多段階に設けてこの多段階の時間基準で関心度のレベルを多段階に評価するようにすることもできる。すなわち、例えば第１レベル、第２レベル、第３レベルの３段階に滞在時間基準を設定し、これらの瞬間移動速度基準で関心度を３段階に評価することもできる。

以上の手段によれば、展示された商品の上記関心計測領域に入り、当該計測領域内を関心移動速度（例えば瞬間移動速度０．５ｋｍ／ｈ以下）で移動したことをもって特別の関心を示したと推定される来客を特定する。そしてこの来客が展示品（商品）の観察に費やしたと推測される時間（滞在時間）が登録されるので、この登録データを加工し、所定の判断基準に基づいて評価し、この評価結果を集計し、集計された関心度情報を客観化し、定量化することができる。
したがって、個々の商品に対する来客全体（又は全来客）の関心度合いのレベル、各レベルの分布、当該分布の経時変化を客観的なデータにより定量的に把握することができる。

なお、関心計測領域内での瞬間移動速度が所定以下の場合にこれを滞在時間と見なして計測することによって、展示品に対して高い関心を示した来客を高い精度で推定する事ができるが、来客個々の関心度データについてそれほど高い精度を必要とせず、むしろ少し関心を示した来客についても関心度データを登録したい場合は、少し注目しながら関心計測領域に入った来客（ただの通行人でなく、例えば瞬間移動速度が通常歩行の１／２（２ｋｍ／ｈ以下）は関心を有するものと見なして、このような来客の上記滞在時間を計測するようにすることもできる。この場合は、撮像画像内で移動している限り、同じ関心計測領域への出入りを繰り返えすときの延べ滞在時間を計測することができ、このようにして計測された延べ滞在時間は、上記関心移動速度による滞在ではないにしても、その来客の関心の高さを示す関心度データとして大きな意義がある。

以上のように、本発明によれば、一つの商品関心度計測装置で複数の商品に対する来客の関心度を同時に別個に計測することができるので、複数の商品に対する関心度を能率的、効率的に計測することができる。
また、複数の商品が隣接して配置されている場合も、個々の商品に対する関心度計測領域を設定し、これらの商品に対して特に関心を示した来客の挙動を個別に観察して滞在時間を計測するので、隣接して配置された複数の商品についての関心度を別々に高精度で計測することができる。
また、個々の商品に対する来客の関心度合いの計測精度を高くし、関心度合いの集計結果に対する信頼度を高くするとともに、個々の商品に対する関心度合いの程度、関心度合いの分布（滞在時間別分布、時刻別分布等）及びこれらの経時変化を定量的に把握することができる。

以下に、本発明の実施の形態について図面を参照しながら説明する。
（実施の形態１）
本実施の形態１は商品関心度計測装置の単純な適用例であり、マネキンディスプレイに対する商品関心度と展示棚によるディスプレイに対する商品関心度との２つを計測する場合の一例である。

図１の例では、一つのカメラ（撮像装置）９による撮像範囲に一つのマネキンＭの他に商品棚Ｄがあって、これらの両展示品に対してそれぞれ関心計測領域Ａ１，Ａ２が計測領域として設定されており、両展示品に対する関心度を並行して同時に計測する。マネキンＭに対する関心計測領域Ａ１と展示棚Ｄに対する関心計測領域Ａ２とは、展示品が異なるから展示品からの関心計測領域の範囲が異なり、また、関心移動速度（来客が展示品に対して高い関心を示しつつそのそばをゆっくりと移動する速度）の設定基準、さらに、関心度レベルを規定する滞在時間の設定基準等が異なり得るが、それ以外は関心計測領域Ａ１とＡ２に基本的な違いはない。

デパート等の店内Ｓに衣料品（商品）をマネキンＭに着せてこれを通路Ｔに面して展示したマネキン展示、展示棚Ｄによる陳列展示を行っている場所を、一つのカメラ９によって上方から常時撮像しており、この撮像範囲が撮像画像１である。そして、実施の形態１の商品関心度計測装置２は、当該マネキンＭに着せた商品の衣料品に対して、また展示棚Ｄに陳列した陳列品に対して、この通路Ｔを通行する買い物客がそれぞれどの程度の関心度合いを示すかを同時並行して計測するものである。

なお、図１中、Ａ１，Ａ２は撮像画像１内に設定される関心計測領域であり、ｈは上記通路Ｔを通行する買い物客の人物画像であり、Ｇは人物画像ｈの仮想重心点であり、Ｒ１はこの人物画像ｈが関心計測領域Ａ１内を通ったときの人の挙動を示す移動経路であり、Ｒ２は、人物画像ｈが関心計測領域Ａ１内及び関心計測領域Ａ２内を通ったときの人の挙動を示す移動経路である。

この例では買い物客が関心計測領域Ａ１又はＡ２内に入ったとき、それぞれの関心計測領域Ａ１，Ａ２内での瞬間移動速度が例えば０．５ｋｍ／ｈ以下であるとき（関心移動速度での移動であるとき）、それぞれの関心計測領域Ａ１，Ａ２での移動時間がそれぞれの関心計測領域Ａ１，Ａ２での滞在時間として計測される。
図２は、商品関心度計測装置２の構成図を示し、この商品関心度計測装置２は、１台のＣＣＤカメラ（撮像装置）９、操作手段７、画像処理装置３、関心度合い判別装置４、関心度合い別データ記憶装置５、データ加工処理装置６、出力装置８によって構成されている。

カメラ９は、上方から商品と商品近傍の床面が見える角度で天井や壁面に設置されて商品の展示場所を上方から常時撮像し、その撮像画像１を連続的に画像処理装置３に送る。カメラ９を床面が映る角度に設置することで、人物画像ｈの移動軌跡Ｒを表示したときにその進路を把握しやすい情報が得られる。天井が低い場合、または、１台のカメラの撮像画像を広くする場合などは、広角レンズを装着したカメラ９を使用し、その撮影範囲を広げるようにする。なお、撮像装置としてカメラ９は、他の画像センサを用いてもよい。

操作手段７は、例えば、キーボード、マウス等の入力装置で構成され、この操作手段７によって、画像処理装置３に対してカメラ９で撮像する撮像画像１上に２つの関心計測領域Ａ１，Ａ２が設定される。また、この操作手段７は、画像処理装置３に対して移動速度に対する基準速度を設定したり、関心度合い判別装置４に対して関心度のランク分けをするための判別基準を設定したり、データ加工処理装置６に対して所定のデータ加工を実行させて出力装置８に出力させる指示をしたりする。

次いで、上記関心計測領域Ａ１，Ａ２での関心情報の収集について説明する。
関心計測領域Ａ１は実空間の商品の外周部から当該商品の至近距離の範囲内に設定される。商品の至近距離の範囲内とは、人が商品をのぞき込み、又は商品に触れ、あるいは、商品のにおいを嗅ぐなどの５感によって、商品からの情報を収集する行為を行うときに、当該商品に接近する程度の至近距離の範囲内である。例えば、上記マネキンＭに着せて衣料品を展示している場合は、衣類の特定の部分を凝視したり、生地に触れて確かめる等のときに接近する至近距離であり、例えば、マネキンＭの外周部から１ｍ以内の範囲内である。

また、食料品の場合は、食料品の鮮度を目視で確かめようとして接近し、あるいは商品表示等を確かめようとして接近する至近距離であり、例えば、展示棚Ｄによる陳列展示の場合の関心計測領域Ａ２は、展示棚Ｄの縁から５０ｃｍ程度以内の範囲である。さらに、電化製品の場合は、電化製品を目視で確かめようとして接近し、あるいは触れて操作等しようとして接近する至近距離であり、例えば、展示棚Ｄの縁から５０ｃｍ程度以内の範囲である。さらにいえば、工作機械等のような大型展示品の場合は、展示品全体を観察するときに必要な間隔、例えば２ｍ以内の範囲である。

画像処理装置３は、上記撮像画像１上で個々の人を認識し、当該人物の仮想重心点Ｇの移動を追跡し、撮像画像１への進入時刻、撮像画像１からの脱出時刻を確認し、関心計測領域Ａ１，Ａ２での瞬間移動速度を計測し、当該瞬間移動速度を基準速度（関心移動速度）と比較し、基準速度以下での移動時間を累計する等して上記関心計測領域Ａ１又はＡ２での来客映像の仮想重心点Ｇの挙動を分析するものである。この画像処理装置３は、人認識手段３１、移動速度計測手段３２、滞在時間計測手段３３により構成される。

人認識手段３１は、上記撮像画像１において等間隔に配置する処理点毎にその処理点を中心点とする円の円周上での各ピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点毎に人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像の仮想重心点Ｇを捉えるとともに、当該仮想重心点Ｇを経時的に追跡するいわゆるベクトル焦点法による画像処理技術（特許第３４０６５８７号、特許第３４０６５７７号、特許第３３９０４２６号）を備える手段である。

上記ベクトル焦点法の画像処理としては、まず、図５に示すように、撮像画像１内の物体像Ｂと背景像Ｗとの濃度差を利用して、撮像画像１上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１１の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。

（数１）
ｓｉｔａ＝ＡＴＡＮ（ＳＶ／ＣＶ）・・・（１）
（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶは画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値を示す。）

このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１での物体Ｂとその周囲の背景Ｗとの境界、すなわち物体Ｂの輪郭部に対する法線ベクトルとして認識される。

例えば、図６（ａ）に示すように円１１が物体Ｂにかかった状態のとき、所定の基準位置から反時計方向に回転させて円形にフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図６（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Ｂの輪郭部に対する法線方向を示すものとなる。なお、図６（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。
但し、上記の円周内には物体像Ｂの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、前記ＳＶおよび前記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。

（数２）
ｐｏｗ＝ＳＱＲＴ（（ＳＶ）^２＋（ＣＶ）^２）・・・（２）

そして、人物画像ｈの抽出を行うには、図７（ａ）に示すように、まず、撮像画像１上の任意の配置点Ｑを基準に標準人型像ｏを配置し、上記円形フーリエ法により標準人型像ｏの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトル群ｂの角度情報を、当該配置点Ｑの標準データとして記憶する。

次に、図７（ｂ）に示すように、監視時に移動する人物画像ｈが映された撮像画像１に対して上記円形フーリエ法により人物画像ｈの輪郭部における法線ベクトル群ｂ’を求め、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点が一定値以上であれば、その人物画像ｈは人であると認識する。このベクトル焦点が、上記人の仮想重心点Ｇとなり、この仮想重心点Ｇをカメラ９から送られてくる撮像画像１毎に追跡して行く。

なお、本実施の形態１では、上記仮想重心点Ｇは、好ましくは、人物画像ｈの前部（前身ごろ）、あるいは頭部中心等に配置される。これにより、人物画像ｈの関心計測領域Ａ内への進入、退出を確実に捉えることができ、関心度計測の信頼性を向上することができる。

以上のベクトル焦点法による画像処理技術によれば、カメラ９から送られてくる撮像画像１を連続的に処理し、処理毎に人物画像ｈをベクトル焦点という仮想重心点Ｇで規定することができ、この仮想重心点Ｇの移動を追跡することができ、さらに、この追跡により仮想重心点Ｇの瞬間移動速度を計測することができるという特性を備えている。

従って、上記人認識手段３１によれば、撮像画像１に現われる個々の人物を一人ひとり認識することができ、例えば、肩を組んでいる２人について、その個々人をそれぞれ一人ひとりに区別して認識し、それぞれの仮想重心点Ｇを認識することができる。そして、人認識手段３１は、当該人物画像ｈの仮想重心点Ｇの移動を、人物画像ｈの仮想重心点Ｇが撮像画像１内に現われてから撮像画像１外に消えるまで追跡線（移動経路）を描いて追跡し、記録する。

移動速度計測手段３２は、人認識手段３１で特定した人物画像ｈの関心計測領域Ａ（上記の領域Ａ１又はＡ２、以下同じ）内での上記仮想重心点Ｇの瞬間移動速度（平均速度でなくて瞬間速度）を計測するものであり、この瞬間移動速度で停滞状態（停止またはほぼ停止状態）であるか否かを判別する。滞在時間計測手段３３は、上記人物画像ｈの仮想重心点Ｇが関心計測領域Ａ内に進入してから関心計測領域Ａの外へ退出するまでの間に、所定以下の瞬間移動速度での移動時間を計測し記録する。
そして、人認識手段３１で特定する人物画像ｈの仮想重心点Ｇが関心計測領域Ａ外へ出た時点か、あるいは撮像画像１外に消えた時点で上記人認識手段３１、滞在時間計測手段３３でそれぞれ記録した情報が関心度合い判別装置４に出力される。

関心度合い判別装置４は、関心計測領域Ａ内での停滞状態の有無、上記画像処理装置３から入力される上記滞在時間などに対する関心度合いパラメータによる判別基準に基づいて、上記人物の上記商品に対する関心度合いを複数段階に評価し、当該関心度合いを段階別に分別するものである。関心度合い判別装置４は、関心度合い判別手段４１、関心度合いパラメータ４２により構成される。

関心度合いパラメータ４２には上記判別基準が登録されている。この判別基準は、関心度合いの程度を複数段階のレベルに区別するためのものであり、各レベルに応じた基準値が設定される。
なお、上記判別基準は、関心計測領域内での停止状態（例えば瞬間移動速度０．３ｋｍ／ｈ以下）の時間とすることができる。この停止状態の有無によって区別するのは、立ち止まって注目した来客を峻別して登録できるので、強い関心を示した来客の割合や強い関心を示す来客が多い時間帯等の関心度情報に関連する細かな情報を収集することができる。

具体的には、上記パラメータとして上記滞在時間と対比するための時間基準を設定するものである。この時間基準は、図８のテーブルに示すように、例えば、関心度合いを低い順に４段階で評価するときは、レベル０が０秒〜９秒、レベル１が１０秒〜２９秒、レベル２が３０秒〜５９秒、レベル３が６０秒以上等のように設定される。

なお、展示された商品の種類、大きさなどにより、関心を示す人物の商品に対する近づき加減、注視する時間の程度が異なるから、判別基準をどのように設定するかは、対象とする商品の種類、大きさ、展示環境の如何などに応じて、買い物客の挙動を勘案して適宜決められるべきことである。

そして、関心度合い判別手段４１は、画像処理装置３から入力された滞在時間を、上記関心度合いパラメータ４２に設定された上記判別基準と対比して、個々の人物の関心度合いを数段階のレベルのいずれかにレベル分けする。

関心度合い別データ記憶装置５は、上記関心度合い判別装置４による関心度合い別データを登録するものである。この関心度合い別データ記憶装置５は、例えば、図９に示すように、日時及び時刻毎に、関心度、人数、総関心時間別の表形式のデータ構造にすることができる。そして、関心度合い別データ記憶装置５には、上記関心度合い判別装置４で判別された関心度合いに対応する図９の表中の関心度の該当レベルに、人数を１加算し、総関心時間に滞在時間を加算して、それぞれ累計値として記憶される。

上記の関心度合い判別手段４１は、本願発明の実施に不可欠な構成ではなく、また、このような関心度合いの判別はデータ加工処理装置６で実行するように実施形態を構成することもできる。
また、関心計測領域Ａ内での関心移動速度と関心度をランク分けする基準時間とをパラメータとして、関心度合いを種々に区分けすることもできる。

データ加工処理装置６は、上記関心度合い別データ記憶装置５に登録された関心度合い別データを読み出し、これを加工するものである。このデータ加工処理装置６によって、上記関心度合い別データ記憶装置５に記憶しているデータが、出力装置８で出力するための所定の出力形式に加工され、例えば、特定の時間帯別の集計、あるいは１日単位の集計、表作成、グラフ作成がこれに当たる。

出力装置８は、上記データ加工処理装置６からの関心度情報を出力するものである。この出力装置８は、例えば、モニター、プリンター等で構成され、この出力装置８によって上記データ加工処理装置６で所定の出力形式に加工された商品関心度計測結果が出力される。例えば、この出力装置８は、図１０に示すような表、及びグラフとして出力される。

次に、この実施の形態１の商品関心度計測装置２によって、図１に示すマネキンＭと展示棚Ｄとによる２つの商品の展示場所に対する商品関心度を計測する動作を説明する。
まず、操作手段７によって、画像処理装置３に対してカメラ９で撮像する撮像画像１上にマネキンＭに対する関心計測領域Ａ１と展示棚Ｄに対する関心計測領域Ａ２を設定すると共に、各関心計測領域Ａ１，Ａ２に対する判別基準（関心移動速度）を設定する。次いで、関心度合い判別装置４に対して関心度の判別基準（時間基準）を設定する。

具体的には、関心計測領域Ａとしては、図１に示すように、マネキンＭには、その外周部からこのマネキンＭに着せた商品に接触しうる至近距離（例えば、１ｍ）の範囲内で、買い物客が接近可能なマネキンＭ前方の一定範囲が上記関心計測領域Ａ１となるように扇状に撮像画像１上に設定される。展示棚Ｄには、その外周部からこの展示棚Ｄに載せた商品に接触しうる至近距離（例えば、５０ｃｍ）の範囲内で、買い物客が接近可能な展示棚Ｄ前方の一定範囲が上記関心計測領域Ａ２となるように展示棚Ｄの形状に沿って矩形状に撮像画像１上に設定される。また、判別基準としての関心移動速度は、例えば、マネキンＭの関心計測領域Ａ１では、関心移動速度として０．５ｋｍ／ｈが設定され、展示棚Ｄの関心計測領域Ａ２では、関心移動速度として０．３ｋｍ／ｈが設定される。

また、関心度合い判別装置４に設定する関心度の判別基準である時間基準は、この実施形態のマネキンＭと展示棚Ｄでは同じ基準を採用し、例えば、図８のテーブルに示すように４段階に設定され、レベル０には０秒〜９秒、レベル１には１０秒〜２９秒、レベル２には３０秒〜５９秒、レベル３には６０秒以上の時間基準がそれぞれ設定される。
以上の設定が完了すると、マネキンディスプレイ及び展示棚のディスプレイのそれぞれに対する買い物客ごとのこれら商品の関心度度合いが次のようにして計測される。

図３に示す画像処理装置３の動作の流れ図を参照して、カメラ９から撮像画像１が画像処理装置３に連続的に入力されると（Ｓ１）、画像処理装置３では、撮像画像１内の人認識を行い、人の存在が認識されると、その人を仮想重心点Ｇで捉え（Ｓ２）、連続的に入力される撮像画像１上で当該仮想重心点Ｇを経時的に追跡する（Ｓ３）。なお、この人認識は、上述のとおりベクトル焦点法による画像処理技術が用いられる（図５〜図７を参照）。

そして、この仮想重心点Ｇが関心計測領域Ａ１内に入ると、仮想重心点Ｇの瞬間移動速度を計測し（Ｓ４）、移動速度が関心移動速度（０．５ｋｍ／ｈ）以下か否かを判別する（Ｓ５）。そして、上記関心移動速度（０．５ｋｍ／ｈ）以下のときその移動時間を関心計測領域Ａ１での滞在時間として計測する（Ｓ６）。すなわち、実空間の人が商品を展示するマネキンＭに接近し、当該商品に注目している時間が計測される。

一方、上記の仮想重心点Ｇが関心計測領域Ａ２内に入ると、当該仮想重心点Ｇの瞬間移動速度を計測し（Ｓ４）、移動速度が関心移動速度（０．３ｋｍ／ｈ）以下か否かを判別する（Ｓ５）。そして、上記関心移動速度（０．３ｋｍ／ｈ）以下のときその移動時間を関心計測領域Ａ２での滞在時間として計測する（Ｓ６）。すなわち、実空間の人が商品を展示する展示棚Ｄに接近し、当該商品に注目している時間が計測される。

なお、関心計測領域Ａ１内まで商品に接近した来客の足が停止しても、上半身が前後左右に揺れて仮想重心点Ｇが移動することがある。関心計測領域Ａ１でのこのときの移動速度はほぼ０．５ｋｍ／ｈ以下と見なされるので、この関心計測領域Ａ１では上記所定速度を０．５ｋｍ／ｈとしている。これによって、下半身が停止しているときは、仮に上半身が前後左右に揺れていてもこれを停滞状態と把握することができ、また、展示品を注目しながら０．５ｋｍ／ｈ以下で移動する状態が、停止状態乃至はほぼ停止状態として把握されることになる。上述のことは、関心計測領域Ａ２についても同様のことが言え、関心計測領域Ａ２では０．３ｋｍ／ｈとしている。

そして、仮想重心点Ｇが関心計測領域Ａ１に入ってから関心計測領域Ａ１外へ出て行った時点、すなわち、実空間の人が商品を展示するマネキンＭの至近距離から去った時点で、画像処理装置３は、関心計測領域Ａ１での当該仮想重心点Ｇの滞在時間を関心度合い判別装置４に出力する（Ｓ７）。すると、関心度合い判別装置４では、画像処理装置３から入力された関心計測領域Ａ１での滞在時間を判別基準としての時間基準と対比して、関心度レベルの判別を行う。すなわち、図４に示す関心度合い判別装置４の動作の流れ図を参照して、画像処理装置３から滞在時間が入力されると（Ｓ１０）、この滞在時間は、レベル０（０秒〜９秒）か、レベル１（１０秒〜２９秒）か、レベル２（３０秒〜５９秒）か、あるいはこれらに該当しないレベル３（６０秒以上）か、判別される（Ｓ１１〜Ｓ１３）。そして、関心度合い判別装置４は、関心度合い別データ記憶装置５の関心計測領域Ａ１に対応して、判別した関心度の該当レベルに人数を１加算し、総関心時間に上記滞在時間を加算して、それぞれ累計値として記憶させる（Ｓ１４〜Ｓ１７）。なお、関心度合い別データ記憶装置５は、上記滞在時間が計測された日時及び時刻に分けて記憶する。

一方、仮想重心点Ｇが関心計測領域Ａ２に入ってから関心計測領域Ａ２外へ出て行った時点、すなわち、実空間の人が商品を展示する展示棚Ｄの至近距離から去った時点で、画像処理装置３は、関心計測領域Ａ２での当該仮想重心点Ｇの滞在時間を関心度合い判別装置４に出力する（Ｓ７）。すると、関心度合い判別装置４では、画像処理装置３から入力された関心計測領域Ａ２での滞在時間を判別基準としての時間基準と対比して、関心度レベルの判別を行う。すなわち、図４に示す関心度合い判別装置４の動作の流れ図を参照して、画像処理装置３から滞在時間が入力されると（Ｓ１０）、この滞在時間は、レベル０（０秒〜９秒）か、レベル１（１０秒〜２９秒）か、レベル２（３０秒〜５９秒）か、あるいはこれらに該当しないレベル３（６０秒以上）か、判別される（Ｓ１１〜Ｓ１３）。そして、関心度合い判別装置４は、関心度合い別データ記憶装置５の関心計測領域Ａ２に対応して、判別した関心度の該当レベルに人数を１加算し、総関心時間に上記滞在時間を加算して、それぞれ累計値として記憶させる（Ｓ１４〜Ｓ１７）。なお、この関心計測領域Ａ２でも関心度合い別データ記憶装置５は上記滞在時間が計測された日時及び時刻に分けて記憶する。

なお、この実施形態は、マネキンディスプレイや展示棚による展示品を関心度測定の対象とするものについて、関心度合いをレベル分けし、各レベルの滞在時間を上記のように選定しているが、展示品の種類（衣類、食品、工業品等）の如何に応じて、来客行動の実状に適した別の基準が適宜選定される。

以上の動作によってカメラ９から順次送られてくる撮像画像１を連続的に処理して人物ごとに関心計測領域Ａ１，Ａ２での関心度合いの計測が行われ、記録される。この商品関心度合い計測は、通常、店舗の開店時間内に実施される。
そして、この関心度合い別データ記憶装置５に登録された関心度合い別データは、操作手段７を操作してデータ加工処理装置６によって所定の出力形式に加工され、出力装置８によって、図８に示すような表、グラフの形式で出力される。

以上のように、本実施の形態１による商品関心度計測装置２は、マネキンＭによる展示品、展示棚Ｄによる展示品を一つのカメラ９による撮像画像１内に捉え、これら複数の展示品（商品）に対する来客の関心度を同時並行して計測するものであり、来客が関心計測領域Ａ１又はＡ２に入ったこと、これらの領域Ａ１又はＡ２内で停止またはほぼ停止したこと（関心移動速度以下での移動であること）を以て、それぞれの展示品に対して特別の関心を示したと推定される来客（買い物客）を認識し、この特別の関心を示したと推定される来客の関心度合いを、商品の観察に費やしたとほぼ正確に推定される時間（滞在時間）の長さによって評価して、この評価結果を関心度合いの段階別に集計して関心度情報とするから、収集された関心度合い別データが高精度であり、客観化されかつ定量化される。
すなわち、複数の商品のそれぞれに対する買い物客の特別の関心の有無だけでなく、それぞれの商品に対する個別の関心度レベルが上記滞在時間の長さで個別に多段階に判別されるから、それぞれの商品に対する個々の関心の高さを容易に知ることができる。

したがって、複数の商品のそれぞれについての関心度合い別のデータが個別に正確に集計されるので、この集計結果に対する信頼性が高く、また、この関心度合い別のデータを各商品単位で加工し、これを定量的に出力することができる。
それゆえ、個々の商品に対する買い物客全体（全来客）の関心度合いの程度、その分布及びこれらの経時変化を客観的なデータにより定量的に把握することができる。

なお、上記関心度合いが高いと判別された買い物客の画像を記録して、これを後日の情報として利用することもできる。
また、関心度合いデータをどのように加工してどのような形態で表示するかは、商品の種類、客層などに応じて適宜工夫し、選択されるべきことであり、特別に関心が高い来客について、関心度合い別の分布、経時変化、時刻別データなどの他に、関心度合い別割合で表示すること、あるいは、全買い物客数に対する割合で表示すること等は、全体の関心度合いの程度を分析し、把握する上で有効である。
さらに、一つの撮像画像１内に複数の展示品がある場合は、撮像画像１内への進入位置、脱出位置の如何によって、各展示品に対して示す関心度に顕著に影響することがあり、また、撮像画像１への進入位置、脱出位置が重要な情報である場合がある。このような場合は、関心計測領域Ａ１又はＡ２での滞在時間の他に進入位置Ｐ１、脱出位置Ｐ２、両位置Ｐ１，Ｐ２間の移動軌跡を登録して（図１参照）、これを関心度の分析評価にこれらを利用することができる。

（実施の形態２）
実施の形態２による商品関心度計測装置２は、同じ関心計測領域Ａ１，Ａ２において上記滞在時間計測手段３３における判断基準としての関心移動速度を複数段階に規定するものである。例えば、第１の関心移動速度を０．５ｋｍ／ｈとし、第２の関心移動速度を０．３ｋｍ／ｈとして設定する。そして、この滞在時間計測手段３３では、関心計測領域Ａ１，Ａ２内での人物の仮想重心点Ｇの瞬間移動速度が第１の関心移動速度０．５ｋｍ／ｈ以下のときの第１の滞在時間を計測すると共に、第２の関心移動速度０．３ｋｍ／ｈ以下のときの第２の滞在時間をも計測する。このとき、当該仮想重心点Ｇにおける第１の滞在時間のうちで第２の滞在時間の割合が多い程に当該商品の関心度が高いとランク分けして評価することができる。これによって、人物の瞬間移動速度と滞在時間との組合せで、関心度合いの程度をより詳しく判別し分析することができる。その他の構成及び作用効果については実施の形態１のものと同様である。

なお、上記実施の形態１，２において、操作手段７、画像処理装置３、関心度合い判別装置４、関心度合い別データ記憶装置５、データ加工処理装置６、出力装置８は、それぞれ独立の専用ユニットで構成されてもよいし、また、これらの全部又は一部が一台のパーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。

（実施の形態３）
図１１に示すように、実施の形態３による商品関心度計測装置１０２は、１台の撮像装置１０９、画像処理装置１０３、データ加工処理装置１０６、操作手段１０７及び出力装置１０８を備える。なお、撮像装置１０９は、実施の形態１の撮像装置９と同様である。
画像処理装置１０３は、関心測定用パラメータ設定手段１３０、人認識手段１３１、行動データ計測手段１３４、関心データ計測手段１３５、データ記録手段１０５等を備える。この画像処理装置１０３は、例えば、コンピュータソフトウエアをインストールしたＣＰＵやメモリ等を備えた装置により構成される。

関心測定用パラメータ設定手段１３０は、撮像装置１０９により撮影した撮像画像１内において関心度を測定したい商品が設置されている陳列棚・テーブル等の展示台の位置や当該商品等の位置から一定距離内に近づいた人を関心者と判定する関心計測領域Ａを設定するものである。この関心測定用パラメータ設定手段１３０により、ひとつの撮像画像１内にいくつかの関心計測領域Ａを設定することができる。例えば、４箇所の商品の関心度を測定したい場合はそれら商品ごとに４箇所設定することができる。この関心計測領域Ａは、例えば、実空間において商品の展示台の縁から５０ｃｍに設定される。ただし、関心計測領域Ａの距離は、商品前の通路広さや関心者の動き方等に応じて変更することができ、例えば、自動販売機のように商品前での移動が少ない場合は実空間における３０ｃｍとし、マネキンや衣料品のように商品を手に取る動作で商品前での移動が大きくなる場合は実空間における１ｍとすることができる。

また、関心測定用パラメータ設定手段１３０は、各関心計測領域Ａ１，Ａ２ごとに人物がその商品に関心を持ったと判断するための関心移動速度が設定される。すなわち、人物がこの関心移動速度以下の移動速度にあれば、当該商品に関心のある関心者とみなす。これにより、他の歩行者の回避行動等のためにたまたま当該商品に接近してしまった等の商品の関心行動とは無関係の人物の挙動を排除することができる。従って、関心度合いの集計結果に対する信頼性が一層高くなる。上記関心移動速度は、商品や店や展示形態などに応じて設定され、例えば、マネキンの場合は商品の周りを移動し色々な方向から眺めるので０．５ｋｍ／ｈとし、パソコンのようなその場をあまり動かずに操作する商品の場合は０．３ｋｍ／ｈとすることができる。
なお、以上の関心計測領域Ａ１，Ａ２、関心移動速度の設定の操作は、操作手段１０７を操作することにより行われる。

人認識手段１３１は、撮像画像１内の人物をベクトル焦点法による画像処理技術（特許第３４０６５８７号、特許第３３９０４２６号）により個々に認識し、当該人物の仮想重心点Ｇの移動を追跡して、撮像画像１内における人物ごとの移動データ（人物番号、時刻、実座標位置）を測定するものである。この移動データのうちの時刻及び実座標位置により、当該人物の移動経路を示す線図として撮像画像１上に表示することも可能である。この人認識手段１３１により、撮像画像１内に人物の仮想重心点Ｇが進入してきた時から撮像画像１外に退出するまでの間の上記移動データが連続測定される。そして、この移動データは、一定周期（例えば、０．２秒毎）に画像処理装置１０３内部のデータ記録手段１０５における移動データファイル１５１に記録される。なお、この人認識手段１３１は、実施の形態１でいう人認識手段３１とその技術的意義に基本的な違いはない。

行動データ計測手段１３４は、上記人認識手段１３１により追跡している人物の仮想重心点Ｇが関心計測領域Ａ１，Ａ２に進入した時から退出するまでの間における当該人物の行動データ（人物番号、関心計測領域への進入時刻・退出時刻（関心計測領域が複数の場合は各関心計測領域ごと））が測定される。そして、この行動データは、画像処理装置１０３内部のデータ記録手段１０５における関心データファイル１５２に記録される。なお、行動測定手段により測定される行動データ測定は、各関心計測領域Ａ１，Ａ２ごとに行われる。

関心データ計測手段１３５は、上記人認識手段１３１により追跡している人物の仮想重心点Ｇが上記関心計測領域Ａ１，Ａ２に滞在している間における当該人物の移動速度を測定し、当該人物の移動速度が関心移動速度以下に低下した場合にその低下した間の時間、すなわち滞在時間（例えば、秒数）を測定するものである。なお、この関心データ計測手段１３５は、実施の形態１の移動速度計測手段３２と滞在時間計測手段３３とに対応する。上記移動速度は、人認識手段１３１による当該人物の仮想重心点Ｇの追跡に基づいて実空間における当該人物の移動速度である。そして、測定された滞在時間は、その人物（上記人物番号に対応）の関心データとして画像処理装置１０３内部のデータ記録装置における関心データファイルに記録される。なお、関心データ計測手段１３５により測定される関心データ測定は、各関心計測領域Ａ１，Ａ２ごとに行われる。

また、上記人認識手段１３１により人物ごとに上記移動データが記録され、人認識手段１３１により人物を追跡している間に同じ人物が各関心計測領域Ａ１，Ａ２を行き来した場合、行動データ計測手段１３４及び関心データ計測手段１３５は、当該人物の人物番号を付与した上記行動データ及び上記関心データに追加記録される。すなわち、人物番号により特定した人物ごとに、上記の移動データ、行動データ及び関心データが記録される。

詳しくは、上記人認識手段１３１により人物を追跡している間に同じ人物が同じ関心計測領域Ａ１，Ａ２に再進入した場合、その際の当該人物の行動データ及び関心データは、当該人物の先の行動データ及び関心データに追加計測（加算）し記録される。すなわち、上記行動データ中の関心計測領域Ａ１，Ａ２進入時刻は、当該人物が当該関心計測領域Ａ１，Ａ２に一番最初に進入したときの時刻が記録される。上記行動データ中の関心計測領域Ａ１，Ａ２退出時刻は、当該人物が人認識手段１３１で追跡されている間に同じ関心計測領域Ａ１，Ａ２に何度か進入・退出を繰り返した場合、その一番最後に退出したときの時刻が記録される。なお、一番最後の退出を見極める時点は、人認識手段１３１で当該人物を見失った時点、すなわち、当該人物が撮像画像１内から退出した時点である。

一方、上記関心データ、すなわち、当該人物が関心計測領域Ａ１，Ａ２内で関心移動速度以下の移動速度である間の時間（滞在時間）は、当該人物が人認識手段１３１で追跡されている間に同じ関心計測領域Ａ１，Ａ２に何度か進入・退出を繰り返すと、その累計時間が記録される。
これにより、一人の人物が各商品をどのぐらいの関心をもって見て廻ったかを分析することができる。このとき、関心の高い商品ほど滞在時間が長くなる。従って、一人の人物が複数の商品のうちのどの商品に最も関心を示したかを滞在時間の長さから知ることができる。

以上のように、画像処理装置１０３により、人物番号で特定された人物に対して移動データ、行動データ及び関心データを分けて記録することによって一人の人物の移動経路と当該人物の各商品ごとの関心度を測定することができる。
特に、上記滞在時間は、人物が関心計測領域Ａ１，Ａ２内で関心移動速度以下の移動速度である間の時間としている。これは、商品に対して特に関心を注いでいる人物の判定は、この関心計測領域Ａ１，Ａ２内で商品を手に持って立ち止まっているだけでなく、商品の周りを行き来して見て回る人も多く、そのため、ある一定の移動速度以下、すなわち関心移動速度以下をもって関心行為とみなし計測することにより正確な関心者の測定が可能となるからである。

また、上記滞在時間は、当該人物が人認識手段１３１で追跡されている間に同じ関心計測領域Ａ１，Ａ２に何度か進入・退出を繰り返す場合はその累計時間としている。これは、一人当たりのそれぞれの商品に対する滞在時間を測定するには、複数箇所の商品を交互に行き来し見て回ることも多々あり、そのため、測定する商品の関心計測領域Ａ１，Ａ２だけでの測定でなく各商品の周囲における当該人物の移動を監視し、同じ人物がそれぞれの商品においてトータルでどれだけの滞在時間を費やしたか、つまり同じ人物がそれぞれの商品に対してどれだけ関心を持ったかを知ることにより、正確な関心者の測定が可能となるからである。

データ加工処理装置１０６は、上記画像処理装置１０３内のデータ記録手段１０５に記録されている人物ごとの移動データ、行動データ、関心データを取り込み、集計及び加工を行うものである。このデータ加工処理装置１０６は、例えば、コンピュータソフトウエアがインストールされたパーソナルコンピュータ等で構成され、データ（移動データ、行動データ、関心データ等）の集計・加工等の処理を行う。なお、このデータ加工処理装置１０６は、実施の形態１でいうデータ加工処理装置６と技術的意義に実質的な違いはない。また、このデータ加工処理装置１０６には、集計及び加工された結果を表示又は印刷等を行う出力装置１０８が接続されている。この出力装置１０８は、実施の形態１の出力装置８と同様である。

そして、特にこのデータ加工処理装置１０６は、滞在時間のランク集計を行う（例えば、図４参照）。例えば、滞在時間の長さに応じて各滞在時間の長さごとに人数が集計され、アウトプットされる。なお、この人数の集計は、日単位、週単位、曜日単位等の一定期間単位で行うことができ、また、開店時間内における所定時間帯ごとに分類して上記の人数集計を行うことができる。このようにデータ加工処理装置１０６により、滞在時間の長さに応じて数ランクに分類集計することによってそれぞれの商品に対する関心度の細かな違いや正確な分析を可能としている。そして、数ランクに分類された各滞在時間における人数の多さにより当該関心計測領域Ａ１，Ａ２を設定した商品への関心度合いが判断される。すなわち、長い滞在時間での人数が多い程に当該商品への関心度合いが高いと評価される。この際、各商品ごとの対比として、どの商品の関心度合いが高いか（複数の商品の中で関心の高い商品）、あるいは低いか（複数の商品の中で関心の低い商品）等を評価することができる。

また、データ加工処理装置１０６は、上記移動データより撮像画像１内に進入した総人数を集計することができ、また、上記関心データより各商品ごとに関心者（関心移動速度以下で関心計測領域Ａ１，Ａ２内を移動した人物）の人数を集計することができる。従って、これらの集計結果より上記総人数に対する関心者数の割合を計算し、これを関心率として各商品ごとに集計することができる。つまり、この関心率が高い程に当該商品の関心度が高いと評価することができる。よって、各商品ごとの対比として、どの商品の関心率が高いか（複数の商品の中で関心の高い商品）、あるいは低いか（複数の商品の中で関心の低い商品）等を評価することができる。

さらに、データ加工処理装置１０６は、上記関心データにより各商品ごとの関心者数と関心者ごとの滞在時間が把握されるので、これに基づいて各商品ごとに滞在時間の合計を関心者数で割り算し、これを関心者ひとり当りの平均滞在時間として各商品ごとに集計することができる。つまり、この平均滞在時間が長い程に当該商品の関心度が高いと評価することができる。よって、各商品ごとの対比として、どの商品の平均滞在時間が長いか（複数の商品の中で関心の高い商品）、あるいは短いか（複数の商品の中で関心の低い商品）等を評価することができる。

以上のように、実施の形態３による商品関心度計測装置１０２は、
複数の商品が展示されている状態での展示された個々の商品に対する買い物客の関心度合いを計測する商品関心度計測装置１０２であって、
複数の商品を配置する領域を上方から常時撮影する１台の撮像装置１０９と、
上記撮像装置１０９により撮影した撮像画像１内において関心度を測定したい商品の設置位置のそれぞれに当該設置位置に一定距離近づいた人物を関心者と判定するための関心計測領域Ａ１，Ａ２を設定する関心測定用パラメータ設定手段１３０と、
上記撮像画像１内の人物をベクトル焦点法による画像処理技術により個々に認識し、当該人物の仮想重心点Ｇの移動を追跡して、人物ごとに人物番号を付けて移動経路を測定する人認識手段１３１と、
上記人認識手段１３１により追跡している人物の仮想重心点Ｇが上記関心計測領域Ａ１，Ａ２内に滞在している間における当該人物の移動速度を測定し、当該人物の移動速度が商品に関心を示すときの関心移動速度以下に低下した場合にその低下した間の時間を測定し、この測定した時間を滞在時間とする手段であって、上記人認識手段１３１により人物を追跡している間に同じ人物が同じ関心計測領域Ａ１，Ａ２に再進入した場合には上記滞在時間を累積して計測する関心データ計測手段１３５と、
上記関心データ計測手段１３５により測定された滞在時間を当該人物の関心データとして記録するデータ記録手段１０５と
上記データ記録手段１０５に記録された関心データよりその滞在時間の長さに応じて個々の商品に対する関心度レベルを数段階に分類してランク集計を行うデータ加工処理装置１０６とを備える。

また、上記データ記録手段１０５は、上記人認識手段１３１により人物ごとに測定した移動経路を移動データとして記録する。
また、上記商品関心度計測装置１０２は、上記人認識手段１３１により追跡している人物が関心計測領域Ａ１，Ａ２に進入したときの関心計測領域Ａ１，Ａ２進入時刻及び当該関心計測領域Ａ１，Ａ２から退出したときの関心計測領域Ａ１，Ａ２退出時刻を測定する行動データ計測手段１３４を備え、上記データ記録手段１０５は、上記行動データ計測手段１３４により人物ごとに測定した各関心計測領域Ａ１，Ａ２の進入時刻及び退出時刻を行動データとして記録する。

以上の構成の実施の形態３による商品関心度計測装置１０２によれば、人認識手段１３１により撮像画像１内で人物ごとに認識し追跡する。そして、追跡している人物が関心計測領域Ａ１，Ａ２に進入すると、関心データ計測手段１３５により、その移動速度を測定し、移動速度が関心速度以下のときの間の時間を計測し、この時間を滞在時間とする。これにより、その商品に関心をもって接近した人物である関心者を正確に特定することができる。

また、同じ人物が同じ関心計測領域Ａ１，Ａ２に進入・退出を何度も繰り返した場合は、その関心計測領域Ａ１，Ａ２への進入・退出ごとに別々に滞在時間を計測するのではなく、同じ人物である限り、滞在時間を累積して計測する。このように滞在時間を累積して計測できるのは、人認識手段１３１により人物ごとに認識し追跡しているからである。そして、同じ人物が同じ関心計測領域Ａ１，Ａ２への進入・退出ごとに別々に滞在時間を計測すると、滞在時間の短いランク、すなわち、関心度レベルの低いランクに人数が加算されることとなり、そのため、その商品の関心度ランクは低くなる。しかし、複数の商品を展示する場合、同じ人物が各商品間を行き来し見て周り、トータルとして関心の高い商品ほど長い時間を費やす。従って、上記関心計測手段のように、同じ人物が同じ関心計測領域Ａ１，Ａ２に進入・退出を何度も繰り返した場合は、その関心計測領域Ａ１，Ａ２での滞在時間を累積して計測することにより、滞在時間の長いランク、すなわち、関心度レベルの高いランクでの人数に加算される。その結果、その商品の関心度ランクは高くなり、正確な関心度の測定が可能となる。
そして、上記滞在時間の計測は、複数の関心計測領域Ａ１，Ａ２が設定されている場合は各関心計測領域Ａ１，Ａ２ごとに行われる。

次に、実施の形態３の関心度計測装置により、商品Ａと商品Ｂとが展示された場所（図１中のマネキンＭによるディスプレイが商品Ａであり、展示棚Ｄによるディスプレイが商品Ｂである。）での来客の行動を計測し集計した結果の一例を図１２、図１３に示す。すなわち、上記展示場所には、春休みに入ってから春物商品の商品Ａと商品Ｂとを展示し、この展示場所での商品関心度を調べた。なお、図１２は、３月第５週の関心ランク集計結果を示し、図１３は、その翌週の４月第１週の関心ランク集計結果を示す。図１３に示す４月第１週のときに商品Ｂの展示方法を変更した。

図１２の滞在時間ランク集計表より、３月第５週の結果では、商品Ａと商品Ｂのそれぞれの関心者数の合計を見ると、商品Ａの方が多いことから、商品Ａの方が商品Ｂよりも関心が高いと評価することができる。
しかし、関心者の平均滞在時間は、商品Ｂの方が長いことから、じっくり商品を眺めると、商品Ｂの方が商品Ａよりも関心が高いとも考えられる。
一方、各商品Ａ，Ｂそれぞれでは、商品Ａの方は、関心度レベル１の関心者数が多く、この商品Ａは、人目を引き付ける傾向の強い商品であるとか、その展示場所がよい等と評価することができる。商品Ｂの方は、関心度レベル２の関心者数が多く、この商品Ｂは比較的関心が高いと評価することができる。
なお、この図１１に示す３月第５週における商品Ａと商品Ｂの売上げ個数は同じ程度であった。
以上を踏まえ、４月第１週のときに商品Ｂの展示方法を変更した。

その結果、図１３の滞在時間ランク集計表に示すように、商品Ａと商品Ｂのそれぞれの関心者数の合計を見ると、商品Ｂの方が多くなり、前周とは逆に、商品Ｂの方が商品Ａよりも関心が高くなったことがわかる。関心者の平均滞在時間も商品Ｂの方が長いことからも、商品Ｂの方が商品Ａよりも関心が高いと判断できる。
一方、各商品Ａ，Ｂそれぞれでは、前週（３月第５週）と同じく、商品Ａの方は、関心度レベル１の関心者数が多く、商品Ｂの方は、関心度レベル２の関心者数が多いことから、商品Ａは、商品Ｂよりも人目を引き付ける傾向の強い商品であると判断できる。

なお、本発明は、上記実施の形態のみに限定されず、各種の設計変更を施すことが可能である。
例えば、関心計測領域Ａ１，Ａ２は離れて配置されており、これらを一つの撮像画像内に収め、関心計測領域Ａ１，Ａ２内の展示品に対する来客の関心度度合いを別々に計測しているものであるが、３つ、４つ等の複数の展示品（商品）を隣接して展示して、それぞれの商品についての関心度合いを計測する場合、上記関心計測領域Ａを隣接して設定し、３つ、４つ等の複数の商品個々ごとに関心度合いを計測することもできる。
また、関心計測領域Ａは、所期の目的に適うように、商品を展示するマネキンＭや展示棚Ｄ等の展示形態の外形状に合わせて、円形、四角形、多角形などの各種の形状に適宜設定することができる。
また、買い物客（又は来客）個々人の関心度合いの程度を、滞在時間の長さ、又は滞在時間と移動速度とに基づいて判別する他、これに加えて、これら以外の他のデータ、例えば、買い物客の行動に関するデータ（進路の方向等）をも考慮して判別することも可能である。

実施の形態１において、商品を展示するマネキンによる展示、展示棚による陳列展示の場所を上方から撮像した一つの撮像画像を示す模式図である。 実施の形態１による商品関心度計測装置の構成を示すブロック図である。 実施の形態１による商品関心度計測装置の画像処理装置の動作を示す流れ図である。 実施の形態１による商品関心度計測装置の関心度合い判別装置の動作を示す流れ図である。 人認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。 円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図（ａ）は人物画像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。 人認識の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上に識別対象の人が映されているときの様子を示す。 実施の形態１の商品関心度計測装置における関心度合い判別装置の関心度合いパラメータを示す表である。 実施の形態１の商品関心度計測装置における関心度合い別データ記憶装置の関心度合い記憶データを示す表である。 実施の形態１の商品関心度計測装置における出力装置の出力結果を示す表及びグラフである。 実施の形態３による商品関心度計測装置の構成を示すブロック図である。 実施の形態３の商品関心度計測装置における出力装置の出力結果を示すランク集計表である。 実施の形態３の商品関心度計測装置における出力装置の出力結果を示す他のランク集計表である。

符号の説明

１：撮像画像
２：商品関心度計測装置
３：画像処理装置
４：関心度合い判別装置
５：関心度合い別データ記憶装置
６：データ加工処理装置
７：操作手段
８：出力装置
９：カメラ（撮像装置）
３１：人認識手段
３２：移動速度計測手段
３３：滞在時間計測手段
４１：関心度合い判別手段
４２：関心度合いパラメータ
Ａ１，Ａ２：関心計測領域
Ｄ：展示棚
ｈ：人物画像
Ｍ：マネキン

Claims (2)

1. 複数の商品を配置する領域を１台の撮像装置で上方から常時撮像している撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置であって、
   上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された複数の関心計測領域内での当該仮想重心点の滞在時間をそれぞれ計測する画像処理装置を備えており、
   上記画像処理装置は、
   上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段と、
   上記複数の関心計測領域内で人別に上記仮想重心点の瞬間移動速度をそれぞれ計測する移動速度計測手段と、
   上記関心計測領域内での上記仮想重心点の移動時間を計測し、これを滞在時間として人別に記憶装置に登録する滞在時間計測手段とを備え、
   上記記憶装置に登録された人別の滞在時間を読み出し、これを加工するデータ加工処理装置と、
   上記データ加工処理装置からの関心度情報を出力する出力装置とを備えている商品関心度計測装置。
2. 複数の商品を配置する領域を１台の撮像装置で上方から常時撮像している撮像画像に基づいて、当該商品に対する買い物客の関心度合いを計測する商品関心度計測装置であって、
   上記撮像画像上で個々の人を認識し、当該人の仮想重心点の移動を追跡し、上記商品の至近距離の範囲内として設定された複数の関心計測領域内での当該仮想重心点の滞在時間をそれぞれ計測する画像処理装置を備えており、
   上記画像処理装置は、
   上記撮像画像において人物画像の概略的な輪郭を法線ベクトルで認識し、当該法線ベクトルを基にその人物画像を上記仮想重心点として捉えるとともに、当該仮想重心点を経時的に追跡する人認識手段と、
   上記複数の関心計測領域内で人別に上記仮想重心点の瞬間移動速度をそれぞれ計測する移動速度計測手段と、
   上記関心計測領域内での関心移動速度以下の上記仮想重心点の移動時間を計測し、これを滞在時間として人別に記憶装置に登録する滞在時間計測手段とを備え、
   上記関心移動速度が、来客である人が展示品に接近してこれを注視するときの移動速度であり、
   上記記憶装置に登録された人別の滞在時間を読み出し、これを加工するデータ加工処理装置と、
   上記データ加工処理装置からの関心度情報を出力する出力装置とを備えている商品関心度計測装置。

Images