JP2015011649A - 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置 - Google Patents

Abstract

【課題】人物の手や腕の動きを検知することができない状況でも、陳列棚の物品を手に取る行動を検知することができるようにする。【解決手段】物品配置エリアの周辺を撮像した画像情報から人物を検出する人物検出部４１と、この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部４２と、この注目部位検出部で検出された注目部位の位置を計測する位置計測部４３と、この位置計測部で取得した注目部位の位置から注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、人物検出部で検出された人物が物品取得行動を行ったか否かを判定する物品取得行動判定部４９と、を備えたものとする。【選択図】図７

Description

本発明は、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに、物品配置エリアに配置された物品を手に取る物品取得行動を行う人物を監視者に報知する監視装置に関するものである。

コンビニエンスストアやスーパーマーケットなどの小売店において、顧客が陳列棚に陳列された商品を手に取る行動は、商品に対する顧客の関心の大きさを表し、また、商品を手に取ったものの購入するに至らなかった場合には、商品説明や陳列方法などに問題があることが考えられるため、顧客が陳列棚の商品を手に取る物品取得行動に関する分析を行うことで、店舗を運営する上で有益な情報を得ることができる。

このような顧客の物品取得行動に関する分析を行うには、陳列棚の周辺に存在する顧客の行動を観察して物品取得行動を検知する必要があり、これに関連するものとして、従来、画像認識技術を用いて、陳列棚の周辺を撮像した撮像画像から顧客の物品取得行動を検知する技術が知られている（特許文献１〜５参照）。

特開２００９−０４８４３０号公報 特開２０１２−１７３９０３号公報 特開２０１２−０８８８７８号公報 特開２０１１−２５３３４４号公報 特開２００１−１２８８１４号公報

しかしながら、前記従来の技術は、人物の手や腕が写った撮像画像から人物の手や腕の動きを検出して、陳列棚の商品を手に取る物品取得行動を検知するものであり、撮像画像に人物の手や腕が写らない状況では、顧客の物品取得行動を検知することができないため、顧客の物品取得行動に関する分析の精度が大きく低下するという問題があった。

すなわち、店舗内を監視するカメラは通常、天井に設置されているため、陳列棚自体や、陳列棚に手を伸ばした本人の身体や、陳列棚の前にいる他人の身体などに遮られて、陳列棚に伸ばした手や腕を撮像することができない場合があり、このような場合には、物品取得行動を検知することができない。

また、陳列棚に伸ばした手や腕を必ず撮像することができる位置にカメラを設置することも考えられるが、この場合、人物行動分析のために専用のカメラを設けることになるため、導入コストが嵩むという問題があった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、人物の手や腕の動きを検知することができない状況でも、物品配置エリアの物品を手に取る行動を検知することができるように構成された人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置を提供することにある。

本発明の人物行動分析装置は、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析装置であって、前記物品配置エリアの周辺を撮像した画像情報から人物を検出する人物検出部と、この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、この物品取得行動判定部の判定結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の人物行動分析システムは、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析システムであって、前記物品配置エリアの周辺を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置により撮像した画像情報から人物を検出する人物検出部と、この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、この物品取得行動判定部の判定結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

また、本発明の人物行動分析方法は、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を情報処理装置により行う人物行動分析方法であって、前記物品配置エリアの周辺を撮像した画像情報から人物を検出するステップと、このステップで検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出するステップと、このステップで検出された前記注目部位の位置を計測するステップと、このステップで取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物を検出するステップで検出された人物が前記物品取得行動を行ったか否かを判定するステップと、このステップの判定結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

また、本発明の監視装置は、物品配置エリアに配置された物品を手に取る物品取得行動を行う人物を監視者に報知する監視装置であって、前記物品配置エリアの周辺を撮像した画像情報から人物を検出する人物検出部と、この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、この物品取得行動判定部の判定結果に基づいて、前記物品取得行動を行う人物に関する報知情報を生成する報知部と、を備えた構成とする。

本発明によれば、人物が物品配置エリアの物品を手に取る物品取得行動を行う際に、物品配置エリアの物品に手を伸ばす動作に応じて姿勢が変化し、特に上半身が動くため、手および腕を除く上半身の部分に設定された注目部位の変位状況に注目することで、人物の手や腕の動きを検知することができない状況でも、物品取得行動の有無を判定することができる。このため、物品取得行動に関する分析を精度よく行うことができる。また、人物行動分析のために専用のカメラを設けなくても、従来からある監視カメラを利用して人物行動分析を行うことができるため、導入コストを低く抑えることができる。

第１実施形態に係る人物行動分析システムの全体構成図 店舗におけるカメラ１の設置状況を示す平面図 店舗におけるカメラ１の設置状況を示す平面図 店舗に設置されたＰＣ３の概略構成を示す機能ブロック図 人物行動分析部３２での分析結果を表示する画面を示す説明図 人物行動分析部３２での分析結果を表示する画面を示す説明図 物品取得行動検知部３３の概略構成を示すブロック図 人物検出部４１、注目部位検出部４２、および位置計測部４３で行われる処理を説明する説明図 接近エリア設定部４５で設定される接近エリアを説明する説明図 腕長推定部５０で用いられる腕長推定テーブルを示す説明図 物品取得行動判定部４９で行われる処理を説明する説明図 物品取得行動判定部４９で行われる処理を説明する説明図 人物が物品取得行動を行っている最中の撮像画像の一例を示す説明図 陳列棚に向かい合う人物を背面側から撮像した撮像画像を示す説明図 図１４に示した撮像画像の撮像状況を示す側面図 第２実施形態に係る物品取得行動判定を説明する説明図 第２実施形態に係る物品取得行動判定を説明する説明図 第３実施形態に係る監視システムの全体構成図 警備室および売場バックヤードに設置されたモニタ５１，５２の表示画面を示す説明図

前記課題を解決するためになされた第１の発明は、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析装置であって、前記物品配置エリアの周辺を撮像した画像情報から人物を検出する人物検出部と、この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、この物品取得行動判定部の判定結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、人物が物品配置エリアの物品を手に取る物品取得行動を行う際に、物品配置エリアの物品に手を伸ばす動作に応じて姿勢が変化し、特に上半身が動くため、手および腕を除く上半身の部分に設定された注目部位の変位状況に注目することで、人物の手や腕の動きを検知することができない状況でも、物品取得行動の有無を判定することができる。このため、物品取得行動に関する分析を精度よく行うことができる。また、人物行動分析のために専用のカメラを設けなくても、従来からある監視カメラを利用して人物行動分析を行うことができるため、導入コストを低く抑えることができる。

また、第２の発明は、前記注目部位は、人物の頭部または人物の肩部である構成とする。

これによると、人物の頭部や肩の位置は検出が容易であるため、注目部位の変位状況を精度よく取得することができる。

また、第３の発明は、前記物品配置エリアは、物品が載置される棚板が上下に複数設けられた陳列棚である構成とする。

これによると、商品を手に取るために商品に手を伸ばす動作に応じて姿勢が変化することに注目して物品取得行動の有無を判定するため、商品が載置される棚板が上下に複数設けられた陳列棚において、物品取得行動が、複数の棚板のいずれに載置された商品を対象としたものかを精度よく判別することができる。そして、陳列棚は小売店舗で多用されていることから、小売店舗の人物行動分析を精度よく行うことができる。

また、第４の発明は、前記物品配置エリアの周囲に、人物が手を伸ばすことで物品に触れることが可能な最大の領域である接近エリアを設定する接近エリア設定部と、前記人物検出部で検出された人物のうち、前記接近エリアに進入しなかった人物を、前記物品取得行動を行った可能性のない人物と判定するエリア進入判定部と、をさらに備えた構成とする。

これによると、接近エリアに進入しなかった人物は、手を伸ばしても物品に触れることができないため、物品取得行動を行った可能性のない人物と判定することができる。そして、このエリア進入判定で判定された物品取得行動の可能性のない人物は、物品取得行動判定部での判定対象から排除されるため、物品取得行動判定部での判定対象を絞り込むことができ、また、エリア進入判定は平面的な位置関係の判定となるため、簡単な処理で済むため、物品取得行動判定の精度を高めるとともに全体として処理の高速化を図ることができる。

また、第５の発明は、前記接近エリア設定部は、身長と腕長との相関関係にしたがって前記位置計測部での計測結果から推定される腕長に基づいて前記接近エリアを設定する構成とする。

これによると、接近エリアを簡単にかつ精度よく設定することができる。

また、第６の発明は、前記接近エリアに進入した人物について前記接近エリア内での滞在時間を計測する滞在時間計測部と、前記人物検出部で検出された人物のうち、前記滞在時間が所定のしきい値に達しない人物を、前記物品取得行動を行った可能性のない人物と判定する滞在時間判定部と、をさらに備えた構成とする。

これによると、物品配置エリアの物品を手に取る物品取得行動を行うには、相応の時間が必要となるため、滞在時間が所定のしきい値に達しない人物は、物品取得行動を行った可能性のない人物と判定することができる。そして、この滞在時間判定で判定された物品取得行動の可能性のない人物は、物品取得行動判定部での判定対象から排除されるため、物品取得行動判定部での判定対象を絞り込むことができ、また、滞在時間計測は、接近エリアに対する進入時刻及び退出時刻から簡単に求めることができ、また、滞在時間判定も単純な数値の比較で済むため、物品取得行動判定の精度を高めるとともに全体として処理の高速化を図ることができる。

また、第７の発明は、前記物品取得行動判定部は、前記接近エリアに進入したときの直立姿勢時の前記注目部位の位置を基準にした前記注目部位の変位状況に基づいて、前記物品取得行動を行ったか否かを判定する構成とする。

これによると、物品取得行動判定を簡単にかつ精度よく行うことができる。

また、第８の発明は、前記物品取得行動判定部は、前記物品配置エリアに設定された基準位置と前記注目部位との位置関係に基づいて、前記物品取得行動を行ったか否かを判定する構成とする。

これによると、物品取得行動判定を簡単にかつ精度よく行うことができる。

また、第９の発明は、前記位置計測部は、人物の頭部の中心点の位置を計測する構成とする。

これによると、頭部中心点は頭部の検出結果から高い精度で決定することができるため、注目部位の変位状況をより一層精度よく取得することができる。

また、第１０の発明は、前記位置計測部は、前記画像情報から前記注目部位の大きさに関する情報を取得し、その注目部位の大きさの変化状況に基づいて、前記注目部位の位置を計測する構成とする。

これによると、注目部位の大きさの変化状況に基づいて、撮像装置から見た奥行き方向に関する注目部位の変位状況を把握することができるため、実際の注目部位の変位状況を精度よく取得することができる。

また、第１１の発明は、前記人物検出部は、前記物品配置エリアの周辺に同時に存在する複数の人物を検出し、前記注目部位検出部は、前記人物検出部で検出された各人物の前記注目部位を検出し、前記位置計測部は、前記注目部位検出部で検出された各人物の前記注目部位の位置を計測し、前記物品取得行動判定部は、前記人物検出部で検出された各人物が前記物品取得行動を行ったか否かを判定する構成とする。

これによると、物品配置エリアの周辺に複数の人物が同時に存在する状況でも、各人物の物品取得行動の有無を判定することができる。そして、物品配置エリアの周辺に複数の人物が同時に存在する状況では、他の人物に隠れて物品取得行動を行う人物の手や腕の動きがわからない場合があるが、手および腕を除く上半身の部分に設定された注目部位の変位状況に注目するため、各人物の物品取得行動の有無を精度よく判定することができる。

また、第１２の発明は、前記物品配置エリアは、物品のカテゴリー別に分けて複数配置され、前記出力情報生成部は、複数の前記物品配置エリアごとの物品取得回数、および前記物品配置エリアの周辺に滞在する滞在時間の少なくともいずれかの集計結果に関する前記出力情報を生成する構成とする。

これによると、物品のカテゴリー別に分けて配置された物品配置エリアごとの物品取得状況や滞在状況を店舗管理者などのユーザが把握することができ、これにより、物品カテゴリーごとの人物の購買特性や、物品配置や陳列方法の妥当性などに関する評価をユーザが行うことができる。

また、第１３の発明は、前記出力情報生成部は、実際の配置状況にしたがって配置された複数の前記物品配置エリアを表す画像に重畳して前記集計結果を表示した表示画像に関する前記出力情報を生成する構成とする。

これによると、物品配置エリアごとの物品取得状況や滞在状況を店舗管理者などのユーザが一目で把握することができる。

また、第１４の発明は、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析システムであって、前記物品配置エリアの周辺を撮像する撮像装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮像装置により撮像した画像情報から人物を検出する人物検出部と、この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、この物品取得行動判定部の判定結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、を備えた構成とする。

これによると、前記の第１の発明と同様に、人物の手の動きを検知することができない状況でも、物品取得行動の有無を判定することができるため、物品取得行動に関する分析を精度よく行うことができる。

また、第１５の発明は、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を情報処理装置により行う人物行動分析方法であって、前記物品配置エリアの周辺を撮像した画像情報から人物を検出するステップと、このステップで検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出するステップと、このステップで検出された前記注目部位の位置を計測するステップと、このステップで取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物を検出するステップで検出された人物が前記物品取得行動を行ったか否かを判定するステップと、このステップの判定結果に基づいて分析結果となる出力情報を生成するステップと、を有する構成とする。

これによると、前記の第１の発明と同様に、人物の手の動きを検知することができない状況でも、物品取得行動の有無を判定することができるため、物品取得行動に関する分析を精度よく行うことができる。

また、第１６の発明は、物品配置エリアに配置された物品を手に取る物品取得行動を行う人物を監視者に報知する監視装置であって、前記物品配置エリアの周辺を撮像した画像情報から人物を検出する人物検出部と、この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、この物品取得行動判定部の判定結果に基づいて、前記物品取得行動を行う人物に関する報知情報を生成する報知部と、を備えた構成とする。

これによると、人物の手の動きを検知することができない状況でも、物品取得行動の有無を判定することができるため、物品取得行動を行う人物を確実に監視者に報知することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る人物行動分析システムの全体構成図である。この人物行動分析システムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ（撮像装置）１、レコーダ（画像記録装置）２、ＰＣ（人物行動分析装置、閲覧装置）３、およびモニタ４と、複数の店舗を総括する本部に設けられたＰＣ（閲覧装置）１１、およびモニタ１２と、を備えている。

カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた画像情報がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ１１では、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。

店舗に設置されたＰＣ３は、店舗内での顧客の行動に関する分析を行う人物行動分析装置として構成される。また、この店舗に設置されたＰＣ３で生成した分析結果情報は、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ７でも閲覧することができ、ＰＣ３，１１が分析結果情報を閲覧する閲覧装置として構成される。

図２および図３は、店舗におけるカメラ１の設置状況を示す平面図である。図２および図３に示すように、店舗内には、陳列棚（物品配置エリア）が、商品のカテゴリー（種類）別に分けて複数設置されており、この陳列棚の周辺を主に撮像するように複数のカメラ１が適所に設置されている。

特に、図２に示す例では、カメラ１が、陳列棚の間の通路を撮像するように、通路の端の天井に設置されている。図３に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１が、陳列棚の中心の真上の天井に設置されており、これにより、陳列棚の間の通路を撮像することができる。

次に、図１に示した店舗に設置されたＰＣ３について説明する。図４は、店舗に設置されたＰＣ３の概略構成を示す機能ブロック図である。

ＰＣ３は、監視部３１と、人物行動分析部３２と、を備えている。監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の画像を閲覧することができるようになっている。

人物行動分析部３２は、店舗内での顧客の行動に関する分析を行うものであり、特に、本実施形態では、人物行動分析部３２において、陳列棚に載置された商品を手に取る物品取得行動に関する分析が行われ、この分析に関連するものとして、人物行動分析部３２は、物品取得行動検知部３３と、集計部３４と、出力情報生成部３５と、を備えている。

物品取得行動検知部３３では、陳列棚の周辺にいる人物が、陳列棚に載置された物品を手に取る物品取得行動を行ったか否かを検知する処理が行われる。集計部３４では、物品取得行動検知部３３の検知結果に基づいて、陳列棚の商品を手に取る物品取得行動の回数などを所定の集計期間（例えば１日）で集計する処理が行われる。出力情報生成部３５では、集計部３４の集計結果に基づいて分析結果となる出力情報を生成する処理が行われる。

なお、監視部３１および人物行動分析部３２は、ＰＣ３のＣＰＵで監視用および人物行動分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供されることも可能である。

次に、図４に示した人物行動分析部３２での分析結果について説明する。図５および図６は、人物行動分析部３２での分析結果を表示する分析結果画面の一例を示す説明図である。この分析結果画面は、店舗および本部に設置されたモニタ４，１２に表示されるものである。

図５に示す分析結果画面では、分析結果として、商品のカテゴリー（シャンプー、洗剤、醤油、コーヒー、スナック、せんべい、ドライ飲料、酒類、および牛乳）別に分けて設けられた陳列棚ごとに、周辺エリア滞在時間、接近エリア滞在時間、および陳列棚の棚板（上段、中段および下段）ごとの商品取得回数が、棒グラフで表示されている。

周辺エリア滞在時間は、陳列棚の周囲に設定された周辺エリア（図９参照）内に人物が滞在している時間（平均値）であり、接近エリア滞在時間は、陳列棚の周囲に設定された接近エリア（図９参照）内に人物が滞在している時間（平均値）である。この周辺エリアおよび接近エリアについては後に詳しく説明する。商品取得回数は、陳列棚の商品を顧客が手に取った回数（平均値）である。

このように本実施形態では、商品のカテゴリー別に分けて配置された複数の陳列棚ごとの物品取得回数、および陳列棚の周辺に滞在する滞在時間に関する集計結果情報が人物行動分析部３２で生成されてモニタ４，１２に表示されるため、陳列棚ごとの顧客の商品取得状況や滞在状況を店舗管理者などのユーザが把握することができ、これにより、商品カテゴリーごとの顧客の購買特性や、商品配置や陳列方法の妥当性などに関する評価をユーザが行うことができる。

例えば、醤油の陳列棚（カテゴリー）では、滞在時間が短く、商品取得回数が多くなっており、これより、最初から購入する商品を決めている目的買い（指名買い）が多いという顧客の購買特性を知ることができる。一方、シャンプーの陳列棚（カテゴリー）では、滞在時間が長く、商品取得回数が少なくなっており、これより、目的買いが少ないという顧客の購買特性を知ることができ、また、陳列棚での商品配置や陳列方法に問題があることが考えられる。

図６に示す分析結果画面では、店舗内での実際の配置状況にしたがって配置された複数の陳列棚を表す画像に重畳して集計結果を表示した表示画像が表示されている。この分析結果画面に表示される集計結果は、陳列棚ごとの周辺エリア滞在時間および商品取得回数であり、この集計結果が、数値を色合いや濃淡などの画像で表現する、いわゆるヒートマップで表示されている。

このように本実施形態では、実際の配置状況にしたがって配置された複数の陳列棚を表す画像に重畳して集計結果を表示した表示画像が表示されるため、陳列棚ごとの商品取得状況や滞在状況を店舗管理者などのユーザが一目で把握することができる。

なお、本実施形態では、陳列棚ごとに集計結果（取得回数および滞在時間）を表示するようにしたが、各陳列棚を棚板に分けて表示するようにしてもよい。また、図６に示した分析結果画面では、滞在時間および取得回数を同時に表示するようにしたが、取得回数および滞在時間を別々に表示するようにしてもよい。

次に、図４に示した物品取得行動検知部３３について説明する。図７は、物品取得行動検知部３３の概略構成を示すブロック図である。

物品取得行動検知部３３は、陳列棚の周辺にいる人物が、陳列棚に載置された物品を手に取る物品取得行動を行ったか否かを検知するものであり、人物検出部４１と、注目部位検出部４２と、位置計測部４３と、人物情報蓄積部４４と、接近エリア設定部４５と、エリア進入判定部４６と、滞在時間計測部４７と、滞在時間判定部４８と、物品取得行動判定部４９と、を備えている。以下に、物品取得行動検知部３３の各部について説明する。

まず、図７に示した人物検出部４１、注目部位検出部４２、および位置計測部４３について説明する。図８は、人物検出部４１、位置計測部４３、および位置計測部４３で行われる処理を説明する説明図であり、図８（Ａ）は、陳列棚の周辺を撮像するカメラ１による撮像画像を示し、図８（Ｂ）は、位置計測部４３で用いられる絶対座標系を示している。

人物検出部４１では、図８（Ａ）に示すように、陳列棚Ｓの周辺を撮像した画像情報（複数のフレーム（撮像画像）で構成される動画）から人物を検出する処理が行われる。この人物検出処理では、公知の画像認識技術（人物検出技術）を利用すればよい。例えば、様々な姿勢の人物形状のテンプレートを用いたテンプレートマッチングの手法を用いて、撮像画像から人物の画像領域を特定する。また、背景差分（人物が存在しない状態で撮像された背景画像と撮像画像との差分）により移動体を検出して、その移動体の特徴から人物であるか否かの判定を行う手法を用いるようにしてもよい。

なお、本実施形態では、以下に説明するように、人物の頭部のみに注目するため、人物の全身の画像領域を特定する必要はなく、頭部を含む身体の一部と認識される画像領域を特定することができれば十分である。

注目部位検出部４２では、人物検出部４１で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する処理が行われる。特に、本実施形態では、注目部位を頭部としており、撮像画像から人物の頭部を検出する処理が行われる。この頭部検出処理では、公知の画像認識技術（頭部検出技術）を利用すればよい。例えば、楕円形などのテンプレートを用いたテンプレートマッチングによる手法を用いて、人物検出部４１で検出された人物の画像領域から頭部の画像領域を特定する。また、人物画像を水平方向に投影したヒストグラムを作成すると、頭頂部から首の付け根までのヒストグラムが山形状をなすことで、頭部を判別する手法を用いるようにしてもよい。

位置計測部４３では、頭部の位置を計測する処理が行われる。特に、本実施形態では、頭部中心点ＨＰの位置が計測される。この頭部中心点ＨＰは、適宜な方法で決定すればよいが、例えばテンプレートマッチングによる頭部検出手法では、楕円形などのテンプレートに一致する画像領域の中心点を頭部中心点ＨＰとすればよく、また、ヒストグラムによる頭部検出手法では、山形状をなすヒストグラムの頂点を頭部中心点ＨＰとすればよい。

この位置検出処理では、図８（Ａ）に示すように、撮像画像上での頭部中心点ＨＰの座標を取得し、この撮像画像上の座標を、図８（Ｂ）に示すように、床面をＸＹ平面とした絶対座標系の座標に変換する座標変換が行われる。なお、ここでは、陳列棚Ｓに正対する横方向をＸ軸方向とし、高さ方向をＹ軸方向とし、陳列棚Ｓに沿う横方向をＺ軸方向としている。

このように本実施形態では、注目部位として頭部を検出するようにしており、この頭部は検出が容易であるため、注目部位の変位状況を精度よく取得することができる。さらに、本実施形態では、頭部中心点の位置を計測するようにしており、この頭部中心点は頭部の検出結果から高い精度で決定することができるため、注目部位の変位状況をより一層精度よく取得することができる。

なお、人物検出部４１では、人物検出処理がレコーダ２から取得した動画のフレーム（撮像画像）ごとに行われ、フレームから人物が検出されると、そのフレームのタイムスタンプ（撮像時刻）が人物の検出時刻として人物ＩＤとともに人物情報蓄積部４４に蓄積される。また、位置計測部４３で取得した頭部中心点の位置が検出時刻と対応付けて人物情報蓄積部４４に蓄積される。ここで、人物検出処理において、必ずしもレコーダ２を経由した動画フレームを用いる必要はなく、カメラ１からリアルタイムで入力される動画フレームを用いて人物検出処理を実行するようにしてもよい。

次に、図７に示した接近エリア設定部４５について説明する。図９は、接近エリア設定部４５で設定される接近エリアを説明する説明図であり、図９（Ａ）は平面図であり、図９（Ｂ−１），（Ｂ−２），（Ｂ−３）は側面図である。

本実施形態では、図７に示した接近エリア設定部４５において、図９（Ａ）に示すように、陳列棚の周囲に接近エリアが設定される。

この接近エリアは、陳列棚の商品を人物が取得可能な最大の領域、すなわち人物が腕を伸ばすことで陳列棚の商品に触れることができる最大の領域であり、陳列棚の外縁から幅Ｗの範囲で設定される。特に図９（Ａ）に示す例では、陳列棚の正面および左右の側面から陳列棚の商品に触れることができるため、接近エリアは、陳列棚の正面および左右の側面に面するようにコ字形状をなしている。

また、本実施形態では、図９（Ａ）に示すように、陳列棚の周囲に、周辺エリアおよび離間エリアが設定される。

周辺エリアは、陳列棚に載置された商品の売り場を画定するものであり、例えば人物が陳列棚の商品を識別することができる範囲の大きさに設定されている。この周辺エリアは、陳列棚の周辺の状況などに応じて、陳列棚の周囲に一定の大きさで予め設定されている。なお、図９（Ａ）に示す例では、周辺エリアが、１つのカメラ１で撮像可能な範囲より大きく設定されているが、これは陳列棚やカメラの設置状況に応じて異なる。

離間エリアは、陳列棚の商品を人物が取得不可能な領域、すなわち人物が腕を伸ばしても陳列棚の商品に触れることができない領域である。この離間エリアは、周辺エリアから接近エリアを除いた領域となる。

また、本実施形態では、図７に示したように、接近エリア設定部４５が、人物の腕長を推定する腕長推定部５０を備えており、この腕長推定部５０で取得した腕長に基づいて接近エリア設定部４５で接近エリアを設定する処理が行われる。

前記のように、接近エリアは、人物が腕を伸ばすことで陳列棚の商品に触れることができる最大の領域であり、人物の腕長（腕の長さ）に応じて異なり、接近エリア設定部４５では接近エリアが人物ごとに設定される。すなわち、図９（Ｂ−１），（Ｂ−２），（Ｂ−３）に示すように、接近エリアの幅Ｗが、人物の腕長に基づいて設定される。人物の腕長は身長に比例することから、陳列棚の前に身長の異なる複数の人物がいる場合には、人物ごとに異なる大きさの接近エリアが設定される。

図７に示した腕長推定部５０では、身長と腕長との相関関係にしたがって、位置計測部４３での計測結果、具体的には、身長に対応する頭部中心点のＹ座標値から腕長を推定する処理が行われる。人物の腕長は身長に比例することから、身長から腕長を推定することができる。すなわち、腕長は、身長に所定の係数（例えば０．４４）を乗じることで求めることができる。

図１０は、図７に示した腕長推定部５０で用いられる腕長推定テーブルを示す説明図である。腕長推定部５０では、身長と腕長との相関関係に基づいて予め設定された腕長推定テーブルを用いて、頭部中心点のＹ座標値から腕長を推定する。この腕長推定テーブルでは、頭部中心点のＹ座標値が３つにランク分けされており、ランクごとに腕長が設定されている。

ここで、頭部中心点のＹ座標値は、頭部中心点の床面からの高さであり、人物の姿勢に応じて変化する。一方、腕長を推定するにあたっては、直立姿勢（まっすぐに立った姿勢）での頭部中心点の高さを取得することが望ましいが、人物が歩行しているときの頭部中心点の高さは直立姿勢時と大きく異ならない。このため、周辺エリアに進入した人物が歩行中に、その人物の頭部中心点のＹ座標値を取得し、その頭部中心点のＹ座標値から腕長を推定して接近エリアを設定するようにすればよい。

このように本実施形態では、身長と腕長との相関関係にしたがって身長から推定される腕長に基づいて接近エリアを設定するため、接近エリアを簡単にかつ精度よく設定することができる。

なお、図１０に示した腕長推定テーブルでは、頭部中心点のＹ座標値の具体的な数値を示していないが、この頭部中心点のＹ座標値は、頭部中心点から頭頂までの長さを身長から差し引いた値となる。

また、図１０に示した腕長推定テーブルでは、頭部中心点のＹ座標値、身長および腕長の関係が規定されているが、頭部中心点のＹ座標値から身長を求めずに、頭部中心点のＹ座標値から腕長を直接求めることも可能である。

次に、図７に示したエリア進入判定部４６について説明する。エリア進入判定部４６では、位置計測部４３で取得した各人物の頭部中心点の位置に基づいて、人物検出部４１で検出された人物が周辺エリアおよび接近エリアにそれぞれ進入したか否かを判定する処理が行われる。

このエリア進入判定では、人物と陳列棚との平面的な位置関係、すなわち頭部中心点の床面上での位置に基づいて判定が行われる。具体的には、位置計測部４３から頭部中心点の座標（Ｘ座標値およびＺ座標値）を取得して、周辺エリアおよび接近エリアの境界線の座標と比較して、周辺エリアおよび接近エリアに人物が進入したか否かを判定する。ここで、周辺エリアの境界線の座標は予め設定されており、接近エリアの境界線の座標は接近エリア設定部４５から取得する。

特に、接近エリアは、人物が手を伸ばすことで物品に触れることが可能な領域であり、この接近エリア外の人物は、物品配置エリアの物品を手に取る物品取得行動を行うことができないため、エリア進入判定部４６では、人物検出部４１で検出された人物のうち、接近エリアに進入しなかった人物を、物品取得行動を行った可能性のない人物と判定する。

次に、図７に示した滞在時間計測部４７について説明する。滞在時間計測部４７では、周辺エリアに進入した人物が周辺エリア内に滞在する時間（周辺エリア滞在時間）、および接近エリアに進入した人物が接近エリアに滞在する時間（接近エリア滞在時間）を計測する処理が行われる。

この滞在時間計測処理では、周辺エリアおよび接近エリアに対する進入時刻および退出時刻から、周辺エリア滞在時間および接近エリア滞在時間を算出する。エリア進入判定部４６では、周辺エリアおよび接近エリアへの進入とともに、周辺エリアおよび接近エリアからの退出が検知され、また、人物情報蓄積部４４には、頭部中心点の位置が検出時刻と対応付けて蓄積されており、ここに蓄積された検出時刻に基づいて、エリア進入判定部４６で進入および退出が検知されたときの時刻（進入時刻および退出時刻）を取得することができる。

次に、図７に示した滞在時間判定部４８について説明する。滞在時間判定部４８では、人物検出部４１で検出された人物のうち、滞在時間計測部４７で取得した接近エリア滞在時間が所定のしきい値（例えば１秒）に達しない人物を、物品取得行動を行った可能性のない人物と判定する。

陳列棚の商品を手に取る物品取得行動には相応の時間が必要となるため、物品取得行動に必要な時間に基づいてしきい値を設定すれば、接近エリア滞在時間がしきい値に達しない人物は、物品取得行動を行った可能性のない人物と判定することができる。

なお、物品取得行動に必要な時間は、陳列棚の形態や載置された商品の種類などに応じて異なり、このような物品取得行動に影響する要因を考慮してしきい値を適宜に設定すればよい。

次に、図７に示した物品取得行動判定部４９について説明する。物品取得行動判定部４９では、位置計測部４３の計測結果から頭部中心点の変位状況を取得し、この頭部中心点の変位状況に基づいて、人物検出部４１で検出された人物が、陳列棚の商品を手に取る物品取得行動を行ったか否かを判定する処理が行われる。この物品取得行動判定部４９で行われる処理については後に詳しく説明する。

この物品取得行動判定部４９では、人物検出部４１で検出された人物のうち、エリア進入判定部４６および滞在時間判定部４８で、陳列棚の商品を手に取る物品取得行動を行った可能性のないと判定された人物が、物品取得行動判定の判定対象から排除される。したがって、物品取得行動判定部４９での物品取得行動判定に先だって、エリア進入判定部４６および滞在時間判定部４８で接近エリア進入判定および滞在時間判定が行われる。

このように本実施形態では、人物が手を伸ばすことで物品に触れることが可能な最大の領域である接近エリアを設定しており、この接近エリアに進入しなかった人物は、手を伸ばしても物品に触れることができないため、物品取得行動を行った可能性のない人物と判定することができる。そして、このエリア進入判定で判定された物品取得行動の可能性のない人物は、物品取得行動判定部４９での判定対象から排除されるため、物品取得行動判定部４９での判定対象を絞り込むことができ、また、エリア進入判定は平面的な位置関係の判定となるため、簡単な処理で済むため、物品取得行動判定の精度を高めるとともに全体として処理の高速化を図ることができる。

また、本実施形態では、接近エリア内での滞在時間を計測しており、この滞在時間が所定のしきい値に達しない人物は、物品取得行動を行った可能性のない人物と判定することができる。そして、この滞在時間判定で判定された物品取得行動の可能性のない人物は、物品取得行動判定部４９での判定対象から排除されるため、物品取得行動判定部４９での判定対象を絞り込むことができ、また、滞在時間計測は、接近エリアに対する進入時刻及び退出時刻から簡単に求めることができ、また、滞在時間判定も単純な数値の比較で済むため、物品取得行動判定の精度を高めるとともに全体として処理の高速化を図ることができる。

次に、図７に示した物品取得行動判定部４９で行われる処理について説明する。図１１および図１２は、物品取得行動判定部４９で行われる処理を説明する説明図である。

物品取得行動判定部４９では、位置計測部４３で取得した頭部中心点ＨＰの位置から頭部中心点ＨＰの変位状況を取得して、この頭部中心点ＨＰの変位状況に基づいて、人物が陳列棚Ｓの商品を手に取る物品取得行動を行ったか否かを判定する処理が行われ、特に、本実施形態では、接近エリアに進入したときの直立姿勢時の頭部中心点ＨＰの位置を基準にした頭部中心点ＨＰの変位状況に基づいて、物品取得行動を行ったか否かを判定する。

なお、陳列棚Ｓの商品を手に取る物品取得行動を行う可能性のある人物、すなわち陳列棚Ｓの商品に関心のある人物は、陳列棚Ｓの前で立ち止まり、このとき、人物は直立姿勢となることから、この静止状態での頭部中心点ＨＰの位置を基準位置とすればよい。また、人物が歩行しているときの頭部中心点の高さは直立姿勢時と大きく異ならないため、接近エリアに進入した直後の頭部中心点ＨＰの位置を基準位置としてもよい。

特に、本実施形態では、陳列棚Ｓに、商品が載置される棚板ＳＢ１〜ＳＢ３が上下に複数（ここでは、上段、中段および下段の３段）設けられており、商品を手に取る物品取得行動が、棚板ＳＢ１〜ＳＢ３のいずれに載置された商品を対象としたものかを判別することができる。以下に、その要領を説明する。

図１１（Ａ）は、人物が陳列棚Ｓに向かって歩行して陳列棚Ｓの前で立ち止まった状態を示している。この場合、人物が周辺エリアに進入したところで、人物の頭部中心点ＨＰの高さ（Ｙ座標値）に基づいて接近エリアが設定され、人物が陳列棚Ｓの前で立ち止まったところで、あるいは接近エリアに進入したところで、人物の頭部中心点ＨＰを基準位置として物品取得行動判定が開始される。

図１１（Ｂ）は、人物が陳列棚Ｓの中段の棚板ＳＢ２に載置された商品を手に取る場合を示している。この場合、人物は、商品を手に取るために陳列棚Ｓに近づくか、あるいは、図１１（Ａ）に示したように陳列棚Ｓの前で立ち止まったままであり、いずれにしても、直立姿勢から大きな姿勢変化はないため、頭部中心点ＨＰの垂直方向（Ｙ軸方向）の変位はない。したがって、頭部中心点ＨＰに垂直方向の変位がない場合には、中段の棚板ＳＢ２の商品を対象とした物品取得行動があったものと判定することができる。

図１２（Ａ）は、人物が陳列棚Ｓの上段の棚板ＳＢ１に載置された商品を手に取る場合を示している。この場合、人物は、上段の棚板ＳＢ１の商品に手を伸ばす動作に応じて、直立姿勢から前のめりに背伸びした姿勢に変化し、この姿勢の変化に伴って、頭部中心点ＨＰが斜め上方に変位する。したがって、頭部中心点ＨＰに斜め上方の変位がある場合には、上段の棚板ＳＢ１の商品を対象とした物品取得行動があったものと判定することができる。

図１２（Ｂ）は、人物が陳列棚Ｓの下段の棚板ＳＢ３に載置された商品を手に取る場合を示している。この場合、人物は、下段の棚板ＳＢ３の商品に手を伸ばす動作に応じて、直立姿勢から前屈みとなる姿勢に変化し、この姿勢の変化に伴って、頭部中心点ＨＰが斜め下方に移動する。したがって、頭部中心点ＨＰに斜め下方の変位がある場合には、下段の棚板ＳＢ３の商品を対象とした物品取得行動があったものと判定することができる。

このとき、基準位置からの水平方向の変位量ΔＸおよび垂直方向の変位量ΔＹに基づいて物品取得行動判定を行えばよい。例えば、図１２（Ａ）に示したように、上段の棚板ＳＢ１の商品を手に取る場合には、水平方向の変位量ΔＸがマイナス、垂直方向の変位量ΔＹがプラスとなり、図１２（Ｂ）に示したように、下段の棚板ＳＢ３の商品を手に取る場合には、水平方向の変位量ΔＸおよび垂直方向の変位量ΔＹがともにマイナスとなり、変位量ΔＸ，ΔＹの正負により、頭部中心点ＨＰの変位方向を判断することで、上段の棚板ＳＢ１および下段の棚板ＳＢ３のいずれの商品を対象とした物品取得行動があったかを判別することができる。そして、人物のわずかな姿勢変化による誤判定を避けるため、変位量ΔＸ，ΔＹをそれぞれ所定のしきい値と比較して、変位量ΔＸ，ΔＹが各々のしきい値に達した場合に、物品取得行動を行ったものと判定するとよい。

なお、このように変位量ΔＸ，ΔＹをしきい値と比較して判定する他に、頭部中心点ＨＰの変位パターンで判定することもできる。具体的には、上段、中段および下段の各棚板ＳＢ１〜ＳＢ３の商品をそれぞれ対象とした物品取得行動を行う際の頭部中心点ＨＰの変位パターンを予め取得しておき、これを実際の頭部中心点ＨＰの軌跡と比較することで、上段、中段および下段の各棚板ＳＢ１〜ＳＢ３のいずれの商品を対象とした物品取得行動があったかを判定することができる。

このように本実施形態では、人物が陳列棚の商品を手に取る物品取得行動を行う際に、陳列棚の商品に手を伸ばす動作に応じて姿勢が変化し、特に上半身が動くため、手および腕を除く上半身の部分に設定された注目部位、特に頭部の変位状況に注目することで、人物の手や腕の動きを検知することができない状況でも、物品取得行動の有無を判定することができる。このため、物品取得行動に関する人物行動分析を精度よく行うことができる。また、人物行動分析のために専用のカメラを設けなくても、従来からある監視カメラを利用して人物行動分析を行うことができるため、導入コストを低く抑えることができる。

図１３は、人物が陳列棚の商品を手に取る物品取得行動を行っている最中の撮像画像の一例を示す説明図である。この撮像画像は、陳列棚Ｓの側方から陳列棚Ｓの周辺をカメラ１で撮像したものであり、陳列棚Ｓの前に２人の人物Ａ，Ｂが立っている。このような状況では、人物Ａが、陳列棚Ｓの商品を手に取る物品取得行動を行っても、隣の人物Ｂの身体に隠れて人物Ａの手や腕の動きが撮像画像に現れないため、人物の手や腕の動きを検知することができない。一方、物品取得行動を行う人物Ａの頭部Ｈは撮像画像に現れており、この頭部Ｈは陳列棚Ｓの商品に手を伸ばす動作に応じて動くため、頭部Ｈの変位状況に基づいて物品取得行動の有無を判定することができる。

また、本実施形態では、商品を手に取るために商品に手を伸ばす動作に応じて姿勢が変化することに注目して物品取得行動の有無を判定するため、商品が載置される棚板が上下に複数設けられた陳列棚において、複数の棚板のいずれの商品を対象とした物品取得行動があったかを精度よく判別することができる。そして、陳列棚は小売店舗で多用されていることから、小売店舗の人物行動分析を精度よく行うことができる。

また、本実施形態では、接近エリアに進入したときの直立姿勢時の頭部中心点の位置を基準にした頭部中心点の変位状況に基づいて物品取得行動の有無を判定するため、物品取得行動判定を簡単にかつ精度よく行うことができる。

また、本実施形態では、陳列棚の周辺に複数の人物が同時に存在する状況では、図７に示した人物検出部４１において、陳列棚の周辺に同時に存在する複数の人物を検出し、注目部位検出部４２において、人物検出部４１で検出された各人物の頭部を検出し、位置計測部４３において、注目部位検出部４２で検出された各人物の頭部中心点の位置を計測し、物品取得行動判定部４９において、人物検出部４１で検出された各人物が物品取得行動を行ったか否かを判定する。

このため、陳列棚の周辺に複数の人物が同時に存在する状況でも、各人物の物品取得行動の有無を判定することができる。そして、陳列棚の周辺に複数の人物が同時に存在する状況では、他の人物に隠れて物品取得行動を行う人物の手や腕の動きがわからない場合があるが、手および腕を除く上半身の部分に設定された注目部位、特に頭部の変位状況に注目するため、各人物の物品取得行動の有無を精度よく判定することができる。

次に、図７に示した位置計測部４３で行われる、注目部位の大きさに基づいて注目部位の位置を計測する処理について説明する。図１４は、陳列棚に向かい合う人物を背面側から撮像した撮像画像を示す説明図である。図１５は、図１４に示した撮像画像の撮像状況を示す側面図である。

図１４に示すように、陳列棚Ｓの正面から陳列棚Ｓの周辺をカメラ１で撮像する場合、陳列棚Ｓの商品を手に取る物品取得行動を行おうとしている人物は陳列棚Ｓに向かい合うことで、その人物は背面側から撮像されるため、人物が物品取得行動を行っても、自分の身体に隠れて手や腕の動きが撮像画像に現れない。一方、人物の頭部Ｈは撮像画像に現れており、この頭部Ｈは陳列棚Ｓの商品に手を伸ばす動作に応じて動くため、頭部Ｈの変位状況に基づいて物品取得行動の有無を判定することができる。

ここで、図１１および図１２に示したように、絶対座標系における頭部中心点ＨＰの水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の変位状態に基づいて、人物が物品取得行動を行ったか否かを判定するが、図１５に示すように、カメラ１から見た奥行き方向に関する頭部中心点ＨＰの変位状況を撮像画像上で把握することができないため、画像座標系の位置から絶対座標系の位置への座標変換が難しく、絶対座標系における頭部中心点ＨＰの変位状態がわからない。

そこで、本実施形態では、位置計測部４３において、撮像画像から頭部Ｈの大きさに関する情報を取得し、その頭部Ｈの大きさの変化状況に基づいて、頭部Ｈの位置を計測するようにしている。

撮像画像に現れる頭部Ｈの大きさは、カメラ１から頭部Ｈまでの距離が変化するのに応じて変化する。例えば、人物が陳列棚Ｓの上段の棚板ＳＢ１の商品を手に取るために、直立姿勢から前のめりに背伸びした姿勢に変化したり、人物が陳列棚の下段の棚板ＳＢ３の商品を手に取るために、直立姿勢から前屈みとなる姿勢に変化したりすると、直立姿勢時と比較して頭部Ｈがカメラ１から離れるため、頭部Ｈの大きさは小さくなる。このため、撮像画像に現れる頭部Ｈの大きさの変化量と、頭部中心点ＨＰの画像座標系での変位量とから、絶対座標系での変位量を求めることができる。

このように本実施形態では、頭部Ｈの大きさの変化状況に基づいて、カメラ１から見た奥行き方向に関する頭部Ｈの変位状況を把握することができるため、実際の頭部Ｈの変位状況を精度よく取得することができる。

（第２実施形態）
次に、第２実施形態に係る物品取得行動判定について説明する。図１６および図１７は、第２実施形態に係る物品取得行動判定を説明する説明図である。なお、ここで特に言及しない点は前記の実施形態と同様であり、ここで説明する物品取得行動判定は、図７に示した物品取得行動判定部４９で行われる。

この第２実施形態では、陳列棚Ｓに設定された基準位置と人物の頭部中心点ＨＰとの位置関係に基づいて、陳列棚Ｓの商品を手に取る物品取得行動の有無を判定する。

特に、本実施形態では、基準位置を、陳列棚Ｓの各棚板ＳＢ１〜ＳＢ３に載置された商品の先端位置ＡＰ１〜ＡＰ３として、この棚板ＳＢ１〜ＳＢ３の商品の先端位置ＡＰ１〜ＡＰ３と頭部中心点ＨＰとの位置関係に基づいて物品取得行動判定を行う。なお、商品の先端位置ＡＰ１〜ＡＰ３は、各棚板ＳＢ１〜ＳＢ３の先端位置ＳＰ１〜ＳＰ３と、商品の寸法に基づいて設定される。

この物品取得行動判定では、各棚板ＳＢ１〜ＳＢ３の商品の先端位置ＡＰ１〜ＡＰ３と人物の頭部中心点ＨＰとの間の距離Ｄ１〜Ｄ３を算出して、この距離Ｄ１〜Ｄ３が所定のしきい値以下となると、商品を手に取る物品取得行動があったものと判定する。しきい値は人物の腕長に応じて設定される。

図１６（Ａ）は、人物が陳列棚Ｓに向かって歩行している状態を示している。この場合、人物が陳列棚Ｓから離れており、距離Ｄ１〜Ｄ３はともにしきい値を超えているため、上段、中段および下段の棚板ＳＢ１〜ＳＢ３のいずれの商品を対象とした物品取得行動もないものと判定することができる。

図１６（Ｂ）は、人物が陳列棚Ｓの中段の棚板ＳＢ２に載置された商品を手に取る場合を示している。この場合、距離Ｄ３がしきい値を超えているため、下段の棚板ＳＢ３の商品を対象とした物品取得行動はないものと判定することができる。また、距離Ｄ１，Ｄ２はしきい値以下となるため、上段および中段の棚板ＳＢ１，ＳＢ２のいずれかの商品を対象とした物品取得行動が考えられるが、上段の商品の先端位置ＡＰ１と人物の頭部中心点ＨＰとの高さ方向の位置関係を考慮することで、上段の棚板ＳＢ１の商品を対象とした物品取得行動が否定され、中段の棚板ＳＢ２の商品を対象とした物品取得行動があったものと判定することができる。

図１７（Ａ）は、人物が陳列棚Ｓの上段の棚板ＳＢ１に載置された商品を手に取る場合を示している。この場合、距離Ｄ３がしきい値を超えているため、下段の棚板ＳＢ３の商品を対象とした物品取得行動はないものと判定することができる。また、距離Ｄ１，Ｄ２はしきい値以下となり、上段および中段の棚板ＳＢ１，ＳＢ２のいずれかの商品を対象とした物品取得行動が考えられるが、上段の商品の先端位置ＡＰ１と人物の頭部中心点ＨＰとの高さ方向の位置関係を考慮することで、上段の棚板ＳＢ１の商品を対象とした物品取得行動があったものと判定することができる。

図１７（Ｂ）は、人物が陳列棚Ｓの下段の棚板ＳＢ３に載置された商品を手に取る場合を示している。この場合、距離Ｄ１〜Ｄ３はともにしきい値以下となり、上段、中段および下段の棚板ＳＢ１〜ＳＢ３のいずれの商品に対しても物品取得行動が考えられるが、距離Ｄ３がしきい値以下となることを優先して判断することで、下段の棚板ＳＢ３の商品を対象とした物品取得行動があったものと判定することができる。

なお、本実施形態では、第１実施形態と同様に、接近エリアを設定して、この接近エリアに進入した人物を対象にして物品取得行動判定を行うことも可能であるが、接近エリアを設定しない、すなわち接近エリア進入判定および接近エリア滞在時間判定を行わずに、陳列棚Ｓの基準位置と人物の頭部中心点ＨＰとの位置関係のみで物品取得行動判定を行うようにしてもよい。

また、本実施形態では、基準位置を、陳列棚Ｓの各棚板ＳＢ１〜ＳＢ３に載置された商品の先端位置ＡＰ１〜ＡＰ３としたが、基準位置を、各棚板ＳＢ１〜ＳＢ３の先端位置ＳＰ１〜ＳＰ３として、この先端位置ＳＰ１〜ＳＰ３と頭部中心点ＨＰとの位置関係に基づいて物品取得行動判定を行うようにしてもよい。

このように本実施形態では、陳列棚Ｓに設定された基準位置と人物の頭部中心点ＨＰとの位置関係に基づいて、陳列棚Ｓの商品を手に取る物品取得行動の有無を判定するため、物品取得行動判定を簡単にかつ精度よく行うことができる。

なお、図１６および図１７に示した第２実施形態における物品取得行動判定と、図１１および図１２に示した第１実施形態における物品取得行動判定とを組み合わせて物品取得行動判定を行うようにしてもよい。この場合、両方の物品取得行動判定でともに判定条件を満足する場合に物品取得行動を行ったものと判定するようにすると、物品取得行動判定の精度を高めることができる。

（第３実施形態）
次に、第３実施形態に係る監視システムについて説明する。図１８は、第３実施形態に係る監視システムの全体構成図である。なお、ここで特に言及しない点は前記の実施形態と同様である。

この第３実施形態に係る監視システムは、スーパーマーケットなどの大規模な小売店舗において、防犯の目的で、店舗内の不審者を検知して不審者が存在することを監視者に報知するものであり、カメラ（撮像装置）１、レコーダ２、およびＰＣ（監視装置）３と、警備室および売場バックヤードにそれぞれ設置されたモニタ（出力装置）６１，６２とが、ＬＡＮなどのネットワークを介して接続されている。

警備室および売場バックヤードのモニタ６１，６２にはカメラで撮像された撮像画像が表示され、監視者である警備室の警備員および売場の店員が店舗内の状況を確認することができる。

ＰＣ３は、物品取得行動検知部３３の検知結果に基づいて、不審者を検知する不審者検知部６５と、不審者が存在することを監視者に報知する報知情報を生成する報知部６６を備えており、報知部６６で生成された報知情報が警備室および売場バックヤードのモニタ６１，６２に表示される。

不審者検知部６５では、物品取得行動検知部３３において陳列棚の商品を手に取る物品取得行動を行う人物が検知されると、その人物が行う物品取得行動の特異性に基づいて、その人物が不審者か否かの判定が行われ、不審者と判定されると、報知部６６において、その人物を監視者に報知する報知情報を生成する。例えば、同一の陳列棚で物品取得行動を連続して所定回数以上行った場合には、一度に大量の商品を窃取する、いわゆる大量窃盗の疑いがある不審者と判断して、その人物に関する報知情報を生成する。

図１９は、図１８に示した警備室および売場バックヤードに設置されたモニタ６１，６２の表示画面を示す説明図である。警備室および売場バックヤードに設置されたモニタ６１，６２には、報知部６６で生成した報知情報に基づいて、不審者が存在することを示す画面表示が行われる。図１９に示す例では、モニタ６１，６２の表示画面に、報知情報として、不審者と判断された人物を取り囲む人物枠７１が表示される。これにより、店舗内に不審者が存在することを警備室の警備員および売場の店員が確認することができる。

また、本実施形態では、警備室の警備員および売場の店員がそれぞれ不審者の存在を確認したことを、警備室の警備員と売場の店員とで相互に確認することができる画面表示が行われる。図１９に示す例では、警備室のモニタ６１で警備員が不審者を確認して、確認済みの入力操作を行うと、撮像画像を取り囲む画面枠７２がモニタ６１の画面に表示される。また、売場バックヤードのモニタ６２で店員が不審者を確認して、確認済みの入力操作を行うと、アイコン７３がモニタ６２の画面に表示される。

そして、画面枠７２およびアイコン７３は、警備室および売場バックヤードの各モニタ６１，６２で同様に表示され、警備室のモニタ６１に表示されたアイコン７３により、店員が不審者を確認したことを警備員が確認することができ、また、売場バックヤードのモニタ６２に表示された画面枠７２により、警備員が不審者を確認したことを店員が確認することができる。

なお、本実施形態では、報知情報を出力する出力装置としてモニタ６１，６２を設けて、このモニタ６１，６２で報知情報を表示するようにしたが、報知情報を出力する出力装置はこれに限定されるものではなく、例えばランプやブザーなどで出力装置を構成することも可能である。

このように本実施形態では、人物の手や腕の動きを検知することができない状況でも、物品取得行動検知部３３において物品取得行動の有無を判定することができるため、物品取得行動を行う人物を確実に監視者に報知することができる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、コンビニエンスストアやスーパーマーケットなどの小売店の例について説明したが、ファミリーレストランなどの飲食店など、小売店以外の業務形態の店舗に適用することも可能である。例えば、セルフサービスで料理品を顧客に提供するセルフサービスエリア（サラダバーやドリンクバーなど）において顧客が飲食物を選び取る行動を検知する構成に適用することができる。

また、本実施形態では、陳列棚に載置された商品を手に取る物品取得行動を検知する構成としたが、陳列棚以外の物品配置エリア、例えばワゴンなどの陳列台に載置された商品を手に取る物品取得行動を検知する構成に適用することも可能である。

また、本実施形態では、物品取得行動の主体を店舗の顧客とし、物品取得行動の対象となる物品を商品としたが、物品取得行動の主体が顧客以外の人物であり、また、物品取得行動の対象が商品以外の物品となる構成に適用することも可能である。例えば、美術品などの展覧会で展示品を手に取る物品取得行動を検知する構成に適用することも可能である。

また、本実施形態では、物品取得行動判定を行う際に注目する注目部位を、人物の頭部としたが、この注目部位は、手および腕を除く上半身のいずれかの部分に設定されていればよく、上半身の他の部位、例えば左右一方の肩部や、左右両方の肩部を注目部位としてもよい。

また、本実施形態では、注目部位としての頭部の位置を代表する代表点として頭部の中心点の位置を計測する構成としたが、頭頂部に代表点を設定することも可能である。さらに、手および腕を除く上半身の部分に複数の注目点を設定して、その複数の注目点の変位状況に基づいて物品取得行動判定を行うことも可能である。

また、本実施形態では、図４および図７に示したように、店舗に設けられたＰＣ３に人物行動分析処理の全てを行わせる例について説明したが、この人物行動分析処理の全てを、別の情報処理装置、例えば、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、人物行動分析処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、人物行動分析処理を分担する複数の情報処理装置で人物行動分析システムが構成される。

この場合、店舗に設けられたＰＣ３に、少なくとも人物検出処理や注目部位検出処理を行わせるようにするとよい。このように構成すると、人物検出処理や注目部位検出処理で取得した検出情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、クラウドコンピュータ２１に、少なくとも人物検出処理や注目部位検出処理を行わせるようにするとよい。このように構成すると、人物検出処理や注目部位検出処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ２１に、人物行動分析処理の全部を行わせるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン２２などの携帯型端末でも分析結果を閲覧することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で分析結果を閲覧することができる。

また、本実施形態では、店舗や本部に設置されたＰＣ３，１１で分析結果を閲覧するようにしたが、分析結果の閲覧装置をＰＣ３，１１とは別に設けることも可能であり、例えば、前記のようにスマートフォン２２を分析結果の閲覧装置とする他に、販売情報管理装置に分析結果の閲覧装置としての機能を付加することも可能である。また、本実施形態では、分析結果を閲覧するため、モニタ４，１２に分析結果を画面表示させるようにしたが、分析結果をプリンタで出力することも可能である。

本発明にかかる人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置は、人物の手や腕の動きを検知することができない状況でも、物品配置エリアの物品を手に取る行動を検知することができる効果を有し、物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに、物品配置エリアに配置された物品を手に取る物品取得行動を行う人物を監視者に報知する監視装置などとして有用である。

１ カメラ（撮像装置）
２ レコーダ
３ ＰＣ（人物行動分析装置）
１１ ＰＣ
４，１２ モニタ
２１ クラウドコンピュータ
２２ スマートフォン
３１ 監視部
３２ 人物行動分析部
３３ 物品取得行動検知部
３４ 集計部
３５ 出力情報生成部
４１ 人物検出部
４２ 注目部位検出部
４３ 位置計測部
４４ 人物情報蓄積部
４５ 接近エリア設定部
４６ エリア進入判定部
４７ 滞在時間計測部
４８ 滞在時間判定部
４９ 物品取得行動判定部
５０ 腕長推定部
６１，６２ モニタ
６５ 不審者検知部
６６ 報知部

Claims (16)

1. 物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析装置であって、
   前記物品配置エリアの周辺を撮像した画像情報から人物を検出する人物検出部と、
   この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、
   この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、
   この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、
   この物品取得行動判定部の判定結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、
   を備えたことを特徴とする人物行動分析装置。
2. 前記注目部位は、人物の頭部または人物の肩部であることを特徴とする請求項１に記載の人物行動分析装置。
3. 前記物品配置エリアは、物品が載置される棚板が上下に複数設けられた陳列棚であることを特徴とする請求項１または請求項２に記載の人物行動分析装置。
4. 前記物品配置エリアの周囲に、人物が手を伸ばすことで物品に触れることが可能な最大の領域である接近エリアを設定する接近エリア設定部と、
   前記人物検出部で検出された人物のうち、前記接近エリアに進入しなかった人物を、前記物品取得行動を行った可能性のない人物と判定するエリア進入判定部と、
   をさらに備えたことを特徴とする請求項１から請求項３のいずれかに記載の人物行動分析装置。
5. 前記接近エリア設定部は、身長と腕長との相関関係にしたがって前記位置計測部での計測結果から推定される腕長に基づいて前記接近エリアを設定することを特徴とする請求項４に記載の人物行動分析装置。
6. 前記接近エリアに進入した人物について前記接近エリア内での滞在時間を計測する滞在時間計測部と、
   前記人物検出部で検出された人物のうち、前記滞在時間が所定のしきい値に達しない人物を、前記物品取得行動を行った可能性のない人物と判定する滞在時間判定部と、
   をさらに備えたことを特徴とする請求項４または請求項５に記載の人物行動分析装置。
7. 前記物品取得行動判定部は、前記接近エリアに進入したときの直立姿勢時の前記注目部位の位置を基準にした前記注目部位の変位状況に基づいて、前記物品取得行動を行ったか否かを判定することを特徴とする請求項４から請求項６のいずれかに記載の人物行動分析装置。
8. 前記物品取得行動判定部は、前記物品配置エリアに設定された基準位置と前記注目部位との位置関係に基づいて、前記物品取得行動を行ったか否かを判定することを特徴とする請求項１から請求項７のいずれかに記載の人物行動分析装置。
9. 前記位置計測部は、人物の頭部の中心点の位置を計測することを特徴とする請求項２に記載の人物行動分析装置。
10. 前記位置計測部は、前記画像情報から前記注目部位の大きさに関する情報を取得し、その注目部位の大きさの変化状況に基づいて、前記注目部位の位置を計測することを特徴とする請求項１から請求項９のいずれかに記載の人物行動分析装置。
11. 前記人物検出部は、前記物品配置エリアの周辺に同時に存在する複数の人物を検出し、
    前記注目部位検出部は、前記人物検出部で検出された各人物の前記注目部位を検出し、
    前記位置計測部は、前記注目部位検出部で検出された各人物の前記注目部位の位置を計測し、
    前記物品取得行動判定部は、前記人物検出部で検出された各人物が前記物品取得行動を行ったか否かを判定することを特徴とする請求項１から請求項１０のいずれかに記載の人物行動分析装置。
12. 前記物品配置エリアは、物品のカテゴリー別に分けて複数配置され、
    前記出力情報生成部は、複数の前記物品配置エリアごとの物品取得回数、および前記物品配置エリアの周辺に滞在する滞在時間の少なくともいずれかの集計結果に関する前記出力情報を生成することを特徴とする請求項１から請求項１１のいずれかに記載の人物行動分析装置。
13. 前記出力情報生成部は、実際の配置状況にしたがって配置された複数の前記物品配置エリアを表す画像に重畳して前記集計結果を表示した表示画像に関する前記出力情報を生成することを特徴とする請求項１２に記載の人物行動分析装置。
14. 物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を行う人物行動分析システムであって、
    前記物品配置エリアの周辺を撮像する撮像装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記撮像装置により撮像した画像情報から人物を検出する人物検出部と、
    この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、
    この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、
    この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、
    この物品取得行動判定部の判定結果に基づいて分析結果となる出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする人物行動分析システム。
15. 物品配置エリアに配置された物品を手に取る物品取得行動に関する分析を情報処理装置により行う人物行動分析方法であって、
    前記物品配置エリアの周辺を撮像した画像情報から人物を検出するステップと、
    このステップで検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出するステップと、
    このステップで検出された前記注目部位の位置を計測するステップと、
    このステップで取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物を検出するステップで検出された人物が前記物品取得行動を行ったか否かを判定するステップと、
    このステップの判定結果に基づいて分析結果となる出力情報を生成するステップと、
    を有することを特徴とする人物行動分析方法。
16. 物品配置エリアに配置された物品を手に取る物品取得行動を行う人物を監視者に報知する監視装置であって、
    前記物品配置エリアの周辺を撮像した画像情報から人物を検出する人物検出部と、
    この人物検出部で検出された人物について、手および腕を除く上半身の部分に設定された注目部位を検出する注目部位検出部と、
    この注目部位検出部で検出された前記注目部位の位置を計測する位置計測部と、
    この位置計測部で取得した前記注目部位の位置から前記注目部位の変位状況を取得して、この注目部位の変位状況に基づいて、前記人物検出部で検出された人物が前記物品取得行動を行ったか否かを判定する物品取得行動判定部と、
    この物品取得行動判定部の判定結果に基づいて、前記物品取得行動を行う人物に関する報知情報を生成する報知部と、
    を備えたことを特徴とする監視装置。