JP2023020726A - 生成プログラム、生成方法および情報処理装置 - Google Patents

Abstract

【課題】接客効果の高い客を検知することを課題とする。【解決手段】情報処理装置は、店舗に入店した人物が退店するまでに撮像された各画像データを取得する。そして、情報処理装置は、各画像データに基づき、人物が入店から退店するまでの店舗内の商品に対する行動を特定する。続いて、情報処理装置は、特定した行動に基づいて、人物の商品に対する興味の度合いを判定する。その後、情報処理装置は、興味の度合いと商品とを対応づけた検知ルールを生成する。【選択図】図１１

Description

本発明は、生成プログラム、生成方法および情報処理装置に関する。

人物による商品に対する興味の高い行動を検知する手法が知られている。例えば、客が商品を手に取って見ているか、特に商品のラベルを見ているかを判定する技術、棚のどの位置に手を伸ばしたかを映像から判定する技術、姿勢推定を行い、商品に手を伸ばすやカートに入れるなどの動作を判別する技術などが知られている。

特開２００９－４８４３０号公報

しかしながら、上記技術では、接客効果の高い客を検知するために、商品ごとに検知ルールを生成する必要があるが、手動で、膨大な商品ごとの検知ルールを生成することは時間と手間がかかり現実的ではなく、接客効果の高い客を検知する難しい。

具体的には、商品が変わると、商品に対して人物の興味のある行動は変わってくるので、商品毎にルールを作ることが必要であるが、商品は膨大であり、現実的には難しい。例えば、商品が自転車である場合、自転車に乗る行動、自転車のハンドルに手をかける行動などを検知するルールが想定されるが、商品がソファである場合は座るなどのルールが想定され、商品が化粧品であれば、さらに別のルールを生成する必要がある。

一つの側面では、接客効果の高い客を検知することができる生成プログラム、生成方法および情報処理装置を提供することを目的とする。

第１の案では、生成プログラムは、コンピュータに、店舗に入店した人物が退店するまでに撮像された各画像データを取得し、前記各画像データに基づき、前記人物が入店から退店するまでの前記店舗内の商品に対する行動を特定し、特定した行動に基づいて、前記人物の商品に対する興味の度合いを判定し、前記興味の度合いと前記商品とを対応づけた検知ルールを生成する、処理を実行させることを特徴とする。

一実施形態によれば、接客効果の高い客を検知することができる。

図１は、実施例１にかかる検知ルール生成システムの全体構成例を示す図である。 図２は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。 図３は、カメラ設置ＤＢに記憶される情報の例を示す図である。 図４は、商品ＤＢに記憶される情報の例を示す図である。 図５は、ＰＯＳデータＤＢに記憶される情報の例を示す図である。 図６は、客の追跡を説明する図である。 図７は、骨格情報の例を示す図である。 図８は、全身の姿勢判定を説明する図である。 図９は、パーツ別動作の検知を説明する図である。 図１０Ａは、検知ルールを説明する図である。 図１０Ｂは、検知ルールのデータ化を説明する図である。 図１１は、興味の度合いの決定例を説明する図である。 図１２は、検知ルール生成処理の流れを示すフローチャートである。 図１３は、実施例２にかかる接客検知システムの全体構成例を示す図である。 図１４は、実施例２にかかる接客検知システムの流れを説明する図である。 図１５は、実施例２にかかる情報処理装置の機能構成を示す機能ブロック図である。 図１６Ａは、実施例２にかかる検知例１を説明する図である。 図１６Ｂは、実施例２にかかる検知例１を説明する図である。 図１６Ｃは、実施例２にかかる検知例１を説明する図である。 図１７は、実施例２にかかる検知例２を説明する図である。 図１８は、実施例２にかかる検知例３を説明する図である。 図１９は、店員への通知例を説明する図である。 図２０は、実施例２にかかる接客検知システムの処理の流れを示すフローチャートである。 図２１は、実施例３にかかる属性判定の通知例を説明する図である。 図２２は、実施例３にかかる商品検討時間の通知例を説明する図である。 図２３は、実施例３にかかる接客結果のフィードバック例を説明する図である。 図２４は、購買行動分析の例を説明する図である。 図２５は、ハードウェア構成例を説明する図である。

以下に、本願の開示する生成プログラム、生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［全体構成］
食品、家具、文房具などの様々な店舗において、来客者の中には、購入を検討している客、購入に際してより詳細な情報を聞きたいが近くに店員がいない客、自分から店員に話しかけるのが苦手な人物などが来客する。このような商品に対して興味を持っている客は購入意識が強い客であることが多く、店舗側が接客的に接客を行うことで、店舗側にとっては購入数を増やすことができ、客にとっては説明を受けた上で購入でき、双方にとってメリットが高い。

一方で、商品に対して人物の興味のある行動は変わってくるので、このような接客効果の高い客を検知するためには商品毎にルールを作ることが必要であるが、現実的ではない。そこで、実施例１では、過去の行動や商品の購入有無などを用いて、商品の興味の度合いに基づく数段階（例えば３段階）の行動について基本動作の組み合わせとして定義した検知ルールを用いることで、商品に依存することなく、接客効果の高い客を検知する。

図１は、実施例１にかかる検知ルール生成システムの全体構成例を示す図である。図１に示すように、このシステムは、売り場Ａ、売り場Ｂ、売り場Ｃ、売り場Ｄのそれぞれに設置された各カメラ、レジ（ＰＯＳ装置）に設置されたカメラ、情報処理装置１０のそれぞれが有線や無線を問わず、インターネットなどのネットワークを介して接続される。

各売り場のカメラは、売り場の商品が撮像できる位置に設定されており、画像データ、動画データ、映像データなどを撮像して、情報処理装置１０に定期的に送信する。また、各カメラが撮像する領域にある商品には、商品を特定する商品ＩＤと商品の位置を特定する座標などが割り当てられており、商品の種別や位置などが特定可能に制御される。

ＰＯＳ装置は、商品の購入履歴を情報処理装置１０に定期的に送信する。例えば、ＰＯＳ装置は、購入時刻と商品ＩＤとが対応付けられたＰＯＳデータを情報処理装置１０に送信する。

情報処理装置１０は、各売り場のカメラから受信した画像データを解析し、客がどのような行動をとったときに商品を購入したか、または、商品に対して興味を持ったかを特定し、接客効果の高い客を検知するための検知ルールを生成するコンピュータ装置の一例である。

具体的には、情報処理装置１０は、店舗に入店した人物が退店するまでに撮像された各画像データを取得し、各画像データに基づき、人物が入店から退店するまでの店舗内の商品に対する行動を特定する。そして、情報処理装置１０は、特定した行動に基づいて、人物の商品に対する興味の度合いを判定し、判定した興味の度合いと商品とを対応づけた検知ルールを生成する。

このように、情報処理装置１０は、商品に依存しない検知ルールを生成することで、来客時の画像データに対して複雑な解析を行うことなく、また、膨大な行動認識を行うこともなく、接客効果の高い客を検知することができる。

［機能構成］
図２は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図２に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、各カメラから動画像データ（例えば画像データ）を受信し、ＰＯＳ装置からＰＯＳデータを受信する。

記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどにより実現される。この記憶部１２は、撮像ＤＢ１３、カメラ設置ＤＢ１４、商品ＤＢ１５、ＰＯＳデータＤＢ１６、検知ルールＤＢ１７を記憶する。

撮像ＤＢ１３は、カメラごとに、カメラにより撮像された各種データを記憶するデータベースである。本実施利においては、撮像ＤＢ１３は、各カメラが撮像した画像データを記憶する。

カメラ設置ＤＢ１４は、各カメラが設置される場所を特定する情報を記憶するデータベースである。ここで記憶される情報は、管理者等により設定される。図３は、カメラ設置ＤＢ１４に記憶される情報の例を示す図である。図３に示すように、カメラ設置ＤＢ１４は、「カメラＩＤ、売り場」を対応付けて記憶する。ここで記憶される「カメラＩＤ」は、カメラを識別する情報が設定され、「売り場」は、カメラが設置される売り場を特定する情報が設定される。図３の例では、ベビー用品売り場にカメラＩＤ＝１のカメラが設置され、スポーツ用品売り場にカメラＩＤ＝２のカメラが設置される例が示されている。

商品ＤＢ１５は、各売り場にある商品に関する情報を記憶するデータベースである。ここで記憶される情報は、管理者等により設定される。図４は、商品ＤＢ１５に記憶される情報の例を示す図である。図４に示すように、商品ＤＢ１５は、「売り場、商品サイズ、商品例、商品ＩＤ」を対応付けて記憶する。ここで記憶される「売り場」は、売り場を特定する情報が設定され、「商品サイズ」は、商品のサイズに関する情報が設定され、「商品例」は、該当する商品の一例が設定され、「商品ＩＤ」は、商品を特定する情報が設定される。図４の例では、ベビー用品売り場で商品サイズが小さい商品に該当する小物類には商品ＩＤとして「２４２・・・」が設定されていることが示される。

ＰＯＳデータＤＢ１６は、受信したＰＯＳデータを記憶するデータベースである。図５は、ＰＯＳデータＤＢ１６に記憶される情報の例を示す図である。図５に示すように、ＰＯＳデータＤＢ１６は、「購入時刻、商品ＩＤ」を対応付けて記憶する。ここで記憶される「購入時刻」は、商品が購入された時刻が設定され、「商品ＩＤ」は、商品を特定する情報が設定される。図５の例では、「１１：０１：５６」に、商品ＩＤ「２４２０４９６」の商品が購入されたことが示される。

検知ルールＤＢ１７は、情報処理装置１０により生成された検知ルールを記憶するデータベースである。なお、検知ルールの詳細については後述する。

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、撮像部２１、追跡部２２、骨格検知部２３、動作認識部２４、検知ルール生成部２５を有する。

撮像部２１は、画像を撮像する処理部である。例えば、撮像部２１は、各カメラにより撮像された画像データを受信して撮像ＤＢ１３に格納する。

追跡部２２は、店舗に入店した人物が退店するまでに撮像された各画像データを取得する処理部である。具体的には、追跡部２２は、各カメラにより撮像された複数の画像データから、商品と人物とが写っている画像データを抽出して、骨格検知部２３に出力したり、記憶部１２に格納したりする。

例えば、追跡部２２は、ある人物が店舗に入店してから退店するまでを追跡し、店舗内で撮像されたある人物の各画像データを取得する。図６は、客の追跡を説明する図である。図６に示すように、追跡部２２は、店舗の入り口にあるカメラから撮像された画像データに対して一般的な画像解析を行い、写っている人物の顔画像を特定することで、入店した人物を特定する。その後、追跡部２２は、店舗の出口にあるカメラから撮像された画像データから当該人物が検出されるまでに、店舗に設定された各カメラの画像データから当該人物が写っている画像データを取得する。このようにすることで、追跡部２２は、各人物について、人物が入店して商品を選択して購入して退店するまでの画像データを取得することができる。

骨格検知部２３は、画像データに写っている人物の骨格情報を取得する処理部である。具体的には、骨格検知部２３は、追跡部２２により検知された各人物について、追跡部２２により取得された画像データのうち、人物と商品が写っている画像データに対して、人物の骨格検知を実行する。

例えば、骨格検知部２３は、画像データ（各フレーム）を訓練済みの機械学習モデルに入力することで、骨格情報を取得する。図７は、骨格情報の例を示す図である。骨格情報は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を用いることができる。例えば、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。したがって、事前処理部３０は、図７に示した１８個の骨格の座標情報を、画像データから取得することができる。例えば、事前処理部３０は、７番の右肩関節の位置として「Ｘ座標＝Ｘ７、Ｙ座標＝Ｙ７、Ｚ座標＝Ｚ７」を取得する。なお、例えば、Ｚ軸は、撮像装置から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向と定義することができる。

また、骨格検知部２３は、骨格のパターンをあらかじめ訓練した機械学習モデルを用いて、立つ・歩く・しゃがむ・座る・寝るなどの全身の姿勢を判定することもできる。例えば、骨格検知部２３は、図７の骨格情報や美技図のような一部の関節と関節間の角度をMultilayer Perceptronで訓練した機械学習モデルを用いることで、最も近い全身の姿勢を判定することもできる。図８は、全身の姿勢判定を説明する図である。図８に示すように、骨格検知部２３は、１０番の「HIP_LEFT」と１１番の「KNEE_LEFT」との間の関節の角度（ａ）、１４番の「HIP_RIGHT」と１５番の「KNEE_RIGHT」との間の関節の角度（ｂ）、１１番の「KNEE_LEFT」の角度（ｃ）、１５番の「KNEE_RIGHT」の角度（ｄ）などを取得することで、全身の姿勢を検知することができる。

また、骨格検知部２３は、体の３Ｄ関節姿勢に基づき、パーツの姿勢判定することで、パーツ別の動作を検知することもできる。具体的には、骨格検知部２３は、3D-baseline手法などを用いて、２Ｄ関節座標から３Ｄ関節座標への変換を行うこともできる。

図９は、パーツ別動作の検知を説明する図である。図９に示すように、骨格検知部２３は、パーツ「顔」について、顔向きと各方向ベクトルの角度が閾値以下であるか否かにより、顔の向きが前、左、右、上、下のいずれの向きか（５種類）を検知することができる。なお、骨格検知部２３は、顔の向きについては、「始点：両耳の中点、終点：鼻」により定義されるベクトルにより特定する。また、骨格検知部２３は、顔が後ろを向いているか否かについては、「顔が右向きかつ腰が右捻り」または「顔が左向きかる腰が左捻り」により検知することができる。

骨格検知部２３は、パーツ「腕」について、前腕の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の腕の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部２３は、腕の向きについては「始点：肘（elbow）、終点：手首（wrist）」により定義されるベクトルにより検知することができる。

骨格検知部２３は、パーツ「脚」について、下腿の向きと各方向ベクトルの角度が閾値以下であるか否かにより、左右の脚の向きが前後左右上下のいずれの向きであるか（６種類）を検知することができる。なお、骨格検知部２３は、下腿の向きについては「始点：膝（knee）、終点：足首（ankle）」により定義されるベクトルにより検知することができる。

骨格検知部２３は、パーツ「肘」について、肘の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部２３は、肘の角度については、「始点：肘（elbow）、終点：肩（shoulder）」のベクトルＡと「始点：肘（elbow）、終点：手首（wrist）」のベクトルＢとのなす角度により検知することができる。

骨格検知部２３は、パーツ「膝」について、膝の角度が閾値以上で伸ばしている、閾値未満で曲げていると検知することができる（２種類）。なお、骨格検知部２３は、膝の角度については、「始点：膝（knee）、終点：足首（ankle）」のベクトルＡと「始点：膝（knee）、終点：腰（hip）」のベクトルＢとのなす角度により検知することができる。

骨格検知部２３は、パーツ「腰」について、腰と肩の角度が閾値以上か否かにより、左右のひねり（２種類）を検知でき、閾値未満で正面と検知することができる。なお、骨格検知部２３は、腰と肩の角度については、「始点：左肩、終点：右肩」のベクトルＡと「始点：左腰（hip（L））、終点：右腰（hip（R））」のベクトルＢそれぞれについて、軸ベクトルＣ「始点：両腰の中点：終点：両肩の中点」まわりでの回転角により検知することができる。

図２に戻り、動作認識部２４は、骨格検知部２３による骨格情報の検知結果に基づき、人物の動作を認識する処理部である。具体的には、動作認識部２４は、連続する複数のフレームそれぞれについて認識された骨格情報の遷移に基づき、少なくとも１つの動作を含む行動を特定する。

例えば、動作認識部２４は、数フレーム間で、パール別判定により顔が正面を見ている骨格かつ全身の姿勢判定により立っている骨格が連続して検知された場合、「正面を一定時間見る」動作を認識する。また、動作認識部２４は、数フレーム間で、全身の姿勢の変化が所定値未満の骨格が連続して検知された場合、「移動しない」動作を認識する。

また、動作認識部２４は、数フレーム間で、肘の角度が閾値以上変化した骨格が検知された場合に、「片手を前に出す」動作もしくは「片腕を伸ばす」動作を認識し、数フレーム間で、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された場合に、「片手を曲げる」動作を認識する。さらに、動作認識部２４は、肘の角度が閾値以上変化した後に当該角度が閾値未満となった骨格が検知された後に、その角度が数フレーム間継続した場合に、「片手を見る」動作を認識する。

また、動作認識部２４は、数フレーム間で、手首の角度が連続して変化した骨格が検知された場合、「一定時間の間に手首座標が頻繁に動く」動作を認識する。動作認識部２４は、数フレーム間で、手首の角度が連続して変化するとともに、肘の角度が連続して変化した骨格が検知された場合、「一定時間の間に肘座標と手首座標が頻繁に動く」動作を認識する。動作認識部２４は、数フレーム間で、手首の角度、肘の角度、全身の向きのそれぞれが連続して変化した骨格が検知された場合、「一定時間の間に体の向きや全身動作が頻繁に変わる」動作を認識する。

なお、動作認識部２４は、骨格検知部２３により骨格検知が実行された画像データであって人物と商品が写っている画像データ内の商品について、各カメラの撮像領域と撮像領域内の商品の座標とにより商品を特定し、商品ＤＢ１５を参照することで、特定された商品のサイズを特定できる。この結果、動作認識部２４は、各動作と商品のサイズを対応付けることができる。

図２に戻り、検知ルール生成部２５は、来客者の中から接客効果の高いお客を検知するための検知ルールを生成する処理部である。具体的には、検知ルール生成部２５は、動作認識部２４の認識結果を用いて、興味の度合いに基づく３段階の行動について、基本動作の組み合わせを定義する。

図１０Ａは、検知ルールを説明する図である。図１０Ｂは、検知ルールのデータ化を説明する図である。なお、図１０Ａは、検知ルールを概念的に示したものであり、図１０Ｂは、検知ルールをデータ化したものであり、両者は同じ情報を示している。

図１０Ａに示すように、検知ルール生成部２５は、検知ルールとして、興味の度合いに対応する各行動（見る行動、手に取る行動、試す・比べる行動）と、商品の属性の一例である各商品のサイズとの組合せごとに、少なくとも１つの動作から構成される人物の行動を対応付ける。ここで、「見る」行動は、興味の度合いのレベル１に対応し、「手に取る」行動は、興味の度合いのレベル２に対応し、「試す・比べる」行動は、興味の度合いのレベル３に対応する。

例えば、検知ルール生成部２５は、行動と当該行動を特定する動作との対応関係を予め保持し、動作認識部２４から取得した各動作と商品のサイズとの対応付けを集計する。例を挙げると、検知ルール生成部２５は、商品のサイズに関わらず、「見る」行動は同じ動作が行われることから、各サイズの商品に対して、「見る」行動として、「正面を一定時間見る」動作、「移動しない」動作、「立つ」動作、「屈む」動作、「しゃがむ」動作のそれぞれを対応付ける。

また、検知ルール生成部２５は、「手に取る」行動について、商品サイズによって行われる動作が異なることから、それぞれの商品サイズについて定義する。例えば、検知ルール生成部２５は、食品などの小サイズの商品や鞄などの中サイズの商品については、「片手を前に出す」動作または「片腕を伸ばす」動作または「片手を見る」動作を行った後、「片腕を曲げる」動作を行う一連の動作を対応付ける。一方、検知ルール生成部２５は、家具などの大サイズの商品については、「片腕を曲げる」動作と「片手を見る」動作を対応付ける。

同様に、検知ルール生成部２５は、「試す・比べる」行動について、商品サイズによって行われる動作が異なることから、それぞれの商品サイズについて定義する。例えば、検知ルール生成部２５は、食品などの小サイズの商品については、「一定時間の間に手首座標が頻繁に動く」動作を対応付ける。検知ルール生成部２５は、中サイズの商品については、「一定時間の間に肘座標と手首座標とが頻繁に動く」動作を対応付ける。検知ルール生成部２５は、家具などの大サイズの商品については、「一定時間の間に体の向きや全身動作が頻繁に変わる」動作を対応付ける。

なお、検知ルール生成部２５は、宝飾品、美術品、五月人形などのように、固定される展示物についても、上述した処理と同様の処理により、動作を対応付けることができる。

このような対応付け結果をデータ化した情報が図１０Ｂである。図１０Ｂに示すように、「正面を一定時間見る」動作、「移動しない」動作、「立つ」動作、「屈む」動作、「しゃがむ」動作のいずれかが検出された場合には、興味の度合いがレベル１である「見る」行動と商品サイズ「大、中、小」との組合せが特定されることが示されている。

また、「片手を前に出す」動作または「片腕を伸ばす」動作または「片手を見る」動作を行った後、「片腕を曲げる」動作を行う一連の動作が検出された場合には、興味の度合いがレベル２である「手に取る」行動と商品サイズ「小」との組合せが特定されることが示されている。同様に、「片腕を曲げる」動作または「片手を見る」動作が検出された場合には、興味の度合いがレベル２である「手に取る」行動と商品サイズ「中」との組合せが特定されることが示されている。なお、「動作ＩＤ」は、検知ルールを特定する動作を識別する識別子が設定される。

なお、興味の度合いと行動との対応付けは、過去の履歴や経験則などにより決定することもできるが、実際の商品購入頻度等に基づき決定することもできる。図１１は、興味の度合いの決定例を説明する図である。図１１に示すように、検知ルール生成部２５は、「食品に対して「見る」行動を行った人物が食品を購入しなかった」ことを示すデータを生成し、「食品に対して「見る」行動を行った後、「手に取る」行動を行った人物が食品を購入した」ことを示すデータを生成する。また、検知ルール生成部２５は、「食品に対して「見る」行動を行った人物が食品を購入した」ことを示すデータを生成し、「食品に対して「見る」行動を行った後、「比べる」行動を行った人物が食品を購入した」ことを示すデータを生成する。

これらを集計し、検知ルール生成部２５は、商品「食品」に対して「見る」行動を行った人物が商品を購入した割合を第１の閾値（例えば３割）未満であった場合に、商品「食品」に対して「見る」行動をとった人物の商品に対する興味度度合いを「レベル１」と決定する。

また、検知ルール生成部２５は、商品「食品」に対して「手に取る」行動を行った人物が商品を購入した割合を第１の閾値（例えば２割）以上かつ第２の閾値（例えば７割）未満であった場合に、商品「食品」に対して「手に取る」行動をとった人物の商品に対する興味度度合いを「レベル２」と決定する。

また、検知ルール生成部２５は、商品「食品」に対して「比べる」行動を行った人物が商品を購入した割合を第２の閾値（例えば７割）以上であった場合に、商品「食品」に対して「比べる」行動をとった人物の商品に対する興味度度合いを「レベル３」と決定する。なお、ここでは、サイズが小さい商品である食品（小サイズ）を例にして説明したが、各サイズの商品について同様に処理することができる。

［処理の流れ］
図１２は、検知ルール生成処理の流れを示すフローチャートである。図１２に示すように、情報処理装置１０は、画像データに基づき人物の入店を検知すると（Ｓ１０１：Ｙｅｓ）、検知した人物を追跡して画像データを取得する（Ｓ１０２）。そして、情報処理装置１０は、退店するまで（Ｓ１０３：Ｎｏ）、Ｓ１０２移行を繰り返して、検知した人物を追跡して画像データを取得する。

その後、情報処理装置１０は、追跡対象の人物の退店を検知すると（Ｓ１０３：Ｙｅｓ）、撮像された画像データごとに骨格情報を取得し（Ｓ１０４）、画像データごとに動作を認識する（Ｓ１０５）。このとき、情報処理装置１０は、人物と商品の両方が写っている画像データに絞り込んで、骨格情報と動作認識とを実行することもできる。

ここで、情報処理装置１０は、データの収集を継続する場合（Ｓ１０６：Ｎｏ）、Ｓ１０１以降を繰り返す。一方、情報処理装置１０は、データの収集を終了した場合（Ｓ１０６：Ｙｅｓ）、各行動と各商品のサイズとの組合せごとに、動作を対応付けた検知ルールを生成する（Ｓ１０７）。そして、情報処理装置１０は、検知ルールを記憶部１２に格納したり、出力したりする（Ｓ１０８）。

［バリエーション］
上述した例では、情報処理装置１０は、行動認識したユーザが商品を購入した割合を算出して興味の度合いを決定する例を説明したが、これに限定されるものではない。例えば、情報処理装置１０は、商品に触れた回数、商品の前に滞在した時間等により決定することもできる。

例えば、情報処理装置１０は、商品に触れたか回数が多いほど、興味の度合いを高くするように、回数が第１閾値未満の場合はレベル１、回数が第１閾値以上で第２閾値未満の場合にレベル２、回数が第２閾値以上の場合はレベル３と決定することもできる。同様に、情報処理装置１０は、複数の連続する画像データ（フレーム）について同様の人物が連続して検出された時間を滞在時間として算出し、商品の前の滞在時間が長いほど、興味の度合いを高くしてもよい。

また、情報処理装置１０は、商品のサイズごとの検知ルールに限らず、食品、大型家具、自転車、おもちゃなど商品の種別ごとに検知ルールを生成することもできる。また、情報処理装置１０は、検知ルールを用いて実際に接客を行った結果を、検知ルールにフィードバックさせることもできる。例えば、情報処理装置１０は、あるレベルの検知ルールを用いて接客を行った結果、商品を実際に購入した人数や割合が閾値を超えた場合に、レベルを１つ挙げてもよく、逆に、商品を実際に購入した人数や割合が閾値を下回った場合に、レベルを１つ下げてもよい。

［効果］
上述したように、情報処理装置１０は、商品のサイズ、種別など商品を特定する特徴量に対して客の行動を対応づけた検知ルールを生成することができる。したがって、情報処理装置１０は、商品ごとに詳細なルールを生成することなく、接客効果の高い客を検知することができる。また、情報処理装置１０は、導入する店舗に合わせて、特徴量やレベルを適切に変更することができるので、店舗に合わせた検知ルールを生成することができ、店舗の立地や状況に適合した接客効果の高い客を検知することができる。

［全体構成］
次に、店舗の来客者の中から接客効果の高い客を検知する例を説明する。図１３は、実施例２にかかる接客検知システムの全体構成例を示す図である。図１３に示すように、このシステムは、売り場Ａ、売り場Ｂ、売り場Ｃ、売り場Ｄのそれぞれに設置された各カメラ、店員が使用する端末、情報処理装置５０が有線や無線を問わず、インターネットなどのネットワークを介して接続される。

各売り場のカメラは、売り場の商品が撮像できる位置に設定されており、画像データ、動画データ、映像データなどを撮像して、情報処理装置１０に定期的に送信する。また、各カメラが撮像する領域にある商品には、商品を特定する商品ＩＤと商品の位置を特定する座標などが割り当てられており、商品の種別や位置などが特定可能に制御される。

店員が使用する端末は、スマートフォンや携帯電話などの携帯端末の一例であり、情報処理装置１０から受信したメッセージを表示し、店員が操作した結果を情報処理装置１０に送信する。

情報処理装置５０は、各売り場のカメラから受信した画像データを解析して、接客効果の高い客を検知するコンピュータの一例である。具体的には、情報処理装置５０は、画像データから人物と商品とを検出し、検出された人物の骨格情報を取得する。情報処理装置５０は、人物の骨格情報に基づき、商品に対する人物の行動を特定する。情報処理装置５０は、特定された商品に対する人物の行動に基づいて、商品の属性と商品の興味の度合いとの組み合わせを特定する。

例えば、情報処理装置５０は、各売り場のカメラから受信した画像データを解析して客の行動を認識し、実施例１で生成した検知ルールに適合する行動を行うお客を検出した場合に、店員の端末に通知する。

図１４は、実施例２にかかる接客検知システムの流れを説明する図である。図１４に示すように、情報処理装置５０は、検知ルールに基づき、ある売り場Ａで商品に興味を持っているお客様を検知すると、商品に興味を持っているお客様の存在を店員の端末に通知する。このとき、情報処理装置５０は、検知された売り場Ａの情報もあわせて通知してもよい。

この結果、店員が接客に向かい、購買へと誘導することができ、お客様は、商品に対する疑問や不安を解消した上で、レジで商品を購入することができる。したがって、店舗にとってもお客様にとってもメリットの高い接客を行うことができる。

［機能構成］
図１５は、実施例２にかかる情報処理装置５０の機能構成を示す機能ブロック図である。図１５に示すように、情報処理装置５０は、通信部５１、記憶部５２、制御部６０を有する。

通信部５１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部５１は、各カメラから動画像データ（例えば画像データ）を受信し、店員の端末にメッセージや画像データを送信する。

記憶部５２は、各種データや制御部６０が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどにより実現される。この記憶部５２は、撮像ＤＢ５３、カメラ設置ＤＢ５４、商品ＤＢ５５、検知ルールＤＢ５６を記憶する。

撮像ＤＢ５３、カメラ設置ＤＢ５４、商品ＤＢ５５、検知ルールＤＢ５６のそれぞれは、実施例１で説明した撮像ＤＢ１３、カメラ設置ＤＢ１４、商品ＤＢ１５、検知ルールＤＢ１７のそれぞれと同様の情報を記憶するので、詳細な説明は省略する。

制御部６０は、情報処理装置５０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部６０は、撮像部６１、骨格検知部６２、動作認識部６３、検知部６４、報知部６５を有する。

撮像部６１は、画像を撮像する処理部である。例えば、撮像部６１は、実施例１の撮像部２１と同様、各カメラにより撮像された画像データを受信して撮像ＤＢ５３に格納する。

骨格検知部６２は、画像データに写っている人物の骨格情報を取得する処理部である。例えば、骨格検知部６２は、実施例１で説明した図７から図９の手法を用いて、骨格検知、全身姿勢判定、パーツ別動作の検出を実行し、それらの結果を動作認識部６３に出力する。

動作認識部６３は、骨格検知部２３により検知された骨格検知、全身姿勢判定、パーツ別動作の検出を用いて、人物の行動認識を実行する処理部である。具体的には、動作認識部６３は、実施例１で説明した手法を用いて、行動を特定する各動作を認識し、検知部６４に出力する。

例えば、動作認識部６３は、骨格検知部６２による骨格検知に基づき、「正面を一定時間見る」動作、「移動しない」動作、「立つ」動作、「屈む」動作、「しゃがむ」動作の各動作を認識する。また、動作認識部６３は、骨格検知部６２による骨格検知に基づき、「片手を前に出す」動作、「片腕を伸ばす」動作、「片手を見る」動作、「片腕を曲げる」動作の各動作を認識する。同様に、動作認識部６３は、「片腕を曲げる」動作、「片手を見る」動作を認識する。また、動作認識部６３は、「一定時間の間に手首座標が頻繁に動く」動作、「一定時間の間に肘座標と手首座標とが頻繁に動く」動作、または、「一定時間の間に体の向きや全身動作が頻繁に変わる」動作を認識する。

なお、動作認識部６３は、１つの動作に限らず、複数の画像データを用いて検出された各骨格情報を用いて、複数の連続する動作を検出することもできる。例えば、動作認識部６３は、１０フレームのうち、先頭フレームで「片手を前に出す」動作を認識したのち、５フレームまで「片手を前に出す」動作を認識し続け、６フレーム目で「片腕を曲げる」動作を認識した場合、「片手を前に出す」動作から「片腕を曲げる」動作の一連の行動を認識することもできる。

検知部６４は、特定された商品に対する人物の行動に基づいて、商品の属性と商品の興味の度合いとの組み合わせを特定する処理部である。すなわち、検知部６４は、検知ルールに適合する行動を行う人物であって、商品に興味を持っている接客効果の高い客の検知を実行する。そして、検知部６４は、検知した売り場、時間、人物に関する情報を報知部６５に出力する。

（検知例１）
図１６Ａ、図１６Ｂ、図１６Ｃは、実施例２にかかる検知例１を説明する図である。図１６Ａに示すように、撮像部６１は、売り場Ａで撮像された画像データを取得し（Ｓ１）、動作認識部６３は、骨格検知部６２による画像データの骨格検知の結果に基づき「正面を一定時間見る」動作が検出する（Ｓ２）。すると、検知部６４は、検知ルールＤＢ５６を参照し（Ｓ３）、「正面を一定時間見る」動作に対応付けられる商品の属性と興味の度合いとの組合せとして、「商品の属性＝小サイズ、中サイズ、大サイズ，興味の度合い＝見る（Interest）」を特定する（Ｓ４）。すなわち、検知部６４は、興味の度合い（レベル１）を特定する。そして、報知部６５により、商品の属性と興味の度合いとの組合せである「商品の属性＝小サイズ、中サイズ、大サイズ，興味の度合い＝見る（Interest）」が店員用端末に送信される（Ｓ５）。

このとき、図１６Ｂに示すように、検知部６４は、カメラＩＤ＝１のカメラにより撮像された画像データから「正面を一定時間見る」動作が検出された場合、カメラ設置ＤＢ５４を参照し、撮像された場所がベビー用品売り場であることを特定することもできる（Ｓ６）。すると、検知部６４は、商品ＤＢ５５を参照し、商品サイズ＝小、中、大に該当する商品として小物類、抱っこひも、ベビーカーを特定する（Ｓ７）。この結果、検知部６４は、商品の属性と興味の度合いとの組合せとして、「商品の属性＝小物類、抱っこひも、ベビーカー，興味の度合い＝見る（Interest）」を特定する。

さらに、図１６Ｃに示すように、検知部６４は、画像データに写っている商品について、予め定めた座標位置や画像解析により商品サイズが「小」であることを特定した場合（Ｓ８）、商品ＤＢ５５を参照し、商品サイズ＝小に該当する商品として小物類を特定することもできる（Ｓ９）。この結果、検知部６４は、商品の属性と興味の度合いとの組合せとして、「商品の属性＝小物類，興味の度合い＝見る（Interest）」を特定する。

ここで、図１６Ａを用いて、検知ルールＤＢ５６の一例を説明する。検知ルールＤＢ５６は、商品の属性と商品の興味の度合いとの組み合わせ毎に、人物が商品に対して行う動作の種類が規定された情報１００を有する。

商品の属性は、商品の大きさの「大」、「中」、「小」、「その他」のいずれかを示すカテゴリを有する。商品の大きさの「大」は、「ベビーカー、自転車、家具（ソファ、椅子、ベッド）、家電他」などの商品が含まれる。商品の大きさの「中」は、「服、鞄、スポーツ用品他」などの商品が含まれる。商品の大きさの「小」は、「食品、ワイン、本、化粧品他」などの商品が含まれる。また、商品の大きさの「その他」は、「固定／展示物（宝飾品、美術品、五月人形）」を含む。

商品の興味の度合いは、商品の興味を示す複数レベルのカテゴリを有する。「見る（Interest）」に対応する興味の度合いは、レベル１の「低」の状態であることを示す。「手に取る（Desire）」に対応する興味の度合いは、レベル２の「中」の状態であることを示す。「試す・比べる（Compare）」に対応する興味の度合いは、レベル３の「大」の状態であることを示す。

例えば、人物が商品に対して行う動作の種類が「正面を一定時間見る」動作であるときに、「正面を一定時間見る」動作は、商品の大きさの「大」、「中」、「小」、「その他」のそれぞれと対応づけられる。また、「正面を一定時間見る」動作は、興味の度合いの「見る（Interest）」と対応づけられる。

次いで、図１６Ｂを用いて、カメラ設置ＤＢ５４の一例を説明する。カメラ設置ＤＢ５４は、カメラＩＤと売り場とが対応付けた情報１０１を有する。カメラＩＤは、カメラの識別情報を示す。売り場は、カメラが撮影した場所を示す。例えば、カメラＩＤの「１」と売り場の「ベビー用品売り場」とが対応づけられる。

次いで、図１６Ｃを用いて、商品ＤＢ５５の一例を説明する。商品ＤＢ５５は、売り場と、商品サイズと、商品例と、商品ＩＤとを対応付けた情報１０２を有する。売り場は、商品の売り場を示す。商品サイズは、商品の属性を示す。商品例は、商品の名称を示す。商品ＩＤは、商品の識別情報を示す。例えば、売り場の「ベビー用品売り場」と、商品サイズの「小」と、商品例の「小物類」と、商品ＩＤの「２４２・・・」とが対応づけられる。

図１６Ａ、図１６Ｂ、図１６Ｃに戻って、実施例２にかかる検知例１の説明をする。ここでは、画像解析により商品サイズを特定することなく、検知部６４が、カメラ設置ＤＢ５４、商品ＤＢ５５、検知ルールＤＢ５６を用いて、商品を特定する例を説明する。つまり、実施例２にかかる検知例１において、検知部６４は、画像データに写っている商品について、検知ルールＤＢ５６を参照することで特定された商品のサイズを用いて特定する。

具体的には、検知部６４は、検知ルールＤＢ５６を参照し、「骨格検知の結果に基づく動作」に対応した「人物が商品に対して行う動作の種類」を特定する。そして、検知部６４は、「人物が商品に対して行う動作の種類」に対応する「商品の属性と興味の度合いとの組合せ」を特定する。

ここでは、検知部６４は、商品の属性と興味の度合いとの組合せとして、「商品の属性＝小サイズ，興味の度合い＝見る（Interest）」を特定したとする。このとき、検知部６４は、カメラ設置ＤＢ５４を参照し、動作を検知した人物を撮影したカメラＩＤを用いて、「売り場」を特定する。例えば、検知部６４は、「ベビー用品売り場」を特定する。そして、検知部６４は、商品ＤＢ５５を参照し、特定された「売り場」に対応する、「商品サイズと商品例」を特定する。例えば、検知部６４は、「ベビー用品売り場」に対応する商品サイズと商品例」を特定する。

すると、検知部６４は、商品ＤＢ５５を参照し、「小サイズ」に該当する商品として小物類を特定する。また、検知部６４は、小物類についての興味の度合いとして、「見る（Interest）」を特定する。

これにより、検知部６４は、動作を検知した人物の商品の名称、商品に対する興味の度合い、および、商品の売り場を特定することができる。報知部６５は、接客担当の店員が所有する店員用端末に、商品の名称、商品に対する興味の度合い、および、商品の売り場の少なくとも１つとともに、接客効果の高いお客様の存在を示すメッセージを送信する。

（検知例２）
図１７は、実施例２にかかる検知例２を説明する図である。図１７に示すように、検知部６４は、「片手を前に出す」動作と「片腕を曲げる」動作の一連の行動が検出された場合、商品の属性と興味の度合いとの組合せとして、「商品サイズ＝小、中，興味の度合い＝手に取る（Desire）」を特定する。すなわち、検知部６４は、興味の度合い（レベル２）を特定する。

このとき、検知部６４は、カメラＩＤ＝２のカメラにより撮像された画像データから上記動作（行動）が検出された場合、カメラ設置ＤＢ１４を参照し、撮像された場所がベビー用品売り場であることを特定することもできる。そして、検知部６４は、商品ＤＢ１５を参照し、商品サイズ＝小、中に該当する商品としてボール、野球グローブを特定する。この結果、検知部６４は、商品の属性と興味の度合いとの組合せとして、「商品の属性＝ボール、野球グローブ，興味の度合い＝手に取る（Desire）」を特定する。

さらに、検知部６４は、画像データに写っている商品について、予め定めた座標位置や画像解析により商品サイズが「中」を特定した場合、商品ＤＢ１５を参照し、商品サイズ＝中に該当する商品として野球グローブを特定することもできる。この結果、検知部６４は、商品の属性と興味の度合いとの組合せとして、「商品の属性＝野球グローブ，興味の度合い＝手に取る（Desire）」を特定する。

なお、検知部６４は、「片腕を曲げる」動作または「片手を見る」動作が検出された場合、商品の属性と興味の度合いとの組合せとして、「商品サイズ＝大，興味の度合い＝手に取る（Desire）」を特定する。

（検知例３）
図１８は、実施例２にかかる検知例３を説明する図である。図１８に示すように、検知部６４は、「一定時間の間に体の向きや全身動作が頻繁に変わる」動作が検出された場合、商品の属性と興味の度合いとの組合せとして、「商品サイズ＝大，興味の度合い＝試す・比べる（Compare）」を特定する。すなわち、検知部６４は、興味の度合い（レベル３）を特定する。

このとき、検知部６４は、カメラＩＤ＝３のカメラにより撮像された画像データから上記動作が検出された場合、カメラ設置ＤＢ１４を参照し、撮像された場所が家具売り場（ベッド）であることを特定することもできる。そして、検知部６４は、商品ＤＢ１５を参照し、商品サイズ＝大に該当する商品としてベッドを特定する。この結果、検知部６４は、商品の属性と興味の度合いとの組合せとして、「商品の属性＝ベッド，興味の度合い＝試す・比べる（Compare）」を特定する。

なお、検知部６４は、カメラＩＤ＝１のカメラにより撮像された画像データから「一定時間の間に手首座標が頻繁に動く」動作が検出された場合、商品の属性として、商品サイズ＝小に対する興味の度合いを特定する。すなわち、検知部６４は、カメラ設置ＤＢ１４および商品ＤＢ１５を参照し、商品の属性と興味の度合いとの組合せとして、「商品の属性＝小物類，興味の度合い＝試す・比べる（Compare）」を特定する。

また、検知部６４は、カメラＩＤ＝１のカメラにより撮像された画像データから「一定時間の間に肘の座標と手首座標が頻繁に動く」動作が検出された場合、商品の属性として、商品サイズ＝中に対する興味の度合いを特定する。すなわち、検知部６４は、カメラ設置ＤＢ１４および商品ＤＢ１５を参照し、商品の属性と興味の度合いとの組合せとして、「商品の属性＝抱っこひも，興味の度合い＝試す・比べる（Compare）」を特定する。

図１５に戻り、報知部６５は、接客効果の高い客が検知された場合に、店員の端末に報知を実行する処理部である。具体的には、報知部６５は、接客担当の店員が所有する店員用端末に、商品の名称とともに、接客効果の高いお客様の存在を示すメッセージを送信する。例えば、報知部６５は、商品の属性と興味の度合いとして、「商品名称および行動」を含むメッセージを送信する。

図１９は、店員への通知例を説明する図である。図１９の（ａ）に示すように、報知部６５は、ベッド売り場で撮像されたが画像データから「商品の属性＝大型商品，興味の度合い＝試す・比べる（Compare）」が検知された場合、ベッド売り場で大型商品を試しているお客様が検知されたこと伝えるメッセージを店員の端末に送信する。また、図１９の（ｂ）に示すように、報知部６５は、家具売り場で撮像されたが画像データから「商品の属性＝大型商品，興味の度合い＝試す・比べる（Compare）」が検知された場合、家具売り場で大型商品の試しているお客様が検知された場合に、メッセージと画像データとをあわせて店員の端末に送信してもよい。

なお、報知部６５は、検知された興味の度合いのレベルに応じたメッセージを、店員の端末に送信してもよい。例えば、報知部６５は、レベルが高いほど、お客様や商品を特定するより詳細なメッセージを送信してもよい。また、報知部６５は、興味の度合いが高いか低いかもあわせて通知してもよく、どのレベルのお客様がいるかを示すメッセージを送信してもよい。

また、報知部６５は、組み合わせを構成する興味の度合いとともに、接客効果の高いお客様の存在を示すメッセージを送信してよい。上記例で説明すると、報知部６５は、「ベッド売り場で大型商品を試しているお客様がいます。興味の度合い（レベル３）」などのメッセージを店員の端末に送信する。

また、報知部６５は、メッセージの中には、売り場や商品名など、上述した処理で特定される各種情報を任意に選択して含めることができる。報知部６５は、報知部６５は、「ベッド売り場でベッドを試しているお客様がいます。」などのメッセージや、「ベッド売り場に接客を望まれているお客様がいます。」などのメッセージや、「ベッド売り場に接客を望まれているお客様がいます。興味の度合い（レベル３）」などのメッセージを店員の端末に送信することができる。

［処理の流れ］
図２０は、実施例２にかかる接客検知システムの処理の流れを示すフローチャートである。図２０に示すように、情報処理装置１０は、画像データを取得し（Ｓ２０１）、画像データから人物の骨格情報を検知する（Ｓ２０２）。

そして、情報処理装置１０は、人物の骨格情報に基づき、動作認識を実行する。具体的には、検知部６４は、画像データから、人物の「骨格検知の結果に基づく動作」を特定する（Ｓ２０３）。その後、情報処理装置１０は、認識された動作と検知ルールとを照合する。具体的には、検知部６４は、検知ルールＤＢ５６を参照し、「骨格検知の結果に基づく動作」に対応した「人物が商品に対して行う動作の種類」を照合する（Ｓ２０４）。合致行動が存在する場合（Ｓ２０５：Ｙｅｓ）、検知ルールから、商品の属性（大きさ）と興味の度合い（行動）を取得する。具体的には、検知部６４は、検知ルールＤＢ５６から、「人物が商品に対して行う動作の種類」に対応する「商品の属性と興味の度合いとの組合せ」を特定する（Ｓ２０６）。

続いて、情報処理装置１０は、商品の属性（大きさ）と興味の度合い（行動）を用いた通知メッセージを生成する。具体的には、検知部６４は、カメラ設置ＤＢ５４を参照し、動作を検知した人物を撮影したカメラＩＤを用いて、「売り場」を特定する。その後、検知部６４は、商品ＤＢ５５を参照し、特定された「売り場」に対応する、「商品の属性」と「商品の名称」を特定する。そして、検知部６４は、商品ＤＢ５５から、Ｓ２０６で特定された組み合わせを構成する「商品の属性」に該当する「商品の名称」を取得する。また、検知部６４は、Ｓ２０６で特定された組み合わせを構成する「興味の度合い」を特定する。検知部６４は、「売り場」、「商品の名称」、「興味の度合い」とともに、接客効果の高いお客様の存在を示すメッセージを生成する（Ｓ２０７）。情報処理装置１０は、生成したメッセージを店員の端末に送信する（Ｓ２０８）。なお、情報処理装置１０は、Ｓ２０４において、合致行動が存在しない場合（Ｓ２０５：Ｎｏ）、Ｓ２０６を実行することなく、処理を終了する。

［効果］
上述したように、情報処理装置５０は、画像データから、人物の骨格情報を生成し、生成した人物の骨格情報から得られる姿勢の時系列変化から人物の動作を検知する。情報処理装置５０は、商品の属性（大きさ、用途など）と商品の興味の度合いとの組み合わせ毎に、人物が商品に対して行う動作の種類が規定された情報を取得する。情報処理装置５０は、取得した情報に含まれる動作の種類の中の、検出した人物の動作に対応する動作の種類を特定し、特定した動作の種類と対応付けられた商品の属性（大きさ、用途）と商品の興味の度合いとを特定する。

すなわち、情報処理装置５０は、検知ルールを用いて、商品に対して興味ある行動をした人物を検知して、店員に通知することができる。したがって、店員は、興味の度合いが高いお客様に優先的にアドバイスを行うことができる。一方で、お客様は、購入を迷っている場合や自分からは相談しにくい場合であっても、店員からアドバイスを受けることで、不安などを軽減した状態で購入することができる。

また、情報処理装置５０はマーケティングの分野では知られている、消費者が購入に至るまでに複数の行動プロセス（例えば、ＡＩＤＭＡなどの）を流用し、店頭における消費者の行動を特定することができる。例えば、情報処理装置５０は、Attention（立ち止まる）、Interest（見て気になる）、Desire（手に取る）、Compare（試す）を段階的に評価した検知ルールに基づき、接客効果の高い客を検知することができる。

ところで、情報処理装置５０は、実施例２で説明した内容に限らず、様々なバリエーションを有している。そこで、実施例３では、情報処理装置５０が実行する処理のバリエーションについて説明する。

［検知ルール］
例えば、実施例２では、実施例１で生成した検知ルールを用いる例を説明したが、これに限定されるものではなく、管理者等が生成した別の検知ルールを用いることもできる。例えば、情報処理装置５０は、過去の履歴、統計論等による解析、経験則などを用いて生成された、人物の行動と商品との組合せごとに興味の度合いを対応付けた検知ルールを用いることもできる。

［属低判定］
例えば、情報処理装置５０は、写っている人物の年齢、性別などの属性をさらに判定して店員に通知することもできる。図２１は、実施例３にかかる属性判定の通知例を説明する図である。図２１に示すように、情報処理装置５０は、商品の属性および人物の動作が認識された画像データを、訓練済みの機械学習モデルに入力して、写っている人物の属性（６０代、男性）を取得する。そして、情報処理装置５０は、属性を含むメッセージ「ベビーカー売り場でベビーカーを試しているお客様がいます（６０代、男性）」を店員に通知する。この結果、店員は、プレゼントをする人が興味を持っているのか、実際に使用する人が興味を持っているかなどの詳細な情報を取得して上で、接客を行うことができるので、効率的な接客を行うことができる。

［検討時間の通知］
例えば、情報処理装置５０は、複数のフレームにまたがって同じ行動が認識されている場合、お客様の商品検討時間を算出し、店員に通知することもできる。図２２は、実施例３にかかる商品検討時間の通知例を説明する図である。図２２に示すように、情報処理装置５０は、ベビーカー売り場で、人物Ａが写っている画像データから興味の度合いとして、レベル２を検知したとする。その後、情報処理装置５０は、３０秒間の間に連続して、ベビーカー売り場で人物Ａが写っている画像データから興味の度合いとしてレベル２を検知したとする。この場合、情報処理装置５０は、検討時間を含むメッセージ「ベビーカー売り場でベビーカーを３０秒以上見ているお客様がいます。」を店員に通知してもよい。

このとき、情報処理装置５０は、Attention（立ち止まる）、Interest（見て気になる）、Desire（手に取る）、Compare（試す）の段階を考慮し、次のステップを進めるメッセージを送信することもできる。例えば、情報処理装置５０は、メッセージ「ベビーカー売り場でベビーカーを３０秒以上見ているお客様がいます。商品のお試しを勧めてください」を店員に通知してもよい。

この結果、店員は、接客の前に、お客様の状態を把握することができ、適切な接客を行うことができる。

［フィードバック］
例えば、情報処理装置５０は、店員の端末に通知後、実際に商品を購入したか否かのフィードバックを収集して検知ルールの更新を行い、検知ルールを最適な状態に保つこともできる。図２３は、実施例３にかかる接客結果のフィードバック例を説明する図である。図２３に示すように、情報処理装置５０は、メッセージ「ベビーカー売り場でベビーカーを３０秒以上見ているお客様がいます。商品のお試しを誘導してください」とともに、「接客後購入or接客後未購入」を選択させる画面を店員に通知してもよい。

そして、情報処理装置５０は、「接客後購入」が閾値以上フィードバックされた検知ルールのレベルを１段階上げたり、「接客後未購入」が閾値以上フィードバックされた検知ルールのレベルを１段階下げたりして、現状に即した検知ルールを維持することもできる。

［購買分析］
また、情報処理装置５０は、レジのＰＯＳデータと行動履歴を照合した購買分析を行うことで、どの興味の度合いの行動が購買につながったかを照合し、一歩手前の興味の度合いで接客へ誘導し購買につなげることもできる。

図２４は、購買行動分析の例を説明する図である。図２４に示すように、情報処理装置５０は、一定期間の間で検出した行動の履歴データと、購入を示すＰＯＳデータとを収集する。ここで、一定期間の間で検出した行動の履歴データには、認識された人物を特定する人物ＩＤ、一連の行動認識が終了した時刻を示す行動終了時刻、検出した行動の遷移が含まれる。例えば、人物ＩＤ＝１の人物が、行動Ａを１０秒した後に行動Ｂを５秒し、行動Ｂを終了した時刻が「１０：１４：２３」であることを示している。ここで、行動Ａや行動Ｂは、上述した「見る」、「手に取る」、「試す」などに該当する。

そして、情報処理装置５０は、行動の履歴データを集計し、行動Ａを４回、行動Ｂを４２回、行動Ｃを１２回、行動Ｄを３回、行動Ｅを１５回、行動Ｆを２回と集計する。続いて、情報処理装置５０は、行動の履歴データとＰＯＳデータとを照合して、行動の時刻とＰＯＳデータの購入時刻の近いものを紐づける。なお、近いものの判定は、両時刻の差が閾値未満か否かにより判定することができる。

例えば、情報処理装置５０は、行動の履歴データにおいて、「１１：０１：２２」に人ＩＤ＝３の人物が「行動Ａ（４秒）、行動Ｂ（７秒）、行動Ｅ（３秒）」を行ったことを特定する。また、情報処理装置５０は、ＰＯＳデータにおいて、「１１：０１：５６」に商品ＩＤ＝２４２０４９６の商品が購入されたことを特定する。この結果、情報処理装置５０は、「行動Ａ（４秒）、行動Ｂ（７秒）、行動Ｅ（３秒）」を行った人物が商品ＩＤ＝２４２０４９６の商品が購入したと判定する。

同様に、情報処理装置５０は、行動の履歴データにおいて、「１１：１４：４４」に人ＩＤ＝４の人物が「行動Ｂ（２秒）、行動Ｅ（６秒）」を行ったことを特定する。また、情報処理装置５０は、ＰＯＳデータにおいて、「１１：１５：２３」に商品ＩＤ＝４３５３２４４３の商品が購入されたことを特定する。この結果、情報処理装置５０は、「行動Ｂ（２秒）、行動Ｅ（６秒）」を行った人物が商品ＩＤ＝４３５３２４４３の商品が購入したと判定する。

このような紐づけの結果、情報処理装置５０は、行動Ｅまで行った人のうち、実際に購入した人の割合が閾値以上であることを特定する。また、情報処理装置５０は、行動Ｅの前行動として行動Ｂを行う人の割合が閾値以上であることも特定する。この結果、情報処理装置５０は、行動Ｅまでの行動を行った人が商品を多く購入し、行動Ｂを行った人の多くが行動Ｅを行うことを特定した結果、行動Ｂを行っている人物が検知された場合に、行動Ｅへ誘導するメッセージを店員に通知することもできる。

このように、情報処理装置５０は、行動の時系列を特定し、検知ルールとして活用することができる。この結果、情報処理装置５０は、より接客効果の高いお客様を検知することができるので、売り上げの向上を図ることができ、きめ細かな接客サービスを提供することができるので、集客率の向上を図ることもできる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［適用例］
上記実施例では、画像データを例にして説明したが、これに限定されるものではなく、動画データなどでも同様に処理することができる。また、実施例２では、検知ルールを用いた接客検知例を説明したが、これに限定されるものではなく、情報処理装置５０は、人物の行動と商品との組合せにより、商品に対する人物の興味の度合いを決定することもできる。すなわち、情報処理装置５０は、行動、商品、興味の度合いを対応付けた基準を用いることもできる。

［数値例］
上記実施例で用いたデータ例、数値例、各ＤＢの情報、フレーム数、レベル数、行動の数、行動の例、動作と骨格情報の対応付け等は、あくまで一例であり、任意に変更することができる。また、商品の属性として、商品の大きさまたは商品の種別を例示したが、これに限定されるものではなく、商品の用途などを用いることもできる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更されてもよい。

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、情報処理装置１０と情報処理装置５０とを同一の筐体で実現することもできる。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
図２５は、ハードウェア構成例を説明する図である。ここでは、情報処理装置１０を例にして説明するが、情報処理装置５０も同様である。図２５に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２５に示した各部は、バス等で相互に接続される。

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、撮像部２１、追跡部２２、骨格検知部２３、動作認識部２４、検知ルール生成部２５等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、撮像部２１、追跡部２２、骨格検知部２３、動作認識部２４、検知ルール生成部２５等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置１０は、プログラムを読み出して実行することで生成方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。

１０、５０ 情報処理装置
１１、５１ 通信部
１２、５２ 記憶部
１３、５３ 撮像ＤＢ
１４、５４ カメラ設置ＤＢ
１５、５５ 商品ＤＢ
１６ ＰＯＳデータＤＢ
１７、５６ 検知ルールＤＢ
２０、６０ 制御部
２１、６１ 撮像部
２２ 追跡部
２３、６２ 骨格検知部
２４ 動作認識部
２５ 検知ルール生成部
６３ 動作認識部
６４ 検知部
６５ 報知部

Claims (7)

1. コンピュータに、
   店舗に入店した人物が退店するまでに撮像された各画像データを取得し、
   前記各画像データに基づき、前記人物が入店から退店するまでの前記店舗内の商品に対する行動を特定し、
   特定した行動に基づいて、前記人物の商品に対する興味の度合いを判定し、
   前記興味の度合いと前記商品とを対応づけた検知ルールを生成する、
   処理を実行させることを特徴とする生成プログラム。
2. 前記興味の度合いを判定する処理は、
   前記商品が購入されたか否か、前記商品に触れた回数、または、前記商品の前に滞在した時間を用いて判定する、
   ことを特徴とする請求項１に記載の生成プログラム。
3. 前記特定する処理は、前記商品のサイズごとに、前記行動を特定し、
   前記興味の度合いを判定する処理は、前記商品のサイズごとに、前記興味の度合いを判定し、
   前記生成する処理は、前記商品のサイズと前記興味の度合いとを対応付けた前記検知ルールを生成する、
   ことを特徴とする請求項１または２に記載の生成プログラム。
4. 前記検知ルールは、前記商品のサイズと前記興味の度合いの組み合せ毎に、人物が行う行動が既定される、ことを特徴とする請求項１から３のいずれか一つに記載の生成プログラム。
5. 前記検知ルールを用いた接客が行われた結果、前記行動が特定された接客対象の人物のうち前記商品を購入した人数もしくは前記商品を購入しなかった人数を計数し、
   計数された結果に基づき、前記検知ルールにおいて前記行動に対応付けられる前記興味の度合いを更新する、処理を前記コンピュータに実行させることを特徴とする請求項１から４のいずれか一つに記載の生成プログラム。
6. コンピュータが、
   店舗に入店した人物が退店するまでに撮像された各画像データを取得し、
   前記各画像データに基づき、前記人物が入店から退店するまでの前記店舗内の商品に対する行動を特定し、
   特定した行動に基づいて、前記人物の商品に対する興味の度合いを判定し、
   前記興味の度合いと前記商品とを対応づけた検知ルールを生成する、
   処理を実行することを特徴とする生成方法。
7. 店舗に入店した人物が退店するまでに撮像された各画像データを取得する取得部と、
   前記各画像データに基づき、前記人物が入店から退店するまでの前記店舗内の商品に対する行動を特定する特定部と、
   特定した行動に基づいて、前記人物の商品に対する興味の度合いを判定する判定部と、
   前記興味の度合いと前記商品とを対応づけた検知ルールを生成する生成部と、
   を有することを特徴とする情報処理装置。

Images