JP2016081174A - 関連付プログラム及び情報処理装置 - Google Patents

Abstract

【課題】人物と入れ物を関連付けする関連付プログラム及び情報処理装置を提供する。
【解決手段】情報処理装置１は、カメラで撮影した画像から人物と入れ物と商品とを抽出する人物抽出手段１０１、入れ物抽出手段１０２及び商品抽出手段１０３と、入れ物に商品が入れられる又は出される動きを特定する特定手段１０４と、特定手段１０４が動きを特定した場合、商品が入れられた又は出された入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付手段１０５とを有する。
【選択図】図２

Description

本発明は、関連付プログラム及び情報処理装置に関する。

従来の技術として、動画像中の複数の人物をグループ分けする情報処理装置が提案されている（例えば、特許文献１参照）。

特許文献１に開示された情報処理装置は、動画像から人物及び人物の位置を検出して、検出された人物の相対距離を集計し、相対距離の出現分布から相対距離の閾値を算出するとともに、人物間の相対距離が当該閾値を下回る状態が長く続く人物を、同一行動をしているグループと判定する。

特許４５０６３８１号

本発明の目的は、人物と入れ物を関連付けする関連付プログラム及び情報処理装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の関連付プログラム及び情報処理装置を提供する。

［１］コンピュータを、
カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出手段と、
前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定手段と、
前記第１の特定手段が前記動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付手段として機能させるための関連付プログラム。
［２］複数の人物間の商品の動きを特定する第２の特定手段としてさらに機能させ、
前記関連付手段は、前記第１の特定手段が前記動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定手段が動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける前記［１］に記載の関連付プログラム。
［３］複数の人物間の前記入れ物の移動を特定する第３の特定手段としてさらに機能させ、
前記第３の特定手段が移動を特定した場合、前記関連付手段は、当該複数の人物を関連付ける前記［１］又は［２］に記載の関連付プログラム。
［４］前記抽出した人物の視線又は顔の向きを特定する第４の特定手段としてさらに機能させ、
前記関連付手段は、前記第４の特定手段が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける前記［１］−［３］のいずれかに記載の関連付プログラム。
［５］前記抽出した人物の音声を取得する音声取得手段としてさらに機能させ、
前記関連付手段は、前記音声取得手段が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける前記［１］−［４］のいずれかに記載の関連付プログラム。
［６］前記抽出した人物の口の動きを特定する第５の特定手段としてさらに機能させ、
前記関連付手段は、前記第５の特定手段が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける前記［１］−［５］のいずれかに記載の関連付プログラム。
［７］前記抽出した人物の属性を取得する属性取得手段と、
当該取得した属性に基づいて、前記関連付手段が関連付けた複数の人物からなるグループの属性を特定するグループ属性特定手段としてさらに機能させる前記［１］−［６］のいずれかに記載の関連付プログラム。
［８］前記抽出した人物の購入した商品に関する情報を取得する取得手段としてさらに機能させ、
前記関連付手段は、当該情報を前記関連付けられた複数の人物に関連付ける前記［１］−［７］のいずれかに記載の関連付プログラム。
［９］前記抽出した人物の会員情報を取得する取得手段としてさらに機能させ、
前記関連付手段は、当該会員情報を前記関連付けられた複数の人物に関連付ける前記［１］−［７］のいずれかに記載の関連付プログラム。
［１０］コンピュータを、
カメラで撮影した画像から人物と車両とを抽出する抽出手段と、
前記車両に前記人物が入る又は前記車両から人物が出る動きを特定する第６の特定手段と、
前記第６の特定手段が前記動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付手段として機能させるための関連付プログラム。
［１１］コンピュータを、
カメラで撮影した画像から人物と商品とを抽出する抽出手段と、
複数の人物間の商品の動きを特定する特定手段と、
前記特定手段が前記動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付手段として機能させるための関連付プログラム。
［１２］コンピュータを、
カメラで撮影した画像から人物と入れ物とを抽出する抽出手段と、
複数の人物間の前記入れ物の移動を特定する第３の特定手段と、
前記第３の特定手段が移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付手段として機能させるための関連付プログラム。
［１３］カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出手段と、
前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定手段と、
前記第１の特定手段が前記動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付手段とを有する情報処理装置。

請求項１又は１３に係る発明によれば、人物と入れ物を関連付けすることができる。
請求項２に係る発明によれば、基準時から予め定めた時間内の動きに基づいて人物同士を関連付けすることができる。
請求項３に係る発明によれば、複数の人物間の入れ物の移動に基づいて人物同士を関連付けすることができる。
請求項４に係る発明によれば、人物の視線又は顔の向きと予め定めた関係にある人物とを関連付けすることができる。
請求項５に係る発明によれば、音声に基づいて予め定めた関係にある人物を関連付けすることができる。
請求項６に係る発明によれば、人物の口の動きと予め定めた関係にある人物とを関連付けすることができる。
請求項７に係る発明によれば、人物の属性に基づいてグループの属性を特定することができる。
請求項８に係る発明によれば、関連付けられた人物と、購入した商品に関する情報とを関連付けすることができる。
請求項９に係る発明によれば、関連付けられた人物と、会員情報とを関連付けすることができる。
請求項１０に係る発明によれば、人物と車両を関連付けすることができる。
請求項１１に係る発明によれば、複数の人物間の商品の動きに基づいて人物同士を関連付けすることができる。
請求項１２に係る発明によれば、複数の人物間の入れ物の動きに基づいて人物同士を関連付けすることができる。

図１は、実店舗の構成例を示す概略図である。 図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。 図３は、関連付情報の構成の一例を示す概略図である。 図４（ａ）及び（ｂ）は、特定手段が特定する動きのパターンの一例を示す概略図である。 図５（ａ）及び（ｂ）は、特定手段が特定する動きのパターンの他の例を示す概略図である。 図６（ａ）−（ｃ）は、特定手段が特定する動きのパターンの他の例を示す概略図である。

［実施の形態］
（実店舗の構成）
図１は、店舗の構成例を示す概略図である。

実店舗２は、例えば、スーパーマーケット等の小売店であって、棚２０ａ−２０ｅに複数の商品２００ａ、２００ｂ…（以降、総称して商品２００ということがある。）が設置される。客３ａ−３ｋは、実店舗２の入口２１から入ってきて、それぞれカート５ａ−５ｄとともに実店舗２内を回り、商品２００をカート５ａ−５ｄで運搬し、レジで店員４ａ−４ｃにより会計を済ませる。レジにおいて会計がなされると、ＰＯＳシステム（Ｐｏｉｎｔ ｏｆ ｓａｌｅ ｓｙｓｔｅｍ）等の売り上げデータが図示しないデータベースに保存される。

実店舗２にはカメラ１３ａ−１３ｄが設置されており、後述する情報処理装置１によってカメラ１３で撮像された動画から客３ａ−３ｋが人物として認識されるとともに、客３ａ−３ｋがそれぞれ誰とグループを構成しているか認識される。なお、ここで「グループ」とは、互いに関連付けられた客の集合をいうものとする。

なお、カメラ１３は通常のカメラの他、全方位カメラを用いることもできる。また、カメラ１３は動画を撮像するものであってもよいし、予め定めた間隔で静止画を撮像するものであってもよい。また、カメラ１３の設置位置は予め登録されているものとし、撮影した動画の画像中の座標と実店舗２内の位置座標とが対応付けられているものとする。

なお、ここで「動画」とは、時系列に沿って撮像された複数のフレーム（静止画）の集合であり、当該複数フレームは時系列に沿って再生される。

（情報処理装置の構成）
図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２と、動画又は静止画を撮像可能なカメラ１３とを備える。

制御部１０は、後述する関連付プログラム１１０を実行することで、動画受付手段１００、人物抽出手段１０１、入れ物抽出手段１０２、商品抽出手段１０３、特定手段１０４、関連付手段１０５、売り上げデータ取得手段１０６、人物属性取得手段１０７及び会員情報取得手段１０８等として機能する。

動画受付手段１００は、カメラ１３で撮像されて生成された動画情報を受信する。

人物抽出手段１０１は、動画受付手段１００が受信した動画情報のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。なお、人物抽出手段１０１は、当該人物が複数いる場合はそれぞれを識別するものとし、予め登録された人物（店員等）については、予め登録された画像に基づいて識別するものとしてもよい。予め登録された画像を特徴量に変換しておいてもよい。特徴量は、一例として、画像中からDifference of Gaussians演算により特徴点を抽出し、特徴点からSIFT特徴量を抽出して得られる。また、特徴量の他の例として、抽出された特徴点とその上位スケールの点との勾配情報から生成されるFIT（Fast Invariant Transform）特徴量を用いてもよい。

また、複数の予め登録された画像から学習モデルを生成し、この学習モデルを用いて人物を識別してもよい。なお、人物抽出手段１０１は、抽出した人物から店員を識別の対象外にするようにしてもよい。たとえば、店員のユニフォームがある場合には、予めユニフォームの画像から特徴量を生成しておく。そして、この特徴量を用いて、抽出した人物の画像から店員を識別の対象外とすることができる。なお、店員と客の識別はユニフォームに限定されるものではなくネームプレート等の他の画像を用いて特徴量を生成してもよい。

また、以下に説明する入れ物抽出手段１０２及び商品抽出手段１０３についても同様の手法を用いて入れ物及び商品を抽出するものとする。

入れ物抽出手段１０２、動画受付手段１００が受信した動画のすべて又は一部のフレームに入れ物の一例としてカートの画像が含まれている場合に当該カートを抽出する。なお、カートを識別するためにカートに文字・数字・マーク等を付しておいてもよい。

商品抽出手段１０３は、動画受付手段１００が受信した動画のすべて又は一部のフレームに商品の画像が含まれている場合に当該商品を抽出する。なお、商品を識別するために商品に文字・数字・マーク等を付しておいてもよい。

特定手段１０４は、人物抽出手段１０１が抽出した人物の動き、入れ物抽出手段１０２が抽出したカートの動き、商品抽出手段１０３が抽出した商品の動きが予め定めた動きのパターンのいずれに該当するか特定する。なお、特定手段１０４は、単一のパターンのみを特定するものであってもよいし、複数のパターンを識別して特定するものであってもよい。また、特定手段１０４は、後述するように、第１の特定手段として、入れ物に商品が入れられる又は出される動きを特定するものを、第２の特定手段として、複数の人物間の商品の動きを特定するものを、第３の特定手段として、複数の人物間の入れ物の移動を特定するものを、第４の特定手段として、人物の視線又は顔の向きを特定するものを、第５の特定手段として、人物の口の動きを特定するものを、第６の特定手段として、車両に人物が入る又は車両から人物が出る動きを特定するものを実現する。

関連付手段１０５は、特定手段１０４が特定したパターンに基づいて関連付け行う。たとえば、第１の関連付けのパターンとしては、人物抽出手段１０１が抽出した人物と入れ物特定手段１０２が抽出した入れ物を関連付ける場合、第２の関連付のパターンとしては、人物抽出手段１０１で抽出した複数の人物同士を関連付ける場合、第３のパターンとしては、人物抽出手段で抽出した複数の人物と入れ物特定手段１０２とを関連付ける場合などがある。

なお、関連付手段１０５は、単一の関連付けのパターンのみ実施するものであってもよいし、複数の関連付けのパターンを実施するものであってもよい。また、関連付手段１０５が行う関連付けの回数は、１度に限定されない。すなわち、繰り返して関連付けを行うことができる。たとえば、最初、関連付け手段１０５が、カート５ａと客３ａを関連付ける。その後、関連付け手段１０５が、カート５ａと客３ｂを関連付けることも可能である。この場合、カート５ａと客３ａと客３ｂとが関連付けられたこととなる。言い換えると、客３ａと３ｂはグループとして認識される。関連付手段１０５は、人物を関連付けた情報を関連付情報１１１として記憶部１１に格納する。

売り上げデータ取得手段１０６は、レジにおいて会計がなされた場合にＰＯＳシステム等の情報が格納された図示しないデータベースから売り上げデータを取得して売り上げデータ１１２として記憶部１１に格納する。ここで言う売上データとは、たとえば、購入した商品種別、購入数、支払額、支払時間などのＰＯＳシステムから取得できるデータである。

人物属性取得手段１０７は、人物抽出手段１０１が抽出した人物の画像から年齢、性別、地域情報（詳細は後述する）等の属性情報を取得して人物属性情報１１３として記憶部１１に格納する。

会員情報取得手段１０８は、客の顔写真、名前、性別、年齢、住所、電話番号、購入履歴等が記録された会員情報を図示しないデータベースから取得して会員情報１１４として記憶部１１に格納する。

記憶部１１は、制御部１０を上述した各手段１００−１０８として動作させる関連付プログラム１１０、関連付情報１１１、売り上げデータ１１２、人物属性情報１１３及び会員情報１１４等を記憶する。

（情報処理装置の動作）
次に、本実施の形態の作用を説明する。

まず、カメラ１３は実店舗２内において客３ａ−３ｋ、商品２００ａ、２００ｂ及びカート５ａ−５ｄ等を撮影し、動画情報を生成する。

情報処理装置１の動画受付手段１００は、カメラ１３で撮像されて生成された動画情報を受信する。

次に、人物抽出手段１０１は、動画受付手段１００が受信した動画のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。なお、人物抽出手段１０１は、当該人物が複数いる場合はそれぞれを識別するものとし、予め登録された人物（店員や頻繁に来店する客等）については、予め登録された画像に基づいて識別する。

次に、入れ物抽出手段１０２、動画受付手段１００が受信した動画のすべて又は一部のフレームに入れ物の一例としてカートの画像が含まれている場合に当該カートを抽出する。画像中に複数のカートが存在する場合にはそれぞれを識別する。識別する場合はカートのそれぞれに識別するための文字や画像等を付してもよいし、一旦識別したカートを以降追跡するようにしてもよい。

次に、商品抽出手段１０３は、動画受付手段１００が受信した動画のすべて又は一部のフレームに商品の画像が含まれている場合に当該商品を抽出する。画像中に複数の商品が存在する場合にはそれぞれを識別してもよいし、しなくてもよい。識別する場合は商品のそれぞれに識別するための文字、数字やマーク等を付しておいてもよいし、商品の画像を予め登録しておいて画像認識により識別してもよい。

次に、特定手段１０４は、人物抽出手段１０１が抽出した人物の動き、入れ物抽出手段１０２が抽出したカートの動き、商品抽出手段１０３が抽出した商品の動きが予め定めた動きのパターンのいずれに該当するか特定する。

以下に、特定手段１０４が特定する動きのパターンについて説明する。

（パターン１）
図４（ａ）及び（ｂ）は、特定手段１０４が特定する動きのパターンの一例を示す概略図である。

図４（ａ）に示すように、カート５ａを押す又はカート５ａの付近にいる客３ａが、商品２００ｃを手に取り、図４（ｂ）に示すように、商品２００ｃをカート５ａに入れた場合、特定手段１０４は当該客３ａ、カート５ａ及び商品２００ｃの動きを「パターン１」に特定する（第１の特定手段）。

次に、関連付手段１０５は、特定手段１０４が特定した動きのパターンに基づいて人物抽出手段１０１が抽出した人物と入れ物特定手段１０２が抽出した入れ物を関連付ける。

上記した図４（ａ）及び（ｂ）に示す「パターン１」を特定した場合、関連付手段１０５は、客３ａをカート５ａに関連付ける。

なお、上記「パターン１」では商品２００ｃをカート５ａに入れた場合を示したが、特定手段１０４はカート５ａに入っていた商品２００ｃを出す動きを「パターン１’」として特定し、当該「パターン１’」を特定した場合に関連付手段１０５は客３ａをカート５ａに関連付けてもよい。

また、上記「パターン１」において、商品２００ｃの有無に関わらず、客３ａが予め定めた時間以上、カート５ａを押していた場合又はカート５ａから一定の範囲内にいた場合に、関連付手段１０５は客３ａをカート５ａに関連付けるようにしてもよい。

図３は、関連付情報１１１の構成の一例を示す概略図である。

関連付情報１１１は、入れ物抽出手段１０２が抽出したカートのカートＩＤと、当該カートＩＤに関連付けられた人物であって、人物抽出手段１０１が抽出した人物ＩＤを単数又は複数有する。

例えば、カートＩＤが「００１」のカートに人物ＩＤが「１１１３」と「１１１２」の二人が関連付けられる場合は、人物１の欄に「１１１３」と、人物２の欄に「１１１２」と記載される。人物１、人物２、人物３…は、抽出された順に記載されるものであってもよいし、カートに対する距離や一定範囲内にいる時間の順で記載されるものであってもよい。

また、関連付手段１０５が関連付けを行うごとに、関連付情報１１１の情報が更新される。なお、予め定めた条件に該当する場合には、関連付情報１１１に記載された、カートＩＤに関連付けられた人物ＩＤをリセットしてもよい。予め定めた条件としては、関連付情報１１１に記載されている人物がレジにおいて支払いを完了させた場合や、関連付け情報１１１に記載されたカートがカート置き場に返却された場合が挙げられる。関連付け情報１１１に記載された人物がレジに支払いを完了させたか否かは、売り上げデータ取得手段１０６を用いて確認することができる。また、関連付け情報１１１に記載された、カートがカート置き場に返却されたか否かは、予め定められた場所（たとえば、カート置き場）にカートがあるか否かで確認することができる。なお、リセットする場合の条件や、確認する方法は、上述内容に限定されない。なお、関連付情報１１１のリセットは後述する他のパターンにおいても同様適用可能である。

（パターン１の他の例）
図５（ａ）及び（ｂ）は、特定手段１０４が特定する動きのパターンの他の例を示す概略図である。

図５（ａ）に示すように、カート５ａの付近にいる客３ｂが商品２００ｃを手に取り、図５（ｂ）に示すように、商品２００ｃをカート５ａに入れた場合、特定手段１０４は当該客３ｂ、カート５ａ及び商品２００ｃの動きを「パターン１」に特定する。さらに、商品が入れられた、カート５ａを押す又はカート５ａの付近にいる客３ａが立っている。このような場合には、カート５ａと客３ａとが予め定められた関係にあるとして、関連付手段１０５は、客３ａ及び３ｂをカート５ａに関連付けてもよい。

なお、この場合、既に客３ａがカート５ａに関連付けられていることを条件として（たとえば、客３ａとカート５ａが、上述のパターン１に該当していた場合）、客３ａ及び３ｂをカート５ａに関連付けてもよい。すなわち、まだ客３ａがカート５ａに関連付けられていないなら、客３ｂとカート５ｂのみを関連付けてもよい。又は、先ずカート５ａと客３ｂとを対応付けておき、その後、カート５ａと客３ａとが上述のパターン１に該当した場合に、客３ｂが関連付けられたカート５ａに客３ａを追加で関連付けてもよい。

（パターン２）
図６（ａ）−（ｃ）は、特定手段１０４が特定する動きのパターンの他の例を示す概略図である。

図６（ａ）に示すように、カート５ａを押す又はカート５ａの付近にいる客３ａが立っており、客３ｂが商品２００ｃを手に取っている。次に、図６（ｂ）に示すように、客３ｂから客３ａに商品２００ｃが手渡された場合、特定手段１０４は当該客３ａと客３ｂ及び商品２００ｃの動きを「パターン２」に特定する（第２の特定手段）。次に、図６（ｃ）に示すように、客３ａが商品２００ｃをカート５ａに入れた場合、特定手段１０４は当該客３ａ、カート５ａ及び商品２００ｃの動きを「パターン１」に特定する。

最初に特定手段１０４の第２の特定手段により、「パターン２」を特定した場合には、客３ａと客３ｂとを関連付ける。この場合、関連付情報１１１には、客３ａの人物ＩＤと客３ｂの人物ＩＤが関連付けられている。すなわち、必ずしもカート５ａのカートＩＤは、客３ａや客３ｂの人物ＩＤに関連付けられる必要はない。次に、第１の特定手段により、「パターン１」を特定した場合には、客３ａとカート５ａを関連付ける。このとき、既に関連付情報１１１には、客３ａの人物ＩＤと客３ｂの人物ＩＤとが関連付けらている。したがって、「パターン１」を特定した場合は、客３ａの人物ＩＤと客３ｂの人物ＩＤとカート５ａのカートＩＤが関連付けられることとなる。

また、客３ａから客３ｂに入れ物であるカート５ａが渡された又は移動した動きを「パターン３」として特定してもよい（第３の特定手段）。この場合、関連付手段１０５は、客３ａ及び３ｂとを関連付ける。なお、客３ａ及び３ｂとカート５ａを関連付けてもよい。

なお、上記した「パターン１」〜「パターン３」はレジにおける商品の会計前の動きを説明したものであるが、会計前だけに限らず、会計中の客や商品の動き、会計後の客や商品の動きについてもパターンを設定可能である。

会計中であれば、例えば、ある客がレジにおいて会計中に別の客が遅れて商品を持ってきた場合であって、カートに商品を追加した場合や、カートに商品を入れることなくレジ係の店員に商品を渡した場合等にカートに対して当該別の客を関連付けてもよい。

また、会計後であれば、例えば、会計を済ませた商品をある客から他の客へ渡した場合、両者は同一グループに属するとして関連付けてもよい。

次に、売り上げデータ取得手段１０６は、関連付けされた客のいずれかがレジにおいて会計した場合に、当該レジに対応するＰＯＳシステム等の売り上げデータ１１２を図示しないデータベースから取得し、関連付情報１１１のカートＩＤに関連付けて記憶部１１に格納する。

また、人物属性取得手段１０７は、人物抽出手段１０１が抽出した人物の画像から年齢、性別、地域情報（詳細は後述する）等の属性情報を取得して人物属性情報１１３とし、関連付情報１１１の各利用者に関連付けて記憶部１１に格納する。

また、会員情報取得手段１０８は、客がレジにおいて会計する際に会員カードを用いた場合、当該会員カードに関連付けられた会員情報を図示しないデータベースから取得して会員情報１１４とし、関連付情報１１１に関連付けて記憶部１１に格納する。

上記した売り上げデータ１１２、人物属性情報１１３及び会員情報１１４は、グループを定義する関連付情報１１１とともにグループの行動分析や売り上げ分析等に用いられる。また、会員情報にグループＩＤを付与してもよい。この場合、来店の度にグループＩＤを更新してもよいし、蓄積していってもよい。

（実施の形態の効果）
上記した実施の形態によれば、入れ物の一例としてのカートの付近にいる人物、カートに対する商品の出し入れ等の各動きを特定し、当該動きによってカートと人物とを関連付けすることができる。または、人物間の商品の受け渡し、人物間のカートの移動等の各動きを特定し、当該動きによって人物同士を関連付けすることができる。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

上記した本実施の形態においては、実店舗２において行動する客同士を関連付けるものであったが、実店舗２に限られるものではなく、構造物内において行動する客同士を関連付けるものであってもよい。たとえば、構造物としては、飲食店、ショッピングモール、ビル、空港、駅、病院、学校、レジャー施設などが挙げられる。また、飛行機や船舶等のように移動するものであってもよい。そして、客に関する売り上げ情報は、客が注文したメニューや、レジで支払った額などが対応する。また、ビルや空港などの場合は、ビルや空港内で働く店員の行動内容を特定することとなる。

また、特定手段１０４は客の視線又は顔の向きを「第４のパターン」として特定するようにしてもよい（第４の特定手段）。関連付手段１０５は客と、当該客が予め定めた時間以上視線又は顔を向けた他の客とを関連付けるようにしてもよい。また、特定手段１０４は口の動きを「第５のパターン」として特定するようにしてもよい（第５の特定手段）。関連付手段１０５は会話を交わした客同士を関連付けるようにしてもよい。

また、カートは、商品を入れる入れ物の一例であって、バスケットやショッピングバッグ等であってもよい。

さらに、本実施の形態においては、カートなどの入れ物に人物を関連付けた。しかしながら、カート等の入れ物に限らず、自動車やバイク等の乗り物に人物を関連付けてもよい。たとえば、駐車場にカメラを設置しておき、自動車を撮影する。そして、特定手段１０４を用いて、ある車から客が出る又はある車に客が入る動きを特定する。特定手段１０４はある車から客が出てくる又はある車に入っていく動きを「パターン６」に特定する（第６の特定手段）。

次に、関連付手段１０５はこれらの客をそれぞれ自動車に関連付けるものとし、グループとして取り扱うものとする。たとえば、自動車から複数人の客が出てきた場合には、この複数の人物を関連付けることができる。さらに、自動車のナンバープレートを撮影できる場合には、この撮影したナンバープレートの情報から地域情報を属性情報として取得してもよい。

なお、特定手段１０４は、車やバイク等の車両である場合であって、当該車両が客を乗せることのないような配送車等の営業車である場合は動きを特定しなくてもよい。このように配送車等の営業車を対象外にする場合は、予め対象外にする車両の画像や、ナンバープレート等を登録しておき、これらを用いて対象外の車両を識別すればよい。

なお、特定手段１０４は、少なくとも一つのパターンを特定する特定手段を有していればよい。たとえば、「パターン１」のみを有する特定手段であってもよいし、「パターン１」から「パターン６」を特定する特定手段を有していてもよい。

また、関連付手段１０５について、たとえば、商品２００ｃの有無に関わらず、客３ａが予め定めた時間以上、カート５ａを押していた場合又はカート５ａから一定の範囲内にいた場合に、関連付手段１０５は客３ａをカート５ａに関連付けるようにしてもよい。このように、関連付手段１０５は、客とカートとの関係が、予め定められた関係であるか否かを画像処理を用いて判定し、予め定められた関係であると判定した場合に、客とカートを関連付ける構成を有しても良い。なお、判定動作は異なる手段に実行させるものであってもよく、必ずしも関連付手段１０５が実行する必要はない。

また、会話の音声を取得する音声取得手段をさらに設けてもよく、取得した音声を分析することで当該会話内容のパターンを特定し、関連付手段１０５は会話内容のパターンに基づいて客同士を関連付けるようにしてもよい。

また、人物属性取得手段１０７が取得するグループに属する人物の属性や人数に応じて、グループが家族、カップル、団体等のいずれのカテゴリか特定する手段をさらに設けてもよい。また、特定されたグループのカテゴリと、売り上げデータとから、購入パターンを分析してもよい。

また、分析の他の例として、客が手に取った商品と、売り上げデータに表れた実際に購入した商品との差分をとり、手に取ったが買っていないものを検出して分析の情報として用いてもよい。

また、上記実施の形態では画像から人物、商品、カート等を抽出したが、これに限られず、携帯電話やカード等に埋設されたＩＣチップ等から識別情報及び現在位置を取得してもよいし、ＧＰＳを利用して現在位置を取得してもよい。

上記実施の形態では制御部１０の各手段１００〜１０８の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１ 情報処理装置
２ 店舗
３ａ−３ｋ 客
４ａ−４ｃ 店員
５ａ−５ｄ カート
１０ 制御部
１１ 記憶部
１２ 通信部
１３ａ−１３ｄ カメラ
２０ａ−２０ｅ 棚
２１ 入口
１００ 動画受付手段
１０１ 人物抽出手段
１０２ 入れ物抽出手段
１０３ 商品抽出手段
１０４ 特定手段
１０５ 関連付手段
１０６ 売り上げデータ取得手段
１０７ 人物属性取得手段
１０８ 会員情報取得手段
１１０ 関連付プログラム
１１１ 関連付情報
１１２ 売り上げデータ
１１３ 人物属性情報
１１４ 会員情報
２００ａ−２００ｃ 商品

［１］コンピュータを、
カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出手段と、
前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定手段と、
前記第１の特定手段が前記動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付手段として機能させるための関連付プログラム。
［２］複数の人物間の商品の動きを特定する第２の特定手段としてさらに機能させ、
前記関連付手段は、前記第１の特定手段が前記動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定手段が動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける前記［１］に記載の関連付プログラム。
［３］複数の人物間の前記入れ物の移動を特定する第３の特定手段としてさらに機能させ、
前記第３の特定手段が移動を特定した場合、前記関連付手段は、当該複数の人物を関連付ける前記［１］又は［２］に記載の関連付プログラム。
［４］前記抽出した人物の視線又は顔の向きを特定する第４の特定手段としてさらに機能させ、
前記関連付手段は、前記第４の特定手段が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける前記［１］−［３］のいずれかに記載の関連付プログラム。
［５］前記抽出した人物の音声を取得する音声取得手段としてさらに機能させ、
前記関連付手段は、前記音声取得手段が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける前記［１］−［４］のいずれかに記載の関連付プログラム。
［６］前記抽出した人物の口の動きを特定する第５の特定手段としてさらに機能させ、
前記関連付手段は、前記第５の特定手段が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける前記［１］−［５］のいずれかに記載の関連付プログラム。
［７］前記抽出した人物の属性を取得する属性取得手段と、
当該取得した属性に基づいて、前記関連付手段が関連付けた複数の人物からなるグループの属性を特定するグループ属性特定手段としてさらに機能させる前記［１］−［６］のいずれかに記載の関連付プログラム。
［８］前記抽出した人物の購入した商品に関する情報を取得する取得手段としてさらに機能させ、
前記関連付手段は、当該情報を前記関連付けられた複数の人物に関連付ける前記［１］−［７］のいずれかに記載の関連付プログラム。
［９］前記抽出した人物の会員情報を取得する取得手段としてさらに機能させ、
前記関連付手段は、当該会員情報を前記関連付けられた複数の人物に関連付ける前記［１］−［７］のいずれかに記載の関連付プログラム。
［１０］カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出手段と、
前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定手段と、
前記第１の特定手段が前記動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付手段とを有する情報処理装置。

請求項１又は１０に係る発明によれば、人物と入れ物を関連付けすることができる。
請求項２に係る発明によれば、基準時から予め定めた時間内の動きに基づいて人物同士を関連付けすることができる。
請求項３に係る発明によれば、複数の人物間の入れ物の移動に基づいて人物同士を関連付けすることができる。
請求項４に係る発明によれば、人物の視線又は顔の向きと予め定めた関係にある人物とを関連付けすることができる。
請求項５に係る発明によれば、音声に基づいて予め定めた関係にある人物を関連付けすることができる。
請求項６に係る発明によれば、人物の口の動きと予め定めた関係にある人物とを関連付けすることができる。
請求項７に係る発明によれば、人物の属性に基づいてグループの属性を特定することができる。
請求項８に係る発明によれば、関連付けられた人物と、購入した商品に関する情報とを関連付けすることができる。
請求項９に係る発明によれば、関連付けられた人物と、会員情報とを関連付けすることができる。

Claims (13)

1. コンピュータを、
   カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出手段と、
   前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定手段と、
   前記第１の特定手段が前記動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付手段として機能させるための関連付プログラム。
2. 複数の人物間の商品の動きを特定する第２の特定手段としてさらに機能させ、
   前記関連付手段は、前記第１の特定手段が前記動きを特定した場合、当該動きを特定した時間を基準時とし、当該基準時から予め定めた時間内において、前記第２の特定手段が動きを特定した場合、当該商品が移動した当該複数の人物を前記入れ物と関連付ける請求項１に記載の関連付プログラム。
3. 複数の人物間の前記入れ物の移動を特定する第３の特定手段としてさらに機能させ、
   前記第３の特定手段が移動を特定した場合、前記関連付手段は、当該複数の人物を関連付ける請求項１又は２に記載の関連付プログラム。
4. 前記抽出した人物の視線又は顔の向きを特定する第４の特定手段としてさらに機能させ、
   前記関連付手段は、前記第４の特定手段が特定した視線又は顔の向きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１−３のいずれか１項に記載の関連付プログラム。
5. 前記抽出した人物の音声を取得する音声取得手段としてさらに機能させ、
   前記関連付手段は、前記音声取得手段が取得した音声において予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１−４のいずれか１項に記載の関連付プログラム。
6. 前記抽出した人物の口の動きを特定する第５の特定手段としてさらに機能させ、
   前記関連付手段は、前記第５の特定手段が特定した口の動きと予め定めた関係にある人物と、前記抽出した人物とを関連付ける請求項１−５のいずれか１項に記載の関連付プログラム。
7. 前記抽出した人物の属性を取得する属性取得手段と、
   当該取得した属性に基づいて、前記関連付手段が関連付けた複数の人物からなるグループの属性を特定するグループ属性特定手段としてさらに機能させる請求項１−６のいずれか１項に記載の関連付プログラム。
8. 前記抽出した人物の購入した商品に関する情報を取得する取得手段としてさらに機能させ、
   前記関連付手段は、当該情報を前記関連付けられた複数の人物に関連付ける請求項１−７のいずれか１項に記載の関連付プログラム。
9. 前記抽出した人物の会員情報を取得する取得手段としてさらに機能させ、
   前記関連付手段は、当該会員情報を前記関連付けられた複数の人物に関連付ける請求項１−７のいずれか１項に記載の関連付プログラム。
10. コンピュータを、
    カメラで撮影した画像から人物と車両とを抽出する抽出手段と、
    前記車両に前記人物が入る又は前記車両から人物が出る動きを特定する第６の特定手段と、
    前記第６の特定手段が前記動きを特定した場合、前記人物が入った又は出た前記車両と予め定めた関係にある人物を当該車両と関連付ける関連付手段として機能させるための関連付プログラム。
11. コンピュータを、
    カメラで撮影した画像から人物と商品とを抽出する抽出手段と、
    複数の人物間の商品の動きを特定する特定手段と、
    前記特定手段が前記動きを特定した場合、前記商品が移動した前記複数の人物同士を関連付ける関連付手段として機能させるための関連付プログラム。
12. コンピュータを、
    カメラで撮影した画像から人物と入れ物とを抽出する抽出手段と、
    複数の人物間の前記入れ物の移動を特定する第３の特定手段と、
    前記第３の特定手段が移動を特定した場合、前記入れ物が移動した前記複数の人物同士を関連付ける関連付手段として機能させるための関連付プログラム。
13. カメラで撮影した画像から人物と入れ物と商品とを抽出する抽出手段と、
    前記入れ物に前記商品が入れられる又は出される動きを特定する第１の特定手段と、
    前記第１の特定手段が前記動きを特定した場合、前記商品が入れられた又は出された前記入れ物と予め定めた関係にある人物を当該入れ物と関連付ける関連付手段とを有する情報処理装置。
    
    

Images