JP2016071414A - 情報提示プログラム及び情報処理装置 - Google Patents

Abstract

【課題】人物に関連する情報として、人物の行動内容及び／又は行動内容に関連付けられた売り上げデータを提示する情報提示プログラム及び情報処理装置を提供する。【解決手段】情報処理装置１は、店舗内の客に対する店員の行動内容を特定する行動内容特定手段１０２と、客と店員とを対応付ける人物対応付け手段１０３と、客に関係する売り上げ情報を取得する売り上げデータ取得手段１０６と、客、特定した行動内容及び取得した売り上げ情報とを接客情報１１１として登録し、接客情報１１１から要求された情報を提示する情報提示手段１０８とを有する。【選択図】図２

Description

本発明は、情報提示プログラム及び情報処理装置に関する。

従来の技術として、カメラで撮影して得られた画像情報の経時変化から当該画像情報に写っている人物の行動内容を識別する情報処理装置が提案されている（例えば、特許文献１参照）。

特許文献１に開示された情報処理装置は、カメラで撮影して得られた画像情報を順次取得し、取得した画像情報の所定期間の差分情報を累積して累積差分画像情報を生成し、累積差分画像情報の濃度勾配のある領域から動きの特徴量情報を生成して、当該特徴量情報から当該画像情報に写っている人物の行動内容を識別する。

特開２０１１−１７４６４８号公報

本発明の目的は、人物に関連する情報として、当該人物の行動内容及び／又は当該行動内容に関連付けられた売り上げデータを提示する情報提示プログラム及び情報処理装置を提供することにある。

本発明の一態様は、上記目的を達成するため、以下の情報提示プログラム及び情報処理装置を提供する。

［１］コンピュータを、
構造物内の店員の行動内容を特定する特定手段と、
前記構造物内の客と前記店員とを対応付ける対応付け手段と、
前記客に関係する売り上げ情報を取得する取得手段と、
前記客と、特定した前記行動内容と、取得した前記売り上げ情報とを、前記店員に関する情報として登録し、登録された情報から要求された情報を提示する提示手段として機能させるための情報提示プログラム。
［２］カメラが撮像した画像から前記客及び前記店員を抽出する抽出手段としてさらに機能させ、
前記特定手段は、前記カメラが撮像した画像から、前記店員の行動内容又は前記客に対する前記店員の行動内容を特定する前記［１］に記載の情報提示プログラム。
［３］前記売り上げ情報に基づいて前記店員を評価する評価値を算出する評価手段としてさらに機能させ、
前記提示手段は、前記店員に関する情報として前記評価値を提示する前記［１］又は［２］に記載の情報提示プログラム。
［４］構造物内の店員の行動内容を特定する特定手段と、
前記構造物内の客と前記店員とを対応付ける対応付け手段と、
前記客に関係する売り上げ情報を取得する取得手段と、
前記客と、特定した前記行動内容と、取得した前記売り上げ情報とを、前記店員に関する情報として登録し、登録された情報から要求された情報を提示する提示手段とを有する情報処理装置。

請求項１又は４に係る発明によれば、人物に関連する情報として、当該人物の行動内容及び／又は当該行動内容に関連付けられた売り上げデータを提示することができる。
請求項２に係る発明によれば、カメラが撮像した画像から客及び店員を抽出することができる。
請求項３に係る発明によれば、売り上げ情報に基づいた評価値を店員に関する情報として提示することができる。

図１は、実店舗の構成例を示す概略図である。 図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。 図３は、行動内容特定手段の動作を説明するための図である。 図４は、接客情報の構成を示す概略図である。

［実施の形態］
（実店舗の構成）
図１は、実店舗の構成例を示す概略図である。

実店舗２は、例えば、コンビニエンスストア等の小売店であって、棚に設置された複数の商品２０ａ−２０ｄ、店舗の入口２１、レジ２２等の実店舗２に配置されたもの（以下、「対象物」という。）を有する。なお、商品２０ａ−２０ｄは商品単体であってもよいし、商品カテゴリを示すものであってもよいし、商品棚に陳列された商品群を示すものであってもよい。また、対象物には上記した例の他、トイレ、コピー機、キャッシュディスペンサー、自動販売機等であってもよい。また、据え置き型であってもよいし、実店舗２内を移動するものであってもよい。

実店舗２において、入口２１から入ってきた客３ａ、３ｂは、商品２０ａ−２０ｄを見たり探したりしながら、所望のものがあった場合には手に取ってレジ２２において店員４ｂの操作によって会計を済ます。レジ２２において会計がなされると、ＰＯＳシステム（Ｐｏｉｎｔ ｏｆ ｓａｌｅ ｓｙｓｔｅｍ）等の売り上げデータが保存される。

また、図示する例では、店員４ａは客３ａ、３ｂの接客をし、店員４ｃは商品２０ｃの整理をしている。また、店員４ａ−４ｃは、接客、商品整理、会計の他、見回り、呼び込み等の行動をする。

実店舗２にはカメラ１３が設置されており、後述する情報処理装置１によってカメラ１３で撮像された動画から人物として店員４ａ−４ｃ及び客３ａ、３ｂの位置が認識されるとともに、当該位置を時系列で記録することで店員４ａ−４ｃ及び客３ａ、３ｂの行動が認識される。また、カメラ１３で撮像された動画は画像認識され対象物の位置が認識される。

なお、カメラ１３は図中において単体を示しているが、複数台用意してもよく、通常のカメラの他、全方位カメラを用いることもできる。また、カメラ１３は動画を撮像するものであってもよいし、予め定めた間隔で静止画を撮像するものであってもよい。また、カメラ１３の設置位置は予め登録されているものとし、撮影した動画の画像中の座標と実店舗２内の位置座標とが対応付けられているものとする。

なお、ここで「動画」とは、時系列に沿って撮像された複数フレーム（静止画）の集合であり、当該複数フレームは時系列に沿って再生される。

（情報処理装置の構成）
図２は、実施の形態に係る情報処理装置の構成例を示すブロック図である。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワークを介して外部と通信する通信部１２と、動画又は静止画を撮像可能なカメラ１３とを備える。

制御部１０は、後述する情報提示プログラム１１０を実行することで、動画受付手段１００、人物抽出手段１０１、行動内容特定手段１０２、人物対応付け手段１０３、客属性抽出手段１０４、会話取得手段１０５、売り上げデータ取得手段１０６、店員評価手段１０７及び情報提示手段１０８等として機能する。

動画受付手段１００は、カメラ１３で撮像されて生成された動画情報を受信する。

人物抽出手段１０１は、動画受付手段１００が受信した動画のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。なお、人物抽出手段１０１は、当該人物が複数いる場合はそれぞれを識別するものとし、予め登録された人物（店員等）については、予め登録された画像に基づいて識別するものとしてもよい。予め登録された画像を特徴量に変換しておいてもよい。特徴量は、一例として、画像中からDifference of Gaussians演算により特徴点を抽出し、特徴点からSIFT特徴量を抽出して得られる。また、特徴量の他の例として、抽出された特徴点とその上位スケールの点との勾配情報から生成されるFIT（Fast Invariant Transform）特徴量を用いてもよい。

行動内容特定手段１０２は、人物抽出手段１０１が抽出した人物のそれぞれを時間経過とともに監視し、当該人物の行動内容を特定する。人物の行動内容の特定方法としては、予め登録した行動内容とのマッチングを行う、人物のオプティカルフロー等の手法を用いることができる。なお、行動内容は接客情報１１１の一項目として登録される。

人物対応付け手段１０３は、行動内容特定手段１０２が特定した人物の行動内容が他の人物に関係するものである場合、当該人物と当該他の人物とを対応付ける。なお、人物の対応付けに関する情報は接客情報１１１の一項目として登録される。

客属性抽出手段１０４は、人物抽出手段１０１が抽出した人物が客である場合、当該客の属性を動画情報から抽出する。属性は、例えば、年齢、性別、来店回数、来店人数等が挙げられる。なお、客の会員情報等が存在する場合であって当該会員情報から客を特定できる場合は、当該会員情報から属性を抽出してもよい。

会話取得手段１０５は、カメラ１３に備えられたマイクから客及び店員の会話を取得する。

売り上げデータ取得手段１０６は、レジ２２において会計がなされた場合にＰＯＳシステム等から売り上げデータを取得する。

店員評価手段１０７は、主に売り上げデータ取得手段１０６が取得した売り上げデータに基づいて商品を売った店員の評価値を算出し、評価する。なお、評価値は接客情報１１１の一項目として登録される。

情報提示手段１０８は、店員に関する情報として接客情報１１１の内容を、例えば、通信部１２を介して接続された外部の端末等から入力された条件に基づいて検索し、外部の端末の表示部に提示する。

記憶部１１は、制御部１０を上述した各手段１００−１０８として動作させる情報提示プログラム１１０及び接客情報１１１等を記憶する。

（情報処理装置の動作）
次に、本実施の形態の作用を、（１）情報生成動作、（２）情報提示動作に分けて説明する。

（１）情報生成動作

まず、カメラ１３は実店舗２内において客３ａ、３ｂ、店員４ａ−４ｃ、商品２０ａ−２０ｄ、入口２１及びレジ２２等を撮影し、動画情報を生成する。

情報処理装置１の動画受付手段１００は、カメラ１３で撮像されて生成された動画情報を受信する。

次に、人物抽出手段１０１は、動画受付手段１００が受信した動画のすべて又は一部のフレームに人物の画像が含まれている場合に当該人物を抽出する。なお、人物抽出手段１０１は、当該人物が複数いる場合はそれぞれを識別するものとし、予め登録された人物（店員等）については、予め登録された画像に基づいて識別する。

次に、行動内容特定手段１０２は、人物抽出手段１０１が抽出した人物のそれぞれを時間経過とともに監視し、当該人物の行動内容を特定する。また、人物の行動内容は以下に示すように人手によって行ってもよい。

図３は、行動内容特定手段１０２の動作を説明するための図である。

行動内容特定画面１０２ａは、情報処理装置１の図示しない表示部又は通信部１２を介して接続された外部の端末装置の表示部に表示される画面であり、カメラ１３によって撮像された動画表示領域１０２ａ_１と、当該動画領域１０２ａ_６の動画から人物抽出手段１０１によって抽出された人物を指し示す枠１０２ａ_２−１０２ａ_４と、枠１０２ａ_２が指し示す「店員」の行動内容を選択するためのボタン１０２ａ_５及び選択を決定するためのボタン１０２ａ_６と、枠１０２ａ_３が指し示す「客１」の行動内容を選択するためのボタン１０２ａ_７と、枠１０２ａ_４が指し示す「客２」の行動内容を選択するためのボタン１０２ａ_８及び選択を決定するためのボタン１０２ａ_９とを有する。

なお、行動内容特定手段１０２は、予め人物（店員、客）の行動内容候補を用意しておき、行動内容特定画面１０２ａに、その行動内容候補をすべて表示する。しかしながら、これに限らない。たとえば、行動内容特定手段１０２により複数の行動内容が候補として推定される場合には、その複数の行動内容候補を、行動内容特定画面１０２ａに表示してもよい。一方、行動内容特定手段１０２により人物の行動内容を１つに特定できる場合には、行動内容特定画面１０２ａを表示しなくてもよい。

当該画面を確認する管理者等は、ボタン１０２ａ_５−１０２ａ_９を操作して、「店員」、「客１」、「客２」の行動内容を特定する。

なお、行動内容は以下に示すように、接客情報１１１の一項目として登録される。

図４は、接客情報１１１の構成を示す概略図である。

接客情報１１１は、店員を識別する店員番号と、客を識別する客番号と、行動内容特定手段１０２によって特定された店員の行動内容と、特定された店員の行動の経過時間と、行動内容特定手段１０２によって特定された客の行動内容と、客属性抽出手段１０４によって抽出される年齢や来客人数等の客属性と、店員評価手段１０７によって算出される店員の評価値とを有する。

次に、人物対応付け手段１０３は、行動内容特定手段１０２が特定した人物の行動内容が他の人物に関係するものである場合、例えば、店員が客に対して接客中である場合等に、当該店員と当該客とを対応付ける。なお、人物の対応付けに関する情報は上記したように接客情報１１１の一項目として登録される。例えば、図４に示すように店員番号「１」の店員は行動「見渡し」をしていた客番号「１」の客に行動「声掛け」をしたため、店員番号「１」の店員と客番号「１」の客が対応付けられている。

次に、客属性抽出手段１０４は、人物抽出手段１０１が抽出した人物が客である場合、当該客の属性を動画情報から抽出する。例えば、図４に示すように、各客について当該客の推定年齢及び同行している客の人数を動画情報から抽出して接客情報１１１に登録する。

次に、会話取得手段１０５は、カメラ１３に備えられたマイクから客及び店員の会話を取得する。取得された会話は、例えば、自然言語処理等の技術により解析され、会話している人物、会話の種類（商談、雑談、独り言）等を特定する。

次に、売り上げデータ取得手段１０６は、レジ２２において会計がなされた場合にＰＯＳシステム等から売り上げデータを取得する。また、当該売り上げデータが、人物抽出手段１０１が抽出した人物のいずれに対応するものか判断する。

次に、店員評価手段１０７は、主に売り上げデータ取得手段１０６が取得した売り上げデータに基づいて商品を売った店員の評価値を算出し、評価する。なお、評価値は接客情報１１１の一項目として登録され、例えば、売り上げの金額や購入点数、商品を売るまでに要した時間等の数値から評価値が算出される。評価値の算出方法の一例として、評価値＝売上金額×α＋購入点数×β（α、βは重み付けの係数）としてもよい。

（２）情報提示動作
次に、情報提示手段１０８は、接客情報１１１の内容を、例えば、通信部１２を介して接続された外部の端末等から入力された条件に基づいて検索し、外部の端末の表示部に提示する。

情報提示手段１０８は、店員に関する情報を提示する。例えば、評価値が「８０」以上の項目を要求された場合、店員番号「１」と客番号「１」との接客情報、店員番号「１」と客番号「４」との接客情報を提示する。また、年齢や来客人数等の客属性によって接客情報をフィルタリングしてもよいし、店員番号ごとに平均評価値を算出してもよく、任意の項目でフィルタリング又は統計処理をして接客情報を出力する。また、店員の行動内容ごとに情報を提示してもよいし、特定の行動内容を抽出して、情報を提示してもよい。

（実施の形態の効果）
上記した実施の形態によれば、まず客と店員を識別して抽出し、接客行為が行われている場合に客と店員とを対応付けるとともに、当該客の売り上げデータを対応付けて接客情報１１１に登録したため、人物に関連する情報として、当該人物の行動内容及び／又は当該行動内容に関連付けられた売り上げデータを提示することができる。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

上記した本実施の形態においては、実店舗２における、店員の行動内容を特定するものであったが、実店舗２に限られるものではなく、構造物内における店員の行動内容を特定するものであってもよい。たとえば、構造物としては、飲食店、ショッピングモール、ビル、空港、駅、病院、学校、レジャー施設などが挙げられる。また、飛行機や船舶等のように移動するものであってもよい。たとえば、飲食店の場合は、店員の行動内容として、呼び込み、見回り、声掛け（メニューの説明、質疑応答）などに適用できる。そして、客に関する売り上げ情報は、客が注文したメニューや、レジで支払った額などが対応する。また、ビルや空港などの場合は、ビルや空港内で働く店員の行動内容を特定することとなる。

上記実施の形態では制御部１０の各手段１００〜１０８の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１ 情報処理装置
２ 実店舗
３ａ、３ｂ 客
４ａ−４ｃ 店員
１０ 制御部
１１ 記憶部
１２ 通信部
１３ カメラ
２０ａ−２０ｄ 商品
２１ 入口
２２ レジ
１００ 動画受付手段
１０１ 人物抽出手段
１０２ 行動内容特定手段
１０２ａ 行動内容特定画面
１０３ 人物対応付け手段
１０４ 客属性抽出手段
１０５ 会話取得手段
１０６ 売り上げデータ取得手段
１０７ 店員評価手段
１０８ 情報提示手段
１１０ 情報提示プログラム
１１１ 接客情報

［１］コンピュータを、
予め定められた複数の行動内容候補から構造物内の店員の行動内容を特定する特定手段と、
前記構造物内の客と前記店員とを対応付ける対応付け手段と、
前記客に関係する売り上げに基づいて前記店員を評価する評価値を算出する評価手段と、
前記客と、特定した前記行動内容と、前記評価値とを、前記店員に関する情報として登録し、登録された情報から要求された評価値を満たす行動内容を提示する提示手段として機能させるための情報提示プログラム。
［２］コンピュータを、
予め定められた複数の行動内容候補から構造物内の店員の行動内容を特定する特定手段と、
前記構造物内の客と前記店員とを対応付ける対応付け手段と、
前記客に関係する売り上げに基づいて前記店員を評価する評価値を算出する評価手段と、
前記客と、特定した前記行動内容と、前記評価値とを、前記店員に関する情報として登録し、登録された情報から要求された行動内容を満たす評価値を提示する提示手段として機能させるための情報提示プログラム。
［３］コンピュータを、
予め定められた複数の行動内容候補から構造物内の店員の行動内容を特定する特定手段と、
前記構造物内の客と前記店員とを対応付ける対応付け手段と、
前記客に関係する売り上げに基づいて前記店員を評価する評価値を算出する評価手段と、
前記客と、特定した前記行動内容と、前記評価値とを、前記店員に関する情報として登録し、登録された情報から要求された評価値を平均値で満たす店員の行動内容を提示する提示手段として機能させるための情報提示プログラム。
［４］カメラが撮像した画像から前記客及び前記店員を抽出する抽出手段としてさらに機能させ、
前記特定手段は、前記カメラが撮像した画像から、前記店員の行動内容又は前記客に対する前記店員の行動内容を特定する前記［１］−［３］のいずれかに記載の情報提示プログラム。
［５］前記特定手段は、前記予め定められた複数の行動内容候補として、少なくとも接客、商品整理、会計の他、見回り、呼び込みのいずれかを含むものから前記店員の行動内容を特定する前記［１］−［４］のいずれかに記載の情報提示プログラム。
［６］前記客に関係する売り上げ情報を取得する取得手段をさらに有し、
前記評価手段は、当該売り上げ情報に基づいて前記店員を評価する評価値を算出する［１］−［５］のいずれかに記載の情報提示プログラム。
［７］予め定められた複数の行動内容候補から構造物内の店員の行動内容を特定する特定手段と、
前記構造物内の客と前記店員とを対応付ける対応付け手段と、
前記客に関係する売り上げに基づいて前記店員を評価する評価値を算出する評価手段と、
前記客と、特定した前記行動内容と、前記評価値とを、前記店員に関する情報として登録し、登録された情報から要求された評価値を満たす行動内容を提示する提示手段とを有する情報処理装置。

請求項１又は７に係る発明によれば、要求された評価値を満たす行動内容を提示することができる。
請求項２に係る発明によれば、要求された行動内容を満たす評価値を提示することができる。
請求項３に係る発明によれば、要求された評価値を平均値で満たす店員の行動内容を提示することができる。
請求項４に係る発明によれば、カメラが撮像した画像から客及び店員を抽出することができる。
請求項５に係る発明によれば、行動内容候補として、接客、商品整理、会計の他、見回り、呼び込み等から店員の行動内容を特定することができる。
請求項６に係る発明によれば、売り上げ情報に基づいて店員を評価する評価値を算出することができる。

Claims (4)

1. コンピュータを、
   構造物内の店員の行動内容を特定する特定手段と、
   前記構造物内の客と前記店員とを対応付ける対応付け手段と、
   前記客に関係する売り上げ情報を取得する取得手段と、
   前記客と、特定した前記行動内容と、取得した前記売り上げ情報とを、前記店員に関する情報として登録し、登録された情報から要求された情報を提示する提示手段として機能させるための情報提示プログラム。
2. カメラが撮像した画像から前記客及び前記店員を抽出する抽出手段としてさらに機能させ、
   前記特定手段は、前記カメラが撮像した画像から、前記店員の行動内容又は前記客に対する前記店員の行動内容を特定する請求項１に記載の情報提示プログラム。
3. 前記売り上げ情報に基づいて前記店員を評価する評価値を算出する評価手段としてさらに機能させ、
   前記提示手段は、前記店員に関する情報として前記評価値を提示する請求項１又は２に記載の情報提示プログラム。
4. 構造物内の店員の行動内容を特定する特定手段と、
   前記構造物内の客と前記店員とを対応付ける対応付け手段と、
   前記客に関係する売り上げ情報を取得する取得手段と、
   前記客と、特定した前記行動内容と、取得した前記売り上げ情報とを、前記店員に関する情報として登録し、登録された情報から要求された情報を提示する提示手段とを有する情報処理装置。
   
   

Images