JP2016009470A - 販売支援システム、販売支援方法及びプログラム - Google Patents

Abstract

【課題】顔認識技術を有効に活用して商品の購入に要する手間を簡略化する。
【解決手段】商品の購入意図を受付ける操作部35、及び操作部35を操作した人物の画像を撮影する第１の撮影部IM1を備えるデジタルサイネージ装置10と、商品購入時の会計処理を行なう会計部60、及び会計部60を使用する商品購入者の画像を撮影する第２の撮影部IM2を備えるキャッシュレジスタ装置50と、操作部35での操作により受付けた商品の情報と第１の撮影部IM1で撮影した画像の情報とを関連付けてデータベース(DB)に記憶し、第２の撮影部IM2で撮影した顔画像の情報に基づいてDBを検索し、第１の撮影部IM1で撮影した画像と、第２の撮影部IM2で撮影した画像と、の類似度から、関連付けて記憶された商品の情報を抽出し、抽出した画像の情報及び商品の情報をキャッシュレジスタ装置50に提供する販売支援サーバSVとを有する。
【選択図】図１

Description

本発明は、例えば催事場など個々の商品の説明及び販売を効率的に実施する必要がある環境に好適な販売支援システム、販売支援方法及びプログラムに関する。

従来より、購入者個々の性別や年齢層等を求めて商品を変更するようにした自動販売機の技術が提案され、多くの場所で実機として運用されている。（例えば、特許文献１）

特開２０１１−２０３９５２号公報

上記特許文献に記載された技術を含めて、自動販売機で商品購入者の顔画像等から購入可能な商品を変更するようにした技術では、購入者の外見上の特徴から性別や年齢層など一般的な傾向としての商品の嗜好等を導き出すものとしており、実際に購入者が商品を購入する際の手間自体は、顔画像等から選択できる商品を変えない場合と同等である。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、顔認識技術を有効に活用して購入者が商品の購入に要する手間を簡略化することが可能な販売支援システム、販売支援方法及びプログラムを提供することにある。

本発明の一態様は、商品の購入意図を受付ける操作部、及び上記操作部を操作した人物の画像を撮影する第１の撮影部を備える第１の装置と、商品購入時の会計処理を行なう会計部、及び上記会計部を使用する商品購入者の画像を撮影する第２の撮影部を備える第２の装置と、上記操作部での操作により受付けた商品の情報と上記第１の撮影部で撮影した画像の情報とを関連付けて記憶する記憶部、上記第２の撮影部で撮影した画像の情報に基づいて上記記憶部を検索し、上記第１の撮影部で撮影された画像と、上記第２の撮影部で撮影された画像と、の類似度から、関連付けて記憶された商品の情報を抽出する検索部、及び上記検索部で検索した画像の情報及び商品の情報を上記会計部に提供する提供部を備える第３の装置と、を有することを特徴とする。

本発明によれば、顔認識技術を有効に活用して購入者が商品の購入に要する手間を簡略化することが可能となる。

本発明の一実施形態に係るシステム全体の構成を示す図。 同実施形態に係るデジタルサイネージ装置の外観構成を示す斜視図。 同実施形態に係るデジタルサイネージの電子回路の機能構成を示すブロック図。 同実施形態に係るキャッシュレジスタ装置の電子回路の機能構成を示すブロック図。 同実施形態に係るサイネージボードの操作ボタンへの操作に対してＣＰＵが実行する処理を示すフローチャート。 同実施形態に係るキャッシュレジスタ装置と販売支援サーバでの会計処理内容を示すフローチャート。 同実施形態に係るキャッシュレジスタ装置で表示される、店舗フロア内でのデジタルサイネージ装置を用いた購入予約状況を例示する図。 同実施形態に係るキャッシュレジスタ装置で表示される、デジタルサイネージ装置の稼働状況確認画面を例示する図。 同実施形態に係るキャッシュレジスタ装置で表示される、お客様のお買い上げ情報の画面を例示する図。 同実施形態に係キャッシュレジスタ装置で表示される、お客様のお買い上げ情報の画面を例示する図。

以下、本発明を店舗で使用される販売支援システムに適用した場合の一実施形態について、図面を参照して説明する。

図１は、同システム全体の接続構成を示すブロック図である。店舗フロア内に複数のデジタルサイネージ装置１０，１０，‥‥及びキャッシュレジスタ装置５０が設置される。これらデジタルサイネージ装置１０，１０，‥‥及びキャッシュレジスタ装置５０が、無線ＬＡＮ、インターネットを含むネットワークＮＷを介して、外部の販売支援サーバＳＶと接続される。

販売支援サーバＳＶは、当該店舗でデジタルサイネージ装置１０により商品の購入意図を受付けた購入者の顔画像と当該商品の情報等を関連付けて記憶するデータベース（ＤＢ）を備える。

図２は、上記デジタルサイネージ装置１０の外観構成を示す斜視図である。デジタルサイネージ装置１０はプロジェクタ技術を用いた電子マネキンであり、装置筐体１０Ａの上面前端側に、交換可能なサイネージボードＳＢが立設される。このサイネージボードＳＢは、デジタルサイネージ１０の本来は矩形の投影可能領域内に収まるように設置された、任意形状を有する半透過板状の構成を有する。

サイネージボードＳＢは、装置筐体１０Ａの上面に設けられた、図示しないリアプロジェクション方式の投影レンズから出射された光像が背面側から投影されることで、例えば図示するような画像を表示する。

このサイネージボードＳＢの下部寄りには複数、ここでは４個の操作ボタンＢ１〜Ｂ４を合わせて投影しており、当該ボタン中のいずれかを閲覧者がタッチ操作した場合、ボード取付け基部に配列された、それぞれが指向性を有するライン状の赤外線センサアレイにより当該操作位置が検知可能となっている。

さらに装置筐体１０Ａの前面には、このデジタルサイネージ装置１０の上記操作ボタンＢ１〜Ｂ４を操作する人物の顔画像を撮影するための撮影部ＩＭ１を備える。

次に図３によりデジタルサイネージ１０の主として電子回路の機能構成を説明する。画像メモリ２０に記憶されている投影用の画像データが読出され、システムバスＢＳを介して投影画像駆動部２１に送られる。

上記投影画像駆動部２１は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子２２を表示駆動する。

このマイクロミラー素子２２は、アレイ状に配列された複数個、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部２３から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部２３は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部２３が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。

また、ＬＥＤから出射された光を蛍光体に照射することで励起される、元の光とは波長が異なる原色光を用いるものとしても良い。この光源部２３からの原色光が、ミラー２４で全反射して上記マイクロミラー素子２２に照射される。

そして、マイクロミラー素子２２での反射光で光像が形成され、形成された光像が投影レンズ部２５を介して上記サイネージボードＳＢの背面に投射される。

上記撮影部ＩＭ１は、デジタルサイネージ装置１０の正面近傍にいる人物の顔の方向を向いた撮影レンズ部２７、及びこの撮影レンズ部２７の焦点位置に配設された固体撮像素子であるＣＭＯＳイメージセンサ２８を含む。

ＣＭＯＳイメージセンサ２８で得られる画像信号は、Ａ／Ｄ変換器２９でデジタル化された後、撮影画像処理部３０に送られる。

この撮影画像処理部３０は、上記ＣＭＯＳイメージセンサ２８を走査駆動して撮影動作を実行させ、撮影により得た画像データをデータファイル化して、後述するＣＰＵ３２に送出する。

上記各回路の動作すべてをＣＰＵ３２が制御する。このＣＰＵ３２は、メインメモリ３３及びプログラムメモリ３４と直接接続される。メインメモリ３３は、例えばＳＲＡＭで構成され、ＣＰＵ３２のワークメモリとして機能する。プログラムメモリ３４は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ３２が実行する動作プログラムや各種定型データ等を記憶する。

ＣＰＵ３２は、上記プログラムメモリ３４に記憶されている動作プログラムや定型データ等を読出し、メインメモリ３３に展開して記憶させた上で当該プログラムを実行することにより、このデジタルサイネージ１０を統括して制御する。またＣＰＵ３２は、ＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）を内蔵し、現在時刻を計時し続ける。

上記ＣＰＵ３２は、操作部３５からの操作信号に応じて各種投影動作を実行する。この操作部３５は、デジタルサイネージ１０の本体に備える、電源キーを含むいくつかの操作キーのキー操作信号、または上記サイネージボードＳＢの一部に仮想的に投影するボタンへの操作を検出する、上記赤外線センサアレイからの検出信号を受付け、受付けた操作に応じた信号を上記ＣＰＵ３２へ送出する。

上記ＣＰＵ３２はさらに、上記システムバスＢＳを介して音声処理部３６、無線ＬＡＮインタフェース（Ｉ／Ｆ）３８と接続される。
音声処理部３６は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声信号をアナログ化し、スピーカ部３７を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

無線ＬＡＮインタフェース３８は、無線ＬＡＮアンテナ３９を介して図示しない最寄りの無線ＬＡＮルータと接続し、データの送受を行なうもので、上記図１の販売支援サーバＳＶと交信する。

図４は、上記キャッシュレジスタ装置５０の主として電子回路の機能構成を示すブロック図である。

キャッシュレジスタ装置５０の筐体上面のオペレータに向けてメイン表示部５１とタッチパネル部５２とが一体になった入出力部が設けられる。メイン表示部５１は、カラー液晶パネルとその駆動回路とで構成され、表示コントローラ５３の制御により会計処理に必要な種々の画像を表示する。タッチパネル部５２は、上記メイン表示部５１上に一体にして透明電極膜で構成され、上記オペレータの手指等のタッチ操作に応じた座標信号を生成してタッチパネルコントローラ５４へ出力する。

また、上記キャッシュレジスタ装置５０の筐体上には、上記オペレータと相対向する側に向けてサブ表示部５５が設けられる。このサブ表示部５５では、会計処理時に購入された商品の単価や合計金額等を表示する。

さらに上記サブ表示部５５の上部に、同じく上記オペレータと相対向する側に向けた撮影部ＩＭ２が設けられる。この撮影部ＩＭ２では、キャッシュレジスタ装置５０の正面近傍にいる人物の顔の撮影する撮影レンズ部５６、及びこの撮影レンズ部５６の焦点位置に配設された固体撮像素子であるＣＭＯＳイメージセンサ５７を含む。

撮影レンズ部５６で得られる画像信号は、Ａ／Ｄ変換器５８でデジタル化された後、撮影画像処理部５９に送られる。

この撮影画像処理部５９は、上記ＣＭＯＳイメージセンサ５７を走査駆動して撮影動作を実行させ、撮影により得た画像データをデータファイル化して、後述するＣＰＵ６０に送出する。

上記表示コントローラ５３、タッチパネルコントローラ５４、サブ表示部５５、及び撮影画像処理部５９とＣＰＵ６０とがシステムバスＢＲを介してＣＰＵ６０と接続され、上記各回路の動作すべてをＣＰＵ６０が制御する。

このＣＰＵ６０は、メインメモリ６１及びプログラムメモリ６２と直接接続される。メインメモリ６１は、例えばＳＲＡＭで構成され、ＣＰＵ６０のワークメモリとして機能する。プログラムメモリ６２は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ６０が実行する会計処理を含む動作プログラムや各種定型データ等を記憶する。

上記ＣＰＵ６０は、操作部６３からの操作信号に応じて各種会計処理等を実行する。この操作部６３は、キャッシュレジスタ装置５０の本体に備える、電源キーを含むいくつかの操作キーのキー操作信号を受付け、受付けた操作に応じた信号を上記ＣＰＵ６０へ送出する。

上記ＣＰＵ６０はさらに、上記システムバスＢＲを介して印字部６４、無線ＬＡＮインタフェース（Ｉ／Ｆ）６５と接続される。
印字部６４は、例えば感熱ロール紙に対する売上伝票、領収証等の印字及び切断を行なう。

無線ＬＡＮインタフェース６５は、無線ＬＡＮアンテナ６６を介して図示しない最寄りの無線ＬＡＮルータと接続し、データの送受を行なうもので、上記図１の販売支援サーバＳＶと交信する。

次に上記実施形態の動作について説明する。
まず図５により、デジタルサイネージ装置１０で閲覧者が行なう操作に対応した処理内容について説明する。この図５は、その時点で設定されているデフォルトの商品に関する画像投影状態において、サイネージボードＳＢの操作ボタンＢ１〜Ｂ４に対して以下に示すような機能、すなわち、
Ｂ１：商品情報
Ｂ２：言語切替
Ｂ３：レジでお買い上げ
Ｂ４：設定なし
が割当てられているものとして、デジタルサイネージ装置１０のＣＰＵ３２が実行する処理を示す。

ＣＰＵ３２では、まず「商品情報」を示す操作ボタンＢ１が操作されたか否かを操作部３５からの信号により判断する（ステップＣ１０１）。
ここで操作ボタンＢ１が操作され、「商品情報」がお客様により求められてると判断した場合（ステップＣ１０１のＹｅｓ）、ＣＰＵ３２は画像メモリ２０から該当する商品情報用の動画コンテンツのデータを読出し、上記投影画像駆動部２１、マイクロミラー素子２２、光源部２３、ミラー２４、及び投影レンズ部２５からなる投影系において動画像を再生して投影させると共に、対応する音声データを音声処理部３６及びスピーカ部３７により再生して拡声出力させ、各再生終了後に再び再生以前の初期画像の投影状態に復帰した上で（ステップＣ１０２）、上記ステップＣ１０１からの処理に戻る。

また上記ステップＣ１０１で操作ボタンＢ１は操作されていないと判断した場合（ステップＣ１０１のＮｏ）、ＣＰＵ３２は次に「言語切替」を示す操作ボタンＢ２が操作されたか否かを操作部３５からの信号により判断する（ステップＣ１０３）。
操作ボタンＢ２が操作されたと判断した場合（ステップＣ１０３のＹｅｓ）、ＣＰＵ３２はあらたに操作ボタンＢ１〜Ｂ３において各言語の具体的な候補を、操作ボタンＢ４により上記操作ボタンＢ１〜Ｂ３では示されない他の候補への切替を促す画像を投影し、それらの操作に応じて、閲覧者が所望する言語での投影に切替える言語切替処理を実行した上で（ステップＣ１０４）、上記ステップＣ１０１からの処理に戻る。

また上記ステップＣ１０３で操作ボタンＢ２は操作されていないと判断した場合（ステップＣ１０３のＮｏ）、ＣＰＵ３２は次に「レジでお買い上げ」を示す操作ボタンＢ３が操作されたか否かを操作部３５からの信号により判断する（ステップＣ１０５）。
「レジでお買い上げ」を示す操作ボタンＢ３は操作されていないと判断した場合（ステップＣ１０５のＮｏ）、この時点では無効な操作ボタンＢ４が操作されたものとして、操作を無効化して、他の操作ボタンＢ１〜Ｂ３への操作を待機するべく、上記ステップＣ１０１からの処理に戻る。

また上記ステップＣ１０５で「レジでお買い上げ」を示す操作ボタンＢ３が操作されたと判断した場合（ステップＣ１０５のＹｅｓ）、ＣＰＵ３２は撮影部ＩＭ１によりボタンを操作したお客様の顔画像を撮影させる（ステップＣ１０６）。そして、撮影画像処理部３０から当該画像データを取得し、取得した画像データを、お買い上げがあった商品に関する情報、具体的には商品名と上記操作ボタンＢ３が操作された時刻の情報とを関連付けて上記販売支援サーバＳＶに送信した上で（ステップＣ１０７）、次の操作ボタンＢ１〜Ｂ３への操作を待機するべく、上記ステップＣ１０１からの処理に戻る。

図７は、キャッシュレジスタ装置５０のメイン表示部５１で表示される、店舗フロアでの複数台、例えば４台のデジタルサイネージ装置１０，１０，‥‥での売り上げ状態を示すマップ画像を例示している。同図では、「Ｆｌｏｏｒ」タグＴＧ１を操作することで当該表示画面となる。

店舗フロアとして、「０１」〜「０４」とナンバリングされた４台のデジタルサイネージ装置１０，１０，‥‥が並置され、これらデジタルサイネージ装置１０，１０，‥‥と相対するように、観葉樹（ｔｒｅｅ）を挟んでエントランス（ｅｎｔｒａｎｃｅ）があり、当該キャッシュレジスタ装置（Ｒｅｇｉｓｔｅｒ）５０及びカウンタ（Ｃｏｕｎｔｅｒ）が配置されている。

４台のデジタルサイネージ装置１０，１０，‥‥中、「０１」「０２」「０４」のデジタルサイネージ装置１０，１０，‥‥が購入予約がないことを白色で、「０３」のデジタルサイネージ装置１０のみが購入予約がなされた後にキャッシュレジスタ装置５０にて購入処理が終了した購入済状態を青色（横方向のハッチング）で識別して表示している。また、画面の右端部では、購入者（Ｃｕｓｔｏｍｅｒ）の顔画像が表示される。

このメイン表示部５１での表示画面は、キャッシュレジスタ装置５０が販売支援サーバＳＶからネットワークＮＷを介して取得したデータにより構築する。

図８は、キャッシュレジスタ装置５０のメイン表示部５１で表示される、デジタルサイネージ装置１０の稼働状況確認画面を例示する。同図で、「０１」のデジタルサイネージ装置１０は電源が投入されているが、未だ購入予約が１件もなされていない状態を白色で示している。

「０２」のデジタルサイネージ装置１０は、購入予約がなされたものの、まだお客様がキャッシュレジスタ装置５０での購入処理を終えていない状態をオレンジ色（のハッチング）で識別して示す。

「０３」のデジタルサイネージ装置１０は、上記図７と同じく、購入予約がなされた後にキャッシュレジスタ装置５０にて購入処理が終了した購入済状態を青色（横方向のハッチング）で示す。「０４」のデジタルサイネージ装置１０は、電源が未投入で稼働していない状態を示す。

次に図６によりキャッシュレジスタ装置５０と販売支援サーバＳＶとの間で実行される、デジタルサイネージ装置１０で購入予約を行なったお客様に対する会計処理について説明する。
キャッシュレジスタ装置５０においては、撮影部ＩＭ２により常時撮影状態として撮影画像処理部５９から画像データを取得し、その内容から、このキャッシュレジスタ装置５０に接近するお客様があるか否かを定期的に判断することで（ステップＣ３０１）、お客様の接近を待機している。

お客様の接近があったと判断した場合（ステップＣ３０１のＹｅｓ）、キャッシュレジスタ装置５０のＣＰＵ６０は、撮影部ＩＭ２にてあらためて接近したお客様の顔画像を撮影する（ステップＣ３０２）。

そして、撮影画像処理部５９から当該画像データを取得し、取得した画像データを上記販売支援サーバＳＶに送信した上で（ステップＣ３０３）、このデータ送信に対して販売支援サーバＳＶから何らかの応答があるのを待機する（ステップＣ３０４）。

販売支援サーバＳＶでは、キャッシュレジスタ装置５０から画像データが送信されてくるのを常時待機している（ステップＳ３０１）。

キャッシュレジスタ装置５０から送信されてきた画像データを受付けた時点で（ステップＳ３０１のＹｅｓ）、販売支援サーバＳＶではその画像データに基づいて、その時点でデータベースに記憶されている、お買い上げがあった商品に関する情報と関連付けられている画像データを検索し、顔画像の類似度を算出する（ステップＳ３０２）。

ここで販売支援サーバＳＶは、例えば類似度９０％を閾値として、送信されてきた画像データと類似度９０％以上の画像データを検索できたか否かにより、一致画像があったか否かを判断する（ステップＳ３０３）。

送信されてきた画像データと類似度９０％以上の画像データがあり、一致画像があったと判断した場合（ステップＳ３０３のＹｅｓ）、販売支援サーバＳＶはその画像データと関連付けられている商品に関する情報に基づいて送信データを作成した上で（ステップＳ３０４）、作成したデータをキャッシュレジスタ装置５０に対して送信し（ステップＳ３０５）、以上で一連の処理を一旦終了し、次のキャッシュレジスタ装置５０からのお買い上げ情報の受付けに備えるべく、上記ステップＳ１０１からの処理に戻る。

また上記ステップＳ３０３において、送信されてきた画像データと類似度９０％以上の画像データがなく、一致画像はなかったと判断した場合（ステップＳ３０３のＮｏ）、販売支援サーバＳＶでは類似度が高いと判断した上位の定数、例えば３つの画像データを選択した上で、それらの画像データと関連付けられている商品に関する情報に基づいて送信データを作成した上で（ステップＳ３０６）、作成したデータをキャッシュレジスタ装置５０に対して送信し（ステップＳ３０５）、以上で一連の処理を一旦終了し、次のキャッシュレジスタ装置５０からのお買い上げ情報の受付けに備えるべく、上記ステップＳ１０１からの処理に戻る。

キャッシュレジスタ装置５０では、販売支援サーバＳＶからの応答があったと判断すると（ステップＣ３０４のＹｅｓ）、販売支援サーバＳＶから与えられたお買い上げ情報の内容、具体的にはお買い上げ時が１つのみの場合と、複数ある場合とに応じた表示をメイン表示部５１で実行し、特に候補が複数ある場合にはそれらの中から正しいお客様を選択する操作を行なった上で（ステップＣ３０５）、実際の会計処理を実行し（ステップＣ３０６）、次のお客様に対処するべく、上記ステップＣ３０１からの処理に戻る。

図９は、キャッシュレジスタ装置５０を利用するお客様の顔画像と類似度９０％以上の画像データがあり、一致画像があったと判断した場合に販売支援サーバＳＶから送られてくるお買い上げ情報に基づいた、キャッシュレジスタ装置５０のメイン表示部５１での表示画面を例示する図である。

ここでは、お買い上げ内容を確認して会計処理を行なう「Ｃａｓｈ Ｒｅｉｓｔｅｒ」タグＴＧ３に自動的に切り替わり、画面の左側で商品名と売り上げ個数、及び消費税を抜いた本体価格等を表示する一方で、画面の右側では消費税込みの価格とそのうちの税価格分、上記お買い上げ情報に基づくデジタルサイネージ装置１０の端末番号や購入予約を行なった時刻、商品名、及び個数と、購入予約時に撮影したお客様の顔画像を表示する。

このキャッシュレジスタ装置５０のオペレータは、キャッシュレジスタ装置５０の前にいるお客様のメイン表示部５１で表示された内容を確認することで、速やかに会計処理に移行することができる。

図１０は、キャッシュレジスタ装置５０を利用するお客様の顔画像と類似度９０％以上の画像データがなく、一致画像はなかったと判断した場合に販売支援サーバＳＶから送られてくるお買い上げ情報に基づいた、キャッシュレジスタ装置５０のメイン表示部５１での表示画面を例示する図である。

ここでは、お客様を選択する「Ｃｏｓｔｏｍｅｒ Ｓｅｌｅｃｔ」タグＴＧ２に自動的に切り替わり、画面の左側と中央とで販売支援サーバＳＶから送られてきた候補となるお客様情報を列挙して表示すると共に、このキャッシュレジスタ装置５０の前にいるお客様の顔画像を撮影部ＩＭ２で撮影した結果を画面の右側で表示する。

候補となる個々のお買い上げ情報では、デジタルサイネージ装置１０で撮影したお客様の顔画像と、上記類似度を「認証一致率」として併記すると共に、デジタルサイネージ装置１０の端末番号、購入予約を行なった時刻、商品名、及び個数を表示する。

このキャッシュレジスタ装置５０のオペレータは、キャッシュレジスタ装置５０の前にいるお客様の顔とメイン表示部５１で表示された内容を確認し、複数、例えば３人の候補の中から１つをタッチ操作して選択することで、上記図９に示したような、お買い上げ内容を確認して会計処理を行なう「Ｃａｓｈ Ｒｅｉｓｔｅｒ」タグＴＧ３の画面に移行できる。

なお上記実施形態では、販売支援サーバＳＶがネットワークＮＷを介してデジタルサイネージ装置１０，１０，‥‥及びキャッシュレジスタ装置５０と接続されるシステム構成について説明したが、比較的小規模なシステム構成を構築する場合には、キャッシュレジスタ装置５０が販売支援サーバＳＶの機能を有するものとして、販売支援サーバＳＶとキャッシュレジスタ装置５０とを一体化した構成とすることも考えられる。

以上詳述した如く本実施形態によれば、顔認識技術を有効に活用して購入者が商品の購入に要する手間を簡略化することが可能となる。

なお、上記図１０のように、顔認識技術による類似度が閾値（例えば９０％）以下の場合には、類似度をより一層高めるため、顔画像の類似度だけでなく、撮影した上半身の画像も比較の対象とし、身につけている服装部分の画像から得られる情報を加味するようにしてもよい。

また上記実施形態では、顔画像の類似度が予め設定した閾値に至らない場合、関連付けて記憶された商品の情報と共に、より類似度の高い複数の顔画像の情報を抽出し、抽出した複数の顔画像の情報を候補として提供した上で、キャッシュレジスタ装置５０のオペレータ自身が目前に位置するお客様の顔画像を認識し、またお買い上げいただいた商品等を確認した上で候補を選択するものとしてもよく、顔認識技術で正確に認証できない部分を人間が補って、正しくシステムを運用できる。

さらに上記実施形態では、複数のデジタルサイネージ装置１０，１０，‥‥のうちのどれが商品の購入意図を受付けたのかを示す識別情報をキャッシュレジスタ装置５０で表示するものとしたので、特に顔認識技術によりお客様が特定できないような、顔の類似度が高くない状態にあって、お客様を正しく選択するための１つの指標となり得る。

なお上記実施形態はリアプロジェクション方式でサイネージボードＳＢに画像を背面側から投影するデジタルサイネージ装置１０について説明したが、本発明は画像の表示素子等を限定するものではない。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、商品の購入意図を受付ける操作部、及び上記操作部を操作した人物の画像を撮影する第１の撮影部を備える第１の装置と、商品購入時の会計処理を行なう会計部、及び上記会計部を使用する商品購入者の画像を撮影する第２の撮影部を備える第２の装置と、上記操作部での操作により受付けた商品の情報と上記第１の撮影部で撮影した画像の情報とを関連付けて記憶する記憶部、上記第２の撮影部で撮影した画像の情報に基づいて上記記憶部を検索し、上記第１の撮影部で撮影された画像と、上記第２の撮影部で撮影された画像と、の類似度から、関連付けて記憶された商品の情報を抽出する検索部、及び上記検索部で検索した画像の情報及び商品の情報を上記会計部に提供する提供部を備える第３の装置と、を有することを特徴とする。

請求項２記載の発明は、上記請求項１記載の発明において、上記画像は顔画像を含む画像であり、上記検索部は、上記第２の撮影部で撮影した顔画像との類似度が予め設定した閾値に至らない場合、関連付けて記憶された商品の情報と共に、より類似度の高い複数の顔画像の情報を抽出し、上記提供部は、商品の情報と共に抽出された複数の顔画像の情報を候補として提供することを特徴とする。

請求項３記載の発明は、上記請求項１記載の発明において、上記第１の装置を複数有し、上記提供部は、画像の情報及び商品の情報とともに当該商品の購入意図を受付けた第１の装置を識別する情報を上記会計部に提供することを特徴とする。

請求項４記載の発明は、商品の購入意図を受付ける操作部、及び上記操作部を操作した人物の画像を撮影する第１の撮影部を備える第１の装置と、購入時の会計処理を行なう会計部、及び上記会計部を使用する商品購入者の画像を撮影する第２の撮影部を備える第２の装置とを有するシステムでの販売支援方法であって、上記操作部での操作により受付けた商品の情報と上記第１の撮影部で撮影した画像の情報とを関連付けて記憶する記憶工程と、上記第２の撮影部で撮影した画像の情報に基づいて上記記憶工程で記憶した内容を検索し、上記第１の撮影部で撮影された画像と、上記第２の撮影部で撮影された画像と、の類似度から、関連付けて記憶された商品の情報を抽出する検索工程と、上記検索工程で検索した画像の情報及び商品の情報を上記会計部に提供する提供工程とを有することを特徴とする。

請求項５記載の発明は、商品の購入意図を受付ける操作部、及び上記操作部を操作した人物の画像を撮影する第１の撮影部を備える第１の装置と、購入時の会計処理を行なう会計部、及び上記会計部を使用する商品購入者の画像を撮影する第２の撮影部を備える第２の装置とを有するシステムが内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、上記操作部での操作により受付けた商品の情報と上記第１の撮影部で撮影した画像の情報とを関連付けて記憶する記憶部、上記第２の撮影部で撮影した画像の情報に基づいて上記記憶部で記憶した内容を検索し、上記第１の撮影部で撮影された画像と、上記第２の撮影部で撮影された画像と、の類似度から、関連付けて記憶された商品の情報を抽出する検索部、及び上記検索部で検索した画像の情報及び商品の情報を上記会計部に提供する提供部として機能させることを特徴とする。

１０…デジタルサイネージ装置、
１０Ａ…装置筐体、
２０…画像メモリ、
２１…投影画像駆動部、
２２…マイクロミラー素子２２、
２３…光源部、
２４…ミラー、
２５…投影レンズ部、
２７…撮影レンズ部、
２８…ＣＭＯＳイメージセンサ、
２９…Ａ／Ｄ変換器、
３０…撮影画像処理部、
３２…ＣＰＵ、
３３…メインメモリ、
３４…プログラムメモリ、
３５…操作部、
３６…音声処理部、
３７…スピーカ部、
３８…無線ＬＡＮインタフェース（Ｉ／Ｆ）、
３９…無線ＬＡＮアンテナ、
５０…キャッシュレジスタ装置、
５１…メイン表示部、
５２…タッチパネル部、
５３…表示コントローラ、
５４…タッチパネルコントローラ、
５５…サブ表示部、
５６…撮影レンズ部、
５７…ＣＭＯＳイメージセンサ、
５８…Ａ／Ｄ変換器、
５９…撮影画像処理部、
６０…ＣＰＵ、
６１…メインメモリ、
６２…プログラムメモリ、
６３…操作部、
６４…印字部、
６５…無線ＬＡＮインタフェース（Ｉ／Ｆ）、
６６…無線ＬＡＮアンテナ、
Ｂ１〜Ｂ４…操作ボタン、
ＢＲ…システムバス、
ＢＳ…システムバス、
ＩＭ１…撮影部、
ＩＭ２…撮影部、
ＮＷ…ネットワーク、
ＳＢ…サイネージボード、
ＳＶ…販売支援サーバ。

Claims (5)

1. 商品の購入意図を受付ける操作部、及び上記操作部を操作した人物の画像を撮影する第１の撮影部を備える第１の装置と、
   商品購入時の会計処理を行なう会計部、及び上記会計部を使用する商品購入者の画像を撮影する第２の撮影部を備える第２の装置と、
   上記操作部での操作により受付けた商品の情報と上記第１の撮影部で撮影した画像の情報とを関連付けて記憶する記憶部、上記第２の撮影部で撮影した画像の情報に基づいて上記記憶部を検索し、上記第１の撮影部で撮影された画像と、上記第２の撮影部で撮影された画像と、の類似度から、関連付けて記憶された商品の情報を抽出する検索部、及び上記検索部で検索した画像の情報及び商品の情報を上記会計部に提供する提供部を備える第３の装置と、
   を有することを特徴とする販売支援システム。
2. 上記画像は顔画像を含む画像であり、
   上記検索部は、上記第２の撮影部で撮影した顔画像との類似度が予め設定した閾値に至らない場合、関連付けて記憶された商品の情報と共に、より類似度の高い複数の顔画像の情報を抽出し、
   上記提供部は、商品の情報と共に抽出された複数の顔画像の情報を候補として提供する
   ことを特徴とする請求項１記載の販売支援システム。
3. 上記第１の装置を複数有し、
   上記提供部は、画像の情報及び商品の情報とともに当該商品の購入意図を受付けた第１の装置を識別する情報を上記会計部に提供する
   ことを特徴とする請求項１記載の販売支援システム。
4. 商品の購入意図を受付ける操作部、及び上記操作部を操作した人物の画像を撮影する第１の撮影部を備える第１の装置と、購入時の会計処理を行なう会計部、及び上記会計部を使用する商品購入者の画像を撮影する第２の撮影部を備える第２の装置とを有するシステムでの販売支援方法であって、
   上記操作部での操作により受付けた商品の情報と上記第１の撮影部で撮影した画像の情報とを関連付けて記憶する記憶工程と、
   上記第２の撮影部で撮影した画像の情報に基づいて上記記憶工程で記憶した内容を検索し、上記第１の撮影部で撮影された画像と、上記第２の撮影部で撮影された画像と、の類似度から、関連付けて記憶された商品の情報を抽出する検索工程と、
   上記検索工程で検索した画像の情報及び商品の情報を上記会計部に提供する提供工程と
   を有することを特徴とする販売支援方法。
5. 商品の購入意図を受付ける操作部、及び上記操作部を操作した人物の画像を撮影する第１の撮影部を備える第１の装置と、購入時の会計処理を行なう会計部、及び上記会計部を使用する商品購入者の画像を撮影する第２の撮影部を備える第２の装置とを有するシステムが内蔵したコンピュータが実行するプログラムであって、上記コンピュータを、
   上記操作部での操作により受付けた商品の情報と上記第１の撮影部で撮影した画像の情報とを関連付けて記憶する記憶部、
   上記第２の撮影部で撮影した画像の情報に基づいて上記記憶部で記憶した内容を検索し、上記第１の撮影部で撮影された画像と、上記第２の撮影部で撮影された画像と、の類似度から、関連付けて記憶された商品の情報を抽出する検索部、及び
   上記検索部で検索した画像の情報及び商品の情報を上記会計部に提供する提供部
   として機能させることを特徴とするプログラム。

Images