JP2021111127A - プログラム、表示制御方法、表示制御装置及びサイネージシステム - Google Patents

Abstract

【課題】タッチパネルディスプレイによる広告表示や告知の効果を高めることができるプログラム、表示制御方法、表示制御装置及びサイネージシステムを提供する。【解決手段】サイネージシステムの表示装置１１において、操作者によるタッチパネルディスプレイ４１の操作情報に加えて、カメラ４７の撮像画像を基に、操作者の属性を把握し、それに適合した画面表示を行う。カメラ４７を用いて、タッチパネルディスプレイ４１の周囲の画像や、操作者の画像を特定し、その撮像画像を基に、サイネージシステムに表示した広告や告知の効果を測定(推定)する。【選択図】図２

Description

本発明は、タッチパネルディスプレイの表示制御を行うプログラム、表示制御方法、表示制御装置及びサイネージシステムに関するものである。

タッチパネルディスプレイを用いた表示装置を用いて、広告表示や告知を行うサイネージシステムがある。
従来から、タッチパネルディスプレイにタッチして行われる操作に応じて、表示する動画を含む画像を一方的に生成して表示することが行われている。

特開２０１４−２０３２７３号公報

ところで、従来のサイネージシステムによる広告表示や告知の効果を高めたいという要請がある。
また、サイネージシステムによる広告表示や告知の効果を測定したいという要請がある。例えば、どのような属性を持つ人がどのような広告に興味を持った可能性があるかを測定したいという要請がある。

本発明はかかる事情に鑑みてなされたものであり、その目的は、タッチパネルディスプレイによる広告表示や告知の効果を高めることができるプログラム、表示制御方法、表示制御装置及びサイネージシステムを提供することである。
また、その他も目的は、タッチパネルディスプレイによる広告表示や告知の効果を測定することができるプログラム、表示制御方法、表示制御装置及びサイネージシステムを提供することである。

上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明の第１の観点のプログラムは、 タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置が実行するプログラムであって、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像と関連付けて記憶する記憶処理と、前記記憶処理で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理とを前記表示制御装置に実行させる。

好適には、前記表示制御装置は、顔認証処理を行う顔認証サーバに前記撮像画像を送信し、前記顔認証サーバから顔認証結果を受信する顔認証通信処理を行い、前記閲覧情報生成処理は、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果を基に前記閲覧情報を生成する。

好適には、前記記憶処理で記憶された前記操作情報と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示画像を見たが操作をしていない人の属性と、前記タッチパネルディスプレイを操作した操作者の属性との少なくとも一方を特定する属性特定処理を行う。

好適には、前記撮像画像を基に顔画像認識の可能性が一定以上あるかの判定処理をさらに行い、前記顔認証通信処理は、前記判定処理で顔画像認識の可能性が一定以上あると判定したことを条件に、顔認証サーバに前記撮像画像を送信する。

好適には、前記顔認証通信処理は、前記撮像画像を基に、前記操作者が前記タッチパネルディスプレイの正面に顔を向けたタイミングを特定し、当該特定したタイミングの撮像画像を前記顔認証サーバに送信する。

好適には、前記操作情報と前記撮像画像とを基に、前記操作者毎に、当該操作者が前記操作を行った時間を特定する分析処理をさらに行う。

好適には、前記関連付けられた前記操作情報と前記撮像画像を基に前記タッチパネルディスプレイを操作した操作者の属性を特定し、当該属性を基に、タッチパネルディスプレイに表示した商品又はサービスを前記操作者が購入する可能性を特定する購入可能性特定処理を行う。

好適には、前記記憶処理で記憶された前記操作情報と前記撮像画像を基に、前記タッチパネルディスプレイの操作者に適合した画像を前記タッチパネルディスプレイに表示する表示処理を行い、前記表示処理では、前記購入可能性特定処理で特定した前記可能性を基に、前記タッチパネルディスプレイに表示を行う。

本発明の表示制御方法は、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置に表示する画像を制御する表示制御方法であって、前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像とを関連付けて記憶する記憶工程と、前記記憶工程で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成工程とを行う。

本発明の表示制御装置は、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置であって、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像とを関連付けて記憶する記憶手段と、前記記憶手段に記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成手段とを有する。

本発明のサイネージシステムは、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と、前記表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置と、を有し、前記表示制御装置は、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像とを関連付けて記憶する記憶処理と、前記記憶処理で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理とを行う。
また、本発明のプログラムは、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置の前記タッチパネルディスプレイに表示する画像を制御する前記表示装置が実行するプログラムであって、前記タッチパネルディスプレイの操作情報と、当該操作情報に対応する前記カメラの撮像画像と関連付けて記憶する記憶処理と、前記記憶処理で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理とを前記表示装置に実行させる。

本発明によれば、タッチパネルディスプレイによる広告表示や告知の効果を高めることができるプログラム、表示制御方法、表示制御装置及びサイネージシステムを提供することができる。
また、本発明によれば、タッチパネルディスプレイによる広告表示や告知の効果を測定することができるプログラム、表示制御方法、表示制御装置及びサイネージシステムを提供することができる。

図１は、本発明の第１実施形態に係るサイネージシステムの全体構成図である。 図２は、図１に示す表示装置の機能ブロック図である。 図３は、図２に示す表示装置のタッチパネルディスプレイとカメラ４７との位置を説明するための図である。 図４は、図１に示す表示制御装置の機能ブロック図である。 図５は、図４に示す表示制御装置の分析内容を説明するための図である。 図６は、図１に示すサイネージシステムの機能を説明するための図である。 図７は、図１に示す第１実施形態のサイネージシステムの動作例を説明するためのフローチャートである。 図８は、図１に示す第１実施形態のサイネージシステムの変形例を説明するためのフローチャートである。 図９は、本発明の第２実施形態に係るサイネージシステムの全体構成図である。

以下、本発明の実施形態に係る作業現場用サイネージシステムについて説明する。
［第１実施形態］
図１は、本発明の実施形態に係るサイネージシステム１の全体構成図である。
図１に示すように、サイネージシステム１は、例えば、表示装置１１、顔認証サーバ２１及び表示制御装置３１を有する。
表示装置１１、顔認証サーバ２１及び表示制御装置３１は、インターネット等の通信ネットワーク９を介して通信を行う。
表示装置１１は、商業施設や社内等の表示装置設置領域７に設置されている。

本実施形態において記載する表示装置１１又は表示制御装置３１の一方の処理の少なくとも一部は、他方の装置で実行するようにしてもよい。

［表示装置１１（デジタルサイネージ）］
以下、表示装置１１について説明する。
図２は、図１に示す表示装置１１の構成図である。
図２に示すように、表示装置１１は、例えば、タッチパネルディスプレイ４１、操作部４３、通信部４５、カメラ４７、メモリ４９及び処理部５１を有する。

タッチパネルディスプレイ４１は、表示装置１１の正面側に位置する人向けに広告画像、通知画像、操作画面等の画像を同時にあるいは選択的に表示する。

タッチパネルディスプレイ４１には、例えば、表示可能な複数の選択用画像のサムネイルを含む管理者用選択画面が表示される。サムネイル画像を指等で触れることで拡大（全画面）表示される。

タッチパネルディスプレイ４１は、ユーザによって指等で画面がタッチされると、そのタッチした位置情報を処理部５１に出力する。

操作部４３は、電源をオン／オフ等する操作スイッチである。

通信部４５は、顔認証サーバ２１及び表示制御装置３１と通信を行うインタフェースである。

カメラ４７は、図２に示すように、タッチパネルディスプレイ４１の正面側の所定範囲を撮像するように設置されている。

処理部５１は、表示制御装置３１からの信号、あるいはタッチパネルディスプレイ４１からの位置情報に応じた操作情報に基づいて、タッチパネルディスプレイ４１の画面表示制御を行う。
また、処理部５１は、通信部４５を介して表示制御装置３１から受信した表示画面情報に応じたタッチパネルディスプレイ４１の画面表示処理を行う。

処理部５１は、上記操作情報を基にメニュー画面等において表示した複数の前記画像のうち、タッチされた画像をタッチから時刻情報と共に特定する操作情報を生成し、これをメモリ５７に記憶する。

処理部５１は、カメラ４７からの撮像画像と、上記操作情報とを関連付けてカメラ４７に記憶する。
処理部５１は、所定のタイミングで、メモリ５７から撮像画像及び操作情報を読み出して表示制御装置３１に送信する。

タッチパネルディスプレイ４１は、常にリモート管理サービスにて遠隔管理され、遠方より設定変更、稼働管理ができる仕組みになっている。
タッチパネルディスプレイ４１に表示される画像は、例えば、表示制御装置３１経由で更新が可能で、スマートフォン、タブレット、パーソナルコンピューターで書き換え更新が可能である。

［表示制御装置３１（クラウンドサーバ）］
表示制御装置３１は、表示装置設置領域７以外の場所に設けられ、通信ネットワーク９を介して表示装置１１及び顔認証サーバ２１と通信を行う。
表示制御装置３１は、アプリケーションプログラムＡＰを実行することで、本実施形態で規定する機能を実現する。
具体的には、表示制御装置３１は、表示装置１１に表示する画像を制御する処理を行う。

表示制御装置３１は、表示装置１１に表示する単数又は複数の画像を選択し、当該選択した画像の前記表示装置への表示形態を指定する管理者用選択画面の表示処理を行う。
表示制御装置３１は、管理者用選択画面で選択された画像を、指定された形態で表示装置１１に表示する表示処理を行う。

図３は、図１に示す表示制御装置３１の構成図である。
図３に示すように、表示制御装置３１は、例えば、通信部６１、メモリ６３及び処理部６５を有する。

通信部６１は、図1に示す表示装置１１及び顔認証サーバ２１と通信を行う。

メモリ６３は、表示装置１１から受信した操作情報、撮像画像及び顔認証結果を関連付けて記憶する。このとき、操作情報には操作が行われた時刻情報が含まれ、あるいは関連付けられている。また、撮像画像及び顔認証結果には、撮像が行われた時刻情報が含まれ、あるいは関連付けられている。
また、メモリ６３は、表示制御装置３１の処理を規定するプログラムＰＲＧ、並びにその処理に用いられるデータを記憶する。

処理部６５は、通信部６１が表示装置１１から受信したタッチパネルディスプレイ４１の操作情報と、当該操作情報に関連付けられた表示装置１１から受信したカメラ４７の撮像画像とを関連付けてメモリ６３記憶する記憶処理を行う。

処理部６５は、上記記憶処理で記憶された操作情報と撮像画像を基に、タッチパネルディスプレイ４１の操作者に適合した画像をタッチパネルディスプレイ４１に表示する表示処理を行う。

処理部６５は、上記記憶処理で記憶された操作情報と撮像画像を基に、撮像画像を見たが操作をしていない人の属性、並びにタッチパネルディスプレイ４１を操作した操作者の属性とを特定する属性特定処理を行う。

処理部６５は、図1に示す顔認証処理を行う顔認証サーバ３１にメモリ６３から撮像画像を読み出して送信し、顔認証サーバ２１から顔認証結果を受信してメモリ６３に記憶する顔認証通信処理を行う。

処理部６５は、顔認証通信処理に応じて顔認証サーバ２１から受信した顔認証結果を基に前記表示を行う。
顔認証結果は、例えば、年齢、性別、人数等である。また、個別の人物を特定するようにしてもよい。

処理部６５は、メモリ６３に記憶した撮像画像を基に顔画像認識の可能性が一定以上あるかの判定処理を行う。
処理部６５は、判定処理で顔画像認識の可能性が一定以上あると判定したことを条件に、顔認証サーバ２１に撮像画像を送信するように顔認証通信処理を行う。

また、処理部６５は、撮像画像を基に、操作者がタッチパネルディスプレイ４１の正面に顔を向けたタイミングを特定し、当該特定したタイミングの撮像画像を顔認証サーバ２１に送信するように上記顔認証通信処理を行う。

また、処理部６５は、メモリ６３から読み出した操作情報と前記撮像画像とを基に、操作者毎に、当該操作者が前記操作を行った時間を特定する分析処理をさらに行う。
また、当該分析処理は、タッチパネルディスプレイ４１の前で立ち止まったかどうか、タッチパネルディスプレイ４１を見たかどうか等を分析してもよい。
また、処理部６５は、当該分析処理において、撮像画像と操作情報とを基に、各操作者の操作時間を特定してもよい。

また、処理部６５は、上記関連付けられた操作情報と撮像画像を基にタッチパネルディスプレイ４１を操作した操作者の属性を特定し、当該属性を基に、タッチパネルディスプレイ４１に表示した商品又はサービスを前記操作者が購入する可能性を特定する購入可能性特定処理を行う。

また、処理部６５は、上記購入可能性特定処理で特定した上記可能性を基に、タッチパネルディスプレイ４１に表示を行う。

処理部６５は、撮像画像を基に、例えば、図５に示すような操作者の属性を分析及び表示する。
図６は、図１に示すサイネージシステムの機能を説明するための図である。

以下、サイネージシステム１の動作例を説明する。
図７は、図１に示すサイネージシステム１の動作例を説明するためのフローチャートである。
以下、図７に示す各ステップを説明する。
ステップＳＴ１１：
図２に示す表示装置１１の処理部５１は、タッチパネルディスプレイ４１からの操作情報を基に、タッチパネル操作があったか否かを判定する。処理部５１は、肯定判定の場合に、ステップＳＴ１１に進み、そうでない場合にステップＳＴ２１の処理を繰り返す。

ステップＳＴ１２：
表示装置１１の処理部５１は、カメラ４７の撮像画像をメモリ４９に記憶する。このとき、処理部５１は、ステップＳＴ１１のタッチパネル操作があったタイミングの撮像画像を認証用の撮像画像としてメモリ４９に記憶する。

ステップＳＴ１３：
処理部５１は、操作者によるタッチパネルディスプレイ４１のタッチパネルのタッチ位置に応じた操作情報を取得し、カメラ４７に記憶する。

ステップＳＴ１４：
処理部５１は、ステップＳＴ１２で記憶した撮像画像と、ステップＳＴ１３で記憶した操作情報とを関連付ける。

ステップＳＴ１５：
処理部５１は、ステップＳＴ１４で関連付けた撮像画像と操作情報とを表示制御装置３１に送信する。
表示制御装置３１の処理部６５は、受信した撮像画像と操作情報をメモリ６３に記憶する。

ステップＳＴ１６：
表示制御装置３１の処理部６５は、ステップＳＴ１５でメモリ６３に記憶した認証用の撮像画像を、通信部６１を介して顔認証サーバ２１に送信する。
顔認証サーバ２１は、表示制御装置３１から受信した撮像画像を基に顔認証を行い、顔認証結果を表示制御装置３１に送信する。
表示制御装置３１の処理部６５は、通信部６１で受信し顔認証結果をメモリ６３に記憶する。

ステップＳＴ１７：
表示制御装置３１の処理部６５は、メモリ６３に関連付けて記憶された撮像画像、顔認証結果及び操作情報を基に、タッチパネルディスプレイ４１の表示画像を見たが操作をしていない人の属性、タッチパネルディスプレイ４１を操作した操作者の属性の少なくとも一方を特定し、当該特定した属性情報をメモリ６３に記憶する属性特定処理を行う。

ステップＳＴ１８：
表示制御装置３１の処理部６５は、属性を特定した人物に適合した画像をタッチパネルディスプレイ４１に表示する表示処理を行う。

ステップＳＴ１９：
表示制御装置３１の処理部６５は、メモリ６３に関連付けて記憶された撮像画像、顔認証結果及び操作情報を基に、タッチパネルディスプレイ４１の表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理を行う。
当該閲覧情報生成処理では、タッチパネルディスプレイ４１を操作した人物（どの属性の人物）が、どの表示内容を見たか、どの操作を行ったかを示す閲覧情報を生成する。
当該閲覧情報は、前述したように、操作情報、撮像画像及び顔認証結果のそれぞれに関連付けられた時刻情報を基に生成される。
また、処理部６５は、記憶された操作情報と、顔認証通信処理に応じて顔認証サーバから受信した顔認証結果とを基に、タッチパネルディスプレイ４１の表示画像を見たが操作をしていない人の属性と、タッチパネルディスプレイ４１を操作した操作者の属性との少なくとも一方を特定する属性特定処理を行うようにしてもよい。
また、これにより、タッチパネルディスプレイ４１を操作した人と、操作はしてないがタッチパネルディスプレイ４１に表示された情報を見た(確認した)人を特定される。

以上説明したように、サイネージシステム１によれば、操作者によるタッチパネルディスプレイ４１の操作情報に加えて、カメラ４７の撮像画像を基に、操作者の属性を把握し、それに適合した画面表示を行う。そのため、タッチパネルディスプレイ４１に表示する広告や告知の効果を高めることができる。
また、サイネージシステム１によれば、カメラ４７を用いて、タッチパネルディスプレイ４１の周囲の画像や、操作者の画像を特定でき、その撮像画像を基に、サイネージシステム１に表示した広告や告知の効果を測定(推定)することができる。

サイネージシステム１によれば、表示制御装置３１において、カメラ４７で撮像された操作者が何のコンテンツを操作したのかを測定し、操作時間、操作内容、を定量化することができる。これにより、広告効果を測定することができ、誰がどんなコンテンツに興味を持ったのかを判定できるインタラクティブ広告表示が可能になる。
また、サイネージシステム１によれば、広告効果ばかりではなく例えば工事現場の近隣用に設置された場合に、近隣住民がどんなお知らせを見ていたのかどんなコンテンツを興味持ったのかを定量化できる。

様々な事業所では、掲示板に様々なお知らせ及び注意喚起、安全対策、衛生管理のための掲示物が貼られている。しかしながら、作業者がその掲示物を閲覧したかどかが管理者側ではわからない。
サイネージシステム１によれば、前述したように、タッチパネル式ＰＣ及び大型モニターを利用し作業者に告知内容を確認閲覧させ、その誰がその掲示物を確認したのかを顔認証マッチングさせ、その日時、閲覧時間を出力帳票として出すことができる。
また、本実施形態によれば、タッチパネルディスプレイ４１に表示した様々な掲示に対し、関係者が掲示を閲覧したか否かを管理者が確認でき、コンプライアンスの遵守及び、エビデンスの確認、告知効果の測定が可能となり、掲示閲覧に関する証明が可能となる。

＜第１実施形態の変形例＞
図８は、本発明の第１実施形態の変形例の動作例を説明するためのフローチャートである。
図８において、図７と同じ符号を付したステップは第１実施形態で説明したステップと同じである。

ステップＳＴ２２：
表示制御装置３１の処理部６５は、メモリ４９に記憶した印象の撮像画像を基に顔認証サーバ２１
による有効な顔画像認識の可能性が一定以上あるかの判定処理を行う。
処理部６５は、例えば、一定間隔で取得された認証用の撮像画像を、ＯｐｅｎＣＶ等の簡易的な顔認識処理ができるか否かの判定処理を行う。
処理部６５は、判定結果が工程判定の場合にステップＳＴ２１に進み、否定判定の場合にはステップＳＴ１１に戻る。

ステップＳＴ２２：
表示制御装置３１の処理部６５は、ステップＳＴ２１で肯定判定を受けた認証用の撮像画像を、通信部６１を介して顔認証サーバ２１に送信する。

本変形例では、判定処理で肯定判定を受けた撮像画像のみを顔認証サーバ２１に送信して顔認証を行う。そのため、顔認証サーバ２１における顔認証が有料である場合に、無駄な有効な顔認証結果を得られない無駄な顔認証処理を行うことを回避できる。

＜第２実施形態＞
図９は、本発明の第２実施形態に係るサイネージシステム１０１の全体構成図である。
図９に示すように、サイネージシステム１０１は、例えば、第１実施形態で説明した表示制御装置３１の機能を表示装置１１が備えている。
表示装置１１は、顔認証サーバ２１と通信を行う。
この構成によっても、第１実施形態と同様の効果を得られる。
また、サイネージシステム１０１では、第１実施形態で説明した表示制御装置３１の全ての機能を表示装置１１に搭載した場合を例示したが、表示装置１１とは別に表示制御装置３１を設け、表示制御装置３１の一部の機能を表示装置１１に搭載するようにしてもよい。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

また、上述した第１実施形態では、図１に示すように、表示制御装置３１が一つの表示装置１１の表示制御をする場合を例示したが、表示制御装置３１が複数の表示装置１１の表示制御を行うようにしてもよい。
この場合に、表示制御装置３１は、複数の表示装置１１から受信した撮像画像を基に、各表示装置１１に表示する画像を決定するようにしてもよい。

サイネージシステム１，１０１において、不動産業界においてもマンションや宅地分譲、又は空き家の案内告知の無料案内所として表示装置１１を設置し、操作者の人物を特定し広告効果を高めるようにしてもよい。
例えば、サイネージシステム１，１０１は、オンラインのチャイムも内蔵しており、広告効果に興味を持った人物がコールセンターへ直接通話できるようにしてもよい。
また、表示制御装置３１は、操作者によるタッチパネルディスプレイ４１の操作に応じて、分譲住宅の完成予定図、間取り図、価格、週環境、日当たり、騒音等を示す画像を表示するように制御してもよい。

表示制御装置３１は、撮像画像及び操作情報を基に、購入可能性予測を行う。また、表示制御装置３１は、購入可能性が一定レベルを超えた場合に、所定の営業マンに連絡するようにしてもよい。
購入可能予測は、例えば、撮像画像に夫婦が確認できれば可能性を高めたり、来場回数が高いと可能性を高めたりする。
また、タッチパネルディスプレイ４１にゲームが搭載されている場合に、同一人物には一定回数以下しかゲーム使用を認めないようにしてもよい。

また、タッチパネルディスプレイ４１を物流倉庫や社内等に設置した場合に、タッチパネルディスプレイ４１に表示した告知を見た人の数や誰が見たかを撮像画像から分析処理により特定するようにしてもよい。
これにより、どのように告知を表示すれば、見られる回数が増えるか等を分析・学習できる。

また、タッチパネルディスプレイ４１の処理部６５に学習機能を持たせ、撮像画像及び操作情報を基に、目的に対して一番効果がでるタッチパネルディスプレイ４１の表示画像制御ができるよう学習してもよい。

本発明は、広告や告知を行うサイネージシステムに適用可能である。

１０１…サイネージシステム
７…表示装置設置領域
１１…表示装置
４１…タッチパネルディスプレイ
４３…操作部
４５…通信部
４７…カメラ
４９…メモリ
２１…顔認証サーバ
３１…表示制御装置
６１…通信部
６３…メモリ
６５…処理部

本発明のプログラムは、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置が実行するプログラムであって、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像と関連付けて記憶する記憶処理と、顔認証処理を行う顔認証サーバに前記撮像画像を送信し、前記顔認証サーバから顔認証結果を受信する顔認証通信処理と、前記記憶処理で記憶された前記操作情報と前記撮像画像と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理と、前記記憶処理で記憶された前記操作情報と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示画像を見たが操作をしていない人の属性と、前記タッチパネルディスプレイを操作した操作者の属性とを特定する属性特定処理と、前記撮像画像を基に顔画像認識の可能性が一定以上あるか否かの判定処理とを前記表示制御装置に実行させ、前記顔認証通信処理は、前記撮像画像を基に、前記操作者が前記タッチパネルディスプレイの正面に顔を向けたタイミングを特定し、前記判定処理で顔画像認識の可能性が一定以上あると判定したことを条件に、前記特定したタイミングの撮像画像を前記顔認証サーバに前記撮像画像を送信する。

好適には、前記関連付けられた前記操作情報と前記撮像画像を基に前記タッチパネルディスプレイを操作した操作者の属性を特定し、当該属性を基に、タッチパネルディスプレイに表示した商品又はサービスを前記操作者が購入する可能性を特定する購入可能性特定処理を行う。

好適には、前記記憶処理で記憶された前記操作情報と前記撮像画像を基に、前記タッチパネルディスプレイの操作者に適合した画像を前記タッチパネルディスプレイに表示する表示処理を行い、前記表示処理では、前記購入可能性特定処理で特定した前記可能性を基に、前記タッチパネルディスプレイに表示を行う。

本発明の表示制御方法は、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置に表示する画像を制御する表示制御方法であって、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像と関連付けて記憶する記憶工程と、顔認証工程を行う顔認証サーバに前記撮像画像を送信し、前記顔認証サーバから顔認証結果を受信する顔認証通信工程と、前記記憶工程で記憶された前記操作情報と前記撮像画像と、前記顔認証通信工程に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成工程と、前記記憶工程で記憶された前記操作情報と、前記顔認証通信工程に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示画像を見たが操作をしていない人の属性と、前記タッチパネルディスプレイを操作した操作者の属性とを特定する属性特定工程と、前記撮像画像を基に顔画像認識の可能性が一定以上あるか否かの判定工程とを行い、前記顔認証通信工程は、前記撮像画像を基に、前記操作者が前記タッチパネルディスプレイの正面に顔を向けたタイミングを特定し、前記判定工程で顔画像認識の可能性が一定以上あると判定したことを条件に、前記特定したタイミングの撮像画像を前記顔認証サーバに前記撮像画像を送信する。

本発明の制御方法は、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置に表示する画像を制御する表示制御方法であって、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像と関連付けて記憶する記憶工程と、顔認証工程を行う顔認証サーバに前記撮像画像を送信し、前記顔認証サーバから顔認証結果を受信する顔認証通信工程と、前記記憶工程で記憶された前記操作情報と前記撮像画像と、前記顔認証通信工程に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成工程と、前記記憶工程で記憶された前記操作情報と、前記顔認証通信工程に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示画像を見たが操作をしていない人の属性と、前記タッチパネルディスプレイを操作した操作者の属性とを特定する属性特定工程と、前記撮像画像を基に顔画像認識の可能性が一定以上あるか否かの判定工程とを行い、前記顔認証通信工程は、前記撮像画像を基に、前記操作者が前記タッチパネルディスプレイの正面に顔を向けたタイミングを特定し、前記判定工程で顔画像認識の可能性が一定以上あると判定したことを条件に、前記特定したタイミングの撮像画像を前記顔認証サーバに前記撮像画像を送信する。
表示制御方法。

本発明の表示制御装置は、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置に表示する画像を制御する表示制御装置であって、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像と関連付けて記憶する記憶処理と、顔認証処理を行う顔認証サーバに前記撮像画像を送信し、前記顔認証サーバから顔認証結果を受信する顔認証通信処理と、前記記憶処理で記憶された前記操作情報と前記撮像画像と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理と、前記記憶処理で記憶された前記操作情報と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示画像を見たが操作をしていない人の属性と、前記タッチパネルディスプレイを操作した操作者の属性とを特定する属性特定処理と、前記撮像画像を基に顔画像認識の可能性が一定以上あるか否かの判定処理とを行い、前記顔認証通信処理は、前記撮像画像を基に、前記操作者が前記タッチパネルディスプレイの正面に顔を向けたタイミングを特定し、前記判定処理で顔画像認識の可能性が一定以上あると判定したことを条件に、前記特定したタイミングの撮像画像を前記顔認証サーバに前記撮像画像を送信する。

本発明のサイネージシステムは、タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と、前記表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置と、を有し、前記表示制御装置は、前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像と関連付けて記憶する記憶処理と、顔認証処理を行う顔認証サーバに前記撮像画像を送信し、前記顔認証サーバから顔認証結果を受信する顔認証通信処理と、前記記憶処理で記憶された前記操作情報と前記撮像画像と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理と、前記記憶処理で記憶された前記操作情報と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示画像を見たが操作をしていない人の属性と、前記タッチパネルディスプレイを操作した操作者の属性とを特定する属性特定処理と、前記撮像画像を基に顔画像認識の可能性が一定以上あるか否かの判定処理とを行い、前記顔認証通信処理は、前記撮像画像を基に、前記操作者が前記タッチパネルディスプレイの正面に顔を向けたタイミングを特定し、前記判定処理で顔画像認識の可能性が一定以上あると判定したことを条件に、前記特定したタイミングの撮像画像を前記顔認証サーバに前記撮像画像を送信する。

Claims (12)

1. タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置が実行するプログラムであって、
   前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像と関連付けて記憶する記憶処理と、
   前記記憶処理で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理と
   を前記表示制御装置に実行させるプログラム。
2. 前記表示制御装置は、
   顔認証処理を行う顔認証サーバに前記撮像画像を送信し、前記顔認証サーバから顔認証結果を受信する顔認証通信処理
   を行い、
   前記閲覧情報生成処理は、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果を基に前記閲覧情報を生成する
   請求項１に記載のプログラム。
3. 前記記憶処理で記憶された前記操作情報と、前記顔認証通信処理に応じて前記顔認証サーバから受信した顔認証結果とを基に、前記タッチパネルディスプレイの表示画像を見たが操作をしていない人の属性と、前記タッチパネルディスプレイを操作した操作者の属性との少なくとも一方を特定する属性特定処理
   を行う請求項２に記載のプログラム。
4. 前記撮像画像を基に顔画像認識の可能性が一定以上あるか否かの判定処理
   をさらに行い、
   前記顔認証通信処理は、前記判定処理で顔画像認識の可能性が一定以上あると判定したことを条件に、前記顔認証サーバに前記撮像画像を送信する
   請求項２に記載のプログラム。
5. 前記顔認証通信処理は、前記撮像画像を基に、前記操作者が前記タッチパネルディスプレイの正面に顔を向けたタイミングを特定し、当該特定したタイミングの撮像画像を前記顔認証サーバに送信する
   請求項４又は請求項５に記載のプログラム。
6. 前記操作情報と前記撮像画像とを基に、前記操作者毎に、当該操作者が前記操作を行った時間を特定する分析処理
   をさらに行う請求項１〜５のいずれかに記載のプログラム。
7. 前記関連付けられた前記操作情報と前記撮像画像を基に前記タッチパネルディスプレイを操作した操作者の属性を特定し、当該属性を基に、タッチパネルディスプレイに表示した商品又はサービスを前記操作者が購入する可能性を特定する購入可能性特定処理
   を行う
   請求項１〜６のいずれかに記載のプログラム。
8. 前記記憶処理で記憶された前記操作情報と前記撮像画像を基に、前記タッチパネルディスプレイの操作者に適合した画像を前記タッチパネルディスプレイに表示する表示処理
   を行い、
   前記表示処理では、前記購入可能性特定処理で特定した前記可能性を基に、前記タッチパネルディスプレイに表示を行う
   請求項７に記載のプログラム。
9. タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置に表示する画像を制御する表示制御方法であって、
   前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像とを関連付けて記憶する記憶工程と、
   前記記憶工程で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成工程と
   を行う表示制御方法。
10. タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置であって、
    前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像とを関連付けて記憶する記憶手段と、
    前記記憶手段に記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成手段と
    を有する表示制御装置。
11. タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置と、
    前記表示装置と通信ネットワークを介して通信を行い、前記表示装置に表示する画像を制御する表示制御装置と、
    を有し、
    前記表示制御装置は、
    前記表示装置から受信した前記タッチパネルディスプレイの操作情報と、当該操作情報に関連付けられた前記表示装置から受信した前記カメラの撮像画像とを関連付けて記憶する記憶処理と、
    前記記憶処理で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理と
    を行うサイネージシステム。
12. タッチパネルディスプレイ及び当該タッチパネルディスプレイを操作する操作者を撮像するカメラを備えた表示装置の前記タッチパネルディスプレイに表示する画像を制御する前記表示装置が実行するプログラムであって、
    前記タッチパネルディスプレイの操作情報と、当該操作情報に対応する前記カメラの撮像画像と関連付けて記憶する記憶処理と、
    前記記憶処理で記憶された前記操作情報と前記撮像画像とを基に、前記タッチパネルディスプレイの表示の閲覧状況を示す閲覧情報を生成する閲覧情報生成処理と
    を前記表示装置に実行させるプログラム。
    

Images