JP2015064513A - 表示装置、コンテンツ表示方法及びプログラム - Google Patents

表示装置、コンテンツ表示方法及びプログラム Download PDF

Info

Publication number
JP2015064513A
JP2015064513A JP2013199184A JP2013199184A JP2015064513A JP 2015064513 A JP2015064513 A JP 2015064513A JP 2013199184 A JP2013199184 A JP 2013199184A JP 2013199184 A JP2013199184 A JP 2013199184A JP 2015064513 A JP2015064513 A JP 2015064513A
Authority
JP
Japan
Prior art keywords
content
display
unit
displayed
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013199184A
Other languages
English (en)
Inventor
智彦 村上
Tomohiko Murakami
智彦 村上
浩一 中込
Koichi Nakagome
浩一 中込
優一 宮本
Yuichi Miyamoto
優一 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013199184A priority Critical patent/JP2015064513A/ja
Priority to US14/490,318 priority patent/US20150084858A1/en
Priority to CN201410505173.9A priority patent/CN104516501A/zh
Publication of JP2015064513A publication Critical patent/JP2015064513A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】視聴者の関心を反映させてより高い広告効果を発揮させる表示装置、コンテンツ表示方法及びプログラムを提供する。【解決手段】デジタルサイネージ装置の表示部240は、画像を表示する。制御部23は、複数種類の広告を切り替えて表示部240に表示する。制御部23は、表示部240に表示される広告に対する肯定度の評価を行う。肯定度の評価は、顔画像を抽出し、例えばアダブーストのアルゴリズムを用いて顔画像を検出し、ハールライク特徴の一致度を用いて識別し、複数種類の表情の何れに近いかを判定する。【選択図】図4

Description

本発明は、表示装置、コンテンツ表示方法及びプログラムに関する。
近年、店舗や駅などの公共の場所等において不特定多数の者に対して広告・宣伝を行うためのツールとして、デジタルサイネージ装置が知られている。このようなデジタルサイネージ装置は、広告・宣伝の内容を容易に変更することができる。そのため、最新の情報等をすぐに視聴者に提供することができ、従来の看板などに比べて優れた広告効果を発揮する(例えば、特許文献1、2)。
特開2011−150221号公報 特開2012−128210号公報
しかしながら、従来のデジタルサイネージ装置で行われる広告表示は、予め定められたものを一定のサイクルで表示するという一方的な広告・宣伝のため、視聴者の関心と合わない場合には効果が得られにくいといった問題がある。
本発明の課題は、視聴者の関心を反映させてより高い広告効果を発揮させることである。
以上の課題を解決するため、請求項1に記載の発明は、表示装置において、
画像を表示する表示部と、
複数種類のコンテンツを切り替えて前記表示部に表示する表示制御手段と、
前記表示部に表示されるコンテンツに対する肯定度の評価を行うコンテンツ評価手段と、
を備え、
前記表示制御手段は、前記コンテンツ評価手段による肯定度に基づいて前記表示部に表示するコンテンツを決定することを特徴としている。
本発明によれば、視聴者の関心を反映させてより高い広告効果を発揮することができる。
第1の実施の形態に係る表示システムの概略構成を示すブロック図である。 デジタルサイネージ装置の機能的構成を示すブロック図である。 デジタルサイネージ装置のスクリーン部の概略構成を示す正面図である。 デジタルサイネージ装置の制御部における機能的構成を示すブロック図である。 第1の実施の形態に係る表示制御処理について説明するフローチャートである。 肯定度算出処理について説明するフローチャートである。 表示部に表示される広告の一例について説明する図である。 第2の実施の形態に係る表示制御処理について説明するフローチャートである。 広告の表示順序について説明する図である。 広告の表示順序について説明する図である。 表示部に表示される広告の一例について説明する図である。 第3の実施の形態に係る表示制御処理について説明するフローチャートである。 広告の表示順序について説明する図である。 第4の実施の形態に係る表示制御処理について説明するフローチャートである。 表示部に表示される広告の一例について説明する図である。
以下に、本発明を実施するための最良の形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するための技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
(第1の実施の形態)
図1は、第1の実施の形態の表示システムの概略構成を示すブロック図である。表示システム1には、本発明に係る表示装置としてのデジタルサイネージ装置2と、ネットワークNを介してデジタルサイネージ装置2に通信自在なサーバ装置5とが備えられている。サーバ装置5は、例えば、デジタルサイネージ装置2で表示する広告のデータ等が記憶してあり、デジタルサイネージ装置2に対してダウンロード可能に構成されている。
[デジタルサイネージ装置]
図2は、デジタルサイネージ装置2の主制御構成を示すブロック図である。デジタルサイネージ装置2は、後述する広告等の画像の映像光を照射する投影部21と、投影部21から照射された映像光を背面で受けて前面に投影するスクリーン部22とを備えている。
投影部21は、処理プログラム及び各種のデータに基づいて各部を制御する制御部23と、制御部23に接続され、当該制御部23から出力された画像データ(動画及び静止画を含む画像データ)を映像光に変換してスクリーン部22に向けて照射するプロジェクタ24と、処理プログラム及び各種のデータを記憶する記憶部25と、ネットワークNを介してサーバ装置5と通信する通信部26とを備えている。
次に、スクリーン部22について説明する。
図3は、スクリーン部22の概略構成を示す正面図である。図3に示すように、スクリーン部22には、四角形の表示パネル27と、表示パネル27を支持する台座28とが備えられている。
表示パネル27は、映像光の照射方向に対して略直交する、例えば、アクリル板などの一枚の透光板29により形成されている。透光板29の背面には背面投影用のフィルムスクリーンが積層され、なおかつフィルムスクリーンの背面にはフィルム状のフレネルレンズが積層されている。そして、この表示パネル27と前述したプロジェクタ24とにより表示部240(図4参照)を構成している。
そして、表示パネル27の上部には、例えば、カメラなどの撮像部30が設けられている。この撮像部30が表示パネル27に対向する空間の映像をリアルタイムに撮像して画像データを生成する。撮像部30は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。上記カメラは、可視光カメラまたは赤外線カメラの何れを使用してもよい。
カメラの光学系は、複数のレンズから構成され、焦点距離が所定距離に固定され、被写界深度が深くなるように構成されている。また、この光学系は、表示パネル27に向き合った人物の顔部分を撮像可能な方向に光軸が向けられている。
撮像素子は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を二次元の画像信号に変換する。
撮像制御部は、撮像素子による特定の被写体の撮像を制御する。すなわち、撮像制御部は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部は、タイミング発生器、ドライバにより撮像素子を走査駆動して、受光した光学像を所定周期毎に二次元の画像信号に変換させ、当該撮像素子の撮像領域から1画面分ずつフレーム画像を読み出して画像データを生成する。
台座28には、ボタン式の操作部32と、スピーカなどの音声出力部33と、マイクなどの音声入力部34とが設けられている。
操作部32、音声出力部33、音声入力部34及び撮像部30は、図2に示すように制御部23に接続されている。
制御部23は、各種プログラムを実行して所定の演算や各部の制御を行うCPUと、プログラム実行時の作業領域となるメモリとを備えている(いずれも図示略)。
そして、制御部23は、操作部32からの操作信号に基づいて、各種の処理を実行し、必要時には、記憶部25から画像データや音声データを読み出して、プロジェクタ24の表示制御及び音声出力部33の音声出力制御を実行する。
さらに、制御部23は、撮像部30から得られた画像データや、音声入力部34から得られた音声データを記憶部25に格納する。
また、制御部23は、操作部32からの操作信号によっては、通信部26を制御してサーバ装置5と通信を行う。通信により得られた情報は記憶部25に格納される。
[デジタルサイネージ装置における表示制御処理]
本実施の形態では、デジタルサイネージ装置2において表示制御処理を実行する。
そのため、デジタルサイネージ装置2には、図2に示すように、その記憶部25に表示制御処理を行うための処理プログラム251が格納されており、表示制御処理に要する設定データ、画像データ、音声データ等の各種データは、記憶部25内のデータ記憶部252に格納されている。
そして、デジタルサイネージ装置2の制御部23は、いわゆるコンピュータであって、上述した表示制御処理の処理プログラム251を実行することにより、図4に示す、顔画像抽出手段231、コンテンツ評価手段232及び表示制御手段233として機能する。
なお、以下の説明において、撮像画像、顔画像、表示画像、その他の画像は、いずれも、全てデータ化して処理が行われることを前提とする。
顔画像抽出手段231は、撮像部30による撮像画像から視聴者の顔画像を抽出する。
コンテンツ評価手段232は、抽出された顔画像に基づいて、表示部240に表示されている種類のコンテンツとしての広告に対する評価を行う。
表示制御手段233は、複数種類の広告を切り替えて表示部240に表示するとともに、コンテンツ評価手段232による評価結果に基づいて表示部240に表示するコンテンツを決定する。これにより、視聴者の広告を見たときの表情に基づいて当該広告に対する評価を行い、評価結果に基づいて、例えば、当該広告の表示を延長したり、他の広告に切り替えたりすることにより、表示する広告を決定することができる。
上記各手段231〜233について、さらに補足的に説明する。
[顔画像抽出手段]
顔画像抽出手段231は、撮像部30により取得された撮像画像から所定のアルゴリズムに基づいて顔画像抽出処理を行い、顔画像を抽出する。
この顔画像抽出手段231では、撮像部30により取得された撮像画像に対して、例えば、adaboost(アダブースト)のアルゴリズムを用いて顔画像の抽出を行う。
adaboostのアルゴリズムでは、顔画像の識別力が弱い識別器(例えば、識別の正解率が0.5より若干高い程度)を複数使用する。これらの識別器は、予め、サンプルとなる顔画像と非顔画像とを用いた学習によって識別器毎に重み付けが設定されている。
そして、顔画像抽出手段231は、撮像画像全体を各識別器によりサーチすることでそれぞれの識別器から得られる点数(重み付けが反映された点数)の総計が所定の閾値以上となるエリアに顔があるものと認識する。
上記識別器としては、例えば、顔の部分的な特徴を白黒の矩形領域とその配置とで表したHaar-Like(ハールライク)特徴といわれる複数のパターン画像を使用する。これらの複数のパターン画像も顔画像と非顔画像とを用いた学習によってここに重み付けされている。そして、各パターン画像と撮像画像のサーチエリアとの一致判定結果から当該識別器の点数を算出する。
また、顔画像を抽出するためのサーチエリアは、複数のサイズで用意されており、識別器も、これらのサイズ毎に用意されている。つまり、各種のサイズで顔画像の検出を行い、これにより、撮像画像の撮像範囲内の顔画像の位置だけでなく、顔画像のサイズも取得することが可能となっている。
なお、この顔画像抽出手段231による顔画像の抽出の方法は一例であって、上記処理に限らず、他の周知の顔画像抽出の手法を使用することも可能である。
[コンテンツ評価手段]
コンテンツ評価手段232は、まず、顔画像抽出手段231から抽出された顔画像から複数種類の表情の何れに近いかを判定することにより、顔画像の表情の認識を行う。本実施の形態では、この顔画像の表情の認識結果に基づいて、表示部240に表示されている広告に対する評価を行う。
表情の種類としては、例えば、楽しい顔、うれしい顔、幸せな顔、穏やかな顔及び和やかな顔といった肯定的な感情を示す表情や、悲しい顔、怒った顔及び嫌悪している顔といった否定的な感情を示す表情が挙げられる。なお、これらに限定されるものではなく、より多く又はより少ない表情を判定することも可能であり、また、上記以外の他の表情を判定することも可能である。
この表情の判定は、例えば、adaboostのアルゴリズムを利用することができる。
この場合、学習の際に、各種の表情の中で何れか一種類の表情を示す画像とそれ以外の表情の画像とを用いて複数の識別器を生成する。また、識別器のパターン画像はHaar-Like特徴とすることが好ましい。これにより、一種類の表情を識別するための複数の識別器が取得される。
さらに、同様にして、他の全ての種類の表情についてそれぞれを識別するための複数の識別器を各種の表情毎に生成する。
ここで、上述した各表情には評価値が設定されている。肯定的な感情については、肯定的な値、すなわち、プラスの評価値が設定されており、否定的な感情については、否定的な値、すなわち、マイナスの評価値が設定されている。なお、評価値は表情毎に異なっていてもよいし、同じ評価値である表情が複数あってもよい。また、評価値の取得の手法は例示であって、上記に限らず、表情を評価する周知の他の方法を使用することが可能である。
また、コンテンツ評価手段232は、所定間隔で撮像されて顔画像抽出手段231により抽出された顔画像について、それぞれ上述したようにして評価値を求め、これらの評価値の平均を算出して表情認識による肯定度Peを求め、この肯定度Peに基づいて、表示部240に表示されている種類の広告に対する評価を行う。肯定度Peは、下記式(1)により求めることができる。ここで、「E」は、所定間隔で取得した評価値を表し、「N」は、評価値を取得した回数、すなわち、表情認識回数を表している。
肯定度Pe=ΣE/N・・・(1)
また、コンテンツ評価手段232は、顔画像抽出手段231から抽出された顔画像から表示パネル27に対する視線の認識を行い、視線を認識していることを条件に、顔画像の表情の評価を行う。すなわち、コンテンツ評価手段232は、視線を認識してしない場合には、顔画像の表情の評価を行わないようにする。
表示パネル27に対する視線の認識は、例えば、顔画像から視聴者の目の目頭を基準点として設定し、虹彩を動点として設定し、これらの位置関係を判定することにより行うことができる。なお、視線の認識方法はこれに限定されず、公知の種々の方法が採用できる。
また、コンテンツ評価手段232は、顔画像抽出手段231から抽出された顔画像から表示パネル27に対する視線の認識(検出)を行い、視線の認識結果に基づいて、表示部240に表示されている種類の広告に対する評価を行う。本実施の形態では、コンテンツ評価手段232は、表示パネル27に対する視線の認識時間と、表示パネル27から視線が外れた回数を求め、これに基づいて視線認識による肯定度Plを求める。コンテンツ評価手段232は、この肯定度Plに基づいて、表示部240に表示されている種類の広告に対する評価を行う。肯定度Plは、下記式(2)により求めることができる。ここで、「Ton」は、表示パネル27に対する視線を認識した時間を表し、「Nout」は、表示パネル27から視線が外れた回数を表している。
肯定度Pl=Ton*k1−Nout*k2・・・(2)
なお、上記式(2)において、k1及びk2は、それぞれ表示パネル27に対する視線の認識時間に対する計数と、表示パネル27から視線が外れた回数に対する係数を表している。
本実施の形態では、表示パネル27に対する視線の認識時間に基づいて、表示部240に表示されている種類の広告に対する評価を行うようにしたが、視線の認識時間ではなく、視線を認識した回数に基づいて、表示部240に表示されている種類の広告に対する評価を行うようにしてもよい。
コンテンツ評価手段232は、上述したようにして求めた肯定度Pe及び肯定度Plに基づいて、表示部240に表示されている広告に対する評価である肯定度Pを求める。具体的には、下記式(3)により肯定度Pを求めることができる。
肯定度P=肯定度Pe+肯定度Pl・・・(3)
なお、ここで、肯定度Pe及び肯定度Plにそれぞれ重み付けを行うようにしてもよい。
本実施の形態では、上述したようにして肯定度Pを求めるようにしたが、例えば、特開2013−051688号公報に記載されているように、視聴者の顔の向きで肯定度Pを求めるようにしてもよい。
[表示制御手段]
表示制御手段233は、複数種類の広告を切り替えて表示部240に表示する制御を行う。
また、表示制御手段233は、コンテンツ評価手段232による評価結果に基づいて表示部240に表示する広告を決定する。何れの広告を表示するかについては、後述する。
次に、上述のようにして構成されたデジタルサイネージ装置2の制御部23にて実行される表示制御処理について図5を参照しながら説明する。
まず、制御部23は、コンテンツとしての広告の表示を開始する(ステップS101)。具体的には、例えば、図7(A)〜図7(D)に示される4種類の広告を所定時間(例えば、10秒)毎に切り替えながら表示部240に表示する。より具体的には、所定時間毎に、図7(A)に示す「広告A−メイン」画像、図7(B)に示す「広告B−メイン」画像、図7(C)に示す「広告C−メイン」画像、図7(D)に示す「広告D−メイン」画像、図7(A)に示す「広告A−メイン」画像・・・の順に表示を切り替える。この表示制御は、以下の処理の実行に並行して行われる。
次に、制御部23は、撮像部30によりデジタルサイネージ装置2の表示パネル27の前方に対して撮像を行う(ステップS102)。
制御部23は、撮像画像に対して顔画像の検出を行う顔検出処理を実行する(ステップS103)。制御部23は、顔画像を検出したか否かを判定する(ステップS104)。制御部23は、顔画像を検出したと判定したときは(ステップS104:Y)、顔画像抽出手段231を機能させて、撮像画像から顔画像を抽出する(ステップS105)。
制御部23は、抽出した顔画像に基づいて肯定度算出処理を実行する(ステップS106)。
ここで、図6を参照しながら、肯定度算出処理について説明する。
制御部23は、上述したようにして表示パネル27に対する視線の認識を行う視線認識処理を行う(ステップS201)。続いて、制御部23は、上述したようにして視線の認識結果に基づき、視線認識による肯定度Plを算出し、その結果を最新の肯定度Plとして、例えば、メモリに更新記憶する(ステップS202)。
制御部23は、視線認識処理を行った結果、表示パネル27に対する視線の認識があったか否かを判定する(ステップS203)。制御部23は、視線の認識があったと判定したときは(ステップS203:Y)、表情認識回数Nをインクリメントし(ステップS204)、上述したようにして顔画像の表情の認識を行う表情認識処理を実行する(ステップS205)。
制御部23は、表情を認識した結果に基づいて評価値を取得し、上述したようにして表情認識による肯定度Peを算出し、その結果を最新の肯定度Peとして、例えば、メモリに更新記憶する(ステップS206)。
一方、制御部23は、ステップS203において、視線の認識があったと判定しないときは(ステップS203:N)、ステップS204〜ステップS206の処理を行うことなく、ステップS207の処理を実行する。
制御部23は、ステップS207において、上述したようにして求めた最新の肯定度Pe及び肯定度Plから肯定度Pを算出し(ステップS207)、この処理を終了する。
図5に戻って、制御部23は、ステップS107において、肯定度算出処理において算出した肯定度Pが所定の閾値thを超えているか否かを判定する(ステップS107)。制御部23は、肯定度Pが閾値thを超えていると判定したときは(ステップS107:Y)、視聴者は表示部240に現在表示されている種類の広告に興味があると判断し、当該広告の表示時間を延長する表示延長処理を実行する(ステップS108)。表示を延長する時間は、例えば、10秒としているが、これに限定されない。一方、制御部23は、肯定度Pが閾値thを超えていると判定しないときは(ステップS107:N)、視聴者は表示部240に現在表示されている種類の広告には興味がないと判断し、表示部240に現在表示されている種類の広告を他の種類の広告に変更する表示変更処理を実行する(ステップS109)。例えば、図7(A)に示す「広告A−メイン」画像が表示部240に表示されている場合には、図7(B)に示す「広告B−メイン」画像に変更する。なお、変更後の広告をランダムに選択するようにしてもよい。
制御部23は、表示部240に現在表示されている種類の広告の表示時間を積算して、例えば、メモリに更新記憶する表示時間積算処理を実行し(ステップS110)、ステップS102の処理に移行する。これによれば、広告の種類毎に表示部240に表示された時間を集計することができ、例えば、これをマーケティングに役立てることができる。
また、制御部23は、ステップS104において、顔画像を検出したと判定しないときは(ステップS104:N)、広告表示を終了させるか否かを判定する(ステップS111)。具体的には、例えば、所定の終了操作が行われたか否かにより、広告表示を終了させるか否かを判定する。制御部23は、広告表示を終了させると判定しないときは(ステップS111:N)、ステップS102に移行する。一方、制御部23は、広告表示を終了させると判定したときは(ステップS111:Y)。この処理を終了する。
このように、第1の実施の形態では、広告を見ている視聴者の表情によって、表示部240に表示されている広告の表示を延長したり、広告の内容を変更したりするので、視聴者の関心を反映させてより高い広告効果を発揮させることができる。また、例えば、視聴者に選択肢を表示して、視聴者の選択によって広告の内容を変更させるようなものなどのように、視聴者に選択させるという動作が不要であるため、視聴者に広告を見ることに対する積極的な関心を持っていない状態であっても高い広告効果を発揮させることができる。
(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。なお、第2の実施の形態において適用されるデジタルサイネージ装置2の機能的構成は、上述した第1の実施の形態のものと同様なので、ここでの説明は省略する。
第2の実施の形態にかかる表示制御処理について図8を参照しながら説明する。
まず、制御部23は、撮像部30によりデジタルサイネージ装置2の表示パネル27の前方に対して撮像を行う(ステップS301)。
制御部23は、撮像画像に対して顔画像を検出する顔検出処理を実行する(ステップS302)。制御部23は、顔画像の検出があったか否かを判定する(ステップS303)。制御部23は、顔画像の検出があったと判定したときは(ステップS303Y)、コンテンツとしての広告の表示を開始する(ステップS304)。ここでは、例えば、図7(A)〜図7(D)に示される4種類の広告を所定時間毎に切り替えながら表示部240にダイジェスト表示する。すなわち、図9に示すように、制御部23は、「広告A−メイン」画像を所定時間(例えば、3秒)表示し(ステップS401)、「広告B−メイン」画像を所定時間表示し(ステップS402)、「広告C−メイン」画像を所定時間表示し(ステップS403)、「広告D−メイン」画像を所定時間表示して(ステップS404)、ダイジェスト表示を完了させる。
次に、制御部23は、顔画像抽出手段231を機能させて、撮像画像から顔画像を抽出し(ステップS305)、上述した肯定度算出処理を実行する(ステップS306)。
制御部23は、広告のダイジェスト表示が完了したか否かを判定する(ステップS307)。制御部23は、ダイジェスト表示が完了したと判定しないときは(ステップS307:N)、撮像部30による撮像を行った後(ステップS308)、ステップS305の処理に移行する。制御部23は、ステップS305〜S308の処理をダイジェスト表示が完了するまで繰り返し実施し、広告の種類毎の肯定度を算出する。
一方、制御部23は、広告のダイジェスト表示が完了したと判定したときは(ステップS307:Y)、広告の種類毎の肯定度に基づいて、広告の詳細の表示順序を決定する表示順序決定処理を実行する(ステップS309)。具体的には、制御部23は、肯定度の高い順に広告の詳細が表示されるように表示順序を決定する。そして、制御部23は、ステップS309において決定した表示順序となるように広告の詳細の表示を開始する(ステップS310)。例えば、広告の種類毎の肯定度を算出した結果、広告A、広告D、広告B、広告Cの順に肯定度が高い場合は、最初に広告Aの詳細表示である「広告A−サブ」画像を表示し、次に広告Dの詳細表示である「広告D−サブ」画像を表示し、次に広告Bの詳細表示である「広告B−サブ」画像を表示し、最後に広告Cの詳細表示である「広告C−サブ」画像を表示する。ここで、「広告A−サブ」画像が4つの画像からなり、「広告B−サブ」画像が3つの画像からなり、「広告C−サブ」画像が5つの画像からなり、「広告D−サブ」画像が2つの画像からなる場合は、図10に示すように、制御部23は、最初に、「広告A−サブ1」画像から「広告A−サブ4」画像までをそれぞれ所定時間(例えば、5秒)ずつ表示し(ステップS501)、続いて、「広告D−サブ1」画像から「広告D−サブ2」画像までをそれぞれ所定時間ずつ表示し(ステップS502)、続いて、「広告B−サブ1」画像から「広告B−サブ3」画像までをそれぞれ所定時間ずつ表示し(ステップS503)、続いて、「広告C−サブ1」画像から「広告C−サブ5」画像までをそれぞれ所定時間表示し(ステップS504)、これを繰り返し実施する。ここで、「広告A−サブ1」画像の一例としては、例えば、図11(A)に示すような画像であり、「広告A−サブ2」画像の一例としては、例えば、図11(B)に示すような画像であり、「広告A−サブ3」画像の一例としては、例えば、図11(C)に示すような画像であり、「広告A−サブ4」画像の一例としては、例えば、図11(D)に示すような画像である。すなわち、「広告A−サブ」画像は、それぞれ、図7(A)に示される「広告A−メイン」画像に関連する詳細表示画像である。「広告B−サブ」画像、「広告C−サブ」画像及び「広告D−サブ」画像も同様に「広告B−メイン」画像、「広告C−メイン」画像及び「広告D−メイン」画像にそれぞれ関連する複数の詳細表示画像を有している。
このように、第2の実施の形態では、広告を見ている視聴者の表情によって、表示部240に表示される広告の詳細表示の表示順序を決定するので、視聴者は、興味のある順序で広告を見ることができ、視聴者の関心を反映させてより高い広告効果を発揮させることができる。
(第3の実施の形態)
次に、本発明の第3の実施の形態について説明する。なお、第3の実施の形態において適用されるデジタルサイネージ装置2の機能的構成も、上述した第1の実施の形態のものと同様なので、ここでの説明は省略する。
第3の実施の形態にかかる表示制御処理について図12を参照しながら説明する。
まず、制御部23は、コンテンツとしてのメインシナリオの広告の表示を開始する(ステップS601)。具体的には、例えば、図7(A)〜図7(D)に示される4種類の広告を所定時間(例えば、10秒)毎に切り替えながら表示部240に表示する。すなわち、制御部23は、所定時間毎に、図7(A)に示す「広告A−メイン」画像、図7(B)に示す「広告B−メイン」画像、図7(C)に示す「広告C−メイン」画像、図7(D)に示す「広告D−メイン」画像、図7(A)に示す「広告A−メイン」画像・・・の順に表示を切り替える。この表示制御は、以下の処理の実行に並行して行われる。
次に、制御部23は、撮像部30によりデジタルサイネージ装置2の表示パネル27の前方に対して撮像を行う(ステップS602)。
制御部23は、撮像画像に対して顔画像の検出を行う顔検出処理を実行する(ステップS603)。制御部23は、顔画像を検出したか否かを判定する(ステップS604)。制御部23は、顔画像を検出したと判定したときは(ステップS604:Y)、顔画像抽出手段231を機能させて、撮像画像から顔画像を抽出し(ステップS605)、抽出した顔画像に基づいて上述した肯定度算出処理を実行する(ステップS606)。
制御部23は、肯定度算出処理において算出した肯定度Pが閾値thを超えているか否かを判定する(ステップS107)。制御部23は、肯定度Pが閾値thを超えていると判定したときは(ステップS607:Y)、視聴者は表示部240に現在表示されている種類の広告に興味があると判断し、当該メインシナリオの広告に関連するサブシナリオの広告を表示する(ステップS608)。例えば、制御部23は、表示部240にメインシナリオの広告として「広告A−メイン」画像が表示されているときにおいて、算出した肯定度Pが閾値thを超えていると判定したときは、「広告A−メイン」画像に関連する「広告A−サブ1」画像から「広告A−サブ4」画像までをそれぞれ所定時間(例えば、5秒)ずつ切り替えて表示する。
その後、制御部23は、撮像部30による撮像を行った後(ステップS609)、ステップS605の処理に移行する。制御部23は、例えば、「広告A−サブ」画像を表示している場合に、ステップS607において、肯定度Pが閾値thを超えていると判定する限りは、「広告A−サブ」画像を繰り返し表示する。サブシナリオの広告の表示が終了した後は、メインシナリオの広告に切り替えて表示するようにしてもよい。
また、制御部23は、ステップS607において、肯定度Pが閾値thを超えていると判定しないときは(ステップS607:N)、視聴者は表示部240に現在表示されている種類の広告には興味がないと判断し、ステップS601に移行してメインシナリオの広告の表示を行う。なお、本実施の形態において、サブシナリオの広告が一通り行われたことを条件に、肯定度Pが閾値thを超えていると判定しない場合にメインシナリオに移行するようにしてもよいし、サブシナリオの広告の表示中に肯定度Pが閾値thを超えていると判定しない場合にメインシナリオに移行するようにしてもよい。
また、制御部23は、ステップS604において、顔画像を検出したと判定しないときは(ステップS604:N)、広告表示を終了させるか否かを判定する(ステップS610)。制御部23は、広告表示を終了させると判定しないときは(ステップS610:N)、ステップS602の処理に移行する。一方、制御部23は、広告表示を終了させると判定したときは(ステップS610:Y)、この処理を終了する。
本実施の形態では、上述したように構成されているので、例えば、以下のようにして広告が切り替え表示される。
図13に示すように、まず、制御部23は、「広告A−メイン」画像を所定時間表示する(ステップS701)。このとき、制御部23は、肯定度Pが閾値thを超えていると判定されたときは(ステップS702:Y)、「広告A−サブ1」画像から「広告A−サブ4」画像までそれぞれ所定時間ずつ表示し(ステップS703)、肯定度Pが閾値thを超えている限り(ステップS704:Y)、「広告A−サブ」画像を繰り返し表示する。
制御部23は、ステップS702又はステップS704において、肯定度Pが閾値thを超えていると判定されないときは(ステップS702:N、ステップS704:N)、「広告B−メイン」画像を所定時間表示する(ステップS705)。このとき、制御部23は、肯定度Pが閾値thを超えていると判定されたときは(ステップS706:Y)、「広告B−サブ1」画像から「広告B−サブ3」画像までそれぞれ所定時間ずつ表示し(ステップS707)、肯定度Pが閾値thを超えている限り(ステップS708:Y)、「広告B−サブ」画像を繰り返し表示する。
制御部23は、ステップS706又はステップS708において、肯定度Pが閾値thを超えていると判定されないときは(ステップS706:N、ステップS708:N)、「広告C−メイン」画像を所定時間表示する(ステップS709)。このとき、制御部23は、肯定度Pが閾値thを超えていると判定されたときは(ステップS710:Y)、「広告C−サブ1」画像から「広告C−サブ5」画像までそれぞれ所定時間ずつ表示し(ステップS711)、肯定度Pが閾値thを超えている限り(ステップS712:Y)、「広告C−サブ」画像を繰り返し表示する。
制御部23は、ステップS710又はステップS712において、肯定度Pが閾値thを超えていると判定されないときは(ステップS710:N、ステップS712:N)、「広告D−メイン」画像を所定時間表示する(ステップS713)。このとき、制御部23は、肯定度Pが閾値thを超えていると判定されたときは(ステップS714:Y)、「広告D−サブ1」画像から「広告D−サブ2」画像までそれぞれ所定時間ずつ表示し(ステップS715)、肯定度Pが閾値thを超えている限り(ステップS716:Y)、「広告D−サブ」画像を繰り返し表示する。
制御部23は、ステップS714又はステップS716において、肯定度Pが閾値thを超えていると判定されないときは(ステップS714:N、ステップS716:N)、ステップS701の処理に移行する。以後はこれらの処理が繰り返し行われる。
このように、第3の実施の形態では、広告を見ている視聴者の表情によって、視聴者が興味のある広告を判断し、視聴者の興味のある広告の詳細を表示できるので、視聴者の関心を反映させてより高い広告効果を発揮させることができる。また、視聴者に、所望とする広告を選択させるという動作が不要であるため、視聴者の手間を煩わせることなく高い広告効果を発揮させることができる。
(第4の実施の形態)
次に、本発明の第4の実施の形態について説明する。なお、第4の実施の形態において適用されるデジタルサイネージ装置2の機能的構成も、上述した第1の実施の形態のものと同様なので、ここでの説明は省略する。
第4の実施の形態に係る表示制御処理について図14を参照しながら説明する。第4の実施の形態では、肯定度Pの閾値について、閾値th1と、閾値th1よりも小さい閾値th2を設定し、肯定度Pが何れの閾値を超えているかを判定することにより、表示部240に表示する広告を決定する点で第1の実施の形態と異なっている。なお、図14に示される表示制御処理において、ステップS801〜ステップS806については、図5に示される第1の実施の形態に係る表示制御処理におけるステップS101〜ステップS106と同様なので、ここでの説明は省略する。
制御部23は、ステップS807において、肯定度算出処理において算出した肯定度Pが閾値th1を超えているか否かを判定する(ステップS807)。すなわち、制御部23は、肯定度Pが第1の肯定評価であるか否かを判定する。制御部23は、肯定度Pが閾値th1を超えていると判定したときは(ステップS807:Y)、視聴者は表示部240に現在表示されている種類の広告に大変興味があると判断し、当該広告に関連する購買情報を表示する購買情報表示処理を実行する(ステップS808)。購買情報は、例えば、図15に示されるような広告であって、例えば、当該広告に表示された商品の購買方法や商品の陳列場所などが表示されるものである。
一方、制御部23は、肯定度Pが閾値th1を超えていると判定しないときは(ステップS807:N)、肯定度Pが閾値th2を超えているか否かを判定する(ステップS809)。すなわち、制御部23は、肯定度Pが第2の肯定評価であるか否かを判定する。制御部23は、肯定度Pが閾値th2を超えていると判定したときは(ステップS809:Y)、視聴者は表示部240に現在表示されている種類の広告に多少の興味があると判断し、上述した表示時間延長処理を実行する(ステップS810)。一方、制御部23は、肯定度Pが閾値th2を超えていると判定しないときは(ステップS809:N)、視聴者は表示部240に現在表示されている種類の広告には興味がないと判断し、上述した表示変更処理を実行する(ステップS811)。
その後、制御部23は、上述した表示時間積算処理を実行した後(ステップS812)、ステップS802の処理に移行する。
また、制御部23は、ステップS804において、顔画像を検出したと判定しないときは(ステップS804:N)、広告表示を終了させるか否かを判定する(ステップS813)。制御部23は、広告表示を終了させると判定しないときは(ステップS813:N)、ステップS802の処理に移行する。一方、制御部23は、広告表示を終了させると判定したときは(ステップS813:Y)、この処理を終了する。
このように、第4の実施の形態では、広告を見ている視聴者の表情によって、表示部240に表示されている広告に関連する詳細な情報を表示したり、表示されている広告の表示を延長したり、広告の内容を変更したりするので、視聴者の関心の度合いに応じた表示を行うことができ、高い広告効果を発揮させることができる。
以上説明したように、第1〜第4の実施の形態によれば、表示部240は、画像を表示する。制御部23は、複数種類の広告を切り替えて表示部240に表示する。制御部23は、表示部240に表示される広告に対する肯定度の評価を行う。制御部23は、肯定度に基づいて表示部240に表示する広告を決定する。その結果、視聴者の関心を反映させてより高い広告効果を発揮することができる。
また、第1〜第4の実施の形態によれば、撮像部30は、撮像を行う。制御部23は、撮像部30による撮像画像から人物の顔画像を抽出する。制御部23は、抽出された顔画像に基づいて、表示部240に表示される広告に対する肯定度の評価を行う。その結果、視聴者の顔画像から表示部に表示されているコンテンツに対する視聴者の関心の度合いを評価することができる。
また、第1〜第4の実施の形態によれば、制御部23は、抽出された顔画像から表情を評価し、該顔画像の表情の肯定度に基づいて、表示部240に表示されている種類の広告に対する評価を行う。その結果、視聴者の表情により視聴者のコンテンツに対する関心を評価できるので、より高い広告効果を発揮することができる。
また、第1〜第4の実施の形態によれば、制御部23は、抽出された顔画像に基づいて予め定められた複数種類の表情から何れの表示に近似するかを判定する。その結果、視聴者の表情を簡便に判定できるようになる。
また、第1〜第4の実施の形態によれば、制御部23は、顔画像の表情の肯定度を示す評価値を所定間隔で求めて、該評価値の平均を算出し、該算出した評価値の平均に基づいて、表示部240に表示されている種類の広告に対する評価を行う。その結果、確度の高い視聴者の表情の評価を行うことができるようになる。
また、第1〜第4の実施の形態によれば、制御部23は、抽出された顔画像から表示部240に対する視線を検出し、該視線を検出していることを条件に、顔画像の表情の評価を行う。その結果、視聴者の表情をより正確に評価することができるようになる。
また、第1〜第4の実施の形態によれば、制御部23は、抽出された顔画像から表示部240に対する視線を検出し、視線の検出結果に基づいて、表示部240に表示されている種類の広告に対する肯定度の評価を行う。その結果、視聴者のコンテンツに対する関心をより精度よく把握することができるようになる。
また、第1〜第4の実施の形態によれば、制御部23は、表示部240に対する視線を検出した時間に基づいて、表示部240に表示されている種類の広告に対する肯定度の評価を行う。その結果、視聴者のコンテンツに対する関心をより精度よく把握することができるようになる。
また、第1の実施の形態によれば、制御部23は、表示部240に表示される広告に対する肯定度が所定の肯定評価であるときは、表示部240に表示中の広告を延長して表示する。その結果、コンテンツを見ている視聴者の顔画像の状態によって、表示部に表示されているコンテンツの表示を延長するので、視聴者の関心を反映させてより高い広告効果を発揮させることができる。
また、第2の実施の形態によれば、制御部23は、表示部240に表示される広告に対する肯定度に基づいて、表示部240に表示する広告の表示順序を決定する。その結果、視聴者は、例えば、興味のある順序で広告を見ることができ、視聴者の関心を反映させてより高い広告効果を発揮させることができる。
また、第3の実施の形態によれば、制御部23は、表示部240に表示される広告に対する肯定度が所定の肯定評価であるときは、表示部240に表示中の広告を、当該広告に関連する所定の広告の詳細に切り替える。その結果、視聴者の関心を反映させてより高い広告効果を発揮させることができる。また、視聴者に、所望とするコンテンツを選択させるという動作が不要であるため、視聴者の手間を煩わせることなく高い広告効果を発揮させることができる。
また、第4の実施の形態によれば、制御部23は、表示部240に表示される広告に対する肯定度が所定の第1の肯定評価であるときは、表示部240に表示中の広告を、当該広告に関連する購買情報に切り替え、表示部240に表示される広告に対する肯定度が第1の肯定評価よりも低評価である第2の肯定評価であるときは、表示部240に表示中の広告を延長して表示する。その結果、コンテンツを見ている視聴者の顔画像によって、表示部240に表示されているコンテンツに関連する詳細な情報を表示したり、表示されているコンテンツの表示を延長したりするので、視聴者の関心の度合いに応じた表示を行うことができ、高い広告効果を発揮させることができる。
なお、上記実施形態における記述内容は、本発明に係る表示装置の好適な一例であり、これに限定されるものではない。
また、上述した実施の形態では、撮像する毎に肯定度を算出し、算出した肯定度により表示延長処理を行うか表示変更処理を行うようにしたが、例えば、肯定度の確度を高めるため、表示部240に表示される広告の種類が切り替わってから数秒間(例えば、3秒)は、肯定度の算出のみ行って、表示延長処理又は表示変更処理を行わないようにしてもよい。
また、上述した実施の形態では、視線の認識があったことを条件に表情認識処理を実行するようにしたが、視線の認識の有無にかかわらず表情認識処理を実行するようにしてもよい。
また、上述した実施の形態では、表情認識による肯定度と視線認識による肯定度とに基づいて肯定度を求めるようにしたが、表情認識による肯定度のみによって肯定度を求めるようにしてもよい。また、視線認識による肯定度のみによって肯定度を求めるようにしてもよい。
また、上述した実施の形態において、肯定度の判定について、広告の内容に応じて判定方法や判定の基準を変更してもよい。
また、上述した実施の形態では、表示部240に表示される広告の内容を変更するものとしたが、音声出力部33から出力される音声案内、もしくは、表示と音声との両方を変更するものであってもよい。
また、上述した実施の形態において、肯定度の判定結果により表示する広告の内容を適応的に変更するようにしてもよい。例えば、メインシナリオにおいて、「広告A−メイン」画像について、肯定度が閾値thよりも大きい場合には、「広告A−メイン」画像に関連する表示を行った後は、「広告A−メイン」画像に係る商品に類似する商品の広告(例えば、「広告E−メイン」画像)を優先的に表示するなど、適応的に変更するようにしてもよい。
また、上述した実施の形態において、表情認識処理及び視線認識処理で、性別や年齢を識別する処理を併せて行って広告を見ている人の情報を入手するようにしてもよい。これらの情報に加えて、肯定度や表示時間積算処理にて集計された広告の表示時間に基づいて、どのような人がどのような広告に興味を示すのかなどといったマーケティング情報を入手するようにしてもよい。
また、上述した実施の形態において、撮像部30に撮像した撮像画像から表情認識等を行って肯定度を算出したが、これに限らず、音声入力部34を用いた音声認識を行って肯定度を算出してもよく、肯定度を算出することができれば方法は限定されない。
また、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
その他、表示装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明の実施の形態及び変形例を説明したが、本発明の範囲は、上述の実施の形態及び変形例に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
画像を表示する表示部と、
複数種類のコンテンツを切り替えて前記表示部に表示する表示制御手段と、
前記表示部に表示されるコンテンツに対する肯定度の評価を行うコンテンツ評価手段と、
を備え、
前記表示制御手段は、前記コンテンツ評価手段による肯定度に基づいて前記表示部に表示するコンテンツを決定することを特徴とする表示装置。
<請求項2>
撮像を行う撮像部と、
前記撮像部による撮像画像から人物の顔画像を抽出する顔画像抽出手段と、
を備え、
前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像に基づいて、前記表示部に表示されるコンテンツに対する肯定度の評価を行うことを特徴とする請求項1に記載の表示装置。
<請求項3>
前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像から表情を評価し、該顔画像の表情の肯定度に基づいて、前記表示部に表示されている種類のコンテンツに対する評価を行うことを特徴とする請求項2に記載の表示装置。
<請求項4>
前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像に基づいて予め定められた複数種類の表情から何れの表情に近似するかを判定することにより前記顔画像の表情の評価を行うことを特徴とする請求項3に記載の表示装置。
<請求項5>
前記コンテンツ評価手段は、前記顔画像の表情の肯定度を示す評価値を所定間隔で求めて、該評価値の平均を算出し、該算出した評価値の平均に基づいて、前記表示部に表示されている種類のコンテンツに対する評価を行うことを特徴とする請求項3又は4に記載の表示装置。
<請求項6>
前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像から前記表示部に対する視線を検出し、該視線を検出していることを条件に、前記顔画像の表情の評価を行うことを特徴とする請求項3〜5の何れか一項に記載の表示装置。
<請求項7>
前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像から前記表示部に対する視線を検出し、該視線の検出結果に基づいて、前記表示部に表示されている種類のコンテンツに対する肯定度の評価を行うことを特徴とする請求項2〜6の何れか一項に記載の表示装置。
<請求項8>
前記コンテンツ評価手段は、前記表示部に対する視線を検出した時間に基づいて、前記表示部に表示されている種類のコンテンツに対する肯定度の評価を行うことを特徴とする請求項7に記載の表示装置。
<請求項9>
前記表示制御手段は、前記コンテンツ評価手段による肯定度が所定の肯定評価であるときは、前記表示部に表示中のコンテンツを延長して表示することを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
<請求項10>
前記表示制御手段は、前記コンテンツ評価手段による肯定度に基づいて、前記表示部に表示するコンテンツの表示順序を決定することを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
<請求項11>
前記表示制御手段は、前記コンテンツ評価手段による肯定度が所定の肯定評価であるときは、前記表示部に表示中のコンテンツを、当該コンテンツに関連する所定の詳細コンテンツに切り替えることを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
<請求項12>
前記表示制御手段は、前記コンテンツ評価手段による肯定度が所定の第1の肯定評価であるときは、前記表示部に表示中のコンテンツを、当該コンテンツに関連する所定の詳細コンテンツに切り替え、前記コンテンツ評価手段による肯定度が前記第1の肯定評価よりも低評価である第2の肯定評価であるときは、前記表示部に表示中のコンテンツを延長して表示することを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
<請求項13>
複数種類のコンテンツを切り替えて画像を表示する表示部に表示する表示制御ステップと、
前記表示部に表示されるコンテンツに対する肯定度の評価を行うコンテンツ評価ステップと、
前記肯定度に基づいて前記表示部に表示するコンテンツを決定するコンテンツ決定ステップと、
を備えていることを特徴とするコンテンツ表示方法。
<請求項14>
画像を表示する表示部を備えた表示装置のコンピュータを
複数種類のコンテンツを切り替えて前記表示部に表示する表示制御手段、
前記表示部に表示されるコンテンツに対する肯定度の評価を行うコンテンツ評価手段、
前記コンテンツ評価手段による肯定度に基づいて前記表示部に表示するコンテンツを決定するコンテンツ決定手段、
として機能させるためのプログラム。
2 デジタルサイネージ装置(表示装置)
23 制御部
231 表示制御手段
232 顔画像抽出手段
233 コンテンツ評価手段
30 撮像部
240 表示部

Claims (14)

  1. 画像を表示する表示部と、
    複数種類のコンテンツを切り替えて前記表示部に表示する表示制御手段と、
    前記表示部に表示されるコンテンツに対する肯定度の評価を行うコンテンツ評価手段と、
    を備え、
    前記表示制御手段は、前記コンテンツ評価手段による肯定度に基づいて前記表示部に表示するコンテンツを決定することを特徴とする表示装置。
  2. 撮像を行う撮像部と、
    前記撮像部による撮像画像から人物の顔画像を抽出する顔画像抽出手段と、
    を備え、
    前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像に基づいて、前記表示部に表示されるコンテンツに対する肯定度の評価を行うことを特徴とする請求項1に記載の表示装置。
  3. 前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像から表情を評価し、該顔画像の表情の肯定度に基づいて、前記表示部に表示されている種類のコンテンツに対する評価を行うことを特徴とする請求項2に記載の表示装置。
  4. 前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像に基づいて予め定められた複数種類の表情から何れの表情に近似するかを判定することにより前記顔画像の表情の評価を行うことを特徴とする請求項3に記載の表示装置。
  5. 前記コンテンツ評価手段は、前記顔画像の表情の肯定度を示す評価値を所定間隔で求めて、該評価値の平均を算出し、該算出した評価値の平均に基づいて、前記表示部に表示されている種類のコンテンツに対する評価を行うことを特徴とする請求項3又は4に記載の表示装置。
  6. 前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像から前記表示部に対する視線を検出し、該視線を検出していることを条件に、前記顔画像の表情の評価を行うことを特徴とする請求項3〜5の何れか一項に記載の表示装置。
  7. 前記コンテンツ評価手段は、前記顔画像抽出手段によって抽出された顔画像から前記表示部に対する視線を検出し、該視線の検出結果に基づいて、前記表示部に表示されている種類のコンテンツに対する肯定度の評価を行うことを特徴とする請求項2〜6の何れか一項に記載の表示装置。
  8. 前記コンテンツ評価手段は、前記表示部に対する視線を検出した時間に基づいて、前記表示部に表示されている種類のコンテンツに対する肯定度の評価を行うことを特徴とする請求項7に記載の表示装置。
  9. 前記表示制御手段は、前記コンテンツ評価手段による肯定度が所定の肯定評価であるときは、前記表示部に表示中のコンテンツを延長して表示することを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
  10. 前記表示制御手段は、前記コンテンツ評価手段による肯定度に基づいて、前記表示部に表示するコンテンツの表示順序を決定することを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
  11. 前記表示制御手段は、前記コンテンツ評価手段による肯定度が所定の肯定評価であるときは、前記表示部に表示中のコンテンツを、当該コンテンツに関連する所定の詳細コンテンツに切り替えることを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
  12. 前記表示制御手段は、前記コンテンツ評価手段による肯定度が所定の第1の肯定評価であるときは、前記表示部に表示中のコンテンツを、当該コンテンツに関連する所定の詳細コンテンツに切り替え、前記コンテンツ評価手段による肯定度が前記第1の肯定評価よりも低評価である第2の肯定評価であるときは、前記表示部に表示中のコンテンツを延長して表示することを特徴とする請求項1〜8のいずれか一項に記載の表示装置。
  13. 複数種類のコンテンツを切り替えて画像を表示する表示部に表示する表示制御ステップと、
    前記表示部に表示されるコンテンツに対する肯定度の評価を行うコンテンツ評価ステップと、
    前記肯定度に基づいて前記表示部に表示するコンテンツを決定するコンテンツ決定ステップと、
    を備えていることを特徴とするコンテンツ表示方法。
  14. 画像を表示する表示部を備えた表示装置のコンピュータを
    複数種類のコンテンツを切り替えて前記表示部に表示する表示制御手段、
    前記表示部に表示されるコンテンツに対する肯定度の評価を行うコンテンツ評価手段、
    前記コンテンツ評価手段による肯定度に基づいて前記表示部に表示するコンテンツを決定するコンテンツ決定手段、
    として機能させるためのプログラム。
JP2013199184A 2013-09-26 2013-09-26 表示装置、コンテンツ表示方法及びプログラム Pending JP2015064513A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013199184A JP2015064513A (ja) 2013-09-26 2013-09-26 表示装置、コンテンツ表示方法及びプログラム
US14/490,318 US20150084858A1 (en) 2013-09-26 2014-09-18 Display device, content display method, and a non-transitory computer-readable storage medium
CN201410505173.9A CN104516501A (zh) 2013-09-26 2014-09-26 显示装置以及内容显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013199184A JP2015064513A (ja) 2013-09-26 2013-09-26 表示装置、コンテンツ表示方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2015064513A true JP2015064513A (ja) 2015-04-09

Family

ID=52690504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013199184A Pending JP2015064513A (ja) 2013-09-26 2013-09-26 表示装置、コンテンツ表示方法及びプログラム

Country Status (3)

Country Link
US (1) US20150084858A1 (ja)
JP (1) JP2015064513A (ja)
CN (1) CN104516501A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156514A (ja) * 2016-03-01 2017-09-07 株式会社Liquid 電子看板システム
WO2017149696A1 (ja) * 2016-03-02 2017-09-08 三菱電機株式会社 情報提示制御装置
JP2017218257A (ja) * 2016-06-06 2017-12-14 三菱電機ビルテクノサービス株式会社 エレベーター広告装置
JP2019160112A (ja) * 2018-03-16 2019-09-19 株式会社スクウェア・エニックス 映像表示システム、映像表示方法及び映像表示プログラム
JP2019176365A (ja) * 2018-03-29 2019-10-10 大日本印刷株式会社 コンテンツ出力システム、コンテンツ出力装置及びプログラム
JP2020013553A (ja) * 2018-07-16 2020-01-23 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 端末装置に適用される情報生成方法および装置
JP2020086774A (ja) * 2018-11-21 2020-06-04 日本電信電話株式会社 シナリオ制御装置、方法およびプログラム
JP2020118919A (ja) * 2019-01-28 2020-08-06 沖電気工業株式会社 表示制御装置、表示制御方法、プログラムおよび表示制御システム
JP2021047369A (ja) * 2019-09-20 2021-03-25 株式会社 資生堂 情報処理装置及びバーチャル接客システム
WO2021095278A1 (ja) * 2019-11-14 2021-05-20 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
JP2021086354A (ja) * 2019-11-27 2021-06-03 Tis株式会社 情報処理システム、情報処理方法、及びプログラム
WO2021130852A1 (ja) * 2019-12-24 2021-07-01 日本電気株式会社 コンテンツ表示方法
JP2021132359A (ja) * 2020-02-21 2021-09-09 シャープ株式会社 学習用データ生成装置、再生スケジュール学習システム、及び学習用データ生成方法
US11165996B2 (en) 2018-10-26 2021-11-02 Seiko Epson Corporation Display system, display device, and control method for display device
US11463618B2 (en) 2017-06-20 2022-10-04 Nec Corporation Apparatus for providing information and method of providing information, and non-transitory storage medium
WO2024135872A1 (ko) * 2022-12-20 2024-06-27 (주)서베이피플 Ai 기반의 광고 평가 자동화 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2915101A4 (en) * 2012-11-02 2017-01-11 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
CN107330722A (zh) * 2017-06-27 2017-11-07 昝立民 一种共享设备的广告投放方法
CN109165965A (zh) * 2018-07-10 2019-01-08 失控(厦门)科技有限公司 基于社区的信息推送交互系统
CN110099304A (zh) * 2019-03-22 2019-08-06 厦门理工学院 一种电梯内移动电视广告播放方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138872A (ja) * 1998-10-30 2000-05-16 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2005267611A (ja) * 2004-01-23 2005-09-29 Sony United Kingdom Ltd 表示装置
WO2010070882A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 情報表示装置及び情報表示方法
US20100207874A1 (en) * 2007-10-30 2010-08-19 Hewlett-Packard Development Company, L.P. Interactive Display System With Collaborative Gesture Detection
JP2011090386A (ja) * 2009-10-20 2011-05-06 Sharp Corp 情報表示装置
JP2011216985A (ja) * 2010-03-31 2011-10-27 Brother Industries Ltd 表示端末装置、表示制御方法及び表示制御プログラム
JP2012078461A (ja) * 2010-09-30 2012-04-19 Casio Comput Co Ltd 画像表示装置、及び、プログラム
JP2013050945A (ja) * 2011-08-30 2013-03-14 General Electric Co <Ge> 人物トラッキング及びインタラクティブ広告
JP2013114595A (ja) * 2011-11-30 2013-06-10 Canon Inc 情報処理装置、情報処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101495945A (zh) * 2006-07-28 2009-07-29 皇家飞利浦电子股份有限公司 用于被凝视物品的信息显示的凝视交互
US20090019472A1 (en) * 2007-07-09 2009-01-15 Cleland Todd A Systems and methods for pricing advertising
JP2010039372A (ja) * 2008-08-07 2010-02-18 Brother Ind Ltd 携帯型表示端末及びプログラム
JP4717934B2 (ja) * 2009-03-03 2011-07-06 株式会社日立製作所 関係分析方法、関係分析プログラム、および、関係分析装置
US9152227B2 (en) * 2012-10-10 2015-10-06 At&T Intellectual Property I, Lp Method and apparatus for controlling presentation of media content
JP6115987B2 (ja) * 2013-02-18 2017-04-19 日立マクセル株式会社 映像表示装置、映像表示方法、およびプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000138872A (ja) * 1998-10-30 2000-05-16 Sony Corp 情報処理装置および方法、並びに提供媒体
JP2005267611A (ja) * 2004-01-23 2005-09-29 Sony United Kingdom Ltd 表示装置
US20100207874A1 (en) * 2007-10-30 2010-08-19 Hewlett-Packard Development Company, L.P. Interactive Display System With Collaborative Gesture Detection
WO2010070882A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 情報表示装置及び情報表示方法
JP2011090386A (ja) * 2009-10-20 2011-05-06 Sharp Corp 情報表示装置
JP2011216985A (ja) * 2010-03-31 2011-10-27 Brother Industries Ltd 表示端末装置、表示制御方法及び表示制御プログラム
JP2012078461A (ja) * 2010-09-30 2012-04-19 Casio Comput Co Ltd 画像表示装置、及び、プログラム
JP2013050945A (ja) * 2011-08-30 2013-03-14 General Electric Co <Ge> 人物トラッキング及びインタラクティブ広告
JP2013114595A (ja) * 2011-11-30 2013-06-10 Canon Inc 情報処理装置、情報処理方法及びプログラム

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156514A (ja) * 2016-03-01 2017-09-07 株式会社Liquid 電子看板システム
WO2017149696A1 (ja) * 2016-03-02 2017-09-08 三菱電機株式会社 情報提示制御装置
JP2017218257A (ja) * 2016-06-06 2017-12-14 三菱電機ビルテクノサービス株式会社 エレベーター広告装置
US11463618B2 (en) 2017-06-20 2022-10-04 Nec Corporation Apparatus for providing information and method of providing information, and non-transitory storage medium
JP2019160112A (ja) * 2018-03-16 2019-09-19 株式会社スクウェア・エニックス 映像表示システム、映像表示方法及び映像表示プログラム
JP2019176365A (ja) * 2018-03-29 2019-10-10 大日本印刷株式会社 コンテンツ出力システム、コンテンツ出力装置及びプログラム
JP7102856B2 (ja) 2018-03-29 2022-07-20 大日本印刷株式会社 コンテンツ出力システム、コンテンツ出力装置及びプログラム
US11087140B2 (en) 2018-07-16 2021-08-10 Baidu Online Network Technology (Beijing) Co., Ltd. Information generating method and apparatus applied to terminal device
JP2020013553A (ja) * 2018-07-16 2020-01-23 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 端末装置に適用される情報生成方法および装置
JP7030078B2 (ja) 2018-07-16 2022-03-04 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 端末装置に適用される情報生成方法および装置
US11165996B2 (en) 2018-10-26 2021-11-02 Seiko Epson Corporation Display system, display device, and control method for display device
JP2020086774A (ja) * 2018-11-21 2020-06-04 日本電信電話株式会社 シナリオ制御装置、方法およびプログラム
JP7153256B2 (ja) 2018-11-21 2022-10-14 日本電信電話株式会社 シナリオ制御装置、方法およびプログラム
JP2020118919A (ja) * 2019-01-28 2020-08-06 沖電気工業株式会社 表示制御装置、表示制御方法、プログラムおよび表示制御システム
JP2021047369A (ja) * 2019-09-20 2021-03-25 株式会社 資生堂 情報処理装置及びバーチャル接客システム
JP7339092B2 (ja) 2019-09-20 2023-09-05 株式会社 資生堂 情報処理装置及びバーチャル接客システム
JP2021081788A (ja) * 2019-11-14 2021-05-27 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021095278A1 (ja) * 2019-11-14 2021-05-20 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
JP7123028B2 (ja) 2019-11-27 2022-08-22 Tis株式会社 情報処理システム、情報処理方法、及びプログラム
JP2021086354A (ja) * 2019-11-27 2021-06-03 Tis株式会社 情報処理システム、情報処理方法、及びプログラム
WO2021130852A1 (ja) * 2019-12-24 2021-07-01 日本電気株式会社 コンテンツ表示方法
JPWO2021130852A1 (ja) * 2019-12-24 2021-07-01
JP7342973B2 (ja) 2019-12-24 2023-09-12 日本電気株式会社 コンテンツ表示方法
JP2021132359A (ja) * 2020-02-21 2021-09-09 シャープ株式会社 学習用データ生成装置、再生スケジュール学習システム、及び学習用データ生成方法
JP7441673B2 (ja) 2020-02-21 2024-03-01 シャープ株式会社 学習用データ生成装置、再生スケジュール学習システム、及び学習用データ生成方法
WO2024135872A1 (ko) * 2022-12-20 2024-06-27 (주)서베이피플 Ai 기반의 광고 평가 자동화 시스템

Also Published As

Publication number Publication date
US20150084858A1 (en) 2015-03-26
CN104516501A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
JP2015064513A (ja) 表示装置、コンテンツ表示方法及びプログラム
US9224037B2 (en) Apparatus and method for controlling presentation of information toward human object
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
KR20180051367A (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
EP2219134A2 (en) Information processing apparatus and information processing method
US20130271584A1 (en) User wearable visual assistance device
US20150006281A1 (en) Information processor, information processing method, and computer-readable medium
CN102301316A (zh) 用户界面装置以及输入方法
KR20110098988A (ko) 정보 표시 장치 및 정보 표시 방법
JP6883710B2 (ja) ターゲットのマッチング方法及び装置、電子機器並びに記憶媒体
WO2021036624A1 (zh) 交互方法、装置、设备以及存储介质
Lee et al. Revisiting blind photography in the context of teachable object recognizers
US10552675B2 (en) Method and apparatus for eye detection from glints
WO2021036622A1 (zh) 交互方法、装置、设备以及存储介质
EP2629242A1 (en) A user wearable visual assistance device and method
JP2016177393A (ja) 情報処理装置、顔認識方法、及びプログラム
CN111242090A (zh) 基于人工智能的人脸识别方法、装置、设备及介质
US9503632B2 (en) Guidance based image photographing device and method thereof for high definition imaging
Tian RGB-D sensor-based computer vision assistive technology for visually impaired persons
JP2013125985A (ja) 表示システム
KR20200141517A (ko) 스마트 안경 추적 방법과 장치, 및 스마트 안경과 저장 매체
JP6447681B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5651639B2 (ja) 情報処理装置、情報表示装置、情報処理方法およびプログラム
JP6213077B2 (ja) 情報処理装置、コンテンツ配信システム及びプログラム
KR20140014868A (ko) 시선 추적 장치 및 이의 시선 추적 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171205