JP2015087970A - 画像表示装置、表示制御方法及びプログラム - Google Patents

Abstract

【課題】表示手段の前にいる個人に適した表示ができるようにする。
【解決手段】デジタルサイネージ装置１によれば、ユーザ毎に、出題された問題に対する正解率を解答履歴記憶部２５４に記憶しておき、制御部２３は、画像形成部２７の前にいるユーザを認識すると、認識されたユーザの正解率に基づいて、表示候補の画像の中から画像形成部２７に表示する表示画像を決定する決定手段し、決定された表示画像に基づく表示を画像形成部２７に行わせる。
【選択図】図６

Description

本発明は、画像表示装置、表示制御方法及びプログラムに関する。

従来、映像供給装置に接続される映像出力装置と、反射部材と、スクリーンとを有し、映像出力装置からコンテンツを投影する出力光を反射部材によって反射し、この反射部材によって反射された出力光を当該コンテンツの輪郭の形状に形成されたスクリーンに投影することにより、閲覧者に対して印象を高めることができる映像出力装置搭載機器が知られている（例えば、特許文献１参照）。

特開２０１１−１５０２２１号公報

しかしながら、特許文献１に記載の映像出力装置搭載機器では、スクリーン等の表示手段の前にいる個人に適した表示を提供することができなかった。

本発明の課題は、表示手段の前にいる個人に適した表示ができるようにすることである。

上記課題を解決するため、請求項１に記載の発明の画像表示装置は、
画像を表示する表示手段と、
前記表示手段への表示候補の画像を記憶する記憶手段と、
ユーザの所定の問題に対する解答を記憶する解答記憶手段と、
ユーザを認識する認識手段と、
前記認識されたユーザの解答に基づいて、前記記憶手段に記憶されている表示候補の画像の中から前記表示手段に表示する表示画像を決定する決定手段と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
を備える。

請求項６に記載の発明の画像表示装置は、
画像を表示する表示手段と、
ユーザの所定の行動の履歴情報を記憶する履歴記憶手段と、
ユーザを認識する認識手段と、
前記表示手段への表示候補の画像と、前記表示候補の画像に対応付けて当該画像に係るガイド情報を記憶する記憶手段と、
前記記憶手段に記憶されている表示候補の画像の中から何れかを表示画像として決定し、前記認識されたユーザの履歴情報に基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する決定手段と、
前記決定手段により決定されるガイド情報の内容を前記表示画像とともに前記表示手段に表示する表示制御手段と、
を備える。

本発明によれば、表示手段の前にいる人に適した表示を行うことが可能となる。

本実施形態におけるデジタルサイネージ装置の機能的構成を示すブロック図である。 解答履歴記憶部のデータ格納例を示す図である。 表示グループ決定テーブルのデータ格納例を示す図である。 図１のスクリーン部の概略構成を示す図である。 図１の制御部により実行される再生制御処理を示すフローチャートである。 図５のステップＳ４において実行される表示画像決定処理を示すフローチャートである。 図５のステップＳ５において投影する領域を説明するための図である。 第２の実施形態における記憶部の構成例を示す図である。 表示情報決定テーブル記憶部のデータ格納例を示す図である。 図１の制御部により実行される再生制御処理Ｂを示すフローチャートである。 図１０のステップＳ１４において実行される表示情報決定処理を示すフローチャートである。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。以下の実施形態では、本発明に係る画像表示装置としてデジタルサイネージ装置１を適用した場合を例にとり説明する。なお、本発明は、図示例に限定されるものではない。

＜第１の実施形態＞
［デジタルサイネージ装置１の構成］
図１は、第１の実施形態におけるデジタルサイネージ装置１の主制御構成を示すブロック図である。デジタルサイネージ装置１は、高齢者施設などに設置され、例えば、計算問題、読み書き問題等を出題（表示、音声出力）して、施設の入居者に対し、脳を活性化させるためのトレーニング（以下、単にトレーニングという）を行う装置である。

図１に示すように、デジタルサイネージ装置１は、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。

まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、を備えている。プロジェクタ２４、記憶部２５、通信部２６は、図１に示すように制御部２３に接続されている。

制御部２３は、記憶部２５に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されているプログラムとの協働により、認識手段、決定手段、表示制御手段、グループ分け手段として機能する。

プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。投影対象物が画像中の人物領域である場合には、人物領域に対応する位置の微小ミラーをオンし、その他の領域をオフすることで、人物領域を投影することが可能となる。

記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図１に示すように、プログラム記憶部２５１、出題コンテンツ記憶部２５２、画像データ記憶部２５３、解答履歴記憶部２５４、表示グループ決定テーブル記憶部２５５が設けられている。

プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
出題コンテンツ記憶部２５２には、トレーニングの問題表示用の画像データ、及び問題文や操作指示等の音声出力用のテキストデータが記憶されている。
画像記憶手段としての画像データ記憶部２５３には、当該デジタルサイネージ装置１のユーザである、当該デジタルサイネージ装置１が設置されている施設の入居者の識別情報（入居者番号、名前等）に対応付けて、即ち、ユーザ毎に、その入居者の正面の顔画像、横顔の画像、及び入居者に関係する人物（例えば、入居者の家族、親戚、知人等）の画像を含んだ撮影画像の画像データが記憶されている。
入居者に関係する人物の画像は、その入居者に出題をするときに画像形成部２７に表示する画像（表示画像）の候補（表示候補）となる画像である。例えば、親戚一同が撮影された撮影画像等、入居者に関係する人物の画像を複数含んだ撮影画像には、複数の表示候補の画像が含まれることになる。
入居者に関係する人物の画像は、静止画であっても動画であってもよい。画像データ記憶部２５３に記憶されている画像データは随時ＰＣ（Personal Computer）やスマートフォン等の外部機器から無線通信又は有線通信によりアップロード可能である。

解答記憶手段としての解答履歴記憶部２５４は、図２に示すように、入居者の識別情報、正解数、問題数、正解率のそれぞれを対応付けて格納する領域を有し、入居者の識別情報に対応付けて、即ち、入居者毎に、その入居者の正解数、出題した問題数、及び正解率を記憶する。
表示グループ決定テーブル記憶部２５５は、図３に示すように、正解率の範囲と、その範囲の正解率に対応するグループの情報とを対応付けて記憶する。

通信部２６は、モデム、ルータ、ネットワークカード等により構成され、外部機器との通信を行う。

次に、スクリーン部２２について説明する。
図４は、スクリーン部２２の概略構成を示す正面図である。図４に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。

画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーンが貼付されて構成されたスクリーンである。この画像形成部２７と前述したプロジェクタ２４とにより表示手段を構成している。

画像形成部２７の上部には、例えばカメラなどの撮像部３０が設けられている。この撮像部３０が画像形成部２７に対向する空間の画像を撮影して撮影画像を生成する。撮像部３０は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。
カメラの光学系は、画像形成部２７の前にいる人物を撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を２次元の画像信号に変換する。

台座２８には、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３とが設けられている。ボタン式の操作部３２には、０〜９の数字が対応付けられており、入居者が択一式や計算問題の解答を入力可能となっている。
撮像部３０、操作部３２、音声出力部３３は、図１に示すように制御部２３に接続されている。

［デジタルサイネージ装置１の動作］
次に、デジタルサイネージ装置１の動作について説明する。

図５に、デジタルサイネージ装置１において実行される再生制御処理のフローチャートを示す。再生制御処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、撮像部３０により撮影を行い、撮影画像を取得する（ステップＳ１）。

次いで、制御部２３は、取得した撮影画像から入居者を認識する処理を行い（ステップＳ２）、入居者が認識されたか否かを判断する（ステップＳ３）。
ステップＳ２において、制御部２３は、公知の画像処理技術である顔認識処理によって撮影画像から顔領域を抽出する処理を行い、顔領域が抽出された場合、抽出された顔領域の画像と、画像データ記憶部２５３に記憶されている各入居者の顔画像（正面顔、横顔）とを照合する。そして、顔領域の抽出結果及び照合結果に基づいて、撮影画像から入居者が認識されたか否かを判断する。

撮影画像から入居者が認識されなかったと判断した場合（ステップＳ３；ＮＯ）、制御部２３は、ステップＳ１に戻り、撮像部３０により所定時間間隔で撮影を行う。

撮影画像から入居者が認識されたと判断した場合（ステップＳ３；ＹＥＳ）、制御部２３は、認識された入居者の識別情報をメモリに記憶し、表示画像決定処理を実行する（ステップＳ４）。
図６に、ステップＳ４において実行される表示画像決定処理のフローチャートを示す。表示画像決定処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

表示画像決定処理において、制御部２３は、まず、画像データ記憶部２５３において上記認識された入居者の識別情報に対応付けられている、入居者に関係する人物の画像（即ち、表示候補の画像）をグループＡ〜Ｃにグループ分けする（ステップＳ４０１）。

ここでは、表示候補の画像に写っている人物の、入居者との関係が近い順に、表示候補の画像をグループＣ、グループＢ、グループＡと分類する。ステップＳ４０１においては、画像データ記憶部２５３において認識された入居者の識別情報に対応付けられている各撮影画像に含まれる人物のうち、写っている回数が多いほど入居者と近い関係（親しい関係）にあると判断し、その人物が撮影画像に写っている回数によってグループＡ〜グループＣに分類する。具体的には、画像データ記憶部２５３において認識された入居者の識別情報に対応付けて記憶されている各撮影画像に顔認識処理を行って、各撮影画像に含まれる人物を認識し、認識された人物毎に、撮影画像に含まれている回数をカウントし、カウント回数が予め定められた第１閾値以上の人物の画像をグループＣ、第２閾値以上第１閾値未満の人物の画像をグループＢ、第２閾値未満の人物の画像をグループＡに分類する。第１閾値＞第２閾値である。グループ分けの結果は、表示候補の画像のそれぞれに対応付けて記憶手段としての制御部２３のメモリに記憶される。このグループ分け処理により、表示候補の画像である入居者に関係する人物の画像を自動的に入居者との関係を基準としたグループに分類することができる。

次いで、制御部２３は、解答履歴記憶部２５４から、認識された入居者の正解率を検索する（ステップＳ４０２）。
検索された正解率が７０％〜１００％であると判断した場合（ステップＳ４０３；ＹＥＳ）、制御部２３は、表示グループ決定テーブル記憶部２５５に基づいて、グループＡ〜グループＣに分類された表示候補の画像の中からランダムに表示画像を決定し（ステップＳ４０４）、図５のステップＳ５に移行する。

検索された正解率が３０％〜６９％であると判断した場合（ステップＳ４０３；ＮＯ、ステップＳ４０５；ＹＥＳ）、制御部２３は、表示グループ決定テーブル記憶部２５５に基づいて、グループＢ、Ｃに分類された表示候補の画像の中からランダムに表示画像を決定し（ステップＳ４０６）、図５のステップＳ５に移行する。

検索された正解率が３０％〜１００％ではないと判断した場合（ステップＳ４０３；ＮＯ、ステップＳ４０５；ＮＯ）、制御部２３は、表示グループ決定テーブル記憶部２５５に基づいて、グループＣに分類された表示候補の画像の中からランダムに表示画像を決定し（ステップＳ４０７）、図５のステップＳ５に移行する。

このように、表示画像決定処理においては、入居者のトレーニングの正解率の履歴に応じて表示画像を決定する。トレーニングの正解率は認知症のレベルと相関があり、正解率が低いほど認知症のレベルは高くなるものと考えられる。また、認知症のレベルが高まると（即ち、トレーニングの正解率が低くなると）、自分との関係が近くない（親しくない）人物については忘れていく可能性が高い。そこで、正解率が高い場合は、入居者との関係がそれほど近くないグループＡ、Ｂも含めた全てのグループの中から、正解率が低い場合は、入居者との関係が最も近いグループＣのみの中から表示画像を決定する。このようにすることで、入居者に応じた適切な人物の画像を表示画像として表示することが可能となる。

図５に戻り、ステップＳ５において、制御部２３は、ステップＳ４の表示画像決定処理で決定された画像をプロジェクタ２４により画像形成部２７に投影（表示）する（ステップＳ５）。具体的には、決定された表示画像（図７において人物Ｐの画像とする）を含む撮影画像から表示画像の人物領域を抽出し（図７の太線参照）、抽出した人物領域の輪郭を含む、画像形成部２７の形状の領域（図７の２点鎖線参照）を投影対象の画像領域として、プロジェクタ２４により画像形成部２７に投影させる。

次いで、制御部２３は、出題コンテンツ記憶部２５２に記憶されている画像データ及び音声データに基づいて、認識された入居者に対し、出題を行う。即ち、トレーニングのための問題（簡単な計算問題や択一問題）の表示や音声出力を行う（ステップＳ６）。具体的には、制御部２３は、出題コンテンツ記憶部２５２に記憶されている問題表示用の画像データに基づいて、プロジェクタ２４により、表示画像決定処理で決定された表示画像が表示されている画像形成部２７の所定の位置（例えば、図４において点線２９１に囲まれた領域）に問題を重畳して投影する。また、出題コンテンツ記憶部２５２に記憶されている問題を示すテキストデータに基づいて音声を合成して音声出力部３３により出力し、問題文や操作指示の読み上げを行う。更に、出題コンテンツ記憶部２５２に記憶されているテキストデータに基づいて、画像形成部２７に表示されている人物が音声に合わせて口パクを行うように表示画像を画像処理してプロジェクタ２４により画像形成部２７に投影（表示）させる。音声の合成や音声に合わせた口パクの画像処理は、公知の技術を用いて行うことができる。

次いで、制御部２３は、出題が終了したか否かを判断し、出題が終了していないと判断した場合（ステップＳ７；ＮＯ）、ステップＳ６の処理を繰り返し実行する。出題が終了したと判断した場合（ステップＳ７；ＹＥＳ）、制御部２３は、解答履歴記憶部２５４に、正解率の履歴を記憶させる（ステップＳ８）。具体的には、解答履歴記憶部２５４の認識された入居者の識別情報に対応する「正解数」の領域に、今回の出題による正解数を加算するとともに、「問題数」の領域に今回の出題による問題数を加算する。そして、正解数÷問題数×１００を算出して正解率を算出し、「正解数」領域に格納する。
所定時間が経過すると、制御部２３は、ステップＳ１の処理に戻る。

以上説明したように、第１の実施形態におけるデジタルサイネージ装置１によれば、高齢者施設等において、画像形成部２７の前にきた入居者のトレーニングにおける正解率に応じて表示画像を決定して表示するので、入居者に応じた適切な表示画像を表示することが可能となる。具体的には、正解率に応じて、その入居者が認識できる人物の画像を表示し、脳の活性化のための問題を出題するので、親近感をもたせて脳活性化の問題を抵抗なく行わせることができ、記憶力の低下抑制につなげることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第１の実施形態においては、入居者の脳活性化のための問題の正解率に基づいて、問題とともに表示する表示画像を決定する場合について説明したが、第２の実施形態においては、正解率の履歴等に基づいて、問題とともに表示する情報（表示画像のみを表示するか、表示画像のガイド情報を更に表示するか）を決定する場合について説明する。

第２の実施形態におけるデジタルサイネージ装置１の構成は、第１の実施形態で図１を用いて説明したものと略同様であるが、記憶部２５の構成が異なる。
図８に、第２の実施形態における記憶部２５の構成例を示す。図８に示すように、記憶部２５には、プログラム記憶部２５１、出題コンテンツ記憶部２５２、画像データ記憶部２５３、解答履歴記憶部２５４が設けられている他、表示情報決定テーブル記憶部２５６が設けられている。

図９に、表示情報決定テーブル２５６のデータ格納例を示す。図９に示すように、表示情報決定テーブル２５６には、正解率とグループの組み合わせに対応付けて、問題とともに表示する表示情報（例えば、写真のみ、写真と名前、写真と名前と入居者との関係）が記憶されている。ここでいう名前とは、表示画像（写真）に写っている人物の名前であり、入居者との関係とは、表示画像の人物と入居者との関係である。これらは、表示画像に係るガイド情報である。

また、第２の実施形態において、プログラム記憶部２５１には、制御部２３が後述する再生制御処理Ｂをはじめとする各種処理を実行するためのプログラムやプログラムの実行に必要なデータが記憶されている。

また、第２の実施形態において、画像データ記憶部２５３に記憶されている入居者に関係する人物（例えば、入居者の家族、親戚、知人等）の画像を含む撮影画像には、その画像に写っている人物の名前及び入居者との関係の情報（ガイド情報）が対応付けて記憶されている。複数の人物の画像が１枚の撮影画像に含まれている場合には、その撮影画像に含まれる各人物の顔領域の位置情報に対応付けて、その領域に写っている人物の名前及び入居者との関係の情報が記憶されている。
また、第２の実施形態において、解答履歴記憶部２５４は、履歴記憶手段として機能する。
その他のデジタルサイネージ装置１の構成は、第１の実施形態で説明したものと同様であるので説明を援用する。

次に、第２の実施形態の動作について説明する。
図１０に、第２の実施形態においてデジタルサイネージ装置１において実行される再生制御処理Ｂのフローチャートを示す。再生制御処理Ｂは、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、ステップＳ１１〜ステップＳ１３の処理を実行する。ステップＳ１１〜Ｓ１３の処理は、第１の実施形態で説明した図５のステップＳ１〜Ｓ３と同様であるので説明を援用する。

次いで、制御部２３は、表示情報決定処理を実行する（ステップＳ１４）。
図１１に、ステップＳ１４において実行される表示情報決定処理のフローチャートを示す。表示情報決定処理は、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、画像データ記憶部２５３において認識された入居者の識別情報に対応付けられている、入居者に関係する人物の画像をグループＡ〜Ｃにグループ分けする（ステップＳ５０１）。ステップＳ５０１の処理は図５のステップＳ４０１で説明したものと同様であるので説明を援用する。なお、メモリには、グループ分けされた状態の表示候補の画像のそれぞれに対し、ガイド情報が対応付けて記憶される。

次いで、制御部２３は、全てのグループの中から表示画像をランダムに決定し、その表示画像を含む画像データ及びその表示画像が属するグループをメモリに読み出す（ステップＳ５０２）。

次いで、制御部２３は、解答履歴記憶部２５４から、認識された入居者の正解率を検索する（ステップＳ５０３）。

次いで、制御部２３は、決定された表示画像が属するグループがグループＣであるか否かを判断する（ステップＳ５０４）。決定された表示画像が属するグループがグループＣであると判断した場合（ステップＳ５０４；ＹＥＳ）、制御部２３は、表示する情報を表示画像のみに決定し（ステップＳ５０５）、図１０のステップＳ１５に移行する。

決定された表示画像が属するグループがグループＢであると判断した場合（ステップＳ５０４；ＮＯ、ステップＳ５０６；ＹＥＳ）、制御部２３は、認識された入居者の正解率が２９％以下であるか否かを判断する（ステップＳ５０７）。
認識された入居者の正解率が２９％以下ではないと判断した場合（ステップＳ５０７；ＮＯ）、制御部２３は、表示する情報を表示画像のみに決定し（ステップＳ５０５）、図１０のステップＳ１５に移行する。
認識された入居者の正解率が２９％以下であると判断した場合（ステップＳ５０７；ＹＥＳ）、制御部２３は、表示する情報を表示画像及び表示する人物の名前に決定し（ステップＳ５０８）、図１０のステップＳ１５に移行する。

決定された表示画像が属するグループがグループＣでもグループＢでもない（即ち、グループＡである）と判断した場合（ステップＳ５０４；ＮＯ、ステップＳ５０６；ＮＯ）、制御部２３は、認識された入居者の正解率が７０％〜１００％であるか否かを判断する（ステップＳ５０９）。
認識された入居者の正解率が７０％〜１００％であると判断した場合（ステップＳ５０９；ＹＥＳ）、制御部２３は、表示する情報を表示画像のみに決定し（ステップＳ５０５）、図１０のステップＳ１５に移行する。

認識された入居者の正解率が７０％〜１００％ではないと判断した場合（ステップＳ５０９；ＮＯ）、制御部２３は、認識された入居者の正解率が２９％であるか否かを判断する（ステップＳ５１０）。
認識された入居者の正解率が２９％以下ではないと判断した場合（ステップＳ５１０；ＮＯ）、制御部２３は、表示する情報を表示画像及び表示する人物の名前に決定し（ステップＳ５０８）、図１０のステップＳ１５に移行する。
認識された入居者の正解率が２９％以下であると判断した場合（ステップＳ５１０；ＹＥＳ）、制御部２３は、表示する情報を表示画像、表示する人物の名前及びその人物と入居者との関係に決定し（ステップＳ５１１）、図１０のステップＳ１５に移行する。入居者との関係とは、例えば、家族、親戚、同級生、同僚等である。

図１０に戻り、ステップＳ１５において、制御部２３は、ステップＳ１４の表示情報決定処理で決定された表示情報をプロジェクタ２４により画像形成部２７に投影（表示）する（ステップＳ１５）。具体的には、決定された表示画像（図７において人物Ｐの画像とする）が写っている撮影画像の中から表示画像の人物領域を抽出し（図７の太線参照）、抽出した人物領域の輪郭を含む、画像形成部２７の形状の領域（図７の２点鎖線参照）を投影対象の画像領域として、プロジェクタ２４により画像形成部２７に投影させる。また、人物Ｐの名前や入居者との関係等のガイド情報が表示情報に含まれている場合には、プロジェクタ２４により画像形成部２７の所定の位置（例えば、図４において点線２９２に囲まれた領域）にガイド情報を投影させる。

ステップＳ１６〜Ｓ１８の処理は、図５のステップＳ６〜Ｓ８の処理と同様であるので説明を援用する。
ステップＳ１８の実行後、所定時間が経過すると、制御部２３は、ステップＳ１１の処理に戻る。

以上説明したように、第２の実施形態におけるデジタルサイネージ装置１によれば、高齢者施設等において、画像形成部２７の前にきた入居者のトレーニングにおける正解率の履歴及び表示する人物画像のグループに基づいて、表示する人物画像とともにそのガイド情報を表示するか否か及び表示するガイド情報の内容を決定し、決定した情報を脳の活性化のための問題とともに表示する。従って、入居者の正解率の履歴及び表示画像のグループに応じて、必要な場合に表示画像のガイド情報を表示することができる。
例えば、正解率が低い入居者に当該入居者との関係がそれほど近くないグループの人物画像を表示する場合は、画像だけでなく、その画像の人物に対するガイド情報を表示するので、入居者がその人物の名前等を忘れていても思い出すきっかけとなる情報を提供することができ、記憶力の低下抑制につなげることができる。一方、正解率が高い入居者に対しては、表示する人物画像のグループにかかわらず画像のみを表示することで、不要な情報の表示を防止することができる。

なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態では、画像データ記憶部２５３において、入居者毎にその入居者が認識された際の表示候補の画像を記憶することとし、入居者が認識された際に、制御部２３により、認識された入居者に対応する表示候補の画像をグループ分けすることとして説明したが、これに限定されない。

例えば、記憶部２５に各入居者とその入居者に関係する人物が写っている撮影画像を複数記憶しておき、入居者が認識された際に、制御部２３により、認識された入居者を含む撮影画像を検索し、検索された撮影画像に含まれる入居者以外の人物毎に、検索された撮影画像に含まれている回数をカウントし、このカウントした各人物の回数に基づいて、認識された入居者に対応する表示候補の画像をグループ分けすることとしてもよい。入居者と一緒に写っている写真が多い人物ほど入居者との関係が近いため、回数の多い順に、Ｃ、Ｂ、Ａとグループ分けする。このようにしても、表示候補の画像を入居者との関係に応じて容易にグループ化することができる。

また、各入居者に対応する人物の画像を画像データ記憶部２５３に登録する際に、例えば、グループＡ＝知人の画像、グループＢ＝親戚の画像、グループＣ＝家族の画像のように、写っている人物の画像を入居者との関係等に基づいて予めグループ分けした状態で（グループ識別情報等を対応付けて）画像データ記憶部２５３に記憶しておくこととしてもよい。そして、入居者が認識された際に、認識された入居者に対応する表示候補の画像を画像データ記憶部２５３からメモリに読み出して、読み出した表示候補の画像のうち、入居者の正解率に基づいて決定されたグループの画像の何れかを表示画像として決定することとしてもよい。このようにしても、表示候補の画像を入居者との関係に応じて容易にグループ化し、入居者の正解率に応じて、適切な画像をすることができる。

また、上記第１の実施形態においては、表示候補の画像をグループ分けし、表示画像を正解率に応じたグループの中から決定することとしたが、正解率に応じた表示画像を表示候補の中から直接決定する構成としてもよい。

また、上記第１の実施形態においては、解答履歴記憶部２５４に入居者の識別情報に対応付けて、入居者の正解数、出題した問題数、正解率等を記憶することとしたが、これに限定されず、例えば、入居者の識別情報に対応付けて、入居者の解答そのものを記憶することとしてもよい。そして、制御部２３は、解答履歴記憶部２５４に記憶されている、認識された入居者の解答に基づいて、画像データ記憶部２５３に記憶されている表示候補の画像の中から画像形成部２７に表示する表示画像を決定することとしてもよい。または、認識された入居者の解答に基づいて、表示する画像のグループを決定し、表示候補の画像のうち決定したグループの画像の何れかを表示画像として決定することとしてもよい。
例えば、解答履歴記憶部２５４に記憶されている、認識された入居者の解答に基づいて、直近の予め定められた個数の問題に対する正解数や正解率等の、認知症のレベルに対応する指標値を求め、求めた指標値等に基づいて、表示画像や表示画像のグループを決定することとしてもよい。また、直近の解答が正解であったか否かに基づいて表示画像や表示画像のグループを決定することとしてもよい。

また、上記第２の実施形態においては、脳活性化の問題の正解率の履歴及び表示画像のグループに基づいて、表示画像とともに表示画像に係るガイド情報を表示するか否かを判断し、表示すると判断した場合にガイド情報の内容を決定することとしたが、表示画像に係るガイド情報を必ず表示する態様であれば、ガイド情報を表示するか否かの判断は不要である。

また、上記第２の実施形態においては、表示候補の画像をグループ分けし、脳活性化の問題の正解率の履歴及び表示画像のグループに基づいて、表示画像とともに表示する、表示画像に係るガイド情報の内容や、表示画像とともにガイド情報を表示するか否かを決定することとしたが、正解率の履歴のみに基づいて、表示画像とともに表示するガイド情報の内容や、表示画像とともにガイド情報を表示するか否かを決定することとしてもよい。

また、上記第２の実施形態においては、脳活性化の問題の正解率の履歴及び表示画像のグループに基づいて、表示画像とともに表示画像のガイド情報を表示するか否か及び表示するガイド情報の内容を決定することとしたが、この決定に用いる履歴は正解率に限らず、ユーザの認知症のレベルに相関のある他の行動に係る履歴であってもよい。例えば、各ユーザが夜間に出歩いたことを監視する機器（例えば、午前１２時〜３時等の夜間にユーザが歩いた歩数を計測する機器等）をユーザに装着しておき、監視結果（即ち、毎日のユーザの夜間の歩行履歴（徘徊履歴））を監視機器からデジタルサイネージ装置１に送信し、デジタルサイネージ装置１がこれを受信してその履歴を記憶部２５に記憶しておくこととしてもよい。そして、制御部２３は、記憶部２５に記憶されている、認識されたユーザの所定の行動の履歴（例えば、所定期間に夜間の歩行をした日数等）に基づいて、または、その履歴及び表示画像のグループに基づいて、表示画像とともに表示する、表示画像に係るガイド情報の内容や、表示画像とともにガイド情報を表示するか否かを決定することとしてもよい。

また、上記実施形態においては、本発明の画像表示装置を、高齢者施設に設置されている、脳活性化のための出題を行うデジタルサイネージ装置に適用した場合を例にとり説明したが、これに限定されるものではなく、他の用途の画像表示装置にも適用することができる。
また、上記実施形態においては、画像形成部２７に表示する表示候補の画像をユーザ（入居者）の家族、親戚、知人等としたが、これに限定されない。

また、上記実施形態においては、入居者の認識を撮像部３０により取得した撮影画像に基づいて行ったが、これに限定されず、例えば、操作部３２にから入力された入居者番号に基づく認識や指紋認証等の生体認証等、他の手法を用いて認識することとしてもよい。

その他、デジタルサイネージ装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
画像を表示する表示手段と、
前記表示手段への表示候補の画像を記憶する記憶手段と、
ユーザの所定の問題に対する解答を記憶する解答記憶手段と、
ユーザを認識する認識手段と、
前記認識されたユーザの解答に基づいて、前記記憶手段に記憶されている表示候補の画像の中から前記表示手段に表示する表示画像を決定する決定手段と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
を備える画像表示装置。
＜請求項２＞
ユーザ毎に、前記表示手段への表示候補の画像を予め定められた基準によりグループ分けされた状態で記憶する画像記憶手段を備え、
前記記憶手段は、前記画像記憶手段から読み出された前記認識されたユーザに対応する表示候補の画像を記憶し、
前記決定手段は、前記認識されたユーザの解答に基づいて、前記表示手段に表示する画像のグループを決定し、前記記憶手段に記憶されている表示候補の画像のうち前記決定したグループの画像の何れかを前記表示手段に表示する表示画像として決定する請求項１に記載の画像表示装置。
＜請求項３＞
ユーザ毎に、前記表示候補の画像となる人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記認識されたユーザに対応する撮影画像に含まれる人物毎に、前記撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、を備え、
前記決定手段は、前記認識されたユーザの解答に基づいて、前記表示手段に表示する画像のグループを決定し、前記記憶手段に記憶されている表示候補の画像のうち前記決定したグループの画像の何れかを前記表示手段に表示する表示画像として決定する請求項１に記載の画像表示装置。
＜請求項４＞
ユーザの画像及び当該ユーザに対応する表示候補の画像となる当該ユーザ以外の人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
前記画像記憶手段から前記認識されたユーザを含む撮影画像を検索し、前記検索された撮影画像に含まれる当該ユーザ以外の人物毎に、前記検索された撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記検索された撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、を備え、
前記決定手段は、前記認識されたユーザの解答に基づいて、前記表示手段に表示する画像のグループを決定し、前記記憶手段に記憶されている前記表示候補の画像のうち前記決定したグループの画像の何れかを前記表示手段に表示する表示画像として決定する請求項１に記載の画像表示装置。
＜請求項５＞
前記解答記憶手段は、前記所定の問題に対する解答の正解率を記憶し、
前記決定手段は、前記認識されたユーザの正解率に基づいて前記表示手段に表示する表示画像を決定する請求項１乃至４の何れか一項に記載の画像表示装置。
＜請求項６＞
画像を表示する表示手段と、
ユーザの所定の行動の履歴情報を記憶する履歴記憶手段と、
ユーザを認識する認識手段と、
前記表示手段への表示候補の画像と、前記表示候補の画像に対応付けて当該画像に係るガイド情報を記憶する記憶手段と、
前記記憶手段に記憶されている表示候補の画像の中から何れかを表示画像として決定し、前記認識されたユーザの履歴情報に基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する決定手段と、
前記決定手段により決定されるガイド情報の内容を前記表示画像とともに前記表示手段に表示する表示制御手段と、
を備える画像表示装置。
＜請求項７＞
前記記憶手段は、前記表示手段への表示候補の画像を予め定められた基準によりグループ分けされた状態で記憶し、
前記決定手段は、前記決定された表示画像のグループと前記認識されたユーザの履歴情報とに基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する請求項６に記載の画像表示装置。
＜請求項８＞
ユーザ毎に、前記表示候補の画像となる人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
前記画像記憶手段に記憶されている前記認識されたユーザに対応する撮影画像に含まれる人物毎に、前記撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、
を備える請求項７に記載の画像表示装置。
＜請求項９＞
ユーザの画像及び当該ユーザに対応する表示候補の画像となる当該ユーザ以外の人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
前記画像記憶手段から前記認識されたユーザを含む撮影画像を検索し、前記検索された撮影画像に含まれる当該ユーザ以外の人物毎に、前記検索された撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記検索された撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、
を備える請求項７に記載の画像表示装置。
＜請求項１０＞
前記決定手段は、前記決定された表示画像のグループと前記認識されたユーザの履歴情報とに基づいて、前記決定された表示画像とともに前記表示画像に係るガイド情報を表示するか否かを判断し、該ガイド情報を表示すると判断した場合に、表示するガイド情報の内容を決定する請求項７乃至９の何れか一項に記載の画像表示装置。
＜請求項１１＞
画像を表示する表示手段を備える画像表示装置における表示制御方法であって、
ユーザの所定の問題に対する解答を記憶する工程と、
ユーザを認識する工程と、
前記認識されたユーザの解答に基づいて、記憶手段に記憶されている表示候補の画像の中から前記表示手段に表示する表示画像を決定する工程と、
前記決定された表示画像に基づく表示を前記表示手段に行わせる工程と、
を含む表示制御方法。
＜請求項１２＞
画像を表示する表示手段を備える画像表示装置における表示制御方法であって、
ユーザの所定の行動の履歴情報を記憶する工程と、
ユーザを認識する工程と、
前記表示手段への表示候補の画像と、前記表示候補の画像に対応付けて当該画像に係るガイド情報を記憶する記憶手段に記憶されている表示候補の画像の中から何れかを表示画像として決定し、前記認識されたユーザの履歴情報に基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する工程と、
前記決定されたガイド情報の内容を前記表示画像とともに前記表示手段に表示する工程と、
を含む表示制御方法。
＜請求項１３＞
画像を表示する表示手段を備える画像表示装置に用いられるコンピュータを、
前記表示手段への表示候補の画像を記憶する記憶手段、
ユーザの所定の問題に対する解答を記憶する解答記憶手段、
ユーザを認識する認識手段、
前記認識されたユーザの解答に基づいて、前記記憶手段に記憶されている表示候補の画像の中から前記表示手段に表示する表示画像を決定する決定手段、
前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段、
として機能させるためのプログラム。
＜請求項１４＞
画像を表示する表示手段を備える画像表示装置に用いられるコンピュータを、
ユーザの所定の行動の履歴情報を記憶する履歴記憶手段、
ユーザを認識する認識手段、
前記表示手段への表示候補の画像と、前記表示候補の画像に対応付けて当該画像に係るガイド情報を記憶する記憶手段、
前記記憶手段に記憶されている表示候補の画像の中から何れかを表示画像として決定し、前記認識されたユーザの履歴情報に基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する決定手段、
前記決定手段により決定されるガイド情報の内容を前記表示画像とともに前記表示手段に表示する表示制御手段、
として機能させるためのプログラム。

１ デジタルサイネージ装置
２１ 投影部
２２ スクリーン部
２３ 制御部
２４ プロジェクタ
２５ 記憶部
２５１ プログラム記憶部
２５２ 出題コンテンツ記憶部
２５３ 画像データ記憶部
２５４ 解答履歴記憶部
２５５ 表示グループ決定テーブル記憶部
２５６ 表示情報決定テーブル記憶部
２６ 通信部
２７ 画像形成部
２８ 台座
２９ 透光板
３０ 撮像部
３２ 操作部
３３ 音声出力部

Claims (14)

1. 画像を表示する表示手段と、
   前記表示手段への表示候補の画像を記憶する記憶手段と、
   ユーザの所定の問題に対する解答を記憶する解答記憶手段と、
   ユーザを認識する認識手段と、
   前記認識されたユーザの解答に基づいて、前記記憶手段に記憶されている表示候補の画像の中から前記表示手段に表示する表示画像を決定する決定手段と、
   前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段と、
   を備える画像表示装置。
2. ユーザ毎に、前記表示手段への表示候補の画像を予め定められた基準によりグループ分けされた状態で記憶する画像記憶手段を備え、
   前記記憶手段は、前記画像記憶手段から読み出された前記認識されたユーザに対応する表示候補の画像を記憶し、
   前記決定手段は、前記認識されたユーザの解答に基づいて、前記表示手段に表示する画像のグループを決定し、前記記憶手段に記憶されている表示候補の画像のうち前記決定したグループの画像の何れかを前記表示手段に表示する表示画像として決定する請求項１に記載の画像表示装置。
3. ユーザ毎に、前記表示候補の画像となる人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
   前記画像記憶手段に記憶されている前記認識されたユーザに対応する撮影画像に含まれる人物毎に、前記撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、を備え、
   前記決定手段は、前記認識されたユーザの解答に基づいて、前記表示手段に表示する画像のグループを決定し、前記記憶手段に記憶されている表示候補の画像のうち前記決定したグループの画像の何れかを前記表示手段に表示する表示画像として決定する請求項１に記載の画像表示装置。
4. ユーザの画像及び当該ユーザに対応する表示候補の画像となる当該ユーザ以外の人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
   前記画像記憶手段から前記認識されたユーザを含む撮影画像を検索し、前記検索された撮影画像に含まれる当該ユーザ以外の人物毎に、前記検索された撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記検索された撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、を備え、
   前記決定手段は、前記認識されたユーザの解答に基づいて、前記表示手段に表示する画像のグループを決定し、前記記憶手段に記憶されている前記表示候補の画像のうち前記決定したグループの画像の何れかを前記表示手段に表示する表示画像として決定する請求項１に記載の画像表示装置。
5. 前記解答記憶手段は、前記所定の問題に対する解答の正解率を記憶し、
   前記決定手段は、前記認識されたユーザの正解率に基づいて前記表示手段に表示する表示画像を決定する請求項１乃至４の何れか一項に記載の画像表示装置。
6. 画像を表示する表示手段と、
   ユーザの所定の行動の履歴情報を記憶する履歴記憶手段と、
   ユーザを認識する認識手段と、
   前記表示手段への表示候補の画像と、前記表示候補の画像に対応付けて当該画像に係るガイド情報を記憶する記憶手段と、
   前記記憶手段に記憶されている表示候補の画像の中から何れかを表示画像として決定し、前記認識されたユーザの履歴情報に基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する決定手段と、
   前記決定手段により決定されるガイド情報の内容を前記表示画像とともに前記表示手段に表示する表示制御手段と、
   を備える画像表示装置。
7. 前記記憶手段は、前記表示手段への表示候補の画像を予め定められた基準によりグループ分けされた状態で記憶し、
   前記決定手段は、前記決定された表示画像のグループと前記認識されたユーザの履歴情報とに基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する請求項６に記載の画像表示装置。
8. ユーザ毎に、前記表示候補の画像となる人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
   前記画像記憶手段に記憶されている前記認識されたユーザに対応する撮影画像に含まれる人物毎に、前記撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、
   を備える請求項７に記載の画像表示装置。
9. ユーザの画像及び当該ユーザに対応する表示候補の画像となる当該ユーザ以外の人物の画像を含んだ撮影画像を複数記憶する画像記憶手段と、
   前記画像記憶手段から前記認識されたユーザを含む撮影画像を検索し、前記検索された撮影画像に含まれる当該ユーザ以外の人物毎に、前記検索された撮影画像に含まれている回数をカウントし、各人物のカウント回数に基づいて前記検索された撮影画像に含まれる人物の画像をグループ分けして表示候補の画像として前記記憶手段に記憶するグループ分け手段と、
   を備える請求項７に記載の画像表示装置。
10. 前記決定手段は、前記決定された表示画像のグループと前記認識されたユーザの履歴情報とに基づいて、前記決定された表示画像とともに前記表示画像に係るガイド情報を表示するか否かを判断し、該ガイド情報を表示すると判断した場合に、表示するガイド情報の内容を決定する請求項７乃至９の何れか一項に記載の画像表示装置。
11. 画像を表示する表示手段を備える画像表示装置における表示制御方法であって、
    ユーザの所定の問題に対する解答を記憶する工程と、
    ユーザを認識する工程と、
    前記認識されたユーザの解答に基づいて、記憶手段に記憶されている表示候補の画像の中から前記表示手段に表示する表示画像を決定する工程と、
    前記決定された表示画像に基づく表示を前記表示手段に行わせる工程と、
    を含む表示制御方法。
12. 画像を表示する表示手段を備える画像表示装置における表示制御方法であって、
    ユーザの所定の行動の履歴情報を記憶する工程と、
    ユーザを認識する工程と、
    前記表示手段への表示候補の画像と、前記表示候補の画像に対応付けて当該画像に係るガイド情報を記憶する記憶手段に記憶されている表示候補の画像の中から何れかを表示画像として決定し、前記認識されたユーザの履歴情報に基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する工程と、
    前記決定されたガイド情報の内容を前記表示画像とともに前記表示手段に表示する工程と、
    を含む表示制御方法。
13. 画像を表示する表示手段を備える画像表示装置に用いられるコンピュータを、
    前記表示手段への表示候補の画像を記憶する記憶手段、
    ユーザの所定の問題に対する解答を記憶する解答記憶手段、
    ユーザを認識する認識手段、
    前記認識されたユーザの解答に基づいて、前記記憶手段に記憶されている表示候補の画像の中から前記表示手段に表示する表示画像を決定する決定手段、
    前記決定された表示画像に基づく表示を前記表示手段に行わせる表示制御手段、
    として機能させるためのプログラム。
14. 画像を表示する表示手段を備える画像表示装置に用いられるコンピュータを、
    ユーザの所定の行動の履歴情報を記憶する履歴記憶手段、
    ユーザを認識する認識手段、
    前記表示手段への表示候補の画像と、前記表示候補の画像に対応付けて当該画像に係るガイド情報を記憶する記憶手段、
    前記記憶手段に記憶されている表示候補の画像の中から何れかを表示画像として決定し、前記認識されたユーザの履歴情報に基づいて、前記決定された表示画像とともに表示する前記表示画像に係るガイド情報の内容を決定する決定手段、
    前記決定手段により決定されるガイド情報の内容を前記表示画像とともに前記表示手段に表示する表示制御手段、
    として機能させるためのプログラム。

Images