〔実施形態1〕
本発明の一実施形態について、図1〜図4に基づいて説明すれば以下のとおりである。
(表示装置1の外観構成)
まず、図2を参照して、表示装置1の外観構成について説明する。図2は、表示装置1の外観構成の一例を示す図である。
表示装置1は、自装置の表示部11(図1参照)の表示面上に重ねて配置されたハーフミラー12(ハーフミラー部)を備える。また表示装置1は、図2に示すように、ハーフミラー12の上部に設けられたカメラ13、および人感センサ15を備えている。
表示装置1には、表示面に所定の情報を表示するモードである画像表示モードという動作モードがある。この画像表示モードを無効にした状態においては、表示面には上記所定の情報は表示されず、ハーフミラー12の表面は通常の鏡として使用される。一方、画像表示モードを有効にした状態においては表示面に所定の情報が表示されるため、ハーフミラー12の表面は鏡として使用されるとともに、表示面に表示された情報が表示される。よって、ユーザは、表示装置1を鏡として使用するときには、画像表示モードを無効にし、表示装置1にて情報の確認を行うときには、画像表示モードを有効にする。
表示装置1は、例えばユーザの家の洗面所に、鏡の代わりに備えられる。こうすることで、ユーザは毎日自身の鏡像とともに、表示される情報を見ることができる。
ここで、表示装置1の動作概要について、図3を参照して説明する。図3は、表示装置1の動作概要を示す遷移図である。
図3の(a)に示すように、ユーザが表示装置1の前に立つと、ハーフミラー12においてユーザの鏡像が形成される。このときには、画像表示モードは無効になっている。ここで、ユーザが表示装置1の前で静止した状態となると、水平方向の直線であるスキャンバー21が表示面の上端に表示される。そして、ユーザが静止状態を継続していると、図3の(b)および(c)に示すように、スキャンバー21が表示面の下端に向かって移動する動画が表示される。以降、上記動画を表示することを、「スキャンバー21の表示」と称する場合がある。
ここで、スキャンバー21の表示について詳細に説明する。スキャンバー21は、表示面の上端から下端まで、所定時間をかけて移動する。そして、スキャンバー21が表示面の下端に到達した時点で、この動画は終了する。この所定時間は、画像表示モードを有効にするためにユーザが静止すべき時間である。つまり、スキャンバー21から表示面の下端までの距離が、画像表示モードが有効になるまでの残り時間(静止状態を継続すべき残り時間)を表している。
またスキャンバー21は、図3の(d)に示すように、ユーザが静止状態を解除したとき、すなわちユーザが動いたときに消える。つまり、動画が終了する前にユーザが動いた場合、表示装置1はスキャンバー21の動画を途中で非表示とする。
以上より本実施形態の表示装置1は、スキャンバー21を表示面に表示することで、静止状態を継続していることをユーザに認識させる。また、本実施形態の表示装置1は、画像表示モードを有効にして所定の情報を表示面に表示させるためにユーザが静止すべき残り時間をユーザに認識させることができる。スキャンバー21は、画像表示モードが有効になるまでの残り時間(静止状態を継続すべき残り時間)をユーザが認識可能なように表示するものであればよく、水平方向の直線や下端に向かって移動する動画に限定されるものではない。
スキャンバー21の動画が終了するまで、ユーザが静止状態を継続した場合、表示装置1は、画像表示モードを有効にし、これにより、図3の(e)に示すような画面が表示面に表示される。この例では、ユーザを識別するためのユーザ識別情報22が表示されている。ユーザ識別情報22は、ユーザを識別できる画像であればよい。例えば、図3の(e)に示すように、ユーザのイニシャルなどであってもよいし、ユーザの名前であってもよい。また、文字列でなくユーザを識別する写真やイラストであってもよい。
また、この例では、ユーザの健康状態を示す画像23(体重の日ごとの変化を示すグラフ)、およびユーザが、当日行うべき身体の測定の達成度合いを示す画像24が表示されている。画像24は、例えば、測定した部位の色が、測定していない部位の色と異なる画像であってもよいし、測定数や全測定項目の達成を示す印を示す画像であってもよい。
なお以降、図3の(e)に示す画面を、トップ画面と称する場合がある。また、トップ画面は所定の情報を表示する画面であるが、当該所定の情報は図3の(e)の例に限定されない。例えば、体重以外のユーザの健康状態を示すような情報(脈拍数、消費カロリーなどを示す情報や、これらの変化を示すグラフなど)を表示してもよいし、電車の時刻表やその日のニュースなどを表示してもよい。また、HEMS(Home Energy Management System)と呼ばれる家庭内のエネルギー管理システムや防犯システムの状態を表示してもよい。
以上より、本実施形態に係る表示装置1は、画像表示モードが無効であるときに、ユーザの静止状態を検出すると、スキャンバー21の動画を表示面に表示する。このスキャンバー21は、所定時間が経過するまでの間、ユーザが静止状態を継続している限り表示される。そして表示装置1は、スキャンバー21の表示が終了するまでユーザが静止状態を継続した場合、画像表示モードを有効にする。
このため、ユーザは画像表示モードを有効にしたい場合は、所定時間(スキャンバー21が表示されている間)静止状態を継続すればよい。一方、画像表示モードを有効にしたくない場合は、スキャンバー21が表示されている間に何らかの動作を行なえばよい。よって、ユーザは画像表示モードを有効にしたいときに、画像表示モードを有効にすることができる。また、ユーザはハーフミラー12に触れることなく画像表示モードを有効にすることができるので、ハーフミラー12に指紋がついて汚れてしまうことを防ぐことができる。
ハーフミラー12は、透過面側が表示装置1の表示部11(図1)の表示面に対向するように、表示面上に重ねて配置されているので、画像表示モードが有効になっている場合、当該表示面に表示される画像または映像を透過して移し出す。またハーフミラー12は、外部からハーフミラー12の表面に入射する光を反射面によって反射する。これにより、ハーフミラーの前にいるユーザは自身の鏡像を認識することとなる。以上より、画像表示モードが有効になっている場合、表示面から出射され、ハーフミラー12を透過した光(透過光)と、ハーフミラー12によって反射された光(反射光)とがユーザに届く。これにより、ユーザは表示面に表示される画像または映像と、自身の鏡像とを同時に認識することとなる。なお図1では、透過光を黒塗りのブロック矢印で表現し、反射光を白抜きのブロック矢印で表現している。
カメラ13は、動画像を撮影して、表示装置1の前にいるユーザ(ハーフミラー12の反射面側に存在するユーザ)の状態や動きを検出するために用いられる。この検出の結果(カメラ13が撮影した映像)は、後述する制御部14に入力され、当該ユーザが静止状態にあるか否かの判定に使用される。なお、カメラ13は、表示装置1の前にいるユーザを撮影できるものであればよい。また、カメラ13は、人感センサ15によって表示装置1の前にいるユーザが検知されたときに起動する。
人感センサ15は、表示装置1の前にいるユーザの存在を検知するセンサであり、例えば赤外線センサである。なお、人感センサ15は、表示装置1の前にいるユーザを検知することができればよく、赤外線センサに限定されるものではない。
(表示装置1の要部構成)
次に、図1を参照して、表示装置1の要部構成について説明する。図1は、表示装置1の要部構成の一例を示すブロック図である。
図1に示すように、表示装置1は、上述のカメラ13および人感センサ15に加えて、表示部11、制御部14および記憶部16を備える。
表示部11は、画像や映像を表示する表示手段であり、例えば液晶パネルからなる。なお、表示部11は液晶パネルに限定されず、有機ELディスプレイ、無機ELディスプレイ、PDP(Plasma Display Panel)、SED(Surface-conduction Electron-emitter Display)などのFPD(Flat Panel Display)であってもよい。表示部11は、後述する表示制御部142によって制御されて、表示面に画像や映像を表示する。なお、上述したように表示部11の表示面上には、ハーフミラー12が、該表示面とハーフミラー12の透過面とが対向するように重なった状態で配置されている。
記憶部16は、表示装置1にて使用される各種データを記憶する記憶デバイスである。記憶部16は少なくとも、ユーザ識別データ161、共通画像データ162、および固有画像データ163を記憶している。
ユーザ識別データ161は、表示装置1の前に立つユーザを識別するために使用される。具体的には、ユーザ識別データ161は、ユーザの顔写真と当該顔写真が示すユーザを識別するためのユーザIDとが対応付けられているデータである。
共通画像データ162は、画像表示モードにおいて、表示面に表示される画面を形成するために使用される。つまり、共通画像データ162は、図3の(e)に示すようなトップ画面を形成するための画像データである。具体的には、共通画像データ162は、トップ画面を形成するための画像データのうち後述する個人特定部143によって識別されたユーザが誰であってもトップ画面の形成に使用される画像データである。共通画像データ162の一例としては、ユーザの家の最寄り駅に停車する電車の時刻表、家庭内のエネルギー管理システムの状態、防犯システムの状態などが挙げられる。
固有画像データ163は、共通画像データ162と同様に、表示面に表示される画面を形成するために使用される。つまり、固有画像データ163も、図3の(e)に示すようなトップ画面を形成するための画像データである。具体的には、固有画像データ163は、ユーザ識別データ161が登録された各ユーザに固有の画像データであり、ユーザIDごとに格納されている。固有画像データ163の一例としては、上述したユーザ識別情報22、ユーザの健康状態を示す画像23などが挙げられる。
制御部14は、表示装置1が備える各部を統括制御するものである。制御部14は、状態判定部141(検出部)、表示制御部142、個人特定部143(ユーザ特定部)、および写真撮影部144を含む。
状態判定部141は、表示装置1の前に立っているユーザが所定の状態であることを検出し、該所定の状態であることが検出された場合に、該所定の状態を所定時間継続しているか否かを判定する。なお、上述したように、本実施形態では上記所定の状態はユーザが静止している静止状態であるとして説明する。
具体的には、状態判定部141は、人感センサ15からユーザの存在を検知した旨の情報を取得すると、カメラ13を起動し、カメラ13が撮影した映像(撮影映像)を取得する。
ここで、状態判定部141は、上記撮影映像を解析して、該撮影映像に映るユーザが静止状態であることを検出した場合、後述する動画表示制御部1421に、スキャンバー21の表示を開始するよう指示する。なお、撮影映像に映るユーザが静止状態を継続しているか否かは、上記指示を行った後も継続して判定する。そして、撮影映像に映るユーザが動いた場合、スキャンバー21を非表示とするよう動画表示制御部1421に指示する。
また、状態判定部141は、静止状態が継続しているときに、動画表示制御部1421からスキャンバー21の表示終了を通知されると、静止状態が所定時間継続したと判定する。そして、トップ画面表示制御部1422に画像表示モードを有効にするよう指示するとともに、個人特定部143に、ユーザを特定するよう指示する。
表示制御部142は、表示部11の表示面に画像や映像を表示させる。表示制御部142は、動画表示制御部1421(報知部)およびトップ画面表示制御部1422(処理実行部)を含む。
動画表示制御部1421は、状態判定部141からスキャンバー21を表示するように指示を受けて、スキャンバー21(図3参照)が表示面の上端から下端まで移動する動画を表示面に表示させる。また動画表示制御部1421は、スキャンバー21を表示しているときに状態判定部141からスキャンバー21を非表示とするように指示されると、スキャンバー21を非表示とする。以上のように、ユーザの静止状態の継続および解除にあわせてスキャンバー21の表示および非表示を切り替えることにより、動画表示制御部1421は、ユーザが所定の状態(静止状態)を継続しているか否かをユーザに報知する。
また、動画表示制御部1421は、スキャンバー21の表示が終了する、すなわちスキャンバー21が表示面の上端から下端まで移動したとき、状態判定部141にスキャンバー21の表示が終了したことを通知する。
トップ画面表示制御部1422は、所定の状態(静止状態)に予め対応付けられた所定の処理として、表示面に所定の情報を表示させる。具体的には、トップ画面表示制御部1422は、状態判定部141から画像表示モードを有効にするように指示されると、個人特定部143から、個人特定部143が識別したユーザを示すユーザIDを受け取り、記憶部16から共通画像データ162および固有画像データ163を読み出す。そして、トップ画面を生成して表示面に表示させる。
個人特定部143は、カメラ13が撮影した映像に映るユーザを特定する。具体的には、個人特定部143は、状態判定部141からの指示を受けて、記憶部16からユーザ識別データ161を読み出し、カメラ13が撮影した映像に映るユーザの顔と、ユーザ識別データ161の各顔写真とを比較する。そして、映像に映るユーザの顔と一致する顔写真と対応付けられたユーザIDを、トップ画面表示制御部1422に供給する。
写真撮影部144は、カメラ13にユーザの顔写真を撮影させる。写真撮影部144の詳細については、後述する実施形態3にて説明する。
(画面表示処理の流れ)
次に図4を参照して、表示装置1が実行する画面表示処理の流れについて説明する。図4は、表示装置1が実行する画面表示処理の流れの一例を示すフローチャートである。
まず、人感センサ15がユーザの存在を検知すると(S1)、その旨を状態判定部141に通知する。状態判定部141は、当該通知を受け取ると、カメラ13を起動し、撮影を開始させる(S2)。そして状態判定部141は、カメラ13が撮影した映像を取得する。
状態判定部141は、取得した映像を解析して、ユーザの静止状態を検出する(S3)。ユーザの静止状態が検出できない場合(S3でNO)、状態判定部141はユーザが静止状態となっているか否かの検出を継続する。一方、ユーザの静止状態を検出した場合(S3でYES)、状態判定部141は、動画表示制御部1421にスキャンバー21(図3参照)の表示を開始するよう指示する。
動画表示制御部1421は、状態判定部141からの指示を受けて、スキャンバー21の動画を表示する(S4)。ここで、状態判定部141は、動画表示制御部1421にスキャンバー21の表示を指示した後も、スキャンバー21の表示が終了したことの通知を受けるまで、取得した映像にてユーザが静止しているか否かの判定を継続している。そして状態判定部141は、動画が終了するまで、ユーザが静止していたか否かを判定する(S5、検出ステップ)。
ここで、動画表示制御部1421からの通知を受ける前に、映像にてユーザが動いたと判定した場合(S5でNO)、状態判定部141は、スキャンバー21を非表示とするよう動画表示制御部1421に指示する。動画表示制御部1421は、当該指示を受けて、スキャンバー21の動画を途中で終了する(S8)。そして状態判定部141は、ステップS3の処理に戻り、カメラ13からリアルタイムで取得している映像にてユーザの静止状態の検出を行う。
これに対して、動画が終了するまでユーザが静止していたと判定した場合(S5でYES)、すなわち、動画表示制御部1421からスキャンバー21の表示が終了した旨の通知を受けるまで、映像にてユーザが静止していたと判定した場合、状態判定部141は、トップ画面表示制御部1422に画像表示モードを有効にするよう指示する。また状態判定部141は、個人特定部143にユーザを特定するよう指示する。個人特定部143は、状態判定部141からの指示を受けて、ユーザを特定する(S6)。
一方、状態判定部141から画像表示モードを有効にするように指示されたトップ画面表示制御部1422は、個人特定部143からユーザIDを供給されると、表示面にトップ画面を表示させる(S7、処理実行ステップ)。具体的には、トップ画面表示制御部1422は、記憶部16から共通画像データ162および固有画像データ163を読み出し、トップ画面を生成する。そして、生成したトップ画面を表示面に表示させる。以上で、画面表示処理は終了する。
なお、図4のフローチャートでは省略しているが、個人特定部143は、ユーザを特定できなかった場合、その旨をトップ画面表示制御部1422に通知する。トップ画面表示制御部1422は、当該通知を受けると、共通画像データ162のみを読み出し、トップ画面を生成する。
〔実施形態2〕
本発明の他の実施形態について、図5および図6に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、実施形態1にて説明した画像表示モードを無効にする構成について説明する。なお、本実施形態に係る表示装置は、実施形態1にて説明した表示装置1と構成が同様である。そのため以下では、本実施形態に係る表示装置は表示装置1(図1参照)であるとして説明する。
また以下では、実施形態1にて有効にした画像表示モードを無効にする例を説明するが、本実施形態にて説明する画像表示モードを無効にする処理は、実施形態1にて説明した方法と異なる方法で有効にされた画像表示モードを無効にするものであってもよい。
(表示装置1の動作概要)
まず、図5を参照して、本実施形態に係る表示装置1の動作概要について説明する。図5は、表示装置1の動作概要を示す遷移図である。
図5の(a)の状態では、表示装置1は画像表示モードを有効にしており、表示面には、トップ画面が表示されている。ここで、ユーザが表示装置1の前で静止状態となると、図5の(b)に示すように、表示面の右下に数字が表示される。そして、ユーザが静止状態を継続していると、図5の(c)に示すように、所定時間(図5の例では5秒間)のカウントダウンを行う動画が表示される。以降、上記動画を表示することを、「カウントダウン動画25の表示」と称する場合がある。なお、表示面においてカウントダウン動画25が表示される位置は、図5の例(右下)に限定されるものではない。
カウントダウン動画25の表示は、図5の(d)に示すように、ユーザが静止状態を解除したとき、すなわちユーザが動いたときに消える。つまり本実施形態の表示装置1は、カウントダウン動画25を表示面に表示することで、ユーザが静止状態を継続していることを報知するとともに、ユーザが静止すべき残り時間をユーザに報知することができる。
カウントダウン動画25の表示が終了するまでユーザが静止状態を継続した場合、表示装置1は画像表示モードを無効にする。これにより、図5の(e)に示すように、表示面に表示されていたトップ画面が非表示となる。これにより、表示装置1は通常の鏡として使用される状態となる。
以上のように、本実施形態に係る表示装置1は、画像表示モードが有効であるときに、ユーザの静止状態を検出すると、カウントダウン動画25を表示面に表示する。このカウントダウン動画25は、所定時間が経過するまでの間、ユーザが静止状態を継続している限り表示される。そして表示装置1は、カウントダウン動画25の表示が終了するまでユーザが静止状態を継続した場合、画像表示モードを無効にする。
このため、ユーザは、画像表示モードを有効にしたい場合だけでなく、画像表示モードを無効にしたい場合についても、所定時間(カウントダウン動画25が表示されている間)静止状態を継続すればよい。一方、画像表示モードを継続させたい場合は、カウントダウン動画25が表示されている間に何らかの動作を行なえばよい。よって、ユーザは静止状態という、鏡の前にいるユーザが自然にとる状態を継続することで、画像表示モードの有効と無効とを切り換えることができる。
(表示装置1の要部構成)
次に、表示装置1の要部構成について、図1を参照して説明する。
本実施形態に係る状態判定部141は、画像表示モードが有効であるときに、カメラ13がリアルタイムで撮影した映像に映るユーザが静止状態であることを検出した場合、動画表示制御部1421に、カウントダウン動画25(図5参照)の表示を開始するよう指示する。なお、撮影映像に映るユーザが静止状態を継続しているか否かは、上記指示を行った後も継続して判定する。そして、撮影映像に映るユーザが動いた場合、カウントダウン動画25を非表示とするよう動画表示制御部1421に指示する。
また、状態判定部141は、静止状態が継続しているときに、動画表示制御部1421からカウントダウン動画25の表示終了を通知されると、静止状態が所定時間継続したと判定する。そして、トップ画面表示制御部1422に画像表示モードを無効にするよう指示する。
本実施形態に係る動画表示制御部1421は、状態判定部141からの指示を受けて、カウントダウン動画25の表示を開始する。また動画表示制御部1421は、カウントダウン動画25を表示しているときに状態判定部141からのカウントダウン動画25を非表示とするよう指示されると、カウントダウン動画25を非表示とする。
また動画表示制御部1421は、カウントダウン動画25の表示が終了したとき、状態判定部141にその旨を通知する。
本実施形態に係るトップ画面表示制御部1422は、状態判定部141からの指示を受けて、画像表示モードを無効とし、表示面に表示されていたトップ画面を非表示とする。
(画面表示終了処理の流れ)
次に図6を参照して、表示装置1が実行する画面表示終了処理の流れについて説明する。図6は、表示装置1が実行する画面表示終了処理の流れの一例を示すフローチャートである。なお、図6は表示装置1が画像表示モードを有効にした状態からの処理の流れを示すフローチャートである。
まず、状態判定部141は、取得した撮影映像を解析して、ユーザの静止状態を検出する(S11)。ユーザの静止状態が検出できない場合(S11でNO)、状態判定部141はユーザが静止状態となっているか否かの検出を継続する。一方、ユーザの静止状態を検出した場合(S11でYES)、状態判定部141は、動画表示制御部1421にカウントダウン動画25(図5参照)の表示を開始するよう指示する。
続いて動画表示制御部1421は、状態判定部141からの指示を受けて、カウントダウン動画25を表示させる(S12)。ここで、状態判定部141は、動画表示制御部1421にカウントダウン動画25の表示を指示した後も、カウントダウン動画25の表示が終了したことの通知を受けるまで、取得した映像にてユーザが静止しているか否かの判定を継続している。そして状態判定部141は、カウントダウン動画25が終了するまで、ユーザが静止していたか否かを判定する(S13)。
ここで、動画表示制御部1421からの通知を受ける前に、映像にてユーザが動いたと判定した場合(S13でNO)、状態判定部141は、カウントダウン動画25を非表示とするよう動画表示制御部1421に指示する。動画表示制御部1421は、当該指示を受けてカウントダウン動画25を途中で終了する(S15)。そして状態判定部141は、ステップS13の処理に戻り、カメラ13からリアルタイムで取得している映像にてユーザの静止状態の検出を行う。
これに対して、動画が終了するまでユーザが静止していたと判定した場合(S13でYES)、すなわち、表示制御部142からの通知を受けるまで、映像にてユーザが静止していたと判定した場合(S13でYES)、状態判定部141は、トップ画面表示制御部1422に画像表示モードを無効にするよう指示する。
トップ画面表示制御部1422は、状態判定部141からの指示を受けて、画面表示を終了する(S14)。具体的には、トップ画面表示制御部1422は、画像表示モードを無効とし、表示面に表示されていた情報を非表示とする。以上で、画面表示終了処理は終了する。
〔実施形態3〕
本発明のさらに別の実施形態について、図7および図8に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、所定の処理としてユーザの顔写真を撮影する構成について説明する。なお、顔写真は実施形態1で説明したカメラ13が撮影する。すなわち、本実施形態のカメラ13は、動画像だけでなく静止画像を撮影することができる。
表示装置1が顔写真を撮影することにより、表示装置1をユーザの家の洗面所に設置しておけば、ユーザは表示装置1の前に毎日立つので、毎日のユーザの顔写真を記憶しておくことができる。将来この顔写真を読み出して、自身の鏡像とともに表示装置1に表示することで、ユーザは過去の自身の顔写真と現在の自身の鏡像とを比較することができる。
なお、本実施形態に係る表示装置は、実施形態1および2にて説明した表示装置1と構成が同様である。そのため以下では、本実施形態に係る表示装置は表示装置1(図1参照)であるとして説明する。
また以下では、実施形態1に説明したように、画像表示モードを有効にした後で顔写真を撮影する例を説明するが、本実施形態にて説明する顔写真を撮影する処理は、例えば画像表示モードを有効にする前、具体的にはユーザが画像表示モードを有効にするために静止状態を継続しているときに実行されてもよい。
(表示装置1の動作概要)
まず、図7を参照して、本実施形態に係る表示装置1の動作概要について説明する。図7は、表示装置1の動作概要を示す遷移図である。
表示装置1が画像表示モードを有効にしているため、図7の(a)に示すように、表示面には、トップ画面が表示されている。このトップ画面には、実施形態1で説明した各種画像の他に、楕円形の枠である撮影枠26が表示されている。ユーザは図7の(b)に示すように、自身の鏡像における顔が当該撮影枠26内に含まれる状態で静止した状態となると、スキャンバー27が撮影枠26内の上端に表示される。そして、ユーザが静止状態を継続していると、図7の(c)および(d)に示すように、スキャンバー27が撮影枠26の上端から下端に向かって移動する動画が表示される。このスキャンバー27の表示は、表示される場所が撮影枠26内であることを除けば、実施形態1で説明したスキャンバー21の表示と同様である。
スキャンバー27の表示が終了するまで、ユーザが静止状態を継続した場合、表示装置1はユーザの顔写真を撮影する。これに対して、スキャンバー27の表示が終了する前にユーザが動いた場合、図7の(e)に示すように、表示装置1はスキャンバー27を途中で非表示とする。なお、ここでの「顔写真」とは、ユーザの顔が写っている写真であればよい。
以上のように、本実施形態に係る表示装置1は、画像表示モードが有効であるときに、ユーザによる、撮影枠26内に自身の鏡像における顔が含まれる状態での静止状態を検出すると、スキャンバー27を撮影枠26内に表示する。このスキャンバー27は、所定時間が経過するまでの間、ユーザが静止状態を継続している限り表示される。そして表示装置1は、スキャンバー27の表示が終了するまでユーザが静止状態を継続した場合、ユーザの顔写真を撮影する。
このため、ユーザは顔写真を撮影したい場合は、撮影枠26内に自身の鏡像における顔が含まれる状態での静止状態を所定時間(スキャンバー27が表示されている間)継続すればよい。一方、スキャンバー27が表示された後で顔写真の撮影を中止したり、やり直したりしたい場合は、スキャンバー27が表示されている間に何らかの動作を行なえばよい。よって、ユーザは、顔が撮影枠26に入るようにして静止するという直感的な動作を行うことにより、自分が望んだタイミングで顔写真の撮影を行うことができる。また、顔が撮影枠26に入る状態で撮影することにより、ユーザとカメラ13との位置関係が同じ状態で撮影することができる。つまり、ユーザの顔の定点撮影が可能になる。
なお、撮影のために表示面に表示する画像は、ユーザが自身の顔を鏡像として表示装置1に映す位置を特定することができる画像であればよく、楕円形状の撮影枠26に限定されない。例えば、撮影枠26の代わりにユーザ識別情報22におけるユーザの写真を表示してもよい。
(表示装置1の要部構成)
次に、表示装置1の要部構成について、図1を参照して説明する。本実施形態の表示装置1では、表示面における撮影枠26の位置に対応する、カメラ13が撮影した撮影映像における位置が予め特定されている。なお、この特定した位置を所定の位置と称する場合がある。
まず、実施形態1にて説明を省略した写真撮影部144(処理実行部)について説明する。
写真撮影部144は、上述したように、カメラ13にユーザの顔写真を撮影させるものである。写真撮影部144は、状態判定部141から画像表示モードを有効にする旨の通知を受けると、動画表示制御部1421に、撮影枠26を表示面に表示するよう指示する。また、写真撮影部144は、状態判定部141からの指示を受けて、カメラ13にユーザの顔写真を撮影させる。そして、撮影した顔写真を記憶部16に固有画像データ163として格納する。
本実施形態に係る状態判定部141は、トップ画面表示制御部1422に、画像表示モードを有効にするよう指示したとき、写真撮影部144に画像表示モードを有効にする旨を通知する。
また、状態判定部141は、カメラ13からリアルタイムで取得した撮影映像の所定の位置にユーザの顔が位置した状態で、当該ユーザが静止状態であることを検出した場合、動画表示制御部1421に、撮影枠26内においてスキャンバー27の表示を開始するよう指示する。なお、撮影映像に映るユーザが静止状態を継続しているか否かは、上記指示を行った後も継続して判定する。そして、撮影映像に映るユーザが動いた場合、スキャンバー27を非表示とするよう動画表示制御部1421に指示する。
また、状態判定部141は、静止状態が継続しているときに、動画表示制御部1421からスキャンバー27の表示終了を通知されると、写真撮影部144にユーザの顔写真を撮影するよう指示する。
本実施形態に係る動画表示制御部1421は、写真撮影部144からの指示を受けて、撮影枠26を表示面の所定の位置に表示する。また、動画表示制御部1421は、状態判定部141からの指示を受けて、撮影枠26内においてスキャンバー27の表示を開始する。また動画表示制御部1421は、スキャンバー27を表示しているときに、状態判定部141からの指示を受けると、スキャンバー27を非表示とする。
また動画表示制御部1421は、スキャンバー27の表示が終了したとき、すなわちスキャンバー27が撮影枠26の上端から下端まで移動したとき、状態判定部141にスキャンバー27の表示が終了したことを通知する。
本実施形態に係るトップ画面表示制御部1422は、写真撮影部144が記憶部16に格納した過去の顔写真を、表示装置1の入力部(不図示)からの指示を受けて、図7の(f)に示すように、顔写真28として表示面に表示させることができる。また、トップ画面表示制御部1422は、複数ある過去の顔写真から、所定の時期(例えば1年前)に撮影された撮影データを特定し、顔写真28として、画像表示モードが有効になったときに表示面に表示してもよい。
なお、上記入力部は特に限定されるものではない。例えば、入力部はカメラであってもよい。この場合、カメラはカメラ13であってもよいし、別のカメラを新たに備えてもよい。この場合、状態判定部141は撮影映像に映るユーザが行ったジェスチャに応じた処理を特定し、表示装置1の各部に特定した処理の実行を指示する。また例えば、入力部はマイクであってもよい。この場合、状態判定部141はユーザの発した音声を認識し、認識した音声に応じた処理を特定する。また入力部は、表示面に重畳されたタッチセンサであってもよいし、物理ボタンであってもよいし、または、リモコンなどからの指示を受けるための赤外線受光部であってもよい。なお、ハーフミラー12に指紋がつくことでハーフミラー12が汚れることを防ぐために、入力部は、カメラ13、マイク、または赤外線受光部などのようなユーザが非接触で入力可能なものであることが好ましい。さらに、入力部をカメラ13とすれば、マイクやリモコンなどの装置を追加しなくてもユーザの操作を受け付けることができる。
(撮影処理の流れ)
次に図8を参照して、表示装置1が実行する撮影処理の流れについて説明する。図8は、表示装置1が実行する撮影処理の流れの一例を示すフローチャートである。なお、図8は表示装置1が画像表示モードを有効にした状態からの処理の流れを示すフローチャートであり、画像表示モードが有効になったときに表示されるトップ画面には、撮影枠26が表示されている。
まず、状態判定部141は、取得した撮影映像を解析して、撮影映像の所定の位置にユーザの顔が位置したことを検出する(S21)。所定の位置にユーザの顔が位置したことを検出できない場合(S21でNO)、状態判定部141は、所定の位置にユーザの顔が位置しているか否かの検出を継続する。一方、所定の位置にユーザの顔が位置したことを検出した場合(S21でYES)、状態判定部141は、撮影映像においてユーザの静止状態を検出する(S22)。
ここで、ユーザの静止状態を検出できない場合(S22でNO)、状態判定部141はユーザが静止状態となっているか否かの検出を継続する。
一方、ユーザの静止状態を検出した場合(S22でYES)、状態判定部141は動画表示制御部1421に、撮影枠26内においてスキャンバー27の表示を開始するよう指示する。
動画表示制御部1421は、状態判定部141からの指示を受けて、スキャンバー27の動画を撮影枠26内に表示する(S23)。具体的には、動画表示制御部1421は、スキャンバー27が撮影枠26の上端から下端まで移動する動画を表示面に表示する。動画表示制御部1421は、当該動画が終了すると、スキャンバー27の表示が終了したことを状態判定部141に通知する。
状態判定部141は、動画表示制御部1421にスキャンバー27の表示を指示した後も、スキャンバー27の表示が終了したことの通知を受けるまで、取得した映像にて、ユーザが静止しているか否かの判定を継続している。つまり状態判定部141は、スキャンバー27の動画が終了するまでユーザが静止していたか否かを判定する(S24)。
ここで、動画表示制御部1421からの通知を受ける前に、映像にてユーザが動いたと判定した場合(S24でNO)、状態判定部141は、スキャンバー27を非表示とするよう動画表示制御部1421に指示する。動画表示制御部1421は、当該指示を受けて、スキャンバー27を途中で終了する(S26)。この後、処理はS21に戻り、状態判定部141は、カメラ13がリアルタイムで取得している映像にて、特定した位置にユーザの顔が位置したことの検出、および、ユーザの静止状態の検出を行う。
これに対して、スキャンバー27の動画が終了するまでユーザが静止していたと判定した場合(S24でYES)、すなわち、動画表示制御部1421からの通知を受けるまで、カメラ13がリアルタイムで取得している映像にてユーザが静止していたと判定した場合、状態判定部141は、写真撮影部144にユーザの顔写真を撮影するよう指示する。写真撮影部144は、状態判定部141からの指示を受けて、ユーザの顔写真を撮影する(S25)。以上で、撮影処理は終了する。
〔実施形態4〕
本発明のさらに別の実施形態について、図9に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、ユーザが表示装置1に顔を映さない状態を所定時間継続したとき、換言すれば、表示装置1がユーザの顔を検出できない状態が所定時間継続したときに画像表示モードを無効にする構成について説明する。なお、本実施形態に係る表示装置は、実施形態1〜3にて説明した表示装置1と構成が同様である。そのため以下では、本実施形態に係る表示装置は表示装置1(図1参照)であるとして説明する。また、本実施形態においてユーザが表示装置1に顔を映さない状態を継続している間に表示される動画は、実施形態2で説明したカウントダウン動画25(図5参照)であるとして説明する。
また以下では、実施形態1にて有効にした画像表示モードを無効にする例を説明するが、本実施形態にて説明する画像表示モードを無効にする処理は、実施形態1にて説明した方法と異なる方法で有効にされた画像表示モードを無効にするものであってもよい。
まず、表示装置1の要部構成について、図1を参照して説明する。
本実施形態に係る状態判定部141は、カメラ13がリアルタイムで撮影した映像においてユーザの顔を検出できなくなったとき、動画表示制御部1421にカウントダウン動画の表示を開始するよう指示する。
また状態判定部141は、ユーザの顔を検出できなくなった後も、カメラ13がリアルタイムで撮影した映像を解析している。そして、動画表示制御部1421から、カウントダウン動画25の表示終了を通知される前に、当該映像において再びユーザの顔を検出したとき、カウントダウン動画25を非表示とするよう動画表示制御部1421に指示する。
実施形態2のように、ユーザが静止している場合にカウントダウン動画25を表示すると、ユーザが画像表示モードを無効にする意図が無い場合にもかかわらず、カウントダウン動画25が表示される可能性がある。これは、画像表示モードを有効にしておきたいユーザが、例えば表示されているデータを見る場合などに静止状態となることが自然であるためである。これに対して、画像表示モードを有効にしておきたいユーザが、自身の顔を表示装置1が検出できなくなるような状態とすること、例えば顔を表示装置1と反対方向に向けたり、表示装置1の前から立ち去ったりすることは考えにくい。つまり、ユーザの顔が検出できなくなったときに画像表示モードを無効にすることで、ユーザが意図していないのに、表示装置1が画像表示モードを無効にすることを防ぐことができる。
(画面表示終了処理の流れ)
次に図9を参照して、表示装置1が実行する画面表示終了処理の流れについて説明する。図9は、表示装置1が実行する画面表示終了処理の流れの一例を示すフローチャートである。なお、図9は表示装置1が画像表示モードを有効にした状態からの処理の流れを示す。
まず、状態判定部141は、取得した映像を解析して、ユーザの顔を検出する(S31)。ユーザの顔を検出できた場合(S31でYES)、状態判定部141はユーザの顔の検出を継続する。一方、ユーザの顔を検出できない場合(S31でNO)、状態判定部141は、表示制御部142にカウントダウン動画25の表示を開始するよう指示する。
動画表示制御部1421は、状態判定部141からの指示を受けて、カウントダウン動画25を表示させる(S32)。動画表示制御部1421は、当該動画が終了すると、カウントダウン動画25の表示が終了したことを状態判定部141に通知する。
続いて状態判定部141は、カウントダウン動画25が終了するまでに、ユーザの顔を再検出したか否かを判定する(S33)。ユーザの顔を再検出した場合(S33)、状態判定部141は、カウントダウン動画25を非表示とするよう動画表示制御部1421に指示する。動画表示制御部1421は、当該指示を受けて、カウントダウン動画25を途中で終了する(S35)。この後、処理はS31に戻り、状態判定部141は、取得した映像を解析して、ユーザの顔の検出を行う。
これに対して、動画表示制御部1421からカウントダウン動画25の表示が終了したことを通知されるまでに、個人特定部143からユーザの顔を認識したことを通知されなかった場合、状態判定部141はユーザの顔を再認識しなかったと判定する(S33でNO)。この場合、状態判定部141は、トップ画面表示制御部1422に画像表示モードを無効にするよう指示する。
トップ画面表示制御部1422は、状態判定部141からの指示を受けて、画面表示を終了する(S34)。以上で、画面表示終了処理は終了する。
なお、本実施形態では、ユーザが表示装置1に顔を映していない状態であるか否かを判定するために、ユーザの顔が認識できるか否かを判定していた。しかしながら、ユーザが表示装置1に顔を映していない状態であるか否かを判定する方法はこの例に限定されるものではない。例えば、ユーザの眼の部分を映像から検出できるか否かを判定してもよい。
〔実施形態5〕
本発明のさらに別の実施形態について、図10に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態に係る表示装置は、自身の鏡像が所定領域に映るような位置でユーザが静止状態を所定時間継続しているとき、所定の処理を実行する。なお、本実施形態に係る表示装置は、実施形態1〜4にて説明した表示装置1と構成が同様である。そのため以下では、本実施形態に係る表示装置は表示装置1(図1参照)であるとして説明する。また、本実施形態においてユーザが静止状態を継続している間に表示される動画は実施形態1で説明したスキャンバー21(図3参照)の動画であるとして説明する。
また以下では、所定の処理が画像表示モードを有効にする処理である例を説明するが、所定の処理はこの例に限定されるものではない。例えば画像表示モードを無効にする処理であってもよいし、ユーザの顔写真を撮影する処理であってもよい。
本実施形態の具体例について、図10を参照して説明する。図10の(a)は、表示装置1において、ユーザが画像表示モードを有効にするために鏡像を映しこむべき位置を示す模式図であり、図10の(b)は、ユーザが図10の(a)に示す位置に鏡像が映るように立ったときに、表示装置1のカメラ13によって撮影された撮影映像にユーザが映るべき位置として予め設定される領域を示す模式図である。
本実施形態に係る表示装置1は、図10の(a)に示すように、ハーフミラー12における左端部の領域111内にユーザの鏡像が映るような位置にユーザが立ち、静止状態を所定時間継続した場合に画像表示モードを有効にする。
具体的には、本実施形態に係る表示装置1では、カメラ13が撮影した撮影映像31において、図10の(b)に示す右端部の領域311が予め特定されている。この領域311は領域111に対応するようになっている。つまりユーザが領域111内に映るように立ったときに、撮影映像31では領域311内にユーザが映るように、撮影映像31における領域311の位置が設定されている。
そして、本実施形態に係る状態判定部141は、カメラ13が撮影した撮影映像31の所定の位置(領域311)にユーザが映った状態で当該ユーザが静止状態であることを検出した場合、動画表示制御部1421にスキャンバー21の表示を開始するよう指示する。この後、実施形態1と同様に、ユーザがスキャンバー21の表示が終了するまで静止状態を継続すれば、画像表示モードが有効になり、表示面にトップ画面が表示される。
一方、ユーザが所定の位置(領域311)に映っていること、およびユーザが静止していることを検出できない場合、ユーザが所定の位置に映った状態で静止状態となっているか否かの検出を継続する。
以上のように、ユーザは画像表示モードを有効にしたい場合は、自身の鏡像が領域111に映るような位置に立ち、スキャンバー21の表示が終了するまで静止状態を継続すればよい。なお、領域111とそれ以外の領域との境界を示す矩形は表示面に表示されなくてもよいし、表示されてもよい。ただし、この境界を表示すれば、ユーザは、画像表示モードを有効にするために自身が立つ位置を認識することができる。
実施形態1〜3のように、静止状態を継続しているか否かを判定するような構成の場合、ユーザが所定時間静止していれば画像表示モードが有効になる。鏡の前で静止状態となることはユーザにとって自然なことであるため、ユーザが画像表示モードを有効にしたくない、すなわち表示装置1を通常の鏡として使用したい場合であっても、画像表示モードが有効になる場合がある。
そこで、本実施形態の表示装置1は、ユーザが所定の位置(領域311)に映った状態で静止状態を所定時間継続しているか否かを判定する。ユーザは画像表示モードを有効にしたい場合は、撮影映像31において領域311に映るような位置、すなわち、自身の鏡像が領域111に映るような位置に立つ。これにより、ユーザが画像表示モードを有効にすることを希望している可能性が高い状況において、画像表示モードを有効にすることができる。なお、鏡を使用するユーザは、一般的にその鏡の中央に自身の鏡像が映るような位置に立つことが多い。このため、図10に示すように、ハーフミラー12の端部に近い領域にユーザの鏡像が映るような位置を、画像表示モードを有効にするためにユーザが立つ位置としておくことが好ましい。これにより、ユーザが画像表示モードを有効にすることを希望している可能性がさらに高い状況において、画像表示モードを有効にすることができる。
なお、本実施形態では領域111をハーフミラー12の左端部の領域としていたが、領域111はハーフミラー12の右端部の領域であってもよい。この場合、領域311は、撮影映像31の左端部の領域となる。
〔実施形態6〕
本発明のさらに別の実施形態について、図11および図12に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態では、ユーザが静止しているか否かを判定している期間、換言すれば実施形態1で説明したスキャンバー21の動画が表示されている期間に、ユーザの心拍数(heart rate)、呼吸数、疲労度および体温を測定する表示装置2について説明する。
(表示装置2の要部構成)
まず、図11を参照して、表示装置2の要部構成について説明する。図11は、表示装置2の要部構成の一例を示すブロック図である。
表示装置2と、実施形態1〜5で説明した表示装置1との相違点は、図11に示すように、赤外線センサ18をとバイタルデータ測定部145(測定部)とをさらに備える点である。
本実施形態に係る状態判定部141は、カメラ13が撮影した映像に映るユーザが静止していることを検出した場合、動画表示制御部1421にスキャンバー21の表示を指示するとともに、バイタルデータ測定部145にユーザの心拍数、呼吸数、疲労度および体温の測定を指示する。また、状態判定部141は、スキャンバー21の表示終了を通知される前に当該映像に映るユーザが動いた場合、スキャンバー21を非表示とするよう動画表示制御部1421に指示するとともに、心拍数、呼吸数、疲労度および体温の測定を中止するようバイタルデータ測定部145に指示する。
赤外線センサ18は、ユーザの体温を測定するために、ユーザから放出される赤外線のエネルギーを検出するセンサである。本実施形態に係る赤外線センサ18は、バイタルデータ測定部145によって制御されて、ユーザの額から放出される赤外線のエネルギーを検出し、検出結果をバイタルデータ測定部145に出力する。
バイタルデータ測定部145は、ユーザが静止しているか否かを状態判定部141が判定している期間に、ユーザの心拍数、呼吸数、疲労度および体温を測定するものである。具体的には、バイタルデータ測定部145は、状態判定部141からの指示を受けると、カメラ13から撮影映像を取得するとともに、赤外線センサ18を起動する。そして、取得した撮影映像からユーザの顔を認識することで、ユーザの額部分を特定する。そして、赤外線センサ18の向きをユーザの額部分から放出される赤外線を検出できるような向きとし、ユーザの額部分から放出される赤外線を検出させる。そして、バイタルデータ測定部145はユーザの額部分から放出された赤外線のエネルギーの値を取得し、当該値を温度の値に変換することで、ユーザの体温を測定する。
また、バイタルデータ測定部145は取得した撮影映像に基づいて心拍数を測定する。具体的には、撮影映像に映るユーザの顔の色は、心臓の鼓動に合わせて色が変化する(心臓が鼓動したとき、顔の色における赤色成分が増加する)ので、バイタルデータ測定部145は、この色の変化からユーザの心拍数を測定する。
さらに、バイタルデータ測定部145は、赤外線センサ18またはカメラ13が出力した画像を解析することによって、呼吸数および疲労度を測定する。そして、バイタルデータ測定部145は、心拍数、呼吸数、疲労度および体温の測定結果の画像をトップ画面表示制御部1422に供給する。
本実施形態に係るトップ画面表示制御部1422は、バイタルデータ測定部145から供給された画像を含むトップ画面を表示する。
(画面表示処理の流れ)
次に、図12を参照して、表示装置2が実行する画面表示処理の流れについて説明する。図12は、表示装置2が実行する画面表示処理の流れの一例を示すフローチャートである。なお、図12に示すステップS41〜S44にて実行される処理は、図4に示すステップS1〜4にて実行される処理と同様であるため、ここでの説明を省略する。
状態判定部141は、取得した映像にてユーザの静止状態を検出した場合(S43でYES)、動画表示制御部1421にスキャンバー21の表示を開始するよう指示するとともに、バイタルデータ測定部145に、ユーザの心拍数、呼吸数、疲労度および体温の測定を指示する。
バイタルデータ測定部145は、状態判定部141からの指示を受けて、ユーザの心拍数、呼吸数、疲労度および体温を測定する(S45)。また状態判定部141は、実施形態1と同様に、スキャンバー21の動画が終了するまで、ユーザが静止していたか否かを判定する(S46)。
ここで、動画表示制御部1421からの通知を受ける前に、映像にてユーザが動いたと判定した場合(S46でNO)、状態判定部141は、スキャンバー21を非表示とするよう動画表示制御部1421に指示する。動画表示制御部1421は、当該指示を受けてスキャンバー21の動画を途中で終了する(S49)。さらに状態判定部141は、心拍数、呼吸数、疲労度および体温の測定を中止するようバイタルデータ測定部145に指示する。バイタルデータ測定部145は、状態判定部141からの指示を受けて、心拍数、呼吸数、疲労度および体温の測定を中止する(S50)。この後、処理はS43に戻る。
これに対して、動画が終了するまでユーザが静止していたと判定した場合(S46でYES)、バイタルデータ測定部145は、心拍数、呼吸数、疲労度および体温の測定結果の画像を、トップ画面表示制御部1422に供給する。そして、実施形態1と同様に、個人特定部143が状態判定部141からの指示を受けてユーザを特定し(S47)、トップ画面表示制御部1422が、表示面にトップ画面を表示させる(S48)。このとき、トップ画面表示制御部1422は、バイタルデータ測定部145から供給された心拍数、呼吸数、疲労度および体温の測定結果示す画像を含むトップ画面を表示させる。
なお、本実施形態では心拍数、呼吸数、疲労度および体温の全てを測定するものとして説明したが、心拍数、呼吸数、疲労度または体温のいずれか一つまたは複数の組合せを測定する構成であってもよい。また、心拍数、呼吸数、疲労度および体温以外のバイタルデータを測定してもよい。
また、ユーザが所定の状態を所定時間継続しているか否かを判定している間に実行する処理を、バイタルデータの測定としたのは一例である。例えば、判定している間に本日の天気やニュースなどの情報を外部から取得して、表示面に表示させてもよい。つまり、図11に示すバイタルデータ測定部145は、ユーザが所定の状態を所定時間継続しているか否かを判定している間に実行されるアプリケーションの一例であり、表示装置2では、判定している間に実行する処理に応じたアプリケーションを実行することができる。
また、ユーザが所定の状態を所定時間継続しているか否かを判定している間に個人特定部143がユーザを特定し、バイタルデータ測定部145は、当該特定したユーザに応じたバイタルデータを測定してもよい。例えば、特定したユーザの年齢に応じて、測定するバイタルデータを変更してもよい。
〔実施形態7〕
本発明のさらに別の実施形態について、図13に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態に係る表示装置は、表示面に表示された注目対象画像にユーザが目線を所定時間向けた状態を継続したときに所定の処理を実行する。なお、本実施形態に係る表示装置は、実施形態1〜5にて説明した表示装置1と構成が同様である。そのため以下では、本実施形態に係る表示装置は表示装置1であるとして説明する。
本実施形態の具体例について、図13を参照して説明する。図13は、本実施形態に係る表示装置1に表示される画面例を示す模式図である。
まず、図13の(a)を参照して、所定の処理が画像表示モードを有効にする処理である例を説明する。
本実施形態に係る状態判定部141は、人感センサ15からユーザの存在を検知した旨の情報を取得すると、カメラ13を起動するとともに、動画表示制御部1421に図13の(a)に示す注目対象画像211を表示するよう指示する。なお、注目対象画像211が表示される位置に対応する撮影映像中の位置は予め特定されている。
そして、状態判定部141は、撮影映像に映るユーザが、上記特定された位置に目線を向けている状態であることを検出した場合、当該状態を所定時間継続しているか否かを判定する。なお、ユーザが目線を所定の位置(注目対象画像211が表示されている位置)に向けていることを検出する方法については既存の技術を用いることができる。上記特定された位置に目線を向けている状態を所定時間継続していると判定した場合、状態判定部141は、実施形態1と同様に、トップ画面表示制御部1422に画像表示モードを有効にするよう指示する。
次に、図13の(b)を参照して、所定の処理が画像表示モードを無効にする処理である例を説明する。
状態判定部141は、画像表示モードが有効である状態で、撮影映像に映るユーザが、予め特定されている所定の位置に目線を向けている状態であることを検出した場合、動画表示制御部1421に図13の(b)に示す注目対象画像212を、予め特定されている所定の位置(ユーザが目線を向けている位置)に表示するよう指示する。そして、状態判定部141は、注目対象画像212が表示されている位置にユーザが目線を向けた状態を所定時間継続していると判定した場合、画像表示モードを無効にするようトップ画面表示制御部1422に指示する。なお、注目対象画像212は、トップ画面が表示されるときに同時に表示されてもよい。この場合、トップ画面における注目対象画像212以外の画像は、注目対象画像212と重ならないような位置に表示される。
なお、注目対象画像211および注目対象画像212は動画であってもよい。例えば、図13の(a)に示す注目対象画像211において「ここに3秒注目」という文字列の数字がカウントダウンされていく動画であってもよい。また、図13の(b)に示す注目対象画像212が、「あと3秒でOFF」という文字列を含み、当該文字列の数字がカウントダウンされていく動画であってもよい。そして状態判定部141は、当該動画が終了するまで、当該動画が表示されている位置に目線を向けた状態をユーザが継続しているか否かを判定する。そして動画が終了したとき、トップ画面表示制御部1422はトップ画面を表示する(または画面表示を終了する)。
また例えば、図13の(c)および(d)に示すように、移動する動画を表示してもよい。具体的には、動画表示制御部1421は、表示面の右上端部から左上端部に向かって移動する注目対象画像213を表示する。状態判定部141は、注目対象画像213にユーザが目線を向けている状態であることを検出した場合、移動する注目対象画像213をユーザの目線が追う状態を所定時間継続したか否かを判定する。そして、所定時間継続したと判定した場合、トップ画面表示制御部1422は画像表示モードを有効にする。
なお、状態判定部141は、ユーザが目線を向けている状態を検出した場合に、動画表示制御部1421に指示して注目対象画像213の移動を開始させてもよい。つまり、ユーザが静止している注目対象画像213に目線を向けると、注目対象画像213は右端端部から左端端部へ向けての移動を開始する。状態判定部141は、この移動する注目対象画像213をユーザの目線が追う状態が所定時間継続したか否かを判定する。
また、予め特定されている所定の位置に注目対象画像を表示しなくてもよい。ただしこの場合、どの位置に目線を向けるのかをユーザが知っておく必要がある。
〔実施形態8〕
本発明のさらに別の実施形態について、図14から図17に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
本実施形態に係る表示装置3は、後述するヘルスケア見守りシステム100において、ユーザが測定機器6を用いて測定した結果を表示する表示装置である。
(ヘルスケア見守りシステム100)
まず、図14に基づいて、本実施形態に係るヘルスケア見守りシステム100の概要について説明する。図14は、ヘルスケア見守りシステム100に含まれる表示装置3およびサーバ4の要部構成の一例を示すブロック図である。
ヘルスケア見守りシステム100は、予め登録されたユーザ(例えば、家族のメンバー)が測定機器6を用いて測定した結果を、表示装置3に表示するシステムである。測定機器6によって測定された結果を示す測定データは、サーバ4によって管理される。そして、当該測定データは表示装置3に対するユーザ操作に応じて、表示装置3に表示される。なお、本実施形態では、ヘルスケア見守りシステム100に、家族のメンバーで構成されるグループを登録した例を説明する。この家族のメンバーは同居しているメンバーに限らない。例えば、同居している家族と別居している親とを同じ家族のメンバーとして登録してもよい。
ヘルスケア見守りシステム100は、表示装置3、サーバ4、ベースユニット5、および測定機器6(体重計61、血圧計62、体脂肪計63、および血糖値計64)を含む。なお、測定機器6の種類および数は、図14の例に限定されない。測定機器6の他の例としては、血中酸素濃度(酸素飽和度)を測定する血中酸素濃度計、脈拍(pulse)数を測定する脈拍計、心臓の活動電位を測定して心電図を生成する心電計、活動量を測定する活動量計、睡眠に関するデータを測定する睡眠計などが挙げられる。また、測定機器6は、血中酸素濃度および脈拍数を測定する血中酸素濃度脈拍計や、活動量および睡眠に関するデータを測定する活動量睡眠計などの、複数の測定項目を測定できる測定機器であってもよい。
測定機器6は、ユーザによる測定が完了すると、測定データ、測定日、および自機のシリアル番号をベースユニット5に送信する。ベースユニット5は、受信した測定データ、測定日、およびシリアル番号に、家族のメンバーで構成されるグループを識別するための家族IDを付してサーバ4に送信する。
(表示装置3の要部構成)
次に、表示装置3の要部構成について説明する。表示装置3と、実施形態1〜5、および7で説明した表示装置1との相違点は、図14に示すように、表示装置1の記憶部16に記憶されていたユーザ識別データ161、共通画像データ162、および固有画像データ163を記憶していない点、個人特定部143を備えない点、並びに、通信部19および設定部146を備える点である。また、表示装置3は上述した家族IDを記憶している。
通信部19は、外部装置との通信を行う。具体的には、制御部14から出力される各種データをサーバ4に送信するとともに、サーバ4から受信した各種データを、制御部14に出力する。
本実施形態に係る状態判定部141は、カメラ13から撮影映像を取得すると、当該撮影映像に映るユーザを特定させるために、通信部19を介して当該撮影映像および家族IDをサーバ4に送信する。そして、サーバ4が撮影映像に映るユーザを特定することができた場合、特定したユーザのユーザIDを受信する。一方、特定できなかった場合、その旨を示す通知を受信する。
また、本実施形態に係る状態判定部141は、表示装置3の前に立っているユーザの所定の状態(例えば、ユーザが静止している静止状態)が所定時間継続したと判定すると、トップ画面表示制御部1422画像に表示モードを有効にするよう指示するとともに、サーバ4から受信したユーザID(表示装置3の前に立つユーザのユーザID)を出力する。
また、本実施形態に係る状態判定部141は、撮影映像に映るユーザが行ったジェスチャに応じた処理を特定し、制御部14の各部に特定の処理の実行を指示する。具体的には、状態判定部141は、取得した撮影映像からユーザが上下左右のいずれかの方向に手を動かすジェスチャを行ったことを特定し、当該ジェスチャに応じて、表示制御部142に、表示する画面の変更を指示する。なお、ここでの「上下左右」とは、後述する図15における「上下左右」である。また、ジェスチャおよび指示される処理は上記の例に限定されない。例えば、画面を指差すジェスチャによって、設定部146への設定の変更指示がなされてもよい。
また、本実施形態において、表示装置3がユーザによる処理の実行指示を取得するための方法は、カメラ13によるジェスチャの撮影に限定されない。例えば、赤外線センサによってユーザの手の動きを検知してもよいし、表示装置3が矩形のハーフミラー12の端部に外枠部を有する場合、当該外枠部の各辺に合計4つのタッチセンサを設け、ユーザのタッチ操作を検知してもよい。この場合、状態判定部141は、どのタッチセンサにユーザがタッチしたかに応じて実行する処理を特定する。
本実施形態に係るトップ画面表示制御部1422(メンバー情報表示部)は、状態判定部141から画像表示モードを有効にするように指示されると、家族IDおよび状態判定部141から受け取ったユーザIDをサーバ4に送信し、サーバ4から各種情報を受信する。そして、受信した情報および設定部146が保存している各種設定を用いて、トップ画面などの各種画面を生成し、表示部11に表示する。
ここで、図15を参照して、本実施形態に係るトップ画面表示制御部1422が生成するトップ画面の詳細について説明する。図15は、表示装置3が表示するトップ画面の一例を示す図である。なお、トップ画面は図15の例に限定されるものではない。
図15に示すトップ画面には、ユーザ識別情報122、測定結果情報123、家族情報124、ユーザ特有情報125、および操作補助画像126、127、および128が表示されている。
ユーザ識別情報122は、表示装置3の前に立つユーザを示す情報である。具体的には、図15の例におけるユーザ識別情報122は、表示装置3の前に立つユーザのイニシャル(AN)および顔写真である。トップ画面表示制御部1422は、サーバ4から受信したイニシャルおよび顔写真を用いて、ユーザ識別情報122を生成する。
測定結果情報123は、測定機器6による測定結果を示す画像である。なお、図15では、血中酸素濃度計(Oximeter)として血中酸素濃度脈拍計を使用しているため、測定結果として血中酸素濃度および脈拍数が表示されている。同様に、歩数計(Pedometer)として活動量睡眠計を使用しているため、測定結果として消費カロリー、睡眠時間、および歩数が表示されている。
また、測定結果情報123のうち、チェックマークが表示されているものは、所定期間内(以降、所定期間を本日中として説明する)に測定されている測定データであり、チェックマークが表示されていないものは、本日中に測定されていない測定データである。また、チェックマークが表示されていない測定データは、本日より前に測定された測定データのうち、最新の測定データである。これにより、ユーザは測定結果情報123を見るだけで、本日測定していない測定データを認識することができる。なお、測定結果情報123は、ユーザが予め設定した測定内容(どの測定機器6を用いて測定を行うか)に応じて変わるため、図15の例に限定されるものではない。
トップ画面表示制御部1422は、サーバ4から受信した測定データおよび測定日を用いて測定結果情報123を生成する。このとき、測定日が本日の日付の測定データについては、チェックマークを付す。
家族情報124は、予め登録された家族のメンバーの測定結果などを示す画像である。具体的には、家族情報124は、家族のメンバーを識別する情報と、現時点における測定機器6による測定の状況(以下、測定状況情報と称する)を対応付けて表示する画像である。さらに具体的には、家族情報124は、登録された家族のメンバーの顔写真を並べ、各顔写真の右上に測定状況情報を配置した画像である。
測定状況情報は、例えば図15に示すように、本日中に測定すべき測定データのうち、現時点でいくつ測定されているかを示す数字である。さらに、測定すべき測定データを全て測定している場合は、数字ではなくチェックマークが表示される。また、測定すべき測定データを1つも測定していない場合は、何も表示されない。なお、測定状況情報はこの例に限定されず、所定期間内に測定すべき測定データのうち、当日行うべき身体の測定の達成度合いがわかるようなものであればよい。例えば、測定の達成度合いに応じて色が変化するようなものであってもよい。
家族情報124は、その他の情報を含んでいてもよい。例えば、血圧の値が高いなど測定データ(健康状態)に問題があるユーザの顔写真には、図15の家族情報124のうち、一番右の画像に示すように警告マーク(図15の例では、三角形の中に感嘆符「!」のマーク)を付してもよい。これにより、健康状態に問題がある家族のメンバーを容易に認識することができる。また、表示装置3は、家族のメンバーに健康状態に問題があるユーザがいる場合、所定の通知先(例えば医者のメールアドレス)に、その旨を通知する機能を有していてもよい。
また、現時点における家族のメンバーの位置情報を表示してもよい。例えば、会社にいるメンバーについて、図15の家族情報124のうち、右から2番目の画像に示すように、当該メンバーの顔写真に会社を示すアイコンを付してもよい。なお、アイコンは会社を示すものに限定されない。例えば学校や自宅を示すアイコンがあってもよい。
トップ画面表示制御部1422は、表示装置3の前に立つユーザと同じ家族IDのユーザの顔写真、測定データ、および測定日を、サーバ4から受信し、これを用いて家族情報124を生成する。具体的には、各ユーザについて、すべての測定データの測定日が本日の日付であるか否かを確認し、すべての測定データの測定日が本日の日付である場合は、当該ユーザの顔写真にチェックマークを付す。すべての測定データの測定日が本日の日付でなく、1以上の測定データの測定日が本日の日付であるユーザの顔写真には、本日測定された測定データの数を示す数字を付す。
また、トップ画面表示制御部1422は、各ユーザの測定データについて、測定項目(測定機器6)ごとに設定されている所定の範囲内であるか否かを確認する。1以上の測定データで閾値を超えているものがある場合、当該ユーザの顔写真に警告マークを付す。
また、トップ画面表示制御部1422は例えば、家族情報124に位置情報を表示するために、会社、学校に設けられたユーザ検知タグなどから送信された情報を用いる。ユーザ検知タグは例えば、ユーザが所持するタグ(RFタグなど)を検知し、その旨を表示装置3に送信する。なお、位置情報を表示するための方法はこの例に限定されない。
以上のように、ユーザ識別情報122および測定結果情報123は、表示装置3の前に立つユーザの情報(測定状況)を示す画像である。また、家族情報124は、表示装置3の前に立つユーザの家族のメンバーの情報(測定状況)を示す画像である。よって、これらの画像は、表示装置3の前に立つユーザを含む、予め登録されたメンバーの情報を示すメンバー情報画像であると表現することができる。
ユーザ特有情報125は、ユーザの設定に基づいて取得された各種情報を示す画像である。ユーザ特有情報125は、図15に示すように、例えば現在の日時、天気、最低気温および最高気温を示す画像である。なお、ユーザ特有情報125は、各ユーザが表示させたい情報を示す画像であり、各ユーザの設定に応じて変化するものである。つまり、図15に示す画像は一例である。例えば、ユーザ特有情報125のその他の例としては、ユーザが乗る電車の時刻表、本日のニュース、交通渋滞情報、本日のスケジュールなどが挙げられるが、この例に限定されるものではない。
トップ画面表示制御部1422は、状態判定部141から受け取ったユーザIDを参照して、設定部146が保存した、当該ユーザIDが示すユーザのユーザ特有情報125の設定を読み出す。そして、読み出した設定に基づいてサーバ4またはその他のサーバからユーザ特有情報125を生成するための情報を取得し、ユーザ特有情報125を生成する。例えば、ユーザ特有情報125として天気を示す画像を表示する場合、天気予報の情報を管理しているサーバ(不図示)から情報を取得すればよい。
操作補助画像126〜128は、トップ画面に対する操作および当該操作によって実行される処理の内容を示す画像である。なお、本実施形態における「操作」とは、上述したようにユーザが表示装置3の前で手を上下左右のいずれかの方向に動かすジェスチャである。操作補助画像126は、ユーザが手を下方向へ動かすジェスチャによって、測定結果情報123に示す測定データについてより詳細に示す画面である測定詳細画面を表示することを示している。なお、測定詳細画面の具体例については後述する。操作補助画像127は、ユーザが手を上方向へ動かすジェスチャによって、画像表示モードを無効にすることを示している。操作補助画像128は、ユーザが手を左方向へ動かすジェスチャによって、ユーザの顔写真を撮影するための画面(写真撮影画面)を表示することを示している。トップ画面表示制御部1422は、写真撮影画面を表示したとき、写真撮影画面が表示されたことを写真撮影部144に通知する。
なお、図15に示す操作補助画像126〜128が示す操作および処理の内容は一例であり、上述した操作および処理の内容に限定されるものではない。
次に、図16を参照して、測定詳細画面および定点比較画面について説明する。図16は、表示装置3が表示する測定詳細画面および定点比較画面の一例を示す図である。なお、測定詳細画面および定点比較画面は図16に示す例に限定されるものではない。
トップ画面が表示された状態において、ユーザが手を下方向へ動かすジェスチャを行った場合、例えば、図16の(a)に示す測定詳細画面が表示される。具体的には、状態判定部141の指示に応じて、トップ画面表示制御部1422が測定詳細画面を表示部11に表示させる。図16の(a)は、測定詳細画面の一例であり、測定結果情報123が示す測定データのうち、血圧計で測定される血圧および心拍数の曜日ごとの変化を示すグラフを含む測定詳細画面を示す図である。
また、図16の(a)に示す測定詳細画面は、操作補助画像221、222、および223を含む。操作補助画像221は、ユーザが手を上方向へ動かすジェスチャによって、トップ画面を表示することを示している。操作補助画像223は、ユーザが手を右方向に動かすジェスチャによって、その他の測定データ(図16の(a)の例では体重)の詳細を示す測定詳細画面を表示することを示している。
操作補助画像222は、ユーザが手を左方向に動かすジェスチャによって、定点比較を行うための定点比較画面を表示することを示している。図16の(b)は、定点比較画面を示す図である。本実施形態における定点比較とは、異なる時点に撮影した2つのユーザの顔写真を並べて表示することで、表示装置3の前に立つユーザが、自身の顔の経時変化を確認することである。例えば、図16の(b)に示すように、本日撮影した顔写真232と、過去に撮影した顔写真231とを表示することで、ユーザは自身の顔の経時変化を確認できる。なお、2つの顔写真の撮影時期は特に限定されないが、現在と過去との比較を行うために、一方は本日撮影された顔写真であることが好ましい。また、過去の顔写真の撮影時期は特に限定されない。例えば本日の日付から1年前であってもよいし、3ヶ月前であってもよい。なお、過去の顔写真として表示する顔写真の撮影時期を、ユーザが自由に設定することができてもよい。
定点比較画面は測定詳細画面と同様に、操作補助画像221、224、および225を含む。操作補助画像224は、ユーザが手を右方向に動かすジェスチャによって、血圧の測定詳細画面(図16の(a)に示す画面)を表示することを示している。すなわち、図16の(a)に示す測定詳細画面から図16の(b)に示す定点比較画面を表示するときのジェスチャと逆方向のジェスチャを行うことで、図16の(b)に示す定点比較画面から図16の(a)に示す測定詳細画面を表示することができる。
操作補助画像225は、ユーザが手を左方向に動かすジェスチャによって、その他の測定データ(図16の(b)の例では体脂肪)の詳細を示す測定詳細画面を表示することを示している。なお、本実施形態に係る表示装置3は、右方向または左方向のうちいずれか一方向に手を動かすジェスチャを続けることで、全ての測定詳細画面および定点比較画面が表示できる構成であるが、この例に限定されるものではない。
トップ画面表示制御部1422は、トップ画面と同様に測定詳細画面および定点比較画面についても、サーバ4から取得した情報を用いて生成する。例えば、図16の(a)に示す血圧および心拍数の測定詳細画面については、受信した血圧および心拍数の測定データおよび測定日を用いてグラフを描画する。また、図16の(b)に示す定点比較画面については、受信した2つの顔写真(例えば、撮影日が本日の顔写真および撮影日が1年前の顔写真)および当該顔写真の撮影日を用いて生成する。
本実施形態に係る写真撮影部144は、トップ画面表示制御部1422から、写真撮影画面が表示されたことを示す通知を受けると、カメラ13を制御して写真(表示装置3の前に立つユーザの顔写真)を撮影する。また、写真撮影部144は、通信部19を介して、家族ID、サーバ4から受信したユーザIDとともに撮影した写真および撮影日をサーバ4に送信する。
設定部146は、表示装置3における各種設定を変更および保存する。具体的には、設定部146は、状態判定部141から設定の変更指示を受け取ると、当該指示に応じて設定を変更し保存する。設定部146は例えば、ユーザ特有情報125として表示する情報の設定の変更および保存を行う。なお、設定部146が変更および保存する設定はこの例に限定されるものではない。
(サーバ4の要部構成)
次に、図14に基づいて、本実施形態に係るサーバ4の要部構成について説明する。サーバ4は、サーバ通信部41、サーバ制御部42、およびサーバ記憶部43を備えている。
サーバ通信部41は、外部装置との通信を行う。例えばサーバ通信部41は、図14に示すように表示装置およびベースユニット5との通信を行う。
サーバ記憶部43は、サーバ4にて管理される各種データを記憶する。サーバ記憶部43は、図14に示すように、家族IDによって識別されるグループ(家庭)ごとにユーザ情報データベース431、バイタル情報データベース432、および写真データベース433を記憶している。1つのグループには1人以上のユーザが登録されており、例えば1つのグループには1つの家族のメンバーが登録されている。つまり、図14に示す家庭IDがF0001であるユーザ情報データベース431a、バイタル情報データベース432a、および写真データベース433aは、ある家族のメンバーの各種データベースであり、家庭IDがF0002であるユーザ情報データベース431b、バイタル情報データベース432b、および写真データベース433bは、家庭IDがF0001である家族とは別の家族のメンバーの各種データベースである。
なお、図14には示していないが、サーバ記憶部43は、家庭ごとに家庭基本情報と機器関連情報とを家庭IDと対応付けて記憶している。
家庭基本情報の一例としては、家庭IDが示す家族のメンバーが居住する住宅のある住所、家族のメンバーの人数、各ユーザのユーザID、家庭の電話番号、表示装置3にて画像表示モードを有効にした時間(ログイン時間)などが挙げられる。
機器関連情報の一例としては、登録された(データの受信が可能な)測定機器6のシリアル番号などが挙げられる。
ユーザ情報データベース431には、家族のメンバーの個人情報が、各ユーザを識別するユーザIDと対応付けられて格納されている。個人情報の一例としては、ユーザのイニシャルおよびユーザの顔写真、各ユーザが測定する測定データの種類などが挙げられる。
バイタル情報データベース432には、各測定機器6のシリアル番号、シリアル番号が示す測定機器6による測定結果(測定データ)、および測定日が対応付けられて、ユーザごとに記憶されている。
写真データベース433には、ユーザID、ユーザIDが示すユーザの顔写真、および顔写真の撮影日が対応付けられて記憶されている。
なお、サーバ記憶部43に記憶されている情報、および各データベースに格納されている情報は上記の例に限定されない。例えば、ユーザ情報データベース431に各ユーザの年齢、性別などが格納されていてもよい。
サーバ制御部42は、サーバ4が備える各部を統括制御するものである。サーバ制御部42は、データ管理部421、ユーザ特定部422、および表示情報取得部423を含む。
データ管理部421は、表示装置3およびベースユニット5から受信した各種データをサーバ記憶部43に記憶する。具体的には、データ管理部421は、表示装置3(写真撮影部144)から家族ID、ユーザID、顔写真、および撮影日を受信すると、受信した家族IDの写真データベース433にユーザID、顔写真、および撮影日を対応付けて格納する。また、データ管理部421は、ベースユニット5から家族ID、ユーザID、測定データ、および測定日を受信すると、受信した家族IDのバイタル情報データベース432にユーザID、測定データ、および測定日を対応付けて格納する。
ユーザ特定部422は、表示装置3の前に立つユーザを特定する。具体的には、ユーザ特定部422は、表示装置3(状態判定部141)から家族IDおよび撮影映像を受信すると受信した撮影映像と、受信した家族IDのユーザ情報データベース431に格納されている顔写真と、を比較する。そして、撮影映像に映るユーザが特定できた場合、当該ユーザのユーザIDを表示装置3に送信する。一方、撮影映像に映るユーザが特定できなかった場合、その旨の通知を表示装置3に送信する。
表示情報取得部423は、表示装置3の表示部11に表示される情報を読み出し、表示装置3に送信する。具体的には、表示情報取得部423は、表示装置3(トップ画面表示制御部1422)から、家族IDおよびユーザIDを受信すると、受信した家族IDのユーザ情報データベース431に格納された、受信したユーザIDに対応付けられたイニシャルおよび顔写真を読み出す。また、受信したユーザIDと同じ家族IDのユーザIDに対応付けられた顔写真も読み出す。さらに、表示情報取得部423は、バイタル情報データベース432から、受信したユーザIDに対応付けられた測定データおよび測定日を読み出す。また、受信したユーザIDと同じ家族IDのユーザIDに対応付けられた測定データのうち、最新の測定データを読み出す。また、表示情報取得部423は、写真データベース433から、受信したユーザIDに対応付けられた顔写真のうち、定点比較に使用する2つの顔写真(例えば、撮影日が本日の顔写真および撮影日が1年前の顔写真)を撮影日とともに読み出す。そして、表示情報取得部423は、読み出したこれらの情報を表示装置3に送信する。
(画面表示処理の流れ)
次に、図17を参照して、表示装置3が実行する画面表示処理の流れについて説明する。図17は、表示装置3が実行する画面表示処理の流れの一例を示すフローチャートである。なお、図17に示すフローチャートは、人感センサ15がユーザの存在を検知して、カメラ13が撮影を開始した後の流れを示している。
まず、状態判定部141は、撮影映像をサーバ4に送信する(S51)。具体的には、状態判定部141は、撮影映像および家族IDをサーバ4に送信する。次に、状態判定部141は、ユーザが家族のメンバーであるか否かを判定する(S52)。具体的には、サーバ4から家族のメンバーを示すユーザIDをサーバ4から受信したか否かを判定する。
ユーザIDをサーバ4から受信しなかった場合(S52でNO)、具体的には、ユーザが特定できなかった旨の通知を受信した場合、画面表示処理は終了する。
一方、ユーザIDを受信した場合(S52でYES)、状態判定部141は、撮影映像を解析して、ユーザの静止状態を検出する(S53)。ユーザの静止状態が検出できない場合(S53でNO)、状態判定部141はユーザが静止状態となっているか否かの検出を継続する。一方、ユーザの静止状態を検出した場合(S53でYES)、状態判定部141は、動画表示制御部1421にスキャンバー21(図3参照)の表示を開始するよう指示する。
動画表示制御部1421は、状態判定部141からの指示を受けて、スキャンバー21の動画を表示する(S54)。ここで、状態判定部141は、動画表示制御部1421にスキャンバー21の表示を指示した後も、スキャンバー21の表示が終了したことの通知を受けるまで、取得した映像にてユーザが静止しているか否かの判定を継続している。そして状態判定部141は、動画が終了するまで、ユーザが静止していたか否かを判定する(S55)。
ここで、動画表示制御部1421からの通知を受ける前に、映像にてユーザが動いたと判定した場合(S55でNO)、状態判定部141は、スキャンバー21を非表示とするよう動画表示制御部1421に指示する。動画表示制御部1421は、当該指示を受けて、スキャンバー21の動画を途中で終了する(S57)。そして状態判定部141は、ステップS53の処理に戻り、カメラ13からリアルタイムで取得している撮影映像にてユーザの静止状態の検出を行う。
これに対して、動画が終了するまでユーザが静止していたと判定した場合(S55でYES)、すなわち、動画表示制御部1421からスキャンバー21の表示が終了した旨の通知を受けるまで、映像にてユーザが静止していたと判定した場合、状態判定部141は、トップ画面表示制御部1422に画像表示モードを有効にするよう指示するとともに、受信したユーザIDをトップ画面表示制御部1422に出力する。
状態判定部141から画像表示モードを有効にするように指示されたトップ画面表示制御部1422は、家族IDおよび状態判定部141から受け取ったユーザIDをサーバ34に送信する。そして、サーバ4からトップ画面を生成するための各種情報を受信すると、表示面に、特定したユーザに応じた家族情報を含むトップ画面を表示させる(S56)。具体的には、トップ画面表示制御部1422は、特定したユーザと同じ家族IDのユーザの顔写真、測定データ、および測定日を用いて家族情報124を生成する。これにより、トップ画面に表示される家族情報124は、特定されたユーザを除く家族のメンバーの顔写真を含むものとなる。また、トップ画面表示制御部1422は、受信した各種情報および設定部146が保存している各種設定を用いて、ユーザ識別情報122、測定結果情報123、ユーザ特有情報125を生成する。そして、トップ画面表示制御部1422は、生成した家族情報124などを含むトップ画面を生成し、表示部11に表示させる。以上で、画面表示処理は終了する。
なお、本実施形態では、スキャンバー21の動画を表示する前にユーザが家族のメンバーであるか否かを判定するものとして説明したが、当該判定は、スキャンバー21の動画を表示している間または表示が終了した後に行ってもよい。
(実施形態8における変形例)
本実施形態では、サーバ4がサーバ制御部42を備えている例を説明したが、サーバ4はサーバ通信部41およびサーバ記憶部43のみを備えている構成であってもよい。つまり、データ管理部421、ユーザ特定部422、および表示情報取得部423の機能を有する部材を、表示装置3およびベースユニット5の少なくとも一方が備えていてもよい。例えば、表示装置3がユーザ特定部422を備え、状態判定部141から受け取った撮影映像と、サーバ4のユーザ情報データベース431から取得した顔写真とを比較して、ユーザを特定してもよいし、撮影映像と比較する顔写真は、表示装置3に記憶されていてもよい。撮影映像と比較する顔写真を表示装置3に記憶しておくことで、サーバ4との通信を行う必要が無くなるので、ユーザ特定にかかる時間を短縮できる。
また、本実施形態では、表示装置3から家族IDと撮影映像とを送信することで、サーバ4が、受信した家族IDのユーザ情報データベース431に格納されている顔写真と撮影映像とを比較する構成を説明したが、サーバ4は、撮影映像のみを受信して、サーバ記憶部43全体を検索して、一致する顔写真があるか否かを特定してもよい。これにより、どの表示装置3においても、ユーザを特定することが可能となる。よって、自宅以外に備えられた表示装置3でも、ユーザ自身およびユーザの家族の健康状態を表示することが可能となる。
また、本実施形態では、ユーザを特定し(表示装置3の前に立つユーザが予め登録されたメンバーに含まれることを確認し)、かつユーザが静止状態を所定時間継続したことを確認した後に、トップ画面に含まれる形で家族情報124を表示する構成を説明したが、家族情報124の表示方法は、この例に限定されない。
例えば、表示装置3は家族情報124を常に表示していてもよい。これにより、ユーザは常に家族情報124を確認することができる。
家族情報124を常に表示する場合、表示装置3は、ユーザが表示装置3の前に存在しないとき、または表示装置3の前に立つユーザが静止状態を所定時間継続する前には、家族のメンバー全員の家族情報124を表示し、表示装置3の前に立つユーザが静止状態を所定時間継続した後には、当該ユーザを除く家族のメンバーの家族情報124を、トップ画像に含まれる形で表示することが好ましい。これは、トップ画面において、表示装置3の前に立つユーザの情報は、ユーザ識別情報122および測定結果情報123として表示されるためである。また、家族情報124を常に表示する場合、表示装置3は、ユーザが特定できないとき、すなわち、家族のメンバー以外のユーザが表示装置3の前に立ったときには、家族情報124を表示しないようにしてもよい。
一方、家族情報124を、常に表示するのではなく、ユーザを特定できた後にのみ表示するようにすれば、家族の測定状況や健康状態といった個人情報が家族以外のユーザに対して表示されることが無くなる。よって、これらの個人情報が他人に漏洩することを防ぐことができる。
ここで、ユーザを特定できた後、かつ、ユーザが静止状態を所定時間継続する前に家族情報124を表示するようにすれば、ユーザによるトップ画面の表示の指示が確定する前に、家族情報124のみを先行して表示することができる。
これに対して、実施形態8にて説明したように、ユーザを特定できた後、かつ、ユーザが静止状態を所定時間継続した後に家族情報124を表示すれば、ユーザがトップ画面の表示を希望したときのみ、家族情報124をユーザに示すことができる。
なお、家族情報124の表示方法については、ユーザが設定可能であってもよい。具体的には、ユーザの操作に応じて、設定部146が設定を上述した表示方法のいずれかに変更し、変更後の設定を保存してもよい。
また、本実施形態では、表示装置3の前に立つユーザの、測定機器6による測定状況、および家族のメンバーの測定状況を表示する構成であったが、表示装置3に表示する情報は、ユーザおよびユーザが属するグループのメンバーに関する情報であれば特に限定されない。例えば、ユーザおよび家族のメンバーの位置情報を表示するものであってもよい。
〔実施形態1〜8における変形例〕
上記各実施形態で説明した表示装置1〜3が判定する所定の状態は、上記各実施形態で説明した例(静止状態、表示装置に顔を映さない状態、および所定の位置または画像に目線を向けている状態)に限定されるものではない。例えば、全身ではなく、顔などのユーザの体の所定部位を静止させた状態であってもよい。
また、上記各実施形態で説明した表示装置1〜3は、カメラ13が撮影した映像から、ユーザが所定の状態を所定時間継続していることを検出していたが、所定の状態の検出方法はこの例に限定されるものではない。例えばユーザの接触を検出するセンサや、ユーザの体重やユーザの重心位置の変化を検出するセンサ(表示装置1が備えられた床に設置される)を用いて、ユーザが所定の状態を所定時間継続していることを検出してもよい。
また、上記各実施形態で説明した表示装置1〜3が実行する所定の処理は、上記各実施形態で説明した例に限定されるものではない。例えば、所定の状態を所定時間継続したと判定した場合に、表示装置の前に立つユーザの識別を行ってもよい。また、所定の状態を所定時間継続したと判定した場合に、所定の動画を表示してもよい。例えば、ユーザが歯ブラシを持った状態、または、片方の手をあごに近づけた状態(歯磨きを始めようとしている状態)で所定時間静止したと判定した場合に、歯磨きの指導を行う動画を再生してもよい。
実施形態1では、所定時間の終了(動画の終了)を動画表示制御部1421が状態判定部141に通知する構成であったが、状態判定部141が所定時間の終了を判断する構成であってもよい。具体的には、状態判定部141は、ユーザが所定の状態であると判定した場合、タイマ(不図示)を起動して期間の計測を開始する。そして、タイマが計測した期間が所定時間を超えた場合、状態判定部141は、トップ画面表示制御部1422に画像表示モードを有効にするよう指示する。
なお、タイマが計測した期間が所定時間を超える前に、ユーザが所定の状態を解除した場合、状態判定部141は、タイマによる期間の計測を中止する。また、所定時間は動画表示制御部1421が表示面に表示させる動画(実施形態1で説明したスキャンバー21や、実施形態2で説明したカウントダウン動画25)の時間と同じになるように予め設定されている。
また、上記各実施形態で説明した表示装置1〜3は、ユーザが所定の状態を継続しているか否かを判定している間に、表示面に動画を表示せず、ユーザが所定の状態を所定時間継続したときに、所定の処理を実行してもよい。
また、上記各実施形態で説明した表示装置1〜3は、ユーザが所定の状態を解除した場合に、動画を非表示とせず、一時的に停止してもよい。そして、状態判定部141が、ユーザが所定の状態を再開したと判定した場合、動画を再開してもよい。
また、上記各実施形態で説明した表示装置1〜3は、ユーザが所定の状態を継続しているか否かをユーザに報知するために動画を表示していたが、この報知の方法は動画に限定されない。例えば、スピーカ(不図示)から音(効果音、音楽、または音声など)を出力してもよいし、発光部(不図示)を点灯させてもよい。また、音や点灯などによる報知を、動画の表示と共に行ってもよい。なお、動画以外の報知についても、所定の処理を実行するためにユーザが所定の状態を維持すべき時間をユーザが認識できるようなものであることが好ましい。
〔実施形態9〕
上記実施形態8では、1つのサーバ4を用いる例を説明したが、サーバ4の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
〔実施形態10〕
上記各実施形態で説明した表示装置1、表示装置2、表示装置3、およびサーバ4のそれぞれにおける各ブロック(特に、状態判定部141、表示制御部142、個人特定部143、写真撮影部144、バイタルデータ測定部145、設定部146、データ管理部421、ユーザ特定部422、および表示情報取得部423)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、表示装置1、表示装置2、表示装置3、およびサーバ4のそれぞれを、図18に示すようなコンピュータ(電子計算機)を用いて構成することができる。
図18は、表示装置1、表示装置2、表示装置3、およびサーバ4として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばCPU、RAM(random access memory)、ハードディスクドライブであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、カメラなどであってもよく、出力装置930は、ディスプレイ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
補助記憶装置914には、コンピュータ910を表示装置1、表示装置2、表示装置3、およびサーバ4として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ910を、表示装置1、表示装置2、表示装置3、およびサーバ4が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る表示装置(1)は、反射面側からの光を反射し、透過面側からの光を透過するハーフミラー部(ハーフミラー12)を、上記透過面が表示面に対向するように、表示面上に重ねて配置した表示装置において、上記ハーフミラー部の前に存在するユーザが所定の状態を所定時間継続していることを検出する検出部(状態判定部141)と、上記検出部が、上記所定の状態が上記所定時間継続していることを検出したとき、上記所定の状態に予め対応付けられた所定の処理を実行する処理実行部(トップ画面表示制御部1422、写真撮影部144)と、を備える。
上記の構成によれば、ハーフミラー部の前に存在するユーザが所定の状態を所定時間継続していることが検出された場合、所定の処理を実行する。この所定の処理は例えば、表示面への画像の表示の開始および終了や、ハーフミラー部の前に存在するユーザの顔写真の撮影などが挙げられる。
つまり、ユーザが表示装置に対して所定の処理の実行を希望する場合、所定の状態を所定時間継続することで当該所定の処理が実行される。一方、ユーザは表示装置に対して所定の処理の実行を希望しない場合、所定の状態を所定時間継続しなければよい。これにより、表示装置が備える鏡の前に存在するユーザが、表示装置に対して所定の処理の実行を希望する場合に表示装置に当該所定の処理を実行させることができる。
また、ユーザは所定の処理を実行させるために所定の状態となった後、心変わりして所定の処理をキャンセルしたい場合は、所定時間が経過する前に所定の状態を解除すればよい。つまり、所定の状態を所定時間継続していることを検出する構成とすることで、ユーザに所定の処理の実行をするか否かを考えるための時間を与えることができる。
なお、所定の状態を、ユーザが全身または体の所定部位を静止させた静止状態などの、ユーザがハーフミラー部に触れないようなものとすれば、ハーフミラー部に指紋がついて汚れてしまうことを防ぐことができる。
本発明の態様2に係る表示装置は、上記態様1において、上記ユーザが上記所定の状態を継続していることおよび継続していないことの少なくとも一方を該ユーザに報知する報知部(表示制御部142)をさらに備えてもよい。
上記の構成によれば、ユーザが所定の状態を継続していることおよび継続していないことの少なくとも一方をユーザに報知するので、ユーザは自身が所定の状態を継続しているか否かを認識することができる。
報知の具体例としては、動画の表示や音声の出力が挙げられる。音声の出力によって報知する場合、ユーザが表示装置の方向を向いていなくても、所定の状態が継続しているか否かをユーザは判別可能となる。これは、例えば所定の状態が表示装置に顔を映さない状態(ユーザが表示面を見ることができない状態)である場合などに有効である。
本発明の態様3に係る表示装置は、上記態様2において、上記報知部は、上記ユーザが上記状態を継続していることを報知している場合、上記所定時間に達するまでに上記ユーザが上記所定の状態を継続すべき残り時間を報知してもよい。
上記の構成によれば、所定時間に達するまでにユーザが所定の状態を継続すべき残り時間をユーザに報知するので、ユーザはあとどれだけの間所定の状態を継続すればよいかを知ることができる。
本発明の態様4に係る表示装置は、上記態様2または3において、上記報知部は、上記ユーザが上記所定の状態を継続していることを示す情報および継続していないことを示す情報およびの少なくとも一方を上記表示面に表示してもよい。
上記の構成によれば、ユーザが所定の状態を継続していることを示す情報および継続していないことを示す情報の少なくとも一方を表示面に表示する。
当該情報の表示はハーフミラー部を透過して、ユーザによる認識が可能である。よってユーザは、ハーフミラー部に目線を向けるという自然な動作で、自身が所定の状態を継続しているか否かを知ることができる。
本発明の態様5に係る表示装置は、上記態様1から4のいずれかにおいて、上記所定の処理は、上記表示面への所定の情報の表示を開始する処理、または上記表示面への所定の情報の表示を終了する処理であってもよい。
上記の構成によれば、ユーザが所定の状態を所定時間継続した場合、表示面への所定の情報の表示が開始される。また、所定の情報が表示されているときにユーザが所定の状態を所定時間継続した場合、該表示が終了する。なお、所定の情報の具体例としては、心拍数、呼吸数、疲労度、体温などのユーザのバイタルデータや、本日のスケジュール、本日のニュース、電車の時刻表や、家庭内のエネルギー管理システムや、防犯システムの状態などが挙げられる。
これにより、ユーザは所定の情報を表示することを希望する場合に、該情報を自身の意思で表示させることができる。また、所定の情報が表示されている状態のときに、ユーザが所定の情報の表示の終了を希望する場合、ユーザは該情報の表示を自身の意思で終了することができる。
本発明の態様6に係る表示装置は、上記態様1から5のいずれかにおいて、上記検出部は、上記ユーザを撮影した映像から、該ユーザが上記所定の状態を継続していることを検出し、上記映像を用いて上記ユーザを特定するユーザ特定部(個人特定部143)をさらに備えてもよい。
上記の構成によれば、ユーザを撮影した映像から、ユーザが所定の状態を継続していることを検出するとともに、当該映像を用いてユーザを特定することができる。これにより、個人的な情報、例えば特定したユーザの体重などの情報を表示することができる。
また、撮影した映像を用いて、所定の状態をユーザが所定時間継続しているか否かの判定、および、当該ユーザの特定の両方を行うことができる。よって、使用するデータの容量を抑えることができる。
本発明の態様7に係る表示装置は、上記態様1から6のいずれかにおいて、上記所定の状態は、ユーザが全身または体の所定部位を静止させた静止状態であり、上記所定時間中に上記ユーザのバイタルデータを測定する測定部(バイタルデータ測定部145)をさらに備えてもよい。
上記の構成によれば、ユーザが静止状態を継続している間を利用して、ユーザのバイタルデータを測定する。
これにより、ユーザのバイタルデータ、例えば心拍数、呼吸数、疲労度、体温などを、当該バイタルデータを測定していることをユーザに意識させずに測定することができる。また、測定結果を表示装置に表示することで、ユーザの日々の健康管理に有用なデータをユーザに提示することができる。
本発明の態様8に係る表示装置は、上記態様1から6のいずれかにおいて、上記所定の状態は、上記ハーフミラー部の表面の所定の位置に目線が向いている状態であってもよい。
上記の構成によれば、ハーフミラー部の表面の所定の位置に目線が向いている状態を所定時間継続した場合に、所定の処理が実行される。
これにより、ユーザは所定の位置に目線を向けることで、所定の処理を実行したいという意思を明確に示すことができるので、ユーザが所定の処理を希望している可能性が高い状況において、所定の処理を実行することができる。
なお、上記所定の位置を表示面の端部などのユーザが普段目線を向けないような位置とすることで、ユーザが所定の処理を希望している可能性がさらに高い状況において、所定の処理を実行することができる。
また、所定の位置に上記表示面に対象が表示されていてもよい。さらに、当該対象は静止したままであってもよいし、移動してもよい。なお、対象が移動する場合、「表示面の所定の位置に目線が向いている」とは、移動する対象をユーザの目線が追うことを意味する。
本発明の態様9に係る表示装置は、上記態様1から8において、自装置を使用するユーザが属するグループの各メンバーの情報を上記表示面に表示するメンバー情報表示部(トップ画面表示制御部1422)を備えてもよい。
上記の構成によれば、自装置を使用するユーザが属するグループのメンバーの情報を表示するので、ユーザは、グループのその他のメンバーの情報を確認することができる。例えば、家族のメンバーが属するグループについて、メンバーの情報としてバイタルデータを測定する機器を用いた測定状況(本日の測定の達成度合い)を表示する構成とすれば、家族のメンバーの測定の達成度合いを把握することができる。これにより、家族の健康状態を互いに確認したり、健康状態に問題があるユーザを発見したりすることが可能となる。
本発明の態様10に係る表示装置は、上記態様9において、上記メンバー情報表示部は、上記検出部が、上記グループに属するメンバーが上記ハーフミラー部の前で上記所定の状態を所定時間継続していることを検出したとき、上記グループの各メンバーの情報を表示してもよい。
上記の構成によれば、グループに属するメンバーがハーフミラー部の前で所定の状態を所定時間継続していることを検出したとき、当該グループの各メンバーの情報を表示する。つまり、ハーフミラー部の前に存在するユーザがグループに属するメンバーでない場合は、所定の状態を所定時間継続したとしても、グループに属する各メンバーの情報は表示されない。よって、メンバーの情報がメンバー以外のユーザに漏洩することを防ぐことができる。
本発明の態様11に係る表示装置の制御方法は、反射面側からの光を反射し、透過面側からの光を透過するハーフミラー部を、上記透過面が表示面に対向するように、表示面上に重ねて配置した表示装置の制御方法において、上記ハーフミラー部の前に存在するユーザが所定の状態を所定時間継続していることを検出する検出ステップ(ステップS5)と、上記検出ステップにて、上記所定の状態が上記所定時間継続していることを検出したとき、上記所定の状態に予め対応付けられた所定の処理を実行する処理実行ステップ(ステップS7)と、を含む。
この制御方法によれば、態様1に係る表示装置と同様の作用効果を有する。
本発明の各態様に係る表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記表示装置が備える各部(ソフトウェア要素)として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。