JP2010181981A - 操作表示装置 - Google Patents

Abstract

【課題】声を用いることなく個々の利用者に応じた各種の指示を行うことを可能にした操作表示装置を提供する。
【解決手段】映像を表示する表示装置３と、表示装置３の前方に存在する人の顔による個人認証を行う顔認証装置４と、表示装置３の前方に存在する人の距離画像を生成する距離画像センサ２とが設けられる。コントローラ１０は、個人別に提示する情報を記憶した提示情報記憶部１４と、距離画像から抽出される人の所作を指示に変換する動作判定部１２と、顔認証装置４により個人認証なされた人に応じた情報を動作判定部１２からの指示に応じて提示情報記憶部１４から抽出する情報選択部１３と、情報選択部１３が抽出した情報を表示装置３に表示させる表示処理部１５とを備える。
【選択図】図１

Description

本発明は、表示装置を用いて対話的に指示を行うことを可能にした操作表示装置に関するものである。

近年、コンピュータを備える住宅設備が増加してきており、これらの住宅設備では、表示装置とスイッチのような操作装置とを用いて、対話的に指示を行うことを可能にしたものが多い。この種の住宅設備としては、たとえば、外出時に服装の提案を行う玄関システムが提案されている（たとえば、特許文献１参照）。

この玄関システムは、玄関に居る利用者からの音声入力により外出か否かを判断するとともに、玄関に居る利用者の顔画像に基づいて利用者を特定し、当該利用者の外出時に、外出に適した服装を提案するものである。この玄関システムでは、外出時の服装の提案を行うために、利用者が所有している衣服（衣服だけでなく、装飾品などを含む）の情報、利用者の外出前の服装の情報、利用者の体温などの身体情報、外気温などの外環境情報などを用いている。また、利用者が所有している衣服の情報や利用者の外出前の服装の情報を得るために、クローゼットを備える服飾管理装置を備えている。

特許文献１に記載された構成では、利用者が玄関において外出の意思を示す音声を発するとともに利用者が特定されると、身体情報や外環境情報を考慮した上で、服飾管理装置で特定された利用者の服装に対して、コートの着用や傘の携行など、外出用の服装に関する提案を行うようにしてある。

特開２００６−３０１９７３号公報（００１３−００１８段落、００３１−００３２段落、図１、図４）

ところで、特許文献１に記載された玄関システムは、外出時の服装に関する提案を行うための専用システムであり、外出時や帰宅時において提示することが望ましいと考えられる他の情報については考慮されていない。また、利用者が外出することを音声を用いて玄関システムに通知するものであるから、玄関システムという装置に向かって声を発するという慣れない行為が強いられることに対する違和感を持つ利用者も少なくないと考えられる。

本発明は上記事由に鑑みて為されたものであり、その目的は、個々の利用者に応じて異なる情報の提示を可能にし、しかも、声を用いずに各種の指示を行うことを可能にした操作表示装置を提供することにある。

本発明は、映像を表示する表示装置と、表示装置の前方に存在する人の顔を撮像する撮像装置を備え撮像した画像を用いて顔による個人認証を行う顔認証装置と、表示装置の前方に規定したセンシング領域に存在する人の距離画像を生成する距離画像センサと、顔認証装置により個人認証がなされる個人別に提示する情報を記憶した提示情報記憶部と、前記距離画像から抽出される人の所作を指示に変換する動作判定部と、顔認証装置により個人認証なされた人に応じた情報を動作判定部からの指示に応じて提示情報記憶部から抽出する情報選択部と、情報選択部が抽出した情報を表示装置に表示させる表示処理部とを備えることを特徴とする。

距離画像センサは、表示装置よりも上方に配置することが望ましい。

また、距離画像に基づいてセンシング領域における人の存否を検出する存否判定部を付加し、表示装置では存否判定部により人が検出されると表示を開始するのが望ましい。

さらに、動作判定部において表示装置に表示された図像に対する操作の指示を出力するようにし、表示処理部では、動作判定部からの指示により表示装置に表示された図像を操作するようにしてもよい。

動作判定部は、表示装置の表示を消す指示を出力可能であることが望ましい。

加えて、提示情報記憶手段に情報を記憶させるインターフェイスを設けることが望ましい。

上述の構成では、表示装置と顔認証装置と距離画像センサとを住宅の玄関に配置し、顔認証装置により個人認証がなされる人ごとに外出時と帰宅時とに提示する情報を提示情報記憶部に記憶しておけば、情報選択部では、顔認証装置による個人認証の結果と、動作判定部による外出か帰宅かの指示とにより、提示情報記憶部から情報を抽出することができる。

また、ハーフミラーを設け、表示装置はハーフミラーの背面側に配置してハーフミラーの一部を通して映像の表示を可能にし、顔認証装置はハーフミラーの前方に存在する人の顔を撮像するようにハーフミラーの背面側に配置してもよい。

本発明の構成によれば、顔認証手段により利用者の個人認証を行うとともに、センシング領域内の人の所作を動作判定部によって指示に変換し、個人認証を行った利用者と動作判定部からの指示とにより提示する情報を選択するから、利用者に応じた内容の情報を表示装置に表示することができる。また、動作判定部が距離画像から検出される人の所作を指示に変換するから、利用者は声を用いて指示を与える必要がなく、ジェスチャやポーズのような所作で指示を与えることができ、違和感を持つことなく利用することが可能になる。

距離画像センサを表示装置よりも上方に配置したものでは、表示装置の前方にセンシング領域を設定しやすく、しかもセンシング領域内の人の所作を上方から監視することにより、所作を捉えるのが容易になる。

存否判定部を付加した構成では、距離画像センサから出力される距離画像を人の所作の検出と人の存否の検出との両方の機能に兼用することができ、省スペースに構成することが可能になる。しかも、存否判定部により人が検出されると表示装置の表示を開始する構成を採用することにより、常時は、表示装置の表示を消して省電力を実現しながらも、人の存在時には表示装置による表示を開始して必要な表示を行うことができる。

また、動作判定部において表示装置に表示された図像に対する操作の指示を可能にしたものでは、人の所作をポインティングデバイスとして利用することが可能になり、表示装置の画面操作が可能になる。

さらに、表示装置の表示を消す指示を与えることを可能にすることで、センシング領域に人が存在するときでも、表示装置の表示を消すことが可能になる。

インターフェイスを備える構成では、利用者が情報提示手段に提示しようとする所望の情報を提示情報記憶手段に記憶させることができ、情報提示手段に提示する情報を適宜に変化させることが可能になる。

また、玄関に配置し外出か帰宅かの指示を与える構成では、外出時において、忘れ物の確認、電気・ガスを利用する機器の消し忘れの有無の確認、戸締まりの確認などに利用可能になり、帰宅時において、家族からのメッセージの伝言、留守中の来客の確認などに利用可能になる。

ハーフミラーを設け、ハーフミラーの背面側に表示装置および顔認証装置を配置したものでは、ハーフミラーを姿見や化粧鏡として利用する際に、姿見や化粧鏡を設置可能なスペースに、対話的に指示を与えることができる表示操作装置を設けることができ省スペースになるという利点がある。ここに、常時は表示装置を消しておけば、ハーフミラーの前面を鏡として利用することができ、表示装置の表示を開始すれば鏡の中に表示が浮かび上がるような独特の雰囲気を醸し出すことができる。

実施形態を示すブロック図である。 （ａ）は同上の正面図、（ｂ）は同上の縦断面図である。 同上の背面図である。 同上の横断面図である。 同上の動作説明図である。

以下に説明する実施形態では、操作表示装置を住宅の玄関などに配置される姿見として用いる場合を例として示すが、他の用途に使用することを妨げるものではない。したがって、後述するハーフミラーは省略可能であり、また設置場所も限定されない。

本実施形態では、図２に示すように、玄関の壁の一部を構成する構造基体３１の一面にハーフミラー１が保持されており、玄関の天井の一部を構成する構造基体３２には後述する距離画像センサ２が取り付けられる。距離画像センサ２は、ハーフミラー１の上端位置に配置され、距離画像センサ２のセンシング領域Ｅｓはハーフミラー１の前面近傍からハーフミラー１の前方の所定範囲を含むように設定される。センシング領域Ｅｓの範囲は、たとえば、玄関全体とすることができるが、望ましくは、後述する顔認証装置４による個人認証が可能な範囲とする。構造基体３１，３２はユニットとして一体化することも可能である。ハーフミラー１の背面には、構造基体３１に取り付けられる表示装置３と、ハーフミラー１を通して人の顔を撮像する撮像装置を備えた顔認証装置４とが取り付けられる。

ハーフミラー１は利用者の全身を映す姿見として利用できる寸法に形成されており、たとえば、床Ｆから天井Ｃまでの高さ寸法を有し、高さ寸法の４分の１程度の幅寸法を有するように形成する。表示装置３の画面のサイズはハーフミラー１よりも小さく（対角線長が、たとえば５０ｃｍ程度）、表示装置３はハーフミラー１の一部を通して表示を行う。このため、表示装置３には、バックライトを備えた液晶表示装置のような自発光型のものを用いており、表示装置３の画面に表示された情報がハーフミラー１の前方からハーフミラー１を通して視認できるようにしてある。

ハーフミラー１は、姿見として利用することができ、かつ表示装置３からの光を透過させる必要があるから、ハーフミラー１は、ガラスや合成樹脂の透明な平板状の基材（図示せず）の表面に金属膜などによる鏡面コーティング（図示せず）を形成して形成されている。基材の強度は、姿見として用いことができる程度の平面度を維持できるように設計される。

基材において表示装置３と対向する表面と、基材において表示装置３とは反対側の表面との少なくとも一方に鏡面コーティングを形成している。このハーフミラー１の透過率は表示装置３に表示される映像を視認できるように、たとえば２０％に設定される。

ハーフミラー１の基材において表示装置３とは反対側の表面に鏡面コーティングを形成した場合には、表示装置３から放射された光の透過率が高く、かつ前面の反射率が高いハーフミラー１として機能させることが期待できる。つまり、基材による光の吸収がないから鏡としての機能が高くなる。

ただし、基材において表示装置３とは反対側の表面に鏡面コーティングを形成する場合には、鏡面コーティングの表面を透明な保護膜で覆うのが望ましい。また、表示装置３に表示された映像を高輝度で表示できるように、ハーフミラー１と表示装置３の画面との間には、屈折率を調節して反射を防止する透明材料を充填するのが望ましい。

構造基体３１において表示装置３および顔認証装置４を取り付ける部位には取付孔３３，３４が貫設され、表示装置３および顔認証装置４は、取付孔３３，３４の周囲で構造基体３１に固定される取付具３５（表示装置３の取付具３５のみ図示している）を用いて固定される。

表示装置３は、ハーフミラー１の前方に利用者が立った状態で見やすくなるように設定され、顔認証装置４は表示装置３を見る利用者の顔位置のやや上方に配置される。したがって、表示装置３の上方に顔認証装置４が配置される。

ところで、本実施形態で用いている顔認証装置４はアクティブ型の撮像装置を備える。この撮像装置は、高周波（たとえば、１０〜１００ｋＨｚ）で点灯と消灯とを繰り返すことにより変調光を投光する発光源と、投光した変調光が検出対象により反射された反射光を受光する撮像素子とを備え、受光側において受光成分から周囲光成分を除去して変調光成分を分離抽出する構成を有している。すなわち、受光側では、変調光に同期して、周囲光成分と変調光成分とを含んでいる点灯期間（発光源が点灯している期間）の受光成分と、周囲光成分のみを含んでいる消灯期間（発光源が消灯している期間）の受光成分とがそれぞれ得られるように同期検波を行い、両期間の受光成分から変調光成分のみを抽出する。なお、変調光としては、可視光と赤外光とのいずれでも用いることができる。

説明を簡単にするために、点灯期間と消灯期間との時間長さが一対一であるものとし、撮像素子では受光量に比例する量の電荷を生成するものとする。この場合、点灯期間において生成された電荷の量から消灯期間において生成された電荷の量を減算すれば、残りの電荷量が変調光成分に対応した電荷量ということになる。したがって、受光側において点灯期間と消灯期間とに同期するタイミングの電荷を同期検波により取り出せば、変調光に対応する量の電荷を得ることができる。

同期検波にあたっては、ＣＣＤイメージセンサのような撮像素子で用いられている電子シャッタの技術を用いて変調光に同期するタイミングで電荷を蓄積する技術を採用するか、変調光に同期するタイミングで各画素の実質的な受光面積を変化させることによって受光感度を調節する技術を採用する。後者の技術は、半導体層からなる受光領域の表面に１画素について複数個の電極を設け、電極に電圧を印加することにより形成されるポテンシャル井戸に電荷を集積し、１画素内で電圧を印加する電極数を変調光に同期するタイミングで変化させることにより、実質的な受光面積を変化させる。これらの同期検波の技術は周知であるから詳述しない。

ただし、アクティブ型の撮像装置の場合、ハーフミラー１の基材において表示装置３とは反対側の表面に鏡面コーティングを形成する場合には、投光した光が鏡面で反射して写りこみが発生するため、顔認証装置４と対向する表面のコーティングが望ましい。

上述の技術では、同期検波のタイミングを適正に設定することによって、受光成分のうち雑音である周囲光成分を抑圧して変調光成分を抽出することが可能になる。このようにして生成された変調光成分からなる画像を振幅画像と呼ぶことにする。顔認証装置４では、ノイズ除去などの処理を施した振幅画像を用い、振幅画像内において顔位置を決定した後、目、鼻、口のような顔器官の特徴部位を抽出し、特徴部位のテンプレートと照合することにより個人認証を行う。

特徴部位の抽出には、振幅画像の微分画像を生成し、微分値が規定した閾値を超える部位（エッジが明瞭である部位）を求める。顔器官の輪郭や顔の輪郭はエッジが明瞭になるから、求めた輪郭から端点を抽出することにより、これらの端点を特徴点（特徴部位）として用いることができる。このような特徴点の位置関係をテンプレートに照合することによって、テンプレートが登録されている人か否かの個人認証を行うことが可能になる。なお、テンプレートの作成には、あらかじめ各人の顔画像を撮像し、撮像した顔画像から特徴点を抽出するとともに特徴点の位置関係を各個人に関係付けて登録することが必要になる。したがって、顔認証装置４は各人の顔を登録する登録モードを有し、登録後に認証モードに切り換えて個人認証を行うことになる。

顔認証装置４に登録される人は通常は住宅に同居する家人であり、顔認証装置４に個々の家人を登録しておくことにより、家人の中の個人を特定することが可能になる。顔認証装置４は、常時動作させておいてもよいが、実際には常時動作している必要はないから、センシング領域Ｅｓに人が存在しない期間には（センシング領域Ｅｓにおける人の存否の検出については後述する）、顔認証装置４を待機状態（スタンバイ状態）とする。また、表示装置３も同様であって、センシング領域Ｅｓに人が存在しない期間には、表示装置３は表示を行わずバックライトを消灯した待機状態（スリープ状態）にする。

ところで、距離画像センサ２を取り付けた構造基体３２には、ハーフミラー１の上端位置付近において距離画像センサ２を露出させる開口窓３６を設けてあり、距離画像センサ２が開口窓３６を通してハーフミラー１の前方にセンシング領域Ｅｓを設定することができるようにしてある。

距離画像センサ２は、検出対象までの距離を精細かつ短時間で計測することができるものであれば、どのような構成を採用してもよいが、本実施形態では、顔認証装置４に用いる撮像装置と同様に、強度を変調した変調光を投光する発光源と、投光した変調光が検出対象により反射された反射光を受光する撮像素子とを備えるものを用いる。この距離画像センサ２は、タイムオブフライト（Time of Flight）法の原理で距離を計測する。具体的には、一定周波数（たとえば、１０ＭＨｚ）の高周波で強度を変調した強度変調光を投光し、投受光の位相差により強度変調光の飛行時間を求めて距離に換算する。

受光側では、強度変調光の１周期内で規定した複数の位相区間（４区間を用いることが多いが、３区間でもよい）に対応する受光量に相当する量の電荷を集積し、多数周期（たとえば、１万周期）において同じ位相区間で集積した電荷を蓄積するとともに、位相区間ごとに蓄積した電荷量を用いた演算を行うことで、検出対象までの距離を求めることができる。たとえば、強度変調光の位相区間を９０度ずつに区切って、０〜９０度、９０〜１８０度、１８０〜２７０度、２７０〜３６０度の４区間の電荷量を、それぞれＡ０，Ａ１，Ａ２，Ａ３とすれば、位相差ψは、ψ＝ｔａｎ^−１｛（Ａ３−Ａ１）／（Ａ０−Ａ２）｝として求めることができる。

この構成の距離画像センサ２は、センシング領域Ｅｓに存在する検出対象までの距離を三次元で検出する。すなわち、距離画像は、各画素の画素値が距離値となる画像であり、上述した原理から明らかなように、三次元空間であるセンシング領域Ｅｓに存在する検出対象の三次元位置を１画面ごとに検出する。

この構成の距離画像センサを用いることにより距離画像の動画像を得ることができるから、距離画像センサ２では検出対象の時間変化を検出することが可能になる。すなわち、センシング領域Ｅｓに検出対象が存在すれば、検出対象の動きに応じた距離画像の動画像が得られる。本実施形態では、距離画像センサ２を用いて人の存否および動きを検出するので、以下では、距離画像センサ２の検出対象を人として説明する。

距離画像センサ２では、視野内において各方向ごとに人を検知する距離範囲を制限することが可能であるから、センシング領域Ｅｓは任意形状に設定することが可能である。しかも、距離画像センサ２をハーフミラー１の上端位置に配置していることにより、センシング領域Ｅｓをハーフミラー１の前方において任意形状に設定するのが容易になり、しかもハーフミラー１の前方に立つ人の所作（ジェスチャやポーズ）を上方から捉えることにより細かい所作の検出が容易になる。なお、距離画像センサ２に関するセンシング領域Ｅｓのキャリブレーションは、玄関への設置後に行えばよい。

表示装置３の近傍にはスピーカ５とマイクロホン６とを付設してもよく（図１参照）、スピーカ５を表示装置３の表示内容に応じた音声を出力するために用い、マイクロホン６を距離画像センサ２の補助に用いることが可能である。

距離画像センサ２と表示装置３と顔認証装置４とは、図１に示すように、コンピュータを備えたコントローラ１０に接続される。図示例では、スピーカ５およびマイクロホン６もコントローラ１０に接続してある。コントローラ１０を配置する場所はとくに制限はないが、表示装置３の筐体に設けておけば、表示装置３を構造基体３１に固定すると同時に、コントローラ１０も構造基体３１に固定されるから、コントローラ１０の設置が容易になる。

コントローラ１０は、距離画像センサ２の出力に基づいてセンシング領域Ｅｓにおける人の存否を判定する在否判定部１１と、距離画像センサ２の出力である距離画像から検出される人の所作を指示に変換する動作判定部１２とを備える。

距離画像センサ２の出力である距離画像を用いると、センシング領域Ｅｓに存在する検出対象の三次元計測が可能であるから、存否判定部１１では、センシング領域Ｅｓに存在する検出対象のサイズを見積もり、センシング領域Ｅｓに存在する検出対象が人か否かを判断する。

一方、動作判定部１２により検出される人の所作は、人体の全体ではなく一部（たとえば、手）の所作であってもよく、また静止した形だけではなく、時間変化を含んでいてもよい。すなわち、動作判定部１２は、人体の全体や一部のジェスチャやポーズを指示に変換する。人体のどの部位のどのような所作を、どのような指示に変換するかは、あらかじめ設定される。

本実施形態では、動作判定部１２は、外出と帰宅とをそれぞれ表すようにあらかじめ定めた所作を判別し、外出か帰宅かの別を指示として出力するものとする。後述する例では、表示装置３に表示されたボタンを指で指し示すことにより、ボタンに対応付けた指示（本実施形態では、外出と帰宅）を与えるようにしている。ただし、このような所作は一例であり、たとえば、手の平を広げて横に振る所作を外出と判別し、指を揃えて曲げ伸ばしを繰り返す所作を帰宅と判別するというように、外出と帰宅との合図を定めるようにしてもよい。つまり、距離画像センサ２のセンシング領域Ｅｓでの所作であれば、身体のどの部位を用いた所作であってもよく、外出と帰宅とを区別することができるように所作を設定しておけばよい。

動作判定部１２は、上述した外出および帰宅の際の動作のほかに、マウスのようなポインティングデバイスと同様の操作を行う指示が可能になっている。たとえば、クリック、プレス、ドラッグ＆ドロップなどの操作の指示や、上スクロール、下スクロール、表示を消すなどの操作の指示を可能にしてある。

とくに、表示装置３の表示を消す操作を可能にすることにより、センシング領域Ｅｓで人が検出されている期間においても、バックライトを消灯することで、ハーフミラー１の全体を鏡として利用することが可能になる。この場合、表示装置３の表示を再開する操作も指示可能にしておくことが望ましい。

コントローラ１０には、顔認証装置４により認証される個人別に、外出と帰宅とにそれぞれ対応付けて提示する情報を記憶した提示情報記憶部１４が設けられている。提示情報記憶部１４には、（個人、行動種別、情報）の３つ組であるデータ組が記憶されている。すなわち、各情報は個人と行動種別とに対応付けられており、居住者ごとに外出と帰宅との行動にそれぞれ対応した情報を設定することができる。外出時に提示するのが望ましい「情報」には、電気・ガスの消し忘れの確認、戸締まりの確認、天気、電車運行状況などがあり、帰宅時に提示するのが望ましい「情報」には、家人による帰宅メッセージや家人間の連絡事項などがある。また、情報の提示には、原則として視覚的情報を提示する表示装置３を用いるが、聴覚的情報を提示できるスピーカ５を情報の提示に併用してもよい。

提示情報記憶部１４にデータ組を記憶させるには、コントローラ１０に設けたインターフェイス１６を用いる。インターフェイス１６は、外部装置を電気的に接続するインターフェイス（通信用のインターフェイスなど）であるが、距離画像センサ２と表示装置３とを対話型のインターフェイス１６として用いることも可能である。また、マイクロホン６をインターフェイス１６に用い、マイクロホン６からの音声入力を聴覚的情報として設定したり、マイクロホン６からの音声入力を音声認識技術によりテキストデータに変換し視覚的情報として設定したりすることが可能である。

メッセージの入力には、基本的には、インターフェイス１６を介して接続したパーソナルコンピュータを用いる。この場合、テキストデータだけでなく図形データもメッセージに含めることができる。あるいはまた、携帯電話の赤外線通信機能を用いて携帯電話を用いてメッセージを登録できるようにインターフェイス１６に赤外線通信機能を設けておいてもよい。ハーフミラー１の背面に配置した表示装置３にコントローラ１０を内蔵している場合には、ハーフミラー１を通して赤外線通信を行うことが可能である。

さらに、電気機器の通電状態を監視する装置やガス機器への燃料ガスの供給状態を監視する装置などが設けられている場合、放送やインターネットから所望の情報を取得する装置を設けている場合などには、これらの装置からインターフェイス１６を通して情報を取得して提示情報記憶部１４に自動的に情報を設定することが可能である。また、ホームネットワークを構築し、ホームネットワークの情報を集中管理する宅内サーバを設けている場合には、インターフェイス１６を通して宅内サーバからこれらの情報を取得して提示情報記憶部１４に設定してもよい。

なお、電気・ガス、戸締まりに関連する情報は、情報を取得する装置をインターフェイス１６を介して接続していれば、提示情報記憶部１４に情報を自動的に設定することが可能であるが、情報を収集する装置がなければ、単に注意を喚起するメッセージであってもよい。

提示情報記憶部１４に記憶された情報は、コントローラ１０に設けた情報選択部１３により抽出される。情報選択部１３は、顔認証装置４により個人認証された個人と動作判定部１２で判別した行動種別とを、提示情報記憶部１４のデータ組と照合し、個人と行動種別とが一致するデータ組を提示情報記憶部１４から抽出する。

コントローラ１０には表示処理部１５が設けられており、表示処理部１５では、動作判定部１２からの指示と、情報選択部１３により提示情報記憶部１４から抽出された情報とを用いて表示装置３への表示の内容を決定する。また、聴覚的情報が提示情報記憶部１４に登録されていればスピーカ５から音声が出力される。

上述した操作表示装置の使用例を以下に説明する。初期状態として、ハーフミラー１の前（つまり、センシング領域Ｅｓ）に人が存在しない状態であって、表示装置３がスリープ状態である状態を想定する。この初期状態では、バックライトが消灯しているから、ハーフミラー１の前面側からは通常の姿見のように認識されることになる。初期状態において、ハーフミラー１の前に人が立つことによって、図５に示すように、距離画像センサ２の出力に基づいて存否判定部１１により人が検知されると（Ｓ１）、表示装置３と顔認証装置４とが起動する（Ｓ２）。ここでの起動は、スリープ状態ないしスタンバイ状態から通常の動作状態に復帰することを意味している。表示装置３が起動すると、ハーフミラー１を通して表示装置３の画面が視認可能になる。このとき、鏡の中に画面が立ち現れることによって、あたかも画面が浮遊しているかのような独特な高級感が醸し出される。

顔認証装置４が起動すると、顔認証装置４により個人認証がなされ、登録された家人か否かが判定される（Ｓ３）。顔認証装置４により登録された家人ではないと判断されたときには、侵入者に対する警報報知などの別処理が行われる（Ｓ１２）。一方、登録された家人と判断されたときには、表示装置３の画面に仮想人物としてのエージェント（玄関における案内機能を有するエージェント）が、帰宅と外出とを選択する選択ボタンとともに表示される。帰宅か外出かは、マイクロホン６を用いて音声で選択することも可能であるが、本実施形態では、原則として指差しにより選択ボタンの選択を行う。

帰宅が選択されると（Ｓ５：ｙｅｓ）、エージェントが家人を迎える挨拶を行う。この挨拶では、たとえば、表示装置３の画面に表示されたエージェントがお辞儀をする動作を行うとともに、家人を迎える文言が画面に表示される。この文言は、「＊＊さん、お帰りなさい」のようなメッセージであり、画面上に表示する文字だけでなく、スピーカ５から出力する音声を併用してもよい。

さらに、顔認証装置４により個人認証がなされた家人に対して提示する情報が提示情報記憶部１４に記憶されているときには、提示する情報があることが表示装置３の画面上に示されるとともに、情報の提示を促すボタンが表示される。たとえば、提示する情報が母親から子供に対するメッセージであれば、「お母さんからメッセージがあります。再生しますか」などの文言が、再生ボタンとともに表示装置３の画面に表示される。

ここで、再生ボタンを指差しにより指示すれば（Ｓ６）、メッセージが出力される（Ｓ７）。メッセージは、通常は表示装置３の画面に表示する文字のみであるが、スピーカ５を通して再生する音声を含めてもよい。また、表示装置３の画面に表示する動画像を併用してもよい。

たとえば、メッセージを伝えようとする家人の実写による動画像を登録しておくことも可能である。実写の動画像を登録するには、インターフェイス１６に接続される別途の装置を用いる。ただし、顔認証装置４の撮像装置を動画像を登録する装置として兼用するように構成してもよい。

メッセージの再生が終了すれば、エージェントのみが表示される画面に復帰し、その後、存否検出部１１により人が検知されなくなると、一定時間（数秒）の経過後に（Ｓ１１）、初期状態に復帰する。

ところで、ステップＳ３において顔認証装置４に登録された家人であることが認証された後、外出と帰宅とを選択する選択ボタンにより外出が選択されると（Ｓ４：ｙｅｓ）、情報選択部１３では、顔認証装置４により個人認証が行われた家人に対応する情報を提示情報記憶部１４から抽出し、表示処理部１５を通して表示装置３に表示する（Ｓ８）。表示装置３に表示する情報としては、通勤ルートの交通情報、天気予報などがある。また、電気・ガスの消し忘れ確認や戸締まり確認のような情報を収集している場合には、これらの情報も表示装置３に表示する。提示する情報の情報量が多い場合には、複数画面に分けて表示するか、画面のスクロールによって対応する。

ここで、エアコンの消し忘れがあったとすると、エアコンを停止させるための停止ボタンが表示装置３の画面に表示される。指差しにより停止ボタンを指し示すと（Ｓ９：ｙｅｓ）、エアコンを停止させることができる（Ｓ１０）。このように機器を停止させる操作を行った場合には、操作の結果が表示装置３に示される。また、表示装置３の画面には、戸締まり確認の結果も表示される。

なお、ステップＳ３，Ｓ４において、外出でも帰宅でもないと判断される場合には、表示装置３をスリープ状態とし、顔認証装置４をスタンバイ状態とする初期状態に復帰し、次に人が検知されるまで待機する。また、上述の例では、顔認証装置４による個人認証の後に、帰宅と外出との別を選択させているが、帰宅と外出との別を選択させた後に個人認証を行うようにしてもよい。

さらに、本実施形態では、表示装置３としてバックライト付き液晶表示装置を例示したが、自発光型であれば、プラズマディスプレイのほか、有機ＥＬや電界放出形の固体電子線源を用いたフラットパネルディスプレイも採用可能である。また、フラットパネルディスプレイ以外の表示装置であっても設置スペースを確保できれば使用可能である。

また、上述したように、鏡として利用しない場合には、ハーフミラー１を省略することが可能であり、たとえば、ハーフミラー１に代えてアクリルのような合成樹脂の透明板を用いてもよい。あるいはまた、距離画像センサ２と表示装置３と顔認証装置４とをケースに収納して一体化してもよい。

１ ハーフミラー
２ 距離画像センサ
３ 表示装置
４ 顔認証装置
５ スピーカ
６ マイクロホン
１０ コントローラ
１１ 存否判定部
１２ 動作判定部
１３ 情報選択部
１４ 提示情報記憶部
１５ 表示処理部
１６ インターフェイス
３１ 構造基体
３２ 構造基体
Ｅｓ センシング領域

Claims (8)

1. 映像を表示する表示装置と、表示装置の前方に存在する人の顔を撮像する撮像装置を備え撮像した画像を用いて顔による個人認証を行う顔認証装置と、表示装置の前方に規定したセンシング領域に存在する人の距離画像を生成する距離画像センサと、顔認証装置により個人認証がなされる個人別に提示する情報を記憶した提示情報記憶部と、前記距離画像から抽出される人の所作を指示に変換する動作判定部と、顔認証装置により個人認証なされた人に応じた情報を動作判定部からの指示に応じて提示情報記憶部から抽出する情報選択部と、情報選択部が抽出した情報を表示装置に表示させる表示処理部とを備えることを特徴とする操作表示装置。
2. 前記距離画像センサは、前記表示装置よりも上方に配置されていることを特徴とする請求項１記載の操作表示装置。
3. 前記距離画像に基づいて前記センシング領域における人の存否を検出する存否判定部が付加され、前記表示装置は存否判定部により人が検出されると表示を開始することを特徴とする請求項１又は２記載の操作表示装置。
4. 前記動作判定部は、前記表示装置に表示された図像に対する操作の指示を出力し、前記表示処理部は、前記動作判定部からの指示により前記表示装置に表示された図像を操作することを特徴とする請求項１〜３のいずれか１項に記載の操作表示装置。
5. 前記動作判定部は、前記表示装置の表示を消す指示を出力可能であることを特徴とする請求項１〜４のいずれか１項に記載の操作表示装置。
6. 前記提示情報記憶手段に情報を記憶させるインターフェイスを備えることを特徴とする請求項１〜５のいずれか１項に記載の操作表示装置。
7. 前記表示装置と前記顔認証装置と前記距離画像センサとは玄関に配置されており、前記提示情報記憶部は前記顔認証装置により個人認証がなされる人ごとに外出時と帰宅時とに提示する情報を記憶しており、前記情報選択部は、前記顔認証装置による個人認証の結果と、前記動作判定部による外出か帰宅かの指示とにより、前記提示情報記憶部から情報を抽出することを特徴とする請求項１〜６のいずれか１項に記載の操作表示装置。
8. 構造基体に保持されたハーフミラーを備え、前記表示装置はハーフミラーの背面側に配置されるとともにハーフミラーの一部を通して映像を表示し、前記顔認証装置はハーフミラーの前方に存在する人の顔を撮像するようにハーフミラーの背面側に配置されていることを特徴とする請求項１〜７のいずれか１項に記載の操作表示装置。

Images