JP2018029339A - 表示装置及び電子機器 - Google Patents

Abstract

【課題】使い勝手のよい仮想リモコンを実現する投影装置を提供する。【解決手段】投影・機器制御システム１００は、ユーザの位置に応じた領域に投影像を投影可能な投影部１０と、領域に投影像の投影が可能かどうかを判断する判断部７０と、を備える。判断部７０は、領域の熱に関する物理量を検出する熱センサ３１の検出結果、または領域の段差を検出する距離センサ３２の検出結果、または領域を撮像する撮像部の撮像結果に基づいて危険物の有無を検出する危険物検出部２２の検出結果に基づいて、投影が可能かどうかを判断する。【選択図】図２

Description

本発明は、投影装置に関する。

従来より、照明器具などの機器を操作するために、使用者の手足が届く位置に仮想リモコンを投影し、この投影された仮想リモコンの仮想キーに対するユーザの操作（指差し等）に応じて照明器具を制御することが提案されていた（例えば、特許文献１）。

特開２０１１-９０６６号公報

しかしながら、従来の提案は、使用者の手足が届く位置に仮想リモコンを投影するというものに留まっており、必ずしも使い勝手の良いものではなかった。

本発明は上記の課題に鑑みてなされたものであり、使い勝手の良い投影装置を提供することを目的とする。

本発明の投影装置は、ユーザの位置に応じた領域に投影像を投影可能な投影部（１０）と、前記領域に前記投影像の投影が可能かどうかを判断する判断部（７０）と、を備えている。

この場合において、前記判断部は、前記領域の熱に関する物理量を検出する熱センサ（３１）の検出結果に基づいて前記投影が可能かどうかを判断することとしてもよい。また、前記判断部は、前記領域の段差を検出する距離センサ（３２）の検出結果に基づいて前記投影が可能かどうかを判断することとしてもよい。また、前記領域を撮像する撮像部の撮像結果に基づいて危険物の有無を検出する危険物検出部（２２）を備え、前記判断部は、前記危険物検出部の検出結果に基づいて、前記投影が可能かどうかを判断することとしてもよい。

本発明の投影装置では、前記領域を撮像する撮像部の撮像結果に基づいて前記投影部を調整する調整部（１５）を備えていてもよい。この場合、前記調整部は、前記投影像の大きさ、位置、輝度の少なくとも１つを調整することができる。また、前記調整部は、前記撮像部により撮像された人の数に応じて、前記投影像の大きさを調整することができる。

また、本発明の投影装置では、前記投影部は、複数の電子機器の操作メニューを前記領域に投影することができる。この場合、前記複数の電子機器の配置を反映させた操作メニューを前記領域に投影させる制御部（１６）を備えていてもよい。この場合、前記複数の電子機器と通信可能な通信部（６０）を有し、前記制御部は、前記複数の電子機器との通信状態に応じて前記複数の電子機器の配置を検出し、当該配置を反映させた操作メニューを前記投影部に投影させることとしてもよい。

また、本発明の投影装置は、ユーザを撮像可能な撮像部（２１）と、前記ユーザの位置に応じた領域に投影像を投影可能な投影部（１０）と、前記投影部が投影した前記投影像を前記撮像部により撮像可能かどうかを判断する判断部（７０）と、を備えている。

この場合において、前記撮像部と前記領域とを含む空間に前記撮像部による撮像を遮る物体が有るかどうかを検出する物体検出センサ（３２、２０）を備えていてもよい。この場合、前記物体検出センサは距離センサを有していてもよい。また、前記物体検出センサは画像センサを有していてもよい。また、前記投影部が投影した前記投影像の少なくとも一部を前記撮像部により撮像できないときに、前記投影像が投影される位置を調整する調整部（１５）を備えていてもよい。

また、前記投影部が投影した前記投影像の少なくとも一部を前記撮像部により撮像できないときに、前記撮像部を駆動するアクチュエータを備えていてもよい。また、前記撮像部は、前記ユーザと構造物を撮像可能であり、前記判断部は、前記構造物の撮像結果に基づいて、前記ユーザの向きを判断することとしてもよい。更に、前記撮像部は、前記ユーザの上方から前記ユーザを撮像するように配置されていてもよい。この場合、前記判断部は、前記撮像部の撮像結果に基づいて、前記ユーザの姿勢を判断することとしてもよい。

本発明の投影装置は、ユーザを上方から撮像する撮像部（２１）の撮像結果から前記ユーザの姿勢を検出する検出部（７０）と、前記ユーザの姿勢に応じて、前記ユーザの近傍に投影像を投影する投影部（１０）と、を備える。

この場合において、前記検出部は、前記撮像部の撮像結果から前記ユーザの大きさを検出して、前記ユーザの姿勢を検出することができる。

本発明の投影装置は、ユーザの位置を検出する検出部（７０）と、前記検出部の検出結果に応じて、複数の電子機器の操作に関するメニューを投影する投影部（１０）を備える。

この場合において、前記複数の電子機器の配置に応じて前記メニューを投影する制御部（７０）を備えていてもよい。また、前記メニューは、前記複数の電子機器のそれぞれに応じた階層的なメニューであり、前記制御部は、前記階層的なメニューの表示の少なくとも一部と共通にすることとしてもよい。

本発明の表示装置は、ユーザの位置に応じた領域に表示を行う表示部（１０）と、前記領域への表示が可能かどうかを判断する判断部（７０）と、を備えている。

本発明の表示装置は、ユーザの高さに関する情報を検出する検出部（２１，７０）と、前記検出部が検出した前記ユーザの高さに応じて、前記ユーザの近傍に表示を行う表示部（１０）と、を備えている。

なお、本発明をわかりやすく説明するために、上記においては各実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

本発明は、使い勝手のよい投影装置を提供することができるという効果を奏する。

第１の実施形態に係る投影・機器制御システムが設置されるリビングの状態を模式的に示す図である。 第１の実施形態に係る投影・機器制御システム及び電子機器のブロック図である。 図３（ａ）〜図３（ｄ）は、第１の実施形態に係る操作メニュー画像の一例を示す図である。 図４（ａ）はリファレンス画像の一例を示す図であり、図４（ｂ）は、撮像部により撮像された画像の一例を示す図である。 第１の実施形態に係る投影・機器制御システムのＣＰＵの制御を示すフローチャートである。 撮像部により操作メニュー画像を撮像できない場合の投影領域の決定方法について説明するための図である。 第２の実施形態に係る投影・機器制御システムが設置される場所の状態を模式的に示す図である。 第２の実施形態に係る投影・機器制御システム、電話機、及び電子機器のブロック図である。 図９（ａ）、図９（ｂ）は、第２の実施形態に係る操作メニュー画像の一例を示す図である。 第２の実施形態に係る投影・機器制御システムのＣＰＵの制御を示すフローチャートである。

《第１の実施形態》
以下、第１の実施形態について、図１〜図６に基づいて詳細に説明する。図１は、本第１の実施形態の投影・機器制御システム１００の概略構成を示す図である。

図１に示すように、投影・機器制御システム１００は、リビングの天井に設けられ、テーブル２００の上面や床の上に、テレビ２１０、エアコン２２０、照明機器２３０などの電子機器８０を操作するための操作メニュー画像を投影する。また、投影・機器制御システム１００は、操作メニュー画像に対するユーザの操作（ジェスチャー）があった場合に、当該操作に応じた電子機器８０の制御を実行する。

図２は、投影・機器制御システム１００のブロック図である。投影・機器制御システム１００は、図２に示すように、投影部１０と、画像システム部２０と、センサ部３０と、ジェスチャー認識部４０と、フラッシュメモリ５０と、通信部６０と、ＣＰＵ７０と、を備える。以下、各部について詳細に説明する。

（投影部１０）
投影部１０は、光源１１と、照明光学系１２と、光変調素子１３と、投射光学系１４と、投影画像調整部１５と、メニュー表示部１６と、を有する。なお、投影部１０の設置数は、リビングの広さやレイアウトに応じて決定することができる。

光源１１は、例えば光を出射するランプである。照明光学系１２は、光源１１から出射された光束を光変調素子１３に照明する。光変調素子１３は、例えば液晶パネルであり、テーブル２００の上面などに投影する画像（メニュー表示部１６から入力される画像データに基づく画像（後述））を生成する。投射光学系１４は、光変調素子１３からの光束をテーブル２００上面や床に向けて投射する光学系であり、投影する像の大きさを調整するズームレンズと、フォーカス位置を調整するフォーカスレンズとを有する。なお、ズームレンズやフォーカスレンズに含まれるレンズの位置は、不図示のアクチュエータにより調整される。

投影画像調整部１５は、画像システム部２０の撮像結果やセンサ部３０の検出結果に基づいて、テーブル２００や床に向けて投影する画像の領域（大きさ）や、距離を決定するものである。投影画像調整部１５は、決定した画像の領域（大きさ）や距離に応じて、不図示のアクチュエータを制御し、投射光学系１４のズームレンズやフォーカスレンズに含まれるレンズの位置を調整する。また、投影画像調整部１５は、テーブル２００上面や床の色や明るさに応じてコントラスト処理、投影するメニューの色の調整（変更）、及び光源１１の輝度を調整する。また、投影画像調整部１５は、表示する画像の内容（アイコンの配置など）に関する設定も行う。

メニュー表示部１６は、画像システム部２０の撮像結果やセンサ部３０の検出結果に基づいて、テーブル２００上面や床などに向けて電子機器８０を操作するための操作メニュー画像を投射光学系１４を介して表示する。

図３（ａ）〜図３（ｄ）には、メニュー表示部１６が投射光学系１４を介して表示する操作メニュー画像１７の一例が示されている。メニュー表示部１６が表示する操作メニュー画像１７は、階層構造（図３（ａ）〜図３（ｄ）の画像が操作に応じて表示される構造）となっている。

図３（ａ）は、初期メニュー画像（最初に投影する操作メニュー画像）である。この図３（ａ）の初期メニュー画像には、操作する電子機器８０を選択するためのアイコン１７１、画像の拡大・縮小を行うためのアイコン１７２、及び投影の終了（“戻る”を意味する）アイコン１７３が含まれている。図３（ａ）では、電子機器８０を選択するためのアイコン１７１として、図１のリビングに配置された機器に対応した照明機器、エアコン、テレビのアイコンが表示されている。なお、図３（ａ）では、ユーザが直感的に電子機器８０を選択できるように、部屋のレイアウト（上下関係）に応じてアイコンが表示される。具体的には、一番上に照明機器２３０、次にエアコン２２０、一番下にテレビ２１０のアイコンが表示されている。この場合、一般的なレイアウト（照明は最も上であることが多く、照明よりも下にエアコンがあり、床に近いところにテレビがある、などのレイアウト）から電子機器８０の位置が特定できる場合と、特定できない場合とがある。電子機器８０の位置が特定できない場合には、フラッシュメモリ５０に各電子機器８０の位置を予め登録しておいてもよい。また、後述するように電子機器８０との通信結果からその位置を特定するようにしてもよい。なお、アイコンの配置等については、ＣＰＵ７０が設定するものとする。

図３（ｂ）は、図３（ａ）の初期メニュー画像において照明機器のアイコンを選択した場合に表示される操作メニュー画像である。この図３（ｂ）の操作メニュー画像には、照明機器の表示とともに、拡大・縮小のアイコン１８１、ＯＮ、ＯＦＦスイッチのアイコン１８２、アップダウンスイッチのアイコン１８３、戻ることを示すアイコン１８４が含まれている。なお、アップダウンスイッチのアイコン１８３は、照明機器２３０の照度を調整するためのアイコンである。

図３（ｃ）は、エアコンを選択した場合に表示される操作メニュー画像である。この図３（ｃ）の操作メニュー画像には、エアコンの表示、拡大・縮小のアイコン１９１、ＯＮ、ＯＦＦスイッチのアイコン１９２、アップダウンスイッチのアイコン１９３、戻ることを示すアイコン１９４、モード切換え（冷房、暖房、除湿など）を示すアイコン１９５が含まれている。アップダウンスイッチのアイコン１９３は、設定されたモードに応じた調整（設定温度、設定湿度の変更など）を行うためのアイコンである。

図３（ｄ）は、テレビを選択した場合に表示される操作メニュー画像である。この図３（ｄ）に示す操作メニュー画像には、テレビの表示、拡大・縮小のアイコン１６１、ＯＮ、ＯＦＦスイッチのアイコン１６２、アップダウンスイッチのアイコン１６３、戻ることを示すアイコン１６４、モード切換え（チャンネル、音量など）を示すアイコン１６５が含まれている。アップダウンスイッチのアイコン１６３は、設定されたモードに応じた調整（チャンネル変更、音量設定など）を行うためのアイコンである。

図３（ｂ）〜図３（ｄ）に示すように、メニュー表示部１６が表示する各電子機器８０の操作メニュー画像は、その一部（例えば、拡大・縮小のアイコン、ＯＮ、ＯＦＦスイッチのアイコン、アップダウンスイッチのアイコン、戻ることを示すアイコン）が共通となっている。これにより、ユーザは、選択された電子機器８０の種類が異なる場合にも違和感なく操作することが可能である。

（画像システム部２０）
図２に戻り、画像システム部２０は、リビング内のユーザが操作メニュー画像の投影を要求しているかどうかを認識したり、投影部１０による操作メニュー画像１７の投影に先立ち、リビング内を撮像して操作メニュー画像１７を投影すべき場所を決定したりするものである。画像システム部２０は、図２に示すように、撮像部２１と、画像比較部２２と、を有する。

撮像部２１は、撮影レンズと撮像素子とを含み、リビングの天井からリビング内の構造物およびユーザを撮像する。撮影レンズとしてはリビングの大きさに応じた広角レンズ（例えば、リビング全体を撮像可能な広角レンズ）を用いればよい。なお、撮像部２１の数は１つに限らず、リビングの大きさに応じた数（複数）としてもよい。また、撮像部２１を不図示のアクチュエータにより２次元に駆動することによりリビング内を撮像してもよい。撮像素子としては、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を採用することができる。撮像素子は、ＲＧＢ３原色がベイヤー配列されたカラーフィルタを有しており、各色それぞれに対応した色信号を得ることができる。なお、画像システム部２０による撮像は静止画でも動画でもその組み合わせでもよい。

なお、撮像部２１は、投影部１０と一体的に設けてもよいし、独立して設けてもよい。いずれの場合であっても、撮像部２１と投影部１０との機械的な位置関係がわかっていればよく、当該位置関係は、フラッシュメモリ５０等にシステム定数として記憶しておけばよい。

画像比較部２２は、リビングのリファレンス画像（図４（ａ）参照）と、撮像部２１が撮像した画像（図４（ｂ）参照）とを比較するものである。リビングのリファレンス画像は、フラッシュメモリ５０に記憶されている画像であり、例えばリビング内全体が撮像された画像である。なお、レイアウトの変更や、季節の模様替えに応じてリファレンス画像を変更することとしてもよい。この場合、ユーザの指示の下、リファレンス画像を変更してもよいし、例えば、エアコンの設定変更（暖房と冷房の切り替え）に基づいて季節の変わり目が検出された場合に、リファレンス画像を自動で更新するようにしてもよい。なお、フラッシュメモリ５０には、危険物（カッターや包丁、ポットややかんなど）の各種画像も記憶されているものとする。

画像比較部２２は、撮像部２１が撮像した画像と、リファレンス画像とを比較し、撮像部２１が撮像した画像がリファレンス画像と同じかどうかを判定する。また、画像比較部２２は、撮像部２１が撮像した画像と、危険物の各種画像とを比較し、撮像した画像に危険物の画像が含まれているか否か、及びどこに危険物があるかを判定する。

なお、撮像部２１が撮像したユーザの位置に基づいて、投影部１０が操作メニュー画像１７を投影する場合、ユーザが立っているか座っているかにより、投影する場所を床にすべきかテーブルにすべきかが異なる。このような場合に対応するため、ＣＰＵ７０は、特開２０１１−１４１７３０号に記載されているように、撮像画像中の頭の大きさ（撮像部２１とユーザの頭との距離に応じて変化）に基づいて、ユーザが立っているか座っているかを判断することとしてもよい。具体的には、ユーザが立っている場合には、撮像部２１とユーザの頭との距離は近づくのでユーザの頭は大きく撮像される。一方、ユーザが座っている場合には立っている場合に比べて、撮像部２１とユーザの頭との距離は離れるのでユーザの頭は小さく撮像される。したがって、ＣＰＵ７０は、撮像部２１が撮像した頭の大きさに応じてユーザの姿勢を判断し、投影部１０は、当該判断結果に基づいて、床とテーブルのいずれかに操作メニュー画像１７を投影するようにすればよい。なお、ユーザの身長や頭の大きさなどの情報をフラッシュメモリ５０に記憶しておき、これらの情報を用いて、ユーザが立っているか座っているかをＣＰＵ７０が判断することとしてもよい。なお、ＣＰＵ７０は、頭の大きさに代えて、撮像画像中のユーザの肩幅の広さに基づいて、ユーザが立っているか座っているかを判断することとしてもよい。

（センサ部３０）
センサ部３０は、図２に示すように、温度（熱量）検出部３１及び距離センサ３２を有している。

温度検出部３１は、赤外線センサと、リビングの所定領域の温度（熱量）を赤外線センサにより検出するために赤外線センサを例えば２次元に駆動するアクチュエータと、赤外線センサが検出した温度のうち所定以上の温度（たとえば４０度以上）を検出する設定温度検出部とを備えている。本第１の実施形態において、温度検出部３１によりリビング内の所定以上の温度を検出するのは、例えばテーブルに高温の鍋が置かれている場合に、投影部１０が、その高温部分およびその近傍に操作メニュー画像１７を投影してしまうのを防止するためである。

なお、温度検出部３１により人間の表面温度を検出してユーザがいる場所を検出するようにしてもよい。この場合、リビングにユーザがいることを検出した時点から投影・機器制御システム１００を起動するようにしてもよい。ただし、このような起動制御を行う場合には、リビングの扉の開閉動作に応じて赤外線センサオンにするか、赤外線センサを常時駆動しておく必要がある。

距離センサ３２は、例えば超音波センサを含んでおり、床やテーブルの上に小型の携帯機器や玩具などといった段差を生じるものが置かれているかどうかを検出するものである。本第１の実施形態において段差検出を行うこととしているのは、投影部１０が、段差がある部分に操作メニュー画像を投影してしまうのを防止するためである。

なお、前述した画像比較部２２が、リファレンス画像（段差のない画像）と、撮像部２１が撮像した画像とを比較して段差検出を行ってもよい。ただし、テーブル２００の上のテーブルクロスを交換した場合などにおいては、段差がほとんどない部分であっても段差として検出してしまう可能性がある。このため、本第１の実施形態では、撮像部２１が撮像した画像とリファレンス画像との差異がある部分を検出し、当該差異の部分に段差があるか否かを距離センサ３２により検出することとする。なお、検出する段差の高さとしては、５ｍｍ以上あるいは１０ｍｍ以上など、種々の高さを採用することができる。

（ジェスチャー認識部４０）
ジェスチャー認識部４０は、撮像部２１と協働して、ユーザのジェスチャーを認識するものである。ジェスチャー認識部４０は、ユーザが操作メニュー画像の投影を要求しているか否かを認識するとともに、操作メニュー画像１７上でのユーザの操作状況を認識する。

ジェスチャー認識部４０は、例えば、撮像部２１によって撮像された画像を取得し、当該画像中においてユーザの顔を検出した場合に、操作メニュー画像の投影を要求していると判断する。このような判断が可能であるのは、前述のように撮像部２１は天井に設けられているため、撮像部２１は、通常、ユーザの頭を撮像することができる一方、顔を撮像することができないからである。なお、ジェスチャー認識部４０は、ユーザが撮像部２１を指差しする動作を行った場合に、ユーザが操作メニューの投影を要求していると認識してもよい。また、ジェスチャー認識部４０は、上記顔検出と指差し動作との組み合わせによりユーザが操作メニューの投影を要求していると認識してもよい。

一方、ジェスチャー認識部４０は、撮像部２１の撮像した画像を取得し、当該画像中の色認識（肌色認識等）により、操作メニュー画像上にユーザの手や指が所定時間（例えば１秒から５秒）位置している場合に、操作メニュー画像１７上でのユーザの操作を認識する。また、操作メニュー画像にユーザの手や指が位置してから動画を撮像したり静止画の連続撮像を行い、手や指の位置の変化（軌跡）からユーザのジェスチャーを認識するようにしてもよい。なお、ユーザの手や指は操作メニュー画像に直接触れていてもよいが、操作メニュー画像の投影領域にユーザの体の一部があれば操作していると認識されるため、操作メニューに直接接触していなくてもよい。

なお、フラッシュメモリ５０にユーザの手の画像を記憶しておくこととしてもよい。ジェスチャー認識部４０は、当該ユーザの手の画像を用いて、ユーザの手の位置を認識してもよい。

なお、ジェスチャー認識部４０では、図３（ｂ）〜図３（ｄ）に示すアップダウンスイッチのアイコン１８３，１９３，１６３の操作量を、アイコン上のユーザの指の数に応じて決定することとしてもよい。例えば、図３（ｄ）に示すテレビの操作において、モードが音量設定になっているとする。この場合、アップスイッチのアイコン上に３本の指が乗っていた場合には、ジェスチャー認識部４０は、音量を３段階上げる操作であると認識すればよい。

（フラッシュメモリ５０）
フラッシュメモリ５０は、不揮発性メモリであり、ＣＰＵ７０が実行するプログラムや、リビングのレイアウトに関する情報、撮像部２１と投影部１０との機械的な位置関係などのシステム定数、リファレンス画像や危険物などの各種画像のデータ、ユーザ情報、通信部６０と通信を行う電子機器８０（照明機器、テレビ、エアコンなど）の情報等が記憶されている。

（通信部６０）
通信部６０は、電子機器８０（テレビ２１０、エアコン２２０、照明機器２３０など）と通信するための無線の通信ユニットを備え、ジェスチャー認識部４０が認識したユーザのジェスチャーに応じて、電子機器８０に対して各種制御指令を送信する。通信ユニットは、無線モジュールと、アンテナとを有している。なお、アンテナは、不図示のアクチュエータにより、回転・チルト動作が可能であるものとする。アンテナを回転・チルト可能としたことにより、回転・チルトさせたアンテナで受信される各電子機器８０からの電波強度に基づいて、各電子機器８０のおおよその位置を認識することができるようになっている。例えば、新しい電子機器８０がリビングに設置された場合には、当該新しい電子機器８０の位置を認識することができる。なお、アンテナを回転する代わりに複数のアンテナを設けておき、当該複数のアンテナの電波強度に基づいて各電子機器８０のおおよその位置を認識するようにしてもよい。

（ＣＰＵ７０）
ＣＰＵ７０は、投影・機器制御システム１００に加えて、電子機器８０を統括的に制御するものであり、本第１の実施形態においては、操作メニュー画像の投影や、操作メニュー画像に対するユーザのジェスチャー認識、ジェスチャーに対応する電子機器８０の制御を行う。

電子機器８０は、図１に示すように、テレビ２１０、エアコン２２０、照明機器２３０などであり、各電子機器８０の構成は様々であるが、図２に示すように、各機器は、通信部６０と通信するための通信部８１と、通信部８１の通信結果に応じて電子機器８０を制御するＣＰＵ８２と、ＣＰＵ８２により制御される被制御部８３と、を有している。なお、通信部８１、ＣＰＵ８２、被制御部８３は、各電子機器８０（テレビ２１０、エアコン２２０、照明機器２３０）に応じて適宜好適な構成が採用されている。

以下、上記のように構成される投影・機器制御システム１００のＣＰＵ７０による制御について、図５のフローチャートに沿って詳細に説明する。図５は、ＣＰＵ７０の制御による投影・機器制御システム１００の各部の動作が示されている。

図５のステップＳ１０では、ＣＰＵ７０が、温度検出部３１の出力に基づいてリビングにユーザがいるか否かを判断する。ここでの判断が肯定されると、ステップＳ１２に移行する。

ステップＳ１２に移行すると、ＣＰＵ７０は、撮像部２１を制御して、ユーザの撮像を開始する。なお、撮像部２１による撮像が静止画による撮像である場合、リビングにユーザが存在し続けている間はほぼ連続して撮像を行ってもよいし、所定間隔（２−３秒）毎に撮像を行ってもよい。一方、投影部１０により操作メニュー画像が投影されている場合には、ほぼ連続して撮像するか、あるいは所定間隔を短くして撮像することが望ましい。同様に、動画による撮像の場合は、操作メニューが投影されているときのフレームレートを上げることが望ましい。

次いで、ステップＳ１４では、ＣＰＵ７０が、ユーザによる操作メニュー画像の投影リクエストがあったかどうかを判断する。ＣＰＵ７０は、ジェスチャー認識部４０に指示を出し、撮像部２１が撮像した画像から、ユーザが特定の動作を行ったかどうかを認識させる。そして、ＣＰＵ７０は、ジェスチャー認識部４０が特定の動作を認識した場合に投影リクエストがあったものと判断する。なお、特定の動作としては、前述のように、天井を見る動作、指差しする動作、あるいはこれら動作の組み合わせなどが挙げられる。

なお、ステップＳ１４の判断を行うと同時に、ＣＰＵ７０は、撮像部２１が撮像した画像に基づいてユーザの位置や姿勢を確認することができる。なお、ＣＰＵ７０は、ユーザの姿勢を前述したように画像内の頭の大きさから確認することができる。本第１の実施形態では、ユーザが椅子に座っており、テーブル付近に存在していたものとする。

ステップＳ１４の判断が否定された場合、すなわち、ユーザからのリクエストが無かった場合には、ステップＳ１４を繰返し実行するが、ユーザからのリクエストがあり、ステップＳ１４の判断が肯定された場合には、ステップＳ１６に移行する。

ステップＳ１６に移行すると、ＣＰＵ７０は、センサ部３０からユーザが位置する付近の情報を取得する。この場合、ＣＰＵ７０は、温度検出部３１の検出結果を取得し、テーブル２００付近に温度が４０℃を超える領域があるかどうかを検出する。また、ＣＰＵ７０は、撮像部２１が撮像した画像と、フラッシュメモリ５０に格納されているリファレンス画像とを比較して差異がある場合に、当該差異がある部分に段差があるかどうか、すなわち、テーブル２００上に皿などがあるか無いかを、距離センサ３２の検出結果から判断する。更に、ＣＰＵ７０は、撮像部２１が撮像した画像と、フラッシュメモリ５０に格納されている危険物の各種画像とを比較して、テーブル２００上にフォークやナイフ、カッターナイフ、はさみ、包丁などの危険物があるか無いかを判断する。

次いで、ステップＳ１８では、ＣＰＵ７０が、投影部１０による操作メニュー画像の投影条件を決定する。この場合、ＣＰＵ７０は、ステップＳ１６で検出した情報から操作メニューを投影する領域の候補を抽出する。ここでは、テーブル付近に危険物や段差がなく、テーブルのどこでも操作メニューが表示できると判断されたものとして、説明する。

ここで、操作メニューを表示することができる領域が複数ある場合には、ＣＰＵ７０は、ユーザの正面や右側の領域を優先して操作メニュー画像を表示するようにする。これは、多くのユーザが右利きであるため、ユーザの正面や右側に操作メニューを表示することで、操作がしやすくなるためである。なお、ジェスチャー認識部４０が、ユーザが左手での操作を頻繁に行う（左利きである）ことを認識した場合には、ＣＰＵ７０は、操作メニュー画像をユーザの左側に投影するようにしてもよい。なお、ユーザが左利きであることが認識された場合には、ユーザ毎に、頭の大きさや肩幅、左利きであることを示す情報、を対応させてフラッシュメモリ５０に記憶させておいてもよい。この場合、ＣＰＵ７０は、撮像部２１が撮像した画像から検出される頭の大きさや肩幅と、フラッシュメモリ５０に記憶されている情報とから、画像中のユーザが左利きであるか否かを判別してもよい。

ここで、ユーザの向きは、撮像部２１により撮像した画像から判断してもよく、椅子に座っている場合は、椅子の背もたれとは反対側の方向をユーザの正面と判断することとしてもよい。また、ユーザがテレビ付近にいる場合には、通常、テレビに正対することから、ユーザから見てテレビの存在する方向をユーザの向きと判断してもよい。なお、ユーザが移動している場合には、その移動方向をユーザの向きと判断することもできる。

なお、投影画像調整部１５は、操作メニュー画像１７が、デフォルトで１５０ｍｍ×１５０ｍｍもしくは１００ｍｍ×２００ｍｍ程度の大きさでテーブル２００に投影されるように、投射光学系１４のズームレンズを調節する。この場合、投射光学系１４から投影面までの距離は、距離センサ３２により検出するようにすればよい。

また、投影画像調整部１５は、撮像部２１の撮像素子からの色信号に応じて、操作メニュー画像の色を調整する。この場合、操作メニュー画像の外縁部を暗い色にすることで、操作メニュー画像の視認性を向上させても良い。なお、これに代えて、ＣＰＵ７０は、操作メニュー画像を投影する領域の候補が複数ある場合には、撮像素子からの色信号に応じて白色系（例えば白いテーブルクロス）や無彩色系（例えば無彩色のカーペット）の領域を投影領域と決定してもよい。これによっても、操作メニューの視認性を向上することができる。

また、投影画像調整部１５は、時刻や、照明機器の照度に応じて光源１１の輝度を調整して操作メニューの視認性を向上させてもよい。また、これに代えて、リビング内に照度計を設け、照度計の検出結果に応じて光源１１の輝度を調整したり、照明機器２３０の照度を調整するようにしてもよい。また、これとは逆に、投影部１０により操作メニュー画像１７を投影する場合には、操作メニュー画像を投影する部分の照明を暗くして操作メニューの視認性を向上させてもよい。

また、操作メニュー画像を投影する領域に危険物や段差がある場合には、投影画像調整部１５は、危険物の位置や段差に基づき操作メニュー画像の大きさを調節するとともに、操作メニュー画像の拡大を受け付けないようにする。例えば図４（ｂ）の場合には、危険物である鍋１３２や、段差を形成する箱１３６を避けるように操作メニュー画像を調整し、テーブルクロス１３４（危険物でなく、段差も形成しない）については操作メニュー画像の調整において考慮しないこととする。

図５のステップＳ１８の処理が上記のように行われた後は、ステップＳ２０に移行し、ＣＰＵ７０が、ステップＳ１８で決定した投影条件に基づいて、投影部１０に指示を出す。そして、投影部１０は、当該指示に応じて操作メニュー画像をテーブル２００上に投影する。ここでは、初期の操作メニュー画像として図３（ａ）の操作メニュー画像（初期メニュー画像）がテーブル２００上に投影されたものとする。なお、ＣＰＵ７０は、ユーザに操作メニュー画像を投影したことを報知するために、不図示のスピーカにより“操作メニュー画面を投影しました”などの音声を発生するようにしてもよい。

次いで、ステップＳ２２では、ＣＰＵ７０が、投影部１０により操作メニュー画像を投影している時間を計測するために計時を開始する。

次いで、ステップＳ２４では、ＣＰＵ７０が、ユーザによるジェスチャー（操作メニュー画像による操作）があったかどうかを判断する。ここでの判断が肯定された場合には、ステップＳ３０に移行するが、否定された場合には、ステップＳ２６に移行する。

ステップＳ２６に移行した場合、操作メニュー画像を投影してから（計時を開始してから）所定時間（ジェスチャーの受付待ち時間（例えば１０秒））が経過したか否かを判断する。ここでの判断が否定された場合には、ステップＳ２４に戻る。一方、ステップＳ２６の判断が肯定された場合、すなわち、ユーザのジェスチャーが１０秒以上無い場合には、ステップＳ２８に移行し、ユーザがメニュー操作を行う意思がないとして操作メニュー画像の投影を終了して図５の全処理を終了する。なお、ステップＳ２６のジェスチャーの受付待ち時間は１０秒に限らず、適宜設定することができる。

一方、ユーザによるジェスチャー（操作メニュー画像による操作）が行われ、ステップＳ２４の判断が肯定された場合には、ステップＳ３０において、ＣＰＵ７０が、ジェスチャー認識部４０に指示を出し、ジェスチャー認識部４０にユーザが行ったジェスチャーを認識させる。ここでは、前述したように図３（ａ）の操作メニュー画像が投影部１０により投影されているので、ジェスチャー認識部４０は、図３（ａ）の操作メニュー画像のどのアイコンにユーザの指（又は体の一部）が置かれているかを認識する。例えば、撮像部２１によって図３（ａ）のテレビのアイコンにユーザの手が置かれた状態が撮像された場合には、ジェスチャー認識部４０は、ユーザがテレビの操作を選択したと認識する。なお、ジェスチャー認識部４０は、撮像部２１が所定枚数（２〜５枚）または所定時間（１〜３秒）同一のアイコン上の指を撮像した段階で、ユーザがジェスチャーを行ったと認識すればよい。

次いで、ステップＳ３２では、ＣＰＵ７０は、ステップＳ２２で開始した計時を終了する。次いで、ステップＳ３４では、ＣＰＵ７０は、次の操作メニュー画像の表示が必要かどうかを判断する。ここでは、初期メニュー画像からテレビが選択された段階であるので、ＣＰＵ７０は、次の操作メニュー画像の表示が必要と判断して、ステップＳ２０に戻る。以下、ＣＰＵ７０は、テレビに対する操作が決定するまでステップＳ２０からステップＳ３４を繰り返し、テレビに対する操作が決定した段階（ステップＳ３４の判断が否定された段階）でステップＳ３６に移行する。

そして、ステップＳ３６では、ＣＰＵ７０が、操作メニュー画像により選択されたテレビの操作（例えば、チャンネルを変更する）に基づき、その操作の指令を通信部６０により、テレビ２１０の通信部８１に通信する。テレビ２１０のＣＰＵ８２は、通信部８１が受信した操作の指令に基づいてテレビ２１０の制御を行う。

その後は、ＣＰＵ７０は、ステップＳ２４に戻り、引続きユーザのジェスチャーがある場合には、当該ジェスチャーに応じた処理を実行し、ジェスチャーによる処理が終了した場合（ステップＳ２６の判断が肯定された場合）には、ステップＳ２８を経て、図５の全処理を終了する。

なお、上記ステップＳ１８においては、投影した操作メニュー画像を撮像部２１が撮像できるか否かの観点から、操作メニュー画像の投影位置を決定することとしてもよい。図６には、テーブル２００上に物体（ボトル）１１０が置かれている状態を示す図である。この場合、リファレンス画像（図４（ａ）参照）には物体（ボトル）１１０がないため、距離センサ３２により物体までの距離を検出することになる。
ここで、図６の場合、物体（ボトル）１１０の左右に操作メニュー画像を投影可能な領域があるとする。しかるに、投影・機器制御システム１００に含まれる撮像部２１と物体（ボトル）１１０との位置関係や物体（ボトル）１１０の高さによっては、物体（ボトル）１１０の右側に操作メニュー画像を投影すると撮像部２１により操作メニュー画像を撮像できない場合がある。

このような場合、ＣＰＵ７０は、撮像部２１と物体（ボトル）１１０の位置関係に基づいて、物体（ボトル）１１０の左側の領域に操作メニュー画像を投影することとする。なお、物体の高さが低く、撮像部２１による操作メニュー画像の撮像が可能な場合には、物体の右側に操作メニューを投影してもよい。この場合、ＣＰＵ７０は、距離センサ３２が検出した物体のテーブル面からの高さと、撮像部２１の取り付け位置と画角とから、撮像部２１による操作メニュー画像の撮像が可能かどうか判断してもよく、実際に投影部１０により物体の右側に操作メニュー画像を投影して、撮像部２１による操作メニュー画像の撮像ができるかどうかを試してみてもよい。また、撮像部２１により操作メニュー画像が撮像できない場合には、画像システム部２０に撮像部２１を駆動するアクチュエータを予め設けておき、当該アクチュエータにより撮像部２１の位置や姿勢を調整して、操作メニュー画像を撮像できるかどうか試してもよい。

なお、ＣＰＵ７０は、次のステップＳ２０において、投影した操作メニュー画像を撮像部２１により撮像できるかどうか確認するようにしてもよい。ＣＰＵ７０は、撮像部２１により操作メニューを撮像できる場合には次のステップＳ２２に進み、一部（１０％〜２５％程度）が撮像できない場合は、投影部１０による投影位置を調整し、例えば操作メニューの半分以上が撮像できない場合はステップＳ１８に戻るようにしてもよい。

なお、図５のフローチャートでは説明を省略したが、ユーザが操作メニュー画像１７の拡大・縮小のアイコンを操作した場合には、投影画像調整部１５は、ステップＳ３０において、ユーザの操作に応じて、操作メニュー画像１７の大きさを変更するものとする。

以上、詳細に説明したように、本第１の実施形態によると、投影部１０が、ユーザの位置に応じた領域に操作メニュー画像１７を投影するものであり、ＣＰＵ７０は、ユーザの位置に応じた領域に操作メニュー画像１７の投影が可能かどうかを判断するので、ユーザの位置に応じた投影に適した位置に操作メニュー画像を投影することができる。これにより、操作メニュー画像の使い勝手が良好となる。

また、本第１の実施形態では、ＣＰＵ７０は、リビングの所定領域の温度（熱量）を検出するための温度検出部３１の検出結果に基づいて、操作メニュー画像１７を投影できるかどうかを判断するので、温度の高い物体に操作メニュー画像が投影されるのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することができる。

また、本第１の実施形態では、ＣＰＵ７０は、領域の段差を検出する距離センサ３２の検出結果に基づいて、操作メニュー画像１７を投影できるかどうかを判断するので、段差のある領域に操作メニュー画像１７を投影するのを防止することができる。これにより、使い勝手の良い位置に操作メニュー画像１７を投影することができる。

また、本第１の実施形態では、画像比較部２２が、撮像部２１の撮像結果に基づいて、危険物の有無を検出し、ＣＰＵ７０は、当該検出結果に基づいて、操作メニュー画像１７を投影できるかどうかを判断するので、危険物に対して操作メニュー画像を投影するのを防止することができる。これにより、操作メニュー画像を安全な位置に投影することが可能となる。

また、本第１の実施形態では、投影画像調整部１５が、撮像部２１の撮像結果に基づいて投射光学系１４の調整を行うので、適切な位置、大きさ、輝度で操作メニュー画像を投影することができる。

また、本第１の実施形態では、投影部１０は、複数の電子機器８０の操作メニュー画像を投影するので、当該操作メニュー画像を用いた複数の電子機器８０の操作を行うことが可能である。

また、本第１の実施形態では、複数の電子機器８０と通信可能な通信部６０を有しており、メニュー表示部１６は、複数の電子機器８０との通信状態に応じて電子機器の配置を検出し、当該配置を反映させた操作メニュー画像を投影部に投影させる。これにより、複数の電子機器８０の配置を通信状態に応じて自動で検出することができるとともに、当該配置を反映させた操作メニュー画像を投影することで、ユーザの使い勝手を良好にすることが可能となる。

また、本第１の実施形態では、ＣＰＵ７０は、投影部１０が投影した操作メニュー画像を撮像部２１により撮像可能かどうかを判断するので、操作メニュー画像を適切な位置（ユーザの操作（ジェスチャー）を認識できる位置）に投影することが可能となる。

また、本第１の実施形態では、ＣＰＵ７０が、距離センサ３２と画像システム部２０（画像比較部２２）とを用いて、撮像部２１による操作メニュー画像の撮像を遮る物体があるかどうかを検出する。これにより、操作メニュー画像の投影前に、撮像部２１により操作メニュー画像が撮影できる領域を定め、当該領域に操作メニュー画像を投影することが可能となる。

また、本第１の実施形態では、撮像部２１は、ユーザと、テーブル２００やテレビ２１０などの構造物とを撮像し、ＣＰＵ７０は、テーブル２００やテレビ２１０の撮像結果に基づいて、ユーザの向きを判断することとしている。これにより、ユーザの体の形状などを確認せずに、ユーザの向きを判断することが可能である。

また、本第１の実施形態では、撮像部２１は、ユーザの上方からユーザを撮像するので、ユーザのプライバシーを保護しつつ、撮像部２１の撮像結果を用いた各種制御を行うことが可能である。

また、本第１の実施形態では、ＣＰＵ７０は、ユーザを上方から撮像する撮像部２１の撮像結果からユーザの姿勢を検出し、投影部１０は、ユーザの姿勢に応じて、ユーザの近傍に操作メニュー画像１７を投影するので、ユーザにとって使い勝手の良い位置に操作メニュー画像１７を投影することができる。また、本第１の実施形態では、投影部１０が、ユーザの位置に応じて、複数の電子機器８０の操作メニュー画像１７を投影するので、ユーザにとって使い勝手の良い位置に複数の電子機器８０の操作メニュー画像１７を投影することができる。

なお、上記第１の実施形態では、ＣＰＵ７０が、ステップＳ１４においてユーザが操作メニュー画像の投影リクエストをしていることを、顔や手の動きに基づいて判断する場合について説明した。しかしながら、これに限られるものではなく、ＣＰＵ７０は、マイクに対してユーザから特定の音声が入力された場合に、投影リクエストがあったものと判断してもよい。

なお、上記第１の実施形態では、リビングに複数の人が存在している場合に、当該複数の人が操作メニュー画像を操作できるように、操作メニュー画像を大きく表示するようにしてもよい。この場合、投影リクエストを行った人の正面又は右側に操作メニュー画像を表示するようにすればよい。なお、操作メニュー画像の操作は、全員が行えるようにしてもよいし、特定の人（例えば投影リクエストをした人）のみが行えるようにしてもよい。投影リクエストをした人のみが操作できるようにする場合には、ＣＰＵ７０は、手の向きや指をさす方向から、投影リクエストをした人の手か否かを判別すればよい。なお、上記第１の実施形態では、子供が操作メニュー画像による操作を行うのを制限することとしてもよい。この場合、ＣＰＵ７０は、手の大きさや形状などから、子供の手か否かを判別することとすればよい。

更に、操作メニュー画像の表示として、例えば液晶表示装置を利用してもよい。具体的には、テーブル２００の表面を液晶表示画面とし、ユーザが上述のジェスチャーや音声を発したときに、ＣＰＵ７０が複数の操作メニューを液晶表示画面に表示するようにしてもよい。この場合もセンサ部３０により液晶表示画面上に表示を遮るものがあるかないかを検出し、この検出結果に基づいて液晶表示画面の表示領域を選択してもよい。なお、テーブル２００に重量センサを設けて、テーブル２００上に何か置かれているかを検出するようにしてもよい。また、液晶表示画面にタッチパネルを搭載してタッチ操作によりメニューを選択するようにしてもよい。この液晶表示画面は、壁や窓ガラスなどに設けてもよく、投影部１０と適宜組み合わせて用いるようにしてもよい。壁や窓ガラスに設けられた液晶表示画面を利用する場合に、ＣＰＵ７０は、撮像部２１が撮像したユーザの頭の大きさに応じてユーザの姿勢や身長を類推して、ユーザの手が届きやすい位置に液晶表示画面による表示を行うようにすればよい（液晶画面が複数の分割領域を含む場合は、ユーザの手の届きやすい分割領域を選択して、表示を行うなどすればよい）。なお、壁や窓ガラス（カーテン）への表示に投影部１０を用いることとしてもよい。

更に、投影部１０をテーブル２００の下方に設け、テーブル２００の上面に操作メニュー画像を表示するようにしてもよい。

なお、上記第１の実施形態では、電子機器８０がリビング内の機器（テレビ２１０、エアコン２２０、照明機器２３０など）である場合について説明したが、これに限らず、通信部６０との通信が可能であれば、電子機器８０は、リビングとは異なる部屋に配置されているものであっても構わない。このようにすることで、リビングに居ながら隣の部屋の照明機器をオフにするなどの操作を行うことも可能となる。

なお、上記実施形態では、リビングにおいて投影・機器制御システム１００を適用した場合について説明したが、これに限られるものではない。例えば、商業施設において、投影・機器制御システム１００を適用することもできる。例えば、レストランに投影・機器制御システム１００を設けた場合には、客が着席したタイミングや、ジェスチャーによるリクエストのあったときにメニューをテーブルに投影するようにしてもよい。また、客が選択した商品を、ＰＯＳシステムなどに登録するようにしてもよい。

《第２の実施形態》
次に、第２の実施形態に係る投影・機器制御システム１００’について、図７〜図１０に基づいて説明する。本第２の実施形態の投影・機器制御システム１００’は、電話機を使用するユーザに対して、ユーザをサポートするためのメニュー画像を投影し、ユーザによるメニュー画像に対する動作（ジェスチャー）に基づいて電子機器を制御するものである。

図７は、本第２の実施形態に係る投影・機器制御システム１００’の概略構成を示す図である。図７には、投影・機器制御システム１００’のほか、顔撮像部９４が設けられた電話機９０が図示されている。

図８は、投影・機器制御システム１００’と電話機９０のブロック図である。なお、以下においては、第１の実施形態にかかる投影・機器制御システム１００（図２）と異なる部分を中心に説明する。なお、図２のブロック図と同一又は同等の構成には同一の符号を付し、その説明を省略するものとする。

図８に示すように、本第２の実施形態では、投影・機器制御システム１００’に対して電話機９０が通信可能とされているとともに、投影・機器制御システム１００’が、音声解析部７１と、表情検出部７２と、を有している。また、投影・機器制御システム１００’が制御する対象である電子機器８０が、ドアホン８５、ガスコンロ８６、レコーダ８７となっている。

（電話機９０）
電話機９０は、電話機能部９１と、留守番機能部９２と、インタフェース部９３と、顔撮像部９４と、通信部９５と、を有する。

電話機能部９１は、発信・着信機能や、マイク、スピーカ機能など、一般的な電話機が有すべき機能を実現するものである。本第２の実施形態では、マイクに入力されたユーザの音声が通信部９５を介して投影・機器制御システム１００’に送信される。

留守番機能部９２は、留守番機能の起動と停止とを制御するとともに、伝言機能を有する。また、留守番機能部９２は、後述するように投影・機器制御システム１００’により投影された留守番機能のアイコンをユーザが選択することにより、通話中であっても留守番機能に移行したり、お断りの伝言を送信したりする。

インタフェース部９３は、電話機９０の各種スイッチ、ボタンと連携して、音声入出力、ＬＥＤ点灯、各種表示を行うためのインタフェースである。

顔撮像部９４は、ユーザの表情を撮像するための撮像部である。図１では、顔撮像部９４はユーザの表情を撮像しやすいように電話機９０に搭載されているが、これに限らずユーザの表情を撮像できる位置であれば電話機以外の場所に配置してもよい。また、顔撮像部９４を複数配置してもよい。

通信部９５は、有線、無線など各種の通信方式を採用することができ、投影・機器制御システム１００’の通信部６０と双方向の通信を行うものである。通信部９５は、電話機能部９１のマイクに入力されたユーザの音声と、顔撮像部９４が撮像したユーザの表情を投影・機器制御システム１００’に対して送信する。

（音声解析部７１）
音声解析部７１は、電話機能部９１のマイクに入力されるユーザの音声を解析するものである。音声解析部７１は、音声認識辞書を有しており、入力した音声が、敬語、丁寧語、謙譲語であるか、日常語（平語）であるか、それ以外の砕けた言葉遣いであるかを分類する。なお、本実施形態では、音声解析部７１を投影・機器制御システム１００’側に設けたが、電話機９０側に設けるようにしてもよい。

（表情検出部７２）
表情検出部７２は、顔撮像部９４が撮像したユーザの表情を検出するものであり、眉間に皺がある表情や、笑顔ではなく目を細めている表情を検出し、ユーザが困惑しているかどうかを判別する。

ここで、表情検出部７２は、眉間に皺のある画像をリファレンス画像としてフラッシュメモリ５０に記憶させておき、当該リファレンス画像と撮像画像とのパターンマッチングを行うことで、眉間の皺を検出することができる。また、表情検出部７２は、左目と右目との間の部分の陰影分布から、眉間の皺を検出することとしてもよい。なお、眉間の皺の検出については、米国特許出願公開第２００８−２９２１４８号にも開示されている。

また、表情検出部７２は、顔撮像部９４により撮像される平均的な目の大きさをフラッシュメモリ５０に記憶させておき、この記憶された目の大きさに対して顔撮像部９４により撮像された目の大きさを比較することにより、目を細めている表情を検出することができる。

なお、特開２００２−２５８６８２号公報に記載されているように、ユーザの動画像中における顔構成要素の特徴点座標変化から顔面筋の収縮量を検出して、ユーザが困惑しているかどうかを判別してもよい。

（電子機器８０）
ドアホン８５は、不図示の通信部により投影・機器制御システム１００’との通信が可能されている。ドアホン８５は、投影・機器制御システム１００’のＣＰＵ７０の指示に応じて、擬似的なチャイムの音を発生させる機能を有している。

ガスコンロ８６は、不図示の通信部により投影・機器制御システム１００’との通信が可能とされている。ガスコンロ８６は、投影・機器制御システム１００’のＣＰＵ７０の指示に応じて、不図示のスイッチをオフにしたり、火力を弱めたりする機能を有している。

レコーダ８７は、不図示の通信部により投影・機器制御システム１００’との通信が可能とされている。レコーダ８７は、投影・機器制御システム１００’のＣＰＵ７０の指示に応じて、テレビ画面に映っている番組の録画を行う機能を有している。

図９（ａ）、図９（ｂ）は、第２の実施形態においてメニュー表示部１６が表示する操作メニュー画像１７ａ，１７ｂを示している。図９（ａ）の操作メニュー画像１７ａでは、ドアホン、ガスコンロ、レコーダのアイコンが表示されており、図９（ｂ）の操作メニュー画像１７ｂでは、ドアホン、ガスコンロ、レコーダのアイコンに加えて留守番電話のアイコンが表示されている。本第２の実施形態では、メニュー表示部１６は、ユーザの言葉遣いに応じて、図９（ａ）、図９（ｂ）の操作メニュー画像のいずれかを、投射光学系１４を介して投影する。

以下、図１０のフローチャートに沿って、ＣＰＵ７０の制御による図２の各部の動作について、詳細に説明する。図１０のフローチャートは、ユーザが電話を受けた段階から開始される。

図１０では、ステップＳ５０において、ＣＰＵ７０が、通話時間を計測するための計時を開始する。次いで、ステップＳ５２では、ＣＰＵ７０は、撮像部２１及び顔撮像部９４による撮像を開始する。撮像部２１は、電話機９０を使用しているユーザの上半身を含む領域を撮像する。顔撮像部９４は、前述したようにユーザの表情を撮像する。なお、顔撮像部９４が撮像した画像は、表情検出部７２に送られる。そして、表情検出部７２では、当該画像に基づきユーザの表情を検出し、ユーザが困惑しているかどうかを判別する。

次いで、ステップＳ５４では、ＣＰＵ７０が、ステップＳ５２の撮像結果に基づいて、ユーザからジェスチャー入力があったかどうかを判断する。ここでは、ジェスチャー認識部４０が、撮像部２１により撮像されたユーザが意識的に所定のジェスチャーを行っていると認識した場合、あるいは、表情検出部７２がユーザが困惑していると判別した場合に、ユーザからジェスチャー入力があったと判断する。なお、ジェスチャー認識部４０は、受けた電話が迷惑電話であったときにユーザが行うジェスチャーのリファレンス画像（フラッシュメモリ５０に予め記憶されているものとする）に基づいて、ユーザのジェスチャーを認識する。なお、迷惑電話であったときにユーザが行うジェスチャーには、親指を下げる、手のひらを撮像部２１に向ける、両方の人差し指でバッテンマークを作るなどのジェスチャーが含まれる。

ステップＳ５４の判断が否定された場合には、ステップＳ５６に移行し、ＣＰＵ７０は、ステップＳ５０で開始した計時が所定時間（例えば１０分以上）経過したかどうかを判断し、所定時間が経過していればステップＳ５８に移行し、所定時間が経過していなければステップＳ５２に戻る。なお、所定時間が経過した場合にステップＳ５８に移行するのは、ユーザによっては迷惑電話に困惑しながらも表情に出ない場合があるからである。なお、表情検出部７２がユーザの笑顔を検出した場合には、ステップＳ５８に移行せずにステップＳ５２に戻るようにしてもよい。笑顔検出については、例えば、特許第４,４５３,７２１号などに開示されている。

一方、ステップＳ５４又はステップＳ５６の判断が肯定され（ジェスチャー入力があった場合又は所定時間が経過した場合）、ステップＳ５８に移行すると、ＣＰＵ７０は、ユーザの話し方に応じた投影メニューの選択を行う。

例えば、音声解析部７１が、ユーザが“です”、“ます”などの丁寧な口調で話している、あるいは“おっしゃる”、“お持ちですか”などの敬語を用いていると解析したとする。この場合、ＣＰＵ７０は、目上の人からの長電話（迷惑電話）であると判断し、投影するメニューとして、図９（ａ）の操作メニュー画像１７ａを選択する。一方、音声解析部７１が、ユーザが丁寧な言葉で話していない（日常語（平語）で話している）と解析したとする。この場合、ＣＰＵ７０は、売り込みなどの迷惑電話であると判断し、投影するメニューとして、図９（ｂ）の操作メニュー画像１７ｂを選択する。なお、ユーザが砕けた言葉で話している場合には、ＣＰＵ７０は、図９（ａ）の操作メニュー画像１７ａを選択してもよいし、友達との長電話であると判断して、図１０の全処理を終了することとしてもよい。

次いで、ステップＳ６０では、ＣＰＵ７０が、ステップＳ５８の選択結果に基づいて、電話機９０の近傍に操作メニュー画像１７ａ又は１７ｂを投影する。この場合、ＣＰＵ７０は、第１の実施形態と同様、センサ部３０の検出結果や撮像部２１の撮像結果に基づいて投影領域を決定すればよい。

次いで、ステップＳ６２では、ＣＰＵ７０が、操作メニュー画像１７ａ又は１７ｂを投影している時間を計測するための計時を開始する。

次いで、ステップＳ６４では、ＣＰＵ７０は、ステップＳ６０において投影された操作メニュー画像に対して、ユーザのジェスチャー入力があったかどうかを判断する。ここでの判断が肯定された場合には、ステップＳ６６に移行し、否定された場合には、ステップＳ７０に移行する。

ステップＳ７０に移行した場合には、ＣＰＵ７０は、所定時間（例えば１０秒）経過したかどうかを判断し、判断が肯定された場合には、ステップＳ７２に移行し、判断が否定された場合には、ステップＳ６４に戻る。なお、ステップＳ７２に移行した場合には、ＣＰＵ７０は、操作メニュー画像の投影を終了し、図１０の全処理を終了する。

一方、ステップＳ６４の判断が肯定されてステップＳ６６に移行した場合には、ＣＰＵ７０は、ユーザのジェスチャー入力に基づき、ドアホン８５、ガスコンロ８６、レコーダ８７、或いは留守番機能部９２の制御を行う。

例えば、ユーザが電話を切る口実が思い浮かばない場合に、ユーザが、操作メニュー画像１７ａ又は１７ｂのドアホンのアイコンに触れたとする。この場合、ＣＰＵ７０は、ドアホン８５に指示を出し、ドアホン８５に擬似的なチャイムを鳴らさせる。これにより、ユーザは、ドアホン８５に対する対応を行わなければならないことを口実に電話を切ることができる。

また、売り込みなどの電話の場合があった場合に、ユーザが留守番電話のアイコンに触れたとする。この場合、ＣＰＵ７０は、強制的に留守録機能をオンにして通話を終了させたり、お断りの伝言を再生したりする。これにより、ユーザは、売り込みなどの電話を強制的に切ることができる。

また、ユーザが通話を続けたいもののガスコンロ８６が点火していたり、見たいテレビなどがある場合に、ユーザが、ガスコンロやレコーダのアイコンに触れたとする。この場合、ＣＰＵ７０は、ガスコンロ８６の火を止めたり、テレビに映されている番組のレコーダ８７による録画を開始したりする。これにより、ユーザは、ガスコンロ８６の安全を確保したり、視聴していた番組を録画することができるようになる。なお、ユーザがガスコンロ８６やレコーダ８７のアイコンに触れた場合には、第１の実施形態のように、階層的なメニューを表示することで、ガスコンロ８６やレコーダ８７の細かい操作を実現するようにしても良い。

以上のようにして、ステップＳ６６の処理が終了すると、ステップＳ７２に移行する。ステップＳ７２では、ＣＰＵ７０は、操作メニュー画像の投影を終了する。そして、その後は、図１０の全処理を終了する。

以上、詳細に説明したように、本第２の実施形態によると、電話機９０を使用しているユーザを撮像可能な顔撮像部９４と、顔撮像部９４の撮像結果に基づいて、電話機９０とは異なる電子機器８０の操作メニュー画像１７ａ，１７ｂを投影する投影部１０とを備えている。これにより、電話機９０を使用しているユーザの顔の表情に基づいて適切なタイミングで電子機器８０の操作メニュー画像を投影することができ、ユーザの使い勝手を良好にすることができる。また、顔の表情に基づいた投影を行うことで、ユーザが所定のジェスチャーを行わなくても、適切なタイミングで操作メニュー画像を投影することができる。すなわち、ユーザはジェスチャーを覚えたりしなくてもよいので、この点からも、ユーザの使い勝手を向上することができる。

また、本第２の実施形態によると、音声解析部７１が、電話機９０を使用しているユーザの音声に関する情報を検出し、投影部１０は、音声解析部７１の解析結果に基づいて、操作メニュー画像を投影するので、電話機９０を使用しているユーザの音声に基づいて適切な操作メニュー画像を投影することができる。

また、本第２の実施形態によると、前記音声解析部７１は、ユーザの音声の言葉遣いを解析するので、電話におけるユーザの言葉遣いに応じた適切な操作メニューを投影することができる。

また、本第２の実施形態では、撮像部２１が、投影部１０により投影された操作メニューに対するユーザの手の状態を撮像し、ＣＰＵ７０が、当該撮像結果に基づいて電子機器８０を制御するので、電話中のユーザは、操作メニュー画像に対して手を動作させることで、電子機器８０を操作することが可能となる。

また、本第２の実施形態では、投影部１０は、操作メニュー画像を投影した後、所定時間の間、通信部６０が電子機器８０と通信を行わなかった（電子機器８０をＣＰＵ７０が制御しなかった）場合に、操作メニュー画像の投影を終了する（ステップＳ７０：否定）ので、操作メニュー画像をユーザが使用しないにもかかわらず、長時間操作メニュー画像が投影され続けられるという事態の発生を抑制することができる。

また、本第２の実施形態では、ＣＰＵ７０が、ユーザが電話機９０を使用している時間を計測し、投影部１０は、計測時間に基づいて操作メニュー画像を投影する（Ｓ５６）。したがって、長電話の場合に、適切なタイミングで操作メニュー画像を投影することが可能である。

また、本第２の実施形態では、操作メニュー画像に電話機９０の操作に関するアイコンも含まれている（図９（ｂ））ので、ユーザは、操作メニュー画像内で、電話機９０と電話機以外の電子機器８０の操作を行うことが可能となる。

また、本第２の実施形態では、電話機９０を使用しているユーザの状態に応じて、投影部１０が、電話機９０や電子機器８０に関する情報を投影するので、ユーザの状態（困惑しているなど）に応じた情報の提供が可能である。

なお、上記第２の実施形態では、電子機器８０として、赤ちゃんの声や笛吹きやかんの音を録音した録音・再生装置を採用してもよい。この場合にも、迷惑電話の際に、ユーザが操作メニュー画像を介して録音・再生装置を操作することで、電話を切る口実を作ることが可能となる。

なお、上記第２の実施形態では、操作メニュー画像に含まれるアイコンが、図９（ａ）や図９（ｂ）に示すように予め定められている場合について説明したが、これに限られるものではない。例えば、ユーザが電話に出る前から使用されている機器のみを表示することとしてもよい。この場合、電話機９０が使用されている際に通信部６０と通信可能な電子機器８０のみを表示することとすればよい。例えば、電話機９０を私用している際にガスコンロが使用されていない場合には、図９（ａ）や図９（ｂ）のメニューからガスコンロのアイコンを除いてもよい。

なお、上記第２の実施形態では、ＣＰＵ７０は、音声解析部７１の解析結果として会話の内容を取得できる場合には、当該会話の内容に基づいた情報を投影部１０を介して投影してもよい。例えば、ＣＰＵ７０は、会話の内容を要約して投影したり、あるいは、会話において日付に関する内容が出た場合にカレンダの画像を投影するなどしてもよい。

なお、上記第２の実施形態では、言葉遣いに基づいて、投影する操作メニュー画像を選択する場合について説明したが、言葉遣いとともに着信番号に基づいて、投影する操作メニュー画像を選択することとしてもよい。

なお、上記第２の実施形態では、状況に応じて、図９（ａ）、図９（ｂ）の操作メニュー画像を選択し、投影する場合について説明したが、これに限られるものではない。例えば、常に、図９（ａ）又は図９（ｂ）の操作メニュー画像を投影するようにしてもよい。

なお、上記第２の実施形態においては、ユーザが使用する機器が電話機９０である場合を例に採り説明したが、これに限られるものではない。例えば、ユーザが使用する機器がドアホンであってもよい。この場合、ドアホン８５による売り込みがあった場合に操作メニュー画像を投影するようにする。これにより、例えば、操作メニュー画像を用いた操作により擬似的な電話のコールを発生させるなどすることで、売り込みを断る口実を作ることが可能となる。

なお、上記第２の実施形態においても、投影部１０に代えて、もしくは投影部１０と併用して液晶表示装置を用いてもよい。この場合も電話機９０を保持するテーブルや電話機９０の近くの壁や窓ガラスに液晶表示装置を設ければよい。

なお、上記各実施形態では、ＣＰＵ７０は、操作メニュー画像１７，１７ａ，１７ｂに対する手の状態に基づいて、電子機器８０を制御する場合について説明したが、これに限られるものではない。すなわち、ＣＰＵ７０は、操作メニュー画像１７，１７ａ，１７ｂに対する体の一部（足など、身に着けている服等を含む）の状態に基づいて、電子機器８０を制御することとしてもよい。

上述した各実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１０ 投影部
１５ 投影画像調整部
１６ メニュー表示部
２０ 画像システム部
２１ 撮像部
２２ 画像比較部
３１ 温度検出部
３２ 距離センサ
６０ 通信部
７０ ＣＰＵ
７１ 音声解析部
８０ 電子機器
９０ 電話機
９４ 顔撮像部
１００、１００’ 投影・機器制御システム

本発明は、表示装置及び電子機器に関する。

本発明は上記の課題に鑑みてなされたものであり、使い勝手の良い表示装置及び電子機器を提供することを目的とする。

本発明は、使い勝手のよい表示装置及び電子機器を提供することができるという効果を奏する。

Claims (1)

1. ユーザの位置に応じた領域に投影像を投影可能な投影部と、
   前記領域に前記投影像の投影が可能かどうかを判断する判断部と、を備えたことを特徴とする投影装置。

Images