JP2005242725A - 電子機器 - Google Patents

Abstract

【課題】 投影面上に投影された画像によって表現されるユーザーインターフェースの操作に不慣れなユーザーであっても、自分の操作の誤りを迅速に認識することである。
【解決手段】 本電子機器は、ユーザーが操作するユーザーインターフェースを表現するインターフェース画像を投影するための画像投影手段１３０と、画像投影手段の表示制御を行う表示制御手段１１１と、インターフェース画像上におけるユーザー操作位置を検知する操作位置検知手段１８０と、操作位置検知手段により検知したユーザー操作位置に対応するデータ処理を実行するデータ処理手段１１１とを備えた携帯電話機である。そして、表示制御手段は、操作位置検知手段により検知したユーザー操作位置に応じて、インターフェース画像の少なくとも一部を変更する表示制御を行う。
【選択図】 図１

Description

本発明は、ユーザーが操作する操作機器の操作面を仮想的に表現する操作面画像に対するユーザー操作に基づいて、文字情報の入力、ゲーム等の各種アプリケーションの制御、音や画像の出力などのための所定のデータ処理を実行する携帯電話機等の移動体通信端末、タッチパネル、電子ピアノ等の電子機器に関するものである。

従来、この種の電子機器として、コンピュータ用の仮想的なキーボード（操作機器）を仮想的に表現する操作面画像を投影する投影手段と、その仮想的なキーボード画像上でどのキーが選択されたかを検知する検知手段とを備えた個人用携帯型の情報端末（ＰＤＡ）が知られている（例えば、特許文献１、２及び３参照）。この情報端末では、例えば白い紙のように平らで明るい投影面上に、仮想的なキーボード画像を投影する。ユーザーは、投影面上に投影された仮想キーボードの仮想キーを指で打鍵したり、ポインター等の部材で指し示したりすることで、キー操作する。このキー操作は、レーザセンサ等からなる検知手段で検知され、実際のコンピュータ用の物理的なキーボード上のキーをあたかも打鍵したかのようにキー入力を行うことができる。
特開２０００−８９８９９号公報 米国特許第６，６１４，４２２号明細書 特開２００３−１５２８５１号公報

ユーザーは、キーボードに対してキー操作を行うにあたり、自分が意図したキーと隣のキーとの間を誤って打鍵したり、キーが配置されていない箇所を誤って打鍵したりしてしまうことがある。このような場合、ユーザーが意図したキー入力が適切に行われない。物理的なキーボードを用いる場合には、ユーザーは、その誤りを指で感知できるため、指から伝わる感覚からキー入力が適切に行われなかったことに気づくことができる。しかし、仮想キーボードを用いる場合には、ユーザーは、このような誤った打鍵を行ったときでも、その誤りを指で感じ取ることができない。よって、ユーザーは、指から伝わる感覚からはキー入力が適切に行われなかったことに気づくことができない。そして、この場合、ユーザーは、自分が行った操作結果を画面で確認したときに初めて、自分が誤った打鍵を行ったことを認識することになる。具体的には、キー操作により表示された文字等が自分の意図したものと異なったものであったり、自分の意図した文字等が表示されなかったりしたことを画面で確認したときに初めて、自分が誤った打鍵を行ったことを認識する。キーボードの操作に熟練したユーザーであれば、キー操作の結果が表示される画面を見ながらキー操作を行うことができるので、自分が誤った打鍵を行ったことを迅速に認識することができる。しかし、キーボードの操作に不慣れなユーザーは、キーボードを見ながらキー操作を行うことが多いため、自分が誤った打鍵を行ったことを迅速に認識することが困難であるという問題があった。
なお、以上は、投影面上に投影される画像によって仮想的に表現される操作機器がキーボードである場合について説明したが、ポインティングデバイスやピアノ等の鍵盤などの他の操作機器である場合についても、上記問題と同様の問題が発生し得る。

本発明は、上記問題に鑑みてなされたものであり、その目的とするところは、投影面上に投影された画像によって仮想的に表現される操作機器の操作に不慣れなユーザーであっても、自分の操作の誤りを迅速に認識することが可能な電子機器を提供することである。

上記目的を達成するために、請求項１の発明は、ユーザーが操作する操作機器の操作面を仮想的に表現する操作面画像を投影するための画像投影手段と、該画像投影手段の表示制御を行う表示制御手段と、該操作面画像上におけるユーザー操作位置を検知する操作位置検知手段と、該操作位置検知手段により検知したユーザー操作位置に対応するデータ処理を実行するデータ処理手段とを備えた電子機器であって、上記表示制御手段は、上記操作位置検知手段により検知したユーザー操作位置に応じて、上記操作面画像の少なくとも一部を変更する表示制御を行うことを特徴とするものである。
この電子機器においては、操作位置検知手段により検知したユーザー操作位置に応じて、操作面画像の少なくとも一部が変更される。よって、ユーザーは、操作面画像を見ながらこれに対して操作を行っている間、その操作面画像が変更されたことを視認することで、自分が誤った操作をしたか否かを認識することが可能になる。例えば、操作面画像に対してユーザー操作の不可能な位置をユーザーが誤って操作したときに操作面画像の少なくとも一部を変更すれば、これを見たユーザーにその誤りを認識させることができる。なお、表示制御手段による「操作面画像の変更」には、その変更箇所に表示されている画像を他の画像に変更することのほか、その変更箇所の色彩や輝度のみ変更することも含まれる。
また、請求項２の発明は、請求項１の電子機器において、上記表示制御は、上記操作位置検知手段により検知したユーザー操作位置の画像部分を変更するものであることを特徴とするものである。
この電子機器においては、操作面画像に対してユーザーが操作したときにそのユーザー操作位置の画像部分が変更されるので、これを見たユーザーに対して自分が意図した位置を操作できたか否かを認識させることができる。
また、請求項３の発明は、請求項１又は２の電子機器において、上記操作面画像は、上記データ処理手段に対して互いに異なるデータ処理を実行させるための複数のキーが配列されたキーボード面の画像であることを特徴とするものである。
この電子機器においては、物理的なキーボードを接続することなく、これを接続したときと同様の操作をユーザーが行うことができる。

なお、画像投影手段により投影される操作面画像は、投影面上に投影される２次元的な画像であってもいいし、あたかも３次元空間の中に操作機器が存在するように視認されるホログラフィー技術等によって３次元空間に投影される３次元的な画像であってもよい。
また、上記「電子機器」には、移動体通信端末のほか、携帯型情報端末（ＰＤＡ：Personal Digital Assistance）やゲーム機等も含まれる。また、上記「移動体通信端末」には、ＰＤＣ（Personal Digital Cellular）方式、ＧＳＭ（Global System for Mobile Communication）方式、ＴＩＡ（Telecommunications Industry Association）方式等の携帯電話機、ＩＭＴ（International Mobile Telecommunications）−２０００で標準化された携帯電話機が含まれる。また、「移動体通信端末」には、ＰＨＳ（Personal Handyphone Service）、自動車電話等の電話機のほか、携帯電話モジュールを付加した移動体通信端末も含まれる。
また、上記電子機器における制御は、それらに設けられたコンピュータで所定のプログラムを実行することによって実現することもできる。このコンピュータで用いるプログラムの受け渡しは、デジタル情報としてプログラムを記録したＦＤ，ＣＤ−ＲＯＭ等の記録媒体を用いて行ってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行ってもよい。

請求項１乃至３の発明によれば、操作面画像が変更されたことを視認することで、自分が誤った操作をしたか否かを認識することが可能になるので、その操作面画像を見ながらこの画像が仮想的に表現する操作機器を操作するような不慣れなユーザーであっても、自分の操作の誤りを迅速に認識することが可能となるという優れた効果が奏される。その結果、操作面画像によって表現される仮想的な操作機器を用いる場合におけるユーザーの利便性を向上させることが可能になる。
特に、請求項２の発明によれば、不慣れなユーザーに対して自分が意図した位置をきちんと操作できたか否かを認識させることができるので、ユーザーは操作結果を確認しながら正確な操作を行うことができるようになるという優れた効果が奏される。
また、請求項３の発明によれば、当該電子機器の小型化、携帯性の向上などを図ることができるという優れた効果が奏される。

以下、本発明の実施の形態を図面を参照しながら説明する。
まず、本実施形態に係る電子機器としての移動体通信端末である携帯電話機の全体構成について説明する。
図２は、本実施形態に係る携帯電話機の概略構成の一例を示すブロック図である。この携帯電話機の本体部分１００は、制御手段としての主制御部１１１、記憶手段としての内部メモリ１１２、通信手段としての無線通信部１１３及びアンテナ１１４を備えている。また、主制御部１１１には、音声処理部１１５を介してマイク１１６及びスピーカ１１７が接続され、画像処理部１１８を介して画像表示部１１９が接続され、更に携帯電話機本体に設けられているキー操作部１２０が接続されている。
また、本実施形態の携帯電話機は、ユーザーが視認可能な外部投影面（以下、単に「投影面」という。）２００に画像を投影するための画像投影手段としての画像投影部１３０と、人物や風景などの画像を撮像する撮像手段としてのカメラ部１４０とを備えている。さらに、同携帯電話機は、ユーザーが操作可能な投影面２００に投影された仮想的なキーボード画像（操作面画像）上におけるユーザー操作位置を検知する操作位置検知手段としてのキー選択検知部１８０を備えている。このキー選択検知部１８０により、仮想的なキーボード画像上のどのキーが選択されたかを検知することができる。画像投影部１３０及びキー選択検知部１８０の詳しい構成及び動作については後述する。

上記主制御部１１１は、例えばＣＰＵ、キャッシュメモリ、システムバス等で構成され、所定の制御プログラムを実行することにより内部メモリ１１２や無線通信部１１３等の各部との間でデータの送受信を行ったり各部を制御したりする。また、主制御部１１１は、画像投影部１３０による投影画像（キーボード画像）の表示制御を行う表示制御手段としても機能する。また、主制御部１１１は、キー選択検知部１８０によるキー選択検知の制御にも用いられる。更に、主制御部１１１は、キー選択検知部１８０から出力されるキー選択データに基づいて、その選択されたキーに対応する所定のデータ処理を実行するデータ処理手段としても用いられる。このキー選択データは、画像投影部１３０により投影されたキーボード画像上におけるユーザー操作位置（キー）を示すデータである。上記データ処理としては、例えば選択されたキーに対応する文字データをディスプレイに表示したり内部メモリに記憶したりするデータ処理や、ゲーム等のアプリケーションプログラムの実行内容を変化させたりするデータ処理が挙げられる。

上記内部メモリ１１２は、例えばＲＡＭやＲＯＭなどの半導体メモリで構成され、主制御部１１１で実行する制御プログラムや各種データを記憶するものである。また、この内部メモリ１１２は、情報提供サイトなどからダウンロードした画像、音楽、プログラム等のコンテンツデータを記憶するコンテンツデータ記憶手段としても用いられる。更に、この内部メモリ１１２は、スピーカ１１７から出力する音のデータ、画像表示部１１９に表示する画像データ、画像投影部１３０で投影する画像データ、キー選択検知部１８０で検知したキー選択データを記憶するデータ記憶手段としても用いられる。

上記無線通信部１１３は、主制御部１１１で制御され、アンテナ１１４を介して、所定の通信方式により通信ネットワークとしての携帯電話通信網の基地局との間で無線通信を行うものである。この無線通信により、特定の携帯電話機等との間で音声電話通信を行ったり、電子メールの送受信や情報提供サイトからのコンテンツダウンロード等のデータ通信を行ったりすることができる。

上記音声処理部１１５は、マイクロフォン１１６から入力された送話音声信号を所定方式で符号化して主制御部１１１に送る。また、この音声処理部１１５は、無線通信部１１３で受信した受話音声信号を復号化してスピーカ１１７から出力する。更に、この音声処理部１１５は、内部メモリ１１２に記憶されている着信メロディやアプリケーションプログラムで用いる効果音等の音信号をスピーカ１１７から出力する。音を出力する音出力手段は、音声処理部１１５及びスピーカ１１７を用いて構成されている。

上記画像処理部１１８は、無線通信部１１３で受信した画像データや、内部メモリ１１２に記憶されているアイコンやメニュー、着信通知画像等の画像データを処理し、液晶ディスプレイ（ＬＣＤ）等からなる画像表示部１１９に表示させる。

上記キー操作部１２０は、データ入力キー（テンキー、＊キー、＃キー）、通話開始キー、終話キー、スクロールキー、多機能キー等を備え、電話の発信や着信のほか、画像表示部１１９に表示される情報のスクロールや選択等に用いる。また、このキー操作部１２０は、キー選択検知部１８０が有する複数のキー選択検知機能の少なくとも１つを指定するための指定手段としても用いられる。

図３は、上記画像投影部１３０の一構成例を示すブロック図である。
この画像投影部１３０は、ビーム光源１３１と光学スキャナ１３２とそれらを駆動するための駆動制御部１３３とを用いて構成されている。ビーム光源１３１としては、ＬＤ（半導体レーザ）やＬＥＤ（発光ダイオード）等を用いることができる。ビーム光源１３１から出射されるビーム光の強度は、主制御部１１１から送られてきた制御データに基づいて駆動制御部１３３により制御される。光学スキャナ１３２は、ビーム光源１３１から発したビーム光を２次元的に走査しながら投影面２００に投射する光学装置である。光学スキャナ１３２によるビーム光の走査は、ビーム光源１３１と同様に駆動制御部１３３により駆動制御される。この光学スキャナ１３２としては、例えば小型で高速走査が可能なガルバノミラーを用いたものを使用することができる。また、上記駆動制御部１３３は、画像データを記憶する画像メモリを有し、予め設定登録された投影対象の画像データや、主制御部１１１から制御データとともに送られてきた投影対象の画像データが記憶される。この画像メモリに記憶されている画像データに基づいて、上記ビーム光源１３１及び光学スキャナ１３２が駆動制御される。上記ビーム光源１３１として互いに波長が異なる複数種類のビーム光（例えば３原色ビーム光）を出射可能なものを用い、各ビーム光を同時に走査して投射すれば、カラー画像を投影面２００上に投影することができる。また、上記ビーム光源１３１として、互いに独立に強度制御可能な発光点が１列状に並んだ１次元アレイ素子からなる光源を用いることもできる。この場合は、光源から出射されたライン状の光を光学スキャナ１３２で１次元的に走査すればよい。また、上記ビーム光源１３１として、互いに独立に強度制御可能な発光点が２次元的に並んだ２次元アレイ素子からなる光源を用いることもできる。この場合は、光学スキャナ１３２の代わりに、光源上に表示された２次元的な画像を拡大して投影面２００上に投影する拡大投影光学系を用いる。

図４は、上記画像投影部１３０の他の構成例を示すブロック図である。
この画像投影部１３０は、ランプ等の光源１３４と、空間光変調器１３５と、拡大投影光学系１３６と、駆動制御部１３３とを用いて構成されている。空間光変調器１３５としては、例えば通常の携帯電話機等で使用されている液晶ディスプレイを用いることができる。この場合は、透過型の液晶ディスプレイでの表示モードとは反対に画像を白黒反転させて表示する。このように白黒反転して表示した液晶ディスプレイの表面に光源１３４からの光を照射し、その反射像を拡大投影光学系１３６で拡大して投影面２００上に投影する。なお、この液晶ディスプレイとしては、通常の携帯電話機等で設けられている液晶ディスプレイを兼用してもよい。また、空間光変調器１３５としては、互いに独立に傾きを制御可能な小型のミラーを２次元的に並べたものを使用することもできる。この場合は、画像データに基づいて、各ミラーの傾きを制御し、各ミラーから投影面２００側へ向かう光の反射光をオン／オフする。この空間光変調器１３５からの反射像は、拡大投影光学系１３６で拡大して投影面２００上に投影される。

図５は、更に他の構成例に係る画像投影部を備えた携帯電話機の内部構成図である。
本構成例の画像投影部１３０は、投影対象の光像を生成するための光生成部１３０’と、光生成部１３０’で生成した光像を投影面２００上に結像して投影するための投影結像光学系とを用いて構成されている。この光生成部１３０’としては、後述のＬＥＤ部１３７及び液晶パネル部１３８が兼用され、上記投影結像光学系としては後述のカメラ結像用光学系１５０が兼用されている。ＬＥＤ部１３７から出射した光は、画像データに基づいて制御された液晶パネル部１３８で変調され、これにより、投影対象の光像が生成される。この投影対象の光像は、投影結像用光学系として兼用したカメラ結像用光学系１５０によって投影面２００に投影される。
また、この構成例におけるカメラ機能は、光像を電気信号に変換して画像データを生成するカメラ部１４０と、撮像対象の光像をカメラ部１４０上に結像するためのカメラ結像用光学系１５０とにより実現される。カメラ部１４０は、ＣＭＯＳ型撮像デバイスやＣＣＤ型撮像デバイス等で構成され、これらの撮像デバイスの駆動や撮像した画像データの保存等は主制御部１１１によって制御される。カメラ結像用光学系１５０は、ズーム機能を持たせるように複数のレンズの位置を変化させる駆動機構を有し、この駆動機構は主制御部１１１から制御される。撮像対象の光像は、カメラ結像用光学系１５０でカメラ部１４０の受光面上に結像される。この結像された光像がカメラ部１４０で電気信号に変換されて画像データが生成される。カメラ部１４０で生成された画像データは、内部メモリ１１２等のデータ記憶部に保存される。
更に、この構成例における照明ランプ機能は、光源としてのＬＥＤ部１３７及び空間光変調部としての液晶パネル部１３８からなる光生成部１３０と、その光源から出射した光を拡散して外部の照射面に均一照射するための拡散照射用光学系１５５とにより実現される。ＬＥＤ部１３７は、例えば白色の高輝度発光ダイオードによって構成され、主制御部１１１によって発光のＯＮ／ＯＦＦ等が制御される。液晶パネル部１３８は、主制御部１１１からの制御データに基づいて、２次元的に形成された多数の画素の透過率を互いに独立に制御できるように構成されている。本構成例では、透過型の液晶パネルを用いているが、反射型の液晶パネルを用いてもよい。ＬＥＤ部１３７から出射した光は、全面の画素について光透過率が最大になるように制御された液晶パネル部１３８で均一に透過され、拡散照射対象の光が生成される。この液晶パネル部１３８で生成された拡散照射対象の光が拡散照射用光学系１５５で拡散させて外部の照射面に均一照射される。

図５に示す構成例では、上記カメラ機能及び照明ランプ機能と上記画像投影の機能を切り換えて利用するために、カメラ部１４０及び光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を所定の位置に連動して移動できるように構成されている。
図５（ａ）に示すようにカメラ機能及び照明ランプ機能を利用する場合は、カメラ部１４０及び光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を次の位置に移動させておく。すなわち、光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を、拡散照射用光学系１５５に向けて光を出射する拡散照射用位置Ａに移動させておく。また、カメラ部１４０を、カメラ結像用光学系１５０からの光像を受ける結像用位置Ｂに移動させておく。一方、図５（ｂ）に示すように画像投影の機能を利用する場合は、カメラ部１４０及び光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を、図中の黒塗りの矢印で示す方向に沿って次の位置に移動させておく。すなわち、光生成部１３０’（ＬＥＤ部１３７及び液晶パネル部１３８）を、カメラ部１４０と入れ替えて結像用位置Ｂに移動させておく。また、カメラ部１４０を、結像用位置Ｂから退避した退避位置Ｃに移動させておく。このように移動させた状態で、例えば待ち受け状態でカメラ結像用光学系１５０が露出した開口を所望の投影面２００に向けて机の上に置いたり、携帯電話機用の充電器にセットしたりしておく。また、ユーザーは、キー操作部１２０を操作することにより画像投影を行う画像投影モードのいずれかに設定する。

また、図６（ａ）に示すように携帯電話機の画像表示部１１９が２つの液晶ディスプレイ（正面ディスプレイ１１９ａ及び背面ディスプレイ１１９ｂ）で構成されている場合は、一方の背面ディスプレイ１１９ａを画像投影部の光源として兼用してもよい。この場合、背面ディスプレイ１１９ａに表示された画像は、拡大投影光学系１３６によって投影面２００上に投影される。この拡大投影光学系１３６は、携帯電話機本体１００に対して着脱可能に構成されている。通常は携帯電話機本体１００から取り外されており、画像投影に使用するときに、両端部に設けられた装着固定部１３６ａによって携帯電話機本体１００の背面ディスプレイ１１９ｂ上に装着することができる。また、図６（ｂ）のように背面ディスプレイ１１９ｂの画像を投影する場合は、背面ディスプレイ１１９ｂの光量を通常の画像表示時よりも高めるように主制御部１１１で制御するのが好ましい。この場合は、投影された画像の視認性を向上させることができる。また、図６（ａ）及び（ｂ）の構成において、背面ディスプレイ１１９ｂの画像を左右反転して投影する投影光学系１３６を使用する場合がある。この場合は、画像投影時に、通常の画像表示時とは左右反転させて背面ディスプレイ１１９ｂに画像を表示する。これにより、文字情報等の画像を通常の画像表示時と同じ左右正しい向きで投影することができる。

なお、画像投影部１３０の構成は図３〜図６の構成に限定されるものではない。例えば、ホログラム素子を用いて投影するような構成であってもよい。

図７は、上記画像投影部１３０を備えた折り畳み式の携帯電話機１００の本体から離れた位置でユーザーが操作可能な投影面上の所定の投影エリアに仮想的なキーボード画像２１０を投影している様子を示した説明図である。この携帯電話機１００は、画像投影部１３０の光出射口を所望の投影面に向けて机の上に置いたり、携帯電話機用の充電器にセットしたりしておく。また、ユーザーがキー操作部１２０を操作することにより仮想キー操作モードを選択して実行すると、ユーザーが予め指定した所定の仮想的なキーボード画像２１０が投影エリアに投影される。この画像投影部１３０で投影エリアに投影されたキーボード画像２１０上のどのキーが選択されたかは、キー選択検知部１８０で検知される。

次に、本実施形態の携帯電話機におけるキー選択検知部１８０について説明する。
図８は、上記キー選択検知部１８０の一構成例の概略構成を示すブロック図である。
このキー選択検知部１８０は、キー入力動作検知手段としてのキー入力動作検知部１６０と、キー選択データ生成手段としてのキー選択データ生成部１７０とを用いて構成されている。キー入力動作検知部１６０は、仮想的なキーボード画像２１０上におけるキー選択のための指やポインター等のキー入力操作物のキー入力動作を検知するものであり、携帯電話機１００の本体部１００ａのヒンジ部近傍の両端に設けられた２つの光出射・検知部１６１，１６２と、光源駆動部１６３とを用いて構成されている。また、キー選択データ生成部１７０は、キー入力動作検知部１６０の検知結果に基づいてキー入力操作物によるキー入力動作に対応するキー選択データを生成するものである。

本実施形態の携帯電話機で仮想的なキーボード画像２１０を投影してキー入力を行うときは、図７に示したように、蓋部１００ｂを回転軸Ａを中心に矢印Ｂのように１８０度回転させて携帯電話機を設置する。このように設置することにより、ユーザーが仮想的なキーボード画像２１０上でキー入力操作を行いながら、画像表示部（液晶ディスプレイ）１１９に表示される文字情報や実行中のゲームなどの画像を確認することができる。

各光出射・検知部１６１，１６２は、レーザ光を出射する半導体レーザ等からなるレーザ光源１６１ａ，１６２ａと、フォトトランジスタやＣＣＤアレイ素子などからなる受光センサ１６１ｂ，１６２ｂとにより構成されている。レーザ光源１６１ａ，１６２ａはそれぞれ、キーボード画像２１０が投影されている投影エリアの面に沿ってその投影エリア上のキーボード画像２１０の全体をカバーするようにレーザ光を扇状にスキャンして出射する。受光センサ１６１ｂ，１６２ｂはそれぞれ、各レーザ光源１６１ａ，１６２ａからのレーザ光がユーザーの指３００やポインター部材で遮られて反射してきた反射レーザ光を受光し、検知信号を出力する。なお、図８の構成の場合、上記２つの受光センサ１６１ｂ，１６２ｂは、それぞれ組になっているレーザ光源からのレーザ光のみを受光する必要があるが、両方のレーザ光源１６１ａ，１６２ａから出射して反射した反射レーザ光を同時に受光して誤検知するおそれがある。例えば、レーザ光源１６１ａから出射して反射した反射レーザ光を、組になっている受光センサ１６１ｂではなく、もう一つの受光センサ１６２ｂで受光して誤検知する場合がある。そこで、上記誤検知を防止するために、各光出射・検知部１６１，１６２で用いるレーザ光の波長を互いに異ならせるのが好ましい。また、レーザ光の波長を異ならせる代わりに又はレーザ光の波長を異ならせるとともに、各光出射・検知部１６１，１６２で用いるレーザ光を互いに異なるコードで変調するようにしてもよい。この場合、各光出射・検知部１６１，１６２ではそれぞれ所定のコードで変調された反射レーザ光のみを受光して復調処理して検知信号として出力することができる。

上記光源駆動部１６３は、前述の主制御部１１１からの制御指令に応じて制御され、上記レーザ光源１６１ａ，１６２ａ及び受光センサ１６１ｂ，１６２ｂに所定の駆動電圧を印加したり駆動電流を供給したりする。また、光源駆動部１６３は、主制御部１１１からの制御指令に応じて、レーザ光源１６１ａ，１６２ａから出射されるレーザ光出射角度を変化させる。

上記キー選択データ生成部１７０は、前述の主制御部１１１からの制御指令に応じて制御され、上記受光センサ１６１ｂ，１６２ｂで反射レーザ光が検知されたときの各レーザ光出射角度θ１，θ２のデータを用いて演算することにより、どのキーが選択されたかを示すキー選択データを生成する。この演算は、上記投影しているキーボード画像の種類に対応する所定の演算用データテーブルや演算アルゴリズムを用いて行われる。なお、このキー選択データ生成部１７０は、主制御部１１１内に設け、主制御部１１１を兼用するように構成してもよい。

図９はキーボード画像２１０を投影している携帯電話機の部分側面図である。また、図１０は上記キー選択検知部１８０におけるキー選択検知の原理を説明する説明図である。
図９及び図１０において、例えば指３００やポインター等を符号２１０ａで示す選択対象のキー（例えば、アルファベットの「Ｇ」）の位置に移動させて選択すると、各光出射・検知部１６１，１６２のレーザ光源１６１ａ，１６２ａから角度を走査して出射されるレーザ光Ｌi1，Ｌi2が遮られて反射される。このレーザ光Ｌi1，Ｌi2はそれぞれ所定の出射角度θ１，θ２になったときに反射される。各反射レーザ光Ｌr1，Ｌr2はそれぞれ対応する受光センサ１６１ｂ，１６２ｂで受光される。この受光センサ１６１ｂ，１６２ｂで各反射レーザ光Ｌr1，Ｌr2が検知されたときのレーザ光源１６１ａ，１６２ａの出射角度θ１，θ２のデータが、上記キー選択データ生成部１７０に送られてキー選択データの生成に用いられる。すなわち、上記レーザ光源１６１ａ，１６２ａの出射角度θ１，θ２の値がわかると、選択されたキーの位置すなわちユーザー操作位置（図１０中の「Ｇ」キーの画像が投影された位置）が一意的に決まるため、その選択された「Ｇ」キーを識別するキー選択データを生成することができる。
２つのキーや３つ以上のキーを同時に選択した場合も、同様な原理により、各キーの選択を検知して複数のキー選択データを生成することができる。

主制御部１１１は、上記キー選択検知部１８０のキー選択データ生成部１７０から出力されるキー選択データに基づいて、その選択されたキーに対応する所定のデータ処理を実行する。例えば、選択されたキーに対応する文字データを画像表示部（液晶ディスプレイ）１１９に表示したり内部メモリに記憶したりする。また、上記キー選択データに基づいて、ゲーム等のアプリケーションプログラムの実行内容を変化させる。

なお、上記出射角度θ１，θ２の値からキー選択データを生成するときの演算用データテーブルは、上記画像投影部１３０で投影するキーボード画像２１０との関係で予め設定したものを用いる。または、上記キーボード画像２１０を用いたキー入力を行う前に、そのキーボード画像上の所定の基準キー（四隅のキーや中央のキー）について出射角度を測定し、その値を用いて演算用データテーブルを補正し、上記キー選択データをより正確に求めて生成するようにしてもよい。

また、上記図１０の例では、各光出射・検知部１６１，１６２における出射角度θ１，θ２の値を求めているが、図１１に示すように各光出射・検知部１６１，１６２と選択対象のキーとの距離Ｄ１，Ｄ２の値を求めるようにしてもよい。この距離Ｄ１，Ｄ２の値は、例えば、各光出射・検知部１６１，１６２の受光センサ１６１ｂ，１６２ｂで受光する各反射レーザ光Ｌr1，Ｌr2の減衰の程度から求めることができる。また、上記距離Ｄ１，Ｄ２の値は、出射レーザ光Ｌi1，Ｌi2とそれぞれ対応する反射レーザ光Ｌr1，Ｌr2との干渉から求めてもよい。

また、図７〜図１１の例では光出射・検知部１６１，１６２を２箇所に設けているが、３箇所又は４箇所以上に設けて上記キー選択の検知をより正確に行うようにしてもよい。
また、ユーザーの指がホームポジションにあるときに上記光出射・検知部１６１，１６２からのレーザ光を遮っている場合は、選択対象のキー画像の上で指の上下動に伴う反射レーザ光の受光強度の変化を利用してもよい。例えば、ユーザーが選択対象のキー画像の上で指を上下動させたとき、受光センサ１６１ｂ，１６２ｂで受光する各反射レーザ光Ｌr1，Ｌr2の強度が一定期間だけゼロレベルになる。この各反射レーザ光Ｌr1，Ｌr2の強度の変化があったときに、そのキーが選択されたと判定し、キー選択データを生成する。

次に、本発明の特徴部分である、ユーザー操作位置に応じてキーボード画像２１０の変更を行う表示制御について説明する。
本実施形態では、ユーザーがキーを選択したとき、そのキー画像の色を変更して、ユーザーに対して自分が意図したキーを操作できたか否かを認識させる選択キー画像変更処理を実行する。
図１は、本実施形態における選択キー画像変更処理に関する制御ブロック図である。
上述したように、ユーザーが仮想的なキーボード画像２１０に対して例えば指３００を使ってキー操作を行った場合、その指３００がキー選択検知部１８０に検知され、そのキー選択データが主制御部１１１に送られる。すると、主制御部１１１は、そのキー選択データに対応する所定のデータ処理を行うとともに、そのキー選択データに対応するキーの色を変更するための選択キー色変更命令を画像投影部１３０に送る。これを受け取った画像投影部１３０は、現在投影しているキーボード画像２１０の画像データについて、選択キー色変更命令に係るキーの画像部分の色のパラメータを、その命令に従って変更する。そして、変更後の画像データに基づくキーボード画像２１０を、投影面２００上に投影する。

このような処理を行うことで、図１２に示すように、ユーザーが操作したユーザー操作位置に対応するキーＣの色が変更される。よって、ユーザーは、その色の変更によって、自分の操作がきちんと受け付けられたかどうかを認識することができる。
また、その色の変更によって、ユーザーは、自分が意図したキーをきちんと操作できたか否かも認識することができる。例えば、図１３に示すように、ユーザーがキーＣを操作しようとしたが、誤ってキーＣとその下のキーＤとの間あたりを操作してしまったとする。この場合、従来はそのキー操作によりどちらのキーが受け付けられたか否かは、そのキー操作により入力された文字等を画面で確認するまでは認識することができなかった。これに対し、本実施形態によれば、受け付けられたキーの色が即座に変更されるので、キーボード画像２１０を見ながら操作しているユーザーは、図示の場合には、キーＤが受け付けられたことをすぐに認識することができる。よって、ユーザーは、キーＣを操作しようとしたにもかかわらず、その下のキーＤを誤って操作してしまったことに即座に気づくことができる。

以上、本実施形態によれば、キーボード等の別部材を接続したりすることなく、ユーザーが操作可能な面上に仮想的なキーボード画像２１０を投影し、そのキーボード画像上でキーを選択する操作を行うことができるので、携帯電話機の携帯性を確保することができる。しかも、本実施形態によれば、キーボード画像２１０上でユーザーがキーを選択する操作を行った場合、そのユーザー操作位置に対応するキーの画像、すなわち、携帯電話機に受け付けられたキーの画像の色が変更される。よって、ユーザーは、受け付けられたキーの操作結果として表示された文字等を画像表示部１１９で確認しなくても、自分が操作しているキーボード画像２１０を見ているだけで、受け付けられたキーを確認することができる。したがって、キーボードを見ながらキー操作を行うようなキーボード操作に不慣れなユーザーであっても、誤った操作をしてしまった場合にその誤りに即座に気づくことができる。

〔変形例〕
次に、上記実施形態に係る携帯電話機の変形例について説明する。
上記実施形態では、画像投影部１３０による投影画像によって仮想的に表現される操作面機器がキーボードである場合について説明したが、本発明は、様々な操作機器について適用することができる。本変形例では、そのうち、手書き入力用の操作機器について適用した場合を例に挙げる。

図１４は、操作位置検知部３８０の一構成例の概略構成を示すブロック図である。
この操作位置検知部３８０は、上記実施形態におけるキー選択データ生成部１７０に代えて、操作位置データ生成部３７０を有する以外は、上記キー選択検知部１８０と同様である。操作位置データ生成部３７０は、各光出射・検知部１６１，１６２の検知結果に基づいて、手書き入力操作面画像３１０上におけるユーザー操作位置を示す操作位置データを連続的に生成し、これを主制御部１１１に連続的に出力する。これにより、主制御部１１１は、ユーザーの指３００が操作した手書き入力操作面画像３１０上の操作位置を連続的に把握することができる。すなわち、主制御部１１１は、操作位置データ生成部３７０から連続的に出力される操作位置データから、ユーザー操作位置の軌跡を把握することができる。そして、主制御部１１１は、手書き入力操作面画像３１０上においてユーザーが指３００で描いた文字や絵などを、文字として認識する文字認識処理や、画像として認識する処理などのデータ処理を行う。

また、主制御部１１１は、手書き入力操作面画像３１０に対してユーザーが指３００で文字等を描いたとき、その文字等の軌跡部分の画像の色を変更する入力軌跡画像変更処理を実行する。
具体的に説明すると、主制御部１１１は、操作位置データ生成部３７０からの操作位置データを受けたら、その操作位置データに対応する操作位置の画像の色を変更するための操作位置色変更命令を画像投影部１３０に送る。これを受け取った画像投影部１３０は、上記実施形態の場合と同様に、現在投影している手書き入力操作面画像３１０の画像データについて、その操作位置色変更命令に係る操作位置の画像部分の色のパラメータを、その命令に従って変更する。そして、変更後の画像データに基づくキーボード画像２１０を、投影面２００上に投影する。

このような処理を、操作位置データ生成部３７０からの操作位置データを受け取るたびに繰り返すことで、図１５に示すように、ユーザーが操作したユーザー操作位置に対応する位置の色が変更される。よって、ユーザーは、その色の変更によって自分の操作してきた位置を認識することができ、自分が描いている文字を把握することができる。本変形例によれば、ユーザーは、自分が操作する対象である手書き入力操作面画像３１０を見ながら、自分が描いている文字を確認できるので、自分の意図している文字をきちんと描けていない場合に、これを即座に気づくことができる。

なお、上記実施形態及び上記変形例では、ユーザーが操作したときにそのユーザー操作位置に対応する画像の色を変更する場合について説明したが、画像の輝度を変更したり、あるいは、別の画像に変更したりしてもよい。
また、上記実施形態及び上記変形例では、画像投影部１３０による投影画像によって仮想的に表現される操作機器が、キーボードである場合、手書き入力用の操作機器である場合について説明したが、本発明は、その他にも様々な操作機器について適用することができる。例えば、ピアノの鍵盤のような操作機器についても適用することができる。また、図１６に示すように、画像投影部１３０によってメニュー画面の画像を投影し、そのメニュー画面の選択のためのタッチパネルのような操作機器として利用することもできる。この場合、投影面２００上に投影されたメニュー選択画像（操作面画像）４１０中のあるメニューＥをユーザーが選択したとき、上記と同様に、その選択されたメニュー部分の画像の色等を変更する。
また、上記実施形態のキー選択検知部１８０や上記変形例の操作位置検知部３８０は、レーザ光の反射を利用して携帯電話機本体に対する選択対象キーの位置の角度や距離を求めることによりキー選択を検知するように構成しているが、この構成に限定されるものではない。例えば、上記操作面画像２１０，３１０，４１０上での指３００の動きを撮像し、その２次元的な画像又は３次元的な画像をパターン認識し、そのパターン認識結果に基づいてユーザー操作位置を検知するように構成してもよい。この場合は、上記指３００の動きの撮像に、携帯電話機１００に設けられているカメラ部１４０を兼用するように構成してもよい。このカメラ部１４０は、通常の動作モード実行中には人物や風景等の画像の撮影に使用されるとともに、操作面画像２１０，３１０，４１０上での入力動作モードの実行中には入力動作をしている指３００の動きの撮像に使用される。また、上記実施形態のキー選択検知部１８０や上記変形例の操作位置検知部３８０を、上記レーザのような光ではなく超音波の反射を利用して指３００の位置を検知するように構成してもよい。
また、上記実施形態及び上記変形例において、上記画像投影部１３０により、上記操作面画像２１０，３１０，４１０だけでなく、上記画像表示部１１９で表示するような画像を投影するようにしてもよい。例えば、キーボード画像上で行うキー選択に関連した文字情報やゲーム等の画像も投影するようにしてもよい。この文字情報やゲーム等の画像は、例えば携帯電話機と上記仮想的なキーボード画像との間に投影すると視認しやすい。

また、上記実施形態及び上記変形例の携帯電話機１００は、プラットフォームに依存しないオブジェクト指向プログラミングによって開発されたアプリケーションプログラムを実行可能に構成してもよい。そして、上記実施形態のキー選択検知部１８０や上記変形例の操作位置検知部３８０による検知動作や、画像投影部１３０の起動及びその画像投影部１３０による画像投影動作を、アプリケーションプログラムからの指令に基づいて実行するようにしてもよい。このアプリケーションプログラムとしては、ＪＡＶＡ（登録商標）、Ｃ、Ｃ＋＋等のプログラム言語で記述されたアプリケーションプログラムなどが挙げられる。また、これらのアプリケーションプログラムの実行環境は、ＪＡＶＡ（登録商標）のＶＭやＢＲＥＷ（登録商標）等のミドルウェアによって構築される。このアプリケーションプログラムは、携帯電話機１００にプレインストールされているものであってもいいし、通信ネットワークとしての携帯電話通信網を介してダウンロードサーバからダウンロードし携帯電話機１００に保存して登録したものでもよい。

図１７は、アプリケーションプログラムを実行可能な携帯電話機の概略構成の一例を示すブロック図であり、図１８は、その携帯電話機におけるソフトウェア構造の一例を示す説明図である。この携帯電話機は、前述の主制御部１１１等のほか、アプリケーションプログラムの実行環境を管理するアプリケーションプログラム実行管理手段としてのアプリケーションプログラム実行管理部１２５を備えている。このアプリケーションプログラム実行管理部１２５は、システムバス、ＣＰＵやＲＡＭ等で構成され、アプリケーションプログラムを実行するための所定のミドルウェアにしたがって動作する。アプリケーションプログラム実行管理部１２５は、図１８のソフトウェア構造上において中央の「プログラム実行環境」に対応しており、オブジェクト指向プログラミングで開発されたアプリケーションプログラムに利用されるクラスライブラリ、実行環境管理ライブラリ、アプリケーション管理等のソフトウェアを提供し、アプリケーションプログラムの実行環境を管理する。
ここで、アプリケーションプログラムは、クラスライブラリＡＰＩ（アプリケーションインターフェース）を介して上記プログラム実行環境内にある関数等のクラスライブラリを呼び出して使用できるようになっている。この関数等のクラスライブラリの呼び出しの履歴は、アプリケーションプログラムの仮想的な実行環境（仮想マシン：ＶＭ）が終了するまで保持される。また、プログラム実行環境内の実行環境管理ライブラリは、電話機プラットフォームＡＰＩを介して後述の電話機プラットフォーム内の電話機プラットフォームライブラリを呼び出して使用できるようになっている。
上記画像投影及びキー選択検知の制御は、アプリケーションプログラム実行管理部１２５から主制御部１１１を介して画像投影部１３０やキー選択検知部１８０に制御指令を送ることによって実行する。なお、アプリケーションプログラム実行管理部１２５から画像投影部１３０やキー選択検知部１８０に制御指令を直接送ることによって実行するように構成してもよい。

上記構成の携帯電話機において、待ち受け用アプリケーションプログラムやゲームなどのアプリケーションプログラムの実行中に、キーボード画像の画像投影やキー選択検知を行うときは、アプリケーションプログラムからアプリケーションプログラム実行環境に対し、画像投影起動要求指令やキー選択検知要求指令のための所定の関数の呼び出しを行う。この関数の呼び出しを受けたアプリケーションプログラム実行環境は、主制御部１１１に対し、画像投影起動要求指令やキー選択検知要求指令を送る。この画像投影起動要求指令やキー選択検知要求指令を受けた主制御部１１１は、画像投影部１３０に対して起動要求指令及び画像投影用制御データを送るとともに、キー選択検知部１８０に起動要求指令を送る。
画像投影部１３０は、上記起動要求指令に応じて起動し、上記画像投影用制御データに基づいて制御データで指定された所定のキーボード画像の投影を開始する。また、キー選択検知部１８０は、上記起動要求指令に応じて起動し、画像投影部１３０で投影された仮想的なキーボード画像上におけるキー選択を検知することができる待機状態になる。

なお、上記画像投影部１３０及びキー選択検知部１８０の起動や画像投影動作及びキー選択検知動作を実行させるアプリケーションプログラムは、着信通知画像を投影する待ち受け用アプリケーションプログラムであってもいいし、その他の例えばプロジェクタ機能や仮想的なキーボード画像上でのキー選択検知の制御に特化したアプリケーションプログラムであってもよい。

本発明の実施形態に係る携帯電話機で行う選択キー画像変更処理に関する制御ブロック図。 同携帯電話機の概略構成の一例を示すブロック図。 同携帯電話機の画像投影部の一構成例を示すブロック図。 同画像投影部の他の構成例を示すブロック図。 （ａ）及び（ｂ）は同画像投影部の更に他の構成例を示す携帯電話機の内部構成図。 （ａ）は同画像投影部の更に他の構成例を示すブロック図。（ｂ）は図５の画像投影部を備えた携帯電話機の部分側面図。 キーボード画像を投影している携帯電話機の斜視図。 同携帯電話機のキー選択検知部の一構成例を示すブロック図。 キーボード画像を投影している携帯電話機の側面図。 キー選択検知の原理を示す説明図。 他の構成例に係るキー選択検知の原理を示す説明図。 同選択キー画像変更処理によりキー画像の色が変更された様子を説明するための携帯電話機の斜視図。 ユーザーが誤ってキー操作したときの様子を説明するための携帯電話機の斜視図。 変形例に係る携帯電話機が有する操作位置検知部３８０の一構成例の概略構成を示すブロック図。 変形例において、ユーザーが描いた文字の軌跡部分の色が変更された様子を説明するための携帯電話機の斜視図。 更に別の例において、メニュー画面のうちユーザーが選択したメニューの色が変更された様子を説明するための携帯電話機の斜視図。 アプリケーションプログラム実行可能な携帯電話機の概略構成の一例を示すブロック図。 同携帯電話機におけるソフトウェア構造の一例を示す説明図。

符号の説明

１００ 携帯電話機
１１１ 主制御部
１１３ 無線通信部
１１９ 画像表示部（液晶ディスプレイ）
１３０ 画像投影部
１６０ キー入力動作検知部
１７０ キー選択データ生成部
１８０ キー選択検知部
２００ 投影面
２１０ キーボード画像
３００ 指
３１０ 手書き入力操作面画像
３７０ 操作位置データ生成部
３８０ 操作位置検知部
４１０ メニュー選択画像

Claims (3)

1. ユーザーが操作する操作機器の操作面を仮想的に表現する操作面画像を投影するための画像投影手段と、
   該画像投影手段の表示制御を行う表示制御手段と、
   該操作面画像上におけるユーザー操作位置を検知する操作位置検知手段と、
   該操作位置検知手段により検知したユーザー操作位置に対応するデータ処理を実行するデータ処理手段とを備えた電子機器であって、
   上記表示制御手段は、上記操作位置検知手段により検知したユーザー操作位置に応じて、上記操作面画像の少なくとも一部を変更する表示制御を行うことを特徴とする電子機器。
2. 請求項１の電子機器において、
   上記表示制御は、上記操作位置検知手段により検知したユーザー操作位置の画像部分を変更するものであることを特徴とする電子機器。
3. 請求項１又は２の電子機器において、
   上記操作面画像は、上記データ処理手段に対して互いに異なるデータ処理を実行させるための複数のキーが配列されたキーボード面の画像であることを特徴とする電子機器。

Images