JP2012114863A - 携帯電子機器 - Google Patents

Abstract

【課題】投影される画像に関連する情報を利用者が利用しやすくする。
【解決手段】携帯電子機器１は、画像を投影するプロジェクタ３４と、画像を表示する表示部３２と、操作を検出する距離センサ３６及び加速度センサ３８と、プロジェクタ３４に第１の画像を投影させるとともに、表示部３２に第１の画像と関連を有する第２の画像を表示させ、距離センサ３６及び加速度センサ３８による前記第２の画像に対応づけられた所定の操作の検出に応じて、プロジェクタ３４に第１の画像を投影させたままで、表示部３２に表示される第２の画像を変化させる処理部２２とを備える。
【選択図】図３

Description

本発明は、スクリーンや壁面に画像を投影する画像投影部を有する携帯電子機器に関する。

従来、壁面やスクリーンに画像を投影する装置としては、いわゆるプロジェクタがある。このプロジェクタは、商用電源から電力が供給され、所定位置に固定した状態で使用される、いわゆる据え置き型の装置が主流である。この据え置き型のプロジェクタは、固定した状態で、一定箇所の壁面やスクリーンに画像を投影させる。

これに対して、近年、プロジェクタとして、小型で持ち運びが容易な携帯型のプロジェクタが提案されている。例えば、特許文献１には、上キャビネットと、下キャビネットと、上キャビネット及び下キャビネットを互いに回動可能に接続するヒンジ部とを備え、レンズと光源とを有するプロジェクタが搭載されたプロジェクタ機能付携帯端末が記載されている。

特開２００７−９６５４２号公報

ところで、携帯型のプロジェクタによって投影される画像は、比較的解像度が低い。このため、携帯型のプロジェクタで画像を投影する場合、画像中の文字等の細かい情報を利用者が識別することができず、利用者が必要とする情報を得ることができないことがあった。

本発明は、投影されている画像に関連する情報を利用者が利用しやすくする携帯電子機器を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、画像を投影する投影部と、画像を表示する表示部と、操作を検出する検出部と、前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像と関連を有する第２の画像を表示させ、前記検出部による前記第２の画像に対応づけられた所定の操作の検出に応じて、前記投影部に第１の画像を投影させたままで、前記表示部に表示される前記第２の画像を変化させる処理部とを備えることを特徴とする。

ここで、前記検出部は、当該携帯電子機器の姿勢又は位置の少なくとも一方の変化を当該携帯電子機器に対する操作として検出し、前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することが好ましい。

また、携帯電子機器は、所定の操作を受け付ける操作部をさらに備え、前記検出部は、前記操作部に対して行われた操作を検出することが好ましい。

また、前記第２の画像は、前記第１の画像の一部分を拡大した画像であり、前記処理部は、前記検出部によって検出された操作に応じて、前記一部分の範囲または位置の少なくとも一方を変化させることが好ましい。

また、前記処理部は、前記一部分を前記第２の画像として表示させるための拡大率に応じて、前記第２の画像に含まれる要素の表示態様を変化させることが好ましい。

また、前記処理部は、前記拡大率が閾値よりも大きくなった場合に、前記第２の画像に含まれる要素に該要素に関する詳細情報を付加して表示することが好ましい。

また、前記処理部は、前記一部分の範囲および位置を投影される前記第１の画像中に示すことが好ましい。

また、前記処理部は、前記検出部によって検出された操作の量が所定の範囲を超過した場合に、前記第１の画像として投影される画像の投影範囲の外側を含む前記第２の画像を前記表示部に表示させることが好ましい。

本発明は、投影されている画像に関連する情報を利用者が利用しやすくするという効果を奏する。

図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図である。 図２は、図１に示す携帯電子機器の側面図である。 図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。 図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。 図５は、携帯電子機器の投影動作の一例を示すフロー図である。 図６は、携帯電子機器の画像出力動作の一例を示すフロー図である。 図７は、携帯電子機器の動作を説明するための説明図である。 図８は、携帯電子機器の動作を説明するための説明図である。 図９は、携帯電子機器の動作を説明するための説明図である。 図１０は、携帯電子機器の動作を説明するための説明図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。

図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図２は、図１に示す携帯電子機器の側面図である。図１、図２に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。

第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。

第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ１６が設けられる。

第１筐体１ＣＡのディスプレイ２と反対側には、画像投影部であるプロジェクタ３４、プロジェクタ３４の光出射部（対物レンズ）から画像投影対象までの距離を測定する距離測定手段である距離センサ３６、及び、画像が投影される面の画像を撮影（取得）するカメラ４０が設けられる。このような構成により、プロジェクタ３４によって画像を投影対象物に投影したり、プロジェクタ３４の出射面と投影対象物との距離を距離センサ３６で測定して、プロジェクタ３４が投影する画像の焦点を自動的に合わせたりすることができる。なお、プロジェクタ３４の光出射部、カメラ４０の撮影窓は、第１筐体１ＣＡの外部に露出している。

第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー１３Ｂが設けられる。操作キー１３Ａ及び方向及び決定キー１３Ｂは、携帯電子機器１の操作部１３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク１５が設けられる。操作部１３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。

図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。図３に示すように、携帯電子機器１は、処理部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、プロジェクタ３４と、距離センサ３６と、動き検出手段である加速度センサ３８と、カメラ４０と、を有する。処理部２２は、携帯電子機器１の全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、携帯電子機器１の各種の処理が、操作部１３の操作や携帯電子機器１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２等の動作を制御する。

携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、音声処理部３０、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、音声処理部３０による音声の入出力、表示部３２による画像の表示等がある。

処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器１の各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。

処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムや、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部３２に表示させたりプロジェクタ３４に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。

本実施形態において、処理部２２は、プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆを有する。

プロジェクタ制御部２２ａは、プロジェクタ３４を制御して画像を画像投影対象に投影させる。画像処理部２２ｂは、記憶部２４に記憶されているデータや送受信部２６によって受信されたデータをデコードして、プロジェクタ３４によって投影される画像や表示部３２に表示される画像を生成する。また、画像処理部２２ｂは、利用者に情報を提供したり、利用者から情報の入力を受け付けたりするための各種画面として表示又は投影される画像を生成する。画像処理部２２ｂは、画像に対して拡大、縮小、変形等の加工を施す処理も実行する。

条件判定部２２ｃは、プロジェクタ制御部２２ａによる画像の投影に影響する条件が変化したか否かを判定する。ここで、プロジェクタ制御部２２ａによる画像の投影に影響する条件とは、例えば、携帯電子機器１の姿勢の変化や画像投影対象との距離の変化である。姿勢・位置演算部２２ｄは、距離センサ３６や加速度センサ３８の検出結果等に基づいて、携帯電子機器１の姿勢及び位置を算出する。

投影補正部２２ｅは、画像投影対象の一定の位置に一定の大きさで画像が投影されるように補正処理を行う。具体的には、投影補正部２２ｅは、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、プロジェクタ制御部２２ａによるプロジェクタ３４の制御内容や、画像処理部２２ｂによる画像処理の内容を変化させることにより、投影画像の位置と大きさとを一定に保たせる。

連係出力制御部２２ｆは、第１の画像をプロジェクタ３４から投影させるとともに、第１の画像と関連を有する第２の画像を表示部３２に表示させる。そして、連係出力制御部２２ｆは、第１の画像を変化させずに投影させつつ、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、第２の画像を変化させる。

ここで、関連を有する画像には、例えば、同一の風景、物、情報等を表す画像や、空間的、時間的または意味的につながり（連続性）がある画像が含まれる。また、第２の画像の変化のさせ方は、画像の種別により異なり、例えば、拡大、縮小、スライド（表示範囲の変更）、含まれる要素の表示態様の変更、情報の付加等の処理が第２の画像に対して行われる。

プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆがそれぞれ有する機能は、処理部２２及び記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。

記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。

なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。

送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部１３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー１３Ａと、方向及び決定キー１３Ｂとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部２２へ入力される。

音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６やスピーカ１７から出力される音声信号の処理を実行する。すなわち、音声処理部３０は、マイク１５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部２２へ出力する。また、処理部２２から送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ１６やスピーカ１７へ出力する。ここで、スピーカ１７は、携帯電子機器１の筐体１Ｃ内に配置されており、着信音やメールの送信音等を出力する。

加速度センサ３８は、携帯電子機器１に印加される加速度の方向及び大きさを検出する。加速度センサ３８の検出結果は、携帯電子機器１の姿勢変化や移動の有無を判定したり、姿勢の変化量や移動距離を算出したりするために用いられる。なお、携帯電子機器１の姿勢変化の有無を判定したり、姿勢の変化量を算出したりするために、携帯電子機器１に方位センサを設けることとしてもよい。

表示部３２は、上述したディスプレイ２を有しており、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ２は、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成された表示パネルで構成される。なお、表示部３２は、ディスプレイ２に加え、サブディスプレイを有していてもよい。

プロジェクタ３４は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ３４は、光源である可視光照射装置（可視光照射手段）３１と、光学系である描画装置３５と、焦点調整装置３９とを含んで構成される。可視光照射装置３１は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が３６０ｎｍから４００ｎｍ以上、長波長側が７６０ｎｍから８３０ｎｍ以下の光であり、本実施形態において、可視光照射装置３１は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。

描画装置３５は、可視光照射装置３１から照射される３色の光を合成するとともに、画像投影対象に照射する。描画装置３５は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置３５は、ミラーによって可視光照射装置３１から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。

前記ミラーとしては、例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーが用いられる。ＭＥＭＳミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置３１から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ３４は、スキャン方式のプロジェクタである。なお、プロジェクタ３４の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ３４は、ハロゲンライトや、ＬＥＤ光源、ＬＤ光源を光源とし、ＬＣＤや、ＤＭＤ（Digital Micro-mirror Device）を光学系に備える構成のプロジェクタを用いてもよい。

焦点調整装置３９は、プロジェクタ制御部２２ａからの指令により、描画装置３５から投影される可視画像が画像投影対象上で結像させる機能（焦点調整機能）を有する。焦点調整装置３９は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置３９は、プロジェクタ３４が投影する画像のデータに対して画像処理部２２ｂによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置３９は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。距離センサ３６は、プロジェクタ３４の光出射部と画像投影対象との距離を計測する。なお、距離センサ３６の代わりに、焦点調整装置３９の、プロジェクタ３４から投影された画像の焦点を調整する機能を利用して、プロジェクタ３４の光出射部と画像投影対象との距離を計測してもよい。

図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。上述したように、プロジェクタ３４は、画像を投影する画像投影部であり、画像投影面が携帯電子機器１の筐体１Ｃの外部に露出している。携帯電子機器１は、プロジェクタ３４から画像を投影することで、図４に示すように、プロジェクタ３４の画像投影面と対向する位置の画像投影対象（例えば、壁面やスクリーン等）のうち、所定の領域（投影領域）ＰＡに画像Ｐを投影させることができる。なお、プロジェクタ３４は、処理部２２により動作が制御され、処理部２２から送られる種々の映像、例えば動画やプレゼンテーション資料等を投影し、投影領域ＰＡに表示させる。

カメラ４０は、上述したようにプロジェクタ３４の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ４０は、プロジェクタ３４が光を射出する方向の画像を取得する。なお、カメラ４０は、プロジェクタ３４により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ３４により画像が投影される投影領域よりも広い領域の画像を撮影することができる。

処理部２２は、こうしてカメラ４０によって撮影される画像等に基づいて、携帯電子機器１の姿勢や位置が所定の許容範囲内で変化しても、画像Ｐが投影領域ＰＡに一定の大きさで投影されるようにプロジェクタ３４等を制御する。例えば、携帯電子機器１が角度Ｒ１だけ回転した場合でも、処理部２２は、プロジェクタ３４の投影方向を変更させる等して、画像Ｐを投影領域ＰＡに投影させる。

次に、図５を用いて携帯電子機器のプロジェクタの画像投影動作を説明する。ここで、図５は、携帯電子機器の投影動作の一例を示すフロー図である。まず、携帯電子機器１の処理部２２は、ステップＳ１０１として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４が使用中であるか否かを判定する。処理部２２は、ステップＳ１０１でプロジェクタ動作中ではない（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４は使用中でないと判定したら、本制御を終了する。

また、処理部２２は、ステップＳ１０１でプロジェクタが動作中である（Ｙｅｓ）、すなわち、条件判定部２２ｃがプロジェクタ３４は使用中であると判定したら、ステップＳ１０２として姿勢変化又は移動があったかを判定する。つまり、処理部２２は、ステップＳ１０２として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４に動きがあったか、すなわち、プロジェクタ３４（携帯電子機器１）の姿勢変化又は移動があったか否かを判定する。ここで、条件判定部２２ｃは、カメラ４０で撮影した画像、及び、オートフォーカス機能で算出した焦点距離に基づいて、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。また、条件判定部２２ｃは、距離センサ３６や加速度センサ３８の検出結果を用いることでも、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。なお、本実施形態では、投影面とプロジェクタ３４との相対的な移動も、プロジェクタ３４の移動と判定する。つまり、条件判定部２２ｃは、投影面とプロジェクタ３４との間の距離が変化したら、移動したと判定する。あるいは、投影方向（つまり、投影方向に沿って投影面）に向かって進む動きや、退く動きを検出したら、移動したと判定してもよい。処理部２２は、ステップＳ１０２で変化及び移動なし（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４に動きはなかったと判定したら、本制御は終了する。

また、処理部２２は、ステップＳ１０２で、プロジェクタ３４の姿勢変化又は移動があった（Ｙｅｓ）、つまり、条件判定部２２ｃがプロジェクタ３４に動きがあったと判定したら、ステップＳ１０３として、姿勢・位置演算部２２ｄにより、プロジェクタ３４（携帯電子機器１）の動きに基づいて、姿勢の変化量及び移動距離を算出する。つまり、プロジェクタ３４と画像が投影される投影面との角度及び距離の変化を算出する。具体的には、処理部２２は、カメラ４０または加速度センサ３８の検出結果に基づいて、プロジェクタ３４の姿勢を検出し、基準姿勢または前回の姿勢と比較することで、姿勢の変化量を算出する。また、処理部２２は、カメラ４０または距離センサ３６及び加速度センサ３８の検出結果に基づいて、投影面とプロジェクタ３４との間の距離を検出し、基準距離または前回の距離と比較することで、移動距離、移動方向を算出する。

処理部２２は、ステップＳ１０３で姿勢の変化量及び移動距離を算出したら、ステップＳ１０４として、投影補正部２２ｅにより、ステップＳ１０３で求められた姿勢の変化量及び移動距離に応じてプロジェクタ３４の投影方向および投影角度を変更させて、姿勢変化又は移動の前と同じ位置に同じ大きさで画像を投影させる。処理部２２は、ステップＳ１０４の処理を終了したら、本制御を終了する。処理部２２は、プロジェクタ３４による画像の投影中は、上記処理を繰り返す。

なお、プロジェクタ３４の投影方向の変更（投影画像の位置の調整）は、例えば、プロジェクタ３４を可動式にしてプロジェクタ３４自体の方向を変更することで実現してもよいし、描画装置３５を構成するミラーの走査範囲（回動する範囲）を変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズの方向を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の位置を変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。

また、プロジェクタ３４の投影角度の変更（投影画像の大きさの調整）は、例えば、描画装置３５を構成するミラーの振り角（回動する角度）の大きさを変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズと光源との距離を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の大きさを変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。

次に、図６を用いて携帯電子機器が画像を連係させて出力する動作について説明する。ここで、図６は、携帯電子機器の画像出力動作の一例を示すフロー図である。なお、図５に示した投影動作は、図６に示す画像出力動作と並行して繰り返し実行される。まず、処理部２２の連係出力制御部２２ｆは、ステップＳ２０１として、第１の画像をプロジェクタ３４から投影させる。また、連係出力制御部２２ｆは、ステップＳ２０２として、第１の画像と関連を有する第２の画像を表示部３２に表示させる。

そして、連係出力制御部２２ｆは、ステップＳ２０３として、携帯電子機器１に対する操作が検出されたかを判定する。ここで、図６に示す画像出力動作においては、操作部１３で受け付けられる操作に加えて、携帯電子機器１の姿勢を変化させることや、携帯電子機器１の位置を変化させることも、携帯電子機器１に対する操作として検出される。

連係出力制御部２２ｆは、ステップＳ２０３で携帯電子機器１に対する操作が検出されない（Ｎｏ）と判定したら、ステップＳ２０３の判定を再実行する。また、連係出力制御部２２ｆは、ステップＳ２０３で携帯電子機器１に対する操作が検出された（Ｙｅｓ）と判定したら、ステップＳ２０４として、その操作が画像出力動作の終了を指示する所定の操作であるかを判定する。検出された操作が終了を指示する操作である（Ｙｅｓ）とステップＳ２０４で判定した場合、連係出力制御部２２ｆは、本制御を終了する。

検出された操作が終了を指示する操作ではない（Ｎｏ）、すなわち、検出された操作が、画像の変更に関する操作であるとステップＳ２０４で判定した場合、連係出力制御部２２ｆは、ステップＳ２０５として、検出された操作内容に応じて、表示部３２に表示される第２の画像を変化させる。操作内容と第２の画像の変化のさせ方の対応については、以下に具体例を示しながら説明する。

次に、具体例を用いて、携帯電子機器１についてより詳細に説明する。ここで、図７から図１０は、それぞれ、携帯電子機器の動作を説明するための説明図である。なお、図７から図１０は、携帯電子機器１の形状を模式的に図示している。

図７に示すステップＳ１１では、携帯電子機器１は、第１の画像Ｐ１として、日本の関東地方の地図をプロジェクタ３４から投影させている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１の一部である東京都付近の地図をディスプレイ２に表示させている。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置及び範囲を表すために、フレームＦを第１の画像Ｐ１中に示している。

なお、ここで用いられる地図は、例えば、道路や鉄道等の交通機関を示すものであってもよいし、公共機関や商業施設等の各種施設を示すものであってもよいし、各地の天気を示すものであってもよい。

このように、地図をプロジェクタ３４から投影させつつ、その一部をディスプレイ２に表示させることにより、地図を大きく投影させて広い範囲を閲覧しながら、特定の地域の地形や地名等の詳細な情報をディスプレイ２上で確認することができる。プロジェクタ３４は、画像を大きく投影することができるため、広範囲の地図を閲覧するために適している。また、ディスプレイ２は、プロジェクタ３４によって投影される画像よりも高い解像度で画像を表示することができるため、地図中の細かい形状や文字を確認するために適している。

ここで、利用者がディスプレイ２に表示される画像を左方向へスクロールさせるための所定の操作を操作部１３に対して行ったものとする。ここでいう所定の操作とは、例えば、左方向キーを押下する操作である。携帯電子機器１は、その操作を検出すると、ステップＳ１２に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ１１よりも左寄りの地図に変更する。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置の変化を表すために、フレームＦを左寄りに移動させる。なお、利用者は、ディスプレイ２に表示される画像を左以外の方向へスクロールさせることもできる。

このように、第１の画像Ｐ１の位置及び大きさを変化させることなく、第２の画像Ｐ２として表示される部分を変更することにより、利用者は、広い範囲を閲覧しながら、詳細を確認する地域を変更することができる。

そして、利用者がディスプレイ２に表示される画像を左方向へスクロールさせるための所定の操作をさらに操作部１３に対して行ったものとする。携帯電子機器１は、その操作を検出すると、ステップＳ１３に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ１２よりも左寄りの地図に変更する。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置の変化を表すために、フレームＦを左寄りに移動させる。ステップＳ１３では、ディスプレイ２に表示される第２の画像Ｐ２を左寄りに表示させた結果、第１の画像Ｐ１として投影されている範囲の外部の地図がディスプレイ２に表示されている。

このように、第１の画像Ｐ１として投影されている範囲よりも外側の地図を第２の画像Ｐ２としてディスプレイ２に表示させることにより、利用者は、広い範囲を閲覧しながら、その外部の地形等を確認することができる。

また、ステップＳ１１の状態から、利用者がディスプレイ２に表示される画像を拡大させるための所定の操作を操作部１３に対して行ったものとする。ここでいう所定の操作とは、例えば、上方向キーを長押しする操作である。携帯電子機器１は、その操作を検出すると、ステップＳ１４に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ１１よりも拡大させる。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の範囲の変化を表すために、フレームＦを縮小させる。ステップＳ１４では、ディスプレイ２に表示される第２の画像を拡大させた結果、東京都の一部である渋谷区の地図がディスプレイ２に表示されている。

このように、第１の画像Ｐ１の位置及び大きさを変化させることなく、第２の画像を拡大することにより、利用者は、広い範囲を閲覧しながら、より詳細に地形等を確認することができる。

なお、ステップＳ１１の状態から、利用者がディスプレイ２に表示される画像を縮小させるための所定の操作を操作部１３に対して行った場合、携帯電子機器１は、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ１１よりも縮小させる。その結果、ディスプレイ２には、例えば、日本全国の地図が第２の画像Ｐ２として表示される。

続いて、利用者がディスプレイ２に表示される画像を拡大させるための所定の操作をさらに操作部１３に対して行ったものとする。携帯電子機器１は、その操作を検出すると、ステップＳ１５に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ１４よりも拡大させる。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の範囲の変化を表すために、フレームＦを縮小させる。

携帯電子機器１は、地図をディスプレイ２に表示させるに際して、地図の拡大率が所定の閾値を超えた場合には、地図に含まれる建物等の要素の表示を２次元の平面的な表示から３次元の立体的な表示へ切り替える。また、携帯電子機器１は、地図の拡大率が所定の閾値を超えた場合に、建物等の要素に関して予め登録された詳細情報を要素に付加して表示する。

なお、要素の３次元の立体的な表示は、例えば、予め撮影された要素の画像を表示することで実現することとしてもよいし、予め用意された要素の３次元形状モデルデータに基づいて演算処理によって３次元形状を仮想的に生成することによって実現することとしてもよい。

ステップＳ１５では、地図の拡大率が所定の閾値を超えた結果、渋谷区の一部である渋谷駅がディスプレイ２に立体的に表示されている。また、ステップＳ１５では、地図に含まれる要素の詳細情報として、「渋谷駅」という建物の名称を含む吹き出しＢが渋谷駅の立体的な形状に付加して表示されている。なお、地図に含まれる要素の詳細情報としては、建物の名称以外に、例えば、住所、電話番号、内部の写真、業態等を表示してもよい。

このように、拡大率の変化に応じて画像に含まれる要素の表示態様を変化させることにより、現状の拡大率に適した密度と形式で利用者に情報を提供することが可能になり、利用者の利便性が向上する。なお、図７に示した例では、拡大率の変化に応じて画像に含まれる要素の表示態様を２段階で変化させる例を示したが、拡大率の変化に応じて要素の表示態様を３段階以上変化させてもよい。

続いて、図８について説明する。図７では、操作部１３に対する操作を携帯電子機器１に対する操作として検出する例を示したが、図８では、携帯電子機器１の姿勢を変化させることや、携帯電子機器１の位置を変化させることを携帯電子機器１に対する操作として検出する例を示す。

図８に示すステップＳ２１では、図７に示したステップＳ１１と同様に、携帯電子機器１は、第１の画像Ｐ１として、日本の関東地方の地図をプロジェクタ３４から投影させている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１の一部である東京都付近の地図をディスプレイ２に表示させている。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置及び範囲を表すために、フレームＦを第１の画像Ｐ１中に示している。

ここで、利用者が携帯電子機器１を右方向に角度Ｒ２だけ回転させたものとする。携帯電子機器１は、その操作を検出すると、ステップＳ２２に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ２１よりも左寄りの地図に変更する。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置の変化を表すために、フレームＦを左寄りに移動させる。

このように、携帯電子機器１の姿勢の変化に応じて、第１の画像Ｐ１の位置及び大きさを変化させることなく、第２の画像Ｐ２として表示される部分を変更することにより、利用者は、広い範囲を閲覧しながら、詳細を確認する地域を直感的な操作によって変更することができる。ここで、携帯電子機器１の姿勢の変化量と第２の画像Ｐ２として表示される部分の移動量との関係は予め決められているものとする。なお、携帯電子機器１は、利用者が携帯電子機器１の位置を左方向へ移動させる操作を検出した場合も、ステップＳ２２と同様に、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ２１よりも左寄りの地図に変更する。

そして、利用者が携帯電子機器１を右方向にさらに角度Ｒ３だけ回転させたものとする。携帯電子機器１は、その操作を検出すると、ステップＳ２３に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ２２よりも左寄りの地図に変更する。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置の変化を表すために、フレームＦを左寄りに移動させる。ステップＳ２３では、ディスプレイ２に表示される第２の画像Ｐ２を左寄りに表示させた結果、第１の画像Ｐ１として投影されている範囲の外部の地図がディスプレイ２に表示されている。なお、利用者が携帯電子機器１の位置を左方向へ移動させる操作を実行した場合も、第１の画像Ｐ１として投影されている範囲の外部の地図がディスプレイ２に表示されることがある。

また、ステップＳ２１の状態から、利用者が携帯電子機器１を投影対象の方向に距離Ｄ１だけ移動させたものとする。携帯電子機器１は、その操作を検出すると、ステップＳ２４に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ２１よりも拡大させる。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の範囲の変化を表すために、フレームＦを縮小させる。

このように、携帯電子機器１と投影対象の距離の変化に応じて、第１の画像Ｐ１の位置及び大きさを変化させることなく、第２の画像Ｐ２を拡大することにより、利用者は、広い範囲を閲覧しながら、直感的な操作によって、より詳細な地形等を確認することができる。ここで、携帯電子機器１の移動距離と第２の画像Ｐ２の拡大率との関係は予め決められているものとする。

なお、ステップＳ２１の状態から、利用者が携帯電子機器１を投影対象と反対方向に移動させた場合、携帯電子機器１は、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ１１よりも縮小させる。その結果、ディスプレイ２には、例えば、日本全国の地図が第２の画像Ｐ２として表示される。

続いて、利用者が携帯電子機器１を投影対象の方向にさらに距離Ｄ２だけ移動させたものとする。携帯電子機器１は、その操作を検出すると、ステップＳ２５に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ２４よりも拡大させる。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の範囲の変化を表すために、フレームＦを縮小させる。

ステップＳ２５では、地図の拡大率が所定の閾値を超えた結果、渋谷区の一部である渋谷駅がディスプレイ２に立体的に表示されている。また、ステップＳ２５では、地図に含まれる要素の詳細情報として、「渋谷駅」という文字列を含む吹き出しＢが渋谷駅の立体的な形状に付加して表示されている。

このように、携帯電子機器１の姿勢を変化させることや、携帯電子機器１の位置を変化させることを携帯電子機器１に対する操作として検出した場合も、操作部１３に対する操作を携帯電子機器１に対する操作として検出した場合と同様の制御が行われる。

続いて、図９について説明する。図７及び図８では、地図を画像として用いる例を示したが、図９では写真を画像として用いる例を示す。

図９に示すステップＳ３１では、携帯電子機器１は、第１の画像Ｐ１として、人物の集合写真をプロジェクタ３４から投影させている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１と同じ集合写真をディスプレイ２に表示させている。

ここで、利用者がディスプレイ２に表示される画像を拡大させるための所定の操作を操作部１３に対して行ったか、あるいは、利用者が携帯電子機器１を投影対象の方向へ移動させたものとする。携帯電子機器１は、その操作を検出すると、ステップＳ３２に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、ディスプレイ２に表示される第２の画像Ｐ２をステップＳ３１よりも拡大させる。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置及び範囲を表すために、フレームＦを第１の画像Ｐ１中に示す。また、ステップＳ３２では、写真の拡大率が所定の閾値を超えた結果、携帯電子機器１は、写真に含まれる要素（人物）の詳細情報として、「田中君」という人物名を含む吹き出しＢを拡大表示された人物に付加して表示する。

このように、図７及び図８に示した制御と同様の制御を実行することにより、地図以外の画像についても、利用者は、投影された画像によって全体を閲覧しながら、携帯電子機器１を操作して詳細を確認することができる。なお、図９では、第２の画像Ｐ２を拡大する例のみを示しているが、利用者は、携帯電子機器１を操作することによって、第２の画像Ｐ２をスライドさせたり、縮小させたりすることもできる。

続いて、図１０について説明する。図１０では、関連性のある画像として、前後関係のある画像を用いる例を示す。

図１０に示すステップＳ４１では、携帯電子機器１は、第１の画像Ｐ１として、新車の外観を示す写真を含むＷＥＢページをプロジェクタ３４から投影させている。投影されるＷＥＢページには、新車の仕様情報を表示する他のＷＥＢページへのリンクＬが含まれている。また、携帯電子機器１は、第１の画像Ｐ１と関連する第２の画像Ｐ２として、第１の画像Ｐ１と同じＷＥＢページをディスプレイ２に表示させている。なお、ＷＥＢページは、送受信部２６による無線通信によって取得される。

ここで、利用者が操作部１３に対して所定の操作を行って、リンクＬを選択したものとする。携帯電子機器１は、その操作を検出すると、ステップＳ４２に示すように、第１の画像Ｐ１を同じ位置に同じ大きさで投影させたままで、新車の仕様情報を表示するＷＥＢページを、第２の画像Ｐ２としてディスプレイ２に表示させる。

このように、現行の画面をプロジェクタ３４から投影させたままで、次画面をディスプレイ２に表示させることにより、利用者は、現行の画面を閲覧しながら、次画面の内容を確認することができる。

なお、上記の実施形態で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、プロジェクタ３４が、ディスプレイ２の反対側以外の面から画像を投影することとしてもよい。

また、上記の実施形態では、静止画をプロジェクタ３４から投影し、静止画をディスプレイ２に表示させることとしたが、いずれか又は両方の静止画を動画としてもよい。例えば、あるチャンネルのテレビ番組をプロジェクタ３４から投影したままで、携帯電子機器１の姿勢の変化に応じて他のチャンネルのテレビ番組をディスプレイ２に表示させることとしてもよい。

また、上記の実施形態では、携帯電子機器１が姿勢の変化と移動の両方を操作として検出することとしたが、姿勢の変化または移動のいずれか一方を操作として検出することとしてもよい。

以上のように、本発明に係る携帯電子機器は、プロジェクタのような、画像を投影できる装置を備えるものに有用である。

１ 携帯電子機器
１Ｃ 筐体
２ ディスプレイ
１３ 操作部
１３Ａ 操作キー
１３Ｂ 方向及び決定キー
２２ 処理部
２２ａ プロジェクタ制御部
２２ｂ 画像処理部
２２ｃ 条件判定部
２２ｄ 姿勢・位置演算部
２２ｅ 投影補正部
２２ｆ 連係出力制御部
２４ 記憶部
３０ 音声処理部
３１ 可視光照射装置
３２ 表示部
３４ プロジェクタ
３５ 描画装置
３６ 距離センサ
３８ 加速度センサ
３９ 焦点調整装置
４０ カメラ

Claims (8)

1. 画像を投影する投影部と、
   画像を表示する表示部と、
   操作を検出する検出部と、
   前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像と関連を有する第２の画像を表示させ、前記検出部による前記第２の画像に対応づけられた所定の操作の検出に応じて、前記投影部に第１の画像を投影させたままで、前記表示部に表示される前記第２の画像を変化させる処理部と
   を備えることを特徴とする携帯電子機器。
2. 前記検出部は、当該携帯電子機器の姿勢又は位置の少なくとも一方の変化を当該携帯電子機器に対する操作として検出し、
   前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することを特徴とする請求項１に記載の携帯電子機器。
3. 所定の操作を受け付ける操作部をさらに備え、
   前記検出部は、前記操作部に対して行われた操作を検出することを特徴とする請求項１または２に記載の携帯電子機器。
4. 前記第２の画像は、前記第１の画像の一部分を拡大した画像であり、
   前記処理部は、前記検出部によって検出された操作に応じて、前記一部分の範囲または位置の少なくとも一方を変化させることを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
5. 前記処理部は、前記一部分を前記第２の画像として表示させるための拡大率に応じて、前記第２の画像に含まれる要素の表示態様を変化させることを特徴とする請求項４に記載の携帯電子機器。
6. 前記処理部は、前記拡大率が閾値よりも大きくなった場合に、前記第２の画像に含まれる要素に該要素に関する詳細情報を付加して表示することを特徴とする請求項５に記載の携帯電子機器。
7. 前記処理部は、前記一部分の範囲および位置を投影される前記第１の画像中に示すことを特徴とする請求項４から６のいずれか１項に記載の携帯電子機器。
8. 前記処理部は、前記検出部によって検出された操作の量が所定の範囲を超過した場合に、前記第１の画像として投影される画像の投影範囲の外側を含む前記第２の画像を前記表示部に表示させることを特徴とする請求項４から７のいずれか１項に記載の携帯電子機器。

Images