以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。
第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
第1筐体1CAのヒンジ機構8とは反対側には、画像投影部であるプロジェクタ34、及び、画像が投影される面の画像を撮影(取得)するカメラ40が設けられる。なお、プロジェクタ34の光出射部、カメラ40の撮影窓は、第1筐体1CAの外部に露出している。このような構成により、プロジェクタ34によって画像を投影対象物に投影することができる。また、カメラ40により画像を投影する画像との距離を取得することで、プロジェクタ34が投影する画像の焦点を自動的に合わせたりすることができる。なお、カメラ40により画像を投影する領域の画像を取得することで、投影する画像の大きさ、焦点距離を調整することもできる。
図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、外部記憶部25と、送受信部26と、操作部13と、音声処理部30と、表示部32と、プロジェクタ34と、カメラ40と、を有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。
携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムや、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させたりプロジェクタ34に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、プロジェクタ34の動作を制御するプロジェクタ制御部22a、プロジェクタ34に表示させる画像を生成する画像処理部22b、カメラ40で取得した画像や、操作部13からの入力に基づいて投影領域の条件を判定する条件判定部22c、投影面に対する筐体1Cの姿勢、位置を演算して算出する姿勢・位置演算部22d、複数の画像データからプロジェクタ34に投影させる画像を決定する投影画像決定部22e、カメラ40の動作を制御するカメラ制御部22f、音声認識処理を行う音声解析部22gを有する。プロジェクタ制御部22a、画像処理部22b、条件判定部22c、姿勢・位置演算部22d、投影画像決定部22e、カメラ制御部22f、音声解析部22gがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
外部記憶部25は、外部メモリと、接続端子で構成され、外部メモリが筺体1Cに対して着脱可能な記憶装置である。外部メモリには、記憶部24と同様に各種ソフトウェアやデータが記憶されている。外部記憶部25は、接続端子を介して外部メモリと処理部22とを接続させることで、記憶部24と同様に、外部メモリに対して、情報の書き込み、読み取りを行う。なお、外部記憶部25は、外部メモリが着脱可能であるため、処理部22に接続する外部メモリを交換することができる。なお、外部メモリとしては、SDカード(登録商標)、メモリースティック(登録商標)、スマートメディア、USBメモリ等の各種記憶媒体を用いることができる。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
プロジェクタ34は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ34は、光源である可視光照射装置(可視光照射手段)31と、光学系である描画装置35と、焦点調整装置39とを含んで構成される。可視光照射装置31は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が360nm以上400nm以下、長波長側が760nm以上830nm以下の光であり、本実施形態において、可視光照射装置31は、R(Red)、G(Green)、B(Blue)の3色の光を照射する。
描画装置35は、可視光照射装置31から照射される3色の光を合成するとともに、画像投影対象に照射する。描画装置35は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置35は、ミラーによって可視光照射装置31から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
前記ミラーとしては、例えば、MEMS(Micro Electro Mechanical System)ミラーが用いられる。MEMSミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置31から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ34は、スキャン方式のプロジェクタである。なお、プロジェクタ34の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ34は、ハロゲンライトや、LED光源、LD光源を光源とし、LCD(Liquid Crystal Display)や、DMD(Digital Micro-mirror Device)を光学系に備える構成のプロジェクタを用いてもよい。
焦点調整装置39は、プロジェクタ制御部22aからの指令により、描画装置35から投影される可視画像を画像投影対象上で結像させる機能(焦点調整機能)を有する。焦点調整装置39は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置39は、プロジェクタ34が投影する画像のデータに対して画像処理部22bによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置39は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。
図4は、図1に示す携帯電子機器のプロジェクタで画像を表示させている状態を示す説明図である。上述したように、プロジェクタ34は、画像を投影する画像投影部であり、画像投影面が携帯電子機器1の筐体1Cの外部に露出している。携帯電子機器1は、プロジェクタ34から画像を投影することで、図4に示すように、プロジェクタ34の画像投影面と対向する位置の画像投影対象(例えば、壁面やスクリーン等)のうち、所定の領域(投影領域)PAに画像Pを投影させることができる。なお、プロジェクタ34は、処理部22により動作が制御され、処理部22から送られる種々の映像、例えば動画やプレゼンテーション資料等を投影し、投影領域PAに表示させる。
カメラ40は、上述したようにプロジェクタ34の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ40は、プロジェクタ34が光を射出する方向の画像を取得する。なお、カメラ40は、プロジェクタ34により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ34により画像が投影される投影領域よりも広い領域の画像を撮影することができる。携帯電子機器1は、基本的に以上のような構成である。
次に、図5を用いて携帯電子機器のプロジェクタの画像投影動作を説明する。ここで、図5は、携帯電子機器の動作の一例を示すフロー図である。なお、図5に示す動作は、プロジェクタ34が起動されたら常に行うようにしてもよいし、図5に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図5に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図5に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。なお、図5に示すフロー図では、携帯電子機器1のプロジェクタ34の画像の投影領域に特定の印刷物が配置されている。
まず、携帯電子機器1の処理部22は、プロジェクタ34の起動指示が入力されたら、ステップS12として、カメラ40及びプロジェクタ34を起動させる。なお、起動指示の入力時に、カメラ40とプロジェクタ34が起動されている場合は、そのまま、ステップS14に進む。また、プロジェクタ34の起動処理は、プロジェクタ制御部22aで行うことができ、カメラ40の起動処理は、カメラ制御部22fで行うことができる。
処理部22は、ステップS12でカメラ40及びプロジェクタ34を起動させたら、ステップS14として、カメラ制御部22fによりカメラ40の動作を制御し、投影領域の画像(投影面に表示されている画像)を取得する。処理部22は、ステップS14で投影領域の画像を取得したら、ステップS16として、条件判定部22cにより投影領域の条件を判定する。具体的には、処理部22は、画像処理部22bにより、撮影した投影領域の画像を解析し、投影領域に表示されている画像の構成を検出する。その後、処理部22は、画像処理部22bでの処理により検出した投影領域の表示画像の構成に基づいて、投影領域の条件を判定する。
処理部22は、ステップS16で投影領域の条件を判定したら、ステップS18として、投影画像決定部22eにより投影する画像を決定する。具体的には、処理部22は、投影画像決定部22eにより、ステップS16で判定した投影領域の条件(識別情報)に基づいて、投影領域に載置されている印刷物を特定する。そして、処理部22は、特定した印刷物に対応する画像データ及び特定した印刷物の内容に関連する音声データ(ここでは、印刷物のスクリプトの少なくとも一部を読み上げた音声データ)を抽出し、投影する画像として決定する。なお、印刷物の内容に関連する音声データは、印刷物のページを一意に特定できるものであれば良く、例えば、印刷物のスクリプトの冒頭部分を読み上げた音声データであっても良い。なお、画像データ及び音声データは、記憶部24または外部記憶部25に記憶されており、特定した印刷物に対応する画像データ及び特定した印刷物の内容に関連する音声データには、印刷物の情報が関連付けて記憶されている。したがって、投影画像決定部22eは、印刷物の情報をキーとして、記憶部24または外部記憶部25に記憶されている画像データを検索することで、対応する画像データ及び音声データを抽出することができる。
処理部22は、ステップS18で投影する画像を決定したら、ステップS20として、音声解析部22gにより、マイク15で印刷物の内容に関連する音声を検出したかを判定する。なお、印刷物の内容に関連する音声の検出は、音声解析部22gによりマイク15で検出した音声に音声認識処理を実行し、印刷物の内容に関連する音声データと一致するか否かで実現することができる。処理部22は、ステップS20で印刷物の内容に関連する音声を検出していなければ(ステップS20でNo)、処理をステップS20で待機し、ステップS20で音声を検出したら(ステップS20でYes)、処理をステップS22に進める。
処理部22は、ステップS20で印刷物の内容に関連する音声を検出したら(ステップS20でYes)、ステップS22として、プロジェクタ制御部22aによりプロジェクタ34の動作を制御し、プロジェクタ34から、ステップS18で決定した画像を投影する。つまり、処理部22は、音声に連動させて、ステップS18で決定した画像を投影する。
処理部22は、ステップS22で画像を投影したら、ステップS24として投影領域の画像の切り替えがあったか、つまり、投影領域に配置されている印刷物が切り替わったかを判定する。なおこの判定は、例えば、カメラ40により画像を取得し、その画像と前の画像とを比較することで行うことができる。処理部22は、ステップS24で画像の切り替えあり(ステップS24でYes)、つまり、ステップS14で取得した際に投影領域に配置されていた画像(印刷物)とは異なる画像(印刷物)が投影領域にあると判定したら、ステップS14に進み、上記ステップS14からステップS22の処理を行い、投影領域にある画像に合わせて、プロジェクタ34から投影する画像を切り替える。
また、処理部22は、ステップS24で画像の切り替えなし(ステップS24でNo)と判定したら、ステップS26として投影終了の指示があるかを判定する。処理部22は、ステップS26で終了指示なし(ステップS26でNo)と判定したら、ステップS24に進み、ステップS24の処理を行う。また、処理部22は、ステップS26で投影終了(ステップS26でYes)と判定したら、ステップS28として、カメラ40及びプロジェクタ34を停止させて、本処理を終了する。なお、カメラ40及びプロジェクタ34は、それぞれカメラ制御部22f及びプロジェクタ制御部22aの制御により停止させることができる。
次に、具体例を用いて、携帯電子機器1についてより詳細に説明する。ここで、図6−1及び図6−2は、それぞれ、携帯電子機器の動作の一例を説明するための説明図である。なお、図6−1、図6−2では、携帯電子機器1を簡単な箱形状として示す。まず、図6−1に示す例は、投影領域に印刷物100が配置されている。ここで、印刷物100は、絵本の一場面の画像が印刷されている。具体的には、印刷物100には、背景となる家、木、雲の画像、及び、内容の文章(「ある日、おじいさんとおばあさんは山へ芝刈りに行きました。」)が印刷されている。
携帯電子機器1は、図5に示す処理により、投影領域に印刷物100があること、つまり絵本等の一場面、所定のページであることを検出したら、印刷物100に対応する画像データを取得する。次に、携帯電子機器1は、ユーザが当該ページの内容の文章を「ある日」と読み上げたら、図5に示す処理により、ユーザの音声に連動させて、図6−2に示すように、プロジェクタ34から投影領域に人物102の画像を投影する。これにより、印刷物100上には、印刷された各構成に加え、人物102の画像が表示された状態とすることができる。なお、本実施形態では、人物の画像を投影したが、物や、風景を投影するようにしてもよい。また、携帯電子機器1は、ユーザが当該ページの内容の文章を「山へ」と読み上げたら、図5に示す処理により、ユーザの音声に連動させて、人物102の画像の投影位置を山の方に移動させる。これにより、携帯電子機器1は、ユーザの音声に連動させて投影画像を移動させる、つまり動画を投影することができる。
このように、携帯電子機器1は、投影領域の画像に対応する画像をプロジェクタ34から投影することで、つまり、投影領域の画像にプロジェクタ34から投影した画像を重ねて1つの画像を作成することで、簡単で有効性の高い画像を作成することができる。
ここで、印刷物のみで画像を構成する場合、印刷した後は更新することができず、画像を動かすことができない。また、プロジェクタのみで画像を投影する場合は、鮮明な画像を表示することが困難である。また、細かい文字まで読みやすい画像を投影するためには、高価で高い性能のプロジェクタを搭載させる必要があり、装置が大型化し、構成も複雑になり、装置コストも高くなる。これに対して、携帯電子機器1は、投影領域にある印刷物の画像に合わせて、必要な画像を投影しているため、印刷物とプロジェクタの両方の利点を併せ持つことができる。例えば、印刷物で高解像度な画像を表示させることができ、プロジェクタにより一部の画像を動かす、つまり動画とすることができる。また、携帯電子機器1のプロジェクタ34により投影する画像も投影領域の一部となるため、画像処理の負荷を低減することができ、消費電力を少なくすることができる。
また、上述したように、細かい文字、画像は、印刷物に予め印刷することができるため、プロジェクタの性能を高くしなくても、投影領域に表示される画像を鮮明で高解像度の画像とすることができる。
また、携帯電子機器1の音声解析部22gは、決まった音声データ(例えば、印刷物のスクリプトの少なくとも一部を読み上げた音声データ)とマイク15で検出した音声データとを比較すれば良いので、音声認識処理を容易にすることができる。
また、携帯電子機器1は、印刷物と画像投影装置とを組み合わせた、つまり、印刷物に画像を投影することで、1つの画像として完成するコンテンツを表示させることができる。また、印刷物と画像データとを1つの商品、パッケージとして流通させることができる。例えば、印刷物と、画像データを記憶した外部メモリとをパッケージとして流通させることで、利用者は、携帯電子機器1の外部記憶部25に外部メモリを連結させて、画像データを取得し、投影領域に印刷物を配置することで、撮影領域にある印刷物上に外部メモリに記憶されている画像を投影することができる。
また、印刷物、画像データの一方のみでは、画像として完成しないため、画像データ、印刷物の一方を管理することで画像が許可なく複製されたり、売買されたりすることを抑制することができる。例えば、1つの印刷物に対する画像データの取得回数や、取得可能端末数を制限しておいたり、画像データの取得時に、画像データの提供者に通知が送信される設定としたりすることで、画像データの利用を制限することができる。これにより、完成された画像は、特定の利用者のみが閲覧可能とすることができる。
ここで、携帯電子機器1がカメラで取得した画像から、表示領域に配置された画像(例えば、印刷物)を特定する方法としては、種々の画像処理方法を用いることができる。例えば、携帯電子機器1は、印刷物、描画された絵、記入された文字等の投影領域の画像から、特定の文字、記号等の識別情報を抽出することで、投影領域の画像を特定することができる。また、携帯電子機器1は、四辺のエッジ検出等を行うことで、投影領域内の画像を特定することができる。以下、図7を用いて、一例を説明する。ここで、図7は、携帯電子機器の動作を説明するための説明図である。なお、図7では、携帯電子機器1を簡単な箱形状として示す。図7に示す例では、投影領域に印刷物120が配置されている。印刷物120は、新聞の一紙面であり、新聞の名称が記載された文字列122、見出し、各ニュースの内容の文章が印刷されている。また、印刷物120には、2次元バーコード124が印刷されている。
携帯電子機器1は、カメラ40で取得した画像から、文字列122を抽出することで、投影領域にある印刷物が新聞であることを特定することができる。なお、携帯電子機器1は、投影領域の全体における、文字列122の位置の情報等も加味することで、つまりレイアウト情報を加味することで、印刷物をより適切に特定することができる。また、この場合、携帯電子機器1は、さらに画像から、発行日、ページ数の情報を取得することで、印刷物を特定することができる。また、携帯電子機器1は、カメラ40で取得した画像から、2次元バーコード124を抽出することでも、印刷物を特定することができる。2次元バーコード124を用いる場合は、2次元バーコードに印刷物が新聞であること、発行日、ページ数の情報を含めることができる。これにより、携帯電子機器1は、2次元バーコード124を読み取るのみで、印刷物を特定することができる。
携帯電子機器1は、以上のようにして、投影領域の画像を特定し、特定した画像に対応する画像を取得し、投影領域に投影することで、投影領域に、予め配置されている画像に投影画像を重ねた画像を表示させることができる。
なお、携帯電子機器1は、投影させる画像を記憶部24または外部記憶部25に記憶されている画像データの中から特定したが、本発明はこれに限定されない。携帯電子機器1は、投影させる画像を、送受信部26を介した通信で、外部のサーバ等から取得してもよい。例えば、投影領域にある画像として印刷物を特定したら、その印刷物を発行している出版社のデータベースにアクセスし、投影する画像のデータを取得してもよい。また、2次元バーコードを用いる場合は、2次元バーコードの情報にURLを含めるようにしてもよい。また、印刷物の一部に、投影する画像のデータが保存されているURLを印刷しておいてもよい。
また、携帯電子機器1は、投影領域の画像に対応して投影する画像を加工してもよい。また、投影領域の画像に対応付けられた画像として、携帯電子機器1で加工をした画像や、作成した画像を用いてもよい。また、投影領域の画像に対応付けて予め設定されている画像を変更できるようにしてもよい。なお、対応つける画像を変更する場合は、変更した画像に、投影領域の画像の識別情報の紐付けデータを加えた形で、記憶部24または外部記憶部25に記憶させればよい。
また、携帯電子機器1は、カメラ40で取得した画像データから投影領域(投影面)までの距離、及び投影領域の画像との位置関係を算出し、プロジェクタ34から投影する画像の投影領域内における位置、大きさを調整するようにしてもよい。また、携帯電子機器1は、プロジェクタ34で画像を投影した状態の投影領域の画像を取得し、その取得結果に基づいて、プロジェクタ34から投影する画像の投影領域内における位置、大きさを調整するようにしてもよい。このように、投影する画像の投影領域内における位置、大きさを調整することで、より適正な画像を投影領域内に表示させることができる。
また、携帯電子機器1は、カメラ40で取得した画像と、投影する画像とを組み合わせた画像、つまり投影領域に表示される画像(投影された状態の予測画像)を表示部32に表示させるようにしてもよい。これにより、投影領域に投影される画像を表示部32で確認することができる。なお、携帯電子機器1は、投影許可操作が入力されてから、プロジェクタ34から画像を投影するようにしてもよい。
また、上記実施形態では、利用者の操作がより簡単になり、負荷を低減できるため、カメラにより、投影領域の画像を取得し、投影領域の画像を特定して、自動で投影する画像を決定したが、本発明はこれに限定されない。例えば、利用者が操作部13に操作を入力して、投影領域の画像に対応する画像を投影する画像として選択し、選択した画像の投影指示を入力することで、投影領域の画像に、プロジェクタ34から投影した画像を重ねて、表示領域に1つの画像を表示させるようにしてもよい。この場合も投影領域の画像に対応付けられた画像として作成された画像のデータを取得することで、完成された1つの画像を表示させることが可能となる。また、利用者が音声をマイク15に入力して、投影領域の画像に対応する画像を投影する画像として選択し、選択した画像の投影指示を音声で入力することで、投影領域の画像に、プロジェクタ34から投影した画像を重ねて、表示領域に1つの画像を表示させるようにしてもよい。これにより、ユーザは音声で投影画像の選択および投影を指示することができる。
上記のようにカメラを用いない場合の携帯電子機器のプロジェクタの画像投影動作について説明する。図8は、携帯電子機器の動作の一例を示すフロー図である。なお、図8に示す動作は、プロジェクタ34が起動されたら常に行うようにしてもよいし、図8に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図8に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図8に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。なお、図8に示すフロー図では、携帯電子機器1のプロジェクタ34の画像の投影領域に特定の印刷物が配置されている。
まず、携帯電子機器1の処理部22は、ステップS42として、特定した印刷物に対応するコンテンツデータを記憶部24または外部記憶部25から読出す。なお、特定した印刷物に対応するコンテンツデータは、ユーザにより選択されるようにしても良い。また、コンテンツデータは、印刷物のページ毎に投影させる画像データに、ページ毎に関連する音声データ(ここでは、印刷物のスクリプトの少なくとも一部を読み上げた音声データ)が関連付けて記憶されている。したがって、投影画像決定部22eは、音声データをキーとして、記憶部24または外部記憶部25に記憶されているコンテンツデータを検索することで、対応する画像データを抽出することができる。なお、印刷物の内容に関連する音声データは、印刷物のページを一意に特定できるものであれば良く、例えば、印刷物のスクリプトの冒頭部分を読み上げた音声データであっても良い。
処理部22は、ステップS42でコンテンツデータを読出したら、ステップS44として、プロジェクタ34を起動させる。なお、起動指示の入力時に、プロジェクタ34が起動されている場合は、そのまま、ステップS46に進む。また、プロジェクタ34の起動処理は、プロジェクタ制御部22aで行うことができる。
処理部22は、ステップS44でプロジェクタ34を起動させたら、ステップS46として、音声解析部22gにより、マイク15で音声を検出したかを判定する。処理部22は、ステップS46で音声を検出していなければ(ステップS46でNo)、処理をステップS46で待機し、ステップS46で音声を検出したら(ステップS46でYes)、処理をステップS48に進める。
処理部22は、ステップS46で音声を検出したら、ステップS48として、投影画像決定部22eにより投影する画像を決定する。具体的には、処理部22は、投影画像決定部22eにより、ステップS46で検出した音声を音声処理部30により音声認識した音声データに基づいて、投影領域に載置されている印刷物のページを特定し、特定したページに対応する画像データを抽出し、投影する画像として決定する。
処理部22は、ステップS48で投影する画像を決定したら、ステップS50として、プロジェクタ制御部22aによりプロジェクタ34の動作を制御し、プロジェクタ34から、ステップS48で決定した画像を投影する。つまり、処理部22は、音声に連動させて、ステップS48で決定した画像を投影する。
処理部22は、ステップS48で画像を投影したら、ステップS52として投影終了の指示があるかを判定する。処理部22は、ステップS52で終了指示なし(ステップS52でNo)と判定したら、ステップS46に進み、ステップS46の処理を行う。また、処理部22は、ステップS52で投影終了(ステップS52でYes)と判定したら、ステップS54として、プロジェクタ34を停止させて、本処理を終了する。なお、プロジェクタ34は、それぞれカメラ制御部22f及びプロジェクタ制御部22aの制御により停止させることができる。
次に、先に説明した図6−1及び図6−2を再び用いて、携帯電子機器1についてより詳細に説明する。まず、図6−1に示す例は、投影領域に印刷物100が配置されている。ここで、印刷物100は、絵本の一場面の画像が印刷されている。具体的には、印刷物100には、背景となる家、木、雲の画像、及び、内容の文章(「ある日、おじいさんとおばあさんは山へ芝刈りに行きました。」)が印刷されている。
まず、携帯電子機器1は、図8に示す処理により、特定のコンテンツデータを記憶部24または外部記憶部25から読出す。次に、携帯電子機器1は、ユーザがページの内容の文章を「ある日」と読み上げたら、図8に示す処理により、投影領域に印刷物100があること、つまり絵本等の一場面、所定のページであることを検出し、印刷物100に対応する画像データを決定する。そして、携帯電子機器1は、ユーザの音声に連動させて、図6−2に示すように、プロジェクタ34から投影領域に人物102の画像を投影する。これにより、印刷物100上には、印刷された各構成に加え、人物102の画像が表示された状態とすることができる。なお、本実施形態では、人物の画像を投影したが、物や、風景を投影するようにしてもよい。
このように、携帯電子機器1は、ユーザの音声を検出し、ユーザの音声に基づいて投影する画像を決定し、決定した画像を投影することができる。
なお、処理部22は、ユーザの音声に連動して投影する画像の明るさを変更するようにしても良い。例えば、処理部22は、ユーザが「夜になりました。」と発声したら、投影する画像を暗くするようにしても良い。
また、処理部22は、携帯電子機器1の所有者の声を音声処理部30で判別し、携帯電子機器1の所有者の声に対してのみ画像を投影するようにしても良い。これにより、セキュリティ機能を実現することができる。
また、処理部22は、ユーザがページの内容の文章を読み上げる速度に応じて、投影する動画の速度を変えるようにしても良い。これにより、絵本等のキャラクターを動かす速度をユーザが制御することができる。
また、処理部22は、ページの内容の文章の中のキーワードを判別して、画像を投影するようにしても良い。ユーザがページの内容の文章を一字一句間違わずに読むのは難しいので、ページの内容の文章の中のキーワードを予め設定しておき、処理部22は、発声されたキーワードの流れに応じて画像を投影する。これにより、ユーザがページの内容の文章を間違って読んでしまっても、動画を投影することができる。
また、処理部22は、ユーザが発声する声を単語単位で区切って判別し、ユーザが発声した単語(いつ、誰が、どうした等)に応じて異なるパターンの動画を投影するようにしても良い。これにより、ユーザがキャラクターを動作させてRPG(ロールプレイングゲーム)のようにストーリーを自由に作成することができる。
次に、本発明の他の実施形態について説明する。本実施形態は、紙、看板等に印刷された地図上にユーザ所望の地点を投影するものである。図9は、携帯電子機器の動作の一例を示すフロー図である。なお、図9に示す動作は、プロジェクタ34が起動されたら常に行うようにしてもよいし、図9に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図9に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図9に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。なお、図9に示すフロー図では、携帯電子機器1のプロジェクタ34の画像の投影領域に地図が印刷された紙、看板等の印刷物が配置されている。
まず、携帯電子機器1の処理部22は、プロジェクタ34の起動指示が入力されたら、ステップS62として、カメラ40及びプロジェクタ34を起動させる。なお、起動指示の入力時に、カメラ40とプロジェクタ34が起動されている場合は、そのまま、ステップS64に進む。また、プロジェクタ34の起動処理は、プロジェクタ制御部22aで行うことができ、カメラ40の起動処理は、カメラ制御部22fで行うことができる。
処理部22は、ステップS62でカメラ40及びプロジェクタ34を起動させたら、ステップS64として、カメラ制御部22fによりカメラ40の動作を制御し、投影領域の画像(投影面に表示されている画像)を取得する。処理部22は、ステップS64で投影領域の画像を取得したら、ステップS66として、条件判定部22cにより投影領域の条件を判定する。具体的には、処理部22は、画像処理部22bにより、撮影した投影領域の画像を解析し、投影領域に表示されている画像の構成を検出する。その後、処理部22は、画像処理部22bでの処理により検出した投影領域の表示画像の構成に基づいて、投影領域の条件を判定する。すなわち、処理部22は、投影領域に配置されている地図がどの地域の地図であるかを判定する。
処理部22は、ステップS66で投影領域の条件を判定したら、ステップS68として、投影領域に対応する地域の地点データを記憶部24または外部記憶部25から読出す。ここで、地点データは、記憶部24または外部記憶部25に記憶されており、名称(地名、店名等)の音声データに、経度及び緯度の情報が関連付けて記憶されている。したがって、処理部22は、名称の音声データをキーとして、記憶部24または外部記憶部25に記憶されている地点データを検索することで、対応する経度及び緯度の情報を抽出することができる。なお、投影領域と地図は一致しない場合もあり、投影領域の方が地図よりも広い場合もある。
処理部22は、ステップS68で地点データを読出したら、ステップS70として、音声解析部22gにより、マイク15で目的地の音声を検出したかを判定する。処理部22は、ステップS70で目的地の音声を検出していなければ(ステップS70でNo)、処理をステップS70で待機し、ステップS70で目的地の音声を検出したら(ステップS70でYes)、処理をステップS72に進める。
処理部22は、ステップS70で目的地の音声を検出したら(ステップS70でYes)、ステップS72として、音声解析部22gで音声認識処理された音声データに基づいて、目的地が地図内にあるか否かを判定する。処理部22は、ステップS72で目的地が地図内にあると判定したら(ステップS72でYes)、ステップS74として、投影する画像を決定する。具体的には、処理部22は、ユーザの音声を音声解析部22gで音声認識した名称と合致する名称を含む地点データを抽出し、抽出した地点データの経度及び緯度に対応する地図上の位置を表す画像を決定する。
処理部22は、ステップS72で目的地が地図内にないと判定したら(ステップS72でNo)、ステップS76として、目的地が地図外且つ投影領域に対応する地域内にあるか否かを判定する。処理部22は、ステップS76で目的地が地図外且つ投影領域に対応する地域内にあると判定したら(ステップS76でYes)、ステップS78として、投影する画像を決定する。具体的には、処理部22は、ユーザの音声を音声処理部30で音声認識した名称と合致する名称を含む地点データを抽出し、抽出した地点データの経度及び緯度に対応する場所を表す画像を決定する。なお、処理部22は、ここで決定する画像を、目的地が地図内にある場合の画像(ステップS74)と異ならせると好適である。
処理部22は、ステップS76で目的地が投影領域に対応する地域内にないと判定したら(ステップS76でNo)、ステップS80として、投影領域に対応する地域に最寄りの目的地の地点データを抽出する。次に、処理部22は、ステップS81として、投影する画像を決定する。具体的には、処理部22は、目的地がある方向を示唆する画像を投影する画像として決定する。
処理部22は、ステップS74、ステップS78またはステップS81で投影する画像を決定したら、ステップS82として、プロジェクタ制御部22aによりプロジェクタ34の動作を制御し、プロジェクタ34から、ステップS74、ステップS78またはステップS81で決定した画像を投影する。
処理部22は、ステップS82で画像を投影したら、ステップS84として、投影終了の指示があるかを判定する。処理部22は、ステップS84で終了指示なし(ステップS84でNo)と判定したら、ステップS70に進み、ステップS70の処理を行う。また、処理部22は、ステップS84で投影終了(ステップS84でYes)と判定したら、ステップS86として、カメラ40及びプロジェクタ34を停止させて、本処理を終了する。なお、カメラ40及びプロジェクタ34は、それぞれカメラ制御部22f及びプロジェクタ制御部22aの制御により停止させることができる。
次に、具体例を用いて、携帯電子機器1についてより詳細に説明する。ここで、図10−1及び図10−2は、それぞれ、携帯電子機器の動作の一例を説明するための説明図である。なお、図10−1、図10−2では、携帯電子機器1を簡単な箱形状として示す。まず、図10−1に示す例は、投影領域に印刷物130が配置されている。ここで、印刷物130は、地図が印刷されている。
携帯電子機器1は、図9に示す処理により、投影領域に印刷物130があること、つまり或る地域の地図があることを検出したら、印刷物130に対応する地点データを取得する。次に、携帯電子機器1は、ユーザが所望の目的地の名称を例えば「郵便局」と発声したら、図9に示す処理により、郵便局を名称に含む地点データを抽出する。そして、携帯電子機器1は、図10−1に示すように、印刷物130に印刷された地図上に、郵便局を示すマーク131〜135の画像を投影する。これにより、印刷物130上には、印刷された地図に加え、ユーザが所望の目的地を示す画像が表示された状態とすることができる。
このように、携帯電子機器1は、投影領域の画像に対応する画像をプロジェクタ34から投影することで、つまり、投影領域の画像にプロジェクタ34から投影した画像を重ねて1つの画像を作成することで、簡単で有効性の高い画像を作成することができる。
次に、図10−2に示す例では、投影領域PAの内部に投影領域PAよりも小さい印刷物140が配置されている。印刷物140は、地図が印刷されている。携帯電子機器1は、投影領域に印刷物140があること、つまり或る地域の地図があることを検出したら、投影領域PAに対応する地点データを取得する。次に、携帯電子機器1は、ユーザが所望の目的地の名称を例えば「ゴルフ練習場」と発声したら、図9に示す処理により、ゴルフ練習場を名称に含む地点データを抽出する。そして、携帯電子機器1は、印刷物140の地域内に目的地がない場合には、印刷物140の地域外且つ投影領域PAに対応する地域の内に目的地があるか否かを判定し、印刷物140の地域外且つ投影領域PAに対応する地域の内に目的地がある場合には、印刷物140の外且つ投影領域PAの内に目的地を示すマーク141、142の画像を投影する。また、携帯電子機器1は、投影領域PAに対応する地域内に目的地がない場合には、図9に示す処理により、投影領域PAに対応する地域に最寄りの目的地を抽出し、投影領域PAの内に目的地が存在する方向を示す矢印143の画像を投影する。これにより、矢印の方向に対応する地図を投影領域PAに配置すれば良いことをユーザに知らせることができる。
次に、本発明の他の実施形態について説明する。本実施形態は、楽譜上の音符に光を照射するものである。図11は、携帯電子機器の動作の一例を示すフロー図である。なお、図11に示す動作は、プロジェクタ34が起動されたら常に行うようにしてもよいし、図11に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図11に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図11に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。なお、図11に示すフロー図では、携帯電子機器1のプロジェクタ34の画像の投影領域に楽譜の印刷物が配置されている。
まず、携帯電子機器1の処理部22は、プロジェクタ34の起動指示が入力されたら、ステップS92として、カメラ40及びプロジェクタ34を起動させる。なお、起動指示の入力時に、カメラ40とプロジェクタ34が起動されている場合は、そのまま、ステップS94に進む。また、プロジェクタ34の起動処理は、プロジェクタ制御部22aで行うことができ、カメラ40の起動処理は、カメラ制御部22fで行うことができる。
処理部22は、ステップS92でカメラ40及びプロジェクタ34を起動させたら、ステップS94として、カメラ制御部22fによりカメラ40の動作を制御し、投影領域の画像(投影面に表示されている画像)を取得する。処理部22は、ステップS94で投影領域の画像を取得したら、ステップS96として、条件判定部22cにより投影領域の条件を判定する。具体的には、処理部22は、画像処理部22bにより、撮影した投影領域の画像を解析し、投影領域に表示されている画像の構成(五線譜及び音符)を検出する。その後、処理部22は、画像処理部22bでの処理により検出した投影領域の表示画像の構成に基づいて、投影領域の条件を判定する。
処理部22は、ステップS96で投影領域の条件を判定したら、ステップS98として、音声解析部22gにより、マイク15で音声を検出したかを判定する。処理部22は、ステップS98で音声を検出していなければ(ステップS98でNo)、処理をステップS98で待機し、ステップS98で音声を検出したら(ステップS98でYes)、処理をステップS100に進める。
処理部22は、ステップS98で音声を検出したら(ステップS98でYes)、ステップS100として、音声解析部22gで音声認識処理された音声データに基づいて、検出した音声(音程)に対応する音符を、光を照射する音符として決定する。処理部22は、ステップS100で光を照射する音符を決定したら、ステップS102として、光を音符に照射する。
処理部22は、ステップS102で光を音符に照射したら、ステップS104として、投影終了の指示があるかを判定する。処理部22は、ステップS104で終了指示なし(ステップS104でNo)と判定したら、ステップS98に進み、ステップS98の処理を行う。また、処理部22は、ステップS104で投影終了(ステップS104でYes)と判定したら、ステップS106として、カメラ40及びプロジェクタ34を停止させて、本処理を終了する。なお、カメラ40及びプロジェクタ34は、それぞれカメラ制御部22f及びプロジェクタ制御部22aの制御により停止させることができる。
次に、具体例を用いて、携帯電子機器1についてより詳細に説明する。ここで、図12−1〜図12−4は、それぞれ、携帯電子機器の動作の一例を説明するための説明図である。なお、図12−1〜図12−4では、携帯電子機器1を簡単な箱形状として示す。図12−1〜図12−4に示す例は、投影領域に印刷物150が配置されている。ここで、印刷物150は、楽譜が印刷されている。具体的には、印刷物150には、五線譜と音符151〜156が印刷されている。
携帯電子機器1は、図11に示す処理により、投影領域に印刷物150があること、つまり楽譜があることを検出したら、音符151〜156を検出する。次に、携帯電子機器1は、図11に示す処理により、音声を検出する。携帯電子機器1は、音声を検出したら、図11に示す処理により、音声に対応する音符に光を照射する。例えば、携帯電子機器1は、音符151に対応する音声を検出したら、図12−1に示すように、音符151に光を照射する。同様に、携帯電子機器1は、音符152に対応する音声を検出したら、図12−2に示すように、音符152に光を照射し、音符153に対応する音声を検出したら、図12−3に示すように、音符153に光を照射し、音符154に対応する音声を検出したら、図12−4に示すように、音符154に光を照射する。
このように、携帯電子機器1は、検出した音声に対応する音符に光を照射することで、楽譜上の演奏箇所をユーザに通知することができる。
なお、上記では、携帯電子機器1がマイク15で音声を検出することとしたが、携帯電子機器1の記憶部24または外部記憶部25に楽曲データを記憶しておき、携帯電子機器1が楽曲データに基づいて音楽を出力するとともに、対応する音符に光を照射するようにしてもよい。これにより、携帯電子機器1は、ユーザが楽曲を覚えるための学習教材としての機能を実現することができる。
次に、本発明の他の実施形態について説明する。本実施形態は、音符の画像を五線譜に照射するものである。図13は、携帯電子機器の動作の一例を示すフロー図である。なお、図13に示す動作は、プロジェクタ34が起動されたら常に行うようにしてもよいし、図13に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図13に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図13に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。なお、図13に示すフロー図では、携帯電子機器1のプロジェクタ34の画像の投影領域に五線譜が記載された物が配置されている。なお、五線譜は手書きされていても良いし、印刷されていても良い。
まず、携帯電子機器1の処理部22は、プロジェクタ34の起動指示が入力されたら、ステップS112として、カメラ40及びプロジェクタ34を起動させる。なお、起動指示の入力時に、カメラ40とプロジェクタ34が起動されている場合は、そのまま、ステップS114に進む。また、プロジェクタ34の起動処理は、プロジェクタ制御部22aで行うことができ、カメラ40の起動処理は、カメラ制御部22fで行うことができる。
処理部22は、ステップS112でカメラ40及びプロジェクタ34を起動させたら、ステップS114として、カメラ制御部22fによりカメラ40の動作を制御し、投影領域の画像(投影面に表示されている画像)を取得する。処理部22は、ステップS114で投影領域の画像を取得したら、ステップS116として、条件判定部22cにより投影領域の条件を判定する。具体的には、処理部22は、画像処理部22bにより、撮影した投影領域の画像を解析し、投影領域に表示されている画像の構成(五線譜)を検出する。その後、処理部22は、画像処理部22bでの処理により検出した投影領域の表示画像の構成に基づいて、投影領域の条件を判定する。
処理部22は、ステップS116で投影領域の条件を判定したら、ステップS118として、音声解析部22gにより、マイク15で音声を検出したかを判定する。処理部22は、ステップS118で音声を検出していなければ(ステップS118でNo)、処理をステップS118で待機し、ステップS118で音声を検出したら(ステップS118でYes)、処理をステップS120に進める。
処理部22は、ステップS118で音声を検出したら(ステップS118でYes)、ステップS120として、音声処理部30で音声認識処理された音声データに基づいて、検出した音声(音程)に対応する音符を五線譜上にハイライト投影する。なお、処理部22は、2つ目以降の音符の場合には、以前の音符を通常(非ハイライト)投影するとともに、直前の音符の右隣に今回の音符をハイライト投影する。また、処理部22は、五線譜の行末まで音符が投影されている場合には、次の行の先頭に今回の音符をハイライト投影する。処理部22は、ステップS120で音符をハイライト投影したら、ステップS122として、音符を記憶部24または外部記憶部25に記憶する。
処理部22は、ステップS122で音符を記憶したら、ステップS124として、投影終了の指示があるかを判定する。処理部22は、ステップS124で終了指示なし(ステップS124でNo)と判定したら、ステップS118に進み、ステップS118の処理を行う。また、処理部22は、ステップS124で投影終了(ステップS124でYes)と判定したら、ステップS126として、カメラ40及びプロジェクタ34を停止させて、本処理を終了する。なお、カメラ40及びプロジェクタ34は、それぞれカメラ制御部22f及びプロジェクタ制御部22aの制御により停止させることができる。
次に、具体例を用いて、携帯電子機器1についてより詳細に説明する。ここで、図14−1〜図14−4は、それぞれ、携帯電子機器の動作の一例を説明するための説明図である。なお、図14−1〜図14−4では、携帯電子機器1を簡単な箱形状で示す。図14−1〜図14−4に示す例は、投影領域に印刷物160が配置されている。ここで、印刷物160は、五線譜が書かれている。なお、五線譜は印刷されていても良い。また、五線譜は2行以上であっても良い。
携帯電子機器1は、図13に示す処理により、投影領域に印刷物160があること、つまり楽譜があることを検出する。次に、携帯電子機器1は、図13に示す処理により、音声を検出する。携帯電子機器1は、音声を検出したら、図13に示す処理により、図14−1に示すように、音声に対応する音符161をハイライト投影する。次に、携帯電子機器1は、音声を検出したら、図13に示す処理により、図14−2に示すように、音符161を通常(非ハイライト)投影するとともに、今回検出した音声に対応する音符162を直前の音符161の右隣にハイライト投影する。次に、携帯電子機器1は、音声を検出したら、図13に示す処理により、図14−3に示すように、音符162を通常(非ハイライト)投影するとともに、今回検出した音声に対応する音符163を直前の音符162の右隣にハイライト投影する。次に、携帯電子機器1は、音声を検出したら、図13に示す処理により、図14−4に示すように、音符163を通常(非ハイライト)投影するとともに、今回検出した音声に対応する音符164を直前の音符163の右隣にハイライト投影する。
このように、携帯電子機器1は、PC(パーソナルコンピュータ)上で動作する作曲ツールなどを使用することなく、任意の紙に五線譜を書くだけで作曲することを可能にすることができる。また、携帯電子機器1のディスプレイ2のサイズは小さいので楽器を演奏しながらディスプレイ2を見ることは困難であるが、携帯電子機器1によれば、ユーザが所望の場所に所望の大きさで五線譜を書くことで、楽器を演奏しながら音符を見ることが可能である。
なお、作曲の最終的な内容は、ユーザが投影されている音符をなぞることで紙などに記録しても良いし、五線譜上に投影されている音符をカメラ40で撮像して携帯電子機器1の記憶部24または外部記憶部25に記憶するようにしても良い。
また、音楽学習用途として、携帯電子機器1の記憶部24または外部記憶部25に楽譜情報を用意しておき、ユーザが奏した音が楽譜の音符と合致していれば当該音符を投影し、ユーザが奏した音が楽譜の音符と合致していなければ正しい音階をハイライト表示してユーザに通知するようにしても良い。
また、上記実施形態では、投影領域に対して、携帯電子機器1を移動自在な状態としたが、本発明はこれに限定されず、投影領域となる専用スクリーンを設け、専用スクリーンに対して、携帯電子機器1を特定の位置に固定するユニットとしてもよい。ここで、図15−1は、画像投影ユニットの概略構成を説明するための斜視図であり、図15−2は、画像投影ユニットの携帯電子機器の概略構成を説明するための説明図である。図16−1は、専用スクリーン及び支持台の概略構成を説明するための斜視図であり、図16−2は、専用スクリーン及び支持台の概略構成を説明するための上面図である。なお、図16−1及び図16−2は、共に専用スクリーンに印刷物を載置した状態を示す。図15−1に示す画像投影ユニット200は、携帯電子機器201と、支持台202と、専用スクリーン204とを有する。
携帯電子機器201は、図15−2に示すように、直方体形状の筐体201Cを有する。また、筺体201Cの一面には、支持台202と連結するための連結機構220が設けられている、また、筺体201Cの長手方向の端面には、プロジェクタ234の光射出部が設けられている。なお、携帯電子機器201は、これらの点を除いて、他の構成は、基本的に携帯電子機器1と同様であるので、説明は省略する。
図16−1及び図16−2に示すように、支持台202は、携帯電子機器201を所定位置に固定する支持機構であり、筺体201Cの連結機構220と連結する連結機構222が設けられている。例えば、連結機構220がねじ穴である場合、支持台202の連結機構222は、ねじである。また、支持台202は、専用スクリーン204に固定されている。
図16−1及び図16−2に示すように、専用スクリーン204は、板状部材であり、表面が携帯電子機器201の固定位置と対面している。専用スクリーン204は、図15−1に示すように、表面に、支持台202に固定された携帯電子機器201のプロジェクタ234から出力された画像が投影される。つまり、プロジェクタ234の投影領域205が専用スクリーン204の表面の所定の領域となる。
また、専用スクリーン204は、表面に印刷物206を設置する設置領域が設けられている。さらに、専用スクリーン204は、表面に案内表示210が形成されている。ここで、案内表示210は、専用スクリーン204の表面に載置する印刷物206の載置位置の基準を示している。案内表示210が表示されている位置が、一方向の中心となるように印刷物206を載置することで、投影領域205と印刷物206との関係が一定となる。
画像投影ユニット200は、以上の構成であり、携帯電子機器201を支持台202に固定し、かつ、印刷物206を専用スクリーン204の所定の位置に載置することで、投影領域205にある印刷物206にプロジェクタ234から印刷物206に対応する画像を投影することができる。
ここで、画像投影ユニット200は、投影領域205と、印刷物206の位置(撮影領域の画像の位置)との位置関係が一義に決まる。これにより、相対的な位置調整をすることなく、投影領域に適切な画像を表示させることができる。また、投影領域の画像と、投影する画像との位置ずれの発生も低減することができる。
また、専用スクリーン204と支持台202とが一体であるため、携帯電子機器201のプロジェクタ234から投影される光が専用スクリーン204上以外の領域を照射する恐れを低減することができる。これにより、プロジェクタ234をより安全に利用することができる。
また、画像投影ユニット200の場合は、投影領域との調整が必要ないため、投影する画像を自身で選択する場合等は、携帯電子機器201にカメラを設けない構成とすることもできる。
なお、上記実施形態では、投影領域の画像が絵本等の一場面の画像である場合、投影する画像が人物である例と、投影領域の画像が地図、投影する画像が目的地を表す画像である例と、投影領域の画像が楽譜または五線譜、投影する画像が音符である例として説明したが、投影領域の画像、つまり、印刷物等の投影領域に予め形成、配置されている画像と、投影する画像、つまりプロジェクタから投影する画像との組み合わせは、種々の組み合わせとすることができる。
まず、投影領域の画像が漫画の画像である場合、投影する画像をユーザの音声に対応する人物、物等の絵としてもよい。これにより、漫画に登場させるキャラクター等をユーザが自由に選択することができる。また、いつ、誰が、どうした等をユーザが発声することにより、ユーザがキャラクターを動作させてストーリーを自由に作成することができる。また、投影する画像を台詞としてもよい。つまり、投影領域にある漫画の吹出しに、ユーザの音声に対応する台詞を投影するようにしてもよい。これにより、ユーザがストーリーを自由に作成することができる。また、入力された台詞を吹出しに対応付けて記憶することで、繰り返し表示させることができる。また、漫画に種々の台詞を当てはめることができる。
また、投影領域の画像が楽譜本の画像である場合、投影する画像を練習歴(いつ練習したか、何回練習したか)としてもよい。これにより、練習状況をユーザに通知することができる。また、投影する画像をその日に演奏した時間、過去からのトータルでその楽曲を演奏した時間としてもよい。また、楽譜の或るページの最後の音符に対応する音を検出したら、次のページの楽譜を投影するようにしてもよい。これにより、演奏中に楽譜をめくる行為を不要にすることができる。