JP2011239077A - 投影機能付き通信端末及び投影した動画と共に被写体を撮像する方法 - Google Patents

Abstract

【課題】簡単な方法で、動画から得られた静止画像と人物画像との合成を容易に行えるようにする。
【解決手段】携帯電話機１（投影機能付き通信端末）で受信された受信動画を投影面に投影し、投影面の前に被写体が立って位置決めをした状態で、携帯電話機１で受信動画を投影する再生光路２０ｂから投影面及び被写体を撮像する撮像光路２０ａへ切り換え、受信動画が投影されていない投影面及び被写体を撮像し、携帯電話機１内で、撮像した撮像画像から被写体のみを切り出し、この切り出した被写体と撮像したときの受信動画の静止画像とを合成する。
【選択図】図１

Description

本発明は、画像を撮像する機能に加え、画像を投影する投影機能付き通信端末及び投影した動画と共に被写体を撮像する方法に関するものである。

従来より、被写体に向けて補助照明光を投影する光源を有し、その投影光を用いて被写体の像を取得可能で、この被写体像を投影面に向けて投影するプロジェクタ手段を具備したカメラが知られている（例えば、特許文献１参照）。このカメラでは、プロジェクタ手段の投影光源を補助照明光の光源と共通にしている。

また、例えば、特許文献２のように、被写体画像と背景画像との画像合成を行う撮像装置が知られている。

特開２００５−２５０３９２号公報 特開２００３−４６８５４号公報

しかしながら、従来の投影機能付き通信端末では、記憶装置に記憶された背景画像と、被写体画像とを合成する場合には、各画像が別々に撮影されたものであり、被写体である人物を撮影するときに、背景画像との位置が把握できず、事後的に背景画像内に被写体を組み込むため、不自然な合成画像しかつくることができない、という問題があった。

しかも、従来の投影機能付き通信端末では、動画との合成写真を作成することはできなかった。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、簡単な方法で、動画から得られた静止画像と人物画像との合成を容易に行えるようにすることにある。

上記の目的を達成するために、この発明では、受信画像を投影した状態で被写体の位置決めを行った上で受信画像と共に被写体を撮像するようにした。

具体的には、第１の発明では、
受信及び送信機能を有する通信手段と、
レンズと、
上記レンズを介した撮像画像を取得する画像取得手段と、
上記通信手段で受信した受信画像を再生する画像再生手段と、
上記レンズを介して撮像画像を取得する撮像光路又は上記画像再生手段で再生した受信画像を上記レンズへ導く再生光路を切り換える光路切換手段と、
上記再生光路を通って上記レンズへ導かれた受信画像を投影した状態で上記被写体の位置決めを行った上で、上記光路切換手段によって上記再生光路から上記撮像光路へ切り換えて上記被写体を撮像し、該撮像した撮像画像から被写体のみを切り出し、該切り出した被写体と上記受信画像とを合成する画像合成手段とを備える構成とする。

上記の構成によると、光路切換手段で撮像光路から再生光路へ切り換えた状態で、通信手段で受信した受信画像を画像再生手段で再生し、この再生した受信画像をレンズから投射し、投影面に投影する。この受信画像を投影した状態で被写体の位置決めを行った上で、再生光路から撮像光路へ切り換えて受信画像が投影されていない投影面と共に被写体を画像取得手段で撮像する。画像合成手段によって、この撮像した撮像画像から被写体のみを切り出し、この切り出した被写体と受信画像から得られた静止画像とを合成する。受信画像を投影するレンズと、被写体を撮像するレンズとが同一であるため、位置決めされた被写体が確実に受信画像の位置決めした位置に合成されると共に、レンズを別々に設ける必要がないので、構成が簡単となる。

第２の発明では、第１の発明において、
上記受信画像は、上記通信手段により動画を受信しながら上記画像再生手段で再生するストリーミング動画であり、
上記画像合成手段において、上記撮像したときのストリーミング動画の静止画像と上記切り出した被写体とが合成される構成とする。

上記の構成によると、通信手段によってストリーミング動画を受信しながら再生し、そのストリーミング動画を投影しながら被写体がストリーミング動画の投影面の前に立つことで、好みのタイミングでストリーミング動画における静止画像と共に被写体が撮影されるので、あたかもストリーミング動画の１つの場面に被写体が登場したかのような画像が得られる。

第３の発明では、第１の発明において、
上記通信手段は、テレビ受信機能を有し、
上記受信画像は、上記通信手段によりテレビ番組を受信しながら上記画像再生手段で再生するテレビ画像であり、
上記画像合成手段において、上記撮像したときのテレビ画像の静止画像と上記切り出した被写体とが合成される構成とする。

上記の構成によると、通信手段によってテレビ番組を受信しながら再生し、そのテレビ番組を投影しながら被写体がテレビ番組の投影面の前に立つことで、好みのタイミングでテレビ番組における静止画像と共に被写体が撮影されるので、あたかもテレビ番組の１つの場面に被写体が登場したかのような画像が得られる。

第４の発明では、第１乃至第３のいずれか１つの発明において、
投影機能付き通信端末は、携帯電話機とする。

上記の構成によると、通信機能を利用して受信画像と共に被写体を撮影できる極めて商品性の高い携帯電話機が得られる。

第５の発明では、投影した動画と共に被写体を撮像する方法を前提とし、
上記方法は、
通信端末で受信された受信動画を投影面に投影し、
上記投影面の前に被写体が立った状態で上記被写体の位置決めをし、
上記位置決めをした状態で、上記通信端末で上記受信動画を投影する再生光路から上記投影面及び被写体を撮像する撮像光路へ切り換え、上記受信動画が投影されていない投影面及び被写体を撮像し、
上記通信端末内で、上記撮像した撮像画像から被写体のみを切り出し、該切り出した被写体と上記撮像したときの上記受信動画の静止画像とを合成する構成とする。

上記の構成によると、撮像光路から再生光路へ切り換えた状態で、受信した受信動画を再生し、この再生した受信動画を投射し、投影面に投影する。この受信動画を投影した状態で被写体の位置決めを行った上で、再生光路から撮像光路へ切り換えて受信動画が投影されていない投影面と共に被写体を画像取得手段で撮像する。この撮像した撮像画像から被写体のみを切り出し、この切り出した被写体と、撮像したタイミングの受信動画から得られた静止画像とを合成する。

第６の発明では、第５の発明において、
上記受信画像は、動画を受信しながら再生するストリーミング動画であり、
上記撮像したときのストリーミング動画の静止画像と上記切り出した被写体とが合成される構成とする。

上記の構成によると、通信機能を利用してストリーミング動画を受信しながら再生し、そのストリーミング動画を投影しながら被写体がストリーミング動画の投影面の前に立つことで、好みのタイミングでストリーミング動画における静止画像と共に被写体が撮影されるので、あたかもストリーミング動画の１つの場面に被写体が登場したかのような画像が得られる。

第７の発明では、第６の発明において、
上記ストリーミング動画は、他の地域にある通信端末で録画されている動画とする。

上記の構成によると、他の地域で風景などを動画として録画しながら、その動画を別の場所で再生して投影し、その動画の前に被写体が立って撮影をすることで、あたかも他の地域に被写体がいるような画像が得られる。

第８の発明では、第５の発明において、
上記受信画像は、テレビ番組を受信しながら再生するテレビ画像であり、
上記撮像したときのテレビ画像の静止画像と上記切り出した被写体とが合成される構成とする。

上記の構成によると、テレビ番組を受信しながら再生し、そのテレビ番組を投影しながら被写体がテレビ番組の投影面の前に立つことで、好みのタイミングでテレビ番組における静止画像と共に被写体が撮影されるので、あたかもテレビ番組の１つの場面に被写体が登場したかのような画像が得られる。

以上説明したように、本発明によれば、通信機能を利用し、その受信画像を投影した状態で、投影面の前に被写体が立って撮像し、撮像した撮像画像から被写体のみを切り出し、この切り出した被写体と受信画像とを合成するようにしているので、簡単な方法で、動画から得られた静止画像と人物画像との合成を容易に行うことができる。

本実施形態の携帯電話機の内部構造を示す説明図である。 携帯電話機を正面から見た斜視図であり、（ａ）が正面斜視図で、（ｂ）が背面斜視図である。 投影した動画と共に被写体を撮像する方法のフローチャートである。 保存画像を投影する様子を示す説明図である。 投影図の前に被写体が立つ様子を示す説明図である。 投影図の前に被写体が立って位置決めする様子を示す説明図である。 切り出された被写体が静止画像と合成された合成写真を示す説明図である。 ストリーミング合成モードにおける画像処理のフローチャートである。 ストリーミング合成モードにおける画像処理におけるデータのやりとりの一工程を示す説明図である。 ストリーミング合成モードにおける画像処理におけるデータのやりとりの他の工程を示す説明図である。 ストリーミング合成モードにおける画像処理におけるデータのやりとりの他の工程を示す説明図である。 ストリーミング合成モードにおける画像処理におけるデータのやりとりの他の工程を示す説明図である。 ストリーミング合成モードにおける画像処理におけるデータのやりとりの他の工程を示す説明図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１及び図２は本発明の実施形態の投影機能付き通信端末としての携帯電話機１を示す。この携帯電話機１は、合成樹脂又は金属製の筐体よりなる端末本体２を備え、その端末本体２の背面側にオートフォーカス機能を有するレンズユニット３を備えている。レンズユニット３の近傍には、撮影時に補助光を発生するストロボ４が設けられている。端末本体２の正面の上下には、音声入出力部５（通信用スピーカ５ａ及び通信用マイク５ｂ）がそれぞれ配置され、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置としてのディスプレイ１５も配置されている。ディスプレイ１５の下方には、携帯電話機１の各機能を操作するための操作ボタン８が配置されている。

端末本体２の内部には、レンズユニット３を介した撮像画像を取得する画像取得手段としてのイメージセンサ６が設けられている。イメージセンサ６としては、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子が使用され、得られた光を電気信号に変換するように構成されている。

端末本体２の内部には、アンテナ４０が内蔵され、このアンテナ４０は、通信手段としての無線部４１に接続されている。無線部４１は、アンテナ４０を利用して受信及び送信機能を発揮する。無線部４１は、アナログ・ベースバンド処理部４２に接続されている。

アナログ・ベースバンド処理部４２は、無線部４１で処理された信号から音声信号を取得し、通信用スピーカ５ａを駆動し、また、通信用マイク５ｂによりピックアップした音声信号をアナログベースバンド送信信号に変換して無線部４１に送るように構成されている。

アナログ・ベースバンド処理部４２は、デジタル・ベースバンド処理部の機能を備えた中央処理装置（ＣＰＵ１４）に接続されている。ＣＰＵ１４は、デジタル・ベースバンド処理として、アナログ信号をディジタル化する機能の他に、アナログ・ベースバンド処理部４２、ディスプレイ１５等を統括して制御し、携帯電話機１の基本機能をコントロールするように構成されている。

携帯電話機１の第１メモリ１８には、電話番号情報、静止画像データ、動画データ等が保存されている。

ＣＰＵ１４は、アプリケーション処理部４３に接続されている。アプリケーション処理部４３では、例えば第２メモリ１９に格納された各種ソフトウェアの処理が行われる。例えばアプリケーション処理部４３には、地上デジタルＴＶ放送処理、音楽等を処理する音源処理、ＧＰＳ処理、後述する画像処理合成部１７等が含まれる。

携帯電話機１では、図１に二点鎖線で示すように、レンズユニット３によって焦点がイメージセンサ６に合わされて撮像画像が取得された後、イメージセンサ６で取得したアナログの電気信号は、画像合成手段としての画像処理装置１０に送信される。画像処理装置１０は、アナログデジタル変換部（Ａ／Ｄ部１１）を備え、このＡ／Ｄ部１１で、アナログの電気信号がデジタル信号に変換される。このデジタル信号は、メディアコントローラ（ＭＣ１２）で処理され、上記第２メモリ１９で保存される。第２メモリ１９は、リードオンリーメモリ（ＲＯＭ１３）、ランダムアクセスメモリ（ＲＡＭ３０）、ワーキングメモリ３１等を含む。

同様に、アンテナ４０を介して受信された静止画像、動画等の受信画像はアプリケーション処理部４３で処理され、第１メモリ１８や第２メモリ１９に保存される。なお、ストリーミング動画は、例えば、第２メモリ１９のＲＯＭ１３上のバッファメモリに一時的に格納されるようになっている。これら第１メモリ１８や第２メモリ１９に保存された保存画像は、ディスプレイ１５に表示可能となっている。

一方、携帯電話機１は、第１メモリ１８や第２メモリ１９に保存された保存画像を再生する画像再生手段としてのデジタルミラーデバイスチップ（ＤＭＤチップ１６）を備えている。ＤＭＤチップ１６は、多数の微小鏡面であるマイクロミラーを平面に配列した表示素子の一種であり、ＣＰＵ１４の制御により、端末本体２内の適切な位置に配置されたＬＥＤなどの再生用光源７からの光が、このＤＭＤチップ１６に投射され、第１メモリ１８や第２メモリ１９に保存した保存画像だけでなく、アンテナ４０を介して受信した受信画像（静止画像及び動画）を投影可能となっている。図１に実線で示すように、投影された保存画像や受信画像は、光路切換手段２０で光路を切り換えられ、レンズユニット３を介して再生画像２７として白色壁などの投影面２５に投射される。そして、レンズユニット３の焦点機能を利用して投影面２５でのピントが合わせられる。なお、ディスプレイ１５には、再生画像も同時に映し出すことができるようになっている。

具体的には、光路切換手段２０は、図１に二点鎖線で示すように、レンズユニット３を介して撮像画像を取得する撮像光路２０ａと、同図に実線で示すように、ＤＭＤチップ１６で再生した保存画像やストリーミング動画をレンズユニット３へ導く再生光路２０ｂとのいずれかに切り換え可能に構成されている。光路切換手段２０は、反射鏡２１と、切換スイッチ２２と、この切換スイッチ２２が操作されたときに反射鏡２１の角度を変える反射鏡駆動手段２３とを備えている。切換スイッチ２２は、例えば、操作ボタン８と連動するように構成されている。詳しくは図示しないが、反射鏡駆動手段２３は、反射鏡２１を備える支持軸、反射鏡２１を駆動するアクチュエータ等を備えている。

そして、携帯電話機１は、レンズユニット３へ導かれた保存画像や受信画像を投影した状態で被写体２６の位置決めを行った上で、光路切換手段２０によって光路を切り換えて被写体２６を撮像し、画像処理合成部１７において、この撮像した撮像画像から被写体２６のみを切り出し、この切り出した被写体２６と保存画像又は受信画像とを合成するように構成されている。

−投影した動画と共に被写体を撮像する方法−
次に、本実施形態にかかる投影した動画と共に被写体２６を撮像する方法について図面を用いて詳細に説明する。

図３に示すように、まずステップＳ０１において、撮影モードか再生モードか選択される。撮影モードではなく再生モードが選択されると、ステップＳ０２に進む。

ステップＳ０２において、プロジェクタモードかどうかが選択される。プロジェクタモードが選択されなかった場合、ステップＳ０３に進んでディスプレイ表示モードが実行される。

ディスプレイ表示モードでは、ステップＳ０３１において画像プレビューの表示や操作が行われる。具体的には、第１メモリ１８や第２メモリ１９内の保存画像（動画及び静止画像）を選択したり、ストリーミング動画を受信したりしてディスプレイ１５上に保存画像、ストリーミング動画等が表示された状態で、各種操作が行われる。ディスプレイ選択モードは、ユーザーの操作により適宜終了する。

一方、ステップＳ０２でプロジェクタモードが選択されると、ステップＳ０４で切換スイッチ２２が閉じられる。すると、図１に実線で示すように、光路切換手段２０によって反射鏡２１が揺動駆動され、光路が撮像光路２０ａから再生光路２０ｂへ切り換えられる。ＤＭＤチップ１６が、再生用光源７の光を利用して第１メモリ１８や第２メモリ１９内の保存画像やストリーミング動画を再生し、反射鏡２１で反射された映像が再生光路２０ｂを通ってレンズユニット３へ導かれ、プロジェクタ機能が発揮される。

次いで、ステップＳ０５において、レンズユニット３の焦点機能を利用して投影面２５との間の距離に合わせてピントが合わされる。

次いで、ステップＳ０６で画像プレビューの投影表示及びその操作が行われる。例えば、携帯電話機１の操作ボタンを操作し、ＲＯＭ１３内の保存画像をスライドショー機能を利用して自動再生したり、ストリーミング動画を投射したりする。プロジェクタモードは、ユーザーの操作により適宜終了する。

また、ステップＳ０１で撮影モードが選択された場合には、ステップＳ０７に進み、合成撮影モードか否かが選択される。合成撮影モードでない場合には、ステップＳ０８に進み、通常の撮影モードが選択される。

通常の撮影モードにおいて、ステップＳ０８で切換スイッチ２２が開かれ、図１に二点鎖線で示すように、反射鏡２１が光路内から退避され、レンズユニット３からの光が直接イメージセンサ６に投射される、撮像光路２０ａに切り換えられる。

次いで、ステップＳ０９において、オートフォーカス機能で被写体２６との距離が検出され、ステップＳ１０において、自動でピントが合わされる。なお、手動でピント合わせを行ってもよい。

次いで、ピント合わせが終了したら適宜操作ボタン８が押され被写体２６が撮影される。このとき、光量不足等により適宜ストロボ４が使用される。

次いで、ステップＳ１１において、画像処理合成部１７で画像処理が行われ、ステップＳ１２でＲＯＭ１３に画像が記録される。通常撮影モードは、ユーザーの操作により適宜終了される。

一方、ステップＳ０７において合成撮影モードが選択された場合、ステップＳ０７１に進み、画像合成モードであるか判定される。画像合成モードであれば、ステップＳ１３に進んで切換スイッチ２２が閉じられる。すると、ステップＳ０４と同様に、光路切換手段２０によって反射鏡２１が揺動され、撮像光路２０ａから再生光路２０ｂへ切り換えられる。この再生光路２０ｂを通し、ＤＭＤチップ１６が、再生用光源７の光を利用してＲＯＭ１３内の保存画像を再生し、反射鏡２１で反射された映像がレンズユニット３へ導かれる。

次いで、ステップＳ１４において、レンズユニット３の焦点機能を利用して投影面２５との間の距離に合わせてピントが合わされる。

次いで、ステップＳ１５において、ＲＯＭ１３に保存された保存画像が選択され、図４に示すように、投影面２５に再生画像２７として投影される。人物等の被写体２６及びユーザーである撮影者は、まず、再生画像２７が投影された投影面２５を見て被写体２６が立つ位置を考える。

次いで、図５に示すように、ステップＳ１６において、被写体２６が移動して投影面２５の前に立ち投影範囲内に入る。なお、光路の関係でディスプレイ１５上には、再生画像２７のみが表示され、被写体２６は表示されない。なお、別の光路を設けておけば、被写体２６を含んだ画像をディスプレイ１５上に表示することも可能となる。

次いで、図６に示すように、ステップＳ１７において、撮影者は、被写体２６と投影面２５に投影された保存画像（再生画像２７）を見ながら被写体２６の立つ位置を指示し、撮影するか判断する。

被写体２６の立つ適切な位置が発見でき、撮影可能と考えた撮影者は、ステップＳ１８で操作ボタン８を半押しする。すると、ステップＳ０８と同様に、切換スイッチ２２が開かれ、反射鏡２１が光路内から退避され、レンズユニット３からの光が直接イメージセンサ６に投射される撮像光路２０ａに切り換えられる。

次いで、ステップＳ１９において、オートフォーカス機能によって被写体２６との距離が検出され、ステップＳ２０において、自動でピントが合わされる。

次いで、ピント合わせが終了したら適宜操作ボタン８が押され被写体２６が撮影される。

次いで、ステップＳ２１において、画像処理合成部１７で画像処理が行われ、被写体２６である人物画像が切り出され、ステップＳ２２で図７で示すように画像が合成され、ＲＯＭ１３に保存される。合成撮影モードは、ユーザーの操作により適宜終了される。

一方、ステップＳ０７１において画像合成モードが選択されなかった場合、ステップＳ２３に進み、ストリーミング合成モードであるか判定される。ストリーミング合成モードであれば、ステップＳ２４に進み、ストリーミング動画の受信が開始される。具体的には、アンテナ４０で受信されたストリーミング動画が、無線部４１を通って取り込まれ、アプリケーション処理部４３で処理され、一時的に例えば第２メモリ１９内のＲＡＭ３０上のバッファメモリに格納される。

次いで、ステップＳ２５に進んで切換スイッチ２２が閉じられる。すると、ステップＳ１３と同様に、光路切換手段２０によって反射鏡２１が揺動され、撮像光路２０ａから再生光路２０ｂへ切り換えられる。この再生光路２０ｂを通し、ＤＭＤチップ１６が、再生用光源７の光を利用してＲＡＭ３０内にある受信動画を再生し、反射鏡２１で反射された映像がレンズユニット３へ導かれる。

次いで、ステップＳ２６において、レンズユニット３の焦点機能を利用して投影面２５との間の距離に合わせてピントが合わされる。

次いで、ステップＳ２７において、ＲＡＭ３０上の受信動画が、図４に示すように、投影面２５に再生画像２７として投影される。なお、受信動画は実際には時々刻々移り変わっているが、簡略化のために図面では同じ場面を表している。人物等の被写体２６及びユーザーである撮影者は、まず、再生画像２７が投影された投影面２５を見て被写体２６が立つ位置を考える。

次いで、図５に示すように、ステップＳ２８において、被写体２６が移動して投影面２５の前に立ち投影範囲内に入る。

次いで、図６に示すように、ステップＳ２９において、撮影者は、被写体２６と投影面２５に投影された再生画像２７を見ながら被写体２６の立つ位置を指示し、撮影するか判断する。

図７に示すように、被写体２６の立つ適切な位置が発見でき、撮影可能と考えた撮影者は、ステップＳ３０で操作ボタン８を半押しする。すると、ステップＳ１８と同様に、切換スイッチ２２が開かれ、反射鏡２１が光路内から退避され、レンズユニット３からの光が直接イメージセンサ６に投射される撮像光路２０ａに切り換えられる。

次いで、ステップＳ３１において、オートフォーカス機能によって被写体２６との距離が検出され、ステップＳ３２において、自動でピントが合わされる。

次いで、ピント合わせが終了したら適宜操作ボタン８が押され被写体２６が撮影される。

次いで、ステップＳ３３において、画像処理合成部１７で画像処理が行われ、被写体２６である人物画像が切り出され、ステップＳ３４で撮像時の動画における静止画像と人物画像とが合成され、ＲＯＭ１３に保存される。ストリーミング合成モードは、ユーザーの操作により適宜終了される。

このように、通信機能を利用してストリーミング動画を受信しながら再生し、そのストリーミング動画を投影しながら被写体２６がストリーミング動画の投影面２５の前に立つことで、好みのタイミングでストリーミング動画における静止画像と共に被写体２６が撮影されるので、あたかもストリーミング動画の１つの場面に被写体２６が登場したかのような画像が得られる。一方、他の地域で風景などを動画として録画しながら、その動画を別の場所で再生して投影し、その動画の前に被写体２６が立って撮影してもよい。このことで、あたかも他の地域に被写体２６がいるような画像が得られる。

一方、ステップＳ２３においてストリーミング合成モードが選択されなかった場合、ステップＳ３５に進み、テレビ映像合成モードであるか判定される。テレビ映像合成モードでなければ、ステップＳ０１に戻る。テレビ映像合成モードであれば、ステップＳ３６に進み、テレビ番組の受信が開始される。具体的には、アンテナ４０で受信されたテレビ画像が、無線部４１を通って取り込まれ、アプリケーション処理部４３で処理される。

次いで、ステップＳ３７に進んで切換スイッチ２２が閉じられる。すると、ステップＳ２５と同様に、光路切換手段２０によって反射鏡２１が揺動され、撮像光路２０ａから再生光路２０ｂへ切り換えられる。この再生光路２０ｂを通し、ＤＭＤチップ１６が、再生用光源７の光を利用して受信中のテレビ画像を再生し、反射鏡２１で反射された映像がレンズユニット３へ導かれる。

次いで、ステップＳ３８において、レンズユニット３の焦点機能を利用して投影面２５との間の距離に合わせてピントが合わされる。

次いで、ステップＳ３９において、受信中のテレビ画像が、図４に示すように、投影面２５に再生画像２７として投影される。なお、テレビ画像も実際には時々刻々移り変わっているが、簡略化のために図面上は同じ場面を表している。人物等の被写体２６及びユーザーである撮影者は、まず、再生画像２７が投影された投影面２５を見て被写体２６が立つ位置を考える。

次いで、図５に示すように、ステップＳ４０において、被写体２６が移動して投影面２５の前に立ち投影範囲内に入る。

次いで、図６に示すように、ステップＳ４１において、撮影者は、被写体２６と投影面２５に投影された再生画像２７を見ながら被写体２６の立つ位置を指示し、撮影するか判断する。

図７に示すように、被写体２６の立つ適切な位置が発見でき、撮影可能と考えた撮影者は、ステップＳ４２で操作ボタン８を半押しする。すると、ステップＳ１８と同様に、切換スイッチ２２が開かれ、反射鏡２１が光路内から退避され、レンズユニット３からの光が直接イメージセンサ６に投射される撮像光路２０ａに切り換えられる。

次いで、ステップＳ４３において、オートフォーカス機能によって被写体２６との距離が検出され、ステップＳ４４において、自動でピントが合わされる。

次いで、ピント合わせが終了したら適宜操作ボタン８が押され被写体２６が撮影される。

次いで、ステップＳ４５において、画像処理合成部１７で画像処理が行われ、被写体２６である人物画像が切り出され、ステップＳ４６で撮像時のテレビ画像における静止画像と人物画像とが合成され、ＲＯＭ１３に保存される。テレビ映像合成モードは、ユーザーの操作により適宜終了される。

このように、テレビ番組を受信しながら再生し、そのテレビ番組を投影しながら被写体２６がテレビ番組の投影面２５の前に立つことで、好みのタイミングでテレビ番組における静止画像と共に被写体が撮影されるので、あたかもテレビ番組の１つの場面に被写体２６が登場したかのような画像が得られる。

−ストリーミング合成モードにおける画像処理−
次にストリーミング合成モードにおける画像処理を例にとって詳細に説明する。

まず、図８に示すように、ステップＳ５０において、受信中のストリーミング動画ｍｐｇ００１を投影面２５に投影した場合を考える。このときは、図９に示すように、ＲＡＭ３０のバッファメモリにあるストリーミング動画ｍｐｇ００１がＤＭＤチップ１６で再生され、光路切換手段２０の切換動作により、再生光路２０ｂを通ってレンズユニット３を介してストリーミング動画ｍｐｇ００１が再生画像２７として投影面２５に映し出される。なお、ストリーミング動画ｍｐｇ００１は、時々刻々移り変わるが、簡略化のために同じ図面を用いている。

次いで、ステップＳ５１において、ストリーミング合成モードであるかどうかが判断される。ストリーミング合成モードでなければ、通常のプロジェクタモードとなる。ストリーミング合成モードであれば、ステップＳ５２に進み、図１０に示すように、被写体２６が投影面２５の前に立って位置決めが行われる。

次いで、図１１に示すように、投影面２５の前に立った被写体２６が撮影され、光路切換手段２０で切り換えられた撮像光路２０ａを通ってイメージセンサ６で取得された撮像画像ｊｐｇ００２がＲＡＭ３０に一時的に格納される。なお、撮像画像ｊｐｇ００２は、撮影の瞬間に光路切換手段２０によって光路が切り換えられているので、ストリーミング動画ｍｐｇ００１は映し出されず、投影面２５及び被写体２６のみが映し出される。投影面２５上にある例えばカレンダー２５ａなどの不要なものも撮像画像ｊｐｇ００２には含まれている。同時に撮像時のストリーミング動画ｍｐｇ００１における静止画像ｊｐｇ００１もＲＡＭ３０に一時的に格納される。

次いで、ステップＳ５３において、撮影者がディスプレイ１５上で撮影した撮像画像ｊｐｇ００２を見て保存するかどうか確認する。被写体２６が目をつぶっているなど、適切な撮像画像ｊｐｇ００２が得られなかった場合には、再び撮影を繰り返す。適切な撮像画像ｊｐｇ００２が得られた場合、ステップＳ５４に進み、図１１に示すように、ＲＯＭ１３に撮像画像ｊｐｇ００２が記憶される。

次いで、ステップＳ５５で、図１２に示すように、被写体２６である人物画像の切り出しが行われる。具体的には、画像処理合成部１７のソフトウェアにて公知の方法で撮像画像ｊｐｇ００２から被写体２６部分が切り出され、被写体画像ｊｐｇ００３がワーキングメモリ３１に保存される。被写体画像ｊｐｇ００３では、カレンダー２５ａなどの不要なものは映し出されていない。

次いで、ステップＳ５６において、ＲＡＭ３０上に一時的に格納した静止画像ｊｐｇ００１をワーキングメモリ３１にコピーする。

次いで、ステップＳ５７において、図１３に示すように、静止画像ｊｐｇ００１と被写体画像ｊｐｇ００３とが合成される。そして、静止画像ｊｐｇ００１の前面に被写体画像ｊｐｇ００３が合成された合成画像ｊｐｇ００４がＲＯＭ１３に保存され、ストリーミング合成モードにおける画像処理が終了する。

このように、本実施形態では、ストリーミング動画ｍｐｇ００１を投影するレンズユニット３と、被写体２６を撮像するレンズユニット３とが同一であるため、位置決めされた被写体２６が確実に静止画像ｊｐｇ００１の位置決めした位置に合成される。また、レンズユニット３を別々に設ける必要がないので、構成が簡単となっている。

したがって、本実施形態にかかる携帯電話機１によると、通信機能を利用し、その受信画像であるストリーミング動画やテレビ画像を投影した状態で、投影面２５の前に被写体２６が立って撮像し、撮像した撮像画像から被写体２６のみを切り出し、この切り出した被写体２６と受信画像とを合成するようにしているので、簡単な方法で、動画から得られた静止画像と人物画像との合成を容易に行うことができる。

（その他の実施形態）
本発明は、上記実施形態について、以下のような構成としてもよい。

すなわち、上記実施形態では、再生用光源７をストロボ４の光源と別に設けたが、再生用光源としてストロボ４の光源を共用してもよい。

上記実施形態では、投影機能付き通信端末として、携帯電話機１の例を示したが、投影機能付き通信端末は、通信機能を有する、ＰＨＳ（Personal Handy-phone System ）、ＰＤＡ(Personal Digital Assistant)、パソコン、モバイルツール、電子辞書、電卓、ゲーム機等であってもよい。

上記実施形態では、被写体２６とは別の撮影者が撮影を行うようにしているが、被写体自身がセルフタイマーやリモコンを用いてシャッターを押すようにしてもよい。

なお、以上の実施形態は、本質的に好ましい例示であって、本発明、その適用物や用途の範囲を制限することを意図するものではない。

以上説明したように、本発明は、携帯電話機などの投影機能付き通信端末及び投影した動画と共に被写体を撮像する方法について有用である。

１ 携帯電話機（投影機能付き通信端末）
３ レンズユニット
６ イメージセンサ（画像取得手段）
１０ 画像処理装置（画像合成手段）
１３ ＲＯＭ（画像保存手段）
１６ ＤＭＤチップ（画像再生手段）
２０ 光路切換手段
２０ａ 撮像光路
２０ｂ 再生光路
２１ 反射鏡（光路切換手段）
２２ 切換スイッチ（光路切換手段）
２３ 反射鏡駆動手段（光路切換手段）
２５ 投影面
２６ 被写体
４１ 無線部（通信手段）

Claims (8)

1. 受信及び送信機能を有する通信手段と、
   レンズと、
   上記レンズを介した撮像画像を取得する画像取得手段と、
   上記通信手段で受信した受信画像を再生する画像再生手段と、
   上記レンズを介して撮像画像を取得する撮像光路又は上記画像再生手段で再生した受信画像を上記レンズへ導く再生光路を切り換える光路切換手段と、
   上記再生光路を通って上記レンズへ導かれた受信画像を投影した状態で上記被写体の位置決めを行った上で、上記光路切換手段によって上記再生光路から上記撮像光路へ切り換えて上記被写体を撮像し、該撮像した撮像画像から被写体のみを切り出し、該切り出した被写体と上記受信画像とを合成する画像合成手段とを備えている
   ことを特徴とする投影機能付き通信端末。
2. 請求項１に記載の投影機能付き通信端末において、
   上記受信画像は、上記通信手段により動画を受信しながら上記画像再生手段で再生するストリーミング動画であり、
   上記画像合成手段において、上記撮像したときのストリーミング動画の静止画像と上記切り出した被写体とが合成される
   ことを特徴とする投影機能付き通信端末。
3. 請求項１に記載の投影機能付き通信端末において、
   上記通信手段は、テレビ受信機能を有し、
   上記受信画像は、上記通信手段によりテレビ番組を受信しながら上記画像再生手段で再生するテレビ画像であり、
   上記画像合成手段において、上記撮像したときのテレビ画像の静止画像と上記切り出した被写体とが合成される
   ことを特徴とする投影機能付き通信端末。
4. 請求項１乃至３のいずれか１つに記載の投影機能付き通信端末において、
   携帯電話機である
   ことを特徴とする投影機能付き通信端末。
5. 投影した動画と共に被写体を撮像する方法において、
   通信端末で受信された受信動画を投影面に投影し、
   上記投影面の前に被写体が立った状態で上記被写体の位置決めをし、
   上記位置決めをした状態で、上記通信端末で上記受信動画を投影する再生光路から上記投影面及び被写体を撮像する撮像光路へ切り換え、上記受信動画が投影されていない投影面及び被写体を撮像し、
   上記通信端末内で、上記撮像した撮像画像から被写体のみを切り出し、該切り出した被写体と上記撮像したときの上記受信動画の静止画像とを合成する
   ことを特徴とする投影した動画と共に被写体を撮像する方法。
6. 請求項５に記載の投影した動画と共に被写体を撮像する方法において、
   上記受信画像は、動画を受信しながら再生するストリーミング動画であり、
   上記撮像したときのストリーミング動画の静止画像と上記切り出した被写体とが合成される
   ことを特徴とする投影した動画と共に被写体を撮像する方法。
7. 請求項６に記載の投影した動画と共に被写体を撮像する方法において、
   上記ストリーミング動画は、他の地域にある通信端末で録画されている動画である
   ことを特徴とする投影した動画と共に被写体を撮像する方法。
8. 請求項５に記載の投影した動画と共に被写体を撮像する方法において、
   上記受信画像は、テレビ番組を受信しながら再生するテレビ画像であり、
   上記撮像したときのテレビ画像の静止画像と上記切り出した被写体とが合成される
   ことを特徴とする投影した動画と共に被写体を撮像する方法。

Images