JP2004248225A - 携帯端末装置及び移動通信システム - Google Patents

Abstract

【課題】搭載カメラで撮影したパノラマ画像を立体画像にして表示可能な携帯端末装置及び移動通信システムを提供する。
【解決手段】携帯端末装置としての携帯電話機１０は、無線により基地局３０との接続を行う無線部１０ｂ、全体を制御する制御部１０ｃ、デジタルカメラとして機能するカメラ部１０ｍ、表示部１０ｉ、パノラマ画像データ及びパノラマ立体画像を生成する３Ｄ画像生成部１０ｄ等を備える。３Ｄ画像生成部１０ｄは、カメラ部１０ｍで撮影した複数枚の撮影画像の糊代部分を接合して生成したパノラマ画像データ又は携帯電話機２０から送られてきたパノラマ画像データを立体画像（例えば、円筒）の内面等にマッピングしてパノラマ立体画像を生成する。このパノラマ立体画像は、制御部１０ｃにより表示部１０ｉに表示される。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、携帯端末装置及び移動通信システムに関し、特に、搭載カメラで撮影した画像をパノラマ画像データにし、これを３Ｄ（三次元）画像にして表示したり他の携帯端末装置機へ送信可能な携帯端末装置及び移動通信システムに関する。
【０００２】
【従来の技術】
近年、携帯端末装置、特に携帯電話機やＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）電話機の多機能化はめざましく、本来の電話機としての機能の他にカメラ機能を備え、撮影した風景画像や人物画像の複数枚をメモリに記憶し、この画像を液晶表示器にカラーで表示したり、第三者の携帯電話機に伝送できる機能を備えたカメラ付きの機種が人気を呼んでいる。カメラ付き携帯電話機は、「画像の撮影」、「画像のメール送付」等の機能を備えており、風景、人物などを撮影して友人等にメールで送付して情景を伝える用途等に利用されている。
【０００３】
また、画像を送信する場合でも、画像のみで無音であれば雰囲気や状況を正確に伝えることができないことから、画像と同時に周囲の雑踏の録音内容や音声（画像内容の解説等）内容を音情報にし、撮影画像と共に送信できる通信端末装置が提案されている（例えば、特許文献１参照）。
【０００４】
更に、観光地、高原、山頂等での雄大な風景を３５ｍｍフィルムカメラの標準レンズや準広角レンズに相当するレンズを備えたカメラ部で撮影した場合、撮影者が現地で実感したようなスケールのある風景画像を得ることはできない。そこで、所望の範囲をカバーするように連続的に複数枚を撮影し、これを連結して１枚の画像にして表示するパノラマ写真の技法が知られている。パノラマ写真は、水平方向又は垂直方向の隣接する画像との間の重なりにずれ（上下方向又は斜め）があると、全体を１枚の画像として見たときに綺麗な横長の画像にならないため、水平位置及び垂直位置に並ぶ画像は同一軸上に配置されることが望ましいが、手持ちにより複数枚を撮影した場合、慎重にカメラ部（又は携帯端末装置）を動かしても、画像間のつなぎ目に位置ずれを生じることは避けられない。そこで、パノラマ写真の撮影を自動化したカメラ遠隔制御システムが提案されている（例えば、特許文献２参照）。
【０００５】
すなわち、携帯電話端末機を通信手段に用いて、現地に設置されたデジタルカメラを遠隔操作するもので、その際、全撮影範囲に対応するパノラマ画像枠がデジタルカメラの視野で分割して設定しておき、撮影範囲の方位をポインタで指定し、この指定方位になるように雲台を制御し、方位検出器による検出値と方位指定値とが一致したとき、デジタルカメラを駆動して撮影を行い、得られた画像データを処理装置側へ転送し、処理装置の画面に表示する。パノラマ画像枠内の全撮影範囲について方位を一致（方位指定値＝方位検出値）させながら撮影し、その都度画像データを取り込み、パノラマ画像枠内の夫々の指定位置に嵌め込むことにより、１枚のパノラマ画像が完成する。
【０００６】
【特許文献１】
特開２０００−２９５６６７号公報
【特許文献２】
特開２００２−１６９０９号公報
【０００７】
【発明が解決しようとする課題】
しかし、従来の携帯端末装置によると、そのカメラ機能による撮影画像は、１枚画像かパノラマ画像かを問わず平面画像であるため、立体化した画像（３次元画像）のように臨場感のある画像を表示部に表示することができない。更に、撮影した画像を他の携帯端末装置へ送信する機能も備えているものの、平面画像しか送ることができず、また、受信側も３Ｄ画像を処理及び表示する機能を備えていないため、送信側のユーザーが見た雰囲気や迫力を受信側のユーザーに伝えることができない。また、動画メールの送信も殆どの機種で可能であるが、動画メールは撮影時の画像のまま送られるため、受信側では一定の動作でしか見ることができず、例えば、受信側のユーザーの意志で視界を動かす等の操作は行えない。このように、現状のカメラ付き携帯端末装置は、ユーザーを充分に満足させるだけのカメラ機能を備えているとはいえず、立体画像の表示機能及び伝送機能を備えた携帯端末装置の開発が望まれる。
【０００８】
本発明の目的は、搭載カメラで撮影したパノラマ画像を立体画像にして表示可能な携帯端末装置を提供することにある。
【０００９】
また、本発明の他の目的は、搭載カメラで撮影した画像を基に生成したパノラマ画像の送受信、及びパノラマ画像による立体画像の生成及び表示が可能な移動通信システムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、上記の目的を達成するため、第１の特徴として、撮影した被写体像を撮像素子に結像させることによりデジタル化した画像データを生成するカメラ部と、前記画像データの複数枚を連結してパノラマ画像データを生成するパノラマ画像データ生成手段と、前記パノラマ画像データに基づいてパノラマ立体画像を生成するパノラマ立体画像生成手段と、前記パノラマ立体画像を表示する表示部と、前記カメラ部、前記パノラマ画像データ生成手段、前記パノラマ立体画像生成手段、及び前記表示部を制御する制御部を備え、前記制御部は、前記パノラマ画像データを立体画像生成コマンドと共に無線部を介して送信すると共に、受信したときに前記パノラマ画像データに基づいて前記パノラマ立体画像を前記パノラマ立体画像生成手段に生成させることを特徴とする携帯端末装置を提供する。
【００１１】
この構成によれば、カメラ部で撮影した複数の画像はパノラマ画像データ生成手段によって連結された１枚のパノラマ画像データにされ、このパノラマ画像データに基づいてパノラマ立体画像生成手段によりパノラマ立体画像を生成して表示部に表示することも、パノラマ画像データを立体画像生成コマンドと共に送信することもできる。また、パノラマ立体画像生成手段は、他の携帯端末装置から受信したパノラマ画像データを立体画像生成コマンドに従ってパノラマ立体画像にし、表示部に表示する。したがって、表示部には、平面のパノラマ画像ではなく、立体画像を表示できるため、雰囲気、雄大さ、臨場感等のあるパノラマ立体画像を表示部に表示することが可能になる。
【００１２】
本発明は、上記の目的を達成するため、第２の特徴として、無線通信網を介して接続される第１及び第２の携帯端末装置によって構成され、前記第１及び第２の携帯端末装置は、撮影した被写体像を撮像素子に結像させることによりデジタル化した画像データを生成するカメラ部と、前記画像データの複数枚を連結したパノラマ画像データの生成及び前記パノラマ画像データ又は受信したパノラマ画像データに基づいてパノラマ立体画像を生成する画像生成部と、前記パノラマ立体画像を表示する表示部を備え、前記第１及び第２の携帯端末装置の１つの携帯端末装置は、前記パノラマ画像データを立体画像生成コマンドと共に送信すると共に、前記第１及び第２の携帯端末装置の他の携帯端末装置から受信したとき、前記受信したパノラマ画像データによる前記パノラマ立体画像を前記画像生成部に生成させることを特徴とする移動通信システムを提供する。
【００１３】
この構成によれば、カメラ部による複数の画像データを基に作成したパノラマ画像データは、第１又は第２の携帯端末装置の１つから他の携帯端末装置に向けて立体画像生成コマンドと共に送信され、また、他の携帯端末装置から送られてきたパノラマ画像データは画像生成部によってパノラマ立体画像にされ、表示部に表示される。これにより、送信側のユーザーが見た景色等の雰囲気、雄大さ、臨場感等を受信側のユーザーに伝えることが可能になる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明の実施の形態に係る携帯端末装置及び移動通信システムの構成を示す。以下においては、携帯端末装置はカメラ付き携帯電話機（以下、携帯電話機という）であるとする。
【００１５】
携帯電話機１０，２０は内蔵の二次電池（図示せず）を電源にして動作し、携帯電話会社の電話網を形成する基地局３０（３０ａはアンテナ）を介して無線により相互接続することができる。携帯電話機１０は、アンテナ１０ａ、このアンテナ１０ａに接続された無線部１０ｂ、制御部１０ｃ、画像生成部としての３Ｄ画像生成部１０ｄ、ＲＯＭ１０ｅ、記憶媒体としてのメモリ１０ｆ、音声合成処理を行う音声合成部１０ｇ、操作部１０ｈ、液晶表示器及びその駆動回路により構成された表示部１０ｉ、送話器としてのマイクロホン（以下、マイクという）１０ｊ、受話器としてのスピーカ１０ｋ、音声処理部１０ｌ、カメラ部１０ｍ、バス１０ｎを備えて構成されている。バス１０ｎは各部材と制御部１０ｃを接続しており、データバス、アドレスバス、及びコントロールバスを備えている。
【００１６】
３Ｄ画像生成部１０ｄは３Ｄエンジンを備え、レンダリング処理やテクスチャマッピング処理を実行する。その処理機能は、大別して、画像データの複数枚を連結してパノラマ画像データを生成するパノラマ画像データ生成手段と、パノラマ画像データに基づいてパノラマ立体画像を生成するパノラマ立体画像生成手段とからなる。
【００１７】
無線部１０ｂは、送受信回路、符号化（変調）・復号化（復調）回路等を備えて構成され、基地局３０との間で無線によりデータ（音声、画像情報等）の授受を行う。制御部１０ｃはＣＰＵを備えて構成され、携帯電話機１０内の全体を制御する。３Ｄ画像生成部１０ｄは、不揮発性メモリに格納された画像処理用のソフトウェアであり、複数枚の平面撮影画像を立体画像（パノラマ立体画像）に編集する処理を実行する。ＲＯＭ１０ｅは、制御部１０ｃを動作させるためのプログラム等を格納している。メモリ１０ｆは、撮影画像、入力値、設定値、データ等を格納する。操作部１０ｈは、テンキー、十字キー（又は、上下・左右方向キー）及び機能スイッチを備えて構成される。音声処理部１０ｌは、マイク１０ｊからの音声信号をデジタル化すると共にデジタル信号をアナログ信号に変換してスピーカ１０ｋへ出力する。カメラ部１０ｍはデジタルカメラとして機能し、光学レンズ、ＣＣＤ等の撮像素子、画像処理回路等を備えて構成され、光学レンズの先端は筐体の前面又は背面に露出するように配設されている。なお、カメラ１０ｍの撮影には、被写体像の確認にファインダーが不可欠であるが、そのファインダーには表示部１０ｉが用いられる。
【００１８】
各部材は図示せぬ筐体内に収納されている。筐体は、一般に金属シャーシ（又は金属フレーム等）、樹脂製カバー（又は金属製カバー）等により構成され、全体の形状は折り畳み型又はストレート型を成している。アンテナ１０ａは筐体に伸縮自在に取り付けられ、操作部１０ｈのキー面やスイッチ面は外部に露出するようにして実装されている。また、マイク１０ｊは音を容易に感知できるように開口部を有するように取り付けられ、同様にスピーカ１０ｋは音が外部に支障なく取り出せるように取り付けられている。そして、マイク１０ｊ及びスピーカ１０ｋは、電話機としての使用時に、使用者の口と耳の近傍に位置するように配置されている。更に、表示部１０ｉの液晶表示器は、使用時に前面（操作面）となる部位に表示面が露出するように取り付けられている。
【００１９】
携帯電話機２０は、ここでは携帯電話機１０と同一構成にしているが、カメラ機能、３Ｄ処理機能、画像伝送機能を備えるなら、他の構成、又は更に他の機能を追加した構成であってもよい。
【００２０】
携帯電話機２０は、アンテナ２０ａ、このアンテナ２０ａに接続された無線部２０ｂ、携帯電話機２０の全体を制御する制御部２０ｃ、複数枚の平面撮影画像を立体画像に編集するために用いられる３Ｄ画像生成部２０ｄ、制御部２０ｃを動作させるためのプログラムが格納されたＲＯＭ２０ｅ、撮影画像、入力値、設定値、データ等が格納されるメモリ２０ｆ、音声合成処理を行う音声合成部２０ｇ、テンキーや機能スイッチを含む操作部２０ｈ、液晶表示器及びその駆動回路により構成された表示部２０ｉ、送話器としてのマイク２０ｊ、受話器としてのスピーカ２０ｋ、マイク２０ｊからの音声信号をデジタル化すると共にデジタル信号をアナログ信号に変換してスピーカ２０ｋへ出力する音声処理部２０ｌ、カメラ部２０ｍ、及びバス２０ｎを備えて構成されている。携帯電話機２０の各部材の収納形態、取り付け形態等は、携帯電話機１０と同じであるので説明を省略する。
【００２１】
図２は、携帯電話機１０又は２０における撮影時の処理を示す（図中、Ｓはステップを表している）。図２の処理は、制御部１０ｃ及び３Ｄ画像生成部１０ｄによって実行される。更に、図３は、撮影者から見た３６０°の範囲の被写体を５つのカメラ視野でパノラマ撮影を行う場合を示し、図４は撮影した５枚の画像の重なりの度合いを示し、図５は図４の５枚の画像を糊代をとって連結した状態を示す。図６は図５に示した５枚の画像を円筒に張り付けてパノラマ立体画像にした表示画像を示している。
【００２２】
次に、図１〜図６を参照し、本発明の実施の形態における携帯端末装置の単体での動作について説明する。ここでは、携帯電話機１０のカメラ部１０ｍで複数枚の撮影を行い、その撮影画像を３Ｄ画像生成部１０ｄで編集してパノラマ立体画像を作製し、このパノラマ立体画像を携帯電話機１０の表示部１０ｉに表示する場合について説明する。
【００２３】
まず、携帯電話機１０の電源をオンにし、動作モードを「カメラモード」に設定する（Ｓ１０１）。この設定により、表示部１０ｉはファインダーとして動作するようになる。ついで、撮影者３６（携帯電話機１０のユーザー）は、カメラ部１０ｍのレンズを被写体に向け、図３の視野３１を１枚目として撮影する（Ｓ１０２）。撮影された画像は、指定の圧縮方式（例えば、ＪＰＥＧ：Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ ）の画像に変換された後、メモリ１０ｆに保存される（Ｓ１０３）。ついで、撮影者３６は、携帯電話機１０を水平方向に所定角度を回転させ、更には必要に応じて体の姿勢を変えて、カメラ部１０ｍのレンズを図３に示す視野３２に向け、２枚目を撮影する。この画像も圧縮処理後にメモリ１０ｆに保存される（Ｓ１０３）。以下、同様にして、視野３３，３４，３５を順次撮影する。なお、２枚目から５枚目までの撮影は、１枚目の撮影時の高さ（上下方向位置）をできるだけ保持したままカメラ部１０ｍの視野のみを移動させるようにすると共に、視野相互の重なり部分はできるだけ少なくなるように心掛けるのがよい。
【００２４】
３６０°分の撮影（ここでは５枚）が完了した後、撮影者が撮影終了の指示を操作部１０ｈから入力すると（Ｓ１０４）、５枚の画像データがメモリ１０ｆから読み出され、３Ｄ画像生成部１０ｄによる処理が開始される。３Ｄ画像生成部１０ｄの３Ｄエンジンはテクスチャマッピング（ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ ）機能を有している。このテクスチャマッピング機能により、まず、メモリ１０ｆから読み出した５枚の画像データが解析され、画像データ相互の重なり個所（図４の斜線部分）が抽出される。そして、図４に示す如く、画像４１，４２，４３，４４，４５を糊代４６を重ね合わせて一列になるように接合され、一枚のパノラマ画像データ５０を図５のように生成する（Ｓ１０５）。ついで、３Ｄ画像生成部１０ｄは、一連なりのパノラマ画像データ５０をテクスチャ（ｔｅｘｔｕｒｅ ）として３Ｄイメージを構築する（Ｓ１０６）。撮影者（ユーザー）が選択した立体画像（円筒、球、三角、四角等の立方体）に対して３Ｄイメージをレンダリング（ｒｅｎｄｅｒｉｎｇ ）し、選択された立体画像（立方体）に仮想的に貼り付けをし、パノラマ立体画像６０へと変換する（Ｓ１０７，Ｓ１０８）。この一例を示したのが図６であり、このパノラマ立体画像６０は円筒の裏側にパノラマ画像データ５０を貼り付た画像になっている。このようにして作製されたパノラマ立体画像６０は、制御部１０ｃの制御のもとに表示部１０ｉに表示される（Ｓ１０９）。
【００２５】
表示部１０ｉに表示されたパノラマ立体画像６０は、ユーザーによって、変化のある画像表示にすることができる。例えば、操作部１０ｈの十字キー（又は、上下・左右方向キー）を操作すると、その操作方向に応じてカメラ位置の移動コマンドが３Ｄ画像生成部１０ｄに送られ、パノラマ立体画像６０は指定した方向へ回転し、あたかもユーザーが体を１回転させながら風景を鑑賞する状態を再現することができる。
【００２６】
なお、立体画像への変換は、パノラマ的に見えるようにするためには、円筒の裏側に貼り付けた状態にするのが、現実に近いイメージを表現できることから望ましいが、球や円筒の表側に貼り付けることも可能である。球や円筒の表側に貼り付けた場合、外部から俯瞰するようなイメージにすることができるので、リアル感が得られる。また、球にマッピングした場合、幻想的なイメージの表現が可能になり、写真や動画メールでは表現できない趣向の実現が可能になる。更に、自動車や家や人等の複雑な形に貼り付けることも可能であり、この場合には、幻想的な画像を楽しむことができる。
【００２７】
そして、変化を表現する動画情報と異なり、パノラマ立体画像６０は２次元画像と３Ｄレンダリング機能コマンド（３Ｄエンジンを動作させるテキストコマンド列）により構成され、動きの変化は３Ｄ画像生成部１０ｄにより動的に生成されるのでデータ量が少なくできるため、携帯電話機等の制約の多い携帯端末装置であっても、負担を強いられないという利点がある。
【００２８】
図７は、携帯端末装置１０から携帯端末装置２０へパノラマ画像データ５０を送信する場合の処理を示す。携帯端末装置１０からのパノラマ画像データ５０を受信した携帯端末装置２０は、内蔵の３Ｄ画像生成部２０ｄによってパノラマ立体画像６０を作製し、表示部１０ｉに表示する。
【００２９】
まず、携帯端末装置１０では、図２のＳ１０５により図５のように作製したパノラマ画像データ５０と、レンダリングコマンド（携帯端末装置２０の３Ｄ画像生成部２０ｄにレンダリングを行わせるための命令）とを含むデータファイルを制御部１０ｂにより作製され、一時的にメモリ１０ｆに格納される（Ｓ２０１）。このデータファイルは、携帯端末装置１０が備えるメール機能、及び制御部１０ｃ、無線部１０ｂを動作させることにより携帯端末装置２０へ送信される（Ｓ２０２）。
【００３０】
携帯端末装置２０は、無線部２０ｂにより携帯端末装置１０からデータファイルを受信すると（Ｓ２０３）、内蔵のメール機能によって、添付されているデータファイルが、３Ｄ画像生成部２０ｄが描画すべきパノラマ立体画像であるか否かを制御部２０ｃにより判別する（Ｓ２０４）。パノラマ立体画像でない（例えば、テキストによるメール）場合、他の処理（メール表示処理）へ移行する（Ｓ２０５）。パノラマ立体画像であった場合、データファイル内のレンダリングコマンドとパノラマ画像データ５０を３Ｄ画像生成部２０ｄに引き渡す。ここで、携帯端末装置２０のユーザーは、送られてきたパノラマ画像データ５０をどの様なイメージ（円筒、球等）で表現するかを操作部２０ｈを操作して選択する。３Ｄ画像生成部２０ｄは、選択された立体画像（例えば、円筒）の内面にパノラマ画像データ５０をテクスチャマッピングしてパノラマ立体画像へと変換し（Ｓ２０６）、このパノラマ立体画像（図６のパノラマ立体画像６０）を表示部２０ｉに表示する（Ｓ２０７）。ここで、携帯端末装置２０のユーザーが操作部２０ｈの十字キー（又は、上下、左右の方向キー）を操作すると、その操作方向に応じてカメラ位置の移動コマンドが３Ｄ画像生成部２０ｄに送られ、パノラマ立体画像６０は指定した方向へ回転し、パノラマ立体画像６０の表示視野（表示範囲）を変更することができる。
【００３１】
図７の処理によれば、カメラ部１０ｍで撮影した複数枚の画像を接合してパノラマ画像データを作成し、メールとして送信することで、他の携帯端末装置上でも景色等をパノラマ立体画像により表示することができる。画像がパノラマ立体画像であるため、臨場感の表現が可能になる。また、受信したパノラマ画像をどの様な立体イメージで表現するかを選択することができるので、例えば円筒にマッピングした際の現実に近いイメージだけでなく、球の表面にマッピングした場合のように幻想的なイメージとして表現することもでき、写真や動画メールでは表現できない趣向を与えることができる。
【００３２】
更に、パノラマ画像データ５０の送信時には、携帯電話機１０からは平面画像データと、３Ｄ画像生成部２０ｄに対するレンダリングコマンドとの組み合わせによるデータファイルを送信し、受信側の携帯電話機２０においてパノラマ画像データ５０とレンダリングコマンドを解釈して立体画像へのマッピング処理を行えばよいので、送受信するデータサイズが大幅に増える様なことはなく、伝送時間が短くてすむという利点がある。
【００３３】
図８は、パノラマ画像データ５０にナレーションデータを付加して携帯電話機１０から携帯電話機２０へメール送信する処理を示す。パノラマ画像データ５０にナレーションデータを付加してメール送信することにより、音声ナレーション付きの立体パノラマ画像メールの送信が可能になり、より詳しい情景を携帯端末装置を持つ友人、知人等にメールで伝えることが可能になる。この機能を実現するには、図１に示すように、携帯端末装置が音声合成機能を備えていることが条件になる。
【００３４】
まず、携帯電話機１０において、撮影したパノラマ画像データ５０に付加するナレーションの内容を操作部のテンキーを操作し、各キーに割り振られた「カナ」文字又はアルファベットを入力する（Ｓ３０１）。この入力操作により、予め定められた文字数内での文章（ナレーション）が文字列データとして作製される（Ｓ３０２）。この文字列データは、操作部１０ｈによる入力のほか、マイク１０ｊから肉声を入力し、この音声情報をデジタル化する方法で作製してもよい。携帯電話機１０では、図２のＳ１０６までの処理でパノラマ画像データ５０の作製が完了しているので、このパノラマ画像データ５０にレンダリングコマンドと文字列データを統合したデータファイルを作製する（Ｓ３０３）。
【００３５】
Ｓ３０３で作製されたデータファイルは、携帯電話機１０のメール機能を用いて携帯電話機１０から携帯電話機２０へ送信される（Ｓ３０４）。携帯電話機２０は、データファイルを受信すると（Ｓ３０５）、データファイル中にパノラマ画像データ５０を含むことを検出すると、データファイル中のレンダリングコマンドとパノラマ画像データ５０を３Ｄ画像生成部２０ｄに引き渡され、文字列データは音声合成部１０ｇに渡される（Ｓ３０６）。
【００３６】
３Ｄ画像生成部２０ｄは、図２のＳ１０７、Ｓ１０８の処理を実行して立体パノラマ画像６０を生成する。音声合成部２０ｇでは文字列データを解析して音声合成によるナレーションを作製する。例えば、Ｓ１０７で円筒が選択されたとすると、制御部２０ｃは、図６に示す立体パノラマ画像６０が表示部２０ｉに表示すると同時に、音声合成部２０ｇから音声合成したデータを読み出し、更に音声処理部１０ｌでアナログ音声に変換し、スピーカ１０ｋからナレーションとして出力する。
【００３７】
図８の処理により、携帯電話機２０では、立体パノラマ画像６０が表示部２０ｉに表示されると同時に、スピーカ１０ｋから音声ナレーションが再生される。音声再生と立体パノラマ画像６０の表示は、交互に短時間にイベント制御により切り替えるようにすれば、仮想的に並行動作しているように演出することができる。
【００３８】
上記実施の形態においては、カメラ部１０ｍ（又は２０ｍ）による画像データをメモリ１０ｆ（又は２０ｆ）に記憶するものとしたが、外部から装填又は接続されるメモリカード、ＩＣカード、ディスク装置等の記憶媒体に記憶させてもよい。
【００３９】
また、上記実施の形態においては、マッピングにテクスチャマッピングを用いたが、他のマッピング、例えば、ＵＶマッピングを用いてもよい。そして、複数枚の撮影画像をつなぎ合わせたパノラマ画像データ５０を立体画像に貼り付けるものとしたが、１枚の画像のみを立体画像に貼り付ける様にしてもよい。
【００４０】
更に、図１においては、携帯電話機１０と携帯電話機２０のそれぞれがカメラ部及び３Ｄエンジン部を備える構成であるとしたが、カメラ部を持たず３Ｄエンジン部のみを備える構成であってもよい。この場合、自機での撮影及びその鑑賞はできないが、他の携帯端末装置から送られてきたパノラマ画像データ５０に基づいて３Ｄエンジン部によりパノラマ立体画像６０を生成して表示することができる。
【００４１】
また、携帯端末装置に搭載のカメラ部で撮影した画像を内蔵の３Ｄ画像生成部で処理して内蔵の表示部に表示するものとしたが、カメラ部以外で取得した画像、例えば、パーソナルコンピュータで作成（又は、処理、取り込み）した画像データを携帯端末装置に取り込んで表示したり、送信したり、３Ｄ画像生成部で処理することも可能である。この場合、パーソナルコンピュータ等とのインターフェース及び取り込み用のソフトを別途用意する必要がある。
【００４２】
【発明の効果】
以上より明らかなように、本発明の携帯端末装置によれば、パノラマ画像データ生成手段によりカメラ部で撮影した複数の平面画像が連結して１枚のパノラマ画像データにされ、このパノラマ画像データに基づいてパノラマ立体画像生成手段によりパノラマ立体画像にし、又は他の携帯端末装置から受信したパノラマ画像データを立体画像生成コマンドに従ってパノラマ立体画像生成手段でパノラマ立体画像にして表示部に表示し、更には、パノラマ画像データを立体画像生成コマンドと共に送信できるようにしたので、撮影画像を立体画像により表示できるため、雰囲気、雄大さ、及び臨場感のある画像を表示部に表示することが可能になる。
【００４３】
本発明の移動通信システムによれば、カメラ部による複数の画像データを基に作成したパノラマ画像データは、第１又は第２の携帯端末装置の１つから他の携帯端末装置に向けて立体画像生成コマンドと共に送信され、また、他の携帯端末装置から送られてきたパノラマ画像データは画像生成部によってパノラマ立体画像にされることにより表示部に表示されるので、受信側のユーザーは送信者（撮影者）が見た景色等の雰囲気、雄大さ、臨場感等を受信側のユーザーに伝えることが可能になると共に、送信データ量が増えるのを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る携帯端末装置を含む移動無線システムの構成を示すブロック図である。
【図２】図１の携帯電話機における撮影時の処理を示すフローチャートである。
【図３】撮影者から見た３６０°の範囲のパノラマ撮影を５つのカメラ視野で行う光景を示す説明図である。
【図４】図３のようにパノラマ撮影した５枚の画像の重なりの度合いを示す説明図である。
【図５】糊代をとって図４の５枚の画像を連結して一枚のパノラマ画像データにした状態を示す説明図である。
【図６】図５に示した５枚の画像を円筒に張り付けてパノラマ立体画像にした場合の表示画像である。
【図７】図１の一方の携帯端末装置から他方の携帯端末装置へパノラマ画像データを送信する場合の処理を示すフローチャートである。
【図８】パノラマ画像データにナレーションデータを付けて一方の携帯端末装置から他方の携帯端末装置へメール送信した場合の処理を示すフローチャートである。
【符号の説明】
１０，２０ 携帯電話機
１０ａ，２０ａ，３０ａ アンテナ
１０ｂ，２０ｂ 無線部
１０ｃ，２０ｃ 制御部
１０ｄ，２０ｄ ３Ｄ画像生成部
１０ｅ，２０ｅ ＲＯＭ
１０ｆ，２０ｆ メモリ
１０ｇ，２０ｇ 音声合成部
１０ｈ，２０ｈ 操作部
１０ｉ，２０ｉ 表示部
１０ｊ，２０ｊ マイクロホン（マイク）
１０ｋ，２０ｋ スピーカ
１０ｌ，２０ｌ 音声処理部
１０ｍ，２０ｍ カメラ部
１０ｎ，２０ｎ バス
３０ 基地局
３１，３２，３３，３４，３５ 視野
３６ 撮影者
４１，４２，４３，４４，４５ 画像
４６ 糊代
５０ パノラマ画像データ
６０ パノラマ立体画像

Claims (8)

1. 撮影した被写体像を撮像素子に結像させることによりデジタル化した画像データを生成するカメラ部と、
   前記画像データの複数枚を連結してパノラマ画像データを生成するパノラマ画像データ生成手段と、
   前記パノラマ画像データに基づいてパノラマ立体画像を生成するパノラマ立体画像生成手段と、
   前記パノラマ立体画像を表示する表示部と、
   前記カメラ部、前記パノラマ画像データ生成手段、前記パノラマ立体画像生成手段、及び前記表示部を制御する制御部を備え、
   前記制御部は、前記パノラマ画像データを立体画像生成コマンドと共に無線部を介して送信すると共に、受信したときに前記パノラマ画像データに基づいて前記パノラマ立体画像を前記パノラマ立体画像生成手段に生成させることを特徴とする携帯端末装置。
2. 前記パノラマ立体画像生成手段は、前記パノラマ画像データをテクスチャにして立体画像にテクスチャマッピングを行って前記パノラマ立体画像を生成することを特徴とする請求項１記載の携帯端末装置。
3. 前記制御部は、上下・左右方向キー又は十字キーを備え、
   前記パノラマ画像データ生成手段は、前記キーの操作方向に応じて表示中の前記パノラマ立体画像の表示状態を変更することを特徴とする請求項１記載の携帯端末装置。
4. 前記制御部は、入力文字又は入力音声に基づいて作成されたナレーションデータを前記パノラマ画像データと共に送信することを特徴とする請求項１記載の携帯端末装置。
5. 前記制御部は、前記パノラマ画像データと共に送られてきたナレーションデータを解読して音声データを生成する音声合成部を備え、前記音声合成部による前記音声データを前記パノラマ立体画像の表示中に再生することを特徴とする請求項１記載の携帯端末装置。
6. 無線通信網を介して接続される第１及び第２の携帯端末装置によって構成され、前記第１及び第２の携帯端末装置は、撮影した被写体像を撮像素子に結像させることによりデジタル化した画像データを生成するカメラ部と、前記画像データの複数枚を連結したパノラマ画像データの生成及び前記パノラマ画像データ又は受信したパノラマ画像データに基づいてパノラマ立体画像を生成する画像生成部と、前記パノラマ立体画像を表示する表示部を備え、
   前記第１及び第２の携帯端末装置の１つの携帯端末装置は、前記パノラマ画像データを立体画像生成コマンドと共に送信すると共に、前記第１及び第２の携帯端末装置の他の携帯端末装置から受信したとき、前記受信したパノラマ画像データによる前記パノラマ立体画像を前記画像生成部に生成させることを特徴とする移動通信システム。
7. 前記１つの携帯端末装置は、入力文字又は入力音声に基づいて作成されたナレーションデータを前記パノラマ画像データと共に送信する送信手段を備え、
   前記他の携帯端末装置は、前記パノラマ画像データと共に送られてきたナレーションデータを解読して音声データを生成し、前記パノラマ立体画像の表示中に前記音声データを再生して出力する音声出力手段を備えることを特徴とする請求項６記載の移動通信システム。
8. 前記第１及び第２の携帯端末装置は、上下・左右方向キー又は十字キーを備え、
   前記画像生成部は、前記キーの操作方向に応じて、表示中の前記パノラマ立体画像の表示状態を変更することを特徴とする請求項６記載の移動通信システム。

Images