JP2016149772A - 電子機器 - Google Patents

Abstract

【課題】三次元画像を好適に表示することができる電子機器を提供すること。
【解決手段】操作部と、複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、三次元画像を構成する複数の画像データを併せて記憶する記憶部と、操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも１つの画像の対象物の位置を補正し、補正した画像を含む複数の画像を表示部に重ねて対象物を三次元画像として表示させる制御部と、を有することで上記課題を解決する。
【選択図】図５

Description

本発明は、三次元画像の表示を行う電子機器に関する。

近年では、三次元画像を表示させる電子機器が提案されている。この電子機器に表示させる三次元画像を撮影する装置は、例えばミラー等を配置して角度をずらした２つの画像を撮影することで、三次元画像として再生可能な画像を撮影できる（特許文献１、２、３参照）。また、複数台の撮影装置を配置して夫々の撮影装置で同時に画像を撮影することでも、三次元画像として再生可能な画像を撮影できる（特許文献４参照）。

特開２０００−９２５１７号公報 特開２０００−１３４６４１号公報 特開２００４−７０３０２号公報 特開平１１−３４１５１８号公報

特許文献１から４に記載された方法で撮影した画像は、重ねて表示することで三次元画像として表示することができる。しかしながら、取得した２つの画像を重ねても利用者が期待する三次元画像とはならない場合がある。

本発明は、上記に鑑みてなされたものであって、三次元画像を好適に表示することができる電子機器を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、電子機器であって、操作部と、複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、三次元画像を構成する複数の画像データを併せて記憶する記憶部と、前記操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、前記対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも１つの画像の前記対象物の位置を補正し、補正した画像を含む複数の画像を前記表示部に重ねて前記対象物を三次元画像として表示させる制御部と、を有することを特徴とする。

ここで、前記三次元画像は、複数の対象物で構成されることが好ましい。

また、前記制御部は、前記対象物の立体感の補正値に基づいて、前記立体感を強調する場合は、前記複数の画像間での対象物の視差を大きくし、前記立体感を抑制する場合は、前記複数の画像間での対象物の視差を小さくすることが好ましい。

また、前記制御部は、前記複数の対象物の間の前後関係が逆転しない範囲で前記視差を調整することが好ましい。

また、前記制御部は、前記複数の対象物同士の距離に基づいて設定可能な補正値の範囲を決定することが好ましい。

また、三次元画像として表示可能な画像を撮影する撮影部をさらに有し、前記制御部は、前記撮影部による三次元画像の撮影時に当該撮影部から対象物までの距離情報を取得することが好ましい。

また、前記撮影部は、所定間隔離れた２つのカメラを有し、前記制御部は、前記２つのカメラでそれぞれ撮影した画像を解析し、前記２つの画像の視差に基づいて当該２つのカメラの各々から前記対象物までの距離情報を取得することが好ましい。

また、前記撮影部は、焦点位置調整機構を有し、前記制御部は、前記画像の撮影時に焦点位置調整機構で焦点位置を移動させることで取得した焦点距離情報を解析し、当該撮影部から前記対象物までの距離情報を取得することが好ましい。

本発明にかかる電子機器は、三次元画像を好適に表示することができるという効果を奏する。

図１は、携帯電話端末の一実施形態の外観を示す正面図である。 図２は、第１カメラの概略構成を示す説明図である。 図３は、図１に示す携帯電話端末の機能の概略構成を示すブロック図である。 図４は、携帯電話端末と被写体との関係を説明するための説明図である。 図５は、携帯電話端末の画像補正処理を説明するための説明図である。 図６は、携帯電話端末の画像補正処理を説明するための説明図である。 図７は、携帯電話端末の他の実施形態の外観を示す正面図である。 図８は、図７に示す携帯電話端末の機能の概略構成を示すブロック図である。 図９は、携帯電話端末と被写体との関係を説明するための説明図である。 図１０は、携帯電話端末の三次元画像の作成処理を説明するための説明図である。 図１１は、携帯電話端末の画像補正処理を説明するための説明図である。 図１２は、携帯電話端末の画像補正処理を説明するための説明図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、三次元（３Ｄ）画像表示機能を備える各種装置、例えば、ＰＨＳ（Personal Handy-phone System）、ＰＤＡ、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。また、三次元（３Ｄ）画像表示機能のみを有する電子機器としては、携帯電子機器に限定されず、テレビ、モニタ等、固定型の各種装置にも用いることができる。

図１は、携帯電話端末の一実施形態の外観を示す正面図である。携帯電話端末１は、薄板状の筐体１２を有する。携帯電話端末１は、筐体１２の表面に、タッチパネル２と、ボタン２０、ボタン２２及び入力デバイス２４からなる入力部３と、レシーバ７と、マイク８と、第１カメラ１６と、第２カメラ１７と、が配置されている。タッチパネル２は、板状の筐体１２の面積が最も広い面に配置されている。また、入力部３も、筐体１２のタッチパネル２が配置されている面の、長手方向の一方の端部に配置されている。入力部３は、短手方向の一方から他方に向かって、ボタン２０、入力デバイス２４、ボタン２２の順で配置されている。また、レシーバ７は、筐体１２のタッチパネル２が配置されている面の長手方向の他方の端部、つまり、入力部３が配置されている端部とは反対側の端部に配置されている。また、マイク８は、筐体１２のタッチパネル２が配置されている面の長手方向の一方の端部、つまり、入力部３が配置されている端部に配置されている。また、第１カメラ１６と第２カメラ１７とは、タッチパネル２が配置されている面とは反対側の面に配置されている。また、第１カメラ１６と第２カメラ１７とは、一定距離離間した位置に配置されている。また、図１に示す向き、つまり使用者がタッチパネル２側から携帯電話端末１を見た向きでは、第１カメラ１６が左側のカメラとなり、第２カメラ１７が右側のカメラとなる。本実施形態では、第１カメラ１６と第２カメラ１７とが撮像部となる。

タッチパネル２は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン（ペンの先端、棒状部材の先端）等（以下、単に「指」という）を用いてタッチパネル２に対して行われる各種動作を検出する。例えば、携帯電話端末１は、利用者から文字の入力を受け付けるために、タッチパネル２上に仮想キーボードを表示させる。携帯電話端末１は、タッチパネル２上に仮想キーボードを表示させた状態で、指によってタッチパネル２に入力される各種動作を検出し、仮想キーボードのどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル２は、文字の入力によらず、表示させている画像と、指によってタッチパネル２に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。

入力部３は、ボタン２０、２２が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部３は、入力デバイス２４に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。例えば、入力デバイス２４は、方向指示操作や決定操作を検出する。入力デバイス２４は、タッチパッド、光学式入力デバイス、４方及び中央にボタンを備える入力デバイス等で構成される。

第１カメラ１６と第２カメラ１７とは、画像を撮影する撮影装置である。なお、第１カメラ１６と第２カメラ１７とは、配置位置が異なるのみで基本的に同様の構成である。以下、代表して第１カメラ１６の構成について説明する。第１カメラ１６は、画像を撮影する撮影装置であり、図２に示すように、撮影窓５２と光学系５４と受光部５８と焦点位置調整機構５９とを有する。撮影窓５２は、筐体１２のタッチパネル２が配置されている面とは反対側の面に露出して配置されている。撮影窓５２は、透明な部材で構成されており、筐体１２の外部の光から入射する光を内部に入射（案内）させる。光学系５４は、撮影窓５２から筐体１２内部に入射した光を受光部５８に案内するレンズ等の光学部材で構成されている。なお、光学系５４は、撮影窓５２から入射した光のうち、所定の角度範囲（撮影領域）から入射した光を選択的に受光部５８に案内する。受光部５８は、撮影領域の画像情報を取得する装置であり、受光面にフォトダイオードをマトリックス状に配列させた撮像素子（ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等）を備える。受光部５８は、受光面に画像が結像されると、撮像素子で結像された画像を読み取り、読み取った画像を電子データである画像情報に変換する。焦点位置調整機構５９は、光学系５４の相対位置を調整し、撮影窓５２から入射し受光部５８に入射される光のうち受光部５８で結像する被写体（対象物）の距離を調整する。つまり、焦点位置調整機構５９は、焦点位置を調整する。焦点位置調整機構５９は、光学系５４の少なくとも１つのレンズの位置を調整する機構、光学系５４の全体の相対位置を調整する機構等で構成される。

第１カメラ１６は、以上のような構成であり、撮影窓５２から入射した撮影領域の光を光学系５４で受光部５８に案内し、受光部５８で結像された光を読み取ることで、撮影領域の画像を取得する。また、第１カメラ１６は、焦点位置調整機構５９で焦点位置を調整することができる。なお、第１カメラ１６は、焦点位置調整機構５９により焦点位置を変化させつつ各焦点距離での画像を取得し適切な焦点距離を決定することで、オートフォーカス機能を実現する。なお、第１カメラ１６は、これらの機能に加え、ズーム機能も備えている。

次に、携帯電話端末１の機能と制御部との関係を説明する。図３は、図１に示す携帯電話端末の機能の概略構成を示すブロック図である。図３に示すように携帯電話端末１は、タッチパネル２と、入力部３と、電源部５と、通信部６と、レシーバ７と、マイク８と、記憶部９と、主制御部１０と、ＲＡＭ（Random Access Memory）１１と、第１カメラ１６と、第２カメラ１７と、を有する。

タッチパネル２は、表示部２Ｂと、表示部２Ｂに重畳されたタッチセンサ２Ａとを有する。タッチセンサ２Ａは、指を用いてタッチパネル２に対して行われた各種動作を、動作が行われた場所のタッチパネル２上での位置とともに検出する。タッチセンサ２Ａによって検出される動作には、指をタッチパネル２の表面に接触させる動作や、指をタッチパネル２の表面に接触させたまま移動させる動作や、指をタッチパネル２の表面から離す動作が含まれる。なお、タッチセンサ２Ａは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部２Ｂは、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネル等で構成され、文字、図形、画像等を表示する。また、表示部２Ｂは、複数の画像を重ねて表示させて三次元（３Ｄ）画像、つまり利用者が立体視できる画像を表示できる。つまり、表示部２Ｂは、複数の画像を重ねて表示させることで三次元（３Ｄ）画像を表示できる。

入力部３は、上述したようにボタン２０、２２と、入力デバイス２４とを有する。ボタン２０、２２は、物理的な入力（押下）を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。また、入力デバイス２４も、利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部１０へ送信する。

電源部５は、蓄電池または外部電源から得られる電力を、主制御部１０を含む携帯電話端末１の各機能部へ供給する。通信部６は、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ７は、電話通信における相手側の音声や着信音等を出力する。マイク８は、利用者等の音声を電気的な信号へ変換する。

記憶部９は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部１０での処理に利用されるプログラムやデータを保存する。具体的には、記憶部９は、メールの送受信や閲覧のためのメールプログラム９Ａや、ＷＥＢページの閲覧のためのブラウザプログラム９Ｂや、カメラ１６で画像を撮影するためのカメラプログラム９Ｃや、３Ｄ（三次元）画像として表示可能な画像を撮影するためおよび３Ｄ画像を表示するための３Ｄ（三次元）画像処理プログラム９Ｄや、各種プログラムを実行する際に用いる各種条件を対応付けた処理条件テーブル９Ｅや、撮影等により取得された画像が格納された画像フォルダ９Ｆを記憶する。また、記憶部９には、携帯電話端末１の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部９には、タッチパネル２に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電話端末１で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切換、文字入力処理、各種アプリケーションの起動処理、終了処理がある。画像フォルダ９Ｆには、複数の画像を組み合わせることで三次元画像として表示可能な画像データが複数記憶されている。また、この三次元画像として表示可能な画像データは、画像に含まれる被写体（対象物）の距離情報（被写体と撮影位置との距離情報）が対応付けられている。

主制御部１０は、例えば、ＣＰＵ（Central Processing Unit）であり、携帯電話端末１の動作を統括的に制御する。具体的には、主制御部１０は、記憶部９に記憶されているデータを必要に応じて参照しつつ、記憶部９に記憶されているプログラムを実行して、タッチパネル２、入力部３、通信部６、第１カメラ１６、第２カメラ１７等を制御することによって各種処理を実行する。主制御部１０は、記憶部９に記憶されているプログラムや、処理を実行することによって取得／生成／加工されたデータを、一時的な記憶領域を提供するＲＡＭ１１に必要に応じて展開する。なお、主制御部１０が実行するプログラムや参照するデータは、通信部６による無線通信でサーバ装置からダウンロードすることとしてもよい。

第１カメラ１６、第２カメラ１７は、それぞれ画像を撮影する撮影窓５２が、筐体１２から露出して配置されており、撮影領域の画像を取得する撮像機構である。

次に、図４から図６を用いて、三次元画像として表示可能な画像の補正処理の一例について説明する。図４は、携帯電話端末と被写体との関係を説明するための説明図である。また、図５および図６は、携帯電話端末の画像補正処理を説明するための説明図である。図５および図６に示す処理は、携帯電話端末１により撮影した三次元画像で表示可能な画像を補正する処理の一例である。図５および図６に示す処理は、カメラプログラム９Ｃ、３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて実行される。より具体的には、カメラプログラム９Ｃが提供する機能（画像撮影機能）により取得した画像を３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて解析し、利用者により入力される補正値に基づいて、三次元画像として表示可能な画像を補正する。なお、各プログラムの処理は、主制御部１０が行う。

本実施形態では、図４に示すように、携帯電話端末１が山１２２と人物１２４と木１２６とを被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山１２２と人物１２４と木１２６とは、山１２２が携帯電話端末１から最も遠い位置にあり、山１２２の手前（山１２２よりも携帯電話端末１側）に人物１２４がおり、人物１２４の手前に木１２６がある。

携帯電話端末１は、図４に示す位置関係で撮影を行うと、図５のステップＳ１に示すように、第１カメラ１６で画像６２を取得し、第２カメラ１７で画像６４を取得する。第１カメラ１６で撮影した画像６２は、左目用の画像となり、被写体として山６５Ｌと人物６７Ｌと木６８Ｌとを含む。第２カメラ１７で撮影した画像６４は、右目用の画像となり、被写体として山６５Ｒと人物６７Ｒと木６８Ｒとを含む。なお、画像６２と画像６４とは、撮影位置がずれているため、画像内における被写体の位置が異なる。具体的には、画像６２は、木６８Ｌの位置が画像の左端から距離Ａの位置となる。これに対して、画像６４は、木６８Ｒの位置が画像の左端から距離Ｂの位置となる。なお距離Ａと距離Ｂとの関係は、Ｂ＜Ａとなる。画像６２は、人物６７Ｌの位置が画像の左端から距離Ｃの位置となる。これに対して、画像６４は、人物６７Ｒの位置が画像の左端から距離Ｄの位置となる。なお距離Ｃと距離Ｄとの関係は、Ｄ＜Ｃとなる。このように画像６２と画像６４の２つの視差のある画像を取得することで三次元画像として表示可能な画像を撮影することができる。また、携帯電話端末１は、２つの画像の視差、つまり、画像６２と画像６４における各被写体の位置のずれに基づいて三次元画像に含まれる被写体の距離情報（携帯電話端末１からの距離、奥行き情報）を取得する。これにより、携帯電話端末１は、被写体の前後関係を検出することができる。なお、携帯電話端末１は、被写体の前後関係や一定精度での距離がわかればよく、被写体との距離を高精度に検出しなくてもよい。また、携帯電話端末１は、第１カメラ１６、第２カメラ１７の各々から被写体までの距離情報を取得することができる。

ここで、ステップＳ１の画像６２と画像６４の２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差がＡ−Ｂとなり、人物１２４の視差がＣ−Ｄとなる。また、２つの被写体の視差の関係は、（Ａ−Ｂ）＞（Ｃ−Ｄ）となり、木１２６の視差が人物１２４の視差よりも大きくなる。これにより、木１２６の方が人物１２４より立体的に見える三次元画像となる。つまり、より手前にある木１２６の方が立体感のある三次元画像として表示される。

携帯電話端末１は、図５のステップＳ１に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち人物１２４の立体感を強調する補正、つまりより立体的に表示させる補正の操作を入力した場合、携帯電話端末１は、ステップＳ２に示すように、画像６２ａの人物６７Ｌａを矢印６８方向（画面の右側）に移動させる補正処理を行う。なお、画像６２ａの他の被写体である山６５Ｌａと木６８Ｌａは、画像６２から変化させない。これにより、画像６２ａは、人物６７Ｌａの位置が画像の左端から距離Ｃ＋αの位置となる。なお、携帯電話端末１は、人物６７Ｌａをα分移動させることで、画像６２で人物６７Ｌが表示されていて画像６２ａで人物６７Ｌａが表示されなくなった領域については、画像補完することで、画像を埋めることができる。なお、図５のステップＳ２では、わかりやすくするために人物Ｌａの位置を大きく移動させたが、実際の処理では、微小な距離の移動であり、画像を補完する処理を行うことで、違和感の少ない画像にすることができる。また、画像６４ａは、画像６４から変化させない。つまり、画像６４ａの山６５Ｒａと人物６７Ｒａと木６８Ｒａとは、画像６４の山６５Ｒと人物６７Ｒと木６８Ｒと同一のままである。

ステップＳ２の画像６２ａと画像６４ａの２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差がＡ−Ｂとなり、人物１２４の視差がＣ＋α−Ｄとなる。また、２つの被写体の視差の関係は、（Ａ−Ｂ）＞（（Ｃ＋α）−Ｄ）となり、木１２６の視差が人物１２４の視差よりも大きくなる。このように、画像６２ａと画像６４ａとを重ねて表示させて実現する三次元画像も人物１２４よりも手前にある木１２６の方が立体感のある三次元画像として表示される。また、画像６２ａと画像６４ａとを重ねて表示させて実現する三次元画像は、人物１２４の視差がα分大きくなっている。これにより人物１２４の立体感がより向上した三次元画像とすることができる。

次に、図６を用いて、他の補正処理について説明する。携帯電話端末１は、図４に示す位置関係で撮影を行うと、図６のステップＳ１２に示すように、第１カメラ１６で画像６２を取得し、第２カメラ１７で画像６４を取得する。なお、ステップＳ１２の画像は、上述したステップＳ１の画像と同一の画像である。第１カメラ１６で撮影した画像６２は、左目用の画像となり、被写体として山６５Ｌと人物６７Ｌと木６８Ｌとを含む。第２カメラ１７で撮影した画像６４は、右目用の画像となり、被写体として山６５Ｒと人物６７Ｒと木６８Ｒとを含む。また、各被写体の左端からの距離は、上述したとおりである。

携帯電話端末１は、図６のステップＳ１２に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち木１２６の立体感を抑制する補正、つまりより平面的に表示させる補正の操作を入力した場合、携帯電話端末１は、ステップＳ１４に示すように、画像６２ｂの木６８Ｌｂを矢印６９方向（画面の左側）に移動させる補正処理を行う。なお、画像６２ｂの他の被写体である山６５Ｌｂと人物６７Ｌｂは、画像６２から変化させない。これにより、画像６２ｂは、木６８Ｌｂの位置が画像の左端から距離Ａ−αの位置となる。なお、携帯電話端末１は、木６８Ｌｂをα分移動させることで、画像６２で木６８Ｌが表示されていて画像６２ｂで木６８Ｌｂが表示されなくなった領域については、画像補完することで、画像を埋めることができる。また、画像６４ｂは、画像６４から変化させない。つまり、画像６４ｂの山６５Ｒｂと人物６７Ｒｂと木６８Ｒｂとは、画像６４の山６５Ｒと人物６７Ｒと木６８Ｒと同一のままである。

ステップＳ１４の画像６２ｂと画像６４ｂの２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差が（Ａ−α）−Ｂとなり、人物１２４の視差がＣ−Ｄとなる。また、２つの被写体の視差の関係は、（（Ａ−α）−Ｂ）＞（Ｃ−Ｄ）となり、木１２６の視差が人物１２４の視差よりも大きくなる。このように、画像６２ｂと画像６４ｂとを重ねて表示させて実現する三次元画像もより手前にある木１２６の方が立体感のある三次元画像として表示される。また、画像６２ｂと画像６４ｂとを重ねて表示させて実現する三次元画像は、木１２６の視差がα分小さくなっている。これにより木１２６の立体感がより抑制された三次元画像とすることができる。

携帯電話端末１は、このように利用者が指定した被写体の立体感を利用者が指定した補正値に基づいて補正することで、利用者が所望する立体感の三次元画像を表示させることができる。具体的には、携帯電話端末１は、三次元画像を構成する複数の画像うち、少なくとも一枚の画像で、利用者が指定した被写体の位置を移動させ、複数の画像間における視差（位置のずれ量）を調整する。このように携帯電話端末１は、特定の被写体のみの位置を補正して視差を補正することで三次元画像を構成する複数の被写体のうち選択した被写体の立体感のみを調整することができる。これにより、利用者は、被写体毎に立体感を調整することができ、所望の立体感の三次元画像を表示させることが可能となる。また、調整の必要がない被写体の立体感が変化することを抑制できるため、見やすい三次元画像とすることができる。

また、携帯電話端末１の主制御部１０は、被写体の立体感の補正値に基づいて、立体感を強調する場合は、複数の画像間での被写体の視差を大きくし、立体感を抑制する場合は、複数の画像間での被写体の視差を小さくすること好ましい。これにより、対象の被写体の立体感を適切に調整することができる。

また、主制御部１０は、検出した被写体間の前後関係が逆転しない範囲で視差つまり立体感を調整することが好ましい。このように視差の調整量を制限することで、実際の画像と前後関係が逆転する画像となることを抑制し、不要な違和感を生じる三次元画像を表示させることを抑制することができる。また、主制御部１０は、各被写体の距離情報を取得し記憶部９に記憶させ、その情報に基づいて立体感を調整することで、上記処理を行うことができる。このため、各被写体の距離情報を取得し記憶部９に記憶させることが好ましいが、これに限定されない。被写体の距離情報は画像を解析して毎回算出することができる。また、携帯電話端末１は、被写体の距離情報を加味せずに、視差を調整することでも立体感を調整することができる。

なお、上記実施形態の主制御部１０は、視差の変化量、つまり補正量をαで一定としたがこれに限定されない。補正量は、利用者が任意に設定可能としても、一定量（プリセット値）としてもよい。また、補正処理を繰り返すことで補正量を段階的に（ステップ状で）変化させるようにしてもよい。また、携帯電話端末１は、利用者に補正値をそのまま入力させ主制御部１０が入力された値を補正値として決定するようにしても、利用者に一定の指示を入力させ主制御部１０が入力された操作に基づいて補正値を決定するようにしてもよい。

また、上記実施形態では、三次元画像を構成する複数の被写体のうち１つの被写体の立体感のみを補正する場合として説明したがこれに限定されない。携帯電話端末１は、複数の被写体の立体感をそれぞれまたは連動して補正してもよい。

また、上記実施形態では、２枚の画像で１つの三次元画像を表示させる場合としたが、さらに多くの枚数で１つの三次元画像を表示させるようにしてもよい。この場合、携帯電話端末１は、必要な相対位置の画像を対応する枚数分撮影することで、複数枚の画像データで構成される三次元画像を撮影することができる。

次に、図７および図８を用いて、携帯電話端末の他の実施形態について説明する。図７は、携帯電話端末の他の実施形態の外観を示す正面図である。図８は、図７に示す携帯電話端末の機能の概略構成を示すブロック図である。なお、図７および図８に示す携帯電話端末１０１は、撮像部を構成するカメラが１つであることを除いて他の構成は、図１から図３に示す携帯電話端末１と同様である。以下、携帯電話端末１０１に特有の点を重点的に説明する。

携帯電話端末１は、薄板状の筐体１２を有する。携帯電話端末１は、筐体１２の表面に、タッチパネル２と、ボタン２０、ボタン２２及び入力デバイス２４からなる入力部３と、レシーバ７と、マイク８と、カメラ１１６と、が配置されている。カメラ１１６は、タッチパネル２が配置されている面とは反対側の面に配置されている。カメラ１１６は、第１カメラ１６と同様の位置に配置されている。図８に示すように携帯電話端末１０１は、タッチパネル２と、入力部３と、電源部５と、通信部６と、レシーバ７と、マイク８と、記憶部９と、主制御部１０と、ＲＡＭ（Random Access Memory）１１と、カメラ１１６と、を有する。なお、携帯電話端末１０１の記憶部９に記憶されている各種プログラム、データは基本的に同様であるが、カメラプログラム９Ｃおよび３Ｄ画像処理プログラム９Ｄは、撮影部がカメラ１１６のみであることに対応して、携帯電話端末１とは異なる処理で三次元画像として表示可能な画像を撮影し、表示させる。

図９から図１１を用いて、三次元画像として表示可能な画像の撮影処理および補正処理の一例について説明する。図９は、携帯電話端末と被写体との関係を説明するための説明図である。図１０は、携帯電話端末の三次元画像の作成処理を説明するための説明図である。図１１は、携帯電話端末の画像補正処理を説明するための説明図である。図９から図１１に示す処理は、カメラプログラム９Ｃ、３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて実行される。より具体的には、カメラプログラム９Ｃが提供する機能（画像撮影機能）により取得した画像を３Ｄ画像処置プログラム９Ｄが提供する機能に基づいて解析し、利用者により入力される補正値に基づいて、三次元画像として表示可能な画像を補正する。なお、各プログラムの処理は、主制御部１０が行う。

本実施形態でも、図９に示すように、携帯電話端末１０１が山１２２と人物１２４と木１２６とを被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山１２２と人物１２４と木１２６とは、山１２２が携帯電話端末１から最も遠い位置にあり、山１２２の手前（山１２２よりも携帯電話端末１０１側）に人物１２４がおり、人物１２４の手前に木１２６がある。ここで、携帯電話端末１０１は、自身からの距離の範囲に基づいてパラメータ１５０を設定する。なお、パラメータ１５０は、焦点距離（被写体との距離）に基づいて設定され、焦点距離が遠い順に、パラメータＰ_１、パラメータＰ_２、パラメータＰ_３、パラメータＰ_４、パラメータＰ_５で設定される。焦点距離が最も近い範囲がパラメータＰ_５となる。なお、山１２２は、パラメータＰ_１の範囲にある。人物１２４は、パラメータＰ_２の範囲にある。木１２６は、パラメータＰ_４の範囲にある。

携帯電話端末１０１は、図９に示す位置関係で撮影を行うと、図１０に示すように、画像１３０を取得する。画像１３０は、被写体として山１３２と人物１３４と木１３６とを含む。また、携帯電話端末１０１は、画像１３０の撮影時に焦点距離調整機構５９により焦点位置を変化させつつ画像を取得し、取得した画像を解析することで、各被写体の焦点距離を算出する。なお、本実施形態では、画像１３０の９箇所の測定領域１４０での焦点距離を算出する。携帯電話端末１０１は、各測定領域１４０で算出した焦点距離に基づいて、各測定領域１４０の焦点距離が対応付けられたパラメータを決定する。携帯電話端末１０１は、各測定領域１４０に対応付けられたパラメータと被写体の構成とに基づいて、各被写体に対応付けるパラメータを決定する。具体的には、携帯電話端末１０１は、山１３２が映っている測定領域１４０がパラメータＰ_１であることに基づいて、被写体の山１３２にパラメータＰ_１を対応付け、人物１３４が映っている測定領域１４０（左下の測定領域１４０）がパラメータＰ_２であることに基づいて、被写体の人物１３４にパラメータＰ_２を対応付け、木１３６が映っている測定領域１４０（右側の３つの測定領域１４０）がパラメータＰ_４であることに基づいて、被写体の木１３４にパラメータＰ_４を対応付ける。このように、携帯電話端末１０１は、焦点距離調整機構５９を用いたオートフォーカス機能を用いて、各被写体のパラメータを決定する。なお、画像に含まれる被写体の位置、構成等は画像解析、輪郭検出、顔認識、パターンマッチング等の記述を用いた解析で検出することができる。

次に、補正処理について説明する。携帯電話端末１０１は、図１１のステップＳ２１に示すように、カメラ１１６で画像１６０を取得する。なお、画像１６０は、画像１３０と同様の画像である。画像１６０は、被写体として山１６２と人物１６４と木１６６とを含む。携帯電話端末１０１の主制御部１０は、ステップＳ２２として、撮影した画像１６０から右目用画像１６０Ｒと左目用画像１６０Ｌとを作成する。ここで、本実施形態では、右目用画像１６０Ｒを機運の画像とし、画像１６０と同一の画像とする。右目用画像１６０Ｒ、被写体として山１６２Ｒと人物１６４Ｒと木１６６Ｒとを含み、各被写体の位置は、画像１６０と同様である。左目用画像１６０Ｌは、被写体として山１６２Ｌと人物１６４Ｌと木１６４Ｌとを含む。携帯電話端末１０１は、左目用画像１６０Ｌの各被写体の位置を当該被写体のパラメータに基づいて補正する。具体的には、人物１６４Ｌは、画像１６０の人物１６４の位置に対して矢印１６７の方向（図中右側）にパラメータＰ_２に対応した距離移動している。木１６６Ｌは、画像１６０の木１６６の位置に対して矢印１６８の方向（図中右側）にパラメータＰ_４に対応した距離移動している。なお、携帯電話端末１０１は、パラメータＰ_１の被写体の移動距離を０としている。このため、山１６２Ｌの位置は、画像１６０の山１６２と同一位置である。またパラメータＰ_１からパラメータＰ_５の移動距離の設定は、Ｐ_１＜Ｐ_２＜Ｐ_３＜Ｐ_４＜Ｐ_５となる。従って、左目用画像１６０Ｌは、画像１６０に対して木１６６Ｌが人１６４Ｌよりも大きい距離移動している。このように、より近くにある被写体ほど移動量（つまり視差の量）を大きくすることで、より手前にある被写体がより立体的となり、肉眼で被写体を見た場合の見え方に近い三次元画像を表示することができる。

携帯電話端末１０１は、画像１６０と取得したパラメータとに基づいて右目用画像１６０Ｒと左目用画像１６０Ｌの２つの視差のある画像を作製する。携帯電話端末１０１は、右目用画像１６０Ｒと左目用画像１６０Ｌとを重ねて表示することで三次元画像として表示することができる。

ここで、ステップＳ２２の右目用画像１６０Ｒと左目用画像１６０Ｌとの２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差が人物１２４の視差よりも大きくなる。これにより、木１２６の方が人物１２４より立体的に見える三次元画像となる。つまり、より手前にある木１２６の方が立体感のある三次元画像として表示される。

携帯電話端末１は、図１１のステップＳ２２に示す画像を取得した後、被写体の立体感を補正する操作が利用者により入力された場合、入力された操作に基づいて取得した画像を補正する。例えば、利用者が被写体のうち人物１２４の立体感を強調する補正、つまりより立体的に表示させる補正の操作を入力した場合、ステップＳ２４に示すように、左目用画像１６０Ｌａの人物１６４Ｌａを矢印１６７ａ方向（画面の右側）に移動させる補正処理を行う。具体的には、携帯電話端末１は、人間１２４の画像に対応付けたパラメータを調整する。具体的には人間１２４の画像に対応付けるパラメータを、パラメータＰ_２から、より近い位置の被写体に対応付けるパラメータＰ_３とする。これにより、人物１６４Ｌａは、人物１６４Ｌよりも右側に移動する。なお、左目用画像１６０Ｌａの他の被写体である山１６２Ｌａと木１６６Ｌａは、左目用画像１６０Ｌから変化させない。また、右目用画像１６０Ｒａは、基準画像であるので画像１６０から変化させない。つまり、右目用画像１６０ａの山１６２Ｒａと人物１６４Ｒａと木１６６Ｒａとは、画像１６０の山１６２と人物１６４と木１６６と同一のままである。

ステップＳ２２の右目用画像１６０Ｒａと左目用画像１６０Ｌａの２つの画像を重ねて表示させることで実現する三次元画像は、木１２６の視差は変化せず、人物１２４の視差が大きくなる。これにより人物１２４の立体感がより向上した三次元画像とすることができる。また、人物１２４はパラメータＰ３であるため、右目用画像１６０Ｒａと左目用画像１６０Ｌａとを重ねて表示させて実現する三次元画像は、人物１２４もより手前にある木１２６の方が立体感のある三次元画像として表示される。

なお、上記実施形態では、人物の立体感を強調する場合としたがこれに限定されない。例えば人物の立体感を抑制する場合、人物に対応付けているパラメータをより遠くの被写体に対応付けるパラメータに変更すればよい。なお、被写体も人物に限定されず、各被写体の立体感を補正することができる。

このように、１枚の画像を焦点距離（焦点距離に対応付けたパラメータ）に基づいて加工して視差のある２枚の画像を作成し、三次元画像として表示可能な画像を作成する場合でも、被写体毎に視差を調整することで上記と同様に利用者が所望する立体感の三次元画像を作成することができる。

また、携帯電話端末１は、パラメータを補正可能な範囲を制限することで、具体的には、他の被写体との前後関係を逆転しない範囲（前後関係を維持する範囲）でパラメータを調整することが好ましい。これにより、画像の全体のバランスが崩れることを抑制しつつ、立体感を調整することができる。

なお、上記実施形態では、焦点距離を５つの範囲に分け、パラメータを設定したが焦点距離を分ける範囲の数、パラメータの数は特に限定されない。より多くの範囲に分けることで、立体感をより細かい範囲で補正することができる。

図１２は、携帯電話端末の画像補正処理を説明するための説明図である。携帯電話端末１０１は、被写体の立体感を補正する補正値（補正量）を一定範囲に制限することが好ましい。補正量の範囲を制限することで、実際の距離感と三次元画像の距離感（立体感）とがかけ離れることを抑制することができる。なお、立体感を強調する補正は、被写体が遠い場合は補正量を大きくでき、被写体が近い場合は補正量を小さく制限することが好ましい。立体感を抑制する補正は、被写体が遠い場合は補正量を小さく制限し、被写体が近い場合は補正量を大きくできることが好ましい。このように、被写体との距離に応じて補正量の範囲を設定することで、より適切な補正を行うことができる。

図１２に示すように、携帯電話端末１０１が山１７０と人物１７２を被写体として、三次元画像として表示可能な画像を撮影する場合として説明する。なお、被写体の山１７０と人物１７２とは、山１２２が携帯電話端末１０１から最も遠い位置にあり、山１７０の手前（山１７０よりも携帯電話端末１０１側）に人物１７２がいる。ここで、携帯電話端末１０１は、自身からの距離の範囲に基づいてパラメータ１８０を設定する。なお、パラメータ１８０は、焦点距離（被写体との距離）に基づいて設定され、焦点距離が遠い順に、パラメータｐ_１、パラメータｐ_２、パラメータｐ_３、パラメータｐ_４、パラメータｐ_５、パラメータｐ_６、パラメータｐ_７、パラメータｐ_８で設定される。焦点距離が最も近い範囲がパラメータＰ_８となる。なお、山１７０は、パラメータＰ_１の範囲にある。人物１７２は、パラメータＰ_２の範囲にいる。

このように、補正対象の被写体が人物１７２の場合、つまり被写体が遠い位置にいる場合は、立体感を強調する補正は可能とし、立体感を抑制する補正は不可とする。なお、立体感を強調する補正も３段階まで、つまりパラメータＰ_５とする補正までとする。

また、補正対象の被写体がパラメータｐ_５の領域にいる人物１７４の場合、つまり被写体が中間領域にいる場合は、立体感を強調する補正も、立体感を抑制する補正も可能とする。なお、立体感を強調する補正は２段階まで、つまりパラメータＰ_７とする補正までとし、立体感を抑制する補正は２段階まで、つまりパラメータＰ_３とする補正までとする。

また、補正対象の被写体がパラメータｐ_８の領域にいる人物１７６の場合、つまり被写体が近い位置にいる場合は、立体感を強調する補正は不可とし、立体感を抑制する補正を可能とする。なお、立体感を抑制する補正は３段階まで、つまりパラメータＰ_５とする補正までとする。

このように、被写体の位置に応じて、補正量の範囲を制限することで、適切な補正を実行できる。

また、携帯電話端末１は、距離が近い被写体は、自動的に立体感を抑制する補正を行うようにしてもよい。近い被写体は、視差が大きくなり立体感が強調されるため、見えにくくなる場合がある。この場合も自動的に立体感を抑制することで三次元画像を好適に見ることができる。

また、上記実施形態では、既存の装置構成で実現可能であり、装置構成を簡単にできるため、カメラのオートフォーカス機能（絞りの調整機能）で算出した焦点距離を用いて筐体と被写体との距離を検出したがこれに限定されず、被写体との距離を算出する種々の機能を用いることができる。例えば、赤外線センサ、超音波センサ等、対象物との距離を算出する種々の距離検出手段を用いることができる。

また、上記実施形態では、複数の画像を１つの表示部に重ねて表示させることで三次元画像を表示させたが、これに限定されない。例えば、右目用画像の表示面と左目用画像の表示面をそれぞれ備える表示装置を用いて、それぞれの表示面に画像を表示させて三次元画像を表示させる構成としてもよい。この場合も視覚に対して複数の画像を積層させて表示させることができ、三次元画像を表示することができる。

また、上記の実施形態では、表示部としてタッチパネルを有する電子機器に本発明を適用する例について説明したが、本発明は、表示手段として、タッチセンサが重畳されていない単なる表示パネルを有する電子機器に適用することもできる。

また、上記実施形態では、三次元画像を撮影する機能と三次元画像を表示させる機能とを両方持つ携帯電話端末として説明したが、これには限定されない。上記実施形態の三次元画像を表示させる機能を備える電子機器であれば、各種適用が可能である。

１、１０１ 携帯電話端末
２ タッチパネル
２Ａ タッチセンサ
２Ｂ 表示部
３ 入力部
５ 電源部
６ 通信部
７ レシーバ
８ マイク
９ 記憶部
９Ａ メールプログラム
９Ｂ ブラウザプログラム
９Ｃ カメラプログラム
９Ｄ ３Ｄ画像処理プログラム
９Ｅ 処理条件テーブル
９Ｆ 画像フォルダ
１０ 主制御部
１１ ＲＡＭ
１２ 筐体
１６ 第１カメラ
１７ 第２カメラ
１１６ カメラ

Claims (8)

1. 操作部と、
   複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、
   三次元画像を構成する複数の画像データを併せて記憶する記憶部と、
   前記操作部で検出した操作に基づいて当該三次元画像の対象物の立体感の補正値を決定し、前記対象物の立体感の補正値に基づいて三次元画像を構成する複数の画像の少なくとも１つの画像の前記対象物の位置を補正し、補正した画像を含む複数の画像を前記表示部に重ねて前記対象物を三次元画像として表示させる制御部と、を有することを特徴とする電子機器。
2. 前記三次元画像は、複数の対象物で構成されることを特徴とする請求項１に記載の電子機器。
3. 前記制御部は、前記対象物の立体感の補正値に基づいて、前記立体感を強調する場合は、前記複数の画像間での対象物の視差を大きくし、前記立体感を抑制する場合は、前記複数の画像間での対象物の視差を小さくすることを特徴とする請求項１または２に記載の電子機器。
4. 前記制御部は、前記複数の対象物の間の前後関係が逆転しない範囲で前記視差を調整することを特徴とする請求項３に記載の電子機器。
5. 前記制御部は、前記複数の対象物同士の距離に基づいて設定可能な補正値の範囲を決定することを特徴とする請求項１から４のいずれか一項に記載の電子機器。
6. 三次元画像として表示可能な画像を撮影する撮影部をさらに有し、
   前記制御部は、前記撮影部による三次元画像の撮影時に当該撮影部から対象物までの距離情報を取得することを特徴とする請求項１から５のいずれか一項に記載の電子機器。
7. 前記撮影部は、所定間隔離れた２つのカメラを有し、
   前記制御部は、前記２つのカメラでそれぞれ撮影した画像を解析し、前記２つの画像の視差に基づいて当該２つのカメラの各々から前記対象物までの距離情報を取得することを特徴とする請求項６に記載の電子機器。
8. 前記撮影部は、焦点位置調整機構を有し、
   前記制御部は、前記画像の撮影時に焦点位置調整機構で焦点位置を移動させることで取得した焦点距離情報を解析し、当該撮影部から前記対象物までの距離情報を取得することを特徴とする請求項６に記載の電子機器。

Images