JP2013033172A - 立体表示装置 - Google Patents

Abstract

【課題】従来の立体表示装置は、各立体表示方式に適した３Ｄ画像電子データフォーマットに変換したのち表示する必要があり、変換に手間がかかっていた。テレビなどで配信される３Ｄコンテンツを視聴するには、３Ｄ専用のパソコンや３Ｄテレビが必要であった。
【解決手段】撮像素子と表示素子と第一レンズと第二レンズを有する立体表示装置において、３Ｄのサイドバイサイド画像を撮像素子で撮影し、撮影した画像の左半分の左画像と右半分の右画像に分割し、左画像と右画像の対応する特徴点を抽出し、その特徴点の上下位置が水平になるように左画像と右画像の上下方向の相対位置を調整したのち、左画像と右画像を再結合した画像を表示素子に表示することで３Ｄ専用機器を必要とせず３Ｄコンテンツを視聴できる。
【選択図】図１

Description

本発明は、薄型の携帯電話や携帯端末や電子機器に用いられる表示装置を用いた立体表示が可能な装置に関するものである。

３Ｄ（立体）表示方法として、左右画像を約６０フレーム／秒以上の高速で交互に表示し、表示画面と同期された電子シャッタメガネを介して見るフレームシーケンシャル方式や、左右画像の縦ラインを１ラインごとに交互に並べて、バリア液晶による縦スリットを用いて左右画像を分離することで３Ｄ表示を実現する視差バリア方式などが知られている。

フレームシーケンシャル方式では、３Ｄ用左右画像または映像を時分割で交互に並べた電子データを必要とする。

また、視差バリア方式では、左右画像を縦ラインに分割したのち、左右画像の縦ラインを交互に並べた画像を必要とする。

また、もう一つの３Ｄ表示方式として、左目視線の左画像と右目視線の右画像を横に並べたサイドバイサイドのステレオ画像を電子機器の表示素子（ディスプレイ）に表示し、それぞれ左右の目で見ることにより、３Ｄ画像を表示するステレオビューアを用いた方式がある。（例えば特許文献１）
図７には、従来のステレオビューアを用いた３Ｄ表示方式の概略構造図を示す。

３Ｄ画像や３Ｄ映像などの３Ｄコンテンツのフォーマットとして、静止画用フォーマットのＭＰＯ規格や３Ｄ映像用フォーマットのブルーレイ３Ｄ規格（ＭＶＣ規格）が策定されているが、これらの３Ｄコンテンツを見るには専用の３Ｄ表示機器が必要である。

上記のブルーレイ３Ｄ規格は、伝送容量が大きいため、既存の設備を用いて配信しにくいことから、３Ｄテレビ放送やインターネット上の３Ｄコンテンツは、左右画像を横方向に縮小したのち、左右画像を結合したハーフサイドバイサイド（ｈａｌｆ−ＳＢＳ）方式が主に利用されている。これにより、２Ｄ画像として取り扱いができ、伝送容量を抑制するとともに既存設備を用いて低コストで３Ｄ映像配信が可能になる。

各３Ｄ表示機器で上記サイドバイサイド型の３Ｄコンテンツを表示するには、各３Ｄ表示方式に適した電子データに変換したのち表示を行う。

特開２００４−１７７４３１号公報

上記のフレームシーケンシャル方式または視差バリア方式による立体表示装置は、電子シャッタメガネや視差バリア液晶など３Ｄ表示を行うための専用部品が必要なため高価な装置となっていた。

また、それぞれ方式に対応する電子データフォーマットに変換する機能が必要であり、３Ｄ放送やインターネット上の３Ｄコンテンツを見るためには、電子ファイルの変換が必要であり、手軽にリアルタイムで３Ｄコンテンツを視聴することができなかった。

例えば、３Ｄ放送受信機能がない従来の３Ｄ表示装置で３Ｄ放送を視聴するには、３Ｄ放送を電子ファイルに保存したのち、電子ファイルを３Ｄ表示装置内に移動して３Ｄ表示方式のフォーマットに変換して表示する必要があり、３Ｄ放送のリアルタイム視聴ができなかった。

また、従来の特許文献３に記載された、ステレオビューア方式の立体表示装置は、レンズのみで安価に立体表示が実現できるが、３Ｄ放送やインターネット上の３Ｄコンテンツを見るためには、電子ファイルの変換が必要であり、手軽にリアルタイムで３Ｄコンテンツを視聴することができないという課題があった。

本発明は、３Ｄ放送やインターネット上の３Ｄコンテンツを、複雑な電子ファイルの変換を必要とせず、手軽にリアルタイムで３Ｄコンテンツを視聴する立体表示装置を実現することを目的とする。

次に、上記の課題を解決するための手段について述べる。

本発明は、撮像素子と、表示素子と、画像調整手段と、前記表示素子の前面に第一レンズと第二レンズを有し、３Ｄのサイドバイサイド画像を前記撮像素子で撮影し、前記画像調整手段は、前記撮影した画像の左半分の左画像と右半分の右画像に分割し、前記左画像と前記右画像の対応する特徴点を抽出し、前記特徴点の上下位置が水平になるように前記左画像と前記右画像の上下方向の相対位置を調整することにより生成した調整３Ｄ画像を、前記表示素子に表示する。

この構成により、３Ｄ放送などのサイドバイサイド型の３Ｄコンテンツを保存したのち電子データの変換をする必要がなく、手軽にリアルタイムで視聴できる。

また、本発明は、前記表示素子が第一表示素子と第二表示素子からなり、前記第一表示素子と前記第二表示素子はそれぞれ前面に前記第一レンズと前記第二レンズを有し、前記画像調整手段で調整した前記左画像を前記第一表示素子に表示し、前記右画像を前記表示素子に表示する。

この構成により、第一表示素子と第二表示素子を分離することで小型な立体表示装置を実現できる。
また、本発明は、前記サイドバイサイド画像がハーフサイドバイサイド画像であり、前記画像調整手段は、前記左画像と前記右画像をそれぞれ横幅が２倍になるように拡大する機能を有する。

この構成により、ハーフサイドバイサイド型３Ｄコンテンツの視聴も可能となる。

また、本発明は、さらに前記画像調整手段が前記左画像と前記右画像の前記特徴点が分布する領域を切り出して拡大する機能を有する。

この構成により、３Ｄコンテンツを視野角が広い状態で視聴することができ、臨場感が向上する。

本発明によれば、３Ｄ放送やインターネット上の３Ｄコンテンツを、ファイル保存と複雑な電子ファイルの変換を必要とせず、手軽にリアルタイムで３Ｄコンテンツを視聴する立体表示装置を実現することができる。

また、サイドバイサイド画像の表示画面サイズによらず、視野角が広い３Ｄコンテンツの再生が可能となり、高い臨場感が得られる。

本発明の実施の形態１の立体表示装置の概略構造図 本発明の実施の形態１のブロック構成図 本発明の実施の形態１の画像処理フロー図 本発明の実施の形態１の第二の画像処理フロー図 本発明の実施の形態１の第三の画像処理フロー図 本発明の実施の形態２の立体表示装置の概略構造図 従来の立体表示装置の概略構造図

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、本実施の形態の立体表示装置の概略構造図である。

以下、本実施の形態１では、カメラ付き携帯端末装置を想定して説明するが、その他、パソコンやテレビやデジカメなど、表示素子を有する電子機器にカメラなど装着した場合も同様である。

図１は本実施の形態１の立体表示装置の概略構造図である。

ＬＣＤ（液晶）素子などの表示素子２とカメラ３と画像調整手段１１を有する携帯端末１の表示素子２の前面に第一レンズ４と第二レンズ５を左右に並べて配置する。レンズはアーム６などを利用して、表示素子画面とレンズ間の距離が数ｃｍ〜１０ｃｍ程度離れた状態になるように固定する。アームとレンズは着脱可能、または、携帯端末１に常時固定されているもののどちらでも構わない。

例えば、第一及び第二レンズ部品は、双眼レンズとしてフレネルレンズで一体成形することで安価に実現できる。

第一レンズ４は表示素子２の左半分を拡大して見ることができる接眼レンズとしての機能を有する。

一方、第二レンズ５は表示素子２の右半分を拡大して見ることができる接眼レンズの機能を有する。

カメラ３は表示素子２の表示面と反対側に配置される。

テレビ７の画面には、３Ｄ放送などのサイドバイサイド（ＳＢＳ）の３Ｄ画像を表示する。

なお、以下は、３Ｄ映像（動画）を想定して説明するが３Ｄ静止画の場合も同様である。

サイドバイサイド画像１０とは、３Ｄの左画像８と右画像９を横（水平）に並べて結合した画像を指す。

左画像は左側、右画像は右側に配置されたサイドバイサイド画像を用いる。例えば通常の３Ｄ放送はこのタイプのサイドバイサイド画像である。

なお、左画像は右側、右画像は左側に配置されたサイドバイサイド画像の場合には、下記に述べる画像調整手段で左右画像を入れ替える処理を追加することによって、立体視聴が可能である。

また、左右画像をそれぞれ水平方向に１／２に圧縮したのち、左右を横に並べて結合した画像をハーフサイドバイサイド画像（ｈａｌｆ−ＳＢＳ）と呼ぶ。一方、圧縮していない場合の画像をフルサイドバイサイド画像（ｆｕｌｌ−ＳＢＳ）と呼ぶ。

テレビで表示する画像はサイドバイサイド画像とハーフサイドバイサイド画像のどちらでも構わない。以下は、それぞれの場合についての方法について記述する。

また、テレビの代わりにパソコンで表示された、インターネット上の３Ｄコンテンツであっても構わない。

サイドバイサイド画像１０（＝ＳＢＳ画像）を表示したＴＶ映像を携帯端末１のカメラ３で撮影し、表示素子２上にＳＢＳ画像を表示させる。表示素子上の左右画像をそれぞれ第一レンズと第二レンズを介して見ることにより立体表示を実現する。

ＳＢＳ画像を人間が左右の目で立体視するためには、左右画像の中心間距離を人間の目の間隔（約６〜７ｃｍ）以下にする必要があり、携帯端末のようなサイズが小さい表示素子を介してみることで初めて立体視が実現できる。

３インチから４．５インチ程度のディスプレイを有する携帯端末のディスプレイ画面の横幅の半分は、約４〜５ｃｍ程度であり、上記の立体視を行うのに最適なサイズである。

約５インチ以上の大画面ディスプレイであっても、左右画像の中心位置を約６〜７ｃｍ以下になるように表示画像サイズ等を調整すれば立体視は可能であるが、表示画像の解像度が低下するため、約５インチ以下のサイズが望ましい。

次に、ＳＢＳ画像を表示素子２に表示するときの画像調整方法について述べる。

図２は本発明の機能ブロック構成図を示す。カメラ３で撮影されたＳＢＳ画像を、画像調整手段１１で画像処理を行ったのち、表示素子２でＳＢＳ画像を表示する。

図３はＳＢＳ画像がフルＳＢＳ画像の場合の画像調整方法を示す。

図３（１）はテレビ７に表示したフルＳＢＳ画像である。

図３（２）はカメラ３でこのフルＳＢＳ画像を撮影した画像であるが、カメラの水平軸とテレビ画面の水平軸が傾いている場合には、図３（２）のように表示される。

第一レンズと第二レンズを介して図３（２）の画像を見ても左右画像の上下ずれが発生し、立体視することができない。

上下ずれを無くすためには、カメラの水平軸とテレビのディスプレイ画面の水平軸が平行になるように、ユーザがカメラを有する携帯端末の水平角度を最適に保持する必要があり、操作性が非常に悪い。

そこで画像調整手段１１により以下のように画像調整を実施する。

図３（２）の点線のように、撮影したＳＢＳ画像を左半分と右半分に分離する。分離した左撮影画像１２と右撮影画像１３の対応する特徴点として左撮影画像の特徴点１４、右撮影画像の特徴点１５を検出する。

次に、図３（３）に示すように、特徴点１４と１５の上下ずれ１６がゼロになるように、左右画像の上下の相対位置をずらしたのち左右撮影画像（１２と１３）を結合する。

次に、図３（４）に示すように、結合した左右画像の中心部分を切り出して左切り出し画像１７と右切り出し画像１８とし、１７と１８からなる上下ずれのない調整後ＳＢＳ画像１９を表示素子２に表示することで、立体表示を実現する。

上記の画像調整は比較的単純な処理のため、例えば３０フレーム／秒の速度で処理が可能であり、フレームごとのリアルタイム処理が可能である。

すなわち、３Ｄの動画コンテンツの立体表示が可能である。

左右画像の上下ずれを調整するために複数ペアの特徴点を用いても構わない。複数特徴点を用いれば調整精度が向上する。

また、複数ペアの特徴点から左右画像の画像サイズや台形歪みの補正上下ずれの調整を行うことで、より調整精度が向上する。

但し、台形歪み補正など処理量が多い画像処理を含む場合には、立体表示できるフレームレートが小さくなることがある。すなわち、処理速度に応じて立体表示のフレームレートを小さくする必要がある。

なお、切り出しを行うときには、ＳＢＳ画像以外の周辺部分はできるだけ排除するように切り出しを行う。これにより、立体視できない領域を減らすとともに、ＳＢＳ画像を大きく表示することができ、立体表示の臨場感が向上する。

以上により、ユーザがカメラの水平軸を気にする必要がなく立体視が実現できる。

次に、ＳＢＳ画像がハーフＳＢＳ画像の場合の第二の画像調整方法を説明する。

図４（１）はテレビ７に表示したハーフＳＢＳ画像２２である。ハーフＳＢＳ画像２２はハーフＳＢＳの左画像２０とハーフＳＢＳの右画像２１からなる。

図４（２）に示すように、撮影したハーフＳＢＳ画像を左右画像に分離したのち、左右特徴点を用いて上記図３と同様の方法で上下ずれを補正したのち結合する。

図４（３）は図４（２）を水平方向に２倍に拡大したものである。これにより左右画像は実画像と同じ縦横比となる。

次に、図４（４）に示すように結合した左右画像の中心部分を切り出して、第二左切り出し画像２５と第二右切り出し画像２６とし、上下ずれのないＳＢＳ画像を表示素子２に表示することで、立体表示を実現する。

次に、図５を用いて第三の画像調整方法を説明する。

図５の（１）は、図３（３）や図４（３）と同じ上下ずれ補正を行ったあとのＳＢＳ画像である。

図５（２）に示すように、ＳＢＳ画像の左右画像の一部分を切り出し、第三左切り出し画像２７と第三右切り出し画像２８とする。このとき左右画像の切り出しサイズは同じとし、上下方向にずれのない切り出し領域とする。

水平方向の切り出し位置は左右画像で調整することにより、３Ｄ画像の視差を最適に調整することができる。

第三左切り出し画像２７と第三右切り出し画像２８をそれぞれ等倍率で拡大した拡大左画像２９と拡大右画像３０を結合してＳＢＳ画像を得る。

これにより、撮影画像のＳＢＳ画像以外の領域を無くして立体視できない領域を減らして見やすくするとともに、ＳＢＳ画像の拡大表示が可能で立体表示の臨場感がさらに向上する。

これにより、ＳＢＳ画像が表示されているテレビの画面が小さい場合や、携帯端末とテレビの距離が離れている場合でも、高い臨場感の立体表示が可能となる。

なお、立体画像を縮小したい場合には、図５（４）のように、第三左切り出し画像２７と第三右切り出し画像２８の上下左右に黒枠３１をつけたのち表示することで実現できる。

なお黒枠３１の色は黒以外のどんな色でも構わない。

以上により、３Ｄ放送やインターネット上の３ＤコンテンツのＳＢＳ画像で表示された３Ｄコンテンツを専用３Ｄ表示機器無しで、手軽に立体視聴することができる。

携帯端末には、表示素子とカメラが既に内蔵されているものが多く、携帯端末には上述の画像調整機能からなるソフトウェアを組み込むだけでよい。

また、携帯端末の表示素子の前面に取り付ける第一及び第二レンズ部品は、双眼レンズとしてフレネルレンズで一体成形することで安価に実現できる。

本発明の立体表示装置を用いることによって、専用の３Ｄ表示機器無しで、リアルタイムに手軽に３Ｄ放送が視聴できる。

（実施の形態２）
図６は本実施の形態２の立体表示装置の概略構造図を示す。基本構成と画像処理方法等については実施の形態１と同様であり、説明を省略する。

実施の形態１と異なる点は表示素子を含む装置構造である。

立体表示装置筐体３２は、メガネ構造を有した、いわゆるヘッドマウントディスプレイ（ＨＭＤ）と同様構造の筐体に、メガネの前方を撮影できるカメラ３を取り付けたものである。

なお、上記のメガネ構造のＨＭＤタイプの代わりに、ヘルメットや帽子構造のヘッドアップディスプレイ（ＨＵＤ）などを用いても構わない。

実施の形態１と同様の画像調整を行った後のＳＢＳ画像の左画像部分を表示する第一表示素子３３と右画像を表示する第二表示素子３４を有し、それぞれ第一レンズ４と第二レンズ５を介して左右画像を見ることができる。

第一表示素子３３と第二表示素子３４に分離することにより、表示素子サイズを小さくすることができ、立体表示装置の小型化を図ることが出来る。

本発明は、サイドバイサイド型３Ｄコンテンツを手軽に視聴できる専用の立体表示装置として利用可能である。また、専用の立体表示装置ではなく、ヘッドマウントディスプレイ（HMD）や携帯端末装置、携帯電話、カーナビゲーション、携帯型パソコン等々の様々な電子機器にも利用可能である。

１ 携帯端末
２ 表示素子
３ カメラ
４ 第一レンズ
５ 第二レンズ
６ アーム
７ テレビ
８ 左画像
９ 右画像
１０ サイドバイサイド画像
１１ 画像調整手段
１２ 左撮影画像
１３ 右撮影画像
１４ 左撮影画像の特徴点
１５ 右撮影画像の特徴点
１６ 上下ずれ
１７ 左切り出し画像
１８ 右切り出し画像
１９ 調整後ＳＢＳ画像
２０ ハーフＳＢＳの左画像
２１ ハーフＳＢＳの右画像
２２ ハーフＳＢＳ画像
２３ 横拡大右画像
２４ 横拡大左画像
２５ 第二左切り出し画像
２６ 第二右切り出し画像
２７ 第三左切り出し画像
２８ 第三右切り出し画像
２９ 拡大左画像
３０ 拡大右画像
３１ 黒枠
３２ 立体表示装置筐体
３３ 第一表示素子
３４ 第二表示素子

Claims (4)

1. 撮像素子と、表示素子と、画像調整手段と、前記表示素子の前面に第一レンズと第二レンズを有し、
   ３Ｄのサイドバイサイド画像を前記撮像素子で撮影し、
   前記画像調整手段は、前記撮影した画像の左半分の左画像と右半分の右画像に分割し、前記左画像と前記右画像の対応する特徴点を抽出し、前記特徴点の上下位置が水平になるように前記左画像と前記右画像の上下方向の相対位置を調整することにより生成した調整３Ｄ画像を、前記表示素子に表示する立体表示装置。
2. 前記表示素子が第一表示素子と第二表示素子からなり、前記第一表示素子と前記第二表示素子はそれぞれ前面に前記第一レンズと前記第二レンズを有し、前記画像調整手段で調整した前記左画像を前記第一表示素子に表示し、前記右画像を前記表示素子に表示する請求項１記載の立体表示装置。
3. 前記サイドバイサイド画像がハーフサイドバイサイド画像であり、前記画像調整手段は、前記左画像と前記右画像をそれぞれ横幅が２倍になるように拡大する機能を有する請求項１または請求項２に記載の立体表示装置。
4. 前記画像調整手段は、前記左画像と前記右画像の前記特徴点が分布する領域を切り出して拡大する機能を有する請求項１から３のいずれかに記載の立体表示装置。

Images