JP2018056889A - 表示端末、表示方法、及びプログラム - Google Patents

Abstract

【課題】利用者がスマートフォン等の表示端末を取り付けたスコープを頭部に装着して、表示端末に表示された画像を見ると、あたかも画像で表わされた場所にいるかの様な感覚を体験することができる。また、スコープには、現実の三次元の世界にいるかのように感じるための複眼（二眼）タイプがある。表示端末も、複眼用に２つの画像を表示する場合がある。しかし、利用者が、複眼用に２つの画像を表示する表示端末を取り付けたスコープを装着する場合、利用者の鼻の高さや両目の間隔の違いにより、２つの画像がずれて見えることでＶＲ酔いが起こる。【解決手段】表示端末は、全天球パノラマ画像における所定領域を示す複眼用の２つの画像を表示手段における２つの表示領域にそれぞれ表示させることで仮想現実を実現可能とし、２つの画像のうちの一方の画像の表示領域の位置の移動を受け付けると、一方の画像の表示領域の位置を移動させて表示する。【選択図】図１７

Description

本発明は、表示端末、表示方法、及びプログラムに関するものである。

近年、一度の撮影で、３６０°の全天球パノラマ画像の元になる２つの半球画像データを得る特殊なデジタルカメラが提供されている（特許文献１参照）。このデジタルカメラから２つの半球画像データを得たスマートフォン等の表示端末は、全天球パノラマ画像を作成する。但し、そのままでは画像が湾曲して利用者が見えづらいため、表示端末に全天球パノラマ画像の一部の所定領域を示す所定領域画像を表示させることで、利用者は一般のデジタルカメラで撮影された平面画像と同じ感覚で閲覧することができる。

また、２０１６年は、ＶＲ(Virtual Reality：仮想現実／人工現実感)元年とも呼ばれており、利用者が、表示端末を取り付けたＶＲスコープ（ゴーグル）を頭部に装着して、表示端末に表示された全天球パノラマ画像を見ると、あたかも画像で表わされた場所にいるかの様な感覚を体験することができるようになった。この表示端末に表示される全天球パノラマ画像は、上記特殊なデジタルカメラで撮影することによって得られた２つの半球画像データに基づいて作成される。

また、ＶＲスコープは、単に全天球パノラマ画像を見るための単眼（一眼）タイプと、現実の三次元の世界にいるかのように感じるための複眼（二眼）タイプがある。同様に、表示端末は、単眼用に単一の画像を表示する場合と、複眼用に２つの画像を表示する場合がある。

しかしながら、利用者が、複眼用に２つの画像を表示する表示端末を取り付けたＶＲスコープを装着する場合、利用者の鼻の高さや両目の間隔等の違いにより、２つの画像がずれて見えることで、眼精疲労、めまい、頭痛，吐き気などの所謂「ＶＲ酔い」と言われる症状が起こりやすくなるという課題が生じる。

請求項１に係る発明は、全天球パノラマ画像における所定領域を示す複眼用の２つの画像を表示手段における２つの表示領域にそれぞれ表示させることで仮想現実を実現可能な表示制御手段と、前記２つの画像のうちの一方の画像の前記表示手段における表示領域の位置を移動させる操作を受け付ける受付手段と、を有し、前記表示制御手段は、前記受付手段よって受け付けられた操作に基づき、前記一方の画像の前記表示手段における表示領域の位置を移動させて表示することを特徴とする表示端末である。

以上説明したように本発明によれば、所謂「ＶＲ酔い」を抑制することができるという効果を奏する。

（ａ）は撮影装置の左側面図であり、（ｂ）は撮影装置の正面図であり、（ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （ａ）は撮影装置で撮影された半球画像（前）、（ｂ）は撮影装置で撮影された半球画像（後）、（ｃ）はメルカトル図法により表された画像を示した図である。 （ａ）メルカトル画像で球を被う状態を示した概念図、（ｂ）全天球パノラマ画像を示した図である。 全天球パノラマ画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示されたている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 本発明の実施形態に係る仮想現実システムの概略図である。 ＶＲスコープの使用イメージ図である。 撮影装置のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 仮想現実システムの機能ブロック図である。 左眼用画像と右眼用画像がずれている場合のＶＲ画像を示す概念図。 キャリブレーションを示すフローチャートである。 スマートフォンが左眼用画像と右眼用画像を表示した図である。 スマートフォンがメニュー画面を表示した図である。 左眼用画像及び右眼用画像上に調整用ガイドを表示した図である。 調整用ガイドを表示させた場合のＶＲ画像を示す概念図である。 指で右眼用画像をずらしている状態を示したイメージ図である。 表示領域と画面用画像との関連を示した概念図である。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜実施形態の概略＞＞
＜全天球パノラマ画像の生成方法＞
図１乃至図７を用いて、全天球パノラマ画像の生成方法について説明する。

まず、図１を用いて、撮影装置１の外観を説明する。撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は撮影装置の左側面図であり、図１（ｂ）は撮影装置の正面図であり、図１（ｃ）は撮影装置の平面図である。

図１（ａ）に示されているように、撮影装置１は、人間が片手で持つことができる大きさである。また、図１（ａ），図１（ｂ），図１（ｃ）に示されているように、撮影装置１の上部には、正面側（前側）に撮像素子１０３ａ及び背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ，１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述する魚眼レンズ１０２ａ，１０２ｂ）と併せて用いられる。また、図１（ｂ）に示されているように、撮影装置１の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１の使用状況を説明する。なお、図２は、撮影装置の使用イメージ図である。撮影装置１は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、撮影装置１で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図３（ａ）は撮影装置で撮影された半球画像（前側）、図３（ｂ）は撮影装置で撮影された半球画像（後側）、図３（ｃ）はメルカトル図法により表された画像（以下、「メルカトル画像」という）を示した図である。図４（ａ）はメルカトル画像で球を被う状態を示した概念図、図４（ｂ）は全天球パノラマ画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、撮影装置１によって合成され、図３（ｃ）に示されているように、メルカトル画像が作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。

以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球パノラマ画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球パノラマ画像に対して、その画像を見るユーザの視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球パノラマ画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球パノラマ画像が、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣが全天球パノラマ画像の外部に位置している。全天球パノラマ画像における所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球パノラマ画像を含む三次元の仮想空間における仮想カメラＩＣの画角を含む位置座標（ｘ(rH)，ｙ(rV)，画角α(angle)）を示す所定領域情報によって特定される。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。

そして、図６（ａ）に示されている所定領域Ｔの画像である所定領域画像は、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示してもよい。以下では、仮想カメラＩＣの位置座標（ｘ(rH)、ｙ(rV)、及び画角α(angle)）を用いて説明する。

次に、図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図７は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角線画角を２Ｌとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。そして、図７では、一般的に以下の式（１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜仮想現実システムの概略＞
続いて、図８を用いて、本実施形態の仮想現実システムの構成の概略について説明する。図８は、本実施形態の仮想現実システムの構成の概略図である。図９は、ＶＲスコープの使用イメージ図である。

図８に示されているように、本実施形態の仮想現実システムは、撮影装置１、ＶＲ(Virtual Reality：仮想現実／人工現実感)スコープ２、及びスマートフォン９によって構成されている。

これらのうち、撮影装置１は、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。

ＶＲスコープ（ゴーグル）２は、利用者が頭部に装着することができる形体に構成されている。ＶＲスコープ２は、安価な物では厚紙を組み立てて完成されたものや、高価は物ではプラスティック製のものがある。ＶＲスコープ２には、スマートフォン９を挿入するための挿入口２１が設けられている。また、ＶＲスコープには、左眼用レンズ２２ａ及び右眼用レンズ２２ｂが設けられている。

スマートフォン９は、WiFi(Wireless Fidelity)、Bluetooth（登録商標）、NFC（Near Field Communication）等の近距離無線通信技術を利用して、撮影装置１で得られた全天球パノラマ画像の元になる２つの半球画像データを取得することができる。また、スマートフォン９では、ＶＲ用アプリケーションを起動させることで、自装置に設けられた後述のディスプレイ９１７に、左眼用画像Ｌと右眼用画像Ｒを表示することができる。

利用者は、左眼用画像Ｌ及び右眼用画像Ｒを表示した状態のスマートフォン９をＶＲスコープ２の挿入口２１に挿入し、自己の頭部にＶＲスコープ２を装着又は近づけて、左眼用レンズ２２ａ及び右眼用レンズ２２ｂを覗くと、図９（ａ）に示されているように、ＶＲ画像を見ることができる。また、図９（ｂ）に示されているように、利用者がＶＲスコープ２を装着した状態で頭部を上側に向けると、スマートフォン９の後述の加速度・方位センサ９０６により、スマートフォン９は元のＶＲ画像よりも上空側のＶＲ画像を表示する。これにより、利用者は、あたかも画像で表わされた場所にいるかの様な感覚を体験することができる。

なお、スマートフォン９は、表示端末の一例であり、表示端末には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）も含まれる。

＜＜実施形態のハードウェア構成＞＞
次に、図１０及び図１１を用いて、本実施形態の撮影装置１、及びスマートフォン９のハードウェア構成を詳細に説明する。

＜撮影装置１のハードウェア構成＞
まず、図１０を用いて、撮影装置１のハードウェア構成を説明する。図１０は、撮影装置１のハードウェア構成図である。以下では、撮影装置１は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１と同じ機能を有するようにしてもよい。

図１０に示されているように、撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、及び電子コンパス１０８によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているようなメルカトル画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮影装置１によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶されたメルカトル画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してビデオ会議端末３等の外部装置に送信されたりする。

通信部１１７は、撮影装置１に設けられたアンテナ１１７ａを介して、WiFi等の近距離無線通信技術によって、ビデオ会議端末３等の外部装置と通信を行う。この通信部１１７によっても、メルカトル画像のデータをビデオ会議端末３の外部装置に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。

＜スマートフォンのハードウェア構成＞
次に、図１１を用いて、スマートフォンのハードウェアについて説明する。図１１は、スマートフォンのハードウェア構成図である。図１１に示されているように、スマートフォン９は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、ＥＥＰＲＯＭ９０４、ＣＭＯＳセンサ９０５、加速度・方位センサ９０６、メディアＩ／Ｆ９０８、ＧＰＳ受信部９０９を備えている。

これらのうち、ＣＰＵ９０１は、スマートフォン９全体の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１やＩＰＬ等のＣＰＵ９０１の駆動に用いられるプログラムを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１のワークエリアとして使用される。ＥＥＰＲＯＭ９０４は、ＣＰＵ９０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ９０５は、ＣＰＵ９０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。加速度・方位センサ９０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ９０８は、フラッシュメモリ等の記録メディア９０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部９０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン９は、遠距離通信回路９１１、カメラ９１２、撮像素子Ｉ／Ｆ９１３、マイク９１４、スピーカ９１５、音入出力Ｉ／Ｆ９１６、ディスプレイ９１７、外部機器接続Ｉ／Ｆ９１８、近距離通信回路９１９、近距離通信回路９１９のアンテナ９１９ａ、及びタッチパネル９２１を備えている。

これらのうち、遠距離通信回路９１１は、通信ネットワーク１００を介して、他の機器と通信する回路である。カメラ９１２は、ＣＰＵ９０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ９１３は、カメラ９１２の駆動を制御する回路である。マイク９１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ９１６は、ＣＰＵ９０１の制御に従ってマイク９１４及びスピーカ９１５との間で音信号の入出力を処理する回路である。ディスプレイ９１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ９１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路９１９は、ＮＦＣやＢｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル９２１は、利用者がディスプレイ９１７を押下することで、スマートフォン９を操作する入力手段の一種である。

また、スマートフォン９は、バスライン９１０を備えている。バスライン９１０は、ＣＰＵ９０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、上記各プログラムが記憶されたＣＤ−ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜＜実施形態の機能構成＞＞
次に、図１０乃至図１２を用いて、本実施形態の機能構成について説明する。図１２は、本実施形態の仮想現実システムの一部を構成する、撮影装置１及びスマートフォン９の各機能ブロック図である。

＜撮影装置の機能構成＞
まず、図１０及び図１２を用いて、撮影装置１の機能構成について詳細に説明する。図１２に示されているように、撮影装置１は、受付部１２、撮像部１３、集音部１４、通信部１８、及び記憶・読出部１９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。

また、撮影装置１は、図１０に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４によって構築される記憶部１０００を有している。

（撮影装置の各機能構成）
次に、図１０及び図１２を用いて、撮影装置１の各機能構成について更に詳細に説明する。

撮影装置１の受付部１２は、主に、図１０に示されている操作部１１５及びＣＰＵ１１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮像部１３は、主に、図１０に示されている撮像ユニット１０１、画像処理ユニット１０４、及び撮像制御ユニット１０５、並びにＣＰＵ１１１の処理によって実現され、風景等を撮像し、撮影画像データを得る。この撮影画像データは、図３（ａ），（ｂ）に示されているように、全天球パノラマ画像データの元になる２つの半球画像データである。

集音部１４は、図１０に示されている１０８及び音処理ユニット１０９、並びにＣＰＵ１１１の処理によって実現され、撮影装置１の周囲の音を集音する。

通信部１８は、主に、ＣＰＵ１１１の処理によって実現され、ビデオ会議端末３の通信部３８と、WiFi等による近距離無線通信技術によって通信することができる。

記憶・読出部１９は、主に、図１０に示されているＣＰＵ１１１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図１１及び図１２を用いて、スマートフォン９の機能構成について詳細に説明する。スマートフォン９は、基本的にビデオ会議端末３と同じ機能を有している。即ち、図１２に示されているように、スマートフォン９は、送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、通信部９８、及び記憶・読出部９９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開されたスマートフォン９用プログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン９は、図１１に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部９０００を有している。

（スマートフォンの各機能構成）
スマートフォン９の送受信部９１は、主に、図１１に示されている遠距離通信回路９１１及びＣＰＵ９０１の処理によって実現され、インターネット等の通信ネットワークを介して、他のスマートフォンやサーバとの間で各種データ（または情報）の送受信を行う。

受付部９２は、主にタッチパネル９２１及びＣＰＵ９０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。タッチパネル３１６はディスプレイ３１５と共用であってもよい。また、タッチパネル以外の入力手段（ボタン）等でもよい。

画像・音処理部９３は、主にＣＰＵ９０１からの命令によって実現され、撮影装置１から送られて来た全天球パノラマ画像データの元となる２つの半球画像データに基づいて、全天球パノラマ画像データを作成する。例えば、画像・音処理部９３は、全天球パノラマ画像の元になる２つの半球画像データから、全天球パノラマ画像、並びに第１の所定領域を示す画像及び前記第２の所定領域を示す画像を作成するための画像処理を行なう。
また、画像・音処理部９３は、音データに対してスピーカ９１５から音声を出力するための音声処理を行う。

表示制御部９４は、主にＣＰＵ９０１の処理によって実現され、ディスプレイ９１７に各種画像や文字等を表示させるための制御を行う。表示制御部９４の詳細な処理は後述する。

判断部９５は、主にＣＰＵ９０１の処理によって実現され、各種判断を行なう。

通信部９８は、主に、ＣＰＵ９０１の処理によって実現され、撮影装置１ａの通信部１８ａと、WiFi等による近距離無線技術によって通信することができる。

記憶・読出部９９は、ＣＰＵ９０１の処理によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

＜＜実施形態の処理又は動作＞＞
続いて、図１３乃至図２０９を用いて、本実施形態の処理又は動作について説明する。まず、図１３を用いて、左眼用画像と右眼用画像がずれている場合のＶＲ画像を説明する。図１３は、左眼用画像と右眼用画像がずれている場合のＶＲ画像を示す概念図である。

図１３に示されているように、左眼用画像と右眼用画像がずれている場合には、ＶＲ画像がぼやけて見えるため、眼精疲労、めまい、頭痛，吐き気などの所謂「ＶＲ酔い」を起してしまう可能性がある。そこで、ＶＲ酔いを解消するため、以下に示すように、左眼用画像と右眼用画像を合わせるキャリブレーションの処理を行なう。図１４は、キャリブレーションを示すフローチャートである。図１５は、スマートフォンが左眼用画像と右眼用画像を表示した図である。図１６は、スマートフォンがメニュー画面を表示した図である。図１７は、スマートフォンがキャリブレーション用のガイドを表示した図である。

まず、利用者は、ＶＲ用アプリケーションを起動して、図１５に示されているように、表示制御部９４によって、スマートフォン９のディスプレイ９１７に左眼用画像Ｌ及び右眼用画像Ｒを表示させる。この場合、表示制御部９４は、左眼用画像Ｌ及び右眼用画像Ｒの間の上部に、メニューボタンｍを表示させている。ここで、利用者がメニューボタンｍを押下すると、スマートフォン９の受付部９２が、メニューボタンｍの押下を受け付ける（ステップＳ１１）。そして、表示制御部９４は、図１６に示されているように、メニュー画面３０を表示させる（ステップＳ１２）。このメニュー画面３０には、表示させる他の画像を選択するための「画像選択」ボタン３１、左眼用画像Ｌ及び右眼用画像Ｒの色調整を行なうための「色調整」ボタン３２、及び左眼用画像Ｌに対し一定のずれを保ったままで右眼用画像Ｒを表示させるための「キャリブレーション」ボタン３３が表示されている。また、メニュー画面３０の右下部には、図１５に示されている状態に戻るための「戻る」ボタン３４が表示されている。

ここで、利用者が「キャリブレーション」ボタン３３を押下すると、受付部９２は、「キャリブレーション」ボタン３３の押下を受け付ける（ステップＳ１３）。これにより、表示制御部９４は、図１７に示されているように、キャリブレーション画面を表示する（ステップＳ１４）。このキャリブレーション画面には、左眼用画像Ｌ上に調整用ガイドＬ１〜Ｌ５が表示され、右眼用画像Ｒ上に調整用ガイドＲ１〜Ｒ５が表示されている。更に、表示制御部９４は、左眼用画像Ｌ及び右眼用画像Ｒを固定させて、利用者がスクロール（回転を含む）させようとしてもできないように表示する。

続いて、図１８乃至図２０を用いて、利用者が右画面用画像Ｒの表示領域を移動させる処理について説明する。図１８は、調整用ガイドを表示させた場合のＶＲ画像を示す概念図である。図１９は、指で右眼用画像をずらしている状態を示したイメージ図である。図２０は、表示領域と画面用画像との関連を示した概念図である。

図１８に示されているように、利用者は一旦、スマートフォン９を取り付けたＶＲスコープ２を頭部に装着してＶＲ画像を見ると、各調整ガイドが一致していないため、ディスプレイ９１７上の左眼用画像Ｌの表示領域に対して、右眼用画像Ｒの表示領域をどの方向に移動させればよいかを把握することができる。そこで、利用者は、再び、ＶＲスコープ２からスマートフォン９を取り出して、図１９に示されているように、指で右画面用画像Ｒの表示領域を所望の位置に移動させる。これにより、受付部９２は、右画面用画像Ｒの表示領域の移動の位置をさせる操作を受け付ける（ステップＳ１５）。この表示領域の移動は、左画面用画像Ｒの表示領域の位置は固定したままにして、図２０（ａ）に示されているように、右画面用画像Ｒの元の表示領域の位置ｐ１から、画面内容は同じままで別の表示領域の位置ｐ２への移動を意味する。なお、ステップＳ１４で、画像を固定していない場合に、利用者が指で右画面用画像Ｒを移動させると、図２０（ｂ）に示されているように、表示領域の位置ｐ１の移動ではなく、右画面用画像Ｒがスクロールされる。そのため、仮に画像を固定していない場合には、表示領域のキャリブレーションが困難となる。

次に、利用者が、再度、ＶＲスコープ２を装着してＶＲ画像を見た場合に、左画面用画像Ｌの各調整用ガイドＬ１〜Ｌ５と、右画面用画像Ｒの調整用ガイドＲ１〜Ｒ５がそれぞれ重なり一致して見えると、利用者はＶＲスコープ２からスマートフォン９を取り出し、図１９に示されている「確定」ボタンＦを押下する。これにより、受付部９２は、図２０（ａ）に示されている表示領域の移動後の位置ｐ２の確定を受け付ける（ステップＳ１６）。そして、記憶・読出部９９は、記憶部９０００に移動後の位置を示す調整データを記憶する（ステップＳ１７）。これにより、再度、利用者がスマートフォン９で全天球パノラマ画像を表示させる際に、表示制御部は、記憶・読出部９９によって記憶部９０００から読み出された調整データに基づき、右画面用画像Ｒを、上述の確定された表示領域の位置ｐ２で表示することができる。

なお、右画面用画像Ｒの表示領域の位置ｐ１を固定させ、左画面用画像Ｌの表示領域の位置を移動させてもよい。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、スマートフォン９の表示制御部９４は、全天球パノラマ画像における所定領域を示す複眼用の２つの画像を表示させることで仮想現実を実現する。そして、受付部９２が、２つの画像（左眼用画像Ｌ、右眼用画像Ｒ）のうちの一方の画像（例えば、右眼用画像Ｒ）のディスプレイ９１７における表示領域の位置ｐ１を移動させる操作を受け付けると、表示制御部９４は、受付部９２によって受け付けられた操作に基づき、一方の画像のディスプレイ９１７における表示領域の位置ｐ１を移動させて表示することができる。これにより、所謂「ＶＲ酔い」を抑制することができるという効果を奏する。

１ 撮影装置
２ ＶＲスコープ
２１ 挿入口
９ スマートフォン（表示端末の一例）
９２ 受付部（受付手段の一例）
９４ 表示制御部（表示制御手段の一例）
９１７ ディスプレイ（表示手段の一例）
９０００ 記憶部（記憶手段の一例）
ｐ１ 表示領域の位置
ｐ２ 表示領域の位置
Ｒ 右画面用画像（２つの画像の一つ、一方の画像の一例）
Ｌ 左画面用画像（２つの画像の一つ、一方の画像の一例）

特開２０１２−１７８１３５号公報

Claims (10)

1. 全天球パノラマ画像における所定領域を示す複眼用の２つの画像を表示手段における２つの表示領域にそれぞれ表示させることで仮想現実を実現可能な表示制御手段と、
   前記２つの画像のうちの一方の画像の前記表示手段における表示領域の位置を移動させる操作を受け付ける受付手段と、
   を有し、
   前記表示制御手段は、前記受付手段よって受け付けられた操作に基づき、前記一方の画像の前記表示手段における表示領域の位置を移動させて表示することを特徴とする表示端末。
2. 前記受付手段によって前記移動の開始を受け付ける前に前記一方の画面に対する移動の操作を受け付けた場合には、前記表示制御手段は、前記一方の画面をスクロールして表示し、
   前記受付手段によって前記移動の開始を受け付けた後に前記一方の画面に対する移動の操作を受け付けた場合には、前記表示制御手段は、前記一方の画面をスクロールせずに、前記表示領域の位置を移動させて表示すること
   を特徴とする請求項１に記載の表示端末。
3. 前記受付手段は、前記表示領域の移動後の位置の確定を受け付け、
   前記移動後の位置を示す調整データを記憶する記憶手段を有し、
   前記表示制御手段は、再度、全天球パノラマ画像を表示させる際に、前記記憶手段から読み出された前記調整データに基づき、前記一方の画像を前記確定された表示領域の位置で表示する請求項１に記載の表示端末。
4. 前記表示制御手段は、前記２つの画像に、調整用ガイドを表示することを特徴とする請求項１乃至３のいずれか一項に記載の表示端末。
5. 全天球パノラマ画像の元になる２つの半球画像データから、全天球パノラマ画像、並びに前記所定領域を示す２つの画像を作成するための画像処理を行なう画像処理手段を有することを特徴とする請求項１乃至４のいずれか一項に記載の表示端末。
6. 近距離無線通信により、撮影装置から前記全天球パノラマ画像の元になる２つの半球画像データを取得する通信手段を有することを特徴とする請求項５に記載の表示端末。
7. 前記表示端末は、スマートフォン、又はタブレット型パーソナルコンピュータであることを特徴とする請求項１乃至５のいずれか一項に記載の表示端末。
8. 画像を表示する表示端末が実行する表示方法であって、
   前記表示端末は、
   全天球パノラマ画像における所定領域を示す複眼用の２つの画像を表示手段における２つの表示領域にそれぞれ表示させることで仮想現実を実現可能とし、
   前記２つの画像のうちの一方の画像の前記表示手段における表示領域の位置を移動させる操作を受け付け、
   前記受け付けられた操作に基づき、前記一方の画像の前記表示手段における表示領域の位置を移動させて表示すること
   を特徴とする表示方法。
9. 前記移動の開始を受け付ける前に前記一方の画面に対する移動の操作を受け付けた場合には、前記一方の画面をスクロールして表示し、
   前記移動の開始を受け付けた後に前記一方の画面に対する移動の操作を受け付けた場合には、前記一方の画面をスクロールせずに、前記表示領域の位置を移動させて表示すること
   を特徴とする請求項８に記載の表示方法。
10. コンピュータに、請求項８又は９に記載の方法を実行させるプログラム。

Images