JP2017069924A - 画像表示装置 - Google Patents

Abstract

【課題】画像の表示操作を画面に触れずに行えるようにすることおよび立体物や立体的な空間等を表すコンテンツを表示する場合に、表示したいものや見たい向きの選択等を直感的な操作で行うことが出来る装置、方法を提供すること。
【解決手段】
画像表示手段３と当該画像表示手段３に表示する画像ｇ１を制御する制御手段と、前記画像表示手段３を設けた筐体の姿勢を検出する姿勢検出手段を有し、前記画像ｇ１は時系列に沿って再生可能な動画を構成する複数の画像又は視点位置若しくは視線方向の移動にともなって連続的に表示可能な複数の画像ｇ１〜ｇ２４であり、前記制御手段は、前記姿勢検出手段によって検出した前記筐体の傾きに基づいて、前記動画を構成する複数の画像の再生制御又は視点位置若しくは視線方向を移動させた状態の画像を表示するように構成したことを特徴とする画像表示装置。
【選択図】図２

Description

本発明は、画像表示装置および画像表示方法に関するものである。

画像を表示する装置として、携帯型ゲーム機やスマートフォン等の各種の携帯端末がある。このような携帯端末を用いた画像の表示方法として、選択装置（携帯端末）の姿勢の変化を検出して、検出した姿勢に応じて表示する画像に変化を加えるものがある（特許文献１）。

前記特許文献１記載の選択装置は、選択装置の姿勢の変化に基づいて画面内に表示されているオブジェクトを操作するものである。すなわち、選択装置の姿勢の変化を、オブジェクトを操作するコントローラーによる入力操作と同様に扱うことで、ゲームを進行させるように構成したものである。
一方、スマートフォン等の各種の携帯端末は、ゲームのみに用いる訳ではなく画像を表示する装置として様々なものを表示する。たとえば、移動しながら街中の風景を表示させるようなストリートビューの表示や動画の再生、その他各種の画像が表示可能である。また、携帯端末に対する操作は、タッチパネル上に表示されたＧＵＩ部分に触れることにより行われるのが近年の主流である。

特許５２５５７２３号公報

前述のように、携帯端末を画像表示装置として使用する場合、表示するコンテンツにはストリートビュー、動画、画像等、様々のものがある。しかしながら、これらのコンテンツの表示に関する操作は、タッチパネル上に表示されたＧＵＩを操作するものであり、視聴しながら逐一画面に触れなければならないものである。
本発明は、上記のようなコンテンツの表示に関する操作を、画面に触れずに行えるようにすることを課題とするものである。特に立体物や立体的な空間等を表すコンテンツを表示する場合において、表示したいものや、見たい向きの選択等を直感的な操作で行うことが出来る装置、方法の提供を課題とするものである。

また、本発明は上記課題を解決するために本発明は以下の構成を有する。すなわち、本発明に係る画像表示装置および画像表示方法は、
画像表示手段と、
当該画像表示手段に表示する画像を制御する制御手段と、
前記画像表示手段を設けた筐体の挙動を検出する挙動検出手段を有し、
前記画像は、時系列に沿って再生可能な動画を構成する連続的に表示可能な複数の画像又は視点位置若しくは視線方向の移動にともなって連続的に表示可能な複数の画像であり、
前記制御手段は、前記挙動検出手段によって検出した前記筐体の傾きに基づいて、前記動画を構成する複数の画像の再生制御又は視点位置若しくは視線方向を移動させた状態の画像を表示するように構成したことを特徴とする。

また、本発明は上記課題を解決するために本発明は以下の構成を有する。すなわち、本発明に係る画像表示装置および画像表示方法は、
画像表示手段と、
当該画像表示手段に表示する画像を制御する制御手段と、
前記画像表示手段を設けた筐体の姿勢を検出する姿勢検出手段若しくは筐体に与えられた他の物理的挙動を検出する挙動検出手段を有し、
前記制御手段は、
立体視を構成する視差を有した左右一対の画像を、予め用意された画像から選択若しくは生成するとともに、当該画像を前記画像表示手段が有する画像表示面において左右に並べて配置した一対の画像表示領域の中にそれぞれ表示し、
前記画像表示領域の中に表示した一対の画像を、前記筐体の左右方向および／若しくは前後方向の傾きに伴う前記姿勢検出手段の検出情報に基づいて、視差を有した左右一対の画像に置換若しくは変化させて表示し、
前記左右に並べて配置した一対の画像表示領域を、前記姿勢検出手段によって検出した前記筐体の傾き若しくは筐体に与えられた他の物理的挙動に基づいて、前記画像表示面内において一体的に傾けて配置するように構成したことを特徴とする。

本発明は、画像表示装置において、ＧＵＩ等のスイッチ操作を用いること無く動画や画像の表示を制御し、表示したいものや見たい向きの選択等を直感的な操作で行うことが出来るという効果を有しているものである。

本実施の形態に係る画像表示装置が有する各手段の概要を表したブロック図である。 本実施の形態に係る画像表示装置を用いた画像の表示例を表した説明図である。 本実施の形態に係る表示手段に表示する画像の説明図である。 本実施の形態に係る画像表示装置を傾けた状態の説明図である。 本実施の形態に係る画像表示装置を右側に傾けた場合の画像の表示例を表した説明図である。 本実施の形態に係る画像表示装置を左側に傾けた場合の画像の表示例を表した説明図である。 本実施の形態に係る画像表示装置に表示するオブジェクト画像と、オブジェクトの座標系および視点との対応関係を表した説明図である。 本実施の形態に係る画像表示装置を前方に傾けた場合の画像の表示例を表した説明図である。 本実施の形態に係る画像表示装置を後方に傾けた場合の画像の表示例を表した説明図である。 他の実施例に係る装置の動作および使用方法を説明するための説明図である。 他の実施例に係る装置の表示領域表示するオブジェクト画像の概念を表した説明図である。 他の実施例に係る装置を右側に傾けた場合における画像の表示状態を表した説明図である。 他の実施例に係る装置を左側に傾けた場合における画像の表示状態を表した説明図である。 他の実施例に係る装置の垂直な場合の姿勢、前方に傾けた姿勢、後方に傾けた姿勢を表した説明図である。 他の実施例に係る装置の図１０に示した前後方向に傾けた各姿勢に対応する画面表示の一例を表した説明図である。

以下、本発明を実施するための形態を図を用いて説明する。図１は、本実施例に係る画像表示装置（以下「本装置」という）１が有する各手段の概要を表したブロック図である。本装置１は、一例として所謂スマートフォンと称される携帯端末として構成された電子機器装置によって構成される。本装置１は、搭載した各手段を制御するＣＰＵ機能を有した制御手段２と、制御手段２によって制御される画像表示手段３、記憶手段４、傾斜センサ５、通信手段６等を有している。画像表示手段（以下「表示手段」という）３は、タッチパネルとして機能する横長のＬＣＤによって構成されている。記憶手段４は、ＲＯＭやＲＡＭ等で構成され、携帯端末を立体像表示装置として機能させるためのプログラムやデータを記憶する手段となっている。通信手段６は、電話の基地局を介してインターネットに接続するための無線送受信手段であり、立体像表示装置が使用する情報をインターネットを介して適宜取得するための手段となっている。傾斜センサ５は、ジャイロ機能を有するセンサであり、本装置１の外観を成す筐体の、３次元方向に対する姿勢の変化を検知することができる姿勢検出手段を構成するものである。

図２は、本装置１を用いた画像の表示例を表した説明図であり、表示手段３にオブジェクトＭの画像を表示し、操作者でもある視聴者が自身の眼（Ｌｅ、Ｒｅ）でオブジェクトＭの画像ｇ１を見ている状態を表している。この例では、一つの画面に一体のオブジェクト画像を表示しているが、適宜オブジェクトＭの背景を表すような画像（本実施の形態では省略している）を表示することも行われる。

図３は、表示手段３に表示する画像の説明図である。図３には、オブジェクトＭを中心としたＸ−Ｙ平面上の外周からオブジェクトＭを見た場合の複数の画像（ｇ１〜ｇ２４）を表したものである。この例では、オブジェクトＭを中心としたＸ−Ｙ平面上における円周を２４分割した各方向からオブジェクトＭ方向を見た画像である。すなわち、オブジェクトＭを見る視点を円周上の複数の位置に設定し、各視点からの視線をオブジェクトＭ方向に向けた場合に取得される画像である。なお、図示した各画像（ｇ１〜ｇ２４）の場合は、オブジェクトＭを中心とした画像であるため、実質的にオブジェクトＭがＺ軸を中心に回転した場合の姿勢は、固定した視点から見た際に得られる画像と同一になっている。

上記のオブジェクトＭは、プログラムによって座標が設定される仮想空間の中に存在するものであり、ポリゴンデータ、造形データ等のように一定の外観形状を有する独立した対象物としてプログラム上において把握されるものである。このオブジェクトＭは、仮想空間内では３Ｄ（３次元）オブジェクトとして把握されるが、各画像（ｇ１〜ｇ２４）を形成する際には２Ｄ（２次元）のオブジェクト画像として表示手段３の画面上に表示されるものである。
なお、各画像（ｇ１〜ｇ２４）を表示するためには、必ずしも本装置１が３Ｄオブジェクトとして把握されるオブジェクトＭを有する必要はない。すなわち、別の手段によって生成した各画像（ｇ１〜ｇ２４）のみを記憶しておき、これを後述する制御にしたがって表示してもよい。この場合、３Ｄオブジェクトを取り扱う必要は無くなるので、３Ｄオブジェクトを定義するデータ量やプログラムのデータ量を少なく出来るので制御手段２に対する負荷を軽くできるという効果を有している。

図４Ａは、本装置１である携帯端末の姿勢を変化させた状態の説明図である。すなわち、画面の長手方向を上下方向に沿って配置した垂直姿勢をＺ軸に沿った基準姿勢として、Ｘ軸方向に沿った横方向、Ｙ軸方向に沿った前後方向に本装置１をそれぞれ傾けた状態を表している。
本装置１は、内蔵している傾斜センサ５によって上記のような左右方向および前後方向に傾斜した角度若しくは基準姿勢からの変動を検知する。この傾斜センサ５の検出情報に基づいて、例えば本装置１を垂直姿勢から右側に角度θ傾けると、図２のように表示手段３に表示していたオブジェクトＭの画像ｇ１を順次進めて図４Ｂに示すような画像ｇ４に切り替え、垂直姿勢に戻すと画像ｇ４の表示を維持させる。また、本装置１を右側に傾けた状態を維持すると、画像ｇ５，画像ｇ６・・・のように画像を順次切り替える。そして、傾ける角度を大きくすると画像が切り替わる速度を速くし、傾ける角度を小さくすると画像が切り替わる速度を遅くし、垂直姿勢に戻すと画像の切り替えを停止してその時点で表示していた画像の表示を続ける。

また、本装置１を図２に示した垂直姿勢から左側に角度θ傾けると、表示手段３に表示していたオブジェクトＭの画像ｇ１を順次進めて図４Ｃに示すような画像ｇ２２に切り替え、垂直姿勢に戻すと画像ｇ２２の表示を維持させる。また、本装置１を左側に傾けた状態を維持すると、画像ｇ２１，画像ｇ２０・・・のように画像を順次切り替える。そして、傾ける角度を大きくすると画像が切り替わる速度を速くし、傾ける角度を小さくすると画像が切り替わる速度を遅くし、垂直姿勢に戻すと画像の切り替えを停止してその時点で表示していた画像の表示を続ける。

上記のように、本装置１を右側に傾けたり左側に傾けたりすると、図３に示した画像（ｇ１〜ｇ２４）が連続的に順次切り替わる。また、表示する画像は、筐体の左右の傾きに応じて正転若しくは逆転的に切り替わるものであっても、切り替わる画像自体は連続的なものであるため、動画としても視聴できるものとなっている。
また、この例はＸ−Ｙ平面上のオブジェクトＭを中心とした円周上に視点を置いた場合の画像であるが、オブジェクトＭを中心としたＸ−Ｚ平面上の円周上に視点を置いた場合の画像を表示させることができるものである。

図５Ａは、本装置１の表示手段３に表示するオブジェクト画像と、オブジェクトＭの座標系および視点との対応関係を表した説明図である。同図には、図３に示した例と同様にＸ−Ｙ座標の中心位置に配置したオブジェクトＭと、Ｘ−Ｙ座標に直交するＺ軸を示した３次元座標を表している。この座標系におけるＸＺ平面上に、オブジェクトＭを中心とした同一半径上の円周に複数の視点位置を設けている。あくまで一例であるが、この視点位置を仰俯角０°、３０°・・・３３０°、３６０°（０°）のように、３０°の角度毎に設けている。この各視点位置からオブジェクトＭを見た状態は同図に示した画像ｇ_X-Z１、ｇ_X-Z２・・・ｇ_X-Z１２のように示される。当然ながら仰俯角は３０°間隔に限る訳ではなく、任意の角度若しくは連続的に生成されるものでもよい。

また、Ｚ軸を中心としてＸ軸を角度ｒ回動させたＸｒ軸とＺ軸で定義されるＸｒ−Ｚ平面上において、オブジェクトＭを中心とした複数の視点位置を設けることができる。これについてもあくまで一例であるが、オブジェクトＭを中心としたＸｒ−Ｚ平面上の同一半径の円周上に複数の視点位置を設けている。この視点位置を仰俯角０°、３０°・・・３３０°、３６０°（０°）のように、３０°の角度毎に設けている。この各視点位置からオブジェクトＭを見た状態は同図に示した画像ｇ_Xr-Z１、ｇ_Xr-Z２・・・ｇ_Xr-Z１２のように示される。当然ながら仰俯角は３０°間隔に限る訳ではなく、任意の角度若しくは連続的に生成されるものでもよい。

表示手段３に表示する上記の画像（ｇ_X-Z１・・・、ｇ_Xr-Z１・・・）は、本装置１を前方に傾けたり後方に傾けたりすることで、連続的に切り替えて表示するようになっている。
例えば、表示手段３に画像ｇ１（ｇ_X-Z１）を表示した後に、本装置１を前後に傾けるとＸＺ平面上に設定した各視点における画像（ｇ_X-Z１、ｇ_X-Z２・・・ｇ_X-Z１２）を表示する。図５Ｂは、本装置１を前方に傾けて画像ｇ_X-Z３を表示した場合の一例を示し、図５Ｃは、本装置１を後方に傾けて画像ｇ_X-Z１１を表示した場合の一例を表している。
また、本装置１を左右に傾けて画像ｇ_Xr-Z１を表示した状態から前後に傾けると、前述した例と同様にＸｒ−Ｚ平面上に設定した各視点における画像（ｇ_Xr-Z１、ｇ_Xr-Z２・・・ｇ_Xr-Z１２）を表示する。

前述のように、本装置１を前方あるいは後方に傾けると、任意の仰俯角上に設定した視点から見た状態の画像を表示する。そして、この状態において本装置１を左右に傾けると、同じ仰俯角を有するＺ軸を中心に回動した他の視点からの画像に切り替えることができる。すなわち、本装置１を前後、左右に傾けるとオブジェクトＭを包囲する様々な視点における画像を表示することができる。実際には表示手段３の中で、オブジェクトＭが様々な方向に回転しているように見えるので、利用者の好みに応じた姿勢のオブジェクトを表示できるようになっている。

以上、本装置１の最適な一例を示したが、画像に表示する対象物はオブジェクトＭのようなものに限らない。
例えば、本装置１を用いて表示する画像が、動画として連続的に表示される動画データを構成するものである場合がある。動画データは、プレイヤーと呼ばれるアプリケーションプログラムによって再生制御されることで表示される。プレイヤーは、動画の再生、停止、早送り、巻き戻し（逆送り）などの操作を受け付け、連続的に行われる画像の表示を制御するようになっている。プレイヤーが有するこの操作を、本装置１の傾斜姿勢に連動させると、手前に傾けると動画の再生を開始し、後ろに傾けると動画の再生を停止し、右側に傾けると早送りを行い、左に傾けると動画を逆送りするなどの制御が可能になる。

また、ストリートビューと呼ばれる、地球上の任意の地点における実写像を表示するものがある。ストリートビューは、マウスやキーボードなどを利用して、視点位置と視線方向を変えながら、画面上に表示される画像を連続的に変化させるものである。これに本実施の形態を応用すると、例えば本装置を後ろに傾けると視点位置を前方に進行させ、手前に傾けると視点位置を前後方に戻し、右側に傾けると視点の進行方向を右側に回転させ、左に傾けると視点の進行方向を左側に回動させるという制御が可能になる。
従来技術としてＡＲと呼ばれるものがあり、ヘッドマウントディスプレイなどで仮想的な空間を見せるような技術がある。しかし、従来の技術はヘッドマウントディスプレイの向いた方向と仮想的な空間内での視線を連動させるにすぎないものである。したがって、ヘッドマウントディスプレイをコントローラーのように使用して視点の移動を行わせるものではないので、本実施の形態を応用した技術とは異なるものである。

以上説明した本実施の形態に係る画像表示装置および画像表示方法は、視点の移動を伴うような画像の表示コントロール、視点の移動を伴っているかのように見せることが出来る画像の表示コントロールを、タッチパネル上のスイッチや他の入力デバイスを介することなく、表示手段を備えた装置本体の傾動によって行えることを特徴とするものである。

次に、本発明に係る他の実施例である立体画像表示装置および立体画像表示方法について説明する。
表示手段を用いた画像の表示方法として、表示した２次元画像を立体像として知覚させる立体視と称する方法がある。これは、同一の風景や対象物に関する視差を設けた左眼用と右眼用の異なる画像を左右それぞれの眼で見ることにより、風景や対象物を一つの立体的な像として知覚させるものである。このような立体視の原理を用いた装置として、特開２０１５−８４１５０号公報に示されているような頭部装着型表示装置がある。これは、所謂ヘッドマウントディスプレイと称されているものであり、左右の眼前に専用のディスプレイを固定的に配置し、視差を利用した映像を表示することにより表示される映像を立体的なものとして知覚させるものである。
また、近年主流のタッチパネルを搭載した表示画面の大きいスマートフォンを用いて立体視が可能な画像を表示することも可能である。しかしながら、表示した立体視用の画像を視聴者の操作によって変化させるような制御を行う場合、立体視を行いながらタッチパネルに触れて制御を行うことになる。この場合、立体視を行っている視界中に操作を行う指先が入るため、指先によって画像が隠れたり、指先に視線が集中して立体視が解除されたりすることが想定される。

上記のように、立体視用の画像を筐体の姿勢によって変化させるようにすると、左右の画像に一致している左右の視線が、筐体の傾きなどによって左右の画像から外れてしまうことになる。立体視を行っている最中の左眼と右眼は、画像が横方向に移動する場合にはある程度両眼を追従させることができる。しかし、視聴中の筐体を例えば左に傾けると、左眼用の画像は下方に移動し右眼用の画像は上方に移動することになり、立体視を続けるには左眼は下を向き右眼は上を向かなければならない。このような眼の動きは人間にとって難しい動作であり、筐体を左右に傾けると立体視ができなくなってしまう。
このため、上記公報に記載された視線と画像の位置関係が常に保たれているヘッドマウントディスプレイに前述した特許文献１の技術を応用すると、ヘッドマウントディスプレイの姿勢を検出しこれに伴って立体視の効果を維持したまま画像を変化させることが可能になる。しかしながら、これでは常に眼の位置と画像を一対一で対応させた状態を維持しなければならず、ヘッドマウントディスプレイのように頭部に装着しなければ使用できないものである。頭部に装着せずにディスプレイだけを傾けると、視線が画像から外れて立体視ができなくなるからである。

以下に説明する実施例は上記の事項を考慮したものであり、立体視を行うことが出来る視差を有した一対の画像を表示する装置であって、当該装置の傾きによって対象物を見る視点位置を変えたような画像等を表示させることができ、かつヘッドマウントディスプレイのように頭部に装着しなくても立体視を継続することができる装置および方法を提供するものである。これは、立体視を行う画像を表示した装置の傾きを検出して、表示される画像の置換若しくは変化を行わせるように構成することで、立体視を行いながらタッチパネルに触れて画像を操作する必要がないものである。さらに、画像を表示している装置を傾けても表示している画像を傾けないように制御するので、画像操作のために装置を傾けても画像から視線が外れることがなく立体視を中断させることが無いという効果を有しているものである。

図６は、画像表示装置１００（以下「本装置１００」という）の動作および使用方法を説明するための説明図である。本装置１００は、前述した本装置１と同様に図１のブロック図に示した制御手段２、表示手段３、記憶手段４、傾斜センサ５、通信手段６を有している。本装置１００は表示手段３として横長の液晶表示画面７を有しており、前述した本装置１と同様に構成された装置を横向きの状態で使用するものである。

本装置１００は、液晶表示画面７に左右に２分した左領域Ｌ、右領域Ｒを設けている。この左領域Ｌ、右領域Ｒに立体視によって立体像を構成する左右一対のオブジェクト画像（ｇ１とｇ２、ｇ２とｇ３、ｇ３とｇ４・・・）を表示するようになっている。図６に画像として表示したオブジェクトＭは、一例として頭部、胴体部、左右の腕、左右の脚を有する人形状の立体モデルをモチーフにしたものである。なお、表示するオブジェクトＭは、どのようなものをモチーフにしてもよく、車両、航空機、人間、人間以外の動植物や実在しないアニメーションキャラクタ等、風景や背景等の空間的なものを表す画像からは独立したものとして認識および表示されるものである。なお、当然ながら、風景や背景等の空間的なものを表す画像を立体視を構成する一対の画像として設けても差し支えがないものである。

また、左領域Ｌおよび右領域Ｒには、さらに立体視を行わせる画像の表示範囲となる表示領域Ｌ１、Ｒ１を設けている。表示領域Ｌ１、Ｒ１は、本装置１００が初期状態若しくは液晶表示画面７の上辺（下辺）が水平かつ表示面が水平方向と直交する方向を向いた姿勢を基準として、前記左領域Ｌおよび右領域Ｒの中に設定される長方形状の領域である。表示領域Ｌ１とＲ１はオブジェクト画像や背景画像等を含め立体視を行わせる画像を表示する範囲となっている。
また、表示領域Ｌ１、Ｒ１は、視認可能な領域若しくはプログラム上で座標を定義しただけの不可視領域として設けられるものであり、表示する左右の画像が、立体視を成立させる相対的な位置関係を変動させないように、液晶表示画面７上において一体的に姿勢や位置を変動させるように制御する領域となっている。

表示領域Ｌ１、Ｒ１は、全体的に背景画像のようなものを表示して視覚的に範囲が認識できるように構成したり、視覚的に認識できないように構成される。表示領域Ｌ１、Ｒ１を不可視的な領域として設けた場合には、別途表示領域Ｌ１、Ｒ１の中に、表示領域Ｌ１、Ｒ１と同一若しくはこれよりも小さい、オブジェクト画像とは異なる背景画像を設ける。表示領域Ｌ１、Ｒ１若しくはこの背景画像は、輪郭を成す枠のみでもよいし、枠内を着色することで背景色を表示するようにしてもよい。輪郭を表す画像に代えて、格子状の線を背景画像にするなど表現の方法は様々である。また、背景画像に、空間の奥行きを表すような視覚的効果を有する画像を含めても差し支えが無い。

本装置１００は、表示領域Ｌ１、Ｒ１内に表示した左右一対の画像を、立体視を行うことによって見る者に立体像を知覚させる装置である。立体視とは、視差を設けて表した２つの画像を眼前に配置して、これを左右それぞれの眼（Ｌｅ、Ｒｅ）で見ることによって、画像を一つの立体像Ｇ（Ｇ１、Ｇ２、Ｇ３・・・）として認識させる方法である。
視差とは、両眼で同一の対象を見た場合における左眼に入射する映像と右眼に入射する映像の差のことである。人間はこの視差があることによって見た物の形状を立体的に認識するようになっている。本装置１００は、表示領域Ｌ１、Ｒ１に視差を設けた画像をそれぞれ配置することにより、２つの画像として表示したものを１つの立体像として知覚させる装置である。なお、この立体像の知覚は、静止画像のみならず連続的に動く動画を用いても可能である。

また、立体視には、平行法と交差法がある。平行法は、左眼で左側に配置した画像を見て、右眼で右側に配置した画像を見ることにより立体的な形状を認識する方法である。また、交差法は、左眼で右側に配置した画像を見て、右眼で左側に配置した画像を見るという視線を交差させる方法によって立体的な形状を認識する方法である。本実施の形態では、液晶表示画面７に表示する左右のオブジェクト画像の配置間隔と、左右の眼の間隔とが概ね近似した長さに構成することができるので、平行法によって立体視を行わせる例を中心に説明している。画面サイズの大きいタブレット端末では、表示領域Ｌ１、Ｒ１を画面一杯を利用して大きく構成することができる。しかし、表示領域Ｌ１、Ｒ１の配置間隔が左右の眼の間隔よりも大きくなるので、この場合には、平行法よりも交差法（眼球を寄り眼のようにする）を用いたほうが立体視を行いやすくなる。このため、画面のサイズに応じて、平行法若しくは交差法を適宜選択できるように構成しても差し支えない。なお、平行法で認識できるオブジェクト画像を交差法で見た場合には、奥行き方向が反対になるが一応立体像として認識することが可能である。

図７は、表示領域Ｌ１、Ｒ１に表示するオブジェクト画像の概念を表した説明図である。本実施の形態では、表示領域Ｌ１、Ｒ１に表示する画像として、予め２４枚のオブジェクト画像（ｇ１、ｇ２・・ｇ２３、ｇ２４）を設けている。このオブジェクト画像は、仮想的に設定した円周上から、この円周の中心に配置した実像若しくは虚像であるオブジェクトＭを、等角度で視点位置を遷移しながら視線をオブジェクトＭに向けた状態の２次元画像である。なお画像（ｇ１、ｇ２・・ｇ２３、ｇ２４）は、固定視点からオブジェクトＭを回転させながら見た状態の画像と実質的に同一である。

上記のオブジェクト画像（ｇ１、ｇ２・・ｇ２３、ｇ２４）を横並びに並べた場合を仮定すると、オブジェクト画像（ｇ１、ｇ２）によって立体像Ｇ１を構成し、以下オブジェクト画像（ｇ２、ｇ３）、（ｇ３、ｇ４）・・・（ｇ２４、ｇ１）のように隣り合う画像を利用して立体像Ｇ２、Ｇ３・・・Ｇ２４を構成することができる。このように連続したオブジェクト画像を表示領域Ｌ１、Ｒ１にコマ送りのように順次連続的に切り替えて表示すると、オブジェクトＭが画面の中で回転する立体像を動画を見るようなイメージで知覚することができる。

また、当然ながら上記円周上からオブジェクトＭを見た場合の画像数は２４枚に限るわけではなく、３６枚、４８枚、それ以上といった細分化した数にしても差し支えない。画像数を多く設けると、画像を連続的に変化させる場合の変化量が僅かになるので、オブジェクト画像を連続的に切り替えて表示した場合に、動画的に知覚される立体像の動きを滑らかにすることができる。オブジェクト画像として用意する画像の数は、携帯端末の処理能力やデータの保存可能容量に応じて適宜設定されるものである。

また、表示領域Ｌ１、Ｒ１に表示する一対のオブジェクト画像は、連続的な画像として用意した隣り合う画像に限るわけではない。すなわち、前述の例で説明するとオブジェクト画像（ｇ２、ｇ４）、（ｇ３、ｇ５）・・・を表示して、立体像を知覚できるようにしてもよい。一つのオブジェクトＭを外周から見た状態（オブジェクトＭを回転させながら見た状態）のオブジェクト画像を生成する場合、設定した視点とオブジェクトＭ間の距離によって、用意した連続する画像同士が有する視差と、設定した視点からオブジェクトＭを見た場合の視差が異なる場合がある。このような場合には、設定した視点からオブジェクトＭを見た場合の視差に合わせて、表示領域Ｌ１、Ｒ１に表示する一対の画像を選択して表示する。
これは、用意した画像が豊富である場合に行う処理であるが、表示領域Ｌ１、Ｒ１に表示する一対のオブジェクト画像の間に、表示しないいくつかのコマ（オブジェクト画像）が存在するような状態で表示を行うものである。このような制御を行うと、より滑らかな動きの動画像として立体像を知覚させることができるものとなっている。

前述したように、本装置１００は筐体の３次元方向の傾きを検知する傾斜センサ５を有している。本実施の形態では、この筐体の傾き方向と傾き量に応じて、表示手段３に表示する画像の切り替え速度を早めたり、角度を変えた方向から見たオブジェクト画像を表示する等のコントロールを行うようになっている。

図８は、画面を垂直方向に沿った方向に維持（表示画面を水平方向に向けた状態を維持）したまま、本装置１００を右側に傾けた場合を表している。本装置１００を右側に傾けると、この傾きを傾斜センサ５が感知する。そして、表示領域Ｌ１、Ｒ１が水平状体を保つように角度を制御しつつ、オブジェクトＭを反時計回りで見るような状態（オブジェクトＭを上から見て時計周り方向に回転させるような状態）でオブジェクト画像（ｇ１、ｇ２）、（ｇ２、ｇ３）、（ｇ３、ｇ４）・・・を順次切り替える。この際、傾きを角θ１が小さい場合には画像の切り替え速度を緩やかに行い、傾きを角θ１が大きい場合には画像の切り替え速度を早くするという、傾き角度に応じて画像の切り替え速度を調節するようになっている。

図９は、図８に示した例とは反対に、画面を垂直に維持したまま本装置１００を左側に傾けた場合を表している。本装置１００を左側に傾けると、この傾きを傾斜センサ５が感知し、表示領域Ｌ１、Ｒ１の水平状体（若しくは初期状態における角度）を維持したまま、オブジェクトＭを外周から時計回り方向で見るように画像（ｇ２３、ｇ２４）、（ｇ２２、ｇ２３）、（ｇ２１、ｇ２２）・・・を順次切り替える。この際、傾きを角θ２が小さければ画像の切り替え速度を緩やかに行い、傾き角θ２を大きくした場合には画像の切り替え速度を早くする制御を行うようになっている。

現在一般的に用いられているスマートフォンは、画面（タッチパネル）に触れることによって各種の操作を行うようになっている。したがって、立体視として知覚させる画像の切り替えをタッチパネルをインターフェイスとした操作によって行わせることも可能である。しかしながら、このような操作方法を採用すると、立体視を行っている画像の上を指先が覆ったり視界に入ったりすることになる。この場合、左右の画像に合わせている両眼のピントと視線の方向が定まらなくなって立体視が中断してしまう。本実施の形態では、このような弊害を生じさせないために筐体の傾きによって画像の表示状体を制御するように構成している。

また、立体視を行っている最中は前述したように左眼Ｌｅは表示領域Ｌ１の画像を見て、右眼Ｒｅは表示領域Ｒ１の画像を見ている。しかし、本装置１００の右傾斜とともに表示領域Ｌ１、Ｒ１も傾いてしまうと、左眼Ｌｅが見ている表示領域Ｌ１が上方に移動し、右眼Ｒｅが見ている表示領域Ｒ１が下方に移動する。すなわち、頭部を傾けることなく立体視を維持しようとした場合、表示領域Ｌ１を見ている左眼Ｌｅの視線を上に向け、表示領域Ｒ１を見ている右眼Ｒｅを下に向けなければならない。訓練すると可能になるかもしれないが、このような動作を行うことは一般的にいってかなり難しい。本実施の形態では、このような事情に鑑み本装置１００を傾けても表示領域Ｌ１、Ｒ１が傾斜しないように表示角度の制御を行っている。なお、表示領域Ｌ１、Ｒ１を表示手段３に対して傾けた場合に画面からはみ出して欠けてしまう部位も生じるが、表示領域Ｌ１、Ｒ１の表示角度の維持を優先して画像の表示を行う。

オブジェクトＭを立体的に表示する方法には、表示する立体オブジェクトをポリゴンデータ等で構成し、この立体オブジェクトに対して設定した視点からの視差を有する画像を生成し、これを表示領域Ｌ１、Ｒ１に表示するように構成してもよい。このような手法を用いると、立体オブジェクトを動画のように連続的に表示させる場合のコマ数を細かくすることができ、動きの滑らかな動画表示をすることができるようになっている。ただし、このような画像処理は制御手段にとって非常に負荷の大きい処理であるので、本実施の形態では、制御手段に対する負荷を抑制することを意図して、前述したように予め用意した所定個数の画像を表示するようにしている。

また、立体像として知覚させる画像は、前述した例のようにオブジェクトＭを包囲した方向から見せる場合に限らない。例えば、視差を設けて撮影した２種類の２Ｄ映像を立体視させることによって、立体映像を知覚させるように構成してもよい。この場合、立体映像の進行、停止、逆戻しの制御を本装置１００を傾けることによって行い、本装置１００を傾けた角度とは反対の角度に表示領域Ｌ１、Ｒ１を傾斜させる処理を行う。これにより、表示領域Ｌ１、Ｒ１は使用者の視線に対して角度が変化しないように制御され、立体視を行っている視線が見ている画像から外れて立体像を知覚できなくなることを防止して、立体映像を知覚し続けることができるものとなっている。

以上説明したオブジェクトＭを立体視によって連続的に知覚させる画像表示装置は、携帯端末等の電子機器にあらかじめ格納しておいた立体視用の画像データをアプリケーションプログラムの実行に基づいて表示するものである。また、他の形態としてインターネット上から取得した画像データ若しくは記憶媒体等によって提供される画像データをアプリケーションプログラムの実行に基づいて表示するものである。

インターネット上には、立体視を行わせるような映像を公開しているウェブサイトがあり、ウェブサイトから端末装置に動画ファイルをストリーミング若しくはダウンロードして視聴することができるようになっている。しかし、このような動画ファイルを表示するプレイヤーは画角が固定されたものであり、視線に対して端末装置を傾けると立体視の状態が解除されてしまう。
上記実施例に係る画像表示方法を、端末装置で実行させる動画再生プレイヤーに応用すると、端末装置の表示画面を傾けた場合に、動画の再生、停止、巻き戻しなどの制御をおこなわせることができる。また、端末装置の表示画面の傾きに応じて表示している映像の配置を制御して画角を維持するように構成すると、端末装置を傾けても立体視を中断することなく視聴を継続させることができるようになっている。このような動画再生プレイヤーを用いると、ウェブサイトで公開されている数多くの立体視用の動画像を有効に活用できるものとなっている。

また、ストリートビューと呼ばれる道路上を移動しながら各地の画像を連続的に視聴させるサービスがある。これは、現在、一画面に一画像を表示する仕様になっている。しかし、このサービスでは、僅かな視点位置の相違ごとに画像が用意されているので、この視点の異なる画像を視差を有する画像として用いると、立体視が可能になる。すなわち、立体視可能なストリートビューワーを提供することができる。本実施例は、このように各種の画像表示に利用可能な技術となっている。

次に、筐体の傾きを利用した画像表示の他の例を説明する。図１０は、本装置１００を画面が垂直な場合の姿勢Ｖ（本装置１００ａ）を基準として、前方に傾けた姿勢Ｆ（本装置１００ｂ）と後方に傾けた姿勢Ｂ（本装置１００ｃ）を表している。本装置１００は内蔵している傾斜センサ５によって、この前後方向の傾斜を検出することができる。本実施の形態では、このような本装置１００の前後方向の傾斜を検出して、これにより立体視を行うことが出来るオブジェクト画像の上下方向の角度を変えることが出来るようになっている。

図１１は本装置を画面が垂直な姿勢Ｖの場合における画面の表示、前方に傾けた姿勢Ｆの場合における画面の表示、後方に傾けた姿勢Ｂの場合における画面の表示を表した説明図である。
画面が垂直な状態の姿勢Ｖの場合、本装置１００ａのように表示領域Ｌ１、Ｒ１として表示する領域の外形、若しくは当該表示領域Ｌ１、Ｒ１の中に表示する背景画像の輪郭を矩形形状として表示する。そして、この場合に表示するオブジェクト画像は、オブジェクトＭを水平方向から見た状態を表している。したがって、この状態のオブジェクト画像を立体視するとオブジェクトＭを水平方向から見た状態の立体像として知覚することができる。

また、画面が前方に傾いた姿勢Ｆの場合には、本装置１００ｂのように表示領域Ｌ１、Ｒ１として表示する領域の外形若しくは当該表示領域Ｌ１、Ｒ１の中に表示する背景画像の輪郭を、上底よりも下底の長さが短い逆台形状として表示する。そして、この場合に表示するオブジェクト画像は、オブジェクトＭを斜め上方から見た状態を表すようになっている。この状態のオブジェクト画像を立体視するとオブジェクトＭを斜め上方から見た状態の立体像として知覚することができる。また、表示領域Ｌ１、Ｒ１若しくは背景画像を逆台形状に表示しているので、遠近感が表現されてオブジェクトＭを上側から見ているという状態を認識させることができるようになっている。なお、上下方向の傾き角度を何段階か有している場合には、傾き角度によって表示する逆台形状の上底と下底の長さを変化させることによって、傾き角度を認識させることができるようになっている。

また、画面が後方に傾いた姿勢Ｂの場合には、本装置１００ｃのように表示領域Ｌ１、Ｒ１として表示する領域の外形若しくは当該表示領域Ｌ１、Ｒ１の中に表示する背景画像の輪郭を上底が下底よりも短い台形状として表示する。そして、この場合に表示するオブジェクト画像は、オブジェクトＭを斜め下方から見た状態を表すようになっている。このように、この状態のオブジェクト画像を立体視するとオブジェクトＭを斜め下方から見た状態の立体像として知覚することができる。

上記のように、本装置１００の前後方向の傾斜を検出してオブジェクトＭを見る角度を変えて表示する場合、あらかじめ対応する角度の視点からオブジェクトＭを見た状態の画像を複数記憶させておく。このようなデータを用いると、本装置１００の左右方向の傾斜によって表示するオブジェクトＭを順次コマ送りしながら見たり、同時に本装置１００を前後方向に傾斜させることに伴い上方向から見たり下方から見たりする等、様々な方向から見た状態の立体視を行わせることができるものとなっている。

また、アニメキャラクター等を象った人形をコレクションしたり、気に入った芸能人等の写真をコレクションすることは昔からよく行われている。一方、立体視可能なオブジェクト（実際には現実空間に存在しないアニメキャラクターや芸能人をモチーフにした立体像）を電子的なデータとしてコレクションしたり、当該データを譲渡したり交換するようなことは行われていない。本発明は、このようなコレクション用途にも利用できるものとなっている。

以上の各実施例において説明した姿勢検出手段は、一例としてジャイロのように筐体の姿勢の変化を検出する傾斜センサを用いる場合について説明したものである。しかし、姿勢検出手段に代えて、筐体を振る、軽く振動を与える等の筐体に与えられた物理的な挙動を検出する挙動検出手段として加速度検出センサや他の物理量を検出するセンサを用いてもよいものである。これらは、単独若しくは適宜組み合わせて用いることができるものである。
以上説明した各種の実施例は、種々組み合わせて実施することが出来るものである。また、この発明は上記実施例に限定されるものではなく、特許請求の範囲を逸脱しない範囲で種々設計変更できることは勿論である。

本発明は、各種オブジェクトや映像等を、立体視を行うことによって立体的な像として知覚させることができる装置、方法、表示プログラム、動画再生プレイヤーに利用可能である。

１ 画像表示装置（本装置）
２ 制御手段
３ 画像表示手段（表示手段）
４ 記憶手段
５ 傾斜センサ
６ 通信手段
７ 液晶表示画面
Ｌｅ 左眼
Ｒｅ 右眼
Ｍ オブジェクト

Claims (7)

1. 画像表示手段と、
   当該画像表示手段に表示する画像を制御する制御手段と、
   前記画像表示手段を設けた筐体の挙動を検出する挙動検出手段を有し、
   前記画像は、時系列に沿って再生可能な動画を構成する連続的に表示可能な複数の画像又は視点位置若しくは視線方向の移動にともなって連続的に表示可能な複数の画像であり、
   前記制御手段は、前記挙動検出手段によって検出した前記筐体の傾きに基づいて、前記動画を構成する複数の画像の再生制御又は視点位置若しくは視線方向を移動させた状態の画像を表示するように構成したことを特徴とする画像表示装置。
2. 前記視点位置若しくは視線方向の移動にともなって連続的に表示可能な複数の画像は、
   撮影によって取得した実在空間に基づく画像、実在しない仮想的な空間を可視可能に構成した画像若しくは撮影によって取得した実在する対象物の画像であることを特徴とする請求項１記載の画像表示装置。
3. 前記挙動検出手段は、筐体の傾きを検出する姿勢検出手段であることを特徴とする請求項１又は２記載の画像表示装置。
4. 画像表示手段と、
   当該画像表示手段に表示する画像を制御する制御手段と、
   前記画像表示手段を設けた筐体の姿勢を検出する姿勢検出手段若しくは筐体に与えられた他の物理的挙動を検出する挙動検出手段を有し、
   前記制御手段は、
   立体視を構成する視差を有した左右一対の画像を、予め用意された画像から選択若しくは生成するとともに、当該画像を前記画像表示手段が有する画像表示面において左右に並べて配置した一対の画像表示領域の中にそれぞれ表示し、
   前記画像表示領域の中に表示した一対の画像を、前記筐体の左右方向および／若しくは前後方向の傾きに伴う前記姿勢検出手段の検出情報に基づいて、視差を有した左右一対の画像に置換若しくは変化させて表示し、
   前記左右に並べて配置した一対の画像表示領域を、前記姿勢検出手段によって検出した前記筐体の傾き若しくは筐体に与えられた他の物理的挙動に基づいて、前記画像表示面内において一体的に傾けて配置するように構成したことを特徴とする画像表示装置。
5. 前記視差を有した左右一対の画像が、背景等の空間的なものを表す画像とは独立して認識することができるオブジェクトの画像を含む場合に、
   前記筐体の左右方向および／若しくは前後方向の傾きに伴う前記姿勢検出手段の検出情報に基づいて、前記オブジェクトを回転若しくは移動させた状態の視差を有する左右一対の画像に順次切り替えて若しくは変化させて表示することを特徴とする請求項４記載の画像表示装置。
6. 前記一対の画像表示領域を筐体の傾きに基づいて一体的に傾ける場合において、当該一対の画像表示領域を、前記姿勢検出手段が検出した前記筐体の左右方向における傾きとは反対の方向に傾けて配置するように構成したことを特徴とする請求項４又は５記載の画像表示装置。
7. 前記左右に並べて配置した一対の画像表示領域に、当該画像表示領域若しくは前記オブジェクトの背景を表す矩形の輪郭を有する背景画像をそれぞれ表示し、
   当該背景画像の輪郭を、前記姿勢検出手段が検出した前記筐体の傾きに基づいて変化させることを特徴とする請求項４乃至６のいずれか一項に記載の画像表示装置。