JP2016146098A - 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム - Google Patents

Abstract

【課題】映像を複数の表示領域に表示する場合に、柔軟な操作が行えるユーザインタフェースを提供する。【解決手段】情報処理装置２において、映像を取得する映像取得部２１と、映像取得部が取得した映像を映像方向に応じて割り当てる１又は複数の表示領域を設定する領域設定部２２２と、設定された表示領域に映像を割り当てる映像割当部２２３と、割り当てられた一の表示領域への操作を判定する操作判定部２２４と、操作判定手段の判定結果に応じて、他の表示領域に表示される映像を一の表示領域への表示と連動して表示する入出力部２３とを備える。【選択図】図５

Description

本発明は、映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラムに関する。

パノラマ映像（水平方向に広い視野を有する映像）や全天球映像（全方向に視野を有する映像）等の広視野映像の撮影・表示が普及しつつある（例えば、特許文献１等を参照。）。

このような広視野映像を画面表示する場合、１つの表示領域に全方向の映像を表示することは視認性の観点からも困難であるため、複数の表示領域に方向の異なる部分的な映像を表示する場合がある。

このように複数の表示領域に方向の異なる部分的な映像を表示する場合、各表示領域に所定の方向の映像が固定されるものが多い。この場合、表示領域に対する映像の移動や拡大縮小等の操作は行わない。

表示領域に対して移動や拡大縮小等の操作を行えるようにすることも考えられるが、各表示領域について独立に移動や拡大縮小の操作を行うのが基本となる。

上述したように、広視野映像を複数の表示領域に表示する場合、広視野映像の特性に適した操作のユーザインタフェースは存在しておらず、ユーザが望むような映像への操作が行えないという問題があった。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、映像を複数の表示領域に表示する場合に、柔軟な操作が行えるユーザインタフェースを提供することにある。

上記の課題を解決するため、本発明にあっては、映像を取得する映像取得手段と、前記映像取得手段が取得した映像を映像方向に応じて割り当てる１または複数の表示領域を設定する領域設定手段と、設定された前記表示領域に映像を割り当てる映像割当手段と、割り当てられた一の表示領域への操作を判定する操作判定手段と、前記操作判定手段の判定結果に応じて、他の表示領域に表示される映像を前記一の表示領域への表示と連動して表示する表示制御手段とを備える。

本発明にあっては、映像を複数の表示領域に表示する場合に、柔軟な操作が行えるユーザインタフェースを提供することができる。

本発明の一実施形態にかかる映像表示システムの構成例を示す図である。 撮影装置の外観構成例を示す図である。 撮影装置のハードウェア構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 映像表示システムのソフトウェア構成例を示す図である。 表示領域パターンテーブルの例を示す図である。 表示領域の例を示す図（その１）である。 表示領域の例を示す図（その２）である。 表示領域の例を示す図（その３）である。 表示領域の例を示す図（その４）である。 表示領域の例を示す図（その５）である。 表示領域の例を示す図（その６）である。 表示領域の例を示す図（その７）である。 領域遷移パターンテーブルの例を示す図である。 カレントデータの例を示す図である。 撮影装置による撮影の例を示す図である。 撮影装置によって撮影された映像の例を示す図である。 全天球映像の生成の例を示す図である。 表示映像の切り出しの例を示す図（その１）である。 表示映像の切り出しの例を示す図（その２）である。 実施形態の処理例を示すフローチャートである。 操作と表示変化の例を示す図（その１）である。 操作と表示変化の例を示す図（その２）である。 操作と表示変化の例を示す図（その３）である。 操作と表示変化の例を示す図（その４）である。 操作と表示変化の例を示す図（その５）である。 操作と表示変化の例を示す図（その６）である。 操作と表示変化の例を示す図（その７）である。 操作と表示変化の例を示す図（その８）である。 操作と表示変化の例を示す図（その９）である。 操作と表示変化の例を示す図（その１０）である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図１は本発明の一実施形態にかかる映像表示システム１０の構成例を示す図である。図１において、映像表示システム１０は、撮影装置１と情報処理装置２とＷｅｂサーバ３とを含んでいる。撮影装置１と情報処理装置２の間、および、Ｗｅｂサーバ３と情報処理装置２の間は、無線または有線により接続される。

撮影装置１は、全天球映像を撮影し、撮影した映像を情報処理装置２に提供する機能を有している。なお、撮影する映像は全天球映像に限られず、パノラマ映像やその他の映像であってもよい。情報処理装置２は、スマートフォン、タブレット、携帯電話、ＰＣ（Personal Computer）等の装置であり、撮影装置１またはＷｅｂサーバ３から映像を取得し、ユーザに対して映像の表示を行う機能を有している。Ｗｅｂサーバ３は、予め映像を取得して蓄積し、情報処理装置２に対して映像を提供する機能を有している。

図２は撮影装置１の外観構成例を示す図である。図２（ａ）は、撮影装置１をユーザが手に持った状態を示している。図２（ｂ）は、図２（ａ）の右側方から撮影装置１を見た図である。図２（ｃ）は、図２（ａ）の上方から撮影装置１を見た図である。

撮影装置１は、筐体の一側の上部に前面撮影素子１Ｈ１が設けられ、反対側に後面撮影素子１Ｈ２が設けられている。また、筐体の中央部にはスイッチ１Ｈ３が設けられている。スイッチ１Ｈ３は撮影を指示するために用いられる。

図３は撮影装置１のハードウェア構成例を示す図である。図３において、撮影装置１は、撮影ユニット１Ｈ４と映像処理ユニット１Ｈ７と撮影制御ユニット１Ｈ８とを備えている。撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１と後面撮影素子１Ｈ２とレンズ１Ｈ５、１Ｈ６とを備えている。映像処理ユニット１Ｈ７は、前面撮影素子１Ｈ１と後面撮影素子１Ｈ２の撮影した映像から全天球映像を生成する機能を有している。撮影制御ユニット１Ｈ８は、前面撮影素子１Ｈ１および後面撮影素子１Ｈ２の撮影を制御する機能を有してる。

また、撮影装置１は、バス１Ｈ１７を介して相互に接続されたＣＰＵ（Central Processing Unit）１Ｈ９とＲＯＭ（Read-Only Memory）１Ｈ１０とＳＲＡＭ（Static Random Access Memory）１Ｈ１１とＤＲＡＭ（Dynamic Random Access Memory）１Ｈ１２と操作Ｉ／Ｆ（Interface）１Ｈ１３とネットワークＩ／Ｆ １Ｈ１４と無線Ｉ／Ｆ １Ｈ１５とアンテナ１Ｈ１６とを備えている。これらは、映像処理ユニット１Ｈ７および撮影制御ユニット１Ｈ８の制御を行うとともに、撮影された全天球映像を外部に提供する処理を行うために用いられる。

図４は情報処理装置２のハードウェア構成例を示す図である。図４において、情報処理装置２は、バス２Ｈ７を介して相互に接続された補助記憶装置２Ｈ１と主記憶装置２Ｈ２と入出力装置２Ｈ３と状態センサ２Ｈ４とＣＰＵ２Ｈ５とネットワークＩ／Ｆ ２Ｈ６とを備えている。状態センサ２Ｈ４は、情報処理装置２の縦持ちと横持ちとを検出するための、角度センサや加速度センサを含んでいる。入出力装置２Ｈ３は、画面表示を行うとともにユーザ操作を受け付けるための、ディスプレイおよびタッチパネル等である。ＣＰＵ２Ｈ５は、撮影装置１またはＷｅｂサーバ３からの映像の取得、映像の画面表示等を制御するために用いられる。

図５は映像表示システム１０のソフトウェア構成例を示す図である。図５において、撮影装置１は、第一撮影部１１と第二撮影部１２と全天球映像生成部１３とを備えている。第一撮影部１１は前面撮影素子１Ｈ１（図３）に対応し、第二撮影部１２は後面撮影素子１Ｈ２（図３）に対応している。全天球映像生成部１３は映像処理ユニット１Ｈ７（図３）に対応している。

情報処理装置２は、映像取得部２１と領域制御部２２と入出力部２３と記憶部２４とを備えている。領域制御部２２は、映像選択部２２１と領域設定部２２２と映像割当部２２３と操作判定部２２４と映像操作部２２５とを有している。記憶部２４は、映像データ記憶部２４１と表示領域パターン記憶部２４２と領域遷移パターン記憶部２４３とカレントデータ記憶部２４４とを有している。

映像取得部２１は、撮影装置１またはＷｅｂサーバ３から映像を取得し、映像データ記憶部２４１に格納する機能を有している。

領域制御部２２は、画面上の表示領域を管理し、その表示領域への映像の表示を行い、ユーザから映像への操作（移動、拡大縮小等）を受け付けて表示に反映する処理を行う機能を有している。

映像選択部２２１は、映像データ記憶部２４１に格納された映像の中から表示する映像をユーザに選択させる機能を有している。映像選択部２２１は、選択された映像を識別する映像ＩＤをカレントデータとしてカレントデータ記憶部２４４に格納する。

領域設定部２２２は、表示領域パターン記憶部２４２に格納された表示領域パターンの中からユーザの選択を受け付け、表示領域の設定を行う機能を有している。領域設定部２２２は、選択された表示領域パターンのデータおよび対応する領域遷移パターン（操作が複数の表示領域に跨る場合の処理を記述であって領域遷移パターン記憶部２４３に格納）のデータをカレントデータとしてカレントデータ記憶部２４４に格納する。

映像割当部２２３は、領域設定部２２２によって設定された各表示領域に対し、映像データ記憶部２４１から映像を取得して割り当てる機能を有している。各表示領域に割り当てる映像は、取得した映像の異なる領域の映像となるが、一部共通する領域を含んでいてもよい。

操作判定部２２４は、ユーザの映像に対する操作を判定する機能を有している。この際、どの表示領域の映像に対応する操作であるのかと、複数の表示領域に跨る操作を判断するために、入出力部２３から入力される操作の座標情報と、カレントデータ記憶部２４４のカレントデータとを参照する。なお、ユーザの映像に対する操作は、画面をタッチする指による操作でもよいし、電子ペンやマウス等による操作でもよい。

映像操作部２２５は、操作判定部２２４により判定された操作に応じて、映像データ記憶部２４１に格納された映像データに操作を反映する機能を有している。映像操作部２２５は、操作により変更された映像の方向および視野角をカレントデータ記憶部２４４のカレントデータに反映させる。

入出力部２３は、ユーザの操作を受け付けて操作が行われた画面上の座標情報を領域制御部２２に与えるとともに、領域制御部２２から出力映像を入力して画面表示する機能を有している。

図６は表示領域パターン記憶部２４２に保持される表示領域パターンテーブルの例を示す図である。表示領域パターンテーブルの内容は、映像取得部２１、領域制御部２２、入出力部２３等を構成するアプリケーションプログラムをインストールする際に格納されるとともに、その後に変更や追加があった場合はサーバ等から取得されて更新される。

図６において、表示領域パターンテーブルは、「表示領域パターン」「領域数」「映像の範囲（初期値）」「配置パターン」「基準」「連携表示の方向」等の項目を有している。

「表示領域パターン」は、表示領域のパターンを識別する情報である。「領域数」は、当該表示領域パターンにおける表示領域の数である。「映像の範囲（初期値）」は、当該表示領域パターンにおいて各表示領域に表示される映像の範囲の初期値である。全天球映像の場合、水平方向の角度θと垂直方向の角度φと視野角αにより映像が特定される。なお、映像の範囲はユーザの操作により移動や拡大縮小が行われた場合は変化するが、それらはカレントデータに反映される。

「配置パターン」は、画面内に複数の表示領域をどのように配置するかであり、ユーザが選択できるように複数の選択肢が用意されている。選択された配置パターンはカレントデータに反映される。

配置パターンの具体例について説明する。図７は、縦持ちの場合に上下に均等に２分割して２つの表示領域とした場合の例である。図８は、縦持ちの場合に上下に２分割して２つの表示領域とした場合であるが、下の表示領域を大きくし、上の表示領域を小さくした場合の例である。図９は、縦持ちの場合に２分割して２つの表示領域とした場合であるが、画面全面の表示領域の上右隅に小さい表示領域を設けた場合の例である。図１０は、縦持ちの場合に上下方向に均等に３分割して３つの表示領域とした場合の例である。図１１は、縦持ちの場合に格子状に均等に４分割して４つの表示領域とした場合の例である。図１２は、縦持ちの場合に中央に大きな表示領域を設け、上下に小さい表示領域を２つずつ設け、５つの表示領域とした場合の例である。図１３は、タブレット等の場合に、横持ちとして、中央に大きな表示領域を設け、左右に小さい表示領域を２つずつ設け、５つの表示領域とした場合の例である。

図６に戻り、配置パターンとしては、全ての表示領域または一部の表示領域のサイズを変倍とするものも含まれる。この場合、表示領域のサイズはユーザの操作により変更が可能である。表示領域のサイズの変更の操作は、情報処理装置２のＯＳ（Operating System）の提供する操作インタフェース（表示領域の端部をドラッグする等）に依存する。変更されたサイズはカレントデータに反映される。また、全ての表示領域または一部の表示領域の位置をユーザ操作により移動可能としてもよい。

更に、表示領域は複製（コピー）や削除を行えるようにしてもよい。複製された表示領域は、元の表示領域の特性を継承してカレントデータに反映される。併せて、これを表領域パターンテーブルに新規に登録できるようにしてもよい。複製は、画面内の空いている場所や既に存在する表示領域の上に配置することができる。配置は、既に表示、配置されている表示領域と重ならないように表示されるように指定することもできる。この場合、元から配置されている表示領域との間で位置が調整される。

「基準」は、表示領域間の連携の関係を定めるにあたり基準となる表示領域を示すものである。「連携表示の方向」は、基準とされる表示領域に対し、連携する表示領域の連携の方向を示すものであり、移動と拡大縮小について同方向と逆方向が選択できるようになっている。「連携表示の方向」は、連携する表示領域の個々について選択できるようにしてもよい。

なお、表示領域パターンテーブルは、テーブルの形式に代えて、コード実装によりプログラム中で実質的に実現してもよい。

図１４は領域遷移パターン記憶部２４３に保持される領域遷移パターンテーブルの例を示す図である。領域遷移パターンテーブルの内容は、映像取得部２１、領域制御部２２、入出力部２３等を構成するアプリケーションプログラムをインストールする際に格納されるとともに、その後に変更や追加があった場合はサーバ等から取得されて更新される。

領域遷移パターンテーブルは、「領域遷移パターン」「領域数」「遷移方向」「操作の主従遷移」「連携の対象」等の項目を有している。

「領域遷移パターン」は、領域遷移のパターンを識別する情報である。「領域数」は、当該領域遷移パターンが適用される表示領域の数である。「遷移方向」は、操作が跨る表示領域の関係を示すものである。「左 ⇔ 右」は、左右に隣り合う表示領域に跨る操作を示す。「上 ⇔ 下」は、上下に隣り合う表示領域に跨る操作を示す。「斜め」は、上下に隣り合う表示領域の左右に隣り合う表示領域に跨る操作を示す。

「操作の主従遷移」は、「遷移方向」で規定される操作が行われた場合に、基準と連携の関係を変更して、操作のタッチが行われた起点の属する表示領域の操作として扱うための情報である。「連携の対象」は、連携する内容を示しており、移動（移動方向、移動量）と拡大縮小（拡大縮小量）が設定されている。

なお、領域遷移パターンテーブルは、テーブルの形式に代えて、コード実装によりプログラム中で実質的に実現してもよい。

図１５はカレントデータ記憶部２４４に保持されるカレントデータの例を示す図であり、ユーザに選択された映像の映像ＩＤと、表示領域パターンテーブル（図６）の中からユーザに選択された表示領域パターンのデータと、領域遷移パターン（図１４）の中の表示領域パターンに対応する領域遷移パターンのデータとが格納される。

＜動作＞
図１６は撮影装置１による撮影の例を示す図であり、ユーザは撮影装置１を手で持ち、スイッチ１Ｈ３（図２）を押すことによって撮影を行う。撮影装置１は、前面撮影素子１Ｈ１（図２）と後面撮影素子１Ｈ２（図２）とによって、撮影装置１の全方位を撮影することができる。

図１７は撮影装置１によって撮影された映像の例を示す図である。図１７（ａ）は撮影装置１の前面撮影素子１Ｈ１によって撮影された映像を示しており、図１７（ｂ）は後面撮影素子１Ｈ２によって撮影された映像を示している。なお、図１７（ｂ）では映像の天地が逆になっているが、これは光学系を簡略化し、筐体の前後に配置されたレンズから入射した光線を１つのミラーの表裏で上下に反射し、反射光の光軸上に前面撮影素子１Ｈ１と後面撮影素子１Ｈ２とを配置したことによる。そして、図１７（ａ）（ｂ）の映像は合成され、図１７（ｃ）のメルカトル（Mercator）図法（正距円筒図法）による全天球映像となる。

図１８は、撮影装置１の全天球映像生成部１３（図５）による全天球映像の生成の例を示す図である。図１８において、上段は前面撮影素子１Ｈ１と後面撮影素子１Ｈ２から得られる映像の画素位置に対し、水平方向の角度θと垂直方向の角度φとの対応関係を示している。上段の左右では、一方の映像の天地が逆になっていることに対応し、角度φの正負が逆になっている。

上段の映像に含まれる各画素に対し、角度θと角度φを直交する座標に変換するルックアップテーブルに基づいて、中段に示す映像に変換を行う。次いで、中段の２つの映像を合成し、下段の角度θが０°〜３６０°の映像とする。そして、これを３角形状のポリゴンに分解し、角度θと角度φと対応付けて３Ｄデータとする。これが全天球映像となる。

図１９は表示映像の切り出しの例を示す図である。図１９（ａ）はＸ軸、Ｙ軸、Ｚ軸の関係を示している。立体球ＣＳは全天球映像が仮想的に貼り付けられている球面である。図１９（ｂ）は表示映像の切り出しのための仮想カメラＣＡＭの配置の例を示している。仮想カメラＣＡＭは立体球ＣＳの内部に配置され、仮想カメラＣＡＭで捉えられる所定領域Ｔが表示映像となる。図１９（ｃ）は仮想カメラＣＡＭの視野を示しており、所定領域Ｔの対角線の両端を挟む角度が視野角αとなる。

図２０は仮想カメラＣＡＭの位置と立体球ＣＳの原点との関係を示しており、原点よりも距離ｄだけ後退した位置から立体球ＣＳを眺めたものが視野角αとなる。距離ｄの位置が立体球ＣＳの内部にある場合は、原点からの画角ωで立体球ＣＳと交わる位置と視野角αで立体球ＣＳと交わる位置は一致するものとし、距離ｄの位置が立体球ＣＳの外部にある場合は、視野角αは立体球ＣＳに外接するものとする。距離ｄが０の場合は、原点からの画角ωと視野角αは一致する。拡大縮小の倍率に応じて、画角ωと視野角αと距離ｄを制御することで、縮小していくと、表示される映像の輪郭は円形になる。

図２１は上記の実施形態の処理例を示すフローチャートであり、情報処理装置２における処理を示している。

図２１において、処理を開始すると、情報処理装置２の映像選択部２２１は、映像データ記憶部２４１に格納された映像の一覧をユーザに提示し、選択を受け付ける（ステップＳ１０１）。映像データ記憶部２４１は、ユーザにより選択された映像の映像ＩＤをカレントデータとしてカレントデータ記憶部２４４に格納する。

次いで、領域設定部２２２は、表示領域パターン記憶部２４２の表示領域パターンテーブルから領域表示パターンの候補をユーザに提示し、選択を受け付ける（ステップＳ１０２）。映像選択部２２１は、領域表示パターンがユーザにより決定された場合（ステップＳ１０３のＹｅｓ）、領域表示パターンと領域遷移パターンのデータをカレントデータとしてカレントデータ記憶部２４４に格納する。

なお、ユーザにより領域表示パターンが選択されるものとしたが、表示する映像の特徴や特性に応じて、適宜に領域表示パターンが決定されるようにしてもよい。例えば、映像の色調、時間変化等の分析の結果や、付与されている特徴情報、タグ等の識別情報に基づいて領域表示パターンが決定されるようにしてもよい。この場合、変化の少ない映像は、見やすさから表示領域の数を少ない領域表示パターンとし、逆に様々な方向で変化のある映像は、漏れなく確認する必要性から、表示領域の数を多い領域表示パターンとする等が考えられる。

次いで、映像割当部２２３は、決定された表示領域パターンの映像の範囲（初期値）に基づいて表示領域の割り当てを行い（ステップＳ１０４）、対象映像の表示を行う（ステップＳ１０５）。なお、映像割当部２２３は、状態センサ２Ｈ４（図４）の信号から情報処理装置２が縦持ちであるか横持ちであるかを判断し、表示する映像の天地を合わせて映像の表示を行う。

その後、操作判定部２２４は、画面へのユーザの操作を確認し（ステップＳ１０６）、操作があったと判断した場合（ステップＳ１０７のＹｅｓ）、座標情報から操作のためのタッチの起点が属する一の表示領域を特定し（ステップＳ１０８）、その他の表示領域を特定する（ステップＳ１０９）。

次いで、操作判定部２２４は、特定した一の表示領域の操作を、タッチ箇所の数と座標情報の変化等から判別する（ステップＳ１１０）。具体的には、スライド（スワイプ）であるかピンチアウト、ピンチインであるかを判別する。その際、操作量も併せて取得する。

そして、操作判定部２２４は、有効な操作であると判断した場合（ステップＳ１１１のＹｅｓ）、判定した操作および取得した操作量から、一の表示領域の映像に加える変化（移動、拡大縮小）を決定する（ステップＳ１１２）。操作判定部２２４は、カレントデータの表示領域パターンのデータの連携表示の方向から、その他の表示領域に加える変化（移動、拡大縮小）を決定する（ステップＳ１１３）。

この際、全ての表示領域のサイズが均等である場合には、一の表示領域の映像に加える変化（移動、拡大縮小）の量とその他の表示領域の映像に加える変化の量は同じになる。また、サイズが異なる場合には、それぞれの表示領域の代表的な長さ（矩形の場合は対角線の長さ、円形の場合は直径等）の比率に応じて変化の量を変える。例えば、一の表示領域の代表的な長さとその他の表示領域の代表的な長さの比率が１：０．５である場合、一の表示領域の変化の量の半分がその他の表示領域の変化の量となる。

また、一の表示領域およびその他の表示領域に加える変化の決定（ステップＳ１１２、Ｓ１１３）にあたり、２つの表示領域に跨る操作である場合、最初にタッチした表示領域への操作が連続して行われたものとして扱う。すなわち、操作判定部２２４は、カレントデータの領域繊維パターンのデータの遷移方向に該当する場合、操作の主従遷移に基づいて２つの表示領域の基準または遷移の関係を入れ替えて変化を決定する。

次いで、映像操作部２２５は、決定された一の表示領域の映像に加える変化とその他の表示領域に加える変化に基づき、一の表示領域とその他の表示領域に操作の変化を適用し、連動表示を行う（ステップＳ１１４）。

以下、操作と表示変化の例について説明する。

図２２は、縦持ちで上下に均等に２分割された場合において、下の表示領域に対して上の表示領域の移動の連携が逆方向に設定されている場合を示している。この場合、（ａ）に示すように下の表示領域に対して右方向のスライド操作を行った場合、（ｂ）に示すように、下の表示領域の映像が右方向に移動するとともに、上の表示領域の映像は左方向に移動する。

図２３は、縦持ちで上下に均等に２分割された場合において、下の表示領域に対して上の表示領域の移動の連携が逆方向に設定されている場合を示している。この場合、（ａ）に示すように下の表示領域に対して上方向のスライド操作を行った場合、（ｂ）に示すように、下の表示領域の映像が上方向に移動するとともに、上の表示領域の映像は下方向に移動する。

図２４は、縦持ちで上下に均等に２分割された場合において、下の表示領域に対して上の表示領域の移動の連携が逆方向に設定されている場合を示している。この場合、（ａ）に示すように下の表示領域に対して右斜め上方向のスライド操作を行った場合、（ｂ）に示すように、下の表示領域の映像が右斜め上斜め方向に移動するとともに、上の表示領域の映像は左斜め下方向に移動する。

図２５は、横持ちで左右に均等に２分割された場合において、左の表示領域に対して右の表示領域の移動の連携が逆方向に設定されている場合を示している。この場合、（ａ）に示すように左の表示領域に対して右方向のスライド操作を行った場合、（ｂ）に示すように、左の表示領域の映像が右方向に移動するとともに、右の表示領域の映像は左方向に移動する。

図２６は、横持ちで左右に均等に２分割された場合において、左の表示領域に対して右の表示領域の移動の連携が逆方向に設定されている場合を示している。この場合、（ａ）に示すように左の表示領域に対して上方向のスライド操作を行った場合、（ｂ）に示すように、左の表示領域の映像が上方向に移動するとともに、右の表示領域の映像は下方向に移動する。

図２７は、横持ちで左右に均等に２分割された場合において、左の表示領域に対して右の表示領域の移動の連携が逆方向に設定されている場合を示している。この場合、（ａ）に示すように左の表示領域に対して右斜め上方向のスライド操作を行った場合、（ｂ）に示すように、左の表示領域の映像が右斜め上方向に移動するとともに、右の表示領域の映像は左斜め下方向に移動する。

図２８は、縦持ちで上下に均等に２分割された場合において、下の表示領域に対して上の表示領域の移動の連携が逆方向に設定されている場合を示している。この場合、（ａ）に示すように下の表示領域から上の表示領域に跨って右上斜め方向のスライド操作を行った場合、（ｂ）に示すように、下の表示領域の映像が右上斜め方向に移動するとともに、上の表示領域の映像は左下斜め方向に移動する。

図２９は、縦持ちで全面に広がる表示領域と右上の小さな表示領域とに２分割された場合において、大きな表示領域に対して小さな表示領域の移動の連携が同方向に設定されている場合を示している。この場合、（ａ）に示すように大きな表示領域に対して右方向のスライド操作を行った場合、（ｂ）に示すように、大きな表示領域の映像が右方向に移動するとともに、小さな表示領域の映像も右方向に移動する。

図３０は、縦持ちで上下に均等に２分割された場合において、下の表示領域に対して上の表示領域の拡大縮小の連携が同方向に設定されている場合を示している。この場合、（ａ）に示すように下の表示領域に対してピンチアウト操作を行った場合、（ｂ）に示すように、下の表示領域の映像が拡大するとともに、上の表示領域の映像も拡大する。

図３１は、縦持ちで上下に２分割され、上の表示領域が小さく右寄せに設定された場合において、下の表示領域に対して上の表示領域の拡大縮小の連携が同方向に設定されている場合を示している。この場合、（ａ）に示すように下の表示領域に対してピンチアウト操作を行った場合、（ｂ）に示すように、下の表示領域の映像が拡大するとともに、上の表示領域の映像も拡大する。

＜総括＞
以上説明したように、本実施形態によれば、映像を複数の表示領域に表示する場合に、柔軟な操作が行えるユーザインタフェースを提供することができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

＜実施形態の用語と請求項の用語の対応＞
映像取得部２１は「映像取得手段」の一例である。領域設定部２２２は「領域設定手段」の一例である。映像割当部２２３は「映像割当手段」の一例である。操作判定部２２４は「操作判定手段」の一例である。映像操作部２２５は「表示制御手段」の一例である。領域制御部２２は「表示手段」の一例である。領域制御部２２は「領域を変化させる手段」の一例である。

１ 撮影装置
１１ 第一撮影部
１２ 第二撮影部
１３ 全天球映像生成部
２ 情報処理装置
２１ 映像取得部
２２ 領域制御部
２２１ 映像選択部
２２２ 領域設定部
２２３ 映像割当部
２２４ 操作判定部
２２５ 映像操作部
２３ 入出力部
２４ 記憶部
２４１ 映像データ記憶部
２４２ 表示領域パターン記憶部
２４３ 領域遷移パターン記憶部
２４４ カレントデータ記憶部
３ Ｗｅｂサーバ
１０ 映像表示システム

特開２０１１−７６２４９号公報

上記の課題を解決するため、本発明にあっては、映像を取得する映像取得手段と、前記映像取得手段が取得した映像を映像方向に応じて割り当てる複数の表示領域を設定する領域設定手段と、設定された前記表示領域に映像を割り当てる映像割当手段と、割り当てられた一の表示領域への操作を判定する操作判定手段と、前記操作判定手段が、一の方向へ前記一の表示領域に表示される映像を移動させたと判定した場合、他の表示領域に表示される映像を前記一の表示領域への表示と連動して逆方向に移動させて表示する表示制御手段とを備える。

上記の課題を解決するため、本発明にあっては、映像を取得する映像取得手段と、前記映像取得手段が取得した映像を映像方向に応じて割り当てる複数の表示領域を設定する領域設定手段と、設定された前記表示領域に映像を割り当てる映像割当手段と、割り当てられた一の表示領域への操作を判定する操作判定手段と、前記操作判定手段が、斜めの一の方向へ前記一の表示領域に表示される映像を移動させたと判定した場合、他の表示領域に表示される映像を前記一の表示領域への表示と連動して逆方向に移動させて表示する表示制御手段とを備える。

Claims (11)

1. 映像を取得する映像取得手段と、
   前記映像取得手段が取得した映像を映像方向に応じて割り当てる１または複数の表示領域を設定する領域設定手段と、
   設定された前記表示領域に映像を割り当てる映像割当手段と、
   割り当てられた一の表示領域への操作を判定する操作判定手段と、
   前記操作判定手段の判定結果に応じて、他の表示領域に表示される映像を前記一の表示領域への表示と連動して表示する表示制御手段と
   を備えたことを特徴とする映像表示システム。
2. 請求項１に記載の映像表示システムにおいて、
   前記表示領域が複数の場合、前記領域設定手段は、表示領域間の連携の方向を設定し、
   前記表示制御手段は、前記一の表示領域に対する映像の変化に対し、前記連携の方向に基づいて前記他の表示領域に対する映像を変化させる
   ことを特徴とする映像表示システム。
3. 請求項２に記載の映像表示システムにおいて、
   前記連携の方向は、映像の移動に対する連携の方向と、映像の拡大縮小に対する連携の方向とを含み、
   前記方向は、同方向と逆方向とを含む
   ことを特徴とする映像表示システム。
4. 請求項２または３のいずれか一項に記載の映像表示システムにおいて、
   前記操作判定手段は、前記一の表示領域の代表的な長さとその他の表示領域の代表的な長さの比率に応じて変化の量を決定する
   ことを特徴とする映像表示システム。
5. 請求項１乃至３のいずれか一項に記載の映像表示システムにおいて、
   前記操作判定手段は、複数の表示領域に跨る操作に対し、当該操作が開始された表示領域に対する操作として処理を行う
   ことを特徴とする映像表示システム。
6. 映像を取得する映像取得手段と、
   前記映像取得手段が取得した映像を映像方向に応じて割り当てる１または複数の表示領域を設定する領域設定手段と、
   設定された前記表示領域に映像を割り当てる映像割当手段と、
   割り当てられた一の表示領域への操作を判定する操作判定手段と、
   前記操作判定手段の判定結果に応じて、他の表示領域に表示される映像を前記一の表示領域への表示と連動して表示する表示制御手段と
   を備えたことを特徴とする情報処理装置。
7. 情報処理装置が実行する方法であって、
   映像を取得する映像取得工程と、
   前記映像取得工程で取得した映像を映像方向に応じて割り当てる１または複数の表示領域を設定する領域設定工程と、
   設定された前記表示領域に映像を割り当てる映像割当工程と、
   割り当てられた一の表示領域への操作を判定する操作判定工程と、
   前記操作判定工程の判定結果に応じて、他の表示領域に表示される映像を前記一の表示領域への表示と連動して表示する表示制御工程と
   を備えたことを特徴とする映像表示方法。
8. コンピュータを、
   映像を取得する映像取得手段、
   前記映像取得手段が取得した映像を映像方向に応じて割り当てる１または複数の表示領域を設定する領域設定手段、
   設定された前記表示領域に映像を割り当てる映像割当手段、
   割り当てられた一の表示領域への操作を判定する操作判定手段、
   前記操作判定手段の判定結果に応じて、他の表示領域に表示される映像を前記一の表示領域への表示と連動して表示する表示制御手段
   として機能させる映像表示プログラム。
9. 映像の異なる領域をそれぞれ第１および第２の表示領域に表示させる表示手段と、
   前記第１の表示領域への操作に応じて、前記第１の表示領域に表示される領域を変化させ、前記第１の表示領域に表示される領域に連動して前記第２の表示領域に表示される領域を変化させる手段と
   を備えたことを特徴とする映像処理装置。
10. 映像処理装置が実行する方法であって、
    映像の異なる領域をそれぞれ第１および第２の表示領域に表示させる表示工程と、
    前記第１の表示領域への操作に応じて、前記第１の表示領域に表示される領域を変化させ、前記第１の表示領域に表示される領域に連動して前記第２の表示領域に表示される領域を変化させる工程と
    を備えたことを特徴とする映像処理方法。
11. コンピュータを、
    映像の異なる領域をそれぞれ第１および第２の表示領域に表示させる表示手段、
    前記第１の表示領域への操作に応じて、前記第１の表示領域に表示される領域を変化させ、前記第１の表示領域に表示される領域に連動して前記第２の表示領域に表示される領域を変化させる手段
    として機能させる映像処理プログラム。