JP2021018759A - 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム - Google Patents

Abstract

【課題】ユーザにとって直感的な操作を可能とする表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システムを提供する。【解決手段】ヘッドマウントディスプレイにおける表示制御方法であって、オブジェクトを前記ヘッドマウントディスプレイに表示させる第１ステップと、コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２ステップと、を備え、前記第２ステップにおいて、前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御方法が提供される。【選択図】図７

Description

本発明は、ヘッドマウントディスプレイにおける表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システムに関する。

種々のヘッドマウントディスプレイシステムが提案されている。しかしながら、必ずしもユーザにとって操作がしやすいものではない。なお、本出願人は本願発明に関する文献公知発明を知らない。

本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、ユーザにとって直感的な操作を可能とする表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システムを提供することである。

本発明の一態様によれば、ヘッドマウントディスプレイにおける表示制御方法であって、オブジェクトを前記ヘッドマウントディスプレイに表示させる第１ステップと、コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２ステップと、を備え、前記第２ステップにおいて、前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御方法が提供される。

前記第２ステップにおいて、隣り合う２列のオブジェクトは互いに千鳥状に配列されてもよい。また、前記所定方向は水平方向であってもよい。この場合、第２ステップにおいて、後方の列ほど高い位置に表示されてもよい。また、前記トリガ操作は前記ヘッドマウントディスプレイに表示されたソートボタンを選択する操作であってもよい。あるいは、前記トリガ操作は前記コントローラ上に割り当てられたショートカットキーを作動させる操作であってもよい。また、前記表示制御方法は、前記コントローラに対するユーザの第２操作に応じて第１の列のオブジェクトを選択する第３ステップと、前記コントローラに対するユーザの第３操作に応じて、選択されたオブジェクトを第２の列へと移動させる第４ステップと、移動によって第２の列にオブジェクトが追加された場合に、第２の列におけるオブジェクトの整列をやり直す第５ステップと、をさらに備えてもよい。また、前記第２ステップにおいて、オブジェクト間の概念的な距離に基づいて、概念的な距離が近いオブジェクトほど互いに近くに配置されるように整列されてもよい。この場合、前記概念的な距離は、オブジェクトのファイル名、タグ、作成時間、撮影場所、色味、形状のいずれか１つ以上の近似度合に基づいて決定されてもよい。

本発明の別の態様によれば、ヘッドマウントディスプレイにおける表示制御プログラムであって、コンピュータに、オブジェクトを前記ヘッドマウントディスプレイに表示させる第１ステップと、コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２ステップと、を実行させ、前記第２ステップにおいて、前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御プログラムが提供される。

本発明の別の態様によれば、ヘッドマウントディスプレイにおける表示制御装置であって、オブジェクトを前記ヘッドマウントディスプレイに表示させる第１手段と、コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２手段と、を備え、前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御装置が提供される。

本発明の別の態様によれば、ヘッドマウントディスプレイと、コントローラと、オブジェクトを前記ヘッドマウントディスプレイに表示させる第１手段と、コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２手段と、を備え、前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御システムが提供される。

ヘッドマウントディスプレイに表示されたオブジェクトを、ユーザが直感的に操作できる。

一実施形態に係る表示制御システムの概略構成を示すブロック図。 コントローラの具体例を示す図。 表示制御システムの動作を説明する図。 図２に引き続く、表示制御システムの動作を説明する図。 図３に引き続く、表示制御システムの動作を説明する図。 図４に引き続く、表示制御システムの動作を説明する図。 図５に引き続く、表示制御システムの動作を説明する図。 表示制御装置の処理動作の一例を示すフローチャート。

以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。

図１Ａは、一実施形態に係る表示制御システムの概略構成を示すブロック図である。図１Ａに示すように、表示制御システムは、ヘッドマウントディスプレイ（ＨＭＤ）１と、コントローラ２と、表示制御装置３とを備えている。ヘッドマウントディスプレイ１と表示制御装置３は（望ましくは無線接続により）通信可能であり、表示制御装置３とコントローラ２も通信可能となっている。

ヘッドマウントディスプレイ１はユーザの頭部に装着され、ユーザの両眼の視野を覆う。これにより、ユーザはヘッドマウントディスプレイ１に表示された映像を見ることになる。ヘッドマウントディスプレイ１には、静止画、動画、文書、ホームページその他任意のオブジェクト（電子ファイル）が表示される。表示態様に特に制限はなく、仮想平面の任意の位置にオブジェクトが表示される態様でもよいし、奥行きを持った仮想空間（仮想現実空間）の任意の位置にオブジェクトが表示される態様でもよい。

コントローラ２はユーザからの操作を受け付ける入力インターフェースである。図１Ｂは、コントローラ２の具体例を示す図である。図１Ｂに示すように、コントローラ２は、少なくとも１つの操作ボタン２０を有し、コントローラ２の向きや動き（加速、回転等）を検出する種々のセンサ（不図示）を内蔵している。コントローラ２の向きに応じたポインタがヘッドマウントディスプレイ１に表示される。そして、コントローラ２の動きに応じてポインタが移動する。

例えば、ヘッドマウントディスプレイ１に表示された所望のオブジェクトにポインタを合わせた状態で操作ボタン２０を押すことにより、ヘッドマウントディスプレイ１に表示されたオブジェクトを選択（グリップ）できる。そして、操作ボタン２０を押したままコントローラ２の向きを変えたり動かしたりすることにより、選択されたオブジェクトをヘッドマウントディスプレイ１上で移動（ドラッグ）させることができる。さらに、操作ボタン２０を離すことにより移動されたオブジェクトの選択を解除（ドロップ）できる。

表示制御装置３は、コントローラ２に対するユーザ操作に応じて、ヘッドマウントディスプレイ１の制御を行う。表示制御装置３は複数のオブジェクトを記憶装置（不図示）内に記憶しており、ユーザによって指定されたオブジェクトを記憶装置から読み出してヘッドマウントディスプレイ１に表示させてもよい。あるいは、表示制御装置３はインターネット接続機能を有し、ユーザによって検索されたオブジェクトをヘッドマウントディスプレイ１に表示させてもよい。

表示制御装置３は、専用端末であってもよいし、汎用パソコンであってもよい。また、表示制御装置３は複数の分散された装置から構成されてもよい。表示制御装置３の機能の一部または全部は、プロセッサが所定の表示制御プログラムを実行することによって実現されてもよいし、ハードウェアで実現されてもよい。

以下、図２〜図６を用いて、本実施形態における表示制御システムの動作を説明する。

図２に示すように、表示制御装置３は、複数（図２の例では１８個）のオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４を、ヘッドマウントディスプレイ１に表示させる。表示させるオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４は、記憶装置に記憶されたオブジェクトの中からコントローラ２を介してユーザによって指定されたものでもよいし、ユーザ操作とは無関係に表示制御装置３が記憶装置またはインターネットから取得したものでもよい。具体的な表示位置は、コントローラ２を介してユーザが設定してもよいし、表示制御装置３がランダムあるいは所定の規則（例えば、左上から右下の順）に決めてもよい。

なお、表示制御装置３は、オブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４の他にも、任意のメニューやボタン、インジケータ、背景画像などをヘッドマウントディスプレイ１に表示させてよい。図２の例では、表示制御装置３は、コントローラ２を介してユーザがトリガ操作を行うためのソートボタン１１を、ヘッドマウントディスプレイ１に表示させる。ソートボタン１１は、コントローラ２に対するユーザ操作に応じて表示されてもよいし、デフォルトで（ユーザ操作なしで）表示されてもよい。

そして、図３に示すように、コントローラ２に対するユーザのトリガ操作に応じて、表示制御装置３は、表示されているオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４を、左右方向に延びる複数（図３の例では４つ）の列であって、前後方向において異なる位置に表示される複数の列に分けて整列させる。各列のオブジェクトは重なりなく等間隔に配置されてもよい。以下の説明では、図３に示す４つの列を、前方（手前側）から後方（奥側）に向かって順にＡ列、Ｂ列、Ｃ列、Ｄ列と呼ぶことがある。Ｂ列はＡ列の後方（背後）に表示され、Ｃ列はＢ列の後方（背後）に表示され、Ｄ列はＣ列の後方（背後）に表示される。各列の長さ（左右方向の角度範囲）は、ユーザの視野の範囲内であれば特に限定されるものではないが、たとえば１９０度である。列の数は、表示されているオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４の数に応じて適宜変更されてもよい。

図３に示すように、隣り合う２列のオブジェクトは互いに千鳥状に配列されてもよい。すなわち、Ｂ列のオブジェクト２０１〜２０４は、Ａ列のオブジェクト１０１〜１０５に対して左右にずれて配置され、Ｃ列のオブジェクト３０１〜３０５は、Ｂ列のオブジェクト２０１〜２０４に対して左右にずれて配置され、Ｄ列のオブジェクト４０１〜４０４は、Ｃ列のオブジェクト３０１〜３０５に対して左右にずれて配置されてもよい。この場合、隣り合う２列（たとえばＡ列とＢ列）のうち、後方の列（Ｂ列）のオブジェクト２０１〜２０４の主要部分が前方の列（Ａ列）のオブジェクト１０１〜１０５の背後に重なって隠れてしまう（非表示となる）ことが起こりにくくなるため、ユーザにとって前方の列（Ａ列）のオブジェクト１０１〜１０５だけでなく、後方（奥側）の列（Ｂ列）のオブジェクトも見やすくなる。

図３に示すように、後方の列ほど高い位置に（ひな壇状に）表示されてもよい。すなわち、Ｂ列のオブジェクト２０１〜２０４は、Ａ列のオブジェクト１０１〜１０５に対して上方にずれて配置され、Ｃ列のオブジェクト３０１〜３０５は、Ｂ列のオブジェクト２０１〜２０４に対して上方にずれて配置され、Ｄ列のオブジェクト４０１〜４０４は、Ｃ列のオブジェクト３０１〜３０５に対して上方にずれて配置されてもよい。この場合、隣り合う２列（たとえばＡ列とＢ列）のうち、後方の列（Ｂ列）のオブジェクト２０１〜２０４の少なくとも上側部分は、前方の列（Ａ列）のオブジェクト１０１〜１０５の背後に重なって隠れる（非表示となる）ことなく確実に表示されるため、ユーザにとって前方の列（Ａ列）のオブジェクト１０１〜１０５だけでなく、後方（奥側）の列（Ｂ列）のオブジェクトも見やすくなる。

表示制御装置３は、表示されているオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４を、オブジェクト間の概念的な距離に基づいて、概念的な距離が近いオブジェクトほど互いに近くに配置されるように整列してもよい。ここでの概念的な距離は、オブジェクトのファイル名、ファイルに付されたタグまたは作成時間の近似度合に基づいて決定されてもよいし、オブジェクトが画像である場合には、オブジェクトの撮影場所、色味または形状の近似度合に基づいて決定されてもよい。表示されているオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４の整列時に、オブジェクト間の概念的な距離に基づいて、概念的な距離が近いオブジェクトほど互いに近くに配置されることで、整列されたオブジェクトに対してユーザは直感的に操作しやすくなる。

なお、コントローラ２に対するユーザのトリガ操作は、例えばヘッドマウントディスプレイ１に表示されたソートボタン１１にポインタを合わせた状態でコントローラ２の操作ボタン２０を押すことにより、ヘッドマウントディスプレイ１に表示されたソートボタン１１を選択することであってもよい。表示制御装置３は、選択されたソートボタン１１を、選択される前のソートボタン１１とは異なる態様で表示するのが望ましい。図３の例では、選択されたソートボタン１１にスポットを付して示している。

一変形例として、コントローラ２に対するユーザのトリガ操作は、コントローラ２上に割り当てられたショートカットキー（不図示）を作動させることであってもよい。

また、図４に示すように、コントローラ２に対するユーザ操作に応じて、表示制御装置３は、表示されているオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４のうちの第１の列（たとえばＡ列）の１または複数のオブジェクト（図４の例ではオブジェクト１０２）を選択する。ここでのユーザ操作は、例えばオブジェクト１０２にポインタを合わせた状態でコントローラ２の操作ボタン２０を押すことである。表示制御装置３は、選択されたオブジェクト１０２を、選択されていないオブジェクト１０１、１０３〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４とは異なる態様で表示するのが望ましい。図４の例では、選択されたオブジェクト１０２にスポットを付して示している。

さらに、図５に示すように、コントローラ２に対するユーザ操作に応じて、表示制御装置３は、選択されたオブジェクト１０２を移動させる。図５の例では、破線の位置１０２ａにあったオブジェクト１０２が後方（奥側）に移動している。ここでのユーザ操作は、例えば選択（グリップ）されたオブジェクト１０２を後方（奥側）に放り投げるように、操作ボタン２０を押したままコントローラ２を上向きに傾けると同時に操作ボタン２０を離すことである。図５の例では、選択されたオブジェクト１０２が第２の列（ここではＤ列）へと移動され、第２の列（Ｄ列）に追加されている。

移動によってオブジェクト１０２が第２の列（Ｄ列）に追加されると、表示制御装置３は、第２の列（Ｄ列）におけるオブジェクト１０２、４０１〜４０４の整列をやり直す。図５の例では、Ｄ列のオブジェクト１０２、４０１〜４０４が重なりなく等間隔に配置されるように、破線の位置１０２ｂにあったオブジェクト１０２が右側に移動している。移動によってオブジェクト１０２が第２の列に追加された場合に、第２の列のオブジェクト１０２、４０１〜４０４が（ユーザ操作なしで）自動的に整列し直されることで、ユーザはオブジェクトの選択動作を簡易に速く行うことができるようになる。

図７は、表示制御装置３の処理動作の一例を示すフローチャートである。図７に示すように、表示制御装置３は、複数のオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４をヘッドマウントディスプレイ１に表示させる（ステップＳ１）。表示制御装置３は、オブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４に加えて、ソートボタン１１をヘッドマウントディスプレイ１に表示させてもよい。

そして、コントローラ２に対してユーザのトリガ操作がなされると（ステップＳ２：ＹＥＳ）、表示制御装置３は、表示されているオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４を、左右方向に延びる複数の列であって、前後方向において異なる位置に表示される複数の列に分けて整列させる（ステップＳ３）。コントローラ２に対してユーザのトリガ操作がなされなければ（ステップＳ２：ＮＯ）、表示制御装置３は、オブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４の元の位置での表示を継続する。

そして、表示されているオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４が複数の列に分かれて整列された後（ステップＳ３の後）、第１の列の特定のオブジェクト１０２を選択するためのユーザ操作がコントローラ２に対してなされると、表示制御装置３は当該特定のオブジェクト１０２を選択する（ステップＳ４）。

オブジェクト１０２が選択された状態で、このオブジェクト１０２を移動させるためのユーザ操作がコントローラ２に対してなされると、表示制御装置３は、選択されたオブジェクト１０２を移動させる（ステップＳ５）。

オブジェクト１０２の移動によってオブジェクト１０２が第２の列に追加されると（ステップＳ６：ＹＥＳ）、表示制御装置３は、第２の列におけるオブジェクト１０２、４０１〜４０４を整列し直す（ステップＳ７）。オブジェクト１０２の移動によってオブジェクト１０２が第２の列に追加されなければ（ステップＳ６：ＮＯ）、表示制御装置３はオブジェクト１０２の移動を継続する。

なお、ステップＳ４以降の任意のタイミングで、選択されたオブジェクト１０２を選択解除するためのユーザ操作がコントローラ２に対してなされた場合、表示制御装置３は、当該オブジェクト１０２が選択された状態を解除することができる。

このように、コントローラ２に対するユーザのトリガ操作に応じて、ヘッドマウントディスプレイ１に表示されたオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４が、左右方向に延びる複数の列であって、前後方向において異なる位置に表示される複数の列に分かれて整列されるため、ユーザにとって、ヘッドマウントディスプレイ１に表示されたオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４が見やすくなり、表示されたオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４に対する直感的な操作ができるようになる。

なお、表示制御装置３は、コントローラ２に対するユーザのトリガ操作に応じて、ヘッドマウントディスプレイ１に表示されたオブジェクト１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４を、左右方向に延びる複数の列に分けて整列させる代わりに、上下方向に延びる複数の列に分けて整列させるようにしてもよい。

上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。

１ ヘッドマウントディスプレイ
１０１〜１０５、２０１〜２０４、３０１〜３０５、４０１〜４０４ オブジェクト
１１ ソートボタン
２ コントローラ
２０ 操作ボタン
３ 表示制御装置

Claims (12)

1. ヘッドマウントディスプレイにおける表示制御方法であって、
   オブジェクトを前記ヘッドマウントディスプレイに表示させる第１ステップと、
   コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２ステップと、を備え、
   前記第２ステップにおいて、前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御方法。
2. 前記第２ステップにおいて、隣り合う２列のオブジェクトは互いに千鳥状に配列される、請求項１に記載の表示制御方法。
3. 前記所定方向は左右方向である、請求項１または２に記載の表示制御方法。
4. 前記第２ステップにおいて、後方の列ほど高い位置に表示される、請求項３に記載の表示制御方法。
5. 前記トリガ操作は前記ヘッドマウントディスプレイに表示されたソートボタンを選択する操作である、請求項１〜４のいずれかに記載の表示制御方法。
6. 前記トリガ操作は前記コントローラ上に割り当てられたショートカットキーを作動させる操作である、請求項１〜４のいずれかに記載の表示制御方法。
7. 前記コントローラに対するユーザの第２操作に応じて第１の列のオブジェクトを選択する第３ステップと、
   前記コントローラに対するユーザの第３操作に応じて、選択されたオブジェクトを移動させる第４ステップと、
   移動によって第２の列にオブジェクトが追加された場合に、第２の列におけるオブジェクトの整列をやり直す第５ステップと、をさらに備える請求項１〜６のいずれかに記載の表示制御方法。
8. 前記第２ステップにおいて、オブジェクト間の概念的な距離に基づいて、概念的な距離が近いオブジェクトほど互いに近くに配置されるように整列される、請求項１〜７のいずれかに記載の表示制御方法。
9. 前記概念的な距離は、オブジェクトのファイル名、タグ、作成時間、撮影場所、色味、形状のいずれか１つ以上の近似度合に基づいて決定される、請求項８に記載の表示制御方法。
10. ヘッドマウントディスプレイにおける表示制御プログラムであって、コンピュータに、
    オブジェクトを前記ヘッドマウントディスプレイに表示させる第１ステップと、
    コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２ステップと、を実行させ、
    前記第２ステップにおいて、前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御プログラム。
11. ヘッドマウントディスプレイにおける表示制御装置であって、
    オブジェクトを前記ヘッドマウントディスプレイに表示させる第１手段と、
    コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２手段と、を備え、
    前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御装置。
12. ヘッドマウントディスプレイと、
    コントローラと、
    オブジェクトを前記ヘッドマウントディスプレイに表示させる第１手段と、
    コントローラに対するユーザのトリガ操作に応じて前記オブジェクトを所定方向に延びる複数の列に分けて整列させる第２手段と、を備え、
    前記複数の列はそれぞれ前後方向において異なる位置に表示される、表示制御システム。