JP2022118501A - 表示システム、表示装置とその制御方法及びプログラム - Google Patents

表示システム、表示装置とその制御方法及びプログラム Download PDF

Info

Publication number
JP2022118501A
JP2022118501A JP2021015070A JP2021015070A JP2022118501A JP 2022118501 A JP2022118501 A JP 2022118501A JP 2021015070 A JP2021015070 A JP 2021015070A JP 2021015070 A JP2021015070 A JP 2021015070A JP 2022118501 A JP2022118501 A JP 2022118501A
Authority
JP
Japan
Prior art keywords
display
information processing
processing device
virtual object
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021015070A
Other languages
English (en)
Other versions
JP2022118501A5 (ja
Inventor
隆幸 安田
Takayuki Yasuda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021015070A priority Critical patent/JP2022118501A/ja
Priority to US17/575,752 priority patent/US11842119B2/en
Publication of JP2022118501A publication Critical patent/JP2022118501A/ja
Publication of JP2022118501A5 publication Critical patent/JP2022118501A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position

Abstract

【課題】仮想オブジェクトを表示した際に、視認性を維持しながら高い操作性を得ることが可能な表示システムを提供する。【解決手段】スマートフォン１００と、撮像部２０３を備えるスマートグラス１１０とが通信可能に接続されて構成される表示システムは、撮像部２０３により撮像された画像からスマートフォン１００の情報を検出する検出手段を有する。スマートグラス１１０は、仮想オブジェクト６００の表示が可能な表示部２０４と、検出されたスマートフォン１００の情報に基づいてスマートフォン１００に隣接させ又は一部を重畳させて仮想オブジェクト６００を表示部２０４に表示する表示制御部３０４を備える。【選択図】図７

Description

本発明は、表示システム、表示装置とその制御方法及びプログラムに関する。
頭部装着型の表示装置の表示部に拡張現実画像を効果的に表示させる技術が知られている。例えば、特許文献１には、頭部装着型の表示装置の表示部に、拡張現実画像を実物体に付加されているように表示させて、高いリアル感を得ることを可能にする技術が記載されている。
特開２０１５－３２１３１号公報
しかしながら、上記特許文献１に記載された技術では、仮想オブジェクトが実物体に付加されているように表示させることができるが、視認性が低下してしまうという問題や、視認性の低下によって仮想オブジェクトの操作性が低下してしまうという問題がある。
本発明は、仮想オブジェクトを表示した際に、視認性を維持しながら高い操作性を得ることが可能な表示システムを提供することを目的とする。
本発明に係る表示システムは、情報処理装置と、前記情報処理装置と通信可能であり、撮像手段を有する頭部装着型の表示装置と、を備える表示システムであって、前記撮像手段により撮像された画像から前記情報処理装置の情報を検出する検出手段を有し、前記表示装置は、仮想オブジェクトの表示が可能な表示部と、前記情報に基づいて前記情報処理装置に隣接させ又は一部を重畳させて前記仮想オブジェクトを前記表示部に表示する表示制御手段と、を有することを特徴とする。
本発明によれば、仮想オブジェクトを表示した際に、視認性を維持しながら高い操作性を得ることが可能な表示システムを実現することができる。
本発明の実施形態に係る表示システムの概略構成を示す図である。 スマートグラスの外観斜視図である。 第１実施形態に係る表示システムを構成するスマートグラス及びスマートフォンの概略構成を示すブロック図である。 第１実施形態でのスマートフォンが右表示部を通して視認可能な位置にある状態の一例を示す図である。 第１実施形態でのスマートフォンの傾きを検出する方法を示す模式図である。 第１実施形態での仮想オブジェクトの表示例を示す図である。 第１実施形態での仮想オブジェクトの表示方法を説明する模式図である。 第１実施形態での表示システムの制御を説明するフローチャートである。 第２実施形態に係る表示システムを構成するスマートグラスの概略構成を示すブロック図である。 第２実施形態でのスマートフォンの画面表示例と、スマートグラスの表示部に表示される仮想オブジェクトとの関係を説明する模式図である。 第２実施形態での表示システムの制御を説明するフローチャートである。 第３実施形態に係る表示システムを構成するスマートグラスの概略構成を示すブロック図である。 第３実施形態での仮想オブジェクトの表示例を示す図である。 第２実施形態でのスマートグラスの制御を説明するフローチャートである。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
＜表示システムの概略構成＞
図１は、本発明の実施形態に係る表示システムの概略構成を示す図である。図１の表示システムは、情報処理装置の一例としてのスマートフォン１００と、頭部装着型の表示装置の一例としてのスマートグラス１１０とが、無線通信経路１２０を介して通信可能に接続されることによって構成される。
スマートフォン１００は、各種のアイコンや写真情報等を表示することができ、また、タッチパネルが重畳配置されてタッチ操作が可能となっている表示部１０１を有する。スマートフォン１００のより詳しい構成については後述する。
なお、スマートフォン１００は周知のもので構わないため、詳細な説明を省略する。また、本発明に係る表示システムを構成する情報処理装置は、スマートフォン１００に限定されるものではなく、タブレットＰＣや携帯ゲーム機等の他の電子機器であってもよい。本発明は、情報処理装置としては、ユーザが手に取って操作する携帯型のものを想定している。
無線通信経路１２０は、スマートフォン１００とスマートグラス１１０とを通信可能に接続する。無線通信経路１２０としては、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉによる直接通信や、不図示のアクセスポイント装置を介した無線ＬＡＮ通信等が挙げられ、特に限定されるものではない。スマートフォン１００とスマートグラス１１０の間で行われる通信には、スマートグラス１１０からスマートフォン１００へのペアリング要求と、これに対するスマートフォン１００からスマートグラス１１０へのペアリング許可が挙げられる。
次に、スマートグラス１１０について図２を参照して説明する。図２は、スマートグラス１１０の外観斜視図である。なお、図１では、スマートグラス１１０については、細部が省略されて表されている。スマートグラス１１０は、無線通信部２０１、制御ユニット２０２、撮像部２０３及び表示部２０４を備える。また、スマートグラス１１０は、電源スイッチ等の不図示の操作部を備える。
スマートグラス１１０は、眼鏡型のヘッドマウントディスプレイ（ＨＭＤ）として構成されている。スマートグラス１１０は、ユーザが表示部２０４に表示された画像（表示画像）を視認すると同時に外景を直接視認することが可能な光学透過型のＨＭＤとして構成されている。なお、本発明に係る表示システムを構成する頭部装着型の表示装置は、眼鏡型に限られず、目の周囲を覆うゴーグル型や頭部全体に被さるヘルメット型等の他の型のものであってもよい。
無線通信部２０１は、無線通信経路１２０を介してスマートフォン１００との間で双方向に通信を行う。なお、無線通信部２０１は、図２ではシンボルとしてのアンテナで示されているが、スマートグラス１１０のフレームに内蔵されていてもよい。撮像部２０３は、レンズやイメージセンサを有するカメラであるが、これに限られない。例えば、撮像部として、ライダー（ＬＩＤＡＲ：Laser Imaging Detection and Ranging）を備えていてもよい。つまり、撮像部は、対象物の撮像画像（距離画像）を取得できるものであれば、その種類を問わない。制御ユニット２０２は、スマートグラス１１０の全体的な動作を制御し、その詳細については図３を参照して後述する。
スマートグラス１１０は、前述したように光学透過型のＨＭＤとして構成されている。つまり、一般的な眼鏡のレンズに相当する表示部２０４は、透光性の高い（透光率の大きい）材料で形成されており、画像を表示していない状態ではユーザの視界を遮らない透過型ディスプレイとなっている。そして、スマートグラス１１０は、透過型ディスプレイである表示部２０４に、仮想オブジェクト６００（図６及び図７等参照）を表示すると共に、表示部２０４を通して実物体を視認することができるように構成されている。表示部２０４は、ユーザの右眼の眼前に配置される右表示部２０４Ｒと、左眼の眼前に配置される左表示部２０４Ｌから構成される。
＜第１実施形態＞
図３（ａ）は、第１実施形態に係るスマートグラス１１０の概略構成を示すブロック図である。スマートグラス１１０は、無線通信部２０１、制御ユニット２０２、撮像部２０３及び表示部２０４を備える。無線通信部２０１、撮像部２０３及び表示部２０４については、図２を参照して説明済みであるため、ここでの説明を省略する。
制御ユニット２０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等から構成される所謂マイクロコンピュータを備えている。ＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに展開、実行することにより、制御ユニット２０２は、検出部及び表示制御部３０４として機能する。検出部は、距離検出部３０１、位置検出部３０２及び傾き検出部３０３を有し、撮像部２０３により撮像された画像からスマートフォン１００の情報を検出する。なお、ＣＰＵは、ＲＯＭに格納されたＯＳプログラムをＲＡＭに展開することにより、スマートグラス１１０で実行可能な各種の動作を制御する。
距離検出部３０１は、スマートフォン１００の情報の１つとして、撮像部２０３により撮像された画像から、スマートグラス１１０（表示部２０４）からスマートフォン１００までの距離情報を検出する。ここで、第１実施形態での説明において、撮像部２０３による撮像対象となるスマートフォン１００の無線通信部３１１（図３（ｂ）参照）とスマートグラス１１０の無線通信部２０１は、無線通信経路１２０を介して無線通信を実行するための無線接続が確立されている（ペアリングされている）ものとする。距離検出部３０１は、撮像部２０３によりスマートフォン１００が撮像された画像から演算（画像処理）により、スマートグラス１１０（表示部２０４）とスマートフォン１００の間の距離Ｌを、例えば‘Ｌ＝５０ｃｍ’のように距離情報として検出する。
位置検出部３０２は、スマートフォン１００の情報の１つとして、撮像部２０３によりスマートフォン１００が撮像された画像から、演算（画像処理）により、スマートフォン１００の位置情報を検出する。スマートフォン１００の位置情報とは、撮像された画像内のスマートフォン１００が表示部２０４に対してどの位置（方角）にあるか示す情報である。なお、位置情報の検出方法については図４を参照して後述する。
傾き検出部３０３は、スマートフォン１００の情報の１つとして、撮像部２０３によりスマートフォン１００が撮像された画像から、演算（画像処理）により、撮像されたスマートフォン１００の傾きを検出する。傾き検出部３０３は、具体的には、縦回転方向の傾き、水平回転方向の傾き、回転軸方向の傾きを検出する。なお、スマートフォン１００の傾き情報の検出方法については図５を参照して後述する。
表示制御部３０４は、距離検出部３０１、位置検出部３０２及び傾き検出部３０３により検出された距離、位置及び傾きの情報に基づいて、表示部２０４に仮想オブジェクトを表示するための制御を司る。
図３（ｂ）は、スマートフォン１００のブロック図である。スマートフォン１００は、無線通信部３１１、制御ユニット３１２及び表示部１０１を有する。無線通信部３１１は、例えば、無線通信経路１２０を介してスマートグラス１１０からのペアリング要求等の通信確立要求に対して許可を行う。また、無線通信部３１１は、スマートグラス１１０
制御ユニット３１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等で構成され、ＲＯＭやＥＥＰＲＯＭに格納されている所定のプログラムを実行することにより、スマートフォン１００の全体的な動作を制御する。表示部１０１は、各種の情報を表示する液晶ディスプレイや有機ＥＬディスプレイに、操作手段としてのタッチパネルが重畳されて構成される。
次に、スマートグラス１１０によるスマートフォン１００の検出方法について説明する。まず、スマートグラス１１０の位置検出部３０２によるスマートフォン１００の位置検出方法について説明する。
図４は、右表示部２０４Ｒを通してスマートフォン１００を実物体として視認している状態の一例を示している。前述したように、スマートフォン１００の位置情報は、撮像部２０３の撮影画角内にスマートフォン１００がある状態で撮像部２０３により撮像された画像を用いて求められる。右表示部２０４Ｒの原点４０１に対して、スマートフォン１００の座標４０２はスマートフォン１００の右上の角の位置で定義されるものとする。右表示部２０４Ｒは、横の長さが‘Ａ’、縦の長さが‘Ｂ’となっている。例えば、右表示部２０４Ｒの横の長さＡ＝３ｃｍ、縦の長さＢ＝２ｃｍの場合に、位置検出部３０２は、スマートフォン１００の座標４０２を［縦，横］＝［１．５ｃｍ，０．５ｃｍ］のように検出される。
続いて、傾き検出部３０３によるスマートフォン１００の傾き検出方法について説明する。傾き検出部３０３は、縦回転方向の傾き、水平回転方向の傾き、回転軸方向の傾きを検出する。
図５（ａ）は、スマートフォン１００の縦回転方向の傾きを検出する方法を示す模式図である。なお、図５（ａ）及び後に示す図５（ｂ），（ｃ）では、スマートフォン１００を簡略化して示している。スマートフォン１００の縦回転方向とは、鉛直方向と直交する軸まわりの回転方向を指す。スマートフォン１００の縦回転方向の傾きは、撮像部２０３により撮像されたスマートフォン１００の下辺の長さ‘Ｍ’と上辺の長さ‘Ｎ’の比で求められる。例えば、Ｍ＝５、Ｎ＝４、と検出された場合の縦回転方向の傾きは、Ｍ：Ｎ＝５：４、と求められる。なお、スマートフォン１００は、表示部１０１と直交する方向から見た場合に、略四角形形状を有するものとする。
図５（ｂ）は、スマートフォン１００の水平回転方向の傾きを検出する方法を示す模式図である。スマートフォン１００の水平回転方向とは、水平面と直交する軸まわりの回転方向を指す。スマートフォン１００の水平回転方向の傾きは、スマートフォンの左辺の長さ‘Ｋ’と右辺の長さ‘Ｌ’の比で求められる。例えば、Ｋ＝７、Ｌ＝６、と検出された場合の水平回転方向の傾きは、Ｋ：Ｌ＝７：６、と求められる。
図５（ｃ）は、スマートフォン１００の回転軸方向の傾きを検出する方法を示す模式図である。スマートフォン１００の回転軸方向の傾きは、スマートフォン１００の上辺が水平面に対して傾いている角度‘α’で求められる。例えば、スマートフォン１００の上辺の水平面に対する傾きが３０度であると検出された場合、α＝３０度、と求められる。
第１実施形態では、撮像部２０３によりスマートフォン１００が撮像された画像から検出されるスマートグラス１１０に対するスマートフォン１００の距離、位置及び傾きの各情報に基づいて、右表示部２０４Ｒに表示する仮想オブジェクトの態様が制御される。
図６（ａ），（ｂ）はそれぞれ、スマートグラス１１０の右表示部２０４Ｒを透過して視認されるスマートフォン１００に対する仮想オブジェクト６００の右表示部２０４Ｒでの表示例を示す図である。仮想オブジェクト６００は、透光性の高い材料で形成された右表示部２０４Ｒを通して直接視認されるスマートフォン１００の座標４０２を基準として右辺に接し又は近接するように右表示部２０４Ｒに表示される。
距離検出部３０１、位置検出部３０２及び傾き検出部３０３は、スマートグラス１１０に対するスマートフォン１００の距離、位置及び傾きの各情報を、撮像部２０３によりスマートフォン１００が撮像された画像から逐次取得して検出し続ける。そして、図６（ａ），（ｂ）に示されるように、スマートグラス１１０に対するスマートフォン１００の距離、位置及び姿勢の変化に合わせて、右表示部２０４Ｒに表示される仮想オブジェクト６００の表示態様を制御する。その制御の詳細について、図７及び図８を参照して以下に説明する。
図７は、スマートグラス１１０の右表示部２０４Ｒへの表示制御部３０４による仮想オブジェクト６００の表示方法を説明する模式図である。表示制御部３０４は、スマートグラス１１０に対するスマートフォン１００の距離、位置及び傾きの情報に基づいて、右表示部２０４Ｒに表示する仮想オブジェクト６００の表示態様を制御する。
表示制御部３０４は、例えば、スマートフォン１００の距離情報が５０ｃｍの場合、スマートグラス１１０の視点において５０ｃｍの位置に見えるように、仮想オブジェクト６００を配置するように制御する。そして、表示制御部３０４は、仮想オブジェクト６００の縦回転方向の傾き及び水平回転方向の傾きがそれぞれ、スマートフォン１００の縦回転方向の傾き及び水平回転方向の傾きと同じになるように、仮想オブジェクト６００にアフィン変換を施す。例えば、スマートフォン１００の縦回転方向の傾きが‘Ｍ：Ｎ＝５：４’であれば、下辺と上辺の比が‘下辺：上辺＝５：４’となるように仮想オブジェクト６００にアフィン変換を施す。また、スマートフォン１００の水平回転方向の傾きが‘Ｋ：Ｌ＝７：６’であれば、左辺と右辺の比が‘左辺：右辺＝７：６’となるように仮想オブジェクト６００にアフィン変換を施す。更に表示制御部３０４は、アフィン変換後の仮想オブジェクト６００に対して、回転軸方向の傾きがスマートフォン１００の回転軸方向の傾きと同じになるように回転処理を施す。例えば、スマートフォン１００の回転軸方向の角度が３０度であれば、アフィン変換後の仮想オブジェクト６００を３０度だけベクトル回転させる。
表示制御部３０４は、仮想オブジェクト６００の左上の角の座標をスマートフォン１００の座標４０２に一致又は近接させて、仮想オブジェクト６００を右表示部２０４Ｒに配置するよう制御する。このとき、仮想オブジェクト６００は、その上辺及び下辺がそれぞれスマートフォン１００の上辺及び下辺と略一直線となるように、右表示部２０４Ｒに表示される。換言すれば、仮想オブジェクト６００の左辺の長さは、スマートフォン１００の右辺の長さと略等しい長さに設定される。こうして、図７に示す表示状態が得られる。
図８は、スマートフォン１００の操作により仮想オブジェクト６００の表示態様を制御する際にスマートフォン１００及びスマートグラス１１０で実行される処理のフローチャートである。図８のフローチャートにおいて、スマートグラス１１０についてＳ番号で示す各処理（ステップ）は、スマートグラス１１０のＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに展開してスマートグラス１１０の各部の動作を制御することにより実現される。
スマートグラス１１０に設けられた操作部に対するユーザの操作によりスマートグラス１１０の電源がオンし、これにより、表示部２０４への仮想オブジェクトの表示が可能となって、本処理が開始される。なお、スマートグラス１１０での処理開始時には、スマートフォン１００の電源はオンの状態になっているものとする。
Ｓ８０１でＣＰＵは、ユーザ操作に応じて、スマートフォン１００へペアリング要求を行う。ここでのユーザ操作は、操作部に対する操作であってもよいし、撮像部２０３により撮像されたユーザのジェスチャーであってもよい。スマートフォン１００は、Ｓ８１１にて、Ｓ８０１でのペアリング要求に対してペアリングを許可するものとする。スマートフォン１００のブロック図は不図示としているが、スマートフォン１００での処理は、スマートフォン１００のＣＰＵが所定のプログラムを実行して、スマートフォン１００の各部の動作を制御することにより実現される。なお、スマートフォン１００とスマートグラス１１０をペアリングさせるのは、例えば、撮像部２０３による撮像画像内に複数のスマートフォンがあった場合に、ペアリングされているスマートフォンを特定する手段として用いることができるためである。
Ｓ８０２では距離検出部３０１が、撮像部２０３によりスマートフォン１００を撮像した画像から、スマートフォン１００の距離情報を検出する。なお、第１実施形態では、仮想オブジェクト６００をスマートフォン１００により操作することを目的としているため、ユーザは表示部２０４を通してスマートフォン１００を直接に視認していることを前提とする。そして、撮像部２０３による撮像画像には、スマートフォン１００が映り込んでいるものとする。また、Ｓ８０２の前に制御ユニット２０２で撮像画像を解析（画像処理）し、その結果として撮像画像にスマートフォン１００（表示部１０１）が映り込んでいないことが検知された場合には、本フローチャートの処理を終了させてもよい。
Ｓ８０３では位置検出部３０２が、撮像部２０３によりスマートフォン１００を撮像した画像から、スマートフォン１００の位置情報、つまり、スマートフォン１００の右上の角の座標４０２を検出する。Ｓ８０４では傾き検出部３０３が、撮像部２０３によりスマートフォン１００を撮像した画像から、スマートフォン１００の傾き情報として、縦回転方向の傾き、水平回転方向の傾き及び回転軸方向の傾きを検出する。Ｓ８０５では表示制御部３０４が、Ｓ８０２～Ｓ８０４で求められたスマートフォン１００の距離、位置及び傾きの情報に基づいて、表示部２０４（右表示部２０４Ｒ）に仮想オブジェクト６００を表示する。
仮想オブジェクト６００の表示は、例えば、ユーザの操作によりスマートグラス１１０の電源がオフされるまで継続される。その間、スマートフォン１００の位置及び姿勢に関する情報の取得と仮想オブジェクト６００の表示（Ｓ８０２～Ｓ８０５）の処理が繰り返される。つまり、表示制御部３０４は、スマートフォン１００の位置及び姿勢の変化に追従させて仮想オブジェクトを変形させながら、スマートフォン１００に隣接させて表示し続ける。
このように第１実施形態では、制御ユニット２０２により、スマートフォン１００の距離、位置及び傾きの情報を検出し続け、これらの情報に基づいて表示部２０４に仮想オブジェクトを表示し続ける。これにより、ユーザは、スマートフォン１００を直接に視認可能な状態で、スマートフォン１００の姿勢や位置を変えることによって仮想オブジェクトの表示態様を変化させて鑑賞することができる。
なお、第１実施形態では、スマートフォン１００の距離、位置及び傾きの情報をスマートグラス１１０で検出する構成としたが、このような構成に限られない。例えば、スマートフォン１００がジャイロセンサ等により各種の傾き情報を持つ場合には、スマートフォン１００がスマートグラス１１０へそれらの傾き情報を提供する構成としてもよい。また、スマートフォン１００の距離情報及び位置情報についても、スマートフォン１００がライダー等の測距機能を備える場合には、スマートフォン１００がスマートグラス１１０へ距離情報及び位置情報を提供する構成としてもよい。
また、第１実施形態では、表示部２０４を通して直接視認可能なスマートフォン１００の右側に隣接させて仮想オブジェクトを表示したが、仮想オブジェクトの表示位置はこれに限られない。例えば、スマートフォン１００の左側に隣接させて仮想オブジェクトを表示してもよい。また、仮想オブジェクト６００の一部又は全体がスマートフォン１００の表示部１０１に重なるように表示してもよい。
＜第２実施形態＞
本発明の第２実施形態に係る表示システムは、第１実施形態に係る表示システムと比較すると、基本構成は同じであるが、スマートグラス１１０が備える制御ユニット２０２の構成が異なる。そこで、以下では、第２実施形態に係る表示システムの構成と制御について、制御ユニット２０２の構成とその機能を中心に説明する。なお、第２実施形態に係る表示システムの構成要素のうち、第１実施形態に係る表示システムの構成要素と実質的に同じものについては、同じ名称及び同じ符号を用いて、説明済みの事項については説明を省略する。
図９は、第２実施形態に係る表示システムを構成するスマートグラス１１０の概略構成を示すブロック図である。スマートグラス１１０は、無線通信部２０１、制御ユニット２０２、撮像部２０３及び表示部２０４を有する。制御ユニット２０２は、距離検出部３０１、位置検出部３０２、傾き検出部３０３、アイコン表示部９０１及び表示制御部９０２としての機能を備える。距離検出部３０１、位置検出部３０２及び傾き検出部３０３のそれぞれの機能は、第１実施形態での機能と同等であり、ここでの説明を省略する。
アイコン表示部９０１は、表示部２０４に表示される仮想オブジェクトの操作に用いられるアイコンをスマートフォン１００に配置するための制御を行う。つまり、アイコン表示部９０１は、スマートフォン１００に対して、仮想オブジェクトを操作するためのアイコンを表示部１０１に表示するように要求する。この要求を受けたスマートフォン１００は、アイコン表示要求を許可する通知をアイコン表示部９０１に返すと共に、スマートフォン１００の画面上に仮想オブジェクトを操作するためのアイコンを表示する。
なお、仮想オブジェクトを操作するためのアイコンを表示部１０１に表示するためのアプリケーション（ソフトウェア）は、事前にスマートフォン１００に格納され、又は、無線通信経路１２０を介して外部装置から取得される。例えば、アイコンに対するユーザのフリック操作により仮想オブジェクト内のカーソルを移動させ、また、ダブルタップ操作により仮想オブジェクト６００を部分的に拡大することが可能とする。
スマートフォン１００の表示部１０１に配置されたアイコンに対する操作は、信号に変換されてスマートグラス１１０の表示制御部９０２へ送信される。表示制御部９０２は、スマートフォン１００の表示部１０１に表示されたアイコンに対するユーザの操作を表す信号を受信し、受信した信号にしたがって仮想オブジェクト内に表示されたカーソルの移動や仮想オブジェクトの拡大／縮小表示等を制御する。
図１０（ａ），（ｂ）はそれぞれ、スマートフォン１００での画面表示例と、スマートグラス１１０の表示部２０４に表示される仮想オブジェクト６００との関係を説明する模式図である。なお、図１０では、表示部２０４の表示を省略している。
図１０（ａ）では、スマートフォン１００の表示部１０１の左下に、仮想オブジェクト６００を操作するためのアイコン１００２が配置（表示）されている。アイコン１００２内に示される矢印１００３は、ユーザの指の操作方向を模式的に示しており（矢印１００３が表示されているわけではない）、ここでは、アイコン１００２に対して左側から右側へのフリック操作が行われている様子が示されている。
図１０（ａ）に示される仮想オブジェクト６００において、アイコン１００２に対する左側から右側にフリック操作に基づいて、表示制御部９０２は、仮想オブジェクト６００上のカーソル１００４を矢印１００５で示されるように左側から右側に移動させる。その結果、不図示であるが、カーソル１００４は、右側の人物１００６上へ移動する。
図１０（ｂ）において、アイコン１００２内に示される丸印１００７は、ユーザの指のダブルタップ操作を模式的に示している。図１０（ａ）でのアイコン１００２に対するフリック操作が行われた後に、図１０（ｂ）で示すようにユーザがアイコン１００２に対してダブルタップ操作を行ったとする。これにより、図１０（ａ）でのフリック操作によってカーソル１００４は人物１００６上へ移動しているため、人物１００６上でカーソル１００４が位置している領域が拡大表示される。こうして、図１０（ｂ）では、仮想オブジェクト６００として、人物１００６の上半身部１００８のみが表示された状態となる。
図１１は、アイコン１００２に対する操作による仮想オブジェクト６００の操作を可能とするために、スマートフォン１００及びスマートグラス１１０で実行される処理のフローチャートである。図１０のフローチャートにおいて、スマートグラス１１０についてＳ番号で示す各処理（ステップ）は、スマートグラス１１０のＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに展開してスマートグラス１１０の各部の動作を制御することにより実現される。また、スマートフォン１００についてＳ番号で示す各処理は、スマートフォン１００のＣＰＵが所定のプログラムを実行して、スマートフォン１００の各部の動作を制御することにより実現される。
スマートグラス１１０に設けられた操作部に対するユーザの操作によりスマートグラス１１０の電源がオンし、これにより、表示部２０４への仮想オブジェクトの表示が可能となって、本処理が開始される。なお、スマートグラス１１０での処理開始時には、スマートフォン１００の電源はオンの状態になっているものとする。また、Ｓ１１０１～Ｓ１１０５，Ｓ１１１１の処理は、図８のフローチャートのＳ８０１～８０５，Ｓ８１１の処理と同じであるため、説明を省略する。
Ｓ１１０５に続くＳ１１０６では制御ユニット２０２（ＣＰＵ）が、ユーザの操作によってアイコン表示要求を受け付けたか否かを判定する。なお、ここでのユーザの操作は、操作部に対する操作であってもよいし、撮像部２０３により撮像されたユーザのジェスチャーであってもよい。制御ユニット２０２は、アイコン表示要求を受け付けていないと判定した場合（Ｓ１１０６でＮＯ）、仮想オブジェクト６００の表示を、第１実施形態と同様にして、例えば、ユーザの操作によりスマートグラス１１０の電源がオフされるまで継続する。その間、スマートフォン１００の位置及び姿勢に関する情報の取得と仮想オブジェクト６００の表示（Ｓ１１０２～Ｓ１１０５）の処理が繰り返される。
制御ユニット２０２は、アイコン表示要求を受け付けたと判定した場合（Ｓ１１０６でＹＥＳ）、処理をＳ１１０７へ進める。Ｓ１１０７ではアイコン表示部９０１が、スマートフォン１００へアイコン表示要求を行う。スマートフォン１００のＣＰＵはＳ１１１２にて、Ｓ１１０７でのアイコン表示要求に対してアイコン表示を許可し、アイコン表示を許可した旨をアイコン表示部へ返す。そして、Ｓ１１１３にてスマートフォン１００のＣＰＵは、表示部１０１にアイコン１００２を表示する。これにより、ユーザによるアイコン１００２の操作が可能となる。
スマートグラス１１０では、Ｓ１１０７でのアイコン表示要求に対するアイコン表示許可の応答に応じて、Ｓ１１０８にて表示制御部９０２が、表示部２０４へ仮想オブジェクト６００を表示する。その際、図１０に示したように、カーソル１００４を仮想オブジェクト６００に重畳表示する。Ｓ１１０８の後の処理は、Ｓ１１０６の判定が‘ＮＯ’となった場合の処理と同じであるため、説明を省略する。
このように第２実施形態では、表示部２０４に表示される仮想オブジェクトを操作するためのアイコンをスマートフォン１００の表示部１０１に表示して、アイコンに対するユーザの操作によって仮想オブジェクトの操作を可能とする。これにより、仮想オブジェクトが表示されている表示部２０４に触れることなく、表示部２０４を通じて直視しているスマートフォン１００にて、仮想オブジェクトを直感的に操作することが可能となる。つまり、スマートフォン１００及び仮想オブジェクトの視認性を確保しながら、仮想オブジェクトを簡単に操作することが可能になる。
アイコン１００２の表示位置は表示部１０１の左下に限られるものではなく、アイコン１００２の大きさもユーザによる操作が容易である限りにおいて制限されない。また、表示部１０１に表示されるアイコンは、１つに限られるものではなく、複数のアイコン（例えば、所定の操作を行うための専用のアイコン）を表示するようにしてもよい。アイコン１００２に対して実行可能な操作は、フリック及びダブルタップに限定されるものではなく、また、これらが必須である必要もなく、シングルタップやスワイプ、ピンチイン、ピンチアウト等であってもよい。
＜第３実施形態＞
本発明の第３実施形態に係る表示システムは、第１実施形態に係る表示システムと比較すると、基本構成は同じであるが、スマートグラス１１０が備える制御ユニット２０２の構成が異なる。そこで、以下では、第３実施形態に係る表示システムの構成と制御について、制御ユニット２０２の構成とその機能を中心に説明する。なお、第３実施形態に係る表示システムの構成要素のうち、第１実施形態に係る表示システムの構成要素と実質的に同じものについては、同じ名称及び同じ符号を用いて、説明済みの事項については説明を省略する。
図１２は、第３実施形態に係る表示システムを構成するスマートグラス１１０の概略構成を示すブロック図である。スマートグラス１１０は、制御ユニット２０２、撮像部２０３及び表示部２０４を有する。制御ユニット２０２は、物体認識部１２０１、距離検出部３０１、位置検出部３０２、傾き検出部３０３及び表示制御部１２０２としての機能を備える。距離検出部３０１、位置検出部３０２及び傾き検出部３０３の機能は、第１実施形態での機能と同等であり、ここでの説明を省略する。
第３実施形態では、スマートフォン１００の電源はオフとなっており、スマートグラス１１０とのペアリングは行われない。一方で、物体認識部１２０１は、ユーザのスマートフォン１００に対するダブルタップ等の特定の操作を、撮像部２０３を通じて取得される画像から検出することによって、スマートフォン１００を認識する。
ここで、傾き検出部３０３により検出されたスマートフォン１００の縦回転方向の傾き、水平回転方向の傾き、回転軸方向の傾きがそれぞれ、予め設定された傾き閾値よりも大きくなる状況が生じることも予想される。その場合に表示制御部１２０２は、スマートフォン１００に接触させずに、傾き検出部３０３により検出された傾き情報を無効化して、表示部２０４に仮想オブジェクトを通常表示する。
仮想オブジェクトを通常表示するとは、スマートグラス１１０を装着したユーザの右目と左目を結ぶ線と、仮想オブジェクトの上辺又は下辺が略平行となる位置関係で、仮想オブジェクトを表示部２０４に表示することを指す。例えば、傾き検出部３０３により検出されたスマートフォン１００の回転軸方向の角度αが、予め設定された傾き閾値よりも大きい場合に、仮想オブジェクトを回転軸方向にベクトル回転させずに表示部２０４に表示する。なお、予め設定された傾き閾値は、スマートグラス１１０にデフォルト値として設定されている値であってもよいし、ユーザによる設定値であってもよい。
図１３は、表示制御部１２０２による仮想オブジェクト６００の表示例を示す図であり、スマートフォン１００の回転軸方向の傾きが６０度の状態が示されている。例えば、傾き閾値が３０度である場合に、スマートフォン１００の回転軸方向の傾きを２０度から６０度へ傾けていったとする。この場合、回転軸方向の傾きが２０度から３０度になるまでは、回転軸方向の傾きにしたがって仮想オブジェクト６００を回転軸方向にベクトル回転させる。そして、回転軸方向の傾きが３０度を超えると、仮想オブジェクト６００を更にベクトル回転させることなく、回転軸方向の傾きが３０度となっている状態での表示が維持される。よって、回転軸方向の傾きが３０度を超えて６０度に至る間は、仮想オブジェクト６００の表示は変化しない。
これにより、仮想オブジェクト６００の内容をユーザが認識し難い状態で仮想オブジェクト６００が表示部２４に表示されてしまうことを抑制することができる。なお、縦回転方向の傾きと横回転方向の傾きについても、それぞれに閾値（上辺と下辺の比の閾値、左辺と右辺の比の閾値）が設けられて、同様の表示制御が行われる。
図１４は、仮想オブジェクト６００の傾きを規制する表示制御を説明するフローチャートである。図１４のフローチャートにおいて、Ｓ番号で示す各処理（ステップ）は、スマートグラス１１０のＣＰＵがＲＯＭに格納された所定のプログラムをＲＡＭに展開してスマートグラス１１０の各部の動作を制御することにより実現される。
スマートグラス１１０に設けられた操作部に対するユーザの操作によりスマートグラス１１０の電源がオンし、これにより、表示部２０４への仮想オブジェクトの表示が可能となって、本処理が開始される。Ｓ１４０１では物体認識部１２０１が、スマートフォン１００を物体として認識する。Ｓ１１０２～Ｓ１１０４の処理は、図８のフローチャートのＳ８０２～８０４の処理と同じであるため、説明を省略する。
１４０５では表示制御部１２０２が、Ｓ１４０１で認識されたスマートフォン１００について検出された縦回転方向、横回転方向及び回転軸方向の各傾きが、各傾きに対して設定された傾き閾値よりも大きいか否かを判定する。
表示制御部１２０２は、検出された各傾きが対応する傾き閾値以下であると判定した場合（Ｓ１４０５でＮＯ）、処理をＳ１４０６へ進める。Ｓ１４０６及びそれ以降の処理は、図８のフローチャートのＳ８０５以降の処理と同じであり、ここでの説明を省略する。一方、表示制御部１２０２は、検出された各傾きに対応する傾き閾値より大きいものがあると判定した場合（Ｓ１４０５でＹＥＳ）、処理をＳ１４０７へ進める。Ｓ１４０７では表示制御部１２０２が、傾き閾値を超えたと判定された傾きの情報をキャンセルして（無効として）、仮想オブジェクト６００を表示部２０４に表示する。Ｓ１４０７の後の処理は、Ｓ１４０６の後の処理と同じであり、説明を省略する。
このように第３実施形態では、ペアリングされていないスマートフォン１００を認識し、認識されたスマートフォン１００に対して検出された傾きが傾き閾値よりも大きい場合には、検出された傾きを無効と判定する。これにより、表示部２０４を通して視認されるスマートフォン１００の操作によって仮想オブジェクトの表示態様を制御することができ。その際に仮想オブジェクトを常にユーザがその内容を認識しやすい状態で表示部２０４に表示させることができる。
なお、第３実施形態での仮想オブジェクトの変形規制は、第１実施形態の構成のようにスマートフォン１００とスマートグラス１１０がペアリングされた状態での仮想オブジェクトの表示制御にも適用可能である。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
例えば、上記実施形態では、表示装置として光学透過型（光学シースルー型）のＨＭＤの一例であるスマートグラス１１０を取り上げたが、これに代えて、ビデオシースルー型のＨＭＤを用いてもよい。ビデオシースルー型のＨＭＤにおいて一般的な眼鏡のレンズに相当する表示部は透明ではない。そのため、ビデオシースルー型のＨＭＤを用いる場合にはその表示部に、撮像部で撮像した現実の画像に仮想オブジェクトの画像を重畳した表示画像を、ユーザが視認可能なように表示する。
また、上記実施形態では、撮像部２０３が撮像した撮像画像からのスマートフォン１００の検出をスマートグラス１１０の制御ユニット２０２によって行っていたが、その検出を、スマートフォン１００の制御ユニット３１２によって行うようにしてもよい。つまり、スマートフォン１００が、撮像部２０３により撮像された撮像画像（の画像データ）を無線通信部３１１で受信して制御ユニット３１２がその検出を行い、無線通信部３１１から検出結果をスマートグラス１１０へ送信するようにしてもよい。この手法は、スマートフォン１００の制御ユニット３１２の処理能力がスマートグラス１１０の制御ユニット２０２の処理能力よりも優れている場合に有用である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００ スマートフォン
１１０ スマートグラス
１２０ 無線通信経路
２０２ 制御ユニット
２０３ 撮像部
２０４ 表示部
３０１ 距離検出部
３０２ 位置検出部
３０３ 傾き検出部
３０４，９０２，１２０２ 表示制御部
９０１ アイコン表示部
１２０１ 物体認識部

Claims (17)

  1. 情報処理装置と、
    前記情報処理装置と通信可能であり、撮像手段を有する頭部装着型の表示装置と、を備える表示システムであって、
    前記撮像手段により撮像された画像から前記情報処理装置の情報を検出する検出手段を有し、
    前記表示装置は、
    仮想オブジェクトの表示が可能な表示部と、
    前記情報に基づいて前記情報処理装置に隣接させ又は一部を重畳させて前記仮想オブジェクトを前記表示部に表示する表示制御手段と、を有することを特徴とする表示システム。
  2. 前記表示装置が前記検出手段を有することを特徴とする請求項１に記載の表示システム。
  3. 前記検出手段は、
    前記表示装置から前記情報処理装置までの距離情報を検出する距離検出手段と、
    前記表示装置に対する前記情報処理装置の位置情報を検出する位置検出手段と、
    前記情報処理装置の傾き情報を検出する傾き検出手段と、を有することを特徴とする請求項１又は２に記載の表示システム。
  4. 前記距離検出手段は、前記表示装置から前記情報処理装置までの距離情報を前記撮像手段により撮像された画像から検出し、
    前記位置検出手段は、前記表示装置に対する前記情報処理装置の位置を前記画像から検出し、
    前記傾き検出手段は、前記情報処理装置の傾き情報を前記画像から検出することを特徴とする請求項３に記載の表示システム。
  5. 前記距離検出手段は、前記情報処理装置が検出した前記情報処理装置から前記表示装置までの距離情報を通信により前記情報処理装置から取得し、
    前記位置検出手段は、前記情報処理装置が検出した前記表示装置に対する前記情報処理装置の位置情報を通信により前記情報処理装置から取得し、
    前記傾き検出部は、前記情報処理装置が検出した前記情報処理装置の傾き情報を通信により前記情報処理装置から取得することを特徴とする請求項３に記載の表示システム。
  6. 前記表示制御手段は、前記情報処理装置の傾きが所定の閾値よりも大きい場合に、前記傾き情報をキャンセルして前記仮想オブジェクトを前記表示部に表示することを特徴とする請求項３乃至５のいずれか１項に記載の表示システム。
  7. 前記表示制御手段は、前記情報の変化に追従させて、前記仮想オブジェクトを前記情報処理装置に隣接させ又は一部を重畳させて表示し続けることを特徴とする請求項１乃至６のいずれか１項に記載の表示システム。
  8. 前記情報処理装置は、所定の方向から見た場合に略四角形の形状を有し、
    前記表示制御手段は、前記情報に基づき、前記仮想オブジェクトの上辺と下辺との比および左辺と右辺との比がそれぞれ前記情報処理装置の上辺と下辺との比および左辺と右辺との比と同等となるように、前記仮想オブジェクトを変形させて前記表示部に表示することを特徴とする請求項１乃至７のいずれか１項に記載の表示システム。
  9. 前記情報処理装置は、前記仮想オブジェクトに対する操作を行うためのアイコンを表示する表示手段を有し、
    前記表示制御手段は、前記情報処理装置から受信した前記アイコンに対する操作を表す信号にしたがって前記仮想オブジェクトの表示を制御することを特徴とする請求項１乃至８のいずれか１項に記載の表示システム。
  10. 前記表示装置は、前記表示装置と前記情報処理装置とを通信可能に接続することができず、且つ、前記情報処理装置に対して特定のジェスチャーが行われたことを前記撮像手段により撮像した画像から検出した場合、前記ジェスチャーが行われた情報処理装置を前記仮想オブジェクトを隣接させ又は一部を重畳させる情報処理装置として特定する物体認識手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の表示システム。
  11. 情報処理装置と、
    前記情報処理装置と通信可能であり、撮像手段を有する頭部装着型の表示装置と、を有する表示システムの制御方法であって、
    前記撮像手段により撮像された画像から前記情報処理装置の情報を検出するステップと、
    前記情報に基づいて前記情報処理装置に隣接させ又は一部を重畳させて前記表示装置の表示部に仮想オブジェクトを表示するステップと、を有することを特徴とする表示システムの制御方法。
  12. 前記表示装置が、前記仮想オブジェクトを操作するためのアイコンを前記情報処理装置の表示手段に表示するように、前記情報処理装置に要求するステップと、
    前記情報処理装置が、前記要求に対して前記情報処理装置の表示手段に前記アイコンを表示することを通知して、前記アイコンを前記表示手段に表示するステップと、を有し、
    前記表示装置において前記表示部に前記仮想オブジェクトを表示するステップでは、前記情報処理装置から受信した前記アイコンに対する操作を表す信号にしたがって前記仮想オブジェクトの表示が制御されることを特徴とする請求項１１に記載の表示システムの制御方法。
  13. 無線通信により情報処理装置と通信可能な頭部装着型の表示装置であって、
    撮像手段と、
    仮想オブジェクトの表示が可能な表示部と、
    前記撮像手段により撮像された画像から検出された前記情報処理装置の情報に基づいて前記情報処理装置に隣接させ又は一部を重畳させて前記仮想オブジェクトを前記表示部に表示する表示制御手段と、を有することを特徴とする表示装置。
  14. 前記情報を検出する検出手段を有し、
    前記検出手段は、
    前記表示装置から前記情報処理装置までの距離情報を検出する距離検出手段と、
    前記表示装置に対する前記情報処理装置の位置情報を検出する位置検出手段と、
    前記情報処理装置の傾き情報を検出する傾き検出手段と、を有することを特徴とする請求項１３に記載の表示装置。
  15. 前記仮想オブジェクトを操作するためのアイコンを前記情報処理装置の表示手段に表示するように通信により要求する要求手段を有し、
    前記表示制御手段は、前記情報処理装置から受信した前記アイコンに対する操作を表す信号にしたがって前記仮想オブジェクトの表示を制御することを特徴とする請求項１３又は１４に記載の表示装置。
  16. 撮像手段を有する頭部装着型の表示装置の制御方法であって、
    情報処理装置との通信を確立するステップと、
    前記撮像手段により撮像された画像から検出された前記情報処理装置の情報に基づいて、仮想オブジェクトを前記情報処理装置に隣接させ又は一部を重畳させて表示するステップと、を有することを特徴とする表示装置の制御方法。
  17. コンピュータを請求項１３乃至１５のいずれか１項に記載の表示装置の各手段として機能させることを特徴とするプログラム。
JP2021015070A 2021-02-02 2021-02-02 表示システム、表示装置とその制御方法及びプログラム Pending JP2022118501A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021015070A JP2022118501A (ja) 2021-02-02 2021-02-02 表示システム、表示装置とその制御方法及びプログラム
US17/575,752 US11842119B2 (en) 2021-02-02 2022-01-14 Display system that displays virtual object, display device and method of controlling same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021015070A JP2022118501A (ja) 2021-02-02 2021-02-02 表示システム、表示装置とその制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022118501A true JP2022118501A (ja) 2022-08-15
JP2022118501A5 JP2022118501A5 (ja) 2024-02-09

Family

ID=82611439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021015070A Pending JP2022118501A (ja) 2021-02-02 2021-02-02 表示システム、表示装置とその制御方法及びプログラム

Country Status (2)

Country Link
US (1) US11842119B2 (ja)
JP (1) JP2022118501A (ja)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124250A1 (ja) * 2011-03-15 2012-09-20 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6225546B2 (ja) 2013-08-02 2017-11-08 セイコーエプソン株式会社 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
JP6518582B2 (ja) * 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP2017146651A (ja) 2016-02-15 2017-08-24 株式会社コロプラ 画像処理方法及び画像処理プログラム
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
JP6816492B2 (ja) * 2016-12-14 2021-01-20 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN114556441A (zh) * 2019-10-21 2022-05-27 索尼集团公司 信息处理装置、信息处理系统、信息处理方法和程序

Also Published As

Publication number Publication date
US20220244899A1 (en) 2022-08-04
US11842119B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
KR102417968B1 (ko) 시선-기반 사용자 상호작용
US11235871B2 (en) Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight
US10591729B2 (en) Wearable device
JP6551502B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
US10416835B2 (en) Three-dimensional user interface for head-mountable display
EP3144775B1 (en) Information processing system and information processing method
JP5696908B2 (ja) 操作表示システム
US10642348B2 (en) Display device and image display method
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US11487354B2 (en) Information processing apparatus, information processing method, and program
US20150199111A1 (en) Gui system, display processing device, and input processing device
JP6339887B2 (ja) 画像表示装置
JP6399692B2 (ja) ヘッドマウントディスプレイ、画像表示方法及びプログラム
JPWO2017051564A1 (ja) 情報処理装置
JP2022188192A (ja) 頭部装着型ディスプレイ装置、頭部装着型ディスプレイ装置の制御方法
US20170139567A1 (en) Entering Unlock Sequences Using Head Movements
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
JP6549066B2 (ja) 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム
JP6610022B2 (ja) 画像表示システム、画像表示装置、頭部装着型表示装置及びプログラム
JP6792721B2 (ja) 電子機器、プログラム、制御装置および制御方法
CN110494915B (zh) 电子装置及其控制方法和计算机可读介质
JP2022118501A (ja) 表示システム、表示装置とその制御方法及びプログラム
US20220197580A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
KR101831510B1 (ko) 투명 디스플레이 장치 및 그것의 양면 디스플레이 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240201