JP2019512120A - 装置および関連する方法 - Google Patents

装置および関連する方法 Download PDF

Info

Publication number
JP2019512120A
JP2019512120A JP2018540710A JP2018540710A JP2019512120A JP 2019512120 A JP2019512120 A JP 2019512120A JP 2018540710 A JP2018540710 A JP 2018540710A JP 2018540710 A JP2018540710 A JP 2018540710A JP 2019512120 A JP2019512120 A JP 2019512120A
Authority
JP
Japan
Prior art keywords
user
augmented reality
graphic
virtual reality
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018540710A
Other languages
English (en)
Other versions
JP6633220B2 (ja
Inventor
ユッシ レッパネン
ユッシ レッパネン
アンッティ エロネン
アンッティ エロネン
アルト レフティニエミ
アルト レフティニエミ
Original Assignee
ノキア テクノロジーズ オーユー
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー, ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2019512120A publication Critical patent/JP2019512120A/ja
Application granted granted Critical
Publication of JP6633220B2 publication Critical patent/JP6633220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/12Panospheric to cylindrical image transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)

Abstract

好適な実施形態は、第1のユーザによる視認のために提供される仮想現実空間と、第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供する。前記拡張現実グラフィックは、第1のユーザに提供される仮想現実空間の少なくとも一部のイメージを備えるが、このイメージは、拡張現実ビューにおいて、第1のユーザを少なくとも部分的に囲むように第1のユーザの物理的な位置に対応するポジションにて表示される。それによって第2のユーザは、第1のユーザにより体験される仮想現実空間の少なくとも一部を見ることができる。【選択図】図3

Description

本開示は、拡張現実の分野に関し、特に、仮想現実装置により提示されるコンテンツを、拡張現実装置を使用して視認および制御することに関する。関連する方法、コンピュータプログラム、および装置も開示される。開示される一部の側面/例は、携帯可能な電子デバイス、特に仮想現実ヘッドセット/グラス、拡張現実グラス(両眼または単眼)、(使用中にクレードルに設置することもできるが)使用中に手で持つことができる、いわゆる持ち運び可能な電子デバイスに関する。そのような持ち運び可能な電子デバイスには、いわゆる携帯情報端末(PDA:Personal Digital Assistant)、モバイル電話、スマートフォン、ならびにその他スマートデバイス、スマートウォッチ、およびタブレットPCが含まれる。
開示される1つ以上の側面/実施形態による携帯可能な電子デバイス/装置は、1つ以上のオーディオ/テキスト/ビデオ/データ通信機能(例えば電気通信、ビデオ通信、および/またはテキスト送信(ショートメッセージサービス(SMS:Short Message Service)/マルチメディアメッセージサービス(MMS:Multimedia Message Service)/電子メール)機能)、インタラクティブ/非インタラクティブ閲覧機能(例えばウェブブラウジング、ナビゲーション、TV/プログラム閲覧機能)、音楽録音/再生機能(例えばMP3またはその他形式および/または(FM/AM)無線ブロードキャスト録音/再生)、データのダウンロード/送信機能、イメージ捕捉機能(例えば(組み込みなどの)デジタルカメラを使用)、およびゲーム機能を提供してもよい。
背景
仮想現実は、グラスもしくはゴーグルなどのヘッドセットまたはユーザを囲む1つ以上のディスプレイを使用してユーザに没入型仮想体験を提供することもある。仮想現実装置は、仮想現実空間を表すマルチメディアコンテンツをユーザに提示して、ユーザが仮想現実空間の中に存在するのをシミュレートすることもある。仮想現実空間は、広視野または360°の視野(または水平方向の視野の上方および/または下方などそれ以上)を有するビデオなどのパノラマ式ビデオにより提供されることもある。拡張現実も、グラスまたはゴーグルまたは仮想網膜ディスプレイなどのヘッドセットを使用して、ヘッドセットを通して見える実世界のビューを、コンピュータ生成されたコンテンツを用いて拡張することもある。したがって、拡張現実のユーザは、その周りの実世界環境を視認することができることもある。実世界環境は、ユーザの実世界のビューの上に重ねられてもよい、拡張現実装置により提供されるコンテンツを用いて拡張または補足される。
本明細書における以前に公開された文書または任意の背景の列挙または説明は、必ずしも、その文書または背景が最新技術の一部であることまたは一般知識であることの承認と理解されるものではない。本開示の1つ以上の側面/例は、背景の課題の1つ以上に対処することもしないこともある。
摘要
第1の例示の側面において提供される装置は、第1のユーザによる視認のために提供される仮想現実空間と、第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供する。前記拡張現実グラフィックは、第1のユーザに提供される仮想現実空間の少なくとも一部のイメージを備え、イメージは、拡張現実ビューにおいて、第1のユーザを少なくとも部分的に囲むように第1のユーザの物理的な位置に対応するポジションにて表示され、それにより、第2のユーザは、第1のユーザにより体験される仮想現実空間の少なくとも一部を見ることができる。
別のユーザにより視認され前記ユーザを囲む仮想現実空間を示す拡張現実ビューにおける拡張現実グラフィックの提供は、直感的なユーザインターフェースを提供するのに有利であろう。
前記拡張現実グラフィックは、
仮想現実空間の少なくとも一部の円筒形の投写と、
仮想現実空間において第1のユーザの現在の位置から視認される仮想現実空間の表現と、
仮想現実空間において現時点で視認される仮想現実空間の表現と、
仮想現実空間のパノラマと、
仮想現実空間の少なくとも180°のパノラマと、
仮想現実空間のほぼ360°のパノラマと、
半透明の拡張現実グラフィックと、
のうちの1つ以上を備えてもよい。
したがって、前記装置は、適切な拡張現実グラフィックのレンダリングのために拡張現実装置にシグナリングを提供できるように、第1のユーザによる視認のために何が提供されているかを示すシグナリングを仮想現実装置から受信しうる。
第2の拡張現実グラフィックが、第2のユーザに対する拡張現実表示のために、かつ第2のユーザによる選択のために提供されてもよく、第2の拡張現実グラフィックは、ユーザ選択されると第1のユーザに提供される、第1のユーザにより現在視認されていない第2の仮想現実空間の少なくとも一部のイメージを備えてもよい。
第2の拡張現実グラフィックは、上記の特徴のうちの1つ以上を拡張現実グラフィックと共通して有してもよい。第2の拡張現実グラフィックは、ストリップ体として、例えば拡張現実ビューにおいて第1のユーザを囲む形状などで、拡張現実ビューにおいて表示されてもよい。
第2の拡張現実グラフィックは、拡張現実ビューにおいて第1のユーザの物理的な位置に配置されて拡張現実グラフィックから間隔を空けた表示のために提供されてもよく、拡張現実ビューにおいて第2の拡張現実グラフィックは、第1のユーザから延びる軸を少なくとも部分的に囲むように表示されてもよい。拡張現実グラフィックおよび第2の拡張現実グラフィックは、第2のユーザから見て第1のユーザからほぼ上向きに延びるスタックとして表示されてもよい。
第2のユーザにより第2の拡張現実グラフィックが選択されると、それに関連する第2の仮想現実空間の仮想現実表示が第1のユーザに対して提供されてもよい。
第2の拡張現実グラフィックの選択は、第2のユーザの自由空間ユーザジェスチャまたはユーザインターフェースを介して提供される入力を含んでもよい。第2の拡張現実グラフィックの選択は、スマートフォン、コンピュータ、タッチインターフェース、または自由空間ユーザジェスチャを介して装置にシグナリングを提供することを含んでもよい。
第2の拡張現実グラフィックは、拡張現実ビューにおいて拡張現実グラフィックの上方に表示するために提供されてもよく、第2の拡張現実グラフィックまたはそれに関連する第2の仮想現実空間の選択は、第2の拡張現実グラフィックを、拡張現実ビューにおいて第1のユーザを囲むポジションに移動させることによるフィードバックを提供することを含んでもよい。
前記装置は、第2の拡張現実グラフィックのユーザによる却下を提供してもよく、それにより、第2の拡張現実グラフィックに関連する第2の仮想現実空間の仮想現実表示は、第1のユーザに提供されなくてもよい。ユーザによる却下は、複数の拡張現実グラフィック候補からの拡張現実グラフィック候補の却下を含んでもよく、各拡張現実グラフィック候補は、第1のユーザに表示されることが可能な仮想現実空間候補を表現する。
ユーザによる却下がされると、さらなる仮想現実空間を表すさらなる拡張現実グラフィック候補が、却下された第2の拡張現実グラフィックの代わりに拡張現実ビューにおける選択および表示のために提供されてもよい。したがって、拡張現実グラフィック候補がスタックとして提示されている場合、ユーザによる却下があると、スタックまたはその拡張現実グラフィックの残りが再配置されてもよい。
第2の拡張現実グラフィックは、拡張現実ビューにおいて拡張現実グラフィックの上方に表示するために提供されてもよく、第2の拡張現実グラフィックまたはそれに関連する第2の仮想現実空間のユーザによる却下は、第2の拡張現実グラフィックを、拡張現実ビューにおいて第1のユーザの横の方または上の方のポジションに移動させることによるフィードバックを提供することを含んでもよい。フィードバックは、ユーザによる却下の入力が受信された後、またはスワイプなどユーザの却下を示す自由空間ユーザジェスチャの間に提供されてもよい。
さらなる拡張現実グラフィックが、第2のユーザに対する表示のために、かつ第2のユーザによる選択のために提供されてもよく、さらなる拡張現実グラフィックは、ユーザ選択されると第1のユーザに提供される、第1のユーザにより現在視認されていないさらなる仮想現実空間の少なくとも一部のイメージビューを備えてもよい。複数のさらなる拡張現実グラフィックが提供されてもよい。
少なくとも第2の拡張現実グラフィックは、拡張現実ビューにおいて第2のユーザにより操作可能であってもよく、それにより、第2のユーザの回転入力に応答して第2の拡張現実グラフィックが回転され、第2のユーザにより第2の拡張現実グラフィックが選択されると、第2の拡張現実グラフィックに関連する第2の仮想現実空間が、初期の視野が第2のユーザの回転入力に基づいた状態で、第1のユーザに対する仮想現実表示のために提供されてもよい。さらなる拡張現実グラフィックはそれぞれ、第2の拡張現実グラフィックに関係して規定されたように操作可能であってもよい。少なくとも第2の拡張現実グラフィックは、拡張現実ビューにおいて第2のユーザにより操作可能であってもよく、それにより、第2のユーザの並進入力に応答して、第2の拡張現実グラフィックにより表現される第2の仮想現実空間における仮想のポジションが変更され、第2のユーザにより第2の拡張現実グラフィックが選択されると、第2の拡張現実グラフィックに関連する第2の仮想現実空間が、初期の視点が第2のユーザの並進入力に基づいた状態で、第1のユーザに対する仮想現実表示のために提供されてもよい。
装置は、スマートフォン、コンピュータ、ラップトップ、頭部装着型拡張現実装置、眼部装着型拡張現実装置、網膜プロジェクタベースの拡張現実装置、および眼内拡張現実装置、または同の1つ以上のためのモジュール/回路、または拡張現実装置および仮想現実装置の組み合わせを備えたシステムのうちの1つ以上であってもよい。
拡張現実ビューは、周りの実世界のカメラ画像を備える、仮想現実においてシミュレートされた拡張現実ビューを備えてもよい。したがって、拡張現実グラフィックは、周りの実世界のカメラ画像の上に重ねられてもよい。
さらなる側面において、第1のユーザによる視認のために提供される仮想現実空間と、第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供することを含む方法が提供される。ここで前記拡張現実グラフィックは、第1のユーザに提供される仮想現実空間の少なくとも一部のイメージを備え、イメージは、拡張現実ビューにおいて、第1のユーザを少なくとも部分的に囲むように第1のユーザの物理的な位置に対応するポジションにて表示され、それにより、第2のユーザは、第1のユーザにより体験される仮想現実空間の少なくとも一部を見ることができる。
さらなる側面において、次のようなコンピュータプログラムが提供される。このコンピュータプログラムは、装置の処理手段に実行されると、前記装置に、第1のユーザによる視認のために提供される仮想現実空間と、第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供することを遂行させるように構成される。ここで前記拡張現実グラフィックは、第1のユーザに提供される仮想現実空間の少なくとも一部のイメージを備え、イメージは、拡張現実ビューにおいて、第1のユーザを少なくとも部分的に囲むように第1のユーザの物理的な位置に対応するポジションにて表示され、それにより、第2のユーザは、第1のユーザにより体験される仮想現実空間の少なくとも一部を見ることができる。
さらなる側面において、第1のユーザによる視認のために提供される仮想現実空間と、第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供するよう構成された手段を備える装置が提供される。前記拡張現実グラフィックは、第1のユーザに提供される仮想現実空間の少なくとも一部のイメージを備え、イメージは、拡張現実ビューにおいて、第1のユーザを少なくとも部分的に囲むように第1のユーザの物理的な位置に対応するポジションにて表示され、それにより、第2のユーザは、第1のユーザにより体験される仮想現実空間の少なくとも一部を見ることができる。
本開示は、1つ以上の対応する側面、例、または特徴を、単独でまたは様々な組み合わせで含み、これは、その組み合わせまたは単独で特に記載(特許請求を含む)されたか否かにかかわらない。説明した機能の1つ以上を実行する対応する手段および対応する機能的ユニット(例えば機能イネーブラ、オブジェクトクリエータ、表示レンダラ、ユーザ入力受信器)も本開示の範囲内にある。
開示された方法の1つ以上を実装する対応するコンピュータプログラムも本開示の範囲内にあり、記載された例のうちの1つ以上に含まれる。
上記の概要は、非限定的な単なる例示として意図されている。
以下、単なる例として、添付の図面を参照しながら説明を行う。
本開示の一実施形態による、サーバ、コンテンツストレージ、仮想現実グラス、および拡張現実グラスを含むいくつかの電子コンポーネントを備えたシステムの一部としての例示の装置の実施形態を示す。 例示の仮想現実ビューを示す。 例示の拡張現実ビューを示す。 仮想現実において視認される現在の仮想現実空間および可能な仮想現実空間を示す例示の拡張現実ビューを示す。 ユーザによる選択、および現在の仮想現実ビューの仮想現実ビュー候補への変更を示す例示の拡張現実ビューを示す。 可能な仮想現実空間の向きを示す例示の拡張現実ビューを示す。 可能な仮想現実空間の却下を示す例示の拡張現実ビューを示す。 複数の仮想現実ユーザを示す例示の拡張現実ビューを示す。 本開示の方法によるフローチャートを示す。 プログラムを提供するコンピュータ可読媒体を概略的に示す。
実施例の説明
仮想現実は、グラスもしくはゴーグルなどのヘッドセット、またはユーザを囲む1つ以上のディスプレイを使用してユーザに没入型仮想体験を提供することもある。仮想現実装置は、仮想現実空間または仮想現実世界を表すマルチメディアコンテンツをユーザに提示して、ユーザが仮想現実空間の中に存在するのをシミュレートすることもある。仮想現実空間は、実世界環境を複製してユーザが実世界の位置に物理的に存在するのをシミュレートしてもよく、または仮想現実空間はコンピュータ生成されたものでもよく、またはコンピュータ生成および実世界のマルチメディアコンテンツの組み合わせであってもよい。仮想現実空間は、広視野または360°の視野(または水平方向の視野の上方および/または下方などそれ以上)を有するビデオなどのパノラマ式ビデオにより提供されることもある。仮想現実装置は、ユーザが仮想的に動き回ることなどによる仮想現実空間の探検をもたらすこともあり、仮想現実空間における仮想オブジェクトとのユーザのやり取りを提供することもある。したがって、ユーザに提供されるコンテンツは、人工もしくは架空のもので、コンピュータにおいて作成されてもよく、または例えばパノラマ式ビデオ捕捉デバイスもしくはテレプレゼンスデバイスにより捕捉された実世界の生もしくは録画のイメージを備えてもよい。プレゼンス捕捉デバイスの例は、Nokia Technologies OyのNokia OZOである。仮想現実空間は、2次元コンテンツまたは立体表示などによる仮想の3次元コンテンツを備えてもよい。仮想現実空間は、360°の視野を提供してもよく、ユーザの頭または眼の動きに基づく前記視野の左右への動きを提供してもよい。仮想現実のユーザのビューは、ヘッドセットのディスプレイを介して仮想現実装置により前記ユーザに提供されてもよい。
拡張現実も、グラスまたはゴーグルまたは仮想網膜ディスプレイなどのヘッドセットを使用して、ヘッドセットを通して見える実世界のビューを、コンピュータ生成されたコンテンツを用いて拡張することがある。したがって、拡張現実のユーザは、その周りの実世界環境を視認することができることもある。実世界環境は、ユーザの実世界のビューの上に重ねられてもよい、拡張現実装置により提供されるコンテンツを用いて拡張または補足される。コンテンツは、特に、ピクチャ、写真、ビデオ、図、テキスト情報、聴覚コンテンツなどのマルチメディアコンテンツを備えてもよい。したがって、拡張現実は、コンピュータ生成されたグラフィックおよびコンテンツを追加された実世界の直接の視認を提供することもあるが、これに対して仮想現実のユーザは、実世界を直接視認することはほぼなく、仮想現実装置のディスプレイに提示されるコンテンツしか見ることができないこともある。
拡張現実は、他者により視認される仮想現実コンテンツを制御する便利な手法を提供できるということが分かった。要するに、第1のユーザは、仮想現実装置を使用して仮想現実空間の仮想現実コンテンツを視認してもよく、第2のユーザは、実世界における第1のユーザを物理的に見ることができ、拡張現実装置を使用して、第1のユーザにより視認される仮想現実コンテンツを視認および制御してもよい。これは、拡張現実を使用して別の1人以上のユーザの仮想現実体験を制御するのは直感的かつ効率的と思われるので、有利である。
図1は、拡張現実装置を使用して仮想現実装置の制御を提供するよう構成された装置100を示す。本例では、メモリおよびプロセッサを備えてもよいコンピュータサーバ100によって装置が提供される。サーバ100は本例では、仮想現実(VR:virtual reality)グラス101および仮想現実コンテンツストア102と共同して仮想現実装置の機能性の少なくとも一部を提供する。サーバ100は本例では、拡張現実(AR:augmented reality)グラス103およびモーショントラッカー104と共同して拡張現実装置の機能性の少なくとも一部を提供する。
したがって、本例では、1つの装置、つまりサーバ100が、仮想現実(VR)装置、拡張現実(AR)装置、および拡張現実装置を使用して仮想現実装置を制御する装置の機能性を提供するが、それらは図1ではそれぞれ100a、100b、および100cとして機能的に別々に示されている。なお、当然のことながらこれらの装置は、物理的に別々であってもよく、または異なる形でグループ化されてもよい。
本実施形態において、上述したサーバ100または各装置100a、100b、100cは、1つのプロセッサおよび1つのメモリしか有しなくてもよいが、当然のことながら他の実施形態は、2つ以上のプロセッサおよび/または2つ以上のメモリ(例えば同じまたは異なるプロセッサ/メモリタイプ)を利用してもよい。さらに装置(単数または複数)100a、100b、100cは、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)であってもよい。
プロセッサは、メモリ上のコンピュータプログラムコードの形態で記憶された命令に従って、コンテンツストア102およびモーショントラッカー104などの他のコンポーネントから受信される情報の実行/処理のみを行う汎用プロセッサであってもよい。プロセッサのかかる動作により生成された出力シグナリングは、101、103、および102などその先のさらなるコンポーネントに提供される。
メモリ(必ずしも単一のメモリユニットとは限らない)は、コンピュータプログラムコードを記憶するコンピュータ可読媒体(本例ではソリッドステートメモリであるが、ハードドライブ、ROM、RAM、フラッシュ、または同様のものなどの他のタイプのメモリであってもよい)である。このコンピュータプログラムコードは、プログラムコードがプロセッサ上で実行されるとプロセッサにより実行可能な命令を格納する。メモリとプロセッサとの内部接続は、1つ以上の例示の実施形態において、プロセッサとメモリとのアクティブな結合を提供してプロセッサがメモリに記憶されたコンピュータプログラムコードにアクセスできるようにするものと理解することができる。
本例では、プロセッサおよびメモリはすべて、内部で相互に電気的に接続され、個々のコンポーネント間の電気通信が可能である。本例では、ASICとしてともに構成されるように、言い換えれば電子デバイスにインストール可能な単一のチップ/回路としてともに集積されるように、コンポーネントはすべて相互に近接して位置する。他の例では、コンポーネントの1つ以上または全部が相互に別々に位置してもよい。
図2は、仮想現実ヘッドセット202を着用している第1のユーザ201により現在視認されている仮想現実空間200の概略表現を示す。仮想現実空間は、第1のユーザ201を囲む球として示されており、ヘッドセット202を通して第1のユーザが見ることができるものがすべて仮想現実装置100aにより提供されるという点で、仮想現実の没入型の性質を表現する。仮想現実空間200は、第1のユーザ201に対して表示するためにコンテンツストア102からなどマルチメディアコンテンツから生成される、デジタル空間またはデジタル世界を含むと理解されてもよい。
第1のユーザ201は、仮想現実空間200を仮想的に探検、すなわち仮想的に動き回ってもよい。第1のユーザ201は、コントローラ(図示せず)を使用して、または仮想現実装置100aもしくはそのコンポーネントにより検出される物理的な動きにより、仮想的に動き回ってもよい。さらに仮想現実ヘッドセット202は、加速度計など、向きまたは動きセンサを含んでもよく、その結果、第1のユーザが頭を動かすと、VR装置100aにより提供される仮想現実ビューがそれに応じて動かされる。
したがって、第1のユーザ201には、仮想現実空間200におけるユーザの仮想位置、および第1のユーザが見ている方向(ヘッドセット202の物理的な向きなどから得られる)のうちの1つ以上に基づく仮想現実空間200の仮想現実ビューが提供されてもよい。
第2のユーザ203が拡張現実ヘッドセット204を着用しているのが示されている。拡張現実ヘッドセットには、第2のユーザ203が見る実世界のビューに重ねられる、拡張現実装置100bからの1つ以上の拡張現実グラフィックが提供される。第2のユーザ203は、拡張現実ヘッドセット204を通して第1のユーザ201を物理的に見ることができる。したがって、拡張現実ヘッドセット204では第2のユーザ203が直接自分の周りの実世界を見ることができるのに対し、第1のユーザ201は仮想現実ヘッドセット202のディスプレイを介して提供されるものしか見ることができないという点で、拡張現実ヘッドセット204は仮想現実ヘッドセット202と異なる。当然のことながら、球は第1のユーザ201が視認しているものを表すので、第2のユーザ203に仮想現実空間200(球)は見えない。1つ以上の他の例では、第2のユーザ203は、仮想現実ヘッドセットの1つ以上のディスプレイを介して、第2のユーザの周りの実世界の(仮想現実ヘッドセットに関連するカメラなどからの)ビューを拡張現実グラフィックとともに示すよう構成された、仮想現実ヘッドセットを使用する。要するに本例では、仮想現実ヘッドセットが、拡張現実ヘッドセットを「シミュレート」するために使用されることが分かる。それでもやはり、拡張現実ヘッドセットを使用するときと同様に、拡張現実グラフィックが実世界のカメラ画像の上に重ねられてもよい。したがって、装置は、第1のユーザとは別の第2のユーザを囲む実世界の仮想現実ビューにおいて、このユーザにより視認される拡張現実グラフィックの表示を(仮想現実の中で)提供すると理解されてもよい。
拡張現実ヘッドセット204は、モーショントラッカー104およびAR装置100bと協働して、拡張現実の機能性を提供する。要約すれば、拡張現実装置100bは、拡張現実グラフィックが所望のポジションにて第2のユーザのビューに重ねられることが可能なように、第2のユーザ203がどこ(または一部の例では何)を見ているかを認識する必要があるかもしれない。モーショントラッカー104は、様々なセンサから得られてもよい、第1および/または第2のユーザ201、203のポジション、および/または第1のユーザが見ているポジションを表すシグナリングを機能上提供してもよい。拡張現実装置100bは、例えば第1のユーザ201を自動的に認識するために、イメージ検出およびオブジェクト認識機能性を含んでもよい。
図3は、第2のユーザ203の拡張現実ビューの表現を示す。ARビューは、実世界で視認されるとおりの第1のユーザ201、および拡張現実グラフィック300を備える。拡張現実グラフィック300は、第1のユーザ201の物理的な位置に関連するように表示される。拡張現実グラフィック300は、第1のユーザ201により現在体験されている上述の仮想現実空間200の表現を備える。グラフィック300は、仮想現実空間200の少なくとも一部の静止画または動画を備える。
第2のユーザ203が第1のユーザ201により体験される仮想現実空間200の少なくとも一部を見ることができるように、拡張現実グラフィック300は、第1のユーザ201を少なくとも部分的に囲むように表示され、拡張現実ビューにおける第1のユーザ201の物理的な位置に配置される。当然のことながら、図3は第2のユーザの視点からではない拡張現実ビューを図示するが、これは説明を目的としたものであり、第1のユーザ201および拡張現実グラフィック300のビューは拡張現実ヘッドセット204を通して第2のユーザ203に提示される。
本例では、拡張現実グラフィック300は円筒形のストリップ体を備える。円筒形のストリップ体は、仮想現実空間200のパノラマなど、仮想現実空間200の少なくとも一部の円筒形の投写を含んでもよい。拡張現実グラフィック300は、第1のユーザをほぼ囲んで、仮想現実空間における360度のビューを示すように配置されてもよい。したがって、拡張現実グラフィックは、仮想現実空間200の360度パノラマを示す。本例では、ストリップ体は水平方向である。さらに、拡張現実ビューにおいて第2のユーザ203に第1のユーザ201が見えにくくならないように、ストリップ体の幅は第1のユーザ201の物理的な身長よりも狭く見える幅である。第2のユーザ203が拡張現実グラフィック300を通して第1のユーザを見ることができるように、拡張現実グラフィック300は半透明であってもよい。
他の例において拡張現実グラフィック300は、第1のユーザ201に関連するように配置されるが、必ずしも完全に第1のユーザ201を囲まなくてもよい。例えば拡張現実グラフィックは、第1のユーザ201の周りに湾曲してレンダリングされてもよいが、ユーザの周り少なくとも90°、少なくとも120°、少なくとも180°、または少なくとも270°に延びてもよい。拡張現実グラフィック300の幅は、仮想現実空間200における第1のユーザの視野に基づいてもよい。一例において、拡張現実グラフィックの一部としてまたはそれに追加して表示されるマーカーが、グラフィックにより示されるイメージの中の第1のユーザの現在の視野を示してもよい。本例では、仮想現実空間300のパノラマの湾曲した(例えば円形の)投写が拡張現実グラフィック300として示されているが、グラフィック300は、正方形、長方形、五角形、六角形などの他の断面のストリップ体を備えてもよい。ARビューにおける第1のユーザ201から拡張現実グラフィック300の間隔は、所定の間隔であってもよく、または仮想現実空間200において第1のユーザ201により視認される仮想オブジェクトもしくは仮想シーンに対する第1のユーザ201(またはVR空間における「カメラ」の位置)の近接性に関係してもよい。拡張現実グラフィック300を少なくとも部分的に第1のユーザを包み込んで仮想現実空間のパノラマを提示するように提供することは、第1のユーザが何を体験しているかの直感的かつ効果的な理解を第2のユーザ203にもたらすので有利である。
拡張現実グラフィック300は、第1のユーザ201により現在視認されている仮想現実空間200の表現を備えてもよい。要するに、第1のユーザ201が仮想現実空間200を仮想的に動き回るとき、ユーザの仮想位置が変化する結果、その視点も変化するので、拡張現実グラフィック300は、第1のユーザ201の仮想位置における仮想現実空間の表現を示してもよい。他の例において、拡張現実グラフィックは、所定または固定の仮想位置での仮想現実空間を示す。第1のユーザ201により現在視認されている仮想現実空間200の表現は、仮想現実空間における現時点を含んでもよい。例えば、仮想現実空間がパノラマ式ビデオにより提供される場合、(第1のユーザ201により視認される)パノラマ式ビデオにおける現時点のパノラマ式ビデオからの単数または複数のイメージが、拡張現実グラフィック300として使用されるために提供されてもよい。仮想現実空間が、経時的に変化するコンピュータ生成されたVR世界から提供される場合、ARグラフィック300は、VR空間における現時点のVR空間のイメージに基づいてもよい。したがって、拡張現実グラフィック300は、リアルタイムで、または断続的に、または周期的に、仮想現実空間200における第1のユーザ201の現在(仮想位置および/または仮想時間の点で)のビューにより能動的に更新されてもよい。
よって、装置100cは、第1のユーザ201が仮想現実空間200において現在視認しているもののイメージを表す、VR装置100aからのシグナリングを受信してもよい。装置100cは、受信されたイメージをレンダリングしてもよく、または第2のユーザ203に表示される拡張現実グラフィック300としてAR装置100bがイメージをレンダリングするためのシグナリングを提供してもよい。装置100cは、拡張現実グラフィック300を正しい位置に、すなわち第2のユーザ203の視点から第1のユーザ201を囲んで表示可能なように、第1のユーザ201の位置を特定するシグナリングを拡張現実装置100bに提供してもよい。
図4は、第2のユーザ203の拡張現実ビューの説明図を示す。このビューは、第2の拡張現実グラフィック400が示されていることを除いて、図3に関して示され上述されたものと同様である。前述同様に、拡張現実グラフィック300は、第1のユーザ201により現在視認されている仮想現実空間の表現を備える。第2の拡張現実グラフィック400は、第1のユーザ201がVRヘッドセット202を通して現在視認できない、別の第2の仮想現実空間の表現を備える。このように第2のユーザ203は、仮想現実ビューにおいて第1のユーザ201に提供できる別の仮想現実空間(単数または複数)の表現を視認してもよい。
本例では、第2の拡張現実グラフィック400は、形態としては拡張現実グラフィック300に類似している。具体的には、ほぼ円筒形のストリップ体としてレンダリングされた第2の拡張現実空間の360°パノラマを備える。第2の拡張現実グラフィック400は、本例では、拡張現実グラフィック300の上に間隔を空けて配置されるが、他のポジションも可能である。第2の拡張現実グラフィック400は、本例では、拡張現実グラフィック300と、したがって第1のユーザ201とも、上下に整列している。第2の拡張現実グラフィックは、第1のユーザを少なくとも部分的に囲んでいないが、第1のユーザ201の真上のポジションを囲んでもよい。
第2のユーザ203からのユーザ入力などがあると、装置100cは、第2のユーザにより選択される第2の拡張現実グラフィックまたはさらなる拡張現実グラフィックとして、コンテンツストア102から可能な仮想現実空間または仮想現実空間の「候補」を提示してもよい。第2の拡張現実グラフィック400が選択されると、それに関連する第2の仮想現実空間が第1のユーザの仮想現実ビューにおいて第1のユーザ201に提示されてもよい。このように、仮想現実ビュー200が、第2の仮想現実空間の仮想現実ビューにより置き換えられてもよい。
第2の拡張現実グラフィック400の選択は、第2のユーザ203が作動させると装置100cと通信するスマートフォン、コンピュータ、またはコントローラなどのユーザ入力デバイスからシグナリングを受信することを含んでもよい。あるいは、選択は、自由空間ユーザジェスチャ(例えばユーザの手による空中でのジェスチャ)を表現するシグナリングにより提供されてもよい。したがって、第2のユーザ203は、第2の拡張現実グラフィック400を指し示すかまたはその他の形で選択して、第2の仮想現実空間が第1のユーザ201に表示されるべきであるという指示を提供するジェスチャを行ってもよい。それに応じて、AR装置100bまたはモーショントラッカー104が、第2のユーザの手のポジションを追跡してユーザジェスチャ入力を検出し、関連するシグナリングを装置100cおよびVR装置100aに提供してもよい。
図5は、第2のユーザ203がその拡張現実ビューにおいて第2の拡張現実グラフィック400を選択した結果、対応する仮想現実空間が第1のユーザ201にその仮想現実ビューにおいて提示されるのを示す。第1のユーザ201が今は第2の仮想現実空間を視認しているとのフィードバックを第2のユーザ203に提供するために、第2の仮想現実グラフィック400は第1のユーザ201を囲むように移動(矢印500により表現)されて示されている。本例では、拡張現実グラフィック300は、第1の仮想現実空間200がもはや第1のユーザ201に提示されていないとのフィードバックを提供するために、第1のユーザ201に対してより低いポジション(より低いポジションへの移動を矢印501により表現)に示される。拡張現実グラフィック300は、その後、拡張現実ビューから消滅もしくはフェードアウトしてもよく、またはより低いポジションに示されることなく消滅/フェードアウトしてもよい。当然ことながら、拡張現実グラフィック300により表現される仮想現実空間200の仮想現実ビューからの削除を示す、他の形態のフィードバックが提供されてもよい。
第2の拡張現実グラフィック400の選択をもたらすために自由空間ジェスチャが使用される場合、第2のユーザは、拡張現実ビューの中の第2の拡張現実グラフィック400を「つかんで」、それを下に、目線へとおよび/または第1のユーザ201を囲むように、「移動」させてもよい。第2の拡張現実グラフィック400を第1のユーザ201を囲むように移動させるアクションは、こうして第2の拡張現実グラフィックの選択をもたらしてもよい。これは、第2のユーザ203に直感的で有利な体験を提供する。さらに、そのようなジェスチャが使用されるか否かにかかわらず、仮想現実空間候補を表現する拡張現実グラフィック候補を提供して、それが第1のユーザ201の周りの浮かんだポジション(すなわち離れている)と、グラフィック300、400が第1のユーザ201を囲むポジションとを移動することまたは移動されることを可能とすると、アクションまたは選択実施のフィードバックを提供するために有利なインターフェースとなり得る。
図6は、図4に示されたものと類似したビューを示し、第2の拡張現実グラフィック400が、少なくとも第1ユーザ201に対して相対的なその向きに関して、拡張現実ビューにおいて操作可能であることを示す。矢印600は、第2のユーザ203によるユーザ入力があると、第2の拡張現実グラフィック400がその軸を中心に回転できることを示す。したがって、第2の拡張現実グラフィック400を選択して視認用に対応する仮想現実空間を提供する前に、第2のユーザ203は、第2の拡張現実グラフィック400の方向を定めて、VR装置100aにより対応する第2の仮想現実空間がユーザに提示されたときに第1のユーザ201に提示される初期の視野を制御することができる。これは、パノラマ式ビデオを備えるものなどの仮想現実空間が、特定の人々またはアクションが位置するところなど特定の焦点を有することもあるので、特に有利である。そのような拡張現実グラフィック400の操作を使用した、第1のユーザ201に提示する仮想現実空間の初期の視野の制御を提供することにより、第1のユーザ201の注目を、第2のユーザ203が重要と感じるものに向かわせることができる。
第2の仮想現実空間が第1のユーザ201にVRビューを介して提示されると、第2のユーザ203による操作は提供されなくてもよい。要するに、拡張現実グラフィックに対応する仮想現実空間がVR装置の第1のユーザにより現在視認可能になると、VRビューにおいて提示される視野の制御は、ARビューにおける拡張現実グラフィックの操作によっては変更できない。これは、第1のユーザ201に対するVRビューの動作の制御力を制限することで、第1のユーザ201の体験が不安定になるのを防止できるので、有利である。
仮想現実空間の初期の視野は、対応する拡張現実グラフィックの回転に基づいて決定されてもよい。特に、第1のユーザ201の向きに対して相対的な拡張現実グラフィックの向きが使用されてもよい。したがって、第2のユーザ203は、拡張現実グラフィックを回転させて対象箇所を第1のユーザ201の真正面に配置して、第1のユーザ201に対する(VRにおける)初期の視野をセットしてもよい。あるいは、第1のユーザ201の向きにかかわらず、第2のユーザ203に対して相対的な拡張現実グラフィックの向きが使用されてもよい。したがって、第2のユーザは、拡張現実グラフィックを回転させて対象箇所を自分と直接向き合うように配置して、第1のユーザ201に対する(VRにおける)初期の視野をセットしてもよい。
他の例において、装置100cは、対応する仮想現実空間中の仮想並進移動による第2の拡張現実グラフィック400の操作を提供してもよい。したがって、対応する仮想現実空間がコンピュータ生成されナビゲート可能な世界を備える場合、第2のユーザ203は、VRビューにおいて第1のユーザ201に対して表示される仮想現実空間における初期のビューの仮想位置(または仮想時間)を変更できてもよい。したがって、仮想現実空間の初期の視点は、AR装置を介して提供される仮想位置に基づく視点であってもよく、または拡張現実グラフィック400の向きに基づく視野であってもよい。
他の例では、拡張現実グラフィックは、VRビューにおいて初期に視認されるものを制御するために操作可能であってもよいが、第1のユーザ201のVRビューを変更する選択はできない。例えば第1のユーザ201または第三者が、VRビューにおける或る仮想現実空間と別の仮想現実空間との間の移行を制御してもよい。
このように、装置100cは、拡張現実グラフィックの回転および/または拡張現実グラフィックにより表現された仮想現実空間中の並進を示すユーザ入力シグナリングを受信するよう構成されてもよい。さらに装置100cは、変更された拡張現実グラフィックを示すフィードバックをARビューにおいて第2のユーザ203に提供するためにシグナリングを提供してもよい。装置100cは、シグナリングをVR装置100aに提供して、仮想現実空間が初期に提示されるときにVRビューにおいて提示される仮想現実空間における初期の視野/視点を示してもよい。
図7は、第2のユーザ203の拡張現実ビューの説明図を示し、さらなる拡張現実グラフィック700を含む。具体的には、さらなる2つの拡張現実グラフィック700および701が含まれる。第2の拡張現実グラフィック400のような、さらなる拡張現実グラフィックのそれぞれが、選択されると第1のユーザ201にそのVRビューにおいて提示可能な、異なる仮想現実空間候補を表現する。当然のことながら、第2の拡張現実グラフィック400、特にそれに関係して提供される任意の機能性に関する上記の説明は、任意の数のさらなる拡張現実グラフィック700、701に等しく適用可能である。
装置100cは、拡張現実ビューにおいて拡張現実グラフィック400、700、701として表現され、VRビューにおいて表示される可能性のある、仮想現実空間候補を提供するように構成されてもよい。さらに装置100cは、第2のユーザ203のユーザ入力に応答しての仮想現実空間候補の却下を提供してもよい。ユーザの却下は、拡張現実ビューの中の拡張現実グラフィックにより表現された複数の仮想現実空間候補から、1つ以上の仮想現実空間候補を削除することを含んでもよい。
図7に示されているように、複数の拡張現実グラフィック400、700、701が、スタック702として拡張現実ビューに表示されている。スタックは、実質的に第1のユーザを中心にしていてもよい。このようにスタック702は、第1のユーザ201に関連して拡張現実ビューにおいて提供されてもよい。さらに図7は、スタック702の軸から離れる第2の拡張現実グラフィック400の動き(矢印703参照)を示す。これは、第2の拡張現実グラフィックにより表現される第2の仮想現実空間が、選択され得る仮想現実空間候補から却下されたとのフィードバックを、ARビューにおいて第2のユーザ203に提供する。却下された第2の仮想現実グラフィック400(またはより一般的に、却下された拡張現実グラフィック候補)は、その後、ARビューから消滅してもまたはフェードアウトしてもよい。当然のことながら、この却下フィードバックは任意選択であり、却下された拡張現実グラフィック候補はARビューから削除されてもよい。
第2の拡張現実グラフィック400の却下をもたらすために自由空間ジェスチャが使用される場合、第2のユーザは、拡張現実ビューの中の第2の拡張現実グラフィック400を「つかんで」それを横に「移動」させて、スタック702から出してもよい。第2の拡張現実グラフィック400を移動させてスタックから出す動作が、自由空間ジェスチャのフィードバックとして表示されてもよい。これは、第2のユーザ203に直感的で有利な体験を提供する。
却下された拡張現実グラフィック候補400が削除されると、矢印704により示されるように、残る拡張現実グラフィック候補(この例では700および701)が下へ移動されて、却下された拡張現実グラフィック候補の空間に移る。
よって、装置100cは、AR装置100bにシグナリングを提供して、ユーザによる却下または他のジェスチャを表現するシグナリングに応答して第2の/さらなる拡張現実グラフィックの表示を(ポジションまたは視界の点で)変更してもよい。
図8は、第2のユーザ203の拡張現実ビューの表現を示す。本例では、第3のユーザ800が存在する。第3のユーザ800は、第1のユーザ201に類似した仮想現実装置のユーザであり、仮想現実ヘッドセット801とともに示されている。第3のユーザ800には、仮想現実空間の仮想現実ビューが提供される。これは、必ずしも第1のユーザ201に提供されるものと同じ仮想現実空間とは限らない。第2のユーザ203は、第3のユーザ800が視認している仮想現実空間を表す拡張現実グラフィック802を視認することができる。拡張現実グラフィック400に類似して、拡張現実グラフィック802は関連するユーザを囲むように示され、360°パノラマなどの関連する仮想現実空間からのイメージを備える。よって、第2のユーザ203は、複数の仮想現実ユーザ(第1のユーザ201および第3のユーザ800およびその他任意のさらなるVRユーザ)について上述したアクションまたは機能性のいずれかを実行してもよい。装置100cは、第2のユーザの入力に応答してまたは第2のユーザ203が誰を見ているかに基づき、異なる仮想現実ユーザの仮想現実体験の制御の切り替えを第2のユーザ203に提供してもよい。こうして、第2のユーザは、複数の仮想現実ユーザに関して、上述した「選択」、「却下」、および「操作」の機能性を効果的に制御することができる。
図9は、第1のユーザによる視認のために提供される仮想現実空間と、第1のユーザの物理的な位置とに基づくステップ(900)、拡張現実ビューにおいて、第1のユーザとは別の第2のユーザに対する前記仮想現実空間の表現を備える拡張現実グラフィックの表示を提供するステップであって、前記拡張現実グラフィックは、第1のユーザに提供される仮想現実空間の少なくとも一部のイメージを備え、イメージは、拡張現実ビューにおいて、第1のユーザを少なくとも部分的に囲むように第1のユーザの物理的な位置に対応するポジションにて表示され、それにより、第2のユーザは、第1のユーザにより体験される仮想現実空間を見ることができる、ステップ(901)を示すフロー図を示す。
図10は、一例によるプログラムを提供するコンピュータ/プロセッサ可読媒体1000を概略的に示す。本例では、コンピュータ/プロセッサ可読媒体は、デジタル多用途ディスク(DVD:digital versatile disc)またはコンパクトディスク(CD:compact disc)などのディスクである。他の例では、コンピュータ可読媒体は、発明の機能を実行するような形でプログラムされた任意の媒体であってもよい。コンピュータプログラムコードは、同じタイプの複数のメモリ間、またはROM、RAM、フラッシュ、ハードディスク、ソリッドステートなど異なるタイプの複数のメモリ間に分散してもよい。
ユーザ入力は、タップ、スワイプ、スライド、押下、保持、回転ジェスチャ、デバイスのユーザインターフェース近くでの静止ホバージェスチャ、デバイス近くでの移動ホバージェスチャ、デバイスの少なくとも一部を曲げること、デバイスの少なくとも一部を握りしめること、多指ジェスチャ、デバイスを傾けること、または制御デバイスを裏返すことのうちの1つ以上を備えるジェスチャであってもよい。さらにジェスチャは、ユーザの腕などのユーザの身体、またはスタイラスもしくは自由空間ユーザジェスチャを行うのに適した他の要素を使用した任意の自由空間ユーザジェスチャであってもよい。
上記の例で示された装置は、携帯可能な電子デバイス、ラップトップコンピュータ、移動電話、スマートフォン、タブレットコンピュータ、携帯情報端末、デジタルカメラ、スマートウォッチ、スマートアイウェア、ペンベースのコンピュータ、携帯可能でない電子デバイス、デスクトップコンピュータ、モニタ、家庭用電化製品、スマートTV、サーバ、仮想現実装置、ウェアラブル装置、拡張現実装置、またはそれらの1つ以上のモジュール/回路としてもよい。
言及された任意の装置、および/または言及された特定の装置の他の特徴は、有効化、例えばスイッチをオンにされたときなどにのみ所望の動作を実行するよう構成されたものとなるように準備された装置により提供されてもよい。そのような事例では、非有効化時(例えばスイッチオフ状態)では必ずしもアクティブメモリに適切なソフトウェアをロードしていなくてもよく、有効化時(例えばオン状態)にのみ適切なソフトウェアをロードしてもよい。装置は、ハードウェア回路および/またはファームウェアを備えてもよい。装置は、メモリ上にロードされたソフトウェアを備えてもよい。そのようなソフトウェア/コンピュータプログラムは、同じメモリ/プロセッサ/機能ユニット上および/または1つ以上のメモリ/プロセッサ/機能ユニット上に記録されてもよい。
一部の例において、言及された特定の装置は、所望の動作を実行するよう適切なソフトウェアを用いて事前にプログラムされてもよく、この適切なソフトウェアは、例えばそのソフトウェアおよびそれに関連する機能性をロック解除/有効化するため、「キー」をダウンロードするユーザが使用できるようにされてもよい。そのような例に関連する利点としては、デバイスにさらなる機能性が必要なときにデータをダウンロードする必要性が軽減されることを挙げることができ、これは、ユーザが有効化しないかもしれない機能性のためにそのような事前プログラムされたソフトウェアを記憶するのに十分な容量をデバイスが有すると分かる事例において有用な可能性がある。
言及された任意の装置/回路/要素/プロセッサは、言及された機能に加えて他の機能も有してもよく、これらの機能は、同じ装置/回路/要素/プロセッサにより実行されてもよい。開示された1つ以上の側面は、関連するコンピュータプログラムおよび適切な保持体(例えばメモリ、信号)に記録されたコンピュータプログラム(ソース/トランスポートエンコードされてもよい)の電子的な配布を含んでもよい。
本願明細書に記載された任意の「コンピュータ」は、同じ回路基板に、または回路基板の同じ領域/ポジションに、または同じデバイスにも位置してもしなくてもよい、1つ以上の個々のプロセッサ/処理要素の集合を備えることができる。一部の例では、言及されたプロセッサの1つ以上が複数のデバイスにわたって分散してもよい。同じまたは異なるプロセッサ/処理要素が、本願明細書に記載された1つ以上の機能を実行してもよい。
「シグナリング」という用語は、送信および/または受信される一連の電気/光信号として送信される1つ以上の信号を指してもよい。一連の信号は、前記シグナリングを構成する、1、2、3、4もしくは5以上もの個別の信号成分または別個の信号を備えてもよい。これらの個別の信号の一部または全部は、無線または有線通信により同時に、順次に、および/または互いに時間的に重なるように送信/受信されてもよい。
言及された任意のコンピュータおよび/またはプロセッサおよびメモリ(例えばROM、CD−ROMなどを含む)の説明に関して、これらは、コンピュータプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA:field−programmable gate array)、および/または本発明の機能を実行するような形にプログラムされた他のハードウェアコンポーネントを備えてもよい。
出願人は、ここに、本願明細書に記載された個々の特徴それぞれを単独で開示し、さらにかかる特徴2つ以上の任意の組み合わせを開示する。この開示は、当業者の一般知識を踏まえて、かかる特徴または組み合わせが本明細書に基づき全体として実行可能となる程度まで行われており、これは、かかる特徴または特徴の組み合わせが本願明細書に開示された任意の問題を解決するかどうかにはかかわらず、クレームの範囲を限定することもない。出願人は、開示された側面/例がそのような任意の個々の特徴からなっても、または特徴の組み合わせからなってもよいことを指摘する。上記の説明に鑑みて、当業者には当然のことながら、本開示の範囲内で様々な変更が加えられてもよい。
基本となる新奇な特徴が、その例に適用されて示され、記載され、指摘されたが、当然のことながら、記載されたデバイスおよび方法の形態および細部における様々な省略および置換および変更が、本開示の範囲から逸脱することなく、当業者によって行われることが可能である。例えば、同じ結果を達成するために実質的に同じ機能を実質的に同じ形で実行する当該要素および/または方法ステップのすべての組み合わせが、本開示の範囲内であることが明示的に意図される。さらに、当然のことながら、開示された任意の形態または例に関連して示されかつ/または記載された構造および/または要素および/または方法ステップは、一般的な設計上の選択事項として、他の任意の開示または記載または示唆された形態または例に組み込まれてもよい。さらに、特許請求の範囲では、ミーンズ・プラス・ファンクション節は、列挙された機能を実行するものとして本願明細書に記載された構造、さらに構造上の等価物のみならず、等価な構造も対象とすることを意図される。要するに、釘とねじとは、木製部品を留めるという状況において、釘が円柱状の表面を用いて木製部品同士を固定するのに対し、ねじはらせん状の表面を用いるという点で構造上の等価物ではないかもしれないが、釘とねじとは等価な構造体ではあり得る。

Claims (15)

  1. 第1のユーザによる視認のために提供される仮想現実空間と、前記第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供するよう構成され 、
    前記拡張現実グラフィックは、前記第1のユーザに提供される前記仮想現実空間の少なくとも一部のイメージを備え、前記イメージは、前記拡張現実ビューにおいて、前記第1のユーザを少なくとも部分的に囲むように前記第1のユーザの前記物理的な位置に対応するポジションにて表示され、それにより、前記第2のユーザは、前記第1のユーザにより体験される前記仮想現実空間の前記少なくとも一部を見ることができる、
    装置。
  2. 前記拡張現実グラフィックは、
    前記仮想現実空間の少なくとも一部の円筒形の投写と、
    前記仮想現実空間において前記第1のユーザの現在の位置から視認される前記仮想現実空間の表現と、
    前記仮想現実空間において現時点で視認される前記仮想現実空間の表現と、
    前記仮想現実空間のパノラマと、
    前記仮想現実空間の少なくとも180°のパノラマと、
    前記仮想現実空間のほぼ360°のパノラマと、
    半透明の拡張現実グラフィックと、
    のうちの1つ以上を備える、請求項1に記載の装置。
  3. 第2の拡張現実グラフィックが、前記第2のユーザに対する拡張現実表示のために、かつ前記第2のユーザによる選択のために提供され、前記第2の拡張現実グラフィックは、ユーザ選択されると第1のユーザに提供される、前記第1のユーザにより現在視認されていない第2の仮想現実空間の少なくとも一部のイメージを備える、請求項1に記載の装置。
  4. 前記第2の拡張現実グラフィックは、前記拡張現実ビューにおいて前記第1のユーザの前記物理的な位置に配置されて前記拡張現実グラフィックから間隔を空けた表示のために提供され、前記第2の拡張現実グラフィックは、前記拡張現実ビューにおいて前記第1のユーザから延びる軸を少なくとも部分的に囲むように 表示される、請求項3に記載の装置。
  5. 前記第2のユーザにより前記第2の拡張現実グラフィックが選択されると、それに関連する前記第2の仮想現実空間の前記第1のユーザに対する仮想現実表示を提供する、請求項3または請求項4に記載の装置。
  6. 前記第2の拡張現実グラフィックの選択は、前記第2のユーザの自由空間ユーザジェスチャを備える、請求項3から5のいずれか1項に記載の装置。
  7. 前記第2の拡張現実グラフィックは、前記拡張現実ビューにおいて前記拡張現実グラフィックの上方に表示するために提供され、前記第2の拡張現実グラフィックまたはそれに関連する前記第2の仮想現実空間の前記選択は、前記第2の拡張現実グラフィックを、前記拡張現実ビューにおいて前記第1のユーザを囲むポジションに移動させることによるフィードバックを提供することを含む、請求項3から6のいずれか1項に記載の装置。
  8. 前記装置は、前記第2の拡張現実グラフィックのユーザによる却下を提供し、それにより、前記第2の拡張現実グラフィックに関連する前記第2の仮想現実空間の仮想現実表示は、前記第1のユーザに提供されない、請求項3から7のいずれか1項に記載の装置。
  9. 前記ユーザによる却下がされると、さらなる仮想現実空間を表すさらなる拡張現実グラフィック候補が、前記却下された第2の拡張現実グラフィックの代わりに前記拡張現実ビューにおける選択および表示のために提供される、請求項8に記載の装置。
  10. 前記第2の拡張現実グラフィックは、前記拡張現実ビューにおいて前記拡張現実グラフィックの上方に表示するために提供され、前記第2の拡張現実グラフィックまたはそれに関連する前記第2の仮想現実空間の前記ユーザによる却下は、前記第2の拡張現実グラフィックを、前記拡張現実ビューにおいて前記第1のユーザの横の方または上の方のポジションに移動させることによるフィードバックを提供することを含む、請求項8または請求項9に記載の装置。
  11. さらなる拡張現実グラフィックが、前記第2のユーザに対する拡張現実表示のために、かつ前記第2のユーザによる選択のために提供され、前記さらなる拡張現実グラフィックは、ユーザ選択されると第1のユーザに提供される、前記第1のユーザにより現在視認されていないさらなる仮想現実空間の少なくとも一部のイメージビューを備える、請求項3〜10のいずれかに記載の装置。
  12. 少なくとも前記第2の拡張現実グラフィックは、前記拡張現実ビューにおいて前記第2のユーザにより操作可能であり、それにより、前記第2のユーザの回転入力に応答して、前記第2の拡張現実グラフィックは回転され、前記第2のユーザにより前記第2の拡張現実グラフィックが選択されると、前記第2の拡張現実グラフィックに関連する前記第2の仮想現実空間が、初期の視野が前記第2のユーザの前記回転入力に基づいた状態で、前記第1のユーザに対する仮想現実表示のために提供される、請求項3から11のいずれか1項に記載の装置。
  13. 頭部装着型拡張現実装置、眼部装着型拡張現実装置、網膜プロジェクタベースの拡張現実装置、および眼内拡張現実装置、または同の1つ以上のためのモジュール/回路、または拡張現実装置および仮想現実装置の組み合わせを備えたシステムのうちの1つ以上である、請求項1から12のいずれかに記載の装置。
  14. 第1のユーザによる視認のために提供される仮想現実空間と、前記第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供することを含む方法であって、
    前記拡張現実グラフィックは、前記第1のユーザに提供される前記仮想現実空間の少なくとも一部のイメージを備え、前記イメージは、前記拡張現実ビューにおいて、前記第1のユーザを少なくとも部分的に囲むように前記第1のユーザの前記物理的な位置に対応するポジションにて表示され、それにより、前記第2のユーザは、前記第1のユーザにより体験される前記仮想現実空間の前記少なくとも一部を見ることができる、
    方法。
  15. 装置の少なくとも1つのプロセッサで実行されると、前記装置に、第1のユーザによる視認のために提供される仮想現実空間と、前記第1のユーザの物理的な位置とに基づき、拡張現実ビューにおいて、前記第1のユーザとは別の第2のユーザによる視認のための拡張現実グラフィックの表示を提供することを少なくとも遂行させるように構成されるプログラムコードを備えるコンピュータプログラムであって、
    前記拡張現実グラフィックは、前記第1のユーザに提供される前記仮想現実空間の少なくとも一部のイメージを備え、前記イメージは、前記拡張現実ビューにおいて、前記第1のユーザを少なくとも部分的に囲むように前記第1のユーザの前記物理的な位置に対応するポジションにて表示され、それにより、前記第2のユーザは、前記第1のユーザにより体験される前記仮想現実空間の前記少なくとも一部を見ることができる、
    コンピュータプログラム。
JP2018540710A 2016-02-10 2017-02-06 装置および関連する方法 Active JP6633220B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16155021.5A EP3206122A1 (en) 2016-02-10 2016-02-10 An apparatus and associated methods
EP16155021.5 2016-02-10
PCT/FI2017/050063 WO2017137659A1 (en) 2016-02-10 2017-02-06 An apparatus and associated methods

Publications (2)

Publication Number Publication Date
JP2019512120A true JP2019512120A (ja) 2019-05-09
JP6633220B2 JP6633220B2 (ja) 2020-01-22

Family

ID=55361357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018540710A Active JP6633220B2 (ja) 2016-02-10 2017-02-06 装置および関連する方法

Country Status (5)

Country Link
US (1) US10665027B2 (ja)
EP (1) EP3206122A1 (ja)
JP (1) JP6633220B2 (ja)
CN (1) CN108604175B (ja)
WO (1) WO2017137659A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3264371B1 (en) 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
CN108874267B (zh) * 2017-05-09 2022-12-09 腾讯科技(深圳)有限公司 虚拟现实应用数据处理方法、计算机设备和存储介质
GB2568241B (en) 2017-11-06 2022-01-05 Sony Interactive Entertainment Inc Content generation apparatus and method
KR101893038B1 (ko) 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
US12013977B2 (en) 2019-04-29 2024-06-18 Voxelsensors Srl System and method for socially relevant user engagement indicator in augmented reality devices
CN110650322A (zh) * 2019-10-29 2020-01-03 北京枭龙科技有限公司 一种基于云服务、物联网和ar安防眼镜的安防系统
JP7613089B2 (ja) 2020-12-21 2025-01-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US11568574B1 (en) * 2021-08-18 2023-01-31 Varjo Technologies Oy Foveation-based image encoding and decoding
US11983812B2 (en) * 2022-05-31 2024-05-14 Dish Network L.L.C. Marker-based representation of real objects in virtual environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013012181A (ja) * 2011-06-03 2013-01-17 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20130050260A1 (en) * 2011-08-26 2013-02-28 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US20130083173A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus
JP2013545510A (ja) * 2010-10-12 2013-12-26 株式会社ソニー・コンピュータエンタテインメント 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US8555185B2 (en) * 2009-06-08 2013-10-08 Apple Inc. User interface for multiple display regions
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9525964B2 (en) * 2012-02-02 2016-12-20 Nokia Technologies Oy Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
CN103577788A (zh) * 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
EP4099136A1 (en) * 2013-02-22 2022-12-07 Sony Group Corporation Head- mounted display and image display device
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
US9996973B2 (en) * 2013-11-30 2018-06-12 Empire Technology Development Llc Augmented reality objects based on biometric feedback
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
EP3112986B1 (en) 2015-07-03 2020-02-26 Nokia Technologies Oy Content browsing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013545510A (ja) * 2010-10-12 2013-12-26 株式会社ソニー・コンピュータエンタテインメント 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム
JP2013012181A (ja) * 2011-06-03 2013-01-17 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20130050260A1 (en) * 2011-08-26 2013-02-28 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US20130083173A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
坂根 裕: "実空間と仮想空間を統合するコミュニケーション支援システムにおけるユーザインタフェースの設計と実装", 情報処理学会研究報告 VOL.97 NO.64, vol. データベースシステム 113-51, JPN6019035400, 16 July 1997 (1997-07-16), JP, pages 305 - 310, ISSN: 0004115727 *

Also Published As

Publication number Publication date
CN108604175B (zh) 2021-09-14
US10665027B2 (en) 2020-05-26
CN108604175A (zh) 2018-09-28
US20190051055A1 (en) 2019-02-14
WO2017137659A1 (en) 2017-08-17
EP3206122A1 (en) 2017-08-16
JP6633220B2 (ja) 2020-01-22

Similar Documents

Publication Publication Date Title
JP6633220B2 (ja) 装置および関連する方法
JP6826029B2 (ja) 画像を表示するための方法、装置およびコンピュータ・プログラム
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
KR102411768B1 (ko) 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스
US11416201B2 (en) Apparatus and associated methods for communication between users experiencing virtual reality
EP3399398B1 (en) An apparatus and associated methods for presentation of spatial audio
EP3236336B1 (en) Virtual reality causal summary content
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
JP2020520576A5 (ja)
US8854452B1 (en) Functionality of a multi-state button of a computing device
EP3190503B1 (en) An apparatus and associated methods
US20190058861A1 (en) Apparatus and associated methods
US9536453B2 (en) Computer-implemented communication assistant for the hearing-impaired
CN110045896B (zh) 电子设备及其控制方法和计算机可读介质
US9547406B1 (en) Velocity-based triggering
US20240019928A1 (en) Gaze and Head Pose Interaction
US11205307B2 (en) Rendering a message within a volumetric space
US20240045579A1 (en) Systems and methods for launching and replacing applications
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191211

R150 Certificate of patent or registration of utility model

Ref document number: 6633220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250