JP2022153551A - 複合現実表示システム - Google Patents
複合現実表示システム Download PDFInfo
- Publication number
- JP2022153551A JP2022153551A JP2022120064A JP2022120064A JP2022153551A JP 2022153551 A JP2022153551 A JP 2022153551A JP 2022120064 A JP2022120064 A JP 2022120064A JP 2022120064 A JP2022120064 A JP 2022120064A JP 2022153551 A JP2022153551 A JP 2022153551A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- mixed reality
- reality display
- user
- display terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims description 21
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 39
- 230000009471 action Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 28
- 230000015654 memory Effects 0.000 description 16
- 210000003811 finger Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
Description
(2)個人仮想物体がある特定のユーザAにだけ表示されて、他のユーザBからは見えない場合には(例えば特許文献1の場合)、その見えない個人仮想物体に対する操作は他のユーザBからは認知されないため、ユーザBはユーザAがどのような操作を行っているか分からず混乱してしまう。
(3)ユーザが共有仮想物体と個人仮想物体の切り替え(コピー操作やマージ操作)を容易に行うための、簡便な手段が必要になる。
(4)ユーザAが個人仮想物体を用いて共有仮想物体を操作している場合に、その操作内容がユーザAの手に隠れて他のユーザBからは見えないことがある。
[複合現実表示端末の内部構成]
図2Aは、複合現実表示端末3a,3bのハードウェア構成を示す図である。ここでは、端末3aと端末3bは同一構成として説明するが、必ずしも同一の構成である必要はない。
Zhou Ren, et al. “Robust hand gesture recognition with kinect sensor.” Proceedings of the 19th ACM international conference on Multimedia. ACM, 2011.
動作検知プログラム308は、さらに、入力手段208に入力された音声の音量や発話内容などから「音声動作」として検知する機能を備えていても良い。なお音声から発話内容を検知する方法としては、音声認識技術を利用できる。音声認識技術は従来から多数の方法が知られており、一例として参考文献2に開示される。
Lawrence R. Rabiner and Biing-Hwang Juang. “Fundamentals of speech recognitio
n.”(1993).
以下、距離センサ200、アウトカメラ205、入力手段208、及び動作検知プログラム308を「動作検知部」とも呼ぶ。
図3Aは、サーバ1のハードウェア構成を示す図である。
ストレージ235は、当該サーバを動作させるための各種データ237、プログラム238、および端末3a,3bを制御するための仮想物体属性情報239、ユーザ認証情報240および機器管理情報241を格納する。当該データ及びプログラム群は、制御部233により、メモリ234に備えた各種プログラム機能部236を通してメモリに読み出され、実行される。
図3Bは、サーバ1のソフトウェア構成を示す図である。ここには、図3Aにおけるメモリ234とストレージ235の構成を示している。
ストレージ235は、各種データ335、ユーザ位置・方向検知プログラム336、通信制御プログラム337、仮想物体属性情報239、ユーザ認証情報240、機器管理情報241を格納している。またメモリ234には、機器制御部331、仮想物体管理部332、ユーザ管理部333、機器管理部334を格納する。
行う。そして、通信I/F231にて得られた各端末3a,3bからの情報に基づき、仮想物体属性情報239を修正する。また、入力手段232からのユーザの操作に基づき、仮想物体属性情報239を修正することも可能である。さらに仮想物体属性情報239に記述された情報を、映像出力部242や音声出力部243からユーザに表示することもできる。
以下、サーバ1にて格納する各種情報のデータ形式について説明する。
図4Aは、サーバ1の仮想物体管理部332が管理する仮想物体属性情報239の例を示すデータテーブルである。仮想物体属性情報239には、仮想物体ID401、仮想物体名402、仮想物体の方向403、仮想物体の位置404、仮想物体の色・形状405、仮想物体間のコピー関係を表すコピー元406およびコピー先407、ユーザの操作権限408などの情報が記述されている。なお、共有/個人の項目409は説明用のものである。
図5は、実施例1における動作シーケンスを示す図である。ここでは仮想物体の「個人化動作」と「共有化動作」を行う際の、サーバ1と端末3a(ユーザ4a)、端末3b(ユーザ4b)の間の通信を説明する。ここに個人化動作とは、共有仮想物体をコピーして個人仮想物体を生成することで、特定のユーザのみが操作権限を有する仮想物体に切り替えることである。一方「共有化動作」とは、個人仮想物体を共有仮想物体にマージして、各ユーザが操作権限を有する新たな共有仮想物体に切り替えることである。
ーバ1に伝達する。サーバ1では、共有化動作に従い仮想物体属性情報239を更新し、個人仮想物体と共有仮想物体をマージして新たな共有仮想物体のデータを生成する(シーケンスS109)。ここで生成する共有仮想物体は、ユーザ4aとユーザ4bの両方が操作権限を有するものである。
以下では、個人化動作(図5、S104)がなされた場合の挙動について図6、7、8を用いて説明する。
・指で特定の形を作りながら共有仮想物体を引き寄せる動作をする。一例として、人差し指と親指をつけた状態で共有仮想物体を引き寄せる。
・特定のハンドジェスチャをしてから、共有仮想物体を引き寄せる動作をする。一例として、共有仮想物体の外周を1周回るように手を動かしてから引き寄せる。
・「コピー」と発声してから、共有仮想物体を引き寄せる動作をする。
・共有仮想物体を引き寄せてから、「コピー」と発声する。
・共有仮想物体を引き寄せている動作の最中に、「コピー」と発声する。
例であり、これに限定されない。その他、輪郭線を赤く表示する、点滅させる、コピーを表す印を表示する、輝度を変化させるなど、様々な表示状態が可能である。
以下では、共有化動作検知(図5、S108)がなされた場合の挙動について図9、10、11を用いて説明する。
・指で特定の形を作りながら個人仮想物体を共有仮想物体に近付ける動作をする。一例として、人差し指と親指をつけた状態で個人仮想物体を近付ける。
・特定のハンドジェスチャをしてから、個人仮想物体を共有仮想物体に近付ける動作をする。一例として、個人仮想物体の外周を1周回るように手を動かしてから共有仮想物体に近付ける。
・「マージ」と発声してから、個人仮想物体を共有仮想物体に近付ける動作をする。
・個人仮想物体を共有仮想物体に近づけてから、「マージ」と発声する。
・個人仮想物体を共有仮想物体に近付ける動作の最中に、「マージ」と発声する。
共有化動作を行う際の、特定の動作をユーザが登録できる仕組みを用意してもよい。
2:ネットワーク、
3a,3b:複合現実表示端末(端末)、
3c:複合現実表示端末(サーバ機能内蔵)、
4a,4b:ユーザ、
7,8,501,502,601,602:仮想物体、
10,10’:複合現実表示システム、
200:距離センサ、
203,231:通信I/F、
204:インカメラ、
205:アウトカメラ、
206,242:映像出力部、
207,243:音声出力部、
208:入力手段、
209,233:制御部、
210,234:メモリ、
221,235:ストレージ、
239:仮想物体属性情報、
332:仮想物体管理部。
Claims (9)
- サーバと、複数のユーザがそれぞれ使用する複数の複合現実表示端末とがネットワークを介して接続され、現実空間に仮想物体を複合させて表示する複合現実表示システムを構成する複合現実表示端末であって、
制御部と、
前記サーバと前記ネットワークを介して通信を行う通信インターフェースと、を備え、
前記複合現実表示システムにおいて、
前記仮想物体には、属性情報により操作権限が与えられた共有仮想物体と、属性情報により特定の複合現実表示端末のみに対し操作権限が与えられた個人仮想物体とがあり、
前記制御部は、ユーザの入力に基づいて前記共有仮想物体と前記個人仮想物体を切替える切替操作指示を生成し、
前記通信インターフェースは、前記サーバに対し、それぞれの複合現実表示端末における仮想物体の表示および操作に必要な仮想物体の属性情報に対する前記切替操作指示に関する情報を送信し、前記切替操作指示に関する情報に基づき更新された属性情報を前記サーバから受信し、
前記制御部は、前記通信インターフェースが前記サーバから受信した属性情報に基づいて制御することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項1に記載の複合現実表示端末において、
前記切替操作指示は、前記共有仮想物体をコピーして前記個人仮想物体を生成する個人化指示か、あるいは前記個人仮想物体をコピー元の前記共有仮想物体にマージする共有化指示かを判定することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項1に記載の複合現実表示端末において、
前記複数の複合現実表示端末のうち、前記ユーザにより前記仮想物体の切り替え動作を受けた複合現実表示端末と、前記ユーザにより前記仮想物体の切り替え動作を受けていない複合現実表示端末とでは、それぞれの複合現実表示端末にて表示する同一の仮想物体に対する前記仮想物体属性情報が異なり、同一の仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記動作検知部により検知した前記ユーザによる切り替え動作の過程において、前記複数の複合現実表示端末では、それぞれ、同一の仮想物体に対して表示する色、または輝度、または形状、または音声を徐々に変化させて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記ユーザにより前記仮想物体の切り替え動作を受けた複合現実表示端末と、前記ユーザにより前記仮想物体の切り替え動作を受けていない複合現実表示端末とでは、さらに、前記仮想物体と前記ユーザとの距離に応じて、同一の仮想物体を異なる位置に表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記複数の複合現実表示端末には、それぞれ、前記ユーザの視線方向を検知する視線検知部を備え、
前記複合現実表示端末では、前記視線検知部により前記ユーザの視線が前記仮想物体に置かれたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対する表示状態を切り替えることを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記複数の複合現実表示端末には、それぞれ、前記仮想物体との距離を検知する距離検
知部を備え、
前記複合現実表示端末では、前記距離検知部により当該複合現実表示端末が前記仮想物体と所定の距離に近づいたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項3に記載の複合現実表示端末において、
前記複数の複合現実表示端末には、それぞれ、前記仮想物体に近づく速度または加速度を検知する速度検知部を備え、
前記複合現実表示端末では、前記速度検知部により当該複合現実表示端末が前記仮想物体に所定の速度または加速度を超えて距離に近づいたことを検知してから、前記仮想物体属性情報に従い、前記仮想物体に対して異なる色、または輝度、または形状、または音声にて表示することを特徴とする複合現実表示システムの複合現実表示端末。 - 請求項2に記載の複合現実表示端末において、
前記動作検知部が前記ユーザの動作を前記共有化動作と判定したとき、前記サーバは前記個人仮想物体を前記共有仮想物体にマージする際、それぞれの仮想物体の形状の差分のうち、互いに包摂しない箇所に対し、新たな共有仮想物体に結合するか否かを前記ユーザに確認することを特徴とする複合現実表示システムの複合現実表示端末。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022120064A JP7384971B2 (ja) | 2017-06-06 | 2022-07-28 | 複合現実表示システム |
JP2023191359A JP2024010215A (ja) | 2017-06-06 | 2023-11-09 | 複合現実表示システム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019523238A JP6845322B2 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム |
PCT/JP2017/020951 WO2018225149A1 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム及び複合現実表示端末 |
JP2021028862A JP7116206B2 (ja) | 2017-06-06 | 2021-02-25 | 複合現実表示システム |
JP2022120064A JP7384971B2 (ja) | 2017-06-06 | 2022-07-28 | 複合現実表示システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021028862A Division JP7116206B2 (ja) | 2017-06-06 | 2021-02-25 | 複合現実表示システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023191359A Division JP2024010215A (ja) | 2017-06-06 | 2023-11-09 | 複合現実表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022153551A true JP2022153551A (ja) | 2022-10-12 |
JP7384971B2 JP7384971B2 (ja) | 2023-11-21 |
Family
ID=64567088
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523238A Active JP6845322B2 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム |
JP2021028862A Active JP7116206B2 (ja) | 2017-06-06 | 2021-02-25 | 複合現実表示システム |
JP2022120064A Active JP7384971B2 (ja) | 2017-06-06 | 2022-07-28 | 複合現実表示システム |
JP2023191359A Pending JP2024010215A (ja) | 2017-06-06 | 2023-11-09 | 複合現実表示システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523238A Active JP6845322B2 (ja) | 2017-06-06 | 2017-06-06 | 複合現実表示システム |
JP2021028862A Active JP7116206B2 (ja) | 2017-06-06 | 2021-02-25 | 複合現実表示システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023191359A Pending JP2024010215A (ja) | 2017-06-06 | 2023-11-09 | 複合現実表示システム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10775897B2 (ja) |
EP (2) | EP3650984B1 (ja) |
JP (4) | JP6845322B2 (ja) |
CN (2) | CN116841395A (ja) |
WO (1) | WO2018225149A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7475620B2 (ja) | 2018-08-23 | 2024-04-30 | オージー技研株式会社 | 運動機能回復訓練装置 |
CN111784271B (zh) * | 2019-04-04 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 基于虚拟对象的用户引导方法、装置、设备及存储介质 |
JP7279159B2 (ja) * | 2019-05-29 | 2023-05-22 | マクセル株式会社 | 個人情報表示装置及びその処理方法 |
US11449131B2 (en) * | 2020-07-28 | 2022-09-20 | Qualcomm Incorporated | Obfuscated control interfaces for extended reality |
US11694413B2 (en) * | 2020-08-25 | 2023-07-04 | Spatial Systems Inc. | Image editing and sharing in an augmented reality system |
WO2022060555A1 (en) * | 2020-09-16 | 2022-03-24 | Sterling Labs Llc | Merging computer-generated objects based on extremity tracking data |
CN112330819B (zh) * | 2020-11-04 | 2024-02-06 | 腾讯科技(深圳)有限公司 | 基于虚拟物品的交互方法、装置及存储介质 |
CN112957689A (zh) * | 2021-02-05 | 2021-06-15 | 北京唐冠天朗科技开发有限公司 | 一种训练远程指导系统和方法 |
CN117296032A (zh) * | 2021-04-26 | 2023-12-26 | 松下电器(美国)知识产权公司 | 作业辅助方法、作业辅助装置以及程序 |
CN113961082B (zh) * | 2021-12-21 | 2022-10-18 | 潍坊幻视软件科技有限公司 | Ar/mr技术中同步专属虚拟内容的系统和同步方法 |
CN114879885B (zh) * | 2022-04-18 | 2024-03-22 | 上海星阑信息科技有限公司 | 虚拟对象分组控制方法、装置、设备及存储介质 |
WO2024047720A1 (ja) * | 2022-08-30 | 2024-03-07 | 京セラ株式会社 | 仮想画像共有方法および仮想画像共有システム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004038746A (ja) * | 2002-07-05 | 2004-02-05 | Toshiba Corp | 画像編集方法および画像編集システム |
SE0601216L (sv) * | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
US8175420B2 (en) * | 2007-05-14 | 2012-05-08 | Google Inc. | System and method for in-browser photo editing |
JP2010061290A (ja) | 2008-09-02 | 2010-03-18 | Konica Minolta Holdings Inc | 情報処理方法、情報処理装置およびプログラム |
JP2011070511A (ja) | 2009-09-28 | 2011-04-07 | Sony Corp | 端末装置、サーバ装置、表示制御方法、及びプログラム |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US8866898B2 (en) * | 2011-01-31 | 2014-10-21 | Microsoft Corporation | Living room movie creation |
JP5776201B2 (ja) * | 2011-02-10 | 2015-09-09 | ソニー株式会社 | 情報処理装置、情報共有方法、プログラム及び端末装置 |
US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
US20140368537A1 (en) * | 2013-06-18 | 2014-12-18 | Tom G. Salter | Shared and private holographic objects |
US9398059B2 (en) * | 2013-11-22 | 2016-07-19 | Dell Products, L.P. | Managing information and content sharing in a virtual collaboration session |
WO2015125375A1 (ja) * | 2014-02-18 | 2015-08-27 | ソニー株式会社 | 情報処理装置、制御方法、プログラム、およびシステム |
JP2016045623A (ja) * | 2014-08-21 | 2016-04-04 | ソニー株式会社 | 情報処理装置および制御方法 |
US10437938B2 (en) * | 2015-02-25 | 2019-10-08 | Onshape Inc. | Multi-user cloud parametric feature-based 3D CAD system |
EP3062219A1 (en) * | 2015-02-25 | 2016-08-31 | BAE Systems PLC | A mixed reality system and method for displaying data therein |
US20170034227A1 (en) * | 2015-07-31 | 2017-02-02 | Cisco Technology, Inc. | System and methods for an online conference session |
US9818228B2 (en) * | 2015-08-07 | 2017-11-14 | Microsoft Technology Licensing, Llc | Mixed reality social interaction |
-
2017
- 2017-06-06 WO PCT/JP2017/020951 patent/WO2018225149A1/ja unknown
- 2017-06-06 EP EP17913032.3A patent/EP3650984B1/en active Active
- 2017-06-06 US US16/606,797 patent/US10775897B2/en active Active
- 2017-06-06 JP JP2019523238A patent/JP6845322B2/ja active Active
- 2017-06-06 EP EP22196187.3A patent/EP4137918A1/en active Pending
- 2017-06-06 CN CN202310807562.6A patent/CN116841395A/zh active Pending
- 2017-06-06 CN CN201780089714.6A patent/CN110520820B/zh active Active
-
2020
- 2020-08-11 US US16/990,027 patent/US11068072B2/en active Active
-
2021
- 2021-02-25 JP JP2021028862A patent/JP7116206B2/ja active Active
- 2021-06-16 US US17/349,117 patent/US20210311558A1/en active Pending
-
2022
- 2022-07-28 JP JP2022120064A patent/JP7384971B2/ja active Active
-
2023
- 2023-11-09 JP JP2023191359A patent/JP2024010215A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3650984A1 (en) | 2020-05-13 |
US20200371602A1 (en) | 2020-11-26 |
EP4137918A1 (en) | 2023-02-22 |
CN110520820A (zh) | 2019-11-29 |
JP2021101345A (ja) | 2021-07-08 |
EP3650984B1 (en) | 2022-10-26 |
JP7384971B2 (ja) | 2023-11-21 |
WO2018225149A1 (ja) | 2018-12-13 |
CN110520820B (zh) | 2023-07-21 |
JP6845322B2 (ja) | 2021-03-17 |
JP7116206B2 (ja) | 2022-08-09 |
CN116841395A (zh) | 2023-10-03 |
US10775897B2 (en) | 2020-09-15 |
US20210311558A1 (en) | 2021-10-07 |
US20200241647A1 (en) | 2020-07-30 |
JP2024010215A (ja) | 2024-01-23 |
JPWO2018225149A1 (ja) | 2020-05-28 |
US11068072B2 (en) | 2021-07-20 |
EP3650984A4 (en) | 2021-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7116206B2 (ja) | 複合現実表示システム | |
CN110832441B (zh) | 用于虚拟、增强和混合现实显示系统的键盘 | |
US10722800B2 (en) | Co-presence handling in virtual reality | |
CN116194869A (zh) | 人工现实协同工作环境 | |
CN115718537A (zh) | 用于提供计算机生成的体验的设备、方法和图形用户界面 | |
CN114721470A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
CN117724630A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
US10296359B2 (en) | Interactive system control apparatus and method | |
CN113544634A (zh) | 用于构成cgr文件的设备、方法和图形用户界面 | |
US10216357B2 (en) | Apparatus and method for controlling the apparatus | |
US10656705B2 (en) | Assisted item selection for see through glasses | |
KR20210005913A (ko) | 물리적 입력 디바이스들을 가상 객체들로서 디스플레이 | |
US20220291808A1 (en) | Integrating Artificial Reality and Other Computing Devices | |
US20220293067A1 (en) | Information processing apparatus, information processing method, and program | |
WO2023230291A2 (en) | Devices, methods, and graphical user interfaces for user authentication and device management | |
JP6224465B2 (ja) | 映像配信システム、映像配信方法及び映像配信プログラム | |
US20230254448A1 (en) | Camera-less representation of users during communication sessions | |
US20230394886A1 (en) | Providing personalized audio | |
CN115705092A (zh) | 基于个体的相应位置生成和显示内容 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220822 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7384971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |