CN110520820A - 混合现实显示系统和混合现实显示终端 - Google Patents

混合现实显示系统和混合现实显示终端 Download PDF

Info

Publication number
CN110520820A
CN110520820A CN201780089714.6A CN201780089714A CN110520820A CN 110520820 A CN110520820 A CN 110520820A CN 201780089714 A CN201780089714 A CN 201780089714A CN 110520820 A CN110520820 A CN 110520820A
Authority
CN
China
Prior art keywords
dummy object
mixed reality
reality display
user
display terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780089714.6A
Other languages
English (en)
Other versions
CN110520820B (zh
Inventor
神田直之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN202310807562.6A priority Critical patent/CN116841395A/zh
Publication of CN110520820A publication Critical patent/CN110520820A/zh
Application granted granted Critical
Publication of CN110520820B publication Critical patent/CN110520820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在混合现实显示系统(10)中，服务器(1)与多个混合现实显示终端(下称终端)(3a、3b)经由网络(2)连接，在现实空间中混合显示虚拟物体。虚拟物体包括对多个终端赋予了操作权限的共享虚拟物体，和仅对特定终端赋予了操作权限的个人虚拟物体。服务器具有用于使各终端显示虚拟物体的虚拟物体属性信息(239)，各终端包括动作检测部，检测用于切换共享虚拟物体与个人虚拟物体的用户的动作。服务器在从终端接收到动作检测部的检测结果时，根据虚拟物体是共享虚拟物体还是个人虚拟物体来更新虚拟物体属性信息，将更新后的虚拟物体的数据发送到各终端。

Description

混合现实显示系统和混合现实显示终端
技术领域
本发明涉及混合现实显示系统和混合现实显示终端，用于生成并显示由虚拟生成的影像、声音等与现实世界的影像、声音等组合而得到的混合现实空间，并且在该混合现实空间中，用户能够对虚拟生成的物体进行操作。
背景技术
作为本技术领域的背景技术，专利文献1公开了在混合现实环境中显示共享虚拟对象和私有虚拟对象的系统。共享虚拟对象能够由多个使用者一起协同地进行交互，而私有虚拟对象对单个使用者可见。该文献还记载了通过设置私有虚拟对象，能够使多人对共享虚拟对象进行的协同交互变得容易。
现有技术文献
专利文献
专利文献1：日本特表2016-525741号公报
发明内容
发明要解决的技术问题
作为共享虚拟对象(下称共享虚拟物体)和私有虚拟对象(下称个人虚拟物体)的具体的使用方法，有下述例子。
第一例是这样的情况，即，在混合现实空间中将试制产品的模型等显示为共享虚拟物体，针对该模型的设计进行讨论。通过使虚拟物体为多个设计者共享，多个设计者能够流畅地进行议论。另一方面，由于对共享虚拟物体来说，全部设计者都被赋予了变更其设计的权限，所以不适合各设计者想要个别地考虑修改设计的情况。该情况下，若能够将虚拟物体切换成对特定设计者赋予了修改的权限的个人虚拟物体，则会比较便利。为了流畅地进行这样的切换，要求能够进行将正在显示的共享虚拟物体复制成面向特定用户的个人虚拟物体的操作，和反过来使面向特定用户的个人虚拟物体与共享虚拟物体合并(merge)的操作。
第二例是像虚拟的宣传单放置处那样将广告物料显示为共享虚拟物体的情况。该情况下，对混合现实空间内的多个用户，提供在同一场所显示有广告物料这样的体验。此时，由现实的宣传单放置处的用户动作类推，会产生某一用户想要将广告物料复制为个人物品的需求。该情况下，也要求能够进行将共享虚拟物体切换为面向该用户的个人虚拟物体的操作。即，需要实现共享虚拟物体与个人虚拟物体的切换操作(此处指的是复制操作和合并(merge)操作)。
但是，在专利文献1记载的发明中，没有考虑如上所述对某一虚拟物体交替地切换共享的状态(共享虚拟物体)和个人的状态(个人虚拟物体)。另外，即使要进行共享虚拟物体与个人虚拟物体的切换，为了流畅地进行切换也存在下述问题。
(1)各用户需要记住该虚拟物体是共享虚拟物体还是个人虚拟物体以区分使用，未记住的用户会感到混乱。
(2)在个人虚拟物体仅显示给某一特定用户A，其他用户B不可见的情况下(例如专利文献1的情况)，对该不可见的个人虚拟物体的操作不会被其他用户B感知，所以用户B不知道用户A进行了何种操作，会感到混乱。
(3)需要一种简便的手段，供用户容易地进行共享虚拟物体与个人虚拟物体的切换(复制操作和合并操作)。
(4)在用户A正使用个人虚拟物体对共享虚拟物体进行操作的情况下，其操作内容可能被用户A的手遮挡而导致其他用户B看不见。
本发明的目的在于提供一种混合现实显示系统和混合现实显示终端，用户能够不感到混乱地、流畅地在混合现实空间中进行共享虚拟物体与个人虚拟物体的切换。
解决问题的技术手段
本发明提供一种混合现实显示系统，其中服务器与多个用户分别使用的多个混合现实显示终端经由网络连接，在现实空间中混合显示虚拟物体，其中，所述虚拟物体包括对多个混合现实显示终端赋予了操作权限的共享虚拟物体，和仅对特定混合现实显示终端赋予了操作权限的个人虚拟物体。所述服务器具有用于使所述多个混合现实显示终端显示所述虚拟物体的虚拟物体属性信息，所述多个混合现实显示终端各自包括动作检测部，其检测用于进行所述共享虚拟物体与所述个人虚拟物体的切换的各用户的动作。所述服务器在从所述混合现实显示终端接收到所述动作检测部的检测结果时，根据所述虚拟物体是所述共享虚拟物体还是所述个人虚拟物体来更新所述虚拟物体属性信息，将更新后的所述虚拟物体的数据发送到所述多个混合现实显示终端。
发明的效果
采用本发明，用户能够不感到混乱地、流畅地在混合现实空间中进行共享虚拟物体与个人虚拟物体的切换。
附图说明
图1A是表示实施例1的混合现实显示系统的整体结构的框图。
图1B是表示同时存在共享虚拟物体和个人虚拟物体的混合现实空间之一例。
图2A是表示混合现实显示终端3a、3b的硬件结构的图。
图2B是表示混合现实显示终端3a、3b的软件结构的图。
图3A是表示服务器1的硬件结构的图。
图3B是表示服务器1的软件结构的图。
图4A是表示虚拟物体属性信息239的例子的数据表。
图4B是表示用户认证信息240的例子的数据表。
图4C是表示设备管理信息241的例子的数据表。
图5是表示实施例1的动作序列的图。
图6A是表示虚拟物体的个人化动作的图(从操作中的用户看来的图)。
图6B是表示虚拟物体的个人化动作的图(从其他用户看来的图)。
图7A是表示个人化动作中的虚拟物体的显示状态的图(从操作中的用户看来的图，显示模式P1)。
图7B是表示个人化动作中的虚拟物体的显示状态的图(从操作中的用户看来的图，显示模式P2)。
图7C是表示个人化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P3)。
图7D是表示个人化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P4)。
图8是说明个人虚拟物体的显示位置的差异的图(显示模式P3、P4)。
图9A是表示虚拟物体的共享化动作的图(从操作中的用户看来的图)。
图9B是表示虚拟物体的共享化动作的图(从其他用户看来的图)。
图10A是表示共享化动作中的虚拟物体的显示状态的图(从操作中的用户看来的图，显示模式P1)。
图10B是表示共享化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P3)。
图10C是表示共享化动作中的虚拟物体的显示状态的图(从其他用户看来的图，显示模式P4)。
图11是说明共享化动作中决定虚拟物体的形状的图。
图12是表示实施例2的混合现实显示系统的整体结构的框图。
图13A是表示混合现实显示终端(内置服务器功能)3c的硬件结构的图。
图13B是表示混合现实显示终端(内置服务器功能)3c的软件结构的图。
图14是表示实施例2的动作序列的图。
具体实施方式
下面参照附图说明本发明的实施方式。
实施例1
图1A是表示实施例1的混合现实显示系统的整体结构的框图。本实施例的混合现实显示系统10是在网络2上连接服务器1和用户用的多个混合现实显示终端3a、3b而构成的。此处，混合现实显示终端有2台，但当然也可以由2台以上的多台终端构成。作为混合现实显示终端，例如有佩戴在用户头部使用的头戴式显示器(HMD)。以下，有时将混合现实显示终端简称为“终端”。
服务器1具有保存虚拟物体的属性信息的功能、进行设备认证的功能和进行用户认证的功能。并且包括通信I/F，具有通过网络2与混合现实显示终端(终端)3a、3b进行通信的功能。服务器1具有影像/声音输出功能，将服务器所保存的虚拟物体的属性信息输出至终端3a、3b，并且具有输入功能，能够修改服务器内部的程序和功能等。
另一方面，混合现实显示终端(终端)3a、3b包括通信I/F，通过网络2接受服务器1的用户认证，进而接收服务器1中保存的虚拟物体的数据和用户认证信息。终端3a、3b包括影像输出部和声音输出部，具有基于从服务器1接收的虚拟物体的数据，输出并显示虚拟物体的影像和声音，进而对其进行修改的功能。
具有这样的功能，即，适当地调整并输出影像和声音，使得在此时用户感知到输出的影像和声音的情况下，能够获得仿佛虚拟物体和虚拟声音存在于现实空间的特定位置那样的感觉。为此，终端3a、3b包括检测其位置和加速度信息的单元，并具有使用该位置、加速度信息来动态地生成影像和声音的功能。
图1B是表示图1的混合现实显示系统10提供的同时存在共享虚拟物体和个人虚拟物体的混合现实空间之一例的图。此处表示了2个用户4a、4b分别在头部佩戴终端(HMD)3a、3b，在混合现实空间中操作虚拟物体的状况。在用户4a的视野5a中通过终端3a呈现出了共享虚拟物体7和个人虚拟物体8。并且，在用户4b的视野5b中通过终端3b同样地呈现出了共享虚拟物体7和个人虚拟物体8。而且，用户4a处于正在对个人虚拟物体8进行某种操作的状态。
接着，对混合现实显示终端3a、3b和服务器1的内部结构进行说明。
[混合现实显示终端的内部结构]
图2A是表示混合现实显示终端3a、3b的硬件结构的图。此处，假定终端3a和终端3b采用相同结构进行说明，但并不必须是相同的结构。
距离传感器200检测用户的手的动作及其与现实空间中的物体的距离。陀螺仪传感器201和加速度传感器202准确地测量终端的位置和加速度。通信I/F 203通过网络2与服务器1通信。进而，内侧摄像机204检测用户的视线方向，外侧摄像机205拍摄现实空间。
控制部209通过存储器(memory)210中的各种程序功能部214读取保存在存储部(storage)211中的各种数据212和程序213，来整合上述各种传感器和摄像机影像，生成虚拟的物体的影像和声音。然后，将该虚拟物体的影像和声音调整为存在于现实空间的特定位置、方向上。
生成的虚拟物体的影像和声音从影像输出部206和声音输出部207输出并显示。输入单元208接受用户以触觉或声音进行的操作输入。上述各模块通过总线215连接。
由此，看到终端3a、3b的影像或者听到声音的用户，能够获得仿佛虚拟物体和虚拟声音存在于现实空间中的特定位置那样的感觉。另外，关于以位于现实空间的特定位置、方向上的方式生成虚拟物体的影像和声音的技术(混合现实，MR＝Mixed Reality)，当前已公布了多种技术，作为一例，专利文献1中亦公开了这样的技术。
图2B是表示混合现实显示终端3a、3b的软件结构的图。此处表示了图2A中的存储器210和存储部211的结构。
存储部211保存了各种数据302、视线方向检测程序303、脸部位置/方向检测程序304、影像生成程序305、声音生成程序306、通信控制程序307。这些数据和程序由存储器210中的设备控制部301分别调用至存储器，来实现各种功能。另外，这些数据和程序也可以预先保存在存储器210中。
在下面的说明中，为简单起见，将设备控制部301执行各程序而实现的各种功能，视为以各种程序功能部为主体实现的来进行说明。
视线方向检测程序303基于从内侧摄像机204得到的图像信息检测用户的视线方向。下文也将视线方向检测程序303和内侧摄像机204称作“视线检测部”。
动作检测程序308基于从距离传感器200和外侧摄像机205等得到的信息，检测用户在现实空间中进行的动作。此处的动作指的是例如使手从特定位置移动至特定位置、握紧手、张开手等动作。关于根据距离传感器信息和摄像机信息检测用户的动作的方法，目前已知多种方法，参考文献1中公开了一例。
[参考文献1]
Zhou Ren,et al.“Robust hand gesture recognition with kinect sensor.”Proceedings of the 19th ACM international conference on Multimedia.ACM,2011.
动作检测程序308可以还具有根据输入到输入单元208的声音的音量和发言内容等，作为“语音动作”进行检测的功能。作为根据声音检测发言内容的方法能够使用语音识别技术。关于语音识别技术，目前已知多种方法，参考文献2中公开了一例。
[参考文献2]
Lawrence R.Rabiner and Biing-Hwang Juang.“Fundamentals of speechrecognition.”(1993).
下文中也将距离传感器200、外侧摄像机205、输入单元208和动作检测程序308称作“动作检测部”。
脸部位置/方向检测程序304基于陀螺仪传感器201和加速度传感器202的信号，检测该空间内的用户的脸部的位置和方向。这些信息在影像生成程序305和声音生成程序306中供生成虚拟物体和虚拟声音时使用。
影像生成程序305根据利用脸部位置/方向检测程序304得到的脸部的位置和方向的信息、从内侧摄像机205得到的图像，来生成用于从影像输出部206输出的影像。该影像被调整成，感知到它的用户能够获得虚拟物体仿佛存在于现实空间的特定位置那样的感觉。
声音生成程序306根据利用脸部位置/方向检测程序304得到的脸部的位置和方向的信息、从内侧摄像机205得到的图像，来生成用于从声音输出部207输出的声音。该声音被调整成，感知到它的用户能够获得虚拟物体仿佛存在于现实空间的特定位置那样的感觉。
通信控制程序307通过通信I/F 203与服务器1进行通信。此处通信的内容是虚拟物体的属性信息(数据)和用户认证信息等，但也可以包括除此以外的信息。
[服务器的内部结构]
图3A是表示服务器1的硬件结构的图。
存储部235保存用于使该服务器工作的各种数据237、程序238和用于控制终端3a、3b的虚拟物体属性信息239、用户认证信息240以及设备管理信息241。这些数据和程序由控制部233通过存储器234中的各种程序功能部236读取至存储器加以执行。
通信I/F 231通过网络2与终端3a、3b进行通信。此处通信的内容是虚拟物体属性信息239的数据和用户认证信息240，但也可以包括除此以外的数据。
输入单元232接受用户的操作输入，并且也能够按照用户输入来修改服务器1的内部数据。影像输出部242和声音输出部243对用户显示服务器1的内部数据(虚拟物体属性信息239等)。上述各模块通过总线244连接。
[服务器的软件结构]
图3B是表示服务器1的软件结构的图。此处表示了图3A中的存储器234和存储部235的结构。
存储部235保存各种数据335、用户位置/方向检测程序336、通信控制程序337、虚拟物体属性信息239、用户认证信息240、设备管理信息241。存储器234保存设备控制部331、虚拟物体管理部332、用户管理部333、设备管理部334。
虚拟物体管理部332基于保存在存储部235中的虚拟物体属性信息239，对混合现实空间中的虚拟物体的位置、方向、形状、用户的操作权限等进行管理。并且，基于经通信I/F 231得到的来自各终端3a、3b的信息，对虚拟物体属性信息239进行修改。另外，也能够基于来自输入单元232的用户的操作，对虚拟物体属性信息239进行修改。进而，还能够将虚拟物体属性信息239中记载的信息通过影像输出部242和声音输出部243显示给用户。
用户管理部333管理用于对每个用户进行认证的用户认证信息240、和用于认证用户持有的终端的设备认证信息241。这些信息240、241被保存在存储部235中。用户管理部333通过通信I/F 231从各终端3a、3b(输入单元208)上的用户输入中取得用户名和密码等用户认证信息，确认是否是正当的注册用户。在用户认证信息不正确的情况下，返回错误信息。用户名和密码也能够预先保存在各终端3a、3b的存储部211中，无需用户每次进行输入就能够进行认证。
设备管理部334按照保存在存储部235中的设备管理信息241，将与终端3a、3b通信所需的信息发送至通信控制程序337。
存储部235中保存的各数据和程序在保存于存储器234中的设备控制部331的控制下，读取至存储器234加以执行。另外，存储部235中保存的各数据和程序也可以预先保存在存储器234中。
在后面的说明中，为简单起见，将设备控制部331执行各程序而实现的各种功能，视为以各种程序功能部作为主体实现的进行说明。
用户位置/方向检测程序336基于通过通信I/F 231从各终端3a、3b得到的信息，检测各终端3a、3b的位置和方向。这些信息也可以通知给各终端3a、3b。
通信控制程序337控制与终端3a、3b的通信。此处通信的内容是虚拟物体属性信息239和用户认证信息240，但也可以包括除此以外的信息。
[数据格式]
下面说明服务器1中保存的各种信息的数据格式。
图4A是表示服务器1的虚拟物体管理部332所管理的虚拟物体属性信息239的例子的数据表。虚拟物体属性信息239中记载了虚拟物体ID401、虚拟物体名402、虚拟物体的方向403、虚拟物体的位置404、虚拟物体的颜色/形状405、表示虚拟物体之间的复制关系的复制源406和复制目的地407、用户的操作权限408等信息。另外，共享/个人项目409是说明用的项目。
虚拟物体名402、虚拟物体的方向403、虚拟物体的位置404、虚拟物体的颜色/形状405是用于在终端3a、3b上显示虚拟物体的数据。本例中，虚拟物体ID＝2、3是对全部用户或特定群组赋予了操作权限408的“共享”虚拟物体。虚拟物体ID＝1、4是对特定用户1赋予了操作权限408的“个人”虚拟物体。另外，表示了个人虚拟物体ID＝4是从共享虚拟物体ID＝3复制而得的情况。
图4B是表示服务器1的用户管理部333所管理的用户认证信息240的例子的数据表。用户认证信息240中记载了用户ID(管理编号)411、密码412等。除此以外，也可以记载用户名、姓名、住址和联系方式等。另外，除了基于密码412的用户认证以外，也可以是指静脉或指纹、语音、脸部图像、虹膜等一般的生物认证等，该情况下能够适当地改变用户认证信息240的项目。
图4C是表示服务器1的设备管理部334所管理的设备管理信息241的例子的数据表。设备管理信息241中记载了各终端的设备ID(管理编号)421、设备名422、设备密码423、设备IP地址424等。
[动作序列]
图5是表示实施例1的动作序列的图。此处，说明进行虚拟物体的“个人化动作”和“共享化动作”时服务器1与终端3a(用户4a)、终端3b(用户4b)之间的通信。这里的个人化动作指的是，对共享虚拟物体进行复制来生成个人虚拟物体，从而切换为仅特定用户具有操作权限的虚拟物体。另一方面，“共享化动作”指的是，将个人虚拟物体合并(merge，融合)到共享虚拟物体，从而切换为各用户均具有操作权限的新的共享虚拟物体。
当服务器1、混合现实显示终端3a、混合现实显示终端3b启动时，在服务器1内生成符合虚拟物体属性信息239的虚拟物体数据(序列S101)。从终端3a(用户4a)对服务器1发送用户认证信息(或设备管理信息)，与服务器1内的用户认证信息240(或设备管理信息241)进行对照。若认证成功，将虚拟物体数据发送到终端3a。在终端3a中，基于接收到的虚拟物体数据，利用影像生成程序305和声音生成程序306生成虚拟物体的影像和声音，从影像输出部206和声音输出部207输出并显示(序列S102)。
另一方面，对终端3b(用户4b)也同样地进行用户认证，若认证成功，在终端3b中也输出并显示虚拟物体的影像和声音(序列S103)。此处显示的虚拟物体是用户4a和用户4b都具有操作权限的共享虚拟物体。
接着，在显示了虚拟物体的状态下，当用户4a对虚拟物体进行了例如要将物体拉近至手边的动作时，终端3a的动作检测部(外侧摄像机205等传感器和动作检测程序308)将该动作检测为个人化动作(序列S104)。于是，终端3a对服务器1通知检测到个人化动作。在服务器1中，响应于个人化动作，更新虚拟物体属性信息239，复制共享虚拟物体来生成新的个人虚拟物体的数据(序列S105)。此处生成的个人虚拟物体是仅用户4a(终端3a)具有操作权限的物体。
新的个人虚拟物体的数据被发送至终端3a和终端3b，在各终端3a、3b中，基于接收到的虚拟物体数据，修改当前显示中的虚拟物体的显示状态(序列S106、S107)。如后所述，终端3a和终端3b中虚拟物体的显示状态是不同的，这通过服务器1的虚拟物体属性信息239进行管理。
进而，在显示了虚拟物体的状态下，当用户4a进行了使个人虚拟物体靠近共享虚拟物体的动作时，终端3a的动作检测部将该动作检测为共享化动作(序列S108)。于是，终端3a对服务器1通知检测到共享化动作。在服务器1中，响应于共享化动作，更新虚拟物体属性信息239，将个人虚拟物体与共享虚拟物体合并来生成新的共享虚拟物体的数据(序列S109)。此处生成的共享虚拟物体是用户4a和用户4b双方具有操作权限的物体。
新的共享虚拟物体的数据被发送至终端3a和终端3b，在各终端3a、3b中，基于接收到的虚拟物体数据，修改当前显示中的虚拟物体的显示状态(序列S110、S111)。
[共享虚拟物体的个人化]
下面使用图6、7、8说明进行了个人化动作(图5，S104)的情况下的处理。
图6A和图6B是表示在混合现实空间中将共享虚拟物体501切换为个人虚拟物体502的个人化动作的图。此处表示了用户4a对共享虚拟物体501进行了个人化动作，从而从共享虚拟物体501复制得到个人虚拟物体502的例子。本实施例所说的个人化动作指的是，将共享虚拟物体501原样保留，同时生成仅用户4a具有操作权限的个人虚拟物体502。
混合现实显示终端3a、3b的动作检测部(距离传感器200、外侧摄像机205、输入单元208)在用户例如进行了如下所述的特定动作时判断为是个人化动作。
·用手指做出特定形状同时进行将共享虚拟物体拉近的动作。例如，在食指与拇指相搭的状态下将共享虚拟物体拉近。
·做出特定手势之后，进行将共享虚拟物体拉近的动作。例如，使手以绕共享虚拟物体的外周一周的方式移动之后将物体拉近。
·说出“复制”之后，进行将共享虚拟物体拉近的动作。
·将共享虚拟物体拉近之后，说出“复制”。
·在将共享虚拟物体拉近的动作的过程中，说出“复制”。
也可以准备一种机制，使得用户能够登录进行个人化动作时的特定动作。另外，也可以在虚拟物体属性信息239中记载，共享虚拟物体501是否能够通过上述动作复制成个人虚拟物体502(是否许可复制)。从而可以根据该复制许可信息来控制是否将虚拟物体个人化。
图6A表示个人化操作中的用户4a通过终端3a看到的混合现实空间5a。图6B表示其他用户4b通过终端3b看到的混合现实空间5b。如图6A和图6B所示，共享虚拟物体501和之后复制得到的个人虚拟物体502能够被任一用户4a、4b看到，但对用户4a和用户4b以不同的呈现方式(例如颜色、形状、距离、声音等)显示。由此，用户4a、4b能够容易地识别共享虚拟物体501与个人虚拟物体502。下面使用图7A～图7D说明从共享虚拟物体501转移至个人虚拟物体502时的具体的显示状态。
图7A和图7B表示从共享虚拟物体501转移至个人虚拟物体502时，从操作中的用户4a看来的虚拟物体的显示状态。此处假定正在从共享虚拟物体501输出虚拟声音503。另外，图中显示状态按时刻(1)、(2)、(3)的顺序转移。图中的箭头表示用户的手的运动(白色箭头)和虚拟物体的显示位置的移动(灰色箭头)。
图7A是采用＜显示模式P1＞的情况。该情况下，在虚拟物体个人化的转移过程中，共享虚拟物体501的显示位置固定在原本的位置。在时刻(1)，用户4a将手放在共享虚拟物体501上。在时刻(2)，当用户4a进行了将共享虚拟物体501拉近至手边的动作时，终端3a的动作检测部判断为是个人化动作，向服务器1通知这一状况。在服务器1中，复制共享虚拟物体501来生成新的个人虚拟物体502，将其发送到终端3a。在终端3a中显示个人虚拟物体502，其显示位置按照动作检测部检测到的手的位置相应调整。最后在时刻(3)，个人虚拟物体502以已拉近至用户4a的手边的方式显示。
在时刻(1)至(3)的过程中，共享虚拟物体501的颜色逐渐变淡，并且其虚拟声音503的音量减小。另一方面，对于新生成的个人虚拟物体502，以颜色逐渐变深并且虚拟声音503的音量也增大的方式进行调整。由此，用户4a可以容易地将共享虚拟物体501切换为个人虚拟物体502，并且能够容易地识别共享虚拟物体501和之后生成的个人虚拟物体502。
图7B是采用＜显示模式P2＞的情况。该情况下，按照用户4a的手的位置与共享虚拟物体501的距离，相应地移动共享虚拟物体501的显示位置。对于与图7A的＜显示模式P1＞的不同点进行说明。
在时刻(2)，当用户4a进行了个人化动作时，在终端3a中，配合用户4a的手的位置显示服务器1生成的个人虚拟物体502。此时，对于共享虚拟物体501，使其移动至共享虚拟物体501的原本的位置与手的位置的中间进行显示(即，使其从原本的位置向手的位置靠近)。
在时刻(3)，当手的位置从共享虚拟物体501的原本的位置离开一定以上距离时，使共享虚拟物体501返回原本的位置显示。个人虚拟物体502与图7A同样地以已拉近至用户4a的手边的方式显示。
图7C和图7D表示从共享虚拟物体501转移至个人虚拟物体502时，从操作中的用户4a以外的其他用户4b看来的显示状态。图中的时刻(1)、(2)、(3)分别对应于图7A、图7B中的时刻(1)、(2)、(3)。
图7C是采用＜显示模式P3＞的情况。该情况下，针对生成的个人虚拟物体502，使其他用户4b看到的位置与用户4a看到的位置相同。在用户4b看到的混合现实空间5b中，在时刻(2)(3)，将用户4a生成的个人虚拟物体502半透明地显示，并且不输出虚拟声音。在时刻(3)，令共享虚拟物体501到个人虚拟物体502的距离为d3，与用户4a看到的位置(图7A或图7B中的距离d1)相等。
另一方面，共享虚拟物体501在时刻(1)(2)采用通常的显示，但在用户4a生成了个人虚拟物体502之后的时刻(3)的阶段，与通常的显示不同地，例如以比通常的颜色更深的颜色显示。由此，其他用户4b能够容易地识别个人虚拟物体502是从共享虚拟物体501复制得到的，不会感到混乱。
另外，时刻(3)时使共享虚拟物体501的颜色变化只是一例，不限定于此。除此以外，也能够采用使轮廓线显示为红色、使之闪烁、显示表示复制的标记、使亮度变化等各种显示状态。
图7D是采用＜显示模式P4＞的情况。该情况下，针对生成的个人虚拟物体502，使其他用户4b看到的位置与用户4a看到的位置不同。即，在时刻(3)，将用户4a生成的个人虚拟物体502显示在与用户4a的手的位置隔开间隔的位置上。令此时的共享虚拟物体501到个人虚拟物体502的距离为d4。由此，对于用户4b而言能够感到个人虚拟物体501位于半空中。
图8是说明图7C与图7D中的个人虚拟物体502的显示位置的差异的图。横轴是从操作中的用户4a看来的个人虚拟物体502的显示位置(与共享虚拟物体501的距离d1)，纵轴是从其他用户4b看来的个人虚拟物体502的显示位置(与共享虚拟物体501的距离d3、d4)。
在图7C的＜显示模式P3＞下，从其他用户4b看来的个人虚拟物体502的显示位置(d3)与从操作中的用户4a看来的个人虚拟物体502的显示位置(d1)相等。与此相对，在图7D的＜显示模式P4＞下，从其他用户4b看来的个人虚拟物体502的显示位置(d3)小于从操作中的用户4a看来的个人虚拟物体502的显示位置(d1)。
通过采用图7D的＜显示模式P4＞，在用户4a生成了个人虚拟物体502的时刻(3)，对于用户4b而言，能够感到对用户4a来说位于手边的个人虚拟物体502位于半空中。
＜显示模式P4＞的显示方法的优点是这样的，即，在用户4a于手边对个人虚拟物体502进行操作的期间，用户4b能够不被用户4a的手遮挡地观测个人虚拟物体502。另外，能够更容易地识别个人虚拟物体502是从共享虚拟物体501复制生成的，不会感到混乱。
在图7C和图7D中，为了可靠地通知其他用户4b共享虚拟物体501已切换为个人虚拟物体502，有下述方法。
在用户4a进行个人化动作的时刻，用户4b可能正在观看别的方向。该情况下，可以利用用户4b的终端3b中设置的视线检测部(内侧摄像机204、视线检测程序303)检测用户4b的视线方向，在用户4b的视线落到共享虚拟物体501上的时刻，切换共享虚拟物体501的显示状态(例如颜色)。由此，用户4b不会看漏共享虚拟物体501的个人化切换。
另外，在用户4a进行个人化动作的位置远离用户4b的位置的情况下，可以利用距离传感器200检测共享虚拟物体501与终端3b的距离，在该距离接近规定距离的时刻，切换共享虚拟物体501的显示状态(例如颜色)。由此，用户4b不会看漏共享虚拟物体501的个人化切换。
另外，也可以利用加速度传感器202检测用户4b(终端3b)靠近共享虚拟物体501的速度或加速度，在超过规定速度或规定加速度的情况下切换显示状态(例如颜色)。由此，用户4b在靠近共享虚拟物体501时，不会看漏该虚拟物体向个人虚拟物体的切换。
[个人虚拟物体的共享化]
下面使用图9、10、11说明检测到共享化动作(图5，S108)的情况下的处理。
图9A和图9B是表示在混合现实空间中将个人虚拟物体601切换为共享虚拟物体602的共享化动作的图。此处表示了用户4a对个人虚拟物体601进行了共享化动作，从而将个人虚拟物体601合并到共享虚拟物体602上的例子。本实施例所说的共享化动作指的是，根据个人虚拟物体601和共享虚拟物体602生成新的1个共享虚拟物体602来反映个人虚拟物体601的特征，并且通过实施共享化而对其他用户4b也赋予操作权限。
混合现实显示终端3a、3b的动作检测部在用户例如进行了如下所述的特定动作时判断为是共享化动作。
·用手指做出特定形状同时进行使个人虚拟物体靠近共享虚拟物体的动作。例如，在食指与拇指相搭的状态下使个人虚拟物体靠近共享虚拟物体。
·做出特定手势之后，进行使个人虚拟物体靠近共享虚拟物体的动作。例如，使手以绕个人虚拟物体的外周一周的方式移动之后，使个人虚拟物体靠近共享虚拟物体。
·说出“合并”之后，进行使个人虚拟物体靠近共享虚拟物体的动作。
·使个人虚拟物体靠近共享虚拟物体之后，说出“合并”。
·在使个人虚拟物体靠近共享虚拟物体的动作的过程中，说出“合并”。
也可以准备一种机制，使得用户能够登录进行共享化动作时的特定动作。
图9A表示共享化操作中的用户4a通过终端3a看到的混合现实空间5a。图9B表示其他用户4b通过终端3b看到的混合现实空间5b。图9A和图9B表示了这样的操作，即，通过进行使个人虚拟物体601靠近共享虚拟物体602的动作，来将该2个虚拟物体合并。此处也是，个人虚拟物体601和共享虚拟物体602对用户4a和用户4b以不同的呈现方式(例如颜色、形状、距离、声音等)显示。由此，用户4a、4b能够容易地识别个人虚拟物体601与共享虚拟物体602。下面使用图10A～图10C说明从个人虚拟物体601转移至共享虚拟物体602时的具体的显示状态。
图10A表示从个人虚拟物体601转移至共享虚拟物体602时，从操作中的用户4a看来的虚拟物体的显示状态。此处假定正在从共享虚拟物体601输出虚拟声音603。另外，图中显示状态按时刻(1)、(2)、(3)的顺序转移。图中的箭头表示用户的手的运动(白色箭头)和虚拟物体的显示位置的移动(灰色箭头)。该显示模式对应于图7A的＜显示模式1＞。
在时刻(1)，用户4a将手放在个人虚拟物体601上。在时刻(2)，当用户4a进行了使个人虚拟物体601靠近共享虚拟物体602的动作时，终端3a的动作检测部判断为是共享化动作，向服务器1通知这一状况。在服务器1中，将个人虚拟物体601与其复制源即共享虚拟物体602合并来生成新的共享虚拟物体602，将其发送到终端3a。在时刻(3)，利用终端3a以原本的显示状态(较深的颜色)显示新的共享虚拟物体602。
在时刻(1)至(3)的过程中，共享虚拟物体602的颜色逐渐变深，并且其虚拟声音604的音量增大。另一方面，对于个人虚拟物体601，以颜色逐渐变淡并且虚拟声音603的音量也减小的方式进行调整。由此，用户4a能够容易地将个人虚拟物体601切换为共享虚拟物体602。
图10B和图10C表示从个人虚拟物体601转移至共享虚拟物体602时，从其他用户4b看来的虚拟物体的显示状态。图中的时刻(1)、(2)、(3)分别对应于图10A中的时刻(1)、(2)、(3)。
图10B是采用＜显示模式P3＞的情况。该情况下，如图8所说明的那样，关于个人虚拟物体601，使其他用户4b看到的位置与用户4a看到的位置相同。
在时刻(1)，在用户4b看到的混合现实空间5b中，用户4a的个人虚拟物体601被半透明地显示，共享虚拟物体602以较深的颜色显示。即，共享虚拟物体602到个人虚拟物体601的距离d3，与用户4a看到的位置(图10A中的距离d1)相等。在时刻(2)，用户4a进行使个人虚拟物体601靠近共享虚拟物体602的动作，由此在时刻(3)，两个虚拟物体被合并，新的共享虚拟物体602以通常的颜色显示。
由此，用户4b能够容易地识别个人虚拟物体601和共享虚拟物体602，且容易地识别共享虚拟物体602是从个人虚拟物体601合并得到的，不会感到混乱。
图10C是采用＜显示模式P4＞的情况。该情况下，如图8所说明的那样，关于个人虚拟物体601，使其他用户4b看到的位置与用户4a看到的位置不同。即，在时刻(1)，使共享虚拟物体602到个人虚拟物体601的距离d4比用户4a看到的位置(图10A中的距离d1)小。由此，对于用户4b而言，能够感到个人虚拟物体601位于半空中。由此，用户4b能够不被用户4a的手遮挡地观测个人虚拟物体601。
图11是说明共享化动作中决定虚拟物体的形状的图。通常来说，个人虚拟物体601和要与其合并的共享虚拟物体602的形状是不同的。因此，在合并这些虚拟物体时，对于各虚拟物体的形状的差异中的互不包含的部位，能够由用户4a依次确认是否在新的共享虚拟物体中采用(结合)。
在时刻(1)，个人虚拟物体601是从共享虚拟物体602复制得到的。在复制后，通过用户4a的操作，新生成了个人虚拟物体601a和个人虚拟物体601b，并且与个人虚拟物体601结合。此处，进行将个人虚拟物体601、601a、601b的集合体合并到复制源的共享虚拟物体602上的操作。
在时刻(2)，用户4a选择是否将第一差异即个人虚拟物体601a结合到共享虚拟物体602上。此处的选择处理使用手势、语音识别等方法。例如，假定选择了要将个人虚拟物体601a结合到共享虚拟物体602上。接着，在时刻(3)，选择是否将第二差异即个人虚拟物体601b结合到共享虚拟物体602上。此处假定用户4a否决了个人虚拟物体601b的结合。结果，最终如时刻(4)那样，生成在共享虚拟物体602上结合了个人虚拟物体601a得到的新的共享虚拟物体的集合体。
另外，图11中对结合新生成的个人虚拟物体的情况进行了说明，但在对个人虚拟物体本身施加了变更的情况下，也能够用同样的流程进行是否将个人虚拟物体与共享虚拟物体合并的选择操作。
这样，采用实施例1，在混合现实空间中，不仅是操作中的用户还包括其他用户在内，能够不会感到混乱地流畅地进行共享虚拟物体与个人虚拟物体的切换。
实施例2
实施例2采用了将实施例1中服务器1执行的全部功能内置在混合现实显示终端内的结构。因此，不需要实施例1中的服务器1。下面针对与实施例1不同之处进行说明。
图12是表示实施例2的混合现实显示系统的整体结构的框图。本实施例的混合现实显示系统10＇由网络2、用户用的多个混合现实显示终端3c、3b构成。其中，混合现实显示终端3c是内置了服务器功能的终端。
图13A是表示混合现实显示终端(内置服务器功能)3c的硬件结构的图。终端3b的结构与实施例1的图2A相同。在终端3c中，在存储部211中追加保存服务器1中的虚拟物体属性信息239、用户认证信息240、设备管理信息241。各模块的作用与实施例1的图3A中说明的相同。
图13B是表示混合现实显示终端(内置服务器功能)3c的软件结构的图。终端3b的结构与实施例1的图2B相同。此处表示了图13A中的存储器210和存储部211的结构。
在终端3c中，存储器210中追加保存了服务器1中的虚拟物体管理部332、用户管理部333、设备管理部334。另外，在存储部211中追加保存了服务器1中的用户位置/方向检测程序336、虚拟物体属性信息239、用户认证信息240、设备管理信息241。各模块的作用与实施例1的图3B中说明的相同。
图14是表示实施例2的动作序列的图。该动作序列中，终端3c兼具实施例1中的服务器1的作用。因此，省略了实施例1(图5)中存在的终端3a与服务器1之间的通信。即，在终端3c上进行了个人化动作(S104)和共享化动作(S108)时，更新内置的虚拟物体属性信息239(S105、S109)，对自身所显示的虚拟物体的显示状态进行修改(S106、S110)。并且，将更新后的虚拟物体数据发送给终端3b。除此以外的动作与实施例1(图5)相同。
图14表示了通过终端3c进行个人化动作和共享化动作的情况，但在通过终端3b进行个人化动作和共享化动作的情况下，将个人化动作和共享化动作的检测信息发送到终端3c，与上述同样地，在终端3c上更新内置的虚拟物体属性信息239。
采用实施例2，只要混合现实显示终端与网络连接，就能够由多个用户共享同一混合现实空间，能够简单地进行虚拟物体的协同操作。
另外，上述实施例中由1台混合现实显示终端3c发挥服务器的作用，但也可以构成为，由全部混合现实显示终端分别发挥服务器的作用，共同持有虚拟物体属性信息。
本发明不限于上述实施例，包括各种变形例。上述实施例为了易于理解地说明本发明而对系统整体进行了详细说明，但并不限定于必须具备所说明的全部结构。另外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。
关于上述各结构、功能、处理部、处理单元等，例如可以通过集成电路设计等而用硬件实现其一部分或全部。另外，上述各结构、功能等也可以通过由处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息能够保存在存储器、硬盘、SSD(Solid State Drive)等记录装置或者IC卡、SD卡、DVD等记录介质中。
另外，控制线和信息线表示了说明上必要的部分，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
附图标记说明
1：服务器，
2：网络，
3a、3b：混合现实显示终端(终端)，
3c：混合现实显示终端(内置服务器功能)，
4a、4b：用户，
7、8、501、502、601、602：虚拟物体，
10、10＇：混合现实显示系统，
200：距离传感器，
203、231：通信I/F，
204：内侧摄像机，
205：外侧摄像机，
206、242：影像输出部，
207、243：声音输出部，
208：输入单元，
209、233：控制部，
210、234：存储器(memory)，
221、235：存储部(storage)，
239：虚拟物体属性信息，
332：虚拟物体管理部。

Claims (10)

1.一种混合现实显示系统，其中服务器与多个用户分别使用的多个混合现实显示终端经由网络连接，在现实空间中混合显示虚拟物体，其特征在于：
所述虚拟物体包括对多个混合现实显示终端赋予了操作权限的共享虚拟物体，和仅对特定混合现实显示终端赋予了操作权限的个人虚拟物体，
所述服务器具有用于使所述多个混合现实显示终端显示所述虚拟物体的虚拟物体属性信息，
所述多个混合现实显示终端各自包括动作检测部，其检测用于进行所述共享虚拟物体与所述个人虚拟物体的切换的各用户的动作，
所述服务器在从所述混合现实显示终端接收到所述动作检测部的检测结果时，根据所述虚拟物体是所述共享虚拟物体还是所述个人虚拟物体来更新所述虚拟物体属性信息，将更新后的所述虚拟物体的数据发送到所述多个混合现实显示终端。
2.如权利要求1所述的混合现实显示系统，其特征在于：
所述动作检测部检测所述用户的手的动作或语音输入动作，判断是个人化动作还是共享化动作，其中，所述个人化动作用于复制所述共享虚拟物体来生成所述个人虚拟物体，所述共享化动作用于将所述个人虚拟物体合并到复制源的所述共享虚拟物体。
3.如权利要求1所述的混合现实显示系统，其特征在于：
在所述多个混合现实显示终端之中，在从所述用户接受了所述虚拟物体的切换动作的混合现实显示终端和没有从所述用户接受所述虚拟物体的切换动作的混合现实显示终端上，通过各混合现实显示终端显示的同一虚拟物体的所述虚拟物体属性信息是不同的，对同一虚拟物体用不同的颜色、亮度、形状或声音进行呈现。
4.如权利要求3所述的混合现实显示系统，其特征在于：
在所述动作检测部检测到的所述用户进行的切换动作的过程中，在所述多个混合现实显示终端的每一个上，对同一虚拟物体使要呈现的颜色、亮度、形状或声音逐渐变化来进行呈现。
5.如权利要求3所述的混合现实显示系统，其特征在于：
在从所述用户接受了所述虚拟物体的切换动作的混合现实显示终端和没有从所述用户接受所述虚拟物体的切换动作的混合现实显示终端上，还按照所述虚拟物体与所述用户的距离，将同一虚拟物体显示在不同的位置。
6.如权利要求3所述的混合现实显示系统，其特征在于：
所述多个混合现实显示终端各自包括检测所述用户的视线方向的视线检测部，
在所述混合现实显示终端中，在通过所述视线检测部检测到所述用户的视线落在所述虚拟物体上之后，按照所述虚拟物体属性信息切换所述虚拟物体的显示状态。
7.如权利要求3所述的混合现实显示系统，其特征在于：
所述多个混合现实显示终端各自包括检测混合现实显示终端与所述虚拟物体的距离的距离检测部，
在所述混合现实显示终端中，在通过所述距离检测部检测到该混合现实显示终端与所述虚拟物体靠近至规定距离之后，按照所述虚拟物体属性信息，对所述虚拟物体用不同的颜色、亮度、形状或声音进行呈现。
8.如权利要求3所述的混合现实显示系统，其特征在于：
所述多个混合现实显示终端各自包括检测混合现实显示终端靠近所述虚拟物体的速度或加速度的速度检测部，
在所述混合现实显示终端中，在通过所述速度检测部检测到该混合现实显示终端超过规定速度或加速度地靠近所述虚拟物体之后，按照所述虚拟物体属性信息，对所述虚拟物体用不同的颜色、亮度、形状或声音进行呈现。
9.如权利要求2所述的混合现实显示系统，其特征在于：
在所述动作检测部判断为所述用户的动作是所述共享化动作的情况下，所述服务器在将所述个人虚拟物体合并到所述共享虚拟物体时，针对各虚拟物体的形状的差异之中的互不包含的部位，向所述用户确认是否与新的共享虚拟物体结合。
10.一种混合现实显示系统中的混合现实显示终端，在所述混合现实显示系统中，所述混合现实显示终端经由网络与其他的混合现实显示终端连接，在现实空间中混合显示虚拟物体，其特征在于：
所述虚拟物体包括对多个混合现实显示终端赋予了操作权限的共享虚拟物体，和仅对特定混合现实显示终端赋予了操作权限的个人虚拟物体，
所述混合现实显示终端包括：
存储部，其保存用于使该混合现实显示终端和所述其他的混合现实显示终端显示所述虚拟物体的虚拟物体属性信息；
通信部，其用于与所述其他的混合现实显示终端进行通信；
控制部，其按照所述虚拟物体属性信息生成要通过该混合现实显示终端显示的所述虚拟物体，并经由所述通信部将所述虚拟物体的数据发送到所述其他的混合现实显示终端；
输出部，其输出由所述控制部生成的所述虚拟物体的影像和声音；和
动作检测部，其检测用于进行所述共享虚拟物体与所述个人虚拟物体的切换的用户的动作，
所述控制部在接收到所述动作检测部的检测结果的情况下，或者经由所述通信部从所述其他的混合现实显示终端接收到所述共享虚拟物体与所述个人虚拟物体的切换的信息的情况下，根据所述虚拟物体是所述共享虚拟物体还是所述个人虚拟物体来更新所述虚拟物体属性信息，并将更新后的所述虚拟物体的数据发送到所述其他的混合现实显示终端。
CN201780089714.6A 2017-06-06 2017-06-06 混合现实显示系统和混合现实显示终端 Active CN110520820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310807562.6A CN116841395A (zh) 2017-06-06 2017-06-06 混合现实显示终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020951 WO2018225149A1 (ja) 2017-06-06 2017-06-06 複合現実表示システム及び複合現実表示端末

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310807562.6A Division CN116841395A (zh) 2017-06-06 2017-06-06 混合现实显示终端

Publications (2)

Publication Number Publication Date
CN110520820A true CN110520820A (zh) 2019-11-29
CN110520820B CN110520820B (zh) 2023-07-21

Family

ID=64567088

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780089714.6A Active CN110520820B (zh) 2017-06-06 2017-06-06 混合现实显示系统和混合现实显示终端
CN202310807562.6A Pending CN116841395A (zh) 2017-06-06 2017-06-06 混合现实显示终端

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310807562.6A Pending CN116841395A (zh) 2017-06-06 2017-06-06 混合现实显示终端

Country Status (5)

Country Link
US (3) US10775897B2 (zh)
EP (2) EP3650984B1 (zh)
JP (4) JP6845322B2 (zh)
CN (2) CN110520820B (zh)
WO (1) WO2018225149A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984114A (zh) * 2020-07-20 2020-11-24 深圳盈天下视觉科技有限公司 基于虚拟空间的多人交互系统及其多人交互方法
CN112330819A (zh) * 2020-11-04 2021-02-05 腾讯科技（深圳）有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112957689A (zh) * 2021-02-05 2021-06-15 北京唐冠天朗科技开发有限公司 一种训练远程指导系统和方法
CN113961082A (zh) * 2021-12-21 2022-01-21 潍坊幻视软件科技有限公司 Ar/mr技术中同步专属虚拟内容的系统和同步方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7475620B2 (ja) 2018-08-23 2024-04-30 オージー技研株式会社 運動機能回復訓練装置
JP7194752B2 (ja) 2018-12-13 2022-12-22 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法
CN111784271B (zh) * 2019-04-04 2023-09-19 腾讯科技（深圳）有限公司 基于虚拟对象的用户引导方法、装置、设备及存储介质
WO2020240747A1 (ja) * 2019-05-29 2020-12-03 マクセル株式会社 個人情報表示装置及びその処理方法
US11449131B2 (en) * 2020-07-28 2022-09-20 Qualcomm Incorporated Obfuscated control interfaces for extended reality
US11694413B2 (en) * 2020-08-25 2023-07-04 Spatial Systems Inc. Image editing and sharing in an augmented reality system
WO2022060555A1 (en) 2020-09-16 2022-03-24 Sterling Labs Llc Merging computer-generated objects based on extremity tracking data
CN117296032A (zh) * 2021-04-26 2023-12-26 松下电器（美国）知识产权公司 作业辅助方法、作业辅助装置以及程序
CN114879885B (zh) * 2022-04-18 2024-03-22 上海星阑信息科技有限公司 虚拟对象分组控制方法、装置、设备及存储介质
WO2024047720A1 (ja) * 2022-08-30 2024-03-07 京セラ株式会社 仮想画像共有方法および仮想画像共有システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160246899A1 (en) * 2015-02-25 2016-08-25 Onshape Inc. Multi-User Cloud Parametric Feature-Based 3D CAD System
JP2016525741A (ja) * 2013-06-18 2016-08-25 マイクロソフト テクノロジー ライセンシング，エルエルシー 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト
CN105981375A (zh) * 2014-02-18 2016-09-28 索尼公司 信息处理设备、控制方法、程序和系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038746A (ja) * 2002-07-05 2004-02-05 Toshiba Corp 画像編集方法および画像編集システム
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US8175420B2 (en) * 2007-05-14 2012-05-08 Google Inc. System and method for in-browser photo editing
JP2010061290A (ja) 2008-09-02 2010-03-18 Konica Minolta Holdings Inc 情報処理方法、情報処理装置およびプログラム
JP2011070511A (ja) 2009-09-28 2011-04-07 Sony Corp 端末装置、サーバ装置、表示制御方法、及びプログラム
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8866898B2 (en) * 2011-01-31 2014-10-21 Microsoft Corporation Living room movie creation
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US9398059B2 (en) * 2013-11-22 2016-07-19 Dell Products, L.P. Managing information and content sharing in a virtual collaboration session
JP2016045623A (ja) * 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
EP3062219A1 (en) * 2015-02-25 2016-08-31 BAE Systems PLC A mixed reality system and method for displaying data therein
US20170034227A1 (en) * 2015-07-31 2017-02-02 Cisco Technology, Inc. System and methods for an online conference session
US9818228B2 (en) * 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016525741A (ja) * 2013-06-18 2016-08-25 マイクロソフト テクノロジー ライセンシング，エルエルシー 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト
CN105981375A (zh) * 2014-02-18 2016-09-28 索尼公司 信息处理设备、控制方法、程序和系统
US20160246899A1 (en) * 2015-02-25 2016-08-25 Onshape Inc. Multi-User Cloud Parametric Feature-Based 3D CAD System

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984114A (zh) * 2020-07-20 2020-11-24 深圳盈天下视觉科技有限公司 基于虚拟空间的多人交互系统及其多人交互方法
CN112330819A (zh) * 2020-11-04 2021-02-05 腾讯科技（深圳）有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112330819B (zh) * 2020-11-04 2024-02-06 腾讯科技（深圳）有限公司 基于虚拟物品的交互方法、装置及存储介质
CN112957689A (zh) * 2021-02-05 2021-06-15 北京唐冠天朗科技开发有限公司 一种训练远程指导系统和方法
CN113961082A (zh) * 2021-12-21 2022-01-21 潍坊幻视软件科技有限公司 Ar/mr技术中同步专属虚拟内容的系统和同步方法

Also Published As

Publication number Publication date
JP2022153551A (ja) 2022-10-12
JP2021101345A (ja) 2021-07-08
US10775897B2 (en) 2020-09-15
JP7116206B2 (ja) 2022-08-09
JP7384971B2 (ja) 2023-11-21
US20200241647A1 (en) 2020-07-30
EP3650984B1 (en) 2022-10-26
EP3650984A4 (en) 2021-01-06
JP6845322B2 (ja) 2021-03-17
US20200371602A1 (en) 2020-11-26
CN116841395A (zh) 2023-10-03
JP2024010215A (ja) 2024-01-23
US20210311558A1 (en) 2021-10-07
EP4137918A1 (en) 2023-02-22
CN110520820B (zh) 2023-07-21
EP3650984A1 (en) 2020-05-13
WO2018225149A1 (ja) 2018-12-13
US11068072B2 (en) 2021-07-20
JPWO2018225149A1 (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
CN110520820A (zh) 混合现实显示系统和混合现实显示终端
US11350071B2 (en) Augmented reality based user interfacing
US10776618B2 (en) Mobile terminal and control method therefor
US9122321B2 (en) Collaboration environment using see through displays
US9274599B1 (en) Input detection
US10438394B2 (en) Information processing method, virtual space delivering system and apparatus therefor
EP2998781B1 (en) Communication device, system and method
US8266536B2 (en) Physical-virtual environment interface
KR20190038900A (ko) 단어 흐름 주석
CN110573225A (zh) 视觉数据上的直观增强现实协作
CN105334913B (zh) 一种电子设备
KR102218210B1 (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
KR20230042277A (ko) 확장 현실을 위한 난독화된 제어 인터페이스들
JP2020518842A (ja) バーチャルリアリティーヘッドマウント装置
JP2018124981A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20240020371A1 (en) Devices, methods, and graphical user interfaces for user authentication and device management
CN110286771A (zh) 交互方法、装置、智能机器人、电子设备及存储介质
KR20230043749A (ko) 전자 디바이스들에 대한 적응적 사용자 등록
US20240104859A1 (en) User interfaces for managing live communication sessions
KR20220108427A (ko) 멀미 저감을 위한 vr 컨텐츠 제공 시스템 및 vr 컨텐츠 제공 방법
CN117032465A (zh) 基于用户标识的用户界面和设备设置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220209

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant