CN111527525A - 混合现实服务提供方法及系统 - Google Patents

混合现实服务提供方法及系统 Download PDF

Info

Publication number
CN111527525A
CN111527525A CN201880082881.2A CN201880082881A CN111527525A CN 111527525 A CN111527525 A CN 111527525A CN 201880082881 A CN201880082881 A CN 201880082881A CN 111527525 A CN111527525 A CN 111527525A
Authority
CN
China
Prior art keywords
terminal
mixed reality
modeling data
dimensional modeling
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880082881.2A
Other languages
English (en)
Inventor
安吉宰
洪准杓
金相薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
R Cube
Original Assignee
R Cube
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by R Cube filed Critical R Cube
Publication of CN111527525A publication Critical patent/CN111527525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Evolutionary Computation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种混合现实服务提供方法及执行其的系统。该方法作为服务器的混合现实服务提供方法，其包括：生成用于任意三维建模数据的混合现实会议室的步骤；接收参与上述混合现实会议室的至少一个终端所收集的追踪信息的步骤；基于上述追踪信息，生成针对上述三维建模数据及至少一个对象的虚拟图像的步骤；及将上述虚拟图像发送至上述至少一个终端的步骤，其中，上述追踪信息包括对于各个终端的现实空间的空间识别信息及各个终端的动作信息，上述虚拟图像在上述至少一个终端与现实图像进行合成，显示为混合现实图像。

Description

混合现实服务提供方法及系统
技术领域
本发明涉及一种混合现实服务提供方法及系统，更具体地，涉及可以使多个终端用户在混合现实空间共享三维建模数据的混合现实服务提供方法及系统。
背景技术
近来，随着三维影像处理技术的急速发展，电影、游戏、室内装饰等各种领域正在提供利用虚拟现实(Virtual Reality，VR)或增强现实(Augmented Reality，AR)的服务。在增强现实以后出现的混合现实(Mixed Reality，MR)是将现实图像和由三维建模数据体现的虚拟图像进行合成来显示，以向用户提供现实和虚拟图像的无边界的图像。
一方面，建筑物的设计领域也正在开发一种技术，该技术通过将设计数据三维建模数据化，使得可以更加立体地掌握建筑物的结构。
对于建筑物设计，除了建筑商之外，用于电/燃气等建筑内部设备或装饰等的各种劳务服务商也会参与其中，同时对设计数据进行处理操作。这种现有的共享方式存在着如下隐患，对设计数据进行处理时，由于遗漏或处理错误而导致建筑物的设计效率低。
不仅是建筑物设计领域，鉴于技术的急速发展且各种领域的技术人员需要迅速共享信息的现有趋势，需要提供一种可以使偏远地区的用户实时地共享数据并进行协作的服务。
发明内容
发明所要解决的问题
本发明为解决上述问题，提供混合现实服务提供方法及系统，其可以使多个用户在混合现实空间实时共享三维建模数据并进行远程协作。
并且，本发明提供混合现实服务提供方法及系统，其在混合现实空间，将三维建模数据和多种对象以符合用户的现实空间的方式进行缩放(scaling)并显示。
用于解决问题的方案
用于解决上述问题，根据本发明的混合现实服务提供方法，作为用于提供服务器的混合现实服务的方法，可以包括：生成用于任意三维建模数据的混合现实会议室的步骤；接收参与上述混合现实会议室的至少一个终端所收集的追踪信息的步骤；基于上述追踪信息，生成针对上述三维建模数据及至少一个对象的虚拟图像的步骤；及将上述虚拟图像发送至上述至少一个终端的步骤，其中，上述追踪信息包括对于各个终端的现实空间的空间识别信息及各个终端的动作信息，上述虚拟图像在上述至少一个终端与现实图像进行合成，显示为混合现实图像。
并且，生成上述虚拟图像的步骤可以包括：基于上述各个终端的动作信息，确定上述三维建模数据的显示方向和形状中的至少一个的步骤；根据上述各个终端的空间识别信息，判断平面上
Figure BDA0002547340880000021
的区域的步骤；及在上述平面上的区域内布置上述三维建模数据的步骤。
并且，生成上述虚拟图像的步骤还可以包括，根据上述平面上的区域的大小，将上述三维建模数据的大小进行放大或缩小的步骤。
并且，生成上述虚拟图像的步骤可以包括：生成模拟各个终端的用户的至少一个对象的步骤；及基于上述各个终端的动作信息，确定上述至少一个对象的显示方向和位置中的至少一个的步骤。
并且，确定上述至少一个对象的显示方向和位置中的至少一个的步骤还可以包括：根据上述各个终端的空间识别信息，确定任意的基准点的步骤；根据上述各个终端的空间识别信息，判断上述各个终端的现实空间的大小的步骤；及根据上述各个终端的现实空间的大小，基于上述任意的基准点，对上述至少一个对象进行会聚或分散来布置的步骤。
并且，上述方法还可以包括：通过在上述混合现实图像显示的至少一个用户界面，接收上述三维建模数据的处理请求的步骤；对应于上述处理请求，编辑上述三维建模数据的步骤；基于所编辑的上述三维建模数据，重新生成上述虚拟图像的步骤；及将重新生成的上述虚拟图像发送至上述至少一个终端的步骤。
并且，上述三维建模数据可以为用于建筑物设计的建模数据、关于产品的三维数据及在设计阶段所生成的三维建模数据中的任意一个。
并且，上述方法还可以包括将在上述终端显示的上述混合现实图像发送至监控装置，为上述终端的用户以外的至少一个用户而在上述监控装置显示上述混合现实图像的步骤。
并且，用于解决上述问题，根据本发明的混合现实服务提供系统，作为提供混合现实服务的系统，可以包括：至少一个终端，其在参与混合现实会议室的期间，收集追踪信息并进行发送；及服务器，其生成用于任意三维建模数据的混合现实会议室，且基于从参与上述混合现实会议室的上述至少一个终端接收的上述追踪信息，生成针对上述三维建模数据和至少一个对象的虚拟图像，并发送至上述至少一个终端，其中，上述追踪信息包括对于各个终端的现实空间的空间识别信息及各个终端的动作信息，上述至少一个终端将在上述至少一个终端拍摄的现实图像与上述虚拟图像进行合成，显示为混合现实图像。
并且，上述服务器可以基于上述各个终端的动作信息，确定上述三维建模数据的显示方向和形状中的至少一个，且根据上述各个终端的空间识别信息，判断平面上的区域，并且在上述平面上的区域内布置上述三维建模数据，以生成上述虚拟图像。
并且，上述服务器可以根据上述平面上的区域的大小，将上述三维建模数据的大小进行放大或缩小，以生成上述虚拟图像。
并且，上述服务器可以生成模拟各个终端的用户的至少一个对象，且基于上述各个终端的动作信息，确定上述至少一个对象的显示方向和位置中的至少一个，以生成上述虚拟图像。
并且，上述服务器可以根据上述各个终端的空间识别信息，确定任意的基准点，且根据上述各个终端的空间识别信息，判断上述各个终端的现实空间的大小，并且根据上述各个终端的现实空间的大小，基于上述任意的基准点，对上述至少一个对象进行会聚或分散来布置，以生成上述虚拟图像。
并且，上述终端可以基于通过在上述混合现实图像显示的至少一个用户界面接收的用户输入，将上述三维建模数据的处理请求发送至上述服务器，且上述服务器可以对应于上述处理请求，编辑上述三维建模数据，且基于所编辑的上述三维建模数据，重新生成上述虚拟图像，并且将重新生成的上述虚拟图像发送至上述至少一个终端。
并且，上述三维建模数据可以为用于建筑物设计的建模数据、关于产品的三维数据及在设计阶段所生成的三维建模数据中的任意一个。
并且，上述系统还可以包括监控装置，其从上述终端接收在上述终端显示的上述混合现实图像，为上述终端的用户以外的至少一个用户而显示上述混合现实图像。
发明效果
根据本发明的混合现实服务提供方法及系统，可以在远程用户的混合现实空间中有真实感地实时确认三维建模数据并共享编辑状态，从而实现更有效的协作。
并且，根据本发明的混合现实服务提供方法及系统，在建筑物设计领域可以最大化三维建模数据的使用，并且最小化建筑物设计所需的时间和资源。
附图说明
图1是示出根据本发明的混合现实服务提供系统的网络结构的图。
图2是示出根据本发明的服务器的结构的图。
图3是示出根据本发明的终端的结构的图。
图4是示出根据本发明的终端体现为头戴式显示器装置的一例的图。
图5是示出根据本发明的混合现实服务驱动方法的流程图。
图6是示出根据本发明的三维建模数据的储存方法的流程图。
图7及图8是示出根据本发明的混合现实会议室提供方法的图。
图9及图10是用于说明根据本发明的三维缩放的图。
图11是示出根据本发明的混合现实图像的一例的图。
图12是示出根据本发明的附加实施例的混合现实服务提供系统的网络结构的图。
具体实施方式
在描述本说明书的实施例时，若判断为对相关公知结构或功能的详细说明会影响本说明书的主旨，则省略对其的详细说明。
在本说明书中使用的“包括”以及“可以包括”等表现指所公开的该功能、工作及构成要素等的存在，不限定附加的一个以上的功能、工作及构成要素等。并且，在本说明书中，“包括”或“具备”等术语应理解为，用于指定说明书中所记载的特征、数字、步骤、工作、构成要素、部件或它们的组合的存在，并不事先排除一个以上的其他特征、数字、步骤、工作、构成要素、部件或它们的组合的存在或附加的可能性。
在本说明书中，除了上下文明确其他含义，单数表现包括复数表现。
根据本发明的混合现实服务提供方法及系统可以为建筑物设计所提供。更具体地，根据本发明的混合现实服务提供方法及系统可以构成为，能够在进入混合现实会议室的多个用户终端，将建筑物的设计数据作为三维建模数据显示成混合现实，并且管理(添加、修改及删除等)设计信息。
以下，将参照附图对本发明进行说明。
图1是示出根据本发明的混合现实服务提供系统的网络结构的图。
参照图1，根据本发明的混合现实服务提供系统1可以包括：服务器10，其提供混合现实服务；及至少一个终端20，其接收混合现实服务。
服务器10用于提供根据本发明的混合现实服务，可以是由混合现实服务的提供者运营的网络服务器、应用服务器及域服务器等。
当服务器10从终端20接收提供混合现实服务的请求时，创建混合现实会议室，将对应于参加会议室的终端20的现实空间进行了处理的三维建模数据的虚拟图像提供至终端20。并且提供至终端20的虚拟图像可以与在终端20拍摄的现实图像进行合成，显示为混合现实图像。
终端20与服务器10执行数据通信以接收混合现实服务。
终端20可以包括，诸如蜂窝式电话、智能手机、个人数字助理(personal digitalassistant，PDA)、平板电脑、电脑等便携式单元。尤其，在本发明的多种实施例中，如图4所示，终端20可以由头戴式显示器(Head Mounted Display，HMD)构成，使得使用户更加真实地体验三维建模数据。
服务器10与终端20通过网络相互连接以执行数据通信，并执行用于混合现实服务的控制动作。后续再对此进行详细描述。
图2是示出根据本发明的服务器的结构的图。
参照图2，服务器10可以包括通信部11、控制部12及存储部13。
通信部11可以通过网络与外部收发数据。作为一例，通信部11可以从终端20接收与用户输入对应的请求及生成虚拟图像所需的信息等，并且可以根据控制部12的控制，向终端20发送将合成到现实图像的虚拟图像。
为了提供根据本发明的混合现实服务，控制部12设置为控制服务器10的各个构成要素。更具体地，控制部12可以包括，数据转换部121、混合现实服务提供部122及虚拟图像生成部123。
数据转换部121将二维建模数据转换成三维，以生成三维建模数据。当数据转换部121通过网络从终端20等接收到二维建模数据时，可以利用指定软件(例如，AUTOCAD、autodesk等)将此转换成三维建模数据。并且，当数据转换部121通过网络从终端20等接收的建模数据为三维建模数据时，若不是服务器10用于提供混合现实服务所支持的形式(格式)，则可以将接收的三维建模数据转换为可支持的形式。
在本发明的多种实施例中，三维建模数据可以是用于建筑物设计的建模数据。三维建模数据可以是关于产品的三维数据及在设计阶段所生成的三维建模数据等。尤其，在本发明的多种实施例中，三维建模数据作为建筑信息模型(Building InformationModeling，BIM)数据，可以是工业基准分类(Industry Foundation Classes，IFC)数据，但不限定于此。用于建筑物设计的三维建模数据可以包括关于建筑物的结构、形状、尺寸、材料、材质、颜色、纹路及设备等信息。
一实施例中，当从终端20等接收的数据为预先设定形式的三维建模数据时，可以不执行通过数据转换部121的附加的转换过程。
数据转换部121可以将已转换或已接收的三维建模数据储存在存储部13并进行管理。在本发明的多种实施例中，当由混合现实服务提供部122生成用于终端20的用户账户(user account)时，数据转换部121可以在每个用户账户指定的数据目录中储存该用户的三维建模数据。
混合现实服务提供部122执行用于向终端20提供混合现实服务的多种控制动作。
具体地，混合现实服务提供部122可以生成并管理用于接收混合现实服务的终端20的用户账户。混合现实服务提供部122可以将通过混合现实服务生成或获得的数据与用户账户进行关联，并进行储存和管理。作为一例，混合现实服务提供部122储存并管理用于识别用户账户的识别信息，例如，账号(ID)、密码(PASSWORD)等，并且可以在与用户账户对应的数据目录中储存与该用户账户相关的建模数据及混合现实会议室等，并进行管理。
随着混合现实服务根据终端20的请求而驱动，混合现实服务提供部122可以从终端20接收用于生成虚拟图像所需的信息(例如，追踪信息)，且将接收到的信息传达给虚拟图像生成部123。并且，混合现实服务提供部122可以将虚拟图像生成部123生成的虚拟图像传达给终端20，并在终端20，将虚拟图像与现实图像进行合成，构成为混合现实图像。
在提供混合现实服务的期间，混合现实服务提供部122可以根据从终端20接收的用户输入，对三维建模数据进行编辑并储存。混合现实服务提供部122可以将所编辑的三维建模数据传达给虚拟图像生成部123，以生成基于已编辑的三维建模数据的虚拟图像。当由任意终端20编辑三维建模数据时，基于此，重新生成的虚拟图像可以被发送至该终端20及至少一个其他终端20。因此，接收混合现实服务的至少一个终端20可以同时共享三维建模数据的编辑情况，并且进行协作。
并且，在提供混合现实服务的期间，混合现实服务提供部122可以执行文字聊天、语音聊天、群组通话功能。基于此，混合现实服务提供部122可以将从终端20接收的文字数据及/或语音数据发送给至少一个其他终端。在本发明的多种实施例，语音聊天或群组通话功能可以仅允许特定终端(例如，主终端)输出语音，或根据一键通方式(Push to Talk方式)执行。
虚拟图像生成部123可以基于从终端20接收的追踪信息，生成虚拟图像。追踪信息可以包括，例如对于终端20的现实空间的识别信息(例如，网状网络(mesh network)信息)及终端20的三维旋转、移动信息等。
虚拟图像生成部123可以基于从终端20接收的终端20的追踪信息，旋转或编辑三维建模数据，并布置于特定位置，以生成虚拟图像。或者，虚拟图像生成部123可以基于终端20的追踪信息，将用户界面对象旋转或布置于特定位置，以生成虚拟图像。或者，虚拟图像生成部123可以基于终端20的追踪信息，将模拟用户的对象(例如，化身(avatar))旋转或布置于特定位置，以生成虚拟图像。
在多种实施例中，虚拟图像生成部123可以基于终端20的追踪信息，对三维建模数据进行缩放(放大/缩小)，以生成虚拟图像。或者，虚拟图像生成部123可以基于终端20的追踪信息，对分别模拟至少一个用户的至少一个对象，基于任意基准点进行缩放(会聚/分布/重新布置)，以生成虚拟图像。
上述控制部12的构成要素可以在控制部12内体现为物理上独立的装置，但本发明的技术思想不限定于此。即上述控制部12的构成要素可以在一个物理处理器内模块化或被编程。并且，上述控制部12的构成要素只是根据控制部12的动作方面而划分，上述构成要素的至少一个或全部可以整合为一个构成要素。
存储部13可以储存用于服务器10的动作所需的运营体系、程序及软件等。本发明的多种实施例中，根据控制部12的控制，存储部13可以储存至少一个三维建模数据及用于提供混合现实服务所需的数据(例如，用户界面对象的图像数据及模拟用户的对象的图像数据)。
图3是示出根据本发明的终端的结构的图。
参照图3，根据本发明的终端20可以包括摄像机部21、传感器部22、输入部23、显示部24、输出部25、通信部26、控制部27及存储部28。
摄像机部21形成为具有至少一个摄像机模块，以拍摄用户前方的影像。在本发明的各种实施例中，摄像机部21可以包括深度摄像机(depth camera)，其可以识别用户的现实空间(拍摄对象)的形态和深度感。并且，摄像机部21可以包括红外摄像机，其用于拍摄用户的手势等。
传感器部22可以包括至少一个传感器，其可以检测关于终端20的动作的多种信息。在本发明的多种实施例中，传感器部22可以包括，用于检测终端20的三维旋转或倾斜、移动等动作的陀螺仪传感器或加速度传感器、GPS传感器等。
输入部23可以接收用户的多种输入。输入部23可以包括触控板、键盘、拨动盘(jogdial)、薄膜开关(Dome Switch)及按钮等。并且，在一实施例中，当通过摄像机部21接收用户的手势输入时，输入部23可以执行识别手势的动作，其中，上述手势是通过摄像机部21所拍摄。并且，在多种实施例中，输入部23还可以包括麦克风，其接收诸如用户语音等音频，并处理为电子语音数据。
显示部24能够可视地显示由终端20处理的多种信息。在本发明的多种实施例中，当终端20由头戴式显示器30构成时，显示部24可以包括，用于显示左眼用影像的左眼用显示部及用于显示右眼用影像的右眼用显示部。
输出部25设置为以音频、震动、光等多种形态输出由终端20处理的信息。为此，输出部25可以包括音箱、触觉模块及LED灯等。
通信部26可以通过网络与外部收发数据。作为一例，通信部26可以通过控制部27的控制，向服务器10发送用于接收混合现实服务的多种请求及/或信息，并从服务器10接收对于三维建模数据及/或多种对象的虚拟图像。
控制部27设置为控制各个构成要素，以接收根据本发明的混合现实服务。更具体地，控制部27可以包括数据管理部271、混合现实服务管理部272及混合现实生成部273。
数据管理部271可以根据用户的输入生成建模数据或从服务器10等外部下载建模数据，并执行对建模数据的管理(编辑/删除/储存等)。在多种实施例中，数据管理部271通过驱动多种建模程序(例如，AUTOCAD、autodesk、archiCAD等)，执行建模数据的生成、编辑、转换等。
混合现实服务管理部272控制通过服务器10接收的与混合现实服务相关的动作。
具体地，对应于用户输入，混合现实服务管理部272可以向服务器10发送用于生成/管理用户账户或登录用户账号的请求。混合现实服务管理部272接收用户输入的账号、密码等作为用于生成用户账户或登录用户账号的识别信息，并将此发送至服务器10。
对应于用户输入，混合现实服务管理部272可将由数据管理部271生成的建模数据发送到服务器10或从服务器10下载建模数据。
对应于用户输入，混合现实服务管理部272可以向服务器10发送用于驱动混合现实服务的请求。随着驱动混合现实服务，混合现实服务管理部272可以通过摄像机部21及/或传感器部22收集追踪信息，并向服务器10发送所收集的追踪信息。混合现实服务管理部272可以从服务器10接收基于追踪信息生成的虚拟图像。混合现实服务管理部272将接收的虚拟图像发送至混合现实生成部273，将摄像机部21拍摄的现实图像和虚拟图像进行合成，以生成混合现实图像。
在提供混合现实服务的期间，混合现实服务管理部272可以通过从服务器10接收且由混合现实生成部273显示的至少一个用户界面，接收用户输入，例如用于编辑三维建模数据等的输入。混合现实服务管理部272可以处理用户输入并发送至服务器10，且从服务器10接收对于用户输入的响应并进行处理。
在提供混合现实服务的期间，混合现实服务管理部272为了执行服务器10提供的文字聊天、语音聊天、群组通话等功能，通过输入部23接收文字、音频等，并进行处理后将此发送至服务器10。发送至服务器10的文字、音频等的输入可以通过服务器10发送至同时使用混合现实服务的至少一个其他终端。
混合现实生成部273将通过摄像机部21拍摄的现实图像和从服务器10接收的虚拟图像进行合成，以生成混合现实图像。所生成的混合现实图像可以通过显示部24来显示。
一实施例中，如后述的描述，当终端20由头戴式显示器30构成时，混合现实生成部273可以生成对于混合现实图像的左眼用影像及右眼用影像。所生成的左眼用影像及右眼用影像可以分别显示在头戴式显示器30的左眼用显示部及右眼用显示部。
存储部28可以储存终端20的动作所需的运营体系、程序及软件等。
一方面，在本发明的多种实施例中，如图4所示，终端20可以由头戴式显示器30构成。
头戴式显示器30可以由框架29构成。框架29可以由柔性材质形成，以便容易地佩戴在用户的头部等，例如，可以形成为眼镜形状，以便能佩戴在用户的面部。框架29可以称之为本体部或主体部等。框架29可以设置有上述的摄像机部21、传感器部22、输入部23、显示部24及输出部25等。
显示部24可以设置有在用户佩戴的状态下与左眼和右眼分别对应的左眼用及右眼用显示部24。因此，头戴式显示器30能使用户感受到与左眼用影像和右眼用影像的视差对应的深度感，体验更加真实的混合现实空间。
然而，头戴式显示器30的结构不限于上述的内容，头戴式显示器可以具有多种结构和形态。
以下，通过根据本发明的混合现实服务提供系统1，更具体地描述混合现实服务的提供方法。以下所描述的混合现实服务提供方法，可以通过安装在终端20的应用、程序、软件等来执行，或通过基于HTTP的Web服务来执行。然而，本发明的技术思想并不限定于此，根据本发明的混合现实服务提供方法可以通过多种方式实施。
图5是示出根据本发明的混合现实服务驱动方法的流程图。
参照图5，终端20可以接收用于驱动混合现实服务的用户输入(步骤501)。用于驱动混合现实服务的用户输入可以通过诸如用于提供混合现实服务的应用、程序、软件的驱动；以及移动到提供混合现实服务的网页等进行接收。
对应于用户输入，终端20可以向服务器10发送混合现实服务的驱动请求(步骤502)。
服务器10可以将对于终端10的驱动请求的驱动响应发送至终端20(步骤503)。在多种实施例中，服务器10执行对于终端20的装置认证及/或安全认证等，确定是否要对终端20提供混合现实服务，并向终端20发送驱动响应。
在多种实施例中，可以不单独执行如上的认证过程。
当接收到混合现实服务的驱动响应时，终端20可以实时收集追踪信息(步骤504)。在多种实施例中，终端20可以通过摄像机部21及/或传感器部22收集追踪信息。
作为一例，终端20可以对通过摄像机部21拍摄的现实空间的图像进行分析，识别现实空间的形态、深度感等。通过空间识别，终端20可以识别特定形状的区域(例如，可以显示三维建模数据的平面上的区域)。并且，通过空间识别，终端20可以判断位于用户前方的障碍物(例如，家具等)的形状、大小、位置等。
并且，作为一例，终端20可以通过传感器部22检测终端20的三维旋转或倾斜、移动等动作。
在本发明中，由终端20收集的追踪信息不限于上述的空间识别信息及动作信息，其可以包括用于生成虚拟图像所需要的多种信息，例如，标识识别信息、手势识别信息等。
终端20可以将收集的追踪信息实时地发送至服务器10(步骤505)。
服务器10可以基于接收的追踪信息，生成虚拟图像(步骤506)。具体地，服务器10可以将提供混合现实服务所需的对象生成为虚拟图像。例如，服务器10可以将用户界面对象生成为虚拟图像。用户界面可以包括用于生成账户、登录账户、管理账户、上传/下载建模数据、参与/管理混合现实会议室等的用户界面。
服务器10可以对对象的图像进行作为对应于追踪信息的效果的旋转或缩放。并且，服务器10可以在显示于终端20的显示部24的画面上确定对象的位置。
服务器10可以将生成的虚拟图像发送至终端20(步骤507)。
终端20可以将接收的虚拟图像合成到通过摄像机部21拍摄的现实图像中，以生成混合现实图像(步骤508)。由此生成的混合现实图像可以是，利用混合现实服务所需的用户界面的二维或三维图像布置于终端20所在的现实空间的图像。
终端20可以通过显示部24显示所生成的混合现实图像(步骤509)。
在显示混合现实图像的期间，终端20继续实时收集追踪信息，并将此发送至服务器10。并且，服务器10继续基于接收的追踪信息生成虚拟图像，并将此发送至终端20。终端20将根据实时的追踪信息变化的虚拟图像合成到现实图像中，向用户显示混合现实图像。
在收集追踪信息的期间，终端20可以通过摄像机部21、传感器部22及/或输入部23，检测所输入的用户输入。用户输入可以通过所显示的用户界面接收。作为一例，终端20可以通过生成账户的用户界面，检测用于生成用户账户的用户输入，其中，生成用户账户是用于利用混合现实服务。或者，终端20可以通过账户登录界面，检测用于登录已生成的用户账户的用户输入。
在本发明的多种实施例中，终端20可以通过红外摄像机，识别用户的手势，从而检测用户输入。作为一例，当识别到用手指点特定位置的手势时，终端20可以检测用于执行在手指所点的位置显示的用户界面的用户输入。或者，作为一例，当识别到将所有手指收拢后张开的手势时，终端20可以检测用于显示混合现实会议室目录的用户输入。本发明中，不特别限定对应于用户手势的用户输入的种类或形态。
当检测到用户输入时，终端20执行与其对应的控制动作。例如，当接收到用于生成账户的用户输入或用于登录账户的用户输入时(步骤510)，终端20可以将账户生成请求或账户登录请求发送至服务器10(步骤511)。账户生成请求或账户登录请求可以包括用户的识别信息，例如，账号(ID)、密码(PASSWORD)等。
服务器10响应于接收到的请求，可以为用户生成账户或登录已生成的用户账户(步骤512)。具体地，服务器10可以储存包括在账户生成请求中的用户的识别信息，并且设置数据目录并加载此数据目录，从而能够将与该用户相关的数据与用户的识别信息进行关联，并进行储存。或者，服务器10搜索与用户的识别信息(其包括在账户登录请求)匹配的、预先储存的用户的识别信息，当匹配的用户的识别信息存在时，可以加载对应于搜索到的用户的识别信息储存的数据目录。
服务器10可以将对应于终端20的账户生成请求或账户登录请求的账户响应传送至终端20(步骤513)。例如，服务器10可以从加载的数据目录中提取预先储存的对于建模数据及混合现实会议室的信息。服务器10可以将提取的信息构成为将显示在混合现实图像的对象，从而生成虚拟图像，并将此发送至终端20。此时，构成为虚拟图像的对象可以包括例如建模数据目录及对于混合现实会议室的目录等。
此后，服务器10和终端20可以基于用于利用混合现实服务的用户输入，执行多种动作。例如，服务器10和终端20可以执行关于如下的动作，三维建模数据的生成、编辑、删除、管理、储存、上传、下载等，以及混合现实会议室的生成、编辑、删除、管理、参与等。
以下，如上所述，对可以通过混合现实服务执行的多种操作的实施例，进行进一步详细的说明。
图6是示出根据本发明的三维建模数据的储存方法的流程图。
根据本发明的三维建模数据储存方法，可以在驱动上述混合现实服务以后执行。在一实施例中，三维建模数据储存方法可以在上述账户登录以后执行，但并不限定于此。
参照图6，终端20可以接收用于上传建模数据的用户输入(步骤601)。用于上传建模数据的用户输入可以通过显示为混合现实图像的用户界面来接收。
终端20可以将对应于用户输入选择的建模数据发送至服务器10(步骤602)。
一实施例中，服务器10可以转换接收的建模数据(步骤603)。当接收的建模数据为二维建模数据时，服务器10可以将接收的建模数据转换成预先设定形式的三维建模数据。或者，当接收的建模数据虽是三维建模数据，但不是服务器10用于提供混合现实服务所支持的形式时，服务器10可以将接收的建模数据转换成预先设定形式的三维建模数据。
当从终端20接收的建模数据为预先设定形式的三维建模数据时，可以省略上述的转换过程。
服务器10可以储存三维建模数据(步骤604)。在已登录用户账户的状态下生成三维建模数据时，服务器10可以在对应于该账户的数据目录中储存三维建模数据。
服务器10可以将数据上传响应发送至终端20，其中，数据上传响应包括关于成功储存的三维建模数据的信息(步骤605)。响应可以包括虚拟图像，其中，虚拟图像包括预先储存的三维建模数据的目录等。并且，响应还可以包括关于三维建模数据的原始建模数据的信息、转换信息、上传日期的信息等。
另外，服务器10可以根据从终端20接收的用于编辑及/或管理三维建模数据的请求，对储存的三维建模数据进行编辑、删除、管理及下载。
图7是示出根据本发明的混合现实会议室提供方法的图。
参照图7，终端20可以接收用于生成混合现实会议室的用户输入(步骤701)。用于生成混合现实会议室的用户输入可以通过显示为混合现实图像的用户界面来接收。用于生成混合现实会议室的用户输入可以包括，关于对应于该混合现实会议室的三维建模数据及允许参加该混合现实会议室的用户目录等的信息。其中，三维建模数据可以是预先储存在服务器10的至少一个三维建模数据中的任意一个。
对应于用户输入，终端20可以将混合现实会议室生成请求发送至服务器10(步骤702)。混合现实会议室生成请求可以包括通过用户输入而接收的信息，即对应于混合现实会议室的三维建模数据及允许参加的用户的目录等。
响应于混合现实会议室生成请求，服务器10可以生成混合现实会议室(步骤703)。服务器10可以将识别信息分配到混合现实会议室，且将根据请求选择的三维建模数据进行映射并进行储存。在已登录用户账户的状态下生成混合现实会议室时，服务器10可以在对应于该账户的数据目录中储存混合现实会议室。
服务器10可以将关于所生成的混合现实会议室的信息作为响应发送至终端20(步骤704)。响应可以包括虚拟图像，其中，虚拟图像包括预先设定的混合现实会议室的目录等。并且，响应还可以包括：关于所生成的混合现实会议室的识别信息；关于所对应的三维建模数据的信息；关于允许参加的用户的信息；以及关于所生成的日期的信息等。
在多种实施例中，根据其他终端20'的请求(步骤705)，关于由终端20生成的混合现实会议室的信息，可以发送至其他终端20'(步骤706)。其中，其他终端20'可以是指定为允许参加该混合现实会议室的用户的终端20'。在其他实施例中，关于混合现实会议室的信息也可以由终端20发送至其他终端20'。
以下，生成混合现实会议室的终端20可以称之为主终端或第一终端，要参与混合现实会议室的终端20'可以称之为从属(slave)终端、访客终端或第二终端。
当生成至少一个混合现实会议室时，存在于混合现实服务提供系统1内的至少一个终端20、20'，可以接收用于参加混合现实会议室的用户输入(步骤707)。此时，终端20、20'可以不是生成该混合现实会议室的终端20。在一实施例中，当允许参加混合现实会议室的用户已被指定时，终端20、20'可以是允许参加的用户的终端20'。
对应于用户输入，终端20、20'可以将对应于用户输入的混合现实会议室的参加请求发送至服务器10(步骤708)。
服务器10可以将对于终端20、20'的参加请求的参加响应发送至终端20、20(步骤709)。在多种实施例中，服务器10执行对于终端20、20'的装置认证、安全认证及/或验证允许参加与否等，确定是否接受终端20、20'参加混合现实会议室，并将参加响应发送至终端20、20'。
当接收到对于混合现实会议室的参加响应，终端20、20'实时收集追踪信息(步骤711)，并将所收集的追踪信息发送至服务器10(步骤711)。
服务器10可以基于接收的追踪信息，生成虚拟图像(步骤712)。服务器10可以根据对应于混合现实会议室的三维建模数据生成虚拟图像，并且可以生成对于用户界面对象及/或模拟用户的对象的虚拟图像。
具体地，服务器10可以从追踪信息提取空间识别信息，判断现实空间内的特定形状的区域，例如，平面上的区域(例如，桌面(desk)的上面)。服务器10可以将对应于混合现实会议室的三维建模数据布置于对应于平面上的区域的坐标，以生成虚拟图像。
服务器10可以基于从追踪信息获得的终端20、20'的动作信息，确定三维建模数据的显示方向和形状中的至少一个。例如，服务器10可以对应于三维旋转信息或移动信息，进行旋转或移动。或者，服务器10可以基于根据追踪信息识别的障碍物，将三维建模数据的一部分对应于障碍物的形状进行删除或进行阴影处理，以生成虚拟图像。
并且，服务器10可以识别相对于三维建模数据布置位置的用户的位置和三维旋转方向。服务器10可以将模拟用户的对象(例如，化身)对应于用户的三维旋转方向进行旋转，且布置在对应于用户位置的坐标，以生成虚拟图像。
在多种实施例中，服务器10可以将该用户的识别信息(例如，账号)与所生成的化身进行关联，以生成虚拟图像。或者，在多种实施例中，当混合现实会议室在驱动期间，若执行语音聊天或群组通话功能，服务器10可以将目前正在输出语音的用户的识别信息(例如，箭头等标识或特定颜色)与化身进行关联，以生成虚拟图像。
在本发明的多种实施例中，服务器10可以使用三维缩放而生成虚拟图像。
一例中，第一终端20和第二终端20'所在的现实空间的形态和大小可以不同。并且，一例中，在第一终端20和第二终端20'识别到的桌面的大小也可以不同。此时，当三维建模数据在第一终端20和第二终端20'以规定的大小显示时，如图9所示，在位于具有小桌面的空间的终端，可能不适宜地显示三维建模数据的虚拟图像901。并且，此时，在第一终端20，当第二终端20'的化身显示在基于第二终端20'的现实空间的坐标时，如图9所示，在第一终端20的混合现实图像中，第二终端20'的化身可能布置于不适宜的位置902或脱离空间903。
因此，服务器10可以对应于所识别的平面上的区域的大小，对三维建模数据进行放大或缩小(缩放)，以生成虚拟图像。并且，服务器10可以根据现实空间的大小，基于任意的基准点对模拟用户的对象进行会聚或分散，以生成虚拟图像。其中，基准点可以是显示三维建模数据的位置的中心坐标、被识别的平面上的区域的中心坐标或被识别的平面上的区域的形态的重心坐标等。例如，可以基于第二终端20'的追踪信息，确定第二终端20'的用户的化身的坐标。此时，当第一终端20的现实空间的大小小于第二终端20'的现实空间的大小时，服务器10可以基于显示第一终端20的三维建模数据的位置的中心坐标，对第二终端20′的用户的化身进行会聚，以生成虚拟图像。
如图10所示，通过三维缩放，虚拟图像可以在任何终端适宜地显示在三维建模数据的虚拟图像1001所识别的平面上的区域内，且各个用户的化身1002、1003可以布置并显示在三维建模数据周围的适宜的位置。
服务器10可以将生成的虚拟图像发送至终端20、20'(步骤713)。如上所述，发送至各个终端20、20'的虚拟图像可以是相互不同的图像。
终端20、20'可以将接收的虚拟图像合成到通过摄像机部21拍摄的现实图像，以生成混合现实图像(步骤714)，并通过显示部24来显示(步骤715)。
如上显示的混合现实图像的一例图示于图11。在图11，三维建模数据的虚拟图像1101展示在被识别的平面上的区域，即展示在桌面上。此时，虚拟图像1101可以被缩放，以便适宜地展示在平面上的区域内。并且，模拟至少一个其他终端的用户的至少一个对象1102、1103，布置为对应于该用户的位置和旋转方向。
并且，画面上的部分区域可以显示有至少一个用户界面对象1104、1105，以便执行在混合现实会议室内可利用的控制。用户界面可以包括，用于执行文字聊天、语音聊天、群组通话、生成备忘录、显示参与者信息、管理参与者、选择三维建模数据内的个体以及对三维建模数据的结构、形态、尺寸、材料、材质、颜色、纹路、设备的编辑等的界面。
通过显示的混合现实图像，用户可以认知为，现实空间的桌面上展示有三维建模数据，且现实空间内存在其他终端20'的用户。因此，用户可以感受到，与其他用户一同执行对实际存在于自己所在的现实空间内的三维建模数据的处理操作般的真实感。
在上述的混合现实会议室，服务器10与终端20、20'如实际进行会议般，对三维建模数据进行附加的操作，并实时共享该结果。对此将参照图8进行说明。
参照图8，终端20'可以接收用于三维建模数据的附加操作的用户输入(步骤801)。用于附加操作的用户输入可以通过显示在混合现实图像的三维建模数据及/或用户界面来接收。用于附加操作的用户输入可以包括，用于编辑三维建模数据的结构、形态、尺寸、材料、材质、颜色、设备的信息。
对应于用户输入，终端20可以向服务器10发送对于三维建模数据的处理请求(步骤802)。
响应于三维建模数据的处理请求，服务器10可以将对应于混合现实会议室的三维建模数据进行编辑(步骤803)。对于由三维建模数据内的处理请求所选的个体，服务器10可以对应于处理请求改变大小，或改变布置，或改变颜色、材质、纹路等。
服务器10还可以对三维建模数据执行管理及储存动作，例如，储存已编辑的三维建模数据或作为备份储存编辑前的三维建模数据等。
之后，服务器10可以基于已编辑的三维建模数据生成虚拟图像，并发送至终端20、20'(步骤805)。各个终端20、20'基于从服务器10接收的虚拟图像，生成混合现实图像(步骤806)，且将此进行显示(步骤807)，从而可以实时确认并共享根据任意终端20的三维建模数据的编辑状态。
图12是示出根据本发明的附加实施例的混合现实服务提供系统的网络结构的图。在多种实施例中，如图12所示的实施例的混合现实服务提供系统，可以称之为混合现实服务的监控系统、管理系统及中继系统等。
参照图12，根据本发明附加实施例的混合现实提供系统2可以包括，利用混合现实服务的终端20及监控装置40。
在图12的实施例中，终端20可以是与参照图1至图11所描述的终端20相同的终端20。根据本发明的多种实施例，终端20可以将通过显示部24显示的混合现实图像作为监控图像，发送至外部的监控装置40。向监控装置40发送混合现实图像，可以通过设置于控制部27内的监控提供部等来执行。
在其他实施例中，上述监控图像的提供可以由服务器10来执行。例如，服务器10的混合现实服务提供部122可以将由虚拟图像生成部123生成的混合现实图像作为监控图像发送至监控装置40。
在其他实施例中，监控图像的提供可以由与服务器10和终端20单独设置的监控服务器(或中继服务器)等来执行。监控服务器可以基于从服务器10及/或终端20接收的虚拟图像、现实图像及混合现实图像中的至少一个，生成监控图像，并将此发送至监控装置40。
在多种实施例中，监控图像与通过终端20的显示部24显示的混合现实图像可以是相同的图像。或者，监控图像可以是包括虚拟图像的图像，其中，虚拟图像通过终端20的显示部24来显示。
图12示出了终端20由头戴式显示器构成的例子，但终端20的种类并不限定于此，如上所述，可以利用各种类型的终端20。
监控装置40可以将接收的监控图像通过至少一个显示部进行显示。一实施例中，监控装置40可以由单一的显示器装置构成。
根据上述的本发明，在混合现实提供系统2内的用户中，未直接利用或佩戴终端20的用户，可以通过监控装置40可视地和间接地确认通过终端20输出的画面。这种实施例可以用于管理和开发根据本发明的混合现实提供系统1，并且，可以使更多用户直接/间接地参与由混合现实提供系统1提供的混合现实会议室。
本发明所属技术领域的普通技术人员，在不脱离本发明的本质特性的范围内，可以进行多种修改及变更。并且，本说明书和附图中公开的实施例，仅是为了便于描述本发明的内容，并助于理解所提供的特定例子，本发明的范围并不限定于此。因此，本发明的范围应该解释为，除在此公开的实施例外，基于本发明的技术思想而得出的所有变更或变形的形态都包括在本发明的范围内。
权利要求书(按照条约第19条的修改)
1.一种混合现实服务提供方法，其为用于提供服务器的混合现实服务的方法，其特征在于，包括：
生成用于任意三维建模数据的混合现实会议室的步骤；
接收参与所述混合现实会议室的至少一个终端所收集的追踪信息的步骤；
基于所述追踪信息，生成针对所述三维建模数据及至少一个对象的虚拟图像的步骤；及
将所述虚拟图像发送至所述至少一个终端的步骤，
所述追踪信息包括对于各个终端的现实空间的空间识别信息及各个终端的动作信息，
所述虚拟图像在所述至少一个终端与现实图像进行合成，显示为混合现实图像，
生成所述虚拟图像的步骤包括：
基于所述各个终端的动作信息，确定所述三维建模数据的显示方向和形状中的至少一个的步骤；
根据所述各个终端的空间识别信息，判断平面上的区域的步骤；及
在所述平面上的区域内布置所述三维建模数据的步骤。
2.根据权利要求1所述的混合现实服务提供方法，其特征在于，
生成所述虚拟图像的步骤还包括，
根据所述平面上的区域的大小，将所述三维建模数据的大小进行放大或缩小的步骤。
3.根据权利要求1所述的混合现实服务提供方法，其特征在于，
生成所述虚拟图像的步骤包括：
生成模拟各个终端的用户的至少一个对象的步骤；及
基于所述各个终端的动作信息，确定所述至少一个对象的显示方向和位置中的至少一个的步骤。
4.根据权利要求3所述的混合现实服务提供方法，其特征在于，
确定所述至少一个对象的显示方向和位置中的至少一个的步骤还包括：
根据所述各个终端的空间识别信息，确定任意的基准点的步骤；
根据所述各个终端的空间识别信息，判断所述各个终端的现实空间的大小的步骤；及
根据所述各个终端的现实空间的大小，基于所述任意的基准点，对所述至少一个对象进行会聚或分散来布置的步骤。
5.根据权利要求1所述的混合现实服务提供方法，其特征在于，还包括：
通过在所述混合现实图像显示的至少一个用户界面，接收所述三维建模数据的处理请求的步骤；
对应于所述处理请求，编辑所述三维建模数据的步骤；
基于所编辑的所述三维建模数据，重新生成所述虚拟图像的步骤；及
将重新生成的所述虚拟图像发送至所述至少一个终端的步骤。
6.根据权利要求1所述的混合现实服务提供方法，其特征在于，
所述三维建模数据为用于建筑物设计的建模数据、关于产品的三维数据及在设计阶段所生成的三维建模数据中的任意一个。
7.根据权利要求1所述的混合现实服务提供方法，其特征在于，还包括，
将在所述终端显示的所述混合现实图像发送至监控装置，为所述终端的用户以外的至少一个用户而在所述监控装置显示所述混合现实图像的步骤。
8.一种混合现实服务提供系统，作为提供混合现实服务的系统，其特征在于，包括：
至少一个终端，其在参与混合现实会议室的期间，收集追踪信息并进行发送；及
服务器，其生成用于任意三维建模数据的混合现实会议室，且基于从参与所述混合现实会议室的所述至少一个终端接收的所述追踪信息，生成针对所述三维建模数据和至少一个对象的虚拟图像，并发送至所述至少一个终端，
所述追踪信息包括对于各个终端的现实空间的空间识别信息及各个终端的动作信息，
所述至少一个终端将在所述至少一个终端拍摄的现实图像与所述虚拟图像进行合成，显示为混合现实图像，
所述服务器基于所述各个终端的动作信息，确定所述三维建模数据的显示方向和形状中的至少一个，且根据所述各个终端的空间识别信息，判断平面上的区域，并且在所述平面上的区域内布置所述三维建模数据，以生成所述虚拟图像。
9.根据权利要求8所述的混合现实服务提供系统，其特征在于，
所述服务器根据所述平面上的区域的大小，将所述三维建模数据的大小进行放大或缩小，以生成所述虚拟图像。
10.根据权利要求8所述的混合现实服务提供系统，其特征在于，
所述服务器生成模拟各个终端的用户的至少一个对象，且基于所述各个终端的动作信息，确定所述至少一个对象的显示方向和位置中的至少一个，以生成所述虚拟图像。
11.根据权利要求10所述的服务器的混合现实服务提供系统，其特征在于，
所述服务器根据所述各个终端的空间识别信息，确定任意的基准点，且根据所述各个终端的空间识别信息，判断所述各个终端的现实空间的大小，并且根据所述各个终端的现实空间的大小，基于所述任意的基准点，对所述至少一个对象进行会聚或分散来布置，以生成所述虚拟图像。
12.根据权利要求8所述的混合现实服务提供系统，其特征在于，
所述终端基于通过在所述混合现实图像显示的至少一个用户界面接收的用户输入，将所述三维建模数据的处理请求发送至所述服务器，
所述服务器对应于所述处理请求，编辑所述三维建模数据，且基于所编辑的所述三维建模数据，重新生成所述虚拟图像，并且将重新生成的所述虚拟图像发送至所述至少一个终端。
13.根据权利要求8所述的混合现实服务提供系统，其特征在于，
所述三维建模数据为用于建筑物设计的建模数据、关于产品的三维数据及在设计阶段所生成的三维建模数据中的任意一个。
14.根据权利要求8所述的混合现实服务提供系统，其特征在于，还包括，
监控装置，其从所述终端接收在所述终端显示的所述混合现实图像，为所述终端的用户以外的至少一个用户而显示所述混合现实图像。

Claims (16)

1.一种混合现实服务提供方法，其为用于提供服务器的混合现实服务的方法，其特征在于，包括：
生成用于任意三维建模数据的混合现实会议室的步骤；
接收参与所述混合现实会议室的至少一个终端所收集的追踪信息的步骤；
基于所述追踪信息，生成针对所述三维建模数据及至少一个对象的虚拟图像的步骤；及
将所述虚拟图像发送至所述至少一个终端的步骤，
所述追踪信息包括对于各个终端的现实空间的空间识别信息及各个终端的动作信息，
所述虚拟图像在所述至少一个终端与现实图像进行合成，显示为混合现实图像。
2.根据权利要求1所述的混合现实服务提供方法，其特征在于，
生成所述虚拟图像的步骤包括：
基于所述各个终端的动作信息，确定所述三维建模数据的显示方向和形状中的至少一个的步骤；
根据所述各个终端的空间识别信息，判断平面上的区域的步骤；及
在所述平面上的区域内布置所述三维建模数据的步骤。
3.根据权利要求2所述的混合现实服务提供方法，其特征在于，
生成所述虚拟图像的步骤还包括，
根据所述平面上的区域的大小，将所述三维建模数据的大小进行放大或缩小的步骤。
4.根据权利要求1所述的混合现实服务提供方法，其特征在于，
生成所述虚拟图像的步骤包括：
生成模拟各个终端的用户的至少一个对象的步骤；及
基于所述各个终端的动作信息，确定所述至少一个对象的显示方向和位置中的至少一个的步骤。
5.根据权利要求4所述的混合现实服务提供方法，其特征在于，
确定所述至少一个对象的显示方向和位置中的至少一个的步骤还包括：
根据所述各个终端的空间识别信息，确定任意的基准点的步骤；
根据所述各个终端的空间识别信息，判断所述各个终端的现实空间的大小的步骤；及
根据所述各个终端的现实空间的大小，基于所述任意的基准点，对所述至少一个对象进行会聚或分散来布置的步骤。
6.根据权利要求1所述的混合现实服务提供方法，其特征在于，还包括：
通过在所述混合现实图像显示的至少一个用户界面，接收所述三维建模数据的处理请求的步骤；
对应于所述处理请求，编辑所述三维建模数据的步骤；
基于所编辑的所述三维建模数据，重新生成所述虚拟图像的步骤；及
将重新生成的所述虚拟图像发送至所述至少一个终端的步骤。
7.根据权利要求1所述的混合现实服务提供方法，其特征在于，
所述三维建模数据为用于建筑物设计的建模数据、关于产品的三维数据及在设计阶段所生成的三维建模数据中的任意一个。
8.根据权利要求1所述的混合现实服务提供方法，其特征在于，还包括，
将在所述终端显示的所述混合现实图像发送至监控装置，为所述终端的用户以外的至少一个用户而在所述监控装置显示所述混合现实图像的步骤。
9.一种混合现实服务提供系统，作为提供混合现实服务的系统，其特征在于，包括：
至少一个终端，其在参与混合现实会议室的期间，收集追踪信息并进行发送；及
服务器，其生成用于任意三维建模数据的混合现实会议室，且基于从参与所述混合现实会议室的所述至少一个终端接收的所述追踪信息，生成针对所述三维建模数据和至少一个对象的虚拟图像，并发送至所述至少一个终端，
所述追踪信息包括对于各个终端的现实空间的空间识别信息及各个终端的动作信息，
所述至少一个终端将在所述至少一个终端拍摄的现实图像与所述虚拟图像进行合成，显示为混合现实图像。
10.根据权利要求9所述的混合现实服务提供系统，其特征在于，
所述服务器基于所述各个终端的动作信息，确定所述三维建模数据的显示方向和形状中的至少一个，且根据所述各个终端的空间识别信息，判断平面上的区域，并且在所述平面上的区域内布置所述三维建模数据，以生成所述虚拟图像。
11.根据权利要求10所述的混合现实服务提供系统，其特征在于，
所述服务器根据所述平面上的区域的大小，将所述三维建模数据的大小进行放大或缩小，以生成所述虚拟图像。
12.根据权利要求9所述的混合现实服务提供系统，其特征在于，
所述服务器生成模拟各个终端的用户的至少一个对象，且基于所述各个终端的动作信息，确定所述至少一个对象的显示方向和位置中的至少一个，以生成所述虚拟图像。
13.根据权利要求12所述的服务器的混合现实服务提供系统，其特征在于，
所述服务器根据所述各个终端的空间识别信息，确定任意的基准点，且根据所述各个终端的空间识别信息，判断所述各个终端的现实空间的大小，并且根据所述各个终端的现实空间的大小，基于所述任意的基准点，对所述至少一个对象进行会聚或分散来布置，以生成所述虚拟图像。
14.根据权利要求9所述的混合现实服务提供系统，其特征在于，
所述终端基于通过在所述混合现实图像显示的至少一个用户界面接收的用户输入，将所述三维建模数据的处理请求发送至所述服务器，
所述服务器对应于所述处理请求，编辑所述三维建模数据，且基于所编辑的所述三维建模数据，重新生成所述虚拟图像，并且将重新生成的所述虚拟图像发送至所述至少一个终端。
15.根据权利要求9所述的混合现实服务提供系统，其特征在于，
所述三维建模数据为用于建筑物设计的建模数据、关于产品的三维数据及在设计阶段所生成的三维建模数据中的任意一个。
16.根据权利要求9所述的混合现实服务提供系统，其特征在于，还包括，
监控装置，其从所述终端接收在所述终端显示的所述混合现实图像，为所述终端的用户以外的至少一个用户而显示所述混合现实图像。
CN201880082881.2A 2017-12-19 2018-11-05 混合现实服务提供方法及系统 Pending CN111527525A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170175373A KR101918262B1 (ko) 2017-12-19 2017-12-19 혼합 현실 서비스 제공 방법 및 시스템
KR10-2017-0175373 2017-12-19
PCT/KR2018/013325 WO2019124726A1 (ko) 2017-12-19 2018-11-05 혼합 현실 서비스 제공 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN111527525A true CN111527525A (zh) 2020-08-11

Family

ID=64397855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082881.2A Pending CN111527525A (zh) 2017-12-19 2018-11-05 混合现实服务提供方法及系统

Country Status (4)

Country Link
US (1) US11206373B2 (zh)
KR (1) KR101918262B1 (zh)
CN (1) CN111527525A (zh)
WO (1) WO2019124726A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908771B2 (en) 2019-01-31 2021-02-02 Rypplzz, Inc. Systems and methods for augmented reality with precise tracking
KR102178924B1 (ko) * 2019-02-14 2020-11-13 주식회사 디지포레 Vr을 이용한 시연 제공 방법 및 장치
US10916062B1 (en) * 2019-07-15 2021-02-09 Google Llc 6-DoF tracking using visual cues
US11769301B2 (en) * 2020-08-03 2023-09-26 Urban District Realty, LLC Virtual reality simulations of three-dimensional structures
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11563813B1 (en) 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
US11727643B1 (en) * 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US11776218B1 (en) * 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11798235B1 (en) 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
US11546437B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US10952006B1 (en) * 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11790908B2 (en) * 2021-02-09 2023-10-17 International Business Machines Corporation Extended reality based voice command device management
US11347305B1 (en) * 2021-03-03 2022-05-31 Dell Products L.P. Managing software files of a data center via augmented reality
US12001276B2 (en) 2021-03-22 2024-06-04 Dell Products L.P. System for efficient enterprise dispatching
US11334313B1 (en) * 2021-03-30 2022-05-17 Htc Corporation Managing conferences in virtual environment
US11431557B1 (en) 2021-04-13 2022-08-30 Dell Products L.P. System for enterprise event analysis
US11996996B2 (en) 2021-04-16 2024-05-28 Dell Products L.P. System for view-only command center mode
US11606246B2 (en) 2021-04-28 2023-03-14 Dell Products L.P. System for enterprise alert timeline of a system and service
US11184362B1 (en) * 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
CN113436320B (zh) * 2021-07-01 2024-05-17 山西省交通规划勘察设计院有限公司 基于ifc模型文件的3d模型生成系统及方法
US11831814B2 (en) * 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map
US11823346B2 (en) * 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
EP4371081A1 (en) * 2022-10-04 2024-05-22 Samsung Electronics Co., Ltd. Methods and electronic device for generating xr environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150215351A1 (en) * 2014-01-24 2015-07-30 Avaya Inc. Control of enhanced communication between remote participants using augmented and virtual reality
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端
CN105892626A (zh) * 2014-12-15 2016-08-24 普瑞深视科技(北京)有限公司 用于虚拟现实环境中的下肢运动仿真控制设备
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
KR20170127802A (ko) * 2016-05-12 2017-11-22 한국전자통신연구원 사용자 감성 기반 3차원 건축 설계 모델 생성 장치 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119819B1 (en) * 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US7542040B2 (en) * 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
KR20110066298A (ko) * 2009-12-11 2011-06-17 한국전자통신연구원 협력형 혼합현실 서버, 단말기 및 시스템과 이를 이용한 협력형 혼합 현실 서비스방법
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
KR101505060B1 (ko) 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
KR101923723B1 (ko) * 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
US9854014B2 (en) * 2013-03-14 2017-12-26 Google Inc. Motion data sharing
US9996797B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR101763636B1 (ko) * 2015-10-15 2017-08-02 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
WO2018113740A1 (en) * 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
US11132533B2 (en) * 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US11017217B2 (en) * 2018-10-09 2021-05-25 Midea Group Co., Ltd. System and method for controlling appliances using motion gestures
US10838488B2 (en) * 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US10516853B1 (en) * 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
US10678323B2 (en) * 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
EP3996822A4 (en) * 2019-07-11 2023-07-05 Elo Labs, Inc. INTERACTIVE PERSONAL TRAINING SYSTEM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150215351A1 (en) * 2014-01-24 2015-07-30 Avaya Inc. Control of enhanced communication between remote participants using augmented and virtual reality
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
CN105892626A (zh) * 2014-12-15 2016-08-24 普瑞深视科技(北京)有限公司 用于虚拟现实环境中的下肢运动仿真控制设备
CN105468142A (zh) * 2015-11-16 2016-04-06 上海璟世数字科技有限公司 基于增强现实技术的互动方法、系统和终端
KR20170127802A (ko) * 2016-05-12 2017-11-22 한국전자통신연구원 사용자 감성 기반 3차원 건축 설계 모델 생성 장치 및 방법

Also Published As

Publication number Publication date
US20200329214A1 (en) 2020-10-15
US11206373B2 (en) 2021-12-21
KR101918262B1 (ko) 2018-11-13
WO2019124726A1 (ko) 2019-06-27

Similar Documents

Publication Publication Date Title
CN111527525A (zh) 混合现实服务提供方法及系统
JP7498209B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US11782272B2 (en) Virtual reality interaction method, device and system
US10262465B2 (en) Interactive control station
CN106302427B (zh) 在虚拟现实环境中的分享方法及装置
JP2020091504A (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
CN108322474B (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
KR20200067537A (ko) 가상 환경 회의실 제공 시스템 및 방법
KR20190074936A (ko) 혼합 현실 서비스 제공 방법 및 시스템
JP2023071712A (ja) 動画を配信するためのシステム、方法、及びプログラム
US11030359B2 (en) Method and system for providing mixed reality service
CN114549744A (zh) 一种构建虚拟三维会议场景的方法、服务器和ar设备
JP6737942B1 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
US20240155074A1 (en) Movement Tracking for Video Communications in a Virtual Environment
US11733826B2 (en) Virtual environment interactivity for video communications participants
KR20160136160A (ko) 가상현실 공연시스템 및 공연방법
KR20190085335A (ko) 혼합 현실 서비스 제공 방법 및 시스템
CN114100121A (zh) 操作控制方法、装置、设备、存储介质及计算机程序产品
CN113194329A (zh) 直播互动方法、装置、终端及存储介质
CN112973116A (zh) 虚拟场景画面展示方法、装置、计算机设备及存储介质
KR102528581B1 (ko) 적응형 동시성 제어가 구현 가능한 확장 현실 서버
JP7029118B2 (ja) 画像表示方法、画像表示システム、及び画像表示プログラム
WO2022201944A1 (ja) 配信システム
JP2023123389A (ja) コミュニケーションシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231229