CN111492396A - 混合现实服务提供方法及系统 - Google Patents

混合现实服务提供方法及系统 Download PDF

Info

Publication number
CN111492396A
CN111492396A CN201880082551.3A CN201880082551A CN111492396A CN 111492396 A CN111492396 A CN 111492396A CN 201880082551 A CN201880082551 A CN 201880082551A CN 111492396 A CN111492396 A CN 111492396A
Authority
CN
China
Prior art keywords
terminal
virtual image
mixed reality
building
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880082551.3A
Other languages
English (en)
Inventor
金相薰
金京珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Strain Tongyou E & C
Original Assignee
Strain Tongyou E & C
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180096262A external-priority patent/KR102010030B1/ko
Application filed by Strain Tongyou E & C filed Critical Strain Tongyou E & C
Publication of CN111492396A publication Critical patent/CN111492396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Civil Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Structural Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种混合现实服务提供方法及执行其的系统。该方法作为用于提供服务器的混合现实服务的方法，其包括：加载包括对于任意建筑物的设计信息的三维建模数据的步骤；基于从终端接收的追踪信息，生成针对上述三维建模数据及至少一个用户界面的虚拟图像的步骤；及将上述虚拟图像发送至上述终端的步骤，其中，上述追踪信息包括上述终端的地理位置信息、针对上述终端所在的现实空间的识别信息、三维旋转信息及速度信息中的至少一个，以能根据上述设计信息以实际大小显示上述建筑物的方式生成上述虚拟图像，且在上述至少一个终端，上述虚拟图像与现实图像进行合成，以显示为混合现实图像。

Description

混合现实服务提供方法及系统
技术领域
本发明涉及一种混合现实服务提供方法及系统，更具体地，涉及如下混合现实服务提供方法及系统，其在建筑现场将对应的三维建模数据提供为实际建筑物大小的混合现实图像，使得容易地执行建筑物的管理及维护/修复。
背景技术
近来，随着三维影像处理技术的急速发展，电影、游戏、室内装饰等各种领域正在提供利用虚拟现实(Virtual Reality，VR)或增强现实(Augmented Reality，AR)的服务。在增强现实以后出现的混合现实(Mixed Reality，MR)是将现实图像和由三维建模数据体现的虚拟图像进行合成来显示，以向用户提供现实和虚拟图像的无边界的图像。
一方面，建筑物的设计领域也正在开发一种技术，该技术通过将设计数据三维建模数据化，使得可以更加立体地掌握建筑物的结构。
然而，在现有的建筑物设计领域中，混合现实的应用停留在单纯地认知现实空间，以布置家具等小规模装饰结构物的水平。在实际设计现场中，由于人工检验并管理建筑物的尺寸等，因此存在着消耗大量的人力和时间的问题。
发明内容
发明所要解决的问题
本发明为解决上述问题，提供混合现实服务提供方法及系统，其在建筑现场将对应的三维建模数据显示成实际建筑物大小的混合现实图像。
并且，本发明提供混合现实服务提供方法及系统，其实时编辑并与其他操作者共享在混合现实空间显示为混合现实图像的三维建模数据。
用于解决问题的方案
用于解决上述问题，根据本发明的混合现实服务提供方法，其作为用于提供服务器的混合现实服务的方法，可以包括：加载包括对于任意建筑物的设计信息的三维建模数据的步骤；基于从终端接收的追踪信息，生成针对上述三维建模数据及至少一个用户界面的虚拟图像的步骤；及将上述虚拟图像发送至上述终端的步骤，其中，上述追踪信息可以包括上述终端的地理位置信息、针对上述终端所在的现实空间的识别信息、三维旋转信息及速度信息中的至少一个，并且，以能根据上述设计信息以实际大小显示上述建筑物的方式生成上述虚拟图像，且在至少一个上述终端，上述虚拟图像与现实图像进行合成，以显示为混合现实图像。
并且，生成上述虚拟图像的步骤可以包括：根据上述终端的地理位置信息，获得上述建筑物的外观或内部图像的步骤；根据上述终端的追踪信息，从获得的上述图像内提取与上述终端的正面显示区域对应的一个区域的步骤；及根据提取的上述一个区域，生成虚拟图像的步骤。
并且，生成上述虚拟图像的步骤还可以包括：当上述建筑物由多个楼层构成时，针对根据用户输入或追踪信息选择的任意楼层，获得上述内部图像的步骤。
并且，上述至少一个用户界面可以包括用于进行对上述建筑物的设计信息的添加、编辑、删除、备注管理中的至少一个的用户界面。
并且，生成上述虚拟图像的步骤可以包括，在上述建筑物内的至少一个客体布置用于上述至少一个客体的用户界面，以生成上述虚拟图像的步骤。
并且上述方法还可以包括：通过上述至少一个用户界面，接收对于上述三维建模数据的处理请求的步骤；对应于上述处理请求，编辑上述三维建模数据的步骤；基于已编辑的上述三维建模数据，重新生成上述虚拟图像的步骤；及将重新生成的上述虚拟图像发送至上述终端的步骤。
并且，在将上述虚拟图像发送至上述终端之后，上述混合现实服务提供方法还可以包括：从上述终端接收变更的追踪信息的步骤；基于变更的上述追踪信息，重新生成针对上述三维建模数据和上述至少一个用户界面的虚拟图像的步骤；及将重新生成的上述虚拟图像发送至上述终端的步骤。
并且，用于解决上述问题，根据本发明的混合现实服务提供系统，作为提供混合现实服务的系统，可以包括：终端，其在利用混合现实服务的期间，收集追踪信息并进行发送；及服务器，其加载包括对于任意建筑物的设计信息的三维建模数据，且基于从上述终端接收的上述追踪信息，生成针对上述三维建模数据及至少一个用户界面的虚拟图像，并发送至上述终端，其中，上述追踪信息可以包括上述终端的地理位置信息、针对上述终端所在的现实空间的识别信息、三维旋转信息及速度信息中的至少一个，并且，以能根据上述设计信息以实际大小显示上述建筑物的方式生成上述虚拟图像，且在至少一个上述终端，上述虚拟图像与现实图像进行合成，以显示为混合现实图像。
并且，上述服务器可以根据上述终端的地理位置信息，获得上述建筑物的外观或内部图像，且根据上述终端的追踪信息，从获得的上述图像内提取与上述终端的正面显示区域对应的一个区域，以生成上述虚拟图像。
并且，当上述建筑物由多个楼层构成时，上述服务器可以针对根据从所述终端接收的输入或追踪信息选择的任意楼层，获得上述内部图像。
并且，上述终端可以基于通过上述至少一个用户界面接收的用户输入，将对于上述三维建模数据的处理请求发送至上述服务器，上述服务器可以对应于上述处理请求，编辑上述三维建模数据，且基于所编辑的上述三维建模数据重新生成上述虚拟图像，并发送至上述终端。
发明效果
根据本发明的混合现实服务提供方法及系统，在建筑现场通过混合现实图像，可以将建筑物与实际建筑物大小的三维建模数据进行比较，从而可以容易地执行建筑物的检验、管理及维护/修复。
并且，根据本发明的另一种混合现实服务提供方法及系统，可以实时编辑并与其他操作者共享显示为混合现实图像的三维建模数据。
附图说明
图1是示出根据本发明的混合现实服务提供系统的网络结构的图。
图2是示出根据本发明的服务器的结构的图。
图3是示出根据本发明的终端的结构的图。
图4是示出根据本发明的终端体现为头戴式显示器装置的一例的图。
图5是示出根据本发明的混合现实服务的提供方法的流程图。
图6是示出在根据本发明的混合现实服务提供方法中，执行对三维建模数据的处理的方法的流程图。
图7及图8是示出根据本发明的混合现实图像的一例的图。
具体实施方式
在描述本说明书的实施例时，若判断为对相关公知结构或功能的详细说明会影响本说明书的主旨，则省略对其的详细说明。
在本说明书中使用的“包括”以及“可以包括”等表现指所公开的该功能、工作及构成要素等的存在，不限定附加的一个以上的功能、工作及构成要素等。并且，在本说明书中，“包括”或“具备”等术语应理解为，用于指定说明书中所记载的特征、数字、步骤、工作、构成要素、部件或它们的组合的存在，并不事先排除一个以上的其他特征、数字、步骤、工作、构成要素、部件或它们的组合的存在或附加的可能性。
在本说明书中，除了上下文明确其他含义，单数表现包括复数表现。
根据本发明的混合现实服务提供方法及系统可以为建筑物设计所提供。更具体地，根据本发明的混合现实服务提供方法及系统可以构成为，能够在进入混合现实会议室的多个用户终端，将建筑物的设计数据作为三维建模数据显示成混合现实，并且管理(添加、修改及删除等)设计信息。
以下，将参照附图对本发明进行说明。
图1是示出根据本发明的混合现实服务提供系统的网络结构的图。
参照图1，根据本发明的混合现实服务提供系统1可以包括：服务器10，其提供混合现实服务；及终端20，其接收混合现实服务。
服务器10用于提供根据本发明的混合现实服务，可以是由混合现实服务的提供者运营的网络服务器、应用服务器及域服务器等。
当服务器10从终端20接收提供混合现实服务的请求时，根据三维建模数据生成虚拟图像，并提供至终端20。提供至终端20的虚拟图像可以与在终端20拍摄的现实图象进行合成，显示为混合现实图象。
服务器10可以将用于执行对三维建模数据的附加处理的多种用户界面以虚拟图像的方式提供至终端20。并且，服务器10可以根据通过用户界面接收的用户指令，修改和管理三维建模数据。
终端20与服务器10执行数据通信以接收混合现实服务。终端20可以将从服务器10接收的虚拟图像与在终端20拍摄的虚拟图像进行合成，以生成混合图像，并将其显示为左眼用和右眼用影像，从而使用户在现实空间真实地体验三维建模数据。
在本发明的多种实施例中，三维建模数据可以是用于建筑物设计的建模数据。尤其，三维建模数据作为建筑信息模型(Building Information Modeling，BIM)数据，可以是工业基准分类(Industry Foundation Classes，IFC)数据，但不限定于此。用于建筑物设计的三维建模数据可以包括有关建筑物的结构、形状、尺寸、材料、材质、颜色、纹路及设备等的信息。
服务器10与终端20通过网络相互连接以执行数据通信，并执行用于混合现实服务的控制动作。后续再对此进行详细描述。
图2是示出根据本发明的服务器的结构的图。
参照图2，服务器10可以包括通信部11、控制部12及存储部13。
通信部11可以通过网络与外部收发数据。作为一例，通信部11可以从终端20接收与用户输入对应的请求及生成虚拟图像所需的信息等，并且可以根据控制部12的控制，向终端20发送将合成到现实图像的虚拟图像。
为了提供根据本发明的混合现实服务，控制部12设置为控制服务器10的各个构成要素。更具体地，控制部12可以包括混合现实服务提供部121及虚拟图像生成部122。
混合现实服务提供部121可以执行用于向终端20提供混合现实服务的各种控制动作。
在一实施例中，混合现实服务提供部121可以生成并管理用于接收混合现实服务的终端20的用户账户。混合现实服务提供部121可以将通过混合现实服务生成或获得的数据与用户账户进行关联，并进行储存和管理。作为一例，混合现实服务提供部121储存并管理用于识别用户账户的识别信息，例如，账号(ID)、密码(PASSWORD)等，并且可以在与用户账户对应的数据目录中储存与该用户账户相关的建模数据，并进行管理。
随着混合现实服务根据终端20的请求而驱动，混合现实服务提供部121可以从终端20接收用于生成虚拟图像所需的信息(例如，追踪信息)，且将接收到的信息传达给虚拟图像生成部122。并且，混合现实服务提供部121可以将虚拟图像生成部122生成的虚拟图像传达给终端20，并在终端20，将虚拟图像与现实图像进行合成，构成为混合现实图像。
在提供混合现实服务的期间，混合现实服务提供部121可以根据终端20接收的用户输入，对三维建模数据进行处理，例如，对设计信息的添加、编辑、删除、备注管理等，并进行储存。混合现实服务提供部121可以将所编辑的三维建模数据传达给虚拟图像生成部122，以生成基于已编辑的三维建模数据的虚拟图像。当由任意终端20编辑三维建模数据时，基于此，重新生成的虚拟图像可以发送至该终端20及至少一个其他装置。因此，接收混合现实服务的装置可以共享三维建模数据的编辑情况，并且进行协作。
虚拟图像生成部122可以基于从终端20接收的追踪信息，生成虚拟图像。追踪信息可以包括，例如对于终端20的现实空间的识别信息(例如，网状网格网络(mesh network)信息)及终端20的地理位置信息、三维旋转信息、速度信息等。
虚拟图像生成部122可以基于从终端20接收的终端20的追踪信息，根据三维建模数据生成虚拟图像。虚拟图像生成部122以三维建模数据的实测尺寸生成虚拟图像，并根据追踪信息确定三维建模数据的显示区域等，以生成虚拟图像。
并且，虚拟图像生成部122将用于进行对三维建模数据的处理(例如，设计信息的添加、编辑、删除、备注管理(例如，插入备注、编辑备注、删除备注等))的用户界面生成为虚拟图像。此时，虚拟图像生成部122可以根据客体的三维形象或追踪信息，对用户界面进行旋转或放大/缩小，以生成虚拟图像。
上述控制部12的构成要素可以在控制部12内体现为物理上独立的装置，但本发明的技术思想不限定于此。即上述控制部12的构成要素可以在一个物理处理器内模块化或被编程。并且，上述控制部12的构成要素只是根据控制部12的动作方面而划分，上述构成要素的至少一个或全部可以整合为一个构成要素。
存储部13可以储存用于服务器10的动作所需的运营体系、程序及软件等。本发明的多种实施例中，存储部13可以储存和管理至少一个三维建模数据。一实施例中，可以将至少一个三维建模数据与用户账户及地理位置信息等进行关联并储存。
图3是示出根据本发明的终端的结构的图。
参照图3，根据本发明的终端20可以包括摄像机部21、传感器部22、输入部23、显示部24、输出部25、通信部26、控制部27及存储部28。
摄像机部21形成为具有至少一个摄像机模块，以拍摄用户前方的影像。在本发明的各种实施例中，摄像机部21可以包括深度摄像机(depth camera)，其可以识别用户的现实空间(拍摄对象)的形态和深度感。并且，摄像机部21可以包括红外摄像机，其用于拍摄用户的手势等。
传感器部22可以包括至少一个传感器，其可以检测关于终端20的动作的多种信息。在本发明的多种实施例中，传感器部22可以包括，用于检测用户的地理位置的GPS传感器。并且，传感器部22可以包括，用于检测终端20的三维旋转、倾斜及速度等动作的陀螺仪传感器、速度传感器及加速度传感器等。
输入部23可以接收用户的多种输入。输入部23可以包括触控板、键盘、拨动盘(jogdial)、薄膜开关(Dome Switch)及按钮等。并且，在一实施例中，当通过摄像机部21接收用户的手势输入时，输入部23可以执行识别手势的动作，其中，上述手势是通过摄像机部21所拍摄。并且，在多种实施例中，输入部23还可以包括麦克风，其接收诸如用户语音等音频，并处理为电子语音数据。
显示部24能够可视地显示由终端20处理的多种信息。在本发明的多种实施例中，当终端20由头戴式显示器30构成时，显示部24可以包括，用于显示左眼用影像的左眼用显示部及用于显示右眼用影像的右眼用显示部。
输出部25设置为以音频、震动、光等多种形态输出由终端20处理的信息。为此，输出部25可以包括音箱、触觉模块及LED灯等。
通信部26可以通过网络与外部收发数据。作为一例，通信部26可以通过控制部27的控制，向服务器10发送用于接收混合现实服务的多种请求及/或信息，并从服务器10接收对于三维建模数据及/或多种对象的虚拟图像。
控制部27设置为控制各个构成要素，以接收根据本发明的混合现实服务。更具体地，控制部27可以包括混合现实服务管理部271及混合现实生成部272。
混合现实服务管理部271控制通过服务器10接收的与混合现实服务相关的动作。
具体地，对应于用户输入，混合现实服务管理部271可以向服务器10发送用于生成/管理用户账户或登录用户账号的请求。混合现实服务管理部271接收用户输入的账号、密码等作为用于生成用户账户或登录用户账号的识别信息，并将此发送至服务器10。
对应于用户输入，混合现实服务管理部271可以向服务器10发送用于驱动混合现实服务的请求。随着驱动混合现实服务，混合现实服务管理部271可以通过摄像机部21及/或传感器部22收集追踪信息，并向服务器10发送所收集的追踪信息。混合现实服务管理部271可以从服务器10接收基于追踪信息生成的虚拟图像。混合现实服务管理部271将接收的虚拟图像发送至混合现实生成部272，将摄像机部21拍摄的现实图像和虚拟图像进行合成，以生成混合现实图像。
在提供混合现实服务的期间，混合现实服务管理部271可以通过从服务器10接收且由混合现实生成部272显示的至少一个用户界面，接收用户输入，例如，用于进行对三维建模数据内的任意客体的添加、编辑、删除及备注管理等的输入。混合现实服务管理部271可以处理用户输入并发送至服务器10，且从服务器10接收对于用户输入的响应并进行处理。
混合现实生成部272将通过摄像机部21拍摄的现实图像和从服务器10接收的虚拟图像进行合成，以生成混合现实图像。所生成的混合现实图像可以通过显示部24来显示。
一实施例中，如后述的描述，当终端20由头戴式显示器30构成时，混合现实生成部272可以生成对于混合现实图像的左眼用影像及右眼用影像。所生成的左眼用影像及右眼用影像可以分别显示在头戴式显示器30的左眼用显示部及右眼用显示部。
存储部28可以储存终端20的动作所需的运营体系、程序及软件等。
一方面，在本发明的多种实施例中，如图4所示，终端20可以由头戴式显示器30构成。
头戴式显示器30可以由框架29构成。框架29可以由柔性材质形成，以便容易地佩戴在用户的头部等，例如，可以形成为眼镜形状，以便能佩戴在用户的面部。框架29可以称之为本体部或主体部等。框架29可以设置有上述的摄像机部21、传感器部22、输入部23、显示部24及输出部25等。
显示部24可以设置有在用户佩戴的状态下与左眼和右眼分别对应的左眼用及右眼用显示部24。因此，头戴式显示器30能使用户感受到与左眼用影像和右眼用影像的视差对应的深度感，体验更加真实的混合现实空间。
然而，头戴式显示器30的结构不限于上述的内容，头戴式显示器可以具有多种结构和形态。
以下，通过根据本发明的混合现实服务提供系统1，更具体地描述混合现实服务的提供方法。以下所描述的混合现实服务提供方法，可以通过安装在终端20的应用、程序、软件等来执行，或通过基于HTTP的Web服务来执行。然而，本发明的技术思想并不限定于此，根据本发明的混合现实服务提供方法可以通过多种方式实施。
图5是示出根据本发明的混合现实服务提供方法的流程图。
参照图5，终端20可以接收用于驱动混合现实服务的用户输入(步骤501)。用于驱动混合现实服务的用户输入可以通过诸如用于提供混合现实服务的应用、程序、软件的驱动；以及移动到提供混合现实服务的网页等进行接收。
对应于用户输入，终端20可以向服务器10发送混合现实服务的驱动请求(步骤502)。
服务器10可以将对于终端10的驱动请求的驱动响应发送至终端20(步骤503)。在多种实施例中，服务器10执行对于终端20的装置认证及/或安全认证等，确定是否要对终端20提供混合现实服务，并向终端20发送驱动响应。
在多种实施例中，可以不单独执行如上的认证过程。
在多种实施例中，在混合现实服务的初始驱动之后，服务器10和终端20可以执行用于用户账户生成和/或用户账户登录的动作。具体地，终端20可以根据用户输入，将账户生成请求或账户登录请求发送至服务器10。账户生成请求或账户登录请求可以包括用户的识别信息，例如，账号(ID)、密码(PASSWORD)等。服务器10可以储存包括在账户生成请求中的用户的识别信息，并且设置数据目录并加载此数据目录，从而能够将与该用户相关的数据与用户的识别信息进行关联，并进行储存。或者，服务器10搜索与用户的识别信息(其包括在账户登录请求)匹配的、预先储存的用户的识别信息，当匹配的用户的识别信息存在时，可以加载对应于搜索到的用户的识别信息储存的数据目录。
在部分实施例中，当服务器10不单独提供用户账户相关服务时，可以不执行上述过程。
当接收到混合现实服务的驱动响应时，终端20可以实时收集追踪信息(步骤504)。在多种实施例中，终端20可以通过摄像机部21及/或传感器部22收集追踪信息。终端20收集的追踪信息可以包括地理位置信息、对于现实空间的识别信息、三维旋转信息及速度信息等。
作为一例，终端20可以通过GPS传感器判断终端20的当前地理位置。
并且，终端20可以对通过摄像机部21拍摄的现实空间的图像进行分析，识别现实空间的形态、深度感等。通过空间识别，终端20可以判断位于用户前方的现实空间的地面、建筑物等的形状、大小、位置等。
并且，作为一例，终端20可以通过传感器部22检测终端20的三维旋转或倾斜、速度(移动)等动作。
在本发明中，由终端20收集的追踪信息不限于上述的空间识别信息及动作信息，其可以包括用于生成虚拟图像所需要的多种信息，例如，标识识别信息、手势识别信息等。
终端20可以将收集的追踪信息实时地发送至服务器10(步骤505)。
服务器10加载三维建模数据(步骤506)。在本发明的多种实施例中，三维建模数据可以是包括对于建筑物的设计的三维建模数据。
服务器10可以加载在终端20通过用户输入等选择的三维建模数据。或者，服务器10可以根据接收的追踪信息判断终端20的地理位置，并加载对应于该位置且预先储存的三维建模数据。例如，当终端20位于特定地理位置的建筑现场时，服务器10可以加载对应于该建筑现场设计的建筑物的三维建模数据。
之后，服务器10可以基于接收的追踪信息，生成针对所加载的三维建模数据的虚拟图像(步骤507)。
服务器10可以以如下方式生成虚拟图像：将由三维建模数据制成的建筑物根据设计信息以实际大小显示在通过追踪信息识别的现实空间。此时，服务器10可以基于地理位置信息布置虚拟图像，使该建筑物显示在所设计的位置。根据终端20的地理位置，虚拟图像可以构成为建筑物的外观，或构成为建筑物内部的一个区域。其中，建筑物内部的一个区域可以对应于基于追踪信息(例如，三维旋转信息)从建筑物的外观或内部图像提取的终端20的正面显示区域(显示方向)。
当终端20的地理位置对应于建筑物的内部位置时，服务器10可以由建筑物内部图像的部分来生成虚拟图像。当建筑物由多个楼层构成时，服务器10可以针对通过用户输入等选择的任意楼层，将内部的一个区域生成为虚拟图像。在一实施例中，当该建筑物实际建成后提供根据本发明的混合现实服务时，终端20的用户可以实际位于建筑物的特定楼层。此时，服务器10可以从追踪信息获取终端20的高度信息，并将与此对应的楼层内部的一个区域生成为虚拟图像。
服务器10可以将用户界面生成为虚拟图像，其中，用户界面用于执行对于三维建模数据的处理。这种用户界面可以包括，用于进行对所显示的建筑物的任意客体(例如，墙、天花板、地面、门、窗户、灯等)的结构(位置)、形状、尺寸、材料、材质、颜色、纹路、设备等的添加、编辑、删除的用户界面。并且，用户界面可以包括，用于对所显示的建筑物的任意客体进行备注的插入、编辑、删除的用户界面。并且，用户界面可以包括，用于选择所显示的建筑物的楼层或用于控制对于特定设备的显示(例如，电器设备，燃气设备，供水设备等)的用户界面。
服务器10可以将用户输入布置于所对应的客体，以生成虚拟图像。或者，服务器10可以将用户输入布置于画面中的特定位置(例如，上端部、侧部、下端部等)，以生成虚拟图像。服务器10可以基于追踪信息及/或所对应的客体的布置状态等旋转或放大/缩小用户界面，以生成虚拟图像。
服务器10可以将生成的虚拟图像发送至终端20(步骤508)。
终端20可以将接收的虚拟图像合成到通过摄像机部21拍摄的现实图像中，以生成混合现实图像(步骤509)。由此生成的混合现实图像可以是对应于三维建模数据的建筑物以实际大小布置于终端20所在的现实空间的图像。并且，生成的混合现实图像可以是至少一个用户界面(可执行对所显示的建筑物的任意客体的处理)布置于与该客体对应的位置及/或布置于画面中的特定区域的图像。
终端20可以通过显示部24显示所生成的混合现实图像(步骤510)。
在显示混合现实图像的期间，终端20继续实时收集追踪信息，并将此发送至服务器10。并且，服务器10基于继续接收的追踪信息生成虚拟图像，并将此发送至终端20。终端20将根据实时的追踪信息变化的虚拟图像合成到现实图像中，向用户显示混合现实图像。
如此显示的混合现实图像的一例图示于图7及图8中。
在图7及图8，三维建模数据701、801以实际大小展示在对应的建筑现场。当终端20的地理位置为建筑物设计位置的外部时，如图7所示，用户可以通过显示的混合现实图像，感受到如实际大小的建筑物展示在所设计的位置。相反，当终端20的地理位置为建筑物设计位置的内部时，如图8所示，用户可以感受到如位于由三维建模数据所建成的建筑物的内部。
根据本发明，用户可以在实际设计建筑物之前，间接且真实地体验建筑物实际建成时的形状。在一实施例中，当根据三维建模数据的设计内容，在实际建成建筑物之后利用根据本发明的混合现实服务时，用户可以通过将建成的建筑物与显示为混合现实的三维建模数据进行比较，由此检验建筑物是否以与设计的建模数据一致的方式建造。并且，将建成的建筑物与显示为混合现实的三维建模数据进行比较，由此识别建成之后建筑物破损或改变的部分，并对此执行维护/修复。
如上所述，为了对任意客体执行可利用的控制，所显示的三维建模数据可以显示有至少一个用户界面702、802。本发明中，可以通过上述用户界面执行对三维建模数据的处理。对此将参照图6进行说明。
图6是示出在根据本发明的混合现实服务提供方法中，执行对三维建模数据的处理的方法的流程图。
参照图6，在显示混合现实图像的期间，终端20可以通过摄像机部21、传感器部22及/或输入部23，检测所输入的用户输入(步骤601)。
用户输入作为针对三维建模数据内的设计信息的处理，可以包括用于进行对任意客体的结构、形状、尺寸、材料、材质、颜色、纹路及设备的编辑的信息。
用户输入可以通过所显示的用户界面来接收。在本发明的多种实施例中，终端20可以通过红外摄像机，识别用户的手势，从而检测用户输入。作为一例，当识别到用手指点特定位置的手势时，终端20可以检测用于执行在手指所点的位置显示的用户界面的用户输入。或者，作为一例，当识别到将所有手指收拢后张开的手势时，终端20可以检测用于显示与其对应的菜单或目录等的用户输入。或者，作为一例，终端20可以识别用户手指的数量，由此检测用于显示与其对应的楼层的混合现实图像的用户输入。本发明中，不特别限定对应于用户手势的用户输入的种类或形态。
对应于用户输入，终端20可以将对于三维建模数据的处理请求发送至服务器10(步骤602)。
响应于对三维建模数据的处理请求，服务器10可以处理三维建模数据(步骤603)。处理请求，对于由三维建模数据内的处理请求所选的客体，服务器10可以对应于处理请求改变大小，或改变布置，或改变颜色、材质、纹路等。
服务器10还可以对三维建模数据执行管理及储存动作，例如，储存已处理的三维建模数据或作为备份储存处理前的三维建模数据等。
之后，服务器10可以基于已编辑的三维建模数据生成虚拟图像(步骤604)，并发送至终端20(步骤605)。终端20基于从服务器10接收的虚拟图像，生成混合现实图像(步骤607)，且将此进行显示(步骤608)，从而可以虚拟体验对应于三维建模数据的建筑物内的客体的多种形状。
在多种实施例中，终端20可以将显示为混合现实图像的三维建模数据储存到服务器10，以便在其他终端确认三维建模的处理现状。或者，终端20可以通过混合现实会议等与其他终端实时地共享三维建模数据。
本发明所属技术领域的普通技术人员，在不脱离本发明的本质特性的范围内，可以进行多种修改及变更。并且，本说明书和附图中公开的实施例，仅是为了便于描述本发明的内容，并助于理解所提供的特定例子，本发明的范围并不限定于此。因此，本发明的范围应该解释为，除在此公开的实施例外，基于本发明的技术思想而得出的所有变更或变形的形态都包括在本发明的范围内。

Claims (10)

1.一种混合现实服务提供方法，其为用于提供服务器的混合现实服务的方法，其特征在于，包括：
加载包括对于任意建筑物的设计信息的三维建模数据的步骤；
基于从终端接收的追踪信息，生成针对所述三维建模数据及至少一个用户界面的虚拟图像的步骤；及
将所述虚拟图像发送至所述终端的步骤，
所述追踪信息包括所述终端的地理位置信息、针对所述终端所在的现实空间的识别信息、三维旋转信息及速度信息中的至少一个，
以根据所述设计信息以实际大小显示所述建筑物的方式生成所述虚拟图像，且在至少一个所述终端，所述虚拟图像与现实图像进行合成，以显示为混合现实图像，
当所述终端的地理位置对应于以所述实际大小显示的所述建筑物的内部位置时，利用所述建筑物的内部图像来生成所述虚拟图像，当所述终端的地理位置对应于所述建筑物的外部位置时，利用所述建筑物的外观图像来生成所述虚拟图像，
生成所述虚拟图像的步骤包括：
当所述建筑物由多个楼层构成时，针对根据从所述终端接收的输入或追踪信息选择的任意楼层，获得所述内部图像的步骤；及
基于获得的所述内部图像，生成所述虚拟图像的步骤。
2.根据权利要求1所述的混合现实服务提供方法，其特征在于，
生成所述虚拟图像的步骤包括：
根据所述终端的地理位置信息，获得所述建筑物的外观或内部图像的步骤；
根据所述终端的追踪信息，从获得的所述图像内提取与所述终端的正面显示区域对应的一个区域的步骤；及
根据提取的所述一个区域，生成虚拟图像的步骤。
3.根据权利要求1所述的混合现实服务提供方法，其特征在于，
所述至少一个用户界面包括用于进行对所述建筑物的设计信息的添加、编辑、删除、备注管理中的至少一个的用户界面。
4.根据权利要求3所述的混合现实服务提供方法，其特征在于，
生成所述虚拟图像的步骤包括，
在所述建筑物内的至少一个客体布置用于所述至少一个客体的用户界面，以生成所述虚拟图像的步骤。
5.根据权利要求4所述的混合现实服务提供方法，其特征在于，还包括：
通过所述至少一个用户界面，接收对于所述三维建模数据的处理请求的步骤；
对应于所述处理请求，编辑所述三维建模数据的步骤；
基于已编辑的所述三维建模数据，重新生成所述虚拟图像的步骤；及
将重新生成的所述虚拟图像发送至所述终端的步骤。
6.根据权利要求1所述的混合现实服务提供方法，其特征在于，
在将所述虚拟图像发送至所述终端之后，所述混合现实服务提供方法还包括：
从所述终端接收变更的追踪信息的步骤；
基于变更的所述追踪信息，重新生成针对所述三维建模数据和所述至少一个用户界面的虚拟图像的步骤；及
将重新生成的所述虚拟图像发送至所述终端的步骤。
7.一种混合现实服务提供系统，作为提供混合显示服务的系统，其特征在于，包括：
终端，其在利用混合现实服务的期间，收集追踪信息并进行发送；及
服务器，其加载包括对于任意建筑物的设计信息的三维建模数据，且基于从所述终端接收的所述追踪信息，生成针对所述三维建模数据及至少一个用户界面的虚拟图像，并发送至所述终端，
所述追踪信息包括所述终端的地理位置信息、针对所述终端所在的现实空间的识别信息、三维旋转信息及速度信息中的至少一个，
以根据所述设计信息以实际大小显示所述建筑物的方式生成所述虚拟图像，且在至少一个所述终端，所述虚拟图像与现实图像进行合成，以显示为混合现实图像，
当所述终端的地理位置对应于以所述实际大小显示的所述建筑物的内部位置时，利用所述建筑物的内部图像来生成所述虚拟图像，当所述终端的地理位置对应于所述建筑物的外部位置时，利用所述建筑物的外观图像来生成所述虚拟图像，
当所述建筑物由多个楼层构成时，所述服务器针对根据从所述终端接收的输入或追踪信息选择的任意楼层，获得所述内部图像，基于获得的所述内部图像，生成所述虚拟图像。
8.根据权利要求7所述的混合现实服务提供系统，其特征在于，
所述服务器根据所述终端的地理位置信息，获得所述建筑物的外观或内部图像，且根据所述终端的追踪信息，从获得的所述图像内提取与所述终端的正面显示区域对应的一个区域，以生成所述虚拟图像。
9.根据权利要求7所述的混合现实服务提供系统，其特征在于，
所述至少一个用户界面包括用于进行对所述建筑物的设计信息的添加、编辑、删除、备注管理中的至少一个的用户界面。
10.根据权利要求9所述的混合现实服务提供系统，其特征在于，
所述终端基于通过所述至少一个用户界面接收的用户输入，将对于所述三维建模数据的处理请求发送至所述服务器，
所述服务器对应于所述处理请求，编辑所述三维建模数据，且基于所编辑的所述三维建模数据重新生成所述虚拟图像，并发送至所述终端。
CN201880082551.3A 2017-12-19 2018-12-03 混合现实服务提供方法及系统 Pending CN111492396A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2018-0096262 2017-12-19
KR10-2017-0175376 2017-12-19
KR1020170175376 2017-12-19
KR1020180096262A KR102010030B1 (ko) 2018-08-17 2018-08-17 혼합 현실 서비스 제공 방법 및 시스템
PCT/KR2018/015197 WO2019124818A1 (ko) 2017-12-19 2018-12-03 혼합 현실 서비스 제공 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN111492396A true CN111492396A (zh) 2020-08-04

Family

ID=66994174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082551.3A Pending CN111492396A (zh) 2017-12-19 2018-12-03 混合现实服务提供方法及系统

Country Status (3)

Country Link
US (1) US11030359B2 (zh)
CN (1) CN111492396A (zh)
WO (1) WO2019124818A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3116629B1 (fr) * 2020-11-25 2024-01-19 Patrick Herbault Outil de suivi de chantier par réalité augmentée
FR3117241A1 (fr) 2020-12-08 2022-06-10 Patrick Herbault Outil de visualisation 3D d’un bâtiment couplé à un planning
CN113239443B (zh) * 2021-06-03 2022-07-05 广州中硕建筑设计院有限公司 一种基于bim软件的智慧空间展示结构设计建模方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
CN107222468A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090029350A (ko) 2007-09-18 2009-03-23 에스케이텔레콤 주식회사 모바일 가상세계 서비스 시스템 및 방법
US9418346B2 (en) * 2013-03-28 2016-08-16 Nokia Technologies Oy Method and apparatus for providing a drawer-based user interface for content access or recommendation
KR101599257B1 (ko) 2013-12-11 2016-03-03 류지혁 3d모델 증강현실 서비스 시스템
KR20160033495A (ko) 2014-09-18 2016-03-28 서강대학교산학협력단 증강현실을 이용한 가구 배치 장치 및 방법
WO2018080552A1 (en) * 2016-10-24 2018-05-03 Carrington Charles C System for generating virtual building plan data based upon stored and scanned building data and related methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107542A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR20150058617A (ko) * 2013-11-18 2015-05-29 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
CN107222468A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器

Also Published As

Publication number Publication date
US11030359B2 (en) 2021-06-08
US20200334396A1 (en) 2020-10-22
WO2019124818A1 (ko) 2019-06-27

Similar Documents

Publication Publication Date Title
US11206373B2 (en) Method and system for providing mixed reality service
US20220044019A1 (en) Augmented reality smartglasses for use at cultural sites
KR102010030B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
KR20190088545A (ko) 상호작용적 증강 현실 프리젠테이션들을 표시하기 위한 시스템들, 방법들 및 매체들
JP6470356B2 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP5870958B2 (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
CN106302427B (zh) 在虚拟现实环境中的分享方法及装置
WO2016079472A1 (en) Interactive control station
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
US11030359B2 (en) Method and system for providing mixed reality service
CN112711458B (zh) 虚拟场景中道具资源的展示方法及装置
US12020667B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
JP6392945B1 (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
WO2020048441A1 (zh) 通信连接方法、终端设备及无线通信系统
KR101286866B1 (ko) Ａｒ 태그 정보를 생성하는 사용자 단말기 및 그 방법, 그리고, 시스템
CN111787407A (zh) 互动视频播放方法、装置、计算机设备及存储介质
CN112099681B (zh) 基于三维场景应用的交互方法、装置和计算机设备
KR102010023B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
JP2017084215A (ja) 情報処理システム、その制御方法、及びプログラム
CN109643182A (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN111311759A (zh) 移动增强现实视频编辑系统
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
JP2019021324A (ja) 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP2022181153A (ja) 情報処理システム、情報処理方法及びプログラム
JP6638326B2 (ja) 情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200804

WD01 Invention patent application deemed withdrawn after publication