CN112102464A - 现实世界项目的虚拟创建 - Google Patents

现实世界项目的虚拟创建 Download PDF

Info

Publication number
CN112102464A
CN112102464A CN202010558359.6A CN202010558359A CN112102464A CN 112102464 A CN112102464 A CN 112102464A CN 202010558359 A CN202010558359 A CN 202010558359A CN 112102464 A CN112102464 A CN 112102464A
Authority
CN
China
Prior art keywords
virtual
world
real
platform
collaborative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010558359.6A
Other languages
English (en)
Inventor
杰瓦特·耶尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TMRW Foundation IP and Holding SARL
Original Assignee
TMRW Foundation IP and Holding SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TMRW Foundation IP and Holding SARL filed Critical TMRW Foundation IP and Holding SARL
Publication of CN112102464A publication Critical patent/CN112102464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于提供现实世界项目的虚拟协同创建的系统和方法。所述系统包括被配置成存储和处理输入数据的服务器，所述服务器包括存储器和处理器，其中所述存储器还包括具有结构化数据的数据库，数据库存储形成虚拟世界系统的现实世界元素的虚拟副本，并且其中所述处理器被配置成执行存储在所述存储器中的数据和指令。多个设备经由网络连接服务器，每个设备包括感测机构，该感测机构被配置成从现实世界元素捕获多源感测数据，多源感测数据用于充实虚拟副本并使虚拟副本与对应的现实世界元素同步。存储在存储器中并经由用户设备访问的协同平台能够实现现实世界项目的创建、投标和管理审查以及批准或拒绝。还描述了其方法。

Description

现实世界项目的虚拟创建
相关申请的交叉引用
本申请要求2019年6月18日提交的临时申请No.62/863105的权益，出于所有目的，该临时申请的全部公开内容通过引用合并于此。
技术领域
本公开一般地涉及计算机系统，并且更具体地涉及用于实现现实世界项目的协同虚拟创建的系统和方法。
背景技术
最初，城市规划的特征在于城市管理与建设公司之间的协同。通常，城市管理部门负责规划城市的城市发展，并且在确定需求之后，与向城市管理部门提供投标的各种建设公司进行联络，其最终选择最合适的报价。鉴于这种方法在大多数情况下涉及城市管理部门和服务提供商之间的协同，在城市规划中不考虑普通公民。然而，普通公民是那些在城市中花费大部分时间的公民，因此也可以提供有用的项目建议，其可以用于决策，甚至用于城市规划中涉及的设计过程。例如，街区中的普通公民可以检测到可能被城市管理部门忽视的需求，例如交通信号灯，学校，加油站，桥梁，重新定位特定对象等的需求。
虽然在这些项目中经常使用计算机技术与公民互动，但通常仅限于网站的展示、数字意见调查、视频会议、电子邮件通信等。虽然这种性质的互动可以提供一些感兴趣的地点和项目性质的信息，但不能让市民远程体验项目的地点和需求。例如，市民可能会通过网站或电子邮件被告知某个路口的行人安全问题，但网站并没有提供这些市民远程安全检查路口的能力，也没有提供与城市规划者或其他市民进行数字合作的能力，以一种身临其境的方式对路口进行改造。因此，需要一种系统和方法，该系统和方法能够向普通公民提供建议现实世界项目的能力，现实世界项目能够由建筑公司查看以提供投标，并且能够由城市管理部门整体地评估。
发明内容
提供该概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不打算确定权利要求所要求保护的主题的关键特征,也不打算被用来帮助确定权利要求所要求保护的主题的范围。
背景技术中描述的一个或多个问题或其他技术问题通过用于提供当前公开的现实世界项目的虚拟协同创建的系统和方法来解决。所述系统包括一个或多个服务器计算机，包括存储器和处理器，其中所述服务器系统存储具有结构化数据的数据库，数据库存储形成持久性虚拟世界系统的现实世界元素的虚拟副本。通过存储在服务器系统中的副本编辑器来开发虚拟世界副本。该系统还包括经由网络连接到服务器系统的多个连接的设备，每个连接的设备包括通信电路和一个或多个传感器，多个连接的设备被配置成从现实世界元素捕获多源数据，多源数据用于充实虚拟副本并将虚拟副本与相应的现实世界元素同步。该服务器还包括协同平台，该协同平台包括协同创建平台，协同投标平台和协同管理部门平台，它们分别实现现实世界项目的创建、投标以及管理审查和批准或拒绝。在实施例中，一个或多个用户设备经由网络连接到服务器，并且被配置为向用户提供对协同平台的访问。
本公开的系统通过协同创建平台，能够在持久性虚拟世界系统中创建表示建议现实世界项目的虚拟项目，其中虚拟项目包括现实世界元素的一个或多个虚拟副本。虚拟项目的创建可以包括在基于存储在服务器中的现实世界元素的副本的现实世界地点处设计和定位建议的现实世界项目的虚拟版本，并且因此可以由用户在融合或虚拟现实中观看和投票。通过投标平台，诸如建设公司代表的用户可以对项目进行审查，并为选定的项目提供投标。通过协同管理部门平台，项目可以由城市管理部门(例如城市管理部门)审查，包括能够审查每个项目、每个项目的投票得分以及建议的投标。以这种方式，普通公民的意见可以超越传统的投票或其他较慢、效率较低和不太交互的方法，例如填写在线表格或向城市管理部门发送意见函。通过本公开的系统和方法在城市规划中涉及公民可能有助于实现数字民主的努力，由此公民参与涉及每个人但通常仅由城市管理部门所承担的决定。
根据各种实施例，协同创建平台还能够为每个项目定义和分配材料需求。在一个实施例中，当选择诸如新建筑物的预定义资产时，预定义资产可能已经包括标准数量的材料和为了施行该项目所需的对应的估计成本。该数据被存储在项目数据库中，该项目数据库包括预定义的动态材料清单和相应的估算预算，当项目被修改时，估算预算可以被自动调整和更新。在另一个实施例中，协同创建平台可以向用户提供修改材料和预算的选项，如果必要的话，例如当需要较高或较低质量的材料时。在另一个实施例中，当选择为项目创建新资产时，协同创建平台可以向用户提供向项目本身分配由用户估计的材料和预算的选项。在另一个实施例中，协同创建平台可以向用户提供请求材料和预算的估计的选项，所述材料和预算可以从项目数据库中检索并且可以基于其他类似的项目来计算。
根据一个实施例，协同投标平台使用户能够查看所创建和投票的项目，从而建筑服务提供商可以提供投标，该投标可以包括投标的估计成本和时间。在其它实施例中，投标还可以包括其它数据，例如施行项目所需的材料的明细和每个项目的估计成本。在其它实施例中，协同投标平台可以使建筑服务提供商能够提供关于由他们先前进行的工作的参考或关于建筑服务实体的参考。例如，协同投标平台可以使建筑服务提供商能够提供对个人项目数据库的访问，其中每个项目可以包括来自其他用户的关于项目或服务提供商的质量的评级和评论。
根据实施例，协同管理部门平台还使城市管理员能够为每个项目分配预算，并将它们提供给用户，以便建立项目。可以由公民使用预算，以通过例如搜索建筑公司本身来建立项目。在其它实施例中，预算可以由城市管理部门直接提供给建筑公司。
副本编辑器被配置为将虚拟副本的数据和指令输入到持久性虚拟世界系统中。副本编辑器可以是例如计算机辅助绘图(CAD)或计算机辅助工程(CAE)软件，其可以存储输入、编辑和测试虚拟副本所必需的数据和指令。
包括在副本编辑器中的建模工具被配置为使用户能够构建虚拟副本。在一些实施例中，建模工具包括3D游戏引擎软件开发工具包。建模工具使得能够利用基于容易获得的现实世界元素的CAD或CAE模型的数据和指令来生成虚拟副本。在其它实施例中，建模工具使得能够通过各种照片，视频，深度同步定位与建图(SLAM)扫描来输入基于汽车或无人机的图像扫描流水线，以便对虚拟副本进行建模。在其它实施例中，雷达成像可用于在将现实世界元素集成到持久性虚拟世界系统中之前对现实世界元素进行建图和建模。在又一个实施例中，本公开的系统的协同平台另外实现能够实现推荐器系统，以便用户经由每个协同平台来进行排名和过滤(即，经由协同创建平台)要着手的项目、要(即，经由协同投标平台)设置投标的项目、或者要(即，经由协同管理部门平台)批准或拒绝并设置预算的项目。推荐器系统可以使用例如协同过滤或模拟过滤，其可以由服务器通过模拟引擎运行，或者通过外部平台运行，该外部平台通过适当的API或SDK通过网络连接到系统。协同过滤允许基于收集和分析大量关于用户行为，活动或偏好的信息来推荐和过滤项目，以及基于用户与其他用户的相似性来预测用户将喜欢什么。例如，协同过滤可以基于将来自其他用户的投票数据与当前用户的投票数据进行比较，然后匹配类似的项目以进行推荐。模拟过滤包括运行基于目标的城市模拟，然后将模拟结果与最适合城市需求的项目相匹配，以便提供建议和相应的排序和过滤。在实施例中，模拟过滤包括运行基于目标的模拟(其可以至少部分基于从现实世界元素捕获的多源数据)以获得模拟结果，并将模拟结果与项目的一个或多个方面进行比较。例如，可以运行碳排放模拟，交通模拟，能量使用模拟或通勤时间模拟，以优化每个特定方面的条件。
在说明性的场景中，虚拟项目可以被导向重新设计公共交通系统的建议项目，以减少城市的电力消耗和碳排放。例如，该虚拟项目可以包括现实世界的发电厂的虚拟副本，该副本可以通过从发电厂的二氧化碳传感器捕获的数据进行更新，以及现实世界的地铁系统的虚拟副本，该副本可以通过从测量地铁系统中的电力消耗的传感器捕获的数据进行更新。在这种情况下，可以至少部分地基于捕获的CO2传感器数据和/或电力消耗数据来执行项目的碳排放模拟。例如，模拟可以表明，与建议的地铁系统延伸到城市新区域有关的整体电力消耗的减少。
模拟的结果可以被系统用来匹配符合目标的合适的项目，并且可以作为一组推荐被提供给用户，这些推荐可以被分级和相应地过滤。例如，城市管理员可以根据将为城市的特定区域产生最佳能量优化的那些来过滤项目。
协同平台是可视的，并且通过用户设备进行对接，该用户设备可以包括一个或多个移动设备，个人计算机，游戏控制台，媒体中心，智能隐形眼镜和头戴式显示器等。用户设备可以配备有传感器以确定用户设备的相对位置和朝向(三个坐标)以及耳机相对于观察者的相对朝向(三个角度)。该跟踪信息等于用户设备的6个自由度，其可以确定如何从多个虚拟帧生成输出流。
在各种实施例中，在融合现实或虚拟现实中提供与协同平台的用户界面。根据一个实施例，协同创建平台允许选择预定义资产。预定义资产可能已经被城市管理部门预先批准。例如，预定义资产可以是桥梁，建筑物，行人交通灯，车辆交通灯和限速标志等。在一些实施例中，预定义资产可以由用户进一步修改以调整用户的需要。在其它实施例中，协同创建平台使得能够对新资产进行建模以表示项目。协同创作平台可以实现在融合现实或虚拟现实中通过用户界面选择、修改或创建资产，并将资产添加到虚拟项目中，该资产可以被放置在一个或多个虚拟项目中的所需位置。所需的位置可以对应于现实世界的位置。在这些实施例中，协同创建平台可以包括CAD或CAE软件，其包括能够对新资产进行建模的工具。在其它实施例中，协同平台允许移动或改变现有的现实世界实体。例如，用户可以建议将树或特定结构从一个地点移动到另一个地点。协同创建平台通过虚拟副本使用现实世界元素的地点。因此，用户能够将项目放置在现实世界中的预期地点。在将项目存储在持久性虚拟世界系统中并与其他用户共享之后，其他用户可以具有查看项目并投票优选项目的能力。
在实施例中，为了减少硬件和网络需求，有助于减少网络等待时间，并改善一般的数字现实体验，系统可以通过包括毫米波(mmW)或mmW和sub 6GHz通信系统的组合的网络连接，例如通过第五代无线系统通信(5G)。在其他实施例中，系统可以通过无线局域网(Wi-Fi)连接，该无线局域网以60GHz提供数据。所提供的通信系统可以允许低的(大约1到大约5毫秒)的端到端(E2E)等待时间和到现场端点的高的(例如1-10Gbps)下行链路速度，这符合执行典型的高度交互的数字现实应用所必需的参数。这导致高质量，低等待时间，实时数字应用内容流。在其它实施例中，系统可以通过第四代无线系统通信(4G)通信连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。
根据实施例，安装在用户设备上的感测机构包括惯性跟踪感测机构和收发器的组合。惯性跟踪传感机构可以利用诸如加速度计和陀螺仪的设备，这些设备可以集成在惯性测量单元(IMU)中。收发器可以被实现为向天线发送无线通信信号和从天线接收无线通信信号。优选地，收发器是mmW收发器。在使用mmW天线的实施例中，mmW收发器被配置为从天线接收mmW信号并将数据发送回天线。由mmW收发器提供的惯性传感器和位置跟踪以及由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能可以实现亚厘米或亚毫米的位置和定向跟踪，这可以在跟踪所连接元件的实时位置和定向时提高精度。在一些实施例中，可以通过采用本领域已知的几种技术来实现跟踪，例如到达时间(TOA)，到达角度(AOA)，或本领域已知的其它跟踪技术(例如，GPS，视觉成像，雷达技术等)。在替代实施例中，感测机构和收发器可在单个跟踪模块装置中耦合在一起。用户设备的感测机构还可以包括一个或多个摄像机。例如，照相机可以是安装在用户设备中的深度照相机。摄像机可以被配置为捕获和提供用户的观看位置和朝向，其确定经由引擎平台服务器发送的虚拟帧的观看位置和朝向。
提供对所连接的元件的准确跟踪可导致用于显示持久性虚拟世界系统内的用户设备的可靠状态，特别是其位置和朝向，其可与查看表示现实世界项目的虚拟元素的正确位置和朝向有关。
根据施例，一种用于现实世界项目的虚拟协同创建的计算机实现方法包括提供持久性虚拟世界系统，该系统包括副本编辑器和使用副本编辑器创建的现实世界元素的虚拟副本；使用由与服务器系统通信的连接设备的传感器捕获的多源数据，将虚拟副本与现实世界元素同步；并提供存储在服务器系统中的协同创作平台，该平台能够在持久性虚拟世界系统中创建一个或多个虚拟项目，代表一个或多个现实世界项目建议，并能够对一个或多个现实世界项目建议进行投票。在一个实施例中，该方法还包括提供存储在服务器系统中的协同投标平台，该平台能够为一个或多个现实世界的项目建议提供一个或多个投标；以及提供存储在服务器系统中的协同管理部门平台，该平台能够对一个或多个现实世界的项目建议进行审查、批准或拒绝，并分配预算。
在一个实施例中，该方法还包括，通过一个或多个客户端设备，通过存储在服务器中的协同创作平台，创建一个或多个现实世界的项目提案，该项目建议存储在服务器存储器中的项目数据库中；通过存储在服务器中的协同创作平台，对一个或多个现实实世界的项目建议进行投票。通过存储在服务器中的协同投标平台，向每个现实世界项目建议提供一个或多个投标项目；通过协同管理部门平台，审核一个或多个现实世界项目；通过协同管理部门平台，批准或拒绝一个或多个现实世界项目。
还公开了一种计算机可读介质，其上存储有被配置为使一个或多个计算设备(例如服务器系统或客户端设备)执行本文公开的方法的指令。
以上概述不包括本公开的所有方面的详尽列表。预期本公开包括可以从以上概述的各个方面的所有合适的组合来实践的所有系统和方法，以及在以下详细描述中公开的那些以及在随本申请提交的权利要求书中具体指出的那些。这样的组合具有在以上概述中未具体陈述的特定优点。由附图和下面的详细描述,本发明的其它特点和优点将变得显而易见。
附图说明
参考以下描述和附图将更好地理解本公开的具体特征、方面和优点，其中：
图1描绘了根据实施例的用于现实世界项目的虚拟协同创建的系统的示意性表示，详细描述了服务器；
图2描绘了根据实施例的用于现实世界项目的虚拟协同创建的系统的示意性表示，详细描述了各种协同平台；
图3描绘了根据实施例的虚拟世界系统内的街区场景的示意性表示；
图4A-4C描绘了根据实施例的协同创建平台的示意性表示；
图5描绘了根据实施例的协同投标平台的示意性表示；
图6示出了根据实施例的协同管理部门平台的示意性表示；
图7示出了根据实施例的用可以与本公开的系统一起使用的设备的示意性表示；和
图8描述了根据实施例的用于提供现实世界项目的虚拟协同创建的方法的框图。
具体实施方式
在以下描述中，参考通过示例方式示出各种实施例的附图。此外，下面将通过参考几个实例来描述各种实施例。应当理解，在不脱离所要求保护的主题的范围的情况下，实施例可以包括设计和结构上的改变。
图1描绘了根据实施例的用于提供虚拟协同创建现实世界项目的系统100的示意性表示，详细描述了服务器。系统100包括服务器102，服务器102包括存储器104和处理器106，其中存储器104存储具有结构化数据的数据库，数据库存储构成持久性虚拟世界系统110的现实世界元素的虚拟副本108，并且其中处理器106被配置为执行存储在存储器104中的指令。通过存储在存储器104中的副本编辑器(未示出)来开发虚拟副本108。存储器104还存储协同平台112，协同平台112包括协同创建平台114、协同投标平台116和协同管理部门平台118，它们分别实现现实世界项目的创建、投标以及管理审查和批准或拒绝。存储器104还存储被配置为存储项目数据的项目数据库120。尽管在本文公开的示例中，系统100被描述为包括单个服务器102，但将理解，本文描述为由单个服务器(例如，服务器102)执行的功能可以代替由包括多个服务器计算机的服务器系统执行，或者反之亦然。
在本公开中，术语"持久性"用于表征在没有连续执行进程或网络连接的情况下可以继续存在的系统的状态。例如，术语"持久性"可用于表征虚拟世界系统，其中虚拟世界系统和其中包括的所有虚拟副本、纯虚拟对象和数字现实应用在用于创建虚拟副本、纯虚拟对象和数字现实应用的处理结束之后继续存在，并且不依赖于用户连接到虚拟世界系统。因此，虚拟世界系统被保存在非易失性存储位置，例如，在服务器102中。以这种方式，即使用户没有连接到服务器，虚拟副本、纯虚拟对象和数字现实应用在被配置用于实现特定目标时可以相互交互和协同。
本公开的系统100可以在云到边缘基础设施中实现，所述云到边缘基础设施可以使用公有或私有云，雾服务器以及边缘设备和系统(例如企业系统，移动平台和用户设备)来显示分布式计算能力，所有这些都可以通过网络连接。使用云到边缘计算网络，对计算能力，计算机基础设施(例如，通过所谓的基础设施作为服务，或IaaS)，应用和商业过程的访问可以作为服务根据需要经由客户端设备被递送给用户。这样，包括物理服务器和网络设备的资源能够实现共享存储和计算，共享存储和计算可以根据诸如用户到资源和网络的距离以及来自用户的计算需求等因素来动态分配。
系统100还包括经由网络124连接到服务器102的多个连接设备122，每个连接设备122包括通信电路和感测机构，该感测机构被配置成从现实世界元素捕获多源数据126，该多源数据126用于充实虚拟副本108并且使虚拟副本108与相应的现实世界元素同步。因此，虚拟部分108可以从一个或多个源(例如，从一个或多个现实世界元素、环境传感器、计算设备等)获得数据。如本文所使用的，术语"多源"是指可从多个源获得的数据。此外，一个或多个用户设备128经由网络124连接到服务器102，并且被配置为向用户提供对协同平台112的访问。
可以基于多源数据更新虚拟副本，例如通过更新已知的参数或特征，通过用附加的参数或特征来充实虚拟副本，或类似的方式。在本公开中，术语"充实"用于描述基于多源数据126向虚拟副本提供进一步特性的动作。充实虚拟副本可以被认为是用一种或多种新形式的数据更新虚拟副本的特殊形式，这些新形式的数据以前可能不存在于虚拟副本中。例如，充实虚拟副本可以指在多个设备122上提供从感测机构捕获的现实世界数据，其中另外的现实世界数据包括视频数据，温度数据，实时能量消耗数据，实时水消耗数据，速度或加速度数据等。
副本编辑器被配置为将虚拟副本108的数据和指令输入到持久性虚拟世界系统110中。副本编辑器例如可以是计算机辅助绘图(CAD)或计算机辅助工程(CAE)软件，其可以存储输入和编辑虚拟副本所必需的数据和指令。副本编辑器可以实现与每个数字副本有关的数据和指令的输入，这些数据和指令描述每个副本的形状，地点，位置和朝向，物理特性以及预期的功能和影响。通常，通过副本编辑器输入的数据可以包括不能由感测机构获得的数据，例如优先级数据，建筑材料，壁厚，电气设备和电路，水管，灭火器，紧急出口，窗口位置，机器性能参数，机器传感器和阀位置等。通过副本编辑器输入的数据和指令可以包括，除了现实世界元素的形状和其它属性之外，详细描述现实世界元素的预期功能和行为的描述性数据和指令，包括，例如，预期的电和水消耗，建筑物内人的预期流量，以及设施的预期碳排放量。
建模工具被配置成使用户能够构建虚拟副本108。在一些实施例中，应用开发工具包括3D游戏引擎软件开发工具包。建模工具使得能够基于容易获得的现实世界元素的CAD或CAE模型，利用显式数据和指令生成虚拟副本。例如，机器拥有者可以提供持久性虚拟世界系统的管理员，或者可以自己输入其机器的已存在的数字CAD或CAE模型。类似地，建筑物拥有者可以向建筑信息模型(BIM)提供将被存储在持久性虚拟世界系统中的建筑物细节，建筑物细节可以包括可能不可见或不容易通过感测机制获得的信息。在其它实施例中，建模工具使得能够通过各种照片，视频，深度同步定位与建图(SLAM)扫描来输入基于汽车或无人机的图像扫描流水线，以便对虚拟副本进行建模。在其它实施例中，雷达成像，例如合成孔径雷达，现实孔径雷达，光检测和测距(LIDAR)，逆孔径雷达，单脉冲雷达和其它类型的成像技术，可以用于在将现实世界元素集成到持久性虚拟世界系统中之前对现实世界元素进行建图和建模。利用这些更多的技术方案尤其可以在结构的原始模型不可用的情况下执行，或者在存在丢失的信息或者需要向CAD或CAE模型不提供的虚拟世界实体添加附加信息的情况下执行。
在一些实施例中，虚拟副本108包括3D世界和建筑物数据中的一个或多个，例如基于SLAM或派生建图(derivate-mapping)的数据；3D几何数据；3D点云数据；或者表示现实世界结构特性的地理信息系统数据，其可以用于为数字现实应用建模3D结构。
协同平台112经由用户设备128是可视的并且被对接，用户设备128可以包括一个或多个移动设备，个人计算机，游戏控制台，媒体中心，智能隐形眼镜和头戴式显示器等。用户设备可以配备有传感器以确定用户设备128的相对位置和朝向(三个坐标)以及耳机相对于观看者的相对朝向(三个角度)。该跟踪信息等于用户设备128的6个自由度，这可以确定将如何生成输出媒体流。
用户可以在融合现实或虚拟现实中与协同平台对接。在融合现实中，用户可以将现实世界元素加上附接到现实世界地点的一个或多个发布的虚拟项目视为虚拟元素。因此，融合现实包括由计算机生成的感测输入(诸如声音，视频，图形和GPS或其它跟踪数据)增强的物理的、现实世界的环境元素。在融合现实中的增强技术通常与环境元素一起在实时和语义情境中进行，例如在现实世界中覆盖补充信息或虚拟对象。在虚拟现实中，用户能够以完全虚拟化的方式观看相同的现实世界场景，用模拟的现实世界场景代替现实世界。例如，用户可以从其家的所在地选择远程地点并探索该地点，以便找到与项目建议对应的一个或多个虚拟项目，或表示为虚拟元素的现实世界项目(可以响应于批准虚拟项目而发起)的表示。在一些实施例中，在融合现实和虚拟现实中，用户能够从远程地点或从项目所处的现实地点对项目进行查看，添加和投票。例如，用户可以使用来自位于其家中的计算机或其他用户设备128的协同平台，并且可以从该地点查看协同平台并与协同平台交互。同样，用户也可以通过在项目的实际地点使用用户设备128来在融合现实中使用协同平台。类似地，诸如投标平台和管理员审查平台的其它协同平台也可以在融合现实或虚拟现实中对接。
在一些实施例中，虚拟项目是包括以下至少一个的虚拟元素：3D图像数据，3D几何形状，3D实体，3D感测数据，3D动态对象，视频数据，音频数据，文本数据，时间数据，位置数据，朝向数据和照明数据。虚拟项目可以包括现实世界元素的一个或多个虚拟副本，本文描述了其示例。
在实施例中，为了减少硬件和网络需求，有助于减少网络等待时间，并改善一般的数字现实体验，系统100可以通过包括毫米波(mmW)或mmW和sub 6GHz通信系统的组合的网络124连接，例如通过第五代无线系统通信(5G)。在其它实施例中，系统可以通过无线局域网(Wi-Fi)连接，提供60GHz数据。所提供的通信系统可以允许低的(例如，大约1到大约5毫秒)的端到端(E2E)等待时间和到现场端点的高的(例如1-10Gbps)下行链路速度，这符合执行典型的高度交互的现实世界项目所必需的参数。这导致高质量，低等待时间，实时数字应用内容流。在其它实施例中，系统100可以通过第四代无线系统通信(4G)通信地连接，可以由4G通信系统支持，或者可以包括其它有线或无线通信系统。
在其它实施例中，全球导航卫星系统(GNSS)(其统称为任何基于卫星的导航系统，例如GPS,BDS,Glonass,QZSS,Galileo和IRNSS)可用于实现设备的定位。使用来自足够数量的卫星和诸如三角测量和三边测量的技术的信号，GNSS可以计算设备的位置，速度，高度和时间。在优选实施例中，外部定位系统由辅助GNSS(AGNSS)通过现有蜂窝通信网络的体系结构来增强，其中现有体系结构包括5G。在其它实施例中，AGNSS跟踪系统还由4G蜂窝通信网络支持。在室内实施例中，通过诸如Wi-Fi之类的无线电无线局域网进一步增强GNSS，优选地，但不限于，提供60GHz的数据。在替代实施例中，通过本领域已知的其它技术来增强GNSS，例如通过差分GPS(DGPS)，基于卫星的增强系统(SBAS)，实时运动学(RTK)系统。在一些实施例中，通过设备中的AGNSS和惯性传感器的组合来实现设备的跟踪。
在一些实施例中，可以使用适于与当前地理定位技术一起使用的参考坐标系来地理定位每个虚拟副本。例如，虚拟副本可以使用诸如WGS84的世界大地测量系统标准，WGS84是GPS使用的当前参考坐标系。
根据一个实施例，多源数据126还包括每个现实世界元素的可捕获数据，包括3D图像数据，3D几何形状，3D实体，3D感测数据，3D动态对象，视频数据，音频数据，优先级数据，化学成分，废物生产数据，文本数据，时间数据，位置数据，朝向数据，速度数据，温度数据，湿度数据，污染数据，照明数据，体积数据，流量数据，色度数据，功耗数据，带宽数据和质量数据中的一个或多个。多个传感机构包括一个或多个温度传感器，接近传感器，惯性传感器，红外传感器，污染传感器，压力传感器，光传感器，超声波传感器，烟雾传感器，触摸传感器，色度传感器，湿度传感器，水传感器和电传感器。使虚拟副本108与现实世界元素同步不仅可以获得每个现实世界元素的准确位置，而且还可以利用关于现实世界元素的实时功能的数据来充实虚拟副本108，这在诸如能量，水和污染管理的各种情况下可能是相关的。
这里使用的"优先级数据"是指现实世界元素的分层分类。例如，某些车辆(例如，救护车)或人(例如，总统，政府官员，警察等)可以具有更高的优先级，其可以影响基于数据推断进行的决策。
本文所用的术语"指令"是指被配置为由处理器执行的代码(例如，二进制代码)。在虚拟副本的情境中，指令可以指表示现实世界元素的行为的代码。用于执行本发明的各方面的操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写，所述编程语言包括面向对象的编程语言，例如Java,Smalltalk,C++等，以及常规的过程编程语言，例如"C"编程语言或类似的编程语言。
如本公开中所使用的，"现实世界元素"是指在现实世界中发现的可以由感测机制感测的元素。例如，现实世界元素可以是在现实世界中找到的移动或静态实体，包括人类，车辆，建筑物，物体，游艺场所，自然地层和街道等。
图2描绘了根据实施例的用于现实世界项目的虚拟协同创建的系统200的示意性表示，详细描述了各种协同平台112。图2的一些元素可以与图1的元素相似，因此可以使用相似或相同的附图标记来描述那些元素。
在系统200中，连接到网络124的用户设备128访问服务器102，服务器102在存储器104中存储多个协同平台112，持久性虚拟世界系统110和项目数据库120。协同平台112包括协同创建平台114，协同投标平台116和协同管理部门平台118，用户可以通过用户设备128进行对接。
通过客户端设备128对接的协同创建平台114能够创建虚拟项目。用户可以基于存储在服务器102中的现实世界元素的副本，在现实世界地点处设计和定位建议的现实世界项目的虚拟版本，并且因此可以由用户在融合或虚拟现实中观看和投票。通过经由客户端设备128对接的协同投标平台116，诸如建筑公司代表的用户可以审查项目并为所选项目提供投标。通过经由客户端设备128对接的协同管理部门平台118，可以由诸如政府实体或代表的城市管理部门来审查项目，包括允许审查每个项目、每个项目的投票得分以及所提出的投标，以便批准或拒绝项目。以这种方式，普通公民的意见可以超越传统的投票或其他较慢、效率较低和不太交互的方法，例如填写在线表格或向城市管理部门发送带有意见信。通过本公开的系统和方法在城市规划中涉及公民可能有助于实现数字民主的努力，由此公民参与涉及每个人但仅由城市管理部门所承担的决定。
在又一个实施例中，协同平台112另外启用推荐器系统的实现，以便用户经由每个协同平台112来进行排名和过滤(即，经由协同创建平台114)要着手的项目、要(即，经由协同投标平台116)设置投标的项目、或者要(即，经由协同管理部门平台118)批准或拒绝并设置预算的项目。推荐器系统可以使用例如协同过滤或模拟过滤，其可以由服务器通过模拟引擎运行，或者通过外部平台运行，该外部平台通过适当的API或SDK经由网络连接到系统。
协同过滤允许基于收集和分析大量关于用户行为、活动或偏好的信息来推荐和过滤项目，并且基于用户与其他用户的相似性来预测用户将喜欢什么。例如，协同过滤可以基于将来自其他用户的投票数据与当前用户的投票数据进行比较，然后匹配类似的项目以进行推荐。
模拟过滤可以允许运行基于目标的城市模拟，然后将模拟结果与最适合城市需求的项目相匹配，以便提供推荐和对应的排序和过滤。在实施例中，模拟过滤包括运行基于目标的模拟(其可以至少部分基于从现实世界元素捕获的多源数据)以获得模拟结果，并将模拟结果与项目的一个或多个方面进行比较。例如，可以有目标地运行碳排放模拟，交通模拟，能量使用模拟或通勤时间模拟，以优化每个特定方面的状况。模拟结果可以被系统用来匹配符合目标的合适的项目，并且可以作为一组推荐被提供给用户，这些推荐可以被相应地排序和过滤。例如，城市管理部门可以根据将为城市的特定区域产生最佳能量优化的那些来过滤项目。
在说明性的场景中，虚拟项目可以被导向重新设计公共交通系统的建议项目，以减少一个城市的电力消耗和碳排放。例如，该虚拟项目可以包括现实世界的发电厂的虚拟副本，该副本可以通过来自发电厂的二氧化碳传感器的捕获数据进行更新，以及现实世界的地铁系统的虚拟副本，该副本可以通过来自测量地铁系统中的电力消耗的传感器的捕获数据进行更新。在这种情况下，可以至少部分地基于捕获的CO2传感器数据和/或电力消耗数据来执行项目的碳排放模拟。例如，模拟可以表明，与建议的地铁系统延伸到城市新区域有关的整体电力消耗的减少。
图3描绘了根据实施例的用于提供现实世界项目的虚拟协同创建的系统300的示意性表示，详细描述了持久性虚拟世界系统110内的示例街区场景302。图3的一些元素可以与图1-2的元素相似，因此可以使用相似或相同的附图标记来描述那些元素。
街区场景302包括诸如建筑物304，学校306和街道308的几个现实世界元素。这些现实世界元素中的每一个都可以通过副本编辑器来建模，并且在持久性虚拟世界系统110中发布，可以包括几个街区、区甚至城市或国家。一些现实世界元素可以包括或连接到使得能够在虚拟副本和现实世界元素之间进行实时同步的感测机构。
图4A-4C描绘了根据实施例的用于在协同创建平台114创建虚拟项目的用户界面的示意性表示，详细描述了示例。图4A-4C的一些元素可以与图1-3的元素相似，因此可以使用相似或相同的附图标记来描述那些元素。
参照图4A，协同创建平台114的用户界面允许选择或建模资产402，资产402可以表示所建议的现实世界项目，并且可以位于期望的现实世界地点上。资产402可以是预定义资产404或新资产406。预定义资产404可能已经被城市管理部门预先批准。例如，预定义资产404可以是桥梁408，新建筑物410，行人交通信号灯412和限速标志414等。在一些实施例中，预定义资产404可以由用户进一步修改以适应用户的特定需要。
新资产406可以通过协同创建平台114处可用的CAD或CAE软件来建模。协同创建平台114通过虚拟副本使用现实世界元素的地点。因此，在增强现实场景中，用户可以将虚拟项目放置在现实世界中的预定位置，这样，在现实世界中存在于该位置的用户可以通过增强现实查看虚拟项目或其元素(例如，通过在虚拟项目中指定的位置查看作为虚拟覆盖的虚拟停车标志或交通灯)。或者，在虚拟现实场景中，用户可以将虚拟项目放置在虚拟空间中的所需位置，该虚拟空间可能与真实位置相对应。
例如，如图4A所示，限速标志414和行人交通灯412被选择并定位在街区场景302内的所需位置。在将一个新的虚拟项目放置在所需的位置上后，用户可以将虚拟项目保存在服务器内存中的项目数据库中。
根据各种实施例，协同创建平台114还允许为每个项目定义和分配材料需求。在一个实施例中，当选择诸如新建筑物410的预定义资产404时，预定义资产404可能已经包括标准数量的材料和为了进行该项目所需的对应的估计成本。该数据被存储在项目数据库中，该项目数据库包括预定义的动态材料清单和对应的估计预算，当项目被修改时，预定义的动态材料清单和对应的估计预算可以被自动调整和更新。在另一个实施例中，如果必要的话，例如当需要较高或较低质量的材料时，协同创建平台114可以向用户提供修改材料和预算的选项。在另一个实施例中，当选择为项目创建新资产406时，协同创建平台114可以向用户提供向项目本身分配由用户估计的材料和预算的选项。在另一个实施例中，协同创建平台114可以向用户提供请求材料和预算的估计的选项，材料和预算的估计可以从项目数据库中检索，并且可以基于其他类似的项目来计算。
参照图4B，在将项目存储在持久性虚拟世界系统110中并与其他用户共享之后，其他用户可以经由用户设备远程访问服务器中的数据，并且可以向其他用户提供观看项目和优选项目的投票416的选项。
参考图4C，每个项目的投票得分418被存储在项目数据库中，并且可以被协同平台的任何其他用户(包括项目创建者，建筑服务提供商和城市管理部门等)查看。
图5描绘了根据实施例的用于协同投标平台116的用户界面。图5的一些元素可以与图1-4C的元素相似，因此可以使用相似或相同的附图标记来描述那些元素。
在图5中，协同投标平台116的用户界面使得用户能够查看虚拟项目，诸如在图4A-4C中通过协同创建平台114选择和投票的限速标志414和投票分数418，并存储在项目数据库中。建筑服务提供商可以使用协同投标平台116来放置投标502，该投标502可以包括估计成本504和估计时间506。在其它实施例中，投标502可以包括其它数据，例如施行项目所需的材料508的明细和每种材料的估计成本。
在其它实施例中，协同投标平台116可以使建筑服务提供商能够提供关于由自身进行的先前工作或关于建筑服务实体的参考。例如，协同投标平台116可以使建筑服务提供商能够提供对个人项目数据库的访问，其中每个项目可以包括来自其他用户的关于项目质量或服务提供商质量的评级和评论。
图6示出了根据实施例的用于协同管理部门平台118的用户界面。图6的一些元素可以与图1-5的元素相似，因此可以使用相似或相同的附图标记来描述那些元素。
参照图6，关于街区场景302，用户界面可以向城市管理员显示已经经由协同创建平台114创建的各种虚拟项目和对应的投票得分418、以及由一个或多个建筑服务提供商经由协同投标平台发布的各种投标，例如投标602a-d。
根据实施例，协同管理部门平台118还使得城市管理员能够分配每个项目的预算并向用户提供每个项目的预算，以便建立项目。预算可以由项目创建者与其他公民协同使用，以便通过例如搜索建筑公司本身来建立项目。在其它实施例中，预算可以由城市管理部门直接提供给已经通过协同投标平台116提供了对应的投标502的建筑公司。
图7示出了根据实施例的可以与本公开的系统一起使用的设备702(例如，用户设备，连接设备)的示意性表示。
本公开的设备702可以包括诸如输入/输出(I/O)模块704的操作组件；电源706；存储器708；感测机构710和通信电路，可以包括收发器712(例如，与连接设备中的感测机构710一起形成跟踪模块714)；以及网络接口716，全部可操作地连接到处理器718。
I/O模块704被实现为被配置为与用户交互并向一个或多个其它系统组件提供用户输入数据的计算硬件和软件。例如，I/O模块704可以被配置为与用户交互，基于交互生成用户输入数据，并且在经由网络被传送到诸如服务器的其它处理系统之前将用户输入数据提供给处理器718。在另一示例中，I/O模块704被实现为被配置为与设备702交互的外部计算定点设备(例如，触摸屏，鼠标，3D控件，操纵杆，游戏垫等)和/或文本输入设备(例如，键盘，口述工具等)。在其它实施例中，I/O模块704可提供比上述功能更多、更少或不同的功能。
电源706被实现为被配置为向设备702供电的计算硬件和软件。在一个实施例中，电源706可以是电池。电源706可以被内置到设备702中或者可以从设备702中移除，并且可以是可再充电的或不可再充电的。在一个实施例中，设备702可以通过用另一个电源706替换一个电源706来重新供电。在另一个实施例中，电源706可以通过连接到充电源的电缆进行再充电，例如连接到个人计算机的通用串行总线("USB")火线，以太网，雷电或耳机电缆。在另一个实施例中，电源706可以通过感应充电进行再充电，其中，当感应充电器和电源706两者非常接近时，电磁场用于将能量从感应充电器传递到电源706，但不需要通过电缆彼此插入。在另一个实施例中，可以使用对接站来促进充电。
存储器708可以被实现为适于存储应用指令和存储由多个感测机构捕获的感测数据的计算硬件和软件。存储器708可以是能够存储处理器718可访问的信息的任何合适的类型，包括计算机可读介质，或存储可以借助于电子设备读取的数据的其它介质，例如硬盘驱动器，存储卡，闪存驱动器，ROM,RAM,DVD或其它光盘，以及其它具有写能力和只读存储器。除了永久存储器之外，存储器708还可以包括临时存储器。
感测机构可以被实现为适于从现实世界获得各种感测数据并确定/跟踪设备702的位置和朝向的计算硬件和软件。感测机构可以包括但不限于一个或多个温度传感器，接近传感器，惯性传感器，红外传感器，污染传感器(例如，气体传感器)，压力传感器，光传感器，超声波传感器，烟雾传感器，触摸传感器，色度传感器，湿度传感器，水传感器，电传感器或其组合。特别地，感测机构包括一个或多个惯性测量单元(IMU)，加速度计和陀螺仪。IMU被配置为通过使用加速度计和陀螺仪的组合来测量和报告设备702的速度，加速度，角动量，平移速度，旋转速度和其它遥测元数据。IMU内的加速度计和/或与IMU分开配置的加速度计可以被配置为测量交互设备的加速度，包括由于地球重力场引起的加速度。在一个实施例中，加速度计包括能够在三个正交方向上测量加速度的三轴加速度计。
收发器712可被实现为计算硬件和软件，其被配置为使设备702能够从天线接收无线电波并将数据发送回天线。在一些实施例中，可以使用mmW收发器，其可以被配置为从天线接收mmW波信号，并且当与沉浸式内容交互时将数据发送回天线。收发器712可以是双向通信收发器712。
在实施例中，跟踪模块714可以通过将IMU，加速度计和陀螺仪的能力与由收发器712提供的位置跟踪相结合来实现，并且由基于mmW的天线提供的精确跟踪，低等待时间和高QOS功能可以实现亚厘米或亚毫米位置和定向跟踪，这可以在跟踪设备702的实时位置和定向时提高精度。在替代实施例中，感测机构和收发器712可在单个跟踪模块装置中耦合在一起。
网络接口716可以被实现为计算软件和硬件，以通信地连接到网络，从由服务器或设备702发送的网络接收计算机可读程序指令，并转发计算机可读程序指令，以便存储在存储器708中，由处理器718执行。
处理器718可以被实现为被配置成接收和处理感测数据的计算硬件和软件。举例来说，处理器718可经配置以提供成像请求，接收成像数据，将成像数据处理成环境或其它数据，处理用户输入数据和/或成像数据以产生用户交互数据，执行基于边缘(装置上)的机器学习训练和推断，提供服务器请求，接收服务器响应，和/或将用户交互数据，环境数据和内容对象数据提供到一个或一个以上其它系统组件。例如，处理器718可以从I/O模块704接收用户输入数据，并且可以分别实现存储在存储器708中的应用。在其它实例中，处理器718可从感测机构接收从现实世界捕获的感测数据，或可通过跟踪模块714接收装置702的准确位置和定向，且可在将数据发送到服务器以用于进一步处理之前准备一些数据。作为示例，处理器718可以实现在数据准备期间所需的一些步骤，包括模拟或数字信号处理算法，诸如在将数据发送到服务器之前对感测数据进行原始数据减少或过滤。
图8示出了根据实施例的用于提供现实世界项目的虚拟协同创建的方法800的框图。方法800可以由系统来实现，例如参照图1-7所描述的系统。
方法800开始于框802和804，经由副本编辑器开发现实世界元素的虚拟副本，生成存储在服务器中的持久性虚拟世界系统。方法800在框806中继续，经由感测机构使虚拟副本与现实世界元素同步，并且随后在框808中，经由存储在服务器中的协同创建平台来创建存储在项目数据库中的虚拟项目形式的一个或多个现实世界项目建议，项目数据库存储在服务器的存储器中。对应于项目建议的每个虚拟项目可以包括资产，可以从预定义的资产中选择资产，或者通过对表示每个项目建议的新资产建模来选择资产。在一些实施例中，预定义的资产可以包括存储在项目数据库中的对应动态材料清单中包括的预定义材料以及估计成本。可以通过从项目数据库检索数据并经由处理器执行计算机可读指令来自动调整材料清单，生成调整后的材料清单和对应的成本。在其它实施例中，用户能够根据他们的需要编辑材料和成本。
方法800在框810中继续，经由协同创建平台对现实世界项目进行投票(或指示一个或多个计算设备呈现本文公开的用户界面，用于接收投票)。在一些实施例中，用户还可以查看每个项目的投票得分。方法800在框812中继续，由建筑服务提供商经由存储在服务器中的协同投标平台向每个现实世界项目建议提供一个或多个投标(或指示一个或多个计算设备呈现本文公开的用户界面，用于接收投标)。投标可以包括为每个选择的项目提出的估计的时间和预算。在其它实施例中，投标可以另外包括进行项目所需的材料的明细。在框814中，方法800继续，由城市管理员经由协同管理部门平台来审查一个或多个现实世界项目(或指示一个或多个计算设备呈现本文公开的用户界面，用于审查)。在审查项目时，城市管理员能够查看各种项目以及投票得分和分配给每个项目的一个或多个投标。
在检查816中，方法800继续，由城市管理员诸如通过验证项目的经济或地理可行性、项目的实际需要、投票得分、所需材料等，根据基于规则的系统来检查项目是否合适(或指示一个或多个计算设备呈现本文公开的用户界面，用于检查)。如果该项目不合适，则城市管理员可以通过经由协同管理部门平台拒绝该项目来继续进行(或指示一个或多个计算设备自动拒绝项目)，如框818所示，并且返回框814，继续审查其他项目。如果该项目是合适的，则城市管理员可以通过批准该项目来进行(或一个或多个计算设备可以基于预定义的标准而自动批准项目)，如框820所示。
最后，城市管理员可以通过经由协同管理部门平台向项目分配预算来结束(或指示一个或多个计算设备自动分配预算)，如框822所示。预算可以被分配用于项目创建者或建筑服务提供商的使用。然后，方法800可以在框824结束。
虽然已经在附图中描述和示出了某些实施例，但是应当理解，这样的实施例仅仅是说明性的，而不是对宽泛的发明进行限制，并且本发明不限于所示出和描述的具体结构和布置，因为本领域的普通技术人员可以想到各种其他修改。因此,本说明书应被认为是示例性的而不是为了限制本发明。

Claims (20)

1.一种用于虚拟协同创建现实世界项目的系统，其特征在于，所示系统包括：
服务器系统，所述服务器系统包括一个或多个服务器计算机，所述一个或多个服务器计算机包括存储器和处理器，其中服务器系统包括具有结构化数据的数据库，存储现实世界元素的虚拟副本，形成持久性虚拟世界系统，其中所述虚拟副本通过存储在所述服务器系统中的副本编辑器进行开发，所述服务器系统还存储协同平台和配置为存储项目数据的项目数据库，所述协同平台包括协同创建平台、协同投标平台、协同管理部门平台；以及
通过网络连接到所述服务器系统的多个连接设备，每个连接设备包括通信电路和一个或多个传感器，其中，所述多个连接设备被配置为从现实世界元素中捕获多源数据，所述多源数据用于充实所述虚拟副本，并使所述虚拟副本与对应的现实世界元素同步；以及
其中，所述协同创建平台能够在所述持久性虚拟世界系统中创建表示建议的现实世界项目的虚拟项目，其中，所述虚拟项目包括所述现实世界元素的一个或多个虚拟副本，其中，所述协同投标平台能够为选定的项目提供投标，以及其中，所述协同管理部门平台能够审查项目。
2.如权利要求所述1的系统，其特征在于，所述副本编辑器包括建模工具，其能够基于所述现实世界元素的CAD或CAE模型，生成具有数据和指令的虚拟副本，所述建模工具能够输入建筑信息模型。
3.如权利要求所述2的系统，其特征在于，所述建模工具还能够通过照片、视频、深度测量、同步定位和建图(SLAM)扫描或雷达成像技术或其组合，输入基于汽车或无人机的图像扫描流水线，以对所述虚拟副本进行建模。
4.如权利要求所述1的系统，其特征在于，所述协同创建平台能够在融合现实或虚拟现实中仅由用户界面选择预定义资产或创建新资产，并将所述预定义资产或所述新资产添加到至少一个所述虚拟项目中。
5.如权利要求所述4的系统，其特征在于，所述预定义资产或所述新资产的对应的虚拟副本被配置为经由所述用户界面来修改。
6.如权利要求所述4的系统，其特征在于，所述预定义资产或所述新资产的对应的虚拟副本被配置为放置在所述一个或多个虚拟项目中的期望位置中，其中所述期望位置对应于现实世界的位置。
7.如权利要求所述1的系统，其特征在于，所述协同平台能够实现推荐器系统，用于通过协同过滤或模拟过滤，向用户提供项目的排名和过滤。
8.如权利要求所述7的系统，其特征在于，模拟过滤包括运行基于目标的模拟以获得模拟结果，并将模拟结果与所述项目的一个或多个方面进行比较。
9.如权利要求所述8的系统，其特征在于，所述基于目标的模拟至少部分地基于从所述现实世界元素中捕获的多源数据。
10.一种虚拟协同创建现实世界项目的方法，其特征在于，所述方法包括：
由包括一个或多个服务器计算机的服务器系统：
提供持久性虚拟世界系统，包括副本编辑器和使用所述副本编辑器创建的现实世界元素的虚拟副本；
使用由与所述服务器系统通信的连接设备的传感器采集的多源数据，将所述虚拟副本与所述现实世界元素同步；
提供存储在所述服务器系统中的协同创作平台，所述协同创作平台能够在持久性虚拟世界系统中创建表示一个或多个现实世界项目建议的一个或多个虚拟项目，并能够对所述一个或多个现实世界项目建议进行投票；
提供存储在所述服务器系统中的协同投标平台，所述协同投标平台能够为所述一个或多个现实世界项目建议提供一个或多个投标；以及
在所述服务器系统中提供协同管理部门平台，所述协同管理部门平台可以对所述一个或多个现实世界项目建议进行审查、批准或拒绝，并分配预算。
11.如权利要求所述10的方法，其特征在于，所述副本编辑器包括建模工具，所述建模工具能够基于现实世界元素的CAD模型，生成具有数据和指令的虚拟副本，所述建模工具能够输入建筑信息模型。
12.如权利要求所述11的方法，其特征在于，所述建模工具还能够通过照片、视频、深度测量、同步定位和建图(SLAM)扫描或雷达成像技术或其组合，来输入基于汽车或无人机的图像扫描流水线，以对所述虚拟副本进行建模。
13.如权利要求所述10的方法，其特征在于，所述协同创建平台能够在融合现实或虚拟现实中经由用户界面来选择预定义资产或创建新资产，并将所述预定义资产或所述新资产添加到至少一个虚拟项目中。
14.如权利要求所述10的方法，其特征在于，所述协同平台能够实现推荐器系统，用于通过协同过滤或模拟过滤，向用户提供项目的排名和过滤。
15.如权利要求所述14的方法，其特征在于，所述模拟过滤包括运行基于目标的模拟以获得模拟结果，并将模拟结果与所述项目的一个或多个方面进行比较。
16.如权利要求所述15的方法，其特征在于，所述基于目标的模拟至少部分地基于从所述现实世界元素捕获的所述多源数据。
17.一种计算机可读介质，其上存储有被配置为使服务器系统进行以下步骤的指令：
提供持久性虚拟世界系统，包括副本编辑器和使用所述副本编辑器创建的现实世界元素的虚拟副本；
使用与所述服务器系统通信的连接设备的传感器所采集的多源数据，将所述虚拟副本与所述现实世界同步；以及
提供存储在所述服务器系统中的协同创作平台，所述协同创作平台能够在持久性虚拟世界系统中创建表示一个或多个现实世界项目建议的一个或多个虚拟项目。
18.如权利要求所述17所述的计算机可读介质的方法，其特征在于，所述副本编辑器包括能够基于现实世界元素的CAD模型生成带有数据和指令的虚拟副本的建模工具，所述建模工具能够输入建筑信息模型。
19.如权利要求所述17所述的计算机可读介质的方法，其特征在于，所述协同创建平台能够在融合现实或虚拟现实中经由用户界面选择预定义资产或创建新资产，并将所述预定义资产或所述新资产添加到至少一个虚拟项目中。
20.如权利要求所述17所述的计算机可读介质的方法，其特征在于，所述预定义资产和所述新资产的对应的虚拟副本被配置为放置在一个或多个虚拟项目中的期望位置中，其中所述期望位置对应于现实世界的位置。
CN202010558359.6A 2019-06-18 2020-06-18 现实世界项目的虚拟创建 Pending CN112102464A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962863105P 2019-06-18 2019-06-18
US62/863,105 2019-06-18

Publications (1)

Publication Number Publication Date
CN112102464A true CN112102464A (zh) 2020-12-18

Family

ID=71108491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010558359.6A Pending CN112102464A (zh) 2019-06-18 2020-06-18 现实世界项目的虚拟创建

Country Status (3)

Country Link
US (2) US11650719B2 (zh)
EP (1) EP3754573A1 (zh)
CN (1) CN112102464A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331434B (zh) * 2022-07-29 2023-08-18 武汉理工大学 融合道路bim与监控视频的交叉口应急导控方法及系统
WO2024192576A1 (en) * 2023-03-17 2024-09-26 Huawei Technologies Co., Ltd. Systems and methods for a digital world
CN118433972A (zh) * 2024-06-27 2024-08-02 深圳大学 一种基于计算机视觉和bim技术的照明控制系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315705A (zh) * 2000-04-01 2001-10-03 韩国假想现实株式会社 利用互连网计算机辅助设计虚拟现实系统的电子交易方法
US20040117777A1 (en) * 2002-07-15 2004-06-17 Lichana Daniel De Systems and methods for land-use development, planning and management
US20080249756A1 (en) * 2007-04-06 2008-10-09 Pongsak Chaisuparasmikul Method and system for integrating computer aided design and energy simulation
CN104025131A (zh) * 2011-10-25 2014-09-03 瑟法瑞公司 利用设计策略分析和设计建筑结构的系统和方法
US9517403B1 (en) * 2013-12-19 2016-12-13 Kabam, Inc. Rewarding user customization of a virtual item based on user reviews in an online game
CN107134011A (zh) * 2017-05-02 2017-09-05 湖北历拓网络科技有限公司 一种基于虚拟现实的智慧城市系统
KR20180109604A (ko) * 2017-03-28 2018-10-08 임미정 가상 현실 영상 제공 장치 및 가상 현실 영상 제공 방법
US20180342106A1 (en) * 2017-05-26 2018-11-29 Brandon Rosado Virtual reality system
US20190108686A1 (en) * 2017-07-28 2019-04-11 Magical Technologies, Llc Systems, Methods and Apparatuses of Seamless Integration of Augmented, Alternate, Virtual, and/or Mixed Realities with Physical Realities for Enhancement of Web, Mobile and/or Other Digital Experiences

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030083957A1 (en) 1995-06-16 2003-05-01 Shari B. Olefson Method and apparatus for selection and viewing real estate properties
US6091422A (en) * 1998-04-03 2000-07-18 Avid Technology, Inc. System for editing complex visual data providing a continuously updated rendering
US20080243721A1 (en) 1999-08-24 2008-10-02 Raymond Anthony Joao Apparatus and method for providing financial information and/or investment information
US20060010005A1 (en) 2004-07-08 2006-01-12 William Rowland Building construction management system
US20100030804A1 (en) * 2008-07-31 2010-02-04 International Business Machines Corporation Synchronization of Locations in Real and Virtual Worlds
WO2010129721A2 (en) * 2009-05-05 2010-11-11 Mixamo, Inc. Distributed markerless motion capture
US8564621B2 (en) * 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US20120159350A1 (en) * 2010-12-21 2012-06-21 Mimesis Republic Systems and methods for enabling virtual social profiles
US9721386B1 (en) 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
ES2656868T3 (es) * 2011-10-05 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositivo portátil, sistema y método de realidad virtual
CN103258338A (zh) * 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和系统
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US20170116693A1 (en) 2015-10-27 2017-04-27 Verimatrix, Inc. Systems and Methods for Decentralizing Commerce and Rights Management for Digital Assets Using a Blockchain Rights Ledger
US20170140484A1 (en) 2015-11-18 2017-05-18 Lennar Pacific Properties Management, Inc. Virtual or augmented reality customization system and method
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US20170267099A1 (en) * 2016-03-17 2017-09-21 Calay Venture S.à r.l. Vehicles for providing virtual environments
US10359988B2 (en) * 2016-04-06 2019-07-23 Tmrwland Hongkong Limited Shared experience of virtual environments
US10628537B2 (en) 2016-04-12 2020-04-21 Dassault Systemes Simulia Corp. Simulation augmented reality system for emergent behavior
US20180322597A1 (en) 2016-08-31 2018-11-08 Robert Sher Decentralized cryptographic real estate transaction assistance system and method
US20180075652A1 (en) 2016-09-13 2018-03-15 Next Aeon Inc. Server and method for producing virtual reality image about object
US20180096362A1 (en) 2016-10-03 2018-04-05 Amy Ashley Kwan E-Commerce Marketplace and Platform for Facilitating Cross-Border Real Estate Transactions and Attendant Services
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
CA3046860A1 (en) * 2016-12-15 2019-06-21 Walmart Apollo, Llc Apparatus and method for collaborative shopping
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
KR101887810B1 (ko) 2017-05-12 2018-09-10 정규영 가상현실과 증강현실을 이용한 이삿짐 시뮬레이션 제공과 이를 통한 부동산 중개 시스템
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
WO2019028159A1 (en) 2017-08-02 2019-02-07 Magical Technologies, Llc SYSTEMS, METHODS AND APPARATUS FOR FACILITATING TRADE OR EXCHANGE OF VIRTUAL PROPERTY ASSETS ASSOCIATED WITH PHYSICAL SPACE
US10360214B2 (en) 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure
CN107885326A (zh) 2017-10-26 2018-04-06 中国电子科技集团公司第二十八研究所 基于HoloLens的智慧城市规划设计方法
US11272081B2 (en) * 2018-05-03 2022-03-08 Disney Enterprises, Inc. Systems and methods for real-time compositing of video content
JP7082416B2 (ja) * 2018-05-24 2022-06-08 ザ カラニー ホールディング エスエーアールエル 実世界を表現するリアルタイム３ｄ仮想世界の中でのリアルタイム３ｄ仮想物体の双方向リアルタイム３ｄインタラクティブ操作
US11080941B2 (en) * 2018-12-20 2021-08-03 Microsoft Technology Licensing, Llc Intelligent management of content related to objects displayed within communication sessions

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1315705A (zh) * 2000-04-01 2001-10-03 韩国假想现实株式会社 利用互连网计算机辅助设计虚拟现实系统的电子交易方法
US20040117777A1 (en) * 2002-07-15 2004-06-17 Lichana Daniel De Systems and methods for land-use development, planning and management
US20080249756A1 (en) * 2007-04-06 2008-10-09 Pongsak Chaisuparasmikul Method and system for integrating computer aided design and energy simulation
CN104025131A (zh) * 2011-10-25 2014-09-03 瑟法瑞公司 利用设计策略分析和设计建筑结构的系统和方法
US9517403B1 (en) * 2013-12-19 2016-12-13 Kabam, Inc. Rewarding user customization of a virtual item based on user reviews in an online game
KR20180109604A (ko) * 2017-03-28 2018-10-08 임미정 가상 현실 영상 제공 장치 및 가상 현실 영상 제공 방법
CN107134011A (zh) * 2017-05-02 2017-09-05 湖北历拓网络科技有限公司 一种基于虚拟现实的智慧城市系统
US20180342106A1 (en) * 2017-05-26 2018-11-29 Brandon Rosado Virtual reality system
US20190108686A1 (en) * 2017-07-28 2019-04-11 Magical Technologies, Llc Systems, Methods and Apparatuses of Seamless Integration of Augmented, Alternate, Virtual, and/or Mixed Realities with Physical Realities for Enhancement of Web, Mobile and/or Other Digital Experiences

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
路方芳等: "基于虚拟空间和网络交流技术的参与式规划设计――以日本公园设计为例", 科技导报, vol. 31, no. 26, pages 15 - 22 *

Also Published As

Publication number Publication date
EP3754573A1 (en) 2020-12-23
US20200401284A1 (en) 2020-12-24
US11650719B2 (en) 2023-05-16
US20230259255A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
CN110531960B (zh) 用于通过虚拟世界，在现实世界中开发，测试以及部署数字现实应用程式的系统与方法
US11202036B2 (en) Merged reality system and method
US11663685B2 (en) System and method for providing digital reality experiences and decentralized transactions of real estate projects
Cai et al. Joint development of cultural heritage protection and tourism: the case of Mount Lushan cultural landscape heritage site
US20230259255A1 (en) Virtual creation of real-world projects
US11270513B2 (en) System and method for attaching applications and interactions to static objects
EP3754469A1 (en) 3d structure engine-based computation platform
US20200404079A1 (en) Location-based application stream activation
US11546721B2 (en) Location-based application activation
CN111973979A (zh) 经由持久性虚拟世界系统对现实世界进行实况管理
US11471772B2 (en) System and method for deploying virtual replicas of real-world elements into a persistent virtual world system
Shakeri et al. Augmented reality-based border management
Abboud Architecture in an age of augmented reality
Góralski Three-Dimensional Interactive Maps–Theory and Practice
Podevyn Developing an Organisational Framework for Sustaining Virtual City Models
Capra Collaborative mixed reality environments: An application for civil engineering
Capra Collaborative Mixed Reality Environments
Jo et al. Workflow for Developing High-Resolution 3D City Models in Korea
Davis Immersive GeoDesign: exploring the built environment through the coupling of GeoDesign, 3D modeling, and immersive geography
Kaźmierczak et al. Augmented Reality as a Support in the Process of Spatial Development
MO Web-based Visualization and Interaction of SUMO Traffic Simulation in Digital Twin Model: A Prototype at Kista, Stockholm
Yiakoumettis et al. A GIS platform for automatic navigation into Georeferenced Scenes using GIS Scene Explorer (GIS-SE)
Mozaffari Creating and testing urban virtual reality models for engineering applications
Rousell et al. The Role of Contextual Info‐Marks in Navigating a Virtual Rural Environment
Zakhor et al. Next Generation, 4-D Distributed Modelling and Visualization of Battlefield

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 54 Montorf Road, Betangburg, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: TMRW Foundation IP & Holding S.A.R.L.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 14-16 Pasteur Avenue, Luxembourg

Applicant after: Karan Holdings Ltd.

Address before: 54 Montorf Road, Betangburg, Luxembourg

Applicant before: Karan Holdings Ltd.