CN114365137B - 用于设计的增强现实方法和系统 - Google Patents

Abstract

讨论了一种用于生成正式房屋设计的系统。该系统首先输入房屋的非正式二维图。该系统继续分析非正式二维渲染并确定在二维渲染所描绘的房屋上发现的特征。然后，系统生成房屋的三维模型，并用交互式物体填充它。最后，系统提供包含交互式物体的三维渲染的多个视图。

Description

用于设计的增强现实方法和系统

优先权声明

本申请要求优先于2019年8月7日提交的申请号为16/533，933的美国专利申请，目前尚在审理中，该申请又要求优先权，作为2017年11月24日提交的申请号为15/822，070的美国专利申请的一部分的延续，该专利申请于2020年3月3日作为美国专利10，580，207公布。该申请的内容在此引入作为参考。

技术领域

本发明涉及一种使用增强现实和虚拟现实组件辅助设计的方法和系统。

背景技术

许多设计任务只看到了计算机化带来的增量改进。一方面，计算机化结束了手工起草和重新起草设计的时代。另一方面，在设计阶段之前发生的步骤与没有计算机时的步骤没有显著差异。主要是将草图输入正式系统，然后进行三维建模。

初始设计理念进入系统是相当大的障碍。设计软件的终端用户必须能够胜任软件的使用。不同的供应商在设计输入阶段采用不同的方法，有些供应商在简化任务方面比其他供应商更成功。然而，输入设计的初始模型的任务对许多开始设计的用户来说一直是障碍。

这在室内设计软件的领域尤为明显。虽然操作的细节已经发生了变化，诸如三维建模之类的功能给人留下了深刻印象，但不可避免地，这类设计软件的用户在开始时会看到一张空白页。由终端用户在软件中绘制房间的尺寸、门窗的位置等。

自从几十年前第一批室内设计软件包在市场上销售以来，这些初始步骤一直没有改变。许多用户在面对这样的空白页面时会感到气馁。其他坚持并试图使用软件的用户可能会无意中以非预期的方式使用设计工具，导致令人沮丧的错误设计或完全不可能的设计。该系统将尝试对不遵循最佳实践、不安全或不具有商业可行性的设计进行建模。那些花了大量时间学习设计软件却发现最终设计无效的用户，将会在将来不再使用任何工具。

以前解决这个问题的尝试依赖于现成的模板，然后用户可以对其进行定制。虽然该解决方案将为用户提供开始工作的指导，但是它没有克服与学习不熟悉的系统相关的问题。额外的权衡是，如果不首先广泛定制所提供的模板，用户在他们的设计中不再具有完全的灵活性。这大大降低了设计软件的优势。最终，为了能够创建反映用户想法的设计，用户必须或者大量定制起始模板，或者使用系统输入工具重新设计。

因此，本领域需要一种系统来简化将信息输入软件包的过程。该系统和方法应该对设计过程的每个方面使用直观的方法，从添加初始输入到向初始输入添加细节，最后到修改最终设计。

发明内容

本发明的目的是提供一种设计系统和方法，克服现有技术的许多限制

本发明的另一目的是提供一种生成形式设计的系统。本发明的特征是几个输入源被组合以达到正式设计。本发明的优点是创建最终设计不需要单一的输入方法。

本发明的另一目的是提供一种在设计过程中节省时间的系统和方法。本发明的特征是该方法自动化了几个设计输入任务。本发明的优点是可以在有限的时间内向系统的终端用户呈现设计输入。

本发明的另一目的是提供一种不需要计算机辅助设计软件的现有知识的系统和方法。本发明的特征是软件以非正式的方式接受来自用户的输入，而不需要用户学习如何在软件内操作输入设计。本发明的优点是终端用户可以开始与软件的分析工具交互，而无需首先学习如何将设计输入到软件中。

本发明的另一目的是提供一种系统和方法，允许终端用户将设计输入到软件中，而无需熟悉特定领域内的设计规则。本发明的特征是，软件分析终端用户的输入，并提供关于符合最佳设计实践的反馈。本发明的优点是软件为终端用户突出了最佳设计实践，因为每个最佳实践或行业标准都与终端用户的设计相关。

本发明的另一目的是提供一种使用直觉机制将设计输入到计算机辅助设计包的系统和方法。本发明的特征是用户的非正式草图用作设计的初始输入。本发明的优点是它消除了用户对正式输入的需要。

本发明的另一目的是允许终端用户离开计算机绘制非正式设计草图。本发明的特征是非正式草图可以作为线条画的照片或纸上草图的扫描提供给系统。本发明的优点是终端用户不必在计算机屏幕上画草图，本发明也不需要使用触摸屏。相反，输入是以终端用户最熟悉和最舒适的方式进行的。

本发明的另一目的是提供一种以任何方便的形式运行的系统。在一个实施例中，本发明的特征是其界面呈现为移动应用。本发明的优点是，在系统内创建的设计可以在终端用户可以访问甚至小屏幕移动设备的任何地方工作。

本发明的另一目的是提供输入设计的三维模型。本发明的特征是将终端用户的非正式输入草图转换成设计的三维模型。本发明的优点是系统将草图转换成计算机可读的3d模型。

本发明的另一目的是提供一种确认三维模型的方法。该系统的特征在于，在一个实施例中，终端用户使用增强现实将系统生成的3d模型叠加回草图上。该系统的优点是终端用户可以看到3d模型如何对应于在初始非正式草图上绘制的特征。

本发明的另一目的是提供一种在整个过程中改进设计的方法。该系统的一个实施例的特征是向用户显示设计迭代的预览，并且向用户提供更新设计的机会。该系统的优点是终端用户不会浪费时间建模或承担具有非预期特征或其他错误的详细设计。

本发明的另一目的是提供完成设计的环境。该系统的一个实施例的特征是，所有的设计元素都可以根据任务的需要添加到系统中。例如，在系统正在对住宅地产建模的情况下，系统包括向3d模型添加家具的设施。该系统的优点是它支持使用定制的和预先存在的组件的详细设计。

该系统的另一目的是促进最终设计的产生。该系统的特点是，它向终端用户提供如何完成设计的建议。该系统的优点是，它为终端用户提供了特征设计的多种选择，并根据用户偏好建议了某些选项。

该系统的另一目的是为终端用户提供一种与最终设计进行互动的手段。该系统的特点是，它生成最终设计的照片般逼真的虚拟现实检查。该系统的优点是它为最终设计提供了可定制的虚拟现实环境。

该系统的另一好处是，它为制造商提供了一种展示适合终端用户设计的产品的简便方法。本发明的特征是它在设计环境中提供某些第三方产品的促销。该系统的好处是，它允许当前从事设计任务的客户额外接触第三方产品。

简而言之，本发明提供了一种用于设计环境的系统，该系统包括将房屋的非正式二维渲染输入到系统中；分析所述非正式二维渲染；确定在由二维渲染描绘的房屋上发现的特征；生成房屋的三维模型；用交互式物体填充所述三维渲染；以及提供包含交互式物体的三维渲染的多个视图。

附图说明

从以下对附图所示的本发明优选实施例的详细描述中，可以更好地理解本发明以及上述和其他目的和优点，其中:

图1是描述本发明一个实施例的操作的流程图；

图2A和2B描绘了描述根据本发明的特征的设计修改步骤的细节的流程图；

图3是显示分析阶段细节的流程图；

图4是本发明一个实施例的用户界面的例子；

图5A-5C是本发明的一个实施例的操作的概述；

图6描绘了本发明一个实施例的输出；

图7A-7F描绘了本发明的一个实施例的步骤；

图8描绘了本发明另一实施例的流程图。

具体实施方式

当结合附图阅读时，将更好地理解前面的概述以及下面对本发明某些实施例的详细描述。

如本文所用，以单数形式叙述并以单词“一”或“一个”开头的元件步骤应理解为不排除复数个所述元件或步骤，除非明确陈述了这种排除。此外，对本发明的“一个实施例”的引用不旨在解释为排除也结合了所述特征的附加实施例的存在。此外，除非明确声明相反，否则“包括”或“具有”具有特定属性的一个或多个元素的实施例可以包括不具有该属性的额外的这种元素。

如本文所述，该系统的一个实施例包括室内居住空间的设计者。然而，相同的设计策略可以用于任何设计任务，包括内部空间、建筑物外部、新消费产品的设计、电路元件的设计以及其他任务。

概述

图1所示的流程图显示了该系统的概述。该系统包括装载在合适设备上的计算机可读软件。合适的设备包括便携式计算机、蜂窝电话、平板电脑和其他包含输入和输出设备的类似设备。在这里描述的实施例中，该设备必须能够访问成像设备，例如照相机或扫描仪。

此外，这里描述的实施例包括用户交互组件和服务器端组件，下面将描述它们中的每一个。

系统10的操作从启动12步骤开始。作为启动12步骤的一部分，系统10确保用户交互组件被授权使用、软件是最新的，并且正确地安装在兼容的硬件上。在一个实施例中，启动12步骤包括检查以确保系统正在授权的地理区域中使用，并且还可以访问所有必要的服务器端组件。初始化后，系统会加载用户设置。在一个实施例中，用户设置在第二数据存储中提供，例如基于云的账户。在另一个实施例中，在安装应用程序时向用户请求用户设置。

随后，系统10读取初始数据14。初始数据读取步骤14包括访问呈现用户交互组件的设备上的本地存储以及与服务器端组件通信，以确定授权用户是否已经将任何正在进行的设计上传到服务器。在一个实施例中，初始数据14包括内置模板、物体信息和关于建模墙壁、门和窗户的信息。

一旦系统10完成初始化步骤14，用户就有机会恢复现有设计的工作或开始新的设计。如果用户希望开始新的设计，用户被要求输入16该设计的基本参数。在一个实施例中，输入步骤16包括用户将图像捕捉设备放置在要建模的系统的粗略草图上，如步骤17所述。在另一种模式中，输入步骤16包括向系统10提供包含终端用户对草图的扫描的图像文件。

草图的照片或草图的扫描必须包括足够的细节，以便系统10在输入步骤17期间处理图像信息。在一个实施例中，对相机捕捉的图像的最低要求是它包含至少四百万像素的信息，每个边界包括至少20像素的高对比度数据。对于草图的扫描，系统要求图像扫描的分辨率至少为300dpi且不超过1200dpi。

在一个实施例中，照片应在设计草图上方不超过12英寸处拍摄。在一个实施例中，为了被接受，草图必须填充照片的图像区域的至少80％。

在一个实施例中，在输入步骤17期间，如果用于输入的图像具有足够的质量，则向用户提供反馈，包括图像特征，例如对比度、锐度和增强现实呈现所需的细节数量，如本文所述。

在一个实施例中，系统10要求用户提供草图的单个图像。在另一个实施例中，系统10接受一系列图像，例如视频流，并对视频的每个显著改变的帧执行后续步骤。这为用户提供了检查所提出的检查到的设计的机会，以确保哪一个是用户预期设计的最佳近似。

这些实施例的共同特征是，终端用户在物理介质中而不是直接在系统10中提供初始草图。因此，终端用户永远不会面对其他设计程序的简单的“空白画布”方法。系统10的输入步骤17以这种方式也与物理世界物体相关联——终端用户用来执行初始草图的纸张。

如图1的流程图所示，输入步骤16以三种模式操作：如上所述，输入16可以以草图输入模式17操作，其中从物理草图创建三维模型。可选地，终端用户可以在另一模式18下使用现有模型。当向终端用户提供已经由第三方建模的公寓时，使用现有建模步骤18。例如，在系统10的一个实施例中，当用户扫描由资产的开发商提供的条形码时，向用户提供现有的3d模型。在第三模式19中，终端用户可以从另一个来源导入3D模型，例如网站或由专业人员提供的3d模型。

创建初步三维模型的过程

如上所述，作为草图输入步骤17的一部分，终端用户可以从二维草图创建3D模型。该过程的细节如下:

这个过程的起点是非正式的物理草图，它以数字图像(*.jpg或*.png文件格式)的形式提供给系统。

然后将图像转换成数字矩阵，输入图像的每个像素转换成数字。在转换过程中，系统读取颜色值，并根据为墙壁颜色(通常为黑色或灰色-几乎为黑色)限定的起始标准，系统将像素转换为相应的数字。

然后，系统对值矩阵进行分析。

首先，系统使用搜索算法遍历矩阵，以便找到可能是墙壁的一部分的字段。在一个实施例中，这需要系统迭代矩阵的值，搜索用于墙壁标记的数字。第一步的输出是图像数据矩阵中表示的可能的墙壁位置的确定。

其次，在搜索算法完成后，系统进行厚度检查。如果该部分的厚度足够大，系统会将该足够粗的线视为墙壁的起点。在一个实施例中，基于矩阵分辨率和开始非正式绘图的比例来确定指定墙壁的最小厚度。

接下来，该算法跟踪具有期望数字的矩阵场，以便找到所有墙壁的轮廓。

在定位了所有可能的墙壁之后，该算法将搜索连接到墙壁的窗户和门图案。

当确定了所有平面布置图元素时，系统开始空间分析。

首先，系统确定平面图内的所有分隔空间(所有分隔房间)。

其次，系统计算它们的面积(多少平方米)，并确定它们中的哪些连接到公寓/房子的外部。以及哪些与其他房间相连。

接下来，基于空间大小和连接的工业标准，系统预测每个房间的类型。在一个实施例中，系统为它们中的每一个分配可能的名称(厨房、起居室……)。终端用户随后可以确认或更改检查到的空间名称。

通过这种方式，如果出现问题，比如某一类型房间的空间太小，或者缺少门导致房间孤立，系统就会给出反馈。

最后，基于检查到的平面布置图元素，系统创建具有门和窗户的墙壁的简单3D模型，并写出每个房间的名称。这完成了草图输入步骤17。

修改步骤

一旦可能的输入步骤17-19之一完成，系统10继续到使用增强现实修改布局的步骤20。向终端用户呈现设计的初步三维模型。向用户提供接受或拒绝初步模型的机会，导致系统返回到输入步骤16。

在一个实施例中，如果在布局确认步骤20期间，终端用户拒绝初步模型，则要求终端用户提供关于拒绝初步设计的原因的反馈。在一个实施例中，所创建的三维模型此后从设备存储器中擦除，并且将用户转移到应用的第一屏幕。

在确认步骤20期间接受初步设计之后，系统10开始通过添加所有设计元素来完成设计。检查步骤包括系统10检查初步模型以确定设计的重要特征，例如房间、每个房间的用途以及结构特征(例如柱和结构梁)的可能位置。这一步的输出只是结构的3d模型——窗户和门的位置在最初的草图分析步骤中确定。

在一个实施例中，在给定初始读取数据步骤14中提供的关于用户的可用信息的情况下，检查步骤还分析初步模型以确定可能的设计选择。例如，如果设计者是一个有小孩的家庭，建议的设计将包括适合年龄的特征。在一个实施例中，人工智能支持基于用户偏好的用户选择。在一个实施例中，为了确定用户的偏好，程序向用户提供了从几个室内设计图像中的选择。在该实施例中，系统基于用户早先优选的最终设计向用户建议包括哪些家具、每个墙壁的颜色、地板的类型。此外，当用户选择一件优选的家具(例如沙发)时，AI向终端用户建议与所选沙发的材料、风格、颜色和其他属性相匹配的茶几。在一个实施例中，终端用户的选择被记录在机器学习系统中，并用于在未来的选择中生成进一步的建议。

一旦修改步骤20完成，终端用户可以导出三维模型22，或者可以请求房屋的照片真实感可视化21。

在系统10的一个实施例中，包括增强现实特征。它将初步设计(修改步骤20的输出)叠加在输入步骤16中使用的原始草图上。这样，终端用户可以确认初步设计和最终三维设计都是用户想要的。

在系统10的一个实施例中，如本文所述，在增强现实中对照纸上的草图预览23最终设计。在检查期间，用户可以检查设计并进行其他更改。由于检查是使用增强现实完成的，用户可以直观地看到草图顶部的3D模型。草图的简单旋转将旋转3D模型的所有方位，放大和缩小是通过靠近和远离草图来完成的。在该增强现实检查期间，先前不知道复杂3D程序命令的用户可以操纵3D模型。用户能够在增强现实场景中改变家具(从数据存储中有几种选择)或改变颜色、纹理、位置或方向。该实施例与手持式AR系统和头戴式AR系统都兼容。在另一个实施例中，系统10包括虚拟现实确认特征。在该实施例中，佩戴合适的虚拟现实头戴式耳机或在单个设备屏幕上使用VR360演示的用户可以查看初步设计和最终的三维设计。在一个实施例中，虚拟现实特征集成到客户端界面应用中，并且在单个多用途设备(例如智能手机)上运行，其与可选的虚拟现实头戴式耳机接口。在一个实施例中，用户依靠增强现实来执行初步设计并对其进行操作。为了看到最终的设计，用户需要请求最终的照片真实感可视化，虚拟现实特征被调用。然而，由于3d模型必须使用高性能计算资源远程渲染。在一个实施例中，即使不需要远程计算能力，该处理也将花费一些时间，因为虚拟现实确认仅用于最终设计。在一个实施例中，照片逼真的最终设计作为AR照片逼真的3D模型或360VR虚拟游览来交付。

在三维模型步骤20的检查期间，系统10还用交互物体填充环境和设计，如下所述。

在一个实施例中，群体阶段包括向终端用户建议适合于每个检查到的房间类型的各种设计组件，例如地板和墙壁装饰。例如，不同的地板选择将建议用于浴室而不是起居室。

群体阶段还包括添加互动物体，如家具。在一个实施例中，根据客户端应用的赞助，系统显示来自特定集合或供应商的终端用户家具。系统10呈现给终端用户的所有物体都是交互式的，因为它们的物理属性可以改变，并且它们可以在系统处于虚拟现实或增强现实预览模式时使用。

一旦终端用户已经接受了设计，在照片级逼真的可视化步骤24期间呈现设计的最终版本。最终设计可以作为虚拟现实检查的一部分进行检查，或者可以使用增强现实预览模式投影回输入设计。可选地，或者结合照片真实感可视化，终端用户也可以导出扩展的三维模型25。

检查和分析步骤

设计输入步骤20的细节如图2A所示。设计修改步骤20将终端用户已经确认的初步模型作为输入步骤17-19之一的一部分。

检查步骤的第一阶段是边界检查30。系统10确定设计的边界在哪里，包括每个房间的墙壁、每个房间中窗户的位置(如用户草图上所示)以及每个房间中连接的内门。

检查步骤20还包括检查每个房间32的类型。在一个实施例中，可能的类型包括客厅、卧室、餐厅、厨房、浴室、储藏室、办公室等。在一个实施例中，要求用户确认系统检查。

在阶段32中确定每个房间的可能类型之后，系统10执行一系列布局检查33。该系统将确保布局没有非预期的特征，例如死角、可能不应该彼此连接的彼此开放的房间(例如过渡到另一个房间的浴室)以及其他可能的设计错误。例如，作为布局检查阶段33的一部分的系统10将确保没有走廊比最小尺寸更窄，或者每个卧室都有足够的空间用于床和存储空间。

一旦检查了布局，作为更新步骤34的一部分，系统10生成或更新三维模型。

在检查步骤32和布局检查步骤33之后，系统10请求用户反馈35。在一个实施例中，该用户反馈步骤35发生在检查和分析阶段20的末尾。在另一个实施例中，反馈步骤35在整个设计过程中以迭代的方式发生。在又一个实施例中，每当系统10代表终端用户做出关于设计选择之一的决定时，反馈步骤35发生。

检查和分析步骤20的输出是最终的三维设计，其中内部空间的主要特征被识别和量化。

边界检查步骤30的细节如图2B所示。这些步骤包括首先执行基本的图像预处理36，以消除输入中的任何伪像。例如，输入文件中的任何虚假点都应标记为错误，而不是渲染为内墙壁或内柱。

一旦预处理完成，系统确定墙壁37在模型中的位置。系统确定哪些墙很可能是承重墙，哪些只是小隔断。该系统还确定哪些墙壁37可能是全高的，哪些墙壁没有延伸到房间的全高。

在限定墙壁时，系统检查窗户38在布局中的位置。在一个实施例中，使用输入草图16中的指示来执行窗户检查38。系统10支持大型窗户样式库，并且作为窗户检查38的一部分，终端用户可以确认或改变房屋中窗户的样式。在一个实施例中，该过程是迭代的，使得一旦作为类型检查步骤32的一部分检查到房间类型，就更新窗户。例如，如果检查32指示房间是浴室，则窗户类型将设置为半透明窗户而不是透明窗户。

最后，作为边界检查步骤30的一部分，系统还执行门检查39。

物体填充步骤

现在转到图3，修改步骤20的流程图，描述了用物体填充设计的步骤。

填充步骤20接受由分析步骤20产生的最终三维设计作为输入。填充步骤20从确认每个房间42的属性开始。在一个实施例中，对于每个房间，系统10确认房间属性，例如曝光量、房间的大小以及房间的用途。

对于房屋中的每个房间，系统10使用物体计量器44来选择物体。在一个实施例中，物体包括诸如器具的固定装置，以及诸如家具的可移动物体。在一个实施例中，物体计量器是服务器端和客户端数据库的组合。

在一个实施例中，根据系统10的状态，物体计量器44包括不同的物体集合。例如，系统10可以授权显示仅来自一个供应商的物体。

在另一个实施例中，终端用户控制物体计量器44中的可用物体，但仅当终端用户已经为客户端应用程序的无限制访问版本付费时。在又一个实施例中，根据终端用户对系统10的订阅状态，每个终端用户可以访问物体计量器44内的物体库。

在一个实施例中，物体计量器44仅显示可在特定位置购买的可用物理物体。

添加到三维环境中的每个物体可以通过设置各种物体细节46来定制。例如，对于地板物体，终端用户将有选择多种颜色、纹理和材料的选项。类似地，对于任何家具物体，终端用户可以选择家具的属性，例如颜色、高度和其他特征。

在设计的虚拟现实检查或设计的增强现实检查期间，每个物体都设计为可交互的。

设计最终确定过程的细节

在一个实施例中，在步骤20结束时接受内部模型之后，用户继续内部的最终定制。

在一个实施例中，用户可以选择获得家具布置和风格的系统建议，或者继续自行集成3D家具模型。

如果用户选择系统帮助，在一个实施例中，基于检查和限定的空间，系统创建每个房间中基本家具放置的建议。在一个实施例中，系统采用行业标准和规则以及用户偏好。

输出是给用户的在哪里放置家具的系统建议，例如起居室中的沙发。系统使用自由空间、其他房间连接窗和门位置等因素。此外，在一个实施例中，系统使用用户对沙发风格的偏好。通过在界面内拖动建议的家具，用户可以改变所有建议的家具位置和类型。

此外，在一个实施例中，用户可以添加新的家具，其中系统AI将帮助终端用户，并根据用户偏好建议与已集成的家具具有相似风格和颜色的家具。

在一个实施例中，如果用户选择在没有系统帮助的情况下设置家具，系统仍然会建议使用家具。在这两种情况下，用户可以改变室内所有家具的位置、方向、类型、颜色和纹理，以获得最终的3D模型。

在完成并插入所有期望的家具和设备的3d模型之后，用户可以请求最终处理，例如通过请求照片级逼真的可视化24或导出的3D模型25。

示例界面

图4显示了示例用户界面。如图4所示，系统10界面显示了确认布局的步骤18。该界面显示在便携式设备60上。系统10示出了叠加在二维草图64的照片上的初步设计62。草图64画在纸66上。该草图符合设备60屏幕68的边界。

系统的三个阶段如图5A-5C所示。首先，如图5A所示，终端用户使用高对比度标记工具86，例如标记器，在一张纸84上绘制非正式的二维草图82。

第二，在图5B中，终端用户使用便携式设备90(例如手机)拍摄草图的照片。手机接受纸基草图84的输入，并向用户显示已经旋转和去歪斜的输入92。最后，如图5C所示，在检查20步骤之后，向终端用户显示三维设计98。通过将设计98叠加在草图的照片上，三维设计98以增强现实模式示出。

转到图6，最终设计100再次以增强现实模式显示给终端用户，在原始纸上描绘输出模型。

设计流程示例

图7A-7F描绘了使用本发明的一个实施例的设计过程的概述。如图7A所示，该过程从工作面110上的纸112开始，例如图7A所示的桌子。终端用户使用合适的书写工具116在纸112上画草图114。虽然图7A中所示的草图以类似于建筑图的正式方式描绘了诸如门和窗户之类的特征，但是系统接受非正式的图作为输入，其中门和窗户以任何可能的方式来表示。系统能够推断哪些用户选择的符号表示门或窗户。

在一个实施例中，系统向终端用户指示特定房间是否不可到达或者是否太多房间缺少窗户，因为这些可能指示设计不完整。

此外，尽管图7A中所示的草图114看起来很正式，但是它缺少系统不需要的许多架构细节。例如，草图114不需要包括正式的比例或符号图例。

如图7B所示，用户此后在其设备120上调用应用程序，该应用程序用于捕捉草图114的照片或视频116。此后，草图114在设备120的存储器中，并且可以使用设备120进行交互。

此后，设备120生成草图114的三维模型124。向终端用户指示126每个房间的用途。终端用户有机会通过与设备120上的三维模型124交互来改变布局，并且还可以确认模型122。如上所述，为了旋转空间的模型124，终端用户可以旋转包含草图114(在图7A中可见)的表112。

作为设计过程的一部分，如图7D所示，向终端用户提供物体130的建议。终端用户可以定制在系统中呈现给终端用户的每个物体130的颜色132和类型134。

根据图7E，一旦三维模型被物体填充，终端用户可导出三维模型140或呈现填充的模型144的虚拟现实游览142。

如图7F所示，系统将在设备120上显示虚拟现实游览150。尽管虚拟现实游览150描绘在设备120上，但在一个实施例中，它呈现在远程系统中，如上所述。

尽管图7A至7F显示了连续的步骤，但在一个实施例中，这些步骤也是迭代的。这样，终端用户可以改变物理草图114，并且设备120将重新呈现三维视图124。

时间敏感应用中的按需渲染

急救人员面临一系列独特的挑战，这些急救人员必须在时间敏感的情况下进入房屋，如在紧急情况下进入建筑物的人。在大多数情况下，急救人员是第一次进入建筑物，并且有特定的任务要完成，例如处理火灾或在房屋内定位嫌疑人。因此，他们没有时间熟悉需要解释且可能不明确的建筑平面图。在许多情况下，急救人员(如消防员)将依靠火灾报警站在建筑物大堂中找到的简单的房屋图纸。这些图纸通常不反映建筑物因改建而发生的变化。它们也仅适用于较大的商业建筑，而大多数紧急情况发生在较小的住宅建筑中。

在图8所示的一个实施例中，系统用于从数据存储中检索二维平面图，以用户友好的三维视图呈现房屋，并根据需要将视图呈现给急救人员。

如图8所示，按需呈现实施例160允许终端用户输入地址162。在一种使用场景中，地址由急救人员(例如消防员)输入，从而响应在特定建筑中的事件。在一个实施例中，地址输入步骤162包括手动输入地址。在另一实施例中，从数据源中(例如紧急响应系统(例如急救人员调度系统)检索地址信息。

然后，实施例160定位并检索建筑物164的二维布局。在一个实施例中，布局信息164的数据存储器是中央市政存储库，例如处理建筑许可证的办公室。在另一个实施例中，布局位于私人财产评估公司，例如处理保险评估的公司。在一个实施例中，关于房屋164的布局的信息被安全地共享，用于向急救人员提供关于房屋的信息的有限目的。在大多数情况下，步骤164中的布局将包括不同程度的复杂性，并且大多数布局将反映专业的绘图标准。在一个版本中，系统160识别正在分析的建筑布局类型。例如，如果系统160识别出它已检索到建筑电气安装的技术图纸，则系统160将忽略文档中的某些细节，例如灯具和电源插座的位置。相反，该系统只会模拟建筑物内部的实际布局。

在大多数情况下，定位布局步骤164将涉及电子数据存储。然而，在一个实施例中，系统160还允许终端用户向系统提供布局的纸质版本的照片。

在一个实施例中，系统160还试图解决定位布局步骤164无法找到特定地址的任何计划的情况。在一个实施例中，系统要求特定房屋的建筑平面图存档。在另一个实施例中，系统将指示准确的建筑平面图不可用，并对数据库执行更广泛的搜索。搜索条件可能包括由同一个开发人员在大约相同的时间框架内构建的属性。在另一个实施例中，系统根据记录的平面图将建筑的街景与建筑正面的预期外观进行比较，以确保建筑平面图与当前房屋相匹配。

接下来，使用上述过程，系统160将分析布局166。在该步骤中，系统160执行与上述相同的分析步骤，包括确定门窗位置、房间大小和房间类型。在紧急情况下，识别房间类型尤其有用，因为响应者需要尽快到达建筑物的卧室。

最后，在分析布局166后，展示了房屋的可视化。在一个实施例中，可视化作为便携式设备上的三维模型呈现。在另一实施例中，可视化包括增强现实呈现或虚拟现实呈现。

在一个实施例中，可视化168包括指向感兴趣区域(例如卧室)方向的寻路标记，例如箭头。

该系统的一个好处是，它可以根据需要从各种建筑平面图中生成建筑物的可视化168，而无需更改原始平面图或专门为此用途进行准备。该系统不需要访问给定城市中所有建筑的高质量平面图，因为在一个实施例中，它将与类似建筑的平面图相匹配。

在一个实施例中，系统按以下步骤操作。首先，个人或诸如安全之类的系统联系应急部门，通知他们火灾或其他事故，从而直接或间接地提供地址。第二，该地址被立即发送到至少一个数据库计算机系统，该系统识别该地址并找到平面图。在一个实施例中，将地址与平面图匹配的步骤使用人工智能。在一个实施例中，平面图来源于多个数据存储。例如，在某些管辖区，所有新开发项目都需要提供最终建筑平面图的计算机可读版本。在另一个管辖区，平面图的来源包括保险信息。例如，作为获取新保险单的一部分，客户将被要求提供房屋的渲染图。在一个实施例中，如果客户提供该附加信息，则向他们的保险单提供折扣。这样，在该实施例中，系统与存储在政府所有的数据存储和私有数据存储中的信息进行交互。

在一个实施例中，系统必须找到给定地址的确切平面图，因为不可能使用类似建筑物的平面图。在一个实施例中，初始可视化是建筑物的底层，根据响应团队的要求可视化附加楼层。在另一个实施例中，所有可用的楼层都被可视化。

第三，在接收到完整地址后，一个或多个数据存储将发回平面图。然后，该系统生成房屋的3d视图，包括关于空间、窗户、门、电器、燃气器具的位置以及其他相关信息。消防部门或其他应急小组在前往该地点的途中接收信息，并且可以在任何通用计算设备上查看该渲染。

上述可视化系统将在添加了窗户和门的位置的平面布置图的基础上自动创建3d模型。该系统将读取电气和气体装置的位置，以及任何其他危险装置，如房屋内的化学品储存装置。装置的位置将显示在3D模型中。在一个实施例中，最终输出是具有危险场所的高亮区域的3D模型的预览。在一个实施例中，演示发生在平板电脑屏幕上，或者发生在利用VR眼镜的虚拟现实中，或者发生在使用适当的智能手机/平板电脑结合AR头戴设备的增强现实中。

该系统的好处是，它将允许干预小组更好地理解和评估潜在的轰燃、回燃、爆炸风险和预期的空气流动，这些因素导致火势变大或其他严重问题，例如消防员在现场时的轰燃。向应急响应者提供内墙、房间、窗户、气体和电气设备的可视化。该可视化允许响应者定位潜在的受害者，降低爆炸、电击的风险，并且更好地准备处理紧急情况，例如火灾。在一个实施例中，系统在接收到地址的三分钟内提供完整的全3D可视化。

应当理解，上述描述旨在说明，而非限制。例如，上述实施例(和/或其方面)可以彼此结合使用。此外，在不脱离本发明的范围的情况下，可以进行许多修改以使特定的情况或材料适应本发明的教导。虽然这里描述的材料的尺寸和类型旨在限定本发明的参数，但是它们决不是限制性的，而是示例性实施例。通过阅读以上描述，许多其他实施例对于本领域技术人员来说将是显而易见的。因此，本发明的范围应当参照所附权利要求以及这些权利要求的等同物的全部范围来确定。在所附权利要求中，术语“包括(including)”和“其中(which)”用作术语“包含(comprising)”和“其中(wherein)”的简明英语替代词汇。此外，在以下权利要求中，术语“第一”、“第二”和“第三”仅用作标记，并不旨在对它们的物体施加数值要求。此外，以下权利要求的限制不是以装置加功能的格式编写的，并且不打算基于35U.S.§112(f)来解释，除非并且直到这样的权利要求限制明确地使用短语“装置”，后面是没有进一步结构的功能陈述。

根据需要，本发明的方法可包括上述任意或所有步骤或条件的各种组合。因此，对于本领域技术人员来说显而易见的是，在一些公开的方法中，可以删除某些步骤或者执行额外的步骤，而不会影响这些方法的可行性。

如本领域技术人员将理解的，对于任何和所有目的，特别是就提供书面描述而言，本文公开的所有范围也包括任何和所有可能的子范围及其子范围的组合。任何列出的范围都可以容易地认为是充分描述了并且能够将相同的范围分成至少相等的一半、三分之一、四分之一、五分之一、十分之一等。作为非限制性的例子，这里讨论的每个范围可以容易地分解成下三分之一、中间三分之一和上三分之一等。本领域技术人员还将理解，所有语言，例如“高达”、“至少”、“大于”、“小于”、“大于”等，包括所列举的数字，并且指的是可以随后被分解成如上所述的子范围的范围。以同样的方式，本文公开的所有比率也包括落入更宽比率内的所有子比率。

本领域技术人员还将容易认识到，当组件以共同的方式分组在一起时，例如在马库什(Markush)组中，本发明不仅包括作为整体列出的整个组，还包括该组的每个单独组件和主组的所有可能的子组。因此，出于所有目的，本发明不仅包括主组，还包括缺少一个或多个组组件的主组。本发明还设想在要求保护的发明中明确排除一个或多个任何组组件。

Claims (21)

1.一种用于为急救人员生成房屋地址处的事故地点的正式房屋设计的系统，所述系统配置为：

接收对应于事故地点的房屋地址，并将所述房屋地址作为输入以输入到系统中；

从数据存储中为系统检索现有的房屋的非正式二维布局；

分析所述非正式二维布局；

确定在由二维布局描绘的房屋上发现的特征，其中所述特征包括墙壁、门、窗户、器具以及任何其他危险装置；

生成房屋的三维模型；

用高亮的危险物体填充所述三维模型；以及

自动地向去往房屋地址处的事故现场的途中的急救人员提供可视化，所述可视化显示包含高亮的危险物体的三维模型的多个视图；

其中所述可视化包括指向感兴趣区域方向的寻路标记。

2.根据权利要求1所述的系统，其特征在于，向系统的输入包括拍摄房屋的二维手绘草图的照片。

3.根据权利要求1所述的系统，其中所述分析发生在分布式计算平台中。

4.根据权利要求1所述的系统，其中所述分析还包括三维模型的增强现实预览。

5.根据权利要求1所述的系统，其中所述危险物体包括虚拟版本的电气装置、气体装置和化学品储存装置。

6.根据权利要求1所述的系统，其中所述三维模型包括在三维模型中限定的窗户和门。

7.一种用于为急救人员生成房屋地址处的事故地点的正式房屋设计的系统，所述系统配置为：

将对应于事故地点的房屋地址信息读入系统；

基于对应于事故地点的房屋地址信息获得系统的初始数据；

将代表一个或多个房屋的数据输入到系统中；

分析所述输入以生成房屋的三维模型；

使用增强现实修改三维模型；

确定在房屋上发现的特征，其中所述特征包括墙壁、门、窗户、器具以及危险物体；

自动地向去往所述房屋地址的途中的急救人员生成房屋的最终三维模型；

生成房屋的真实感可视化；以及

预览具有高亮的危险物体的房屋的真实感可视化。

8.根据权利要求7所述的系统，其中输入步骤包括向系统提供纸上二维草图的照片。

9.根据权利要求7所述的系统，其中输入步骤包括向系统提供纸上二维草图的视频。

10.根据权利要求7所述的系统，其中输入步骤包括读取现有的三维模型作为基线。

11.根据权利要求7所述的系统，其中输入步骤包括导入完整的三维模型。

12.根据权利要求7所述的系统，其中输入步骤的修改还包括使用人工智能来生成三维模型。

13.根据权利要求7所述的系统，其中所述最终三维模型由一个或多个危险物体填充。

14.根据权利要求13所述的系统，其中所述危险物体包括电气装置、气体装置和化学品储存装置。

15.根据权利要求7所述的系统，其特征在于，所述真实感可视化的预览使用增强现实进行。

16.根据权利要求7所述的系统，其特征在于，可视化包括指向感兴趣区域方向的寻路标记。

17.根据权利要求7所述的系统，其特征在于，所述真实感可视化的预览使用虚拟现实进行。

18.根据权利要求7所述的系统，其中输入的所述分析确定在房屋上描绘的每个房间的类型。

19.根据权利要求7所述的系统，其中输入的所述分析确认房屋中描绘的每个房间是有效房间。

20.根据权利要求7所述的系统，其中分析步骤请求用户输入，以确保对所描绘的房屋内的房间进行正确检查。

21.根据权利要求7所述的系统，其中分析步骤包括在输入设计内检查门和窗户。