CN114641753A - 使用机器学习从楼层平面图图纸进行合成数据生成和建筑信息模型(bim)要素提取 - Google Patents

使用机器学习从楼层平面图图纸进行合成数据生成和建筑信息模型(bim)要素提取 Download PDF

Info

Publication number
CN114641753A
CN114641753A CN202080076034.2A CN202080076034A CN114641753A CN 114641753 A CN114641753 A CN 114641753A CN 202080076034 A CN202080076034 A CN 202080076034A CN 114641753 A CN114641753 A CN 114641753A
Authority
CN
China
Prior art keywords
symbol
floor plan
computer
elements
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080076034.2A
Other languages
English (en)
Inventor
E·盖洛
Y·付
K·阿法罗
M·马丁内斯阿隆索
S·S·科利
G·R·阿穆尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autodesk Inc
Original Assignee
Autodesk Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autodesk Inc filed Critical Autodesk Inc
Publication of CN114641753A publication Critical patent/CN114641753A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps

Abstract

一种方法和系统提供了生成和使用合成数据以从楼层平面图图纸中提取要素的能力。生成房间布局。使用房间描述来在每个房间中生成和放置符号要素的合成实例。获得楼层平面图图纸并对其进行预处理以确定图纸区域。基于所述合成数据，检测所述楼层平面图图纸中的符号。还检测所检测到的符号的取向。基于所检测到的符号和取向，获取建筑信息模型(BIM)要素并将其放置在所述楼层平面图图纸中。

Description

使用机器学习从楼层平面图图纸进行合成数据生成和建筑信 息模型(BIM)要素提取
相关申请的交叉引用
本申请根据35U.S.C.第119(e)节要求以下共同未决和共同转让的美国临时专利申请的权益，所述美国临时专利申请以引用的方式并入本文中：
于2019年11月18日提交的临时申请序列62/937,049，发明人为Simranjit SinghKohli、Graceline Caladiao Regala、Yan Fu、Manuel Martinez Alonso、Keith Alfaro和Emmanuel Gallo，标题为“System to Extract BIM Elements from Floor Plan DrawingUsing Machine Learning”，代理人案号为30566.0586USP1；以及
于2019年11月18日提交的临时申请序列62/937,053，发明人为Simranjit SinghKohli、Manuel Martinez Alonso、Keith Alfaro、Emmanuel Gallo、Yan Fu和GracelineCaladiao Regala，标题为“Synthetic Data Generation Method for Machine LearningTasks on Floor Plan Drawing”，代理人案号为30566.0587USP1。
背景技术
1.技术领域
本发明总体上涉及建筑信息模型(BIM)，且特别地，涉及用于使用机器学习从楼层平面图图纸生成合成数据并提取BIM要素的方法、设备、系统和制品。
2.相关技术的描述
(注意：本申请引用了若干不同的出版物，如贯穿本说明书通过括在括号中的引用名称/标题所指示的，例如[Jones]。根据这些引用名称/标题排序的这些不同出版物的列表可在下面标题为“参考文献”的部分中找到。这些出版物中的每个都以引用的方式并入本文中。)
图形文档到BIM图纸的自动转换一直是流行的研究课题。大多数现有技术系统集中于光栅到矢量技术。然而，目前许多图形文档实际上呈PDF(便携式文档格式)文件的格式，其包含更丰富的解析信息。虽然图形图纸可能具有不同的类型，但是图形图纸中的一些具有可用于自动转换成BIM要素的一致模式。
示例性图形图纸是电气设计图纸。在建筑设计领域，楼层平面图电气设计任务通常外包给专业的电气设计公司。外包公司的交付通常由PDF文件组成。虽然PDF文件包含电气符号的矢量化信息，但所述符号并未分组在一起，并且矢量图(即PDF)上没有语义信息。因此，建筑设计师必须在遵循电气图纸PDF文件的同时，在建筑信息模型(BIM)应用(例如，可从本申请的受让人获得的REVIT应用)内手动起草和重新创建电气符号。
要更好地理解现有技术的问题，对用于生成楼层平面图的现有技术系统和方法的进一步描述可能是有用的。
存在一些用于楼层平面图生成的程序建模现有技术方法。此类现有技术系统可用作楼层平面图大纲生成方法的候选，但它们没有解决生成楼层平面图的室内设计和/或电气设计的过程。此类现有技术系统也不能控制类别的数量或匹配特定图纸类型的设计([Camozzato][Lopes])。
已经提出了其他现有技术方法，但是其限制在于不能解决问题或提供本发明的实施方案的有效和全面解决方案。在这方面，Young([Young])从PDF中捕获MEP(机械、电气、管道)符号，并且替代现有技术系统提供文档处理平台，所述文档处理平台帮助企业使用人工智能技术从其文档中提取关键信息。此类系统可使用行业特定的分类法和领域知识从所扫描的文档中提取正确的字段，并分析更大的PDF格式报告([Spot Intelligence])。PDFtron([PDFtron])通过解析PDF文件的结构，将来自PDF文件的表格和文本提取为XML和HTML。Pdfplumber([PdfPlumber])提供了一种可用于提取文本、线条、矩形和表格的开源实现方式。Stahl([Stahl])使用深度学习和图像分析来创建更准确的PDF到文本提取工具。ScienceBeam([ScienceBeam])使用计算机视觉以利用工具提取PDF数据，从而分析PDF结构并且然后将PDF转换为xml文件。然而，这些现有技术系统未能提供如下所阐述的本发明的实施方案的优点和能力。
除上述之外，一些现有技术包括与PDF分析相关但主要集中于文本、段落内容和表格([Rahul])的PDF解析器，或者可基于所扫描的纸质电气图纸而不使用深度学习技术[Sebastien])
额外的现有技术涉及逻辑电路图，包括使用概率图匹配[Groen]的电气图中的符号辨识或使用离散松弛[Habacha]的受干扰符号的结构辨识。对于工程图纸，用于符号辨识的现有技术方法主要使用手工制作的规则或使用基于领域知识的规则(参见[Collin]、[Dori]、[Ablameyko]、[Dosch]和[Ablameyko2])。其他现有技术涉及乐谱，因为它们具有标准化结构和表示法，并且包括提取五线谱线，然后使用神经网络或特征矢量距离辨识音符(参见[Anquetil]、[Miyao]、[Yadid-Pecht]、[Armand]、[Randriamahefa]和[Fahmy])。建筑图纸相关的现有技术系统具有许多问题和/或限制。例如，因为文档中没有看上去嵌入文档中的标准化表示法/符号，所以很难将分割与辨识分开。因此，可使用图形匹配(参见[Llad]、[Valveny]、[Ah-Soon]和[Aoki])。
一些额外的学术研究涉及徽标辨识，所述徽标辨识基于在轮廓代码化或连接的部件标注等方面从图像中提取签名，并且然后使用不同类型的距离或神经网络将未知徽标与数据库中的模型进行匹配(参见[Bunke]、[Yu]和[Kasturi])。替代的研究已经调查了公式辨识，所述公式辨识使用特征矢量来辨识个别符号和句法方法来验证公式的结构(参见[Lavirotte]、[Lee]和[Ramel])。
然而，所有上述现有技术产品/研究都未能解决本发明的问题和/或提供本文所述的解决方案。
发明内容
要减少图纸设计绘图的繁琐工作，本发明的实施方案提供用于使用深度学习技术自动解析设计图纸并将图纸转换为建筑信息模型(BIM)要素的管线。首先，该系统自动识别图纸区域，以排除某些信息(例如，说明文字、注释和其他区域)，以使得后续管线可将辨识和建模集中在图纸区域上。然后，系统不仅辨识楼层平面图图纸(例如，电气)符号，而且还提取符号的几何和语义信息，诸如要素的符号标签、取向和大小，以便稍后自动放置在BIM模型中(例如，REVIT应用)。
除上述之外，数据稀缺和数据隐私是涉及机器学习策略的算法的主要限制。机器学习任务的预测的质量和精度与训练所依据的训练数据集的大小和相关性直接相关。因此，数据集需要大量的训练数据/样本才能成功学习目标任务。数据集中的类别数量需要平衡，并且训练样本必须相关。在本发明的实施方案中，创新架构生成合成数据集(例如，用作机器学习模型的根本/基础)。该架构可用于与BIM图纸相关的任何机器学习任务，并且可解决由于数据稀缺和隐私带来的问题。
附图说明
现在参看附图，其中相同的附图标记自始至终表示对应的部分：
图1示出了根据本发明的一个或多个实施方案的生成的合成楼层平面图电气设计图纸的示例；
图2示出了根据本发明的一个或多个实施方案的用于生成合成楼层平面图的逻辑流程；
图3示出了根据本发明的一个或多个实施方案的已经生成/获得的示例性布局/楼层平面图；
图4示出了根据本发明的一个或多个实施方案的通过图2的算法和处理的数据流的概述；
图5示出了直方图，所述直方图示出了不同符号的可能通过随机选择潜在地产生的频率分布；
图6示出了根据本发明的一个或多个实施方案的在平衡之后得到的直方图；
图7示出了根据本发明的一个或多个实施方案的可从得到的生成的合成楼层平面图102生成的示例性图块；
图8示出了根据本发明的一个或多个实施方案的用于使用机器学习生成楼层平面图图纸的逻辑流程；
图9示出了根据本发明的一个或多个实施方案的将整个图形图纸页面分割成不同区段；
图10A示出了根据本发明的一个或多个实施方案的图形图纸PDF文件；
图10B示出了根据本发明的一个或多个实施方案的矢量化要素的分组；
图10C示出了根据本发明的一个或多个实施方案的具有边界框的得到的提取的矢量化要素；
图11示出了根据本发明的一个或多个实施方案的平铺小图像的放大视图；
图12示出了根据本发明的一个或多个实施方案的示例性电气符号的预测；
图13示出了根据本发明的一个或多个实施方案的向用户显示的带有已放置的符号的得到的楼层平面图图纸；
图14是用于实现本发明的一个或多个实施方案的示例性硬件和软件环境；并且
图15示意性地示出了根据本发明的一个或多个实施方案的典型的分布式/基于云的计算机系统。
具体实施方式
在以下描述中，参考了形成其一部分的附图，并且在附图中以说明的方式示出了本发明的几个实施方案。应当理解，在不脱离本发明的范围的情况下，可利用其他实施方案并且可做出结构改变。
合成楼层平面图图纸生成
当试图从绘图中提取要素时，本发明的实施方案可利用基于模型的机器学习。然而，用于训练此种机器学习任务/模型的数据稀缺是成问题的(例如，对于楼层平面图图纸或其他类型的图纸)。更具体地说，数据稀缺是涉及机器学习策略的算法的主要限制。机器学习任务的预测的质量和精度与训练所依据的训练数据集的大小和相关性直接相关。因此，数据集需要大量的训练样本数据才能成功学习目标任务。另外，数据集中的类别数量需要被平衡，并且训练样本必须相关。
用于其他机器学习应用的合成数据生成可能存在于现有技术中。然而，现有技术未能解决与楼层平面图图纸相关联的问题。例如，[Cinnamon]美国专利申请公开20190057520通过重新投影3D对象来生成2D图像。但是，[Cinnamon]无法重新创建与客户数据密切相关的数据，也无法控制数据集中存在的类别数量。另外，如上所述，存在一些用于楼层平面图生成的现有技术程序建模方法。虽然此类方法可用作楼层平面图大纲的候选，但它们没有解决生成楼层平面图的室内设计和/或电气设计的过程。此外，此类方法无法控制类别数量或匹配特定图纸类型的设计。
要解决现有技术的问题，本发明的实施方案以编程方式生成(合成)数据集。此类合成数据集可由任何建筑楼层平面图要素(诸如，电气符号、HVAC、家具、照明等)组成。合成数据集生成架构的输出可能是呈矢量格式(例如，2D矢量空间)的楼层平面图布局或图像(例如，带有要素)。图1示出了根据本发明的一个或多个实施方案的生成的合成楼层平面图电气设计图纸102的示例。
图2示出了根据本发明的一个或多个实施方案的用于生成合成楼层平面图的逻辑流程。
在步骤202，算法开始在2D向量空间中生成房间布局/楼层平面图。房间布局由以下项组成：一组2D位置，所述一组2D位置对应于所有墙壁的起点和终点；以及一组房间描述，所述一组房间描述定义房间的语义。房间布局可从现有的CAD图纸推导出来，详尽地生成(所有可能的结果)[Per Galle]，通过生成式设计生成或通过机器学习算法(诸如GAN(生成式对抗网络)[Zheng])或用形状语法和强化学习[Ruiz-Montiel]来创建。换言之，在步骤202，获得楼层平面图图纸的一个或多个房间的房间布局/楼层平面图(例如，经由一种或多种不同的方法)。此外，在房间布局中，房间描述定义了房间中的一个或多个的语义。
图3示出了根据本发明的一个或多个实施方案的已经生成/获得的示例性布局/楼层平面图。布局/楼层平面图302的房间布局描述可存储为JSON(JavaScript对象表示法)文件。该文件可由以每个楼层平面图的名称(例如，“场景_02205”)加索引的一组楼层平面图组成。每个楼层平面图可具有两个块：(1)楼层平面图的所有2D点的集合；以及(2)房间描述，其由2D点的索引和房间的语义标签组成。表A是样本楼层平面图描述：
表A
Figure BDA0003623544670000081
在表A中，楼层平面图“场景_02205”首先具有所有点的索引，然后是两(2)个房间的语义标签：“未定义”和“外墙”(其中数字代表有关该房间/在该房间中的每个点的索引)。
返回图2，在步骤204，获得符号要素的符号要素信息。符号要素信息由其中可能出现符号要素的房间的枚举组成。在这方面，符号通常可能出现在房间类型的有限子集中。例如，浴缸通常仅可能位于标记为“浴室”的房间类型/房间内，而不会位于厨房内。该枚举指定/识别该房间类型。此外，符号可能通常定位在房间的特定位置内或可能被约束在特定位置(例如，马桶或电源插头靠墙放置并且通常不位于浴室的中间)。每个符号的属性/参数识别符号的此类属性，并且可在配置文件中捕获。因此，对于每种设计，可使用配置文件来存储所有参数。配置文件由几个/多个块组成。每个块都用唯一标识符来加索引。每个块对应于不同符号要素的渲染以及该要素的相关联属性。表B提供了根据本发明的一个或多个实施方案的可被利用的示例性“洗浴”(即，浴缸)配置文件块。
表B
Figure BDA0003623544670000091
配置文件识别以下要素/由以下要素组成：
·由线、点、圆弧和其他可能的2D几何形状组成的符号本身(即，至符号的矢量图像的位置的“路径”)，
·符号/符号要素的比例(即，“大小”)。比例/大小对应于最长边的像素大小，
·与符号/符号要素的所定义几何形状(即，“角度”)相关的取向。角度是与原始符号相关的取向，
·2D几何形状的厚度(表B中未指定)，
·可能出现符号的房间的枚举/标签(即，“房间”)。在一个或多个实施方案中，“房间”可能是客厅、厨房、浴室、卧室、未定义等，
·房间内的位置(附接在“墙壁”上，在房间的“中心”或“随机”定位)(即，“位置”)，
·符号/符号要素在房间内可能出现的最大实例数量(即“多个”)(这可能是指一面墙上或所有墙上的数量)，
·识别符号/符号要素是否属于背景或前景(或是其一部分)的背景属性(即，“背景”)。背景和前景可能被涂成不同的颜色，并且要素之间的冲突可能只发生在相同类型的要素上，
·符号/符号要素/块的相关联标签(即，“符号”)。多个块可能具有相同的标签，并且标签可作为配置文件的一部分与有关标签的边界框的信息一起导出。
在步骤206，根据房间布局的描述，算法生成房间内的符号要素实例(也称为符号要素)(基于房间布局和符号要素信息)，并且为可匹配客户的设计的数据集创建样式。如上所述，配置文件可存储符号要素信息。
在步骤208，算法(随机地)基于实例(即，匹配由配置文件存储的描述的实例)而生成楼层平面图图纸。在这方面，可随机计算每个实例，直到该实例符合符号要素信息/属性为止。举例来说，将随机地计算每个要素的位置，直到它满足描述参数并避免与其他要素冲突。如果需要将要素的位置附接到墙壁，则将该要素旋转成垂直于墙壁。此外，因为可能需要对类别进行平衡，所以可在每次要素出现时维持和更新每个要素的出现概率。将通过可能的数据增强(诸如，比例、裁剪、颜色更改和不同的线条粗细)来生成所述要素。
在任选步骤210，算法可添加额外信息(例如，某一随机文本、标题、测量结果和某些要素之间的链路连接)以改进机器学习模型。其他与检测不相关但与目标符号外观相似的符号也可被添加作为噪声符号，以使得机器学习模型可学习区分目标符号和噪声符号。
图4示出了根据本发明的一个或多个实施方案的通过图2的算法和处理的数据流的概述。特别地，算法/数据处理模块402接收房间布局描述302和配置文件404作为输入，执行图2的步骤，并输出生成的合成楼层平面图102。输出102可能是呈矢量格式的楼层平面图或者是图像。此外，可手动或随机找到参数/符号，并且可使用机器学习算法(诸如，GAN)来确定参数/符号，所述机器学习算法决定输出设计是否匹配客户数据。
平衡符号
根据符号的配置，如果符号被随机放置在楼层平面图102中，则可能致使不平衡的数据问题。图5示出了直方图，所述直方图示出了不同符号的可能通过随机选择潜在地产生的频率分布。如图所示，“其他”符号与其余符号(例如，数据、TV2、TV1、三联、四联、GFI、双工、楼层Q、扬声器和特殊)的频率相比具有显著更高的频率。因此，楼层平面图图纸生成步骤208还可包括确定楼层平面图图纸中的符号要素的实例是不平衡的。
要解决该问题，可对楼层平面图图纸进行三角剖分(即，分成一个或多个三角形)，并且然后可在三角形内部执行随机均匀取样以确保符号均匀地放置在楼层平面图内。此外，在三角形内，可控制符号的密度或符号的最大数量，以避免一个区域过度拥挤。要确保合成数据集中的符号出现达到平衡，可维持符号实例的直方图，并且可利用累积分布变换(CDT)来控制符号出现的概率。此种平衡意味着，如果一种类型的符号被过度表现(或表现不足)，则这种类型的符号的权重可能会降低(或增加)，从而导致表现不足的符号在符号放置期间被选择的机会增加(或减小)。换言之，通过调整符号类型的权重，权重会影响将符号类型的多少实例放置到楼层平面图图纸中。通过这些机制，与纯粹随机地将符号放置在楼层平面图中相比，合成数据集中的符号更加平衡。此外，经平衡的数据集还可能导致对象检测精度的提升/增加。图6示出了根据本发明的一个或多个实施方案的在平衡之后得到的直方图。
基于图块的处理
在本发明的一个或多个实施方案中，不是一次处理整个数据集，而是可将楼层平面图分解成图块，以使得一次一个图块地训练机器学习模型。例如，图7示出了根据本发明的一个或多个实施方案的可从得到的生成的合成楼层平面图102生成的示例性图块。表C示出了对应的CSV文件，其表示在一个图块“场景_00000”(在“图像名称”列中识别出)中的符号：
表C
Figure BDA0003623544670000121
Figure BDA0003623544670000131
如图所示，可一次一个图块地训练模型。替代地(或另外)，可并行处理所有图块。不同的值提供了图块内该行中符号的位置/定位(x最小、x最大、y最小、y最大、x位置和y位置)和取向。
使用机器学习生成楼层平面图图纸的工作流
如上所述，在建筑设计领域中，特定领域(例如，电气)的楼层平面图设计任务通常外包给专门的第三方(例如，电气设计公司)。外包公司的交付通常是PDF文件。虽然PDF文件包含图纸(例如，电气)符号的矢量化信息，但所述符号并未分组在一起，并且矢量图上没有语义信息。建筑设计师必须在绘图期间按照外包公司的图纸PDF文件重新创建设计符号(在3D建筑信息模型应用中)。要减少设计绘图的繁琐工作，本发明的实施方案利用使用深度学习技术自动解析图纸PDF文件并将图纸转换成BIM要素的管线。
在工作流中，该系统首先自动识别图纸区域，以排除某些信息(例如，说明文字、注释和其他区域)，因此管线可专注于图纸区域的辨识和建模。然后，实施方案不仅辨识楼层平面图图纸符号，而且还提取符号的几何和语义信息，诸如符号要素的符号标签、取向和大小，以便稍后经由BIM应用自动放置。
图8示出了根据本发明的一个或多个实施方案的用于使用机器学习生成楼层平面图图纸的逻辑流程。步骤802至步骤808涉及如上所述的合成数据生成和使用。特别地，合成数据集生成器步骤802执行图2的步骤202至步骤210，以生成合成数据。
在步骤804，基于合成数据而训练对象检测机器学习(ML)模型，并且可存储ML模型/推理图806。此外，基于在步骤808处更新的符号标签/信息，可重新训练/更新该模型。
用于解析设计图纸的工作流程开始于步骤810。
步骤812，准备/预处理PDF图纸。因为工作流的后续步骤是基于图像中的对象检测，所以可对输入的PDF文件进行预处理，以移除图纸的非关注的部分并将PDF光栅化成图像以供进一步处理(即，PDF文件被转换成可能与上述合成楼层平面图图纸相同格式的光栅图像)。因此，步骤812至步骤814提供获得楼层平面图图纸的光栅图像，并且可包括以下步骤中的一个或多个：
·解析PDF内容并移除所有文本信息；
·用基于规则的方法移除背景网格线；
·使用颜色信息移除背景要素；以及
·使用尺度比信息将PDF文件光栅化成图像，以确定目标分辨率。
通过解析PDF内容自动识别图纸区域
在步骤812至步骤814，提取/确定要检查的(电气)图纸区域。在这方面，可通过解析PDF内容来自动/自主地识别/确定/提取图纸区域。如本文所阐述的，虽然附图和文本可指代电气图纸处理，但是本发明的实施方案不限于电气图纸，并且可包括任何类型的带有符号的设计图纸的处理。
在设计图纸中，图纸的布局上可能存在一些固定的图案，诸如边框、说明文字、注释、标题和真实的图纸区域。本发明的实施方案仅对图纸区域相感兴趣。因此，要专注于图纸区域并减少计算开销，可训练机器学习模型以将光栅化PDF图像分割成多个区段，并且仅具有反映期望的图纸区域/图纸类型(例如，电气图纸)的特定图案的段将被传递通过管线以进行处理/辨识。图9示出了根据本发明的一个或多个实施方案的将整个图形图纸页面分割成不同区段。如图所示，图纸900已被分割成边框线902、图纸区域904、标题区域906、注释区域908和说明文字区域910。仅图纸区域904将被传递到管线上以供进一步处理。其余的经分割区域902和906至910被从处理中过滤出。
要概括确定/提取图纸区域的步骤814，ML模型可用于将光栅图像分割成多个区段，并且ML模型识别楼层平面图图纸的布局的固定图案。此后，选择包括/定义设计图纸区域的一个或多个区段。
关注区域的图纸区域中的群组要素
与光栅化图像不同，PDF包含更多有意义的信息。通过解析PDF文件，可从PDF文件中获得诸如文本、线条、圆弧和矩形等要素。在识别出图纸区域904之后，提取该区域内的矢量化要素。矢量化的要素被分组以形成用于符号辨识的候选区域(即，候选要素的候选区域)。可通过分析(即，基于)其边界框的大小来过滤出候选者/候选要素。图10A至图10C示出了根据本发明的一个或多个实施方案的从图形图纸PDF文件进行的示例性群组提取。每个群组可能呈不同的颜色。在这方面，图10A示出了图形图纸PDF文件。在图10B中，矢量化要素1002、1004、1006、1008等被分组。图10C示出了具有边界框1110的得到的提取的矢量化要素(出于说明目的示出了仅一些边界框)。
用使用合成图纸训练的模型进行对象辨识和分类
返回图8，利用上述合成数据集方法生成，可使用符号库和合成楼层平面图数据集生成/获得合成楼层平面图设计图纸数据集(例如，存储在推理图806中)。因为设计图纸是通过程序生成的，所以标签的地面实况和符号的位置是已知的，从而减少用于繁琐和错误的人工标注过程的工作。换言之，合成楼层平面图设计图纸数据集中的合成数据的合成符号标签、合成符号位置和合成符号取向是已知的。
通常电气设计图纸很大，但流行的对象检测模型仅以小图像作为输入，诸如224*224。如上所述，为了辨识大图纸内的小符号，本发明的实施方案可将合成的电气图纸图像平铺成具有固定尺寸的小图块(即，诸如图7中示出的那些)，使得当图像被缩放到224*224或其他低分辨率大小时，可辨识该图块内的符号。而且，要确保也可检测到位于图块边框处的符号，实施方案可确保相邻图块之间存在重叠。目标检测模型的输出包括边界框的坐标、符号的类别/标签和检测的置信度分数。图11示出了根据本发明的一个或多个实施方案的具有300*300图块大小的平铺小图像(即，图7的图块)的放大视图。此类图块可用于如本文所述的对象检测模型训练。因此，合成楼层平面图设计图纸数据集可被平铺成多个图块，每个图块被独立地处理(并且可能并行处理)。
使用经训练的对象检测模型进行电气符号检测
在步骤816，检测PDF图纸计划中的对象。如上所述，符号检测将仅应用于设计(例如，电气)图纸区域904。要确保目标图纸的符号的成功检测，有必要确保待检测图像中符号的大小与训练数据集中示出的符号大小接近。因此，光栅化的图像也将被平铺成具有重叠的小图块。在步骤818，使用经训练的对象检测模型(即，ML模型/推理图806)来遍历所有小图块以检测所有符号(即，用ML模型执行对象检测)。
如上所述，图形图纸中的矢量要素已被提取为关注区域(即，在步骤820)。由对象检测模型产生的与关注区域没有重叠的符号将被过滤掉。也可过滤置信度分数过低的检测。
此外，作为对象检测816的一部分，可通过仅保留最可信的检测(框)来合并检测(边界)框，以确保结果中不存在重叠的检测到的符号。因为图纸区域是从原始PDF文件中裁剪的(即，在步骤814处提取图纸区域)，所以还需要使用经裁剪的信息的比例和偏移信息将符号检测结果映射回原始PDF。
鉴于上述情况，步骤816包括基于矢量化要素和合成楼层平面图设计图纸数据集而检测由矢量化要素表示的符号(其中符号/符号表示包括符号标签/由符号标签组成)。此外，可确定和评估符号的置信度水平以确定该置信度水平是否高于阈值置信度水平/低于阈值置信度水平/在阈值置信度水平内。置信度水平低于阈值的符号被过滤出，而置信度水平高于阈值的那些符号(即，第二符号)被保留以供进一步处理。
确定符号的取向
对象检测模型(由对象检测820产生)仅给出边界框的大小和类型，但是仍然缺少符号的取向，这使得自动符号放置变得困难。步骤822提供对该取向进行确定(基于合成楼层平面图设计图纸数据集)。
从对象检测816，通过合成数据集(在推理图806中)生成的楼层平面图图像内已经有很多符号实例并且合成符号的取向是已知的，此种取向信息可用于取向信息学习。因此，在步骤830，已知的符号取向(在合成楼层平面图设计图纸数据集中)，另一机器学习模型832(即，符号分类和取向ML模型)被训练以预测检测到的符号的取向。步骤830的训练利用来自符号图例828的符号来生成符号分类和取向ML模型，然后将符号分类和取向ML模型存储在数据库/推理图832中并经由其进行访问。
一旦已经生成/训练了模型，就可执行步骤822以实际使用该模型来确定图纸中符号的取向。在步骤834，因为符号的取向通常与墙壁方向对准，所以符号具有有限的方向，例如四(4)个方向(左、右、上、下)或更详细的360度方向。因此，将分类模型(在步骤834)以及对象取向模型(在步骤836)用于符号取向预测就足够了。例如，也可在楼层平面图图纸中查询检测到的符号的最近的墙壁，并且可使用墙壁的方向来进一步验证预测取向。因此，在步骤822，基于在步骤830中训练的ML模型而确定对象符号实例的取向。
步骤816的对象检测和步骤822的对象取向两者均基于一个或多个ML模型(例如，检测ML模型以及符号分类和取向ML模型[也称为符号取向分类模型])。然而，此类ML模型可能会产生具有不同置信度水平的输出。例如，ML模型可检测具有25％置信度/准确度水平的特定符号或取向或具有75％置信度/准确度水平的另一符号(例如，基于未知图形，缺失数据或在检测/取向期间的其他问题)。
在步骤838，可过滤BIM符号要素。此种过滤可基于领域知识和/或检测/取向输出中的错误/低置信度。例如，可使用领域知识来确定如果浴缸位于厨房中或者双工/灯开关未附接到墙壁上，则说不通。因此，在步骤838，可过滤出此类错误或低置信度预测。在这方面，可定义置信度阈值水平并将其用于确定可容忍的置信度/准确度水平(例如，用户可调整阈值水平或者可在系统内预定义阈值水平)。值得注意的是，可在多个位置(例如，在图8的流程中的当前位置，或在执行了另外的步骤之后)执行过滤步骤838。
用于提供反馈和改进对象检测模型的用户交互
在确定了取向(即，在步骤822)并且在步骤838处执行符号要素过滤之后，可在步骤840提供用户交互以获得反馈并改进对象检测模型。在这方面，可向用户呈现带有放置的BIM要素的楼层平面图图纸。例如，经过滤和检测的符号可用不同的颜色呈现给用户，以获得不同的置信度水平。然后，接收用户反馈。另外，用户可调整置信度阈值以过滤出一些检测。基于在步骤840的用户反馈，可在步骤842根据需要校正标签、取向或其他信息。在这方面，用户还可微调检测到的符号的边界框并纠正一些符号的错误标签。用户反馈也可更新符号取向。用户的反馈(即，经更新的符号标签808和经更新的符号取向848)可被视为地面实况，并且可用于重新训练对象检测模型(即，在步骤804)和符号取向分类模型(即，在步骤830)。
在确定取向之后，在步骤844，根据符号对象标签自动/自主地提取/获取BIM要素(例如，电气BIM要素)。图12示出了根据本发明的一个或多个实施方案的具有四(4)个标签的示例性电气符号的预测(也称为符号取向分类)。如图所示，四(4)个标签是标签＝0、标签＝1、标签＝2和标签＝3。BIM要素的获取步骤844实质上提供了获取对应于经检测、经取向、经过滤和经调整(即，在步骤816、822、838和842)的2D符号的BIM 3D要素。在这方面，基于符号的分类(在步骤834确定)，存在到该类别的BIM要素的一对一(1对1)映射。因此，基于步骤844的符号标签/分类，可获取适当的BIM要素。
在步骤846，(电气)符号被自动/自主地放置在楼层平面图图纸中(例如，根据所提取的大小和取向信息)。图13示出了根据本发明的一个或多个实施方案的向用户显示的带有已放置的符号的得到的楼层平面图图纸。如图所示，与每个放置的符号的图形/图标相邻的是该符号的标签以及该符号的准确度/置信度水平(例如，双工：99％1302、数据89％1304等)。不同类别的要素/符号的标签可以不同的颜色(或以可区分的图案)显示(例如，双工可以绿色显示，而数据可以浅蓝色显示)。在该阶段，也可获得额外的用户反馈840并用于重新训练如上所述的模型。
硬件环境
图14是用于实现本发明的一个或多个实施方案的示例性硬件和软件环境1400(称为计算机实现的系统和/或计算机实现的方法)。硬件和软件环境包括计算机1402并且可包括外围设备。计算机1402可能是用户/客户端计算机、服务器计算机或者可能是数据库计算机。计算机1402包括硬件处理器1404A和/或专用硬件处理器1404B(下文中可替代地统称为处理器1404)和存储器1406，诸如随机存取存储器(RAM)。计算机1402可耦合到其他装置和/或与其他装置一体地形成，所述其他装置包括输入/输出(I/O)装置，诸如键盘1414、光标控制装置1416(例如，鼠标、指向装置、笔和平板、触摸屏、多点触摸装置等)和打印机1428。在一个或多个实施方案中，计算机1402可耦合到或可包括便携式或媒体观看/收听装置1432(例如，MP3播放器、IPOD、NOOK、便携式数字视频播放器、蜂窝装置、个人数字助理等)。在另一实施方案中，计算机1402可包括多点触摸装置、移动电话、游戏系统、支持互联网的电视、电视机顶盒或在各种平台和操作系统上执行的其他支持互联网的装置。
在一个实施方案中，计算机1402通过硬件处理器1404A在操作系统1408的控制下执行由计算机程序1410(例如，计算机辅助设计[CAD]应用)定义的指令来操作。计算机程序1410和/或操作系统1408可存储在存储器1406中并且可与用户和/或其他装置对接以接受输入和命令，并且基于此类输入和命令以及由计算机程序1410和操作系统1408定义的指令，提供输出和结果。
输出/结果可呈现在显示器1422上或提供给另一装置以用于呈现或进一步处理或动作。在一个实施方案中，显示器1422包括具有多个可单独寻址的液晶的液晶显示器(LCD)。替代地，显示器1422可包括发光二极管(LED)显示器，所述显示器具有被一起驱动以形成全色像素的红色、绿色和蓝色二极管集群。显示器1422的每个液晶或像素响应于处理器1404根据将计算机程序1410和/或操作系统1408的指令应用于输入和命令所生成的数据或信息而改变为不透明或半透明状态，以在显示器上形成图像的一部分。可通过图形用户界面(GUI)模块1418来提供该图像。虽然GUI模块1418被描绘为单独的模块，但是执行GUI功能的指令可驻留在或分布在操作系统1408、计算机程序1410中，或者用专用存储器和处理器来实现。
在一个或多个实施方案中，显示器1422与计算机1402一体地形成/一体地形成到所述计算机中，并且包括具有触摸感测表面(例如，跟踪板或触摸屏)的多点触摸装置，该触摸感测表面能够辨识与表面的两个或更多个接触点的存在。多点触摸装置的示例包括移动装置(例如，IPHONE、NEXUS S、DROID装置等)、平板计算机(例如，IPAD、HP TOUCHPAD、SURFACE装置等)、便携式/手持式游戏/音乐/视频播放器/控制台装置(例如，IPOD TOUCH、MP3播放器、NINTENDO SWITCH、PLAYSTATION PORTABLE等)、触摸桌和墙壁(例如，其中通过亚克力和/或玻璃投影图像，并且然后用LED背光照亮图像)。
由计算机1402根据计算机程序1410指令执行的操作中的一些或所有可在专用处理器1404B中实现。在该实施方案中，计算机程序1410指令中的一些或全部可经由存储在专用处理器1404B或存储器1406内的只读存储器(ROM)、可编程只读存储器(PROM)或快闪存储器中的固件指令来实现。专用处理器1404B也可通过电路设计进行硬接线，以执行一些或所有操作来实现本发明。此外，专用处理器1404B可能是混合处理器，所述混合处理器包括用于执行功能子集的专用电路，以及用于执行诸如响应计算机程序1410指令的更通用功能的其他电路。在一个实施方案中，专用处理器1404B是专用集成电路(ASIC)。
计算机1402还可实现编译器1412，该编译器允许以诸如C、C++、汇编、SQL、PYTHON、PROLOG、MATLAB、RUBY、RAILS、HASKELL或其他语言等编程语言编写的应用或计算机程序1410被翻译成处理器1404可读代码。替代地，编译器1412可能是解释器，所述解释器直接执行指令/源代码，将源代码翻译成被执行的中间表示形式，或执行所存储的预编译代码。此种源代码可用多种编程语言(诸如，JAVA、JAVASCRIPT、PERL、BASIC等)编写。完成之后，应用或计算机程序1410使用使用编译器1412生成的关系和逻辑访问和操纵从I/O装置接受并存储在计算机1402的存储器1406中的数据。
计算机1402还任选地包括外部通信装置，诸如调制解调器、卫星链路、以太网卡，或其他装置，用于从其他计算机1402接受输入并向所述计算机提供输出。
在一个实施方案中，实现操作系统1408、计算机程序1410和编译器1412的指令有形地体现在非暂时性计算机可读介质(例如，数据存储装置1420)中，所述介质可包括一个或多个固定的或可移除的数据存储装置，诸如zip驱动器、软盘驱动器1424、硬盘驱动器、CD-ROM驱动器、磁带驱动器等。此外，操作系统1408和计算机程序1410由计算机程序1410指令组成，当计算机1402访问、读取和执行所述指令时，致使计算机1402执行实现和/或使用本发明所必需的步骤或将指令程序加载到存储器1406中，因此创建专用数据结构，从而致使计算机1402作为执行本文所描述的方法步骤的专门编程的计算机操作。计算机程序1410和/或操作指令也可有形地体现在存储器1406和/或数据通信装置1430中，从而制作根据本发明的计算机程序产品或制品。为此，如本文使用的术语“制品”、“程序存储装置”和“计算机程序产品”意在涵盖可从任何计算机可读装置或介质访问的计算机程序。
当然，本领域技术人员将认识到，上述部件的任何组合，或任何数量的不同部件、外围设备和其他装置，可与计算机1402一起使用。
图15示意性地示出了使用网络1504将客户端计算机1502连接到服务器计算机1506的典型分布式/基于云的计算机系统1500。资源的典型组合可包括：网络1504，其包括互联网、LAN(局域网)、WAN(广域网)、SNA(系统网络架构)网络等；客户端1502，其为个人计算机或工作站(如图14中所阐述)；以及服务器1506，其为个人计算机、工作站、小型计算机或大型计算机(如图14中所阐述)。然而，可注意到的是，根据本发明的实施方案，不同的网络，诸如蜂窝网络(例如，GSM[全球移动通信系统]或其他)、基于卫星的网络或任何其他类型的网络，可用于连接客户端1502和服务器1506。
诸如互联网等网络1504将客户端1502连接到服务器计算机1506。网络1504可利用以太网、同轴电缆、无线通信、射频(RF)等来连接客户端1502与服务器1506和在其间提供通信。此外，在基于云的计算系统中，客户端1502、服务器计算机1506和用户可跨一个或多个网络共享客户端1502和服务器计算机1506中的资源(例如，存储装置、处理器、应用、存储器、基础设施等)。可由多个用户共享资源，并且可根据需求动态地重新分配资源。在这方面，云计算可被称为用于支持访问可配置计算资源的共享池的模型。
客户端1502可执行客户端应用或web浏览器并且与执行web服务器1510的服务器计算机1506通信。此种web浏览器通常是诸如MICROSOFT INTERNET EXPLORER/EDGE、MOZILLAFIREFOX、OPERA、APPLE SAFARI、GOOGLE CHROME等程序。此外，在客户端1502上执行的软件可从服务器计算机1506下载到客户端计算机1502并安装作为web浏览器的插件或ACTIVEX控件。因此，客户端1502可利用ACTIVEX部件/部件对象模型(COM)或分布式COM(DCOM)部件来在客户端1502的显示器上提供用户界面。web服务器1510通常是诸如MICROSOFT’S INTERNET INFORMATION SERVER等程序。
Web服务器1510可托管可能在执行脚本的活动服务器页面(ASP)或互联网服务器应用编程接口(ISAPI)应用1512。脚本调用执行业务逻辑的对象(称为业务对象)。然后，业务对象通过数据库管理系统(DBMS)1514操纵数据库1516中的数据。替代地，数据库1516可能是客户端1502的一部分或直接连接到所述客户端，而不是跨网络1504从数据库1516传达/获得信息。当开发人员将业务功能性封装到对象中时，系统可被称为部件对象模型(COM)系统。因此，web服务器1510(和/或应用1512)上执行的脚本调用实现业务逻辑的COM对象。此外，服务器1506可利用MICROSOFT’S TRANSACTION SERVER(MTS)，以经由诸如ADO(活动数据对象)、OLE DB(对象链接和嵌入数据库)或ODBC(开放数据库连接性)等接口访问存储在数据库1516中的所需数据。
通常，这些部件1500至1516都包括体现在装置、介质、信号或载体(例如，数据存储装置、数据通信装置、远程计算机或经由网络或经由另一数据通信装置等耦合到计算机的装置)中或可从中检索的逻辑和/或数据。此外，该逻辑和/或数据当被读取、执行和/或解释时，导致实现和/或使用本发明所必需的步骤被执行。
虽然本文提到了术语“用户计算机”、“客户端计算机”和/或“服务器计算机”，但是应当理解，此类计算机1502和1506可能是可互换的并且还可包括具有有限或全处理能力的瘦客户端装置、便携式装置(诸如，手机)，笔记本计算机、袖珍计算机、多点触摸装置和/或具有合适的处理、通信和输入/输出能力的任何其他装置。
当然，本领域技术人员将认识到，上述部件的任何组合，或任何数量的不同部件、外围设备和其他装置，可与计算机1502和1506一起使用。本发明的实施方案被实现为客户端1502或服务器计算机1506上的软件/CAD应用。此外，如上所述，客户端1502或服务器计算机1506可包括瘦客户端装置或具有基于多点触摸的显示器的便携式装置。
结论
本发明的优选实施方案的描述到此结束。以下描述了用于实现本发明的一些替代实施方案。例如，任何类型的计算机(诸如，大型计算机、小型计算机或个人计算机)或计算机配置(诸如，分时大型计算机、局域网或独立的个人计算机)都可与本发明一起使用。
已经出于说明和描述的目的呈现了本发明的优选实施方案的前述描述。意图不在于穷举或将本发明限制于所公开的精确形式。鉴于以上教义，许多修改和变型是可能的。意图在于，本发明的范围不受该具体实施方式限制，而是受所附权利要求限制。
参考文献
[Per Galle]Per Galle.“An algorithm for exhaustive generation ofbuilding floor plans”.In:Communications of the ACM 24.12(1981),pp.813–825.
[Zheng]Hao Zheng,Weixin Huang.2018.“Architectural DrawingsRecognition and Generation through Machine Learning”.Cambridge,MA,ACADIA.
[Ruiz-Montiel]Manuela Ruiz-Montiel,Javier Boned,Juan Gavilanes,Eduardo Jiménez,Lawrence Mandow,José-Luis Pérez-de-la-Cruz:Design with shapegrammars and reinforcement learning.Advanced Engineering Informatics 27(2):230-245(2013).
[Camozzato]Camozzato,Daniel.“A METHOD FOR GROWTH-BASED PROCEDURALFLOOR PLAN GENERATION.”(2015).
[Lopes]Lopes,Tutenel,Smelik,deKraker,and Bidarra“A Constrained GrowthMethod for Procedural Floor Plan Generation”,Proceedings of GAME-ON 2010(Nov.2010).
[Young]www.linkedin.com/posts/brett-young-sf_quantitytakeoffs-machinelearning-mep-activity-6584839340420149249-IM_Z LinkedIn Video by BrettYoung(2019).
[Spot Intelligence]www.spotintelligence.com.
[PDFtron]“Extract Tables from Your PDFs”,PDFTron SDK,2020.
[PDFplumber]“pdfplumber”,Github 2020.
[Stahl]Stahl,Christopher G.,Young,Steven R.,Herrmannova,Drahomira,Patton,Robert M.,and Wells,Jack C.DeepPDF:A Deep Learning Approach toExtracting Text from PDFs.United States:N.p.,2018.Web.
[Ecer]Ecer,Daniel,and Maciocci,Giuliano.ScienceBeam–using computervision to extract PDF data.(August 4,2017).
[Rahul]Rahul,R.,Paliwal,S.,Sharma M.,and Vig,L.Automatic InformationExtraction from Piping and Instrumentation Diagrams(Jan 28,2019).
[Sebastien]Sébastien Adam,Jean-Marc Ogier,Claude Cariou,Rémy Mullot,Jacques Labiche,et al..Symbol and character recognition:application toengineering drawings.IJDAR,2000,3(2),pp.89-101.hal00439443.
[Groen]Groen,F.,Sanderson,A.,Schlag,F.:Symbol recognition inelectrical diagrams using a probabilistic graph matching.PRL 3(1985)343–350.
[Habacha]Habacha,A.:Structural recognition of disturbed symbols usingdiscrete relaxation.In:Proceedings of 1st.Int.Conf.on Document Analysis andRecognition.(1991)170–178 Saint Malo,France.
[Collin]Collin,S.,Colnet,D.:Syntactic analysis of technical drawingdimensions.Int.Journal of Pattern Recognition and Artificial Intelligence 8(1994)1131–1148.106,107,112,126.
[Dori]Dori,D.:Asyntactic/geometric approach to recognition ofdimensions in engineering machine drawings.Computer Vision,Graphics and ImageProcessing 47(1989)271–291.107,112,126.
[Ablameyko]Ablameyko,S.:An Introduction to Interpretation of GraphicImages.SPIE Optical Engineering Press(1997).
[Dosch]Dosch,P.,Masini,G.,Tombre,K.:Improving arc detection ingraphics recognition.In:Proceedings of 15th.Int.Conf.on PatternRecognition.Volume 2.(2000)243–246 Barcelona,Spain.106.
[Ablameyko2]Ablameyko,S.,Bereishik,V.,Frantskevich,O.,Homenko,M.,Paramonova,N.:Knowledge-based recognition of crosshatched areas inengineering drawings.In Amin,A.,Dori,D.,Pudil,P.,Freeman,H.,eds.:Advances inPattern Recognition.Vol.1451 of LNCS(1998)460–467.
[Anquetil]Anquetil,E.,Co¨uasnon,B.,Dambreville,F.:A symbol classifierable to reject wrong shapes for document recognition systems.In Chhabra,A.,Dori,D.,eds.:Graphics Recognition-Recent Advances.Springer,Berlin(2000)209–218 Vol.1941 of LNCS.
[Miyao]Miyao,H.,Nakano,Y.:Note symbol extraction for printed pianoscores using neural networks.IEICE Trans.Inf.and Syst.E79-D(1996)548–553.
[Yadid-Pecht]Yadid-Pecht,O.,Gerner,M.,Dvir,L.,Brutman,E.,Shimony,U.:Recognition of handwritten musical notes by a modified neocognitron.MachineVision and Applications 9(1996)65–72.107,110,128.
[Armand]Armand,J.:Musical score recognition:a hierarchical andrecursive approach.In:Proceedings of Second IAPR Int.Conf.on DocumentAnalysis and Recognition,ICDAR’93.(1993)906–909Tsukuba,Japan.
[Randriamahefa]Randriamahefa,R.,Cocquerez,J.,Fluhr,C.,P′epin,F.,Philipp,S.:Printed music recognition.In:Proceedings of Second IAPRInt.Conf.on Document Analysis and Recognition,ICDAR’93.(1993)898–901 Tsukuba,Japan.
[Fahmy]Fahmy,H.,Blonstein,D.:Agraph grammar programming style forrecognition of music notation.Machine Vision and Applications 6(1993)83–99.
[Llad]Llad′os,J.,S′anchez,G.,Mart′1,E.:A string-based method torecognize symbols and structural textures in architectural plans.In Tombre,K.,Chhabra,A.,eds.:Graphics Recognition:Algorithms and Systems.Springer,Berlin(1998)91–103 Vol.1389 of LNCS.
[Valveny]Valveny,E.,Mart′1,E.:Hand-drawn symbol recognition ingraphic documents using deformable template matching and a bayesianframework.In:Proceedings of 15th.Int.Conf.on Pattern Recognition.Volume 2.(2000)239–242 Barcelona,Spain.
[Ah-Soon]Ah-Soon,C.,Tombre,K.:Architectural symbol recognition usinga network of constraints.PRL 22(2001)231–248.
[Aoki]Aoki,Y.,Shio,A.,Arai,H.,Odaka,K.:A prototype system forinterpreting handsketched floor plans.In:Proceedings of 13th.Int.Conf.onPattern Recognition.(1996)747–751 Vienna,Austria.
[Bunke]Bunke,H.:Attributed programmed graph grammars and theirapplication to the schematic diagram interpretation.IEEE Trans.on PAMI 4(1982)574–582.
[Yu]Yu,Y.,Samal,A.,Seth,C.:A system for recognizing a large class ofengineering drawings.IEEE Trans.on PAMI 19(1997)868–890.
[Kasturi]Kasturi,R.,Bow,S.,El-Masri,W.,Shah,J.,Gattiker,J.,Mokate,U.:A system for interpretation of line drawings.IEEE Trans.on PAMI 12(1990)978–992.
[Lavirotte]Lavirotte,S.,Pottier,L.:Optical formula recognition.In:Proceedings of 4th Int.Conf.on Document Analysis and Recognition.(1997)357–361 Ulm,Germany.
[Lee]Lee,H.,Lee,M.:Understanding mathematical expressions usingprocedure-oriented transformation.PR 27(1994)447–457.
[Ramel]Ramel,J.,Boissier,G.,Emptoz,H.:A structural representationadapted to hand-written symbol recognition.In Chhabra,A.,Dori,D.,eds.:Graphics Recognition:Recent Advances.Springer-Verlag,Berlin(2000)228–237Vol.1941 of LNCS.
[Cinnamon]United States Patent Application PublicationNo.20190057520,filed on October 31,2017 with inventors Ian Cinnamon,BrunoBrasil Ferrari Faviero,and Simanta Gautam entitled“Generating Synthetic ImageData”.

Claims (38)

1.一种用于生成楼层平面图图纸的合成数据的计算机实现的方法，其包括：
生成所述楼层平面图图纸的一个或多个房间的房间布局，其中所述房间布局包括定义所述房间中的一个或多个的语义的房间描述；
获得符号要素的符号要素信息，其中所述符号要素信息包括其中能够出现所述符号要素的所述一个或多个房间的枚举；
基于所述房间布局和所述符号要素信息而在所述房间中的一个或多个内生成所述符号要素的实例；以及
基于所述实例而生成所述楼层平面图图纸。
2.如权利要求1所述的计算机实现的方法，其中所述房间布局包括：
一组二维(2D)位置，所述一组二维位置对应于所有墙壁的起点和终点。
3.如权利要求1所述的计算机实现的方法，其中所述生成所述符号要素的实例还包括：
生成数据集的能够匹配一种或多种设计中的一种设计的样式，其中对于所述一种或多种设计中的每一种设计，配置文件存储所述符号要素信息。
4.如权利要求1所述的计算机实现的方法，其中：
将所述符号要素信息存储在配置文件中；
所述配置文件包括多个块；
用唯一标识符对所述多个块中的每个块加索引；并且
所述多个块中的每个块对应于不同符号要素的渲染。
5.如权利要求4所述的计算机实现的方法，其中：
所述多个块中的每个块包括所述符号要素信息；
属性包括：
所述符号要素的比例；
所述符号要素的取向；
最大实例的数量；
背景属性，所述背景属性识别所述符号要素属于背景还是前景；以及
所述符号要素的相关联标签。
6.如权利要求1所述的计算机实现的方法，其中：
所述生成所述楼层平面图图纸包括：通过随机地计算每个实例直到所述实例符合所述符号要素信息为止，而随机地生成所述楼层平面图图纸。
7.如权利要求6所述的计算机实现的方法，其还包括：
确定所述楼层平面图图纸中的符号要素的所述实例是不平衡的；
将所述楼层平面图图纸三角剖分成一个或多个三角形；以及
使用所述一个或多个三角形内的随机均匀取样将所述符号要素均匀地放置在所述楼层平面图图纸中。
8.如权利要求7所述的计算机实现的方法，其还包括：
基于符号要素的所述实例是不平衡的所述确定，调整符号类型的权重，其中所述权重会影响将所述符号类型的多少实例放置到所述楼层平面图图纸中。
9.如权利要求1所述的计算机实现的方法，其还包括：
向所述楼层平面图图纸添加随机额外信息以改善机器学习模型。
10.一种用于生成楼层平面图图纸的合成数据的计算机实现的系统，其包括：
(a)具有存储器的计算机；
(b)在所述计算机上执行的处理器；
(c)存储一组指令的所述存储器，其中所述一组指令当由所述处理器执行时致使所述处理器执行操作，所述操作包括：
(i)生成所述楼层平面图图纸的一个或多个房间的房间布局，其中所述房间布局包括定义所述房间中的一个或多个的语义的房间描述；
(ii)获得符号要素的符号要素信息，其中所述符号要素信息包括其中能够出现所述符号要素的所述一个或多个房间的枚举；
(iii)基于所述房间布局和所述符号要素信息而在所述房间中的一个或多个内生成所述符号要素的实例；以及
(iv)基于所述实例而生成所述楼层平面图图纸。
11.如权利要求10所述的计算机实现的系统，其中所述房间布局包括：
一组二维(2D)位置，所述一组二维位置对应于所有墙壁的起点和终点。
12.如权利要求10所述的计算机实现的系统，其中所述生成所述符号要素的实例还包括：
生成数据集的能够匹配一种或多种设计中的一种设计的样式，其中对于所述一种或多种设计中的每一种设计，配置文件存储所述符号要素信息。
13.如权利要求10所述的计算机实现的系统，其中：
将所述符号要素信息存储在配置文件中；
所述配置文件包括多个块；
用唯一标识符对所述多个块中的每个块加索引；并且
所述多个块中的每个块对应于不同符号要素的渲染。
14.如权利要求13所述的计算机实现的系统，其中：
所述多个块中的每个块包括所述符号要素信息；
属性包括：
所述符号要素的比例；
所述符号要素的取向；
最大实例的数量；
背景属性，所述背景属性识别所述符号要素属于背景还是前景；以及
所述符号要素的相关联标签。
15.如权利要求10所述的计算机实现的系统，其中：
所述生成所述楼层平面图图纸包括：通过随机地计算每个实例直到所述实例符合所述符号要素信息为止，而随机地生成所述楼层平面图图纸。
16.如权利要求15所述的计算机实现的系统，其中所述操作还包括：
确定所述楼层平面图图纸中的符号要素的所述实例是不平衡的；
将所述楼层平面图图纸三角剖分成一个或多个三角形；以及
使用所述一个或多个三角形内的随机均匀取样将所述符号要素均匀地放置在所述楼层平面图图纸中。
17.如权利要求16所述的计算机实现的系统，其中所述操作还包括：
基于符号要素的所述实例是不平衡的所述确定，调整符号类型的权重，其中所述权重会影响将所述符号类型的多少实例放置到所述楼层平面图图纸中。
18.如权利要求10所述的计算机实现的系统，其中所述操作还包括：
向所述楼层平面图图纸添加随机额外信息以改善机器学习模型。
19.一种用于提取楼层平面图图纸的建筑信息模型(BIM)要素的计算机实现的方法，其包括：
获得所述楼层平面图图纸的光栅图像；
通过解析所述光栅图像确定设计图纸区域；
从所述设计图纸区域中提取矢量化要素；
获得合成楼层平面图设计图纸数据集，其中所述合成楼层平面图设计图纸数据集中的合成数据的合成符号标签、合成符号位置和合成符号取向是已知的；
基于所述矢量化要素和所述合成楼层平面图设计图纸数据集，检测由所述矢量化要素表示的符号，其中所述符号包括符号标签；
基于所述合成楼层平面图设计图纸数据集而确定所检测到的符号的取向；
基于所述符号标签，获取建筑信息模型(BIM)要素；以及
基于所述符号取向，将所述BIM要素放置在所述楼层平面图图纸中。
20.如权利要求19所述的计算机实现的方法，其中所述获得所述光栅图像包括：
获得所述楼层平面图图纸的便携式文档格式(PDF)文件；
用基于规则的方法移除背景网格线；
使用颜色信息移除背景要素；以及
将所述PDF文件光栅化成图像。
21.如权利要求19所述的计算机实现的方法，其中所述确定所述设计图纸区域包括：
使用机器学习模型将所述光栅图像分割成多个区段，其中所述机器学习模型识别所述楼层平面图图纸的布局的固定图案；以及
选择所述多个区段中包括所述设计图纸区域的一个或多个区段。
22.如权利要求19所述的计算机实现的方法，其中所述提取矢量化要素包括：
对所述矢量化要素进行分组，以形成候选要素的候选区域；以及
基于候选要素边界框的大小而过滤出候选要素。
23.如权利要求19所述的计算机实现的方法，其中所述获得合成楼层平面图设计图纸数据集包括：
基于符号库和合成楼层平面图数据集而生成所述合成楼层平面图设计图纸数据集。
24.如权利要求23所述的计算机实现的方法，其还包括：
将所述合成楼层平面图设计图纸数据集平铺成多个图块；以及
独立地处理所述多个图块中的每个图块。
25.如权利要求19所述的计算机实现的方法，其中所述检测符号包括：
确定所述符号的置信度水平；
确定所述置信度水平低于阈值置信度水平；以及
基于所述置信度水平低于所述阈值置信度水平的所述确定而过滤出所述符号；
确定第二符号的第二置信度水平；
确定所述第二置信度水平高于所述阈值置信度水平；以及
基于所述第二置信度水平高于所述阈值置信度水平的所述确定，而保留所述第二符号以供进一步处理。
26.如权利要求19所述的计算机实现的方法，其中所述确定所述符号的所述取向包括：
训练符号取向分类模型；
基于所述符号取向分类模型而预测所述取向。
27.如权利要求26所述的计算机实现的方法，其中所述训练包括：
利用所述合成楼层平面图设计图纸数据集中的所述已知的符号取向在所述符号取向分类模型中进行取向信息学习。
28.如权利要求19所述的计算机实现的方法，其还包括：
呈现带有所述放置的BIM要素的所述楼层平面图图纸；
接收用户反馈；以及
基于所述用户反馈而重新训练对象检测模型和符号取向分类模型。
29.一种用于提取楼层平面图图纸的建筑信息模型(BIM)要素的计算机实现的系统，其包括：
(a)具有存储器的计算机；
(b)在所述计算机上执行的处理器；
(c)存储一组指令的所述存储器，其中所述一组指令当由所述处理器执行时致使所述处理器执行操作，所述操作包括：
(i)获得所述楼层平面图图纸的光栅图像；
(ii)通过解析所述光栅图像确定设计图纸区域；
(iii)从所述设计图纸区域中提取矢量化要素；
(iv)获得合成楼层平面图设计图纸数据集，其中所述合成楼层平面图设计图纸数据集中的合成数据的合成符号标签、合成符号位置和合成符号取向是已知的；
(v)基于所述矢量化要素和所述合成楼层平面图设计图纸数据集，检测由所述矢量化要素表示的符号，其中所述符号包括符号标签；
(vi)基于所述合成楼层平面图设计图纸数据集而确定所检测到的符号的取向；
(vii)基于所述符号标签，获取建筑信息模型(BIM)要素；以及
(viii)基于所述符号取向，将所述BIM要素放置在所述楼层平面图图纸中。
30.如权利要求29所述的计算机实现的系统，其中所述获得所述光栅图像包括：
获得所述楼层平面图图纸的便携式文档格式(PDF)文件；
用基于规则的方法移除背景网格线；
使用颜色信息移除背景要素；以及
将所述PDF文件光栅化成图像。
31.如权利要求29所述的计算机实现的系统，其中所述确定所述设计图纸区域包括：
使用机器学习模型将所述光栅图像分割成多个区段，其中所述机器学习模型识别所述楼层平面图图纸的布局的固定图案；以及
选择所述多个区段中包括所述设计图纸区域的一个或多个区段。
32.如权利要求29所述的计算机实现的系统，其中所述提取矢量化要素包括：
对所述矢量化要素进行分组，以形成候选要素的候选区域；以及
基于候选要素边界框的大小而过滤出候选要素。
33.如权利要求29所述的计算机实现的系统，其中所述获得合成楼层平面图设计图纸数据集包括：
基于符号库和合成楼层平面图数据集而生成所述合成楼层平面图设计图纸数据集。
34.如权利要求33所述的计算机实现的系统，其还包括：
将所述合成楼层平面图设计图纸数据集平铺成多个图块；以及
独立地处理所述多个图块中的每个图块。
35.如权利要求29所述的计算机实现的系统，其中所述检测符号包括：
确定所述符号的置信度水平；
确定所述置信度水平低于阈值置信度水平；以及
基于所述置信度水平低于所述阈值置信度水平的所述确定而过滤出所述符号；
确定第二符号的第二置信度水平；
确定所述第二置信度水平高于所述阈值置信度水平；以及
基于所述第二置信度水平高于所述阈值置信度水平的所述确定，而保留所述第二符号以供进一步处理。
36.如权利要求29所述的计算机实现的系统，其中所述确定所述符号的所述取向包括：
训练符号取向分类模型；
基于所述符号取向分类模型而预测所述取向。
37.如权利要求36所述的计算机实现的系统，其中所述训练包括：
利用所述合成楼层平面图设计图纸数据集中的所述已知的符号取向在所述符号取向分类模型中进行取向信息学习。
38.如权利要求29所述的计算机实现的系统，其还包括：
呈现带有所述放置的BIM要素的所述楼层平面图图纸；
接收用户反馈；以及
基于所述用户反馈而重新训练对象检测模型和符号取向分类模型。
CN202080076034.2A 2019-11-18 2020-11-18 使用机器学习从楼层平面图图纸进行合成数据生成和建筑信息模型(bim)要素提取 Pending CN114641753A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962937049P 2019-11-18 2019-11-18
US201962937053P 2019-11-18 2019-11-18
US62/937,049 2019-11-18
US62/937,053 2019-11-18
PCT/US2020/061096 WO2021102030A1 (en) 2019-11-18 2020-11-18 Synthetic data generation and building information model (bim) element extraction from floor plan drawings using machine learning

Publications (1)

Publication Number Publication Date
CN114641753A true CN114641753A (zh) 2022-06-17

Family

ID=75909041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080076034.2A Pending CN114641753A (zh) 2019-11-18 2020-11-18 使用机器学习从楼层平面图图纸进行合成数据生成和建筑信息模型(bim)要素提取

Country Status (4)

Country Link
US (3) US20210150080A1 (zh)
EP (1) EP4062272A4 (zh)
CN (1) CN114641753A (zh)
WO (1) WO2021102030A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117168446A (zh) * 2023-11-02 2023-12-05 深圳市嘉美仕科技有限公司 一种基于惯性传感器的行人室内面积测量方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210358202A1 (en) * 2020-05-13 2021-11-18 Electronic Caregiver, Inc. Room Labeling Drawing Interface for Activity Tracking and Detection
US20220180595A1 (en) * 2020-06-12 2022-06-09 Boom Interactive, Inc. System and method for creating three-dimensional renderings of environments from two-dimensional images
CN117744196A (zh) * 2020-10-13 2024-03-22 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
US20220156418A1 (en) * 2020-11-17 2022-05-19 Autodesk, Inc. Progress tracking with automatic symbol detection
US11797733B2 (en) 2021-03-09 2023-10-24 Togal.Ai Inc Artificial intelligence determination of building metrics for code compliance
US11475174B2 (en) * 2021-03-09 2022-10-18 Togal.Ai Inc. Methods and apparatus for artificial intelligence conversion of a two-dimensional reference into an actionable interface
US11481704B2 (en) * 2021-03-09 2022-10-25 Togal.Ai Inc. Methods and apparatus for artificial intelligence conversion of change orders into an actionable interface
US11550991B2 (en) * 2021-03-29 2023-01-10 Capital One Services, Llc Methods and systems for generating alternative content using adversarial networks implemented in an application programming interface layer
AU2022286399A1 (en) * 2021-06-01 2023-12-14 Buildingestimates.Com Limited Systems for rapid accurate complete detailing and cost estimation for building construction from 2d plans
US11625553B2 (en) 2021-06-01 2023-04-11 Buildingestimates.Com Limited Rapid and accurate modeling of a building construction structure including estimates, detailing, and take-offs using artificial intelligence
KR102655432B1 (ko) * 2021-09-07 2024-04-08 주식회사 제니스아이씨티 머신 러닝을 이용한 도면 객체 추출 장치 및 방법
US20230098595A1 (en) * 2021-09-28 2023-03-30 Unearthed Land Technologies, Llc Generating vector versions of structural plans
CN113987637B (zh) * 2021-10-25 2022-07-01 清华大学 基于生成对抗网络的楼盖结构设计方法和装置
CN116152846A (zh) * 2021-11-19 2023-05-23 华为云计算技术有限公司 一种设计图转换方法、装置及相关设备
US11514633B1 (en) 2022-03-10 2022-11-29 Pointr Limited Systems and methods for automating conversion of drawings to indoor maps and plans
US20230325547A1 (en) * 2022-04-08 2023-10-12 Honeywell International Inc. Fire system floor plan layout generation
US20230359790A1 (en) * 2022-05-05 2023-11-09 D.TO, Inc Apparatus and methods for determining and solving design problems using machine learning
EP4300345A1 (de) * 2022-06-30 2024-01-03 Siemens Schweiz AG Computerimplementiertes verfahren und anordnung zum generieren eines digitalen 3d-, insbesondere sogenannte building information modeling -, bim-, gebäudemodells sowie computerprogrammprodukt
US11830135B1 (en) * 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images
FI130697B1 (fi) * 2022-07-28 2024-01-24 Elisa Oyj Järjestelmä ja menetelmä tilaan järjestetyn tietoliikenneverkon laitteiden hallinnoimiseksi

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766282B1 (en) * 2000-04-18 2004-07-20 Michael Schettine Method and apparatus for structure layout
JP2005215998A (ja) * 2004-01-29 2005-08-11 Hitachi East Japan Solutions Ltd 建物の振動に関する危険対策の支援システム及び建物の振動に関する危険対策の支援のためのコンピュータプログラム
JP2010044447A (ja) * 2008-08-08 2010-02-25 Cs Lumber:Kk 建築ｃａｄデータの抽出方法
US20170076016A1 (en) * 2015-09-10 2017-03-16 Maysam MIR AHMADI Automated layout generation
WO2019003467A1 (ja) * 2017-06-27 2019-01-03 三菱電機株式会社 建築設備図面作成支援システム
CN109299585A (zh) * 2018-12-18 2019-02-01 上海荷福人工智能科技（集团）有限公司 一种基于人工智能的建筑设计方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020147694A1 (en) * 2001-01-31 2002-10-10 Dempsey Derek M. Retraining trainable data classifiers
US8253731B2 (en) * 2006-11-27 2012-08-28 Designin Corporation Systems, methods, and computer program products for home and landscape design
US20110218777A1 (en) * 2010-03-03 2011-09-08 Honeywell International Inc. System and method for generating a building information model
US20170091885A1 (en) * 2014-10-15 2017-03-30 UScope Technologies, Inc. Systems and Methods for Improved Property Inspection Management
US20170154263A1 (en) * 2015-11-30 2017-06-01 Aditazz, Inc. Method for placing rooms in a building system
US10817626B2 (en) * 2016-07-26 2020-10-27 Mitek Holdings, Inc. Design-model management
JP6116746B1 (ja) * 2016-11-17 2017-04-19 株式会社ネクスト 情報処理装置、情報処理方法、及びプログラム
CN106650795B (zh) * 2016-12-01 2020-06-12 携程计算机技术（上海）有限公司 酒店房型图像的排序方法
US10210631B1 (en) 2017-08-18 2019-02-19 Synapse Technology Corporation Generating synthetic image data
US11127129B2 (en) * 2017-12-14 2021-09-21 The Joan and Irwin Jacobs Technion-Cornell Institute Techniques for identifying hazardous site conditions in geo-localized enhanced floor plans
EP3506211B1 (en) * 2017-12-28 2021-02-24 Dassault Systèmes Generating 3d models representing buildings
US20210073446A1 (en) * 2019-09-06 2021-03-11 BeamUp. Ltd. Structural design systems and methods for generating an actionable room index using modeling and simulation
US20220148327A1 (en) * 2020-11-10 2022-05-12 Autodesk, Inc. Machine learning techniques for extracting floorplan elements from architectural drawings
US11810354B2 (en) * 2021-04-12 2023-11-07 Meta Platforms, Inc. Generating digital floorplans from sparse digital video utilizing an audio-visual floorplan reconstruction machine learning model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766282B1 (en) * 2000-04-18 2004-07-20 Michael Schettine Method and apparatus for structure layout
JP2005215998A (ja) * 2004-01-29 2005-08-11 Hitachi East Japan Solutions Ltd 建物の振動に関する危険対策の支援システム及び建物の振動に関する危険対策の支援のためのコンピュータプログラム
JP2010044447A (ja) * 2008-08-08 2010-02-25 Cs Lumber:Kk 建築ｃａｄデータの抽出方法
US20170076016A1 (en) * 2015-09-10 2017-03-16 Maysam MIR AHMADI Automated layout generation
WO2019003467A1 (ja) * 2017-06-27 2019-01-03 三菱電機株式会社 建築設備図面作成支援システム
CN109299585A (zh) * 2018-12-18 2019-02-01 上海荷福人工智能科技（集团）有限公司 一种基于人工智能的建筑设计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117168446A (zh) * 2023-11-02 2023-12-05 深圳市嘉美仕科技有限公司 一种基于惯性传感器的行人室内面积测量方法
CN117168446B (zh) * 2023-11-02 2024-01-02 深圳市嘉美仕科技有限公司 一种基于惯性传感器的行人室内面积测量方法

Also Published As

Publication number Publication date
US11768974B2 (en) 2023-09-26
US20230409771A1 (en) 2023-12-21
EP4062272A4 (en) 2023-12-20
US20210150088A1 (en) 2021-05-20
WO2021102030A1 (en) 2021-05-27
US20210150080A1 (en) 2021-05-20
EP4062272A1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
US11768974B2 (en) Building information model (BIM) element extraction from floor plan drawings using machine learning
US10685462B2 (en) Automatic data extraction from a digital image
US10191889B2 (en) Systems, apparatuses and methods for generating a user interface by performing computer vision and optical character recognition on a graphical representation
CN114155543B (zh) 神经网络训练方法、文档图像理解方法、装置和设备
US20140313216A1 (en) Recognition and Representation of Image Sketches
Ahmed et al. Automatic analysis and sketch-based retrieval of architectural floor plans
US11461409B2 (en) Digitization of technical documentation driven by machine learning
Ouyang et al. Recognition of hand drawn chemical diagrams
US20160239751A1 (en) Multimodal input processing
JP6506770B2 (ja) 音楽記号を認識するための方法および装置
US20120054601A1 (en) Methods and systems for automated creation, recognition and display of icons
CN108701215B (zh) 用于识别多对象结构的系统和方法
Lu et al. A semi-automatic approach to detect structural components from CAD drawings for constructing as-is BIM objects
de Souza Baulé et al. Recent Progress in Automated Code Generation from GUI Images Using Machine Learning Techniques.
KR102535054B1 (ko) 패치기반의 딥러닝 알고리즘을 통한 실내도면 이미지에서의 실내공간정보 자동추출방법 및 그 장치
US11055526B2 (en) Method, system and apparatus for processing a page of a document
CN117083605A (zh) 用于文本-图像-布局变换器模型的迭代训练
Manandhar et al. Magic layouts: Structural prior for component detection in user interface designs
Tomovic et al. Aligning document layouts extracted with different OCR engines with clustering approach
US20220392242A1 (en) Method for training text positioning model and method for text positioning
JP5735126B2 (ja) システムおよび筆跡検索方法
KR102596257B1 (ko) 기계가공 특징형상 인식 방법 및 이를 수행하기 위한 컴퓨팅 장치
EP4002185A1 (en) Computer aided drawing drafting automation from markups using machine learning
WO2020090356A1 (ja) インクデータ生成装置、方法及びプログラム
CN115298648A (zh) 自动化流程图生成和视觉化系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: AUTODESK, Inc.

Address before: California, USA

Applicant before: AUTODESK, Inc.

CB02 Change of applicant information
CB03 Change of inventor or designer information

Inventor after: E Gaylor

Inventor after: Fu Yan

Inventor after: K. Afaro

Inventor after: M. Martinez Alonso

Inventor after: S.S. Collie

Inventor after: G. R. Amur

Inventor before: E Gaylor

Inventor before: Y .fu

Inventor before: K. Afaro

Inventor before: M. Martinez Alonso

Inventor before: S.S. Collie

Inventor before: G. R. Amur

CB03 Change of inventor or designer information