CN114519213A - 使用机器学习从标记中实现计算机辅助绘制图自动化 - Google Patents

使用机器学习从标记中实现计算机辅助绘制图自动化 Download PDF

Info

Publication number
CN114519213A
CN114519213A CN202111331293.8A CN202111331293A CN114519213A CN 114519213 A CN114519213 A CN 114519213A CN 202111331293 A CN202111331293 A CN 202111331293A CN 114519213 A CN114519213 A CN 114519213A
Authority
CN
China
Prior art keywords
cad
computer
mark
application
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111331293.8A
Other languages
English (en)
Inventor
K·M·K·张
R·P·克里希纳斯瓦米
D·P·S·威尔考克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autodesk Inc
Original Assignee
Autodesk Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autodesk Inc filed Critical Autodesk Inc
Publication of CN114519213A publication Critical patent/CN114519213A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/12—Symbolic schematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了使用机器学习从标记中实现计算机辅助绘制图自动化。提供一种用于计算机辅助绘图(CAD)自动化的方法和系统。获得CAD应用程序原生的第一格式的CAD绘图。获取第二非原生格式的CAD绘图的标记。机器学习引擎使用机器学习模型处理标记，以识别标记类型、识别标记属性、将标记关联到更新CAD绘图所需的CAD对象、并确定CAD对象属性和CAD应用程序属性。在使用CAD应用程序属性的CAD应用程序中提供具有CAD对象属性的CAD对象。接受用户输入并基于此更新CAD绘图。机器学习模型基于用户输入进行更新，并用于处理未来的标记。

Description

使用机器学习从标记中实现计算机辅助绘制图自动化
相关申请的交叉引用
本申请根据35U.S.C.第119(e)节的规定，要求以下共同未决和共同转让的美国临时专利申请的权益，所述申请以引用方式并入本文：
由发明人Kevin Cheung、Ravinder P.Krishnaswamy和Damian Paul StephenWillcox于2020年11月17日提交的标题为“用于使用机器学习从标记中使用机器学习辅助绘图自动化进行绘图的光学字符识别(OCR)”的临时申请序列号63/114,952，律师卷宗编号30566.0595USP1。
发明背景
1.发明领域
本发明总体上涉及计算机辅助设计(CAD)应用程序，并且具体来说涉及一种用于简化、自动化、节省时间并减少绘图过程中的错误的方法、设备、系统和制品。
2.相关技术的说明
一旦创建了CAD绘图，设计和构造过程中涉及的各方可以提供对绘图的编辑/修改。绘图编辑通常由反馈提示，通常以标记的形式，所述标记涉及使用物理方法，例如在纸张打印输出上使用不同颜色的钢笔/铅笔，或者通过注释数字文件(例如PDF(便携式文档格式))以数字方式创建。
在这两种情况下，标记必须手动传送回绘图员，并且绘图员必须在单独的监视器上参考他们桌面上的纸张或另一个应用程序中的PDF。此后，绘图员返回到CAD应用程序以使用正确的标准(例如，层、样式(尺寸、文本等)、颜色等)对适当的CAD应用程序对象进行更改。换句话说，协作者可以使用笔/纸以低保真度添加标记以及要添加/更改的事物的指示/指令。此后，绘图员返回到CAD应用程序并发出手动命令和/或将协作者的标记绘制/重复到CAD应用程序中。图1示出了更改的创建、标记和合并的现有技术过程。更具体地，CAD绘图/设计100和用于所请求的更改的标记104(例如，由协作者106在纸张打印输出102或绘图100的PDF上绘制)由绘图员108(其具有必要的CAD绘图/制图经验/技能)获取。然后绘图员108手动制图/更新/将所请求的更改合并到绘图100中(即，使用CAD应用程序)以产生修改后的绘图100R。
鉴于上述，绘图员108必须具有关于如何在CAD应用程序中使用和创建标记的知识库/技能集。然而，虽然现有技术要求绘图员108具有这样的技能集，但是标记/反馈通常不是由绘图员108而是由没有这样的知识库/技能集的协作者106(即，不同的人)创建的。在现有技术中，对手动更新CAD绘图100的需要加上协作者106缺乏经验丰富的CAD应用程序技能集使得绘图员108和缓慢的手动过程成为必要。这种往返反馈创建和手动更新过程缓慢、容易出错，并且缺乏反馈与原始设计文件的任何联系。
因此，现有技术系统在将标记数据104总体上跨多个应用程序(例如，CAD应用程序、建模应用程序等)带回到设计文件100方面还没有成功。此外，已经有若干现有技术努力，其中已经创建了各种工具来在设计文件(DWF[设计web格式]、PDF、查看器等)的派生输出中创建标记104。CAD应用程序内的PDF导入功能或图像导入功能等过程(例如，在AUTOCADTM应用程序中可用)允许用户携带整个绘图的PDF加上他们正在处理的标记，但存在明显的冗余，并且标记和设计图之间没有区别。换句话说，导入的图像可能是基于光栅的图像，它不会将标记与底层绘图分开——导入单个光栅图像文件。
此外，现有技术系统没有将标记事后解释为CAD应用程序对象。此外，已有各种现有技术努力使标记工具更加智能，例如允许手势识别来创建圆形或revCloud(修订云[由连续弧组成的多段线形成云形对象])或其他对象。然而，这些现有技术的努力旨在为提供反馈的协作者提供更整洁的标记。绘图员仍然需要确保CAD应用程序对象正确、在正确的图层上、使用正确的图层样式等。
发明内容
为了解决现有技术的问题，本发明的实施例构建了CAD应用程序跟踪特征(即，AUTOCAD TRACE特征)。跟踪特征可以在CAD应用程序中提供一个安全空间，其中标记可以存在于设计CAD绘图的上下文中，但不会干扰它。换言之，本发明的实施例利用安全特征，所述特征允许在不影响绘图内容/几何图形的情况下存储和创建用于标记反馈的安全空间，并进一步利用机器学习(ML)来帮助绘图员快速且准确地完成他们的工作，同时在需要时仍保持绘图员的审查和干预。
本发明的实施例利用ML来识别特定标记，而不管它们是如何创建的，并将它们与更新CAD绘图文件所需的预期CAD应用程序对象相关联。简而言之，ML将会理解手写注释、尺寸、revCloud和修改CAD绘图的指令，并通过在正确位置提供具有正确样式的相应CAD应用程序对象来帮助绘图员更新他们的CAD绘图。
本发明的实施例还区分了标记的着色，因为在项目的设计阶段中的标记倾向于遵循标准颜色(红色意味着文字添加——在绘图上添加这些注释、尺寸、云作为CAD应用程序对象，而蓝色是教学“移动这些对象”，而不是将“移动这些对象”文本放在CAD绘图本身上)。
因此，本发明的实施例使用ML来获得文本样式、尺寸样式、使用模式等的感觉，以确保在正确的层上创建几何图形并具有正确的属性。
本发明的实施例的独特能力包括当绘图员接收到指示需要对绘图进行更改的标记时，尝试复制绘图员通常在CAD应用程序中所做的工作。在这方面，提供反馈的人员通常不了解绘图员所依赖的绘图标准和其他CAD特定信息。此外，虽然现有技术系统可能试图改进标记工具，但现有技术系统从未尝试在标记和绘图之间(正确地)架起桥梁，同时仍将标记保留为所请求的更改的记录，并且CAD绘图编辑本身在这些区域经常变得模糊。
本发明的实施例的优点包括对制图过程的显著改进，减少了通过用于反馈的主要机制——标记来修改绘图所花费的时间。花在制图上的时间越少，错误越少，这不仅对绘图员自己有吸引力，而且对公司层面来说也是如此，其中公司可以看到准确性、效率和产出的收益——允许公司将其用作项目中的竞争优势扭转局面并出价超过他们的竞争对手。
附图说明
现在参考附图，其中相同的附图标记始终表示对应的部分：
图1示出了更改的创建、标记和合并的现有技术过程。
图2示出了根据本发明的一个或多个实施例的使用机器学习从标记实现辅助制图自动化的工作流程；
图3示出了根据本发明的一个或多个实施例的用于自动制图过程的示例性工作流程的附加视图；
图4示出了根据本发明的一个或多个实施例的用于经由移动装置使用机器学习实现辅助制图自动化的高级架构；
图5示出了根据本发明的一个或多个实施例的用于机器学习处理标记以帮助自动制图的逻辑流程和架构的其他细节；
图6示出了根据本发明的一个或多个实施例的用于CAD自动化的逻辑流程
图7是用于实施本发明的一个或多个实施例的示例性硬件和软件环境；并且
图8示意性地示出了根据本发明的一个或多个实施例的典型分布式/基于云的计算机系统。
具体实施方式
在以下描述中，参考构成其一部分的附图，并且以说明的方式示出了本发明的若干实施例。应理解，在不脱离本发明范围的情况下，可利用其他实施例并且可进行结构更改。
由机器学习(ML)辅助的从标记实现辅助制图自动化
本发明的实施例利用机器学习来识别来自协作者(即，在非CAD应用中)的标记/红线输入。机器学习处理输入并识别文字标记和教学标记两者。此类识别的标记可用于：(i)作为建议(供用户接受)，或(ii)使用正确的CAD应用程序标准利用适当的CAD应用程序对象自动更新CAD应用程序内的CAD绘图。
图2示出了根据本发明的一个或多个实施例的使用机器学习从标记实现辅助制图自动化的工作流程。ML处理引擎200接收标记反馈/输入204(其可以从纸张标记扫描/拍摄或者可以是包括标记的PDF)。ML处理引擎200处理标记反馈/输入204并识别不同的标记(例如，文字标记和/或教学标记)(例如，基于ML模型)。在一个或多个实施例中，识别过程可以利用基于ML模型的光学字符识别(OCR)或其他图像处理/识别技术，所述ML模型可以经由后续标记处理周期迭代更新。为了区分手绘实体和打印实体，本发明的实施例可利用实体匹配技术、颜色等。此外，一旦实体/对象已被扫描/识别，可提示用户承认/确认扫描的实体/标识。
在本发明的实施例中，包含标记/反馈204的文档中的QR码或其他标识符可用于识别和关联作为标记204的主题的CAD绘图202。替代地，可以利用图像映射、条形码、用户输入等来确定适当的CAD绘图202。此后，ML处理引擎200内的计算机视觉和/或其他功能可用于将标记204定向、放置、对齐、缩放/依大小分类、配准和叠加/定位到绘图202上。此外，标识符可用于映射文档的多个不同版本(例如，映射到3D实体建模应用程序、CAD应用程序等)。
ML处理引擎200可用于提供自主/自动化工作流，其中将识别的标记处理成CAD应用程序命令，所述命令可用于在CAD应用程序内执行标记。替代地，此类CAD应用程序命令可以作为建议(例如，一个或几个可能的选项)提供给用户以接受/选择和/或可以被自主执行。如果作为建议提供，一旦被用户选择，ML处理引擎200就可以基于用户的输入更新ML模型，从而随着时间的推移提高ML模型和标记建议的准确性。可以注意到，原始ML模型可以使用合成/模拟数据(例如，一个或多个CAD绘图的合成标记数据)生成。一旦完成，就生成更新的CAD绘图202R以供CAD应用程序设计者/绘图员进一步使用/修改。
除上述之外，在本发明的一个或多个实施例中，ML模型可以在客户端计算机上本地运行/执行/维护，或者替代地，可以在服务器计算机/云上远程运行/执行/维护。在一个或多个实施例中，装置和/或网络能力可以确定在哪里执行模型(例如，如果本地装置能够执行模型，则可以在本地维护它，如果不能，则可以在服务器上和/或云中远程维护它)。替代地，为了提供跨CAD应用程序的多个客户端安装而使用的更全面的模型，可以在所有(或部分)本地客户端安装所访问的服务器/云上远程维护/执行所述模型。
图3示出了根据本发明的一个或多个实施例的用于自动制图过程的示例性工作流程的附加视图。标记在302捕获。例如，可以捕获带有标记的绘图的照片，或者可以获取/捕获包括标记的PDF。标记304的纸张/PDF可以被导入306到OVERLAY/TRACE应用程序/功能/特征(例如，CAD应用程序的)中。这种OVERLAY/TRACE应用程序/功能/特征在CAD应用程序中提供了一个安全空间，其中标记可以存在于设计CAD绘图的上下文中，但不会干扰它。换句话说，本发明的实施例利用安全特征，所述特征允许存储和创建标记反馈的安全空间而不影响绘图内容/几何图形。
标记304由ML处理引擎308处理。使用ML，ML处理引擎308识别可以在CAD应用程序中使用的标记内容310(例如，尺寸、块等)。并非所有标记内容310都旨在按字面放置在绘图上，因为有些是给绘图员的注释而不是用于包含CAD绘图的。此外，标记的颜色可能有意义。因此，本发明的实施例可以自动转换旨在放置在绘图上的文本注释，同时忽略其他未放置的注释。
显示屏幕312示出了不同CAD应用程序对象的识别，例如已经放置在期望层(即，CAD绘图层)上的revCloud 314和要插入绘图中的识别块316。此时，ML处理引擎308可以自动执行CAD绘图修改/编辑，或者替代地，可以将执行编辑的命令作为建议318提供给用户。当作为建议318提供时，通过基于标记允许将CAD应用程序对象一键放置在适当的层、样式等上(例如，基于先前的在CAD绘图中的使用和先前的选择——这两者都可以用于修改ML处理引擎308使用的模型)，制图过程可以自动化320。例如，提示可以提供建议的标记318，用户可以选择一键接受/拒绝建议。如果被接受，则可以根据建议自动放置建议的标记318。
在一个或多个实施例中，在OVERLAY/TRACE特征/功能/应用程序内，识别的标记内容310可以被呈现在一个覆盖层上，所述覆盖层在视觉上看起来类似于已经对齐并放置在CAD绘图上的描图纸。这种覆盖层可以具有混浊的半透明纹理(例如，类似于实际的物理描图纸)。在一个或多个实施例中，这样的OVERLAY/TRACE能力可以是父CAD绘图中的嵌入CAD绘图(即，它可以是嵌入的DWG文件而不仅仅是DWG文件中的一个层)。一旦所有标记建议318已按照用户的需要被合并到CAD绘图中，用户就可以选择关闭覆盖层，从而不再显示手写注释/标记(即，只留下显示所需合并的标记的CAD绘图)。例如，用户可以确定在CAD绘图上可能不需要绘图上的绿色注释322并且因此可以关闭显示的覆盖视图。
移动装置处理架构
本发明的实施例提供使用ML的辅助制图自动化。如上所述，标记可以经由相机或具有图像捕捉能力的其他装置(例如，移动装置)来捕捉。一旦被捕获，就可以执行各种动作以提供制图自动化。图4示出了根据本发明的一个或多个实施例的用于经由移动装置使用ML实现辅助制图自动化的高级架构。如图所示，移动装置402捕获包含标记的图像(在404)并在406应用变换。所述变换将捕捉到的图像转换成ML处理引擎410可以接受以使用的形式。因此，所捕获的图像被发送408到服务器或云以供ML处理引擎410处理。ML处理引擎410在412提取文本的边界框，并在414提取revCloud的边界框。这种提取412和414基于ML模型416。
ML处理引擎410将边界框(在418)发送到服务器或基于云的应用程序以供进一步处理。在一个或多个实施例中，服务器/云应用程序420是CRX应用程序(例如，浏览器扩展)。在服务器/云应用程序420内，在步骤422-426中处理边界框。在步骤422，使用HSV(色调、饱和度、值)检测器(或其他类型的检测器)来检测边界框内的实体的颜色。例如，除了HSV和其他基于颜色空间的分割之外，还可以应用图像过滤器和其他计算机视觉处理技术，以便更准确地区分标记与背景。换句话说，本发明的实施例从RGB(红、绿、蓝)空间映射/移动到HSV空间以从绘图的背景中分割标记。在步骤424，边界框(revCloud和文本)被映射到CAD应用程序纸张空间(例如，CAD应用程序内的绘图的纸张布局)。在步骤426，将revCloud、文本和剩余标记(例如，其他标记图像)作为图像插入到CAD绘图中作为CAD层上的复合对象。
ML处理详情
图5示出了根据本发明的一个或多个实施例的用于ML处理标记以帮助自动制图的逻辑流程和架构的其他细节。标记反馈502经由纸张504、PDF 506和/或第三方CAD/建模/建筑软件应用程序508(例如，BIM360应用程序或BIM[建筑信息建模]查看器应用程序)输入/接收。
主要CAD应用程序510(例如，CAD应用程序内的跟踪特征)接收/获取标记反馈502。在一个或多个实施例中，这样的标记反馈502被导入512(例如，从CAD应用程序内的跟踪特征)到CAD绘图本身(例如，模型空间[MS]或纸张空间[PS])。在替代实施例中，标记反馈502还可以包括在主要CAD应用程序510内创建的房屋标记/反馈514。
然后主要CAD应用程序请求/处理ML处理引擎516中的标记反馈502。ML处理引擎516在518执行标记的ML处理。第一步是在520识别标记类型。标记类型可以是显式/文字制图对象522(例如，使用颜色来确定标记类型的红色标记)或制图指令524(例如，使用颜色来确定标记类型的蓝色标记)。如果标记类型是显式/文字制图对象522，则可以在524处使用光学字符识别(OCR)来确定制图对象的文本，例如通过OCR应用程序编程接口[API]。基于OCR处理，可以在526识别目标CAD属性(例如，层、样式等)。例如，使用对象提取和分类API，可以确定制图对象。
在528，以适当的样式/标准创建适当的制图对象。例如，制图对象可由文本、尺寸、块、revCloud、几何图形、引线或任何制图对象组成。在一个或多个实施例中，ML和OCR都用于识别显式/文字制图对象522。
如果标记类型是制图指令524，则在532识别要包括在动作中的适当命令和对象。例如，适当的命令和对象可以识别指定将对象的选择移动设定距离的标记指令。在534，CAD应用程序发出命令(例如，发出移动命令并选择在适当距离内指定的对象)。在这方面，利用显式/文字标记522，本发明的实施例可以启动CAD应用程序命令以在步骤530创建标记制图对象并将其放置/插入到绘图中。然而，使用制图指令524，CAD应用程序将解释指令，所述指令可包括在步骤534启动命令和/或遵循指令。此外，对于这样的制图指令，选择集可以假设选择边界或实体感兴趣的其他指示符。
在一个或多个实施例中，标记保留在CAD应用程序“跟踪”空间中，与CAD绘图几何图形分开。可以在CAD绘图本身的几何图形中进行进一步的制图编辑。
逻辑流程
图6示出了根据本发明的一个或多个实施例的用于CAD自动化的逻辑流程。
在步骤602，以CAD应用程序原生的第一格式获得CAD绘图。
在步骤604，获取CAD绘图的标记。标记采用非CAD应用程序原生的第二格式。在一个或多个实施例中，使用物理手段来创建标记以在CAD绘图的纸张打印输出上转录反馈。在这样的实施例中，通过获取纸张打印输出上的转录反馈的图像(例如，图像的扫描/照片)来获取标记。在替代实施例中，可以通过对包括CAD绘图(例如，PDF)的图像的数字文件进行数字注释来创建标记。
在步骤606，使用机器学习模型在机器学习引擎中处理标记。所述处理识别标记的标记类型、识别标记的标记属性、将标记类型与更新CAD绘图所需的CAD对象相关联(基于标记类型)、并确定(基于标记类型和标记属性)CAD对象的CAD对象属性和CAD应用程序的CAD应用程序属性。
在一个或多个实施例中，标记类型可以是文字标记。对于文字标记类型，可以使用光学字符识别(OCR)来确定CAD对象属性以识别文本，其中基于识别的文本提供CAD对象。此后，通过创建CAD对象来更新CAD绘图。在这样的实施例中，CAD应用程序属性可以包括CAD标准，所述CAD标准包括/例如是目标层和样式。此外，可以在这样的CAD标准中/基于这样的CAD标准来创建CAD对象。
在一个或多个实施例中，标记类型可以是制图指令。通过制图指令，当提供具有CAD对象属性的CAD对象时，识别执行制图指令所必需的CAD应用程序命令和CAD对象。此后，通过使用识别的CAD对象执行识别的CAD应用程序命令来更新CAD绘图。在一个或多个实施例中，制图指令包括将CAD对象移动设定距离。基于所述指令，选择一组一个或多个CAD对象(包括识别的CAD对象)，并通过使用设定距离对所述组一个或多个CAD对象发出移动命令来更新CAD绘图。
在本发明的一个或多个实施例中，基于标记的颜色来识别标记类型。例如，第一颜色可以表示文字标记类型，而第二颜色可以表示制图指令标记类型。
为了处理标记，可以提取文本的第一边界框和一个或多个几何对象的第二边界框。然后可以将边界框发送到基于云的应用程序以进行进一步处理。这样的进一步处理可以包括检测第一边界框和第二边界框中的一个或多个实体中的每一个的颜色、基于颜色确定标记类型、将第一边界框和第二边界框映射到CAD应用程序的纸张空间。此后，基于标记类型，可以将第一边界框和第二边界框中的一个或多个实体中的每一个的颜色映射到代表性的CAD应用程序颜色。此外，可以基于文本、一个或多个几何对象、标记类型和代表性CAD应用程序颜色来更新CAD绘图。
在步骤608，使用CAD应用程序属性在CAD应用程序中提供/呈现CAD对象(具有CAD对象属性)。
在步骤610，响应于提供步骤608接受用户输入。
在步骤612，基于用户输入在CAD应用程序中更新CAD绘图。
在步骤614，基于用户输入(例如，诸如接受建议和/或拒绝建议的反馈)更新ML模型。这种更新的ML模型用于处理未来的标记。
硬件环境
图7是用于实现本发明的一个或多个实施例的示例性硬件和软件环境700(称为计算机实现的系统和/或计算机实现的方法)。硬件和软件环境包括计算机702并且可以包括外围设备。计算机702可以是用户/客户端计算机、服务器计算机，或者可以是数据库计算机。计算机702包括硬件处理器704A和/或专用硬件处理器704B(以下替代地统称为处理器704)和存储器706，例如随机存取存储器(RAM)。计算机702可以耦合到和/或集成到其他装置，包括输入/输出(I/O)装置，例如键盘714、光标控制装置716(例如，鼠标、定点装置、笔和平板电脑、触摸屏、多点触控装置等)和打印机728。在一个或多个实施例中，计算机702可以耦合到或可以包括便携式或媒体观看/收听装置732(例如，MP3播放器、IPOD、NOOK、便携式数字视频播放器、蜂窝装置、个人数字助理等)。在又一个实施例中，计算机702可以包括多点触控装置、移动电话、游戏系统、支持互联网的电视、电视机顶盒或在各种平台和操作系统上执行的其他支持互联网的装置。
在一个实施例中，计算机702通过硬件处理器704A在操作系统708的控制下执行由计算机程序710(例如，计算机辅助设计[CAD]应用程序)定义的指令来操作。计算机程序710和/或操作系统708可以存储在存储器706中并且可以与用户和/或其他装置接口以接受输入和命令，并且基于这样的输入和命令以及由计算机程序定义的指令710和操作系统708，以提供输出和结果。
输出/结果可以在显示器722上呈现或提供给另一装置以供呈现或进一步处理或动作。在一个实施例中，显示器722包括具有多个可单独寻址的液晶的液晶显示器(LCD)。替代地，显示器722可包括发光二极管(LED)显示器，其具有被一起驱动以形成全色像素的红色、绿色和蓝色二极管簇。响应于处理器704根据计算机程序710和/或操作系统708的指令在输入和命令上的应用而生成的数据或信息，显示器722的每个液晶或像素变为不透明或半透明状态以在显示器上形成图像的一部分。图像可以通过图形用户界面(GUI)模块718提供。尽管GUI模块718被描绘为单独的模块，但是执行GUI功能的指令可以驻留在或分布在操作系统708、计算机程序710中，或者用专用存储器和处理器来实现。
在一个或多个实施例中，显示器722与计算机702集成/集成到计算机702中并且包括多点触控装置，所述多点触控装置具有触摸感测表面(例如，轨迹舱或触摸屏)，所述触摸感测表面具有识别两个或多个与表面的接触点的存在的能力。多点触控装置的示例包括移动装置(例如，IPHONE、NEXUS S、DROID装置等)、平板计算机(例如，IPAD、HP TOUCHPAD、SURFACE装置等)、便携式/手持游戏/音乐/视频播放器/控制台装置(例如，IPOD TOUCH、MP3播放器、NINTENDO SWITCH、PLAYSTATION PORTABLE等)、触摸桌和墙壁(例如，图像通过亚克力和/或玻璃投射，然后图像用LED背光照明)。
计算机702根据计算机程序710指令执行的一些或全部操作可以在专用处理器704B中实现。在该实施例中，计算机程序710指令中的一些或全部可以经由存储在专用处理器704B内或存储器706中的只读存储器(ROM)、可编程只读存储器(PROM)或闪存中的固件指令来实现。专用处理器704B也可以通过电路设计硬连线以执行一些或全部操作以实现本发明。此外，专用处理器704B可以是混合处理器，其包括用于执行功能子集的专用电路以及用于执行诸如响应计算机程序710指令的更通用功能的其他电路。在一个实施例中，专用处理器704B是专用集成电路(ASIC)。
计算机702还可以实现编译器712，其允许以诸如C、C++、汇编、SQL、PYTHON、PROLOG、MATLAB、RUBY、RAILS、HASKELL或其他语言的编程语言编写的应用程序或计算机程序710被翻译成处理器704可读代码。替代地，编译器712可以是直接执行指令/源代码、将源代码翻译成被执行的中间表示或执行存储的预编译代码的解释器。这种源代码可以用多种编程语言编写，例如JAVA、JAVASCRIPT、PERL、BASIC等。完成后，应用程序或计算机程序710使用通过编译器712生成的关系和逻辑来访问和操作从I/O装置接收并存储在计算机702的存储器706中的数据。
计算机702还可选地包括外部通信装置，例如调制解调器、卫星链路、以太网卡或用于从其他计算机702接受输入并向其他计算机702提供输出的其他装置。
在一个实施例中，实现操作系统708、计算机程序710和编译器712的指令有形地体现在非暂时性计算机可读介质中，例如数据存储装置720，其可以包括一个或多个固定的或可移动的数据存储装置，例如zip驱动器、软盘驱动器724、硬盘驱动器、CD-ROM驱动器、磁带驱动器等。此外，操作系统708和计算机程序710由计算机程序710指令组成，当被计算机702访问、读取和执行时，这些指令使计算机702执行实现和/或使用本发明或将指令程序加载到存储器706中所必需的步骤，从而创建专用数据结构，使计算机702作为执行这里描述的方法步骤的专门编程的计算机来操作。计算机程序710和/或操作指令也可以有形地体现在存储器706和/或数据通信装置730中，从而制造根据本发明的计算机程序产品或制品。因此，本文使用的术语“制品”、“程序存储装置”和“计算机程序产品”旨在涵盖可从任何计算机可读装置或介质访问的计算机程序。
当然，本领域技术人员将认识到，上述组件的任何组合，或任何数量的不同组件、外围设备和其他装置，可以与计算机702一起使用。
图8示意性地示出了使用网络804将客户端计算机802连接到服务器计算机806的典型分布式/基于云的计算机系统800。资源的典型组合可以包括网络804，其包括因特网、LAN(局域网)、WAN(广域网)、SNA(系统网络架构)网络等、作为个人计算机或工作站(如图7中阐述的)的客户端802、以及作为个人计算机、工作站、小型计算机或大型机(如图7中阐述的)的服务器806。然而，可以注意到，诸如蜂窝网络(例如，GSM[全球移动通信系统]或其他)、基于卫星的网络或任何其他类型的网络之类的不同网络可以用于根据本发明的实施例连接客户端802和服务器806。
诸如因特网之类的网络804将客户端802连接到服务器计算机806。网络804可以利用以太网、同轴电缆、无线通信、射频(RF)等来连接和提供客户端802和服务器806之间的通信。此外，在基于云的计算系统中，客户端802和服务器计算机806中的资源(例如，存储、处理器、应用程序、存储器、基础设施等)可以由客户端802、服务器计算机806和跨一个或多个网络的用户共享。资源可以由多个用户共享，并且可以根据需求动态重新分配。在这方面，云计算可被称为用于实现对可配置计算资源的共享池的访问的模型。
客户端802可以执行客户端应用程序或web浏览器并且与执行web服务器810的服务器计算机806通信。这种web浏览器通常是诸如MICROSOFT INTERNET EXPLORER/EDGE、MOZILLA FIREFOX、OPERA、APPLE SAFARI、GOOGLE CHROME等的程序。此外，在客户端802上执行的软件可以从服务器计算机806下载到客户端计算机802并安装作为web浏览器的插件或ACTIVEX控件。因此，客户端802可以利用ACTIVEX组件/组件对象模型(COM)或分布式COM(DCOM)组件来在客户端802的显示器上提供用户界面。web服务器810通常是诸如MICROSOFT'S INTERNET INFORMATION SERVER之类的程序。
Web服务器810可以托管可能正在执行脚本的活动服务器页(ASP)或因特网服务器应用程序编程接口(ISAPI)应用程序812。脚本调用执行业务逻辑的对象(称为业务对象)。然后，业务对象通过数据库管理系统(DBMS)814操作数据库816中的数据。替代地，数据库816可以是客户端802的一部分或直接连接到客户端802，而不是通过网络804从数据库816传送/获取信息。当开发人员将业务功能封装到对象中时，所述系统可被称为组件对象模型(COM)系统。因此，在web服务器810(和/或应用程序812)上执行的脚本调用实现业务逻辑的COM对象。此外，服务器806可以利用MICROSOFT’STRANSACTION SERVER(MTS)经由诸如ADO(活动数据对象)、OLE DB(对象链接和嵌入数据库)或ODBC(开放数据库连接)之类的接口访问存储在数据库816中的所需数据。
通常，这些组件800-816都包括逻辑和/或数据，这些逻辑和/或数据体现在/或可从装置、介质、信号或载体中检索，例如数据存储装置、数据通信装置、远程计算机或经由网络或经由另一数据通信装置等耦合到计算机的装置。此外，当读取、执行和/或解释该逻辑和/或数据时，从而使实现和/或使用本发明所必需的步骤正在执行。
虽然术语“用户计算机”、“客户端计算机”和/或“服务器计算机”在本文中被提及，但是应理解，这样的计算机802和806可以是可互换的并且还可以包括具有有限或完整的处理能力、便携式装置，例如手机、笔记本计算机、袖珍计算机、多点触控装置和/或任何其他具有适当处理、通信和输入/输出能力的装置。
当然，本领域技术人员将认识到，上述组件的任何组合、或任何数量的不同组件、外围设备和其他装置，可以与计算机802和806一起使用。本发明的实施例被实现为客户端802或服务器计算机806上的软件/CAD应用程序。此外，如上所述，客户端802或服务器计算机806可以包括瘦客户端装置或具有基于多点触控的显示器的便携式装置。
结论
这结束了对本发明的优选实施例的描述。下面描述用于实现本发明的一些替代实施例。例如，任何类型的计算机，例如大型机、小型机或个人计算机，或计算机配置，例如分时主机、局域网或独立的个人计算机，都可以与本发明一起使用。
已经呈现了本发明的优选实施例的前面的描述用于说明和描述的目的。该描述并不旨在为穷举的或将本发明限制在所公开的精确形式。许多修改和变化根据以上教义是可能的。本发明的范围旨在不受所述详细描述的限制，而是由所附的权利要求限制。

Claims (18)

1.一种用于计算机辅助绘图(CAD)自动化的计算机实现的方法，其包括：
(a)获取CAD绘图，其中所述CAD绘图是CAD应用程序原生的第一格式；
(b)获取所述CAD绘图的标记，其中所述标记是非CAD应用程序原生的第二格式；
(c)在机器学习引擎中，使用机器学习模型处理所述标记，以：
(i)识别所述标记的标记类型；
(ii)识别所述标记的标记属性；
(iii)基于所述标记类型，将所述标记与更新所述CAD绘图所需的CAD对象相关联；
(iv)基于所述标记类型和所述标记属性，确定所述CAD对象的CAD对象属性和所述CAD应用程序的CAD应用程序属性；以及
(d)在使用所述CAD应用程序属性的所述CAD应用程序中，提供具有所述CAD对象属性的所述CAD对象；
(e)响应于所述提供，接受用户输入；
(f)在所述CAD应用程序中，基于所述用户输入更新所述CAD绘图；以及
(g)基于所述用户输入更新所述机器学习模型，其中所述机器学习模型用于处理未来的标记。
2.如权利要求1所述的计算机实现的方法，其中：
所述标记是使用物理方法创建的，用于在所述CAD绘图的纸张打印输出上转录反馈；以及
所述获取包括获取在所述纸张打印输出上转录的所述反馈的图像。
3.如权利要求1所述的计算机实现的方法，其中：
所述标记是通过对包括所述CAD绘图的图像的数字文件进行数字注释来创建的。
4.如权利要求1所述的计算机实现的方法，其中：
所述标记类型包括文字标记；
使用光学字符识别(OCR)识别文本来确定所述CAD对象属性；
所述提供包括基于所识别的文本提供所述CAD对象；以及
所述更新所述CAD绘图包括创建所提供的CAD对象。
5.如权利要求4所述的计算机实现的方法，其中：
所述CAD应用程序属性包括一个或多个CAD标准，其包括目标层和样式；
所述CAD对象是在所述一个或多个CAD标准中创建的。
6.如权利要求1所述的计算机实现的方法，其中：
所述标记类型包括制图指令；
所述提供具有所述CAD对象属性的所述CAD对象包括：
识别执行所述制图指令所必需的一个或多个CAD应用程序命令；
识别执行所述制图指令所必需的所述CAD对象；以及
所述更新所述CAD绘图包括使用所识别的CAD对象执行所识别的一个或多个CAD应用程序命令。
7.如权利要求6所述的计算机实现的方法，其中：
所述制图指令包括将所述CAD对象移动设定距离；
所述识别所述CAD对象包括选择一组一个或多个CAD对象，其中所述组包括所述识别的CAD对象；以及
所述更新所述CAD绘图包括使用所述设定距离对所述组一个或多个CAD对象发出移动命令。
8.如权利要求1所述的计算机实现的方法，其中：
所述识别所述标记类型基于所述标记的颜色；
第一颜色表示包括文字标记的标记类型；以及
第二颜色表示包括制图指令的标记类型。
9.如权利要求1所述的计算机实现的方法，其中所述处理所述标记包括：
提取文本的第一边界框；
提取一个或多个几何对象的第二边界框；
将所述第一边界框和所述第二边界框发送到基于云的应用程序；
所述基于云的应用程序：
检测所述第一边界框和所述第二边界框中的一个或多个实体中的每一个的颜色；
基于所述颜色确定所述标记类型；
将所述第一边界框和所述第二边界框映射到所述CAD应用程序的纸张空间；以及
基于所述文本、所述一个或多个几何对象、所述标记类型和代表性CAD应用程序颜色来更新所述CAD绘图。
10.一种用于计算机辅助绘图(CAD)自动化的计算机实现的系统，其包括：
(a)具有存储器的计算机；
(b)在所述计算机上执行的处理器；
(c)所述存储器存储指令集，其中所述指令集在被所述处理器执行时使所述处理器执行包括以下项的操作：
(i)获取CAD绘图，其中所述CAD绘图是CAD应用程序原生的第一格式；
(ii)获取所述CAD绘图的标记，其中所述标记是非CAD应用程序原生的第二格式；
(iii)在机器学习引擎中，使用机器学习模型处理所述标记，以：
(1)识别所述标记的标记类型；
(2)识别所述标记的标记属性；
(3)基于所述标记类型，将所述标记与更新所述CAD绘图所需的CAD对象相关联；
(4)基于所述标记类型和所述标记属性，确定所述CAD对象的CAD对象属性和所述CAD应用程序的CAD应用程序属性；以及
(iv)在使用所述CAD应用程序属性的所述CAD应用程序中，提供具有所述CAD对象属性的所述CAD对象；
(v)响应于所述提供，接受用户输入；
(vi)在所述CAD应用程序中，基于所述用户输入更新所述CAD绘图；以及
(vii)基于所述用户输入更新所述机器学习模型，其中所述机器学习模型用于处理未来的标记。
11.如权利要求10所述的计算机实现的系统，其中：
所述标记是使用物理方法创建的，用于在所述CAD绘图的纸张打印输出上转录反馈；以及
所述获取包括获取在所述纸张打印输出上转录的所述反馈的图像。
12.如权利要求10所述的计算机实现的系统，其中：
所述标记是通过对包括所述CAD绘图的图像的数字文件进行数字注释来创建的。
13.如权利要求10所述的计算机实现的系统，其中：
所述标记类型包括文字标记；
使用光学字符识别(OCR)识别文本来确定所述CAD对象属性；
所述提供包括基于所识别的文本提供所述CAD对象；以及
所述更新所述CAD绘图包括创建所提供的CAD对象。
14.如权利要求13所述的计算机实现的系统，其中：
所述CAD应用程序属性包括一个或多个CAD标准，其包括目标层和样式；
所述CAD对象是在所述一个或多个CAD标准中创建的。
15.如权利要求10所述的计算机实现的系统，其中：
所述标记类型包括制图指令；
所述提供具有所述CAD对象属性的所述CAD对象包括：
识别执行所述制图指令所必需的一个或多个CAD应用程序命令；
识别执行所述制图指令所必需的所述CAD对象；以及
所述更新所述CAD绘图包括使用所识别的CAD对象执行所识别的一个或多个CAD应用程序命令。
16.如权利要求15所述的计算机实现的系统，其中：
所述制图指令包括将所述CAD对象移动设定距离；
所述识别所述CAD对象包括选择一组一个或多个CAD对象，其中所述组包括所述识别的CAD对象；以及
所述更新所述CAD绘图包括使用所述设定距离对所述组一个或多个CAD对象发出移动命令。
17.如权利要求10所述的计算机实现的系统，其中：
所述识别所述标记类型基于所述标记的颜色；
第一颜色表示包括文字标记的标记类型；以及
第二颜色表示包括制图指令的标记类型。
18.如权利要求10所述的计算机实现的系统，其中所述处理所述标记包括：
提取文本的第一边界框；
提取一个或多个几何对象的第二边界框；
将所述第一边界框和所述第二边界框发送到基于云的应用程序；
所述基于云的应用程序：
检测所述第一边界框和所述第二边界框中的一个或多个实体中的每一个的颜色；
基于所述颜色确定所述标记类型；
将所述第一边界框和所述第二边界框映射到所述CAD应用程序的纸张空间；以及
基于所述文本、所述一个或多个几何对象、所述标记类型和代表性CAD应用程序颜色来更新所述CAD绘图。
CN202111331293.8A 2020-11-17 2021-11-11 使用机器学习从标记中实现计算机辅助绘制图自动化 Pending CN114519213A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063114952P 2020-11-17 2020-11-17
US63/114,952 2020-11-17
US17/514,740 US20220156419A1 (en) 2020-11-17 2021-10-29 Computer aided drawing drafting automation from markups using machine learning
US17/514,740 2021-10-29

Publications (1)

Publication Number Publication Date
CN114519213A true CN114519213A (zh) 2022-05-20

Family

ID=78822226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111331293.8A Pending CN114519213A (zh) 2020-11-17 2021-11-11 使用机器学习从标记中实现计算机辅助绘制图自动化

Country Status (3)

Country Link
US (1) US20220156419A1 (zh)
EP (1) EP4002185A1 (zh)
CN (1) CN114519213A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117910075A (zh) * 2024-03-18 2024-04-19 中南民族大学 面向云原生cad软件的手绘几何建模方法、系统及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424371B2 (en) * 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117910075A (zh) * 2024-03-18 2024-04-19 中南民族大学 面向云原生cad软件的手绘几何建模方法、系统及设备

Also Published As

Publication number Publication date
EP4002185A1 (en) 2022-05-25
US20220156419A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
US11631050B2 (en) Syncing physical and electronic document
US11768974B2 (en) Building information model (BIM) element extraction from floor plan drawings using machine learning
US10360473B2 (en) User interface creation from screenshots
US10649647B2 (en) Device and method of providing handwritten content in the same
EP1416426A2 (en) Handwritten character input device, program and method
US20140304586A1 (en) Electronic device and data processing method
JP5439455B2 (ja) 電子コミック編集装置、方法及びプログラム
JP2013034168A (ja) 画像投影装置ならびに画像投影制御装置およびプログラム
WO2013058397A1 (ja) 電子コミック編集装置及び方法
US20140380191A1 (en) Method and apparatus for design review collaboration across multiple platforms
US20140145974A1 (en) Image processing apparatus, image processing method and storage medium
CN109690462A (zh) 管理手写图连接符的系统和方法
US8787670B2 (en) Software for text and image edit recognition for editing of images that contain text
US20220156419A1 (en) Computer aided drawing drafting automation from markups using machine learning
US20220156418A1 (en) Progress tracking with automatic symbol detection
US11430166B1 (en) Facilitating generation of number-bullet objects
JP2009048655A (ja) 手書き入力装置、プログラムおよび手書き入力方法システム
KR102298618B1 (ko) 바운딩 박스 생성 장치 및 그를 이용한 바운딩 박스 생성 방법
KR20220026067A (ko) 증강현실을 이용한 유아학습 방법
KR102026475B1 (ko) 시각적 입력의 처리
JP2016031721A (ja) 検索装置、方法及びプログラム
US20230343005A1 (en) Methods and Systems for Automated Structured Keyboard Layout Generation
US11755195B2 (en) Ink data generation apparatus, method, and program
JP2013206288A (ja) 情報管理方法及び情報管理システム
JPH01161483A (ja) 文書編集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination