CN107066664A - 基于密度的图形映射 - Google Patents

基于密度的图形映射 Download PDF

Info

Publication number
CN107066664A
CN107066664A CN201611259943.1A CN201611259943A CN107066664A CN 107066664 A CN107066664 A CN 107066664A CN 201611259943 A CN201611259943 A CN 201611259943A CN 107066664 A CN107066664 A CN 107066664A
Authority
CN
China
Prior art keywords
cad
environment
clusters
existing
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611259943.1A
Other languages
English (en)
Inventor
N·G·马祖拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Dassault Systemes of America Corp
Original Assignee
Dassault Systemes of America Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/983,878 external-priority patent/US10049479B2/en
Priority claimed from US14/984,765 external-priority patent/US10127333B2/en
Priority claimed from US14/984,412 external-priority patent/US10360438B2/en
Application filed by Dassault Systemes of America Corp filed Critical Dassault Systemes of America Corp
Publication of CN107066664A publication Critical patent/CN107066664A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/17Mechanical parametric or variational design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/13Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/02CAD in a network environment, e.g. collaborative CAD or distributed simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/20Configuration CAD, e.g. designing by assembling or positioning modules selected from libraries of predesigned modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Civil Engineering (AREA)
  • Mathematical Physics (AREA)
  • Structural Engineering (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供了更新表示环境的CAD模型的方法。该实施例通过基于接收的信号而生成表示环境的一个或多个对象的点云而开始,其中接收的信号反射出环境的一个或多个对象。接着,基于包括一个或多个聚类的点的密度来识别点云的一个或多个聚类。进而,一个或多个聚类映射到现有的CAD图,并且利用现有的CAD图来自动更新环境的CAD模型。

Description

基于密度的图形映射
相关申请
本申请与2015年12月30日提交的、档案号为4201.1127-000、申请号为14/983,878的Nelia Gloria Mazula的对应的美国申请“DENSITY BASED GRAPHICAL MAPPING(基于密度的图形映射)”相关。同样,该申请与2015年12月30日提交的、档案号为4201.1128-000、申请号为14/984,412的Nelia Gloria Mazula的“3D TO 2D REIMAGING FOR SEARCH(用于搜索的3D到2D再成像)”和2015年12月30日提交的、档案号为4201.1131-000、申请号为14/984,765的Nelia Gloria Mazula的“EMBEDDED FREQUENCY BASED SEARCH AND 3DGRAPHICAL DATA PROCESSING(基于嵌入频率的搜索和3D图形数据处理)”相关。上述申请的全部教导通过引用方式合并于此。
背景技术
实施例概括而言涉及计算机程序和系统领域,并且具体地涉及计算机辅助设计(CAD)、计算机辅助工程和建模领域。
在市场上提供了多个用于零件或零件组件的设计的系统和程序。这些所谓的CAD系统允许用户构建和操纵对象和对象的组件的复杂三维模型。CAD系统因此利用边或线在一些情况下,利用面提供了对建模的对象的表示。线、边、面或多边形可以多种方式来表示,例如,非均匀有理基样条(NURBS)。
这些CAD系统管理建模对象的零件或零件的组件,这主要是几何形状的规范。特别地,CAD文件包含规范,根据所述规范来生成几何形状。根据几何形状,生成表示。规范、几何形状和表示可以存储在单个CAD文件或多个CAD文件中。CAD系统包括用于向设计者表示建模对象的图形工具;这些工具专用于复杂对象的显示。例如,组件可能包含数千零件。CAD系统能够用于管理对象的模型,这些对象的模型存储在电子文件中。
发明内容
如果CAD模型不精确,虽然包括大量数据,但是CAD模型具有有限的实用性。经常,对象的CAD模型被创建,并且用于例如对象的构建。然而,对象及其环境不是静态的并且频繁地变化。因此,需要方法来更新CAD模型以反映这些变化。本发明的实施例提供了这样的功能。该功能能够用于各种领域,包括工艺设施再设计、维护和操作。
本发明的实施例通过在计算机存储器内生成点云而开始,所述点云基于接收的信号来表示环境的一个或多个对象,其中接收的信号已经反射出环境的一个或多个现实世界对象。在生成点云后,与计算机存储器耦合的处理器基于包括一个或多个聚类的点的密度来识别点云的一个或多个聚类。进而,处理器将一个或多个聚类映射到现有的CAD图。处理器随后使用映射到聚类的现有的CAD图来自动地更新环境的CAD模型。
该方法的实施例迭代识别、映射和更新从而更新一个或多个聚类的子成分。又一实施例将所识别的一个或多个聚类作为相应的库存储在计算机存储器内。根据实施例,映射一个或多个聚类包括将一个或多个聚类平坦化为相应的二维(2D)表示并且将相应的2D表示与现有2D CAD图比较以识别出一个或多个匹配的现有2D CAD图。
在实施例中,接收的信号是声信号和光信号中的至少一个。又一实施例还包括使用点云来更新环境的CAD模型以显示出一个或多个现实世界对象的空间变化。类似地,另一实施例使用点云来更新环境的CAD模型以显示出一个或多个现实世界对象的机械变化。可替代的实施例利用点云来进一步识别一个或多个现实世界对象的一种或多种材料。
本发明的另一实施例涉及用于更新表示环境的CAD模型的系统。该系统包括:发射器,其被配置为向环境的一个或多个对象发射信号;以及接收器,其被配置为接收反射所述一个或多个对象的信号。进一步,根据实施例,该系统包括数字处理模块,该数字处理模块与接收器通信地耦合并且包括计算机存储器和与计算机存储器通信地耦合的处理器。在该实施例中,处理器被配置为利用接收的信号来生成表示环境的一个或多个对象的点云。而且,该处理器被配置为基于包括一个或多个聚类的点的密度来识别点云的一个或多个聚类,将一个或多个聚类映射到现有的CAD图,以及利用现有的CAD图来自动地更新环境的CAD模型。
在又一实施例中,数字处理模块被进一步配置为迭代识别、映射和更新以更新一个或多个聚类的子成分。该系统的可替代实施例包括被配置为将所识别的一个或多个聚类作为相应的库存储在计算机存储器内的数据库。根据实施例,数字处理模块处理器被配置为通过将一个或多个聚类平坦化为相应的2D表示以及进而将相应的2D表示与现有2D CAD图比较来识别一个或多个匹配的现有2D CAD图来映射一个或多个聚类。
在示例性的系统实施例中,发射器发射声信号和光信号中的至少一个。根据又一实施例,数字处理模块处理器被进一步配置成利用点云来更新环境的CAD模型以显示出一个或多个现实世界对象的空间变化。系统的另一实施例包括数字处理模块处理器,其被配置为利用点云来更新环境的CAD模型以显示出一个或多个现实世界对象的机械变化。此外,在实施例中,数字处理模块处理器被配置为利用点云来识别一个或多个现实世界对象的一种或多种材料。
本发明的另一实施例涉及用于更新表示环境的CAD模型的云计算实现方式。该实施例涉及通过服务器执行的计算机程序产品,该服务器通过网络与一个或多个客户端通信,其中计算机程序产品包括计算机可读介质。在该实施例中,计算机可读介质包括程序指令,当通过处理器执行时,所述程序指令使处理器基于已经反射出环境的一个或多个现实世界对象的接收的信号来生成利用接收的信号表示环境的一个或多个对象的点云。此外,在该实施例中,当通过处理器执行时,所述程序指令进一步使处理器基于包括一个或多个聚类的点的密度来识别点云的一个或多个聚类,将一个或多个聚类映射到现有的CAD图,以及利用现有的CAD图自动更新环境的CAD模型。
附图说明
根据如附图所图示的本发明的示例性实施例的以下更特别的描述,前述内容将是显而易见的,在附图中相似的附图标记在不同视图中指代相同的部件。附图不一定是按比例绘制的,重点应放在示出本发明的示例的实施例上。
图1是根据实施例的更新CAD模型的方法的流程图。
图2是使用本发明的实施例的原理来更新CAD模型的过程流程图。
图3描绘了获得并处理数据以更新可由实施例使用的CAD模型的系统。
图4示出了对可以在示例性实施例中使用的数据进行比较的过程流。
图5描绘了可利用本发明的原理实现的数据存储的方法。
图6示出了可用在本发明的实施例中的点云中的密度变化。
图7是根据实施例来更新CAD模型的计算机系统的简化的框图。
图8是可以实现本发明的实施例的计算机网络环境的简化的示意图。
具体实施方式
本发明的示例性实施例的描述如下。
在本文中所引用的全部专利、公开的申请和参考文献的教导的全文通过引用方式合并于此。
本发明的实施例更新CAD模型。例如,本发明的原理可用于更新或创建处理设施的CAD模型,以及其它示例。实施例能够大幅地改善当前在设施/环境再设计、维护和操作中所使用的方法。过程和海底(即,油和气)设施,如工厂、生产设施和精炼厂,难以接近以及可视地拍摄。此外,这些环境复杂并且易于受如波、以及水腐蚀、工厂调整和动物或人类与机械设施的交互的环境影响而发生变化。这些区域位于经常是黑暗的区域(即,海底和外层空间)中,并且进一步,环境被稠密地设计,使得难以可视地进入以及查看这些设施的全部区域。
很多问题出现在不同的工业中,这些问题使得难以维护环境的精确的CAD模型。通常,因为这些设施非常大,所以当对设施进行微小的调整时,这些微小的调整仅反映在与用于设计设施的3D CAD应用不兼容的、较低成本的2D CAD中。此外,当在3D CAD中反映变化时,这些变化通常在不同于用来设计设施的原始CAD程序的3D CAD程序中执行。在这些方案中,在已经执行了几次变化后,原始3D CAD就作废了。此外,虽然通常处于难以接近的地方,但是设施经常处于以不可预期的频率改变设施的恶劣环境中。示例的位置包括水下、远离陆地、深水、地下和空间。
因为许多组织具有随时间而采集并创建的不同图形图像的组合,不同图形图像的组合得到了不易于映射的不同的2D、3D和视频文件格式的复杂的库,这进一步复杂化。期望将对设施计划所拍摄的图片映射成3D图或者将海底监视视频映射成2D图形或甚至是图片。该映射使得能够理解对设施的改变。在对这些改变一无所知的情况下,发生低效率,甚至会由于设施损坏、差的设计和构造或其它相关问题导致灾难性问题,而利用本发明的实施例可以优化、减轻或防止这些问题。
虽然比如激光扫描的方法存在,但是激光扫描不能提供设施的交互式视图。此外,对于微小的调整,激光扫描不能提供一种提供关于设施/环境的交互式数据的实际的解决方案。现有的方法要求将点云再设计成CAD模型。此外,甚至在CAD被再设计的方案中,不存在允许用户基于激光扫描来查看多个CAD或交互式CAD模型或如智能视频的类似观察方法的现有的解决方案。由于扫描的图像仅捕获可视信息,所以这些模型本质上不包含关于模型内的对象的元数据。当前,手动地完成识别,或者通过要求大量人类干预的简单映射解决方案来完成识别。本发明的实施例自学习以利用逻辑循环、迭代和消除过程来识别环境中的对象。
图1是能够用于克服在维护和更新复杂环境的CAD模型中出现的上述难题的、用于更新表示环境的CAD模型的方法100的流程图。该方法100开始于步骤101,在计算机存储器内生成表示环境的一个或多个对象的点云。在方法100的可替代的实施例中,构建多边形,而不是在步骤101中的点云,并且相应地在方法100中一直使用多边形。根据实施例,基于已经反射出环境的一个或多个对象的接收的信号来生成点云。因此,在该实施例中,对感兴趣的环境发射信号,并且这些信号进而反射出环境的一个或多个对象并且在步骤101中被接收和处理以生成环境/其中的对象的点云。考虑油处理设施的示例。在该示例中,可以将声信号发射到设施,这些声信号进而将反射出构成设施的各对象,如泵和管路部分。这些反射的信号则将在步骤101中被接收和处理而形成油处理设施的点云。在方法100的示例性实施例中,接收的信号是声信号和光信号中的至少之一,以及其它示例。根据实施例,在步骤101中生成的点云由通过包括一个或多个发射器和一个或多个接收器的3D激光扫描设备生成的数据点构成。激光扫描设备测量已经从现实世界中的对象表面反射的点。这些设备的数据输出是包括每个点的3D坐标信息的点云文件。
方法100在步骤102中继续,并且基于包括一个或多个聚类的点的密度来识别点云的一个或多个聚类。换言之,在步骤102中,在步骤101中生成的点云经过分析,并且特定的部分,即点云的聚类,基于那些部分中的点的密度而被识别出。根据方法100的实施例,基于包括表示对象的点的一个或多个聚类的点的密度集合来识别一个或多个聚类。在实施例中,基于由空间(例如,由于空间/空气导致的低密度区域或无密度区域)包围的较高点的密度区域或者基于具有不同密度的其它区域(例如,褶皱、角或边缘)来识别聚类。在实施例中,具有相似密度的点云的部分被识别为属于相应的对象并且被视为属于相应的聚类。例如,点云的第一部分可具有每平方英寸100个点的密度的点,并且点云的相邻部分可以具有每平方英寸200个点的密度的点。这些具有不同点的密度的部分可以视为属于相应的聚类。在实施例中,点的密度的变化可以用于识别对象和/或相应的聚类的边界,例如,当密度变化时那些点可以被视为不同的聚类。此外,在实施例中,环境的各个对象可各自由在步骤102中识别的相应的聚类来表示。例如,在用于再设计油处理工厂的方法100的实施例中,具有特定密度的点的第一聚类可以是表示泵的点,而具有其自身密度的点的第二聚类可以是表示与泵连接的管子的点。密度集合可能用来描述作为对象的聚类,或者其可用来区分两个对象,例如,在将阀门与毗邻的管子连接的两个法兰之间应当有变化。关于点云密度和聚类识别的进一步的细节将结合图6描述于下文中。
在步骤102中,方法100的实施例可以识别任意数量的聚类。因此,实施例可以识别例如对于环境中的每个对象的聚类,或者对于环境的一部分中的每个对象的聚类。在方法100的计算机实现的实施例中,在步骤102中识别聚类是通过与存储器耦合的处理器来执行的,在存储器内生成了步骤101中的点云。在步骤102中,方法100的可替代的实施例可以将所识别的聚类作为相应的库存储在计算机存储器内。根据实施例,下文结合图5来描述关于所述存储的进一步的细节。
继续,在步骤103中,一个或多个聚类映射到现有的CAD图。在实施例中,诸如聚类的空间特性的特性用来将聚类映射到相应的现有的CAD图,如2D CAD图和3D CAD图。方法100的实施例可以使用各种映射技术,包括3D到3D、3D到2D、3D到2D到3D,等等。为图示说明步骤103中的映射,考虑其中点的一个聚类表示泵的油处理设施的上述示例。在该示例中,所述聚类可以被分析而确定例如聚类的维度。这些维度随后可用来识别具有相同或相似维度的现有的CAD图。特定的CAD图匹配对应于泵的聚类的确定随后可以被存储,因而将聚类映射到现有的CAD图。
如本文所提到的,点云数据是非智能数据。因此,在步骤103的映射之前,并不知道聚类所表示的对象类型。在步骤103的映射因此识别环境的特定对象。当在步骤103中聚类未能映射到现有的CAD图时,方法100的可替代实施例存储指示。这可以向用户强调例如数据聚类需要探究。
在步骤103的映射中所使用的现有的CAD图可以是本领域已知的任何CAD图,如2DCAD图和3D CAD图。此外,在可替代的实施例中,聚类映射到视频数据、照相数据、多边形、等距图、直方图和闪存数据(即,包含能够用于定义或描述图形对象的标识或已知元信息的交互式的2D和3D图像)。根据方法100的实施例,在步骤103的映射包括:将一个或多个聚类平坦化为相应的2D表示,以及将相应的2D表示与现有2D CAD图比较来识别一个或多个匹配的现有2D CAD图。此外,方法100的实施例可使用在档案号为4201.1128-000的、Nelia GloriaMazula的相关素材“3D TO 2D REIMAGING FOR SEARCH(用于搜索的3D到2D再成像)”中所描述的原理来执行步骤103中的映射。在又一实施例中,现有的CAD图可以存储在与实现方法100的计算机系统通信地耦合的CAD图的数据库/库内。
在步骤103中将聚类映射到现有的CAD图之后,方法100自动地利用现有的CAD图在步骤104中更新环境的CAD模型。在该实施例中,存在环境的CAD模型,如在构建环境时所开发的CAD图。该CAD图随后在步骤104中更新以在其当前存在时反映环境。极常见的是,所建造的复杂的设施不同于所设计的设施,并且这些变化几乎没有捕获在CAD中。此外,如油处理设施的环境随时间而变化,进行调整,更换和移动对象,以及类似地,这些变化也没有反映在CAD中。因此,方法100的实施例提供了在该方案中自动更新CAD模型的方法,以及其它示例。根据实施例,在步骤104中更新环境的CAD模型显示出了环境的空间变化和机械变化。此外,在又一实施例中,可以更新CAD图以包含关于环境中的对象的一种或多种材料的信息。
此外,要注意的是,方法100的实施例不限于更新现有的CAD模型。如果不存在这些模型,则在步骤103中所执行的映射进而可用于生成环境的CAD模型。
方法100的实施例还包括:迭代识别、映射和更新以更新一个或多个聚类的子成分。在该示例性实施例中,在步骤102中所识别的聚类可进一步被处理以识别那些聚类的子聚类,其中子聚类对应于原始聚类的一个或多个子成分。例如,在对应于泵的聚类被识别的示例中,该聚类能够经进一步处理以便例如识别属于泵的手柄的子聚类。该子聚类随后可映射到现有的CAD图,并且响应于该映射而适当地更新CAD模型。在该示例中,迭代识别、映射和更新能够进一步改善环境的CAD模型的细节。
为图示说明,考虑表示泵的聚类被识别的第一迭代,聚类映射到泵的3D CAD图,并且利用所映射的泵的3D CAD图来适当地更新环境的CAD图。该聚类可经进一步处理以识别属于泵的子成分(即手柄)的聚类,并且该子聚类可以映射到不同于泵的先前映射的CAD图的手柄CAD模型。然后,进一步更新环境的CAD模型以随着在环境中存在手柄而包含关于手柄的信息。
进一步,在又一示例性实施例中,当之前映射失败时,在映射对象和更新CAD模型中可以使用迭代。考虑如下示例:由于点云质量,聚类不映射到任何现有的CAD图,并且该部分被指示为未知。随后可以对聚类执行方法步骤102-104以判定是否能够辨别任何其它信息。在该示例中,可以识别出属于特定组件的子聚类,例如,仅与特定阀门一起起作用的阀杆。利用该信息,原始聚类可以映射到阀门的3D CAD图。本发明的实施例能够使用本领域技术人员所能辨别的该逻辑或其它关系来完全地更新CAD模型。
如本文所提到的,本发明的实施例识别点云的群组,即聚类。根据实施例,这些群组可以基于没有对象的空间,即,对象组之间的密度变化。在实施例中,这些聚类然后可以被命名,并且可以创建点云组的库。例如,可以利用计算机程序指令来创建逻辑,以识别更复杂的对象,例如,组中的组。本发明的实施例还能够使用通过使用声波的人工学习来再设计CAD图以生成能够被分离成对象点云。点云组或对象的子成分可利用本文所描述的方法来识别以定义复杂形状。人工智能可用于编译并定义对象库。这些方法能够采集并定义库的对象并且能够进一步基于现有的对象库和公共可用或创建的信息来识别附加对象。实施例能够使用分析学或机器学习逻辑(如人工智能)来实现本文所述的各个实施例。
图2描绘了方法220,其能够使用本发明的原理来对例如化工处理厂的环境的数据赋予智能。方法200开始于步骤221,生成表示环境的点云。在实施例中,如本文所述通过执行环境的激光扫描或者通过使用声纳,在步骤221中生成点云。在步骤222中,基于点的密度来处理激光扫描数据以识别各个对象以及那些对象的子组件。例如,由相对低密度的点所包围的点云的稠密部分可被视为单个对象。属于该单个对象的点云数据可进而经进一步处理来识别该数据的具有变化的密度的部分,从而识别对象的子组件。接着,利用本文所描述的原理来执行识别过程223,如下文结合图4所描述的方法440。在实施例中,在步骤223a,点云数据相比于现有的2D数据被平坦化并且用于识别匹配的2D数据。在步骤223b中,匹配的数据用于利用更多的信息来更新点云数据,例如,对象类型、对象维度、对象材料等。过程223b可以利用所能发现的关于对象的任何信息来更新点云数据。因此,当在步骤223a中找到匹配的2D数据时,在步骤223b中,关于对象的任何属性的任何现有的匹配数据可归于对象的点云数据。步骤223b可以利用在步骤223a处所识别的现有数据来进一步更新环境的CAD模型。接着,在方法220的示例中,存在设施的原始3D模型/数据,在步骤224中,方法220评估环境变化并将环境变化与所设计的/建造的模型进行比较。换言之,现有识别的3D数据与设施的现有的3D数据进行比较以识别现有数据与当前存在的设施之间的区别。步骤224可以识别例如由于环境、动物或人交互所引起的空间移位,诸如装备227的横向移动。方法220还可以进一步在步骤225估计现在所识别的3D数据的密度数据以获得关于其它环境/机械变化的知识,如凹痕和腐蚀228。
方法220还可以包括反馈过程226以将进一步的细节添加到3D数据的知识中。虽然在图2中描绘为从步骤224发生,但在实施例中,反馈过程226可以从步骤223a、223b、224和/或步骤225来执行。重要的考虑是,已经识别出3D数据。一旦已经识别出3D数据,该知识能够用于进一步通知过程220。例如,如果点云的特定部分已经在步骤223b中被识别为表示阀门,则可以从数据库中得知,阀门包括阀杆。该信息能够例如在步骤222中用来进一步将阀门的点云数据划分成两个对象,阀体和阀杆。在可替代的实施例中,反馈过程226可以在步骤223a中的映射失败时发生。
方法220的实施例使得能够利用更自动化的能力将工厂设计工具、观察器、激光扫描技术和其它类似的基于图像的工程设计工具来更扩展地将智能赋予工厂激光扫描、声纳或类似的非智能图像。实施例因此减少了对手动干预的需要并且能够更精确地并且更高效地再设计3D数据。实施例解决了保持模型最新的问题,并且因此改善了例如设施工程设计决策。利用现有的方法,在2D或3D解决方案上以模块化方式执行更新,而不更新原始的较大的模型。例如,激光扫描提供了一种采集关于设施的最新数据的方式,但是激光扫描数据是不提供CAD模型的非智能数据。
本发明的实施例能够以迭代的方式用于识别关于例如声纳数据的数据的尽可能多的细节。此外,实施例能够被配置为识别特定的感兴趣的对象。例如,使用本发明的实施例,如方法220,能够识别出环境中的所有泵。如果例如方法220被执行而识别出环境中的所有泵,则很可能一些3D数据仍未被识别,其中例如激光扫描未能获得该对象的理想数据。然而,识别的过程还可以识别出设施的构成了例如向泵馈给的管路的对象。利用该知识,根据本文所描述的原理,可以对3D数据进行再处理,以利用管路数据将未知对象识别为泵。因此,管路知识能够用于推导出难以读取的数据必然是泵。利用该知识,再处理能够将未知数据更新为是泵。
前面的示例仅仅提供了能够用于从3D数据识别对象以及进一步更新环境的CAD模型的先进逻辑的一个示例说明。本发明的实施例可被配置为使用任何这样的逻辑/决策来通知处理。因此,实施例可被编程以利用任何标识线索/信息来帮助通知由本文所描述的方法实现的识别处理。
本发明的实施例的原理可用于识别所设计的环境和所存在的环境之间的环境变化。实施例可以识别由于环境、人和动物所引起的空间移位,如装备的横向移动。密度采集信息也可用于理解其它环境偏差,尤其是在基于声纳的扫描中的环境偏差,如腐蚀和凹痕。
现有的方法没有提供一种用于反映对环境的计划的调整的实用的解决方案。本发明的实施例允许用户避免将整个点云再设计成CAD。此外,实施例能够利于查看多个CAD模型和交互式的CAD模型,或者类似的视图,如智能视频,而不限于激光扫描数据。本发明的实施例,如方法220,允许用户保持模型最新,这改善了设施设计。
本发明的实施例可在更新CAD模型中使用任何适合的信号类型。例如,实施例可在再设计/更新CAD模型中使用声纳,即声音。图3描绘了根据实施例的用于获得能够用于更新CAD模型的数据的基于声纳的系统330。系统330包括声音发射器331,其能够向环境和/或对象333发射声波332a。声波332a从对象333反射出作为声波332b并且被接收到高灵敏度接收器334中。接收器334进而基于接收的信号332b来整理3D数据335(例如,点云或一个或多个图像)。在系统330的可替代的实施例中,接收器将接收的信号332b提供给进一步的处理设备(未示出)以整理点云(对象再成像)335。
对于难以接近的环境,声纳硬件(发射器331和接收器334)用于再创建图像335,类似于执行激光扫描。声波332a和332b用于捕获可视图像并且再创建环境333的数字图像。高灵敏度接收器,诸如接收器334,提供捕获了关于环境/对象333的密度采集和空间的大量信息的高质量点云。
在系统330的示例的使用中,声波332a从发射器331作为发射物发射到场景333。声波332b反射出场景333并且由接收器334捕获且用于创建场景333的点云335。利用高灵敏度接收器334允许系统330识别由于反射出不同材料的声波332b所得到的密度变化,以及捕获对象之间的小的空间。这些密度变化以及不同的密度随后能够用于确定环境中的对象及其位置,如本文所描述的。
图4描绘了利用本发明的原理来从对象的3D数据中识别对象的方法440。方法440从平坦化处理441开始,其中未识别的3D数据444被平坦化以生成2D数据445。平坦化处理441可以通过取3D数据444的单个视图的快照和/或通过从3D数据444中去除数据而使得其余数据仅属于原始3D数据444的2D部分来执行。比较和识别步骤442继续方法440。在比较和识别过程442中,未识别的2D数据445与已知的2D数据比较以找到匹配的2D数据446。该比较过程442可使用2D或照片图像数据的库和/或多个库。此外,在实施例中,利用共同的等距点来比较未知的2D数据和2D数据的库。在该实施例中,诸如2D数据446的匹配数据被识别,其中未知数据445和匹配数据446具有相似或相同的等距点。当比较和识别过程442识别出匹配的2D数据446时,现在识别未知的2D数据445。现在识别的2D数据445随后可用于再处理步骤443以更新先前未识别的3D数据444。
图5示出了根据实施例的识别和存储聚类即点云群组的过程550。过程550从点云开始并且在步骤551中基于包括聚类的点的密度来识别聚类并且这些聚类进而被提取以形成隔离的聚类。在过程550的实施例中,基于对象之间的密度集合的变化,在步骤551中识别点云群组。过程550继续并且在步骤552中形成聚类的组。这种组可以例如基于其中具有相似密度的聚类被分组的点的密度。此外,这些组可以被命名和/或组的库和包括组的聚类可以被创建。在实施例中,随后在步骤553中,组和聚类被存储在一个或多个数据库内,以便进一步处理,如本文所描述的。
过程550的可替代实施例使用适当配置的计算机程序产品来识别在步骤551中识别出的聚类的复杂对象。该实施例和过程550的实施例能够使用人工学习来编译和定义所能创建的各个聚类库。此外,实施例能够利用附加的逻辑来采集和定义对象库并且能够进一步基于现有的对象库来学习新的对象。
图6示出了可在实施例中用来将对象分组以用于映射或者能够用来区分点云中的不同对象的密度变化,即,密度集合/聚类。在实施例中,对象660如上所述被扫描,以形成点云661。在点云661中,能够看出在该情况下在多个边缘上的点662的聚类,当在2D观察器(例如,计算机)上观察时具有比作为平面上的点的视图的点663的集合更大量的点。虽然具有更大量的点662的聚类出现在点云661的边缘上,但是出现在褶皱上的聚类或点云中的其它类似的变化上的聚类将类似地包含更大量的点。在本发明的实施例中,密度变化用于识别可对应于对象或对象的组件的点的组。类似地,密度变化能够用于区分两个不同的对象。
图7是根据本发明的实施例的可用于更新表示环境的CAD模型的基于计算机的系统770的简化的框图。系统770包括总线773。总线773充当了系统770的各个组件之间的互连。与总线773连接的是输入/输出设备接口776,其用于将诸如键盘、鼠标、显示器、扬声器等各输入和输出设备与系统770连接。中央处理器(CPU)772连接到总线773并且提供用于计算机指令的执行。存储器775提供了用于实施计算机指令的数据的易失性存储。存储设备774提供了用于诸如操作系统(未示出)的软件指令的非易失性存储。系统770还包括用于与本领域已知的包括广域网(WAN)和局域网(LAN)在内的各种网络连接的网络接口771。
应当理解的是,本文所述的示例性实施例可以以多种不同的方式来实现。在一些实例中,本文所述的各种方法和机器可以各自由物理、虚拟或混合通用计算机(如计算机系统770)或者诸如计算机环境880的计算机网络环境来实现,如下文结合图8所描述的。计算机系统770可以变换成执行本文所描述的方法(例如,100和220)的机器,例如通过将软件指令装载到存储器775或非易失性存储设备774中以便由CPU 772执行。本领域普通技术人员应当进一步理解,系统770及其各个组件可以被配置为实施本文所述的本发明的任何实施例。进一步,系统770可以利用在内部或外部与系统770可操作地耦合的硬件、软件和固件模块的任意组合来实现本文所述的各个实施例。
图8示出了其中可以实现本发明的实施例的计算机网络环境880。在计算机网络环境880中,服务器881通过通信网络882与客户端883a-n链接。环境880可用来单独地或者与服务器881相结合地允许客户端883a-n执行本文所述的任意方法(例如,100)。
实施例或其方面可以通过硬件、固件或软件的形式来实现。如果用软件来实现,则软件可以存储在被配置为使处理器能够装载软件或其指令的子集的任何非暂态计算机可读介质上。处理器随后执行指令并且被配置为操作或者使装置以本文所述的方式来操作。
此外,固件、软件、例程或指令可以在本文描述为执行数据处理器的某些动作和/或功能。然而,应当意识到,本文所包含的这些描述仅为了方便并且这些动作事实上源自于计算设备、处理器、控制器或执行固件、软件、例程、指令等的其它设备。
应当理解的是,流程图、框图和网络图可以包括更多或更少的元件,可以不同地布置,或者可以不同地表示。但是,应进一步理解的是,某些实现可以规定示出了以特定方式实现的实施例的执行的框和网络图以及框和网络图的数量。
相应地,另外的实施例还可以实现在各种计算机体系结构、物理、虚拟、云计算机和/或其某种组合中,并且因此,本文所描述的数据处理器旨在仅为了示例的目的,不是作为实施例的限制。
虽然参考本发明的示例性实施例特别地显示和描述了本发明,但是本领域的技术人员将理解的是,可以在其中进行形式和细节上的各种改变,而不背离如随附权利要求所涵盖的本发明的范围。

Claims (20)

1.一种用于更新表示环境的计算机辅助设计(CAD)模型的计算机实现的方法,所述方法包括:
接收的信号是从所述环境的一个或多个现实世界对象反射的,基于所述接收的信号,在计算机存储器中生成表示所述环境的一个或多个对象的点云;
基于包括一个或多个聚类的点的密度来识别所述点云的所述一个或多个聚类,所述识别是通过与所述计算机存储器耦合的处理器来执行的;
通过所述处理器将所述一个或多个聚类映射到现有的CAD图;以及
通过所述处理器利用所述现有的CAD图来自动更新所述环境的CAD模型,所述环境的所述CAD模型被保持在计算机系统存储器内。
2.如权利要求1所述的方法,还包括:
迭代所述识别、映射和更新以更新所述一个或多个聚类的子成分。
3.如权利要求1所述的方法,还包括:
将识别出的一个或多个聚类作为相应的库存储在所述计算机存储器内。
4.如权利要求1所述的方法,其中,映射所述一个或多个聚类包括:
将所述一个或多个聚类平坦化为相应的二维(2D)表示;以及
将所述相应的2D表示与现有2D CAD图进行比较以识别一个或多个匹配的现有2D CAD图。
5.如权利要求1所述的方法,其中,所述接收的信号是如下中的至少一个:
声信号;以及
光信号。
6.如权利要求1所述的方法,还包括:
利用所述点云来更新所述环境的所述CAD模型以示出所述一个或多个现实世界对象的空间变化。
7.如权利要求1所述的方法,还包括:
利用所述点云来更新所述环境的所述CAD模型以示出所述一个或多个现实世界对象的机械变化。
8.如权利要求1所述的方法,还包括:
利用所述点云来识别所述一个或多个现实世界对象的一种或多种材料。
9.一种用于更新表示环境的计算机辅助设计(CAD)模型的系统,所述系统包括:
发射器,其被配置为将信号发射到环境的一个或多个对象;
接收器,其被配置为接收从所述一个或多个对象反射的信号;
数字处理模块,其与所述接收器通信地耦合,并且包括计算机存储器和与所述计算机存储器通信地耦合的处理器,所述处理器被配置为:
在所述计算机存储器中利用接收的信号来生成表示所述环境的一个或多个对象的点云;
基于包括一个或多个聚类的点的密度来识别所述点云的所述一个或多个聚类;
将所述一个或多个聚类映射到现有的CAD图;以及
利用所述现有的CAD图来自动更新所述环境的CAD模型,所述环境的所述CAD模型被保持在所述计算机存储器内。
10.如权利要求9所述的系统,其中,所述数字处理模块处理器还被配置为:
迭代所述识别、映射和更新以更新所述一个或多个聚类的子成分。
11.如权利要求9所述的系统,还包括:
数据库,其被配置为将所识别的一个或多个聚类作为相应的库存储在所述计算机存储器中。
12.如权利要求9所述的系统,其中,所述数字处理模块处理器被配置为通过如下来映射所述一个或多个聚类:
将所述一个或多个聚类平坦化为相应的二维(2D)表示;以及
将所述相应的2D表示与现有2D CAD图进行比较以识别一个或多个匹配的现有2D CAD图。
13.如权利要求9所述的系统,其中,所述发射器发射如下中的至少一个:
声信号;以及
光信号。
14.如权利要求9所述的系统,其中,所述数字处理模块处理器被进一步配置为:
利用所述点云来更新所述环境的CAD模型以示出所述一个或多个现实世界对象的空间变化。
15.如权利要求9所述的系统,其中,所述数字处理模块处理器被进一步配置为:
利用所述点云来更新所述环境的CAD模型以示出所述一个或多个现实世界对象的机械变化。
16.如权利要求9所述的系统,其中,所述数字处理模块处理器被进一步配置为:
利用所述点云来识别所述一个或多个现实世界对象的一种或多种材料。
17.一种用于更新表示环境的计算机辅助设计(CAD)模型的计算机程序产品,所述计算机程序产品由服务器执行,所述服务器通过网络与一个或多个客户端进行通信,并且包括:
计算机可读介质,所述计算机可读介质包括程序指令,当通过一个或多个处理器执行时,所述程序指令使所述一个或多个处理器用于:
接收的信号是从环境的一个或多个现实世界对象反射的,基于所述接收的信号,在与所述处理器耦合的计算机存储器中利用所述接收的信号来生成表示所述环境的一个或多个对象的点云;
基于包括一个或多个聚类的点的密度来识别所述点云的所述一个或多个聚类;
将所述一个或多个聚类映射到现有的CAD图;以及
利用所述现有的CAD图来自动更新所述环境的CAD模型,所述环境的CAD模型被保持在所述计算机存储器内。
18.如权利要求17所述的计算机程序产品,其中,所述程序指令还使所述一个或多个处理器用于:
迭代所述识别、映射和更新以更新所述一个或多个聚类的子成分。
19.如权利要求17所述的计算机程序产品,其中,所述程序指令还使所述一个或多个处理器用于:
将所识别的一个或多个聚类作为相应的库存储在所述计算机存储器内。
20.如权利要求17所述的计算机程序产品,其中,所述程序指令使所述一个或多个处理器通过如下来映射所述一个或多个聚类:
将所述一个或多个聚类平坦化为相应的二维(2D)表示;以及
将所述相应的2D表示与现有2D CAD图进行比较以识别一个或多个匹配的现有2D CAD图。
CN201611259943.1A 2015-12-30 2016-12-30 基于密度的图形映射 Pending CN107066664A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US14/983,878 US10049479B2 (en) 2015-12-30 2015-12-30 Density based graphical mapping
US14/983,878 2015-12-30
US14/984,765 US10127333B2 (en) 2015-12-30 2015-12-30 Embedded frequency based search and 3D graphical data processing
US14/984,412 US10360438B2 (en) 2015-12-30 2015-12-30 3D to 2D reimaging for search
US14/984,412 2015-12-30
US14/984,765 2015-12-30

Publications (1)

Publication Number Publication Date
CN107066664A true CN107066664A (zh) 2017-08-18

Family

ID=57629435

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201611262268.8A Pending CN107066924A (zh) 2015-12-30 2016-12-30 用于搜索的2d到3d重映像
CN201611262276.2A Pending CN107025324A (zh) 2015-12-30 2016-12-30 基于嵌入式频率的搜索和3d图形数据处理
CN201611259943.1A Pending CN107066664A (zh) 2015-12-30 2016-12-30 基于密度的图形映射

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201611262268.8A Pending CN107066924A (zh) 2015-12-30 2016-12-30 用于搜索的2d到3d重映像
CN201611262276.2A Pending CN107025324A (zh) 2015-12-30 2016-12-30 基于嵌入式频率的搜索和3d图形数据处理

Country Status (3)

Country Link
EP (3) EP3188050A1 (zh)
JP (3) JP6869023B2 (zh)
CN (3) CN107066924A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU100465B1 (en) 2017-10-05 2019-04-09 Applications Mobiles Overview Inc System and method for object recognition
JP7380341B2 (ja) 2020-03-06 2023-11-15 横河電機株式会社 図面管理装置、図面管理システム、図面管理方法、及びプログラム
JP7331738B2 (ja) 2020-03-06 2023-08-23 横河電機株式会社 図面管理装置、図面管理システム、図面管理方法、及びプログラム
WO2024004113A1 (ja) * 2022-06-30 2024-01-04 三菱電機株式会社 目標追尾装置、目標追尾方法、および目標追尾プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296383A (ja) * 2002-04-05 2003-10-17 Denso Corp 3次元モデリングシステム
JP4556873B2 (ja) * 2003-10-21 2010-10-06 日本電気株式会社 画像照合システム及び画像照合方法
WO2006097926A2 (en) * 2005-03-15 2006-09-21 Cognitens Ltd. Methods and systems for creating and altering cad models
WO2007044007A1 (en) * 2005-10-13 2007-04-19 Stratasys, Inc. Transactional method for building three-dimensional objects
US20090222446A1 (en) * 2008-03-03 2009-09-03 Emmanuel Goldschmidt Three-dimensional object identification through resonance frequencies analysis
DE102008034117A1 (de) * 2008-07-21 2010-02-04 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Herstellen eines Urformwerkzeugs
US8665263B2 (en) * 2008-08-29 2014-03-04 Mitsubishi Electric Corporation Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein
JP5615055B2 (ja) * 2010-06-18 2014-10-29 キヤノン株式会社 情報処理装置及びその処理方法
CN102375831B (zh) * 2010-08-13 2014-09-10 富士通株式会社 三维模型检索装置及其方法和模型库生成装置及其方法
US10182223B2 (en) * 2010-09-03 2019-01-15 California Institute Of Technology Three-dimensional imaging system
JP5969836B2 (ja) * 2012-06-26 2016-08-17 本田技研工業株式会社 モデル適用装置、モデル適用方法、及びプログラム
JP6094240B2 (ja) * 2013-02-06 2017-03-15 株式会社大林組 部材設置判定システム
JP6080642B2 (ja) * 2013-03-25 2017-02-15 株式会社ジオ技術研究所 3次元点群解析方法
US9530250B2 (en) * 2013-12-10 2016-12-27 Dassault Systemes Augmented reality updating of 3D CAD models
US9841277B2 (en) * 2014-03-27 2017-12-12 Knockout Concepts, Llc Graphical feedback during 3D scanning operations for obtaining optimal scan resolution

Also Published As

Publication number Publication date
JP2017134824A (ja) 2017-08-03
JP6906303B2 (ja) 2021-07-21
EP3188050A1 (en) 2017-07-05
CN107025324A (zh) 2017-08-08
EP3188049A1 (en) 2017-07-05
JP2017120633A (ja) 2017-07-06
CN107066924A (zh) 2017-08-18
JP6869023B2 (ja) 2021-05-12
JP2017120632A (ja) 2017-07-06
EP3188056A1 (en) 2017-07-05
JP6906304B2 (ja) 2021-07-21

Similar Documents

Publication Publication Date Title
Dimitrov et al. Segmentation of building point cloud models including detailed architectural/structural features and MEP systems
Herman et al. Incremental reconstruction of 3D scenes from multiple, complex images
CN110033513A (zh) 生成表示建筑的3d模型
CN111429563B (zh) 基于深度学习的管道三维重建方法、系统、介质及设备
CN110060255A (zh) 利用逐像素分类器来对2d平面图进行语义分割
CN107066664A (zh) 基于密度的图形映射
AU2011318247B2 (en) Method for large scale, non-reverting and distributed spatial estimation
Horn et al. Artificial intelligence, 3D documentation, and rock art—approaching and reflecting on the automation of identification and classification of rock art images
US20220067233A1 (en) Generating operational and realistic models of physical systems
US10049479B2 (en) Density based graphical mapping
Psarros et al. INFORMATION TECHNOLOGY AND ARCHAEOLOGICAL EXCAVATIONS: A BRIEF OVERVIEW.
Osadcha et al. Geometric parameter updating in digital twin of built assets: A systematic literature review
Schoor et al. VR based visualization and exploration of plant biological data
US20170193132A1 (en) Embedded Frequency Based Search and 3D Graphical Data Processing
Ruchay et al. Accuracy analysis of surface reconstruction from point clouds
Zhang et al. 3D reconstruction of weak feature indoor scenes based on hector SLAM and floorplan generation
Sahebdivani et al. Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings
Turkoglu et al. Incremental learning-based adaptive object recognition for mobile robots
Xiong Reconstructing and correcting 3d building models using roof topology graphs
Anjanappa Deep learning on 3D point clouds for safety-related asset management in buildings
Straka Introduction to Deep Learning
Styliadis et al. 3‐D computer modeling with intra‐component, geometric, quality and topological constraints
Ma et al. Automated scan-to-building information modeling
Taime et al. A new semantic segmentation approach of 3D mesh using the stereoscopic image colors
Ning et al. Structure reconstruction of indoor scene from terrestrial laser scanner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818

WD01 Invention patent application deemed withdrawn after publication