CN107066924A - 用于搜索的2d到3d重映像 - Google Patents
用于搜索的2d到3d重映像 Download PDFInfo
- Publication number
- CN107066924A CN107066924A CN201611262268.8A CN201611262268A CN107066924A CN 107066924 A CN107066924 A CN 107066924A CN 201611262268 A CN201611262268 A CN 201611262268A CN 107066924 A CN107066924 A CN 107066924A
- Authority
- CN
- China
- Prior art keywords
- data
- datas
- computer
- given
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 78
- 241001269238 Data Species 0.000 claims abstract description 42
- 241000894007 species Species 0.000 claims abstract 4
- 230000015654 memory Effects 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 238000012062 charged aerosol detection Methods 0.000 claims 7
- 238000001360 collision-induced dissociation Methods 0.000 claims 7
- 238000011960 computer-aided design Methods 0.000 claims 7
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 241000196324 Embryophyta Species 0.000 description 5
- 239000000126 substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229910001369 Brass Inorganic materials 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000010951 brass Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005255 carburizing Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/02—CAD in a network environment, e.g. collaborative CAD or distributed simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/20—Configuration CAD, e.g. designing by assembling or positioning modules selected from libraries of predesigned modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Structural Engineering (AREA)
- Architecture (AREA)
- Mathematical Physics (AREA)
- Civil Engineering (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
实施例提供了根据对象的三维数据识别对象的方法。这样的实施例获得对象的3D数据，并且继而，使3D数据平坦化以产生对象的2D数据。对象的所产生的2D数据然后与现有的2D数据的库进行比较，来识别匹配的2D对象数据。匹配的2D对象数据与对象相对应，并且作为比较的结果，由所获得的3D数据表示的对象被识别为具有匹配的2D对象的种类。这可以迭代地并且双向执行，来识别包含在3D环境中的未识别的对象。
Description
相关申请
本申请与2015年12月30日提交的、档案号为4201.1128-000、申请号为14/984,412的Nelia Gloria Mazula的“3D TO 2D REIMAGING FOR SEARCH(用于搜索的3D到2D再成像)”相关。同样，该申请与2015年12月30日提交的、档案号为4201.1127-000、申请号为14/983,878的Nelia Gloria Mazula的“DENSITY BASED GRAPHICAL MAPPING(基于密度的图形映射)”相关，以及与2015年12月30日提交的、档案号为4201.1131-000、申请号为14/984,765的Nelia Gloria Mazula的“EMBEDDED FREQUENCY BASED SEARCH AND 3D GRAPHICALDATA PROCESSING(基于嵌入频率的搜索和3D图形数据处理)”相关。上述申请的全部教导通过引用方式合并于此。
背景技术
实施例概括而言涉及计算机程序和系统领域，并且具体地涉及计算机辅助设计(CAD)、计算机辅助工程和建模领域。
在市场上提供了多个用于零件或零件组件的设计的系统和程序。这些所谓的CAD系统允许用户构建和操纵对象和对象的组件的复杂三维模型。CAD系统因此利用边或线在一些情况下，利用面提供了对建模的对象的表示。线、边、面或多边形可以多种方式来表示，例如，非均匀有理基样条(NURBS)。
这些CAD系统管理建模对象的零件或零件的组件，这主要是几何形状的规范。特别地，CAD文件包含规范，根据所述规范来生成几何形状。根据几何形状，生成表示。规范、几何形状和表示可以存储在单个CAD文件或多个CAD文件中。CAD系统包括用于向设计者表示建模对象的图形工具；这些工具专用于复杂对象的显示。例如，组件可能包含数千零件。CAD系统能够用于管理对象的模型，这些对象的模型存储在电子文件中。
发明内容
存在大量的模型，例如，CAD模型，数据存在其中。然而，为了取得重新使用现有数据的有利效益，需要用于识别和搜索这样的数据的有效方法。本发明的实施例提供了用于根据对象的三维(3D)数据来识别对象的系统和方法。本发明的实施例可以用于各种应用中，例如，设施和对象再设计以及维护。
本发明的实施例通过在计算机存储器中获得给定对象的3D数据而开始。继而，该3D数据通过连接到存储器的处理器被平坦化，以产生给定对象的二维(2D)数据。给定对象的所产生的2D数据然后与现有的2D对象数据的库进行比较以识别匹配的2D对象数据。在这样的实施例中，2D对象数据与相应的特定现实世界对象相对应。作为比较的结果，给定对象被识别为特定种类型的特定现实世界对象。在本方法的实施例中，响应于识别匹配的2D对象数据，所获得的3D数据是使用匹配的2D对象数据来进行更新的。根据实施例，所述更新可以包括更新对象类型和/或对象材料。
本发明的实施例可以利用包括本领域中公知的任何类型的2D对象数据的库。在实施例中，2D对象数据是照片、视频、以及2D CAD对象中的至少一个。类似地，实施例可以获得本领域中公知的任何类型的3D数据，包括3D CAD模型数据和点云数据。根据实施例，给定对象的所产生的2D数据表示给定对象的面。方法的可替换的实施例还包括通过使已知的3D数据平坦化来创建2D对象数据的库。另外，在另一个实施例中，针对环境中的多个对象来迭代上述获得、平坦化、比较以及识别，并且比较考虑环境中的多个对象。
本发明的另一个实施例针对用于根据3D数据来识别对象的计算机系统。这样的计算机系统包括处理器以及具有存储于其上的计算机代码指令的存储器，其中所述处理器和具有计算机代码指令的存储器被配置为使系统实现本文所描述的各个实施例。在一个这样的实施例中，处理器和具有计算机代码指令的存储器被配置为使系统在存储器中获得给定对象的3D数据，并且继而使给定对象的3D数据平坦化，来产生给定对象的2D数据。此外，在这样的实施例中，处理器和具有计算机代码指令的存储器还使所述系统将给定对象的所产生的2D数据与现有2D对象数据的库进行比较，来识别匹配的2D对象数据，其中，匹配的2D对象数据与相应的特定现实世界对象相对应。根据计算机系统实施例，所述库被保持在计算机系统存储器中。此外，在实施例中，作为比较的结果，计算机系统识别给定对象，即，针对其获得3D数据、作为特定种类的现实世界对象的对象。
在可替换的计算机系统实施例中，处理器和具有计算机代码指令的存储器还被配置为使系统使用匹配的2D对象数据来更新给定对象的获得的3D数据。在实施例中，匹配的2D对象数据包括对象类型和对象材料中的至少一个。此外，根据实施例，2D对象数据是照片、视频、以及2D CAD对象中的至少一个。另外，在示例计算机系统实施例中，给定对象的3D数据是3D CAD模型和点云中的至少一个。此外，根据另一实施例，给定对象的所产生的2D数据表示给定对象的面。
在另一示例实施例中，处理器和具有计算机代码指令的存储器还别配置为使系统通过使已知的3D数据平坦化来创建2D对象数据的库。计算机系统的另一实施例被配置为针对环境中的多个对象来迭代上述获得、平坦化、比较以及识别，并且在这样的实施例中，比较考虑环境中的多个对象。
本发明的另一实施例涉及用于根据对象的3D数据来识别对象的云计算实现方式。该实施例涉及通过服务器执行的计算机程序产品，该服务器通过网络与一个或多个客户端通信，其中计算机程序产品包括计算机可读介质。在该实施例中，计算机可读介质包括程序指令，当通过处理器执行时，所述程序指令使处理器在计算机存储器中获得给定对象的3D数据，并且使所述给定对象的3D数据平坦化来产生给定对象的2D数据。此外，在该实施例中，当通过处理器执行时，所述程序指令进一步使处理器比较给定对象的所产生的2D数据与现有2D对象数据的库，来识别匹配的2D对象数据，并且作为比较的结果，将给定对象识别为特定种类的现实世界对象。
附图说明
根据如附图所图示的本发明的示例性实施例的以下更特别的描述，前述内容将是显而易见的，在附图中相似的附图标记在不同视图中指代相同的部件。附图不一定是按比例绘制的，重点应放在示出本发明的示例的实施例上。
图1是根据示例实施例的用于识别对象的方法的流程图。
图2是描绘了对可以在实施例中使用的数据进行比较的过程流。
图3是使用本发明的实施例的原理来更新模型的方法的过程流图。
图4是根据实施例的用于根据对象的3D数据来识别对象的计算机系统的简化的框图。
图5是可以在其中实现本发明的实施例的计算机网络环境的简化的图。
具体实施方式
本发明的示例性实施例的描述如下。
在本文中所引用的全部专利、公开的申请和参考文献的教导的全文通过引用方式合并于此。
如本文所指出的，本发明的实施例提供了根据对象的3D数据来搜索并且识别对象的方法。当前的方法搜索是从3D到3D或者从2D到2D的。例如，如果对象是3D的，那么对象的元数据和/或维度信息用于映射并且搜索其他类似的对象。由此，如果查看泵对象(例如，在3D CAD中)，则对象特性用于找到匹配的项目。这在2D世界中也能够完成。一个示例是人脸识别，其中唯一的面部比例用于匹配“未知的”人的图片与该人已经在之前被识别的现有图片。然而，这样的方法不能够有助于使用2D信息的库来识别/搜索3D数据。例如，如果在2D图像的数据库中搜索泵的3D CAD图像，则不能够将泵的3D特性与现有的2D特性进行匹配。该能力，即使用2D数据来识别对象的3D数据将是非常有用的。例如，可以使用诸如，激光扫描、视频、图片、或者甚至声呐以及其他示例之类的非智能图像信息，这样的方法可以在重新创建复杂以及未知的环境的CAD模型中使用，如档案号为4201.1127-000的Nelia GloriaMazula的“DENSITY BASED GRAPHICAL MAPPING(基于密度的图形映射)”中所描述的，其全部内容以引用的方式被并入本文。
当前方法不提供用于利用全面的2D到2D搜索以及3D到3D搜索特性来快速地从3D到2D进行搜索以用于在现有数据库中识别对象的方法。更特别地，当前方法使用距离比率以及用于映射对象的其他类似的特性(例如，面部识别)最好的情况下被限制为2D到2D比较/搜索。不存在能够对对象的3D数据执行特性评估来在现有的2D对象数据当中进行搜索的搜索/识别方法，反之亦然。
当前方法也通过文件格式而被限制，因为通常文件格式是不能够由全部搜索引擎可读的。例如，如果想要通过搜索2D数据来识别3D对象，并且3D对象是以CATIA格式被创建的，那么搜索引擎，即，实施对2D数据的库进行搜索的搜索引擎可能不能够打开3D数据文件，而只有打开3D数据文件，该3D数据文件才可以在搜索2D数据库中进行处理和使用。例如，2D搜索引擎将需要自动地捕获3D对象的快照，即获取3D对象的视图，并且运行搜索。这种类型的方法当前是不可用的。这样的功能可以用在各个场景中。例如，这样的搜索可以与大型复杂环境(例如，需要重新设计的化工厂)的激光扫描、声呐扫描、或者甚至视频图像(特别是3D)一起使用，例如，更新工厂的CAD模型。例如，激光扫描不是智能的，即，泵的激光扫描数据不具有实际上将数据识别为与泵相对应的信息。利用这样的数据，3D-2D-3D搜索协议将对于将智能构建到环境中是有价值的，例如，识别所有泵、所有泵类型、以及特别的泵。
用于根据对象的3D数据来识别对象的当前解决方案对于大量的数据(例如，在重映像复杂环境中生成的数据)是不可缩放的。这样的大规模数据集的示例是激光扫描的化工厂或者海底设施。在这些示例中，通常具有不能反映实际存在的环境的实际装配的绘图。在这些场景中，激光扫描、视频、或者声呐可以对未知的环境进行操作，并且使用本发明的实施例，例如，可以增强这些非智能的数据类型。激光扫描本质上是非智能的，它不能具有任何识别元数据，它仅仅是图像(例如，泵的激光扫描数据不知道它是泵)。仅仅存在有限的现有方法来将智能/特性/元信息附着到对象的激光扫描数据。典型地，人工地或者使用3D到3D映射来赋予特性。而3D到3D映射不能帮助将元数据赋予给非智能信息，不存在现有的方法利用2D图像的数据(即，图片或者图)来进一步改进3D数据的特性信息。因为环境数据(即，声呐扫描数据)不具有任何智能性，它不提供可以用于对3D数据进行特性化的任何其他元信息。例如，激光扫描数据不具有关于被扫描的材料的可以用于识别对象的信息。在实施例中，本发明的原理可以用于将3D数据平坦化，来产生2D数据从而能够实现2D到2D特性搜索。继而，利用2D到2D比较找到的任何识别的数据可以用于更新3D数据的元数据。
图1是用于根据对象的3D数据来识别对象的方法100的流程图。方法100开始于在步骤101处，在计算机存储器中获得给定对象的3D数据。3D数据可以是本领域中已知的任何这样的3D数据，例如，有限元模型、3D CAD模型、点云、激光扫描数据、以及声呐数据，以及其他示例。此外，数据可以通过本领域已知的任何手段来获得，例如，经由广域网(WAN)或者局域网(LAN)。在实施例中，方法100通过计算设备实现，并且在这样的实施例中，对象的3D数据在步骤101处从通信地耦合到计算设备的任何点来获得。此外，在实施例中，对象的数据从多个点获得。
在步骤101处获得数据之后，方法100继续，并且3D数据被平坦化以在步骤102处产生给定对象的2D数据。在实施例中，3D数据在步骤102处，通过拍摄3D数据的视图的快照而被平坦化。例如，在这样的实施例中，所产生的2D数据表示对象的面。根据方法100的实施例，仅3D数据的一部分被平坦化，例如，仅3D数据的两个视图可以用于在步骤102处产生2D数据。在另一实施例中，所有3D数据或者3D数据的一个或多个部分可以被平坦化。根据实施例，3D数据在步骤102处使用从3D数据提取的点而被平坦化。使用快照或者向量追踪方法来使数据平坦化。所得到的对象/数据的2D“平坦的”视图可以与其他2D图像或者图形文件进行比较，如本文所描述的。
方法100通过比较所产生的2D数据与现有2D对象数据的库来识别匹配的2D对象数据，而继续在步骤103处。在这样的实施例中，匹配的2D对象数据与相应的对象相对应。在实施例中，对象可以是本领域中已知的任何对象，例如，现实世界对象。例如，3D数据可以来自油处理工厂的激光扫描，并且表示泵的数据的单个部分可以被提取、并且平坦化或者转换为2D视图，如本文所描述的。所提取的泵数据可以在步骤103处与其他2D数据进行比较，以识别包括该对象是泵的基本信息，或者它可以用于识别包括泵类型、维度以及材料的更全面的元数据。应当注意的是，本发明的实施例不被限制，并且对象可以不是现实世界对象。例如，方法100的实施例可以用于识别来自视频游戏的3D数据，并且在这样的实施例中，库中的2D可以与来自视频游戏的对象相对应。根据实施例，库中的2D对象数据可以是本领域中已知的任何2D对象数据。例如，2D数据可以包括照片、视频、和/或2D CAD对象以及其他示例。在步骤103处执行的对象可以在识别匹配的2D对象数据中考虑2D数据的任何参数。例如，比较可以比较2D数据的维度来识别库中具有相同或者相似维度和/或特性的任何对象。
根据方法100的实施例，现有2D对象数据的库被存储在实现方法100的计算设备上。然而，本发明的实施例不被这样限制，并且在实施例中，库可以被存储在与实现方法100的计算设备通信地耦合的任何点处。此外，在实施例中，库被分布在多个存储设备上，并且多个设备在步骤103处的执行比较中使用。方法100的一个示例实施例还包括创建2D对象数据的库。在这样的实施例中，通过平坦化已知对象的3D数据来创建库。例如，如果存在具有识别例如表示3D CAD模型的对象的类型的填充的元数据，则方法100的实施例可以使该数据平坦化，并且利用平坦化的数据来填充2D数据的库。
继续，作为在步骤103处的比较的结果，方法100在步骤104处将给定对象识别为具有特定种类型的特定现实世界对象。由此，方法100在步骤101处开始于给定对象的未识别的或者部分识别的3D数据，在步骤102处，处理该数据以产生给定对象的2D数据，并且在步骤103处比较所产生的2D数据与现有2D数据的库，以在步骤104处最终识别给定对象。在实施例中，方法100使用匹配的2D数据来更新所获得的3D数据。例如，如果匹配的2D数据指示对象类型和对象材料，则利用这样的属性来更新在步骤101处获得的3D数据。
方法100的实施例可以实现复杂的双向2D到3D到2D映射算法，来识别环境的对象。例如，考虑如下的实施例，其中，3D数据是表示油处理环境的3D数据，并且该数据包括特定类型的离心泵的独特的进口法兰。在这样的实施例中，泵的“平坦化”的视图可以被生成，并且用于识别该法兰。这样元数据特性，即，对象类型，可以被分配给该2D平坦化的数据，并且随后被分配给原始3D环境中的对象。算法可以被迭代来进一步使用法兰信息来识别环境中的对象，例如，以识别父分组，在如上情况中，是泵所属于的特定的离心泵。2D到3D到2D的逆序可以被完成来选择、隔离、以及识别应当被赋予泵的3D数据中的剩余的对象。该双向的以及迭代的过程可以针对所有的3D数据(例如，整个点云)来执行，直到3D数据中的所有或者大部分对象都被使用已知的信息进行特性化。
示例特性类似于纹理和颜色还可以用于帮助在方法100的实施例中执行的比较。在方法100的实施例中，平坦化的数据的材料或者颜色可以通过分析数据来进行识别。例如，通过检测数据中的突起，可以推断出对象是由渗碳钢材料制成的。类似地，可以分析数据来确定对象的颜色。信息(例如，材料和颜色)可以用于帮助对象的映射。
方法100的另一个实施例迭代针对环境中的多个对象的获得、平坦化、比较、以及识别。此外，在实施例中，用于整个环境的数据可以一次性获得，并且被处理来识别例如属于特定对象的数据的部分。该数据然后可以根据本文所描述的步骤102-104来进行处理。此外，在存在多个对象的实施例中，在步骤103处的比较可以考虑多个对象。换句话说，针对给定对象的比较可以由数据中的已经识别出的多个其他对象来进行通知。在示例中，所获得的3D数据包含两个对象，并且第一对象被识别为阀门。继而，因为实施例可以被编程来应用合适的逻辑规则，所以可以知道，阀门通常导向管路。由此，在步骤103处的比较首先可以比较所获得的数据与库中现有的管路数据。
为了进一步示出方法100，在下文中，在化工处理工厂的上下文中描述示例。在这样的示例中，化工处理工厂被激光扫描以产生对象的点云(对象是泵，但是因为激光扫描点云是非智能数据，因此，不存在相关联的元数据来将点云识别为泵)。该激光扫描数据在步骤101处被获得，并且继而，在步骤102处被平坦化以产生泵的2D数据(泵在该点处未被识别)。在步骤103处，平坦化的数据与2D数据的库进行比较，并且在这个比较中，匹配平坦化数据的2D数据在步骤103处被找到。此外，所识别出的匹配的2D数据具有例如指示对象是由ACME制作的，并且由黄铜构成的泵相关联的元数据。继而，在步骤104处，由原始获得的3D数据所表示的对象现在被识别为由ACME制作的，并且由黄铜构成的泵。
图2描绘了使用本发明的原理根据对象的3D数据来识别对象的方法220。方法220开始于平坦化过程221，其中，未识别的3D数据224被平坦化，以产生2D数据225。可以通过对3D数据224的单个视图进行拍快照或者通过从3D数据224中移除数据使得剩余的数据仅属于原始3D数据224的2D部分来执行平坦化过程221。平坦化还可以通过对3D数据进行向量追踪并且将向量文件转换为2D视图来完成。比较和识别过程222使方法220继续。在比较和识别过程222中，未识别的2D数据225与已知的2D数据进行比较以找到匹配的2D数据226。比较过程222可以利用2D或者照片图像数据的库和/或多个库。此外，在实施例中，未知的2D数据和2D数据的库是使用公共等距离点来进行比较的。在这样的实施例中，匹配数据，例如，2D数据226被识别，其中，未知的数据225和匹配的数据226具有类似的或者相同的等距点。当比较和识别过程222识别匹配的2D数据226时，未知的2D数据225现在被识别。现在识别的2D数据225然后可以用于重新处理步骤223来更新先前未被识别的3D数据224。
图3描绘了方法330，其能够使用本发明的原理来对例如化工处理厂的对象的激光扫描赋予智能。方法330开始于步骤331，对对象(例如，油处理厂)进行激光扫描。在步骤332中，基于点密度来处理激光扫描数据以识别各个对象以及那些对象的子组件。例如，由相对低密度的点所包围的点云的稠密部分可被视为对象。属于该对象的点云数据可进而经进一步处理来识别该数据的具有变化的密度的部分，从而识别对象的子组件。接着，根据本文所描述的原理来执行识别过程333。换句话说，在步骤333通过在步骤333a处，使3D数据平坦化，比较平坦化的2D数据与已知的2D数据，并且识别匹配的2D数据来识别点云数据。在步骤333b中，匹配的数据用于利用更多的信息来更新点云数据，例如，对象类型、对象维度、对象材料等。在步骤333b处，点云数据可以利用所能发现的关于对象的任何信息来更新点云数据。因此，当在步骤333a中找到匹配的2D数据时，在步骤333b中，关于对象的任何属性的任何现有的匹配数据可归于对象的点云数据。接着，在方法330的示例中，存在设施的原始3D模型/数据，在步骤334中，方法330评估环境变化并将环境变化与所设计的/建造的模型进行比较。换言之，现有识别的3D数据与设施的现有的3D数据进行比较以识别现有数据与当前存在的设施之间的区别。过程334可以识别例如由于环境、动物或人交互所引起的空间移位，诸如装备227的横向移动。方法220还可以进一步在步骤335估计现在所识别的3D数据的密度数据以获得关于其它环境/机械变化的知识，如凹痕和腐蚀338。
方法330还可以包括反馈过程336以将进一步的细节添加到3D数据的知识中。虽然在图3中描绘为从步骤334发生，但在实施例中，反馈过程336可以从步骤333a、333b、334和/或步骤335来执行。重要的考虑是，已经识别出3D数据。一旦已经识别出3D数据，则该知识能够用于进一步通知过程。用于示出，如果点云的特定部分已经在步骤333b中被识别为属于阀门，则可以从数据库中得知，阀门包括阀杆，该信息能够例如在步骤332中用来进一步将阀门的点云数据划分成两个对象，阀体和阀杆。
方法330的实施例使得能够利用更自动化的能力将工厂设计工具、观察器、激光扫描技术和其它类似的基于图像的工程设计工具来更扩展地将智能赋予工厂激光扫描、声纳或类似的非智能图像，实施例因此减少了对手动干预的需要。总之，实施例提高了3D数据的再设计的质量。实施例解决了保持模型最新的问题，并且因此改善了例如设施工程设计决策。利用现有的方法，在2D或3D解决方案上以模块化方式执行更新，而不更新原始的较大的模型。例如，激光扫描提供了一种采集关于设施的最新数据的方式，但是激光扫描数据是不提供解决问题的CAD解决方案的非智能数据。
本发明的实施例能够以迭代的方式用于识别关于激光扫描数据的尽可能多的细节。此外，实施例能够被配置为识别特定的感兴趣的对象。考虑其中用户先要识别设施中的每一个泵的制造商和位置的示例。例如，使用本发明的实施例，如方法330，能够识别出泵。这很可能一些3D数据仍未被识别，其中组件例如泵已经被定制化，或者数据很难读取，即激光扫描未能获得该对象的理想数据。然而，识别的过程还可以识别出设施的构成了例如向泵馈给的管路的对象。利用该知识，根据本文所描述的原理，可以对3D数据进行再处理，以利用例如管路数据将未知对象识别为泵。因此，管路知识能够将未知的数据更新为泵，并且进一步利用该知识，识别组件的更多特性。
前面的示例仅仅提供了利用本发明的实施例能够用于从3D数据识别对象的先进逻辑的一个示例说明。本发明的实施例可被配置为使用任何这样的逻辑/决策来通知处理。因此，实施例可被编程以利用任何标识线索/信息来帮助通知由本文所描述的方法实现的识别处理。
图4是根据本发明的实施例的可用于根据对象的3D数据来识别对象的基于计算机的系统440的简化的框图。系统440包括总线443。总线443充当了系统440的各个组件之间的互连。与总线443连接的是输入/输出设备接口446，其用于将诸如键盘、鼠标、显示器、扬声器等各输入和输出设备与系统440连接。中央处理器(CPU)442连接到总线443并且提供用于计算机指令的执行。存储器445提供了用于实施计算机指令的数据的易失性存储。存储设备444提供了用于诸如操作系统(未示出)的软件指令的非易失性存储。系统440还包括用于与本领域已知的包括广域网(WAN)和局域网(LAN)在内的各种网络连接的网络接口441。
应当理解的是，本文所述的示例性实施例可以以多种不同的方式来实现。在一些实例中，本文所述的各种方法和机器可以各自由物理、虚拟或混合通用计算机(如计算机系统440)或者诸如计算机环境880的计算机网络环境来实现，如下文结合图5所描述的。计算机系统440可以变换成执行本文所描述的方法(例如，100和330)的机器，例如通过将软件指令装载到存储器445或非易失性存储设备444中以便由CPU 442执行。本领域普通技术人员应当进一步理解，系统440及其各个组件可以被配置为实施本文所述的本发明的任何实施例。进一步，系统440可以利用在内部或外部与系统440可操作地耦合的硬件、软件和固件模块的任意组合来实现本文所述的各个实施例。
图5示出了其中可以实现本发明的实施例的计算机网络环境550。在计算机网络环境550中，服务器551通过通信网络552与客户端553a-n链接。环境550可用来单独地或者与服务器551相结合地允许客户端553a-n执行本文所述的任意方法(例如，100)。
实施例或其方面可以通过硬件、固件或软件的形式来实现。如果用软件来实现，则软件可以存储在被配置为使处理器能够装载软件或其指令的子集的任何非暂态计算机可读介质上。处理器随后执行指令并且被配置为操作或者使装置以本文所述的方式来操作。
此外，固件、软件、例程或指令可以在本文描述为执行数据处理器的特定些动作和/或功能。然而，应当意识到，本文所包含的这些描述仅为了方便并且这些动作事实上源自于计算设备、处理器、控制器或执行固件、软件、例程、指令等的其它设备。
应当理解的是，流程图、框图和网络图可以包括更多或更少的元件，可以不同地布置，或者可以不同地表示。但是，应进一步理解的是，特定些实现可以规定示出了以特定方式实现的实施例的执行的框和网络图以及框和网络图的数量。
相应地，另外的实施例还可以实现在各种计算机体系结构、物理、虚拟、云计算机和/或其特定种组合中，并且因此，本文所描述的数据处理器旨在仅为了示例的目的，不是作为实施例的限制。
虽然参考本发明的示例性实施例特别地显示和描述了本发明，但是本领域的技术人员将理解的是，可以在其中进行形式和细节上的各种改变，而不背离如随附权利要求所涵盖的本发明的范围。
Claims (20)
1.一种根据对象的三维(3D)数据来识别所述对象的计算机实现的方法，所述方法包括：
在计算机存储器中获得给定对象的3D数据；
通过连接到所述计算机存储器的处理器来使所述给定对象的3D数据平坦化，来产生所述给定对象的二维(2D)数据；
将所述给定对象的所产生的2D数据与现有2D对象数据的库进行比较，来识别匹配的2D对象数据，所述库被保持在所述计算机存储器中，并且所述匹配的2D对象数据与相应的特定现实世界对象相对应；以及
作为比较的结果，将所述给定对象识别为具有所述特定现实世界对象的种类。
2.如权利要求1所述的方法，还包括：
响应于识别出匹配的2D对象数据，使用所述匹配的2D对象数据来更新所述给定对象的所获得的3D数据。
3.如权利要求2所述的方法，其中，更新所获得的3D数据包括更新以下中的至少一项：
对象类型；以及
对象材料。
4.如权利要求1所述的方法，其中，所述现有2D对象数据是以下中的至少一项：
照片；
视频；以及
2D计算机辅助设计(CAD)对象。
5.如权利要求1所述的方法，其中，所述给定对象的所获得的3D数据是以下中的至少一项：
3D CAD模型；以及
点云。
6.如权利要求1所述的方法，其中，所述给定对象的所产生的2D数据表示所述给定对象的面。
7.如权利要求1所述的方法，还包括：
通过使已知3D数据平坦化来创建2D对象数据的库。
8.如权利要求1所述的方法，还包括：
针对环境中的多个对象来迭代获得、平坦化、比较以及识别，其中，所述比较考虑所述环境中的所述多个对象。
9.一种用于根据对象的三维(3D)数据来识别所述对象的计算机系统，所述计算机系统包括：
处理器；以及
具有存储于其上的计算机代码指令的存储器，所述处理器和具有所述计算机代码指令的所述存储器被配置为使得所述系统用于：
在所述存储器中获得给定对象的3D数据；
将所述给定对象的3D数据平坦化，来产生所述给定对象的二维(2D)数据；
将所述给定对象的所产生的2D数据与现有2D对象数据的库进行比较，来识别匹配的2D对象数据，所述库被保持在计算机系统存储器中，并且所述匹配的2D对象数据与相应的特定现实世界对象相对应；以及
作为比较的结果，将所述给定对象识别为具有所述特定现实世界对象的种类。
10.如权利要求9所述的系统，其中，所述处理器和具有所述计算机代码指令的所述存储器进一步被配置为使得所述系统用于：
响应于识别出匹配的2D对象数据，使用所述匹配的2D对象数据来更新所述给定对象的所获得的3D数据。
11.如权利要求10所述的系统，其中，所述匹配的2D对象数据包括以下中的至少一项：
对象类型；以及
对象材料。
12.如权利要求9所述的系统，其中，所述现有2D对象数据是以下中的至少一项：
照片；
视频；以及
2D计算机辅助设计(CAD)对象。
13.如权利要求9所述的系统，其中，所述给定对象的所获得的3D数据是以下中的至少一项：
3D CAD模型；以及
点云。
14.如权利要求9所述的系统，其中，所述给定对象的所产生的2D数据表示所述给定对象的面。
15.如权利要求9所述的系统，其中，所述处理器和具有所述计算机代码指令的所述存储器进一步被配置为使得所述系统用于：
通过使已知3D数据平坦化来创建2D对象数据的库。
16.如权利要求9所述的系统，其中，所述处理器和具有所述计算机代码指令的所述存储器进一步被配置为使得所述系统用于：
针对环境中的多个对象来迭代获得、平坦化、比较以及识别，其中，所述比较考虑所述环境中的所述多个对象。
17.一种用于根据对象的三维(3D)数据来识别所述对象的计算机程序产品，所述计算机程序产品由服务器执行，所述服务器通过网络与一个或多个客户端进行通信，并且包括：
计算机可读介质，所述计算机可读介质包括程序指令，当由处理器执行时，所述程序指令使所述处理器用于：
在计算机存储器中获得给定对象的3D数据；
使所述给定对象的3D数据平坦化，来产生所述给定对象的二维(2D)数据；
将所述给定对象的所产生的2D数据与现有2D对象数据的库进行比较，来识别匹配的2D对象数据；以及
作为所述比较的结果，将所述给定对象识别为具有所述特定现实世界对象的种类。
18.如权利要求17所述的计算机程序产品，其中，所述计算机可读介质包括程序指令，当由处理器执行时，所述程序指令进一步使所述处理器用于：
响应于识别出匹配的2D对象数据，使用所述匹配的2D对象数据来更新所述给定对象的所获得的3D数据。
19.如权利要求18所述的计算机程序产品，其中，所获得的3D数据包括以下中的至少一项：
对象类型；以及
对象材料。
20.如权利要求17所述的计算机程序产品，其中，所述给定对象的所获得的3D数据是以下中的至少一项：
3D CAD模型；以及
点云。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/983,878 | 2015-12-30 | ||
| US14/984,765 US10127333B2 (en) | 2015-12-30 | 2015-12-30 | Embedded frequency based search and 3D graphical data processing |
| US14/984,765 | 2015-12-30 | ||
| US14/984,412 | 2015-12-30 | ||
| US14/984,412 US10360438B2 (en) | 2015-12-30 | 2015-12-30 | 3D to 2D reimaging for search |
| US14/983,878 US10049479B2 (en) | 2015-12-30 | 2015-12-30 | Density based graphical mapping |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107066924A true CN107066924A (zh) | 2017-08-18 |
Family
ID=57629435
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611262276.2A Pending CN107025324A (zh) | 2015-12-30 | 2016-12-30 | 基于嵌入式频率的搜索和3d图形数据处理 |
| CN201611262268.8A Pending CN107066924A (zh) | 2015-12-30 | 2016-12-30 | 用于搜索的2d到3d重映像 |
| CN201611259943.1A Pending CN107066664A (zh) | 2015-12-30 | 2016-12-30 | 基于密度的图形映射 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611262276.2A Pending CN107025324A (zh) | 2015-12-30 | 2016-12-30 | 基于嵌入式频率的搜索和3d图形数据处理 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611259943.1A Pending CN107066664A (zh) | 2015-12-30 | 2016-12-30 | 基于密度的图形映射 |
Country Status (3)
| Country | Link |
|---|---|
| EP (3) | EP3188050A1 (zh) |
| JP (3) | JP6906304B2 (zh) |
| CN (3) | CN107025324A (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| LU100465B1 (en) | 2017-10-05 | 2019-04-09 | Applications Mobiles Overview Inc | System and method for object recognition |
| JP7380341B2 (ja) | 2020-03-06 | 2023-11-15 | 横河電機株式会社 | 図面管理装置、図面管理システム、図面管理方法、及びプログラム |
| JP7331738B2 (ja) * | 2020-03-06 | 2023-08-23 | 横河電機株式会社 | 図面管理装置、図面管理システム、図面管理方法、及びプログラム |
| WO2024004113A1 (ja) * | 2022-06-30 | 2024-01-04 | 三菱電機株式会社 | 目標追尾装置、目標追尾方法、および目標追尾プログラム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003296383A (ja) * | 2002-04-05 | 2003-10-17 | Denso Corp | ３次元モデリングシステム |
| AU2004282790A1 (en) * | 2003-10-21 | 2005-04-28 | Nec Corporation | Image collation system and image collation method |
| WO2006097926A2 (en) * | 2005-03-15 | 2006-09-21 | Cognitens Ltd. | Methods and systems for creating and altering cad models |
| WO2007044007A1 (en) * | 2005-10-13 | 2007-04-19 | Stratasys, Inc. | Transactional method for building three-dimensional objects |
| US20090222446A1 (en) * | 2008-03-03 | 2009-09-03 | Emmanuel Goldschmidt | Three-dimensional object identification through resonance frequencies analysis |
| DE102008034117A1 (de) * | 2008-07-21 | 2010-02-04 | Carl Zeiss Industrielle Messtechnik Gmbh | Verfahren und Vorrichtung zum Herstellen eines Urformwerkzeugs |
| US8665263B2 (en) * | 2008-08-29 | 2014-03-04 | Mitsubishi Electric Corporation | Aerial image generating apparatus, aerial image generating method, and storage medium having aerial image generating program stored therein |
| JP5615055B2 (ja) * | 2010-06-18 | 2014-10-29 | キヤノン株式会社 | 情報処理装置及びその処理方法 |
| CN102375831B (zh) * | 2010-08-13 | 2014-09-10 | 富士通株式会社 | 三维模型检索装置及其方法和模型库生成装置及其方法 |
| JP6007178B2 (ja) * | 2010-09-03 | 2016-10-12 | カリフォルニア インスティテュート オブ テクノロジー | ３次元撮像システム |
| JP5969836B2 (ja) * | 2012-06-26 | 2016-08-17 | 本田技研工業株式会社 | モデル適用装置、モデル適用方法、及びプログラム |
| US20140192050A1 (en) * | 2012-10-05 | 2014-07-10 | University Of Southern California | Three-dimensional point processing and model generation |
| JP6094240B2 (ja) * | 2013-02-06 | 2017-03-15 | 株式会社大林組 | 部材設置判定システム |
| JP6080642B2 (ja) * | 2013-03-25 | 2017-02-15 | 株式会社ジオ技術研究所 | ３次元点群解析方法 |
| US9916398B2 (en) * | 2013-12-10 | 2018-03-13 | Dassault Systemes | Laser scan re-engineering of 3D CAD models |
| US9530250B2 (en) * | 2013-12-10 | 2016-12-27 | Dassault Systemes | Augmented reality updating of 3D CAD models |
| US9619691B2 (en) * | 2014-03-07 | 2017-04-11 | University Of Southern California | Multi-view 3D object recognition from a point cloud and change detection |
| US20150278155A1 (en) * | 2014-03-27 | 2015-10-01 | Knockout Concepts, Llc | Identifying objects using a 3d scanning device, images, and 3d models |
-
2016
- 2016-12-20 JP JP2016246829A patent/JP6906304B2/ja active Active
- 2016-12-20 JP JP2016246827A patent/JP6869023B2/ja active Active
- 2016-12-20 JP JP2016246825A patent/JP6906303B2/ja active Active
- 2016-12-28 EP EP16207197.1A patent/EP3188050A1/en not_active Ceased
- 2016-12-28 EP EP16207198.9A patent/EP3188056A1/en not_active Withdrawn
- 2016-12-28 EP EP16207196.3A patent/EP3188049A1/en not_active Withdrawn
- 2016-12-30 CN CN201611262276.2A patent/CN107025324A/zh active Pending
- 2016-12-30 CN CN201611262268.8A patent/CN107066924A/zh active Pending
- 2016-12-30 CN CN201611259943.1A patent/CN107066664A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017134824A (ja) | 2017-08-03 |
| EP3188050A1 (en) | 2017-07-05 |
| CN107066664A (zh) | 2017-08-18 |
| CN107025324A (zh) | 2017-08-08 |
| JP2017120633A (ja) | 2017-07-06 |
| JP6906304B2 (ja) | 2021-07-21 |
| JP6906303B2 (ja) | 2021-07-21 |
| JP2017120632A (ja) | 2017-07-06 |
| EP3188056A1 (en) | 2017-07-05 |
| JP6869023B2 (ja) | 2021-05-12 |
| EP3188049A1 (en) | 2017-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7491685B2 (ja) | ニューラルネットワークのセット | |
| JP7376233B2 (ja) | ピクセルワイズ分類器による２ｄフロアプランのセマンティックセグメンテーション | |
| CN110033513A (zh) | 生成表示建筑的3d模型 | |
| CN107066924A (zh) | 用于搜索的2d到3d重映像 | |
| CN109741268B (zh) | 一种针对壁画的破损图像补全方法 | |
| CN113487664A (zh) | 三维场景感知方法、装置、电子设备、机器人及介质 | |
| WO2021068061A1 (en) | System and method for generating 3d models from specification documents | |
| CN115423978A (zh) | 用于建筑物重建的基于深度学习的图像激光数据融合方法 | |
| Hsieh | An efficient development of 3D surface registration by Point Cloud Library (PCL) | |
| JP2023548654A (ja) | 履き物デジタルアセットを生成するためのコンピュータアーキテクチャ | |
| CN115294294A (zh) | 基于深度图像和点云的管线bim模型重建方法及系统 | |
| KR102131592B1 (ko) | 딥러닝 기반 3차원 원형 예측 장치 | |
| CN113345106A (zh) | 一种基于多尺度多层级转换器的三维点云分析方法及系统 | |
| CN113205609A (zh) | 变形基础学习 | |
| Liao et al. | Advances in 3D Generation: A Survey | |
| Mengiste et al. | Transfer-learning and texture features for recognition of the conditions of construction materials with small data sets | |
| CN117456104A (zh) | 一种基于结构功能分析的室内场景三维建模方法与系统 | |
| Li et al. | [Retracted] Deep‐Learning‐Based 3D Reconstruction: A Review and Applications | |
| Li et al. | Multi-view keypoints for reliable 6d object pose estimation | |
| Smith et al. | A deep learning framework for semantic segmentation of underwater environments | |
| Sahebdivani et al. | Deep learning based classification of color point cloud for 3D reconstruction of interior elements of buildings | |
| Ji et al. | An extraction method for roof point cloud of ancient building using deep learning framework | |
| CN113724375A (zh) | 一种用于三维轻量化引擎的rvm二进制模型解析方法 | |
| CN113487741A (zh) | 稠密三维地图更新方法及装置 | |
| Fayolle et al. | User-assisted reverse modeling with evolutionary algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170818 |