CN108431816B - 关于设备的数字模型来控制设备 - Google Patents

关于设备的数字模型来控制设备 Download PDF

Info

Publication number
CN108431816B
CN108431816B CN201680061990.7A CN201680061990A CN108431816B CN 108431816 B CN108431816 B CN 108431816B CN 201680061990 A CN201680061990 A CN 201680061990A CN 108431816 B CN108431816 B CN 108431816B
Authority
CN
China
Prior art keywords
point cloud
digital model
points
color
tree structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680061990.7A
Other languages
English (en)
Other versions
CN108431816A (zh
Inventor
弗朗索瓦·鲁伊尔
帕斯卡尔·肖梅尔
塞缪尔·比尔甘代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations SAS
Original Assignee
Airbus Operations SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations SAS filed Critical Airbus Operations SAS
Publication of CN108431816A publication Critical patent/CN108431816A/zh
Application granted granted Critical
Publication of CN108431816B publication Critical patent/CN108431816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00Details relating to CAD techniques
    • G06F2111/10Numerical modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/30Circuit design
    • G06F30/32Circuit design at the digital level
    • G06F30/333Design for testability [DFT], e.g. scan chain or built-in self-test [BIST]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012Dimensioning, tolerancing

Abstract

本发明提出了用于验证所制造的设备与预先模拟该设备的数字模型之间的匹配的简单、精确、快速和自动控制的方法和系统。根据本发明的系统包括:扫描仪,被配置成产生表示所述设备(19)的三维点云(21);以及处理器和存储器,被配置成:将所述点云(21)叠加在所述数字模型(17)上;协调所述点云(21)与在扫描设备期间捕获并存储在存储器中的多色图像(22);将所述点云(21)分离成若干点集(21a‑21c),每个点集对应于在多色图像中识别的对象;建立所述点集与识别数字模型的树状结构(23)的节点(231)之间的对应关系;以及通过分析所述点集与树状结构的所述节点之间的所述对应关系来评估点云(21)与数字模型之间的匹配。

Description

关于设备的数字模型来控制设备
技术领域
本发明总体上涉及关于设备的数字模型来测试设备,具体地涉及在将设备安装在可能拥挤的环境中例如飞行器上之前测试设备。
背景技术
目前,CAD(计算机辅助设计)系统被用于许多工业领域以创建三维数字模型(DMU),以便能够在上下文环境中进行设计、组装和安装并且在制造设备之前对设备进行虚拟测试。
三维数字模型是一种能够模拟所设计的设备的全局行为的可修改原型。三维数字模型可以用于改进制造的可靠性、限定合适的制造工具并且优化成本。
然而,在物理(即所制造的)设备与其数字模型之间可能存在一些分歧。设备的不同元件之间的组装复杂性或相互作用(与测量散度、公差、选择参数的裕度(oversizing)等有关)可能发生,从而与模型产生分歧。这可能会使得将设备集成到专用环境中——特别是集成到拥挤的环境中例如飞行器上——更为复杂。此外,一旦真实设备已经被安装在其环境中,则在物理上可能就难以甚至不可能在不拆卸该设备的情况下访问设备周围的一些空间。将注意到,包括相对于模拟来说过大的部分的设备可以与其他附近的设备相互作用并且可能导致在设备自身或其周围的一些元件上难以检测到的早期损坏或磨损。
因此,在所制造的设备被安装之前对该设备进行检查是重要的。这种检查是单调乏味、漫长且昂贵的。这种检查需要复杂的分析,包括对所制造的设备进行许多测量,以及将这些测量结果与数字模型的测量结果进行比较。这些测量在实践中相当复杂,并且测量的精度取决于所使用的测量仪器或测量工具。
因此,本发明的目的是公开用于对先前由数字模型模拟的设备进行精确、快速和自动测试的方法和系统。
发明内容
本发明由用于测试先前由三维数字模型模拟的设备的方法限定,所述数字模型由逻辑节点的树状结构识别,所述方法包括以下步骤:
-对设备进行三维扫描,所述扫描产生表示所述设备的三维点云,
-将所述点云叠加在所述数字模型上,
-在所述点云与在扫描设备时捕获的多色图像之间进行协调,
-使用所述协调将所述点云分离成若干点集,每个点集对应于在多色图像中识别的对象,
-建立所述点集与树状结构的节点之间的对应关系,以及
-通过分析所述点集与树状结构的所述节点之间的所述对应关系来评估点云与数字模型之间的匹配。
这使得可以自动评估所制造的设备与其设计模型之间的匹配。
有利地,所述数字模型被配置成在知道上述方法中的相同步骤被应用于设备的环境的情况下模拟所述设备及其环境,并且该方法还包括根据所述匹配来验证所述设备到其环境的集成的步骤。
这提供了在物理安装设备之前验证设备相对于其环境的真实布置的手段。
根据本发明的一个实施方式,所扫描的图像与数字模型之间的匹配包括以下步骤:
-评估每个点集和模型的与对应于所述点集的节点相关联的部分之间的差,以及/或者
-评估点云与数字模型的模拟设备附近的环境的部分之间的距离。
这提供了自动测量设备与其模型之间的任何偏差并且还验证设备与其环境之间没有干扰或摩擦的手段。
根据本发明的一个实施方式,所述点云与多色图像之间的协调是通过在所述多色图像的连续捕获日期将多色图像与点云同步来进行的,并且将点云分离成若干点集包括以下步骤:
-在多色图像中识别具有基本物理特征的对象,以及
-将点云细分成所述点集,将每个点集与在多色图像中识别的对应对象相关联。
这有利于并且优化了点云的分离。将点云与多色图像相关联使得可以使用功能强大且已知的图像处理软件来分离图像中的对象,然后可以容易地找到与多色图像中识别的对象相关的点云中的点分组。
所述点集与树状结构中的节点之间的对应关系通过下述方法来限定:与识别数字模型的逻辑节点的树状结构并行地构建与点云相关的逻辑节点的新树状结构。
有利地,该方法包括:如果点集在数字模型的树状结构中没有对应节点,则发出警报。
因此,可以验证安装错误并且识别数字模型中未表示的对象。
该方法还包括:在数字模型的树状结构中的节点在点云中的点集中没有先行节点(antecedent)的情况下发出警报。
有利地,该方法包括:将点集保存在根据树状结构组织的第一文件中,以及建立所述第一文件和与数字模型的树状结构相关联的第二文件之间的链接。
这可以有利于关于数字模型(DMU)来操纵三维扫描。
有利地,匹配由数字模型上的点云的数字蒙太奇(montage)自动表示,数字模型由第一颜色表示,点云由第二颜色表示,并且蒙太奇中的数字模型与点云之间的差超过预定公差阈值的每个部分由第三颜色表示。
作为变型,匹配由数字模型上的点云的数字蒙太奇表示,数字模型由第一颜色表示,点云由第二颜色表示,并且蒙太奇中的在数字模型与点云之间具有正差的每个部分由根据第一颜色标度渐变的第三颜色表示,并且蒙太奇中的在数字模型与点云之间具有负差的每个部分由根据第二颜色标度渐变的第四颜色表示。
本发明还涉及一种用于测试先前由三维数字模型模拟的设备的系统,所述数字模型由逻辑节点的树状结构识别,所述系统包括:扫描仪,该扫描仪被配置成产生表示所述设备的三维点云;以及处理器和存储器,所述处理器和存储器被配置成:
-将所述点云叠加在所述数字模型上,
-协调所述点云与在扫描设备时捕获的并存储在存储器中的多色图像,
-将所述点云分离成若干点集,每个点集对应于在多色图像中识别的对象,
-建立所述点集与树状结构的节点之间的对应关系,以及
-通过分析所述点集与树状结构的所述节点之间的所述对应关系来评估点云与数字模型之间的匹配。
有利地,所述数字模型适于模拟所述设备及其环境,处理器还被配置成通过评估点云与数字模型的模拟设备附近的环境的部分之间的距离来验证所述设备到其环境的集成。
本发明还涉及包括代码指令的计算机程序,当由处理器执行该计算机程序时,该计算机程序用于根据上述特征中的任一项所述的测试方法。
附图说明
在阅读了参照附图给出的本发明的优选实施方式之后,本发明的其他特征和优点将变得清楚,在附图中:
图1以图解方式示出了根据本发明的一个实施方式的用于测试由数字模型模拟的设备的系统;
图2以图解方式示出了根据本发明的一个实施方式的设备的模型的示例;
图3以图解方式示出了根据本发明的一个实施方式的测试设备的方法;
图4以图解方式示出了根据本发明的一个实施方式的分离点云的方法的示例;
图5A至图5D示出了图4中的方法的步骤;
图6A至图6C以图解方式示出了根据本发明的一个实施方式的对应数字模型上的三维点云的数字蒙太奇的示例;
图7以图解方式示出了根据本发明的另一实施方式的对应数字模型上的三维点云的数字蒙太奇的另一示例;以及
图8示出了表示数字模型上的一组管道的点云的示例蒙太奇,该数字模型表示在其飞行器上的环境中的一组管道。
具体实施方式
图1以图解方式示出了根据本发明的一个实施方式的用于测试由数字模型模拟的设备的系统。
系统1包括适于耦接到计算站或计算机5的三维扫描仪3。该计算站或计算机通常包括至少一个处理器7、至少一个存储器9、至少一个输入外围设备11以及包括显示屏幕15的至少一个输出外围设备13。
存储器9和处理器7适合用于存储和实现模拟或设计软件。因此,处理器7被配置成通过执行该设计软件来对对象或设备进行模拟。具体地,对设备进行模拟包括:创建可以在计算机5的屏幕15上显示的三维DMU(数字模型)。例如,数字模型可以用于模拟家具(用于飞行器上的厨房的厨房类型或洗手间)或系统(如电池、阀门或计算机)。
根据本发明,用扫描仪3扫描物理设备19(即,家具、系统等),并且使用由扫描仪捕获的设备的图像序列作为中介将所得到的三维点云21(显示在屏幕15上)与数字模型17进行比较,以测试该设备19与其模型17之间的定义和匹配。
存储器9和处理器7被配置成实现包括代码指令的计算机程序,所述代码指令适于实现相对于设备19的模型17来测试设备19的方法。
图2以图解方式示出了根据本发明的一个实施方式的设备的模型的示例。
图2的示例中的设备对应于被设计成安装在飞行器上的管道和电缆的系统。在其设计期间,使用计算机辅助设计CAD技术,通过三维数字模型17对该设备进行模拟。例如,可以使用CATIA(计算机辅助三维交互应用)类型的设计软件来创建数字模型17。数字模型17是虚拟且可升级的原型,其用于研究设备并且在其实际存在之前验证其到专用环境的集成。
此外,数字模型17由节点或逻辑链接的树状结构23(也被称为产品结构)来识别。节点231被组织成类似于从表示作为整体的设备的头部节点(或顶部节点)向下一直到表示构成设备的基本部分的最后节点(或底部节点)的谱系树。树状结构23的每个节点231包括数字模型17中的对应部分的参考。具体地,设计软件(例如CATIA)可以用于通过点击树状结构23中的对应节点来激活或参考数字模型17上的给定部分。图2中的示例示出了通过激活其对应节点231i点亮的数字模型17的元件171。
图3以图解方式示出了根据本发明的一个实施方式的测试设备的方法。
在步骤E1中,三维扫描仪3适于扫描设备19并且将扫描数据发送到计算机5。
将注意到,扫描仪3有利地为目前在商业市场上可购得的有源非接触式扫描仪(例如FARO、CO-Scan、SURPHASER等),其适于通过向设备发射光辐射来探测该设备并且检测反射。
更具体地,扫描仪有利地为围绕待扫描对象移动的激光或红外扫描仪。扫描仪通过测量其自身位置的偏移来记录其自身的位移。
作为变型,扫描仪被固定并且由激光束或激光带扫描设备,并且扫描仪与设备表面上的点之间的距离通过三角测量确定。
于是扫描包括:收集表示扫描仪与被扫描设备之间的距离的测量点序列。这些测量点建立关于设备19的形状的精确数据,并且因此在由扫描仪供应商的软件处理之后产生可以在屏幕15上显示的单色或多色点云21。
更具体地,测量点的处理是基于所记录的多色图像序列。为了处理点云的着色,扫描仪和相关软件与获取测量点并行地使用由扫描仪捕获和记录的设备的多色图像。
因此,扫描自动生成按照文件序列分组的信息序列。这些文件包括包含所有多色图像序列的第一组以及包含生成表示设备19的点云21的测量点的第二组。
在步骤E2至E5中,计算机5被配置成处理与由扫描仪3收集的点云有关的数据,并且将这些数据与先前存储在存储器9中的用于数字模型的数据进行比较。
在步骤E2中,处理器7被配置成将点云21定位在数字模型17上并且最优地将所得到的在设备上记录的并在DMU中绘制的几何尺寸的叠加(形状和尺寸的匹配)显示在屏幕15上。
有利地,点云21在被叠加到数字模型17上之前被清除。所述清除包括消除多余的点和不属于设备19且对于正在进行的研究和分析无用的点。
在步骤E3中,处理器7被配置成使用在三维扫描期间捕获的并且存储在存储器9中的多色图像22的序列,以建立点云21与这些多色图像22之间的链接L1或协调。将注意到,多色图像22的序列中的特定对象可以使用已知的形状识别软件容易地分离。因此,通过将多色图像空间22与点云空间21相关联,则易于识别包括在点云21中的与这些特定对象相对应的不同点集。所有必须的是针对多色图像22中的每个分离的对象确定点云21中的表示该对象的图像的点(在数学意义上)。换言之,多色图像空间22与点云空间21之间的协调可以在计算步骤中具有最小成本的情况下创建将点云21精确地细分成若干相关的组件,如将在后面针对步骤E4、E41和E42所描述的那样。
更具体地,处理器7通过根据这些多色图像22的连续捕获日期将多色图像22的序列与点云21同步来建立这种协调。
在步骤E4中,处理器7被配置成将点云21分离成表示设备19的不同对象的若干点集21a至21c。更具体地,每个点集对应于在多色图像中识别的特定对象。
图4以图解方式示出了根据本发明的一个实施方式的分离点云21的方法的示例。
根据该实施方式,处理器7被配置成使用在步骤E3中创建的多色图像空间22与点云空间21之间的识别来细分点云21。
具体地,在步骤E41中,处理器7被配置成在多色图像22中识别或分离具有基本或特定物理特征或参数(例如指定的几何形状、颜色、位置、像素等)的对象。该识别可以使用已知的形状和/或颜色识别软件来进行。将注意到,识别软件适于通过循环来快速识别两个表示之间的不同基本物理特征。
在步骤E42中,处理器7被配置成通过将每个点集与在多色图像中识别的对应对象相关联来将点云21细分成若干点集21a至21c。换言之,由于在步骤E3中建立的点云21与多色图像22之间的链接L1,处理器7可以在多色图像22中找到与在步骤E41中识别的每个特定对象对应的点分组。因此,在步骤E4(图3)中可以由处理器7区别地重现不同的点集21a至21c,并且因此可以将被分离成与若干对象对应的若干部分21a至21c的云显示在屏幕15上。
然后,在步骤E5(图3)中,处理器7被配置成建立由点云21的分离产生的点集21a至21c与识别数字模型17的树状结构23的节点231a至231c之间的对应关系。
点集21a至21c与树状结构的节点之间的对应关系可以例如通过点集21a至21c的体积与由节点231a至231c表示的基本部分的先前已知的体积之间的比较测量来限定。根据CATIA类型的CAD软件,树状结构23的节点231a至231c具有关于这些体积的体积和空间坐标及其重心的信息。对于由点云分离产生的每个点集21a至21c,还可以使用已知的三角测量表面技术来计算包络体积及其空间坐标以及其重心坐标。因此,可以首先使用与点集21a至21c相关联的空间中的体积与坐标之间的比较测量结果,其次使用与节点231a至231c相关联的空间中的体积与坐标之间的比较测量结果,在点集21a至21c与树状结构的节点231a至231c之间建立对应关系。
有利地,点集21a至21c可以通过与识别数字模型的逻辑节点的树状结构并行(即镜像)地构建与点云相关的逻辑节点的新树状结构来组织。这使得可以相对于模型和设备所适合的环境来改进所制造的设备的管理。
此外,点集21a至21c可以有利地被保存在使用树状结构组织的第一文件中。因此,可以容易地在这些第一文件和与预定数字模型的树状结构相关联的现有第二文件之间建立链接。
图5A至图5D示出了关于安装在飞行器上的设备的先前步骤。
更具体地,图5A示出了由安装在飞行器上的一组管道和电缆组成的物理设备219。
图5B示出了由设备219的扫描产生的并且以单色表示该设备的不同管道和电缆的点云211。
图5C示出了将点云211分离成与形成设备219的不同元件对应的若干点集211a至211e。第一点集211a对应于第一管道,第二点集211b对应于附接铆钉,第三点集211c对应于保持所有管道和电缆的排管(comb)或支撑件,第四点集211d对应于螺母,第五点集211e对应于第二管道等。
图5D示出了由图5C中的点云的分离产生的点集211a至211e与树状结构223的节点231a至231e之间的对应关系。
在步骤E6(图3)中,处理器7被配置成分析点集与树状结构的节点之间的对应关系,以评估点云21与数字模型17之间的匹配或一致性。该匹配包括评估点云21中的每个点集与模型的与对应于该点集的节点相关联的部分之间的差e1。
有利地,该匹配由数字模型17上的点云21的多色数字蒙太奇表示。更具体地,数字模型17以第一颜色(例如红色)表示,点云21以第二颜色(例如绿色)表示,并且蒙太奇中的数字模型17与点云21之间的差大于预定公差阈值的每个部分由第三颜色(例如黄色)表示。以第一颜色或第二颜色表示蒙太奇中的差小于预定公差阈值的部分。例如,公差阈值的值在大约0.5mm与5mm之间。将注意到,可以使用CATIA类型的CAD软件的已知功能来评估三维点云21中的点与数字模型中的对应点之间的差。
作为变型,该匹配由数字模型17上的点云21的多色且渐变数字蒙太奇表示。在这种情况下,数字模型17以第一颜色(例如红色)表示,并且点云21以第二颜色(例如绿色)表示。蒙太奇的在数字模型与点云之间具有正差的每个部分由第三颜色(例如黄色)表示,但是根据与测量的正差成比例的第一颜色标度渐变。此外,蒙太奇的在数字模型与点云之间具有负差的每个部分由第四颜色(例如蓝色)表示,但根据与测量的负差的绝对值成比例的第二颜色标度渐变。
图6A至图6C以图解方式示出了根据本发明的一个实施方式的对应应数字模型上的三维点云的数字蒙太奇的示例。
更具体地,图6A示出了要安装在飞行器上的盥洗盆的数字模型117。该模型使由第一颜色(例如红色)以单色表示。图6B示出了制造后该设备(即盥洗盆)的三维点云321。点云321使用与第一颜色(例如红色)不同的第二颜色以单色显示。最后,图6C示出了将三维点云321叠加在盥洗盆的数字模型117上。图6C所示的蒙太奇表明,具有大于预定公差阈值的差的点由第三颜色(例如黄色)表示。此外,具有小于预定公差阈值的差的点用与点云321相同的颜色(即第二颜色)表示,而不属于点云321但属于数字模型171的点用与数字模型相同的颜色(即第一颜色)表示。
图7以图解方式示出了根据本发明的另一实施方式的对应数字模型上的点云的数字蒙太奇的另一示例。
该示例示出了三维点云叠加在飞行器中的包括管道和电缆的结构的数字模型上。蒙太奇中的每个完美叠加部分(即差等于零)由第一颜色(例如绿色)表示。蒙太奇中的在数字模型与点云之间具有正差的每个部分由第二颜色(例如黄色)表示,但是根据与测量的正差成比例的第一颜色标度(从28.000mm到50.500mm变化)渐变。例如,非常浅的第二颜色表示非常小的差,而非常深的第二颜色表示很大的差。此外,蒙太奇中的在数字模型与点云之间具有负差的每个部分由第三颜色(例如蓝色)表示,但根据与测量的负差的绝对值成比例的第二颜色标度(在这种情况下,从-37.000mm到-50.500mm变化)渐变。因此,非常浅的第三颜色表示非常小的差,而非常深的第三颜色表示很大的差。
此外,数字模型17有利地被配置成不仅模拟设备19而且模拟其附近环境(即,专门为设备的物理安装而预留的位置)。这提供了在物理安装设备之前验证设备19相对于其环境的真实布置的手段。显然,与图3中的步骤相同的步骤也适用于环境,因为环境形成数字模型17的一部分。此外,对点云21和数字模型17之间的匹配的评估还包括验证设备18到其专用环境中的集成。因此,点云21与数字模型17之间的匹配还包括对点云21与数字模型17的模拟设备附近环境的部分之间的距离(例如使用CATIA软件)的评估。
图8示出了数字模型217上的一组管道的三维点云421的示例蒙太奇,该数字模型217表示其飞行器上的环境中的一组管道。该蒙太奇示出了点云421中的管道421a与模拟217的对应管道217a之间的差e1等于9.456mm以及点云的管道421a与模拟飞行器的结构壁的部件217b之间的距离d1等于29.535mm。这使得在知道设备与其附近的元件之间的摩擦会导致对密封性或绝缘性的损害等的情况下,可以检查距离是否不妨碍并且分析理论模型(3D模拟)与真实设备之间的差的影响。
此外,点云21与数字模型17之间的匹配有利地包括检查点集21a至21c与树状结构23的节点231a至231c之间的对应关系。具体地,处理器7被配置成验证是否对于每个点集都存在节点。这可以用于确定是否每个对象都被安装在其正确的位置,并且不存在未包括在数字模型中的已安装对象。在存在下述点集的情况下,由输出外围设备13给出视觉和/或声音警报:对于该点集,在数字模型的树状结构中不存在对应节点的图像。
类似地,在数字模型17的树状结构23中的节点在点云中的点集21a至21c中没有先行节点的情况下也将给出警报。这可以用于确定物理设备中不存在数字模型中表示的元件的情况。
此外,处理器7有利地被配置成通过作用于对应树状结构23的节点来清除点云21。操作者认为无用的点云21的任何部分可以通过简单地掩蔽与该部分对应的节点来消除或隐藏。
上面给出的示例适用于与飞行器相关的应用,但是显然只要在环境外部制造的设备必须被集成到该环境中,则任何其他应用都是可能的。

Claims (13)

1.一种用于测试先前由三维数字模型(17)模拟的设备(19)的方法,所述数字模型由逻辑节点的树状结构(23)识别,所述树状结构的节点被组织成类似于从表示作为整体的所述设备的头部节点向下一直到表示构成所述设备的基本部分的最后节点或底部节点的谱系树,其特征在于,所述方法包括以下步骤:
对所述设备(19)进行三维扫描,所述扫描产生表示所述设备(19)的三维点云(21),
将所述点云(21)叠加在所述数字模型(17)上,
在所述点云(21)与在扫描所述设备时捕获的多色图像(22)之间进行协调或建立链接,以识别所述点云中包含的与特定对象对应的点集,
使用所述协调将所述点云(21)分离成若干点集(21a-21c),每个点集对应于在所述多色图像中识别的对象,
建立所述点集与所述树状结构(23)的节点(231)之间的对应关系,以及
通过分析所述点集与所述树状结构的节点之间的所述对应关系来评估所述点云(21)与所述数字模型之间的匹配。
2.根据权利要求1所述的方法,其特征在于,所述数字模型(17)适于在知道所述方法中的相同步骤被应用于所述设备的环境的情况下模拟所述设备及其环境,以及所述方法还包括根据所述匹配来验证所述设备到其环境的集成的步骤。
3.根据权利要求1或2所述的方法,其特征在于,所述点云(21)与所述数字模型之间的匹配包括:
评估所述点云(21)中的每个点集与所述模型(17)的与对应于所述点集的节点相关联的部分之间的差(e1),以及/或者
评估所述点云与所述数字模型的模拟所述设备附近的环境的部分之间的距离(d1)。
4.根据权利要求1或2所述的方法,其特征在于,所述点云(21)与所述多色图像(22)之间的协调是通过在所述多色图像的连续捕获日期将所述多色图像与所述点云同步来进行的。
5.根据权利要求1或2所述的方法,其特征在于,将所述点云(21)分离成若干点集(21a-21c)包括以下步骤:
在所述多色图像中识别具有基本物理特征的对象,以及
将所述点云(21)细分成所述点集(21a-21c),将每个点集与在所述多色图像中识别的对应对象相关联。
6.根据权利要求1或2所述的方法,其特征在于,所述点集与所述树状结构中的节点之间的对应关系通过下述来限定:与识别所述数字模型的逻辑节点的树状结构并行地构建与所述点云相关的逻辑节点的新树状结构。
7.根据权利要求1或2所述的方法,其特征在于,所述方法包括:在存在所述数字模型的树状结构中没有对应节点的点集的情况下以及/或者在所述数字模型(17)的树状结构(23)中的节点在所述点云(21)的点集中没有先行节点的情况下发出警报。
8.根据权利要求1或2所述的方法,其特征在于,所述方法包括:
将点集保存在根据所述树状结构组织的第一文件中,以及
建立所述第一文件与和所述数字模型的树状结构相关联的已经存在的第二文件之间的链接。
9.根据权利要求1或2所述的方法,其特征在于,所述匹配由所述数字模型(17)上的点云(21)的数字蒙太奇表示,所述数字模型由第一颜色表示,所述点云由第二颜色表示,并且所述蒙太奇中的所述数字模型与所述点云之间的差超过预定公差阈值的每个部分由第三颜色表示。
10.根据权利要求1或2所述的方法,其特征在于,所述匹配由所述数字模型(17)上的点云(21)的数字蒙太奇表示,所述数字模型由第一颜色表示,所述点云由第二颜色表示,并且所述蒙太奇中的在所述数字模型与所述点云之间具有正差的每个部分由根据第一颜色标度渐变的第三颜色表示,并且所述蒙太奇中的在所述数字模型与所述点云之间具有负差的每个部分由根据第二颜色标度渐变的第四颜色表示。
11.一种用于测试先前由三维数字模型(17)模拟的设备(19)的系统,所述数字模型由逻辑节点的树状结构(23)识别,所述树状结构的节点被组织成类似于从表示作为整体的所述设备的头部节点向下一直到表示构成所述设备的基本部分的最后节点或底部节点的谱系树,其特征在于,所述系统包括:扫描仪,所述扫描仪被配置成产生表示所述设备(19)的三维点云(21);以及处理器和存储器,所述处理器和存储器被配置成:
将所述点云(21)叠加在所述数字模型(17)上,
在所述点云(21)与在所述设备的扫描期间捕获并存储在存储器中的多色图像(22)之间进行协调或建立链接,以识别所述点云中包含的与特定对象对应的点集,
将所述点云(21)分离成若干点集(21a-21c),每个点集对应于在所述多色图像中识别的对象,
建立所述点集与所述树状结构(23)的节点(231)之间的对应关系,以及
通过分析所述点集与所述树状结构的节点之间的所述对应关系来评估所述点云(21)与所述数字模型之间的匹配。
12.根据权利要求11所述的系统,其特征在于,所述数字模型(17)适于模拟所述设备及其环境,所述处理器还被配置成通过评估所述点云与所述数字模型的模拟所述设备附近的环境的部分之间的距离(d1)来验证所述设备到其环境的集成。
13.一种存储有计算机程序的计算机可读存储介质,所述计算机程序包括代码指令,当由处理器执行所述计算机程序时,所述计算机程序用于实现根据权利要求1至10中任一项的测试方法。
CN201680061990.7A 2015-10-28 2016-10-26 关于设备的数字模型来控制设备 Active CN108431816B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1560303 2015-10-28
FR1560303A FR3043226A1 (fr) 2015-10-28 2015-10-28 Controle d'un equipement par rapport a son modele numerique
PCT/FR2016/052785 WO2017072447A2 (fr) 2015-10-28 2016-10-26 Contrôle d'un équipement par rapport à son modèle numérique

Publications (2)

Publication Number Publication Date
CN108431816A CN108431816A (zh) 2018-08-21
CN108431816B true CN108431816B (zh) 2022-04-29

Family

ID=54848807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061990.7A Active CN108431816B (zh) 2015-10-28 2016-10-26 关于设备的数字模型来控制设备

Country Status (4)

Country Link
US (1) US10452811B2 (zh)
CN (1) CN108431816B (zh)
FR (1) FR3043226A1 (zh)
WO (1) WO2017072447A2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3239927B1 (en) * 2016-04-25 2021-04-07 ALSTOM Transport Technologies Assembly completeness inspection method using active ranging
CN109959345A (zh) * 2019-04-10 2019-07-02 国网上海市电力公司 基于三维扫描的电缆敷设非接触式实测实量方法及系统
CN112711795B (zh) * 2020-12-24 2023-07-07 中国航空制造技术研究院 适用于再制造修理的舵面类蜂窝结构件的逆向建模方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN103150447A (zh) * 2013-03-22 2013-06-12 杭州电子科技大学 一种基于虚拟仪器和逆向工程的机械产品快速设计方法
CN103673916A (zh) * 2012-09-06 2014-03-26 上海船舶工艺研究所 一种水火弯板成型在线检测方法
CN104867136A (zh) * 2015-05-06 2015-08-26 华中科技大学 一种基于距离方差最小的工件点云匹配算法
CN104899378A (zh) * 2015-06-10 2015-09-09 上海大学 基于bim和三维测量的高层钢结构数字化安装方法
WO2015148824A1 (en) * 2014-03-27 2015-10-01 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605093B2 (en) * 2010-06-10 2013-12-10 Autodesk, Inc. Pipe reconstruction from unorganized point cloud data
US20130249899A1 (en) * 2012-03-07 2013-09-26 Willow Garage Inc. Point cloud data hierarchy
US9704055B2 (en) * 2013-11-07 2017-07-11 Autodesk, Inc. Occlusion render mechanism for point clouds

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101533529A (zh) * 2009-01-23 2009-09-16 北京建筑工程学院 基于深度图像的三维空间数据处理方法与装置
CN103673916A (zh) * 2012-09-06 2014-03-26 上海船舶工艺研究所 一种水火弯板成型在线检测方法
CN103150447A (zh) * 2013-03-22 2013-06-12 杭州电子科技大学 一种基于虚拟仪器和逆向工程的机械产品快速设计方法
WO2015148824A1 (en) * 2014-03-27 2015-10-01 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
CN104867136A (zh) * 2015-05-06 2015-08-26 华中科技大学 一种基于距离方差最小的工件点云匹配算法
CN104899378A (zh) * 2015-06-10 2015-09-09 上海大学 基于bim和三维测量的高层钢结构数字化安装方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
应用最小生成树实现点云分割;孙金虎等;《中国图象图形学报》;20120731;全文 *

Also Published As

Publication number Publication date
CN108431816A (zh) 2018-08-21
WO2017072447A2 (fr) 2017-05-04
US10452811B2 (en) 2019-10-22
US20180247009A1 (en) 2018-08-30
FR3043226A1 (fr) 2017-05-05

Similar Documents

Publication Publication Date Title
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
Lee et al. Skeleton-based 3D reconstruction of as-built pipelines from laser-scan data
JP6635690B2 (ja) 情報処理装置、情報処理方法及びプログラム
Anil et al. Deviation analysis method for the assessment of the quality of the as-is Building Information Models generated from point cloud data
RU2643619C2 (ru) Способы и системы для контроля заготовки
CA2603528C (en) System and method for three dimensional change detection and measurement of a scene
JP6688088B2 (ja) 情報処理装置およびその制御方法
CN108431816B (zh) 关于设备的数字模型来控制设备
Tuttas et al. Validation of BIM components by photogrammetric point clouds for construction site monitoring
JP5030953B2 (ja) 第2の対象物に対する第1対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体
WO2018155590A1 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
EP4195145A1 (en) Three-dimensional inspection twin for remote visual inspection of a vehicle
Badías et al. An augmented reality platform for interactive aerodynamic design and analysis
JP2020064048A (ja) 組立プロセスの自動化された監視および検査
JP6267307B2 (ja) 物品の設置空間の探索方法及びそのためのプログラムが記録されたコンピュータで読取り可能な記録媒体
Gooch et al. Failure prediction in automatically generated digital elevation models
Mezhenin et al. Using virtual scenes for comparison of photogrammetry software
EP4016073A1 (en) Structural inconsistency detection using distance data
Geiger et al. Assistance system for an automated log-quality and assortment estimation based on data-driven approaches using hydraulic signals of forestry machines
US10176628B2 (en) Method for creating a 3D representation and corresponding image recording apparatus
Dierenbach et al. Next-Best-View method based on consecutive evaluation of topological relations
Irgenfried et al. Image formation simulation for computer-aided inspection planning of machine vision systems
Hisahara et al. 3D point cloud-based virtual environment for safe testing of robot control programs: Measurement range expansion through linking of multiple Kinect v2 sensors
Izvozchikova et al. 3D Modeling Surveying Tasks in Photogrammetry
JP6293293B2 (ja) マルチセンサ計測装置のルーティンを確立する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant