CN108780112A - 三维非接触式扫描系统的场校准 - Google Patents

三维非接触式扫描系统的场校准 Download PDF

Info

Publication number
CN108780112A
CN108780112A CN201780016375.9A CN201780016375A CN108780112A CN 108780112 A CN108780112 A CN 108780112A CN 201780016375 A CN201780016375 A CN 201780016375A CN 108780112 A CN108780112 A CN 108780112A
Authority
CN
China
Prior art keywords
scanner
deviation
coordinate
contacting type
scanning system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780016375.9A
Other languages
English (en)
Inventor
卡尔·豪根
格雷戈里·赫茨勒
戴维·杜基特
詹-路易斯·德蒂尔
埃里克·路德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cyberoptics Corp
Original Assignee
Cyberoptics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cyberoptics Corp filed Critical Cyberoptics Corp
Publication of CN108780112A publication Critical patent/CN108780112A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01Q—SCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q40/00—Calibration, e.g. of probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01Q—SCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q10/00—Scanning or positioning arrangements, i.e. arrangements for actively controlling the movement or position of the probe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

提供一种三维非接触式扫描系统(100)。系统(100)包括台(110)和至少一个扫描仪(102)，该扫描仪(102)被配置成扫描台(110)上的物体(112)。运动控制系统被配置为在至少一个扫描仪(102)与台(110)之间产生相对运动。控制器(118)耦合到至少一个扫描仪(102)和运动控制系统。控制器(118)被配置为执行场校准，其中利用至少一个扫描仪(102)以多个不同的取向扫描具有特征的制品(130)，以生成与该特征对应的感测测量数据(120)，该特征带有已知位置关系。确定感测测量数据(120)与已知位置关系之间的偏差。基于所确定的偏差，针对至少一个扫描仪(102)中的每一个计算坐标变换(124)，其中坐标变换(124)减小所确定的偏差。

Description

三维非接触式扫描系统的场校准
背景技术
在三维空间中准确复制制品的外表面的能力在各种领域中变得越来越有用。工业和商业应用包括反向工程、零件检查和质量控制，以及用于提供适合于在诸如计算机辅助设计和自动化制造等应用中进一步处理的数字数据。教育和文化应用包括三维艺术品、博物馆文物和历史物品的复制，从而促进对有价值且通常脆弱的物体的详细研究，而无需实际上处理该物体。用于人体的全部和部分扫描的医疗应用继续扩展，以及向互联网零售目录提供高细节分辨率的产品的3D表示的商业应用。
通常，三维非接触式扫描涉及将辐射能量(例如以图案构造的激光或投射的白光)投射到物体的外表面上，并且然后使用CCD阵列、CMOS阵列或其他合适的感测设备来检测由外表面反射的辐射能量。能量源和能量检测器通常相对于彼此固定并且间隔开已知的距离，以便于通过三角测量法来定位反射点。在一种被称为激光线扫描的方法中，激光能量的平面片作为线投射到物体的外表面上。可以相对于表面移动物体或扫描仪以扫过线，从而将能量投射到限定的表面区域上方。在另一种被称为白光投射或被更广泛地称为结构光的方法中，将光图案(通常为图案化的白光条纹)投射到物体上以限定表面区域，而不需要物体和扫描仪的相对移动。
三维非接触式扫描系统获得物体(诸如微米级的制造组件)的测量结果。这种三维非接触式扫描系统的一个示例由明尼苏达州黄金谷CyberOptics Corp.的业务部门LaserDesign Inc.以商品名360出售。期望这些和其他扫描系统提供测量稳定性。然而，目前很难创建一种在频繁的成像使用、老化的组件以及在如此精细的粒度下成像所带来的诸多挑战的情况下进行拷贝的同时持续地产生准确的测量结果的三维非接触式扫描系统。扫描仪及其组件(诸如相机和投射仪)经常在其出厂设置方面经历机械漂移。温度和使用年限对相机和投射仪两者的影响可能对精度产生显著的影响。例如，温度可能影响相机的放大率，这可能负面地影响测量结果的几何精度。这些和其他传感器光机械漂移最终渗透扫描系统并影响成像性能。此外，在使用多个传感器的系统中，机械漂移的影响更加严重。
发明内容
提供了一种三维非接触式扫描系统。该系统包括台和至少一个扫描仪，该至少一个扫描仪被配置成扫描台上的物体。运动控制系统被配置为在至少一个扫描仪和台之间产生相对运动。控制器耦合到至少一个扫描仪和运动控制系统。控制器被配置为执行场校准，其中利用至少一个扫描仪以多个不同的取向扫描具有特征的制品，以生成与该特征对应的感测测量数据，该特征带有已知位置关系。确定感测测量数据与已知位置关系之间的偏差。基于所确定的偏差，针对至少一个扫描仪中的每一个计算坐标变换，其中坐标变换减小所确定的偏差。
附图说明
图1A示例性地示出了三维非接触式扫描系统的简化框图，本发明的具有该三维非接触式扫描系统的实施例是特别有用的。
图1B示例性地示出了根据本发明的实施例的旋转台的示意图，该旋转台带有用于改进的校准特征的校准制品。
图1C-图1F示例性地示出了可以如何观察校准中的误差。
图2A示例性地示出了根据本发明的实施例的用于扫描系统的改进的校准制品的示意图。
图2B示出了根据本发明的实施例的放置在旋转台上用于校准三维非接触式扫描系统的球板校准制品。
图3示例性地示出了根据本发明实施例的校准扫描系统的方法的框图。
具体实施方式
图1A示例性地示出了三维非接触式扫描系统100的简化框图，本发明的具有该三维非接触式扫描系统100的实施例是特别有用的。系统100示例性地包括一对扫描仪102(a)和102(b)、控制器116和数据处理器118。虽然将关于一对扫描仪102(a)、102(b)来进行大部分描述，但是明确预期的是，本发明的实施例可以通过单个扫描仪或多于两个扫描仪来实施。此外，本发明的实施例可以在(多个)扫描仪使用任何合适的非接触式感测技术的情况下实施，该非接触式感测技术包括但不限于相位轮廓术、立体视觉、飞行时间距离感测或任何其他合适的技术。仅出于讨论的目的，附图标记102将用于统指包括扫描仪102(a)和102(b)中的任一个和/或两个的特征的扫描仪。
图1示意性地示出了物体112被支撑在旋转台110上。旋转台110是能够在物体112和扫描仪102(a)、102(b)之间产生相对运动的运动控制系统的示例。在一些实施例中，运动控制系统可以是使用X-Y表的笛卡尔系统。另外，除了耦合到台110的运动控制系统之外或代替耦合到台110的运动控制系统，一些实施例可以在(多个)扫描仪上采用运动控制系统。在一些实施例中，旋转台110可以对于由两个扫描仪102(a)、102(b)中的一个或两个所使用的电磁辐射是透明的。例如，在扫描仪采用可见光谱中的光的实施例中，旋转台110可以由玻璃或一些其他适当透明的材料制成。在操作中，旋转台110被配置成围绕旋转轴移动到各种位置，旋转轴总体在箭头126处指示。系统100进一步示例性地包括测量旋转台110围绕旋转轴126的精确角位置的位置编码器114。旋转台110的旋转允许物体112在扫描系统100内被移动到各种精确已知的位置，其中这些位置基于旋转台110的精确角位置来确定。此外，旋转台110被配置为提供准确的旋转，使得台的晃动较小(例如，与旋转轴126的偏差最小)。因此，系统100被配置成从旋转台110的多个精确已知的位置扫描物体。这从各种成像角度为物体的整个表面区域提供三维表面数据120。
本发明的实施例通常执行坐标变换以减小由机械漂移和其他测量不准确引起的误差。在本发明的使用多个扫描仪(例如扫描仪102(a)和102(b))的特征中，坐标变换将扫描仪坐标系中的每一个映射到世界坐标系。更具体地，但不是作为限制，校准制品被用于测量传感器光机械漂移的影响。每个扫描仪的报告的测量结果与关于校准制品的已知信息之间的差异可以被用于产生用于每个扫描仪的坐标变换，该坐标变换减小了该差异。如图1所示，数据处理器118包括场变换逻辑122。在一个实施例中，场变换逻辑122包括可由数据处理器118执行以配置系统100从而针对每个扫描仪产生坐标变换124的指令。如本文所使用的，术语刚体变换包括x、y、z的调整以及旋转。此外，“仿射变换”是保留直线并保持平行线平行的变换。此外，“投射变换”将线映射到线，但不一定维持平行性。要注意的是，诸如刚体变换和仿射变换的变换在机械漂移及其相关联的校正相对小的系统中是有益的。在本文中，在一个实施例中，但不是作为限制，多个扫描仪和大的机械漂移有必要使用投射变换。场变换逻辑122通常在系统100的操作期间执行，以校正自从三维非接触式扫描系统的制造和初始表征以来出现的机械漂移。
本文中提供的特定实施例通过使用场变换逻辑122来校准扫描系统100，该场变换逻辑122通常将来自每个扫描仪坐标系的数据映射到与旋转台110相关的坐标系。具体地，放置在旋转台上的校准制品的测量结果与所述制品的准确已知的几何形状进行比较。使用场变换逻辑122的一个特定系统还使用一个或多个球杆来校准旋转台110的轴正交性并产生校正结果。例如，可以限定测量体积，并且可以将一个或多个球杆(具有准确已知的几何形状)定位在限定的体积空间中。在扫描系统没有经历尺度误差或漂移的情况下并且当系统轴正交时，正确地报告球杆长度。
图1B示出了被配置以便与球杆一起使用的旋转台110的一个实施例，球杆总体以附图标记130示出。球杆由两个球202和刚性间隔件203组成。在坐标测量系统中使用球杆的一个示例见ASME标准B89.4.10360.2。如图1B所示，球杆130被移动到三个(或更多个)不同位置以在旋转台110的三个(或更多个)不同角度位置处对杆进行成像。更具体地，但不是作为限制，当台110旋转到不同的角位置时，在测量体积中的各种位置处测量球杆130。扫描仪102的测量体积被示例性地示为圆柱体，如附图标记136所指示的。
球杆130(a)被示例性地示为靠近测量体积136的顶部边缘被径向定位。另外，球杆130(b)靠近测量体积136的底部边缘被径向定位。此外，球杆130(c)被示为靠近限定测量体积136的圆柱体的竖直边缘被竖直定位。在场校准期间，用户可以使用顺序放置在几个位置(a，b，c)处的单个球杆130，或者可以同时使用三个球杆130(a，b，c)。要注意的是，球杆不需要相对于旋转台110被精确定位。相应地，用户可以将校准制品放置在感测体积中的任意位置处，并且系统将使校准制品扫过大部分感测体积(如果不是全部的话)，以得到各种扫描。这意味着校准制品不需要放置在台上的预定位置或取向上以进行有效的校准。
在系统100的操作中，在一个实施例中，执行第一扫描并且针对球杆130中的每一个及其在旋转台110上的对应角位置产生第一测量数据120。通过在几个不同的台110位置处测量球杆130，有可能从大部分的测量体积136收集数据。如果(多个)扫描仪102已经从其原始出厂校准状态扰动(例如，尺度或轴正交性的误差)，则可能在测量数据120中发现几个异常；例如，球杆130的长度可能是不正确的或者看起来随着台110的旋转而变化，各个球可能看起来环绕旋转轴126沿椭圆进行轨道运转，球可能看起来环绕从旋转台轴偏移的轴进行轨道运转，或者球可能看起来围绕轴126在它们的轨道上晃动。通过注意这些误差，数据处理器118可以计算从扫描仪102测量空间到校正的世界坐标系的空间映射(例如投射变换)。
根据本文所述的特征使用的球杆是有利的，因为它们坚固且便宜。例如，可以使用具有任意已知测量结果且相对于旋转台110处于任意取向的任意数量的球杆。然而，球杆的使用可能需要重新定位所述杆以适当地捕获完整的测量数据。
图1C示例性地示出了偏离真实的旋转轴126的错估的旋转轴127。当球202围绕轴126进行轨道运转时，它将遵循近似理想的圆形(因为旋转台具有小的晃动)。如果由于系统校准误差，旋转轴127的估计位置偏离真实轴126，则估计的旋转半径将随着台的旋转而变化。在计算最佳场校准校正时，将包括这种变化的旋转半径。
图1D示例性地示出了从实际旋转轴126倾斜的错估的旋转轴127。球202围绕轴126的轨道形成垂直于126的平面。如果由于系统校准误差，旋转轴127的估计角度偏离真实轴126，则旋转平面将看上去相对于估计轴127倾斜。球202沿轴的位置将看上去随着台的旋转而变化。当计算最佳场校准校正时，将包括沿旋转轴的变化位置129。
图1E示例性地示出了校准中的误差，该误差导致轴之间的尺度差或轴之间的正交性误差。这些误差将使围绕轴126进行旋转的球202看上去遵循椭圆形轨道而不是圆形轨道。
图1F示例性地示出了从台位置θ1移动到台位置θ2的弦长的计算，即球202由于旋转台角度的变化而移动的距离。球在两个台角度之间移动测得的距离简单地作为测得的球心位置之间的欧几里德距离。可以根据旋转半径和台角度的差来计算球移动的真实距离：估计旋转轴126的误差或轴缩放或正交性的误差将导致测量值和真实值之间的不匹配。在计算最佳场校准校正时，将包括真实距离与测量距离之间的差。
图2A示例性地示出了根据本发明的一个实施例的球板200形式的校准制品，该校准制品被配置用于校准系统100。如上所述，球杆在其与扫描系统一起使用时是受到限制的。球板200解决了这种球杆的局限性。
球板200示例性地包括任意数量的球体202(n1)，(n2)，(n3)..(ni)。在所示的示例中，球板200包括从板200的两侧突出的10个球体202。当使用例如感测组件102(a)和102(b)观察板200时，球体202从所有角度可见。在一个实施例中，球体的中心是基本上共面的。然而，可以实施本发明的这样的实施例：其中校准制品不是板而实际上是不具有共面中心的球的星座。在制造板200时精确测量板200的每个球体202。因此，每个球体202的测得的直径和X、Y、Z中心位置可以用作执行系统100的场校准的已知数据。下面描述的算法将球板视为一组球杆，其中任何一对球用作单独的球杆。有效地，球板200的所示示例提供45个球对(例如，球体中心之间的距离的45个测量结果，诸如通过有效地提供制造到板200中的45个球杆)。在一个实施例中，球板200包括具有第一直径的第一多个球和具有大于第一直径的第二直径的第二多个球，以便明确地确定扫描数据中的球板取向。
如图2B所示，球板200放置在旋转台110上。如上所述，系统100使用扫描仪从多个旋转位置扫描台110上的物体(在这种情况下是球板200)以计算与球体202之间的距离对应的测量结果。以这种方式，球板200有效地扫过(多个)扫描仪102的整个测量体积。注意，即使球板200稍微变形，球之间的距离也是相对稳定的。为了扫描球板200，第一扫描可以在围绕旋转轴126的第一角位置处发生，其中该角位置由位置编码器114(图1中示出)精确地测量。与球杆的一些使用不同，球板200被配置成放置在系统100中以便进行成像和数据收集，而无需任何进一步的手动干预。另外，虽然一些球杆在其被测量的能力上受到限制(例如，在使用三个球杆的情况下，唯一可收集的校准数据是这三个位置的测量数据)，但是球板200提供密集的表面特性，并且因此提供校准测量结果的精细粒度。
还应注意的是，本公开提供用于获得校准制品的已知的准确测量结果的改进特征。在校准制品是球板200的实施例中，如图2A和图2B所示，球板200可以包括机器可读视觉标记204。机器可读视觉标记204可以是由系统100感测的各种视觉标记中的任何一种，以向系统提供球体202的已知的准确位置。在一个实施例中，但不是作为限制，视觉标记204包括矩阵条形码，诸如快速响应码在对视觉标记204进行成像和处理时，系统100可以被配置为获得描述特定球板和球体位置的信息。该信息可以被直接编码在中，或者可经由向数据库查询与标记204匹配的数据和/或元数据来获得。例如，系统100从系统100的本地数据库、远程数据库或分布式数据库获得校准制品测量结果，该校准制品测量结果对应于由感测视觉标记204识别的特定制品。在另一实施例中，球杆130包括与关于球板200所讨论的视觉标记和视觉标记204类似的视觉标记。更具体地，但不是作为限制，扫描仪102(a)或102(b)检测视觉标记204并向控制器116提供输出，控制器116进一步将所述感测输出提供给数据处理器118。数据处理器118包括：配置系统以查询数据库从而识别与感测视觉标记204对应的测量结果并且因此识别球板200的准确测量结果的指令。
如上所述，可以利用系统100执行各种变换，以从未校正空间映射到校正空间。系统100的这些变换及其相关联的操作将在下面参考图3进一步讨论。
图3示出了说明根据本发明的实施例的校准三维非接触式扫描系统的方法的框图。在框302处，该方法示例性地包括配置用于在扫描系统中成像的校准制品。配置扫描系统中的校准制品(例如球板200和/或球杆103)可以包括将(多个)制品定位在台上，如框316所示。
在框304处，该方法示例性地包括收集对应于扫描仪坐标的原始数据。收集原始数据通常是指感测由扫描仪中的一个或多个相机成像或以其他方式检测的物体的表面特性。如上所述，每个扫描仪都具有自己的坐标系，并且因此原始测量数据取决于该坐标系。如框320所示，收集原始数据包括用扫描仪(诸如扫描仪102(a)和/或102(b)来扫描校准制品。例如，系统100相对于特定扫描仪的坐标系来感测校准物体。收集原始数据进一步示例性地包括从多个台位置收集数据。例如，旋转台被旋转到各种角位置。旋转台的旋转允许可观察物体的所有表面特征。此外，旋转台的精确位置由耦合到台的位置编码器确定。如图3所示，收集原始数据可以包括收集对应于被成像的校准工件的多个不同位置的数据。校准制品(诸如球杆)可以被移动到限定的测量区域内的各种位置，从而提供更密集的数据收集。如框326所示，收集原始数据可以进一步包括通过选择不同的扫描仪以不同的视角从多个扫描仪收集原始测量数据。例如，一个扫描仪可以被配置为观察从校准制品的顶部部分反射的光，而另一扫描仪可以被配置成观察从物体的底部部分反射的光。在美国专利No.8,526,012中提供了具有上部扫描仪和下部扫描仪的装置的示例。其他步骤328也可以或被替代地用于促进收集扫描仪系统坐标内的原始数据。例如，收集的其他数据328包括以下任何一项：球体测量结果、序列号、时间、温度、日期等。
在框306处，该方法示例性地包括获得已知制品测量数据。首先要注意的是，已知制品测量数据可以包括制品的精确已知为准确的任何测量数据(例如，在制造制品时用准确的仪器测量的)。在框330的一个示例中，扫描系统感测基于感测的识别被成像的当前制品。虽然是可以提供在校准制品的表面上以便感测的一种类型的视觉标记，但是也可以或替换地使用各种其他视觉标记。矩阵码(诸如)可以包含制品识别信息和实际制品测量数据(球X、Y、Z位置和直径)。另外，根据本发明的实施例，也可以使用其他类型的标识符，诸如RFID标签。框330可以进一步包括向数据库查询与识别的校准制品对应的已知制品测量数据，如框332处示例性地所示。在框334处，除了或替换以上所讨论的机制，还可以使用用于获得已知制品测量数据的其他机制。例如，操作者可以手动输入被成像的制品的已知测量数据。在特定实施例中，三维非接触式扫描系统基于感测的视觉标记(例如，)自动识别制品，并且进一步自动检索相关数据。
继续框308，该方法包括将收集的原始数据(例如，使用扫描仪坐标系感测的原始数据)与获得的已知校准制品测量数据进行比较。当然，可以在两个数据集之间进行各种比较。在一个实施例中，根据框310，识别扫描系统的自由度并将其用于计算收集的原始数据与已知制品数据之间的误差。另外，例如，可以产生一个或多个点云。如本文所使用的，点云通常包括成像物体的表面的测量特性的集合。这些表面测量结果被转换到三维空间以产生点云。要注意的是，所产生的点云是相对于它们各自的感测系统的。例如，扫描仪坐标系(例如，扫描仪视场内的三维空间中的坐标)可以变化，尤其是当系统老化和经历机械漂移时。因此，测量表面位置与预期表面位置之间的计算偏差可以向系统提供已经随时间漂移且需要在场中重新校准的(扫描仪中的一个的)特定坐标系的指示。
如框310处所示，计算误差通常包括计算与扫描仪坐标系相关的扫描仪数据与在扫描仪坐标系内被成像的校准制品的已知测量数据之间的变化。现在将讨论可以根据框310执行的误差计算的几个示例。在框336处，计算距离误差。距离误差通常包括收集的原始测量距离(例如，球板200中的两个球体202中心之间的感测距离)与获得的准确测量距离之间的计算差。计算误差还示例性地包括计算旋转半径误差，如框338处所示。例如，校准制品的球体或球将在扫描系统内以恒定半径旋转(例如，在具有最小晃动的台上)。这样，当由于机械漂移而出现校准误差时，例如，框338包括计算每个制品(例如球体或球)在围绕旋转台的每个旋转角处的半径的变化。此外，该方法包括识别制品物体的沿着旋转轴的方向的变化。根据框340，计算误差示例性地包括当校准制品在台上旋转时计算沿着校准制品的旋转轴(例如，Y旋转轴126)的位置的误差或变化。当校准制品围绕旋转轴旋转时，校准制品环绕由测量体积部分限定的旋转轨道。如框342处所示，该方法示例性地包括：计算在校准制品特征围绕轨道旋转时其弦长的误差。例如，校准制品行进的总轨道距离应该与球在没有机械漂移或其他测量不准确性的情况下旋转时该球的测量弦距相匹配。仅作为示例而非作为限制，可以将测量到的弦长与已知测量结果进行比较，以通过使用下列等式来计算误差：
当然，可以使用各种附加或替换的误差计算。在框344处示出了其他误差计算。
继续框312，该方法示例性地包括生成空间映射，诸如投射变换，以最小化计算误差的和。根据本发明的实施例，可以使用各种技术来生成坐标变换。在一个实施例中，框312包括确定用于产生坐标变换的合适的算法。例如，在方法在框310处确定计算误差相对小的情况下，可以采用坐标变换来使用刚体或仿射变换将扫描仪坐标中的点转换为世界坐标中的点。等式2A是仿射变换矩阵阵列的示例：
如果误差较大，则可以使用如等式2B中所示的投射阵列：
如等式2所示，Xw是世界位置(即，与旋转台相关的位置)，而Xc是扫描仪坐标系[x，y，z，1]T中的点位置。等式2从XC映射到Xw。
可以使用最小二乘算法来计算变换矩阵中的值，如框348处所示。可以根据框312使用的最小二乘算法的一个示例是Levenberg-Marquardt算法。在该算法和类似算法中，最小化感测的测量值与获得的已知校准测量值之间的偏差(例如误差)的平方和。
另外，在确定机械漂移很大的示例系统中(例如，误差计算指示扫描仪坐标系测量输出与已知测量结果之间的大的偏差)，生成坐标变换示例性地包括使用诸如多项式的三变量函数。多项式允许校正在感测系统中存在大的机械变化时可能出现的非线性误差。这在框350中示出。这样，投射变换不再是线性代数方程。而是，在一个示例中，使用具有以下函数的一组三个多项式，其中下标W指示世界坐标，而下标C指示扫描仪坐标。
xW＝Fx(xc，yc，zC) 等式3
yw＝Fy(xc，yc，zC) 等式4
zW＝Fz(xc，yc，zC) 等式5
在框314处，该方法示例性地包括基于所产生的坐标变换来校正扫描系统的步骤。在一个实施例中，框314包括：使用投射变换将使用扫描仪坐标系获得的数据(其中坐标系经确定产生测量不准确性，例如框310)映射到与旋转台相关的世界坐标系。例如，除了确定由工厂校准的扫描仪坐标系感测的测量结果与已知在台的各种精确位置处准确的测量结果之间的偏差(例如，误差)之外，根据本文的实施例的系统和方法使用坐标变换校准场中的扫描仪坐标系。这样，当每个坐标系单独变化时，偏差可以用于校正每个扫描仪坐标系内的机械漂移。在框352处指示基于变换将扫描仪坐标系映射到世界坐标系。
在针对每个扫描仪确定坐标变换的情况下，系统可以使用该变换来更准确地感测放置在扫描体积内的物体。因此，在确定坐标变换之后，它们被用于更准确地扫描放置在感测体积中的物体。上述的场校准可以以任何合适的间隔执行，诸如在扫描了一定数量的物体之后、在转变结束或开始时等等。
虽然到目前为止描述的实施例关注于获得用于校正每个扫描仪的坐标系的必要空间映射的单次操作，但是本发明的实施例还包括该方法的迭代。例如，该过程的总体结果是获得从扫描仪坐标(未校正的)到世界坐标(校正的)的空间映射。例如，等式：Xw＝PXC提供投射变换P，该投射变换将扫描仪坐标(XC)映射到世界坐标(XW)。
在一个实施例中，P的计算基于多个球体的测量的中心位置。首先，在扫描仪坐标系中测量球体的表面上的点，然后计算球体中心(仍然在扫描仪坐标系中)。然后将这些球体中心位置提供给最小二乘解算器以最小化误差以便获得P。通常，该方法通过在扫描仪坐标中找到球体的表面开始。然后，对于每个球体，计算所识别的表面的中心(在扫描仪坐标系中)。接下来，球体中心被用于计算P。在某些情况下，扫描仪校准或校正可能足够大，使得球体表面可能被扭曲得足够多而致使在找到真正的球体中心时存在小的但有意义的误差。迭代技术解决了这个问题。
迭代技术如下进行。首先，(1)在扫描仪坐标系中找到球体的表面。同样，(2)对于每个球体，计算中心(在扫描仪坐标系中)。接下来，(3)使用球体中心来计算P。在第一次迭代中，该步骤P接近正确但不精确。接下来，(4)将P应用于在步骤1中找到的球体表面(该表面现被近似相关)。接下来，(5)找到校正的球体表面的中心。接下来，(6)将校正的球体的中心位置移回到扫描仪坐标系：XC＝P-1XW，其中P-1是P变换的逆。接下来，使用更准确估计的球体中心来重复步骤3-步骤6，以更好地估计P。

Claims (29)

1.一种三维非接触式扫描系统，包括：
台；
至少一个扫描仪，被配置为扫描所述台上的物体；
运动控制系统，被配置为在所述至少一个扫描仪与所述台之间产生相对运动；
控制器，耦合到所述至少一个扫描仪和所述运动控制系统，所述控制器被配置为执行场校准，其中：
利用所述至少一个扫描仪以多个不同的取向扫描具有特征的制品，以产生与所述特征对应的感测测量数据，所述特征带有已知位置关系；
确定所述感测测量数据与所述已知位置关系之间的偏差；以及
基于确定的偏差，针对所述至少一个扫描仪中的每一个计算坐标变换，其中所述坐标变换减小所确定的偏差。
2.根据权利要求1所述的三维非接触式扫描系统，其中，所述台是旋转台，并且所述运动控制系统被配置为使所述旋转台围绕旋转轴旋转到多个精确的角位置。
3.根据权利要求2所述的三维非接触式扫描系统，进一步包括：
位置编码器，所述位置编码器可操作地耦合到所述旋转台并且被配置为感测所述旋转台的多个精确的角位置。
4.根据权利要求1所述的三维非接触式扫描系统，其中，所述制品是具有非共面中心的球体的星座。
5.根据权利要求1所述的三维非接触式扫描系统，其中，所述制品是球板。
6.根据权利要求5所述的三维非接触式扫描系统，其中，所述控制器进一步被配置为：
接收与所述球板对应的感测视觉标记的指示。
7.根据权利要求6所述的三维非接触式扫描系统，其中，所述控制器进一步被配置为：
基于所述感测视觉标记的指示，识别所述校准制品并向数据库查询与所识别的制品的特征对应的已知位置关系。
8.根据权利要求6所述的三维非接触式扫描系统，其中，所述控制器进一步被配置为识别所述校准制品以及与编码在所述视觉标记中的所识别的制品的特征对应的已知位置关系。
9.根据权利要求6所述的三维非接触式扫描系统，其中，所述感测视觉标记包括位于所述制品的表面上的矩阵码。
10.根据权利要求9所述的三维非接触式扫描系统，其中，至少一个扫描仪被配置为感测所述矩阵码并向所述控制器提供所感测的矩阵码的指示。
11.根据权利要求5所述的三维非接触式扫描系统，其中，所述球板包括多个球，所述多个球相对于彼此固定并且安装到板使得每个球从所述板的相对表面延伸。
12.根据权利要求11所述的三维非接触式扫描系统，其中，所述球板包括具有第一直径的第一多个球和具有第二直径的第二多个球，所述第二直径大于所述第一直径。
13.根据权利要求11所述的三维非接触式扫描系统，其中，所述球板被配置为直立使得所述板的平面呈竖直取向。
14.根据权利要求1所述的三维非接触式扫描系统，其中，所述至少一个扫描仪包括第一扫描仪和第二扫描仪，所述第一扫描仪被配置为从第一仰角扫描物体，所述第二扫描仪被配置为从第二仰角扫描物体，所述第二仰角不同于所述第一仰角。
15.根据权利要求14所述的三维扫描系统，其中，所述控制器被配置为：
产生包括所述第一扫描仪坐标系中的感测测量数据的第一多个扫描；
产生包括所述第二扫描仪坐标系中的感测测量数据的第二多个扫描；以及
产生将所述第一扫描仪坐标系映射到台空间的第一变换和将所述第二扫描仪坐标系映射到台空间的第二变换。
16.根据权利要求1所述的三维非接触式扫描系统，其中，所述控制器被配置为使用相对于所述至少一个扫描仪中的每一个的坐标变换来扫描后续物体，以提供对后续物体的校准扫描。
17.一种校准三维非接触式扫描系统的方法，所述方法包括：
在所述扫描系统的感测体积中放置具有多个特征的制品，所述多个特征带有已知位置关系；
利用至少一个扫描仪从多个不同的取向扫描制品，以获得感测测量数据，所述感测测量数据参照相应的扫描仪的坐标系；
确定所述感测测量数据与所述多个特征的已知位置关系之间的偏差；
基于所确定的偏差，针对所述至少一个扫描仪中的每个扫描仪生成相应的坐标变换，所述相应的坐标变换通过将所述相应的扫描仪坐标系映射到世界坐标系来减小所确定的偏差。
18.根据权利要求17所述的方法，其中，基于所确定的偏差的量值来选择坐标变换的类型。
19.根据权利要求18所述的方法，其中，所述坐标变换是刚体变换。
20.根据权利要求18所述的方法，其中，所述坐标变换是投射变换。
21.根据权利要求18所述的方法，其中，所述坐标变换是仿射变换。
22.根据权利要求18所述的方法，其中，所述坐标变换是多项式变换。
23.根据权利要求18所述的方法，其中，所述偏差是弦长的偏差。
24.根据权利要求17所述的方法，其中，所述偏差基于错估的旋转轴。
25.根据权利要求17所述的方法，其中，所述偏差基于轴之间的正交性误差。
26.根据权利要求17所述的方法，其中，所述偏差是球杆的长度。
27.根据权利要求17所述的方法，其中，所述偏差是球直径。
28.根据权利要求17所述的方法，其中，所述偏差是不同类型的偏差的和。
29.一种三维非接触式扫描系统，包括：
台，被配置为接收要扫描的物体；
第一扫描仪，被配置为从第一仰角扫描物体；
第二扫描仪，被配置为从第二仰角扫描物体，所述第二仰角不同于所述第一仰角；
运动控制系统，被设置为在所述台与所述第一扫描仪和所述第二扫描仪之间产生相对运动；
位置检测系统，耦合到所述运动控制系统，并且被配置为提供所述台相对于所述第一扫描仪和所述第二扫描仪的位置的指示；
控制器，耦合到所述第一扫描仪、所述第二扫描仪、所述运动控制系统和所述位置检测系统，所述控制器被配置为：
使所述第一扫描仪和所述第二扫描仪中的至少一个扫描在一组不同的位置的每一个处扫描所述台上的具有多个特征的球板，所述多个特征带有已知位置关系；
产生一系列测量结果，其中，所述一系列测量结果中的每个测量结果对应于所述一组位置内的特定位置；
产生将所述第一扫描仪的坐标系映射到所述台的坐标系的第一坐标变换和将所述第二扫描仪的坐标系映射到所述台的坐标系的第二变换。
CN201780016375.9A 2016-03-11 2017-03-10 三维非接触式扫描系统的场校准 Pending CN108780112A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662307053P 2016-03-11 2016-03-11
US62/307,053 2016-03-11
PCT/US2017/021783 WO2017156396A1 (en) 2016-03-11 2017-03-10 Field calibration of three-dimensional non-contact scanning system

Publications (1)

Publication Number Publication Date
CN108780112A true CN108780112A (zh) 2018-11-09

Family

ID=59787404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780016375.9A Pending CN108780112A (zh) 2016-03-11 2017-03-10 三维非接触式扫描系统的场校准

Country Status (6)

Country Link
US (1) US20170264885A1 (zh)
EP (1) EP3427070A4 (zh)
JP (1) JP6679746B2 (zh)
KR (1) KR102086940B1 (zh)
CN (1) CN108780112A (zh)
WO (1) WO2017156396A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351798A (zh) * 2018-12-21 2020-06-30 波音公司 使用非破坏性检查的动态位置数据校正
CN111829451A (zh) * 2019-04-15 2020-10-27 波音公司 用于工装夹具和固化后夹具校准的方法、系统和集管结构
CN114322847A (zh) * 2022-03-15 2022-04-12 北京精雕科技集团有限公司 单方向扫描传感器测量数据矢量化方法及装置
WO2023124707A1 (zh) * 2021-12-31 2023-07-06 思看科技(杭州)股份有限公司 三维扫描系统、工作精度监控方法及三维扫描平台

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107560547B (zh) * 2017-10-11 2024-06-28 杭州非白三维科技有限公司 一种扫描系统及扫描方法
CN108480871A (zh) * 2018-03-13 2018-09-04 武汉逸飞激光设备有限公司 一种电池模组焊接方法及系统
US11468590B2 (en) * 2018-04-24 2022-10-11 Cyberoptics Corporation Wireless substrate-like teaching sensor for semiconductor processing
CN110440708B (zh) * 2018-05-04 2024-06-07 苏州玻色智能科技有限公司 一种用于三维白光扫描设备的标准件及其标定方法
CN108805976B (zh) * 2018-05-31 2022-05-13 武汉中观自动化科技有限公司 一种三维扫描系统及方法
CN108765500A (zh) * 2018-08-27 2018-11-06 深圳市寒武纪智能科技有限公司 一种旋转台及机器人相机标定系统
EP3913913A4 (en) 2019-02-15 2022-10-19 Medit Corp. METHOD OF REPRODUCTION OF A SCAN PROCESS
NL2022874B1 (en) * 2019-04-05 2020-10-08 Vmi Holland Bv Calibration tool and method
CN110456827B (zh) * 2019-07-31 2022-09-27 南京理工大学 一种大型工件包装箱数字化对接系统及方法
US20220349708A1 (en) * 2019-11-19 2022-11-03 Hewlett-Packard Development Company, L.P. Generating error data
KR102166301B1 (ko) * 2019-11-29 2020-10-15 서동환 객체 인식 방법 및 장치
JP7041828B2 (ja) * 2020-06-05 2022-03-25 株式会社Xtia 光学式三次元形状測定装置の空間測定誤差検査器、空間測定誤差検出方法、及び、補正方法、光学式三次元形状測定装置、光学式三次元形状測定装置の空間測定誤差校正方法、並びに、光学式三次元形状測定装置のプロービング性能検査用平面標準器
JP7435945B2 (ja) * 2020-07-03 2024-02-21 株式会社OptoComb 光学式三次元形状測定装置の補正方法及び補正用基準器、並びに、光学式三次元形状測定装置
CN112179291B (zh) * 2020-09-23 2022-03-29 中国科学院光电技术研究所 一种自旋转扫描式线结构光三维测量装置标定方法
CN114543673B (zh) * 2022-02-14 2023-12-08 湖北工业大学 一种飞机起落架用视觉测量平台及其测量方法
WO2023235804A1 (en) * 2022-06-01 2023-12-07 Proprio, Inc. Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system
CN115752293B (zh) * 2022-11-22 2023-11-14 哈尔滨工业大学 一种航空发动机封严篦齿盘测量系统标定方法
CN115795579B (zh) * 2022-12-23 2023-06-27 岭南师范学院 无特征复杂曲面测量误差分析的快速坐标对齐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232649A (ja) * 2006-03-02 2007-09-13 Mitsubishi Heavy Ind Ltd 平板平面度測定方法及び装置
CN101882306A (zh) * 2010-06-13 2010-11-10 浙江大学 一种表面凹凸物体照片的高精度拼接方法
US8526012B1 (en) * 2012-04-17 2013-09-03 Laser Design, Inc. Noncontact scanning system
US20130278725A1 (en) * 2012-04-24 2013-10-24 Connecticut Center for Advanced Technology, Inc. Integrated Structured Light 3D Scanner
CN104765915A (zh) * 2015-03-30 2015-07-08 中南大学 三维激光扫描数据建模方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3637410A1 (de) * 1986-11-03 1988-05-11 Zeiss Carl Fa Verfahren zur messung von drehtischabweichungen
JP4423811B2 (ja) * 2001-04-27 2010-03-03 コニカミノルタセンシング株式会社 三次元形状測定システム及び三次元形状測定方法
JP2003107389A (ja) * 2001-10-01 2003-04-09 Minolta Co Ltd スキャナ駆動装置、スキャナ及び三次元計測装置
FI111755B (fi) * 2001-11-23 2003-09-15 Mapvision Oy Ltd Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi
US7280710B1 (en) * 2002-05-24 2007-10-09 Cleveland Clinic Foundation Architecture for real-time 3D image registration
JP3944091B2 (ja) * 2003-02-06 2007-07-11 パルステック工業株式会社 ３次元画像データ生成方法
DE10350861A1 (de) * 2003-10-31 2005-06-02 Steinbichler Optotechnik Gmbh Verfahren zur Kalibrierung eines 3D-Meßgerätes
FR2932588B1 (fr) * 2008-06-12 2010-12-03 Advanced Track & Trace Procede et dispositif de lecture d'une caracteristique physique sur un objet
JP5310402B2 (ja) * 2009-09-02 2013-10-09 日本電気株式会社 画像変換パラメータ算出装置、画像変換パラメータ算出方法およびプログラム
EP2523017A1 (de) * 2011-05-13 2012-11-14 Hexagon Technology Center GmbH Kalibrierverfahren für ein Gerät mit Scanfunktionalität
KR101418462B1 (ko) * 2013-02-26 2014-07-14 애니모션텍 주식회사 3차원 측정기를 이용한 스테이지 캘리브레이션 방법
JP6253368B2 (ja) * 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
KR101553598B1 (ko) * 2014-02-14 2015-09-17 충북대학교 산학협력단 스테레오비전 3차원 영상생성장치 및 방법
JP6289283B2 (ja) * 2014-06-20 2018-03-07 株式会社ブリヂストン 円環状回転体の表面形状データの補正方法、及び、円環状回転体の外観検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007232649A (ja) * 2006-03-02 2007-09-13 Mitsubishi Heavy Ind Ltd 平板平面度測定方法及び装置
CN101882306A (zh) * 2010-06-13 2010-11-10 浙江大学 一种表面凹凸物体照片的高精度拼接方法
US8526012B1 (en) * 2012-04-17 2013-09-03 Laser Design, Inc. Noncontact scanning system
US20130278725A1 (en) * 2012-04-24 2013-10-24 Connecticut Center for Advanced Technology, Inc. Integrated Structured Light 3D Scanner
CN104765915A (zh) * 2015-03-30 2015-07-08 中南大学 三维激光扫描数据建模方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351798A (zh) * 2018-12-21 2020-06-30 波音公司 使用非破坏性检查的动态位置数据校正
CN111829451A (zh) * 2019-04-15 2020-10-27 波音公司 用于工装夹具和固化后夹具校准的方法、系统和集管结构
CN111829451B (zh) * 2019-04-15 2024-05-31 波音公司 用于工装夹具和固化后夹具校准的方法、系统和集管结构
WO2023124707A1 (zh) * 2021-12-31 2023-07-06 思看科技(杭州)股份有限公司 三维扫描系统、工作精度监控方法及三维扫描平台
CN114322847A (zh) * 2022-03-15 2022-04-12 北京精雕科技集团有限公司 单方向扫描传感器测量数据矢量化方法及装置

Also Published As

Publication number Publication date
EP3427070A1 (en) 2019-01-16
US20170264885A1 (en) 2017-09-14
KR102086940B1 (ko) 2020-03-09
WO2017156396A1 (en) 2017-09-14
KR20180107324A (ko) 2018-10-01
JP2019507885A (ja) 2019-03-22
EP3427070A4 (en) 2019-10-16
JP6679746B2 (ja) 2020-04-15

Similar Documents

Publication Publication Date Title
CN108780112A (zh) 三维非接触式扫描系统的场校准
JP4418841B2 (ja) 作業装置及びその校正方法
JP5623347B2 (ja) 反射面の形状測定方法及びシステム
CN101995231B (zh) 一种大型薄壳物体表面的三维检测系统及其检测方法
US8629902B2 (en) Coordinate fusion and thickness calibration for semiconductor wafer edge inspection
CN107407557B (zh) 附接至坐标测量装置的可移动部分上的旋转装置的校准
KR20220080011A (ko) 고정밀 교정 시스템 및 방법
Che et al. A ball-target-based extrinsic calibration technique for high-accuracy 3-D metrology using off-the-shelf laser-stripe sensors
CN106017313A (zh) 边缘检测偏差校正值计算、边缘检测偏差校正方法及设备
CN105960569A (zh) 使用二维图像处理来检查三维物体的方法
JP2013524185A (ja) 表面測定測定機のための測定方法
CN107110645A (zh) 用于确定作用在旋转设备上的转矩或作用于旋转设备上的力的方法
US20080123110A1 (en) Multifaceted digitizer adapter
CN105937918A (zh) 用于确定位置的系统
JP5270138B2 (ja) 校正用治具及び校正方法
SE509005C2 (sv) Förfarande och arrangemang för beröringsfri inmätning av den tre-dimensionella formen hos detala objekt
CN106796104A (zh) 形状测量装置以及形状测量方法
CN112894490B (zh) 基于旋转l型阵列实现数控机床垂直度误差检测的方法
CN105758339B (zh) 基于几何误差修正技术的光轴与物面垂直度检测方法
JP2009300366A (ja) ロータリエンコーダと角度補正方法
CN105841636B (zh) 基于直线运动部件误差补偿的光轴与物面垂直度检测方法
JP3540321B2 (ja) イメージ取得システムによって得られた三次元測定値を相関させるための方法及びそれを実現するための装置
JP2023549658A (ja) 物体表面の高精度な位置決め方法およびシステム
JP3928213B2 (ja) ３次元計測方法及び装置
CN101208580A (zh) 绘制表面轮廓

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181109

RJ01 Rejection of invention patent application after publication