CN106197309A - 测量装置、计算方法、系统和物品的制造方法 - Google Patents
测量装置、计算方法、系统和物品的制造方法 Download PDFInfo
- Publication number
- CN106197309A CN106197309A CN201610365053.2A CN201610365053A CN106197309A CN 106197309 A CN106197309 A CN 106197309A CN 201610365053 A CN201610365053 A CN 201610365053A CN 106197309 A CN106197309 A CN 106197309A
- Authority
- CN
- China
- Prior art keywords
- image
- determinand
- signal
- processing unit
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
- B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及测量装置、计算方法、系统和物品的制造方法。本发明提供的用于测量待测物的形状的测量装置,包括被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息的处理单元,其中,处理单元从图像的与暗部对应的区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号。
Description
技术领域
本发明涉及用于测量待测物的形状的测量装置、计算方法、系统和物品的制造方法。
背景技术
存在已知的如下的测量装置,该测量装置经由诸如投影仪的投影单元将线图案光(诸如空间编码方法的线图案光)投影到待测物上并且基于通过成像单元获得的反射光的位置根据三角测量原理获得三维坐标。在该测量装置中,待测物的材料容易影响测量结果。
例如,在工业制造的领域中,树脂有时作为待测物被处理。当待测物是树脂时,投影到待测物上的光入射到待测物的内部并且在其中散射,即,出现所谓的内部散射。如果出现这种内部散射,那么,除了来自待测物表面的表面散射光以外,来自待测物的反射光还包含来自待测物的内部的内部散射光。由于内部散射光包含与表面散射光不同的距离处的散射光,因此,测量装置计算出与待测物的表面位置不同的测量值。因此,内部散射光在测量装置中表现为系统误差,并且降低测量精度。
因此,在“S.K.Nayer et al.Fast Separation of Direct and GlobalComponents of a Scene Using High Frequency Illumination.SIGGRAPH Jul,2006”(文献1)中提出用于减少内部散射的影响的技术。在该技术中,包含明部和暗部且具有空间高频率的图案光被投影到作为待测物的树脂上,并且从包含表面散射成分和内部散射成分的明部中的强度分布减去包含内部散射成分的暗部中的强度分布。如上所述,文献1描述了从明部中的强度分布减少内部散射成分使得能够减少通过测量装置获得的三维坐标在待测物的内部的方向上系统偏移的误差(系统误差)。
不幸的是,文献1没有关于图案光的空间频率与内部散射或表面散射之间的关系的实际公开。例如,当图案光的空间频率低时,暗部中的强度分布不包含内部散射成分,因此,包含在明部中的强度分布中的内部散射成分不能被适当地去除。另一方面,当图案光的空间频率高时,当考虑包含散焦的光学点图像强度分布时,明部空间扩展,因此,暗部中的强度分布包含表面散射成分。因此,如果从明部中的强度分布减去暗部中的强度分布,那么也从明部中的强度分布减去表面散射成分,因此,不能适当地去除内部散射成分。如上所述,文献1不能总是最佳地减少待测物中的内部散射的影响,即,降低测量装置的测量精度的系统误差。
发明内容
本发明提供有利于精确地测量待测物的形状的测量装置。
根据本发明的第一方面,提供一种用于测量待测物的形状的测量装置,该测量装置处理单元,该处理装置被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像,来获得关于待测物的形状的信息,其中所述处理单元从图像的与暗部对应的区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号,获得指示对多个校正信号的评价的评价值,所述多个校正信号通过使用所述多个第一信号校正从图像的与明部对应的区域获得的并且代表在第二方向上的光强度分布的第二信号来获得,以及,通过使用具有落在允许范围内的评价值的校正信号获得所述信息。
根据本发明的第二方面,提供一种计算待测物的形状的计算方法,该计算方法包括:通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像,获得图像;基于所述图像获得关于待测物的形状的信息,其中获得信息包含:从图像的与暗部对应的区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号;获得指示对多个校正信号的评价的评价值,所述多个校正信号通过使用所述多个第一信号校正从与图像的明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号来获得;以及通过使用具有落在允许范围内的评价值的校正信号来获得所述信息。
根据本发明的第三方面,提供一种用于测量待测物的形状的测量装置,所述测量装置包括处理单元,所述处理单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,其中所述图案光包含第一方向上的长度不同的多个暗部,以及处理单元从图像的与所述多个暗部对应的多个区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号,以及,通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得所述信息。
根据本发明的第四方面,提供一种计算待测物的形状的计算方法,所述计算方法包括:通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像,来获得图像;基于所述图像来获得关于待测物的形状的信息,其中,图案光包含第一方向上的长度不同的多个暗部,以及获得所述信息包含:从图像的与所述多个暗部对应的多个区域获得相互不同且指示在与第一方向相交的第二方向上的强度分布的多个第一信号;和通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得所述信息。
根据本发明的第五方面,提供一种系统,该系统包括:测量装置,被配置为测量待测物;和机器人,被配置为基于来自测量装置的测量结果来保持和移动待测物,其中,测量装置测量待测物的形状,并且包括处理单元,所述处理单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,其中处理单元从图像的与暗部对应的区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号,获得指示对多个校正信号的评价的评价值,所述多个校正信号通过使用所述多个第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号来获得,以及,通过使用具有落在允许范围内的评价值的校正信号来获得所述信息。
根据本发明的第六方面,提供一种系统,该系统包括:测量装置,被配置为测量待测物;和机器人,被配置为基于来自测量装置的测量结果来保持和移动待测物,其中测量装置测量待测物的形状,并且包括处理单元,所述测量单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,其中图案光包含第一方向上的长度不同的多个暗部,以及处理单元从图像的与所述多个暗部对应的多个区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号,以及,通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得信息。
根据本发明第七方面,提供一种物品的制造方法,该制造方法包括:通过使用机器人保持和移动被测量装置测量的待测物;通过加工或组装被移动的待测物,来制造物品,其中测量装置测量待测物的形状,并且包括处理单元,所述处理单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,其中,处理单元从图像的与暗部对应的区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号,获得指示对多个校正信号的评价的评价值,所述多个校正信号通过使用多个第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号来获得,以及,通过使用具有落在允许范围内的评价值的校正信号来获得所述信息。
根据本发明的第八方面,提供一种物品的制造方法,该制造方法包括:通过使用机器人来保持和移动被测量装置测量的待测物;通过加工或组装被移动的待测物,来制造物品,其中测量装置测量待测物的形状,并且包括处理单元,所述处理单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,其中图案光包含第一方向上的长度不同的多个暗部,以及处理单元从图像的与所述多个暗部对应的多个区域获得相互不同且指示在与第一方向相交的第二方向上的光强度分布的多个第一信号,以及,通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得所述信息。
根据以下参照附图对示例性实施例的描述,本发明的其它特征将变得清晰。
附图说明
图1是表示作为本发明的一个方面的测量装置的布置的示意图。
图2是表示通过图1所示的测量装置的掩模产生的图案光的例子的示图。
图3是表示通过对图案光进行成像获得的图像的例子的示图。
图4是表示从图3所示的图像的明部获得的强度分布的例子的示图。
图5是表示明部中的测量信号、明部中的表面散射信号、明部中的内部散射信号和暗部中的测量信号的例子的示图。
图6是表示明部中的测量信号、明部中的表面散射信号、明部中的内部散射信号和暗部中的测量信号的例子的示图。
图7是表示明部中的测量信号、明部中的表面散射信号、明部中的内部散射信号和暗部中的测量信号的例子的示图。
图8是表面暗部的Y轴方向上的长度、包含于校正信号中的系统误差与校正信号的对称性之间的关系的示图。
图9是表面暗部的Y轴方向上的长度、包含于校正信号中的系统误差与校正信号的对称性之间的关系的示图。
图10是表面暗部的Y轴方向上的长度、包含于校正信号中的系统误差与校正信号的对称性之间的关系的示图。
图11是用于解释图1所示的测量装置中的测量处理的流程图。
图12是用于解释图1所示的测量装置中的测量处理的流程图。
图13是用于解释由待测物反射的光的成像表面上的强度分布的示图。
图14是表示包含测量装置和机器人的系统的示图。
具体实施方式
以下将参照附图描述本发明的优选实施例。注意,在所有附图中,相同的附图标记表示相同的部件,并且将不给出其重复描述。
图1是表示作为本发明的一个方面的测量装置的布置的示意图。测量装置100基于三角测量的原理测量待测物5的形状。如图1所示,测量装置100包含投影单元1、成像单元3和处理单元4。在测量装置100中,投影单元1将编码光(即图案光)投影到待测物5上,并且,处理单元4根据通过用成像单元3将图案光成像获得的图像获得待测物5的三维坐标点数据(关于待测物5的形状的信息)。处理单元4具有通过在待测物5的预登记CAD模型上拟合三维坐标点数据来获得待测物5的位置或姿势的功能。
以下将参照图13解释在用于基于三角测量的原理测量待测物的形状的一般测量装置中当待测物是树脂时出现的系统误差。当待测物是树脂时,在成像单元(的成像表面)上形成来自待测物的表面的表面散射光的图像和来自待测物内部的内部散射光的图像,因此,测量结果包含由于内部散射的影响导致的系统误差。
图13是用于解释从投影单元投影到待测物上并且由待测物反射的光的成像表面上的强度分布(光强度分布)的示图。将以待测物的内部具有多层结构且在成像表面上形成来自各层的散射光的图像的模型为例子,解释在成像表面上形成来自出现内部散射的待测物的反射光的图像的原因。
图13表示沿投影单元的光轴投影到待测物上的光在待测物内被散射和传播的状态。在光仅由待测物表面反射即在待测物中不出现内部散射的情况下,当光被投影到待测物上从而以Gaussian分布会聚时,例如,成像表面上的强度分布是对称强度分布。另一方面,当在待测物中出现内部散射时,如图13所示,来自待测物表面的散射光和来自待测物内的各层(即第一层、第二层和第三层)的散射光的图像在成像表面上重叠。因此,当来自待测物的表面的反射光强且通过内部散射产生的反射光在这些层中逐渐变弱时,成像表面上的强度分布是不对称强度分布。
假定成像表面上的强度分布被分类为来自待测物的表面散射和内部散射。在表面散射中,在成像表面上形成会聚到待测物表面并且从其反射的光的图像,因此成像表面上的强度分布(的宽度)窄。另一方面,内部散射扩展光(即,没有光被会聚在待测物的任何层),因此,成像表面中的强度分布加宽。并且,在内部散射中,在成像表面上获得进入了待测物的光的散射光。因此,在成像表面上,在与表面散射的峰值不同的位置中出现内部散射的峰值。
例如,如图13所示,来自待测物内的第一层、第二层和第三层的散射光的成像表面上的图像形成位置从来自待测物表面的散射光的成像表面上的图像形成位置轻微偏移。因此,由于通过内部散射形成的光强度分布和通过表面散射形成的光强度分布在成像表面上重叠,因此获得不对称的强度分布。
另一方面,当仅出现表面散射时,在成像表面获得的强度分布仅是通过表面散射形成的光强度分布。因此,可通过例如对强度分布执行重心检测,精确地获得待测物的形状。但是,当出现内部散射时,如果单纯地对不对称的强度分布执行重心检测,那么,由于强度分布的不对称性,获得待测物内的位置的形状。如上所述,如果出现内部散射,那么在待测物的内部的方向上出现在统计上偏移的误差,即,出现系统误差,因此,不能精确地获得待测物的形状。
因此,本实施例的测量装置100通过最佳地减少由待测物5的内部散射导致的不对称强度分布的影响(系统误差)来实现诸如树脂的待测物5的形状的高精度测量。在测量装置100中,投影到待测物5上的图案光沿第一方向交替包含明部和暗部。在通过对投影到待测物5上的图案光进行成像获得的图像中,从与图案光的暗部对应的区域获得相互不同且指示在与第一方向相交的第二方向(例如,与第一方向垂直的方向)上的强度分布的多个第一信号。并且,在通过对投影到待测物5上的图案光进行成像获得的图像中,通过使用多个第一信号,校正从与图案光的明部对应的区域获得的且代表第二方向上的强度分布的第二信号,由此获得多个校正信号。然后,对多个校正信号中的每一个的质量(评价)获得评价值,并且通过使用具有落入允许范围内的评价值的校正信号,获得关于待测物5的形状的信息。这使得能够从图案光的明部中的强度分布最佳地减少内部散射的影响。
以下将详细解释测量装置100的实际布置。投影单元1包含光源8、照明光学系统9、掩模10和投影光学系统11。照明光学系统9是用于用从光源8发射的光均匀地照射掩模10的光学系统,例如,通过Koehler照明照射掩模10。通过例如在玻璃基板上溅射铬并且蚀刻铬,在掩模10上形成用于产生投影到待测物5上的图案的透过区域和遮光区域。投影光学系统11是用于将掩模10的图案投影到待测物5上的光学系统。
图2是表示由掩模10产生的图案光PL的例子的示图。在本实施例中,掩模10用作用于产生其中在X轴方向上周期性布置均沿Y轴方向(第一方向)包含明部PLa和暗部PLb的线的图案光PL的产生器。透过掩模10的透过区域的光和被掩模10的遮光区域遮蔽的光产生图案光PL,该图案光PL包含明部PLa和暗部PLb且投影到待测物5上。在本实施例中,图案光PL包含在Y轴方向上的长度Ly不同的多个暗部PLb。图案光PL的暗部PLb用作用于识别明部PLa的识别部分,并且该识别部分由多个点形成。如上所述,图案光PL是其中通过随机布置的多个暗部PLb(即,通过点)编码图案的点线图案光。编码的点线图案光实现作为用于识别被包含在通过成像单元3获得的图像中的各线的序数的代码的功能。
成像单元3包含成像光学系统6和成像元件7,并且获得投影到待测物5上的图案光PL的图像。成像光学系统6是用于在成像元件7上形成投影到待测物5上的图案光PL的图像的光学系统。成像元件7是用于将在成像表面上成像的图案光PL转换成图像的图像传感器。例如,成像元件7包含CMOS传感器或CCD传感器。
处理单元4基于通过成像单元3获得的图像获得关于待测物5的形状的信息。在本实施例中,处理单元4关联被包含在通过成像单元3获得的图像中的线,执行减少内部散射的影响的处理,并然后基于三角测量的原理获得待测物5的三维坐标点数据。
以下将详细解释在测量装置100中测量待测物5的形状的测量处理。首先,图案光PL的暗部PLb的长度Ly具有使由内部散射导致的系统误差最小化的最佳长度。以下将解释这一点。
图3是表示通过对投影到作为待测物5的树脂上的图案光PL进行成像所获得的图像的例子的示图。在图3所示的该图像中,黑部是低强度区域,白部是高强度区域。X=0上的强度最大的部分是明部,X=0上的强度最小的部分是暗部。图4是表示从图3所示的明部获得的X轴方向(与第一方向垂直的第二方向)上的强度分布的例子的示图。图4所示的该强度分布从X=0扩展到负侧,并由此在X轴方向上双侧不对称。
图5、图6和图7是各自表示作为X=0上的明部的间隔的、暗部的Y轴方向上的长度改变时,明部中的测量信号、明部中的表面散射信号、明部中的内部散射信号和暗部中的测量信号的例子的示图。明部中的测量信号是代表从与明部对应的区域(更具体而言,从该区域的Y轴方向上的中心部分)获得的X轴方向的强度分布的信号(第二信号)。类似地,暗部中的测量信号是代表从与暗部对应的区域(更具体而言,从该区域的Y轴方向上的中心部分)获得的X轴方向上的强度分布的信号(第一信号)。并且,明部中的表面散射信号是代表与明部对应的区域中的表面散射光的X轴方向上的强度分布的信号。明部中的内部散射信号是代表与明部对应的区域中的内部散射光的X轴方向上的强度分布的信号。
当暗部在Y轴方向上具有特定长度时,被包含在通过用暗部中的测量信号校正明部中的测量信号获得的校正信号中的系统误差被最小化。以下将参照图5~7解释这一点。假定通过计算明部中的测量信号与暗部中的测量信号之间的差值,获得校正信号。还假定暗部的Y轴方向上的长度以图5、图6和图7的次序增加。换句话说,暗部的Y轴方向上的长度在图5中最小、在图7中最长且在图6中介于两者之间。
参照图5,除了暗部中的内部散射成分以外,暗部中的测量信号还包含通过明部中的点图像分布空间扩展的表面散射成分,原因是暗部的Y轴方向上的长度最小。因此,当从明部中的测量信号减去暗部中的测量信号时,从明部中的测量信号不仅减去内部散射成分而且减去表面散射成分(即,不能仅减去内部散射成分),因此出现系统误差。
参照图7,暗部中的测量信号不比明部中的内部散射信号大。这是由于暗部的Y轴方向上的长度大,因此,从明部空间扩展的内部散射光不进入暗部的中心部分。因此,通过从明部中的测量信号减去暗部中的测量信号获得的校正信号不与明部中的表面散射信号匹配。
但是,参照图6,明部中的内部散射信号和暗部中的测量信号几乎匹配。这使得能够适当地从明部中的测量信号去除内部散射成分。图8中的点线表示暗部的Y轴方向上的长度与被包含在通过计算明部中的测量信号与暗部中的测量信号之间的差值获得的校正信号中的系统误差之间的关系。参照图8,当暗部在Y轴方向上具有图6的长度时,即,当暗部在Y轴方向上具有长度LyA时,被包含在校正信号中的系统误差最小。
如上所述,可通过用在Y轴方向上具有特定长度的暗部中的测量信号校正明部中的测量信号,从明部中的测量信号最佳地去除内部散射成分。这是由于,当用暗部中的测量信号校正明部中的测量信号时,为了从明部中的测量信号去除内部散射成分,在Y轴方向上存在暗部的最佳长度。
下面将解释从具有不同的Y轴方向上的长度的多个暗部中的测量信号选择用于最佳地校正明部中的测量信号的测量信号的方法。当通过将图案光PL投影到不出现内部散射的待测物5上来在成像单元3上形成仅表面散射光的图像时,通过成像单元3获得的强度分布是对称的强度分布,原因是不存在内部散射光。
在本实施例中,通过使用代表与图像的暗部对应的区域中的强度分布的测量信号,校正代表与通过对投影到存在内部散射的待测物5上的图案光PL进行成像获得的图像的明部对应的区域中的强度分布的不对称测量信号。如上所述,当通过使用具有特定的Y轴方向上的长度的暗部中的测量信号校正明部中的测量信号时,校正信号代表几乎仅有表面散射光的强度分布,因此,信号代表高度对称的强度分布。因此,在本实施例中,通过使用对称性作为评价值(指标),评价通过计算明部中的测量信号与暗部中的测量信号之间的差值获得的校正信号。
作为评价信号的(波型)的对称性的方法,存在各种评价方法。例如,可根据校正信号的重心位置与校正信号具有最大值的位置之间的偏移量来评价校正信号的对称性,并且还可根据校正信号具有最大值的半值的两个位置的中点位置与校正信号具有最大值的位置之间的偏移量来进行评价。还能够通过在概率理论或统计学上使用歪度(第三力矩)作为不对称性的指标,评价校正信号的对称性。
图8中的实线表示暗部的Y轴方向上的长度与通过计算明部中的测量信号与暗部中的测量信号之间的差值获得的校正信号的对称性之间的关系。在图8中,校正信号的重心位置与校正信号具有最大值的位置之间的偏移量被用作对称性的指标。参照图8,当使用使被包含在校正信号中的系统误差最小化的暗部测量信号时,校正信号的对称性最高。
图9和图10是各自表示针对其中出现不同类型的内部散射的待测物的、暗部的Y轴方向上的长度、被包含在校正信号中的系统误差与校正信号的对称性之间的关系的示图。参照图9和图10,如图8中的那样,当使用使被包含在校正信号中的系统误差最小化的暗部测量信号时,校正信号的对称性最高。这种在被包含在校正信号中的系统误差最小时校正信号增加对称性的趋势与待测物的类型无关。因此,可通过评价校正信号的对称性,选择用于最佳地校正明部测量信号的暗部测量信号。
将参照图11解释测量装置100中的测量处理。处理单元4通过全面控制测量装置100的各个单元来执行该测量处理。注意,当测量装置100被激活时,执行初始化处理。该初始化处理包括例如激活投影单元1和成像单元3的处理和设定诸如投影单元1和成像单元3的校准数据的各种参数的处理。
在步骤S1102中,投影单元1将图案光PL投影到待测物5上。在步骤S1104中,成像单元3获得投影到待测物5上的图案光PL的图像。
在步骤S1106中,基于在步骤S1104中获得的图像获得校正信号。具体而言,首先从与图案光PL的多个暗部PLb的Y轴方向上的中心部分对应的图像的多个区域中的每一个,获得代表X轴方向上的强度分布的测量信号(第一信号)。类似地,从与图案光PL的一个明部PLa的Y轴方向上的中心部分对应的图像的区域,获得代表X轴方向上的强度分布的测量信号(第二信号)。然后,通过计算明部PLa中的测量信号与多个暗部PLb中的多个测量信号之间的差值,获得多个校正信号。
在步骤S1108中,获得在步骤S1106中获得的多个校正信号中的每一个的对称性作为校正信号的质量的评价值。如上所述,可从校正信号的重心位置与校正信号具有最大值的位置之间的偏移量获得校正信号的对称性,并且还可从校正信号具有最大值的半值的两个位置的中点位置与校正信号具有最大值的位置之间的偏移量获得它。
在步骤S1110中,基于在步骤S1108中获得的对称性,选择具有落在允许范围内的对称性的校正信号。在本实施例中,选择与具有最高对称性的校正信号对应的暗部PLb中的测量信号。
在步骤S1112中,通过用在步骤S1110中选择的暗部PLb中的测量信号校正沿Y轴方向的各明部PLa中的测量信号,产生校正信号。具体而言,通过计算在步骤S1110中选择的暗部PLb中的测量信号与从与图案光PL的多个明部PLa对应的图像的多个区域获得的多个测量信号中的每一个之间的差值,产生校正信号。
在步骤S1114中,通过使用在步骤S1112中产生的校正信号,获得待测物5的三维坐标点数据。
在上述的本实施例中,通过从具有不同的Y轴方向上的长度的多个暗部PLb中的测量信号选择用于最佳地校正明部PLa中的测量信号的测量信号,执行校正。这使得能够减少明部PLa中的测量信号中的内部散射的影响。因此,测量装置100可精确地测量待测物5的形状。
并且,在本实施例中,从与具有不同的Y轴方向上的长度的多个暗部PLb对应的图像的多个区域,获得测量信号(第一信号)。但是,本发明不限于此。例如,如图2所示,还可从与沿Y轴方向距离暗部PLb的Y轴方向上的边缘Eg具有不同的距离Dt1~Dt4的暗部PLb的多个部分对应的图像的多个区域,获得测量信号(第一信号)。
并且,在图11中,基于图案光PL的一个明部PLa中的测量信号(第二信号),选择用于产生校正信号的暗部PLb中的测量信号(第一信号)。但是,即使在一个明部PLa中,X轴方向上的强度分布(即,测量信号)也有时在Y轴方向上从一个位置变化到另一个位置。为了在这种情况下最佳地校正明部PLa中的测量信号,必须通过针对明部PLa的Y轴方向上的各位置中的测量信号选择用于产生校正信号的暗部PLb中的测量信号来执行校正。
将参照图12来解释测量信号在图案光PL的一个明部PLa的Y轴方向上从一个位置变化到另一个位置时的测量处理。注意,图12所示的步骤S1202和S1204与图11所示的步骤S1102和S1104相同,因此将省略其详细解释。
在步骤S1206中,基于在步骤S1204中获得的图像,获得一个明部PLa的Y轴方向上的各位置处的校正信号。具体而言,从与沿Y轴方向离明部PLa的Y轴方向上的边缘的距离不同的一个明部PLa的多个部分对应的图像的多个区域,获得多个测量信号(第二信号)。并且,从与图案光PL的多个暗部PLb的Y轴方向上的中心部分对应的图像的多个区域,获得代表X轴方向上的强度分布的测量信号(第一信号)。然后,通过计算明部PLa的Y轴方向上的多个位置处的多个测量信号(第二信号)与多个暗部PLb中的多个测量信号(第一信号)之间的差值,获得多个校正信号。
在步骤S1208中,获得在步骤S1206中获得的多个校正信号中的每一个的对称性,作为校正信号的质量的评价值。
在步骤S1210中,对于一个明部PLa的Y轴方向上的各位置,基于在步骤S1208中获得的对称性从在步骤S1206中获得的多个校正信号选择具有落在允许范围内的对称性的校正信号。在本实施例中,选择具有最高对称性的校正信号。
在步骤S1212中,通过使用在步骤S1210中选择的校正信号,获得待测物5的三维坐标点数据。
如上所述,即使当测量信号从一个明部PLa中的Y轴方向上的一个位置变化为另一个位置时,也可通过用对各位置中的测量信号(第二信号)最佳的暗部PLb中的测量信号(第一信号)执行校正,减少内部散射的影响。
[其它实施例]
上述的测量装置100可在被给定的支撑部件支撑时被使用。在本实施例中,将作为例子解释图14所示的当附接到机器人臂300(保持装置)时被使用的控制系统。测量装置100将图案光投影到放置于支撑台350上的待测物210上,并且捕获待测物210的图像。然后,测量装置100的控制器或已从测量装置100的控制器获得了图像数据的控制器310获得待测物210的位置和姿势,并且获得关于所获得的位置和姿势的信息。基于关于位置和姿势的该信息,控制器310向机器人臂300传送驱动命令,由此控制机器人臂300。机器人臂300通过使用末端处的机器人手(保持单元)等保持待测物210,并且通过例如平移或旋转待测物210来移动它。并且,可通过用机器人臂300将待测物210组装到另一部分,制造包含多个部分的物品,例如,电子电路板或机器。还能够通过加工移动的待测物210,制造物品。控制器310包括诸如CPU的运算器件和诸如存储器的存储器件。注意,用于控制机器人的控制器还可被安装于控制器310的外面。还应注意,可在诸如显示器的显示单元320上显示通过测量装置100获得的测量数据和图像。
虽然已参照示例性实施例说明了本发明,但应理解,本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的变更方式以及等同的结构和功能。
Claims (20)
1.一种用于测量待测物的形状的测量装置,其特征在于,所述测量装置包括:
处理单元,被配置为基于通过对待测物进行成像所获得的图像来获得关于待测物的形状的信息,待测物上被投影沿第一方向交替包含明部和暗部的图案光,
其中,所述处理单元从图像的与暗部对应的区域获得相互不同且指示与第一方向相交的第二方向上的光强度分布的多个第一信号,
所述处理单元获得指示对多个校正信号的评价的评价值,所述多个校正信号是通过使用所述多个第一信号校正第二信号获得的,第二信号从图像的与明部对应的区域获得并且代表第二方向上的光强度分布,以及,
所述处理单元通过使用具有落在允许范围内的评价值的校正信号获得所述信息。
2.根据权利要求1所述的装置,其中,
所述图案光包含第一方向上的长度不同的多个暗部,以及
所述处理单元从图像的与所述多个暗部对应的多个区域获得所述多个第一信号。
3.根据权利要求2所述的装置,其中,所述处理单元从图像的与所述多个暗部在第一方向上的中心部分对应的多个区域获得所述多个第一信号。
4.根据权利要求1所述的装置,其中,所述处理单元从图像的与暗部的多个部分对应的多个区域获得所述多个第一信号,所述暗部的多个部分沿第一方向离暗部在第一方向上的端部的距离不同。
5.根据权利要求1所述的装置,其中,
所述图案光沿第一方向包含多个明部,以及
所述处理单元通过计算从图像的与所述多个明部中的一个明部对应的区域获得的第二信号与所述多个第一信号之间的差值来获得所述多个校正信号,
所述处理单元选择与所述多个校正信号中具有最高评价值的校正信号对应的第一信号,以及
所述处理单元针对从图像的与所述多个明部对应的多个区域获得的多个第二信号,通过计算第二信号和与具有最高评价值的校正信号对应的第一信号之间的差值,获得评价值落在允许范围内的校正信号。
6.根据权利要求5所述的装置,其中,所述处理单元从图像的与所述一个明部在第一方向上的中心部分对应的区域获得第二信号。
7.根据权利要求1所述的装置,其中,
所述处理单元通过计算所述多个第一信号和从图像的与明部的多个部分对应的多个区域获得的多个第二信号之间的差值,来获得所述多个校正信号,所述明部的多个部分沿第一方向离明部在第一方向上的边缘的距离不同,以及
所述处理单元针对所述明部的所述多个部分,从所述多个校正信号获得具有最高评价值的校正信号作为具有落入允许范围内的评价值的校正信号。
8.根据权利要求1所述的装置,其中,暗部配置用于识别包含图案光中的明部的线的识别部分。
9.根据权利要求8所述的装置,其中,识别部分包含多个点。
10.根据权利要求1所述的装置,其中,评价值包含指示校正信号的波形的对称性的值。
11.根据权利要求1所述的装置,还包括:
投影单元,被配置为将图案光投影到待测物上;和
成像单元,被配置为通过对其上投影图案光的待测物进行成像来获得图像,
其中,所述处理单元基于通过成像单元获得的图像来获得关于待测物的形状的信息。
12.一种计算待测物的形状的计算方法,其特征在于,所述计算方法包括:
通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像,获得图像;以及
基于所述图像获得关于待测物的形状的信息,
其中获得所述信息包含:
从图像的与暗部对应的区域获得相互不同且指示与第一方向相交的第二方向上的光强度分布的多个第一信号;
获得指示对多个校正信号的评价的评价值,所述多个校正信号是通过使用所述多个第一信号校正第二信号获得的,第二信号从图像的与明部对应的区域获得并且代表第二方向上的光强度分布;以及
通过使用具有落在允许范围内的评价值的校正信号来获得所述信息。
13.一种用于测量待测物的形状的测量装置,其特征在于,所述测量装置包括处理单元,所述处理单元被配置为基于通过对待测物进行成像所获得的图像来获得关于待测物的形状的信息,待测物上被投影沿第一方向交替包含明部和暗部的图案光,
其中所述图案光包含第一方向上的长度不同的多个暗部,以及
所述处理单元从图像的与所述多个暗部对应的多个区域获得相互不同且指示与第一方向相交的第二方向上的光强度分布的多个第一信号,以及
所述处理单元通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得所述信息。
14.根据权利要求13所述的装置,其中所述处理单元通过由第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的强度分布的第二信号,来获得所述信息。
15.根据权利要求13所述的装置,还包括:
投影单元,被配置为将图案光投影到待测物上;和
成像单元,被配置为通过对其上投影图案光的待测物进行成像来获得图像,
其中,所述处理单元基于通过成像单元获得的图像来获得关于待测物的形状的信息。
16.一种计算待测物的形状的计算方法,其特征在于,所述计算方法包括:
通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像,来获得图像;以及
基于所述图像来获得关于待测物的形状的信息,
其中,图案光包含第一方向上的长度不同的多个暗部,以及
获得所述信息包含:
从图像的与所述多个暗部对应的多个区域获得相互不同且指示与第一方向相交的第二方向上的强度分布的多个第一信号,和
通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得所述信息。
17.一种系统,其特征在于,包括:
测量装置,被配置为测量待测物;和
机器人,被配置为基于来自测量装置的测量结果来保持和移动待测物,
其中,测量装置测量待测物的形状,并且包括处理单元,所述处理单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,
其中所述处理单元从图像的与暗部对应的区域获得相互不同且指示与第一方向相交的第二方向上的光强度分布的多个第一信号,
所述处理单元获得指示对多个校正信号的评价的评价值,所述多个校正信号是通过使用所述多个第一信号校正第二信号获得的,第二信号从图像的与明部对应的区域获得并且代表第二方向上的光强度分布,以及
所述处理单元通过使用具有落在允许范围内的评价值的校正信号来获得所述信息。
18.一种系统,其特征在于,包括:
测量装置,被配置为测量待测物;和
机器人,被配置为基于来自测量装置的测量结果来保持和移动待测物,
其中测量装置测量待测物的形状,并且包括处理单元,所述测量单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,
其中图案光包含第一方向上的长度不同的多个暗部,以及
所述处理单元从图像的与所述多个暗部对应的多个区域获得相互不同且指示与第一方向相交的第二方向上的光强度分布的多个第一信号,以及
所述处理单元通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得所述信息。
19.一种物品的制造方法,其特征在于,包括:
通过使用机器人保持和移动被测量装置测量的待测物;以及
通过加工或组装被移动的待测物,来制造物品,
其中测量装置测量待测物的形状,并且包括处理单元,所述处理单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,
其中,所述处理单元从图像的与暗部对应的区域获得相互不同且指示与第一方向相交的第二方向上的光强度分布的多个第一信号,
所述处理单元获得指示对多个校正信号的评价的评价值,所述多个校正信号是通过使用所述多个第一信号校正第二信号获得的,第二信号从图像的与明部对应的区域获得并且代表第二方向上的光强度分布,以及
所述处理单元通过使用具有落在允许范围内的评价值的校正信号来获得所述信息。
20.一种物品的制造方法,其特征在于,包括:
通过使用机器人来保持和移动被测量装置测量的待测物;以及
通过加工或组装被移动的待测物,来制造物品,
其中测量装置测量待测物的形状,并且包括处理单元,所述处理单元被配置为基于通过对其上投影沿第一方向交替包含明部和暗部的图案光的待测物进行成像所获得的图像来获得关于待测物的形状的信息,
其中图案光包含第一方向上的长度不同的多个暗部,以及
所述处理单元从图像的与所述多个暗部对应的多个区域获得相互不同且指示与第一方向相交的第二方向上的光强度分布的多个第一信号,以及
所述处理单元通过使用第一信号校正从图像的与明部对应的区域获得的并且代表第二方向上的光强度分布的第二信号,来获得所述信息。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015111678 | 2015-06-01 | ||
JP2015-111678 | 2015-06-01 | ||
JP2016087389A JP6681258B2 (ja) | 2015-06-01 | 2016-04-25 | 計測装置、システム、物品の製造方法、算出方法及びプログラム |
JP2016-087389 | 2016-04-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106197309A true CN106197309A (zh) | 2016-12-07 |
Family
ID=56081197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610365053.2A Pending CN106197309A (zh) | 2015-06-01 | 2016-05-27 | 测量装置、计算方法、系统和物品的制造方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10016862B2 (zh) |
EP (1) | EP3101383A1 (zh) |
CN (1) | CN106197309A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556045A (zh) * | 2019-10-28 | 2022-05-27 | 欧姆龙株式会社 | 位置测定方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6897398B2 (ja) * | 2017-07-31 | 2021-06-30 | セイコーエプソン株式会社 | 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法 |
CN111489448A (zh) * | 2019-01-24 | 2020-08-04 | 宏达国际电子股份有限公司 | 检测真实世界光源的方法、混合实境系统及记录介质 |
JP2020153718A (ja) * | 2019-03-18 | 2020-09-24 | 株式会社リコー | 測定装置及び造形装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101305260A (zh) * | 2005-11-11 | 2008-11-12 | 西门子公司 | 三维物体的测量系统 |
US20120316820A1 (en) * | 2011-06-13 | 2012-12-13 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
US20140063192A1 (en) * | 2012-09-05 | 2014-03-06 | Canon Kabushiki Kaisha | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium |
US20140118539A1 (en) * | 2012-10-29 | 2014-05-01 | Canon Kabushiki Kaisha | Measurement apparatus and control method thereof, and computer-readable storage medium |
CN104613898A (zh) * | 2013-10-12 | 2015-05-13 | 石泉 | 检测仪、具有该检测仪的测量系统以及测量方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002022423A (ja) * | 2000-07-12 | 2002-01-23 | Minolta Co Ltd | 3次元入力装置 |
JP2007271395A (ja) * | 2006-03-30 | 2007-10-18 | Brother Ind Ltd | 3次元色形状計測装置 |
JP6418884B2 (ja) * | 2014-10-10 | 2018-11-07 | キヤノン株式会社 | 三次元計測装置、三次元計測方法及びプログラム |
-
2016
- 2016-05-20 EP EP16001151.6A patent/EP3101383A1/en not_active Withdrawn
- 2016-05-27 CN CN201610365053.2A patent/CN106197309A/zh active Pending
- 2016-05-31 US US15/168,656 patent/US10016862B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101305260A (zh) * | 2005-11-11 | 2008-11-12 | 西门子公司 | 三维物体的测量系统 |
US20120316820A1 (en) * | 2011-06-13 | 2012-12-13 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
US20140063192A1 (en) * | 2012-09-05 | 2014-03-06 | Canon Kabushiki Kaisha | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium |
US20140118539A1 (en) * | 2012-10-29 | 2014-05-01 | Canon Kabushiki Kaisha | Measurement apparatus and control method thereof, and computer-readable storage medium |
CN104613898A (zh) * | 2013-10-12 | 2015-05-13 | 石泉 | 检测仪、具有该检测仪的测量系统以及测量方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114556045A (zh) * | 2019-10-28 | 2022-05-27 | 欧姆龙株式会社 | 位置测定方法 |
CN114556045B (zh) * | 2019-10-28 | 2023-08-22 | 欧姆龙株式会社 | 位置测定方法 |
Also Published As
Publication number | Publication date |
---|---|
US10016862B2 (en) | 2018-07-10 |
US20160346882A1 (en) | 2016-12-01 |
EP3101383A1 (en) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10157458B2 (en) | Laser projection system and method | |
CN107430772B (zh) | 机器的运动测量系统以及用于操作运动测量系统的方法 | |
CN106197309A (zh) | 测量装置、计算方法、系统和物品的制造方法 | |
KR101601331B1 (ko) | 물체의 모양을 삼차원 측정하기 위한 시스템 및 방법 | |
JP4290733B2 (ja) | 3次元形状計測方法及びその装置 | |
CN104807406A (zh) | 确定物体上3d表面特征和不平度的系统和方法 | |
US8434874B2 (en) | Pattern projection light source and compound-eye distance measurement apparatus | |
KR100708352B1 (ko) | 모아레 원리의 2π 모호성과 위상천이 수단이 없도록실시되는 3차원 형상 측정장치 및 그 방법 | |
KR101605386B1 (ko) | 측정 물체 표면 위에서 3d 좌표들을 결정하기 위한 광학 측정 방법 및 측정 시스템 | |
CN102074045B (zh) | 一种投影重建的系统和方法 | |
ES2630736B1 (es) | Sistema y método de detección de defectos en superficies especulares o semi-especulares mediante proyección fotogramétrica | |
US9879984B2 (en) | Optical scanning probe and apparatus for generating three-dimensional data using the same | |
CN110133853B (zh) | 可调散斑图案的调节方法及其投射方法 | |
JP2006514739A (ja) | 歯科用レーザデジタイザシステム | |
JP2006514739A5 (zh) | ||
CN105190235A (zh) | 以六自由度跟踪的结构光扫描仪的补偿 | |
WO2022050279A1 (ja) | 三次元計測装置 | |
JP2004191092A (ja) | 3次元情報取得システム | |
TW591689B (en) | Semiconductor device identification apparatus | |
US20220180499A1 (en) | System and method for determining 3d surface features and irregularities on an object | |
JP7230358B2 (ja) | 回折光学素子、光照射装置、光照射システム、投影パターンの補正方法 | |
JP2010048553A (ja) | 複眼測距装置の検査方法およびそれに用いるチャート | |
JP7001612B2 (ja) | 対象物の少なくとも1つの既定点の3d座標を決定する方法および装置 | |
CN110836647B (zh) | 三维扫描系统 | |
CN104380138B (zh) | 用于测量表面上的特征结构的方法、测量组件、用于制造结构的方法和指向器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20200117 |
|
AD01 | Patent right deemed abandoned |