CN116419829A - 测量系统、测量装置、测量方法以及测量程序 - Google Patents

测量系统、测量装置、测量方法以及测量程序 Download PDF

Info

Publication number
CN116419829A
CN116419829A CN202180073083.5A CN202180073083A CN116419829A CN 116419829 A CN116419829 A CN 116419829A CN 202180073083 A CN202180073083 A CN 202180073083A CN 116419829 A CN116419829 A CN 116419829A
Authority
CN
China
Prior art keywords
robot
data
sensor
measurement
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180073083.5A
Other languages
English (en)
Inventor
付星斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN116419829A publication Critical patent/CN116419829A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Manipulator (AREA)

Abstract

本发明提供能够缩短测量对象物的3D数据所需的时间的测量系统等。测量系统具备：3D传感器，搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据；位移检测装置，检测机器人的各关节的位移；驱动装置，驱动机器人的各关节；传感器控制部，以在一个或多个测量点测量对象物的3D数据的方式控制3D传感器；合成部，将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据、与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成；以及机器人控制部，根据由通过3D合成而得到的3D数据表示的对象物的表面各点的三维坐标，向驱动装置输出控制机器人的第二操作的驱动指令。

Description

测量系统、测量装置、测量方法以及测量程序
技术领域
本发明涉及测量系统、测量装置、测量方法以及测量程序。
背景技术
在工厂自动化的领域中，例如进行如下图像处理，该图像处理用于使用距离传感器测量表示工件的表面各点的三维坐标的点群(点云)，并根据通过测量而得到的点群识别或检查工件。
这种图像处理中使用的距离传感器被称为机器人视觉，其测量方式有各种方式。例如，有从固定的测量点测量工件的点群的方式、在使测量点移动的同时测量工件的点群的方式、针对一个工件从一个测量点测量点群的方式、以及针对一个工件从多个不同的测量点测量多个点群的方式等。
在从固定的测量点测量工件的点群的方式、或者针对一个工件测量一个点群的方式中，由于根据工件的不同而其形状复杂、或者受到来自被镜面加工的工件的反射面的反射的影响，有时无法以充分的精度识别工件。相对于此，通过从多个不同的测量点分别测量工件的点群，能够测量工件的外观不同的多个不同的点群，与从固定的测量点测量工件的点群的方式、或者针对一个工件测量一个点群的方式相比，能够以更高的精度识别工件。
作为这种图像处理，例如已知有如非专利文献1中记载那样的基于模型的算法。该算法使用记述了多个点的位置或法线的关系的被称为PPF(Point Pair Feature：点对特征)的特征量，能够应用于物体的位置及姿势的推测处理、或者物体的点群的配准处理。该特征量是在从物体的点群中选择两点(点对)的组合中算出的四维特征量。四维分别是两点间的距离、连结两点的线段与其各点的法线方向所成的角度、两点的法线间的角度。在散列表中以其特征量为关键字存储两点的点编号。在匹配处理中，通过在从散列表检索到对应点之后，求出点对间的刚体变形参数，由此识别物体。在匹配处理之后，计算相邻测量点间的距离传感器的旋转量及移动量，并根据该计算结果进行在该相邻测量点测量出的两个点群的配准。
非专利文献2中记载了基于模型的其他算法。该算法根据使用距离图像传感器测量出的距离图像传感器周边的距离图像来推测距离图像传感器的位置及姿势。在该算法中，计算相邻测量点间的距离图像传感器的旋转量及移动量，并根据该计算结果进行在该相邻测量点测量出的两个距离图像的配准。
使用非专利文献1、2中记载的算法的配准是作为精配准(Fine Registration)的预处理而进行的粗配准(Coarse Registration)。
在非专利文献3中，作为用于使物体的多个点群间的对应点彼此的距离最小化的算法，记载了使用ICP(Iterative Closest Point：迭代最近点)。ICP相对于构成一个点群的各点而搜索另一个点群中的最接近点，并将其设为临时的对应点。推测使这样的对应点间的距离最小化的刚体变换，并反复进行对应点的搜索和刚体变换推测，从而使点群间的对应点彼此的距离最小化。ICP是作为粗配准的后处理而进行的精配准。
现有技术文献
专利文献
非专利文献1：Drost,Bertram,et al.“Model globally,match locally：Efficient and robust 3D object recognition.”Computer Vision and PatternRecognition(CVPR),2010IEEE Conference on.Ieee,2010.
非专利文献2：Newcombe,Richard A.,et al.“Kinectfusion：Real-time densesurface mapping and tracking.”ISMAR.Vol.11.No.2011.2011.
非专利文献3：Besl,Paul J.,and Neil D.McKay.“Method for registration of3-D shapes.”Sensor Fusion IV：Control Paradigms and Data Structures.Vol.1611.International Society for Optics and Photonics,1992.
发明内容
发明所要解决的技术问题
但是，非专利文献1、2中记载的算法有时在图像处理中需要大量的计算，另外有时鲁棒性也低。另外，非专利文献3中记载的ICP在初始状态的点群间的偏差大的情况下，有可能会反复进行多次对应点的搜索和刚体变换推测、或者配准失败。无论是哪种技术，计算时间都有可能变长，因此，在要求生产率的工厂自动化的领域中，实用性不够。
因此，本发明的课题在于，提供一种能够缩短测量对象物的3D数据所需的时间的测量系统、测量装置、测量方法以及测量程序。
用于解决问题的技术方案
本公开的一个方式涉及的测量系统具备：3D传感器，搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据；位移检测装置，检测机器人的各关节的位移；驱动装置，驱动机器人的各关节；传感器控制部，以在一个或多个测量点测量对象物的3D数据的方式控制3D传感器；合成部，将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据、与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成；以及机器人控制部，根据由通过3D合成而得到的3D数据表示的对象物的表面各点的三维坐标，向驱动装置输出控制机器人的第二操作的驱动指令。
根据该方式，将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据加以保持，并与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成，由此能够更高速、更稳健地生成通过机器人对对象物进行了第一操作之后的状态的对象物的3D数据。其结果是，能够更高速且可靠地根据3D数据识别对象物，更高效地通过机器人对对象物进行第二操作。
在上述方式中，也可以是：合成部从在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据删除被进行了第一操作的部分而生成事前3D数据，并将事前3D数据与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成。
根据该方式，通过将在之前的操作中测量出的事前3D数据与在该操作之后新测量出的一个或多个3D数据进行3D合成，能够更高速、更稳健地生成对象物的3D数据。
在上述方式中，也可以是：3D传感器在进行通过机器人对对象物进行的多个操作中的初次的操作之前，在机器人的停止期间在特定的测量点测量对象物的初始3D数据，位移检测装置在进行初次的操作之前，在机器人的停止期间在特定的测量点检测机器人的各关节的初始位移，测量系统还具备转换部，转换部根据初始3D数据及初始位移，算出从传感器坐标系向机器人坐标系的转换，并将由通过3D合成得到的3D数据表示的对象物的表面各点的三维坐标从传感器坐标系转换为机器人坐标系。
根据该方式，能够更准确地通过机器人根据3D数据进行对象物的操作。
在上述方式中，也可以是：机器人控制部以在进行了初始3D数据的测量及初始位移的检测之后不使机器人停止，而连续进行多个操作的方式控制机器人。
根据该方式，无需为了测量3D数据而使机器人停止，能够连续地执行多个操作，从而能够提高作业效率。
在上述方式中，也可以是：传感器控制部以在驱动机器人的各关节的期间在一个或多个测量点测量对象物的3D数据的方式控制3D传感器。
根据该方式，通过在不使机器人的动作停止的情况下测量对象物的3D数据，能够更高效地通过机器人进行对象物的操作。
在上述方式中，也可以是：3D传感器在一个或多个测量点测量对象物的3D数据的时机与位移检测装置检测机器人的各关节的位移的时机不同步。
根据该方式，无需为了使3D传感器测量对象物的3D数据时的机器人的位置及姿势与位移检测装置检测机器人的各关节的位移时的机器人的位置及姿势一致而使机器人的动作停止，因此，能够缩短测量对象物的3D数据所需的时间。
本公开的另一方式涉及的测量装置输入从检测机器人的各关节的位移的位移检测装置输出的表示位移的信息，并向驱动机器人的各关节的驱动装置输出驱动指令，该测量装置具备：3D传感器，搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据；传感器控制部，以在一个或多个测量点测量对象物的3D数据的方式控制3D传感器；合成部，将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据、与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成；以及机器人控制部，根据由通过3D合成而得到的3D数据表示的对象物的表面各点的三维坐标，输出控制机器人的第二操作的驱动指令。
根据该方式，将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据加以保持，并与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成，由此能够更高速、更稳健地生成通过机器人对对象物进行了第一操作之后的状态的对象物的3D数据。其结果是，能够更高速且可靠地根据3D数据识别对象物，更高效地通过机器人对对象物进行第二操作。
本公开的另一方式涉及的测量方法由测量装置执行下述工序，该测量装置具备3D传感器，该3D传感器搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据，并且，该测量装置输入从检测机器人的各关节的位移的位移检测装置输出的表示位移的信息，并向驱动机器人的各关节的驱动装置输出驱动指令，上述工序包括：以在一个或多个测量点测量对象物的3D数据的方式控制3D传感器；将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据、与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成；以及根据由通过3D合成而得到的3D数据表示的对象物的表面各点的三维坐标，输出控制机器人的第二操作的驱动指令。
根据该方式，将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据加以保持，并与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成，由此能够更高速、更稳健地生成通过机器人对对象物进行了第一操作之后的状态的对象物的3D数据。其结果是，能够更高速且可靠地根据3D数据识别对象物，更高效地通过机器人对对象物进行第二操作。
本公开的另一方式涉及的测量程序使测量装置执行下述工序，该测量装置具备3D传感器，该3D传感器搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据，并且，该测量装置输入从检测机器人的各关节的位移的位移检测装置输出的表示位移的信息，并向驱动机器人的各关节的驱动装置输出驱动指令，上述工序包括：以在一个或多个测量点测量对象物的3D数据的方式控制3D传感器；将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据、与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成；以及根据由通过3D合成而得到的3D数据表示的对象物的表面各点的三维坐标，输出控制机器人的第二操作的驱动指令。
根据该方式，将在通过机器人对对象物进行第一操作之前测量出的对象物的3D数据加以保持，并与在通过机器人对对象物进行了第一操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成，由此能够更高速、更稳健地生成通过机器人对对象物进行了第一操作之后的状态的对象物的3D数据。其结果是，能够更高速且可靠地根据3D数据识别对象物，更高效地通过机器人对对象物进行第二操作。
此外，在本公开中，“部”及“装置”并不仅仅是指物理单元，也包括通过软件实现该“部”及“装置”所具有的功能的构成。另外，既可以通过两个以上的物理单元或装置实现一个“部”及“装置”所具有的功能，或者，也可以通过一个物理单元或装置实现两个以上的“部”及“装置”的功能。进而，“部”及“装置”是也可以改称为例如“单元”及“系统”的概念。
发明效果
根据本公开，能够提供可缩短测量对象物的3D数据所需的时间的测量系统、测量装置、测量方法以及测量程序。
附图说明
图1是表示本公开的实施方式涉及的测量系统的构成的一例的图。
图2是表示通过本实施方式涉及的测量系统进行的相对于对象物的操作的一例的图。
图3是示意性地表示本实施方式涉及的测量系统及测量装置的硬件构成的图。
图4是示意性地表示本实施方式涉及的测量系统的功能构成的一例的图。
图5是示意性地表示通过本实施方式涉及的测量系统执行的处理的图。
图6是通过本实施方式涉及的测量系统执行的处理的流程图。
具体实施方式
以下，参照附图对本公开的一例涉及的实施方式进行说明。但是，以下说明的实施方式仅仅为示例，并不意图排除以下未明示的各种变形或技术的应用。即，本公开的一例能够在不脱离其主旨的范围内进行各种变形而实施。另外，在以下的附图的记载中，对相同或类似的部分标注相同或类似的附图标记，附图是示意性的，未必与实际的尺寸或比率等一致。进而，附图相互之间有时也包含相互的尺寸关系活比率不同的部分。另外，以下说明的实施方式是本公开的一部分的实施方式，当然不是全部的实施方式。进而，本领域技术人员根据本公开的实施方式不付出创造性行为而得到的其他实施方式均包含于本公开的保护范围内。
§1应用例
首先，使用图1及图2对应用本公开的一例的场景的一例进行说明。图1是表示本实施方式涉及的测量系统100的构成的一例的图，图2是表示通过本实施方式涉及的测量系统100进行的相对于对象物5的操作的一例的图。本实施方式涉及的测量系统100可以进行如下操作：例如通过机器人60将散装于料仓等收纳容器6内的一个或多个工件(对象物)5从收纳容器6取出并向其他的收纳容器7等移载，并将其排列整齐进行配置的操作(图2的移动路径P1)、和/或使移载完某个工件5的机器人60向收纳容器6侧返回以便取出下一个工件5的操作(图2的移动路径P2)。此外，工件5也可以不在收纳容器6内，而是例如平放于工作台或台等。另外，工件5的种类并无特别限制，例如可以举出汽车的动力传动系统(例如发动机或变速器等)的机械部件、或者电装系统的电子部件等。另外，测量系统100除了机器人60以外，还具备设置于该机器人60的3D传感器1和与3D传感器1及机器人60连接的计算机系统10。
3D传感器1搭载于机器人60，测量表示工件5的表面各点的三维坐标的3D数据。在本实施方式中，3D传感器1搭载于机器人60的臂3的前端部，如图1及图2所示，以规定的视野(角)且规定的测量参数拍摄工件5。3D传感器1例如可以是测量点群的距离传感器、或者将距离传感器与二维传感器组合来获取距离图像的距离图像传感器。在此，距离传感器是测量作为进深信息的距离d的传感器。二维传感器是拍摄二维的图像的成像传感器，二维的图像在不将距离d作为像素值这一点上与距离图像不同。距离图像传感器例如也可以是一边改变二维传感器的拍摄位置一边拍摄工件5的多个二维的图像，并通过立体视觉的图像处理获取将距离d作为像素值的距离图像的照相机。或者，距离图像传感器也可以是通过从多个不同的方向同时拍摄工件5而获取将距离d作为像素值的距离图像的立体相机。
另外，3D传感器1也可以根据需要而具有向工件5投射包含适当的测量光(例如，以主动方式使用的图案光或扫描光等)的所谓3D用照明、或者作为通常照明的所谓2D用照明的投影仪(未图示)。这样的投影仪的构成也无特别限制，例如，在投射图案光的投影仪的情况下，可以示例出具备激光光源、图案掩模以及透镜的构成。从激光光源射出的光通过形成有规定图案的图案掩模被转换为具有规定图案的测量光(图案光)，并经由透镜向工件5投射。
“规定图案”并无特别限制，例如可以示例出以主动单次自动对焦方式使用的各种图案。更为具体而言，例如可以举出：多条线以规定间隔呈二维地配置的所谓基于线的图案、相互能够区别的多种单位图像、单位图形、几何形状等呈二维地配置(既可以是规则的也可以是随机的，也可以是规则的部分与随机的部分混合或重叠)的所谓基于区域的图案、在纵横线的网格上配置有图形符号等的所谓基于网格图形的图案等。此外，各规定图案也可以包含诸如编码的用于区别线、单位图形的ID信息。
另外，作为工件5的测量方式，并无特别限制，例如，可以适当地选择使用如下方式：使用光的直进性的各种主动测量方式(例如，以三角测距为基本原理的空间编码化图案投影方式、时间编码化图案投影方式、莫尔拓扑波方式等)、使用光的直进性的各种被动测量方式(例如，以三角测距为基本原理的立体相机方式、视体积交叉方式、因子分解方式等、以同轴测距为基本原理的对焦深度法(Depth from focusing)方式等)、以及使用光的速度的各种主动测量方式(例如，以同时测距为基本原理的飞行时间方式(Time of Flight)、激光扫描方式等)。
作为工件5的3D数据，可以示例出通过这些各种测量方式获得的数据(例如三维点群数据、距离图像等)、以及能够与工件5的三维模型数据进行对照的适当的数据等。在此，作为工件5的三维模型数据，例如可以举出三维坐标数据、将该三维坐标数据与工件5的各种不同的位置姿势对应地进行二维投影而得到的二维坐标数据、以及其他与适当的模板或图案对应的数据等。此外，在工件5的识别中，并非必须与三维模型数据进行对照，不使用模型数据(所谓的无模型)的识别也能够适用。
机器人60是具备用于对工件5进行操作(例如把持、吸附、移动、组装或者插入等)的手2和前端部设置有该手2的臂3的多关节机器人(例如垂直多关节机器人、水平多关节机器人)。机器人60中组装有驱动机器人60的各关节以对工件5进行操作的伺服电机等的驱动装置、和用于检测各关节的位移(角度位移)的编码器等的位移检测装置。另外，机器人60作为自主进行动作的机械手进行动作，例如可以使用于工件5的拾取、组装、输送、涂装、检查、研磨或者清洗等各种用途。
手2是末端执行器的一例，具有能够进行各个工件5的把持和释放(抓住和放开)动作的把持机构。臂3具有用于使手2向收纳容器6内的工件5的把持位置(拾取位置)移动，且使把持了工件5的手2从该把持位置向其他的收纳容器7中的释放位置(落下位置)移动的驱动机构。
计算机系统10分别与3D传感器1及机器人60连接，除了控制由传感器1进行的工件5的测量处理、由手2进行的工件5的操作处理、机器人60(手2及臂3等)的驱动处理之外，还控制与测量系统100中所需的各种动作或运算相关的处理。
本实施方式涉及的测量系统100例如可以在不使机器人60停止以便测量工件5的情况下连续进行多次如下任务，即：将一个或多个工件5从收纳容器6取出并向其他的收纳容器7移载，并将其排列整齐进行配置的任务等。测量系统100在开始对工件5进行操作之前，在机器人60的停止期间在特定的测量点测量收纳容器6内的工件5的初始3D数据，且一并检测机器人60的各关节的初始位移。由此，得到将由3D数据表示的工件5的表面各点的三维坐标从传感器坐标系转换为机器人坐标系的转换式。
然后，测量系统100在使臂3移动，并通过手2进行了收纳容器6内的工件5的把持等操作之后，通过3D传感器1在一个或多个测量点测量收纳容器6内剩余的工件5的3D数据。测量系统100例如在臂3在移动路径P1及移动路径P2中移动的途中通过3D传感器1测量剩余的工件5的3D数据。
测量系统100通过例如后述的渲染和使用掩模的图像处理，从初始3D数据删除通过机器人60进行了操作(例如工件5的拾取)的部分，从而生成事前3D数据。然后，测量系统100将在使臂3移动的同时在一个或多个测量点测量出的工件5的3D数据与事前3D数据进行3D合成。3D合成(3D Integration)例如通过使用ICP(Iterative Closest Point，迭代最近点)等算法，使一方的3D数据的位置及姿势与另一方的3D数据的位置及姿势一致而进行。而且，测量系统100根据由通过3D合成而得到的3D数据表示的工件5的表面各点的三维坐标，控制机器人60对收纳容器6内的工件5的下一个操作。
进而，在继续对收纳容器6内的工件5进行操作的情况下，测量系统100从之前刚通过3D合成而得到的3D数据删除通过机器人60进行了操作的部分而生成(更新)事前3D数据。然后，测量系统100将在使臂3移动的同时在一个或多个测量点测量出的工件5的3D数据与事前3D数据进行3D合成，并根据由通过3D合成得到的3D数据表示的工件5的表面各点的三维坐标控制机器人60对收纳容器6内的工件5的下一个操作。
这样，测量系统100将通过机器人60对工件5进行操作之前测量出的工件5的3D数据与通过机器人60对工件5进行操作之后在一个或多个测量点测量出的工件5的3D数据进行3D合成，并根据通过3D合成而得到的3D数据识别工件5，控制机器人60的下一个操作。
以往，在进行工件5的拾取等操作的情况下，有时在进行新的操作之前使机器人60停止而测量工件5的3D数据，识别作为操作对象的工件5。在这样的方法中，需要在每次操作时使机器人60停止，因此作业效率有可能降低。关于这一点，本实施方式涉及的测量系统100在初次操作时使机器人60停止而明确传感器坐标系与机器人坐标系的对应关系，在之后的操作中，可以在不使机器人60停止的情况下识别作为操作对象的工件5，从而与使机器人60停止而测量3D数据的情况相比，加工周期时间变短，能够提高作业效率。另外，本实施方式涉及的测量系统100通过反复使用在之前的操作时生成的3D数据，与从零生成3D数据的情况相比，能够减少计算量，提高3D合成的鲁棒性。
§2构成例
[硬件构成]
接着，参照图3对本发明的实施方式涉及的测量系统100及测量装置200的硬件构成的一例进行说明。
测量装置200具备计算机系统10和3D传感器70。测量系统100具备测量装置200、机器人60以及机器人控制器50。计算机系统10具备运算装置20、存储装置30以及输入输出接口40。运算装置20具备CPU(Central Processing Unit：中央处理器)21、ROM(Read OnlyMemory：只读存储器)22以及RAM(Random Access Memory：随机存取存储器)23。
存储装置30是盘式介质(例如磁记录介质或光磁记录介质)或者半导体存储器(例如易失性存储器或非易失性存储器)等计算机可读记录介质。这样的记录介质例如也可以称为非暂时性的记录介质。存储装置30至少储存有事前数据31及测量程序32。事前数据31包括工件5的初始3D数据、机器人60的各关节的初始位移以及事前3D数据，工件5的初始3D数据是在通过机器人60对工件5进行初次操作之前，在机器人60的停止期间在特定的测量点测量出的数据，机器人60的各关节的初始位移是在机器人60的停止期间在特定的测量点检测出的位移，事前3D数据是从通过机器人60对工件15进行操作之前测量出的工件5的3D数据删除被进行了操作的部分而得到的数据。测量程序32从存储装置30被读入RAM23，并由CPU21进行解释及执行。测量程序32也作为控制机器人60的动作的主程序而发挥功能。
运算装置20通过输入输出接口40输入从位移检测装置62输出的表示机器人60的各关节的位移的信息，并向驱动机器人60的各关节的驱动装置61输出驱动指令。
机器人控制器50响应于通过输入输出接口40从运算装置20输出的驱动指令，控制驱动机器人60的各关节的驱动装置61的驱动(例如伺服电机的转速及旋转转矩)。
3D传感器1响应于通过输入输出接口40从运算装置20输出的测量指令，测量工件5的3D数据。
运算装置20通过输入输出接口40输入通过3D传感器1测量出的工件5的3D数据和从位移检测装置62输出的表示机器人60的各关节的位移的信息，并输出指示3D传感器1测量工件5的3D数据的测量指令和控制驱动装置61的驱动的驱动指令。此时，RAM23暂时存储通过3D传感器1测量出的工件5的3D数据和从位移检测装置62输出的表示机器人60的各关节的位移的信息，作为供运算装置20进行配准处理300的工作区而发挥功能。
此外，在图3中，示出了驱动装置61及位移检测装置62分别图示了一个的例子，但驱动装置61及位移检测装置62各自的个数可以与关节的个数相同。
[功能构成]
图4是示意性地表示本实施方式涉及的测量系统100的功能构成的一例的图。通过计算机系统10的硬件资源与测量程序32的协作，实现作为机器人控制部11、传感器控制部12、合成部13以及转换部14的功能。
计算机系统10中的机器人控制部11、传感器控制部12、合成部13以及转换部14能够通过通用处理器实现，在本公开中没有限定，也可以使用专用电路(例如ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等)实现这些部件的全部或者一部分的功能。进而，也可以使网络连接的外部装置负责一部分处理。
传感器控制部12以在一个或多个测量点测量对象物的3D数据的方式控制3D传感器1。在多个测量点中，3D传感器1相对于对象物的相对位置关系分别不同。传感器控制部12以在驱动机器人60的各关节的期间在一个或多个测量点测量对象物的3D数据的方式控制3D传感器1。传感器控制部12例如以在驱动机器人60的臂3的期间在一个或多个测量点测量对象物的3D数据的方式控制3D传感器1。这样，通过在不使机器人60的动作停止的情况下测量对象物的3D数据，能够更高效地通过机器人60操作对象物。
3D传感器1在一个或多个测量点测量对象物的3D数据的时机与位移检测装置62检测机器人60的各关节的位移的时机可以不同步。由此，无需为了使3D传感器1测量对象物的3D数据时机器人60的位置及姿势与位移检测装置62检测机器人60的各关节的位移时机器人60的位置及姿势一致而使机器人60的动作停止，因此，能够缩短测量对象物的3D数据所需的时间。
合成部13将在通过机器人60对对象物进行某一操作之前测量出的对象物的3D数据与在通过机器人60对对象物进行了该操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成。在此，合成部13从在通过机器人60对对象物进行某一操作之前测量出的对象物的3D数据删除被进行了该操作的部分而生成事前3D数据，并将事前3D数据与在通过机器人60对对象物进行了该操作之后在一个或多个测量点测量出的对象物的3D数据进行3D合成。这样，通过将基于在之前的操作之前测量出的3D数据的事前3D数据与新测量出的一个或多个3D数据进行3D合成，能够更高速、更稳健地生成之前的操作之后的对象物的3D数据。
3D传感器1在进行通过机器人60针对对象物进行的多个操作中的初次的操作之前，在机器人60停止期间在特定的测量点测量对象物的初始3D数据。另外，位移检测装置62在进行初次的操作之前，在机器人60停止期间在特定的测量点检测机器人60的各关节的初始位移。而且，转换部14根据初始3D数据及初始位移，算出从传感器坐标系向机器人坐标系的转换，并将由通过3D合成而得到的3D数据表示的对象物的表面各点的三维坐标从传感器坐标系转换为机器人坐标系。由此，能够更准确地通过机器人60根据3D数据对对象物进行操作。不过，测量系统100也可以不使用机器人60的各关节的初始位移，而通过图像解析将由通过3D合成得到的3D数据表示的对象物的表面各点的三维坐标从传感器坐标系转换为机器人坐标系。
机器人控制部11根据由通过3D合成而得到的3D数据表示的对象物的表面各点的三维坐标，向驱动装置61输出控制机器人60的操作的驱动指令。机器人控制部11以在进行了初始3D数据的测量及初始位移的检测之后不使机器人60停止，而连续进行多个操作的方式控制机器人60。由此，不用为了测量3D数据而使机器人60停止，能够连续执行多个操作，从而能够提高作业效率。
§3动作例
图5是示意性地表示通过本实施方式涉及的测量系统100执行的处理的图。在该图中，示出了在通过机器人60对对象物Obj进行拾取操作时生成的3D数据的例子。
测量系统100针对在通过机器人60对对象物Obj进行拾取操作之前生成的第n个(n为正整数)3D数据D1(3D数据[n])，删除被进行了拾取操作的区域R，得到事前3D数据D2(已更新的3D数据)。另外，测量系统100在进行了对象物Obj的拾取操作之后在一个或多个测量点测量3D数据，得到第n+1个3D数据D3(新3D数据[n+1])。
更具体而言，例如，首先根据进行拾取操作之前的3D数据D1中的对象物Obj的位置姿态信息(3D数据)和在虚拟3D空间中配置于不同的多个(复数个)视点的虚拟相机的拍摄参数，使用适当的渲染系统或渲染器生成获得了该3D数据D1的相机的拍摄位置处的对象物Obj的映象(图像)。接着，通过对生成的对象物Obj的映象进行二值化(二进制化)而从背景图像分离，生成将包含该对象物Obj的区域(相当于上述区域R)覆盖的掩膜。作为该掩膜，例如可以举出包含对象物Obj的矩形状或圆形状等的边框(bounding box)、或者将对象物Obj的轮廓内的区域涂抹后的斑点(blob)等。而且，通过将该掩膜应用(例如重叠)于拾取操作前生成的3D数据D1，能够从该3D数据D1删除被进行了拾取操作的区域R，由此能够得到事前3D数据D2。此外，这样的区域R的删除处理既可以针对传感器坐标系中的3D数据进行，也可以针对转换后的机器人坐标系中的3D数据进行，另外，并不限定于上述示例。
而且，测量系统100通过将事前3D数据D2与第n+1个3D数据D3进行3D合成，得到新合成的3D数据D4(新和成的3D数据)。新合成的3D数据D4是通过使事前3D数据D2中包含的区域R以外的数据与第n+1个3D数据D3中包含的区域R以外的数据匹配，并将第n+1个3D数据D3中包含的区域R的数据合并而生成的。测量系统100使用新合成的3D数据D4来识别对象物，通过机器人60进行对象物的操作。另外，新合成的3D数据D4在接下来进行的操作中被用作事前3D数据。
这样，测量系统100不是在每次通过机器人60进行对象物的操作时重新生成3D数据，而是通过再利用在之前的操作中生成的3D数据，从而能够更高速且更稳健地生成3D数据。
此外，3D数据D4的3D合成的方法并不限于上述方法，能够采用使用了事前3D数据D2和在一个或多个测量点测量出的对象物的3D数据的各种方法。例如，也可以取代ICP、或者除了ICP之外还根据机器人60的各关节的初始位移和3D传感器1在各测量点测量3D数据的时间点的机器人的各关节的位移，将在各测量点测量出的3D数据与事前3D数据D2进行3D合成。
图6是通过本实施方式涉及的测量系统100执行的处理的流程图。测量系统100首先在机器人60的停止期间在特定的测量点测量对象物的初始3D数据(S10)。另外，测量系统100在机器人60的停止期间在特定的测量点检测机器人60的各关节的初始位移(S11)。而且，测量系统100根据初始3D数据及初始位移算出从传感器坐标系向机器人坐标系的转换(S12)。
然后，测量系统100在不使机器人60停止的情况下在一个或多个测量点测量对象物的3D数据及机器人60的各关节的位移(S13)。3D数据及机器人60的各关节的位移的测量例如可以在通过机器人60的手2移送对象物的期间进行。
测量系统100将事前3D数据与在一个或多个测量点测量出的3D数据进行3D合成(S14)。在此，在初次操作的情况下，事前3D数据是初始3D数据。另外，测量系统100将由通过3D合成得到的3D数据表示的三维坐标从传感器坐标系转换为机器人坐标系(S15)。此时，可以使用之前算出的从传感器坐标系向机器人坐标系的转换。
测量系统100根据三维坐标控制机器人60的操作(S16)。测量系统100例如以通过机器人60的手2拾取对象物并移送至规定场所的方式控制机器人60。
测量系统100从3D数据删除通过机器人60进行了操作的部分而生成事前3D数据(S17)。例如，在通过机器人60进行了对象物的拾取的情况下，从3D数据删除包含被拾取的对象物的区域。这样生成的事前3D数据在接下来进行的3D合成中使用。
当针对对象物的操作未结束时(S18：否)，测量系统100再次执行处理S13～S17。在此，处理S14中使用的事前3D数据在每次进行操作时都被更新。
以上说明的实施方式及变形例是为了便于理解本发明，并非用于限定解释本发明。实施方式及变形例所具备的各要素及其配置、材料、条件、形状及尺寸等不限定于示例内容，能够适当地变更。另外，也能够将不同的实施方式及变形例中示出的构成彼此部分地置换或组合。
即，在将设定进行上述对象物的检查时的照明条件的装置、系统或其一部分以软件功能单元的形态实现而作为单独的产品销售或使用的情况下，能够存储于计算机可读取的存储介质。由此，可以将对本发明的技术方案的本质或现有技术有贡献的部分或者该技术方案的全部或者一部分以软件产品的形态实现，并将包含使计算机设备(可以是个人计算机、服务器或者网络设备等)实现本发明的各实施例记载的方法的步骤中的全部或者一部分的命令的该计算机软件产品存储于存储介质。上述存储介质是USB、只读存储器(ROM：Read-Only Memory)、随机存取存储器(RAM：Random Access Memory)、移动硬盘、软磁盘或光盘等能够存储程序代码的各种介质。
附图标记说明
1：3D传感器；2：手；3：臂；5：工件(对象物)；6、7：收纳容器；10：计算机系统；11：机器人控制部；12：传感器控制部；13：合成部；14：转换部；20：运算装置；21：CPU；22：ROM；23：RAM；30：存储装置；31：事前数据；32：测量程序；40：输入输出接口；50：机器人控制器；60：机器人；61：驱动装置；62：位移检测装置；70：3D传感器；80：对象物；100：测量系统；200：测量装置。

Claims (9)

1.一种测量系统，具备：
3D传感器，搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据；
位移检测装置，检测所述机器人的各关节的位移；
驱动装置，驱动所述机器人的各关节；
传感器控制部，以在一个或多个测量点测量所述对象物的3D数据的方式控制所述3D传感器；
合成部，将在通过所述机器人对所述对象物进行第一操作之前测量出的所述对象物的3D数据、与在通过所述机器人对所述对象物进行了所述第一操作之后通过所述传感器控制部在所述一个或多个测量点测量出的所述对象物的3D数据进行3D合成；以及
机器人控制部，根据由通过所述3D合成而得到的3D数据表示的所述对象物的表面各点的三维坐标，向所述驱动装置输出控制所述机器人所进行的第二操作的驱动指令。
2.根据权利要求1所述的测量系统，其中，
所述合成部从在通过所述机器人对所述对象物进行所述第一操作之前测量出的所述对象物的3D数据删除被进行了所述第一操作的部分而生成事前3D数据，并将所述事前3D数据与在通过所述机器人对所述对象物进行了所述第一操作之后通过所述传感器控制部在所述一个或多个测量点测量出的所述对象物的3D数据进行3D合成。
3.根据权利要求1或2所述的测量系统，其中，
在进行通过所述机器人对所述对象物进行的多个操作中的初次的操作之前，所述3D传感器在所述机器人的停止期间在特定的测量点测量所述对象物的初始3D数据，
在进行所述初次的操作之前，所述位移检测装置在所述机器人的停止期间在所述特定的测量点检测所述机器人的各关节的初始位移，
所述测量系统还具备转换部，所述转换部根据所述初始3D数据及所述初始位移，算出从传感器坐标系向机器人坐标系的转换，并将由通过所述3D合成得到的3D数据表示的所述对象物的表面各点的三维坐标从所述传感器坐标系转换为所述机器人坐标系。
4.根据权利要求3所述的测量系统，其中，
所述机器人控制部以在进行了所述初始3D数据的测量及所述初始位移的检测之后不使所述机器人停止，而连续进行所述多个操作的方式控制所述机器人。
5.根据权利要求1至4中任一项所述的测量系统，其中，
所述传感器控制部以在驱动所述机器人的各关节的期间在所述一个或多个测量点测量所述对象物的3D数据的方式控制所述3D传感器。
6.根据权利要求5所述的测量系统，其中，
所述3D传感器在所述一个或多个测量点测量所述对象物的3D数据的时机与所述位移检测装置检测所述机器人的各关节的位移的时机不同步。
7.一种测量装置，输入从检测机器人的各关节的位移的位移检测装置输出的表示所述位移的信息，并向驱动所述机器人的各关节的驱动装置输出驱动指令，
所述测量装置具备：
3D传感器，搭载于所述机器人，且测量表示对象物的表面各点的三维坐标的3D数据；
传感器控制部，以在一个或多个测量点测量所述对象物的3D数据的方式控制所述3D传感器；
合成部，将在通过所述机器人对所述对象物进行第一操作之前测量出的所述对象物的3D数据、与在通过所述机器人对所述对象物进行了所述第一操作之后通过所述传感器控制部在所述一个或多个测量点测量出的所述对象物的3D数据进行3D合成；以及
机器人控制部，根据由通过所述3D合成得到的3D数据表示的所述对象物的表面各点的三维坐标，输出控制所述机器人所进行的第二操作的所述驱动指令。
8.一种测量方法，由测量装置执行下述工序，
所述测量装置具备3D传感器，并且所述测量装置输入从检测所述机器人的各关节的位移的位移检测装置输出的表示所述位移的信息，并向驱动所述机器人的各关节的驱动装置输出驱动指令，所述3D传感器搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据，
上述工序包括：
以在一个或多个测量点测量所述对象物的3D数据的方式控制所述3D传感器；
将在通过所述机器人对所述对象物进行第一操作之前测量出的所述对象物的3D数据、与在通过所述机器人对所述对象物进行了所述第一操作之后在所述一个或多个测量点测量出的所述对象物的3D数据进行3D合成；以及
根据由通过所述3D合成而得到的3D数据表示的所述对象物的表面各点的三维坐标，输出控制所述机器人所进行的第二操作的所述驱动指令。
9.一种测量程序，使测量装置执行下述工序：
所述测量装置具备3D传感器，并且所述测量装置输入从检测所述机器人的各关节的位移的位移检测装置输出的表示所述位移的信息，并向驱动所述机器人的各关节的驱动装置输出驱动指令，所述3D传感器搭载于机器人，且测量表示对象物的表面各点的三维坐标的3D数据，
上述工序包括：
以在一个或多个测量点测量所述对象物的3D数据的方式控制所述3D传感器；
将在通过所述机器人对所述对象物进行第一操作之前测量出的所述对象物的3D数据、与在通过所述机器人对所述对象物进行了所述第一操作之后在所述一个或多个测量点测量出的所述对象物的3D数据进行3D合成；以及
根据由通过所述3D合成得到的3D数据表示的所述对象物的表面各点的三维坐标，输出控制所述机器人的第二操作的所述驱动指令。
CN202180073083.5A 2020-11-12 2021-09-14 测量系统、测量装置、测量方法以及测量程序 Pending CN116419829A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020188701A JP7365567B2 (ja) 2020-11-12 2020-11-12 計測システム、計測装置、計測方法及び計測プログラム
JP2020-188701 2020-11-12
PCT/JP2021/033802 WO2022102239A1 (ja) 2020-11-12 2021-09-14 計測システム、計測装置、計測方法及び計測プログラム

Publications (1)

Publication Number Publication Date
CN116419829A true CN116419829A (zh) 2023-07-11

Family

ID=81601885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180073083.5A Pending CN116419829A (zh) 2020-11-12 2021-09-14 测量系统、测量装置、测量方法以及测量程序

Country Status (5)

Country Link
US (1) US20240003675A1 (zh)
EP (1) EP4245480A1 (zh)
JP (1) JP7365567B2 (zh)
CN (1) CN116419829A (zh)
WO (1) WO2022102239A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2584439B (en) * 2019-06-03 2023-02-22 Inspecvision Ltd Projector assembly system and method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6429473B2 (ja) 2014-03-20 2018-11-28 キヤノン株式会社 ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
JP6984633B2 (ja) 2019-04-26 2021-12-22 オムロン株式会社 対象物の位置姿勢を検出する装置、方法およびプログラム

Also Published As

Publication number Publication date
EP4245480A1 (en) 2023-09-20
JP7365567B2 (ja) 2023-10-20
US20240003675A1 (en) 2024-01-04
JP2022077725A (ja) 2022-05-24
WO2022102239A1 (ja) 2022-05-19

Similar Documents

Publication Publication Date Title
US11117262B2 (en) Intelligent robots
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP2011175477A (ja) ３次元計測装置、処理方法及びプログラム
EP3229208B1 (en) Camera pose estimation
JP2011129094A (ja) シーンにおける物体の姿勢を求めるためのシステム及び方法
JP2004185123A (ja) ３次元モデルデータ生成装置
Chang et al. Eye-in-hand vision-based robotic bin-picking with active laser projection
CN113386122B (zh) 测量参数的优化方法和装置以及计算机可读存储介质
CN114341930A (zh) 图像处理装置、拍摄装置、机器人以及机器人系统
JP2013069100A (ja) 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体
CN116419829A (zh) 测量系统、测量装置、测量方法以及测量程序
CN113793383A (zh) 一种3d视觉识别取放系统及方法
JP2014053018A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
CN111947568B (zh) 计测系统、计测装置、计测方法以及记录介质
Fan et al. An automatic robot unstacking system based on binocular stereo vision
EP4094904B1 (en) Robot system control device, robot system control method, computer control program, and robot system
JP2007171018A (ja) 物体位置認識方法及び物体位置認識装置
JP2010146357A (ja) ３次元画像処理方法および３次元画像処理装置
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
US20220230459A1 (en) Object recognition device and object recognition method
Chiu Dual laser 3D scanner for Random Bin Picking system
JP7450857B2 (ja) 計測パラメータの最適化方法及び装置、並びに、コンピュータ制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination