CN115890638A - 自动化机械手臂系统 - Google Patents

自动化机械手臂系统 Download PDF

Info

Publication number
CN115890638A
CN115890638A CN202111162843.8A CN202111162843A CN115890638A CN 115890638 A CN115890638 A CN 115890638A CN 202111162843 A CN202111162843 A CN 202111162843A CN 115890638 A CN115890638 A CN 115890638A
Authority
CN
China
Prior art keywords
mechanical arm
target
image
focus
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111162843.8A
Other languages
English (en)
Inventor
陈鸿欣
余家润
黄启铭
张晋纶
张耿宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Electronics Inc
Original Assignee
Delta Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delta Electronics Inc filed Critical Delta Electronics Inc
Priority to CN202111162843.8A priority Critical patent/CN115890638A/zh
Priority to JP2021209592A priority patent/JP7263501B2/ja
Priority to US17/563,976 priority patent/US11958200B2/en
Publication of CN115890638A publication Critical patent/CN115890638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/005Manipulators for mechanical processing tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39057Hand eye calibration, eye, camera on hand, end effector
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40613Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种自动化机械手臂系统与其机械手臂与电脑视觉之间的协调方法。分光镜将可见光与测距光分离并分别导引至不同轴的图像获取装置与光学测距装置。于校正模式下,基于机械手臂的多个校正姿态与对应的多个校正图像计算转换关系。于工作模式下,基于所拍摄的工作图像及转换关系决定机械空间坐标来控制机械手臂移动。本发明可叠合拍摄光轴与机械手臂的法兰轴,并提升机械手臂与电脑视觉之间的协调性。

Description

自动化机械手臂系统
技术领域
本发明涉及与机械手臂有关,尤其涉及自动化机械手臂系统与其机械手臂与电脑视觉之间的协调方法。
背景技术
现有的机械手臂系统中,是使用相机来拍摄工作对象的图像,通过图像分析来决定工作对象的位置,并控制机械手臂移动至所决定的位置来对工作对象进行动作。
然而,现有的机械手臂系统缺点在于,若将机械手臂与相机采一上一下的同轴配置,则会严重缩减机械手臂的可加工范围,并严重限制相机的体积上限。
若将机械手臂与相机采非同轴设置,则机械手臂的法兰轴与相机的拍摄光轴之间存在偏置量。前述偏置量会导致以拍摄图像为基准的视觉空间与机械手臂的机械空间之间存在随机误差,而使得电脑视觉无法精准地控制机械手臂。
是以,现有机械手臂系统存在上述问题,而亟待更有效的方案被提出。
发明内容
本发明的主要目的,是在于提供一种自动化机械手臂系统与其机械手臂与电脑视觉之间的协调方法,可使拍摄光轴与法兰轴叠合,测量目标距离,并协调机械手臂与电脑视觉。
于一实施例中,一种机械手臂与电脑视觉之间的协调方法,包含:于一校正模式下,基于一光学测距装置所测量的一目标距离控制一机械手臂于一图像获取装置的一有效拍摄范围内移动为多个校正姿态,并通过该图像获取装置于该多个校正姿态分别拍摄多个校正图像,其中一分光镜将可见光导引至设置于该机械手臂的一法兰轴外的该图像获取装置,并将测距光导引至该光学测距装置,该该光学测距装置的测距轴平行或重叠该法兰轴;基于该多个校正姿态与该多个校正图像计算该图像获取装置的视觉空间与该机械手臂的机械空间之间的一转换关系;于一工作模式下,通过该图像获取装置拍摄一工作图像,并基于该工作图像及该转换关系决定执行工作的一机械空间坐标;及,控制该机械手臂移动至该机械空间坐标。
于一实施例中,一种自动化机械手臂系统,包含一机械手臂、一图像获取装置、一光学测距装置、一光路结构及控制装置。该机械手臂用以于一立体空间中移动。该图像获取装置设置于该机械手臂的法兰轴外,并用以拍摄图像。该光学测距装置,设置于该机械手臂上,用以测量一目标距离,该光学测距装置的测距轴平行或重叠该法兰轴。该光路结构包含一分光镜,该分光镜用以将可见光导引至该图像获取装置并将测距光导引至该光学测距装置。该控制装置连接该机械手臂、该图像获取装置及该光学测距装置,该控制装置被设定为于一校正模式下,基于该目标距离控制该机械手臂于该图像获取装置的一有效拍摄距离内移动为多个校正姿态,并控制该图像获取装置于该多个校正姿态分别拍摄多个校正图像,基于该多个校正姿态与该多个校正图像计算该图像获取装置的视觉空间与该机械手臂的机械空间之间的一转换关系。该控制装置被设定为于一工作模式下,控制该图像获取装置拍摄一工作图像,基于该工作图像及该转换关系决定执行工作的一机械空间坐标,并控制该机械手臂移动至该机械空间坐标。
本发明可叠合拍摄光轴与机械手臂的法兰轴,并提升机械手臂与电脑视觉之间的协调性。
附图说明
图1为本发明一实施例的自动化机械手臂系统的架构图;
图2为本发明一实施例的自动化机械手臂系统的部分架构图;
图3为本发明一实施例的控制装置的架构图;
图4为本发明一实施例的协调方法的流程图;
图5为本发明一实施例的协调方法的部分流程图;
图6为本发明一实施例的协调方法的部分流程图;
图7为本发明一实施例的自动化机械手臂系统的设置示意图;
图8为本发明一实施例的校正模式的第一示意图;
图9为本发明一实施例的校正模式的第二示意图;
图10为图8所拍摄的第一校正图像的示意图;
图11为图9所拍摄的第二校正图像的示意图;
图12为现有的机械手臂系统的设置示意图;
图13为现有的机械手臂系统的视野范围的示意图。
符号说明
1:机械手臂系统
10:机械手臂
11:端效器
12:相机
13:目标
140:法兰轴
141:拍摄光轴
15:目标图像
16:范围
17:转动后的范围
18:轴心
2:自动化机械手臂系统
20:控制装置
21:图像获取装置
210:感光元件
211:镜头
22:光学测距装置
220:光发射器
221:光接收器
23:机械手臂
230-233:关节
24:光路结构
240:分光镜
241:反射镜
25:存储装置
250:电脑程序
251:有效拍摄距离
252:转换关系
26:目标
30:控制电脑
31:机械手臂控制器
32:周边装置
40:拍摄控制模块
41:测距控制模块
42:手臂控制模块
43:校正控制模块
44:工作控制模块
45:转换处理模块
46:图像分析模块
50:光源
51:目标
52:治具
53:法兰轴
54:工作装置
55:安装基座
60:图像
600-601:位置
α1:转动角度
d1:偏置量
h1:目标距离
P1、P2:姿态
V1:变化量
S10-S16:协调步骤
S20-S25:校正步骤
S30-S33:工作步骤
具体实施方式
兹就本发明的一较佳实施例,配合附图,详细说明如后。
请参阅图12与图13,图12为现有的机械手臂系统的设置示意图,图13为现有的机械手臂系统的视野范围的示意图。
如图12所示,机械手臂系统1的相机12与机械手臂10是采用不同轴配置。由于不同轴配置,相机12的拍摄光轴141与机械手臂10的法兰轴140之间存在偏置量d1,上述偏置量d1会造成视觉空间与机械空间定位上的随机误差。
端效器11是直接设置于机械手臂10的末端。当机械手臂10移动端效器11(即改变姿态)时,挂载在机械手臂上的相机12的视野范围也会随之变动,而可以不同角度拍摄目标13。
如图13所示,当机械手臂10以法兰轴140作为轴心18进行角度α1的旋转运动时,由于端效器11并没有水平方向的移动,实际上仍可以对目标13进行加工。
然而,转动后的相机12的视野范围会从范围16变为转动后的范围17,而使得目标13的目标图像15脱离相机12的视野范围,这会造成机械手臂系统1无法对目标13进行视觉空间定位。
为解决上述不同轴配置所造成的问题,本发明提出一种自动化机械手臂系统与其机械手臂与电脑视觉之间的协调方法,可通过新颖的光路结构(特别是分光镜)来让拍摄光轴的入射端贴合至与法兰轴藉以达成手眼同轴的效果。
并且,本发明由于可以实现手眼同轴,可以消除不同轴配置所产生的偏置量问题,而可避免目标物超出视野范围。
并且,本发明由于采用不同轴配置,可大幅提升机械手臂的可加工范围,并大幅提升相机的体积上限。
并且,本发明还可通过光学测距辅助视觉空间与机械间的定位校正,来提升机械手臂与电脑视觉的协调。
请参阅图1,为本发明一实施例的自动化机械手臂系统的架构图。本发明的自动化机械手臂系统2主要包含图像获取装置21、光学测距装置22、机械手臂23、存储装置25及连接上述装置的控制装置20。
图像获取装置21,例如是RGB摄影机等彩色摄影机,用来对工作区域的目标进行拍摄,来获得包含目标的彩色图像(如后述的校正图像与工作图像)。前述彩色图像主要是用来执行电脑视觉分析,并提供运算结果来作为机械手臂23的运动参考。
机械手臂23,用以于立体空间中移动所挂载装置,来实现对不同位置执行测量(挂载光学测距装置22)、拍摄(挂载图像获取装置21)、加工(挂载工作装置54)等工作。
机械手臂23的末端设定有虚拟的法兰轴(例如是机械手臂23的移动基准点),其末端的空间位置可基于法兰轴来计算确定。前述法兰轴的计算为机械手臂23控制领域的现有技术,于此不再赘述。
于本发明中,图像获取装置21是设置于机械手臂23的法兰轴外,藉以增加机械手臂23的可加工范围(由法兰轴的可移动范围决定),并提升图像获取装置21的可允许体积上限,即可以采用体积较大效能较强的摄影机,且配线限制较为宽松。
于一实施例中,当机械手臂23的末端挂载工作装置54(如图8与图9所示)时,通过机械手臂23的运动,工作装置54可对不同位置执行加工。通过搭载不同的工作装置54,本发明可实现不同应用。
于一实施例中,工作装置54可连接控制装置20并受其控制来执行自动化动作。
举例来说,当工作装置54为夹取端效器、焊接加热器、标记工具、研磨工具、组装端效器、涂胶工具和/或锁固工具时,前述自动化动作可为对应的夹取动作(例如是夹取或吸取电子元件)、焊接动作(例如是控制激光焊头加热)、标记动作(例如是以烙印、喷涂等方式进行标记)、研磨动作(例如是执行切削、研磨等)、组装动作(例如是依指定组装方式将多个目标执行拼接、叠合等)、涂胶动作(例如是涂胶、点胶等)和/或锁固动作(例如是锁螺丝、螺母)。
光学测距装置22,例如是红外线测距仪,用以通过光学手段测量光学测距装置22与目标之间的目标距离。
于一实施例中,前述测量是使目标位于虚拟的测距轴上,并通过三角定位法来获得朝测距轴的平行方向进行测量。
于一实施例中,光学测距装置22是设置于机械手臂23的末端(或接近末端),而可以测量末端与目标之间的距离。
于一实施例中,光学测距装置22的测距轴可平行或重叠机械手臂23的法兰轴,藉以使所测量的目标距离是对应法兰轴中机械手臂23末端与正下方的目标之间的深度值。
光路结构24,设置于机械手臂23的末端(或接近末端)来接收入射光(从目标发出或反射的光),将入射光分为可见光与测距光,并分别导引至图像获取装置21与光学测距装置22。
具体而言,光路结构24包含分光镜240(如图7-图9,例如是光学棱镜),分光镜240可将入射光分离为不同波长的光线(原理为不同波长的光线具有不同折射率),例如是将入射光分为可见光与红外线(测距光)。于分离后,前述可见光可通过可见光路导引(可设置反射镜或透镜或直接射入)至图像获取装置21的镜头211与感光元件210(如图7),前述测距光可通过测距光路导引(可设置反射镜或透镜或直接射入)至光学测距装置22的光接收器221。藉此,光路结构24可以在入射端实现的法兰轴、测距轴、拍摄光轴(例如是拍摄视野的中心点或其他基准点)的同轴配置,并允许图像获取装置21设置于法兰轴(与测距光轴)外。
存储装置25,如磁盘硬盘、固态硬盘、ROM、RAM、EEPROM、快闪存储器或多种存储媒体的任意组合,用来存储数据,例如存储有效拍摄距离251与转换关系252。
控制装置20,用来控制自动化机械手臂系统2,例如控制校正模式与工作模式。
请参阅图2,为本发明一实施例的自动化机械手臂系统的部分架构图。于本实施例中,控制装置20可包含控制地脑30与机械手臂控制器。
机械手臂控制器31,连接机械手臂23,用来基于所收到的手臂控制命令来控制机械手臂移动。
于一实施例中,机械手臂23包含用来提供多个自由度的多个关节230-233(如图8至图9),各关节230-233由伺服马达来控制旋转角度,藉此,机械手臂23可于多个自由度中进行运动。
手臂控制命令可指示机械手臂23移动的目的地(机械空间坐标),机械手臂控制器31可将手臂控制命令转换为对应的姿态坐标(如各关节230-233的旋转角度),并控制各关节230-233转动来摆出手臂控制命令所对应的姿态。
控制电脑30,例如为工业电脑或个人电脑,连接(例如是通过工业网络或其他区域网络)机械手臂控制器31、图像获取装置21、光学测距装置22及存储装置25,并对这些装置进行控制。举例来说,控制电脑30可通过发出前述手臂控制命令至机械手臂控制器31来控制机械手臂23。
于一实施例中,控制电脑30还连接周边装置32,如通讯接口(用来连接网络)、人机界面(用来与用户互动)、电源设备(用来提供电力)等。
请参阅图7,为本发明一实施例的自动化机械手臂系统的设置示意图。
如图7所示,自动化机械手臂系统2包含安装基座55。安装基座55连接机械手臂23的末端,而可于一立体空间中被机械手臂23移动。
并且,图像获取装置21、光学测距装置22及光路结构24都设置在安装基座55。
于一实施例中,安装基座55可设置有一或多个光源50(如环形光源),光源50用来对工作区域(尤其是目标51及治具52)进行照明,使得图像获取装置21可以获得亮度较佳的目标图像,而大幅降低环境亮度变化影响。
于一实施例中,光路结构24可包含分光镜240与反射镜241。反射镜241用来反射分光镜240所分离出的可见光至图像获取装置21的镜头211与感光元件210。通过分光镜240与反射镜241,图像获取装置21的拍摄光轴可贴合机械手臂23的法兰轴53。并且,光学测距装置22的测距光轴可平行或贴合法兰轴53。
于一实施例中,分光镜240可为长通分色镜(longpass dichroic mirror),并具有80%以上(例如97%)的可见光反射率与75%以上(例如92%)的红外线穿透率,例如是允许波长在730nm以上(例如750nm)的光线穿透,并反射波长为300nm-730nm((例如450nm-490nm)的光线。
于一实施例中,光学测距装置22包含光发射器220、光接收器221与连接上述装置的测距控制器(图未标示)。光发射器220与光接收器221的中点的垂直线即为测距光轴(图7中,测距光轴与法兰轴53贴合)。
光发射器220用以朝目标51发射测距光(测距红外线),测距光打在目标51后会反射至分光镜240,并于穿透分光镜240后到达光接收器221。测距控制器(如微控制器或SoC)被设定来基于测距光的发射-接收时间差、光传播速度及光发射器220与光接收器221之间的距离执行三角定位来计算目标距离(即目标51的深度值)。
请参阅图3,为本发明一实施例的控制装置的架构图。控制装置20可包含模块40-46。模块40-46分别被设定来产生执行本发明的不同功能。
拍摄控制模块40,用来控制图像获取装置21,如控制拍摄动作、控制对焦动作、取得图像数据、执行所设定的图像处理等。
测距控制模块41,用来控制光学测距装置22,如控制执行测量、取得测量数据(目标距离)、执行测量校正等。
手臂控制模块42,用以通过发出手臂控制命令至机械手臂控制器31来控制机械手臂23的姿态,并可取得机械手臂23的目前位置。
校正控制模块43,用以执行校正模式。
工作控制模块44,用以执行工作模式。
转换处理模块45,用以计算视觉空间至机械空间的坐标转换与机械空间至视觉空间的坐标转换。
图像分析模块46,用以对目标图像执行图像分析与处理。
前述模块40-46是相互连接(可为电性连接与信息连接),并可为硬件模块(例如是电子电路模块、集成电路模块、SoC等等)、软件模块(例如是韧件、作业系统或应用程序)或软硬件模块混搭,不加以限定。
再者,当前述模块40-46为软件模块(例如是韧件、作业系统或应用程序)时,存储装置25可包含非暂态电脑可读取记录媒体(图未标示),前述非暂态电脑可读取记录媒体存储有电脑程序250,电脑程序250记录有电脑可执行的程序码,当控制装置20执行前述程序码后,可实做对应模块40-46的功能。
于一实施例中,前述模块40-46可设置在控制电脑30。举例来说,存储装置25可包含控制电脑30的存储器,前述存储器存储有电脑程序250,控制电脑30的处理器可以执行电脑程序250来实做对应模块40-46的功能。
请参阅图4,为本发明一实施例的协调方法的流程图。本实施例的机械手臂与电脑视觉之间的协调方法包含校正步骤S10-S12与工作模式S13-S16。
步骤S10:控制电脑30通过校正控制模块43进入校正模式以执行机械空间与视觉空间之间的协调与校正。
举例来说,控制电脑30可于接受用户的开始校正操作或收到校正命令时进入校正模式。
步骤S11:控制电脑30控制机械手臂23移动,并取得当前的目标距离,依据当前的目标距离判断机械手臂23(的末端)是否进入图像获取装置21的有效拍摄范围。
若进入有效拍摄范围,则控制机械手臂23于有效拍摄范围中依序摆出多个校正姿态,并于摆出各校正姿态时拍摄至少一校正图像,藉以获得分别对应多个校正姿态的多个校正图像。
步骤S12:控制电脑30通过转换处理模块45基于多个校正姿态与多个校正图像计算图像获取装置21的视觉空间与机械手臂23的机械空间之间的转换关系。
于一实施例中,控制电脑30可于各校正图像中识别校正目标的视觉空间坐标,计算校正目标于多个校正图像的多个视觉空间坐标的变化,计算多个校正姿态所对应的多个机械空间坐标的变化,并基于上述机械空间坐标的变化及视觉空间坐标的变化来计算视觉空间与机械空间之间的转换关系。
于一实施例中,视觉空间
Figure BDA0003290400180000101
机械空间
Figure BDA0003290400180000102
与转换关系
Figure BDA0003290400180000103
之间的数学关系为:
Figure BDA0003290400180000104
于一实施例中,转换关系
Figure BDA0003290400180000105
可通过以下方式计算获得。
图像获取装置21多次拍摄校正目标的特征f(例如是棋盘格),来获得多个不同校正姿态下图像获取装置21与特征的关系式:
Figure BDA0003290400180000106
同时获得多个当下的校正姿态的表示式
Figure BDA0003290400180000107
(W为机械空间坐标,如世界坐标),由于特征物在机械空间坐标下固定为
Figure BDA0003290400180000111
彼此的关系式可以表示为
Figure BDA0003290400180000112
Figure BDA0003290400180000113
由于
Figure BDA0003290400180000114
皆为已知,可通过取得多笔数据来最佳化方程序,以得到误差项最小的最佳解
Figure BDA0003290400180000115
即校正数据越多,转换关系
Figure BDA0003290400180000116
越精准。
步骤S13:控制电脑30通过工作控制模块44进入工作模式以执行工作。
举例来说,控制电脑30可于接受用户的开始工作操作或收到工作命令时进入工作模式。
步骤S14:控制电脑30控制机械手臂23移动,并取得当前的目标距离,依据当前的目标距离判断机械手臂23(的末端)是否进入图像获取装置21的有效拍摄范围。
若进入有效拍摄范围,则控制电脑30控制图像获取装置21拍摄工作目标来获得工作图像,通过图像分析模块46来执行工作相关图像分析处理,并于工作图像中决定要进行加工的位置(视觉空间坐标)。接着,控制电脑30通过转换处理模块45使用转换关系来将视觉空间坐标转换为机械空间坐标。并且,控制电脑30控制机械手臂23移动至机械空间坐标。
步骤S14:控制电脑30控制机械手臂23移动至机械空间坐标。
于一实施例中,控制电脑30可进一步控制工作装置54控制机械手臂于机械空间坐标执行自动化动作,例如夹取动作、焊接动作、标记动作、研磨动作、组装动作、涂胶动作和/或锁固动作。
本发明可对机械手臂与电脑视觉进行校正,而可以提升机器人的手眼协调。
请同时参阅图4与图5,图5为本发明一实施例的协调方法的部分流程图。相较于图4的协调方法,本实施例的协调方法的步骤S11还包含步骤S20-S24。
步骤S20:控制电脑30取得图像获取装置21的有效拍摄距离(如图1所示的有效拍摄距离251),并基于有效拍摄距离设定有效拍摄范围。
前述有效拍摄距离可例如为取得图像获取装置21的最大或最小对焦距离,并且有效拍摄范围可例如为图像获取装置21的对焦范围。
于一实施例中,若有效拍摄距离为50厘米,则控制电脑30可将0-50厘米设定为有效拍摄范围,或将25-50厘米设定为有效拍摄范围,或将25-75厘米设定为有效拍摄范围,不加以限定。
再者,当图像获取装置21与拍摄目标是落入前述有效拍摄距离或有效拍摄范围时,图像获取装置21可以正确地对拍摄目标进行聚焦,而可以拍摄到清晰的目标图像;当图像获取装置21与拍摄目标是不在有效拍摄范围内时,图像获取装置21无法正确地聚焦,而会产生模糊的目标图像。
步骤S21:控制电脑30控制机械手臂23移动,持续测量目标距离,直到基于目标距离判断进入有效拍摄范围内。
步骤S22:控制电脑30持续测量当前的目标距离,并控制机械手臂23于有效拍摄范围内移动并摆出不同的测焦姿态,并拍摄各测焦姿态的测焦图像。
于一实施例中,前述多个测焦姿态是于不同的目标距离所摆出,即控制电脑30是于有效拍摄范围内不断变换机械手臂23的高度(如从远离目标到接近目标),来获得不同高度的测焦图像。
步骤S23:控制电脑30通过图像分析模块46对多个测焦图像与对应的多个目标距离执行对焦分析来决定基准姿态及基准距离。
于一实施例中,前述对焦分析包含于多个测焦图像中选择一或多个准焦的测焦图像(即清晰图像),并基于拍摄这些测焦图像的测焦姿态来决定基准姿态(如这些测焦姿态的中心或重心),并基于拍摄这些测焦图像的目标距离来决定基准距离(如平均值)。
于一实施例中,前述对焦分析可通过分析多个图像的边缘特征、梯度大小等,来决定最清晰的测焦图像,取得能取得最清晰的测焦图像的测焦姿态与目标距离,并作为基准姿态及基准距离。
步骤S24:控制电脑30基于基准姿态及基准距离控制机械手臂23移动为校正姿态,并于此校正姿态下拍摄对应的校正图像。
于一实施例中,各校正姿态的目标距离是等于或接近基准距离,并是基于基准姿态进行变化,例如在相同高度平面上旋转或位移机械手臂23的末端。
步骤S25:控制电脑30通过校正控制模块43判断是否预设的停止收集条件满足,以判断是否所收集的校正数据已足够,例如满足预设的笔数,如10笔、50笔或100笔等,不加以限定。
若停止收集条件满足,则结束收集校正数据;否则,在次执行步骤S24,以获得不同校正姿态下拍摄的校正图像。
藉此,本发明可连续地改变机械手臂的旋转与位移来摆出不同的校正姿态,并拍摄各校正姿态的校正图像,直到收集到足够的校正数据。
于一实施例中,于所收集的多个校正姿态中,至少两个校正姿态所在平面是跟治具52平行。
于一实施例中,于所收集的多个校正姿态中,至少两个校正姿态在不同的目标距离,即不同高度。
本发明由于拍摄光轴与法兰轴贴合,所计算出来的转换关系可以更为准确。
请同时参阅图4与图6,图6为本发明一实施例的协调方法的部分流程图。相较于图4的协调方法,本实施例的协调方法的步骤S14还包含步骤S30-S33。
步骤S30:控制电脑30控制机械手臂23移动(如持续朝工作目标接近),持续取得目标距离,并基于目标距离判断机械手臂23是否进入有效拍摄范围(如目标距离是否小于有效拍摄距离251)。
步骤S31:控制电脑30于机械手臂23(包含图像获取装置21)进入有效拍摄范围后,对工作目标进行拍摄来获得工作图像。
步骤S32:控制电脑30通过图像分析模块46对工作图像中执行图像分析。
于一实施例中,前述图像分析可包含于工作图像中识别工作目标,并基于工作目标在视觉空间的位置执行工作分析来决定需要执行工作的视觉空间坐标。
于一实施例中,前述工作分析可以是瑕疵检测处理(例如检测元件瑕疵)、测量处理(例如测量元件面积或长度)、分类筛检处理(例如对元件进行辨识与分类)与元件定位处理(例如决定元件的抓取点、组装点、焊接点等)。
步骤S33:控制电脑30基于转换关系252转换执行工作的视觉空间坐标为执行工作的机械空间坐标。
于一实施例中,控制电脑30可进一步依据工作装置54与法兰轴的位置差,对机械空间坐标进行补偿,来获得补偿后的机械空间坐标。并且,控制电脑30可基于补偿后的机械空间坐标产生手臂控制命令,并发送手臂控制命令至机械手臂控制器31来控制机械手臂将工作装置54移动至执行工作的机械空间坐标。
藉此,本发明可通过电脑视觉来自动执行加工作业。
请参阅图8至图11,图8为本发明一实施例的校正模式的第一示意图,图9为本发明一实施例的校正模式的第二示意图,图10为图8所拍摄的第一校正图像的示意图,图11为图9所拍摄的第二校正图像的示意图。
于本实施例中,光路结构仅包含分光镜240,分光镜240分离出的可见光是直接射入图像获取装置21,图像获取装置21的镜头朝向是与法兰轴垂直。
此外,工作装置54是设置于安装基座55底部,且位于法兰轴之外,藉以避免干扰入射光的射入。
再者,上述设置方式中,工作装置54与法兰轴的距离是固定的,这使得控制装置20可以由法兰轴快速且准确地计算工作装置54目前的空间位置。
机械手臂23于末端移动至有效拍摄距离h1内后,可通过调整关节230-233来摆出如图8所示的第一个校正姿态P1,并通过图像获取装置21来拍摄如图10所示的第一张校正图像。
接着,机械手臂23可通过调整关节232、233来摆出如图9所示的不同的第二个校正姿态P2,并通过图像获取装置21来拍摄如图11所示的第二张校正图像。
如图10所示,第一校正姿态P1下,第一张校正图像的目标60的特征(于此为中心点)是位于视觉空间的位置600。
如图11所示,于变换至第二校正姿态P2后,第二张校正图像的目标60的特征移动至视觉空间的位置601。
接着,计算第一校正姿态P1与第二校正姿态P2之间的机械空间坐标变化量,并计算位置600至位置601的视觉空间变化量V1,将两组变化量进行关联即可获得视觉空间与机械空间之间的转换关系,而完成校正。
以上所述仅为本发明的较佳具体实例,非因此即局限本发明的权利要求,故举凡运用本发明内容所为的等效变化,均同理皆包含于本发明的范围内,合予陈明。

Claims (20)

1.一种机械手臂与电脑视觉之间的协调方法,包括:
a)于校正模式下,基于光学测距装置所测量的目标距离控制机械手臂于图像获取装置的有效拍摄范围内移动为多个校正姿态,并通过所述图像获取装置于所述多个校正姿态分别拍摄多个校正图像,其中分光镜将可见光导引至设置于所述机械手臂的法兰轴外的所述图像获取装置,并将测距光导引至所述光学测距装置,所述光学测距装置的测距轴平行或重叠所述法兰轴;
b)基于所述多个校正姿态与所述多个校正图像计算所述图像获取装置的视觉空间与所述机械手臂的机械空间之间的转换关系;
c)于工作模式下,通过所述图像获取装置拍摄工作图像,并基于所述工作图像及所述转换关系决定执行工作的机械空间坐标;及
d)控制所述机械手臂移动至所述机械空间坐标。
2.根据权利要求1所述的机械手臂与电脑视觉之间的协调方法,其中所述步骤a)包括:
a1)取得所述图像获取装置的有效拍摄距离,并基于所述有效拍摄距离设定所述有效拍摄范围;
a2)控制所述机械手臂于所述有效拍摄范围内分别为不同的所述目标距离的多个测焦姿态,并于所述多个测焦姿态分别拍摄多个测焦图像;及
a3)对所述多个测焦图像与对应的所述多个目标距离执行对焦分析来决定基准姿态及基准距离。
3.根据权利要求2所述的机械手臂与电脑视觉之间的协调方法,其中所述对焦分析包括:
e1)于所述多个测焦图像中选择至少一准焦的所述测焦图像;及
e2)基于拍摄到清晰的所述测焦图像的所述测焦姿态与所述目标距离决定所述基准姿态及所述基准距离。
4.根据权利要求1所述的机械手臂与电脑视觉之间的协调方法,其中所述步骤a)包括:a4)基于基准姿态及基准距离连续地控制所述机械手臂移动为不同的所述校正姿态,并分别拍摄多个所述校正图像,直到停止收集条件满足。
5.根据权利要求1所述的机械手臂与电脑视觉之间的协调方法,其中所述步骤b)包括:
b1)于各所述校正图像中识别校正目标的视觉空间坐标;
b2)计算所述校正目标于所述多个校正图像的所述多个视觉空间坐标的变化;
b3)计算所述多个机械空间坐标的变化;及
b4)基于所述多个机械空间坐标的变化及所述多个视觉空间坐标的变化计算视觉空间与机械空间之间的所述转换关系。
6.根据权利要求1所述的机械手臂与电脑视觉之间的协调方法,其中所述步骤c)包括:
c1)于所述机械手臂进入所述有效拍摄范围时拍摄所述工作图像;
c2)于所述工作图像中识别工作目标,并基于所述工作目标的位置执行工作分析来决定执行工作的视觉空间坐标;及
c3)基于所述转换关系转换执行工作的所述视觉空间坐标为执行工作的所述机械空间坐标。
7.根据权利要求6所述的机械手臂与电脑视觉之间的协调方法,其中所述工作分析包括瑕疵检测处理、测量处理、分类筛检处理与元件定位处理的至少其中之一。
8.根据权利要求1所述的机械手臂与电脑视觉之间的协调方法,还包括:f)控制所述机械手臂于所述机械空间坐标执行自动化动作。
9.根据权利要求8所述的机械手臂与电脑视觉之间的协调方法,其中所述自动化动作包括夹取动作、焊接动作、标记动作、研磨动作、组装动作、涂胶动作与锁固动作的至少其中之一。
10.根据权利要求1所述的机械手臂与电脑视觉之间的协调方法,其中所述分光镜具有80%以上的可见光反射率与75%以上的红外线穿透率。
11.一种自动化机械手臂系统,包括:
机械手臂,用以于立体空间中移动;
图像获取装置,设置于所述机械手臂的法兰轴外,并用以拍摄图像;
光学测距装置,设置于所述机械手臂上,用以测量目标距离,所述光学测距装置的测距轴平行或重叠所述法兰轴;
光路结构,包括分光镜,所述分光镜用以将可见光导引至所述图像获取装置并将测距光导引至所述光学测距装置;及
控制装置,连接所述机械手臂、所述图像获取装置及所述光学测距装置;
其中,所述控制装置被设定为于校正模式下,基于所述目标距离控制所述机械手臂于所述图像获取装置的有效拍摄距离内移动为多个校正姿态,并控制所述图像获取装置于所述多个校正姿态分别拍摄多个校正图像,基于所述多个校正姿态与所述多个校正图像计算所述图像获取装置的视觉空间与所述机械手臂的机械空间之间的转换关系;
其中,所述控制装置被设定为于工作模式下,控制所述图像获取装置拍摄工作图像,基于所述工作图像及所述转换关系决定执行工作的机械空间坐标,并控制所述机械手臂移动至所述机械空间坐标。
12.根据权利要求11所述的自动化机械手臂系统,其中所述控制装置包括:
机械手臂控制器,连接所述机械手臂,用以基于所收到的手臂控制命令来控制所述机械手臂移动;及
控制电脑,连接所述机械手臂控制器、所述图像获取装置及所述光学测距装置,用以发出所述手臂控制命令;
其中,所述控制电脑被设定来取得所述图像获取装置的有效拍摄距离,并基于所述有效拍摄距离设定所述有效拍摄范围,控制所述机械手臂于所述有效拍摄范围内分别为不同的所述目标距离的多个测焦姿态,并于所述多个测焦姿态分别拍摄多个测焦图像;
其中,所述控制电脑被设定来对所述多个测焦图像与对应的所述多个目标距离执行对焦分析来决定基准姿态及基准距离;
其中,所述控制电脑被设定来基于所述基准姿态及所述基准距离连续地控制所述机械手臂移动为不同的所述校正姿态,并拍摄多个所述校正图像,直到停止收集条件满足。
13.根据权利要求12所述的自动化机械手臂系统,其中所述控制电脑被设定为于所述多个测焦图像中选择至少一准焦的所述测焦图像,并基于拍摄到清晰的所述测焦图像的所述测焦姿态与所述目标距离决定所述基准姿态及所述基准距离。
14.根据权利要求11所述的自动化机械手臂系统,还包括安装基座,用以设置所述图像获取装置、所述光学测距装置及所述光路结构;
其中,所述机械手臂的末端连接所述安装基座,并用以于所述立体空间中移动所述安装基座;
其中,所述控制设备被设定为于各所述校正图像中识别校正目标的视觉空间坐标,计算所述校正目标于所述多个校正图像的所述多个视觉空间坐标的变化,计算所述多个机械空间坐标的变化,并基于所述多个机械空间坐标的变化及所述多个视觉空间坐标的变化计算视觉空间与机械空间之间的所述转换关系。
15.根据权利要求11所述的自动化机械手臂系统,其中所述机械手臂包括用以提供多个自由度的多个关节,所述机械空间坐标是基于所述机械空间坐标调整所述多个关节的旋转角度来控制所述机械手臂于所述多个自由度中进行运动;
其中,所述控制装置被设定为当所述机械手臂进入所述有效拍摄范围时拍摄所述工作图像,于所述工作图像中识别工作目标,并基于所述工作目标的位置执行工作分析来决定执行工作的视觉空间坐标,并基于所述转换关系转换执行工作的所述视觉空间坐标为执行工作的所述机械空间坐标;
其中,所述工作分析包括瑕疵检测处理、测量处理、分类筛检处理与元件定位处理的至少其中之一。
16.根据权利要求11所述的自动化机械手臂系统,还包括工作装置,连接所述控制装置;
其中,所述控制装置被设定来于所述机械手臂移动至所述机械空间坐标时,控制所述工作装置执行自动化动作。
17.根据权利要求16所述的自动化机械手臂系统,其中所述工作装置包括夹取端效器、焊接加热器、标记工具、研磨工具、组装端效器、涂胶工具与锁固工具的至少其中之一;
其中,所述自动化动作包括夹取动作、焊接动作、标记动作、研磨动作、组装动作、涂胶动作与锁固动作的至少其中之一。
18.根据权利要求11所述的自动化机械手臂系统,其中所述图像获取装置包括彩色摄影机;
其中,所述光学测距装置包括红外线测距仪;
其中,所述分光镜为长通分色镜,并具有80%以上的可见光反射率与75%以上的红外线穿透率。
19.根据权利要求11所述的自动化机械手臂系统,其中所述光学测距装置包括:
光发射器,用以朝目标发射所述测距光;
光接收器,用以接收反射的所述测距光;及
测距控制器,连接所述光发射器与所述光接收器,被设定来基于所述测距光的发射-接收时间差、光传播速度及所述光发射器与所述光接收器之间的距离计算所述目标距离。
20.根据权利要求11所述的自动化机械手臂系统,其中所述光路结构还包括反射镜,所述反射镜用以反射所述分光镜所反射的可见光至所述图像获取装置。
CN202111162843.8A 2021-09-30 2021-09-30 自动化机械手臂系统 Pending CN115890638A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111162843.8A CN115890638A (zh) 2021-09-30 2021-09-30 自动化机械手臂系统
JP2021209592A JP7263501B2 (ja) 2021-09-30 2021-12-23 自動ロボットアームシステム、及びそのロボットアームとコンピュータビジョンとの間の協調方法
US17/563,976 US11958200B2 (en) 2021-09-30 2021-12-28 Automatic robotic arm system and coordinating method for robotic arm and computer vision thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111162843.8A CN115890638A (zh) 2021-09-30 2021-09-30 自动化机械手臂系统

Publications (1)

Publication Number Publication Date
CN115890638A true CN115890638A (zh) 2023-04-04

Family

ID=85718335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111162843.8A Pending CN115890638A (zh) 2021-09-30 2021-09-30 自动化机械手臂系统

Country Status (3)

Country Link
US (1) US11958200B2 (zh)
JP (1) JP7263501B2 (zh)
CN (1) CN115890638A (zh)

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS566550B2 (zh) * 1973-01-20 1981-02-12
US5361217A (en) * 1992-05-07 1994-11-01 Fuji Photo Optical Co., Ltd. Position measuring/plotting apparatus
JP3239277B2 (ja) * 1992-07-15 2001-12-17 富士通株式会社 知能ロボット
WO1998044718A2 (en) * 1997-04-01 1998-10-08 Agris-Schoen Vision Systems, Inc. High-precision-resolution image acquisision apparatus and method
JP4837116B2 (ja) 2010-03-05 2011-12-14 ファナック株式会社 視覚センサを備えたロボットシステム
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
US8553937B2 (en) * 2011-10-20 2013-10-08 Honeywell International Inc. Controller for an image stabilizing orthogonal transfer charge-coupled device
TWI452409B (zh) * 2012-12-14 2014-09-11 Delta Electronics Inc 光源模組、光激發裝置及應用其之投影機
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
US9827054B2 (en) * 2014-03-14 2017-11-28 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
KR20150057011A (ko) * 2013-11-18 2015-05-28 삼성전자주식회사 광원일체형 카메라
IN2014DE02323A (zh) * 2013-11-27 2015-06-26 Bae Systems Information & Electronic Systems Integration Inc
JP6429473B2 (ja) 2014-03-20 2018-11-28 キヤノン株式会社 ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
WO2017105649A1 (en) * 2015-12-17 2017-06-22 Bae Systems Information And Electronic Systems Integration Inc. Sensor imager and laser alignment system
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US11648678B2 (en) * 2017-11-20 2023-05-16 Kindred Systems Inc. Systems, devices, articles, and methods for calibration of rangefinders and robots
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
US11396057B2 (en) * 2019-07-02 2022-07-26 Servo-Robot Inc. Twin laser camera assembly
TWI699264B (zh) 2019-07-05 2020-07-21 上銀科技股份有限公司 視覺導引機器手臂校正方法
CN112404632B (zh) * 2019-08-22 2022-09-02 台达电子工业股份有限公司 焊锡装置及其系统控制器
CN110599541B (zh) * 2019-08-28 2022-03-11 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
TWI701123B (zh) 2019-12-18 2020-08-11 財團法人工業技術研究院 機器人工件座標系自動校正系統與方法
EP3961280A1 (en) * 2020-08-27 2022-03-02 Leica Instruments (Singapore) Pte. Ltd. An autofocus system, an optical system, a method for an autofocus system and a computer program
TWI724977B (zh) 2020-09-29 2021-04-11 台達電子工業股份有限公司 機器手臂的座標系校正設備及校正方法
CN114310868B (zh) 2020-09-29 2023-08-01 台达电子工业股份有限公司 机器手臂的坐标系校正设备及校正方法
US11328409B2 (en) * 2020-09-30 2022-05-10 Mitutoyo Corporation System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
US20220392012A1 (en) * 2021-06-07 2022-12-08 Alcon Inc. Optical axis calibration of robotic camera system
US20230228882A1 (en) * 2022-01-18 2023-07-20 Torrey Pines Logic, Inc. Laser rangefinder with integrated imaging system

Also Published As

Publication number Publication date
JP2023051664A (ja) 2023-04-11
US11958200B2 (en) 2024-04-16
JP7263501B2 (ja) 2023-04-24
US20230097932A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US10875187B2 (en) Robotic arm camera system and method
US9604363B2 (en) Object pickup device and method for picking up object
JP5290324B2 (ja) 空間内において少なくとも1つのオブジェクトを最終姿勢に高精度で位置決めするための方法およびシステム
CN108534710B (zh) 一种单线激光的三维轮廓扫描装置及方法
JP2020116734A (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
WO2016079967A1 (en) Robot and robot system
EP2543483A1 (en) Information processing apparatus and information processing method
CN107649875B (zh) 光学模组组装设备及方法
JP2009269110A (ja) 組立装置
JP2024009106A (ja) ツールの作業位置のずれ量を取得する装置、及び方法
JP6869159B2 (ja) ロボットシステム
CN109459984B (zh) 一种基于三维点云的定位抓取系统及其使用方法
JP6565175B2 (ja) ロボットおよびロボットシステム
JPH0970786A (ja) 把持ハンド
US11328409B2 (en) System and method utilizing multi-point autofocus to align an optical axis of an optical assembly portion to be normal to a workpiece surface
CN114248086B (zh) 一种柔性化三维视觉引导的机器人对位系统及方法
CN111982010A (zh) 一种孔的光学成像和扫描装置
TWI776694B (zh) 自動化機械手臂系統與機械手臂與其電腦視覺之間的協調方法
CN115890638A (zh) 自动化机械手臂系统
TW201447289A (zh) 光電透鏡檢測裝置及檢測方法
CN110425979A (zh) 一种基于实训机器人的点激光测量方法和装置
WO2022092285A1 (ja) はんだ付け装置及びはんだ付けシステム、並びに、加工装置
JPH0545117A (ja) 光学式3次元位置計測方法
JP6182248B2 (ja) ダイボンダ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination