CN116997443A - 用于将机器人臂与样本管载体对准的装置和方法 - Google Patents
用于将机器人臂与样本管载体对准的装置和方法 Download PDFInfo
- Publication number
- CN116997443A CN116997443A CN202280014622.2A CN202280014622A CN116997443A CN 116997443 A CN116997443 A CN 116997443A CN 202280014622 A CN202280014622 A CN 202280014622A CN 116997443 A CN116997443 A CN 116997443A
- Authority
- CN
- China
- Prior art keywords
- sample tube
- robotic arm
- positioning tool
- marker
- tube carrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000003550 marker Substances 0.000 claims abstract description 99
- 230000003287 optical effect Effects 0.000 claims abstract description 79
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 17
- 230000033001 locomotion Effects 0.000 description 11
- 238000005286 illumination Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 239000013060 biological fluid Substances 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002850 optical based method Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/0099—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor comprising robots or similar manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/021—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations having a flexible chain, e.g. "cartridge belt", conveyor for reaction cells or cuvettes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0401—Sample carriers, cuvettes or reaction vessels
- G01N2035/0406—Individual bottles or tubes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N35/00—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
- G01N35/02—Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor using a plurality of sample containers moved by a conveyor system past one or more treatment or analysis stations
- G01N35/04—Details of the conveyor system
- G01N2035/0474—Details of actuating means for conveyors or pipettes
- G01N2035/0491—Position sensing, encoding; closed-loop control
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
Abstract
用于自动化样本分析系统中的机器人臂对准的装置包括机器人臂、样本管载体、多个光学组件(包括例如一个或多个相机)和控制器。所述控制器可操作以处理从光学组件接收到的图像,以确定第一标记相对于样本管载体的第一组坐标,并且确定第二标记相对于机器人臂的第二组坐标。所述控制器进一步可操作以响应于第一组和第二组坐标之间的过度偏移来调整机器人臂和/或样本管载体的位置。在一些实施例中,定位工具在其上包括第一和第二标记。还提供了自动化样本分析系统中的机器人臂与样本管载体对准的方法,其他方面也是如此。
Description
相关申请的交叉引用
本申请要求2021年2月11日提交的、题为“APPARATUS AND METHODS FOR ALIGNINGA ROBOTIC ARM WITH A SAMPLE TUBE CARRIER”的第63/148,533号美国临时专利申请的权益,其公开内容通过引用被整体地并入用于所有目的。
技术领域
本公开涉及用于经由机器人来运送生物液体容器的系统。
背景技术
在医学测试和处理中,机器人的使用可以最小化对生物液体样本(例如,血液、尿液等)的暴露或与其的接触,和/或可以增加生产率。例如,在一些自动化测试和处理系统(下文中称为“自动化样本分析系统”)中,生物液体容器(诸如例如试管、小瓶以及诸如此类,下文中称为“样本管”)可以被运送到样本管载体和从样本管载体运送,以及运送到自动化样本分析系统中的测试或处理位置和从该测试或处理位置运送。
机器人臂——其可以具有被配置成保持样本管的夹持器——的不准确对准可能导致机器人臂的不准确定位,这可能导致自动化样本分析系统中的夹持器和样本管之间、和/或样本管和样本管载体和/或其他结构之间的碰撞或堵塞。附加地,机器人臂未对准可能导致夹持器对样本管作出的震动的拾取和放置操作,这可能导致(contribute to)不想要的样本溢出。
因此,改进在自动化样本分析系统中机器人臂相对于制品(诸如样本管载体)的定位准确性的方法和装置是期望的。
发明内容
在一些实施例中,提供了用于自动化样本分析系统中的机器人臂对准的装置,所述装置包括被配置成保持和移动样本管的机器人臂。所述装置还包括以下各项:样本管载体,其被配置成保持样本管;定位工具,其被配置成由机器人臂保持,由机器人臂移动,并且被保持在样本管载体中;多个光学组件;以及控制器。所述控制器可操作以处理从保持在样本管载体中的定位工具的多个光学组件接收到的图像,以确定定位工具上的第一点的坐标。控制器还可操作以处理从由机器人臂保持的定位工具的多个光学组件接收到的图像,以确定定位工具上的第二点的坐标。控制器进一步可操作以响应于第二点的坐标超过与第一点的坐标的预定偏差,使得由机器人臂保持的或保持在样本管载体中的定位工具移动。
在一些实施例中,提供了用于机器人臂对准的另一个装置,所述装置包括样本管载体,所述样本管载体被配置成保持样本管,并且在其上具有第一标记。所述装置还包括机器人臂,所述机器人臂包括被配置成保持和移动样本管的夹持器,其中夹持器在其上具有第二标记。所述装置进一步包括多个光学组件、以及控制器,所述控制器可操作地耦合到机器人臂和所述多个光学组件。所述控制器可操作以处理从样本管载体的多个光学组件接收到的图像,以确定第一标记的坐标。控制器还可操作以处理从夹持器的多个光学组件接收到的图像,以确定第二标记的坐标。控制器进一步可操作以响应于第二标记的坐标超过与第一标记的坐标的预定偏差,使得夹持器经由机器人臂移动,或者使得样本管载体经由可移动轨道移动。
在一些实施例中,提供了一种在自动化样本分析系统中对准机器人臂的方法。所述方法包括:标识相对于样本管载体的第一标记位置,标识相对于机器人臂的第二标记位置,使用多个光学组件和控制器来确定第一标记位置的坐标,使用多个光学组件和控制器来确定第二标记位置的坐标,以及响应于第二标记位置的坐标超过与第一标记位置的坐标的预定偏差,经由所述控制器来调整机器人臂或样本管载体的位置。
本公开的又一些其他方面、特征和优点可以从多个示例实施例和实现——包括考虑用于执行本发明的最佳模式——的以下详细描述和图示中变得清楚。本公开还可以能够有其他和不同的实施例,并且其若干细节可以在各种方面中被修改,所有这些都不脱离本发明的范围。例如,尽管下面的描述涉及自动化样本分析系统,但是机器人臂对准装置和方法可以容易地适于采用机器人的其他系统,其中期望由机器人处理的制品的精确放置。本公开旨在覆盖落入所附权利要求(进一步参见下文)的范围内的所有修改、等同物和替代方案。
附图说明
下面描述的附图是出于说明性目的并且不一定按比例绘制。因此,附图和描述本质上被认为是说明性的,而不是限制性的。附图不旨在以任何方式限制本发明的范围。
图1图示了根据本文中提供的实施例的机器人臂对准装置的示意性侧视图。
图2图示了根据本文中提供的实施例的可以用于图1的机器人臂对准装置中的光学组件布置的示意性平面视图。
图3-8图示了根据本文中提供的实施例的可以用于图1的机器人臂对准装置中的光学组件的各种布置的简化示意性视图。
图9图示了根据本文中提供的实施例的可以由图8的光学组件布置捕获的图像。
图10A和10B分别图示了根据本文中提供的实施例的定位工具的平面视图和左侧视图。
图11图示了根据本文中提供的实施例的另一定位工具的平面视图。
图12、13和14各自图示了根据本文中提供的实施例的具有不同背板的定位工具的图像。
图15A、15B和15C各自图示了根据本文中提供的实施例的从由机器人臂保持的定位工具的不同角度捕获的图像。
图16图示了根据本文中提供的实施例的定位工具和两个相机的简化侧视示意性视图。
图17图示了根据本文中提供的实施例在自动化样本分析系统中对准机器人臂的方法的流程图。
图18图示了根据本文中提供的实施例的机器人臂和样本管载体的图像,每个机器人臂和样本管载体在其上具有基准标记。
具体实施方式
本文中描述的实施例提供了用于在自动化样本分析系统中将机器人臂与样本管载体对准的装置和方法,使得由机器人臂承载的样本管(即,生物液体容器,诸如例如试管、小瓶或诸如此类)可以被精确地放置在样本管载体处的预定点处,以用于例如在自动化样本分析系统中或通过自动化样本分析系统进行检查(质量检查)、分析和/或运送。
根据一个或多个实施例,使用基于光学的方法来执行机器人臂对准。多个光学组件(例如,两个或更多个相机或仅一个相机和一个或多个镜子和/或棱镜)可以被布置在自动化样本分析系统中的指定位置(例如,系统中心位置)处,在该位置处,样本管预期被接收到样本管载体中。第一基准标记可以相对于样本管载体而“附着”或者“附着”到样本管载体,并且第二基准标记可以相对于机器人臂而“附着”或者“附着”到机器人臂。
也就是说,第一基准标记可以是物理标记(例如,点光源、或具有可标识形状和/或颜色的粘贴物),其可以附到样本管载体或相对于样本管载体的结构,该结构可在由多个光学组件捕获的图像中标识。第一基准标记可以代之以是样本管载体上的选择的位置或相对于样本管载体的结构上的选择的位置,该结构可在由多个光学组件捕获的图像中经由选择的位置处的几何或颜色对比度改变来标识。
同样地,第二基准标记可以是物理标记(例如,点光源、或具有可标识的形状和/或颜色的粘贴物),其可以附到机器人臂或相对于机器人臂的结构,该结构可在由多个光学组件捕获的图像中标识。第二基准标记可以代之以是机器人臂上的选择的位置或相对于机器人臂的结构上的选择的位置,该结构可在由多个光学组件捕获的图像中经由选择的位置处的几何或颜色对比度改变来标识。
在一些实施例中,被配置成由机器人臂保持在样本管载体中的独特设计的定位工具可以包括第一和第二基准标记。第一和第二基准标记被配置成使用多个光学组件以及三维(3D)坐标系而可定位和可跟踪。第一和第二基准标记的坐标之间的系统确定的3D偏移可以用于引导机器人臂移动和/或安装在可移动轨道上的样本管载体的移动,以将机器人臂与样本管载体对准,以便将样本管精确地放置在样本管载体处的预定点处。
有利地,如与依赖于试错法机械方法的已知对准方法相比,基于光学的方法可以提供更高的准确性和可靠性,所述试错法机械方法采用碰撞传感器反馈来调整机器人臂的移动,试图将由机器人臂保持的工件插入到圆形孔结构中。基于光学的方法是一种无接触系统,该系统直接估计机器人臂和样本管载体之间的(一个或多个)相对坐标差。因此避免了对相关硬件组件的机械公差的依赖以及由重复的机械碰撞引起的对机械部件的退化和替换。
根据一个或多个实施例,本文中提供了用于使用基于光学的方法在自动化样本分析系统中将机器人臂与样本管载体对准的装置和方法,如下面将结合图1-18更详细地解释的那样。
图1图示了根据一个或多个实施例的机器人臂对准装置100。机器人臂对准装置100包括机器人102、样本管载体104、控制器106和多个光学组件108。机器人102可以用于自动化样本分析系统中,该自动化样本分析系统可以包括一个或多个诊断机器、临床分析仪、离心机或其他处理或测试机器或站。机器人102包括机器人臂103,机器人臂103被配置成在三个维度(例如,X、Y和Z,其中Z进入到如图1中所示的页面中和离开如图1中所示的页面)保持和移动样本管110(以虚线示出)。机器人臂103可以将样本管110从第一位置(例如,暂存位置(staging location))移动到第二位置(例如,检查、测试或处理位置)。在一些实施例中,机器人102可以包括旋转电机102R,该旋转电机102R可以被配置成将机器人臂103旋转到旋转方向θ(相当于X和Z方向的组合)上的期望角度取向。机器人102还可以包括竖直电机102V,该竖直电机102V可以被配置成在竖直方向(例如,沿着如所示的+/-Y方向)上移动立柱102U。在一些实施例中,机器人臂103可以包括第一部件103A、第二部件103B和夹持器103G,其中机器人102可以进一步包括平移电机102T,该平移电机102T可以被配置成在水平方向(例如,沿着如所示的+/-X方向)上移动第二部件103B和夹持器103G。可以提供用于赋予3D运动(例如,X、Y、θ运动;X、Y、Z运动;或者运动的其他组合)的其他合适的机器人电机和机构。可以针对每个运动度提供合适的反馈机制,诸如来自位置和/或旋转编码器(未示出)。因此,机器人坐标系可以包括X、Y、θ或X、Y、Z或其任何子集或组合。
夹持器103G可以被配置成夹持制品,诸如样本管,并且可以包括两个或更多个夹持器指状物103F1和103F2,夹持器指状物103F1和103F2可以彼此相对并且彼此相对可移动。夹持器指状物103F1和103F2可以由致动机构103M来驱动打开和关闭,该致动机构103M可以是电动、气动或液压伺服电机。可以使用用于引起夹持器指状物103F1和103F2的夹持动作的其他合适的机构。夹持器103G还可以包括夹持器旋转电机103R,夹持器旋转电机103R被配置成关于夹持器旋转轴103X来旋转夹持器103G、并且更特别地是夹持器指状物103F1和103F2,以根据需要来精确地旋转地定向夹持器指状物103F1和103F2。可以包括旋转编码器(未示出)以向控制器106反馈关于夹持器指状物103F1和103F2的旋转取向的信息。也可以使用其他类型的夹持器。
机器人102可以被配置成将样本管110移入到样本管载体104中和移出样本管载体104。样本管载体104可以包括被布置在样本管载体基部104B上的样本管贮器104R。样本管载体104可以被安装在可移动轨道112上,该轨道122可以被配置成将样本管运送到自动化样本分析系统内的各个位置。
控制器106可以包括微处理器、处理电路(包括A/D转换器、放大器、滤波器等)、存储器、以及驱动和反馈电路,其被配置成并可操作以控制机器人102及其各种组件(例如,旋转电机102R、平移电机102T、竖直电机102V、致动机构103M和夹持器旋转电机103R)的操作。控制器106还可以被配置成并可操作以控制光学组件108的操作,并且处理来自光学组件108和各种编码器和传感器(未示出)的输入。在一些实施例中,控制器106可以包括机器学习算法,该机器学习算法被训练以标识从光学组件108接收到的图像中的第一和第二基准标记。
在一些实施例中,光学组件108可以包括两个相机108C1和108C2,相机108C1和108C2围绕系统中心位置101而布置,以在第一基准标记(在机器人臂103上或相对于机器人臂103)和第二基准标记(在样本管载体104上或相对于样本管载体104)的不同角度处捕获图像。相机108C1和108C2可以是用于捕获良好定义的数字图像的任何合适的设备,诸如例如能够捕获像素化图像的传统数字相机、电荷耦合器件(CCD)、光电探测器的阵列、一个或多个CMOS传感器或诸如此类。控制器106可以处理从相机108C1和108C2接收到的图像,以确定第一和第二基准标记的相应3D位置坐标,并且然后基于位置坐标之间的3D偏移来实现机器人臂103与样本管载体104的对准,使得样本管110可以被机器人臂103精确地定位在样本管载体104中以及从样本管载体104拾取,如下面更详细描述的那样。其他实施例可以具有多于或少于两个相机和/或可以在机器人臂对准装置100中使用的光学组件的其他布置,如下面结合图2-8所描述的那样。
图2图示了根据一个或多个实施例的可以在机器人臂对准装置100中使用的光学组件布置208。光学组件布置208包括三个相机208C1、208C2和208C3,该相机208C1、208C2和208C3可以围绕系统中心位置201彼此近似相等地间隔开(例如,分开大约120度),以用于接收安装在可移动轨道112上的样本管载体104的样本管贮器104R。样本管贮器104R对于机器人102(图2中未示出)而言是可接近的。相机208C1、208C2和208C3的操作可以由控制器106控制,控制器106还可以接收和处理从相机208C1、208C2和208C3接收到的图像。
光学组件布置208还可以包括分别与相机208C1、208C2和208C3相对地定位的背板214A、214B和214C,其中样本管贮器104R位于相应的相机和背板对之间。在一些实施例中,背板214A、214B和214C中的一个或多个可以是由控制器106控制的主动照明板(例如,白光源)。在一些实施例中,背板214A、214B和214C中的一个或多个可以是被动反射板,或者简单地是具有前部照明的深色或黑色背景板。在其他实施例中,背板214A、214B和214C可以提供其他合适类型的背景或背部光照。
在一些实施例中,光学组件布置208可以包括壳体216,壳体216可以至少部分地包围或覆盖样本管载体104,以最小化外部光照影响。壳体216可以包括一个或多个门216D,以允许样本管载体104经由可移动轨道112进入和离开壳体216。在一些实施例中,壳体216的顶板(未示出)可以包括开口,以提供机器人102对样本管载体104的接近。
经由相机208C1、208C2和208C3,光学组件布置208可以用于捕获样本管载体104上或相对于样本管载体104的第一基准标记以及机器人臂103上或相对于机器人臂103的第二基准标记的三个图像(每个图像来自不同的角度)。
图3-8图示了根据一个或多个实施例的可以在机器人臂对准装置100中使用的光学组件的其他布置。例如,如图3中所示,代替使用多个相机,光学组件布置308可以包括仅一个相机308C以及镜子308M,其可以用于捕获附着到对象308J的一个或多个标记的两个图像(每个图像来自不同的角度)。类似地,图4示出了光学组件布置408,光学组件布置408也可以包括仅一个相机408C以及双折镜408M,其可以用于捕获附着到对象408J的一个或多个标记的两个图像(每个图像来自不同的角度)。图5示出了光学组件布置508,光学组件布置508可以包括仅一个相机508C和两个镜子508M1和508M2,其可以用于捕获附着到对象508J的一个或多个标记的两个图像(每个图像来自不同的角度)。图6示出了光学组件布置608,光学组件布置608可以包括仅一个相机608C以及四个镜子608M1、608M2、608M3和608M4的布置,其可以用于捕获附着到对象608J的一个或多个标记的两个图像(每个图像来自不同的角度)。图7示出了光学组件布置708,光学组件布置708可以包括仅一个相机708C以及三个镜子708M1、708M2和708M3的布置,其可以用于捕获附着到对象708J的一个或多个标记的两个图像(每个图像来自不同的角度)。并且图8示出了光学组件布置808,光学组件布置808可以包括棱镜808P以及仅一个相机808C,其可以用于捕获对象808J的一对子图像(每个子图像来自不同的角度)。特别地,进入棱镜808P的光线被分离(split),进入相机808C的透镜808L,并且在相机808C的传感器平面808S上产生两个图像818-L和818-R(每个图像来自不同的角度)。图像818-L通过由光线P2-2和P1-2所表示的光线产生,并且图像818-R通过由光线P1-1和P2-1所表示的光线产生,如图9中进一步图示的那样,图9示出了由相机808C捕获的左图像918-L和右图像918-R,每个图像处于由棱镜808P产生的不同角度处。在没有棱镜808P的情况下,将需要两个相机(一个定位在相机808C的左侧上,并且一个定位在相机808C的右侧上)来捕获左图像918-L和右图像918-R。使用一个或多个相机、一个或多个镜子和/或一个或多个棱镜,其他光学组件布置是可能的。
在一些实施例中,机器人臂对准装置100还可以包括图10A和10B中所图示的定位工具1000。定位工具1000可以具有类似于样本管(例如,样本管110)的圆柱形结构,该圆柱形结构可以由机器人臂夹持器(例如,机器人臂夹持器103G)保持和移动,并且被接收在样本管载体(例如,样本管载体104)中以及由样本管载体(例如,样本管载体104)保持。定位工具1000可以具有多个区段S1、S2、S3、S4和S5,所述区段中的每个可以具有与相邻区段不同的几何形状(例如,不同的长度和/或直径)。例如,区段S2和S4可以各自具有比区段S1、S3和S5的直径D1更小的直径D2,其中在一些实施例中,直径D1可以是大约16mm(+/-0.25mm),并且直径D2可以是大约12mm(+/-0.25mm)。在一些实施例中,定位工具1000可以具有大约110mm(+/-0.5mm)的总长度L。区段S1和S4可以各自具有大约5.0mm(+/-0.5mm)的相应长度L1和L4,并且区段S5可以具有大约32.5mm(+/-0.5mm)的长度L5。定位工具1000的其他合适数量的区段和尺寸是可能的。
定位工具1000可以具有“附”到其上(例如,在其上被标识)的第一基准标记和第二基准标记。第一基准标记1020(在图10A中由“X”表示)可以位于其中发生几何改变的区段S2和S3的交会处的中心点处。第一基准标记1020可以位于距定位工具1000的底部的长度L345处,在一些实施例中,该长度可以是大约70.0mm(+/-0.5mm)。当定位工具1000被接收并保持在样本管载体(诸如样本管载体104)中时,可以使用第一基准标记1020,以便在样本管载体处建立目标位置。第二基准标记1022(在图10A中也由“X”表示)可以位于其中发生几何改变的区段S4和S5的交会处的中心点处。第二基准标记1022可以位于距定位工具1000的底部的长度L5处。当定位工具1000由机器人臂103(和夹持器103G)保持时,可以使用第二基准标记1022,以便相对于目标位置来对准机器人臂103的位置。第一和第二基准标记1020和1022在定位工具1000上的其他合适的位置可以是可能的。在一些实施例中,当定位工具1000保持在样本管载体中并且由机器人臂103保持时,如果单个基准标记(例如,基准标记1022)是可见的(即,可以由光学组件成像),则可以使用该单个基准标记。在这样的实施例中,定位工具1000可以具有较小的区段几何改变。
除了使用定位工具上的区段几何改变来标识第一和第二基准标记之外或者替代使用定位工具上的区段几何改变来标识第一和第二基准标记,在一些实施例中,可以使用定位工具上的颜色对比度改变来标识第一和第二基准标记,如图11中所示。
图11图示了根据一个或多个实施例的可以在机器人臂对准装置100中使用的定位工具1100。定位工具1100还可以具有类似于样本管(例如,样本管110)的圆柱形结构,该圆柱形结构可以由机器人臂夹持器(例如,机器人臂夹持器103G)保持和移动,并且被接收在样本管载体(例如,样本管载体104)中以及由样本管载体(例如,样本管载体104)保持。定位工具1100可以具有多个区段S1'、S2'、S3'、S4'和S5',所述区段中的每个可以具有与相邻区段不同的颜色对比度(例如,黑色或白色)。“粘贴”(即,附上亮白色和/或黑色粘贴物)可以用于在定位工具1100上产生颜色对比度。在一些实施例中,定位工具1100可以可选地被构造成具有与定位工具1000相同数量和尺寸的区段。在其他实施例中,定位工具1100可以具有其他区段化配置,或者可以不包括具有不同几何形状的任何区段,从而仅依赖于颜色对比度改变来标识第一和第二基准标记。
定位工具1100可以具有“附”到其上(例如,在其上被标识)的第一基准标记1120和第二基准标记1122。第一基准标记1120(在图11中由黑色/白色“X”表示)可以位于其中发生颜色对比度改变和几何改变两者的区段S2'和S3'的交会处的中心点处。在一些实施例中,第一基准标记1120可以位于距定位工具1100的底部的如下长度处:该长度等于或基本上等于定位工具1000的长度L345。当定位工具1100被接收并保持在样本管载体(诸如样本管载体104)中时,可以使用第一基准标记1120,以便在样本管载体处建立目标位置。第二基准标记1122(在图11中也由黑色/白色“X”表示)可以位于其中发生颜色对比度改变和几何改变两者的区段S3'和S4'的交会处的中心点处。在一些实施例中,第二基准标记1122可以位于距定位工具1100的底部的如下长度处:该长度等于或基本上等于定位工具1000的长度L5。当定位工具1100由机器人臂103(和夹持器103G)保持时,可以使用第二基准标记1122,以便相对于目标位置来对准机器人臂103的位置。第一和第二基准标记1120和1122在定位工具1100上的其他合适位置可以是可能的。在一些实施例中,当定位工具1100保持在样本管载体中并且由机器人臂103保持时,如果单个基准标记(例如,基准标记1122)是可见的(即,可以由光学组件成像),则可以使用该单个基准标记。在这样的实施例中,定位工具1100可以具有较小的颜色对比度和区段几何改变。
具有区段几何改变和颜色对比度改变两者的定位工具1100可以有利地用于通过区段几何改变(如在定位工具1000中)或通过颜色对比度改变或两者来标识第一和第二基准标记1120和1122。
在替代实施例中,当定位工具由机器人臂夹持器(诸如例如机器人臂夹持器103G)保持时,如果定位工具的底部尖端点对于机器人臂对准装置100的光学组件布置中的所有相机可见,则可以使用定位工具的底部尖端点(例如,定位工具1000的底部尖端点1024和/或定位工具1100的底部尖端点1124)来代替第二基准标记1022和/或1122。
定位工具1000和1100各自有利地配置成与多个背板设置(例如,主动照明背板、被动反射背板、或简单地具有或不具有前部照明的暗色背景背板)一起工作,如图12-14中所示。
图12图示了根据一个或多个实施例的定位工具1100的图像1200,定位工具1100被接收在样本管贮器1204R中,该图像1200是借助光学组件布置(诸如例如光学组件布置108或208)中的相机使用暗色背景背板1214捕获的。替代地,定位工具1000也可以与暗色背景背板1214一起使用。如所示的那样,第一基准标记1220是可经由颜色对比度改变或区段几何改变在图像1200中标识的。
图13图示了根据一个或多个实施例的定位工具1100的图像1300,定位工具1100被接收在样本管贮器1304R中,该图像1300是借助光学组件布置(诸如例如光学组件布置108或208)中的相机使用被动反射背板1314捕获的。替代地,定位工具1000也可以与被动反射背板1314一起使用。如所示的那样,第一基准标记1320是可经由颜色对比度改变或区段几何改变在图像1300中标识的。
图14图示了根据一个或多个实施例的定位工具1100的图像1400,定位工具1100被接收在样本管贮器1404R中,该图像1400是借助光学组件布置(诸如例如光学组件布置108或208)中的相机使用主动照明(例如,白光源)背板1414捕获的。替代地,定位工具1000也可以与主动照明背板1414一起使用。如所示的那样,第一基准标记1420是可经由区段几何改变在图像1300中标识的。注意,不具有区段几何改变的定位工具不应该与主动照明背板1414一起使用,因为使用主动照明背板1414捕获的图像在定位工具上可能具有被主动照明洗掉(washed out)的颜色对比度改变。
在一些实施例中,由图1的机器人臂对准装置100执行的机器人臂对准可以包括将定位工具(例如,定位工具1000或1100)放置在样本管载体104中。定位工具可以由操作者手动地或者由机器人102自动地放置在样本管载体104中,尽管在未对准的情况下机器人102可能不会精确地这样做。样本管载体104被定位在系统中心位置处或者被移动到系统中心位置,系统中心位置诸如例如图1的系统中心位置101或图2的系统中心位置201,该系统中心位置在光学组件的(一个或多个)视场内。光学组件108(或208、308、408、508、608、708和808中的一个)可以捕获保持在样本管载体104中的定位工具的多个图像,每个图像来自不同的角度。可以由控制器106处理多个图像,以通过检测定位工具上的区段几何改变或颜色对比度改变来标识第一基准标记(例如,第一基准标记1020、1120、1220、1320或1420)。控制器106然后可以执行三角测量(使用任何合适的已知方法)以确定第一基准标记的3D位置(由光学组件坐标系中的3D坐标表示)。第一基准标记的所确定的3D坐标可以用作机器人臂103要与其对准的目标位置。
通过使机器人臂103保持定位工具,可以继续进行机器人臂对准。定位工具可以由机器人102在存储位置处拾取,或者可以由操作者手动地耦合到夹持器103G。控制器106可以使得机器人臂103移动到目标位置,其中光学组件108(或者208、308、408、508、608、708和808中的一个)可以捕获由机器人臂103保持的定位工具的多个图像,每个图像来自不同的角度。例如,图15A、15B和15C图示了可以由图2的光学组件布置208捕获的多个图像。图像1500A可能已经被相机208C1捕获,图像1500B可能已经被相机208C3捕获,并且图像1500C可能已经被相机208C2捕获。在不同角度处捕获的每个图像示出了由具有夹持器1503G的机器人臂保持的定位工具1100。图像1500A、1500B和1500C可以由控制器106处理。控制器106可以标识图像1500A中的第二基准标记1522A、图像1500B中的第二基准标记1522B和图像1500C中的第二基准标记1522C的位置。控制器106然后可以执行三角测量(再次使用任何合适的已知方法)以确定第二基准标记在光学组件坐标系中的3D坐标。控制器106然后可以确定第一和第二基准标记的坐标之间的3D偏移。如果3D偏移超过预定偏差,则机器人臂103可以被认为在系统中心位置201(即,目标位置)处与样本管载体104未对准。
然后,控制器106可以使得机器人臂103基于所确定的3D偏移中的偏差将定位工具1100移动到新位置。例如,如果所确定的3D偏移在X方向上超过预定偏差+2mm,在Y方向上超过预定偏差-3mm,并且在Z方向上超过预定偏差-1mm,则控制器106可以使得机器人臂将定位工具1100在X方向上移动-2mm,在Y方向上移动+3mm,并且在Z方向上移动+1mm。注意,在一些实施例中,控制器106可以附加地基于所确定的X、Y和Z坐标偏差来计算机器人臂的角度旋转移动(例如,沿着如图1中所示的+/-角度方向θ)的等效量,其中机器人臂在X、Y和Z方向中的一个方向上的平移移动可能是不可能的。在一些实施例中,控制器106可以附加地或替代地根据需要基于所确定的3D偏移中的偏差以及机器人臂的移动能力,使得可移动轨道112移动样本管载体104。
在机器人臂103和/或样本管载体104的(一个或多个)新位置处,再次捕获和处理图像,并且确定新的3D偏移。该过程可以迭代地继续,直到3D偏移不再超过预定偏差,其中机器人臂被认为与样本管载体对准。
注意,三角测量过程可能导致与定位工具上的基准标记的真实中心点的小高度偏差。该偏差由定位工具的表面处的基准标记的检测引起,该基准标记距真实中心的距离为R,其中R是基准标记所附着到的区段的半径。图16图示了针对由双相机光学组件布置成像的第二基准标记1622可能导致的高度偏差。如所示的那样,由相机1608C1拍摄的定位工具1100的图像(仅示出了下部)可以捕获第二基准标记1622A,而来自定位工具1100的不同角度的图像可以捕获第二基准标记1622B。第二基准标记1622可以是真实中心点,其具有从相机1608C1的光学中心1626测量的高度H'(相机1608C2的光学中心也可以用作参考点)。然而,由控制器106基于由相机1608C1和1608C2捕获的图像对第二基准标记1622的三角测量可以产生三角测量的第二基准标记1622T的3D坐标,该三角测量的第二基准标记1622T具有从相机1608C1和1608C2的光学中心1626测量的高度H。在一些实施例中,控制器106可以被配置成通过计算下式来校正该高度偏差:
H'=H×(D–R)/D
其中D是沿着相机观察方向1628的光学中心1626和三角测量的第二基准标记1622T之间的距离。
图17图示了根据一个或多个实施例在自动化样本分析系统中对准机器人臂的方法1700。在过程框1702处,方法1700可以通过标识相对于样本管载体的第一标记位置而开始。例如,第一标记位置可以是如图10A中所示的位于区段S2和S3的交会处的第一基准标记1020,或者是如图11中所示的位于区段S2'和S3'的交会处的第一基准标记1120。替代地,根据一个或多个实施例,通过在样本管载体1804上应用点光源或白色粘贴物,可以在样本管载体1804上直接标识第一标记位置,如图18的图像1800中所示,这产生了第一基准标记1820。
在过程框1704处,方法1700可以包括标识相对于机器人臂的第二标记位置。例如,第二标记位置可以是如图10A中所示的位于区段S4和S5的交会处的第二基准标记1022,或者是如图11中所示的位于区段S3'和S4'的交会处的第二基准标记1122。替代地,根据一个或多个实施例,通过在夹持器1803G上应用点光源或白色粘贴物,可以在机器人臂1803的夹持器1803G上直接标识第二标记位置,如图18的图像1800中所示,这产生了第二基准标记1822。
在过程框1706处,方法1700可以包括使用多个光学组件和控制器来确定第一标记位置的坐标,并且在过程框1708处,方法1700可以包括使用多个光学组件和控制器来确定第二标记位置的坐标。例如,如图1中所示,机器人臂对准装置100的光学组件108和控制器106可以用于捕获和处理第一和第二标记位置中的每个的多个图像,并且确定每个在光学组件坐标系中的坐标。
在过程框1710处,方法1700可以包括响应于第二标记位置的坐标超过与第一标记位置的坐标的预定偏差,经由控制器来调整机器人臂和/或样本管载体的位置。
在一些实施例中,方法1700可以进一步包括如下过程框(未示出),该过程框包括提供被配置成由机器人臂保持并处于样本管载体中的定位工具,其中该定位工具包括具有不同几何形状或颜色对比度的区段,并且其中第一和第二标记位置各自在其中发生几何改变或颜色对比度改变的该定位工具上的相应点处被标识。
虽然本公开容许有各种修改和替代形式,但是已经通过附图中的示例示出并且在本文中详细描述了具体方法和装置实施例。然而,应当理解,本文中公开的特定方法和装置并不旨在限制本公开或以下权利要求。
Claims (20)
1.用于自动化样本分析系统中的机器人臂对准的装置,包括:
机器人臂,其被配置成保持和移动样本管;
样本管载体,其被配置成保持样本管;
定位工具,其被配置成由机器人臂保持,由机器人臂移动,并且被保持在样本管载体中;
多个光学组件;以及
控制器,其可操作地耦合到机器人臂和所述多个光学组件,所述控制器可操作以:
处理从保持在样本管载体中的定位工具的多个光学组件接收到的图像,以确定定位工具上的第一点的坐标;
处理从由机器人臂保持的定位工具的多个光学组件接收到的图像,以确定定位工具上的第二点的坐标;以及
响应于第二点的坐标超过与第一点的坐标的预定偏差,使得由机器人臂保持的或保持在样本管载体中的定位工具移动。
2.根据权利要求1所述的装置,其中所述多个光学组件包括多个相机。
3.根据权利要求1所述的装置,其中所述多个光学组件包括一个或多个棱镜或镜子以及仅一个相机。
4.根据权利要求1所述的装置,其中定位工具是圆柱形的,并且包括具有不同几何形状或颜色对比度的区段。
5.根据权利要求4所述的装置,其中定位工具上的第一点或第二点位于其中发生几何改变或颜色对比度改变的区段中的两个的交会处。
6.根据权利要求1所述的装置,其中定位工具上的第一点和第二点是同一点。
7.用于机器人臂对准的装置,包括:
样本管载体,其被配置成保持样本管,样本管载体在其上具有第一标记;
机器人臂,其被配置成保持和移动样本管,机器人臂包括其上具有第二标记的夹持器;
多个光学组件;以及
控制器,其可操作地耦合到机器人臂和所述多个光学组件,所述控制器可操作以:
处理从样本管载体的多个光学组件接收到的图像,以确定第一标记的坐标;
处理从夹持器的多个光学组件接收到的图像,以确定第二标记的坐标;以及
响应于第二标记的坐标超过与第一标记的坐标的预定偏差,使得夹持器经由机器人臂移动,或者使得样本管载体经由可移动轨道移动。
8.根据权利要求7所述的装置,其中第一标记是附着到样本管载体的物理物品,或者第二标记是附着到夹持器的物理物品。
9.根据权利要求8所述的装置,其中所述物理物品是点光源或粘贴物。
10.根据权利要求7所述的装置,其中第一标记位于其中在夹持器上发生几何改变或颜色对比度改变的点处,或者第二标记位于其中在样本管载体上发生几何改变或颜色对比度改变的点处。
11.一种在自动化样本分析系统中对准机器人臂的方法,所述方法包括:
标识相对于样本管载体的第一标记位置;
标识相对于机器人臂的第二标记位置;
使用多个光学组件和控制器来确定第一标记位置的坐标;
使用多个光学组件和控制器来确定第二标记位置的坐标;以及
响应于第二标记位置的坐标超过与第一标记位置的坐标的预定偏差,经由所述控制器来调整机器人臂或样本管载体的位置。
12.根据权利要求11所述的方法,其中所述多个光学组件包括多个相机。
13.根据权利要求11所述的方法,其中所述多个光学组件包括一个相机和一个或多个棱镜或镜子。
14.根据权利要求11所述的方法,其中标识第一标记位置包括:标识保持在样本管载体中的定位工具上的第一标记位置。
15.根据权利要求14所述的方法,其中标识第一标记位置包括:标识保持在样本管载体中的定位工具上的如下点处的第一标记位置:在所述点处,定位工具具有几何形状或颜色对比度方面的改变。
16.根据权利要求11所述的方法,其中标识第二标记位置包括:标识由机器人臂保持的定位工具上的第二标记位置。
17.根据权利要求16所述的方法,其中标识第二标记位置包括:标识在由机器人臂保持的定位工具上的如下点处的第二标记位置:在所述点处,定位工具具有几何形状或颜色对比度方面的改变。
18.根据权利要求11所述的方法,进一步包括提供被配置成由机器人臂保持并处于样本管载体中的定位工具,其中所述定位工具包括具有不同几何形状或颜色对比度的区段。
19.根据权利要求11所述的方法,其中标识第一标记位置包括标识样本管载体上的第一标记位置。
20.根据权利要求11所述的方法,其中标识第二标记位置包括标识机器人臂上的第二标记位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163148533P | 2021-02-11 | 2021-02-11 | |
US63/148533 | 2021-02-11 | ||
PCT/US2022/070606 WO2022174240A1 (en) | 2021-02-11 | 2022-02-10 | Apparatus and methods for aligning a robotic arm with a sample tube carrier |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116997443A true CN116997443A (zh) | 2023-11-03 |
Family
ID=82837278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280014622.2A Pending CN116997443A (zh) | 2021-02-11 | 2022-02-10 | 用于将机器人臂与样本管载体对准的装置和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240118300A1 (zh) |
EP (1) | EP4291368A1 (zh) |
JP (1) | JP2024507145A (zh) |
CN (1) | CN116997443A (zh) |
WO (1) | WO2022174240A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9526587B2 (en) * | 2008-12-31 | 2016-12-27 | Intuitive Surgical Operations, Inc. | Fiducial marker design and detection for locating surgical instrument in images |
US8082064B2 (en) * | 2007-08-24 | 2011-12-20 | Elite Engineering Corporation | Robotic arm and control system |
US9393686B1 (en) * | 2013-03-15 | 2016-07-19 | Industrial Perception, Inc. | Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement |
US11498217B2 (en) * | 2016-07-14 | 2022-11-15 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus to calibrate a positional orientation between a robot gripper and a component |
-
2022
- 2022-02-10 WO PCT/US2022/070606 patent/WO2022174240A1/en active Application Filing
- 2022-02-10 CN CN202280014622.2A patent/CN116997443A/zh active Pending
- 2022-02-10 JP JP2023548600A patent/JP2024507145A/ja active Pending
- 2022-02-10 US US18/546,163 patent/US20240118300A1/en active Pending
- 2022-02-10 EP EP22753552.3A patent/EP4291368A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022174240A1 (en) | 2022-08-18 |
JP2024507145A (ja) | 2024-02-16 |
EP4291368A1 (en) | 2023-12-20 |
US20240118300A1 (en) | 2024-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20150142171A1 (en) | Methods and apparatus to calibrate an orientation between a robot gripper and a camera | |
AU2008342721B2 (en) | Method and system for the high-precision positioning of at least one object in a final location in space | |
CN100499060C (zh) | 晶片定位方法和装置,晶片加工系统及晶片定位装置的晶片座旋转轴定位方法 | |
CN106546173B (zh) | 用于检测元器件的设备及其检测方法 | |
CN109414811B (zh) | 基于样品架成像数据的用于机器人夹持器动态位置调整的方法和装置 | |
EP3368421B1 (en) | Aseptic filling system and method | |
JP7441967B2 (ja) | 平面試料輸送を用いた小型臨床診断システム | |
CN107976875B (zh) | 一种基片对准装置及对准方法 | |
CN107682593A (zh) | 双摄模组组装设备 | |
JP2009506518A (ja) | 自動位置合わせ基板搬送装置 | |
CN215557166U (zh) | 镜头模组组装的镜片上料装置 | |
CN109414817B (zh) | 校准在机器人夹具和部件之间的位置取向的方法和设备 | |
CN112658631A (zh) | 自动化装配设备 | |
US7400392B2 (en) | Apparatus for handling of a disklike member, especially for handling of a wafer | |
CN116997443A (zh) | 用于将机器人臂与样本管载体对准的装置和方法 | |
US20230033463A1 (en) | Labware transport robot | |
CN115697653A (zh) | 图像处理方法、图像处理装置、机器人搭载型输送装置以及系统 | |
CA3143897A1 (en) | Method and system for locating a bacterial colony on a culture plate | |
KR20150017222A (ko) | 개량된 이송구조를 갖는 패널의 외관 검사시스템 | |
KR20150017231A (ko) | 정밀 스캔구조를 갖는 패널의 외관 검사시스템 | |
CN219417279U (zh) | 一种pcb视觉检测装置 | |
US20230395417A1 (en) | Device and method for imaging an object in at least two views | |
CN116222413B (zh) | 用于片状滤芯的检测装置 | |
EPPLE | The conception and implementation of an intelligent optical gripper prototype for industrial robots | |
CN115128091A (zh) | 曲面工件承载装置、包含其的光学检测系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |