CN101152720A - 工件取出装置 - Google Patents

工件取出装置 Download PDF

Info

Publication number
CN101152720A
CN101152720A CNA2007101630287A CN200710163028A CN101152720A CN 101152720 A CN101152720 A CN 101152720A CN A2007101630287 A CNA2007101630287 A CN A2007101630287A CN 200710163028 A CN200710163028 A CN 200710163028A CN 101152720 A CN101152720 A CN 101152720A
Authority
CN
China
Prior art keywords
workpiece
failure
micrometric measurement
information
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101630287A
Other languages
English (en)
Other versions
CN101152720B (zh
Inventor
伴一训
管野一郎
渡边桂佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN101152720A publication Critical patent/CN101152720A/zh
Application granted granted Critical
Publication of CN101152720B publication Critical patent/CN101152720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40038Black list, exclude operation on workpiece when not possible, collision, error
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Abstract

工件取出装置具有:机器3维位置的精密测定的精密测定装置;选择应该取出的工件的工件选择装置;和NG工件存储装置,其在工件的3维位置测定或取出失败时,对在3维位置测定或取出中失败的NG工件的大致位置的信息进行存储。工件选择装置去除存储在NG工件存储装置中的NG工件,然后选择应该测定的工件,机器人根据由精密测定装置测定到的工件的3维位置进行工件的取出。

Description

工件取出装置
技术领域
本发明涉及一种使用机器人从工件的集合中依次取出工件的工件取出装置。
背景技术
在各种产业中将机器人用于工件的抓持、搬运等操作。在这样的机器人的用途中,具有从杂乱放置在存放箱内或集装架上的状态的工件中进行各工件取出的用途,即“散装取出”用途。在散装取出用途中,首先根据使用CCD照相机等的全体搜索用传感器所拍摄的大范围区域的2维图像,判断应该取出的工件的大约位置,之后根据由3维视觉传感器这样的精密测定用传感器所得到的小范围区域的摄像数据来进行特定工件的3维位置以及姿势的精密测定,并根据测定到的工件的3维位置以及姿势,进行机器人对工件的抓持。作为3维视觉传感器,已知以下的传感器:将缝隙光或点光投射到对象物上,在对象物表面上形成比周围亮度高的光带或者光点,通过CCD照相机等摄像装置对其进行观测,利用三角测量的原理进行对象物3维测量的传感器;或使用2台摄像装置利用立体图像处理来3维地测量对象物的位置的传感器。
例如,在国际公开第97/24206号中公开了将用于取得大范围区域的2维图像的CCD照相机和用于在小范围区域测定工件的3维位置的激光传感器组合使用的复合传感器机器人系统。另外,在特开2004-50390号公报中公开了根据对大范围区域进行摄像的照相机所检测到的各工件的部分特征来决定检测到的多个工件的取出优先顺序的技术。
如上所述,在所谓“散装取出”用途中,把通过拍摄大范围区域进行的工件识别(以下记载为“全体搜索”)和通过拍摄小范围区域进行的工件3维位置以及姿势的精密测定(以下,记载为“精密测定”)进行组合,来检测工件的3维位置以及姿势,机器人根据检测到的工件的3维位置以及姿势进行该工件的取出。
但是,存在即使是通过全体搜索识别到的工件也无法进行精密测定的情况。例如,如图8A所示,为了对大范围区域进行摄像使用在图中位于存放箱上方的全体搜索用传感器(广域传感器),为了在小范围区域内对特定的工件进行摄像使用位于全体搜索用传感器下方的精密测定用传感器(窄域传感器),在进行全体搜索时和进行精密测定时从不同的方向对工件进行摄像的情况下,有时即使是由位于上方的全体搜索用传感器可以看到的工件,但由于其它工件的遮挡导致位于全体搜索用传感器下方的精密测定用传感器无法看到,无法进行精密测定。另外,如图8B所示,还有即使是由位于上方的全体检索用传感器可以看到的工件,但由于存放箱侧壁等的干扰而导致位于下方的精密测定用传感器无法看到的情况。
此外,还有即使是通过精密测定可以检测3维位置以及姿势的工件,也无法由机器人抓持的情况。例如图8C所示,当精密测定到的工件位于存放箱侧壁附近时,即使能够通过精密测定用传感器进行精密测定,也由于机器人与存放箱侧壁干扰而无法接近该工件。在实际的工件取出装置中,一般是将存放箱的形状以及机器人的形状预先存储在机器人控制装置中,在进行机器人的移动之前检查机器人是否与其它物体不干扰,从而提前防止机器人与其它物体的干扰。
在全体搜索中,使用上述特开2004-50390号公报公开的技术,对适于进行精密测定以及取出的工件标注优先顺序进行选择,但难以完全避免上述的问题。因此,关于虽然通过全体搜索被检测到,但由于上述问题导致的某种原因而最终没有被取出的工件,在之后的处理中如果没有特别的提示,则反复尝试对该工件进行精密测定或取出,由此可能使循环时间延迟,或者导致处理停止。
发明内容
由此,本发明的目的在于,在根据使用视觉传感器对工件进行的识别以及测定,利用机器人将工件取出的装置中,省去没有实施必要的无用的步骤,实现整个装置的处理的高效化。
为了实现上述目的,本发明提供了一种工件取出装置,其具有:抓持工件的机器人;工件识别装置,用于识别位于范围相对较大的区域内的工件的集合所包含的各个工件的大致位置;精密测定装置,用于进行范围相对较小的区域内的工件的3维位置的精密测定;和工件选择装置,其选择应该从所述工件识别装置识别的所述工件的集合中取出的工件,所述工件取出装置利用所述精密测定装置进行由所述工件选择装置选择出的工件的3维位置的精密测定,并根据由所述精密测定装置测定到的所述工件的3维位置,由所述机器人从所述工件的集合中取出所述被选择的工件,还具有NG工件存储装置,其在由所述精密测定装置进行的工件的3维位置测定或由所述机器人进行的工件的取出失败时,存储在3维位置测定或取出中失败的工件的大致位置的信息,所述工件选择装置根据由所述工件识别装置识别的各工件的大致位置的信息、和存储在所述NG工件存储装置中的信息,从由所述工件识别装置所识别的所述工件的集合中去除在3维位置测定或取出中失败的工件,然后选择应该由所述精密测定装置进行测定的工件。
在所述工件取出装置中,理想的是所述精密测定装置还测定所述被选择的工件的姿势。
另外,还可以由同一装置构成所述工件识别装置和所述精密测定装置。
在一个实施方式中,所述NG工件存储装置核对该NG工件存储装置中存储的失败的工件的大致位置的信息、和由所述工件识别装置识别的工件的集合的各个工件的大致位置的信息,如果与所述NG工件存储装置中存储的失败的工件对应的工件不存在于由所述工件识别装置识别的工件的集合中,则删除与该失败的工件有关的信息。
在另一实施方式中,所述NG工件存储装置核对该NG工件存储装置中存储的失败的工件(Wf)的大致位置的信息、和由所述工件识别装置识别的工件的集合的各个工件的大致位置的信息,当与所述NG工件存储装置中存储的工件对应的失败的工件不存在于由所述工件识别装置识别的工件的集合中被连续确认了规定的次数时,删除与该工件有关的信息。
在另外一个实施方式中,所述NG工件存储装置在存储了在3维位置测定或取出中失败的工件及其大致位置的信息后,当进行了规定次数的从所述工件识别装置对工件的集合进行识别到利用所述机器人取出工件为止的循环时,删除该失败的工件的信息。
根据本发明的工件取出装置,把之前在精密测定装置进行的精密测定或由机器人进行的取出中失败的工件作为NG工件存储在NG工件存储装置中,从工件识别装置所识别的工件的集合中去除存储在NG工件存储装置中的工件,然后选择应该进行精密测定以及取出的工件,所以可以避免对于失败的工件再次进行精密测定步骤以及取出步骤,避免重复失败。结果,可以防止导致循环时间的延迟或处理的停止。
另外,如果在满足规定条件时从NG工件存储装置中删除失败的工件的信息,则在反复进行取出作业的过程中工件状态发生变化,之前在精密测定或取出中失败的工件变为可以进行精密测定或取出时,可以再次尝试该工件的精密测定以及取出。结果,可以提高取出装置的处理效率。
附图说明
以下,参照附图根据本发明的优选实施方式,对本发明上述以及其它的目的、特征、优点进行更加详细地说明。
图1是本发明的工件取出装置的功能框图。
图2是表示本发明的工件取出装置的一实施方式的整个结构的线图。
图3是表示本发明的工件取出装置的工件取出处理顺序的流程图。
图4是与通过全体搜索识别出的工件有关的全体搜索工件数据表的例子。
图5是存储在NG工件存储部中的黑名单的例子。
图6是表示对图5的黑名单进行更新的详细步骤的流程图。
图7是本发明的工件取出装置的另一实施方式。
图8A~图8C是用于说明精密测定以及取出的失败例子的说明图。
具体实施方式
以下,参照附图对本发明的工件取出装置的实施方式进行说明。
最初,参照图1以及图2对本发明的工件取出装置的整个结构进行说明。如图2所示,工件取出装置11具有:用于抓持,搬运工件W的机器人13、可进行大范围区域拍摄的广域传感器15、与广域传感器15相比可进行范围小的区域的拍摄的窄域传感器17、用于处理由广域传感器15以及窄域传感器17拍摄的图像的图像处理装置19、以及对机器人13、广域传感器15、窄域传感器17、图像处理装置19等进行控制的控制装置21。
机器人13设置在杂乱堆放多个工件W的存放箱23或集装架的前方,并根据来自控制装置21的指令,从存放箱23或集装架上的工件W中取出被选择的工件W,输送到下一工序。机器人13只要是可对工件W进行抓持、搬运的机器人,就可以使用任意类型的机器人。在图2所示的实施方式中使用了由相互关节接合的多个臂部和手部组成的多关节机器人。
广域传感器15可对存放箱23或集装架上的工件W的整个集合进行摄像,其具有根据拍摄到的图像可以检测出工件W的集合中包含的各工件W的大致位置(大概位置)的程度的解析度。在图2所示的实施方式中,作为广域传感器15使用了CCD照相机或CMOS照相机这样的2维摄像照相机,并将其设置在存放箱23的上方,以使整个存放箱23都囊括在其视野内。作为广域传感器15还可以使用3维视觉传感器。
窄域传感器17以高解析度对选择出的特定工件W进行摄像,根据摄像数据可以精密地测定工件W的3维位置以及姿势。在图2所示的实施方式中,使用安装在机器人13卡爪部的3维视觉传感器。作为3维视觉传感器,可以使用将缝隙光及点光投射到对象物上,在对象物上形成比周围高亮度的光带或光点,使用CCD照相机等摄像装置对其进行观测,利用三角测量的原理对对象物进行3维测量的设备;或使用2台摄像装置通过立体图像处理来3维地测量对象物的位置以及姿势的设备。
图像处理装置19是具有CPU、数据存储器、帧存储器、图像处理处理器以及接口等单元的公知类型的装置,其对由广域传感器15或窄域传感器17得到的摄像数据进行处理,检测或测定工件W的位置以及姿势。具体来说,图像处理装置19处理由广域传感器15所取得的图像或2维摄像数据,至少对工件W的大致位置等进行检测,并且处理由窄域传感器17所取得的图像或3维摄像数据,至少对工件W的3维位置以及姿势进行测定。如此,广域传感器15和图像处理装置19构成了对大范围的区域进行摄像,由此来识别包含在位于该区域内的工件的集合中的各个工件,对该工件的大致位置进行检测的工件识别装置25(参照图1)。另外,窄域传感器17和图像处理装置19构成了对包含被选择的特定工件的窄范围区域进行摄像,根据摄像数据对工件的3维位置以及姿势进行精密测定的精密测定装置27(参照图1)。
如图1所示,控制装置21包括:数据输入部29、数据存储部31、机器人控制部33、NG工件存储部35和工件选择部37。数据输入部29输入由工件识别装置25以及精密测定装置27输出的工件W的大致位置数据、工件的3维位置以及/或姿势数据等数据,并将输入的数据发送到数据存储部31或机器人控制部33等单元。数据存储部31对通过数据输入部29输入的数据进行存储,根据需要提供给NG工件存储部35或工件选择部37。NG工件存储部35在由精密测定装置27对工件进行的3维位置以及姿势的测定,或使用机器人13对工件W进行的抓持以及取出失败时,对于在3维位置以及姿势的测定或抓持以及取出中失败的工件Wf(以下,记载为NG工件),将由工件识别装置25检测出的大致位置等信息作为黑名单进行存储。工件选择部37根据对来自广域传感器15的图像或2维摄像数据进行处理识别出的在工件W的集合中包含的各个工件W的大致位置等信息、和存储在NG工件存储装置35中的NG工件Wf的大致位置等信息,从由工件识别装置25识别的工件W的集合中除去NG工件Wf来决定优先顺序,按照决定的优先顺序选择应该由机器人13取出的工件W。机器人控制部33根据选择出的工件W的大致位置信息来控制机器人13,由精密测定装置27(即,窄域传感器17以及图像处理装置19)进行工件W的精密测定,此外,根据由精密测定装置27测定到的工件W的3维位置以及姿势控制机器人13,进行工件W的取出。
然后,参照图3对图1以及图2所示的工件取出装置11的工件W的取出顺序进行说明。最初,在步骤S101中,通过工件识别装置25进行全体搜索。全体搜索通过以下那样的顺序来进行。由设置在存放箱23上方的广域传感器15对整个存放箱23进行摄像,通过图像处理装置19对取得的图像或2维摄像数据进行处理,对堆放在存放箱23内的工件集合中包含的各个工件W进行识别,并检测各工件W的大致位置(Vt、Hz)、角度θ、尺寸S等信息。检测到的各工件W的这些大致位置等信息(以下,记载为工件数据)通过控制装置21的数据输入部29存储到数据存储部31中。工件选择部37根据存储在数据存储部31中的各工件W的工件数据,按照预定的方法决定要取出的工件W的优先顺序,生成按照优先顺序排列工件数据的如图4所示的全体搜索工件数据表,并将其存储在数据存储部31中。各工件数据根据图4中的索引i参照为“第i工件数据”。另外,图4所示的全体搜索工件数据表的Vt是由工件识别装置25识别的各工件W在图像上的位置的纵坐标值,Hz是由工件识别装置25识别的各工件W在图像上的位置的横坐标值,角度θ是拍摄到的工件W相对于在图像处理装置19中预先示教的工件样板的相对旋转角度,尺寸S是拍摄到的工件W的尺寸相对于在图像处理装置19中预先示教的工件样板的尺寸的比率。此外,作为优先顺序的决定方法,例如可以使用特开2004-50390号公报中记载的公知方法,在此不进行详细的说明。
然后,在步骤S102中,工件选择部37核对存储在数据存储部31中的全体搜索工件数据表和存储在NG工件存储部35中的黑名单,将与黑名单中登录的NG工件Wf相应的工件W的工件数据从全体搜索工件数据表中除去,不作为以后处理的对象。存储在NG工件存储部35中的黑名单存储有关没有成功完成后述的精密测定或工件取出的NG工件Wf的工件数据。如图5所示,在黑名单中,关于以索引j进行参照的第j工件Wf,除了大致位置(Vt、Hz)、角度θ、尺寸S之外,还登录了有关向黑名单的滞留次数Aj、以及通过全体搜索所识别的工件与黑名单中的NG工件Wf的未对应次数Bj的信息。所谓“次数”表示在每次执行后述图6中的对黑名单进行更新的步骤时累计的数。
这里,以图4以及图5所示的全体搜索工件数据表以及黑名单的数据为例,对上述进行排除的步骤S102进行详细地说明。在步骤S101的全体搜索中由工件识别装置25识别k个工件W,由控制装置21的工件选择部37生成图4所示的全体搜索工件数据表,另外,在进行全体搜索之前在控制装置21的NG工件存储部35中存储了如图5所示的登录有m个NG工件Wf的黑名单。工件选择部37在核对全体搜索工件数据表的工件数据和黑名单的工件数据时,如果两工件数据的误差在预定的误差允许范围内,则推测为两工件数据表示同一工件,选出在全体搜索工件数据表和黑名单中共有的同一工件。例如,误差允许范围关于位置Vt、Hz预定为±3pixel,关于角度θ预定为±3°,关于尺寸S预定为±3%。此时,当比较全体搜索工件数据表中的第2(i=2)工件W和黑名单中的第3(j=3)NG工件Wf时,位置、角度、尺寸互相非常接近,可知在误差允许范围内。因此,推测两工件数据表示同一工件W。如此在检测到同一工件W时,从全体搜索工件数据表中删除第2工件数据。在全体搜索工件数据表和黑名单之间无遗漏地进行这样的处理。
然后,在步骤S103中进行黑名单的更新。在图6中表示了黑名单更新的详细顺序。首先,在每次开始黑名单更新的步骤S103时,对黑名单中的各工件数据的Aj值加1(步骤S201)。如后所述,在精密测定或工件W的抓持以及取出中的某个没有成功时,将没有成功的NG工件Wf的工件数据与Aj=0以及Bj=0一起登录到黑名单中,所以该Aj表示各NG工件Wf的工件数据在黑名单中滞留的次数,即在各NG工件Wf的工件数据登录在黑名单中的期间所进行的黑名单更新步骤S103的次数。另外,在黑名单更新步骤S103之前进行的步骤S102中,关于在黑名单与全体搜索工件数据表之间对应成立的黑名单中的NG工件Wf(即,在全体搜索工件数据表中发现了对应的同一工件W的黑名单中的NG工件Wf),将该工件数据的Bj复位为0,关于对应不成立的NG工件Wf(即,在全体搜索工件数据表中没有发现对应的同一工件W的黑名单中的NG工件Wf),对该工件数据的Bj值加1(步骤S202)。
然后,将各NG工件Wf的工件数据的Aj值与预定的常数CA进行比较(步骤S203),在等于或大于CA时,从黑名单中删除该NG工件Wf的工件数据(步骤S205)。因此,黑名单中的NG工件Wf的工件数据在作为黑名单数据使用了CA次之后从黑名单中删除。CA通常设定1以上的值。然后,将各NG工件Wf的工件数据的Bj值与常数CB进行比较(步骤S204),当等于或者大于CB时,从黑名单中删除该NG工件Wf的工件数据(步骤S205)。在全体搜索工件数据表与黑名单之间对应不成立CB次的NG工件Wf被推测为由于某种原因工件Wf的位置等发生了变化,所以判断为无需在黑名单中保留该NG工件Wf的工件数据,通过上述步骤S205从黑名单中删除。CB通常设定1以上的值。此外,还可以通过对CA或者CB设定足够大的值,使从黑名单中删除NG工件Wf的工件数据的功能实际上无效。
当在步骤S103中进行了黑名单的更新时,接着进行由工件识别装置25识别的工件W的精密测定以及取出。首先,工件选择部37在除去了登录在黑名单中的NG工件Wf的工件数据后的全体搜索工件数据表中,确认是否在全体搜索工件数据表中存在优先顺序为第1(i=1)的工件W的工件数据(步骤S104)。在存在时,工件选择部37选择该工件W作为应该进行精密测定以及取出的工件,并将全体搜索工件数据表的第1工件W的工件数据提供给机器人控制部33。机器人控制部33根据提供的工件数据(尤其是工件W的大致位置(Vt、Hz))来控制机器人13,使精密测定装置27的窄域传感器17移动到所选择的工件W的附近的上方(步骤S105)。当窄域传感器17移动到所选择的工件W的附近的上方时,精密测定装置27利用窄域传感器17对选择的工件W进行摄像,根据取得的图像或3维摄像数据执行工件W的3维位置以及姿势等的精密测定(步骤S106)。
然后,在步骤S107中确认精密测定是否已成功。在精密测定已成功的情况下,机器人控制部33继续尝试根据测定到的工件W的3维位置以及姿势来控制机器人13,由机器人13抓持所选择的工件W从存放箱23中取出,搬运到下一工序(步骤S 108)。然后,在步骤S109中确认抓持以及取出是否已成功。在抓持以及取出已成功的情况下,再次返回步骤S101进行全体搜索,重复进行步骤S101至步骤S109直到没有可以取出的工件W为止。在每次一个工件W的取出完成时进行全体搜索,所以即使在由于伴随取出而产生的振动作用或搅拌作用,各工件W的状态发生了变化时,也可以重新检测各工件W的最新位置。另一方面,在工件W的精密测定和工件W的抓持以及取出中的某个失败时,将失败的工件W判断为NG工件Wf,将全体搜索工件数据表中的该工件W的工件数据新作为第m+1的NG工件Wf,设定为Am+1=0以及Bm+1=0,然后追加登录在存储在NG工件存储部35中的黑名单中(步骤S110),将该失败的工件排除在从步骤S101开始的下一个循环的精密测定以及取出作业的对象之外,并且在对i加1后返回步骤S104(步骤S111),对于全体搜索工件数据表中的优先顺序其次高的工件W,进行从步骤S104至步骤S109的处理。
在工件W的抓持以及取出成功之前重复步骤S104至步骤S109。其中,当在全体搜索工件数据表中没有了在工件W的精密测定或工件W的抓持以及取出中没有失败的工件W时,进入步骤S112,确认存放箱23内的工件W的取出是否已完成。在没有完成时,为了确认是否不存在由于伴随其它工件W的取出而产生的振动作用及搅拌作用,工件W的状态发生变化,变得可以进行精密测定以及取出的工件,再次返回步骤S101进行全体搜索。另一方面,在全部工件W的取出完成时结束工件取出装置11的取出处理。
如此,在本发明的工件取出装置11中,从工件识别装置25所识别的工件W的集合中,至少排除在之前一个取出循环中,在精密测定装置27进行的精密测定或机器人13进行的抓持以及取出中失败的NG工件Wf,对剩下的工件W进行精密测定以及取出,所以可以防止对相同的NG工件Wf反复失败。结果,可以消除无用的尝试,提高作业效率。另外,因为还从黑名单中删除在一定次数的循环中一直登录在黑名单上的NG工件Wf、以及在通过全体搜索识别出的工件W中不存在对应的工件W的NG工件Wf,所以可以避免以下的问题:由于伴随其它工件W的取出而产生的振动作用或搅拌作用工件的堆积状态发生了变化,以致成为了不需要的工件数据,即没有了作为NG状态存在的实际工件的所谓架空的工件数据仍毫无必要地保留在黑名单中,由此对后面的处理带来不良的影响。作为不良影响的例子,列举了当在全体搜索中新识别的工件W的工件数据碰巧为接近上述架空数据的值时,不对该工件W实施精密测定的情况。根据本发明可以避免这样的不良影响。因此,可以从存放箱23内取出尽量多的工件W,可以抑制由于NG工件Wf的增加导致的作业的无效化。
以上,根据图2所示的实施方式,对本发明的工件取出装置11进行了说明,但是本发明的工件取出装置11并不限于本实施方式。例如,在图2所示的实施方式中,作为窄区域传感器17使用3维视觉传感器,根据来自3维视觉传感器的3维摄像数据测定工件的3维位置以及姿势,但还可以变为3维视觉传感器,使用CCD照相机或CMOS照相机这样的2维摄像装置,通过机器人13使该2维摄像装置移动,从多个视点进行摄像,根据所谓的立体视觉求出工件W的3维位置以及姿势。另外,在上述实施方式中,作为工件数据利用工件识别装置来检测工件W的大致位置(Vt、Hz)、角度θ以及尺寸S,但还可以至少检测大致位置,在精密测定装置的精密测定中对工件W的3维位置以及姿势进行测定,但可以至少测定3维位置。
而且,在图2所示的实施方式中,分别设置广域传感器15和窄域传感器17,工件识别装置25和精密测定装置27作为不同的装置构成,但还可以将窄域传感器17作为广域传感器15来使用,由同一装置构成工件识别装置25与精密测定装置27。此时,在由工件识别装置25进行全体搜索时,如图7中的实线所示,使窄域传感器17移动到将整个存放箱23都囊括在其视野内的较高的位置,由此对大范围的区域的工件W进行拍摄,在由精密测定装置27进行精密测定时,如图7中的虚线所示,可以使窄域传感器17接近所选择的工件W的附近,对工件W进行摄像。此外,在图7中,对与图2所示的部分对应的部分标注相同的参照符号。

Claims (6)

1.一种工件取出装置(11),具有:抓持工件(W)的机器人(13);工件识别装置(15、19、25),用于识别位于范围相对较大的区域内的工件(W)的集合所包含的各个工件(W)的大致位置;精密测定装置(17、19、27),用于进行范围相对较小的区域内的工件(W)的3维位置的精密测定;和工件选择装置(37),其选择应该从所述工件(W)的集合中取出的工件(W),所述工件取出装置利用所述精密测定装置(17、19、27)进行由所述工件选择装置(37)选择出的工件(W)的3维位置的精密测定,并根据由所述精密测定装置(17、19、27)测定到的所述工件(W)的3维位置,由所述机器人(13)从所述工件(W)的集合中取出所述被选择的工件(W),其特征在于,
还具有NG工件存储装置(35),其在由所述精密测定装置(17、19、27)进行的工件(W)的3维位置测定或由所述机器人(13)进行的工件(W)的取出失败时,存储在3维位置测定或取出中失败的工件(Wf)的大致位置的信息,所述工件选择装置(37)根据由所述工件识别装置(15、19、25)识别的各工件(W)的大致位置的信息、和存储在所述NG工件存储装置(35)中的信息,从由所述工件识别装置(15、19、25)所识别的所述工件(W)的集合中去除在3维位置测定或取出中失败的工件(Wf),然后选择应该由所述精密测定装置(17、19、27)进行测定的工件(W)。
2.根据权利要求1所述的工件取出装置,其特征在于,
所述精密测定装置(17、19、27)还测定所述被选择的工件(W)的姿势。
3.根据权利要求1或2所述的工件取出装置,其特征在于,
所述NG工件存储装置(35)核对该NG工件存储装置(35)中存储的失败的工件(Wf)的大致位置的信息、和由所述工件识别装置(15、19、25)识别的工件(W)的集合的各个工件(W)的大致位置的信息,如果与所述NG工件存储装置(35)中存储的失败的工件(Wf)对应的工件(W)不存在于由所述工件识别装置(15、19、25)识别的工件(W)的集合中,则删除与该失败的工件(Wf)有关的信息。
4.根据权利要求1或2所述的工件取出装置,其特征在于,
所述NG工件存储装置(35)核对该NG工件存储装置(35)中存储的失败的工件(Wf)的大致位置的信息、和由所述工件识别装置(15、19、25)识别的工件(W)的集合的各个工件(W)的大致位置的信息,当与所述NG工件存储装置(35)中存储的失败的工件(Wf)对应的工件(W)不存在于由所述工件识别装置(15、19、25)识别的工件(W)的集合中被连续确认了规定的次数时,删除与该失败的工件(Wf)有关的信息。
5.根据权利要求1或2所述的工件取出装置,其特征在于,
所述NG工件存储装置(35)在存储了在3维位置测定或取出中失败的工件(Wf)的大致位置的信息后,当进行了规定次数的从所述工件识别装置(15、19、25)对工件(W)的集合进行识别到利用所述机器人(13)取出工件(W)为止的循环时,删除该失败的工件(Wf)的信息。
6.根据权利要求1或2所述的工件取出装置,其特征在于,
所述工件识别装置(15、19、25)和所述精密测定装置(17、19、27)由同一装置构成。
CN2007101630287A 2006-09-29 2007-09-28 工件取出装置 Active CN101152720B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006266903 2006-09-29
JP2006266903A JP4226623B2 (ja) 2006-09-29 2006-09-29 ワーク取り出し装置
JP2006-266903 2006-09-29

Publications (2)

Publication Number Publication Date
CN101152720A true CN101152720A (zh) 2008-04-02
CN101152720B CN101152720B (zh) 2010-12-01

Family

ID=38947368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101630287A Active CN101152720B (zh) 2006-09-29 2007-09-28 工件取出装置

Country Status (5)

Country Link
US (1) US7966094B2 (zh)
EP (1) EP1905548B1 (zh)
JP (1) JP4226623B2 (zh)
CN (1) CN101152720B (zh)
DE (1) DE602007009166D1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101618544B (zh) * 2008-07-04 2011-08-31 发那科株式会社 物品取出装置
CN102233581A (zh) * 2010-04-28 2011-11-09 本田技研工业株式会社 工件的把持方法
CN102343590A (zh) * 2010-07-27 2012-02-08 发那科株式会社 工件取出装置及工件取出方法
CN103042529A (zh) * 2011-10-13 2013-04-17 株式会社安川电机 工件取出系统、机器人装置以及被加工物的制造方法
CN103158151A (zh) * 2011-12-19 2013-06-19 发那科株式会社 具备修正物品的姿势的功能的取出装置
CN104871103A (zh) * 2012-12-25 2015-08-26 平田机工株式会社 输送系统
CN105269582A (zh) * 2014-06-02 2016-01-27 精工爱普生株式会社 机器人、机器人系统以及控制方法
CN107160387A (zh) * 2016-12-13 2017-09-15 陈胜辉 一种物料抓取方法与系统
CN111713185A (zh) * 2018-02-21 2020-09-25 株式会社富士 元件安装系统及元件保持方法

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007026956A1 (de) * 2007-06-12 2008-12-18 Kuka Innotec Gmbh Verfahren und System zum Roboter geführten Depalettieren von Reifen
JP4866890B2 (ja) * 2008-10-08 2012-02-01 本田技研工業株式会社 ワーク形状推定装置
JP5265296B2 (ja) * 2008-10-10 2013-08-14 本田技研工業株式会社 ワーク取り出し方法
JP5164811B2 (ja) * 2008-11-26 2013-03-21 キヤノン株式会社 作業システム及び情報処理方法
DE102009001894B4 (de) * 2009-03-26 2018-06-28 pmdtechnologies ag Robotersystem mit 3D-Kamera
EP2540456A1 (en) * 2009-08-27 2013-01-02 ABB Research Ltd. Robotic picking of parts from a parts holding bin
WO2011029476A1 (en) * 2009-09-11 2011-03-17 Abb Technology Ab Improved pick and place
JP5500926B2 (ja) * 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
JP5725708B2 (ja) * 2009-12-24 2015-05-27 キヤノン株式会社 センサ位置姿勢計測方法
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP5630208B2 (ja) * 2010-10-25 2014-11-26 株式会社安川電機 形状計測装置、ロボットシステムおよび形状計測方法
WO2012066819A1 (ja) 2010-11-17 2012-05-24 三菱電機株式会社 ワーク取り出し装置
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5533727B2 (ja) * 2011-02-18 2014-06-25 株式会社安川電機 ワークピッキングシステム
JP5544320B2 (ja) * 2011-03-15 2014-07-09 西部電機株式会社 立体視ロボットピッキング装置
JP5787642B2 (ja) 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
DE112012002677B4 (de) * 2011-06-29 2018-12-06 Mitsubishi Electric Corp. Zuführvorrichtung für Bauelemente
JP5852364B2 (ja) * 2011-08-26 2016-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5494597B2 (ja) * 2011-09-16 2014-05-14 株式会社安川電機 ロボットシステム
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法
JP5447483B2 (ja) * 2011-10-04 2014-03-19 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP5606424B2 (ja) * 2011-11-04 2014-10-15 三菱電機株式会社 部品取り出し方法、及び部品取り出しシステム
JP6000579B2 (ja) 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP5902023B2 (ja) * 2012-04-06 2016-04-13 株式会社セントラルユニ ピッキング装置
JP6021533B2 (ja) * 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
JP5620445B2 (ja) * 2012-09-13 2014-11-05 ファナック株式会社 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置
JP5786896B2 (ja) 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP2015024453A (ja) * 2013-07-25 2015-02-05 トヨタ自動車株式会社 載置判断方法、載置方法、載置判断装置及びロボット
DE102013214694B4 (de) * 2013-07-26 2015-02-12 Roche Pvt Gmbh Verfahren zum Handhaben eines Gegenstands und Vorrichtung zum Handhaben von Gegenständen
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
US9586320B2 (en) * 2013-10-04 2017-03-07 GM Global Technology Operations LLC System and method for controlling a vision guided robot assembly
JP5897532B2 (ja) * 2013-11-05 2016-03-30 ファナック株式会社 三次元空間に置かれた物品をロボットで取出す装置及び方法
US9138895B2 (en) * 2014-01-10 2015-09-22 Recognition Robotics, Inc. Method for picking up an article using a robot arm and associated system
JP5778311B1 (ja) * 2014-05-08 2015-09-16 東芝機械株式会社 ピッキング装置およびピッキング方法
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
CN105590878B (zh) * 2014-10-23 2019-02-19 北京北方华创微电子装备有限公司 一种机械手偏移监测系统
DE102015100983A1 (de) * 2015-01-23 2016-07-28 Sick Ag Verfahren zur Lokalisierung von Greifpunkten von Objekten
JP6552221B2 (ja) * 2015-03-02 2019-07-31 キヤノン株式会社 情報処理装置、情報処理方法
US9862096B2 (en) * 2015-03-30 2018-01-09 The Boeing Company Automated dynamic manufacturing systems and related methods
JP6535502B2 (ja) * 2015-04-21 2019-06-26 株式会社アマダホールディングス ワークピースの搬出方法及び装置
JP6166305B2 (ja) * 2015-05-08 2017-07-19 ファナック株式会社 負荷パラメータ設定装置および負荷パラメータ設定方法
CN106392528A (zh) * 2015-07-31 2017-02-15 精工爱普生株式会社 工件供给装置、机器人以及机器人系统
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2017189856A (ja) 2016-04-15 2017-10-19 オムロン株式会社 アクチュエータ制御システム、アクチュエータ制御方法、情報処理プログラム、および記録媒体
JP6527108B2 (ja) 2016-05-19 2019-06-05 ファナック株式会社 物品搬送装置
JP2018027581A (ja) * 2016-08-17 2018-02-22 株式会社安川電機 ピッキングシステム
JP6450727B2 (ja) * 2016-10-28 2019-01-09 ファナック株式会社 ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体
JP6450788B2 (ja) 2017-02-21 2019-01-09 ファナック株式会社 ワーク取出システム
JP6889574B2 (ja) * 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
JP6987566B2 (ja) * 2017-08-07 2022-01-05 三菱重工業株式会社 作業システム及び作業システムの作業方法
WO2019069361A1 (ja) 2017-10-03 2019-04-11 三菱電機株式会社 把持位置姿勢教示装置、把持位置姿勢教示方法及びロボットシステム
JP2019084601A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、把持システムおよび情報処理方法
JP6687657B2 (ja) * 2018-03-20 2020-04-28 ファナック株式会社 センサ及びロボットを用いた物品取り出し装置、及び物品取り出し方法
JP6958517B2 (ja) * 2018-09-07 2021-11-02 オムロン株式会社 マニピュレータおよび移動ロボット
JP6611888B2 (ja) * 2018-09-28 2019-11-27 キヤノン株式会社 ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体
JP7099367B2 (ja) * 2019-03-06 2022-07-12 株式会社ダイフク 検査システム
JP7183941B2 (ja) * 2019-05-09 2022-12-06 トヨタ自動車株式会社 ワーク識別方法
JP7335096B2 (ja) 2019-06-07 2023-08-29 ファナック株式会社 ロボットシステムの障害物探索装置
JP7343329B2 (ja) 2019-08-05 2023-09-12 ファナック株式会社 ワーク選定及びロボット作業を同時に行うロボット制御システム
US11951636B1 (en) * 2020-01-28 2024-04-09 Embodied Intelligence Inc. Methods of collecting data through test interactions
US11872690B2 (en) * 2021-01-04 2024-01-16 Glttek Co., Ltd. Precision clamping assembly
WO2023171687A1 (ja) * 2022-03-08 2023-09-14 京セラ株式会社 ロボット制御装置及びロボット制御方法
CN115065816B (zh) * 2022-05-09 2023-04-07 北京大学 一种真实地理空间场景实时构建方法和实时构建装置
WO2024047711A1 (ja) * 2022-08-29 2024-03-07 ファナック株式会社 取り出し機械制御装置、取り出し機械制御プログラムおよび取り出し機械システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3804270A (en) * 1973-01-12 1974-04-16 Bendix Corp Bulk storage and automatic presenter system with image producing means
US4187051A (en) * 1978-05-26 1980-02-05 Jerry Kirsch Rotary video article centering, orienting and transfer device for computerized electronic operating systems
US4305130A (en) * 1979-05-29 1981-12-08 University Of Rhode Island Apparatus and method to enable a robot with vision to acquire, orient and transport workpieces
US4412293A (en) * 1981-03-30 1983-10-25 Kelley Robert B Robot system which acquires cylindrical workpieces from bins
US4613269A (en) * 1984-02-28 1986-09-23 Object Recognition Systems, Inc. Robotic acquisition of objects by means including histogram techniques
JPH0823889B2 (ja) 1986-12-26 1996-03-06 トヨタ自動車株式会社 ロボットを用いた物体の取出し方法
US4862373A (en) * 1987-05-13 1989-08-29 Texas Instruments Incorporated Method for providing a collision free path in a three-dimensional space
US4985846A (en) * 1989-05-11 1991-01-15 Fallon Patrick J Acoustical/optical bin picking system
JPH03202290A (ja) 1989-12-27 1991-09-04 Toyota Motor Corp ばら積み物体の取出装置
JPH05127718A (ja) 1991-11-08 1993-05-25 Fujitsu Ltd マニピユレータの手先軌道自動生成装置
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP3715537B2 (ja) * 2001-02-19 2005-11-09 本田技研工業株式会社 多関節ロボットの干渉回避方法およびプログラム
JP3782679B2 (ja) * 2001-05-09 2006-06-07 ファナック株式会社 干渉回避装置
JP2004160567A (ja) 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
JP3805302B2 (ja) 2002-12-13 2006-08-02 ファナック株式会社 ワーク取出し装置
JP4174342B2 (ja) * 2003-02-19 2008-10-29 ファナック株式会社 ワーク搬送装置
JP4167940B2 (ja) * 2003-05-29 2008-10-22 ファナック株式会社 ロボットシステム
DE10351670A1 (de) * 2003-11-05 2005-06-30 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Steuern von Robotern
FR2896441B1 (fr) 2006-01-23 2009-07-03 Jerome Grosbois Procede et systeme permettant la prehension automatisee de piece(s)
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101618544B (zh) * 2008-07-04 2011-08-31 发那科株式会社 物品取出装置
CN102233581A (zh) * 2010-04-28 2011-11-09 本田技研工业株式会社 工件的把持方法
CN102343590B (zh) * 2010-07-27 2014-05-07 发那科株式会社 工件取出装置及工件取出方法
CN102343590A (zh) * 2010-07-27 2012-02-08 发那科株式会社 工件取出装置及工件取出方法
CN103042529B (zh) * 2011-10-13 2016-05-11 株式会社安川电机 工件取出系统、机器人装置以及被加工物的制造方法
CN103042529A (zh) * 2011-10-13 2013-04-17 株式会社安川电机 工件取出系统、机器人装置以及被加工物的制造方法
CN103158151A (zh) * 2011-12-19 2013-06-19 发那科株式会社 具备修正物品的姿势的功能的取出装置
CN103158151B (zh) * 2011-12-19 2015-04-29 发那科株式会社 具备修正物品的姿势的功能的取出装置
CN104871103A (zh) * 2012-12-25 2015-08-26 平田机工株式会社 输送系统
CN105269582A (zh) * 2014-06-02 2016-01-27 精工爱普生株式会社 机器人、机器人系统以及控制方法
CN105269582B (zh) * 2014-06-02 2020-03-06 精工爱普生株式会社 机器人、机器人系统以及控制方法
CN107160387A (zh) * 2016-12-13 2017-09-15 陈胜辉 一种物料抓取方法与系统
CN111713185A (zh) * 2018-02-21 2020-09-25 株式会社富士 元件安装系统及元件保持方法
CN111713185B (zh) * 2018-02-21 2022-02-11 株式会社富士 元件安装系统及元件保持方法

Also Published As

Publication number Publication date
EP1905548A2 (en) 2008-04-02
US20080082213A1 (en) 2008-04-03
DE602007009166D1 (de) 2010-10-28
CN101152720B (zh) 2010-12-01
EP1905548A3 (en) 2009-01-28
US7966094B2 (en) 2011-06-21
EP1905548B1 (en) 2010-09-15
JP4226623B2 (ja) 2009-02-18
JP2008087074A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
CN101152720B (zh) 工件取出装置
JP6822719B2 (ja) 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法
US7996114B2 (en) Workpiece picking device and method
US9604364B2 (en) Picking apparatus and picking method
EP2345515B1 (en) Method for picking up work pieces
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
US7280687B2 (en) Device for detecting position/orientation of object
US20180290307A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US7283661B2 (en) Image processing apparatus
JP5088278B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
US20170151672A1 (en) Workpiece position/posture calculation system and handling system
JP7191569B2 (ja) 把持装置
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
CN113284178B (zh) 物体码垛方法、装置、计算设备及计算机存储介质
WO2020049766A1 (ja) 対象物認識装置、マニピュレータ、および移動ロボット
CN114029243A (zh) 一种用于分拣机器手的软物抓取识别方法
CN111745640A (zh) 物体检测方法、物体检测装置以及机器人系统
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP7436170B2 (ja) ロボットシステム
WO2021149429A1 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JPH0430991A (ja) 視覚装置付ロボット
CN117769483A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
JPWO2020050405A1 (ja) 作業装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant