CN107850892A - 作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序 - Google Patents

作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序 Download PDF

Info

Publication number
CN107850892A
CN107850892A CN201780002682.1A CN201780002682A CN107850892A CN 107850892 A CN107850892 A CN 107850892A CN 201780002682 A CN201780002682 A CN 201780002682A CN 107850892 A CN107850892 A CN 107850892A
Authority
CN
China
Prior art keywords
operator
operating area
action
information
manikin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780002682.1A
Other languages
English (en)
Other versions
CN107850892B (zh
Inventor
内藤小也香
森嘉
森嘉一
笠井希
笠井一希
西崎修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN107850892A publication Critical patent/CN107850892A/zh
Application granted granted Critical
Publication of CN107850892B publication Critical patent/CN107850892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41865Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D65/00Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • B62D65/18Transportation, conveyor or haulage systems specially adapted for motor vehicle or trailer assembly lines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

作业区域推断装置是推断作业者进行作业的区域的装置,包括:第一动作获取部,获取作业者的动作信息;方向获取部,获取作业者的方向信息;以及作业区域运算部,根据动作信息及方向信息以及作业者的人体模型,运算可预测作业者的动作的区域。

Description

作业区域推断装置、控制装置、控制系统、作业区域推断方法 及程序
技术领域
本发明涉及一种作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序。
背景技术
先前,已经知道有工厂的生产线(例如,参照专利文献1)。
专利文献1的生产线是用于车辆的组装工序等之中,包括搬运车辆的车辆用输送机(conveyer)、使作业者沿车辆的搬运方向移动的作业者用输送机、对作业者用输送机进行控制的控制器、以及安装在作业者身上的传感器。传感器具有检测作业者的方向及作业者的移动的加速度的功能。而且,控制器构成为根据作业者的方向及移动的加速度,对作业者用输送机的运转方向及运转速度进行控制。由此,几乎不会强迫作业者以行走方式的移动,所以能够减轻作业者的行走疲劳。
现有技术文献
专利文献
专利文献1:日本专利特开2004-230541号公报
发明内容
发明所要解决的问题
因此,在工厂的生产线等之中,在产业机械及作业者进行作业的状况下,会期望推断作业者进行作业的区域。例如,如果能够推断作业者进行作业的区域,就可以一面抑制对作业者造成妨碍的(产业机械的动作与作业者的动作发生干扰)状况,一面扩大产业机械的作业区域,所以能够确保安全性,并且提高生产率。
本发明是为了解决所述问题而开发的,本发明的目的在于提供一种能够推断作业者进行作业的区域的作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序。
解决问题的技术手段
本发明的作业区域推断装置是推断作业者进行作业的区域的装置,包括:第一动作获取部,获取作业者的动作信息;方向获取部,获取作业者的方向信息;以及作业区域运算部,根据动作信息及方向信息以及作业者的人体模型,运算可预测作业者的动作的区域。
通过如上所述而构成,根据反映出作业者的意图的信息即方向信息,来推断可预测动作的区域,借此能够以高精度推断作业者进行作业的区域。
在所述作业区域推断装置中,也可以是:包括根据方向信息及人体模型,运算作业者的活动区域的活动区域运算部,作业区域运算部构成为根据动作信息及活动区域,运算可预测作业者的动作的区域。
在所述作业区域推断装置中,也可以是:方向信息包括作业者的躯体的方向信息及作业者的头部的方向信息,作业区域运算部根据躯体的方向信息及头部的方向信息,权重评价可预测作业者的动作的区域内的动作可能性。
在所述作业区域推断装置中,也可以包括状态获取部,所述状态获取部是获取作业者的位置信息及姿势信息中的至少任一者。
在包括所述状态获取部的作业区域推断装置中,状态获取部也可以构成为获取加速度数据、角速度数据、速度数据、角加速度数据、压力数据及磁性数据之中的至少一个,并利用所述获取到的数据算出位置信息及姿势信息中的至少任一者。
在包括所述状态获取部的作业区域推断装置中,方向获取部也可以构成为根据位置信息及姿势信息中的至少任一者以及人体模型,运算方向信息。
在包括所述状态获取部的作业区域推断装置中,第一动作获取部也可以构成为根据位置信息及姿势信息中的至少任一者以及人体模型,运算动作信息。
在包括所述状态获取部的作业区域推断装置中,也可以包括人体模型运算部,所述人体模型运算部是利用位置信息及姿势信息中的至少任一者运算人体模型。
在所述作业区域推断装置中,也可以包括记录有人体模型的人体模型记录部。
本发明的控制装置包括所述作业区域推断装置、以及对控制对象进行控制的控制部。
在所述控制装置中,控制部也可以构成为使控制对象在可预测作业者的动作的区域的外侧运行。
在所述控制装置中,也可以是:方向信息包括作业者的躯体的方向信息及作业者的头部的方向信息,作业区域运算部构成为根据躯体的方向信息及头部的方向信息,权重评价可预测作业者的动作的区域内的动作可能性,控制部构成为使控制对象在动作可能性为规定值以上的区域的外侧运行。再者,规定值例如是经预先设定的值,是判断为动作可能性大的边界值。
在所述控制装置中,也可以包括安全性判断部,所述安全性判断部是判断控制对象已进入至可预测作业者的动作的区域的内侧时的安全性。
在包括所述安全性判断部的控制装置中,控制部也可以构成为当安全性判断部判断为安全时,使控制对象能够在可预测作业者的动作的区域的内侧运行。
在包括所述安全性判断部的控制装置中,控制部也可以构成为当安全性判断部判断为不安全时,通过将控制对象设为能够确保安全性的状态,而允许控制对象在可预测作业者的动作的区域的内侧运行。
在包括所述安全性判断部的控制装置中,安全性判断部也可以构成为根据动作信息来判断安全性。
在包括所述安全性判断部的控制装置中,也可以是:包括获取控制对象的动作信息的第二动作获取部,安全性判断部构成为根据控制对象的动作信息来判断安全性。
本发明的控制系统包括所述控制装置、以及安装在作业者身上的检测装置。
在所述控制系统中,也可以是:检测装置构成为检测加速度数据、角速度数据、速度数据、角加速度数据、压力数据及磁性数据之中的至少一个,作业区域推断装置包含获取作业者的位置信息及姿势信息中的至少任一者的状态获取部,状态获取部构成为获取检测装置的检测结果,并利用所述获取到的检测结果,算出位置信息及姿势信息中的至少任一者。
本发明的作业区域推断方法是推断作业者进行作业的区域的方法,包括如下步骤:获取作业者的动作信息;获取作业者的方向信息;以及根据动作信息及方向信息以及作业者的人体模型,运算可预测作业者的动作的区域。
本发明的程序是用于使计算机执行所述作业区域推断方法的程序。
发明的效果
根据本发明的作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序,可以推断作业者进行作业的区域。
附图说明
图1是表示本发明的一个实施方式的控制系统的构成的硬件(hardware)框图。
图2是图1的控制系统中的控制装置的功能框图。
图3是用于说明本实施方式的控制系统的动作的流程图。
具体实施方式
以下,参照附图,对本发明的一个实施方式进行说明。
首先,参照图1及图2,对本发明的一个实施方式的控制系统100的构成进行说明。
控制系统100如图1所示,包括对机器人50进行控制的控制装置1、以及安装在作业者身上的检测装置2。所述控制系统100构成为例如,在工厂的生产线等之中推断作业者的作业区域(可预测动作的区域),并根据所述作业者的作业区域对机器人50进行控制。再者,机器人50是例如设置在工厂的生产线等之中的机械手(robot arm),是本发明的“控制对象”的一例。
检测装置2安装在作业者的各部位上,各检测装置2是为了检测关于所安装的部位的动作而设置。再者,在图1中表示了两个检测装置2,但是也可以设置更多的检测装置2,以检测作业者的全身的动作。作为对作业者安装检测装置2的安装位置的一例,是头部、两肩部、两臂部(上臂、前臂、手)、背部、腰部及两腿部(大腿、小腿、脚)。
所述检测装置2包括检测加速度数据的加速度传感器2a、检测角速度数据的角速度传感器2b、以及将加速度传感器2a及角速度传感器2b的检测结果输出至控制装置1的输出部2c。再者,检测装置2例如是以无线方式连接于控制装置1,但也可以通过有线方式而连接于控制装置1。
控制装置1构成为获取作业者的方向信息及动作信息,并根据所述方向信息及动作信息以及人体模型,推断作业者的作业区域。而且,控制装置1构成为使机器人50在作业者的作业区域的外侧运行。进而,控制装置1判断机器人50已进入至作业者的作业区域的内侧时的安全性,在安全时允许机器人50进入至作业区域内。再者,所谓作业者的人体模型,例如,是指将作业者的身体的各部位的相关尺寸形成为数据库的模型。
控制装置1包括中央处理器(central processing unit,CPU)11、只读存储器(read only memory,ROM)12、随机存取存储器(random access memory,RAM)13及输入输出部14。CPU 11构成为根据ROM 12中所存储的程序12a等,来执行运算处理。ROM 12是非易失性存储器,存储着程序12a或执行所述程序12a时所使用的设定值等。再者,在程序12a中包含机器人50的控制程序等。RAM 13是易失性存储器,具有暂时存储CPU 11的运算结果或检测装置2的检测结果等的功能。在输入输出部14上,连接着多个检测装置2、机器人50、以及用于进行控制装置1的设定变更等的工具装置(tool device)60等。
并且,控制装置1如图2所示,包括作业者信息获取部21、人体模型运算部22、人体模型记录部23、方向运算部24、活动区域运算部25、动作运算部26、作业者用的作业区域运算部27、机器人信息获取部28、机器人动作运算部29、机器人50用的作业区域运算部30、安全性判断部31及机器人控制部32。再者,作业者信息获取部21、人体模型运算部22、方向运算部24、活动区域运算部25、动作运算部26、作业区域运算部27、机器人信息获取部28、机器人动作运算部29、作业区域运算部30、安全性判断部31及机器人控制部32是通过CPU 11执行程序12a来实现。并且,人体模型记录部23是由ROM 12的存储区域的一部分所构成。
并且,利用作业者信息获取部21、人体模型运算部22、人体模型记录部23、方向运算部24、活动区域运算部25、动作运算部26及作业区域运算部27,构成推断作业者的作业区域的作业区域推断部40。再者,作业区域推断部40是本发明的“作业区域推断装置”的一例。
作业者信息获取部21构成为被输入各检测装置2的检测结果。即,作业者信息获取部21随时间经过而获取作业者的各部位的加速度数据及角速度数据。而且,作业者信息获取部21构成为利用所述加速度数据及角速度数据算出位置信息及姿势信息。即,作业者信息获取部21随时间经过而获取关于作业者的每个部位的位置信息及姿势信息。再者,位置信息是例如三维坐标的坐标值,姿势信息是例如相对于各坐标轴的旋转角。并且,作业者信息获取部21是本发明的“状态获取部”的一例。
人体模型运算部22是为了根据作业者信息获取部21所获取的位置信息及姿势信息,运算作业者的人体模型而设置。所述人体模型运算部22通过根据作业者的各部位的位置信息及姿势信息的随时间经过的变化,算出各部位的尺寸,来制作人体模型。再者,也可以设为在利用人体模型运算部22进行人体模型的运算时,促使作业者进行规定的动作。
在人体模型记录部23中,记录有作业者的人体模型。在所述人体模型记录部23中,既可以记录有人体模型运算部22的运算结果即人体模型,也可以记录有作业者利用工具装置60而输入的人体模型。即,在本实施方式中,将人体模型记录至人体模型记录部23的方法有两个,可以利用任一方法进行记录。
方向运算部24是为了根据作业者信息获取部21所获取的位置信息及姿势信息、以及记录于人体模型记录部23中的人体模型,运算作业者的方向信息而设置。在所述方向信息中,例如,包含作业者的躯体的方向信息及作业者的头部的方向信息。再者,所谓躯体的方向,例如,是指躯体的正面所朝向的方向,可以利用位置及姿势的随时间经过的变化,追踪所述方向上的变化。同样地,所谓头部的方向,例如,是指头部的正面所朝向的方向,可以利用位置及姿势的随时间经过的变化,追踪所述方向上的变化。再者,方向运算部24是本发明的“方向获取部”的一例。
活动区域运算部25是为了运算作业者的活动区域而设置。所述活动区域运算部25构成为根据方向运算部24所运算出的作业者的方向信息、以及记录于人体模型记录部23中的人体模型,来运算作业者的活动区域。再者,所谓活动区域,是围绕着作业者的周围的规定区域,是作业者能够使身体从当前的状态移动的区域。例如,当肩部经固定时,臂部的活动区域是伸长臂部而够得到的范围。
动作运算部26是为了运算作业者的动作信息而设置。所述动作运算部26构成为通过对记录于人体模型记录部23中的人体模型,输入作业者信息获取部21所获取的位置信息及姿势信息,来运算作业者的各部位的动作信息。即,利用作业者的各部位的位置及姿势的随时间经过的变化来运算各部位的动作。再者,动作运算部26是本发明的“第一动作获取部”的一例。
作业区域运算部27是为了运算作业者的作业区域而设置。具体来说,作业区域运算部27构成为根据活动区域运算部25所运算出的活动区域及动作运算部26所运算出的动作信息,来运算作业区域。
对机器人信息获取部28,从机器人50输入各种信息50a。各种信息50a是例如关于机器人50的位置信息、速度信息、加速度信息及路径信息等,通过设置在机器人50上的传感器(图略)来检测。
机器人动作运算部29是为了运算机器人50的动作信息而设置。所述机器人动作运算部29例如,根据机器人信息获取部28所获取的各种信息50a及对机器人50进行控制的控制程序,运算机器人50的动作信息。再者,机器人动作运算部29是本发明的“第二动作获取部”的一例。
作业区域运算部30是为了运算机器人50的作业区域(可预测动作的区域)而设置。所述作业区域运算部30构成为例如根据机器人动作运算部29的运算结果,运算机器人50的作业区域。
安全性判断部31是为了判断机器人50已进入至作业者的作业区域的内侧时的安全性而设置。所述安全性判断部31构成为判断作业者的作业区域与机器人50的作业区域是否会发生干扰(重合),并且在判断为作业者的作业区域与机器人50的作业区域会发生干扰时,进行安全性的判断。
具体来说,安全性判断部31构成为在判断为作业者的作业区域与机器人50的作业区域会发生干扰时,根据作业者的动作信息及机器人50的动作信息,判断作业者与机器人50是否会发生碰撞。然后,安全性判断部31构成为在判断为作业者与机器人50会发生碰撞时,运算所述碰撞时的冲击力。再者,冲击力例如是根据作业者的动作信息及机器人50的动作信息来运算。即,根据作业者的动作信息及机器人50的动作信息来判断安全性。而且,安全性判断部31在判断为作业者与机器人50不会发生碰撞时、以及冲击力未达规定值时,判断为安全,在冲击力为规定值以上时,判断为不安全。再者,所述规定值例如是经预先设定的值,既可以是作业者不感到疼痛的程度的值,也可以是作业者不会受伤的程度的值。
机器人控制部32是为了对机器人50输出动作命令而设置。所述机器人控制部32构成为使机器人50在作业者的作业区域的外侧运行。然后,机器人控制部32在安全性判断部31判断为安全时,可以使机器人50在作业者的作业区域的内侧运行。例如,机器人控制部32在作业者的作业区域与机器人50的作业区域不会发生干扰时、以及安全性判断部31判断为安全时,使机器人50根据控制程序而运行,在安全性判断部31判断为不安全时,则使机器人50停止而不进入至作业者的作业区域。再者,机器人控制部32是本发明的“控制部”的一例。
-控制系统的动作-
其次,参照图3,对本实施方式的控制系统100的动作进行说明。在所述动作中,包含利用控制装置1的作业区域推断方法。
再者,以下的各步骤是通过CPU 11(参照图1)执行程序12a(参照图1)来进行。即,程序12a是用于使控制装置1(参照图1)执行以下各步骤的程序,存储在控制装置1可读取的记录介质即ROM 12(参照图1)中。
并且,在人体模型记录部23(参照图2)中预先记录有作业者的人体模型。所述人体模型既可以通过人体模型运算部22(参照图2)来记录,也可以利用工具装置60(参照图2)来记录。并且,在作业者的各部位安装有检测装置2。
首先,在图3的步骤S1中,判断作业者与机器人50(参照图2)的合作动作是否已开始。例如,当作业者操作了开始按钮(图略)时,判断为合作动作已开始。而且,当判断为合作动作已开始时,转移至步骤S2。另一方面,当判断为合作动作没有开始时,重复进行步骤S1。即,控制装置1进行待机,直到合作动作开始为止。
其次,在步骤S2中,利用作业者信息获取部21(参照图2),获取关于作业者的每个部位的位置信息及姿势信息。具体来说,根据从各检测装置2输入的加速度数据及角速度数据,计算出各部位的位置信息及姿势信息。
其次,在步骤S3中,利用方向运算部24(参照图2),运算作业者的方向信息。具体来说,根据作业者的位置信息及姿势信息以及记录于人体模型记录部23中的人体模型,运算作业者的躯体及头部的方向信息。
其次,在步骤S4中,利用活动区域运算部25(参照图2),运算作业者的活动区域。具体来说,根据作业者的方向信息及人体模型,运算作业者的活动区域。
其次,在步骤S5中,通过动作运算部26(参照图2),来运算作业者的各部位的动作信息。具体来说,通过对记录于人体模型记录部23中的人体模型输入各部位的位置信息及姿势信息,来运算作业者的各部位的动作信息。
其次,在步骤S6中,通过作业区域运算部27(参照图2),来运算作业者的作业区域。具体来说,利用作业者的活动区域及动作信息来运算作业区域。
其次,在步骤S7中,通过机器人信息获取部28(参照图2),来获取机器人50的各种信息50a(参照图2)。接着,在步骤S8中,通过机器人动作运算部29(参照图2),来运算机器人50的动作信息。然后,在步骤S9中,通过作业区域运算部30(参照图2),来运算机器人50的作业区域。
其次,在步骤S10中,通过安全性判断部31(参照图2),来判断作业者的作业区域与机器人50的作业区域是否会发生干扰。所述判断是根据在步骤S6中算出的作业者的作业区域、以及在步骤S9中算出的机器人50的作业区域来进行。而且,当判断为作业者的作业区域与机器人50的作业区域会发生干扰时,转移至步骤S11。另一方面,在判断为作业者的作业区域与机器人50的作业区域不会发生干扰时,转移至步骤S12。
接着,在步骤S11中,通过安全性判断部31,来进行安全性的判断。具体来说,根据在步骤S5中算出的作业者的动作信息、以及在步骤S8中算出的机器人50的动作信息,判断作业者与机器人50是否会发生碰撞。然后,在判断为作业者与机器人50会发生碰撞时,根据作业者的动作信息及机器人50的动作信息,运算碰撞时的冲击力。并且,安全性判断部31在判断为作业者与机器人50不会发生碰撞时、以及冲击力未达规定值时,判断为安全,在冲击力为规定值以上时,判断为不安全。
其次,在步骤S12中,通过机器人控制部32(参照图2),来控制机器人50。具体来说,当判断为作业者的作业区域与机器人50的作业区域不会发生干扰时、以及判断为安全时,使机器人50根据控制程序而运行。即,当安全时,使机器人50在作业者的作业区域的内侧运行。并且,当判断为不安全时,例如使机器人50停止,以使机器人50不进入至作业者的作业区域。
其次,在步骤S13中,判断作业者与机器人50的合作动作是否已结束。例如,当作业者操作了结束按钮(图略)时,判断为合作动作已结束。然后,当判断为合作动作已结束时,转移至结束。另一方面,当判断为合作动作没有结束时,则返回至步骤S2。
-效果-
在本实施方式中,如上所述,设置有运算作业者的方向信息的方向运算部24、根据所述方向信息及人体模型运算作业者的活动区域的活动区域运算部25、运算作业者的动作信息的动作运算部26、以及根据活动区域及动作信息运算作业者的作业区域的作业区域运算部27。通过如上所述而构成,根据反映出作业者的意图的信息即方向信息来推断作业区域,借此能够以高精度推断作业者的作业区域。此外,通过考虑作业者的动作信息,可以进一步提高作业区域的推断精度。即,利用动作信息,可以推断出从活动区域中选取的作业区域。
并且,在本实施方式中,设置有使机器人50在作业者的作业区域的外侧运行的机器人控制部32。借由如上所述而构成,可以在机器人50及作业者合作进行作业的状况下,抑制机器人50与作业者发生碰撞,所以能够使安全性提高。并且,可以使机器人50尽量接近作业者,所以能够扩大机器人50的作业区域,因而能够使生产率提高。
并且,在本实施方式中,设置有判断机器人50已进入至作业者的作业区域的内侧时的安全性的安全性判断部31。通过如上所述而构成,可以在安全的情况下,使机器人50能够进入至作业者的作业区域的内侧,借此可以进一步扩大机器人50的作业区域,所以能够一方面抑制安全性的下降,一方面进一步提高生产率。
-其它实施方式-
再者,此次揭示的实施方式在所有方面均为例示,而不成为限定性解释的根据。因此,本发明的技术范围并非只通过所述实施方式来解释,而是根据权利要求的内容来界定。并且,在本发明的技术范围内,包含与权利要求同等的涵义及范围内的所有变更。
例如,在本实施方式中,揭示了机器人50为机械手的示例,但是并不限于此,控制对象也可以是搬运零件的搬运装置等。即,控制对象例如是产业机械。
并且,在本实施方式中,揭示了利用多个检测装置2检测作业者的全身的动作的示例,但是并不限于此,也可以设为只检测作业者的局部(例如,上半身)的动作。
并且,在本实施方式中,揭示了通过CPU 11执行程序12a,来实现作业者信息获取部21、人体模型运算部22、方向运算部24、活动区域运算部25、动作运算部26、作业者用的作业区域运算部27、机器人信息获取部28、机器人动作运算部29、机器人50用的作业区域运算部30、安全性判断部31及机器人控制部32的示例,但是并不限于此,也可以分别利用硬件来构成作业者信息获取部、人体模型运算部、方向运算部、活动区域运算部、动作运算部、作业者用的作业区域运算部、机器人信息获取部、机器人动作运算部、机器人用的作业区域运算部、安全性判断部及机器人控制部。
并且,在本实施方式中,揭示了根据加速度数据及角速度数据,算出位置信息及姿势信息的示例,但是并不限于此,也可以设为根据速度数据、角加速度数据、压力数据及磁性数据等,算出位置信息及姿势信息。即,揭示了检测装置2检测加速度数据及角速度数据的示例,但是并不限于此,检测装置只要构成为检测加速度数据、角速度数据、速度数据、角加速度数据、压力数据及磁性数据之中的至少一个即可。
并且,在本实施方式中,揭示了作业者信息获取部21获取加速度数据及角速度数据,并利用所述加速度数据及角速度数据算出位置信息及姿势信息的示例,但是并不限于此,只要作业者信息获取部获取加速度数据、角速度数据、速度数据、角加速度数据、压力数据及磁性数据之中的至少一个,并利用所述获取到的数据算出位置信息及姿势信息中的至少任一者即可。
并且,在本实施方式中,揭示了人体模型运算部22根据位置信息及姿势信息运算作业者的人体模型的示例,但是并不限于此,人体模型运算部也可以设为根据位置信息或姿势信息,运算作业者的人体模型。
并且,在本实施方式中,揭示了在控制装置1上设置人体模型运算部22,并且能够从工具装置60输入人体模型而构成的示例,但是并不限于此,如果设置有人体模型运算部22,则也可以设为无法从工具装置60输入人体模型,如果能够从工具装置60输入人体模型,则也可以不设置人体模型运算部22。
并且,在本实施方式中,揭示了设置人体模型记录部23的示例,但是并不限于此,如果能够从外部得到作业者的人体模型,也可以不设置人体模型记录部。
并且,在本实施方式中,揭示了方向运算部24根据作业者的位置信息及姿势信息及人体模型运算作业者的方向信息的示例,但是并不限于此,方向运算部也可以设为根据作业者的位置信息或姿势信息以及人体模型来运算作业者的方向信息,还可以设为无论人体模型如何,都根据位置信息及姿势信息中的至少任一者来运算作业者的方向信息。并且,如果设置有获取作业者的方向信息的方向获取部,则也可以不设置方向运算部。
并且,在本实施方式中,揭示了方向运算部24运算作业者的躯体的方向信息及作业者的头部的方向信息的示例,但是并不限于此,方向运算部也可以设为只运算作业者的躯体的方向信息。
并且,在本实施方式中,揭示了设置活动区域运算部25的示例,但是并不限于此,也可以不设置活动区域运算部。在所述情况下,作业区域运算部也可以设为根据作业者的方向信息及动作信息以及人体模型来推断作业区域。
并且,在本实施方式中,揭示了动作运算部26利用位置信息及姿势信息以及人体模型来运算动作信息的示例,但是并不限于此,动作运算部也可以设为利用位置信息或姿势信息及人体模型来运算动作信息,还可以设为无论人体模型如何,都根据位置信息及姿势信息中的至少任一者来运算动作信息。并且,如果设置有获取作业者的动作信息的第一动作获取部,则也可以不设置动作运算部。
并且,在本实施方式中,作业区域运算部27也可以设为推断作业区域内的动作可能性大的区域。具体来说,作业区域运算部27也可以设为根据方向运算部24所运算出的作业者的方向信息(躯体及头部的方向信息),权重评价作业区域内的动作可能性。而且,作业区域运算部27也可以将权重值(动作可能性)为规定值以上的区域,判断为动作可能性大的区域。再者,规定值例如是经预先设定的值,是判断为动作可能性大的边界值。作为权重评价的具体例,由于作业者在头部所朝向的方向侧的区域内进行作业的可能性大,所以提高所述区域的权重值,并且越远离所述区域,越降低权重值。在所述情况下,机器人控制部32也可以设为使机器人50在动作可能性大的区域的外侧运行。
并且,在本实施方式中,揭示了设置机器人动作运算部29及作业区域运算部30的示例,但是并不限于此,当在控制装置的ROM中预先记录有机器人的动作信息及作业区域时,也可以不设置机器人动作运算部及作业区域运算部。在所述情况下,可以省略图3的流程图中的步骤S8及S9。
并且,在本实施方式中,揭示了在控制装置1的ROM 12中记录有机器人50的控制程序的示例,但是并不限于此,也可以在控制装置的ROM中不记录机器人的控制程序。即,针对自主运行的机器人,也可以设为在当所述机器人进入至作业者的作业区域时就不安全的情况下,控制装置禁止机器人的进入。在所述情况下,利用机器人的各种信息来运算动作信息,并且运算机器人的作业区域。并且,在作业者的作业区域与机器人的作业区域会发生干扰的情况下,根据作业者的动作信息及机器人的动作信息而判断为不安全时,只要对机器人输出停止命令等即可。
并且,在本实施方式中,揭示了当安全性判断部31判断为不安全时,机器人控制部32使机器人50停止的示例,但是并不限于此,也可以设为当安全性判断部判断为不安全时,使机器人在作业者的作业区域的外侧进行其它作业。并且,也可以设为当安全性判断部判断为不安全时,通过将机器人设为能够确保安全性的状态,而允许机器人在作业区域的内侧运行。再者,所谓设为能够确保安全性的状态,例如,是指降低机器人的动作速度,以使碰撞时的冲击力未达规定值。
并且,在本实施方式中,揭示了安全性判断部31根据作业者的动作信息及机器人50的动作信息来判断安全性的示例,但是并不限于此,安全性判断部也可以设为根据作业者的动作信息或机器人的动作信息来判断安全性。
并且,在本实施方式中,揭示了设置安全性判断部31的示例,但是并不限于此,也可以不设置安全性判断部。在所述情况下,优选的是使机器人在作业者的作业区域的外侧运行。
并且,在本实施方式中,揭示了当操作了开始按钮时,判断为合作动作已开始的示例,但是并不限于此,还可以设为当作业者进入至规定的区划时,判断为合作动作开始。同样地,揭示了当操作了结束按钮时,判断为合作动作结束的示例,但是并不限于此,还可以设为当作业者从规定的区划退出时,判断为合作动作结束。
并且,在本实施方式的流程图中,揭示了运算作业者的作业区域之后,运算机器人50的作业区域的示例,但是并不限于此,还可以同时运算作业者的作业区域及机器人的作业区域,也可以设为运算机器人的作业区域之后,运算作业者的作业区域。同样地,揭示了运算作业者的动作信息之后,运算机器人50的动作信息的示例,但是并不限于此,也可以同时运算作业者的动作信息及机器人的动作信息,还可以设为运算机器人的动作信息之后,运算作业者的动作信息。即,图3的流程图是一例,而并不限定于所述顺序。
产业上的可利用性
本发明可以用于作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序。
符号的说明
1:控制装置(计算机)
2:检测装置
12a:程序
21:作业者信息获取部(状态获取部)
22:人体模型运算部
23:人体模型记录部
24:方向运算部(方向获取部)
25:活动区域运算部
26:动作运算部(第一动作获取部)
27:作业区域运算部
29:机器人动作运算部(第二动作获取部)
31:安全性判断部
32:机器人控制部(控制部)
40:作业区域推断部(作业区域推断装置)
50:机器人(控制对象)
100:控制系统

Claims (21)

1.一种作业区域推断装置,推断作业者进行作业的区域,所述作业区域推断装置的特征在于包括:
第一动作获取部,获取作业者的动作信息;
方向获取部,获取作业者的方向信息;以及
作业区域运算部,根据所述动作信息及所述方向信息以及作业者的人体模型,运算能够预测作业者的动作的区域。
2.根据权利要求1所述的作业区域推断装置,其特征在于包括:
活动区域运算部,根据所述方向信息及所述人体模型,运算作业者的活动区域;并且
所述作业区域运算部构成为根据所述动作信息及所述活动区域,运算能够预测作业者的动作的区域。
3.根据权利要求1或2所述的作业区域推断装置,其特征在于:
所述方向信息包括作业者的躯体的方向信息及作业者的头部的方向信息,
所述作业区域运算部构成为根据所述躯体的方向信息及所述头部的方向信息,权重评价能够预测作业者的动作的区域内的动作可能性。
4.根据权利要求1~3中任一项所述的作业区域推断装置,其特征在于包括:
状态获取部,获取作业者的位置信息及姿势信息中的至少任一者。
5.根据权利要求4所述的作业区域推断装置,其特征在于:
所述状态获取部构成为获取加速度数据、角速度数据、速度数据、角加速度数据、压力数据及磁性数据之中的至少一个,并利用所述获取到的数据算出所述位置信息及所述姿势信息中的至少任一者。
6.根据权利要求4或5所述的作业区域推断装置,其特征在于:
所述方向获取部构成为根据所述位置信息及所述姿势信息中的至少任一者以及所述人体模型,运算所述方向信息。
7.根据权利要求4~6中任一项所述的作业区域推断装置,其特征在于:
所述第一动作获取部构成为根据所述位置信息及所述姿势信息中的至少任一者以及所述人体模型,运算所述动作信息。
8.根据权利要求4~7中任一项所述的作业区域推断装置,其特征在于包括:
人体模型运算部,利用所述位置信息及所述姿势信息中的至少任一者,运算所述人体模型。
9.根据权利要求1~8中任一项所述的作业区域推断装置,其特征在于包括:
人体模型记录部,记录有所述人体模型。
10.一种控制装置,其特征在于包括:
根据权利要求1~9中任一项所述的作业区域推断装置;以及
控制部,对控制对象进行控制。
11.根据权利要求10所述的控制装置,其特征在于:
所述控制部构成为使所述控制对象在能够预测作业者的动作的区域的外侧运行。
12.根据权利要求10所述的控制装置,其特征在于:
所述方向信息包括作业者的躯体的方向信息、以及作业者的头部的方向信息,
所述作业区域运算部构成为根据所述躯体的方向信息及所述头部的方向信息,权重评价能够预测作业者的动作的区域内的动作可能性,
所述控制部构成为使所述控制对象在所述动作可能性为规定值以上的区域的外侧运行。
13.根据权利要求10~12中任一项所述的控制装置,其特征在于包括:
安全性判断部,判断所述控制对象已进入至能够预测作业者的动作的区域的内侧时的安全性。
14.根据权利要求13所述的控制装置,其特征在于:
所述控制部构成为当所述安全性判断部判断为安全时,使所述控制对象在能够预测作业者的动作的区域的内侧运行。
15.根据权利要求13或14所述的控制装置,其特征在于:
所述控制部构成为当所述安全性判断部判断为不安全时,通过将所述控制对象设为能够确保安全性的状态,而允许所述控制对象在能够预测作业者的动作的区域的内侧运行。
16.根据权利要求13~15中任一项所述的控制装置,其特征在于:
所述安全性判断部构成为根据所述动作信息来判断安全性。
17.根据权利要求13~16中任一项所述的控制装置,其特征在于包括:
第二动作获取部,获取所述控制对象的动作信息;并且
所述安全性判断部构成为根据所述控制对象的动作信息来判断安全性。
18.一种控制系统,其特征在于:
根据权利要求10~17中任一项所述的控制装置;以及
检测装置,安装在作业者身上。
19.根据权利要求18所述的控制系统,其特征在于:
所述检测装置构成为检测加速度数据、角速度数据、速度数据、角加速度数据、压力数据及磁性数据之中的至少一个,
所述作业区域推断装置包含获取作业者的位置信息及姿势信息中的至少任一者的状态获取部,
所述状态获取部构成为获取所述检测装置的检测结果,并利用所述获取到的检测结果,算出所述位置信息及所述姿势信息中的至少任一者。
20.一种作业区域推断方法,推断作业者进行作业的区域,所述作业区域推断方法的特征在于包括如下步骤:
获取作业者的动作信息;
获取作业者的方向信息;以及
根据所述动作信息及所述方向信息以及作业者的人体模型,运算能够预测作业者的动作的区域。
21.一种用于使计算机执行作业区域推断方法的程序,所述作业区域推断方法是根据权利要求20所述的作业区域推断方法。
CN201780002682.1A 2016-02-15 2017-01-10 作业区域推断装置及方法、控制装置、系统及存储介质 Active CN107850892B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016025959A JP6504072B2 (ja) 2016-02-15 2016-02-15 作業領域推定装置、制御装置、制御システム、作業領域推定方法およびプログラム
JP2016-025959 2016-02-15
PCT/JP2017/000386 WO2017141567A1 (ja) 2016-02-15 2017-01-10 作業領域推定装置、制御装置、制御システム、作業領域推定方法およびプログラム

Publications (2)

Publication Number Publication Date
CN107850892A true CN107850892A (zh) 2018-03-27
CN107850892B CN107850892B (zh) 2021-05-14

Family

ID=59625843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002682.1A Active CN107850892B (zh) 2016-02-15 2017-01-10 作业区域推断装置及方法、控制装置、系统及存储介质

Country Status (5)

Country Link
US (1) US10591905B2 (zh)
EP (1) EP3418835B1 (zh)
JP (1) JP6504072B2 (zh)
CN (1) CN107850892B (zh)
WO (1) WO2017141567A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203951A (zh) * 2018-06-19 2021-01-08 株式会社大福 物品输送车

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190138967A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Workspace actor coordination systems and methods
JP6748145B2 (ja) * 2018-05-15 2020-08-26 ファナック株式会社 ロボットシステム
US20220187803A1 (en) * 2020-12-16 2022-06-16 The Boeing Company Shop Floor Social Distancing for Aircraft Assembly

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205367B1 (en) * 1997-02-27 2001-03-20 Fujitsu Limited Apparatus for supporting equipment operability evaluation
JP2006043862A (ja) * 2004-08-09 2006-02-16 Honda Motor Co Ltd マン・マシン作業システム
CN101913076A (zh) * 2010-06-23 2010-12-15 中国科学院自动化研究所 基于工业机器人的活塞、活塞销和连杆装配方法及装置
CN103538647A (zh) * 2012-07-09 2014-01-29 本田技研工业株式会社 作业方法和作业装置
CN103955222A (zh) * 2014-05-05 2014-07-30 无锡普智联科高新技术有限公司 一种基于多障碍物环境的移动机器人路径规划方法
CN104428107A (zh) * 2012-07-10 2015-03-18 西门子公司 机器人布置和用于控制机器人的方法
US20150081245A1 (en) * 2013-09-19 2015-03-19 Casio Computer Co., Ltd. Exercise support device, exercise support method, and exercise support program
KR20150121403A (ko) * 2014-04-21 2015-10-29 한국기계연구원 작업자와 로봇 사이의 충돌 방지 시스템 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004230541A (ja) 2003-02-03 2004-08-19 Daihatsu Motor Co Ltd 生産ライン
JP2004258802A (ja) * 2003-02-24 2004-09-16 Fuji Xerox Co Ltd 作業空間管理装置
CN100556623C (zh) * 2004-10-19 2009-11-04 松下电器产业株式会社 自动机械装置
US20100114373A1 (en) * 2008-10-31 2010-05-06 Camotion, Inc. Systems and methods for scanning a workspace volume for objects
US8253792B2 (en) * 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments
WO2011089885A1 (ja) * 2010-01-25 2011-07-28 パナソニック株式会社 危険提示装置、危険提示システム、危険提示方法およびプログラム
KR101797261B1 (ko) * 2010-06-18 2017-11-13 히다찌 겐끼 가부시키가이샤 작업 기계의 주위 감시 장치
CN103052455A (zh) * 2011-01-17 2013-04-17 松下电器产业株式会社 安全装置及预备动作判定方法
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
CN103988136A (zh) * 2011-12-09 2014-08-13 戴姆勒股份公司 运行生产厂房的方法
JP5833998B2 (ja) * 2012-11-21 2015-12-16 株式会社日立製作所 組立作業性評価計算装置、および組立作業性評価方法
WO2014167465A1 (en) * 2013-04-11 2014-10-16 Koninklijke Philips N.V. User interface with adaptive extent of user control based on user presence information
US9269151B2 (en) * 2014-02-11 2016-02-23 Microsoft Technology Licensing, Llc Manufacturing line monitoring
JP6397226B2 (ja) * 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
US11022952B2 (en) * 2015-01-02 2021-06-01 Illinois Tool Works Inc. System and method for enhancing manufacturing efficiency via operator activity detection

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205367B1 (en) * 1997-02-27 2001-03-20 Fujitsu Limited Apparatus for supporting equipment operability evaluation
JP2006043862A (ja) * 2004-08-09 2006-02-16 Honda Motor Co Ltd マン・マシン作業システム
CN101913076A (zh) * 2010-06-23 2010-12-15 中国科学院自动化研究所 基于工业机器人的活塞、活塞销和连杆装配方法及装置
CN103538647A (zh) * 2012-07-09 2014-01-29 本田技研工业株式会社 作业方法和作业装置
CN104428107A (zh) * 2012-07-10 2015-03-18 西门子公司 机器人布置和用于控制机器人的方法
US20150081245A1 (en) * 2013-09-19 2015-03-19 Casio Computer Co., Ltd. Exercise support device, exercise support method, and exercise support program
KR20150121403A (ko) * 2014-04-21 2015-10-29 한국기계연구원 작업자와 로봇 사이의 충돌 방지 시스템 및 방법
CN103955222A (zh) * 2014-05-05 2014-07-30 无锡普智联科高新技术有限公司 一种基于多障碍物环境的移动机器人路径规划方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203951A (zh) * 2018-06-19 2021-01-08 株式会社大福 物品输送车
CN112203951B (zh) * 2018-06-19 2022-07-19 株式会社大福 物品输送车

Also Published As

Publication number Publication date
EP3418835A1 (en) 2018-12-26
CN107850892B (zh) 2021-05-14
WO2017141567A1 (ja) 2017-08-24
EP3418835A4 (en) 2019-11-06
JP6504072B2 (ja) 2019-04-24
EP3418835B1 (en) 2023-05-03
JP2017144488A (ja) 2017-08-24
US20180231961A1 (en) 2018-08-16
US10591905B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
CN107850892A (zh) 作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序
CN104428107B (zh) 机器人布置和用于控制机器人的方法
CN109382825B (zh) 控制装置以及学习装置
US20200276680A1 (en) High-precision kickback detection for power tools
EP3418009B1 (en) Contact determination device, control device, contact determination system, contact determination method, and contact determination program
CN108000521A (zh) 一种无传感器式协作机器人碰撞检测方法
JP2010120139A (ja) 産業用ロボットの安全制御装置
JP2015519624A5 (zh)
Okamura et al. Haptic exploration of fine surface features
KR102289375B1 (ko) 그래픽 정보를 이용한 실시간 로봇 충돌 위험도 모니터링이 가능한 충돌 물리력 빅데이터 기반 로봇 안전성 평가 방법
CN109318244A (zh) 多关节机器人的控制装置
JP4548784B2 (ja) ロボット制御装置、ロボットシステム及びプログラム
WO2017141577A1 (ja) 衝撃予測装置、衝撃予測システム、制御装置、衝撃予測方法及び衝撃予測プログラム
CN107924181A (zh) 作业区域推断装置、控制装置、控制系统、作业区域推断方法及程序
CN112665552A (zh) 用于监测工作环境的方法和监测装置
JP2017143896A (ja) 判定装置、制御装置、制御システム、判定方法およびプログラム
KR101970951B1 (ko) 로봇 매니퓰레이터 충돌 검출 장치 및 방법
Kim et al. A proposal on determination of protective stop space of mobile servant robots for ISO13482
Wu et al. A Robot Collision Avoidance Method Using Kinect and Global Vision
JP6707327B2 (ja) 動作判別装置及び動作判別方法
Schmucker et al. Multimodal movement activity recognition using a robot’s proprioceptive sensors
KR102607493B1 (ko) 로봇의 모션 분석 방법 및 장치
CN106560766A (zh) 非接触式手势判断方法及其装置
JP2766336B2 (ja) 工業用ロボットの作動範囲監視方法
CN117854231A (zh) 一种对定位功能盲区内人员的监控保护方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant