CN108628260A - 基于机器人的多品种工具成套设备及自动装配工艺 - Google Patents

基于机器人的多品种工具成套设备及自动装配工艺 Download PDF

Info

Publication number
CN108628260A
CN108628260A CN201710163904.XA CN201710163904A CN108628260A CN 108628260 A CN108628260 A CN 108628260A CN 201710163904 A CN201710163904 A CN 201710163904A CN 108628260 A CN108628260 A CN 108628260A
Authority
CN
China
Prior art keywords
robot
tool
people
turn
vanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710163904.XA
Other languages
English (en)
Inventor
李跃明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG JUXING TOOL Co Ltd
Original Assignee
ZHEJIANG JUXING TOOL Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG JUXING TOOL Co Ltd filed Critical ZHEJIANG JUXING TOOL Co Ltd
Priority to CN201710163904.XA priority Critical patent/CN108628260A/zh
Publication of CN108628260A publication Critical patent/CN108628260A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32252Scheduling production, machining, job shop
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Automatic Assembly (AREA)

Abstract

本发明公开了一种基于机器人的多品种工具成套设备及自动装配工艺,属于基于状态感知机器人的自动化生产技术,本发明的由总控系统控制以下子系统协同运转:(1)装配机器人集成系统,由总控系统控制一台组装机器人A用以抓取工具本体至夹具、控制另一台组装机器人B用以将零部件装配到夹具上的工具本体成为手工具;(2)装盒机器人集成系统,由总控系统控制两台装盒机器人将手工具装盒;(3)装箱机器人集成系统,由总控系统控制装箱机器人拾取工具盒,并按序装入纸箱输送带上等待工位的纸箱,进而完成装箱。

Description

基于机器人的多品种工具成套设备及自动装配工艺
技术领域
本发明属于基于状态感知机器人的自动化生产技术,具体涉及一种基于机器人的多品种工具成套设备及自动装配工艺。
背景技术
在产业结构不断优化升级的当今社会,市场对产品精度、质量以及企业对加工的质量、效率等指标的不断提高,单纯地单元装备制造已经不能满足当前市场的需求,在世界范围内各行各业加大成套装备的研究并非偶然。当前,国内外将成套装备的共性技术作为重点开发内容。
成套装备“数字化制造”技术:虚拟制造技术发展很快,国外几家早期从事仿真软件的开发公司已经推出可进入实用的所谓“数字化工厂”(DMF)商品化软件。国外企业已利用这类软件建立起自己的产品制造工艺过程信息化平台,再与本企业的资源管理信息化平台和车身产品设计信息平台结合,构成支持本企业产品完整制造过程生命周期的信息化平台。
成套装备的在线检测及监控技术:利用传感器和机器人技术,实现成套装备的在线检测,确保产品质量,并且实现产品的主动质量控制。利用网络技术,实现生产线的在线监控,确保成套装备安全运行。
成套装备中的模块化及可重构技术:利用设计的模块化和标准化,能够实现不同产品的生产需求以实现该成套装备的多样化加工,节约生产成本,提高生产效率。
在发达国家中,基于状态感知机器人的自动化生产成套装备已成为自动化成套装备的主流及未来的发展方向。国外汽车行业、电子和电器行业、物流与仓储行业等已研发出优质的专用自动生产成套装备并大量投入使用,从而保证了其产品的质量和生产的高效。典型的如大型轿车壳体自动化加工成套装备、大型车体焊装自动化加工成套装备、电子和电器等的柔性自动化加工成套装备、整车及发动机装配自动化加工成套装备、AGV物流与仓储自动化成套装备等,这些加工成套装备的使用大大推动了这些行业的快速发展,提升了制造技术的先进性。
工业机器人领域一直是国内外研究的热门领域,随着工业发展,工业机器人面对更极端的工作环境,更复杂的工作任务,因而也为机器人提出了新的动力。
随着大数据、云计算、移动互联网等新一代信息技术同机器人技术相互融合步伐的进一步加快,人工智能迅猛发展,制造机器人软硬件条件日趋成熟,并且成本不断降低,性能不断提升,自动化装配线的研发生产已经成为现实。
在制造产业领域,目前随着全球制造业自动化转型的趋势愈发明显,我国作为制造业大国,在转型的过程当中对自动加工成套装备的市场需求也大增。根据有关资料透露,我国人口红利优势在2013年开始逐步消失,劳动力人口将在此之后呈现下滑趋势。另外,根据中国仪器仪表协会的统计,2000年国内自动化及自动控制系统的市场容量为22.5亿美元,约187亿元人民币。而到2010年,中国的自动化产品市场规模已达700亿元人民币。“十二五”初,我国自动化装备市场需求已超过1000亿元人民币,以此增速发展,前景广阔。同时,随着国内制造业顺应全球发展潮流,在工业生产过程中加大自动化的投入,对现有单元装备等进行自动化改造,加大了自动加工成套装备的应用范围。因此,随着中国产业结构不断调整升级,制造业的进一步发展,中国的自动加工成套装备市场将会进一步扩大。
从工具加工行业来看,近年来,我国五金工具行业在世界地位的不断提高,我国作为世界五金工具生产大国之一,且逐步成为世界五金工具加工大国和出口大国,目前正以年均逾10%的幅度加速成长,去年出口外汇超过50亿美元。同时,国际市场对我国工具产品的要求也逐步提高,对中国产品的质量、包装、供货期限都会有更高的要求。近年来,中国五金工具企业的装备水平有所提高,进口了大量高端数字化工具制造专用设备。据海关统计,从2010年到2012年上半年,累计进口量接近2400台。进口这些设备的企业中,外商独资、合资企业与中国工具企业大约各占一半。中国拥有近6000家五金工具生产企业,这些装备数量远不能满足市场。对于每年增速发展的工具产品需求以及每年不断提高的产品要求,基于动态感知机器人的手工具自动化成套装备的市场是可观的。
总的来说,目前我国正处各领域产业升级转型阶段,为了更好地适应市场经济发展的需要,提高生产率、产品质量和企业竞争力,改善工人劳动条件,企业对自动加工成套装备的需求自然不断增加。因此,以本项目为平台进而促进我国基于动态感知机器人的手工具自动化成套装备技术发展所具有的市场前景十分宽广。
发明内容
本发明的目的是为了适应市场经济发展的需要,提高生产率、产品质量和企业竞争力,改善工人劳动条件,提供一种基于机器人的多品种工具成套设备及自动装配工艺。
为达到上述目的,本发明的基于机器人的多品种工具成套设备,其特征是包括:
夹具;
装配机器人集成系统,其包括用以抓取工具本体至夹具的第一组装机器人A、用以将零部件装配到夹具上的工具本体成为手工具的第二组装机器人B;
装盒机器人集成系统, 其包括两台将手工具装盒的装盒机器人;
装箱机器人集成系统,其包括用以拾取工具盒并按序装入纸箱输送带上等待工位的纸箱的装箱机器人;
用于控制上述装配机器人集成系统、装盒机器人集成系统、装箱机器人集成系统协同作业的总控系统。
作为本发明成套设备的优选技术手段:所述的第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人均包括视觉识别定位系统、抓取系统;
所述的视觉识别定位系统包括摄像传感系统和机器人控制系统;
所述的摄像传感系统包括视觉图像采集设备、零件特征提取模块、匹配识别模块、摄像机标定模块、三维定位模块;
所述的机器人控制系统包括计算机及控制箱,所述的机器人控制系统用于控制所述抓取系统的实际位置,实现所述的视觉识别定位系统与总控系统之间的通信以及对机器人的控制;
所述的抓取系统为末端执行机械手。
作为本发明成套设备的优选技术手段:所述的视觉图像采集设备为双目摄像机。
作为本发明成套设备的优选技术手段:所述的总控系统为一个PLC控制器。
作为本发明成套设备的优选技术手段:所述的第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人的机械系统包括机械本体和外围结构,所述的机械本体包括静平台、动平台、伺服电机、连杆和手腕部分,所述的外围结构包括管线包及管卡。
作为本发明成套设备的优选技术手段:所述的夹具、第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人沿铝合金架皮带输送线布置。
作为本发明成套设备的优选技术手段:所述的铝合金架皮带输送线包括工具输送线、泡壳输送线、纸卡自动分离机、泡壳自动分离机;沿所述的泡壳输送线布置有高频热封合机。
为达到上述目的,本发明的基于机器人的多品种工具自动装配工艺,其特征是:由总控系统控制以下子系统协同运转:
(1)装配机器人集成系统,由总控系统控制一台组装机器人A用以抓取工具本体至夹具、控制另一台组装机器人B用以将零部件装配到夹具上的工具本体成为手工具;
(2)装盒机器人集成系统, 由总控系统控制两台装盒机器人将手工具装盒;
(3)装箱机器人集成系统,由总控系统控制装箱机器人拾取工具盒,并按序装入纸箱输送带上等待工位的纸箱,进而完成装箱。
本发明成套设备及自动装配工艺不仅可以为众多供应商提供技术支持,更可以指导供应商实现生产工艺、流程的改进,从而有效降低供应商的生产成本,带动价值链上的上游企业的协同创新,同时带动周边企业的发展。
附图说明
图1为本发明基于机器人的多品种工具成套设备的组成示意图;
图2为本发明成套装备多目标耦合优化设计流程图;
图3为本发明专用机器人数字化设计平台的示意图;
图4为本发明转动关节模块属性表示图。
具体实施方式
以下结合说明书附图对本发明做进一步说明。
如图1所示是本发明基于机器人的多品种工具成套设备的组成示意图,其包括:
夹具;
装配机器人集成系统,其包括用以抓取工具本体至夹具的第一组装机器人A、用以将零部件装配到夹具上的工具本体成为手工具的第二组装机器人B;
装盒机器人集成系统, 其包括两台将手工具装盒的装盒机器人;
装箱机器人集成系统,其包括用以拾取工具盒并按序装入纸箱输送带上等待工位的纸箱的装箱机器人;
用于控制上述装配机器人集成系统、装盒机器人集成系统、装箱机器人集成系统协同作业的总控系统。
尤其是,第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人均包括视觉识别定位系统、抓取系统;
视觉识别定位系统包括摄像传感系统和机器人控制系统;
摄像传感系统包括视觉图像采集设备、零件特征提取模块、匹配识别模块、摄像机标定模块、三维定位模块;
机器人控制系统包括计算机及控制箱,机器人控制系统用于控制抓取系统的实际位置,实现视觉识别定位系统与总控系统之间的通信以及对机器人的控制;
抓取系统为末端执行机械手。
视觉图像采集设备为双目摄像机。总控系统为一个PLC控制器。
第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人的机械系统包括机械本体和外围结构,机械本体包括静平台、动平台、伺服电机、连杆和手腕部分,外围结构包括管线包及管卡。
夹具、第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人沿铝合金架皮带输送线布置。铝合金架皮带输送线包括工具输送线、泡壳输送线、纸卡自动分离机、泡壳自动分离机;沿泡壳输送线布置有高频热封合机。
本发明的基于机器人的多品种工具自动装配工艺,是由总控系统控制以下子系统协同运转:
(1)装配机器人集成系统,由总控系统控制一台组装机器人A用以抓取工具本体至夹具、控制另一台组装机器人B用以将零部件装配到夹具上的工具本体成为手工具;
(2)装盒机器人集成系统, 由总控系统控制两台装盒机器人将手工具装盒;
(3)装箱机器人集成系统,由总控系统控制装箱机器人拾取工具盒,并按序装入纸箱输送带上等待工位的纸箱,进而完成装箱。
本发明的第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人通过数字化设计提高机器人设计的效率和效益。
这些专用机器人数字化设计的目标是建立机器人数字化模型,并用计算机来模拟机器人物理实现过程,实现机器人的优化,从而提高机器人设计的效率和效益。数字化设计的本质是物理产品及其过程到计算机世界的映射。实现机器人数字化设计的关键是专用机器人数字化建模、专用机器人数字化设计以及专用机器人数字化分析。
专用机器人数字化建模:即专用机器人模型,支持专用机器人及其所有组成零部件的数字化模型的建立。
专用机器人数字化设计:支持专用机器人形成过程的数字化设计,包括布局设计、结构设计、运行设计等。
专用机器人数字化分析:支持专用机器人形成过程提供数字化分析支持。
专用机器人数字化设计平台主要由视觉识别定位模块、关键部件可重构设计模块、多目标耦合设计优化模块以及加工过程与性能仿真模块等组成,主要包括:
1)专用机器人模块化、标准化、系列化设计。专用机器人可重构设计模块根据单元划分的原则对专用机器人进行结构分析。每一个单元具有其特定的功能,并且具有相对的独立性,实现机器人生产的专业化。一条完整的专用机器人成套装备由数十种近万个零件组成,根据现代产品设计方法学,对专用机器人进行模块化、标准化和系列化分析和规划,是实现专用机器人设计的基础。
2)专用机器人集成化建模和协同变型设计技术。在零件建模的基础上进一步建立专用机器人的集成化模型,以及基于集成化产品模型的横向和纵向协同变型设计技术,将大大提高数字化设计的效率。其中横向协同变型是指相邻两个存在装配关系的模块之间的协同变型,纵向协同变型是指同一模块不同设计阶段的协同。成套装备多目标耦合设计优化模块全面反映工业机器人特性的性能指标,并确定影响各性能指标的参数,以相互耦合的性能指标同时优化为目标,建立多目标优化模型。通过多目标优化问题的求解,研究如何对工业机器人进行设计,使各性能指标得到同时优化,从而提高专用机器人的整体性能。
3)专用机器人成套装备加工过程与性能仿真技术。根据成套装备的设计结果,生成成套装备仿真模型,并对其正运动学和逆运动学问题进行分析。并利用仿真的手段发现设计中存在的问题,从而减少甚至消除设计方案中的错误,对布局设计显得尤为重要。并通过计算机仿真软件来对所提出的运动学模型进行仿真,验证所建立的模型的正确性,同时基于所提出的运动学数学模型,对成套装备加工过程运动轨迹进行模拟研究,提出改进方案,为成套装备研发应用打下基础。
专用机器人数字化设计平台的构建过程中,主要研究CAD/CAE的一体化建模技术。它主要包括数字样机仿真前处理模块、仿真后处理模块和优化设计模块。专用机器人数字化设计平台的开发,对专用机器人的设计研发提供技术支持,专用机器人数字化设计平台如图3所示。
本发明各个位置的机器人具有视觉识别定位能力。高档工具专用机器人关键工位包括:搬运、包装、送件、上料、焊接、加工、装配、打磨等。研究关键工位下视觉信息的高效分析和利用方法,提高所建立环境模型的准确性,降低模型的存储需求,提高机器人自定位精度和在未知环境中的长时间生存能力,实现机器人视觉导航系统并探索动态环境的建模与定位问题,提高建模与定位技术在真实自然环境中的实际应用水平。关键工位机器人视觉识别定位技术主要包括机器人视觉定位与抓取系统硬件技术,机器人手眼视觉系统标定技术,机器人视觉检测及识别技术研究。
1)机器人视觉定位系统与抓取系统的硬件构成
机器人视觉识别定位与抓取系统由机器人末端执行器、双目摄像机、PLC等组成。机器人控制系统协调整体工作。机器人视觉识别定位系统分为摄像传感系统和机器人控制系统两部分。研究摄像传感系统包括视觉图像的采集和零件特征提取、匹配识别、摄像机标定、三维定位等机器视觉算法。研究控制系统包括计算机及控制箱,控制机器人末端的实际位置,实现视觉系统与PLC总控单元之间的通信以及对机器人的控制等。
(1)机器人末端执行器
研究机器人末端执行器即机器人定位抓具,由于高档工具造型复杂且对表面质量要求较高,使用吊具和普通夹具时会出现输送平稳性差、定位精度不高、节拍难以保证、自动化和柔性程度较低等缺点。利用机器人抓具实现工件的选取、搬运、定位、装夹等一系列过程,确保产品质量和生产节拍,提高柔性程度。机器人末端执行器由框架、抓取单元、ATC等组成。
(2)机器人摄像传感系统
研究机器人常用视觉传感器包括电荷耦合元件(Charge Coupled Device,CCD)及附加金属氧化物半导体元(Complementary Metal-Oxide Semiconductor,CMOS)类型的摄像机。CCD 图像传感器具有成像质量高,对光源要求低,信噪比高等优点,一般应用在工业检测或高端的摄像领域;然而其价格高,功耗也高。CMOS 图像传感器的优点是性价比高,成像速度较快,可将信号处理电路与CMOS 图像传感器集成在一个芯片上的,因此常用在手机、网络摄像头上;然而其成像质量却比较低,对光源的要求较高。智能服务型机器人一般工作在室内,环境的光照较差,与CMOS 型图像传感器相比,CCD 图像传感器能够提供更好的成像质量,有利于机器人进行图像处理,本项目采用 CCD图像传感器。
(3)机器人控制系统
研究机器人系统的控制结构,通过PLC来对系统内的所有设备进行控制,其他设备间的通迅也要通过PLC进行。当在不同的工位上对不同工件进行加工的时候,需要调用不同的参数。某一工位上的机器人工作子程序与相应文件的调用都用PLC完成,在工位选择按钮按下之后,PLC向机器人发出工位信号。
(4)机器人手眼视觉系统标定
研究采用视觉传感的方法进行机器人对操作工件位置的定位,主要是根据摄像机所采集的工作区域图像信息以及视觉系统的标定参数最终获得工件的三维世界坐标,从而实现对机械手的正确操作的控制。视觉系统的立体标定是实现从二维图像信息到三维环境的桥梁,图像中每一点的图像坐标位置与空间物体表面相应点之间的几何位置有关,这种对应关系是由成像摄像机的成像模型来决定的,而成像模型的各个参数要通过摄像机标定来确定。
研究手眼视觉配置,采用摄像机将空间三维物体投影到图像平面上,通过计算机对平面信息处理,测定机械手末端与工件之间的相对位置,做出决策使机器人去执行相应的动作,从而实现对机器人末端执行器的反馈控制。
2) 机器人视觉检测及识别技术
研究运动目标检测和识别。运动目标的检测与识别是一个完整的跟踪过程。研究运动目标检测,从视频流中提取目标,确定目标的区域和颜色特征等。研究目标检测静态结果,即前景目标,采用一系列静态的特征描述。
(1)工件目标差分检测
研究差分法的基本原理,将前后两帧图像对应像素点的灰度值相减,在环境亮度变化不大的情况下,若对应像素的灰度值变化小,则景物为静止,若图像区域某处的灰度变化大,则标志区域。利用标记像素区域,实现运动目标在图像中的位置的检测。研究根据目标大小背景亮度的差异对差分图像的不同分割方法。
(2) 工件目标分割
研究图像分割,将图像细分为构成他的子区域或对像。分割程度取决于要解决的问题图像。研究分割算法基于亮度值的两个基本特性:不连续性和相似性。第一类性质的应用途径是基于亮度的不连续变化分割图像,如图像的边缘。第二类的主要用途是依据实现制定的准则将图像分割为相似的区域,如门限处理、区域增长、区域分离和聚合。
在分割目标区域后,即可以提取前景目标的静态特征。研究使用的静态特征包括外接矩形大小、面积、长宽比、中值点位置、颜色投映直方图等。根据具体应用场合这些特征的实际取值情况,可以进行适当的目标验证,以增强目标分割结果的可靠性。
(3)工件目标识别
研究确定运动目标的运动轨迹实现跟踪运动目标,其关键是建立检测所得的静态前景目标和受跟踪的动态运动目标之间的对应关系。这种对应关系的建立可以通过目标特征匹配来实现。一般被选择用于匹配的特征包括那些与物理运动关系密切的特征,如位置、大小以及目标的形状和颜色等。匹配时可以根据各特征的重要性设定不同的权重系数。
本发明实施成套装备关键部件可重构设计技术。成套装备关键部件包括主控制系统、传动系统、机械系统等。成套装备关键部件可重构设计模块研究包括可重构控制体系以及面向对象的可重构模块表达模型两大部分。
1) 成套装备可重构控制体系
传统的成套装备采用集中式控制体系,通常只用一个处理器来完成所有的计算和控制。可重构的特点是具有多个模块的结构体,因此对成套装备的控制就演变成了对模块的控制,通常是简单的控制之间的协调工作。集中式控制体系由于不能同时对多个模块进行控制,因此不能满足可重构的要求。
研究采用分布式控制体系,由主控制系统、电机控制系统、传感器控制系统和云台控制系统组成。当各子控制系统接收到从主控制系统传送来的控制指令后,就独立地完成对模块的控制,同时各子控制系统将成套装备关键部件本体的信息和传感器监测的信息返回给主控制系统,便于主控制系统的统一决策。
研究主控制计算机系统,通过无线数传模块直接和远程计算机系统交互。主控计算机系统采用基于ARM7 系列微处理器和μC/OS-II 的嵌入式实时操作系统,具有处理速度快、功耗低、价格低廉等优点,系统支持多任务管理和任务间的同步与通信,能够对多传感器信息进行实时处理,实现自主控制算法,满足侦察作业的需要。对于电机驱动控制采用ATMEGAl28 单片机系统实现,采用LM629 实现对电机的驱动,实现对直流电机的转速控制和位置控制。传感器的控制和云台的控制分别采用AVR 的单片机系统,实现对传感器数据的接收、传送以及对云台的姿态控制。和主控制系统之间通过串行总线RS-485 连接。控制系统的这种模块化的设计使得各个部分单独控制,方便调试和功能实现。
研究可重构成套装备,根据任务的需求改变其构型能力。可重构能力应该包括机械可重构,硬件可重构和软件可重构。因此,当机械构型发生变化后,其硬件和软件的结构也要发生相应的改变。控制系统软硬件重构的准则是:结构简单,操作方便,控制简单。当成套装备的结构从4节模式变成两个2节模式时,其控制体系也要随之发生变化。每一个成套装备系统都必须有一套完整的控制体系,并且上位机控制软件能够实现对成套装备间关键部件的协调控制。
2 ) 面向对象的成套装备可重构模块表达模型
成套装备可重构模块化是由一套具有标准连接接口的模块组成,这些模块能够根据特定的任务要求而被快速的装配成具有不同运动学参数和动力学行为的构型。研究模块的表达,实现构形设计的基础。如果在模块的表达中提供的信息量少,则构形设计过程中评价成套装备的信息量就少,对成套装备的评价指标也就比较少。
研究面向对象的方法,此方法从系统的组成上把系统进行分解,它把问题分解成为用户可以理解的组成部分。这种对问题进行自然分割,利用类及对象作为基本构造单元,并且用某个属性描述对象的特征,并指定某个属性(或属性组合)作为对象的标识符方法,更接近于人类建立问题域描述模型的思维方式。而基于对象的设计和面向对象的设计是有区别的,面向对象技术在考虑对象的数据封装和数据存取的同时,还考虑对象之间的相互关系和相互作用,而基于对象的设计仅仅考虑对象的数据封装和对数据的存取特性。在此正是利用基于对象设计的这个特点对模块信息进行描述。
研究基于对象技术可以将成套装备可重构模块表达,包括基础模块类、连杆模块类、工具模块类等。每一子类还可以再细分为若干超类。如关节模块可分为如下超类:转动关节、移动关节、虚关节。超类包括若干不同特性的系列模块实例。每个具体对象实例如关节模块包括以下主要属性参数。质量参数:模块质量,模块质心,模块转动惯量;结构参数:最大关节角,最小关节角,齐次变换矩阵;电机及传动参数:电机有效载荷,电机功率,传动减速比;几何尺寸参数:长度、宽度、高度;接口信息:接口类型、配合参数;连接方位管理信息:模块名称、功能描述。就机器人转动关节的某一模块属性及相应参数表示如图4所示。
本发明实施成套装备集成中多目标耦合设计优化。
1)成套装备多目标耦合优化设计系统
成套装备的集成中机械系统设计影响传动系统、控制系统的设计,传动系统设计影响控制系统的设计,同时,控制系统设计又影响机械系统和传动系统设计。但是,在传统成套装备设计流程中,机械系统、传动系统、控制系统的设计依次单独进行,因而上游子系统设计无法兼顾下游子系统设计的设计指标,下游子系统设计也无法兼顾上游子系统设计的设计指标,从而影响了系统整体性能的提高。研究成套装备多目标耦合设计优化系统,将各子系统性能综合起来,组合成一个多目标优化问题的方法,将各子系统设计转变成一个并行的过程,通过多目标优化问题的解决,实现从总体提高成套装备性能的设计目标。成套装备多目标耦合优化系统的总体框架如图2所示。研究性能设计过程包括用户需求获取和分析、建立设计问题描述模型、问题优化设计求解、优化方案分析与评价。
(1)用户性能需求获取与分析。获取用户模糊需求,转换为用技术语言描述的成套装备设计任务书,正确选择设计目标、设计约束和设计变量。
(2)建立成套装备耦合优化设计描述模型。根据获取的用户需求分析结果,建立设计问题的数学模型,并根据前面介绍的方法,建立问题的求解模型。
(3)成套装备性能设计问题的优化求解。
(4)成套装备优化方案的分析与评价。基于虚拟样机等仿真技术对获得的优化方案进行分析与评价,并反馈与用户需求对比分析,以确定是否重新进行设计。
2)成套装备多目标优化设计模型
研究成套装备多目标优化设计建模,构造基于参数驱动的、具有层次网络组合结构的产品树。树中的每个节点在纵向层次上代表产品的系列、整机、部件、零件、特征等,节点之间通过相互关联的设计参数形成有机整体。系列节点由多型号的整机组成产品系列型谱;整机和部件节点由部件节点和零件节点组成,研究利用装配模型描述产品装配关系;零件节点由特征节点组成,研究特征模型(包含工艺设计模型),实现产品造型并面向制造;特征节点是构成产品模型的基本元素,按类型它由形状特征、精度特征、材料特征等组成。在每个节点内部定义了设计所需的输入参数、内部参数和输出参数,节点之间的联系依靠输入、输出参数;在每个节点内部建立相应的性能结构特征模型,即每个节点都对应着一个性能树,每种性能和设计参数存在着对应关系,对不同节点这性能树结构内容有所不同。优化树中感兴趣的性能或零部件等产品,或将产品不同侧面合成为一个整体,既能支持整体寻优也能支持分层、分部和并行寻优。
研究成套装备优化设计建模中的高档工具性能特征模型的建立。研究高档工具性能,实现功能的程度包括时间持续性、经济性、效率、功率、环境友好性等多个方面。研究质量指标(功能参数),即不同的产品可以选择不同的指标表征产品功能实现程度。功能参数的确定要以能够表达用户对该功能需求的各个方面的实现程度。高档工具的性能特征模型包括其功能、功能参数、功能参数值。功能参数从不同的方面描述功能的实现程度,功能参数值是功能实现程度的量化指标。量化所有功能参数值综合,实现体现高档工具质量的综合质量值。
3)成套装备多目标优化设计算法
成套装备多目标优化模型通常由设计变量、目标函数和约束条件组成。设计属性是指实现用户需求的设计要求。设计成套装备多目标优化设计模型,通过优化设计实现多个设计属性的最佳组合,建立与研究成套装备几何学、力学、运动学、动力学以及控制领域,确定存在耦合问题的性能。对于构成耦合关系的性能,研究全面反映其特性的性能指标,确定影响各性能指标的参数。建立以相互耦合的性能指标同时优化为目标,以影响各性能的设计参数为决策变量的多目标优化模型。
研究优化问题向控制问题的转化,为每组设计变量配置控制器,通过控制器对设计参数的调整,使各广义性能指标收敛到零。向所有的控制器输入受控制器调节对象影响的广义性能指标与零的误差值。在控制器中,每一个反馈到其中的性能误差都产生一个控制器调节对象的控制作用,该控制作用由误差及误差相对于控制器调节对象的负偏导数两项的乘积生成,可以使相应的广义性能指标收敛到零。但对于同一个控制器调节对象而言,各误差生成的控制作用往往相互矛盾,采用对误差反馈系数的调整协调各误差控制作用的方法,实现使各广义性能指标同时收敛至零的多目标优化算法。
本发明的成套装备加工过程与性能仿真分析。
建立高档工具加工成套装备样机模型,对模型进行各种动态性能分析,根据分析结果改进设计方案,利用数字化形式代替传统的实物样机实验。运用动态仿真技术可以大大简化机械产品的设计开发过程,大幅缩短产品开发周期,大量减少产品开发成本和费用,明显提高产品的质量和性能,获得最优化和创新的产品。
成套装备动态仿真的研究主要包括成套装备加工过程与性能的运动学和动力学分析,其核心是利用计算机辅助分析技术进行成套装备的运动学和动力学分析,以确定系统及其各个构件在任意时刻的位置、速度、加速度,同时通过求解代数方程组确定引起系统及其各个构件运动所需要的作用力和反作用力。
成套装备关键结构力学分析过程中,研究有限元预处理过程中载荷的加载方法,可以通过给定的载荷分布特征函数和合力的大小,自动计算出圆周面上各节点所受的载荷,对圆周面上的节点集进行散射加载,快速实现有限元处理中不均匀面载荷加载,可有效地提高成套装备仿真分析效率。
研究成套装备装配模型的重构与转换:利用递归算法对装配模型进行深度搜索,获得装配树根,然后利用递归函数获得根的子组件,对每一个子组件重复利用该函数获得其自组件,如此循环下去,直到组件只由一个零件组成,可实现装配模型中的零件遍历。从装配工艺的角度对装配体的层次结构关系进行调整,形成面向装配工艺的装配结构树,实现从装配模型到面向装配规划与仿真的装配模型的转换。
研究装配工艺的交互式规划:包括装配顺序、路径以及移动的规划和验证。装配顺序与路径的规划以人机交互操作来实现。并以可视化方式展示产品的装配工艺过程,提供整个装配实体、指定范围装配元件、单个位姿关键点的装配过程动画。
成套装备机构动力学分析过程中,研究机构模型信息的提取以及零部件约束的自动识别。通过装配关系的提取以及动力学仿真预处理过程中的约束识别,可实现CAD模型到多体动力学仿真模型的快速转换。提取成套装备在ADAMS中的仿真结果,并作为成套装备关键结构的边界条件进行加载,可实现联合动态仿真。
本发明高档工具加工成套装备集成研发。
在高档工具专用机器人数字化设计平台基础上,面向系列化国际化机械工具产品,研发一套专用机器人及根据产品加工需求的相配套的辅助设备,形成一套专用的基于机器人的高档工具产品加工成套装备。
1)基于高档工具专用机器人数字化设计平台的机器人设计
(1)机器人机械系统主要由机械本体和外围结构组成。机械本体主要包括静平台、动平台、伺服电机、连杆和手腕部分。外围结构主要由管线包以及管卡。
(2)采用开放式控制系统框架,基于关节控制结构来定义各关节智能手腕,多个关节智能手腕构成最基础的智能操作群,由这些关节智能手腕一起协作完成机器人的控制任务。可将控制任务分解为环境感知、运动路径规划、轨迹跟踪控制、碰撞检验与避障、关节干涉规避等。
(3)采用力矩前馈控制技术。在机器人系统中普遍存在的问题就是当机器处于高速运行,并运行范围较大时,则出现振动和运行轨迹偏差较大的现象。通过仿真分析,对影响抖动和轨迹偏差的因素进行仿真实现,调整控制参数来实现机器人系统的抖动降低和偏差问题。
(4)采用移动式面板人机交互系统,用于机器人人机交互操作,如点动机器人,示教再现,动态显示和参数调试等,对于现场使用的机器人而言,多个机器人可共享一个面板。
(5)构建的机器人数字化设计制造集成平台,具有与可重构设计、关键结构仿真、数字样机多目标耦合设计优化的接口,对工业机器人的研发提供软件支持。
2)机器人及配套辅助设备的集成
将在专用的机器人数字化设计制造集成平台设计出的机器人,与配套的辅助设备,包括加工前端的料堆举升、材料分离等装置与贯穿于整个加工过程的生产流水线的集成,形成一套完整的基于机器人的高档工具产品加工成套装备,以完成工具产品下料、加工、分拣与包装。
3)机器人成套装备样机试制、调试集成及性能分析
(1)样机试制,基于高档工具专用机器人数字化设计平台,采用开放式控制系统框架,设计制造出高档工具加工专用机器人,该机器人采用力矩前馈控制技术、移动式面板人机交互系统等,可实现产品加工要求。制造出配套的辅助设备,包括加工前端的料堆举升、材料分离等装置和生产流水线。
(2)调试集成,将已设计的专用机器人与其相配套的辅助设备进行集成,并根据成套装备关键部件可重构设计技术,对所需部件进行更换,进行调试、试生产。
(3)性能分析,对样机试生产的高档工具,进行机械性能检测、分析,与传统加工产品效率、质量等进行比较分析,形成该样机生产性能评价体系。
经测试、鉴定,并联四周蜘蛛手工业机器人技术指标如下:
工业机器人轴数:4轴;
工业机器人最大负载:5KG,含机械抓手的重量;
机器人手柄最大工作半径:≥750MM;
工业机器人重复定位精度:≤0.05MM。
传统的手工具装配生产工艺如下:
1)成品工具;2)放入泡壳;3)泡壳放入纸卡;4)纸卡折合盖;5)放入高频机;6)高频机热封合;7)取出封装产品;8)挂孔冲切;9)装箱。上述工具包装过程基本是人工作业完成,自动化装配线完全完全自主完成。
本发明手工具自动化装配线的主要装备如下:
1)工具输送线;2)泡壳输送线;3)纸卡自动分离机;4)机器人抓取纸卡;5)泡壳自动分离机;6)机器人抓取泡壳;7)视觉机器人抓取工具并放入泡壳;8)合盖机器人;9)端取/放入机器人;10)高频机热封合;11)吸取封装产品、放入冲孔机械手。
本发明的关键技术是:
1.由总控系统控制以下子系统协同运转:
(1)装配机器人集成系统,由总控系统控制一台组装机器人A用以抓取工具本体至夹具、控制另一台组装机器人B用以将零部件装配到夹具上的工具本体成为手工具;
(2)装盒机器人集成系统, 由总控系统控制两台装盒机器人将手工具装盒;
(3)装箱机器人集成系统,由总控系统控制装箱机器人拾取工具盒,并按序装入纸箱输送带上等待工位的纸箱,进而完成装箱。
2. 视觉图像采集、处理、识别:由数字摄像机拍摄目标物体并将其转化为图像信号,通过图像采集卡传输给总控室的图像处理部分;对图像进行灰度校正、噪声过滤,去掉这些使图像质量劣化的因素,并对信息微弱的图像进行增强,使图像变得更容易观看或使图像中的有用信息更容易提取;从图像中找出与已知的基准图像相似的目标图像,即识别出物体并确定出它在整幅图像中的位置和方向。
3. 产品图像的显示与距离的测量:通过尺度不变特征转换法或傅里叶描述子法同时实现。
基于状态感知机器人的手工具自动化装配线主要由铝合金架皮带输送线;自动分离机、视觉并联机器人、线性摸着机械手等构成。其主要原材料是:钢材、铝合金、塑料,这些原材料在我国很丰富,也属于常规材料。在产品的生产过程中,原料的采购、产品的制造都十分方便。所以,上游产业为手工具自动化装配线的生产提供了充足的原材料保障。而下游的应用更加广泛,无论在全球五金工具市场,还是在中国的五金工具市场,手动工具都广泛应用于各个行业的维修当中。例如近几年汽车保有量的迅速增加,使得汽车售后市场特别是汽车维修市场日渐升温。据统计,中国的手动工具市场容量正以每年25%以上的增速快速增长,到2020 年,市场容量将达到800亿元。中国手工具制造厂商有数万家的规模,企业的地域分布较为集中,以长三角、珠三角地区为主。

Claims (8)

1.基于机器人的多品种工具成套设备,其特征是包括:
夹具;
装配机器人集成系统,其包括用以抓取工具本体至夹具的第一组装机器人A、用以将零部件装配到夹具上的工具本体成为手工具的第二组装机器人B;
装盒机器人集成系统, 其包括两台将手工具装盒的装盒机器人;
装箱机器人集成系统,其包括用以拾取工具盒并按序装入纸箱输送带上等待工位的纸箱的装箱机器人;
用于控制上述装配机器人集成系统、装盒机器人集成系统、装箱机器人集成系统协同作业的总控系统。
2.根据权利要求1所述的基于机器人的多品种工具成套设备,其特征是:所述的第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人均包括视觉识别定位系统、抓取系统;
所述的视觉识别定位系统包括摄像传感系统和机器人控制系统;
所述的摄像传感系统包括视觉图像采集设备、零件特征提取模块、匹配识别模块、摄像机标定模块、三维定位模块;
所述的机器人控制系统包括计算机及控制箱,所述的机器人控制系统用于控制所述抓取系统的实际位置,实现所述的视觉识别定位系统与总控系统之间的通信以及对机器人的控制;
所述的抓取系统为末端执行机械手。
3.根据权利要求2所述的基于机器人的多品种工具成套设备,其特征是:所述的视觉图像采集设备为双目摄像机。
4.根据权利要求1所述的基于机器人的多品种工具成套设备,其特征是:所述的总控系统为一个PLC控制器。
5.根据权利要求1所述的基于机器人的多品种工具成套设备,其特征是:所述的第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人的机械系统包括机械本体和外围结构,所述的机械本体包括静平台、动平台、伺服电机、连杆和手腕部分,所述的外围结构包括管线包及管卡。
6.根据权利要求1所述的基于机器人的多品种工具成套设备,其特征是:所述的夹具、第一组装机器人A、第二组装机器人B、装盒机器人、装箱机器人沿铝合金架皮带输送线布置。
7.根据权利要求6所述的基于机器人的多品种工具成套设备,其特征是:所述的铝合金架皮带输送线包括工具输送线、泡壳输送线、纸卡自动分离机、泡壳自动分离机;沿所述的泡壳输送线布置有高频热封合机。
8.基于机器人的多品种工具自动装配工艺,其特征是:由总控系统控制以下子系统协同运转:
(1)装配机器人集成系统,由总控系统控制一台组装机器人A用以抓取工具本体至夹具、控制另一台组装机器人B用以将零部件装配到夹具上的工具本体成为手工具;
(2)装盒机器人集成系统, 由总控系统控制两台装盒机器人将手工具装盒;
(3)装箱机器人集成系统,由总控系统控制装箱机器人拾取工具盒,并按序装入纸箱输送带上等待工位的纸箱,进而完成装箱。
CN201710163904.XA 2017-03-20 2017-03-20 基于机器人的多品种工具成套设备及自动装配工艺 Pending CN108628260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710163904.XA CN108628260A (zh) 2017-03-20 2017-03-20 基于机器人的多品种工具成套设备及自动装配工艺

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710163904.XA CN108628260A (zh) 2017-03-20 2017-03-20 基于机器人的多品种工具成套设备及自动装配工艺

Publications (1)

Publication Number Publication Date
CN108628260A true CN108628260A (zh) 2018-10-09

Family

ID=63686520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710163904.XA Pending CN108628260A (zh) 2017-03-20 2017-03-20 基于机器人的多品种工具成套设备及自动装配工艺

Country Status (1)

Country Link
CN (1) CN108628260A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059669A (zh) * 2019-04-29 2019-07-26 四川农业大学 一种基于微处理器的智能割草机人边界识别方法
CN110298066A (zh) * 2019-05-15 2019-10-01 重庆创速工业技术研究院有限公司 一种标准斜楔智能匹配方法
CN111515928A (zh) * 2020-04-15 2020-08-11 上海工程技术大学 机械臂运动控制系统
CN111551184A (zh) * 2020-03-27 2020-08-18 上海大学 一种移动机器人slam的地图优化方法及系统
CN111843981A (zh) * 2019-04-25 2020-10-30 广州中国科学院先进技术研究所 一种多机器人协同装配系统和方法
CN113910269A (zh) * 2021-10-27 2022-01-11 因格(苏州)智能技术有限公司 一种机器人总控系统
CN114055182A (zh) * 2021-12-17 2022-02-18 江西洪都航空工业集团有限责任公司 一种基于托板螺母自动化生产线的电气系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011051061A (ja) * 2009-09-02 2011-03-17 Ihi Corp 回転式部品供給装置
CN103425842A (zh) * 2013-08-20 2013-12-04 天津大学 一种并联机器人快速开发系统及方法
CN205200998U (zh) * 2015-12-01 2016-05-04 长沙长泰机器人有限公司 基于视觉的工件分拣及组装系统
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法
CN106475772A (zh) * 2015-08-25 2017-03-08 杭州巨星科技股份有限公司 基于状态感知机器人的手工具自动化装配工艺

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011051061A (ja) * 2009-09-02 2011-03-17 Ihi Corp 回転式部品供給装置
CN103425842A (zh) * 2013-08-20 2013-12-04 天津大学 一种并联机器人快速开发系统及方法
CN106475772A (zh) * 2015-08-25 2017-03-08 杭州巨星科技股份有限公司 基于状态感知机器人的手工具自动化装配工艺
CN205200998U (zh) * 2015-12-01 2016-05-04 长沙长泰机器人有限公司 基于视觉的工件分拣及组装系统
CN106182004A (zh) * 2016-08-01 2016-12-07 上海交通大学 基于视觉引导的工业机器人自动销孔装配的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐德 等: "《机器人视觉测量与控制》", 31 January 2016, 国防工业出版社 *
李瑞峰: "《工业机器人设计与应用》", 31 January 2017, 哈尔滨工业大学出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111843981A (zh) * 2019-04-25 2020-10-30 广州中国科学院先进技术研究所 一种多机器人协同装配系统和方法
CN110059669A (zh) * 2019-04-29 2019-07-26 四川农业大学 一种基于微处理器的智能割草机人边界识别方法
CN110298066A (zh) * 2019-05-15 2019-10-01 重庆创速工业技术研究院有限公司 一种标准斜楔智能匹配方法
CN110298066B (zh) * 2019-05-15 2023-04-18 成都数模码科技有限公司 一种标准斜楔智能匹配方法
CN111551184A (zh) * 2020-03-27 2020-08-18 上海大学 一种移动机器人slam的地图优化方法及系统
CN111551184B (zh) * 2020-03-27 2021-11-26 上海大学 一种移动机器人slam的地图优化方法及系统
CN111515928A (zh) * 2020-04-15 2020-08-11 上海工程技术大学 机械臂运动控制系统
CN111515928B (zh) * 2020-04-15 2023-03-31 上海工程技术大学 机械臂运动控制系统
CN113910269A (zh) * 2021-10-27 2022-01-11 因格(苏州)智能技术有限公司 一种机器人总控系统
CN114055182A (zh) * 2021-12-17 2022-02-18 江西洪都航空工业集团有限责任公司 一种基于托板螺母自动化生产线的电气系统

Similar Documents

Publication Publication Date Title
CN108628260A (zh) 基于机器人的多品种工具成套设备及自动装配工艺
Zou et al. Virtual manipulator-based binocular stereo vision positioning system and errors modelling
CN105945946B (zh) 一种基于g代码编程的六轴机械手运动控制方法
Leu et al. CAD model based virtual assembly simulation, planning and training
Vezzani et al. A grasping approach based on superquadric models
Barenji et al. A digital twin-driven approach towards smart manufacturing: reduced energy consumption for a robotic cellular
CN109145471B (zh) 基于cad与实测数据共融模型的虚拟装配系统及方法
CN103310058A (zh) 基于三维模型的尺寸链校核方法
CN111736528A (zh) 一种基于视觉纠偏的激光切割自动编程系统
Zhang et al. Deep learning reactive robotic grasping with a versatile vacuum gripper
SE1930157A1 (en) Robot cell configuration system and process
Oyekan et al. Utilising low cost RGB-D cameras to track the real time progress of a manual assembly sequence
Liu et al. A mixed perception-based human-robot collaborative maintenance approach driven by augmented reality and online deep reinforcement learning
Makris et al. Automated assembly of non-rigid objects
Ko et al. A study on manufacturing facility safety system using multimedia tools for cyber physical systems
Wang et al. A novel task-oriented framework for dual-arm robotic assembly task
Hoecherl et al. Smartworkbench: Toward adaptive and transparent user assistance in industrial human-robot applications
CN109773773A (zh) 一种新型六自由度并联平台的主从控制装置、系统及方法
Erdős et al. Visual servo guided cyber-physical robotic assembly cell
Wojtynek et al. InteractiveWorkspace Layout focusing on the reconfiguration with collaborative robots in modular production systems
Wang et al. Combining vision sensing with knowledge database for environmental modeling in dual-arm robot assembly task
Yu et al. ManiPose: A Comprehensive Benchmark for Pose-aware Object Manipulation in Robotics
Lindberget Automatic generation of robot targets: A first step towards a flexible robotic solution for cutting customized mesh tray
Tang The industrial robot is in conjunction with homework and system integration
Wu et al. Production automation and financial cost control based on intelligent control technology in sustainable manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181009