CN115510727B - 一种抓取机构稳定抓持力阈值计算及其控制方法 - Google Patents

一种抓取机构稳定抓持力阈值计算及其控制方法 Download PDF

Info

Publication number
CN115510727B
CN115510727B CN202211420107.2A CN202211420107A CN115510727B CN 115510727 B CN115510727 B CN 115510727B CN 202211420107 A CN202211420107 A CN 202211420107A CN 115510727 B CN115510727 B CN 115510727B
Authority
CN
China
Prior art keywords
grasping
stable
force
target
gripping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211420107.2A
Other languages
English (en)
Other versions
CN115510727A (zh
Inventor
韦慧玲
罗陆锋
卢清华
陈为林
王金海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202211420107.2A priority Critical patent/CN115510727B/zh
Publication of CN115510727A publication Critical patent/CN115510727A/zh
Application granted granted Critical
Publication of CN115510727B publication Critical patent/CN115510727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/23Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种抓取机构稳定抓持力阈值计算及其控制方法,包括步骤进行多样本加载‑卸载试验构建抓持损伤应力数据集并通过有限元仿真修正,建立最小应力模型获得抓持力上限,通过滑觉传感器进行测试后得到抓持力下限,规划抓取机构的运动路径,确定工作空间边界和工作空间区域,预估抓持目标的重量和确定最优抓持位姿,构建抓取机构稳定抓持初始抓持力预估模型,利用强化学习方法构建抓持力闭环反馈自适应控制策略。本发明实现了抓持力的阈值计算和抓持移动时实时调整抓持力以保证抓持目标的损伤在设定的范围内。

Description

一种抓取机构稳定抓持力阈值计算及其控制方法
技术领域
本发明涉及抓取机构稳定抓持力计算及控制技术领域,具体涉及一种抓取机构稳定抓持力阈值计算及其控制方法。
背景技术
抓取机构作业主要是通过稳定抓持目标和精准操作来完成,而实现无损抓取需要综合考虑抓持目标的空间形状、位姿、重量、软硬度、摩擦系数等因素进行稳定抓持,以保证所抓取的目标不滑落、不压损。尤其是针对一些比较柔软的目标对象,比如葡萄、荔枝等水果,由于果串形态复杂、果粒流窜变形及抓持目标娇嫩易损等原因使得抓取过程具有极强的非线性和耦合性,极易因为抓取机构抓持力控制不当导致果粒掉落或压损。因此,要想突破该难题,急需明确抓取机构与抓持目标之间的稳定抓持力阈值。
由于不同抓持目标其空间形状、位姿、重量、软硬度、摩擦系数等几何物理参数各不相同,使得无损抓取过程中抓持力不恒定,抓持力呈现不确定性和非线性,尤其是对于软硬度有变化的抓持目标,比如水果、弱刚度零部件等,其不确定性和非线性特征更显著。而传统方法构建的柔顺恒力夹持模型显然已经不通用于可变抓持目标的自适应稳定抓持控制。为建立精准的抓持目标与抓取机构动态耦合稳定抓持自适应控制策略,须实时感知抓持目标与抓取机构的耦合运动和抓持力变化情况,并实时调整抓持位姿和抓持力实现自适应稳定抓持。因此,设计具有实时智能感知和自适应调整能力的抓取机构控制方法,明确抓取机构不压损抓持目标的稳定抓持力和在线检测抓持目标与抓取机构滑移的临界抓持力,动态调整稳定抓持力大小确保抓持目标不滑落、不压损,是十分必要的。
“机器人柔性抓取试验平台的设计与抓持力跟踪阻抗控制”(王学林等,农业工程学报,2015年,第31卷,第1期,第58-63页)中介绍了为减小机器人在采摘过程中对抓持物的损伤,基于笛卡尔空间末端执行器双指抓持方向,提出了一种双指抓取果蔬的抓持力跟踪阻抗控制方法。但文中将手指力/位控制等效为期望的惯量-阻尼-刚度模型,而固定阻抗模型参数的阻抗控制不能适应水果质量、位置的变化。
发明内容
本发明的目的在于提出一种抓取机构稳定抓持力阈值计算及其控制方法,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
为实现上述技术目的,本发明技术方案如下:
一种抓取机构稳定抓持力阈值计算及其控制方法,所述方法包括以下步骤:
步骤1,进行多样本加载-卸载试验,构建抓持损伤应力数据集σ,进行有限元仿真并利用有限元仿真数据与抓持损伤应力数据集σ的误差修正有限元仿真参数,建立不同稳定抓持力作用下抓持目标损伤的最小应力模型;
步骤2,从最小应力模型得到无损稳定抓持的抓持力上限Fmax
步骤3,在抓持机构上布置阵列压敏薄膜滑觉传感器,得到滑觉信号及压力信息;
步骤4,通过滑觉信号及压力信息对法向接触力及相对滑移趋势实时监测,得到抓持目标不与抓持机构的机械手发生滑移的稳定抓持力作为抓持力下限Fmin
步骤5,规划抓取机构的运动路径;
步骤6,通过枚举法和综合影响系数法确定抓取机构稳定抓持的工作空间边界;
步骤7,设置约束条件,确定稳定抓持工作空间W;
步骤8,实时预估抓持目标的重量和确定最优抓持位姿;
步骤9,依据抓持目标的位姿、重量以及最小损伤应力构建抓取机构稳定抓持初始抓持力预估模型。
进一步地,所述方法还包括以下步骤:
步骤10,利用强化学习方法构建抓持力闭环反馈自适应控制策略,通过强化学习策略对稳定抓持力进行在线学习补偿,使得抓取机构能够在线学习传感信息并实时更新优化模型参数,主动适应抓持目标,实现对不同抓持目标的自适应稳定抓持;
步骤11,通过李雅普诺夫稳定性理论和拉塞尔不变性原理证明抓持力闭环反馈自适应控制策略的稳定性、收敛性和一致连续性。
进一步地,步骤1中,进行多样本加载-卸载试验,构建抓持损伤应力数据集σ,进行有限元仿真并利用有限元仿真数据与抓持损伤应力数据集σ的误差修正有限元仿真参数,建立不同稳定抓持力作用下抓持目标损伤的最小应力模型的子步骤为:
抓取机构进行抓持目标多样本加载-卸载试验,测定不同稳定抓持力作用下抓持目标损伤的应力大小及损伤分布情况,构建抓持损伤应力数据集σ;
进行有限元仿真分析不同稳定抓持力下抓持目标损伤的应力与变形关系,并把有限元数值仿真结果与多样本加载-卸载试验的抓持损伤应力数据集σ进行比较,计算相同稳定抓持力作用下仿真与试验结果的差值;
根据差值修正有限元仿真试验和仿真参数,直到抓持损伤应力数据集σ中的试验结果与有限元仿真结果误差小于设定的阈值;
设置最小残差平方利用SPSS进行非线性回归分析,建立不同稳定抓持力作用下抓持目标损伤的最小应力模型θ(Fmax)min,其中Fmax是抓持目标无损稳定抓持的最大稳定抓持力,θ()min是在相应最大稳定抓持力作用下的抓持目标最小损伤应力。
进一步地,步骤2中,从最小应力模型得到无损稳定抓持的抓持力上限的子步骤为:
测定当前抓持物体的参数,根据获取的参数和最小应力模型θ(Fmax)min确定当前抓持物体的获得最小损伤应力时的抓持力作为抓持力上限Fmax
进一步地,步骤4中,通过滑觉信号对法向接触力及相对滑移趋势实时监测,得到抓持目标不与抓持机构的机械手发生滑移的稳定抓持力作为抓持力下限Fmin的子步骤为:
在抓取机构的手指表面上均匀分布阵列式的压敏薄膜滑觉传感器,使得抓取机构与抓持目标接触能获取滑觉信息以及压力信息;
利用短时傅里叶变换方法对滑觉信息进行频谱特征分析,获取滑觉信号的功率谱;其中,运用离散小波变换实现窗口的长宽变化,进而利用动态时间规划模型来识别法向接触力变化与实际发生的滑动信号,实现对抓取机构与抓持目标之间动态交互作业时的法向接触力及相对滑移趋势的实时监测;
法向接触力为抓取机构与抓持目标不产生滑移的最小稳定抓持力,该最小稳定抓持力作为抓取机构稳定抓持力下限,记为Fmin
进一步地,步骤5中规划抓取机构的运动路径具体为:
深度相机获取工作范围内的所有抓持目标的分布以及周围环境的三维信息,根据三维信息和抓取机构的位姿判断抓持顺序,对抓持目标进行编号,根据抓持目标位置和放置位置之间的距离、环境通过卷积神经网络算法进行运动路径规划。
进一步地,步骤6通过枚举法和综合影响系数法确定抓取机构稳定抓持的工作空间边界具体为:
枚举抓持目标空间形状、重量为影响稳定抓持工作空间的因素,通过设置抓持目标空间形状、重量为影响稳定抓持工作空间的因素、设置两个因素共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,分别确定所述综合影响系数下的稳定抓持工作空间边界,取所有组合的交集作为抓取机构稳定抓持的工作空间边界。
进一步地,步骤7中设置约束条件,确定稳定抓持工作空间W具体为:
设置抓持目标的速度、加速度为约束条件,分别枚举每2个约束条件下为影响稳定抓持工作空间的因素,获取所述2个约束条件共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,分别确定每个约束条件下的稳定抓持工作空间边界,取稳定抓持工作空间边界的交集中的点为稳定抓持所能够到达的工作点,所有稳定抓持能够到达的点集合就是稳定抓持工作空间W。
进一步地,步骤8的实时预估抓持目标的重量和确定最优抓持位姿,子步骤为:
步骤8.1,利用深度相机获取抓持目标及周围环境的三维视觉信息,基于深度卷积神经网络算法实现抓持目标在线识别;
步骤8.2,获得抓持目标点云数据,通过点云估计抓持目标的横向宽度、径向高度、数量几何参数,绘制抓持目标空间形状,通过回归分析建立横向宽度w、径向高度h、数量n与抓持目标重量G之间的函数关系式G=f(w,h,n),通过函数关系式G进行抓持目标重量的在线估计;
步骤8.3,基于所述点云数据绘制抓持目标的空间形状,确定抓持目标的位置和姿态,根据抓取机构的抓持工作空间,利用机构-视觉协同确定最优抓取位姿;
步骤8.4,抓持目标的位姿、重量以及最小损伤应力,通过机器学习方法中的深度卷积神经网络算法构建以视觉检测和力觉感知为反馈的抓取机构稳定抓持初始抓持力预估模型。
与现有技术相比,本发明具有以下有益的技术效果:
本发明对抓取机构稳定抓持力阈值的上下限计算和稳定抓持控制方法进行深入研究。提出了一种基于多样本抓持试验、有限元分析和多传感信息融合的抓取机构稳定抓持力阈值计算方法,用于判断抓取机构在整个工作空间内的抓持稳定性。基于稳定抓持,提出一种基于视觉、力觉和滑觉等多模态传感信息融合的具有在线学习能力的抓取机构稳定抓持自适应控制方法。该发明填补了目前抓取机构稳定抓持力阈值计算及其控制方法的缺陷与不足,奠定了抓取机构无损稳定抓持研究的基础,促进了抓取机构无损稳定抓持变量目标的发展,为抓取机构智能化无损稳定抓持的研究奠定了坚实的基础。
附图说明
图1为本发明提供的一种抓取机构稳定抓持力阈值计算方法的流程图;
图2为本发明提供的一种抓取机构稳定抓持控制方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰,以下结合附图及实施例,对本发明进行进一步详尽说明。此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
同样应理解,以下实施例只用于对本发明进行进一步说明,不能理解为对本发明保护范围的限制,本领域的技术人员根据本发明上述内容做出的一些非本质的改进和调整均属于本发明的保护范围。下述示例具体的工艺参数等也仅是合适范围内的一个示例,即本领域技术人员可以通过本文的说明做合适的范围内选择,而并非要限定于下文示例的具体数值。
以下示例性地说明本发明提供的一种抓取机构稳定抓持力阈值计算及其控制方法。
如图1所示为一种抓取机构稳定抓持力阈值计算及其控制方法中步骤1~4的流程图,下面结合图1来阐述根据本发明的实施方式的一种抓取机构稳定抓持力阈值计算及其控制方法,所述方法包括以下步骤:
一种抓取机构稳定抓持力阈值计算及其控制方法,所述方法包括以下步骤:
步骤1,进行多样本加载-卸载试验,构建抓持损伤应力数据集σ,进行有限元仿真并利用有限元仿真数据与抓持损伤应力数据集σ的误差修正有限元仿真参数,建立最小应力模型;
步骤2,从最小应力模型得到无损稳定抓持的抓持力上限Fmax
步骤3,在抓持机构上布置阵列压敏薄膜滑觉传感器,得到滑觉信号及压力信息;
步骤4,通过滑觉信号及压力信息对法向接触力及相对滑移趋势实时监测,得到抓持目标不与抓持机构的机械手发生滑移的稳定抓持力作为抓持力下限Fmin
进一步地,步骤1的子步骤为:
抓取机构进行抓持目标多样本加载-卸载试验,测定不同稳定抓持力作用下抓持目标损伤的应力大小及损伤分布情况,构建抓持损伤应力数据集σ;
进行有限元仿真分析不同稳定抓持力下抓持目标损伤的应力与变形关系,并把有限元数值仿真结果与多样本加载-卸载试验的抓持损伤应力数据集σ进行比较,计算相同稳定抓持力作用下仿真与试验结果的差值;
根据差值修正有限元仿真试验和仿真参数,直到抓持损伤应力数据集σ中的试验结果与有限元仿真结果误差小于设定的阈值;
设置最小残差平方利用SPSS进行非线性回归分析,建立不同稳定抓持力作用下抓持目标损伤的最小应力模型θ(Fmax)min,其中Fmax是抓持目标无损稳定抓持的最大稳定抓持力,θ()min是在相应最大稳定抓持力作用下的抓持目标最小损伤应力。
多样本加载-卸载试验通过对不同抓持目标加载不同的抓持力并在固定的路径进行抓持和移动,卸载后对抓持目标进行检测,得到形变情况。
最小应力模型θ(Fmax)min记录了不同材质的抓持目标的最小损伤应力与最大稳定抓持力的关系;在一个实施例里,抓取机构应用于采摘绳驱水果,利用FTA水果质地分析仪获取不同稳定抓持力作用下水果果实损伤的应力大小及损伤分布情况,构建果实损伤应力多元数据集σ。
FTA水果质地分析仪可以得到当前抓持水果的硬度,直径和重量,在抓取机构抓持后进行水果质地检测得到硬度和体积变化,从而得到损伤情况。
目标无损指的是在抓持目标完成抓持和移动后,硬度和直径的变化在设定的阈值之内,即水果在被抓持机构移动后的硬度,直径的变化在设定的阈值内,不同的水果设定的阈值不一样。
进一步地,最小应力模型θ(Fmax)min的=aΦ+bG+cΛ+dΓ+eΨ+fΩ,其中a、b、c、d、e、f是多样本加载-卸载试验的统计系数,其大小和正负符号随着抓持目标的改变而改变;Φ、G、Λ、Γ、Ψ、Ω分别是抓持目标的空间位姿、目标重量、成熟度、抓持速度、加速度、抓持力大小。即最小应力模型是空间位姿、目标重量、成熟度、抓持速度、加速度、抓持力大小影响因素的综合加权。
进一步地,步骤2中从最小应力模型得到无损稳定抓持的抓持力上限的子步骤为:
测定当前抓持物体的参数,根据获取的参数和最小应力模型θ(Fmax)min确定当前抓持物体的获得最小损伤应力时的抓持力作为抓持力上限Fmax
进一步地,步骤3在抓持机构上布置阵列压敏薄膜滑觉传感器,得到滑觉信号及压力信息。
步骤4中,通过滑觉信号对法向接触力及相对滑移趋势实时监测,得到抓持目标不与抓持机构的机械手发生滑移的稳定抓持力作为抓持力下限Fmin的子步骤为:
在抓取机构的手指表面上均匀分布阵列式的压敏薄膜滑觉传感器,使得抓取机构与抓持目标接触能获取滑觉信息以及压力信息;
利用短时傅里叶变换方法对滑觉信息进行频谱特征分析:
Figure DEST_PATH_IMAGE002A
其中,Gz是短时傅里叶变换公式、z(u)是压敏薄膜滑觉传感器的信号、g(u-t)是时 间窗口函数、t是时间、j是虚数单位、f是频率,对测定的滑觉信息进行频谱特征分析,获取 滑觉信号的功率谱
Figure DEST_PATH_IMAGE004A
其中FT(ω)是Gz的傅里叶变换,ω是角频率、T是周期。
其中,为了解决短时傅里叶变换的窗口没有适应性问题,运用离散小波变换实现窗口的长宽变化,进而利用动态时间规划模型来识别法向接触力变化与实际发生的滑动信号,实现对抓取机构与抓持目标之间动态交互作业时的法向接触力及相对滑移趋势的实时监测;
法向接触力为抓取机构与抓持目标不产生滑移的最小稳定抓持力,该最小稳定抓持力作为抓取机构稳定抓持力下限,记为Fmin
Fmin和Fmax用于判断抓取机构在整个工作空间内的稳定抓持性能,即抓取机构稳定抓持力大小既不压损抓持目标又不使抓持目标掉落。
以(Fmax+Fmin)/2的值为初始抓持力Finit
优选地,阵列压敏薄膜滑觉传感器为能斯达电子的MF-3216阵列式柔性薄膜压力传感器或MF-6060阵列式柔性薄膜压力传感器,结构如公开号为CN110108395A公开的一种触滑觉传感器及其制备方法中0006段所述。
上述阵列式柔性薄膜压力传感器上布置有阵列式电路,阵列式电路连接以行和列十字交叉的压力感测点,当力作用在压力感测点上时其电阻会发生变化,通过持续检测矩阵中电阻分布是否发生变化来判断抓取的物品有没有相对位移,同时可以输出抓持机构施加在物品的法向压力。
以上抓持力计算方法融合了抓持目标多样本抓持试验、有限元分析和多传感信息,用于判断抓取机构在整个工作空间内的稳定抓持性能,即抓取机构稳定抓持力大小既不压损抓持目标又不使抓持目标掉落。
另一方面,如图2所示为一种抓取机构稳定抓持力阈值计算及其控制方法的步骤5~9的流程图,所述方法包括以下步骤:
步骤5,规划抓取机构的运动路径;
步骤6,通过枚举法和综合影响系数法确定抓取机构稳定抓持的工作空间边界;
步骤7,设置约束条件,确定稳定抓持工作空间W;
步骤8,实时预估抓持目标的重量和确定最优抓持位姿;
步骤9,依据抓持目标的位姿、重量以及最小损伤应力构建抓取机构稳定抓持初始抓持力预估模型;
步骤10,利用强化学习方法构建抓持力闭环反馈自适应控制策略,通过强化学习策略对稳定抓持力进行在线学习补偿,使得抓取机构能够在线学习传感信息并实时更新优化模型参数,主动适应抓持目标,实现对不同抓持目标的自适应稳定抓持;
步骤11,通过李雅普诺夫稳定性理论和拉塞尔不变性原理证明抓持力闭环反馈自适应控制策略的稳定性、收敛性和一致连续性。
进一步地,步骤5中规划抓取机构的运动路径具体为:
深度相机获取工作范围内的所有抓持目标的分布以及周围环境的三维信息,根据三维信息和抓取机构的位姿判断抓持顺序,对抓持目标进行编号,根据抓持目标位置和放置位置之间的距离、环境通过卷积神经网络算法进行运动路径规划。
进一步地,步骤6通过枚举法和综合影响系数法确定抓取机构稳定抓持的工作空间边界具体为:
枚举抓持目标空间形状、重量为影响稳定抓持工作空间的因素,通过设置抓持目标空间形状、重量为影响稳定抓持工作空间的因素、设置两个因素共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,分别确定所述综合影响系数下的稳定抓持工作空间边界,取所有组合的交集作为抓取机构稳定抓持的工作空间边界。
进一步地,步骤7中设置约束条件,确定稳定抓持工作空间W具体为:
设置抓持目标的速度、加速度为约束条件,分别枚举每2个约束条件下为影响稳定抓持工作空间的因素,获取所述2个约束条件共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,分别确定每个约束条件下的稳定抓持工作空间边界,取稳定抓持工作空间边界的交集中的点为稳定抓持所能够到达的工作点,所有稳定抓持能够到达的点集合就是稳定抓持工作空间W。
进一步地,步骤8的实时预估抓持目标的重量和确定最优抓持位姿,子步骤为:
步骤8.1,利用深度相机获取抓持目标及周围环境的三维视觉信息,基于深度卷积神经网络算法实现抓持目标在线识别;
步骤8.2,获得抓持目标点云数据,通过点云估计抓持目标的横向宽度、径向高度、数量几何参数,绘制抓持目标空间形状,通过回归分析建立横向宽度w、径向高度h、数量n与抓持目标重量G之间的函数关系式G=f(w,h,n),通过函数关系式G进行抓持目标重量的在线估计;
步骤8.3,基于所述点云数据绘制抓持目标的空间形状,确定抓持目标的位置和姿态,根据抓取机构的抓持工作空间,利用机构-视觉协同确定最优抓取位姿;
步骤8.4,抓持目标的位姿、重量以及最小损伤应力,通过机器学习方法中的深度卷积神经网络算法构建以视觉检测和力觉感知为反馈的抓取机构稳定抓持初始抓持力预估模型。
在一个实施例里,抓持目标是水果,枚举果枝疏密程度、水果空间形状、果串重量为影响稳定抓持工作空间的因素。通过设置果枝疏密程度D、水果空间形状S、果串重量G为影响稳定抓持工作空间的唯一因素,当果枝疏密程度D从零开始变化到某个临界数值,其他两个参数不变时,通过深度视觉相机扫视出其稳定抓持工作空间的点云,点云轮廓就是其工作空间边界W(D)=[S=常数,G=常数,D∈(0,临界值)],同理获得W(S)和W(G)。设置两个影响因素共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,按照上述方法分别获得工作空间边界W(D、S)、W(D、G)和W(S、G)。设置三个影响因素共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,获得工作空间边界W(D、S、G)。取所有组合的交集作为水果采摘机构稳定抓持的工作空间边界W=W(D)∩W(S)∩W(G)∩W(D、S)∩W(D、G)∩W(S、G)∩W(D、S、G)。
利用果串物理几何参数、抓持激励(速度、加速度)等多重约束条件通过点集理论建立水果采摘机构的稳定抓持工作空间Y:上述已确定果串物理几何参数的工作空间边界W,同样的方法在W中确定抓持激励(速度、加速度)影响下的工作空间边界W(V)和W(A),将两种不同约束条件下的工作空间边界取交集Y=[W(V)∩W(A)]∈W,交集中所有的点都是稳定抓持所能够到达的工作点,所有稳定抓持能够到达的点集合就是稳定抓持工作空间。
通过深度相机获取果串及其周围果梗、枝叶等环境的三维视觉信息,基于深度卷 积神经网络算法实现果串在线识别,提取果串点云数据,通过点云估计果串的横向宽度、径 向高度、果粒数量等几何参数,绘制果串空间形状,通过回归分析建立横向宽度w、径向高度 h、果粒数量n与果串重量G之间的函数关系式
Figure DEST_PATH_IMAGE006
, 实现水果果串重量的在线估计;基于上述点云数据绘制果串的空间形状,确定果串的位置 和姿态,根据采摘机构的稳定工作空间,利用机构-视觉协同确定最优抓取位姿。
抓取机构以初始抓持力Finit对抓持目标动作,根据上述规划好的运动路径和抓取位姿进行移动。
但因为实际抓持的运动路线与抓持目标多样本加载-卸载试验和模拟仿真里的路径不完全一致,比如一串水果(如葡萄)里不同果实有不同的位姿和位置,因此上述步骤获得的Finit并不能使抓持目标在不同的运动路线运动时保持损伤小于设定的阈值,或者不发生相对位移导致水果脱离抓持机构;而且水果在抓持时可能发生形变,因此需要实时调整抓持力,有鉴于此,本发明还提出一种抓取机构实时稳定抓持力的计算以及控制方法,所述方法包括以下步骤:
在抓持机构上设置高速图像采集装置,高速图像采集装置包括高速CCD传感器,能以固定间隔采集抓持目标的图像,采集的图像构成移动图像序列MS,移动图像序列中的图像按时间顺序排序,在抓持机构工作中持续获取图像并加入到移动图像序列末尾;如果阵列压敏薄膜滑觉传感器检测到抓持目标与抓持机构出现相对滑移且位移距离大于第一距离,则开始步骤11。
在一个实施例里,第一距离为5mm或者为阵列压敏薄膜滑觉传感器分辨率的5倍,因为高速摄像采集的图像曝光时间短,因此需要额外的补光以获得曝光合适的图像,因此高速图像采集装置还包括一个补光灯,补光灯与高速CCD传感器同时触发,补光灯能在短时间内运行到最大亮度,补光灯触发后开始抓取图像。
步骤11,如果当前的抓持力小于Fmax则增大抓持力,抓持力的增量可以是抓持机构的抓持力最小控制步进,或者(Fmax-Fmin)/10;增大后的抓持力为Fcur
跳转步骤12~步骤12.3计算STB,如果增大抓持力后抓持力大于Fmax则执行步骤12.4,否则抓持机构继续按照设定的路径继续运动并记录当前抓持力对应的STB。
步骤12,从采集的图像中提取当前抓持目标的轮廓和抓持机构与抓持目标接触的点记为P1,P2;
其中,点P1和P2限定在抓持目标的轮廓上,如果机械机构与抓持目标接触的点不在抓持目标的轮廓上则取机械机构与抓持目标接触的点距离当前抓持目标的轮廓最接近的点为P1和P2。
步骤12.1,取P1和P2的中点为O1,经过点O1在P1和P2构成的线的垂直方向做直线L2,L2经过抓持目标的轮廓的点记为P3,P4;记P1和P2构成的线段为L1,记P3和P4的构成的线段为L4;使P1,P2,P3和P4构成的区域为A1;
步骤12.2,计算在抓持机构开始抓持后至抓持力达到Fmax前获得的图像中A1面积的最大值为A0,线段L1长度的平均值是L1avg,线段L4长度的平均值是L4avg
移动图像序列MS中最新的一个图像的A1为Ac,线段L1的长度是L1cur,线段L4的长度是L4cur
步骤12.3,计算抓持稳定值STB:
Figure DEST_PATH_IMAGE008
式中,exp()为以自然对数为底的指数函数,Fcur为当前的抓持力即步骤11里增大后的抓持力为Fcur,abs()为取绝对值,ln()为以自然对数为底的对数函数,STB指施加给定抓持力时,根据采集的图像获得的抓持稳定值;
步骤12.4,记施加的抓持力大于Fmax后的首次得到图像中计算的抓持稳定值为STB1,施加的抓持力大于Fmax前的最后一次得到图像中计算的抓持稳定值为STB0,如果STB1≥STB0且(L4cur-L4avg)-(L1cur-L1avg)>0则调整抓持力为Fmax,跳转步骤12.5;否则抓持机构继续根据设定路径运行并跳转步骤11;
步骤12.5,如果调整抓持力为Fmax后抓持机构与抓持目标检测到相对滑动则停止抓持并发出错误信息;否则保持抓持力为Fmax后抓持机构继续根据设定路径运行并跳转步骤11。
因为水果在施加抓持力后会发生形变,但形变的幅度在不同方向并不一样,如果达到最大抓持力后水果能保持稳定则保持当前抓持力,如果不能稳定则保持Fmax再次测量,如果不稳定则退出抓持移动。通过测量水果的外围轮廓个对向长度,面积得到当前抓持力下水果是否稳定从而实时调整抓持力。抓持稳定值是一个当前抓持力下水果是否稳定从而实时调整抓持力时能够稳定的指标性系数,能够很好的指示出抓持力是否需要调整从而适应性的调整机械臂的稳定性,保障了抓持时的动态稳定性和抓持控制的鲁棒性。
优选地,其中,本发明中所有未定义的变量,若未有明确定义,均可为人工设置的阈值。
所述基于一种抓取机构稳定抓持力阈值计算及其控制系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端服务器等计算设备中。所述一种抓取机构稳定抓持力阈值计算及其控制系统,可运行的系统可包括,但不仅限于,处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种抓取机构稳定抓持力阈值计算及其控制系统运行系统的控制中心,利用各种接口和线路连接整个一种抓取机构稳定抓持力阈值计算及其控制系统可运行系统的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种抓取机构稳定抓持力阈值计算及其控制系统的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,从而有效地涵盖本发明的预定范围。此外,上文以发明人可预见的实施例对本发明进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,所述方法包括以下步骤:
步骤1,进行多样本加载-卸载试验,构建抓持损伤应力数据集σ,进行有限元仿真并利用有限元仿真数据与抓持损伤应力数据集σ的误差修正有限元仿真参数,建立不同稳定抓持力作用下抓持目标损伤的最小应力模型;
步骤2,从最小应力模型得到无损稳定抓持的抓持力上限Fmax
步骤3,在抓持机构上布置阵列压敏薄膜滑觉传感器,得到滑觉信号及压力信息;
步骤4,通过滑觉信号及压力信息对法向接触力及相对滑移趋势实时监测,得到抓持目标不与抓持机构的机械手发生滑移的稳定抓持力作为抓持力下限Fmin
步骤5,规划抓取机构的运动路径;
步骤6,通过枚举法和综合影响系数法确定抓取机构稳定抓持的工作空间边界;
步骤7,设置约束条件,确定稳定抓持工作空间W;
步骤8,实时预估抓持目标的重量和确定最优抓持位姿;
步骤9,依据抓持目标的位姿、重量以及最小损伤应力构建抓取机构稳定抓持初始抓持力预估模型。
2.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,步骤1中,进行多样本加载-卸载试验,构建抓持损伤应力数据集σ,进行有限元仿真并利用有限元仿真数据与抓持损伤应力数据集σ的误差修正有限元仿真参数,建立不同稳定抓持力作用下抓持目标损伤的最小应力模型的子步骤为:
抓取机构进行抓持目标多样本加载-卸载试验,测定不同稳定抓持力作用下抓持目标损伤的应力大小及损伤分布情况,构建抓持损伤应力数据集σ;
进行有限元仿真分析不同稳定抓持力下抓持目标损伤的应力与变形关系,并把有限元数值仿真结果与多样本加载-卸载试验的抓持损伤应力数据集σ进行比较,计算相同稳定抓持力作用下仿真与试验结果的差值;
根据差值修正有限元仿真试验和仿真参数,直到抓持损伤应力数据集σ中的试验结果与有限元仿真结果误差小于设定的阈值;
设置最小残差平方利用SPSS进行非线性回归分析,建立不同稳定抓持力作用下抓持目标损伤的最小应力模型θ(Fmax)min,其中Fmax是抓持目标无损稳定抓持的最大稳定抓持力,θ()min是在相应最大稳定抓持力作用下的抓持目标最小损伤应力。
3.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,步骤2中,从最小应力模型得到无损稳定抓持的抓持力上限的子步骤为:
测定当前抓持物体的参数,根据获取的参数和最小应力模型θ(Fmax)min确定当前抓持物体的获得最小损伤应力时的抓持力作为抓持力上限Fmax
4.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,步骤4中,通过滑觉信号对法向接触力及相对滑移趋势实时监测,得到抓持目标不与抓持机构的机械手发生滑移的稳定抓持力作为抓持力下限Fmin的子步骤为:
在抓取机构的手指表面上均匀分布阵列式的压敏薄膜滑觉传感器,使得抓取机构与抓持目标接触能获取滑觉信息以及压力信息;
利用短时傅里叶变换方法对滑觉信息进行频谱特征分析,获取滑觉信号的功率谱;其中,运用离散小波变换实现窗口的长宽变化,进而利用动态时间规划模型来识别法向接触力变化与实际发生的滑动信号,实现对抓取机构与抓持目标之间动态交互作业时的法向接触力及相对滑移趋势的实时监测;
法向接触力为抓取机构与抓持目标不产生滑移的最小稳定抓持力,该最小稳定抓持力作为抓取机构稳定抓持力下限,记为Fmin
5.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,所述方法还包括以下步骤:
步骤10,利用强化学习方法构建抓持力闭环反馈自适应控制策略,通过强化学习策略对稳定抓持力进行在线学习补偿,使得抓取机构能够在线学习传感信息并实时更新优化模型参数,主动适应抓持目标,实现对不同抓持目标的自适应稳定抓持;
步骤11,通过李雅普诺夫稳定性理论和拉塞尔不变性原理证明抓持力闭环反馈自适应控制策略的稳定性、收敛性和一致连续性。
6.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,步骤5中规划抓取机构的运动路径具体为:
深度相机获取工作范围内的所有抓持目标的分布以及周围环境的三维信息,根据三维信息和抓取机构的位姿判断抓持顺序,对抓持目标进行编号,根据抓持目标位置和放置位置之间的距离、环境通过卷积神经网络算法进行运动路径规划。
7.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,步骤6通过枚举法和综合影响系数法确定抓取机构稳定抓持的工作空间边界具体为:
枚举抓持目标空间形状、重量为影响稳定抓持工作空间的因素,通过设置抓持目标空间形状、重量为影响稳定抓持工作空间的因素、设置两个因素共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,分别确定所述综合影响系数下的稳定抓持工作空间边界,取所有组合的交集作为抓取机构稳定抓持的工作空间边界。
8.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,步骤7中设置约束条件,确定稳定抓持工作空间W具体为:
设置抓持目标的速度、加速度为约束条件,分别枚举每2个约束条件下为影响稳定抓持工作空间的因素,获取所述2个约束条件共同作用的排列组合作为影响稳定抓持工作空间的综合影响系数,分别确定每个约束条件下的稳定抓持工作空间边界,取稳定抓持工作空间边界的交集中的点为稳定抓持所能够到达的工作点,所有稳定抓持能够到达的点集合就是稳定抓持工作空间W。
9.根据权利要求1所述的一种抓取机构稳定抓持力阈值计算及控制方法,其特征在于,步骤8的实时预估抓持目标的重量和确定最优抓持位姿,子步骤为:
步骤8.1,利用深度相机获取抓持目标及周围环境的三维视觉信息,基于深度卷积神经网络算法实现抓持目标在线识别;
步骤8.2,获得抓持目标点云数据,通过点云估计抓持目标的横向宽度、径向高度、数量几何参数,绘制抓持目标空间形状,通过回归分析建立横向宽度w、径向高度h、数量n与抓持目标重量G之间的函数关系式G=f(w,h,n),通过函数关系式G进行抓持目标重量的在线估计;
步骤8.3,基于所述点云数据绘制抓持目标的空间形状,确定抓持目标的位置和姿态,根据抓取机构的抓持工作空间,利用机构-视觉协同确定最优抓取位姿;
步骤8.4,抓持目标的位姿、重量以及最小损伤应力,通过机器学习方法中的深度卷积神经网络算法构建以视觉检测和力觉感知为反馈的抓取机构稳定抓持初始抓持力预估模型。
CN202211420107.2A 2022-11-15 2022-11-15 一种抓取机构稳定抓持力阈值计算及其控制方法 Active CN115510727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211420107.2A CN115510727B (zh) 2022-11-15 2022-11-15 一种抓取机构稳定抓持力阈值计算及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211420107.2A CN115510727B (zh) 2022-11-15 2022-11-15 一种抓取机构稳定抓持力阈值计算及其控制方法

Publications (2)

Publication Number Publication Date
CN115510727A CN115510727A (zh) 2022-12-23
CN115510727B true CN115510727B (zh) 2023-03-24

Family

ID=84513538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211420107.2A Active CN115510727B (zh) 2022-11-15 2022-11-15 一种抓取机构稳定抓持力阈值计算及其控制方法

Country Status (1)

Country Link
CN (1) CN115510727B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503420B (zh) * 2023-04-26 2024-05-14 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN117549338B (zh) * 2024-01-09 2024-03-29 北京李尔现代坦迪斯汽车系统有限公司 一种用于汽车坐垫生产车间的抓取机器人
CN118544365B (zh) * 2024-07-26 2024-10-08 珠海市可为精密机械有限公司 一种工件自动转换的机械手柔性抓取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125653A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp ロボットハンドの把持制御装置
CN112720467A (zh) * 2020-12-17 2021-04-30 大连理工大学 五指机械手仿人抓取有限元建模与分析方法
WO2022208384A1 (en) * 2021-03-31 2022-10-06 Camozzi Automation S.p.A. Method for controlling a gripper

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228871B2 (ja) * 2002-10-29 2009-02-25 パナソニック株式会社 ロボット把持制御装置及びロボット把持制御方法
JP4211701B2 (ja) * 2004-07-21 2009-01-21 トヨタ自動車株式会社 ロボットハンドの把持制御装置
AT11337U1 (de) * 2009-02-26 2010-08-15 Ih Tech Sondermaschb U Instand Verfahren und vorrichtung zum robotergesteuerten greifen und bewegen von objekten
CN105773617B (zh) * 2016-04-15 2017-10-03 哈尔滨工业大学 空间机器人的三指式抓持器碰撞预测方法
CN108381509B (zh) * 2018-03-19 2021-03-02 京东方科技集团股份有限公司 智能抓取装置及其控制方法、智能抓取控制系统
US11654564B2 (en) * 2020-09-10 2023-05-23 Fanuc Corporation Efficient data generation for grasp learning with general grippers
CN112884825B (zh) * 2021-03-19 2022-11-04 清华大学 基于深度学习模型的抓取方法及装置
US20220361291A1 (en) * 2021-05-06 2022-11-10 Dupont Electronics, Inc. Moveable gripper for gripping a container and heating contents of the container through dynamically controlled thermal contact and heat settings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125653A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp ロボットハンドの把持制御装置
CN112720467A (zh) * 2020-12-17 2021-04-30 大连理工大学 五指机械手仿人抓取有限元建模与分析方法
WO2022208384A1 (en) * 2021-03-31 2022-10-06 Camozzi Automation S.p.A. Method for controlling a gripper

Also Published As

Publication number Publication date
CN115510727A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN115510727B (zh) 一种抓取机构稳定抓持力阈值计算及其控制方法
Guo et al. Robotic grasping using visual and tactile sensing
Chebotar et al. Self-supervised regrasping using spatio-temporal tactile features and reinforcement learning
EP2629939B1 (en) Method for the filtering of target object images in a robot system
EP4037878B1 (en) Systems and methods for determining pose of objects held by flexible end effectors
US9118823B2 (en) Image generation apparatus, image generation method and storage medium for generating a target image based on a difference between a grip-state image and a non-grip-state image
Cui et al. Grasp state assessment of deformable objects using visual-tactile fusion perception
Cretu et al. Soft object deformation monitoring and learning for model-based robotic hand manipulation
US10864630B2 (en) Control device and machine learning device
JP6811465B2 (ja) 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム
Zhang et al. Fruit classification utilizing a robotic gripper with integrated sensors and adaptive grasping
CN113125440B (zh) 物件的瑕疵判断方法及装置
CN113500017A (zh) 一种面向非结构化场景下物料分拣的智能系统和方法
CN116968022B (zh) 一种基于视觉引导的机械臂抓取目标物体方法及系统
CN115319739A (zh) 一种基于视觉机械臂抓取工件方法
CN112197676A (zh) 物体表面信息的获取方法、装置、计算机设备和存储介质
Zhang et al. Big-Net: Deep learning for grasping with a bio-inspired soft gripper
Ford et al. Tactile-driven gentle grasping for human-robot collaborative tasks
CN110728222A (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
CN117621145B (zh) 一种基于fpga的水果成熟度检测柔性机械臂系统
CN117681211B (zh) 基于深度学习的二指欠驱动机械手爪抓取位姿检测方法
CN115601537A (zh) 手术针关键点的定位方法、医疗系统及介质
CN117773952A (zh) 仿生手控制方法、存储介质、控制装置和仿生手
CN118650626A (zh) 机械臂抓取物的质量检测方法、系统、设备及存储介质
CN118552616A (zh) 机械臂末端位姿确定方法、装置、设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No.33 Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee after: Foshan University

Country or region after: China

Address before: No.33 Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University

Country or region before: China

CP03 Change of name, title or address