CN113927582A - 配置临摹功能的机器人系统、方法、机械臂和存储介质 - Google Patents

配置临摹功能的机器人系统、方法、机械臂和存储介质 Download PDF

Info

Publication number
CN113927582A
CN113927582A CN202111234082.2A CN202111234082A CN113927582A CN 113927582 A CN113927582 A CN 113927582A CN 202111234082 A CN202111234082 A CN 202111234082A CN 113927582 A CN113927582 A CN 113927582A
Authority
CN
China
Prior art keywords
writing
track
robot
teaching
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111234082.2A
Other languages
English (en)
Inventor
蔡同彪
郎需林
林炯辉
刘主福
刘培超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuejiang Technology Co Ltd
Original Assignee
Shenzhen Yuejiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuejiang Technology Co Ltd filed Critical Shenzhen Yuejiang Technology Co Ltd
Publication of CN113927582A publication Critical patent/CN113927582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/06Programme-controlled manipulators characterised by multi-articulated arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Abstract

本申请提出一种配置临摹功能的机器人系统、方法、机械臂和存储介质。其中,机器人系统包括:机器人和书写轨迹采集装置;书写轨迹采集装置包括图像采集部和书写示教笔;机器人包括至少四个关节、书写装置、以及驱动控制部,驱动控制部配置有书法临摹功能;书法临摹功能包括:获取书写示教笔的书写示教轨迹;将书写示教轨迹转换为书写复现轨迹;根据书写复现轨迹生成机器人运动控制指令并驱动机器人运动,从而带动书写装置运动复现书写示教轨迹。本申请的机器人系统能够适应各种应用场景,尤其是像书法、绘画、死角位置的焊接等等场景具有显著的优势,降低了机器人临摹功能的局限性。

Description

配置临摹功能的机器人系统、方法、机械臂和存储介质
技术领域
本发明涉及机器人控制技术领域,尤其是涉及一种配置临摹功能的机器人系统、方法、机械臂和存储介质。
背景技术
目前的机器人示教的方案有编程方法、直接拖动和遥控进行示教这几种,当这些方法应用在一些特殊的场景下,比如书法示教、绘画示教等非常规的、最好由人手动示教并对灵活度有较高的要求的场景时,编程示教方法门槛太高,而直接拖动机械臂示教和遥控示教都很难准确顺畅地完成示教过程,这就造成了现有的机器人在临摹功能的应用上的局限性。
发明内容
本申请提供了配置临摹功能的机器人系统,以解决现有的机器人的临摹功能应用较局限的问题。
具体地,本发明提出一种配置临摹功能的机器人系统,该机器人系统包括:机器人和书写轨迹采集装置,机器人和书写轨迹采集装置通信连接;
机器人包括至少四个关节、设置于末端关节的书写装置、以及用于控制各关节运动的驱动控制部,驱动控制部配置有书法临摹功能;
书写轨迹采集装置包括图像采集部和书写示教笔,图像采集部能够采集书写示教笔的书写示教轨迹;
其中,书法临摹功能包括:
获取书写示教笔的书写示教轨迹;
将书写示教轨迹转换为书写复现轨迹;
根据书写复现轨迹生成机器人运动控制指令并驱动机器人运动,从而带动书写装置运动复现书写示教轨迹。
其中,书写示教轨迹包括若干个连续的示教轨迹点,示教轨迹点具有位置坐标以及与位置坐标对应的姿态角度。
其中,将书写示教轨迹转换为书写复现轨迹,包括:
确定书写示教轨迹与书写复现轨迹的坐标转换关系;
根据坐标转换关系,将书写示教轨迹中的每个示教轨迹点的位置坐标和姿态角度,转换为若干个复现轨迹点的复现位置坐标和复现姿态角度;
将若干个复现轨迹点拟合生成书写复现轨迹。
其中,将若干个复现轨迹点拟合生成书写复现轨迹包括:
对若干个复现轨迹点进行滤波降噪处理;
采用分段三次样条曲线对降噪后的若干个复现轨迹点进行拟合,得到二阶连续的书写复现轨迹。其中,书法临摹功能还包括:
根据机器人的运动控制周期及图像采集部的采集频率计算插补频率,
根据插补频率对书写示教轨迹中示教轨迹点进行插补;
或,
根据机器人的运动控制周期及图像采集部的采集频率计算插补频率,
根据插补频率对书写复现轨迹中的复现轨迹点进行插补。
本申请还提出一种机器人临摹方法,该方法包括:
获取书写示教轨迹;
将书写示教轨迹转换为书写复现轨迹;
根据书写复现轨迹生成机器人运动控制指令,机器人运动控制指令能够控制机器人末端带动书写装置复现书写示教轨迹。
其中,书写示教轨迹包括若干个连续的示教轨迹点,示教轨迹点包括位置坐标以及与位置坐标对应的姿态角度。
其中,将书写示教轨迹转换为书写复现轨迹,包括:
确定书写示教轨迹与书写复现轨迹的坐标转换关系;
根据坐标转换关系,将书写示教轨迹中的每个示教轨迹点的位置坐标和姿态角度,转换为若干个复现轨迹点的复现位置坐标和复现姿态角度;
将若干个复现轨迹点拟合生成书写复现轨迹。
其中,将若干个复现轨迹点拟合生成书写复现轨迹包括:
对若干个复现轨迹点进行滤波降噪处理;
采用分段三次样条曲线对降噪后的若干个复现轨迹点进行拟合,得到二阶连续的书写复现轨迹。其中,机器人临摹方法还包括:
根据机器人的运动控制周期及图像采集部的采集频率计算插补频率,
根据插补频率对书写示教轨迹中示教轨迹点进行插补;
根据机器人的运动控制周期及图像采集部的采集频率计算插补频率,
根据插补频率对书写复现轨迹中的复现轨迹点进行插补。
本申请还提出一种机械臂,该机械臂包括:至少四个关节、设置于末端关节的书写装置、以及用于控制各关节运动的驱动控制部,机械臂能够执行前述机器人临摹方法。
本申请还提出一种存储介质,存储介质存储有计算机可读指令,该计算机可读指令被处理器执行时使得处理器执行前述的机器人临摹方法。
本申请的配置临摹功能的机器人系统中,书写示教笔独立于机器人,不受机械臂约束,也非常容易操作;机器人获取由图像采集部采集的书写示教轨迹之后,根据该书写示教轨迹转换为书写复现轨迹,再根据该书写复现轨迹就能生成用于驱动各关节运动以使设置于末端关节的书写装置能够复现书写示教轨迹的运动控制指令。该过程中,只需要操作员简单的执笔示教,其动作不会受到机械臂的限制,因而能够非常便捷且灵活流畅地完成示教动作,同时机器人同样能够复现示教轨迹,这就使得本配置有临摹功能的机器人系统能够适应各种应用场景,尤其是像书法、绘画、死角位置的焊接等等场景具有显著的优势,降低了机器人临摹功能的局限性。
附图说明
图1是本发明一实施例中的配置临摹功能的机器人系统的结构示意图;
图2是本发明一实施例中的配置临摹功能的机器人系统的功能模块示意图;
图3是本发明一实施例中的书写示教笔的结构示意图;
图4是本发明一实施例中的机器人临摹方法的流程示意图;
图5是图4中步骤S200的详细流程图;
图6是本发明一实施例中的机器人临摹方法的流程示意图。
附图标记:
书写示教笔100,笔杆101,标记球102,连接杆103,笔尖104,图像采集部200,驱动控制部300,处理器301,关节驱动器302,伺服电机303,书写装置400,机械人关节500,示教平台600。
具体实施方式
需要说明的是,在结构或功能不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面根据实例来详细说明本发明。
参阅图1,图1是本发明一实施例中的配置临摹功能的机器人系统示意图,在本实施中,该配置临摹功能的机器人系统包括:机器人和书写轨迹采集装置,机器人和书写轨迹采集装置通信连接;
机器人包括至少四个关节500、设置于末端关节500的书写装置400、以及用于控制各关节500运动的驱动控制部300,驱动控制部300配置有书法临摹功能;
书写轨迹采集装置包括图像采集部200和书写示教笔100,图像采集部200能够采集书写示教笔100的书写示教轨迹。
书法临摹功能包括:
获取书写示教笔100的书写示教轨迹;
将书写示教轨迹转换为书写复现轨迹;
根据书写复现轨迹生成机器人运动控制指令并驱动机器人运动,从而带动书写装置400运动复现书写示教轨迹。
在本实施例中,书写示教笔100独立于机器人,不受机械臂(如附图1中500)限制;机器人获取由图像采集部200采集的书写示教轨迹之后,根据该书写示教轨迹转换为书写复现轨迹,并根据该书写复现轨迹生成用于驱动各关节500运动以使设置于末端关节500的书写装置400能够复现书写示教轨迹的运动控制指令。该过程中,只需要操作员简单的执笔示教,其动作不会受到机械臂的限制,因而能够非常便捷且灵活流畅地完成示教动作,同时机器人同样能够复现示教轨迹,这就使得本配置有临摹功能的机器人系统能够适应各种应用场景,尤其是像书法、绘画、死角位置的焊接等等场景具有显著的优势,再加上对操作员的示教动作要求低,因而降低了机器人临摹功能的应用局限性。
在一些实施例中,机器人为至少四个关节机械臂或包括一个至少四个关节的机械臂的机器人。
在一些实施例中,关节指机械臂的运动关节,一个运动关节通常代表一个方向上的自由度或可以理解为,每具备一个关节,机械臂就会获得一个自由度或一个可以转动的方向。
在本实施例中,机器人包括现今常见的四轴协作机器人、六轴协作机器人等类型,也同样适用于满足条件的其他类型的机器人,它包含至少四个关节,比如从底座至末端依次连接的首端关节、中间若干关节和末端关节,其中末端关节能够旋转作业。在现有技术的限制下,本实施例优选协作六轴机器人以实现书法临摹功能,当然本实施例的书法临摹功能也同样适用于未来具有更高自由度的多轴机器人,比如机器人具有5个、6个、7个或者8个关节,而且可以预知会达到更好的效果。
在本实施例中,设置于末端关节500的书写装置400,指的是能够复现书写轨迹的工具,该工具与书写示教笔100选用为同一类,比如都是笔具,也可以为其他能够同样复现轨迹的物体,比如具有软性尖端的笔具比如毛笔、具有硬性尖端的笔具比如铅笔、能够留下颜料的工具如喷枪、能够刻下划痕的工具如刻刀等,并不仅限于常规的笔具。书写装置400可拆卸地安装于末端关节500,机械臂各关节500在驱动控制部300的驱动控制下按运动控制指令运动,书写装置400则随末端关节500的运动而复现书写示教轨迹。
请参阅图3,图3是本发明一实施例中的书写示教笔的结构示意图,在本实施例中,书写轨迹采集装置的图像采集部200包括至少两个红外摄像头和图像处理器,与书写装置400同理的,书写示教笔100也可选用为笔具、喷枪、刻刀,甚至胶管、焊枪等其他作业工具。作为一个实施例,书写示教笔100的结构可以为:包括笔杆101和多个标记球102,各标记球102分别通过连接杆103相对固定于笔杆101。其中标记球102至少为3个,各连接杆103错落布置,每三个标记球102不共线,每四个标记球102不同面,因此采用书写示教笔100示教时,书写示教笔100的至少三个标记球102能够被红外摄像头采集到。标记球102的表面涂覆了反光材料,用以被红外摄像头捕捉位置。图1和图3示出一种书写示教笔100的实施方式,标记球102为4个,其中3个标记球102分别沿笔杆101的周向均匀分布,另1个标记球102位于笔杆101顶部并与笔杆101同轴,如此,可有效避免其中一个标记球102在笔杆101摆动和移动过程中被障碍物如人手遮挡,使红外摄像头可以采集到至少3个标记球102的图像。由于标记球102任意3个都不处于同一平面,即处于三维空间内,红外摄像头通过多次采集3个标记球102的位置数据并利用现有的算法可以计算出书写示教笔100的笔尖104在红外摄像头坐标系下的示教坐标(Xcam,Ycam,Zcam),且能获取到书写示教笔100的笔尖104在某一时刻的姿态即示教姿态,其中示教坐标为X、Y、Z轴形成的三维坐标,而示教姿态则是书写示教笔100的笔杆101按设定顺序依次绕固定参考坐标系(一般以位置坐标所在的坐标系为固定参考坐标系,比如示教姿态可以图像采集部坐标系为固定参考坐标系,或者复现轨迹点的复现姿态可以机器人坐标系为固定参考坐标系)的各个轴旋转的旋转角,示教姿态的描述方法有多种,比如采用欧拉角、固定角、D-H法或绕定轴旋转等,本实施例采用X-Y-Z固定角来表示,即书写示教笔100的笔杆101处在不同的倾斜状态时,它相对固定参考坐标系的XYZ三个轴的旋转角不同从而形成不同的示教姿态(Rxcam,Rycam,Rzcam)。所谓书写示教轨迹,即红外摄像头在示教过程中的不同时间点采集的书写示教笔100的示教坐标(和示教姿态)按时间串联形成的轨迹点集合。
请参阅图2,图2是本发明一实施例中的配置临摹功能的机器人系统的功能模块示意图,在本实施例中,机器人的驱动控制部300至少包括处理器301、关节驱动器302和伺服电机303,其中处理器301作为机器人的数据处理中心,它能够与书写轨迹采集装置中的图像采集部200通信连接,接收并处理来自图像采集装置的数据并生成控制指令,关节驱动器302接收处理器301的控制指令,用以控制各关节500的伺服电机303。
所谓书法临摹功能,即机械臂带动书写装置400运动以复现书写示教轨迹的过程。其中,获取书写示教笔100的书写示教轨迹,即驱动控制部300中,处理器301接收图像采集部200所采集的书写示教笔100的书写示教轨迹数据。书写示教轨迹转换为书写复现轨迹即,将书写示教笔100于图像采集部坐标系中运动的每个示教轨迹点的示教坐标(和示教姿态)转换为书写装置400于机器人坐标系下对应的若干复现轨迹点的复现坐标(和复现姿态),若干示教轨迹点的集合即书写复现轨迹。所谓根据书写复现轨迹生成机器人运动控制指令中,包含处理器301根据书写复现轨迹生成各复现轨迹点对应的书写装置400末端的目标位置(和姿态),并根据该目标位置(和姿态)确定的各关节500的目标动作角度,或进一步地,根据书写复现轨迹的轨迹运行速度生成各个关节500的动作速度。驱动机器人运动指的是处理器301将运动控制指令发送至各关节驱动器302,控制各节驱动器302以驱动对应伺服电机303运行,或进一步地,按照生成的动作速度运行,到目标位置和目标动作角度,以使得书写装置400按照书写复现轨迹运行。
在一些实施例中,书写示教轨迹中各示教轨迹点的坐标和姿态是基于图像采集部坐标系建立的,书写复现轨迹中的各个复现轨迹点的坐标和姿态是基于机器人坐标系建立的,因此将书写示教轨迹转换为书写复现轨迹,需要预先获得图像采集部坐标系与机器人坐标系之间的坐标转换关系。这个坐标转换关系可以是预设的,并且在后续的示教和复现过程中,图像采集部200、示教平台600(也就是复现平台)的位置固定不变,同时书写装置400于机械臂上的位置也固定不变。这个坐标转换关系也可以在示教之前实时标定得到,具体标定方法如下:
步骤1):基于书写示教笔100的笔尖104的工具标定:比如,先用书写示教笔100的笔尖104对准示教平台600上固定点进行旋转,图像采集部200采集不同姿态下的书法示教笔100上各个小球的位置,以此建立一个位于书写示教笔100的笔尖104的工具坐标系,用以描述笔尖104在图像采集部200的基坐标系中各个点的位置(Xcam,Ycam,Zcam)和姿态(Rxcam,Rycam,Rzcam)。
步骤2):基于书写装置400的末端的工具标定,由于机器人默认的工具坐标系位于机械臂的末端法兰中心,该工具标定即重新建立一个位于书写装置400的末端的工具坐标系,用以描述书写装置400的末端在机器人的基坐标系(以机器人的底座中心为坐标原点,或由用户通过三点示教法自行设置)中各个点的位置(Xrob,Yrob,Zrob)和姿态(Rxrob,Ryrob,Rzrob)。具体可以采用TCP标定法、四点标定法或六点标定法来进行该工具标定。例如,控制机器人末端关节500的书写装置400以至少三个不同的姿态移动到空间某一固定参考点,然后利用机器人关节转角及机器人结构信息去计算TCP坐标,具体可以参考参阅现有技术中相关的工具标定方法,在此不多赘述。
步骤3):采用三点示教法对图像采集部200的基坐标系与机器人的基坐标系进行方向一致标定,具体为:将书写示教笔100固定到机械臂末端,取书写示教笔100的笔尖104的当前位置或随机械臂移动至空间中的任意一点(以下称之为第一示教点),作为用户坐标系原点,然后驱动机械臂沿机器人的基坐标系的X轴(或Y/Z轴)平移,至第二示教点,再驱动机械臂沿Y轴或Z轴移动至第三示教点,最后以这三个示教点作为基准将图像采集部200的基坐标系转换为XYZ三轴与机器人的基坐标系的XYZ三轴分别平行的用户坐标系,可求得图像采集部200的基坐标系与用户坐标系之间的姿态变换矩阵RM,也称为旋转变换矩阵,以此可计算出书写示教笔100的笔尖104在用户坐标系下的位置与姿态,具体可参阅现有技术中的三点示教法,本实施例不做赘述。
步骤4):基于对点法确定坐标转换关系。比如,将书写示教笔100的笔尖104和书写装置400的末端分别对准示教平台600的同一个预设点,记录该点在用户坐标系中的位置坐标(Xcam,Ycam,Zcam)和机器人的基坐标系中的位置坐标(Xrob,Yrob,Zrob);再重复此动作针对不同的预设点获取对应的坐标,通过至少取13个以上不同预设点的坐标数据,通过现有的算法如estimateAffine3D来计算,最后得到如下关系式:
Figure BDA0003317129180000081
其中RT为用户坐标系中的坐标(Xcam,Ycam,Zcam)和机器人的基坐标系中的坐标(Xrob,Yrob,Zrob)之间的平移变换矩阵,以上姿态变换矩阵RM和平移变换矩阵RT即图像采集部坐标系与机器人坐标系的坐标转换关系,基于该坐标转换关系可以将书写示教笔100在图像采集部200的基坐标系下的示教位置坐标和示教姿态角度转换为机器人的基坐标系下的复现位置坐标和复现姿态角度。
在其他实施例中,也可以通过其他标定方式进行坐标转换,上述实施例中提供的坐标转换关系仅是示例性的,并不构成对本方案的限制。
在一些实施例中,书写示教轨迹包括若干个连续的示教轨迹点,每个示教轨迹点具有位置坐标以及与位置坐标对应的姿态角度。
如前,书写示教轨迹为若干个连续的示教轨迹点的集合,每个示教轨迹点均具有位置坐标和姿态角度(即前述的示教坐标和示教姿态),其中位置坐标为X、Y、Z轴形成的三维坐标,而姿态角度则是书写示教笔100的笔杆101按设定顺序(比如X-Y-Z)依次绕固定参考坐标系的各个轴旋转的旋转角。同理地,书写复现轨迹也包括对应的若干个连续的复现轨迹点,每个复现轨迹点具有位置坐标以及与位置坐标对应的姿态角度(即前述的复现位置坐标和复现姿态角度)。也就是说,本申请的机器人在实现临摹功能的时候,不但复现书写示教轨迹的路径,而且能够复现笔杆101的每一个运笔过程中的姿态。
尤其在书法临摹的场景下,毛笔的姿态(由握笔手腕的角度决定)是决定字体优美与否的一大关键因素,笔尖104位置的准确仅仅只能保证复现出相同的字的结构,而笔画的形状决定于运笔方式,如提笔、落笔、转笔、挫笔等,这些都涉及笔身姿态变化。本申请在复现书写示教轨迹的路径的基础上,进一步复现笔杆101的姿态,因此复现出的字迹与原字迹相似度极高,特别是针对一些不同的书法字体如草书,在书写过程中运笔需要经常的转笔操作以形成对应的笔画的场景中,更能准确的实现书法的精确临摹,相比现有的临摹技术有了极大的提升。
在一些实施例中,将书写示教轨迹转换为书写复现轨迹,包括:
确定书写示教轨迹与书写复现轨迹的坐标转换关系;
根据坐标转换关系,将书写示教轨迹中的每个示教轨迹点的位置坐标和姿态角度,转换为若干个复现轨迹点的复现位置坐标和复现姿态角度;
将若干个复现轨迹点拟合生成书写复现轨迹。
在本实施例中,根据前述图像采集部坐标系与机器人坐标系的坐标转换关系(转换矩阵RT),即确定了书写示教轨迹与书写复现轨迹的坐标转换关系。书写示教轨迹与书写复现轨迹分别由若干个示教轨迹点和若干个复现轨迹点构成,将每个示教轨迹点的位置坐标和姿态角度(即前述的示教坐标和示教姿态)根据坐标转换关系即可转换为对应的复现轨迹点的复现位置坐标和复现姿态角度,即复现位置坐标和复现姿态角度,再将离散的若干个复现轨迹点拟合生成书写复现轨迹,拟合方法可采用分段三次样条曲线或贝塞尔曲线等。
在一些实施例中,在将书写示教轨迹中的每个示教轨迹点的位置坐标和姿态角度,转换为若干个复现轨迹点的复现位置坐标和复现姿态角度之后,得到了由离散的复现轨迹点组成的原始书写复现轨迹;此后,将若干个复现轨迹点拟合生成书写复现轨迹则具体包括:
对离散的复现轨迹点,即前述的原始书写复现轨迹进行滤波降噪处理,令该原始书写复现轨迹变得光滑;
采用分段三次样条曲线对降噪后的离散复现轨迹点进行拟合,得到二阶连续的书写复现轨迹,分段三次样条曲线以图像采集周期分段,经三次样条曲线拟合后,得到的书写复现轨迹中各轨迹点的位姿、速度、加速度连续,机器人据以平滑地复现书写示教轨迹。
在一些实施例中,本申请为机器人配置的书法临摹功能还包括:
根据机器人的运动控制周期及图像采集部200的采集频率计算插补频率,
根据插补频率对书写示教轨迹中示教轨迹点进行插补。例如:运动控制频率是60HZ/S,采集频率是30帧/S,那么就要通过插补的方式把示教轨迹插补从30点/S(根据采集频率是30帧/S决定)插补至60点/S。
或,
根据机器人的运动控制周期及图像采集部200的采集频率计算插补频率,
根据插补频率对书写复现轨迹中的复现轨迹点进行插补,即当采集频率小于机器人的运动控制频率时,比如机器人运动控制周期为1ms-4ms,采集频率为125帧/s,即采集周期为8ms,在同一时间段内机器人的运动速度达到示教速度的2-8倍,容易超出机器人的最大运动速度,为保证机器人正常运行,最好令运动速度与示教速度一致,因此需要采用插补法将由采集周期为8ms的书写示教轨迹转换得到的书写复现轨迹插补至与机器人控制频率一致,如此还可以提高书写复现轨迹的平滑度,保证较好的书写仿真度。虽然机器人运动控制周期大于图像采集周期的情况较为少见,但常存在机器人的运动周期与图像采集周期不成整数比的情况,这种情况下也需要对书法复现轨迹进行插补,再采用如直线重采样的拟合方法去除多余插值点。
在一些实施例中,对示教轨迹进行插补还是对复现轨迹进行插补,是本领域技术人员可以实际情况(主要考虑硬件算力)进行选择的。
本申请还提出一种机器人临摹方法,在一些实施例中,参阅图4,该机器人临摹方法包括:
步骤S100:获取书写示教轨迹。即,通过机器人配置的书写轨迹采集装置采集其中书写示教笔100的书写示教轨迹,并发送至机器人的驱动控制部300进行数据处理;
步骤S200:将书写示教轨迹转换为书写复现轨迹。即,机器人的驱动控制部300根据书写轨迹采集装置中图像采集部坐标系与机器人坐标系之间的坐标转换关系,将书写示教轨迹转换为书写复现轨迹。其中,坐标转换关系可通过预先的标定得到,标定方法在前述实施例中已描述,在此不多赘述。
步骤S300:根据书写复现轨迹生成机器人运动控制指令,机器人运动控制指令能够控制机器人末端带动书写装置400复现书写示教轨迹。
其中,机器人的驱动控制部300根据书写复现轨迹生成各复现轨迹点对应的书写装置400末端的目标位置和姿态,并根据该目标位置和姿态确定的各关节500的目标动作角度,或进一步地,根据书写复现轨迹的轨迹运行速度生成各个关节500的动作速度。驱动机器人运动指的是处理器301将运动控制指令发送至各关节驱动器302,控制各关节驱动器302以驱动对应伺服电机303运行,或进一步地,按照生成的动作速度运行,到目标位置和目标动作角度,以使得书写装置400按照书写复现轨迹运行。
本实施例的机器人临摹方法能够适应各种应用场景,尤其是像书法、绘画等等场景具有显著的优势,降低了机器人临摹功能的局限性。
在一些实施例中,书写示教轨迹包括若干个连续的示教轨迹点,示教轨迹点具有位置坐标以及与位置坐标对应的姿态角度。对应地,由该书写示教轨迹转换而成的书写复现轨迹也由若干个复现轨迹点构成,并且每个复现轨迹点都具有位置坐标以及姿态角度。根据该书写复现轨迹生成的动作控制指令,也就包含了各关节500的目标位置和目标动作角度,从而不但控制末端关节500上的书写装置400的运行路径,而且能够确定其在每个复现轨迹点的姿态,即笔杆在空间中的倾斜角度,因此复现出的字迹与原字迹相似度极高,特别是针对一些书法的复现,更能准确的实现精确临摹。
请参阅图5,图5是图4中步骤S200的详细流程图,在本实施例中,将书写示教轨迹转换为书写复现轨迹,还包括:
步骤S201:确定书写示教轨迹与书写复现轨迹的坐标转换关系。
步骤S202:根据坐标转换关系,将书写示教轨迹中的每个示教轨迹点的位置坐标和姿态角度,转换为若干个复现轨迹点的复现位置坐标和复现姿态角度;
步骤S203:将若干个复现轨迹点拟合生成书写复现轨迹。
在本实施例中,根据前述图像采集部坐标系与机器人坐标系的坐标转换关系,即确定了书写示教轨迹与书写复现轨迹的坐标转换关系。书写示教轨迹与书写复现轨迹分别由若干个示教轨迹点和若干个复现轨迹点构成,将每个示教轨迹点的位置坐标和姿态角度(即前述的示教坐标和示教姿态)根据坐标转换关系即可转换为对应的复现轨迹点的复现位置坐标和复现姿态角度,即复现位置坐标和复现姿态角度,再将若干个复现轨迹点拟合生成书写复现轨迹,拟合方法可采用分段三次样条曲线或贝塞尔曲线等。
请参阅图6,图6是机器人临摹方法的完整流程示意图,在本实施例中,在步骤S202之后,得到了由离散的复现轨迹点组成的原始书写复现轨迹;步骤S203具体包括:
步骤S2031,对该原始书写复现轨迹,即离散的复现轨迹点进行滤波降噪处理,令该原始书写复现轨迹变得平滑;
步骤S2032:采用分段三次样条曲线对降噪后的离散复现轨迹点进行拟合,得到二阶连续的书写复现轨迹,即机器人的处理器301据以生成用以控制各关节500运动的控制指令的轨迹。
其中,分段三次样条曲线可以图像采集周期分段,经三次样条曲线拟合后,得到的书写复现轨迹中各轨迹点的姿态、位置、速度、加速度连续,机器人以平滑的姿态复现书写示教轨迹。
在一些实施例中,机器人临摹方法还包括:
步骤S204:根据机器人的运动控制周期及图像采集部200的采集频率计算插补频率,
步骤S205:根据插补频率对书写示教轨迹中示教轨迹点进行插补;
步骤S214:根据机器人的运动控制周期及图像采集部200的采集频率计算插补频率,
步骤S215:根据插补频率对书写复现轨迹中的复现轨迹点进行插补。
尤其当图像采集部200的采集频率小于机器人的运动控制频率时,对书写示教轨迹进行轨迹点插补,保证机器人正常运行,以及保证较好的书写仿真度和书写平滑度
当图像采集部200的采集频率大于机器人的运动控制频率时,对书写复现轨迹进行轨迹点插补,增加书写复现轨迹的平滑度,从而提高了书法临摹的仿真效果。
本申请还提出一种机械臂,该机械臂包括:至少四个关节500、设置于末端关节500的书写装置400、以及用于控制各关节500运动的驱动控制部300,机械臂能够执行前述的机器人临摹方法。
机器人临摹方法至少包括以下步骤:
获取书写示教轨迹;
将书写示教轨迹转换为书写复现轨迹;
根据书写复现轨迹生成机器人运动控制指令,机器人运动控制指令能够控制机器人末端带动书写装置400复现书写示教轨迹。
本申请还提出一种存储介质,存储介质存储有计算机可读指令,该计算机可读指令被处理器执行时使得处理器执行前述的机器人临摹方法。
机器人临摹方法至少包括以下步骤:
获取书写示教轨迹;
将书写示教轨迹转换为书写复现轨迹;
根据书写复现轨迹生成机器人运动控制指令,机器人运动控制指令能够控制机器人末端带动书写装置复现书写示教轨迹。
在本说明书的描述中,参阅术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种配置临摹功能的机器人系统,其特征在于,包括:机器人和书写轨迹采集装置,所述机器人和所述书写轨迹采集装置通信连接;
所述机器人包括至少四个关节、设置于末端关节的书写装置、以及用于控制各所述关节运动的驱动控制部,所述驱动控制部配置有书法临摹功能;
所述书写轨迹采集装置包括图像采集部和书写示教笔,所述图像采集部能够采集所述书写示教笔的书写示教轨迹;
所述书法临摹功能包括:
获取所述书写示教笔的书写示教轨迹;
将所述书写示教轨迹转换为书写复现轨迹;
根据所述书写复现轨迹生成机器人运动控制指令并驱动所述机器人运动,从而带动所述书写装置运动复现所述书写示教轨迹。
2.根据权利要求1所述的配置临摹功能的机器人系统,其特征在于,
所述书写示教轨迹包括若干个连续的示教轨迹点,所述示教轨迹点具有位置坐标以及与所述位置坐标对应的姿态角度。
3.根据权利要求2所述的配置临摹功能的机器人系统,其特征在于,所述将所述书写示教轨迹转换为书写复现轨迹,包括:
确定所述书写示教轨迹与所述书写复现轨迹的坐标转换关系;
根据所述坐标转换关系,将所述书写示教轨迹中的每个所述示教轨迹点的所述位置坐标和所述姿态角度,转换为若干个所述复现轨迹点的复现位置坐标和复现姿态角度;
将若干个所述复现轨迹点拟合生成所述书写复现轨迹。
4.根据权利要求3所述的配置临摹功能的机器人系统,其特征在于,所述将若干个所述复现轨迹点拟合生成所述书写复现轨迹包括:
对若干个所述复现轨迹点进行滤波降噪处理;
采用分段三次样条曲线对降噪后的若干个所述复现轨迹点进行拟合,得到二阶连续的书写复现轨迹。
5.根据权利要求2所述的配置临摹功能的机器人系统,其特征在于,所述书法临摹功能还包括:
根据所述机器人的运动控制周期及所述图像采集部的采集频率计算插补频率,
根据所述插补频率对所述书写示教轨迹中所述示教轨迹点进行插补;
或,
根据所述机器人的运动控制周期及所述图像采集部的采集频率计算插补频率,
根据所述插补频率对所述书写复现轨迹中的所述复现轨迹点进行插补。
6.一种机器人临摹方法,其特征在于,包括:
获取书写示教轨迹;
将所述书写示教轨迹转换为书写复现轨迹;
根据所述书写复现轨迹生成机器人运动控制指令,所述机器人运动控制指令能够控制机器人末端带动书写装置复现所述书写示教轨迹。
7.根据权利要求6所述的机器人临摹方法,其特征在于,
所述书写示教轨迹包括若干个连续的示教轨迹点,所述示教轨迹点包括位置坐标以及与所述位置坐标对应的姿态角度。
8.根据权利要求7所述的机器人临摹方法,其特征在于,所述将所述书写示教轨迹转换为书写复现轨迹,包括:
确定所述书写示教轨迹与所述书写复现轨迹的坐标转换关系;
根据所述坐标转换关系,将所述书写示教轨迹中的每个所述示教轨迹点的所述位置坐标和所述姿态角度,转换为若干个所述复现轨迹点的复现位置坐标和复现姿态角度;
将若干个所述复现轨迹点拟合生成所述书写复现轨迹。
9.根据权利要求8所述的机器人临摹方法,其特征在于,所述将若干个所述复现轨迹点拟合生成所述书写复现轨迹包括:
对若干个所述复现轨迹点进行滤波降噪处理;
采用分段三次样条曲线对降噪后的若干个所述复现轨迹点进行拟合,得到二阶连续的书写复现轨迹。
10.根据权利要求7所述的机器人临摹方法,其特征在于,还包括:
根据所述机器人的运动控制周期及所述图像采集部的采集频率计算插补频率,
根据所述插补频率对所述书写示教轨迹中所述示教轨迹点进行插补;
根据所述机器人的运动控制周期及所述图像采集部的采集频率计算插补频率,
根据所述插补频率对所述书写复现轨迹中的所述复现轨迹点进行插补。
11.一种机械臂,包括:至少四个关节、设置于末端关节的书写装置、以及用于控制各所述关节运动的驱动控制部,其特征在于,所述机械臂能够执行所述权利要求6至10中任意一项所述的机器人临摹方法。
12.一种存储介质,所述存储介质存储有计算机可读指令,其特征在于,该计算机可读指令被处理器执行时使得所述处理器执行权利要求6至10中任意一项所述的机器人临摹方法。
CN202111234082.2A 2021-06-30 2021-10-22 配置临摹功能的机器人系统、方法、机械臂和存储介质 Pending CN113927582A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021107387566 2021-06-30
CN202110738756.6A CN113524157A (zh) 2021-06-30 2021-06-30 配置临摹功能的机器人系统、方法、机械臂和存储介质

Publications (1)

Publication Number Publication Date
CN113927582A true CN113927582A (zh) 2022-01-14

Family

ID=78097381

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110738756.6A Pending CN113524157A (zh) 2021-06-30 2021-06-30 配置临摹功能的机器人系统、方法、机械臂和存储介质
CN202111234082.2A Pending CN113927582A (zh) 2021-06-30 2021-10-22 配置临摹功能的机器人系统、方法、机械臂和存储介质
CN202111235798.4A Pending CN113927583A (zh) 2021-06-30 2021-10-22 配置示教学习功能的机器人系统、方法、机械臂和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110738756.6A Pending CN113524157A (zh) 2021-06-30 2021-06-30 配置临摹功能的机器人系统、方法、机械臂和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111235798.4A Pending CN113927583A (zh) 2021-06-30 2021-10-22 配置示教学习功能的机器人系统、方法、机械臂和存储介质

Country Status (1)

Country Link
CN (3) CN113524157A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311935A (zh) * 2022-09-02 2022-11-08 常州机电职业技术学院 一种机械设计自动化研究用的演示装置及其演示方法
CN115530617A (zh) * 2022-10-25 2022-12-30 深圳市越疆科技有限公司 咖啡制作方法、设备及系统
WO2024094197A1 (zh) * 2022-11-03 2024-05-10 深圳市越疆科技股份有限公司 示教轨迹处理方法、装置、机械臂、示教控制器及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113696190B (zh) * 2021-10-28 2022-03-18 深圳市越疆科技有限公司 一种示教轨迹点采集方法、装置、机械臂、系统及介质
CN114067658B (zh) * 2021-11-30 2023-08-04 深圳市越疆科技有限公司 一种咖啡拉花示教系统
CN114654446A (zh) * 2022-03-04 2022-06-24 华南理工大学 一种机器人示教方法、装置、设备和介质
CN114571491A (zh) * 2022-03-04 2022-06-03 天津新松机器人自动化有限公司 基于力传感器的机器人控制装置及示教方法
CN114919313A (zh) * 2022-04-05 2022-08-19 三峡大学 人机交互字体生成及文字书写的装置及方法
CN115530620B (zh) * 2022-10-25 2023-08-18 深圳市越疆科技股份有限公司 咖啡拉花轨迹生成方法、咖啡制作方法、相关设备及系统
CN116297531B (zh) * 2023-05-22 2023-08-01 中科慧远视觉技术(北京)有限公司 机器视觉检测方法、系统、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259926A (ja) * 2005-03-15 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> 作業指示システムとそのプログラム
CN106570920A (zh) * 2016-11-02 2017-04-19 邹操 基于平面扫描技术的艺术展示系统及方法
CN108237544A (zh) * 2018-03-15 2018-07-03 北京化工大学 一种人工智能的书法机器人
CN108673525A (zh) * 2018-05-31 2018-10-19 湖北新清科教育科技有限公司 一种基于服务机器人的自动书写系统
CN111152234A (zh) * 2019-12-27 2020-05-15 深圳市越疆科技有限公司 用于机器人的书法临摹方法、装置及机器人

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106142092A (zh) * 2016-07-26 2016-11-23 张扬 一种基于立体视觉技术对机器人进行示教的方法
US10960543B2 (en) * 2017-05-30 2021-03-30 Sisu Devices, LLC Robotic point capture and motion control
CN107756408B (zh) * 2017-11-22 2020-10-23 浙江优迈德智能装备有限公司 一种基于主动红外双目视觉的机器人轨迹示教装置及方法
CN110125944B (zh) * 2019-05-14 2023-07-04 中国地质大学(武汉) 一种机械臂示教系统和方法
CN110919626B (zh) * 2019-05-16 2023-03-14 广西大学 一种基于立体视觉的机器人手持示教装置及方法
CN110900609A (zh) * 2019-12-11 2020-03-24 浙江钱江机器人有限公司 一种机器人示教装置及其方法
CN111360465A (zh) * 2020-04-22 2020-07-03 杭州国辰机器人科技有限公司 一种基于智能示教技术的焊接示教枪

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006259926A (ja) * 2005-03-15 2006-09-28 Nippon Telegr & Teleph Corp <Ntt> 作業指示システムとそのプログラム
CN106570920A (zh) * 2016-11-02 2017-04-19 邹操 基于平面扫描技术的艺术展示系统及方法
CN108237544A (zh) * 2018-03-15 2018-07-03 北京化工大学 一种人工智能的书法机器人
CN108673525A (zh) * 2018-05-31 2018-10-19 湖北新清科教育科技有限公司 一种基于服务机器人的自动书写系统
CN111152234A (zh) * 2019-12-27 2020-05-15 深圳市越疆科技有限公司 用于机器人的书法临摹方法、装置及机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何薇等: "基于机器视觉的机器人写字技术的设计", 《江南大学学报(自然科学版)》 *
孙维等: "基于触摸屏的书法机器人示教", 《工业控制计算机》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311935A (zh) * 2022-09-02 2022-11-08 常州机电职业技术学院 一种机械设计自动化研究用的演示装置及其演示方法
CN115311935B (zh) * 2022-09-02 2023-06-27 常州机电职业技术学院 一种机械设计自动化研究用的演示装置及其演示方法
CN115530617A (zh) * 2022-10-25 2022-12-30 深圳市越疆科技有限公司 咖啡制作方法、设备及系统
WO2024094197A1 (zh) * 2022-11-03 2024-05-10 深圳市越疆科技股份有限公司 示教轨迹处理方法、装置、机械臂、示教控制器及系统

Also Published As

Publication number Publication date
CN113524157A (zh) 2021-10-22
CN113927583A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN113524157A (zh) 配置临摹功能的机器人系统、方法、机械臂和存储介质
CN107160364B (zh) 一种基于机器视觉的工业机器人示教系统及方法
CN108340351B (zh) 一种机器人示教装置、方法及示教机器人
Song et al. Artistic pen drawing on an arbitrary surface using an impedance-controlled robot
JP2022542241A (ja) ロボット装置からの視覚的出力を補強するシステム及び方法
Mueller et al. Robotic calligraphy—learning how to write single strokes of Chinese and Japanese characters
JP2017170571A (ja) ロボット、ロボット制御装置、及びロボットシステム
Li et al. A hybrid visual servo control method for simultaneously controlling a nonholonomic mobile and a manipulator
CN107253191B (zh) 一种双机械臂系统及其协调控制方法
CN113858217B (zh) 多机器人交互的三维视觉位姿感知方法及系统
CN114519738A (zh) 一种基于icp算法的手眼标定误差修正方法
CN113715016A (zh) 一种基于3d视觉的机器人抓取方法、系统、装置及介质
JP2013059815A (ja) ロボットの位置姿勢補間方法及びロボットの制御装置
CN112907682B (zh) 一种五轴运动平台的手眼标定方法、装置及相关设备
CN114131617A (zh) 一种工业机器人的智能柔顺控制方法和装置
Song et al. Distortion-free robotic surface-drawing using conformal mapping
CN109676583B (zh) 基于目标姿态深度学习视觉采集方法、学习系统及存储介质
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接系统
CN111709095A (zh) 一种面向复杂曲面6d虚拟夹具构造方法
CN114734435B (zh) 一种基于超球面的编码器校准方法、装置及系统
CN109685828B (zh) 基于目标姿态深度学习追踪采集方法、学习系统及存储介质
Lang et al. Visual servoing with LQR control for mobile robots
CN114800574A (zh) 一种基于双三维相机的机器人自动化焊接系统及方法
CN109664273B (zh) 一种工业机器人光标拖动示教方法及系统
CN112297007B (zh) 一种机器人外部参考坐标系下的直线运动规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 10th floor, building 2, Chongwen Park, Nanshan wisdom Park, intersection of Liuxian Avenue and tangling Road, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Yuejiang Technology Co.,Ltd.

Address before: 518000 10th floor, building 2, Chongwen Park, Nanshan wisdom Park, intersection of Liuxian Avenue and tangling Road, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN YUEJIANG TECHNOLOGY Co.,Ltd.